SEARCH
検索詳細藤後 廉 (トウゴ レン)
| 情報科学研究院 メディアネットワーク部門 情報メディア学分野 | 准教授 |
2015年3月 北海道大学医学部保健学科放射線技術科学専攻 卒業.
2017年3月 北海道大学大学院情報科学研究科 修士課程 修了.
2019年3月 北海道大学大学院 情報科学研究科 博士後期課程 修了 (在学期間短縮).
2019年4月 日本学術振興会 特別研究員 (PD).
2020年2月 北海道大学 数理・データサイエンス教育研究センター 特任助教.
2022年2月 北海道大学 大学院情報科学研究院 特任助教.
2025年4月 北海道大学 大学院情報科学研究院 准教授.
医用画像を中心とした異分野連携に関する研究に従事.
診療放射線技師国家資格.
IEEE, ACM会員.
研究者基本情報
■ 学位■ URL
researchmap URLホームページURL■ ID 各種
研究者番号
- 60840395
研究キーワード研究分野■ 担当教育組織
研究活動情報
■ 受賞- 2024年08月, 構造工学委員会 AI・データサイエンス論文集編集小委員会, デジタルツイン・DX奨励賞
- 2024年07月, IEEE International Conference on Consumer Electronics – Taiwan (ICCE-TW), The 2024 IEEE ICCE-TW Best Paper Award
Discriminator-enhanced music generation based on multitrack music transformer - 2024年, IEEE Sapporo Section, The 2023 IEEE Sapporo Section Encouragement Award
Guang Li et al., ICASSP, 2022 - 2023年, International Workshop on Advanced Image Technology Best Paper Award, Best Paper Award
Teruhisa Yamashiro - 2023年, 電気・情報関係学会北海道支部連合大会, The 2022 IEEE Sapporo Section Student Paper Contest Encouraging Prize
河合 他 - 2023年, IEEE Sapporo Section, The 2022 IEEE Sapporo Section Encouragement Award
Nao Nakagawa et al. - 2023年, IEEE Sapporo Section, The 2023 IEEE Sapporo Young Professionals Best Researcher Award
- 2023年, IEEE GCCE, Excellent Paper Award Silver Prize
Haruka Matsuda - 2023年, 電気・情報関係学会北海道支部連合大会, 若手優秀論文発表賞
松田 他 - 2023年, 電気・情報関係学会北海道支部連合大会, 若手優秀論文発表賞
佐藤 他 - 2023年, 電気・情報関係学会北海道支部連合大会, 若手優秀論文発表賞
藤後太郎 - 2023年, 映像情報メディア学会, 映像情報メディア学会 優秀研究発表賞
朱赫 他 - 2023年, 構造工学委員会 AI・データサイエンス論文集編集小委員会, AI・データサイエンス奨励賞
櫻井 他 - 2023年, 構造工学委員会 AI・データサイエンス論文集編集小委員会, AI・データサイエンス奨励賞
諸戸 他 - 2023年, 電気・情報関係学会北海道支部連合大会, The 2023 IEEE Sapporo Section Student Paper Contest Encouraging Prize
Masaki Kashiwagi et al. - 2022年11月, IEEE GCCE2021 Excellent Student Poster Award Silver Prize
- 2022年10月, Silver Prize IEEE GCCE 2021 Excellent Poster Award
- 2022年09月, 土木情報学システム開発賞
- 2022年08月, The 2021 IEEE Sapporo Section Encouragement Award
- 2022年03月, IEEE LifeTech 2022 WIE Excellent Poster Award
- 2022年, Best Paper Award, International Workshop on Advanced Image Technology (K. Sakurai et al., IWAIT)
- 2021年, 令和3年度電気・情報関係学会北海道支部連合大会若手優秀論文発表賞 (櫻井他, 電気・情報関係学会北海道支部連合大会)
- 2021年, 令和3年度電気・情報関係学会北海道支部連合大会若手優秀論文発表賞 (吉田他, 電気・情報関係学会北海道支部連合大会)
- 2021年, 2nd Prize, IEEE LifeTech 2021 Excellent Student Paper Award for Oral Presentation (S. Takada et al., IEEE Lifetech)
- 2020年, ACM Multimedia Asia 2020 Best Paper Runner-up Award (R. Yanagi et al., ACMM Asia)
- 2020年, Gold Prize GCCE2020 Excellent Poster Award (S. Takada et al., GCCE2020)
- 2020年, Gold Prize GCCE2020 Excellent Student Paper Award (G. Li et al., GCCE2020)
- 2020年, Gold Prize GCCE2020 Excellent Demo! Award (N. Nakagawa et al., GCCE2020)
- 2020年, 映像情報メディア学会丹羽高柳賞 論文賞 (T. Ogawa et al., MTA)
- 2019年, Silver Prize IEEE GCCE 2019 Excellent Poster Award
Megumi Kotera - 2019年, Outstanding Prize IEEE GCCE2019 Excellent Demo! Award
Rintaro Yanagi - 2017年, 電子情報通信学会北海道支部学生奨励賞
藤後 廉 - 2015年, 平成27年度電気・情報関係学会北海道支部連合大会 優秀論文発表賞
藤後 廉
- Revisiting the Role of Learned Attention Weighting in SASRec
Keito Kozaki; Keigo Sakurai; Ren Togo; Takahiro Ogawa; Miki Haseyama
Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval, 3894, 3899, ACM, 2026年07月19日, [査読有り]
研究論文(国際会議プロシーディングス) - Automated Scene Classification and Interpretable Time-Point Estimation for Arteriovenous Malformation Resection Videos Using Deep Learning and a Non-Monotonic Hidden Semi-Markov Model
Hiroyuki Sugimori; Taku Sugiyama; Saseem Poudel; Ren Togo; Minghui Tang; Han Feng; Hidenori Koyano; Masaki Ujihara; Kenji Hirata; Takahiro Ogawa; Miki Haseyama; Kohsuke Kudo; Miki Fujimura
Applied Sciences, 16, 14, 7118, 7118, MDPI AG, 2026年07月15日, [査読有り]
研究論文(学術雑誌), Arteriovenous malformation (AVM) resections last 3–10 h, producing lengthy videos that are valuable but tedious to navigate manually. In this single-centre feasibility study, 20 AVM resection videos (499,744 frames at 1 fps) were annotated into six surgical scene classes using a predefined guideline; five cases were independently double-annotated (inter-rater Cohen’s kappa = 0.999) and the rest labelled by consensus. Three cascaded Inception-ResNet-v2 networks—direct six-class classification, a binary OK/NG usability filter, and six-class classification on OK-filtered frames—were trained under five-fold video-level cross-validation. Frame-level predictions were temporally reconstructed with a non-monotonic hidden semi-Markov model (HSMM) permitting clinically observed returns to earlier phases, and boundary accuracy was evaluated with a percentage mean absolute error (%MAE). The direct classifier reached a macro-averaged AUC of 0.946 (matching the ten-case AUC of 0.945); OK-filtered classification reached 0.951. The HSMM estimated phase transition time points with an overall %MAE of 3.27% (median 0.78%; about 13.7 min in a mean 7.0 h surgery) and captured the non-monotonic workflow in 3 of 20 cases that a strictly ordered decoder cannot. Because every predicted boundary coincides with a phase-map transition, the interpretable pipeline could narrow the review of multi-hour recordings; as a single-centre proof of concept, external multi-centre validation is required. - Reranking-based Analysis on Visual and Textual Query Contribution to Composed Image Retrieval
Huaying Zhang; Ren Togo; Takahiro Ogawa; Miki Haseyama
Proceedings of the 2026 International Conference on Multimedia Retrieval, 420, 424, ACM, 2026年06月15日, [査読有り]
研究論文(国際会議プロシーディングス) - Personalized federated learning for medical vision-language models via efficient fine-tuning and uncertainty-aware disentanglement
He Zhu; Ren Togo; Takahiro Ogawa; Miki Haseyama
Journal of Biomedical Informatics, 178, 105014, 105014, Elsevier BV, 2026年06月, [査読有り]
研究論文(学術雑誌) - Surgical Video Understanding with Alignment-Preserving Temporal Adaptation and Action Triplet Text Alignment
Taiyo Ikeido; Ren Togo; Takahiro Ogawa; Taku Sugiyama; Saseem Poudel; Hiroyuki Sugimori; Minghui Tang; Feng Han; Hidenori Koyano; Kenji Hirata; Kohsuke Kudo; Miki Haseyama
Bioengineering, 13, 6, 640, 640, MDPI AG, 2026年05月29日, [査読有り]
研究論文(学術雑誌), Surgical workflow understanding requires recognizing procedural phases and fine-grained activities from long-horizon videos, yet acquiring dense annotations for surgical video analysis is costly and requires medical expertise. To address this challenge, we present a text-guided and annotation-efficient framework for surgical video understanding based on a frozen surgical vision–language-pretrained (VLP) encoder and a lightweight temporal adapter. The frozen SurgVLP image encoder provides frame-level visual embeddings, and the temporal adapter aggregates them into clip-level representations while preserving compatibility with the pretrained visual–text embedding space. We evaluate the proposed framework on CholecT50 using text-guided prototype matching for phase recognition and few-shot triplet recognition. Experiments show that temporal adaptation improves phase recognition while preserving the pretrained SurgVLP embedding space. In particular, among the evaluated methods, the proposed Text Contrastive method with rich phase prompts achieves the highest phase recognition performance, outperforming the phase-only baseline. Furthermore, the proposed framework enables classifier-free few-shot triplet recognition in the frozen text space without training a dedicated triplet classifier. These results suggest that effective surgical video understanding under limited annotation depends not only on temporal adaptation but also on preserving alignment with the pretrained text space and using semantically informative text prompts. - Leveraging Attack Non-Transferability to Boost Adversarial Robustness for Foundation Models
Koshiro Toishi; Keisuke Maeda; Ren Togo; Takahiro Ogawa; Miki Haseyama
Applied Sciences, 16, 8, 3894, 3894, MDPI AG, 2026年04月17日, [査読有り]
研究論文(学術雑誌), This paper presents a novel adversarial defense framework that strategically exploits the non-transferability of adversarial attacks across multi-modal foundation models. While Contrastive Language–Image Pre-training (CLIP) models demonstrate remarkable zero-shot capabilities, they remain vulnerable to adversarial samples. Adversarial fine-tuning is widely adopted as a standard defense, yet the resulting robustness against sophisticated white-box attacks is often insufficient. To address this limitation, we aim to boost the robustness of an adversarially fine-tuned model by utilizing a pre-trained auxiliary model to leverage attack non-transferability. Specifically, we construct a common embedding space and introduce a detection scheme that identifies the attack target based on feature distances. By adaptively switching the prediction output, we effectively mitigate attacks. Experimental results demonstrate that our approach outperforms state-of-the-art adversarial fine-tuning methods in terms of adversarial robustness. - Dual-Model Weight Selection and Self-Knowledge Distillation for Medical Image Classification.
Ayaka Tsutsumi; Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Satoshi Kondo; Miki Haseyama
Computers in Biology and Medicine, 204, 111510, 111510, Elsevier BV, 2026年02月, [査読有り]
研究論文(学術雑誌), We propose a novel medical image classification method that integrates dual-model weight selection with self-knowledge distillation (SKD). In real-world medical settings, deploying large-scale models is often limited by computational resource constraints, which pose significant challenges for their practical implementation. Thus, developing lightweight models that achieve comparable performance to large-scale models while maintaining computational efficiency is crucial. To address this, we employ a dual-model weight selection strategy that initializes two lightweight models with weights derived from a large pretrained model, enabling effective knowledge transfer. Next, SKD is applied to these selected models, allowing the use of a broad range of initial weight configurations without imposing additional excessive computational cost, followed by fine-tuning for the target classification tasks. By combining dual-model weight selection with self-knowledge distillation, our method overcomes the limitations of conventional approaches, which often fail to retain critical information in compact models. Extensive experiments on publicly available datasets-chest X-ray images, lung computed tomography scans, and brain magnetic resonance imaging scans-demonstrate the superior performance and robustness of our approach compared to existing methods. - Rethinking 3D Scene Evaluation from an Object-Centric Perspective
Yuiko Uchida; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
IEEE Access, 2026年
研究論文(学術雑誌) - Deep Generative Replay-Based Personalization With Conditional Latent Attention for Diffusion Models
Haruka Matsuda; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
IEEE Access, 14, 10568, 10578, 2026年, [査読有り]
研究論文(学術雑誌) - Generalizing Stylized Motion Generation Method by Introducing Metadata-Independent Learning and Unified Multiple Motion Dataset
Yuki Era; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
IEEE Transactions on Multimedia, 28, 1884, 1893, Institute of Electrical and Electronics Engineers (IEEE), 2026年, [査読有り]
研究論文(学術雑誌) - Deep-learning-based automatic liver segmentation using computed tomography images in dogs
Seungyeon Lee; Genya Shimbo; Nozomu Yokoyama; Kensuke Nakamura; Ren Togo; Takahiro Ogawa; Miki Haseyama; Mitsuyoshi Takiguchi
Frontiers in Veterinary Science, 12, Frontiers Media SA, 2025年10月21日, [査読有り]
研究論文(学術雑誌), Introduction
Deep learning-based automated segmentation has significantly improved the efficiency and accuracy of human medicine applications. However, veterinary applications, particularly canine liver segmentation, remain limited. This study aimed to develop and validate a deep learning model based on a 3D U-Net architecture for automated liver segmentation in canine abdominal computed tomography (CT) scans.
Methods
A total of 221 canine abdominal CT scans were analyzed, comprising 159 cases without hepatic masses and 62 cases with hepatic masses. The model was trained and evaluated using two separate datasets: one containing cases without hepatic masses (Experiment 1) and the other combining cases with and without hepatic masses (Experiment 2).
Results
Both experiments demonstrated high segmentation performance, achieving mean Dice similarity coefficients of 0.926 (Experiment 1) and 0.929 (Experiment 2).
Discussion
The manual and predicted liver volumes showed excellent agreement, highlighting the potential clinical applicability of this approach. - Cross-domain multi-step thinking: Zero-shot fine-grained traffic sign recognition in the wild
Yaozong Gan; Guang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Knowledge-Based Systems, 327, 114172, 114172, Elsevier BV, 2025年10月, [査読有り]
研究論文(学術雑誌) - GeoJapan Fusion Framework: A Large Multimodal Model for Regional Remote Sensing Recognition
Yaozong Gan; Guang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Remote Sensing, 2025年09月01日, [査読有り]
研究論文(学術雑誌) - Analysis of Model Merging Methods for Continual Updating of Foundation Models in Distributed Data Settings
Kenta Kubota; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Applied Sciences, 2025年05月07日, [査読有り]
研究論文(学術雑誌) - Enhancing Adversarial Defense via Brain Activity Integration Without Adversarial Examples
Tasuku Nakajima; Keisuke Maeda; Ren Togo; Takahiro Ogawa; Miki Haseyama
Sensors, 25, 9, 2736, 2736, MDPI AG, 2025年04月25日, [査読有り]
研究論文(学術雑誌), Adversarial attacks on large-scale vision–language foundation models, such as the contrastive language–image pretraining (CLIP) model, can significantly degrade performance across various tasks by generating adversarial examples that are indistinguishable from the original images to human perception. Although adversarial training methods, which train models with adversarial examples, have been proposed to defend against such attacks, they typically require prior knowledge of the attack. These methods also lead to a trade-off between robustness to adversarial examples and accuracy for clean images. To address these challenges, we propose an adversarial defense method based on human brain activity data by hypothesizing that such adversarial examples are not misrecognized by humans. The proposed method employs an encoder that integrates the features of brain activity and augmented images from the original images. Then, by maximizing the similarity between features predicted by the encoder and the original visual features, we obtain features with the visual invariance of the human brain and the diversity of data augmentation. Consequently, we construct a model that is robust against adversarial attacks and maintains accuracy for clean images. Unlike existing methods, the proposed method is not trained on any specific adversarial attack information; thus, it is robust against unknown attacks. Extensive experiments demonstrate that the proposed method significantly enhances robustness to adversarial attacks on the CLIP model without degrading accuracy for clean images. The primary contribution of this study is that the performance trade-off can be overcome using brain activity data. - Continual Self-supervised Learning Considering Medical Domain Knowledge in Chest CT Images
Ren Tasai; Guang Li; Ren Togo; Minghui Tang; Takaaki Yoshimura; Hiroyuki Sugimori; Kenji Hirata; Takahiro Ogawa; Kohsuke Kudo; Miki Haseyama
ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), abs/2501.04217, 1, 5, IEEE, 2025年04月06日, [査読有り]
We propose a novel continual self-supervised learning method (CSSL) considering medical domain knowledge in chest CT images. Our approach addresses the challenge of sequential learning by effectively capturing the relationship between previously learned knowledge and new information at different stages. By incorporating an enhanced DER into CSSL and maintaining both diversity and representativeness within the rehearsal buffer of DER, the risk of data interference during pretraining is reduced, enabling the model to learn more richer and robust feature representations. In addition, we incorporate a mixup strategy and feature distillation to further enhance the model's ability to learn meaningful representations. We validate our method using chest CT images obtained under two different imaging conditions, demonstrating superior performance compared to state-of-the-art methods. - ConcVAE: Conceptual Representation Learning
Ren Togo; Nao Nakagawa; Takahiro Ogawa; Miki Haseyama
IEEE Transactions on Neural Networks and Learning Systems, 36, 4, 7529, 7541, 2025年04月, [査読有り]
研究論文(学術雑誌) - Extending Gaussian Splatting to Audio: Optimizing Audio Points for Novel-View Acoustic Synthesis
Masaki Yoshida; Ren Togo; Takahiro Ogawa; Miki Haseyama
2025 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), 1412, 1413, IEEE, 2025年03月08日, [査読有り]
研究論文(国際会議プロシーディングス) - Multistage deep learning for classification of Helicobacter pylori infection status using endoscopic images
Guang Li; Ren Togo; Katsuhiro Mabe; Shunpei Nishida; Yoshihiro Tomoda; Fumiyuki Shiratani; Masashi Hirota; Takahiro Ogawa; Miki Haseyama
Journal of Gastroenterology, 60, 4, 408, 415, Springer Science and Business Media LLC, 2025年01月15日, [査読有り]
研究論文(学術雑誌) - Enhancing Adversarial Robustness of Foundation Models Without Data Centralization.
Koshiro Toishi; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 1756, 1761, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Out-of-Distribution Sample Selection Generated by Diffusion Model toward Model Generalization.
Kaede Hayakawa; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 1, 6, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - MLLM-guided Training-free Spherical Panorama Generation from a Single Image.
Yuki Katayama; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
SIGGRAPH Asia Posters, 54, 2, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Lost in the Interface: How Structured UI Complexity Challenges Large Vision Language Models in Games.
Xiang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
SIGGRAPH Asia Technical Communications, 8, 4, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Improving Robustness of CLIP by Adversarial Training Enhanced by Brain Activity
Tasuku Nakajima; Keisuke Maeda; Ren Togo; Takahiro Ogawa; Miki Haseyama
INTERNATIONAL WORKSHOP ON ADVANCED IMAGING TECHNOLOGY, IWAIT 2025, 13510, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Learning Hierarchical Video-Text Relationship via Large Language Model for Cross-modal Video Retrieval
Huaying Zhang; Ren Togo; Takahiro Ogawa; Miki Haseyama
INTERNATIONAL WORKSHOP ON ADVANCED IMAGING TECHNOLOGY, IWAIT 2025, 13510, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Balancing Generalization and Personalization by Sharing Layers in Clustered Federated Learning
Kenta Kubota; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
INTERNATIONAL WORKSHOP ON ADVANCED IMAGING TECHNOLOGY, IWAIT 2025, 13510, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Enhanced Framework for Generating Counterfactual Images with Sophisticated Caption and Inversion-free Image Editing
Xiang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
INTERNATIONAL WORKSHOP ON ADVANCED IMAGING TECHNOLOGY, IWAIT 2025, 13510, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Exponential Dissimilarity-Dispersion Family for Domain-Specific Representation Learning
Ren Togo; Nao Nakagawa; Takahiro Ogawa; Miki Haseyama
IEEE Transactions on Image Processing, 34, 6110, 6125, 2025年, [査読有り], [筆頭著者]
英語, 研究論文(学術雑誌) - 基盤モデル間の攻撃非転移性に基づく敵対的防御に関する検討
登石光士郎; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 1, 5, IEEE, 2025年
研究論文(国際会議プロシーディングス) - Generative Dataset Distillation Based on Self-knowledge Distillation.
Longzhen Li; Guang Li 0008; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 1, 5, IEEE, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Gradient-Oriented Clustered Federated Learning With Efficient Knowledge Sharing in Non-IID Settings.
Kenta Kubota; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 1, 5, IEEE, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - AMDIS: Amplitude Dissimilarity Reduced Reference IQA Metric for Neural Radiance Field.
Ren Togo; Rintaro Yanagi; Masato Kawai; Takahiro Ogawa 0001; Miki Haseyama
IEICE Trans. Fundam. Electron. Commun. Comput. Sci., 108, 7, 897, 905, 2025年, [査読有り]
研究論文(学術雑誌) - Linear Structure Analysis of Embeddings for Bias Disparity Reduction in Collaborative Filtering
Hiroki Okamura; Keisuke Maeda; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Transactions on Services Computing, 18, 4, 2201, 2211, 2025年, [査読有り]
研究論文(学術雑誌) - LLM is Knowledge Graph Reasoner: LLM’s Intuition-Aware Knowledge Graph Reasoning for Cold-Start Sequential Recommendation
Keigo Sakurai; Ren Togo; Takahiro Ogawa; Miki Haseyama
ECIR (2), abs/2412.12464, 263, 278, Springer, 2025年, [査読有り]
研究論文(国際会議プロシーディングス) - Enhancing Classification Models With Sophisticated Counterfactual Images
Xiang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
IEEE Open Journal of Signal Processing, 2025年, [査読有り]
研究論文(学術雑誌) - Lung Disease Classification with Limited Training Data Based on Weight Selection Technique
Ayaka Tsutsumi; Guang Li; Ren Togo; Takahiro Ogawa; Satoshi Kondo; Miki Haseyama
2024 IEEE 13th Global Conference on Consumer Electronics (GCCE), 460, 461, IEEE, 2024年10月29日, [査読有り]
研究論文(国際会議プロシーディングス) - Generative Dataset Distillation Based on Large Model Pool
Longzhen Li; Guang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
2024 IEEE 13th Global Conference on Consumer Electronics (GCCE), 458, 459, IEEE, 2024年10月29日, [査読有り]
研究論文(国際会議プロシーディングス) - Lung Cancer Classification Using Masked Autoencoder Pretrained on J-MID Database
Ren Tasai; Guang Li; Ren Togo; Minghui Tang; Takaaki Yoshimura; Hiroyuki Sugimori; Kenji Hirata; Takahiro Ogawa; Kohsuke Kudo; Miki Haseyama
2024 IEEE 13th Global Conference on Consumer Electronics (GCCE), 456, 457, IEEE, 2024年10月29日, [査読有り]
研究論文(国際会議プロシーディングス) - Multimodal Transformer Model Using Time-Series Data to Classify Winter Road Surface Conditions.
Yuya Moroto; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Sensors, 24, 11, 3440, 3440, 2024年06月, [査読有り]
研究論文(学術雑誌) - Algal Bed Region Segmentation Based on a ViT Adapter Using Aerial Images for Estimating CO2 Absorption Capacity
Guang Li; Ren Togo; Keisuke Maeda; Akinori Sako; Isao Yamauchi; Tetsuya Hayakawa; Shigeyuki Nakamae; Takahiro Ogawa; Miki Haseyama
Remote Sensing, 16, 10, 1742, 1742, 2024年05月14日, [査読有り]
研究論文(学術雑誌) - Analysis of Continual Learning Techniques for Image Generative Models with Learned Class Information Management
Taro Togo; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Sensors, 24, 10, 3087, 3087, 2024年05月13日, [査読有り]
研究論文(学術雑誌) - A Novel Frame-Selection Metric for Video Inpainting to Enhance Urban Feature Extraction
Yuhu Feng; Jiahuan Zhang; Guang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Sensors, 24, 10, 3035, 3035, 2024年05月10日, [査読有り]
研究論文(学術雑誌) - Parameter-efficient tuning of cross-modal retrieval for a specific database via trainable textual and visual prompts.
Huaying Zhang; Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Int. J. Multim. Inf. Retr., 13, 1, 14, 14, 2024年03月, [査読有り]
研究論文(学術雑誌) - Flexibly manipulating popularity bias for tackling trade-offs in recommendation
Hiroki Okamura; Keisuke Maeda; Ren Togo; Takahiro Ogawa; Miki Haseyama
Information Processing & Management, 61, 2, 103606, 103606, 2024年03月, [査読有り]
研究論文(学術雑誌) - Prompt-based Personalized Federated Learning for Medical Visual Question Answering
He Zhu; Ren Togo; Takahiro Ogawa; Miki Haseyama
ICASSP, abs/2402.09677, 1821, 1825, IEEE, 2024年02月15日, [査読有り]
研究論文(学術雑誌), We present a novel prompt-based personalized federated learning (pFL) method
to address data heterogeneity and privacy concerns in traditional medical
visual question answering (VQA) methods. Specifically, we regard medical
datasets from different organs as clients and use pFL to train personalized
transformer-based VQA models for each client. To address the high computational
complexity of client-to-client communication in previous pFL methods, we
propose a succinct information sharing system by introducing prompts that are
small learnable parameters. In addition, the proposed method introduces a
reliability parameter to prevent the negative effects of low performance and
irrelevant clients. Finally, extensive evaluations on various heterogeneous
medical datasets attest to the effectiveness of our proposed method. - Text-Guided Image Editing Based on Post Score for Gaining Attention on Social Media
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Sensors, 24, 3, 921, 921, 2024年01月31日, [査読有り]
研究論文(学術雑誌) - Importance-Aware Adaptive Dataset Distillation
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
Neural Networks, 172, 106154, 106154, 2024年01月29日, [査読有り]
研究論文(学術雑誌), Herein, we propose a novel dataset distillation method for constructing small
informative datasets that preserve the information of the large original
datasets. The development of deep learning models is enabled by the
availability of large-scale datasets. Despite unprecedented success,
large-scale datasets considerably increase the storage and transmission costs,
resulting in a cumbersome model training process. Moreover, using raw data for
training raises privacy and copyright concerns. To address these issues, a new
task named dataset distillation has been introduced, aiming to synthesize a
compact dataset that retains the essential information from the large original
dataset. State-of-the-art (SOTA) dataset distillation methods have been
proposed by matching gradients or network parameters obtained during training
on real and synthetic datasets. The contribution of different network
parameters to the distillation process varies, and uniformly treating them
leads to degraded distillation performance. Based on this observation, we
propose an importance-aware adaptive dataset distillation (IADD) method that
can improve distillation performance by automatically assigning importance
weights to different network parameters during distillation, thereby
synthesizing more robust distilled datasets. IADD demonstrates superior
performance over other SOTA dataset distillation methods based on parameter
matching on multiple benchmark datasets and outperforms them in terms of
cross-architecture generalization. In addition, the analysis of self-adaptive
weights demonstrates the effectiveness of IADD. Furthermore, the effectiveness
of IADD is validated in a real-world medical application such as COVID-19
detection. - Generalizing Human Motion Style Transfer Method Based on Metadata-independent Learning.
Yuki Era; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
SIGGRAPH Asia Posters, 78, 3, ACM, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - An Evaluation Metric for Single Image-to-3D Models Based on Object Detection Perspective.
Yuiko Uchida; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
SIGGRAPH Asia 2024 Technical Communications, 31, 4, ACM, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - DQG: Database Question Generation for Exact Text-based Image Retrieval.
Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Proceedings of the 32nd ACM International Conference on Multimedia, 7424, 7433, ACM, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - MMT-BERT: Chord-Aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT.
Jinlong Zhu; Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ISMIR, 470, 477, 2024年, [査読有り]
We propose a novel symbolic music representation and Generative Adversarial Network (GAN) framework specially designed for symbolic multitrack music generation. The main theme of symbolic music generation primarily encompasses the preprocessing of music data and the implementation of a deep learning framework. Current techniques dedicated to symbolic music generation generally encounter two significant challenges: training data's lack of information about chords and scales and the requirement of specially designed model architecture adapted to the unique format of symbolic music representation. In this paper, we solve the above problems by introducing new symbolic music representation with MusicLang chord analysis model. We propose our MMT-BERT architecture adapting to the representation. To build a robust multitrack music generator, we fine-tune a pre-trained MusicBERT model to serve as the discriminator, and incorporate relativistic standard loss. This approach, supported by the in-depth understanding of symbolic music encoded within MusicBERT, fortifies the consonance and humanity of music generated by our method. Experimental results demonstrate the effectiveness of our approach which strictly follows the state-of-the-art methods. - Cross-Domain Few-Shot In-Context Learning For Enhancing Traffic Sign Recognition.
Yaozong Gan; Guang Li 0008; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 2564, 2570, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Zero-Shot Composed Image Retrieval Considering Query-Target Relationship Leveraging Masked Image-Text Pairs.
Huaying Zhang; Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 2431, 2437, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Reinforcing Pre-Trained Models Using Counterfactual Images.
Xiang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 486, 492, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Introducing Class Replacement Technique in Class Incremental Learning in Generative Models.
Taro Togo; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
International Conference on Consumer Electronics - Taiwan(ICCE-Taiwan), 457, 458, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Discriminator-enhanced Music Generation Based on Multitrack Music Transformer.
Jinlong Zhu; Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
International Conference on Consumer Electronics - Taiwan(ICCE-Taiwan), 363, 364, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Motion-STUDiO : Motion Style Transfer Utilized for Dancing Operation by Considering Both Style and Dance Features.
Yuki Era; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
International Conference on Consumer Electronics - Taiwan(ICCE-Taiwan), 127, 128, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Multimodal Adversarial Defense Trained on Features Extracted from Images and Brain Activity.
Tasuku Nakajima; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 1183, 1184, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Generative Dataset Distillation Based on Diffusion Model.
Duo Su; Junjie Hou; Guang Li 0008; Ren Togo; Rui Song 0007; Takahiro Ogawa 0001; Miki Haseyama
ECCV Workshops (19), abs/2408.08610, 83, 94, Springer, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - MLLM-based Automatic Exploration of Editing Prompt for High Engagement Image Generation.
Kenta Kubota; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 1165, 1166, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - 物体検出モデルの信頼度スコアに基づくSingle Image-to-3Dモデルの評価指標に関する検討
内田結子; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀
電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 1163, 1164, IEEE, 2024年
研究論文(国際会議プロシーディングス) - Improving Zero-shot Adversarial Robustness via Integrating Image Features of Foundation Models.
Koshiro Toishi; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 148, 149, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Emotion-conditional Image Generation Reflecting Semantic Alignment with Text-to-Image Models.
Kaede Hayakawa; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 10, 11, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Structured Polyphonic Music Generation with Diffusion Transformer.
Jinlong Zhu; Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 8, 9, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - ブルーカーボンによるCO2吸収量推計へ向けた大規模セマンティックセグメンテーションモデルに基づく藻場領域の自動認識
李 広; 藤後 廉; 前田 圭介; 酒向 章哲; 山内 功; 早川 哲也; 中前 茂之; 小川 貴弘; 長谷山 美紀
土木学会論文集, 80, 17, n/a, 公益社団法人 土木学会, 2024年, [査読有り]
沿岸藻場のCO2吸収量の測定は,カーボンニュートラル実現に向けた重要課題の一つであるが,UAV画像からの藻場領域の特定には多大な労力と経験を必要とする.本研究では,UAV画像を用いた藻場領域の自動認識手法を提案する.本手法では,画素レベルの意味的領域分割を可能とするモデルを利用し,最新モデルの一つであるViT-Adapterを採用する.本技術の利点は,学習済み大規模モデルの知識を有効活用して藻場領域認識を行う点であり,モデルのパラメータ調整により画素レベルでの海藻の識別を実現する.本研究では,航空写真から目視により藻場領域を特定したマスク画像を用いた学習を行い,さらに,UAV画像へ適応するためにデータ拡張等の処理を検討した.北海道えりも沿岸のUAV画像を用いた実証を行い,有効性を確認した. - Generative Dataset Distillation: Balancing Global Structure and Local Details.
Longzhen Li; Guang Li 0008; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
CVPR Workshops, 7664, 7671, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Multi-Object Editing in Personalized Text-To-Image Diffusion Model Via Segmentation Guidance.
Haruka Matsuda; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 8140, 8144, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Caption Unification for Multi-View Lifelogging Images Based on In-Context Learning with Heterogeneous Semantic Contents.
Masaya Sato; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 8085, 8089, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Enhancing Noisy Label Learning Via Unsupervised Contrastive Loss with Label Correction Based on Prior Knowledge.
Masaki Kashiwagi; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 6235, 6239, IEEE, 2024年, [査読有り]
研究論文(国際会議プロシーディングス) - Dataset Distillation Using Parameter Pruning.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
IEICE Trans. Fundam. Electron. Commun. Comput. Sci., 107, 6, 936, 940, 2024年, [査読有り]
研究論文(学術雑誌) - 工事現場映像における深度情報を活用した重機接触事故リスクの推定
五箇 亮太; 前田 圭介; 藤後 廉; 小川 貴弘; 長谷山 美紀
人工知能学会全国大会論文集, JSAI2024, 2C6GS701, 2C6GS701, 一般社団法人 人工知能学会, 2024年
日本語, 建設業において,労働災害リスクの低減や安全性の向上は急務であり,近年では工事現場の安全性向上を目的とした重機との接触事故リスクを推定する手法が提案されている.既存研究では,工事現場で撮影された映像中より検出された作業員や重機の関係から接触事故リスクを推定しているものの,検出物体間の奥行きを考慮していなかった.これに対して本稿では,映像中の空間情報を補完するために深度情報を活用した接触事故リスク推定を可能とする深層学習モデルを提案する.実験の結果,映像中の作業員・重機間の空間的関係を考慮した接触事故リスクの推定において,提案手法は既存手法よりも高い性能を達成することが示された. - Spatial-temporal attentionを導入した再帰型ニューラルネットワークに基づく重機との接触事故リスクの推定
五箇亮太; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
AI・データサイエンス論文集(Web), 5, 1, 2024年, [査読有り] - 工事現場の定点カメラを用いた物体検出および姿勢推定に基づくZero-shot高リスク状況検出
大羽賀駿也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
AI・データサイエンス論文集(Web), 5, 1, 2024年, [査読有り] - Zero-Shot Traffic Sign Recognition Based on Midlevel Feature Matching
GAN YAOZONG; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Sensors, 23, 23, 9607, 9607, 2023年12月04日, [査読有り]
研究論文(学術雑誌) - Manipulation Direction: Evaluating Text-Guided Image Manipulation Based on Similarity between Changes in Image and Text Modalities
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
Sensors, 23, 22, 9287, 9287, 2023年11月, [査読有り]
研究論文(学術雑誌) - Self-supervised learning for gastritis detection with gastric X-ray images.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
International Journal of Computer Assisted Radiology and Surgery, 18, 10, 1841, 1848, 2023年10月, [査読有り]
研究論文(学術雑誌) - Off-Screen Sound Separation Based on Audio-visual Pre-training Using Binaural Audio
Masaki Yoshida; Ren Togo; Takahiro Ogawa; Miki Haseyama
SENSORS, 23, 9, 4540, 4540, 2023年05月, [査読有り]
研究論文(学術雑誌) - Multimodal Natural Language Explanation Generation for Visual Question Answering Based on Multiple Reference Data
He Zhu; Ren Togo; Takahiro Ogawa; Miki Haseyama
ELECTRONICS, 12, 10, 2023年05月, [査読有り]
研究論文(学術雑誌) - Boosting automatic COVID-19 detection performance with self-supervised learning and batch knowledge ensembling.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Comput. Biol. Medicine, 158, 106877, 106877, 2023年05月, [査読有り]
研究論文(学術雑誌) - COVID-19 detection based on self-supervised transfer learning using chest X-ray images.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Int. J. Comput. Assist. Radiol. Surg., 18, 4, 715, 722, 2023年04月, [査読有り]
研究論文(学術雑誌) - Diversity Learning Based on Multi-Latent Space for Medical Image Visual Question Generation.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Sensors, 23, 3, 1057, 1057, 2023年02月, [査読有り]
研究論文(学術雑誌) - Interpretable Visual Question Answering Referring to Outside Knowledge.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
IEEE International Conference on Image Processing(ICIP), 2140, 2144, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Bundle Detection based on Graph Convolutional Network Considering Categorical Hierarchical Relationship.
Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
12th IEEE Global Conference on Consumer Electronics(GCCE), 827, 828, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Video-Music Retrieval with Fine-Grained Cross-Modal Alignment.
Yuki Era; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 2005, 2009, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Text-Guided Facial Image Manipulation for Wild Images via Manipulation Direction-Based Loss.
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 361, 365, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Text-to-image Diffusion Model Suppressing Catastrophic Forgetting via Elastic Weight Consolidation.
Haruka Matsuda; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 831, 832, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Deterioration Level Estimation for Infrastructures Considering Noisy Labels via DivideMix.
Masaki Kashiwagi; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 829, 830, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Novel Feature Extraction for Classification of Auditory-visual Stimuli from fNIRS Signals.
Taro Togo; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 759, 760, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - A Controllable Recoloring Method for Novel Views Using Segment Anything Model.
Haoyang Wang; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 587, 588, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Caption Unification for Multiple Viewpoint Lifelogging Images and Its Verification.
Masaya Sato; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 415, 416, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Improving Visual Counterfactual Explanation Models for Image Classification via CLIP.
Xiang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 390, 391, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - 変状の劣化レベル判定支援に向けたグラフニューラルネットワークによるレコードデータの特徴表現の獲得
山本一輝; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
AI・データサイエンス論文集(Web), 4, 3, 2023年, [査読有り] - 地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出
櫻井慶悟; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
AI・データサイエンス論文集(Web), 4, 3, 2023年, [査読有り] - 時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類
諸戸祐哉; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
AI・データサイエンス論文集(Web), 4, 3, 2023年, [査読有り] - TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
IEEE Open Journal of Signal Processing, 2023年, [査読有り]
研究論文(学術雑誌) - Source-Data-Free Cross-Domain Knowledge Transfer for Semantic Segmentation
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Open Journal of Signal Processing, 2023年, [査読有り]
研究論文(学術雑誌) - Personalized Content Recommender System via Non-verbal Interaction Using Face Mesh and Facial Expression.
Yuya Moroto; Rintaro Yanagi; Naoki Ogawa; Kyohei Kamikawa; Keigo Sakurai; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ACM Multimedia, 9399, 9401, ACM, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Gromov-Wasserstein Autoencoders.
Nao Nakagawa; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICLR, OpenReview.net, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Parameter-efficient Tuning of a Pre-trained Model via Prompt Learning in Cross-modal Retrieval.
Huaying Zhang; Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICCE-Taiwan, 811, 812, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Binaural Audio Generation with Data Augmentation from 360° Videos.
Masaki Yoshida; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICCE-Taiwan, 795, 796, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Estimation of Amyloid-β Positivity Using QSM Images Considering Age Information.
Tsubasa Kunieda; Ren Togo; Noriko Nishioka; Yukie Shimizu; Shiro Watanabe; Kenji Hirata; Keisuke Maeda; Takahiro Ogawa 0001; Kohsuke Kudo; Miki Haseyama
ICCE-Taiwan, 165, 166, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - A Medical Domain Visual Question Generation Model via Large Language Model.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICCE-Taiwan, 163, 164, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Binauralization Robust To Camera Rotation Using 360° Videos.
Masaki Yoshida; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 1, 5, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Estimation of Visual Contents from Human Brain Signals via VQA Based on Brain-Specific Attention.
Ryo Shichida; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 1, 5, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Improving Dropout in Graph Convolutional Networks for Recommendation via Contrastive Loss.
Hiroki Okamura; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 1, 5, IEEE, 2023年, [査読有り]
研究論文(国際会議プロシーディングス) - Material Compound-Property Retrieval Using Electron Microscope Images for Rubber Material Development.
Rintaro Yanagi; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
IEEE Access, 11, 88258, 88264, 2023年, [査読有り]
研究論文(学術雑誌) - Recallable Question Answering-Based Re-Ranking Considering Semantic Region for Cross-Modal Retrieval
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE OPEN JOURNAL OF SIGNAL PROCESSING, 4, 1, 11, 2023年, [査読有り]
研究論文(学術雑誌) - Text-Guided Image Manipulation via Generative Adversarial Network With Referring Image Segmentation-Based Guidance.
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
IEEE Access, 11, 42534, 42545, 2023年, [査読有り]
研究論文(学術雑誌) - Cross-Modal Image Retrieval Considering Semantic Relationships With Many-to-Many Correspondence Loss.
Huaying Zhang; Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
IEEE Access, 11, 10675, 10686, 2023年, [査読有り]
研究論文(学術雑誌) - Similar interior coordination image retrieval with multi-view features
Ren Togo; Yuki Honma; Maiku Abe; Takahiro Ogawa; Miki Haseyama
International Journal of Multimedia Information Retrieval, 11, 4, 731, 740, 2022年08月26日, [査読有り]
研究論文(学術雑誌) - Defect Detection of Subway Tunnels Using Advanced U-Net Network
An Wang; Ren Togo; Takahiro Ogawa; Miki Haseyama
SENSORS, 22, 6, 2330, 2330, 2022年03月, [査読有り]
研究論文(学術雑誌) - Rubber Material Retrieval System using Electron Microscope Images for Rubber Material Development.
Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
MMAsia, 44, 3, ACM, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Disentangled Image Attribute Editing in Latent Space via Mask-Based Retention Loss.
Shunya Ohaga; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
MMAsia, 25, 7, ACM, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Assessment of Image Manipulation Using Natural Language Description: Quantification of Manipulation Direction.
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 1046, 1050, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Improving Model Adaptation for Semantic Segmentation by Learning Model-Invariant Features with Multiple Source-Domain Models.
Zongyao Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 421, 425, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - A Multimodal Interpretable Visual Question Answering Model Introducing Image Caption Processor.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 777, 778, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Cross-modal Image Retrieval Considering Semantic Relationships with Object Information.
Huaying Zhang; Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 775, 776, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Free-viewpoint Sports Video Generation Based on Dynamic NeRF Considering Time Series.
Masato Kawai; Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 408, 409, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Content-based Image Retrieval Using Effective Synthesized Images from Different Camera Views via pixelNeRF.
Yuki Era; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 404, 405, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Analysis of Relationships between Visual Cognitive Contents and Response of Each Brain Region via Visual Question Answering.
Ryo Shichida; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 402, 403, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - GCN-based Collaborative Filtering Considering Personality Bias.
Hiroki Okamura; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 278, 279, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Prediction of Amyloid-β Positivity Using QSM Images Based on Bootstrap Your Own Latent.
Tsubasa Kunieda; Ren Togo; Noriko Nishioka; Yukie Shimizu; Shiro Watanabe; Kenji Hirata; Keisuke Maeda; Takahiro Ogawa 0001; Kohsuke Kudo; Miki Haseyama
GCCE, 137, 138, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Cross-platform Recommendation Considering Common Users' Preferences Based on Preference Propagation GraphNet.
Kazuki Yamamoto; Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 135, 136, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Union-Set Multi-source Model Adaptation for Semantic Segmentation.
Zongyao Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ECCV (29), 579, 595, Springer, 2022年, [査読有り]
研究論文(国際会議プロシーディングス), This paper solves a generalized version of the problem of multi-source model
adaptation for semantic segmentation. Model adaptation is proposed as a new
domain adaptation problem which requires access to a pre-trained model instead
of data for the source domain. A general multi-source setting of model
adaptation assumes strictly that each source domain shares a common label space
with the target domain. As a relaxation, we allow the label space of each
source domain to be a subset of that of the target domain and require the union
of the source-domain label spaces to be equal to the target-domain label space.
For the new setting named union-set multi-source model adaptation, we propose a
method with a novel learning strategy named model-invariant feature learning,
which takes full advantage of the diverse characteristics of the source-domain
models, thereby improving the generalization in the target domain. We conduct
extensive experiments in various adaptation settings to show the superiority of
our method. The code is available at
https://github.com/lzy7976/union-set-model-adaptation. - Trial Analysis of the Relationship between Taste and Biological Information Obtained While Eating Strawberries for Sensory Evaluation.
Keisuke Maeda; Ren Togo; Takahiro Ogawa 0001; Shin-ichi Adachi; Fumiaki Yoshizawa; Miki Haseyama
Sensors, 22, 23, 9496, 9496, 2022年, [査読有り]
研究論文(学術雑誌) - Distress Detection in Subway Tunnel Images via Data Augmentation Based on Selective Image Cropping and Patching.
Keisuke Maeda; Saya Takada; Tomoki Haruyama; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Sensors, 22, 22, 8932, 8932, 2022年, [査読有り]
研究論文(学術雑誌) - Compressed gastric image generation based on soft-label dataset distillation for medical data sharing.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Comput. Methods Programs Biomed., 227, 107189, 107189, 2022年, [査読有り]
研究論文(学術雑誌), Background and objective: Sharing of medical data is required to enable the
cross-agency flow of healthcare information and construct high-accuracy
computer-aided diagnosis systems. However, the large sizes of medical datasets,
the massive amount of memory of saved deep convolutional neural network (DCNN)
models, and patients' privacy protection are problems that can lead to
inefficient medical data sharing. Therefore, this study proposes a novel
soft-label dataset distillation method for medical data sharing.
Methods: The proposed method distills valid information of medical image data
and generates several compressed images with different data distributions for
anonymous medical data sharing. Furthermore, our method can extract essential
weights of DCNN models to reduce the memory required to save trained models for
efficient medical data sharing.
Results: The proposed method can compress tens of thousands of images into
several soft-label images and reduce the size of a trained model to a few
hundredths of its original size. The compressed images obtained after
distillation have been visually anonymized; therefore, they do not contain the
private information of the patients. Furthermore, we can realize high-detection
performance with a small number of compressed images.
Conclusions: The experimental results show that the proposed method can
improve the efficiency and security of medical data sharing. - Generating Captions of Imagined content from Human Brain Activities Applying An Image Captioning Model.
Saya Takada; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
4th IEEE Global Conference on Life Sciences and Technologies(LifeTech), 614, 615, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Knowledge-Guided Sequential Recommendation with Reinforcement Learning Using Empirical Distribution Function.
Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
4th IEEE Global Conference on Life Sciences and Technologies(LifeTech), 187, 188, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Transformer Based Multimodal Scene Recognition in Soccer Videos.
Yaozong Gan; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICME Workshops, 1, 6, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Scene Retrieval in Soccer Videos by Spatial-temporal Attention with Video Vision Transformer.
Yaozong Gan; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICCE-TW, 453, 454, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Multi-scale Defect Detection from Subway Tunnel Images with Spatial Attention Mechanism.
An Wang; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICCE-TW, 305, 306, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - 橋梁点検時の技術者の一人称および三人称視点映像を用いた点検動作の分類に関する検討
増田毅; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀
映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 303, 304, IEEE, 2022年 - TriBYOL: Triplet BYOL for Self-Supervised Representation Learning.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 3458, 3462, IEEE, 2022年, [査読有り]
This paper proposes a novel self-supervised learning method for learning
better representations with small batch sizes. Many self-supervised learning
methods based on certain forms of the siamese network have emerged and received
significant attention. However, these methods need to use large batch sizes to
learn good representations and require heavy computational resources. We
present a new triplet network combined with a triple-view loss to improve the
performance of self-supervised representation learning with small batch sizes.
Experimental results show that our method can drastically outperform
state-of-the-art self-supervised learning methods on several datasets in
small-batch cases. Our method provides a feasible solution for self-supervised
learning with real-world high-resolution images that uses small batch sizes. - Divergence-Guided Feature Alignment for Cross-Domain Object Detection.
Zongyao Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 2240, 2244, IEEE, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 1371, 1375, IEEE, 2022年, [査読有り]
The global outbreak of the Coronavirus 2019 (COVID-19) has overloaded
worldwide healthcare systems. Computer-aided diagnosis for COVID-19 fast
detection and patient triage is becoming critical. This paper proposes a novel
self-knowledge distillation based self-supervised learning method for COVID-19
detection from chest X-ray images. Our method can use self-knowledge of images
based on similarities of their visual features for self-supervised learning.
Experimental results show that our method achieved an HM score of 0.988, an AUC
of 0.999, and an accuracy of 0.957 on the largest open COVID-19 chest X-ray
dataset. - Controllable Music Playlist Generation Based on Knowledge Graph and Reinforcement Learning.
Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Sensors, 22, 10, 3722, 3722, 2022年, [査読有り]
研究論文(学術雑誌) - Learning intra-domain style-invariant representation for unsupervised domain adaptation of semantic segmentation.
Zongyao Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Pattern Recognit., 132, 108911, 108911, 2022年, [査読有り]
研究論文(学術雑誌) - Dataset complexity assessment based on cumulative maximum scaled area under Laplacian spectrum.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
Multimedia Tools and Applications, 81, 22, 32287, 32303, 2022年, [査読有り]
研究論文(学術雑誌), Dataset complexity assessment aims to predict classification performance on a
dataset with complexity calculation before training a classifier, which can
also be used for classifier selection and dataset reduction. The training
process of deep convolutional neural networks (DCNNs) is iterative and
time-consuming because of hyperparameter uncertainty and the domain shift
introduced by different datasets. Hence, it is meaningful to predict
classification performance by assessing the complexity of datasets effectively
before training DCNN models. This paper proposes a novel method called
cumulative maximum scaled Area Under Laplacian Spectrum (cmsAULS), which can
achieve state-of-the-art complexity assessment performance on six datasets. - Generative Adversarial Network Including Referring Image Segmentation For Text-Guided Image Manipulation.
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICASSP, 4818, 4822, 2022年, [査読有り]
研究論文(国際会議プロシーディングス) - Interactive Re-ranking via Object Entropy-Guided Question Answering for Cross-Modal Image Retrieval.
Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
ACM Trans. Multim. Comput. Commun. Appl., 18, 3, 68, 17, 2022年, [査読有り]
研究論文(学術雑誌) - Domain Adaptive Cross-Modal Image Retrieval via Modality and Domain Translations
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS COMMUNICATIONS AND COMPUTER SCIENCES, E104A, 6, 866, 875, 2021年06月, [査読有り]
研究論文(学術雑誌) - Rubber Material Property Prediction Using Electron Microscope Images of Internal Structures Taken under Multiple Conditions
Ren Togo; Naoki Saito; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama
SENSORS, 21, 6, 2088, 2088, 2021年03月, [査読有り]
研究論文(学術雑誌) - Database-adaptive Re-ranking for Enhancing Cross-modal Image Retrieval.
Rintaro Yanagi; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
MM '21: ACM Multimedia Conference, 3816, 3825, ACM, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Interpretable Representation Learning on Natural Image Datasets via Reconstruction in Visual-Semantic Embedding Space.
Nao Nakagawa; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
2021 IEEE International Conference on Image Processing(ICIP), 2473, 2477, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Segmentation-Aware Text-Guided Image Manipulation.
Tomoki Haruyama; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
ICIP, 2433, 2437, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - User Background Information-Aware Music Recommendation with Reinforcement Learning-Based Knowledge Graph Exploration.
Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
IEEE International Conference on Consumer Electronics-Taiwan(ICCE-TW), 1, 2, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Cross-view Self-supervised Learning via Momentum Statistics in Batch Normalization.
Guang Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
IEEE International Conference on Consumer Electronics-Taiwan(ICCE-TW), 1, 2, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Triplet Self-Supervised Learning for Gastritis Detection with Scarce Annotations.
Guang Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 787, 788, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Text-Guided Image Manipulation for Desired Region Using Referring Image Segmentation.
Yuto Watanabe; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 661, 662, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Listener Recommendation for Artist Based on Knowledge Graph and Reinforcement Learning.
Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 202, 203, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Detection of Off-screen Sound Based on Loss Function of Self-supervised Audio-visual Spatialization.
Masaki Yoshida; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 193, 194, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Multi-class Similar Scene Retrieval in Soccer Videos: A Scene Confusion Reduction Method Based on Combination of Long and Short Frame Sequences.
Yaozong Gan; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 117, 118, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Sports Action Detection Based on Self-Supervised Feature Learning and Object Detection.
Tsuyoshi Masuda; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 54, 55, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Estimating Imagined Images from Brain Activities via Visual Question Answering.
Saya Takada; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 35, 36, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Action Classification from Egocentric Videos Using Reinforcement Learning-based Pose Estimation.
Shunya Ohaga; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama
GCCE, 9, 10, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Interest estimation method based on 2D pose features on security camera
Yuki Honma; Ren Togo; Maiku Abe; Takahiro Ogawa; Miki Haseyama
Proceedings of SPIE - The International Society for Optical Engineering, 11766, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - SEMANTIC-AWARE UNPAIRED IMAGE-TO-IMAGE TRANSLATION FOR URBAN SCENE IMAGES
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
2021 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP 2021), 2150, 2154, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - A Note on Detection of Sports Action Based on Temporal Cycle Consistency Learning
Tsuyoshi Masuda; Ren Togo; Takahiro Ogawa; Miki Haseyama
INTERNATIONAL WORKSHOP ON ADVANCED IMAGING TECHNOLOGY (IWAIT) 2021, 11766, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Disentangled Representation Learning in Real-World Image Datasets via Image Segmentation Prior
Nao Nakagawa; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 9, 110880, 110888, 2021年, [査読有り]
研究論文(学術雑誌) - Interior Coordination Image Retrieval with Object-Detection-Based and Color Features
Ren Togo; Takahiro Ogawa; Miki Haseyama
INTERNATIONAL WORKSHOP ON ADVANCED IMAGING TECHNOLOGY (IWAIT) 2021, 11766, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - IR Questioner: QA-based Interactive Retrieval System
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
PROCEEDINGS OF THE 2021 INTERNATIONAL CONFERENCE ON MULTIMEDIA RETRIEVAL (ICMR '21), 611, 614, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Text-Guided Style Transfer-Based Image Manipulation Using Multimodal Generative Models
Ren Togo; Megumi Kotera; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 9, 64860, 64870, 2021年, [査読有り]
研究論文(学術雑誌) - メタデータを考慮した楽曲グラフ探索に基づく強化学習を用いた楽曲プレイリスト生成に関する検討
櫻井慶悟; 藤後廉; 小川貴弘; 長谷山美紀
電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2021, 53, 54, IEEE, 2021年 - Question Answering from Brain Activity Data via Decoder Based on Neural Networks.
Saya Takada; Ren Togo; Takahiro Ogawa; Miki Haseyama
3rd IEEE Global Conference on Life Sciences and Technologies(LifeTech), 51, 52, IEEE, 2021年, [査読有り]
研究論文(国際会議プロシーディングス) - Preliminary study of AI-assisted diagnosis using FDG-PET/CT for axillary lymph node metastasis in patients with breast cancer
Zongyao Li; Kazuhiro Kitajima; Kenji Hirata; Ren Togo; Junki Takenaka; Yasuo Miyoshi; Kohsuke Kudo; Takahiro Ogawa; Miki Haseyama
EJNMMI RESEARCH, 11, 1, 2021年01月, [査読有り]
英語, 研究論文(学術雑誌) - Deep convolutional neural network-based anomaly detection for organ classification in gastric X-ray examination
Ren Togo; Haruna Watanabe; Takahiro Ogawa; Miki Haseyama
COMPUTERS IN BIOLOGY AND MEDICINE, 123, 2020年08月, [査読有り]
英語, 研究論文(学術雑誌) - Chronic atrophic gastritis detection with a convolutional neural network considering stomach regions
Misaki Kanai; Ren Togo; Takahiro Ogawa; Miki Haseyama
WORLD JOURNAL OF GASTROENTEROLOGY, 26, 25, 3650, 3659, 2020年07月, [査読有り]
英語, 研究論文(学術雑誌) - Chronic gastritis classification using gastric X-ray images with a semi-supervised learning method based on tri-training
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
MEDICAL & BIOLOGICAL ENGINEERING & COMPUTING, 58, 6, 1239, 1250, 2020年06月, [査読有り]
英語, 研究論文(学術雑誌) - Interactive re-ranking for cross-modal retrieval based on object-wise question answering.
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
MMAsia 2020: ACM Multimedia Asia(MMAsia), 37, 7, ACM, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Image Retrieval with Data Augmentation of Sentence Labels Based on Paraphrasing
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
2020 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS - TAIWAN (ICCE-TAIWAN), 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Estimating Viewed Images with Natural Language Question Answering from fMRI Data.
Saya Takada; Ren Togo; Takahiro Ogawa; Miki Haseyama
2nd IEEE Global Conference on Life Sciences and Technologies(LifeTech), 99, 100, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Generation of Viewed Image Captions From Human Brain Activity Via Unsupervised Text Latent Space.
Saya Takada; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE International Conference on Image Processing(ICIP), 2521, 2525, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - MULTIMODAL IMAGE-TO-IMAGE TRANSLATION FOR GENERATION OF GASTRITIS IMAGES
Ren Togo; Takahiro Ogawa; Miki Haseyama
2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 2466, 2470, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - IMAGE RETRIEVAL WITH LINGUAL AND VISUAL PARAPHRASING VIA GENERATIVE MODELS
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 2431, 2435, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Variational Autoencoder Based Unsupervised Domain Adaptation For Semantic Segmentation.
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE International Conference on Image Processing(ICIP), 2426, 2430, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Soft-Label Anonymous Gastric X-Ray Image Distillation.
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE International Conference on Image Processing(ICIP), 305, 309, IEEE, 2020年, [査読有り]
This paper presents a soft-label anonymous gastric X-ray image distillation
method based on a gradient descent approach. The sharing of medical data is
demanded to construct high-accuracy computer-aided diagnosis (CAD) systems.
However, the large size of the medical dataset and privacy protection are
remaining problems in medical data sharing, which hindered the research of CAD
systems. The idea of our distillation method is to extract the valid
information of the medical dataset and generate a tiny distilled dataset that
has a different data distribution. Different from model distillation, our
method aims to find the optimal distilled images, distilled labels and the
optimized learning rate. Experimental results show that the proposed method can
not only effectively compress the medical dataset but also anonymize medical
images to protect the patient's private information. The proposed approach can
improve the efficiency and security of medical data sharing. - Estimation Of Visual Contents Based On Question Answering From Human Brain Activity.
Saya Takada; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE International Conference on Image Processing(ICIP), 61, 65, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Unsupervised Domain Adaptation for Semantic Segmentation with Symmetric Adaptation Consistency.
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
2020 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), 2263, 2267, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Music Playlist Generation Based on Reinforcement Learning Using Acoustic Feature Map.
Keigo Sakurai; Ren Togo; Takahiro Ogawa; Miki Haseyama
9th IEEE Global Conference on Consumer Electronics(GCCE), 942, 943, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Question Answering for Estimation of Seen Image Contents from Multi-subject fMRI Responses.
Saya Takada; Ren Togo; Takahiro Ogawa; Miki Haseyama
9th IEEE Global Conference on Consumer Electronics(GCCE), 712, 713, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Face Synthesis via User Manipulation of Disentangled Latent Representation.
Nao Nakagawa; Ren Togo; Takahiro Ogawa; Miki Haseyama
9th IEEE Global Conference on Consumer Electronics(GCCE), 692, 693, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Complexity Evaluation of Medical Image Data for Classification Problem Based on Spectral Clustering.
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
9th IEEE Global Conference on Consumer Electronics(GCCE), 667, 669, IEEE, 2020年, [査読有り]
研究論文(国際会議プロシーディングス) - Enhancing Cross-Modal Retrieval Based on Modality-Specific and Embedding Spaces
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 8, 96777, 96786, 2020年, [査読有り]
英語, 研究論文(学術雑誌) - Aesthetic style transfer through text-to-image synthesis and image-to-image translation
Megumi Kotera; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Global Conference on Consumer Electronics (GCCE), 492, 493, IEEE, 2019年10月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Voice-input multimedia information retrieval system based on text-to-image GAN
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Global Conference on Consumer Electronics (GCCE), 943, 944, IEEE, 2019年10月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Estimation of drilling energy from tunnel cutting face image based on online learning
Kentaro Yamamoto; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Global Conference on Consumer Electronics (GCCE), 77, 1, 794, 795, 2019年10月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Detection of distress region from subway tunnel images via U-net-based deep semantic segmentation
An Wang; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Global Conference on Consumer Electronics (GCCE), 766, 767, IEEE, 2019年10月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Detection of gastritis by a deep convolutional neural network from double-contrast upper gastrointestinal barium X-ray radiography
Ren Togo; Nobutake Yamamichi; Katsuhiro Mabe; Yu Takahashi; Chihiro Takeuchi; Mototsugu Kato; Naoya Sakamoto; Kenta Ishihara; Takahiro Ogawa; Miki Haseyama
JOURNAL OF GASTROENTEROLOGY, 54, 4, 321, 329, 2019年04月, [査読有り]
英語, 研究論文(学術雑誌) - Extraction of regions related to cardiac sarcoidosis in polar map images
Ren Togo; Takahiro Ogawa; Osamu Manabe; Kenji Hirata; Tohru Shiga; Miki Haseyama
2019 IEEE 1st Global Conference on Life Sciences and Technologies, LifeTech 2019, 237, 238, 2019年03月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Bone metastatic tumor detection based on AnoGAN using CT images
Haruna Watanabe; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE 1st Global Conference on Life Sciences and Technologies, LifeTech 2019, 235, 236, 2019年03月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Fine-tuning of pre-trained DCNN for gastritis detection from gastric X-ray images
Misaki Kanai; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE 1st Global Conference on Life Sciences and Technologies, LifeTech 2019, 196, 197, 2019年03月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Classification of subcellular protein patterns in human cells with transfer learning
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE 1st Global Conference on Life Sciences and Technologies, LifeTech 2019, 273, 274, 2019年03月, [査読有り]
研究論文(国際会議プロシーディングス) - Estimating Regions of Deterioration in Electron Microscope Images of Rubber Materials via a Transfer Learning-Based Anomaly Detection Model
Ren Togo; Naoki Saito; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 7, 162395, 162404, 2019年, [査読有り]
英語, 研究論文(学術雑誌) - Text-to-Image GAN-Based Scene Retrieval and Re-Ranking Considering Word Importance
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 7, 169920, 169930, 2019年, [査読有り]
英語, 研究論文(学術雑誌) - Query is GAN: Scene Retrieval With Attentional Text-to-Image Generative Adversarial Network
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 7, 153183, 153193, 2019年, [査読有り]
英語, 研究論文(学術雑誌) - Effectiveness Evaluation of Deep Features for Image Reconstruction from fMRI Signals.
Saya Takada; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Global Conference on Consumer Electronics (GCCE), 479, 480, IEEE, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Scene Retrieval Using Text-to-image GAN-based Visual Similarities and Image-to-text Model-based Textual Similarities.
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE Global Conference on Consumer Electronics (GCCE), 13, 14, IEEE, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - SCENE RETRIEVAL FOR VIDEO SUMMARIZATION BASED ON TEXT-TO-IMAGE GAN
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 1825, 1829, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - GASTRITIS DETECTION FROM GASTRIC X-RAY IMAGES VIA FINE-TUNING OF PATCH-BASED DEEP CONVOLUTIONAL NEURAL NETWORK
Misaki Kanai; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 1371, 1375, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Scene Retrieval from Multiple Resolution Generated Images Based on Text-to-image GAN
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), 1, 5, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Semi-supervised Learning Based on Tri-training for Gastritis Classification Using Gastric X-ray Images
Zongyao Li; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), 1, 5, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Synthetic Image Generation for Gastritis Detection Based on Auxiliary Classifier Generative Adversarial Network
Misaki Kanai; Ren Togo; Takahiro Ogawa; Miki Haseyama
2019 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), 1, 5, 2019年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Synthetic Gastritis Image Generation via Loss Function-Based Conditional PGGAN
Ren Togo; Takahiro Ogawa; Miki Haseyama
IEEE ACCESS, 7, 87448, 87457, 2019年, [査読有り]
英語, 研究論文(学術雑誌) - Cardiac sarcoidosis classification with deep convolutional neural network-based features using polar maps
Ren Togo; Kenji Hirata; Osamu Manabe; Hiroshi Ohira; Ichizo Tsujino; Keiichi Magota; Takahiro Ogawa; Miki Haseyama; Tohru Shiga
COMPUTERS IN BIOLOGY AND MEDICINE, 104, 81, 86, 2019年01月, [査読有り], [国際誌]
英語, 研究論文(学術雑誌) - Multi-classifier Decision: Integration of Multiple Brain Activity-based Classifications
Takahiro Ogawa; Kento Sugata; Ren Togo; Miki Haseyama
ITE TRANSACTIONS ON MEDIA TECHNOLOGY AND APPLICATIONS, 7, 1, 36, 44, 2019年, [査読有り]
英語, 研究論文(学術雑誌) - Use of deep convolutional neural network-based features for detection of cardiac sarcoidosis from polar map
Ren Togo; Kenji Hirata; Osamu Manabe; Hiroshi Ohira; Ichizo Tsujino; Takahiro Ogawa; Miki Haseyama; Tohru Shiga
JOURNAL OF NUCLEAR MEDICINE, 59, 2018年05月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Strategy to develop convolutional neural network-based classifier for diagnosis of whole-body FDG PET images
Keisuke Kawauchi; Kenji Hirata; Seiya Ichikawa; Osamu Manabe; Kentaro Kobayashi; Shiro Watanabe; Miki Haseyama; Takahiro Ogawa; Ren Togo; Tohru Shiga; Chietsugu Katoh
JOURNAL OF NUCLEAR MEDICINE, 59, 2018年05月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Preliminary study of automatic gastric cancer risk classification from photofluorography
Ren Togo; Kenta Ishihara; Katsuhiro Mabe; Harufumi Oizumi; Takahiro Ogawa; Mototsugu Kato; Naoya Sakamoto; Shigemi Nakajima; Masahiro Asaka; Miki Haseyama
WORLD JOURNAL OF GASTROINTESTINAL ONCOLOGY, 10, 2, 62, 70, 2018年02月, [査読有り]
英語, 研究論文(学術雑誌) - ANONYMOUS IMAGE DATA GENERATION FROM GASTRIC X-RAY IMAGES FOR IMPROVING GASTRITIS RECOGNITION PERFORMANCE
Ren Togo; Kenta Ishihara; Takahiro Ogawa; Miki Haseyama
2018 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS-TAIWAN (ICCE-TW), 2018年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - ANONYMOUS GASTRITIS IMAGE GENERATION VIA ADVERSARIAL LEARNING FROM GASTRIC X-RAY IMAGES
Ren Togo; Kenta Ishihara; Takahiro Ogawa; Miki Haseyama
2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 2082, 2086, 2018年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Image Retrieval from Vague Description Based on AttnGAN
Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama
2018 IEEE 7TH GLOBAL CONFERENCE ON CONSUMER ELECTRONICS (GCCE 2018), 198, 199, 2018年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Effectiveness Evaluation of Imaging Direction for Estimation of Gastritis Regions on Gastric X-ray Images
Ren Togo; Kenta Ishihara; Takahiro Ogawa; Miki Haseyama
International Technical Conference on Circuits, Systems, Computers, and Communications (ITC-CSCC), 459, 460, 2017年05月, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Aesthetic Quality Assessment of Images via Supervised Locality Preserving CCA
Misaki Kanai; Ren Togo; Takahiro Ogawa; Miki Haseyama
2017 IEEE 6TH GLOBAL CONFERENCE ON CONSUMER ELECTRONICS (GCCE), 2017-, 1, 2, 2017年, [査読有り]
英語, 研究論文(国際会議プロシーディングス) - Estimation of salient regions related to chronic gastritis using gastric X-ray images
Ren Togo; Kenta Ishihara; Takahiro Ogawa; Miki Haseyama
COMPUTERS IN BIOLOGY AND MEDICINE, 77, 9, 15, 2016年10月, [査読有り]
英語, 研究論文(学術雑誌)
- Residual Dominance as a Structural Account of Last-Item Reliance in Causal Self-Attention Recommenders
Keito Kozaki; Keigo Sakurai; Ren Togo; Takahiro Ogawa; Miki Haseyama, 2026年08月14日
Transformer-based sequential recommenders with causal self-attention often rely heavily on the most recent interaction at inference time, but how this behavior is structurally expressed in the representation used for prediction remains unclear. We combine prediction-time diagnostics with norm-based analysis of the full attention block. First, we show that SASRec-style models exhibit highly localized last-item reliance. We then find that, although self-attention aggregates contextual information, residual addition sharply shifts the full-block representation toward same-position contributions, which we term residual dominance. To probe this interpretation, we use inference-time residual scaling as a controlled diagnostic intervention. Changing the residual strength induces a monotonic trade-off between structural mixing and last-item reliance, while reducing residual strength recovers a subset of final-position misses for which representations at non-final positions already rank the ground-truth item correctly. Our results provide a structural account linking extreme last-item reliance to residual dominance at inference time. The code is publicly available. - Scene2Sound: Auditory-Grounded Soundscape Generation for 3D Gaussian Worlds
Masaki Yoshida; Ren Togo; Takahiro Ogawa; Miki Haseyama, 2026年08月01日
3D Gaussian Splatting (3DGS) turns captured or generated imagery into photorealistic 3D world simulations that users can freely explore, yet these worlds remain silent. Because existing audio generation methods condition on a single image or viewpoint, their sound is tied to that observation and cannot stay consistent while a listener moves. We introduce the task of generating a spatially consistent soundscape for a given 3DGS world through auditory grounding, identifying which objects in the world should emit sound and anchoring each to a persistent 3D position, and present Scene2Sound, a training-free framework built on this grounding. From the input world alone, our pipeline selects viewpoints that jointly cover the scene, identifies sound-emitting objects with a vision-language model, and associates the multi-view detections into 3D instances through Gaussian set matching, which measures the overlap between the Gaussian sets that render each detection. Each source then receives generated audio that a standard object-based audio engine spatializes in real time at arbitrary listener poses. We further propose two spatial-consistency metrics, one testing whether rendered audio responds consistently to listener motion and one testing whether the claimed sources are supported by views held out from their placement. On a curated set of generated 3DGS worlds and on 3DGS scenes generated from real-world 360-degree captures, Scene2Sound preserves the audio quality of strong per-viewpoint baselines while remaining spatially consistent where per-viewpoint and single-panorama pipelines do not, and a user study confirms the perceptual benefit. Project page: https://masaki-lmd.github.io/scene2sound/. - Personalized Longitudinal Medical Report Generation via Temporally-Aware Federated Adaptation.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Kenji Hirata; Minghui Tang; Takaaki Yoshimura; Hiroyuki Sugimori; Noriko Nishioka; Yukie Shimizu; Kohsuke Kudo; Miki Haseyama, CoRR, abs/2602.19668, 2026年02月 - 物体追跡モデルとVideo-LLMの協調利用に基づくタイヤ点検の動作認識に関する検討
上川恭平; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 画像ラボ, 37, 2, 2026年 - 令和6年度橋梁定期点検要領へ対応するためのIn-context Learningに基づく所見生成AIの拡張
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - 大規模マルチモーダルモデルの潜在表現を用いたインテリアコーディネート画像からのスタイル推定に関する一検討
山森諄也; 山森諄也; 藤後廉; 山城輝久; 山城輝久; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - ゴム材料生産過程における因果探索に基づく変数間の関連性分析に関する取組
ZHANG Huaying; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - 拡散モデルのトークン制御に基づくストーリー画像生成の一貫性向上に関する検討
小玉秀郎; 吉田将規; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - ラベルノイズ環境におけるNoisy Label LearningとActive Learningの統合に関する検討
柏木將希; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - 手術動画を対象としたフェーズ認識性能向上に向けた時系列情報活用の検討-Transformer型時系列エンコーダ導入が認識精度に及ぼす影響の分析-
池井戸大湧; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - Open-Vocabulary物体検出モデルを導入したオブジェクト中心の3Dシーン評価指標に関する検討
内田結子; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - 映像内の局所領域に着目した動作キャプション生成に基づくタイヤ点検動作認識に関する取組
上川恭平; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - 出力トークン確率に基づく隠れ状態編集によるMLLMの視覚-知識統合の改善に関する検討
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 50, 5(MMS2026 1-36/ME2026 1-36/AIT2026 1-36/SIP2026 1-36), 2026年 - L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts.
Minghao Yang; Ren Togo; Guang Li 0008; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2601.21349, 2026年01月
Mixture-of-Experts (MoE) models scale neural networks by conditionally activating a small subset of experts, where the router plays a central role in determining expert specialization and overall model performance. However, many modern MoE systems still adopt linear routers in raw high-dimensional representation spaces, where representation mismatch, angular concentration, and scale-sensitive scoring can jointly undermine routing discriminability and stable expert specialization. In this work, we propose Low-rank & Lipschitz-controlled Routing (L2R), a unified routing framework that reshapes both the routing space and scoring geometry. L2R performs expert assignment in a shared low-rank latent routing space and introduces Saturated Inner-Product Scoring (SIPS) to explicitly control the Lipschitz behavior of routing functions, yielding smoother and more stable routing geometry. In addition, L2R incorporates a parameter-efficient multi-anchor routing mechanism to enhance expert expressiveness. Extensive experiments on an OLMoE-based language MoE model and a vision MoE setting on ImageNet demonstrate that L2R consistently improves routing geometry, expert discrimination, and overall model performance. Code will be released. - Foreground-Aware Dataset Distillation via Dynamic Patch Selection.
Longzhen Li; Guang Li 0008; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2601.02727, 2026年01月
In this paper, we propose a foreground-aware dataset distillation method that enhances patch selection in a content-adaptive manner. With the rising computational cost of training large-scale deep models, dataset distillation has emerged as a promising approach for constructing compact synthetic datasets that retain the knowledge of their large original counterparts. However, traditional optimization-based methods often suffer from high computational overhead, memory constraints, and the generation of unrealistic, noise-like images with limited architectural generalization. Recent non-optimization methods alleviate some of these issues by constructing distilled data from real image patches, but the used rigid patch selection strategies can still discard critical information about the main objects. To solve this problem, we first leverage Grounded SAM2 to identify foreground objects and compute per-image foreground occupancy, from which we derive a category-wise patch decision threshold. Guided by these thresholds, we design a dynamic patch selection strategy that, for each image, either selects the most informative patch from multiple candidates or directly resizes the full image when the foreground dominates. This dual-path mechanism preserves more key information about the main objects while reducing redundant background content. Extensive experiments on multiple benchmarks show that the proposed method consistently improves distillation performance over existing approaches, producing more informative and representative distilled datasets and enhancing robustness across different architectures and image compositions. - Privacy-Aware Continual Self-Supervised Learning on Multi-Window Chest Computed Tomography for Domain-Shift Robustness.
Ren Tasai; Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Kenji Hirata; Minghui Tang; Takaaki Yoshimura; Hiroyuki Sugimori; Noriko Nishioka; Yukie Shimizu; Kohsuke Kudo; Miki Haseyama, CoRR, abs/2510.27213, 2025年10月
We propose a novel continual self-supervised learning (CSSL) framework for simultaneously learning diverse features from multi-window-obtained chest computed tomography (CT) images and ensuring data privacy. Achieving a robust and highly generalizable model in medical image diagnosis is challenging, mainly because of issues, such as the scarcity of large-scale, accurately annotated datasets and domain shifts inherent to dynamic healthcare environments. Specifically, in chest CT, these domain shifts often arise from differences in window settings, which are optimized for distinct clinical purposes. Previous CSSL frameworks often mitigated domain shift by reusing past data, a typically impractical approach owing to privacy constraints. Our approach addresses these challenges by effectively capturing the relationship between previously learned knowledge and new information across different training stages through continual pretraining on unlabeled images. Specifically, by incorporating a latent replay-based mechanism into CSSL, our method mitigates catastrophic forgetting due to domain shifts during continual pretraining while ensuring data privacy. Additionally, we introduce a feature distillation technique that integrates Wasserstein distance-based knowledge distillation (WKD) and batch-knowledge ensemble (BKE), enhancing the ability of the model to learn meaningful, domain-shift-robust representations. Finally, we validate our approach using chest CT images obtained across two different window settings, demonstrating superior performance compared with other approaches. - Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning.
Minghao Yang; Ren Togo; Guang Li 0008; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2510.00570, 2025年10月
Mixture-of-Experts (MoE) has emerged as a powerful framework for multi-task learning (MTL). However, existing MoE-MTL methods often rely on single-task pretrained backbones and suffer from redundant adaptation and inefficient knowledge sharing during the transition from single-task to multi-task learning (STL to MTL). To address these limitations, we propose adaptive shared experts (ASE) within a low-rank adaptation (LoRA) based MoE, where shared experts are assigned router-computed gating weights jointly normalized with sparse experts. This design facilitates STL to MTL transition, enhances expert specialization, and cooperation. Furthermore, we incorporate fine-grained experts by increasing the number of LoRA experts while proportionally reducing their rank, enabling more effective knowledge sharing under a comparable parameter budget. Extensive experiments on the PASCAL-Context benchmark, under unified training settings, demonstrate that ASE consistently improves performance across diverse configurations and validates the effectiveness of fine-grained designs for MTL. - Objectness Similarity: Capturing Object-Level Fidelity in 3D Scene Evaluation.
Yuiko Uchida; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2509.09143, 2025年09月
This paper presents Objectness SIMilarity (OSIM), a novel evaluation metric for 3D scenes that explicitly focuses on "objects," which are fundamental units of human visual perception. Existing metrics assess overall image quality, leading to discrepancies with human perception. Inspired by neuropsychological insights, we hypothesize that human recognition of 3D scenes fundamentally involves attention to individual objects. OSIM enables object-centric evaluations by leveraging an object detection model and its feature representations to quantify the "objectness" of each object in the scene. Our user study demonstrates that OSIM aligns more closely with human perception compared to existing metrics. We also analyze the characteristics of OSIM using various approaches. Moreover, we re-evaluate recent 3D reconstruction and generation models under a standardized experimental setup to clarify advancements in this field. The code is available at https://github.com/Objectness-Similarity/OSIM. - 基盤モデルのファインチューニングによる橋梁の健全性判定-不均衡データの分類精度への影響分析-
登石光士郎; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 6, 3, 2025年 - リアルタイム性と地名音声認識を考慮した通報音声からの事象発生地点予測
吉田将規; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 6, 3, 2025年 - Vision Transformerと大規模視覚言語モデルを用いた道路附属物の損傷種類と損傷程度の推定
渡部航史; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 6, 3, 2025年 - 令和6年度橋梁定期点検要領における生成AIを用いた所見の自動生成 -点検調書抽出および類似画像群検索の導入-
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 6, 3, 2025年 - 物体追跡モデルとVideo-LLMの協調利用に基づくタイヤ点検の動作認識に関する検討
上川恭平; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 人工知能学会全国大会論文集(Web), 39th, 2025年 - 3D新規視点評価指標の限定的状況下における感度特性変化に関する一検討
WANG Haoyang; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 道路附属物の画像を用いたVision Transformerと大規模視覚言語モデルに基づく損傷分類技術
渡部航史; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 連合学習におけるモデルマージ導入の有効性に関する評価-複数のドメインを対象とした画像分類タスクによる検証-
久保田健太; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 地名認識のための音声認識モデルの再学習に基づいた通報音声からの事象発生地点予測
吉田将規; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 画像生成および補完推薦技術を活用したインテリアコーディネーションの支援に関する検討
櫻井慶悟; 岡村洋希; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 画像プロンプト入力を活用した視覚言語モデルに基づくパーソナライズ異常検知手法に関する一検討
松田遥; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 敵対的攻撃に対する脳活動情報導入の有効性に関する検討-生成モデルによる脳信号からの画像再構成手法の活用-
中島佑; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 連続的3Dシーン生成における空間整合性の考慮に関する検討
江良勇輝; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 線形表現仮説に基づいたfew-shot学習による視覚言語モデルの解釈可能性に関する検討
岡村洋希; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 点検調書作成支援に向けたIn-context Learningに基づく所見生成AIの高度化
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 実店舗の映像データを用いた複数のTransformerモデルに基づく顧客の関心推定に関する検討
山城輝久; 藤後廉; 本間勇紀; 吉田裕; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 49, 4(MMS2025 1-40/ME2025 1-40/AIT2025 1-40/SIP2025 1-40), 2025年 - 点検調書作成支援のための生成AIを用いた所見の自動生成-クラスタ分析を通じた類似画像検索に基づくin-context learningの導入-
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 6, 1, 2025年 - データ拡張を用いたin-context learning導入による道路構造物の点検画像からの損傷程度分類
中島佑; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 6, 1, 2025年 - ゴム材料物性値に影響する工程・環境変数の因果推論に基づく動的解析に関する検討
ZHANG Huaying; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 人工知能学会全国大会論文集(Web), 39th, 2025年 - RGMIM: Region-Guided Masked Image Modeling for Learning Meaningful Representations from X-Ray Images
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama, ECCV Workshops (14), 148, 157, 2025年
Purpose: Self-supervised learning has been gaining attention in the medical
field for its potential to improve computer-aided diagnosis. One popular method
of self-supervised learning is masked image modeling (MIM), which involves
masking a subset of input pixels and predicting the masked pixels. However,
traditional MIM methods typically use a random masking strategy, which may not
be ideal for medical images that often have a small region of interest for
disease detection. To address this issue, this work aims to improve MIM for
medical images and evaluate its effectiveness in an open X-ray image dataset.
Methods: In this paper, we present a novel method called region-guided masked
image modeling (RGMIM) for learning meaningful representation from X-ray
images. Our method adopts a new masking strategy that utilizes organ mask
information to identify valid regions for learning more meaningful
representations. The proposed method was contrasted with five self-supervised
learning techniques (MAE, SKD, Cross, BYOL, and, SimSiam). We conduct
quantitative evaluations on an open lung X-ray image dataset as well as masking
ratio hyperparameter studies. Results: When using the entire training set,
RGMIM outperformed other comparable methods, achieving a 0.962 lung disease
detection accuracy. Specifically, RGMIM significantly improved performance in
small data volumes, such as 5% and 10% of the training set (846 and 1,693
images) compared to other methods, and achieved a 0.957 detection accuracy even
when only 50% of the training set was used. Conclusions: RGMIM can mask more
valid regions, facilitating the learning of discriminative representations and
the subsequent high-accuracy lung disease detection. RGMIM outperforms other
state-of-the-art self-supervised learning methods in experiments, particularly
when limited training data is used., Springer - Cross-domain Few-shot In-context Learning for Enhancing Traffic Sign Recognition
Yaozong Gan; Guang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2407.05814, 2564, 2570, 2024年07月08日
Recent multimodal large language models (MLLM) such as GPT-4o and GPT-4v have
shown great potential in autonomous driving. In this paper, we propose a
cross-domain few-shot in-context learning method based on the MLLM for
enhancing traffic sign recognition (TSR). We first construct a traffic sign
detection network based on Vision Transformer Adapter and an extraction module
to extract traffic signs from the original road images. To reduce the
dependence on training data and improve the performance stability of
cross-country TSR, we introduce a cross-domain few-shot in-context learning
method based on the MLLM. To enhance MLLM's fine-grained recognition ability of
traffic signs, the proposed method generates corresponding description texts
using template traffic signs. These description texts contain key information
about the shape, color, and composition of traffic signs, which can stimulate
the ability of MLLM to perceive fine-grained traffic sign categories. By using
the description texts, our method reduces the cross-domain differences between
template and real traffic signs. Our approach requires only simple and uniform
textual indications, without the need for large-scale traffic sign images and
labels. We perform comprehensive evaluations on the German traffic sign
recognition benchmark dataset, the Belgium traffic sign dataset, and two
real-world datasets taken from Japan. The experimental results show that our
method significantly enhances the TSR performance., IEEE - Zero-shot Composed Image Retrieval Considering Query-target Relationship Leveraging Masked Image-text Pairs
Huaying Zhang; Rintaro Yanagi; Ren Togo; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2406.18836, 2431, 2437, 2024年06月27日
This paper proposes a novel zero-shot composed image retrieval (CIR) method
considering the query-target relationship by masked image-text pairs. The
objective of CIR is to retrieve the target image using a query image and a
query text. Existing methods use a textual inversion network to convert the
query image into a pseudo word to compose the image and text and use a
pre-trained visual-language model to realize the retrieval. However, they do
not consider the query-target relationship to train the textual inversion
network to acquire information for retrieval. In this paper, we propose a novel
zero-shot CIR method that is trained end-to-end using masked image-text pairs.
By exploiting the abundant image-text pairs that are convenient to obtain with
a masking strategy for learning the query-target relationship, it is expected
that accurate zero-shot CIR using a retrieval-focused textual inversion network
can be realized. Experimental results show the effectiveness of the proposed
method., IEEE - Reinforcing Pre-trained Models Using Counterfactual Images
Xiang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2406.13316, 486, 492, 2024年06月19日
This paper proposes a novel framework to reinforce classification models
using language-guided generated counterfactual images. Deep learning
classification models are often trained using datasets that mirror real-world
scenarios. In this training process, because learning is based solely on
correlations with labels, there is a risk that models may learn spurious
relationships, such as an overreliance on features not central to the subject,
like background elements in images. However, due to the black-box nature of the
decision-making process in deep learning models, identifying and addressing
these vulnerabilities has been particularly challenging. We introduce a novel
framework for reinforcing the classification models, which consists of a
two-stage process. First, we identify model weaknesses by testing the model
using the counterfactual image dataset, which is generated by perturbed image
captions. Subsequently, we employ the counterfactual images as an augmented
dataset to fine-tune and reinforce the classification model. Through extensive
experiments on several classification models across various datasets, we
revealed that fine-tuning with a small set of counterfactual images effectively
strengthens the model., IEEE - Generative Dataset Distillation: Balancing Global Structure and Local Details
Longzhen Li; Guang Li; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2404.17732, 2024年04月26日
In this paper, we propose a new dataset distillation method that considers
balancing global structure and local details when distilling the information
from a large dataset into a generative model. Dataset distillation has been
proposed to reduce the size of the required dataset when training models. The
conventional dataset distillation methods face the problem of long redeployment
time and poor cross-architecture performance. Moreover, previous methods
focused too much on the high-level semantic attributes between the synthetic
dataset and the original dataset while ignoring the local features such as
texture and shape. Based on the above understanding, we propose a new method
for distilling the original image dataset into a generative model. Our method
involves using a conditional generative adversarial network to generate the
distilled dataset. Subsequently, we ensure balancing global structure and local
details in the distillation process, continuously optimizing the generator for
more information-dense dataset generation. - Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach
Taro Togo; Ren Togo; Keisuke Maeda; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2403.18258, 2024年03月27日
This study presents a novel approach to Generative Class Incremental Learning
(GCIL) by introducing the forgetting mechanism, aimed at dynamically managing
class information for better adaptation to streaming data. GCIL is one of the
hot topics in the field of computer vision, and this is considered one of the
crucial tasks in society, specifically the continual learning of generative
models. The ability to forget is a crucial brain function that facilitates
continual learning by selectively discarding less relevant information for
humans. However, in the field of machine learning models, the concept of
intentionally forgetting has not been extensively investigated. In this study
we aim to bridge this gap by incorporating the forgetting mechanisms into GCIL,
thereby examining their impact on the models' ability to learn in continual
learning. Through our experiments, we have found that integrating the
forgetting mechanisms significantly enhances the models' performance in
acquiring new knowledge, underscoring the positive role that strategic
forgetting plays in the process of continual learning. - LLM is Knowledge Graph Reasoner: LLM's Intuition-aware Knowledge Graph Reasoning for Cold-start Sequential Recommendation.
Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2412.12464, 2024年
Knowledge Graphs (KGs) represent relationships between entities in a graph structure and have been widely studied as promising tools for realizing recommendations that consider the accurate content information of items. However, traditional KG-based recommendation methods face fundamental challenges: insufficient consideration of temporal information and poor performance in cold-start scenarios. On the other hand, Large Language Models (LLMs) can be considered databases with a wealth of knowledge learned from the web data, and they have recently gained attention due to their potential application as recommendation systems. Although approaches that treat LLMs as recommendation systems can leverage LLMs' high recommendation literacy, their input token limitations make it impractical to consider the entire recommendation domain dataset and result in scalability issues. To address these challenges, we propose a LLM's Intuition-aware Knowledge graph Reasoning model (LIKR). Our main idea is to treat LLMs as reasoners that output intuitive exploration strategies for KGs. To integrate the knowledge of LLMs and KGs, we trained a recommendation agent through reinforcement learning using a reward function that integrates different recommendation strategies, including LLM's intuition and KG embeddings. By incorporating temporal awareness through prompt engineering and generating textual representations of user preferences from limited interactions, LIKR can improve recommendation performance in cold-start scenarios. Furthermore, LIKR can avoid scalability issues by using KGs to represent recommendation domain datasets and limiting the LLM's output to KG exploration strategies. Experiments on real-world datasets demonstrate that our model outperforms state-of-the-art recommendation methods in cold-start sequential recommendation scenarios. - 半導体製造装置のセンサデータを用いた深層距離学習による類似事例検索に関する検討
斉藤直輝; 藤後廉; 前田圭介; 小林累輝; 中村隆央; 岡谷基弘; 数井誠人; 松沢貴仁; 小川貴弘; 長谷山美紀, 人工知能学会全国大会論文集(Web), 38th, 2024年 - ゴム材料の物性値に影響する工程・環境要因の推定に関する検討
柳凜太郎; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 人工知能学会全国大会論文集(Web), 38th, 2024年 - Graph masked autoencoderを用いた知識グラフ推論に基づく説明可能性のある推薦に関する検討
櫻井慶悟; 藤後廉; 小川貴弘; 長谷山美紀, 人工知能学会全国大会論文集(Web), 38th, 2024年 - 音声認識・生成AIを用いた通報音声からの事象発生地点予測
吉田将規; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 48, 6(MMS2024 1-30/ME2024 17-46/AIT2024 1-30), 2024年 - 視覚言語モデルにおける注目する特徴を指定可能なドメイン適応に関する検討
岡村洋希; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 48, 6(MMS2024 1-30/ME2024 17-46/AIT2024 1-30), 2024年 - Neural Radiance FieldsにおけるReduced Reference画質評価に関する一検討
河合雅斗; 柳凜太郎; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 48, 6(MMS2024 1-30/ME2024 17-46/AIT2024 1-30), 2024年 - 物体の属性と関係性を考慮したマルチモーダル大規模言語モデルの高精度化に関する検討
大羽賀駿也; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 48, 6(MMS2024 1-30/ME2024 17-46/AIT2024 1-30), 2024年 - アメリカンフットボールにおける選手位置情報を利用したパス可能領域の推定に関する一検討
河合雅斗; 柳凜太郎; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 48, 6(MMS2024 1-30/ME2024 17-46/AIT2024 1-30), 2024年 - 画像注視時の脳活動データを用いたStable Diffusionに基づくテキストからの画像生成に関する検討-潜在空間における脳活動データに基づく制御機構の導入-
七田亮; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告(Web), 48, 6(MMS2024 1-30/ME2024 17-46/AIT2024 1-30), 2024年 - 点検調書作成支援のための生成AIを用いた所見の自動生成 -データプール圧縮を用いた類似画像検索に基づくin-context learningの導入-
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 5, 3, 2024年 - 脳活動によって強化された敵対的学習によるCLIPの頑健性向上に関する検討
中島佑; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 2024年 - J-MIDデータベースを用いたドメイン知識を考慮した継続自己教師あり学習に基づく肺疾患の分類に関する検討
太齊蓮; LI Guang; 藤後廉; TANG Minghui; 吉村高明; 杉森博行; 平田健司; 小川貴弘; 工藤與亮; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 2024年 - クラス情報を考慮可能なデータ選択を用いた生成画像に基づくモデル汎化に関する検討
早川楓; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 2024年 - モデルの学習軌跡を用いたパーソナライズド連合学習におけるクライアントの非階層的クラスタリングの精度向上に関する検討
久保田健太; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 2024年 - 拡散モデルに基づくテキスト制御可能なシンボリック音楽生成に関する検討
ZHU Jinlong; 櫻井慶悟; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 2024年 - 重み選択に基づく少量データセットでの肺疾患分類に関する検討
堤彩花; LI Guang; 藤後廉; 小川貴弘; 近藤敏志; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2024, 2024年 - Which Client is Reliable?: A Reliable and Personalized Prompt-based Federated Learning for Medical Image Question Answering.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2410.17484, 2024年
Conventional medical artificial intelligence (AI) models face barriers in clinical application and ethical issues owing to their inability to handle the privacy-sensitive characteristics of medical data. We present a novel personalized federated learning (pFL) method for medical visual question answering (VQA) models, addressing privacy reliability challenges in the medical domain. Our method introduces learnable prompts into a Transformer architecture to efficiently train it on diverse medical datasets without massive computational costs. Then we introduce a reliable client VQA model that incorporates Dempster-Shafer evidence theory to quantify uncertainty in predictions, enhancing the model's reliability. Furthermore, we propose a novel inter-client communication mechanism that uses maximum likelihood estimation to balance accuracy and uncertainty, fostering efficient integration of insights across clients. - Think Twice Before Recognizing: Large Multimodal Models for General Fine-grained Traffic Sign Recognition.
Yaozong Gan; Guang Li 0008; Ren Togo; Keisuke Maeda; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2409.01534, 2024年 - MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT.
Jinlong Zhu; Keigo Sakurai; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2409.00919, 2024年 - Generative Dataset Distillation Based on Diffusion Model.
Duo Su; Junjie Hou; Guang Li 0008; Ren Togo; Rui Song 0007; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2408.08610, 2024年
This paper presents our method for the generative track of The First Dataset Distillation Challenge at ECCV 2024. Since the diffusion model has become the mainstay of generative models because of its high-quality generative effects, we focus on distillation methods based on the diffusion model. Considering that the track can only generate a fixed number of images in 10 minutes using a generative model for CIFAR-100 and Tiny-ImageNet datasets, we need to use a generative model that can generate images at high speed. In this study, we proposed a novel generative dataset distillation method based on Stable Diffusion. Specifically, we use the SDXL-Turbo model which can generate images at high speed and quality. Compared to other diffusion models that can only generate images per class (IPC) = 1, our method can achieve an IPC = 10 for Tiny-ImageNet and an IPC = 20 for CIFAR-100, respectively. Additionally, to generate high-quality distilled datasets for CIFAR-100 and Tiny-ImageNet, we use the class information as text prompts and post data augmentation for the SDXL-Turbo model. Experimental results show the effectiveness of the proposed method, and we achieved third place in the generative track of the ECCV 2024 DD Challenge. Codes are available at https://github.com/Guang000/BANKO. - Prompt-based Personalized Federated Learning for Medical Visual Question Answering.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2402.09677, 2024年 - Importance-Aware Adaptive Dataset Distillation.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2401.15863, 2024年 - 画像とテキストの関係性を考慮したTextual Inverisionに基づくZero-shot Composed Image Retrieval手法に関する検討
ZHANG Huaying; 柳凜太郎; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2023, 2023年 - 事前学習済みモデルを用いたラベル修正に基づくNoisy Labels Learningの精度向上に関する検討
柏木將希; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2023, 2023年 - In-context Learningを用いた複数視点ライフログ画像のキャプションの統一化に関する検討
佐藤雅也; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2023, 2023年 - 拡散モデルによる画像生成における複数対象へのパーソナライズ手法に関する検討
松田遥; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2023, 2023年 - マルチモーダル大規模言語モデルを用いたfMRIからの言語情報の推定に関する検討-In-context Learningに基づく時系列聴覚刺激からの言語情報の推定-
藤後太郎; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2023, 2023年 - 視覚反実仮想機械学習モデルにおける精度向上に関する一検討-特徴抽出モデルが精度に与える影響の検証-
LI Xiang; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2023, 2023年 - データベース特化型クロスモーダル画像検索のためのテキストプロンプトチューニングに関する検討
ZHANG Huaying; 柳凛太郎; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 47, 6(MMS2023 1-34/ME2023 21-54/AIT2023 1-34), 2023年 - 360度映像におけるマルチビュー学習に基づくバイノーラル音声生成の高精度化に関する検討
吉田将規; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 47, 6(MMS2023 1-34/ME2023 21-54/AIT2023 1-34), 2023年 - 物体検出モデルに基づく視覚表現を用いた解釈可能なVisual Question Answeringモデルに関する検討
ZHU He; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 47, 6(MMS2023 1-34/ME2023 21-54/AIT2023 1-34), 2023年 - Interpretable Visual Question Answering Referring to Outside Knowledge.
He Zhu; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2303.04388, 2023年
We present a novel multimodal interpretable VQA model that can answer the
question more accurately and generate diverse explanations. Although
researchers have proposed several methods that can generate human-readable and
fine-grained natural language sentences to explain a model's decision, these
methods have focused solely on the information in the image. Ideally, the model
should refer to various information inside and outside the image to correctly
generate explanations, just as we use background knowledge daily. The proposed
method incorporates information from outside knowledge and multiple image
captions to increase the diversity of information available to the model. The
contribution of this paper is to construct an interpretable visual question
answering model using multimodal inputs to improve the rationality of generated
results. Experimental results show that our model can outperform
state-of-the-art methods regarding answer accuracy and explanation rationality. - Compressed Gastric Image Generation Based on Soft-Label Dataset Distillation for Medical Data Sharing
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2209.14635, 2022年09月29日
Background and objective: Sharing of medical data is required to enable the
cross-agency flow of healthcare information and construct high-accuracy
computer-aided diagnosis systems. However, the large sizes of medical datasets,
the massive amount of memory of saved deep convolutional neural network (DCNN)
models, and patients' privacy protection are problems that can lead to
inefficient medical data sharing. Therefore, this study proposes a novel
soft-label dataset distillation method for medical data sharing. Methods: The
proposed method distills valid information of medical image data and generates
several compressed images with different data distributions for anonymous
medical data sharing. Furthermore, our method can extract essential weights of
DCNN models to reduce the memory required to save trained models for efficient
medical data sharing. Results: The proposed method can compress tens of
thousands of images into several soft-label images and reduce the size of a
trained model to a few hundredths of its original size. The compressed images
obtained after distillation have been visually anonymized; therefore, they do
not contain the private information of the patients. Furthermore, we can
realize high-detection performance with a small number of compressed images.
Conclusions: The experimental results show that the proposed method can improve
the efficiency and security of medical data sharing. - Variational Autoencoderに基づく深層生成モデルを用いた潜在表現のDisentanglementに関する検討 : Disentanglement評価指標を含む正則化損失の導入—A Note on Disentanglement Using Deep Generative Model Based on Variational Autoencoder : Introduction of Regularization Losses Based on Metrics of Disentangled Representation—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
中川 真; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 97, 102, 2022年02月
日本語 - ゴム材料開発のためのGenerative Adversarial Networkに基づく配合量および物性からの電子顕微鏡画像の生成に関する一検討—A Note on Electron Microscope Image Generation from Mix Proportion and Material Property via Generative Adversarial Network for Rubber Materials—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
柳 凛太郎; 藤後 廉; 前田 圭介; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 187, 191, 2022年02月
日本語 - セマンティックセグメンテーションに対するマルチソースモデル適応に関する検討 : 複数のソースモデルからの不変な特徴表現の学習による適応精度の向上—A note on multi-source model adaptation for semantic segmentation : Improving adaptation performance by learning model-invariant representation from multiple source models—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
李 宗曜; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 37, 41, 2022年02月
日本語 - 地下鉄トンネル点検時の技術者から取得される生体信号と技術者の点検行動の関連性分析—Relevance Analysis between Bio-signals of Engineers Inspecting Subway Tunnels and Their Inspection Behaviors—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
平澤 魁人; 前田 圭介; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 365, 370, 2022年02月
日本語 - 高速道路の遮音壁画像を用いた物体検出手法による変状分類の高精度化に関する検討—A note on improvement of distress classification using noise barrier images on highway via object detection method—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
梁 鋆; 前田 圭介; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 359, 363, 2022年02月
日本語 - 地下鉄トンネルの維持管理支援のためのマルチスケール解析を導入した深層学習に基づく変状検出に関する検討—A Note on Distress Detection Based on Deep Learning with Hierarchical Multi-Scale Attention Mechanism for Supporting Maintenance of Subway Tunnels—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
高田 紗弥; 前田 圭介; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 377, 381, 2022年02月
日本語 - 橋梁点検時の技術者の一人称および三人称視点映像を用いた点検動作の分類に関する検討—A Note on Inspection Action Classification Using First and Third Person Video of Engineers Inspecting Bridges—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
増田 毅; 前田 圭介; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 177, 180, 2022年02月
日本語 - ユーザの嗜好を考慮した強化学習と知識グラフに基づく楽曲プレイリスト生成に関する検討—A Note on User Preference-Aware Music Playlist Generation Based on Reinforcement Learning and Knowledge Graph—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
櫻井 慶悟; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 46, 6, 109, 112, 2022年02月
日本語 - テキストおよび画像情報に基づくFocal Lossを導入した深層学習による冬期路面状態の分類
諸戸祐哉; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 3, J2, 2022年 - 地下鉄トンネル点検時の一人称視点映像を用いたVision Transformerに基づく変状検出
櫻井慶悟; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 3, J2, 2022年 - インフラ施設の変状の評価を支援する効率的な映像提示に向けた技術者の点検動作分類
上川恭平; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, AI・データサイエンス論文集(Web), 3, J2, 2022年 - セマンティックセグメンテーションに対するマルチソースモデル適応に関する検討-複数のソースモデルからの不変な特徴表現の学習による適応精度の向上-
LI Zongyao; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 2022年 - ユーザの嗜好を考慮した強化学習と知識グラフに基づく楽曲プレイリスト生成に関する検討
櫻井慶悟; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 2022年 - Variational Autoencoderに基づく深層生成モデルを用いた潜在表現のDisentanglementに関する検討-Disentanglement評価指標を含む正則化損失の導入-
中川真; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 2022年 - 協調フィルタリングにおける潜在因子モデルの埋め込み表現と人気バイアスの関係の検討
岡村洋希; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2022, 2022年 - ドメイン共有ネットワークに基づく嗜好のドメイン依存性に頑健な推薦システムに関する検討
山本一輝; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2022, 2022年 - pixelNeRFによる生成画像を用いた視点の変化に頑健な画像検索手法に関する検討
江良勇輝; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2022, 2022年 - フーリエ振幅成分を考慮したNeural Radiance Fieldsのノンリファレンス評価指標に関する検討
河合雅斗; 柳凛太郎; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2022, 2022年 - 画像注視時の脳活動データを用いたVQAモデルに基づく認知内容推定に関する検討-fMRIデコーダに用いる回帰モデルによる推定精度に関する検証-
七田亮; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2022, 2022年 - 眼底画像を用いた教師なしドメイン適応に基づく糖尿病性網膜症の重症度の推定に関する検討
國枝翼; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2022, 2022年 - Boosting Automatic COVID-19 Detection Performance with Self-Supervised Learning and Batch Knowledge Ensembling.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2212.09281, 2022年
Problem: Detecting COVID-19 from chest X-Ray (CXR) images has become one of
the fastest and easiest methods for detecting COVID-19. However, the existing
methods usually use supervised transfer learning from natural images as a
pretraining process. These methods do not consider the unique features of
COVID-19 and the similar features between COVID-19 and other pneumonia. Aim: In
this paper, we want to design a novel high-accuracy COVID-19 detection method
that uses CXR images, which can consider the unique features of COVID-19 and
the similar features between COVID-19 and other pneumonia. Methods: Our method
consists of two phases. One is self-supervised learning-based pertaining; the
other is batch knowledge ensembling-based fine-tuning. Self-supervised
learning-based pretraining can learn distinguished representations from CXR
images without manually annotated labels. On the other hand, batch knowledge
ensembling-based fine-tuning can utilize category knowledge of images in a
batch according to their visual feature similarities to improve detection
performance. Unlike our previous implementation, we introduce batch knowledge
ensembling into the fine-tuning phase, reducing the memory used in
self-supervised learning and improving COVID-19 detection accuracy. Results: On
two public COVID-19 CXR datasets, namely, a large dataset and an unbalanced
dataset, our method exhibited promising COVID-19 detection performance. Our
method maintains high detection accuracy even when annotated CXR training
images are reduced significantly (e.g., using only 10% of the original
dataset). In addition, our method is insensitive to changes in hyperparameters. - COVID-19 Detection Based on Self-Supervised Transfer Learning Using Chest X-Ray Images.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2212.09276, 2022年
Purpose: Considering several patients screened due to COVID-19 pandemic,
computer-aided detection has strong potential in assisting clinical workflow
efficiency and reducing the incidence of infections among radiologists and
healthcare providers. Since many confirmed COVID-19 cases present radiological
findings of pneumonia, radiologic examinations can be useful for fast
detection. Therefore, chest radiography can be used to fast screen COVID-19
during the patient triage, thereby determining the priority of patient's care
to help saturated medical facilities in a pandemic situation. Methods: In this
paper, we propose a new learning scheme called self-supervised transfer
learning for detecting COVID-19 from chest X-ray (CXR) images. We compared six
self-supervised learning (SSL) methods (Cross, BYOL, SimSiam, SimCLR,
PIRL-jigsaw, and PIRL-rotation) with the proposed method. Additionally, we
compared six pretrained DCNNs (ResNet18, ResNet50, ResNet101, CheXNet,
DenseNet201, and InceptionV3) with the proposed method. We provide quantitative
evaluation on the largest open COVID-19 CXR dataset and qualitative results for
visual inspection. Results: Our method achieved a harmonic mean (HM) score of
0.985, AUC of 0.999, and four-class accuracy of 0.953. We also used the
visualization technique Grad-CAM++ to generate visual explanations of different
classes of CXR images with the proposed method to increase the
interpretability. Conclusions: Our method shows that the knowledge learned from
natural images using transfer learning is beneficial for SSL of the CXR images
and boosts the performance of representation learning for COVID-19 detection.
Our method promises to reduce the incidence of infections among radiologists
and healthcare providers. - Union-set Multi-source Model Adaptation for Semantic Segmentation.
Zongyao Li; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2212.02785, 2022年 - RGMIM: Region-Guided Masked Image Modeling for COVID-19 Detection.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2211.00313, 2022年 - Dataset Complexity Assessment Based on Cumulative Maximum Scaled Area Under Laplacian Spectrum.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2209.14743, 2022年 - ゴム材料開発のためのGenerative Adversarial Networkに基づく配合量および物性からの電子顕微鏡画像の生成に関する一検討
柳凜太郎; 藤後廉; 前田圭介; 前田圭介; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 2022年 - 地下鉄トンネルの維持管理支援のためのマルチスケール解析を導入した深層学習に基づく変状検出に関する検討
高田紗弥; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 2022年 - 地下鉄トンネル点検時の技術者から取得される生体信号と技術者の点検行動の関連性分析
平澤魁人; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 46, 6(MMS2022 1-37/ME2022 26-62/AIT2022 1-37), 2022年 - Dataset Distillation using Parameter Pruning.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2209.14609, 2022年
The acquisition of advanced models relies on large datasets in many fields,
which makes storing datasets and training models expensive. As a solution,
dataset distillation can synthesize a small dataset such that models trained on
it achieve high performance on par with the original large dataset. The
recently proposed dataset distillation method by matching network parameters
has been proved effective for several datasets. However, a few parameters in
the distillation process are difficult to match, which harms the distillation
performance. Based on this observation, this paper proposes a new method to
solve the problem using parameter pruning. The proposed method can synthesize
more robust distilled datasets and improve the distillation performance by
pruning difficult-to-match parameters in the distillation process. Experimental
results on three datasets show that the proposed method outperformed other SOTA
dataset distillation methods. - Dataset Distillation for Medical Dataset Sharing.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2209.14603, 2022年
Sharing medical datasets between hospitals is challenging because of the
privacy-protection problem and the massive cost of transmitting and storing
many high-resolution medical images. However, dataset distillation can
synthesize a small dataset such that models trained on it achieve comparable
performance with the original large dataset, which shows potential for solving
the existing medical sharing problems. Hence, this paper proposes a novel
dataset distillation-based method for medical dataset sharing. Experimental
results on a COVID-19 chest X-ray image dataset show that our method can
achieve high detection performance even using scarce anonymized chest X-ray
images. - Gromov-Wasserstein Autoencoders.
Nao Nakagawa; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2209.07007, 2022年
Learning concise data representations without supervisory signals is a
fundamental challenge in machine learning. A prominent approach to this goal is
likelihood-based models such as variational autoencoders (VAE) to learn latent
representations based on a meta-prior, which is a general premise assumed
beneficial for downstream tasks (e.g., disentanglement). However, such
approaches often deviate from the original likelihood architecture to apply the
introduced meta-prior, causing undesirable changes in their training. In this
paper, we propose a novel representation learning method, Gromov-Wasserstein
Autoencoders (GWAE), which directly matches the latent and data distributions.
Instead of a likelihood-based objective, GWAE models have a trainable prior
optimized by minimizing the Gromov-Wasserstein (GW) metric. The GW metric
measures the distance structure-oriented discrepancy between distributions
supported on incomparable spaces, e.g., with different dimensionalities. By
restricting the family of the trainable prior, we can introduce meta-priors to
control latent representations for downstream tasks. The empirical comparison
with the existing VAE-based methods shows that GWAE models can learn
representations based on meta-priors by changing the prior family without
further modifying the GW objective. - TriBYOL: Triplet BYOL for Self-Supervised Representation Learning.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2206.03012, 2022年 - Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images.
Guang Li 0008; Ren Togo; Takahiro Ogawa 0001; Miki Haseyama, CoRR, abs/2206.03009, 2022年 - 地下鉄トンネルの維持管理支援を目的とした深層学習に基づく変状検出の高精度化に関する検討 : 壁面の施工方法に注目した精度検証—A Note on Improving Performance of Deep Learning-based Distress Detection for Supporting Maintenance of Subway Tunnels : Accuracy Verification Focusing on Tunnel Wall Characteristics—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
春山 知生; 前田 圭介; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 45, 4, 1, 6, 2021年02月
映像情報メディア学会, 日本語 - 特別講演 実店舗の防犯カメラ映像データを用いた顧客の関心推定に関する検討 : 姿勢推定モデルから得られる特徴量を用いた異常検知モデルの精度検証—A Note on Customer's Interest Estimation Method Using Security Camera Video Data from the Real Store : Validation of the accuracy of an anomaly detection model using features obtained from a posture estimation model—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
本間 勇紀; 藤後 廉; 阿部 真育; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 45, 4, 193, 198, 2021年02月
映像情報メディア学会, 日本語 - 特別講演 ゴム材料開発のためのConditional StyleGANに基づく配合量からの電子顕微鏡画像の生成に関する一検討—A Note on Electron Microscope Image Generation from Mix Proportion via Conditional Style Generative Adversarial Network for Rubber Materials—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
柳 凜太郎; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 45, 4, 171, 175, 2021年02月
映像情報メディア学会, 日本語 - TCCに基づく自己教師学習による特徴表現を用いた映像中の人物動作の検出に関する検討 : 動作検出パラメータが与える影響に対する考察—A Note on Action Detection Using Feature Representation via Self-Supervised Learning based on TCC : Effectiveness evaluation of parameters for action detection—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
増田 毅; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 45, 4, 47, 51, 2021年02月
映像情報メディア学会, 日本語 - 電子顕微鏡により撮像されたゴム材料からの異常検知に基づく劣化領域の推定に関する一検討 : 深層学習モデルにより抽出された特徴表現の有効性検証—A Note on Estimation of Deteriorated Regions Based on Anomaly Detection from Rubber Material Electron Microscope Images : Verification of Feature Representations Extracted from Deep Learning Models—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
松本 真直; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 45, 4, 43, 46, 2021年02月
映像情報メディア学会, 日本語 - 特別講演 ユーザの嗜好を反映可能なインテリアコーディネート検索技術の構築 : コーディネートを表現可能な特徴の抽出と実データへの適用—A Note on Interior Coordination Retrieval Reflecting User's Preferences : Extraction of Features Representing Coordination and Application to Real Data—マルチメディアストレージ メディア工学 映像表現&コンピュータグラフィックス
藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 45, 4, 187, 191, 2021年02月
映像情報メディア学会, 日本語 - Audio-visual立体化モデルを用いた画面外音声検出に関する検討-自己教師あり学習手法に基づくAudio-visual特徴表現の導入-
吉田将規; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2021, 2021年 - 画像特徴の表現能力が世界モデルのパフォーマンスに与える影響の検証
大羽賀駿也; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2021, 2021年 - テキスト入力型画像操作における操作領域に着目した精度評価に関する検討
渡邉優宇人; 藤後廉; 前田圭介; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2021, 2021年 - 消化管がんの検診・スクリーニングにおけるトピックス 5 ピロリ菌感染胃炎の胃X線スクリーニングにおけるAIの活用
竹内千尋; 藤後廉; 小川貴弘; 長谷山美紀; 山道信毅, 臨床消化器内科, 36, 8, 2021年 - 画像注視時の脳活動データを用いた質問応答生成モデルに基づく意味内容の推定に関する検討-fine-tuningに基づく高精度化-
高田紗弥; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - 地下鉄トンネルの維持管理支援を目的とした深層学習に基づく変状検出の高精度化に関する検討-壁面の施工方法に注目した精度検証-
春山知生; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - 実店舗の防犯カメラ映像データを用いた顧客の関心推定に関する検討-姿勢推定モデルから得られる特徴量を用いた異常検知モデルの精度検証-
本間勇紀; 本間勇紀; 藤後廉; 阿部真育; 小川貴弘; 長谷山美紀; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - 電子顕微鏡により撮像されたゴム材料からの異常検知に基づく劣化領域の推定に関する一検討~深層学習モデルにより抽出された特徴表現の有効性検証~
松本真直; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - TCCに基づく自己教師学習による特徴表現を用いた映像中の人物動作の検出に関する検討-動作検出パラメータが与える影響に対する考察-
増田毅; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - ユーザの嗜好を反映可能なインテリアコーディネート検索技術の構築-コーディネートを表現可能な特徴の抽出と実データへの適用-
藤後廉; 小川貴弘; 長谷山美紀; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - ゴム材料開発のためのConditional StyleGANに基づく配合量からの電子顕微鏡画像の生成に関する一検討
柳凜太郎; 藤後廉; 小川貴弘; 長谷山美紀, 映像情報メディア学会技術報告, 45, 4(MMS2021 1-28/ME2021 1-28/AIT2021 1-28), 2021年 - AIを中心とした医療デジタル技術基盤の構築へ向けた取り組み
藤後廉; 小川貴弘; 長谷山美紀, 日本消化器がん検診学会雑誌(Web), 59, Supplement 1, 2021年 - Self-Supervised Learning for Gastritis Detection with Gastric X-Ray Images.
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2104.02864, 2021年
Purpose: It is time-consuming and expensive for doctors to annotate gastric
X-ray images for gastritis detection manually. This paper proposes a
self-supervised learning method to solve this problem. This study aims to
verify the effectiveness of the proposed self-supervised learning method in
gastritis detection using a few annotated gastric X-ray images. Methods: In
this paper, we propose a novel method that can perform explicit self-supervised
learning and learn discriminative representations from gastric X-ray images.
Models trained with the proposed method were fine-tuned on datasets with a few
annotated gastric X-ray images. Five self-supervised learning methods, i.e.,
SimSiam, BYOL, PIRL-jigsaw, PIRL-rotation, and SimCLR, were compared with the
proposed method. Furthermore, three previous methods, one pretrained on
ImageNet, one trained from scratch, and one semi-supervised learning method,
were compared with the proposed method. Results: The proposed method$'$s
harmonic mean score of sensitivity and specificity after fine-tuning with the
annotated data of 10, 20, 30, and 40 patients were 0.875, 0.911, 0.915, and
0.931, respectively. The proposed method outperformed all comparative methods,
including the five self-supervised learning and three previous methods.
Experimental results showed the effectiveness of the proposed method in
gastritis detection with a few annotated gastric X-ray images. Conclusions: The
proposed self-supervised learning method shows potential clinical use in
gastritis detection using a few annotated gastric X-ray images. - Soft-Label Anonymous Gastric X-ray Image Distillation.
Guang Li; Ren Togo; Takahiro Ogawa; Miki Haseyama, CoRR, abs/2104.02857, 2021年 - 胃X線画像を用いたAIによるH.pylori感染識別と今後の展望
藤後 廉; 小川 貴弘; 間部 克裕; 加藤 元嗣; 長谷山 美紀, 日本消化器がん検診学会雑誌, 58, 2, 127, 127, 2020年03月
(一社)日本消化器がん検診学会, 日本語 - 画像内の物体に着目した画像検索に関する検討 : RetinaNetを用いた物体認識に基づく高精度化—A Note on Image Retrieval Focusing on Objects in Images : Improving Retrieval Performance Based on Object Recognition Using RetinaNet—マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス
柳 凛太郎; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 44, 6, 377, 381, 2020年02月
映像情報メディア学会, 日本語 - 画像内の物体に着目した画像検索に関する検討 : RetinaNetを用いた物体認識に基づく高精度化—A Note on Image Retrieval Focusing on Objects in Images Improving Retrieval Performance Based on Object Recognition Using RetinaNet—ITS : Intelligent Transport Systems Technology
柳 凜太郎; 藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 119, 421, 377, 381, 2020年02月
電子情報通信学会, 日本語 - 弱異常検知アルゴリズムに基づくCCTV映像を用いた河川利用者の異常行動の検出に関する検討—A Note on Abnormal Motion Detection of River Users on CCTV Videos Based on Weakly Supervised Anomaly Detection Algorithm—マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス
渡邊 はるな; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 44, 6, 367, 370, 2020年02月
映像情報メディア学会, 日本語 - ゴム材料の配合量を用いたAC-GANに基づく電子顕微鏡画像の生成に関する一検討—A Note on Generation of Electron Microscope Images via Auxiliary Classifier Generative Adversarial Network with Mix Proportions—ITS : Intelligent Transport Systems Technology
金井 美岬; 藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 119, 421, 107, 111, 2020年02月
電子情報通信学会, 日本語 - ゴム材料の配合量を用いたAC-GANに基づく電子顕微鏡画像の生成に関する一検討—A Note on Generation of Electron Microscope Images via Auxiliary Classifier Generative Adversarial Network with Mix Proportions—マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス
金井 美岬; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 44, 6, 107, 111, 2020年02月
映像情報メディア学会, 日本語 - 穿孔データを用いたオンライン学習に基づく岩盤の圧縮強度指数推定に関する検討—A Note on Estimation of rock compressive strength index from drilling data based on online learning—マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス
山本 健太郎; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 44, 6, 57, 60, 2020年02月
映像情報メディア学会, 日本語 - 穿孔データを用いたオンライン学習に基づく岩盤の圧縮強度指数推定に関する検討—A Note on Estimation of rock compressive strength index from drilling data based on online learning—ITS : Intelligent Transport Systems Technology
山本 健太郎; 藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 119, 421, 57, 60, 2020年02月
電子情報通信学会, 日本語 - 穿孔データを用いたオンライン学習に基づく岩盤の圧縮強度指数推定に関する検討
山本健太郎; 藤後廉; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 119, 421(ITS2019 30-56), 2020年 - 弱異常検知アルゴリズムに基づくCCTV映像を用いた河川利用者の異常行動の検出に関する検討
渡邊はるな; 藤後廉; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 119, 421(ITS2019 30-56), 2020年 - ゴム材料の配合量を用いたAC-GANに基づく電子顕微鏡画像の生成に関する一検討
金井美岬; 藤後廉; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 119, 421(ITS2019 30-56), 2020年 - 画像内の物体に着目した画像検索に関する検討-RetinaNetを用いた物体認識に基づく高精度化-
柳凛太郎; 藤後廉; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 119, 421(ITS2019 30-56), 2020年 - 自己組織化マップを用いた強化学習に基づく楽曲プレイリスト生成に関する検討
櫻井慶悟; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2020, 2020年 - Temporal Cycle Consistency Learningに基づく人物動作の検出に関する検討
増田毅; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2020, 2020年 - nAULSに基づくデータセットの複雑性評価に関する検討
LI Guang; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2020, 2020年 - RICAPに基づくデータ拡張による地下鉄トンネルにおける変状検出精度の向上に関する検討
春山知生; 前田圭介; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2020, 2020年 - 学習済みセマンティックセグメンテーションモデルを用いたdisentanglementに関する検討
中川真; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2020, 2020年 - 胃X線画像を用いたAIによるH.pylori感染識別と今後の展望
藤後廉; 小川貴弘; 間部克裕; 加藤元嗣; 長谷山美紀, 日本消化器がん検診学会雑誌(Web), 58, 2, 2020年 - 【Helicobacter Topics!-「旬のHelicobacter」を知り、驚き、理解を深め、楽しむ-】胃バリウム検査におけるAIによるHelicobacter pylori診断
藤後 廉; 間部 克裕; 山道 信毅; 大泉 晴史; 小川 貴弘; 長谷山 美紀; 加藤 元嗣; 坂本 直哉, Helicobacter Research, 23, 2, 133, 137, 2019年11月
(株)先端医学社, 日本語 - 敵対的生成ネットワークにより文から生成される画像の意味的評価に関する検討 (イメージ・メディア・クオリティ)
柳 凜太郎; 藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 119, 131, 21, 24, 2019年07月19日
電子情報通信学会, 日本語 - 【人工知能が医療を変える!医療分野におけるAI研究開発最前線2019】領域別・画像診断におけるAI研究開発の最前線 その他 核医学におけるディープラーニングを用いた画像診断、画像処理
平田 健司; 藤後 廉; 小川 貴弘; 長谷山 美紀; 志賀 哲, INNERVISION, 34, 7, 60, 63, 2019年06月
(株)インナービジョン, 日本語 - 電子顕微鏡により撮像されたゴム材料からの異常検知に基づく劣化領域の推定に関する一検討 (ITS)
藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 118, 449, 265, 268, 2019年02月19日
電子情報通信学会, 日本語 - 3D residual networkに基づくFDG-PET/CT画像を用いた悪性腫瘍候補の自動検出
李 宗曜; 藤後 廉; 小川 貴弘; 平田 健司; 真鍋 治; 志賀 哲; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 118, 449, 311, 314, 2019年02月19日
電子情報通信学会, 英語 - 転移学習を用いた胃X線画像における胃炎識別に関する検討 (ITS)
金井 美岬; 藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 118, 449, 315, 318, 2019年02月19日
電子情報通信学会, 日本語 - Progressive Growing GANに基づく胃炎識別のための画像生成手法に関する一検討 (ITS)
渡邊 はるな; 藤後 廉; 小川 貴弘; 長谷山 美紀, 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, 118, 449, 319, 322, 2019年02月19日
電子情報通信学会, 日本語 - 電子顕微鏡により撮像されたゴム材料からの異常検知に基づく劣化領域の推定に関する一検討 (マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 43, 5, 265, 268, 2019年02月
映像情報メディア学会, 日本語 - A Note on Automatic Malignant Tumor Candidate Detection Based on a 3D Deep Residual Network with FDG-PET/CT Images (マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
李 宗曜; 藤後 廉; 小川 貴弘; 平田 健司; 真鍋 治; 志賀 哲; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 43, 5, 311, 314, 2019年02月
映像情報メディア学会, 英語 - 転移学習を用いた胃X線画像における胃炎識別に関する検討 (マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
金井 美岬; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 43, 5, 315, 318, 2019年02月
映像情報メディア学会, 日本語 - Progressive Growing GANに基づく胃炎識別のための画像生成手法に関する一検討 (マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
渡邊 はるな; 藤後 廉; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 43, 5, 319, 322, 2019年02月
映像情報メディア学会, 日本語 - Text-to-imageGANに基づくスタイル変換に関する検討-Image-to-textモデル導入による高精度化-
古寺恵; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2019, 2019年 - Semantic Segmentationに基づく地下鉄トンネルにおける変状検出に関する検討
WANG An; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2019, 2019年 - 脳活動データを用いた注視画像の再構成における用いる視覚野の領域に関する検討
高田紗弥; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2019, 2019年 - Automatic Metastatic Bone Tumor Classification with DCNN-based Features Using Treatment-planning CT Images
Haruna Watanabe; Ren Togo; Takahiro Ogawa; Miki Haseyama; Koichi Yasuda; Khin Khin Tha; Kohsuke Kudo; Hiroki Shirato, INTERNATIONAL FORUM ON MEDICAL IMAGING IN ASIA 2019, 11050, 2019年, [査読有り]
英語 - 深層学習に基づく画像特徴量を利用した放射線治療用CT画像における転移性骨腫瘍の検出に関する検討
渡邊はるな; 藤後廉; 小川貴弘; 長谷山美紀; 安田耕一; THA Khin Khin; 工藤與亮; 白土博樹, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2018, ROMBUNNO.87, 2018年10月27日
日本語 - AC‐GANに基づく胃炎識別のための画像生成に関する検討
金井美岬; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2018, ROMBUNNO.89, 2018年10月27日
日本語 - Tri‐trainingに基づく胃X線画像を用いた胃炎の識別に関する検討
LI Zongyao; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2018, ROMBUNNO.88, 2018年10月27日
日本語 - AttnGANを用いたシーン検索に関する検討―再検索の導入による高精度化―
柳凜太郎; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2018, ROMBUNNO.10, 2018年10月27日
日本語 - 胃X線画像を用いた胃炎識別における敵対的生成ネットワークの利用に関する検討
藤後廉; 石原賢太; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 117, 431(ITS2017 61-83), 299‐303, 2018年02月08日
日本語 - 胃X線画像を用いた胃炎識別における敵対的生成ネットワークの利用に関する検討 (マルチメディアストレージ ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
藤後 廉; 石原 賢太; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 42, 4, 299, 303, 2018年02月
映像情報メディア学会, 日本語 - 敵対的学習により生成された画像が与える審美的印象に関する検討
金井美岬; 藤後廉; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2017, ROMBUNNO.115, 2017年10月28日
日本語 - Estimation of Regions Related to Helicobacter Pylori Infection from Gastric X-ray Images
Ren Togo; Kenta Ishihara; Takahiro Ogawa; Miki Haseyama, 7, 8, 2017年07月
英語, 研究発表ペーパー・要旨(国際会議) - 送電鉄塔劣化診断のための見本画像の選択に関する検討
藤後廉; 高橋翔; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 116, 463(ITS2016 42-76), 47‐50, 2017年02月13日
日本語 - 送電鉄塔劣化診断のための見本画像の選択に関する検討 (マルチメディアストレージ コンシューマエレクトロニクス ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
藤後 廉; 高橋 翔; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 41, 5, 47, 50, 2017年02月
映像情報メディア学会, 日本語 - 胃X線画像を用いたHelicobacter Pylori感染の高精度識別に関する検討(3)―識別精度低下の原因となる領域の推定―
藤後廉; 石原賢太; 小川貴弘; 長谷山美紀, 電子情報通信学会技術研究報告, 115, 458(ITS2015 56-83), 333‐336, 2016年02月15日
日本語 - 胃X線画像を用いたHelicobacter Pylori感染の高精度識別に関する検討(3)識別精度低下の原因となる領域の推定 (マルチメディアストレージ コンシューマエレクトロニクス ヒューマンインフォメーション メディア工学 映像表現&コンピュータグラフィックス)
藤後 廉; 石原 賢太; 小川 貴弘; 長谷山 美紀, 映像情報メディア学会技術報告 = ITE technical report, 40, 6, 333, 336, 2016年02月
映像情報メディア学会, 日本語 - 胃X線画像を用いたHelicobacter Pylori感染の高精度識別に関する検討(4)
藤後廉; 石原賢太; 小川貴弘; 長谷山美紀, 信号処理シンポジウム講演論文集(CD-ROM), 31st, ROMBUNNO.B4‐2, 2016年
日本語 - 胃X線画像を用いたHelicobacter pylori感染の高精度識別に関する検討(2)―撮像方向が識別に有効な画像領域に与える影響に対する考察―
藤後廉; 石原賢太; 小川貴弘; 長谷山美紀, 電気・情報関係学会北海道支部連合大会講演論文集(CD-ROM), 2015, ROMBUNNO.123, 2015年11月07日
日本語 - 胃X線画像を用いたHelicobacter pylori感染の高精度識別に関する検討(1)―識別精度向上に有効な画像領域の抽出手法―
藤後廉; 石原賢太; 小川貴弘; 長谷山美紀, 信号処理シンポジウム講演論文集(CD-ROM), 30th, ROMBUNNO.C4‐4, 2015年
日本語
- AIを中心とした医療デジタル技術基盤の構築へ向けた取り組み
第60回日本消化器がん検診学会総会 附置研究会3, 2021年06月 - ゴム材料開発のためのConditional StyleGANに基づく配合量からの電子顕微鏡画像の生成に関する一検討
映像情報メディア学会技術報告, 2021年02月 - 実店舗の防犯カメラ映像データを用いた顧客の関心推定に関する検討 ~ 姿勢推定モデルから得られる特徴量を用いた異常検知モデルの精度検証 ~
映像情報メディア学会技術報告, 2021年02月 - ユーザの嗜好を反映可能なインテリアコーディネート検索技術の構築 ~ コーディネートを表現可能な特徴の抽出と実データへの適用 ~
映像情報メディア学会技術報告, 2021年02月
■ 共同研究・競争的資金等の研究課題
- 生成AIとの融合により潜在的嗜好を把握可能とするユーザ中心推薦技術の構築
科学研究費助成事業
2024年04月01日 - 2028年03月31日
長谷山 美紀; 斉藤 直輝; 小川 貴弘; 藤後 廉
本研究では、マルチメディアコンテンツ推薦において、プラットフォーム依存かつブラックボックス推薦の双方の課題の解決に挑戦し、ユーザ中心の新たな推薦技術の確立を目指す。具体的に、「モダリティ・プラットフォームを横断可能とするクロスモーダル表現学習技術」および「潜在的嗜好を考慮した推薦を可能とするIn-context Learning技術の構築」を軸としてユーザの潜在的嗜好の把握およびそれを利用した推薦精度の向上を目指す。本研究の独自性および創造性は、潜在空間モデリング、知識グラフ解析、強化学習等の先行技術を統合することで、ユーザ中心の新たな推薦体系の実現を目指す点である。最終的には、推薦精度の向上のみならず、解釈性向上等のユーザ体験についても大きな改善をもたらすことを目指す。
本研究では、具体的に、4つのフェーズ(【フェーズ1】モダリティ・プラットフォームを横断可能とする共通潜在空間の構築、【フェーズ2】潜在的嗜好を表現する混合知識グラフの構築、【フェーズ3】コンテンツ推薦に特化したIn-context Learning技術の構築、【フェーズ4】実証実験を通した効果検証)を配し、分担者とともに研究を遂行する。まず、初年度である令和6年度は、【フェーズ1】に取り組んだ。既存のノートPCやスマートフォンを実験対象として使用するデバイスとして指定し、コンテンツ情報や視線情報の取得を行った。関連する研究成果の対外発表についても積極的に行い、生成AIを活用した推薦システムに関する論文がデータマイニング・推薦分野におけるトップ国際会議ECIRへ採択された。また、人気バイアスに関する推薦技術を提案し、データマイニング・推薦分野におけるトップ論文誌Information Processing & Managementへ採択された。
日本学術振興会, 基盤研究(B), 北海道大学, 24K02942 - 医療AIの汎用性向上を目指す超少量匿名学習技術および汎用学習技術の構築
科学研究費助成事業 基盤研究(C)
2023年04月 - 2028年03月
藤後 廉
本研究では,医療AIの汎用性向上を目指す超少量匿名学習技術および汎用学習技術の構築を目指す.一般画像を対象とするAI技術の指数関数的発展と比較して,医用画像を対象とするAI技術の応用範囲は依然として限定的である.そこで本研究では,一般画像と医用画像のそれぞれが有する性質の差異に着目することで,医療AIの汎用性向上を実現する技術を構築する.具体的には,まず,データ蒸留技術に基づき,匿名性の高い汎用蒸留画像を生成する.そして,モデルベースドメイン適応技術と組み合わせることで,汎用的用途で利用可能なデータおよびモデルの構築を実現する.本研究では,複数種類の医用画像および複数施設から得られる医用画像を対象として,構築技術の有効性検証を実施する.
本年度では,まず,医用画像と対象とする前に,一般画像におけるデータ蒸留技術の構築を行った.より基礎的なデータを対象とした理論構築を出発点とすることで,構築理論の有効性を検証しつつ,医用画像データへの応用可能性について検討可能となる.本年度は,一般データを対象としたデータ蒸留における基礎理論を構築し,ニューラルネットワーク分野のトップ論文誌Neural Networksへの採択に至った.また,これらの技術の改良版を画像処理分野における世界最大の国際会議International Conference on Image Processing (ICIP) およびコンピュータビジョン分野における世界最高峰の国際会議International Conference on Computer Vision and Pattern Recognition (CVPR)のデータ蒸留ワークショップへ投稿中である.
日本学術振興会, 基盤研究(C), 北海道大学, 23K11141 - エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築
科学研究費助成事業
2021年04月01日 - 2026年03月31日
小川 貴弘; 藤後 廉; 前田 圭介
本研究課題では、エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築を目指している。研究代表者が進めてきた低演算量・低容量バイナリスパース表現技術とクロスモーダル埋め込み技術の研究を融合させ、AIの演算量と学習データ量を大幅に削減可能な新たな理論を構築する。具体的に、最先端の深層学習モデルをバイナリスパース表現により模倣し、さらに、他のモダリティからの知識転移を行うことで、深層学習の利点である高い精度を保持しつつ、演算量削減と学習データ量の小規模化を同時に実現する。本研究課題では、構築理論の汎用性を示すとともに、エッジデバイス上での評価検証を行う。尚、本研究課題は研究分担者とともに遂行し、実施項目である「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」については、①の研究を小川・藤後が、②の研究を小川・前田が実施する。
令和4年度は、「バイナリスパース深層学習モデルの実現」を目指し、研究を遂行した。具体的に、演算量削減と学習データ量の小規模化のそれぞれを以下のように実現した。まず、構築済みの「深層学習モデルの中間層出力」と「バイナリスパース深層学習モデルの中間出力」との相関を最大化する理論に、データの近似誤差最小化を可能にする損失関数を新たに組み込むことで、各中間層出力を低演算量のバイナリスパース表現で模倣するモデルクローニングを実現した。次に、異なる種類のモダリティの相関を最大化する理論を構築することで、学習データ量の不足をモダリティ相関に基づき補間するクロスモーダル知識転移を実現した。研究成果の対外発表についても積極的に行い、コンピュータビジョン分野のトップ国際会議ECCVへの採択や、信号処理分野のトップ国際会議ICASSPへの採択に至った。
日本学術振興会, 基盤研究(B), 北海道大学, 23K21676 - エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築
科学研究費助成事業 基盤研究(B)
2021年04月01日 - 2026年03月31日
小川 貴弘; 前田 圭介; 藤後 廉
本研究課題では、エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築を目指す。研究代表者が進めてきた低演算量・低容量バイナリスパース表現技術とクロスモーダル埋め込み技術の研究を融合させ、AIの演算量と学習データ量を大幅に削減可能な新たな理論を構築する。具体的に、最先端の深層学習モデルをバイナリスパース表現により模倣し、さらに、他のモダリティからの知識転移を行うことで、深層学習の利点である高い精度を保持しつつ、演算量削減と学習データ量の小規模化を同時に実現する。本研究課題では、構築した理論が汎用性を有することを示すとともに、エッジデバイス上での評価検証を行う。尚、本研究課題は研究分担者とともに遂行し、実施項目である「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」については、①の研究を小川・藤後が、②の研究を小川・前田が実施する。
令和3年度は、「深層学習モデルにおける中間層出力」と「バイナリスパース表現係数」との間で相関を最大化するクロスモーダル埋め込み理論を構築した。具体的に、ソースドメインに対応する実数データとバイナリスパース表現係数との間でクロスモーダル埋め込みを行い、それらの相関が最大化されるよう、バイナリスパース表現における辞書学習を可能とした。この際、バイナリスパース表現係数は0または1の疎なデータであることに注目し、観測データがバイナリスパース値である制約を設けた新たなクロスモーダル埋め込み理論を実現した。さらに、構築した理論やその応用に関する研究成果の対外発表についても積極的に行い、クロスモーダル埋め込み理論を応用した研究成果が画像処理分野における世界最高峰の国際会議ICIP等に採択されている。
日本学術振興会, 基盤研究(B), 北海道大学, 21H03456 - 医用画像を対象とした機械学習に基づく逐次的データクレンジング技術の構築
科学研究費助成事業 若手研究
2020年04月01日 - 2024年03月31日
藤後 廉
本研究では,胃X線画像を対象とした機械学習に基づくデータクレンジング技術の構築を目的とする.医用画像解析分野において,大規模なデータに基づく教師有り学習は有効性が認識されつつあり,診断支援技術としての実用化が期待されている.一方で,現在提案されている多くの手法は,モデルの構築および評価にとどまっており,データセットの構築に係る労力については考慮されていない.そこで本研究では,機械学習の社会実装へ向け必要となるデータセット構築の部分に注目し,効率的にデータクレンジングを実現可能とする技術を構築する.本研究によりデータセット構築に係る労力を削減可能とすることで,あらゆる医用画像に対する診断支援技術としての社会実装の加速に貢献する.
本年度では,胃X線検査を対象として研究を遂行した.一般的な胃X線検査では,胃X線画像に加えて,食道X線画像も撮像される.胃がんリスク推定モデルの構築を目的とした場合に,食道X線画像の混入は精度低下の要因となるため,事前にクレンジングが必要となる.しかしながら,手動でのデータクレンジングは多大な労力を要することが課題となっていた.そこで本研究では,胃X線画像と食道X線画像の画像特徴が異なるという性質に着目し,異常検知に基づく食道X線画像の自動データクレンジング手法を構築した.提案手法では具体的に,Deep Autoencoding Gaussian Mixture Modelに基づく異常検知手法を構築し,正常画像として胃X線画像を用いてその分布の学習を行なった.実験の結果,感度と特異度の調和平均96.8%で食道X線画像を自動的に除去できることが明らかとなった.研究成果は,学術論文誌Computers in Biology and Medicineへ採録されている.
日本学術振興会, 若手研究, 北海道大学, 20K19857 - 機械学習に基づくマルチモーダル画像生成手法の構築
科学研究費助成事業 特別研究員奨励費
2019年04月25日 - 2021年03月31日
藤後 廉
本研究では,医用画像におけるマルチモーダル画像生成手法の構築を目的として,研究を遂行してきた.具体的に本研究では,胃X線画像および血液検査抗体値を用い,胃炎初期状態の患者の胃X線画像から,胃炎が進行した場合の未知情報を画像生成により推定することを目的とする.本研究は,【研究1:胃炎の進行予測画像の生成】および【研究2:画像生成手法のマルチモーダル化】の2つのテーマから構築されている.研究計画策定時点においては,研究1では,任意の胃がんリスクに応じた予測画像の生成を行い,研究2では,血液検査結果と照らし合わせた学習を行う推定器を加えた画像生成手法のマルチモーダル化を行う予定であった.
研究実施者はまず,高解像度である胃X線画像に対する画像生成を実現するため,徐々に解像度を向上させる画像生成手法であるProgressive Growing of GANs (PGGAN) に基づき画像生成手法を構築した.さらに生成画像の胃炎分類問題への応用可能性を示した.尚,本成果は学際論文誌IEEE Accessへの採録に至っている.
次に研究実施者は,血液検査値と胃X線画像の対応付けによる画像生成の研究に着手した.血液検査による結果をドメインラベルベクトルとして扱うことで血液検査結果の入力に対応した画像生成が可能となる手法を構築した.また,本成果に関して,画像認識分野における国内最大規模の学会である「画像の認識・理解シンポジウム(MIRU) 」においてポスター発表を行った.
以上より,研究実施者は,本研究に関する成果をほぼ研究計画通りに実施しており,研究成果を対外発表や論文として社会に還元している.
日本学術振興会, 特別研究員奨励費, 北海道大学, 19J10821
- 学習モデルの生成方法
特許権, 西田 駿平; 友田 良寛; 長谷山 美紀; 小川 貴弘; 藤後 廉, オリンパスメディカルシステムズ株式会社, 国立大学法人北海道大学
JP2023004224, 2023年02月08日
特許第7898120号, 2026年07月23日
202603009784760264 - 情報処理システム
特許権, 本間 勇紀; 山城 輝久; 長谷山 美紀; 小川 貴弘; 藤後 廉, 株式会社ニトリホールディングス, 国立大学法人北海道大学
特願2022-206332, 2022年12月23日
特開2024-090422, 2024年07月04日
特許第7809292号, 2026年01月23日
202603004414813839 - 情報処理システム
特許権, 本間 勇紀; 藤後 廉; 阿部 真育; 長谷山 美紀; 小川 貴弘, 株式会社ニトリホールディングス, 国立大学法人北海道大学
特願2021-202578, 2021年12月14日
特開2023-087988, 2023年06月26日
特許第7809271号, 2026年01月23日
202603007905325142 - 画像処理システム、画像処理システムの作動方法及び情報記憶媒体
特許権, 西田 駿平; 友田 良寛; 長谷山 美紀; 小川 貴弘; 藤後 廉, オリンパスメディカルシステムズ株式会社, 国立大学法人北海道大学
JP2023023293, 2023年06月23日
特許第7792107号, 2025年12月17日
202603003580490120 - 画像生成装置、ゴム組成物の配合推定装置及び学習装置
特許権, 福地 将志; 山田 宏明; 伊藤 和加奈; 長谷山 美紀; 小川 貴弘; 藤後 廉, 住友ゴム工業株式会社, 国立大学法人北海道大学
特願2021-019382, 2021年02月09日
特開2021-136024, 2021年09月13日
特許第7603275号, 2024年12月12日
202503020259470936 - 情報処理システム
特許権, 本間 勇紀; 山城 輝久; 長谷山 美紀; 小川 貴弘; 藤後 廉, 株式会社ニトリホールディングス, 国立大学法人北海道大学
特願2022-206332, 2022年12月23日
特開2024-090422, 2024年07月04日
202403013564367068 - 情報処理システム
特許権, 本間 勇紀; 藤後 廉; 阿部 真育; 長谷山 美紀; 小川 貴弘, 株式会社ニトリホールディングス, 国立大学法人北海道大学
特願2021-202578, 2021年12月14日
特開2023-087988, 2023年06月26日
202303018862076828 - 画像生成装置、ゴム組成物の配合推定装置及び学習装置
特許権, 福地 将志; 山田 宏明; 伊藤 和加奈; 長谷山 美紀; 小川 貴弘; 藤後 廉, 住友ゴム工業株式会社, 国立大学法人北海道大学
特願2021-019382, 2021年02月09日
特開2021-136024, 2021年09月13日
202103009110722611
メディア報道
- 住友ゴム工業 北大との共創型研究拠点 「住友ゴム イノベーションベース・札幌」説明会
2025年09月18日
日刊油業報知新聞 - 住友ゴム✕北大 共創型研究拠点開発
2025年09月10日
自動車タイヤ新聞 - 住友ゴム工業 北海道大学に共創型研究拠点 「住友ゴム・イノベーションベース・札幌」開設
2025年09月09日
日刊油業報知新聞 - 住友ゴム工業 北海道大学に共創型研究拠点を開設
2025年09月08日
ゴム報知新聞 - AI活用による技術革新に向けた共創型研究拠点開設
2025年09月08日
タイヤ新報 - タイヤ開発を大改革 住友ゴム 産学連携に活路 メーカーと足並みをそろえるために
2025年09月08日
日刊自動車新聞 - 住友ゴム×北海道大学 AI活用による技術革新に向けた共創型研究拠点開設
2025年09月08日
週刊タイヤ新報 - 住友ゴム フィジカルAI実用化にアクセル 研究・製造現場への導入想定
2025年09月04日
化学工業日報 - 住友ゴム 研究AI開発 北大拠点活用 ロボが実験代行
2025年09月03日
北海道新聞 - 北大の医学研究力強化を支援 文科省事業に採択 「医療AI開発に力」
2025年08月26日
北海道新聞デジタル - 住友ゴム、北海道大学に共創型研究拠点を開設
2025年08月08日
KYODO NEWS PRWIRE - AI活用、高機能素材開発 住友ゴム工業、北大に研究拠点開設へ
2025年08月08日
北海道新聞デジタル - 住友ゴム、北大の総合イノベーション創発機構データ駆動型融合研究創発拠点内に「住友ゴム イノベーションベース・札幌」を開設
2025年08月08日
日本経済新聞 - 住友ゴム、北海道大学に共創型研究拠点を開設~AIを活用した技術革新と、未来のモビリティを取り巻く環境に向けた新たな価値創出を加速~
2025年08月08日
北海道大学プレスリリース - 住友ゴム、北海道大学に共創型研究拠点を開設 ~AIを活用した技術革新と、未来のモビリティを取り巻く環境に向けた新たな価値創出を加速~
2025年08月08日
住友ゴム工業株式会社プレスリリース - “現場DX”を実現するAI×デジタルツイン 熟練者の技能をモデル化などの最新論文【土木×AI第27回】
2024年09月11日
BUILT - ITmedia - 土木におけるAI活用の現状と将来
2024年07月17日
けんせつPlaza - えりも町沿岸の天然コンブ漁場におけるブルーカーボンによるCO₂吸収量の調査に関するAI技術を用いた研究成果が、ジャーナル「Remote Sensing」に掲載されました
2024年05月21日
北海道大学 X SDGs - 胃X線画像からピロリ感染を判断するAIも開発進む
2018年03月10日
日経メディカル
R. Togo et.al., WJGO, 2018に関して, [新聞・雑誌] - 一个项目帮你了解数据集蒸馏Datas
机器之心 (中国) - AI技術の共同研究成果 Nature Indexに掲載
本人以外
ゴム化学新聞
[新聞・雑誌] - 道新プラス 道新受験情報 2022高校入試 合格データ特集 「AIってなんだろう? vol. 7」
北海道新聞
R. Togo et al., IEEE Access 2019に関して, [新聞・雑誌] - Artificial intelligence gets to grip with tyres
Nature Index
R. Togo et.al, IEEE Access, 2019に関して, [インターネットメディア] - 住友ゴムと北大、AI技術の共同研究成果が研究成果のデータベース「Nature Index」の材料科学特集として掲載
日本経済新聞
R. Togo et.al, IEEE Access, 2019に関して, [新聞・雑誌] - 北海道大学 長谷山美紀教授と住友ゴム工業株式会社との共同研究成果を「Nature Index」に掲載
北海道大学プレスリリース
と住友ゴム工業株式会社との共同研究成果を「Nature Index」に掲載, 北海道大学プレスリリース, [その他] - 住友ゴムと北海道大学とのAI技術の共同研究成果を「Nature Index」に掲載
住友ゴム工業株式会社プレスリリース
R. Togo et.al, IEEE Access, 2019に関して, [その他] - 道新プラス 道新受験情報 2022大学・短大特集 「AIってなんだろう? vol. 6」
北海道新聞
Zongyao Li et al., ICASSP 2020に関して, [新聞・雑誌] - How to Make Artificial Intelligence More Democratic
SCIENTIFIC AMERICAN
Guang Li, Ren Togo, et al., ICIP, 2020に関して, [インターネットメディア] - 道新プラス 道新受験情報 2021大学・短大特集 「AIってなんだろう? vol. 5」
北海道新聞
李 宗曜, 他, 映像情報メディア学会技術報告, 2019に関して, [新聞・雑誌] - Tyre Leap AI Analysis Technology: An Overview
TYRE TRENDS
R. Togo et.al, IEEE Access, 2019に関して, [新聞・雑誌] - 道新プラス 道新受験情報 2020大学・短大特集 「AIってなんだろう? vol. 3」
北海道新聞
R. Togo et.al, CBM, 2016に関して, [新聞・雑誌]
