木谷頼斗 Kiya Raito

東北大学大学院情報科学研究科博士前期課程2年
Tohoku NLP Group （坂口・乾研究室）所属

研究テーマ

人工知能
自然言語処理
大規模言語モデル（LLM）
- 内部機序
- Attention Sink
- Massive Activations

発表論文

国際会議（査読付き）

It’s Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention
Raito Kiya, Satoki Ohashi, Kosuke Sato, Go Kamoda, Ryosuke Takahashi, Yuji Yamamoto, Daiki Shiono, Keisuke Sakaguchi, Goro Kobayashi
The 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026) (Acceptance rate: 15.4%)
2026年

arXiv EMNLP (coming soon)

国内会議

Attention SinkおよびMassive Activationの発生機序の分解 🏆 若手奨励賞
木谷頼斗, 大橋諭貴, 佐藤宏亮, 鴨田豪, 高橋良允, 山本悠士, 塩野大輝, 坂口慶祐, 小林悟郎
言語処理学会第32回年次大会 (NLP2026)
2026年3月
論文

注意機構における Attention Sink のバイアス項的解釈 🏆 若手奨励賞
大橋諭貴, 木谷頼斗, 佐藤宏亮, 高橋良允, 鴨田豪, 山本悠士, 塩野大輝, 坂口慶祐, 小林悟郎
言語処理学会第32回年次大会 (NLP2026)
2026年3月
論文

説明文生成による予測精度の向上に着目した解釈可能なフェイクニュース検出
木谷頼斗，張建偉
令和6年度情報処理学会東北支部研究会 (IPSJ-TOHOKU)
2025年2月

経験

NLPエンジニア（アルバイト） フューチャー株式会社
2025年12月 - 現在

日本語NLPにおけるLLMオンライン実験環境構築補助（AA） 東北大学大学院情報科学研究科
2025年7月 - 2026年3月

データサイエンティスト（インターンシップ） NTT東日本株式会社
2025年9月

自然言語処理における研究開発（インターンシップ） フューチャー株式会社
2025年8月 - 2025年9月

受賞歴・助成・資格

若手奨励賞 Attention SinkおよびMassive Activationの発生機序の分解
言語処理学会第32回年次大会 (NLP2026) (21/517 = 4.1%)
2026年3月

草刈賞 岩手大学理工学部のシステム創成工学コースおよび電気電子通信工学コースの学生を対象とし、模範となる学生生活を送った学生に贈られる賞
2025年3月

令和６年度学士論文研究助成金 岩手堅田財団

野崎わかば会 競争型奨学金（2023年4月 - 2024年3月）

日商簿記検定試験 2級

学歴

東北大学大学院情報科学研究科修士課程（2025年4月 - 現在）

岩手大学理工学部システム創成工学科学士（2021年4月 - 2025年3月）

趣味

スキー SAJスキー検定1級 🎿

ボルダリング RP: 1級 (V5-V6)

コーヒー ドリップ，サイフォン，ネルドリップ

温泉

写真 Canon EOS 5D Mark III

GLAY 音楽・ライブ

漫画 SLAM DUNK，るろうに剣心，DEATH NOTE

木谷 頼斗 Kiya Raito