Raito Kiya
木谷 頼斗
東北大学大学院情報科学研究科 博士前期課程2年
Tohoku NLP Group
（坂口・乾研究室）所属
I am a second-year master's student at the Graduate School of Information Sciences,
Tohoku University, and a member of the
Tohoku NLP Group (Sakaguchi-Inui Lab).
メール：Email: raito.kiya@dc.tohoku.ac.jp
GitHub: https://github.com/kiya-raito
研究テーマResearch Interest
- 人工知能Artificial Intelligence
- 自然言語処理Natural Language Processing
-
大規模言語モデル（LLM）Large Language Models (LLMs)
- 内部機構Internal Mechanisms
- Attention Sink
- Massive Activations
発表論文Publications
国際会議International Conferences
It’s Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention
It’s Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention
Raito Kiya, Satoki Ohashi, Kosuke Sato, Go Kamoda, Ryosuke Takahashi, Yuji Yamamoto, Daiki Shiono, Keisuke Sakaguchi, Goro Kobayashi
論文（近日公開）paper (coming soon)
Raito Kiya, Satoki Ohashi, Kosuke Sato, Go Kamoda, Ryosuke Takahashi, Yuji Yamamoto, Daiki Shiono, Keisuke Sakaguchi, Goro Kobayashi
論文（近日公開）paper (coming soon)
国内会議Domestic Conferences
Attention SinkおよびMassive Activationの発生機序の分解
Attention SinkおよびMassive Activationの発生機序の分解
🏆 若手奨励賞Young Researcher Encouragement Award
木谷 頼斗, 大橋 諭貴, 佐藤 宏亮, 鴨田 豪, 高橋 良允, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎
論文paper
木谷 頼斗, 大橋 諭貴, 佐藤 宏亮, 鴨田 豪, 高橋 良允, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎
論文paper
注意機構における Attention Sink のバイアス項的解釈
注意機構における Attention Sink のバイアス項的解釈
🏆 若手奨励賞Young Researcher Encouragement Award
大橋 諭貴, 木谷 頼斗, 佐藤 宏亮, 高橋 良允, 鴨田 豪, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎
論文paper
大橋 諭貴, 木谷 頼斗, 佐藤 宏亮, 高橋 良允, 鴨田 豪, 山本 悠士, 塩野 大輝, 坂口 慶祐, 小林 悟郎
論文paper
説明文生成による予測精度の向上に着目した解釈可能なフェイクニュース検出
説明文生成による予測精度の向上に着目した解釈可能なフェイクニュース検出
木谷 頼斗，張 建偉
木谷 頼斗，張 建偉
経験Experiences
NLPエンジニア（アルバイト）NLP Engineer (Part-time)
フューチャー株式会社Future Corporation
2025年12月 - 現在December 2025 - Present
2025年12月 - 現在December 2025 - Present
日本語NLPにおけるLLMオンライン実験環境構築補助（AA）
Assistant for developing online experimental environments for LLMs in Japanese NLP (Administrative Assistant)
東北大学大学院情報科学研究科Graduate School of Information Sciences, Tohoku University
2025年7月 - 2026年3月July 2025 - March 2026
2025年7月 - 2026年3月July 2025 - March 2026
データサイエンティスト（インターンシップ）Data Scientist (Internship)
東日本電信電話株式会社（NTT東日本）NTT EAST, Inc.
2025年9月September 2025
2025年9月September 2025
自然言語処理における研究開発（インターンシップ）Research & Development in NLP (Internship)
フューチャー株式会社Future Corporation
2025年8月 - 2025年9月August 2025 - September 2025
2025年8月 - 2025年9月August 2025 - September 2025
受賞歴・助成Awards / Grants
若手奨励賞Young Researcher Encouragement Award
Attention SinkおよびMassive Activationの発生機序の分解
Attention SinkおよびMassive Activationの発生機序の分解
草刈賞Kusakari Award
令和６年度学士論文研究助成金
Grant for Bachelor's Thesis Research in Fiscal Year 2024
野崎わかば会Nozaki Wakaba Foundation
学歴Education
東北大学大学院情報科学研究科 修士課程（2025年4月 - 現在）
岩手大学理工学部 システム創成工学科 学士（2021年4月 - 2025年3月）
Master of Information Science
Graduate School of Information Sciences, Tohoku University
April 2025 - Present
April 2025 - Present
Bachelor of Science and Engineering
Department of Systems Innovation Engineering, Faculty of Science and Engineering, Iwate University
April 2021 - March 2025
April 2021 - March 2025
趣味Hobbies
スキーSkiing SAJスキー検定1級 Level 1 🎿
ボルダリングBouldering RP: 1級RP: 1Q (V5-V6)
コーヒーCoffee ドリップ，サイフォン，ネルドリップDrip, Siphon, Flannel Drip
温泉Onsen Relaxation
写真Photography Canon EOS 5D Mark III
GLAYGLAY 音楽・ライブMusic & Concerts
漫画Manga SLAM DUNK，るろうに剣心，DEATH NOTESLAM DUNK, Rurouni Kenshin, DEATH NOTE