是方 諒介 🤖
是方 諒介 Ryosuke Korekata

JSPS Research Fellow (DC1)

SMILAB @ Keio University

Biography

I am a Ph.D. student advised by Prof. Komei Sugiura at Keio University in Japan.

My goal is to contribute to the realization of human well-being through technological innovations in embodied AI.

Interests
  • Intelligent Robotics
  • Embodied AI
  • Domestic Service Robots
  • Vision and Language
  • Deep Learning
  • Foundation Models
Education

  • Ph.D. student in Information and Computer Science

    Keio University, Sep. 2024 - Present

  • M.S. in Information and Computer Science (GPA: 3.93/4.00)

    Keio University, Apr. 2023 - Sep. 2024

  • B.E. in Information and Computer Science (GPA: 3.88/4.00)

    Keio University, Apr. 2019 - Mar. 2023

📜 Publications

Journal

  1. K. Kaneda, S. Nagashima, R. Korekata, M. Kambara, K. Sugiura, "Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine," IEEE RA-L, Vol. 9, No. 3, pp. 2088-2095, 2024, pdf, code, video. DOI: 10.1109/LRA.2024.3352363 (IF: 5.2)

International Conference

  1. K. Kaneda, S. Nagashima, ○R. Korekata, M. Kambara, K. Sugiura, "Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine," IEEE RA-L presented at IEEE/RSJ IROS, Abu Dhabi, Oct. 2024, pdf, code, video.
  2. ○R. Korekata, K. Kanda, S. Nagashima, Y. Imai, K. Sugiura, "Multimodal Ranking for Target Objects and Receptacles Based on Open-Vocabulary Instructions," IEEE ICRA (Late Breaking Results), Yokohama, May 2024, poster.
  3. ○R. Korekata, M. Kambara, Y. Yoshida, S. Ishikawa, Y. Kawasaki, M. Takahashi, K. Sugiura, "Switching Head–Tail Funnel UNITER for Dual Referring Expression Comprehension with Fetch-and-Carry Tasks," IEEE/RSJ IROS, pp. 3865-3872, Detroit, Oct. 2023, pdf, video, slide, poster. DOI: 10.1109/IROS55552.2023.10342165 (h5-index: 86)
  4. K. Kaneda*, R. Korekata*, Y. Wada*, S. Nagashima*, ○M. Kambara, Y. Iioka, H. Matsuo, Y. Imai, T. Nishimura, K. Sugiura, "DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training," IEEE/CVF CVPR (Embodied AI Workshop), Vancouver, Jun. 2023, pdf, code, slide, poster. (*equal contribution, 🏆1st Place in DialFRED Challenge)
  5. ○R. Korekata, Y. Yoshida, S. Ishikawa, K. Sugiura, "Switching Funnel UNITER: Multimodal Instruction Comprehension for Object Manipulation Tasks," IEEE/RSJ IROS (Late Breaking Results), Kyoto, Oct. 2022, poster.

See All Slides >

Under Review

  1. R. Korekata, K. Kaneda, S. Nagashima, Y. Imai, K. Sugiura, "DM2RM: Dual-Mode Multimodal Ranking for Target Objects and Receptacles Based on Open-Vocabulary Instructions," arXiv preprint arXiv:2408.07910, 2024, pdf, project page, video.

Domestic Conference (in Japanese🎌)

  1. ○今井悠人, 是方諒介, 杉浦孔明, "Dense Textを用いたマルチモーダルLLMに基づく大規模屋内環境における物体検索," 第42回日本ロボット学会学術講演会, 1L5-01, 大阪, 2024年9月, pdf, slide.
  2. ○八島大地, 是方諒介, 杉浦孔明, "Multimodal LLMと二重緩和損失に基づく実世界検索エンジン," 第42回日本ロボット学会学術講演会, 3D2-07, 大阪, 2024年9月, pdf, slide.
  3. ○是方諒介, 兼田寛大, 長嶋隼矢, 今井悠人, 杉浦孔明, "大規模言語モデルを用いたSwitching機構付きマルチモーダル検索モデルに基づく生活支援ロボットによる物体操作," 第38回人工知能学会全国大会, 3T5-OS-6b-04, 静岡, 2024年5月, pdf, slide.
  4. ○今井悠人, 兼田寛大, 是方諒介, 杉浦孔明, "マルチモーダル基盤モデルと緩和対照損失を用いた大規模屋内検索エンジン," 第38回人工知能学会全国大会, 3O5-OS-16c-04, 静岡, 2024年5月, pdf, slide.
  5. ○是方諒介, "大規模言語モデルを用いたマルチモーダル検索モデルに基づく生活支援ロボットによる物体操作," AICカンファレンス 2024, 神奈川, 2024年3月, poster.
  6. ○是方諒介, 和田唯我, 兼田寛大, 長嶋隼矢, 杉浦孔明, "DialMAT: 敵対的摂動に基づく対話的Vision-and-Language Navigation," 第41回日本ロボット学会学術講演会, 1K3-04, 宮城, 2023年9月, pdf, code, slide.
  7. ○兼田寛大, 長嶋隼矢, 是方諒介, 杉浦孔明, "MultiRankIt: ランキング学習と大規模言語モデルによる物理世界検索," 第41回日本ロボット学会学術講演会, 2K1-01, 宮城, 2023年9月, pdf, slide.
  8. ○長嶋隼矢, 是方諒介, 兼田寛大, 杉浦孔明, "マルチモーダル基盤モデルによる対象物体抽出に基づく日常物体検索および物体操作," 第41回日本ロボット学会学術講演会, 2J1-01, 宮城, 2023年9月, pdf, slide. (🏆トヨタ自動車HSRコミュニティ優秀論文賞)
  9. ○是方諒介, 神原元就, 吉田悠, 石川慎太朗, 川崎陽祐, 髙橋正樹, 杉浦孔明, "Switching Head–Tail Funnel UNITERによる対象物体および配置目標に関する指示文理解と物体操作," 第37回人工知能学会全国大会, 2G4-OS-21d-01, 熊本, 2023年6月, pdf, slide.
  10. ○是方諒介, "Switching Head–Tail Funnel UNITERによる対象物体および配置目標に関する指示文理解と物体操作," AICカンファレンス 2023, 神奈川, 2023年3月, pdf, poster.
  11. ○是方諒介, 吉田悠, 石川慎太朗, 杉浦孔明, "物体操作タスクにおけるSwitching Funnel UNITERによる対象物体および配置目標に関する指示文理解," 第40回日本ロボット学会学術講演会, 4F3-05, 東京, 2022年9月, pdf, slide.

See All Slides >

🏆 Awards
優秀賞
第4回とめ研究所若手研究者懸賞論文 ∙ November 2023
人工知能（知能情報処理技術）に関する論文を提出した応募者の中から上位2件が選出され，授与される． “Switching Head-Tail Funnel UNITERによる対象物体および配置目標に関する指示文理解と物体操作,” pdf.
トヨタ自動車HSRコミュニティ優秀論文賞
第41回日本ロボット学会学術講演会 ∙ September 2023
インテリジェントホームロボティクスOSにおける28件の研究発表の中から2件が選出され，授与される． “マルチモーダル基盤モデルによる対象物体抽出に基づく日常物体検索および物体操作,” pdf, slide.
1st Place in DialFRED Challenge @ CVPRW23
IEEE/CVF CVPR 2023 Embodied AI Workshop ∙ June 2023
Awarded for achieving SOTA in the dialogue-enabled Vision-and-Language Navigation competition. “DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training,” pdf, code, slide, poster.
中西奨励賞
慶應義塾大学理工学部情報工学科 ∙ March 2023
約100名の情報工学科卒業生の中から優秀な卒業論文を提出した6名が選出され，授与される．
理工学部賞（情報工学科首席卒業）
慶應義塾大学 ∙ March 2023
約900名の理工学部卒業生の中から優秀な学業成績を収めた4名が選出され，授与される． GPA: 3.88/4.00.
Honorable Mention Award
REVERIE Challenge @ CSIG 2022 ∙ August 2022
Top-5 places out of 52 participating teams in the international competition on Vision-and-Language Navigation were awarded. link.
教育貢献賞
慶應義塾大学AI・高度プログラミングコンソーシアム ∙ March 2021
慶應義塾大学AI・高度プログラミングコンソーシアム主催の講習会の講師を務めて教育活動に大きく貢献し，授与される．
第5位
NHK学生ロボコン 2020 ∙ September 2020
国内最大規模の大学対抗ロボット競技会にて，ラグビーを行う自律移動ロボットの開発に携わり第5位/24チーム, blog, video1, video2, video3.
第4位
AWS Robot Delivery Challenge 2020 ∙ September 2020
自律小型配送ロボット競技会にて，第4位/118チーム, interview, video (semi-final), video (final), blog, slide.
準優勝
ジック株式会社 ∙ December 2019
慶應義塾大学AI・高度プログラミングコンソーシアムおよびジック株式会社主催のRaspberry Piを用いた画像処理コンテストにて準優勝し，授与される．
最優秀賞
富士ゼロックス株式会社 ∙ November 2019
慶應義塾大学AI・高度プログラミングコンソーシアムおよび富士ゼロックス株式会社主催のAI実装コンテストシステム開発の部にて優勝し，授与される．
Experience

🏢 Employments

🏫 Professional Memberships

📘 Teaching

  • 慶應義塾大学理工学部情報工学科「機械学習基礎」
    • Teaching Assistant (Oct. 2024 - Mar. 2025)
  • “Machine Intelligence” at Keio University, Graduate School of Science and Technology
    • Teaching Assistant (Apr. 2024 - Sep. 2024)
  • 慶應義塾大学理工学部情報工学科「情報工学実験第2 - 知能ロボティクス実験」
    • Teaching Assistant (Oct. 2023 - Mar. 2024)
  • 横浜市立横浜サイエンスフロンティア高等学校「サイエンスリテラシーⅠ」
    • 講師 (Sep. 2022 - Sep. 2022)
    • Slides: Day1, Day2
🎓 Fellowships & Scholarships

Fellowships

  1. JSPS Research Fellowship for Young Scientists (DC1), JPY 200,000/month, Apr. 2025 - Mar. 2028.

Scholarships

  1. Repayment Exemption of JASSO Scholarship (Category 1), JPY 1,584,000, Apr. 2023 - Sep. 2024.
  2. Keio Graduate School Scholarship, JPY 500,000, 2024.
  3. Keio Graduate School Scholarship, JPY 500,000, 2023.
  4. DENTSU Scholarship Foundation for Graduate Students, JPY 1,440,000, Apr. 2023 - Sep. 2024.
  5. Keio University Scholarship, JPY 250,000, 2022.
  6. Keio University Faculty of Science and Technology Alumni Association Scholarship, JPY 600,000, 2022.
  7. Keio University Scholarship, JPY 250,000, 2021.
  8. Keio University Faculty of Science and Technology Alumni Association Scholarship, JPY 600,000, 2021.
  9. Fudosan Mita-kai Scholarship, JPY 100,000, 2020.
  10. Keio University Scholarship, JPY 500,000, 2020.
  11. Keio University Iji-kai Scholarship, JPY 800,000, 2019.
  12. DENTSU Scholarship Foundation for Undergraduate Students, JPY 3,360,000, Apr. 2019 - Mar. 2023.
💻 Skills & Certifications
Technical Skills
Programming

Python, C/C++, Kotlin, Java, GAS

Machine Learning

Pytorch, TensorFlow2, Keras, Scikit-learn

Software

Git/GitHub, Docker, ROS, Gazebo, AWS

OS

Linux (Ubuntu/WSL), Windows

Certifications
TOEIC 800
AtCoder 1108
Amateur First-Class Radio Operator
Deep Learning for GENERAL
Driver’s license in Japan
💬 Languages
100%
Japanese
70%
English
20%
German
📰 Misc