パナソニック ホールディングス（パナソニックHD）とパナソニックR&Dカンパニーオブアメリカ（PRDCA）は2026年11月5日、米カリフォルニア大学バークレー校やNVIDIAなどの研究者と共同で、指先の触覚に即応しながら両手で作業するロボット操作AI「Tactile-Reactive Dexterous Manipulation（T-Rex）」を開発したと発表した。接触を伴う12種類の実環境タスクで、平均成功率65%を記録した。

触覚を統合したVLAモデルの仕組み

VLAモデルとは、カメラの画像と自然言語の指示を理解し、ロボットの動作を生成するAIモデルである。T-Rexはこのモデルに指先の触覚情報を組み込み、接触状態の変化に応じて動作をリアルタイムに補正する。共同研究には米スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIも参加した。

モデルは2種類の処理を1つにまとめている。視覚と言語を処理するモジュールが毎秒約5回の頻度で動作の大枠を生成し、触覚を処理するモジュールが毎秒約20回の頻度で接触状態を捉えて動作を細かく補正する。遅延の大きい画像認識を毎回やり直さずに、接触中の滑りや押し込み過ぎに素早く対応できる。

従来のVLAモデルは主にカメラ映像に依存し、触覚を使う場合も静的な情報として扱うことが多かった。そのため、細かな力加減や接触状態の変化が求められる作業には対応しにくかった。触覚情報を含む大規模な学習データが少ないことや、視覚・言語モデルの更新頻度と高速な触覚反応に必要な制御頻度の隔たりも課題になっていた。

7700件超の触覚付きデータでロボット操作AIを学習

研究チームは200種類を超える日用品と22種類の基本動作を組み合わせ、7700件超、計100時間の両手ロボット操作データを集めた。各データには頭部と手首のカメラ映像、ロボットの状態と動作、10本の指先の触覚センサーで得た力や変形の情報、自然言語の指示を同期して記録している。

学習は3段階で進める。まず2万2889時間に及ぶ人の一人称視点映像から、視覚と動作の幅広い知識を学ぶ。次に触覚付きデータでロボット固有の接触動作を学び、最後に作業ごとに約100件の実演データで微調整する。

評価にはページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど12種類のタスクを使った。T-Rexの平均成功率は65%で、比較手法の35%を30ポイント上回った（2026年11月5日時点、パナソニックHD調べ）。触覚情報を除いた場合の平均成功率は42%にとどまった。

成果は2026年11月9〜12日に米オースティンで開かれるロボット学習分野の国際会議「Conference on Robot Learning（CoRL）」で発表する。パナソニックHDは今後、製造現場での部品の挿入や取り外し、ねじ締め、物流現場での柔らかい物や壊れやすい物品の扱いなど、細かな力加減が必要な作業をロボットで支援し、作業者の負担軽減と労働力不足の緩和につなげることを目指す。

関連情報

プレスリリース：https://prtimes.jp/main/html/rd/p/000006949.000003442.html

論文「T-Rex: Tactile-Reactive Dexterous Manipulation」（arXiv）
https://arxiv.org/abs/2606.17055

《お知らせ》
PEAKS MEDIAのLinkedinページを開設しました。最新記事の概要をキャッチアップできます。
フォローはこちらから