「データを集める」ことが最大の壁だった。3社の課題が重なるまで
---今回のプロジェクトでは、それぞれどのような役割を担っているのでしょうか。
野崎 涼介氏（以下、野崎氏）：NVIDIA製品を用いたデジタルツインのシミュレーション環境の構築や実装、AIモデルの学習を、濱田とともに担当しています。
企画第二課
濱田 悠氏（以下、濱田氏）：私はシミュレーションを使った学習データの生成・拡張を担当しています。もともとNVIDIAのプラットフォーム「NVIDIA Omniverse™」をビジネスにつなげられないかを考えるチームに所属していて、取り組みを外部発信していたところ、今回の模倣学習プロジェクトのお話をいただきました。
企画第二課 兼 中部マネージドサービス事業本部 デジタルファクトリー部 第二課
伊藤 千輝（以下、伊藤）：私はプロジェクトの発起人として両社に声をかけた立場であり、ネットワークインフラの部分を担当しています。フィジカルAIが進んでいくと必ずインフラの課題が出てくるため、現在の段階でどんな技術要素が必要なのかを見極めるために活動しています。
ビジネス開発チーム エキスパート
谷口 諒丞（以下、谷口）：私は伊藤のもとで技術検証を担当しています。それと並行して、フィジカルAIならではのセキュリティの検証も進めているところです。
ビジネス開発チーム
武居 悠貴氏（以下、武居氏）：当社は普段、ロボットアームを中心とした受託開発を手がけています。私は本プロジェクトにおいて実機ロボット周りを担当し、模倣学習モデルの実機への実装と検証を行っています。
---プロジェクト発足以前、各社はどのような課題を抱えていたのでしょうか？
伊藤：もともとNTT西日本様とのIOWN APNの実証で、大阪に置いたロボットを福岡のAIで自律動作させる検証を行っていました。通信面の課題はある程度見えてきた一方、次の課題として浮かび上がったのが「AIモデルをいかに賢く、汎用的にするか」です。
従来は人がコントローラーで200回、300回とロボットを操作してデータを集める必要があり、私たちのチームは毎週大阪に通いながら作業をしていました。ここをシミュレーションのようなデジタル空間で効率化できないかというのが、大きな課題として残ったのです。
武居氏：模倣学習の一番のデメリットは、まさにデータを集めるのが大変なことにあります。ロボットによっては操作に癖があり、100個のデータを集めるだけでも一苦労です。それをシミュレーションで効率化できるなら、非常に画期的だと感じました。
濱田氏：NVIDIAの最近のソリューションは、ロボットの活用を前提としたものが多い一方、社内にはロボットを扱える実機もノウハウも不足していました。今回のお話は、足りなかったピースを埋めるチャンスでした。
---3社が「一緒にやろう」と決めた背景には何があったのでしょうか。
伊藤：大きな要因はタイミングです。私たちはすでにロボットの実機を導入していて、その活用の幅をどう広げていくかを考えていました。そのなかで、「フィジカルAI」という言葉が注目されるのに加えて、SCSKさんとお互いの取り組みを話し合う中で、課題感と期待値がぴったり合いました。
そして、ITの世界はわかってもロボティクスの世界はわからない私たち2社を、TechShareさんが補ってくれたのです。
野崎氏：SCSKとしても、お客様から「フィジカルAIに関するケイパビリティはないのですか」というお問い合わせを多くいただくようになっていました。
実際にこの取り組みをご紹介すると、「やはりデータは必要だよね」と評価いただくことも多く、注目度の高さを実感しています。
関連プロジェクト
大阪-福岡間の約600kmを結ぶ分散データセンター環境で、自律型協働ロボティクスの遠隔推論に成功した共同実証の事例記事です。
予定通りにいかない実証。綿密なコミュニケーションで乗り越えた"詰まり"の共有
---実証はどのように始まり、どのような体制で進んだのでしょうか。
濱田氏：シミュレーションでデータを拡張しようという話になったとき、NVIDIAが打ち出していた「Cosmos」というモデルと「Isaac Sim」というシミュレーションソフトを軸に、公開されているブループリントを参考に作業フローをいくつか考えて提示したのが始まりです。
しかし、計画は予定通りには進みませんでした。ブループリントに沿ってシミュレーション環境やデータ生成の仕組みを実際に構築してみると、あくまで標準的なサンプルであり、自分たちの具体的なユースケースや実機環境にそのまま当てはめるだけではうまくいかないことも多くありました。
週次で開催している3社の定例会議で「こういう問題が起きている」「ここで詰まっている」と共有し、皆さんに相談しながら解決策を探すスタイルに変わっていきました。
伊藤：時系列でいうと、構想を練ったのが11月から1月頃です。2月から要素技術を組み合わせる検証を始めて、PDCAのサイクルが本格的に回り出したのは4月、5月です。
週次の定例会議で議論を重ねながら、初期の試行錯誤にはおよそ半年をかけました。
---データの「質」を高める上で、どのようなこだわりや学びがありましたか？
濱田氏：データを一つ作るにも、形式や順番、使い方ひとつに至るまで、実機で使われているデータや仕様をすべて把握した上で、シミュレーション側でも同じように出力する必要がありました。
実機のプログラムや仕様を理解して、データの形を頭の中で追えるようにする。いま振り返ると、それがまず必要なことでした。
武居氏：逆に私たちも、SCSKさんにデータを作っていただくために、カメラの解像度といった普段は意識していなかった仕様を、メーカーの公式情報で調べ直してお伝えする必要がありました。
データ収集ひとつとっても深い知識が求められることを実感しましたし、実機への理解がさらに深まる良い機会になりました。
シミュレーションで100点、実機では20点──Sim2Realギャップに挑む
---仮想空間で学習したモデルを実機に適用する「Sim2Real」では、どのような壁にぶつかりましたか。
野崎氏：一番大きな壁はまさにそこでした。手元に実機のない私たちはシミュレーション環境に頼るのですが、シミュレーション上ではかなり高い成功率で動くモデルを「これなら実機でも問題なく動くだろう」と持っていくと、まったく動かないことがあったのです。
---シミュレーション上の動きが100点だとしたら、実機ではどのくらいの誤差だったのでしょうか。
野崎氏：私の主観ですが、20点くらいでしょうか。
---20点！？それは焦りますね。
野崎氏：心が折れかけました（笑）。従来のLLMのようにデータの世界で完結するAIと違い、物理世界への展開は、AIの知見を持つエンジニアにとっても未知の苦しさでした。
たとえば、シミュレーションの世界では物理時間を遅くして計算できるので、マシンスペックが足りなくても動作できます。しかし現実世界では時間を遅くすることはできません。シミュレーションでは動いてしまっているがゆえに、問題に気づけないこともありました。
---具体的に、どのようなトラブルがあったのでしょうか。
野崎氏：事前学習済みのモデルをチューニングして使っているのですが、モデルによっては自由度の高い動きをするものがあります。
物をつかむタスクで、アームが上で空振りする分にはいいのですが、下に行ってしまうと床材にめり込んで削ってしまったり、アームの力が強いため、置いてあるオブジェクトそのものを壊してしまったりすることがありました。
シミュレーションなら何千回失敗してもリセットすれば済みますが、現実世界はそうはいきません。そこでTechShareさんの力をお借りして、急激な挙動をしたら緊急停止する、特定の範囲から出たら止まる、といった安全面の実装を加えました。
モデルの学習以外にも、工夫すべき点はたくさんあるのだと気づかされました。
伊藤：野崎さんが話したように、最近のAIモデルは大規模な事前学習によって、人が教えたこと以外の動きまでできるようになってきています。それ自体は技術の大きな進化なのですが、“教えていない挙動ができてしまうロボット”は、安全性を考慮すると非常に怖い存在でもあるのです。
だからこそ、守るためのネットワークやセキュリティを考え直さなければいけません。たとえば緊急停止の機能をクラウド側に置いていたら、ネットワーク障害で止まらないことが起こり得ます。
どこまでの機能をローカル側に持たせ、GPUをどこに置くのか。まだ答えは見つかっていませんが、インフラとは、ユースケースとAIの実装が具体化して初めて「あるべき姿」を問える、最後に決まる領域です。だからこそ、今のうちから見極めておくことが、当社の役割だと思っています。
武居氏：Sim2Realの壁を埋め切れたかというと、まだ検証の真っ最中ではあります。ただ、3月にシミュレーションで作っていただいたデータを、実機である程度動かすことには成功しています。
学習データの質が低いとまったく動かないモデルであるため、「シミュレーションで作ったデータでも実機のロボットの学習はできる」という手応えを強く感じています。
フィジカルAIという"総合格闘技"を、みんなで戦う
---プロジェクトを通じて、特に印象に残っている瞬間はありますか。
武居氏：やはり3月に、シミュレーションのデータで実機が動いたときです。「ちゃんとシミュレーションのデータで模倣学習できるんだ」と、個人的に一番感動した瞬間でした。
濱田氏：私は、Sim2Realギャップをどう埋めるかを考える中で、初めて世界のフィジカルAI開発の動向を調べてみたときのことです。ロボットアームで物をつかむような動作は、世界的に見ても実はうまくいっていないことがわかりました。
逆に言えば、私たちはフロントランナーに近い位置で道なき道を進んでいるということです。このギャップを埋める知見を3社でつかめれば、大きな価値になります。道のりの険しさと、達成したときの達成感を夢見ているところです。
谷口：私は途中からの参加でしたが、各社が強みを的確に発揮し合っている姿が印象的でした。シミュレーションで詰まった部分をTechShareさんがサポートし、実際に動くものを踏まえた的確なアドバイスが返ってくる。「こう進めればプロジェクトはうまくいくんだ」と学ばせてもらいました。
---この取り組みは、社会にどのような価値をもたらすと思いますか。
武居氏：模倣学習による制御は、プログラムベースの制御と違い、AIが常に状態を監視しながらロボットを動かします。蓋を開けるタスクで開け損ねても、状況を判断してもう一度リトライしてくれるようなイメージです。
また、人の作業は基本的に両手で行いますが、プログラムで双腕ロボットを制御するのは非常に困難です。模倣学習なら、人の動きのデータを集めるだけで実現できる可能性があります。
濱田氏：フィジカルAIの行き着く先は、人間がやってきた動きをロボットに任せ、人間は監視や協働の立場に一歩身を引くことだと思っています。
きつい仕事や危険な仕事から人を解放し、人の命を守ることに関われたら、それは一つの社会貢献ですし、個人的にもそういう使われ方をしてくれたらすごく嬉しいですね。
谷口：ものづくりから流通まで、サプライチェーン全体がフィジカルAIを適用できる領域だと思います。人口減少が進む日本で、その一連の流れの自動化に寄与できるものを生み出せたら、自分の人生を振り返ったときに「よくやったな」と思える取り組みだと感じています。
---最後に、この記事の読者、そして未来の仲間に向けてメッセージをお願いします。
野崎氏：今後フィジカルAIのケイパビリティを高めていくには、製造業や医療などの実業務を熟知した方々、そしてロボティクスの組み込み開発を手がけていらっしゃる企業の存在が欠かせません。
そうした方々と組むことができれば、関係者全員の総力で大きな強みや価値を発揮できるようになると思います。
伊藤：フィジカルAIは、産業ロボットもドローンも自動運転も含む広い世界で、AI、ロボティクス、応答速度と多様な技術要素が絡み合う「総合格闘技」です。私たちはそのうちのいち分野のいちタスクを任せていただき、そこで少なからず将来につながる希望を見出すことができました。
この取り組みを、現場を知る製造業のお客様、AIスタートアップ、海外の新しい技術など、いろいろなパートナーの皆様にまで広げていきたい。一人ではなくみんなで戦いながら、日本ならではのフィジカルAIを形にしていきたいです。
