NICT「Beyond 5G 研究開発促進事業・シーズ創出型プログラム」課題番号03801

低遅延でインタラクティブなゼロレイテンシー映像・Somatic統合ネットワーク

実施機関： 早稲田大学、アストロデザイン株式会社、京都大学

研究開発期間：2021年度～2023年度

 

  1. 研究開発の目的
    近年、テレワーク、監視システム、遠隔医療、遠隔ロボットなど、実時間のオンラインシステムが重要となっている。しかし、従来の通信方式では、伝送路の遅延やサーバ処理遅延などにより、相互の情報をリアルタイムに共有できない課題があった。そこで本研究開発では、映像情報とSomatic情報（動作情報、体性感覚）の未来予測を行い、B5G網の低遅延伝送と組合せ、ゼロレイテンシーの情報伝送方式の実現を目指す。

  2. 研究開発の概要
    ■研究開発項目1： 映像・Somatic統合
    1-a） Somatic情報伝送
    姿勢・筋活動を計測しながら、深層学習によるSomatic情報の未来予測手法の検討を行い、映像と同期して相手側に伝える基礎を構築する。 また、複数の未来予測手法の性能評価を行い、その性能と適用条件などを確認する。
    1-b） 映像予測
    遠隔作業を想定した操作側と遠隔側の2種類のデータセットを作成すると共に、深層学習を用いた未来予測の評価を進める。 主にPredNetを用いた未来予測の検証と改善提案を行うと共に、最新の未来予測方式の検証も進める。

    ■研究開発項目2： 超低遅延ネットワーク
    2-a） 低遅延ネットワーク管理
    サービス特化型低遅延スライス構築技術の検討を進めると共に、5G網上のUHD映像伝送実験に関する検討を進める。 また、複数の低遅延通信サービスを設定し、それらの伝送方式に関する検討を進める。
    2-b） 圧縮伝送方式
    低遅延な8K映像圧縮方式の検討を行い、装置の選定を進める。 さらに、入手した圧縮伝送装置の動作確認と伝送遅延の測定を行い、映像・Somatic情報の多重化伝送に関する検討を進める。
    2-c） 次世代技術 ① 情報指向ネットワーク
    CCN/NDNを基盤としたネットワーク内分散処理の基本構造設計を行い、それに基づくプロトコル検証を進める。 また、ITU-T SG13への国際標準化貢献を進める。
    2-c） 次世代技術 ② 超高フレームレート映像伝送
    240fps、及び 960fps の映像データセットの作成を進める。 また、データセットを活用した画像処理技術（未来予測、画像圧縮、超解像等）の開発を進める。

    ■研究開発項目3： 統合実証実験
    3-a） 遠隔サービス ① 遠隔リハビリ
    立ち上がり・座り込みの動作分析を行い、筋電位計測による筋シナジー推定が可能なことを検証する。 また、深層学習による筋活動の予測方法を提案し、リハビリ対象となる動作計測および伝送遅延に対する補償方法の検討を進める。
    3-a） 遠隔サービス ② 遠隔作業
    ロボットアームの操作映像、CG映像、Somatic情報、操作情報が表示される実験環境を構築し、操作情報の未来予測方式の開発を進める。 また、2台の力覚装置を接続する遠隔操作環境を構築し、遠隔操作の検証を進める。
    3-b） 圧縮伝送・表示装置
    8K映像とSomatic信号を12G-SDI信号に多重・分離する装置の設計を進める。 Somatic情報は音声信号領域を用いて映像信号と同期して伝送する方式とし、製作する多重・分離装置を用いた伝送実験を進める。
    3-c） 統合実証実験
    ローカル環境や商用5G網を使用した各種の通信実験を実施する。 また、NICT総合テストベッド（B5G高信頼仮想化環境等）やSINETを利用した統合実証実験を進める。

図1: 研究開発概要図