技術開発ニュース No.168
- ページ： 94
-
研 究 紹 介
Introductions of Research Activities
空間共有型3 次元遠隔コミュニケーションによる
遠隔指導の実現
Proof of remote lecture using space-sharing 3D Remote communication system
3 次元ホログラムによる疑似対面型コミュニケーションを活用した
遠隔指導検証
昨今、DX の推進や働き方改革により、テレワークや WEB 会議が一般的となってきて
いる。一方で、対面の方式に比べ、相手の仕草や行動の伝達が難しく、会話以上のコミュ
ニケーションは困難である。
本研究では、遠隔地にいる人と会話だけでなく、同じ空間内で作業や指示ができるよう
な新たなコミュニケーション技術の実現を目指す。
1
背景
執筆者
先端技術応用研究所
情報技術グループ
岡本 雄司
本研究では、遠隔での訓練指導を想定し、人のほか、
機器を含めて 3 次元ホログラムの生成対象とした。指導側
は訓練側の映像から機器を操作している様子を見ること
DX の推進や働き方改革により Web 会議やテレワーク
ができ、直接機器の操作対象を含めて指示をすることが
が一般的になるともに、そのコミュニケーションツール
できる。
の品質・機能も進化してきている 。一方で、こうした遠
な お、 今 回 の 検 証 に は、 深 度 カ メ ラ と し て Apple 社
隔コミュニケーションは相手の顔の映像しか見ることが
の LiDAR 搭 載 型 iPad・iPhone、MR 対 応 デ バ イ ス は
できず、直接顔を合わせる対面型に比べて、相手の仕草
Microsoft 社の HoloLens2 を選定した。
や行動の伝達が難しく、会話以上のコミュニケーション
は困難という課題があった。
本研究では、現実空間を仮想空間に再現するデジタル
ツイン技術と、仮想空間と現実空間を融合した状態を表
HoloLens2
示できる Mixed Reality（以後、MR）技術を併せること
で、遠隔地にいる人と会話だけでなく、同じ空間内で作
業や指示ができるような新たなコミュニケーション技術
の実現を目指すものである。
2
本研究では、数台の深度カメラを囲うように設置し、
それぞれの映像を合成・3 次元点群化することで 3 次元ホ
3
仮想空間と現実空間の融合方法の課題
ログラムを生成する。生成したホログラムを自身側、相
3 次元映像は 2 次元映像と異なり、自身側（現実空間）
手側双方で送信し、MR 対応のデバイスに映すことで遠隔
と相手側（仮想空間）の位置関係を揃える必要がある。
による疑似対面が実現できる。具体的なステップは以下
も し 装 置 に 対 し て 位 置 関 係 が ず れ て い れ ば、 勘 違 い し
の通り。概略図を第 1 図に示す。
誤った操作を行ってしまう恐れがある。
①現実の空間から 3 次元ホログラムを生成
第 2 図に握手を行う場合に位置が合わない様子を第 3 者
② 3 次元ホログラムを自身側・相手側双方で送受信
視点で見えるようにした図で示す。
③受信したホログラムを MR 対応デバイスで表示
93
第 1 図 概略図（各地点の様子と合成仮想イメージ）
概要
技術開発ニュース 2024.03／No.168
- ▲TOP
