特開 2023-141393 ロボットＶＲシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023141393

(43)【公開日】2023-10-05

(54)【発明の名称】ロボットＶＲシステム

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20230928BHJP

   H04N 21/4728 20110101ALI20230928BHJP

【ＦＩ】

H04N21/2662

H04N21/4728

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022047702

(22)【出願日】2022-03-24

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】福井 達也

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】椎名 亮太

(72)【発明者】

【氏名】小野 央也

(72)【発明者】

【氏名】谷口 友宏

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】岡本 翼

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】渡邊 尚

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164SA25S

5C164SB01S

5C164SC03P

5C164UD44P

(57)【要約】

【課題】本開示では、ロボットＶＲシステムにおいて、ＶＲ映像をリアルタイムに生成可能にすることを目的とする。
【解決手段】本開示は、移動型ロボットで撮影された複数のカメラ映像を、ＶＲ映像を生成するＶＲ映像生成部に送信する映像送信部と、前記映像送信部から送信される前記複数のカメラ映像の一部の領域のビットレートを削減する送信映像制御部と、を備える映像送信装置である。
【選択図】図４

【特許請求の範囲】

【請求項1】

移動型ロボットで撮影された複数のカメラ映像を取得し、前記複数のカメラ映像のうちの少なくとも一つのカメラ映像のビットレートを削減する送信映像制御部と、
前記送信映像制御部でビットレートの削減された前記複数のカメラ映像を、前記複数のカメラ映像を用いてＶＲ映像を生成するＶＲ映像生成部に送信する映像送信部と、
を備える映像送信装置。

【請求項2】

前記送信映像制御部は、
前記ＶＲ映像を表示するＶＲデバイスの操作者の姿勢情報に基づき、前記複数のカメラ映像のうちの前記操作者の視界に入らない領域のビットレートを削減する、
請求項１に記載の映像送信装置。

【請求項3】

前記ＶＲ映像を表示するＶＲデバイスの操作者の姿勢情報に基づき、前記移動型ロボットの向きを制御するモータ制御部をさらに備える、
請求項１に記載の映像送信装置。

【請求項4】

前記映像送信装置は、
前記ＶＲ映像を表示するＶＲデバイスの操作者の姿勢情報を取得し、
前記操作者の姿勢情報が変化した場合には、変化後の前記操作者の姿勢情報に基づき、前記操作者の視界に入らない領域のビットレートを削減する送信映像制御部を実行させ、
前記操作者の姿勢情報が一定時間継続した場合には、一定時間継続した姿勢情報に基づき、前記移動型ロボットの向きを制御するモータ制御部を実行させる、
請求項１に記載の映像送信装置。

【請求項5】

請求項１から４のいずれかに記載の映像送信装置と、
前記映像送信装置から送信された前記複数のカメラ映像を用いて、ＶＲ映像を生成するＶＲ映像生成部と、
を備え、
前記ＶＲ映像生成部は、前記移動型ロボットの制御情報を取得し、取得した制御情報に基づいて、前記移動型ロボットの前方方向の撮影されているカメラ映像が前記ＶＲ映像を表示するＶＲデバイスの操作者の前方方向に表示されるように、前記ＶＲ映像を生成する、
ロボットＶＲシステム。

【請求項6】

送信映像制御部が、移動型ロボットで撮影された複数のカメラ映像を取得し、前記複数のカメラ映像のうちの少なくとも一つのカメラ映像のビットレートを削減し、
映像送信部が、前記送信映像制御部でビットレートの削減された前記複数のカメラ映像を、前記複数のカメラ映像を用いてＶＲ映像を生成するＶＲ映像生成部に送信する、
映像送信方法。

【請求項7】

請求項１から４のいずれかに記載の映像送信装置に備わる各機能部としてコンピュータを実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動型ロボットで撮影された複数のカメラ映像からＶＲ映像を生成するロボットＶＲシステムに関する。

【背景技術】

【0002】

５Ｇ／ＦＴＴＨの普及や、感染症の拡大によるリモート作業の需要増大に伴い、移動型ロボットを操作者が遠隔から操作することで監視やコミュニケーションを行うユースケースが普及している。本ユースケースでは、移動型ロボットに具備されているカメラの映像がネットワーク越しに送信され、操作者は本映像を見ながら操作を行っている。

【0003】

より臨場感を持って操作を行うために、操作者にＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）デバイスを介してＶＲ映像を表示するロボットＶＲシステムの検討が進められている。ＶＲ映像を表示するためには、移動型ロボットに搭載されている複数のカメラで撮影した複数のカメラ映像をリアルタイムにスティッチングして、移動型ロボットの周囲３６０度のＶＲ映像を生成し、ＶＲデバイス上に表示する必要がある。

【0004】

複数のカメラの映像からリアルタイムにＶＲ映像を生成するためのリアルタイムＶＲ通信システムが提案されている（例えば、特許文献１参照。）。特許文献１では、サービス提供側でＶＲ映像を生成する。

【0005】

しかし、移動型ロボットは小型であり、高い処理性能を持つ計算機を搭載することができないため、移動型ロボットにおいてＶＲ映像を生成することはできない。また、移動型ロボットの特性上、ネットワークは無線で接続せざるを得ない。このため、複数のカメラ映像を送信するための帯域が確保できず、カメラ映像の遅延や不達によってリアルタイムにＶＲ映像が生成できない可能性がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６－１６７６９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本開示では、ロボットＶＲシステムにおいて、ＶＲ映像をリアルタイムに生成可能にすることを目的とする。

【課題を解決するための手段】

【0008】

本開示の映像送信装置は、
移動型ロボットで撮影された複数のカメラ映像を取得し、前記複数のカメラ映像のうちの少なくとも一つのカメラ映像のビットレートを削減する送信映像制御部と、
前記送信映像制御部でビットレートの削減された前記複数のカメラ映像を、前記複数のカメラ映像を用いてＶＲ映像を生成するＶＲ映像生成部に送信する映像送信部と、
を備える。

【0009】

本開示の映像送信方法は、
送信映像制御部が、移動型ロボットで撮影された複数のカメラ映像を取得し、前記複数のカメラ映像のうちの少なくとも一つのカメラ映像のビットレートを削減し、
映像送信部が、前記送信映像制御部でビットレートの削減された前記複数のカメラ映像を、前記複数のカメラ映像を用いてＶＲ映像を生成するＶＲ映像生成部に送信する。

【0010】

本開示のロボットＶＲシステムは、
本開示の映像送信装置と、
前記映像送信装置から送信された前記複数のカメラ映像を用いて、ＶＲ映像を生成するＶＲ映像生成部と、
を備える。

【0011】

本開示では、前記送信映像制御部は、前記ＶＲ映像を表示するＶＲデバイスの操作者の姿勢情報に基づき、前記複数のカメラ映像のうちの前記操作者の視界に入らない領域のビットレートを削減してもよい。

【0012】

本開示では、前記ＶＲ映像を表示するＶＲデバイスの操作者の姿勢情報に基づき、前記移動型ロボットの向きを制御するモータ制御部をさらに備えてもよい。

【0013】

本開示では、前記映像送信装置は、
前記ＶＲ映像を表示するＶＲデバイスの操作者の姿勢情報を取得し、
前記操作者の姿勢情報が変化した場合には、変化後の前記操作者の姿勢情報に基づき、前記操作者の視界に入らない領域のビットレートを削減する送信映像制御部を実行させ、
前記操作者の姿勢情報が一定時間継続した場合には、一定時間継続した姿勢情報に基づき、前記移動型ロボットの向きを制御するモータ制御部を実行させてもよい。

【0014】

本開示のプログラムは、本開示に係る映像送信装置及びＶＲ映像生成部に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る映像送信装置が実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムである。

【0015】

なお、上記各開示は、可能な限り組み合わせることができる。

【発明の効果】

【0016】

本開示によれば、ロボットＶＲシステムにおいて、ＶＲ映像をリアルタイムに生成可能にすることができる。

【図面の簡単な説明】

【0017】

【図1】リアルタイムＶＲ通信システムの構成例を示す。

【図2】ロボットＶＲシステムの構成例を示す。

【図3】複数のカメラ映像からＶＲ映像への合成例である。

【図4】本開示のロボットＶＲシステムの実施形態例を示す。

【図5】複数のカメラ映像からＶＲ映像への合成例である。

【図6】本開示のロボットＶＲシステムの実施形態例を示す。

【図7】複数のカメラ映像からＶＲ映像への合成例である。

【図8】本開示のロボットＶＲシステムの実施形態例を示す。

【図9】複数のカメラ映像からＶＲ映像への合成例である。

【発明を実施するための形態】

【0018】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0019】

（リアルタイムＶＲ通信システム）
図１に、リアルタイムＶＲ通信システムの構成例を示す。リアルタイムＶＲ通信システムでは、サービス提供側に、一部の範囲を撮影する複数台のカメラ５１と、ＶＲ映像送信装置１００を備える。ＶＲ映像送信装置１００は、リアルタイムスティッチング部１２３と、ＶＲ映像出力部１２４と、映像送信部１１２を備える。

【0020】

リアルタイムスティッチング部１２３は、各カメラ５１からの複数のカメラ映像をリアルタイムに合成してＶＲ映像を生成する。ＶＲ映像出力部１２４がＶＲ映像を出力し、映像送信部１１２がＶＲ映像を送信する。ＶＲ映像は、ネットワーク４１を介して送信され、映像受信部１２２で受信される。これにより、ＶＲデバイス３０で、ＶＲ映像が表示可能になる。

【0021】

（ロボットＶＲシステム）
図２に、ロボットＶＲシステムの構成例を示す。本開示では、移動型ロボット５０がカメラ５１Ａ，５１Ｂ及び５１Ｃを備える例を示す。ロボットＶＲシステムは、移動型ロボット５０の操作を、ＶＲデバイス３０が行う。このときのＶＲデバイス３０による移動型ロボット５０の制御方法については、本開示では省略する。

【0022】

移動型ロボット５０は小型であることから、リアルタイムスティッチングのような高い処理性能を持つ計算機を搭載することができない。そのため、ロボットＶＲシステムは、移動型ロボット５０がカメラ映像送信装置１０を備え、移動型ロボット５０の外部にＶＲ映像生成部２０が配置される。カメラ映像送信装置１０は、本開示の映像送信装置として機能する。ＶＲ映像生成部２０は、移動型ロボット５０の外部の任意の装置に配置可能であり、例えば、ＶＲデバイス３０の近傍のサーバやＰＣに備わる。

【0023】

カメラ映像送信装置１０は、ネットワークインタフェース（ＮＷ ＩＦ）１１及び映像送信部１２を備える。ＶＲ映像生成部２０は、ネットワークインタフェース（ＮＷ ＩＦ）２１、映像受信部２２、リアルタイムスティッチング部２３、及びＶＲ映像出力部２４を備える。ネットワークインタフェース１１及び２１はネットワーク４１で接続されている。

【0024】

映像送信部１２が複数のカメラ映像をネットワーク４１を介して送信し、映像受信部２２で複数のカメラ映像を受信し、リアルタイムスティッチング部２３がスティッチングを行う。本実施形態では、移動型ロボット５０がカメラ５１Ａ，５１Ｂ及び５１Ｃを用いて、移動型ロボット５０の周囲３６０度方向を撮影する例を示す。この場合、リアルタイムスティッチング部２３は、図３に示すように、カメラ５１Ａ，５１Ｂ及び５１Ｃで撮影されたカメラ映像ＰＡ、ＰＢ及びＰＣを合成し、移動型ロボット５０の周囲３６０度方向のＶＲ映像Ｐ３６０を生成する。

【0025】

ここで、リアルタイムスティッチング部２３におけるスティッチング方法は任意であり、本開示では限定しない。例えば、カメラ映像ＰＡ、ＰＢ及びＰＣの一致部分を合成してつなぎ目を見えなくする一般的な手法を用いることができる。

【0026】

カメラ５１Ａ，５１Ｂ及び５１Ｃの配置は任意であるが、本実施形態では、カメラ５１Ａ，５１Ｂ及び５１Ｃが水平方向に１２０度間隔で配置され、カメラ５１Ｂが移動型ロボット５０の前方方向を撮影する例を示す。なお、本実施形態では３台のカメラを用いて水平方向における３６０度方向のカメラ映像を撮影する例を示すが、カメラの台数は４台以上であってもよい。また、垂直方向についても３６０度方向のカメラ映像を撮影し、ＶＲ映像として生成してもよい。また、リアルタイムスティッチング部２３において生成するＶＲ映像は、３６０度方向に限らず、ＶＲデバイス３０の表示範囲に応じた範囲であってもよい。

【0027】

ＶＲ映像出力部２４は、リアルタイムスティッチング部２３からのＶＲ映像Ｐ３６０をＶＲデバイス３０に出力する。本実施形態のロボットＶＲシステムでは、勿論、さらにＶＲ映像生成部２０からのＶＲ映像を、ＮＷ（不図示）を介してＶＲデバイス３０に送信する形態も可能である。

【0028】

移動型ロボット５０は、その特性上、無線を利用する必要がある。そのため、ロボットＶＲシステムでは、複数のカメラ映像ＰＡ、ＰＢ及びＰＣを伝送する際の帯域を確保できない可能性がある。

【0029】

そこで、本開示のロボットＶＲシステムは、以下の構成を備える。
・第１の構成：カメラ映像送信装置１０は、移動型ロボット５０で撮影された複数のカメラ映像ＰＡ、ＰＢ及びＰＣの一部の領域のビットレートを削減する送信映像制御部を備える。ここで、送信映像制御部は、ＶＲデバイス３０より受信した姿勢情報に基づき、複数のカメラ映像ＰＡ、ＰＢ及びＰＣのうちのＶＲデバイス３０の操作者の視界に入らない部分のビットレートを削減してもよい。
・第２の構成：カメラ映像送信装置１０は、ＶＲデバイス３０より受信した姿勢情報に基づき、移動型ロボット５０の向きを制御するモータ制御部を備える。
・第３の構成：ＶＲ映像生成部２０は、モータ制御部より受信した制御情報に基づき、複数のカメラ映像ＰＡ、ＰＢ及びＰＣを合成する際の向きを制御するリアルタイムスティッチング部２３を備える。
・第４の構成：カメラ映像送信装置１０は、ＶＲデバイス３０より姿勢情報を受信し、姿勢情報の変化に応じて第１及び第２の構成を動作させる状態制御部を備える。

【0030】

本開示のロボットＶＲシステムは、送信映像制御部（第１の構成）を備えることにより、複数のカメラ映像ＰＡ、ＰＢ及びＰＣを送信する際に、ビットレート低減とユーザ体感維持を両立できる方式を実現する。これにより、操作者の体感を損なわずにＶＲデバイス３０を使った移動型ロボット５０の操作が可能になる。

【0031】

ここで、ロボットＶＲシステムでは、移動型ロボット５０及びＶＲデバイス３０の両方の方向が可変であるため、操作者の前方方向と移動型ロボット５０の前方方向がズレてしまうことがある。そこで、本開示は、モータ制御部（第２の構成）及びリアルタイムスティッチング部（第３の構成）を用いる。これにより、本開示は、ビットレート低減とユーザ体感維持を両立しつつ、移動型ロボット５０の前方方向とＶＲデバイス３０の操作者の前方方向を一致させることが可能となる。

【0032】

また、ロボットＶＲシステムでは、モータの制約などにより移動型ロボット５０の方向変更に時間がかかったり、ＶＲ映像における方向変更が頻繁に発生するとＶＲデバイス３０の操作性が低下したりする可能性がある。そこで、本開示は、状態制御部（第４の構成）を用いる。

【0033】

第４の構成では、状態制御部は、姿勢情報の変化に応じて送信映像制御部を動作させるとともに、姿勢情報が一定時間変化しない場合には、モータ制御部を動作させる。姿勢情報が一定時間変化しない場合、ＶＲ映像生成部２０は第３の構成を動作させてもよい。これにより、本開示は、移動型ロボット５０の方向が変更される頻度を下げつつ、ビットレート低減とユーザ体感維持の両立を行い、かつ移動型ロボット５０の前方方向とＶＲデバイス３０の操作者の前方方向を一致させることが可能となる。

【0034】

なお、本開示のカメラ映像送信装置１０及びＶＲ映像生成部２０はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0035】

（実施形態例１）
図４に、本開示のロボットＶＲシステムの実施形態例を示す。本開実施形態のロボットＶＲシステムは、ＶＲデバイス３０が姿勢情報出力部３３を備え、カメラ映像送信装置１０が送信映像制御部１３を備える。

【0036】

姿勢情報出力部３３は、ＶＲデバイス３０の操作者の姿勢情報を出力する。姿勢情報は、操作者の前方方向を検出可能な任意の情報であり、一般的なＶＲデバイス３０に具備されているジャイロセンサ等で取得することができる。ＶＲデバイス３０は、姿勢情報出力部３３から出力された姿勢情報を、カメラ映像送信装置１０に送信する。図では、一例として、ＶＲ映像生成部２０が姿勢情報をカメラ映像送信装置１０に送信する例を示すが、これに限定されない。

【0037】

送信映像制御部１３は、複数のカメラ映像ＰＡ１、ＰＢ１及びＰＣ１を取得し、複数のカメラ映像ＰＡ１、ＰＢ１及びＰＣ１の一部の領域のビットレートを削減する。映像送信部１２は、送信映像制御部１３からのカメラ映像ＰＡ１、ＰＢ１及びＰＣ１を送信する。

【0038】

図５に、送信映像制御部１３の動作の一例を示す。
送信映像制御部１３は、ＶＲデバイス３０からの姿勢情報に基づき、ＶＲデバイス３０の操作者の視点と一致するカメラ映像ＰＡ１を判定する。ここで、操作者の視点は、例えば、操作者の前方方向から求められる操作者の視界の中心である。

【0039】

そして、送信映像制御部１３は、操作者の前方方向に基づいて、カメラ映像ＰＡ１、ＰＢ１及びＰＣ１のなかから、操作者の視界に入らない領域ＡＡ１、ＡＢ１及びＡＣ１を判定する。操作者の視界に入らない領域は、例えば、操作者の視点から一定距離以上離れた領域とすることができる。

【0040】

そして、送信映像制御部１３は、カメラ映像ＰＡ１、ＰＢ１及びＰＣ１の領域ＡＡ１、ＡＢ１及びＡＣ１のビットレートを削減する。ここで、送信映像制御部１３は、カメラ映像ＰＣ１の全体のビットレートを削減してもよいし、カメラ映像ＰＡ１の一部の領域ＡＡ１を削減してもよい。また、ビットレートの削減方法は任意であり、例えば、カメラ映像の画素数を低減する、又は映像の一部だけ送るなどして、カメラ映像ＰＡ１、ＰＢ１及びＰＣ１のうちの少なくともいずれかのデータ量を圧縮することが例示できる。

【0041】

本実施形態では、カメラ映像ＰＡ１及びＰＢ１の一部のビットレートが削減され、カメラ映像ＰＣ１の全体のビットレートが削減されている。このため、本実施形態では、カメラ映像ＰＡ１、ＰＢ１及びＰＣ１を送信する際のビットレートを低減することができる。

【0042】

ＶＲ映像生成部２０では、映像受信部２２がネットワーク４１を介して送信されたカメラ映像ＰＡ１、ＰＢ１及びＰＣ１を受信し、リアルタイムスティッチング部２３が複数のカメラ映像ＰＡ１、ＰＢ１及びＰＣ１をリアルタイムに合成する。これにより、図５に示すようなＶＲ映像Ｐ３６０が生成される。本実施形態では、図５に示すように、ＶＲ映像Ｐ３６０のうちの領域ＡＬ及びＡＲのビットレートが削減されているが、これらはＶＲデバイス３０の操作者の操作者の視界に入らない領域である。このため、ユーザ体感への影響は少ない。

【0043】

以上説明したように、本実施形態のロボットＶＲシステムは、姿勢情報出力部３３及び送信映像制御部１３を備えることにより、ＶＲ映像を構成するための複数のカメラ映像ＰＡ１、ＰＢ１及びＰＣ１を送信する際に、ビットレート低減とユーザ体感維持を両立できる方式を実現する。

【0044】

（実施形態例２）
図６に、本開示のロボットＶＲシステムの実施形態例を示す。本開実施形態のロボットＶＲシステムは、ＶＲデバイス３０が姿勢情報出力部３３を備え、カメラ映像送信装置１０が送信映像制御部１３及びモータ制御部１４を備える。

【0045】

モータ制御部１４は、ＶＲデバイス３０からの姿勢情報に応じて、移動型ロボット５０のモータを制御し、移動型ロボット５０の前方方向をＶＲデバイス３０の操作者の前方方向に合わせる。

【0046】

また、モータ制御部１４は、移動型ロボット５０の制御情報を、リアルタイムスティッチング部２３に通知する。制御情報は、移動型ロボット５０の前方方向を示す任意の情報を含む。これにより、リアルタイムスティッチング部２３は、移動型ロボット５０の前方方向の撮影されているカメラ映像が操作者の前方方向に表示されるよう、ＶＲ映像Ｐ３６０を生成する。

【0047】

本実施形態では、移動型ロボット５０と操作者の前方方向が一致する。そのため、送信映像制御部１３は、図７に示すように、移動型ロボット５０の前方方向を撮影するカメラ５１Ｂからのカメラ映像ＰＢ２を高ビットレートに、移動型ロボット５０の側方に配置されているカメラ５１Ａ及び５１Ｃからのカメラ映像ＰＡ２及びＰＣ２を低ビットレートにする。このとき、送信映像制御部１３は、カメラ映像ＰＡ２及びＰＣ２のうちのカメラ映像ＰＢ２と重複しない領域ＡＡ２及びＡＣ２のみのビットレートを下げ、カメラ映像ＰＢ２と重複する領域についてはビットレートを下げずに維持してもよい。

【0048】

本実施形態では、移動型ロボット５０の向きが操作者の前方方向と一致する。そのため、ＶＲ映像生成部２０では、リアルタイムスティッチング部２３が、制御情報に基づき、移動型ロボット５０の前方方向を撮影するカメラ５１Ｂからのカメラ映像ＰＢ２が操作者の前方方向に表示されるようにスティッチングして、出力するＶＲ映像Ｐ３６０の角度を変える。これにより、移動型ロボット５０の方向が変わる際に、ＶＲデバイス３０上のＶＲ映像が回転することを防ぐことができる。

【0049】

以上説明したように、本実施形態のロボットＶＲシステムは、ＶＲデバイス３０からの姿勢情報に基づき、移動型ロボット５０の方向変更とリアルタイムスティッチング部２３から出力されるＶＲ映像Ｐ３６０の方向の補正を同時に実施する。これにより、本実施形態のロボットＶＲシステムは、ビットレート低減を行いつつ、ＶＲデバイス３０の操作者の視界に入る領域の映像を高ビットレートにする方式を実現する。

【0050】

（実施形態例３）
図８に、本開示のロボットＶＲシステムの実施形態例を示す。本開実施形態のロボットＶＲシステムは、ＶＲデバイス３０が姿勢情報出力部３３を備え、カメラ映像送信装置１０が送信映像制御部１３、モータ制御部１４及び状態制御部１５を備える。

【0051】

状態制御部１５は、姿勢情報に基づいて、ＶＲデバイス３０の操作者の視点の変化を検知する。状態制御部１５は、操作者の視点が変化したことを検知すると、送信映像制御部１３にビットレート削減領域の変更を指示する。すると、カメラ映像送信装置１０は、実施形態例１と同様の動作を行う。これにより、図９に示すように、移動型ロボット５０の向きは変わらず、操作者の視界に入らない領域のビットレートの削減されたカメラ映像がカメラ映像送信装置１０から送信される。

【0052】

本実施形態では、操作者の視点が変化し続けている間は、状態制御部１５はモータ制御部１４を実行させない。これにより、ＶＲ映像の方向が頻繁に変化することによるＶＲデバイス３０の操作性の低下を防ぐことができる。

【0053】

状態制御部１５は、一定時間操作者の視点が同じ向きを向いていることを検知すると、実施形態例２と同様に、図９に示すように、モータ制御部１４に移動型ロボット５０の方向の変更を実行させ、リアルタイムスティッチング部２３にＶＲ映像の方向の補正を実行させる。

【0054】

以上説明したように、本実施形態のロボットＶＲシステムは、姿勢情報出力部３３、送信映像制御部１３、モータ制御部１４、状態制御部１５を備えることにより、カメラ映像のうちのＶＲデバイス３０の操作者の視界に入らない部分のビットレートを削減しつつ、移動型ロボット５０の方向変更とリアルタイムスティッチング部２３から出力されるＶＲ映像の方向の補正を同時に実現することができる。

【産業上の利用可能性】

【0055】

本開示は情報通信産業に適用することができる。

【符号の説明】

【0056】

１０：カメラ映像送信装置
１１、１１１：ネットワークインタフェース（ＮＷ ＩＦ）
１２、１１２：映像送信部
１３：送信映像制御部
１４：モータ制御部
１５：状態制御部
５０：移動型ロボット
５１、５１Ａ、５１Ｂ、５１Ｃ：カメラ
５２：モータ
２０：ＶＲ映像生成部
２１、１２１：ネットワークインタフェース（ＮＷ ＩＦ）
２２、１２２：映像受信部
２３：リアルタイムスティッチング部
２４：ＶＲ映像出力部
３０：ＶＲデバイス
３３：姿勢情報出力部
４１、１４１：ネットワーク
１００：ＶＲ映像送信装置
１２３：リアルタイムスティッチング部
１２４：ＶＲ映像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】