IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人大阪大学の特許一覧

<>
  • 特開-VRシステム 図1
  • 特開-VRシステム 図2
  • 特開-VRシステム 図3
  • 特開-VRシステム 図4
  • 特開-VRシステム 図5
  • 特開-VRシステム 図6
  • 特開-VRシステム 図7
  • 特開-VRシステム 図8
  • 特開-VRシステム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024107787
(43)【公開日】2024-08-09
(54)【発明の名称】VRシステム
(51)【国際特許分類】
   H04N 21/258 20110101AFI20240802BHJP
   H04N 21/633 20110101ALI20240802BHJP
   H04N 7/18 20060101ALI20240802BHJP
【FI】
H04N21/258
H04N21/633
H04N7/18 U
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023011891
(22)【出願日】2023-01-30
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100119677
【弁理士】
【氏名又は名称】岡田 賢治
(74)【代理人】
【識別番号】100160495
【弁理士】
【氏名又は名称】畑 雅明
(74)【代理人】
【識別番号】100115794
【弁理士】
【氏名又は名称】今下 勝博
(72)【発明者】
【氏名】福井 達也
(72)【発明者】
【氏名】藤原 稔久
(72)【発明者】
【氏名】小野 央也
(72)【発明者】
【氏名】成川 聖
(72)【発明者】
【氏名】藤橋 卓也
(72)【発明者】
【氏名】岡本 翼
(72)【発明者】
【氏名】猿渡 俊介
(72)【発明者】
【氏名】渡邊 尚
【テーマコード(参考)】
5C054
5C164
【Fターム(参考)】
5C054AA02
5C054CA04
5C054CC02
5C054DA07
5C054FA07
5C054HA04
5C164FA07
5C164GA03
5C164PA31
5C164SA26S
5C164SB02S
5C164SC11P
5C164TB21P
5C164YA12
(57)【要約】
【課題】本開示は、360度映像を構成するための複数カメラ映像を送信する際のビットレート低減を実現することを目的とする。
【解決手段】本開示は、制御対象と無線ネットワークで接続されているサーバ装置であって、複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から360度映像を生成する変換処理部と、前記複数のカメラ映像における位置と前記360度映像における位置との対応関係を定めた変換テーブルと、を備え、前記360度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、特定した領域を含む視線情報を前記制御対象に送信する、サーバ装置である。
【選択図】図1

【特許請求の範囲】
【請求項1】
制御対象と無線ネットワークで接続されているサーバ装置であって、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から360度映像を生成する変換処理部と、
前記複数のカメラ映像における位置と前記360度映像における位置との対応関係を定めた変換テーブルと、を備え、
前記360度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、
特定した領域を含む視線情報を前記制御対象に送信する、
サーバ装置。
【請求項2】
サーバ装置と無線ネットワークで接続されている制御対象装置であって、
複数のカメラを備え、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信し、
前記複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する、
制御対象装置。
【請求項3】
前記制御対象装置の操作者の視線遷移を取得し、取得した視線遷移に追従するように、前記視線情報を予測し、
前記複数のカメラ映像のうち、予測によって得られた前記視線情報で特定される領域を前記サーバ装置に送信する、
請求項2に記載の制御対象装置。
【請求項4】
請求項1に記載のサーバ装置と、
請求項3に記載の制御対象装置と、
を備えるVRシステム。
【請求項5】
制御対象と無線ネットワークで接続されているサーバ装置が実行する方法であって、
前記サーバ装置は、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から360度映像を生成する変換処理部と、
前記複数のカメラ映像における位置と前記360度映像における位置との対応関係を定めた変換テーブルと、を備え、
前記360度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、
特定した領域を含む視線情報を前記制御対象に送信する、
方法。
【請求項6】
サーバ装置と無線ネットワークで接続されている制御対象装置が実行する方法であって、
前記制御対象装置は複数のカメラを備え、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信し、
前記複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する、
方法。
【請求項7】
制御対象と無線ネットワークで接続されているサーバ装置に、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から360度映像を生成する手順と、
前記360度映像における視聴領域が指定されると、前記複数のカメラ映像における位置と前記360度映像における位置との対応関係を定めた変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定する手順と、
特定した領域を含む視線情報を前記制御対象に送信する手順と、
を実行させるためのプログラム。
【請求項8】
サーバ装置と無線ネットワークで接続されている制御対象装置に、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信する手順と、
複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、VRシステムにおける映像ビットレートを削減する方法に関する。
【背景技術】
【0002】
遠隔ロボットなどの制御対象を操作する際、通常の2次元映像では視野が狭いことから、VR(Virtual Reality)映像を見ながら操作したいという要望がある。ロボットなどの制御対象及び操作者とこれらを中継するサーバとの間でVR映像を伝送するシステムとして以下の形態が考えられる。
(1)制御対象はVR映像を作るために複数のカメラ映像(例えばDual Fisheye形式)を取得する。
(2)複数のカメラ映像を、無線を介してサーバに伝送する。
(3)サーバは受信した複数のカメラ映像をスティッチングし、360度映像を生成する。
(4)スティッチングした360度映像を操作者に対して伝送する。
これにより、操作者はヘッドセットを通じて視線位置に応じた映像領域を視聴できる。
【0003】
高精細なVR映像を作るためには、制御対象から高品質なカメラ映像を複数枚アップロードすることになるが、制御対象及びサーバ間は無線ネットワークで接続されるため、十分な帯域が得られない。またスティッチングを行うサーバを制御対象上に乗せることで帯域を低減する方法も考えられるが、制御対象となるロボットの大きさ、電力の制約から高性能なサーバを載せることは難しい。
【0004】
そこで、タイル分割を用いたトラヒック削減手法が提案されている[例えば、非特許文献1-3参照。]。非特許文献1では、操作者のビューポートに相当するタイルのみを送信する。非特許文献2及び3では、ビューポートに関連するタイルの品質を向上して送信する。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Feng Qian et al., “Optimizing 360 video delivery over cellular networks,” ACM ATC, 2016.
【非特許文献2】M. Hosseini, “View-aware tile-based adaptations in 360 virtual reality video streaming,” IEEE VR, 2017
【非特許文献3】D. V. Nguyan et al., “An Optimal Tile-Based Approach for Viewport-Adaptive 360-Degree Video Streaming,” IEEE Journal of Emerging and Selected Topics in Circuits and Systems, Vol. 9, No. 1, 2019.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1~3の先行研究の方法では、ヘッドセットに投影する360度映像そのものの帯域を低減することができるものの、360度映像を生成する際の素材となる複数のカメラ映像の帯域を低減することはできない。そこで、本開示は、360度映像を構成するための複数カメラ映像を送信する際のビットレート低減を実現することを目的とする。
【課題を解決するための手段】
【0007】
本開示のVRシステムは、本開示のサーバ装置と、本開示の制御対象装置と、を備える。本開示のサーバ装置及び制御対象装置は、本開示の方法を実行する。
【0008】
本開示のサーバ装置は、
制御対象と無線ネットワークで接続されているサーバ装置であって、
複数のカメラで撮像された複数のカメラ映像を前記制御対象から取得し、前記複数のカメラ映像から360度映像を生成する変換処理部と、
前記複数のカメラ映像における位置と前記360度映像における位置との対応関係を定めた変換テーブルと、を備え、
前記360度映像における視聴領域が指定されると、前記変換テーブルの逆変換テーブルを参照することで、前記視聴領域に対応する前記複数のカメラ映像における領域を特定し、
特定した領域を含む視線情報を前記制御対象に送信する。
【0009】
本開示のサーバ装置は、前記制御対象装置の操作者の視線遷移を取得し、取得した視線遷移に追従するように、前記視線情報を予測し、予測によって得られた前記視線情報に対応する前記複数のカメラ映像の領域を特定し、特定した領域を含む視線情報を前記制御対象に送信してもよい。
【0010】
本開示の制御対象装置は、
サーバ装置と無線ネットワークで接続されている制御対象装置であって、
複数のカメラを備え、
前記制御対象装置が視線を設定すべき視線情報を前記サーバ装置から受信し、
前記複数のカメラで撮像された複数のカメラ映像のうち、前記視線情報で特定される領域を前記サーバ装置に送信する。
【0011】
本開示の制御対象装置は、前記制御対象装置の操作者の視線遷移を取得し、取得した視線遷移に追従するように、前記視線情報を予測し、前記複数のカメラ映像のうち、予測によって得られた前記視線情報で特定される領域を前記サーバ装置に送信してもよい。
【0012】
本開示のプログラムは、本開示に係るサーバ装置又は制御対象装置に備わる各機能をコンピュータに実現させるためのプログラムであり、本開示に係るサーバ装置又は制御対象装置が実行する方法に備わる各手順をコンピュータに実行させるためのプログラムである。
【0013】
なお、上記各開示は、可能な限り組み合わせることができる。
【発明の効果】
【0014】
本発明では、360度映像を構成するための複数カメラ映像を送信する際のビットレート低減を実現することができる。
【図面の簡単な説明】
【0015】
図1】リアルタイムVRシステムの構成例を示す。
図2】制御対象からサーバに送信されるDual fisheye映像の一例を示す。
図3】サーバから操作者に送信される360度映像の一例を示す。
図4】本開示の課題を説明する図である。
図5】本開示の概要を説明する図である。
図6】本開示のVRシステムの構成例を示す。
図7】視線遷移の一例を示す。
図8】視聴領域の遷移の一例を示す。
図9】伝送領域の遷移の一例を示す。
【発明を実施するための形態】
【0016】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【0017】
(VRシステム)
図1に、VRシステムの構成例を示す。ロボット91とサーバ92が無線ネットワーク81で接続され、サーバ92とロボット91の操作者のヘッドセット93が任意の通信ネットワーク82で接続されている。通信ネットワーク82は有線ネットワークを含んでもよいし、無線ネットワークを含んでもよい。
【0018】
ロボット91は本開示の制御対象装置として機能し、サーバ92は本開示のサーバ装置として機能する。本開示のサーバ装置及び制御対象装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0019】
サーバ92は、図2に示すような複数のカメラ映像をロボット91から受信し、これを用いて図3に示すような360度映像を生成し、操作者に送信する。これにより、ヘッドセット93にVR映像が表示される。本実施形態では、図2に示すように、複数のカメラで撮像された複数の画像が1つの画像上に投影された合成画像で送信される例を示す。以下、複数のカメラがDual fisheyeであり、Dual fisheyeで同時に撮像された複数のフレーム画像が1つのフレーム画像上に投影された合成画像を用いて構成される映像をDual fisheye映像と称する。
【0020】
本開示は、図4に示すような無線ネットワーク81の帯域不足に対応するため、ロボット91が送信する複数のカメラ映像のビットレート低減を実現する。
(1)決定的に一部領域を削減する。
(2)これまでの履歴に基づく統計量を用いて領域を削減する。
(3)予測で得られた予測結果を用いて領域を削減する。
以下、制御対象がロボット91であるロボットVRシステムについて、詳細に説明する。
【0021】
(第1の実施形態)
ヘッドセット93ではスティッチングありの360度映像における操作者の視聴位置を検出できる。またDual fisheye映像における位置と360度映像における位置との対応は変換テーブルを用いて特定可能である。そこで、本実施形態では、Dual fisheye映像における位置と360度映像における位置との対応関係を定める変換テーブルを予め用意し、これを用いて視聴位置のDual fisheye映像を選択的に送信する。
【0022】
(事前処理)
図5を参照しながら事前処理について説明する。
1.Dual fisheye映像P11上で視聴位置を取得する。
2.変換テーブルを用いて視聴位置をスティッチングありの360度映像P12上での視聴位置に変換する。
3.ヘッドセット93での視聴位置に基づいて、視聴位置を360度映像P12上での視聴領域を削減する。これにより、360度映像P13が得られる。
4.前記変換テーブルの逆変換テーブルを用いて、360度映像P12上での視聴領域をDual fisheye映像P14の形に変換する。これにより、Dual fisheye映像P14内での視聴領域を特定することができる。本実施形態では、このDual fisheye映像P14内での視聴領域がロボット91に指定される。以下、視聴領域が操作者の視線情報の一部として提供される例について説明する。
【0023】
本実施形態では、
ロボット91が360度映像を作るための複数のカメラ映像を送信する際に、
サーバ92が、予め計算済の逆変換テーブルに基づき、360度映像上の視聴領域に対応する複数のカメラ映像上での伝送領域を求め、
サーバ92が伝送領域の情報を制御対象であるロボット91に通知し、制御対象であるロボット91は複数のカメラ映像のうちの伝送領域のみをサーバ92に伝送する。
本方法により、本実施形態は、制御対象であるロボット91から送信する映像トラヒック量を大幅に削減する。
【0024】
図6に、本開示のVRシステムの構成例を示す。
ロボット91は、360度映像撮影部11、映像符号化部及び映像伝送部12、ロボット操作部13、映像制御部14、を備える。
サーバ92は、変換処理部21、映像送信部22、送受信部23、逆変換処理部24、を備える。
【0025】
360度映像撮影部11は、360度映像を撮影可能な機能部であり、例えば、ロボット91の周囲の360度方向を2つのカメラで撮影するDual fisheyeが例示できる。
映像符号化部及び映像伝送部12は、360度映像撮影部11からのカメラ映像をサーバ92に送信可能な機能部であり、例えば、複数のカメラの各カメラ映像を符号化し、サーバ92に無線送信する。
ロボット操作部13は、サーバ92からの操作情報に基づいて、ロボット91の任意の操作を行う機能部である。
映像制御部14は、ロボット91の制御のために用いられる制御情報を蓄積し、これに基づいて映像符号化部及び映像伝送部12から送信されるカメラ映像を制御する。ここで、制御情報は、本実施形態では、サーバ92からの操作情報、ロボット操作部13の実行によりロボット91の任意の部分が動作した移動情報、及びサーバ92で得られた視線情報を含む。
【0026】
変換処理部21は、360度映像撮影部11で撮影された複数のカメラ映像を用いて360度映像を生成する。
映像送信部22は、360度映像を操作者へ送信する。これにより、ヘッドセット93に360度映像が表示される。
送受信部23は、操作者から受信した操作情報、ヘッドセット93で得られた操作者の視線情報を受信し、ロボット91へ送信する。ヘッドセット93で得られた操作者の視線情報は、360度映像上での視聴位置になっている。
逆変換処理部24は、逆変換テーブルを用いて、360度映像上での視聴位置をDual fisheye映像の視聴位置に変換する。
【0027】
映像符号化部及び映像伝送部12は、Dual fisheye映像P11のうちの逆変換処理部24で得られた視聴位置の部分だけを送る。これにより、本実施形態は、制御対象であるロボット91から送信するデータ量を削減することができる。
【0028】
(第2の実施形態)
図7に視線遷移の一例を示す。本実施形態では、サーバ92からロボット91へ、間隔τで視線情報を通知する例を示す。第1の実施形態においては、サーバ92が操作者の視線情報(θ,ψ)をロボット91へ送信した時間から、サーバ92が視線情報(θ,ψ)のDual fisheye映像を操作者へ送信するまで、視線情報(θ,ψ)の伝送時間t、ロボット91における映像符号化時間t、ロボット91からサーバ92への映像伝送時間t、サーバ92における映像復号化時間t、が生じる。
【0029】
操作者の視聴領域が移動する場合、これらの追従の遅れにより、画質が劣化する可能性がある。そこで、本実施形態では、映像制御部14が、視線情報の時間変化を予測して伝送領域を設定する。これにより、本実施形態では、視線移動の変化への追従性を高めることができる。
【0030】
例えば、操作者から視線情報・操作情報が送信されてからその情報に基づいた処理が行われた映像フレームを操作者が視聴するまでの遅延時間がdであるとき、時刻iの視線情報をもとに処理した映像を実際にユーザが見る時刻がi+dとなる。映像制御部14は、以下の式を用いて、時刻i+dでの伝送領域Si+dを算出する。
i+d=v+αMi,w+βσi,w+γai,w+δ (1)
ここで、パラメータは以下のとおりである。
i+d:時刻iに送信する領域
:時刻iの視聴領域
i,w:時刻iから過去wフレームでの視線移動量の最大値
σi,w:時刻iから過去wフレームでの視線の分散
i,w:時刻iから過去wフレームでの視線の加速度
α,β,γ,δ:定数
【0031】
αMi,wはは視線の最大移動量を反映させるための項である。時刻iから時刻i+dにかけての移動量が過去wフレームの視線の最大移動量以下であるという推定のもと伝送領域を拡大する。向きを考慮しない場合、時刻iの視聴位置に対して上下もしくは左右の両側への移動に対応するためα=2を採用することができる。
βσi,wは視線変化の傾向を反映させるための項である。分散が小さいと視線変化が小さく、分散が大きいと視線変化が大きいことを示す。視線情報の分散は対象となる映像や操作者ごとに異なる性質を示す。
γai,wは視線変化の加速度を反映させるための項である。視線移動の変化点を迅速にとらえ、視線移動に追従する。
これらの統計情報に基づく項は定数を適切に設定することで、一つまたは複数を組み合わせて使用することができる。
【0032】
式(1)を用いて伝送領域Si+dを算出することで、図8に示すように、操作者の視線遷移に追従して伝送領域の範囲A1、A2、A3を変化させることができる。これにより、図9に示すように、時間(t-τ)でDual fisheye映像P21であった視聴領域が、操作者の視線の遷移によって、時間(t-τ-ε)ではDual fisheye映像P22に広がり、時間tではDual fisheye映像P23に広がる。
【0033】
なお、本実施形態では、映像制御部14が、視線情報の時間変化を予測し、これに基づいて伝送領域を設定する例を示したが、本開示はこれに限定されない。例えば、映像制御部14が、伝送領域の時間変化を予測し、これに基づいて伝送領域を設定してもよい。
【0034】
(第3の実施形態)
視線情報の時間変化の予測は、サーバ92が実行してもよい。例えば、逆変換処理部24が、第2の実施形態と同様に、視聴領域の時間変化を予測してもよい。ただし、本実施形態では、逆変換処理部24が、予測で得られた視聴領域の逆変換を行うことで、ロボット91から送信する伝送領域を求める。
【0035】
(第4の実施形態)
本開示は、サーバ92を仮にロボット91に載せてもよい。このような形態であっても、本開示によれば、映像の処理量が減るので、搭載するサーバ92の性能要件を下げることができる。
【0036】
以上説明したように、本開示は、これまでの制御情報に基づく制御量を元に適応的に削減する映像領域を決定できる。さらに、本開示は、視線情報や操作情報の時間推移に基づいて時間的に視聴し得ない映像領域を削減できる。これらにより、本開示は、ロボット91を介した遠隔制御・テレイグジスタンスを実現するためのVR映像伝送を効率化できる。
【符号の説明】
【0037】
11:360度映像撮影部
12:映像符号化部及び映像伝送部
13:ロボット操作部
14:映像制御部
21:変換処理部
22:映像送信部
23:送受信部
24:逆変換処理部
81:無線ネットワーク
82:通信ネットワーク
91:ロボット
92:サーバ
93:ヘッドセット
図1
図2
図3
図4
図5
図6
図7
図8
図9