(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-13
(45)【発行日】2022-01-13
(54)【発明の名称】ヘッドマウントディスプレイおよびその方法
(51)【国際特許分類】
H04N 21/234 20110101AFI20220105BHJP
H04N 21/24 20110101ALI20220105BHJP
H04N 5/232 20060101ALI20220105BHJP
G09G 5/00 20060101ALI20220105BHJP
【FI】
H04N21/234
H04N21/24
H04N5/232 290
H04N5/232 300
G09G5/00 510A
G09G5/00 555D
G09G5/00 550C
G09G5/00 550H
G09G5/00 530T
(21)【出願番号】P 2020538671
(86)(22)【出願日】2018-06-04
(86)【国際出願番号】 EP2018064592
(87)【国際公開番号】W WO2019185173
(87)【国際公開日】2019-10-03
【審査請求日】2020-09-02
(32)【優先日】2018-03-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】598036300
【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン(パブル)
(74)【代理人】
【識別番号】110003281
【氏名又は名称】特許業務法人大塚国際特許事務所
(74)【代理人】
【識別番号】100076428
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100130409
【氏名又は名称】下山 治
(72)【発明者】
【氏名】アラウホ, ホセ
(72)【発明者】
【氏名】グランチャロフ, ヴォロディヤ
(72)【発明者】
【氏名】ベルントソン, グニラ
(72)【発明者】
【氏名】ハリハラン, アルヴィン ジュード
【審査官】大西 宏
(56)【参考文献】
【文献】特開2017-034494(JP,A)
【文献】特開2016-177726(JP,A)
【文献】特開2018-014579(JP,A)
【文献】米国特許出願公開第2013/0002813(US,A1)
【文献】米国特許出願公開第2014/0268356(US,A1)
【文献】AJOY S FERNANDES ET AL.,COMBATING VR SICKNESS THROUGH SUBTLE DYNAMIC FIELD-OF-VIEW MODIFICATION,IEEE SYMPOSIUM ON 3D USER INTERFACE 2016,米国,IEEE,2016年03月01日,P201-210
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 - 7/173
H04N 7/20 - 7/56
H04N 21/00 -21/858
H04N 5/222- 5/257
G09G 5/00 - 5/40
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイ(HMD)(100)であって、
第1の視野(111)を有する現実世界のシーンの映像を撮影するように構成されたカメラ(101)と、
受信表示装置(140)に映像をストリーミングするように構成されたネットワークインタフェース回路(102)と、
処理手段(103)とを有し、
前記処理手段(103)は、
前記現実世界のシーンの3Dモデルを生成し、
前記第1の視野(111)よりも広い第2の視野を用いて、前記3Dモデルから映像を生成し、
前記カメラ(101)の動きを推定し、
前記カメラ(101)の前記推定された動きが、急な動きを示す1つ以上の条件を満たしていれば、前記生成された映像を前記受信表示装置(140)にストリーミングし、そうでなければ、前記撮影された映像を前記受信表示装置(140)にストリーミングする、ように動作する、HMD。
【請求項2】
前記処理手段(103)は、前記カメラ(101)の前記推定された動きが急な動きを示す1つ以上の条件を満たし、前記第1の視野(111)が人間の視野を代表する閾値よりも小さい場合、前記生成された映像を前記受信表示装置(140)にストリーミングし、そうでなければ、前記撮影された映像を前記受信表示装置(140)にストリーミングするように動作する、請求項1に記載のHMD。
【請求項3】
前記HMD(100)の動きを感知するように構成された少なくとも1つの動きセンサ(104)をさらに有し、前記処理手段(103)は、前記HMD(100)の感知された動きに基づいて前記カメラ(101)の前記動きを推定するように動作する、請求項1または2に記載のHMD。
【請求項4】
前記処理手段(103)は、前記撮影された映像の続くフレームを解析することに基づいて、前記カメラ(101)の前記動きを推定するように作動する、請求項1または2に記載のHMD。
【請求項5】
前記処理手段(103)は、前記第1の視野(111)と前記カメラ(101)の前記推定された動きとに基づいて前記第2の視野を決定するように動作する、請求項1から4のいずれか1項に記載のHMD。
【請求項6】
前記急な動きを示す1つ以上の条件が、前記撮影された映像の視聴者(152)が映像酔い(VIMS)を起こす動きのパターンを示すものである、請求項1から5のいずれか1項に記載のHMD。
【請求項7】
前記処理手段(103)は、前記生成された映像を前記受信表示装置(140)にストリーミングすることに続き、
前記生成された映像を所定期間ストリーミングしたことと、
前記カメラ(101)の前記推定された動きが、安定した動きを示す1つ以上の条件を満たしていると判定したこと、
の少なくとも1つに応答して、前記撮影された映像を前記受信表示装置(140)にストリーミングするように、さらに作動する、請求項1から6のいずれか1項に記載のHMD。
【請求項8】
ヘッドマウントディスプレイ(HMD)が実行する方法(500)であって、
前記HMDが備えるカメラを用いて、第1の視野を有する現実世界のシーンの映像を撮影する(501)ことと、
前記現実世界のシーンの3Dモデルを生成する(503,513)ことと、
前記第1の視野よりも広い第2の視野を用いて、前記3Dモデルから映像を生成する(504,514)ことと、
前記カメラの動きを推定する(505)ことと、
前記カメラの前記推定された動きが、急な動きを示す1つ以上の条件を満たしていれば(506)、前記生成された映像を、前記HMDが備えるネットワークインタフェース回路を用いて受信表示装置にストリーミングする(515)ことと、そうでなければ、前記撮影された映像を、前記ネットワークインタフェース回路を用いて前記受信表示装置にストリーミングする(525)ことと、を有する、方法。
【請求項9】
前記カメラの前記推定された動きが急な動きを示す1つ以上の条件を満たし(506)、前記第1の視野が人間の視野を代表する閾値よりも小さい場合には前記生成された映像が前記受信表示装置にストリーミングされ(515)、そうでなければ、前記撮影された映像が前記受信表示装置にストリーミングされる(525)、請求項8に記載の方法。
【請求項10】
前記カメラの前記動きが、前記HMDが備える少なくとも1つの動きセンサを用いて感知された前記HMDの動きに基づいて推定される(505)、請求項8または9に記載の方法。
【請求項11】
前記撮影された映像の続くフレームを分析することに基づいて前記カメラの前記動きが推定される(505)、請求項8または9に記載の方法。
【請求項12】
前記第1の視野と、前記カメラの前記推定(505)された動きとに基づいて、前記第2の視野を決定すること(512)をさらに有する、請求項8から11のいずれか1項に記載の方法。
【請求項13】
前記急な動きを示す1つ以上の条件が、前記撮影された映像の視聴者が映像酔い(VIMS)を起こす動きのパターンを示すものである、請求項8から12のいずれか1項に記載の方法。
【請求項14】
前記生成された映像を前記受信表示装置にストリーミングする(515)ことに続き、
前記生成された映像を所定期間ストリーミングした(516)ことと、
前記カメラの前記推定された動きが、安定した動きを示す1つ以上の条件を満たしている(517)と判定したこと、
の少なくとも1つに応答して、前記撮影された映像を前記受信表示装置にストリーミングする(525)こと、をさらに有する、請求項8から13のいずれか1項に記載の方法。
【請求項15】
ヘッドマウントディスプレイ(HMD)が備える処理手段(302)で実行されると、前記HMDに請求項8から14のいずれか1項に記載の方法を実行させるためのコンピュータ実行可能な命令を有する、コンピュータプログラム(304)。
【請求項16】
請求項15に記載のコンピュータプログラム(304)を格納した、コンピュータ読み取り可能な記憶媒体(303)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイ(HMD)、HMDによって実行される方法、対応するコンピュータプログラム、および対応するコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ(HMD)または類似の装置は、ビジュアルリモートガイダンスアプリケーションで用いることができる。例えば、無線基地局を整備するために現場を訪問しているサポートエンジニアは、無線基地局のキャビネットなど、サポートエンジニアが見ている現実世界のシーンの映像を撮影する正面向きのカメラを備えたHMDを装着することができる。HMDは、撮影された映像を、サポートエンジニアを指導および/または支援している専門家が映像を視聴する遠隔地(例えばネットワークオペレーションセンタ(NOC))にストリーミングしながら、サポートエンジニアに関連文書を表示するために用いられうる。
【0003】
HMDが備えるカメラの視野(FoV)は限られているため、HMDのカメラで撮影された映像の視聴者は、サポートエンジニアが訪問した現場について限られた視野のみを有することになる。これが特に当てはまるのは、整備対象の設備のクローズアップ像を提供するためにHMDカメラをズームアップ拡大した場合である。
【0004】
撮影された映像の視野が限定されることにより、撮影された映像を視聴している人は映像酔い(Visually Incuced Motion Sickness (VIMS))を起こす可能性がある。これが特に当てはまるのは、例えば、サポートエンジニアが首を振ったり急に位置を変えたりするなどして、HMDカメラの動きが速い場合である。一般に、映像酔いは、見えているのに感じられない動きによって引き起こされる。視野が制限されることで、現実世界のシーンの視覚的な基準点(reference points)のサブセットのみが映像によって撮影される。
【発明の概要】
【0005】
本発明の目的は、上述の技術および従来技術の、改善された代替技術を提供することである。
【0006】
より具体的には、ビジュアルリモートガイダンスアプリケーションのための改善された解決方法を提供することが本発明の1つの目的である。特に、映像酔いのリスクを軽減する、ビジュアルリモートコラボレーションのための解決方法を提供することが本発明の1つの目的である。
【0007】
本発明のこれらの目的および他の目的は、独立請求項によって定義されるように、本発明の様々な態様によって達成される。本発明の実施形態は、従属請求項によって特徴付けられる。
【0008】
本発明の第1の態様によれば、HMDが提供される。HMDは、第1の視野(FoV)を有する現実世界のシーンの映像を撮影するように構成されたカメラと、映像を受信表示装置にストリーミングするように構成されたネットワークインタフェース回路と、処理手段とを有する。処理手段は、現実世界の3Dモデルを生成し、3Dモデルから、第1の視野よりも広い第2の視野を用いて映像を生成するように動作する。処理手段はさらに、カメラの動きを推定し、カメラの推定された動きが急な動きを示す1つ以上の条件を満たす場合には、生成された映像をを受信表示装置にストリーミングし、そうでない場合には、撮影された映像を受信表示装置にストリーミングするように動作する。
【0009】
本発明の第2の態様によれば、HMDによって実行される方法が提供される。方法は、HMDが備えるカメラを用い、現実世界のシーンの映像を第1の視野で撮影することと、現実世界のシーンの3Dモデルを生成することと、第1の視野よりも広い第2の視野で3Dモデルから映像を生成することとを有する。方法はさらに、カメラの動きを推定することと、カメラの推定された動きが急な動きを示す1つ以上の条件を満たしている場合には生成した映像をHMDが備えるネットワークインタフェース回路を用いて受信表示装置にストリーミングし、それ以外の場合には撮影された映像をネットワークインタフェース回路を用いて受信表示装置にストリーミングすることを有する。
【0010】
本発明の第3の態様によれば、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータ実行可能な命令がHMDが備える処理ユニットで実行された場合に、本発明の第2の態様の実施形態に従った方法をHMDに実行させるためのコンピュータ実行可能な命令を有する。
【0011】
本発明の第4の態様によれば、コンピュータ読み取り可能な記憶媒体が提供される。コンピュータ読み取り可能な記憶媒体は、本発明の第3の側面に従ったコンピュータプログラムを格納している。
【0012】
本発明は、HMDの実施形態によってストリーミングされる映像の視聴者が映像酔いを起こすリスクが、カメラの動きが速い場合には、撮影された映像ではなく、ズームアウトした生成映像をストリーミングすることによって軽減されるという知見を用いている。
【0013】
本発明の利点は、本発明の第1の態様の実施形態に関して記載されている場合もあるが、同様の趣旨は本発明の他の態様の実施形態にも当てはまる。
【0014】
本発明のさらなる目的、特徴、および利点は、以下の詳細な開示、図面、および添付の特許請求の範囲の検討を通じて明らかになるであろう。本発明の異なる特徴を組み合わせて、以下に説明されない実施形態を創作することが可能であることは、本技術分野に属する当業者が理解するところである。
【図面の簡単な説明】
【0015】
本発明の、上述した目的、特徴、および利点ならびにさらなる目的、特徴および利点は、添付図面に関する、本発明の実施形態の以下の例示的かつ非限定的な詳細な説明によって、よりよく理解されるであろう。
【0016】
【
図1】本発明の実施形態に係る、リモートコラボレーションシナリオにおけるHMDを示す図である。
【
図2A】本発明の実施形態に係る、HMDによるストリーミング映像を示す図である。
【
図2B】本発明の実施形態に係る、HMDによるストリーミング映像を示す図である。
【
図2C】本発明の実施形態に係る、HMDによるストリーミング映像を示す図である。
【
図3】HMDが備える処理手段の一実施形態を示す図である。
【
図4】HMDが備える処理手段の別の実施形態を示す図である。
【
図5】本発明の実施形態に係る、HMDによって実行される方法を示す図である。
【0017】
すべての図は模式的なものであり、必ずしも均一に縮尺されておらず、概して本発明を説明するために必要な部分のみを示しており、他の部分は省略もしくは単なる示唆に留まりうる。
【発明を実施するための形態】
【0018】
以下、本発明の特定の実施形態を示す添付図面に関して本発明をより詳細に説明する。しかしながら、本発明は多くの異なる形態で具現化されてもよく、したがって本明細書に記載された実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は、本開示が詳細かつ完全なものとなるように、また、本発明の範囲を本技術分野に属する当業者に十分伝わるように例示として提供されている。
【0019】
本発明は、ビジュアルリモートガイダンスに関するものであり、現在の文脈では、第1の人物(例えば、ヘッドマウントディスプレイ(HMD)を装着したサポートエンジニア)が装着したヘッドマウントカメラを用いて映像を撮影することおよび、撮影された映像を、異なる(離れているかもしれない)場所でその撮影された映像を視聴している第2の人物と(例えば、ストリーミングによって)共有することを包含する。第2の人物は、例えば、整備が必要な場所、例えば、電気通信ネットワークの無線基地局または他の装置を訪問しているサポートエンジニアを指導および/または支援する専門家であってよい。本発明の実施形態は、主に電気通信ネットワークの装置を整備することに関連して説明されるが、本発明の実施形態は、車両(例えば、自動車、トラック、列車、および飛行機)を整備すること、家電製品(例えば、食器洗い機、洗濯機、冷蔵庫、およびヒートポンプ)を整備すること、データセンター内のコンピュータおよびネットワーク機器を整備すること、(例えば、警備員または法執行者によって)建設工事を監視することなど、多くの異なるタイプのビジュアルリモートガイダンスアプリケーションにおいて用いることができる。
【0020】
図1には、本発明の実施形態に係るHMD100を示す。HMD100は、第1の視野(FoV)111で現実世界のシーンの映像を撮影するように構成されたカメラ101を備えている。カメラ101は、例えば、HMD100を装着したユーザ151の前方のシーンを撮影する、正面向きのカメラであってよい。HMD100はさらに、映像を受信表示装置140にストリーミングするように構成されたネットワークインタフェース回路102を備える。映像は受信表示装置140でレンダリングされ、視聴者152へ表示されてもよい。
図1に示すように、HMD100を装着している人物151(ここでは「ユーザ」と呼ぶ)と視聴者152とは、異なる(離れているかもしれない)場所に存在しうる。以下では、ユーザ151と視聴者152とが遠隔的に共同作業を行っているものとする。例えば、ユーザ151は、無線基地局キャビネット121が配置された通信ネットワークの無線基地局サイトを訪問しているサポートエンジニアであってもよい。カメラ101で撮影されたライブ映像ストリームを受信表示装置140を用いて視聴する視聴者152は、サポートエンジニア(視聴者)151を指導および/または支援する専門家であってよい。
【0021】
ネットワークインタフェース回路102は、例えば、任意の既知の有線または無線通信技術に基づくものであってよい。例えば、ネットワークインタフェース回路102は、ワイヤレスローカルアリーナネットワーク(WLAN)/Wi-FiまたはBluetooothのような短距離無線技術、またはGSM(Gloval System for Mobile communications)、UMTS(Universal Telecommunicaiton System)、LTE(Long Term Evolusion)、またはNR/NXに基づく5G技術のようなセルラ無線技術に基づくものであってよい。HMD100と受信表示装置140との間の通信、すなわちデータの交換、特に映像のストリーミングは、例えば、HTTP(HyperText Transfer Protocol)、CoAP(Constrained Application Protocol)、RTSP(Real-time Streaming Protocol)、RTP(Real-time Transport Protocol)、RTCP(Real-time Transport Control Protocol)、DASH(Dynamic Adaptive Streaming over HTTP)など、任意の適切なプロトコルを用いて開始することができる。
図1に例示されるように、HMD100と受信表示装置140との間の通信は、有線または無線接続131、132と、1つ以上の通信ネットワーク130、例えばインターネットを介して伝送されうる。
【0022】
HMD100は、HMD100を本明細書に記載された本発明の実施形態に従って機能させるように動作する処理手段103をさらに備えている。より具体的には、HMD100は、現実世界のシーンの3Dモデルを生成し、第1の視野111よりも広い第2の視野、すなわち現実世界のシーンの「ズームアウトされた」眺めを用いて3Dモデルから映像を生成するように動作する。3Dモデルは、例えば、カメラ101によって撮影された映像から(この目的のため、カメラ101はズームアウト、すなわち、その視野111を増加させる必要がある)、および/またはHMD100に設けられた、例えば、ステレオカメラを形成する追加カメラから、生成されうる。あるいは、またはそれに加えて、3Dモデルは、例えばLIDARまたは類似のレーダー技術を用いる1つ以上の深度センサ、または他のタイプの3Dスキャナから生成されてもよい。LIDARは、パルス状のレーザ光を対象物に照射し、反射パルスをセンサで検出することによって対象物までの距離を測定する。その後、レーザの戻り時間および波長の差を用いて、対象物の3次元表現、すなわち3Dモデルを生成することができ、したがって、複数の対象物を有する現実世界のシーンのモデルを生成することができる。
【0023】
3Dモデルは、例えば、点群として、生成、保存、および処理することができる。一般的に点群とは、ある座標系におけるデータ点の集合である。コンピュータグラフィックス分野で知られている多くの方法論を用いることにより、点群に基づいて3次元表面を生成することができる。点群から表面を再構成するための方法についての概要は、M. Berger、A. Tagliasacchi、L. M. Seversky、P. Alliez、G. Guennebaud、J. A. Levine、A. Sharf、およびC. T. Silvaによる「A Survey of Surface Reconstruction from Point Clouds」、 Computer Graphics Forum, Volume 36, pages 301-329, Wiley, 2017に記載されている。一例として、移動する低コストのデプスカメラ(Microsoft Kinectセンサー)を用いた屋内シーンのリアルタイムマッピングが、R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges, およびA. Fitzgibbonによる「KinectFusion: Real-time dense surface mapping and tracking」, 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 127-136, IEEE, 2012に報告されているさらなる例として、ステレオデプスカメラを用いた、人、家具、オブジェクトを含む空間のリアルタイム3D再構成が、S. Orts-Escolanoらの「Holoportation.Virtual 3D Teleportation in Real-time」、Proceedings of the 29th Annual Symposium on User Interface Software and Technology (UIST '16), pages 741-754, ACM, 2016に説明されている。
【0024】
映像はその後、コンピュータグラフィックス分野で知られているように、例えば点群によって表される3Dモデルから生成されうる。これは、例えば、2D/3D画像および点群処理のためのフレームワークであるPoint Cloud Library (PCL)(http://pointclouds.org/)、2Dおよび3DベクタグラフィックスをレンダリングするためのライブラリであるOpen Graphics Library (OpenGL) (https://www.opengl.org/)、または2Dおよび3D映像をレンダリングするためのゲームエンジンであるUnity 3D(https://unity3d.com/)のような、容易に入手可能なソフトウェアを用いて実現されてもよい。
【0025】
HMD100はさらに、カメラ101の動きを推定するように動作する。例えば、HMD100は、加速度計、ジャイロスコープ、地磁気計、全地球測位システム(GPS)センサなど、HMD100の動きを感知するように構成された少なくとも1つの動きセンサ104をさらに備えてもよい。HMD100は、1つ以上の動きセンサ104から受信した測定データおよび/または信号を分析することにより感知されたHMD100の動きと、HMD100の配置、特にはカメラ101と1つ以上の動きセンサ104との間の距離とに基づいて、カメラ101の動きを推定するように動作する。より具体的には、HMD100は、HMD100を装着しているユーザ151の頭部の動きによって生じるカメラ101の回転運動、傾斜運動、並進運動のうち少なくとも1つを推定するように動作してもよい。
【0026】
代替構成として、HMD100は、カメラ101によって撮影された映像の続くフレームを分析することに基づいて、カメラ101の動きを推定するように動作してもよい。これは、例えば、映像の符号化/圧縮から知られている(グローバルな)動き推定によって実現することができる。動き推定は、ある画像から別の画像への変化、通常はカメラ101で撮影された映像のような映像シーケンスの隣接フレーム間での変化を表す動きベクトルを求める処理である。これは、例えば、当技術分野で知られているように、映像フレームシーケンスで合致するマクロブロックを見つけるためのブロックマッチングアルゴリズムを用いることによって実現することができる。
【0027】
HMD100はさらに、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たすか否かを判定し、満たす場合には、生成された映像、すなわち、第1の視野111よりも広い第2の視野を用いて3Dモデルから生成された映像を、受信表示装置140にストリーミングするように動作する。HMD100はさらに、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たさない場合には、撮影された映像、すなわち第1の視野111を用いてカメラ101で撮影された映像を、受信表示装置140にストリーミングするように動作する。急な動きを示す1つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす可能性が高い動きのパターン(motion regime)を示すものである。
【0028】
1つ以上の条件は、例えば、並進速度または速度、並進加速度、回転速度または速度、および回転加速度のうちの任意の1つまたは組み合わせについての閾値であってよい。この点において、HMD100は、カメラ101の推定された動きを1つ以上の閾値と比較することにより、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たすかどうかを判定するように動作してもよい。例えば、HMD100は、推定された動きが1つ以上の閾値を超えた場合に、カメラ101の推定された動きが急な動きを示す1以上の条件を満たすと判定するように動作してもよい。これは、例えば、HMD100を装着したユーザ151が、並進(前後左右移動)、回転(左右回転)、または傾動(前後左右)により、頭を急に動かした場合に該当しうる。
【0029】
一例として、HMD100は、所定の期間、例えば数分の1秒から数秒までの期間にわたり、カメラ101の推定された動きをいくつか平均し、場合によって重み付けすることにより、カメラ101の動きを追跡し続けるように動作してもよい。好ましくは、カメラ101の推定された動きの平均V
aveの現在値は、例えば、カメラ101によって撮影された映像フレームごとに、すなわち撮影された映像のフレームレートで、定期的に計算される。あるいは、カメラ101の推定された動きの平均の現在値は、n番目のフレームごとに(すなわち、フレームレートの1/nで)計算されてもよく、ここで、nは正の整数である。例えば、現在の時刻t
0において、カメラ101の推定された動きの平均値の現在の値は以下の様に計算されうる。
【数1】
ここで、V(t)は時刻tにおけるカメラ101の推定された動きであり、重み関数w(t)は以下の様に選択される。
【数2】
【0030】
この特定例において、カメラ101の推定された動きV(t)は、並進速度または回転速度成分、並進速度または回転速度の絶対値、またはそれらの組み合わせなど、任意の速度成分であってよい。
【0031】
1つ以上の閾値は、例えば、HMD100の製造者であり、リモートコラボレーションに用いられる、処理手段103が実行可能なソフトウェアの提供者によって、あるいはユーザ151によって設定されてもよい。閾値は、絶対値もしくは相対値で表現されてよい。上記の例に関して、急な動きを示す条件は、例えば、カメラ101の推定された動きの現在の値V(t
0)が、カメラ101の推定された動きの現在の平均値V
ave(t
0)を所定量超えた場合、すなわち、
【数3】
であれば、満たされていると見なすことができる。
【0032】
ここで、a>1である。例えば、a=1.5の場合、カメラ101の推定された動きの現在の値が、カメラ101の動きの現在の平均値を少なくとも50%上回っていれば、急激な動きを示す条件が満たされる。
【0033】
場合によっては、1つ以上の閾値は、通常の動作中に学習され、調整されてもよい。例えば、受信表示装置140は、視聴者152がVIMSを起こしているかどうかを検出し、それを受けてHMD100に通知するように動作してもよい。これに対応してHMD100は、そのような通知を受信すると、並進/回転・速度/速度/加速度など、VIMSを生じさせた推定された動きを記録するように動作してもよい。このような記録された推定動き値に基づいて、HMD100は、視聴者152がVIMSを起こすリスクを最小化するように選択される、1つ以上の閾値を決定するように動作してもよい。例えば、記録された推定動き値に基づいて、閾値を、映像酔いを引き起こす記録された推定動き値の下限値、または下限値より少し低い値に設定することができる。
【0034】
本発明の実施形態は、(ユーザ151が装着するHMD100が備えるカメラ101のような)非静止カメラで撮影され、そこから受信する映像ストリームを視聴する(視聴者152のような)のリスクを低減するという点で有利である。これは、受信表示装置140に対して、HMD100が急速に動いていない場合、すなわち、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たさない場合にカメラ101によって撮影された映像をストリーミングすることと、HMD100が急速に動いている場合に、カメラ101の第1の視野よりも広い第2の視野を用いて現実世界のシーンの3次元モデルから生成された映像をストリーミングすることとを切り替えることによって実現される。カメラ101の第1の視野111から、生成された映像の、より広い第2の視野にズームアウトすることにより、
図1に示されたドア122のような現実世界シーンの新たな参照点(reference points)が、視聴者152に表示されるストリーミングされた(生成された)映像で視認可能になる。したがって、視聴者152が映像酔いを起こすリスクは低減もしくは緩和される。
【0035】
場合によっては、HMD100は、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たす場合にのみ、現実世界のシーンの3Dモデルを生成するように動作してもよい。これにより、撮影された映像から3Dモデルを生成するために必要な処理量、および/または追加のカメラおよび/または深度センサから受信するデータが削減され、HMD100の電池寿命が延長されるという利点がある。
【0036】
場合によっては、HMD100は、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たす場合にのみ、第1の視野よりも広い第2の視野を用いて3Dモデルから映像を生成するように動作してもよい。これにより、3Dモデルから映像を生成するために必要な処理量が削減され、HMD100の電池寿命が延長されるという利点がある。
【0037】
本発明の実施形態にしたがって、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たすかどうかに応じて、HMD100による映像表現を撮影された映像と生成された映像との間で切り替えることについて、
図2にさらに示す。より具体的には、
図2Aは、
図1に図示したようにHMD100を装着したユーザ151が無線基地局キャビネット121を向いている場合に、カメラ101によって撮影された映像レーム210の例を示しており、撮影された映像フレーム210が受信表示装置140に表示されている。
【0038】
図2Bには、ユーザ151が観察している現実世界のシーンの3Dモデルから生成されている映像フレーム220が例示されている。
図2Bに示されたフレーム220は現実世界のシーンの3Dモデルから生成されており、
図2Aに示されるカメラ101で撮影されたフレームよりも典型的には詳細度が低いことが分かる。特に、細部、表面テクスチャなどに関しての詳細レベルは、典型的には、3Dモデルから映像を生成するために利用可能な処理リソースに依存する。フレーム220は、撮影されたフレーム210と実質的に同じ視野、すなわちカメラ101の第1の視野111を用いて生成されていることに留意されたい。これに対して、
図2Cは、フレーム210を撮影するために用いられるカメラ101の第1の視野111よりも広い視野を有する現実世界のシーンの3次元モデルから生成されているフレーム230を示している。すなわち、フレーム230は、現実世界のシーンの3Dモデルから生成された、HMD100を装着したユーザ151の目の前にある現実世界のシーンをズームアウトした眺めを提供する。好都合なことに、フレーム220と比較して、フレーム230のズームアウトされた眺めは、現実世界のシーンにおける追加の基準点、すなわちドア122を含んでいる。この追加の基準点のおかげで、遠隔視聴者152が映像酔いを起こすリスクは低減されるか、緩和される。
【0039】
さらに
図1に関して、HMD100は、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たし、第1の視野111が人間の視野を代表する閾値よりも狭い場合に、生成された映像を受信表示装置140にストリーミングするように動作してもよい。そうでなければ、HMD100は、撮影された映像を受信表示装置140にストリーミングするように動作する。なお、人間の視野を代表する閾値は、例えば、HMD100の製造者であり、リモートコラボレーションに使用される、処理手段103によって実行されるソフトウェアの提供者によって、またはユーザ151によって設定されてよく、人間の視野に関する汎用的な値を表すものであってもよいし、視聴者152の視野を表す特定の値であってもよい。
【0040】
HMD100は、第1の視野111とカメラ101の推定された動きとに基づいて第2の視野を決定するようにさらに動作してもよい。例えば、第2の視野は、生成された映像に少なくとも1つの追加の基準点が視認できるように選択されうる。追加の基準点の存在、および追加の基準点のカメラ101の現在の第1の視野111における個々の位置は、現実世界のシーンの生成された3Dモデルおよびカメラ101の推定された動きに基づいて決定されてもよい。後者は、生成された映像で現実世界のシーンの基準点を見えるようにするために、視野をどの程度まで広げる必要があるかを決定するために用いられうる。これは特に、カメラ101の動きとそれに伴う第1の視野111の動きによって、生成された映像で見えるようになりそうな基準点について当てはまる。受信表示装置140にストリーミングされる生成された映像に追加の基準点が存在することにより、視聴者152が映像酔いを起こすリスクが低減される。あるいは、第2の視野は、HMD100の製造者であり、リモートコラボレーションに使用され、処理手段103によって実行されるソフトウェアの提供者によって、ユーザ151によって、または視聴者152によって事前に設定されうる。例えば、受信表示装置140は、受信表示装置140で設定を変更することによって視聴者152が第2の視野を調整することを可能にするように動作してもよく、その設定は、HMD100に通知される。
【0041】
HMD100は、生成された映像を受信表示装置140にストリーミングすることに続き、生成された映像を所定期間ストリーミングしたこと、カメラ101の推定された動きが安定した動きを示す1つ以上の条件を満たしていると判定したことの少なくとも一方に応答して、撮影された映像を受信表示装置140にストリーミングするようにさらに動作してもよい。すなわち、HMD100は、例えば、カメラ101の推定された動きが、例えば5秒といった所定期間の間、急な動きを示す1つ以上の条件を満たした場合に、撮影された映像のストリーミングに復帰するように動作する。この期間は、視聴者152の脳が、例えば、ズームアウトされた生成された映像で視認できる追加基準点によって、急な動きに適応することができるように選択される。HMD100は、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たすかどうかを決定することに関連して本明細書で先に説明したことと同様に、1つ以上の閾値に基づいて、カメラ101の推定された動きが安定した動きを示す1つ以上の条件を満たすことを判定するように動作してもよい。例えば、急な動きを示す1つ以上の条件が、HMD100またはカメラ101の並進または回転のいずれかについて測定された加速度に関する閾値を超えることとして表わされる場合、安定した動きを示す1つ以上の条件は、カメラ101の推定された動きが、測定された加速度の閾値を超えないこと、すなわち、対応する閾値よりも小さいことであると表されてよい。急な動きを検出するための1以上の閾値のセットおよび安定した動きを検出するための1以上の閾値のセットのそれぞれは同一であってもなくてもよい。ヒステリシス効果を与え、撮影された映像のストリーミングと、ズームアウトされた生成された映像のストリーミングとが高速で交互に切り替わることを防ぐために、異なる値を用いることが有利である。代替的に、HMD100がズームアウトされた生成された映像のストリーミングに切り替わる(または逆の切り替わり)前に、撮影された映像が所定期間ストリーミングされることを確実にするためにタイマを用いることができる。
【0042】
本発明の実施形態を主にHMD100に関して説明してきたが、本発明の実施形態はHMD以外のカメラ装置に基づくものであってもよいことが理解されよう。例えば、本発明の実施形態は、ユーザ151が手で持ったり、ユーザ151の身体に装着できたりすることができる、携帯電話、スマートフォン、タブレット、デジタルカメラなどで実施されてもよい。一例として、本発明の実施形態は、ユーザ151の頭部もしくはユーザ151が着用するヘルメットに装着されるヘッドマウントカメラ、例えばGoProカメラで実施されうる。
【0043】
以下、
図3及び
図4を参照して、HMD100のようなHMDの実施形態に含まれる処理手段103の実施形態について説明する。
【0044】
図3に、処理手段103の第1実施形態300を示す。処理手段300は、汎用プロセッサなどの処理ユニット302と、RAM(Random-Access Memory)やフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体303とを有する。さらに、処理手段300は、カメラ101、ネットワークインタフェース回路102、1つ以上のモーションセンサ104など、HMDが備える他の構成要素を制御する、および/またはそれら構成要素から情報を受信するための1つ以上のインタフェース301(
図3では「I/O」)を有する。メモリ303は、コンピュータが実行可能な命令304、すなわちコンピュータプログラムまたはソフトウェアを有する。コンピュータ実行可能な命令304は、処理ユニット302で実行されたときに、HMDが本明細書に記載された本発明の実施形態にしたがって機能するように動作させる。
【0045】
処理手段103の代替的な実施形態400を
図4に示す。処理手段300と同様に、処理手段400は、カメラ101、ネットワークインタフェース回路102、および1つ以上のモーションセンサ104などのHMDが備える他の構成要素を制御する、および/またはそれら構成要素から情報を受信するための1つ以上のインタフェース401(
図4では「I/O」)を有する。処理手段400はさらに、モデルモジュール402、映像モジュール403、動きモジュール404、およびストリーミングモジュール405を有し、これらは、本明細書に記載されているような本発明の実施形態にしたがってHMDを機能させるように構成されている。
【0046】
特に、モデルモジュール402は、現実世界のシーンの3Dモデルを生成するように構成され、映像モジュール403は、第1の視野111よりも広い第2の視野を用いて、3Dモデルから映像を生成するように構成されている。動きモジュール404は、カメラ101の動きを推定するように構成されている。ストリーミングモジュール405は、カメラの推定された動きが急な動きを示す1つ以上の条件を満たしている場合には、生成された映像を受信表示装置140にストリーミングし、そうでない場合には、撮影された映像を受信表示装置140にストリーミングするように構成されている。急な動きを示す1つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす動きのパターン(motion regime)を示すものである。
【0047】
場合によっては、ストリーミングモジュール405は、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たし、第1の視野111が人間の視野を代表する閾値よりも小さい場合に、生成された映像を受信表示装置140にストリーミングし、そうでなければ、撮影された映像を受信表示装置140にストリーミングするように構成されてもよい。
【0048】
場合によっては、動きモジュール404は、HMD100の感知された動きに基づいてカメラ101の動きを推定するように構成されてもよい。代わりに、動きモジュール404は、撮影された映像の続くフレームを分析することに基づいて、カメラ101の動きを推定するように構成されてもよい。
【0049】
場合によっては、映像モジュール403は、第1の視野111とカメラ101の推定された動きとに基づいて第2の視野を決定するように構成されてもよい。
【0050】
場合によっては、ストリーミングモジュール405は、生成された映像を受信表示装置140にストリーミングすることに続いて、生成された映像を所定期間ストリーミングしたことと、カメラ101の推定された動きが安定した動きを示す1つ以上の条件を満たすと判定されたことの少なくとも1つに応答して、撮影された映像を受信表示装置140にストリーミングするようにさらに構成されてもよい。
【0051】
処理手段400が有するモジュール402~405は、本明細書に記載されているように、本発明の実施形態に従って追加的または代替的な動作を実行するようにさらに構成されてもよい。
【0052】
インタフェース301および401、モジュール402~405、ならびに処理手段400が有する任意の追加モジュールは、任意の種類の電子回路によって、例えば、アナログ電子回路、デジタル電子回路、および適切なコンピュータプログラム、すなわちソフトウェアを実行する処理手段のいずれか1つまたは組み合わせによって実施することができる。
【0053】
以下、
図5を参照して、HMD100のようなHMDによって実行される方法の実施形態500を説明する。
【0054】
方法500は、HMD100が備えるカメラ101を用いて、第1の視野の現実世界のシーンの映像を撮影すること501と、現実世界のシーンの3Dモデルを生成すること503/513と、第1の視野111よりも広い第2の視野を用いて、3Dモデルから映像を生成すること504/514とを有する。方法500はさらに、カメラ101の動きを推定すること505と、カメラ101の推定された動きが急な動きを示す1つ以上の条件を満たす506場合には、生成された映像をHMD100が備えるネットワークインタフェース回路102を用いて受信表示装置140にストリーミングすること515と、そうでない場合には、撮影された映像をネットワークインタフェース回路102を用いて受信表示装置140にストリーミングすること525とを有する。急な動きを示す1つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす動きのパターン(motion regime)を示すものである。
【0055】
場合により、カメラ101の505で推定された動きが急な動きを示す1つ以上の条件を満たし506、かつ第1の視野111が人間の視野を代表する閾値よりも小さい場合には504で生成された映像が受信表示装置140にストリーミング515され、そうでない場合には撮影された映像が受信表示装置140にストリーミング525される。
【0056】
場合により、カメラ101の動きは、HMD100が備える少なくとも1つの動きセンサ104を用いて感知されたHMD100の動きに基づいて推定505される。あるいは、カメラ101の動きは、501で撮影された映像の続くフレームを分析することに基づいて推定505される。
【0057】
場合により、方法500は、第1の視野111とカメラ101の505で推定された動きとに基づいて、第2の視野を決定すること512をさらに有してもよい。
【0058】
場合により、方法500は、生成された映像を受信表示装置140にストリーミングすること515に続いて、生成された映像を所定期間ストリーミングしたこと516と、カメラの推定された動きが安定した動きを示す1つ以上の条件を満たすと判定されたこと517との少なくとも1つに応答して、撮影された映像を受信表示装置140にストリーミングすること525をさらに有する。
【0059】
方法500は、本開示全体を通して記載されている内容にしたがって、追加の、または修正されたステップを有しうることが理解されよう。方法500の実施形態は、HMDが備える処理ユニットによって実行されるコンピュータプログラム304のようなソフトウェアとして実施することができ、それによってHMDは、本明細書に記載された本発明の実施形態にしたがって機能するように動作するようになる。
【0060】
本技術分野に属する当業者は、本発明が上述の実施形態に決して限定されるものではないことを認識する。むしろ、添付の特許請求の範囲の範囲内で多くの修正や変形が可能である。