(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】映像提示装置およびプログラム
(51)【国際特許分類】
H04N 21/431 20110101AFI20231215BHJP
G02B 27/02 20060101ALI20231215BHJP
G06T 7/00 20170101ALI20231215BHJP
G06T 11/80 20060101ALI20231215BHJP
G09G 5/00 20060101ALI20231215BHJP
G09G 5/12 20060101ALI20231215BHJP
G09G 5/14 20060101ALI20231215BHJP
G09G 5/37 20060101ALI20231215BHJP
G09G 5/377 20060101ALI20231215BHJP
G09G 5/38 20060101ALI20231215BHJP
H04N 7/18 20060101ALI20231215BHJP
H04N 21/44 20110101ALI20231215BHJP
【ＦＩ】
H04N21/431
G02B27/02 Z
G06T7/00 250
G06T11/80 A
G09G5/00 510A
G09G5/00 510M
G09G5/00 530D
G09G5/00 550C
G09G5/12
G09G5/14 A
G09G5/37 100
G09G5/37 110
G09G5/37 320
G09G5/377
G09G5/377 100
G09G5/38 100
H04N7/18 V
H04N21/44
【請求項の数】
9
(21)【出願番号】P 2019148569
(22)【出願日】2019-08-13
(65)【公開番号】P2021034744
(43)【公開日】2021-03-01
【審査請求日】2022-07-13
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３１年３月２７日、ウェブサイトで研究要旨、「Ｓｈａｒｉｎｇ ｉｍｍｅｒｓｉｖｅ ＶＲ ｅｘｐｅｒｉｅｎｃｅ ａｍｏｎｇ ｌｏｃａｌ ｕｓｅｒｓ ｂｙ ｕｓｉｎｇ ａ ｖｉｄｅｏ ｓｅｅ－ｔｈｒｏｕｇｈ ＡＲ ｄｉｓｐｌａｙ」、を掲載。
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３１年３月２９日、日本バーチャルリアリティ学会 複合現実感研究委員会 Ｔｈｅ １２ｔｈ Ａｓｉａ Ｐａｃｉｆｉｃ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＰＭＡＲ２０１９）のデモセッションにおいて発表。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】吉野 数馬
(72)【発明者】
【氏名】川喜田 裕之
(72)【発明者】
【氏名】小出 大一
(72)【発明者】
【氏名】久富 健介
【審査官】鈴木 順三
(56)【参考文献】
【文献】特表２０１９－５１６１８０（ＪＰ，Ａ）
【文献】特開２０１３－２５７７１６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０３７３４１２（ＵＳ，Ａ１）
【文献】特開２０１８－００７１８０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｇ０９Ｇ ５／００ － ５／４２
Ｇ０２Ｂ ２７／００ － ３０／６０
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １１／６０ － １３／８０
(57)【特許請求の範囲】
【請求項1】
再生用の映像である再生用映像を取得する再生用映像取得部と、自装置の周辺の映像である周辺映像を取得する周辺映像取得部と、
前記周辺映像に含まれる所定の被写体を認識する認識部と、
前記周辺映像に対応する距離情報を取得する距離情報取得部と、
前記距離情報に基づいて前記再生用映像を提示すべき領域であるか否かを表すマスク情報であって、且つ、前記認識部が認識した前記被写体が存在する領域であるか否かを表すマスク情報を生成するマスク生成部と、
前記マスク生成部が生成した前記マスク情報に基づいて、
認識された前記所定の被写体に関しては前記距離情報に関わらず前記周辺映像を提示し、
前記所定の被写体以外に関しては、
１）前記距離情報が所定の閾値に基づく近距離の範囲を示す領域において、前記周辺映像を提示し、
２）前記距離情報が所定の閾値に基づく遠距離の範囲を示す領域において、前記再生用映像を提示する、
提示部と、
を備える映像提示装置。
【請求項2】
前記提示部が出力する再生用映像の時間方向の再生位置を、他の映像提示装置との間で同期させる同期部、をさらに備える請求項１に記載の映像提示装置。
【請求項3】
前記提示部は、前記マスク情報に基づいて、画面内の領域ごとに、前記再生用映像または前記周辺映像の少なくともいずれかを表示するように出力する、請求項１または２に記載の映像提示装置。
【請求項4】
前記周辺映像取得部が取得した前記周辺映像のうち、一部のみを切り出す提示領域抽出部、をさらに備え、
前記認識部は、前記提示領域抽出部が切り出す前の前記周辺映像を基に前記所定の被写体を認識し、
前記提示部は、前記提示領域抽出部によって切り出された前記周辺映像を出力する、
請求項３に記載の映像提示装置。
【請求項5】
前記マスク生成部は、前記再生用映像と前記周辺映像とを混合して提示する領域における混合比率の情報を含んだ前記マスク情報を生成し、前記提示部は、前記再生用映像と前記周辺映像とを混合して提示する領域においては、前記混合比率の情報に基づいて、前記再生用映像と前記周辺映像とが混合するように出力する、
請求項４に記載の映像提示装置。
【請求項6】
前記提示部は、前記再生用映像の透過度を可変とする機能を有し、前記マスク情報に応じた透過度で前記再生用映像を出力する、請求項１または２に記載の映像提示装置。
【請求項7】
前記透過度は、０以上且つ１以下の実数であり、前記提示部は、前記マスク情報に応じた透過度で前記再生用映像を出力する、
請求項６に記載の映像提示装置。
【請求項8】
当該映像提示装置は、哺乳類生物の頭部に装着するタイプの装置であり、当該映像提示装置の位置および姿勢を検知する位置および姿勢検知部、
をさらに備え、
前記提示部は、全周映像である前記再生用映像のうちの、前記位置および姿勢検知部が検知した位置および姿勢に応じた部分映像を出力する、
請求項１から７までのいずれか一項に記載の映像提示装置。
【請求項9】
再生用の映像である再生用映像を取得する再生用映像取得過程と、自装置の周辺の映像である周辺映像を取得する周辺映像取得過程と、
前記周辺映像に含まれる所定の被写体を認識する認識過程と、
前記周辺映像に対応する距離情報を取得する距離取得過程と、
前記距離情報に基づいて前記再生用映像を提示すべき領域であるか否かを表すマスク情報であって、且つ、前記認識過程で認識した前記被写体が存在する領域であるか否かを表すマスク情報を生成するマスク生成過程と、
前記マスク生成過程で生成した前記マスク情報に基づいて、
認識された前記所定の被写体に関しては前記距離情報に関わらず前記周辺映像を提示し、
前記所定の被写体以外に関しては、
１）前記距離情報が所定の閾値に基づく近距離の範囲を示す領域において、前記周辺映像を提示し、
２）前記距離情報が所定の閾値に基づく遠距離の範囲を示す領域において、前記再生用映像を提示する、
提示過程と、
の処理をコンピューターに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像提示装置およびプログラムに関する。
【背景技術】
【0002】
バーチャルリアリティに関する研究および開発が進んでいる。バーチャルリアリティ型のコンテンツとして、３６０度カメラを利用して全周を撮影した実写コンテンツも多くみられるようになった。これらにより、ユーザーに対して、あたかも別の場所に居るかのような体験を提供することも可能となった。バーチャルリアリティ型のコンテンツの提供には、例えば、ヘッドマウントディスプレイ（ＨＭＤ）等が使用される。
【0003】
また、バーチャルリアリティ型のコンテンツが提供する仮想空間を複数のユーザーが一緒に体験するための技術も提案されている。複数のユーザーが仮想空間を一緒に体験することにより、ユーザーは、ヘッドマウントディスプレイで視野全体を覆う形での一人だけの体験ではなく、他のユーザーと楽しみを共有しながら仮想空間を体験することもできる。
【0004】
例えば、非特許文献１および非特許文献２で示される技術では、他のユーザーのアバターを仮想空間に表示する。また、非特許文献３に記載された技術では、実写映像から切り出した遠隔地の他のユーザーを仮想空間に表示することも提案されている。
【0005】
また、バーチャルリアリティ型コンテンツを視聴するユーザーの位置や姿勢等に応じた映像を生成して提示する装置も開発されている。例えば、特許文献１には、立体映像表示装置の構成例が記載されている。その立体映像表示装置は、ユーザーが装着する頭部装着型表示装置の個別の位置姿勢を計測する位置姿勢計測装置を備えている。そして、両眼映像生成手段は、上記の位置姿勢計測装置によって計測された位置姿勢に従って、ユーザーが３次元の原映像を観察した場合における、各ユーザーの左目に入る左目映像と、右目に入る右目映像とを生成する。これにより、その立体映像表示装置は、ユーザーの位置および姿勢に応じた映像を表示している。
【0006】
また、特許文献２には、撮像された現実空間における物体の移動速度に応じて、生成する画像の透明度を決定する画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１６－０１９１７０号公報
【文献】特開２０１８－０６３５６７号公報
【非特許文献】
【0008】
【文献】“Facebook Spaces”，Beta，Facebook, Inc.，２０１９年更新，２０１９年８月８日ダウンロード，URL https://www.facebook.com/spaces
【文献】「まだ使ってないの？ 『Facebook Spaces』が切り拓くＶＲの可能性」，投稿者 caug5，株式会社ＣＡＰＡ，２０１８年５月８日，２０１９年８月８日ダウンロード，URL https://www.capa.co.jp/archives/22169
【文献】Simon N.B Gunkel，Marleen D.W. Dohmen，Hans Stokking，Omar Niamut，” 360-degree photo-realistic VR conferencing”， the 26th IEEE Conference on Virtual Reality and 3D User Interfaces, posters, 2 pages, Mar.2019.
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、コンテンツの世界に没入しているかのような効果をより一層得るという目的では、仮想空間を単に他のユーザーと一緒に楽しんだり活用したりするだけでなく、現実空間において一緒に存在している他のユーザーと仮想空間を共有しているかのような感覚を生じさせることが効果的である。そのためには、視聴するユーザー自身の身体の少なくとも一部や、当該ユーザーがいる場所の状況や、同時に同一コンテンツを視聴している他のユーザーの姿などの少なくとも一部がコンテンツの一部として提示されると、より一層、当該コンテンツの世界に没入しているかのような効果が得られることが期待される。
【0010】
本発明は、上記の課題認識に基づいて行なわれたものであり、視聴ユーザー自身の身体や、視聴ユーザーが存在している場所や、同時に視聴している他のユーザーの姿などの少なくとも一部をバーチャル空間内に表示させることのできる映像提示装置およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【0011】
［１］上記の課題を解決するため、本発明の一態様による映像提示装置は、再生用の映像である再生用映像を取得する再生用映像取得部と、自装置の周辺の映像である周辺映像を取得する周辺映像取得部と、前記周辺映像に含まれる所定の被写体を認識する認識部と、前記周辺映像に対応する距離情報を取得する距離情報取得部と、前記距離情報に基づいて前記再生用映像を提示すべき領域であるか否かを表すマスク情報であって、且つ、前記認識部が認識した前記被写体が存在する領域であるか否かを表すマスク情報を生成するマスク生成部と、前記マスク生成部が生成した前記マスク情報に基づいて、少なくとも前記再生用映像を出力する提示部と、を備える。
【0012】
［２］また、本発明の一態様は、上記の映像提示装置において、前記提示部が出力する再生用映像の時間方向の再生位置を、他の映像提示装置との間で同期させる同期部、をさらに備えるものである。
【0013】
［３］また、本発明の一態様は、上記の映像提示装置において、前記提示部は、前記マスク情報に基づいて、画面内の領域ごとに、前記再生用映像または前記周辺映像の少なくともいずれかを表示するように出力する、ものである。
【0014】
［４］また、本発明の一態様は、上記の映像提示装置において、前記周辺映像取得部が取得した前記周辺映像のうち、一部のみを切り出す提示領域抽出部、をさらに備え、前記認識部は、前記提示領域抽出部が切り出す前の前記周辺映像を基に前記所定の被写体を認識し、前記提示部は、前記提示領域抽出部によって切り出された前記周辺映像を出力する、ものである。
【0015】
［５］また、本発明の一態様は、上記の映像提示装置において、前記マスク生成部は、前記再生用映像と前記周辺映像とを混合して提示する領域における混合比率の情報を含んだ前記マスク情報を生成し、前記提示部は、前記再生用映像と前記周辺映像とを混合して提示する領域においては、前記混合比率の情報に基づいて、前記再生用映像と前記周辺映像とが混合するように出力する、ものである。
【0016】
［６］また、本発明の一態様は、上記の映像提示装置において、前記提示部は、前記再生用映像の透過度を可変とする機能を有し、前記マスク情報に応じた透過度で前記再生用映像を出力する、ものである。
【0017】
［７］また、本発明の一態様は、上記の映像提示装置において、前記透過度は、０以上且つ１以下の実数であり、前記提示部は、前記マスク情報に応じた透過度で前記再生用映像を出力する、ものである。
【0018】
［８］また、本発明の一態様は、上記の映像提示装置において、当該映像提示装置は、哺乳類生物（例えば、人）の頭部に装着するタイプの装置であり、当該映像提示装置の位置および姿勢を検知する位置および姿勢検知部、をさらに備え、前記提示部は、全周映像である前記再生用映像のうちの、前記位置および姿勢検知部が検知した位置および姿勢に応じた部分映像を出力する、ものである。
【0019】
［９］また、本発明の一態様は、再生用の映像である再生用映像を取得する再生用映像取得過程と、自装置の周辺の映像である周辺映像を取得する周辺映像取得過程と、前記周辺映像に含まれる所定の被写体を認識する認識過程と、前記周辺映像に対応する距離情報を取得する距離取得過程と、前記距離情報に基づいて前記再生用映像を提示すべき領域であるか否かを表すマスク情報であって、且つ、前記認識部が認識した前記被写体が存在する領域であるか否かを表すマスク情報を生成するマスク生成過程と、前記マスク生成過程で生成した前記マスク情報に基づいて、少なくとも前記再生用映像を出力する提示過程と、の処理をコンピューターに実行させるプログラムである。
【発明の効果】
【0020】
本発明によれば、バーチャルリアリティの世界への没入感をより一層増すことが可能となる。
【図面の簡単な説明】
【0021】
【図1】本発明の第１実施形態による映像提示装置の概略機能構成を示すブロック図である。
【図2】第１実施形態による複数の映像提示装置が相互に連携するシステムの構成例を示す概略図である。
【図3】第１実施形態による映像提示装置が提示する映像に関して、周辺映像取得部が取得した映像を提示するか、再生用映像取得部が取得した映像を提示するかの、領域ごとの区別を表す概略図（３次元空間を平面視した平面図）である。
【図4】第１実施形態による提示領域抽出部による画像処理（切り出し）の例を示す概略図である。
【図5】第１実施形態による映像提示装置による、周辺映像取得部によって取得された映像と、再生用映像取得部５によって取得された映像との提示方法の例を示す概略図である。（Ａ）は３次元空間を横から見た図であり、（Ｂ）は映像提示装置からの距離とマスクデータの値との関係を示すグラフである。
【図6】第１実施形態による映像提示装置が提示する映像の構成例を示す概略図である。
【図7】第１実施形態による映像提示装置が提示する映像の１フレーム分についての処理の手順を示すフローチャートである。
【図8】本発明の第２実施形態による映像提示装置の概略機能構成を示すブロック図である。
【図9】第２実施形態による映像提示装置５１が提示する映像の構成例を示す概略図である。
【発明を実施するための形態】
【0022】
［第１実施形態］
次に、本発明の第１実施形態について、図面を参照しながら説明する。第１実施形態による映像提示装置は、ビデオシースルー方式を用いる。ビデオシースルー方式については、後で説明する。
次に、本発明の第１実施形態について、図面を参照しながら説明する。第１実施形態による映像提示装置は、ビデオシースルー方式を用いる。ビデオシースルー方式については、後で説明する。
【0023】
図１は、本実施形態による映像提示装置の概略機能構成を示すブロック図である。図示するように、映像提示装置１は、処理部２と、周辺映像取得部３と、距離情報取得部４と、再生用映像取得部５と、位置・姿勢取得部６と、同期部７と、ディスプレイ装置９とを含んで構成される。また、上記の処理部２は、認識部２１と、提示領域抽出部２２と、マスク生成部２３と、提示部２４と、を含んで構成される。映像提示装置１が備える上記の各機能部の少なくとも一部の機能は、電子回路を用いて実現され得る。また、それらの各機能部の一部または全部が、コンピューターと、プログラムとを用いて実現されてもよい。各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、電子回路上において所定の状態を維持するフリップフロップや、プログラムを用いる場合のプログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。各部の機能は、次の通りである。
【0024】
映像提示装置１は、例えば、哺乳類生物（例えば、人）の頭部に装着するタイプの装置として実現される。つまり、映像提示装置１は、映像表示装置と外部測定装置と、映像を処理するための機能（例えば、コンピューターを用いて実現される）が一体化したヘッドマウントディスプレイとして実現され得る。映像提示装置１は、ビデオシースルーあるいは光学シースルーの方式を用いて、実空間に映像（再生用映像）を重畳する用途で使用される。本実施形態では、映像提示装置１は、ビデオシースルー方式を実現する。
【0025】
処理部２は、周辺映像取得部３や、距離情報取得部４や、再生用映像取得部５や、位置・姿勢取得部６や、同期部７からの情報を処理し、ディスプレイ装置９に表示させる映像を計算し、出力する。処理部２は、ヘッドマウント型の映像提示装置１内に内蔵されてもよく、ヘッドマウント型の本体とは別体として（例えば、ＰＣとして）実現されてもよい。
【0026】
周辺映像取得部３は、映像提示装置５１（自装置）の周辺の映像である周辺映像を取得する。周辺映像取得部３は、例えば、ステレオカメラを用いて実現される。また、周辺映像取得部３が用いる映像取得手段が、視野角の広い、いわゆる魚眼カメラであってもよい。
【0027】
距離情報取得部４は、周辺映像取得部３が取得する映像（周辺画像）に対応する距離情報（デプスマップ）を取得する。距離情報取得部４は、周辺映像取得部３とは別の装置として、周辺画像に対応する距離画像を取得するものであってもよい。また、距離情報取得部４は、魚眼ステレオカメラを用いて実現される周辺映像取得部３から、魚眼画像を得て距離情報を算出するものであってもよい。なお、距離画像を取得することそのものは、既存技術を利用して実現可能である。
【0028】
つまり、周辺映像取得部３と距離情報取得部４とは、あわせて、自装置の視点から（つまり、ほぼ、映像提示装置１を頭部に装着するユーザーの視点から）、ＲＧＢＤ（Ｒ：赤、Ｇ：緑、Ｂ：青、Ｄ：距離）情報を取得する。
【0029】
再生用映像取得部５は、再生用の映像を取得する。再生用映像は、例えば、全天周（あるいは全周）を撮影した３６０度実写映像のコンテンツである。また、再生用映像は、一部または全部に、コンピューターグラフィクスを用いた映像であってもよい。再生用映像取得部５は、例えば、ＤＶＤやブルーレイディスクやハードディスク装置などといった記録媒体から、再生用映像を取得する。あるいは、再生用映像取得部５が、通信や放送等の信号で配信される再生用映像を取得するものであってもよい。再生用映像は、時系列のフレーム用画像と、適宜必要とされる音声とから成る。
【0030】
位置・姿勢取得部６は、自装置（映像提示装置１）の位置および姿勢を検知するものである。ここで、位置は、３次元空間における位置座標で表される情報である。また、姿勢は、映像提示装置１の向きを、例えば３次元の角度の情報で表した情報である。位置・姿勢取得部６は、例えば、ジャイロセンサーを内蔵することにより、位置および姿勢を取得するようにしてもよい。また、ステレオカメラの画像からも自己位置推定ができるため、位置・姿勢取得部６は、周辺映像取得部３が取得した映像から、位置および姿勢を算出してもよい。また、位置・姿勢取得部６は、外部からのビーコン信号を受信することによって、あるいは実空間内の場所を特定するためにクロックと同期して外部から発せられる赤外線等の信号を受信することによって、位置や姿勢を取得するようにしてもよい。また、位置・姿勢取得部６は、外部（例えば、コンテンツの視聴空間である部屋内）に設けられた複数のカメラが自装置（映像提示装置１）を撮影して、求められた位置および姿勢の情報を受信するようにしてもよい。
【0031】
同期部７は、他の映像提示装置１との間で相互に通信することにより、随時、情報を交換する。同期部７は、自装置（映像提示装置１）が他の映像提示装置１と同期して同一の映像コンテンツを再生する際に、提示部２４がディスプレイ装置９に表示させる再生用映像の時間方向の再生位置を、他の映像提示装置１との間で同期させる。具体的には、例えば、所定の時間間隔で、映像提示装置１の同期部７間相互で、再生するコンテンツの相対時間位置の情報を交換する。映像提示装置１は、自装置の同期部７が他装置から受信した時間情報に基づいて、再生する映像コンテンツの出力のタイミングを調整する。
【0032】
また、同期部７は、他の映像提示装置１と同期して同一の映像コンテンツの再生を開始する際に、自装置の位置および姿勢の情報を他の映像提示装置１に送信する。また、同期部７は、他の映像提示装置１から、その装置の位置および姿勢の情報を受信する。ここで、「他の装置」は１台であってもよいし、２台以上であってもよい。このように、同期部７が他の映像提示装置１の位置および姿勢の情報を取得することにより、再生するバーチャルリアリティコンテンツの映像の切り出し（位置および姿勢に基づく）方を、他の映像提示装置１と整合させることが可能となる。複数の映像提示装置１による協調動作のための構成については、後でも説明する。
【0033】
ディスプレイ装置９は、提示部２４が出力する映像を、表示する。提示部２４が出力する映像には、周辺映像と再生用映像のいずれもが含まれる可能性がある。ディスプレイ装置９は、画面上の領域ごとに、提示部２４から渡される映像を表示する。なお、ディスプレイ装置９は、例えば立体視のためのステレオ表示を行うものであってもよい。
【0034】
認識部２１は、周辺映像取得部３が取得した周辺映像内の、所定の被写体（例えば、人）を認識する処理を行う。認識部２１は、機械学習により、映像における所定被写体の特徴を予め学習済みである。認識部２１は、学習済みのモデルを参照することにより、周辺映像内においてその被写体が映っている箇所（画像内の領域の座標等の情報）を特定し、その情報を出力する。認識部２１は、認識処理の結果として、周辺映像内の領域の位置情報を、マスク生成部２３に渡す。
【0035】
提示領域抽出部２２は、周辺映像取得部３が取得した周辺映像から、提示領域の映像（画像）を切り出す。提示領域の映像は、周辺映像全体の一部のみ（例えば、中心付近の部分）であってもよい。これにより、周辺映像取得部３が取得する映像の視野角と、ディスプレイ装置９に表示する映像の視野角とを、合わせることができる。提示領域抽出部２２は、切り出した映像（画像）を、提示部２４に渡す。なお、提示領域抽出部２２が提示領域の映像を抽出する方法については、後で別の図を参照しながら説明する。提示領域抽出部２２の処理は、後述するように、中心射影の処理を含んでよい。
【0036】
提示領域抽出部２２は、また、抽出前の周辺画像と、抽出して切り出した画像との位置関係の情報を、マスク生成部２３に渡す。言い換えれば、提示領域抽出部２２は、中心射影等の手法を用いて映像を切り出した際の、周辺映像取得部３が取得した映像と、ディスプレイ装置９の視野角に合わせた映像との、位置の対応関係を、マスク生成部２３に伝える。これにより、マスク生成部２３は、提示用の座標系に合ったマスク情報を生成できるようになる。
【0037】
周辺映像取得部３が用いるカメラとして、魚眼レンズ等の広角のレンズを選定した場合に、映像提示装置１を装着したユーザーの頭が動いても、広い範囲の映像を捉えているため、認識部２１が所定の被写体を正しく認識できる可能性が高まる。つまり、認識部２１が人等の被写体を認識する場合に、その被写体をトラッキングしやすくなる。つまり、認識精度が安定する。一方で、視野角が広すぎる場合には、ディスプレイ装置９の視野角と合わない場合もあり得るが、提示領域抽出部２２の処理により、それら両者の視野角を合わせることが可能となる。
【0038】
マスク生成部２３は、マスク情報を生成する。マスク情報は、距離情報取得部４から渡される距離情報に基づいて再生用映像を提示すべき領域であるか否かを表す。また、マスク情報は、認識部２１が認識した被写体が存在する領域であるか否かを表す。本実施形態では、マスク情報は、周辺画像を表示すべき領域であるか、再生用画像を表示すべき領域であるかを表す情報である。マスク生成部２３は、再生用映像と周辺映像とを混合して提示する領域における混合比率の情報を含んだマスク情報を生成してよい。
【0039】
上記のように、マスク生成部２３は、距離に基づくマスクと、認識結果に基づくマスクとを生成する。これにより、提示部２４は、次のような提示を行えるようになる。例えば、自分自身の身体や、同一の空間内で同一のバーチャルリアリティコンテンツを一緒に体験している他者の身体を、バーチャルリアリティ映像の中に提示することができる。認識部２１によって認識される所定の被写体（人等）に関しては、自装置からの距離に関わらず、周辺映像の表示が行われるようにすることができる。特定の被写体（人等）以外に関しては、距離に基づく提示が行われる。つまり、自装置から比較的近い範囲の物は、周辺映像に含まれる形で、バーチャルリアリティ空間の中に提示される。また、自装置から比較的遠い範囲に存在する物は、周辺映像に含まれる形では提示されない。そのように自装置から比較的遠い範囲に存在する物が存在する領域では、再生用映像が提示される。
【0040】
ここで、「比較的近い範囲」とは、例えば、人がその場から動くことなく（例えば、着座のまま）手を伸ばして触れられる範囲である。例えば、１メートル以内程度の範囲である。逆に「比較的遠い範囲」とは、例えば、２メートル以上程度の範囲である。その中間の距離の範囲（１メートル以上且つ２メートル以下）では、近距離用の周辺映像と、遠距離用の再生用映像とを混合した映像を提示することが考えられる。
【0041】
提示部２４は、マスク生成部２３が生成したマスク情報に基づいて、少なくとも再生用映像を出力する。また、同じくマスク情報に基づいて、近距離の領域では、周辺映像を出力する。なお、提示部２４が再生用映像を提示する場合、再生用映像全体の中から、映像提示装置１の位置および姿勢に基づいて適切な部分の映像を切り出して、表示させるようにする。つまり、提示部２４は、全周映像である再生用映像のうちの、位置・姿勢取得部６が検知した位置および姿勢に応じた部分映像を出力するようにしてよい。
【0042】
提示部２４は、再生用映像と周辺映像とを混合して提示する領域においては、マスク情報の混合比率の値に基づいて、再生用映像と周辺映像とが混合するように、それらを出力する。つまり、提示部２４は、マスク情報に基づいて、画面内の領域ごとに、再生用映像または周辺映像の少なくともいずれかを表示するように出力する。また、提示部２４は、上記の混合比率に基づいて、両映像を混合して表示するように出力してもよい。
【0043】
図２は、複数の映像提示装置１が相互に連携するシステムの構成例を示す概略図である。図示するように、複数の映像提示装置１は、相互に通信しながら連携動作することが可能である。なお、同図では、一例として３台の映像提示装置１が同時に稼働している状況を示しているが、連携動作する映像提示装置１の数は、任意である。図示する状況では、３台の映像提示装置１は、同一の空間（例えば、同一の部屋）内で同時に稼働する。各々の映像提示装置１は、１人のユーザーによって使用される。図示する例では、３台の映像提示装置１は、無線ルーター３１を通して、且つサーバー装置３２を介して相互に情報を交換する。具体的には、各々の映像提示装置１の同期部７同士が、通信により、相互に情報を交換する。
【0044】
複数の映像提示装置１同士が交換する主な情報は、次の２種類である。
第１は、映像提示装置１の位置および姿勢である。コンテンツ再生開始時において、映像提示装置１は、自装置の位置および姿勢の情報を他の映像提示装置１に通知する。同時に、映像提示装置１は、他装置の位置および姿勢の情報を受け取る。このように複数の映像提示装置１のそれぞれが他の映像提示装置１の位置および姿勢の情報を取得することにより、それらの映像提示装置１が同時に同一コンテンツを再生する場合に、再生用映像から切り出す部分映像を、映像提示装置１間で整合させることが可能となる。
第２は、再生用映像を再生する際の、映像提示装置１間での再生タイミングを合わせるための情報である。具体的には、例えば、映像提示装置１は、コンテンツの再生の時間位置の情報を相互に交換する。このような情報交換を、所定の時間間隔ごとに行うようにしてもよい。これにより、複数の映像提示装置１間で、同じタイミングで同一のコンテンツを再生することが可能となる。
第１は、映像提示装置１の位置および姿勢である。コンテンツ再生開始時において、映像提示装置１は、自装置の位置および姿勢の情報を他の映像提示装置１に通知する。同時に、映像提示装置１は、他装置の位置および姿勢の情報を受け取る。このように複数の映像提示装置１のそれぞれが他の映像提示装置１の位置および姿勢の情報を取得することにより、それらの映像提示装置１が同時に同一コンテンツを再生する場合に、再生用映像から切り出す部分映像を、映像提示装置１間で整合させることが可能となる。
第２は、再生用映像を再生する際の、映像提示装置１間での再生タイミングを合わせるための情報である。具体的には、例えば、映像提示装置１は、コンテンツの再生の時間位置の情報を相互に交換する。このような情報交換を、所定の時間間隔ごとに行うようにしてもよい。これにより、複数の映像提示装置１間で、同じタイミングで同一のコンテンツを再生することが可能となる。
【0045】
なお、図２では複数台の映像提示装置１が相互に連携して動作する構成を示したが、映像提示装置１は、他の映像提示装置１と連携する形態ではなく、単独の形態でも動作し得るものである。また、複数台の映像提示装置１のうちの例えば１台がサーバーの機能を兼ね備えるようにして、各々の映像提示装置１の情報を収集したり、収集した情報を各々の映像提示装置１に配信したりする形態としてもよい。
【0046】
図３は、映像提示装置１が提示する映像に関して、周辺映像取得部３が取得した映像を提示するか、再生用映像取得部５が取得した映像を提示するかの、領域ごとの区別を表す概略図である。同図は、映像提示装置１を使用する空間（例えば、部屋内）を平面視した平面図である。
【0047】
同図において、符号１００は、部屋等の領域である。領域１００は、例えば、壁等によって囲われていてもよい。符号１０１は、領域１００内で、映像提示装置１を使用することによって映像を視聴しようとするユーザーである。また、符号１０２および１０３のそれぞれは、ユーザー１０１とは別の人である。人１０２は、ユーザー１０１の比較的近くに存在している。人１０３は、ユーザー１０１から比較的遠い位置に存在している。また、符号１０８は、領域１００内の床上に置かれているテーブルである。また、符号１２１は、領域１００内で、且つ、ユーザー１０１から所定の距離内にある範囲の副領域である。副領域１２１は、破線で示されている。
【0048】
本実施形態では、前述の通り、提示部２４は、所定距離内にある物体が存在する領域等と、距離に関わらず人であると認識された領域に関しては、周辺映像取得部３によって取得された映像を提示する。また、提示部２４は、上記領域（所定距離内にある物体が存在する領域等と、距離に関わらず人であると認識された領域）以外の領域に関しては、再生用映像取得部５によって取得された映像を提示する。つまり、図３においてハッチングで示した領域に関しては、ユーザー１０１が使用する映像提示装置１の提示部２４は、周辺映像取得部３によって取得された映像を提示する。ここで、「ハッチングで示した領域」とは、境界線１３１の内側であって且つ領域１００内である領域と、境界線１３２の内側である領域（なお、その領域はすべて領域１００内である）とである。
【0049】
なお、映像提示装置１は、３次元空間内における距離に基づいて、周辺映像取得部３によって取得された映像と、再生用映像取得部５によって取得された映像の、いずれの映像を表示するかを制御する。また、映像提示装置１は、３次元空間内において撮像された像の認識結果（人を含む領域であるか否か）に応じて、周辺映像取得部３によって取得された映像と、再生用映像取得部５によって取得された映像の、いずれの映像を表示するかを制御する。ここで説明した図３は、３次元空間のうちの高さ方向の次元を省略して、平面図に投射した状態を表している。
【0050】
図４は、提示領域抽出部２２による画像処理の例を示す概略図である。同図（Ａ）は、周辺映像取得部３が撮影する視野角（ＦＯＶ，Field of View）での画像の例を示す。同図（Ｂ）は、同図（Ａ）の画像を基に、提示領域抽出部２２が抽出した結果の視野角での画像の例である。図示するように、周辺映像取得部３が、例えば焦点距離の短いレンズ（例えば、魚眼レンズ、またはそれに近いレンズ）を使用して、非常に広い視野角の画像（映像）を撮影するようにしてよい。提示領域抽出部２２は、そのような広い視野角の画像をから、例えば中心射影により、ディスプレイ装置９（例えば、ヘッドマウントディスプレイ）の視野角に合わせた切り出しを行う。なお、ここでの射影の方式は中心射影には限定されず、例えば平行射影等を用いてもよい。
【0051】
図５は、映像提示装置１による、周辺映像取得部３によって取得された映像と、再生用映像取得部５によって取得された映像との提示方法の例を示す概略図である。同図は、映像提示装置１が、周辺映像取得部３によって取得された映像（便宜的に、「実空間映像」と呼ぶ）を提示する領域と、再生用映像取得部５によって取得された映像（便宜的に、「バーチャル映像」と呼ぶ）を提示する領域と、これらの実空間映像とバーチャル映像とを混合した映像（便宜的に、「混合映像」と呼ぶ）を提示する領域とを示す。
【0052】
同図（Ａ）は、映像提示装置１を使用してコンテンツを視聴するユーザー１０１からの距離と、提示する映像との関係を示す概略図である。この図における横軸は、ユーザー１０１からの距離を表す。ユーザー１０１からの距離ｄ（単位は、メートル（ｍ））に応じて、Ｒ１、Ｒ２、Ｒ３という３つの領域に分かれている。０≦ｄ＜１の範囲は、領域Ｒ１である。領域Ｒ１に関しては、映像提示装置１は、実空間映像（real）を提示する。１≦ｄ＜２の範囲は、領域Ｒ２である。領域Ｒ２に関しては、映像提示装置１は、混合映像（mixed）を提示する。２≦ｄの範囲は、領域Ｒ３である。領域Ｒ３に関しては、映像提示装置１は、バーチャル映像（virtual）を提示する。
【0053】
同図（Ｂ）は、同図（Ａ）に示す表示方法を実現するためのマスクデータの例を示すグラフである。このグラフの横軸は、映像提示装置１のユーザーからの距離である。またこのグラフの縦軸は、マスクデータの値ｍである。ｍ＝０．０は、実空間映像のみを表示する（つまり、バーチャル映像の比率が０．０である）ことに対応する。ｍ＝１．０は、バーチャル映像のみを表示する（つまり、バーチャル映像の比率が１．０である）ことに対応する。０．０＜ｍ＜１．０の範囲にあるｍは、混合映像の表示におけるバーチャル映像の比率を表す。同図（Ｂ）に示す例では、０≦ｄ＜１の場合（領域Ｒ１）に、ｍ＝０．０である。また、１≦ｄ＜２の場合（領域Ｒ２）に、０．０＜ｍ＜１．０で、ｍは可変である。一例として、ｍ＝ｄ－１．０である。また、２≦ｄの場合（領域Ｒ３）に、ｍ＝１．０である。
【0054】
つまり、マスク生成部２３は、距離情報取得部４から渡される距離画像に基づき、距離ｄに応じたマスク値（バーチャル映像の割合）ｍの値を画素値とするマスク画像を生成する。また、提示部２４は、マスク生成部２３から渡されるマスク画像の各画素の値（ｍの値）に応じて、実空間映像、バーチャル映像、または混合映像（混合比率はｍに依る）を適宜提示する。
【0055】
ここで、図５では、認識部２１による認識処理の結果を省略している。実際には、認識部２１の認識処理の結果に基づき、人が存在している領域では、映像提示装置１からの距離には依らず、実空間映像を提示する。つまり、人が存在している領域に関して、マスク生成部２３が生成するマスク画像では、ｍ＝０．０である。
【0056】
なお、図５では、混合映像を表示する領域において、例として、ｍ＝ｄ－１．０とした。しかしながら、ｍとｄとの関係はこの数式で表す関係に限定されない。ｍとｄとを、その他の対応関係としてもよい。なお、ｍの値を、ｄの値に対して広義単調増加としてよい。
【0057】
また、図５では、混合映像を表示する領域として領域Ｒ２が設けられている。しかしながら、混合映像を表示する領域が必ずしも設けられなくてもよい。一例として、ｄ≦１．５の範囲においては領域Ｒ１（実空間映像を表示する領域であり、ｍ＝０．０である）として、１．５＜ｄの範囲においては領域Ｒ３（バーチャル映像を表示する領域であり、ｍ＝１．０である）としてもよい。
【0058】
図６は、本実施形態の映像提示装置１が提示する映像の構成例を示す概略図である。図示するように、映像提示装置１の提示部２４は、（１）の再生用映像（バーチャル映像映像）と、（２）の周辺映像（実空間映像）とを合成した結果である提示映像を提示する。同図において、符号３０１は、再生用映像である。この再生用映像３０１は、元の全天周映像の一部を切り出して得られた映像である。また、符号３０２は、周辺映像である。また、符号３０３は、映像提示装置１からの距離と、周辺映像の認識結果とに基づいて生成されたマスク映像である。周辺映像３０２とマスク映像３０３とを合成して、マスクされた周辺映像３０４が得られる。マスク映像３０３の白の部分は、周辺映像３０２のために割り当てた領域である。マスク映像３０３のハッチング部分は、再生用映像３０１のために割り当てた領域である。そして、再生用映像３０１と、マスクされた周辺映像３０４とを合成することにより、提示映像３０５が得られる。なお、再生用映像３０１のサイズとマスクされた周辺映像３０４のサイズとは異なり、再生用映像３０１のサイズのほうが大きい。マスクされた周辺映像３０４は、再生用映像３０１の所定の一部領域に合成される。提示部２４は、このように、ビデオシースルー方式で合成した提示映像を、ディスプレイ装置９に表示する。提示部２４は、このビデオシースルー方式においては、全天周映像（再生用映像）の中に、映像提示装置１のユーザー自身の身体の映像と、当該ユーザー自身の近傍（所定距離内）の周辺映像と、同じ空間内（部屋内）に存在している人（例えば、同一のコンテンツを同時に視聴、体験している人）の身体の映像とを、重畳する。こういったビデオシースルー方式の映像を表示するのに向いているのは、例えば、ユーザーの頭部に装着するタイプのヘッドマウントディスプレイである。
【0059】
図７は、映像提示装置１が提示する映像の１フレーム分についての処理の手順を示すフローチャートである。なお、具体的な処理の手順としては、同図に提示する処理と等価な内容の他の手順を用いてもよい。以下、このフローチャートに沿って手順を説明する。
【0060】
ステップＳ１１において、周辺映像取得部３は、１フレーム分の周辺映像を取得し、その画像を処理部２に転送する。
ステップＳ１２において、距離情報取得部４は、映像の１フレーム分に相当する距離画像（デプスマップ）を取得し、その距離画像を処理部２に転送する。
ステップＳ１２において、距離情報取得部４は、映像の１フレーム分に相当する距離画像（デプスマップ）を取得し、その距離画像を処理部２に転送する。
【0061】
ステップＳ１３において、認識部２１は、周辺映像取得部３から渡された周辺映像の１フレーム分に基づいて、認識処理を行い、人が映っている領域を特定する。認識部２１は、周辺映像における人の領域の位置情報を出力する。認識部２１は、認識処理の結果をマスク生成部２３に渡す。
【0062】
ステップＳ１４において、提示領域抽出部２２は、ステップＳ１１において周辺映像取得部３から渡された周辺映像の１フレーム分の画像を、中心射影画像に変換する。
ステップＳ１５において、提示領域抽出部２２は、ステップＳ１４で変換した結果である中心射影画像から、提示領域を抽出する。提示領域とは、中心射影画像のうち、ディスプレイ装置９に表示する部分の領域である。提示領域抽出部２２は、抽出した提示領域の画像を、提示部２４に渡す。また、提示領域抽出部２２は、抽出した提示領域の位置に関する情報を、マスク生成部２３に渡す。
ステップＳ１５において、提示領域抽出部２２は、ステップＳ１４で変換した結果である中心射影画像から、提示領域を抽出する。提示領域とは、中心射影画像のうち、ディスプレイ装置９に表示する部分の領域である。提示領域抽出部２２は、抽出した提示領域の画像を、提示部２４に渡す。また、提示領域抽出部２２は、抽出した提示領域の位置に関する情報を、マスク生成部２３に渡す。
【0063】
ステップＳ１６において、マスク生成部２３は、距離情報取得部４から受け取った距離画像と、認識部２１から受け取った人の映っている領域の位置情報とに基づいて、映像の提示のためのマスクを生成する。マスクは、例えば、画素ごとの、バーチャル映像の比率の値（ｍ；０．０≦ｍ≦．０）のマトリックスであってよい。また、マスクのデータを別の形態で表すようにしてもよい。マスクは、言い換えれば、バーチャル映像と実空間映像とを合成する際の透過度の値のマトリックスである。マスク生成部２３は、生成したマスクを、提示部２４に渡す。
【0064】
ステップＳ１７において、提示部２４は、マスク生成部２３から渡されたマスクのデータに基づいて、周辺映像取得部３が取得した画像（実空間映像）と、再生用映像取得部５が取得した画像（バーチャル映像）とを合成する。このとき、提示部２４は、再生用映像取得部５から渡される全周映像のフレームのうち、位置・姿勢取得部６から渡される当該映像提示装置１自身の位置および姿勢に基づく所定部分のみを、提示のために切り出す。そして、提示部２４は、画素ごとに、上記の混合比率（ｍ）による混合を行う。
【0065】
ステップＳ１８において、提示部２４は、ステップＳ１７の処理で合成された画像をディスプレイ装置９に表示させる。
【0066】
以上、このフローチャートに示した一連の処理が、映像の１フレーム分の処理である。映像提示装置は、毎フレーム、この一連の処理を行う。このようにして、提示部２４は、再生用映像取得部５が取得した再生用映像と、周辺映像取得部が取得した周辺映像とを合成して、動画として提示する。
【0067】
このフローチャートに示した処理のバリエーションの例は、次の通りである。
例えば、ステップＳ１３における認識処理を、ステップＳ１４で変換した結果である中心射影画像に基づいて行うようにしてもよい。
例えば、ステップＳ１４における中心射影画像への変換処理を行わないようにしてもよい。
例えば、ステップＳ１６のマスク生成の処理において、距離に基づくマスクと、認識結果に基づくマスクとを、別々に作成してから後で合成してもよいし、それらの両マスクを最初から１枚のマスクのデータとして作成してもよい。
例えば、ステップＳ１６のマスク生成の処理において、混合映像を表示する領域（０．０＜ｍ＜１．０である領域）がないようにしてもよい。その場合、距離や画像認識結果に応じて、ｍ＝０．０の領域とｍ＝１．０の領域との境界においてｍの値が不連続的に変化する。
また、例えば、論理的な矛盾が生じない範囲内で、フローチャートに示した各処理の順序を変えてもよい。
例えば、ステップＳ１３における認識処理を、ステップＳ１４で変換した結果である中心射影画像に基づいて行うようにしてもよい。
例えば、ステップＳ１４における中心射影画像への変換処理を行わないようにしてもよい。
例えば、ステップＳ１６のマスク生成の処理において、距離に基づくマスクと、認識結果に基づくマスクとを、別々に作成してから後で合成してもよいし、それらの両マスクを最初から１枚のマスクのデータとして作成してもよい。
例えば、ステップＳ１６のマスク生成の処理において、混合映像を表示する領域（０．０＜ｍ＜１．０である領域）がないようにしてもよい。その場合、距離や画像認識結果に応じて、ｍ＝０．０の領域とｍ＝１．０の領域との境界においてｍの値が不連続的に変化する。
また、例えば、論理的な矛盾が生じない範囲内で、フローチャートに示した各処理の順序を変えてもよい。
【0068】
本実施形態による映像提示装置１の構成および処理をまとめると、次の通りである。
【0069】
映像提示装置１は、少なくとも、再生用映像取得部５と、周辺映像取得部３と、認識部２１と、距離情報取得部４と、マスク生成部２３と、提示部２４とを備える。再生用映像取得部５は、再生用の映像である再生用映像を取得する。周辺映像取得部３は、自装置の周辺の映像である周辺映像を取得する。認識部２１は、前記周辺映像に含まれる所定の被写体（例えば、人）を認識する。距離情報取得部４は、前記周辺映像に対応する距離情報を取得する。マスク生成部２３は、マスク情報を生成する。マスク情報は、前記距離情報に基づいて前記再生用映像を提示すべき領域であるか否かを表す。また、マスク情報は、認識部２１が認識した前記被写体が存在する領域であるか否かを表す。提示部２４は、マスク生成部２３が生成した前記マスク情報に基づいて、少なくとも前記再生用映像を出力する。なお、マスク情報は、例えば、画面上の位置に対応して、再生用映像を提示すべき領域であるか、周辺映像（あるいは、周辺の状況）を提示すべき領域であるかを表す。また、マスク情報が、再生用映像と周辺映像との混合比率の情報（数値）を持っていてもよい。典型的な場合において、比較的短距離の領域と、所定の被写体が認識されている領域とにおいて、周辺映像を提示することとする。また、比較的長距離の領域において、再生用映像を提示することとする。なお、それらの中間の距離の領域において、両映像を混合して提示するようにしてもよい。混合比率は、例えば、距離に応じたリニアな値としてもよい。
【0070】
映像提示装置１が、同期部７を備えてもよい。同期部７は、提示部２４が出力する再生用映像の時間方向の再生位置を、他の映像提示装置との間で同期させる。自映像提示装置と、他映像提示装置とは、通信により、随時情報を交換できる。
【0071】
提示部２４は、前記マスク情報に基づいて、画面内の領域ごとに、前記再生用映像または前記周辺映像の少なくともいずれかを表示するように出力する。提示部２４は、上記の混合比率に基づいて、両映像を混合して表示するように出力してもよい。
【0072】
映像提示装置１が、提示領域抽出部２２を備えてもよい。提示領域抽出部２２は、周辺映像取得部３が取得した前記周辺映像のうち、一部（例えば、中心の部分）のみを切り出す機能を有する。この場合も、認識部２１は、提示領域抽出部２２が切り出す前の周辺映像を基に前記の被写体の認識処理を行ってもよい。一方で、提示部２４は、提示領域抽出部２２によって切り出された部分の周辺映像を表示するように出力する。
【0073】
マスク生成部２３は、前記再生用映像と前記周辺映像とを混合して提示する領域における混合比率の情報を含んだ前記マスク情報を生成してよい。提示部２４は、前記再生用映像と前記周辺映像とを混合して提示する領域においては、マスク情報の混合比率の値に基づいて、前記再生用映像と前記周辺映像とが混合するように出力する。
【0074】
当該映像提示装置１は、一例として、哺乳類生物（例えば、人等）の頭部に装着するタイプの装置である。 映像提示装置１は、当該映像提示装置１の位置および姿勢を検知する位置および姿勢検知部（位置・姿勢取得部６）をさらに備えてよい。提示部２４は、全周映像である再生用映像のうちの、位置・姿勢取得部６が検知した位置および姿勢に応じた部分映像を出力するようにしてよい。
【0075】
以上、説明したように、本実施形態によれば、バーチャルリアリティの映像コンテンツ（例えば、実写３６０度映像のバーチャルリアリティ等）を提示する際、視聴者自身の身体や、視聴者の近傍の物体や、他の人（例えば、同一のコンテンツを視聴する人）の身体を、自然な形で一緒に提示する。これにより、コンテンツへの没入感や、他の人との状況の共有を、より一層楽しむことができるようになる。
【0076】
つまり、映像提示装置１を使用するユーザーにとっては、ユーザー自身の身体がそのままの状態で画面に表示されることで、バーチャルリアリティ空間内でより現実感のある体験をすることができる。また、ユーザーは、同じ空間にいる他の人と一緒にバーチャルリアリティ体験を共有することができる。また、ステレオで表示する場合、現実の距離感を保持したままコンテンツを提示できる。また、ヘッドマウント型の装置構成として場合に、ユーザーは、映像提示装置１を身に着けてコンテンツを視聴することができ、その自由な行動が妨げられない。例えば、ユーザー自身の身体を計測するための外部センサー等の都合でユーザーの行動範囲が制約されない。また、ユーザーは、自己から比較的近距離にある現実の物を、実際に触った感覚を得ながら、操作することができる。これにより、例えばバーチャルリアリティ映像を見ながら食事をするなどのような、「ながら見」も可能となる。
【0077】
［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。第２実施形態による映像提示装置は、光学シースルー方式を用いる。光学シースルー方式については、後で説明する。
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。第２実施形態による映像提示装置は、光学シースルー方式を用いる。光学シースルー方式については、後で説明する。
【0078】
図８は、本実施形態による映像提示装置の概略機能構成を示すブロック図である。この映像提示装置５１は、前実施形態で説明した映像提示装置１と一部類似の構成を有する。映像提示装置５１は、映像提示装置１における処理部２に代えて、処理部５２を備える。また、映像提示装置５１は、映像提示装置１におけるディスプレイ装置９に代えて、ディスプレイ装置５９を備える。本実施形態の処理部５２の特徴は、第１実施形態における提示部２４に代えて提示部７４を有する点である。また、処理部５２は、第１実施形態における提示領域抽出部２２に代えて提示領域抽出部２２を有する。
【0079】
ディスプレイ装置５９は、光学シースルー方式による提示に適したタイプの装置である。つまり、ディスプレイ装置５９は、全画面のうちの一部の領域においては再生用映像取得部５が取得した再生用映像を表示する。また、ディスプレイ装置５９は、上記の再生用映像を表示しない領域においては、映像提示装置５１を使用するユーザーが、当該ユーザー自身の周辺を、光学的に見ることができるようにする。ディスプレイ装置５９は、一形態として、表示画面が持つ画素の各々について、ＲＧＢ信号に基づく再生用映像の一部（当該画素部分）を表示するか、画素を透過状態としてユーザーの目で周辺の状況を視認できるようにするかを制御する機能を有する。
【0080】
提示領域抽出部７２は、周辺映像取得部３が取得した映像の中の提示すべき領域を抽出する。提示領域抽出部７２は、周辺映像取得部３が取得した広い視野角の映像のうち、例えば中心射影により、ディスプレイ装置５９の視野角に合わせた切り出しを行う。本実施形態では、提示領域抽出部７２は、切り出した映像そのものを提示部７４に渡すことはしない。前述の通り、本実施形態では光学シースルー方式を用いるため、周辺映像取得部３が取得した映像自体をディスプレイ５９に表示させる必要がないためである。ただし、提示領域抽出部７２は、中心射影により映像を切り出した際の、周辺映像取得部３が取得した映像と、ディスプレイ装置５９の視野角に合わせた映像との、位置の対応関係を、マスク生成部２３に伝える。
【0081】
提示部７４は、マスク生成部２３が生成したマスクに基づき、再生用映像取得部５が取得した映像を提示する。本実施形態では、提示部７４は、周辺映像をディスプレイ装置５９に表示させる代わりに、再生用映像の透過度（ｍ）を制御して、視聴者がマスクに表されている透過度で実空間を見ることができるようにする。
【0082】
つまり、提示部７４は、再生用映像の透過度を可変とする機能を有する。提示部７４は、マスク情報に応じた透過度で再生用映像を出力する。周辺映像に相当する状況を提示すべき箇所においては、提示部７４は、再生用映像を透過とする。これにより、視聴者は、実空間を視認することが可能となる。また、透過度を、０以上且つ１以下の実数としてよい。その中間の領域（透過度が０より大きく、１より小さい領域）において、提示部７４は、マスク情報の数値に応じた透過度で再生用映像を出力する。つまり、提示部７４は、再生用映像と実空間とが所定の混合比率で混合した状態で視聴者に視認されるよう、映像出力を制御する。このような機能を有することにより、提示部７４は、光学シースルーを実現する。言い換えれば、提示部７４は、提示する全天周映像のうち、自分の身体および同じ空間内で一緒に体験している人の身体と、近傍部分とをマスクして、再生用映像を提示する。
【0083】
本実施形態による映像提示装置５１の処理の手順は、基本的には、前実施形態での処理の手順と同様である。ただし、本実施形態では、周辺映像取得部３が取得した周辺映像をディスプレイ装置に表示する代わりに、映像提示装置５１は、映像内の当該領域において、視聴者が、実空間を見ることができるように映像の提示を制御する。
【0084】
図９は、本実施形態の映像提示装置５１が提示する映像の構成例を示す概略図である。図示するように、映像提示装置５１の提示部７４は、（１）の実空間と、（２）の再生用映像（マスクされる部分あり）との組み合わせである（３）の提示映像（光学シースルー方式）を、ユーザーに対して提示する。同図において、符号３１１は、ディスプレイ装置５９を透過してユーザーの目で見える実空間である。また、符号３１２は、再生用映像である。この再生用映像３１２は、元の全天周映像の一部を切り出して得られた映像である。また、符号３１３は、映像提示装置５１からの距離と、周辺映像の認識結果とに基づいて生成されたマスク映像である。マスク映像３１３の白の部分は、ユーザーに実空間（符号３１１）を見せるように割り当てた領域である。マスク映像３１３のハッチング部分は、再生用映像３１２のために割り当てた領域である。提示部７４は、再生用映像３１２のうちのマスク部分（マスク映像３１３において白で示される領域）をマスクするよう制御する。即ち、ディスプレイ装置５９において、再生用映像３１２のうちのマスク部分には、何も表示されず（符号３１４の状態）、当該部分が透過状態となる。これにより、マスク部分については、ユーザーは透過状態となっているディスプレイ装置９の画面を通して、実空間（符号３１１）を視認する。つまり、ユーザーは、提示映像（符号３１５）として、マスクされた再生用映像３１４とマスク部分の実空間とが合成された状態の映像を視認する。なお、再生用映像３１２のサイズとマスク映像３１３のサイズとは異なり、再生用映像３１２のサイズのほうが大きい。マスク映像３１３は、再生用映像３１１の所定の一部領域に割り当てられる。提示部７４は、このように、光学シースルー方式で合成した提示映像（符号３１５）を、ディスプレイ装置５９に表示する。提示部７４は、この光学シースルー方式においては、得られる効果として、全天周映像（再生用映像）から切り出された映像の中に、映像提示装置１のユーザー自身の身体（ディスプレイ装置５９を透過して視認され得る実空間）と、当該ユーザー自身の近傍（所定距離内）の実空間（ディスプレイ装置５９を透過して視認され得る実空間）と、同じ空間内（部屋内）に存在している人（例えば、同一のコンテンツを同時に視聴、体験している人）の身体（ディスプレイ装置５９を透過して視認され得る実空間）とが、透過して視認可能な状態での提示を行う。こういった光学シースルー方式の映像を表示するのに向いているのは、例えば、ユーザーの頭部に装着するタイプのヘッドマウントディスプレイである。特に、ディスプレイ画面上の各画素を、透過状態にするか、再生用画像内の画素を表示している状態にするかを制御することのできるヘッドマウントディスプレイである。
【0085】
本実施形態に特有の構成をまとめると、次の通りである。
【0086】
提示部７４は、再生用映像の透過度を可変とする機能を有する。提示部７４は、マスク情報に応じた透過度で再生用映像を出力する。周辺映像に相当する状況を提示すべき箇所においては、提示部７４は、再生用映像を透過とする。これにより、視聴者は、実空間を視認することが可能となる。また、透過度を、０以上且つ１以下の実数としてよい。その中間の領域（透過度が０より大きく、１より小さい領域）において、提示部７４は、マスク情報の数値に応じた透過度で前記再生用映像を出力する。つまり、提示部７４は、再生用映像と実空間とが所定の混合比率で混合した状態で視聴者に視認されるよう、映像出力を制御する。
【0087】
以上、説明したように、本実施形態によれば、光学シースルー方式により、第１実施形態と同様の、あるいは第１実施形態と類似の、コンテンツ提示方法を実現することが可能となる。
【0088】
なお、上述した各実施形態における映像提示装置が有する機能の少なくとも一部をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0089】
なお、上記の実施形態の変形例を実施するようにしてもよい。
変形例の一例として、同期部７を持たない映像提示装置を実施してもよい。この場合、複数の映像提示装置間で情報を交換して、同一のコンテンツを同時に提示するための同期を図ることはできない。
変形例の別の一例として、提示領域抽出部７２が提示領域の抽出を行わないようにしてもよい。例えば、周辺映像取得部３が取得する周辺映像の視野角と、ディスプレイ装置に周辺映像を表示させるときの視野角とが、同一である場合、または近い場合には、両者の視野角をあわせるための提示領域抽出部７２の処理を省略することができる。
変形例の一例として、同期部７を持たない映像提示装置を実施してもよい。この場合、複数の映像提示装置間で情報を交換して、同一のコンテンツを同時に提示するための同期を図ることはできない。
変形例の別の一例として、提示領域抽出部７２が提示領域の抽出を行わないようにしてもよい。例えば、周辺映像取得部３が取得する周辺映像の視野角と、ディスプレイ装置に周辺映像を表示させるときの視野角とが、同一である場合、または近い場合には、両者の視野角をあわせるための提示領域抽出部７２の処理を省略することができる。
【0090】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0091】
本発明は、例えば、映像コンテンツを提示するための装置や、映像コンテンツを提示するサービス等に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
【符号の説明】
【0092】
１ 映像提示装置
２ 処理部
３ 周辺映像取得部
４ 距離情報取得部
５ 再生用映像取得部
６ 位置・姿勢取得部
７ 同期部
９ ディスプレイ装置
２１ 認識部
２２ 提示領域抽出部
２３ マスク生成部
２４ 提示部
３１ 無線ルーター
５１ 映像提示装置
５２ 処理部
５９ ディスプレイ装置
７２ 提示領域抽出部
７４ 提示部
２ 処理部
３ 周辺映像取得部
４ 距離情報取得部
５ 再生用映像取得部
６ 位置・姿勢取得部
７ 同期部
９ ディスプレイ装置
２１ 認識部
２２ 提示領域抽出部
２３ マスク生成部
２４ 提示部
３１ 無線ルーター
５１ 映像提示装置
５２ 処理部
５９ ディスプレイ装置
７２ 提示領域抽出部
７４ 提示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】