ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-03
(45)【発行日】2024-12-11
(54)【発明の名称】空間像表示装置、空間像表示方法、及びプログラム
(51)【国際特許分類】
H04N 13/346 20180101AFI20241204BHJP
H04N 13/122 20180101ALI20241204BHJP
H04N 13/395 20180101ALI20241204BHJP
【ＦＩ】
H04N13/346
H04N13/122
H04N13/395
【請求項の数】
13
(21)【出願番号】P 2023531331
(86)(22)【出願日】2021-07-02
(86)【国際出願番号】 JP2021025200
(87)【国際公開番号】W WO2023276156
(87)【国際公開日】2023-01-05
【審査請求日】2023-10-30
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100164471
【弁理士】
【氏名又は名称】岡野 大和
(74)【代理人】
【識別番号】100176728
【弁理士】
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】鈴木 健也
(72)【発明者】
【氏名】並河 大地
(72)【発明者】
【氏名】長谷川 馨亮
(72)【発明者】
【氏名】武藤 誠
(72)【発明者】
【氏名】紺谷 精一
(72)【発明者】
【氏名】中村 泰治
(72)【発明者】
【氏名】平地 信博
【審査官】中村 直行
(56)【参考文献】
【文献】特開２００９－２６７５５７（ＪＰ，Ａ）
【文献】特開２０００－２６１８３２（ＪＰ，Ａ）
【文献】特開２００４－１６３６４４（ＪＰ，Ａ）
【文献】特開２０００－３３３２１１（ＪＰ，Ａ）
【文献】特開２００４－２４００９０（ＪＰ，Ａ）
【文献】特開２００３－０５８９１２（ＪＰ，Ａ）
【文献】特開２０１８－０７３１７２（ＪＰ，Ａ）
【文献】特開２０１６－０１８５６０（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１２－０１３１４０９（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００ － １７／０６
Ｇ０６Ｔ １９／００
Ｇ０９Ｇ ３／００ － ５／４２
Ｇ０２Ｂ ３０／００
Ｇ０３Ｂ ３５／００
(57)【特許請求の範囲】
【請求項1】
映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子と、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記複数の表示部の中から、前記虚像が表示される虚像面に対応する、実空間上の面である基準面から前記オブジェクトまでの距離が最も短い基準面に対応する虚像面に虚像を表示させる表示部を、前記オブジェクトの像を含むオブジェクト映像を表示させる表示部に決定するとともに、前記オブジェクト映像が表示される前記表示部に対応する実空間上の面である基準面から、前記オブジェクトまでの距離に基づいて、前記オブジェクト映像に付加する視覚効果を決定する決定部と、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御する表示制御部と、
を備える空間像表示装置。
【請求項2】
映像を表示する、複数の表示部と、
前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子と、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定する決定部と、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御する表示制御部と、
を備え、
前記位置は、実空間における、所定の水平面から前記オブジェクトまでの高さで示され、
前記決定部は、前記高さに基づいて、前記視覚効果を決定する空間像表示装置。
【請求項3】
映像を表示する、複数の表示部と、
前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子と、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定する決定部と、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御する表示制御部と、
を備え、
前記決定部は、前記位置の変化率に基づいて、前記視覚効果を決定する空間像表示装置。
【請求項4】
前記オブジェクト映像を示すオブジェクト映像情報、及び前記オブジェクトの位置を示すオブジェクト位置情報を受信する通信部をさらに備え、前記決定部は、前記オブジェクト位置情報が示す前記位置に基づいて、前記オブジェクト映像情報が示す前記オブジェクト映像に付加する前記視覚効果を決定する、請求項１から３のいずれか一項に記載の空間像表示装置。
【請求項5】
前記オブジェクトの位置を推定するオブジェクト位置推定部をさらに備え、前記決定部は、前記オブジェクト位置推定部によって推定された前記位置に基づいて、前記視覚効果を決定する、請求項１から４のいずれか一項に記載の空間像表示装置。
【請求項6】
前記決定部は、前記位置が所定範囲内であるかに基づいて、前記視覚効果を決定する、請求項１から５のいずれか一項に記載の空間像表示装置。
【請求項7】
前記位置は、前記虚像が表示される虚像面に対応する実空間上の面である基準面から、前記オブジェクトまでの所定方向の距離によって示され、前記決定部は、前記距離に基づいて、前記複数の表示部に表示させる前記オブジェクト映像の輝度をそれぞれ変更するような前記視覚効果を決定する、請求項５に記載の空間像表示装置。
【請求項8】
前記決定部は、前記虚像が表示される空間を画定する部材に照射される照射光を決定し、前記表示制御部は、前記決定部によって決定された前記照射光を照射するよう照射装置を制御する、請求項１から７のいずれか一項に記載の空間像表示装置。
【請求項9】
前記表示制御部は、マルチデバイス対応である、請求項１から８のいずれか一項に記載の空間像表示装置。
【請求項10】
映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子とを備える空間像表示装置の空間像表示方法であって、前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記複数の表示部の中から、前記虚像が表示される虚像面に対応する、実空間上の面である基準面から前記オブジェクトまでの距離が最も短い基準面に対応する虚像面に虚像を表示させる表示部を、前記オブジェクトの像を含むオブジェクト映像を表示させる表示部に決定するとともに、前記オブジェクト映像が表示される前記表示部に対応する実空間上の面である基準面から、前記オブジェクトまでの距離に基づいて、前記オブジェクト映像に付加する視覚効果を決定するステップと、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御するステップと、
を含む空間像表示方法。
【請求項11】
映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子とを備える空間像表示装置の空間像表示方法であって、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定するステップと、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御するステップと、
を含み、
前記位置は、実空間における、所定の水平面から前記オブジェクトまでの高さで示され、
前記視覚効果を決定するステップは、前記高さに基づいて、前記視覚効果を決定する空間像表示方法。
【請求項12】
映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子とを備える空間像表示装置の空間像表示方法であって、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定するステップと、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御するステップと、
を含み、
前記視覚効果を決定するステップは、前記位置の変化率に基づいて、前記視覚効果を決定する空間像表示方法。
【請求項13】
コンピュータを、請求項１から９のいずれか一項に記載の決定部及び表示制御部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、空間像表示装置、空間像表示方法、及びプログラムに関する。
【背景技術】
【0002】
表示装置に表示された映像から出射された光である映像光を反射させ、反射した映像光を観察者の眼に到達させることによって、空間中に虚像を表示する技術が知られている。
【0003】
また、観察者から同じ方向の異なる距離に複数の虚像を表示することによって、該複数の虚像により構成される空間像を表示することが知られている（特許文献１）。これにより、観察者はより高い立体感をもって空間像を観察することができる。また、複数の虚像の間の距離を短く設計することによって、さらに立体感を高くすることもできる。
【0004】
また、観察者から同じ方向の異なる距離に、輝度の異なる複数の映像を表示することによって立体像を提供することができる（特許文献２）。これにより、観察者には、映像が存在しない位置においても、立体像が構成されているかのように見え、この結果、高い立体感をもって映像を観察することができる。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第２０１７／０３８０９１号
【文献】特開２００９－２３７３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に記載の技術において、複数の虚像は、それぞれ２次元の虚像面上に形成された虚像である。そのため、複数の虚像面が観察者から見て同じ方向の異なる距離に位置する構成において、観察者の観察方向に対応する方向にオブジェクト（例えば、スポーツの試合で用いられているボール）が移動すると、該オブジェクトの虚像は、一の時点で一の虚像面に表示され、他の時点で他の虚像面に表示されることがある。このような場合、観察者には、オブジェクトの虚像が一の虚像面から他の虚像面に瞬間的に移動したように観察され、実空間でのオブジェクトの移動と比べて不自然な移動に見える。そのため、観察者は、十分な臨場感を得ることができないことがある。
【0007】
また、移動するオブジェクトを示す映像について、特許文献２に記載の技術を適用して複数の虚像面それぞれに該オブジェクトの虚像を表示させると、観察者の位置によっては、複数の虚像の間に視差が発生して、十分な臨場感を得ることができないことがある。
【0008】
かかる事情に鑑みてなされた本開示の目的は、複数の虚像面にオブジェクトの虚像を表示させるにあたって観察者に十分な臨場感を与えることができる空間像表示装置、空間像表示方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本開示に係る空間像表示装置は、映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子と、前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定する決定部と、前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御する表示制御部と、を備える。
【0010】
また、上記課題を解決するため、本開示に係る空間像表示方法は、映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子とを備える空間像表示装置の空間像表示方法であって、前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定するステップと、前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御するステップと、を含む。
【0011】
また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した空間像表示装置として機能させる。
【発明の効果】
【0012】
本開示に係る空間像表示装置、空間像表示方法、及びプログラムによれば、複数の虚像面にオブジェクトの虚像を表示させるにあたって観察者に十分な臨場感を与えることができる。
【図面の簡単な説明】
【0013】
【図1】第１の実施形態に係る空間像表示装置の概略図である。
【図4】観察者から見た虚像を示す図である。
【図6A】実空間におけるオブジェクトの位置の一例を示す図である。
【図7A】実空間におけるオブジェクトの位置の他の例を示す図である。
【図8A】実空間におけるオブジェクトの位置のさらなる他の例を示す図である。
【図10A】視覚効果の第１の変形例を示す図である。
【図11A】視覚効果の第２の変形例を示す図である。
【図12A】視覚効果の第３の変形例を示す図である。
【図13】第２の実施形態に係る空間像表示装置の概略図である。
【図15】第３の実施形態に係る空間像表示装置の概略図である。
【図17】空間像表示装置のハードウェアブロック図である。
【発明を実施するための形態】
【0014】
【0015】
図１に示すように、第１の実施形態に係る空間像表示装置１は、虚像表示部２と、視覚効果決定部３とを備える。
【0016】
＜虚像表示部の構成＞
図２に示すように、虚像表示部２は、複数の表示部２１と、複数の光学素子２２とを備える。表示部２１は、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成される。有機ＥＬ、液晶パネル等は、タブレット、ＶＲゴーグル等のデバイスに取り付けられたものであってよい。光学素子２２は、入射する光の一部を透過させ、該光の残りの一部を反射させる、例えば、ハーフミラーによって構成される。図２に示す例では、虚像表示部２は、２つの複数の表示部２１１及び２１２と、２つの光学素子２２１及び２２２とを備えるが、これに限られず、３つ以上の表示部２１及び３つ以上の光学素子２２を備えてもよい。
図２に示すように、虚像表示部２は、複数の表示部２１と、複数の光学素子２２とを備える。表示部２１は、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成される。有機ＥＬ、液晶パネル等は、タブレット、ＶＲゴーグル等のデバイスに取り付けられたものであってよい。光学素子２２は、入射する光の一部を透過させ、該光の残りの一部を反射させる、例えば、ハーフミラーによって構成される。図２に示す例では、虚像表示部２は、２つの複数の表示部２１１及び２１２と、２つの光学素子２２１及び２２２とを備えるが、これに限られず、３つ以上の表示部２１及び３つ以上の光学素子２２を備えてもよい。
【0017】
表示部２１は、映像を表示する。具体的には、表示部２１は、視覚効果決定部３の制御に基づいて、オブジェクト映像に基づく映像を表示する。オブジェクト映像は、カメラ等の撮像装置によって生成された映像の一部であって、オブジェクトＯＢの像を含む映像である。オブジェクトＯＢは、任意の被写体であるが、例えば、映像に含まれる、観察者によって注目され得る被写体とすることができる。撮像装置がテニスの試合を撮像することによって生成された映像においては、オブジェクトＯＢは、例えば、第１の選手ＰＬ１、該第１の選手ＰＬ１の対戦相手である第２の選手ＰＬ２、並びに第１の選手ＰＬ１及び第２の選手ＰＬ２が試合中に用いているボールＢである。また、本例において、撮像装置は、該撮像装置の撮像面に対して、第１の選手ＰＬ１が手前側に、第２の選手ＰＬ２が奥側に位置するように配置されている。
【0018】
オブジェクト映像に基づく映像は、オブジェクト映像に、視覚効果決定部３によって決定された視覚効果が付加された映像を含む。オブジェクト映像に基づく映像は、オブジェクト映像に、視覚効果決定部３によって決定された視覚効果が付加されていない映像、すなわちオブジェクト映像そのものを含んでもよい。すなわち、表示部２１は、オブジェクト映像に、視覚効果決定部３によって決定された視覚効果が付加された映像を表示する。また、表示部２１は、オブジェクト映像に、視覚効果が付加されていない映像を表示してもよい。なお、オブジェクト映像に視覚効果が付加された映像とは、オブジェクト映像に加工が施された映像である。該映像は、追って詳細に説明するように、視覚効果の種類に応じてオブジェクト映像に加工が施されることによって生成される。
【0019】
上述したような、撮像装置がテニスの試合を撮像した映像を生成する例では、図３に示すように、表示部２１１は、オブジェクトＯＢの１つである第１の選手ＰＬ１の像を含むオブジェクト映像ＩＭ１を表示する。表示部２１２は、オブジェクトＯＢの１つである第２の選手ＰＬ２の像を含むオブジェクト映像ＩＭ２を表示する。さらに、表示部２１２は、視覚効果決定部３の制御に基づいて、オブジェクトＯＢの１つであるボールＢの映像含むオブジェクト映像ＩＭ３を表示することがある。このとき表示部２１１は、オブジェクト映像ＩＭ３を表示しなくてもよい。また、表示部２１１は、オブジェクト映像ＩＭ３を表示することがある。このとき表示部２１２は、オブジェクト映像ＩＭ３を表示しなくてもよい。
【0020】
光学素子２２１及び２２２は、複数の表示部２１１及び２１２に表示された映像から出射された映像光をそれぞれ反射させる。光学素子２２１及び２２２は、反射した映像光が観察者の眼に到達することによって、観察者から同じ方向の異なる距離に、映像の虚像ＶＩが表示されるように配置されている。図２及び図３に示す例では、観察者から、一の虚像面ＶＦである虚像面ＶＦ１までの距離と、観察者から、他の虚像面ＶＦである虚像面ＶＦ２までの距離とは互いに異なる。さらに、観察者から虚像面ＶＦ１への方向と、観察者から虚像面ＶＦ２への方向とは同じであってもよく、このような構成では、観察者にとって、虚像面ＶＦ１は虚像面ＶＦ２より手前に位置する。虚像面ＶＦ１の位置は、表示部２１１及び光学素子２２１の位置に基づいて、公知の手法により算出することができ、虚像面ＶＦ１が所望の位置に配置されるように表示部２１１及び光学素子２２１が配置される。例えば、虚像面ＶＦ１は、光学素子２２１を挟んで表示部２１１の表示面と対称となる平面に位置するため、虚像面ＶＦ１を表示させる所望の位置に対して表示部２１１の表示面が対称となるよう光学素子２２１を配置してもよい。同様にして、虚像面ＶＦ２の位置は、表示部２１２及び光学素子２２２の位置に基づいて、公知の手法により算出することができ、虚像面ＶＦ２が所望の位置に配置されるように表示部２１２及び光学素子２２２が配置される。例えば、虚像面ＶＦ２は、光学素子２２２を挟んで表示部２１２の表示面と対称となる平面に位置するため、虚像面ＶＦ２を表示させる所望の位置に対して表示部２１２の表示面が対称となるよう光学素子２２２を配置してもよい。
【0021】
上述した、撮像装置がテニスの試合を撮像する例においては、光学素子２２１及び２２２は、虚像面ＶＦ１及び虚像面ＶＦ２が実物のコート上に位置するように配置される。具体的には、光学素子２２１は、虚像面ＶＦ１が実物のコート上における実物のネットより観察者に近い側に位置するように配置される。また、光学素子２２２は、虚像面ＶＦ２が実物のコート上における実物のネットより観察者から遠い側に位置するように配置される。このように、複数の表示部２１１及び表示部２１２、並びに光学素子２２１及び光学素子２２２を組み合わせることで、実物のコート、ネット等が配置された空間内に虚像を投影することができ、観察者が有する立体感を高めることができる。
【0022】
これによって、図４に示すように、観察者は、自身にとって手前側に虚像面ＶＦ１に表示された虚像ＶＩ１を観察し、奥側に虚像面ＶＦ２に表示された虚像ＶＩ２を観察する。なお、図４に示されている、虚像ＶＩｂは、虚像面ＶＦ１及び虚像面ＶＦ２のいずれかに表示される。虚像ＶＩｂが表示される虚像面ＶＦについては追って詳細に説明する。したがって、観察者は、虚像ＶＩ１、虚像ＶＩ２、及び虚像ＶＩｂによって構成される空間像を観察する。このような虚像は、一般にペッパーズゴースト等と呼ばれ、観察者からはあたかも虚像面ＶＦ１及び虚像面ＶＦ２にそれぞれ表示部２１１及び表示部２１２があるように見える。
【0023】
＜視覚効果決定部の構成＞
図１に示すように、視覚効果決定部３は、通信部３１と、視覚効果記憶部３２と、決定部３３と、表示制御部３４とを備える。
図１に示すように、視覚効果決定部３は、通信部３１と、視覚効果記憶部３２と、決定部３３と、表示制御部３４とを備える。
【0024】
通信部３１は、通信インターフェースによって構成される。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。視覚効果記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random Access Memory）等のメモリによって構成される。決定部３３及び表示制御部３４は、制御部（コントローラ）を構成する。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。
【0025】
通信部３１は、オブジェクト映像を示すオブジェクト映像情報、及びオブジェクトＯＢの位置を示すオブジェクト位置情報を外部の装置から受信する。オブジェクト映像は、特定の被写体であるオブジェクトＯＢの像を含む映像である。外部の装置は、オブジェクト映像情報及びオブジェクト位置情報を生成する映像処理装置であってもよいし、映像処理装置によって生成されたオブジェクト映像情報及びオブジェクト位置情報を取得した任意の装置であってもよい。
【0026】
一例として、オブジェクトＯＢの位置は、虚像が表示される虚像面ＶＦに対応する、実空間上の面である基準面からオブジェクトＯＢまでの所定方向の距離によって示されてもよい。所定方向は、オブジェクトを撮像するカメラの撮像面の法線方向である。なお、カメラから所定方向に見た特定の被写体の位置関係と、観察者から見た特定の被写体の虚像の位置関係とは略同じである。また、上述した、撮像装置がテニスの試合を撮像する例においては、所定方向は、撮像装置から、手前側に位置する第１の選手ＰＬ１が存在する範囲の所定位置（例えば、中心位置）に向かう方向であって、撮像装置から、第２の選手ＰＬ２が存在する範囲の所定位置（例えば、中心位置）に向かう方向である。
【0027】
視覚効果記憶部３２は、実空間における、オブジェクトＯＢの位置と、視覚効果とを対応付けて記憶している。視覚効果は、虚像表示部２がオブジェクト映像情報によって示されるオブジェクト映像の虚像ＶＩを表示するにあたって、該オブジェクト映像に付される視覚的な効果である。図５に示す例では、位置は、実空間における、基準面からオブジェクトＯＢまでの距離で示され、視覚効果記憶部３２は、該距離と、視覚効果とを対応付けて記憶している。
【0028】
決定部３３は、映像に像が含まれる特定の被写体であるオブジェクトＯＢの位置に基づいて、オブジェクトＯＢの像を含むオブジェクト映像に付加する視覚効果を決定する。オブジェクトＯＢの位置は、実空間におけるオブジェクトＯＢの位置であってもよいし、映像空間におけるオブジェクトＯＢの像の位置であってもよい。第１の実施形態では、決定部３３は、通信部３１によって受信されたオブジェクト映像情報に対応する、通信部３１によって受信されたオブジェクト位置情報に基づいて、該映像情報が示すオブジェクト映像に付加する視覚効果を決定する。
【0029】
図５に示す例において、決定部３３は、実空間における、基準面からオブジェクトＯＢまでの距離に基づいて視覚効果を決定する。具体的には、決定部３３は、該距離に対応して、視覚効果記憶部３２に記憶されている視覚効果を抽出する。そして、決定部３３は、オブジェクト映像に付加する視覚効果を、抽出した視覚効果と決定する。
【0030】
また、オブジェクトＯＢの位置が、基準面からオブジェクトＯＢまでの距離で示される構成において、決定部３３は、該距離に基づいて、複数の表示部２１の中から、オブジェクト映像を表示させる表示部２１を決定してもよい。一例として、決定部３３は、オブジェクトＯＢを表示させる表示部２１を、複数の基準面のうち、オブジェクトＯＢまでの距離が最も短い基準面に対応する虚像面ＶＦに虚像ＶＩを表示させる表示部２１と決定する。
【0031】
表示制御部３４は、オブジェクト映像に基づく映像を表示するよう複数の表示部２１を制御する。表示制御部３４が制御する虚像表示部２は可変であってよく、例えば、タブレットであってもよいし、その後、ＶＲゴーグルに取り換えられてもよい。すなわち、表示制御部３４は、マルチデバイス対応であってもよい。
【0032】
具体的には、表示制御部３４は、オブジェクト映像に基づく映像に視覚効果を付加した映像を表示するよう表示部２１を制御する。本実施形態では、表示制御部３４は、通信部３１によって受信されたオブジェクト映像情報が示す、オブジェクトＯＢのオブジェクト映像に、決定部３３によって決定された視覚効果を付加した映像を表示するよう表示部２１を制御する。このとき、決定部３３が、距離に基づいて、複数の表示部２１の中から、オブジェクト映像を表示させる構成において、表示制御部３４は、決定部３３によって決定された表示部２１がオブジェクト映像に視覚効果を付した映像を表示するよう制御する。図３に示す例では、表示制御部３４は、オブジェクトＯＢであるボールＢの像を含むオブジェクト映像ＩＭ３に視覚効果を付加した映像を表示するよう、決定部３３によって決定された表示部２１を制御する。
【0033】
また、表示制御部３４は、オブジェクト映像情報が示す、所定のオブジェクトＯＢのオブジェクト映像を表示するよう所定の表示部２１を制御してもよい。図３に示す例では、表示制御部３４は、所定のオブジェクトＯＢである第１の選手ＰＬ１の像を含むオブジェクト映像ＩＭ１を表示するよう表示部２１１を制御する。また、表示制御部３４は、所定のオブジェクトＯＢである第２の選手ＰＬ２の像を含むオブジェクト映像ＩＭ２を表示するよう表示部２１２を制御する。
【0034】
ここで、図５に示す例における、決定部３３及び表示制御部３４の処理の一例について詳細に説明する。
【0035】
図６Ａに示す例では、オブジェクト映像は、第１の選手ＰＬ１、第２の選手ＰＬ２、及びボールＢそれぞれの像を含んでいる。また、実空間において、第１の基準面Ｓ１と、第２の基準面Ｓ２との間の距離は９である。また、実空間において、オブジェクトの１つであるボールＢは、第１の基準面Ｓ１と第２の基準面Ｓ２との間に位置し、第１の基準面Ｓ１とボールＢとの間の距離が８．２である。
【0036】
上述したように、決定部３３は、オブジェクトＯＢを表示させる表示部２１を、オブジェクトＯＢまでの距離が最も短い基準面に対応する虚像面ＶＦに虚像ＶＩを表示させる表示部２１と決定する。本例では、第１の基準面Ｓ１からボールＢまでの距離は８．２であり、第２の基準面Ｓ２からボールＢまでの距離は０．８である。このため、決定部３３は、ボールＢの虚像ＶＩｂを表示させる表示部２１を、ボールＢまでの距離が最も短い第２の基準面Ｓ２に対応する虚像面ＶＦ２（図３参照）に虚像ＶＩ２を表示する表示部２１２と決定する。
【0037】
そして、決定部３３は、第２の基準面Ｓ２からオブジェクトＯＢであるボールＢまでの距離０．８に対応して、視覚効果記憶部３２に記憶されている視覚効果である「なし」をオブジェクトＯＢに付加する視覚効果と決定する。
【0038】
表示制御部３４は、視覚効果を付さずにオブジェクトＯＢであるボールＢの像を含むオブジェクト映像ＩＭ３を表示するよう表示部２１２を制御する。さらに、表示制御部３４は、所定のオブジェクトＯＢである第１の選手ＰＬ１の像を含むオブジェクト映像ＩＭ１を表示するよう表示部２１１を制御する。また、表示制御部３４は、所定のオブジェクトＯＢである第２の選手ＰＬ２の像を含むオブジェクト映像ＩＭ２を表示するよう表示部２１２を制御する。これにより、観察者は、図６Ｂに示すように、手前側に第１の選手ＰＬ１の虚像ＶＩ１を観察し、奥側に第２の選手ＰＬ２の虚像ＶＩ２とボールＢの虚像ＶＩｂを観察する。したがって、観察者は、第１の選手ＰＬ１の虚像ＶＩ１、第２の選手ＰＬ２の虚像ＶＩ２、及びボールＢの虚像ＶＩｂを、実空間におけるそれぞれのオブジェクトＯＢの位置関係に類似した位置関係で観察することができる。
【0039】
図７Ａに示す例では、図６Ａに示す例と同様に、オブジェクト映像は、第１の選手ＰＬ１、第２の選手ＰＬ２、及びボールＢそれぞれの像を含んでいる。また、実空間において、第１の基準面Ｓ１と、第２の基準面Ｓ２との間の距離は９である。また、実空間において、オブジェクトの１つであるボールＢは、第１の基準面Ｓ１と第２の基準面Ｓ２との間に位置し、図６Ａに示す例と異なり、第１の基準面Ｓ１とボールＢとの間の距離が７である。
【0040】
本例では、第１の基準面Ｓ１からボールＢまでの距離は７であり、第２の基準面Ｓ２からボールＢまでの距離は２である。このため、決定部３３は、ボールＢまでの距離が最も短い第２の基準面Ｓ２に対応する虚像面ＶＦ２に虚像ＶＩを表示する表示部２１２を、ボールＢの像を含むオブジェクト映像を表示させる表示部２１と決定する。
【0041】
そして、決定部３３は、第２の基準面Ｓ２からオブジェクトＯＢであるボールＢまでの距離２に対応して、視覚効果記憶部３２に記憶されている視覚効果である「拡大／縮小」をオブジェクトＯＢに付加する視覚効果と決定する。一例として、決定部３３は、ボールＢと第２の基準面Ｓ２との距離が短くなるほど、ボールＢの像を含むオブジェクト映像を縮小し、距離が長くなるほど、ボールＢの像を含むオブジェクト映像を拡大するような視覚効果を付加するよう決定する。なお、決定部３３が、第１の基準面Ｓ１に虚像を表示する表示部２１１を、ボールＢの像を含むオブジェクト映像を表示させる表示部２１と決定し、ボールＢと第１の基準面Ｓ１との距離が所定範囲内であった場合、ボールＢと第１の基準面Ｓ１との距離が短くなるほど、オブジェクト映像を拡大し、距離が長くなるほど、オブジェクト映像を縮小するような視覚効果を付加するよう決定してもよい。
【0042】
これに伴い、表示制御部３４は、ボールＢの映像を拡大又は縮小させる視覚効果を付加した映像を表示するよう表示部２１２を制御する。拡大又は縮小させる視覚効果とは、例えば、ボールＢが第１の選手ＰＬ１に近づくほどボールＢの映像を拡大させ、ボールＢが第１の選手ＰＬ１から遠ざかるほどボールＢの映像を縮小させるような視覚効果とすることができる。さらに、表示制御部３４は、所定のオブジェクトＯＢである第１の選手ＰＬ１の像を含むオブジェクト映像ＩＭ１を表示するよう表示部２１１を制御し、所定のオブジェクトＯＢである第２の選手ＰＬ２の像を含むオブジェクト映像ＩＭ２を表示するよう表示部２１２を制御する。これにより、観察者は、図７Ｂに示すように、手前側に第１の選手ＰＬ１の虚像ＶＩ１を観察し、奥側に第２の選手ＰＬ２の虚像ＶＩ２とボールＢの虚像ＶＩｂを観察する。したがって、観察者は、第１の選手ＰＬ１、第２の選手ＰＬ２、及びボールＢの虚像を、実空間におけるそれぞれの位置関係に類似した位置関係で観察することができる。さらに、虚像表示部２は、距離の変化に応じてボールＢの像を小さくしたり大きくしたりするため、観察者は、実空間におけるボールの移動をより臨場感をもって認識することができる。
【0043】
図８Ａに示す例では、図６Ａ及び図７Ａに示す例と同様に、オブジェクト映像は、第１の選手ＰＬ１、第２の選手ＰＬ２、及びボールＢそれぞれの像を含んでいる。また、実空間において、第１の基準面Ｓ１と、第２の基準面Ｓ２との間の距離は９である。また、実空間において、オブジェクトの１つであるボールＢは、第１の基準面Ｓ１と第２の基準面Ｓ２との間に位置し、図６Ａ及び図７Ａに示す例と異なり、第１の基準面Ｓ１とボールＢとの間の距離が５である。
【0044】
本例では、第１の基準面Ｓ１からボールＢまでの距離は５であり、第２の基準面Ｓ２からボールＢまでの距離は４である。このため、決定部３３は、ボールＢの像を含むオブジェクト映像を表示させる表示部２１を、オブジェクトＯＢであるボールＢまでの距離が最も短い第２の基準面Ｓ２に対応する虚像面ＶＦ２に虚像を表示する表示部２１２と決定する。
【0045】
そして、決定部３３は、第２の基準面Ｓ２からボールＢまでの距離２に対応して、視覚効果記憶部３２に記憶されている視覚効果である「フラッシュ光」をオブジェクトＯＢに付加する視覚効果と決定する。
【0046】
これに伴い、表示制御部３４は、ボールＢの映像がフラッシュ光のように明るく見えるような視覚効果（図８Ｂの網掛け部分）を付加してボールＢの像を含むオブジェクト映像を表示するよう表示部２１２を制御する。さらに、表示制御部３４は、所定のオブジェクトＯＢである第１の選手ＰＬ１の像を含むオブジェクト映像ＩＭ１を表示するよう表示部２１１を制御し、所定のオブジェクトＯＢである第２の選手ＰＬ２の像を含むオブジェクト映像ＩＭ２を表示するよう表示部２１２を制御する。これにより、観察者は、図８Ｂに示すように、手前側に第１の選手ＰＬ１の虚像ＶＩ１を観察し、奥側に第２の選手ＰＬ２の虚像ＶＩ２とボールＢの虚像ＶＩｂを観察する。したがって、観察者は、第１の選手ＰＬ１、第２の選手ＰＬ２、及びボールＢの虚像を、実空間におけるそれぞれの位置関係に類似した位置関係で観察することができる。さらに、観察者は、フラッシュ光による視覚効果が付加されたボールＢの像を観察することにより、ボールＢが近付いていることをより強く認識することができる。
【0047】
＜空間像表示装置の動作＞
ここで、第１の実施形態に係る空間像表示装置１の動作について、図９を参照して説明する。図９は、第１の実施形態に係る空間像表示装置１の動作の一例を示すフローチャートである。図９を参照して説明する空間像表示装置１における動作は第１の実施形態に係る空間像表示装置１の空間像表示方法の一例に相当する。
ここで、第１の実施形態に係る空間像表示装置１の動作について、図９を参照して説明する。図９は、第１の実施形態に係る空間像表示装置１の動作の一例を示すフローチャートである。図９を参照して説明する空間像表示装置１における動作は第１の実施形態に係る空間像表示装置１の空間像表示方法の一例に相当する。
【0048】
ステップＳ１１において、通信部３１が、通信ネットワークを介して、外部の装置からオブジェクト映像情報及びオブジェクト位置情報を受信する。
【0049】
ステップＳ１２において、決定部３３が、映像に像が含まれる特定の被写体であるオブジェクトに対応するオブジェクトの位置に基づいて、オブジェクト映像情報に含まれるオブジェクトの像であるオブジェクト映像に付加する視覚効果を決定する。
【0050】
ステップＳ１３において、表示制御部３４は、複数の表示部２１の中から、オブジェクトＯＢの像を含むオブジェクト映像を表示させる表示部２１を決定する。
【0051】
ステップＳ１４において、表示制御部３４は、オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう表示部２１を制御する。具体的には、表示制御部３４は、オブジェクト映像情報が示す、オブジェクトＯＢのオブジェクト映像に、決定部３３によって決定された視覚効果を付加した映像を表示するよう、ステップＳ１３で決定された表示部２１を制御する。さらに、表示制御部３４は、オブジェクト映像情報が示す、所定のオブジェクトＯＢのオブジェクト映像を表示するよう所定の表示部２１を制御してもよい。
【0052】
ステップＳ１５において、表示部２１は、表示制御部３４の制御に基づいて、オブジェクト映像を表示する。具体的には、表示部２１は、オブジェクト映像情報が示す、オブジェクトＯＢのオブジェクト映像に、決定部３３によって決定された視覚効果を付加した映像を表示する。なお、このとき、表示部２１は、所定のオブジェクトのオブジェクト映像を表示してもよい。
【0053】
上述したように、第１の実施形態によれば、空間像表示装置１は、映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、オブジェクトＯＢの像を含むオブジェクト映像に付加する視覚効果を決定し、オブジェクト映像及び前記視覚効果に基づいて映像を表示するよう表示部２１を制御する。このため、空間像表示装置１は、複数の虚像面ＶＦにオブジェクトの虚像を表示することができる。このため、空間像表示装置１は、複数の虚像面ＶＦにおける虚像よって構成される空間像を観察する観察者に十分な臨場感を与えることができる。
【0054】
また、第１の実施形態によれば、空間像表示装置１は、オブジェクト映像を示すオブジェクト映像情報、及びオブジェクトＯＢの位置を示すオブジェクト位置情報を受信し、オブジェクト位置情報が示す位置に基づいて、オブジェクト映像情報が示すオブジェクト映像に付加する視覚効果を決定する。このため、空間像表示装置１は、映像に含まれるオブジェクト映像に視覚効果を付した虚像を、オブジェクトＯＢが撮像される場所の遠隔にて表示することができる。
【0055】
また、第１の実施形態によれば、空間像表示装置１は、該距離に基づいて、オブジェクト映像の輝度をそれぞれ変更するような視覚効果を決定する。このため、空間像表示装置１は、オブジェクトＯＢの位置を観察者に直感的に認識させるように、移動するオブジェクトＯＢの虚像ＶＩを複数の虚像面ＶＦに表示させることができ、これにより、虚像によって構成される立体像を観察する観察者により臨場感を与えることができる。
【0056】
また、第１の実施形態によれば、空間像表示装置１は、距離に基づいて、複数の表示部２１の中から、オブジェクト映像に基づく映像を表示させる表示部２１を決定し、決定部３３によって決定された表示部２１がオブジェクト映像に視覚効果を付した映像を表示するよう制御する。このため、空間像表示装置１は、オブジェクトＯＢの位置を観察者に直感的に認識させるように、移動するオブジェクトＯＢの虚像ＶＩを複数の虚像面ＶＦに表示させることができ、これにより、虚像によって構成される立体像を観察する観察者により臨場感を与えることができる。
【0057】
なお、上述した第１の実施形態において、空間像表示装置１は、虚像表示部２を備えるが、この限りではない。例えば、空間像表示装置１は、虚像表示部２を備えず、外部の虚像表示装置がオブジェクト映像を表示するよう制御してもよい。このような構成において、空間像表示装置１は、上述したフローチャートのステップＳ１５を実行しない。
【0058】
（第１の変形例）
また、上述の実施形態において、オブジェクトＯＢの位置は、実空間における、基準面からオブジェクトＯＢまでの距離によって示されたが、これに限られない。例えば、オブジェクトＯＢの位置は、実空間における、所定の水平面（例えば、地平面）からオブジェクトＯＢまでの高さで示されてもよい。
また、上述の実施形態において、オブジェクトＯＢの位置は、実空間における、基準面からオブジェクトＯＢまでの距離によって示されたが、これに限られない。例えば、オブジェクトＯＢの位置は、実空間における、所定の水平面（例えば、地平面）からオブジェクトＯＢまでの高さで示されてもよい。
【0059】
このような構成において、視覚効果記憶部３２は、図１０Ａに示すように、高さと、視覚効果とを対応付けて記憶している。決定部３３は、高さに基づいて、視覚効果を決定する。さらに、表示制御部３４は、オブジェクト映像に、決定部３３によって決定された視覚効果を付加した映像を表示するよう表示部２１を制御する。
【0060】
本例では、高さが１．５である場合、決定部３３は、視覚効果「なし」（図１０Ａ参照）と決定する。そして、表示制御部３４は、オブジェクト映像に視覚効果を付さずに表示するよう表示部２１を制御する。これにより、観察者は、図１０Ｂに示すような虚像ＶＩ１、ＶＩ２、及びＶＩｂによって構成される空間像を観察することができる。
【0061】
また、高さが２．５である場合、決定部３３は、視覚効果「５０％の透過度」（図１０Ａ参照）と決定し、決定部３３は、オブジェクト映像の透過度を５０％に変更して表示するよう表示部２１を制御する。これにより、観察者は、図１０Ｃに示すような虚像ＶＩ１及びＶＩ２、並びに５０％の透過度とする視覚効果が付されたオブジェクト映像の虚像ＶＩｂによって構成される空間像を観察することができる。
【0062】
また、高さが３以上である場合、決定部３３は、視覚効果「８０％の透過度」（図１０Ａ参照）と決定し、決定部３３は、オブジェクト映像の透過度を８０％に変更して表示するよう表示部２１を制御する。
【0063】
（第２の変形例）
上述した実施形態において、決定部３３は、オブジェクトＯＢの位置に基づいて、視覚効果を決定したが、このとき、決定部３３は、映像における、オブジェクトＯＢの像の位置の変化率に基づいて、視覚効果を決定してもよい。位置の変化率は、例えば、映像を構成する単位数フレームにおけるオブジェクトＯＢの像の位置の変化とすることができる。
上述した実施形態において、決定部３３は、オブジェクトＯＢの位置に基づいて、視覚効果を決定したが、このとき、決定部３３は、映像における、オブジェクトＯＢの像の位置の変化率に基づいて、視覚効果を決定してもよい。位置の変化率は、例えば、映像を構成する単位数フレームにおけるオブジェクトＯＢの像の位置の変化とすることができる。
【0064】
このような構成において、視覚効果記憶部３２は、図１１Ａに示すように、位置の変化率と、視覚効果とを対応付けて記憶している。また、表示制御部３４は、オブジェクト映像に、決定部３３によって決定された視覚効果を付加した映像を表示するよう表示部２１を制御する。
【0065】
本例では、位置の変化率が閾値未満である場合、決定部３３は、視覚効果を「なし」（図１１Ａ参照）と決定する。そして、表示制御部３４は、オブジェクト映像に視覚効果を付さずに表示するよう表示部２１を制御する。これにより、観察者は、図１１Ｂに示すような虚像ＶＩ１、ＶＩ２、及びＶＩｂによって構成される空間像を観察することができる。
【0066】
また、位置の変化率が閾値以上である場合、決定部３３は、視覚効果を「複数フレームを重ねる」（図１１Ａ参照）と決定する。そして、表示制御部３４は、複数フレームのオブジェクト映像を重ねて表示する視覚効果を付した映像を表示するよう表示部２１を制御する。これにより、観察者は、図１１Ｃに示すような虚像ＶＩ１及びＶＩ２、並びに複数フレームのオブジェクト映像を重ねて表示された映像の虚像ＶＩｂによって構成される空間像を観察することができる。
【0067】
また、位置の変化率が判定不能である場合、決定部３３は、視覚効果「５０％の透過度」と決定する。そして、表示制御部３４は、オブジェクト映像の透過度を５０％に変更して表示するよう表示部２１を制御する。
【0068】
（第３の変形例）
また、決定部３３は、オブジェクトＯＢの位置が所定範囲内であるか否かに基づいて、オブジェクト映像に付加する視覚効果を決定してもよい。
また、決定部３３は、オブジェクトＯＢの位置が所定範囲内であるか否かに基づいて、オブジェクト映像に付加する視覚効果を決定してもよい。
【0069】
例えば、視覚効果記憶部３２は、図１２Ａに示すように、オブジェクトＯＢの位置が所定範囲内であるか否かと、視覚効果とを対応付けて記憶している。図１２Ａに示す例では、テニスの試合で用いられるコートのライン内及びライン上が所定範囲内（ＩＮ）であり、ライン外が所定範囲外（ＯＵＴ）である。また、表示制御部３４は、オブジェクト映像に、決定部３３によって決定された視覚効果を付加した映像を表示するよう表示部２１を制御する。
【0070】
本例では、実空間におけるオブジェクトＯＢの位置が所定範囲内である場合、決定部３３は、視覚効果「なし」と決定する。そして、表示制御部３４は、オブジェクト映像に視覚効果を付さずに表示するよう虚像表示部２を制御する。これにより、観察者は、図１２Ｂに示すような虚像ＶＩ１、ＶＩ２、及びＶＩｂによって構成される空間像を観察することができる。
【0071】
また、実空間におけるオブジェクトＯＢの位置が所定範囲外である場合、決定部３３は、視覚効果「フラッシュ光」と決定する。そして、表示制御部３４は、オブジェクトＯＢの像がフラッシュ光のように明るく見えるような視覚効果を付加してオブジェクトＯＢを表示するよう虚像表示部２を制御する。これにより、観察者は、図１２Ｃに示すような虚像ＶＩ１及びＶＩ２、並びにフラッシュ光のように明るく見えるような視覚効果が付加された映像の虚像ＶＩｂによって構成される空間像を観察することができる。
【0072】
また、実空間におけるオブジェクトＯＢの位置が所定範囲内であるか否かが不明である場合、決定部３３は、視覚効果「５０％の透過度」と決定する。そして、表示制御部３４は、オブジェクト映像の透過度を５０％に変更して表示するよう虚像表示部２を制御する。
【0073】
なお、第３の変形例において、決定部３３は、実空間におけるオブジェクトＯＢの位置が所定範囲内であるか否かに基づいて視覚効果を決定したが、決定部３３は、映像空間におけるオブジェクトＯＢの像が所定範囲内であるか否かに基づいて視覚効果を決定してもよい。
【0074】
（第４の変形例）
また、上述の実施形態において、決定部３３は、オブジェクトＯＢの位置に基づいて、オブジェクト映像を表示させる表示部２１を決定したが、これに限られない。例えば、決定部３３は、複数の表示部２１それぞれにオブジェクト映像を表示させると決定してもよい。このような構成において、位置は、像が表示される虚像面に対応する、実空間上の面である基準面からオブジェクトまでの所定方向の距離で示され、決定部３３は、距離に基づいて、複数の表示部２１に表示させるオブジェクト映像の輝度をそれぞれ変更するような視覚効果を決定する。具体的には、決定部３３は、観察者がより高い立体感を有しながら空間像を観察することができるように、オブジェクトＯＢの位置に応じて、各表示部２１に表示させるオブジェクト映像の輝度を表示部２１ごとに変更する。
また、上述の実施形態において、決定部３３は、オブジェクトＯＢの位置に基づいて、オブジェクト映像を表示させる表示部２１を決定したが、これに限られない。例えば、決定部３３は、複数の表示部２１それぞれにオブジェクト映像を表示させると決定してもよい。このような構成において、位置は、像が表示される虚像面に対応する、実空間上の面である基準面からオブジェクトまでの所定方向の距離で示され、決定部３３は、距離に基づいて、複数の表示部２１に表示させるオブジェクト映像の輝度をそれぞれ変更するような視覚効果を決定する。具体的には、決定部３３は、観察者がより高い立体感を有しながら空間像を観察することができるように、オブジェクトＯＢの位置に応じて、各表示部２１に表示させるオブジェクト映像の輝度を表示部２１ごとに変更する。
【0075】
（第５の変形例）
また、上述の実施形態において、決定部３３は、虚像が表示される空間を画定する部材に照射される照射光をさらに決定してもよい。虚像が表示される空間を画定する部材は、例えば、床、壁、柱とすることができる。照射光は、可視光であり、例えば、決定部３３は、可視光の色、強度等を決定してもよいし、照射位置に応じて可視光によって形成されるプロジェクション映像を決定してもよい。このような構成において、表示制御部３４は、決定部３３によって決定された照射光を照射するよう照射装置を制御する。照射装置は、照明装置、プロジェクション投影装置等とすることができる。
また、上述の実施形態において、決定部３３は、虚像が表示される空間を画定する部材に照射される照射光をさらに決定してもよい。虚像が表示される空間を画定する部材は、例えば、床、壁、柱とすることができる。照射光は、可視光であり、例えば、決定部３３は、可視光の色、強度等を決定してもよいし、照射位置に応じて可視光によって形成されるプロジェクション映像を決定してもよい。このような構成において、表示制御部３４は、決定部３３によって決定された照射光を照射するよう照射装置を制御する。照射装置は、照明装置、プロジェクション投影装置等とすることができる。
【0076】
例えば、上述したような、テニスの試合が撮像された映像の例において、決定部３３は、ボールＢがコート上のライン外に位置した場合に、ボールＢがコート上のライン外に位置する前までに比べて、実物のコートに対して強度の高い白色光を照射すると決定する。そして、表示制御部３４は、コート上に白色光を照射するよう照射装置を制御する。このような例において、観察者は、例えば、実体のボールＢの移動速度が速いことに起因して、ボールＢがコート上のライン内又はライン上に位置したか、ボールＢがコート上のライン外に位置したかを明確に知覚することができない場合も、白色光の照射によって、瞬時にボールＢが位置したコート上の範囲を認識することができる。したがって、観察者は、タイミングを逃さずに試合の内容を把握することができる。
【0077】
＜＜第２の実施形態＞＞
図１３を参照して第２の実施形態の全体構成について説明する。図１３は、第２の実施形態に係る空間像表示装置１－１の概略図である。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。
図１３を参照して第２の実施形態の全体構成について説明する。図１３は、第２の実施形態に係る空間像表示装置１－１の概略図である。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。
【0078】
図１３に示すように、第２の実施形態に係る空間像表示装置１－１は、虚像表示部２と、視覚効果決定部３－１と、映像処理部４－１とを備える。
【0079】
＜映像処理部の構成＞
映像処理部４－１は、入力部４１と、オブジェクト抽出部４２とを備える。入力部４１は、情報の入力を受け付ける入力インターフェースによって構成される。オブジェクト抽出部４２は、制御部を構成する。
映像処理部４－１は、入力部４１と、オブジェクト抽出部４２とを備える。入力部４１は、情報の入力を受け付ける入力インターフェースによって構成される。オブジェクト抽出部４２は、制御部を構成する。
【0080】
入力部４１は、撮像装置によって生成された映像を示す映像情報の入力を受け付ける。
【0081】
オブジェクト抽出部４２は、入力部４１によって入力が受け付けられた映像情報から、オブジェクトＯＢの映像を抽出する。オブジェクト抽出部４２がオブジェクト映像を抽出する手法は、任意の手法であってよい。
【0082】
＜視覚効果決定部の構成＞
図１に示すように、視覚効果決定部３－１は、通信部３１－１と、視覚効果記憶部３２と、決定部３３－１と、表示制御部３４とを備える。
図１に示すように、視覚効果決定部３－１は、通信部３１－１と、視覚効果記憶部３２と、決定部３３－１と、表示制御部３４とを備える。
【0083】
通信部３１－１は、オブジェクト位置情報を受信する。具体的には、通信ネットワークを介して、外部の装置から、オブジェクト位置情報を受信する。
【0084】
決定部３３－１は、オブジェクトＯＢの位置に基づいて、オブジェクトＯＢの像を含むオブジェクト映像に付加する視覚効果を決定する。具体的には、決定部３３－１は、通信部３１－１によって受信されたオブジェクト位置情報が示すオブジェクトＯＢの位置に基づいて、オブジェクト抽出部４２によって抽出されたオブジェクト映像に付加する視覚効果を決定する。決定部３３－１が視覚効果を決定する具体的な方法は、上述した、第１の実施形態における決定部３３が視覚効果を決定する具体的な方法と同様である。
【0085】
＜空間像表示装置の動作＞
ここで、第２の実施形態に係る空間像表示装置１－１の動作について、図１４を参照して説明する。図１４は、第２の実施形態に係る空間像表示装置１－１の動作の一例を示すフローチャートである。図１４を参照して説明する空間像表示装置１－１における動作は第２の実施形態に係る空間像表示装置１－１の空間像表示方法の一例に相当する。
ここで、第２の実施形態に係る空間像表示装置１－１の動作について、図１４を参照して説明する。図１４は、第２の実施形態に係る空間像表示装置１－１の動作の一例を示すフローチャートである。図１４を参照して説明する空間像表示装置１－１における動作は第２の実施形態に係る空間像表示装置１－１の空間像表示方法の一例に相当する。
【0086】
ステップＳ２１において、入力部４１が、撮像装置によって生成された映像を示す映像情報の入力を受け付ける。
【0087】
ステップＳ２２において、オブジェクト抽出部４２が、映像情報から、オブジェクトＯＢの像を含むオブジェクト映像を示すオブジェクト映像情報を抽出する。
【0088】
ステップＳ２３において、通信部３１－１が、通信ネットワークを介して、外部の装置からオブジェクト位置情報を受信する。
【0089】
続いて、空間像表示装置１－１は、ステップＳ２４からステップＳ２７までの処理を実行する。ステップＳ２５からステップＳ２８までの処理は、第１の実施形態におけるステップＳ１２からステップＳ１５までの処理と同じである。
【0090】
なお、第２の実施形態において、視覚効果決定部３－１と映像処理部４－１とは別体として構成されてもよい。このような構成において、映像処理部４－１は、通信インターフェースによって構成される通信部を有し、該通信部は、オブジェクト抽出部４２によって抽出されたオブジェクト映像を示すオブジェクト映像情報を視覚効果決定部３－１の通信部３１－１に送信する。
【0091】
また、上述した第１の実施形態の第１から第５の変形例を第２の実施形態に適用してもよい。
【0092】
＜＜第３の実施形態＞＞
図１５を参照して第３の実施形態の全体構成について説明する。図１５は、第３の実施形態に係る空間像表示装置１－２の概略図である。第２の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。
図１５を参照して第３の実施形態の全体構成について説明する。図１５は、第３の実施形態に係る空間像表示装置１－２の概略図である。第２の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。
【0093】
図１５に示すように、第２の実施形態に係る空間像表示装置１－２は、虚像表示部２と、視覚効果決定部３－２と、映像処理部４－２とを備える。
【0094】
＜映像処理部の構成＞
映像処理部４－２は、入力部４１と、オブジェクト抽出部４２と、オブジェクト位置推定部４３とを備える。
映像処理部４－２は、入力部４１と、オブジェクト抽出部４２と、オブジェクト位置推定部４３とを備える。
【0095】
オブジェクト位置推定部４３は、オブジェクトＯＢの位置を推定する。オブジェクト位置推定部４３がオブジェクトＯＢの位置を推定する手法は、任意の手法であってよい。例えば、オブジェクト位置推定部４３は、入力部４１によって入力された映像情報に基づいて、オブジェクトＯＢの位置を示す、ディープラーニングを用いて、実空間における基準面からオブジェクトＯＢまでの距離を推定してもよい。
【0096】
＜視覚効果決定部の構成＞
図１５に示すように、視覚効果決定部３－２は、視覚効果記憶部３２と、決定部３３－２と、表示制御部３４とを備える。
図１５に示すように、視覚効果決定部３－２は、視覚効果記憶部３２と、決定部３３－２と、表示制御部３４とを備える。
【0097】
決定部３３－２は、オブジェクトＯＢの位置に基づいて、オブジェクトＯＢの像を含むオブジェクト映像に付加する視覚効果を決定する。具体的には、決定部３３－２は、オブジェクト位置推定部４３によって推定された位置に基づいて、オブジェクト抽出部４２によって抽出されたオブジェクト映像に付加する視覚効果を決定する。決定部３３－２が視覚効果を決定する具体的な方法は、上述した、第１の実施形態における決定部３３が視覚効果を決定する具体的な方法と同様である。
【0098】
＜空間像表示装置の動作＞
ここで、第３の実施形態に係る空間像表示装置１－２の動作について、図１６を参照して説明する。図１６は、第３の実施形態に係る空間像表示装置１－２の動作の一例を示すシーケンス図である。図１６を参照して説明する空間像表示装置１－２における動作は、第３の実施形態に係る空間像表示装置１－２の空間像表示方法の一例に相当する。
ここで、第３の実施形態に係る空間像表示装置１－２の動作について、図１６を参照して説明する。図１６は、第３の実施形態に係る空間像表示装置１－２の動作の一例を示すシーケンス図である。図１６を参照して説明する空間像表示装置１－２における動作は、第３の実施形態に係る空間像表示装置１－２の空間像表示方法の一例に相当する。
【0099】
ステップＳ３１において、入力部４１が、カメラ等の撮像装置によって生成された映像を示す映像情報の入力を受け付ける。
【0100】
ステップＳ３２において、オブジェクト抽出部４２が、映像情報から、オブジェクトＯＢの映像を示すオブジェクト映像情報を抽出する。
【0101】
ステップＳ３３において、オブジェクト位置推定部４３が、オブジェクトＯＢの位置を示すオブジェクト位置を推定する。
【0102】
続いて、空間像表示装置１－２は、ステップＳ３４からステップＳ３７までの処理を実行する。ステップＳ３４からステップＳ３７までの処理は、第１の実施形態におけるステップＳ１２からステップＳ１５までの処理と同じである。
【0103】
なお、上述した第１の実施形態の第１から第５の変形例を第３の実施形態に適用してもよい。第１の変形例を適用する構成において、オブジェクト位置推定部４３は、オブジェクトＯＢの位置を示す、実空間における、所定の水平面からオブジェクトＯＢまでの高さを推定する。また、第２の変形例を適用する構成において、オブジェクト位置推定部４３は、映像における、オブジェクトＯＢの像の位置の変化率を推定する。第３の変形例を適用する構成において、オブジェクト推定部４４は、実空間における、オジェクトＯＢの位置が所定範囲内であるか否かを推定する。
【0104】
＜プログラム＞
上述した決定部３３、３３－１、３３－２、及び表示制御部３４は、コンピュータ１００によって実現することができる。また、決定部３３、３３－１、３３－２、及び表示制御部３４として機能させるためのプログラムが提供されてもよい。また、該プログラムは、格納媒体に格納されてもよいし、ネットワークを通して提供されてもよい。図１７は、決定部３３、３３－１、３３－２、及び表示制御部３４としてそれぞれ機能するコンピュータ１００の概略構成を示すブロック図である。ここで、コンピュータ１００は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
上述した決定部３３、３３－１、３３－２、及び表示制御部３４は、コンピュータ１００によって実現することができる。また、決定部３３、３３－１、３３－２、及び表示制御部３４として機能させるためのプログラムが提供されてもよい。また、該プログラムは、格納媒体に格納されてもよいし、ネットワークを通して提供されてもよい。図１７は、決定部３３、３３－１、３３－２、及び表示制御部３４としてそれぞれ機能するコンピュータ１００の概略構成を示すブロック図である。ここで、コンピュータ１００は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0105】
図１７に示すように、コンピュータ１００は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、表示部１６０と、通信インターフェース（Ｉ／Ｆ）１７０とを備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
【0106】
プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に格納されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。上述した実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。
【0107】
プログラムは、コンピュータ１００が読み取り可能な格納媒体に格納されていてもよい。このような格納媒体を用いれば、プログラムをコンピュータ１００にインストールすることが可能である。ここで、プログラムが格納された格納媒体は、非一時的（non-transitory）格納媒体であってもよい。非一時的格納媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0108】
ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを格納する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
【0109】
入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
【0110】
表示部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、表示部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、表示部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。
【0111】
通信インターフェース（Ｉ／Ｆ）１７０は、外部の装置と通信するためのインターフェースである。
【0112】
以上の実施形態に関し、更に以下の付記を開示する。
【0113】
（付記項１）
映像を表示する、複数の表示部と、
前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子と、
制御部と、を備え、
前記制御部は、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定し、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御する、空間像表示装置。
（付記項２）
前記オブジェクト映像を示すオブジェクト映像情報、及び前記オブジェクトの位置を示すオブジェクト位置情報を受信する通信部をさらに備え、
前記制御部は、前記オブジェクト位置情報が示す前記位置に基づいて、前記オブジェクト映像情報が示す前記オブジェクト映像に付加する前記視覚効果を決定する、付記項１に記載の空間像表示装置。
（付記項３）
前記制御部は、
前記オブジェクトの位置を推定し、
該位置に基づいて、前記視覚効果を決定する、付記項１又は２に記載の空間像表示装置。
（付記項４）
前記位置は、前記虚像が表示される虚像面に対応する、実空間上の面である基準面から前記オブジェクトまでの距離で示され、
前記制御部は、
前記距離に基づいて、前記複数の表示部の中から、前記オブジェクト映像を表示させる表示部を決定し、
前記決定部によって決定された前記表示部が前記オブジェクト映像に前記視覚効果を付した映像を表示するよう制御する、付記項１から３のいずれか一項に記載の空間像表示装置。
（付記項５）
前記位置は、実空間における、所定の水平面から前記オブジェクトまでの高さで示され、
前記制御部は、前記高さに基づいて、前記視覚効果を決定する、付記項１から４のいずれか一項に記載の空間像表示装置。
（付記項６）
前記制御部は、前記位置の変化率に基づいて、前記視覚効果を決定する、付記項１から５のいずれか一項に記載の空間像表示装置。
（付記項７）
前記制御部は、前記位置が所定範囲内であるかに基づいて、前記視覚効果を決定する、付記項１から６のいずれか一項に記載の空間像表示装置。
（付記項８）
前記位置は、前記虚像が表示される虚像面に対応する、実空間上の面である基準面から前記オブジェクトまでの所定方向の距離で示され、
前記制御部は、前記距離に基づいて、前記複数の表示部に表示させる前記オブジェクト映像の輝度をそれぞれ変更するような前記視覚効果を決定する、付記項３に記載の空間像表示装置。
（付記項９）
前記制御部は、
前記虚像が表示される空間を画定する部材に照射される照射光を決定し、
前記決定された前記照射光を照射するよう照射装置を制御する、付記項１から８のいずれか一項に記載の空間像表示装置。
（付記項１０）
前記制御部は、マルチデバイス対応である、付記項１から９のいずれか一項に記載の空間像表示装置。
（付記項１１）
映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子とを備える空間像表示装置の空間像表示方法であって、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定するステップと、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記複数の表示部を制御するステップと、
を含む空間像表示方法。
（付記項１２）
コンピュータによって実行可能なプログラムを格納した非一時的格納媒体であって、前記コンピュータを付記項１から１０のいずれか一項に記載の決定部及び表示制御部として機能させる、プログラムを格納した非一時的格納媒体。
映像を表示する、複数の表示部と、
前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子と、
制御部と、を備え、
前記制御部は、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定し、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記表示部を制御する、空間像表示装置。
（付記項２）
前記オブジェクト映像を示すオブジェクト映像情報、及び前記オブジェクトの位置を示すオブジェクト位置情報を受信する通信部をさらに備え、
前記制御部は、前記オブジェクト位置情報が示す前記位置に基づいて、前記オブジェクト映像情報が示す前記オブジェクト映像に付加する前記視覚効果を決定する、付記項１に記載の空間像表示装置。
（付記項３）
前記制御部は、
前記オブジェクトの位置を推定し、
該位置に基づいて、前記視覚効果を決定する、付記項１又は２に記載の空間像表示装置。
（付記項４）
前記位置は、前記虚像が表示される虚像面に対応する、実空間上の面である基準面から前記オブジェクトまでの距離で示され、
前記制御部は、
前記距離に基づいて、前記複数の表示部の中から、前記オブジェクト映像を表示させる表示部を決定し、
前記決定部によって決定された前記表示部が前記オブジェクト映像に前記視覚効果を付した映像を表示するよう制御する、付記項１から３のいずれか一項に記載の空間像表示装置。
（付記項５）
前記位置は、実空間における、所定の水平面から前記オブジェクトまでの高さで示され、
前記制御部は、前記高さに基づいて、前記視覚効果を決定する、付記項１から４のいずれか一項に記載の空間像表示装置。
（付記項６）
前記制御部は、前記位置の変化率に基づいて、前記視覚効果を決定する、付記項１から５のいずれか一項に記載の空間像表示装置。
（付記項７）
前記制御部は、前記位置が所定範囲内であるかに基づいて、前記視覚効果を決定する、付記項１から６のいずれか一項に記載の空間像表示装置。
（付記項８）
前記位置は、前記虚像が表示される虚像面に対応する、実空間上の面である基準面から前記オブジェクトまでの所定方向の距離で示され、
前記制御部は、前記距離に基づいて、前記複数の表示部に表示させる前記オブジェクト映像の輝度をそれぞれ変更するような前記視覚効果を決定する、付記項３に記載の空間像表示装置。
（付記項９）
前記制御部は、
前記虚像が表示される空間を画定する部材に照射される照射光を決定し、
前記決定された前記照射光を照射するよう照射装置を制御する、付記項１から８のいずれか一項に記載の空間像表示装置。
（付記項１０）
前記制御部は、マルチデバイス対応である、付記項１から９のいずれか一項に記載の空間像表示装置。
（付記項１１）
映像を表示する、複数の表示部と、前記複数の表示部に表示された前記映像から出射された映像光をそれぞれ反射させ、反射した前記映像光が観察者の眼に到達することによって、前記観察者から同じ方向の異なる距離に、前記映像の虚像が表示されるように配置されている、複数の光学素子とを備える空間像表示装置の空間像表示方法であって、
前記映像に像が含まれる特定の被写体であるオブジェクトの位置に基づいて、前記オブジェクトの像を含むオブジェクト映像に付加する視覚効果を決定するステップと、
前記オブジェクト映像及び前記視覚効果に基づいて前記映像を表示するよう前記複数の表示部を制御するステップと、
を含む空間像表示方法。
（付記項１２）
コンピュータによって実行可能なプログラムを格納した非一時的格納媒体であって、前記コンピュータを付記項１から１０のいずれか一項に記載の決定部及び表示制御部として機能させる、プログラムを格納した非一時的格納媒体。
【0114】
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
【0115】
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0116】
１、１－１、１－２ 空間像表示装置
２ 虚像表示部
３、３－１、３－２ 視覚効果決定部
４－１、４－２ 映像処理部
２１、２１１、２１２ 表示部
２２、２２１、２２２ 光学素子
３１、３１－１ 通信部
３２ 視覚効果記憶部
３３、３３－１、３３－２ 決定部
３４ 表示制御部
４１ 入力部
４２ オブジェクト抽出部
４３ オブジェクト位置推定部
１００ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
２ 虚像表示部
３、３－１、３－２ 視覚効果決定部
４－１、４－２ 映像処理部
２１、２１１、２１２ 表示部
２２、２２１、２２２ 光学素子
３１、３１－１ 通信部
３２ 視覚効果記憶部
３３、３３－１、３３－２ 決定部
３４ 表示制御部
４１ 入力部
４２ オブジェクト抽出部
４３ オブジェクト位置推定部
１００ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【図16】
【図17】