ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】表示装置、画像生成方法及びプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20241126BHJP
G06T 7/00 20170101ALI20241126BHJP
G06T 19/00 20110101ALI20241126BHJP
G06V 20/20 20220101ALI20241126BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 660A
G06T19/00 600
G06V20/20
【請求項の数】
10
(21)【出願番号】P 2021571151
(86)(22)【出願日】2021-01-06
(86)【国際出願番号】 JP2021000159
(87)【国際公開番号】W WO2021145244
(87)【国際公開日】2021-07-22
【審査請求日】2023-11-16
(31)【優先権主張番号】P 2020004841
(32)【優先日】2020-01-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】大橋 武史
【審査官】菊池 伸郎
(56)【参考文献】
【文献】特開２０１３－２５８５８３（ＪＰ，Ａ）
【文献】特開２０１８－０２５５５１（ＪＰ，Ａ）
【文献】特開２００６－２６７０２６（ＪＰ，Ａ）
【文献】特開２００９－２７１７３２（ＪＰ，Ａ）
【文献】特開２０１６－２０１７８８（ＪＰ，Ａ）
【文献】特開２０１６－０５１９１８（ＪＰ，Ａ）
【文献】特開２０１３－０１５８９６（ＪＰ，Ａ）
【文献】特表２０１５－５３１５２６（ＪＰ，Ａ）
【文献】特開２００５－１２１８３８（ＪＰ，Ａ）
【文献】特開２０１９－１２５３４５（ＪＰ，Ａ）
【文献】特開２０１８－０２２２９２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－７／９０
Ｇ０６Ｔ １９／００
Ｇ０６Ｖ １０／００－４０／７０
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３６
Ｇ０９Ｇ ５／３７７
Ｇ０１Ｂ １１／００
Ｈ０４Ｎ ５／６６
(57)【特許請求の範囲】
【請求項1】
装置本体の第１の面側に配置された第１の画像センサと、前記第１の面側に配置された第１の距離センサと、
前記第１の面と反対側の第２の面側に配置された第２のセンサと、
前記第２の面側に配置された表示部と、
を具備する表示装置であって、
前記第２のセンサで取得されたセンシング結果と、前記第１の画像センサにより取得された被写体の二次元画像と、前記第１の距離センサにより取得された前記被写体の距離画像を取得し、
前記センシング結果に基づいて前記表示装置を把持する撮影者の視点の三次元位置を算出し、
前記視点の三次元位置から、前記二次元画像と前記距離画像を用いて得られる前記被写体のポイントクラウドの各点までの直線と、前記表示部の平面との交点座標を算出し、
前記被写体のポイントクラウドの各点が、対応する前記交点座標に写像されるように前記ポイントクラウドの各点を座標変換して、前記表示部に表示する、前記視点からみた表示画像を生成し、
前記視点からみた表示画像内のオブジェクトを説明する文字情報を含む重畳用画像を、前記撮影者の視線に応じて、前記文字情報の量を変化させて生成し、
生成した前記重畳用画像を前記視点からみた表示画像に重畳した表示画像を生成する
画像生成部
を具備する表示装置。
【請求項2】
請求項１に記載の表示装置であって、前記画像生成部は、座標変換して生成された前記撮影者の視点からみた画像におけるオクルージョン領域を補完して、前記視点からみた表示画像を生成する
表示装置。
【請求項3】
請求項１に記載の表示装置であって、前記表示装置の位置姿勢情報を取得する第３のセンサを更に具備し、
前記画像生成部は、前記位置姿勢情報を用いて前記視点からみた表示画像を生成する
表示装置。
【請求項4】
請求項１に記載の表示装置であって、前記画像生成部は、前記第２のセンサのセンシング結果から前記撮影者の視点の三次元位置情報を算出する際、前記撮影者の目の開閉状態に応じて前記視点の三次元位置情報を算出する
表示装置。
【請求項5】
請求項４に記載の表示装置であって、前記画像生成部は、前記撮影者の一方の目が閉じられている場合は開いている他方の目を視点とし、前記撮影者の両目が開いている場合は両目を結んだ線分の中心を視点として前記三次元位置情報を算出する
表示装置。
【請求項6】
請求項１に記載の表示装置であって、前記画像生成部は、前記撮影者の左右の目それぞれの位置を視点として生成した右目用画像と左目用画像を用いて前記表示画像を生成する
表示装置。
【請求項7】
請求項１に記載の表示装置であって、前記第２のセンサで取得されるセンシング結果には、距離情報及び前記撮影者の目の二次元位置情報が含まれる
表示装置。
【請求項8】
請求項７に記載の表示装置であって、前記第２のセンサはＴｏＦ（Time of Flight）センサである
表示装置。
【請求項9】
装置本体の第１の面側に配置された第１の画像センサと、前記第１の面側に配置された第１の距離センサと、前記第１の面と反対側の第２の面側に配置された第２のセンサと、前記第２の面側に配置された表示部と、を備える表示装置の、前記第１の画像センサから被写体の二次元画像を取得し、前記第１の距離センサから前記被写体の距離画像を取得し、
前記第２のセンサのセンシング結果を取得し、
前記センシング結果に基づいて前記表示装置を把持する撮影者の視点の三次元位置を算出し、
前記視点の三次元位置から、前記二次元画像と前記距離画像を用いて得られる前記被写体のポイントクラウドの各点までの直線と、前記表示部の平面との交点座標を算出し、
前記被写体のポイントクラウドの各点が、対応する前記交点座標に写像されるように前記ポイントクラウドの各点を座標変換して、前記表示部に表示する、前記視点からみた表示画像を生成し、
前記視点からみた表示画像内のオブジェクトを説明する文字情報を含む重畳用画像を、前記撮影者の視線に応じて、前記文字情報の量を変化させて生成し、
生成した前記重畳用画像を前記視点からみた表示画像に重畳した表示画像を生成する
画像生成方法。
【請求項10】
装置本体の第１の面側に配置された第１の画像センサと、前記第１の面側に配置された第１の距離センサと、前記第１の面と反対側の第２の面側に配置された第２のセンサと、前記第２の面側に配置された表示部を備える表示装置の前記第１の画像センサから被写体の二次元画像を取得するステップと、前記第１の距離センサから前記被写体の距離画像を取得するステップと、
前記第２のセンサのセンシング結果を取得するステップと、
前記センシング結果に基づいて前記表示装置を把持する撮影者の視点の三次元位置を算出するステップと、
前記視点の三次元位置から、前記二次元画像と前記距離画像を用いて得られる前記被写体のポイントクラウドの各点までの直線と、前記表示部の平面との交点座標を算出するステップと、
前記被写体のポイントクラウドの各点が、対応する前記交点座標に写像されるように前記ポイントクラウドの各点を座標変換して、前記表示部に表示する、前記視点からみた表示画像を生成するステップと、
前記視点からみた表示画像内のオブジェクトを説明する文字情報を含む重畳用画像を、前記撮影者の視線に応じて、前記文字情報の量を変化させて生成するステップと、
生成した前記重畳用画像を前記視点からみた表示画像に重畳した表示画像を生成するステップ
を表示装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、表示装置、画像生成方法及びプログラムに関する。
【背景技術】
【0002】
スマートフォン等の携帯電話やタブレット端末といった、表示部を有するモバイルデバイスが広く浸透している。カメラを備えたモバイルデバイスではカメラにより撮影された画像を表示部に表示したり、当該画像に重ねて拡張現実（Augmented Reality;ＡＲ）情報を提示したりすることができる。例えば、モバイルデバイスに搭載されるカメラにより撮影されたモバイルデバイスの向こう側の景色を表示部に表示することによって、撮影者に没入感、臨場感の高いＡＲ体験を提供することが行われている。
【0003】
特許文献１には、デバイスの向こう側の風景がユーザの視点位置に伴って変化し表示される技術が開示されている。特許文献１には、遠隔コミュニケーションの臨場感を改善するための技術が記載されており、表示素子と撮像素子を埋め込んだ特殊な表示パネルを用いることで、様々な方向に異なる映像を表示することができ、同時に様々な方向から対象物を撮影することができることが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００２－３００６０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
表示装置に搭載されるカメラにより撮影された表示装置の向こう側の画像を表示部に表示する際、表示されている画像が、表示装置の中の箱庭のように視認される。
【0006】
以上のような事情に鑑み、本技術の目的は、表示部に表示される画像と表示装置の外側の景色とがつながってみえるように画像表示することができる表示装置、画像生成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術に係る表示装置は、第１の画像センサと、第１の距離センサと、第２のセンサと、表示部と、画像生成部と、を具備する。
上記第１の画像センサは、装置本体の第１の面側に配置される。
上記第１の距離センサは、上記第１の面側に配置される。
上記第２のセンサは、上記第１の面と反対側の第２の面側に配置される。
上記表示部は、上記第２の面側に配置される。
上記画像生成部は、上記第２のセンサで取得されたセンシング結果に基づいて算出された撮影者の視点の三次元位置情報に基づき、上記第１の画像センサにより取得された被写体の二次元画像と上記第１の距離センサにより取得された上記被写体の距離画像を用いて、上記表示部に表示する表示画像を生成する。
上記第１の画像センサは、装置本体の第１の面側に配置される。
上記第１の距離センサは、上記第１の面側に配置される。
上記第２のセンサは、上記第１の面と反対側の第２の面側に配置される。
上記表示部は、上記第２の面側に配置される。
上記画像生成部は、上記第２のセンサで取得されたセンシング結果に基づいて算出された撮影者の視点の三次元位置情報に基づき、上記第１の画像センサにより取得された被写体の二次元画像と上記第１の距離センサにより取得された上記被写体の距離画像を用いて、上記表示部に表示する表示画像を生成する。
【0008】
本発明のこのような構成によれば、撮影者の視点からみた表示画像を生成することができ、表示部に表示される画像の景色と表示装置の外側の景色とがつながっているように撮影者により視認され得る。
【0009】
上記目的を達成するため、本技術に係る画像生成方法は、
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部と、を備える表示装置の、上記第１の画像センサから被写体の二次元画像を取得し、
上記第１の距離センサから上記被写体の距離画像を取得し、
上記第２のセンサのセンシング結果を取得し、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出し、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成する。
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部と、を備える表示装置の、上記第１の画像センサから被写体の二次元画像を取得し、
上記第１の距離センサから上記被写体の距離画像を取得し、
上記第２のセンサのセンシング結果を取得し、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出し、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成する。
【0010】
上記目的を達成するため、本技術に係るプログラムは、
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部を備える表示装置の上記第１の画像センサから被写体の二次元画像を取得するステップと、
上記第１の距離センサから上記被写体の距離画像を取得するステップと、
上記第２のセンサのセンシング結果を取得するステップと、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出するステップと、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成するステップ
を表示装置に実行させる。
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部を備える表示装置の上記第１の画像センサから被写体の二次元画像を取得するステップと、
上記第１の距離センサから上記被写体の距離画像を取得するステップと、
上記第２のセンサのセンシング結果を取得するステップと、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出するステップと、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成するステップ
を表示装置に実行させる。
【図面の簡単な説明】
【0011】
【図1】本技術の各実施形態に係る表示装置のフロント側及びリア側からみた斜視図である。
【図2】上記表示装置の構成ブロック図である。
【図3】第１の実施形態に係る表示装置を撮影者が手に持っている様子を示す図である。
【図4】上記表示装置における表示画像の生成方法の概略を示す図である。
【図5】上記表示装置における表示画像生成方法のフロー図である。
【図6】上記表示画像生成方法における視点の三次元位置の算出処理を説明するための図である。
【図7】上記表示画像生成方法における座標変換処理を説明する図である。
【図8】上記表示装置における画像生成時のオクルージョン領域の補完処理を説明する図である。
【図9】第２の実施形態に係る表示装置の表示画像例を示すものであり、撮影者が表示装置を手に持っている様子を示す図である。
【図10】第２実施形態に係る表示装置の表示画像例を示すものであり、撮影者が表示装置を手に持っている様子を示す図である。
【図11】第３の実施形態に係る表示装置によって表示される表示画像例を示す図である。
【図12】第４の実施形態における表示装置による表示画像の生成方法における、撮影者の視線の検出方法を説明する図である。
【図13】第４の実施形態に係る表示装置によって表示される表示画像例を示す図である。
【図14】第５の実施形態における表示装置による表示画像の生成方法を説明する図である。
【発明を実施するための形態】
【0012】
以下、図面を用いて本技術にかかわる表示装置について説明する。
＜第１の実施形態＞
［表示装置の構成］
本技術は、表示装置としての、表示部を有するスマートフォン等の携帯電話やタブレット等のモバイルデバイスに好適に使用され得る。以下の実施形態においては、スマートフォンの形態の表示装置を例に挙げて説明する。
＜第１の実施形態＞
［表示装置の構成］
本技術は、表示装置としての、表示部を有するスマートフォン等の携帯電話やタブレット等のモバイルデバイスに好適に使用され得る。以下の実施形態においては、スマートフォンの形態の表示装置を例に挙げて説明する。
【0013】
図１は本技術の第１の実施形態に係る表示装置の外形形状を説明するための斜視図である。図１（Ａ）は表示部が位置する正面側から表示装置を見た斜視図であり、図１（Ｂ）は背面側から見た斜視図である。
図１に示すように、表示装置１は、筐体１０と、リアカメラ３と、第２のセンサとしてのフロントカメラ６と、表示部４と、を備える。表示装置１は、筐体１０にリアカメラ３、フロントカメラ６、表示部４を構成する表示パネル、駆動回路、及び各種センサ等が保持されて構成される。
図１に示すように、表示装置１は、筐体１０と、リアカメラ３と、第２のセンサとしてのフロントカメラ６と、表示部４と、を備える。表示装置１は、筐体１０にリアカメラ３、フロントカメラ６、表示部４を構成する表示パネル、駆動回路、及び各種センサ等が保持されて構成される。
【0014】
表示装置１の本体は、背面側の第１の面２と、当該第１の面２の反対側に位置する正面側の第２の面５と、を有する。第１の面２と第２の面５とは平行の位置関係にある。図における互いに直交するｘｙｚ座標方向は、略直方体の表示装置１の横、縦、高さに相当する。第１の面２と平行な面をｘｙ平面として、高さ方向に相当する表示装置１の厚み方向をｚ軸とする。
【0015】
第１の面２側にはリアカメラ３の撮像レンズ３ａが配置してあり、リアカメラ３は、第１の面２と向き合った被写体を撮影する。
第２の面５側にはフロントカメラ６の撮像レンズ６ａが配置してあり、フロントカメラ６は、第２の面５と向き合った被写体を撮影する。当該被写体は、通常、撮影者である。
第２の面５には、表示部４を構成する表示パネルが設けられている。表示部４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等の画像表示手段により構成される。表示部４は、図示しない通信部を通して外部機器から送受信される画像、入力操作用のボタン、フロントカメラ６及びリアカメラ３により撮影された画像等を表示可能に構成される。画像には静止画及び動画が含まれる。
一般に、表示装置１を用いて撮影を行うユーザである撮影者は、表示部４に表示される画像を見たり、表示部４に表示される操作画面から入力操作等を行う。したがって、撮影者は、表示部４を視認するために表示装置１の第２の面５側に位置する。明細書中、表示装置１の向こう側という表現をする場合があるが、これは撮影者からみた方向を示し、表示装置１の第１の面２側に相当する。表示装置１の向こう側には、リアカメラ３による撮影の対象となる被写体が位置する。
第２の面５側にはフロントカメラ６の撮像レンズ６ａが配置してあり、フロントカメラ６は、第２の面５と向き合った被写体を撮影する。当該被写体は、通常、撮影者である。
第２の面５には、表示部４を構成する表示パネルが設けられている。表示部４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等の画像表示手段により構成される。表示部４は、図示しない通信部を通して外部機器から送受信される画像、入力操作用のボタン、フロントカメラ６及びリアカメラ３により撮影された画像等を表示可能に構成される。画像には静止画及び動画が含まれる。
一般に、表示装置１を用いて撮影を行うユーザである撮影者は、表示部４に表示される画像を見たり、表示部４に表示される操作画面から入力操作等を行う。したがって、撮影者は、表示部４を視認するために表示装置１の第２の面５側に位置する。明細書中、表示装置１の向こう側という表現をする場合があるが、これは撮影者からみた方向を示し、表示装置１の第１の面２側に相当する。表示装置１の向こう側には、リアカメラ３による撮影の対象となる被写体が位置する。
【0016】
【0017】
本実施形態では、リアカメラ３及びフロントカメラ６は、いずれも、画像センサの機能と、距離センサの機能とを備える。
画像センサは、被写体のカラー二次元画像（以下、ＲＧＢ二次元画像、ＲＧＢ画像というときがある。）を撮像する。
距離センサは、被写体の距離画像を撮像する。距離センサには、ＴｏＦ（Time of flight）方式を好適に用いることができ、本実施形態ではＴｏＦ方式の距離センサを用いる例を挙げる。ＴｏＦ方式の距離センサでは、近赤外光（ＮＩＲ光）を用いて、距離センサと被写体との距離情報を有する距離画像が取得される。第２のセンサとしてのフロントカメラ６のＴｏＦ方式の距離センサにより取得されるセンシング結果である距離画像には、距離情報の他、撮影者の目の二次元位置情報も含まれる。
本実施形態では、リアカメラ３及びフロントカメラ６が、それぞれ、１つの撮像デバイスであり、ＲＧＢ画像と距離画像の双方を取得することができる例をあげる。以下、ＲＧＢ画像及び距離画像をあわせて単に画像というときがある。
画像センサは、被写体のカラー二次元画像（以下、ＲＧＢ二次元画像、ＲＧＢ画像というときがある。）を撮像する。
距離センサは、被写体の距離画像を撮像する。距離センサには、ＴｏＦ（Time of flight）方式を好適に用いることができ、本実施形態ではＴｏＦ方式の距離センサを用いる例を挙げる。ＴｏＦ方式の距離センサでは、近赤外光（ＮＩＲ光）を用いて、距離センサと被写体との距離情報を有する距離画像が取得される。第２のセンサとしてのフロントカメラ６のＴｏＦ方式の距離センサにより取得されるセンシング結果である距離画像には、距離情報の他、撮影者の目の二次元位置情報も含まれる。
本実施形態では、リアカメラ３及びフロントカメラ６が、それぞれ、１つの撮像デバイスであり、ＲＧＢ画像と距離画像の双方を取得することができる例をあげる。以下、ＲＧＢ画像及び距離画像をあわせて単に画像というときがある。
【0018】
図２に示すように、リアカメラ３は、画像センサの一部を構成するＲＧＢ画像用撮像素子３１と、距離センサの一部を構成する距離画像用撮像素子３２と、撮像処理回路３３と、オンチップレンズ（図示せず）と、カラーフィルタ（図示せず）と、発光部（図示せず）と、を有する。
同様に、フロントカメラ６は、画像センサの一部を構成するＲＧＢ画像用撮像素子６１と、距離センサの一部を構成する距離画像用撮像素子６２と、撮像処理回路６３と、オンチップレンズ（図示せず）と、カラーフィルタ（図示せず）と、を有する。
リアカメラ３（フロントカメラ６）において、ＲＧＢ画像用撮像素子３１（６１）及び距離画像用撮像素子３２（６２）と、オンチップレンズとの間にカラーフィルタを設けることで、Ｒ画素、Ｇ画素、Ｂ画素及びＮＩＲ画素を配置することができる。
同様に、フロントカメラ６は、画像センサの一部を構成するＲＧＢ画像用撮像素子６１と、距離センサの一部を構成する距離画像用撮像素子６２と、撮像処理回路６３と、オンチップレンズ（図示せず）と、カラーフィルタ（図示せず）と、を有する。
リアカメラ３（フロントカメラ６）において、ＲＧＢ画像用撮像素子３１（６１）及び距離画像用撮像素子３２（６２）と、オンチップレンズとの間にカラーフィルタを設けることで、Ｒ画素、Ｇ画素、Ｂ画素及びＮＩＲ画素を配置することができる。
【0019】
ここで、Ｒ画素は、赤（Ｒ：Ｒｅｄ）の波長成分を透過するカラーフィルタを透過した光から、赤成分の光に対応した電荷を得る画素である。Ｇ画素は、緑（Ｇ：Ｇｒｅｅｎ）の波長成分を透過するカラーフィルタを透過した光から、緑（Ｇ）成分の光に対応した電荷を得る画素である。Ｂ画素は、青（Ｂ：Ｂｌｕｅ）の波長成分を透過するカラーフィルタを透過した光から、青（Ｂ）成分の光に対応した電荷を得る画素である。ＮＩＲ画素は、近赤外光（ＮＩＲ光）の波長成分を透過するフィルタを透過した光から、ＮＩＲ光の波長帯に対応した電荷を得る画素である。
【0020】
撮像処理回路３３（６３）は、ＲＧＢ画像用撮像素子３１（６１）及び距離画像用撮像素子３２（６２）で得られる撮像信号を処理して、被写体に対応したＲＧＢ画像及び距離画像を生成する。
オンチップレンズは、画素毎に設けられ、外部からの光を集光して各画素のカラーフィルタに入射させる。
距離センサの一部を構成する発光部は、カメラと被写体との距離を測定するために用いられる。発光部はＮＩＲ光を発光する。距離画像用撮像素子３２（６２）は、発光部から発光されたＮＩＲ光が被写体で反射したときの戻り光を受光する。発光部は、例えば発光ダイオード（ＬＥＤ）等の発光部材とそれを発光させるためのドライバ回路を含んで構成される。
オンチップレンズは、画素毎に設けられ、外部からの光を集光して各画素のカラーフィルタに入射させる。
距離センサの一部を構成する発光部は、カメラと被写体との距離を測定するために用いられる。発光部はＮＩＲ光を発光する。距離画像用撮像素子３２（６２）は、発光部から発光されたＮＩＲ光が被写体で反射したときの戻り光を受光する。発光部は、例えば発光ダイオード（ＬＥＤ）等の発光部材とそれを発光させるためのドライバ回路を含んで構成される。
【0021】
表示部４は、画像生成部７で生成された表示画像を表示する。表示部４は、リアカメラ３及びフロントカメラ６それぞれで撮影された画像を表示可能に構成されるが、以下の説明では、リアカメラ３で撮影された画像が表示部４に表示される例を挙げる。
【0022】
画像生成部７は、画像情報取得部７０と、視点位置算出部７１と、座標変換部７２と、補完部７３と、を有する。
画像情報取得部７０は、リアカメラ３から被写体のＲＧＢ画像及び距離画像を取得し、フロントカメラ６から撮影者のＲＧＢ画像及び距離画像を取得する。なお、後述するように、表示部４に表示される画像の景色と表示装置１の外側の景色とが連続してつながって、表示装置１の向こう側があたかも透けてみえるような表示画像を生成する場合、フロントカメラ６からは少なくとも距離画像が取得されればよい。
視点位置算出部７１は、フロントカメラ６で撮影された距離画像に基づいて、撮影者の視点の三次元位置を算出する。
座標変換部７２は、撮影者の視点の三次元位置情報に基づいて、リアカメラ３で取得される画像を座標変換して、撮影者の視点から見たＲＧＢ画像となる表示画像を生成する。
補完部７３は、座標変化部７２で生成された表示画像内に、オクルージョン領域がある場合、このオクルージョン領域を補完して、表示部４に表示される表示画像を生成する。
画像生成部７における表示画像生成方法については後述する。
画像情報取得部７０は、リアカメラ３から被写体のＲＧＢ画像及び距離画像を取得し、フロントカメラ６から撮影者のＲＧＢ画像及び距離画像を取得する。なお、後述するように、表示部４に表示される画像の景色と表示装置１の外側の景色とが連続してつながって、表示装置１の向こう側があたかも透けてみえるような表示画像を生成する場合、フロントカメラ６からは少なくとも距離画像が取得されればよい。
視点位置算出部７１は、フロントカメラ６で撮影された距離画像に基づいて、撮影者の視点の三次元位置を算出する。
座標変換部７２は、撮影者の視点の三次元位置情報に基づいて、リアカメラ３で取得される画像を座標変換して、撮影者の視点から見たＲＧＢ画像となる表示画像を生成する。
補完部７３は、座標変化部７２で生成された表示画像内に、オクルージョン領域がある場合、このオクルージョン領域を補完して、表示部４に表示される表示画像を生成する。
画像生成部７における表示画像生成方法については後述する。
【0023】
図３は、撮影者Ｐが本実施形態に係る表示装置１を左手２１に把持している様子を示す図である。図３において、表示装置１の表示部４には、表示装置１の向こう側を撮影した画像が表示されている。
本実施形態においては、リアカメラ３を基準として取得された画像を撮影者Ｐの視点からみた画像に変換して表示画像５１が生成される。これにより、図３に示すように、表示装置１の外側の景色１３と表示装置１の表示部４に表示される表示画像５３の景色とが連続して繋がっているように見える。これにより、撮影者にとって表示装置１の存在によって遮られている領域は、表示装置１が透けて向こう側の景色が見えているように、撮影者Ｐには認識され、表示部４に表示される景色が箱庭的なものでなくなる。したがって、例えば、画像中に、拡張現実（Augmented Reality;ＡＲ）情報である仮想物体等の重畳用画像を重畳させてＡＲ表示した場合、ユーザは、ＡＲの世界への高い没入感及び臨場感を味わうことができる。仮想物体や仮想文字といった仮想画像の重畳については、他の実施形態として後述する。
本実施形態においては、リアカメラ３を基準として取得された画像を撮影者Ｐの視点からみた画像に変換して表示画像５１が生成される。これにより、図３に示すように、表示装置１の外側の景色１３と表示装置１の表示部４に表示される表示画像５３の景色とが連続して繋がっているように見える。これにより、撮影者にとって表示装置１の存在によって遮られている領域は、表示装置１が透けて向こう側の景色が見えているように、撮影者Ｐには認識され、表示部４に表示される景色が箱庭的なものでなくなる。したがって、例えば、画像中に、拡張現実（Augmented Reality;ＡＲ）情報である仮想物体等の重畳用画像を重畳させてＡＲ表示した場合、ユーザは、ＡＲの世界への高い没入感及び臨場感を味わうことができる。仮想物体や仮想文字といった仮想画像の重畳については、他の実施形態として後述する。
【0024】
記憶部８は、ＲＡＭ等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、表示装置１の表示部４に表示される表示画像を生成する処理を、表示装置に実行させるためのプログラムを記憶する。
記録部８に記憶されるプログラムは、リアカメラ３から被写体の二次元画像であるＲＧＢ画像と、被写体の距離画像とを取得するステップと、フロントカメラ６のセンシング結果となる距離画像を取得するステップと、フロントカメラ６の距離画像に基づいて撮影者Ｐの視点の三次元位置情報を算出するステップと、当該三次元位置情報に基づいて、リアカメラ３により取得されたＲＧＢ画像と距離画像を用いて、表示部４に表示する表示画像を生成するステップと、を表示装置に実行させるためのものである。
記録部８に記憶されるプログラムは、リアカメラ３から被写体の二次元画像であるＲＧＢ画像と、被写体の距離画像とを取得するステップと、フロントカメラ６のセンシング結果となる距離画像を取得するステップと、フロントカメラ６の距離画像に基づいて撮影者Ｐの視点の三次元位置情報を算出するステップと、当該三次元位置情報に基づいて、リアカメラ３により取得されたＲＧＢ画像と距離画像を用いて、表示部４に表示する表示画像を生成するステップと、を表示装置に実行させるためのものである。
【0025】
[表示画像生成方法]
図４は、表示画像生成方法の概略を説明する図である。
図４（Ａ）に示すように、リアカメラ３で取得される被写体となる対象物１１の画像は、リアカメラ３の位置を基準とした画像である。
図４（Ｂ）に示すように、本実施形態の表示画像生成方法では、リアカメラ３で取得される対象物１１の画像を、視点Ｅから見た画像となるように座標変換して表示画像を生成する。更に、座標変換して生成された表示画像にオクルージョン領域がある場合は、オクルージョン領域の補完処理が行われて、表示部４に表示される表示画像が生成される。以下、説明する。
図４は、表示画像生成方法の概略を説明する図である。
図４（Ａ）に示すように、リアカメラ３で取得される被写体となる対象物１１の画像は、リアカメラ３の位置を基準とした画像である。
図４（Ｂ）に示すように、本実施形態の表示画像生成方法では、リアカメラ３で取得される対象物１１の画像を、視点Ｅから見た画像となるように座標変換して表示画像を生成する。更に、座標変換して生成された表示画像にオクルージョン領域がある場合は、オクルージョン領域の補完処理が行われて、表示部４に表示される表示画像が生成される。以下、説明する。
【0026】
図５は表示画像生成方法のフロー図である。
図５に示すように、画像情報取得部７０により、リアカメラ３から被写体のＲＧＢ画像及び距離画像と、フロントカメラ６から撮影者のＲＧＢ画像及び距離画像が取得される（ＳＴ１）。リアカメラ３はリア側にキャリブレーションされ、フロントカメラ６はフロント側にキャリブレーションされている。リアカメラ３により取得されたＲＧＢ画像及び距離画像から、リアカメラ３から被写体となる対象物１１までのポイントクラウド情報を取得することができる。
次に、視点位置算出部７１により、フロントカメラ６で撮影された距離画像に基づいて、撮影者の視点の三次元位置が算出される（ＳＴ２）。算出処理については後述する。
次に、座標変換部７２により、撮影者の視点の三次元位置情報を用いて、リアカメラ３で取得された画像が、撮影者の視点から見た画像となるように座標変換される（ＳＴ３）。座標変換処理については後述する。
次に、補完部７３により、座標変換部７２で座標変換された表示画像内に、オクルージョン領域がある場合、このオクルージョン領域が補完されて、表示部４に表示される表示画像が生成される（ＳＴ４）。オクルージョン領域の補完処理については後述する。
図５に示すように、画像情報取得部７０により、リアカメラ３から被写体のＲＧＢ画像及び距離画像と、フロントカメラ６から撮影者のＲＧＢ画像及び距離画像が取得される（ＳＴ１）。リアカメラ３はリア側にキャリブレーションされ、フロントカメラ６はフロント側にキャリブレーションされている。リアカメラ３により取得されたＲＧＢ画像及び距離画像から、リアカメラ３から被写体となる対象物１１までのポイントクラウド情報を取得することができる。
次に、視点位置算出部７１により、フロントカメラ６で撮影された距離画像に基づいて、撮影者の視点の三次元位置が算出される（ＳＴ２）。算出処理については後述する。
次に、座標変換部７２により、撮影者の視点の三次元位置情報を用いて、リアカメラ３で取得された画像が、撮影者の視点から見た画像となるように座標変換される（ＳＴ３）。座標変換処理については後述する。
次に、補完部７３により、座標変換部７２で座標変換された表示画像内に、オクルージョン領域がある場合、このオクルージョン領域が補完されて、表示部４に表示される表示画像が生成される（ＳＴ４）。オクルージョン領域の補完処理については後述する。
【0027】
（視点の三次元位置算出処理）
図６を用いて視点について説明する。
図６（Ａ）に示すように、撮影者Ｐの両目が開いている場合、撮影者Ｐの右目９Ｒと左目９Ｌそれぞれの瞳（黒目）の中心点を結んでなる線分を二等分する中心点を視点Ｅとする。
図６（Ｂ）に示すように、撮影者Ｐの一方の片目が閉じ、他方の片目が開いている場合、開いている目の瞳の中心点を視点Ｅとする。図６（Ｂ）に示す例では、右目９Ｒが閉じられており、開いている左目９Ｌの瞳の中心点が視点Ｅとなる。図６（Ｂ）では、視点Ｅを白抜きの円で表している。視点Ｅは、リアカメラ３で取得された画像を用いて撮影者Ｐから見た表示画像を生成する際の基準に用いられる。
図６を用いて視点について説明する。
図６（Ａ）に示すように、撮影者Ｐの両目が開いている場合、撮影者Ｐの右目９Ｒと左目９Ｌそれぞれの瞳（黒目）の中心点を結んでなる線分を二等分する中心点を視点Ｅとする。
図６（Ｂ）に示すように、撮影者Ｐの一方の片目が閉じ、他方の片目が開いている場合、開いている目の瞳の中心点を視点Ｅとする。図６（Ｂ）に示す例では、右目９Ｒが閉じられており、開いている左目９Ｌの瞳の中心点が視点Ｅとなる。図６（Ｂ）では、視点Ｅを白抜きの円で表している。視点Ｅは、リアカメラ３で取得された画像を用いて撮影者Ｐから見た表示画像を生成する際の基準に用いられる。
【0028】
本実施形態では、フロントカメラ６は距離センサであるＴｏＦセンサを備えている。視点位置算出部７１は、ＴｏＦセンサにより取得される距離画像であるＮＩＲ画像に対して、従来手法により顔検出と左右目の瞳の二次元位置の検出を行う。そして、その検出した画素のＴｏＦ距離値から、左右目それぞれの瞳の中心点の３次元位置情報を取得する。
更に、視点位置算出部７１は、取得した左右目それぞれの瞳の中心点の３次元位置情報から視点Ｅの三次元位置情報を算出する。上述の通り、撮影者Ｐの両目が開いている場合には左右の瞳の中心点を視点Ｅとし、片目が開いている場合には開いている目の瞳の中心を視点Ｅとする。
このように、本実施形態では、目の開閉状態に応じて最適な表示画像を生成することができる。
更に、視点位置算出部７１は、取得した左右目それぞれの瞳の中心点の３次元位置情報から視点Ｅの三次元位置情報を算出する。上述の通り、撮影者Ｐの両目が開いている場合には左右の瞳の中心点を視点Ｅとし、片目が開いている場合には開いている目の瞳の中心を視点Ｅとする。
このように、本実施形態では、目の開閉状態に応じて最適な表示画像を生成することができる。
【0029】
（座標変換処理）
図７を用いて、座標変換処理について説明する。
座標変換部７２は、リアカメラ３で取得される被写体となる対象物１１のポイントクラウドが、表示装置１の表示部４のどの座標値に写像されるかを算出する。
以下、図７及び後述する各式において示す記号Ｅ、Ｄ、Ａ、Ｆ、Ｒ、Ｏは、それぞれの点の３次元位置を示す。
各記号の意味は次の通りである。
すなわち、
Ｅ：視点
Ａ：表示部の左上の表示部原点
Ｆ：フロントカメラ
Ｒ：リアカメラ
Ｏ：対象物
視点Ｅは、上記視点の三次元位置算出方法により算出された視点の位置である。
表示部原点Ａは、撮影者Ｐが、表示部４が配置される第２の面５に対向し、リアカメラ３及びフロントカメラ６が表示部４より上側に位置するように表示装置１を縦方向で把持したときの、矩形状の表示部４の表面の左上の角に位置する点である。
フロントカメラ６の点Ｆは、フロントカメラ６のカメラ座標の原点である。
リアカメラ３の点Ｒは、リアカメラ３のカメラ座標の原点である。
被写体である対象物１１の点Ｏは、対象物１１上の任意の点である。
また、３次元点間のベクトルの添え字は基準座標位置を表し、上記記号の大文字に対応する小文字で表す。ｘｙｚは座標軸方向を表す。
図７を用いて、座標変換処理について説明する。
座標変換部７２は、リアカメラ３で取得される被写体となる対象物１１のポイントクラウドが、表示装置１の表示部４のどの座標値に写像されるかを算出する。
以下、図７及び後述する各式において示す記号Ｅ、Ｄ、Ａ、Ｆ、Ｒ、Ｏは、それぞれの点の３次元位置を示す。
各記号の意味は次の通りである。
すなわち、
Ｅ：視点
Ａ：表示部の左上の表示部原点
Ｆ：フロントカメラ
Ｒ：リアカメラ
Ｏ：対象物
視点Ｅは、上記視点の三次元位置算出方法により算出された視点の位置である。
表示部原点Ａは、撮影者Ｐが、表示部４が配置される第２の面５に対向し、リアカメラ３及びフロントカメラ６が表示部４より上側に位置するように表示装置１を縦方向で把持したときの、矩形状の表示部４の表面の左上の角に位置する点である。
フロントカメラ６の点Ｆは、フロントカメラ６のカメラ座標の原点である。
リアカメラ３の点Ｒは、リアカメラ３のカメラ座標の原点である。
被写体である対象物１１の点Ｏは、対象物１１上の任意の点である。
また、３次元点間のベクトルの添え字は基準座標位置を表し、上記記号の大文字に対応する小文字で表す。ｘｙｚは座標軸方向を表す。
【0030】
座標変換処理の計算は次に示す１、２の順序で行われる。
１．視点座標系ｅで、視点Ｅから対象物１１の任意の点Ｏまでの直線と、表示部４の平面Ｄを、それぞれ、数式で表現する。視点座標系ｅとは、視点Ｅを原点としたときの座標系である。また、表示部４の平面Ｄは、表示部４の表面に相当する。
２．上記１の直線と平面との交点座標を求める。
尚、フロントカメラ６、リアカメラ３、表示部４は、それぞれの位置のキャリブレーションがされていて、平行の位置関係として取り扱うことができるものとする。
また、ｘｙｚ座標方向において、ｚ座標は、第２の面５から第１の面２に向かう方向に負の値を持つものとする。例えば、フロントカメラ６で検出される視点座標のｚ座標は常に負の値を持つ。撮影者Ｐが、表示部４が配置される第２の面５に対向し、リアカメラ３及びフロントカメラ６が表示部４より上側に位置するように表示装置１を縦方向で把持したときに、ｙ座標は、撮影者Ｐからみて上から下に向かう方向に正の値を持つものとし、ｘ座標は、撮影者Ｐからみて左から右に向かう方向に正の値を持つものとする。
１．視点座標系ｅで、視点Ｅから対象物１１の任意の点Ｏまでの直線と、表示部４の平面Ｄを、それぞれ、数式で表現する。視点座標系ｅとは、視点Ｅを原点としたときの座標系である。また、表示部４の平面Ｄは、表示部４の表面に相当する。
２．上記１の直線と平面との交点座標を求める。
尚、フロントカメラ６、リアカメラ３、表示部４は、それぞれの位置のキャリブレーションがされていて、平行の位置関係として取り扱うことができるものとする。
また、ｘｙｚ座標方向において、ｚ座標は、第２の面５から第１の面２に向かう方向に負の値を持つものとする。例えば、フロントカメラ６で検出される視点座標のｚ座標は常に負の値を持つ。撮影者Ｐが、表示部４が配置される第２の面５に対向し、リアカメラ３及びフロントカメラ６が表示部４より上側に位置するように表示装置１を縦方向で把持したときに、ｙ座標は、撮影者Ｐからみて上から下に向かう方向に正の値を持つものとし、ｘ座標は、撮影者Ｐからみて左から右に向かう方向に正の値を持つものとする。
【0031】
図及び以下の説明において、Ｏrはリアカメラ３の点Ｒを原点としたときの対象物１１の点Ｏのｘｙｚ座標値を示す。Ｏrx、Ｏry、Ｏrzは、それぞれ、リアカメラ３の点Ｒを原点としたときの対象物１１の点Ｏのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｏeは視点Ｅを原点としたときの対象物１１の点Ｏのｘｙｚ座標値を示す。Ｏex、Ｏey、Ｏezは、それぞれ、視点Ｅを原点としたときの対象物１１の点Ｏのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｄfはフロントカメラ６の点Ｆを原点としたときの平面Ｄ上の点のｘｙｚ座標値を示す。Ｄfx、Ｄfy、Ｄfzは、それぞれ、点Ｆを原点としたときの平面Ｄ上の点のｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｅfはフロントカメラ６の点Ｆを原点としたときの視点Ｅのｘｙｚ座標値を示す。Ｅfx、Ｅfy、Ｅfzは、それぞれ、点Ｆを原点としたときの視点Ｅのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ａfはフロントカメラ６の点Ｆを原点としたときの表示部原点Ａのｘｙｚ座標値を示す。Ａfx、Ａfy、Ａfzは、それぞれ、点Ｆを原点としたときの表示部原点Ａのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｆrはリアカメラ３の点Ｒを原点としたときのフロントカメラ６の点Ｆのｘｙｚ座標値を示す。Ｆrx、Ｆry、Ｆrzは、それぞれ、リアカメラ３の点Ｒを原点としたときのフロントカメラ６の点Ｆのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｏeは視点Ｅを原点としたときの対象物１１の点Ｏのｘｙｚ座標値を示す。Ｏex、Ｏey、Ｏezは、それぞれ、視点Ｅを原点としたときの対象物１１の点Ｏのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｄfはフロントカメラ６の点Ｆを原点としたときの平面Ｄ上の点のｘｙｚ座標値を示す。Ｄfx、Ｄfy、Ｄfzは、それぞれ、点Ｆを原点としたときの平面Ｄ上の点のｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｅfはフロントカメラ６の点Ｆを原点としたときの視点Ｅのｘｙｚ座標値を示す。Ｅfx、Ｅfy、Ｅfzは、それぞれ、点Ｆを原点としたときの視点Ｅのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ａfはフロントカメラ６の点Ｆを原点としたときの表示部原点Ａのｘｙｚ座標値を示す。Ａfx、Ａfy、Ａfzは、それぞれ、点Ｆを原点としたときの表示部原点Ａのｘ座標値、ｙ座標値、ｚ座標値を示す。
Ｆrはリアカメラ３の点Ｒを原点としたときのフロントカメラ６の点Ｆのｘｙｚ座標値を示す。Ｆrx、Ｆry、Ｆrzは、それぞれ、リアカメラ３の点Ｒを原点としたときのフロントカメラ６の点Ｆのｘ座標値、ｙ座標値、ｚ座標値を示す。
【0032】
まず、上記１について説明する。
視点座標系ｅにおける対象物の座標Ｏｅの式は、
Ｏe＝Ｏr－Ｆr－Ｅf
となり、視点座標系ｅにおける点Ｅから点Ｏまでの直線は、次の３つの式によって現すことができる。この３つの式を式（１）とする。
ｘ＝ａ（Ｏrx－Ｆrx－Ｅfx）
ｙ＝ａ（Ｏry－Ｆry－Ｅfy） …式（１）
ｚ＝ａ（Ｏrz－Ｆrz－Ｅfz）
ここで、ａは媒介変数を表す。
視点座標系ｅにおける対象物の座標Ｏｅの式は、
Ｏe＝Ｏr－Ｆr－Ｅf
となり、視点座標系ｅにおける点Ｅから点Ｏまでの直線は、次の３つの式によって現すことができる。この３つの式を式（１）とする。
ｘ＝ａ（Ｏrx－Ｆrx－Ｅfx）
ｙ＝ａ（Ｏry－Ｆry－Ｅfy） …式（１）
ｚ＝ａ（Ｏrz－Ｆrz－Ｅfz）
ここで、ａは媒介変数を表す。
【0033】
視点座標系ｅにおける平面Ｄの式は、
Ｄe＝－Ｅf＋Ａf＋Ｄf
となり、次の３つの式によって表すことができる。この３つの式を（２）とする。
ｘ＝－Ｅfx＋Ａfx＋Ｄfx
ｙ＝－Ｅfy＋Ａfy＋Ｄfy …式（２）
ｚ＝－Ｅfz＋Ａfz
Ｄe＝－Ｅf＋Ａf＋Ｄf
となり、次の３つの式によって表すことができる。この３つの式を（２）とする。
ｘ＝－Ｅfx＋Ａfx＋Ｄfx
ｙ＝－Ｅfy＋Ａfy＋Ｄfy …式（２）
ｚ＝－Ｅfz＋Ａfz
【0034】
次に、上記２について説明する。
（Ｄfx、Ｄfy）は表示部４上の座標（表示部座標という。）を示している。対象物１１の任意の点Ｏが写像される表示部座標を求める、つまり、（Ｄfx、Ｄfy）を対象物１１の任意の点Ｏを原点とする座標で表現する。これにより、リアカメラ３で得られる対象物１１のポイントクラウドが、表示部４のどの表示部座標値に写像されるかが算出されることになる。具体的な算出方法は以下の通りである。
上記式（１）と式（２）より、
ａ（Ｏrx－Ｆrx－Ｅfx）＝－Ｅfx＋Ａfx＋Ｄfx …式（３）
ａ（Ｏry－Ｆry－Ｅfy）＝－Ｅfy＋Ａfy＋Ｄfy …式（４）
ａ（Ｏrz－Ｆrz－Ｅfz）＝－Ｅfz＋Ａfz …式（５）
上記式（５）より
ａ＝（－Ｅfz＋Ａfz）/（Ｏrz－Ｆrz－Ｅfz） …式（６）
上記式（３）、式（４）及び式（６）より
Ｄfx＝（Ｏrx－Ｆrx－Ｅfx）（－Ｅfz＋Ａfz）/（Ｏrz－Ｆrz－Ｅfz）＋Ｅfx－Ａfx
Ｄfy＝（Ｏry－Ｆry－Ｅfy）（－Ｅfz＋Ａfz）/（Ｏrz－Ｆrz－Ｅfz）＋Ｅfy－Ａfy
このように、（Ｄfx、Ｄfy）を対象物１１の任意の点Ｏを原点とする座標で表現することができる。この座標変換処理により、リアカメラ３で得られる対象物１１のポイントクラウドの各点が、それぞれ、表示部４のどの表示部座標値に写像されるかが算出される。これを、対象物１１のポイントクラウドの全ての点で行うことによって、対象物１１を表示部４のどこに表示すればよいかがわかる。これにより、表示部４に表示される表示装置１の向こう側の景色の画像は、撮影者Ｐの視点Ｅからみた画像となる。従って、撮影者Pに、表示部４に表示される画像の景色と表示装置１の外側の景色とが連続してつながっているように視認させ、表示装置１の向こう側があたかも透けてみえているような感じを与えることができる。
（Ｄfx、Ｄfy）は表示部４上の座標（表示部座標という。）を示している。対象物１１の任意の点Ｏが写像される表示部座標を求める、つまり、（Ｄfx、Ｄfy）を対象物１１の任意の点Ｏを原点とする座標で表現する。これにより、リアカメラ３で得られる対象物１１のポイントクラウドが、表示部４のどの表示部座標値に写像されるかが算出されることになる。具体的な算出方法は以下の通りである。
上記式（１）と式（２）より、
ａ（Ｏrx－Ｆrx－Ｅfx）＝－Ｅfx＋Ａfx＋Ｄfx …式（３）
ａ（Ｏry－Ｆry－Ｅfy）＝－Ｅfy＋Ａfy＋Ｄfy …式（４）
ａ（Ｏrz－Ｆrz－Ｅfz）＝－Ｅfz＋Ａfz …式（５）
上記式（５）より
ａ＝（－Ｅfz＋Ａfz）/（Ｏrz－Ｆrz－Ｅfz） …式（６）
上記式（３）、式（４）及び式（６）より
Ｄfx＝（Ｏrx－Ｆrx－Ｅfx）（－Ｅfz＋Ａfz）/（Ｏrz－Ｆrz－Ｅfz）＋Ｅfx－Ａfx
Ｄfy＝（Ｏry－Ｆry－Ｅfy）（－Ｅfz＋Ａfz）/（Ｏrz－Ｆrz－Ｅfz）＋Ｅfy－Ａfy
このように、（Ｄfx、Ｄfy）を対象物１１の任意の点Ｏを原点とする座標で表現することができる。この座標変換処理により、リアカメラ３で得られる対象物１１のポイントクラウドの各点が、それぞれ、表示部４のどの表示部座標値に写像されるかが算出される。これを、対象物１１のポイントクラウドの全ての点で行うことによって、対象物１１を表示部４のどこに表示すればよいかがわかる。これにより、表示部４に表示される表示装置１の向こう側の景色の画像は、撮影者Ｐの視点Ｅからみた画像となる。従って、撮影者Pに、表示部４に表示される画像の景色と表示装置１の外側の景色とが連続してつながっているように視認させ、表示装置１の向こう側があたかも透けてみえているような感じを与えることができる。
【0035】
このように、座標変換処理では、撮影者Ｐの視点Ｅから対象物（被写体）のポイントクラウドの各点までの直線と、表示部４の平面との交点座標を点毎に算出し、被写体のポイントクラウドの各点が対応する交点座標に写像されるように表示画像が生成される。
【0036】
（オクルージョン補完処理）
座標変換処理前の画像のポイントクラウドデータを用いて、上記座標変換処理を行って、座標変換処理前の画像とは異なる視点の画像を生成する場合、生成された画像にオクルージョン領域が発生する。オクルージョン補完処理では、このオクルージョン領域を補完する処理が実行されて、最終的に表示部４に表示される表示画像が生成される。
座標変換処理前の画像のポイントクラウドデータを用いて、上記座標変換処理を行って、座標変換処理前の画像とは異なる視点の画像を生成する場合、生成された画像にオクルージョン領域が発生する。オクルージョン補完処理では、このオクルージョン領域を補完する処理が実行されて、最終的に表示部４に表示される表示画像が生成される。
【0037】
図８は、オクルージョン領域を説明するための図である。例えば、リアカメラ３を用いて被写体である人物１２を正面より左斜めの方向から撮影し画像を取得したとする。このリアカメラ３で取得された画像のポイントクラウドデータを用いて、上記座標変換処理を行って人物を正面からみた画像が生成された場合、図８（Ａ）に示すように、座標変換処理後の画像５２に、変換処理前の画像において人物１２が位置することによって隠れて見えなかった領域がオクルージョン領域８１として発生する。このオクルージョン領域８１は、ポイントクラウドデータが存在せず、画像の生成をすることができない領域である。図８（Ａ）では、オクルージョン領域８１を斜線で示している。
このオクルージョン領域８１を補完することにより、図８（Ｂ）に示すように、欠落していたオクルージョン領域８１の画像が補完された表示画像５３が生成される。これにより、違和感のない表示画像を得ることができ、臨場感、没入感を高めることができる。
このオクルージョン領域８１を補完することにより、図８（Ｂ）に示すように、欠落していたオクルージョン領域８１の画像が補完された表示画像５３が生成される。これにより、違和感のない表示画像を得ることができ、臨場感、没入感を高めることができる。
【0038】
オクルージョン領域の補完処理には、例えば画像生成モデルＧＡＮ（Generative Adversarial Networks）等の画像補正処理を用いることができる。
また、時系列画像データが入力される場合は、時系列情報を利用するＤＶＤ－ＧＡＮ（Dual Video Discriminator GAN）の手法を応用することができる。この手法では、従来の１フレーム単位のＧＡＮではなく、前後フレームの情報を活用できるため、より精度高くオクルージョン領域を補完することができ、より違和感のない表示画像を得ることができる。例えば、以前カメラに撮影されていた領域がオクルージョン領域となった場合に、過去に撮影された画像情報を活用することができる。
また、時系列画像データが入力される場合は、時系列情報を利用するＤＶＤ－ＧＡＮ（Dual Video Discriminator GAN）の手法を応用することができる。この手法では、従来の１フレーム単位のＧＡＮではなく、前後フレームの情報を活用できるため、より精度高くオクルージョン領域を補完することができ、より違和感のない表示画像を得ることができる。例えば、以前カメラに撮影されていた領域がオクルージョン領域となった場合に、過去に撮影された画像情報を活用することができる。
【0039】
以上のように、本実施形態では、フロントカメラ６の距離画像、リアカメラ３の距離画像及びＲＧＢ画像を利用して、リアカメラ３の画像センサにより取得されたリアカメラ３が視点となっている視野画像を、撮影者の視点が基準となった視野画像に変換して表示画像とすることができる。
【0040】
尚、カメラ３及び６が表示部４よりも上側に位置するように表示装置１を縦向きに把持した場合を例にあげて表示画像生成方法の説明をしたが、表示装置１を横向きに把持した場合にも本技術を適用できる。カメラの向きにかかわらず、カメラ３及び６の座標系の相対的な向きや表示部原点Ａの位置を変えることなく、前述の計算方法で表示画像を得ることができる。
【0041】
＜第２の実施形態＞
本実施形態では、本技術の表示装置１によって向こう側を撮影した画像に、重畳用画像を重畳する例について説明する。ここでは重畳用画像が仮想物体である例について説明する。
図９及び１０は、撮影者Ｐが左手２１で表示装置１を把持している様子を示す。図９の表示装置１の表示部４には、表示装置１の向こう側を撮影した画像にクマの形態の仮想物体８５が重畳表示された表示画像５４が表示されている。図１０の表示装置１の表示部４には、表示装置１の向こう側を撮影した画像に、仮想物体８５が重畳表示された表示画像５５が表示されている。図１０において、撮影者Ｐは、仮想物体８５が重畳された表示画像５５を見て、表示画像５５内の仮想物体８５を空間内で、右手２２で指し示している。
本実施形態では、本技術の表示装置１によって向こう側を撮影した画像に、重畳用画像を重畳する例について説明する。ここでは重畳用画像が仮想物体である例について説明する。
図９及び１０は、撮影者Ｐが左手２１で表示装置１を把持している様子を示す。図９の表示装置１の表示部４には、表示装置１の向こう側を撮影した画像にクマの形態の仮想物体８５が重畳表示された表示画像５４が表示されている。図１０の表示装置１の表示部４には、表示装置１の向こう側を撮影した画像に、仮想物体８５が重畳表示された表示画像５５が表示されている。図１０において、撮影者Ｐは、仮想物体８５が重畳された表示画像５５を見て、表示画像５５内の仮想物体８５を空間内で、右手２２で指し示している。
【0042】
このように、上記の表示画像生成方法により生成された表示画像に、仮想物体８５が重畳されて表示画像が生成されてもよい。
仮想物体８５は、仮想空間における仮想的なオブジェクトである。本実施形態では、表示装置１のリアカメラ３によって撮影された実存する被写体の画像に仮想物体８５が重畳された表示画像が表示部４に表示される。図９及び１０に示すように、表示装置１の向こう側の景色１３と連続して繋がっているようにみえる画像上に仮想物体８５が重畳されて表示画像が生成されるので、撮影者Ｐは、仮想物体８５が実在空間に存在するかのように感じることができ、ＡＲの世界への高い没入感及び臨場感を味わうことができる。
また、図１０に示すように、撮影者Ｐは、右手２２で仮想物体８５を指し示した際、表示画像５５内の右手部分２２ａと表示装置１よりも外側に位置する右手部分２２ｂとが連続して繋がっているように視認されるので、よりリアルに仮想物体８５に触れているように感じることができる。
仮想物体８５は、仮想空間における仮想的なオブジェクトである。本実施形態では、表示装置１のリアカメラ３によって撮影された実存する被写体の画像に仮想物体８５が重畳された表示画像が表示部４に表示される。図９及び１０に示すように、表示装置１の向こう側の景色１３と連続して繋がっているようにみえる画像上に仮想物体８５が重畳されて表示画像が生成されるので、撮影者Ｐは、仮想物体８５が実在空間に存在するかのように感じることができ、ＡＲの世界への高い没入感及び臨場感を味わうことができる。
また、図１０に示すように、撮影者Ｐは、右手２２で仮想物体８５を指し示した際、表示画像５５内の右手部分２２ａと表示装置１よりも外側に位置する右手部分２２ｂとが連続して繋がっているように視認されるので、よりリアルに仮想物体８５に触れているように感じることができる。
【0043】
図１０に示すように、仮想物体８５を重畳表示した表示画像を見て撮影者の指による操作が行われることが想定される場合、次のように表示画像を生成してもよい。すなわち、上記の表示画像生成により生成された表示画像に映り込んだ手の領域を抽出し、リアカメラ３で得られる手の領域の距離情報と仮想物体８５の位置に応じて、手の領域の一部が仮想物体８５に接触する場合は、それに応じて仮想物体８５が変形したり、移動したりするような表示画像を生成してもよい。
これにより、撮影者は、ＡＲの世界へのより高い没入感及び臨場感を味わうことができる。
これにより、撮影者は、ＡＲの世界へのより高い没入感及び臨場感を味わうことができる。
【0044】
＜第３の実施形態＞
画像生成部７は、撮影者Ｐの視点と表示部との距離に応じて、表示画像に重畳する仮想画像の表示内容を変化させてもよい。以下、図１１を用いて説明する。ここでは重畳用画像が文字画像である例について説明する。
画像生成部７は、撮影者Ｐの視点と表示部との距離に応じて、表示画像に重畳する仮想画像の表示内容を変化させてもよい。以下、図１１を用いて説明する。ここでは重畳用画像が文字画像である例について説明する。
【0045】
図１１（Ａ）及び（Ｂ）は、撮影者Ｐが表示装置１のリアカメラ３を用いてお盆の上に置かれている複数枚の料理がのった皿を撮影したときの、撮影者の様子及び表示装置１の表示部４に表示される表示画像５６及び５７の例を示す。
図１１（Ａ）の表示画像５６は、撮影者Ｐが、表示装置１を目から離して皿に近づけて撮影したときの表示部４に表示される画像である。
図１１（Ｂ）の表示画像５７は、撮影者Ｐが、表示装置１を目に近づけ皿から離して撮影したときの表示部４に表示される画像である。
図１１（Ａ）に示す表示装置１を皿に近づけて撮影した画像では、図１１（Ｂ）に示す表示装置１を皿から遠ざけて撮影した画像よりも、被写体である複数枚の皿が拡大したような画像となる。
本実施形態においても、上述の実施形態と同様に、撮影者Ｐの視点からみた画像が生成され、表示部４に表示される向こう側の景色と表示装置１の存在によって妨げられない表示装置１の外側の景色とが連続して繋がっているように見えるように、表示画像が生成される。
図１１（Ａ）の表示画像５６は、撮影者Ｐが、表示装置１を目から離して皿に近づけて撮影したときの表示部４に表示される画像である。
図１１（Ｂ）の表示画像５７は、撮影者Ｐが、表示装置１を目に近づけ皿から離して撮影したときの表示部４に表示される画像である。
図１１（Ａ）に示す表示装置１を皿に近づけて撮影した画像では、図１１（Ｂ）に示す表示装置１を皿から遠ざけて撮影した画像よりも、被写体である複数枚の皿が拡大したような画像となる。
本実施形態においても、上述の実施形態と同様に、撮影者Ｐの視点からみた画像が生成され、表示部４に表示される向こう側の景色と表示装置１の存在によって妨げられない表示装置１の外側の景色とが連続して繋がっているように見えるように、表示画像が生成される。
【0046】
撮影者Ｐの視点と表示部４との距離は、第１の実施形態で説明した視点の三次元位置算出処理により求めることができる。本実施形態では、算出された距離が予め設定した閾値以上である場合、図１１（Ａ）に示すように、各皿に盛りつけられた食物の名前の文字画像８６を重畳させて表示画像５６が生成される。そして、算出された距離が閾値未満である場合、図１１（Ｂ）に示すように、食物の名前の文字画像８６に加えてカロリー情報やアレルギー情報といった食物情報を示す文字画像８７を重畳させて表示画像５７が生成される。
また、図１１（Ａ）及び（Ｂ）に示す例では、撮影者Ｐの視点と表示部との距離に応じて、表示内容を変化させる他、文字画像の大きさを変化させている。
図１１（Ａ）と比較して、図１１（Ｂ）に示す例では、撮影者Ｐは表示装置１に目を近づけて表示部４を見ているため、比較的小さい文字であっても撮影者Ｐは読むことができる。また、小さい文字で表示するため、より多くの情報を表示することができる。一方、図１１（Ａ）においては、皿に盛りつけられた食物の内容情報をより少なくし、文字を大きくすることによって、撮影者Ｐは、表示装置１から目を離していても、おおまかな食物の内容情報を把握することができる。
また、図１１（Ａ）及び（Ｂ）に示す例では、撮影者Ｐの視点と表示部との距離に応じて、表示内容を変化させる他、文字画像の大きさを変化させている。
図１１（Ａ）と比較して、図１１（Ｂ）に示す例では、撮影者Ｐは表示装置１に目を近づけて表示部４を見ているため、比較的小さい文字であっても撮影者Ｐは読むことができる。また、小さい文字で表示するため、より多くの情報を表示することができる。一方、図１１（Ａ）においては、皿に盛りつけられた食物の内容情報をより少なくし、文字を大きくすることによって、撮影者Ｐは、表示装置１から目を離していても、おおまかな食物の内容情報を把握することができる。
【0047】
このように、画像生成部７は、撮影者Ｐの視点と表示部との距離に応じて、重畳用画像の表示内容情報を変化させて、表示画像を生成してもよい。なお、重畳用画像の表示内容の変化には、表示される情報内容が異なる場合の他、情報内容が同じであっても表示される重畳用画像の大きさ（ここでは文字の大きさ）が異なる場合も含まれる。
また、本実施形態では、表示装置１が透けて向こう側が見えるような表示画像が表示され、更に、文字画像が重畳されることにより、直視で視認した食物上にその名前や食物情報を示す文字が置かれているように視認される。
また、本実施形態では、表示装置１が透けて向こう側が見えるような表示画像が表示され、更に、文字画像が重畳されることにより、直視で視認した食物上にその名前や食物情報を示す文字が置かれているように視認される。
【0048】
＜第４の実施形態＞
第３の実施形態においては、視点と表示部４との距離に応じて重畳用画像の表示内容を変化させる例をあげた。この他、ユーザの視線方向を推定し、推定した視線方向に応じて重畳用画像の表示内容を変化させてもよい。以下、図１１（Ｂ）、図１２及び１３を用いて説明する。
第３の実施形態においては、視点と表示部４との距離に応じて重畳用画像の表示内容を変化させる例をあげた。この他、ユーザの視線方向を推定し、推定した視線方向に応じて重畳用画像の表示内容を変化させてもよい。以下、図１１（Ｂ）、図１２及び１３を用いて説明する。
【0049】
図１２を用いて、フロントカメラ６で撮影して得た距離画像又はＲＧＢ画像から視線検出を行う処理の例について説明する。図１２において、ドットで示す領域は目の中心に瞳があるときの瞳の領域を示す。視線検出処理は、図示しない視線検出処理部により行われる。
視線検出処理部により、画像から撮影者の顔が検出され、顔の左右の目の位置が画像認識処理で検出される。さらに、その画像認識処理で検出した目の中の瞳の位置に基づいて、視線検出が行なわれる。一般に、意識せず目を動かす場合、左右の目のそれぞれの瞳は同じ挙動を示す。例えば顔を動かさず、視線を上方向に向ける場合、左右の目のそれぞれの瞳は上方向に移動する。したがって、開いている１つの目の瞳の位置によって視線検出を行うことができる。
視線検出処理部により、画像から撮影者の顔が検出され、顔の左右の目の位置が画像認識処理で検出される。さらに、その画像認識処理で検出した目の中の瞳の位置に基づいて、視線検出が行なわれる。一般に、意識せず目を動かす場合、左右の目のそれぞれの瞳は同じ挙動を示す。例えば顔を動かさず、視線を上方向に向ける場合、左右の目のそれぞれの瞳は上方向に移動する。したがって、開いている１つの目の瞳の位置によって視線検出を行うことができる。
【0050】
図１２に示すように、目の中心に瞳がある状態９０が画像認識で検出された場合、視線は中心方向であるとする。目の左側に瞳がある状態９１が画像認識で検出された場合、視線が左方向であるとする。目の右側に瞳がある状態９２が画像認識で検出された場合、視線が右方向であるとする。目の上側に瞳がある状態９３が画像認識で検出された場合、視線が上方向であるとする。目の下側に瞳がある状態９４が画像認識で検出された場合、視線が下方向であるとする。
【0051】
図１３は、撮影者の視線方向に応じて重畳用画像の表示内容を変化させて生成した表示画像例である。
例えば、視線方向が中心方向である場合、図１１（Ｂ）に示すように、全ての各皿に対応して、食物の名前を示す文字画像８６と食物情報を示す文字画像８７が重畳される。
一方、視線方向が上方向である場合、撮影者Ｐは表示画像の上部分に注目しているとみなして、図１３に示すように、表示画像の上方に位置する焼き鮭、豆腐、ポークソテーの皿に対応して、食物の名前の文字画像８６と食物情報を示す文字画像８７を重畳させ、より詳細な情報を表示する。一方、表示画像５８の下方に位置するご飯、漬物、みそ汁の皿や表示画像５８の上下方向における中央部に位置するサラダやカスタードプリンの皿には、食物の名前を示す文字画像８６のみを重畳させ、簡素化した情報を表示する。このように、撮影者Ｐの視線に応じて、重畳画像の表示内容を異ならせてもよい。
例えば、視線方向が中心方向である場合、図１１（Ｂ）に示すように、全ての各皿に対応して、食物の名前を示す文字画像８６と食物情報を示す文字画像８７が重畳される。
一方、視線方向が上方向である場合、撮影者Ｐは表示画像の上部分に注目しているとみなして、図１３に示すように、表示画像の上方に位置する焼き鮭、豆腐、ポークソテーの皿に対応して、食物の名前の文字画像８６と食物情報を示す文字画像８７を重畳させ、より詳細な情報を表示する。一方、表示画像５８の下方に位置するご飯、漬物、みそ汁の皿や表示画像５８の上下方向における中央部に位置するサラダやカスタードプリンの皿には、食物の名前を示す文字画像８６のみを重畳させ、簡素化した情報を表示する。このように、撮影者Ｐの視線に応じて、重畳画像の表示内容を異ならせてもよい。
【0052】
＜第５の実施形態＞
上述の実施形態においては、左右の目が開いているときは、左右の目の中心を視点とし、片目が閉じているときは開いているもう一方の片目の中心を視点として、表示画像を生成する例をあげた。本技術は、本実施形態で説明するように、表示部４により左右の目に異なる画像を提示する両眼立体視に適用することもできる。以下、図１４を用いて説明する。
上述の実施形態においては、左右の目が開いているときは、左右の目の中心を視点とし、片目が閉じているときは開いているもう一方の片目の中心を視点として、表示画像を生成する例をあげた。本技術は、本実施形態で説明するように、表示部４により左右の目に異なる画像を提示する両眼立体視に適用することもできる。以下、図１４を用いて説明する。
【0053】
図１４は、両眼立体視を説明する模式図である。
本実施形態では、画像生成部７により、フロントカメラ６で得られた距離画像を用いて、上記実施形態と同様の手法で、左目９Ｌの左目用視点ＥＬと右目９Ｒの右目用視点ＥＲの三次元位置がそれぞれ算出される。各目の瞳の中心を視点Ｅとする。
更に、画像生成部７により、左目用視点ＥＬ及び右目用視点ＥＲを用いて、上記実施形態と同様に座標変換処理、オクルージョン補完処理が行われ、左目用表示画像と右目用表示画像が生成される。
本実施形態では、画像生成部７により、フロントカメラ６で得られた距離画像を用いて、上記実施形態と同様の手法で、左目９Ｌの左目用視点ＥＬと右目９Ｒの右目用視点ＥＲの三次元位置がそれぞれ算出される。各目の瞳の中心を視点Ｅとする。
更に、画像生成部７により、左目用視点ＥＬ及び右目用視点ＥＲを用いて、上記実施形態と同様に座標変換処理、オクルージョン補完処理が行われ、左目用表示画像と右目用表示画像が生成される。
【0054】
立体表示を実現するには、表示部４にレンチキュラレンズを組み合わせたレンチキュラ方式やパララックスバリアを用いるパララックスバリア方式等がある。ここでは、パララックスバリア方式を例にあげて説明する。
パララックスバリアは、垂直スリットを水平方向に並べたスリットアレイであり、表示部４上にリソグラフィ等で作製可能である。表示部４から出る光線の水平進行方向をパララックスバリアのスリットで制限することで、光線の水平進行方向を制御することができる。表示部４を構成する複数の表示画素は、左目用表示画像を表示する表示画素、右目用表示画像を表示する表示画素が交互に水平方向に繰り返して配置される。
パララックスバリアは、垂直スリットを水平方向に並べたスリットアレイであり、表示部４上にリソグラフィ等で作製可能である。表示部４から出る光線の水平進行方向をパララックスバリアのスリットで制限することで、光線の水平進行方向を制御することができる。表示部４を構成する複数の表示画素は、左目用表示画像を表示する表示画素、右目用表示画像を表示する表示画素が交互に水平方向に繰り返して配置される。
【0055】
このように、表示装置を立体表示可能な構成とすることにより、更に、撮影者Ｐは、ＡＲの世界への高い没入感及び臨場感を味わうことができる。
【0056】
＜他の構成例＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、座標変換処理時には対象物や視点の位置と表示装置の相対位置関係を認識する必要がある。上記実施形態では、相対位置関係を認識する際、画像認識の結果を用いる例をあげたが、これに加えて、表示装置１に搭載される第３のセンサとしてのＩＭＵ（inertial measurement unit）から取得される表示装置１の位置姿勢情報を用いてもよい。これにより、よりレスポンスの高い画像表示を実現することができる。また、ＳＬＡＭ（Simultaneous Localization and Mapping）を用いて推定した表示装置の自己位置姿勢情報を用いてもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、座標変換処理時には対象物や視点の位置と表示装置の相対位置関係を認識する必要がある。上記実施形態では、相対位置関係を認識する際、画像認識の結果を用いる例をあげたが、これに加えて、表示装置１に搭載される第３のセンサとしてのＩＭＵ（inertial measurement unit）から取得される表示装置１の位置姿勢情報を用いてもよい。これにより、よりレスポンスの高い画像表示を実現することができる。また、ＳＬＡＭ（Simultaneous Localization and Mapping）を用いて推定した表示装置の自己位置姿勢情報を用いてもよい。
【0057】
また、上述の実施形態では、画像センサと距離センサの双方を備えたカメラを例にあげて説明したが、画像センサと距離センサとを別々に設けてもよい。この場合、画像センサと距離センサとは近接して配置される。画像センサと距離センサとを別々に設ける場合、表示画像生成方法での座標変換処理は、画像センサと距離センサとの位置関係を考慮して行われる。例えば、計算の簡略化のため、リアカメラの画像センサはリアカメラの距離センサと別途キャリブレーションされていて、ＲＧＢ値は距離値にマッピングされてポイントクラウドが得られているものとして、距離センサ座標系のみ計算対象とすることができる。
【0058】
また、例えば、上述の実施形態において、視点の三次元位置を算出する際、フロントカメラ６のＴｏＦ方式の距離センサから得られる距離画像を用いたが、これに限定されない。ＴｏＦ方式の距離センサから得られるセンシング結果である距離画像には、距離情報と撮影者の目の二次元位置情報の双方が含まれている。視点の三次元位置の算出には、これら距離情報と撮影者の目の二次元位置情報があればよい。これらの情報は、同一のセンサで取得してもよいし、異なるセンサでそれぞれの情報を取得してもよい。
例えば、距離情報と撮影者の目の二次元位置情報の取得に、第２のセンサとして、ストラクチャードライトセンサやパターンドステレオセンサ等の距離センサを用いてもよい。或いは、第２のセンサとして２台のカメラ（画像センサ）を用いるステレオカメラを用いてもよい。距離情報を取得するセンサとは別に目の二次元位置情報を取得するセンサを設けてもよく、距離情報及び撮影者の目の二次元位置情報を取得する第２のセンサは、１以上のセンサから構成されてもよい。
尚、例えば、画像内の物体のテクスチャが少ない場合、ＴｏＦ方式の方が、ストラクチャードライトセンサ、パターンドステレオセンサ及びステレオカメラよりもオクルージョン領域が少なくなる。このため、違和感のない表示画像を安定して生成する観点においてＴｏＦ方式の距離センサを用いることがより好ましい。
例えば、距離情報と撮影者の目の二次元位置情報の取得に、第２のセンサとして、ストラクチャードライトセンサやパターンドステレオセンサ等の距離センサを用いてもよい。或いは、第２のセンサとして２台のカメラ（画像センサ）を用いるステレオカメラを用いてもよい。距離情報を取得するセンサとは別に目の二次元位置情報を取得するセンサを設けてもよく、距離情報及び撮影者の目の二次元位置情報を取得する第２のセンサは、１以上のセンサから構成されてもよい。
尚、例えば、画像内の物体のテクスチャが少ない場合、ＴｏＦ方式の方が、ストラクチャードライトセンサ、パターンドステレオセンサ及びステレオカメラよりもオクルージョン領域が少なくなる。このため、違和感のない表示画像を安定して生成する観点においてＴｏＦ方式の距離センサを用いることがより好ましい。
【0059】
また、例えば、上述の実施形態において、視点の三次元位置を算出する際、フロントカメラ６で取得される距離画像を用いて顔検出と左右目の瞳の二次元位置の検出を行う例をあげたが、これに限定されない。フロントカメラ６の画像センサで取得されるＲＧＢ画像を用いて顔検出と左右目の瞳の二次元位置の検出を行ってもよい。
【0060】
また、上述の実施形態においては、重畳用画像として仮想物体や文字画像を例にあげたが、これらに限定されない。例えば、実際に撮影した画像から切り出した物体領域等を重畳用画像として用いてもよいし、切り出した物体領域等の色を変える等の加工を施したものを重畳用画像としてもよい。
【0061】
また、ＡＲで部屋に固定された仮想物体を表示する場合においても本技術を適用することができ、より現実的な仮想物体の大きさ感を撮影者は味わうことができる。
【0062】
なお、本技術は以下のような構成もとることができる。
（１）
装置本体の第１の面側に配置された第１の画像センサと、
上記第１の面側に配置された第１の距離センサと、
上記第１の面と反対側の第２の面側に配置された第２のセンサと、
上記第２の面側に配置された表示部と、
上記第２のセンサで取得されたセンシング結果に基づいて算出された撮影者の視点の三次元位置情報に基づき、上記第１の画像センサにより取得された被写体の二次元画像と上記第１の距離センサにより取得された上記被写体の距離画像を用いて、上記表示部に表示する表示画像を生成する画像生成部
を具備する表示装置。
（２）
上記（１）に記載の表示装置であって、
上記画像生成部は、上記二次元画像及び上記距離画像により得られる上記被写体のポイントクラウドを座標変換して、上記撮影者の視点からみた上記表示画像を生成する
表示装置。
（３）
上記（２）に記載の表示装置であって、
上記画像生成部は、上記撮影者の視点の三次元位置を原点として、上記視点から上記被写体のポイントクラウドの各点までの直線と上記表示部の平面との交点座標を算出し、上記被写体のポイントクラウドの各点が対応する上記交点座標に写像されるように上記ポイントクラウドを座標変換して上記表示画像を生成する
表示装置。
（４）
上記（２）又は（３）に記載の表示装置であって、
上記画像生成部は、座標変換して生成された上記撮影者の視点からみた画像におけるオクルージョン領域を補完して、上記表示画像を生成する
表示装置。
（５）
上記（２）～（４）のいずれか１つに記載の表示装置であって、
上記表示装置の位置姿勢情報を取得する第３のセンサを更に具備し、
上記画像生成部は、上記位置姿勢情報を用いて上記表示画像を生成する
表示装置。
（６）
上記（２）～（５）のいずれか１つに記載の表示装置であって、
上記画像生成部は、上記第２のセンサのセンシング結果から上記撮影者の視点の三次元位置情報を算出する際、上記撮影者の目の開閉状態に応じて上記視点の三次元位置情報を算出する
表示装置。
（７）
上記（６）に記載の表示装置であって、
上記画像生成部は、上記撮影者の一方の目が閉じられている場合は開いている他方の目を視点とし、上記撮影者の両目が開いている場合は両目を結んだ線分の中心を視点として上記三次元位置情報を算出する
表示装置。
（８）
上記（２）～（７）のいずれか１つに記載の表示装置であって、
上記画像生成部は、上記撮影者の左右の目それぞれの位置を視点として生成した右目用画像と左目用画像を用いて上記表示画像を生成する
表示装置。
（９）
上記（２）～（８）のいずれか１つに記載の表示装置であって、
上記画像生成部は、重畳用画像を重畳した上記表示画像を生成する
表示装置。
（１０）
上記（９）に記載の表示装置であって、
上記画像生成部は、上記撮影者の視点と上記表示部との距離に応じて表示内容を変化させた重畳用画像を重畳した上記表示画像を生成する
表示装置。
（１１）
上記（９）に記載の表示装置であって、
上記画像生成部は、上記撮影者の視線に応じて表示内容を変化させた重畳用画像を重畳した上記表示画像を生成する
表示装置。
（１２）
上記（１）～（１１）のいずれか１つに記載の表示装置であって、
上記第２のセンサで取得されるセンシング結果には、距離情報及び上記撮影者の目の二次元位置情報が含まれる
表示装置。
（１３）
上記（１２）に記載の表示装置であって、
上記第２のセンサはＴｏＦ（Time of Flight）センサである
表示装置。
（１４）
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部と、を備える表示装置の、上記第１の画像センサから被写体の二次元画像を取得し、
上記第１の距離センサから上記被写体の距離画像を取得し、
上記第２のセンサのセンシング結果を取得し、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出し、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成する
画像生成方法。
（１５）
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部を備える表示装置の上記第１の画像センサから被写体の二次元画像を取得するステップと、
上記第１の距離センサから上記被写体の距離画像を取得するステップと、
上記第２のセンサのセンシング結果を取得するステップと、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出するステップと、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成するステップ
を表示装置に実行させるプログラム。
（１）
装置本体の第１の面側に配置された第１の画像センサと、
上記第１の面側に配置された第１の距離センサと、
上記第１の面と反対側の第２の面側に配置された第２のセンサと、
上記第２の面側に配置された表示部と、
上記第２のセンサで取得されたセンシング結果に基づいて算出された撮影者の視点の三次元位置情報に基づき、上記第１の画像センサにより取得された被写体の二次元画像と上記第１の距離センサにより取得された上記被写体の距離画像を用いて、上記表示部に表示する表示画像を生成する画像生成部
を具備する表示装置。
（２）
上記（１）に記載の表示装置であって、
上記画像生成部は、上記二次元画像及び上記距離画像により得られる上記被写体のポイントクラウドを座標変換して、上記撮影者の視点からみた上記表示画像を生成する
表示装置。
（３）
上記（２）に記載の表示装置であって、
上記画像生成部は、上記撮影者の視点の三次元位置を原点として、上記視点から上記被写体のポイントクラウドの各点までの直線と上記表示部の平面との交点座標を算出し、上記被写体のポイントクラウドの各点が対応する上記交点座標に写像されるように上記ポイントクラウドを座標変換して上記表示画像を生成する
表示装置。
（４）
上記（２）又は（３）に記載の表示装置であって、
上記画像生成部は、座標変換して生成された上記撮影者の視点からみた画像におけるオクルージョン領域を補完して、上記表示画像を生成する
表示装置。
（５）
上記（２）～（４）のいずれか１つに記載の表示装置であって、
上記表示装置の位置姿勢情報を取得する第３のセンサを更に具備し、
上記画像生成部は、上記位置姿勢情報を用いて上記表示画像を生成する
表示装置。
（６）
上記（２）～（５）のいずれか１つに記載の表示装置であって、
上記画像生成部は、上記第２のセンサのセンシング結果から上記撮影者の視点の三次元位置情報を算出する際、上記撮影者の目の開閉状態に応じて上記視点の三次元位置情報を算出する
表示装置。
（７）
上記（６）に記載の表示装置であって、
上記画像生成部は、上記撮影者の一方の目が閉じられている場合は開いている他方の目を視点とし、上記撮影者の両目が開いている場合は両目を結んだ線分の中心を視点として上記三次元位置情報を算出する
表示装置。
（８）
上記（２）～（７）のいずれか１つに記載の表示装置であって、
上記画像生成部は、上記撮影者の左右の目それぞれの位置を視点として生成した右目用画像と左目用画像を用いて上記表示画像を生成する
表示装置。
（９）
上記（２）～（８）のいずれか１つに記載の表示装置であって、
上記画像生成部は、重畳用画像を重畳した上記表示画像を生成する
表示装置。
（１０）
上記（９）に記載の表示装置であって、
上記画像生成部は、上記撮影者の視点と上記表示部との距離に応じて表示内容を変化させた重畳用画像を重畳した上記表示画像を生成する
表示装置。
（１１）
上記（９）に記載の表示装置であって、
上記画像生成部は、上記撮影者の視線に応じて表示内容を変化させた重畳用画像を重畳した上記表示画像を生成する
表示装置。
（１２）
上記（１）～（１１）のいずれか１つに記載の表示装置であって、
上記第２のセンサで取得されるセンシング結果には、距離情報及び上記撮影者の目の二次元位置情報が含まれる
表示装置。
（１３）
上記（１２）に記載の表示装置であって、
上記第２のセンサはＴｏＦ（Time of Flight）センサである
表示装置。
（１４）
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部と、を備える表示装置の、上記第１の画像センサから被写体の二次元画像を取得し、
上記第１の距離センサから上記被写体の距離画像を取得し、
上記第２のセンサのセンシング結果を取得し、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出し、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成する
画像生成方法。
（１５）
装置本体の第１の面側に配置された第１の画像センサと、上記第１の面側に配置された第１の距離センサと、上記第１の面と反対側の第２の面側に配置された第２のセンサと、上記第２の面側に配置された表示部を備える表示装置の上記第１の画像センサから被写体の二次元画像を取得するステップと、
上記第１の距離センサから上記被写体の距離画像を取得するステップと、
上記第２のセンサのセンシング結果を取得するステップと、
上記センシング結果に基づいて撮影者の視点の三次元位置情報を算出するステップと、
上記三次元位置情報に基づいて、上記二次元画像と上記距離画像を用いて、上記表示部に表示する表示画像を生成するステップ
を表示装置に実行させるプログラム。
【符号の説明】
【0063】
１…表示装置
２…第１の面
３…リアカメラ（第１の画像センサ、第１の距離センサ）
４…表示部
５…第２の面
６…フロントカメラ（第２のセンサ）
７…画像生成部
Ｅ…視点
Ｐ…撮影者
９Ｌ…左目
９Ｒ…右目
１１…対象物（被写体）
５１、５３、５４～５８…表示画像
８１…オクルージョン領域
８５…仮想物体（重畳用画像）
８６、８７…文字画像（重畳用画像）
２…第１の面
３…リアカメラ（第１の画像センサ、第１の距離センサ）
４…表示部
５…第２の面
６…フロントカメラ（第２のセンサ）
７…画像生成部
Ｅ…視点
Ｐ…撮影者
９Ｌ…左目
９Ｒ…右目
１１…対象物（被写体）
５１、５３、５４～５８…表示画像
８１…オクルージョン領域
８５…仮想物体（重畳用画像）
８６、８７…文字画像（重畳用画像）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】