特開 2023-178093 表示装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178093

(43)【公開日】2023-12-14

(54)【発明の名称】表示装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 13/344 20180101AFI20231207BHJP

   H04N 13/383 20180101ALI20231207BHJP

   H04N 13/128 20180101ALI20231207BHJP

   H04N 13/239 20180101ALI20231207BHJP

   H04N 5/64 20060101ALI20231207BHJP

   G09G 5/00 20060101ALI20231207BHJP

   G09G 5/36 20060101ALI20231207BHJP

【ＦＩ】

H04N13/344

H04N13/383

H04N13/128

H04N13/239

H04N5/64 511A

G09G5/00 550C

G09G5/36 510V

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022091156

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】鈴木 総一郎

【テーマコード（参考）】

5C061

5C182

【Ｆターム（参考）】

5C061AA01

5C061AB14

5C061AB18

5C182AA02

5C182AA05

5C182AA22

5C182AA26

5C182AA31

5C182AB35

5C182AC02

5C182AC03

5C182AC46

5C182BA01

5C182BA14

5C182BA29

5C182BA56

5C182CB12

5C182CB42

5C182CB47

5C182CC24

5C182DA02

5C182DA04

5C182DA14

(57)【要約】

【課題】 メニューアイコン等の虚像を、ユーザーがより鮮明に見ることが可能な表示装置を提供すること。
【解決手段】 表示する虚像の奥行き位置を制御する表示装置であって、画像から奥行き情報を取得する第１の取得手段と、ユーザーの両眼の輻輳情報を取得する第２の取得手段と、前記虚像の奥行き位置を決定する奥行き決定手段と、を有し、前記奥行き決定手段は、前記第１の取得手段で取得した奥行き情報に基づいて奥行き位置を決定する第１の決定手段と、前記第２の取得手段で取得した輻輳情報に基づいて奥行き位置を決定する第２の決定手段と、を有し、表示する虚像に応じて、前記第１の決定手段と第２の決定手段とを切り替えて、奥行き位置を決定する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

表示する虚像の奥行き位置を制御する表示装置であって、
画像から奥行き情報を取得する第１の取得手段と、
ユーザーの両眼の輻輳情報を取得する第２の取得手段と、
前記虚像の奥行き位置を決定する奥行き決定手段と、を有し、
前記奥行き決定手段は、
前記第１の取得手段で取得した奥行き情報に基づいて奥行き位置を決定する第１の決定手段と、
前記第２の取得手段で取得した輻輳情報に基づいて奥行き位置を決定する第２の決定手段と、を有し、
表示する虚像に応じて、前記第１の決定手段と第２の決定手段とを切り替えて、奥行き位置を決定する
ことを特徴とする表示装置。

【請求項2】

画像を撮像する撮像手段を有し、
前記第１の取得手段は、前記撮像手段が撮像した画像に基づいて、奥行き情報を取得する
ことを特徴とする請求項１に記載の表示装置。

【請求項3】

前記撮像手段が撮像した画像から被写体を検出する被写体検出手段を有し、
前記第１の取得手段は、前記被写体の奥行き情報を取得する
ことを特徴とする請求項２に記載の表示装置。

【請求項4】

前記第１の決定手段は、前記第１の取得手段が取得した奥行き位置から所定の距離範囲内の位置を前記虚像の奥行き位置とする
ことを特徴とする請求項１に記載の表示装置。

【請求項5】

前記第２の決定手段は、前記第２の取得手段が取得した輻輳位置から所定の距離範囲内の位置を前記虚像の奥行き位置とする
ことを特徴とする請求項１に記載の表示装置。

【請求項6】

前記第１の取得手段は、前記画像の奥行きの３次元座標を取得し、
前記第２の取得手段は、前記両眼の輻輳位置の３次元座標を取得し、
前記奥行き決定手段は、前記虚像の３次元座標を決定する
ことを特徴とする請求項１に記載の表示装置。

【請求項7】

前記第２の決定手段は、前記第２の取得手段が取得した輻輳位置の３次元座標から所定の距離範囲内の座標を前記虚像の座標とする
ことを特徴とする請求項６に記載の表示装置。

【請求項8】

前記奥行き決定手段は、前記第１の取得手段が取得した奥行きの３次元座標とは異なる座標を前記虚像の３次元座標として決定する
ことを特徴とする請求項６に記載の表示装置。

【請求項9】

表示装置に表示する虚像の奥行き位置を制御する制御方法であって、
画像から奥行き情報を取得する第１の取得工程と、
ユーザーの両眼の輻輳情報を取得する第２の取得工程と、
前記虚像の奥行き位置を決定する奥行き決定工程と、を有し、
前記奥行き決定工程は、
前記第１の取得手段で取得した奥行き情報に基づいて奥行き位置を決定する第１の決定工程と、
前記第２の取得手段で取得した輻輳情報に基づいて奥行き位置を決定する第２の決定工程と、を有し、
表示する虚像に応じて、前記第１の決定工程と第２の決定工程とを切り替えて、奥行き位置を決定する
ことを特徴とする制御方法。

【請求項10】

請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実空間に虚像を重畳して表示する表示装置に関する。

【背景技術】

【0002】

近年、立体画像を表示する技術開発が進み、奥行きを持った立体画像を表示することが可能なヘッドマウントディスプレイ（以下「ＨＭＤ」と記載する）が普及してきており、光学透過型のＨＭＤも開発されている。光学透過型のＨＭＤは、ホログラフィック素子やハーフミラー等を用いて、仮想的な立体画像であるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）イメージを表示しつつ、ＨＭＤ外の実空間の様子をシースルーで表示可能である。この時、ＡＲイメージである虚像は、実空間に重畳して表示される。

【0003】

このＡＲイメージである虚像が実空間の物体と違和感なく調和し、実空間に存在するかのように見えるように、虚像の立体感を向上させる様々な技術が開発されている。例えば、特許文献１では、取得した実空間の奥行き情報をもとに、表示する虚像の奥行き位置を自由に変更可能にすることで、より実空間に調和した虚像の表示を可能にしている。この虚像の奥行き位置を制御する技術により、ユーザーが虚像を見ている時は虚像が鮮明に見え、虚像とは異なる奥行き位置の実空間の物体を見ている時は虚像が自然にぼやけて見える為、ユーザーは虚像に対して実物体のような自然な奥行き感を得る事ができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－２４２７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら従来技術では、ユーザーが実空間を見ながら同時にメニューアイコンや付加情報等の虚像を見たい場合、ユーザーが見ている実空間の物体の奥行き位置と、表示している虚像の奥行き位置が一致していないと虚像がぼやけて見えてしまう。ユーザーが虚像に視線を合わせると、ユーザーが見ていた実空間の物体は虚像とは異なる奥行き位置である為、ぼやけて見えてしまい、実空間の物体と表示される虚像を同時に見ることが困難になってしまう。ユーザーが実空間の物体と虚像を同時に見たい場合に、それぞれの奥行き位置に合わせて視線の奥行き位置を変更する事はユーザーにとって大きな負荷になる。また、虚像を常にユーザーから鮮明に見えるように表示すると、虚像が実空間に存在するかのように表示したい場合に、ユーザーが視線を変えても虚像は自然にぼやけて見えない為、実物体のような自然な奥行き感を得る事が出来なくなってしまう。このように、従来技術では、虚像の立体感が向上するように実空間の奥行き情報に基づいて虚像の表示奥行き位置を制御しつつ、メニューアイコン等の虚像をユーザーが見ている実空間の物体と常に同時に鮮明に見ることが困難であるという課題があった。

【0006】

本発明の目的は、メニューアイコン等の虚像を、ユーザーがより鮮明に見ることが可能な表示装置を提供することである。

【課題を解決するための手段】

【0007】

その目的を達成するために、本発明の一側面としての表示装置は、表示する虚像の奥行き位置を制御する表示装置であって、画像から奥行き情報を取得する第１の取得手段と、ユーザーの両眼の輻輳情報を取得する第２の取得手段と、前記虚像の奥行き位置を決定する奥行き決定手段と、を有し、前記奥行き決定手段は、前記第１の取得手段で取得した奥行き情報に基づいて奥行き位置を決定する第１の決定手段と、前記第２の取得手段で取得した輻輳情報に基づいて奥行き位置を決定する第２の決定手段と、を有し、表示する虚像に応じて、前記第１の決定手段と第２の決定手段とを切り替えて、奥行き位置を決定することを特徴とする。

【発明の効果】

【0008】

本発明の表示装置によれば、メニューアイコン等の虚像を、ユーザーがより鮮明に見ることが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る、立体画像表示装置のシステム構成図である。

【図2】本発明の実施形態に係る、実空間画像情報に基づいた虚像の表示方法を説明する図である。

【図3】本発明の実施形態に係る、ユーザーの視線情報に基づいた虚像の表示方法を説明する図である。

【図4】本発明の実施形態に係る、立体画像表示装置の外観構成図である。

【図5】本発明の実施形態に係る、虚像の奥行き位置の制御方法を説明する図である。

【図6】本発明の実施形態に係る、ユーザーの視線奥行き情報の取得方法を説明する図である。

【図7】本発明の第１の実施形態に係る、虚像表示シーケンスである。

【図8】本発明の第２の実施形態に係る、ユーザーの視線情報に基づいた虚像の表示を説明する図である。

【図9】本発明の第２の実施形態に係る、虚像表示シーケンスである。

【発明を実施するための形態】

【0010】

［実施形態１］
本発明の第１の実施の形態を説明する。

【0011】

図４は、本実施例における立体画像表示装置１００の外観構成の一例を示す図である。

【0012】

１０２は、実空間の画像情報を取得する撮像部であり、左右２つの画像情報を同時に取得可能である。この取得した２つの画像の視差情報から、立体画像表示装置１００と実空間の物体との距離を算出することが可能である。例えば、左右２つの撮像部１０２の間の距離（基線長）と、撮像部１０２の焦点距離、２つの画像の視差情報から、一般的な三角測量の手法を用いて実空間の物体との距離情報を算出することが出来る。１１１は、撮像部で取得した実空間の画像に、虚像を重畳させて表示する表示部である。表示部１１１は、左目用の視差画像と右目用の視差画像を表示することで、奥行き感を持った立体的な画像を表示することが出来る。

【0013】

図２は、本実施例における、実空間の画像の奥行き情報に基づいて虚像を表示する場合の虚像表示方法を説明する図である。

【0014】

図２（ａ）は、立体画像表示装置１００を使用したユーザーが、虚像を重畳していない実空間の物体２００を見ている様子を示す図である。立体画像表示装置１００は、撮像部１０２で撮像した実空間の画像に対して、仮想的な３次元直交座標系を設定している。立体画像表示装置１００は、撮像部１０２で撮像した画像から被写体を認識し、各被写体の仮想的な３次元直交座標系における座標を算出する。立体画像表示装置１００は、撮像部１０２で撮像した２つの画像の視差情報から被写体の奥行き位置を算出し、算出した奥行き位置と、撮像した画像における被写体の水平・垂直位置とから、仮想的な３次元座標系における被写体の座標位置を算出する。本実施例では、立体画像表示装置１００は、実空間の物体２００を認識し、物体２００の奥行きＬ１を算出して、仮想的な３次元直交座標系における物体２００の座標を算出している。

【0015】

図２（ｂ）は、立体画像表示装置１００が、実空間の画像に虚像２０１を重畳して表示する様子を示す図である。本実施例では、立体画像表示装置１００に予め登録された複数の虚像の中からユーザーに表示を指示された虚像２０１を表示している。立体画像表示装置１００は、物体２００の上に虚像２０１が置かれているように見せる為に、算出した物体２００の奥行きＬ１と同じ奥行き位置に虚像２０１を表示している。本実施例では、立体画像表示装置１００が実空間の画像から検出した被写体は物体２００の１つのみだが、複数の被写体が存在しても良い。立体画像表示装置１００が複数の被写体を検出した場合は、複数の被写体の中から選択した１つの被写体の奥行き位置と、虚像２０１の奥行き位置が一致するように虚像２０１を表示する。立体画像表示装置１００が実空間の画像から被写体を１つも検出しなかった場合は、予め設定された奥行き位置に虚像２０１を表示する。また、立体画像表示装置１００は、撮像部１０２が撮像した被写体を人・動物・物体等、複数の種類に分類して認識可能である。本実施例では、表示する虚像毎に、どの分類の被写体のどの位置に重畳して表示するかが予め設定されている。例えば、皿の虚像は実空間の机の上に置かれているように重畳し、帽子の虚像は実空間の人が頭にかぶっているように重畳する。実空間画像の奥行き情報に基づいて虚像を表示する場合、立体画像表示装置１００は、設定した仮想的な３次元直交座標系の絶対座標位置に虚像を表示し、ユーザーから虚像の再表示や表示位置の移動を指示されない限り、虚像の表示座標は変更しない。よって、ユーザーが顔の向きを変えると虚像はユーザーの視界から外れ、顔の向きを元に戻すと虚像は再び見えるようになる。また、ユーザーが視線を虚像とは異なる奥行き位置に変更すると、虚像は自然とぼやけて見え、視線を再び虚像に合わせると虚像は鮮明に見ることが出来る。このような表示方法を実施することで、実空間に虚像が存在するかのように表示することが出来る。

【0016】

図３は、本実施例における、ユーザーの視線情報に基づいて虚像を表示する場合の虚像表示方法を説明する図である。図３は、立体画像表示装置１００を使用したユーザーが、実空間の被写体３００を見ながら同時にメニューアイコンや付加情報等の虚像３０１を見たい場合における、虚像３０１の表示方法を示している。本実施例では、立体画像表示装置１００に予め登録された複数の虚像の中からユーザーに表示を指示された虚像３０１を表示している。立体画像表示装置１００は、ユーザーが見ている視線の奥行き情報を算出可能であり、図３では算出した視線奥行き位置に基づいて虚像を表示している。本実施例では、図２で示したように実空間画像の奥行き情報に基づいて虚像を表示するか、図３で示すようにユーザーの視線情報に基づいて虚像を表示するか、が表示する虚像毎に予め設定されている。例えば、実空間に存在するかのように表示したい虚像は、実空間画像の奥行き情報に基づいて表示し、メニューアイコンや付加情報等の虚像は、ユーザーの視線奥行き情報に基づいて表示する。立体画像表示装置１００は、算出したユーザーの視線奥行きＬ２と同じ奥行き位置に虚像３０１を表示している。立体画像表示装置１００は、ユーザーの視線奥行き情報を常に算出しており、ユーザーの視線奥行き位置が変化したら、虚像３０１の奥行き位置も常に視線奥行き位置と一致するように虚像３０１の表示位置を変更する。よって、ユーザーが実空間で見たい被写体を変更しても、常に虚像３０１はユーザーの視線奥行き位置と同じ奥行き位置に表示される為、ユーザーは虚像３０１と実空間で見たい被写体を常に同時に鮮明に見ることが出来る。

【0017】

図１は、本実施例における立体画像表示装置１００のシステム構成図である。

【0018】

１０１は、立体画像表示装置１００全体の制御を司るＣＰＵである。１０２は、実空間の画像情報を取得する撮像部であり、フォーカス調節や露出調節を行う結像光学部や、光学像を電気信号に変換する撮像素子等で構成される。１０３は、撮像した画像データに対して、ノイズ低減処理等の各種画像処理を施す画像処理部である。１０６は、撮像した画像から被写体を検出する被写体検出部である。１０４は、画像データを一時的に格納する為のメモリとなるＤＲＡＭである。１０５は、表示する各虚像情報や各種設定値を記憶するメモリとなるＲＯＭである。１０７は、撮像した画像データから３次元座標を算出する画像３次元座標算出部であり、画像奥行き算出部１０８は、検出した被写体等の奥行き位置を算出する。１０９は、ユーザーの視線先の３次元座標を算出する視線３次元座標検出部であり、視線奥行き算出部１１０は、ユーザーの視線奥行き位置を算出する。１１２は、ユーザーから表示を指示された虚像の表示位置を決定する虚像３次元座標決定部であり、１１３は、画像奥行き算出部１０８の算出結果と、視線奥行き算出部１１０の算出結果から、表示する虚像の奥行き位置を決定する虚像奥行き決定手段である。１１１は、ユーザーから表示を指示された虚像を、虚像３次元座標決定部１１２が決定した表示位置に表示する表示部である。

【0019】

図５は、本実施例における、表示する虚像の奥行き位置の制御方法を説明する図である。

【0020】

視点５００の視線方向にＺ軸が定められており、Ｚ軸上に凸レンズ５０１の光軸とＺ軸が一致するように凸レンズ５０１は配置されている。凸レンズ５０１の焦点距離はＦである。５０２、５０３は透過型有機ＥＬ等の透過型表示素子であり、不図示のモータ等によって凸レンズ５０１からの距離Ａ１、Ａ２はそれぞれ変更可能である。尚、図５では５０２、５０３の２枚しか図示していないが、３枚以上の複数の透過型表示素子を備えても良い。透過型表示素子５０２、５０３は、それぞれ独立して異なる画像５０４、５０５を表示することが可能である。透過型表示素子５０２、５０３は、可視光を透過可能な部材である。透過型表示素子５０２、５０３によって表示される画像は、視点５００から見ると重畳されて見える。透過型表示素子５０２、５０３は、凸レンズ５０１の焦点の内側に配置されており、視点５００から表示画像５０４を見ると、表示画像５０４は凸レンズ５０１から距離Ｂ１離れた位置に、虚像５０６として観察される。このとき、距離Ａ１、Ｂ１、および焦点距離Ｆの関係は、以下の式（１）で示す既知のレンズの公式によって規定される。
１／Ａ１ － １／Ｂ１ ＝ １／Ｆ ・・・・ 式（１）

【0021】

また、表示画像５０４の大きさＰ１に対する虚像５０６の大きさＱの割合は、以下の式（２）で表される。
Ｑ／Ｐ１ ＝ Ｂ１／Ａ１ ・・・・ 式（２）

【0022】

また、式（１）を変形することにより、距離Ａ１を距離Ｂ１の関数として、以下の式（３）のように表すことが出来る。
Ａ１ ＝ ＦＢ１／（Ｆ＋Ｂ１） ＝ Ｆ／（１＋Ｆ／Ｂ１） ・・・・ 式（３）

【0023】

式（３）により、凸レンズ５０１からの距離Ｂ１の位置に虚像５０６を表示する為に、画像５０４を表示する透過型表示素子５０２を配置すべき位置Ａ１を求めることが出来る。

【0024】

また、式（２）に式（１）を代入して変形すると、以下の式（４）のように表すことが出来る。
Ｐ１ ＝ ＱＦ／（Ｂ１＋Ｆ） ・・・・ 式（４）

【0025】

式（４）により、距離Ｂ１の位置にＱの大きさの虚像５０６を表示する為に表示画像５０４として表示すべき大きさＰ１を求めることが出来る。次に、凸レンズ５０１からの距離Ｂ１とは異なる距離Ｂ２に、虚像５０６と同じ大きさＱの虚像５０７を表示したい場合の制御方法について説明する。凸レンズ５０１と、透過型表示素子５０３との距離Ａ２は、式（３）より、以下の式（５）で表すことが出来る。
Ａ２ ＝ Ｆ／（１＋Ｆ／Ｂ２） ・・・・ 式（５）

【0026】

式（５）により、凸レンズ５０１からの距離Ｂ２の位置に虚像５０７を表示する為に、画像５０５を表示する透過型表示素子５０３を配置すべき位置Ａ２を求めることが出来る。

【0027】

また、表示すべき画像５０５の大きさＰ２は、式（４）より以下の式（６）で表すことが出来る。
Ｐ２ ＝ ＱＦ／（Ｂ２＋Ｆ） ・・・・ 式（６）

【0028】

式（６）により、距離Ｂ２の位置にＱの大きさの虚像５０７を表示する為に表示画像５０５として表示すべき大きさＰ２を求めることが出来る。このように、透過型表示素子５０２、５０３の凸レンズ５０１からの距離Ａ１、Ａ２、及び表示する大きさＰ１、Ｐ２を変更することで、表示する虚像５０６、５０７の視点５００からの奥行き位置Ｚ１、Ｚ２と大きさＱを制御することが出来る。

【0029】

図６は、ユーザーの視線奥行き情報の取得方法を説明する図である。図５で説明したように、５００は視点、５０１は凸レンズ、５０２、５０３は透過型表示素子である。６００は、視線方向検出器であり、ユーザーの左右両眼の視線が交差する角度、すなわち輻輳角θを輻輳情報として検出することが出来る。視線方向検出器６００の視線方向検出方法は、一般的な様々な方法で実現可能である。例えば、左右両眼について、近赤外光を眼球に照射してその反射光を黒眼の両側に配置した光検出器で検出し、その黒眼と白眼の境界で光量の変化を捉えて視線方向ないし眼球運動を検出する方法がある。他の方法として、スポット光を眼球に照射し、その反射光を２次元光位置検出器で捉えるようにし、あるいは微小テレビジョンカメラを用いて黒眼の位置情報を得ることで眼球運動を検出することが出来る。図６のＩは、瞳孔間隔である。輻輳角θと、瞳孔間隔Ｉより、視点５００から視線が交差する輻輳位置、すなわち視線の奥行き位置Ｚは、以下の式（７）で表すことが出来る。（輻輳角θの単位はラジアン）
Ｚ ＝ Ｉ／θ ・・・・ 式（７）

【0030】

このようにして、ユーザーの視線の奥行き位置を算出出来る為、図５で説明した制御により、ユーザーの視線奥行き位置に虚像を表示することが出来る。

【0031】

図７は、本実施例における虚像表示シーケンスである。

【0032】

ＣＰＵ１０１は、ユーザーから虚像の表示を指示されたら（Ｓ７０１）、ユーザーに表示を指示された虚像が、撮像した画像奥行き情報から算出した固定座標位置に表示する虚像なのか、ユーザー視線奥行き位置に表示する虚像なのか判断する。本実施例では、どちらの方法で算出した奥行き位置に表示すべきか表示する虚像毎に予め設定されている。撮像した画像奥行き情報から算出した固定座標位置に表示すべき虚像の場合は（Ｓ７０２）、撮像した画像から検出した被写体の奥行き位置を算出する（Ｓ７０３）。ユーザー視線奥行き位置に表示すべき虚像の場合は、ユーザーの視線奥行き位置を算出する（Ｓ７０４）。虚像奥行き決定手段１１３は、算出した被写体の奥行き位置、および算出したユーザーの視線奥行き位置を用いて、表示する虚像の奥行き位置を決定する（Ｓ７０５）。表示部１１１は、決定した奥行き位置に虚像を表示する（Ｓ７０６）。ユーザーから虚像表示の停止を指示されなければ上記虚像表示のシーケンスを繰り返し、虚像表示の停止を指示されたら（Ｓ７０７）、ＣＰＵ１０１は虚像の表示を停止する（Ｓ７０８）。

【0033】

以上、上記本実施例の制御により、虚像が実空間に存在するかのように虚像の奥行き位置を制御しつつ、かつ、メニューアイコン等の虚像は、ユーザーが見ている実空間の物体と常に同時に鮮明に見ることが出来る。

【0034】

尚、本実施例では、撮像した画像の奥行き情報のみ、もしくはユーザーの視線奥行き情報のみのどちらか一方を用いて表示する虚像の奥行き位置を決定したが、両方の情報を元に表示する虚像の奥行き位置を決定しても良い。例えば、撮像した画像から複数の被写体を検出し、検出した複数の被写体から１つの被写体を選択する際、ユーザーの視線奥行き位置に一番近い奥行き位置の被写体を選択し、選択した被写体と同じ奥行き位置に虚像を表示しても良い。

【0035】

また、本実施例では、撮像した画像の奥行き、及びユーザーの視線奥行きと同じ奥行き位置に虚像を表示したが、撮像した画像の奥行き、及びユーザーの視線奥行きから予め設定された距離内の奥行き位置に虚像を表示しても良い。

【0036】

また、本実施例では、撮像した画像の奥行き位置に基づいて虚像を表示する場合は固定の奥行き位置に虚像を表示したが、ユーザーの指示によって虚像の表示位置を変更可能な構成であっても良い。

【0037】

［実施形態２］
本発明の第２の実施の形態を説明する。

【0038】

本実施例では、ユーザーの視線情報に基づいた虚像の表示方法、虚像表示シーケンスが第１実施例と異なる。他の構成は第１実施例と同様である為、説明を省略する。

【0039】

図８は、本実施例における、ユーザーの視線情報に基づいた虚像表示方法を説明する図である。図８は、立体画像表示装置１００を使用したユーザーが、実空間の被写体３００を見ながら同時にメニューアイコンや付加情報等の虚像３０１を見たい場合における、虚像３０１の表示方法を示している。本実施例では、立体画像表示装置１００に予め登録された複数の虚像の中からユーザーに表示を指示された虚像３０１を表示している。本実施例では、図２で示したように実空間画像の奥行き情報に基づいて虚像を表示するか、図８で示すようにユーザーの視線情報に基づいて虚像を表示するか、が表示する虚像毎に予め設定されている。立体画像表示装置１００は、算出したユーザーの視線奥行きＬ２と同じ奥行き位置に虚像３０１を表示している。立体画像表示装置１００は、仮想的な３次元直交座標系を設定しており、設定した３次元座標系におけるユーザーの視線先の座標を算出している。本実施例では、ユーザーの視線先の奥行きＬ２だけでなく、算出した３次元座標上におけるユーザー視線先座標に近い位置に虚像３０１を表示している。これは、ユーザーの視線先と同じ奥行きＬ２に虚像を表示すれば実空間の被写体と虚像を同時に鮮明に見る事が出来るが、被写体と虚像が離れているとユーザーは視線を移動する必要があり、被写体と虚像を同時に見る事が出来なくなる可能性がある為である。但し、ユーザーが見ている被写体３００と同じ座標位置に虚像を表示してしまうと、被写体３００を見る事が出来なくなってしまう為、ユーザーが見ている被写体３００とは異なる位置に虚像を表示する。本実施例では、撮像した画像に被写体が存在するか被写体検出部１０６で検出する。ユーザーの視線先座標に被写体が存在しない場合は、３次元座標上におけるユーザー視線先の座標位置に虚像を表示する。ユーザーの視線先座標に被写体が存在する場合は、３次元座標上における視線先座標から所定距離範囲内で、ユーザーが見ていない他の被写体も存在しない座標位置に虚像３０１を表示する。この所定距離範囲の値は予め設定されており、所定距離範囲内に被写体が存在しない領域がない場合は、所定距離範囲を拡大して被写体が存在しない領域に虚像を表示する。所定距離範囲を拡大しても被写体が存在しない領域がない場合は、ユーザーが見ていない被写体と同じ位置に虚像を表示する。また、本実施例では、所定距離範囲内の中でユーザーが視線位置を移動しても、虚像３０１の表示位置は変更しない。これは、ユーザーが虚像３０１を見る為に視線位置を被写体３００から虚像３０１へ移動した時に虚像３０１も移動してしまい、ユーザーが虚像３０１を見る事が出来なくなってしまうからである。ユーザーの視線先位置が所定距離範囲を超えて移動した場合は、視線移動先から所定距離範囲内に虚像３０１を表示するように、虚像３０１の表示位置を変更する。本実施例では、ユーザーの視線先が移動している最中は虚像３０１の表示位置は変更せず、ユーザーの視線先の移動が停止してから予め設定された所定時間経過後に、虚像３０１の表示位置を変更する。これは、ユーザーが視線を激しく移動している最中に、虚像３０１も連動して激しく表示位置を変更すると、ユーザーにとって虚像の表示が煩わしく見えてしまう為である。

【0040】

以上の制御を実施することにより、ユーザーは視線位置を大きく移動することなく、実空間で見たい被写体と虚像を常に同時に鮮明に見ることが出来る。

【0041】

図９は、本実施例における虚像表示シーケンスである。

【0042】

ＣＰＵ１０１は、ユーザーから虚像の表示を指示されたら（Ｓ９０１）、指示された虚像が、撮像した画像３次元座標から算出した固定座標位置に表示する虚像なのか、ユーザー視線３次元座標から算出した座標位置に表示する虚像なのか判断する。本実施例では、どちらの方法で算出した座標位置に表示すべきか表示する虚像毎に予め設定されている。撮像した画像３次元座標から算出した固定座標位置に表示すべき虚像の場合は（Ｓ９０２）、撮像した画像から検出した被写体の３次元座標位置を算出する（Ｓ９０３）。虚像３次元座標決定部１１２は、算出した被写体の３次元座標位置を用いて、表示する虚像の３次元座標位置を決定する（Ｓ９０４）。表示部１１１は、決定した３次元座標位置に虚像を表示する（Ｓ９２０）。ユーザー視線３次元座標から算出した座標位置に表示すべき虚像の場合は、ユーザーの視線先の３次元座標位置を算出する（Ｓ９１０）。画像３次元座標算出部１０７は、被写体検出部１０６で検出した被写体の座標位置を算出する（Ｓ９１１）。虚像３次元座標決定部１１２は、前フレームでユーザー視線３次元座標に基づいた位置に虚像を表示したか判断する（Ｓ９１２）。前フレームで表示していない場合、虚像３次元座標決定部１１２は、視線先座標から所定距離内、かつ被写体が存在しない領域を虚像の表示座標位置として算出する（Ｓ９１５）。前フレームで表示していた場合、虚像３次元座標決定部１１２は、前フレームで算出した所定距離範囲内に、現在のユーザーの視線先座標が存在するかを判断する（Ｓ９１３）。現在のユーザーの視線先座標位置が、前フレームで算出した所定距離範囲外であった場合は、現在の視線先座標から所定距離内、かつ被写体が存在しない領域を虚像の表示座標位置として算出する（Ｓ９１５）。現在のユーザーの視線先座標位置が、前フレームで算出した所定距離範囲内であった場合は、虚像表示位置に被写体が存在しないか判断する（Ｓ９１４）。虚像表示位置に被写体が存在する場合は、現在の視線先座標から所定距離内、かつ被写体が存在しない領域を虚像の表示座標位置として算出する（Ｓ９１５）。虚像表示位置に被写体が存在しない場合は、表示する虚像の座標位置は、前フレームで表示した虚像位置から変更しない（Ｓ９１６）。表示部１１１は、虚像３次元座標決定部１１２が決定した３次元座標位置に虚像を表示する（Ｓ９２０）。ユーザーから虚像表示の停止を指示されなければ上記虚像表示のシーケンスを繰り返し、虚像表示の停止を指示されたら（Ｓ９２１）、ＣＰＵ１０１は虚像の表示を停止する（Ｓ９２２）。

【0043】

以上、上記本実施例の制御により、虚像が実空間に存在するかのように虚像の奥行き位置を制御しつつ、かつ、メニューアイコン等の虚像は、ユーザーが視線位置を大きく移動することなく、実空間で見たい被写体と虚像を常に同時に鮮明に見ることが出来る。

【0044】

尚、撮像した画像の３次元情報に基づいて虚像を表示する場合、ユーザーの視線情報も用いて虚像の表示位置を決定しても良い。例えば、撮像した画像から複数の被写体を検出し、検出した複数の被写体から１つの被写体を選択する際、ユーザーの視線座標位置に一番近い座標の被写体を選択し、選択した被写体の座標位置に基づいて虚像を表示しても良い。

【0045】

また、本実施例では、撮像した画像の奥行きと同じ奥行き位置に虚像を表示したが、撮像した画像の奥行きから予め設定された距離内の奥行き位置に虚像を表示しても良い。

【0046】

また、本実施例では、撮像した画像の奥行き位置に基づいて虚像を表示する場合は固定の奥行き位置に虚像を表示したが、ユーザーの指示によって虚像の表示位置を変更可能な構成であっても良い。

【0047】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0048】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0049】

１００ 立体画像表示装置
１０１ ＣＰＵ
１０２ 撮像部
１０３ 画像処理部
１０４ ＤＲＡＭ
１０５ ＲＯＭ
１０６ 被写体検出部
１０７ 画像３次元座標算出部
１０８ 画像奥行き算出部
１０９ 視線３次元座標算出部
１１０ 視線奥行き算出部
１１１ 表示部
１１２ 虚像３次元座標決定部
１１３ 虚像奥行き決定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】