特許 7427413 立体視表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-26

(45)【発行日】2024-02-05

(54)【発明の名称】立体視表示システム

(51)【国際特許分類】

   H04N 13/376 20180101AFI20240129BHJP

   G02B 30/00 20200101ALI20240129BHJP

   G03B 35/18 20210101ALI20240129BHJP

   G03B 35/00 20210101ALI20240129BHJP

   H04N 13/373 20180101ALI20240129BHJP

   H04N 13/302 20180101ALI20240129BHJP

【ＦＩ】

H04N13/376

G02B30/00

G03B35/18

G03B35/00 A

H04N13/373

H04N13/302

【請求項の数】 10

(21)【出願番号】P 2019192074

(22)【出願日】2019-10-21

(65)【公開番号】P2021068977

(43)【公開日】2021-04-30

【審査請求日】2022-09-13

(73)【特許権者】

【識別番号】303018827

【氏名又は名称】Ｔｉａｎｍａ Ｊａｐａｎ株式会社

(73)【特許権者】

【識別番号】520272868

【氏名又は名称】武漢天馬微電子有限公司

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】益村 和敬

(72)【発明者】

【氏名】佐藤 哲史

【審査官】長谷川 素直

(56)【参考文献】

【文献】特許第５０９５８５１（ＪＰ，Ｂ１）

【文献】特開２０１３－１４３７４９（ＪＰ，Ａ）

【文献】特表２００１－５２４７６４（ＪＰ，Ａ）

【文献】特開２０１３－０５１６２２（ＪＰ，Ａ）

【文献】特開２０１３－０５１６２７（ＪＰ，Ａ）

【文献】特開２０１２－１９１４８３（ＪＰ，Ａ）

【文献】特開２００４－３６２５６９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００７９４４９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００４／０２４０７０８（ＵＳ，Ａ１）

【文献】特開平１０－２７１５３６（ＪＰ，Ａ）

【文献】特開平０７－３０６９５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

Ｇ０２Ｂ ３０／００

Ｇ０３Ｂ ３５／００

(57)【特許請求の範囲】

【請求項1】

立体視用画像を表示する表示装置と、
制御システムと、を含み、
前記制御システムは、撮影画像を取得し、
前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示し、
前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含み、
前記追跡領域内で前記検出された観察者の追跡不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、
前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示し、
前記予め設定された位置は、前記立体視域内において、前記表示装置の表示面の左右方向及び法線方向のそれぞれにおいて、最も大きく移動可能な位置である、
立体視表示システム。

【請求項2】

立体視用画像を表示する表示装置と、
制御システムと、を含み、
前記制御システムは、撮影画像を取得し、
前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示し、
前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含み、
前記追跡領域内で前記検出された観察者の追跡不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、
前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示し、
前記追跡領域において検出された複数の観察者において、予め設定された基準位置に最も近い観察者の位置に基づいて、前記立体視用画像を前記表示装置において表示する、
立体視表示システム。

【請求項3】

請求項２に記載の立体視表示システムであって、
前記制御システムは、前記基準位置に最も近い複数の観察者が検出された場合、直前の観察者の検出位置に基づく立体視用画像を表示する、
立体視表示システム。

【請求項4】

立体視用画像を表示する表示装置と、
制御システムと、を含み、
前記制御システムは、撮影画像を取得し、
前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示し、
前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含み、
前記追跡領域内で前記検出された観察者の追跡不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、
前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示し、
前記追跡領域は、複数の部分追跡領域を含み、
前記複数の部分追跡領域のそれぞれは、前記表示装置が表示する立体視用画像から立体画像を視認可能な立体視域を含み、
前記制御システムは、
観察者が検出されるまで、予め付与されている優先度の高い順に、前記複数の部分追跡領域を順次選択し、
前記検出された観察者の位置に基づいて、前記立体視用画像を表示する、
立体視表示システム。

【請求項5】

請求項１から４のいずれか一項に記載の立体視表示システムであって、
前記制御システムは、
前記観察者の両眼を検出した場合に、前記両眼の検出位置に基づき前記観察者の前記位置を決定し、
前記両眼を検出することができない場合に、前記両眼と異なる予め定められた部位の検出位置に基づき前記観察者の前記位置を決定する、
立体視表示システム。

【請求項6】

表示装置において立体視用画像を表示する方法であって、
撮影画像を取得し、
前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示し、
前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含み、
前記追跡領域内で前記検出された観察者の追跡不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、
前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示し、
前記予め設定された位置は、前記立体視域内において、前記表示装置の表示面の左右方向及び法線に沿った方向のそれぞれにおいて、最も大きく移動可能な位置である、
方法。

【請求項7】

表示装置において立体視用画像を表示する方法であって、
撮影画像を取得し、
前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示し、
前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含み、
前記追跡領域内で前記検出された観察者の追跡不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、
前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示し、
前記追跡領域において検出された複数の観察者において、予め設定された基準位置に最も近い観察者の位置に基づいて、前記立体視用画像を前記表示装置において表示する、
方法。

【請求項8】

請求項７に記載の方法であって、
前記基準位置に最も近い複数の観察者が検出された場合、直前の立体視用画像を維持する、
方法。

【請求項9】

表示装置において立体視用画像を表示する方法であって、
撮影画像を取得し、
前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示し、
前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含み、
前記追跡領域内で前記検出された観察者の追跡不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、
前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示し、
前記追跡領域は、複数の部分追跡領域を含み、
前記複数の部分追跡領域のそれぞれは、前記表示装置が表示する立体視用画像から立体画像を視認可能な立体視域を含み、
前記方法は、
観察者が検出されるまで、予め付与されている優先度の高い順に、前記複数の部分追跡領域を順次選択し、
前記検出された観察者の位置に基づいて、前記立体視用画像を表示する、
方法。

【請求項10】

請求項６から９のいずれか一項に記載の方法であって、
前記観察者の両眼を検出した場合に、前記両眼の検出位置に基づき前記観察者の前記位置を決定し、
前記両眼を検出することができない場合に、前記両眼と異なる予め定められた部位の検出位置に基づき前記観察者の前記位置を決定する、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、立体視表示システムに関する。

【背景技術】

【0002】

両眼視差を利用した、裸眼立体視表示装置が知られている。裸眼立体視表示装置は、表示パネルと、表示パネルの前に設置された光線制御素子とを含む。表示パネルは、交互に配置された右眼用画素と左眼用画素とに、それぞれ、右眼用画像と左眼用画像とを同時に表示する。光線制御素子は、例えば、視差バリアやレンチキュラレンズであって、右眼用画像を観察者の右眼のみが視認し、左眼用画像を観察者の左眼のみが視認するようにする。これにより、観察者は、専用の眼鏡のような光学素子を使用することなく、立体画像を認識できる。

【0003】

また、観察者を追跡する追跡装置を使用して広い空間領域で観察者が立体画像を認識させることができる裸眼立体視表示システムが知られている。裸眼立体視表示システムは、追跡装置が取得した観察者の両眼位置と、裸眼立体視表示装置の光学特性とに基づき、裸眼立体視表示装置が表示する画像をリアルタイムに生成することで、違和感の少ない立体画像を観察者に提供することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公開第２００４／０２４０７０８号

【文献】特開２００４－３６２５６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、裸眼立体視表示システムは、観察者の動きに応じて適切に画像を変化させることができない場合や、観察者が動いていないにもかかわらず、画像を切り替えることがあった。したがって、特定の観察者に対して適切な立体視画像を提示することができる技術が望まれる。

【課題を解決するための手段】

【0006】

本開示の一態様の立体視表示システムは、立体視用画像を表示する表示装置と、制御システムと、を含む。前記制御システムは、撮影画像を取得し、前記取得した撮影画像において、予め設定された追跡領域内において検出された観察者の位置に基づいて立体視用画像を前記表示装置において表示する。前記追跡領域は、観察者を追跡可能な領域内の一部であって、前記立体視用画像から立体画像を認識可能な立体視域を含む。前記制御システムは、前記追跡領域内で前記検出された観察者が追跡が不能となった後、所定の時間、前記観察者の最後の検出された位置に基づく立体視用画像を表示し、前記追跡領域内に前記所定の時間を超えていずれの観察者も検出されない場合、前記立体視域内の予め設定された位置に対する立体視用画像を表示する。

【発明の効果】

【0007】

本開示の一態様によれば、観察者に対して適切な立体視画像を提示することができる。

【図面の簡単な説明】

【0008】

【図1】裸眼立体視表示システムの構成例を模式的に示す。

【図2】画像処理装置の構成例を示す。

【図3】表示装置の立体視域を説明する平面図である。

【図4】立体視域、最適視認位置及び追跡領域の関係の例を示す。

【図5】画像処理装置の処理例のフローチャートを示す。

【図6】時間経過に伴う、検出された観察者と表示画像との変化の例を示す。

【図7A】二人の観察者の位置の変化と目的位置との関係の例を示す。

【図7B】二人の観察者の位置の変化と目的位置との関係の他の例を示す。

【図8】複数の部分立体視域からなる立体視域の例を示す。

【図9】観察者の両眼中心位置が、部分立体視域内に位置する例を示す。

【図10】観察者の両眼中心位置が、部分立体視域のいずれの内にも位置していない例を示す。

【図11】、部分立体視域からなる立体視域と追跡領域との関係の例を示す。

【発明を実施するための形態】

【0009】

以下において、図面を参照して実施形態を具体的に説明する。説明をわかりやすくするため、図示した物の寸法、形状については、誇張して記載している場合もある。以下の説明は、本開示の実施形態を説明するものであって、本開示の範囲を限定するものではないことに注意すべきである。

【0010】

以下に開示する裸眼立体視表示システムは、立体視用画像を表示する表示装置と、表示装置の表示画像を生成する制御システムとを含む。立体視用画像は、静止画又は動画である。制御システムは、撮像装置による撮影画像において観察者を検出及び追跡可能な領域の一部である、予め設定されている追跡領域において、観察者の位置を検出する。追跡領域は、観察者が立体画像を視認可能な立体視域を含む。制御システムは、観察者の追跡領域において検出された位置に基づいて立体視用画像を生成し、表示装置において表示する。

【0011】

予め設定された追跡領域内で検出された観察者の位置に基づいて立体視用画像を表示することで、表示する立体視用画像が、対象とすべき観察者と異なる人物の位置に応じて変更される頻度を低減できる。

【0012】

制御システムは、追跡領域内で追跡されていた観察者が検出されなくなった後、所定の時間、当該観察者の最後の検出された位置に基づく立体視用画像を表示し、さらに、追跡領域内に所定の時間を超えていずれの観察者も検出されない場合、立体視域内の予め設定された位置に対する立体視用画像を表示する。

【0013】

これにより、追跡領域内で観察者を一時的に見失った場合も観察者に対する立体視用画像を維持して、望ましくない立体視用画像の変更の頻度を低減できる。また、観察者が存在しない場合に立体視域内の予め設定された位置に対する立体視用画像を表示することで、いたずらに立体視用画像が切り替わることを避けることができる。

【0014】

立体視域は、表示装置の特性により決まる。立体視域は、一つの連続領域又は複数の離れた部分領域で構成され得る。追跡領域は、一つの連続領域又は複数の離れた部分領域で構成され得る。一例において、追跡領域は、立体視域と一致する。追跡領域は、立体視域外の領域を含んでもよい。一例において、追跡領域は、一つの連続領域であって、一つの連続領域である立体視域と一致する。他の例において、追跡領域は、複数の部分領域で構成され、各部分領域が立体視域の各部分領域と一致する。追跡領域は、立体視域の一部と一致してもよく、立体視域の一部及び立体領域外の領域を含んでもよい。

【0015】

［実施形態１］
図１は、裸眼立体視表示システムの構成例を模式的に示す。裸眼立体視表示システム１は、表示装置１０、画像処理装置２０、及び追跡装置３０を含む。表示装置１０は、表示デバイス及び表示デバイスの表示面の前側（観察者と表示面との間）に配置された光学素子を含む。表示デバイスは、例えば、液晶表示デバイス又はＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示デバイスである。表示デバイスの種類は問わない。表示デバイスは、例えば、マトリックス状に配置された複数の画素を含む表示パネルと、表示パネルの画素を駆動する駆動回路及びその制御回路を含む。

【0016】

表示デバイスは、交互に配置された右眼用画素と左眼用画素とに、それぞれ、右眼用画像と左眼用画像とを同時に表示する。光線制御素子は、例えば、視差バリアやレンチキュラレンズであって、右眼用画像を観察者の右眼のみが視認し、左眼用画像を観察者の左眼のみが視認するようにする。

【0017】

追跡装置３０は、表示装置１０が表示する画像を観察する１又は複数の観察者を追跡する。追跡装置３０は、動画を撮影するカメラ（撮像装置）を含み、撮影画像内の追跡可能領域において、観察者の検出及び追跡を行う。追跡可能領域は、追跡装置３０が、撮影画像内で観察者の位置を検出（特定）することができる領域である。例えば、追跡装置３０は、表示装置１０の上部に固定されており、カメラの撮影領域は固定されている。

【0018】

追跡装置３０は、観察者の両眼の位置を検出する。一例において、追跡装置３０は、さらに、両眼と異なる予め定められた部位の位置を検出する。予め定められている部位は、例えば、頭部（首より上の部位）や、両肩等、である。頭部の位置は、検出された頭部内の重心のように、検出された頭部における予め定められた位置である。頭部は、両眼との位置関係が一定な部位である。

【0019】

図１の例において、追跡装置３０は、Ｘ軸、Ｙ軸及びＺ軸で規定される空間において、観察者の両眼それぞれの位置及び頭部の位置を特定し、画像処理装置２０に送信する。Ｘ軸及びＹ軸は、表示装置１０の表示面１０５に平行であり、Ｚ軸は表示面１０５に垂直である。Ｘ軸は表示面１０５の左右方向に平行であり、Ｙ軸は上下方向に平行である。

【0020】

図１の例においては、二人の観察者５０Ａ及び５０Ｂが追跡されている。観察者５０Ａの左眼、右眼及び頭部の現在位置は、それぞれ、ＬＡ、ＲＡ及びＨＡで表されている。観察者５０Ｂの左眼、右眼及び頭部の現在位置は、それぞれ、ＬＢ、ＲＢ及びＨＢで表されている。なお、左眼、右眼又は頭部のいずれかが追跡できない場合、それを示すデータ、例えばＮＵＬＬ値が送信される。

【0021】

画像処理装置２０は、リアルタイムで、観察者５０Ａ及び５０Ｂの位置データを取得する。画像処理装置２０は、追跡領域４０１内で追跡（検出）されている一人の観察者の位置に基づいて、立体視用画像を生成する。画像処理装置２０は、両眼中心位置に基づき、立体視用画像を生成する。

【0022】

両眼中心位置が特定不能の場合、画像処理装置２０は、観察者の頭部位置に基づき、立体視用画像を生成する。これにより、両眼中心位置が特定できない場合でも、対象とする観察者に対して適切な立体視用画像を表示することができる。なお、観察者の頭部位置は検出しなくてもよい。追跡領域４０１は、追跡装置３０の追跡可能な領域の一部である。追跡領域４０１の詳細は後述する。

【0023】

本実施形態においては、例えば、追跡領域４０１内の観察者のうちの観察者５０Ａが選択され、観察者５０Ａの位置に基づく立体視用画像が生成される。追跡領域４０１内の複数の観察者から一人の観察者を選択する方法は後述する。なお、追跡装置３０は、予め設定されている追跡領域４０１内で検出された観察者の位置データのみを画像処理装置２０に送信してもよい。

【0024】

画像処理装置２０は、追跡している観察者が追跡領域４０１内で追跡不能となってから、所定時間、当該観察者が最後に検出された位置に基づく立体視用画像を表示する。これにより、追跡領域４０１内にまだ存在している観察者が、顔の向きを変えるような、なんらかの理由により一時的に追跡不能となる場合に、表示す立体視用画像を不適切に変更する可能性を低減できる。

【0025】

観察者が立体画像を適切に認識できる領域（立体視域と呼ぶ）は、表示装置１０の特性に応じて決まっている。例えば、一般に成人の動向間距離である６３ｍｍを基に立体視域を形成する様に表示装置１０の特性を設計する。立体視域内において最適視認位置Ｐを定義することができる。立体視域及び最適視認位置Ｐの詳細は後述する。図１の例において、一つの最適視認位置Ｐが定義されており、最適視認位置Ｐは、表示装置１０の表示中心１０１から、表示装置１０の画面の法線に沿って（法線方向において）所定の距離の位置である。

【0026】

観察者が追跡領域４０１内で所定時間を超えて検出されない場合、画像処理装置２０は、予め設定されている立体視用画像を表示する。一例において、画像処理装置２０は、最適視認位置に対応する立体視用画像を表示する。立体視用画像がいたずらに切り替わることを避けることができる。なお、立体視用画像を表示する予め設定された位置（基準位置）は、最適視認位置と異なる位置でもよい。

【0027】

図２は、画像処理装置２０の構成例を示す。画像処理装置２０は一般的な計算機構成を有することができる。画像処理装置２０は、プロセッサ２０１、メモリ（主記憶装置）２０２、補助記憶装置２０３、出力装置２０４、入力装置２０５、及び通信インタフェース（Ｉ／Ｆ）２０７を含む。上記構成要素は、バスによって互いに接続されている。メモリ２０２、補助記憶装置２０３又はこれらの組み合わせは記憶装置である。

【0028】

メモリ２０２は、例えば半導体メモリから構成され、主に実行中のプログラムやデータを保持するために利用される。プロセッサ２０１は、メモリ２０２に格納されているプログラムに従って、様々な処理を実行する。プロセッサ２０１がプログラムに従って動作することで、様々な機能部が実現される。補助記憶装置２０３は、例えばハードディスクドライブやソリッドステートドライブなどの大容量の記憶装置から構成され、プログラムやデータを長期間保持するために利用される。

【0029】

プロセッサ２０１は、単一の処理ユニットまたは複数の処理ユニットで構成することができ、単一もしくは複数の演算ユニット、又は複数の処理コアを含むことができる。プロセッサ２０１は、１又は複数の中央処理装置、マイクロプロセッサ、マイクロ計算機、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、ロジック回路、グラフィック処理装置、チップオンシステム、及び／又は制御指示に基づき信号を操作する任意の装置として実装することができる。

【0030】

補助記憶装置２０３に格納されたプログラム及びデータが起動時又は必要時にメモリ２０２にロードされ、プログラムをプロセッサ２０１が実行することにより、画像処理装置２０の各種処理が実行される。したがって、以下において画像処理装置２０により実行される処理は、プロセッサ２０１又はプログラムによる処理である。

【0031】

入力装置２０５は、ユーザが画像処理装置２０に指示や情報などを入力するためのハードウェアデバイスである。出力装置２０４は、入出力用の各種画像を提示するハードウェアデバイスであり、例えば、表示デバイス又は印刷デバイスである。通信Ｉ／Ｆ２０７は、ネットワークとの接続のためのインタフェースである。本例において、画像処理装置２０は、通信Ｉ／Ｆ２０７を介して、追跡装置３０と通信する。入力装置２０５及び出力装置２０４は省略されてもよく、ユーザが画像処理装置２０は、ネットワークを介して、端末からアクセスされてもよい。

【0032】

画像処理装置２０の機能は、１以上のプロセッサ及び非一過性の記憶媒体を含む１以上の記憶装置を含む１以上の計算機からなる計算機システムに実装することができる。複数の計算機はネットワークを介して通信する。例えば、画像処理装置２０の複数の機能の一部が一つの計算機に実装され、他の一部が他の計算機に実装されてもよい。

【0033】

画像処理装置２０のメモリ２０２は、追跡位置取得部２２１、位置判定部２２２、経過時間判定部２２３、及び立体視用画像生成部２２４を格納している。これらはプロセッサ２０１が実行する命令コードを含むプログラムである。メモリ２０２は、このほか、不図示のオペレーティングシステムや必要な一時テーブルを格納する。各プログラムの処理の詳細は後述する。

【0034】

補助記憶装置２０３は、領域定義情報２３１及び画像データベース２３２を格納している。領域定義情報２３１は、追跡領域や最適視認位置についての情報を含む。画像データベース２３２は、表示装置１０が表示する立体視用画像を生成するための画像データを格納している。

【0035】

図２において、ソフトウェアの各要素は、便宜上、補助記憶装置２０３又はメモリ２０２内に図示されているが、記憶装置内のいずれの領域に格納されていてもよい。上述のように、プロセッサ２０１は、特定のプログラムに従って動作することで、特定の機能部として機能する。例えば、プロセッサ２０１は、上記プログラムに従って追跡位置取得部、位置判定部、経過時間判定部、及び立体視用画像生成部して機能する。

【0036】

図３は、表示装置１０の立体視域を説明するＸＺ平面図である。上述のように、表示装置１０に対して、観察者が立体画像を認識することができる立体視域が定義される。図３は、連続する一つの領域で構成された立体視域４０３の例を示す。観察者５０の両眼中心位置５０３が、立体視域４０３に存在している場合、観察者５０は、適切な立体画像を認識することができる。立体視域４０３の定義において、観察者５０の両眼の間隔は、所定の値、例えば一般成人の動向間距離である６３ｍｍが使用される。

【0037】

図４は、立体視域、最適視認位置及び追跡領域の関係の例を示す。図４の例において、追跡領域４０１は、連続する一つの領域で構成され、立体視域４０３の一部及び立体視域４０３外の領域を含む。画像処理装置２０は、追跡領域４０１内の観察者の両眼中心位置に応じた立体視用画像を表示する。観察者の両眼中心位置が立体視域４０３外に存在する場合、画像処理装置２０は、例えば、両眼中心位置に対して最も近い立体視域４０３の位置に対応する立体視用画像を表示してもよい。上述のように、追跡領域４０１は、立体視域４０３の一部又は全域と一致してもよく、立体視域４０３の全域及び立体視域外領域を含んでもよい。

【0038】

最適視認位置Ｐは、立体視域４０３のＺ軸方向における最大点Ｐｍａｘと最小点Ｐｍｉｎとを結ぶ線と、Ｘ軸方向における最大点と最小点とを結ぶ線との交点である。Ｚ軸方向における最大点と最小点とは、表示面１０５からの距離が、最大となる点と最小となる点である。Ｘ軸方向における最大点Ｐｒと最小点Ｐｌとは、表示面１０５に対して、最も右及び最も左に位置する点である。最適視認位置Ｐは、立体視域４０３内において、そこからの移動可能範囲が最も広い点である。

【0039】

図５は、画像処理装置２０の処理例のフローチャートを示す。図５は、追跡領域４０１内で一人の観察者のみが検出された場合、又は、複数の観察者から一人の観察者が選択された場合の処理の例を示す。まず、画像処理装置２０は、例えば起動時に、初期設定を行う（Ｓ１０１）。

【0040】

具体的には、位置判定部２２２は、領域定義情報２３１から、予め、追跡領域及び最適視認位置の情報を取得する。これらの情報は、メモリ２０２に格納される。さらに、経過時間判定部２２３は、時間計測のためのカウンタをクリアする。

【0041】

次に、追跡位置取得部２２１は、追跡装置３０から、観察者の両眼位置及び頭部位置を示すデータを取得する（Ｓ１０２）。位置判定部２２２は、取得した両眼位置が示す両眼中心位置が、追跡領域内に存在するか判定する（Ｓ１０３）。両眼中心位置が追跡領域内に存在する場合（Ｓ１０３：ＹＥＳ）、位置判定部２２２は、その位置を目的位置としてメモリ２０２に保持する（Ｓ１０４）。

【0042】

両眼中心位置が追跡領域外である場合（Ｓ１０５：ＮＯ）、位置判定部２２２は、ステップＳ１０２に戻る。両眼中心位置が不明である場合（Ｓ１０５：ＹＥＳ）、位置判定部２２２は、取得した頭部位置が追跡領域内にあるか判定する（Ｓ１０６）。頭部位置が追跡領域内に存在する場合（Ｓ１０６：ＹＥＳ）、位置判定部２２２は、その位置を目的位置としてメモリ２０２に保持する（Ｓ１０７）。

【0043】

頭部位置が追跡領域外に存在する又は不明の場合（Ｓ１０６：ＮＯ）、経過時間判定部２２３は、カウンタをインクリメントする（Ｓ１０８）。経過時間判定部２２３は、カウンタの値が所定値を超えているか判定する（Ｓ１０９）。カウンタ値が所定値を超えている場合、最適視認位置を目的位置としてメモリ２０２に保持する。さらに、経過時間判定部２２３は、カウンタをクリアする（Ｓ１１０）。

【0044】

立体視用画像生成部２２４は、目的位置として保持されている位置に対する立体視用画像を生成する（Ｓ１１１）。立体視用画像生成部２２４は、画像データベース２３２から画像データを取得し、目的位置に基づいて取得した画像データを処理して、目的位置に応じた立体視用画像を生成する。立体視用画像生成部２２４は、生成した立体視用画像を表示装置１０に出力して、立体視用画像を表示する（Ｓ１１２）。なお、目的位置として保持されている位置が存在しない場合（例えば起動時）、立体視用画像生成部２２４は、立体視用画像を生成しない。

【0045】

図６は、時間経過に伴う、検出された観察者と表示画像との変化の例を示す。時刻Ｔ１において、裸眼立体視表示システム１が起動される。観察者は追跡領域４０１内に存在しないと判定されている。起動から所定時間が経過していないため、表示装置１０は画像を表示していない。時刻Ｔ１から所定時間を超えた時刻Ｔ２において、観察者はいまだ検出されていない。裸眼立体視表示システム１は、最適視認位置Ｐに対応する立体視用画像を表示する。

【0046】

時刻Ｔ３において、観察者５０が追跡領域４０１内で検出されている。裸眼立体視表示システム１は、観察者５０の位置に基づいて立体視用画像を生成し、表示する。時刻Ｔ４において、観察者５０が追跡されている。裸眼立体視表示システム１は、観察者５０の位置に基づいて立体視用画像を生成し、表示する。

【0047】

時刻Ｔ５において、追跡領域４０１内でいずれの観察者も検出されていない。追跡領域４０１で観察者が検出されなくなってから所定時間経過前であるため、裸眼立体視表示システム１は、観察者５０が最後に検出された位置に基づいて立体視用画像を生成し、表示する。

【0048】

時刻Ｔ６において、追跡領域４０１で観察者が検出されなくなってから、時間が所定時間を超えて経過している。裸眼立体視表示システム１は、最適視認位置Ｐに対応する立体視用画像を表示する。時刻Ｔ７において、観察者５０が追跡領域４０１内で検出されている。裸眼立体視表示システム１は、観察者５０の位置に基づいて立体視用画像を生成し、表示する。

【0049】

上述のように、裸眼立体視表示システムは、追跡領域外の観察者は追跡することなく、追跡領域内の観察者を追跡し、追跡領域内の観察者の位置に基づいた立体視用画像を生成、表示する。追跡領域を予め設定して追跡領域外で観察者を追跡しないので、追跡領域内の観察者の背後にいる通行人や表示装置の前を横切る人等に起因する表示のちらつきを防止できる。追跡領域内に位置する観察者を追跡することで、当該観察者に好適な画像を表示することができる。

【0050】

裸眼立体視表示システムは、追跡領域内で観察者を追跡できなくなった時、最後に取得した観察者の位置を保持し、その位置を基に立体視用画像を生成、表示する。これにより、何らかの理由により追跡領域内の観察者を一時的に追跡不能となった場合に、表示のちらつきを防止できる。

【0051】

所定の空間領域内に観察者がいない場合は、表示を所定時間保持した後、所定位置（最適視認位置）に基づいた表示を行う。最適視認位置を設定することで、観察者がいない場合の画像を固定できる。

【0052】

裸眼立体視表示システムは、観察者の眼と頭（体）の位置を検出し、眼を検出できない場合に、頭（体）の位置に基づく立体視画像を表示する。観察者の眼及び頭を検出することで、観察者の眼が一瞬検出できない場合でも、急激な画面の切り替えを抑制することができる。

【0053】

なお、最適視認位置Ｐは、使用環境に応じて任意の位置に設定し得る。例えば、自動車内で運転者に向けた立体画像を表示する場合、最適視認位置Ｐは、運転者の頭頂部が位置する、運転席のヘッドレスト前方の位置を設定する。自動車の車内において運転者は、安全確認のためサイドミラーやバックミラーを見る。安全確認中に運転者の眼が一瞬検出できないと、画面が急激に切り替る。画面が急激に切り替わると、運転者の注意を引く可能性がある。運転者の頭頂部の位置を基準位置とすれば、運転中の急激な画面の切り替えを抑制することができる。

【0054】

裸眼立体視表示システムは、観察者の両眼間隔を取得し、取得した両眼間隔に応じて後述する光線制御素子を制御し、観察者に適した立体視域を形成してもよい。最適視認位置Ｐとして、上述のように、立体視域４０３内において、そこからの移動可能範囲が最も広い点を求めればよい。

【0055】

例えば、スリットの位置や幅を可変な視差バリアや曲率が可変な液晶レンズ等、電気的に光学特性を制御可能な光線制御素子を使用することができる。これにより、取得した観察者の両眼間隔に最適な立体視域を形成することできる。観察者に適した立体視域を形成することで、幼児など頭蓋骨の小さな一般成人とは異なる両眼間隔を持った観察者にも、適切な立体画像を表示することができる。

【0056】

［実施形態２］
以下において、複数の観察者が追跡領域内で検出されている場合の処理を説明する。画像処理装置２０の位置判定部２２２は、追跡領域内に複数の観察者の位置が取得された場合、予め設定された位置（第２の基準位置）に最も近い観察者の位置を基に、立体視用画像を生成する。第２の基準位置は、立体視用画像を表示する上記基準位置と同一又は異なっていてよい。一例において、位置判定部２２２は、最適視認位置に最も近い観察者を選択する。複数人の中から適切な位置（最適視認位置）に最も近い一人（観察者）を特定することで、表示のちらつきを防止できる。

【0057】

最適視認位置に最も近い複数の観察者が存在する場合、位置判定部２２２は、目的位置として既に保持している観察者の位置を維持する。直前の観察者の位置を目的位置として維持し、直前の立体視用画像を表示することで、最適視認位置からの同じ距離の複数の観察者が存在する場合に、急激な画面の切り替えを抑制できる。

【0058】

図７Ａは、二人の観察者の位置の変化の例を示す。図７Ａに示す例において、時刻Ｔ１から時刻Ｔ２の間において、観察者５０Ａが静止し、観察者５０Ｂが最適視認位置Ｐに近づく。この結果、観察者５０Ａと最適視認位置Ｐとの距離と、観察者５０Ｂと最適視認位置Ｐとの距離とが同一となる。この場合、観察者５０Ａの位置が、目的位置としてメモリ２０２に保持され続ける。

【0059】

図７Ｂは、二人の観察者の位置の変化の他の例を示す。図７Ｂに示す例において、時刻Ｔ１から時刻Ｔ２の間において、観察者５０Ａが最適視認位置Ｐに近づき、観察者５０Ｂが最適視認位置Ｐから遠ざかる。この結果、観察者５０Ａと最適視認位置Ｐとの距離と、観察者５０Ｂと最適視認位置Ｐとの距離とが同一となる。この場合、観察者５０Ｂの位置が、目的位置としてメモリ２０２に保持され続ける。

【0060】

位置判定部２２２は、実施形態１と同様に、観察者の眼の位置を特定できない場合に、頭（体）の位置を目的位置と設定する。例えば、観察者Ａが表示面１０５から視線を一瞬外した場合、観察者Ａの頭部の位置がメモリ２０２に目的位置として保持される。観察者の頭部の位置を保持することで、観察者の視線が外れても視線を追跡せず、急激な画面の切り替えを抑制できる。

【0061】

［実施形態３］
以下において、立体視域が複数の部分領域で構成されている場合の処理を説明する。図８は、立体視域の他の例を示す。図３及び４を参照して説明した立体視域４０３の例は、一つの連続領域で構成されている。図８に示す立体視域の例は、分離された複数の部分領域で構成されている。具体的には、立体視域は、部分立体視域４０３Ａから４０３Ｅで構成されている。部分立体視域４０３Ａから４０３Ｅそれぞれにおいて、最適視認位置ＰＡからＰＥが定義される。部分立体視域４０３Ａから４０３Ｅそれぞれにおける最適視認位置ＰＡからＰＥは、図４を参照して説明したように定義される。

【0062】

図９に示すように、観察者５０の両眼中心位置５０３が、部分立体視域４０３Ａから４０３Ｅのいずれかに位置する場合（立体視域内に位置する場合）、当該観察者は、適切な立体画像を認識することができる。一方、図１０に示すように、観察者５０の両眼中心位置５０３が、部分立体視域４０３Ａから４０３Ｅのいずれにも位置していておらず、立体視域外に位置する場合、当該観察者は、適切な立体画像を認識することができない。

【0063】

図１１は、部分立体視域４０３Ａから４０３Ｅからなる立体視域と追跡領域との関係の例を示す。図１１の追跡領域は、複数の部分領域（部分追跡領域）４１０Ａから４１０Ｅで構成され、複数の部分領域はそれぞれ部分立体視域４０３Ａから４０３Ｅと一致している。各部分追跡領域は、立体視域外の領域を含んでもよく、部分立体視域の一部のみを含んでもよい。

【0064】

部分追跡領域４１０Ａから４１０Ｅは、一つの連続する領域を分割して得られる領域であってもよい。つまり、部分追跡領域４１０Ａから４１０Ｅは、連続していてもよい。例えば、部分追跡領域４１０Ａから４１０Ｅは、それぞれ、部分立体視域４０３Ａから４０３Ｅと、それらの間の立体視域外領域を含む。

【0065】

部分追跡領域４１０Ａから４１０Ｅは、それぞれ、部分立体視域４０３Ａから４０３Ｅの最適視認位置ＰＡからＰＥを含む。一例において、部分追跡領域４１０Ａから４１０Ｅに対して、優先度が予め付与されている。部分追跡領域及び優先度の情報は、領域定義情報２３１に格納される。

【0066】

位置判定部２２２は、部分追跡領域４１０Ａから４１０Ｅから、優先度の高い順に、部分追跡領域を選択する。選択した部分追跡領域内で観察者が検出されると、位置判定部２２２は、実施形態１及び実施形態２において説明したように、目的位置をメモリ２０２で保持する。部分追跡領域が選択された後の処理は、実施形態１及び実施形態２と同様である。いずれの部分追跡領域においても観察者が検出されない場合、予め設定されている最適視認位置、例えば、最も優先度が高い部分追跡領域の最適視認位置に対する立体視用画像が表示される。

【0067】

選択されている部分追跡領域に対する立体視用画像が表示されているとき、より優先度が高い部分追跡領域で観察者が検出されると、当該より優先度が高い部分追跡領域に対する立体視用画像に切り替えられてもよい。位置判定部２２２は、例えば、一つの部分追跡領域が選択された後、当該部分追跡領域において最適視認位置に対する立体視用画像を表示する条件が成立すると、優先度の順で、観察者が存在する部分追跡領域の検索を開始してもよい。

【0068】

位置判定部２２２は、部分追跡領域内の最適視認位置と最近観察者との間の距離に基づいて、複数の部分追跡領域から一つの部分追跡領域を選択してもよい。例えば、一部又は全ての部分追跡領域に同一の優先度が付与されており、同一優先度が付与されている複数の部分追跡領域内で観察者が検出されている場合、位置判定部２２２は、最適視認位置と最近観察者との間の距離が最も近い部分追跡領域を選択してもよい。全ての部分追跡領域の優先度が同一とは、優先度が定義されていないことを意味する。

【0069】

以上、本発明の実施形態を説明したが、本発明が上記の実施形態に限定されるものではない。当業者であれば、上記の実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能である。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

【符号の説明】

【0070】

１ 裸眼立体視表示システム、１０ 表示装置、２０ 画像処理装置、３０ 追跡装置、５０ 観察者、５３ 両眼中心位置、１０１ 表示中心、１０５ 表示面、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 出力装置、２０５ 入力装置、２２１ 追跡位置取得部、２２２ 位置判定部、２２３ 経過時間判定部、２２４ 立体視用画像生成部、２３１ 領域定義情報、２３２ 画像データベース、４０１ 追跡領域、４０３ 立体視域、４０３Ａ～４０３Ｅ 部分立体視域、４１０Ａ～４１０Ｅ 部分追跡領域、Ｐ 最適視認位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】