特許 7555999 画像処理装置、頭部装着型表示装置、画像処理装置の制御方法、頭部装着型表示装置の制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】画像処理装置、頭部装着型表示装置、画像処理装置の制御方法、頭部装着型表示装置の制御方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240917BHJP

   H04N 13/344 20180101ALI20240917BHJP

   H04N 13/239 20180101ALI20240917BHJP

   H04N 13/254 20180101ALI20240917BHJP

   H04N 13/257 20180101ALI20240917BHJP

   H04N 13/279 20180101ALI20240917BHJP

   H04N 13/361 20180101ALI20240917BHJP

   H04N 13/366 20180101ALI20240917BHJP

【ＦＩ】

G06T19/00 F

H04N13/344

H04N13/239

H04N13/254

H04N13/257

H04N13/279

H04N13/361

H04N13/366

【請求項の数】 21

(21)【出願番号】P 2022103268

(22)【出願日】2022-06-28

(65)【公開番号】P2024003912

(43)【公開日】2024-01-16

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】佐藤 翔悟

(72)【発明者】

【氏名】林 将之

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１７－０６７８７６（ＪＰ，Ａ）

【文献】特開２０１３－１８６６４１（ＪＰ，Ａ）

【文献】特開２０２０－１６７６５９（ＪＰ，Ａ）

【文献】国際公開第２０１４／００２４１５（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１９１７０３（ＷＯ，Ａ１）

【文献】特開２０１８－１１７３０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ５／６４

Ｇ０９Ｇ ５／００

Ｇ０１Ｓ １７／００

(57)【特許請求の範囲】

【請求項1】

距離情報を得るための第１撮像部と、前記第１撮像部とは異なる第２撮像部と、表示部とを有する頭部装着型表示装置と共に使用可能な画像処理装置であって、
前記第１撮像部が外界を撮像した第１画像を取得する第１取得手段と、
前記第２撮像部が外界を撮像した第２画像を取得する第２取得手段と、
前記第１画像に対応する前記距離情報に基づいてグレースケール画像である前記第１画像とカラー画像である前記第２画像とを合成することにより、前記表示部に表示するカラー画像である外界の画像を生成する生成手段と
を有することを特徴とする画像処理装置。

【請求項2】

前記生成手段は、前記第１画像に対応する前記距離情報に基づいて、前記第１画像の画素と前記第２画像の画素とを対応付けて、前記第１画像の画素値と前記第２画像の画素値とを合成することにより、前記外界の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記生成手段は、前記第１画像の輝度値と前記第２画像の色度値とを合成することにより、前記外界の画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記生成手段は、学習済モデルを用いることにより、前記外界の画像を生成する
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記第１撮像部は、ステレオカメラの撮像部である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記第２撮像部は、単眼カメラの撮像部である
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記第１撮像部は、左撮像部と右撮像部とを有し、
前記第２撮像部は、前記左撮像部と前記右撮像部との間に配置されている
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記生成手段は、前記外界の画像とグラフィックとを合成することにより、前記表示部に表示する表示画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記頭部装着型表示装置の位置と姿勢の少なくとも一方を推定する推定手段を有し、
前記生成手段は、前記位置と姿勢の少なくとも一方に基づいて前記グラフィックを生成する
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記推定手段は、前記第１画像に基づいて前記位置と姿勢の少なくとも一方を推定することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記第２画像の解像度は前記第１画像の解像度よりも高く、
前記生成手段は、前記第１画像の解像度よりも高い解像度の前記外界の画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項12】

前記第１撮像部はグローバルシャッター方式の撮像部であり、
前記第２撮像部はローリングシャッター方式の撮像部である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項13】

前記第１撮像部は、前記第２撮像部よりも高いフレームレートで撮像を行う
ことを特徴とする請求項１に記載の画像処理装置。

【請求項14】

前記第１画像はＳＤＲ画像であり、
前記第２画像はＨＤＲ画像であり、
前記生成手段は、ＨＤＲ画像である前記外界の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項15】

前記頭部装着型表示装置は、不可視光を投影する投影部を有し、
前記距離情報は、前記不可視光が写っている前記第１画像に基づいて、生成される
ことを特徴とする請求項１に記載の画像処理装置。

【請求項16】

前記生成手段は、前記不可視光が写っていない前記第１画像と前記第２画像とを合成することにより、前記外界の画像を生成する
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記生成手段は、前記第１画像に対応する前記距離情報に基づいて、前記第１撮像部の位置とも前記第２撮像部の位置とも異なる位置からの見えを表す前記外界の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項18】

前記頭部装着型表示装置は、前記頭部装着型表示装置を装着したユーザーの目を撮像する第３撮像部を有し、
前記生成手段は、前記第３撮像部が前記目を撮像した第３画像に基づく位置からの見えを表す前記外界の画像を生成する
ことを特徴とする請求項１７に記載の画像処理装置。

【請求項19】

前記第１撮像部と、
前記第２撮像部と、
前記表示部と、
請求項１～１８のいずれか１項に記載の画像処理装置と
を有することを特徴とする頭部装着型表示装置。

【請求項20】

距離情報を得るための第１撮像部と、前記第１撮像部とは異なる第２撮像部と、表示部とを有する頭部装着型表示装置と共に使用可能な画像処理装置の制御方法であって、
前記第１撮像部が外界を撮像した第１画像を取得する第１取得ステップと、
前記第２撮像部が前記外界を撮像した第２画像を取得する第２取得ステップと、
前記第１画像に対応する距離情報に基づいてグレースケール画像である前記第１画像とカラー画像である前記第２画像とを合成することにより、前記表示部に表示するカラー画像である外界の画像を生成する生成ステップと
を有することを特徴とする制御方法。

【請求項21】

請求項２０に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、頭部装着型表示装置、画像処理装置の制御方法、頭部装着型表示装置の制御方法、およびプログラムに関する。

【背景技術】

【0002】

頭部装着型表示装置（例えばＨＭＤ（ヘッドマウントディスプレイ））として、ビデオシースルー方式の表示装置が提案されている。ビデオシースルー方式の表示装置は撮像部と表示部を有し、撮像部が外界（現実空間）を撮像し、撮像部によって得られた画像（外界の画像）を表示部が表示する。ビデオシースルー方式の表示装置に関する技術は、例えば、特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－６２５９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の頭部装着型表示装置（ビデオシースルー方式）では、現実の見えと異なる見えがユーザーに提供されてしまう。例えば、撮像部の位置とユーザーの目の位置とが異なるため、現実の見えと異なる見えがユーザーに提供されてしまう。現実の見えに近い見えをユーザーに提供するためには、高解像度のカラー画像を表示する必要もある。しかし、頭部装着型表示装置に、右目に見せる画像を得る撮像部と左目に見せる画像を得る撮像部との２つの撮像部として、高解像度のカラー画像を得ることのできる２つの撮像部を設けると、撮像部の価格によって装置価格が上がってしまう。さらに、２つの撮像部で得られた２つのカラー画像（高解像度）を処理する必要が生じるため、処理負荷が増し、高価なプロセッサとメモリが必要となる。

【0005】

本発明は、頭部装着型表示装置に表示する画像として好適な画像を得ることのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１態様は、距離情報を得るための第１撮像部と、前記第１撮像部とは異なる第２撮像部と、表示部とを有する頭部装着型表示装置と共に使用可能な画像処理装置であって、前記第１撮像部が外界を撮像した第１画像を取得する第１取得手段と、前記第２撮像部が外界を撮像した第２画像を取得する第２取得手段と、前記第１画像に対応する前記距離情報に基づいてグレースケール画像である前記第１画像とカラー画像である前記第２画像とを合成することにより、前記表示部に表示するカラー画像である外界の画像を生成する生成手段とを有することを特徴とする画像処理装置である。

【0008】

本発明の第３態様は、前記第１撮像部と、前記第２撮像部と、前記表示部と、上述した
画像処理装置とを有することを特徴とする頭部装着型表示装置である。

【0009】

本発明の第４態様は、距離情報を得るための第１撮像部と、前記第１撮像部とは異なる第２撮像部と、表示部とを有する頭部装着型表示装置と共に使用可能な画像処理装置の制御方法であって、前記第１撮像部が外界を撮像した第１画像を取得する第１取得ステップと、前記第２撮像部が前記外界を撮像した第２画像を取得する第２取得ステップと、前記第１画像に対応する距離情報に基づいてグレースケール画像である前記第１画像とカラー画像である前記第２画像とを合成することにより、前記表示部に表示するカラー画像である外界の画像を生成する生成ステップとを有することを特徴とする制御方法である。

【0011】

本発明の第６態様は、上述した制御方法の各ステップをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、頭部装着型表示装置に表示する画像として好適な画像を得ることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態１に係るＨＭＤ１００の外観図である。

【図2】実施形態１に係るＣＰＵ１０６の機能構成を示すブロック図である。

【図3】実施形態１に係る座標投影の様子を示す図である。

【図4】実施形態１に係る表示画像生成処理のデータフロー図である。

【図5】実施形態２に係るＣＰＵ１０６の機能構成を示すブロック図である。

【図6】実施形態２に係るステレオカメラの画像取得を示す図である

【図7】実施形態３に係る表示部と目と被写体の位置関係を示す図である。

【図8】実施形態３に係るＣＰＵ１０６の機能構成を示すブロック図である。

【図9】実施形態３に係る表示画像生成処理のデータフロー図である。

【図10】実施形態４に係る補間が必要な状況を示す図である。

【図11】実施形態４に係る合成部の構成を示す図である。

【図12】実施形態４に係る補間が必要な状況を示す図である。

【図13】実施形態４に係る合成部の構成を示す図である。

【発明を実施するための形態】

【0014】

＜実施形態１＞
本発明の実施形態１について説明する。実施形態１ではＨＭＤ（ヘッドマウントディスプレイ）に本発明を適用した例を説明するが、本発明は他の頭部装着型表示装置にも適用可能である。例えば、ユーザーが手で保持して頭部に装着する（当てる）ハンドヘルド型表示装置は頭部装着型表示装置の一種であり、本発明はハンドヘルド型表示装置にも適用可能である。本発明は、ユーザーが両目で画像を見る頭部装着型表示装置にも、ユーザーが片目で画像を見る頭部装着型表示装置にも適用可能である。本発明は、頭部装着型表示装置と共に使用可能な電子機器であれば、頭部装着型表示装置とは異なる電子機器であっても適用可能である。本発明が適用された画像処理装置は、頭部装着型表示装置に設けられてもよいし、頭部装着型表示装置とは別体の電子機器に設けられてもよい。例えば、本
発明は、ＨＭＤに対して有線または無線で接続されたコントローラーまたはパーソナルコンピュータ（ＰＣ）にも適用可能である。実施形態１に係るＨＭＤは、ビデオシースルー方式のＨＭＤであり、外界（現実空間）の画像を、必要に応じてグラフィック（例えば仮想物体）を合成して表示する。

【0015】

図１（Ａ），１（Ｂ）は、実施形態１に係るＨＭＤ１００の外観図である。図１（Ａ）はＨＭＤ１００の前面斜視図であり、図１（Ｂ）はＨＭＤ１００の背面斜視図である。図１（Ａ）に示すように、ＨＭＤ１００にはヘッドバンド１１０が設けられている。ユーザーは、ＨＭＤ１００を眼部に接触させ、ヘッドバンド１１０で頭部に固定する。ＨＭＤ１００は、ステレオカメラ１０１、単眼カメラ１０２、投影部１０３、左表示部１０４Ｌ、右表示部１０４Ｒ、左目撮像部１０５Ｌ、および右目撮像部１０５Ｒを有する。ＨＭＤ１００は、内部に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０７、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０８を有する。

【0016】

ステレオカメラ１０１は距離情報を得るために外界を撮像するカメラ（撮像装置）であり、左撮像部１０１Ｌと右撮像部１０１Ｒを有する。左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれは、例えば、グローバルシャッター方式の撮像部である。単眼カメラ１０２は、ステレオカメラ１０１と同じ方向に向けられた撮像装置（撮像部）であり、外界を撮像する。単眼カメラ１０２は、例えば、ローリングシャッター方式の撮像部である。単眼カメラ１０２は、所定の観点において、左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれよりも高性能である。実施形態１では、左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれが、撮像によってグレースケール画像を得る撮像部であるとし、単眼カメラ１０２が、撮像によってカラー画像を得る撮像部であるとする。投影部１０３は、ステレオカメラ１０１および単眼カメラ１０２と同じ方向に向けられており、ステレオカメラ１０１および単眼カメラ１０２の撮像範囲に対して不可視光を投影する。なお、実施形態１では、投影部１０３は使用しないとする（投影部１０３を使用する例は、実施形態２で説明する）。

【0017】

左表示部１０４Ｌは、ＨＭＤ１００を装着したユーザーの左目に正対するように配置されており、ユーザーの左目に見せる画像を表示する。右表示部１０４Ｒは、ＨＭＤ１００を装着したユーザーの右目に正対するように配置されており、ユーザーの右目に見せる画像を表示する。左目撮像部１０５Ｌは、左表示部１０４Ｌに対応付けて配置されており、左表示部１０４Ｌを見る左目を撮像する。右目撮像部１０５Ｒは、右表示部１０４Ｒに対応付けて配置されており、右表示部１０４Ｒを見る右目を撮像する。なお、実施形態１では、左目撮像部１０５Ｌと右目撮像部１０５Ｒは使用しないとする（左目撮像部１０５Ｌと右目撮像部１０５Ｒを使用する例は、実施形態３で説明する）。

【0018】

ＣＰＵ１０６は、ＨＭＤ１００全体を制御する情報処理装置（画像処理装置）である。ＲＯＭ１０７は、各種データ（例えば各種プログラムと各種パラメータ）を記憶する。ＲＡＭ１０８も、各種データを記憶する。例えば、ＣＰＵ１０６は、ＲＯＭ１０７に格納されているプログラムをＲＡＭ１０８に展開して実行する。

【0019】

図２は、実施形態１に係るＣＰＵ１０６の機能構成を示すブロック図である。実施形態１では、ＣＰＵ１０６は、奥行マップ生成部２０１、座標変換部２０２、合成部２０３、位置姿勢推定部２０４、および描画部２０５を有する。

【0020】

奥行マップ生成部２０１は、ステレオカメラ１０１から、互いに視差を有する２つのグレースケール画像（左撮像部１０１Ｌによって得られたグレースケール画像、および右撮像部１０１Ｒによって得られたグレースケール画像）を取得する。そして、奥行マップ生成部２０１は、取得した２つのグレースケール画像から、奥行マップ（距離マップ、奥行
情報、距離情報）を生成する。奥行マップは、ステレオカメラ１０１から被写体までの奥行（距離）の分布を示す情報であり、例えば画素値として奥行の値を有する画像である。図３（Ａ）に、奥行マップが表す奥行の分布の一例を示す。図３（Ａ）に示すように、奥行マップは、左撮像部１０１Ｌの撮像範囲と右撮像部１０１Ｒの撮像範囲とが重畳する範囲の奥行の分布を表す。

【0021】

座標変換部２０２は、奥行マップ生成部２０１が生成した奥行マップに基づいて、左撮像部１０１Ｌが取得したグレースケール画像（左グレースケール画像）の画素の座標を、単眼カメラ１０２が取得したカラー画像（撮像カラー画像）の座標に変換する。この変換は「撮像カラー画像に対する左グレースケール画像の座標の投影（座標投影）」と捉えることもできる。これによって、左グレースケール画像の座標と撮像カラー画像の座標とが対応付けられる。同様に、座標変換部２０２は、右撮像部１０１Ｒが取得したグレースケール画像（右グレースケール画像）の座標も撮像カラー画像に投影する。これによって、右グレースケール画像の座標と撮像カラー画像の座標とが対応付けられる。この座標投影の様子を図３（Ａ）に示す。図３（Ａ）には、右グレースケール画像の座標が撮像カラー画像に投影される様子が示されている。左グレースケール画像の座標も同様に撮像カラー画像に投影される。

【0022】

さらに、座標変換部２０２は、奥行マップに基づいて、左グレースケール画像の座標を、左表示部１０４Ｌに表示する画像（表示画像、左表示画像）に投影する。これによって、左グレースケール画像の座標と左表示画像の座標とが対応付けられる。同様に、座標変換部２０２は、右グレースケール画像の座標を、右表示部１０４Ｒに表示する画像（表示画像、右表示画像）に投影する。これによって、右グレースケール画像の座標と右表示画像の座標とが対応付けられる。この座標投影の様子を図３（Ｂ）に示す。図３（Ｂ）には、右グレースケール画像の座標が右表示画像に投影される様子が示されている。左グレースケール画像の座標も同様に左表示画像に投影される。

【0023】

なお、実施形態１では、左撮像部１０１Ｌの位置とも単眼カメラ１０２の位置とも異なる位置（所定の位置、仮想視点）からの被写体の見えを表す左表示画像を生成する。例えば、左表示部１０４Ｌに正対する位置（左目があると考えられる位置）からの被写体の見えを表す左表示画像を生成する。同様に、右撮像部１０１Ｒの位置とも単眼カメラ１０２の位置とも異なる位置（所定の位置、仮想視点）からの被写体の見えを表す右表示画像を生成する。例えば、右表示部１０４Ｒに正対する位置（右目があると考えられる位置）からの被写体の見えを表す右表示画像を生成する。仮想視点は、固定であってもよいし、ユーザーによって変更可能であってもよい。

【0024】

ステレオカメラ１０１（左撮像部１０１Ｌと右撮像部１０１Ｒ）、単眼カメラ１０２、左表示部１０４Ｌ、および右表示部１０４Ｒの位置関係は既知であるため、奥行マップを用いることによって、上述した処理（対応付け）が可能となる。

【0025】

合成部２０３は、ステレオカメラ１０１からグレースケール画像を取得し、単眼カメラ１０２から撮像カラー画像を取得し、座標変換部２０２から上記対応付けの結果を取得する。合成部２０３は、座標変換部２０２による対応付けの結果に基づいて、左グレースケール画像の画素の画素値と、左グレースケール画像の当該画素に対応する撮像カラー画像の画素の画素値とを合成する。実施形態１では、合成部２０３は、左グレースケール画像の輝度値と、撮像カラー画像の色度値（色度（色相と彩度）を示す値）とを合成する。これによって、左グレースケール画像の上記画素に対応する左表示画像の画素の画素値が決定され、左表示画像としてカラー画像が生成される。同様に、合成部２０３は、座標変換部２０２による対応付けの結果に基づいて、右グレースケール画像の画素の画素値と、右グレースケール画像の当該画素に対応する撮像カラー画像の画素の画素値とを合成する。
実施形態１では、合成部２０３は、右グレースケール画像の輝度値と、撮像カラー画像の色度値とを合成する。これによって、右グレースケール画像の上記画素に対応する右表示画像の画素の画素値が決定され、右表示画像としてカラー画像が生成される。

【0026】

位置姿勢推定部２０４は、ステレオカメラ１０１によって得られたグレースケール画像に基づいて、ＨＭＤ１００の位置と姿勢の少なくとも一方を推定する。この処理には、種々の公知技術（例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ
ａｎｄ Ｍａｐｐｉｎｇ））を用いることができる。

【0027】

描画部２０５は、左表示画像を、必要に応じてグラフィック（例えば仮想物体）を描画（合成）して左表示部１０４Ｌに表示する。同様に、描画部２０５は、右表示画像を、必要に応じてグラフィックを描画して右表示部１０４Ｒに表示する。グラフィックの合成は、例えば、位置姿勢推定部２０４による推定の結果に基づいて行われる。

【0028】

図４は、実施形態１に係る表示画像生成処理のデータフロー図である。矢印はデータの流れを示す。図４には、左グレースケール画像の画素ごとの処理、右グレースケール画像の画素ごとの処理、撮像カラー画像の画素ごとの処理、左表示画像の画素ごとの処理、および右表示画像の画素ごとの処理が、区別して示されている。図４の表示画像生成処理は、ＣＰＵ１０６がＲＯＭ１０７に格納されているプログラムをＲＡＭ１０８に展開して実行することによって実現される。例えば、ＨＭＤ１００が起動すると図４の表示画像生成処理が開始する。

【0029】

ステップＳ４０１では、奥行マップ生成部２０１は、ステレオカメラ１０１から、左グレースケール画像（左グレースケール画像の各画素の輝度値）と右グレースケール画像（右グレースケール画像の各画素の輝度値）とを取得する。さらに、合成部２０３は、単眼カメラ１０２から撮像カラー画像（撮像カラー画像の各画素の色度値）を取得する。

【0030】

ステップＳ４０２では、奥行マップ生成部２０１は、ステップＳ４０１で取得した左グレースケール画像と右グレースケール画像に基づいて、左グレースケール画像の画素に対応する奥行を判断する。左グレースケール画像の画素に対応する奥行は、左グレースケール画像の画素ごとに判断される。これによって、左グレースケール画像の画素ごとに奥行を示す左奥行マップが生成される。同様に、奥行マップ生成部２０１は、ステップＳ４０１で取得した左グレースケール画像と右グレースケール画像に基づいて、右グレースケール画像の画素に対応する奥行を判断する。右グレースケール画像の画素に対応する奥行は、右グレースケール画像の画素ごとに判断される。これによって、右グレースケール画像の画素ごとに奥行を示す右奥行マップが生成される。

【0031】

ステップＳ４０３では、座標変換部２０２は、ステップＳ４０２で生成された左奥行マップに基づいて、左グレースケール画像の各画素の座標を撮像カラー画像に投影する。これによって、左グレースケール画像の各画素の座標が撮像カラー画像の座標に対応付けられる。同様に、座標変換部２０２は、ステップＳ４０２で生成された右奥行マップに基づいて、右グレースケール画像の各画素の座標を撮像カラー画像に投影する。これによって、右グレースケール画像の各画素の座標が撮像カラー画像の座標に対応付けられる。

【0032】

ステップＳ４０４では、合成部２０３は、左グレースケール画像の画素の輝度値と、左グレースケール画像の当該画素に対応する撮像カラー画像の画素の色度値とを合成する。この処理は、ステップＳ４０３で得られた対応関係（左グレースケール画像の座標と撮像カラー画像の座標の対応関係）に基づいて、左グレースケール画像の画素ごとに行われる。同様に、合成部２０３は、右グレースケール画像の画素の輝度値と、右グレースケール画像の当該画素に対応する撮像カラー画像の画素の色度値とを合成する。この処理は、ス
テップＳ４０３で得られた対応関係（右グレースケール画像の座標と撮像カラー画像の座標の対応関係）に基づいて、右グレースケール画像の画素ごとに行われる。

【0033】

ステップＳ４０５では、座標変換部２０２は、ステップＳ４０２で生成された左奥行マップに基づいて、左グレースケール画像の各画素の座標を左表示画像に投影する。これによって、左グレースケール画像の各画素の座標が左表示画像の座標に対応付けられる。同様に、座標変換部２０２は、ステップＳ４０２で生成された右奥行マップに基づいて、右グレースケール画像の各画素の座標を右表示画像に投影する。これによって、右グレースケール画像の各画素の座標が右表示画像の座標に対応付けられる。

【0034】

ステップＳ４０６では、合成部２０３は、左表示画像の画素に対応する左グレースケール画像の画素についてステップＳ４０５で得られた画素値（合成後の画素値）を、左表示画像の当該画素の画素値として決定する。この処理は、ステップＳ４０３で得られた対応関係（左グレースケール画像の座標と左表示画像の座標の対応関係）に基づいて、左表示画像の画素ごとに行われる。同様に、合成部２０３は、右表示画像の画素に対応する右グレースケール画像の画素についてステップＳ４０５で得られた画素値（合成後の画素値）を、右表示画像の当該画素の画素値として決定する。この処理は、ステップＳ４０３で得られた対応関係（右グレースケール画像の座標と右表示画像の座標の対応関係）に基づいて、右表示画像の画素ごとに行われる。

【0035】

以上述べたように、実施形態１によれば、距離情報を使用することによって、現実の見えに近い見えを表す好適な表示画像を得ることができる。例えば、ユーザーの目があると考えられる位置からの被写体の見えを表す表示画像を得ることができる。さらに、ステレオカメラ１０１の左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれとして、所定の観点において単眼カメラ１０２よりも低性能な撮像部を用いているため、処理負荷と装置価格の増加を抑制することができる。

【0036】

なお、距離情報を取得するための撮像装置は、ステレオカメラに限られない。例えば、距離情報を取得するための撮像装置（撮像部）として、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラを使用してもよい。その場合は、ＴｏＦカメラが撮像によって得た画像を、奥行マップ（距離情報）として使用することができる。

【0037】

ステレオカメラによって得られた２つの画像にそれぞれ対応する２つの表示画像（左表示画像と右表示画像）を個別に生成する例を説明したが、これに限られない。例えば、上記方法で左表示画像を生成し、左表示画像を右表示画像としても使用するようにしてよい。また、左奥行マップと右奥行マップの一方のみを生成し、生成した１つの奥行マップを用いて左表示画像と右表示画像を生成してもよい。

【0038】

ステレオカメラの撮像部は、グレースケール画像を得る撮像部でなくてもよいし、単眼カメラは、カラー画像を得る撮像部でなくてもよい。例えば、ステレオカメラの撮像部と、単眼カメラとのそれぞれとして、カラー画像を得る撮像部を使用してもよい。ステレオカメラの撮像部としてカラー画像を得る撮像部を使用し、単眼カメラとしてグレースケール画像を得る撮像部を使用してもよい。単眼カメラによって得られる画像の解像度は、ステレオカメラの撮像部によって得られる画像の解像度より高くてもよい。その場合は、上述した座標の対応関係に基づいて、解像度がステレオカメラの撮像部によって得られる画像の解像度よりも高い表示画像を生成することが可能となる。

【0039】

ステレオカメラの撮像部によって得られた画像の画素値と、単眼カメラによって得られた画像の画素値との合成方法は、上記方法に限られない。例えば、ステレオカメラの撮像部によって得られた画像の色度値を考慮してもよいし、単眼カメラによって得られた画像
の輝度値を考慮してもよい。単眼カメラによって得られた画像の画素値を、表示画像の画素値として決定してもよい。

【0040】

ステレオカメラの撮像部によって得られる画像がＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像であり、単眼カメラによって得られる画像がＳＤＲ（Ｓｔａｎｄａｒｄ
Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像であり、表示画像がＨＤＲ画像であってもよい。ステレオカメラの撮像部によって得られる画像がＨＤＲ画像であれば、安定した精度で奥行マップ（距離情報）を得ることができる。ステレオカメラの撮像部によって得られる画像がＳＤＲ画像であり、単眼カメラによって得られる画像がＨＤＲ画像であり、表示画像がＨＤＲ画像であってもよい。ＳＤＲ画像を得る撮像部を用いることによって、装置価格を低減することができる。

【0041】

ステレオカメラの撮像部の位置とも単眼カメラの位置とも異なる位置を仮想視点としたが、これに限られない。例えば、ステレオカメラの撮像部の位置を仮想視点としてもよい。高解像度のカラー画像を表示できれば、現実の見えに近い見えをユーザーに提供できる。そのため、ステレオカメラの撮像部によって高解像度のグレースケール画像が得られる場合には、当該撮像部によって得られたグレースケール画像を色づけした画像を、表示画像として使用してもよい。ステレオカメラの撮像部によって低解像度のカラー画像が得られる場合には、当該撮像部によって得られたカラー画像を高解像度化した画像を、表示画像として使用してもよい。ステレオカメラの撮像部によって低解像度のグレースケール画像が得られる場合には、当該撮像部によって得られたグレースケール画像を色づけおよび高解像度化した画像を、表示画像として使用してもよい。

【0042】

＜実施形態２＞
本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。

【0043】

一般的に、奥行マップ（距離情報）の取得において、ステレオカメラによって得られたグレースケール画像のうち、特徴が無い（少ない）部分、例えば輝度値が一様な部分については、高精度な奥行（距離）を得ることができない。そこで、実施形態２では、投影部１０３が、不可視光のパターン画像（例えば赤外光のドットパターン）を投影する。ステレオカメラ１０１は不可視光を検知可能であり、投影されたパターン画像は、ステレオカメラ１０１によって得られるグレースケール画像に写る。例えば、グレースケール画像に写ったパターン画像の位置および形状を考慮することによって、高精度な奥行マップを得ることができる。ドットパターンの例では、グレースケール画像に写ったドットパターンにおける複数のドットの配置および間隔を考慮することによって、高精度な奥行マップを得ることができる。投影されたパターン画像は、単眼カメラ１０２によって得られるカラー画像には写らない。

【0044】

しかし、パターン画像が写ったグレースケール画像を用いると、表示画像にもパターン画像が写ってしまう。そこで、実施形態２では、投影部１０３は、パターン画像の投影（不可視光）の投影および非投影を繰り返す。ステレオカメラ１０１（左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれ）は、繰り返し撮像を行うことによって、パターン画像が写った第１グレースケール画像と、パターン画像が写っていない第２グレースケール画像とを取得する。そして、ＣＰＵ１０６は、第１グレースケール画像から奥行マップを判断し、当該奥行マップに基づいて、第２グレースケール画像の画素値と撮像カラー画像の画素値とを合成することによって、表示画像の画素値を決定する。

【0045】

図５は、実施形態２に係るＣＰＵ１０６の機能構成を示すブロック図である。実施形態
２では、ＣＰＵ１０６は、奥行マップ生成部２０１、座標変換部２０２、合成部２０３、位置姿勢推定部２０４、描画部２０５、および画像選択部５０１を有する。

【0046】

画像選択部５０１は、ステレオカメラ１０１から左グレースケール画像と右グレースケール画像のそれぞれを繰り返し取得する。画像選択部５０１は、第１グレースケール画像（パターン画像が写ったグレースケール画像）である左グレースケール画像と右グレースケール画像を奥行マップ生成部２０１に出力する。そして、画像選択部５０１は、第２グレースケール画像（パターン画像が写っていないグレースケール画像）である左グレースケール画像と右グレースケール画像を合成部２０３と位置姿勢推定部２０４に出力する。

【0047】

例えば、図６に示すように、ステレオカメラ１０１では、左グレースケール画像として、第１グレースケール画像と第２グレースケール画像とが交互に取得される。このため、画像選択部５０１は、ステレオカメラ１０１から、左グレースケール画像として、第１グレースケール画像と第２グレースケール画像とを交互に取得する。同様に、ステレオカメラ１０１では、右グレースケール画像として、第１グレースケール画像と第２グレースケール画像とが交互に取得される。このため、画像選択部５０１は、ステレオカメラ１０１から、右グレースケール画像として、第１グレースケール画像と第２グレースケール画像とを交互に取得する。

【0048】

なお、１フレームの第１グレースケール画像と１フレームの第２グレースケール画像を交互に取得する例を説明したが、これに限られない。例えば、１フレームの第１グレースケール画像の取得と、複数フレーム（例えば、２フレーム、３フレーム、または５フレーム）の第２グレースケール画像の取得とが交互に行われてもよい。複数フレームの第１グレースケール画像の取得と、１フレームの第２グレースケール画像の取得とが交互に行われてもよい。複数フレームの第１グレースケール画像の取得と、複数フレームの第２グレースケール画像の取得とが交互に行われてもよい。

【0049】

第２グレースケール画像（パターン画像が写っていないグレースケール画像）の取得頻度を上げると、表示画像の表示のフレームレートも上がる。そのため、表示画像の表示の滑らかさを優先する場合には、第２グレースケール画像の取得頻度を上げることが好ましい。第２グレースケール画像の取得頻度を上げると、第１グレースケール画像（パターン画像が写ったグレースケール画像）の取得頻度は下がってしまう。しかし、第１グレースケール画像を用いなくても、グレースケール画像の変化に基づいて奥行マップを更新することができるため、第１グレースケール画像の取得頻度は低くても問題はない。

【0050】

実施形態２では、表示画像の表示のフレームレートは、ステレオカメラ１０１（左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれ）による撮像のフレームレートよりも低くなる。例えば、表示のフレームレートは６０ｆｐｓ、９０ｆｐｓ、または１２０ｆｐｓであり、撮像のフレームレートは９０ｆｐｓ、１２０ｆｐｓ、または２４０ｆｐｓである。単眼カメラ１０２による撮像のフレームレートは、表示画像の表示のフレームレートに合わせてもよい。そのため、ステレオカメラ１０１（左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれ）は、単眼カメラ１０２よりも高いフレームレートで撮像を行ってもよい。

【0051】

以上述べたように、実施形態２によれば、不可視光が写った画像が距離情報の取得（判断）に使用され、不可視光が写っていない画像が表示画像の画素値の決定に使用される。これによって、表示画像に非可視光が写ることを抑制しつつ、高精度な距離情報を取得することができる。ひいては、高精度な距離情報に基づいて、より好適な表示画像（現実の見えにより近い見えを表す好適な表示画像）を得ることができる。

【0052】

なお、ＨＭＤ１００に対して選択的に設定可能な複数の表示モードは、左表示部１０４
Ｌと右表示部１０４Ｒのそれぞれに外界（現実空間）の画像を表示する表示モードと、外界の画像を表示しない表示モードとを含んでもよい。外界の画像を表示する表示モードは、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）モードである。外界の画像を表示しない表示モードは、例えば、左表示部１０４Ｌと右表示部１０４Ｒのそれぞれに仮想空間の画像を表示する表示モードである。仮想空間の画像を表示する表示モードは、例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）モードである。

【0053】

そして、投影部１０３は、ＡＲモードが設定されている場合には、不可視光の投影および非投影を繰り返し、ＡＲモードが設定されていない場合（例えばＶＲモードが設定されている場合）には、不可視光を投影し続けてもよい。こうすることによって、ＡＲモードが設定されていない場合に、高精度な奥行マップ（距離情報）を取得し続けることができ、奥行マップに基づく処理が好適に行えるようになる。

【0054】

ＡＲモードが設定されていない場合（例えばＶＲモードが設定されている場合）において、ステレオカメラ１０１（左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれ）は、ＡＲモードが設定されている場合よりも低いフレームレートで撮像を行ってもよい。例えば、ＡＲモードが設定されていない場合において、ステレオカメラ１０１は、不可視光が写った画像の取得頻度が低くなるように撮像を行ってもよい。ステレオカメラ１０１は、不可視光が写った画像のみを取得するように撮像を行ってもよい。こうすることによって、ＨＭＤ１００の消費電力を低減することができる。

【0055】

＜実施形態３＞
本発明の実施形態３について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。

【0056】

ＨＭＤ１００を装着したユーザーの目の位置（左表示部１０４Ｌに対する左目の相対位置、および右表示部１０４Ｒに対する右目の相対位置）、すなわち実際の視点は、ユーザーに依存する。図７に示すように、表示部に対するユーザーの目の相対位置が変わると、表示部に対する被写体の相対位置が変わらなくても、目に対する被写体の相対位置が変わるため、表示部に表示すべき画像が変わる。そこで、実施形態３では、ＣＰＵ１０６は、左目撮像部１０５Ｌによって撮像された左目の画像（左目画像）に基づいて、左目の視点（左表示部１０４Ｌに対する左目の相対位置）を判断し、当該視点からの被写体の見えを表す左表示画像を生成する。同様に、ＣＰＵ１０６は、右目撮像部１０５Ｒによって撮像された右目の画像（右目画像）に基づいて、右目の視点（右表示部１０４Ｒに対する右目の相対位置）を判断し、当該視点からの被写体の見えを表す右表示画像を生成する。

【0057】

また、人間の目は、中心視野の色を感度よく検知できるが、周辺視野の色は感度よく検知できないという特性を有する。そこで、実施形態３では、ＣＰＵ１０６は、左目画像に基づいて、左表示画像のうち左目の中心視野に対応する部分と、左表示画像のうち左目の周辺視野に対応する部分とで処理を異ならせる。そして、ＣＰＵ１０６は、左表示画像のうち、左目の中心視野に対応する部分の画素値は、実施形態１と同様に、左グレースケール画像の画素値と撮像カラー画像の画素値とを合成することによって決定する。但し、ＣＰＵ１０６は、左表示画像のうち、左目の周辺視野に対応する部分の画素値は、左グレースケール画像の画素値から決定する。これによって、左表示画像では、左目の中心視野に対応する部分のみが色づき、左目の周辺視野に対応する部分の画素値はグレースケールの画素値となる。

【0058】

同様に、ＣＰＵ１０６は、右目画像に基づいて、右表示画像のうち右目の中心視野に対応する部分と、右表示画像のうち右目の周辺視野に対応する部分とで処理を異ならせる。
そして、ＣＰＵ１０６は、右表示画像のうち、右目の中心視野に対応する部分の画素値は、実施形態１と同様に、右グレースケール画像の画素値と撮像カラー画像の画素値とを合成することによって決定する。但し、ＣＰＵ１０６は、右表示画像のうち、右目の周辺視野に対応する部分の画素値は、右グレースケール画像の画素値から決定する。これによって、右表示画像では、右目の中心視野に対応する部分のみが色づき、右目の周辺視野に対応する部分の画素値はグレースケールの画素値となる。

【0059】

図８は、実施形態３に係るＣＰＵ１０６の機能構成を示すブロック図である。実施形態３では、ＣＰＵ１０６は、奥行マップ生成部２０１、座標変換部２０２、合成部２０３、位置姿勢推定部２０４、描画部２０５、および目画像処理部８０１を有する。

【0060】

目画像処理部８０１は、左目撮像部１０５Ｌから左目画像を取得し、左目画像を用いた処理を行う。例えば、目画像処理部８０１は、左目画像から左目を検出し、左目の視点（左表示部１０４Ｌに対する左目の相対位置）を判断する。また、目画像処理部８０１は、左目画像に基づいて、左目の視線に関する視線情報を取得する（視線検出）。視線情報は、例えば、視線の方向を示す角度情報と、左表示部１０４Ｌの表示面上での視線の位置を示す位置情報との少なくとも一方を含む。同様に、目画像処理部８０１は、右目撮像部１０５Ｒから右目画像を取得し、右目画像を用いた処理を行う。目画像処理部８０１の処理には、種々の公知技術を用いることができる。例えば、左目撮像部１０５Ｌの周辺に複数の光源を設け、複数の光源にそれぞれ対応する複数の角膜反射像と、瞳孔との位置関係に基づいて、視線情報を取得することができる。

【0061】

合成部２０３の処理は、実施形態１と概ね同じである。但し、左目の視点として、所定の仮想視点ではなく、目画像処理部８０１によって判断された左目の視点に基づいて、左表示画像が生成される。また、目画像処理部８０１によって取得された左目の視線情報に基づいて、左目の中心視野に対応する部分のみが色づき、左目の周辺視野に対応する部分の画素値はグレースケールの画素値となった左表示画像が生成される。同様に、右目の視点として、所定の仮想視点ではなく、目画像処理部８０１によって判断された右目の視点に基づいて、右表示画像が生成される。また、目画像処理部８０１によって取得された右目の視線情報に基づいて、右目の中心視野に対応する部分のみが色づき、右目の周辺視野に対応する部分の画素値はグレースケールの画素値となった右表示画像が生成される。

【0062】

図９は、実施形態３に係る表示画像生成処理のデータフロー図である。矢印はデータの流れを示す。図９には、左グレースケール画像の画素ごとの処理、撮像カラー画像の画素ごとの処理、および左表示画像の画素ごとの処理が、区別して示されている。図９の表示画像生成処理は、ＣＰＵ１０６がＲＯＭ１０７に格納されているプログラムをＲＡＭ１０８に展開して実行することによって実現される。例えば、ＨＭＤ１００が起動すると図９の表示画像生成処理が開始する。なお、右表示画像の生成方法は左表示画像の生成方法と同様であるため、右表示画像の生成方法の説明は省略する。

【0063】

ステップＳ９０１～Ｓ９０３の処理は、実施形態１（図４）のステップＳ４０１～Ｓ４０３の処理と同じである。

【0064】

ステップＳ９１１では、目画像処理部８０１は、左目撮像部１０５Ｌによって得られた左目画像から左目の位置を検出し、左目の視点（左表示部１０４Ｌに対する左目の相対位置）を判断する。

【0065】

ステップＳ９１２では、目画像処理部８０１は、左目画像に基づいて、左目の姿勢（視線の方向）を判断する。

【0066】

ステップＳ９１３では、座標変換部２０２は、ステップＳ９１２で判断された左目の姿勢に基づいて、左表示部１０４Ｌの表示面のうち左目の中心視野に対応する部分を判断する。例えば、座標変換部２０２は、左目の視線の方向を中心とする所定の視野角に対応する部分を、中心視野に対応する部分として判断する。所定の視野角は、例えば３０度以上かつ５０度以下の視野角である。そして、座標変換部２０２は、ステップＳ９０２で生成された左奥行マップに基づいて、左表示部１０４Ｌの表示面のうち左目の中心視野に対応する部分を、左グレースケール画像に投影する。これによって、左グレースケール画像のうち左目の中心視野に対応する部分が判断される。

【0067】

ステップＳ９０４では、実施形態１（図４）のステップＳ４０４と同様に、合成部２０３は、左グレースケール画像の画素の輝度値と、左グレースケール画像の当該画素に対応する撮像カラー画像の画素の色度値とを合成する。但し、ステップＳ９０４の処理は、ステップＳ９１３で判断された部分（左グレースケール画像のうち左目の中心視野に対応する部分）についてのみ実行される。

【0068】

ステップＳ９０５では、実施形態１（図４）のステップＳ４０５と同様に、座標変換部２０２は、左グレースケール画像の各画素の座標を左表示画像に投影する。但し、座標変換部２０２は、所定の仮想視点ではなく、ステップＳ９１１で判断された左目の視点に基づいて、投影を行う。

【0069】

ステップＳ９０６の処理は、実施形態１（図４）のステップＳ４０６と同じである。但し、上述したように、ステップＳ９０４の処理は、左グレースケール画像のうち左目の中心視野に対応する部分についてのみ実行されている。このため、ステップＳ９０６の処理によって、左目の中心視野に対応する部分のみが色づき、左目の周辺視野に対応する部分の画素値はグレースケールの画素値となった左表示画像が生成される。

【0070】

以上述べたように、実施形態３によれば、ユーザーの目を撮像した画像に基づいて、ユーザーの視点が判断される。そして、判断された視点からの被写体の見えを表す表示画像が生成される。これによって、より好適な表示画像（現実の見えにより近い見えを表す好適な表示画像）を得ることができる。さらに、ユーザーの中心視野に対応する部分についてのみ画素値の合成が行われる。これによっても、より好適な表示画像（現実の見えにより近い見えを表す好適な表示画像）を得ることができる。画素値の合成を行う部分を制限することによって、処理負荷を軽減することもできる。

【0071】

なお、視線検出は行わなくてもよい。その場合は、例えば、ＣＰＵ１０６は、左表示画像の中心部分の画素値を、左グレースケール画像の画素値と撮像カラー画像の画素値とを合成することによって決定する。そして、ＣＰＵ１０６は、左表示画像の周縁部分（中心部分以外の部分）の画素値を、左グレースケール画像の画素値から決定する。同様に、ＣＰＵ１０６は、右表示画像の中心部分の画素値を、右グレースケール画像の画素値と撮像カラー画像の画素値とを合成することによって決定する。そして、ＣＰＵ１０６は、右表示画像の周縁部分（中心部分以外の部分）の画素値を、右グレースケール画像の画素値から決定する。こうすることによっても、より好適な表示画像（現実の見えにより近い見えを表す好適な表示画像）を得ることができる。ユーザーの視線が変化する範囲を考慮して、中心視野よりも広い部分が中心部分として予め定められてもよい。中心部分は固定であってもよいし、ユーザーによって変更可能であってもよい。

【0072】

一般的に、奥行マップ（距離情報）の取得において、画像の周縁部分については、高精度な奥行（距離）を得ることができない。そのため、周縁部分では奥行マップに基づく処理が好適に行えないことがある。例えば、グレースケール画像の周縁部分に色づけを行う際に、色と被写体とのずれが生じてしまうことがある。周縁部分については画素値の合成
を行わない上記構成によれば、そのような不具合の発生を抑制することもできる。

【0073】

＜実施形態４＞
本発明の実施形態４について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。また、以下では、右目に関する事項について説明する。左目に関する事項は右目に関する事項と同様であるため、左目に関する事項の説明は省略する。

【0074】

奥行マップ（距離情報）を取得する際に、表示画像の一部の位置について、奥行（距離）を取得できないことがある。実施形態４では、ＣＰＵ１０６（合成部２０３）は、そのような位置の画素値を補間によって決定する。

【0075】

例えば、右目（視点）から見える位置が、右撮像部１０１Ｒでは隠れ、右グレースケール画像に写らないことがある。このような場合に、右表示画像のうち、右グレースケール画像に写らない位置については、奥行（距離）が取得できず、画素値を決定することができない。その様子を図１０に示す。

【0076】

このような１つ目の課題を解決するための合成部２０３の構成を図１１に示す。図１１では、合成部２０３は、メッシュ化部１１０１とテクスチャマッピング部１１０２を有する。なお、図１１の合成部２０３では、実施形態１の合成部２０３と同様の処理（画素値の合成）も行われる。

【0077】

メッシュ化部１１０１は、奥行マップ（距離情報）によって奥行（距離）が示されている右グレースケール画像または撮像カラー画像の複数の位置を頂点とする複数の領域を設定する（図１０のメッシュ化）。

【0078】

テクスチャマッピング部１１０２は、メッシュ化部１１０１によって設定された複数の領域にそれぞれ対応する複数のテクスチャを用いたテクスチャマッピングを行う。これによって、右表示画像うち、奥行マップによって奥行が示されていない位置の画素値が決定される。実施形態４では、画素値の合成後の右グレースケール画像の複数の領域、すなわち色づけされた右グレースケール画像の複数の領域を、複数のテクスチャとして用いる。

【0079】

なお、撮像カラー画像の複数の領域を複数のテクスチャとして用いてもよい。メッシュ化に使用する複数の位置（複数の頂点）の数は、右グレースケール画像の画素数と同じであってもよいし、右グレースケール画像の画素数より少なくてもよい。メッシュ化に使用する複数の位置の数を減らすことによって、処理負荷を軽減することができる。補間方法は上記方法に限られない。例えば、テクスチャマッピングを行わずに、奥行の値を補間して、表示画像の未決定位置（画素値が決定されていない位置）の画素値を、決定位置（画素値が決定されている位置）の画素値と同様の方法で決定できるようにしてもよい。一部の画素値が決定されていない右表示画像を得た後に、当該右表示画像の未決定位置の周囲の画素値を用いた補間処理（例えば線形補間）によって、未決定位置の画素値を決定してもよい。

【0080】

また、図１２に示すように、右表示画像に対応する範囲の端部が奥行マップの取得範囲（左撮像部１０１Ｌの撮像範囲と右撮像部１０１Ｒの撮像範囲とが重畳する範囲）外となることがある。このような場合に、右表示画像の端部については、奥行が取得できず、画素値を決定することができない。

【0081】

このような２つ目の課題を解決するための合成部２０３の構成を図１３に示す。図１３では、合成部２０３は、画素値合成部１３０１と補間部１３０２を有する。

【0082】

画素値合成部１３０１は、実施形態１の合成部２０３と同様の処理（画素値の合成）を行う。また、画素値合成部１３０１は、右表示画像の未決定領域（画素値が決定されていない領域）を表すマスク画像を生成する。

【0083】

補間部１３０２は、画素値合成部１３０１によって生成された右表示画像に対するインペインティング処理を行う。画素値合成部１３０１によって生成された右表示画像が、未決定領域を含んだ不完全な右表示画像である場合には、インペインティングによって、未決定領域の画素値が決定され、完全な右表示画像が生成される。インペインティングには、種々の公知技術を用いることができる。補間部１３０２は、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、例えばＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を用いてインペインティングを行う演算器（学習済みモデル）である。実施形態４では、補間部１３０２には、画素値合成部１３０１によって生成された右表示画像とマスク画像が入力され、補間部１３０２からは、完全な右表示画像が出力される。

【0084】

図１３の合成部２０３を用いれば、１つ目の課題も解決することができる。

【0085】

以上述べたように、実施形態４によれば、補間によって完全な表示画像が生成される。これによって、より好適な表示画像（現実の見えにより近い見えを表す好適な表示画像）を得ることができる。

【0086】

なお、合成部２０３は、画素値の合成によって、一部分が色づけされた表示画像を生成し、当該一部分の色づけの結果に基づいて表示画像の他の部分に色づけを行ってもよい。他の部分に対する色づけには、ＡＩ（例えばＧＡＮ）を用いて色づけを行う演算器（学習済みモデル）を用いることができる。例えば、演算器には、一部分の色づけされた表示画像と、当該一部分の色分布を表すマスク画像とが入力され、演算器からは、完全な表示画像が出力される。

【0087】

なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。

【0088】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0089】

本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
距離情報を得るための第１撮像部と、前記第１撮像部とは異なる第２撮像部と、表示部とを有する頭部装着型表示装置と共に使用可能な画像処理装置であって、
前記第１撮像部が被写体を撮像した第１画像を取得する第１取得手段と、
前記第２撮像部が前記被写体を撮像した第２画像を取得する第２取得手段と、
前記第１画像に対応する距離情報と、前記第２画像とに基づいて、前記表示部に表示する表示画像を生成する生成手段と
を有することを特徴とする画像処理装置。
（構成２）
前記生成手段は、前記第１撮像部の位置とも前記第２撮像部の位置とも異なる位置からの前記被写体の見えを表す前記表示画像を生成する
ことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記生成手段は、前記距離情報に基づいて、前記第１画像の画素値と前記第２画像の画素値とを合成することによって、前記表示画像の画素値を決定する
ことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記第２画像の解像度は前記第１画像の解像度よりも高く、
前記生成手段は、解像度が前記第１画像の解像度よりも高い前記表示画像を生成する
ことを特徴とする構成１～３のいずれかに記載の画像処理装置。
（構成５）
前記第１画像はグレースケール画像であり、
前記第２画像はカラー画像であり、
前記生成手段は、前記表示画像として、カラー画像を生成する
ことを特徴とする構成１～４のいずれかに記載の画像処理装置。
（構成６）
前記生成手段は、前記距離情報に基づいて、前記第１画像の輝度値と前記第２画像の色度値とを合成することによって、前記表示画像の画素値を決定する
ことを特徴とする構成５に記載の画像処理装置。
（構成７）
前記第１画像はＨＤＲ画像であり、
前記第２画像はＳＤＲ画像であり、
前記表示画像はＨＤＲ画像である
ことを特徴とする構成１～６のいずれかに記載の画像処理装置。
（構成８）
前記第１画像はＳＤＲ画像であり、
前記第２画像はＨＤＲ画像であり、
前記表示画像はＨＤＲ画像である
ことを特徴とする構成１～４のいずれかに記載の画像処理装置。
（構成９）
前記生成手段は、前記表示画像うち、前記距離情報によって距離が示されていない位置の画素値を、補間によって決定する
ことを特徴とする構成１～８のいずれかに記載の画像処理装置。
（構成１０）
前記生成手段は、所定の位置からの前記被写体の見えを表す前記表示画像を生成する
ことを特徴とする構成１～９のいずれかに記載の画像処理装置。
（構成１１）
前記頭部装着型表示装置は、前記頭部装着型表示装置を装着したユーザーの目を撮像する第３撮像部を有し、
前記生成手段は、前記第３撮像部が前記目を撮像した第３画像に基づく位置からの前記被写体の見えを表す前記表示画像を生成する
ことを特徴とする構成１～９のいずれかに記載の画像処理装置。
（構成１２）
前記第１撮像部はステレオカメラの撮像部である
ことを特徴とする構成１～１１のいずれかに記載の画像処理装置。
（構成１３）
前記第１取得手段は、互いに視差を有する２つの第１画像を取得し、
前記生成手段は、前記２つの第１画像にそれぞれ対応する２つの表示画像を個別に生成する
ことを特徴とする構成１２に記載の画像処理装置。
（構成１４）
前記第１撮像部はＴｏＦカメラである
ことを特徴とする構成１～１１のいずれかに記載の画像処理装置。
（構成１５）
前記第１撮像部は、前記第２撮像部よりも高いフレームレートで撮像を行う
ことを特徴とする構成１～１４のいずれかに記載の画像処理装置。
（構成１６）
前記頭部装着型表示装置は、前記第１撮像部の撮像範囲に対して不可視光の投影および非投影を繰り返す投影部を有し、
前記第１撮像部は、繰り返し撮像を行うことによって、前記不可視光が写った第１画像と、前記不可視光が写っていない第１画像とを取得し、
前記生成手段は、前記不可視光が写った第１画像から距離情報を判断し、当該距離情報に基づいて、前記不可視光が写っていない第１画像の画素値と前記第２画像の画素値とを合成することによって、前記表示画像の画素値を決定する
ことを特徴とする構成１～１５のいずれかに記載の画像処理装置。
（構成１７）
前記投影部は、
前記表示部に外界の画像を表示する表示モードが設定されている場合には、前記第１撮像部の撮像範囲に対して前記不可視光の投影および非投影を繰り返し、
前記表示モードが設定されていない場合には、前記第１撮像部の撮像範囲に対して前記不可視光を投影し続ける
ことを特徴とする構成１６に記載の画像処理装置。
（構成１８）
前記表示部に外界の画像を表示する表示モードが設定されていない場合において、前記第１撮像部は、前記表示モードが設定されている場合よりも低いフレームレートで撮像を行う
ことを特徴とする構成１６または１７に記載の画像処理装置。
（構成１９）
前記生成手段は、前記距離情報によって距離が示されている前記第１画像または前記第２画像の複数の位置を頂点とする複数の領域にそれぞれ対応する複数のテクスチャを用いたテクスチャマッピングを行うことによって、前記表示画像うち、前記距離情報によって距離が示されていない位置の画素値を決定する
ことを特徴とする構成１～１８のいずれかに記載の画像処理装置。
（構成２０）
前記複数の位置の数は、前記第１画像の画素数よりも少ない
ことを特徴とする構成１９に記載の画像処理装置。
（構成２１）
前記生成手段は、インペインティングを行うことによって、前記表示画像うち、前記距離情報によって距離が示されていない位置の画素値を決定する
ことを特徴とする構成１～２０のいずれかに記載の画像処理装置。
（構成２２）
前記生成手段は、前記第１画像の画素値と前記第２画像の画素値とを合成することによって前記表示画像の中心部分の画素値を決定し、前記第１画像の画素値から前記表示画像の周縁部分の画素値を決定する処理を、前記距離情報に基づいて行う
ことを特徴とする構成１～２１のいずれかに記載の画像処理装置。
（構成２３）
前記頭部装着型表示装置は、前記頭部装着型表示装置を装着したユーザーの目を撮像する第３撮像部を有し、
前記生成手段は、前記表示画像のうち前記ユーザーの中心視野に対応する部分の画素値を前記第１画像の画素値と前記第２画像の画素値とを合成することによって決定し、前記表示画像のうち前記ユーザーの周辺視野に対応する部分の画素値を前記第１画像の画素値から決定する処理を、前記距離情報と前記第３撮像部が前記目を撮像した第３画像とに基づいて行う
ことを特徴とする構成１～２１のいずれかに記載の画像処理装置。
（構成２４）
前記第１画像に基づいて前記頭部装着型表示装置の位置と姿勢の少なくとも一方を推定する推定手段をさらに有する
ことを特徴とする構成１～２３のいずれかに記載の画像処理装置。
（構成２５）
前記第１撮像部はグローバルシャッター方式の撮像部であり、
前記第２撮像部はローリングシャッター方式の撮像部である
ことを特徴とする構成１～２４のいずれかに記載の画像処理装置。
（構成２６）
前記生成手段は、
前記距離情報に基づいて、前記第１画像の輝度値と前記第２画像の色度値とを合成することによって、一部分が色づけされた前記表示画像を生成し、
前記一部分の色づけの結果に基づいて、前記表示画像の他の部分に色づけを行う
ことを特徴とする構成１～２５のいずれかに記載の画像処理装置。
（構成２７）
距離情報を得るための撮像部と、
前記撮像部の撮像範囲に対して不可視光を投影する投影部と、
表示部と
を有し、
前記投影部は、
前記表示部に外界の画像を表示する表示モードが設定されている場合には、前記撮像部の撮像範囲に対して前記不可視光の投影および非投影を繰り返し、
前記表示モードが設定されていない場合には、前記撮像部の撮像範囲に対して前記不可視光を投影し続ける
ことを特徴とする頭部装着型表示装置。
（構成２８）
前記第１撮像部と、
前記第２撮像部と、
前記表示部と、
構成１～２６のいずれかに記載の画像処理装置と
を有することを特徴とする頭部装着型表示装置。
（方法１）
距離情報を得るための第１撮像部と、前記第１撮像部とは異なる第２撮像部と、表示部とを有する頭部装着型表示装置と共に使用可能な画像処理装置の制御方法であって、
前記第１撮像部が被写体を撮像した第１画像を取得する第１取得ステップと、
前記第２撮像部が前記被写体を撮像した第２画像を取得する第２取得ステップと、
前記第１画像に対応する距離情報と、前記第２画像とに基づいて、前記表示部に表示する表示画像を生成する生成ステップと
を有することを特徴とする制御方法。
（方法２）
距離情報を得るための撮像部と、
前記撮像部の撮像範囲に対して不可視光を投影する投影部と、
表示部と
を有する頭部装着型表示装置の制御方法であって、
前記表示部に外界の画像を表示する表示モードが設定されている場合に、前記投影部が前記撮像部の撮像範囲に対して前記不可視光の投影および非投影を繰り返すように制御するステップと、
前記表示モードが設定されていない場合に、前記投影部が前記撮像部の撮像範囲に対して前記不可視光を投影し続けるように制御するステップと
を有することを特徴とする制御方法。
（プログラム）
方法１または２に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。

【符号の説明】

【0090】

１００：ＨＭＤ １０１：ステレオカメラ １０２：単眼カメラ １０３：投影部
１０４Ｌ：左表示部 １０４Ｒ：右表示部 １０６：ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】