特許 7596333 頭部装着型表示装置、画像処理装置、頭部装着型表示装置の制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】頭部装着型表示装置、画像処理装置、頭部装着型表示装置の制御方法、およびプログラム

(51)【国際特許分類】

   H04N 13/366 20180101AFI20241202BHJP

   H04N 13/239 20180101ALI20241202BHJP

   H04N 13/344 20180101ALI20241202BHJP

【ＦＩ】

H04N13/366

H04N13/239

H04N13/344

【請求項の数】 10

(21)【出願番号】P 2022105685

(22)【出願日】2022-06-30

(65)【公開番号】P2024005485

(43)【公開日】2024-01-17

【審査請求日】2024-10-02

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】武本 和樹

【審査官】薄井 義明

(56)【参考文献】

【文献】特表２０２２－５２２５７９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１７６７５（ＷＯ，Ａ１）

【文献】米国特許第１１５０７２０３（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１１１３８３２６６（ＣＮ，Ａ）

【文献】特開２００５－１７２８５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２３／０３３７７７６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３１５３６５（ＵＳ，Ａ１）

【文献】特開２０１８－００５７７８（ＪＰ，Ａ）

【文献】特開２０１６－２１３６６３（ＪＰ，Ａ）

【文献】特表２０２２－５１１２５７（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２１－００２２３４３（ＫＲ，Ａ）

【文献】国際公開第２０１３／１７９４２７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／３６６

Ｈ０４Ｎ １３／２３９

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

頭部装着型表示装置であって、
正面に設けられている第１撮像手段と、
前記正面に設けられており、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、
側面に設けられている第２撮像手段と、
前記第１撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、
前記第２撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記状態に関する第２情報を取得する第２取得手段と、
前記第１情報と前記第２情報に基づいて、仮想物体の画像を生成する生成手段と、を有し、
前記第２取得手段は、前記パターン画像が写っていない画像から現実空間の特徴を検出することにより、前記第２情報を取得する
ことを特徴とする頭部装着型表示装置。

【請求項2】

前記第１撮像手段によって撮像された画像に基づいて、距離情報を取得する測距手段を有し、
前記測距手段は、前記パターン画像が写っている画像に基づいて、前記距離情報を取得する
ことを特徴とする請求項１に記載の頭部装着型表示装置。

【請求項3】

前記生成手段は、前記第１取得手段が所定の精度よりも高い精度で前記状態を取得できない場合、前記第２情報に基づいて、前記仮想物体の画像を生成する
ことを特徴とする請求項１または２に記載の頭部装着型表示装置。

【請求項4】

前記第２撮像手段は、前記第１撮像手段が設けられている位置よりも剛性が低い位置に設けられている
ことを特徴とする請求項１または２に記載の頭部装着型表示装置。

【請求項5】

前記第２撮像手段は、左側面と右側面のそれぞれに設けられている
ことを特徴とする請求項１または２に記載の頭部装着型表示装置。

【請求項6】

前記第１撮像手段による撮像のフレームレートは、前記第２撮像手段による撮像のフレームレートと同じである
ことを特徴とする請求項１または２に記載の頭部装着型表示装置。

【請求項7】

前記第１撮像手段及び第２撮像手段はグローバルシャッター方式の撮像手段である
ことを特徴とする請求項１または２に記載の頭部装着型表示装置。

【請求項8】

正面に設けられている第１撮像手段と、前記正面に設けられており、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、側面に設けられている第２撮像手段と、を有する頭部装着型表示装置と共に使用可能な画像処理装置であって、
前記第１撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、
前記第２撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記状態に関する第２情報を取得する第２取得手段と、
前記第１情報と前記第２情報に基づいて、仮想物体の画像を生成する生成手段と
を有し、
前記第２取得手段は、前記パターン画像が写っていない画像から現実空間の特徴を検出することにより、前記第２情報を取得する
ことを特徴とする画像処理装置。

【請求項9】

正面に設けられている第１撮像手段と、前記正面に設けられており、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、側面に設けられている第２撮像手段とを有する頭部装着型表示装置の制御方法であって、
前記第１撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得ステップと、
前記第２撮像手段によって撮像された画像から現実空間の特徴を検出することによりに基づいて、前記状態に関する第２情報を取得する第２取得ステップと、
前記第１情報と前記第２情報に基づいて、仮想物体の画像を生成する生成ステップと、を有し、
前記第２取得ステップでは、前記パターン画像が写っていない画像から現実空間の特徴を検出することにより、前記第２情報を取得する
ことを特徴とする制御方法。

【請求項10】

請求項９に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部装着型表示装置、画像処理装置、頭部装着型表示装置の制御方法、およびプログラムに関する。

【背景技術】

【0002】

頭部装着型表示装置（例えばＨＭＤ（ヘッドマウントディスプレイ））として、カメラによって撮像された画像（撮像画像）に基づいて自身の位置と姿勢を推定可能な表示装置が提案されている。そのような頭部装着型表示装置に関する技術は、例えば、特許文献１に開示されている。推定した位置と姿勢を用いることによって、ユーザーに対して画像を好適に表示できるようになる。例えば、現実空間に対して仮想空間または仮想物体の画像を違和感なく合成できるようになる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－００９５５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の頭部装着型表示装置では、頭部装着型表示装置の位置と姿勢を高精度に推定できないことがある。例えば、頭部装着型表示装置を装着したユーザーが頭部を素早く動かした場合に、カメラで追跡する現実空間の特徴点が当該カメラの撮像範囲の外に出たり、撮像画像に特徴点の動きボケが発生したりする。その結果、特徴点が追跡できなくなり、頭部装着型表示装置の位置と姿勢が高精度に推定できなくなる。

【0005】

本発明は、頭部装着型表示装置の位置と姿勢の少なくとも一方を高精度に推定（判断）することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１態様は、頭部装着型表示装置であって、正面に設けられている第１撮像手段と、前記正面に設けられており、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、側面に設けられている第２撮像手段と、前記第１撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、前記第２撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記状態に関する第２情報を取得する第２取得手段と、前記第１情報と前記第２情報に基づいて、仮想物体の画像を生成する生成手段と、を有し、前記第２取得手段は、前記パターン画像が写っていない画像から現実空間の特徴を検出することにより、前記第２情報を取得することを特徴とする頭部装着型表示装置である。

【0007】

本発明の第２態様は、正面に設けられている第１撮像手段と、前記正面に設けられており、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、側面に設けられている第２撮像手段と、を有する頭部装着型表示装置と共に使用可能な画像処理装置であって、前記第１撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、前記第２撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記状態に関する第２情報を取得する第２取得手段と、前記第１情報と前記第２情報に基づいて、仮想物体の画像を生成する生成手段とを有し、前記第２取得手段は、前記パターン画像が写っていない画像から現実空間の特徴を検出することにより、前記第２情報を取得することを特徴とする画像処理装置である。

【0009】

本発明の第３態様は、正面に設けられている第１撮像手段と、前記正面に設けられており、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、側面に設けられている第２撮像手段とを有する頭部装着型表示装置の制御方法であって、前記第１撮像手段によって撮像された画像から現実空間の特徴を検出することにより、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得ステップと、前記第２撮像手段によって撮像された画像から現実空間の特徴を検出することによりに基づいて、前記状態に関する第２情報を取得する第２取得ステップと、前記第１情報と前記第２情報に基づいて、仮想物体の画像を生成する生成ステップと、を有し、前記第２取得ステップでは、前記パターン画像が写っていない画像から現実空間の特徴を検出することにより、前記第２情報を取得することを特徴とする制御方法である。

【0011】

本発明の第４態様は、上述した制御方法の各ステップをコンピュータに実行させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、頭部装着型表示装置の位置と姿勢の少なくとも一方を高精度に推定（判断）することができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に係るＨＭＤの外観図である。

【図2】本実施形態に係るＣＰＵの機能構成を示すブロック図である。

【図3】本実施形態に係る状態推定部の機能構成を示すブロック図である。

【図4】本実施形態に係る状態推定処理のフローチャートである。

【発明を実施するための形態】

【0014】

本発明の実施形態について説明する。本実施形態ではＨＭＤ（ヘッドマウントディスプレイ）に本発明を適用した例を説明するが、本発明は他の頭部装着型表示装置にも適用可能である。例えば、ユーザーが手で保持して頭部に装着する（当てる）ハンドヘルド型表示装置は頭部装着型表示装置の一種であり、本発明はハンドヘルド型表示装置にも適用可能である。本発明は、ユーザーが両目で画像を見る頭部装着型表示装置にも、ユーザーが片目で画像を見る頭部装着型表示装置にも適用可能である。

【0015】

本発明は、ビデオシースルー方式にも光学シースルー方式にも適用可能である。ビデオシースルー方式の場合は、頭部装着型表示装置は、外界（現実空間）の画像を、必要に応じてグラフィック（例えば仮想物体）を合成して表示する。この場合は、ユーザーは、現実空間を直接見ることはできないが、表示された画像を見ることによって、現実空間を間接的に見たり、現実空間の画像に合成されたグラフィックを見たりすることができる。光学シースルー方式の場合は、頭部装着型表示装置は、例えば、通常の眼鏡のレンズと同様のレンズを有し、レンズに対し、必要に応じてグラフィックを投影する。この場合は、ユーザーは、レンズを介して現実空間を直接見たり、レンズに投影されたグラフィックを見たりすることができる。本発明は、現実空間の画像を表示せずに仮想空間の画像を表示す
る方式にも適用可能である。つまり、本発明は、様々なＸＲ（Ｃｒｏｓｓ Ｒｅａｌｉｔｙ）、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）、およびＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に適用可能である。

【0016】

本発明は、頭部装着型表示装置と共に使用可能な電子機器であれば、頭部装着型表示装置とは異なる電子機器であっても適用可能である。本発明が適用された状態判断装置は、頭部装着型表示装置に設けられてもよいし、頭部装着型表示装置とは別体の電子機器に設けられてもよい。例えば、本発明は、ＨＭＤに対して有線または無線で接続されたコントローラーまたはパーソナルコンピュータ（ＰＣ）にも適用可能である。

【0017】

図１（Ａ），１（Ｂ）は、本実施形態に係るＨＭＤ１００の外観図である。図１（Ａ）はＨＭＤ１００の前面斜視図であり、図１（Ｂ）はＨＭＤ１００の背面斜視図である。図１（Ａ）に示すように、ＨＭＤ１００にはヘッドバンド１１０が設けられている。ユーザーは、ＨＭＤ１００を眼部に接触させ、ヘッドバンド１１０で頭部に固定する。ＨＭＤ１００は、ステレオカメラ１０１、投影部１０２、サイドカメラ１０３、左表示部１０４Ｌ、および右表示部１０４Ｒを有する。ＨＭＤ１００は、内部に、ＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０７を有する。

【0018】

ステレオカメラ１０１は、外界を撮像するカメラ（撮像装置）であり、左撮像部１０１Ｌと右撮像部１０１Ｒを有する。例えば、ステレオカメラ１０１はグローバルシャッター方式のカメラである（左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれは、例えば、グローバルシャッター方式の撮像部である）。ステレオカメラ１０１（左撮像部１０１Ｌと右撮像部１０１Ｒのそれぞれ）によって得られる画像は、例えば、グレースケール画像である。投影部１０２は、ステレオカメラ１０１と同じ方向に向けられており、ステレオカメラ１０１の撮像範囲にパターン画像を投影する。本実施形態では、投影部１０２は、不可視光のパターン画像（例えば赤外光のドットパターン）を投影するとする。サイドカメラ１０３も、外界を撮像するカメラであり、例えばグローバルシャッター方式のカメラである。サイドカメラ１０３によって得られる画像も、例えば、グレースケール画像である。左表示部１０４Ｌは、ＨＭＤ１００を装着したユーザーの左目に正対するように配置されており、ユーザーの左目に見せる画像（表示画像、左表示画像）を表示する。右表示部１０４Ｒは、ＨＭＤ１００を装着したユーザーの右目に正対するように配置されており、ユーザーの右目に見せる画像（表示画像、右表示画像）を表示する。

【0019】

ＣＰＵ１０５は、ＨＭＤ１００全体を制御する情報処理装置（画像処理装置）である。ＲＯＭ１０６は、各種データ（例えば各種プログラムと各種パラメータ）を記憶する。ＲＡＭ１０７も、各種データ（ステレオカメラ１０１によって撮像された画像と、サイドカメラ１０３によって撮像された画像とを含む）を記憶する。例えば、ＣＰＵ１０５は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開して実行する。

【0020】

図２は、ＣＰＵ１０５の機能構成を示すブロック図である。ＣＰＵ１０５は、測距部２０１、状態推定部２０２、グラフィック生成部２０３、および表示制御部２０４を有する。

【0021】

測距部２０１は、ステレオカメラ１０１から、互いに視差を有する２つの画像（左撮像部１０１Ｌによって撮像された画像、および右撮像部１０１Ｒによって撮像された画像）を取得する。そして、測距部２０１は、取得した２つの画像から、距離マップ（距離情報、奥行マップ、奥行情報）を生成する。測距部２０１が使用する画像は、投影部１０２によって投影されたパターン画像が写った画像である。距離マップは、ステレオカメラ１０
１から被写体までの距離（奥行）の分布を示す情報であり、例えば画素値として奥行の値を有する画像である。なお、ステレオカメラ１０１の代わりに単眼カメラを使用してもよい。例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラを使用してもよい。その場合は、ＴｏＦカメラによって撮像された画像を、距離マップとして使用することができる。但し、各種処理の安定性の観点から、単眼カメラよりもステレオカメラ１０１のほうが好ましい。

【0022】

状態推定部２０２は、ステレオカメラ１０１の撮像画像（ステレオカメラ１０１によって撮像された画像）とサイドカメラ１０３の撮像画像（サイドカメラ１０３によって撮像された画像）とに基づいて、ＨＭＤ１００の状態を推定する。本実施形態では、ＨＭＤ１００の状態は、ＨＭＤ１００の位置と姿勢の少なくとも一方を含む。

【0023】

グラフィック生成部２０３はグラフィックを生成する。例えば、グラフィック生成部２０３は、測距部２０１によって生成された距離マップと、状態推定部２０２によって推定されたＨＭＤ１００の状態とに基づく３次元位置に仮想物体が配置されるように、当該仮想物体の画像を生成する。

【0024】

表示制御部２０４は、左撮像部１０１Ｌによって撮像された画像に基づいて左表示画像を生成し、左表示画像を左表示部１０４Ｌに表示する。表示制御部２０４は、必要に応じて、グラフィック生成部２０３によって生成されたグラフィック（例えば仮想物体）の合成を行い、当該グラフィックが配置された左表示画像を生成する。同様に、表示制御部２０４は、右撮像部１０１Ｒによって撮像された画像に基づいて右表示画像を生成し、右表示画像を右表示部１０４Ｒに表示する。表示制御部２０４は、必要に応じて、グラフィック生成部２０３によって生成されたグラフィック（例えば仮想物体）の合成を行い、当該グラフィックが配置された右表示画像を生成する。表示制御部２０４が使用する画像は、投影部１０２によって投影されたパターン画像が写っていない画像であることが好ましい。

【0025】

ここで、ステレオカメラ１０１の撮像画像のみに基づいてＨＭＤ１００の状態を推定する構成を考える。そのような構成では、ＨＭＤ１００の状態を高精度に推定できないことがある。例えば、ＨＭＤ１００を装着したユーザーが頭部を素早く動かした場合に、ステレオカメラ１０１で追跡する現実空間の特徴点がステレオカメラ１０１の撮像範囲の外に出たり、ステレオカメラ１０１の撮像画像に特徴点の動きボケが発生したりする。その結果、特徴点が追跡できなくなり、ＨＭＤ１００の状態が高精度に推定できなくなる。

【0026】

そこで、本実施形態では、サイドカメラ１０３の撮像画像をさらに用いる。サイドカメラ１０３は、パターン画像の投影範囲に重ならない範囲が撮像されるように配置される。パターン画像の投影範囲は、ステレオカメラ１０１の撮像範囲の一部であってもよいし、ステレオカメラ１０１の撮像範囲全体であってもよい。本実施形態では、投影部１０２は、ステレオカメラ１０１の撮像範囲全体にパターン画像を投影するとする。そのため、サイドカメラ１０３は、ステレオカメラ１０１の撮像範囲に重ならない範囲を撮像する。

【0027】

これによって、ＨＭＤ１００の状態を推定するために参照できる範囲がサイドカメラ１０３の撮像範囲によって広がるため、ＨＭＤ１００の状態が高精度に推定できるようになる。例えば、特徴点がステレオカメラ１０１の撮像範囲の外に出ても、サイドカメラ１０３によって特徴点が撮像されていれば、ＨＭＤ１００の状態を高精度に推定することができる。また、ステレオカメラ１０１の撮像画像に特徴点の動きボケが発生しても、サイドカメラ１０３の撮像画像に特徴点の動きボケが発生しなければ、ＨＭＤ１００の状態を高精度に推定することができる。

【0028】

なお、本実施形態ではステレオカメラ１０１とサイドカメラ１０３のそれぞれがグローバルシャッター方式のカメラであるとしたが、これに限られない。例えば、ステレオカメラ１０１としてローリングシャッター方式のカメラを用いてもよい。ローリングシャッター方式のカメラはグローバルシャッター方式のカメラに比べ安価で、高解像度化を行いやすい。そのため、ステレオカメラ１０１としてローリングシャッター方式のカメラを用いることによって、ＨＭＤ１００の価格を下げたり、表示画像の高解像度化を行ったりすることができる。サイドカメラ１０３としても、ローリングシャッター方式のカメラを用いてよい。但し、グローバルシャッター方式のほうがローリングシャッター方式よりも撮像画像に歪みが発生しにくいため、歪み抑制の観点では、グローバルシャッター方式のカメラを用いることが好ましい。例えば、サイドカメラ１０３では、ステレオカメラ１０１の撮像画像よりも歪みの少ない画像を撮像できることが好ましいため、サイドカメラ１０３としてグローバルシャッター方式のカメラを用いることが好ましい。

【0029】

ステレオカメラ１０１による撮像のフレームレートと、サイドカメラ１０３による撮像のフレームレートとは特に限定されないが、それらは同じ（例えば６０ｆｐｓ、９０ｆｐｓ、または１２０ｆｐｓ）であることが好ましい。ステレオカメラ１０１による撮像のフレームレートを、サイドカメラ１０３による撮像のフレームレートと同じであれば、それらの撮像のタイミングのずれを低減することによって、より好適に処理が行えるようになる。

【0030】

図３は、状態推定部２０２の機能構成を示すブロック図である。状態推定部２０２は、第１推定部３０１、特徴検出部３０２、第２推定部３０３、および状態判断部３０４を有する。

【0031】

第１推定部３０１は、ステレオカメラ１０１の撮像画像に基づいて、ＨＭＤ１００の状態に関する第１情報を取得する。本実施形態では、第１推定部３０１は、ステレオカメラ１０１の撮像画像に基づいて、ＨＭＤ１００の状態を推定することによって、推定した状態を示す第１情報を取得するとする。例えば、第１推定部３０１は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によってＨＭＤ１００の状態を推定する。

【0032】

なお、第１情報は、ＨＭＤ１００の状態に関する情報であればよく、例えば所定の状態からの変化量を示す情報であってもよい。第１推定部３０１は、ＨＭＤ１００の状態の推定に、ステレオカメラ１０１の撮像画像に対応する距離情報（測距部２０１によって生成された距離マップ）を用いてもよい。例えば、第１推定部３０１は、ＲＧＢ－Ｄ ＳＬＡＭによってＨＭＤ１００の状態を推定してもよい。第１推定部３０１は、距離情報のみを用いてＨＭＤ１００の状態を推定してもよい。

【0033】

投影部１０２によって投影されたパターン画像がステレオカメラ１０１の撮像画像に写っていると、パターン画像の特徴（例えばドット）が現実空間の特徴（例えば特徴点）として誤検出され、ＨＭＤ１００の状態を高精度に推定できないことがある。そのため、投影部１０２は、パターン画像の投影と非投影を繰り返してもよい。そして、第１推定部３０１は、パターン画像が非投影の期間に得られたステレオカメラ１０１の撮像画像に基づいて、ＨＭＤ１００の状態を推定してもよい。

【0034】

なお、パターン画像が投影される期間でも、サイドカメラ１０３の撮像画像を用いたオドメトリによって、ＨＭＤ１００の状態を推定することができる。例えば、サイドカメラ１０３の撮像画像の時間変化（例えば特徴点の動きベクトル）に対応するＨＭＤ１００の状態変化を、ＨＭＤ１００の前回の状態（推定した状態）に加えることによって、ＨＭＤ１００の現在の状態を推定することができる。

【0035】

特徴検出部３０２は、サイドカメラ１０３の撮像画像から特徴を検出する。検出する特徴は現実空間に関する特徴であればよく、本実施形態では、特徴検出部３０２は、サイドカメラ１０３の撮像画像から特徴点を検出するとする。特徴点は、例えば、現実空間に存在する点（物体の一部または全体）である。特徴点を示す特定の物体が設置されてもよいし、元々存在する物体の一部または全体が特徴点として検出されてもよい。特徴の検出には、種々の公知技術（例えばＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ） ＴｒａｃｋｅｒまたはｇｏｏｄＦｅａｔｕｒｅｓ Ｔｏ Ｔｒａｃｋ）を用いることができる。

【0036】

第２推定部３０３は、サイドカメラ１０３の撮像画像に基づいて、ＨＭＤ１００の状態に関する第２情報を取得する。なお、第２情報は、ＨＭＤ１００の状態に関する情報であればよく、ＨＭＤ１００の状態を示す情報であってもよいし、そうでなくてもよい。

【0037】

上述したように、サイドカメラ１０３によって撮像された画像をさらに用いることによって、ＨＭＤ１００の状態を高精度に推定できるようになる。しかしながら、サイドカメラ１０３を配置することのできる範囲は限られているため、剛性の低い位置にサイドカメラ１０３が設けられることがある。剛性が低い位置にサイドカメラ１０３を設けると、温度または時間経過によって、ステレオカメラ１０１に対するサイドカメラ１０３の相対位置が変化することがある。サイドカメラ１０３の撮像画像に基づいてＨＭＤ１００の状態を推定する構成において、サイドカメラ１０３の相対位置が変化すると、状態推定の精度が低下する。サイドカメラ１０３が、ステレオカメラ１０１が設けられている部材と異なる部材に設けられている場合には、それらの部材間のずれによっても、サイドカメラ１０３の相対位置の変化が生じる。

【0038】

本実施形態（図１）では、ステレオカメラ１０１はＨＭＤ１００の正面に設けられており、サイドカメラ１０３はＨＭＤ１００の側面に設けられている。ＨＭＤ１００の側面は、ユーザーがＨＭＤ１００を装着する際に把持する面であり、ＨＭＤ１００の全体重量を抑えるために正面よりも剛性が低い部材で構成されることが多い。また、正面の部材と側面の部材が同じであっても、一般的に、部材の端部分の剛性は、当該部材の中央部分の剛性よりも低くなる。そのため、本実施形態では、サイドカメラ１０３は、ステレオカメラ１０１が設けられている位置よりも剛性が低い位置に設けられている。なお、ステレオカメラ１０１とサイドカメラ１０３の配置は上記配置に限られない。

【0039】

そこで、本実施形態では、第２推定部３０３は、サイドカメラ１０３の撮像画像に基づいて、所定時間あたりのＨＭＤ１００の状態変化を推定することによって、推定した状態変化を示す第２情報を取得するとする。例えば、第２推定部３０３は、特徴検出部３０２によって検出された特徴の時間変化（例えば特徴点の動きベクトル）に応じて、ＨＭＤ１００の状態変化を推定する。所定時間（短い時間）にサイドカメラ１０３の相対位置の変化は生じない（または小さい）と考えられるため、ＨＭＤ１００の状態変化を高精度に推定することができる。さらに、サイドカメラ１０３の相対位置の変化が無視できるので、サイドカメラ１０３の相対位置が変化しても、ＨＭＤ１００の状態推定のキャリブレーションは必要なく、高い利便性を実現できる。

【0040】

なお、本実施形態（図１）ではＨＭＤ１００の左側面と右側面のそれぞれにサイドカメラ１０３が設けられているが、サイドカメラ１０３の数は、１つであってもよいし、３つ以上であってもよい。複数のサイドカメラ１０３が設けられている場合には、例えば、第２推定部３０３は、各サイドカメラ１０３の撮像画像を個別に用いて複数の状態変化を推定し、複数の状態変化の平均を最終的な状態変化として決定する。

【0041】

また、サイドカメラ１０３の相対位置の変化が実質的に無視できれば、所定時間は特に限定されないが、所定時間は短いことが好ましい。そこで、本実施形態では、第２推定部３０３は、サイドカメラ１０３の撮像画像に基づいて、サイドカメラ１０３による前回の撮像からのＨＭＤ１００の状態変化を推定するとする。

【0042】

状態判断部３０４は、第１情報と第２情報に基づいてＨＭＤ１００の状態を判断する。一般的に、ステレオカメラ１０１の撮像画像のみに基づいてＨＭＤ１００の状態を推定する構成では、ステレオカメラ１０１の撮像画像から検出される特徴点の数が多いほど、状態推定の精度が高い。そのため、本実施形態では、状態判断部３０４は、ステレオカメラ１０１の撮像画像から検出される特徴点の数が閾値よりも多い場合には、第１情報が示す状態（第１推定部３０１によって推定された状態）を、ＨＭＤ１００の状態として判断するとする。そして、状態判断部３０４は、ステレオカメラ１０１の撮像画像から検出される特徴点の数が閾値よりも少ない場合に、第１情報と第２情報に基づいてＨＭＤ１００の状態を判断するとする。本実施形態では、状態判断部３０４は、現在から上記所定時間前のタイミングで判断した状態に、第２推定部３０３によって推定された状態変化（現在の第２情報が示す状態変化）を加えることによって、ＨＭＤ１００の現在の状態を判断するとする。現在から上記所定時間前のタイミングで（状態判断部３０４が）判断した状態は、例えば、当該タイミングで得られた第１情報が示す状態である。

【0043】

なお、ＨＭＤ１００の状態の判断方法は、上記方法に限られない。例えば、状態判断部３０４は、第２推定部３０３によって推定された状態変化と、上記所定時間前のタイミングから現在までの期間に第１推定部３０１によって推定された状態の変化（当該期間における第１情報が示す状態の変化）とを重みづけ合成してもよい。そして、状態判断部３０４は、現在から上記所定時間前のタイミングで判断した状態に、重みづけ合成によって得られた変化を加えることによって、ＨＭＤ１００の現在の状態を判断してもよい。重みづけ合成を行うことによって、第２情報を使用する前後での状態推定の結果の急激な変化を抑制することができる。

【0044】

状態判断部３０４は、上記重みづけ合成において、ステレオカメラ１０１の撮像画像から検出される特徴点の数と、サイドカメラ１０３の撮像画像から検出される特徴点の数とに基づく重みを使用してもよい。例えば、状態判断部３０４は、ステレオカメラ１０１の撮像画像の特徴点の数からサイドカメラ１０３の特徴点の数を減算して得られる差分値が大きいほど、第１推定部３０１によって推定された状態の変化の重みを大きくする。そして、状態判断部３０４は、差分値が小さいほど、第２推定部３０３によって推定された状態変化の重みを大きくする。

【0045】

図４は、ＨＭＤ１００の状態推定処理のフローチャートである。図４の状態推定処理は、ＣＰＵ１０５がＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開して実行することによって実現される。例えば、ＨＭＤ１００が起動すると図４の状態推定処理が開始する。ＣＰＵ１０５は、図４の状態推定処理を繰り返し実行する。１回目の状態推定処理では、例えば、ステップＳ４０９の処理によってＨＭＤ１００の状態が判断される。

【0046】

ステップＳ４０１では、ＣＰＵ１０５は、投影部１０２によってパターン画像が投影されているか否かを判定する。ＣＰＵ１０５は、パターン画像が投影されていると判定した場合はステップＳ４０２に処理を進め、パターン画像が投影されていないと判定した場合はステップＳ４０５に処理を進める。

【0047】

ステップＳ４０２では、ＣＰＵ１０５（特徴検出部３０２）は、サイドカメラ１０３の撮像画像を取得する。ステップＳ４０３では、ＣＰＵ１０５（特徴検出部３０２）は、ス
テップＳ４０２で取得した撮像画像（サイドカメラ１０３の撮像画像）から特徴点を検出する。ステップＳ４０４では、ＣＰＵ１０５（第２推定部３０３）は、ステップＳ４０３で検出した特徴点の時間変化（動きベクトル）に基づいて、ＨＭＤ１００の状態変化を推定する。その後、ＣＰＵ１０５は、ステップＳ４１２に処理を進める。

【0048】

ステップＳ４０５では、ＣＰＵ１０５（第１推定部３０１）は、ステレオカメラ１０１の撮像画像を取得する。ステップＳ４０６では、ＣＰＵ１０５（特徴検出部３０２）は、サイドカメラ１０３の撮像画像を取得する。ステップＳ４０７では、ＣＰＵ１０５（第１推定部３０１）は、ステップＳ４０５で取得した撮像画像（ステレオカメラ１０１の撮像画像）を用いたＳＬＡＭによって、ＨＭＤ１００の状態を推定する。ステップＳ４０７の処理は、ステレオカメラ１０１の撮像画像から特徴点を検出する処理を含む。ステップＳ４０８では、ＣＰＵ１０５（特徴検出部３０２）は、ステップＳ４０６で取得した撮像画像（サイドカメラ１０３の撮像画像）から特徴点を検出する。ステップＳ４０９では、ＣＰＵ１０５（第２推定部３０３）は、ステップＳ４０８で検出した特徴点の時間変化（動きベクトル）に基づいて、ＨＭＤ１００の状態変化を推定する。その後、ＣＰＵ１０５は、ステップＳ４１０に処理を進める。

【0049】

ステップＳ４１０では、ＣＰＵ１０５（状態判断部３０４）は、ステップＳ４０７でステレオカメラ１０１の撮像画像から検出された特徴点の数が閾値以上であるか否かを判定する。ＣＰＵ１０５は、特徴点の数が閾値以上であると判定した場合はステップＳ４１１に処理を進め、特徴点の数が閾値未満であると判定した場合はステップＳ４１２に処理を進める。なお、特徴点の数が閾値と等しい場合にはステップＳ４１２に処理を進めてもよい。

【0050】

ステップＳ４１１では、ＣＰＵ１０５（状態判断部３０４）は、ステップＳ４０７で第１推定部３０１によって推定された状態を、ＨＭＤ１００の状態として判断する。

【0051】

ステップＳ４１２では、ＣＰＵ１０５（状態判断部３０４）は、状態判断部３０４が前回判断した状態に、ステップＳ４０４またはステップＳ４０９で第２推定部３０３によって推定された状態変化を加えることによって、ＨＭＤ１００の状態を判断する。

【0052】

以上述べたように、本実施形態によれば、頭部装着型表示装置の位置と姿勢の少なくとも一方を高精度に推定（判断）することができる。例えば、ステレオカメラ１０１に加え、パターン画像の投影範囲に重ならない範囲が撮像されるように配置されたサイドカメラ１０３を用いることにより、ＨＭＤ１００の状態を推定するために参照できる範囲を広げることができる。その結果、ＨＭＤ１００の状態が高精度に推定できるようになる。

【0053】

さらに、本実施形態によれば、ステレオカメラ１０１の撮像画像に基づいてはＨＭＤ１００の状態が推定されるが、サイドカメラ１０３の撮像画像に基づいては所定時間あたりのＨＭＤ１００の状態変化が推定される。そして、これら２つの推定結果に基づいてＨＭＤ１００の状態が判断される。サイドカメラ１０３の撮像画像に基づいて所定時間あたりのＨＭＤ１００の状態変化を推定するようにしたことによって、サイドカメラ１０３の相対位置の変化に起因した、ＨＭＤ１００の状態推定の精度悪化を抑制することができる。

【0054】

なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。

【0055】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0056】

本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
頭部装着型表示装置であって、
第１撮像手段と、
前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、
前記パターン画像の投影範囲に重ならない範囲を撮像する第２撮像手段と、
前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得手段と、
前記第２撮像手段によって撮像された第２画像に基づいて、前記頭部装着型表示装置の前記状態に関する第２情報を取得する第２取得手段と、
前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断する判断手段と
を有することを特徴とする頭部装着型表示装置。
（構成２）
前記第１取得手段は、前記第１画像に基づいて、前記頭部装着型表示装置の前記状態を推定することによって、推定した前記状態を示す前記第１情報を取得する
ことを特徴とする構成１に記載の頭部装着型表示装置。
（構成３）
前記第２取得手段は、前記第２画像に基づいて、所定時間あたりの前記頭部装着型表示装置の前記状態の変化を推定することによって、推定した前記変化を示す前記第２情報を取得する
ことを特徴とする構成２に記載の頭部装着型表示装置。
（構成４）
前記第２取得手段は、前記第２画像に基づいて、前記第２撮像手段による前回の撮像からの前記頭部装着型表示装置の前記状態の変化を推定することによって、推定した前記変化を示す前記第２情報を取得する
ことを特徴とする構成３に記載の頭部装着型表示装置。
（構成５）
前記判断手段は、現在から前記所定時間前のタイミングで得られた前記第１情報が示す前記状態に、現在の前記第２情報が示す前記変化を加えることによって、現在の前記状態を判断する
ことを特徴とする構成３または４に記載の頭部装着型表示装置。
（構成６）
前記判断手段は、現在から前記所定時間前のタイミングで得られた前記第１情報が示す前記状態に、現在の前記第２情報が示す前記変化と、前記所定時間前の前記タイミングから現在までの期間における前記第１情報が示す前記状態の変化とを重みづけ合成した変化を加えることによって、現在の前記状態を判断する
ことを特徴とする構成３または４に記載の頭部装着型表示装置。
（構成７）
前記判断手段は、前記重みづけ合成において、前記第１画像から検出される特徴点の数と、前記第２画像から検出される特徴点の数とに基づく重みを使用する
ことを特徴とする構成６に記載の頭部装着型表示装置。
（構成８）
前記判断手段は、前記第１画像から検出される特徴点の数が閾値よりも多い場合には、前記第１情報が示す前記状態を、前記頭部装着型表示装置の前記状態として判断する
ことを特徴とする構成２～７のいずれか１項に記載の頭部装着型表示装置。
（構成９）
前記判断手段は、前記第１画像から検出される特徴点の数が閾値よりも少ない場合に、前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断することを特徴とする構成２～８のいずれか１項に記載の頭部装着型表示装置。
（構成１０）
前記第１取得手段は、前記第１画像に対応する距離情報に基づいて、前記頭部装着型表示装置の前記状態を推定する
ことを特徴とする構成２～９のいずれか１項に記載の頭部装着型表示装置。
（構成１１）
前記投影手段は、前記パターン画像の投影と非投影を繰り返し、
前記第１取得手段は、前記パターン画像が非投影の期間に得られた前記第１画像に基づいて、前記頭部装着型表示装置の前記状態を推定する
ことを特徴とする構成２～９のいずれか１項に記載の頭部装着型表示装置。
（構成１２）
前記第１取得手段は、ＳＬＡＭによって前記頭部装着型表示装置の前記状態を推定することを特徴とする構成２～１１のいずれか１項に記載の頭部装着型表示装置。
（構成１３）
前記パターン画像はドットパターンを表す
ことを特徴とする構成１～１２のいずれか１項に記載の頭部装着型表示装置。
（構成１４）
前記第１撮像手段はステレオカメラである
ことを特徴とする構成１～１３のいずれか１項に記載の頭部装着型表示装置。
（構成１５）
前記第２撮像手段は、前記第１撮像手段が設けられている位置よりも剛性が低い位置に設けられている
ことを特徴とする構成１～１４のいずれか１項に記載の頭部装着型表示装置。
（構成１６）
前記第１撮像手段は、前記頭部装着型表示装置の正面に設けられている
ことを特徴とする構成１～１５のいずれか１項に記載の頭部装着型表示装置。
（構成１７）
前記第２撮像手段は、前記頭部装着型表示装置の側面に設けられている
ことを特徴とする構成１～１６のいずれか１項に記載の頭部装着型表示装置。
（構成１８）
前記投影手段は、前記第１撮像手段の撮像範囲全体に前記パターン画像を投影し、
前記第２撮像手段は、前記第１撮像手段の撮像範囲に重ならない範囲を撮像する
ことを特徴とする構成１～１７のいずれか１項に記載の頭部装着型表示装置。
（構成１９）
前記第１撮像手段による撮像のフレームレートは、前記第２撮像手段による撮像のフレームレートと同じである
ことを特徴とする構成１～１８のいずれか１項に記載の頭部装着型表示装置。
（構成２０）
前記第１撮像手段はグローバルシャッター方式の撮像手段である
ことを特徴とする構成１～１９のいずれか１項に記載の頭部装着型表示装置。
（構成２１）
前記第１撮像手段はローリングシャッター方式の撮像手段である
ことを特徴とする構成１～２０のいずれか１項に記載の頭部装着型表示装置。
（構成２２）
前記第２撮像手段はグローバルシャッター方式の撮像手段である
ことを特徴とする構成１～２１のいずれか１項に記載の頭部装着型表示装置。
（構成２３）
第１撮像手段と第２撮像手段を有する頭部装着型表示装置と共に使用可能な状態判断装置であって、
前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態を推定する第１推定手段と、
前記第２撮像手段によって撮像された第２画像に基づいて、所定時間あたりの前記頭部装着型表示装置の前記状態の変化を推定する第２推定手段と、
前記第１推定手段の推定結果と前記第２推定手段の推定結果とに基づいて、前記頭部装着型表示装置の前記状態を判断する判断手段と
を有することを特徴とする状態判断装置。
（構成２４）
前記第１撮像手段と、
前記第２撮像手段と、
構成２３に記載の状態判断装置と
を有することを特徴とする頭部装着型表示装置。
（方法１）
第１撮像手段と、前記第１撮像手段の撮像範囲にパターン画像を投影する投影手段と、前記パターン画像の投影範囲に重ならない範囲を撮像する第２撮像手段とを有する頭部装着型表示装置の制御方法であって、
前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態に関する第１情報を取得する第１取得ステップと、
前記第２撮像手段によって撮像された第２画像に基づいて、前記頭部装着型表示装置の前記状態に関する第２情報を取得する第２取得ステップと、
前記第１情報と前記第２情報に基づいて、前記頭部装着型表示装置の前記状態を判断する判断ステップと
を有することを特徴とする制御方法。
（方法２）
第１撮像手段と第２撮像手段を有する頭部装着型表示装置と共に使用可能な状態判断装置の制御方法であって、
前記第１撮像手段によって撮像された第１画像に基づいて、前記頭部装着型表示装置の位置と姿勢の少なくとも一方を含んだ状態を推定する第１推定ステップと、
前記第２撮像手段によって撮像された第２画像に基づいて、所定時間あたりの前記頭部装着型表示装置の前記状態の変化を推定する第２推定ステップと、
前記第１推定ステップの推定結果と前記第２推定ステップの推定結果とに基づいて、前記頭部装着型表示装置の前記状態を判断する判断ステップと
を有することを特徴とする制御方法。
（プログラム）
方法１または２に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。

【符号の説明】

【0057】

１００：ＨＭＤ １０１：ステレオカメラ １０２：投影部
１０３：サイドカメラ １０５：ＣＰＵ

【図1】

【図2】

【図3】

【図4】