特許 7435330 ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240214BHJP

   H04N 23/45 20230101ALI20240214BHJP

   B64D 47/00 20060101ALI20240214BHJP

【ＦＩ】

H04N23/60 500

H04N23/45

B64D47/00

【請求項の数】 12

(21)【出願番号】P 2020120728

(22)【出願日】2020-07-14

(65)【公開番号】P2022017894

(43)【公開日】2022-01-26

【審査請求日】2022-11-02

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(72)【発明者】

【氏名】松原 行信

(72)【発明者】

【氏名】多和田 一穂

(72)【発明者】

【氏名】日比 柾宏

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特表２０１７－５３０４３８（ＪＰ，Ａ）

【文献】特表２０１６－５４１０３５（ＪＰ，Ａ）

【文献】特開２０１１－０１５８３１（ＪＰ，Ａ）

【文献】国際公開第２０１８／１８９８８０（ＷＯ，Ａ１）

【文献】特開２００９－０３６５１７（ＪＰ，Ａ）

【文献】特開２０１４－２１５７４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／４５

Ｂ６４Ｄ ４７／００

(57)【特許請求の範囲】

【請求項1】

観察者の頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、前記観察者の頭部の向きに沿った方向の画像を取得する画像取得部と、
前記画像取得部により取得された前記画像に基づいて、前記観察者の頭部の位置および角度を取得する制御を行うように構成された制御部とを備え、
前記制御部は、前記画像取得部により取得された前記画像に基づいて、前記観察者の周囲の三次元の周囲環境地図を作成する制御を行うように構成されており、
前記周囲環境地図は、
現時点において前記画像取得部により取得された第１画像により構成される第１周囲環境地図と、
前記第１画像よりも前の第２画像により構成される第２周囲環境地図と、
前記第２画像に前記第１画像を合成した画像に基づく第３周囲環境地図とを含み、
前記制御部は、前記第２周囲環境地図と、前記第３周囲環境地図とに基づいて、前記第１周囲環境地図を取得するとともに、前記観察者の頭部の位置および角度を推定する制御を行うように構成されている、ヘッドモーショントラッカ装置。

【請求項2】

前記制御部は、前記第１周囲環境地図に含まれる複数の特徴点に基づいて、前記観察者の頭部の位置および角度を推定する制御を行うように構成されている、請求項１に記載のヘッドモーショントラッカ装置。

【請求項3】

前記制御部は、少なくとも前記第１周囲環境地図に含まれる前記複数の特徴点および前記第２周囲環境地図に基づいて、前記観察者の頭部の位置および角度を推定する制御を行うように構成されている、請求項２に記載のヘッドモーショントラッカ装置。

【請求項4】

前記制御部は、前記第２周囲環境地図と、前記第３周囲環境地図との比較に基づいて、前記第１周囲環境地図を取得するとともに、前記観察者の頭部の位置および角度を推定する制御を行うように構成されている、請求項３に記載のヘッドモーショントラッカ装置。

【請求項5】

前記観察者の周囲に配置され、前記画像取得部により前記画像として取得される複数の目印部をさらに備え、
前記制御部は、前記第１周囲環境地図に含まれる前記複数の目印部を前記複数の特徴点を全て取得可能な前記観察者の頭部の位置および角度を、現時点の前記観察者の頭部の位置および角度として推定する制御を行うように構成されている、請求項２～４のいずれか１項に記載のヘッドモーショントラッカ装置。

【請求項6】

前記制御部は、現時点よりも前の時点の前記観察者の頭部の位置および角度に基づいて、互いに頭部の位置および角度が異なる複数の前記観察者の頭部の位置および角度を作成するとともに、作成した前記複数の前記観察者の頭部の位置および角度を変化させた後、前記第１周囲環境地図に含まれる前記複数の特徴点を全て取得可能な前記観察者の頭部の位置および角度を選択する制御を行うように構成されている、請求項５に記載のヘッドモーショントラッカ装置。

【請求項7】

前記制御部は、前記第１画像中のコントラストの差に基づいて、前記複数の特徴点を取得する制御を行うように構成されている、請求項２～６のいずれか１項に記載のヘッドモーショントラッカ装置。

【請求項8】

前記観察者の周囲に配置され、前記画像取得部により前記画像として取得される目印部をさらに備え、
前記制御部は、前記目印部が取得された前記画像に基づく三次元の前記周囲環境地図中の前記目印部に基づいて、前記観察者の頭部の位置および角度を取得する制御を行うように構成されている、請求項１～７のいずれか１項に記載のヘッドモーショントラッカ装置。

【請求項9】

前記制御部は、制御部側通信部を含み、
前記目印部は、
前記制御部側通信部と通信可能な目印部側通信部と、
前記観察者を乗せた移動体の基準位置に対する前記目印部の位置を記憶する記憶部とを含み、
前記制御部は、前記画像取得部により前記目印部を取得した場合、前記目印部側通信部を介して前記記憶部から取得した前記目印部の位置に基づいて、前記観察者の頭部の位置および角度を取得する制御を行うように構成されている、請求項８に記載のヘッドモーショントラッカ装置。

【請求項10】

前記観察者の頭部の角速度を計測する装置側ジャイロセンサをさらに備え、
前記目印部は、前記観察者を乗せた移動体の角速度を計測する目印部側ジャイロセンサを含み、
前記制御部は、前記周囲環境地図に基づいて前記観察者の頭部の角度が所定時間内に取得できない場合、前記装置側ジャイロセンサにより計測された前記観察者の頭部の角速度と、前記目印部側ジャイロセンサにより計測された前記移動体の角速度との差に基づいて、前記観察者の頭部の角度を取得する制御を行うように構成されている、請求項８または９に記載のヘッドモーショントラッカ装置。

【請求項11】

前記画像取得部は、並んで配置された２つのカメラを有し、
前記制御部は、２つの前記カメラの視差に基づいて、前記観察者の頭部の向きに沿った方向の距離を取得するとともに、２つの前記カメラにより取得した距離に基づいて、三次元の前記周囲環境地図を作成する制御を行うように構成されている、請求項１～１０のいずれか１項に記載のヘッドモーショントラッカ装置。

【請求項12】

航空機の機体内の観察者としてのパイロットに装着されるヘッドモーショントラッカ装置を備え、
前記ヘッドモーショントラッカ装置は、
前記パイロットの頭部に取り付けられる頭部装着部と、
前記頭部装着部に取り付けられ、前記パイロットの頭部の向きに沿った方向の画像を取得する画像取得部と、
前記画像取得部により取得された前記画像に基づいて、前記パイロットの頭部の位置および角度を取得する制御を行うように構成された制御部とを含み、
前記制御部は、前記画像取得部により取得された前記画像に基づいて、前記観察者の周囲の三次元の周囲環境地図を作成する制御を行うように構成されており、
前記周囲環境地図は、
現時点において前記画像取得部により取得された第１画像により構成される第１周囲環境地図と、
前記第１画像よりも前の第２画像により構成される第２周囲環境地図と、
前記第２画像に前記第１画像を合成した画像に基づく第３周囲環境地図とを含み、
前記制御部は、前記第２周囲環境地図と、前記第３周囲環境地図とに基づいて、前記第１周囲環境地図を取得するとともに、前記観察者の頭部の位置および角度を推定する制御を行うように構成されている、航空機用ヘッドモーショントラッカ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置に関し、特に、観察者の頭部に装着される頭部装着部を備えるヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置に関する。

【背景技術】

【0002】

従来、観察者の頭部に装着される頭部装着部を備えるヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置が知られている（たとえば、特許文献１参照）。

【0003】

上記特許文献１には、パイロット（観察者）の頭部に装着されるヘルメット（頭部装着部）を備えるヘッドモーショントラッカ装置が開示されている。このヘッドモーショントラッカ装置は、上記ヘルメットと、搭乗体（航空機の機体）内に設置されたカメラ装置と、制御部とを備える。

【0004】

上記特許文献１のヘルメットには、互いに異なる波長の赤外光を発光する複数の頭部装着体発光部が配置されている。制御部は、カメラ装置により撮影された複数の頭部装着体発光部の各々の位置情報に基づいて、パイロットの頭部の位置および角度を取得する制御を行うように構成されている。ヘッドモーショントラッカ装置では、制御部によりパイロットの頭部の位置および角度を取得するために、複数の頭部装着体発光部を確実に撮影可能な位置にカメラ装置が配置されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００９－１０９３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１のヘッドモーショントラッカ装置では、複数の頭部装着体発光部を確実に撮影可能な位置にカメラ装置を航空機の機体内に設置する必要があるので、航空機の機体にカメラ装置（画像取得部）の設置スペースを確保する必要がある。このため、上記特許文献１のヘッドモーショントラッカ装置では、既存の搭乗体において上記設置スペースを確保することが困難な場合があるので、ヘッドモーショントラッカ装置を既存の搭乗体（移動体）であっても容易に適用可能とすることが望まれている。

【0007】

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、既存の移動体であっても容易に適用することが可能なヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置を提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、この発明の第１の局面におけるヘッドモーショントラッカ装置は、観察者の頭部に装着される頭部装着部と、頭部装着部に取り付けられ、観察者の頭部の向きに沿った方向の画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、観察者の頭部の位置および角度を取得する制御を行うように構成された制御部とを備え、制御部は、画像取得部により取得された画像に基づいて、観察者の周囲の三次元の周囲環境地図を作成する制御を行うように構成されており、周囲環境地図は、現時点において画像取得部により取得された第１画像により構成される第１周囲環境地図と、第１画像よりも前の第２画像により構成される第２周囲環境地図と、第２画像に第１画像を合成した画像に基づく第３周囲環境地図とを含み、制御部は、第２周囲環境地図と、第３周囲環境地図とに基づいて、第１周囲環境地図を取得するとともに、観察者の頭部の位置および角度を推定する制御を行うように構成されている。

【0009】

この発明の第１の局面におけるヘッドモーショントラッカ装置では、上記のように、頭部装着部に取り付けられた画像取得部を設ける。また、ヘッドモーショントラッカ装置では、画像取得部により取得された画像に基づいて、観察者の頭部の位置および角度を取得する制御を行うように構成された制御部を設ける。これにより、移動体ではなく、頭部装着部に取り付けられた画像取得部の画像に基づいて、制御部により観察者の頭部の位置および角度を取得することができる。すなわち、移動体に画像取得部を設置することなく、制御部により観察者の頭部の位置および角度を取得することができる。その結果、移動体に画像取得部の設置スペースを確保する必要がないので、ヘッドモーショントラッカ装置を既存の移動体であっても容易に適用することができる。

【0010】

上記目的を達成するために、この発明の第２の局面における航空機用ヘッドモーショントラッカ装置は、航空機の機体内の観察者としてのパイロットに装着されるヘッドモーショントラッカ装置を備え、ヘッドモーショントラッカ装置は、パイロットの頭部に取り付けられる頭部装着部と、頭部装着部に取り付けられ、パイロットの頭部の向きに沿った方向の画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、パイロットの頭部の位置および角度を取得する制御を行うように構成された制御部とを含み、制御部は、画像取得部により取得された画像に基づいて、観察者の周囲の三次元の周囲環境地図を作成する制御を行うように構成されており、周囲環境地図は、現時点において画像取得部により取得された第１画像により構成される第１周囲環境地図と、第１画像よりも前の第２画像により構成される第２周囲環境地図と、第２画像に第１画像を合成した画像に基づく第３周囲環境地図とを含み、制御部は、第２周囲環境地図と、第３周囲環境地図とに基づいて、第１周囲環境地図を取得するとともに、観察者の頭部の位置および角度を推定する制御を行うように構成されている。

【0011】

この発明の第２の局面における航空機用ヘッドモーショントラッカ装置は、上記のように、頭部装着部に取り付けられた画像取得部を設ける。また、ヘッドモーショントラッカ装置では、画像取得部により取得された画像に基づいて、観察者の頭部の位置および角度を取得する制御を行うように構成された制御部を設ける。これにより、移動体ではなく、頭部装着部に取り付けられた画像取得部の画像に基づいて制御部により、観察者の頭部の位置および角度を取得することができる。すなわち、移動体に画像取得部を設置することなく、制御部により観察者の頭部の位置および角度を取得することができる。その結果、移動体に画像取得部の設置スペースを確保する必要がないので、ヘッドモーショントラッカ装置を既存の移動体であっても容易に適用することが可能な航空機用ヘッドモーショントラッカ装置を得ることができる。

【発明の効果】

【0012】

上記第１の局面におけるヘッドモーショントラッカ装置は、観察者の頭部に装着される頭部装着部と、頭部装着部に取り付けられ、観察者の頭部の向きに沿った方向の画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、観察者の頭部の位置および角度を取得する制御を行うように構成された制御部とを備える。これにより、移動体ではなく、頭部装着部に取り付けられた画像取得部の画像に基づいて、制御部により観察者の頭部の位置および角度を取得することができる。すなわち、移動体に画像取得部を設置することなく、制御部により観察者の頭部の位置および角度を取得することができる。その結果、移動体に画像取得部の設置スペースを確保する必要がないので、ヘッドモーショントラッカ装置を既存の移動体であっても容易に適用することができる。

【0013】

上記第２の局面における航空機用ヘッドモーショントラッカ装置は、航空機の機体内の観察者としてのパイロットに装着されるヘッドモーショントラッカ装置を備え、ヘッドモーショントラッカ装置は、パイロットの頭部に取り付けられる頭部装着部と、頭部装着部に取り付けられ、パイロットの頭部の向きに沿った方向の画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、パイロットの頭部の位置および角度を取得する制御を行うように構成された制御部とを含む。これにより、移動体ではなく、頭部装着部に取り付けられた画像取得部の画像に基づいて制御部により、観察者の頭部の位置および角度を取得することができる。すなわち、移動体に画像取得部を設置することなく、制御部により観察者の頭部の位置および角度を取得することができる。その結果、移動体に画像取得部の設置スペースを確保する必要がないので、ヘッドモーショントラッカ装置を既存の移動体であっても容易に適用することが可能な航空機用ヘッドモーショントラッカ装置を得ることができる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態によるヘッドモーショントラッカ装置を航空機内のパイロットが装着した状態を示した模式図である。

【図2】第１実施形態によるヘッドモーショントラッカ装置の構成を示したブロック図である。

【図3】第１実施形態によるヘッドモーショントラッカ装置の画像取得部によりパイロットの正面を撮影した状態および移動前画像（ベース画像）を示した模式図である。

【図4】第１実施形態によるヘッドモーショントラッカ装置の画像取得部により作成された前フレーム地図（ベース地図）を示した模式図である。

【図5】第１実施形態によるヘッドモーショントラッカ装置の画像取得部によりパイロットの正面よりも下側を撮影した状態、移動前画像および移動後画像を示した模式図である。

【図6】第１実施形態によるヘッドモーショントラッカ装置の画像取得部により作成された現フレーム地図を示した模式図である。

【図7】第１実施形態によるヘッドモーショントラッカ装置において作成された移動後環境地図を示した模式図である。

【図8】第１実施形態によるヘッドモーショントラッカ装置を装着したパイロットの頭部の動きの一例を示した模式図である。

【図9】第１実施形態によるヘッドモーショントラッカ装置の制御部におけるパイロットの頭部の位置および角度を推定する方法を示した模式図である。

【図10】第１実施形態によるパイロットの頭部の位置および角度取得処理を示したフローチャートである。

【図11】第２実施形態によるヘッドモーショントラッカ装置を航空機内のパイロットが装着した状態を示した模式図である。

【図12】第２実施形態によるヘッドモーショントラッカ装置の目印部の構成を示したブロック図である。

【図13】第２実施形態によるヘッドモーショントラッカ装置の構成を示したブロック図である。

【図14】第２実施形態によるヘッドモーショントラッカ装置の制御部側通信部と、目印部側通信部とが通信している状態を示した模式図である。

【図15】第２実施形態によるヘッドモーショントラッカ装置の制御部におけるパイロットの頭部の位置および角度の推定において、作成するパイロットの頭部の位置および角度を減少させた例を示した模式図である。

【図16】第３実施形態によるヘッドモーショントラッカ装置の構成を示したブロック図である。

【図17】第３実施形態によるヘッドモーショントラッカ装置および目印部を示した模式図である。

【図18】第２実施形態の第１変形例によるヘッドモーショントラッカ装置を示した模式図である。

【図19】第３実施形態の第２変形例によるヘッドモーショントラッカ装置の構成を示したブロック図である。

【発明を実施するための形態】

【0015】

以下、本発明を具体化した実施形態を図面に基づいて説明する。

【0016】

［第１実施形態］
図１～図９を参照して、第１実施形態による航空機用ヘッドモーショントラッカ装置１０（以下、単にヘッドモーショントラッカ装置１０と記載）の構成について説明する。ヘッドモーショントラッカ装置１０は、図１に示すように、航空機１００内のパイロット１１に装着されるヘッドマウントディスプレイに設けられている。詳細には、ヘッドモーショントラッカ装置１０は、ヘッドマウントディスプレイにおいて、パイロット１１の頭部の位置および角度を計測する機能を有している。なお、航空機用ヘッドモーショントラッカ装置１０は、特許請求の範囲の「ヘッドモーショントラッカ装置」の一例である。また、航空機１００は、特許請求の範囲の「移動体」の一例である。パイロット１１は、特許請求の範囲の「観察者」の一例である。

【0017】

具体的には、図１および図２に示すように、ヘッドモーショントラッカ装置１０は、頭部装着部１と、画像取得部２と、目印部３と、制御部４とを備えている。

【0018】

頭部装着部１は、頭部装着部１は、ヘルメット、ヘッドセットおよびベルトなどの、パイロット１１の頭部に装着される部材である。画像取得部２は、頭部装着部１に取り付けられ、パイロット１１の頭部の向きに沿った方向（以下、Ａ方向とする）の画像を取得するように構成されている。画像取得部２は、並んで配置された複数（２つ）のカメラ２１を含んでいる。詳細には、２つのカメラ２１は、エリアセンサカメラである。２つのカメラ２１は、紫外光および近赤外光に感度を有している。２つのカメラ２１は、所定の間隔を空けて配置されている。２つのカメラ２１の各々は、同一のＡ方向を撮影するように構成されている。２つのカメラ２１には、同じレンズが装着されている。具体的には、２つのカメラ２１には、同じ広角レンズまたは魚眼レンズが装着されている。

【0019】

目印部３は、パイロット１１の周囲に配置され、画像取得部２により画像として取得される。すなわち、目印部３は、マーカとしての機能を有している。目印部３は、航空機１００に複数（３つ）配置されている。目印部３は、航空機１００のコクピット内に配置されている。なお、目印部３は、１、２または４つ以上配置されてもよい。

【0020】

目印部３は、取付部３１と、発光部３２とを含んでいる。取付部３１は、目印部３を移動体に取り付けるための土台である。発光部３２は、取付部３１のパイロット１１側の面に取り付けられている。発光部３２は、紫外光または近赤外光を照射可能なＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ（垂直共振器面発光レーザ））などにより構成されている。また、発光部３２は、広角に光を照射可能とするためのレンズが取り付けられている。

【0021】

目印部３は、非接触給電および太陽光発電などにより電力が供給されるように構成されている。このように、目印部３に電力を供給するための配線接続が不要である。

【0022】

目印部３は、パイロット１１の頭部の位置および角度を精度よく計測する必要があるので、パイロット１１の正面側に複数（２つ）配置されている。これにより、パイロット１１が正面を向いた際、画像取得部２により複数（２つ）の目印部３が取得される。

【0023】

制御部４は、各種の制御および演算処理を行うコンピュータにより構成されている。制御部４は、画像処理部４１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）部４２と、記憶部４３とを含んでいる。

【0024】

画像処理部４１は、画像取得部２において取得した画像に基づいて、画像における特徴点１２の抽出処理、および、機械学習により画像に基づいて三次元地図としての周囲環境地図５を作成する処理などを行う機能を有している。画像処理部４１において作成された周囲環境地図５は、記憶部４３に記憶される。ここで、画像中の特徴点１２とは、取得された画像中において、コントラストの差から取得される、航空機１００内の躯体の形状、航空機１００内に配置されたスイッチおよびディスプレイなどの部分の重心点を示す。また、画像の特徴点１２としては、目印部３も特徴点１２として取得される。

【0025】

周囲環境地図５において、相対座標系（ＸＹＺ座標系）は、２つのカメラ２１の並ぶ方向に延びる軸をＸ軸（図４参照）とし、２つのカメラ２１の光軸方向に延びる軸をＹ軸（図４参照）とし、Ｘ軸およびＹ軸に直交する方向に延びる軸をＺ軸（図４参照）とする。また、相対座標系の原点は、２つのカメラ２１の中点とする。

【0026】

ここで、２つのカメラ２１がエリアセンサカメラであるので、画像処理部４１は、周囲環境地図５におけるＸＺ平面の情報を取得可能である。また、画像取得部２は、２つのカメラ２１の視差に基づくステレオ法により、周囲環境地図５におけるＹ軸方向の情報を取得可能である。

【0027】

周囲環境地図５は、ベース地図５１（図４参照）と、現フレーム地図５２（図６参照）と、前フレーム地図５３（図４参照）とを有している。なお、ベース地図５１および前フレーム地図５３は、特許請求の範囲の「第２周囲環境地図」の一例である。なお、現フレーム地図５２は、特許請求の範囲の「第３周囲環境地図」の一例である。

【0028】

ベース地図５１は、周囲環境地図５において基準となる地図である。ベース地図５１は、たとえば、Ａ方向として真正面をパイロット１１が向いた状態で際に撮影されたベース画像６１に基づく周囲環境地図５であってもよい。ベース地図５１は、記憶部４３にあらかじめ登録されている。

【0029】

前フレーム地図５３は、現時点よりも前に記憶部４３に記憶された現フレーム地図５２である。前フレーム地図５３は、たとえば、Ａ方向として真正面をパイロット１１が向いた際に撮影された移動前画像６２に基づく三次元地図であってもよい。なお、移動前画像６２は、特許請求の範囲の「第２画像」の一例である。

【0030】

現フレーム地図５２は、たとえば、真正面をパイロット１１が向いた際に撮影された移動前画像６２と、真正面からパイロット１１の頭部が移動した際に撮影された移動後画像６３とを合成した画像に基づく三次元地図であってもよい。現フレーム地図５２は、画像取得部２により取得された画像に合わせて追加されていく。なお、移動後画像６３は、特許請求の範囲の「第１画像」の一例である。

【0031】

ＣＰＵ部４２は、比較処理４２ａと、位置角度検出処理４２ｂとを実行する機能を有している。比較処理４２ａは、画像処理部４１において変換された周囲環境地図５を比較する処理である。位置角度検出処理４２ｂは、画像処理部４１により作成された周囲環境地図５に基づいて、パイロット１１の頭部の現時点における位置および角度を検出する処理である。位置角度検出処理４２ｂについては、一例を用いて後に説明する。

【0032】

記憶部４３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を有する記憶媒体である。ここで、ＲＡＭには、前フレーム地図５３が記憶されている。また、ＲＯＭには、ベース地図５１が記憶されている。

【0033】

（位置角度検出処理）
第１実施形態の制御部４は、画像取得部２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。なお、パイロット１１の頭部の位置および角度は、２つのカメラ２１の中点の位置および角度として示される。

【0034】

詳細には、制御部４は、画像取得部２により取得される画像のうち、航空機１００内の外界を視認可能な窓以外の部分に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。すなわち、制御部４は、画像取得部２により取得された画像中において、航空機１００内の躯体の形状、航空機１００内に配置されたスイッチおよびディスプレイなどの特徴点１２に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。

【0035】

図３～図９を参照して、パーティクルフィルタを適用した位置角度検出処理４２ｂを一例として説明する。なお、以下の説明では、ベース地図５１と、前フレーム地図５３とが、同じである例を示しているが、ベース地図５１と、前フレーム地図５３とが、異なっていてもよい。ベース地図５１と、前フレーム地図５３とが、異なる場合、前フレーム地図５３を用いて位置角度検出処理４２ｂが行われてもよい。

【0036】

図３および図４に示すように、制御部４は、パイロット１１が真正面を向いた時の画像（移動前画像６２）に基づいて、機械学習によりパイロット１１の周囲の三次元の周囲環境地図５（前フレーム地図５３）を作成する制御を行うように構成されている。すなわち、制御部４は、２つのカメラ２１の視差に基づいて、パイロット１１の頭部の向きに沿った方向の距離を取得するとともに、取得した距離に基づいて、三次元の周囲環境地図５（前フレーム地図５３）を作成する制御を行うように構成されている。この際、制御部４は、移動前画像６２中のコントラストの差に基づいて、複数の特徴点１２を取得する制御を行うように構成されている。制御部４は、移動前画像６２中のコントラストの差に基づいて、複数の目印部３を取得する制御を行うように構成されている。

【0037】

ここで、パイロット１１の頭部の位置および角度は、それぞれ、（Ｘ１、Ｙ１、Ｚ１）および（ＲＬ１、ＥＬ１、ＡＺ１）と示される。ＲＬ１は、ロール方向（Ｘ軸に対する回転）の角度である。ＥＬ１は、エレベーション方向（Ｙ軸に対する回転）の角度である。ＡＺ１は、アジマス方向（Ｚ軸に対する回転）の角度である。

【0038】

次に、図５および図６には、パイロット１１の頭部を真正面の向きから下方向に移動させた場合が示されている。この場合、制御部４は、移動前画像６２およびパイロット１１の頭部が移動した後のＡ方向の画像（移動後画像６３）に基づいて、機械学習によりパイロット１１の周囲の三次元の周囲環境地図５（現フレーム地図５２）を作成する制御を行うように構成されている。すなわち、制御部４は、２つのカメラ２１の視差に基づいて、パイロット１１の頭部の向きに沿った方向の距離を取得するとともに、取得した距離に基づいて、三次元の周囲環境地図５（現フレーム地図５２）を作成する制御を行うように構成されている。この際、制御部４は、移動後画像６３中のコントラストの差に基づいて、複数の特徴点１２を取得する制御を行うように構成されている。制御部４は、移動後画像６３中のコントラストの差に基づいて、複数の目印部３を取得する制御を行うように構成されている。

【0039】

現フレーム地図５２は、移動前画像６２と、移動後画像６３とにおいて同じ部分（共通部分）を合成するとともに、移動前画像６２とは異なる移動後画像６３の部分を追加した画像に基づいて作成される一続きの三次元地図である。ここで、現フレーム地図５２は、次に移動後画像６３が取得される際には、前フレーム地図５３となる。そして、上記前フレーム地図５３には、同様に、移動後画像６３が合成・追加されていく。このように、現フレーム地図５２は、現フレーム以降の周囲環境地図５の作成に用いられる。

【0040】

ここで、真正面の向きから下方向に移動させた後のパイロット１１の頭部の位置および角度は、それぞれ、（Ｘ２、Ｙ２、Ｚ２）および（ＲＬ２、ＥＬ２、ＡＺ２）と示される。

【0041】

次に、図７に示すように、制御部４は、前フレーム地図５３と、現フレーム地図５２との比較に基づいて、移動後環境地図５４を取得する制御を行うように構成されている。すなわち、制御部４は、現フレーム地図５２の中から、移動後画像６３に対応する部分を取得する制御を行うように構成されている。なお、移動後環境地図５４は、特許請求の範囲の「第１周囲環境地図」の一例である。

【0042】

このように、移動後環境地図５４は、現フレーム（現時点）において画像取得部２により取得された移動後画像６３により構成された地図である。現フレーム地図５２は、移動前画像６２に移動後画像６３を合成した画像に基づく地図である。前フレーム地図５３は、移動後画像６３よりも前のフレーム（前の時点）の移動前画像６２により構成された地図である。

【0043】

そして、図７および図８に示すように、制御部４は、移動後環境地図５４に含まれる複数の特徴点１２および特徴点１２としての目印部３を全て取得可能なパイロット１１の頭部の位置および角度を、現時点のパイロット１１の頭部の位置および角度として推定する制御を行うように構成されている。

【0044】

詳細には、図９に示すように、制御部４は、パーティクルフィルタに基づいて、現フレームのパイロット１１の頭部の位置および角度として推定する制御を行うように構成されている。

【0045】

すなわち、制御部４は、現フレームよりも前のフレームのパイロット１１の頭部の位置および角度に基づいて、互いに頭部の位置および角度が異なる複数のパイロット１１の頭部の位置および角度を作成する制御を行うように構成されている。制御部４は、作成した互いに頭部の位置および角度が異なる複数のパイロット１１の頭部の位置および角度をランダムに移動させる制御を行うように構成されている。

【0046】

制御部４は、ランダムに移動させた複数のパイロット１１の頭部の位置および角度のうちから、現フレーム地図５２から移動後環境地図５４と相関関係のある地図を取得可能なパイロット１１の頭部の位置および角度を選択する制御を行うように構成されている。詳細には、制御部４は、作成した複数のパイロット１１の頭部の位置および角度のうちから、移動後環境地図５４に含まれる複数の特徴点１２および特徴点１２としての目印部３を全て取得可能なパイロット１１の頭部の位置および角度を選択する制御を行うように構成されている。

【0047】

そして、制御部４は、相関関係のある地図を取得可能なパイロット１１の頭部の位置および角度（図９の○印）に基づいて、互いに頭部の位置および角度が異なる複数のパイロット１１の頭部の位置および角度を作成する制御を行うように構成されている。この際、制御部４は、相関関係のないパイロット１１の頭部の位置および角度（図９の×印）を削除する制御を行うように構成されている。

【0048】

上記したように、制御部４は、Ａ方向（パイロット１１の頭部の向きに沿った方向）の移動前画像６２に基づいて、パイロット１１の周囲の三次元の前フレーム地図５３を作成する制御を行うように構成されている。制御部４は、Ａ方向（パイロット１１の頭部の向きに沿った方向）の移動前画像６２および移動後画像６３に基づいて、パイロット１１の周囲の三次元の現フレーム地図５２を作成する制御を行うように構成されている。制御部４は、前フレーム地図５３および現フレーム地図５２に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。

【0049】

ここで、制御部４は、前フレーム地図５３と、現フレーム地図５２との比較に基づいて、移動後環境地図５４を取得するとともに、パイロット１１の頭部の位置および角度を推定する制御を行うように構成されている。すなわち、制御部４は、現フレーム地図５２から移動後環境地図５４を取得する制御を行うように構成されている。

【0050】

制御部４は、目印部３が取得された移動後画像６３に基づく三次元の移動後環境地図５４中の目印部３に基づいて、パイロット１１の頭部の位置および角度を取得するとともに、複数の特徴点１２が取得された移動後画像６３に基づく三次元の移動後環境地図５４中の複数の特徴点１２に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。すなわち、制御部４は、移動後環境地図５４に含まれる複数の特徴点１２および目印部３に基づいて、パイロット１１の頭部の位置および角度を推定する制御を行うように構成されている。

【0051】

（頭部の位置および角度取得処理）
以下に、図３～図１０を参照して、頭部の位置および角度取得処理について説明する。頭部の位置および角度取得処理は、パイロット１１の頭部に装着されたカメラ２１を用いて、パイロット１１の頭部の位置および角度を取得する処理である。

【0052】

ステップＳ１において、制御部４では、記憶部４３からベース地図５１が前フレーム地図５３として取得される（図３および図４を参照）。

【0053】

ステップＳ２において、制御部４では、パイロット１１の向いてる方向の画像に基づいて現フレーム地図５２が取得される（図５および図６を参照）。ステップＳ３において、制御部４では、前フレーム地図５３と、現フレーム地図５２との比較に基づいて、移動後環境地図５４が取得される（図７を参照）。ステップＳ４において、制御部４では、現フレーム地図５２において、移動後環境地図５４に含まれる複数の特徴点１２および目印部３を全て取得可能な観察者の頭部の位置および角度が推定される（図９を参照）。

【0054】

ステップＳ５において、制御部４では、現フレーム地図５２が前フレーム地図５３として記憶部４３に記憶される。ステップＳ５の後、ステップＳ３に戻り処理が繰り返される。

【0055】

（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。

【0056】

第１実施形態では、上記のように、ヘッドモーショントラッカ装置１０に、頭部装着部１に取り付けられた画像取得部２を設ける。また、ヘッドモーショントラッカ装置１０に、画像取得部２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成された制御部４を設ける。これにより、航空機１００ではなく、頭部装着部１に取り付けられた画像取得部２の画像に基づいて、制御部４によりパイロット１１の頭部の位置および角度を取得することができる。すなわち、航空機１００に画像取得部２を設置することなく、制御部４によりパイロット１１の頭部の位置および角度を取得することができる。この結果、航空機１００に画像取得部２の設置スペースを確保する必要がないので、ヘッドモーショントラッカ装置１０を既存の航空機１００であっても容易に適用することができる。

【0057】

また、第１実施形態では、上記のように、制御部４を、パイロット１１の頭部の向きに沿った方向の画像に基づいて、パイロット１１の周囲の三次元の周囲環境地図５を作成する制御を行うとともに、周囲環境地図５に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成する。これにより、仮想空間上の周囲環境地図５に対する制御部４の演算によって、パイロット１１の頭部の位置および角度を取得することができるので、航空機１００ごとに異なるパイロット１１の周囲の三次元の周囲環境地図５においてもパイロット１１の頭部の位置および角度を確実に取得することができる。

【0058】

また、第１実施形態では、上記のように、周囲環境地図５に、現フレーム（現時点）において画像取得部２により取得された移動後画像６３により構成される移動後環境地図５４を設ける。制御部４を、移動後環境地図５４に含まれる複数の特徴点１２に基づいて、パイロット１１の頭部の位置および角度を推定する制御を行うように構成する。これにより、複数の特徴点１２を参照してパイロット１１の頭部の位置および角度を推定するので、パイロット１１の頭部の位置および角度をより正確に推定することができる。

【0059】

また、第１実施形態では、上記のように、周囲環境地図５に、移動後画像６３よりも前の移動前画像６２により構成される前フレーム地図５３を設ける。制御部４を、少なくとも移動後環境地図５４に含まれる複数の特徴点１２および前フレーム地図５３に基づいて、パイロット１１の頭部の位置および角度を推定する制御を行うように構成する。これにより、移動後環境地図５４の複数の特徴点１２のみに基づいてパイロット１１の頭部の位置および角度を推定する場合と比較して、移動前画像６２により構成される前フレーム地図５３も用いることにより、パイロット１１の頭部の位置および角度の変化をより正確に把握することができる。この結果、パイロット１１の頭部の位置および角度の推定の精度を向上させることができる。

【0060】

また、第１実施形態では、上記のように、周囲環境地図５に、移動前画像６２に移動後画像６３を合成した画像に基づく現フレーム地図５２を設ける。制御部４を、前フレーム地図５３と、現フレーム地図５２との比較に基づいて、移動後環境地図５４を取得するとともに、パイロット１１の頭部の位置および角度を推定する制御を行うように構成する。これにより、移動前画像６２に移動後画像６３を合成した画像に基づく現フレーム地図５２により、移動後画像６３のみに基づいて移動後環境地図５４を取得する場合と比較して、移動後環境地図５４に含まれる情報量を増加させることができる。この結果、より緻密な移動後環境地図５４を作成することができるので、パイロット１１の頭部の位置および角度の推定の精度をより向上させることができる。

【0061】

また、第１実施形態では、上記のように、制御部４を、移動後環境地図５４に含まれる複数の特徴点１２を全て取得可能なパイロット１１の頭部の位置および角度を、現フレーム（現時点）のパイロット１１の頭部の位置および角度として推定する制御を行うように構成する。これにより、移動後環境地図５４に含まれる複数の特徴点１２を全て取得可能か否かで、現フレーム（現時点）のパイロット１１の頭部の位置および角度を取得することができるので、簡易な方法によりパイロット１１の頭部の位置および角度を推定することができる。

【0062】

また、第１実施形態では、上記のように、制御部４を、前フレーム（現フレーム（現時点）よりも前の時点）のパイロット１１の頭部の位置および角度に基づいて、互いに頭部の位置および角度が異なる複数のパイロット１１の頭部の位置および角度を作成するとともに、作成した複数のパイロット１１の頭部の位置および角度を変化させた後、移動後環境地図５４に含まれる複数の特徴点１２を全て取得可能なパイロット１１の頭部の位置および角度を選択する制御を行うように構成する。これにより、パイロット１１の頭部の位置および角度を複数作成することにより、多くのバリエーションから現フレーム（現時点）のパイロット１１の頭部の位置および角度を推定することができるので、より適切なパイロット１１の頭部の位置および角度を選択することができる。

【0063】

また、第１実施形態では、上記のように、制御部４を、移動後画像６３中のコントラストの差に基づいて、複数の特徴点１２を取得する制御を行うように構成する。これにより、簡易な方法により複数の特徴点１２を取得することができるので、制御部４への処理負荷の増加を抑制することができる。

【0064】

また、第１実施形態では、上記のように、ヘッドモーショントラッカ装置１０に、パイロット１１の周囲に配置され、画像取得部２により画像として取得される目印部３を設ける。制御部４を、目印部３が取得された画像に基づく三次元の周囲環境地図５中の目印部３に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成する。これにより、画像取得部２により取得される画像中の特徴点１２として目印部３を用いることができるので、画像取得部２が特徴点１２をより確実に取得することができる。

【0065】

また、第１実施形態では、上記のように、画像取得部２に、並んで配置された２つのカメラ２１を設ける。制御部４を、２つのカメラ２１の視差に基づいて、パイロット１１の頭部の向きに沿った方向の距離を取得するとともに、２つのカメラ２１により取得した距離に基づいて、三次元の周囲環境地図５を作成する制御を行うように構成する。これにより、１つのカメラ２１によりパイロット１１の頭部の向きに沿った方向の距離を取得する場合と比較して、パイロット１１の頭部の向きに沿った方向の距離を正確に取得することができるので、三次元の周囲環境地図５をより正確に作成することができる。

【0066】

また、第１実施形態では、上記のように、航空機用ヘッドモーショントラッカ装置に、航空機１００の機体内の観察者としてのパイロット１１に装着されるヘッドモーショントラッカ装置１０を設ける。ヘッドモーショントラッカ装置１０に、頭部装着部１に取り付けられた画像取得部２を設ける。また、ヘッドモーショントラッカ装置１０では、画像取得部２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成された制御部４を設ける。これにより、航空機１００ではなく、頭部装着部１に取り付けられた画像取得部２の画像に基づいて制御部４により、パイロット１１の頭部の位置および角度を取得することができる。すなわち、航空機１００に画像取得部２を設置することなく、制御部４によりパイロット１１の頭部の位置および角度を取得することができる。この結果、航空機１００に画像取得部２の設置スペースを確保する必要がないので、ヘッドモーショントラッカ装置１０を既存の航空機１００であっても容易に適用することが可能な航空機用ヘッドモーショントラッカ装置１０を得ることができる。

【0067】

［第２実施形態］
次に、図１１～図１４を参照して、第２実施形態のヘッドモーショントラッカ装置２１０について説明する。詳細には、発光するだけの目印部３を備える第１実施形態のヘッドモーショントラッカ装置１０とは異なり、第２実施形態のヘッドモーショントラッカ装置２１０では、目印部２０３が目印部側通信部２３４を備えている。なお、第２実施形態において、上記第１実施形態と同様の構成に関しては、同じ符号を付して説明を省略する。

【0068】

図１１および図１２に示すように、ヘッドモーショントラッカ装置２１０は、頭部装着部１と、画像取得部２と、目印部２０３と、制御部２０４（図１３参照）とを備えている。

【0069】

目印部２０３は、パイロット１１の周囲に配置され、画像取得部２により画像として取得される。目印部２０３は、マーカとしての機能および通信機能の両方を有している。目印部２０３は、移動体に複数（３つ）配置されている。なお、目印部２０３は、１、２または４つ以上配置されてもよい。

【0070】

複数の目印部２０３は、良好な現フレーム地図５２を持続的に取得可能とするため、パイロット１１がいずれの方向を向いた場合においても、少なくとも１つ以上の目印部２０３が画像取得部２により撮影可能な位置に配置されている。これにより、制御部２０４によりパイロット１１の頭部の位置および角度の推定精度の低下を回避することができる。また、制御部２０４により目印部２０３が検出されない状態を確実に回避することができる。

【0071】

目印部２０３は、取付部３１と、発光部２０３ａと、受光部２０３ｂと、制御部２０３ｃとを含んでいる。

【0072】

発光部２０３ａは、マーカ機能とともに、制御部２０４との光通信のために用いられている。発光部２０３ａは、紫外光または近赤外光を照射可能なＬＥＤおよびＶＣＳＥＬなどにより構成されている。また、発光部２０３ａは、広角に光を照射可能とするためのレンズが取り付けられている。受光部２０３ｂは、紫外光または近赤外光を受光可能なフォトダイオードなどの受光素子により構成されている。受光部２０３ｂは、広角に光を受光可能とするためのレンズが取り付けられている。

【0073】

制御部２０３ｃは、ＣＰＵ部２３１と、記憶部２３２と、センサ部２３３と、目印部側通信部２３４とを有している。

【0074】

ＣＰＵ部２３１は、センサデータ処理２３１ａに所定の処理を実行させる機能を有している。センサデータ処理２３１ａは、センサ部２３３からの計測値を、制御部２０４に送信可能な計測値情報に変換する処理を行う。センサデータ処理２３１ａは、制御部２０４からのデータを、制御部２０３ｃに認識可能なデータに変換する処理を行う。

【0075】

記憶部２３２は、ＲＡＭおよびＲＯＭを有する記憶媒体である。記憶部２３２には、目印部２０３の識別番号２３２ａと、機体座標位置２３２ｂとが記憶されている。機体座標位置２３２ｂとは、パイロット１１を乗せた航空機１００の機体の基準位置に対する目印部２０３の座標位置を示す。機体座標位置２３２ｂは、目印部２０３を機体に設置する際に、計測した後、記憶部２３２に入力される。なお、機体座標位置２３２ｂは、特許請求の範囲の「目印部の位置」の一例である。また、航空機１００は、特許請求の範囲の「移動体」の一例である。

【0076】

センサ部２３３は、加速度センサ２３３ａ、ジャイロセンサ２３３ｂ、傾斜センサ２３３ｃおよび方位センサ２３３ｄを有している。加速度センサ２３３ａは、機体の加速度を計測する。ジャイロセンサ２３３ｂは、機体の角速度を計測する。傾斜センサ２３３ｃは、機体の傾きを計測する。方位センサ２３３ｄは、機体の方位を計測する。なお、ジャイロセンサ２３３ｂは、特許請求の範囲の「目印部側ジャイロセンサ」の一例である。

【0077】

目印部側通信部２３４は、後述する制御部側通信部２０４ｆ（図１３参照）と通信可能に構成されている。目印部側通信部２３４は、光および電波による無線通信機能を有している。目印部側通信部２３４は、制御部２０４の記憶部２０４ｂの機体座標位置２３２ｂの調整・設定の際、制御部側通信部２０４ｆと電波による無線通信を行う。また、目印部側通信部２３４は、調整・設定以外の通常使用の際、制御部側通信部２０４ｆと光による無線通信を行う。目印部側通信部２３４は、目印部２０３の識別番号２３２ａの情報、目印部２０３の機体座標位置２３２ｂの情報、センサ部２３３の計測値情報を光により、制御部側通信部２０４ｆに送信するように構成されている。

【0078】

ここで、目印部側通信部２３４は、発光部２０３ａを発光させる制御を行うように構成されている。すなわち、目印部側通信部２３４は、発光部２０３ａのマーカとしての発光、および、制御部側通信部２０４ｆと光による無線通信としての発光部２０３ａの発光を重畳して行うことが可能である。目印部側通信部２３４は、制御部２０４側の発光部２０４ｃの発光を受光部２０３ｂにより受光する。

【0079】

図１３および図１４に示すように、制御部２０４は、各種の制御および演算処理を行うコンピュータにより構成されている。制御部２０４は、画像処理部４１と、ＣＰＵ部２０４ａと、記憶部２０４ｂと、発光部２０４ｃと、受光部２０４ｄと、センサ部２０４ｅと、制御部側通信部２０４ｆとを含んでいる。

【0080】

ＣＰＵ部２０４ａは、比較処理４２ａと、位置角度検出処理４２ｂと、センサデータ処理２４０とに所定の処理実行させる機能を有している。センサデータ処理２４０は、センサ部２０４ｅからの計測値を、制御部２０４において認識可能な計測値情報に変換する処理を行う。センサデータ処理２４０は、目印部２０３から送信された情報を受け渡す処理も行う。センサデータ処理２４０は、制御部２０４から送信するデータを、制御部２０３ｃに送信可能なデータに変換する処理を行う。

【0081】

記憶部２０４ｂは、ＲＡＭおよびＲＯＭを有する記憶媒体である。記憶部２０４ｂには、前フレーム地図５３と、ベース地図５１と、機体座標位置２３２ｂとが記憶されている。

【0082】

発光部２０４ｃは、紫外光または近赤外光を照射可能なＬＥＤおよびＶＣＳＥＬなどにより構成されている。発光部２０４ｃの光軸は、カメラ２１の光軸と同じ方向に配置されている。発光部２０４ｃは、広角に光を照射可能とするためのレンズが取り付けられている。発光部２０４ｃは、制御部側通信部２０４ｆにより、発光部２０４ｃの照明光としての発光、および、目印部側通信部２３４と光による無線通信としての発光部２０４ｃの発光の両方を行うことが可能である。

【0083】

受光部２０４ｄは、紫外光または近赤外光を受光可能なフォトダイオードなどの受光素子により構成されている。受光部２０４ｄは、広角に光を受光可能とするためのレンズが取り付けられている。

【0084】

センサ部２０４ｅは、加速度センサ２４１、ジャイロセンサ２４２、傾斜センサ２４３および方位センサ２４４を有している。加速度センサ２４１は、パイロット１１の頭部の加速度を計測する。ジャイロセンサ２４２は、パイロット１１の頭部の角速度を計測する。傾斜センサ２４３は、パイロット１１の頭部の傾きを計測する。方位センサ２４４は、パイロット１１の頭部の方位を計測する。なお、ジャイロセンサ２４２は、特許請求の範囲の「装置側ジャイロセンサ」の一例である。

【0085】

制御部側通信部２０４ｆは、目印部側通信部２３４と通信可能に構成されている。制御部側通信部２０４ｆは、光および電波による無線通信機能を有している。制御部側通信部２０４ｆは、制御部２０４の記憶部２０４ｂの機体座標位置２３２ｂの調整・設定の際、目印部側通信部２３４と電波による無線通信を行う。また、制御部側通信部２０４ｆは、調整・設定以外の通常使用の際、目印部側通信部２３４と光による無線通信を行う。制御側通信部は、目印部２０３の識別番号２３２ａの情報、目印部２０３の機体座標位置２３２ｂの情報、センサ部２３３の計測値情報を光により、目印部側通信部２３４から受信するように構成されている。制御部側通信部２０４ｆは、発光部２０４ｃを照明光として発光させるように構成されている。

【0086】

（位置角度検出処理）
図１３および図１４に示すように。第２実施形態の制御部２０４は、画像取得部２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。なお、パイロット１１の頭部の位置および角度は、２つのカメラ２１の中点の位置および角度として示される。

【0087】

制御部２０４は、画像取得部２により取得された移動後画像６３から十分な数の特徴点１２を抽出できなかった場合、センサ部２３３の計測値情報と、センサ部２０４ｅの計測値情報とに基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。また、制御部２０４は、前フレーム地図５３および現フレーム地図５２に基づいて、観察者の頭部の角度が所定時間内に取得できない場合も同様の制御を行うように構成されている。この際、制御部２０４は、発光部２０４ｃの光により、画像取得部２により取得された目印部２０３にセンサ部２０４ｅの計測値情報を要求する信号を送信する制御を行うように構成されている。

【0088】

詳細には、制御部２０４は、前フレーム地図５３および現フレーム地図５２に基づいてパイロット１１の頭部の角度が所定時間内に取得できない場合、ジャイロセンサ２４２により計測されたパイロット１１の頭部の角速度と、ジャイロセンサ２３３ｂにより計測された航空機１００の角速度との差に基づいて、パイロット１１の頭部の角度を取得する制御を行うように構成されている。すなわち、ジャイロセンサ２３３ｂにより計測された航空機１００の角速度の情報は、ジャイロセンサ２４２により計測された頭部の角速度に含まれる航空機１００の角速度の情報を相殺するために用いられる。これにより、制御部２０４が光通信により航空機１００の角速度の情報を取得可能であるので、制御部２０４が航空機１００の角速度の情報を取得するために専用のケーブルを用いなくてもよい。

【0089】

また、詳細には、制御部２０４は、前フレーム地図５３および現フレーム地図５２に基づいてパイロット１１の頭部の角度が所定時間内に取得できない場合、加速度センサ２４１により計測されたパイロット１１の頭部の加速度と、加速度センサ２３３ａにより計測された航空機１００の加速度との差に基づいて、パイロット１１の頭部の位置を取得する制御を行うように構成されている。すなわち、加速度センサ２３３ａにより計測された航空機１００の加速度の情報は、加速度センサ２４１により計測された頭部の加速度に含まれる航空機１００の加速度の情報を相殺するために用いられる。これにより、制御部２０４が光通信により航空機１００の加速度の情報を取得可能であるので、制御部２０４が航空機１００の加速度の情報を取得するために専用のケーブルを用いなくてもよい。

【0090】

なお、光による通信だけではなく、必要に応じて、パイロット１１により、航空機１００の機体の姿勢、方位角などが入力されてもよい。

【0091】

制御部２０４は、ジャイロセンサ２３３ｂおよびジャイロセンサ２４２により取得されたパイロット１１の頭部の角度と、前フレーム地図５３および現フレーム地図５２に基づいて推定されたパイロット１１の頭部の角度とを比較する制御を行うように構成されている。さらに、制御部２０４は、加速度センサ２３３ａおよび加速度センサ２４１により取得されたパイロット１１の頭部の位置と、前フレーム地図５３および現フレーム地図５２に基づいて推定されたパイロット１１の頭部の位置とを比較する制御を行うように構成されている。制御部２０４は、上記した２つの比較結果の両方において、パイロット１１の頭部の角度および位置が一致する場合、前フレーム地図５３と、ベース地図５１とを合成するか、または、ベース地図５１を前フレーム地図５３に更新する制御を行うように構成されている。

【0092】

制御部２０４は、前フレーム地図５３と現フレーム地図５２とが似通っていること、および、外乱などに起因するパイロット１１の頭部の位置および角度の精度の低下を防止するため、移動後環境地図５４上の特徴点１２の座標位置ではなく、目印部２０３の機体座標位置２３２ｂによるパイロット１１の頭部の位置および角度の推定を行うように構成されている。詳細には、制御部２０４は、画像取得部２により目印部２０３を取得した場合、目印部側通信部２３４を介して記憶部２３２から取得した目印部２０３の機体座標位置２３２ｂに基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。これにより、画像取得部２により目印部２０３を取得するたびに、パイロット１１の頭部の位置および角度を再設定（リセット）することが可能である。ここで、制御部２０４は、パイロット１１の頭部の位置および角度を再設定した場合、目印部２０３の機体座標位置２３２ｂに基づいて、前フレーム地図５３の座標位置を補正する制御を行うことが好ましい。なお、機体座標位置２３２ｂは、特許請求の範囲の「目印部の位置」の一例である。

【0093】

図１５に示すように、制御部２０４は、現フレームよりも前のフレームのパイロット１１の頭部の位置および角度に基づいて、互いに頭部の位置および角度が異なる複数のパイロット１１の頭部の位置および角度を作成する際、作成する複数のパイロット１１の頭部の位置および角度を制限する制御を行うように構成されている。すなわち、制御部２０４は、傾斜センサ２４３および方位センサ２４４の計測値情報に基づいて、作成する複数のパイロット１１の頭部の位置および角度を制限する制御を行うように構成されている。これにより、参照して比較する複数のパイロット１１の頭部の位置および角度が減少するので、制御部２０４の処理を軽減することが可能である。なお、第２実施形態のその他の構成は、第１実施形態の構成と同様である。

【0094】

（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。

【0095】

第２実施形態では、上記のように、ヘッドモーショントラッカ装置２１０に、頭部装着部１に取り付けられた画像取得部２を設ける。また、ヘッドモーショントラッカ装置２１０に、画像取得部２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成された制御部２０４を設ける。これにより、ヘッドモーショントラッカ装置２１０を既存の航空機１００であっても容易に適用することができる。

【0096】

また、第２実施形態では、上記のように、制御部２０４に、制御部側通信部２０４ｆを設ける。目印部２０３に、制御部側通信部３０４ｆと通信可能な目印部側通信部２３４と、パイロット１１を乗せた航空機１００の基準位置に対する目印部２０３の位置を記憶する記憶部２３２とを設ける。制御部２０４を、画像取得部２により目印部２０３を取得した場合、目印部側通信部２３４を介して記憶部２３２から取得した目印部２０３の位置に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成する。これにより、画像取得部２により取得される画像により目印部２０３の位置を取得する場合と比較して、目印部２０３の位置の精度を高くすることができるので、三次元の周囲環境地図５中の目印部２０３の位置の精度を向上させることができる。この結果、制御部２０４により、より正確なパイロット１１の頭部の位置および角度を取得することができる。

【0097】

また、第２実施形態では、上記のように、ヘッドモーショントラッカ装置２１０に、パイロット１１の頭部の角速度を計測するジャイロセンサ２４２を設ける。目印部２０３に、パイロットを乗せた航空機１００の角速度を計測するジャイロセンサ２３３ｂを設ける。制御部２０４を、周囲環境地図５に基づいてパイロット１１の頭部の角度が所定時間内に取得できない場合、ジャイロセンサ２４２により計測されたパイロット１１の頭部の角速度と、ジャイロセンサ２３３ｂにより計測された航空機１００の角速度との差に基づいて、パイロット１１の頭部の角度を取得する制御を行うように構成する。これにより、周囲環境地図５に基づいてパイロット１１の頭部の角度を取得できない場合に、ジャイロセンサ２４２およびジャイロセンサ２３３ｂによりパイロット１１の頭部の角度を補完することができるので、パイロット１１の頭部の角度を確実に取得することができる。なお、第２実施形態のその他の効果は、第１実施形態の効果と同様である。

【0098】

［第３実施形態］
次に、図１６および図１７を参照して、第３実施形態のヘッドモーショントラッカ装置３１０について説明する。詳細には、発光部２０３ａを有する目印部２０３を備える第２実施形態のヘッドモーショントラッカ装置２１０とは異なり、第３実施形態のヘッドモーショントラッカ装置３１０では、目印部３０４が反射して発光する。なお、第３実施形態において、上記第２実施形態と同様の構成に関しては、同じ符号を付して説明を省略する。

【0099】

具体的には、図１６および図１７に示すように、ヘッドモーショントラッカ装置３１０は、頭部装着部１と、画像取得部３０２と、発光部３０３と、目印部３０４と、制御部３０５とを備えている。

【0100】

画像取得部３０２は、１つのカメラ２１と、受光光学系（図示せず）とを含んでいる。詳細には、カメラ２１は、エリアセンサカメラである。カメラ２１は、紫外光および近赤外光に感度を有している。カメラ２１には、発光部３０３から発光し、機体の内表面において反射した反射光が受光光学系を介して入射する。受光光学系は、カメラ２１に特定の波長領域以外の光を受光させないようにするため、特定波長領域の光のみを通過させるフィルタおよびレンズなどを有している。

【0101】

画像取得部３０２は、距離を算出する機能を有する。詳細には、画像取得部３０２は、発光部３０３の発光時の波長と、発光部３０３の上記反射光の波長との差に基づいて、距離を取得可能なように構成されている。

【0102】

発光部３０３は、紫外光または近赤外光を照射可能なＬＥＤおよびＶＣＳＥＬなどにより構成されている。発光部３０３の光軸は、カメラ２１の光軸と同じ方向に配置されている。ここで、発光部３０３は、周囲の光の影響を受けにくい波長の光であることが好ましい。発光部３０３は、広角に光を照射可能とするためのレンズが取り付けられている。

【0103】

ここで、画像取得部３０２には、距離を算出する機能を向上させるために、カメラ２１の光軸方向角度および発光部３０３の光軸方向角度を変更可能な機構（モータなど）が設けられていることが好ましい。

【0104】

目印部３０４は、パイロット１１の周囲に配置され、画像取得部３０２により画像として取得される。目印部３０４は、マーカとしての機能を有している。目印部３０４は、特徴点抽出処理を容易にするため、再帰性反射体または特定波長領域に反射特性を有する反射体で構成されている。目印部３０４は、移動体に複数（３つ）配置されている。なお、目印部３０４は、１、２または４つ以上配置されてもよい。

【0105】

複数の目印部３０４は、パイロット１１の頭部の位置および角度の推定精度が特に必要な領域、および、特徴点１２を抽出しにくい領域などに配置されている。

【0106】

制御部３０５は、各種の制御および演算処理を行うコンピュータにより構成されている。制御部３０５は、画像処理部４１と、ＣＰＵ部３０５ａと、記憶部３０５ｂと、センサ部３０５ｃとを含んでいる。

【0107】

ＣＰＵ部３０５ａは、比較処理４２ａと、位置角度検出処理４２ｂと、センサデータ処理３５０とを実行する機能を有している。センサデータ処理３５０は、センサ部３０５ｃからの計測値を、制御部３０５において認識可能な計測値情報に変換する処理を行う。

【0108】

記憶部３０５ｂは、ＲＡＭおよびＲＯＭを有する記憶媒体である。記憶部３０５ｂには、前フレーム地図５３と、ベース地図５１と、機体座標位置３０６とが記憶されている。

【0109】

センサ部３０５ｃは、加速度センサ３５１、ジャイロセンサ３５２、傾斜センサ３５３および方位センサ３５４を有している。なお、ジャイロセンサ３５２は、特許請求の範囲の「装置側ジャイロセンサ」の一例である。

【0110】

（位置角度検出処理）
図１６および図１７に示すように。第３実施形態の制御部３０５は、画像取得部３０２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。なお、パイロット１１の頭部の位置および角度は、１つのカメラ２１の先端の中点の位置および角度として示される。

【0111】

ここで、１つのカメラ２１がエリアセンサカメラであるので、画像処理部４１は、三次元地図におけるＸＺ平面の情報を取得可能である。また、画像取得部３０２は、距離測定機能により、三次元地図におけるＹ軸方向の情報を取得可能である。

【0112】

詳細には、制御部３０５は、画像取得部３０２により取得される画像のうち、航空機１００内の部分に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。すなわち、制御部３０５は、画像取得部３０２により取得された画像中において、航空機１００内の躯体の形状、航空機１００内に配置されたスイッチおよびディスプレイなどの特徴点１２に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成されている。また、画像の特徴点１２としては、目印部３０４も特徴点１２である。

【0113】

制御部３０５は、発光部３０３から発光した光に対する、スイッチ、ディスプレイおよび目印部３０４などからの反射光を利用して、複数の特徴点１２を取得する制御を行うように構成されている。ここで、制御部３０５は、機体内表面に対する発光部３０３からの光の角度および反射率、発光部３０３からの光が届かない領域、および、画像中のコントラストに起因して画像中の情報の欠損の発生を抑制するために、画像取得部３０２により算出される距離により画像中の情報を補完する制御を行うように構成されている。なお、第３実施形態のその他の構成は、第２実施形態の構成と同様である。

【0114】

（第３実施形態の効果）
第３実施形態では、以下のような効果を得ることができる。

【0115】

第３実施形態では、上記のように、ヘッドモーショントラッカ装置３１０に、頭部装着部１に取り付けられた画像取得部３０２を設ける。また、ヘッドモーショントラッカ装置３１０に、画像取得部３０２により取得された画像に基づいて、パイロット１１の頭部の位置および角度を取得する制御を行うように構成された制御部３０５を設ける。これにより、ヘッドモーショントラッカ装置３１０を既存の航空機１００であっても容易に適用することができる。なお、第３実施形態のその他の効果は、第２実施形態の効果と同様である。

【0116】

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

【0117】

たとえば、上記第１～第３実施形態では、航空機１００は、特許請求の範囲の「移動体」の一例である例を示したが、本発明はこれに限られない。本発明では、移動体は、車輌であってもよい。

【0118】

また、上記第１～第３実施形態では、パーティクルフィルタによる位置角度検出処理４２ｂを一例として説明したが、本発明はこれに限られない。本発明では、位置角度検出処理は、拡張カルマンフィルタなどにより行われてもよい。

【0119】

また、上記第１～第３実施形態では、制御部４（２０４，３０５）は、特徴点１２および目印部３の両方で位置角度検出処理４２ｂを行う例を示したが、本発明はこれに限られない。本発明では、制御部は、特徴点または目印部のいずれかで位置角度検出処理を行ってもよい。たとえば、図１８に示す第１変形例のように、目印部３が配置されていない領域では、制御部は、航空機１００の機体のフレームなどに基づく特徴点１２のみにより位置角度検出処理４２ｂを行うように構成されていてもよい。

【0120】

また、上記第１～第３実施形態では、制御部４（２０４、３０５）は、前フレーム地図５３（第２周囲環境地図）と、現フレーム地図５２（第３周囲環境地図）との比較に基づいて、位置角度検出処理４２ｂを行うように構成されている例を示したが、本発明はこれに限られない。本発明では、制御部は、ベース地図と、第３周囲環境地図との比較に基づいて、位置角度検出処理を行うように構成されていてもよい。また、制御部は、ベース地図と、第２周囲環境地図と、第３周囲環境地図との比較に基づいて、位置角度検出処理を行うように構成されていてもよい。

【0121】

また、上記第１～第３実施形態では、ヘッドモーショントラッカ装置１０（２１０、３１０）は、目印部３（２０３、３０４）を備えている例を示したが、本発明はこれに限られない。本発明では、ヘッドモーショントラッカ装置は、目印部を備えていなくてもよい。

【0122】

また、上記第１～第３実施形態では、移動前画像６２（第２画像）は、１枚である例を示したが、本発明はこれに限られない。本発明では、第２画像は、複数枚あってもよい。

【0123】

また、上記第１および第２実施形態では、目印部３は、発光するように構成された例を示したが、本発明はこれに限られない。本発明では、目印部は、画像取得部から観測する角度によって、取付部の形状が変化するような構成を有していてもよいし、発光部の光の形状が変化するような構成を有していてもよい。

【0124】

また、上記第２実施形態では、制御部２０４は、目印部２０３からの光通信により、目印部３の識別番号２３２ａおよび機体座標位置２３２ｂを取得する例を示したが、本発明はこれに限られない。本発明では、制御部は、目印部にＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）タグ（ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード、ＡｐｒｉｌＴＡＧなど）を設けることにより、画像取得部により目印部の位置、識別番号を取得させてもよい。

【0125】

また、上記第３実施形態では、ヘッドモーショントラッカ装置３１０は、１つの画像取得部３０２を備えている例を示したが、本発明はこれに限られない。本発明では、図１９に示す第２変形例のように、ヘッドモーショントラッカ装置４１０は、２つの画像取得部４０２を備えていてもよい。この場合、ヘッドモーショントラッカ装置４１０は、２つの画像取得部４０２を同期させて撮影させることにより、２つの画像取得部４０２の視差に基づいて距離を取得するステレオ画像処理部４０３を備えていてもよい。

【0126】

また、上記第１～第３実施形態では、制御部４（２０４、３０５）は、機械学習により、パイロット１１（観察者）の周囲の三次元の周囲環境地図５を作成する制御を行うように構成されている例を示したが、本発明はこれに限られない。本発明では、制御部は、機械学習以外の方法により、三次元の周囲環境地図を作成してもよい。

【0127】

また、上記第１～第３実施形態では、航空機１００（移動体）内にパイロット１１（観測者）だけが搭乗している例を示したが、本発明はこれに限られない。本発明では、移動体内に複数の観測者が乗っていてもよい。そして、複数の観測者は各々は、ヘッドモーショントラッカ装置を装着していてもよい。この場合、複数のヘッドモーショントラッカ装置は、それぞれ、異なる光（紫外光および近赤外光）を受光可能な画像取得部を備えていてもよい。これにより、複数のヘッドモーショントラッカ装置が、同時に運用可能となる。

【符号の説明】

【0128】

１ 頭部装着部
２、３０２、４０２ 画像取得部
３、２０３、３０４ 目印部
４、２０４、３０５ 制御部
５ 周囲環境地図
１０、２１０、３１０、４１０ 航空機用ヘッドモーショントラッカ装置（ヘッドモーショントラッカ装置）
１１ パイロット（観察者）
１２ 特徴点
２１ カメラ
５２ 現フレーム地図（第３周囲環境地図）
５３ 前フレーム地図（第２周囲環境地図）
５４ 移動後環境地図（第１周囲環境地図）
６２ 移動前画像（第２画像）
６３ 移動後画像（第１画像）
１００ 航空機
２０４ｆ 制御部側通信部
２３２ 記憶部
２３３ｂ ジャイロセンサ（目印部側ジャイロセンサ）
２３４ 目印部側通信部
２４２ ジャイロセンサ（装置側ジャイロセンサ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】