特許 6555279 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6555279

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム

(51)【国際特許分類】

   G09G 5/36 20060101AFI20190729BHJP

   G09G 5/00 20060101ALI20190729BHJP

   G09G 5/377 20060101ALI20190729BHJP

   G02B 27/02 20060101ALI20190729BHJP

   H04N 5/64 20060101ALI20190729BHJP

【ＦＩ】

   G09G5/36 510M

   G09G5/00 510G

   G09G5/00 550C

   G09G5/00 530M

   G09G5/36 520L

   G09G5/36 520P

   G09G5/36 520C

   G02B27/02 Z

   H04N5/64 511A

【請求項の数】16

【全頁数】25

(21)【出願番号】特願2016-564776(P2016-564776)

(86)(22)【出願日】2015年12月2日

(86)【国際出願番号】JP2015083849

(87)【国際公開番号】WO2016098591

(87)【国際公開日】20160623

【審査請求日】2017年2月17日

(31)【優先権主張番号】特願2014-252871(P2014-252871)

(32)【優先日】2014年12月15日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(72)【発明者】

【氏名】田川 雄介

(72)【発明者】

【氏名】長谷部 要

(72)【発明者】

【氏名】多和田 一穂

【審査官】 越川 康弘

(56)【参考文献】

【文献】 特開２００２−２７２７２４（ＪＰ，Ａ）

【文献】 実開平０２−０２３５１４（ＪＰ，Ｕ）

【文献】 国際公開第２０１１／０１９４６１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｇ０２Ｂ ２７／０２

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

使用者の頭部に装着され、所定のフレーム間隔で画像を撮影する撮影装置および表示画面を備えたヘッドマウントディスプレイ用の動画像処理装置であって、
使用者の頭部に装着された前記撮影装置の姿勢を検出可能な姿勢検出手段と、
前記姿勢検出手段の検出結果に基づき、前記撮影装置により撮影されたフレーム間の前記撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する第１画像ずれ量算出手段と、
前記第１画像ずれ量と、前記撮影装置により撮影された現在フレーム画像と、過去に前記撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、前記過去画像と前記現在フレーム画像との第２画像ずれ量を算出する第２画像ずれ量算出手段と、
前記第２画像ずれ量に基づいて１フレーム前に合成および出力された前記過去画像を補正し、補正された１フレーム前の前記過去画像を少なくとも含む１又は複数フレーム分の前記過去画像と前記現在フレーム画像とを合成する画像合成手段とを備える、ヘッドマウントディスプレイ用の動画像処理装置。

【請求項2】

前記第２画像ずれ量算出手段は、前記過去画像の一部分に対して設定した位置ずれ探索領域において前記現在フレーム画像との前記第２画像ずれ量を算出するように構成され、
前記位置ずれ探索領域は、前記第１画像ずれ量に基づいて前記過去画像における位置および大きさが設定されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項3】

前記位置ずれ探索領域は、前記第１画像ずれ量分の移動後における前記過去画像の一部分の周囲に、前記第１画像ずれ量の誤差範囲に相当する範囲だけ拡張した領域に設定される、請求項２に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項4】

前記第２画像ずれ量算出手段は、前記過去画像と前記現在フレーム画像とを解析して前記過去画像と前記現在フレーム画像との間の画像解析ずれ量を算出し、前記第１画像ずれ量と前記画像解析ずれ量とに基づいて、前記第２画像ずれ量を算出するように構成されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項5】

前記第２画像ずれ量算出手段は、前記第１画像ずれ量と前記画像解析ずれ量とを、前記現在フレーム画像の外界の明るさによるノイズ量に応じて重み付け加算することにより、前記第２画像ずれ量を算出するように構成されている、請求項４に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項6】

前記第２画像ずれ量算出手段は、前記現在フレーム画像の前記ノイズ量が多くなるほど前記第１画像ずれ量の重みを大きくする、請求項５に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項7】

前記第２画像ずれ量算出手段は、前記第１画像ずれ量に基づいて前記過去画像の位置補正を行い、位置補正された前記過去画像と前記現在フレーム画像との前記第２画像ずれ量を画像中の局所領域毎に算出するように構成され、
前記画像合成手段は、前記１フレーム前に合成および出力された前記過去画像の前記局所領域毎の位置を前記第２画像ずれ量に基づいて補正し、前記局所領域毎の位置を前記第２画像ずれ量に基づいて補正された前記過去画像と前記現在フレーム画像とを合成するように構成されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項8】

前記第１画像ずれ量算出手段は、前記姿勢検出手段の検出結果と、過去に算出された前記第２画像ずれ量の履歴から推定される推定画像ずれ量とに基づいて、前記第１画像ずれ量を算出するように構成されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項9】

前記画像合成手段は、前記補正された過去画像と前記現在フレーム画像との類似度を画像中の局所領域毎に算出し、算出した前記類似度に応じた重み付けで、前記補正された過去画像と前記現在フレーム画像とを合成するように構成されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項10】

前記画像合成手段は、前記補正された過去画像と前記現在フレーム画像との類似度が高くなるほど、前記現在フレーム画像よりも前記補正された過去画像の重み付けを大きくして合成する、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項11】

前記画像合成手段は、リカーシブフィルタを用いて、前記補正された過去画像と前記現在フレーム画像とを合成するように構成されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項12】

前記画像合成手段は、合成により得られた合成画像を、前記現在フレーム画像に対応する現在フレームの出力画像として前記表示画面に出力し、かつ、次のフレームにおける前記過去画像として記憶するように構成されている、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項13】

前記第１画像ずれ量算出手段は、前記撮影装置の平行移動による画像ずれを除外し、前記撮影装置の回転による前記第１画像ずれ量を算出する、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項14】

前記第１画像ずれ量算出手段は、前記撮影装置のローリング方向の回転位置ずれを除外し、前記撮影装置のヨーイング方向およびピッチング方向における前記第１画像ずれ量を算出する、請求項１に記載のヘッドマウントディスプレイ用の動画像処理装置。

【請求項15】

使用者の頭部に装着され、所定のフレーム間隔で画像を撮影する撮影装置および表示画面を備えたヘッドマウントディスプレイ用の動画像処理方法であって、
使用者の頭部に装着された前記撮影装置の姿勢を検出するステップと、
前記撮影装置の姿勢の検出結果に基づき、前記撮影装置により撮影されたフレーム間の前記撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出するステップと、
前記第１画像ずれ量と、前記撮影装置により撮影された現在フレーム画像と、過去に前記撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、前記過去画像と前記現在フレーム画像との第２画像ずれ量を算出するステップと、
前記第２画像ずれ量に基づいて１フレーム前に合成および出力された前記過去画像を補正し、補正された１フレーム前の前記過去画像を少なくとも含む１又は複数フレーム分の前記過去画像と前記現在フレーム画像とを合成するステップとを備える、ヘッドマウントディスプレイ用の動画像処理方法。

【請求項16】

使用者の頭部に装着され、所定のフレーム間隔で画像を撮影する撮影装置および表示画面を備えたヘッドマウントディスプレイと、
使用者の頭部に装着された前記撮影装置の姿勢を検出可能な姿勢検出装置と、
前記撮影装置により撮影された画像を前記表示画面に表示させるための動画像処理装置とを備え、
前記動画像処理装置は、
前記姿勢検出装置の検出結果に基づき、前記撮影装置により撮影されたフレーム間の前記撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する第１画像ずれ量算出手段と、
前記第１画像ずれ量と、前記撮影装置により撮影された現在フレーム画像と、過去に前記撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、前記過去画像と前記現在フレーム画像との第２画像ずれ量を算出する第２画像ずれ量算出手段と、
前記第２画像ずれ量に基づいて１フレーム前に合成および出力された前記過去画像を補正し、補正された１フレーム前の前記過去画像を少なくとも含む１又は複数フレーム分の前記過去画像と前記現在フレーム画像とを合成する画像合成手段とを含む、ヘッドマウントディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステムに関する。

【背景技術】

【0002】

従来、撮影装置および表示画面を備えたヘッドマウントディスプレイに画像表示を行うための動画像処理装置が知られている。このような動画像処理装置は、たとえば、特開２０１３−１２０９８８号公報に開示されている。

【0003】

上記特開２０１３−１２０９８８号公報には、撮影装置と表示画面とが設けられたヘッドマウントディスプレイ（ＨＭＤ）が開示されている。このヘッドマウントディスプレイは、使用者の頭部に装着され、撮影装置を用いて撮影された動画像を表示画面によって使用者に表示する。使用者は、表示画面を透過して見える外界の光景に、撮影装置によって撮影された動画像を重ねた状態で視認することが可能となる。

【0004】

このようなヘッドマウントディスプレイにおいて、視認性向上のために、動画像を時間方向に合成する時間方向フィルタを用いた画像処理によってノイズを低減することが知られている。時間方向フィルタでは、撮影装置が動いたり、画像中に移動する物体が存在したりすると、合成後に残像が発生してしまうため、合成するフレーム画像間の位置ずれ補正が必要となる。位置ずれ補正は、合成する各フレーム画像を画像解析によって比較することにより行われる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−１２０９８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、画像解析によって各フレーム画像の位置ずれを補正する場合、各フレーム画像のノイズが多い場合などに位置ずれの検出精度が低下して、時間方向フィルタを施したときの残像を効果的に抑制できない場合があるため、外乱や環境の変化に対する強さ（ロバスト性）を持つ画像解析方法とする必要がある。また、撮影装置によって撮影された動画像をヘルメットのバイザー等に表示する際に、動画像と画像を見ている時点での実際の光景が時間的にずれて利用者に違和感を与えないように、できるだけ画像表示の遅延を小さくする必要がある。しかし、ノイズ低減のための画像処理の計算コストが大きくなると、処理の遅延が発生してしまうという不都合がある。このため、位置ずれ検出の精度およびロバスト性の向上と、計算コストの低減によるリアルタイム性の確保との両立を図ることが求められている。

【0007】

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することが可能なヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステムを提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、この発明の第１の局面におけるヘッドマウントディスプレイ用の動画像処理装置は、使用者の頭部に装着され、所定のフレーム間隔で画像を撮影する撮影装置および表示画面を備えたヘッドマウントディスプレイ用の動画像処理装置であって、使用者の頭部に装着された撮影装置の姿勢を検出可能な姿勢検出手段と、姿勢検出手段の検出結果に基づき、撮影装置により撮影されたフレーム間の撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する第１画像ずれ量算出手段と、第１画像ずれ量と、撮影装置により撮影された現在フレーム画像と、過去に撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、過去画像と現在フレーム画像との第２画像ずれ量を算出する第２画像ずれ量算出手段と、第２画像ずれ量に基づいて１フレーム前に合成および出力された過去画像を補正し、補正された１フレーム前の過去画像を少なくとも含む１又は複数フレーム分の過去画像と現在フレーム画像とを合成する画像合成手段とを備える。

【0009】

この発明の第１の局面によるヘッドマウントディスプレイ用の動画像処理装置では、上記のように、姿勢検出手段の検出結果に基づき、撮影装置により撮影されたフレーム間の撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する第１画像ずれ量算出手段と、第１画像ずれ量と、撮影装置により撮影された現在フレーム画像と、過去に撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、過去画像と現在フレーム画像との第２画像ずれ量を算出する第２画像ずれ量算出手段とを設ける。これにより、過去画像と現在フレーム画像との第２画像ずれ量を算出する際に、姿勢検出手段によって検出した撮影装置の姿勢変化に基づく第１画像ずれ量を利用することができるので、ノイズによって画像解析では十分な位置ずれ検出精度が得られない場合でも、位置ずれ検出精度が低下するのを抑制することができる。また、第１画像ずれ量のみによって位置補正を行う場合と異なり、姿勢検出手段の検出結果に多少の誤差が含まれる場合にも第２画像ずれ量の算出によって位置ずれの検出精度を確保することが可能となるので、ロバスト性を向上させることができる。さらに、撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出することにより、ローリング方向も含めた位置ずれを考慮する場合と比べて位置ずれ検出のための計算コストを低減することができる。これらの結果、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【0010】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、第２画像ずれ量算出手段は、過去画像の一部分に対して設定した位置ずれ探索領域において現在フレーム画像との第２画像ずれ量を算出するように構成され、位置ずれ探索領域は、第１画像ずれ量に基づいて過去画像における位置および大きさが設定されている。このように構成すれば、第１画像ずれ量を利用して、たとえば第１画像ずれ量分だけ移動した移動後の位置を中心とする所定範囲に位置ずれ探索領域を絞ることができる。その結果、過去画像の全体にわたって位置ずれ探索を行う場合と比較して、位置ずれ検出の精度を確保しながら位置ずれ探索領域を狭めた分だけ効果的に計算コストを低減することができる。

【0011】

この場合、好ましくは、位置ずれ探索領域は、第１画像ずれ量分の移動後における過去画像の一部分の周囲に、第１画像ずれ量の誤差範囲に相当する範囲だけ拡張した領域に設定される。このように構成すれば、第１画像ずれ量の誤差範囲を考慮した最小限の範囲に位置ずれ探索領域を限定することができるので、より効果的に計算コストを低減することができる。

【0012】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、第２画像ずれ量算出手段は、過去画像と現在フレーム画像とを解析して過去画像と現在フレーム画像との間の画像解析ずれ量を算出し、第１画像ずれ量と画像解析ずれ量とに基づいて、第２画像ずれ量を算出するように構成されている。このように構成すれば、姿勢検出手段の検出結果に基づく第１画像ずれ量と、画像解析によって得られた画像解析ずれ量との両方を考慮して、第２画像ずれ量を算出することができる。このため、たとえば現在フレーム画像のノイズによって画像解析ずれ量の精度が得にくい場合や、逆に姿勢検出手段の検出結果にノイズが発生して第１画像ずれ量の精度が得にくい場合にも、第１画像ずれ量と画像解析ずれ量とにより互いに検出精度を補い合わせることができるので、位置ずれ検出の精度およびロバスト性を効果的に向上させることができる。

【0013】

この場合、好ましくは、第２画像ずれ量算出手段は、第１画像ずれ量と画像解析ずれ量とを、現在フレーム画像の外界の明るさによるノイズ量に応じて重み付け加算することにより、第２画像ずれ量を算出するように構成されている。このように構成すれば、たとえば現在フレーム画像のノイズ量が多い場合には、第１画像ずれ量の重み付けを大きくすることにより位置ずれ検出の精度を確保することができる。また、ノイズ量が少なく画像解析ずれ量の精度が得られる場合には、画像解析ずれ量の重み付けを大きくすることにより第１画像ずれ量の精度よりも更に位置ずれ検出精度を向上させることも望める。その結果、位置ずれ検出の精度およびロバスト性をより効果的に向上させることができる。

【0014】

上記第１画像ずれ量と画像解析ずれ量とを、現在フレーム画像のノイズ量に応じて重み付け加算する構成において、好ましくは、第２画像ずれ量算出手段は、現在フレーム画像のノイズ量が多くなるほど第１画像ずれ量の重みを大きくする。このように構成すれば、現在フレーム画像のノイズ量が少ない場合には高精度を得ることが可能な画像解析ずれ量の重みを大きくし、現在フレーム画像のノイズ量が多く画像解析ずれ量の精度が得にくくなるほど第１画像ずれ量の重み付けを大きくすることができる。これにより、位置ずれ検出の精度およびロバスト性を確実に向上させることができる。

【0015】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、第２画像ずれ量算出手段は、第１画像ずれ量に基づいて過去画像の位置補正を行い、位置補正された過去画像と現在フレーム画像との第２画像ずれ量を画像中の局所領域毎に算出するように構成され、画像合成手段は、１フレーム前に合成および出力された過去画像の局所領域毎の位置を第２画像ずれ量に基づいて補正し、局所領域毎の位置を第２画像ずれ量に基づいて補正された過去画像と現在フレーム画像とを合成するように構成されている。このように構成すれば、局所領域毎の位置を第２画像ずれ量に基づいて局所的に補正することができる。その結果、画像全体の中で移動する物体が映り込んだ場合などでも、物体が写る画像部分に局所的な残像が残るのを抑制しつつ、画像全体のノイズを低減することができる。

【0016】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、第１画像ずれ量算出手段は、姿勢検出手段の検出結果と、過去に算出された第２画像ずれ量の履歴から推定される推定画像ずれ量とに基づいて、第１画像ずれ量を算出するように構成されている。ここで、撮影装置を用いて撮影されたフレーム毎の各画像のずれには、時系列的な連続性があるため、第２画像ずれ量の履歴から現在フレーム画像における画像の位置ずれ量の範囲を推定することが可能である。そのため、上記のように構成すれば、たとえば姿勢検出手段の検出結果にノイズが乗って、他の検出値から外れた外れ値が検出される場合でも、推定画像ずれ量を考慮することにより第１画像ずれ量の検出精度を確保することができる。また、推定画像ずれ量を予め算出しておくことにより、第１画像ずれ量を速やかに算出することができるので、推定画像ずれ量を用いる場合でも処理遅れの発生を抑制することができる。

【0017】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、画像合成手段は、補正された過去画像と現在フレーム画像との類似度を画像中の局所領域毎に算出し、算出した類似度に応じた重み付けで、補正された過去画像と現在フレーム画像とを合成するように構成されている。このように構成すれば、たとえば位置合わせをしても類似度が低くなるような場合に、現在フレーム画像に大きな重み付けをすることにより、より現在の状態（現在フレーム画像）を反映させた出力画像を生成することができる。

【0018】

この場合、好ましくは、画像合成手段は、補正された過去画像と現在フレーム画像との類似度が高くなるほど、現在フレーム画像よりも補正された過去画像の重み付けを大きくして合成する。このように構成すれば、過去画像と現在フレーム画像とのフレーム間において外界の状況に変化がない場合（類似度が高い場合）に、ノイズを含んだ現在フレーム画像の重みを小さくして合成できるので、ノイズをより効果的に低減することができる。

【0019】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、画像合成手段は、リカーシブフィルタを用いて、補正された過去画像と現在フレーム画像とを合成するように構成されている。ここで、リカーシブフィルタは、現在フレーム画像と、直前の１枚の過去画像とを、重み付け加算することにより合成する処理である。このように構成すれば、２枚の画像の重み付け加算を行うだけでよいので、効果的に計算コストを低減することができる。

【0020】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、画像合成手段は、合成により得られた合成画像を、現在フレーム画像に対応する現在フレームの出力画像として表示画面に出力し、かつ、次のフレームにおける過去画像として記憶するように構成されている。このように構成すれば、現在フレーム画像とのずれが最も小さい直前のフレームで得られた合成画像を用いて合成を行うことができるので、計算コストを低減することができる。

【0021】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、第１画像ずれ量算出手段は、撮影装置の平行移動による画像ずれを除外し、撮影装置の回転による第１画像ずれ量を算出する。ここで、撮影装置の平行移動による画像ずれは、遠近の被写体の位置関係が変化するため、画像全体の位置ずれとして補正しにくい一方、たとえば飛行機などのパイロットが使用するヘッドマウントディスプレイの場合、頭部の動きは回転が多く、平行移動による位置ずれの影響は相対的に小さくなる。このため、平行移動による画像ずれを除外し、回転位置ずれに限定して第１画像ずれ量を算出することにより、位置ずれ検出精度への影響を効果的に抑制しつつ、計算コストを低減することができる。

【0022】

上記第１の局面によるヘッドマウントディスプレイ用の動画像処理装置において、好ましくは、第１画像ずれ量算出手段は、撮影装置のローリング方向の回転位置ずれを除外し、撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する。ここで、ヘッドマウントディスプレイでは、ローリング方向の回転は使用者が首を左右に傾ける動きに相当し、ヨーイング方向（左右への首振り）およびピッチング方向（上下への首振り）と比べて動作が少ない。そこで、ローリング方向を除外してヨーイング方向およびピッチング方向に限定して第１画像ずれ量を算出することにより、位置ずれ検出精度への影響を効果的に抑制しつつ、計算コストを低減することができる。

【0023】

この発明の第２の局面におけるヘッドマウントディスプレイ用の動画像処理方法は、使用者の頭部に装着され、所定のフレーム間隔で画像を撮影する撮影装置および表示画面を備えたヘッドマウントディスプレイ用の動画像処理方法であって、使用者の頭部に装着された撮影装置の姿勢を検出するステップと、撮影装置の姿勢の検出結果に基づき、撮影装置により撮影されたフレーム間の撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出するステップと、第１画像ずれ量と、撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、過去画像と現在フレーム画像との第２画像ずれ量を算出するステップと、第２画像ずれ量に基づいて１フレーム前に合成および出力された過去画像を補正し、補正された１フレーム前の過去画像少なくとも含む１又は複数フレーム分の過去画像と現在フレーム画像とを合成するステップとを備える。

【0024】

この発明の第２の局面によるヘッドマウントディスプレイ用の動画像処理方法では、上記のように、撮影装置の姿勢の検出結果に基づき、撮影装置により撮影されたフレーム間の撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出するステップと、第１画像ずれ量と、撮影装置により撮影された現在フレーム画像と、過去に撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、過去画像と現在フレーム画像との第２画像ずれ量を算出するステップと、を設ける。これにより、過去画像と現在フレーム画像との第２画像ずれ量を算出する際に、検出した撮影装置の姿勢変化に基づく第１画像ずれ量を利用することができるので、ノイズによって画像解析では位置ずれ検出精度が得られない場合でも、位置ずれ検出精度が低下するのを抑制することができる。また、第１画像ずれ量のみによって位置補正を行う場合と異なり、姿勢検出結果に多少の誤差が含まれる場合にも第２画像ずれ量の算出によって位置ずれの検出精度を確保することが可能となるので、ロバスト性を向上させることができる。さらに、撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出することにより、ローリング方向も含めた位置ずれを考慮する場合と比べて位置ずれ検出のための計算コストを低減することができる。これらの結果、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【0025】

この発明の第３の局面におけるヘッドマウントディスプレイシステムは、使用者の頭部に装着され、所定のフレーム間隔で画像を撮影する撮影装置および表示画面を備えたヘッドマウントディスプレイと、使用者の頭部に装着された撮影装置の姿勢を検出可能な姿勢検出装置と、撮影装置により撮影された画像を表示画面に表示させるための動画像処理装置とを備え、動画像処理装置は、姿勢検出装置の検出結果に基づき、撮影装置により撮影されたフレーム間の撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する第１画像ずれ量算出手段と、第１画像ずれ量と、撮影装置により撮影された現在フレーム画像と、過去に撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、過去画像と現在フレーム画像との第２画像ずれ量を算出する第２画像ずれ量算出手段と、第２画像ずれ量に基づいて１フレーム前に合成および出力された過去画像を補正し、補正された１フレーム前の過去画像を少なくとも含む１又は複数フレーム分の過去画像と現在フレーム画像とを合成する画像合成手段とを含む。

【0026】

この発明の第３の局面によるヘッドマウントディスプレイシステムでは、上記のように、姿勢検出装置の検出結果に基づき、撮影装置により撮影されたフレーム間の撮影装置のヨーイング方向およびピッチング方向における第１画像ずれ量を算出する第１画像ずれ量算出手段と、第１画像ずれ量と、撮影装置により撮影された現在フレーム画像と、過去に撮影装置により撮影され、１フレーム前に合成および出力された過去画像とに基づいて、過去画像と現在フレーム画像との第２画像ずれ量を算出する第２画像ずれ量算出手段と、を含む動画像処理装置を設ける。これにより、過去画像と現在フレーム画像との第２画像ずれ量を算出する際に、検出した撮影装置の姿勢変化に基づく第１画像ずれ量を利用することができるので、ノイズによって画像解析では位置ずれ検出精度が得られない場合でも、位置ずれ検出精度が低下するのを抑制することができる。また、姿勢検出結果に基づく第１画像ずれ量のみによって位置補正を行う場合と異なり、姿勢検出結果に多少の誤差が含まれる場合にも第２画像ずれ量の算出によって位置ずれの検出精度を確保することが可能となるので、ロバスト性を向上させることができる。さらに、第１画像ずれ量をヨーイング方向およびピッチング方向に限定して算出することにより、ローリング方向も含めた位置ずれを考慮する場合と比べて位置ずれ検出のための計算コストを低減することができる。これらの結果、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【発明の効果】

【0027】

本発明によれば、上記のように、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【図面の簡単な説明】

【0028】

【図1】本発明の第１実施形態によるヘッドマウントディスプレイシステムの全体構成を示した模式図である。

【図2】本発明の第１実施形態によるヘッドマウントディスプレイおよび動画像処理装置を示したブロック図である。

【図3】本発明の第１実施形態による動画像処理装置の制御的な構成を示したブロック図である。

【図4】本発明の第１実施形態による動画像処理装置の画像処理を説明するための概念図である。

【図5】（Ａ）は、撮影装置の姿勢を表すための座標系を示した模式図である。（Ｂ）は、画像における座標系を示した模式図である。

【図6】現在フレーム画像と過去画像との類似度に基づく重み設定の一例を示した図である。

【図7】推定画像ずれ量を示した模式図である。

【図8】本発明の第１実施形態による動画像処理装置の制御処理を説明するためのフロー図である。

【図9】本発明の第２実施形態による動画像処理装置の画像処理を説明するための概念図である。

【図10】第１画像ずれ量と画像解析ずれ量との重み設定の一例を示した図である。

【図11】本発明の第２実施形態による動画像処理装置の制御処理を説明するためのフロー図である。

【図12】第１画像ずれ量と画像解析ずれ量との重み設定の変形例を示した図である。

【図13】本発明の第３実施形態による動画像処理装置の画像処理を説明するための概念図である。

【図14】過去画像に設定される局所領域を説明するための図である。

【図15】本発明の第３実施形態による動画像処理装置の制御処理を説明するためのフロー図である。

【発明を実施するための形態】

【0029】

以下、本発明を具体化した実施形態を図面に基づいて説明する。

【0030】

（第１実施形態）
まず、図１〜図８を参照して、本発明の第１実施形態によるヘッドマウントディスプレイシステム（以下、「ＨＭＤシステム」という）１００の全体構成について説明する。第１実施形態では、ＨＭＤシステム１００が、自動車、航空機、船舶など、人を搭乗させて移動する移動体のうち、特に航空機（飛行機やヘリコプタ）などの上空（空中）を移動する移動体１に搭載される例について説明する。

【0031】

［ヘッドマウントディスプレイシステムの全体構成］
図１に示すように、第１実施形態によるＨＭＤシステム１００は、撮影装置１１および表示画面１２を備えたヘッドマウントディスプレイ（以下、「ＨＭＤ」という）１０と、撮影装置１１により撮影された画像を表示画面１２に表示させるための動画像処理装置２０と、撮影装置１１の姿勢を検出可能な姿勢検出装置３０とを備える。姿勢検出装置３０は、本発明の「姿勢検出手段」の一例である。

【0032】

ＨＭＤシステム１００は、撮影装置１１により撮影された動画像を、ＨＭＤ１０の表示画面１２に表示させることにより、使用者に、表示画面１２を透過して視認される光景と、表示画面１２に表示される動画像とを重ねて視認させることが可能である。これにより、ＨＭＤシステム１００は、夕方や夜間など肉眼では外界を把握し難い低照度の環境下において、肉眼よりも感度の高い撮影装置１１の動画像により視野を補完したり、表示画面１２を透過して視認される物体に重ねて各種情報表示を行ったりすることができる。第１実施形態では、使用者は、移動体１（航空機）の搭乗者（パイロット）などである。

【0033】

ＨＭＤ１０は、使用者の頭部２に装着される撮影装置１１および表示画面１２を備える頭部装着型の表示装置である。図１では、ヘルメット型形状のＨＭＤ１０の例を示している。ＨＭＤ１０は、ヘルメット１３と、バイザー状の表示画面１２と、撮影装置１１とを備え、表示画面１２および撮影装置１１がヘルメット１３に取り付けられている。また、ＨＭＤ１０は、表示画面１２に画像を投影するための表示素子１４および光学系１５を備えている。

【0034】

表示画面１２は、透光性を有し、使用者が表示画面１２を透過して視線方向前方の光景を視認することができる。図２に示すように、撮影装置１１は、図示しないレンズと撮像素子とを含み、左右の各画像用にヘルメット１３（図１参照）の左右両側に一対設けられている。それぞれの撮影装置１１は、使用者の視線方向前方（一対のカメラ間を結ぶ左右方向と直交する前方方向）に撮影光軸方向が一致するように固定されている。表示素子１４は、一対設けられており、左目用画像と右目用画像とを一対の光学系１５によりそれぞれコリメートさせて表示画面１２に投影するように構成されている。表示画面１２で反射された左目用画像と右目用画像とが、外部から表示画面１２を透過した外界光と重なって、使用者の左目および右目にそれぞれ視認される。なお、図１に示すヘルメット１３には、姿勢検出装置３０により検出するためのマーカ３２が取り付けられている。

【0035】

動画像処理装置２０は、ＨＭＤ１０の映像信号の処理装置として、ヘルメット１３内に組み込まれている。動画像処理装置２０は、撮影装置１１により撮影された動画像を受け取り、画像処理を行って表示素子１４に出力することにより、表示画面１２に動画像を表示させる機能を有する。図２に示すように、動画像処理装置２０は、動画像処理装置２０の制御部としてのＣＰＵ２１と、メモリ２２と、第１インターフェース部２３および第２インターフェース部２４と、駆動回路２５とを備えている。これらのＣＰＵ２１およびメモリ２２と、第１インターフェース部２３および第２インターフェース部２４と、駆動回路２５とは、左目用画像用と右目用画像用とでそれぞれ一対ずつ設けられている。

【0036】

ＣＰＵ２１は、メモリ２２に記憶されたプログラムを実行することにより、撮影装置１１および表示素子１４を制御するとともに、撮影された動画像に所定の画像処理を行うように構成されている。すなわち、ＣＰＵ２１は、第１インターフェース部２３を介して撮影装置１１により撮影された動画像を受け取り、映像信号を生成して駆動回路２５に出力する。また、ＣＰＵ２１は、第２インターフェース部２４を介して姿勢検出装置３０の検出信号（検出結果）を取得し、検出信号を用いて動画像の画像処理を行う。ＣＰＵ２１による画像処理の詳細は、後述する。

【0037】

第１インターフェース部２３は、撮影装置１１に接続され、撮影装置１１により撮影された動画像の映像信号をＣＰＵ２１に送る。第２インターフェース部２４は、姿勢検出装置３０と有線又は無線により接続され、姿勢検出装置３０の検出信号をＣＰＵ２１に送る。駆動回路２５は、ＣＰＵ２１から送られた映像信号に基づいて表示素子１４を駆動するための回路である。

【0038】

図１に示すように、姿勢検出装置３０は、使用者の頭部２に装着されたヘルメット１３の姿勢を検出することにより、ヘルメット１３に固定された撮影装置１１の姿勢を検出するように構成されている。第１実施形態では、姿勢検出装置３０は、ＨＭＤ１０（ヘルメット１３）の外部に設けられ、ＨＭＤ１０（ヘルメット１３）の外部から撮影装置１１の姿勢を光学的に検出するように構成されている。

【0039】

姿勢検出装置３０は、一対のカメラ３１（ステレオカメラ）と、使用者の頭部に取り付けられたマーカ３２と、検出制御部３３とを備える。一対のカメラ３１は、使用者が搭乗する移動体１に取り付け固定されている。一対のカメラ３１は、互いに異なる方向からマーカ３２を撮像するように互いに離間した所定位置に配置されている。

【0040】

マーカ３２は、たとえばＬＥＤなどの発光素子であり、撮影装置１１（ヘルメット１３）の３次元の姿勢を決定できるように、３つ以上設けられている。それぞれのマーカ３２は、カメラ３１によって撮影可能なヘルメット１３の表面上の位置に固定的に取り付けられている。

【0041】

検出制御部３３は、ＣＰＵ３４およびメモリ３５を含むコンピュータである。ＣＰＵ３４は、メモリ３５に記憶されたプログラムを実行することにより、姿勢検出処理を実行するように構成されている。メモリ３５には、一対のカメラ３１の位置関係（カメラ間の距離ｄ）の情報や、３つ以上のマーカ３２の相対的な位置関係の情報（相対位置座標）などが記憶されている。

【0042】

ＣＰＵ３４は、カメラ３１により撮像された画像から各マーカ３２を抽出し、それぞれのカメラ３１に対する各マーカ３２の方向角度α１およびα２を算出する。そして、ＣＰＵ３４は、一対のカメラ３１に対する各マーカ３２の方向角度α１およびα２と、一対のカメラ３１間の距離ｄとを用いて、三角測量の原理に基づいて各マーカ３２の空間位置座標を算出する。各マーカ３２はヘルメット１３に所定の相対位置座標で固定されているため、ＣＰＵ３４は、３点以上のマーカ３２の空間位置座標とマーカ間の相対位置座標とに基づいて、ヘルメット１３の現在の角度（姿勢）を算出する。ヘルメット１３に対する撮影装置１１の相対位置関係も既知であるので、ヘルメット１３の現在の角度（姿勢）から撮影装置１１の現在の角度（姿勢）が算出できる。

【0043】

このようにして、姿勢検出装置３０は、撮影装置１１の使用者の頭部２に装着された撮影装置１１の姿勢を検出する。姿勢検出装置３０は、（ＣＰＵ２１）は、検出した撮影装置１１の姿勢の検出信号を、動画像処理装置２０に第２インターフェース部２４を介して送るように構成されている。なお、姿勢検出装置３０は、たとえば特開２００８−５９２０４号公報に開示された構成などを採用することができるので、詳細な説明は省略する。

【0044】

［動画像処理装置の詳細構成］
次に、動画像処理装置２０の画像処理に関する詳細な構成について説明する。図３に示すように、動画像処理装置２０のＣＰＵ２１が実行する制御処理を機能ブロックとして説明すると、ＣＰＵ２１は、第１画像ずれ量算出部４１と、第２画像ずれ量算出部４２と、画像合成部４３とを有する。第１画像ずれ量算出部４１と、第２画像ずれ量算出部４２と、画像合成部４３とは、それぞれ、本発明の「第１画像ずれ量算出手段」と、「第２画像ずれ量算出手段」と、「画像合成手段」との一例である。

【0045】

図３および図４を参照して、第１画像ずれ量算出部４１は、姿勢検出装置３０の検出結果に基づき、撮影装置１１により撮影されたフレーム間の第１画像ずれ量Ｇ１を算出する。第１画像ずれ量Ｇ１は、撮影装置１１により撮影された最新の現在フレーム画像５１と、１フレーム前に表示画面１２に表示させた直前の過去画像５２（直前のフレームで出力した出力画像）との間の画像上の位置ずれ量である。

【0046】

具体的には、第１画像ずれ量算出部４１は、姿勢検出装置３０の検出結果から、撮影装置１１が１フレームを撮影する間の撮影装置１１の姿勢（頭部角度）の変化量を算出する。たとえば、撮影装置１１のフレームレートが６０ｆｐｓ（Ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）である場合、１／６０秒の間の姿勢（頭部角度）の角度変化量が算出される。

【0047】

次に、第１画像ずれ量算出部４１は、算出した角度変化量を、１フレーム間の画像ずれ量に変換する。第１実施形態では、第１画像ずれ量算出部４１は、撮影装置１１の平行移動による画像ずれを除外し、撮影装置１１の回転による画像ずれ量のみを算出する。これは、撮影装置１１の回転による画像ずれは、遠近の被写体の位置関係が変化せず画面（画角）が変化するだけであるのに対して、撮影装置１１の平行移動による画像ずれの場合、遠近の被写体の位置関係が変化する（撮影装置１１に近い被写体ほど位置ずれが大きくなる）ため、画像全体の位置ずれとして考慮しにくいためである。また、飛行機などの移動体１に搭乗する使用者（パイロット）の場合、使用者の頭部２の動きは回転が多く、遠方の風景を観察することが多いため、平行移動による位置ずれの影響は相対的に小さくなる。そのため、撮影装置１１の平行移動による画像ずれを無視した近似が十分成立し、かつ、計算コストを低減することが可能である。

【0048】

また、第１実施形態では、図５（Ａ）に示すように、第１画像ずれ量算出部４１は、撮影装置１１のヨーイング方向およびピッチング方向における第１画像ずれ量Ｇ１を算出するように構成されている。つまり、ローリング方向の回転位置ずれを除外する。ＨＭＤの場合、ローリング方向の回転は、使用者が首を左右に傾ける動きに相当する。移動体１への搭乗時における使用者の頭部２の動作はヨーイング方向（左右への首振り）およびピッチング方向（上下への首振り）が支配的であり、ローリング方向の動作は少ない。このため、ローリング方向の回転位置ずれを除外しても、画像の位置ずれにほとんど影響を与えずに済む。

【0049】

これらにより、１フレーム前の直前の過去画像５２の座標を（Ｘｐｒｅ，Ｙｐｒｅ）、現在フレーム画像５１の座標を（Ｘｐｏｓ，Ｙｐｏｓ）とすると、角度変化による第１画像ずれ量Ｇ１の変化後の座標が下式（１）で表される。

【数1】

【0050】

ここで、図５（Ｂ）に示すように、ＡＯＶｘ［°］およびＡＯＶｙ［°］は撮影装置１１の視野角であり、ＰＩＸｘ［pixel］およびＰＩＸｙ［pixel］は画素数である。Δθｘ［°］およびΔθｙ［°］が撮影装置１１の角度変化量である。また、姿勢検出装置３０（図１参照）のカメラ３１間の中央の所定位置を回転座標系の原点としている。右辺第２項が第１画像ずれ量Ｇ１に相当する。

【0051】

図３および図４に示すように、第２画像ずれ量算出部４２は、第１画像ずれ量Ｇ１と、撮影装置１１により撮影された現在フレーム画像５１と、過去に撮影装置１１により撮影された一又は複数のフレーム画像に基づく過去画像５２（直前のフレームで出力した出力画像）とに基づいて、過去画像５２と現在フレーム画像５１との第２画像ずれ量Ｇ２を算出する。

【0052】

過去画像５２と現在フレーム画像５１との位置ずれ量の算出方法は、画像解析を行う公知の方法を採用することができる。位置ずれ量の算出方法は、たとえばパターンマッチングであり、過去画像５２および現在フレーム画像５１の画像上で相互相関を用いてずれ量を算出する方法や、過去画像５２および現在フレーム画像５１を周波数領域に変換し、周波数空間での位相相関に基づいてずれ量を算出する位相限定相関法などを用いることができる。画像解析によるずれ量の算出は、画像の局所領域毎に上記処理を行うことによって、画像の局所領域毎にずれ量を算出することも可能である。

【0053】

第１実施形態では、第２画像ずれ量算出部４２は、過去画像５２の一部分に対して設定した位置ずれ探索領域６１において現在フレーム画像５１との第２画像ずれ量Ｇ２を算出するように構成されており、位置ずれ探索領域６１は、第１画像ずれ量Ｇ１に基づいて過去画像５２における位置および大きさが設定されている。

【0054】

具体的には、図４の過去画像５２に対してＡ方向の第１画像ずれ量Ｇ１が算出されたとする。このとき、たとえば過去画像５２の画像部分６２に着目すると、画像５２ａのように画像部分６２を第１画像ずれ量Ｇ１分だけＡ方向に移動させれば、現在フレーム画像５１に一致すると考えられる。ただし、実際には姿勢検出装置３０の検出結果に基づく第１画像ずれ量Ｇ１には所定の誤差範囲が存在する。そこで、位置ずれ探索領域６１は、第１画像ずれ量Ｇ１分の移動後の位置（画像５２ａの位置）を中心として、画像部分６２の周囲に第１画像ずれ量Ｇ１の誤差範囲に相当する範囲Ｅだけ拡張した領域に設定される。

【0055】

第２画像ずれ量算出部４２は、位置ずれ探索領域６１におけるパターンマッチングの結果として、過去画像５２と現在フレーム画像５１との第２画像ずれ量Ｇ２を算出する。

【0056】

次に、画像合成部４３（図３参照）は、第２画像ずれ量Ｇ２に基づいて過去画像５２を位置ずれ補正し、補正された過去画像５２と現在フレーム画像５１とを合成する。すなわち、画像合成部４３は、直前の過去画像５２を第２画像ずれ量Ｇ２分だけ位置ずれ補正した上で、現在フレーム画像５１に合成する。

【0057】

第１実施形態では、画像合成部４３は、リカーシブフィルタを用いて、補正された過去画像５２と現在フレーム画像５１とを合成するように構成されている。リカーシブフィルタは、現在フレーム画像５１に過去画像５２を重み付け加算することにより合成する処理である。現在フレーム画像５１をＰｎ、過去画像５２をＱｎ−１、重み係数をｋとするとき、生成される合成画像Ｑｎは、下記式（２）で表される。
Ｑｎ（ｉ，ｊ）＝ｋ×Ｐｎ（ｉ，ｊ）＋（１−ｋ）×Ｑｎ−１（ｉ，ｊ）…（２）
ここで、ｉ、ｊは画像中のＸ方向およびＹ方向の各画素である。

【0058】

合成処理の結果、合成画像５３が得られる。動画像処理装置２０は、画像合成部４３によって合成された合成画像５３を、撮影画像である現在フレーム画像５１に対応する現在フレームの出力画像としてＨＭＤ１０の表示素子１４に出力する。この結果、現在フレーム５１がノイズＮＣ（図４参照）を含んでいる場合に、ノイズＮＣが低減された合成画像５３が表示される。合成画像５３はメモリ２２に記憶され、次のフレームでは、合成画像５３が直前のフレームの過去画像５２として利用されることになる。つまり、図４に示した過去画像５２は、１フレーム前に合成および出力された合成画像５３である。

【0059】

第１実施形態において、好ましくは、画像合成部４３は、補正された過去画像５２と現在フレーム画像５１との類似度を画像中の局所領域毎に算出し、算出した類似度に応じた重み付けで、補正された過去画像５２と現在フレーム画像５１とを合成する。すなわち、画像合成部４３は、図６に示すように、位置ずれ補正後の過去画像５２と現在フレーム画像５１との類似度が高くなるほど、現在フレーム画像５１よりも過去画像５２の重みを大きくする。したがって、上式（２）で示したように、局所領域に属する画素群毎に、合成処理を行う際の重み係数ｋが変化する。類似度は、たとえば相関関数を算出することにより判定され、補正された過去画像５２と現在フレーム画像５１との相関が高い場合に類似度が大きくなる。

【0060】

これにより、類似度が高い場合には、ノイズＮＣを含んだ現在フレーム画像５１よりも、合成処理によってノイズＮＣが低減された過去画像５２の合成割合が大きくなる結果、ノイズＮＣが更に低減される。一方、画像合成部４３は、類似度が低い場合には、現在フレーム画像５１よりも過去画像５２の重みを小さくする。これにより、現在フレームから見て変化が存在する（類似度が低い）過去画像５２よりも現在フレーム画像５１の合成割合が大きくなる結果、現在の状況が正確に反映された合成画像５３が得られる。一例としては、点滅する光源が局所領域に映り込んでおり、過去画像５２では消灯状態で、現在フレーム画像５１では点灯状態にある場合などでは、点灯状態にある現在フレーム画像５１がより強く合成画像５３に反映される結果、点灯状態と消灯状態との中間のような合成画像５３になることが回避できる。

【0061】

また、第１実施形態では、第１画像ずれ量Ｇ１の算出に際して、第２画像ずれ量Ｇ２の履歴から算出される推定画像ずれ量Ｇ３（図７参照）を利用するのが好ましい。すなわち、第１画像ずれ量算出部４１は、姿勢検出装置３０の検出結果と、過去に算出された第２画像ずれ量Ｇ２の履歴から推定される推定画像ずれ量Ｇ３とに基づいて、第１画像ずれ量Ｇ１を算出する。

【0062】

ここで、第２画像ずれ量Ｇ２はフレーム間の位置ずれ量であるため、撮影装置１１の時系列的な姿勢変化や、移動体１の移動に伴う視界（光景）の時系列的な変化に対応した連続性を有する。このため、図７に示すように、ｎを現在のフレームとした場合にＧ２（ｎ−２）、Ｇ２（ｎ−１）、Ｇ２（ｎ）で示す過去の時点から現在までの第２画像ずれ量Ｇ２の変化に基づく近似計算などにより、次のフレームの推定画像ずれ量Ｇ３を算出することが可能である。

【0063】

第１画像ずれ量算出部４１は、姿勢検出装置３０の検出結果から算出されたずれ量と、推定画像ずれ量Ｇ３とを重み付け加算することにより、第１画像ずれ量Ｇ１を算出する。この結果、姿勢検出装置３０の検出結果にノイズなどが含まれる場合にも、時系列的に見て起こりえない外れ値が第１画像ずれ量Ｇ１として算出されることが抑制される。

【0064】

［動画像処理装置の制御処理］
次に、図８を参照して、動画像処理装置２０の制御処理について説明する。以下では、第１画像ずれ量算出部４１、第２画像ずれ量算出部４２および画像合成部４３による処理を区別せず、ＣＰＵ２１による処理として説明する。

【0065】

図８のステップＳ１において、動画像処理装置２０のＣＰＵ２１が、撮影装置１１から現在フレーム画像５１を取得する。ここで、現在フレームをｎ番目のフレームとする。直前のフレームはｎ−１番目のフレームとなる。

【0066】

ステップＳ１と並行して、ステップＳ２において、ＣＰＵ２１が、姿勢検出装置３０から現在の（現在フレーム（ｎ）の）撮影装置１１の角度情報を検出結果として取得する。ステップＳ３において、ＣＰＵ２１が、メモリ２２に記憶した１つ前のフレーム（ｎ−１）の角度情報と、現在フレーム（ｎ）の角度情報とに基づいて１フレーム間の角度変化量を算出する。ステップＳ４において、ＣＰＵ２１が、算出した角度変化量から、上記式（１）を用いて第１画像ずれ量Ｇ１を算出する。

【0067】

次に、ステップＳ５において、ＣＰＵ２１が、第１画像ずれ量Ｇ１に基づいて位置ずれ探索領域６１を設定し、画像解析（パターンマッチング）によって第２画像ずれ量Ｇ２を算出する。そして、ステップＳ６において、ＣＰＵ２１は、算出した第２画像ずれ量Ｇ２によって直前フレーム（ｎ−１）で表示した過去画像５２の位置ずれ補正を行う。

【0068】

次に、ステップＳ７において、ＣＰＵ２１が、補正された過去画像５２と現在フレーム画像５１とを、リカーシブフィルタによって合成する。ＣＰＵ２１は、得られた合成画像５３を、現在フレーム画像５１に対応する現在フレーム（ｎ）の出力画像としてＨＭＤ１０の表示素子１４に出力するとともに、メモリ２２に記憶する。

【0069】

以上の制御処理をフレーム毎に繰り返すことによって、動画像処理装置２０の画像処理が行われる。この結果、ＨＭＤシステム１００は、撮影装置１１により撮影した動画像を動画像処理装置２０により画像処理した上で、出力画像としてＨＭＤ１０（表示画面１２）に表示する動作を行う。

【0070】

［第１実施形態の効果］
第１実施形態では、以下のような効果を得ることができる。

【0071】

第１実施形態では、上記のように、姿勢検出装置３０の検出結果に基づき、撮影装置１１により撮影されたフレーム間の撮影装置１１のヨーイング方向およびピッチング方向における第１画像ずれ量Ｇ１を算出する第１画像ずれ量算出部４１と、第１画像ずれ量Ｇ１と、撮影装置１１により撮影された現在フレーム画像５１と、過去に撮影装置１１により撮影された一又は複数のフレーム画像に基づく過去画像５２（直前フレームの過去画像５２）とに基づいて、過去画像５２と現在フレーム画像５１との第２画像ずれ量Ｇ２を算出する第２画像ずれ量算出部４２とを設ける。これにより、過去画像５２と現在フレーム画像５１との第２画像ずれ量Ｇ２を算出する際に、姿勢検出装置３０の検出結果に基づく第１画像ずれ量Ｇ１を利用することができるので、ノイズＮＣによって画像解析では十分な位置ずれ検出精度が得られない場合でも、位置ずれ検出精度が低下するのを抑制することができる。また、姿勢検出装置３０の検出結果に基づく第１画像ずれ量Ｇ１のみによって位置補正を行う場合と異なり、姿勢検出装置３０の検出結果に多少の誤差が含まれる場合にも、第２画像ずれ量Ｇ２を算出することによって位置ずれの検出精度を確保することが可能となるので、ロバスト性を向上させることができる。さらに、撮影装置１１のヨーイング方向およびピッチング方向における第１画像ずれ量Ｇ１を算出することにより、ローリング方向も含めた位置ずれを考慮する場合と比べて計算コストを低減することができる。これらの結果、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【0072】

第１実施形態では、上記のように、第２画像ずれ量算出部４２を、過去画像５２の一部分に対して設定した位置ずれ探索領域６１において現在フレーム画像５１との第２画像ずれ量Ｇ２を算出するように構成する。そして、位置ずれ探索領域６１を、第１画像ずれ量Ｇ１に基づいて過去画像５２における位置および大きさに設定する。これにより、姿勢検出装置３０の検出結果に基づく第１画像ずれ量Ｇ１を利用して、第１画像ずれ量Ｇ１分だけ移動した移動後の位置を中心とする所定範囲に位置ずれ探索領域６１を絞ることができる。その結果、位置ずれ検出の精度を確保しながら位置ずれ探索領域６１を狭めた分だけ効果的に計算コストを低減することができる。

【0073】

第１実施形態では、上記のように、位置ずれ探索領域６１を、第１画像ずれ量Ｇ１分の移動後における過去画像５２の一部分（画像部分６２）の周囲に、第１画像ずれ量Ｇ１の誤差範囲に相当する範囲Ｅだけ拡張した領域に設定する。これにより、第１画像ずれ量Ｇ１の誤差範囲（姿勢検出装置３０の誤差範囲）を考慮した最小限の範囲に位置ずれ探索領域６１を限定することができるので、より効果的に計算コストを低減することができる。

【0074】

第１実施形態では、上記のように、第１画像ずれ量算出部４１を、姿勢検出装置３０の検出結果と、過去に算出された第２画像ずれ量Ｇ２の履歴から推定される推定画像ずれ量Ｇ３とに基づいて、第１画像ずれ量Ｇ１を算出するように構成する。これにより、たとえば姿勢検出装置３０の検出結果にノイズが乗った場合でも、推定画像ずれ量Ｇ３を考慮することにより第１画像ずれ量Ｇ１の検出精度を確保することができる。

【0075】

第１実施形態では、上記のように、画像合成部４３を、補正された過去画像５２と現在フレーム画像５１との類似度を画像中の局所領域毎に算出し、算出した類似度に応じた重み付けで、補正された過去画像５２と現在フレーム画像５１とを合成するように構成する。これにより、たとえば位置合わせをしても類似度が低くなるような場合に、現在フレーム画像５１に大きな重み付けをすることにより、より現在の状態（現在フレーム画像５１）を反映させた出力画像を生成することができる。

【0076】

第１実施形態では、上記のように、画像合成部４３を、補正された過去画像５２と現在フレーム画像５１との類似度が高くなるほど、現在フレーム画像５１よりも補正された過去画像５２の重みを大きくするように構成する。これにより、過去画像５２と現在フレーム画像５１とのフレーム間において外界の状況に変化がない場合（類似度が高い場合）に、ノイズを含んだ現在フレーム画像５１の重みを小さくして合成できるので、ノイズをより効果的に低減することができる。

【0077】

第１実施形態では、上記のように、画像合成部４３を、リカーシブフィルタを用いて、補正された過去画像５２と現在フレーム画像５１とを合成するように構成する。これにより、２枚の画像の重み付け加算を行うだけでよいので、効果的に計算コストを低減することができる。

【0078】

第１実施形態では、上記のように、合成により得られた合成画像５３を、現在フレーム画像５１に対応する現在フレームの出力画像として表示画面１２に出力し、かつ、次のフレームにおける過去画像５２としてメモリ２２に記憶するように、画像合成部４３を構成する。これにより、現在フレーム画像５１（フレームｎ）とのずれが最も小さい直前のフレーム（ｎ−１）で得られた合成画像５３を用いて合成を行うことができるので、計算コストを低減することができる。

【0079】

第１実施形態では、上記のように、第１画像ずれ量算出部４１を、撮影装置１１の平行移動による画像ずれを除外し、撮影装置１１の回転による第１画像ずれ量Ｇ１を算出するように構成する。ここで、飛行機などの移動体１に搭乗する使用者（パイロット）の場合、頭部２の動きは回転が多く、平行移動による位置ずれの影響は相対的に小さくなるため、平行移動による画像ずれを除外し、回転位置ずれに限定して第１画像ずれ量Ｇ１を算出することにより、位置ずれ検出精度への影響を効果的に抑制しつつ、計算コストを低減することができる。

【0080】

第１実施形態では、上記のように、第１画像ずれ量算出部４１を、撮影装置１１のローリング方向の回転位置ずれを除外し、撮影装置１１のヨーイング方向およびピッチング方向における第１画像ずれ量Ｇ１を算出するように構成する。ここで、ＨＭＤ１０では、ローリング方向の回転はヨーイング方向およびピッチング方向と比べて動作が少なく、位置ずれの影響が小さいため、ローリング方向を除外してヨーイング方向およびピッチング方向に限定して第１画像ずれ量Ｇ１を算出することにより、位置ずれ検出精度への影響を効果的に抑制しつつ、計算コストを低減することができる。

【0081】

（第２実施形態）
次に、図１、図３および図９〜図１１を参照して、本発明の第２実施形態によるＨＭＤシステムについて説明する。第２実施形態では、第１画像ずれ量Ｇ１に基づいて位置ずれ探索領域６１を設定し、位置ずれ探索領域６１の画像解析（パターンマッチング）によって第２画像ずれ量Ｇ２を算出する例を示した上記第１実施形態とは異なり、第１画像ずれ量Ｇ１と画像解析で得られた画像解析ずれ量との両方から第２画像ずれ量Ｇ２を算出する例について説明する。なお、第２実施形態において、ＨＭＤシステムおよび動画像処理装置の装置構成（ハードウェア構成）は上記第１実施形態と同様であり、動画像処理装置１２０のＣＰＵ１２１による制御処理が上記第１実施形態とは異なる。そのため、上記第１実施形態と同様の構成については同一の符号を付し、説明を省略する。

【0082】

第２実施形態によるＨＭＤシステム２００（図１参照）において、動画像処理装置１２０（図３参照）のＣＰＵ１２１（第２画像ずれ量算出部４２）は、図９に示すように、過去画像５２と現在フレーム画像５１とを解析して過去画像５２と現在フレーム画像５１との間の画像解析ずれ量Ｇ１１を算出し、第１画像ずれ量Ｇ１と画像解析ずれ量Ｇ１１とに基づいて、第２画像ずれ量Ｇ２を算出するように構成されている。

【0083】

画像解析ずれ量Ｇ１１の算出は、パターンマッチングなどの公知の方法を採用することができる。第２画像ずれ量算出部４２は、過去画像５２と現在フレーム画像５１とを画像全体にわたってパターンマッチングなどの画像解析を行うことにより、過去画像５２と現在フレーム画像５１との間の画像解析ずれ量Ｇ１１を算出する。

【0084】

具体的には、図９の画像１５２に示すように、過去画像５２に対してＡ方向の第１画像ずれ量Ｇ１が算出されたとする。一方、画像解析の結果、過去画像５２に対してＢ方向の画像解析ずれ量Ｇ１１が算出されたとする。第２画像ずれ量算出部４２は、得られた第１画像ずれ量Ｇ１と画像解析ずれ量Ｇ１１とを所定の重み係数ｒを用いた重み付け加算によって、第２画像ずれ量Ｇ２を算出する。

【0085】

すなわち、第２画像ずれ量Ｇ２は、下式（３）によって算出される。
Ｇ２＝ｒ×Ｇ１＋（１−ｒ）×Ｇ１１…（３）
この結果、第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１に対して、重み係数ｒに応じた割合の中間値として第２画像ずれ量Ｇ２が算出される。

【0086】

第２画像ずれ量Ｇ２の算出に際して、第２実施形態では、第２画像ずれ量算出部４２は、現在フレーム画像５１のノイズＮＣの量（ノイズ量）に応じて重み付け加算することにより、第２画像ずれ量Ｇ２を算出する。

【0087】

すなわち、現在フレーム画像５１に含まれるノイズ量は、外界の明るさ（照度）などの外的な要因により変化する。昼間など外界が明るい場合にはノイズ量が少なく、外界の明るさが低下するほどノイズ量が多くなる。画像解析による画像解析ずれ量Ｇ１１の誤差範囲は、ノイズ量が多いほど大きくなる。これに対して、姿勢検出装置３０の検出結果に基づいて算出された第１画像ずれ量Ｇ１の誤差範囲は、外界の明るさ等によらず略一定と考えることができる。ノイズ量が少ない場合、第１画像ずれ量Ｇ１よりも画像解析ずれ量Ｇ１１の方が高い精度を得ることができる。

【0088】

そこで、第２画像ずれ量算出部４２は、図１０に示すように、現在フレーム画像５１のノイズ量が多くなるほど第１画像ずれ量Ｇ１の重みが大きくなる（画像解析ずれ量Ｇ１１の重みが小さくなる）ように重み係数ｒを設定する。重み係数ｒは、図１０のように複数の代表値をメモリ２２に記憶しておき、ノイズ量に応じた中間値を代表値に基づき補完するなどによって算出できる。また、重み係数の値と、その重み係数を適用するノイズ量の範囲とを対応付けてメモリ２２に記憶しておき、ノイズ量に応じた段階的な値を読み出すようにしてもよい。また、現在フレーム画像５１のノイズ量は、画像解析によってノイズ量自体を評価してもよいし、外界の明るさによって評価してもよい。

【0089】

この結果、現在フレーム画像５１のノイズ量が少なく画像解析ずれ量Ｇ１１の精度が高い（誤差範囲が小さい）場合に画像解析ずれ量Ｇ１１の重みが大きくなり、ノイズ量が多く画像解析ずれ量Ｇ１１の精度が低い（誤差範囲が大きい）場合に第１画像ずれ量Ｇ１の重みが大きくなる。

【0090】

得られた第２画像ずれ量Ｇ２に基づいて過去画像５２が補正され、補正された過去画像５２と現在フレーム画像５１とが合成される。

【0091】

第２実施形態のその他の構成は、上記第１実施形態と同様である。

【0092】

［動画像処理装置の制御処理］
次に、図８および図１１を参照して、第２実施形態による動画像処理装置１２０の制御処理について説明する。

【0093】

図１１のステップＳ１〜Ｓ５は上記第１実施形態（図８参照）と同様である。

【0094】

ステップＳ１１において、ＣＰＵ１２１が、ステップＳ１で得られた現在フレーム（ｎ）の現在フレーム画像５１と、メモリ２２に記憶された直前フレーム（ｎ−１）の過去画像５２とを画像解析することにより、画像解析ずれ量Ｇ１１を算出する。

【0095】

また、ステップＳ１２において、ＣＰＵ１２１が、ステップＳ１で得られた現在フレーム画像５１に含まれるノイズ量に応じて、重み係数ｒを決定する。

【0096】

そして、ステップＳ１３において、ＣＰＵ１２１が、ステップＳ４で得られた第１画像ずれ量Ｇ１と、ステップＳ１１で得られた画像解析ずれ量Ｇ１１とを、ステップＳ１２で決定した重み係数ｒを用いて重み付け加算することにより、第２画像ずれ量Ｇ２を算出する。その後、ＣＰＵ１２１は、上記第１実施形態と同様に、ステップＳ６において第２画像ずれ量Ｇ２に基づいて直前フレーム（ｎ−１）の過去画像５２を補正し、ステップＳ７において、補正された過去画像５２と現在フレーム画像５１とを合成する。

【0097】

［第２実施形態の効果］
第２実施形態では、以下のような効果を得ることができる。

【0098】

第２実施形態では、上記第１実施形態と同様に、第２画像ずれ量Ｇ２を算出する際に第１画像ずれ量Ｇ１を利用することにより、ノイズ量の多少に対して精度を維持することができ、かつ、第１画像ずれ量Ｇ１をヨーイング方向およびピッチング方向に限定して算出することにより計算コストを低減することができる。その結果、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【0099】

また、第２実施形態では、上記のように、第２画像ずれ量算出部４２を、第１画像ずれ量Ｇ１と画像解析ずれ量Ｇ１１とに基づいて第２画像ずれ量Ｇ２を算出するように構成する。これにより、第１画像ずれ量Ｇ１と画像解析ずれ量Ｇ１１との両方を考慮して、第２画像ずれ量Ｇ２を算出することができる。このため、現在フレーム画像５１のノイズＮＣが多く画像解析ずれ量Ｇ１１の精度が得にくい場合や、逆に姿勢検出装置３０の検出結果にノイズが発生して第１画像ずれ量Ｇ１の精度が得にくい場合にも、第１画像ずれ量Ｇ１と画像解析ずれ量Ｇ１１とにより互いに検出精度を補い合わせることができるので、位置ずれ検出の精度およびロバスト性を効果的に向上させることができる。

【0100】

また、第２実施形態では、上記のように、第２画像ずれ量算出部４２を、第１画像ずれ量Ｇ１と画像解析ずれ量Ｇ１１とを、現在フレーム画像５１のノイズ量に応じて重み付け加算することにより、第２画像ずれ量Ｇ２を算出するように構成する。これにより、現在フレーム画像５１のノイズ量が多く画像解析ずれ量Ｇ１１の精度が得にくい場合に、第１画像ずれ量Ｇ１の重み付けを大きくすることにより位置ずれ検出の精度を確保することができる。また、現在フレーム画像５１のノイズ量が少なく画像解析ずれ量Ｇ１１の精度が得られる場合に、画像解析ずれ量Ｇ１１の重み付けを大きくすることにより位置ずれ検出精度を向上させることも望める。その結果、位置ずれ検出の精度およびロバスト性をより効果的に向上させることができる。

【0101】

また、第２実施形態では、上記のように、第２画像ずれ量算出部４２を、現在フレーム画像５１のノイズ量が多くなるほど第１画像ずれ量Ｇ１の重みを大きくするように構成する。これにより、現在フレーム画像５１のノイズ量が少ない場合には高精度を得ることが可能な画像解析ずれ量Ｇ１１の重みを大きくし、現在フレーム画像５１のノイズ量が多く画像解析ずれ量Ｇ１１の精度が得にくくなるほど第１画像ずれ量Ｇ１の重み付けを大きくすることができる。その結果、位置ずれ検出の精度およびロバスト性を確実に向上させることができる。

【0102】

第２実施形態のその他の効果は、上記第１実施形態と同様である。

【0103】

（第２実施形態の変形例）
上記第２実施形態では、現在フレーム画像５１のノイズ量に応じて重み係数を決定する例を示したが、第２実施形態の変形例では、第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１のそれぞれの変化量に基づいて重み係数ｒを決定する例について説明する。

【0104】

第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１はフレーム間の位置ずれ量であるため、時系列的な連続性を有する。このため、図１２に示すように、たとえば第１画像ずれ量Ｇ１の過去のある時点から現在までの履歴に対して、今回（現在フレーム）の第１画像ずれ量Ｇ１が大きく変化する場合は、姿勢検出装置３０の検出結果にノイズが含まれた結果としての外れ値である可能性が高くなり、第１画像ずれ量Ｇ１の信頼度が低いと評価することができる。

【0105】

そこで、第２実施形態の変形例では、第２画像ずれ量算出部４２は、第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１の履歴から今回（現在フレーム）の第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１のそれぞれの変化量Ｖを算出することにより、第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１のそれぞれの信頼度を算出する。第２画像ずれ量算出部４２は、変化量Ｖが大きく外れ値である可能性が高いほど、低い信頼度を算出する。そして、第２画像ずれ量算出部４２は、第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１の信頼度の割合に応じて重み係数ｒを決定する。

【0106】

この結果、第１画像ずれ量Ｇ１および画像解析ずれ量Ｇ１１のうち信頼度の高い方に相対的に大きな重み係数ｒを設定して重み付け加算することにより、算出される第２画像ずれ量Ｇ２へのノイズの影響を低減することができる。

【0107】

（第３実施形態）
次に、図１、図３、図１３〜図１５を参照して、本発明の第３実施形態によるＨＭＤシステムについて説明する。第３実施形態では、上記第１実施形態および上記第２実施形態とは異なり、第１画像ずれ量Ｇ１により過去画像を補正した上で、局所領域毎に第２画像ずれ量Ｇ２を算出する例について説明する。なお、第３実施形態において、ＨＭＤシステムおよび動画像処理装置の装置構成（ハードウェア構成）は上記第１実施形態と同様であり、動画像処理装置２２０のＣＰＵ２２１による制御処理が上記第１実施形態とは異なる。そのため、上記第１実施形態と同様の構成については同一の符号を付し、説明を省略する。

【0108】

第３実施形態によるＨＭＤシステム３００（図１参照）において、動画像処理装置２２０のＣＰＵ２２１（図３参照）は、図１３に示すように、第１画像ずれ量Ｇ１により過去画像５２を補正した上で、局所領域２６１毎に第２画像ずれ量Ｇ２を算出するように構成されている。

【0109】

すなわち、ＣＰＵ２２１において、第２画像ずれ量算出部４２は、第１画像ずれ量Ｇ１に基づいて直前フレーム（ｎ−１）の過去画像５２の位置補正を行い、位置補正された過去画像２５２と現在フレーム画像５１との第２画像ずれ量Ｇ２を画像中の局所領域２６１毎に算出する。そして、画像合成部４３は、位置補正された過去画像２５２の局所領域２６１毎の位置を第２画像ずれ量Ｇ２に基づいて補正し、補正された過去画像２５３と現在フレーム（ｎ）の現在フレーム画像５１とを合成する。

【0110】

具体的には、直前フレーム（ｎ−１）の過去画像５２に対してＡ方向の第１画像ずれ量Ｇ１が算出されたとする。第２画像ずれ量算出部４２は、まず、第１画像ずれ量Ｇ１分だけ過去画像５２の位置補正を行い、画像全体の位置を現在フレーム画像５１に一致させる。この結果、補正された過去画像２５２が得られる。

【0111】

ここで、過去画像５２および現在フレーム画像５１に移動物体２６２が映り込んでいる場合を考える。位置補正された過去画像２５２（フレーム（ｎ−１））における移動物体２６２の位置と、現在フレーム画像５１（フレーム（ｎ））における移動物体２６２の位置とは、１フレーム間の移動物体２６２自体の移動量分だけずれることになる。

【0112】

そこで、第３実施形態では、第２画像ずれ量算出部４２は、位置補正された過去画像２５２の局所領域２６１毎の位置ずれを局所的な第２画像ずれ量Ｇ２として算出する。

【0113】

局所領域２６１毎の位置ずれは、たとえば局所領域２６１に限定したパターンマッチングを過去画像５２の全体にわたって行うことにより検出される。すなわち、図１４に示すように、位置補正された過去画像２５２について設定した局所領域２６１について、比較対象となる現在フレーム画像５１の全体にわたってパターンマッチングを行う。その結果、相関の最も高い位置の局所領域２６１同士が対応付けられるとともに、局所領域２６１同士の位置ずれが第２画像ずれ量Ｇ２として算出される。位置補正された過去画像２５２の全領域にわたって、局所領域２６１の設定と現在フレーム画像５１とのパターンマッチングとを繰り返すことによって、局所領域２６１毎の第２画像ずれ量Ｇ２が算出される。

【0114】

この結果、図１３に示すように、位置補正された過去画像２５２において移動物体２６２が写る局所領域２６１ａと、現在フレーム画像５１において移動物体２６２が写る局所領域２６１ｂとの間で、第２画像ずれ量Ｇ２が算出されることになる。画像合成部４３は、位置補正された過去画像２５２の局所領域２６１毎の位置を第２画像ずれ量Ｇ２に基づいて補正して、局所領域２６１毎に補正された過去画像２５３を得る。そして、画像合成部４３は、補正された過去画像２５３と現在フレーム画像５１とを合成する。これにより、過去画像５２と現在フレーム画像５１との画像全体の位置補正後に残る移動物体２６２の残像を、現在フレーム画像５１に一致させて低減することが可能となる。

【0115】

過去画像５２において移動物体２６２が映り込んでいない局所領域２６１は、通常、現在フレーム画像５１における同一位置の局所領域２６１同士で相関が最も高くなる。第１画像ずれ量Ｇ１に誤差が含まれていれば、現在フレーム画像５１における同一位置から誤差範囲分ずれた範囲内で相関が最も高くなるため、この位置ずれが局所領域２６１毎の第２画像ずれ量Ｇ２となる。

【0116】

第３実施形態のその他の構成は、上記第１実施形態と同様である。

【0117】

［動画像処理装置の制御処理］
次に、図８および図１５を参照して、第３実施形態による動画像処理装置２２０の制御処理について説明する。

【0118】

図１５のステップＳ１〜Ｓ５は上記第１実施形態（図８参照）と同様である。

【0119】

ステップＳ２１において、ＣＰＵ２２１が、ステップＳ４で得られた第１画像ずれ量Ｇ１に基づいて直前フレーム（ｎ−１）の過去画像５２の画像全体の位置ずれ補正を行う。

【0120】

ステップＳ２２において、ＣＰＵ２２１が、ステップＳ２１で位置補正された過去画像２５２の局所領域２６１と、ステップＳ１で得られた現在フレーム画像５１との局所領域２６１毎の第２画像ずれ量Ｇ２を算出する。

【0121】

ＣＰＵ２２１は、ステップＳ２３において、得られた第２画像ずれ量Ｇ２に基づき、それぞれの局所領域２６１の位置ずれ補正を行い、ステップＳ７において、位置補正された直前フレーム（ｎ−１）の過去画像２５３と現在フレーム（ｎ）の現在フレーム画像５１とを合成する。

【0122】

［第３実施形態の効果］
第３実施形態では、以下のような効果を得ることができる。

【0123】

第３実施形態では、上記第１実施形態と同様に、第２画像ずれ量Ｇ２を算出する際に第１画像ずれ量Ｇ１を利用して予め位置ずれ補正を行うことにより、ノイズ量の多少に対して精度を維持することができ、かつ、第１画像ずれ量Ｇ１をヨーイング方向およびピッチング方向に限定して算出することにより計算コストを低減することができる。その結果、位置ずれ検出の精度およびロバスト性を向上させ、かつ、画像処理の計算コストの増大を抑制することができる。

【0124】

また、第３実施形態では、上記のように、第２画像ずれ量算出部４２を、第１画像ずれ量Ｇ１に基づいて過去画像５２の位置補正を行い、位置補正された過去画像２５２と現在フレーム画像５１との第２画像ずれ量Ｇ２を画像中の局所領域２６１毎に算出するように構成する。そして、画像合成部４３を、位置補正された過去画像２５２の局所領域２６１毎の位置を第２画像ずれ量Ｇ２に基づいて補正し、補正された過去画像２５３と現在フレーム画像５１とを合成するように構成する。これにより、局所領域２６１毎の位置を第２画像ずれ量Ｇ２に基づいて局所的に補正することができるので、画像全体の中で移動物体２６２が局所的に映り込んだ場合などでも、移動物体２６２が写る画像部分に局所的に残像が残るのを抑制しつつ、画像全体のノイズを低減することができる。

【0125】

第３実施形態のその他の効果は、上記第１実施形態と同様である。

【0126】

なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

【0127】

たとえば、上記第１〜第３実施形態では、航空機（飛行機やヘリコプタ）などの移動体に搭載されるＨＭＤシステムに、本発明を適用した例を示したが、本発明はこれに限られない。本発明では、たとえば、自動車などの陸上移動体や、船舶など水上移動体に搭載されるＨＭＤシステムに本発明を適用してもよい。また、たとえばゲーム用途に用いられるＨＭＤシステムや、日常生活においてユーザに装着されて使用されるＨＭＤシステムに本発明を適用してもよい。

【0128】

また、上記第１〜第３実施形態では、ＨＭＤ１０の外部から撮影装置１１の姿勢を光学的に検出する姿勢検出装置３０の例を示したが、本発明はこれに限られない。本発明では、姿勢検出装置は、たとえばＨＭＤ１０に内蔵される加速度センサおよびジャイロセンサ等のセンサであってもよいし、センサ方式と光学方式との組み合わせであってもよい。姿勢検出装置による撮影装置の姿勢の検出方式はどのような方式であってもよい。

【0129】

また、上記第１〜第３実施形態では、動画像処理装置２０（１２０、２２０）をＨＭＤ１０に内蔵した例を示したが、本発明はこれに限られない。本発明では、動画像処理装置がＨＭＤに外部接続される別個の処理ユニットであってもよい。

【0130】

また、上記第１〜第３実施形態では、左目用画像と右目用画像とを表示するために、ＨＭＤ１０の撮影装置１１および表示素子１４や、動画像処理装置２０のＣＰＵ２１などを一対ずつ設けた例を示したが、本発明はこれに限られない。本発明では、片目のみに画像を投影するＨＭＤであってもよい。その場合、上記の撮影装置、表示素子、動画像処理装置のＣＰＵ等は、１つずつ設ければよい。また、動画像処理装置のＣＰＵについては、１つのＣＰＵによって左目用画像および右目用画像との両方を生成するようにしてもよい。

【0131】

また、上記第１〜第３実施形態では、現在フレーム（ｎ）の現在フレーム画像５１と直前フレーム（ｎ−１）の過去画像５２とをリカーシブフィルタにより合成する例を示したが、本発明はこれに限られない。本発明では、リカーシブフィルタ以外の手法を用いて現在フレーム画像と過去画像とを合成してもよい。たとえば、複数フレーム分過去画像と現在フレーム画像との移動平均を算出する移動平均フィルタにより合成を行ってもよい。ただし、移動平均フィルタでは、リカーシブフィルタと比較して計算コストが増大する。

【符号の説明】

【0132】

２ 頭部
１０ ＨＭＤ（ヘッドマウントディスプレイ）
１１ 撮影装置
１２ 表示画面
２０、１２０、２２０ 動画像処理装置
３０ 姿勢検出装置（姿勢検出手段）
４１ 第１画像ずれ量算出部（第１画像ずれ量算出手段）
４２ 第２画像ずれ量算出部（第２画像ずれ量算出手段）
４３ 画像合成部（画像合成手段）
５１ 現在フレーム画像
５２、２５２、２５３ 過去画像
６１ 位置ずれ探索領域
１００、２００、３００ ＨＭＤシステム（ヘッドマウントディスプレイシステム）
Ｇ１ 第１画像ずれ量
Ｇ２ 第２画像ずれ量
Ｇ１１ 画像解析ずれ量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】