特許 6971590 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971590

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20211111BHJP

   G02B 27/02 20060101ALI20211111BHJP

   G09G 5/36 20060101ALI20211111BHJP

   G09G 5/38 20060101ALI20211111BHJP

   G09G 5/377 20060101ALI20211111BHJP

   G06T 5/00 20060101ALI20211111BHJP

   H04N 5/64 20060101ALI20211111BHJP

【ＦＩ】

   G09G5/00 510D

   G02B27/02 Z

   G09G5/00 550C

   G09G5/36 520D

   G09G5/38 A

   G09G5/00 550B

   G09G5/36 520L

   G06T5/00 725

   H04N5/64 511A

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2017-37737(P2017-37737)

(22)【出願日】2017年2月28日

(65)【公開番号】特開2018-141943(P2018-141943A)

(43)【公開日】2018年9月13日

【審査請求日】2020年2月21日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】内舘 光

【審査官】 越川 康弘

(56)【参考文献】

【文献】 特開２００８−２１６３４３（ＪＰ，Ａ）

【文献】 特開２０１０−０９２３６０（ＪＰ，Ａ）

【文献】 特開２０１５−２３１１０６（ＪＰ，Ａ）

【文献】 特開２０１６−０８２４６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０２Ｂ ２７／０２

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３８

Ｇ０９Ｇ ５／３７７

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

撮像光学系を有し現実空間の画像を撮像する撮像部と、画像表示装置の動きを検知する検知部と、表示光学系を有し表示画像を表示する表示部と、を備える画像表示装置に接続された画像処理装置であって、
前記撮像光学系の光学特性に基づいて、前記撮像部により撮像された撮像画像を補正する第１の補正手段と、
前記現実空間の情報に基づいて仮想画像の描画位置を決定し、該描画位置に基づいて当該仮想画像を生成する生成手段と、
前記仮想画像の描画位置を決定し、該描画位置に基づいて当該仮想画像を生成するのに要した処理時間を計測する計測手段と、
前記計測された処理時間と前記画像表示装置の動きとに基づいて、前記生成された仮想画像に対して、変形または移動の少なくとも一方の処理を行うことにより前記仮想画像を修正する修正手段と、
前記修正された仮想画像と前記補正された撮像画像とを合成して表示画像を生成する合成手段と、
前記表示光学系の光学特性に基づいて、前記生成された表示画像を補正する第２の補正手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記検知部は、前記画像表示装置の動きとしてロール、ピッチ、ヨーそれぞれにおける位置姿勢の変化を検知することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像表示装置は、ユーザの頭部に装着されて使用されることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

撮像光学系を有し現実空間の画像を撮像する撮像部と、画像表示装置の動きを検知する検知部と、表示光学系を有し表示画像を表示する表示部と、を備える画像表示装置に接続された画像処理装置における画像処理方法であって、
前記撮像光学系の光学特性に基づいて、前記撮像部により撮像された撮像画像を補正するステップと、
前記現実空間の情報に基づいて仮想画像の描画位置を決定し、該描画位置に基づいて当該仮想画像を生成するステップと、
前記仮想画像の描画位置を決定し、該描画位置に基づいて当該仮想画像を生成するのに要した処理時間を計測するステップと、
前記計測された処理時間と前記画像表示装置の動きとに基づいて、前記生成された仮想画像に対して、変形または移動の少なくとも一方の処理を行うことにより前記仮想画像を修正するステップと、
前記修正された仮想画像と前記補正された撮像画像とを合成して表示画像を生成するステップと、
前記表示光学系の光学特性に基づいて、前記生成された表示画像を補正するステップと、
を備えることを特徴とする画像処理方法。

【請求項5】

コンピュータを、請求項１から３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像部により撮像された画像を補正する技術に関する。

【背景技術】

【0002】

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものが知られている。この技術では、ＨＭＤ使用者（ユーザ）の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をユーザが観察できるようにする。

【0003】

この技術を用いるシステムにおいては、ビデオカメラで撮影した撮像映像に対し描画するＣＧをレンダリングし、生成されたＣＧを撮像映像に重畳した表示映像を、画像表示装置としてのＨＭＤの内部パネルに表示するのが一般的である。その際、上記一連の処理を行う演算時間が必ず発生するため撮影した映像の時間と表示される映像の時間との間に遅延（レイテンシ）が生じることとなる。このため、ユーザが頭を動かした場合、頭を動かした瞬間にＨＭＤを通して観察する映像の視野に変化はないが、映像の遅延だけ時間が経過したのち視野の方向が頭の向きに応じて動き出すことになる。このような映像の遅延は、ユーザにとっては違和感となる。

【0004】

この問題に対して、遅延時間とＨＭＤの動作予測値を用いて、ユーザが観察すべき現実世界と表示映像とのずれを補正する技術が提案されている。特許文献１には、フレームメモリに記憶された広画角の撮像映像から、回転角センサで検出されたユーザの頭部情報に基づいて、ユーザが見るべき表示画像をフレームメモリから切り出し、ディスプレイに表示するＨＭＤが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平８−１９１４１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の技術は、画像表示装置が撮像光学系および表示光学系を有するものではない。そのため、画像表示装置が撮像光学系および表示光学系を有する場合に、それぞれの光学系の画像補正の影響は考慮されていなかった。そこで、本発明は、ユーザが観察すべき現実世界とのずれが軽減されるように表示映像を補正する際、撮像光学系および表示光学系を有する画像表示装置を用いた場合にも、それぞれの光学系の画像補正が適切に行われるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明によれば、撮像光学系を有し現実空間の画像を撮像する撮像部と、画像表示装置の動きを検知する検知部と、表示光学系を有し表示画像を表示する表示部と、を備える画像表示装置に接続された画像処理装置に、前記撮像光学系の光学特性に基づいて、前記撮像部により撮像された撮像画像を補正する第１の補正手段と、前記現実空間の情報に基づいて仮想画像の描画位置を決定し、該描画位置に基づいて当該仮想画像を生成する生成手段と、前記仮想画像の描画位置を決定し、該描画位置に基づいて当該仮想画像を生成するのに要した処理時間を計測する計測手段と、前記計測された処理時間と前記画像表示装置の動きとに基づいて、前記生成された仮想画像に対して、変形または移動の少なくとも一方の処理を行うことにより前記仮想画像を修正する修正手段と、前記修正された仮想画像と前記補正された撮像画像とを合成して表示画像を生成する合成手段と、前記表示光学系の光学特性に基づいて、前記生成された表示画像を補正する第２の補正手段と、を備えることを特徴とする。

【発明の効果】

【0008】

以上の構成によれば、本発明では、ユーザが観察すべき現実世界とのずれが軽減されるように表示映像を補正する際、撮像光学系および表示光学系を有する画像表示装置を用いた場合にも、それぞれの光学系の画像補正が適切に行われるようになる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る画像処理システムの構成を示すブロック図。

【図2】第１の実施形態においてユーザの頭部動作を説明する図。

【図3】第１の実施形態に係る画像変換部の構成を示すブロック図。

【図4】第１の実施形態に係る変形移動計算部の処理のフローチャート。

【図5】第１の実施形態に係る画像変換部による効果を説明する図。

【図6】第２の実施形態に係る画像処理システムの構成を示すブロック図。

【図7】第２の実施形態の変形例に係る画像処理システムの構成を示すブロック図。

【図8】第３の実施形態に係る画像処理システムの構成を示すブロック図。

【図9】第３の実施形態に係る画像変換部による効果を説明する図。

【図10】第４の実施形態に係る画像処理システムの構成を示すブロック図。

【発明を実施するための形態】

【0010】

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、第１の実施形態における画像処理システムの機能構成を示すブロック図である。同図において、本実施形態の画像処理システムは、頭部装着型の画像表示装置としてのヘッドマウントディスプレイ（以下、ＨＭＤ）１と画像処理装置１４とが接続された構成である。ＨＭＤ１および画像処理装置１４はそれぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。

【0011】

ＨＭＤ１は、撮像部１１、表示部１２、および動作検知部１３を備えている。撮像部１１は、撮像光学系１１１と撮像センサ１１２を含み、現実世界を撮像した撮像映像を生成する。撮像部１１に搭載される撮像光学系１１１の内部は、撮像レンズなどである。撮像センサ１１２は、撮像光学系１１１より形成された被写体像を光電変換するＣＭＯＳセンサなどの撮像素子である。このように、撮像部１１は現実世界の光を撮像レンズを介して撮像素子へと結像させることで光を電気信号へと変換し、撮像映像として取得する。

【0012】

表示部１２は、表示光学系１２１と表示パネル１２２とを含み、ユーザは表示パネル１２２に表示される表示映像を、表示光学系１２１を通して観察する。表示部１２に搭載される表示光学系１２１はレンズや複数の反射面を有するプリズム型の光学素子等によって構成されており、表示パネル１２２の映像を光学的に拡大させることでＨＭＤとして最適な表示映像をユーザに提示する。

【0013】

動作検知部１３は、ＨＭＤ１を装着したユーザの頭部の位置姿勢（位置や方向や姿勢）を検出することでＨＭＤ１の動きを検知する。動作検知部１３は、加速度センサ、角速度センサなどを用いて構成される。

【0014】

図２に、ユーザの頭部動作を概念的に説明する概念図を示す。本実施形態では、ＨＭＤ１を装着したユーザの視線方向をＲｏｌｌ軸（Ｒ）、視線方向に対して水平方向をＰｉｔｃｈ軸（Ｐ）、視線方向に対して垂直方向をＹａｗ軸（Ｙ）と定義する。そして、それぞれの軸に対して回転した場合をそれぞれＲｏｌｌ（ロール）、Ｐｉｔｃｈ（ピッチ）、Ｙａｗ（ヨー）と定義する。すなわち、Ｒｏｌｌはユーザが頭部を傾ける場合、Ｐｉｔｃｈはユーザがうなずく場合、Ｙａｗはユーザが首を横に振る場合となる。動作検知部１３は、これらＲｏｌｌ軸、Ｐｉｔｃｈ軸、Ｙａｗ軸方向の加速度や回転の角速度などのデータを出力する。

【0015】

画像処理装置１４は、撮像光学系の画像補正を行う撮像光学系補正部１４１と、表示光学系の画像補正を行う表示光学系補正部１４２を備える。また、撮像光学補正された映像に対し動作検知部１３で検知したＨＭＤ１の動きに応じて生じる映像遅延による影響がないように画像を変換する画像変換部１４３を備える。画像変換部１４３は、前述のように画像を変換することにより、表示部１２に表示すべき画像を生成する生成部として機能する。なお、本実施形態では、撮像部１１により撮像された画像をそのまま表示画像として表示する形態であるが、例えば撮像された画像を拡大した画像を表示画像としてユーザに観察させるようにしてもよい。

【0016】

なお、画像処理装置１４の各機能の一部または全部をＨＭＤ１が備えるようにしてもよい。

【0017】

一般的に光学系を介して得られる画像は、光学系の光軸中心付近と周辺付近で結像倍率が異なったり、光の波長によって結像倍率が異なるため歪曲収差や倍率色収差、周辺光量低下といった画質への影響を受ける。撮像光学系補正部１４１や表示光学系補正部１４２は、光学系を介して発生する画質への影響を補正するための画像補正を行う機能を有している。画像補正の内容としては、シェーディング補正や歪曲収差補正などがある。撮像光学系補正部１４１においては、撮像光学系１１１で発生した光学特性を補正し、表示光学系補正部１４２においては、表示光学系１２１で発生する光学特性を予め補正する。

【0018】

なお、図１においては、撮像部１１および表示部１２はそれぞれ１つである前提として説明したが、本実施形態はこれに限らない。撮像部１１、表示部１２はともに複数から構成されてもよいし、どちらかが複数という構成でもよい。例えば、ＨＭＤのような頭部装着型の画像表示装置は、撮像部１１と表示部１２がそれぞれ両眼に合わせて２つより構成されていることが一般的である。

【0019】

次に、画像変換部１４３の詳細について説明する。図３に、本実施形態に係る画像変換部１４３の機能構成を示す。遅延量保存部３１は、撮影した映像の時間と表示される映像の時間との間に発生する遅延量を保存する。この遅延量は固定値としてもよいし、システム的に変動する遅延量を外部より取得、保存するようにしてもよい。

【0020】

変形移動計算部３２は、動作検知部１３より入力される頭部動作情報と遅延量保存部３１に保存されている遅延量とに基づいて、撮像映像の移動量と変形量を計算する機能部である。変形移動計算部３２の動作について、図４のフローチャートを用いて以下で詳細に説明する。

【0021】

はじめに、変形移動計算部３２は、動作検知部１３より頭部動作情報Ｑを取得する（ＳＴ４０１）。前述のとおり、この頭部動作情報Ｑは加速度センサ、角速度センサなどのセンサを用いて計測されるセンサデータであり、頭部の動き（首ふりや移動）を数値化したデータとなっている。次に、変形移動計算部３２は、遅延量保存部３１より遅延量Ｄｔを取得する（ＳＴ４０２）。

【0022】

この後、変形移動計算部３２は頭部動作情報Ｑから頭部の縦ふりもしくは横ふりを判定する処理を行う（ＳＴ４０３）。頭部の縦ふりもしくは横ふりを判定する方法としては、例えば、Ｙａｗの角速度とＰｉｔｃｈの角速度から判定する方法がある。本実施形態において、変形移動計算部３２は、Ｙａｗの角速度Ｙ_ωが一定値以上の場合は頭部の横ふり、Ｐｉｔｃｈの角速度Ｐ_ωが一定値以上の場合は頭部の縦ふりと判定する。頭部の縦ふりもしくは横ふりと判定された場合は、変形移動計算部３２は、画像の水平シフト量（Ｈｄ）と垂直シフト量（Ｖｄ）を算出する（ＳＴ４０４）。また、頭部の縦ふり、横ふりではないと判定された場合、変形移動計算部３２は、画像の水平シフト量（Ｈｄ）と垂直シフト量（Ｖｄ）をそれぞれ０に設定する（ＳＴ４０５）。

【0023】

次に、変形移動計算部３２は、頭部動作情報Ｑから頭部の傾きを判定する処理を行う（ＳＴ４０６）。頭部の傾きを判定する方法としては、例えば、Ｒｏｌｌの角速度から判定する方法がある。本実施形態において、変形移動計算部３２は、Ｒｏｌｌの角速度Ｒ_ωが一定値以上の場合は頭部を傾けたと判定する。頭部の傾きと判定された場合は、変形移動計算部３２は、画像の回転角（Θｄ）を算出する（ＳＴ４０７）。また、頭部の傾きではないと判定された場合、変形移動計算部３２は、画像の回転角（Θｄ）を０に設定する（ＳＴ４０８）。

【0024】

次に、変形移動計算部３２は、頭部動作情報Ｑから頭部の前後移動を判定する処理を行う（ＳＴ４０９）。頭部の前後移動を判定する方法としては、例えば、Ｒｏｌｌ軸方向の加速度情報から判定する方法がある。本実施形態において、変形移動計算部３２は、Ｒｏｌｌ軸方向の加速度Ｒ_ａが一定値以上の場合は頭部が前後移動をしたと判定する。頭部の前後移動と判定された場合は、変形移動計算部３２は、画像の拡大率（Ｅｄ）を算出する（ＳＴ４１０）。また、頭部の前後移動ではないと判定された場合、変形移動計算部３２は、画像の拡大率（Ｅｄ）を０に設定する（ＳＴ４１１）。

【0025】

最後に、変形移動計算部３２は、計算した画像の水平シフト量Ｈｄ、垂直シフト量Ｖｄ、回転角Θｄ、拡大率Ｅｄを変形移動実行部３３へ送信する（ＳＴ４１２）。このようにして、変形移動計算部３２は、動作検知部１３より入力される頭部動作情報と、遅延量保存部３１に保存されている遅延量とに基づいて、撮像映像の移動量と変形量を計算する。

【0026】

なお、移動量と変形量の計算の順番については、特に限定されない。先に頭部の前後移動による倍率を計算した後、頭部の縦ふり／横ふりによるシフト量を計算するといった構成としてもよい。また、移動量や変形量の計算手段についても、頭部動作情報Ｑと、遅延量Ｄｔより予測可能な範囲でユーザに違和感のないように画像変換するようにしてもよい。

【0027】

変形移動実行部３３は、変形移動計算部３２より入力された画像変換パラメータを用いて撮像光学系補正部１４１から入力される撮像映像の画像変換を行う機能部である。画像変換は、移動、変形の少なくとも一方であり、例えば水平垂直シフトや、画像の回転・拡大縮小などである。画像変換の方法としては、フレームバッファ／ラインバッファを用いて画像変換アルゴリズム（バイリニアやバイキュービックなど）を用いて計算する方法や、映像の同期信号をずらすことで疑似的に映像をずらす方法などがある。このような画像変換により、レイテンシにより生じる体験映像と現実世界との差分による違和感を緩和することが可能となる。

【0028】

図５は、本実施形態に係る画像変換部１４３による効果を説明するための図である。図５は、ＨＭＤ１を装着したユーザが、（ａ）頭部動作なしの場合、（ｂ）頭部をＹａｗ動作した場合、（ｃ）頭部をＰｉｔｃｈ動作した場合、（ｄ）頭部をＲｏｌｌ動作した場合、（ｅ）頭部を前後移動した場合を示している。また、図５（ａ）〜（ｅ）において、上から順に、表示部１２を介してユーザが見る映像、ＨＭＤ使用中のユーザを頭上から見た様子、ＨＭＤ使用中のユーザを横から見た様子、ＨＭＤ使用中のユーザを正面から見た様子を示している。

【0029】

図５（ａ）に示すように、頭部動作なしの場合、撮像光学系１１１により生じる撮像画角Ａ_θの範囲内の映像が、解像度ＨｘＶの範囲内に表示されていることがわかる。また、図５（ｂ）に示すように、頭部をＹａｗ動作した場合、変形移動計算部３２は前述のＳＴ４０４の動作にある通り頭部動作情報Ｑに含まれるＹａｗの角速度Ｙ_ωと遅延量ＤｔからＹａｗ角Ｙ_θを求める。そして、Ｙａｗ角Ｙ_θと基準となる距離Ｌとの関係から、画像の水平シフト量Ｈｄが求められる。変形移動実行部３３は、この水平シフト量Ｈｄに基づき画像を水平方向にずらすことで、ユーザの視線方向に合った画像をユーザに提示できるようにする。また、図５（ｃ）に示すように、頭部をＰｉｔｃｈ動作した場合も、Ｙａｗ動作と同様に、変形移動計算部３２は画像の垂直シフト量Ｖｄを計算し、変形移動実行部３３が画像を垂直方向にずらす。これにより、ユーザの視線方向に合った画像をユーザに提示できるようになる。

【0030】

図５（ｄ）に示すように、頭部をＲｏｌｌ動作した場合、変形移動計算部３２は前述のＳＴ４０７の動作にある通り頭部動作情報Ｑに含まれるＲｏｌｌの角速度Ｒ_ωと遅延量ＤｔからＲｏｌｌ角Ｒ_θを求める。そして、Ｒｏｌｌ角Ｒ_θから画像の回転角Θｄが求められる。変形移動実行部３３は、この回転角Θｄに基づき画像を回転させることで、ユーザの視線に合った画像をユーザに提示するようにする。

【0031】

図５（ｅ）に示すように、頭部を前後移動した場合、変形移動計算部３２は前述のＳＴ４１０の動作にある通り頭部動作情報Ｑに含まれるＲｏｌｌ軸方向の加速度Ｒ_ａと遅延量ＤｔからＲｏｌｌ軸方向の移動量Ｒ_Ｍを求める。Ｒｏｌｌ軸方向の移動量Ｒ_Ｍと撮像画角Ａ_θの関係から画像の拡大率Ｅｄが求められる。変形移動実行部３３は、この拡大率Ｅｄに基づき画像を拡大、縮小させることで、ユーザの前後動作に合った画像をユーザに提示できるようにする。以上のように、画像変換部１４３が、動作検知部１３の動作に基づいて、表示映像に対して補正処理を実行することによって映像遅延による違和感を低減させることができる。

【0032】

次に、本実施形態の画像処理システムの特徴である、撮像光学系補正部１４１より後でかつ表示光学系補正部１４２の前に画像変換部１４３の処理を実行することの効果について説明する。例えば、撮像光学系補正部１４１より前に画像変換部１４３が実行されたとする。画像変換部１４３より出力される画像は動作検知部１３の情報に応じて画像変換がされている。すなわち、撮像光学系１１１により生じる撮像光学特性も画像変換により移動、変形された状態となる。通常、撮像光学系補正部１４１で実行される補正処理は撮像光学特性の情報を予め保存しておき、予め保存されている情報に基づき補正処理を行う。つまり、画像変換部１４３より出力される画像に対して撮像光学系補正部１４１を実行すると、意図した撮像光学補正がなされず場合によっては画質を悪化させてしまう。

【0033】

また、表示光学系補正部１４２より後で画像変換部１４３が実行された場合も同様である。表示光学系補正部１４２は、表示光学系１２１を介して観察した場合に発生する表示光学特性を予め補正することを行う。表示光学系補正を行った後の画像に対して、画像変換部１４３を実行すると、予め画像補正してある表示光学特性についても移動、変形された状態となるため、意図した通り表示光学補正がなされず画質を悪化させるおそれがある。

【0034】

これに対し、本実施形態では、撮像光学系と表示光学系とを有する画像表示装置（ＨＭＤ）を含む画像処理システムにおいて、撮像光学系補正部１４１より後でかつ表示光学系補正部１４２の前に画像変換部１４３の処理を実行する。そのため、それぞれの光学系の画像補正が適切に行われるようになり、それぞれの光学補正の違和感を生じさせることなく、撮像映像の遅延による表示映像のずれを抑制させることが可能となる。

【0035】

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態に係る画像処理システムは、現実世界を撮像した撮像映像に対して遅延が一定ではない処理を行う場合に対応するものである。なお、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

【0036】

図６は、本実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態に係る画像処理システムが、第１の実施形態と異なる点は、映像の遅延量を計測する遅延量計測装置６１とＣＧ重畳装置６２を備えていることである。また、遅延量計測装置６１で計測した遅延量情報とＣＧ重畳装置６２からの表示映像を用いて、画像変換部１４３が画像補正の処理を実行するという点である。なお、遅延量計測装置６１、ＣＧ重畳装置６２は画像処理装置１４と一体の装置として構成されていてもよいし、図６のように別体の装置として構成されていてもよい。

【0037】

遅延量計測装置６１は、遅延量計測部６１１を有し、撮像光学系補正部１４１より入力される撮像映像と後述するＣＧ重畳部６２２より入力される表示映像との時間差を計測する機能部である。その時間差を計測する方法としては、内部カウンタを用意しておき撮像映像と表示映像それぞれの垂直同期信号の入力されるタイミングの差を計測する方法がある。また、撮像映像にメタデータとしてタイムスタンプ情報を埋め込んでおき、撮像映像のタイムスタンプ情報と表示映像のタイムスタンプ情報が一致するまでの時間差を計測するといった方法もある。映像の遅延時間を計測することができれば、特定の方法に限定されない。このように、遅延量計測装置６１によって、映像伝送や処理負荷に応じて遅延時間が変動するような場合においても正確な遅延量Ｄｔを画像変換部１４３へ通知することができる。

【0038】

次に、ＣＧ重畳装置６２の構成について説明する。ＣＧ重畳装置６２は、ＣＧ重畳位置解析部６２１とＣＧ重畳部６２２とにより構成される。ＣＧ重畳位置解析部６２１は、入力される撮像映像内を画像解析してＣＧの描画位置を算出する演算を行い、ＣＧ重畳位置情報をＣＧ重畳部６２２へと出力する。ＣＧの描画位置を特定するためには、例えば２次元コードのような物理指標（以下、ＭＲマーカー）を現実空間に配置し、撮像映像の画像解析によりＭＲマーカーを検知する方法などがある。また、撮像映像からの画像解析による方法ではなく、ＨＭＤ１を使用する空間上に光学式センサなどを取り付けることによって、ＨＭＤ１の位置を特定しＨＭＤ１の位置に応じてＣＧの描画位置などを計算する方法もある。これらの方法により、ＣＧ重畳位置解析部６２１は現実空間を撮影した撮像映像に対して、ＣＧをどの位置に描画すべきかの情報であるＣＧ描画位置情報を計算する。ＣＧの描画位置の計算は、ＣＰＵなどを用いて計算が行われるが、現実空間にＭＲマーカーを多数配置して画像解析を行う場合はＭＲマーカー検出のための計算処理が複数回発生するため処理時間が一定でない場合がある。このような場合、入力に対する映像の遅延量が動的に変動する可能性がある。

【0039】

ＣＧ重畳部６２２は、ＣＧ重畳位置解析部６２１で計算されたＣＧ重畳位置情報を用いて、撮像映像に仮想画像（ＣＧデータ）を重畳した表示映像を生成する。ＣＧデータは、例えばＣＡＤソフトなどを用いて作成された３ＤＣＡＤデータや、グラフィックデザインソフトなどを用いて作成された３ＤＣＧデータなどが該当する。ＣＧ重畳部６２２は、ＣＧ重畳位置情報に基づき、予め用意してあるＣＧデータをレンダリングして撮像映像に重畳する。これにより、現実空間には存在しないＣＧデータが映像内に描画された映像（合成画像）を作り出すことができる。このとき、ＣＧデータのレンダリングはＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを用いて計算が行われるが、ＣＧデータの内容によってはレンダリング処理が重くなり処理時間が一定でない場合がある。このような場合においても、入力に対する映像の遅延量が動的に変動する可能性がある。

【0040】

すなわち、ＣＧ重畳装置６２は映像が入力されてから出力されるまでの時間差が一定でない場合が多い。そのような場合においても、遅延量計測装置６１はＣＧ重畳装置６２で発生する映像遅延量をリアルタイムに計測することができる。

【0041】

画像変換部１４３は、遅延量Ｄｔに応じてレイテンシを推定、決定し、映像の変形、移動を実行する。本実施形態においては、映像の遅延量Ｄｔは動的に変化するが、遅延量計測部６１１から遅延量Ｄｔを入力させることで、リアルタイムに遅延が変化する場合においても撮像映像の遅延による表示映像のずれを抑制することができる。これによって、映像遅延による違和感を低減させることが可能となる。

【0042】

ここで、図７を用いて、本実施形態の変形例についても説明する。図７は、本実施形態の変形例に係る画像処理システムの構成を示すブロック図である。図７の画像処理システムでは、図６記載のＣＧ重畳装置６２に代わり、無線装置７１を備えている。無線装置７１は、不図示の外部装置に対して映像を無線伝送する無線伝送部（送信部）７１１と、不図示の外部装置より処理された映像を無線受信する無線受信部（受信部）７１２とにより構成される。

【0043】

無線伝送部７１１および無線受信部７１２ともに、無線の電波状況によっては通信のスループットが低下し映像伝送が困難になる場合が想定される。通信のスループットが低下すると、映像の遅延が発生したり映像のフレームが抜けたりするため、映像の遅延量が動的に変動する可能性がある。

【0044】

このように、無線装置７１のような無線伝送を介するシステムでリアルタイムに遅延量が変動する場合であっても、撮像映像の遅延による表示映像のずれを抑制させることが可能となる。

【0045】

以上、本実施形態によれば、画像処理システムが撮像映像に対して遅延が一定ではない処理を行う場合にも、その遅延量を計測し、その遅延量に応じて映像の補正を行うことにより、撮像映像の遅延による表示映像のずれを抑制することができる。

【0046】

なお、本実施形態においては、ＣＧ重畳装置６２や無線装置７１の処理では、遅延量が動的に変動するものとして説明をしたが、ＣＧ重畳装置６２や無線装置７１の処理が必ずしも、遅延が一定でない処理となるわけではない。そのため、第１の実施形態の構成に、遅延量計測装置６１は追加せず、ＣＧ重畳装置６２や無線装置７１のみを追加するような構成であってもよく、これらも本発明の範疇に含まれるものである。

【0047】

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態に係る画像処理システムは、現実世界を撮像した撮像映像に対し遅延が一定ではない処理であるＣＧ生成を行い、生成したＣＧのみを画像変換部１４３で変換するものである。なお、第１、第２の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

【0048】

図８は、本実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態に係る画像処理システムが、第２の実施形態と異なる点は、撮像映像にＣＧを重畳するのではなくＣＧ生成装置８２はＣＧの生成と転送のみを行い撮像映像との合成は映像合成部１４４で行う点である。この構成とするメリットとしては、撮像映像に関しては遅延量変動の影響を受けないため最小の遅延でユーザに映像表示をすることができる。しかしながら、一方でＣＧ映像に関してはＣＧ生成装置８２の影響により映像合成部１４４で合成する時点では撮像映像に対してＣＧ映像は遅延量を含んだ状態の映像表示となる。そのため、本実施形態ではＣＧデータのみを画像変換部１４３で処理することによって、ＣＧ合成後の表示映像における違和感を抑制する。

【0049】

図９は、本実施形態に係る画像変換部１４３による効果を説明する図である。図９には、（ａ）ＨＭＤ１を装着したユーザが頭部動作なしの場合、（ｂ）頭部をＹａｗ動作した場合について示している。また、図９（ａ）、（ｂ）それぞれにおいて、上から順に、表示部１２を介してユーザが見る映像、ＨＭＤ使用中のユーザを頭上から見た様子、ＨＭＤ使用中のユーザを横から見た様子、ＨＭＤ使用中のユーザを正面から見た様子を示している。

【0050】

図９（ａ）に示すように、頭部動作なしの場合、現実世界にはないＣＧデータ９０が重畳された表示映像が観察される。一方、図９（ｂ）に示すように、頭部をＹａｗ動作した場合、現実世界の撮像映像は遅延量がない状態で表示され、重畳するＣＧデータは遅延量を含んだ状態で表示されてしまう。そのため、単純に撮像映像にＣＧデータを重畳すると、図中の位置９１にＣＧデータが重畳されてしまい、現実世界とＣＧデータとの間に違和感が発生してしまう。

【0051】

そこで、本実施形態において、変形移動計算部３２は頭部動作情報Ｑに含まれるＹａｗの角速度Ｙ_ωと遅延量ＤｔからＹａｗ角Ｙ_θを求める。さらに、Ｙａｗ角Ｙ_θと基準となる距離Ｌとの関係から、画像の水平シフト量Ｈｄを求める。変形移動実行部３３は、この水平シフト量Ｈｄに基づき、ＣＧデータを水平方向にずらしたのちに撮像映像と合成することで、違和感のない映像提供を行うことができる。

【0052】

以上のように、本実施形態では、生成したＣＧのみを画像変換部１４３で変換する構成においても、遅延量に応じて映像の補正を行うことにより、撮像映像の遅延による表示映像のずれを抑制することができる。

【0053】

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。本実施形態に係る画像処理システムは、撮像映像に対し遅延が一定ではない処理であるＣＧ生成を行い、生成したＣＧを画像変換部１４３で変換し、さらに撮像光学系補正部１４１より出力された撮像映像を画像変換部１４５で変換するものである。なお、第１〜第３の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

【0054】

図１０は、本実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態に係る画像処理システムが、第３の実施形態と異なる点は、撮像映像とＣＧデータともに画像変換部１４３もしくは１４５により画像変換を行う点である。画像変換部１４５は、画像変換部１４３と同様の機能を有しており、前述した通り画像の変換機能を有している。この構成にすることによって、撮像部１１から入力される映像情報を表示部１２で観察される表示映像とのハードウェア上で発生する遅延量を画像変換部１４５において補正することができる。そのため、本実施形態では、現実世界にＣＧデータを重畳した映像を最小の遅延量で観察することができる。

【0055】

［その他の実施形態］
また、本発明は、実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0056】

１４ 画像処理装置
１４１ 撮像光学系補正部
１４２ 表示光学系補正部
１４３ 画像変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】