ホーム > 特許ランキング > セイコーエプソン株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185224
(43)【公開日】2022-12-14
(54)【発明の名称】回路装置、表示システム及び電子機器
(51)【国際特許分類】
G09G 5/36 20060101AFI20221207BHJP
H04N 5/66 20060101ALI20221207BHJP
G09G 5/00 20060101ALI20221207BHJP
G06T 3/00 20060101ALI20221207BHJP
【ＦＩ】
G09G5/36 520Z
H04N5/66 D
G09G5/00 550C
G06T3/00 770
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021092747
(22)【出願日】2021-06-02
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(72)【発明者】
【氏名】秋葉 泰俊
(72)【発明者】
【氏名】エリック ジェフリー
【テーマコード（参考）】
5B057
5C058
5C182
【Ｆターム（参考）】
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD03
5B057CD12
5B057CH05
5C058BA35
5C182AA03
5C182AA05
5C182AB25
5C182AB31
5C182BA29
5C182BA56
5C182CB11
5C182CC24
(57)【要約】
【課題】ワープ処理において歪み補正と回転ずれ補正とを実現できる回路装置等を提供すること。
【解決手段】回路装置１６０は、レンダリング画像ＲＥＮＩＭを記憶する記憶部１６１と、ワープ処理部１３０とを含む。ワープ処理部１３０は、座標変換部１３１と座標アドレス変換部１３２と出力部１３３とを含む。座標変換部１３１は、ワープパラメーターと回転補正パラメーターとに基づく座標変換により、表示画像ＤＳＩＭ上の座標である出力座標を、レンダリング画像ＲＥＮＩＭ上の座標である入力座標に変換する。座標変換部１３１は、入力座標を記憶部１６１のリードアドレスに変換する。出力部１３３は、記憶部１６１のリードアドレスからレンダリング画像ＲＥＮＩＭの画素データを読み出し、読み出した画素データに基づいて、表示画像ＤＳＩＭの出力座標における画素データを出力する。
【選択図】 図３
【解決手段】回路装置１６０は、レンダリング画像ＲＥＮＩＭを記憶する記憶部１６１と、ワープ処理部１３０とを含む。ワープ処理部１３０は、座標変換部１３１と座標アドレス変換部１３２と出力部１３３とを含む。座標変換部１３１は、ワープパラメーターと回転補正パラメーターとに基づく座標変換により、表示画像ＤＳＩＭ上の座標である出力座標を、レンダリング画像ＲＥＮＩＭ上の座標である入力座標に変換する。座標変換部１３１は、入力座標を記憶部１６１のリードアドレスに変換する。出力部１３３は、記憶部１６１のリードアドレスからレンダリング画像ＲＥＮＩＭの画素データを読み出し、読み出した画素データに基づいて、表示画像ＤＳＩＭの出力座標における画素データを出力する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示制御を行う回路装置であって、
前記仮想オブジェクトを含むレンダリング画像を記憶する記憶部と、
前記レンダリング画像に対するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、前記表示画像上の座標である出力座標を、前記レンダリング画像上の座標である入力座標に変換することで、前記回転補正パラメーターが示す回転を補正する回転処理を付加した前記入力座標を求める座標変換部と、
前記入力座標を前記記憶部のリードアドレスに変換する座標アドレス変換部と、
前記記憶部の前記リードアドレスから前記レンダリング画像の画素データを読み出し、読み出した前記画素データに基づいて、前記表示画像の前記出力座標における画素データを出力する出力部と、
を含むことを特徴とする回路装置。
前記仮想オブジェクトを含むレンダリング画像を記憶する記憶部と、
前記レンダリング画像に対するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、前記表示画像上の座標である出力座標を、前記レンダリング画像上の座標である入力座標に変換することで、前記回転補正パラメーターが示す回転を補正する回転処理を付加した前記入力座標を求める座標変換部と、
前記入力座標を前記記憶部のリードアドレスに変換する座標アドレス変換部と、
前記記憶部の前記リードアドレスから前記レンダリング画像の画素データを読み出し、読み出した前記画素データに基づいて、前記表示画像の前記出力座標における画素データを出力する出力部と、
を含むことを特徴とする回路装置。
【請求項2】
請求項１に記載された回路装置において、
前記回転補正パラメーターにより前記ワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部を含み、
前記座標変換部は、
前記補正後ワープパラメーターを用いて前記座標変換を行うことを特徴とする回路装置。
前記回転補正パラメーターにより前記ワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部を含み、
前記座標変換部は、
前記補正後ワープパラメーターを用いて前記座標変換を行うことを特徴とする回路装置。
【請求項3】
請求項１に記載された回路装置において、
前記座標変換部は、
前記ワープパラメーターにより前記出力座標を変換する第１座標変換と、前記第１座標変換後の座標を前記回転補正パラメーターにより前記回転処理する第２座標変換とを、前記座標変換として行うことを特徴とする回路装置。
前記座標変換部は、
前記ワープパラメーターにより前記出力座標を変換する第１座標変換と、前記第１座標変換後の座標を前記回転補正パラメーターにより前記回転処理する第２座標変換とを、前記座標変換として行うことを特徴とする回路装置。
【請求項4】
請求項１乃至３のいずれか一項に記載された回路装置において、
前記回転補正パラメーターは、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターであることを特徴とする回路装置。
前記回転補正パラメーターは、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターであることを特徴とする回路装置。
【請求項5】
請求項１乃至４のいずれか一項に記載された回路装置において、
前記ワープパラメーターは、
前記映像の前記歪みを補正する多項式の係数であることを特徴とする回路装置。
前記ワープパラメーターは、
前記映像の前記歪みを補正する多項式の係数であることを特徴とする回路装置。
【請求項6】
請求項１乃至５のいずれか一項に記載された回路装置において、
前記座標変換部は、
第１フレームの次の第２フレームに行われる前記ワープ処理において、前記第１フレームにおいて更新された前記回転補正パラメーターを用いて前記回転処理を付加した前記入力座標を求めることを特徴とする回路装置。
前記座標変換部は、
第１フレームの次の第２フレームに行われる前記ワープ処理において、前記第１フレームにおいて更新された前記回転補正パラメーターを用いて前記回転処理を付加した前記入力座標を求めることを特徴とする回路装置。
【請求項7】
請求項１乃至６のいずれか一項に記載された回路装置において、
前記座標アドレス変換部は、
前記リードアドレスである基準リードアドレスに基づいてリードアドレス群を生成し、
前記出力部は、
前記リードアドレス群に対応する画素データ群を読み出し、前記画素データ群の補間処理を行うことで、前記出力座標の画素データを生成する補間処理部を含むことを特徴とする回路装置。
前記座標アドレス変換部は、
前記リードアドレスである基準リードアドレスに基づいてリードアドレス群を生成し、
前記出力部は、
前記リードアドレス群に対応する画素データ群を読み出し、前記画素データ群の補間処理を行うことで、前記出力座標の画素データを生成する補間処理部を含むことを特徴とする回路装置。
【請求項8】
請求項１に記載された回路装置において、
前記記憶部は、
前記仮想オブジェクトである第１表示オブジェクトの画像と、第２表示オブジェクトの画像とを含む前記レンダリング画像を記憶し、
前記座標変換部は、
前記レンダリング画像のうち前記第１表示オブジェクトの画像に対しては、前記ワープパラメーターと前記回転補正パラメーターとに基づく前記座標変換により、前記回転処理を付加した前記入力座標を求め、
前記レンダリング画像のうち前記第２表示オブジェクトの画像に対しては、前記ワープパラメーターに基づく前記座標変換により、前記回転処理を付加しない前記入力座標を求めることを特徴とする回路装置。
前記記憶部は、
前記仮想オブジェクトである第１表示オブジェクトの画像と、第２表示オブジェクトの画像とを含む前記レンダリング画像を記憶し、
前記座標変換部は、
前記レンダリング画像のうち前記第１表示オブジェクトの画像に対しては、前記ワープパラメーターと前記回転補正パラメーターとに基づく前記座標変換により、前記回転処理を付加した前記入力座標を求め、
前記レンダリング画像のうち前記第２表示オブジェクトの画像に対しては、前記ワープパラメーターに基づく前記座標変換により、前記回転処理を付加しない前記入力座標を求めることを特徴とする回路装置。
【請求項9】
請求項８に記載された回路装置において、
前記回転補正パラメーターにより前記ワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部と、
パラメーター選択部と、
を含み、
前記記憶部は、
前記第１表示オブジェクトの画像と前記第２表示オブジェクトの画像とを含む前記レンダリング画像を記憶し、
前記レンダリング画像のうち前記第１表示オブジェクトの画像に対しては、前記パラメーター選択部は、前記補正後ワープパラメーターを選択し、前記座標変換部は、前記補正後ワープパラメーターを用いて前記座標変換を行い、
前記レンダリング画像のうち前記第２表示オブジェクトの画像に対しては、前記パラメーター選択部は、前記ワープパラメーターを選択し、前記座標変換部は、前記ワープパラメーターを用いて前記座標変換を行うことを特徴とする回路装置。
前記回転補正パラメーターにより前記ワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部と、
パラメーター選択部と、
を含み、
前記記憶部は、
前記第１表示オブジェクトの画像と前記第２表示オブジェクトの画像とを含む前記レンダリング画像を記憶し、
前記レンダリング画像のうち前記第１表示オブジェクトの画像に対しては、前記パラメーター選択部は、前記補正後ワープパラメーターを選択し、前記座標変換部は、前記補正後ワープパラメーターを用いて前記座標変換を行い、
前記レンダリング画像のうち前記第２表示オブジェクトの画像に対しては、前記パラメーター選択部は、前記ワープパラメーターを選択し、前記座標変換部は、前記ワープパラメーターを用いて前記座標変換を行うことを特徴とする回路装置。
【請求項10】
請求項８に記載された回路装置において、
前記記憶部は、
前記第１表示オブジェクトの画像と前記第２表示オブジェクトの画像とを含む前記レンダリング画像を記憶し、
前記座標変換部は、
前記レンダリング画像のうち前記第１表示オブジェクトの画像に対しては、前記ワープパラメーターにより前記出力座標を変換する第１座標変換と、前記第１座標変換後の座標を前記回転補正パラメーターにより前記回転処理する第２座標変換とを、前記座標変換として行い、
前記レンダリング画像のうち前記第２表示オブジェクトの画像に対しては、前記第１座標変換を前記座標変換として行うことを特徴とする回路装置。
前記記憶部は、
前記第１表示オブジェクトの画像と前記第２表示オブジェクトの画像とを含む前記レンダリング画像を記憶し、
前記座標変換部は、
前記レンダリング画像のうち前記第１表示オブジェクトの画像に対しては、前記ワープパラメーターにより前記出力座標を変換する第１座標変換と、前記第１座標変換後の座標を前記回転補正パラメーターにより前記回転処理する第２座標変換とを、前記座標変換として行い、
前記レンダリング画像のうち前記第２表示オブジェクトの画像に対しては、前記第１座標変換を前記座標変換として行うことを特徴とする回路装置。
【請求項11】
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、
前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、
前記レンダリング画像を記憶する記憶部と、
前記レンダリング画像に対するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、前記表示画像上の座標である出力座標を、前記レンダリング画像上の座標である入力座標に変換することで、前記回転補正パラメーターが示す回転を補正する回転処理を付加した前記入力座標を求める座標変換部と、
前記入力座標を前記記憶部のリードアドレスに変換する座標アドレス変換部と、
前記記憶部の前記リードアドレスから前記レンダリング画像の画素データを読み出し、読み出した前記画素データに基づいて、前記表示画像の前記出力座標における画素データを出力する出力部と、
を含むことを特徴とする表示システム。
前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、
前記レンダリング画像を記憶する記憶部と、
前記レンダリング画像に対するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、前記表示画像上の座標である出力座標を、前記レンダリング画像上の座標である入力座標に変換することで、前記回転補正パラメーターが示す回転を補正する回転処理を付加した前記入力座標を求める座標変換部と、
前記入力座標を前記記憶部のリードアドレスに変換する座標アドレス変換部と、
前記記憶部の前記リードアドレスから前記レンダリング画像の画素データを読み出し、読み出した前記画素データに基づいて、前記表示画像の前記出力座標における画素データを出力する出力部と、
を含むことを特徴とする表示システム。
【請求項12】
請求項１１に記載された表示システムにおいて、
前記回転補正パラメーターにより前記ワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部を含み、
前記座標変換部は、
前記補正後ワープパラメーターを用いて前記座標変換を行うことを特徴とする表示システム。
前記回転補正パラメーターにより前記ワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部を含み、
前記座標変換部は、
前記補正後ワープパラメーターを用いて前記座標変換を行うことを特徴とする表示システム。
【請求項13】
請求項１１に記載された表示システムにおいて、
前記座標変換部は、
前記ワープパラメーターにより前記出力座標を変換する第１座標変換と、前記第１座標変換後の座標を前記回転補正パラメーターにより前記回転処理する第２座標変換とを、前記座標変換として行うことを特徴とする表示システム。
前記座標変換部は、
前記ワープパラメーターにより前記出力座標を変換する第１座標変換と、前記第１座標変換後の座標を前記回転補正パラメーターにより前記回転処理する第２座標変換とを、前記座標変換として行うことを特徴とする表示システム。
【請求項14】
請求項１１乃至１３のいずれか一項に記載された表示システムにおいて、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記回転補正パラメーターを演算する回転補正パラメーター演算部を含み、
前記回転補正パラメーターは、
前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターであることを特徴とする表示システム。
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記回転補正パラメーターを演算する回転補正パラメーター演算部を含み、
前記回転補正パラメーターは、
前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターであることを特徴とする表示システム。
【請求項15】
請求項１乃至１０のいずれか一項に記載の回路装置を含むことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、回路装置、表示システム及び電子機器等に関する。
【背景技術】
【0002】
透明スクリーン等に画像を表示することで、ユーザーの視界に情報を重ねて表示するヘッドアップディスプレイが知られている。このようなヘッドアップディスプレイとＡＲ技術を組み合わせることで、前走車又は道路等の実オブジェクトに対して仮想オブジェクトが追従するように、仮想オブジェクトをヘッドアップディスプレイに表示させることができる。ＡＲはAugmented Realityの略である。
【0003】
特許文献１と特許文献２には、ＡＲの仮想オブジェクトを実オブジェクトに追従させるための振動補正を行う技術が開示されている。特許文献１では、低周波帯域の姿勢変化を画像処理により補正し、高周波帯域の姿勢変化を投影光学ユニットで補正する。高周波帯域の姿勢変化を投影光学ユニットで補正することで、車両の姿勢変化が生じる場合において、虚像が実像に対して正しい位置に重畳されるように投影画像の位置が修正される。特許文献２では、振動補正が必要な画像と振動補正が不要な画像とをフレームメモリー上において合成し、その合成後の画像を歪み補正する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－９８７５６号公報
【特許文献2】特開２０２０－０５０３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献１と特許文献２には、ワープ処理において振動補正等の補正を行う場合におけるワープ処理の具体的な構成について開示されていない。即ち、特許文献１では、高周波帯域の姿勢変化を投影光学ユニットで補正しており、ワープ処理においては姿勢変化を補正していない。また、特許文献２では、図６等に記載の補正回路が歪み補正を行うが、その補正回路の具体的な構成について記載されていない。
【課題を解決するための手段】
【0006】
本開示の一態様は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示制御を行う回路装置であって、前記仮想オブジェクトを含むレンダリング画像を記憶する記憶部と、前記レンダリング画像に対するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、を含み、前記ワープ処理部は、光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、前記表示画像上の座標である出力座標を、前記レンダリング画像上の座標である入力座標に変換することで、前記回転補正パラメーターが示す回転を補正する回転処理を付加した前記入力座標を求める座標変換部と、前記入力座標を前記記憶部のリードアドレスに変換する座標アドレス変換部と、前記記憶部の前記リードアドレスから前記レンダリング画像の画素データを読み出し、読み出した前記画素データに基づいて、前記表示画像の前記出力座標における画素データを出力する出力部と、を含む回路装置に関係する。
【0007】
また本開示の他の態様は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、前記レンダリング画像を記憶する記憶部と、前記レンダリング画像に対するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、を含み、前記ワープ処理部は、光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、前記表示画像上の座標である出力座標を、前記レンダリング画像上の座標である入力座標に変換することで、前記回転補正パラメーターが示す回転を補正する回転処理を付加した前記入力座標を求める座標変換部と、前記入力座標を前記記憶部のリードアドレスに変換する座標アドレス変換部と、前記記憶部の前記リードアドレスから前記レンダリング画像の画素データを読み出し、読み出した前記画素データに基づいて、前記表示画像の前記出力座標における画素データを出力する出力部と、を含む表示システムに関係する。
【0008】
また本開示の更に他の態様は、上記に記載の回路装置を含む電子機器に関係する。
【図面の簡単な説明】
【0009】
【図1】ＨＵＤによるＡＲ表示の例。
【図2】本実施形態のレイテンシー補償を説明する図。
【図3】回路装置の構成例。
【図4】座標変換の概略図。
【図5】回路装置の第１詳細構成例。
【図6】表示システムの第１構成例。
【図7】第１構成例における表示システムの動作を説明するタイミングチャート。
【図8】回路装置の第２詳細構成例。
【図9】表示システムの第２構成例。
【図10】第２構成例における表示システムの動作を説明するタイミングチャート。
【図11】第３詳細構成例と第４詳細構成例における処理の説明図。
【図12】回路装置の第３詳細構成例。
【図13】回路装置の第４詳細構成例。
【図14】電子機器の構成例。
【発明を実施するための形態】
【0010】
以下、本開示の好適な実施形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
【0011】
１．回路装置の構成例
まず、ＨＵＤによるＡＲ表示について説明する。図１は、ＨＵＤによるＡＲ表示の例である。ＨＵＤはヘッドアップディスプレイの略語であり、ＡＲは拡張現実の略語である。以下では、自動車３０にＨＵＤを搭載した例を主に説明するが、本実施形態のＨＵＤは、飛行機、船舶又は二輪車等の様々な移動体に搭載されてもよい。
まず、ＨＵＤによるＡＲ表示について説明する。図１は、ＨＵＤによるＡＲ表示の例である。ＨＵＤはヘッドアップディスプレイの略語であり、ＡＲは拡張現実の略語である。以下では、自動車３０にＨＵＤを搭載した例を主に説明するが、本実施形態のＨＵＤは、飛行機、船舶又は二輪車等の様々な移動体に搭載されてもよい。
【0012】
図１には、ドライバーがＨＵＤを介して見るＡＲ表示を示している。ドライバーは、フロントガラスを通して、前走車１０、前走車１０が走る道路、及びそれらの周囲の風景を見ている。またドライバーは、ＨＵＤがフロントガラスの表示領域４０内に投影した虚像を見ており、その虚像は、ドライバーからは、実空間に重なる仮想オブジェクト２０として見える。表示領域４０は、ＨＵＤが虚像を投影可能な範囲を示しており、この表示領域４０内において仮想オブジェクト２０が表示される。図１における仮想オブジェクト２０は、ＡＲの表示オブジェクトであり、前走車１０又は道路に対して表示位置が追従するように表示される。即ち、ＨＵＤは、ドライバーから見た前走車１０又は道路と仮想オブジェクト２０との相対的な位置関係が変わらないように、仮想オブジェクト２０を表示しようとする。
【0013】
ＨＵＤの表示システムは、Ｌｉｄａｒ等のセンサーを用いて前走車１０等をトラッキングし、そのトラッキング結果に基づいて仮想オブジェクト２０をレンダリングし、そのレンダリング画像をワープ処理してＨＵＤに表示させる。このとき、センサーがサンプリングしたタイミングから、仮想オブジェクト２０をＨＵＤに表示するタイミングまでの間に、トラッキング処理、レンダリング処理、ワープ処理、又はデータ通信等による遅延がある。このような処理又は通信等によって発生する遅延を、レイテンシーと呼ぶ。
【0014】
レイテンシーは、仮想オブジェクト２０と前走車１０等との位置ずれ及び回転ずれの原因となる。即ち、表示システムが仮想オブジェクト２０をレンダリングしたときの前走車１０等の位置及び角度と、実際に仮想オブジェクト２０がＨＵＤに表示されるときの前走車１０等の位置及び角度とがずれていることによって、仮想オブジェクト２０と前走車１０等とがずれて表示されてしまう。例えば、レンダリング処理において、未来の表示タイミングにおける前走車１０等の位置を予測したとしても、その予測時点から表示までに時間があるため、予測した前走車１０等の位置及び角度と、実際に仮想オブジェクト２０がＨＵＤに表示されるときの前走車１０等の位置及び角度とがずれる可能性がある。なお、以下の実施形態において回転ずれの補正を主に説明する。但し、本開示の回路装置又は表示システムは更に位置ずれの補正を行ってもよい。
【0015】
図２は、本実施形態のレイテンシー補償を説明する図である。図２の左図には、レイテンシー補償を行わなかった場合のＨＵＤ表示の例を示す。図２の左図に示すように、ＨＵＤを搭載した自動車が反時計回りにθだけ回転した場合、ＨＵＤの表示領域４０が反時計回りにθだけ回転する。ＲＣは回転中心を示す。これにより、実オブジェクトである前走車１０に対して、仮想オブジェクト２０がθだけ回転して表示されることになる。ここでは、レンダリングでは追従できない速度で回転した場合、即ちレンダリングからＨＵＤ表示までのレイテンシーが問題となる速度で回転した場合を想定している。
【0016】
図２の右図には、レイテンシー補償を行った場合のＨＵＤ表示の例を示す。図２の右図に示すように、本実施形態では、仮想オブジェクト２０を、ＲＣを中心に時計回りにθだけ回転させて表示することで、レイテンシーによる回転ずれを補償し、実オブジェクトである前走車１０と仮想オブジェクト２０の表示を一致させる。このようなレイテンシー補償を行うことで、ＨＵＤを搭載した自動車が回転した場合であっても、表示の回転ずれを回避できる。詳細については後述するが、本実施形態では表示タイミングにできるだけ近いワープ処理においてレイテンシー補償を行うことで、出来るだけレイテンシーによる位置ずれを小さくできる。
【0017】
なお、本開示の回路装置及び表示システムは、レイテンシー補償の回転ずれ補正に加えて、ＨＵＤ取り付け誤差を補正する回転ずれ補正を行ってもよい。前者の補正角度をθlatとし、後者の補正角度をθerrとしたとき、合計の補正角度はθ＝θlat＋θerrである。θlatはＨＵＤの回転に応じて変動するパラメーターであり、θerrは取り付け誤差に応じた固定のパラメーターである。以下の実施形態では、補正角度がθ＝θlatである場合を主に説明するが、その補正角度θにθerrを加えることで、上記のように取り付け誤差の補正を加えることが可能である。
【0018】
図３は、本実施形態における回路装置１６０の構成例である。回路装置１６０は、実空間の実オブジェクトに対応する仮想オブジェクト２０を表示領域４０に表示するＨＵＤ４００の表示制御を行う。回路装置１６０は、記憶部１６１とワープ処理部１３０とを含む。回路装置１６０はＨＵＤコントローラーとも呼ばれ、例えば、半導体基板上に回路が集積された集積回路装置により構成される。
【0019】
記憶部１６１は、仮想オブジェクト２０を含むレンダリング画像ＲＥＮＩＭを一時的に記憶する。レンダリング画像ＲＥＮＩＭは、例えば外部のＭＰＵ等から回路装置１６０に入力されるが、回路装置１６０内でレンダリングする構成としてもよい。記憶部１６１は、ワープ処理に必要なライン数の画像データを記憶するラインバッファーである。ライン数は、ワープ処理における垂直方向の最大移動ライン数に対してマージンを加えた程度であればよい。記憶部１６１は、例えば、ＲＡＭ等の半導体メモリーである。ＲＡＭはRandom Access Memoryの略である。
【0020】
ワープ処理部１３０は、レンダリング画像ＲＥＮＩＭに対するワープ処理を行うことで、表示領域４０に表示される表示画像ＤＳＩＭを生成し、その表示画像ＤＳＩＭをＨＵＤ４００に出力する。ワープ処理は、レンダリング画像ＲＥＮＩＭと表示画像ＤＳＩＭの間の座標変換であり、本実施形態においては歪み補正と回転ずれ補正とを含む。本実施形態において、ワープ処理部１３０はインバースワープエンジンである。インバースワープとは、ワープエンジンの出力画像の各画素を、入力画像における任意の位置の画素から求める変換である。インバースワープエンジンとは、インバースワープの機能を有するワープエンジンである。
【0021】
ワープ処理部１３０は、座標変換部１３１と座標アドレス変換部１３２と出力部１３３とを含む。ワープ処理部１３０はロジック回路により構成され、例えば自動配置配線されたゲートアレイ又は自動配線されたスタンダードセルアレイ等により構成される。
【0022】
座標変換部１３１は、ワープパラメーターと回転補正パラメーターとに基づく座標変換により、表示画像ＤＳＩＭ上の座標である出力座標（Ｘｔｒｇ，Ｙｔｒｇ）を、レンダリング画像ＲＥＮＩＭ上の座標である入力座標（Ｘｓｒｃ，Ｙｓｒｃ）に変換する。これにより、座標変換部１３１は、回転補正パラメーターが示す回転を補正する回転処理を付加した入力座標（Ｘｓｒｃ，Ｙｓｒｃ）を求める。
【0023】
ワープパラメーターは、ＨＵＤ４００の光学系に起因した映像の歪みに応じたパラメーターである。光学系は、例えば、映像をスクリーンに投影するためのレンズ、映像が投影されるスクリーン、又はそれら両方である。映像の歪みは、例えば、レンズの歪曲収差に起因した歪み、スクリーンの湾曲に起因した歪み、又はそれら両方である。歪み補正は、上記映像の歪みをキャンセルする補正であり、その歪み補正された画像がスクリーンに投影されることで、歪みのない虚像として観者の視界に表示される。
【0024】
回転補正パラメーターは、実オブジェクトと、その実オブジェクトに追従して表示される仮想オブジェクトとの回転ずれに応じたパラメーターである。回転ずれ補正は、その回転ずれを補正する処理である。この回転ずれは、ＨＵＤが搭載される移動体の姿勢変化によって生じるものであり、その移動体の姿勢変化に応じて回転ずれ補正が行われる。
【0025】
図４に、座標変換の概略図を示す。図４において、ｆ（）は歪み補正を示し、ｒ（）は回転ずれ補正を示す。歪み補正の座標変換は下式（１）で表される。下式（１）において変換行列をＡｄｉｓとすると、Ａｄｉｓ内の各要素がワープパラメーターに相当する。また、回転ずれ補正の座標変換は下式（２）で表される。下式（２）において変換行列をＡｒｏｔとすると、Ａｒｏｔ内のｃｏｓθとｓｉｎθが回転補正パラメーターに相当する。（ｃｘ，ｃｙ）は、回転中心ＲＣの座標である。なお、θを回転補正パラメーターとしてもよい。
【0026】
【数1】
【0027】
【数2】
【0028】
上式（１）は、下式（３）（４）の多項式を行列形式で示したものである。即ち、ワープパラメーターは、多項式の各項の係数に相当する。なお、上式（１）と下式（３）（４）には４次多項式の例を示したが、多項式の次数は４次に限定されない。
【0029】
【数3】
【0030】
【数4】
【0031】
座標変換部１３１は、上記の歪み補正と回転ずれ補正を一括又は２段階で実行する。一括で実行する場合については第１詳細構成例で後述し、２段階で実行する場合については第２詳細構成例で後述する。ここでは、数式を用いて概要を説明する。
【0032】
一括で実行する場合において、下式（５）～（７）に示すように、回転補正パラメーターによりワープパラメーターが補正され、その補正後ワープパラメーターが座標変換部１３１に入力される。下式（５）～（７）において、変換行列Ａｔｏｔの各要素が補正後ワープパラメーターに相当する。下式（８）に示すように、座標変換部１３１は、変換行列Ａｔｏｔにより座標変換を行うことで、歪み補正と回転ずれ補正を同時に実行する。
【0033】
【数5】
【0034】
【数6】
【0035】
【数7】
【0036】
【数8】
【0037】
２段階で実行する場合において、座標変換部１３１は、上式（１）に示す歪み補正の座標変換を行った後、その変換後の座標（ｘｒｏｔ，ｙｒｏｔ）に対して、上式（２）に示す回転補正の座標変換を行うことで、歪み補正と回転ずれ補正を２段階で実行する。
【0038】
図３に示す座標アドレス変換部１３２は、座標変換部１３１が求めた入力座標（Ｘｓｒｃ，Ｙｓｒｃ）を、記憶部１６１のリードアドレスに変換する。即ち、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）の画素データが記憶されたアドレスをＡＤＤＲｘｙとしたとき、座標アドレス変換部１３２は、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）をリードアドレスＡＤＤＲｘｙに変換する。
【0039】
出力部１３３は、記憶部１６１のリードアドレスＡＤＤＲｘｙからレンダリング画像ＲＥＮＩＭの画素データを読み出し、読み出した画素データに基づいて、表示画像ＤＳＩＭの出力座標（Ｘｔｒｇ，Ｙｔｒｇ）における画素データを出力する。なお、後述するように、出力部１３３は、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）周辺の複数の画素データを読み出し、その複数の画素データを補間処理することで、出力座標（Ｘｔｒｇ，Ｙｔｒｇ）における画素データを出力してもよい。
【0040】
以上の実施形態によれば、記憶部１６１から画素データを読み出す直前において、ワープパラメーターと回転補正パラメーターとに基づく座標変換が実行され、その読み出された画素データに基づいて表示画像ＤＳＩＭが出力される。これにより、回転ずれ補正から表示画像ＤＳＩＭの出力までのレイテンシーを最小限にすることが可能となる。上述したＡＲ表示に本実施形態を適用した場合には、実オブジェクトである前走車１０に対して高精度に仮想オブジェクト２０を追従させることが可能となる。
【0041】
なお、上記特許文献１では、画像データ等の通信時間よりも姿勢データの計測時間を短くし、その姿勢データを用いて投影光学ユニットが高周波領域での補正を行うことで、通信時間による実像と投影画像との位置ずれを抑制する。しかし、投影光学ユニットを制御するためのデータ処理時間、及び構成部材の作動時間が必要であることから、その時間によって生じる位置ずれは依然として残る。また、上記特許文献２では、振動補正を施した１画面分のワープパラメーターテーブルをメモリー上に準備し、その１画面分のワープパラメーターテーブルを用いてワープ処理を行うことで、位置ずれを抑制する。しかし、１画面分のワープパラメーターテーブルをメモリー上に準備する時間が必要であることから、その時間によって生じる位置ずれは依然として残る。また、ワープ処理の具体的な構成が記載されていないことから、ワープ処理におけるレイテンシーに関する内容が不明である。
【0042】
また本実施形態では、上式（３）（４）に示すように、ワープパラメーターは、映像の歪みを補正する多項式の係数である。
【0043】
テーブル方式の歪み補正では、複数の座標に対応した複数のパラメーターを用いる。例えば上記特許文献２では、その複数のパラメーターの各パラメーターに振動補正を施しているため、その演算に時間がかかる。この点、本実施形態によれば、多項式により歪み補正を行うため、上式（３）（４）に示すように１組のワープパラメーターのみでワープ処理を実現できる。歪み補正と回転ずれ補正を一括で実行する場合には、ワープパラメーターと回転行列を乗算するが、ワープパラメーターが１組であることから、１回の行列演算で済み、テーブル方式に比べて演算時間が短縮される。
【0044】
なお、本実施形態では、テーブル方式の歪み補正が採用されてもよい。例えば、歪み補正と回転ずれ補正を２段階で実行する場合には、歪み補正と回転ずれ補正が別個に演算されることから、歪み補正がテーブル方式と多項式方式のいずれであっても、回転ずれ補正の演算時間は同じと考えられる。
【0045】
２．第１詳細構成例
図５は、回路装置１６０の第１詳細構成例である。図５では、回路装置１６０がワープパラメーター記憶部１４５とワープパラメーター補正部１４６とを含む。また、出力部１３３が補間処理部１３６と出力バッファー１３７とを含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
図５は、回路装置１６０の第１詳細構成例である。図５では、回路装置１６０がワープパラメーター記憶部１４５とワープパラメーター補正部１４６とを含む。また、出力部１３３が補間処理部１３６と出力バッファー１３７とを含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
【0046】
ワープパラメーター記憶部１４５は、歪み補正に用いられるワープパラメーターＷＰＭを記憶する。ワープパラメーター記憶部１４５は、ＲＡＭ又は不揮発性メモリー等の半導体メモリーである。上述したように、ワープパラメーターＷＰＭは、歪み補正の変換行列Ａｄｉｓを構成する各要素であり、具体的には歪み補正を表す多項式の係数である。
【0047】
ワープパラメーター補正部１４６には、回転補正パラメーターＲＴＰＭが入力される。回転補正パラメーターＲＴＰＭは、例えば外部のＭＰＵ等から回路装置１６０に入力されるが、回路装置１６０内でトラッキング情報から回転補正パラメーターＲＴＰＭを演算する構成としてもよい。上述したように、回転補正パラメーターＲＴＰＭは、回転ずれ補正の変換行列Ａｒｏｔ内に含まれるｃｏｓθとｓｉｎθである。θは、移動体等のトラッキング情報に応じて変動するパラメーターであり、例えばフレーム毎に更新される。但し、θの更新間隔は任意であってよい。
【0048】
ワープパラメーター補正部１４６は、回転補正パラメーターＲＴＰＭによりワープパラメーターＷＰＭを補正することで、補正後ワープパラメーターＣＷＰＭを演算する。この演算は、上式（５）に示す演算であり、補正後ワープパラメーターＣＷＰＭは変換行列Ａｔｏｔを構成する各要素である。座標変換部１３１は、補正後ワープパラメーターＣＷＰＭを用いて座標変換を行う。この座標変換は、上式（８）に示す演算である。
【0049】
以上の実施形態によれば、座標変換部１３１による座標変換の直前においてワープパラメーター補正部１４６が補正後ワープパラメーターＣＷＰＭを演算し、座標変換部１３１が、その補正後ワープパラメーターＣＷＰＭを用いて出力座標（Ｘｔｒｇ，Ｙｔｒｇ）を入力座標（Ｘｓｒｃ，Ｙｓｒｃ）に座標変換する。これにより、上記特許文献２のように一旦メモリーに１画面分のワープパラメーターテーブルを準備する構成に比べて、回転補正パラメーターＲＴＰＭの取得から表示画像ＤＳＩＭの出力までのレイテンシーを短縮できる。より具体的には、上述したように歪み補正を多項式で行うことで、補正後ワープパラメーターＣＷＰＭの演算が１回の行列演算で済むことから、テーブル方式に比べて演算時間が短縮される。
【0050】
補間処理部１３６は、補間処理により表示画像ＤＳＩＭの画素データを生成する。具体的には、座標アドレス変換部１３２は、リードアドレスである基準リードアドレスに基づいてリードアドレス群を生成する。リードアドレス群は、座標変換部１３１が出力した入力座標（Ｘｓｒｃ，Ｙｓｒｃ）の周辺の画素データ群を記憶部１６１から読み出すための複数のリードアドレスである。基準リードアドレスは、この画素データ群のうちの１つの画素データに対応したリードアドレスであり、例えば、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）に最も近い画素データのリードアドレスである。補間処理部１３６は、リードアドレス群に対応する画素データ群を読み出し、その画素データ群の補間処理を行うことで、出力座標（Ｘｔｒｇ，Ｙｔｒｇ）の画素データを生成する。
【0051】
出力バッファー１３７は、補間処理部１３６が出力した画素データをバッファリングしてＨＵＤ４００へ出力する。出力バッファー１３７は、ＦＩＦＯメモリー又はラインバッファー等で構成され、１フレームより短い期間に対応した画素データを一時的に記憶できればよい。例えば、出力バッファー１３７は、数画素から数十ライン程度の画素データを一時的に記憶する。
【0052】
図６は、表示システム１００の第１構成例である。表示システム１００は処理装置１５０と回路装置１６０とを含む。
【0053】
処理装置１５０は、トラッキング処理部１１０とレンダリング画像生成部１２０と回転補正パラメーター演算部１４０とを含む。処理装置１５０は、例えば、ＣＰＵ、ＧＰＵ又はマイクロコンピューター等のプロセッサーである。
【0054】
トラッキング処理部１１０には、センサー４５０の出力信号が入力される。センサー４５０は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーである。センサー４５０は移動体に設けられており、例えばＬｉｄａｒ、ＩＭＵ、カメラ、アイトラキングセンサー又はヘッドトラッキングセンサー等を含む。Ｌｉｄａｒは、Light Detection and Rangingの略であり、ｚマップのような３次元情報を取得するセンサーである。ＩＭＵは、Inertial Measurement Unitの略であり、一軸又は複数軸のモーションを検出するセンサーである。ＩＭＵは、例えば加速度センサー、ジャイロセンサー、又はそれらの組み合わせによって構成される。カメラは、２次元情報である画像を撮像するセンサーである。アイトラキングセンサーは、観者の目の位置、視線方向又はそれら両方を検出するセンサーである。ヘッドトラッキングセンサーは、観者の頭部の位置、姿勢又はそれら両方を検出するセンサーである。
【0055】
移動体は、ＨＵＤ４００、観者及びセンサー４５０を載せて実空間内を移動する物体であり、例えば自動車、二輪車、飛行機又は船舶等である。観者は、ＨＵＤ４００に投影される虚像を見るユーザーであり、移動体の操縦者又は搭乗者である。実オブジェクトは、実空間内に存在する物体である。実オブジェクトは、移動体、観者又は実オブジェクトの位置又は姿勢が変動したときに、観者から見たＨＵＤ表示領域内における実オブジェクトの位置又は姿勢が変動するような物体であればよい。
【0056】
トラッキング処理部１１０は、センサー４５０の出力信号に基づいて、移動体、観者又は実オブジェクトの位置、姿勢又はモーションをトラッキングし、その結果をトラッキング情報として出力する。例えば、トラッキング処理部１１０は、Ｌｉｄａｒからの２次元測距情報又はカメラからの２次元画像に基づいて、実オブジェクトをトラッキングする。またトラッキング処理部１１０は、ＩＭＵからの加速度又は角速度の情報に基づいて、自動車をトラッキングする。またトラッキング処理部１１０は、アイトラキングセンサーからの目の位置又は視線方向の情報に基づいて、ドライバーの目をトラッキングする。
【0057】
トラッキング情報は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを示す情報であれば、どのような形態の情報であってもよい。例えば、トラッキング情報は、実空間における位置を示す座標、姿勢を示す角度、平行移動を示すベクトル、又は回転を示す角速度等である。或いは、トラッキング情報は、上記実空間における座標等を画像上における座標、角度、ベクトル又は角速度等に換算した情報であってもよい。トラッキング情報は、移動体の第１トラッキング情報、観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報を含む。但し、トラッキング情報は、第１～第３トラッキング情報のうち少なくとも１つを含んでいればよく、例えば観者の第２トラッキング情報が省略されてもよい。
【0058】
トラッキング処理部１１０は、センサー４５０の出力信号に基づいて、移動体、観者又は実オブジェクトの位置、姿勢又はモーションをトラッキングし、その結果をトラッキング情報として出力する。例えば、トラッキング処理部１１０は、Ｌｉｄａｒからの２次元測距情報又はカメラからの２次元画像に基づいて、実オブジェクトをトラッキングする。またトラッキング処理部１１０は、ＩＭＵからの加速度又は角速度の情報に基づいて、自動車をトラッキングする。またトラッキング処理部１１０は、アイトラキングセンサーからの目の位置又は視線方向の情報に基づいて、ドライバーの目をトラッキングする。
【0059】
トラッキング情報は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを示す情報であれば、どのような形態の情報であってもよい。例えば、トラッキング情報は、実空間における位置を示す座標、姿勢を示す角度、平行移動を示すベクトル、又は回転を示す角速度等である。或いは、トラッキング情報は、上記実空間における座標等を画像上における座標、角度、ベクトル又は角速度等に換算した情報であってもよい。トラッキング情報は、移動体の第１トラッキング情報、観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報を含む。但し、トラッキング情報は、第１～第３トラッキング情報のうち少なくとも１つを含んでいればよく、例えば観者の第２トラッキング情報が省略されてもよい。
【0060】
レンダリング画像生成部１２０は、移動体、観者又は実オブジェクトのトラッキング情報に基づいて仮想オブジェクトをレンダリングし、仮想オブジェクトを含むレンダリング画像ＲＥＮＩＭを出力する。具体的には、レンダリング画像生成部１２０は、ＨＵＤ４００の表示領域において実オブジェクトの見える位置を求め、その実オブジェクトの位置に対応した位置に仮想オブジェクトをレンダリングする。
【0061】
回転補正パラメーター演算部１４０は、トラッキング情報に基づいて、レイテンシー補償パラメーターである回転補正パラメーターＲＴＰＭを求める。ここで用いられるトラッキング情報は、レンダリング処理に用いられるトラッキング情報よりも後にサンプリングされたものである。レイテンシーを最小限にする観点から、パラメーター演算の直前又はできるだけ近いタイミングで取得されたトラッキング情報を用いることが、望ましい。なお、レイテンシー補償パラメーターとは、レンダリング画像における仮想オブジェクトと、表示タイミングにおける仮想オブジェクトとの表示ずれを補償するパラメーターである。本実施形態においては、レイテンシー補償パラメーターは、画像データ上における回転角度、或いは、その回転角度をθとしたときのｓｉｎθとｃｏｓθである。
【0062】
回路装置１６０は、記憶部１６１とワープパラメーター記憶部１４５とワープパラメーター補正部１４６とワープ処理部１３０とを含む。各部の動作は図５で説明した通りである。
【0063】
なお、図６の処理装置１５０と回路装置１６０の構成は一例であって、表示システム１００がトラッキング処理部１１０、レンダリング画像生成部１２０、回転補正パラメーター演算部１４０、記憶部１６１、ワープ処理部１３０、ワープパラメーター記憶部１４５、及びワープパラメーター補正部１４６を含む構成となっていればよい。例えば、図６において回路装置１６０に含まれるワープパラメーター記憶部１４５とワープパラメーター補正部１４６が、処理装置１５０に含まれてもよい。
【0064】
【0065】
レンダリング画像生成部１２０は、時間ｔｒ１において取得されたトラッキング情報からレンダリング画像ＲＥＮＩＭを生成する。本実施形態においては、時間ｔｒ１からＨＵＤ表示までの時間によってレイテンシー、即ち仮想オブジェクトの回転ずれが生じることになる。
【0066】
回転補正パラメーター演算部１４０は、時間ｔｒ１において取得されたトラッキング情報と、時間ｔｒ１よりも後の時間ｔｐ１において取得されたトラッキング情報とから、回転補正パラメーターＲＴＰＭを求める。これにより、時間差ｔｐ１－ｔｒ１の間の回転を補償する回転補正パラメーターＲＴＰＭが求められる。
【0067】
ワープパラメーター補正部１４６は、回転補正パラメーターＲＴＰＭを用いて補正後ワープパラメーターＣＷＰＭを求める。ワープ処理部１３０は、補正後ワープパラメーターＣＷＰＭを用いてワープ処理を行い、第１フレームの表示画像ＤＳＩＭをＨＵＤ４００に出力する。
【0068】
同様に、レンダリング画像生成部１２０は、時間ｔｒ２において取得されたトラッキング情報からレンダリング画像ＲＥＮＩＭを生成する。回転補正パラメーター演算部１４０は、時間ｔｒ２において取得されたトラッキング情報と、時間ｔｒ２よりも後の時間ｔｐ２において取得されたトラッキング情報とから、回転補正パラメーターＲＴＰＭを求める。ワープパラメーター補正部１４６は、回転補正パラメーターＲＴＰＭを用いて補正後ワープパラメーターＣＷＰＭを求める。ワープ処理部１３０は、補正後ワープパラメーターＣＷＰＭを用いてワープ処理を行い、第２フレームの表示画像ＤＳＩＭをＨＵＤ４００に出力する。
【0069】
本実施形態では、補正後ワープパラメーターＣＷＰＭが演算された後、すぐに、その補正後ワープパラメーターＣＷＰＭを用いた座標変換が行われる。このため、回転補正パラメーターＲＴＰＭの演算に用いられるトラッキング情報が取得される時間ｔｐ１、ｔｐ２から、表示画像ＤＳＩＭが表示されるまでの時間を、短くできる。具体的には、第１フレームの次の第２フレームに行われるワープ処理に用いられる回転補正パラメーターＲＴＰＭは、第１フレームにおいて更新されている。即ち、時間ｔｐ１からＨＵＤ表示までのレイテンシーは、１フレームよりも短いことになる。回転補正パラメーターＲＴＰＭの更新タイミングは、第１フレーム内であればよいが、第２フレームの開始に出来るだけ近いタイミングであることが望ましい。例えば、更新タイミングは、第１フレームを２分割した後半期間に属することが望ましく、第１フレームを４分割した最後の期間に属することが更に望ましい。
【0070】
３．第２詳細構成例
図８は、回路装置１６０の第２詳細構成例である。図８では、回路装置１６０がワープパラメーター記憶部１４５を含む。また、座標変換部１３１が歪み補正部１３４と回転補正部１３５とを含み、出力部１３３が補間処理部１３６と出力バッファー１３７とを含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
図８は、回路装置１６０の第２詳細構成例である。図８では、回路装置１６０がワープパラメーター記憶部１４５を含む。また、座標変換部１３１が歪み補正部１３４と回転補正部１３５とを含み、出力部１３３が補間処理部１３６と出力バッファー１３７とを含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
【0071】
歪み補正部１３４は、ワープパラメーターＷＰＭにより出力座標（Ｘｔｒｇ，Ｙｔｒｇ）を変換する第１座標変換を行い、座標（Ｘｒｏｔ，Ｙｒｏｔ）を求める。第１座標変換は、上式（１）に示す演算である。
【0072】
回転補正部１３５は、第１座標変換後の座標（Ｘｒｏｔ，Ｙｒｏｔ）を回転補正パラメーターＲＴＰＭにより回転処理する第２座標変換を行い、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）を求める。第２座標変換は、上式（２）に示す演算である。
【0073】
以上の実施形態によれば、歪み補正とは別に回転ずれ補正を行うので、ワープパラメーターＷＰＭを補正する演算が不要である。また、座標アドレス変換の直前において回転補正部１３５が回転ずれ補正を行う。これにより、上記特許文献２のように一旦メモリーに１画面分のワープパラメーターテーブルを準備する構成に比べて、回転補正パラメーターＲＴＰＭの取得から表示画像ＤＳＩＭの出力までのレイテンシーを短縮できる。
【0074】
図９は、表示システム１００の第２構成例である。表示システム１００は処理装置１５０と回路装置１６０とを含む。処理装置１５０は、トラッキング処理部１１０とレンダリング画像生成部１２０と回転補正パラメーター演算部１４０とを含む。各部は図６で説明した通りである。回路装置１６０は、記憶部１６１とワープパラメーター記憶部１４５とワープ処理部１３０とを含む。各部は図８で説明した通りである。
【0075】
なお、図９の処理装置１５０と回路装置１６０の構成は一例であって、表示システム１００がトラッキング処理部１１０、レンダリング画像生成部１２０、回転補正パラメーター演算部１４０、記憶部１６１、ワープ処理部１３０、及びワープパラメーター記憶部１４５を含む構成となっていればよい。例えば、図９において処理装置１５０に含まれる回転補正パラメーター演算部１４０が、回路装置１６０に含まれてもよい。
【0076】
【0077】
レンダリング画像生成部１２０は、時間ｔｒ１において取得されたトラッキング情報からレンダリング画像ＲＥＮＩＭを生成する。本実施形態においては、時間ｔｒ１からＨＵＤ表示までの時間によってレイテンシー、即ち仮想オブジェクトの回転ずれが生じることになる。
【0078】
回転補正パラメーター演算部１４０は、時間ｔｒ１において取得されたトラッキング情報と、時間ｔｒ１よりも後の時間ｔｐ１において取得されたトラッキング情報とから、回転補正パラメーターＲＴＰＭを求める。これにより、時間差ｔｐ１－ｔｒ１の間の回転を補償する回転補正パラメーターＲＴＰＭが求められる。
【0079】
歪み補正部１３４は、ワープパラメーターＷＰＭを用いて歪み補正を行う。回転補正部１３５は、歪み補正後の座標に対して、回転補正パラメーターＲＴＰＭを用いて回転ずれ補正を行う。座標アドレス変換部１３２は、回転ずれ補正後の座標をリードアドレスに変換し、出力部１３３は、リードアドレスから画素データを読み出し、その画素データにより第１フレームの表示画像ＤＳＩＭをＨＵＤ４００に出力する。
【0080】
同様に、レンダリング画像生成部１２０は、時間ｔｒ２において取得されたトラッキング情報からレンダリング画像ＲＥＮＩＭを生成する。回転補正パラメーター演算部１４０は、時間ｔｒ２において取得されたトラッキング情報と、時間ｔｒ２よりも後の時間ｔｐ２において取得されたトラッキング情報とから、回転補正パラメーターＲＴＰＭを求める。歪み補正部１３４は、ワープパラメーターＷＰＭを用いて歪み補正を行う。回転補正部１３５は、歪み補正後の座標に対して、回転補正パラメーターＲＴＰＭを用いて回転ずれ補正を行う。座標アドレス変換部１３２は、回転ずれ補正後の座標をリードアドレスに変換し、出力部１３３は、リードアドレスから画素データを読み出し、その画素データにより第２フレームの表示画像ＤＳＩＭをＨＵＤ４００に出力する。
【0081】
本実施形態では、回転補正パラメーターＲＴＰＭが演算された後、すぐに、その回転補正パラメーターＲＴＰＭを用いた回転座標変換が行われる。このため、回転補正パラメーターＲＴＰＭの演算に用いられるトラッキング情報が取得される時間ｔｐ１、ｔｐ２から、表示画像ＤＳＩＭが表示されるまでの時間を、短くできる。具体的には、第１フレームの次の第２フレームに行われるワープ処理に用いられる回転補正パラメーターＲＴＰＭは、第１フレームにおいて更新されている。即ち、時間ｔｐ１からＨＵＤ表示までのレイテンシーは、１フレームよりも短いことになる。回転補正パラメーターＲＴＰＭの更新タイミングは、第１フレーム内であればよいが、第２フレームの開始に出来るだけ近いタイミングであることが望ましい。例えば、更新タイミングは、第１フレームを２分割した後半期間に属することが望ましく、第１フレームを４分割した最後の期間に属することが更に望ましい。
【0082】
４．第３詳細構成例と第４詳細構成例
図１１に、第３詳細構成例と第４詳細構成例における処理の説明図を示す。ここでは第３詳細構成例と第４詳細構成例の共通部分を説明し、違いについては図１２と図１３において後述する。なお、図１１では、自動車３０にＨＵＤを搭載した例を主に説明するが、本実施形態のＨＵＤは、飛行機、船舶又は二輪車等の様々な移動体に搭載されてもよい。
図１１に、第３詳細構成例と第４詳細構成例における処理の説明図を示す。ここでは第３詳細構成例と第４詳細構成例の共通部分を説明し、違いについては図１２と図１３において後述する。なお、図１１では、自動車３０にＨＵＤを搭載した例を主に説明するが、本実施形態のＨＵＤは、飛行機、船舶又は二輪車等の様々な移動体に搭載されてもよい。
【0083】
図１１の上段左図に示すように、レンダリング画像には第１表示オブジェクトの画像ＩＭ２４と第２表示オブジェクトの画像ＩＭ２５とが含まれている。画像ＩＭ２４とＩＭ２５はレンダリング画像の一部分を意味しており、レンダリング画像とは別の画像を意味するものでない。
【0084】
ここで、第１表示オブジェクトとは、ＡＲ表示における表示オブジェクト、即ち、ＨＵＤにおいて実空間の実オブジェクトに追従して表示される仮想オブジェクトのことである。図１１の下段図において、前走車１０が実オブジェクトであり、その前走車１０に追従して第１表示オブジェクト２４が表示される。第１表示オブジェクトの画像ＩＭ２４は、ＨＵＤに第１表示オブジェクト２４を表示させるための画像である。図１１の上段左図において、ハッチングを付した図形の部分が画像ＩＭ２４である。
【0085】
第２表示オブジェクトとは、ＨＵＤにおいて実オブジェクトに追従しない表示オブジェクトであり、回路装置１６０からＨＵＤ４００に出力される表示画像ＤＳＩＭにおいて表示位置が固定された表示オブジェクトである。ＨＵＤを見る観者とＨＵＤとの位置関係が変化しない場合、観者の視界において第２表示オブジェクトの表示位置は固定される。図１１の下段図において、固定表示される「１００ｋｍ／ｈ」の文字が第２表示オブジェクト２５である。第２表示オブジェクトの画像ＩＭ２５は、ＨＵＤに第２表示オブジェクト２５を表示させるための画像である。図１１の左図において、「１００ｋｍ／ｈ」の文字の部分が画像ＩＭ２５である。
【0086】
図１１の上段左図と上段右図に示すように、ワープ処理部１３０は、レンダリング画像のうち第１領域ＡＲ１に対しては歪み補正と回転ずれ補正を行う。即ち、座標変換部１３１が、第１領域ＡＲ１に対しては、ワープパラメーターＷＰＭと回転補正パラメーターＲＴＰＭとに基づく座標変換により回転処理を付加した入力座標を求める。ワープ処理部１３０は、レンダリング画像のうち第２領域ＡＲ２に対しては歪み補正を行うが回転ずれ補正を行わない。即ち、座標変換部１３１が、第２領域ＡＲ２に対しては、ワープパラメーターＷＰＭに基づく座標変換により回転処理を付加しない入力座標を求める。以上により、表示画像には、ＨＵＤ４００において生じる歪みをキャンセルする歪みが与えられる。また、表示画像は、歪み補正と回転ずれ補正された第１表示オブジェクトの画像ＩＭ２４’と、歪み補正された第２表示オブジェクトの画像ＩＭ２５’とを含む。
【0087】
ここで、第１領域ＡＲ１とは、レンダリング画像において第１表示オブジェクトの画像ＩＭ２４を含み、且つ第２表示オブジェクトの画像ＩＭ２５を含まない領域である。具体的には、第１領域ＡＲ１は、レンダリング画像のうち第２領域ＡＲ２以外の領域である。なお、レンダリング画像が第３表示オブジェクトの画像を含み、その第３表示オブジェクトがＡＲ表示である場合、第１表示オブジェクトの画像ＩＭ２４と第３表示オブジェクトの画像を含むように第１領域ＡＲ１が設定される。
【0088】
第２領域ＡＲ２とは、レンダリング画像において第２表示オブジェクトの画像ＩＭ２５を含む領域である。具体的には、第２領域ＡＲ２は、第２表示オブジェクトの画像ＩＭ２５の全体を内包する領域である。なお、レンダリング画像が第３表示オブジェクトの画像を含み、その第３表示オブジェクトが固定表示である場合、第２表示オブジェクトの画像ＩＭ２５と第３表示オブジェクトの画像を含むように第２領域ＡＲ２が設定される。
【0089】
図１１の上段右図と下段図に示すように、ワープ処理部１３０は表示画像をＨＵＤ４００に出力する。ＨＵＤ４００が表示画像をスクリーンに投影し、そのスクリーンを観者が見ることによって、観者からは、表示画像が虚像として実空間に重なって見えることになる。図１１の下段図には、観者であるドライバーがＨＵＤ４００を介して見るＡＲ表示を示している。ドライバーは、フロントガラスを通して、前走車１０、前走車１０が走る道路、及びそれらの周囲の風景を見ている。またドライバーは、ＨＵＤ４００がスクリーンの表示領域４０内に投影した虚像を見ている。表示領域４０は、ＨＵＤ４００が虚像を投影可能な範囲を示している。
【0090】
この虚像には第１表示オブジェクト２４と第２表示オブジェクト２５が含まれる。具体的には、図１１の上段右図の表示画像において第１表示オブジェクトの画像ＩＭ２４’と第２表示オブジェクトの画像ＩＭ２５’以外の部分は、ＨＵＤ４００において透明表示となる黒色である。ＨＵＤ４００により投影される表示画像のうち第１表示オブジェクトの画像ＩＭ２４’によって第１表示オブジェクト２４が投影され、第２表示オブジェクトの画像ＩＭ２５’によって第２表示オブジェクト２５が投影される。そして、虚像において、上記表示オブジェクト以外の部分は透明であり、観者からは表示オブジェクトのみが実空間に重なって見えることになる。ここでは、ＨＵＤ４００が生成する虚像全体を「虚像」と呼んでおり、そのうち透明ではなく観者から認識される部分を「表示オブジェクト」と呼んでいる。なお、表示オブジェクトの背景は必ずしも透明である必要はなく、その場合には、虚像のうちの特定部分を表示オブジェクトと呼んでもよい。
【0091】
以上の実施形態によれば、実オブジェクトに追従させる第１表示オブジェクト２４については回転ずれ補正が行われると共に、実オブジェクトに追従させない第２表示オブジェクト２５については回転ずれ補正が行われない。これにより、ＨＵＤ４００により投影される虚像のうち第１表示オブジェクト２４については、回転ずれ補正を加えたＡＲ表示を実現でき、回転ずれ補正されない場合に比べて前走車１０に正確に追従させることができる。一方、ＡＲ表示の対象でない第２表示オブジェクト２５については、ＨＵＤの観者の視界に固定表示でき、自動車３０の位置又は姿勢の変化に影響されない見やすい表示となる。
【0092】
図１２は、回路装置１６０の第３詳細構成例である。図１２では、第１詳細構成例に比べて、回路装置１６０がワープパラメーター選択部１６２を含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
【0093】
ワープパラメーター選択部１６２は、ＡＲ表示に対応した第１領域ＡＲ１がワープ処理されるとき補正後ワープパラメーターＣＷＰＭを選択し、固定表示に対応した第２領域ＡＲ２がワープ処理されるときワープパラメーターＷＰＭを選択する。選択されたパラメーターは、ワープパラメーターＰＲＭＱとしてワープ処理部１３０に出力される。座標変換部１３１は、ワープパラメーターＰＲＭＱを用いて座標変換を行う。これにより、座標変換部１３１は、ＡＲ表示に対応した第１領域ＡＲ１に対しては、ワープパラメーターＷＰＭと回転補正パラメーターＲＴＰＭとに基づく座標変換を行い、固定表示に対応した第２領域ＡＲ２に対しては、ワープパラメーターＷＰＭに基づく座標変換を行う。
【0094】
ワープパラメーター選択部１６２は、ワープ処理部１３０がワープ処理している画素の座標から第１領域ＡＲ１又は第２領域ＡＲ２を判別できる。インバースワープでは、出力側の表示画像の画素が、第１領域ＡＲ１又は第２領域ＡＲ２のいずれに対応するかが判定される。レンダリング画像と表示画像は歪み補正により対応づけられており、その対応から領域が判定可能である。
【0095】
本実施形態によれば、ワープパラメーターＷＰＭと回転補正パラメーターＲＴＰＭとに基づく座標変換が第１領域ＡＲ１に対して行われることで、第１表示オブジェクトの画像ＩＭ２４に対して歪み補正と回転ずれ補正が行われる。また、ワープパラメーターＷＰＭに基づく座標変換が第２領域ＡＲ２に対して行われることで、第２表示オブジェクトの画像ＩＭ２５に対して歪み補正が行われ、回転ずれ補正が行われない。
【0096】
図１３は、回路装置１６０の第４詳細構成例である。図１３では、第２詳細構成例に比べて、回転補正部１３５が領域に応じた回転処理を行う。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
【0097】
ＡＲ表示に対応した第１領域ＡＲ１に対しては、歪み補正部１３４がワープパラメーターＷＰＭにより出力座標（Ｘｔｒｇ，Ｙｔｒｇ）を変換する第１座標変換を行い、回転補正部１３５が、第１座標変換後の座標（Ｘｒｏｔ，Ｙｒｏｔ）を回転補正パラメーターＲＴＰＭにより回転処理する第２座標変換を行う。回転補正部１３５は、第２座標変換により得られた入力座標（Ｘｓｒｃ，Ｙｓｒｃ）を、座標アドレス変換部１３２へ出力する。一方、固定表示に対応した第２領域ＡＲ２に対しては、歪み補正部１３４が第１座標変換を行うが、回転補正部１３５が第２座標変換を行わない。回転補正部１３５は、第１座標変換後の座標（Ｘｒｏｔ，Ｙｒｏｔ）を入力座標（Ｘｓｒｃ，Ｙｓｒｃ）として座標アドレス変換部１３２へ出力する。回転補正部１３５は、例えば、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）に基づいて、その座標が第１領域ＡＲ１に属するか第２領域ＡＲ２に属するかを判定する。或いは、回転補正部１３５は、出力座標（Ｘｔｒｇ，Ｙｔｒｇ）から入力座標（Ｘｓｒｃ，Ｙｓｒｃ）を計算し、その入力座標（Ｘｓｒｃ，Ｙｓｒｃ）が第１領域ＡＲ１に属するか第２領域ＡＲ２に属するかを判定してもよい。回転補正部１３５は、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）が第１領域ＡＲ１に属する場合には第２座標変換を行い、入力座標（Ｘｓｒｃ，Ｙｓｒｃ）が第２領域ＡＲ２に属する場合には第２座標変換を行わない。
【0098】
本実施形態によれば、第１領域ＡＲ１に対して第１座標変換と第２座標変換が行われることで、第１表示オブジェクトの画像ＩＭ２４に対して歪み補正と回転ずれ補正が行われる。また、第２領域ＡＲ２に対して第１座標変換が行われるが第２座標変換が行われないことで、第２表示オブジェクトの画像ＩＭ２５に対して歪み補正が行われ、回転ずれ補正が行われない。
【0099】
５．電子機器
図１４は、回路装置１６０が適用される電子機器５００の構成例である。電子機器５００は、処理装置１５０とＨＵＤ４００とを含む。
図１４は、回路装置１６０が適用される電子機器５００の構成例である。電子機器５００は、処理装置１５０とＨＵＤ４００とを含む。
【0100】
ＨＵＤ４００は、ＨＵＤコントローラーである回路装置１６０と、投影装置５３２とを含む。処理装置１５０は、レンダリング画像を回路装置１６０に送信する。回路装置１６０はレンダリング画像をワープ処理し、その結果である表示画像と共に表示制御信号を投影装置５３２に出力する。投影装置５３２は、例えば表示ドライバーと液晶表示パネルと光源と光学装置とを含む。表示ドライバーは、回路装置１６０から受信した画像データと表示制御信号に基づいて液晶表示パネルに画像を表示させる。光源は液晶表示パネルに投影光を出射し、液晶表示パネルを透過した投影光は光学装置に入射する。光学装置は、液晶表示パネルを透過した投影光をスクリーンに投影する。スクリーンは例えば移動体のフロントガラスであるが、専用のスクリーンが設けられてもよい。移動体は自動車、飛行機又は船舶等である。
【0101】
以上に説明した本実施形態の回路装置は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示制御を行う。回路装置は、仮想オブジェクトを含むレンダリング画像を記憶する記憶部と、レンダリング画像に対するワープ処理を行い、表示領域に表示される表示画像を生成するワープ処理部と、を含む。ワープ処理部は、座標変換部と座標アドレス変換部と出力部とを含む。座標変換部は、光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、表示画像上の座標である出力座標を、レンダリング画像上の座標である入力座標に変換することで、回転補正パラメーターが示す回転を補正する回転処理を付加した入力座標を求める。座標アドレス変換部は、入力座標を記憶部のリードアドレスに変換する。出力部は、記憶部のリードアドレスからレンダリング画像の画素データを読み出し、読み出した画素データに基づいて、表示画像の出力座標における画素データを出力する。
【0102】
本実施形態によれば、記憶部から画素データを読み出す直前において、ワープパラメーターと回転補正パラメーターとに基づく座標変換が実行され、その読み出された画素データに基づいて表示画像が出力される。これにより、回転ずれ補正から表示画像の出力までのレイテンシーを最小限にすることが可能となる。例えば、ＡＲ表示に本実施形態を適用した場合には、実オブジェクトに対して高精度に仮想オブジェクトを追従させることが可能となる。
【0103】
また本実施形態では、回路装置は、回転補正パラメーターによりワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部を含んでもよい。座標変換部は、補正後ワープパラメーターを用いて座標変換を行ってもよい。
【0104】
本実施形態によれば、座標変換部による座標変換の直前においてワープパラメーター補正部が補正後ワープパラメーターを演算し、座標変換部が、その補正後ワープパラメーターを用いて出力座標を入力座標に座標変換する。これにより、上記特許文献２のように一旦メモリーに１画面分のワープパラメーターテーブルを準備する構成に比べて、回転補正パラメーターの取得から表示画像の出力までのレイテンシーを短縮できる。
【0105】
また本実施形態では、座標変換部は、ワープパラメーターにより出力座標を変換する第１座標変換と、第１座標変換後の座標を回転補正パラメーターにより回転処理する第２座標変換とを、座標変換として行ってもよい。
【0106】
本実施形態によれば、歪み補正とは別に回転ずれ補正を行うので、ワープパラメーターを補正する演算が不要である。また、座標アドレス変換の直前において回転補正部が回転ずれ補正を行う。これにより、上記特許文献２のように一旦メモリーに１画面分のワープパラメーターテーブルを準備する構成に比べて、回転補正パラメーターの取得から表示画像の出力までのレイテンシーを短縮できる。
【0107】
また本実施形態では、回転補正パラメーターは、ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、ヘッドアップディスプレイの観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターであってもよい。
【0108】
本実施形態によれば、補正後ワープパラメーターが演算された後、すぐに、その補正後ワープパラメーターを用いた座標変換が行われる。このため、回転補正パラメーターの演算に用いられるトラッキング情報が取得される時間から、表示画像が表示されるまでの時間を、短くできる。これにより、表示画像の表示タイミングに出来るだけ近いタイミングで取得された回転補正パラメーターにより回転ずれ補正が実行されるので、レンダリング画像がレンダリングされてから表示画像が表示されるまでのレイテンシーを高精度に補償できる。
【0109】
また本実施形態では、ワープパラメーターは、映像の歪みを補正する多項式の係数であってもよい。
【0110】
テーブル方式の歪み補正では、複数の座標に対応した複数のパラメーターを用いる。例えば上記特許文献２では、その複数のパラメーターの各パラメーターに振動補正を施しているため、その演算に時間がかかる。この点、本実施形態によれば、多項式により歪み補正を行うため、１組のワープパラメーターのみでワープ処理を実現できる。これにより、テーブル方式に比べて演算時間を短縮することが可能となる。
【0111】
また本実施形態では、座標変換部は、第１フレームの次の第２フレームに行われるワープ処理において、第１フレームにおいて更新された回転補正パラメーターを用いて回転処理を付加した入力座標を求めてもよい。
【0112】
本実施形態によれば、回転補正パラメーターの演算に用いられるトラッキング情報が取得される時間から、ＨＵＤ表示までのレイテンシーが、１フレームよりも短くなる。これにより、表示画像の表示タイミングに出来るだけ近いタイミングで取得された回転補正パラメーターにより回転ずれ補正が実行される。
【0113】
また本実施形態では、座標アドレス変換部は、リードアドレスである基準リードアドレスに基づいてリードアドレス群を生成してもよい。出力部は、リードアドレス群に対応する画素データ群を読み出し、画素データ群の補間処理を行うことで、出力座標の画素データを生成する補間処理部を含んでもよい。
【0114】
インバースワープにおいて、出力座標を座標変換して得られる入力座標は、レンダリング画像の画素位置に一致するとは限らない。本実施形態によれば、入力座標における画素データを画素データ群から補間でき、その画素データを出力座標の画素データにできる。
【0115】
また本実施形態では、記憶部は、仮想オブジェクトである第１表示オブジェクトの画像と、第２表示オブジェクトの画像とを含むレンダリング画像を記憶してもよい。座標変換部は、レンダリング画像のうち第１表示オブジェクトの画像に対しては、ワープパラメーターと回転補正パラメーターとに基づく座標変換により、回転処理を付加した入力座標を求めてもよい。座標変換部は、レンダリング画像のうち第２表示オブジェクトの画像に対しては、ワープパラメーターに基づく座標変換により、回転処理を付加しない入力座標を求めてもよい。
【0116】
本実施形態によれば、実オブジェクトに追従させる第１表示オブジェクトについては回転ずれ補正が行われると共に、実オブジェクトに追従させない第２表示オブジェクトについては回転ずれ補正が行われない。これにより、ＨＵＤにより投影される虚像のうち第１表示オブジェクトについては、回転ずれ補正を加えたＡＲ表示を実現できる。一方、ＡＲ表示の対象でない第２表示オブジェクトについては、ＨＵＤの観者の視界に固定表示でき、移動体の位置又は姿勢の変化に影響されない見やすい表示となる。
【0117】
また本実施形態では、回路装置は、回転補正パラメーターによりワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部と、パラメーター選択部と、を含んでもよい。記憶部は、第１表示オブジェクトの画像と第２表示オブジェクトの画像とを含むレンダリング画像を記憶してもよい。レンダリング画像のうち第１表示オブジェクトの画像に対しては、パラメーター選択部は、補正後ワープパラメーターを選択し、座標変換部は、補正後ワープパラメーターを用いて座標変換を行ってもよい。レンダリング画像のうち第２表示オブジェクトの画像に対しては、パラメーター選択部は、ワープパラメーターを選択し、座標変換部は、ワープパラメーターを用いて座標変換を行ってもよい。
【0118】
本実施形態によれば、ワープパラメーターと回転補正パラメーターとに基づく座標変換が第１表示オブジェクトの画像に対して行われることで、第１表示オブジェクトの画像に対して歪み補正と回転ずれ補正が行われる。また、ワープパラメーターに基づく座標変換が第２表示オブジェクトの画像に対して行われることで、第２表示オブジェクトの画像に対して歪み補正が行われ、回転ずれ補正が行われない。
【0119】
また本実施形態では、記憶部は、第１表示オブジェクトの画像と第２表示オブジェクトの画像とを含むレンダリング画像を記憶してもよい。座標変換部は、レンダリング画像のうち第１表示オブジェクトの画像に対しては、ワープパラメーターにより出力座標を変換する第１座標変換と、第１座標変換後の座標を回転補正パラメーターにより回転処理する第２座標変換とを、座標変換として行ってもよい。座標変換部は、レンダリング画像のうち第２表示オブジェクトの画像に対しては、第１座標変換を座標変換として行ってもよい。
【0120】
本実施形態によれば、第１表示オブジェクトの画像に対して第１座標変換と第２座標変換が行われることで、第１表示オブジェクトの画像に対して歪み補正と回転ずれ補正が行われる。また、第２表示オブジェクトの画像に対して第１座標変換が行われるが第２座標変換が行われないことで、第２表示オブジェクトの画像に対して歪み補正が行われ、回転ずれ補正が行われない。
【0121】
また本実施形態の表示システムは、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示する。表示システムは、仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、レンダリング画像を記憶する記憶部と、レンダリング画像に対するワープ処理を行い、表示領域に表示される表示画像を生成するワープ処理部と、を含む。ワープ処理部は、座標変換部と座標アドレス変換部と出力部とを含む。座標変換部は、光学系に起因した映像の歪みに応じたワープパラメーターと回転補正パラメーターとに基づく座標変換により、表示画像上の座標である出力座標を、レンダリング画像上の座標である入力座標に変換することで、回転補正パラメーターが示す回転を補正する回転処理を付加した入力座標を求める。座標アドレス変換部は、入力座標を記憶部のリードアドレスに変換する。出力部は、記憶部のリードアドレスからレンダリング画像の画素データを読み出し、読み出した画素データに基づいて、表示画像の出力座標における画素データを出力する。
【0122】
また本実施形態では、表示システムは、回転補正パラメーターによりワープパラメーターを補正することで、補正後ワープパラメーターを演算するワープパラメーター補正部を含んでもよい。座標変換部は、補正後ワープパラメーターを用いて座標変換を行ってもよい。
【0123】
また本実施形態では、座標変換部は、ワープパラメーターにより出力座標を変換する第１座標変換と、第１座標変換後の座標を回転補正パラメーターにより回転処理する第２座標変換とを、座標変換として行ってもよい。
【0124】
また本実施形態では、表示システムは、回転補正パラメーター演算部を含んでもよい。回転補正パラメーター演算部は、ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、ヘッドアップディスプレイの観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、回転補正パラメーターを演算してもよい。回転補正パラメーターは、レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターであってもよい。
【0125】
また、本実施形態の電子機器は、上記のいずれかに記載の回路装置を含む。
【0126】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また回路装置、表示システム、ＨＵＤ、及び電子機器等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0127】
１０…前走車、２０…仮想オブジェクト、２４…第１表示オブジェクト、２５…第２表示オブジェクト、３０…自動車、４０…表示領域、１００…表示システム、１１０…トラッキング処理部、１２０…レンダリング画像生成部、１３０…ワープ処理部、１３１…座標変換部、１３２…座標アドレス変換部、１３３…出力部、１３４…歪み補正部、１３５…回転補正部、１３６…補間処理部、１３７…出力バッファー、１４０…回転補正パラメーター演算部、１４５…ワープパラメーター記憶部、１４６…ワープパラメーター補正部、１５０…処理装置、１６０…回路装置、１６１…記憶部、１６２…ワープパラメーター選択部、４００…ＨＵＤ、４５０…センサー、５００…電子機器、５３２…投影装置、ＡＲ１…第１領域、ＡＲ２…第２領域、ＣＷＰＭ…補正後ワープパラメーター、ＤＳＩＭ…表示画像、ＩＭ２４…第１表示オブジェクトの画像、ＩＭ２５…第２表示オブジェクトの画像、ＲＣ…回転中心、ＲＥＮＩＭ…レンダリング画像、ＲＴＰＭ…回転補正パラメーター、ＷＰＭ…ワープパラメーター
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】