特許 7180079 回路装置及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】回路装置及び電子機器

(51)【国際特許分類】

   H04N 5/74 20060101AFI20221122BHJP

   G09G 5/00 20060101ALI20221122BHJP

   G09G 5/36 20060101ALI20221122BHJP

   G09F 9/00 20060101ALI20221122BHJP

   G02B 27/01 20060101ALI20221122BHJP

【ＦＩ】

H04N5/74 D

G09G5/00 510B

G09G5/36 520C

G09G5/36 520G

G09F9/00 359

G02B27/01

【請求項の数】 9

(21)【出願番号】P 2018034613

(22)【出願日】2018-02-28

(65)【公開番号】P2019149760

(43)【公開日】2019-09-05

【審査請求日】2021-01-25

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(74)【代理人】

【識別番号】100187539

【弁理士】

【氏名又は名称】藍原 由和

(72)【発明者】

【氏名】アナンド クマー アナンダバイラバサミー

(72)【発明者】

【氏名】マンフレッド ウィットマイアー

(72)【発明者】

【氏名】エリック ジェフリー

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２００７－２２１３６５（ＪＰ，Ａ）

【文献】国際公開第２００７／０７２６９５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｆ ９／００

Ｇ０２Ｂ ２７／０１

(57)【特許請求の範囲】

【請求項1】

入力された第１の画像を、被投影体に投影するための第２の画像にマッピング処理する第１のマッピング処理と、前記第１のマッピング処理の逆マッピング処理により前記第２の画像を第３の画像に変換する第２のマッピング処理とを行う画像処理回路と、
前記第１の画像と前記第３の画像との間の比較を行う比較回路と、
前記比較の結果に基づいて前記第２の画像のエラー検出を行うことで、前記第１のマッピング処理の処理異常を検出するエラー検出回路と、
を含み、
前記画像処理回路は、
前記被投影体に対応するマップデータから生成された第１のマップデータを用いて前記第１のマッピング処理を行い、
前記エラー検出回路は、
前記第２の画像の前記エラー検出を行うことで、前記第１のマップデータの異常及び前記第１のマッピング処理の前記処理異常を検出することを特徴とする回路装置。

【請求項2】

請求項１において、
前記比較回路は、
前記第１の画像の画素値と前記第３の画像の画素値とに基づいて、又は前記第１の画像のエッジ画像の画素値と前記第３の画像のエッジ画像の画素値とに基づいて、前記第１の画像と前記第３の画像との間の一致度合いを示す指標を、前記比較の結果として求めることを特徴とする回路装置。

【請求項3】

請求項１又は２において、
前記画像処理回路は、
前記マップデータである第２のマップデータを用いて前記第２のマッピング処理を行うことを特徴とする回路装置。

【請求項4】

請求項１乃至３のいずれかにおいて、
前記エラー検出回路により前記処理異常と判定されたときの回路装置の動作モードが設定される動作モード設定レジスターを含むことを特徴とする回路装置。

【請求項5】

請求項４において、
表示パネルを駆動する表示ドライバーに前記第２の画像を出力するインターフェースを含み、
前記動作モード設定レジスターには、
前記第２の画像を非表示にすることで前記表示パネルを非表示状態に設定するモードが、前記動作モードとして設定されることを特徴とする回路装置。

【請求項6】

請求項４において、
前記動作モード設定レジスターには、
前記処理異常の検出結果を前記回路装置の外部装置に通知するモード、前記第２の画像を非表示にするモード、又は特定の画像を表示させるモードが、前記動作モードとして設定されることを特徴とする回路装置。

【請求項7】

請求項１乃至６のいずれかにおいて、
前記エラー検出回路は、
前記比較の結果と、前記第２の画像のエラーを判定するための閾値との比較により、前記処理異常の検出を行うことを特徴とする回路装置。

【請求項8】

請求項７において、
前記閾値が設定される閾値レジスターを含むことを特徴とする回路装置。

【請求項9】

請求項１乃至８のいずれかに記載の回路装置を含むことを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、回路装置及び電子機器等に関する。

【背景技術】

【0002】

２次元画像を被投影体に投影し、その投影された画像がユーザーに提示されるヘッドアップディスプレイ（ＨＵＤ：Head Up Display）が知られている。被投影体は例えば自動車のフロントガラス等であり、非平面形状であることが多い。このため、画像を非平面に投影したときに、歪んでいない画像がユーザーに提示されるように、ヘッドマウントディスプレイコントローラー（ＨＵＤＣ：Head Up Display Controller）が画像のマッピング処理を行う。

【0003】

マッピング処理の従来技術は例えば特許文献１に開示されている。特許文献１には、出所配列と行先配列との間の画素のマッピング手法が記載されており、特に行先配列から出所配列への逆マッピングの手法が詳細に記載されている。出所配列は、マッピング処理前の画素の配列であり、行先配列は、出所配列をマッピング処理により座標変換するときの行先となる画素の配列である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１０－４９６６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のようにヘッドアップディスプレイコントローラーがマッピング処理を行った場合、ヘッドアップディスプレイに表示された画像が適切な表示内容かどうかという問題がある。即ち、マッピング処理に用いられるマップデータや、そのマップデータを用いた座標変換が正常であるか否かを確認したいという課題がある。マッピング処理の従来技術では、マッピングの手法そのものは開示されているが、マッピング処理が正常であるかを確認する手法は開示されていない。

【課題を解決するための手段】

【0006】

本発明の一態様は、入力された第１の画像を、被投影体に投影するための第２の画像にマッピング処理する第１のマッピング処理と、前記第１のマッピング処理の逆マッピング処理により前記第２の画像を第３の画像に変換する第２のマッピング処理とを行う画像処理回路と、前記第１の画像と前記第３の画像との間の比較を行い、前記比較の結果を、前記第２の画像のエラー検出を行うための情報として出力する比較回路と、を含む回路装置に関係する。

【0007】

また本発明の一態様では、前記比較回路は、前記第１の画像の画素値と前記第３の画像の画素値とに基づいて、又は前記第１の画像のエッジ画像の画素値と前記第３の画像のエッジ画像の画素値とに基づいて、前記第１の画像と前記第３の画像との間の一致度合いを示す指標を、前記比較の結果として求めてもよい。

【0008】

また本発明の一態様では、前記画像処理回路は、前記被投影体に対応するマップデータから生成された第１のマップデータを用いて前記第１のマッピング処理を行い、前記マップデータである第２のマップデータを用いて前記第２のマッピング処理を行ってもよい。

【0009】

また本発明の他の態様は、被投影体に対応するマップデータに基づいて、入力された第１の画像を、前記被投影体に投影するための第２の画像にマッピング処理する第１のマッピング処理と、前記マップデータに基づいて、前記第１のマッピング処理とは異なる第２のマッピング処理により前記第１の画像を第３の画像に変換する第２のマッピング処理とを行う画像処理回路と、前記第２の画像と前記第３の画像との間の比較を行い、前記比較の結果を、前記第２の画像のエラー検出を行うための情報として出力する比較回路と、を含む回路装置に関係する。

【0010】

また本発明の他の態様では、前記比較回路は、前記第２の画像の画素値と前記第３の画像の画素値とに基づいて、又は前記第２の画像のエッジ画像の画素値と前記第３の画像のエッジ画像の画素値とに基づいて、前記第２の画像と前記第３の画像との間の一致度合いを示す指標を、前記比較の結果として求めてもよい。

【0011】

また本発明の他の態様では、前記画像処理回路は、前記マップデータから生成された第１のマップデータを用いて前記第１のマッピング処理を行い、前記マップデータである第２のマップデータを用いて前記第２のマッピング処理を行ってもよい。

【0012】

また本発明の他の態様では、前記画像処理回路は、前記第１の画像よりも低解像度の前記第３の画像を生成し、前記比較回路は、前記第２の画像に対して、前記第３の画像の解像度に合わせる低解像度化を行い、前記第３の画像と前記低解像度化後の前記第２の画像とを比較してもよい。

【0013】

また本発明の他の態様では、前記比較の結果に基づいて前記第２の画像のエラー検出を行うエラー検出回路を含んでもよい。

【0014】

また本発明の他の態様では、前記エラー検出回路によりエラーと判定されたときの回路装置の動作モードが設定される動作モード設定レジスターを含んでもよい。

【0015】

また本発明の他の態様では、前記動作モード設定レジスターには、前記エラー検出の結果を前記回路装置の外部装置に通知するモード、前記第２の画像を非表示にするモード、又は特定の画像を表示させるモードが、前記動作モードとして設定されてもよい。

【0016】

また本発明の他の態様では、前記エラー検出回路は、前記比較の結果と、前記第２の画像のエラーを判定するための閾値との比較により、前記エラー検出を行ってもよい。

【0017】

また本発明の他の態様では、前記閾値が設定される閾値レジスターを含んでもよい。

【0018】

また本発明の更に他の態様は、上記のいずれかに記載の回路装置を含む電子機器に関係する。

【図面の簡単な説明】

【0019】

【図1】本実施形態の回路装置の第１の構成例。

【図2】第１の構成例の回路装置の変形例。

【図3】第１の構成例の回路装置の動作を模式的に示した図。

【図4】本実施形態の回路装置の第２の構成例。

【図5】比較回路の詳細な構成例。

【図6】本実施形態の回路装置の第３の構成例。

【図7】第３の構成例の回路装置の動作を模式的に示した図。

【図8】本実施形態の回路装置の第４の構成例。

【図9】解析画像の第１の例。

【図10】基準画像の例。

【図11】基準画像の平均化画像。

【図12】解析画像の第２の例。

【図13】解析画像の第３の例。

【図14】解析画像の第４の例。

【図15】関心領域における解析画像の例。

【図16】解析画像から計算されたエッジ値の例。

【図17】関心領域におけるＹＣｂＣｒの各チャンネルのヒストグラム。

【図18】ヒストグラムに相互相関演算を行って得られた相互相関値。

【図19】解析画像と基準画像のヒストグラムの例。

【図20】解析画像と基準画像のヒストグラムの相互相関値の例。

【図21】電子機器の構成例。

【発明を実施するための形態】

【0020】

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

【0021】

１．第１、第２の構成例
図１は、本実施形態の回路装置の第１の構成例である。回路装置１００は、インターフェース１１０（第１のインターフェース）、前処理回路１２５、画像処理回路１３５、インターフェース１４０（第２のインターフェース）、比較回路１４５、レジスター回路１７０、インターフェース１９０（第３のインターフェース）を含む。回路装置１００は、例えば集積回路装置（ＩＣ）である。

【0022】

インターフェース１１０は、例えば処理装置２００等から回路装置１００に送信される画像データを受信し、その受信した画像データを、回路装置１００の内部で用いられる形式に変換する。例えば、インターフェース１１０はＯｐｅｎＬＤＩ（Open LVDS Display Interface）であり、ＬＶＤＳ（Low Voltage Differential Signaling）で受信したシリアル信号を、ＲＧＢのパラレル信号に変換する。処理装置２００は、例えばＳｏＣ（System on a Chip）やＭＣＵ（Micro Control Unit）、ＣＰＵ（Central Processing Unit）等である。

【0023】

前処理回路１２５は、インターフェース１１０から入力される画像データに対して前処理を行い、前処理後の画像ＩＭＡ１を出力する。例えば、前処理回路１２５は、ガンマ補正やＦＲＣ（Frame Rate Control）、ホワイトバランス処理等を前処理として行う。前処理回路１２５は、画像処理回路１３５に入力される画像を取得する回路であり、画像取得回路とも呼ぶ。

【0024】

画像処理回路１３５は、被投影体の表面形状に合わせて画像をマッピングするマッピング処理部ＷＥＡ１と、その逆マッピングを行うマッピング処理部ＷＥＡ２と、を含む。具体的には、マッピング処理部ＷＥＡ１は、前処理回路１２５が出力した画像ＩＭＡ１に対して、マップデータＭＰＡ１を用いたマッピング処理を行い、マッピング処理後の画像ＩＭＡ２を出力する。このマッピング処理は、被投影体に投影された画像がユーザーから見て歪んでいない状態となるように、画像ＩＭＡ１を変形する処理である。マッピング処理部ＷＥＡ２は、マッピング処理部ＷＥＡ１が出力した画像ＩＭＡ２に対して、マップデータＭＰＡ２を用いたマッピング処理を行い、マッピング処理後の画像ＩＭＡ３を出力する。このマッピング処理は、マッピング処理部ＷＥＡ１が行うマッピング処理の逆変換に相当する。即ち、被投影体に合わせて変形された画像ＩＭＡ２を、変形前の画像に戻す変換である。

【0025】

マッピング処理にエラーが無い場合、画像ＩＭＡ３とＩＭＡ１の一致度合いが高いので、後述する比較回路１４５により画像ＩＡＭ３とＩＭＡ１とを比較することで、表示画像である画像ＩＭＡ２が正常な画像であるかを検出できる。なお、画像ＩＭＡ３とＩＭＡ１は必ずしも画像データとして完全に一致する必要はなく、比較回路１４５によって比較可能な程度に画像が相似していればよい。即ち、マッピング処理部ＷＥＡ２が行うマッピング処理は、マッピング処理部ＷＥＡ１が行うマッピング処理に対して逆変換であるが、画像ＩＭＡ３とＩＭＡ１が完全に一致するような逆変換である必要はない。

【0026】

被投影体とは、画像ＩＡＭ２が投影又は表示される物体のことである。即ち、画像ＩＭＡ２は、インターフェース１４０から投影装置に出力され、投影装置が画像ＩＭＡ２を被投影体に投影する。この被投影体に投影された画像がユーザーに提示される。投影装置は、例えば液晶表示パネルと、その液晶表示パネルを駆動する表示ドライバーと、光源と、レンズとを含む。表示ドライバーは受信した画像データに基づいて液晶表示パネルに画像を表示させ、光源が液晶表示パネルに光を出力し、液晶表示パネルを通過した光がレンズにより被投影体に投影される。被投影体は、投影された光を反射する反射面を有しており、例えば反射面は被投影体の表面である。反射面は、入射光の少なくとも一部を反射する面であり、反射は、乱反射、正反射のいずれであってもよい。被投影体は、ヘッドアップディスプレイが画像を投影する対象物であり、例えば車載のヘッドアップディスプレイの場合には被投影体は自動車のフロントガラス等である。なお、被投影体は、この例に限定されず、投影装置によって画像が投影又は表示される対象物であればよい。

【0027】

マッピング処理とは、マップデータに基づいて画像の画素位置を座標変換する処理である。マッピング処理は、座標変換に伴う処理として、画素値の補間処理等を含むことができる。マッピング処理としてはフォワードマッピングとリバースマッピングがある。フォワードマッピングでは、処理前の画像の画素位置を、処理後の画像の画素位置に座標変換し、その座標変換の結果を用いて処理後の画像を生成する。即ち、処理前の画像の画素を順次に選択していき、その選択された画素の画素位置（ｘａ，ｙａ）を座標変換し、その画素の画素値を、座標変換後の画素位置（ｕａ，ｖａ）における画素値とする。一方、リバースマッピングでは、処理後の画像の画素位置を、処理前の画像の画素位置に座標変換し、その座標変換の結果を用いて処理後の画像を生成する。即ち、処理後の画像の画素位置を順次に選択していき、その選択された画素位置（ｕｂ，ｖｂ）を処理前の画像の画素位置に座標変換し、その画素位置（ｘｂ，ｙｂ）の画素の画素値を、処理後の画像の画素位置（ｕｂ，ｖｂ）における画素値とする。

【0028】

マップデータとは、被投影体の反射面の形状に対応した座標変換を示すデータであり、マッピング処理前の画像の画素位置とマッピング処理後の画像の画素位置との間を対応付けるデーブルデータである。フォワードマッピングに用いられるマップをフォワードマップと呼び、そのマップデータは、マッピング処理前の画像の画素位置（ｘａ，ｙａ）に対して、マッピング処理後の画像の画素位置（ｕａ，ｖａ）が対応付けられたデーブルデータである。リバースマッピングに用いられるマップをリバースマップと呼び、そのマップデータは、マッピング処理後の画像の画素位置（ｕｂ，ｖｂ）に対して、マッピング処理前の画像の画素位置（ｘｂ，ｙｂ）が対応付けられたデーブルデータである。マッピング処理部ＷＥＡ１、ＷＥＡ２が用いるマップデータＭＰＡ１、ＭＰＡ２は、例えば処理装置２００からインターフェース１９０を介してマッピング処理部ＷＥＡ１、ＷＥＡ２に入力される。

【0029】

インターフェース１４０は、画像ＩＭＡ２を回路装置１００の外部に出力する。回路装置１００の外部とは、例えば表示パネルを駆動する表示ドライバーである。例えば、インターフェース１４０はＬＶＤＳのインターフェースであり、画像処理回路１３５からのＲＧＢのパラレル信号をＬＶＤＳのシリアル信号に変換する。

【0030】

比較回路１４５は、画像ＩＭＡ１と画像ＩＭＡ３との間の比較処理を行い、その比較結果を出力する。この比較結果は、画像ＩＭＡ２のエラーを検出するために用いられる。即ち、マップデータＭＰＡ１及び、マッピング処理部ＷＥＡ１が行うマッピング処理が正常であったか否かを検証するために用いられる。具体的には、比較回路１４５は、画像ＩＭＡ１と画像ＩＭＡ３との間の一致度合いを示す指標を求める。この指標は、後述する形状指標又に相当するものであり、画像ＩＭＡ１とＩＭＡ３に表示されているものの形状又はそのエッジの一致度合いに応じて値が変化する指標である。或いは、指標として後述する視認性指標を求めてもよい。視認性指標は、アイコン等が表示される関心領域の画像と、それ以外の背景領域の画像との間の非類似度合いに応じて値が変化する指標である。関心領域の画像は前景画像とも呼ぶ。具体的には、画像ＩＭＡ１、ＩＭＡ３の画素値のヒストグラムを比較することで、前景画像と背景画像のコントラストを示す指標を求める。

【0031】

レジスター回路１７０は、インターフェース１９０を介して処理装置２００からアクセス可能に構成されている。レジスター回路１７０は、比較回路１４５が出力する比較結果の情報を記憶する比較結果レジスター１７５を含み、処理装置２００は、インターフェース１９０を介して比較結果レジスター１７５から比較結果の情報を読み出す。処理装置２００は、その比較結果の情報に基づいてエラー検出を行うエラー検出回路を含む。以上の画像比較とエラー検出により、被投影体に投影される画像ＩＭＡ２のエラー検出を実現している。即ち、マッピング処理部ＷＥＡ１によるマッピング処理が正常に行われたか否かを検出している。

【0032】

なお、上述の構成は、比較回路１４５が出力した比較結果の情報をレジスター回路１７０に記憶し、処理装置２００がインターフェース１９０を介してレジスター回路１７０から比較結果の情報を読み出し、処理装置２００内のエラー検出回路でエラー検出を行うものであるが、これに限られない。即ち、例えば図４等のように回路装置１００内にエラー検出回路を含む場合には、比較回路１４５が出力した比較結果の情報に基づき回路装置１００内のエラー検出回路がエラー検出を行ってもよい。この場合、回路装置１００内のエラー検出回路がエラーを検出した後、回路装置１００が処理装置２００に対して割込みをかけてエラーを報知してもよい。

【0033】

インターフェース１９０は、回路装置１００と処理装置２００との間で設定情報や制御情報等を通信する。例えば、インターフェース１９０は、ＳＰＩ（Serial Peripheral Interface）方式やＩ２Ｃ方式等のシリアル通信インターフェースである。処理装置２００からの設定情報や制御情報は、例えばレジスター回路１７０に書き込まれ、回路装置１００は、その設定情報や制御情報に応じた動作を行う。

【0034】

なお、回路装置１００に含まれるロジック回路は、例えば個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。ロジック回路は、例えば前処理回路１２５、画像処理回路１３５、比較回路１４５である。また、これらのロジック回路の一部又は全部が、ＤＳＰ（Digital Signal Processor）等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。

【0035】

上述の前処理回路１２５は、画像処理回路１３５に入力される画像を取得する回路としたがこれに限られない。図２は、第１の構成例の回路装置の変形例である。例えば、インターフェース１１０から入力される画像データをＩＭＡ１’とし、マッピング処理部ＷＥＡ１がＩＭＡ１’に対してマップデータＭＰＡ１を用いたマッピング処理を行う。その後、マッピング処理部ＷＥＡ１によるマッピング処理後の画像データに対して後処理回路１２６がガンマ補正やＦＲＣ、ホワイトバランス処理等を後処理として行う構成でもよい。後処理回路１２６が図１の前処理回路１２５に対応する。マッピング処理部ＷＥＡ２は、後処理回路１２６が出力する画像データＩＭＡ２’に対してマップデータＭＰＡ２を用いたマッピング処理を行う。この場合、マッピング処理が正常であるか否かを確認できることに加えて、ガンマ補正やＦＲＣ、ホワイトバランス処理等の後処理で画像が大きく変更されていないことも確認することができる。

【0036】

次に、図１の回路装置１００の動作を説明する。図３は、図１の回路装置１００の動作を模式的に示した図である。

【0037】

図３に示すように、基準のマップデータをマップ変換処理してマップＡを生成し、基準のマップデータをマップＢとして用いる。具体的には、図１に示す不揮発性メモリー２１０が基準のマップデータを記憶しており、処理装置２００が不揮発性メモリー２１０から基準のマップデータを読み出してマップ変換処理して、マップＡに対応するマップデータＭＰＡ１を生成する。マップデータＭＰＡ１はインターフェース１９０を介してマッピング処理部ＷＥＡ１に入力される。マップ変換処理は、例えばフォワードマップとリバースマップの間の変換や、マップの回転、マップの平行移動等である。また処理装置２００が基準のマップデータを、マップＢに対応するマップデータＭＰＡ２として出力する。マップデータＭＰＡ２はインターフェース１９０を介してマッピング処理部ＷＥＡ２に入力される。

【0038】

ワープエンジンＡは、マッピング処理部ＷＥＡ１に対応しており、マップＡを用いて画像ＩＭＡ１をマッピング処理して画像ＩＭＡ２を生成する。マッピング処理は、ワープ処理とも呼ぶ。また、ワープエンジンＢは、マッピング処理部ＷＥＡ２に対応しており、マップＢを用いて画像ＩＭＡ２を逆マッピング処理して画像ＩＭＡ３を生成する。この逆マッピング処理は、マップ変換処理におけるマップの回転や平行移動の逆変換に対応した画像の回転変換や平行移動を含んでもよい。

【0039】

ワープエンジンＡは、表示用の画像ＩＭＡ２を生成するので、ワープエンジンＢに比べて高品質なマッピング処理を行う。例えば、表示の解像度に合わせた高解像なマッピング処理を行う。また表示の品質を確保するために画素値の補間処理を行う。一方、ワープエンジンＢは、エラー検出用の画像ＩＭＡ３を生成するので、ワープエンジンＡに比べて簡素化したマッピング処理を行う。例えば、座標変換の対象画素を間引くことにより、画像ＩＭＡ１よりも低解像度な画像ＩＭＡ３を生成する。また画素値の補間処理を省略してもよい。

【0040】

比較回路１４５が行う比較処理において、後述するように画像ＩＭＡ１の間引き処理を行い、画像ＩＭＡ１とＩＭＡ３の画素の位置合わせを行い、その位置合わせ後の画像から指標を求める。

【0041】

以上の動作では、基準のマップデータをマップ変換処理してマップＡを生成している。このため、マップ変換処理におけるエラーによってマップＡに異常が生じた場合、マップＡを用いたワープエンジンＡにより生成された画像ＩＭＡ２に異常が生じる可能性がある。また、マップＡに異常が無かったとしても、ワープエンジンＡによるマッピング処理に異常が生じた場合、ワープエンジンＡにより生成された画像ＩＭＡ２に異常が生じる可能性がある。このような異常を検出するためには、ワープエンジンＡによって変形された画像からエラーを検出する必要があり、従来技術ではエラー検出が困難である。例えば、ＣＲＣ等のデータエラー検出を用いた場合、ワープエンジンＡによって変換される前の画像のＣＲＣ値を基準とするため、ワープエンジンＡによって変換された後の画像から求めたＣＲＣ値とは、そもそも一致しない。

【0042】

本実施形態では、ワープエンジンＢによって画像ＩＭＡ２を逆マッピング処理し、その逆マッピング処理後の画像ＩＭＡ３と、元の画像ＩＭＡ１とを比較して、一致度合いを示す指標を求めている。マップＡ及びワープエンジンＡに異常が無い場合、画像ＩＭＡ３とＩＭＡ１の一致度合いが高いので、指標により画像ＩＭＡ２のエラーを検出できる。なお、指標は一致度合いに応じて変化する値なので、画像ＩＭＡ１とＩＭＡ３は完全一致でなくてもよい。即ち、マップＡ又はワープエンジンＡに軽微な異常があったとしても、画像ＩＭＡ２がユーザーに視認できる程度のものであれば、非エラーと判定してもよい。例えば、エラー検出において指標を閾値判定し、その閾値を設定することによって、どの程度の一致度合いをエラーと判定するかを調整できる。

【0043】

図４は、本実施形態の回路装置の第２の構成例である。図４では、回路装置１００がエラー検出回路１５０を含む。またレジスター回路１７０がエラー検出結果レジスター１７６と動作モード設定レジスター１７７と閾値レジスター１７８とを含む。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

【0044】

比較回路１４５は、画像ＩＭＡ１とＩＭＡ３の比較結果をエラー検出回路１５０に出力する。エラー検出回路１５０は、その比較結果に基づいて表示用の画像ＩＭＡ２のエラー検出を行う。比較結果が上述の指標である場合、エラー検出回路１５０は、指標と閾値とを比較することで、エラー検出を行う。形状指標に対する閾値は、どの程度の類似性を有していれば許容できるかを示す閾値である。視認性指標に対する閾値は、どの程度の視認性を有していれば許容できるかを示す閾値である。

【0045】

画像処理回路１３５は、エラー検出回路１５０によりエラーが検出された場合、インターフェース１４０への画像ＩＭＡ２の出力を停止する。或いは、インターフェース１４０は、エラー検出回路１５０によりエラーが検出された場合、画像ＩＭＡ２の出力を停止する。インターフェース１４０は、エラー情報と共に画像ＩＭＡ２を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作を行ってもよい。エラー情報は、例えばエラー判定フラグ、或いは指標等である。エラー情報に基づく動作は、例えば表示の停止等である。

【0046】

エラー検出結果レジスター１７６は、エラー検出回路１５０が出力したエラー検出結果を記憶する。エラー検出結果は、例えば、表示画像がエラーと判定されたか否かを示すエラー判定フラグである。

【0047】

動作モード設定レジスター１７７は、処理装置２００からインターフェース１９０を介してモード設定情報が設定される。モード設定情報は、エラー検出結果がエラーを示す場合における回路装置１００の動作モードを設定する情報であり、エラー検出時の動作としてどのような動作を行うかを設定する情報である。画像処理回路１３５は、モード設定情報に基づいて、上述のようなエラー検出時の動作を行う。なお、エラー検出時の動作を処理装置２００が行うように構成してもよい。この場合、処理装置２００は、インターフェース１９０を介してエラー検出結果レジスター１７６からエラー検出結果を読み出す。処理装置２００は、エラー検出結果がエラーを示していた場合、エラー検出時の動作を行う。エラー検出時の動作は、例えば回路装置１００への画像データの送信停止や、或いは、回路装置１００への所定の画像データの送信等である。所定の画像データは、エラー検出時にユーザーに提示する画像の画像データである。

【0048】

閾値レジスター１７８は、処理装置２００からインターフェース１９０を介して閾値が設定される。エラー検出回路１５０は、指標と、閾値レジスター１７８に設定された閾値とを比較してエラー検出を行う。即ち、エラー検出回路１５０は、形状指標と形状指標用閾値とを比較し、視認性指標と視認性指標用閾値とを比較し、それらの比較結果に基づいてエラー検出を行い、その結果をエラー検出結果として出力する。例えば、それらの比較結果の少なくとも一方がエラーを示す結果である場合、第２の画像にエラーが存在すると判定する。

【0049】

図４の構成においても、図１の構成と同様に、画像ＩＭＡ１とＩＭＡ３の比較を行うことで、その比較結果に基づいて、被投影体に投影されるマッピング処理後の画像ＩＭＡ２のエラー検出を行うことができる。

【0050】

なお、以上では回路装置１００がエラー検出結果を処理装置２００に出力する場合を例に説明したが、回路装置１００がエラー検出結果を回路装置１００の外部に出力せず、エラー検出結果を回路装置１００の内部でのみ用いてもよい。例えば、エラーが検出された場合に回路装置１００がセーフモードに移行してもよい。セーフモードにおいて、例えば所定のエラー通知画像を表示ドライバーに送信したり、或いは液晶表示装置のバックライトを消灯させる制御を行ってもよい。これにより、処理装置２００からの制御ではなく回路装置１００からの制御によって直接にユーザーへエラー状態を通知できる。

【0051】

以上に説明した図１、図４の回路装置１００としては、ヘッドアップディスプレイを制御するヘッドアップディスプレイコントローラーや、表示ドライバーを制御する表示コントローラーを想定できる。但し、本実施形態の手法を適用できる回路装置はこれらに限定されない。例えば、回路装置は、表示コントローラーの機能を含む表示ドライバーであってもよい。回路装置がヘッドアップディスプレイコントローラーや表示コントローラー、表示ドライバーである場合、回路装置は例えば集積回路装置（ＩＣ）である。なお、回路装置は複数の集積回路装置を含んでもよい。例えば、回路装置は、第１の集積回路装置であるヘッドアップディスプレイコントローラーと、第２の集積回路装置である処理装置と、を含む。この場合、ヘッドアップディスプレイコントローラーは、画像ＩＭＡ１とＩＭＡ３の比較処理を行う比較回路を含み、処理装置は、ヘッドアップディスプレイコントローラーから受信された比較結果に基づいてエラー検出を行うエラー検出回路を含む。

【0052】

図５は、比較回路１４５の詳細な構成例である。比較回路１４５は、画素アレンジ処理部１４６と、指標取得部１４７とを含む。

【0053】

画素アレンジ処理部１４６は、画像ＩＭＡ１とＩＭＡ３を比較するための画素アレンジ処理を行い、処理後の画像ＩＭＡ１とＩＭＡ３を指標取得部１４７に出力する。具体的には、上述のように画像ＩＭＡ３は画像ＩＭＡ１より低解像なので、画素アレンジ処理部１４６は、画像ＩＭＡ１の画素数を画像ＩＭＡ３の画素数に合わせるサブサンプリング処理を行う。また、画像ＩＭＡ１とＩＭＡ３で同じ画素位置に画素が配置されるように、例えば回転処理や並進処理、補間処理等を行ってもよい。

【0054】

指標取得部１４７は、画素アレンジ処理された画像ＩＭＡ１とＩＭＡ３に基づいて、画像ＩＭＡ２のエラーを検出するための指標を求める。上述のように、指標は形状指標であり、更に視認性指標を取得してもよい。形状指標、視認性指標の詳細は後述する。指標取得部１４７が出力した指標は、比較結果の情報として比較結果レジスター１７５に記憶される。又は、エラー検出回路１５０が指標に基づいてエラー検出を行う。

【0055】

以上の実施形態によれば、画像処理回路１３５は、入力された第１の画像を、被投影体に投影するための第２の画像にマッピング処理する第１のマッピング処理と、第１のマッピング処理の逆マッピング処理により第２の画像を第３の画像に変換する第２のマッピング処理とを行う。比較回路１４５は、第１の画像と第３の画像との間の比較を行い、比較の結果を、第２の画像のエラー検出を行うための情報として出力する。

【0056】

図１～図５では、ＩＭＡ１が第１の画像であり、ＩＭＡ２が第２の画像であり、ＩＭＡ３が第３の画像である。またマッピング処理部ＷＥＡ１が行うマッピング処理が第１のマッピング処理であり、マッピング処理部ＷＥＡ２が行うマッピング処理が第２のマッピング処理である。エラー検出を行うための情報は、画像ＩＭＡ１とＩＭＡ３の比較結果の情報であり、例えば後述する形状指標、又は視認性指標、又は形状指標及び視認性指標に相当する。

【0057】

図３等で説明したように、マッピング処理やマップデータに異常が生じた場合には第２の画像に異常が発生するが、従来技術ではその異常を検出することが困難であった。この点、本実施形態によれば、第２のマッピング処理において、第１のマッピング処理の逆マッピング処理により第２の画像を第３の画像に変換することで、第１の画像と第３の画像とを比較することが可能になる。第３の画像は第２の画像から生成されたものなので、第３の画像と、基準である第１の画像との一致度合いが高ければ、第２の画像にエラーがないと判断できる。このようにして、例えばヘッドアップディスプレイ等の被投影体に投影される画像が適切な表示内容になっているかを、検出できる。

【0058】

また本実施形態では、比較回路１４５は、第１の画像の画素値と第３の画像の画素値とに基づいて、又は第１の画像のエッジ画像の画素値と第３の画像のエッジ画像の画素値とに基づいて、第１の画像と第３の画像との間の一致度合いを示す指標を、比較の結果として求める。

【0059】

ここで、エッジ画像の画素値は、その画素でのエッジ量を意味しており、エッジ抽出によって得られた信号値である。一致度合いを表す指標は、形状指標であり、その詳細については後述する。

【0060】

このようにすれば、ＣＲＣのようなビット単位のエラー検出ではなく、第１の画像と第３の画像との間の一致度合いを表す指標に基づいて第３の画像のエラー検出を行うことができる。第３の画像にエラーが検出されなければ、マッピング処理が正常に行われたと判断できるので、マッピング処理により生成される第２の画像のエラーを検出できる。例えば車載のヘッドアップディスプレイなどでは、ユーザーに提示するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが１ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合においてユーザーに提示することができる。

【0061】

また本実施形態では、画像処理回路１３５は、被投影体に対応するマップデータから生成された第１のマップデータを用いて第１のマッピング処理を行い、マップデータである第２のマップデータを用いて第２のマッピング処理を行う。

【0062】

図１～図４では、被投影体に対応するマップデータは、不揮発性メモリー２１０に記憶されたマップデータである。第１のマップデータは、マップデータＭＰＡ１であり、マップ変換処理によって生成されたマップＡのデータである。第２のマップデータは、マップデータＭＰＡ２であり、不揮発性メモリー２１０から読み出されたマップデータであるマップＢのデータである。

【0063】

被投影体に対応するマップデータから第１のマップデータを生成した場合、その処理において異常が発生すると、第１のマップデータを用いてマッピング処理される第２の画像に異常が発生するおそれがある。本実施形態によれば、基準となるマップデータをそのまま第２のマップデータとして用いて、比較用の画像である第３の画像を生成する。これにより、第３の画像と第１の画像との比較結果により、第１のマップデータを用いた第１のマッピング処理が正常であったか否かを判断できるようになる。

【0064】

また本実施形態では、回路装置１００は、比較回路１４５による比較の結果に基づいて、第２の画像のエラー検出を行うエラー検出回路１５０を含む。

【0065】

このようにすれば、回路装置１００に内蔵されたエラー検出回路１５０によって表示画像のエラー検出を行うことができる。そして、エラー検出結果に基づいて回路装置１００がエラー検出時の動作を行うことができ、或いは、エラー検出結果を処理装置２００等に出力して、処理装置２００等がエラー検出結果に基づいてエラー検出時の動作を行うことができる。

【0066】

また本実施形態では、回路装置１００は、エラー検出回路１５０によりエラーと判定されたときの回路装置１００の動作モードが設定される動作モード設定レジスター１７７を含む。

【0067】

このようにすれば、第１の画像と第２の画像の比較結果に基づいて第２の画像がエラーと判定されたときの回路装置１００の動作モードを、インターフェースを介して動作モード設定レジスター１７７に設定することができる。例えば、処理装置２００がインターフェース１９０を介して動作モード設定レジスター１７７に動作モードを設定できる。例えばユーザーが望むエラー検出時の動作を、回路装置１００に行わせることが可能になる。

【0068】

また本実施形態では、動作モード設定レジスター１７７には、エラー検出の結果を回路装置１００の外部装置に通知するモード、第２の画像を非表示にするモード、又は特定の画像を表示させるモードが、動作モードとして設定される。

【0069】

外部装置は、例えば処理装置２００であり、例えばＳｏＣやＣＰＵ等である。外部装置へは、例えばインターフェース１９０を介してエラー検出の結果を出力する。なお、インターフェースによっては回路装置１００から処理装置２００に対する通知の発信ができないものがあるが、その場合は回路装置１００が割込みで処理装置２００へ通知を行い、処理装置がインターフェースを介して回路装置から詳細情報を読み出すことができる。非表示にするとは、表示パネルに画像を表示させない状態に設定することであり、例えば表示パネルの全表示領域を黒又は白にすることである。特定の画像とは、エラー検出の対象となった表示画像とは異なる画像であり、エラー検出時において表示させたい画像である。例えば、エラー検出時にユーザーに提示したメッセージや記号、色等が表示された画像である。色の場合、例えば表示パネルの表示領域の全部又は一部に例えば赤等の所定の色を表示させる。

【0070】

このようにすれば、第２の画像がエラーと判定されたときの回路装置１００の動作モードを、上記３つのモードのいずれかに設定することができる。例えばユーザーが望むエラー検出時の動作として、上記３つのモードの動作のいずれかを回路装置１００に行わせることが可能になる。

【0071】

また本実施形態では、エラー検出回路１５０は、比較の結果と、第２の画像のエラーを判定するための閾値との比較により、エラー検出を行う。

【0072】

図４では、第２の画像のエラーを判定するための閾値は、比較結果である指標と比較される閾値である。

【0073】

ＣＲＣでは、画像データと共に受信されたＣＲＣ値と、受信された画像データから演算したＣＲＣ値とを比較することで、画像データにエラーが存在するか否かが検出される。一方、本実施形態における比較結果である指標は、単純にエラーであるか否かを示すだけの指標ではなく、第１の画像と第３の画像の一致度合いに応じて値が変化する。この指標と閾値とを比較することで、ＣＲＣ等のデータエラー検出手法が使用できない場合であっても、エラー検出を行うことができる。即ち、一致度合いに基づいて形状の類似性が確保できないと判断される場合に、エラーと判定することが可能となる。

【0074】

また本実施形態では、回路装置１００は、閾値が設定される閾値レジスター１７８を含む。

【0075】

このようにすれば、比較結果である指標と比較するための閾値を、インターフェースを介して閾値レジスター１７８に設定することができる。例えば、処理装置２００がインターフェース１９０を介して閾値レジスター１７８に閾値を設定できる。閾値を可変に設定することで、どの程度の形状の類似性がある場合にエラーであると判断するかが可変となる。閾値レジスター１７８を設けることで、例えばユーザーが任意にエラー判定基準である閾値を設定できるようになる。

【0076】

２．第３、第４の構成例
図６は、本実施形態の回路装置の第３の構成例である。図６では、画像処理回路１３５は、被投影体の表面形状に合わせて画像をマッピングするマッピング処理部ＷＥＢ１と、それと同方向のマッピングを行うマッピング処理部ＷＥＢ２と、を含む。そして比較回路１４５が、マッピング処理部ＷＥＢ１、ＷＥＢ２が出力する画像ＩＭＢ２、ＩＭＢ３を比較する。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

【0077】

前処理回路１２５は、前処理後の画像ＩＭＢ１を出力する。前処理の内容は図１で説明した内容と同様である。

【0078】

マッピング処理部ＷＥＢ１は、前処理回路１２５が出力した画像ＩＭＢ１に対して、マップデータＭＰＢ１を用いたマッピング処理を行い、マッピング処理後の画像ＩＭＢ２を出力する。このマッピング処理は、図１のマッピング処理部ＷＥＡ１が行うマッピング処理と同様である。マッピング処理部ＷＥＢ２は、前処理回路１２５が出力した画像ＩＭＢ１に対して、マップデータＭＰＢ２を用いたマッピング処理を行い、マッピング処理後の画像ＩＭＢ３を出力する。このマッピング処理は、被投影体の表面形状に合わせて画像をマッピングする処理であるが、マッピング処理部ＷＥＢ１が行うマッピング処理と同一である必要はない。即ち、マップデータ及びマッピング処理の少なくとも一方がマッピング処理部ＷＥＢ１とは異なっていてもよい。例えば、マッピング処理部ＷＥＢ２は、画像ＩＭＢ２よりも低解像度な画像ＩＭＢ３を生成する。また画素値の補間処理を省略してもよい。

【0079】

比較回路１４５は、画像ＩＭＢ２と画像ＩＭＢ３との間の比較処理を行い、その比較結果を出力する。この比較結果は、画像ＩＭＢ２のエラーを検出するために用いられる。即ち、マップデータＭＰＢ１及び、マッピング処理部ＷＥＢ１が行うマッピング処理が正常であったか否かを検証するために用いられる。具体的には、比較回路１４５は、画像ＩＭＢ２と画像ＩＭＢ３との間の一致度合いを示す指標を求める。この指標は、後述する形状指標又に相当するものである。或いは、指標として後述する視認性指標を求めてもよい。

【0080】

レジスター回路１７０は、比較回路１４５が出力する比較結果の情報を記憶する比較結果レジスター１７５を含む。処理装置２００は、インターフェース１９０を介して比較結果レジスター１７５から読み出した比較結果の情報に基づいてエラー検出を行う。以上の画像比較とエラー検出により、被投影体に投影される画像ＩＭＢ２のエラー検出を実現している。即ち、マッピング処理部ＷＥＢ１によるマッピング処理が正常に行われたか否かを検出している。

【0081】

次に、図６の回路装置１００の動作を説明する。図７は、図６の回路装置１００の動作を模式的に示した図である。

【0082】

図７に示すように、基準のマップデータをマップ変換処理してマップＣを生成し、基準のマップデータをマップＤとして用いる。具体的には、図６に示す不揮発性メモリー２１０が基準のマップデータを記憶しており、処理装置２００が不揮発性メモリー２１０から基準のマップデータを読み出してマップ変換処理して、マップＣに対応するマップデータＭＰＢ１を生成する。マップデータＭＰＢ１はインターフェース１９０を介してマッピング処理部ＷＥＢ１に入力される。また処理装置２００が基準のマップデータを、マップＤに対応するマップデータＭＰＢ２として出力する。マップデータＭＰＢ２はインターフェース１９０を介してマッピング処理部ＷＥＢ２に入力される。

【0083】

ワープエンジンＣは、マッピング処理部ＷＥＢ１に対応しており、マップＣを用いて画像ＩＭＢ１をマッピング処理して画像ＩＭＢ２を生成する。また、ワープエンジンＤは、マッピング処理部ＷＥＢ２に対応しており、マップＤを用いて画像ＩＭＢ１をマッピング処理して画像ＩＭＢ３を生成する。このマッピング処理は、マップ変換処理におけるマップの回転や平行移動に対応した画像の回転変換や平行移動を含んでもよい。

【0084】

ワープエンジンＣは、表示用の画像ＩＭＢ２を生成するので、ワープエンジンＤに比べて高品質なマッピング処理を行う。例えば、表示の解像度に合わせた高解像なマッピング処理を行う。また表示の品質を確保するために画素値の補間処理を行う。一方、ワープエンジンＤは、エラー検出用の画像ＩＭＢ３を生成するので、ワープエンジンＣに比べて簡素化したマッピング処理を行う。例えば、座標変換の対象画素を間引くことにより、画像ＩＭＢ２よりも低解像度な画像ＩＭＢ３を生成する。また画素値の補間処理を省略してもよい。

【0085】

比較回路１４５が行う比較処理において、画像ＩＭＢ２の間引き処理を行い、画像ＩＭＢ２とＩＭＢ３の画素の位置合わせを行い、その位置合わせ後の画像から指標を求める。比較回路１４５の詳細な構成は、図５と同様である。即ち、図５においてＩＭＡ１、ＩＭＡ３をＩＭＢ２、ＩＭＢ３に読み替えればよい。

【0086】

本実施形態では、ワープエンジンＤがワープエンジンＣと同方向のマッピング処理を行い、マッピング処理後の画像ＩＭＢ２とＩＭＢ３とを比較して、一致度合いを示す指標を求めている。マップＣ及びワープエンジンＣに異常が無い場合、画像ＩＭＢ２とＩＭＢ３の一致度合いが高いので、指標により画像ＩＭＢ２のエラーを検出できる。なお、指標は一致度合いに応じて変化する値なので、画像ＩＭＢ２とＩＭＢは完全一致でなくてもよい。即ち、マップＣ又はワープエンジンＣに軽微な異常があったとしても、画像ＩＭＢ２がユーザーに視認できる程度のものであれば、非エラーと判定してもよい。

【0087】

図８は、本実施形態の回路装置の第４の構成例である。図８では、回路装置１００がエラー検出回路１５０を含む。またレジスター回路１７０がエラー検出結果レジスター１７６と動作モード設定レジスター１７７と閾値レジスター１７８とを含む。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

【0088】

比較回路１４５は、画像ＩＭＢ２とＩＭＢ３の比較結果をエラー検出回路１５０に出力する。エラー検出回路１５０は、その比較結果に基づいて表示用の画像ＩＭＢ２のエラー検出を行う。比較結果が上述の指標である場合、エラー検出回路１５０は、指標と閾値とを比較することで、エラー検出を行う。

【0089】

図８の構成においても、図６の構成と同様に、画像ＩＭＢ２とＩＭＢ３の比較を行うことで、その比較結果に基づいて、被投影体に投影されるマッピング処理後の画像ＩＭＢ２のエラー検出を行うことができる。

【0090】

なお、以上では回路装置１００がエラー検出結果を処理装置２００に出力する場合を例に説明したが、回路装置１００がエラー検出結果を回路装置１００の外部に出力せず、エラー検出結果を回路装置１００の内部でのみ用いてもよい。

【0091】

以上に説明した図６、図８の回路装置１００としては、ヘッドアップディスプレイを制御するヘッドアップディスプレイコントローラーや、表示ドライバーを制御する表示コントローラーを想定できる。但し、本実施形態の手法を適用できる回路装置はこれらに限定されない。例えば、回路装置は、表示コントローラーの機能を含む表示ドライバーであってもよい。回路装置がヘッドアップディスプレイコントローラーや表示コントローラー、表示ドライバーである場合、回路装置は例えば集積回路装置（ＩＣ）である。なお、回路装置は複数の集積回路装置を含んでもよい。例えば、回路装置は、第１の集積回路装置であるヘッドアップディスプレイコントローラーと、第２の集積回路装置である処理装置と、を含む。この場合、ヘッドアップディスプレイコントローラーは、画像ＩＭＢ２とＩＭＢ３の比較処理を行う比較回路を含み、処理装置は、ヘッドアップディスプレイコントローラーから受信された比較結果に基づいてエラー検出を行うエラー検出回路を含む。

【0092】

以上の実施形態によれば、画像処理回路１３５は、被投影体に対応するマップデータに基づいて、入力された第１の画像を、被投影体に投影するための第２の画像にマッピング処理する第１のマッピング処理と、マップデータに基づいて、第１のマッピング処理とは異なる第２のマッピング処理により第１の画像を第３の画像に変換する第２のマッピング処理とを行う。比較回路１４５は、第２の画像と第３の画像との間の比較を行い、その比較の結果を、第２の画像のエラー検出を行うための情報として出力する。

【0093】

図６～図８では、ＩＭＢ１が第１の画像であり、ＩＭＢ２が第２の画像であり、ＩＭＢ３が第３の画像である。またマッピング処理部ＷＥＢ１が行うマッピング処理が第１のマッピング処理であり、マッピング処理部ＷＥＢ２が行うマッピング処理が第２のマッピング処理である。エラー検出を行うための情報は、画像ＩＭＢ２とＩＭＢ３の比較結果の情報であり、例えば後述する形状指標、又は視認性指標、又は形状指標及び視認性指標に相当する。

【0094】

ここで、第１、第２のマッピング処理が異なるとは、ハードウェア又はアルゴリズムが異なることである。例えば、図６、図８において、マッピング処理部ＷＥＢ１、ＷＥＢ２が別個のマッピング処理回路で構成されてもよい。又は、第１、第２のマッピング処理が異なるとは、マップデータ及びマッピング処理の内容の少なくとも一方が異なることである。例えば、図７で説明したように、第１のマッピング処理に対応するワープエンジンＣが用いるマップＣは、基準のマップデータをマップ変換処理したものであり、第２のマッピング処理に対応するワープエンジンＤが用いるマップＤは、基準のマップデータそのものであってもよい。或いは、第１のマッピング処理はフォワードマッピング及びリバースマッピングの一方であり、第２のマッピング処理は、その他方であってもよい。或いは、第１、第２のマッピング処理で解像度が異なるマッピング処理であってもよい。或いは、第１のマッピング処理は補間処理を含み、第２のマッピング処理は補間処理を含まなくてもよい。

【0095】

本実施形態によれば、第１の画像が第１、第２のマッピング処理により第２、第３の画像に変換される。第１、第２のマッピング処理は、第１の画像に対して同様な変形を行う同一方向のマッピング処理である。これにより、第２の画像と第３の画像とを比較することが可能になる。第２の画像と第３の画像との一致度合いが高ければ、第２の画像にエラーがないと判断できる。このようにして、例えばヘッドアップディスプレイ等の被投影体に投影される画像が適切な表示内容になっているかを、検出できる。また、第２のマッピング処理が、第１のマッピング処理とは異なるマッピング処理であることで、第１、第２のマッピング処理で同じ異常が発生することを避けることができ、エラーの検出精度を向上できる。

【0096】

また本実施形態では、比較回路１４５は、第２の画像の画素値と第３の画像の画素値とに基づいて、又は第２の画像のエッジ画像の画素値と第３の画像のエッジ画像の画素値とに基づいて、第２の画像と第３の画像との間の一致度合いを示す指標を、比較の結果として求める。

【0097】

このようにすれば、ＣＲＣのようなビット単位のエラー検出ではなく、第２の画像と第３の画像との間の一致度合いを表す指標に基づいて第２の画像のエラー検出を行うことができる。この処理でエラーが検出されなければ、マッピング処理が正常に行われたと判断できるので、マッピング処理により生成される第２の画像のエラーを検出できる。例えば車載のヘッドアップディスプレイなどでは、ユーザーに提示するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが１ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合においてユーザーに提示することができる。

【0098】

また本実施形態では、画像処理回路１３５は、被投影体に対応するマップデータから生成された第１のマップデータを用いて第１のマッピング処理を行い、マップデータである第２のマップデータを用いて第２のマッピング処理を行う。

【0099】

図６～図８では、被投影体に対応するマップデータは、不揮発性メモリー２１０に記憶されたマップデータである。第１のマップデータは、マップデータＭＰＢ１であり、マップ変換処理によって生成されたマップＣのデータである。第２のマップデータは、マップデータＭＰＢ２であり、不揮発性メモリー２１０から読み出されたマップデータであるマップＤのデータである。

【0100】

本実施形態によれば、基準となるマップデータをそのまま第２のマップデータとして用いて、比較用の画像である第３の画像を生成する。これにより、第３の画像と第２の画像との比較結果により、第１のマップデータを用いた第１のマッピング処理が正常であったか否かを判断できるようになる。

【0101】

また本実施形態では、画像処理回路１３５は、第１の画像よりも低解像度の第３の画像を生成する。比較回路１４５は、第２の画像に対して、第３の画像の解像度に合わせる低解像度化を行い、第３の画像と低解像度化後の第２の画像とを比較する。

【0102】

図５の構成を図６、図８の比較回路１４５に適用した場合には、画素アレンジ処理部１４６が、第２の画像に対して、第３の画像の解像度に合わせる低解像度化を行い、指標取得部１４７が、第３の画像と低解像度化後の第２の画像とを比較して指標を取得する。

【0103】

本実施形態によれば、比較用の画像である第３の画像を低解像度にすることで、第３の画像を生成する第２のマッピング処理を低解像なマッピング処理にできる。これにより、第２のマッピング処理の処理負荷を低減でき、又は第２のマッピング処理を行うハードウェアの回路規模を低減できる。そして、第２の画像に対して、第３の画像の解像度に合わせる低解像度化を行うことで、第３の画像と第２の画像とを比較することが可能となる。

【0104】

３．比較処理、エラー検出処理
以下、比較回路１４５が行う比較処理と、エラー検出回路１５０が行うエラー検出処理について説明する。なお、ここでは比較処理において指標を取得する場合を例に説明し、比較処理を指標取得処理と呼ぶ。但し、比較処理はこれに限定されず、種々の画像比較を用いることができる。

【0105】

コンテンツをディスプレイに表示する画像処理システムでは、画像の所定の領域が当初の意図と一致しているか否かを確認する必要がある場合がある。例えば、自動車用システムのクラスターディスプレイに重要な画像を表示する場合を考える。クラスターディスプレイは、メーターパネルのディスプレイである。このとき、画面に表示されている既存のコンテンツに重ねられた可視画像を介して所定の重要な情報を表示する必要がある。以下では、画像が正しく表示されているか否かを検出するためのいくつかの方法を説明する。検出は、関心領域を解析し、その領域が正しく表示されている程度を示すいくつかの主要な指標を導き出すことによって行う。本実施形態では関心領域は画像全体であるが、画像の一部の領域を関心領域としてもよい。以下、関心領域をＲＯＩ（Region Of Interest）とも呼ぶ。

【0106】

なお、以下では解析対象となる画像を解析画像と呼び、解析の基準となる画像を基準画像と呼ぶ。図１、図４では画像ＩＭＡ３が解析画像であり、画像ＩＭＡ１が基準画像である。図６、図８では、画像ＩＭＢ２が解析画像であり、画像ＩＭＢ３が基準画像である。なお、比較処理は２画像の相互比較なので、解析画像と基準画像を入れ替えても構わない。

【0107】

３．１．形状指標（第１の指標）の第１の演算手法
形状指標は、関心領域における解析画像と基準画像の形状が一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。

【0108】

図９は、解析画像の第１の例である。Ａ１は関心領域であり、Ａ２はアイコンである。なお、関心領域を示す点線は、実際には表示画像には描画されていない。また、ここでは関心領域を解析画像の一部としているが、関心領域は解析画像の全体であってもよい。

【0109】

まず、最終的な平均化画像がｍ×ｎ画素となるように、解析画像のＲＯＩの画素ブロックを平均化する。このサブサンプリング処理は、少数の画素エラーが重要なエラーとして検出されないために行うものであり、これらのエラーを無視し、基準画像と解析画像の全体形状を確認する。無視したいエラーは、例えば色ずれ、小さな歪み等である。完全な一致を得るために、サブサンプリングされた画像の解像度を高めることができる。ｍ×ｎの値は、用途に応じて選択することができる。以下に述べるように基準画像に関連して使用する場合には、ｍ×ｎの値はサンプルデータ観測に基づいて選択する。

【0110】

解析画像の関心領域がｕ×ｖ画素である場合には、平均化ブロックサイズはｕ／ｍ×ｖ／ｎ画素である。基準背景情報が利用できない場合には、基準画素が存在しない部分の解析画像の画素を削除する。これは、基準前景マスキングに相当する。これは、基準画像と解析画像との間で背景画素をベースライン化する（そろえる、同条件にする）ことが必要であるために行う。ベースライン化するとは、そろえる、或いは同条件にすることである。そのため、背景画素の値は、解析画像及び基準画像の両方において同じ値に設定する。

【0111】

基準画像の平均化もｍ×ｎ画素となるように行う。平均化は、各チャンネルに対して別々に行う。図１０は、基準画像の例である。基準画像ＲＩＡのアイコンである前景Ｆ１は、着色されており、アイコン以外の領域である背景は例えば黒等の無色である。図１０では、基準画像ＲＩＡのサイズは２５６×２５６画素である。図１１は、基準画像の平均化画像である。図１１では、ｍ＝ｎ＝１６であり、平均化画像ＳＲｅｆのサイズは１６×１６画素である。この基準画像及びその平均化画像の背景が無色である場合、解析画像の関心領域も背景を無色に変換して、その関心領域の平均化画像を求めてもよい。例えば、背景を削除することで、背景を無色に変換してもよい。

【0112】

次に、基準画像の平均化画像（ＳＲｅｆ ｍ×ｎ）と解析画像の関心領域の平均化画像（ＳＡｎｚ ｍ×ｎ）を、距離基準を使用して画素毎に比較し、下式（１）のように距離Ｄを求める。距離Ｄは３次元距離である。本実施形態では、距離基準はデカルト距離の２乗であるが、その他の距離基準であっても同様なパラメーターが得られる。

【数1】

【0113】

ｃは、チャンネルを表し、ｘは平均化画像での横方向の画素位置を表し、ｙは平均化画像での縦方向の画素位置を表す。横方向は水平方向とも呼び、縦方向は垂直方向とも呼ぶ。ｍ、ｎは平均化画像のサイズである。Ｒ_xycは、チャンネルｃにおける基準画像の平均化画像の位置（ｘ，ｙ）での画素値を表す。Ｒ'_cは、チャンネルｃにおけるＲ_xy画素の平均値を表す。Ｒ_xy画素の平均値は、Ｒ_xycを平均化画像内で平均したものである。Ａ_xycは、チャンネルｃにおける解析画像の平均化画像の位置（ｘ，ｙ）での画素値を表す。Ａ'_cは、チャンネルｃにおけるＡ_xy画素の平均値を表す。Ａ_xy画素の平均値は、Ａ_xycを平均化画像内で平均したものである。

【0114】

各チャンネルにおいて平均値を減算する理由は、基準画像と解析画像との間の小さな色ずれがエラーとして扱われないようにするためである。完全な一致が求められる場合には、平均値を０に設定することができる。この場合、距離基準によって形状及び色の一致をチェックすることになる。

【0115】

形状指標Ｓは、下式（２）、（３）によって距離パラメーターから導出される。形状指標Ｓは形状パラメーターとも呼ぶ。Ｔは閾値であり、任意の値を採用できる。Ｄ＜Ｔの場合にはＴ／Ｄ＝１となり、形状指標Ｓは変化しない。

【数2】

【数3】

【0116】

関数ｆは、ハードウェアへの実装が容易となるように選択する。例えば、関数ｆは、範囲０～１が０～ｋにスケーリングされるようなスケーリング関数Ｋであってもよい。以下に記載する例では、関数ｆは単位関数である。即ち、Ｓ＝Ｔ／Ｄである。形状指標Ｓは、基準画像と解析画像との間の形状の一致度を示す。画像が一致していない場合には、この値は減少し、０となる傾向がある。その例を以下に記載する。

【0117】

図９では、基準画像のアイコンが解析画像に正しく表示されている。この場合、形状指標はＳ＝１となり、図９では、Shape：１．０００と示す。

【0118】

図１２は、解析画像の第２の例である。Ｂ１は関心領域を示す。図１２のＢ２に示すように、基準画像のアイコンが解析画像では不明瞭になっている。即ち、基準画素のいくつかが解析画像には存在しておらず、関数ｆが単位関数の場合には形状指標Ｓは１未満となる。このような不明瞭な前景の場合、形状指標が小さい値となる。なお、後述する視認性指標も小さい値となる。

【0119】

図１３は、解析画像の第３の例である。Ｅ１は関心領域を示す。図１３のＥ２に示すように、基準画像のアイコンが解析画像では回転している。この例では、形状は基準から回転しているので、関数ｆが単位関数の場合には形状指標Ｓは１未満となる。このように前景が回転している場合、形状指標が小さい値となる。なお、後述する視認性指標も大きい値となる。視認性指標については後述するが、視認性指標と形状指標を組み合わせることにより様々な前景の状態において適切なエラー検出を行うことが可能となり、エラー検出の精度を向上できる。

【0120】

上記の形状指標は、ベース信号の一致のみをチェックする。視認性が低い画像の場合には、エッジ検出カーネルを解析画像の関心領域及び基準画像とコンボリューションして一次勾配画像を生成した後、形状演算アルゴリズムによってパラメーターを求めることができる。エッジ検出カーネルは、例えばＬａｐｌａｃｉａｎ又はＳｏｂｅｌ等である。求めたパラメーターにより、形状指標によって得られた誤検知を除去することができる。このようにすれば、視認性が低い画像の場合にも正しいエラー検出結果を得ることができる。

【0121】

３．２．形状指標の第２の演算手法
図１４は、解析画像の第４の例である。図１４では、ダッシュボード画像ＤＩＭの上にアイコンＩＣＡが重ねられている。アイコン画像は、ある透過率でダッシュボード画像にブレンドされる。

【0122】

本実施形態では、エッジ検出技術を用いて、関心領域における解析画像と基準画像のエッジを検出する。エッジ検出技術は、例えばソーベルエッジ検出畳み込み演算子を用いたエッジ検出技術である。

【0123】

図１５は、関心領域における解析画像の例である。画像ＣＩＢは、ダッシュボード画像ＤＩＭに基準画像ＩＣＢをブレンドした関心領域の画像である。アイコン部分では、ブレンドによりダッシュボード画像ＤＩＭが透けて見えている。なお、エラーが無い場合には、関心領域における基準画像は、図１５と同様の画像であると期待される。

【0124】

図１６は、解析画像から計算されたエッジ値の例である。ＥＣＩＢは図１５の画像ＣＩＢのエッジ画像である。図示の関係上、エッジを黒線及びグレー線で示しているが、実際にはエッジの強度はグレースケールで示すことができる。白は高強度のエッジを示し、黒はエッジ無しを示す。このエッジ検出は、輝度チャンネルに対して行われる。同様に、エッジ検出は、色チャンネルに対して、又はＹＣｂＣｒのような色空間においても行われる。なお、エラーが無い場合には、関心領域における基準画像のエッジ画像は、図１６と同様の画像であると期待される。

【0125】

前景領域と背景領域におけるエッジは、基準画像と解析画像について計算され、形状指標は、下式（４）～（１５）に示すように類似量を算出することにより計算される。下式（１５）のＭａｔｃｈが形状指標である。形状指標は適合値とも呼ぶ。以下では、基準画像はｍ×ｎ画素のサイズであり、表示画像の関心領域もｍ×ｎ画素であるとする。

【0126】

下式（４）は、水平ソーベルカーネル、即ち水平方向のエッジを検出するソーベルフィルターの演算子である。下式（５）は、垂直ソーベルカーネル、即ち垂直方向のエッジを検出するソーベルフィルターの演算子である。

【数4】

【数5】

【0127】

下式（６）～（１１）に示すように、基準画像と表示画像の関心領域における各画素位置について、エッジ値を計算する。「＊」は畳み込み演算子である。Ｎは、値を０と１の間に保つための正規化係数であり、ここではＮ＝４である。ＩＲｅｆは、基準画像の輝度（Ｙ）チャンネルである。ＩＲｅｆ_{（ｘ，ｙ）}は、基準画像の輝度チャンネルの位置ｘ、ｙの画素である。ｘは０＜ｘ≦ｍの整数であり、ｙは０＜ｙ≦ｎの整数である。ＩＲｅｎは、関心領域における表示画像の輝度チャンネルである。ＩＲｅｎ_{（ｘ，ｙ）}は、関心領域における表示画像の輝度チャンネルの位置ｘ、ｙを中心とした３×３画素である。

【数6】

【数7】

【数8】

【数9】

【数10】

【数11】

【0128】

下式（１２）～（１５）に示すように、上記のエッジ値から形状指標Ｍａｔｃｈ（適合値）を求める。「・」は内積演算子を表す。

【数12】

【数13】

【数14】

【数15】

【0129】

図１５、図１６に上記の演算を適用すると、例えばＭａｔｃｈ＝０．７８となる。

【0130】

背景を分析せずに適合値を計算することが要求される場合には、下式（１６）～（２１）に示す計算を用いる。

【数16】

【数17】

【数18】

【数19】

【数20】

【数21】

【0131】

Ｍ_{（ｘ，ｙ）}は、１である。なお、Ｍ_{（ｘ，ｙ）}は、いずれの画素について比較を行うかを定義するマスク画素であってもよい。このマスクは、比較しない画素を０で定義し、比較する画素を１で定義する単純な１ビットマスクで実現できる。例えば、アイコンのみを比較する等、関心領域の一部のみを画像比較したい場合には、それに応じたマスクを設定すればよい。

【0132】

以上の実施形態によれば、比較回路１４５は、解析画像の画素値と基準画像の画素値とに基づいて、又は解析画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、解析画像と基準画像との一致度合いを表す指標を求める。エラー検出回路１５０は、その指標に基づいて表示画像のエラー検出を行う。

【0133】

このようにすれば、ＣＲＣのようなビット単位のエラー検出ではなく、解析画像と基準画像との間の一致度合いを表す指標に基づいて解析画像のエラー検出を行うことができる。解析画像が基準画像に対して一致度合いが高い場合、その解析画像が基準画像に対して視覚的に同じ形状に見える可能性が高い。即ち、本手法によれば、解析画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。そして、解析画像にエラーが検出されなければ、マッピング処理が正常に行われたと判断できるので、解析画像のエラー検出を行うことで、被投影体に投影される画像のエラーを検出できる。

【0134】

ここで、上式（２）～（４）に示す第１の演算手法は、解析画像の画素値と基準画像の画素値とに基づいて指標（Ｓ）を求める場合に対応する。また、上式（５）～（２１）に示す第２の演算手法は、解析画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて指標（Ｍａｔｃｈ）を求める場合に対応する。エッジ画像の画素値は、上式（６）、（９）、（１６）、（１７）のエッジ量に対応する。

【0135】

また、一致度合いとは、例えばアイコン、文字、図形、マーク等（以下アイコン等と呼ぶ）の形状の一致の程度のことである。より具体的には、アイコン等の輪郭と向きの一致の程度のことである。また更に、アイコン等の輪郭の内側の状態、例えば輪郭の内側が塗りつぶされているか否か等の状態の一致の程度を含んでもよい。例えば、一致度合いを表す指標は、前景画像と背景画像の一致度合いが高いほど値が大きくなる。

【0136】

また本実施形態では、上式（２）、（３）に示すように、比較回路１４５は所与の閾値（Ｔ）を距離情報（Ｄ）で除算した値から指標（Ｓ）を求める。

【0137】

形状の一致度合いが高いほど距離（Ｄ）が小さくなるので、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標（Ｓ）を求めることができる。

【0138】

また本実施形態では、比較回路１４５は、解析画像のエッジ画像の画素値と基準画像のエッジ画像の画素値との積和演算（上式（１２））を行い、その積和演算の結果から指標を求める（上式（１５））。

【0139】

エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、解析画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ（略同じを含む）エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が解析画像と基準画像で一致しないので、例えば解析画像のエッジ画像に大きなエッジ量があっても、基準画像のエッジ画像の同じ画素ではエッジ量がゼロになっていたりする。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になり、形状が一致していない場合には積和の結果が小さな値になる。このため、エッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。

【0140】

ここで、上式（１２）では、積和の「積」はベクトルの内積になっているが、「積」はこれに限定されない。例えばエッジ量がスカラーで定義される場合には、「積」はスカラー同士の積となる。

【0141】

３．３．視認性指標（第２の指標）を求める第１の演算手法
視認性指標の演算においても、形状指標の演算と同様に解析画像と基準画像の用語を用いる。図１、図４では画像ＩＭＡ３が解析画像であり、画像ＩＭＡ１が基準画像である。図６、図８では、画像ＩＭＢ２が解析画像であり、画像ＩＭＢ３が基準画像である。なお、比較処理は２画像の相互比較なので、解析画像と基準画像を入れ替えても構わない。

【0142】

図１７は、関心領域におけるＹＣｂＣｒの各チャンネルのヒストグラムである。また図１８は、解析画像と基準画像のヒストグラムに相互相関演算を行って得られた相互相関値である。

【0143】

図１７に示すように、ＹＣｂＣｒ画像の各チャンネルについて、ｎ個のバイナリーを使用してヒストグラムを求める。例えば、２５６個のバイナリーを使用し、異なるバイナリーの組を有するヒストグラムを生成することができる。

【0144】

ヒストグラムは、関心領域において特定の値が生じる回数をカウントする。即ち、ＹＣｂＣｒ画像の各チャンネルについて、各バイナリーが示す値を有する画素の数を関心領域内でカウントする。次に、ヒストグラムを０～ａの間の値に正規化する。値「ａ」は、実装の容易さを考慮して選択することができる。例えばａを１又は２５５等に設定できる。図１７では、ａ＝１である。次に、各チャンネルにおいて、解析画像と基準画像のヒストグラムを相互相関演算する。そして、その相互相関信号をその後の解析に使用する。図１８に示すように、相互相関信号を、ゼロ遅延におけるピーク値が１又は予め設定した値となるように正規化する。

【0145】

相互相関値は、下式（２２）により求められる。ｆ、ｇは相関演算される関数を表す。ｆ、ｇの一方が解析画像のヒストグラムであり、ｆ、ｇの他方が基準画像のヒストグラムである。ｆ＊ｇは、関数ｆと関数ｇの相関演算を表す。ｆ＊は関数ｆの複素共役を表し、本実施形態ではｆ＊＝ｆである。ｍはヒストグラムのバイナリーの番号を表す。ｎは遅延（lag）を表し、図１８ではｎは－２５５～＋２５５の整数である。

【数22】

【0146】

なお、図１７のヒストグラムでは、２５６個のバイナリーが０～１の間に正規化されているため、横軸が０～１になっている。図１８の相関値は、１バイナリーずつ遅延を変えながら相関値を求めているため、横軸が－（２５６－１）～＋（２５６－１）になっている。

【0147】

図１８に示すように、二色の画像が関心領域に存在する場合には、相関演算により側波帯が得られる。上記ピークが生じる中心からの遅延の距離は、色間のコントラストを示す。中心は、ゼロ遅延に対応する。コントラストによって人間の目は画像の特徴を識別することができるため、３つのチャンネル全てのピークについてチェックする。コントラストは、例えば輝度コントラストや色コントラストである。図１８では、Ｙチャンネルを点線で示し、Ｃｂチャンネルを細実線で示し、Ｃｒチャンネルを太実線で示している。チェックは、相互相関信号のノイズを拾わないようにピーク検索の閾値を設定することによって行う。例えば、最小ピーク閾値を０．０５に設定する。信号におけるピークを検索して局所最大値を求める。検索するピークは、閾値より大きいピーク値のピークである。

【0148】

なお、帯域内信号ピークを回避するために、連続するピーク間の最小距離を所定値に設定することもできる。これらの閾値は調節可能な値であり、用途に応じて選択する。

【0149】

識別可能な画像が二色以上の背景上に示されているか否かを示す視認性指標を求めるために、全てのチャンネルについて、ノイズ閾値を超える相互相関信号の全てのピークを求めた後、ピークが生じる最大距離、即ち最大遅延を求める。３つのチャンネルにおいてピークが生じる遅延のうち最大値を、視認性を示す指標として選択する。

【0150】

図１８に示す相関プロットでは、ピークを丸で示している。図示する例では、Ｃｒチャンネルが最大の分離を示しており、距離は１８４である。上記値を考えられる最大遅延に正規化する。例えば、考えられる最大遅延はヒストグラムのバイナリーの数である２５６である。従って、指標値は１８４／２５５＝０．７２２である。図９で上述した画像では、上記指標値をＶｉｓパラメーターとして示している。上記演算は、一つの例について示している。

【0151】

図９において、黒色で示す部分であるアイコンＡ２の内部は赤色であり、白色で示す部分である背景は緑色である。

【0152】

図９の画像では、関心領域内に赤と緑の二色の画素群があるので、図１７に示すヒストグラムでは、ＹＣｂＣｒの各チャンネルに２つの大小のピークが生じる。例えば、ＣｒチャンネルではバイナリーＢａ、Ｂｂにピークが生じている。この２つのピークの間の距離は、アイコンである前景アイコンの色と背景の色との間のコントラストを表しており、距離が大きいほど前景と背景の色がより異なることを意味する。ヒストグラムにおける２つのピークの間の距離は、図１８に示す相互相関値においてピークが発生する遅延の距離になる。図９の画像では、アイコンである前景アイコンが赤色で背景が緑色なので、図１７に示すヒストグラムにおいてＣｒチャンネルの２つのピーク間の距離が最大距離となっており、その距離は｜Ｂａ－Ｂｂ｜×２５５である。これが、相互相関値において、ピークが発生する最大距離として検出され、正規化した指標値は｜Ｂａ－Ｂｂ｜となる。従って、アイコンである前景アイコンの色と背景の色との間のコントラストが大きいほど、視認性の指標値も大きくなる。

【0153】

エラー検出回路１５０は、上記のようにして求めた視認性指標に基づいてエラー検出を行う。例えば、視認性指標と所与の閾値とを比較し、視認性指標が所与の閾値より小さい場合にエラーと判定する。或いは、視認性指標をエラー検出結果として回路装置１００の外部に出力してもよい。

【0154】

３．４．視認性指標を求める第２～第４の演算手法
第２の演算手法では、相互相関信号の中心からのピークの距離を求める代わりに、相互相関信号に所定の閾値を超えるピークが存在しているか否かを調べる。そのようなピークが存在している場合には、画素の分布を考慮する限りにおいて、基準画像と解析画像はかなり一致していることになる。これにより、解析画像に対する第１のレベルのエラー検出を行うことができる。このパラメーターは、空間的相関は示さず、画素分布相関のみを示す。この場合の指標は、中心からのピークの距離ではなく、ピーク値自体であってもよい。

【0155】

図１９は、解析画像と基準画像のヒストグラムの例である。図２０は、図１９のヒストグラムの相互相関値の例である。ここでは、カラー画像の１チャンネル分について説明するが、同様の処理を複数のチャンネルに対して行う。例えば、複数のチャンネルの相互相関値のピークのうち最大のピーク値を採用すればよい。

【0156】

図１９に示すように、解析画像と基準画像のヒストグラムには、３以上のピークが生じている。図１９の例では４つのピークが生じている。解析画像のヒストグラムのピークと、基準画像のヒストグラムのピークが、Ｂｎだけずれているとする。この場合、図２０に示すように、相互相関値には遅延Ｂｎのところに大きなピークが現れる。このピークのピーク値が閾値Ｔｈｒより大きい場合、例えば、そのピーク値を視認性の指標値に採用する。

【0157】

第３の演算手法では、視認性の指標値として前景と背景のコントラスト比を求める。

【0158】

第１の演算手法では、Ｃｒチャンネルのヒストグラムにおいてピークが生じるバイナリーＢａ、Ｂｂの差分｜Ｂａ－Ｂｂ｜を、視認性の指標値として用いている。

【0159】

第３の演算手法では、コントラスト比｜Ｂａ－Ｂｂ｜／Ｂａ又は｜Ｂａ－Ｂｂ｜／Ｂｂを求め、それを視認性の指標値とする。或いは、第２の演算手法のような基準画像を用いる場合には、解析画像におけるＣ１＝｜Ｂａ－Ｂｂ｜と基準画像におけるＣ２＝｜Ｂａ－Ｂｂ｜を求め、コントラスト比Ｃ１／Ｃ２又はＣ２／Ｃ１を求め、それを視認性の指標値とする。

【0160】

第４の演算手法では、多次元ヒストグラムを生成して視認性指標を求める。

【0161】

第１の演算手法では、視認性の解析に各チャンネルの１次元ヒストグラムを使用している。

【0162】

一方、第４の演算手法では、複数のチャンネルの信号から多次元ヒストグラムを生成し、その多次元ヒストグラムに対して多次元相関演算を行って、視認性指標を求める。多次元相関演算は、多次元相互相関演算である。これにより、人間の目によるコントラスト検出をより良好に模擬できる可能性がある。３Ｄ色ヒストグラムを使用することにより、より良好な性能が得られる場合がある。

【0163】

以上の実施形態によれば、比較回路１４５は、解析画像と基準画像の画素値に基づいて指標を統計的に求める。

【0164】

指標を統計的に求めるとは、解析画像に含まれる複数の画素値を第１の統計の母集団とし、基準画像に含まれる複数の画素値を第２の統計の母集団として、統計的な手法を用いた処理によって指標を求めることである。具体的には、解析画像と基準画像の各々からヒストグラムを生成し、それらのヒストグラムに基づいて指標を求める。

【0165】

本実施形態によれば、統計的に指標を求めることで、前景画像と背景画像との間の非類似度合いを表す指標を求めることが可能となる。即ち、ＣＲＣのようにデータの欠陥を検出するのではなく、統計的な手法によって前景画像と背景画像との間の非類似度合いを評価し、その非類似度合いによってエラーと判定するか否かを決定できる。

【0166】

また本実施形態では、比較回路１４５は、解析画像と基準画像の画素値のヒストグラムを求め、そのヒストグラムを用いた相関演算を行う。上述の例では画素値はＹＣｂＣｒの画素値である。比較回路１４５は、解析画像のうち関心領域の画像である前景画像と、解析画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す視認性指標を相関演算の結果に基づいて求める。エラー検出回路１５０は、その指標に基づいてエラー検出を行う。

【0167】

前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、前景画像の視認性が高いと考えられる。即ち、本手法によれば、前景画像の視認性が低い場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが１ビットエラーなどで表示が停止されずに、視認性が確保されている場合において出来るだけ表示させ、ユーザーに警告を行うことができる。

【0168】

ここで、前景画像は、解析画像のうち、指標により背景画像との非類似度合いを判定したい領域の画像のことである。また、その領域が所与の領域である。また背景画像は、前景画像を除く表示画像の一部又は全体のことである。即ち、前景画像を含む領域である関心領域）を、表示画像の一部又は全体に設定し、その関心領域のうち前景画像を除く領域の画像が背景画像である。

【0169】

また非類似度合いとは、色空間の構成成分であるの各成分における非類似の程度のことである。構成成分は、チャンネルとも呼ぶ。例えば、ＹＣｂＣｒ空間では、前景画像の輝度と背景画像の輝度とがどの程度異なるか、又は前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。或いは、ＲＧＢ空間では、前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。

【0170】

また本実施形態では、比較回路１４５は、色空間の構成成分の各成分のヒストグラムを求め、各成分のヒストグラムに対して相互相関演算を行い、相互相関のピークが生じる距離を各成分について求め、求めた距離のうち最大の距離に基づいて指標を求める。最大の距離は、図１８において｜Ｂａ－Ｂｂ｜であり、ここでの指標は視認性指標である。

【0171】

このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、背景と前景の非類似度合いを評価できる。そして、この指標を用いることで、前景の視認性を適切に評価できる。

【0172】

ここで、指標は最大の距離｜Ｂａ－Ｂｂ｜に基づいて求められた値であればよい。例えば第１の演算手法では、指標は最大の距離｜Ｂａ－Ｂｂ｜そのものである。また第２の演算手法では、指標は、最大の距離｜Ｂａ－Ｂｂ｜に基づくコントラスト比である。コントラスト比は、例えば｜Ｂａ－Ｂｂ｜／Ｂａ等である。

【0173】

また本実施形態では、図１９、図２０で説明したように、比較回路１４５は、解析画像から色空間の構成成分の各成分の第１のヒストグラムをヒストグラムとして求め、基準画像から各成分の第２のヒストグラムを求める。比較回路１４５は、各成分について第１のヒストグラムと第２のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて指標を求める。

【0174】

このようにすれば、解析画像と基準画像が２色以上の色を含むマルチトーンの場合であっても、前景画像と背景画像の非類似度合いを表す指標を求めることができる。即ち、基準画像のヒストグラムには２以上のピークが発生するが、このヒストグラムと同じパターンが解析画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が解析画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景の視認性を適切に評価できる。

【0175】

また本実施形態では、比較回路１４５は、第１の指標である形状指標と、第２の指標である視認性指標とを求める。エラー検出回路１５０は、第１の指標及び第２の指標に基づいてエラー検出を行う。

【0176】

このようにすれば、互いに異なる性質について評価した２つの指標を組み合わせて投影画像のエラー検出を行うことができる。即ち、解析画像と基準画像との間の輝度や色の非類似度合いを表す視認性指標と、解析画像と基準画像との間の形状の一致度合いを表す形状指標とを組み合わせることで、投影画像のエラー検出をより高精度に行うことができる。

【0177】

４．電子機器
図２１は、本実施形態の回路装置を含む電子機器の構成例である。電子機器３００は、処理装置３１０、回路装置３２０、投影装置３８０、記憶装置３５０、操作装置３６０、通信装置３７０を含む。処理装置３１０は、例えばＭＣＵ等である。回路装置３２０は、図１、図４、図６、図８の回路装置１００に対応し、例えばヘッドアップディスプレイコントローラー或いは表示コントローラーである。

【0178】

投影装置３８０は、表示ドライバー３３０、表示パネル３４０、光源３３５、レンズ３４５を含む。表示ドライバー３３０が表示パネル３４０を駆動して画像を表示させる。光源３３５が表示パネル３４０に投影用の光を出力し、表示パネル３４０を通過した又は表示パネル３４０から反射した光がレンズ３４５に入射する。レンズ３４５は被投影体に画像を結像させる。

【0179】

処理装置３１０は、記憶装置３５０に記憶された画像データ、又は通信装置３７０により受信された画像データを回路装置３２０に転送する。回路装置３２０は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データのエラー検出処理等を行う。エラー検出処理では、視認性指標や形状指標の算出と、それらの指標に基づくエラー検出を行う。表示ドライバー３３０は、回路装置３２０から転送された画像データと、回路装置３２０による表示タイミング制御に基づいて、表示パネル３４０を駆動し、画像を表示させる。表示パネル３４０は、例えば液晶表示パネルである。記憶装置３５０は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置３６０は、電子機器３００をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置３７０は、例えば有線通信（を行う装置や、或いは無線通信を行う装置である。有線通信は、例えばＬＡＮ、又はＵＳＢ等である。無線通信は、例えば無線ＬＡＮや、無線近接通信等である。

【0180】

図２１では、電子機器がヘッドアップディスプレイである場合を例に説明したが、本実施形態の回路装置を含む電子機器はこれに限定されない。本実施形態の回路装置を含む電子機器としては、例えばヘッドマウントディスプレイやプロジェクター等、画像を被投影体に投影する種々の機器を想定できる。電子機器の構成は図２１に限定されず、用途に応じて種々の構成をとることができる。例えば車載用の電子機器では、回路装置３２０と投影装置３８０と操作装置３６０がメーターパネルに組み込まれ、処理装置３１０と記憶装置３５０と通信装置３７０がＥＣＵ（Electronic Control Unit）に組み込まれる。この場合、メーターパネルが、本実施形態の回路装置を含む電子機器に相当する。

【0181】

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また回路装置、電子機器の構成・動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

【符号の説明】

【0182】

１００…回路装置、１１０…インターフェース、１２５…前処理回路、１３５…画像処理回路、１４０…インターフェース、１４５…比較回路、１４６…画素アレンジ処理部、１４７…指標取得部、１５０…エラー検出回路、１７０…レジスター回路、１７５…比較結果レジスター、１７６…エラー検出結果レジスター、１７７…動作モード設定レジスター、１７８…閾値レジスター、１９０…インターフェース、２００…処理装置、２１０…不揮発性メモリー、３００…電子機器、３１０…処理装置、３２０…回路装置、３３０…表示ドライバー、３３５…光源、３４０…表示パネル、３４５…レンズ、３５０…記憶装置、３６０…操作装置、３７０…通信装置、３８０…投影装置、ＩＭＡ１～ＩＭＡ３…画像、ＩＭＢ１～ＩＭＢ３…画像、ＭＰＡ１，ＭＰＡ２…マップデータ、ＭＰＢ１，ＭＰＢ２…マップデータ、ＷＥＡ１，ＷＥＡ２…マッピング処理部、ＷＥＢ１，ＷＥＢ２…マッピング処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】