知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094134
(43)【公開日】2024-07-09
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 3/08 20240101AFI20240702BHJP
G06T 1/00 20060101ALI20240702BHJP
B60R 1/28 20220101ALI20240702BHJP
【ＦＩ】
G06T3/00 735
G06T1/00 330Z
B60R1/28 200
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022210906
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100078880
【弁理士】
【氏名又は名称】松岡 修平
(74)【代理人】
【識別番号】100183760
【弁理士】
【氏名又は名称】山鹿 宗貴
(72)【発明者】
【氏名】村上 哲郎
(72)【発明者】
【氏名】坂田 直人
(72)【発明者】
【氏名】古賀 昌史
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA16
5B057BA15
5B057CA01
5B057CA12
5B057CB01
5B057CB12
5B057CD05
5B057CD11
5B057DA16
(57)【要約】
【課題】移動体の外界画像を非平面な画面に表示させる際の処理負荷を抑えること。
【解決手段】画像処理装置は、画面が非平面の表示装置に接続される装置であり、表示対象画像を生成するためのパラメータを、目の位置の情報に応じて生成し、生成されたパラメータに基づいて外界画像から表示対象画像を生成し、生成された表示対象画像を表示装置に出力する。このパラメータは、外界画像の座標を、実空間に対応する第１座標系から外界画像の座標系（第２座標系）に変換する射影変換行列の要素と、基準面のうち画面に表示される範囲内の、外界画像の座標を、画面の座標に変換する射影変換行列の要素と、を含む。後者の変換は、第１座標系における目の位置と、画面の形状及び位置を示す画面データに基づいて第１座標系に配置される画面上の座標と、を結ぶ線分の延長線が、第１座標系で設定される基準面と交わる、基準面上の座標を特定することにより行われる。
【選択図】図２
【解決手段】画像処理装置は、画面が非平面の表示装置に接続される装置であり、表示対象画像を生成するためのパラメータを、目の位置の情報に応じて生成し、生成されたパラメータに基づいて外界画像から表示対象画像を生成し、生成された表示対象画像を表示装置に出力する。このパラメータは、外界画像の座標を、実空間に対応する第１座標系から外界画像の座標系（第２座標系）に変換する射影変換行列の要素と、基準面のうち画面に表示される範囲内の、外界画像の座標を、画面の座標に変換する射影変換行列の要素と、を含む。後者の変換は、第１座標系における目の位置と、画面の形状及び位置を示す画面データに基づいて第１座標系に配置される画面上の座標と、を結ぶ線分の延長線が、第１座標系で設定される基準面と交わる、基準面上の座標を特定することにより行われる。
【選択図】図２
【特許請求の範囲】
【請求項1】
移動体に配置され且つ画面の少なくとも一部が非平面の表示装置に接続される画像処理装置であって、
前記移動体の乗員の目の位置の情報を取得する視点情報取得部と、
前記移動体の外界を写す外界画像を取得する画像取得部と、
前記外界画像から前記表示装置に表示させる表示対象画像を生成するためのパラメータを、前記目の位置の情報に応じて生成するパラメータ生成部と、
前記パラメータ生成部で生成されたパラメータに基づいて前記外界画像から前記表示対象画像を生成する画像生成部と、
前記画像生成部で生成された表示対象画像を前記表示装置に出力する画像出力部と、を備え、
前記パラメータは、
実空間上で設定される基準面上の座標を、前記実空間に対応する第１座標系から前記外界画像の座標系である第２座標系に変換する射影変換行列の要素と、
前記第１座標系における前記目の位置と、前記画面の形状及び位置を示す画面データに基づいて前記第１座標系に配置される前記画面上の座標と、を結ぶ線分の延長線が、前記第１座標系で設定される基準面と交わる、前記基準面上の座標を特定することにより、前記画面の座標を、前記基準面のうち前記画面に表示される範囲内の、前記外界画像の座標に変換する射影変換行列の要素と、を少なくとも含む、
画像処理装置。
前記移動体の乗員の目の位置の情報を取得する視点情報取得部と、
前記移動体の外界を写す外界画像を取得する画像取得部と、
前記外界画像から前記表示装置に表示させる表示対象画像を生成するためのパラメータを、前記目の位置の情報に応じて生成するパラメータ生成部と、
前記パラメータ生成部で生成されたパラメータに基づいて前記外界画像から前記表示対象画像を生成する画像生成部と、
前記画像生成部で生成された表示対象画像を前記表示装置に出力する画像出力部と、を備え、
前記パラメータは、
実空間上で設定される基準面上の座標を、前記実空間に対応する第１座標系から前記外界画像の座標系である第２座標系に変換する射影変換行列の要素と、
前記第１座標系における前記目の位置と、前記画面の形状及び位置を示す画面データに基づいて前記第１座標系に配置される前記画面上の座標と、を結ぶ線分の延長線が、前記第１座標系で設定される基準面と交わる、前記基準面上の座標を特定することにより、前記画面の座標を、前記基準面のうち前記画面に表示される範囲内の、前記外界画像の座標に変換する射影変換行列の要素と、を少なくとも含む、
画像処理装置。
【請求項2】
前記パラメータは、前記画面の一部の画素を対象として、前記外界画像の座標を前記第１座標系から前記第２座標系に変換し且つ前記範囲内の座標を前記画面の座標に変換するものであり、
前記画像生成部は、前記パラメータに基づいて生成された前記表示対象画像に含まれる前記一部の画素の情報をもとに補間処理を行うことにより、前記表示対象画像の全ての画素の情報を取得する、
請求項１に記載の画像処理装置。
前記画像生成部は、前記パラメータに基づいて生成された前記表示対象画像に含まれる前記一部の画素の情報をもとに補間処理を行うことにより、前記表示対象画像の全ての画素の情報を取得する、
請求項１に記載の画像処理装置。
【請求項3】
前記画面は、第１方向でカーブする曲面状に形成された略矩形の画面であり、
前記画面データは、前記第１方向の曲線形状、前記第１方向と直交する第２方向の直線形状及び前記画面の設置角度の情報を含む、
請求項１に記載の画像処理装置。
前記画面データは、前記第１方向の曲線形状、前記第１方向と直交する第２方向の直線形状及び前記画面の設置角度の情報を含む、
請求項１に記載の画像処理装置。
【請求項4】
前記表示装置は、前記移動体のピラー部に設置される、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記外界画像は、広角レンズを備える撮影装置により撮影された画像であり、
前記パラメータは、前記外界画像の座標を前記第１座標系から前記第２座標系に変換するに際して前記外界画像の樽型収差を除去する要素を更に含む、
請求項１に記載の画像処理装置。
前記パラメータは、前記外界画像の座標を前記第１座標系から前記第２座標系に変換するに際して前記外界画像の樽型収差を除去する要素を更に含む、
請求項１に記載の画像処理装置。
【請求項6】
前記移動体に設置された複数の前記表示装置に接続され、
前記パラメータ生成部は、前記目の位置の情報に応じて、前記複数の表示装置のそれぞれに対応するパラメータを生成し、
前記画像生成部は、前記パラメータ生成部で生成された各前記パラメータに基づいて、前記複数の表示装置のそれぞれに対応する前記表示対象画像を生成する、
請求項１に記載の画像処理装置。
前記パラメータ生成部は、前記目の位置の情報に応じて、前記複数の表示装置のそれぞれに対応するパラメータを生成し、
前記画像生成部は、前記パラメータ生成部で生成された各前記パラメータに基づいて、前記複数の表示装置のそれぞれに対応する前記表示対象画像を生成する、
請求項１に記載の画像処理装置。
【請求項7】
前記表示装置が前記移動体内で動くことができるように設置されており、
前記表示装置の動きに応じて前記パラメータが更新される、
請求項１から請求項６の何れか一項に記載の画像処理装置。
前記表示装置の動きに応じて前記パラメータが更新される、
請求項１から請求項６の何れか一項に記載の画像処理装置。
【請求項8】
移動体に配置され且つ画面の少なくとも一部が非平面の表示装置に接続される画像処理装置で実行される画像処理方法であって、
前記移動体の乗員の目の位置の情報を取得するステップと、
前記移動体の外界を写す外界画像を取得するステップと、
前記外界画像から前記表示装置に表示させる表示対象画像を生成するためのパラメータを、前記目の位置の情報に応じて生成するステップと、
前記生成されたパラメータに基づいて前記外界画像から前記表示対象画像を生成するステップと、
前記生成された表示対象画像を前記表示装置に出力するステップと、を含み、
前記パラメータは、
実空間上で設定される基準面上の座標を、前記実空間に対応する第１座標系から前記外界画像の座標系である第２座標系に変換する射影変換行列の要素と、
前記第１座標系における前記目の位置と、前記画面の形状及び位置を示す画面データに基づいて前記第１座標系に配置される前記画面上の座標と、を結ぶ線分の延長線が、前記第１座標系で設定される基準面と交わる、前記基準面上の座標を特定することにより、前記画面の座標を、前記基準面のうち前記画面に表示される範囲内の、前記外界画像の座標に変換する射影変換行列の要素と、を少なくとも含む、
画像処理方法。
前記移動体の乗員の目の位置の情報を取得するステップと、
前記移動体の外界を写す外界画像を取得するステップと、
前記外界画像から前記表示装置に表示させる表示対象画像を生成するためのパラメータを、前記目の位置の情報に応じて生成するステップと、
前記生成されたパラメータに基づいて前記外界画像から前記表示対象画像を生成するステップと、
前記生成された表示対象画像を前記表示装置に出力するステップと、を含み、
前記パラメータは、
実空間上で設定される基準面上の座標を、前記実空間に対応する第１座標系から前記外界画像の座標系である第２座標系に変換する射影変換行列の要素と、
前記第１座標系における前記目の位置と、前記画面の形状及び位置を示す画面データに基づいて前記第１座標系に配置される前記画面上の座標と、を結ぶ線分の延長線が、前記第１座標系で設定される基準面と交わる、前記基準面上の座標を特定することにより、前記画面の座標を、前記基準面のうち前記画面に表示される範囲内の、前記外界画像の座標に変換する射影変換行列の要素と、を少なくとも含む、
画像処理方法。
【請求項9】
前記パラメータは、前記画面の一部の画素を対象として、前記外界画像の座標を前記第１座標系から前記第２座標系に変換し且つ前記範囲内の座標を前記画面の座標に変換するものであり、
前記表示対象画像を生成するステップにおいて、前記パラメータに基づいて生成された前記表示対象画像に含まれる前記一部の画素の情報をもとに補間処理を行うことにより、前記表示対象画像の全ての画素の情報を取得する、
請求項８に記載の画像処理方法。
前記表示対象画像を生成するステップにおいて、前記パラメータに基づいて生成された前記表示対象画像に含まれる前記一部の画素の情報をもとに補間処理を行うことにより、前記表示対象画像の全ての画素の情報を取得する、
請求項８に記載の画像処理方法。
【請求項10】
前記画面は、第１方向でカーブする曲面状に形成された略矩形の画面であり、
前記画面データは、前記第１方向の曲線形状、前記第１方向と直交する第２方向の直線形状及び前記画面の設置角度の情報を含む、
請求項８に記載の画像処理方法。
前記画面データは、前記第１方向の曲線形状、前記第１方向と直交する第２方向の直線形状及び前記画面の設置角度の情報を含む、
請求項８に記載の画像処理方法。
【請求項11】
前記表示装置は、前記移動体のピラー部に設置される、
請求項８に記載の画像処理方法。
請求項８に記載の画像処理方法。
【請求項12】
前記外界画像は、広角レンズを備える撮影装置により撮影された画像であり、
前記パラメータは、前記外界画像の座標を前記第１座標系から前記第２座標系に変換するに際して前記外界画像の樽型収差を除去する要素を更に含む、
請求項８に記載の画像処理方法。
前記パラメータは、前記外界画像の座標を前記第１座標系から前記第２座標系に変換するに際して前記外界画像の樽型収差を除去する要素を更に含む、
請求項８に記載の画像処理方法。
【請求項13】
前記移動体に設置された複数の前記表示装置に接続され、
前記パラメータを生成するステップにおいて、前記目の位置の情報に応じて、前記複数の表示装置のそれぞれに対応するパラメータを生成し、
前記表示対象画像を生成するステップにおいて、前記パラメータを生成するステップで生成された各前記パラメータに基づいて、前記複数の表示装置のそれぞれに対応する前記表示対象画像を生成する、
請求項８に記載の画像処理方法。
前記パラメータを生成するステップにおいて、前記目の位置の情報に応じて、前記複数の表示装置のそれぞれに対応するパラメータを生成し、
前記表示対象画像を生成するステップにおいて、前記パラメータを生成するステップで生成された各前記パラメータに基づいて、前記複数の表示装置のそれぞれに対応する前記表示対象画像を生成する、
請求項８に記載の画像処理方法。
【請求項14】
前記表示装置が前記移動体内で動くことができるように設置されており、
前記表示装置の動きに応じて前記パラメータが更新される、
請求項８から請求項１３の何れか一項に記載の画像処理方法。
前記表示装置の動きに応じて前記パラメータが更新される、
請求項８から請求項１３の何れか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
運転手の視界を拡張させる画像を表示可能な画像処理装置が知られている。この種の画像処理装置の具体的構成が、例えば特許文献１に記載されている。
【0003】
特許文献１に記載の画像処理装置は、運転手の視点から表示装置の設置領域が透過して車外が見えた場合と同等の画像が表示装置の画面に表示されるように、撮影装置による車外の撮影画像を座標変換する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００７－０９６６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、車室内のピラー部に設置される表示装置には、形状に柔軟性のあるフレキシブルディスプレイ等を使用し、画面が曲面になっているものがある。このような複雑な形状の画面に対し、乗員から見て自然な車外画像を描画するのに必要な演算量は、膨大である。このため、処理能力の高い画像処理装置が必要であり、コストが高くなる。
【0006】
本発明は上記の事情に鑑み、移動体の外界画像を非平面な画面に表示させる際の処理負荷を抑えることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係る画像処理装置は、移動体に配置され且つ画面の少なくとも一部が非平面の表示装置に接続される装置である。この画像処理装置は、移動体の乗員の目の位置の情報を取得する視点情報取得部と、移動体の外界を写す外界画像を取得する画像取得部と、外界画像から表示装置に表示させる表示対象画像を生成するためのパラメータを、目の位置の情報に応じて生成するパラメータ生成部と、パラメータ生成部で生成されたパラメータに基づいて外界画像から表示対象画像を生成する画像生成部と、画像生成部で生成された表示対象画像を表示装置に出力する画像出力部と、を備える。パラメータは、少なくとも、次の２つの要素を含む。一つ目は、実空間上で設定される基準面上の座標を、実空間に対応する第１座標系から外界画像の座標系である第２座標系に変換する射影変換行列の要素である。二つ目は、画面の座標を、基準面のうち画面に表示される範囲内の、外界画像の座標に変換する射影変換行列の要素である。後者の変換は、第１座標系における目の位置と、画面の形状及び位置を示す画面データに基づいて第１座標系に配置される画面上の座標と、を結ぶ線分の延長線が、第１座標系で設定される基準面と交わる、基準面上の座標を特定することにより行われる。
【発明の効果】
【0008】
本発明の一実施形態によれば、移動体の外界画像を非平面な画面に表示させる際の処理負荷を抑えることができる画像処理装置及び画像処理方法が提供される。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る表示制御システムの構成を示す概略図である。
【図2】本発明の一実施形態に係る表示制御システムの構成を示すブロック図である。
【図3】本発明の一実施形態に係る表示制御システムが組み込まれた車両の運転席周りを示す図である。
【図4】本発明の一実施形態に係るプロセッサによる画像処理の説明を補足する図である。
【図5】本発明の一実施形態に係るプロセッサによる画像処理の説明を補足する図である。
【図6】本発明の一実施形態に係るプロセッサによる画像処理の説明を補足する図である。
【図7】本発明の一実施形態に係る表示装置の画面データの一例を説明する概念的な説明図である。
【図8】本発明の一実施形態に係る表示装置の画面データの一例を説明する概念的な説明図である。
【図9】本発明の一実施形態において実行される補間処理の一例を示す概念図である。
【図10】本発明の一実施形態においてプロセッサにより実行される画像処理を示すフローチャートである。
【図11】本発明の変形例１に係る表示制御システムの構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下の説明は、本発明の一実施形態に係る画像処理装置、画像処理方法及び画像処理プログラムに関する。なお、共通の又は対応する要素については、同一又は類似の符号を付して、重複する説明を適宜簡略又は省略する。
【0011】
【0012】
表示制御システム１は、ＥＣＵ（Electronic Control Unit）１０、車内カメラ２０、ＤＭＳ（Driver Monitoring System）３０、車外カメラ４０、ＨＭＩ（Human Machine Interface）５０、表示装置６０Ｒ及び６０Ｌを備える。なお、図１及び図２では、本実施形態の説明に必要な主たる構成要素を図示しており、例えば筐体など、一部の構成要素については、その図示を適宜省略する。
【0013】
表示制御システム１は、道路を走行する車両（移動体の一例）に組み込まれたシステムである。なお、図１及び図２に示される構成は一例に過ぎない。例えば、ＤＭＳ３０がＥＣＵ１０に組み込まれてもよい。すなわち、表示制御システム１の態様には自由度があり、各種の設計変更が可能である。
【0014】
ＥＣＵ１０は、画像処理装置の一例であり、プロセッサ１００及び記憶装置２００を有する。なお、ＥＣＵ１０は、ナビゲーション装置やＩＶＩ（In-Vehicle Infotainment）の一部をなす装置であってもよい。また、画像処理装置は、ＥＣＵ１０のような車載型の装置に限らない。画像処理装置は、スマートフォン、フィーチャフォン、タブレット端末、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Portable Navigation Device）、携帯ゲーム機等の他の形態の装置であってもよい。
【0015】
プロセッサ１００は、記憶装置２００に記憶された画像処理プログラム２００Ａを実行する。すなわち、プロセッサ１００は、画像処理プログラム２００Ａを実行するコンピュータの一例である。
【0016】
プロセッサ１００は、ＲＡＭ（Random Access Memory）、フラッシュＲＯＭ（Read Only Memory）等を備えており、表示制御システム１全体を制御する。例えば、プロセッサ１００は、記憶装置２００に記憶された画像処理プログラム２００Ａをはじめとする各種プログラムをワークエリアであるＲＡＭ上に展開し、展開されたプログラムに従って表示制御システム１を制御する。
【0017】
プロセッサ１００は、例えばシングルプロセッサ又はマルチプロセッサであり、少なくとも１つのプロセッサを含む。複数のプロセッサを含む構成とした場合、プロセッサ１００は、単一の装置としてパッケージ化されたものであってもよく、ＥＣＵ１０内で物理的に分離した複数の装置で構成されてもよい。
【0018】
記憶装置２００に記憶された画像処理プログラム２００Ａは、移動体である車両に配置され且つ画面の少なくとも一部が非平面の表示装置６０Ｒ及び６０Ｌに接続された、コンピュータの一例であるプロセッサ１００に実行させるプログラムである。画像処理プログラム２００Ａは、移動体の乗員の視点（本明細書では、目の位置を「視点」という。）の情報を取得し、移動体の外界を写す外界画像を取得し、外界画像から表示装置６０Ｒ及び６０Ｌに表示させる表示対象画像を生成するためのパラメータを、目の位置の情報に応じて生成し、生成されたパラメータに基づいて外界画像から表示対象画像を生成し、生成された表示対象画像を表示装置６０Ｒ及び６０Ｌに出力する、という一連の処理を、プロセッサ１００に実行させる。上記パラメータは、少なくとも、次の２つの要素を含む。一つ目は、実空間に対応する第１座標系から外界画像の座標を、外界画像の座標系である第２座標系に変換する射影変換行列の要素である。二つ目は、画面の座標を、基準面のうち画面に表示される範囲内の、外界画像の座標に変換する射影変換行列の要素である。後者の変換は、第１座標系における目の位置と、画面の形状及び位置を示す画面データに基づいて第１座標系に配置される画面上の座標と、を結ぶ線分の延長線が、第１座標系で設定される基準面と交わる、基準面上の座標を特定することにより行われる。
【0019】
言い換えると、画像処理プログラム２００Ａは、上記一連の処理を含む画像処理方法をプロセッサ１００に実行させる。
【0020】
画像処理プログラム２００Ａを用いて画像処理を実行することにより、移動体の外界画像を非平面な画面に表示させる際の処理負荷を抑えることが可能となる。
【0021】
図３は、表示制御システム１が組み込まれた車両の運転席周りを示す図である。図３は、車両の後部座席から斜め前方を見た図である。図３の車室内には、車内カメラ２０、表示装置６０Ｃ及び６０Ｒ並びにフロントウインドウ３００が含まれる。表示装置６０Ｒは、フロントウインドウ３００の右側の右フロントピラー部に埋設される。フロントウインドウ３００の左側の左フロントピラー部には、表示装置６０Ｌが埋設される。
【0022】
車内カメラ２０は、例えば表示装置６０Ｃ近傍に設置される。車内カメラ２０は、例えば運転席に着座した乗員２を撮影する。
【0023】
ＤＭＳ３０は、車内カメラ２０により撮影された車内画像Ｐ２０を用いて乗員２の顔認識と視点検出を行う。例示的には、ＤＭＳ３０は、公知の画像認識技術を利用して乗員２の顔の位置、顔の向き、目を含む顔の各パーツ、顔に関する乗員２の動作等を認識する処理を行う。顔に関する乗員２の動作とは、例えば、ウインク、うなずく等の動作である。
【0024】
ＤＭＳ３０は、顔認識の結果を用いて乗員２の目の位置である視点座標ＰＶを検出して、プロセッサ１００に出力する。視点座標ＰＶは、乗員２の利き目（右又は左）の座標であってもよく、また、左右の瞳孔を結ぶ線分の中点であってもよい。乗員２は、例えばＨＭＩ５０を操作して自身の利き目を予め入力することができる。なお、ＤＭＳ３０は、顔認識の結果を用いず、車内画像Ｐ２０から乗員２の視点座標ＰＶを直接検出してもよい。それとは逆に、ＤＭＳ３０は、目の位置以外の乗員の部位の座標や顔の輪郭を検出することにより、それらに対する標準的な目の位置を乗員２の視点座標ＰＶと推定してもよい。
【0025】
車外カメラ４０は、車両の外界を撮影する。例示的には、車外カメラ４０は、車両前方と車両側方を撮影する。車外カメラ４０の撮影視野は、乗員２の目の位置（例えば運転席のヘッドレストのやや前方位置）を視点として右フロントピラー部で死角となる範囲及び左フロントピラー部で死角となる範囲を含む。車外カメラ４０は、撮影した車外画像Ｐ４０をプロセッサ１００に出力する。
【0026】
撮影装置の一例である車外カメラ４０は、広範囲を撮影するため、広角レンズを備えた、広い画角を撮影可能なカメラであってもよい。車外カメラ４０に備えられる広角レンズは、例えば、魚眼レンズである。そのため、車外カメラ４０による車外画像Ｐ４０は、歪み（樽型収差）のある画像となる。
【0027】
車外カメラ４０は、１台のカメラで構成されてもよく、また、複数台のカメラを含む構成としてもよい。車外画像Ｐ４０は、例えば、車両前方を撮影するフロントカメラ、車両側方を撮影する左右の一対のサイドカメラの各撮影画像を組み合わせたものであってもよい。
【0028】
ＨＭＩ５０には、ハードウェア又はソフトウェア若しくはこれらを組み合わせた種々のユーザインタフェースが想定される。例示的には、ＨＭＩ５０は、ダッシュボードに設置されたメカニカルスイッチキー、リモートコントローラ等である。表示装置６０Ｃがタッチパネルを搭載する場合、タッチパネル環境下で提供されるＧＵＩ（Graphical User Interface）も、ＨＭＩ５０をなす。乗員２は、ＨＭＩ５０を通じて表示制御システム１を操作することができる。
【0029】
表示装置６０Ｃは、例えば、タッチパネルを搭載するＬＣＤ（Liquid Crystal Display）であり、ダッシュボードに設置される。表示装置６０Ｒ、６０ＬもＬＣＤであり、それぞれ、右フロントピラー部、左フロントピラー部に設置される。これらの表示装置は、ＬＣＤに限らず、例えば有機ＥＬ（Electro Luminescence）ディスプレイなど、別の形態の表示装置であってもよい。
【0030】
図３の例示では、直線状に延びる物体ＯＪが車外にある。この例示では、乗員２の視点に合わせた高精度な出力画像ＰＲＩＭＧが右フロントピラー部に設置された表示装置６０Ｒの画面６０ＡＲに表示される。そのため、図３に示されるように、フロントウインドウ３００を介して視認される物体ＯＪの一部と、画面６０ＡＲに表示される物体ＯＪの一部（便宜上符号ＯＪ’で示す。）と、が一直線に並ぶ。乗員２は、死角となる直視できない領域を、画面６０ＡＲを通じて視認することができる。
【0031】
図３では、物体ＯＪの中心線に、符号ＬＣが付される。図３に示されるように、物体ＯＪの中心線ＬＣは、画面６０ＡＲに表示される物体ＯＪ’の中心線と一致する。物体ＯＪと物体ＯＪ’とが一続きの直線状の物体に見えるため、画面６０ＡＲに写る出力画像ＰＲＩＭＧを自然な画像として乗員２に知覚させることができる。
【0032】
このように、乗員２の視点から画面６０ＡＲの設置領域が透過して車外が見えた場合と同等の出力画像ＰＲＩＭＧが画面６０ＡＲに表示される。表示装置６０Ｌの画面６０ＡＬにも、乗員２の視点から画面６０ＡＬの設置領域が透過して車外が見えた場合と同等の出力画像ＰＬＩＭＧが表示される。
【0033】
以下、便宜上、表示装置６０Ｒと表示装置６０Ｌを総称して「表示装置６０」と記す場合がある。画面６０ＡＲと画面６０ＡＬを総称して「画面６０Ａ」と記す場合がある。出力画像ＰＲＩＭＧと出力画像ＰＬＩＭＧを総称して「出力画像ＰＩＭＧ」と記す場合がある。
【0034】
本実施形態では、画面６０Ａに写る車外の風景を現実の風景の一部として乗員２に知覚させることができる。フロントピラー部越しの風景が見えるため、フロントピラー部が透明であるかのように乗員２に知覚させることができる。
【0035】
ここで、表示装置６０は、画面が曲面になっている曲面ディスプレイである。すなわち、表示装置６０は、車両（移動体の一例）に配置され且つ画面の少なくとも一部が非平面の表示装置の一例である。
【0036】
従来、曲面ディスプレイのような複雑な画面形状を持つ表示装置に自然な車外画像を描画するのに必要な演算量は膨大である。このため、処理能力の高い画像処理装置が必要であり、コストが高くなる。
【0037】
そこで、乗員２の視点に合わせた高精度な出力画像ＰＩＭＧを表示装置６０に表示させる際のプロセッサ１００の処理負荷を抑えるべく、本実施形態に係るＥＣＵ１０は、以下のように構成される。
【0038】
プロセッサ１００は、機能ブロックとして、視点情報取得部１００Ａ、画像取得部１００Ｂ、パラメータ生成部１００Ｃ、画像生成部１００Ｄ及び画像出力部１００Ｅを含む。各機能ブロックは、プロセッサ１００が実行する画像処理プログラム２００Ａにより実現される。各機能ブロックは、一部又は全部が専用の論理回路等のハードウェアにより実現されてもよい。
【0039】
視点情報取得部１００Ａは、乗員２の視点の情報を取得する。例示的には、視点情報取得部１００Ａは、視点座標ＰＶをＤＭＳ３０より取得する。なお、視点座標ＰＶは、例えば乗員２によるＨＭＩ５０に対する操作によって設定されてもよい。この場合、表示制御システム１からＤＭＳ３０を省くことが可能となる。
【0040】
画像取得部１００Ｂは、車外カメラ４０で撮影された車外画像Ｐ４０（移動体の外界を写す外界画像の一例）を取得する。
【0041】
パラメータ生成部１００Ｃは、車外画像Ｐ４０から、表示装置６０に表示させる出力画像ＰＩＭＧ（表示対象画像の一例）を生成するためのパラメータＰＭＴを、視点座標ＰＶ（視点の情報の一例）に応じて生成する。より詳細には、パラメータＰＭＴは、車外画像Ｐ４０から、表示装置６０Ｒに表示させる出力画像ＰＲＩＭＧを生成するための第１のパラメータＰＭＴを生成するとともに、表示装置６０Ｌに表示させる出力画像ＰＬＩＭＧを生成するための第２のパラメータＰＭＴを生成する。
【0042】
画像生成部１００Ｄは、パラメータ生成部１００Ｃで生成された第１、第２の各パラメータＰＭＴに基づいて、車外画像Ｐ４０から、出力画像ＰＲＩＭＧ、ＰＬＩＭＧを生成する。
【0043】
画像出力部１００Ｅは、画像生成部１００Ｄで生成された出力画像ＰＲＩＭＧ、ＰＬＩＭＧを、それぞれ、表示装置６０Ｒ、６０Ｌに出力する。
【0044】
これにより、図３に例示される出力画像ＰＲＩＭＧが表示装置６０Ｒの画面６０ＡＲに表示される。図３では図示外ではあるが、表示装置６０Ｌの画面６０ＡＬにも、画面６０ＡＲと同様に、乗員２の視点から画面６０ＡＬの設置領域が透過して車外が見えた場合と同等の出力画像ＰＬＩＭＧが表示される。
【0045】
詳しくは後述するが、パラメータＰＭＴは、少なくとも、次の２つの要素を含む。一つ目は、実空間上で設定される基準面上の座標を、実空間に対応する第１座標系から車外画像Ｐ４０の座標系である第２座標系に変換する射影変換行列の要素である。二つ目は、画面６０ＡＲ（又は画面６０ＡＬ）の座標を、基準面のうち画面６０ＡＲ（又は画面６０ＡＬ）に表示される範囲内の、車外画像Ｐ４０の座標に変換する射影変換行列の要素である。後者の変換は、第１座標系における視点座標ＰＶと、画面６０ＡＲ（又は画面６０ＡＬ）の形状及び位置を示す画面データに基づいて第１座標系に配置される画面６０ＡＲ（又は画面６０ＡＬ）上の座標と、を結ぶ線分の延長線が、第１座標系で設定される基準面と交わる、基準面上の座標を特定することにより行われる。
【0046】
すなわち、プロセッサ１００は、射影変換行列の要素を含む上記の如きパラメータＰＭＴを視点座標ＰＶに応じてリアルタイムに生成する。このようなパラメータＰＭＴを用いることにより、乗員２の視点に応じてリアルタイムに変化する精度の高い出力画像ＰＩＭＧを、従来よりも少ない演算コストで、曲面ディスプレイである表示装置６０Ｒ、６０Ｌの画面６０ＡＲ、画面６０ＡＬに表示させることができる。
【0047】
図４～図６は、プロセッサ１００（特に、パラメータ生成部１００Ｃ及び画像生成部１００Ｄ）による画像処理の説明を補足する図である。これらの図を用いて、表示装置６０Ｒに出力する出力画像ＰＲＩＭＧの生成方法について説明する。重複説明を避けるため、出力画像ＰＬＩＭＧの生成方法については省略する。
【0048】
車両座標系は、実空間に対応する第１座標系の一例であり、例えば図４に示されるように、ＸＶ，ＹＶ，ＺＶの３軸で示される。車両座標系は、表示制御システム１を組み込む車両を基準とした座標系であり、車両のある位置を原点Ｏとする３次元座標系である。軸ＸＶは、車幅方向に延びる。軸ＹＶは、車両上下方向に延びる。軸ＺＶは、車両前後方向に延びる。各軸の単位は、ミリメートル（ｍｍ）である。
【0049】
画像座標系は、外界画像の座標系である第２座標系の一例であり、例えば図４に示されるように、横軸ＸＣ、縦軸ＹＣの２軸で示される。画像座標系は、車外画像Ｐ４０を基準とする座標系であり、車外画像Ｐ４０の左上隅を原点Ｏとする２次元座標系である。各軸の単位は、ピクセル（ｐｘ）である。
【0050】
基準面ＳＭは、車両座標系に設定される仮想面であり、例えば図４に示されるように、軸ＹＶと平行な垂直面である。例示的には、車両から前方に所定距離離れた垂直面が基準面ＳＭに設定される。また、例えばプロセッサ１００が画像認識処理を行い、この処理で認識された垂直面（壁面等）の位置に基準面ＳＭに設定されてもよい。基準面ＳＭは、垂直面に限らない。水平面（地面等）が基準面ＳＭに設定されてもよく、また、斜めに傾いた面が基準面ＳＭに設定されてもよい。
【0051】
図５に示される画面６０ＡＲは、出力画像ＰＲＩＭＧの投影面であり、車両座標系に配置される。
【0052】
ここで、ＥＣＵ１０の記憶装置２００に、画面データＤＢ２００Ｂが記憶される。画面データＤＢ２００Ｂには、画面６０ＡＲ、６０ＡＬ等の各画面の画面データが格納される。この画面データは、車両座標系における画面の形状及び位置の情報を含む。図５に示される画面６０ＡＲは、画面６０ＡＲの画面データに基づいて車両座標系内に定義される。
【0053】
車両座標系における画面６０ＡＲの座標は、例えば、曲面を定義するのに必要な最小限の情報に基づいて幾何計算で求められる。画面６０ＡＲの座標は、車両座標系における座標配列要素を参照することによって得られてもよい。何れにしても、画面６０ＡＲの座標は、画面６０ＡＲの画面データから得られる。
【0054】
表示装置の形状（サイズを含む。）は、例えば製品毎に異なる。また、表示装置の設置位置は車種毎に異なる。そこで、画面データＤＢ２００Ｂには、種々の形状の表示装置及び設置位置に対応する複数種類の画面データが格納されてもよい。各種画面データを予め格納することにより、プロセッサ１００による画像処理で適用する画面データ（言い換えると、画面データに基づいて車両座標系に配置される画面）を、製品毎及び車種毎に応じて簡単に切り替えることができる。
【0055】
このように、画面データＤＢ２００Ｂは、複数種類の画像データを格納する記憶部の一例である。
【0056】
画面データは、例えばローカルでなくネットワーク上に配置されてもよい。この場合、プロセッサ１００は、図示しない移動体無線通信部を通じてネットワーク上の画面データＤＢにアクセスして画面データをダウンロードする。
【0057】
【0058】
図７に概念的に示されるように、画面６０ＡＲの画面データＤ１は、少なくとも、画面６０ＡＲの垂直辺を定義する２つの点データＰ１及びＰ２（３次元座標データ）、曲面を定義する曲線データＣ１（例えば２次元空間又は３次元空間で描かれるベジェ曲線のデータ）及び曲線に対する回転角度データＲ１を含む。
【0059】
図７の例では、点データＰ１及びＰ２を用いて、車両座標系における画面６０ＡＲの一方の垂直辺の位置及び長さが定義される。便宜上、点データＰ１と点データＰ２とを結ぶ線分は符号ＬＡで示される。曲線データＣ１を用いて、垂直辺と直交する曲線状の上下辺の形状及び長さが定義される。便宜上、曲線データＣ１で定義される曲線は符号Ｃ２で示される。回転角度データＲ１を用いて、曲線状の上下辺の向きが定義される。曲線データＣ１の終点Ｐ３とＰ４とを接続することにより、画面６０ＡＲの形状及び位置の情報が得られる。
【0060】
このように、上下辺方向（第１方向の一例）でカーブする曲面状に形成された略矩形の画面６０ＡＲの画面データは、上下辺方向の曲線形状、上下辺方向と直交する垂直辺方向（第２方向の一例）の直線形状及び設置角度の情報（すなわち、曲線データＣ１、点データＰ１及びＰ２及び回転角度データＲ１）を含む。
【0061】
より正確な曲面形状を定義するため、図８に概念的に示されるように、画面６０ＡＲの形状及び位置は、曲線データＣ１、点データＰ１及びＰ２及び回転角度データＲ１に基づいて幾何計算で求められる。
【0062】
この幾何計算では、画面６０ＡＲ（言い換えると、画面データＤ１で定義される曲面）上の格子点の座標配列が求められる。処理負荷の軽減のため、全画素に対応する格子点ではなく、一定間隔で離散的に並ぶ一部の画素に対応する格子点の座標配列が求められる。ここで求められる格子点の座標配列は、図６に示される出力画像ＰＲＩＭＧ上の各格子点で示される座標群Ｄに対応する。
【0063】
図８に示されるように、曲線データＣ１で定義される曲線Ｃ２がｎ等分される。このｎは、垂直辺方向の格子点の数から１を減算した値である。曲線Ｃ２の両端点及びｎ等分された曲線Ｃ２の各分割点の座標が計算される。
【0064】
上記で計算された曲線Ｃ２上の分割点群ＣＶ１が複製される。複製元の分割点群ＣＶ１は、複製元の分割点群ＣＶ１の一端点が点データＰ１に配置されるよう移動され、複製された分割点群ＣＶ１は、複製された分割点群ＣＶ１の一端点が点データＰ２に配置されるよう移動される。なお、点データＰ１と点データＰ２とを結ぶ線分ＬＡが、分割点群ＣＶ１がなす曲線Ｃ２と直交するように、複製元の分割点群ＣＶ１の向きが決められる。複製された分割点群ＣＶ２は、複製元の分割点群ＣＶ１と同じ向きにされる。
【0065】
線分ＬＡがｍ等分される。このｍは、上下辺方向の格子点の数から１を減算した値である。線分ＬＡの両端点及びｍ等分された線分ＬＡの各分割点の座標が計算される。
【0066】
上記で計算された線分ＬＡ上の分割点群ＣＶ２が複製される。より具体的には、一方の分割点群ＣＶ１の他端点に点データＰ１が位置し且つ他方の分割点群ＣＶ１の他端点に点データＰ２が位置するように、分割点群ＣＶ２が複製される。
【0067】
一対の分割点群ＣＶ１の対向配置点を結ぶ上下辺沿いの線分ＬＢが定義される。一対の分割点群ＣＶ２の対向配置点を結ぶ垂直辺沿いの線分ＬＤが定義される。
【0068】
各線分ＬＢと各線分ＬＤとが交わる全ての格子点の座標、すなわち格子点の座標配列が計算される。
【0069】
格子点の座標配列は、回転角度データＲ１に応じて車両座標系内で回転される。これにより、画面６０ＡＲの形状及び位置の情報を含む画面データＤ１として、格子点の座標配列が求まる。
【0070】
プロセッサ１００による画像処理では、次式を用いて、車外画像Ｐ４０から出力画像ＰＲＩＭＧが生成される。附言するに、次式（１）を成立させる、出力画像ＰＲＩＭＧの格子点群（座標群Ｄ）に対応する車外画像Ｐ４０の座標群Ｄ’が計算される。
【0071】
式（１）
Ｄ’＝ｆ（ＨＤ）
Ｄ：出力画像ＰＲＩＭＧ上の画素を示す座標群
Ｈ：射影変換行列Ｍ×射影変換行列Ｎ
ｆ：樽型収差除去後の車外画像Ｐ４０上の座標から対応する樽型収差除去前の車外画像Ｐ４０上の座標に変換する関数
Ｄ’：座標群Ｄに対応する車外画像Ｐ４０上の座標群
Ｄ’＝ｆ（ＨＤ）
Ｄ：出力画像ＰＲＩＭＧ上の画素を示す座標群
Ｈ：射影変換行列Ｍ×射影変換行列Ｎ
ｆ：樽型収差除去後の車外画像Ｐ４０上の座標から対応する樽型収差除去前の車外画像Ｐ４０上の座標に変換する関数
Ｄ’：座標群Ｄに対応する車外画像Ｐ４０上の座標群
【0072】
上記式（１）について具体的に説明する。
【0073】
座標群Ｄは、２次元に展開された画面６０ＡＲの座標系（第３座標系の一例）の座標を横に並べた行列である。画面６０ＡＲの座標系は、横軸ＸＤ、縦軸ＹＤの２軸で示される。画面６０ＡＲの座標系は、画面６０ＡＲを基準とする座標系であり、画面６０ＡＲの左上隅を原点Ｏとする２次元座標系である。各軸の単位は、ピクセル（ｐｘ）である。
【0074】
なお、座標群Ｄは、全画素の座標群でなく、画面データＤ１（すなわち、一定間隔で離散的に並ぶ一部の画素に対応する格子点の座標配列）に対応する一部の画素の座標群を示す。附言するに、プロセッサ１００は、座標群Ｄを示す各格子点の座標と、車両座標系における対応座標ＧＰ（言い換えると、画面データＤ１で定義される画面６０ＡＲ上の格子点）と、の対応関係を予め保持している。
【0075】
射影変換行列Ｈは、射影変換行列Ｍと射影変換行列Ｎとの積である。
【0076】
射影変換行列Ｎを用いて、画面データＤ１で定義される画面６０ＡＲ上の格子点（言い換えると、座標群Ｄを示す各格子点の座標）が、車両座標系内に設定された基準面ＳＭ上の各座標に変換される。
【0077】
ここで、図５中、投影中心Ｔは、画面６０ＡＲに投影される出力画像ＰＲＩＭＧの投影中心を示す。本実施形態では、車両座標系における乗員２の視点座標ＰＶが投影中心Ｔに設定される。
【0078】
プロセッサ１００は、投影中心Ｔを基準にして、車両座標系で設定された基準面ＳＭ上のどの範囲が、投影面である画面６０ＡＲに投影されるかを特定する。具体的には、プロセッサ１００は、画面６０ＡＲの座標を示す格子点ＧＰの１つと投影中心Ｔとを結ぶ線分Ｌ１を求める。プロセッサ１００は、線分Ｌ１の延長線Ｌ１’が交わる、基準面ＳＭ上の座標ＣＰを求める。各格子点ＧＰに対応する基準面ＳＭ上の座標ＣＰが求まることにより、画面６０ＡＲに対応する範囲ＨＣが特定される。
【0079】
なお、図５に示される基準面ＳＭ及び範囲ＨＣのかたちは概念的に示したにすぎず、正確なものではない。
【0080】
すなわち、射影変換行列Ｎは、画面６０ＡＲ上の格子点ＧＰを基準面ＳＭ上の座標ＣＰに射影変換する要素である。射影変換行列Ｎの係数は、投影中心Ｔ（視点座標ＰＶ）に応じて決まる。基準面ＳＭが車両座標系内の規定位置でなく車外画像Ｐ４０に写る物体に応じて動的に変化する場合、射影変換行列Ｎの係数は、投影中心Ｔ（視点座標ＰＶ）及び基準面ＳＭに応じて決まる。
【0081】
このように、プロセッサ１００は、射影変換行列Ｎを用いて、各格子点ＧＰを各座標ＣＰに射影変換する。
【0082】
ここで、車両座標系の基準面ＳＭ上の座標（ｘＶ，ｙＶ）を表す同次座標は符号ＰＶで示される。座標（ｘＶ，ｙＶ）に対応する、画面６０ＡＲの座標（ｘＤ，ｙＤ）を表す同次座標は符号ＰＤで示される。同次座標ＰＶとＰＤの関係は、次式（２）で示される。
【0083】
式（２）
【0084】
投影中心Ｔ（視点座標ＰＶ）を投影の中心とし、基準面ＳＭを投影面とした際の、画面６０ＡＲ上の格子点ＧＰの点を投影する投影変換行列を算出し、これを射影変換行列Ｎとする。なお、値λＶ，λＤは、各同次座標ＰＶ，ＰＤにおける倍率を示す。値λＶ，λＤが値０を除くどのような値でも、各同次座標は、各座標系上で同一の座標を表す。
【0085】
射影変換行列Ｎを用いた上記式（２）により、各格子点ＧＰ（言い換えると、座標群Ｄの各座標）が基準面ＳＭ上の座標ＣＰに変換される。
【0086】
射影変換行列Ｍを用いて、基準面ＳＭ上の各座標ＣＰが、樽型収差を除去した車外画像Ｐ４０上の座標ＣＰ’（言い換えると、画像座標系の座標）に変換される。
【0087】
ここで、車両座標系の基準面ＳＭ上の座標（ｘＶ，ｙＶ）を表す同次座標は符号ＰＶで示される。座標（ｘＶ，ｙＶ）に対応する、画像座標系の座標（ｘＣ，ｙＣ）を表す同次座標は符号ＰＣで示される。同次座標ＰＶとＰＣの関係は、次式（３）で示される。
【0088】
式（３）
【0089】
複数対の、対応する点ＰＶと点ＰＣとが実測により特定され、これらの特定された座標が上記式（３）に代入されて、射影変換行列Ｍの各要素を含む連立方程式が解かれることにより、射影変換行列Ｍが算出される。なお、値λＶ，λＣは、各同次座標ＰＶ，ＰＣにおける倍率を示す。値λＶ，λＣが値０を除くどのような値でも、各同次座標は、各座標系上で同一の座標を表す。射影変換行列Ｍの算出時には、値λＶ，λＣを１とみなす。
【0090】
射影変換行列Ｍを用いた上記式（３）により、車両座標系に設定された基準面ＳＭ上の各座標ＣＰが画像座標系の座標ＣＰ’に変換される。
【0091】
射影変換行列Ｍと射影変換行列Ｎとの積Ｈ（＝ＭＮ）は、画像座標系の座標（ｘＣ，ｙＣ）を、画面６０ＡＲの座標（ｘＤ，ｙＤ）に変換する射影変換行列となる。この射影変換行列Ｈを用いた関係式は、次式（４）に示される通りである。射影変換行列Ｈを予め求めておくことにより、画像座標系の座標と画面６０ＡＲの座標との間の座標変換が容易に行われる。
【0092】
式（４）
【0093】
更に、予め求められた関数ｆにより、樽型収差除去後の車外画像Ｐ４０から樽型収差除去前の車外画像Ｐ４０、すなわち、車外カメラ４０によるオリジナルの撮影画像に変換される。これにより、出力画像ＰＲＩＭＧの格子点群（座標群Ｄ）に対応する車外画像Ｐ４０の座標群Ｄ’が計算される。すなわち、上記式（１）を用いて、出力画像ＰＲＩＭＧの格子点群（座標群Ｄ）に対応する車外画像Ｐ４０の座標群Ｄ’が計算される。
【0094】
このように、本実施形態では、射影変換行列Ｈを用いることにより、画像座標系、車両座標系、及び画面６０ＡＲの座標系の間で高精度な座標変換が行われる。そのため、車外画像Ｐ４０から、乗員２の視点に合わせた高精度な出力画像ＰＲＩＭＧが生成される。これにより、例えば、図３に示されるように、乗員２がフロントウインドウ３００を介して視認する風景と、画面６０ＡＲに表示される出力画像ＰＲＩＭＧと、を連続的に表示させることができる。この結果、画面６０ＡＲに写る出力画像ＰＲＩＭＧを自然な画像として乗員２に知覚させることができる。
【0095】
上記式（１）に含まれる、出力画像ＰＲＩＭＧの格子点群（座標群Ｄ）に対応する車外画像Ｐ４０の座標群Ｄ’を計算するための要素が、パラメータ生成部１００Ｃで生成されるパラメータＰＭＴである。
【0096】
すなわち、パラメータＰＭＴは、少なくとも、次の２つの要素を含む。一つ目は、実空間上で設定される基準面上の座標を、実空間に対応する第１座標系から車外画像Ｐ４０の座標系である第２座標系に変換する射影変換行列の要素（射影変換行列Ｍ）である。二つ目は、画面６０ＡＲの座標を、基準面ＳＭのうち画面６０ＡＲに表示される範囲ＨＣ内の、車外画像Ｐ４０の座標に変換する射影変換行列の要素（射影変換行列Ｎ）である。後者の変換は、第１座標系における視点座標ＰＶと、画面６０ＡＲの形状及び位置を示す画面データに基づいて第１座標系に配置される画面６０ＡＲ上の座標と、を結ぶ線分Ｌ１の延長線Ｌ１’が、第１座標系で設定される基準面ＳＭと交わる、基準面ＳＭ上の座標を特定することにより行われる。附言するに、パラメータＰＭＴは、車外画像Ｐ４０の座標を第２座標系から第１座標系に変換するに際して車外画像Ｐ４０の樽型収差を除去する要素（関数ｆ）を更に含む。
【0097】
本実施形態では、このようなパラメータＰＭＴを用いることにより、各座標系間で高精度な座標変換を行いつつ、例えば画面６０ＡＲのような複雑な形状を持つ画面（非平面）に現実の風景を再現した自然な車外画像を表示させる際の演算コストが抑えられる。そのため、プロセッサ１００の処理負荷が大幅に軽減される。
【0098】
上述したように、パラメータＰＭＴは、一定間隔で離散的に並ぶ一部の画素を対象として、車外画像Ｐ４０の座標を画像座標系から車両座標系に変換し且つ範囲ＨＣ内の座標を画面６０ＡＲの座標に変換するものである。
【0099】
画像生成部１００Ｄは、パラメータＰＭＴに基づいて生成された、出力画像ＰＲＩＭＧの格子点群（座標群Ｄ）に対応する車外画像Ｐ４０の座標群Ｄ’の情報（表示対象画像に含まれる一部の画素の情報の一例）をもとに補間処理を行うことにより、表示対象画像の全ての画素の情報を取得する。
【0100】
図９は、画像生成部１００Ｄによる補間処理の一例を示す概念図である。図９に概念的に示されるように、画像生成部１００Ｄは、出力画像ＰＲＩＭＧの格子点群（座標群Ｄ）に対応する車外画像Ｐ４０の座標群Ｄ’の情報をもとに補間処理を行う。
【0101】
画像生成部１００Ｄは、例えば周知の方法で画素座標の補間を行う。例示的には、画像生成部１００Ｄは、最近傍補間、バイリニア補間、バイキュビック補間等を用いて、不足する画素の情報を補間する。これにより、画面６０ＡＲに表示すべき全画素の情報が得られる。
【0102】
本実施形態では、一部の画素のみを対象として、高精度な座標変換を伴う処理が実行される。そのため、全画素を対象として座標変換処理等を実行する場合と比べて、プロセッサ１００の処理負荷が大幅に軽減される。
【0103】
図１０は、プロセッサ１００により実行される画像処理を示すフローチャートである。例えば、表示制御システム１が起動すると、図１０に示される画像処理の実行が開始される。この画像処理は、例えば表示制御システム１が停止するまでの間、所定のレートで（例えば毎秒複数回）繰り返し実行される。
【0104】
なお、フローチャートの処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、フローチャートの処理順序も図示される例に限らない。
【0105】
図１０に示されるように、プロセッサ１００は、ＤＭＳ３０で検出された乗員２の視点座標ＰＶを取得する（ステップＳ１０１）。
【0106】
このように、ステップＳ１０１において、プロセッサ１００は、乗員２の視点座標ＰＶ（乗員の眼の位置の情報の一例）を取得する視点情報取得部１００Ａとして動作する。
【0107】
プロセッサ１００は、車外カメラ４０で撮影された車外画像Ｐ４０を取得する（ステップＳ１０２）。
【0108】
このように、ステップＳ１０２において、プロセッサ１００は、車両（移動体の一例）の外界を写す車外画像Ｐ４０（外界画像の一例）を取得する画像取得部１００Ｂとして動作する。
【0109】
プロセッサ１００は、パラメータＰＭＴを、ステップＳ１０１で取得された視点座標ＰＶに応じて生成する（ステップＳ１０３）。
【0110】
このように、ステップＳ１０３において、プロセッサ１００は、車外画像Ｐ４０から表示装置６０Ｒ、６０Ｌに表示させる出力画像ＰＲＩＭＧ、ＰＬＩＭＧを生成するためのパラメータＰＭＴを、視点座標ＰＶに応じて生成するパラメータ生成部１００Ｃとして動作する。
【0111】
プロセッサ１００は、ステップＳ１０３で生成されたパラメータＰＭＴに基づいて車外画像Ｐ４０から出力画像ＰＲＩＭＧ、ＰＬＩＭＧを生成する（ステップＳ１０４）。上述した画素補間処理は、例えばステップＳ１０４で実行される。
【0112】
このように、ステップＳ１０４において、プロセッサ１００は、パラメータ生成部１００Ｃで生成されたパラメータＰＭＴに基づいて車外画像Ｐ４０から出力画像ＰＲＩＭＧ、ＰＬＩＭＧを生成する画像生成部１００Ｄとして動作する。
【0113】
プロセッサ１００は、ステップＳ１０４で生成された出力画像ＰＲＩＭＧ、ＰＬＩＭＧを表示装置６０Ｒ、６０Ｌに出力する（ステップＳ１０５）。
【0114】
このように、ステップＳ１０５において、プロセッサ１００は、画像生成部１００Ｄで生成された出力画像ＰＲＩＭＧ、ＰＬＩＭＧを表示装置６０Ｒ、６０Ｌに出力する画像出力部１００Ｅとして動作する。
【0115】
図１０に示される画像処理の実行中、例えば乗員２が身体を動かすことによって視点座標ＰＶが移動すると、視点座標ＰＶの移動に応じて、画面６０ＡＲ及び画面６０ＡＬに写る車外の風景（出力画像ＰＲＩＭＧ及び出力画像ＰＬＩＭＧ）がリアルタイムに変わる。そのため、乗員２は、透明なフロントピラー部から車外を視認する状態を体験できる。
【0116】
図１０に示される画像処理では、パラメータＰＭＴを用いて出力画像ＰＲＩＭＧ、ＰＬＩＭＧが生成される。そのため、各座標系間で高精度な座標変換を行いつつ、例えば画面６０ＡＲのような複雑な形状を持つ画面（非平面）に現実の風景を再現した自然な車外画像を表示させる際の演算コストが抑えられる。そのため、プロセッサ１００の処理負荷が大幅に軽減される。
【0117】
【0118】
変形例１では、表示装置６０Ｒ及び６０Ｌは、車室内で動くことができるように設置される。例示的には、表示装置６０Ｒ、６０Ｌは、チルト、パン、スライド等できるように、右フロントピラー部、左フロントピラー部のそれぞれに、周知のメカニカルな機構を介して設置される。
【0119】
例えば乗員２がＨＭＩ５０を操作すると、表示装置６０Ｒ、６０Ｌが駆動して、チルト、パン、スライド等の動作を行う。センサ７０は、右フロントピラー部、左フロントピラー部のそれぞれに対する表示装置６０Ｒ、６０Ｌの動きを検知する。表示装置６０Ｒ、６０Ｌが動くことにより、車両座標系に配置すべき画面６０ＡＲ、画面６０ＡＬの位置も変わる。
【0120】
そこで、プロセッサ１００は、センサ７０により検知された表示装置６０Ｒ、６０Ｌの動きに応じて画面データＤ１を更新する。具体的には、プロセッサ１００は、画面データＤ１に含まれる表示装置６０Ｒ、６０Ｌの位置の情報を更新する。画面データＤ１の更新に伴い、パラメータＰＭＴも更新される。
【0121】
このように、表示装置６０Ｒ、６０Ｌの動きに応じてパラメータＰＭＴが更新される。そのため、画面６０ＡＲ、画面６０ＡＬが動いた場合にも、演算コストを抑えつつ、現実の風景を再現した自然な車外画像を表示させることができる。
【0122】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【0123】
上記の実施形態では、単一のＥＣＵ１０が各種処理を実行しているが、本発明の構成はこれに限らない。別の実施形態では、複数のＥＣＵが各種処理を分担して実行する構成としてもよい。複数のＥＣＵによる分散処理の実行により、例えば処理速度が向上する。
【0124】
例えば、表示制御システム１は、各種処理の大部分を実行するメインＥＣＵと、画面データＤＢを保持し且つメインＥＣＵと表示装置６０Ｒ及び６０Ｌとの通信を仲介するサブＥＣＵと、を含む構成としてもよい。
【0125】
上記のサブＥＣＵは、表示装置毎に備えられてもよい。すなわち、表示制御システム１は、メインＥＣＵと表示装置６０Ｒとの通信を仲介するサブＥＣＵと、メインＥＣＵと表示装置６０Ｌとの通信を仲介するサブＥＣＵと、を含む構成としてもよい。
【0126】
複数の表示装置に対して単一のサブＥＣＵが備えられてもよい。すなわち、表示制御システム１は、メインＥＣＵと表示装置６０Ｒ及び６０Ｌとの通信を仲介するサブＥＣＵを含む構成としてもよい。
【0127】
本実施形態に係る画像処理は、表示装置６０Ｒ及び６０Ｌだけでなく、ダッシュボードに設置された表示装置６０Ｃに対しても適用することができる。表示装置６０Ｃが例えば曲面ディスプレイである場合にも、出力画像ＰＩＭＧを表示させる際の処理負荷が従来と比べて抑えられる。
【0128】
車外画像Ｐ４０は、リアルタイムの撮影画像に限らず、例えば過去の撮影画像であってもよい。
【0129】
出力画像ＰＩＭＧを表示させる画面は、画面６０Ａに例示される曲面ディスプレイに限らず、より複雑な３次元形状を持つものであってもよい。また、出力画像ＰＩＭＧを表示させる画面は、ＬＣＤや有機ＥＬディスプレイ等の画面でなく、プロジェクタで投影される投影面（例えば凹凸を含む構造物の表面）であってもよい。
【符号の説明】
【0130】
１ ：表示制御システム
１０ ：ＥＣＵ
２０ ：車内カメラ
３０ ：ＤＭＳ
４０ ：車外カメラ
５０ ：ＨＭＩ
６０ＡＲ、６０ＡＬ ：画面
６０Ｒ、６０Ｌ ：表示装置
１００ ：プロセッサ
１００Ａ ：視点情報取得部
１００Ｂ ：画像取得部
１００Ｃ ：パラメータ生成部
１００Ｄ ：画像生成部
１００Ｅ ：画像出力部
２００ ：記憶装置
２００Ａ ：画像処理プログラム
２００Ｂ ：画面データＤＢ
１０ ：ＥＣＵ
２０ ：車内カメラ
３０ ：ＤＭＳ
４０ ：車外カメラ
５０ ：ＨＭＩ
６０ＡＲ、６０ＡＬ ：画面
６０Ｒ、６０Ｌ ：表示装置
１００ ：プロセッサ
１００Ａ ：視点情報取得部
１００Ｂ ：画像取得部
１００Ｃ ：パラメータ生成部
１００Ｄ ：画像生成部
１００Ｅ ：画像出力部
２００ ：記憶装置
２００Ａ ：画像処理プログラム
２００Ｂ ：画面データＤＢ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】