知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089890
(43)【公開日】2024-07-04
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
B60R 1/20 20220101AFI20240627BHJP
G06T 1/00 20060101ALI20240627BHJP
G06T 3/14 20240101ALI20240627BHJP
B60R 1/24 20220101ALI20240627BHJP
B60R 11/02 20060101ALI20240627BHJP
H04N 7/18 20060101ALI20240627BHJP
【ＦＩ】
B60R1/20 100
G06T1/00 330Z
G06T1/00 500B
G06T3/00 750
B60R1/24
B60R11/02 C
H04N7/18 J
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022205406
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100078880
【弁理士】
【氏名又は名称】松岡 修平
(74)【代理人】
【識別番号】100183760
【弁理士】
【氏名又は名称】山鹿 宗貴
(72)【発明者】
【氏名】村上 哲郎
(72)【発明者】
【氏名】坂田 直人
(72)【発明者】
【氏名】古賀 昌史
【テーマコード（参考）】
3D020
5B057
5C054
【Ｆターム（参考）】
3D020BA04
3D020BA20
3D020BB01
3D020BC02
3D020BD05
3D020BE03
5B057AA16
5B057BA15
5B057CE08
5B057DC08
5B057DC19
5C054CC05
5C054FE12
5C054FE26
5C054FE28
5C054HA30
(57)【要約】
【課題】表示装置の画面に表示される移動体の外界画像と目の位置との関係を乗員に直感的に理解させやすくすること。
【解決手段】画像処理装置は、移動体の乗員の目の位置の情報を取得する目の位置情報取得部と、移動体の外界を写す外界画像を取得する画像取得部と、画像取得部により取得された外界画像から、移動体内に配置された表示装置の画面に表示させる領域の領域画像を、目の位置の情報に応じて切り出す切り出し部と、目の位置から画面上の位置で見た、開口部を有する立体モデルの投影画像を生成する投影画像生成部と、領域画像が、画面上の投影画像の開口部に写るように、領域画像と投影画像とを合成する画像合成部と、画像合成部による合成画像を表示装置に出力する画像出力部と、を備える。
【選択図】図１
【解決手段】画像処理装置は、移動体の乗員の目の位置の情報を取得する目の位置情報取得部と、移動体の外界を写す外界画像を取得する画像取得部と、画像取得部により取得された外界画像から、移動体内に配置された表示装置の画面に表示させる領域の領域画像を、目の位置の情報に応じて切り出す切り出し部と、目の位置から画面上の位置で見た、開口部を有する立体モデルの投影画像を生成する投影画像生成部と、領域画像が、画面上の投影画像の開口部に写るように、領域画像と投影画像とを合成する画像合成部と、画像合成部による合成画像を表示装置に出力する画像出力部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
移動体の乗員の目の位置の情報を取得する視点情報取得部と、
前記移動体の外界を写す外界画像を取得する画像取得部と、
前記画像取得部により取得された外界画像から、前記移動体内に配置された表示装置の画面に表示させる領域の領域画像を、前記目の位置の情報に応じて切り出す切り出し部と、
前記目の位置から前記画面上の位置で見た、開口部を有する立体モデルの投影画像を生成する投影画像生成部と、
前記領域画像が、前記画面上の前記投影画像の前記開口部に写るように、前記領域画像と前記投影画像とを合成する画像合成部と、
前記画像合成部による合成画像を前記表示装置に出力する画像出力部と、を備える、
画像処理装置。
前記移動体の外界を写す外界画像を取得する画像取得部と、
前記画像取得部により取得された外界画像から、前記移動体内に配置された表示装置の画面に表示させる領域の領域画像を、前記目の位置の情報に応じて切り出す切り出し部と、
前記目の位置から前記画面上の位置で見た、開口部を有する立体モデルの投影画像を生成する投影画像生成部と、
前記領域画像が、前記画面上の前記投影画像の前記開口部に写るように、前記領域画像と前記投影画像とを合成する画像合成部と、
前記画像合成部による合成画像を前記表示装置に出力する画像出力部と、を備える、
画像処理装置。
【請求項2】
前記立体モデルは、前記画面を囲う枠を模したモデルであり、
前記投影画像生成部は、前記枠の形状を、前記画面の形状に合わせて変形する、
請求項１に記載の画像処理装置。
前記投影画像生成部は、前記枠の形状を、前記画面の形状に合わせて変形する、
請求項１に記載の画像処理装置。
【請求項3】
前記移動体の周囲の物体を検知する物体検知部と、
前記物体検知部により検知された物体が前記領域画像に写らない位置にある場合、前記物体が位置する方向に対応する前記枠の部分にアラートを表示するアラート表示部と、を更に備える、
請求項２に記載の画像処理装置。
前記物体検知部により検知された物体が前記領域画像に写らない位置にある場合、前記物体が位置する方向に対応する前記枠の部分にアラートを表示するアラート表示部と、を更に備える、
請求項２に記載の画像処理装置。
【請求項4】
前記切り出し部は、
前記目の位置を投影中心としたときに前記画面に投影される前記外界画像の投影範囲を前記領域画像として切り出し、
前記領域画像を前記画面の形状に合わせて変形する、
請求項１から請求項３の何れか一項に記載の画像処理装置。
前記目の位置を投影中心としたときに前記画面に投影される前記外界画像の投影範囲を前記領域画像として切り出し、
前記領域画像を前記画面の形状に合わせて変形する、
請求項１から請求項３の何れか一項に記載の画像処理装置。
【請求項5】
前記外界画像は、前記表示装置を挟んで前記乗員と反対側の、前記移動体の外界を撮影した画像であり、且つ広角レンズを備える撮影装置により撮影された画像である、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項6】
前記移動体に関する情報を取得する情報取得部と、
前記情報取得部により取得された情報を前記合成画像に重畳する重畳部と、を更に備え、
前記画像出力部は、前記重畳部により前記情報が重畳された合成画像を前記表示装置に出力する、
請求項１に記載の画像処理装置。
前記情報取得部により取得された情報を前記合成画像に重畳する重畳部と、を更に備え、
前記画像出力部は、前記重畳部により前記情報が重畳された合成画像を前記表示装置に出力する、
請求項１に記載の画像処理装置。
【請求項7】
前記情報取得部により取得された情報に応じて前記投影画像を変形させる形状変形部を更に備え、
前記重畳部は、前記合成画像に含まれる、前記形状変形部による変形後の前記投影画像上に、前記情報を重畳する、
請求項６に記載の画像処理装置。
前記重畳部は、前記合成画像に含まれる、前記形状変形部による変形後の前記投影画像上に、前記情報を重畳する、
請求項６に記載の画像処理装置。
【請求項8】
移動体の乗員の目の位置の情報を取得するステップと、
前記移動体の外界を写す外界画像を取得するステップと、
前記取得された外界画像から、前記移動体内に配置された表示装置の画面に表示させる領域の領域画像を、前記目の位置の情報に応じて切り出すステップと、
前記目の位置から前記画面上の位置で見た、開口部を有する立体モデルの投影画像を生成するステップと、
前記領域画像が、前記画面上の前記投影画像の前記開口部に写るように、前記領域画像と前記投影画像とを合成するステップと、
前記領域画像と前記投影画像との合成画像を前記表示装置に出力するするステップと、を含む、
画像処理方法。
前記移動体の外界を写す外界画像を取得するステップと、
前記取得された外界画像から、前記移動体内に配置された表示装置の画面に表示させる領域の領域画像を、前記目の位置の情報に応じて切り出すステップと、
前記目の位置から前記画面上の位置で見た、開口部を有する立体モデルの投影画像を生成するステップと、
前記領域画像が、前記画面上の前記投影画像の前記開口部に写るように、前記領域画像と前記投影画像とを合成するステップと、
前記領域画像と前記投影画像との合成画像を前記表示装置に出力するするステップと、を含む、
画像処理方法。
【請求項9】
前記立体モデルは、前記画面を囲う枠を模したモデルであり、
前記投影画像を生成するステップにおいて、前記枠の形状を、前記画面の形状に合わせて変形することにより前記投影画像を生成する、
請求項８に記載の画像処理方法。
前記投影画像を生成するステップにおいて、前記枠の形状を、前記画面の形状に合わせて変形することにより前記投影画像を生成する、
請求項８に記載の画像処理方法。
【請求項10】
前記移動体の周囲の物体を検知するステップと、
前記検知された物体が前記領域画像に写らない位置にある場合、前記物体が位置する方向に対応する前記枠の部分にアラートを表示するステップと、を更に含む、
請求項９に記載の画像処理方法。
前記検知された物体が前記領域画像に写らない位置にある場合、前記物体が位置する方向に対応する前記枠の部分にアラートを表示するステップと、を更に含む、
請求項９に記載の画像処理方法。
【請求項11】
前記領域画像を切り出すステップにおいて、
前記目の位置を投影中心としたときに前記画面に投影される前記外界画像の投影範囲を前記領域画像として切り出し、
前記領域画像を前記画面の形状に合わせて変形する、
ことにより前記領域画像を切り出す、
請求項８から請求項１０の何れか一項に記載の画像処理方法。
前記目の位置を投影中心としたときに前記画面に投影される前記外界画像の投影範囲を前記領域画像として切り出し、
前記領域画像を前記画面の形状に合わせて変形する、
ことにより前記領域画像を切り出す、
請求項８から請求項１０の何れか一項に記載の画像処理方法。
【請求項12】
前記外界画像は、前記表示装置を挟んで前記乗員と反対側の、前記移動体の外界を撮影した画像であり、且つ広角レンズを備える撮影装置により撮影された画像である、
請求項８に記載の画像処理方法。
請求項８に記載の画像処理方法。
【請求項13】
前記移動体に関する情報を取得するステップと、
前記移動体に関する情報を前記合成画像に重畳するステップと、を更に含み、
前記合成画像を出力するステップにおいて、前記移動体に関する情報が重畳された合成画像を前記表示装置に出力する、
請求項８に記載の画像処理方法。
前記移動体に関する情報を前記合成画像に重畳するステップと、を更に含み、
前記合成画像を出力するステップにおいて、前記移動体に関する情報が重畳された合成画像を前記表示装置に出力する、
請求項８に記載の画像処理方法。
【請求項14】
前記目の位置の情報に応じて前記投影画像を変形させるステップを更に含み、
前記移動体に関する情報を前記合成画像に重畳するステップにおいて、前記合成画像に含まれる、前記変形後の前記投影画像上に、前記移動体に関する情報を重畳する、
請求項１３に記載の画像処理方法。
前記移動体に関する情報を前記合成画像に重畳するステップにおいて、前記合成画像に含まれる、前記変形後の前記投影画像上に、前記移動体に関する情報を重畳する、
請求項１３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
運転手の視界を拡張させる画像を表示可能な画像処理装置が知られている。この種の画像処理装置の具体的構成が、例えば特許文献１に記載されている。
【0003】
特許文献１に記載の画像処理装置は、運転手の視点から表示装置の設置領域が透過して車外が見えた場合と同等の画像が表示装置の画面に表示されるように、撮影装置による車外の撮影画像を座標変換する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００７－０９６６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１に記載の画像処理装置では、乗員は、平面の画面に表示される画像をあくまで平面の画像としてしか知覚することができない。そのため、乗員が目の位置と表示画像との関係を直感的に理解することが難しい。例えば、見たいと思っている外界の画像が画面を通じて見えるように目の位置を調節することが乗員にとって難しい。
【0006】
本発明は上記の事情に鑑み、表示装置の画面に表示される移動体の外界画像と目の位置との関係を乗員に直感的に理解させやすい画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係る画像処理装置は、移動体の乗員の目の位置の情報を取得する目の位置情報取得部と、移動体の外界を写す外界画像を取得する画像取得部と、画像取得部により取得された外界画像から、移動体内に配置された表示装置の画面に表示させる領域の領域画像を、目の位置の情報に応じて切り出す切り出し部と、目の位置から画面上の位置で見た、開口部を有する立体モデルの投影画像を生成する投影画像生成部と、領域画像が、画面上の投影画像の開口部に写るように、領域画像と投影画像とを合成する画像合成部と、画像合成部による合成画像を表示装置に出力する画像出力部と、を備える。
【発明の効果】
【0008】
本発明の一実施形態によれば、表示装置の画面に表示される移動体の外界画像と目の位置との関係を乗員に直感的に理解させやすい画像処理装置及び画像処理方法が提供される。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る表示制御システムの構成を示すブロック図である。
【図2】本発明の一実施形態に係る表示制御システムが組み込まれた車両の運転席周りを示す図である。
【図3】本発明の一実施形態に係る画像処理装置の動作を説明する図である。
【図4】本発明の一実施形態に係る画像処理装置の動作を説明する図である。
【図5】本発明の一実施形態に係る画像処理装置の動作を説明する図である。
【図6】本発明の一実施形態に係る画像処理装置の動作を説明する図である。
【図7】本発明の一実施形態に係る画像処理装置の動作を説明する図である。
【図8】本発明の一実施形態において画像処理装置のプロセッサにより実行される画像処理を示すフローチャートである。
【図9】本発明の変形例１に係る表示制御システムの構成を示すブロック図である。
【図12】本発明の変形例１に係る車両の運転席周りを示す図である。
【図14】本発明の変形例２に係る車両の運転席周りを示す図である。
【発明を実施するための形態】
【0010】
以下の説明は、本発明の一実施形態に係る画像処理装置、画像処理方法及び画像処理プログラムに関する。なお、共通の又は対応する要素については、同一又は類似の符号を付して、重複する説明を適宜簡略又は省略する。
【0011】
図１は、本発明の一実施形態に係る表示制御システム１の構成を示すブロック図である。図１に示されるように、表示制御システム１は、ＥＣＵ（Electronic Control Unit）１０、車内カメラ２０、ＤＭＳ（Driver Monitoring System）３０、車外カメラ４０、ＨＭＩ（Human Machine Interface）５０及び表示装置６０を備える。なお、図１では、本実施形態の説明に必要な主たる構成要素を図示しており、例えば筐体など、一部の構成要素については、その図示を適宜省略する。
【0012】
表示制御システム１は、道路を走行する車両（移動体の一例）に組み込まれたシステムである。なお、図１に示される構成は一例に過ぎない。例えば、ＤＭＳ３０がＥＣＵ１０に組み込まれてもよい。すなわち、表示制御システム１の態様には自由度があり、各種の設計変更が可能である。
【0013】
ＥＣＵ１０は、画像処理装置の一例であり、プロセッサ１００及び記憶装置２００を有する。なお、ＥＣＵ１０は、ナビゲーション装置やＩＶＩ（In-Vehicle Infotainment）の一部をなす装置であってもよい。また、画像処理装置は、ＥＣＵ１０のような車載型の装置に限らない。画像処理装置は、スマートフォン、フィーチャフォン、タブレット端末、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Portable Navigation Device）、携帯ゲーム機等の他の形態の装置であってもよい。
【0014】
プロセッサ１００は、記憶装置２００に記憶された画像処理プログラム２００Ａを実行する。すなわち、プロセッサ１００は、画像処理プログラム２００Ａを実行するコンピュータの一例である。
【0015】
プロセッサ１００は、ＲＡＭ（Random Access Memory）、フラッシュＲＯＭ（Read Only Memory）等を備えており、表示制御システム１全体を制御する。例えば、プロセッサ１００は、記憶装置２００に記憶された画像処理プログラム２００Ａをはじめとする各種プログラムをワークエリアであるＲＡＭ上に展開し、展開されたプログラムに従って表示制御システム１を制御する。
【0016】
記憶装置２００に記憶された画像処理プログラム２００Ａは、移動体の乗員の視点（本明細書では、目の位置を「視点」という。）の情報を取得し、移動体の外界を写す外界画像を取得し、取得された外界画像から、移動体内に配置された表示装置の画面に表示させる領域の領域画像を、視点の情報に応じて切り出し、視点から画面上の位置で見た、開口部を有する立体モデルの投影画像を生成し、領域画像が、上記画面上の投影画像の開口部に写るように、領域画像と投影画像とを合成し、合成画像を表示装置に出力する、という一連の処理を、コンピュータの一例であるプロセッサ１００に実行させる。
【0017】
言い換えると、画像処理プログラム２００Ａは、上記一連の処理を含む画像処理方法をプロセッサ１００に実行させる。
【0018】
図２は、表示制御システム１が組み込まれた車両の運転席周りを示す図である。図２は、運転席に着座した乗員（便宜上「乗員２」と記す。）から見た車内の一部を示している。図２に示されるように、車両には、車内カメラ２０、表示装置６０、フロントウインドウ３００及びハンドル３１０が備えられる。
【0019】
車内カメラ２０は、例えば表示装置６０近傍に設置される。車内カメラ２０は、例えば運転席に着座した乗員２を撮影する。
【0020】
ＤＭＳ３０は、車内カメラ２０により撮影された車内画像Ｐ２０を用いて乗員２の顔認識と視点検出を行う。例示的には、ＤＭＳ３０は、公知の画像認識技術を利用して乗員２の顔の位置、顔の向き、目を含む顔の各パーツ、顔に関する乗員２の動作等を認識する処理を行う。顔に関する乗員２の動作とは、例えば、ウインク、うなずく等の動作である。
【0021】
ＤＭＳ３０は、顔認識の結果を用いて乗員２の目の位置である視点座標ＰＶを検出して、プロセッサ１００に出力する。視点座標ＰＶは、乗員２の効き目（右又は左）の座標であってもよく、また、左右の瞳孔を結ぶ線分の中点であってもよい。乗員２は、例えばＨＭＩ５０を操作して自身の効き目を予め入力することができる。なお、ＤＭＳ３０は、顔認識の結果を用いず、車内画像Ｐ２０から乗員２の視点座標ＰＶを直接検出してもよい。それとは逆に、ＤＭＳ３０は、目の位置以外の乗員の部位の座標や顔の輪郭を検出することにより、それらに対する標準的な目の位置を乗員２の視点座標ＰＶと推定してもよい。
【0022】
車外カメラ４０は、車両の外界を撮影する。例示的には、車外カメラ４０は、少なくとも、乗員２の前方且つ乗員２がフロントウインドウ３００を介して視認するエリアよりも後方に位置する地面を撮影する。撮影画像である車外画像Ｐ４０（外界画像の一例）は、例えば、表示装置６０を挟んで乗員２と反対側の、車両の外界を撮影した画像である。車外カメラ４０は、車外画像Ｐ４０をプロセッサ１００に出力する。
【0023】
撮影装置の一例である車外カメラ４０は、広範囲を撮影するため、広角レンズを備えた、広い画角を撮影可能なカメラであってもよい。車外カメラ４０は、１台のカメラで構成されてもよく、また、複数台のカメラで構成されてもよい。
【0024】
ＨＭＩ５０には、ハードウェア又はソフトウェア若しくはこれらを組み合わせた種々のユーザインタフェースが想定される。例示的には、ＨＭＩ５０は、ダッシュボードに設置されたメカニカルスイッチキー、リモートコントローラ等である。表示装置６０がタッチパネルを搭載する場合、タッチパネル環境下で提供されるＧＵＩ（Graphical User Interface）も、ＨＭＩ５０をなす。乗員２は、ＨＭＩ５０を通じて表示制御システム１を操作することができる。
【0025】
表示装置６０は、例えば、タッチパネルを搭載するＬＣＤ（Liquid Crystal Display）であり、ハンドル３１０の前方のダッシュボードに設置される。表示装置６０は、ＬＣＤに限らず、例えば有機ＥＬ（Electro Luminescence）ディスプレイなど、別の形態の表示装置であってもよい。
【0026】
詳しくは後述するが、画像処理プログラム２００Ａの実行により、車外画像Ｐ４０から、表示装置６０の画面６０Ａに表示される領域画像ＲＩＭＧが、視点座標ＰＶに応じて切り出され、視点座標ＰＶから画面６０Ａ上の位置で見た、窓枠モデル（開口部を有する立体モデルの一例）の投影画像（窓枠画像ＦＩＭＧ）が生成され、領域画像ＲＩＭＧが、画面６０Ａ上の窓枠画像ＦＩＭＧの開口部ＯＰ（窓枠で囲われた領域）に写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとが合成され、その合成画像ＣＩＭＧが表示装置に出力される。これにより、図２に例示される合成画像ＣＩＭＧが画面６０Ａに表示される。
【0027】
図２の例示では、直線状に延びる二本のラインＬＮが車両前方の地面に設けられている。本実施形態では、乗員２の視点に合わせた高精度な合成画像ＣＩＭＧが画面６０Ａに表示される。そのため、図２に示されるように、フロントウインドウ３００を介して視認される各ラインＬＮと、画面６０Ａに表示される各ラインＬＮ’と、が一直線に並ぶ。乗員２は、死角となる直視できない領域を、画面６０Ａを通じて視認することができる。
【0028】
図２では、各ラインＬＮの中心線に、符号ＬＣが付される。図２に示されるように、各ラインＬＮの中心線ＬＣは、画面６０Ａに表示される各ラインＬＮ’の中心線と一致する。各ラインＬＮ，ＬＮ’が一続きの直線に見えるため、画面６０Ａに写る領域画像ＲＩＭＧを自然な画像として乗員２に知覚させることができる。
【0029】
附言するに、画面６０Ａに投影される窓枠モデルの角度が乗員２の視点に応じて変わる。例えば、運転手が身体を右側に動かして画面６０Ａを視認すると、画面６０Ａに表示される領域画像ＲＩＭＧの範囲が車両の左側に寄ると同時に窓枠モデルの角度（言い換えると、窓枠画像ＦＩＭＧ）が左側から見た角度に変わる。
【0030】
本実施形態では、このような、視点の移動に応じた、領域画像ＲＩＭＧの変化と窓枠画像ＦＩＭＧの変化とが合わさることにより、乗員２が目の位置と表示画像との関係を直感的に理解することができ、画面６０Ａに写る車外の風景を現実の風景として直感的に認識することができる。そのため、乗員２は、見たいと思っている外界の画像が画面６０Ａを通じて見えるように目の位置を直感的かつ容易に調節することができる。乗員２は、恰も、ダッシュボードに設けられた窓枠から車外を視認する状態を体験できる。
【0031】
このように、画像処理プログラム２００Ａの実行により、表示装置６０の画面６０Ａに表示される車両の外界画像を自然な画像として乗員２に知覚させることができる。
【0032】
プロセッサ１００は、機能ブロックとして、視点情報取得部１００Ａ、枠描画部１００Ｂ、画像変形部１００Ｃ及び重畳部１００Ｄを含む。各機能ブロックは、ＥＣＵ１０が実行する画像処理プログラム２００Ａにより実現される。各機能ブロックは、一部又は全部が専用の論理回路等のハードウェアにより実現されてもよい。
【0033】
視点情報取得部１００Ａは、乗員２の視点の情報を取得する。例示的には、視点情報取得部１００Ａは、視点座標ＰＶをＤＭＳ３０より取得する。なお、視点座標ＰＶは、例えば乗員２によるＨＭＩ５０に対する操作によって設定されてもよい。この場合、表示制御システム１からＤＭＳ３０を省くことが可能となる。
【0034】
枠描画部１００Ｂは、記憶装置２００に記憶された枠モデルＤＢ（Data Base）２００Ｂのなかから窓枠モデルを読み出す。窓枠モデルは、画面６０Ａを囲う枠を模したモデルの一例である。なお、窓枠モデルは、例えばローカルでなくネットワーク上に配置されてもよい。この場合、枠描画部１００Ｂは、図示しない移動体無線通信部を通じてネットワーク上の枠モデルＤＢにアクセスして窓枠モデルをダウンロードする。
【0035】
枠描画部１００Ｂは、乗員２の視点（視点座標ＰＶ）から画面６０Ａ上の位置で見た、窓枠モデルの窓枠画像ＦＩＭＧ（投影画像の一例）を生成し、生成された窓枠画像ＦＩＭＧの形状（枠の形状の一例）を、画面６０Ａの形状（本実施形態では矩形）に合わせて変形する。
【0036】
画像変形部１００Ｃは、車外画像Ｐ４０から、画面６０Ａに表示される領域画像ＲＩＭＧを、乗員２の視点（視点座標ＰＶ）に応じて切り出す。補足すると、画像変形部１００Ｃは、乗員２の視点を投影中心としたときに画面６０Ａに投影される車外画像Ｐ４０の投影範囲を領域画像ＲＩＭＧとして切り出す。画像変形部１００Ｃは、切り出された領域画像ＲＩＭＧを、画面６０Ａの形状（本実施形態では矩形）に合わせて変形する。
【0037】
画像変形部１００Ｃは、車外画像Ｐ４０から領域画像ＲＩＭＧを切り出す前処理として、車外カメラ４０が有する広角レンズの歪みを補正する画像補正処理を行ってもよい。広角レンズの歪みは、例えば歪曲収差、色収差等の各種収差である。
【0038】
重畳部１００Ｄは、図２に示されるように、領域画像ＲＩＭＧが、画面６０Ａ上の窓枠画像ＦＩＭＧの開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成した合成画像ＣＩＭＧを生成する。
【0039】
【0040】
図３中、画像座標系は、横軸ＸＣ、縦軸ＹＣの２軸で示される。画像座標系は、合成画像ＣＩＭＧを基準とする座標系であり、合成画像ＣＩＭＧの左上隅を原点Ｏとする２次元座標系である。各軸の単位は、ピクセル（ｐｘ）である。
【0041】
図３中、車両座標系は、ＸＶ，ＹＶ，ＺＶの３軸で示される。車両座標系は、表示制御システム１を組み込む車両を基準とした座標系であり、車両のある位置を原点Ｏとする３次元座標系である。軸ＸＶは、車幅方向に延びる。軸ＹＶは、車両上下方向に延びる。軸ＺＶは、車両前後方向に延びる。各軸の単位は、ミリメートル（ｍｍ）である。
【0042】
図３中、設定面ＳＭは、例えば車両が走行する地面（走行面）である。
【0043】
画像変形部１００Ｃは、射影変換行列Ｍを計算する。射影変換行列Ｍは、車外画像Ｐ４０を、設定面ＳＭ（ＹＶ軸の座標が地面に相当する高さであるような面）にマッピングするための射影変換行列の一例である。図３では、便宜上、車外画像Ｐ４０外の領域（車外画像Ｐ４０内の画像がマッピングされない領域）にハッチングが付される（符号ＧＮ参照）。
【0044】
画像変形部１００Ｃは、画面６０Ａに表示させる参照範囲（走行面の範囲）を算出する。
【0045】
図４は、画像変形部１００Ｃの処理内容を示す図である。
【0046】
図４に示されるように、画像変形部１００Ｃは、投影中心Ｔを基準にして、車両座標系で設定された設定面ＳＭ上のどの範囲が、投影面である画面６０Ａの表示範囲（座標ＰＤ１～ＰＤ４で囲まれる範囲）に投影されるかを算出する。投影中心Ｔは、例えば視点座標ＰＶである。画像変形部１００Ｃは、視点座標ＰＶ及び座標ＰＤ１～ＰＤ４を用いて、座標ＰＶ１～ＰＶ４を算出する。
【0047】
座標ＰＶ１～ＰＶ４で囲まれる範囲ＨＣは「参照範囲」と称される。参照範囲（範囲ＨＣ）内の画像が、画面６０Ａに表示させる領域画像ＲＩＭＧに相当する。
【0048】
画像変形部１００Ｃは、車外画像Ｐ４０から、参照範囲（範囲ＨＣ）に対応する領域画像ＲＩＭＧを切り出し、切り出された領域画像ＲＩＭＧを加工する。
【0049】
車外カメラ４０で撮影された車外画像Ｐ４０から、画面６０Ａに表示させる領域画像ＲＩＭＧを生成するには、車外画像Ｐ４０の座標を車両座標系に高精度に変換する第１変換処理と、参照範囲ＨＣの座標を画面６０Ａの座標系に高精度に変換する第２変換処理が必要になる。
【0050】
第１変換処理に必要な情報は、次に示される。
【0051】
図５中、画像座標系における車外画像Ｐ４０内の射影変換行列Ｍの計算に用いる点は、点ＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４で示され、画像座標系の座標（ｘＣ，ｙＣ）を表す同次座標は符号ＰＣで示される。車両座標系における設定面ＳＭ（地面に相当する面）において、各点ＰＣ１～ＰＣ４に対応する点は、点ＰＶ５、ＰＶ６、ＰＶ７、ＰＶ８で示され、車両座標系の座標（ｘＶ，ｚＶ）を表す同次座標は符号ＰＶで示される。点ＰＣ１～Ｐｃ４と点ＰＶ５～ＰＶ８は、射影変換行列Ｍを計算する際に用いられる。同次座標ＰＣとＰＶの関係は、次式（１）で示される。
【0052】
式（１）
【0053】
式（１）中、符号Ｍは、画像座標系の座標を車両座標系の座標に変換するための射影変換行列Ｍを示す。射影変換行列Ｍは、例えば次の手順で計算される。
【0054】
車外画像Ｐ４０上で捉えられる点であって、車両座標系における４つの点ＰＶ５、ＰＶ６、ＰＶ７、ＰＶ８を定義し、各点ＰＶ５～ＰＶ８の座標を実測により特定する。次に、画像座標系における４つの点ＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４の座標を特定する。この場合、車外画像Ｐ４０上で、各点ＰＣ１～ＰＣ４の座標を特定するものとする。これらの特定された座標を式（１）に代入して、射影変換行列Ｍの各要素を含む連立方程式を解くことにより、射影変換行列Ｍを算出する。算出された射影変換行列Ｍは、例えば記憶装置２００に記憶される。
【0055】
第２変換処理に必要な情報は、次に示される。
【0056】
図６中、車両座標系における設定面ＳＭ上の参照範囲は、点ＰＶ１、ＰＶ２、ＰＶ３、ＰＶ４で示される台形の範囲である。車両座標系の座標（ｘＶ，ｚＶ）を表す同次座標は符号ＰＶで示される。画面６０Ａの座標系において、各点ＰＶ１～ＰＶ４に対応する点は、点ＰＤ１、ＰＤ２、ＰＤ３、ＰＤ４とで示される。画面６０Ａの座標系の座標（ｘＤ，ｙＤ）を表す同次座標は符号ＰＤで示される。
【0057】
図６中、画面６０Ａの座標系は、横軸ＸＤ、縦軸ＹＤの２軸で示される。画面６０Ａの座標系は、画面６０Ａを基準とする座標系であり、画面６０Ａの左上隅を原点Ｏとする２次元座標系である。各軸の単位は、ピクセル（ｐｘ）である。点ＰＶ１～ＰＶ４と点ＰＤ１～ＰＤ４は、射影変換行列Ｎを計算する際に用いられる。同次座標ＰＶとＰＤの関係は、次式（２）で示される。
【0058】
式（２）
【0059】
式（２）中、符号Ｎは、車両座標系の座標を画面６０Ａの座標に変換する射影変換行列Ｎを示す。
【0060】
なお、式（１）、（２）に含まれる値λＶ，λＤは、各同次座標ＰＶ，ＰＤにおける倍率を示す。値λＶ，λＤが値０を除くどのような値でも、各同次座標は、各座標系上で同一の座標を表す。
【0061】
射影変換行列Ｍと射影変換行列Ｎとの積Ｈ（＝ＭＮ）は、画像座標系の座標（ｘＣ，ｙＣ）を、画面６０Ａの座標（ｘＤ，ｙＤ）に変換する射影変換行列となる。この射影変換行列Ｈを用いた関係式は、式（３）に示される通りである。射影変換行列Ｈを予め求めておくことにより、画像座標系の座標と画面６０Ａの座標との間の座標変換が容易に行われる。
【0062】
式（３）
【0063】
射影変換行列Ｍ、Ｎを用いることにより、画像座標系、車両座標系、及び画面６０Ａの座標系の間で高精度な座標変換が行われる。そのため、車外画像Ｐ４０から、乗員２の視点に合わせた高精度な領域画像ＲＩＭＧが生成される。これにより、図２に示されるように、乗員２がフロントウインドウ３００を介して視認する風景と、画面６０Ａに表示される領域画像ＲＩＭＧとを連続的に表示させることができる。この結果、画面６０Ａに写る領域画像ＲＩＭＧを自然な画像として乗員２に知覚させることができる。
【0064】
【0065】
枠描画部１００Ｂは、乗員２の視点（視点座標ＰＶ）を、窓枠モデルＦ１ＭＤのレンダリング時の視点として設定する。言い換えると、枠描画部１００Ｂは、視点座標ＰＶを、画面６０Ａ上に配置された窓枠モデルＦ１ＭＤの投影中心Ｔに設定する。
【0066】
枠描画部１００Ｂは、図７中、ハッチングで示される範囲だけ、窓枠モデルＦ１ＭＤをレンダリングする。言い換えると、枠描画部１００Ｂは、画面６０Ａの表示範囲に限定して、窓枠モデルＦ１ＭＤをレンダリングする。
【0067】
枠描画部１００Ｂは、レンダリングされた図形（窓枠モデルの窓枠画像ＦＩＭＧ）を、画面６０Ａの解像度に合うように、領域画像ＲＩＭＧと同様に、射影変換行列を用いて変形する。すなわち、枠描画部１００Ｂは、略平行四辺形の窓枠画像ＦＩＭＧを、画面６０Ａの形状（本実施形態では矩形）に合わせて変形する。
【0068】
図８は、プロセッサ１００により実行される画像処理を示すフローチャートである。例えば、表示制御システム１が起動すると、図８に示される画像処理の実行が開始される。この画像処理は、例えば表示制御システム１が停止するまでの間、所定のレートで（例えば毎秒ｎ回）繰り返し実行される。
【0069】
なお、フローチャートの処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、フローチャートの処理順序も図示される例に限らない。
【0070】
図８に示されるように、プロセッサ１００は、ＤＭＳ３０で検出された乗員２の視点座標ＰＶを取得する（ステップＳ１０１）。
【0071】
このように、ステップＳ１０１において、プロセッサ１００は、乗員２の視点座標ＰＶ（乗員の眼の位置の情報の一例）を取得する視点情報取得部として動作する。
【0072】
プロセッサ１００は、図４及び図７を用いて例示的に説明したように、窓枠画像ＦＩＭＧを生成する（ステップＳ１０２）。すなわち、プロセッサ１００は、画面６０Ａを投影面としたときの窓枠モデルの投影画像（視点座標ＰＶを投影中心Ｔとした、画面６０Ａ上での、窓枠モデルの投影画像）を生成する。
【0073】
このように、ステップＳ１０２において、プロセッサ１００は、乗員２の視点から画面６０Ａ上の位置で見た、窓枠モデル（開口部を有する立体モデルの一例）の投影画像（窓枠画像ＦＩＭＧ）を生成する投影画像生成部として動作する。
【0074】
プロセッサ１００は、車外カメラ４０で撮影された車外画像Ｐ４０を取得する（ステップＳ１０３）。
【0075】
このように、ステップＳ１０３において、プロセッサ１００は、車両（移動体の一例）の外界を写す車外画像Ｐ４０（外界画像の一例）を取得する画像取得部として動作する。
【0076】
プロセッサ１００は、図３～図６を用いて例示的に説明したように、車外画像Ｐ４０をもとに領域画像ＲＩＭＧを生成する（ステップＳ１０４）。すなわち、プロセッサ１００は、ステップＳ１０３で取得された車外画像Ｐ４０から、画面６０Ａに表示される領域画像ＲＩＭＧを、ステップＳ１０１で取得された視点座標ＰＶに応じて切り出し、切り出された領域画像ＲＩＭＧを、画面６０Ａの形状（本実施形態では矩形）に合わせて変形する。
【0077】
このように、ステップＳ１０４において、プロセッサ１００は、車外画像Ｐ４０（外界画像の一例）から、画面６０Ａに表示させる領域の領域画像ＲＩＭＧを、乗員２の視点座標ＰＶ（乗員の視点の情報の一例）に応じて切り出す切り出し部として動作する。
【0078】
なお、ステップＳ１０４において、プロセッサ１００は、画面６０Ａの全域に亘る領域画像ＲＩＭＧを車外画像Ｐ４０から切り出さず、例えば、窓枠画像ＦＩＭＧの開口部ＯＰに収まる領域だけを車外画像Ｐ４０から切り出してもよい。後者の場合、画像処理対象が、画面６０Ａの全域に相当する大きさでなく、窓枠画像ＦＩＭＧが模した窓枠に囲われる領域（開口部ＯＰ）に限られる。そのため、前者と比べて、領域画像ＲＩＭＧを生成する際の、プロセッサ１００の処理負担が軽減される。
【0079】
プロセッサ１００は、合成画像ＣＩＭＧを生成する（ステップＳ１０５）。すなわち、プロセッサ１００は、ステップＳ１０４で生成された領域画像ＲＩＭＧが、ステップＳ１０２で生成された窓枠画像ＦＩＭＧの開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成する。
【0080】
このように、ステップＳ１０５において、プロセッサ１００は、領域画像ＲＩＭＧが、画面６０Ａ上の窓枠画像ＦＩＭＧ（投影画像の一例）の開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成する画像合成部として動作する。
【0081】
プロセッサ１００は、ステップＳ１０５で生成された合成画像ＣＩＭＧを表示装置６０に出力する（ステップＳ１０６）。これにより、図２に例示されるように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成した合成画像ＣＩＭＧが表示装置６０の画面６０Ａに表示される。
【0082】
このように、ステップＳ１０６において、プロセッサ１００は、合成画像ＣＩＭＧを表示装置６０に出力する画像出力部として動作する。
【0083】
図８に示される画像処理の実行中、例えば乗員２が身体を動かすことによって視点座標ＰＶが移動すると、視点座標ＰＶの移動に応じて、画面６０Ａに写る車外の風景（領域画像ＲＩＭＧ）がリアルタイムに変わるとともに、窓枠画像ＦＩＭＧの投影角度がリアルタイムに変わる。そのため、乗員２は、目の位置と表示画像との関係を直感的に理解することができ、見たいと思っている外界の画像が画面６０Ａを通じて見えるように目の位置を直感的かつ容易に調節することができる。乗員２は、恰も、ダッシュボードに設けられた窓枠から車外を視認する状態を体験できる。
【0084】
図９は、本発明の変形例１に係る表示制御システム１の構成を示すブロック図である。
【0085】
図９に示されるように、変形例１に係る表示制御システム１は、センサ７０を備える。センサ７０は、車両周囲の物体（人、物等であり、以下「障害物」と記す。）を検知するためのセンサであり、例えば、カメラ、ミリ波レーダ、準ミリ波レーダ、超音波センサ、ＬｉＤＡＲ（Light Detection and Ranging）である。
【0086】
図９に示されるように、変形例１に係るＥＣＵ１０は、障害物検知部１００Ｅを備える。障害物検知部１００Ｅは、センサ７０より入力される情報に基づいて車両周囲の障害物を検知する。
【0087】
変形例１においても、プロセッサ１００は、上記の実施形態と同様に、視点座標ＰＶを取得し（ステップＳ１０１）、窓枠画像ＦＩＭＧを生成し（ステップＳ１０２）、車外画像Ｐ４０を取得し（ステップＳ１０３）、領域画像ＲＩＭＧを生成し（ステップＳ１０４）、合成画像ＣＩＭＧを生成し（ステップＳ１０５）、合成画像ＣＩＭＧを表示装置６０に出力する（ステップＳ１０６）。
【0088】
図１０は、変形例１においてプロセッサ１００により実行される合成画像ＣＩＭＧの生成処理（ステップＳ１０５）のサブルーチンを示す図である。
【0089】
図１０に示されるように、プロセッサ１００は、センサ７０より入力される情報に基づいて車両周囲の障害物を検知する（ステップＳ１０５Ａ）。
【0090】
このように、ステップＳ１０５Ａにおいて、プロセッサ１００は、車両の周囲の物体を検知する物体検知部として動作する。
【0091】
車両周囲で障害物が検知されなければ（ステップＳ１０５Ｂ：ＮＯ）、プロセッサ１００は、ステップＳ１０４で生成された領域画像ＲＩＭＧが、ステップＳ１０２で生成された窓枠画像ＦＩＭＧの開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成する（ステップＳ１０５Ｆ）。
【0092】
車両周囲の障害物が検知されると（ステップＳ１０５Ｂ：ＹＥＳ）、プロセッサ１００は、この障害物が画面６０Ａに写らない位置にあるか否かを判定する（ステップＳ１０５Ｃ）。
【0093】
なお、車両周囲で複数の障害物が検知された場合、ステップＳ１０５Ｃにおいて、プロセッサ１００は、複数の障害物のなかから、最も優先して警告すべき１つの障害物を選択し、選択された障害物が画面６０Ａに写らない位置にあるか否かを判定する。一例として、プロセッサ１００は、車体に最も近い障害物を最も優先して警告すべき障害物として選択する。
【0094】
障害物が画面６０Ａに写る位置にある場合（ステップＳ１０５Ｃ：ＮＯ）、プロセッサ１００は、ステップＳ１０４で生成された領域画像ＲＩＭＧが、ステップＳ１０２で生成された窓枠画像ＦＩＭＧの開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成する（ステップＳ１０５Ｆ）。
【0095】
障害物が画面６０Ａに写らない位置にある場合（ステップＳ１０５Ｃ：ＹＥＳ）、プロセッサ１００は、この障害物が位置する方向を計算する（ステップＳ１０５Ｄ）。
【0096】
【0097】
プロセッサ１００は、障害物検知部１００Ｅにより検知された障害物の座標４００が参照範囲ＨＣ外に位置するか否かによって、障害物が画面６０Ａに写らない位置にあるか否かを判定する。障害物の座標４００が参照範囲ＨＣ外に位置する場合、プロセッサ１００は、障害物が画面６０Ａに写らない位置にあると判定する。障害物の座標４００が参照範囲ＨＣ内に位置する場合、プロセッサ１００は、障害物が画面６０Ａに写る位置にあると判定する。
【0098】
障害物の座標４００が参照範囲ＨＣ外に位置する場合、プロセッサ１００は、視点座標ＰＶと座標４００とを結ぶ線分Ｌ１と拡張面１６０Ａとの交点ＩＰ１を計算する。拡張面１６０Ａは、画面６０Ａを拡張した面であり、画面６０Ａを含む仮想的な面である。
【0099】
プロセッサ１００は、拡張面１６０Ａ上に、画面６０Ａの中心６０ａと交点ＩＰ１とを結ぶ線分Ｌ２と窓枠画像ＦＩＭＧとが交差する位置ＩＰ２を計算する。位置ＩＰ２は、障害物検知部１００Ｅにより検知された障害物が位置する方向を示す。
【0100】
プロセッサ１００は、窓枠画像ＦＩＭＧ内の位置ＩＰ２にアラート画像ＡＩＭＧを表示する（ステップＳ１０５Ｅ）。例示的には、プロセッサ１００は、乗員２が位置ＩＰ２を視覚的に認識できるように、位置ＩＰ２に、窓枠画像ＦＩＭＧの他の部分と異なる色を着色する。
【0101】
アラート画像ＡＩＭＧは、例えば障害物の情報を示す画像であってもよい。例えばセンサ７０がカメラの場合、アラート画像ＡＩＭＧは、障害物検知部１００Ｅにより検知された障害物を写すリアルタイムの動画であってもよい。この動画は、例えばピクチャインピクチャで画面６０Ａに表示される。附言するに、この動画は、画面６０Ａのうち、障害物検知部１００Ｅにより検知された障害物が位置する方向に寄せた領域に表示される。
【0102】
アラート画像ＡＩＭＧは、乗員２の視線を位置ＩＰ２に誘導する画像や動画であってもよい。例示的には、アラート画像ＡＩＭＧは、画面６０Ａの中心６０ａから位置ＩＰ２に徐々に移動する矢印画像である。
【0103】
このように、ステップＳ１０５Ｅにおいて、プロセッサ１００は、物体検知部により検知された物体が領域画像ＲＩＭＧに写らない位置にある場合、位置ＩＰ２（物体が位置する方向に対応する枠の部分の一例）にアラートを表示するアラート表示部として動作する。
【0104】
プロセッサ１００は、ステップＳ１０４で生成された領域画像ＲＩＭＧが、ステップＳ１０５Ｅで生成された、アラート画像ＡＩＭＧを含む窓枠画像ＦＩＭＧの開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成する（ステップＳ１０５Ｆ）。
【0105】
【0106】
次は、変形例２の説明を示す。
【0107】
変形例２においても、プロセッサ１００は、上記の実施形態と同様に、視点座標ＰＶを取得し（ステップＳ１０１）、窓枠画像ＦＩＭＧを生成し（ステップＳ１０２）、車外画像Ｐ４０を取得し（ステップＳ１０３）、領域画像ＲＩＭＧを生成し（ステップＳ１０４）、合成画像ＣＩＭＧを生成し（ステップＳ１０５）、合成画像ＣＩＭＧを表示装置６０に出力する（ステップＳ１０６）。
【0108】
図１３は、変形例２においてプロセッサ１００により実行される合成画像ＣＩＭＧの生成処理（ステップＳ１０５）のサブルーチンを示す図である。
【0109】
図１３に示されるように、プロセッサ１００は、車両に関する情報を取得する（ステップＳ１０５ａ）。車両に関する情報は、例えば、車速センサで検知される車両の速度である。車両に関する情報は、車両の速度に限らず、例えば、車両に装備される計器類を用いて取得される他の情報であってもよい。以下、車両に関する情報は、便宜上「車両情報」と記される。
【0110】
このように、ステップＳ１０５ａにおいて、プロセッサ１００は、移動体に関する情報を取得する情報取得部として動作する。
【0111】
プロセッサ１００は、ステップＳ１０５ａで取得された車両情報に応じて窓枠画像ＦＩＭＧを変形させる（ステップＳ１０５ｂ）。例示的には、プロセッサ１００は、車両情報を窓枠画像ＦＩＭＧに重畳して表示できるように、窓枠画像ＦＩＭＧの一部の幅を広げる。
【0112】
このように、ステップＳ１０５ｂにおいて、プロセッサ１００は、情報取得部により取得された情報に応じて窓枠画像ＦＩＭＧ（投影画像の一例）を変形させる形状変形部として動作する。
【0113】
プロセッサ１００は、ステップＳ１０４で生成された領域画像ＲＩＭＧが、ステップＳ１０５ｂで形状が変形された窓枠画像ＦＩＭＧの開口部ＯＰに写るように、領域画像ＲＩＭＧと窓枠画像ＦＩＭＧとを合成する（ステップＳ１０５ｃ）。
【0114】
プロセッサ１００は、ステップＳ１０５ａで取得された車両情報を、ステップＳ１０５ｃで生成された合成画像ＣＩＭＧに重畳する（ステップＳ１０５ｄ）。
【0115】
このように、ステップＳ１０５ｄにおいて、プロセッサ１００は、情報取得部により取得された情報を合成画像ＣＩＭＧに重畳する重畳部として動作する。附言するに、重畳部として動作するプロセッサ１００は、合成画像ＣＩＭＧに含まれる、形状変形部による変形後の窓枠画像ＦＩＭＧ（投影画像の一例）上に、ステップＳ１０５ａで取得された情報を重畳する。
【0116】
図１４は、変形例２において乗員２から見た車内の一部を示す図である。図１４中、符号５００は、合成画像ＣＩＭＧに重畳される車両情報の一例を示す。乗員２は、画面６０Ａを通じて、車速等の車両情報を確認することができる。
【0117】
車両情報を複数表示させる場合、プロセッサ１００は、窓枠画像ＦＩＭＧの複数個所を変形させ、それぞれの個所に車両情報を表示させてもよい。乗員２は、ＨＭＩ５０を操作して、表示させる車両情報の種類、各種車両情報の表示位置、各種車両情報の表示タイミング等を適宜設定することができる。
【0118】
変形例２では、窓枠画像ＦＩＭＧの形状が車両情報に応じて変形されるが、本発明の構成はこれに限らない。窓枠画像ＦＩＭＧの形状は、車両情報を表示させるスペースが予め確保された形状であってもよい。例示的には、窓枠画像ＦＩＭＧの形状は、速度メータや各種インジケータの表示を想定した形状であってもよい。
【0119】
例えば、乗員２が画面６０Ａに表示される車両情報をタッチすることにより、車両に対するインタラクティブな操作が行われるようにしてもよい。
【0120】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【0121】
例えば、表示装置６０の設置位置は、ダッシュボードに限らない。表示装置６０は、例えばピラー部に設置されてもよい。
【0122】
画面６０Ａの表示内容は、車両前方の画像に限らず、表示装置６０と乗員２との位置関係に依存する。例えば、表示装置６０が乗員２の側方に位置する場合、車両側方を含む画像が画面６０Ａに表示される。また、例えば、表示装置６０が乗員２の後方に位置する場合、車両後方を含む画像が画面６０Ａに表示される。
【0123】
ＥＣＵ１０には、車体の異なる位置に設置された複数台の車外カメラ４０が接続されてもよい。車外画像Ｐ４０は、例えば、車両前方を撮影するフロントカメラ、車両側方を撮影する左右の一対のサイドカメラの各撮影画像を組み合わせたものであってもよい。この場合、プロセッサ１００は、例えばフロントカメラでは捉えきれない広範囲の車外画像Ｐ４０を取得することができる。
【0124】
車外画像Ｐ４０は、リアルタイムの撮影画像に限らず、例えば過去の撮影画像であってもよい。
【0125】
窓枠画像ＦＩＭＧは、色、質感等の見た目が変化してもよい。例示的には、窓枠画像ＦＩＭＧは、太陽等の光源の位置に応じて陰影がリアルタイムに変化するように描画されてもよい。
【符号の説明】
【0126】
１ ：表示制御システム
１０ ：ＥＣＵ
２０ ：車内カメラ
３０ ：ＤＭＳ
４０ ：車外カメラ
５０ ：ＨＭＩ
６０ ：表示装置
７０ ：センサ
１００ ：プロセッサ
１００Ａ ：視点情報取得部
１００Ｂ ：枠描画部
１００Ｃ ：画像変形部
１００Ｄ ：重畳部
１００Ｅ ：障害物検知部
２００ ：記憶装置
２００Ａ ：画像処理プログラム
１０ ：ＥＣＵ
２０ ：車内カメラ
３０ ：ＤＭＳ
４０ ：車外カメラ
５０ ：ＨＭＩ
６０ ：表示装置
７０ ：センサ
１００ ：プロセッサ
１００Ａ ：視点情報取得部
１００Ｂ ：枠描画部
１００Ｃ ：画像変形部
１００Ｄ ：重畳部
１００Ｅ ：障害物検知部
２００ ：記憶装置
２００Ａ ：画像処理プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】