特開 2024-93868 表示制御装置及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093868

(43)【公開日】2024-07-09

(54)【発明の名称】表示制御装置及び表示制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240702BHJP

   B60R 1/22 20220101ALI20240702BHJP

   H04N 23/63 20230101ALI20240702BHJP

   G09G 5/00 20060101ALI20240702BHJP

   G09G 5/37 20060101ALI20240702BHJP

【ＦＩ】

H04N7/18 J

B60R1/22

H04N23/63

G09G5/00 550C

G09G5/37 320

G09G5/37 300

G09G5/00 530H

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022210493

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】村上 哲郎

(72)【発明者】

【氏名】坂田 直人

(72)【発明者】

【氏名】古賀 昌史

【テーマコード（参考）】

5C054

5C122

5C182

【Ｆターム（参考）】

5C054AA01

5C054CH01

5C054FC15

5C054FD03

5C054FE11

5C054HA30

5C122DA14

5C122EA47

5C122FK16

5C122FK23

5C122FK24

5C122HB01

5C182AA03

5C182AB25

5C182BA14

5C182BA56

5C182CB11

5C182CB44

5C182CC21

5C182CC24

5C182DA44

(57)【要約】

【課題】乗員が表示部に表示された画像を視認する際に乗員の違和感を抑制することが可能な表示制御装置を提供する。
【解決手段】表示制御装置３０は、画像取得部５１、視点位置取得部５２、画像処理部５３及び表示処理部４０を備える。画像処理部５３は、乗員の目の位置に基づいて、入力画像内に水平表示領域を設定する水平表示領域設定部、乗員の目の位置に基づいて、入力画像内に垂直表示領域を設定する垂直表示領域設定部、乗員の目の位置に基づいて、乗員が表示部４０を通して下方を見る度合いである地面投影範囲適用率を算出する地面投影範囲適用率算出部と、地面投影範囲適用率に基づいて、出力画像の座標に入力画像の座標を対応付ける座標変換部として機能する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力画像として、車両の周辺を撮影した画像を取得する画像取得部と、
乗員の目の位置に関する情報を取得する視点位置取得部と、
前記乗員の目の位置に基づいて、前記入力画像内に実空間上の地面に対して平行な水平基準面における水平表示領域を設定する水平表示領域設定部と、
前記乗員の目の位置に基づいて、前記入力画像内に前記地面に対して垂直な方向に広がる垂直基準面における垂直表示領域を設定する垂直表示領域設定部と、
前記乗員の目の位置に基づいて、前記乗員が表示部を通して下方を見る度合いである地面投影範囲適用率を算出する地面投影範囲適用率算出部と、
前記地面投影範囲適用率に基づいて、前記表示部に表示する出力画像の座標に前記入力画像の座標を対応付けて前記出力画像を前記表示部に表示する表示処理部と、
を備える表示制御装置。

【請求項2】

前記水平表示領域は、前記乗員の目の位置から前記表示部を通して前記車両の近傍の地面を見たときの領域であり、前記垂直表示領域は、前記乗員の目の位置から前記表示部を通して前記車両の近傍よりも遠方を見たときの領域である
請求項１に記載の表示制御装置。

【請求項3】

前記地面投影範囲適用率に基づいて、前記入力画像内に前記水平表示領域の座標と前記垂直表示領域の座標を含む統合表示領域を設定する統合表示領域設定部を備え、
前記表示処理部は、前記入力画像における統合表示領域の座標を前記出力画像に座標変換して前記表示部に表示する
請求項１に記載の表示制御装置。

【請求項4】

前記入力画像上における前記水平表示領域を構成する複数の点と、前記水平表示領域上の前記複数の点に対応し前記入力画像上における前記垂直表示領域を構成する複数の点をそれぞれ結んだ線分を内分する内分点を、前記地面投影範囲適用率に基づいて算出する内分点算出部を備え、
前記統合表示領域設定部は、前記入力画像上における前記内分点で囲まれた領域を統合表示領域に設定する
請求項３に記載の表示制御装置。

【請求項5】

前記入力画像内の前記水平表示領域の座標と前記出力画像の座標を対応付ける水平変換行列と、前記入力画像内の前記垂直表示領域の座標と前記出力画像の座標を対応付ける垂直変換行列を求める行列算出部を備え、
前記表示処理部は、前記水平変換行列と前記垂直変換行列と前記地面投影範囲適用率に基づいて、前記入力画像の座標と前記出力画像の座標を対応付けて、前記表示部に表示するよう制御する
請求項１に記載の表示制御装置。

【請求項6】

前記表示処理部は、前記水平変換行列と前記垂直変換行列に基づいて、前記出力画像の座標に対応する前記入力画像の前記水平表示領域内の座標と前記垂直表示領域内の座標をそれぞれ算出し、前記入力画像における前記水平表示領域内の座標と前記垂直表示領域内の座標を前記地面投影範囲適用率に基づいて内分した内分座標を前記出力画像の座標に対応付ける
請求項５に記載の表示制御装置。

【請求項7】

車両に搭載された表示制御装置の制御部によって実行される表示制御方法であって、
入力画像として、前記車両の周辺を撮影した画像を取得する画像取得工程と、
乗員の目の位置に関する情報を取得する視点位置取得工程と、
前記乗員の目の位置に基づいて、前記入力画像内に実空間上の地面に対して平行な方向の水平基準面における水平表示領域を設定する水平表示領域設定工程と、
前記乗員の目の位置に基づいて、前記入力画像内に前記地面に対して垂直な方向に広がる垂直基準面における垂直表示領域を設定する垂直表示領域設定工程と、
前記乗員の目の位置に基づいて、前記乗員が表示部を通して下方を見る度合いである地面投影範囲適用率を算出する地面投影範囲適用率算出工程と、
前記地面投影範囲適用率に基づいて、前記表示部に表示する出力画像の座標に前記入力画像の座標を対応付けて前記出力画像を前記表示部に表示する表示処理工程と、
を含む表示制御方法。

【請求項8】

前記水平表示領域は、前記乗員の目の位置から前記表示部を通して前記車両の近傍の地面を見たときの領域であり、前記垂直表示領域は、前記乗員の目の位置から前記表示部を通して前記車両の近傍よりも遠方を見たときの領域である
請求項７に記載の表示制御方法。

【請求項9】

前記地面投影範囲適用率に基づいて、前記入力画像内に前記水平表示領域の座標と前記垂直表示領域の座標を含む統合表示領域を設定する統合表示領域設定工程を有し、
前記表示処理工程は、前記入力画像における統合表示領域の座標を前記出力画像に座標変換して前記表示部に表示する
請求項７に記載の表示制御方法。

【請求項10】

前記入力画像上における前記水平表示領域を構成する複数の点と、前記水平表示領域上の前記複数の点に対応し前記入力画像上における前記垂直表示領域を構成する複数の点をそれぞれ結んだ線分を内分する内分点を、前記地面投影範囲適用率に基づいて算出する内分点算出工程を有し、
前記統合表示領域設定工程は、前記入力画像上における前記内分点で囲まれた領域を統合表示領域に設定する
請求項９に記載の表示制御方法。

【請求項11】

前記入力画像内の前記水平表示領域の座標と前記出力画像の座標を対応付ける水平変換行列と、前記入力画像内の前記垂直表示領域の座標と前記出力画像の座標を対応付ける垂直変換行列を求める行列算出工程を有し、
前記表示処理工程は、前記水平変換行列と前記垂直変換行列と前記地面投影範囲適用率に基づいて、前記入力画像の座標と前記出力画像の座標を対応付けて、前記表示部に表示するよう制御する
請求項７に記載の表示制御方法。

【請求項12】

前記表示処理工程は、前記水平変換行列と前記垂直変換行列に基づいて、前記出力画像の座標に対応する前記入力画像の前記水平表示領域内の座標と前記垂直表示領域内の座標をそれぞれ算出し、前記入力画像における前記水平表示領域内の座標と前記垂直表示領域内の座標を前記地面投影範囲適用率に基づいて内分した内分座標を前記出力画像の座標に対応付ける
請求項１１に記載の表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置及び表示制御方法に関するものである。

【背景技術】

【0002】

特許文献１に開示の車両周囲映像提供装置は、取得された視点位置の情報と液晶ディスプレイの設置状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイの設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイに表示されるように、撮影装置により撮影された映像を座標変換する。このため、あたかも液晶ディスプレイが透過して車外が見えるかのように、液晶ディスプレイに映像表示が行われる。

【0003】

しかしながら、視点位置に応じて座標変換の基準面を地面又は垂直面に切り替えているため、この切り替えの際にディスプレイに表示される画像も切り替わる。このとき、運転者は画像が切り替わったことが認識できるため、違和感を覚えることがあった。また、予め記憶された複数の視点位置から選択された視点位置、又は運転者が複数のスイッチのいずれかを操作することにより取得された視点位置に基づいて液晶ディスプレイに映像を表示しているため、選択された視点位置以外の位置に運転者が目を移動させた場合、ウィンドウを通して見る風景と液晶ディスプレイの画像とが不連続となることがあった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－１２４６０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで、本開示は、乗員が表示部に表示された画像を視認する際に乗員の違和感を抑制することを目的としている。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本開示の表示制御装置は、入力画像として、車両の周辺を撮影した画像を取得する画像取得部と、乗員の目の位置に関する情報を取得する視点位置取得部と、前記乗員の目の位置に基づいて、前記入力画像内に実空間上の地面に対して平行な水平基準面における水平表示領域を設定する水平表示領域設定部と、前記乗員の目の位置に基づいて、前記入力画像内に前記地面に対して垂直な方向に広がる垂直基準面における垂直表示領域を設定する垂直表示領域設定部と、前記乗員の目の位置に基づいて、前記乗員が表示部を通して下方を見る度合いである地面投影範囲適用率を算出する地面投影範囲適用率算出部と、前記地面投影範囲適用率に基づいて、前記表示部に表示する出力画像の座標に前記入力画像の座標を対応付けて前記出力画像を前記表示部に表示する表示処理部と、を備える。

【発明の効果】

【0007】

本開示によれば、乗員が表示部に表示された画像を視認する際に乗員の違和感を抑制できる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る表示制御装置を備える表示制御システムの概略構成を示す機能ブロック図である。

【図2】表示部に表示される出力画像の一例及び表示部の周辺の風景を示す図である。

【図3】画像処理部で実行される水平表示領域設定処理と垂直表示領域設定処理を説明するための図である。

【図4】画像処理部で実行される水平表示領域設定処理と垂直表示領域設定処理を説明するための図である。

【図5】画像処理部で実行される地面投影範囲適用率算出処理を説明するための図である。

【図6】画像処理部で実行される地面投影範囲適用率算出処理を説明するための図である。

【図7】画像処理部で実行される内分点算出処理と統合表示領域設定処理を説明するための図である。

【図8】地面適用率α＝０．５のときの入力画像上の水平表示領域、垂直表示領域及び統合表示領域の関係を説明するための図である。

【図9】第１実施形態に係る表示制御装置の動作の一例を説明するためのフローチャートである。

【図10】第２実施形態に係る表示制御装置の画像処理部で実行される画像処理を説明するための図である。

【図11】第２実施形態に係る表示制御装置の画像処理部で実行される画像処理を説明するための図である。

【図12】地面投影範囲適用率算出処理の他の例を説明するための図である。

【発明を実施するための形態】

【0009】

（第１実施形態）
この開示の第１実施形態に係る表示制御装置は、図面に基づき以下のように説明される。図１は、第１実施形態に係る表示制御装置３０を備える表示制御システム１００の概略構成を示す機能ブロック図である。図１に示す表示制御装置３０は、本開示に係る表示制御装置の一実施形態であり、本開示は本実施形態に限定されない。表示制御装置３０は、自動車等の移動体に搭載されている。以下、本実施形態の表示制御装置３０が搭載される移動体は、自車両Ｖ（図６参照）と称されて説明される。

【0010】

表示制御システム１００は、撮像装置１０と、乗員監視部２０と、車内カメラ２１と、表示制御装置３０と、表示部４０とを備える。表示制御システム１００は、図２に示されるように、あたかも表示部４０が透過して車外の風景が見えるかのように、撮像装置１０で撮影した画像を変換して表示部４０に表示する。表示部４０は、液晶ディスプレイ等からなり、本実施形態では横長の長方形であるが、長方形に限定されない。

【0011】

撮像装置１０は、自車両Ｖの外部に設置され、自車両Ｖの周囲を撮影する。撮像装置１０は、撮影した画像を所定のプロトコルにしたがって撮影画像データとして表示制御装置３０に出力する。撮像装置１０は、本実施形態では自車両Ｖの前方に設置された前方カメラを含んでいる。なお、撮像装置１０が前方カメラに限定されず、自車両Ｖの後方に設置された後方カメラ、自車両Ｖの左右前方、左右後方に設置された側方カメラ等を含むこともできる。

【0012】

乗員監視部２０は、自車両Ｖに搭載されている。乗員監視部２０は、車内カメラ２１で撮影した画像に基づき、乗員１であるドライバの状態を監視する。乗員監視部２０は、公知のものを用いることができる。車内カメラ２１は、ドライバを含む自車両Ｖの車内を撮影するカメラであり、例えば表示部４０の近傍に車内に向けて設けられる。また、乗員監視部２０は、車内カメラ２１で撮影した画像に基づき、公知の手法で乗員１の目の位置を検知し、取得した目の位置に関する情報（以下、「目の位置情報」という。）を、表示制御装置３０に出力する。目の位置情報は、例えば、左右の目の中点の三次元座標、乗員１の利き目の三次元座標等とすることができる。

【0013】

表示制御装置３０は、画像の作成及び表示に関する処理を実行する情報処理装置であり、図１に示すように、処理部（制御部）５０と、記憶部６０と、を備える。表示制御装置３０は、例えば、ＣＰＵ、ＧＰＵ、ＲＡＭ及びＲＯＭ等の記憶装置を有するＥＣＵにより構成される。処理部５０は、ＥＣＵが有するＣＰＵ等により主に構成され、ＲＯＭに格納された所定のプログラムをＲＡＭに展開して実行することにより、表示制御装置３０全体、さらには表示制御システム１００全体の動作を制御する。記憶部６０は、ＥＣＵが有する記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えることもできる。

【0014】

なお、表示制御装置３０は、一つのＥＣＵにより構成することもできるし、複数のＥＣＵにより構成し、後述の処理部５０の各機能を分散させたり、記憶するデータを分散させたりすることもできる。また、表示制御装置３０は、その機能の一部又は全部を、ＦＰＧＡ、ＡＳＩＣなどのハードウェアを用いて実現されることもできる。さらには、一つのＥＣＵが、表示制御装置３０の機能だけでなく、撮像装置１０を制御するカメラＥＣＵの機能、乗員監視部２０の機能を備える構成とすることもできる。

【0015】

処理部５０は、撮像装置１０から入力される撮影画像データ（入力画像７０、図３等参照）と乗員監視部２０から入力される目の位置情報に基づき、出力画像４２の座標に入力画像７０（図２等参照）の座標を対応付けて、出力画像４２を表示部４０に表示させる。処理部５０は、図１に示すように、画像取得部５１、視点位置取得部５２、画像処理部５３及び表示処理部５４として機能するが、これらの機能に限定されない。

【0016】

画像取得部５１は、撮像装置１０から自車両Ｖの周辺を撮影した入力画像７０を取得し、画像処理部５３に出力する（画像取得処理）。視点位置取得部５２は、乗員監視部２０から目の位置情報（図４に示す目の位置Ｔの三次元座標）を取得し、画像処理部５３に出力する（視点位置取得処理）。この目の位置Ｔは、入力画像７０を表示部４０に投影して表示するための投影中心といえる。

【0017】

本実施形態の画像取得部５１及び視点位置取得部５２は、処理部５０に備えられ、表示制御装置３０が備える公知の入力インターフェースを通じて各情報を取得している。しかし、この構成に限定されず、画像取得部５１及び視点位置取得部５２は、入力インターフェースそのものであってもよく、撮像装置１０又は乗員監視部２０から取得した情報を単に画像処理部５３に出力し、画像処理部５３によって各情報に必要な処理が実行されるものでもよい。

【0018】

画像処理部５３は、画像取得部５１から入力される入力画像７０及び視点位置取得部５２から入力される目の位置Ｔに基づき、入力画像７０を、乗員１の目の位置Ｔから自車両Ｖの周辺を見た画像（出力画像４２）に変換する画像処理を実行する。画像処理部５３は、より詳細には、歪補正処理を実行する歪補正処理部、水平表示領域設定処理を実行する水平表示領域設定部、垂直表示領域設定処理を実行する垂直表示領域設定部、地面投影範囲適用率算出処理を実行する地面投影範囲適用率算出部、内分点算出処理を実行する内分点算出部、統合表示領域設定処理を実行する統合表示領域設定部及び座標変換処理を実行する座標変換部として機能する。

【0019】

本実施形態において統合とは、同一の画像内の２つの領域の入力に基づき、その画像内の１つの領域を出力する処理である。この処理における領域とは、４頂点の座標、または４頂点で構成された四角形、または４頂点で構成された四角形内部の画像を指す。領域内の各頂点は各領域間で対応付けられる。出力される領域内の各頂点は、入力される２つの領域内の対応する頂点を内分比に基づき内分した点である。内分比は領域内の各頂点で共通である。

【0020】

画像処理部５３は、歪補正処理として、画像取得部５１から入力される入力画像７０に対して、公知の手法を用いて撮像装置１０が有するレンズの歪み（例えば、レンズの歪曲収差、色収差等）を補正する。なお、歪補正処理は、画像取得部５１が実行し、歪補正後の入力画像７０を画像処理部５３に出力する構成とすることもできる。

【0021】

画像処理部５３は、水平表示領域設定処理として、乗員１の目の位置Ｔに基づき、入力画像７０内に実空間上の地面に対して平行な方向の水平基準面７１における水平表示領域ＧＡを設定する。また、画像処理部５３は、垂直表示領域設定処理として、乗員１の目の位置Ｔに基づき、入力画像７０内に実空間上の地面に対して垂直な方向に広がる垂直基準面８１における垂直表示領域ＷＡを設定する。これらの処理の詳細は、図３、図４を参照して以下のように説明される。

【0022】

入力画像７０、水平基準面７１及び垂直基準面８１の座標系は、図３を参照しての以下のように説明される。図３の紙面左図は、歪補正後の入力画像７０を基準とする画像座標系と自車両Ｖを基準とする車両座標系上で表現される水平基準面７１である。図３の紙面右図は、歪補正後の入力画像７０を基準とする画像座標系と自車両Ｖを基準とする車両座標系上で表現される垂直基準面８１である。画像座標系は、歪補正後の入力画像７０の左上隅を原点Ｏ（０，０）とする二次元の座標系である。Ｘａ及びＹａは互いに直交する軸であり、各軸の単位はピクセル（ｐｘ）である。

【0023】

車両座標系は、自車両Ｖの所定の位置を原点Ｏ（０，０，０）とする三次元の座標系である。Ｘｂは車幅方向（水平方向）に延びる軸であり、ＹｂはＸｂと直交し自車両Ｖの上下方向（垂直方向）に延びる軸であり、ＺｂはＸｂ及びＹｂと直交し自車両Ｖの前後方向に延びる軸である。Ｘｂ、Ｙｂ、Ｚｂの各軸の単位はｍｍである。

【0024】

図３中に符号７２で示される領域は、入力画像７０が、水平基準面７１上にマッピングされた画像（以下、「水平モデル画像７２」という。）を示す。また、図３中に符号７３で示される領域は、入力画像７０がマッピングされない領域、つまり撮像装置１０で撮影されない領域（以下、「非マッピング領域７３」という。）である。図３中に符号８２で示される領域は、入力画像７０が、垂直基準面８１上にマッピングされた画像（以下「垂直モデル画像８２」という。）を示す。図３中の水平モデル画像７２及び垂直モデル画像８２は説明を容易にするために仮想的に表現したものであり、本実施形態においてこのような画像は作成されない。また、水平モデル画像７２及び垂直モデル画像８２は、作図の都合で長方形の境界を設定しているが、実際には境界はなく、際限なく広がっている。

【0025】

画像処理部５３は、図４の左上図に示されるように、目の位置Ｔを基準として、投影面を表示部４０としたときに、この表示部４０の表示領域４１に投影される水平基準面７１上の領域（以下、「水平投影領域７４」という。）を算出する。図４に示される点ｄ１、ｄ２、ｄ３、ｄ４で囲まれた領域は、表示部４０の表示領域４１である。すなわち、点ｄ１～ｄ４は長方形の表示領域４１の四隅の頂点である。この頂点ｄ１～ｄ４の位置情報（三次元座標）は、予め記憶部６０の位置情報記憶部６１に記憶されている。水平基準面７１上の点ｂ５、ｂ６、ｂ７、ｂ８で囲まれた領域が、表示領域４１に投影される水平投影領域７４である。画像処理部５３は、目の位置Ｔの座標、及び位置情報記憶部６１から取得した頂点ｄ１～ｄ４の座標に基づき、点ｂ５～ｂ８の座標を算出する。

【0026】

より具体的には、画像処理部５３は、図４の左上図に示されるように、目の位置Ｔの座標Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）と、表示領域４１の四隅の頂点ｄ１～ｄ４の実空間上の三次元座標を用いて、目の位置Ｔと、頂点ｄ１～ｄ４とを各々結ぶ直線を設定する。次いで、画像処理部５３は、これらの直線と、水平基準面７１との交点ｂ５～ｂ８を検出し、この交点ｂ５～ｂ８で構成される領域を、表示領域４１に対応する水平投影領域７４と認定し、各交点ｂ５～ｂ８の座標を算出する。

【0027】

次いで画像処理部５３は、水平投影領域７４の各交点ｂ５～ｂ８の座標を下記式（１）の右辺に代入して、歪補正後の入力画像７０の画像座標系の座標に変換する。図４の紙面下図に示される点ｇ１、ｇ２、ｇ３、ｇ４は、交点ｂ５、ｂ６、ｂ７、ｂ８が座標変換された歪補正後の入力画像７０上の点である。この点ｇ１～ｇ４で囲まれた領域は、歪補正後の入力画像７０内に設定された、水平投影領域７４に対応する水平表示領域ＧＡである。下記式（１）中、ｘ_ｂ及びｚ_ｂは水平基準面７１の車両座標系におけるｘ座標及びｚ座標であり、ｘ_ｇ及びｙ_ｇは歪補正後の入力画像７０の画像座標系のｘ座標及びｙ座標である。ここで、画像座標系の座標（ｘ_ｇ，ｙ_ｇ）を表す同次座標はｇとされ、車両座標系の座標（ｘ_ｂ，ｚ_ｂ）を表す同次座標はｂとされる。同次座標ｇとｂとの関係は、下記式（１）で表される。なお、値λ_ｇは、同次座標ｇにおける倍率を示す。この値λ_ｇがいずれの値をとっても（ただし値０を除く）、同次座標ｇは画像座標系上で同一の座標を表す。射影変換行列Ｍ_Ｇは、後述のように予め算出されて記憶部６０の変換情報記憶部６２に記憶されている。

【0028】

【数1】

【0029】

同様に、画像処理部５３は、図４の右上図に示されるように、目の位置Ｔを基準として、投影面を表示部４０としたときに、この表示部４０の表示領域４１に投影される垂直基準面８１上の領域（以下、「垂直投影領域８４」という。）を算出する。画像処理部５３は、目の位置Ｔの座標Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）と、表示領域４１の四隅の頂点ｄ１～ｄ４の実空間上の三次元座標を用いて、目の位置Ｔと、頂点ｄ１～ｄ４とを各々結ぶ直線を設定する。次いで、画像処理部５３は、これらの直線と、垂直基準面８１との交点ｃ５～ｃ８を検出し、この交点ｃ５～ｃ８で構成される領域を、表示領域４１に対応する垂直投影領域８４と認定し、各交点ｃ５～ｃ８の座標を算出する。

【0030】

次いで画像処理部５３は、垂直投影領域８４の各交点ｃ５～ｃ８の座標を下記式（２）の右辺に代入して、歪補正後の入力画像７０の画像座標系の座標に変換する。図４の紙面下図に示される点ｗ１、ｗ２、ｗ３、ｗ４は、交点ｃ５、ｃ６、ｃ７、ｃ８が座標変換された歪補正後の入力画像７０上の点である。この点ｗ１～ｗ４で囲まれた領域は、歪補正後の入力画像７０内に設定された、垂直投影領域８４に対応する垂直表示領域ＷＡである。下記式（２）中、ｘ_ｃ及びｙ_ｃは垂直基準面８１の車両座標系におけるｘ座標及びｙ座標であり、ｘ_ｗ及びｙ_ｗは歪補正後の入力画像７０の画像座標系のｘ座標及びｙ座標である。ここで、画像座標系の座標（ｘ_ｗ，ｙ_ｗ）を表す同次座標はｗとされ、車両座標系の座標（ｘ_ｃ，ｙ_ｃ）を表す同次座標はｃとされる。同次座標ｗとｃとの関係は、下記式（２）で表される。なお、値λ_ｗは、同次座標ｗにおける倍率を示す。この値λ_ｗがいずれの値をとっても（ただし値０を除く）、同次座標ｗは画像座標系上で同一の座標を表す。射影変換行列Ｍ_Ｗも、後述のように予め算出されて変換情報記憶部６２に記憶されている。

【0031】

【数2】

【0032】

射影変換行列Ｍ_Ｇ及びＭ_Ｗは、図３を参照して、以下のような手順でシステムが搭載された車両の出荷時や整備時に作業者により算出される。まず、作業者は、入力画像７０上で捉えられる点であって、車両座標系に設定した地面（水平基準面７１）上の４つの点ｂ１、ｂ２、ｂ３、ｂ４を定義し、各点ｂ１～ｂ４の座標を実測により特定する。次に、作業者は、歪補正後の入力画像７０上における、地面上の点ｂ１、ｂ２、ｂ３、ｂ４に対応する点をそれぞれａｇ１、ａｇ２、ａｇ３、ａｇ４と定義し、各点ａｇ１～ａｇ４の画素の座標を実測により特定する。作業者は、特定した点ａｇ１～ａｇ４、点ｂ１～ｂの各座標を表示制御装置３０に入力する。これにより、画像処理部５３は、各点ｂ１～ｂ４と各点ａｇ１～ａｇ４との対応関係から、水平基準面７１の車両座標系の座標から歪補正後の入力画像７０上の座標へ変換する射影変換行列Ｍ_Ｇを算出する。画像処理部５３は、算出した射影変換行列Ｍ_Ｇを、変換情報記憶部６２に記憶する。なお、射影変換行列Ｍ_Ｇは、作業者によって算出され、変換情報記憶部６２に記憶されてもよい。後述の射影変換行列Ｍ_Ｗも同様である。

【0033】

射影変換行列Ｍ_Ｇをより高精度に算出する為、点ｂ１～ｂ４は、乗員１が表示部４０を通じて頻繁に見る領域上にあり、かつ点ｂ１～ｂ４で構成される四角形の面積は、より大きいことが望ましい。また、射影変換行列Ｍ_Ｇの算出手順は、上記手順に限定されず、例えば、画像処理部５３等は、５点以上の対応点に基づき、その対応の誤差が最も少なくなるような射影変換行列Ｍ_Ｇを算出することもできる。

【0034】

次に、作業者は、入力画像７０上で捉えられる点であって、車両座標系に設定した壁面（垂直基準面８１）上の４つの点ｃ１、ｃ２、ｃ３、ｃ４を定義し、各点ｃ１～ｃ４の座標を実測により特定する。次に、作業者は、歪補正後の入力画像７０上における、壁面上の点ｃ１、ｃ２、ｃ３、ｃ４に対応する点をそれぞれａｗ１、ａｗ２、ａｗ３、ａｗ４と定義し、各点ａｗ１～ａｗ４の座標を実測により特定する。作業者は、各点ｃ１～ｃ４と各点ａｗ１～ａｗ４との対応関係から、車両座標系の垂直基準面８１上の座標から歪補正後の入力画像７０上の座標へ変換する射影変換行列Ｍ_Ｗを算出する。算出された射影変換行列Ｍ_Ｗは、変換情報記憶部６２に記憶される。

【0035】

射影変換行列Ｍ_Ｗをより高精度に算出する為、点ｃ１～ｃ４は、乗員１が表示部４０を通じて頻繁に見る領域上にあり、かつ点ｃ１～ｃ４で構成される四角形の面積は、より大きいことが望ましい。また、射影変換行列Ｍ_Ｗの算出手順も、上記手順に限定されず、画像処理部５３等は、５点以上の対応点に基づき、その対応の誤差が最も少なくなるような射影変換行列Ｍ_Ｗを算出することもできる。

【0036】

地面投影範囲適用率算出処理は、図５、図６を参照して以下のように説明される。図５は、画像処理部５３で実行される地面投影範囲適用率算出処理を説明するための図であって、目の位置Ｔと、表示部４０と、水平面ＨＰ及び垂直面ＶＰの交差線Ｌの位置関係が示されている。画像処理部５３は、実空間上の座標系を用いて、水平基準面７１が設定される水平面ＨＰと、垂直基準面８１が設定される垂直面ＶＰとの交差線Ｌを検出する。この水平面ＨＰ及び垂直面ＶＰは、乗員１の目の位置Ｔに関係なく、無限に広がる面である。

【0037】

画像処理部５３は、交差線Ｌ上に設定した任意の点Ｑ１、Ｑ２と、目の位置Ｔを各々結び、図５に仮想線で示す２本の直線を公知の手法で算出する。画像処理部５３は、算出した各直線と、無限に拡張した表示領域４１との交点ｑ１、ｑ２の座標を計算し、交点ｑ１、ｑ２どうしを結んで表示領域４１上の交差線ｌを公知の手法で算出する。この交差線ｌは、表示領域４１上で交差線Ｌに対応する線、さらに言い換えれば、交差線Ｌが表示領域４１に投影された投影交差線である。なお、交差線Ｌ及び交差線ｌは、実空間及び表示領域４１に実際に線が表示されるものではなく、理解を容易とするために、水平面ＨＰと垂直面ＶＰとが交差する部分と、この部分に対応する表示領域４１上の部分を仮想的に線として図示されたものである。

【0038】

交差線ｌは、表示領域４１に投影される水平表示領域ＧＡと垂直表示領域ＷＡとのバランス（配分比）を決定するための線である。交差線ｌよりも上部の領域は、水平面ＨＰが投影される領域であり、「地面投影範囲４１ｇ」と称されて説明される。一方、交差線ｌよりも下部の領域は、垂直面ＶＰが投影される領域であり、「壁面投影範囲４１ｗ」と称されて説明される。

【0039】

また、交差線ｌは、乗員１の目の位置Ｔに応じて移動する（図５の紙面下図、図６のｌ、ｌ１、ｌ２参照）。乗員１が表示部４０を通して自車両Ｖの近傍にある地面を見るほど、つまり乗員１が下方を見るほど目の位置Ｔが上又は前方に位置するため、交差線ｌは表示領域４１の上方に移動する。これにより、表示領域４１には、水平表示領域ＧＡ由来の画像が垂直表示領域ＷＡ由来の画像よりも優先されて表示される。これに対して、乗員１が表示部４０を通して自車両Ｖの近傍よりも遠方、つまり乗員１が前方（進行方向）等を見るほど目の位置Ｔが下又は後方に位置するため、交差線ｌは表示領域４１の下方に移動する。これにより、表示領域４１には、垂直表示領域ＷＡ由来の画像が水平表示領域ＧＡ由来の画像よりも優先されて表示される。このとき、例えば交差線ｌが水平表示領域ＧＡと垂直表示領域ＷＡを分割した画像は表示されない。後述のように交差線ｌは例えば地面投影範囲適用率αを決定するために用いられる。図７に示されるように、地面投影範囲適用率αの値の大きさに応じて水平表示領域ＧＡ由来の画像と垂直表示領域ＷＡ由来の画像が統合される。統合後の画像において、水平表示領域ＧＡにより似た画像（入力画像７０における水平表示領域ＧＡ由来の座標がより多く含まれた画像）が表示されるのか、垂直表示領域ＷＡにより似た画像（入力画像７０における垂直表示領域ＷＡ由来の座標がより多く含まれた画像）が表示されるのかを決める値がαである。

【0040】

次いで、画像処理部５３は、地面投影範囲適用率α（以下、単に「地面適用率α」ということがある。）を算出する。この地面適用率αは、乗員１が表示部４０を通して自車両Ｖの近傍にある地面を見る度合い、つまり乗員１が下方を見る度合いであり、表示領域４１で地面投影範囲４１ｇが占める率でもある。本実施形態では、この地面適用率αは、乗員１が下方を見ることで、表示部４０に表示される地面の面積（地面投影範囲４１ｇの面積）に基づき算出されるが、この手法に限定されない。

【0041】

地面適用率αが大きいほど、乗員１が地面を見る度合いが大きいため、地面、すなわち水平表示領域ＧＡ由来の画像が垂直表示領域ＷＡ由来の画像よりも優先されて表示領域４１に表示される。一方、地面適用率αが小さいほど、乗員１が遠方を見る度合いが大きいため、壁面、すなわち垂直表示領域ＷＡ由来の画像が水平表示領域ＧＡ由来の画像よりも優先されて表示領域４１に表示される。本実施形態では、αは０≦α≦１の範囲で変化する。地面適用率をαとしたとき、乗員１が表示部４０を通して自車両Ｖの近傍にある地面よりも遠方を見る度合い、つまり壁面投影範囲適用率は１－αで表される。つまり、地面投影範囲４１ｇと壁面投影範囲４１ｗの関係（面積比）は、「地面投影範囲４１ｇ：壁面投影範囲４１ｗ＝α：１－α」で表される。なお、本実施形態及び後述する第２実施形態では、αは０≦α≦１の範囲で変化可能としているが、これに限定されず、αは、０≦α≦１の範囲以外の所定の範囲で変化するものであってもよい。この場合、後段の処理でαを０≦α’≦１の範囲をとるα’へ変換し、このα’を地面適用率とみなす。

【0042】

図５、図６に示されるように、α＝１のとき、つまり交差線がｌ１の位置にあるときは、壁面投影範囲４１ｗの面積は０とみなされ、１００％水平表示領域ＧＡ由来の画像が表示領域４１に表示される。一方、α＝０のとき、つまり交差線がｌ２の位置にあるときは、地面投影範囲４１ｇの面積は０とみなされ、表示領域４１には、１００％垂直表示領域ＷＡ由来の画像が表示される。そして、０＜α＜１の範囲では、α：１－αの配分比で、表示部４０には、水平表示領域ＧＡ由来の画像と垂直表示領域ＷＡ由来の画像とが統合された画像が表示される。

【0043】

ところで、交差線ｌは、交差線Ｌに対する表示部４０の配置角度によって傾斜が変化する。表示部４０が交差線Ｌと平行に配置されていれば、図５の紙面下図に示されるように、交差線ｌは表示領域４１の上辺に平行な線となる。これに対して、表示部４０が水平面ＨＰに対して傾いて配置されていれば、交差線ｌは表示領域４１の上辺に対して傾斜した線となる。この交差線ｌの傾きによっても、地面投影範囲４１ｇと壁面投影範囲４１ｗのバランスは変化する。このため、本実施形態の画像処理部５３は、目の位置Ｔと交差線Ｌ上の２つの点Ｑ１、Ｑ２を結ぶ線と表示領域４１が交差する２つ点ｑ１、ｑ２を算出して交差線ｌを算出し、地面投影範囲４１ｇと壁面投影範囲４１ｗの面積比に基づき、地面適用率αを算出している。

【0044】

なお、表示領域４１の上下辺と、交差線Ｌとが平行であれば、より簡易な手法で地面投影範囲４１ｇと壁面投影範囲４１ｗの面積比を算出できる。図６に示されるように、画像処理部５３は、ｘ方向から視た側面視において水平面ＨＰと垂直面ＶＰとの交点Ｒを算出し、この交点と目の位置Ｔとを結んだ線と表示領域４１との交点ｒを算出する。画像処理部５３は、この交点ｒによって分割される線分（表示領域４１の側辺）の割合に基づき、α：１－αをより簡易に算出できる。

【0045】

次に、画像処理部５３は、地面適用率αを使用して、内分点算出処理を実行する。具体的には、画像処理部５３は、図７の紙面上図に示されるように、歪補正後の入力画像７０上の水平表示領域ＧＡ及び垂直表示領域ＷＡをそれぞれ構成する４つの点ｇ（ｇ１～ｇ４）、ｗ(ｗ１～ｗ４)に対し、α：（１－α）の比で表される内分点ｐ（ｐ１～ｐ４）の４つの座標を算出する。画像処理部５３は、統合表示領域設定処理として、この４つの内分点ｐ１～ｐ４で囲まれた領域を、統合表示領域ＰＡとして設定する。この統合表示領域ＰＡは、乗員１が地面を見る度合いに対応した配分比で、水平表示領域ＧＡの画像と垂直表示領域ＷＡの画像とが統合された領域である。また、図８は、地面適用率α＝０．５のときの歪補正後の入力画像７０上の水平表示領域ＧＡ、垂直表示領域ＷＡ及び統合表示領域ＰＡを説明するための図である。図８の紙面左図は、統合表示領域ＰＡ設定前の状態を、図８の紙面右図は、統合表示領域ＰＡ設定後の状態を、仮想的に表した図であり、入力画像７０上に実際に各領域の枠が設定されるものではない。

【0046】

画像処理部５３は、座標変換処理として、まず出力画像４２の四隅の頂点の座標を、統合表示領域ＰＡの各点ｐ１～ｐ４の各座標への変換する射影変換行列Ｈを算出する。射影変換行列Ｈの算出処理は、図７の紙面左下図を参照して、以下のように説明される。図７の紙面下図は、表示部４０の表示領域４１を基準とする表示座標系と、歪補正後の入力画像７０上に統合表示領域ＰＡが示された図である。表示座標系は、表示領域４１の左上隅を原点Ｏ（０，０）とする二次元の座標系である。Ｘｅ及びＹｅは互いに直交する軸であり、各軸の単位はピクセル（ｐｘ）である。

【0047】

画像処理部５３は、出力画像４２上における四隅の頂点ｅ１、ｅ２、ｅ３、ｅ４の表示座標系の座標と、歪補正後の入力画像７０上における内分点ｐ１、ｐ２、ｐ３、ｐ４との対応関係に基づき、出力画像４２上の座標から歪補正後の入力画像７０上の座標へ変換する射影変換行列Ｈを、公知の算出手順により算出する。画像処理部５３は、算出した射影変換行列Ｈを変換情報記憶部６２に記憶する。

【0048】

また、画像処理部５３は、算出した射影変換行列Ｈを用いて、表示領域４１に表示される出力画像４２の全画素の座標を横に並べた行列をＤとしたとき、この行列Ｄから、行列Ｄに含まれる各座標に対応する歪補正前の入力画像７０上の座標を横に並べた行列Ｄ’への変換を、下記式（４）を用いて算出する。下記式（４）中、ｆは歪補正後の入力画像７０上の画素の座標から、歪補正前の入力画像７０上の画素の座標へ変換する公知の関数である。

【0049】

Ｄ’ ＝ ｆ（ＨＤ） （４）

【0050】

また、画像処理部５３は、Ｄ’を用いて、表示領域４１に表示される出力画像４２上の全画素に対し、各画素の画素値に、各画素に対応する入力画像７０上の画素の画素値を代入し、画像変形処理を行う。以上の処理により、画像処理部５３は、入力画像７０上の統合表示領域ＰＡの画像に対応する出力画像４２の画像データを生成する。画像処理部５３は、生成した画像データを表示処理部５４に出力する。

【0051】

表示処理部５４は、表示部４０が透過して車外が見えた場合と同じ出力画像４２が表示部４０に表示されるように、画像処理部５３から入力される画像データに対応する出力画像４２を表示部４０の表示領域４１に表示させる。

【0052】

記憶部６０は、表示制御装置３０を動作させるための制御プログラム、処理部５０における各種動作の際に用いられる各種データやパラメータを、一時的又は非一時的に格納する。また、前述したように、位置情報記憶部６１は、表示領域４１の四隅の頂点ｄ１～ｄ４の座標を、一時的又は非一時的に格納する。変換情報記憶部６２は、画像処理で算出又は用いられる射影変換行列Ｍ_Ｇ、Ｍ_Ｗ、Ｈ等を、一時的又は非一時的に格納する。

【0053】

上述のような構成の第１実施形態に係る表示制御システム１００の動作の一例は、図９のフローチャートを参照しながら、以下のように説明される。図９は、表示制御装置３０の動作の一例を示しているが、表示制御装置３０の動作は、この図９の動作に限定されない。

【0054】

まず、ステップＳ１で、画像取得部５１は、撮像装置１０から入力画像７０を取得し、画像処理部５３に出力する。また、ステップＳ２で、視点位置取得部５２は、乗員監視部２０から乗員１の目の位置情報を取得し、画像処理部５３に出力する。

【0055】

次のステップＳ３で、画像処理部５３は、入力画像７０に対してレンズの歪みを補正する歪補正処理を実行する。このステップＳ３を行わずに、ステップＳ９において上記式（４）に基づく歪み補正処理を含む変換を行って、入力画像７０を出力画像４２に変換してもよい。次のステップＳ４で、画像処理部５３は、目の位置Ｔの三次元座標と、表示領域４１の四隅の頂点ｄ１～ｄ４の三次元座標に基づき、水平基準面７１との交点ｂ５～ｂ８を検出し、水平基準面７１上に水平投影領域７４を設定する。また、画像処理部５３は、交点ｂ５～ｂ８の座標を前述の式（１）の右辺に代入して、歪補正後の入力画像７０の画像座標系の座標に変換し、入力画像７０内に水平表示領域ＧＡを設定する。

【0056】

次のステップＳ５で、画像処理部５３は、目の位置Ｔの三次元座標と、表示領域４１の四隅の頂点ｄ１～ｄ４の三次元座標に基づき、垂直基準面８１との交点ｃ５～ｃ８を検出し、垂直基準面８１上に垂直投影領域８４を設定する。また、画像処理部５３は、交点ｃ５～ｃ８の座標を前述の式（２）の右辺に代入して、歪補正後の入力画像７０の画像座標系の座標に変換し、入力画像７０内に垂直表示領域ＷＡを設定する。

【0057】

次のステップＳ６で、画像処理部５３は、水平面ＨＰと垂直面ＶＰとの交差線Ｌ上に設定した任意の点Ｑ１、Ｑ２と、目の位置Ｔを各々結んだ２本の線と、表示部４０の表示領域４１との交点ｑ１、ｑ２の座標を計算する。画像処理部５３は、交点ｑ１、ｑ２どうしを結んで算出した交差線ｌに基づき、地面投影範囲適用率αを算出し、表示領域４１上の地面投影範囲４１ｇと壁面投影範囲４１ｗとの面積比をα：１－αとして算出する。

【0058】

次のステップＳ７で、画像処理部５３は、歪補正後の入力画像７０上の水平表示領域ＧＡ及び垂直表示領域ＷＡを構成する４つの点ｇ（ｇ１～ｇ４）、ｗ(ｗ１～ｗ４)に対し、α：（１－α）の比で表される内分点ｐ（ｐ１～ｐ４）の４つの座標を算出する。次のステップＳ８で、画像処理部５３は、算出した４つの内分点ｐ１～ｐ４で囲まれた領域を、統合表示領域ＰＡとして設定する。

【0059】

次のステップＳ９で、画像処理部５３は、出力画像４２の四隅の頂点ｅ１～ｅ４の表示座標系の座標を、ステップＳ７で算出した統合表示領域ＰＡの各点ｐ１～ｐ４の各座標への変換する射影変換行列Ｈを算出し、変換情報記憶部６２に記憶する。次のステップＳ１０で、画像処理部５３は、ステップＳ９で算出した射影変換行列Ｈと上記式（４）を使用して、出力画像４２の全画素の座標を、対応する入力画像７０上の画素の座標に変換することで、出力画像４２の画像データを生成し、表示処理部５４に出力する。

【0060】

次のステップＳ１１で、表示処理部５４は、ステップＳ１０で画像処理部５３から入力される画像データに対応する出力画像４２を表示部４０の表示領域４１に表示させる。以上により、表示領域４１は、乗員１が地面を見る度合いに対応して、水平表示領域ＧＡ由来の画像と垂直表示領域ＷＡ由来の画像とが統合された出力画像４２が表示される。

【0061】

（第２実施形態）
この開示の第２実施形態に係る表示制御装置３０及び表示制御システム１００は、画像処理部５３の機能の一部が異なること以外は、図１に示される第１実施形態に係る表示制御装置３０及び表示制御システム１００と同じ基本構成及び機能を備えている。このため、第２実施形態において、第１実施形態と同じ構成及び機能の詳細な説明は省略される。

【0062】

第２実施形態の表示制御装置３０では、第１実施形態と同様に、画像取得部５１は撮像装置１０から入力画像７０を取得し、画像処理部５３に出力し、視点位置取得部５２は、乗員監視部２０から目の位置情報を取得し、画像処理部５３に出力する。

【0063】

ここで、第１実施形態の画像処理部５３は、歪補正処理部、水平表示領域設定処理部、垂直表示領域設定部、地面投影範囲適用率算出部、内分点算出部、統合表示領域設定部及び座標変換部として機能する。画像処理部５３は、射影変換行列Ｍ_Ｇ及びＭ_Ｗを予め算出し、これらを用いた上記式（１）、（２）と地面適用率αを用いて、歪補正後の入力画像７０内に水平表示領域ＧＡの座標と垂直表示領域ＷＡの座標を含む統合表示領域ＰＡを設定する。次いで画像処理部５３は、射影変換行列Ｈを算出し、出力画像４２の座標を入力画像７０における統合表示領域ＰＡ内の座標に座標変換している。

【0064】

これに対して、第２実施形態の画像処理部５３は、歪補正処理部、水平表示領域設定処理部、垂直表示領域設定部、地面投影範囲適用率算出部、内分点算出部及び座標変換部として機能するとともに、統合表示領域設定部に代えて、行列算出処理を実行する行列算出部として機能する。画像処理部５３は、行列算出部として、出力画像４２上の表示座標系上の点から、歪補正後の入力画像７０上の画像座標系上の点へ変換する射影変換行列Ｈを、それぞれ水平基準面７１に及び垂直基準面８１に対して計算する。水平基準面７１及び垂直基準面８１に対する射影変換行列は、それぞれ水平変換行列Ｇ及び垂直変換行列Ｗと称されて説明される。

【0065】

水平変換行列Ｇ及び垂直変換行列Ｗは、以下のような手順で算出される。まず、第１実施形態と同様の手順で、実測により特定された、車両座標系に設定した水平基準面７１上の４つの点ｂ１、ｂ２、ｂ３、ｂ４の座標と、歪補正後の入力画像７０の画像座標系における点ａｇ１、ａｇ２、ａｇ３、ａｇ４の座標（以上、図３参照）の対応関係に基づき、車両座標系の水平基準面７１上の座標から画像座標系の歪補正後の入力画像７０上の座標へ変換する射影変換行列Ｍ_Ｇが算出される。

【0066】

次に、画像処理部５３は、第１実施形態と同様の手順で、目の位置Ｔの三次元座標と、表示領域４１の四隅の頂点ｄ１～ｄ４の三次元座標に基づき、水平基準面７１との交点ｂ５～ｂ８を検出する。

【0067】

次に、表示座標系の出力画像４２上の座標から車両座標系の水平基準面７１上の座標へ変換する射影変換行列Ｎ_Ｇが算出されるが、その算出手順は、図１０、図４を参照して以下のように説明される。画像処理部５３は、図１０の紙面上図に示される出力画像４２上の四隅の頂点ｅ１、ｅ２、ｅ３、ｅ４の座標と、表示部４０への表示対象となる水平投影領域７４を構成する車両座標系上の点ｂ５、ｂ６、ｂ７、ｂ８の座標との対応関係から、射影変換行列Ｎ_Ｇを、公知の算出手順により算出する。このとき、点ｂ５～ｂ８のｙ座標は常に０となるため、画像処理部５３は、この次元を無視する。

【0068】

また、第１実施形態と同様の手順で、画像処理部５３は、実測により特定された、車両座標系に設定した垂直基準面８１上の４つの点ｃ１、ｃ２、ｃ３、ｃ４の座標と、歪補正後の入力画像７０の画像座標系における点ａｗ１、ａｗ２、ａｗ３、ａｗ４の座標（以上、図３参照）の対応関係に基づき、車両座標系の垂直基準面８１上の座標から歪補正後の入力画像７０上の座標へ変換する射影変換行列Ｍ_Ｗを算出する。

【0069】

次に、画像処理部５３は、第１実施形態と同様の手順で、目の位置Ｔの三次元座標と、表示領域４１の四隅の頂点ｄ１～ｄ４の三次元座標に基づき、垂直基準面８１との交点ｃ５～ｃ８を検出する。

【0070】

次に、画像処理部５３は、図１０紙面下図に示される出力画像４２上の四隅の頂点ｅ１、ｅ２、ｅ３、ｅ４の座標と、表示部４０への表示対象となる垂直投影領域８４を構成する車両座標系上の点ｃ５、ｃ６、ｃ７、ｃ８の座標との対応関係から、出力画像４２上の座標から車両座標系の垂直基準面８１上の座標へ変換する射影変換行列Ｎ_Ｗを、公知の算出手順により算出する。このとき、垂直基準面８１がＸｃＹｃ平面に平行であれば、点ｃ５～ｃ８のｚ座標は常に一定となるため、画像処理部５３は、この次元を無視する。一方、垂直基準面８１がＸｃＹｃ平面に平行でない場合、画像処理部５３は、垂直基準面８１がＸｃＹｃ平面に平行となるように車両座標系を回転させた上で射影変換行列Ｎ_Ｗを算出する。

【0071】

画像処理部５３は、算出した射影変換行列Ｍ_Ｇ、Ｎ_Ｇに基づき、水平変換行列Ｇ（Ｇ＝Ｍ_ＧＮ_Ｇ）を算出し、変換情報記憶部６２に記憶する。画像処理部５３は、算出した射影変換行列Ｍ_Ｗ、Ｎ_Ｗに基づき、垂直変換行列Ｗ（Ｗ＝Ｍ_ＷＮ_Ｗ）を算出し、変換情報記憶部６２に記憶する。図１１の紙面上図は、第２実施形態での画像処理の理解を容易とするため、出力画像４２の表示座標系上の領域と、入力画像７０の画像座標系における水平表示領域ＧＡ及び垂直表示領域ＷＡとの関係を、図で表したものである。

【0072】

次に、画像処理部５３は、第１実施形態と同様の手順で、目の位置Ｔ及び水平面ＨＰと垂直面ＶＰとの交差線Ｌに基づいて地面適用率αを算出する。画像処理部５３は、水平変換行列Ｇを適用して得られる水平表示領域ＧＡ内の画素の座標と垂直変換行列Ｗを適用して得られる垂直表示領域ＷＡ内の画素の座標の内分座標を算出するための比であるα：１－αを算出する。次に、画像処理部５３は、α、１－α、水平変換行列Ｇ及び垂直変換行列Ｗを用いて、表示領域４１に表示される出力画像４２の全画素の座標を横に並べた行列をＤとしたとき、この行列Ｄから、出力画像４２の各画素に対応する入力画像７０上の画素の座標を横に並べた行列Ｄ’への変換を、下記式（５）を用いて算出する。下記式（５）中、ｆは歪補正後の入力画像７０上の画素の座標から、歪補正前の入力画像７０上の画素の座標へ変換する公知の関数である。

【0073】

Ｄ’ ＝ ｆ（αＧＤ ＋ （１－α）ＷＤ） （５）

【0074】

図１１の紙面下図は、出力画像４２の行列Ｄにおける画素を、上記式（５）を用いて歪補正後の入力画像７０上の画素に変換する手順を、理解を容易とするため図に表したものである。画像処理部５３は、表示領域４１に表示される出力画像４２上の全画素に対応する、入力画像７０上の画素を、上記式（５）に代入して座標変換し、出力画像４２の画像データを生成する。画像処理部５３は、生成した画像データを表示処理部５４に出力する。表示処理部５４は、画像処理部５３から入力される画像データに対応する出力画像４２を表示部４０の表示領域４１に表示させる。

【0075】

以上説明したように、上記各実施形態の表示制御装置３０は、乗員１の目の位置Ｔに基づき、乗員１が地面を見る度合いに応じて、入力画像７０と出力画像４２とを対応付けて変換し、表示部４０に表示する出力画像４２に変換する。したがって、表示制御装置３０は、乗員１が表示部４０に表示された出力画像４２を視認する際に乗員１の違和感を抑制できる。また、乗員１が目の位置Ｔを移動させて、表示部４０を通して地面を見る度合いを変更したときも、この度合いに応じて両画像が統合された出力画像４２が表示部４０に表示される。この結果、表示制御装置３０は、歪が適切に軽減され、乗員１に違和感を与えることなく自然に変化する出力画像４２を表示し続けることができる。また、このような出力画像４２は、αが０又は１のときには図２に示すように、フロントウィンドウ２を通して見える風景とのつながりも適切となり、乗員１の違和感がより適切に低減される。

【0076】

また、第１実施形態の表示制御装置３０は、地面投影範囲適用率αに基づいて、入力画像７０内に水平表示領域ＧＡの座標と垂直表示領域ＷＡの座標を含む統合表示領域ＰＡを設定する統合表示領域設定部（画像処理部５３）とを備える。表示処理部５４は、入力画像７０における統合表示領域ＰＡの座標を出力画像４２に座標変換して表示部４０に表示する。

【0077】

また、第１実施形態の表示制御装置３０は、入力画像７０上における水平表示領域ＧＡを構成する４つの点ｇ１～ｇ４と、水平表示領域ＧＡ上の４つの点ｇ１～ｇ４に対応し入力画像７０上における垂直表示領域ＷＡを構成する４つの点ｗ１～ｗ４をそれぞれ結んだ線分を内分する内分点ｐ１～ｐ４を、地面投影範囲適用率αに基づいて算出する内分点算出部（画像処理部５３）を備える。統合表示領域設定部（画像処理部５３）は、入力画像７０上における内分点ｐ１～ｐ４で囲まれた領域を統合表示領域ＰＡに設定する。以上の構成を備えることで、処理部５０における演算速度が速くなり、第１実施形態の表示制御装置３０は、画像変換をより高速かつより効率的に行える。

【0078】

また、第２実施形態の表示制御装置３０は、入力画像７０内の水平表示領域ＧＡの座標と出力画像４２の座標を対応付ける水平変換行列Ｇと、入力画像７０内の垂直表示領域ＷＡの座標と出力画像４２の座標を対応付ける垂直変換行列Ｗを求める行列算出部（画像処理部５３）を備える。そして、表示処理部５４は、水平変換行列Ｇと垂直変換行列Ｗと地面投影範囲適用率αに基づいて、入力画像７０の座標と出力画像４２の座標を対応付けて、表示部４０に表示するよう制御する。

【0079】

このとき、表示処理部５４は、水平変換行列Ｇと垂直変換行列Ｗに基づいて、出力画像４２の座標に対応する入力画像７０の水平表示領域ＧＡ内の座標と垂直表示領域ＷＡ内の座標をそれぞれ算出し、入力画像７０における水平表示領域ＧＡ内の座標と垂直表示領域ＷＡ内の座標を地面投影範囲適用率αに基づいて内分した内分座標を出力画像４２の座標に対応付ける。

【0080】

以上の構成を備えることで、第２実施形態の表示制御装置３０は、長方形の表示部４０に限らず、台形、ひし形、不等片辺四角形、三角形、五角形以上の多角形等、長方形以外の表示部４０であっても、入力画像７０上の画素の座標を、出力画像４２の画素の座標に高精度に変換できる。このため、表示制御装置３０は、何れの形状の表示部４０でも、乗員１の違和感をより低減可能な出力画像４２を表示できる。

【0081】

以上、図面を参照して、本開示の実施形態を詳述してきたが、具体的な構成は、上記各実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。

【0082】

例えば、上記各実施形態の画像処理部５３は、射影変換行列Ｍ_Ｗを算出する際に、交点ａｗ１、ａｗ２、ａｗ３、ａｗ４の座標を実測により特定しているが、この手順に限定されない。例えば、図１２に示されるように、画像処理部５３は、撮像装置１０による撮像画像の位置情報（例えば、前方カメラの光学中心の三次元座標）を投影中心Ｆとし、垂直基準面８１の点ｃ１、ｃ２、ｃ３、ｃ４を水平基準面７１に投影した際の座標に、射影変換行列Ｍ_Ｇを適用して特定することもできる。

【0083】

より具体的には、図１２に示されるように、画像処理部５３は、投影中心Ｆと車両座標系における垂直基準面８１上の点ｃ１、ｃ４とをそれぞれ結んだ線を水平基準面７１に接するまで延長し、延長したこれらの線と水平基準面７１とが交差した点ｃ１’、ｃ４’を検出し、これらの座標を算出する。同様に、画像処理部５３は、点ｃ２、ｃ３に対応する水平基準面７１上の点ｃ２’、ｃ３’の座標を算出するが、点ｃ２、ｃ３は水平基準面７１に接する点であるため、点ｃ２’、ｃ３’の座標は、点ｃ２、ｃ３の座標をそのまま使用できる。以上のようにして算出した点ｃ１’～ｃ４’の座標に対して、射影変換行列Ｍ_Ｇを用いた前述の式（１）を適用することで、ｃ１’～ｃ４’は、垂直基準面８１のｃ１～ｃ４に対応する歪補正後の入力画像７０上の座標に変換される。もちろん、垂直基準面８１上の点ｃ２、ｃ３は地面に接していなくてもよく、その場合はｃ１，ｃ４と同様にしてｃ２’、ｃ３’が計算される。

【0084】

また、上記各実施形態の表示制御装置３０は、撮像装置１０の前方カメラが撮影した入力画像７０を、乗員１の地面を見る度合いに応じて画像変換して表示部４０に表示させているが、この構成に限定されない。例えば、この構成に代えて、又はこの構成に加えて、表示制御装置３０は、後方カメラが撮影した入力画像を、乗員１の地面を見る度合いに応じて画像変換して表示部４０に表示させる構成とすることもできる。さらに表示制御装置３０は、側方カメラで撮影した入力画像を、自車両Ｖの斜め前方の路面の角度や障害物の角度に対応させて出力画像４２に変換して、いわゆるＡピラー等に設けた表示部に表示させる構成とすることもできる。このＡピラー等に設けた表示部は、長方形ではない場合が多いため、特に第２実施形態の表示制御装置３０は、好適に用いられる。したがって、表示制御装置３０は、後方を撮影した入力画像や、側方を撮影した入力画像を、乗員１の地面を見る度合いに応じて表示部４０に表示させることができ、乗員１は、出力画像４２を視認することで、後方や側方の路面や障害物を、違和感なく、より適切に把握できる。

【符号の説明】

【0085】

１ ：乗員 ３０ ：表示制御装置
４０ ：表示部 ４１ ：表示領域
４２ ：出力画像 ５１ ：画像取得部
５２ ：視点位置取得部 ５３ ：画像処理部
５４ ：表示処理部 ７０ ：入力画像
７１ ：水平基準面 ８１ ：垂直基準面
Ｇ ：水平変換行列 ＧＡ ：水平表示領域
ＰＡ ：統合表示領域 Ｖ ：自車両
Ｗ ：垂直変換行列 ＷＡ ：垂直表示領域
ｐ ：内分点 α ：地面投影範囲適用率

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】