特開 2024-90467 表示制御装置及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090467

(43)【公開日】2024-07-04

(54)【発明の名称】表示制御装置及び表示制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240627BHJP

   B60R 1/24 20220101ALI20240627BHJP

   B60R 1/20 20220101ALI20240627BHJP

   G06T 1/00 20060101ALI20240627BHJP

【ＦＩ】

H04N7/18 J

B60R1/24

B60R1/20 100

G06T1/00 330A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022206406

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】坂田 直人

(72)【発明者】

【氏名】村上 哲郎

(72)【発明者】

【氏名】古賀 昌史

【テーマコード（参考）】

5B057

5C054

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057DA16

5B057DB02

5B057DB09

5B057DC08

5C054FC12

5C054FD03

5C054FE01

5C054FE21

5C054HA30

(57)【要約】

【課題】表示部に表示させる画像の歪みを低減させることが可能な表示制御装置を提供する。
【解決手段】表示制御装置４０は、車両の傾きに対する画像に撮影された路面の角度に関する傾斜情報を取得する傾斜情報取得部４１と、自車両の周辺を撮影した撮像画像を取得する画像取得部４２１と、乗員の目の位置に関する情報を取得する視点検知部４２２と、傾斜情報に基づく路面の角度に基づいて、乗員の目の位置から車両の周辺を見た画像が表示されるように撮像画像を変換する基準となる基準面の角度を設定する基準面設定部４２３と、乗員の目の位置と基準面に基づいて、撮像画像を乗員の目の位置から車両の周辺を見た表示画像に変換する画像処理を実行する画像処理部４２４と、表示画像を表示部５０に表示するよう制御する表示処理部４２５とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の周辺を撮影した画像を取得する画像取得部と、
前記車両の傾きに対する前記画像に撮影された路面の角度に関する情報を取得する傾斜情報取得部と、
乗員の目の位置に関する情報を取得する視点検知部と、
前記路面の角度に基づいて、前記乗員の目の位置から前記車両の周辺を見た画像が表示されるように前記車両の周辺を撮影した画像を変換する基準となる基準面の角度を設定する基準面設定部と、
前記乗員の目の位置と前記基準面に基づいて、前記車両の周辺を撮影した画像を前記乗員の目の位置から前記車両の周辺を見た画像に変換する画像処理を実行する画像処理部と、
前記画像処理を実行した画像を表示部に表示するよう制御する表示処理部と、
を備える表示制御装置。

【請求項2】

前記基準面設定部は、前記路面の角度が所定の値以上のとき、前記車両に対する路面の角度で前記基準面の角度を設定する
請求項１に記載の表示制御装置。

【請求項3】

障害物の位置を取得する障害物情報取得部と、前記路面の角度が所定の値以上であり、かつ前記路面に障害物があるとき、前記障害物の距離に応じて前記基準面の角度を、前記路面の角度に合わせるか、前記障害物の角度に合わせるかを決定する対象選択部と、を備える
請求項１に記載の表示制御装置。

【請求項4】

車両に搭載された表示制御装置の制御部によって実行される表示制御方法であって、
前記車両の周辺を撮影した画像を取得する画像取得工程と、
前記車両の傾きに対する前記画像に撮影された路面の角度に関する情報を取得する傾斜情報取得工程と、
乗員の目の位置に関する情報を取得する視点検知工程と、
前記路面の角度に基づいて、前記乗員の目の位置から前記車両の周辺を見た画像が表示されるように前記車両の周辺を撮影した画像を変換する基準となる基準面の角度を設定する基準面設定工程と、
前記乗員の目の位置と前記基準面に基づいて、前記車両の周辺を撮影した画像を前記乗員の目の位置から前記車両の周辺を見た画像に変換する画像処理を実行する画像処理工程と、
前記画像処理を実行した画像を表示部に表示するよう制御する表示処理工程と、
を含む表示制御方法。

【請求項5】

前記基準面設定工程は、前記路面の角度が所定の値以上のとき、前記車両に対する路面の角度で前記基準面の角度を設定する
請求項４に記載の表示制御方法。

【請求項6】

障害物の位置を取得する障害物情報取得工程と、前記路面の角度が所定の値以上であり、かつ前記路面に障害物があるとき、前記障害物の距離に応じて前記基準面の角度を、前記路面の角度に合わせるか、前記障害物の角度に合わせるかを決定する対象選択工程と、を有する
請求項４に記載の表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置及び表示制御方法に関するものである。

【背景技術】

【0002】

車両に搭載されたディスプレイ等の表示部に、あたかも表示部を透過して車外が見えるかのように、映像表示を行う装置が開示されている（例えば特許文献１参照。）。特許文献１に記載の装置は、地面に水平な基準面と、センサが検出した障害物の位置に対して地面に垂直な基準面を設定し、乗員の視点位置から地面に水平な基準面と垂直な基準面に車外を撮影した画像を投影する座標変換を行っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２００７／００７０１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、車両の前方の地面に傾斜がある場合、地面に水平な基準面と垂直な基準面に画像を投影すると、画像が歪んで変換される可能性があった。このように変換された画像は乗員に違和感を与えていた。

【0005】

そこで、本開示は、表示部に表示させる画像の歪みを低減させることが可能な表示制御装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本開示の表示制御装置は、車両の周辺を撮影した画像を取得する画像取得部と、前記車両の傾きに対する前記画像に撮影された路面の角度に関する情報を取得する傾斜情報取得部と、乗員の目の位置に関する情報を取得する視点検知部と、前記路面の角度に基づいて、前記乗員の目の位置から前記車両の周辺を見た画像が表示されるように前記車両の周辺を撮影した画像を変換する基準となる基準面の角度を設定する基準面設定部と、前記乗員の目の位置と前記基準面に基づいて、前記車両の周辺を撮影した画像を前記乗員の目の位置から前記車両の周辺を見た画像に変換する画像処理を実行する画像処理部と、前記画像処理を実行した画像を表示部に表示するよう制御する表示処理部と、を備える。

【発明の効果】

【0007】

このように構成された本開示の表示制御装置は、車両の周囲を撮影した画像中の路面の角度に応じて、基準面の角度を設定し、乗員の目の位置と基準面に基づいて、車両の周囲を撮影した画像を表示部に表示させる画像に変換している。このことにより、表示部に表示させる画像の歪みを低減させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る表示制御装置を備える表示制御システムの概略構成を示す機能ブロック図である。

【図2】従来技術により表示部に表示される表示画像と第１実施形態に係る表示制御システムにより表示部に表示される画像とを示す図である。

【図3】傾斜情報取得部で取得される傾斜情報を説明するための図である。

【図4】画像処理部で実行される第１の変換処理を説明するための図である。

【図5】画像処理部で実行される第２の変換処理を説明するための図である。

【図6】画像処理部で実行される第１の変換処理と、第２の変換処理を説明するための図である。

【図7】第１実施形態に係る表示制御装置の動作の一例を説明するためのフローチャートである。

【図8】第２実施形態に係る表示制御装置で実行される処理を説明するための図である。

【図9】第３実施形態に係る表示制御装置で実行される処理を説明するための図である。

【発明を実施するための形態】

【0009】

（第１実施形態）
この開示の第１実施形態に係る表示制御装置は、図面に基づいて以下のように説明される。図１は、第１実施形態に係る表示制御装置４０を備える表示制御システム１００の概略構成を示す機能ブロック図である。この図１に示す表示制御装置４０は、本開示に係る表示制御装置の一実施形態であり、本開示は本実施形態に限定されない。表示制御装置４０は、自動車等の移動体に搭載されている。以下、本実施形態の表示制御装置４０が搭載される移動体は、自車両と称されて説明される。

【0010】

表示制御システム１００は、三次元距離センサ１０と、撮像装置２０と、乗員監視部３０と、表示制御装置４０と、表示部５０と、投影モデルデータベース６０（以下、「投影モデルＤＢ６０」という。）を備える。表示制御システム１００は、乗員１（図２参照）であるドライバ等が表示部５０を視認したときに、撮像装置２０が撮影した自車両の周囲の撮像画像７０（図４等参照）を、表示部５０が透過したように見える表示画像５２に変換し、表示部５０に表示するシステムである。

【0011】

図２の紙面左図は、自車両の前方の路面が傾いているときに、従来技術により表示部５０の表示領域５１に表示される表示画像５２である。紙面右図は、自車両の前方の路面が傾いているときに、本実施形態の表示制御システム１００により表示される表示画像５２を示す。従来技術は、撮像画像を地面に水平な基準面と地面に垂直な基準面に投影するように変換している。このため、自車両の前方に傾斜があったときに、表示画像５２は歪んで変換されることがあり、これを視認する乗員１は違和感を覚えることがあった。これに対して、本実施形態の表示制御システム１００は、車両の前方の傾斜に対応させて設定した基準面に撮像画像を投影するように変換することで、表示画像５２の歪みを低減できる。

【0012】

三次元距離センサ１０は、自車両の外部に設置され、自車両の周囲の物体の三次元情報（傾斜情報）を取得し、表示制御装置４０に出力する。この三次元情報は、表示制御装置４０により路面の角度に関する情報を算出するために用いられる。傾斜情報は、撮像装置２０が撮影する画像に映る路面の角度を取得するための情報である。言い換えれば、傾斜情報は自車両の傾き（つまり、自車両がいる地面）に対する路面の角度を取得するための情報である。三次元距離センサ１０は、例えば、三次元ライダー（ＬｉＤＡＲ）が好適に用いられるが、傾斜情報を取得できる機器であればよく、三次元ライダーに限定されない。

【0013】

本実施形態の三次元距離センサ１０は、図３に示すような自車両の周囲の路面等の三次元点群データ１１を取得し、傾斜情報として表示制御装置４０に出力する。図３に示される三次元点群データ１１は、路面の三次元点群データ１２と、路面に存在する物体（障害物）の三次元点群データ１３を示している。この路面の三次元点群データ１２から、自車両の前方の路面は上り坂になっていることが分かる。

【0014】

撮像装置２０は、自車両の外部に設置され、自車両の周囲を撮影する。撮像装置２０は、所定のプロトコルにしたがって、撮像画像７０を表示制御装置４０に出力する。撮像装置２０は、本実施形態では自車両の前方に設置された前方カメラを含んでいる。なお、撮像装置２０が前方カメラに限定されず、自車両の後方に設置された後方カメラ、自車両の左右前方、左右後方に設置された側方カメラ等を含むこともできる。

【0015】

乗員監視部３０は、自車両に搭載されている。乗員監視部３０は、車内カメラ３１で撮影した画像に基づき、乗員１であるドライバの状態を監視する。乗員監視部３０は、公知のものを用いることができる。車内カメラ３１は、ドライバを含む自車両の車内を撮影するカメラであり、例えば表示部５０の近傍に車内に向けて設けられる。また、乗員監視部３０は、車内カメラ３１で撮影した画像に基づき、公知の手法で乗員１の目の位置を検知し、取得した目の位置に関する情報（以下、「目の位置情報」という。）を、表示制御装置４０に出力する。目の位置情報は、例えば、左右の目の中点の三次元座標、乗員１の利き目の三次元座標等とすることができる。

【0016】

表示制御装置４０は、表示部５０に表示させる表示画像５２の作成及び表示に関する処理を実行する情報処理装置であり、図１に示すように、傾斜情報取得部４１と、処理部（制御部）４２と、記憶部４３と、を備える。表示制御装置４０は、例えば、ＣＰＵ、ＧＰＵ、ＲＡＭ及びＲＯＭ等の記憶装置を有するＥＣＵにより構成される。処理部４２は、ＥＣＵが有するＣＰＵ等により主に構成され、ＲＯＭに格納された所定のプログラムをＲＡＭに展開して実行することにより、表示制御装置４０の全体の動作を制御する。記憶部４３は、ＥＣＵが有する記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えることもできる。

【0017】

なお、表示制御装置４０は、一つのＥＣＵにより構成することもできるし、複数のＥＣＵにより構成し、後述の処理部４２の各機能を分散させたり、記憶するデータを分散させたりもできる。また、表示制御装置４０は、その機能の一部又は全部を、ＦＰＧＡ、ＡＳＩＣなどのハードウェアを用いて実現されることもできる。さらには、一つのＥＣＵが、表示制御装置４０の機能だけでなく、撮像装置２０を制御するカメラＥＣＵの機能、乗員監視部３０の機能を備える構成とすることもできる。

【0018】

傾斜情報取得部４１は、予め規定されたプロトコルにしたがって、三次元距離センサ１０と表示制御装置４０とを接続するためのハード環境を備える入力インターフェースである。傾斜情報取得部４１は、三次元距離センサ１０から自車両の前方の三次元点群データを取得し、傾斜情報として処理部４２の基準面設定部４２３に出力する。

【0019】

処理部４２は、表示制御装置４０の全体の制御を行うとともに、傾斜情報取得部４１から入力される三次元点群データ１１と、撮像装置２０から入力される撮像画像７０と、乗員監視部３０から入力される目の位置情報に基づき、表示画像５２を生成して表示部５０に表示させる。処理部４２は、図１に実線で示されるように、画像取得部４２１、視点検知部４２２、基準面設定部４２３、画像処理部４２４及び表示処理部４２５として機能するが、この構成に限定されない。

【0020】

画像取得部４２１は、撮像装置２０から自車両の周辺を撮影した撮像画像７０を取得し、必要に応じて所定の処理を実行して画像処理部４２４に出力する。視点検知部４２２は、乗員監視部３０から目の位置情報を取得し、必要に応じて所定の処理を実行して画像処理部４２４に出力する。

【0021】

本実施形態では、画像取得部４２１及び視点検知部４２２は、処理部４２に備えられ、表示制御装置４０が備える公知の入力インターフェースを通じて各情報を取得している。しかし、この構成に限定されず、画像取得部４２１及び視点検知部４２２は、入力インターフェースそのものであってもよく、撮像装置２０又は乗員監視部３０から取得した情報を単に基準面設定部４２３、画像処理部４２４に出力し、基準面設定部４２３、画像処理部４２４によって各情報に必要な処理が実行されるものでもよい。

【0022】

基準面設定部４２３は、傾斜情報取得部４１から入力される三次元点群データ１１に基づいて、公知の手法を用いて路面の角度を算出する。つまり、基準面設定部４２３は、自車両の傾きに対する、撮像画像７０に撮影された路面の角度を取得する傾斜情報取得部としての機能をも備える。基準面設定部４２３は、基準面設定処理として、この路面の角度が、所定の値（例えば、１°、５°等）以上のとき、この角度を基準面の角度に設定する。次いで基準面設定部４２３は、この角度をキーとして投影モデルＤＢ６０にアクセスし、当該角度に対応する投影モデル（角度が同じか同等の角度を有する投影モデル）を取得する。

【0023】

一方、基準面設定部４２３は、路面の角度が所定の値未満であるとき、同じ角度（水平）とみなしうるので基準面設定処理を行わなくてもよい。この場合、前方の路面は自車両のいる路面と略同じ角度（水平）であるので、撮像画像７０は、通常通り自車両に対して水平な水平モデル（地面モデル）を用いて変換される。また、路面が下り坂（角度がマイナス）である場合も考慮して、基準面設定部４２３は、路面の角度の絶対値が所定の値以上のとき、基準面設定処理を実行する構成とすることもできる。

【0024】

基準面設定部４２３は、取得した投影モデルを、基準面モデル７１（図４等参照）に設定し、この基準面モデル７１の情報を画像処理部４２４に出力する。基準面モデル７１は、乗員１の目の位置から車両の周辺を見た画像が表示されるように、自車両の周辺を撮影した撮像画像７０を変換する基準となる面である。

【0025】

この基準面モデル７１は、路面の様々な複数の角度に対応して予め設定されて投影モデルＤＢ６０に記憶された複数の投影モデルから、路面の角度に応じて選択される。投影モデルは、自車両に対して水平な水平モデルと、自車両に対して垂直な垂直モデルとの間であって、所定の角度ごとに設けられた複数の投影モデルからなる。各投影モデルは、角度に応じた座標系と、その座標系で定義される基準面に基づいて撮像画像７０を変換するために必要な情報を有する。

【0026】

画像処理部４２４は、視点検知部４２２から取得した乗員１の目の位置情報と基準面設定部４２３からの基準面モデル７１に基づいて、撮像画像７０を、乗員１の目の位置から自車両の周辺を見た画像（表示画像５２）に変換する画像処理を実行する。より具体的には、画像処理部４２４は、撮像画像７０の座標を、この撮像画像７０の画像座標系から、基準面モデル７１の座標系（以下、「基準面座標系」という。）に変換する第１の変換処理と、この基準面座標系の座標を、表示部５０の座標系である表示座標系に変換する第２の変換処理を実行する。画像処理部４２４は、さらに、補正処理及び射影変換行列Ｍの算出処理、投影領域設定処理、射影変換行列Ｎの算出処理を実行する。

【0027】

画像処理部４２４は、補正処理として、画像取得部４２１から入力される撮像画像７０に対して公知の手法を用いて撮像装置２０が有するレンズの歪み（例えば、レンズの歪曲収差、色収差等）を補正する。なお、補正処理は、画像取得部４２１が実行し、補正処理後の撮像画像７０を画像処理部４２４に出力する構成とすることもできる。

【0028】

画像処理部４２４は、第１の変換処理として、補正処理後の撮像画像７０を、基準面座標系に設定された基準面に投影するように、画像座標系を基準面座標系に変換する。この第１の変換処理は、画像処理部４２４が予め算出し、記憶部４３の変換情報記憶部４３２に記憶された射影変換行列Ｍを用いて行われる。射影変換行列Ｍは、投影モデルＤＢ６０に存在するすべての投影モデルに対して予め算出される。

【0029】

第１の変換処理は、図４、図５を参照して以下のように説明される。図４の紙面上図は、補正処理後の撮像画像７０を基準とする画像座標系であり、図４の紙面下図は基準面座標系である。画像座標系は、補正処理後の撮像画像７０の左上隅を原点Ｏ（０，０）とする二次元の座標系である。Ｘａ及びＹａは互いに直交する軸であり、各軸の単位はピクセル（ｐｘ）である。基準面座標系は、自車両の所定の位置を原点Ｏ（０，０，０）とする三次元の座標系であり、Ｘｂは車幅方向（水平方向）に延びる軸、ＹｂはＸｂと直交し基準面に対して垂直方向に延びる軸、ＺｂはＸｂ及びＹｂと直交し車両の前方向に延びる軸であって基準面に沿って延びる軸である。Ｘｂ、Ｙｂ、Ｚｂの各軸の単位はｍｍである。

【0030】

基準面座標系に設定される面は、基準面設定部４２３から入力される基準面モデル７１が設定される。また、図５中に符号７２で示される領域は、撮像画像７０が、第１の変換処理によって基準面モデル７１上にマッピングされた画像（以下「マッピング画像７２」という。）を示す。また、図５中に符号７３で示される領域は、撮像画像７０がマッピングされない領域、つまり撮像装置２０で撮影されない領域（以下、「非マッピング領域７３」という。）である。なお、図５に仮想線で示す７２は、自車両の傾きに対して角度が０°の路面、つまり自車両がいる路面に対応する地面モデル上にマッピングされるマッピング画像であり、角度を有する基準面モデル７１のマッピング画像７２との対比のため図示したものである。

【0031】

画像処理部４２４は、補正処理後の撮像画像７０の各ピクセルの座標を、下記式（１）に代入して、基準面モデル７１の座標に変換する。下記式（１）中、ｘ_ａ及びｙ_ａは画像座標系のｘ座標及びｙ座標であり、ｘ_ｂ及びｚ_ｂは基準面座標系のｘ座標及びｚ座標である。ここで、画像座標系の座標（ｘ_ａ，ｙ_ａ）を表す同次座標はａとされ、基準面座標系の座標（ｘ_ｂ、ｚ_ｂ）を表す同次座標はｂとされる。同次座標ａとｂとの関係は、下記式（１）で表される。なお、値λ_ｂは、同次座標ｂにおける倍率を示す。この値λ_ｂがいずれの値をとっても（ただし値０を除く）、同次座標ｂは基準面座標系上で同一の座標を表す。

【0032】

【数1】

【0033】

画像処理部４２４は、この射影変換行列Ｍの算出処理を予め実行する。この算出手順は、図６の紙面左図及び中央図を参照して、以下のようにして算出することができる。図６に示されるａ１、ａ２、ａ３、ａ４は、画像座標系における撮像画像７０中で参照する参照点である。また、図６に示されるｂ１、ｂ２、ｂ３、ｂ４は、基準面座標系における基準面モデル７１において、上記画像座標系における参照点ａ１、ａ２、ａ３、ａ４に対応する参照点である、画像座標系の座標（ｘ_ａ，ｙ_ａ）を表す同次座標ａと、基準面座標系の座標（ｘ_ｂ、ｚ_ｂ）を表す同次座標ｂとの関係は、上記式（１）で表すことができる。

【0034】

画像処理部４２４は、補正処理後の撮像画像７０上で捉えられる点であって、基準面座標系における４つの参照点ｂ１、ｂ２、ｂ３、ｂ４を設定する。また、各参照点ｂ１、ｂ２、ｂ３、ｂ４の座標は、実測により特定されて画像処理部４２４に入力される。次に、画像処理部４２４は、補正処理後の撮像画像７０の画像座標系における４つの参照点ａ１、ａ２、ａ３、ａ４の座標を特定する。

【0035】

画像処理部４２４は、以上のようにして特定した各参照点の座標を、上記式（１）に代入し、射影変換行列Ｍの各要素を含む連立方程式を解くことによって、射影変換行列Ｍを算出する。画像処理部４２４は、算出した射影変換行列Ｍを記憶部４３の変換情報記憶部４３２に記憶する。

【0036】

投影領域設定処理は、図５を参照して、以下のように説明される。画像処理部４２４は、視点検知部４２２から入力される目の位置情報に基づく目の位置Ｔを基準として、投影面を表示部５０としたときに、この表示部５０の表示領域５１に投影される基準面モデル７１上の領域（投影領域７４）を算出する。図５に示される参照点ｃ１、ｃ２、ｃ３、ｃ４で囲まれた領域が、表示部５０の表示領域５１である。この参照点ｃ１～ｃ４の位置情報、つまり座標は、予め記憶部４３の位置情報記憶部４３１に記憶されている。基準面モデル７１上の参照点ｂ５，ｂ６，ｂ７，ｂ８で囲まれた領域が、表示領域５１に投影される投影領域７４である。画像処理部４２４は、目の位置Ｔの座標、及び位置情報記憶部４３１から取得した点ｃ１～ｃ４の座標に基づいて、点ｂ５～ｂ８の座標を算出する。

【0037】

より具体的には、画像処理部４２４は、目の位置Ｔの座標Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）と、表示領域５１の四隅の参照点ｃ１～ｃ４の座標を用いて、目の位置Ｔと、参照点ｃ１～ｃ４とを各々結ぶ直線（図５の仮想線参照）を設定する。次いで、画像処理部４２４は、これらの直線と、基準面モデル７１との交点（参照点）ｂ５～ｂ８を検出し、この交点ｂ５～ｂ８で囲まれる領域を、表示領域５１に対応する投影領域７４と認定し、各交点ｂ５～ｂ８の座標を算出する。

【0038】

射影変換行列Ｎの算出処理は、図６の紙面中央図と右図を参照して、以下のように説明される。図６の紙面右図は、表示部５０の表示領域５１を基準とする表示座標系である。表示座標系は、表示領域５１の左上隅を原点Ｏ（０，０）とする二次元の座標系である。Ｘｃ及びＹｃは互いに直交する軸であり、各軸の単位はピクセル（ｐｘ）である。

【0039】

基準面座標系における基準面モデル７１上において、参照点ｂ５、ｂ６、ｂ７、ｂ８で囲まれる領域は、投影領域７４とされ、基準面座標系の座標（ｘ_ｂ，ｚ_ｂ）を表す同次座標はｂとされる。表示部５０の表示座標系において、基準面座標系の各参照点ｂ５、ｂ６、ｂ７、ｂ８に対応する参照点は、ｃ１、ｃ２、ｃ３、ｃ４とされ、表示座標系の座標（ｘ_ｃ，ｙ_ｃ）を表す同次座標はｃとされる。同次座標ｂ、ｃの関係は、下記式（２）で表される。なお、値λ_ｃは、同次座標ｃにおける倍率を示す。この値λ_ｃがいずれの値をとっても（ただし値０を除く）、同次座標ｃは表示座標系上で同一の座標を表す。

【0040】

【数2】

【0041】

画像処理部４２４は、投影領域設定処理で算出した表示部５０の表示座標系の参照点ｃ１～ｃ４の座標と、基準面座標系の参照点ｂ５～ｂ８の座標とを上記式（２）に代入し、射影変換行列Ｎの各要素を含む連立方程式を解くことで、射影変換行列Ｎを算出する。画像処理部４２４は、算出した射影変換行列Ｎを、記憶部４３の変換情報記憶部４３２に記憶する。

【0042】

また、画像処理部４２４は、第２の変換処理として、上記算出処理で算出した射影変換行列Ｎを用いて、表示領域５１の各ピクセルに対応する、マッピング画像７２の投影領域７４の各点の座標を上記式（２）に代入して、投影領域７４の座標を表示座標系に変換する。このようにして、画像処理部４２４は、マッピング画像７２上の投影領域７４の画像に対応する表示画像５２の画像データを生成する。画像処理部４２４は、生成した画像データを表示処理部４２５に出力する。

【0043】

表示処理部４２５は、画像処理部４２４から入力される画像データに基づいて、この画像データに対応する表示画像５２を表示部５０の表示領域５１に表示させる。

【0044】

記憶部４３は、表示制御装置４０を動作させるための制御プログラム、処理部４２における各種動作の際に用いられる各種データやパラメータを、一時的又は非一時的に格納する。また、前述したように、記憶部４３の位置情報記憶部４３１は、表示領域５１の四隅の参照点ｃ１～ｃ４の座標を、一時的又は非一時的に格納する。記憶部４３の変換情報記憶部４３２は、第１の変換処理、第２の変換処理で各々用いられる射影変換行列Ｍ及び射影変換行列Ｎを、一時的又は非一時的に格納する。

【0045】

投影モデルＤＢ６０は、前述したように、様々な角度を持つ複数の投影モデルが予め記憶されている。投影モデルＤＢ６０は、本実施形態では表示制御装置４０の外部に設けられたデータベースであるが、これに限定されず、表示制御装置４０の記憶部４３に設けることもできる。

【0046】

上述のような構成の第１実施形態に係る表示制御システム１００の動作の一例は、図７のフローチャートを参照しながら、以下のように説明される。図７は、表示制御装置４０の動作の一例を示しているが、表示制御装置４０の動作は、この図７の動作に限定されない。また、図７に示す各ステップは、図７に示す順番で必ず実行されるものでもなく、適宜順番を入れ替えて実行することや、複数のステップを同時に実行することもできる。

【0047】

まず、ステップＳ１で、傾斜情報取得部４１は、三次元距離センサ１０から傾斜情報である三次元点群データ１１を取得し、基準面設定部４２３に出力する。一方、ステップＳ２で、画像取得部４２１は、撮像装置２０から撮像画像７０を取得し、画像処理部４２４に出力する。また、ステップＳ３で、視点検知部４２２は、乗員監視部３０から乗員１の目の位置情報を取得し、画像処理部４２４に出力する。

【0048】

次のステップＳ４で、基準面設定部４２３は、傾斜情報取得部４１から入力される三次元点群データ１１に基づいて路面の角度を算出し、基準面の角度を設定する。基準面設定部４２３は、この基準面の角度に基づき、投影モデルＤＢ６０にアクセスして、対応する投影モデルを取得し、基準面モデル７１を設定し、画像処理部４２４に出力する。画像処理部４２４は、入力された基準面モデル７１に基づいた射影変換行列Ｍを設定する。

【0049】

次のステップＳ５で、画像処理部４２４は、撮像画像７０に対して、レンズの歪みを補正する補正処理を行う。次のステップＳ６で、画像処理部４２４は、変換情報記憶部４３２から取得した射影変換行列Ｍと前述の式（１）を用いて、補正処理後の撮像画像７０の座標を、基準面座標系の座標に変換することで、マッピング画像７２を生成する。

【0050】

次のステップＳ７で、画像処理部４２４は、視点検知部４２２から入力される目の位置Ｔを基準として、設定された基準面モデル７１に応じて表示部５０の表示領域５１に投影されるマッピング画像７２上の投影領域７４を設定する。つまり、画像処理部４２４は、目の位置Ｔの座標、及び位置情報記憶部４３１に記憶された表示領域５１の四隅の参照点ｃ１～ｃ４の座標、設定された基準面モデル７１に基づいて、投影領域７４を囲む参照点ｂ５～ｂ８の座標を算出する。次のステップＳ８で、画像処理部４２４は、表示座標系の参照点ｃ１～ｃ４の座標と、基準面座標系の参照点ｂ５～ｂ８の座標とを前述した式（２）に代入し、射影変換行列Ｎを算出する。

【0051】

次のステップＳ９で、画像処理部４２４は、投影領域７４の各座標を前述の式（２）に代入して、表示座標系の座標に変換することで、表示領域５１に表示する表示画像５２の画像データを生成し、表示処理部４２５に出力する。

【0052】

そして、ステップＳ１０で、表示処理部４２５は、画像処理部４２４から入力される画像データに基づいて、この画像データに対応する表示画像５２を表示領域５１に表示させる。これにより、図２の紙面右図に示されるように、表示領域５１には、歪みが適切に低減された表示画像５２が表示される。

【0053】

（第２実施形態）
この開示の第２実施形態に係る表示制御装置４０及び表示制御システム１００は、図１に示される第１実施形態に係る表示制御装置４０及び表示制御システム１００と、基準面設定部４２３の機能が異なること以外は、同じ基本構成を備えている。このため、第２実施形態において、第１実施形態と同じ構成及び機能の詳細な説明は、省略される。第１実施形態とは異なる第２実施形態の基準面設定部４２３の機能は、図８を参照して、以下のように説明される。

【0054】

第２実施形態の基準面設定部４２３は、傾斜情報取得部４１から入力される三次元点群データ１１のうち、乗員１の目の位置Ｔから、表示部５０を見たときに表示領域５１に表示される領域に対応する三次元点群データ１１に限定して、路面の角度を算出する。この構成とした理由は、表示部５０を透過して車外が見えるかのように、画像を表示するという目的の上では、表示領域５１に表示される領域に対応する領域についてのみ角度を取得できればよいためである。

【0055】

図８に示される符号１４は、表示部５０の表示領域５１の四隅の参照点に対応する三次元点群データ１１上の参照点で囲まれた参照領域である。基準面設定部４２３は、この参照領域１４の範囲内の三次元点群データ１１に基づいて、基準面の角度を設定する。このとき、基準面設定部４２３は、参照領域１４内に障害物の三次元点群データ１３を検出したとき、この障害物の角度を取得してしまうのを回避するため、参照領域１４内において障害物の三次元点群データ１３を削除して、路面の三次元点群データ１２のみから基準面の角度を設定する。

【0056】

そして、基準面設定部４２３は、この基準面の角度に基づき、投影モデルＤＢ６０にアクセスして基準面モデル７１を設定し、画像処理部４２４に出力する。したがって、第２実施形態では、基準面設定部４２３は、自車両の前方の路面の角度をより高精度に取得でき、画像処理部４２４は、歪みがより適切に低減された表示画像５２を生成できる。

【0057】

（第３実施形態）
この開示の第３実施形態に係る表示制御装置４０及び表示制御システム１００は、表示制御装置４０の処理部４２が、図１に破線で示す対象選択部４２６をさらに備えること以外は、図１に示される第１実施形態に係る表示制御装置４０及び表示制御システム１００と同じ基本構成を備えている。このため、第３実施形態において、第１実施形態と同じ構成及び機能の詳細な説明は、省略される。第１実施形態とは異なる構成及び機能は、図９を参照して、以下のように説明される。

【0058】

撮像画像７０に路面と障害物の双方が撮影されているとき、表示部５０に表示される表示画像５２は、路面の歪みがないほうが好ましい場合と、障害物の歪みがないほうが好ましい場合がある。このため、第３実施形態では、路面の角度が所定の値以上であり、かつ路面に障害物があるとき、障害物の距離に応じて基準面の角度を、路面の角度又は障害物の角度のいずれかに対応させることができる。

【0059】

これを実現するため、第３実施形態では、傾斜情報取得部４１は、三次元距離センサ１０から入力された三次元点群データ１１を、対象選択部４２６に出力する。対象選択部４２６は、傾斜情報取得部４１から入力される三次元点群データ１１に基づいて、路面の角度と、障害物の角度と、自車両から障害物までの距離を算出する。つまり、対象選択部４２６は、自車両の傾きに対する、撮像画像７０に撮影された路面及び障害物の角度を取得する傾斜情報取得部、及び障害物の位置を取得する障害物情報取得部としての機能をも備える。

【0060】

次いで、対象選択部４２６は、対象選択処理として、障害物の距離が所定の値（例えば、１ｍ、１．５ｍ等）以下か否かを判定する。対象選択部４２６は、障害物の距離が所定の値以下のとき（図９の紙面上図参照）、障害物の角度を基準面の角度に設定する。表示画像５２に障害物が写り込む可能性が高いためである。

【0061】

これに対して、対象選択部４２６は、障害物の距離が所定の値を超えているとき（図９の紙面下図参照）、路面の角度を基準面の角度に設定する。表示画像５２に障害物が写り込む可能性が低いためである。図９の紙面上図は、仮想線で示す距離が所定の値以下の領域内に障害物が検出された状態を示す。図９の紙面下図は、仮想線で示す距離が所定の値以下の領域よりも遠い位置に障害物が検出された状態を示す。対象選択部４２６は、設定した基準面の角度を、基準面設定部４２３に出力する。

【0062】

基準面設定部４２３は、対象選択部４２６から入力された基準面の角度をキーとして、投影モデルＤＢ６０にアクセスして、当該角度に対応する投影モデルを取得し、基準面モデル７１を設定して画像処理部４２４に出力する。以上の処理により、画像処理部４２４は、障害物の距離に応じて、路面の角度に対応した画像データ又は障害物の角度に対応した画像データを生成し、表示処理部４２５に出力する。表示処理部４２５は、入力された画像データに基づく表示画像５２を表示部５０に表示させる。

【0063】

したがって、障害物が比較的遠くに存在する場合は、表示部５０には、路面の歪みが低減された表示画像５２が表示され、乗員１は、路面の状態をより適切に把握できる。一方、障害物が比較的自車両の近くに存在する場合は、表示部５０には、障害物の歪みが低減された表示画像５２が表示され、乗員１は、障害物の存在や障害物までの距離をより適切に把握して、回避動作等をより適切に行える。

【0064】

以上説明したように、上記各実施形態の表示制御装置４０は、乗員１の目の位置Ｔと、自車両の前方の路面の角度に基づいて設定された基準面モデル７１に基づいて、自車両の周辺を撮影した撮像画像７０を乗員１の目の位置Ｔから自車両の周辺を見た画像に変換している。このことにより、表示制御装置４０は、表示部５０に表示させる表示画像５２の歪みを低減させることが可能となる。また、このような表示画像５２は、フロントウィンドウを介して視認される風景とのつながりも適切である。したがって、自車両の前方に傾斜があったときでも、乗員１は、違和感を覚えることなく表示画像５２を視認できる。

【0065】

また、上記各実施形態の基準面設定部４２３は、路面の角度が所定の値以上のとき、車両に対する路面の角度で基準面の角度を設定する構成とすることができる。この構成により、表示制御装置４０は、路面が処置の値以上の角度で傾斜しているときのみ、上述したような処理を行えばよく、演算処理をより高速かつ、効率的に行える。

【0066】

また、上記第３実施形態の表示制御装置４０は、障害物の位置を取得する障害物情報取得部（傾斜情報取得部４１、対象選択部４２６）と、路面の角度が所定の値以上であり、かつ路面に障害物があるとき、障害物の距離に応じて基準面の角度を、路面の角度に合わせるか、障害物の角度に合わせるかを決定する対象選択部４２６を備える。そして、基準面設定部４２３は、選択された角度に基づいて、基準面の角度を設定する。したがって、第３実施形態の表示制御装置４０は、障害物の有無と距離に応じて、路面の歪みがより低減された表示画像５２、又は障害物の歪みがより低減された表示画像５２を乗員１に提示でいる。このような表示画像５２を視認することで、乗員１は、遠くの障害物に影響されることなく路面の状態を把握することや、目前にある障害物を把握することができる。

【0067】

以上、図面を参照して、本開示の実施形態を詳述してきたが、具体的な構成は、この実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。

【0068】

例えば、上記各実施形態の表示制御装置４０は、撮像装置２０の前方カメラが撮影した撮像画像７０を、自車両の前方の路面の角度や障害物の角度に対応させて表示画像５２に変換して表示部５０に表示させているが、この構成に限定されない。例えば、この構成に代えて、又はこの構成に加えて、表示制御装置４０は、後方カメラが撮影した撮像画像を、自車両の後方の路面の角度や障害物の角度に対応させて表示画像に変換して表示部５０に表示させる構成とすることもできる。さらに表示制御装置４０は、側方カメラで撮影した撮像画像を、自車両の斜め前方の路面の角度や障害物の角度に対応させて表示画像に変換して、いわゆるＡピラーに設けた表示部に表示させる構成とすることもできる。このことにより、表示制御装置４０は、後方を撮影した撮像画像や、側方を撮影した撮像画像の歪みを低減して表示部５０に表示させることができ、乗員１は、後方や側方の路面や障害物を、違和感なく、より適切に把握できる。

【符号の説明】

【0069】

１ ：乗員 ４０ ：表示制御装置
４１ ：傾斜情報取得部 ５０ ：表示部
４２１ ：画像取得部 ４２２ ：視点検知部
４２３ ：基準面設定部 ４２４ ：画像処理部
４２５ ：表示処理部 ４２６ ：対象選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】