特開 2022-177558 車載表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022177558

(43)【公開日】2022-12-01

(54)【発明の名称】車載表示制御装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221124BHJP

   B60R 11/02 20060101ALI20221124BHJP

【ＦＩ】

H04N7/18 J

B60R11/02 C

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021083905

(22)【出願日】2021-05-18

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】長谷川 誠

【テーマコード（参考）】

3D020

5C054

【Ｆターム（参考）】

3D020BA04

3D020BB01

3D020BC02

3D020BD05

3D020BE03

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FC14

5C054FC15

5C054FE12

5C054FF03

5C054HA30

(57)【要約】

【課題】ウインドシールドに投影する映像データの位置をより高精度に補正できる車載表示制御装置を提供する。
【解決手段】物体検出部６は車両の前方の画像を撮像するカメラ３より入力される画像データから車両の前方に存在する物体を検出し、検出した物体の位置に合わせて車両のフロントガラス１０に表示させる映像データを生成する。歪み補正部７はその映像データをフロントガラス１０の形状に合わせて補正する。位置ずれ補正部８は映像データをフロントガラス１０に投影する位置を補正し、ＡＲ－ＨＵＤ重畳部９は位置ずれ補正部８により補正された位置の映像データをフロントガラス１０に投影する。位置ずれ補正部８は、位置の補正に車両情報を用いると共に、ＡＲ－ＨＵＤ重畳部９がフロントガラス１０に投影している映像データとカメラ３より入力される画像データとを比較して投影する位置を補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の前方の画像を撮像する撮像部（３）と、
この撮像部より入力される画像データから車両の前方に存在する物体を検出し、検出した物体の位置に合わせて車両のウインドシールドに表示させる映像データを生成する映像データ生成部（６）と、
前記映像データを、前記ウインドシールドの形状に合わせて補正する歪み補正部（７）と、
前記車両の走行に関する走行情報を取得する走行情報取得部（１１）と、
前記映像データを前記ウインドシールドに投影する位置を補正する位置補正部（８）と、
この位置補正部により補正された位置の映像データを前記ウインドシールド（１０）に投影する映像投影部（９）とを備え、
前記位置補正部は、前記走行情報を用いると共に、前記映像投影部が前記ウインドシールドに投影している映像データと前記撮像部より入力される画像データとを比較することで、前記ウインドシールドに投影する位置を補正する車載表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のウインドシールドに映像データを投影する装置に関する。

【背景技術】

【0002】

車両に搭載されるＡＲ－ＨＵＤ（Augmented Reality Head Up Display）装置では、カメラにより撮像した画像から信号機や標識等の物体を検出し、その物体に対応した線や枠などの画像を生成すると、画像をウインドシールドに投影して実風景中の物体に重畳させる。その際に、車両の走行中でも画像を投影する位置にずれを発生させることなく、画像が運転者に自然に見えるように、投影位置を補正する技術も様々に提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－５８５４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、単に車速等の走行情報を用いるだけでは画像の投影位置を十分に補正できず、実風景中の物体とのずれが生じてドライバーに違和感を与えることがあった。

【0005】

本発明は上記事情に鑑みてなされたものであり、その目的は、ウインドシールドに投影する映像データの位置をより高精度に補正できる車載表示制御装置を提供することにある。

【課題を解決するための手段】

【0006】

請求項１記載の車載表示制御装置によれば、映像データ生成部は、車両の前方の画像を撮像する撮像部より入力される画像データから車両の前方に存在する物体を検出し、検出した物体の位置に合わせて車両のウインドシールドに表示させる映像データを生成する。歪み補正部は、その映像データをウインドシールドの形状に合わせて補正する。位置補正部は、映像データをウインドシールドに投影する位置を補正し、映像投影部は、位置補正部により補正された位置の映像データをウインドシールドに投影する。

【0007】

また、位置補正部は、位置の補正に走行情報取得部が取得した車両の走行に関する走行情報を用いると共に、映像投影部がウインドシールドに投影している映像データと撮像部より入力される画像データとを比較することでウインドシールドに投影する位置を補正する。このように、映像データの位置補正に車両の走行情報を用いるだけなく、映像データの位置を撮像部より入力される画像データの位置と比較することにより、実風景中の物体とのずれを十分に解消できるようになる。

【図面の簡単な説明】

【0008】

【図1】一実施形態であり、車載表示制御装置の構成を示す機能ブロック図

【図2】制御内容を示すフローチャート

【図3】オブジェクト映像の投影位置を補正する一例を示す図（その１）

【図4】オブジェクト映像の投影位置を補正する一例を示す図（その２）

【図5】オブジェクト映像の投影位置を補正する一例を示す図（その３）

【図6】オブジェクト映像の投影位置を補正する一例を示す図（その４）

【発明を実施するための形態】

【0009】

図１に示すように、ＡＲ－ＨＵＤ装置である本実施形態の車載表示制御装置１は、マイクロコンピュータ等が搭載されるＳｏＣ（System on Chip）２を中心に構成されている。撮像部の一例であるカメラ３は、車両の前方の画像を撮像した映像データをＳｏＣ２に入力する。ＳｏＣ２は、ＤＲＡＭコントローラ４を備えており、ＤＲＡＭコントローラ４は、ＳｏＣ２によるＤＲＡＭ５に対するアクセスを制御する。

【0010】

また、ＳｏＣ２は、ハードウェア及びソフトウェアにより実現される機能ブロックである物体検出部６，歪み補正部７，位置ずれ補正部８，ＡＲ－ＨＵＤ重畳部９を備えている。カメラ３より入力された映像データは、ＤＲＡＭ５のエリア５Ａに格納される。

【0011】

映像データ生成部に相当する物体検出部６は、エリア５Ａより読み出した映像データより、道路上にある例えば白線や信号機，標識等の物体を検出し、その物体の形状を加工して、車両のウインドシールドであるフロントガラス１０に映像として投影するオブジェクトデータを生成する。生成したオブジェクトデータは、ＤＲＡＭ５のエリア５Ｂに格納される。ここで「オブジェクトデータ」は、例えば物体が道路上の白線であれば、その白線に沿う線の映像であり、物体が信号機や標識等であれば、その外周側を取り囲むような枠線の映像である。

【0012】

歪み補正部７は、エリア５Ｂより読み出したオブジェクトデータの形状を、フロントガラス１０の形状に合わせて歪み補正する。補正されたオブジェクトデータは、ＤＲＡＭ５のエリア５Ｃに格納される。

【0013】

走行情報取得部の一例であるサブマイコン１１は、車両の各部に配置されているＥＣＵ（Electronic Control Unit）等と、例えばＣＡＮ（登録商標）等の車載ＬＡＮより通信を行い、ＥＣＵが車速センサ等から取得した車速や、ジャイロセンサより取得される角速度，ＧＰＳ（Global Positioning System）／ＧＮＳＳ（Global Navigation Satellite System）等により取得される車両の位置情報等を含む車両情報を受信する。そして、受信した車両情報を位置ずれ補正部８に入力する。車両情報は走行情報に相当する。

【0014】

位置補正部に相当する位置ずれ補正部８は、エリア５Ｃよりオブジェクトデータを読み出すと、車速等に基づいて、フロントガラス１０に投影するオブジェクトデータの位置が実風景の対応する物体の位置に重なるように補正する。位置が補正されたオブジェクトデータは、ＤＲＡＭ５のエリア５Ｄに格納される。映像投影部に相当するＡＲ－ＨＵＤ重畳部９は、エリア５Ｄよりオブジェクトデータを読み出すと、そのオブジェクトデータの映像をフロントガラス１０に投影する。

【0015】

また、位置ずれ補正部８は、エリア５Ａより映像データ読み出すと共に、ＡＲ－ＨＵＤ重畳部９がフロントガラス１０に投影したオブジェクトデータを取得して、これらのデータも上記の補正を行う際に利用する。

【0016】

次に、本実施形態の作用について説明する。図２において、カメラ３が撮像した車両前方の映像データをＤＲＡＭ５のエリア５Ａに格納する処理を「Ｖｉｄｅｏ入力キャプチャ」として示している（Ｓ１）。物体検出部６は、エリア５Ａより読み出した映像データより、上述した白線や信号機，標識等の物体を検出し、その物体の形状を加工してオブジェクトデータを生成する（Ｓ２）。

【0017】

歪み補正部７は、エリア５Ｂより読み出したオブジェクトデータの形状を、フロントガラス１０の形状に合わせて歪み補正する（Ｓ３）。サブマイコン１１より車両情報が得られる場合（Ｓ４；ＹＥＳ）、位置ずれ補正部８はその車両情報を取り込む（Ｓ５）。また、位置ずれ補正部８は、その時点でカメラ３が撮像した映像データが存在すれば（Ｓ６；ＹＥＳ）、エリア５Ａよりその映像データを取り込む（Ｓ７）。更に、その時点でＡＲ－ＨＵＤ重畳部９がフロントガラス１０に投影しているオブジェクトデータの出力情報を取り込む（Ｓ８）。

【0018】

そして、位置ずれ補正部８は、車速等に基づいて、フロントガラス１０を介して車両の乗員に視認される物体の移動位置を予測すると共に、エリア５Ａより取り込んだ映像データと、フロントガラス１０に投影されているオブジェクトデータとを比較することで、フロントガラス１０に投影されるオブジェクトデータの位置が実風景の対応する物体の位置に重なるようにフィードバック補正する（Ｓ９）。位置ずれ補正部８は、エリア５Ｄを介して重畳位置が補正されたオブジェクトデータをＡＲ－ＨＵＤ重畳部９に出力する（Ｓ１０）。ＡＲ－ＨＵＤ重畳部９は、そのオブジェクトデータの映像をフロントガラス１０に投影する（Ｓ１１）。

【0019】

図３に示す一例のように、時刻ｔ＝ｔ０にカメラ３により撮像された映像データについて、道路上の白線や信号機、標識等を強調して車両の運転者に視認させるため、白線に沿う線や、信号機、標識等を囲む枠線がオブジェクトデータとして生成される。そして、時刻ｔ＝（ｔ０＋Δｔ）において、フロントガラス１０を介して運転車が実風景に重ねて視認するオブジェクトデータの各位置を車速等の車両情報に基づいて補正し、ＡＲ－ＨＵＤ重畳部９によりフロントガラス１０に投影させる。

【0020】

この段階で、投影された各オブジェクトの映像の位置と、実風景上の対応する物体の位置との間にずれが生じているとしても、位置ずれ補正部８が上記のように、両者の位置が重なるようにフィードバック補正することで、時刻ｔ＝（ｔ０＋２Δｔ）では、各オブジェクトの映像の位置と対応する物体の位置とが重なるように補正される。

【0021】

また、図４に示す一例のように、車両が縁石等を踏んで車体が傾いた際には、車両情報として得られるジャイロセンサの角速度に基づくと共に、併せてフィードバック補正を行うことで、オブジェクトの映像の横方向の傾きを補正する。また、図５に示す一例のように、車両が坂道を登る際には、同じくジャイロセンサの角速度に基づくと共に、併せてフィードバック補正を行うことで、オブジェクトの映像の縦方向の傾きを補正する。

【0022】

更に、図６に示す一例のように、車両情報として得られるＧＰＳ／ＧＮＳＳの位置情報に誤差が含まれており、その位置情報に基づいてオブジェクト映像の投影位置を補正するだけではずれが生じる場合でも、併せてフィードバック補正を行うことでオブジェクト映像の位置ずれを補正できる。

【0023】

以上のように本実施形態によれば、車載表示制御装置１の物体検出部６は、車両の前方の画像を撮像するカメラ３より入力される画像データから車両の前方に存在する物体を検出し、検出した物体の位置に合わせて車両のフロントガラス１０に表示させる映像データを生成する。歪み補正部７は、その映像データをフロントガラス１０の形状に合わせて補正する。位置ずれ補正部８は、映像データをフロントガラス１０に投影する位置を補正し、ＡＲ－ＨＵＤ重畳部９は、位置ずれ補正部８により補正された位置の映像データをフロントガラス１０に投影する。

【0024】

その際に、位置ずれ補正部８は、位置の補正にサブマイコン１１が取得した車両の走行に関する車両情報を用いると共に、ＡＲ－ＨＵＤ重畳部９がフロントガラス１０に投影している映像データとカメラ３より入力される画像データとを比較することで投影する位置を補正する。このように、映像データの位置補正に車両情報を用いるだけなく、映像データの位置を撮像部より入力される画像データの位置と比較してフィードバック補正を行うことで、オブジェクト映像の位置と実風景中の物体の位置とのずれを十分に解消できるようになる。

【0025】

（その他の実施形態）
必ずしもＳｏｃ２を用いて車載表示制御装置１を構成する必要はない。
使用するメモリはＤＲＡＭ５に限らない。
車両情報は、サブマイコン１１を介して取得する必要はなく、車載通信のプロトコルに対応したデバイスであれば良い。

【0026】

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【0027】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0028】

図面中、１は車載表示制御装置、３はカメラ、６は物体検出部、７は歪み補正部、８は位置ずれ補正部、９はＡＲ－ＨＵＤ重畳部、１０はフロントガラスである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】