特開 2024-88276 表示制御装置及び画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024088276

(43)【公開日】2024-07-02

(54)【発明の名称】表示制御装置及び画像表示装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240625BHJP

   H04N 7/18 20060101ALI20240625BHJP

【ＦＩ】

G08G1/16 C

H04N7/18 J

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022203362

(22)【出願日】2022-12-20

(71)【出願人】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】石沢 恒司

(72)【発明者】

【氏名】石塚 博基

(72)【発明者】

【氏名】山田 貴洋

(72)【発明者】

【氏名】河村 大輔

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054EJ00

5C054FC12

5C054FE05

5C054FE21

5C054HA30

5H181AA01

5H181CC04

5H181FF27

5H181FF33

5H181FF39

5H181LL01

5H181LL02

5H181LL04

(57)【要約】

【課題】運転者が車両の周辺情報を正しく把握しやすい自然な画像を表示可能な表示制御装置及び画像表示装置を提供すること。
【解決手段】本開示の表示制御装置は、車両の車体の周辺を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像内の前記車体を含む第１の領域を特定する領域特定部と、前記第１の領域の画像をモノトーン化するモノトーン化処理部と、モノトーン化された画像を含む表示画像を表示装置に表示させる表示部と、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の車体の周辺を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像内の前記車体を含む第１の領域を特定する領域特定部と、
前記第１の領域の画像をモノトーン化するモノトーン化処理部と、
モノトーン化された画像を含む表示画像を表示装置に表示させる表示部と、を備える、
表示制御装置。

【請求項2】

前記モノトーン化処理部は、前記第１の領域の画像の輝度情報と色情報とを算出し、前記第１の領域の画像全体の前記色情報の中央値である第１の分布中央値を算出し、前記第１の領域の画像全体の前記色情報を前記第１の分布中央値に置換する、
請求項１に記載の表示制御装置。

【請求項3】

前記車体の車体色情報と、前記車体色情報との類似度に基づいて設定された第１の閾値領域とを記憶する記憶部を更に備え、
前記モノトーン化処理部は、前記第１の領域の画像の輝度情報と色情報とを算出し、前記第１の領域の画像のうちの前記色情報が前記第１の閾値領域内のものの前記色情報の中央値である第２の分布中央値を算出し、前記第１の領域全体の前記色情報を前記第２の分布中央値に置換する、
請求項２に記載の表示制御装置。

【請求項4】

前記撮像画像内において所定以上の明度を有する高明度領域を特定する高明度領域特定部を更に備え、
前記モノトーン化処理部は、前記第１の領域から前記高明度領域を除いた第２の領域の輝度情報と色情報とを算出し、前記第２の領域の画像全体の前記色情報の中央値である第３の分布中央値を算出し、前記第２の領域の画像全体の前記色情報を前記第３の分布中央値に置換する、
請求項１に記載の表示制御装置。

【請求項5】

前記第１の領域の画像を平滑化する平滑化フィルタ部を更に備える、
請求項１に記載の表示制御装置。

【請求項6】

前記平滑化フィルタ部は、前記車両の走行速度が所定速度以上である場合に、前記第１の領域の画像を平滑化する、
請求項５に記載の表示制御装置。

【請求項7】

請求項１乃至請求項６のいずれか１項に記載の表示制御装置と、
前記車体の周辺を撮像可能な撮像装置と、
前記表示画像を表示可能な前記表示装置と、を備える、
画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置及び画像表示装置に関するものである。

【背景技術】

【0002】

車両の運行を補助するために、車両の周囲を撮像した映像を利用することが従来から行われている。具体的には、例えば車両に搭載されるサイドミラーに代えて、車両側部後方をカメラで撮影し、撮影した映像を車室内に設置されたモニタに表示する、いわゆる電子アウターミラーが知られている。

【0003】

下記特許文献１には、サイドミラーに代えてカメラを用いた電子アウターミラーの技術が記載されている。この下記特許文献１には、カメラで撮像した画像内の実際の風景と車体に映り込んだ風景とを運転者が容易に判別できるようにするために、車体を含む領域を着色する又は所定の車体形状を上書きすることが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１９／１７７０３６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１のように、カメラで撮像した映像中の車体を含む領域に着色あるいは車体形状の上書きを行えば、このような着色等を行わない場合に比べて、車体を含む領域とそれ以外の領域とを区別することが容易となる効果が期待できる。また、上述した着色等を行えば、車体に映り込んだ風景は表示されなくなるため、実際の風景と車体に映り込んだ風景とを誤認することも抑制できる。

【0006】

しかし、上述のように、モニタに表示される画像の一部に着色を行ったり他の画像を上書きしたりすると、モニタに表示される画像は光学ミラーで見たような自然な画像とは明確に異なるものとなる。モニタを見る者、例えば車両を運転する運転者は、モニタに表示される画像に映り込んだ車体を自車両と認識した上で、画像に表示される後方車両等との位置関係を把握するものである。そのため、モニタに表示される画像が不自然な画像であると、運転者が当該画像から車両の周辺情報を正しく把握できなくなる恐れがある。

【0007】

本開示は、上述した課題に鑑み、運転者等が車両の周辺情報を正しく把握しやすい自然な画像を表示可能な表示制御装置及び画像表示装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示の第１の態様に係る表示制御装置は、車両の車体の周辺を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像内の前記車体を含む第１の領域を特定する領域特定部と、前記第１の領域の画像をモノトーン化するモノトーン化処理部と、モノトーン化された画像を含む表示画像を表示装置に表示させる表示部と、を含む。

【0009】

上記のような表示制御装置においては、表示画像のうち、車体を含む第１の領域がモノトーン化されるため、第１の領域から運転者に提供される情報量が少なくなる。これにより、表示画像を見た運転者は車体に映り込んだ風景よりも実際の風景に注意が向きやすくなり、車両の周辺情報を正しく把握しやすくなる。加えて、表示画像の第１の領域に対応する部分はモノトーン化されているのみであり、車体に映り込んだ風景の輪郭等は消去されないため、従来に比して自然な画像を運転者等に提供することができる。

【0010】

本開示の第２の態様に係る表示制御装置は、上記本開示の第１の態様に係る表示制御装置において、前記モノトーン化処理部は、前記第１の領域の画像の輝度情報と色情報とを算出し、前記第１の領域の画像全体の前記色情報の中央値である第１の分布中央値を算出し、前記第１の領域の画像全体の前記色情報を前記第１の分布中央値に置換する。

【0011】

上記のような表示制御装置においては、実際の画像をモノトーン化するため、表示画像として自然な画像を維持することができる。

【0012】

本開示の第３の態様に係る表示制御装置は、上記本開示の第１の態様に係る表示制御装置において、前記車体の車体色情報と、前記車体色情報との類似度に基づいて設定された第１の閾値領域とを記憶する記憶部を更に含み、前記モノトーン化処理部は、前記第１の領域の画像の輝度情報と色情報とを算出し、前記第１の領域の画像のうちの前記色情報が前記第１の閾値領域内のものの前記色情報の中央値である第２の分布中央値を算出し、前記第１の領域全体の前記色情報を前記第２の分布中央値に置換する。

【0013】

上記のような表示制御装置においては、車体の大部分に車体色とは異なる色の景色が映り込んだ場合であっても、車体色に近い色でモノトーン化することができ、運転者が違和感を覚えにくい表示画像を提供できる。

【0014】

本開示の第４の態様に係る表示制御装置は、上記本開示の第１の態様に係る表示制御装置において、前記撮像画像内において所定以上の明度を有する高明度領域を特定する高明度領域特定部を更に含み、前記モノトーン化処理部は、前記第１の領域から前記高明度領域を除いた第２の領域の輝度情報と色情報とを算出し、前記第２の領域の画像全体の前記色情報の中央値である第３の分布中央値を算出し、前記第２の領域の画像全体の前記色情報を前記第３の分布中央値に置換する。

【0015】

上記のような表示制御装置においては、車体に明度の高い風景、例えば外部光源が映り込んだ場合であっても、車体が外部光源に近い色でモノトーン化されることを防ぐことができ、表示画像として自然な画像を維持することができる。

【0016】

本開示の第５の態様に係る表示制御装置は、上記本開示の第１乃至４のいずれかの態様に係る表示制御装置において、前記第１の領域の画像を平滑化する平滑化フィルタ部を更に含む。

【0017】

上記のような表示制御装置においては、第１の領域に平滑化処理を実施することで、第１の領域から運転者に提供される情報量をさらに少なくできる。

【0018】

本開示の第６の態様に係る表示制御装置は、上記本開示の第５の態様に係る表示制御装置において、前記平滑化フィルタ部は、前記車両の走行速度が所定速度以上である場合に、前記第１の領域の画像を平滑化する。

【0019】

上記のような表示制御装置においては、走行速度が遅い場合や停車中、あるいは後進中のように、運転者が車両に近い領域に注意を向ける際には平滑化処理を行わないため、運転者が第１の領域の画像に違和感を覚えにくくなる。

【0020】

本開示の第７の態様に係る画像表装置は、上記本開示の第１乃至６のいずれかの態様に係る表示制御装置と、前記車体の周辺を撮像可能な撮像装置と、前記表示画像を表示可能な前記表示装置と、を含む。

【0021】

上記のような画像表示装置においては、表示画像のうち、車体を含む第１の領域がモノトーン化されるため、第１の領域から運転者に提供される情報量が少なくなる。これにより、表示装置に表示された表示画像を見た運転者は、車体に映り込んだ風景よりも実際の風景に注意が向きやすくなり、車両の周辺情報を正しく把握しやすくなる。加えて、表示画像の第１の領域に対応する部分はモノトーン化されているのみであり、車体に映り込んだ風景の輪郭等は消去されないため、従来に比して自然な画像を運転者等に提供することができる。

【発明の効果】

【0022】

本開示の表示制御装置及び画像表示装置によれば、運転者が車両の周辺情報を正しく把握しやすい自然な画像を表示することができるようになる。

【図面の簡単な説明】

【0023】

【図1】本開示の第１の実施の形態に係る画像表示装置を搭載した車両の一例を示した概略図である。

【図2】本開示の第１の実施の形態に係る画像表示装置のハードウェア構成の一例を示した概略ブロック図である。

【図3】本開示の第１の実施の形態に係る表示制御装置のソフトウェア構成の一例を示した機能ブロック図である。

【図4】第１の領域内の各画素のＵＶ値の分布の一例を示したグラフである。

【図5】図３に示すモノトーン化処理部によってモノトーン化される前及び後の画像の一例を示した模式図である。

【図6】図３に示す平滑化フィルタ部によって平滑化された画像の一例を示した模式図である。

【図7】本開示の第１の実施の形態に係る表示制御装置による表示画像の生成プロセスの一例を示したフローチャートである。

【図8】本開示の第２の実施の形態に係る表示制御装置のソフトウェア構成の一例を示した機能ブロック図である。

【図9】第１の領域内の各画素のＵＶ値の分布の他の一例を示したグラフである。

【図10】図９に示すグラフを構成するＵ－Ｖ色平面を示した説明図である。

【図11】本開示の第３の実施の形態に係る表示制御装置のソフトウェア構成の一例を示した機能ブロック図である。

【図12】撮像画像内に第２の領域を特定する前及び後の画像の一例を示した模式図である。

【発明を実施するための形態】

【0024】

以下、図面を参照して本開示を実施するための各実施の形態について説明する。なお、以下では本開示の目的を達成するための説明に必要な範囲を模式的に示し、本開示の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。また、図中の互いに同一又は相当する部材には同一あるいは類似の符号を付し、重複した説明は省略する。さらに、一の図面中に互いに同一又は相当する部材が複数個含まれている場合には、図を見易くするために、そのうちのいくつかにのみ符号を付している場合がある。

【0025】

以下に説明する各実施の形態に係る画像表示装置としては、車両の側部に設置された光学ミラーで構成されるサイドミラーに代えて用いられる電子アウターミラーとして機能するものを例示する。ただし、本開示の表示制御装置及び画像表示装置は、電子アウターミラーとしての利用に限定されるものではない。具体的には、本開示の画像表示装置は、例えば路線バス等に代表される公共交通機関において、車両の外周囲を複数のカメラ等を用いてモニタリングするために用いることもできる。この場合、モニタリングを実施する者は運転者以外の管理者等となり得る。

【0026】

＜第１の実施の形態＞
図１は、本開示の第１の実施の形態に係る画像表示装置を搭載した車両の一例を示した概略図である。また、図２は、本開示の第１の実施の形態に係る画像表示装置のハードウェア構成の一例を示した概略ブロック図である。第１の実施の形態に係る画像表示装置１０は、図１及び図２に示すように、車体２の周辺を撮像可能な撮像装置の一例としてのカメラ２０と、カメラ２０で撮像された撮像画像Ｐ０（例えば図５（Ａ）参照）に基づいて生成された表示画像Ｐ（図５（Ｂ）や図６等参照）を表示する表示装置の一例としてのモニタ３０と、表示制御装置４０と、を含む。なお、前述の表示画像Ｐは、以下に説示する複数の表示画像（詳しくは、Ｐ１、Ｐ２及びＰ４）の総称として用いている。

【0027】

カメラ２０は、車両１の前方側部の適所、例えば車体２前方の左右のフェンダー部分に１つずつ設置され、車両１の後方をそれぞれ撮像可能なもので構成することができる。このカメラ２０には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を用いた二次元カメラを用いることができる。このカメラ２０は、図示しないスイッチ等のユーザインタフェースを介してその向きを変更することが可能なものであってよい。

【0028】

モニタ３０は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ、ＯＥＬＤ）といった周知のディスプレイ装置で構成することができる。このモニタ３０は、車室内の、例えば運転席よりも車両前方の左端及び右端や、車幅方向中央に支持され得るものである。

【0029】

ところで、本実施の形態に係る画像表示装置１０を車両のサイドミラーに代えて用いられる電子アウターミラーとして利用する場合、車両１には、光学ミラーに代えてカメラ２０が設置されることになる。このとき、カメラ２０は、光学ミラーのように運転者からサイドガラス３等を介して目視可能な位置に設置する必要がないため、サイドガラス３よりも下方、具体的にはフェンダー部分に設置されるのが一般的である。このような位置に設置されたカメラ２０が撮像する撮像領域ＩＡは、図１に示すように、その高さ位置の大部分が、サイドガラス３とタイヤ４の間に位置する車体２に対応するため、このカメラ２０で撮像した撮像画像Ｐ０には、車体２が大きく映り込むことになる。

【0030】

車体２には、路面や後方車両といった車両１周囲の風景が映り込む。したがって、撮像画像Ｐ０をそのままモニタ３０に表示した場合、運転者Ｄは車体２に映った風景と実際の風景とを混同する場合がある。そこで、本実施の形態に係る画像表示装置１０では、運転者Ｄがモニタ３０に表示される画像から車両１の周辺情報を正しく把握できるように、表示制御装置４０にて撮像画像Ｐ０を調整しようとするものである。

【0031】

本実施の形態に係る表示制御装置４０は、カメラ２０で撮像した撮像画像Ｐ０を元に、モニタ３０に表示するための表示画像Ｐを生成するものであってよい。この表示制御装置４０は、例えばマイクロコントローラを含む周知のコンピュータで構成することができる。表示制御装置４０を構成するコンピュータは、画像表示装置１０のために単独で用意されたコンピュータであってもよいし、車両１内のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を用いて実現されていてもよい。

【0032】

表示制御装置４０は、少なくとも、プロセッサの一例としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１と、メモリの一例としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３と、ストレージ４４と、入出力インタフェース４５とを含んでいてよい。またこれらの構成は、内部バスを介して相互に通信可能に接続されていてよい。

【0033】

ＣＰＵ４１は、中央演算処理ユニットであって、各種プログラムを実行したり、各部を制御したりすることができるものであってよい。具体的にいえば、このＣＰＵ４１は、ＲＯＭ４２又はストレージ４４に格納されている種々のプログラムを読み出し、ＲＡＭ４３を作業領域として当該プログラムを実行することができるものであってよい。ＣＰＵ４１は、プログラムに従って画像表示装置１０を構成する各構成要素の制御や各種の演算処理を行うことができるものであってよい。

【0034】

ＲＯＭ４２は、各種プログラム及び各種データを格納することができるものであってよい。また、ＲＡＭ４３は、作業領域として一時的にプログラム又はデータを記憶することができるものであってよい。

【0035】

ストレージ４４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリといった記録媒体で構成することができる。このストレージ４４には、オペレーティングシステムを含む各種プログラムや、画像表示装置１０を動作させるために必要な各種データ（例えば、後述する車体色情報や各種閾値）が格納されていてよい。本実施の形態においては、ＲＯＭ４２又はストレージ４４には、カメラ２０で撮像された画像に基づいて表示画像Ｐを生成するためのプログラムや各種データが格納され得る。

【0036】

入出力インタフェース４５は、少なくとも電子アウターミラーの機能を実現するために必要な車両１に搭載あるいは取り付けられた各種構成要素との間で、各種データの送受信を行うためのインタフェースであってよい。本実施の形態に係る入出力インタフェース４５としては、少なくともカメラ２０とモニタ３０とが電気的に接続されているものが例示されている。

【0037】

図３は、本開示の第１の実施の形態に係る表示制御装置のソフトウェア構成の一例を示した機能ブロック図である。本実施の形態に係る表示制御装置４０は、図３に示すように、車両１の車体２の周辺を撮像した撮像画像Ｐ０を取得する撮像画像取得部５３と、撮像画像Ｐ０内の車体２を含む第１の領域Ａ１を特定する領域特定部５１と、撮像画像Ｐ０内の第１の領域Ａ１の画像をモノトーン化するモノトーン化処理部５２と、モノトーン化された画像を含む表示画像Ｐをモニタ３０に表示させる表示部の一例としての表示画像出力部５４と、を含む。

【0038】

領域特定部５１は、主にＣＰＵ４１及びストレージ４４等によって実現することができ、撮像画像Ｐ０内から、車体２を含む第１の領域Ａ１を特定するものであってよい。本実施の形態において、第１の領域Ａ１は、車体２が占める領域のみを指し、サイドガラス３やタイヤ４の領域を含まないものとするが、本開示はこれに限定されない。具体例としては、第１の領域Ａ１を、例えば車体２に加えてサイドガラス３やタイヤ４を含めた車両１が映った領域全てを指すものとしてもよい。

【0039】

第１の領域Ａ１の特定手法については特に限定されないが、例えば車両１の製造時における画像表示装置１０のキャリブレーション作業の際に、撮像画像Ｐ０内の第１の領域Ａ１をカメラ２０の角度に対応してそれぞれマニュアルで設定することができる。あるいは、上記特許文献１に記載のもののように、撮像画像Ｐ０から第１の領域Ａ１をリアルタイムで特定するための制御アルゴリズムを用いて特定する方法を採用することもできる。

【0040】

また、第１の領域Ａ１の特定をより簡易に行うために、撮像領域ＩＡ内にチャートを配設し、当該チャートを上下左右に移動させることで車体２の境界を特定することもできる。なお、この際に用いられるチャートとしては、例えば白と黒の正方形が交互に並んだチェスボード柄の板体を用いることができる。そして、当該チャートの交点の位置がチャート自体の移動に伴って検知できなくなる位置（すなわち、車体２後方に隠れる位置）を継続的に検知することで、車体２と実際の風景の境界、すなわち撮像画像Ｐ０に映り込んだ車体２の輪郭を特定することができる。このような第１の領域Ａ１の特定作業は、カメラ２０の画角に合わせて複数回実施されるとよい。上述のように、第１の領域Ａ１を車両１の製造時のキャリブレーション作業にて特定しておくと、領域特定部５１は、カメラ２０の画角を取得するだけで第１の領域Ａ１を特定することができるようになる。そのため、表示制御装置４０内等に、上述した境界をリアルタイムで特定するための制御アルゴリズム等を別途準備する必要がなく、ＣＰＵ４１等への負荷を抑制することができる。

【0041】

モノトーン化処理部５２は、主にＣＰＵ４１及びストレージ４４等によって実現することができ、撮像画像Ｐ０内の第１の領域Ａ１の画像をモノトーン化するためのものである。ここで、モノトーン化とは、画像を単色の濃淡で表現する形式に変更することを指す。本実施の形態のモノトーン化処理部５２では、第１の領域Ａ１が車体２部分に対応する画像で構成されているため、第１の領域Ａ１の画像がモノトーン化処理によって単色化されると、第１の領域Ａ１の画像の色は車体色に近い色となる場合がほとんどである。

【0042】

モノトーン化処理部５２におけるモノトーン化処理の手法の一例を説明すると、モノトーン化処理部５２では、先ず、撮像画像Ｐ０内の第１の領域Ａ１の画像を構成する各画素のＲＧＢ値を取得する。次いで、取得したＲＧＢ値を輝度情報（詳しくは輝度信号Ｙ）と色情報（詳しくは色差信号Ｕ及びＶ）とで構成されるＹＵＶ値に変換する。ＲＧＢ値からＹＵＶ値への変換は、下記式（１）を用いることで実施できる。

【数1】

【0043】

図４は、第１の領域の画像を構成する各画素のＵＶ値の分布の一例を示したグラフである。図４中の横軸及び縦軸はＵ値及びＶ値にそれぞれ対応し、垂直方向の軸はプロットされた画素のカウント数に対応するものである。モノトーン化処理部５２では、第１の領域Ａ１の画像の各画素のＹＵＶ値が特定されると、図４に示すように、Ｕ－Ｖ色平面上にプロットして集計し、その分布状態から中央値（以下、この値を「第１の分布中央値」という）Ｕ_０、Ｖ_０を算出する。この第１の分布中央値Ｕ_０、Ｖ_０の特定方法は特に限定されないが、例えば、第１の領域を構成する全ての画素をカウントした結果、最もカウント数が多かったＵ－Ｖ色平面上の位置に対応するＵ値及びＶ値を第１の分布中央値Ｕ_０、Ｖ_０として特定することができる。

【0044】

第１の分布中央値Ｕ_０、Ｖ_０が算出されると、第１の領域Ａ１の画像の各画素のＹＵＶ値のうちのＵ値及びＶ値を、第１の分布中央値Ｕ_０、Ｖ_０に置換した上でＲＧＢ値に変換する。ＹＵＶ（ＹＵ_０Ｖ_０）値からＲＧＢ値への変換は、下記式（２）を用いることで実施できる。

【数2】

【0045】

上述した変換処理により得られた各画素のＲＧＢ値を撮像画像Ｐ０の第１の領域Ａ１にマージする。前述のマージ処理によって得られる画像は、第１の領域Ａ１の画像の各画素の色が単色化され且つ輝度情報のみが異なったモノトーン画像を部分的に含むものとなる。

【0046】

図５は、図２に示すモノトーン化処理部によってモノトーン化される前及び後の画像の一例を示した模式図であって、図５（Ａ）は撮像画像の一例を示したものであり、図５（Ｂ）は図５（Ａ）の撮像画像に基づいて作成された表示画像の一例を示したものである。モノトーン化処理部５２は、図５（Ａ）に示すような、車体２に映り込んだ種々の色情報を含む風景を含む撮像画像Ｐ０を、図５（Ｂ）に示すような、車体２に映り込んだ画像のみがモノトーン化された画像に変更することができる。そして、このモノトーン化処理部５２により部分的にモノトーン化された画像は、表示画像出力部５４に送られ、表示画像Ｐ１としてモニタ３０に表示することができる。

【0047】

第１の領域Ａ１の画像がモノトーン化された表示画像Ｐ１は、図５から分かる通り、撮像画像Ｐ０に比べて、第１の領域Ａ１の画像から運転者Ｄが取得できる情報量が低減されている。したがって、この表示画像Ｐ１を見た運転者Ｄは、相対的に情報量の多い第１の領域Ａ１以外の画像に自然に注意が向くようになり、車両１側部後方の情報を短時間で正確に取得できるようになる。

【0048】

撮像画像取得部５３は、カメラ２０に接続され、カメラ２０が撮像した撮像画像Ｐ０を取得することが可能なものであってよい。また、表示画像出力部５４は、モニタ３０に接続され、領域特定部５１及びモノトーン化処理部５２等で生成された表示画像Ｐをモニタ３０に出力するものであってよい。撮像画像取得部５３及び表示画像出力部５４は、いずれも主に入出力インタフェース４５によって実現することができる。

【0049】

ところで、本実施の形態に係る表示制御装置４０は、図３に示すように、上述した構成に加えて、第１の領域Ａ１の画像を平滑化する平滑化フィルタ部５５をさらに含んでいてよい。

【0050】

平滑化フィルタ部５５は、特定の画像に平滑化処理、換言すると「ぼかし」を施すことが可能なものであってよい。この平滑化処理を実施するための具体的な方法については特に限定されないが、例えば、画像を構成する各画素の輝度値を平らに（滑らかに）することが可能なフィルタ（移動平均フィルタ）やガウシアンフィルタ、メディアンフィルタ等を利用する方法を挙げることができる。

【0051】

この平滑化フィルタ部５５は、車両１の走行速度によってオンオフ制御すると好ましい。具体的には、平滑化フィルタ部５５は、車両１に搭載された車速センサ６０に直接又は間接的に接続されていてよく、当該車速センサ６０が検出する走行速度が所定の速度（例えば２０～３０ｋｍ／ｈの間の任意の速度）以上である場合にのみ平滑化処理を行うようにするとよい。車速センサ６０は、例えば、アウトプットシャフトの回転速度を検出可能なセンサで構成することができる。この車速センサ６０の検出結果は、直接、又は車両１内のＥＣＵを介して取得することができる。

【0052】

車両１が低速走行中であるときや停止状態のとき、あるいは後進中であるときは、運転者Ｄはモニタ３０に表示される画像から車両１後方の比較的近い位置（例えば数ｍ程度）の情報を取得しようとする傾向がある。そのため、このようなタイミングでは表示画像Ｐにぼかしを施さない方が、運転者Ｄは表示画像Ｐから多くの情報を取得することができる。また、車両１の停止中等にあっては、運転者Ｄは、高速走行中に比べて長い期間、モニタ３０に目を向けることが可能なため、ぼかしが施さていない、より自然な画像を表示した方が、運転者Ｄが表示画像Ｐに違和感を覚えにくく好ましい。

【0053】

反対に、車両１が高速走行中の場合には、運転者Ｄはモニタ３０に表示される画像から車両１の後方の比較的離れた位置（例えば十数ｍ程度）の情報を取得しようとする傾向がある。そのため、第１の領域Ａ１の情報量が少ない方が、表示画像Ｐを見た運転者Ｄは実際の風景に即座に注意が向くため好ましい。すなわち、高速走行時にぼかし処理を行うことで、運転者Ｄが車両１側部後方の情報を短時間で正確に取得するのをより助けることができる。

【0054】

図６は、図３に示す平滑化フィルタ部によって平滑化処理が施された画像の一例を示した模式図である。この図６では、図５（Ｂ）に示す表示画像Ｐ１にぼかしを施した画像（以下、これを「表示画像Ｐ２」という）を例示している。図６に示すように、第１の領域Ａ１の画像がモノトーン化され且つ平滑化処理されたものが表示画像Ｐ２としてモニタ３０に表示されると、運転者Ｄが第１の領域Ａ１から取得できる情報量がさらに少なくなる。そのため、運転者Ｄは、車両１側部後方の情報を短時間で正確に取得できる。そして、運転者Ｄが表示画像Ｐ２内の実際の風景と車体２に映り込んだ風景とを混同することを大幅に少なくすることができる。

【0055】

次に、本実施の形態に係る表示制御装置４０による表示画像Ｐ２の生成プロセスの一例を、図７を用いて簡単に説明する。

【0056】

図７は、本開示の第１の実施の形態に係る表示制御装置による表示画像の生成プロセスの一例を示したフローチャートである。車両１の始動等に伴って画像表示装置１０の動作が開始すると、カメラ２０による撮像動作が開始し、表示制御装置４０は、図７に示すように、先ず、このカメラ２０が撮像した撮像画像Ｐ０を撮像画像取得部５３により取得する（工程Ｓ１）。

【0057】

撮像画像取得部５３にて撮像画像Ｐ０を取得すると、次に領域特定部５１にて撮像画像Ｐ０内の第１の領域Ａ１を特定する（工程Ｓ２）。このとき、領域特定部５１は、撮像画像Ｐ０内の第１の領域Ａ１を特定するためにカメラ２０の画角情報を取得するとよい。なお、本実施の形態のもののように画角に合わせて事前に第１の領域Ａ１を規定している場合には、第１の領域Ａ１はカメラ２０の画角が変更されない限り実質的に変化しない。よって、第１の領域Ａ１の特定は、カメラ２０の画角が変更されたタイミングで実施すれば足りる。

【0058】

撮像画像Ｐ０内の第１の領域Ａ１が特定されると、次に、モノトーン化処理部５２にて第１の領域Ａ１内の画像のモノトーン化処理を実施する。詳しくは、先ず、第１の領域Ａ１内の画像の各画素のＲＧＢ値を取得する（工程Ｓ３）。次に、ここで取得したＲＧＢ値から、上述した式（１）を用いてＹＵＶ値を算出する（工程Ｓ４）。そして、各画素に対応するＹＵＶ値のうち、色情報を構成するＵ値及びＶ値の中央値である第１の分布中央値Ｕ_０及びＶ_０を算出し（工程Ｓ５）、第１の領域Ａ１内の画像の各画素のＵ値及びＶ値を、全て第１の分布中央値Ｕ_０及びＶ_０に置換する（工程Ｓ６）。前述の置換を行うことにより、第１の領域Ａ１内の画像の全ての画素のＵ値とＶ値は同一の値となり、第１の領域Ａ１内の画像がモノトーン化される。

【0059】

上述したモノトーン化処理が完了すると、撮像画像Ｐ０に処理結果をマージするために、各画素のＹＵＶ値（厳密にはＹＵ_０Ｖ_０値）をＲＧＢ値に変換する（工程Ｓ７）。当該変換には上述した式（２）を用いればよい。そして、変換後のＲＧＢ値に基づいて、撮像画像Ｐ０中の第１の領域Ａ１内の画像を更新する（工程Ｓ８）。更新後の画像は、図５（Ｂ）に示したような、第１の領域Ａ１内の画像のみがモノトーン化された画像となる。

【0060】

次に、撮像画像Ｐ０を取得した時点での車両１の走行速度を車速センサ６０から取得し、平滑化フィルタ部５５により平滑化処理の実施の要否を判断する。具体的には、車速センサ６０から取得した走行速度が、予め設定された所定速度（例えば２０ｋｍ／ｈ）以上であるか否かを判断する（工程Ｓ９）。当該判断の結果、走行速度が所定速度以上である場合には、第１の領域Ａ１の画像に平滑化処理を実行し（工程Ｓ１０）、所定速度よりも遅い場合には前述の平滑化処理をスキップする。最後に、上述した一連の処理により得られた画像を表示画像Ｐ２として、表示画像出力部５４によりモニタ３０に出力する（工程Ｓ１１）。

【0061】

本実施の形態に係る表示制御装置４０及び画像表示装置１０によれば、車体２を含む第１の領域Ａ１内の画像のみがモノトーン化された表示画像Ｐ２が、モニタ３０に表示されることになる。この表示画像Ｐ２は、第１の領域Ａ１部分は車体色に近い色に統一されているものの、車体２に映り込んだ風景の輝度情報は維持されている。そのため、これを見た運転者Ｄは、表示画像Ｐ２に違和感を覚えることがほとんどなく、第１の領域Ａ１が車体２であることを一見して理解することができる。また、当該表示画像Ｐ２を見た運転者Ｄは、モノトーン化された第１の領域Ａ１よりも、第１の領域Ａ１に比べて情報量の多い領域、つまり第１の領域Ａ１以外の領域に表示された実際の風景に注意が向くようになる。以上のことから、運転者Ｄは、車体２に映り込んだ風景と実際の風景とを混同することなく、実際の風景を短時間で正しく認識することができるようになる。そして、本実施の形態に係る画像表示装置１０にて生成された表示画像Ｐ１、Ｐ２を見た運転者Ｄは、車両１の周囲の情報を正確に把握することができるようにもなる。

【0062】

加えて、本実施の形態に係る表示制御装置４０及び画像表示装置１０においては、走行速度に合わせて第１の領域Ａ１の画像にぼかしを施すことにより、車両１の状態に合わせた最適な表示を行うことができる。

【0063】

＜第２の実施の形態＞
ところで、例えば車両１が走行する道路のうち、交差点や高速道路上のカーブ付近など、事故が発生しやすい位置に、運転者Ｄへの注意喚起を目的として赤色や青色で塗装が行われている場合がある。このような特定の色に塗装された道路を走行する場合、車体２には道路の色が広範囲に映り込み得る。ここで、車両１の車体色が黒やグレーといった、上述した道路の色とは全く異なる色である場合、上述した表示制御装置４０では、車体２の広範囲に車体２とは異なる色の風景が映り込んだ状態でモノトーン化処理部５２によるモノトーン化処理を実施することになる。この場合、算出される第１の分布中央値Ｕ_０及びＶ_０は、車体色に近い色ではなく、道路の色に近い色が算出される可能性がある。第１の領域Ａ１が道路の色に近い色に統一されたものが表示画像としてモニタに出力されると、運転者Ｄは、一見して車体２を認識しにくくなったり、表示画像Ｐに違和感を覚えたりする恐れがある。

【0064】

以下には、上述した点を考慮した第２の実施の形態に係る画像表示装置１０Ａ及び表示制御装置４０Ａについて説明する。なお、本実施の形態に係る画像表示装置１０Ａ及び表示制御装置４０Ａは、表示制御装置４０Ａの一部の構成以外は上述した第１の実施の形態に係る画像表示装置１０及び表示制御装置４０と同様の構成を含んでいてよい。したがって、以下には、本実施の形態に係る画像表示装置１０Ａ及び表示制御装置４０Ａのうち、上述した画像表示装置１０及び表示制御装置４０と異なる構成を中心に説明を行い、画像表示装置１０及び表示制御装置４０と同様の構成要素については同一の符号を付してその説明を省略するものとする。

【0065】

図８は、本開示の第２の実施の形態に係る表示制御装置のソフトウェア構成の一例を示した機能ブロック図である。本実施の形態に係る表示制御装置４０Ａは、図８に示すように、上述した領域特定部５１やモノトーン化処理部５２等に加えて、記憶部５６をさらに含んでいてよい。

【0066】

記憶部５６は、例えば上述したストレージ４４によって実現することができ、少なくとも、車体２の車体色情報としての車体色ＢＣと、車体色ＢＣとの類似度に基づいて設定された第１の閾値領域ＴＡとを記憶することができる。この記憶部５６に記憶された車体色ＢＣと第１の閾値領域ＴＡとは、モノトーン化処理部５２によるモノトーン化処理に際して利用することができる。

【0067】

図９は、第１の領域内の各画素のＵＶ値の分布の他の一例を示したグラフである。また、図１０は、図９に示すグラフを構成するＵ－Ｖ色平面を示した説明図である。図９及び図１０は、車体色ＢＣがグレーの車両１が赤色に塗装された道路上を走行した場合の第１の領域のＹＵＶ値の分布状態を示したものである。また、図１０中の符号ＢＣはＵ－Ｖ色平面上におけるグレーの車両の車体色位置を示し、符号ＸはＵ－Ｖ色平面上における赤く塗装された道路の色のおおよその位置を示したものである。

【0068】

車体色ＢＣがグレーの車両１が赤色に塗装された道路上を走行し、車体２に道路の赤色が広く映り込んだタイミングで取得された撮像画像Ｐ０の第１の領域Ａ１は、図９に示すように、車体色ＢＣあるいは車体色に近い色に比べ、道路の色に近い色の画素の方が多くなり得る。ここで、Ｕ－Ｖ色平面上におけるグレーの車両１の車体色ＢＣの位置と、道路の色の位置Ｘとは、図１０に示すように大きく離れている。

【0069】

そこで、本実施の形態に係る表示制御装置４０Ａのモノトーン化処理部５２では、記憶部５６に記憶された第１の閾値領域ＴＡを用いて、モノトーン化した際の色が車体色ＢＣに近い色となるように調整する。具体的には、モノトーン化処理部５２によるモノトーン化処理を開始すると、先ず、第１の領域Ａ１内の画像の各画素のＲＧＢ値を取得する。次に、ここで取得したＲＧＢ値を、上述した式（１）を用いてＹＵＶ値を算出する。そして、各画素に対応するＹＵＶ値のうち、Ｕ値及びＶ値が第１の閾値領域ＴＡ内に含まれる画素を選定し、ここで選定された画素のＵ値及びＶ値の中央値である第２の分布中央値を算出し、第１の領域Ａ１内の画像の各画素のＵ値及びＶ値を当該第２の分布中央値に置換する。

【0070】

図９及び図１０に示す例においては、第１の閾値領域ＴＡが、道路の色の位置Ｘを含まない領域に調整されている。そのため、前述のＵ値及びＶ値の置換を行うと、第１の領域Ａ１内の画像の各画素は、道路の色からの影響をほとんど受けることなく、車体色ＢＣに近い色にモノトーン化される。

【0071】

上述した通り、本実施の形態に係る表示制御装置４０Ａ及び画像表示装置１０Ａにおいては、車体２の広範囲に車体色ＢＣとは異なる風景の色が映り込んだ場合であっても、車体２部分が本来の車体色ＢＣと大きく異なる色でモノトーン化されることを抑えることができる。これにより、本実施の形態に係る表示制御装置４０Ａ及び画像表示装置１０Ａは、上述した第１の実施の形態に係る表示制御装置４０及び画像表示装置１０において述べた効果に加えて、車体部分が車体色ＢＣとは異なる色でモノトーン化されることで生じる運転者の違和感等を回避することができる。

【0072】

＜第３の実施の形態＞
車両１の夜間走行中等には、車体２に後方車両のヘッドライトの光や店舗の照明、信号等の外部光源が映り込むことがある。車体２の外部光源が映り込んだ領域は、外部光源が映り込んでいない領域に比べて非常に明度が高いため、モノトーン化処理を行う際の誤差の要因となり得る。

【0073】

以下には、上述した点を考慮した第３の実施の形態に係る表示制御装置４０Ｂ及び画像表示装置１０Ｂについて説明する。なお、本実施の形態に係る表示制御装置４０Ｂ及び画像表示装置１０Ｂは、表示制御装置４０Ｂの一部の構成以外は上述した第１の実施の形態に係る表示制御装置４０及び画像表示装置１０と同様の構成を含んでいてよい。したがって、以下には、本実施の形態に係る表示制御装置４０Ｂ及び画像表示装置１０Ｂのうち、上述した表示制御装置４０及び画像表示装置１０と異なる構成を中心に説明を行い、表示制御装置４０及び画像表示装置１０と同様の構成要素については同一の符号を付してその説明を省略するものとする。

【0074】

図１１は、本開示の第３の実施の形態に係る表示制御装置のソフトウェア構成の一例を示した機能ブロック図である。本実施の形態に係る表示制御装置４０Ｂは、図１１に示すように、上述した領域特定部５１やモノトーン化処理部５２等に加えて、高明度領域特定部５７をさらに含んでいてよい。

【0075】

高明度領域特定部５７は、撮像画像に含まれる明度の高い領域（以下、「高明度領域ＨＢ」という）を特定することが可能なものであってよい。ここで、高明度領域ＨＢとは、所定以上の明度を有する領域を指し、例えば画素のＲＧＢ値の合計が所定の値以上となる画素で構成される領域を指すものとする。

【0076】

図１２は、撮像画像内に第２の領域を特定する前及び後の画像の一例を示した模式図である。図１２を参照して、本実施の形態に係る表示制御装置４０Ｂによる表示画像Ｐ４の生成プロセスの一部を説明する。なお、以下には、主に第１の実施の形態において説明した表示画像の生成プロセスと異なる点を説明し、第１の実施の形態で説明したものと同様のプロセスについてはその説明を省略する。

【0077】

本実施の形態に係る表示制御装置４０Ｂは、撮像画像取得部５３にて、後方車両のヘッドライトを含む撮像画像Ｐ３（図１２（Ａ）参照）を取得すると、領域特定部５１にて撮像画像Ｐ３内の第１の領域Ａ１を特定すると共に、高明度領域特定部５７にて撮像画像Ｐ３内の高明度領域ＨＢを特定する。

【0078】

撮像画像Ｐ３内の第１の領域Ａ１と高明度領域ＨＢが特定されると、次に、図１２（Ｂ）に示すように、第１の領域Ａ１から高明度領域ＨＢを除いた第２の領域Ａ２を特定する。そして、この第２の領域Ａ２内の画像に対し、モノトーン化処理部５２にてモノトーン化処理を実施する、モノトーン化処理は、対象となる領域を第１の領域Ａ１ではなく第２の領域Ａ２とし、第２の領域Ａ２の色情報の中央値である第３の分布中央値で、第２の領域Ａ２内の画像の各画素のＵ値及びＶ値を置換することにより実現できる。

【0079】

上述した通り、本実施の形態に係る画像表示装置１０Ｂにおいては、モノトーン化処理を実施する領域から、外部光源が映り込んだ領域を除外している。これにより、本実施の形態に係る画像表示装置１０Ｂは、上述した第１の実施の形態に係る画像表示装置１０において述べた効果に加えて、車体２部分全体が外部光源に近い色でモノトーン化されることを抑制できる。そして、生成される表示画像Ｐ４は、運転者Ｄが見た際に違和感を覚えにくい自然な画像となる。

【0080】

第２及び第３の実施の形態として説示した構成は、組み合わせて用いることもできる。換言すると、表示制御装置は、上述した記憶部５６と高明度領域特定部５７の両方を含み得る。この場合は、例えば撮像画像内のモノトーン化する領域から高明度領域ＨＢを除外した後、モノトーン化する領域の色情報のうち、第１の閾値領域ＴＡ内のものの中央値である分布中央値を算出してモノトーン化処理を実施することができる。したがって、上述した各実施の形態で述べたのと同様の効果を得ることができる。

【0081】

上記各実施の形態においては、ＣＰＵ４１がＲＯＭ４２あるいはストレージ４４に格納されたプログラムを読み込んで実行した処理を、ＣＰＵ４１以外の各種のプロセッサが実行するようにしてもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等を挙げることができる。また、表示画像の生成プロセスを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア構成は、半導体素子等の回路素子を組み合わせた電気回路であり得る。

【0082】

本開示は上述した実施の形態に限定されるものではなく、本開示の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本開示の技術思想に含まれるものである。また、本開示において、各構成要素は、矛盾が生じない限りは１つのみ存在しても２つ以上存在してもよい。

【符号の説明】

【0083】

１ 車両
２ 車体
１０、１０Ａ、１０Ｂ 画像表示装置
２０ カメラ（撮像装置の一例）
３０ モニタ（表示装置の一例）
４０、４０Ａ、４０Ｂ 表示制御装置
５１ 領域特定部
５２ モノトーン化処理部
５３ 撮像画像取得部
５４ 表示画像出力部（表示部の一例）
５５ 平滑化フィルタ部
５６ 記憶部
５７ 高明度領域特定部
Ａ１ 第１の領域
Ａ２ 第２の領域
Ｄ 運転者
Ｐ０、Ｐ３ 撮像画像
Ｐ、Ｐ１、Ｐ２、Ｐ４ 表示画像
ＴＡ 第１の閾値領域
ＢＣ 車体色
ＨＢ 高明度領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】