特許 6867023 移動体用映像表示装置およびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6867023

(24)【登録日】2021年4月12日

(45)【発行日】2021年4月28日

(54)【発明の名称】移動体用映像表示装置およびその方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210419BHJP

   B60R 1/00 20060101ALI20210419BHJP

   B60R 1/04 20060101ALI20210419BHJP

   B60R 11/02 20060101ALI20210419BHJP

   G06T 7/593 20170101ALI20210419BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   B60R1/04 Z

   B60R11/02 C

   G06T7/593

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2017-118212(P2017-118212)

(22)【出願日】2017年6月16日

(65)【公開番号】特開2019-4348(P2019-4348A)

(43)【公開日】2019年1月10日

【審査請求日】2020年5月25日

【早期審査対象出願】

(73)【特許権者】

【識別番号】510179227

【氏名又は名称】ディーピーティー株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】特許業務法人明成国際特許事務所

(72)【発明者】

【氏名】佐藤 誠直

(72)【発明者】

【氏名】中井 智也

(72)【発明者】

【氏名】鈴木 輝基

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 国際公開第２０１６／１１３９８３（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／１５１９７８（ＷＯ，Ａ１）

【文献】 特開２０００−０１９２５９（ＪＰ，Ａ）

【文献】 特開２０００−１３２７０６（ＪＰ，Ａ）

【文献】 特開２００２−３４４９５８（ＪＰ，Ａ）

【文献】 特開２０１６−１０３２４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １／０４

Ｂ６０Ｒ １１／０２

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

移動体用映像表示装置であって、
移動体において視認可能な、少なくとも２次元の表示が可能なディスプレイと、
前記ディスプレイに表示する範囲をカラー画像として撮像する撮像部と、
前記範囲に存在する物体までの距離と当該物体が占める領域とを検出する物体検出部と、
前記領域のうち前記物体までの距離が予め定めた所定の範囲に入っている領域である占有領域以外の領域の前記カラー画像の鮮明度を、前記占有領域の前記カラー画像より相対的に低下させる処理を行なう画像処理部と、
前記処理されたカラー画像を前記ディスプレイに表示するよう出力する画像出力部と
を備える移動体用映像表示装置。

【請求項2】

請求項１記載の移動体用映像表示装置であって、
前記物体検出部は、
移動体に搭載され、前記撮像部によるカラー画像の撮像の範囲を撮像する少なくとも２台のカメラと、
前記少なくとも２台のカメラからの映像を解析して、前記２台のカメラから隔たった位置の物体までの距離と当該物体が占める占有領域とを演算する演算部と
を備える移動体用映像表示装置。

【請求項3】

前記２台のカメラのうちの１台は、前記撮像部と兼用する請求項２記載の移動体用映像表示装置。

【請求項4】

請求項１記載の移動体用映像表示装置であって、
前記物体検出部は、
移動体に搭載され、前記撮像部によるカラー画像の撮像の範囲を電磁波を用いてスキャンする装置と、
前記スキャンした電磁波の反射により、前記範囲に含まれる前記物体までの距離と当該物体が占める領域とを演算する演算部と
を備える移動体用映像表示装置。

【請求項5】

前記画像処理部は、前記撮像部により撮像されたカラー画像のうち、前記占有領域以外の領域のカラー画像に対して、シェード処理を行なう
請求項１から請求項４までのいずれか一項に記載の移動体用映像表示装置。

【請求項6】

請求項１から請求項５までのいずれか一項に記載の移動体用映像表示装置であって、
前記移動体の速度を検出する速度検出部を備え、
前記画像処理部は、前記検出した移動体の速度に応じて、前記占有領域を決定する際の所定の範囲を変更する
移動体用映像表示装置。

【請求項7】

請求項１から請求項６までのいずれか一項に記載の移動体用映像表示装置を、ルームミラー、バックミラー、ドアミラー、フェンダミラーのうちの少なくとも１つとして備える移動体。

【請求項8】

前記移動体は、３輪以上の車輪を有する乗用車、２輪以下の車輪を有する単車、農業用乗用車両、工事用車両、船舶、飛行機、鉄道車両のうちの１つである請求項７記載の移動体。

【請求項9】

移動体用の映像表示方法であって、
２次元の表示が可能なディスプレイを移動体において視認可能に搭載し、
前記ディスプレイに表示する範囲をカラー画像として撮像し、
前記範囲に存在する物体までの距離と当該物体が占める領域とを検出し、
前記領域のうち前記物体までの距離が予め定めた所定の範囲に入っている領域である占有領域以外の領域の前記カラー画像の鮮明度を、前記占有領域の前記カラー画像より相対的に低下させる処理を施し、
前記処理が施されたカラー画像のデータを前記ディスプレイに表示する
映像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両などの移動体において、後方の領域の映像を表示する技術に関する。

【背景技術】

【0002】

近年、車両のルームミラーやバックミラーなどの装置をビデオカメラと表示装置に置き換えようとする研究が進んでいる（例えば、下記特許文献１参照）。こうした車両などの移動体用の表示装置は、単にビデオカメラで撮像した映像を表示するだけでなく、画像認識により移動している車や歩行者などを検出し、これを強調して表示する、といった処理ができる点で、単純なバックミラーなどのミラー装置より優れる。

【0003】

また、特許文献２に示されている様に、ミラーに相当するディスプレイにおいて、自車から遠方に当たる領域となるほど画像を不鮮明にして、ディスプレイの表示に遠近感を持たせることも試みられている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平７−２２３４８７号公報

【特許文献2】特開２０１３−１８７５６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、これらの技術では、表示される画像が不自然なものになってしまい、ミラーを用いた虚像表示が持っていた豊かな情報の表示を再現し得ていない。例えば、引用文献１に記載の技術では、移動している車両や歩行者などを検出してこれを枠に囲うなどの手法で強調するので、画像の自然さは損なわれている。また引用文献２記載の技術では、撮像した画像の場所により遠近かを決めて表示しているので、近接する車両などの位置関係が想定したものでないと、対象までの遠近と画像の不鮮明さとが一致しない場合が考えられた。

【課題を解決するための手段】

【0006】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の態様や適用例として実現することが可能である。例えば、本発明の一つの態様は、移動体用映像表示装置としての態様である。この移動体用映像表示装置は、移動体において視認可能な、少なくとも２次元の表示が可能なディスプレイと、前記ディスプレイに表示する範囲をカラー画像として撮像する撮像部と、前記範囲に存在する物体までの距離と当該物体が占める領域とを検出する物体検出部と、前記領域のうち前記物体までの距離が予め定めた所定の範囲に入っている領域である占有領域以外の領域の前記カラー画像の鮮明度を、前記占有領域の前記カラー画像より相対的に低下させる処理を行なう画像処理部と、前記処理されたカラー画像を前記ディスプレイに表示するよう出力する画像出力部とを備える。

【0007】

（１）本発明の第１の態様は、移動体用映像表示装置が提供される。この移動体用映像表示装置は、移動体において視認可能な、少なくとも２次元の表示が可能なディスプレイと、前記ディスプレイに表示する範囲をカラー画像として撮像する撮像部と、前記範囲に存在する物体までの距離と当該物体が占める領域とを検出する物体検出部と、前記領域のうち前記物体までの距離が所定の範囲に入っている領域である占有領域以外の領域の前記カラー画像の鮮明度を、前記占有領域の前記カラー画像より相対的に低下させる処理を行なう画像処理部と、前記処理されたカラー画像を前記ディスプレイに表示するよう出力する画像出力部とを備える。

【0008】

この移動体用映像表示装置によれば、撮像したカラー画像をそのまま表示するのではなく、物体までの距離が所定の範囲に入っている占有領域以外の領域のカラー画像の鮮明度を、占有領域のカラー画像より相対的に低下させて表示するので、占有領域にある物体を他の領域よりも鮮明に表示することができ、視認性を向上できる。

【0009】

（２）こうした移動体用映像表示装置において、前記物体検出部は、当該移動体から前記撮像部によるカラー画像の撮像の範囲を撮像する少なくとも２台のカメラと、前記少なくとも２台のカメラからの映像を解析して、前記２台のカメラから隔たった位置の物体までの距離と当該物体が占める占有領域とを演算する演算部とを備えるものとしてよい。こうすれば、２台のカメラにより容易に、占有領域とそれ以外の領域とを検出することができる。

【0010】

（３）また、こうした移動体用映像表示装置では、２台のカメラのうちの１台は、カラー画像を撮像する撮像部と兼用してもよい。こうすれば、構成を簡略化することができる。

【0011】

（４）こうした移動体用映像表示装置において、前記物体検出部は、当該移動体から前記撮像部によるカラー画像の撮像の範囲を電磁波を用いてスキャンする装置と、前記スキャンした電磁波の反射により、前記範囲に含まれる前記物体までの距離と当該物体が占める領域とを演算する演算部とを備えるものとしてよい。こうすることでも、物体までの距離とその物体の存在する領域とを、容易に検出することができる。

【0012】

（５）こうした移動体用映像表示装置において、前記画像処理部は、前記撮像部により撮像されたカラー画像のうち、前記占有領域以外の領域のカラー画像に対して、シェード処理を行なうものとしてもよい。こうすれば、簡単な処理により、占有領域のカラー画像を他の領域のものより視認しやすくすることができる。

【0013】

（６）こうした移動体用映像表示装置において、移動体の速度を検出する速度検出部を備え、画像処理部は、検出した移動体の速度に応じて、占有領域を決定する際の所定の範囲を変更するものとしてもよい。こうすれば、移動体の速度に応じて、鮮明度を変更する範囲を変えることができる。例えば、移動体が高速で移動している際には、より後方まで鮮明に表示するようにしてもよい。また、逆に低速での後退時には、より近い範囲の物体を鮮明に表示するようにしてもよい。車庫入れなどの場合には、近い物体を鮮明に見たい場合があるからである。なお、手動スイッチなどにより、こうして機能をオン・オフできるようにしてもよい。

【0014】

（７）本発明の第２の態様は、上述した移動体用映像表示装置を、ルームミラー、バックミラー、ドアミラー、フェンダミラーのうちの少なくとも１つとして用いる移動体である。こうすれば、従来から用いられてきた各種ミラーの代わりとして用いた移動体を提供できる。

【0015】

（８）こうした移動体は、３輪以上の車輪を有する乗用車、２輪以下の車輪を有する単車、農業用乗用車両、工事用車両、船舶、飛行機、鉄道車両のうちの１つとしてよい。こうすれば、車両や船舶など、多様な移動体で、移動体様映像表示装置を利用できる。

【0016】

（９）本発明は、このほか、移動体用の映像表示方法として実施することも可能である。また、移動体用映像表示装置における画像処理方法や、移動体用映像表示装置を備えた車両の画像表示方法として実施することも差し支えない。

【図面の簡単な説明】

【0017】

【図1】実施形態の車両用映像表示装置が設けられた車両の平面視を示す説明図。

【図2】同じく側面視を示す説明図。

【図3】車両用映像表示装置の概略構成図。

【図4】同じくその全体構成を示す説明図。

【図5】車両用映像表示装置における画像処理表示処理ルーチンを示すフローチャート。

【図6】実施形態における距離情報生成処理を示すフローチャート。

【図7】距離情報生成処理において取り込まれたステレオ画像の一例を示す説明図。

【図8】画素に距離情報が設定された画像を例示する説明図。

【図9】車両間の距離について説明する説明図。

【図10】表示される画像の一例を示す説明図。

【図11】従来の表示例を示す説明図。

【図12】第２実施形態における画像処理表示処理ルーチンを示すフローチャート。

【図13】第３実施形態の車両用映像表示装置の概略構成図。

【図14】第３実施形態の車両用映像表示装置における画像処理表示処理ルーチンを示すフローチャート。

【発明を実施するための形態】

【0018】

Ａ．第１実施形態：
（Ａ１）ハードウェア構成：
第１実施形態としての車両用映像表示装置１０について説明する。この車両用映像表示装置１０が搭載された車両１５の平面視を示す図１、および同じくその側面視を示す図２に示すように、車両用映像表示装置１０は、２つのディスプレイ２０，３０と物体検出部としての物体検出撮像ユニット５０とを備える。ディスプレイ２０，３０は、右ハンドル車における運転者側と助手席側にそれぞれ設けられたドアミラーの位置に設けられている。ディスプレイ２０，３０は、２次元の画像を運転者から視認可能に表示する。これらのディスプレイ２０，３０は、運転者からすれば、車両の後方を中心とする状況を把握するための従来のドアミラーとして用いることができる。

【0019】

車両用映像表示装置１０の電気的な構成を図３に、模式的な構成を図４に、それぞれ示した。車両用映像表示装置１０は、上述したディスプレイ２０，３０や物体検出撮像ユニット５０の他に、画像処理および映像の出力を行なう画像処理部としての制御装置６０を備える。制御装置６０は、車両１５の他の制御装置と同様、ダッシュボード内部に収納され、ディスプレイ２０，３０や物体検出撮像ユニット５０と、ケーブルにより接続されている。こうした各装置間の接続は、有線により直接的に行なっても良いし、無線接続としてもよい。あるいは車内ＬＡＮ（ＣＡＮ等）を利用したネットワーク接続によっても良い。

【0020】

物体検出撮像ユニット５０は、２つのビデオカメラ５１Ｒ，５１Ｌを収納した物体検出カメラユニット５１と、カラー画像を撮像する撮像部５５とを備える。物体検出カメラユニット５１の２つのビデオカメラ５１Ｒ，５１Ｌは、モノクロで撮像するビデオカメラであり、図４に例示したように、所定距離だけ離間して設けられている。２つのビデオカメラ５１Ｒ，５１Ｌは、図４では、上下に離間して示しているが、車両１５においては、物体検出カメラユニット５１は、ビデオカメラ５１Ｒ，５１Ｌが車両幅方向（以下、左右方向とも言う）に離間するよう配置される。物体検出カメラユニット５１は、２つのビデオカメラ５１Ｒ，５１Ｌの画像から、後述する処理により、撮像された物体までの距離の検出を行なうために設けられている。車両１５後方の物体までの距離を検出するのであれば、ビデオカメラ５１Ｒとビデオカメラ５１Ｌとの離間方向は、左右方向に限る必要はなく、上下方向でもよい。撮像方向（この例では後方）に対して垂直な平面内であれば、どの方向に離間しても良い。ビデオカメラ５１Ｒ，５１Ｌが撮像した映像は、動画として、制御装置６０に出力される。

【0021】

また、本実施形態では、物体検出撮像ユニット５０では、２つのビデオカメラ５１Ｒ，５１Ｌと撮像部５５とは、一体のアセンブリとして組み立てたが、別体することも差し支えない。両者を一体として組み立てれば、ディスプレイ２０，３０に表示されるカラー画像と、このカラー画像に付与される距離感を検出するモノクロの画像との画角など、撮像条件が比較的近似するので、後述する画像処理において、物体検出カメラユニット５１と撮像部５５とが離れていることによる補正処理が省略または容易にできるというメリットがある。他方、両者を別体にすれば、物体検出撮像ユニット５０の配置の自由度が高まる。なお、物体検出撮像ユニット５０の車両における設置位置は、図１、図２に示した車両後部の上部に限らず、後部のトランクルーム周辺やナンバープレートの近く、あるいはリアウィンドの内側など、対象としている領域が撮像できれば、どこでもよい。後方を撮像する場合であっても、車両の中心やフロントガラスの上方などに物体検出撮像ユニット５０を設けてもよい。また、車両の幅方向に中心に設けてもよいが、車両幅方向中心からずれた位置に設けることも差し支えない。

【0022】

撮像部５５は、撮像したカラー画像を、制御装置６０に出力する。制御装置６０は、このカラー画像を元に、ディスプレイ２０，３０に表示する影像を生成する。従って、撮像部５５は、少なくともディスプレイ２０，３０に表示しようとする範囲を撮像する必要がある。もとより、撮像部５５は、ディスプレイ２０，３０に表示するより広い範囲を撮像し、その一部を利用するようにしてもよい。あるいは撮像部５５を複数台のビデオカメラにより構成し、制御装置６０において画像を合成して、ディスプレイ２０，３０への表示に利用しても良い。

【0023】

制御装置６０は、図３に示したように、後述する処理を行なうＣＰＵ６１、プログラムや各種データの保存等を行なうメモリ６２、画像処理専用のハードウェア構成を備えディスプレイ２０，３０に表示する映像信号を出力するＧＰＵ６３、撮像部５５からの映像信号を入力するカラー映像入力部６５、物体検出カメラユニット５１からの映像信号を入力する信号入力部６６、デジタル信号を処理する専用のチップであるＤＳＰ（Digital Signal Processor）６８などを備える。これらの各部は、バスにより相互に接続されている。

【0024】

（Ａ２）画像処理表示処理：
次に制御装置６０が行なう画像処理と表示処理について説明する。図５は、画像処理表示処理の概要をしめすフローチャートである。制御装置６０は、車両１５の図示しないイグニッションスイッチがオンとされるか、またはアクセサリモードにされると、図５に示した処理を繰り返し実行する。なお、図５では、ステップＳ１００とステップＳ２００−２１０とが平行して記載されているが、これは、両処理が、ＣＰＵ６１とＤＳＰ６８とを用いて実質的に同時に行なわれることを示している。ＣＰＵ６１からみれば、逐次処理である。

【0025】

図５に示した画像処理表示処理ルーチンが開始されると、
［１］物体検出カメラユニット５１からの映像信号に基づいて、距離情報を生成する処理（ステップＳ１００）と、
［２］撮像部５５からのカラー画像を取得し（ステップＳ２００）、コントラストを調整する処理（ステップＳ２１０）と
が同時に行なわれる。撮像部５５からのカラー画像の取得（ステップＳ２００）は、カラー映像入力部６５を介して、車両後方の画像をカラーで読込む処理であり、カラー画像は、本実施形態では、撮像部５５により、ＲＧＢ形式で読込まれる。コントラストの調整（ステップＳ２１０）は、取得したカラー画像を見やすくするために、カラー画像全体のコントラストを調整する処理である。一般には、コントラスト制限付き適用ヒストグラムの均等化処理を行なう。この処理は、画像内の分割された小さなブロックごとに処理をすることで、画像の局所領域のコントラストを強調し、細部の可視性を高めることができる。これらの処理（ステップＳ２００−２１０）は、カラー画像が撮像できる撮像部５５を用いて画像を取り込む場合の一般的な処理である。

【0026】

カラー画像の取得とコントラスト調整と平行して行なわれる距離情報生成処理（ステップＳ１００）は、物体検出カメラユニット５１からの映像を元に行なわれる処理である。その詳細を、図６に示した。この処理では、まず物体検出カメラユニット５１から、ステレオ画像を取得する処理を行なう（ステップＳ１１０）。ビデオカメラ５１Ｒおよびビデオカメラ５１Ｌからそれぞれの画像を取り込み、一対のステレオ画像とするのである。物体検出カメラユニット５１は、白黒の動画を出力するが、こうした動画は、毎秒３０フレーム程度の静止画像として扱うことができる。同時刻に取り込まれたビデオカメラ５１Ｒからの静止画と、ビデオカメラ５１Ｌからの静止画とを、ステレオ画像として出力するのである。

【0027】

こうして取得したステレオ画像の一例を図７に示した。本実施形態では、物体検出カメラユニット５１における２つのビデオカメラ５１Ｒ，５１Ｌは、左右方向に離間して配置されているので、同時に撮像されたそれぞれの画像は、同一ではなく、撮像された物体までの距離に応じたズレを含んだ画像となる。画像において、無限遠の位置を垂直に通る中心軸（以下、画像中心軸という）を想定すると、２つのビデオカメラ５１Ｒ，５１Ｌからの画像における物体の位置の画像中心軸からの隔たりの違い（ズレ）は、物体検出カメラユニット５１から近い物体ほど大きい。物体検出カメラユニット５１から遠くなるに従って、両画像における画像中心軸からの距離の違いは小さくなる。

【0028】

そこで、この原理を利用して、ステップＳ１１０で取得したステレオ画像を距離画像に変換する処理を行なう（ステップＳ１２０）。このステップＳ１２０以下の処理は、主にＤＳＰ６８により行なわれる。ＤＳＰ６８は、演算部として機能し、こうしたステレオ画像、つまり一対とされたビデオカメラ５１Ｒからの画像とビデオカメラ５１Ｌからの画像とを取り込み、画像に写された物体の左右方向ズレから、画素単位で距離のデータに変換し、画素毎に距離の値を備える距離画像に変換する。こうしたステレオ画像から距離画像に変換する処理は、ソフトウェアとしては周知のものであり、ＭＡＴＬＡＢなどのライブラリに関数として備えられている。ＤＳＰ６８はこの処理を予めハードウェアとして組み込んでおり、ステレオ画像から距離画像への変換を高速に実行する。

【0029】

こうして変換された距離画像の一例を図８に模式的に示す。図８は、図７に示したステレオ画像から距離画像に変換した例を示す。もとより、実際の画素はもっと小さなサイズだが、ここでは理解の便を図って、各画素は実際よりかなり大きくして描いた。ＤＳＰ６８は、ステレオ画像における各領域の画像中心軸からのズレ量に従って、車両１５の直ぐ後ろの路面を物体検出カメラユニット５１に最も近い位置Ｎ１として変換している。また、この位置Ｎ１より、もう少し隔たった路面を位置Ｎ２として変換し、車両１５の後続車両の映像と思われる領域を位置Ｎ３として変換している。

【0030】

その一方で、後続車両より後ろにの街路樹などの領域を位置Ｆ１として、後続車両より更に後ろの車両の映像と思われる領域を位置Ｆ２として、後続車両より更に後ろのあたりを位置Ｆ３として、それぞれ変換している。図８では、分りやすくするために、ステレオ画像内を上記のＮ１〜Ｎ３、Ｆ１〜Ｆ３の計６の領域に分けて示したが、実際の距離画像への変換処理（ステップＳ１２０）では、もっと細かく、最大２５５段階の距離情報が画素毎に付与される。もとよりこうした距離情報の細かさは、ＤＳＰ６８における設定により変更可能である。

【0031】

こうして距離画像が得られたら、この距離画像に対して、第１フィルタ処理を行なう（ステップＳ１３０）。第１フィルタ処理は、距離画像に存在する可能性があるノイズを除去する処理である。本実施形態では、Ｍｅｄｉａｎフィルタを用いて、ノイズ除去を行なう。解像度の低下が許容できる場合には、ぼかしフィルタを用いても良い。距離画像を生成した際に生じた画素単位のノイズが除去される。

【0032】

続いて、着目距離以外の画素をマスクする処理を行なう（ステップＳ１４０）。ここで着目距離とは、ディスプレイ２０，３０に表示する時、最も鮮明に表示したい物体が存在するとして設定した範囲の距離である。図９を用いて、この着目距離について説明する。図９は、車両用映像表示装置１０を搭載した車両１５とその後ろに位置する後続車両１１、１２を側面視で示す説明図である。

【0033】

運転者が、ドアミラーで自車両の後ろを見ているとき、ドアミラーに映ったすべての物体を等しく見ている訳ではない。運転者は、運転にとって特に重要な距離、例えば追突される虞のある範囲や、車線変更に際して考慮すべき範囲に存在する後続車両などを中心にドアミラーの映像を見ている。図９を例にとれば、距離Ｌ１は、ブレーキなどを踏んだ場合に後続車両に追突される虞があると判断している距離であり、距離Ｌ２は、車線変更などに際して後続車両の位置を考慮すべきと判断している距離である。こうした距離は、被験者を用いて実験的に求めておくことができる。

【0034】

距離画像において各画素毎に距離の情報が記録されているから、ステップＳ１４０では、各画素毎の距離情報を参照し、着目距離に入っている画素だけを残し、他をマスクする処理を行なうのである。他をマスクするのは、続くステップＳ１５０で行なうフィルタ処理の対象画素数を減らし、処理を短時間に完了させるためである。

【0035】

ステップＳ１５０では、第２フィルタ処理を行なうが、この第２フィルタ処理は、本実施形態では、モフォロジー処理である。モフォロジー処理は、元の画像と、元の画像を画素単位で移動させた画像との論理積を取り、または論理和を取ることで、新たな画像を作成する処理である。論理積を取ると、元の画像において同じ性質（距離情報）を持っている画素の範囲は縮退し、論理和を取ると、元の画像のおいて同じ性質を持っている画素の範囲は膨張する。こうした縮退と膨張とを何回か行なうことで、距離情報において、距離情報が同じ程度の画素の集まりで、一定の大きさより小さい領域があった場合、この領域を消失させることができる。この場合、一般に何回かの収縮の後に何回かの膨張を行うオープニングが用いられる。もとより、何回かの膨張の後に何回かの収縮を行うクロージングを用いても良い。オープニングは、画像に点在する小さな領域を、ノイズとして除去するために用いられる。一方、クロージングは、小さな領域をつなぎ合わせるといった目的で用いられる。

【0036】

こうして距離画像からノイズを除去する処理を行なった後、着目距離に入っている領域を占有領域として抽出する処理を行なう（ステップＳ１６０）。図９において、仮に距離Ｌ１からＬ２までが着目距離であるとすれば、図８において、領域Ｎ３が占有領域として抽出されることになる。続いて、距離画像の各画素に距離情報を設定する処理を行なう（ステップＳ１７０）。この処理は、ステップＳ１６０で抽出した占有領域Ｎ３には、値０を設定して、占有領域Ｎ３以外には、所定の正の値（例えば値６４）を設定する。なお、占有領域Ｎ３以外については、ステレオ画像から抽出した距離に対応する正の値を設定しても良い。このとき、着目距離より短い距離については、着目距離より長い距離と同様に、距離に応じた正の値を設定しても良い。ステップＳ１７０の処理の後で、「ＮＥＸＴ」に抜けて、図６に示した距離情報生成処理を終了する。

【0037】

上述した距離情報生成処理（ステップＳ１００）と、カラー画像の取得およびコントラストの調整（ステップＳ２００−２１０）とを行なった後、両方の処理結果を用いて、カラー画像に対して距離情報によりシェード処理を行ない（ステップＳ３００）、シェード処理した画像をディスプレイ２０，３０に出力して表示する画像表示処理（ステップＳ４００）を行なう。これらの処理は、ＧＰＵ６３を用いて行なわれる。

【0038】

距離情報を用いたシェード処理とは、コントラストの調整がなされた後のカラー画像の明度を、距離情報によって調整する処理である。この処理は、コントラスト調整済みのカラー画像の各画素のＲＧＢ値を読込み、これに距離情報を加える処理である。距離情報は、上述したように、着目距離の範囲に入っている占有領域については値０であり、それ以外の領域では正の値を持つ。従って、ＲＧＢに距離情報を加えると、着目距離に入っている占有領域（図８、占有領域Ｎ３）については、ＲＧＢ画像は何も変化しないが、着目距離に入っていない領域（Ｎ３以外の領域）については、ＲＧＢの値は大きくなり、画像は明るくなる。即ち、シェード処理されることになる。シェード処理されることにより、画像の鮮明度は変化する。

【0039】

この場合の画像を図１０に例示した。図１１は、シェード処理しない場合の画像の表示例である。図１０、図１１を比較すれば分るように、本実施形態では、着目距離に入っている占有領域Ｎ３のカラー画像は、撮像部５５より撮像されコントラスト調整された画像がそのまま表示されるのに対して、着目距離に入ってない領域（Ｎ３以外の領域）のカラー画像は、シェード処理され、いわば霧がかかったような白っぽい画像として表示される。このため、運転者が最も注目するであろう着目距離に入っている占有領域の後続車両が、ディスプレイ２０，３０に見やすく表示され、それ以外の領域の車両や道路両脇の街路樹や路肩などは、薄く表示され、占有領域に存在する後続車両等の視認を邪魔しない。

【0040】

上記実施形態では、着目距離に入っている占有領域Ｎ３以外は、同じ正の値（本実施形態では値６４）を設定するものとしたが、着目距離に入ってない領域について、距離情報を、距離に応じた正の値として設定しても良い。この場合、着目距離より遠くなるに従って、画像はより明るくなる。距離情報を加えた結果が最大値（ＲＧＢ各色８ビットで表現している場合は、各色２５５）を越えれば、それ以上は明るくならないので、その領域の画像の明暗の差も小さくなり、一層ぼんやりした画像、即ち鮮明度が相対的に低下した画像となり、着目距離に入っている占有領域Ｎ３の画像を、より際立たせることができる。

【0041】

上記実施形態では、着目距離より近い領域については、着目距離より遠い場合と同様に、シェード処理により画像を明るくしたが、着目距離より小さい領域では、距離情報を、着目距離に入っている占有領域の場合と同様に値０としても差し支えない。この場合は、車両１５の後方直後から、着目距離に入っている占有領域までは、ＲＧＢ値に変化は生じない。もとより、着目距離より近い領域についての距離情報を負の値とし、その領域のＲＧＢ値を小さくしても良い。

【0042】

上記シェード処理は、ＲＧＢで表現されたカラー画像において、ＲＧＢ値のそれぞれに所定の値を加えることにより実施したが、元のカラー画像がＹＣｂＣｒの形式など、輝度情報を独立で持つ形式で撮像されている場合には、輝度信号Ｙを高めるだけの処理としても良い。ＹＣｂＣｒは、輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒを用いて表現されるカラー画像信号なので、輝度信号Ｙを増加するだけで、画像を明るくすることができるからである。もとより、輝度信号Ｙを大きくするのに合わせて、２つの色差信号Ｃｂ，Ｃｒを小さくしても良い。他の画像信号の形式においても、同様に、画像を明るくする操作を行なえば良い。

【0043】

ここでは、三原色の画像信号ＲＧＢや輝度信号Ｙに値を足すことで、シェード処理を行なったが、値１を上回る値を乗じることにより、シェード処理を行なっても良い。デジタル信号とされているＲＧＢや輝度信号Ｙを、左に１ないし数ビットシフトする操作を行なうものとしても良い。

【0044】

Ｂ．第２実施形態：
次に第２実施形態について説明する。図１２は、第２実施形態の車両用映像表示装置１０における画像処理表示処理ルーチンを示すフローチャートである。第２実施形態では、ハードウェア構成は、第１実施形態と同じであり、制御装置６０が行なう画像処理表示処理ルーチンが異なる。第１実施形態と同様に、物体検出カメラユニット５１からの信号を用いた距離情報生成処理（ステップＳ１００）、撮像部５５からのカラー画像の取得やコントラストの調整（ステップＳ２００−Ｓ２１０）を行なった後、カラー画像に対する距離情報を用いたシェード処理（ステップＳ３００）を行なう。

【0045】

第２実施形態では、これらの処理に加えて、以下の処理を行なう。即ち、第２実施形態では、コントラストの調整（ステップＳ２１０）済みのカラー画像に基づいて、人物の抽出を行なう（ステップＳ２２０）。この処理は、車両の後方を撮像した撮像部５５によるカラー画像中に存在する人物を抽出する処理である。こうした処理は、人物を含む多数のカラー画像を機械学習させることにより容易に実現できる。人物を抽出したあと、抽出した人物を囲う枠、例えば抽出した人物像に外接する矩形の枠画像を生成する処理を行なう（ステップＳ２３０）。

【0046】

その後、この枠画像を、シェード処理済みの画像に合成して、画像表示処理を行なう（ステップＳ４００）。この結果、図１０に示した画像表示に加えて、視界に人物が写っていると判断すると、その人物が枠付で表示されることになる。なお、こうした処理を行なう場合、人物までの距離情報を、値０として、着目距離に入っている領域と同様に、他の領域より見やすく表示しても良い。あるいは、撮像部５５を用いて後方を撮像している場合には、人物の抽出と枠画像の生成は、車両１５からバックしている場合に限って行なうものとしても良い。

【0047】

Ｃ．第３実施形態：
次に第３実施形態について説明する。第３実施形態の移動体用映像表示装置１０Ａは、図１３に示すように、第１，第２実施形態とほぼハードウェア構成を備えるが、以下の点で、第１，第２実施形態と異なる。同一の構成については、同一の符号を付して、説明は省略する。

【0048】

第３実施形態の移動体用映像表示装置１０Ａは、物体検出撮像ユニット１５０として、第１，第２実施形態と同じようにカラー画像を撮像する撮像部５５を備えるが、物体検出カメラユニット５１に代えてライダ（ＬｉＤＡＲ）１５１を備える。ライダ１５１は、周知のように、ミリ波レーダ等を用いて物体の検出と測距を行なう装置である。ライダ１５１を用いる関係では、制御装置１６０内にも、信号入力部６６に代えてレーダ処理部１６６を備える。レーダ処理部１６６は、ライダ１５１を駆動し、ライダ１５１からの信号を処理する回路である。

【0049】

制御装置１６０は、この方か、外部と通信するための通信部１６９を備える。通信部１６９は、第３実施形態では、車両１５に搭載された車両制御ＥＣＵ２００と通信し、車両制御ＥＣＵ２００から種々の信号を受け取る。制御装置１６０が１６９を用いて車両制御ＥＣＵ２００から受け取る信号には、車両１５の速度センサ２１０が検出した車速Ｖや、車両１５のインスツルメントパネル（図示省略）に設けられた手動スイッチ２２０のオンオフ状態などがある。通信部１６９は、ダイレクトに車両制御ＥＣＵ２００と通信してもよいが、車内ＬＡＮ（ＣＡＮ）などを利用して、信号のやり取りを行なってもよい。

【0050】

以上のハードウェア構成を前提として、第３実施形態における移動体用映像表示装置１０Ａが行なう画像処理表示処理について説明する。図１４は、第３実施形態における画像処理表示処理ルーチンを示すフローチャートである。この処理を開始すると、撮像部５５を用いたカラー画像の取得とコントラストの調整（ステップＳ２００、Ｓ２１０）については、第１実施形態と同様に処理を行なう。

【0051】

他方、距離情報生成処理Ｓ１００Ａは、物体検出カメラユニット５１に代えてライダ１５１を用いるので、第１実施形態とは異なり、撮像部５５による撮像範囲をライダによってスキャンし（ステップＳ１８０）、スキャンした結果をレーダ処理部１６６を介して入力し、距離画像を作成する処理を行なう（ステップＳ１９０）。ライダ１５１はスキャンした範囲に物体があれば、その物体までの距離を検出するが、物体は所定の領域を占めているので、結局、図８に示したように、領域毎の距離の情報を取得することができる。そこで、カラー画像に対するシェード処理を行なうステップＳ３００での処理に備えて、ライダ１５１からの信号を処理して、第１，第２実施形態で用いたのと同じ距離画像を作成するのである。

【0052】

これらの処理の後、カラー画像に対するシェード処理（ステップＳ３００）を行なうが、第３実施形態では、こごで以下の処理を行なう。まず車両制御ＥＣＵ２００と通信して、手動スイッチ２２０の状態を読み込む（ステップＳ３１０）。次にこの手動スイッチ２２０がオンか否かの判断を行ない（ステップＳ３２０）、オンであれば、更に車両制御ＥＣＵ２００と通信して、車速Ｖを読込む処理を行なう（ステップＳ３３０）。車速Ｖは、車両制御ＥＣＵ２００が速度センサ２１０から読込んだ値である。

【0053】

こうして読込んだ車速Ｖに応じて、シェード処理を行なわない範囲を決定する（ステップＳ３４０）。ここでは、車速Ｖが−１０〜０ｋｍ／時の範囲にあるとき、着目距離を車両１５の後方０〜３メートル程度とし、この範囲外をシェード処理しない範囲としている。つまり車両１５がゆっくり後退している場合にシェード処理しない範囲を車両１５に近い範囲としている。これらの処理（ステップＳ３３０，Ｓ３４０）の後、ステップＳ３５０に移行する。他方、手動スイッチ２２０がオンでなければ、ステップＳ３３０，Ｓ３４０の処理を行なわず、ステップＳ３５０に直接移行する。ステップＳ３５０では、コントラスト調整済みのカラー画像に対して、所定範囲外に対してシェード処理を行ない、その処理結果をディスプレイ２０，３０に表示する（ステップＳ４００）。

【0054】

上記処理を行なう第３実施形態によれば、手動スイッチ２２０がオンになっていると、車速Ｖが−１０〜０ｋｍ／時の範囲にあると、シェード処理せずに鮮明な画像を表示する範囲（鮮明な画像を表示する着目範囲）を、車両１５の後方の近接した範囲（ここでは、０〜５メートル）とし、その範囲外の領域に対してシェード処理を行なう。従って、車両がゆっくり後退するような場合、例えば車庫入れなどの場合に、車両１５近傍を容易に視認することができる。また、手動スイッチ２２０がオンでなければこうした車速Ｖによる鮮明な画像を表示する着目範囲を変更しないので、通常と同じ着目範囲の画像を鮮明に表示することができる。従って、状況に応じて所望の画像をディスプレイ２０，３０に表示させるこことができる。なお、この実施形態では、手動スイッチ２２０がオンの時に画像を鮮明に表示する範囲を車両１５に近接する範囲に変更するのは、車速Ｖが−１０〜０ｋｍ／時の範囲にあるときとしたが、これらの速度範囲や、着目距離は、種々の運転状態に合わせて調整することができる。例えば、車速が８０〜１００ｋｍ／時の範囲にあるときには、着目距離を、時速８０ｋｍ以下の時よりも遠くまでとしてもよい。高速走行時には、挙動を確認すべき後続車両の範囲を拡げた方が望ましいからである。

【0055】

Ｄ．他の実施形態：
第１，第２実施形態では、距離情報の生成に、２台のビデオカメラ５１Ｒ，５１Ｌを備えた物体検出カメラユニット５１を用いたが、第３実施形態として示したように、ステレオ画像に基づく距離情報の抽出に代えて、レーダなど、電磁波を用いたスキャンによって物体から反射する電磁波を検出し、物体までの距離を検出する装置構成を採用することも差し支えない。こうした装置として、ミリ波レーダなどのライダ（ＬｉＤＡＲ）が実用化されているが、マイクロ波を用いた構成など、他の構成を採用することも可能である。あるいはカメラとレーダとを組み合わせても良い。また、２台のビデオカメラ５１Ｒ，５１Ｌの少なくとも１つをカラーを撮像できるビデオカメラとし、撮像部５５の機能を兼用する実施形態としても良い。この場合は、ビデオカメラを１台省略することができる。また、撮像部５５は、後方以外の方向を撮像しても良い。あるいは１８０度以上の画角をもったカメラとして構成し、乗員が指示した範囲などを選択的に表示するものとしてもよい。この場合、占有領域を検出するための物体検出カメラユニット５１のビデオカメラ５１Ｒ，５１Ｌは、撮像部５５と同様に広い範囲を撮像する画角を持ったものにしてもよいし、鮮明度を変更する処理を行なう範囲のみを撮像するようにしてもよい。あるいは複数台の物体検出カメラユニット５１を設け、領域毎に使い分けるようにしてもよい。

【0056】

上記実施形態では、車両用映像表示装置１０は、車両１５後方の映像をドアミラーに設けられたディスプレイ２０，３０に表示したが、車両１５の前方や側方を撮像し、これを表示するもとのしてもよい。あるいは、前方、側方、後方のうち、二つ以上を組み合わせて広い範囲を表示する装置として実現してもよい。一つのディスプレイにこれらの画像を切り換えて表示するものとしてもよい。ディスプレイは、ルームミラー、バックミラー、フェンダミラーなどの一つとして設けても良い。あるいは２つ以上に設けてもよい。またディスプレイは、液晶表示装置、有機ディスプレイなど、二次元の画像を表示できるものであれば、どのようなものであってもよい。これらのディスプレイは、移動体から視認できればよく、インスツルメントパネルなどに胸像を表示するものとして実現してもよい。

【0057】

上記実施形態では、着目距離に入っていない領域については、シェード処理することにより、視認性をわざと低くして、物体が着目距離に入っている占有領域内の車両等の視認性を相対的に高める処理をしたが、シェード処理に限る必要はなく、例えば着目距離に入っていない領域についてはぼかし処理やコントラストを低下させ処理などを行なうものとしてよい。ディスプレイ２０，３０に画像を表示する際に、着目距離に入っていない領域の画像のみ、映像を表示するレートを間引くようにしてもよい。つまり、全画素を３０フレーム／秒で表示している場合、着目距離に入っていない領域では、３０フレームのうちの何割かを白色の画像に差し替えて表示すると言った処理でも同様の視覚的効果を得ることができる。

【0058】

上記実施例では、シェード処理などはソフトウェアにより実現したが、ディスクリートな回路構成で実現することも可能である。同様に、他の処理、例えばステレオ画像から距離画像に変換する処理なども、ハードウェアにより実現しても良い。

【0059】

移動体としては、３輪以上の車輪を有する乗用車、２輪以下の車輪を有する単車、農業用乗用車両、工事用車両、船舶、飛行機、鉄道車両など種々の移動体が考えられる。例えば、コンバインなどの農業用車両や、フォークリフトやトレーラーなどの工事用の特殊車両などに適用することも可能である。こうした特殊車両では、通常の車両と比べて運転席が特殊な位置にあるため、ミラーなどで後方の視界を確認する場合でも、どの領域に着目したらよいかは、経験を積まないとすぐには分からない場合がある。本発明の移動体用映像表示装置を用いれば、予め用意した着目距離でかつ物体の占有領域を抽出して、条件を満たす領域を見やすく表示できる。このため運転者は、必要な領域の情報を素早く確認することができる。こうした他の移動体におけるディスプレイ２０，３０や物体検出撮像ユニット５０の配置は、移動体の形状や、走行上の特徴などに合わせて決定すればよい。

【0060】

以上本発明のいくつかの実施形態について説明したが、本発明は、これらの実施形態に限らず、種々なる態様で実施できることは勿論である。例えば、車両用映像表示装置の制御方法や移動体用映像表示装置の製造方法、調整方法等として実施することも可能である。

【符号の説明】

【0061】

１０…車両用映像表示装置
１１，１２…後続車両
１５…車両
２０，３０…ディスプレイ
５０…物体検出撮像ユニット
５１…物体検出カメラユニット
５１Ｒ，５１Ｌ…ビデオカメラ
５５…撮像部
６０…制御装置
６１…ＣＰＵ
６２…メモリ
６３…ＧＰＵ
６５…カラー映像入力部
６６…信号入力部
６８…ＤＳＰ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】