特許 6649063 車両後方表示装置及び表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6649063

(24)【登録日】2020年1月20日

(45)【発行日】2020年2月19日

(54)【発明の名称】車両後方表示装置及び表示制御装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20200210BHJP

   B60R 1/00 20060101ALI20200210BHJP

   G06T 7/20 20170101ALI20200210BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T7/20 300B

【請求項の数】7

【全頁数】9

(21)【出願番号】特願2015-235644(P2015-235644)

(22)【出願日】2015年12月2日

(65)【公開番号】特開2017-103627(P2017-103627A)

(43)【公開日】2017年6月8日

【審査請求日】2018年4月6日

(73)【特許権者】

【識別番号】317011920

【氏名又は名称】東芝デバイス＆ストレージ株式会社

(74)【代理人】

【識別番号】110000235

【氏名又は名称】特許業務法人 天城国際特許事務所

(72)【発明者】

【氏名】宍戸 博

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１０−１７９８５０（ＪＰ，Ａ）

【文献】 特開２０１６−０４０１４０（ＪＰ，Ａ）

【文献】 特開２００４−３０６７９２（ＪＰ，Ａ）

【文献】 特開２００９−２６０４４２（ＪＰ，Ａ）

【文献】 特開２０１１−１８８０２８（ＪＰ，Ａ）

【文献】 特開２０１０−１９１８２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｂ６０Ｋ ３５／００

Ｇ０８Ｇ １／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

車両の後方を撮像する車載カメラと、
運転手の上半身を撮像する運転手状態検出部と、
前記運転手状態検出部で撮像された映像信号に基づいて、運転手の頭部の動きを追跡して得られた移動方向と移動速度を含む頭部の動きの追跡情報から、所定の移動速度よりも小さな頭部の動きに伴う追跡情報を除去し、
前記車載カメラで撮像された映像信号に基づいて前記除去後の頭部の動きの追跡情報における運転手の頭部の動きの方向に対応させて表示される映像信号の表示範囲を移動させるように後方映像を生成して、映像信号として出力する制御部と、
前記制御部から送出された映像信号に基づいて運転手の頭部の動きを反映させた後方映像を運転手に対して表示する表示部とを
備える車両後方表示装置。

【請求項2】

前記制御部は、
前記運転手状態検出部で撮像された映像信号に基づいて、運転手の上半身の輪郭を検出し、該輪郭の形状から運転手の頭部の位置を検出し、
運転手の顔の候補領域に対して輝度勾配方向共起 (CoHOG) 特徴量を利用して運転手の顔の輪郭を検出し、
特定した顔の輪郭と顔の特徴点との幾何関係から顔の向きや位置を含む頭部の位置を検出する請求項１に記載の車両後方表示装置。

【請求項3】

前記制御部は、
逐次追跡アルゴリズムであるパーティクルフィルタを利用して頭部の動きを初期位置から次の状態として推定し、
時間連続な画像列を利用したオプティカルフローを用いて頭部の移動方向および移動速度を推定する請求項２に記載の車両後方表示装置。

【請求項4】

前記制御部は、前記所定の移動速度が５０ｍｍ／ｓｅｃ以下の運転手の頭部の動きについては、頭部の動きの追跡情報から除去する請求項１乃至請求項３のいずれか１項に記載の車両後方表示装置。

【請求項5】

前記所定の移動速度は、ユーザである運転手が調整可能である請求項１乃至請求項４のいずれか１項に記載の車両後方表示装置。

【請求項6】

前記車載カメラで撮像された映像信号に基づいて、画像から有効画像を切り出す位置を移動させ、有効画像上で自車両の揺れによる影響を除去する請求項１乃至請求項５のいずれか１項に記載の車両後方表示装置。

【請求項7】

車両の運転手の頭部の動きを撮像して得られた信号から、前記運転手の頭部の動きを追跡して移動方向と移動速度とを含む頭部の動きの追跡情報を求めると共に、
前記車両の後方を撮像した映像信号を運転手に対して表示する表示部に対し、前記移動速度が所定の移動速度よりも小さな場合を除き前記追跡情報に基づいて前記表示部に表示される前記映像信号の表示範囲を移動するよう制御する表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、車載カメラで車両の後方を撮像し、その映像を運転手が視認できる車両後方表示装置及び表示制御装置に関する。

【背景技術】

【0002】

運転手がルームミラーにより車両の後方周囲を確認する際に、ルームミラーに映っている範囲だけでなく、その範囲の周囲の様子を確認したい場合がある。このような場合、運転手は、ルームミラーの向きを変えずに、頭部を動かしてルームミラーに映っている範囲を移動させる必要がある。

【0003】

一方、ルームミラーによることなく、後方視界の視認性を向上させるものとして、車両の後方を撮像する車載カメラを設置し、フロントガラスの内側の運転手が視認できる位置に設置した表示装置に、後方視界の映像を表示する車両後方表示装置が提案されている。

【0004】

このような車両後方表示装置では、あくまでも車載カメラが撮像した後方映像を表示するため、表示範囲が固定されている。このため、車両後方表示装置に映し出される表示範囲を移動させようと運転手が頭部を動かしても、表示範囲は移動しない。この状態は、通常のルームミラーを利用した後方視界の確認の動きと異なるため、運転手に違和感を感じさせる。

【0005】

そこで、運転手の頭部の動きを検出し、頭部の動きに合わせて車両後方表示装置に映し出される表示範囲を移動させるようにすることも提案されている。

【0006】

しかしながら、運転手の頭部は、車両の揺れや自分の無意識の動きで、小刻みに動き続ける。運転手の無意識な頭部の動きにそのまま合わせて表示範囲を移動させると、表示内容が小刻みに動いたり、運転手が意図していない表示範囲の表示が起きて、見づらくなるという問題がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開昭５８−２０９６３５号公報

【特許文献2】特開２０１０−６４７１４号公報

【特許文献3】特開２００８−１４１５７８号公報

【特許文献4】特開２０１１−１８８０２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が解決しようとする課題は、運転手の意図しない小刻みな動きによる見づらさを改善させることのできる車両後方表示装置及び表示制御装置を提供することである。

【課題を解決するための手段】

【0009】

実施形態の車両後方表示装置は、車両の後方を撮像する車載カメラと、運転手の上半身を撮像する運転手状態検出部と、前記運転手状態検出部で撮像された映像信号に基づいて、運転手の頭部の動きを追跡して得られた移動方向と移動速度を含む頭部の動きの追跡情報から、所定の移動速度よりも小さな頭部の動きに伴う追跡情報を除去し、前記車載カメラで撮像された映像信号に基づいて前記除去後の頭部の動きの追跡情報における運転手の頭部の動きの方向に対応させて表示される映像信号の表示範囲を移動させるように後方映像を生成して、映像信号として出力する制御部と、前記制御部から送出された映像信号に基づいて運転手の頭部の動きを反映させた後方映像を運転手に対して表示する表示部とを備える。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る車両後方表示装置の全体配置を示す概略図である。

【図2】車両室内における運転手状態検出部および表示部の取付位置の一例を示す図である。

【図3】運転手の頭部の動きと表示部に表示される後方映像の移動の関係を説明する図である。

【図4】本実施形態に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。

【図5】本実施形態の変形例に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の一実施の形態について、図面を参照して説明する。

【0012】

図１は、本発明の実施形態に係る車両後方表示装置の全体配置を示す概略図である。図１に示すように、本発明の実施形態に係る車両後方表示装置１００は、主として車載カメラ１０と、運転手状態検出部２０と、制御部３０と、表示部４０とから構成されている。

【0013】

本実施形態では、車両の後方を撮像するために、車載カメラ１０を車両のリアウインドウの縦の中心線の上部に設置している。

【0014】

車載カメラ１０は、運転手が自車両の後方を見た際の感覚と距離感が同程度になるように、後方視界を撮像できることが望ましい。したがって、自車両の後続車との間隔が実際とは異なって見える広角の光学系のものは適していない。例えば、焦点距離が５０ｍｍ程度のカメラが好適である。さらに、夜間でも自車両の後方が撮像できるように、高感度の光学系を備えることが好適である。

【0015】

車載カメラ１０は、明るい箇所と暗い箇所とのコントラストを高めたHDR（ハイダイナミックレンジ）画像が得られるカメラが好適である。

【0016】

なお、車載カメラ１０に対して水平方向に旋回させるパンニング機能を、車載カメラ１０に具備させることもできる。

【0017】

車載カメラ１０で得られた映像信号は、制御部３０に送られる。

【0018】

図２は、車両室内における運転手状態検出部２０および表示部４０の取付位置の一例を示す図である。運転手状態検出部２０は、運転手の状態を映像によって認識するもので、運転手の上半身を撮像する。運転手状態検出部２０は、認識する運転手の状態として、運転手の頭部の位置、視線の向き、顔の向き、顔の傾き、開眼度等の情報を取得することができ、本実施形態では、運転手の頭部の位置の情報を利用する。

【0019】

運転手状態検出部２０は、例えば、運転手の前のダッシュボード上に設置され、あるいはダッシュボード内に埋め込まれる。

【0020】

運転手状態検出部２０は、太陽光や運転手のサングラス着用の影響下であっても、正確に運転手の頭部の位置を検出することができるよう、例えば、近赤外線カメラが好適である。運転手状態検出部２０の内部には、近赤外光の波長以外の不要波長光をカットするフィルタを内蔵させることにより、日中における画像のＳ／Ｎ比を高めるのが望ましい。また、運転手状態検出部２０の前面には可視光カットフィルタを備えるのが好適である。

【0021】

運転手状態検出部２０において撮像して取得した映像信号は、制御部３０に供給される。

【0022】

制御部３０は、運転手状態検出部２０において撮像して取得した映像信号および車載カメラ１０で得られた映像信号に後述する種々の画像処理を施し、表示部４０で表示する映像信号を生成する。

【0023】

制御部３０は、自車両に搭載された他の電子機器の動作を制御することも可能であり、例えば、自車両に搭載されたヘッドライト、テールライト、ブレーキライト及びルームライト等の点灯／消灯を行うための電子機器、オートマチックにより変速を行うための電子機器等の動作を更に制御する構成としてもよい。

【0024】

制御部３０は、例えば、演算処理を行うＣＰＵ又はＭＰＵ等の処理装置、データを記憶するＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリ等のメモリ、及び他の電子機器と通信を行うための通信インタフェース等により構成することができる。

【0025】

＜頭部の位置検出＞
制御部３０は、運転手状態検出部２０において運転手の上半身を撮像して取得した映像信号に対して周知の画像認識技術を適応し、運転手の頭部の位置を検出する。制御部３０は、入力した映像信号から得られる画像に対して、上半身と思われる輪郭の検出、画像中の画素値を０か１にする２値化を行い、画像内を左上から右下まで全検索するウインドウ走査により輪郭の形状を評価する。

【0026】

続く上半身の詳細な検出手法として、例えば、画像内の特徴量に着目した、輝度勾配方向共起 (CoHOG) 特徴量によるものが適用できる。これは、上半身を写した画像において、運転手の顔の候補領域を複数のブロックに分割して、ブロック毎に、２つの点で、エッジ方向の組合せをヒストグラム化して、どのくらいの頻度で同時に存在（共起）するかを４種類の距離にある３０個の点との間で調べるものである。CoHOG 特徴量を利用することにより、詳細に運転手の顔の領域（輪郭）を検出することができる。

【0027】

特定した顔の領域（輪郭）から、目、鼻、口などの顔の特徴点（部品）を検出し、これら顔領域と各部品位置の幾何関係から顔の向きや位置を含む頭部の位置を検出する。

【0028】

＜頭部の動き算出（追跡）＞
次に、制御部３０は、連続した映像信号に基づいて、頭部の動きを算出（追跡）する。本実施形態における動画像中の頭部の追跡手法としては、例えば、パーティクルフィルタというアルゴリズムを用いた物体追跡手法を適用することができる。

【0029】

パーティクルフィルタは、物体の検出と追跡を同時に行う、逐次追跡アルゴリズムであって、追跡の終点を予め必要としない逐次追跡であり、かつ、計算も軽いので、リアルタイム処理が可能である。パーティクルフィルタは、初期位置を設定し、現在の状態から起こりうる多数の次の状態を、数百又は数千のパーティクル（粒子）に見立て、全パーティクルの尤度に基づいた重みつき平均を次の状態として推定しながら追跡を行っていく。

【0030】

状態推定モデルには、画像中から得たオプティカルフローを用いて、頭部の移動方向や速度を推定する。オプティカルフローは、時間連続な画像列を利用して、画像の速度場（物体の速度＋カメラの速度）を求め、それをベクトル集合で表したものである。例えば、ブロックマッチング勾配法等の（輝度の時間／輝度勾配）で表わされる拘束方程式を用い、これに制約条件を付加することでオプティカルフローを求める。ブロックマッチング法では、画像中のあるブロックをテンプレートとして、次時間の画像中からマッチする箇所を探索することでオプティカルフローを求めることができる。

【0031】

＜頭部の搖動除去＞
運転手の頭部は、自車両の揺れや自分の無意識の動きで、小刻みに動き続ける。表示部４０において表示させる表示範囲を運転手の頭部の動きにそのまま合わせて移動させると、表示が小刻みに動いたり、運転手が意図していない表示の動きが起きて、見づらくなる。

【0032】

そこで、本実施形態では、頭部の動きの追跡過程において得られた頭部の移動方向や速度に対して、運転手の無意識な頭部の搖動による影響を除去する。一般的に、運転手が座席において座り直したり、首を回転させるような場合と異なり、運転手の無意識な頭部の動きは、ゆっくりと移動する。そこで、所定の移動速度よりも小さな頭部の移動方向や速度は、頭部の動きの追跡情報としては反映させないようにする。尚、除去する所定の移動速度の大きさは、運転手が調整可能とするのが好適である。

【0033】

このような運転手の無意識な頭部の動きについて、最大移動速度が５０ｍｍ／ｓｅｃとの研究報告がある（「アイカメラの自動追尾焦点制御装置に関する研究」２００２年新潟県工業技術院 工業技術研究報告書 Ｎｏ３１）。そこで、例えば、頭部の動きの追跡過程で得られた移動速度が５０ｍｍ／ｓｅｃ以下の運転手の頭部の動きについては、頭部の動きの追跡情報から除去するのが好適である。

【0034】

＜後方映像の生成＞
制御部３０は、車載カメラ１０で取得した映像信号に対して、頭部の搖動による影響部分を除去した頭部の動きの追跡情報を反映させた後方映像を生成する。図３は、運転手の頭部の動きと表示部４０に表示される後方映像の移動の関係を説明する図である。運転手の頭部の動きと後方映像の表示内容（範囲）は、逆方向に移動する。例えば、頭部が右に動くと後方映像の表示内容（範囲）は左に移動する。

【0035】

頭部の動きの追跡情報から、運転手が頭部を従前の位置から左方向に動かしている場合には、制御部３０は、表示部４０に表示させる後方映像を従前の位置から右方向に移動させるように生成する。一方、運転手が頭部を従前の位置から右方向に動かしている場合には、表示部４０に表示させる後方映像を従前の位置から左方向に移動させるように生成する。

【0036】

上記したように制御部３０で処理された後方映像に係る映像信号は、表示部４０に送られる。なお、制御部３０が故障した場合には、車載カメラ１０から送出された映像信号を、そのまま表示部４０に送出する。

【0037】

表示部４０は、制御部３０から送出された映像信号に基づいて頭部の搖動による影響部分を除去した頭部の動きを反映させた後方映像を表示する。表示部４０は、車両の運転席近傍、例えば、フロントガラスの内側のルームミラーの位置に設置される。

【0038】

表示部４０は、従来のルームミラーと制御部３０で生成される後方映像を切り替えて表示可能な車載電子ミラーが好適である。

【0039】

車載電子ミラーは、ルームミラーに内蔵した液晶モニターに上記した後方映像を映し出すため、運転手は、容易に後方の状況の確認をすることができる。

【0040】

車載電子ミラーには、太陽の逆光やヘッドライトの光等による見難さを補正する構造にするのが好適である。

【0041】

次に、以上のように構成した車両後方表示装置における運転手の頭部の動きに応じた後方画像の表示処理の流れを説明する。

【0042】

図４は、本実施形態に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。

【0043】

初めに、運転手状態検出部２０の車載カメラによって運転手の上半身を撮像する（ステップＳ４１）。運転手状態検出部２０において撮像して取得した映像信号は、制御部３０に供給される。

【0044】

次に、運転手の上半身を撮像した映像信号に対して画像認識技術を適用して、運転手の頭部の位置を検出する（ステップＳ４２）。

【0045】

次に、連続した映像信号に基づいて、運転手の頭部の動きを追跡する（ステップＳ４３）。

【0046】

続いて、頭部の動きの追跡過程でおいて得られた頭部の移動方向や速度に対して、運転手の無意識な頭部の搖動による影響を頭部の動きの追跡情報から除去する（ステップＳ４４）。

【0047】

次に、頭部の搖動による影響部分を除去した頭部の動きの追跡情報を反映させた後方映像を生成（ステップＳ４５）し、表示部４０に表示させる（ステップＳ４６）。

【0048】

＜変形例＞
車載カメラ１０によって撮像される後方映像は、自車両の揺れによる影響を受ける。上記した実施形態においては、係る影響については言及していないが、車載カメラ１０で得られる映像信号に対して、自車両の揺れによる影響を除去することが好適である。

【0049】

自車両の揺れによる影響を除去する手法としては、例えば、車載カメラ１０で取得した映像信号に基づく画像から有効画像を切り出す位置を移動させ、有効画像上で被写体の微細な揺れを抑制させることができる。

【0050】

図５は、本実施形態の変形例に係る車両後方表示装置における運転手の頭部の動きに応じた後方映像の表示処理の流れを示すフローチャートである。変形例においても基本的な後方映像の表示処理の流れは本実施形態と同様であるが、例えば、ステップＳ５４において、車載カメラ１０の自車両の揺れによる影響を除去する。

【0051】

以上説明したように、本実施形態によれば、表示部４０に表示される自車両の後方映像に運転手の意図しない小刻みな動きが反映されないので見やすくなる。

【0052】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0053】

１０・・・車載カメラ
２０・・・運転手状態検出部
３０・・・制御部
４０・・・表示部
１００・・・車両後方表示装置

【図1】

【図2】

【図3】

【図4】

【図5】