特開 2024-112036 電子ミラー装置、制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112036

(43)【公開日】2024-08-20

(54)【発明の名称】電子ミラー装置、制御プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240813BHJP

   B60R 1/26 20220101ALI20240813BHJP

   B60R 1/29 20220101ALI20240813BHJP

   B60R 11/04 20060101ALI20240813BHJP

   B60R 11/02 20060101ALI20240813BHJP

   G09G 5/00 20060101ALI20240813BHJP

   G09G 5/377 20060101ALI20240813BHJP

   G09G 5/38 20060101ALI20240813BHJP

   G09G 5/37 20060101ALI20240813BHJP

【ＦＩ】

H04N7/18 J

B60R1/26

B60R1/29

B60R11/04

B60R11/02 C

G09G5/00 550C

G09G5/377 100

G09G5/38

G09G5/37 320

G09G5/00 550B

G09G5/00 510Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023016854

(22)【出願日】2023-02-07

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】富澤 克美

【テーマコード（参考）】

3D020

5C054

5C182

【Ｆターム（参考）】

3D020BA04

3D020BA09

3D020BA20

3D020BC04

3D020BC07

3D020BE03

5C054CA04

5C054CA05

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FC13

5C054FC14

5C054FD07

5C054FE06

5C054FE12

5C054FE26

5C054FF03

5C054HA30

5C182AA02

5C182AA03

5C182AA22

5C182AB26

5C182AC03

5C182AC13

5C182BA14

5C182BA55

5C182BA56

5C182CB14

5C182CB41

5C182CB44

5C182CB47

5C182CB54

5C182CC21

5C182DA65

(57)【要約】

【課題】車両後方の状況と車室後部の状況を、最小限の視線移動で同時に確認する。
【解決手段】第１撮像部（３０）は、車両の後方を撮像する。第２撮像部（４０）は、車両の車室後部を撮像する。電子ミラー表示部（２０）は、第１撮像部（３０）で撮像された車両の後方画像を表示する。表示制御部（１２）は、第２撮像部（４０）で撮像された車室後部の画像から所定のオブジェクトを含む範囲を切り出し、切り出したオブジェクトを含む画像を後方画像に重畳させて電子ミラー表示部（２０）に表示させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の後方を撮像する第１撮像部と、
前記車両の車室後部を撮像する第２撮像部と、
前記第１撮像部で撮像された前記車両の後方画像を表示する電子ミラー表示部と、
前記第２撮像部で撮像された前記車室後部の画像から所定のオブジェクトを含む範囲を切り出し、切り出したオブジェクトを含む画像を前記後方画像に重畳させて前記電子ミラー表示部に表示させる表示制御部と、
を備える電子ミラー装置。

【請求項2】

前記表示制御部は、前記車両内の運転者を撮像する第３撮像部で撮像された画像を解析することで検出された前記運転者の視線または頭部姿勢の動きに応じて、前記切り出したオブジェクトを含む画像を前記後方画像上で移動させる、または前記第１撮像部で撮像された後方画像の表示範囲とする切り出し位置を移動させる、
請求項１に記載の電子ミラー装置。

【請求項3】

前記表示制御部は、前記第２撮像部で撮像された車室後部の画像内において、動きのあるオブジェクトが所定時間以上、検出されない場合、前記切り出したオブジェクトを含む画像を前記電子ミラー表示部に表示させないように制御する、
請求項１に記載の電子ミラー装置。

【請求項4】

前記表示制御部は、前記車両の後方に後続車両が検出されたとき、前記切り出したオブジェクトを含む画像を半透明画像で前記後方画像に重畳させ、
前記表示制御部は、前記後続車両との車間距離に応じて、前記半透明画像の透明度を変更する、
請求項１に記載の電子ミラー装置。

【請求項5】

車両の後方を撮像する第１撮像部で撮像された前記車両の後方画像を表示する電子ミラー表示部を備える電子ミラー装置の制御プログラムであって、
前記車両の車室後部を撮像する第２撮像部で撮像された前記車室後部の画像から所定のオブジェクトを含む範囲を切り出し、切り出したオブジェクトを含む画像を前記後方画像に重畳させて前記電子ミラー表示部に表示させる機能を、
をコンピュータに実行させる電子ミラー装置の制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルルームミラーとして使用される電子ミラー装置、制御プログラムに関する。

【背景技術】

【0002】

近年、従来の光学式のルームミラー（バックミラーともいう）を、電子式のデジタルルームミラーに置き換える動きが拡大している。一般的に、車両後方を撮影するリアカメラはリアガラスに設置されるため、デジタルルームミラーが使用される場合、車内の荷物等により車両後方の視野が遮られることがない。反面、デジタルルームミラーに表示される映像には、後部座席が映らず、後部座席に乗員がいても後部座席の乗員を見ることができない。後部座席の乗員を見るには、デジタルルームミラーを、映像表示モードから光学ミラーモードに切り替える必要があった。

【0003】

このように従来のデジタルルームミラーは、リアカメラの映像と車室後部の状況を同時に確認することが難しかった。後続車両の状況を確認しつつ、後席乗員や後部荷室にある荷物の状況も確認したい場合、基本的にモードをその都度、切り替える必要があった。例えば、商用バンの中には最背面ガラスが透明ではなく、壁状で車両後方が殆ど見えない車種もある。そのような車種において、後続車両の状況と後部荷室にある荷物の状況を同時に確認したい場合、光学ミラーモードで後続車両の状況を確認することは困難であるため、頻繁にモードを切り替える必要がある。

【0004】

特許文献１は、ドライバの視線を検出し、検出した視線に基づいて、インストルメントパネルに設けられたモニタに表示すべき表示対象を切り替える運転支援装置を開示する。特許文献２は、車両のミラー用の電子ミラーディスプレイに、電子ミラーカメラの画像情報と、電子リアビューカメラの画像情報との切り替え表示が可能な電子ミラーカメラシステムを開示する。ただし、いずれの先行技術でも、後続車両の状況と車室後部の状況を同時に確認することはできない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９－２３５６５号公報

【特許文献2】特開２０２０－１６４１１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

また、車室後部を車内カメラで撮影し、車室後部の映像を表示させるモニタを別に設置することも考えられる。ただし、モニタを別に設置するとコストが増加し、車室内の意匠性も低下する。また、車両の後方画像を表示するモニタと、車室後部の画像を表示させるモニタ間で視線移動が必要となる。

【0007】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、車両後方の状況と車室後部の状況を、最小限の視線移動で同時に確認することができる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本実施形態のある態様の電子ミラー装置は、車両の後方を撮像する第１撮像部と、前記車両の車室後部を撮像する第２撮像部と、前記第１撮像部で撮像された前記車両の後方画像を表示する電子ミラー表示部と、前記第２撮像部で撮像された前記車室後部の画像から所定のオブジェクトを含む範囲を切り出し、切り出したオブジェクトを含む画像を前記後方画像に重畳させて前記電子ミラー表示部に表示させる表示制御部と、を備える。

【0009】

なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本実施形態の態様として有効である。

【発明の効果】

【0010】

本実施形態によれば、車両後方の状況と車室後部の状況を、最小限の視線移動で同時に確認することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る電子ミラー装置の設置例を説明するための図である。

【図2】電子ミラー装置本体の外観構成例を示す図である。

【図3】実施形態に係る電子ミラー装置のシステム構成を示す図である。

【図4】後方撮像部で撮像された後方画像の具体例を示す図である。

【図5】図５（ａ）－（ｃ）は、車室撮像部で撮像された車室後部の画像の具体例を示す図である。

【図6】図４に示した後方画像の切り出し範囲から切り出した画像に、図５（ｃ）に示した車室後部画像の切り出し範囲から切り出した画像を重畳させた合成画像を、電子ミラー表示部に表示させている状態を示す図である。

【図7】図７（ａ）－（ｂ）は、図６に示した表示状態において運転者の頭部姿勢または視線高が上下方向に移動した場合の具体例を示す図である。

【図8】後方画像の切り出し画像に、車室後部画像の切り出し画像を重畳させる際の変形例１を示す図である。

【図9】図９（ａ）－（ｃ）は、後方画像の切り出し画像に、車室後部画像の切り出し画像を重畳させる際の変形例２を示す図である。

【図10】後続車両が右車線に車線変更している状態の表示例を示す図である。

【図11】図１１（ａ）－（ｃ）は、運転者の視線移動に応じた、後方画像の切り出し範囲のシフトの具体例を示す図である。

【図12】図１２（ａ）－（ｂ）は、後続車両との車間距離に応じて車室後部画像の切り出し画像の透明度を変更する具体例を示す図である。

【図13】実施形態に係る電子ミラー装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0012】

図１は、実施形態に係る電子ミラー装置１の設置例を説明するための図である。実施形態に係る電子ミラー装置１は、電子ミラー装置本体１ａ、後方撮像部３０及び車室撮像部４０を備える。図１に示す例では、電子ミラー装置本体１ａは、既存の光学式のルームミラーのミラー面の上に重ねられ、複数のバンドまたは所定の固定ホルダを介して（不図示）既存のルームミラーに固定される。後方撮像部３０は例えば、車両Ｖ１のリアガラスの内側に両面テープで固定される。なお後方撮像部３０は、車両Ｖ１の後方の映像を撮像できる位置であれば、どの位置に設置されてもよく、防水ケースに収納して車両Ｖ１の外に設置してもよい。なお、光学式のルームミラーを排して、電子ミラー装置本体１ａのみが設置されていてもよい。

【0013】

車室撮像部４０は例えば、車両Ｖ１の天井に設置される。車室撮像部４０には、３６０°撮影対応の全方位カメラが使用されてもよい。なお車室撮像部４０は、前席のヘッドレストにより後部座席の乗員の顔が遮られない画角になる設置位置であれば、車両Ｖ１内のどの位置に設置されてもよい。後席座席の乗員の顔を画角に収められる場合、電子ミラー装置本体１ａに設置されてもよい。また既に車両Ｖ１内に、助手席や後部座席を含む車室全体を監視する車室内モニタリングシステム（In-Cabin Monitoring System）が設置されている場合、車室内モニタリングシステムのカメラを、本実施形態に係る車室撮像部４０に転用してもよい。

【0014】

図２は、電子ミラー装置本体１ａの外観構成例を示す図である。電子ミラー装置本体１ａの前面には、電子ミラー表示部２０と運転者撮像部５０が配置される。運転者撮像部５０は、電子ミラー表示部２０の周囲のフレーム領域の所定の位置に配置されている。図２に示す例では右ハンドルの車両を想定し、電子ミラー表示部２０の右上に配置されているが、左ハンドルの車両の場合、電子ミラー表示部２０の左上に配置されることが望ましい。

【0015】

なお、運転者撮像部５０は外付けの撮像部で構成されてもよい。外付けの撮像部は例えば、電子ミラー装置本体１ａの右端に固定されて設置されてもよい。また、外付けの撮像部は、ステアリングコラムの上部に、ステアリングホイールの隙間を介して運転者の顔と対向するように設置されてもよい。また既に車両Ｖ１内に、運転者の脇見や居眠りを検知するためのドライバモニタリングシステム（ＤＭＳ）が設置されている場合、ドライバモニタリングシステムのカメラを、本実施形態に係る運転者撮像部５０に転用してもよい。

【0016】

図３は、実施形態に係る電子ミラー装置１のシステム構成を示す図である。電子ミラー装置１は、処理部１０、電子ミラー表示部２０、後方撮像部３０、車室撮像部４０及び運転者撮像部５０を備える。

【0017】

後方撮像部３０、車室撮像部４０及び運転者撮像部５０はそれぞれ、レンズ、固体撮像素子を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を電気的な映像信号に変換して処理部１０に出力する。

【0018】

電子ミラー表示部２０は、ディスプレイ２０ａとハーフミラー２０ｂを含む。ディスプレイ２０ａは、液晶ディスプレイ、有機ＥＬディスプレイ、ミニＬＥＤディスプレイ等のディスプレイであり、後方撮像部３０で撮像された車両Ｖ１の後方画像と、車室撮像部４０で撮像された車室後部の画像を表示するためのディスプレイである。

【0019】

なお電子ミラー装置１が、ドライブレコーダと一体化された電子ミラー装置（ミラーレコーダとも称される）で構成される場合、ディスプレイ２０ａには車両Ｖ１の前方画像を表示することもできる。その場合、車両Ｖ１の前方を撮像するための撮像部が電子ミラー装置本体１ａの裏面（車両Ｖ１の進行方向側の面）にさらに設置される。

【0020】

ハーフミラー２０ｂは、ディスプレイ２０ａの出射側に配置され、前方からの光を反射し後方からの光を透過する。ハーフミラー２０ｂは、反射膜に使用される金属の量を調整することで反射率を低下させたミラーであり、一般的なハーフミラー２０ｂでは反射率が５０％程度に調整される。電子ミラー表示部２０では、ディスプレイ２０ａを消灯させることで透過光を消去できるため、ハーフミラー２０ｂの透過率は高い方が望ましい。例えば、透過率は５０％程度に調整される。なおハーフミラー２０ｂの代わりに、電子制御により透過率を制御できるミラー液晶ディスプレイを用いてもよい。

【0021】

処理部１０は、画像認識部１１及び表示制御部１２を含む。処理部１０は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現される。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＤＳＰ（Digital Signal Processors）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

【0022】

画像認識部１１は、車室撮像部４０で撮像された画像から、所定のオブジェクトとして後部座席に座っている乗員を認識する。画像認識部１１は、人物の顔または顔と体（主に上半身）を検出するための検出器を備える。本実施形態では、人物個人を特定する必要はない。検出器は、人物の顔または顔と体が映った多数の画像に含まれる特徴量を学習することで生成される。特徴量として例えば、ＨＯＧ(Histograms of Oriented Gradients)、Haar-like、ＬＢＰ(Local Binary Patterns)等の公知技術を使用することができる。

【0023】

画像認識部１１は、車室撮像部４０から入力される映像の各フレーム画像内を、検出器を用いて探索する。画像認識部１１は、フレーム画像内において人物の顔または顔と体を検出すると、検出した人物の顔または顔と体を、後続するフレーム画像内において追従する。人物の顔または顔と体の追従には例えば、パーティクルフィルタやミーンシフト法を使用することができる。

【0024】

なお検出器として、動物（例えば、犬、猫等のペット）の顔または顔と体を検出するための検出器を用意し、画像認識部１１は、所定のオブジェクトとして後部座席にいる動物を認識してもよい。

【0025】

また画像認識部１１は、車室撮像部４０から入力される映像のフレーム画像を、動きのある領域と動きのない領域に分類することができる。車両Ｖ１が停止している場合、画像認識部１１は、時系列に隣接するフレーム画像間において、動きがある複数の画素を含む一群の領域を動領域に設定し、それ以外の領域を静止領域に設定する。車両Ｖ１が走行している場合、振動によりフレーム画像全体が微小に変化する。画像認識部１１は、時系列に隣接するフレーム画像間において、全領域の画素の動きベクトルをもとにフレーム画像全体の動きベクトルを推定する。画像認識部１１は、推定した全体の動きベクトルと異なる方向の動きベクトルを有する複数の画素を含む一群の領域を動領域に設定し、それ以外の領域を静止領域に設定する。

【0026】

検出器を用いたオブジェクト検出を実行しない場合でも、オブジェクトに動きがある場合は、画像認識部１１はフレーム画像内の動領域を検出する処理を実行することで、結果的にオブジェクトを検出することができる。例えば、後部座席にいる人物や動物が動いた場合、または後部座席や後部荷室にある荷物が崩れた場合、動領域として検出される。

【0027】

また画像認識部１１は、運転者撮像部５０で撮像された画像から、運転者Ｐｄの挙動を認識する。画像認識部１１は、運転者Ｐｄの視線または頭部姿勢を検知するための既知の検知アルゴリズムを用いることができる。画像認識部１１は例えば、運転者撮像部５０で撮像された画像から、顔検出器を用いて運転者Ｐｄの顔領域を検出する。実際に運転席に座る特定の運転者Ｐｄの顔検出器が事前に用意されることが望ましい。特定の運転者Ｐｄの顔検出器は、対象とする運転者Ｐｄが運転席に座って電子ミラー表示部２０を見ている状態で、運転者撮像部５０から運転者Ｐｄを複数回、撮像することで生成することができる。

【0028】

運転者撮像部５０に可視光カメラが用いられる場合、画像認識部１１は、可視光画像の顔領域内の特徴点をもとに眼領域に含まれる目頭と虹彩の位置を特定する。画像認識部１１は、目頭の位置を基準点、虹彩の位置を動点とし、目頭に対する虹彩の相対的な位置に基づいて視線方向または視線の動きを検知する。例えば、左眼の虹彩が左眼の目頭から離れていき、右眼の虹彩が右眼の目頭に近づいている場合、画像認識部１１は、運転者Ｐｄの視線が左に移動していると推定する。

【0029】

運転者撮像部５０に赤外線カメラが用いられる場合、赤外線カメラの近傍に、運転者Ｐｄに向けて赤外線を照射する赤外線発光部が設けられる。画像認識部１１は、赤外線カメラで撮像された赤外線画像から顔検出器を用いて運転者Ｐｄの顔領域を検出する。画像認識部１１は、顔領域内の特徴点をもとに眼領域に含まれる角膜反射点と、瞳孔の位置を特定する。角膜反射点は、赤外線発光部から照射された赤外線を反射している角膜上の反射点である。画像認識部１１は、角膜反射点の位置を基準点、瞳孔の位置を動点とし、角膜反射点に対する瞳孔の相対的な位置に基づいて視線方向または視線の動きを検知する。赤外線方式の方が基本的に、運転者Ｐｄの視線位置を高精度に推定することができる。

【0030】

また画像認識部１１は、事前に取得された運転者撮像部５０の設置位置と運転者Ｐｄの眼の位置との位置関係（距離、角度）、事前に取得された運転者Ｐｄの通常時の両眼の瞳孔間距離、撮像された画像内の運転者Ｐｄの両眼の瞳孔間距離をもとに、運転者Ｐｄが注視している対象物までの距離を推定することができる。なお、注視とは運転者Ｐｄが対象物を見ている時間として２秒程度の視線が固定される時間が望ましい。また画像認識部１１は、運転者Ｐｄの視線移動中における両眼の輻輳角の変化量をもとに、遠方へ視線移動しているか、近方へ視線移動しているかを推定することができる。また画像認識部１１は、顔領域内の各特徴点の配置から、頭部のロール角、ピッチ角、ヨー角を推定して、運転者Ｐｄの頭部姿勢を推定することもできる。

【0031】

本実施形態では、運転者Ｐｄが電子ミラー装置１に視線を向けている際、運転者Ｐｄが電子ミラー表示部２０のどの領域を見ているかを判別できることが望ましい。例えば、電子ミラー表示部２０の表示領域を４分割または９分割し、各表示領域を見ている人物の複数の顔画像をそれぞれ用意する。表示領域ごとに当該複数の顔画像を機械学習して、各表示領域を見ている状態を検知するための検出器を生成する。画像認識部１１は、これらの検出器を参照して、運転者撮像部５０で撮像された画像から、運転者Ｐｄが電子ミラー装置１に視線を向けている際にどの表示領域を見ているかを推定することができる。

【0032】

表示制御部１２は基本処理として、後方撮像部３０で撮像された車両Ｖ１の後方画像を電子ミラー表示部２０のディスプレイ２０ａに表示させる。表示制御部１２は、車室撮像部４０で撮像された車室後部の画像から所定のオブジェクトを含む範囲を切り出し、切り出したオブジェクトを含む画像（以下適宜、オブジェクト画像という）を、車両Ｖ１の後方画像に重畳させて電子ミラー表示部２０に表示させることができる。表示制御部１２は例えば、ＯＳＤ（On-Screen Display）機能を使用して、車室後部のオブジェクト画像を車両Ｖ１の後方画像に重畳させてもよい。

【0033】

上述したように検出器を使用してフレーム画像内において人物を探索する場合、切り出し範囲は例えば、人物の顔と体を含む最小の矩形領域としてもよいし、人物の顔と体の輪郭に沿った領域としてもよい。その際、人物の顔または体に接触する物体も切り出し範囲に含めてもよい。また、検出器でオブジェクトを探索しない場合、所定時間内に動きのある領域を切り出し範囲としてもよい。また後述するように、オブジェクトが検出された領域以外の領域を背景領域として削除することでオブジェクト画像を生成してもよい。

【0034】

表示制御部１２は、運転者撮像部５０で撮像された画像が画像認識部１１で解析されることで検出された、運転者Ｐｄの視線または頭部姿勢の動きに応じて、車室後部のオブジェクト画像を車両Ｖ１の後方画像上で移動させることができる。表示制御部１２は例えば、運転者Ｐｄの視線または頭部姿勢の上下方向の動きに追従させて、車室後部のオブジェクト画像を後方画像上で上下方向に移動させる。

【0035】

また表示制御部１２は、検出された運転者Ｐｄの視線または頭部姿勢の動きに応じて、後方画像のディスプレイ２０ａへの表示範囲とする切り出し位置を移動させることができる。表示制御部１２は例えば、運転者Ｐｄの視線または頭部姿勢の左右方向の動きに追従させて、後方画像のディスプレイ２０ａへの表示範囲とする切り出し位置を左右にシフトさせる。

【0036】

画像認識部１１は、運転者Ｐｄの虹彩または瞳孔の位置により、運転者Ｐｄが電子ミラー装置１が存在する左上を見ている視線状態（以下、ミラー目視状態という）にあるか否かを判定する。

【0037】

例えば画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を前に突き出すことにより、画像内の頭部領域が所定の倍率以上、拡大したとき車室後部を見ようとする挙動が発生したと推定する。表示制御部１２は頭部領域の拡大率に応じて車室後部のオブジェクト画像を上方向に移動させて、車室後部の画像の表示エリアを拡大する。反対に画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を後ろに戻すことにより、画像内の頭部領域が所定の倍率以上、縮小したとき車両後方を見ようとする挙動が発生したと推定する。表示制御部１２は頭部領域の縮小率に応じて車室後部のオブジェクト画像を下方向に移動させて、車室後部の画像の表示エリアを縮小する。

【0038】

例えば画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を上げることにより、画像内の頭部領域のピッチ角が所定値以上、増加したとき車室後部を見ようとする挙動が発生したと推定する。表示制御部１２は頭部領域のピッチ角の増加量に応じて車室後部のオブジェクト画像を上方向に移動させて、車室後部の画像の表示エリアを拡大する。反対に画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を下げることにより、画像内の頭部領域のピッチ角が所定値以上、減少したとき車両後方を見ようとする挙動が発生したと推定する。表示制御部１２は頭部領域のピッチ角の減少量に応じて車室後部のオブジェクト画像を下方向に移動させて、車室後部の画像の表示エリアを縮小する。

【0039】

例えば画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を左に振ることにより、画像内の頭部領域のヨー角が所定値以上、増加したとき車両Ｖ１の右後方を見ようとする挙動が発生したと推定する。表示制御部１２は頭部領域のヨー角の増加量に応じて車両Ｖ１の後方画像の切り出し位置を右方向にシフトさせる。反対に画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を右に振ることにより、画像内の頭部領域のヨー角が所定値以上、減少したとき車両Ｖ１の左後方を見ようとする挙動が発生したと推定する。表示制御部１２は頭部領域のヨー角の減少量に応じて車両Ｖ１の後方画像の切り出し位置を左方向にシフトさせる。

【0040】

例えば画像認識部１１はミラー目視状態において、運転者Ｐｄが視線を上げることにより、画像内の虹彩または瞳孔が所定値以上、上方向に移動したとき車室後部を見ようとする挙動が発生したと推定する。表示制御部１２は虹彩または瞳孔の上方向への移動量に応じて車室後部のオブジェクト画像を上方向に移動させて、車室後部の画像の表示エリアを拡大する。反対に画像認識部１１はミラー目視状態において、運転者Ｐｄが視線を下げることにより、画像内の虹彩または瞳孔が所定値以上、下方向に移動したとき車両後方を見ようとする挙動が発生したと推定する。表示制御部１２は虹彩または瞳孔の下方向への移動量に応じて車室後部のオブジェクト画像を下方向に移動させて、車室後部の画像の表示エリアを縮小する。

【0041】

例えば画像認識部１１はミラー目視状態において、運転者Ｐｄが視線を左に動かすことにより、画像内の虹彩または瞳孔が所定値以上、左方向に移動したとき車両Ｖ１の左後方を見ようとする挙動が発生したと推定する。表示制御部１２は虹彩または瞳孔の左方向への移動量に応じて車両Ｖ１の後方画像の切り出し位置を左方向にシフトさせる。反対に画像認識部１１はミラー目視状態において、運転者Ｐｄが視線を右に動かすことにより、画像内の虹彩または瞳孔が所定値以上、右方向に移動したとき車両Ｖ１の右後方を見ようとする挙動が発生したと推定する。表示制御部１２は虹彩または瞳孔の右方向への移動量に応じて車両Ｖ１の後方画像の切り出し位置を右方向にシフトさせる。

【0042】

表示制御部１２は、車室撮像部４０で撮像された車室後部の画像内において、画像認識部１１により動きのあるオブジェクトが所定時間以上、検出されない場合、車室後部の画像を電子ミラー表示部２０に表示させない。表示制御部１２は、車室後部の画像内において、動きのあるオブジェクトが所定時間内で検出された場合のみ、動きのあるオブジェクトを含む車室後部のオブジェクト画像を電子ミラー表示部２０に表示させる。

【0043】

画像内で検出されたオブジェクトが動いているか否かを判定するための動き判定閾値は設計者により設定される。動き判定閾値は運転者Ｐｄにより事後的に調整可能であってもよい。動き判定閾値を厳格な値に設定すると、車室後部のオブジェクトが微小に動いていると電子ミラー表示部２０に車室後部のオブジェクト画像が表示され続けることになる。反対に動き判定閾値を緩和的な値に設定すると、車室後部のオブジェクトが多少動いていても電子ミラー表示部２０から車室後部のオブジェクト画像が消えることになる。運転者Ｐｄは、好みに応じて動き判定閾値を調整することができる。

【0044】

画像認識部１１は、後方撮像部２１で撮像された後方画像から後続車両を検出するための検出器をさらに備えていてもよい。この場合、画像認識部１１は、後続車両の検出器を使用して後方画像から後続車両を検出することができる。検出対象とする後続車両は基本的に、同一車線を走行している後続車両とする。画像認識部１１は、既知の距離推定アルゴリズムをもとに、後方画像に映った後続車両との車間距離を推定することができる。

【0045】

なお車両Ｖ１に、ミリ波レーダやソナー等の近接センサが設置されている場合、表示制御部１２は近接センサの検出値をもとに後続車両の有無を特定することができる。後続車両が存在する場合、表示制御部１２は後続車両との車間距離を推定することができる。車両Ｖ１の後方撮像部２１で取得した映像に基づいて、後続車両の有無や車間距離を公知技術により特定するようにしてもよい。

【0046】

表示制御部１２は、車両Ｖ１の後方に後続車両が検出されたとき、車室後部のオブジェクト画像を半透明画像で、車両Ｖ１の後方画像に重畳させてもよい。その際、表示制御部１２は後続車両との車間距離に応じて、半透明画像の透明度を変更してもよい。具体的には表示制御部１２は後続車両との車間距離が短くなるほど、半透明画像の透明度を上げる。

【0047】

また表示制御部１２は、後続車両との車間距離が所定距離未満になると、動きのあるオブジェクトが車室後部に存在していても、車室後部の画像を電子ミラー部２０に表示させないように制御してもよい。

【0048】

また表示制御部１２は、車室後部にあるオブジェクトの動きがなくなった場合において、車室後部の画像を表示状態から非表示状態に切り替えるまでの時間を、後続車両との車間距離に応じて変更してもよい。具体的には表示制御部１２は後続車両との車間距離が短いほど、非表示状態に切り替えるまでの時間を短くする。

【0049】

図４は、後方撮像部３０で撮像された後方画像の具体例を示す図である。図４に示す後方画像には後続車両Ｖ２が映っている。図４に示すようにデフォルト状態では、後方撮像部３０の固体撮像素子の撮像範囲３０ｉの中央部分に切り出し範囲Ｃ１が設定される。切り出し範囲Ｃ１から切り出された画像がディスプレイ２０ａに表示される。

【0050】

図５（ａ）－（ｃ）は、車室撮像部４０で撮像された車室後部の画像の具体例を示す図である。図５（ａ）－（ｃ）に示す例では、車両Ｖ１の右後部座席に第１乗員Ｐ１が座っており、左後部座席に第２乗員Ｐ２が座っている。図５（ａ）－（ｂ）にようにデフォルト状態では、車室撮像部４００の固体撮像素子の撮像範囲４０ｉの中央部分に切り出し範囲Ｃ２が設定される。切り出し範囲Ｃ２から切り出された画像が、後方撮像部３０で撮像された後方画像に重畳される。

【0051】

図５（ａ）に示す車室後部の画像内から、画像認識部１１は、オブジェクトとして第１乗員Ｐ１と第２乗員Ｐ２を検出する。図５（ｂ）に示すように表示制御部１２は、検出されたオブジェクトである第１乗員Ｐ１及び第２乗員Ｐ２が存在する領域以外の領域を背景領域として削除する。

【0052】

図５（ｃ）に示す例では、後方画像に重畳時の第１乗員Ｐ１及び第２乗員Ｐ２が画面の下部に配置されるように、表示制御部１２は、切り出し範囲Ｃ２を上方向にシフトさせ、シフト後の切り出し範囲Ｃ２から画像を切り出している。なお表示制御部１２は、図５（ｂ）に示すデフォルトの切り出し範囲Ｃ２から画像を切り出してもよい。

【0053】

図６は、図４に示した後方画像の切り出し範囲Ｃ１から切り出した画像に、図５（ｃ）に示した車室後部の画像の切り出し範囲Ｃ２から切り出した画像を重畳させた合成画像を、電子ミラー表示部２０に表示させている状態を示す図である。

【0054】

図７（ａ）－（ｂ）は、図６に示した表示状態において運転者Ｐｄの頭部姿勢または視線高が上下方向に移動した場合の具体例を示す図である。図７（ａ）は運転者Ｐｄの頭部姿勢または視線高が下方向に移動した場合の表示例を示し、図７（ｂ）は運転者Ｐｄの頭部姿勢または視線高が上方向に移動した場合の表示例を示す。

【0055】

図７（ａ）に示すように運転者Ｐｄの頭部姿勢または視線高が下方向に移動した場合、運転者Ｐｄが車両後方を見ようとしていると推定できる。表示制御部１２は、車室後部の画像の切り出し範囲Ｃ２を上方向にシフトさせるか、切り出した画像の合成位置を下方向にシフトさせることで、車両Ｖ１の後方画像の表示エリアを広げる。反対に図７（ｂ）に示すように運転者Ｐｄの頭部姿勢または視線高が上方向に移動した場合、運転者Ｐｄが車室後部を見ようとしていると推定できる。表示制御部１２は、車室後部の画像の切り出し範囲Ｃ２を下方向にシフトさせるか、切り出した画像の合成位置を上方向にシフトさせることで、車室後部の画像の表示エリアを広げる。

【0056】

図８は、後方画像の切り出し画像に、車室後部画像の切り出し画像を重畳させる際の変形例１を示す図である。変形例１では表示制御部１２は、車室後部画像の切り出し画像に含まれるオブジェクトを、切り出し画像の左端または右端にシフトさせる。図８に示す例では表示制御部１２は、車室後部画像の切り出し画像内において第１乗員Ｐ１の領域を左端にシフトさせ、第２乗員Ｐ２の領域を右端にシフトさせている。具体的には表示制御部１２は、図４に示した後方画像の切り出し範囲Ｃ１から切り出した画像に、図５（ｃ）に示した車室後部画像の切り出し範囲Ｃ２から切り出した画像のオブジェクトシフト後の画像を重畳させ、重畳後の合成画像を電子ミラー表示部２０に表示させている。これにより、車両Ｖ１の後方の状況をより確認しやすくなる。

【0057】

なお表示制御部１２は、車室後部画像の切り出し画像に含まれるオブジェクトを縮小することで、車両Ｖ１の後方映像が表示されるエリアを広げてもよい。さらに表示制御部１２は、車室後部画像の切り出し画像内におけるオブジェクトの左端または右端へのシフトと、オブジェクトの縮小を併用してもよい。

【0058】

図９（ａ）－（ｃ）は、後方画像の切り出し画像に、車室後部画像の切り出し画像を重畳させる際の変形例２を示す図である。図９（ａ）は、図４に示した後方画像の切り出し範囲Ｃ１から切り出した画像を示す。図９（ｂ）に示すように表示制御部１２は後方画像の切り出し画像を上下方向に所定の縮小率で縮小させる。表示制御部１２は、図５（ｃ）に示した車室後部画像の切り出し範囲Ｃ２から切り出した画像を、上下方向に所定の縮小率で縮小させる。

【0059】

図９（ｃ）に示すように表示制御部１２は、上下方向に縮小した後方画像の切り出し画像に、上下方向に縮小した車室後部画像の切り出し画像を重畳させ、重畳後の合成画像を電子ミラー表示部２０に表示させている。図９（ｃ）に示す表示例では、後方画像の切り出し画像と車室後部画像の切り出し画像のそれぞれのアスペクト比が崩れるが、両者が重畳する面積が縮小する。したがって、合成画像内において後続車両と車室後部のオブジェクトが重畳する可能性が低下し、車両Ｖ１の後方の状況が確認しやすくなる。

【0060】

図１０は、後続車両Ｖ２が右車線に車線変更している状態の表示例を示す図である。具体的には、運転者Ｐｄが電子ミラー表示部２０に映っている後続車両Ｖ２を眼で追いかけている状態を示している。運転者Ｐｄは視線を左方向に動かしている。

【0061】

図１１（ａ）－（ｃ）は、運転者Ｐｄの視線移動に応じた、後方画像の切り出し範囲Ｃ１のシフトの具体例を示す図である。図１１（ａ）は視線移動前の後方画像の切り出し範囲Ｃ１を示し、図１１（ｂ）は視線移動後の後方画像の切り出し範囲Ｃ１を示す。表示制御部１２は、運転者Ｐｄの左方向への視線移動に応じて、後方画像の切り出し範囲Ｃ１を左方向にシフトさせる。

【0062】

図１１（ｃ）は、図１１（ｂ）に示した後方画像の切り出し範囲Ｃ１から切り出した画像に、図５（ｃ）に示した車室後部画像の切り出し範囲Ｃ２から切り出した画像のオブジェクトシフト後の画像を重畳させ、重畳後の合成画像を電子ミラー表示部２０に表示させている状態を示している。図１１（ｃ）に示す表示例は、後続車両Ｖ２が右に移動したにもかかわらず、電子ミラー表示部２０には後続車両Ｖ２がより中央の位置に配置されており、後続車両Ｖ２の視認性が向上している。

【0063】

図１２（ａ）－（ｂ）は、後続車両Ｖ２との車間距離に応じて車室後部画像の切り出し画像の透明度を変更する具体例を示す図である。図１２（ａ）に示すように表示制御部１２は、後続車両Ｖ２との車間距離が閾値以上離れている状態では、車室後部画像の切り出し画像を透明度０％で後方画像に重畳する。図１２（ｂ）に示すように表示制御部１２は後続車両Ｖ２との車間距離が閾値未満になると、後続車両Ｖ２との車間距離が短くなるほど、車室後部画像の切り出し画像の透明度を上げる。

【0064】

別の表示様態として表示制御部１２は、後続車両Ｖ２との車間距離に応じて車室後部画像の切り出し画像を後方画像に重畳表示する時間を変更してもよい。単位時間内で表示の割合を変更してもよい。具体的には例えば、後続車両Ｖ２との車間距離が長い場合は後方画像を０．３秒表示し、車室後部画像を重畳した画像を０．７秒表示する組み合わせを繰り返し表示する。後続車両Ｖ２との車間距離が短くなった場合には、後方画像を０．７秒表示し、車室後部画像を重畳した画像を０．３秒表示する組み合わせで繰り返し表示する。

【0065】

図１３は、実施形態に係る電子ミラー装置１の動作例を示すフローチャートである。運転者Ｐｄにより車両Ｖ１のイグニッションがオンされると（ステップＳ１０：Ｙｅｓ）、表示制御部１２は、後方撮像部３０から後方画像の切り出し画像を取得し、車室撮像部４０から車室後部画像の切り出し画像を取得する（ステップＳ１１）。

【0066】

表示制御部１２は、車室後部画像の切り出し画像から背景領域を削除する（ステップＳ１２）。表示制御部１２は、後方画像の切り出し画像に、背景削除後の車室後部画像の切り出し画像を重畳する（ステップＳ１３）。表示制御部１２は重畳して得られた合成画像をディスプレイ２０ａに表示させる（ステップＳ１４）。表示制御部１２は、運転者Ｐｄの頭部姿勢または視線高の変化に応じて、後方画像の切り出し画像と車室後部画像の切り出し画像を合成する際のレイアウトを変更する（ステップＳ１５）。ステップＳ１０に遷移する。運転者Ｐｄにより車両Ｖ１のイグニッションがオフされると（ステップＳ１０：Ｙｅｓ）、電子ミラー装置１の動作が停止する。

【0067】

電子ミラー装置１の制御プログラムは、予め処理部１０内にインストールされていてもよいし、事後的にインストールされてもよい。後者の場合、当該制御プログラムは、アプリケーションプログラムストアからネットワークを介して電子ミラー装置１にダウンロードされてインストールされてもよい。

【0068】

以上説明したように本実施形態によれば、後方画像の切り出し画像に車室後部画像の切り出し画像を重畳させた合成画像を電子ミラー表示部２０に表示させることで、運転者Ｐｄが車両後方の状況と車室後部の状況を、最小限の視線移動で同時に確認することができる。車室後部の状況を映像で確認できることから、従来の光学ミラーでは前席のヘッドレストに隠れて見えにくかった後席乗員の状況も把握しやすい。

【0069】

また後方画像を表示させるモニタと、車室後部画像を表示させるモニタを別々に設置する必要がないため、コストの増加を抑制できる。また車室内の美観も維持される。また、車両後方を見る視線と車室後部を見る視線との間の視線移動を最小限に抑えることができるため、安全性の向上に寄与する。特に、眼のピント調節機能が低下している高齢の運転者の安全性を向上させることができる。

【0070】

また車室後部画像において変化がない領域を非表示とすることで、車室後部の状態に変化があったときのみ、車室後部の映像を電子ミラー表示部２０に表示させることができる。これにより、運転者Ｐｄに、車室後部の状態に注意を向けるべきタイミングを的確に提示することができる。

【0071】

また表示制御部１２は、運転者撮像部５０で撮像された画像をもとに、運転者Ｐｄの頭部姿勢または視線高の変化に応じて後方画像の表示範囲を適応的に変化させることで、運転者Ｐｄに、従来の光学ミラーにおける視線移動による視認状態の変化に近い感覚を与えることができる。例えば表示制御部１２は、運転者Ｐｄの頭部姿勢が右方向に移動した場合や視線が左方向に移動した場合、運転者Ｐｄが左後方を見ようとしていると判断し、今まで見えていなかった左端領域が見えるように左後方の画像表示エリアを増やす。これにより、運転者Ｐｄは見たい場所をスムーズに見ることができる。

【0072】

以上、本発明を実施形態に基づき説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0073】

上記の実施形態ではハーフミラー２０ｂを設置することで、従来の光学ミラーとしても使用できる電子ミラー装置１を説明した。この点、ハーフミラー２０ｂが省略されてもよい。この場合、電子ミラー表示部２０は純粋なディスプレイとなる。ハーフミラー２０ｂが設置される場合よりディスプレイの表示輝度を高くすることができる。

【0074】

上記の実施形態において運転者撮像部５０は省略してもよい。この場合、後方画像の切り出し画像と車室後部画像の切り出し画像の合成画像のレイアウトは固定となるが、コストを削減することができる。

【符号の説明】

【0075】

１ 電子ミラー装置、 １ａ 電子ミラー装置本体、 １０ 処理部、 １１ 画像認識部、 １２ 表示制御部、 ２０ 電子ミラー表示部、 ２０ａ ディスプレイ、 ２０ｂ ハーフミラー、 ３０ 後方撮像部、 ４０ 車室撮像部、 ５０ 運転者撮像部、 Ｖ１ 車両、 Ｖ２ 後続車両、 Ｐｄ 運転者、 Ｐ１ 第１乗員、 Ｐ２ 第２乗員。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】