特開 2024-112038 電子ミラー装置、制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112038

(43)【公開日】2024-08-20

(54)【発明の名称】電子ミラー装置、制御プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240813BHJP

   B60K 35/00 20240101ALI20240813BHJP

   B60R 11/02 20060101ALI20240813BHJP

   B60R 1/26 20220101ALI20240813BHJP

【ＦＩ】

H04N7/18 J

B60K35/00 Z

B60R11/02 C

B60R1/26 100

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023016857

(22)【出願日】2023-02-07

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】加藤 孝樹

【テーマコード（参考）】

3D020

3D344

5C054

【Ｆターム（参考）】

3D020BA04

3D020BA20

3D020BC02

3D020BC07

3D020BD05

3D020BE03

3D344AA21

3D344AA27

3D344AB01

3D344AC27

3D344AD01

3D344AD13

5C054CA04

5C054CA05

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FC13

5C054FD07

5C054FE06

5C054FE09

5C054FE26

5C054FF03

5C054HA30

(57)【要約】

【課題】電子ミラー装置のユーザビリティを向上させる。
【解決手段】電子ミラー表示部（２０）は、第１撮像部（３０）で撮像された車両の後方画像を表示可能なディスプレイ（２０ａ）と、当該ディスプレイ（２０ａ）の正面側に配置された、正面からの光を反射し背面からの光を透過するミラー（２０ｂ）とを有する。画像認識部（１１）は、第２撮像部（５０）で撮像された画像から、運転者の挙動を認識する。表示制御部（１２）は、ディスプレイ（２０ａ）に車両の後方画像を非表示の状態において、運転者が車両の後方を見ようとする挙動が検知された場合、ディスプレイ（２０ａ）に車両の後方画像を表示させるように制御する。画像認識部（１１）は、運転者の視点があるミラーの注視領域を検知する。表示制御部（１２）は、ミラーの注視領域に対応する車両の後方画像の領域を強調した画像をディスプレイ（２０ａ）に表示させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の後方を撮像する第１撮像部と、
前記第１撮像部で撮像された前記車両の後方画像を表示可能なディスプレイと、当該ディスプレイの正面側に配置された、正面からの光を反射し背面からの光を透過するミラーとを有する電子ミラー表示部と、
前記車両内の運転者を撮像する第２撮像部と、
前記第２撮像部で撮像された画像から、前記運転者の挙動を認識する画像認識部と、
前記ディスプレイに前記車両の後方画像を非表示の状態において、前記運転者が前記車両の後方を見ようとする挙動が検知された場合、前記ディスプレイに前記車両の後方画像を表示させるように制御する表示制御部と、を備え、
前記画像認識部は、前記運転者の視点がある前記ミラーの注視領域を検知し、
前記表示制御部は、前記ミラーの注視領域に対応する前記車両の後方画像の領域を強調した画像を前記ディスプレイに表示させる、
電子ミラー装置。

【請求項2】

前記表示制御部は、前記ディスプレイに前記車両の後方画像を非表示の状態において、前記運転者が前記車両の後方を見ようとする挙動が検知された場合、前記ミラーの注視領域に対応する前記車両の後方画像の領域が拡大された状態の後方画像を前記ディスプレイに表示させる、
請求項１に記載の電子ミラー装置。

【請求項3】

前記画像認識部は、前記運転者の視点がある前記ミラーの注視領域を追跡し、
前記表示制御部は、前記注視領域の動きに合わせて、前記後方画像の表示範囲を移動させる、
請求項１に記載の電子ミラー装置。

【請求項4】

前記電子ミラー装置が起動する際、車両内部または車両周辺の照度、または後部座席の乗員の有無の少なくとも一方をもとに、前記ディスプレイに、前記車両の後方画像を表示させるか否かを決定するモード決定部をさらに備える、
請求項１から３のいずれか１項に記載の電子ミラー装置。

【請求項5】

車両の後方を撮像する第１撮像部で撮像された前記車両の後方画像を表示可能なディスプレイと、前記ディスプレイの正面側に配置され、正面からの光を反射し背面からの光を透過するミラーとを有する電子ミラー表示部を備える電子ミラー装置の制御プログラムであって、
前記車両内の運転者を撮像する第２撮像部で撮像された画像から、前記運転者の挙動を認識する画像認識機能と、
前記ディスプレイに前記車両の後方画像を非表示の状態において、前記運転者が前記車両の後方を見ようとする挙動が検知された場合、前記ディスプレイに前記車両の後方画像を表示させるように制御する表示制御機能と、をコンピュータに実行させ、
前記画像認識機能は、前記運転者の視点がある前記ミラーの注視領域を検知し、
前記表示制御機能は、前記ミラーの注視領域に対応する前記車両の後方画像の注目領域を強調した画像を前記ディスプレイに表示させる、
電子ミラー装置の制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルルームミラーとして使用される電子ミラー装置、制御プログラムに関する。

【背景技術】

【0002】

自動車のルームミラー（バックミラーともいう）は車両後方の状況を確認することを目的としているが、実際には車室後部の状況（後部座席や荷物）を確認する用途にも使用されている。近年、従来の光学式のルームミラーを、電子式のデジタルルームミラーに置き換える動きが拡大している。電子ミラーでは車両後方の状況を鮮明な映像で確認することができるが、車室後部が映らず、車室後部の状況を確認することが難しくなっている。

【0003】

この対策として、追加の小ミラーを別途、フロントガラスに張り付けることが考えられるが、小ミラーを別途に購入する必要がある。また、小ミラーでは十分な視野を確保することが難しい。

【0004】

電子ミラー装置には、スイッチ等で画面を消して、通常の光学ミラーに切り替えることが可能な機種が多い。ただし、スイッチ操作でモードを切り替えるのは煩雑であり、運転中の操作は安全性を低下させる要因ともなる。

【0005】

これに対して、運転者の視線の動きから電子ミラーモードと光学ミラーモードを切り替える方法が提案されている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６－３０５０７号公報

【特許文献2】特開２０２２－１４８２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明者は、電子ミラーモードと光学ミラーモードを切り替え可能な電子ミラー装置において、さらにユーザインタフェースを向上させる方法を開発するに至った。

【0008】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、電子ミラー装置のユーザビリティを向上させる技術を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本実施形態のある態様の電子ミラー装置は、車両の後方を撮像する第１撮像部と、前記第１撮像部で撮像された前記車両の後方画像を表示可能なディスプレイと、前記ディスプレイの正面側に配置された、正面からの光を反射し背面からの光を透過するミラーとを有する電子ミラー表示部と、前記車両内の運転者を撮像する第２撮像部と、前記第２撮像部で撮像された画像から、前記運転者の挙動を認識する画像認識部と、前記ディスプレイに前記車両の後方画像を非表示の状態において、前記運転者が前記車両の後方を見ようとする挙動が検知された場合、前記ディスプレイに前記車両の後方画像を表示させるように制御する表示制御部と、を備える。前記画像認識部は、前記運転者の視点がある前記ミラーの注視領域を検知し、前記表示制御部は、前記ミラーの注視領域に対応する前記車両の後方画像の領域を強調した画像を前記ディスプレイに表示させる。

【0010】

なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本実施形態の態様として有効である。

【発明の効果】

【0011】

本実施形態によれば、電子ミラー装置のユーザビリティを向上させることができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る電子ミラー装置の設置例を説明するための図である。

【図2】電子ミラー装置本体の外観構成例を示す図である。

【図3】実施形態に係る電子ミラー装置のシステム構成を示す図である。

【図4】図４（ａ）－（ｃ）は、電子ミラー装置の各モードにおける電子ミラー表示部の視認状態の具体例を示す図である。

【図5】図５（ａ）－（ｂ）は、ハイブリッドモードにおいて運転者の視線が移動した場合の具体例を示す図である。

【図6】光学ミラーモードまたはハイブリッドモードから電子ミラーモードに切り替わる直前の状態を示す図である。

【図7】図７（ａ）－（ｃ）は、電子ミラーモードにおける後方画像の切り出し範囲の具体例を示す図である。

【図8】図８（ａ）－（ｃ）は、図７（ａ）－（ｃ）の切り出し範囲から切り出された後方画像の電子ミラー表示部における表示例を示す図である。

【図9】電子ミラーモードにおいて運転者の視線が移動した場合の具体例を示す図である。

【図10】図１０（ａ）－（ｂ）は、電子ミラーモードにおける後方画像から切り出されて表示される範囲の変化を示す図である。

【図11】実施形態に係る電子ミラー装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0013】

図１は、実施形態に係る電子ミラー装置１の設置例を説明するための図である。実施形態に係る電子ミラー装置１は、電子ミラー装置本体１ａと後方撮像部３０を備える。図１に示す例では、電子ミラー装置本体１ａは、既存の光学式のルームミラーのミラー面の上に重ねられ、複数のバンドまたは所定の固定ホルダを介して（不図示）既存のルームミラーに固定される。後方撮像部３０は例えば、車両Ｖ１のリアガラスの内側に両面テープで固定される。なお後方撮像部３０は、車両Ｖ１の後方の映像を撮像できる位置であれば、どの位置に設置されてもよく、防水ケースに収納して車両Ｖ１の外に設置してもよい。また、光学式のルームミラーを排して、電子ミラー装置本体１ａのみが設置されていてもよい。

【0014】

図２は、電子ミラー装置本体１ａの外観構成例を示す図である。電子ミラー装置本体１ａの前面には、電子ミラー表示部２０と運転者撮像部５０が配置される。運転者撮像部５０は、電子ミラー表示部２０の周囲のフレーム領域の所定の位置に配置されている。図２に示す例では右ハンドルの車両を想定し、電子ミラー表示部２０の右上に配置されているが、左ハンドルの車両の場合、電子ミラー表示部２０の左上に配置されることが望ましい。

【0015】

なお、運転者撮像部５０は外付けの撮像部で構成されてもよい。外付けの撮像部は例えば、電子ミラー装置本体１ａの右端に固定されて設置されてもよい。また、外付けの撮像部は、ステアリングコラムの上部に、ステアリングホイールの隙間を介して運転者の顔と対向するように設置されてもよい。また既に車両Ｖ１内に、運転者の脇見や居眠りを検知するためのドライバモニタリングシステム（ＤＭＳ）が設置されている場合、ドライバモニタリングシステムのカメラを、本実施形態に係る運転者撮像部５０に転用してもよい。

【0016】

図３は、実施形態に係る電子ミラー装置１のシステム構成を示す図である。電子ミラー装置１は、処理部１０、電子ミラー表示部２０、後方撮像部３０及び運転者撮像部５０を備える。

【0017】

後方撮像部３０及び運転者撮像部５０はそれぞれ、レンズ、固体撮像素子を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を電気的な映像信号に変換して処理部１０に出力する。

【0018】

電子ミラー表示部２０は、ディスプレイ２０ａとハーフミラー２０ｂを含む。ディスプレイ２０ａは、液晶ディスプレイ、有機ＥＬディスプレイ、ミニＬＥＤディスプレイ等のディスプレイであり、後方撮像部３０で撮像された車両Ｖ１の後方画像を表示するためのディスプレイである。

【0019】

なお電子ミラー装置１が、ドライブレコーダと一体化された電子ミラー装置（ミラーレコーダとも称される）で構成される場合、ディスプレイ２０ａには車両Ｖ１の前方画像を表示することもできる。その場合、車両Ｖ１の前方を撮像するための撮像部が電子ミラー装置本体１ａの裏面（車両Ｖ１の進行方向側の面）にさらに設置される。

【0020】

ハーフミラー２０ｂは、ディスプレイ２０ａの正面側に配置され、正面からの光を反射し背面からの光を透過する。ハーフミラー２０ｂは、反射膜に使用される金属の量を調整することで反射率を低下させたミラーであり、一般的なハーフミラー２０ｂでは反射率が５０％程度に調整される。電子ミラー表示部２０では、ディスプレイ２０ａを消灯させることで透過光を消去できるため、ハーフミラー２０ｂの透過率は高い方が望ましい。例えば、透過率は５０％程度に調整される。なおハーフミラー２０ｂの代わりに、電子制御により透過率を制御できるミラー液晶ディスプレイを用いてもよい。

【0021】

処理部１０は、画像認識部１１、表示制御部１２及び初期モード決定部１３を含む。処理部１０は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現される。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＤＳＰ（Digital Signal Processors）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

【0022】

画像認識部１１は、運転者撮像部５０で撮像された画像から、運転者Ｐｄの挙動を認識する。画像認識部１１は、運転者Ｐｄの視線または頭部姿勢を検知するための既知の検知アルゴリズムを用いることができる。画像認識部１１は例えば、運転者撮像部５０で撮像された画像から、顔検出器を用いて運転者Ｐｄの顔領域を検出する。実際に運転席に座る特定の運転者Ｐｄの顔検出器が事前に用意されることが望ましい。特定の運転者Ｐｄの顔検出器は、対象とする運転者Ｐｄが運転席に座って電子ミラー表示部２０を見ている状態で、運転者撮像部５０から運転者Ｐｄを複数回、撮像することで生成することができる。

【0023】

運転者撮像部５０に可視光カメラが用いられる場合、画像認識部１１は、可視光画像の顔領域内の特徴点をもとに眼領域に含まれる目頭と虹彩の位置を特定する。画像認識部１１は、目頭の位置を基準点、虹彩の位置を動点とし、目頭に対する虹彩の相対的な位置に基づいて視線方向または視線の動きを検知する。例えば、左眼の虹彩が左眼の目頭から離れていき、右眼の虹彩が右眼の目頭に近づいている場合、画像認識部１１は、運転者Ｐｄの視線が左に移動していると推定する。

【0024】

運転者撮像部５０に赤外線カメラが用いられる場合、赤外線カメラの近傍に、運転者Ｐｄに向けて赤外線を照射する赤外線発光部が設けられる。画像認識部１１は、赤外線カメラで撮像された赤外線画像から顔検出器を用いて運転者Ｐｄの顔領域を検出する。画像認識部１１は、顔領域内の特徴点をもとに眼領域に含まれる角膜反射点と、瞳孔の位置を特定する。角膜反射点は、赤外線発光部から照射された赤外線を反射している角膜上の反射点である。画像認識部１１は、角膜反射点の位置を基準点、瞳孔の位置を動点とし、角膜反射点に対する瞳孔の相対的な位置に基づいて視線方向または視線の動きを検知する。赤外線方式の方が基本的に、運転者Ｐｄの視線位置を高精度に推定することができる。

【0025】

また画像認識部１１は、事前に取得された運転者撮像部５０の設置位置と運転者Ｐｄの眼の位置との位置関係（距離、角度）、事前に取得された運転者Ｐｄの通常時の両眼の瞳孔間距離、撮像された画像内の運転者Ｐｄの両眼の瞳孔間距離をもとに、運転者Ｐｄが注視している対象物までの距離を推定することができる。また画像認識部１１は、運転者Ｐｄの視線移動中における両眼の輻輳角の変化量をもとに、遠方へ視線移動しているか、近方へ視線移動しているかを推定することができる。また画像認識部１１は、顔領域内の各特徴点の配置から、頭部のロール角、ピッチ角、ヨー角を推定して、運転者Ｐｄの頭部姿勢を推定することもできる。

【0026】

本実施形態では、運転者Ｐｄが電子ミラー装置１に視線を向けている際、運転者Ｐｄが車室後部を見ているか、車両Ｖ１の後方を見ているかを判別する必要がある。例えば、車室後部を見ている人物の複数の顔画像を用意し、当該複数の顔画像を機械学習して、車室後部を見ている状態を検知するための検出器を生成する。同様に、車両Ｖ１の後方を見ている人物の複数の顔画像を用意し、当該複数の顔画像を機械学習して、車両Ｖ１の後方を見ている状態を検知するための検出器を生成する。画像認識部１１は、これらの検出器を参照して、運転者撮像部５０で撮像された画像から、運転者Ｐｄが車室後部を見ているか、車両Ｖ１の後方を見ているかを判別してもよい。

【0027】

本実施形態では、運転者Ｐｄが電子ミラー装置１に視線を向けている際、運転者Ｐｄが電子ミラー表示部２０のどの領域を見ているかを判別できることが望ましい。なお、視線を検出する時間は２秒程度の視線が留まっている状態で判別することが望ましい。例えば、電子ミラー表示部２０の表示領域を４分割または９分割し、各表示領域を見ている人物の複数の顔画像をそれぞれ用意する。表示領域ごとに当該複数の顔画像を機械学習して、各表示領域を見ている状態を検知するための検出器を生成する。画像認識部１１は、これらの検出器を参照して、運転者撮像部５０で撮像された画像から、運転者Ｐｄが電子ミラー装置１を見ている際にどの表示領域を見ているかを推定することができる。

【0028】

本実施形態では、電子ミラー装置１を後方確認に使用するためのモードとして、光学ミラーモード、電子ミラーモード、ハイブリッドモードの３つが用意されている。光学ミラーモードは、ディスプレイ２０ａを消灯する、またはディスプレイ２０ａの輝度を運転者Ｐｄが視認できない程度まで低下させるモードである。光学ミラーモードでは、運転者Ｐｄはハーフミラー２０ｂの反射光を視認し、映像表示機能のない通常のルームミラーと同様の体感となる。

【0029】

電子ミラーモードは、運転者Ｐｄがハーフミラー２０ｂの反射光を視認できなくなる程度まで、ディスプレイ２０ａの輝度が高く設定されるモードである。電子ミラーモードでは、運転者Ｐｄは通常のディスプレイを見る体感と同様の体感となる。ハイブリッドモードは、ハーフミラー２０ｂの反射光が主、ディスプレイ２０ａからの透過光が従となる視認状態になるようにディスプレイ２０ａを制御するモードである。すなわちハイブリッドモードでは、ディスプレイ２０ａとハーフミラー２０ｂの両方の映像表示が可能となるようにディスプレイ２０ａの輝度を制御する。

【0030】

表示制御部１２は電子ミラーモードにおいて、後方撮像部３０で撮像された車両Ｖ１の後方画像をディスプレイ２０ａに表示させる。表示制御部１２は光学ミラーモードにおいて、ディスプレイ２０ａを消灯させる。表示制御部１２はハイブリッドモードにおいて、車両Ｖ１の後方画像を縮小して、後方画像の縮小画像をディスプレイ２０ａの一部の領域に表示させる。表示制御部１２は例えば、後方画像をディスプレイ２０ａのサイズの１／４未満に縮小し、後方画像の縮小画像を、ディスプレイ２０ａの右下隅または左下隅に表示させる。なお、ディスプレイ２０ａの右上隅または左上隅に表示させてもよい。

【0031】

表示制御部１２は、縮小画像を表示させていない領域は、消灯させるか黒表示にする。有機ＥＬディスプレイ、ミニＬＥＤディスプレイの場合、非表示領域の素子を非発光に制御することができる。液晶ディスプレイでもローカルディミング機能を搭載している場合、非表示領域のバックライトを消灯することができる。

【0032】

表示制御部１２は電子ミラーモードにおいて、画像認識部１１により運転者Ｐｄが車両Ｖ１の車室後部を見ようとする挙動が検知された場合、電子ミラー装置１を光学ミラーモードまたはハイブリッドモードに切り替える。表示制御部１２は光学ミラーモードまたはハイブリッドモードにおいて、画像認識部１１により運転者Ｐｄが車両Ｖ１の後方を見ようとする挙動が検知された場合、電子ミラー装置１を電子ミラーモードに切り替える。

【0033】

画像認識部１１は、運転者Ｐｄが車両Ｖ１の車室後部を見ようとする挙動を例えば以下のように認識することができる。画像認識部１１は、運転者Ｐｄの虹彩または瞳孔の位置により、運転者Ｐｄが電子ミラー装置１が存在する左上を見ている視線状態（以下、ミラー目視状態という）にあるか否かを判定する。

【0034】

画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を前に突き出すことにより、画像内の頭部領域が所定の倍率以上、拡大したとき車室後部を見ようとする挙動が発生したと推定してもよい。また画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を上げることにより、画像内の頭部領域のピッチ角が所定値以上、増加したとき車室後部を見ようとする挙動が発生したと推定してもよい。

【0035】

また画像認識部１１はミラー目視状態において、運転者Ｐｄが視線を上げることにより、画像内の虹彩または瞳孔が所定値以上、上方向に移動したとき車室後部を見ようとする挙動が発生したと推定してもよい。また画像認識部１１はミラー目視状態において、運転者Ｐｄが近くを見る視線に変えることにより、画像内の両眼の瞳孔間距離が所定値以上、短縮したとき車室後部を見ようとする挙動が発生したと推定してもよい。

【0036】

また画像認識部１１は、運転者Ｐｄが見ているハーフミラー２０ｂの注視位置が、例えば上部１／３の領域に含まれると推定できるとき、運転者Ｐｄが車室後部を見ていると推定してもよい。運転者撮像部５０に赤外線方式を採用している場合、運転者Ｐｄが見ているハーフミラー２０ｂの注視位置を高精度に特定することができる。

【0037】

反対に画像認識部１１は、運転者Ｐｄが車両Ｖ１の後方を見ようとする挙動を例えば以下のように認識することができる。画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を後ろに戻すことにより、画像内の頭部領域が所定の倍率以上、縮小したとき車両後方を見ようとする挙動が発生したと推定してもよい。また画像認識部１１はミラー目視状態において、運転者Ｐｄが頭部を下げることにより、画像内の頭部領域のピッチ角が所定値以上、減少したとき車両後方を見ようとする挙動が発生したと推定してもよい。

【0038】

また画像認識部１１はミラー目視状態において、運転者Ｐｄが視線を下げることにより、画像内の虹彩または瞳孔が所定値以上、下方向に移動したとき車両後方を見ようとする挙動が発生したと推定してもよい。また画像認識部１１はミラー目視状態において、運転者Ｐｄが遠くを見る視線に変えることにより、画像内の両眼の瞳孔間距離が所定値以上、短縮したとき車両後方を見ようとする挙動が発生したと推定してもよい。また画像認識部１１は、運転者Ｐｄが見ているハーフミラー２０ｂの注視位置が、例えば下部２／３の領域に含まれると推定できるとき、運転者Ｐｄが車両後方を見ていると推定してもよい。

【0039】

画像認識部１１は基本的に、ミラー目視状態において、運転者Ｐｄが見ているハーフミラー２０ｂの注視位置を監視している。表示制御部１２はハイブリッドモードにおいて、運転者Ｐｄの視点が含まれるハーフミラー２０ｂの注視領域を回避するように、後方画像の縮小画像をディスプレイ２０ａに表示させる。ハーフミラー２０ｂの注視領域は、ハーフミラー２０ｂを複数の領域に分割した際の（例えば、左右に２分割、上下に２分割、上下左右に４分割、または上下左右に９分割など）、ハーフミラー２０ｂの注視位置を含む領域で定義される。

【0040】

画像認識部１１はハイブリッドモードにおいて、例えば、ハーフミラー２０ｂを左右に２分割にした際の運転者Ｐｄの視点が、ハーフミラー２０ｂの右半分領域にあるか左半分領域にあるかを監視している。表示制御部１２は、運転者Ｐｄの視点がハーフミラー２０ｂの右半分領域にある場合は後方画像の縮小画像を左下隅または左上隅に表示させ、左半分領域にある場合は後方画像の縮小画像を右下隅または右上隅に表示させる。

【0041】

画像認識部１１は、運転者Ｐｄが見ているハーフミラー２０ｂの注視位置を監視することで、ハーフミラー２０ｂの注視領域を追跡する。表示制御部１２は、注視領域を回避するように、後方画像の縮小画像の表示位置を適応的に移動させる。運転者Ｐｄのハーフミラー２０ｂ上の視点が右半分領域にある状態から、左半分領域にある状態に切り替わった場合、表示制御部１２は、後方画像の縮小画像の表示位置を左下隅または左上隅から、右下隅または右上隅に移動させる。

【0042】

またハイブリッドモードの別の形態として、表示制御部１２は、運転者Ｐｄが車両Ｖ１の後方画像を視認可能な範囲で、ディスプレイ２０ａの輝度を低下させてもよい。具体的には表示制御部１２は、ハーフミラー２０ｂに映った鏡像の奥に、薄く後方画像が見える程度まで、ディスプレイ２０ａの輝度を低下させる。どの程度の輝度まで低下させるかは、実験またはシミュレーションに基づき決定すればよい。本実施形態に係るハイブリッドモードは、鏡像が主、ディスプレイ２０ａの表示映像が従となるモードであるため、少なくともディスプレイ２０ａの表示映像の視認性が、鏡像の視認性より低くなるように、ハイブリッドモードにおけるディスプレイ２０ａの輝度が設定される。

【0043】

表示制御部１２は、光学ミラーモードまたはハイブリッドから電子ミラーモードに切り替える際、運転者Ｐｄの視点があるハーフミラー２０ｂの注視領域に対応する後方画像の領域を強調した画像をディスプレイ２０ａに表示させる。表示制御部１２は例えば、ハーフミラー２０ｂの注視領域に対応する後方画像の領域が拡大された状態の後方画像をディスプレイ２０ａに表示させる。

【0044】

電子ミラーモードに切り替える際、例えば、運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合、表示制御部１２は、後方撮像部３０の固体撮像素子の撮像範囲内の切り出し範囲を左側にシフトさせて画像を切り出す。表示制御部１２は切り出した画像を拡大してディスプレイ２０ａに表示させる。

【0045】

画像認識部１１はハイブリッドモードにおいて、運転者Ｐｄの視点があるハーフミラー２０ｂの注視領域を追跡している。画像認識部１１は例えば、ハーフミラー２０ｂを左右に２分割した際の運転者Ｐｄの視点が、ハーフミラー２０ｂの右半分領域にあるか左半分領域にあるかを監視している。

【0046】

表示制御部１２は、ハーフミラー２０ｂの注視領域の動きに合わせて、車両Ｖ１の後方画像の表示範囲を移動させる。表示制御部１２は例えば、運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合は後方撮像部３０の固体撮像素子の撮像範囲内の切り出し範囲を左側にシフトさせて画像を切り出し、右半分領域にある場合は後方撮像部３０の固体撮像素子の撮像範囲内の切り出し範囲を右側にシフトさせて画像を切り出す。

【0047】

また表示制御部１２は、光学ミラーモードまたはハイブリッドから電子ミラーモードに切り替える際、運転者Ｐｄの視点があるハーフミラー２０ｂの注視領域に対応する後方画像の領域の輝度が、それ以外の領域の輝度より高い状態の画像をディスプレイ２０ａに表示させてもよい。表示制御部１２は、ハーフミラー２０ｂの注視領域の動きに合わせて、輝度が相対的に高い領域を移動させてもよい。

【0048】

初期モード決定部１３は、電子ミラー装置１が起動する際の初期モードを決定する。具体的には初期モード決定部１３は、電子ミラー装置１が起動する際、照度または後部座席の乗員の有無の少なくとも一方をもとに、電子ミラーモードで起動するか光学ミラーモードで起動するかを決定する。

【0049】

照度が低い場合、光学ミラーモードではハーフミラー２０ｂに映る鏡像が見えにくい。初期モード決定部１３は、照度が設定値より低い場合、電子ミラー装置１を電子ミラーモードで起動させる。初期モード決定部１３は、照度が設定値以上の場合、光学ミラーモードで起動させてもよいし、電子ミラーモードで起動させてもよい。例えば、デフォルトまたはユーザ設定された初期モードで起動させてもよいし、電子ミラー装置１の前回終了時のモードで起動させてもよい。電子ミラー装置１の消費電力を低減するために、デフォルト状態が光学ミラーモードに設定されていてもよい。

【0050】

車両Ｖ１に照度センサが設置されている場合、初期モード決定部１３は、照度センサから照度の検出値を取得することができる。これにより車両内部または車両周辺の照度を検出できる。また初期モード決定部１３は、カーナビゲーションシステム、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）等から天気情報を取得し、曇り、雨または雪の場合、照度が設定値より低い状態とみなしてもよい。また初期モード決定部１３は時刻情報を取得し、夜間帯の場合、照度が設定値より低い状態とみなしてもよい。

【0051】

また初期モード決定部１３は、後部座席に乗員がいる場合、原則として後部座席を確認可能な光学ミラーモードで起動させる。初期モード決定部１３は、後部座席に乗員がいない場合、光学ミラーモードで起動させてもよいし、電子ミラーモードで起動させてもよい。例えば、デフォルトまたはユーザ設定された初期モードで起動させてもよいし、電子ミラー装置１の前回終了時のモードで起動させてもよい。初期モード決定部１３は例えば、後部座席の着座センサの検出値をもとに、後部座席に乗員がいるか否かを判定することができる。なお、後部座席に乗員がいる場合でも照度が設定値より低い場合、初期モード決定部１３は、電子ミラーモードで起動させる。

【0052】

図４（ａ）－（ｃ）は、電子ミラー装置１の各モードにおける電子ミラー表示部２０の視認状態の具体例を示す図である。図４（ａ）は光学ミラーモードにおける電子ミラー表示部２０の視認状態を示し、図４（ｂ）は電子ミラーモードにおける電子ミラー表示部２０の視認状態を示し、図４（ｃ）はハイブリッドモードにおける電子ミラー表示部２０の視認状態を示す。

【0053】

図４（ａ）－（ｃ）に示す例は、車両Ｖ１の右後部座席に第１乗員Ｐ１が座っており、左後部座席に第２乗員Ｐ２が座っており、車両Ｖ１と同一車線の後方に後方車両Ｖ２が存在する状況を示している。図４（ａ）に示す光学ミラーモードでは第１乗員Ｐ１と第２乗員Ｐ２が視認可能であり、さらに後方車両Ｖ２も視認可能である。ただし、後部中央座席のヘッドレストにより後方車両Ｖ２の下部が視認できない状態である。

【0054】

図４（ｂ）に示す電子ミラーモードでは、後方車両Ｖ２の全体をより大きく鮮明に映し出すことができる。ただし、車室内の第１乗員Ｐ１と第２乗員Ｐ２を視認することはできない。図４（ｃ）に示すハイブリッドモードでは、後方車両Ｖ２が映った後方画像の縮小画像ＲＩが電子ミラー表示部２０の右下隅に表示されている。これにより、後方車両Ｖ２の全体を視認することができる。

【0055】

図５（ａ）－（ｂ）は、ハイブリッドモードにおいて運転者Ｐｄの視線が移動した場合の具体例を示す図である。図５（ａ）は運転者Ｐｄの視線が右方向に移動中の電子ミラー表示部２０の視認状態を示し、図５（ｂ）は運転者Ｐｄの視線移動が終了した時点の電子ミラー表示部２０の視認状態を示す。

【0056】

運転者Ｐｄが第１乗員Ｐ１を見ている状態では後方画像の縮小画像ＲＩが電子ミラー表示部２０の右下隅に表示されている。運転者Ｐｄの視点が第１乗員Ｐ１から第２乗員Ｐ２に移動すると、後方画像の縮小画像ＲＩが電子ミラー表示部２０の左下隅に表示される状態に切り替わる。これにより、運転者Ｐｄが見たい第２乗員Ｐ２の視認性が向上する。

【0057】

図６は、光学ミラーモードまたはハイブリッドモードから電子ミラーモードに切り替わる直前の状態を示す図である（ハイブリッドモード時の車両後方の重畳画像は不図示）。後方車両Ｖ２が右車線に車線変更している状態であり、運転者Ｐｄがハーフミラー２０ｂの上部に映っている後方車両Ｖ２を眼で追いかけている状態を示している。運転者Ｐｄの視点はハーフミラー２０ｂの左半分領域の中に存在する。後述するように運転者Ｐｄの視点の位置に応じて、電子ミラーモードにおける後方画像の切り出し範囲Ｃ１の位置が変わる。

【0058】

図７（ａ）－（ｃ）は、電子ミラーモードにおける後方画像の切り出し範囲Ｃ１の具体例を示す図である。図７（ａ）は後方画像のデフォルトの切り出し範囲Ｃ１を示し、図７（ｂ）は運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合の後方画像の切り出し範囲Ｃ１を示し、図７（ｃ）は運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合の後方画像の表示範囲Ｄ１を示す。

【0059】

図７（ａ）に示すようにデフォルト状態では、後方撮像部３０の固体撮像素子の撮像範囲３０ｉの中央部分から画像が切り出され、切り出し範囲Ｃ１の画像がディスプレイ２０ａに表示される。図７（ｂ）に示す例では、運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合、切り出し範囲Ｃ１が左にシフトされ、当該切り出し範囲Ｃ１から切り出された画像がディスプレイ２０ａに表示される。図７（ｃ）に示す例では、左にシフトされた切り出し範囲Ｃ１の画像が拡大される。表示制御部１２は画素補間により、切り出し範囲Ｃ１の画像を所定の拡大率で拡大する。表示制御部１２は拡大した画像から、ディスプレイ２０ａの表示サイズからはみ出す領域の画素データを破棄する。ディスプレイ２０ａには表示範囲Ｄ１の画像が表示される。

【0060】

図８（ａ）－（ｃ）は、図７（ａ）－（ｃ）の切り出し範囲Ｃ１から切り出された後方画像の電子ミラー表示部２０における表示例を示す図である。図８（ａ）はデフォルトの切り出し範囲Ｃ１から切り出された後方画像の表示例を示し、図８（ｂ）は運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合の後方画像の切り出し範囲Ｃ１から切り出された後方画像の表示例を示す。図８（ｃ）は運転者Ｐｄの視点がハーフミラー２０ｂの左半分領域にある場合の後方画像の切り出し範囲Ｃ１から切り出された後方画像が拡大されて表示される場合の表示例を示す。

【0061】

図８（ｂ）に示す表示例は、図８（ａ）に示す表示例と比較して、後方車両Ｖ２がより中央の位置に配置されており、後方車両Ｖ２の視認性が向上している。図８（ｃ）に示す表示例では、後方車両Ｖ２が拡大されており、さらに視認性が向上している。

【0062】

図９は、電子ミラーモードにおいて運転者Ｐｄの視線が移動した場合の具体例を示す図である。図９は、後方車両Ｖ２の右車線への車線変更がさらに進行した状態であり、運転者Ｐｄが電子ミラー表示部２０に映っている後方車両Ｖ２を眼で左に追いかけている状態を示している。

【0063】

図１０（ａ）－（ｂ）は、電子ミラーモードにおける後方画像から切り出されて表示される範囲の変化を示す図である。図１０（ａ）に示すように表示制御部１２は、画像認識部１１により検知される運転者Ｐｄの視線移動量に応じて、撮像範囲３０ｉから切り出す切り出し範囲を移動させる。表示制御部１２は、切り出し範囲が撮像範囲３０ｉの端に到達した場合、切り出し範囲をさらに仮想的に移動させてもよいし、撮像範囲３０ｉの端に到達した時点で切り出し範囲の移動を停止させてもよい。

【0064】

表示制御部１２は画素補間により、移動後の切り出し範囲の画像を所定の拡大率で拡大する。表示制御部１２は拡大した画像から、ディスプレイ２０ａの表示サイズからはみ出す領域の画素データを破棄する。図１０（ｂ）に示すように、ディスプレイ２０ａには表示範囲Ｄ１’の画像が表示される。図１０（ｂ）に示す表示例は、後方車両Ｖ２が右に移動したにもかかわらず、ディスプレイ２０ａには後方車両Ｖ２がより中央の位置に配置されており、後方車両Ｖ２の視認性が向上している。

【0065】

図１１は、実施形態に係る電子ミラー装置１の動作例を示すフローチャートである。運転者Ｐｄにより車両Ｖ１のイグニッションがオンされると（ステップＳ１０：Ｙｅｓ）、初期モード決定部１３は、照度または後部座席の乗員の有無を確認する（ステップＳ１１）。

【0066】

電子ミラーモードの発動条件を満足する場合（ステップＳ１２：Ｙｅｓ）、初期モード決定部１３は表示制御部１２に電子ミラーモードでの起動を指示し、表示制御部１２は電子ミラー装置１を電子ミラーモードで起動する（ステップＳ１３）。電子ミラーモードの発動条件を満足しない場合（ステップＳ１２：Ｎｏ）、初期モード決定部１３は表示制御部１２に光学ミラーモードまたはハイブリッドモードでの起動を指示し、表示制御部１２は電子ミラー装置１を光学ミラーモードまたはハイブリッドモードで起動する（ステップＳ１６）。

【0067】

電子ミラーモードにおいて、運転者Ｐｄにより車両Ｖ１のイグニッションがオフされると（ステップＳ１４：Ｙｅｓ）、電子ミラー装置１の動作が停止する。イグニッションオンの状態で（ステップＳ１４：Ｎｏ）、画像認識部１１により運転者Ｐｄの車室後部を見ようとする挙動が検知された場合（ステップＳ１５：Ｙｅｓ）、表示制御部１２は電子ミラー装置１を光学ミラーモードまたはハイブリッドモードに切り替える（ステップＳ１６）。画像認識部１１により運転者Ｐｄの車室後部を見ようとする挙動が検知されない間は（ステップＳ１５：Ｎｏ）、電子ミラーモードが維持される（ステップＳ１３）。

【0068】

光学ミラーモードまたはハイブリッドモードにおいて、運転者Ｐｄにより車両Ｖ１のイグニッションがオフされると（ステップＳ１７：Ｙｅｓ）、電子ミラー装置１の動作が停止する。イグニッションオンの状態で（ステップＳ１７：Ｎｏ）、画像認識部１１により運転者Ｐｄの車両後方を見ようとする挙動が検知された場合（ステップＳ１８：Ｙｅｓ）、表示制御部１２は電子ミラー装置１を電子ミラーモードに切り替える（ステップＳ１３）。画像認識部１１により運転者Ｐｄの車両後方を見ようとする挙動が検知されない間は（ステップＳ１８：Ｎｏ）、光学ミラーモードまたはハイブリッドモードが維持される（ステップＳ１６）。

【0069】

電子ミラー装置１の制御プログラムは、予め処理部１０内にインストールされていてもよいし、事後的にインストールされてもよい。後者の場合、当該制御プログラムは、アプリケーションプログラムストアからネットワークを介して電子ミラー装置１にダウンロードされてインストールされてもよい。

【0070】

以上説明したように本実施形態によれば、運転者Ｐｄの視線または頭部姿勢に応じて電子ミラー装置１のモードを自動的に切り替えることで、モード切り替えのためのスイッチ操作や音声操作が不要になり、ユーザビリティを向上させることができる。また、ハイブリッドモードを設けたことにより、車室後部の状況を確認しつつ、後方車両全体の状況を把握することができる。また、電子ミラーモードにおいて、運転者Ｐｄが注視している領域が強調して表示されるため、運転者Ｐｄが注目している車両後方の対象（例えば、後方車両）をより鮮明に確認することができる。

【0071】

以上、本発明を実施形態に基づき説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0072】

例えば、運転者Ｐｄが上記ミラー目視状態ではない場合、表示制御部１２は常に光学ミラーモードに制御してもよい。この場合、ディスプレイ２０ａの消費電力と発熱を抑えることができ、地球環境の保護にも貢献する。

【符号の説明】

【0073】

１ 電子ミラー装置、 １ａ 電子ミラー装置本体、 １０ 処理部、 １１ 画像認識部、 １２ 表示制御部、 １３ 初期モード決定部、 ２０ 電子ミラー表示部、 ２０ａ ディスプレイ、 ２０ｂ ハーフミラー、 ３０ 後方撮像部、 ５０ 運転者撮像部、 Ｖ１ 車両、 Ｖ２ 後方車両、 Ｐｄ 運転者、 Ｐ１ 第１乗員、 Ｐ２ 第２乗員。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】