(58)【調査した分野】(Int.Cl.,DB名)
車両の後方を撮影する撮像装置の映像を表示する表示パネルおよび前記表示パネルの表示面に備えられたハーフミラーを備える表示機能付きルームミラーが、前記表示パネルの表示が停止され前記ハーフミラーのミラー面を用いたルームミラーとして機能しているときは、前方を通過した物体の通過方向を検出するモーションセンサが検出した方向のうちいずれの方向におけるモーション検出結果においても、前記表示パネルの表示を実行させる表示機能へ切り替え、前記表示機能付きルームミラーが、前記表示パネルの表示が行われている表示機能を実行しているときは、前記モーションセンサが検出したモーション検出は、各々の方向に対する表示範囲の移動指示を行うとともに、前記モーションセンサが検出したモーション検出に基づいて、モーション検出波形のピーク波形の時間長が閾値未満であれば表示される範囲を狭く変化させ、閾値以上であれば表示される範囲を広く変化させる、表示切替方法。
【発明を実施するための形態】
【0012】
以下、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る表示機能付きルームミラー1をユーザである運転者側から見た外観図である。表示機能付きルームミラー1は、通常のルームミラーと同様に、ユーザから見て車両の進行方向であり、一般的にはウィンドシールドの上部などに装着される。
【0013】
表示機能付きルームミラー1は、ユーザに後方を反射させるミラー面21、ミラー面21を覆い筐体として機能するカバー20、およびユーザの操作を受け付けるセンサであるモーションセンサ40を備える。本実施形態においては、モーションセンサ40は、表示機能付きルームミラー1の中央上部に配置したが、ユーザの操作を目的としたモーションを誤認無く適切に認識可能であれば、配置場所は問わず、表示機能付きルームミラー1とは離れた位置に配置されてもよい。
【0014】
図2は、
図1に示す表示機能付きルームミラー1のa-a’の断面図を模式的に示した図である。
【0015】
図2に示すように、ミラー面21はハーフミラー22が構成する面である。また、カバー20の内部には、ハーフミラー22とほぼ同一形状の液晶パネル31およびバックライト32が配置される。液晶パネル31とバックライト32とで、表示パネル30を構成する。表示パネル30は、表示される映像を光の発光により形成する構成であれば、液晶パネル31およびバックライト32の組合せに代えて、有機EL(Electro Luminescence)パネルなどの自発光表示パネルであってもよい。
図2では、表示パネル30を駆動するための電源回路などは図示を省略する。
【0016】
図1および
図2に示す表示機能付きルームミラー1において、表示パネル30による表示が行われていないときは、バックライト32が点灯しない。このとき、ハーフミラー22は、ミラー面21に入射した光の大半を反射する。このため、表示機能付きルームミラー1は、ミラー面21の反射でユーザが後方を確認するミラーモードとして動作する。また、表示機能付きルームミラー1において、表示パネル30による表示が行われているときは、バックライト32が点灯する。このとき、バックライト32によって発せられた光は、液晶パネル31を介してハーフミラー22を透過する。このため、表示機能付きルームミラー1は、表示パネル30が表示する映像を表示する表示モードとして動作する。
【0017】
図3は、表示機能付きルームミラー1が用いるモーションセンサ40を概念的に示した 図である。モーションセンサ40は、複数のフォトダイオードが組み合わされたセンサであり、4個のフォトダイオードが組み合わせられている場合は、4方向のモーションを検出可能である。モーションセンサ40は、その内部に上方向検出フォトダイオード41U、下方向検出フォトダイオード41D、左方向検出フォトダイオード41L、右方向検出フォトダイオード41Rを備える。これらの各々のフォトダイオードの上下左右は、
図1に示すユーザから見た表示機能付きルームミラー1の上下左右と一致して配置される。このようなモーションセンサ40が物体を検出可能な範囲は、モーションセンサ40の前方0.1m〜0.2mである。なお、本実施形態では、説明の便宜上、上下左右の4方向を例に挙げて説明するが、上下左右の4方向は一例であり、これらの4方向に限られるものではなく、また、方向の数についても4つに限られるものではない。
【0018】
図4は、第1の実施形態に係る表示機能付きミラー装置10の機能ブロック図を示した図である。表示機能付きミラー装置10は、表示機能付きルームミラー1を構成する表示パネル30、モーションセンサ40、および各種データを処理する制御部100から構成される。制御部100は、各種データ処理を行うCPU(Central Processing Unit)やDSP(Digital Signal Processor)、メモリ等によって構成される。制御部100は、表示機能付きルームミラー1に内蔵されていてもよく、ナビゲーション装置や車載コンピュータなどの制御機能を用いてもよい。
【0019】
制御部100は、その機能に基づき、撮影制御部102、表示制御部104、モーション制御部106、切替制御部108を備える。各々の機能は、単一の装置に搭載される制御機能により実現されてもよく、分散された複数の装置に搭載される制御機能により実現されてもよい。
【0020】
撮影制御部102は、表示機能付きミラー装置10が搭載されている車両の後方が撮影可能となるような向きに搭載されている後方カメラ51が撮影した映像データを取得する。
【0021】
表示制御部104は、撮影制御部102が取得した映像データを、表示パネル30に表示させる処理を行う。具体的には、表示制御部104は、表示パネル30の形状に合わせた映像データの切り取りや、映像の輝度や色調を調整する。
【0022】
モーション制御部106は、モーションセンサ40からの出力信号を取得し、モーションの方向等を検出する。モーション制御部106は、モーションセンサ40が備える4個のフォトダイオードの各々が物体を検出した場合の検出波形のピーク値の分布を解析し、モーションセンサ40の前方を、物体が上下左右のいずれの方向に通過したのかを検出する。また、モーション制御部106は、所定時間内に上方向および下方向の物体通過が連続して検出された場合は、物体の上下方向の往復として検出することができる。同様に、モーション制御部106は、所定時間内に左方向および右方向の物体通過が連続して検出された場合は、物体の左右方向の往復として検出することができる。
【0023】
モーション制御部106は、モーションを検出すべき期間中は、モーションセンサ40の各々のフォトダイオードからの出力値を常時取得する。モーション制御部106は、上方向検出フォトダイオード41Uの出力値Uout、下方向検出フォトダイオード41Dの出力値Dout、左方向検出フォトダイオード41Lの出力値Lout、右方向検出フォトダイオード41Rの出力値Routを取得する。
【0024】
モーション制御部106は、例えば、(Uout−Dout)/(Uout+Dout)、(Rout−Lout)/(Rout+Lout)のピーク波形より、ジェスチャー方向を判断する。また、判断されたモーション方向に対して、例えば1秒〜2秒に設定された所定時間内に反対方向のモーション方向を検出した場合は、往復のモーションであると判断する。
【0025】
切替制御部108は、モーション制御部106の検出結果に基づき、表示制御部104を制御する。具体的には、表示機能付きルームミラー1が、ミラーモードとして動作しているときは、モーション制御部106が検出した4方向のいずれの方向におけるモーション検出結果においても、表示モードへ切り替える制御を行う。ミラーモードから表示モードへの切り替えとは、表示制御部104による表示パネル30に対する制御で、後方カメラ51の映像が表示されていない状態から表示される状態へ切り替えることである。また、表示機能付きルームミラー1が表示モードとして動作しているときは、モーション制御部106が検出した4方向のモーション検出は、検出した方向に対する表示範囲の移動指示として処理される。
【0026】
また、切替制御部108は、表示機能付きルームミラー1が、表示モードとして動作しているときは、モーション制御部106が検出した4方向の往復モーション検出により、ミラーモードへ切り替える処理を行う。
【0027】
次に、
図5を用いて、第1の実施形態に係る表示機能付きミラー装置10の表示切替方法について説明する。
【0028】
切替制御部108は、モーション制御部106がいずれかの方向のモーションを検出したか否かを判断する(ステップS101)。ステップS101において、モーションが検出されていない場合(ステップS101:No)、ステップS101の処理に戻る。ステップS101において、いずれかの方向のモーションが検出された場合(ステップS101:Yes)、切替制御部108は、表示機能付きルームミラー1が表示モードで動作しているのかミラーモードで動作しているのかを判断する(ステップS102)。ステップS102の判断は、表示制御部104が表示パネル30に後方カメラ51の映像を表示させているか否かにより判断する。
【0029】
ステップS102において、表示モードではなくミラーモードで動作していると判断された場合(ステップS102:No)、切替制御部108は、表示制御部104を制御して、表示パネル30に後方カメラ51の映像を表示させ、表示モードに変更する(ステップS103)。
【0030】
ステップS102において、表示モードとして動作していると判断された場合(ステップS102:Yes)、切替制御部108は、モーション制御部106が検出したモーションが往復のモーションであるか否かを判断する(ステップS104)。往復のモーションとは、例えば、1秒〜2秒などの予め設定された時間内に、反対方向のモーションが連続して検出された場合である。例えば、上方向のモーションが検出されて1秒以内に下方向のモーションが検出された場合などである。左右方向であっても同様である。
【0031】
ステップS104において、往復のモーションであると判断された場合(ステップS104:Yes)、切替制御部108は、表示機能付きルームミラー1の動作をミラーモードに変更する(ステップS105)。ステップS104において、往復のモーションではないと判断された場合(ステップS104:No)、切替制御部108は表示制御部104を制御して、検出されたモーションの方向に、表示範囲をシフトさせる(ステップS106)。
【0032】
図6は、ステップS106の処理における表示範囲のシフト例を概念的に示した図である。後方カメラ51は、車両の後方を広範囲に撮影するカメラである。
図6において、表示範囲501は、後方カメラ51が撮影する後方カメラ51の撮影範囲500を、表示制御部104が切り取って表示パネル30の表示データとしている範囲である。
【0033】
図6(a)は、後方カメラ51の撮影範囲500に対して、通常の状態における後方カメラ51の表示範囲501を示している。
図6(b)は、ステップS106の処理がステップS101で検出された上方向のモーション検出に対して実行されたときの例であり、表示範囲501について、
図6(a)より上方が表示される。
図6(c)は、ステップS106の処理がステップS101で検出された下方向のモーション検出に対して実行されたときの例であり、表示範囲501について、
図6(a)より下方が表示される。
図6(d)は、ステップS106の処理がステップS101で検出された左方向のモーション検出に対して実行されたときの例であり、表示範囲501について、
図6(a)より左方が表示される。
図6(e)は、ステップS106の処理がステップS101で検出された右方向のモーション検出に対して実行されたときの例であり、表示範囲501について、
図6(a)より右方が表示される。
【0034】
ステップS106の処理は、1回のモーション検出により、予め設定された最大シフト量をシフトさせてもよく、1回のモーション検出により、予め設定された最大シフト量の1/nのシフト量をシフトさせ、最大n回の同一方向のモーションの検出により最大シフト量までシフトさせてもよい。
【0035】
このような処理により、モーションセンサ40を用いた4方向のみのモーション検出で、機能の切り替えおよび表示範囲の操作を、安全性を損なわずに直感的に行うことができる。
【0036】
次に、本発明の第2の実施形態について説明する。第2の実施形態において第1の実施形態と、その構成および処理が共通する内容については、説明を省略する。
【0037】
第2の実施形態に係る表示機能付きミラー装置12の構成は、後方カメラ51に加えて、
図7に示すように、左側方カメラ52および右側方カメラ53が撮影した映像データを取得する。つまり、撮影制御部103は、後方カメラ51が撮影した映像に加えて、左側方カメラ52および右側方カメラ53の各々が撮影した映像を取得する。
【0038】
表示制御部105は、撮影制御部103が取得した後方カメラ51の映像データに加えて、左側方カメラ52および右側方カメラ53の映像データを、表示パネル35に表示させる処理を行う。具体的には、表示パネル35の形状に合わせた各々の映像データの切り取りや、映像の輝度や色調の調整、各々の映像データの合成などである。
【0039】
図8は、第2の実施形態に係る表示機能付きミラー装置12が映像データを取得するカメラの取付位置と撮影範囲の例を示す概念図であり、車両200を上方から見た態様を示している。
図8において、矢印は車両200の前方を示し、破線は、後方カメラ51、左側方カメラ52および右側方カメラ53各々の撮影範囲を示している。後方カメラ51は、第1の実施形態においても同様であるが、車両200の後方に設置され、車両200の後方を広範囲に撮影する。左側方カメラ52および右側方カメラ53は、車両200の左右側方に各々設置され、車両200の左右後方を撮影する。左側方カメラ52および右側方カメラ53の設置位置は、
図8の例においては、ドアミラーの位置であるが、フェンダー左右側方など、他の位置に設置されてもよい。
【0040】
図9は、第2の実施形態に係る表示機能付きミラー装置12に用いられる表示機能付きルームミラー2をユーザである運転者側から見た外観図である。表示機能付きルームミラー2は、表示モード時に後方カメラ51の映像に加えて、左側方カメラ52および右側方カメラ53の映像を表示する点が表示機能付きルームミラー1と異なる。
【0041】
図9に示す表示機能付きルームミラー2のミラー面21に示した破線は、各々のカメラの映像を表示する区画を示しており、左側方カメラ52の映像を表示する左表示区画60L、後方カメラ51の映像を表示する中央表示区画60C、右側方カメラ53の映像を表示する右表示区画60Rを示している。
【0042】
図10は、
図9に示す表示機能付きルームミラー2のb-b’の断面図を模式的に示した図である。
【0043】
図10に示すように、液晶パネル31の後方には、左表示区画60L、中央表示区画60Cおよび右表示区画60Rの位置に対応して独立に点灯制御可能な左バックライト32L、中央バックライト32Cおよび右バックライト32Rを備える。これらのバックライトは、各々独立していてもよく、1のバックライトが区画毎に点灯制御可能な形態であってもよい。表示パネル35は、液晶パネル31および左バックライト32L、中央バックライト32Cおよび右バックライト32Rにより構成される。また液晶パネル31および左バックライト32L、中央バックライト32Cおよび右バックライト32Rの組合せに代えて、区画毎に表示のON/OFFが制御される有機EL(Electro Luminescence)パネルなどの自発光表示パネルであってもよい。
【0044】
次に、
図11を用いて、第2の実施形態に係る表示機能付きミラー装置12の表示切替方法について説明する。
【0045】
第2の実施形態において、表示モードとは、左表示区画60L、中央表示区画60Cおよび右表示区画60Rに、後方カメラ51、左側方カメラ52および右側方カメラ53の映像が表示されている状態である。また、ミラーモードには2のパターンがある。第1のミラーモードでは、全ての表示を行わない。第2のミラーモードでは、左表示区画60Lおよび右表示区画60Rに表示を行ない、中央表示区画60Cに表示を行わない。第2のミラーモードとして動作しているときは、表示制御部105は、液晶パネル31の中央表示区画60Cに該当する部分の表示を行わないとともに、中央バックライト32Cを消灯させる。
【0046】
ステップS102において、表示モードではなくミラーモードで動作していると判断された場合(ステップS102:No)、切替制御部108は、表示制御部105を制御して、表示パネル35の全ての区画に対する映像を表示させ、表示モードに変更する(ステップS203)。
【0047】
ステップS104において、往復のモーションであると判断された場合(ステップS104:Yes)、切替制御部108は、表示機能付きルームミラー2の動作をミラーモードに変更する(ステップS205)。ステップS205において変更されるミラーモードは、第1のミラーモードであってもよいし、第2のミラーモードであってもよい。
【0048】
ステップS104において、往復のモーションではないと判断された場合(ステップS104:No)、切替制御部108は表示制御部105を制御して、検出されたモーションの方向に、表示範囲をシフトさせる(ステップS206)。
【0049】
ステップS206の実行時、表示制御部105は、以下2種類のシフト処理を取りうることができる。第1のシフト処理としては、中央表示区画60Cに表示されている後方カメラ51の映像のみをシフトさせ、左表示区画60Lおよび右表示区画60Rに表示されている左側方カメラ52および右側方カメラ53の映像はシフトしない処理である。第1のシフト処理の場合、左表示区画60Lおよび右表示区画60Rに表示される映像は、ドアミラーで見る後方映像に相当するためにシフトさせる必要性が無く、央表示区画60Cに表示されている映像は、ルームミラーで見る映像に相当するために、必要に応じてシフトさせる。このような処理により、ユーザはミラーモードと表示モードとの切り替えおよび表示モード時における必要な表示対象の表示範囲の操作を、安全性を損なわずに直感的に行うことができる。
【0050】
また、第2のシフト処理としては、中央表示区画60Cに表示されている後方カメラ51の映像に加えて、左表示区画60Lおよび右表示区画60Rに表示されている左側方カメラ52および右側方カメラ53の映像も同様にシフトさせる処理である。第2のシフト処理の場合、表示機能付きルームミラー2が機構的に向きを変更できない場合であっても、同様の表示シフトを行うことができる。このような処理により、ユーザはミラーモードと表示モードとの切り替えおよび表示モード時における表示対象の表示範囲の操作を、安全性を損なわずに直感的に行うことができる。
【0051】
図12は、ステップS206の処理における表示範囲のシフト例を概念的に示した図である。
図12は、第2のシフト処理の例を示している。
図12において、後方カメラ51の撮影範囲500における表示範囲501は、後方カメラ51が撮影する後方カメラ51の撮影範囲500を、表示制御部105が切り取って表示パネル35の表示データとしている範囲である。同様に、
図12において、左側方カメラ52の撮影範囲510における表示範囲511は、左側方カメラ52が撮影する左側方カメラ52の撮影範囲510を、表示制御部105が切り取って表示パネル35の表示データとしている範囲である。また、
図12において、右側方カメラ53の撮影範囲520における表示範囲521は、右側方カメラ53が撮影する右側方カメラ53の撮影範囲520を、表示制御部105が切り取って表示パネル35の表示データとしている範囲である。
【0052】
表示制御部105は、各々の方向へシフト処理を行った場合、後方カメラ51の撮影範囲500における表示範囲501、左側方カメラ52の撮影範囲510における表示範囲511および右側方カメラ53の撮影範囲520における表示範囲521を合成して液晶パネル31に表示させる。
【0053】
本発明の実施の形態は、その要旨を逸脱しない限り様々に変更可能である。例えば、第1の実施形態において、ステップS106のシフト処理において表示される後方カメラ51の撮影範囲500における表示範囲501は、シフト前の表示範囲に比して表示範囲を変化させてもよい。例えば、シフト後の後方カメラ51の撮影範囲500における表示範囲501をシフト前より表示範囲を狭くする場合、表示範囲のズームと同等の効果が得られる。このため、モーション検出により表示範囲の移動指示を行った範囲を詳細に目視することができる。また、シフト後の後方カメラ51の撮影範囲500における表示範囲501をシフト前より表示範囲を広くする場合、表示範囲を広角にすることができる。これらの処理は、予め設定されていてもよく、さらにはステップS101で検出したモーションを示すピーク波形の時間長でいずれかを決定してもよい。具体的には、ステップS101で検出したモーションを示すピーク波形が、閾値の例として0.4秒未満であればシフト後の後方カメラ51の撮影範囲500における表示範囲501をシフト前より狭くし、閾値以上且つモーションとして認識される上限の時間長であれば、シフト後の後方カメラ51の撮影範囲500における表示範囲501をシフト前より広くする等である。
【0054】
同様のモーション検出を第2の実施形態に適用すると、ステップS101で検出したモーションを示すピーク波形の時間長が閾値未満の場合は、モーション検出方向に対応する左側方カメラ52の撮影範囲510における表示範囲511または右側方カメラ53の撮影範囲520における表示範囲521のいずれかを狭く切り取り、閾値以上であれば広く切り取る。