(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、本実施形態に係る車両用監視装置20が搭載された車両Cについて説明する。ここで、
図1は、車両Cを示す説明図である。
図2は、本実施形態に係る車両用監視装置20を含む車両Cのシステム構成を示すブロック図である。本実施形態に係る車両Cは、例えば、左右一対のフロントサイドドア2、左右一対のリアサイドドア3を備えるタイプの自動車である。
【0015】
この車両Cは、電子ミラー装置10を搭載している。電子ミラー装置10は、ドアミラーなどのアウターミラーに代えて、カメラ5を利用して後方視認を行う装置である。電子ミラー装置10は、車両Cに搭載された左右一対のカメラ5と、電子ミラー制御部11と、左右のカメラ5に対応する一対の表示部12と、を主体に構成されている。
【0016】
カメラ5は、左右の車体側面にそれぞれ設けられており、本実施形態では、フロントサイドドア2のアウトサイドハンドル4に搭載されている。個々のカメラ5は、
図1の破線の範囲で示すように、車両Cの後方視界、すなわち、車体側面を含んだ状態で車両Cの後方及び後側方を撮像する(撮像手段)。具体的には、右カメラ5は、右側の車体側面を含んだ状態で車両Cの後方及び右後側方を撮像し、左カメラ5は、左側の車体側面を含んだ状態で車両Cの後方及び左後側方を撮像する。カメラ5としては、CMOS、CCDなどの撮像素子と、広角レンズとを用いたデジタルカメラが好適である。
【0017】
電子ミラー制御部11は、電子ミラー装置10を制御するものであり、これを機能的に捉えた場合、画像取得部11aと、画像処理部11bと、画像表示部11cとで構成されている。電子ミラー制御部11としては、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。
【0018】
画像取得部11aは、左右のカメラ5に接続されており、左右のカメラ5から、車両Cの後方及び後側方を撮像した撮像画像を一定周期で取得する。画像処理部11bは、画像取得部11aが取得した撮像画像を、所定の切り出し範囲に応じて切り出して、表示用画像を生成する。画像処理部11bは、左右のカメラ5に対応して、左右の表示用画像をそれぞれ生成する。画像表示部11cは、画像処理部11bから表示用画像を受け取ると、この画像を一対の表示部12に表示する。この際、画像処理部11bは、右カメラ5から処理した表示用画像を、右カメラ5に対応する表示部12に表示し、左カメラ5から処理した表示用画像を、左カメラ5に対応する表示部12に表示する。
【0019】
一対の表示部12は、例えば有機ELディスプレイ又は液晶ディスプレイ等である。各表示部12は、電子ミラー制御部11と接続されている。一対の表示部12は、例えば、車室内において、ウインドシールドの両側に位置する各フロントピラーの基端部に配置されている。右カメラ5に対応する表示部12は、右側のフロントピラーの基端部に配置され、左カメラ5に対応する表示部12は、左側のフロントピラーの基端部に配置されている。もっとも、一対の表示部12は、インストルメントパネルなどの車室内の他の部位に設けられるものであってもよい。
【0020】
本実施形態の特徴の一つとして、車両Cは、車両用監視装置20を搭載している。車両用監視装置20は、車両Cの車体側面に生じる異常を監視する装置である。車両用監視装置20が監視する異常としては、例えば、半ドア状態、サイドドア2,3への異物の挟み込み、給油口のリッドの開状態などが該当する。車両用監視装置20は、監視制御部21と、報知部22と、を主体に構成されている。車両用監視装置20は、左右一対のカメラを独自に備える構成とはなっておらず、電子ミラー装置10が備える左右のカメラ5を利用する仕様となっている。
【0021】
監視制御部21は、電子ミラー装置10を制御するものであり、これを機能的に捉えた場合、画像取得部21aと、記憶部21b、画像比較部21cと、報知制御部21dとで構成されている。電子ミラー制御部11としては、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。
【0022】
画像取得部21aは、左右のカメラ5に接続されており、左右のカメラ5から、車両Cの後方及び後側方を撮像した撮像画像を取得する。記憶部21bは、カメラ5の撮像画像に現れる車体側面の基準状態を規定する参照画像を格納している。記憶部21bには、右カメラ5に対応する参照画像と、左カメラ5に対応する参照画像とがそれぞれ格納されている。画像比較部21cは、カメラ5で実際に撮像された撮像画像と、記憶部21bから読み出した参照画像とを比較して、車体の異常状態を判断する。異常状態の判断は、左右の車体側面についてそれぞれ行われる。具体的には、画像比較部21cは、右カメラ5に対応する参照画像と、右カメラ5において撮像された撮像画像とを比較し、車体右側の異常状態を判断する。また、画像比較部21cは、左カメラ5に対応する参照画像と、左カメラ5において撮像された撮像画像とを比較し、車体左側の異常状態を判断する。画像比較部21cが判断する異常は、半ドア状態、サイドドア2,3への異物の挟み込み、給油口のリッドの開状態などであり、これらの異常は、カメラ5によって実際に撮像された撮像画像において参照画像とは異なる特徴として現れる。報知制御部21dは、画像比較部21cが異常状態を判断した場合に、報知部22を制御して、報知を行う。
【0023】
報知部22は、所定の情報を乗員に報知するものである。報知部22としては、インストルメントパネルに配設されたナビゲーション用のディスプレイ6、スピードメータなどが配設されたメータ装置における警報ランプ7、或いは、スピーカ8を用いることができる。
【0024】
車両Cは、CAN(Controller Area Network)が設けられており、電子ミラー装置10の電子ミラー制御部11及び車両用監視装置20の監視制御部21はCANに接続され、相互に通信可能に構成されている。また、監視制御部21は、CANを介して、車両Cに搭載された各種センサや各種制御システムの制御部と通信することができる。
【0025】
このような制御システムとしては、スマートエントリ又はパッシブエントリと呼ばれる、車両Cのサイドドア2,3の施錠又は解錠、及びエンジン始動を行う車両用認証システム30が挙げられる。車両用認証システム30は、車両Cに搭載された車載器31と、車両Cのユーザが所持する電子キー32とで構成されている。この車両用認証システム30は、車載器31と電子キー32とが無線通信による認証を行うことで、電子キー32のスイッチ操作や機械式キーによる操作を行うことなく、ドア開閉の一連の操作過程の中でサイドドア2,3の施錠又は解錠を実行したり、車内に設置されたエンジンスイッチの操作をするのみでエンジンの始動を実行したりする。また、車両用認証システム30は、電子キー32に配設されるスイッチの操作を通じて、サイドドア2,3の施錠又は解錠を実行することもできる。
【0026】
図3は、本実施形態に係る車両用監視装置20による監視制御の手順を示すフローチャートである。このフローチャートに示す処理は、車両Cのイグニッションスイッチのオンをトリガーとして、監視制御部21により実行される。なお、イグニッションスイッチがオンされた際、車両Cは停車状態にある。
【0027】
まず、ステップ10(S10)において、画像取得部21aは、左右のカメラ5から撮像画像をそれぞれ取得する。左右のカメラ5から出力される撮像画像(左右の撮像画像)には、車両Cの後方及び後側方の景色とともに、車両Cの車体側面が映し出されている。画像取得部21aが取得した左右の撮像画像は、画像比較部21cに出力される。
【0028】
ステップ11(S11)において、画像比較部21cは、記憶部21bから、右カメラ5に対応する参照画像と、左カメラ5に対応する参照画像とを読み出す。
【0029】
ステップ12(S12)において、画像比較部21cは、右カメラ5に対応する参照画像と、右カメラ5から取得した撮像画像とを比較し、車体右側の異常状態を判断する。すなわち、画像比較部21cは、異常がない状態で映り込んだ右車体側面(参照画像)と、実際に撮像された右車体側面(実際の撮像画像)とを比較し、両者の相違から車体右側の異常状態を判断する。画像比較部21cが判断する異常は、フロントサイドドア2又はリアサイドドア3の半ドア状態、サイドドア2,3への異物の挟み込み、給油口のリッドの開状態などである。
【0030】
(1)半ドア状態
フロントサイドドア2が半ドア状態である場合、全閉状態の場合と比較してフロントサイドドア2の位置が外側へとずれるため、アウトサイドハンドル4に搭載されているカメラ5の位置も外側へとずれることとなる。このため、半ドア状態の場合、撮像画像に映り込む車体側面の位置(例えば、車体側面の外縁位置)は、参照画像のそれと比較してずれることとなる。よって、撮像画像と参照画像との比較から、撮像画像における車体側面の外縁位置と、参照画像における車体側面の外縁位置とのずれを判断することで、フロントサイドドア2の半ドア状態を判断することができる。
【0031】
一方、リアサイドドア3が半ドア状態である場合、全閉状態の場合と比較してリアサイドドア3の位置が外方へとずれる。このため、半ドア状態の場合、撮像画像に映り込むリアサイドドア3の位置(例えば、リアサイドドア3の外縁位置)は、参照画像のそれと比較してずれることとなる。よって、撮像画像と参照画像との比較から、撮像画像におけるリアサイドドア3の外縁位置と、参照画像におけるリアサイドドア3の外縁位置とのずれを判断することで、リアサイドドア3の半ドア状態を判断することができる。
【0032】
(2)サイドドア2,3への異物の挟み込み
異物を挟んだ状態でサイドドア2,3を閉じた場合、サイドドア2,3からはみ出した異物が撮像画像に映り込む。そこで、撮像画像と参照画像との比較から、撮像画像内においてサイドドア2,3の外縁の周辺に、参照画像にはない特徴が存する場合には(例えば、車体カラーとは異なる色のオブジェクトが存する、或いは、参照画像にはない輝度エッジが存する場合)、異物の挟み込みを判断することができる。
【0033】
(3)給油口のリッドの開状態
給油口のリッドが開状態である場合、全閉状態の場合と比較してリッドの後端側が外側へとずれる。このため、開状態において撮像画像に映り込むリッドの位置(例えば、リッドの外縁位置)は、参照画像のそれと比較してずれることとなる。よって、撮像画像と参照画像との比較から、撮像画像におけるリッドの外縁位置と、参照画像におけるリッドの外縁位置とのずれを判断することで、給油口のリッドの開状態を判断することができる。
【0034】
なお、画像比較部21cは、これらの異常以外にも、右カメラ5に対応する参照画像と、右カメラ5から取得した撮像画像とを比較し、撮像画像に映し出された車体の範囲内に、参照画像とは異なる特徴を認めることができた場合には、車体の異常状態を判断することができる。
【0035】
また、画像比較部21cは、右カメラ5と同様、左カメラ5に対応する参照画像と、左カメラ5から取得した撮像画像とを比較し、車体右側の異常状態を判断する。
【0036】
ステップ13(S13)において、画像比較部21cは、車体に異常があるか否かを判断する。車体に異常がある場合には、ステップ13において肯定判定され、ステップ14(S14)に進む。車体に異常がない場合には、ステップ13において否定判定され、ステップ14をスキップして本ルーチンを終了する。
【0037】
ステップ14において、報知制御部21dは、報知部22を制御して、車体の異常状態を報知する。報知の方法としては、ディスプレイ6又は警報ランプ7を利用した異常状態の表示、或いは、スピーカ8を利用した音声出力又は警報音出力などが挙げられる。また、報知の内容としては、単に異常があることのみを報知してもよいが、その異常の種類が理解できるような態様で報知を行ってもよい。
【0038】
このように本実施形態において、車両用監視装置20は、カメラ5が撮像した撮像画像と参照画像とを比較して、車両Cの車体の異常状態を判断する監視制御を行っている。後方視界を得るためのカメラ5は、車両Cの後方を写し出す必要があることから、その画角内には車両Cの車体側面が含まれている。そのため、カメラ5の撮像画像を利用することで、車体に現れる異常状態を適切に監視することができる。
【0039】
また、通常であれば、半ドア状態や、給油口のリッドの閉め忘れを検出するためには、センサを複数の箇所に配置して、これらの状態を検出する必要があった。しかしながら、本実施形態の手法によれば、一対のカメラ5のみで実現することができるので、部品点数の増加や、コストアップを抑制することができる。
【0040】
また、本実施形態において、車両用監視装置20のカメラ5は、電子ミラー装置10において車両Cの後方及び後側方を撮像するカメラ5(撮像手段)と共用されている。
【0041】
この構成によれば、それぞれの装置が独自に撮像手段を用意する必要がなく、これを共用することで、車両用監視装置20を安価に構築することができる。特に、電子ミラー装置10におけるカメラ5は、従来のアウターミラーの使用感との相違を軽減するために、アウターミラーに映る後方視界と同様に、その画角が設定されることが多い。そのため、カメラ5の撮像範囲は、車両Cの車体側面が含まれるように設定されている。これにより、カメラ5を共用しても、車両用監視装置20において車体の異常状態を適切に検出することができる。
【0042】
また、電子ミラー装置10によれば、車両Cの走行時にカメラ5から出力される撮像画像を利用するものであるが、車両用監視装置20が判断対象とする車体の異常は、乗員の乗降車時において発生するものであるから、車両用監視装置2は、車両Cの停車時においてカメラ5から出力される撮像画像を利用するものである。そのため、走行時と停車時とでカメラ5を異なる機能により利用することができ、カメラ5及びその撮像画像を有効に活用することができる。
【0043】
また、本実施形態によれば、カメラ5は、車両Cのサイドドア2,3の外側に配設されるアウトサイドハンドル4に取り付けられている。
【0044】
この構成によれば、車両Cの車体側面にアウターミラーが無いような車体であっても、後方視界を得ることができる場所にカメラ5を配置することができる。これにより、後方視界を有効に得ることができるとともに、車体の異常を適切に監視することができる。
【0045】
なお、本実施形態では、車両Cに対する乗員の乗車時における異常状態を検知することを前提にイグニッションスイッチのオン時に監視制御を行っている。しかしながら、監視制御は、車両Cから乗員が降車する際に行ってもよい。例えば、イグニッションスイッチがオフされた後、所定の遅延時間だけ車両用監視装置20に対して電力を供給し、イグニッションスイッチをオフした後も車両用監視装置20を動作可能としておく。そして、車両用監視装置20は、車両用認証システム30のスマートエントリ機能を利用したサイドドア2,3の施錠、或いは、電子キー32を利用したサイドドア2,3の施錠をトリガーとして、監視制御を行ってもよい。
【0046】
また、イグニッションスイッチがオンされた状態で車両Cが停車している際に、サイドドア2,3の開閉があった場合には、サイドドア2,3が開状態から閉状態への操作されたことをトリガーとして、監視制御を行ってもよい。
【0047】
このように、監視制御部21は、電子ミラー装置10の動作期間と重ならない期間、例えば車両の停車時において監視制御を行うことができる。これにより、走行時と停車時とでカメラ5を異なる機能により利用することができ、カメラ5及びその撮像画像を有効に活用することができる。
【0048】
また、本実施形態において、報知制御部21dは、報知部22を制御して、車体の異常状態を報知している。
【0049】
この構成によれば、車体の異常状態を乗員に報知することができる。これにより、車体に異常が生じている状態で車両Cの走行を開始したり、車両Cから離れてしまったりするという事態を抑制することができる。
【0050】
なお、本実施形態では、報知制御部21dは、乗員に対して異常状態を報知することを基本的な制御態様としているが、報知制御部21dは、画像比較部21cが車体の異常状態を判断した場合に所定の制御を行うものであればよく、報知以外の制御を行うものであってもよい。例えば、報知制御部21dは、車両Cに搭載される他の制御システム(外部機器)に対して、異常状態を示す信号を送信する制御を行うものでもよい。これにより、この信号を受けた制御システムでは、当該システムが具備する報知手段を利用して報知を行ったり、当該システムを構成する機器を不作動にしたりする、といった動作を行うことができる。
【0051】
(第2の実施形態)
図4は、第2の実施形態に係る車両用監視装置20の構成を示すブロック図である。この第2の実施形態に係る車両用監視装置20が第1の実施形態のそれと相違する点は、参照画像を更新する機能を備える点である。以下、第1の実施形態と重複する構成についての説明は省略し、相違点を中心に説明を行う。
【0052】
経年変化などにより、カメラ5の画角と車体との位置関係にずれが生じることがある。この場合、撮像画像に映し出される車体の位置にもずれが生じるため、実際には車体に異常が生じていないにも関わらず、参照画像との相違が認められ、異常が判断されてしまうことがある。そこで、本実施形態では、
図4に示すように、車両用監視装置20の監視制御部21が参照画像更新部21eを備え、この参照画像更新部21eにより、記憶部21bに格納される参照画像を必要に応じて更新することとしている。
【0053】
図5は、参照画像の更新処理を示すフローチャートである。このフローチャートに示す処理は、監視制御部21により実行される。
【0054】
まず、ステップ20(S20)において、画像取得部21aは、サイドドア2,3が解錠されたか否かを判断する。サイドドア2,3が解錠された場合には、ステップ20において肯定判定され、ステップ21(S21)に進む。一方、サイドドア2,3が施錠されたままの場合には、ステップ20に戻る。
【0055】
ステップ21において、画像取得部21aは、左右のカメラ5から撮像画像をそれぞれ取得する。左右のカメラ5から出力される撮像画像(左右の撮像画像)には、車両Cの車体側面を含んだ状態で、車両Cの後方及び右後側方の景色が映し出されている。画像取得部21aが取得した左右の撮像画像は、参照画像更新部21eに出力される。
【0056】
ステップ22(S22)において、参照画像更新部21eは、画像取得部21aから取得した左右の撮像画像により、記憶部21bが格納する参照画像を更新する。
【0057】
このように本実施形態によれば、車体の異常を検知するための参照画像を更新することができる。これにより、経年変化や、車両Cに対してオプション部品が追加されるようなケースであっても、参照画像に反映させることができる。これにより、精度の高い監視制御を行うことができる。
【0058】
また、本実施形態によれば、サイドドア2,3が解錠されたタイミングで参照画像の更新を行っている。サイドドア2,3を解錠した際には、その前提としてサイドドア2,3が施錠状態にあることを意味するから、半ドア状態や異物の挟み込みといった状況は発生しておらず、サイドドア2,3が適正に閉状態となっている蓋然性が高い。そのため、解錠タイミングをトリガーとして参照画像の更新を行うことで、車体について適正な状態で参照画像の更新を行うことができる。その結果、精度の高い監視制御を行うことができる。
【0059】
以上、本実施形態に係る車両用監視装置について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。
【0060】
例えば、上述した実施形態ではカメラをアウトサイドハンドに設置しているが、カメラはアウトサイドハンドル以外の場所に設置してもよい。