【実施例】
【0019】
以下、図面を参照して本発明の好適な実施例について説明する。以後において、「撮影方向」とは、カメラの正面となる方向であって、カメラの視野(撮影範囲)の中心を通る方向を指すものとする。
【0020】
[ドライブレコーダ装置の構成]
図1及び
図2は、実施例に係るドライブレコーダ1の構成を示す。具体的には、
図1は、ドライブレコーダ1が車室内のルームミラー12に装着された状態(単に「装着状態」とも呼ぶ。)における正面図を示す。また、
図2(A)は、装着状態におけるドライブレコーダ1の背面図を示し、
図2(B)は、装着状態におけるドライブレコーダ1の上面図を示す。以後では、ドライブレコーダ1の長手方向を「Y軸方向」、ドライブレコーダ1の短手方向を「X軸方向」、Y軸及びX軸と垂直な方向を「Z軸方向」とし、各正方向を図のように定める。
【0021】
ドライブレコーダ1は、内蔵二次電池により駆動され、主に、ミラー部13と、前方撮影カメラ4Fと、後方撮影カメラ4Rと、ミラー部13の背面に存在するディスプレイ(表示手段)10と、挟持部14A〜14Dとを有する。そして、ドライブレコーダ1は、装着状態において、挟持部14A〜14Dがルームミラー12を挟持することでルームミラー12に対して固定される。そして、ドライブレコーダ1の装着状態では、ルームミラー12の鏡面と、ドライブレコーダ1の背面とが重なる。ドライブレコーダ1は、本発明における「撮影装置」の一例である。
【0022】
前方撮影カメラ4Fは、車両の前方を撮影した画像(「前方画像Imf」とも呼ぶ。)を生成するためのカメラであり、ドライブレコーダ1の装着状態において、ルームミラー12と重ならないドライブレコーダ1の背面部分に配置される。前方撮影カメラ4Fは、後述する後方撮影カメラ4Rよりも水平方向において広い画角「θf」を有する広角カメラである。前方撮影カメラ4Fの撮影方向(矢印8F参照)は、ルームミラー12に対して略垂直な方向(即ちZ軸方向)に向けられた状態で固定されている。前方撮影カメラ4Fは、本発明における「第1撮影手段」の一例であり、前方画像Imfは、本発明における「第1画像」の一例である。
【0023】
後方撮影カメラ4Rは、運転者の位置を含む車室内を撮影した画像(「車室内画像Imr」とも呼ぶ。)を生成するためのカメラであり、一般的なカメラの画角「θr」を有する。
図1及び
図2では、後方撮影カメラ4Rは、ドライブレコーダ1の長手方向の中心かつ短手方向の下端位置に設けられている。後方撮影カメラ4Rの撮影方向(矢印8R参照)は、ルームミラー12に対して略垂直な方向(即ちZ軸方向)に向けられた状態で固定されている。そして、後方撮影カメラ4Rの撮影方向(即ちZ軸正方向)は、前方撮影カメラ4Fの撮影方向(即ちZ軸負方向)と逆方向となっている。後方撮影カメラ4Rは、本発明における「第2撮影手段」の一例であり、車室内画像Imrは、本発明における「第2画像」の一例である。
【0024】
ミラー部13は、例えばハーフミラーであって、入射した一部の光を透過させ、その他の光を反射させる。これにより、ミラー部13は、背面にあるディスプレイ10が非発光状態では車両の後方風景を映す通常のミラーとして機能し、ディスプレイ10が発光状態では、ディスプレイ10から出射された光を透過させることで、運転者にディスプレイ10の表示内容を視認させる。
【0025】
ディスプレイ10は、前方画像Imfから切り出された画像(「切り出し画像Imc」とも呼ぶ。)を表示する。切り出し画像Imcは、後述するように、車両の正面方向にある前方風景が画像の中心になるように前方画像Imfから切り出された画像であり、前方画像Imfよりも縦横の画素数が少ない。また、ディスプレイ10は、切り出し画像Imcに、運転者を案内するための文字や図形などを表す画像(「案内画像」とも呼ぶ。)を重畳させて表示する。
図1では、ディスプレイ10は、車速を表す案内画像と、点灯した信号灯を強調した四角枠の案内画像とを、切り出し画像Imcに重畳して表示している。
【0026】
図3は、ドライブレコーダ1の機能ブロック図である。
図3に示すように、ドライブレコーダ1は、前方撮影カメラ4Fと、後方撮影カメラ4Rと、加速度センサ6と、ディスプレイ10と、RAM11と、不揮発性メモリ15と、制御部19とを備える。
【0027】
RAM11は、制御部19により前方画像Imfから切り出された切り出し画像Imcを一時的に記憶する画像バッファ等として機能する記憶領域である。不揮発性メモリ15は、例えばSDカードなどの記憶媒体であり、事故等に起因した衝撃が発生した場合に、制御部19により、RAM11に記憶された衝撃発生前の所定時間分の画像が書き込まれる。
【0028】
制御部19は、CPUなどであり、前方画像Imfから一部を切り出して切り出し画像Imcを生成し、切り出し画像Imcをディスプレイ10に表示させると共に、当該切り出し画像ImcをRAM11に書き込むことで、所定時間分の切り出し画像ImcをRAM11に記憶させる。また、制御部19は、加速度センサ6により基準値以上の加速度(即ち衝撃)を検出した場合に、RAM11に保存した所定時間分(概ね10〜100秒程度)の切り出し画像Imcを不揮発性メモリ15に書き込む。さらに、本実施例では、制御部19は、車室内画像Imr中の運転者の顔の位置に基づいて、前方画像Imfから切り出し画像Imcを切り出す位置(単に「切り出し位置」とも呼ぶ。)を決定する。制御部19は、本発明における「画像制御手段」及びプログラムを実行する「コンピュータ」の一例である。
【0029】
[切り出し位置の決定方法]
次に、前方画像Imfにおける切り出し位置の決定方法について説明する。概略的には、制御部19は、車室内画像Imrの中心を基準点として、運転者の顔が基準点から水平方向に離れた距離に応じて、前方画像Imfにおける切り出し位置を逆方向にずらす。
【0030】
(1)
概要説明
図4は、ドライブレコーダ1が設置された車室内の俯瞰図である。
図4において、線「L1」及び「L2」は、ドライブレコーダ1を介して車両の後方(即ち車両の進行方向と逆方向)を運転者が観察する際に運転者の目に入射する光の光軸を示す。また、線「L3」は、前方撮影カメラ4Fを始点として車両の進行方向に延びた線を示す。
【0031】
図4の例では、運転者は、ミラー部13により車両後方が確認できるように、ドライブレコーダ1(即ちルームミラー12)の水平方向における角度を調整している。これにより、矢印8Rが示す後方撮影カメラ4Rの撮影方向は、車両後方に延在する線L2に対して角度「θin」だけ右に傾いている。ここで、角度θinは、ドライブレコーダ1と運転者の顔とを結ぶ線L1と後方撮影カメラ4Rの撮影方向を示す矢印8Rとがなす角度に等しい。
【0032】
一方、この場合、矢印8Fが示す前方撮影カメラ4Fの撮影方向は、線L3が延在する車両の進行方向に対して左方向に角度「θout」だけずれることになる。ここで、角度θinと角度θoutとは錯角の関係にあり、かつ、線L2と線L3とは平行であることから、角度θinと角度θoutとは等しい。よって、後方撮影カメラ4Rの撮影方向に対する運転者の顔の水平方向での角度差は、前方撮影カメラ4Fの撮影方向に対する車両の進行方向の水平方向での角度差と等しくなる。
【0033】
図5(A)は、
図4の例において後方撮影カメラ4Rが撮影した車室内画像Imrを示す。ここで、線70v、70hは、車室内画像Imrの縦横の中心線を示す。
【0034】
図5(A)に示す車室内画像Imrでは、運転者の顔の位置(詳しくは運転者の目の位置)は、車室内画像Imrの中心に対して所定画素数(「画素数Nin」とも呼ぶ。)だけ左方向にずれている。ここで、画素数Ninは、
図4の角度θinが大きいほど大きくなり、画素数Ninと角度θinとの関係は、後方撮影カメラ4Rの仕様に応じて定まる。よって、制御部19は、公知の顔認識技術により車室内画像Imrから運転者の顔の位置を検出して画素数Ninを算出後、画素数Ninと角度θinとの関係を示す情報を参照することで、画素数Ninから角度θin(即ち角度θout)を算出することができる。画素数Ninと角度θinとの関係を示す情報は、例えば、実験又は理論計算により予め算出されて制御部19に記憶される。
【0035】
図5(B)は、
図4の例において前方撮影カメラ4Fが撮影した前方画像Imfを示す。
図5(B)において、線71v、71hは前方画像Imfの縦横の中心線を示し、線72vは切り出し画像Imcの縦の中心線を示す。
【0036】
図5(B)の例では、車両の略進行方向上にある消失点は、前方画像Imfの中心に対して所定画素数(「画素数Nout」とも呼ぶ。)だけ右方向にずれている。ここで、画素数Noutは、
図4の角度θoutが大きいほど大きくなり、画素数Noutと角度θoutとの関係は、前方撮影カメラ4Fの仕様に応じて定まる。よって、制御部19は、実験又は理論計算により算出した画素数Noutと角度θoutとの関係を予め記憶しておき、角度θoutから画素数Noutを算出する。そして、制御部19は、前方画像Imfの中心から画素数Noutだけ右にずれた位置が切り出し画像Imcの中心となるように前方画像Imfにおける切り出し位置を決定する。
【0037】
図6(A)は、
図5(A)の例よりも角度θin(即ち角度θout)が小さい場合の車室内画像Imrを示す。また、
図6(B)は、
図6(A)の例における前方画像Imfを示す。
【0038】
画素数Ninは角度θinと正の相関を有するため、
図6(A)の例では、
図5(A)の例と比較して、画素数Ninは小さくなっている。また、画素数Noutは角度θout(=θin)と正の相関を有するため、
図6(B)の例では、
図5(B)の例と比較して、画素数Noutは小さくなっている。
【0039】
図7(A)は、運転席が車室内の左側に存在する場合に撮影された車室内画像Imrを示し、
図7(B)は、
図7(A)の例における前方画像Imfを示す。
【0040】
図7の例では、ドライブレコーダ1が搭載される車両は左ハンドル車であり、この場合の前方撮影カメラ4Fの撮影方向は、車両の進行方向に対して右にずれる。よって、
図7(A)に示す車室内画像Imrでは、車室内画像Imrの縦中心線70vに対して、運転者の顔の位置が
図5(A)及び
図6(A)の例と逆の右にずれている。同様に、
図7(B)に示す前方画像Imfでは、前方画像Imfの縦の中心線71vに対して車両の正面方向の位置が
図5(B)及び
図6(B)の例と逆の左にずれている。従って、制御部19は、車室内画像Imrにおいて運転者の顔の位置が縦中心線70vよりも右に存在すると判断した場合には、画素数Noutだけ前方画像Imfの中心に対して左にずれた位置を切り出し画像Imcの中心に定める。
【0041】
(2)
処理フロー
図8は、前方画像Imfにおける切り出し位置の決定処理の手順を示すフローチャートである。制御部19は、
図8に示すフローチャートの処理を繰り返し実行する。
【0042】
まず、制御部19は、車室内画像Imrから公知の画像認識技術により運転者の顔を検出する(ステップS101)。この場合、制御部19は、例えば運転者の両目の中心を運転者の顔の位置として検出する。
【0043】
次に、制御部19は、車室内画像Imrの中心を基準点として、運転者の顔が基準点から水平方向に離れている画素数Ninを算出する(ステップS102)。そして、制御部19は、算出した画素数Ninから、前方撮影カメラ4Fの撮影方向が車両の進行方向と水平方向においてずれている角度θout(即ち角度θin)を算出する(ステップS103)。
【0044】
次に、制御部19は、ステップS103で算出した角度θoutに応じた画素数Noutだけ前方画像Imfの中心から水平方向にずれた位置を、切り出し画像Imcの中心に設定する(ステップS104)。この場合、制御部19は、車室内画像Imrの中心から運転者の顔の位置がずれていた方向と逆方向に、画素数Noutだけ切り出し画像Imcの中心を前方画像Imfの中心からずらす。これにより、制御部19は、車両の正面方向を映した切り出し画像Imcを好適に取得することができる。
【0045】
以上説明したように、本実施例に係るドライブレコーダ1は、車両の前方風景を撮影する前方撮影カメラ4Fと、車両の運転者を撮影する後方撮影カメラ4Rと、制御部19とを備える。制御部19は、前方撮影カメラ4Fが撮影した前方画像Imfの一部の範囲を切り出し画像Imcとして切り出す。このとき、制御部19は、後方撮影カメラ4Rが撮影した車室内画像Imr中の運転者の位置に応じて、切り出し画像Imcを前方画像Imfから切り出す位置を変更する。このようにすることで、ドライブレコーダ1は、ルームミラー12の角度が変更された場合であっても、前方撮影カメラ4Fの撮影方向を調整することなく、適切な方向を撮影した切り出し画像Imcをディスプレイ10に表示したり不揮発性メモリ15に記憶したりすることができる。
【0046】
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
【0047】
(変形例1)
実施例では、前方撮影カメラ4Fの撮影方向が水平方向において車両の進行方向とずれている場合について説明した。これに代えて、又はこれに加えて、制御部19は、前方撮影カメラ4Fの撮影方向が車両の進行方向と垂直方向にずれている場合に、切り出し画像Imcの垂直方向での前方画像Imf内の位置を調整してもよい。
【0048】
この場合、制御部19は、
図8のステップS102において、車室内画像Imrの中心と運転者の顔の位置との垂直方向での距離に相当する画素数を算出する。その後、ステップS103において、制御部19は、算出した画素数に基づき前方撮影カメラ4Fの撮影方向が垂直方向において車両の進行方向とずれている角度を実施例と同様に算出する。そして、制御部19は、ステップS104において、ステップS103で算出した角度に応じた画素数だけ前方画像Imfの中心から垂直方向にずれた位置を、切り出し画像Imcの中心に設定する。この場合、実施例と同様、制御部19は、車室内画像Imrの中心から運転者の顔の位置がずれていた方向と逆方向に切り出し画像Imcの中心を前方画像Imfの中心からずらす。
【0049】
これにより、ドライブレコーダ1は、座高等に応じて運転者がドライブレコーダ1(即ちルームミラー12)のY軸回りの角度を調整した場合であっても、好適に切り出し画像Imcの中心が車両の進行方向上の位置と重なるように切り出し位置を決定することができる。
【0050】
(変形例2)
制御部19は、
図8のステップS101において、統計的手法に基づき、所定期間における顔の平均的な位置を検出することで、ステップS102で画素数Ninを算出してもよい。これにより、ルームミラー12の角度を変更することなく運転者が顔を一時的に動かした場合に、切り出し画像Imcの前方画像Imf内での位置が過敏に移動するのを好適に抑制することができる。
【0051】
(変形例3)
上記実施例では、ドライブレコーダ1は、車両に付属する純正のルームミラー12にドライブレコーダ1を挟み込んで保持するための挟持部14A〜14Dを備えた。これに代えて、ドライブレコーダ1は、挟持部14A〜14Dを備えず、ルームミラーに内蔵され、車両に付属する純正のルームミラーと交換できるものであってもよい。
【0052】
別の例では、ドライブレコーダ1は、事故発生時の切り出し画像Imcを不揮発性メモリ15に記憶する機能を有しないナビゲーション装置であってもよい。この場合、ナビゲーション装置は、切り出し画像Imcを対象とした画像認識処理により、車線、信号機の点灯状態、先行車両などを検知し、検知結果に基づくテキスト画像や図形画像などを切り出し画像Imcに重ねてディスプレイ10に表示したり、音声情報を出力したりする。
【0053】
(変形例4)
図8のステップS103及びステップS104に代えて、制御部19は、ステップS102で画素数Ninの算出後、角度θoutを算出することなく、画素数Noutを画素数Ninから直接算出してもよい。
【0054】
ここで、角度θinと画素数Nin、及び、角度θoutと画素数Noutはそれぞれ正の相関があるため、画素数Noutと画素数Ninとについても正の相関がある。よって、制御部19は、画素数Ninと画素Noutとの関係を示す式等を予め実験又は理論計算により求めて記憶しておくことで、画素数Ninから画素数Noutを好適に算出することができる。