(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
本発明に係るドライブレコーダが搭載された車両の一実施形態について、図面を参照して説明する。
【0011】
図1に示すように、車両1は、ドライブレコーダ10と、ECU(Electronic Control Unit)20と、ナビ(ナビゲーション)装置30と、車両用計器40と、自動運転システム50と、を備える。自動運転システム50、ECU20、ナビ装置30及び車両用計器40は、CAN(Control Area Network)を介して通信可能に構成されている。
【0012】
ナビ装置30は、GPS(Global Positioning System)を介して車両1の現在位置を認識し、その現在位置から予め設定された目的地までの経路を図示しない車載表示装置を通じて案内する。この車載表示装置は、例えば、車載ディスプレイ又はヘッドアップディスプレイ装置である。
【0013】
自動運転システム50は、車外検出部51と、ドライバー状態検出部53と、車両自動制御部52と、を備える。
【0014】
車外検出部51は、車外に位置する物体を検出するミリ波センサ等の車外検出用センサ及び車外を撮影するカメラ等を備える。車外検出部51は、車両1を自動で走行させるために車外の状態を車外状態検出情報Ibとして検出する。車外状態検出情報Ibは、例えば、車両1の前方の信号機の状態、先行車両の状態、白線の状態等を示す情報である。
【0015】
ドライバー状態検出部53は、例えば、ステアリングへのドライバーの接触の有無を検出する接触センサを備え、ドライバーがステアリングを把持している否かをドライバー運転状態情報Idとして検出する。
【0016】
車両自動制御部52は、車外検出部51の検出結果に基づき自動運転レベルに応じて加速(アクセル操作)・操舵(ステアリング操作)・制動(ブレーキ操作)を自動で制御する。
【0017】
車両1の自動運転レベルは、例えば、以下のようにレベル0〜4の5段階で表される。
レベル0:ドライバーが常に主制御系統(加速・操舵・制動)の操作を行う。
レベル1:加速・操舵・制動のいずれかをシステムが行う。(例:自動ブレーキ等)
レベル2:加速・操舵・制動のうち複数の操作をシステムが行う。(例:アダプティブクルーズコントロール)
レベル3:加速・操舵・制動を全て自動運転システムが行い、自動運転システムが要請したときはドライバーが対応する。
レベル4:加速・操舵・制動を全て自動運転システムが行い、ドライバーが全く関与しない。
【0018】
また、車両自動制御部52は、CMBS(Collision Mitigation Brake System)、ABS(Antilock Brake System)、LKAS(Lane Keeping Assist System)を実行させる。車両自動制御部52は、車両1の現在の自動運転レベルを示す自動運転レベル情報Iaと、CMBS、ABS及びLKASの動作の有無を示す自動制御機能情報Icと、をCANに出力する。
【0019】
ECU20は、図示しない各種センサにより検出される車速、エンジン回転数等を示す車両情報Ieを入力し、その車両情報IeをCANに出力する。
【0020】
車両用計器40は、CANを介して車速、エンジン回転数等を示す車両情報Ieを取得し、取得した車両情報Ieに含まれる車速、エンジン回転数等を、図示しない指針の回転位置又は図示しないディスプレイにより表示する。
【0021】
ドライブレコーダ10は、制御部11と、記憶部12と、撮像装置13と、を備える。
【0022】
撮像装置13は、車内を撮像する車内撮像部13iと、車外を撮影する車内撮像部13iと、を備える。各撮像部13i,13oは、カメラを備え、撮像した画像データを制御部11に出力する。車内撮像部13iは、
図2のサブ画像120に示すように、ステアリングとドライバーの上半身を撮影する。車外撮像部13oは、
図2のメイン画像110に示すように、車両1の前方の道路を撮影する。
【0023】
図1に示すように、制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM等を構成要素とする周知のマイクロプロセッサを備える。制御部11は、機能ブロックとして、画像生成部11aと、データ書き込み部11bと、を備える。本実施形態では、これらの機能ブロックで表される処理は、ソフトウェアとして実現される。
【0024】
画像生成部11aは、予め記憶される動作プログラムを実行することで後述するフローチャートに沿って重畳撮像画像100(
図2等参照)を生成し、この重畳撮像画像100を含む重畳撮像画像データをデータ書き込み部11bに出力する。この重畳撮像画像100を生成するための画像生成処理については後述する。
【0025】
記憶部12は、例えば、SD(Secure Digital)カード等のメモリーカード、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)、HDD(Hard Disk Drive)等のコンピューター読み取り可能な記録媒体である。記憶部12は、自動運転レベルのレベル0〜4に対応した仮想的な第1〜第5の記憶領域12a〜12eを備える。
【0026】
データ書き込み部11bは、重畳撮像画像データを圧縮し、圧縮した重畳撮像画像データを記憶部12に記憶させる。データ書き込み部11bは、重畳撮像画像データを記憶部12に記憶させる際、重畳撮像画像データに含まれる重畳撮像画像100の自動運転レベル毎に異なる第1〜第5の記憶領域12a〜12eに分類する。例えば、データ書き込み部11bは、自動運転レベル0の重畳撮像画像100を含む重畳撮像画像データを第1の記憶領域12aに記憶させ、自動運転レベル1の重畳撮像画像100を含む重畳撮像画像データを第2の記憶領域12bに記憶させる。以下同様に、データ書き込み部11bは、自動運転レベル2の重畳撮像画像100を含む重畳撮像画像データを第3の記憶領域12cに、自動運転レベル3の重畳撮像画像100を含む重畳撮像画像データを第4の記憶領域12dに、自動運転レベル4の重畳撮像画像100を含む重畳撮像画像データを第5の記憶領域12eに、それぞれ記憶させる。
【0027】
記憶部12に記憶された重畳撮像画像データは、パーソナルコンピューター又はスマートフォン等からなる図示しないコンピューターにより再生される。このコンピューターは、記憶部12に記憶された重畳撮像画像データを読み出すことで
図2〜
図6に示す重畳撮像画像100を再生することができる。上述のように、記憶部12においては、自動運転レベル毎に異なる第1〜第5の記憶領域12a〜12eに重畳撮像画像データが記憶される。よって、このコンピューターは、自動運転レベルのレベル0〜4のうち所望の自動運転レベルの重畳撮像画像100を迅速に再生することができる。
【0028】
次に、
図2を参照しつつ重畳撮像画像100の具体的な内容について説明する。
重畳撮像画像100は、その画面の略全域に亘って表示されるメイン画像110と、メイン画像110よりも小さいサイズでメイン画像110内に表示されるサブ画像120と、メイン画像110の下方に表示される運転状況画像130と、を備える。
【0029】
メイン画像110は、車外撮像部13oにより撮像された前方の道路を含む車外画像である。サブ画像120は、車内撮像部13iにより撮像されたステアリングとドライバーの上半身を含む車内画像である。本例では、サブ画像120は、メイン画像110内の右上に左右方向に長い長方形で形成される。
【0030】
運転状況画像130は、車両1の前方の信号機の状態を示す検出状態アイコン131と、CMBS、ABS、LKASの動作の有無を示す自動制御機能アイコン132と、自動運転レベルを示す自動運転レベルアイコン133と、ドライバーがステアリングを把持しているか否かを示すドライバー運転状態アイコン134と、を備える。
【0031】
本例では、左から右へ、検出状態アイコン131、自動制御機能アイコン132、自動運転レベルアイコン133、ドライバー運転状態アイコン134の順番で配置されている。
【0032】
運転状況画像130、より詳細にはその自動運転レベルアイコン133及び自動制御機能アイコン132は、自動運転機能の動作状態を示す自動運転情報に相当する。
【0033】
詳しくは、自動運転レベルアイコン133は、左右方向に並ぶ点灯又は消灯するバーグラフ133aと、バーグラフ133aの右方に位置するドライバーによるマニュアル運転を連想させる人アイコン133rと、バーグラフ133aの左方に位置する自動運転を連想させる車アイコン133lと、を備える。
【0034】
バーグラフ133aは、自動運転レベルが高くなるにつれて人アイコン133rから車アイコン133lに向かって延びる。例えば、バーグラフ133aは、自動運転レベル0〜4に対応する左右方向に並ぶ5つのセグメントSgからなり、自動運転レベルが高くなるにつれて人アイコン133r側から順にセグメントSgが点灯される。
【0035】
人アイコン133rよりも右側には、ドライバーの状態を示すドライバー運転状態アイコン134が配置されている。また、車アイコン133lよりも左側には、車両1の状態を示す検出状態アイコン131及び自動制御機能アイコン132が配置されている。このように、各アイコン131〜134を配置することで、重畳撮像画像100の視認者は、車両1において自動とマニュアルの何れが支配的であるかを直感的に知ることができる。
【0036】
ドライバー運転状態アイコン134は、点灯又は消灯することで、ドライバーが運転姿勢をとっているか否かを示す。本例では、ドライバー運転状態アイコン134は、ステアリングに両手が添えられているアイコンからなる。
【0037】
検出状態アイコン131は、赤色、青色、黄色の何れかが点灯可能な信号機を示すアイコンからなる。自動制御機能アイコン132は、CMBS、ABS、LKASが左右方向に並ぶ文字列からなり、CMBS、ABS、LKASのうち動作中の機能が点灯する。
【0038】
次に、
図7のフローチャートに沿って、画像生成部11aは重畳撮像画像100を生成するための画像生成処理を行う。この画像生成処理は、車両1の運転中において繰り返し実行される。
【0039】
まず、画像生成部11aは、車外撮像部13oを通じて取得した車外画像を重畳撮像画像100のメイン画像110として設定する(ステップS101)。次に、画像生成部11aは、車内撮像部13iを通じて取得した車内画像を重畳撮像画像100のサブ画像120として設定する(ステップS102)。そして、画像生成部11aは、CANを通じて取得した車外状態検出情報Ibに応じて検出状態アイコン131を設定し(ステップS103)、CANを通じて取得した自動制御機能情報Icに応じて自動制御機能アイコン132を設定する(ステップS104)。同様に、CANを通じて取得した自動運転レベル情報Iaに応じて自動運転レベルアイコン133を設定し(ステップS105)、CANを通じて取得したドライバー運転状態情報Idに応じてドライバー運転状態アイコン134を設定する(ステップS106)。以上で、当該フローチャートに係る重畳撮像画像100の生成が完了する。
各アイコン131〜134の設定により、後述する
図2〜
図6に示すように、各アイコン131〜134の表示が切り替えられる。
【0040】
次に、
図2〜
図6に沿って運転状況画像130の表示例1〜5について説明する。
図2に示すように、表示例1においては、自動運転レベルがレベル4であり、自動運転システム50において車両1の加速・操舵・制動の全てが自動で行われており、ドライバーは運転に全く関与しない。この場合、例えば、サブ画像120に映るドライバーはステアリングから手を離している。また、自動運転レベルアイコン133においては、自動運転レベルがレベル4を表すように、バーグラフ133aの全てのセグメントSgが点灯している。よって、バーグラフ133aは、人アイコン133rから車アイコン133lまで延びている。また、自動運転であることを示すため、バーグラフ133aの上方には「AUTO」という文字が表示されるとともに、車アイコン133lが点灯し、人アイコン133r及びドライバー運転状態アイコン134が消灯している。また、本例では、LKASのみが機能していることを示すべく、自動制御機能アイコン132において、LKASのみが点灯(白色以外で着色された背景に白抜き文字を表示)し、他のCMBS、ABSは消灯(白色の背景に白色以外で着色された文字を表示)している。また、車両1の前方の信号機が青色であることを示すべく、検出状態アイコン131における信号機が青色に点灯している。
【0041】
図3に示すように、表示例2においては、自動運転レベルがレベル3であり、車両1の加速・操舵・制動の全てが自動で行われているが、自動運転システム50から音声、表示等により要請があったときにはドライバーが運転できるように準備が必要となる。この場合、例えば、サブ画像120に映るドライバーはステアリングに手を添えている。また、自動運転レベルアイコン133においては、自動運転レベルがレベル3であることを表すように、バーグラフ133aの5つのセグメントSgのうち人アイコン133r側の4つのセグメントSgが点灯している。そして、自動運転であることを示すため、バーグラフ133aの上方には「AUTO」という文字が表示されるとともに、車アイコン133lが点灯し、人アイコン133rが消灯している。ドライバー運転状態アイコン134は、ドライバーが運転姿勢をとっていること、より詳しくはドライバーがステアリングを把持していることを示すため点灯している。また、本例では、LKAS及びCMBSが機能していることを示すべく、自動制御機能アイコン132におけるLKAS及びCMBSが点灯し、ABSは消灯している。自動運転システム50は、例えば、LKAS及びCMBSが機能しているとき、ドライバーに運転姿勢をとるように要請を行う。また、車両1の前方の信号機が青色であることを示すべく、検出状態アイコン131における信号機が青色に点灯している。
【0042】
図4に示すように、表示例3においては、自動運転レベルがレベル2であり、本例では、車両1の加速及び制動、すなわち加減速を自動運転システム50が行い、操舵をドライバーが行う。例えば、車両1の自動運転システム50において、アクセルペダルを操作することなく設定された一定速度を維持するクルーズコントロールが機能している状態である。この場合、サブ画像120に映るドライバーは、操舵を行うべくステアリングに手を添えている。また、自動運転レベルアイコン133においては、自動運転レベルがレベル2であることを表すように、バーグラフ133aの5つのセグメントSgのうち人アイコン133r側の3つのセグメントSgが点灯している。そして、クルーズコントロールであることを示すため、バーグラフ133aの上方には「CRUISE」という文字が表示されるとともに、車アイコン133l及び人アイコン133rが点灯している。ドライバー運転状態アイコン134は、ドライバーが運転姿勢をとっていること、より詳しくはドライバーがステアリングを把持していることを示すため点灯している。また、本例では、LKASのみが機能していることを示すべく、自動制御機能アイコン132においてLKASのみが点灯し、他のCMBS、ABSは消灯している。また、検出状態アイコン131は、車両1の前方の信号機の点灯状態を検出する機能が動作していないことを示すように消灯している。
【0043】
図5に示すように、表示例4においては、自動運転レベルがレベル1であり、本例では、車両1の制動、すなわち減速のみを自動運転システム50が行い、その他の加速及び操舵をドライバーが行う。すなわち、例えば、車両1の自動運転システム50において、例えば自動ブレーキが機能している状態である。この場合、サブ画像120に映るドライバーは、操舵を行うべくステアリングに手を添えている。また、自動運転レベルアイコン133においては、自動運転レベルがレベル1であることを表すように、バーグラフ133aの5つのセグメントSgのうち人アイコン133r側の2つのセグメントSgが点灯している。そして、自動運転ではなくドライバーによるマニュアル運転であることを示すため、バーグラフ133aの上方には「MANUAL」という文字が表示されるとともに、車アイコン133l及び人アイコン133rが点灯している。ドライバー運転状態アイコン134は、ドライバーが運転姿勢をとっていること、より詳しくはドライバーがステアリングを把持していることを示すため点灯している。また、本例では、ABSのみが機能していることを示すべく、自動制御機能アイコン132においてABSのみが点灯し、他のCMBS、LKASは消灯している。また、検出状態アイコン131は、車両1の前方の信号機の点灯状態を検出する機能が動作していないことを示すように消灯している。
【0044】
図6に示すように、表示例5においては、自動運転レベルがレベル0であり、ドライバーが加速・操舵・制動の全ての操作を行う。すなわち、このとき、自動運転システム50は機能していない。この場合、サブ画像120に映るドライバーは、操舵を行うべくステアリングに手を添えている。また、自動運転レベルアイコン133においては、自動運転レベルがレベル0であることを表すように、バーグラフ133aの5つのセグメントSgのうち人アイコン133r側の1つのセグメントSgが点灯している。そして、自動運転ではなくドライバーによるマニュアル運転であることを示すため、バーグラフ133aの上方には「MANUAL」という文字が表示されるとともに、車アイコン133lが消灯し、人アイコン133rが点灯している。ドライバー運転状態アイコン134は、ドライバーが運転姿勢をとっていること、より詳しくはドライバーがステアリングを把持していることを示すため点灯している。また、本例では、ABS、CMBS、LKASの何れの機能も動作していないことを示すべく、自動制御機能アイコン132においてABS、CMBS、LKASは消灯している。また、検出状態アイコン131は、車両1の前方の信号機の点灯状態を検出する機能が動作していないことを示すように消灯している。
【0045】
(効果)
以上、説明した一実施形態によれば、以下の効果を奏する。
【0046】
(1)ドライブレコーダ10は、車外が撮像されたメイン画像110(車外画像)に自動運転機能の動作状態に係る自動運転情報(自動運転レベルアイコン133及び自動制御機能アイコン132)を含ませた重畳撮像画像100を生成したうえで記憶する。
この構成によれば、ドライブレコーダ10に記憶された重畳撮像画像100が再生されることで、車両1の運転中における自動運転の寄与度を明確にすることができる。これにより、例えば事故が車両1の自動運転機能の誤動作が原因で発生したのか、それともドライバーの過失が原因で発生したのを容易に知ることができる。
【0047】
(2)重畳撮像画像100は、車両1のドライバーが撮像されたサブ画像120(車内画像)を含む。
この構成によれば、サブ画像120により、例えば事故時におけるドライバーの対応を見ることができる。これにより、事故時におけるドライバーの過失度合の検証が容易となる。
【0048】
(3)重畳撮像画像100は自動運転情報(自動運転レベルアイコン133)として自動運転レベルを含む。
この構成によれば、事故時における自動運転レベルを容易に知ることができる。
【0049】
(4)ドライブレコーダ10は、重畳撮像画像100を、自動運転機能の動作状態の種類である自動運転レベル毎に分類して記憶する。この構成によれば、所望の自動運転レベルを迅速に再生させることができる。
【0050】
(変形例)
なお、上記実施形態は、これを適宜変更した以下の形態にて実施することができる。
【0051】
上記実施形態においては、データ書き込み部11bは、重畳撮像画像100を自動運転機能の動作状態の種類である自動運転レベル毎に異なる第1〜第5の記憶領域12a〜12eに分類していた。しかし、画像生成部11aは、重畳撮像画像データに自動運転レベルを表すコードを付加してもよい。この場合、画像再生用のコンピューターは、自動運転レベルを表すコードを識別することで、レベル0〜4のうち所定の自動運転レベルの重畳撮像画像100を迅速に再生することができる。
さらに、自動運転機能の動作状態の種類は自動運転レベルに限らない。例えば、データ書き込み部11bは、自動運転、ドライバーによるマニュアル運転毎に重畳撮像画像100を分類して記憶部12に記憶させてもよいし、ABS、CMBS、LKASの動作状態毎に重畳撮像画像100を分類して記憶部12に記憶させてもよい。さらに、データ書き込み部11bは、特定の条件が成立したとき、例えばCMBSが動作中でドライバーがステアリングを把持していないときの重畳撮像画像100を特定の記憶領域に記憶させたり、同重畳撮像画像100を含む重畳撮像画像データに特定の条件が成立した旨を示すコードを付加させたりしてもよい。
【0052】
上記実施形態においては、ドライブレコーダ10は、車両用計器40を介して各情報Ia,Ib,Ic,Idを取得していたが、車両用計器40を介さずに直接にCANを介して各情報Ia,Ib,Ic,Idを取得してもよい。
【0053】
上記実施形態においては、ドライブレコーダ10は、撮像装置13を備えていたが、これを省略して、車両1に別に搭載される撮像装置、例えば自動運転システム50のカメラからの画像データを利用してもよい。
【0054】
上記実施形態においては、車両1における自動運転レベルがレベル0〜4の何れかに設定されていたが、自動運転レベルの数及び各レベルの内容はこれに限らない。
【0055】
サブ画像120は、上記実施形態における画像に代えて又はその画像とともに、ドライバーの脚とアクセルペダル及びブレーキペダルとを含む画像であってもよい。
【0056】
上記実施形態においては、重畳撮像画像100は、サブ画像120を含んでいたが、サブ画像120を省略してもよい。
【0057】
上記実施形態においては、運転状況画像130における各アイコン131〜134の種類、内容及び配置位置は適宜変更可能である。例えば、検出状態アイコン131及びドライバー運転状態アイコン134は省略可能である。また、自動運転レベルアイコン133及び自動制御機能アイコン132の何れかを省略してもよい。また、運転状況画像130に車速、エンジン回転数等に係る情報を含ませてもよい。
【0058】
上記実施形態においては、検出状態アイコン131は、車両1の前方の信号機の状態を示すアイコンであったが、これに代えて又はこれとともに、白線検出状態、前方車両検出状態を示すアイコンであってもよい。
また、上記実施形態においては、ドライバー運転状態アイコン134は、ドライバーがステアリングを把持しているか否かを示すアイコンであったが、これに代えて又はこれとともに、アクセルペダル、ブレーキペダル、ステアリングの操作状態を示すアイコンであってもよい。
【0059】
上記実施形態においては、車両1にヘッドアップディスプレイ装置が搭載されていてもよい。ヘッドアップディスプレイ装置は、ウインドウシールド又はコンバイナ等の被投射部材に表示光を出射することで被投射部材に虚像を表示する。この構成では、重畳撮像画像100のメイン画像110は、ヘッドアップディスプレイ装置により表示された虚像を含んでいてもよい。例えば、ヘッドアップディスプレイ装置は、重畳撮像画像100のメイン画像110内に映り込むように虚像として検出状態アイコン131、自動制御機能アイコン132、自動運転レベルアイコン133、ドライバー運転状態アイコン134の少なくとも何れかと同内容のアイコンを表示してもよい。この場合、画像生成部11aは、虚像として表示したアイコンについては重畳撮像画像100に含ませなくてもよい。これにより、画像生成部11aにおける重畳撮像画像100の生成に係る処理負担を低減できる。
【0060】
上記実施形態におけるナビ装置30は省略されてもよい。