(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】異常検出装置、異常検出方法および異常検出システム
(51)【国際特許分類】
G01C 3/00 20060101AFI20220308BHJP
G01B 11/00 20060101ALI20220308BHJP
G08G 1/16 20060101ALN20220308BHJP
G08G 1/13 20060101ALN20220308BHJP
【FI】
G01C3/00 120
G01B11/00 H
G08G1/16 C
G08G1/13
(21)【出願番号】P 2018048366
(22)【出願日】2018-03-15
【審査請求日】2021-03-03
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際特許業務法人
(74)【代理人】
【識別番号】110001933
【氏名又は名称】特許業務法人 佐野特許事務所
(72)【発明者】
【氏名】田中 敏夫
(72)【発明者】
【氏名】白石 春樹
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開平08-285534(JP,A)
【文献】国際公開第2017/029847(WO,A1)
【文献】特開2016-134725(JP,A)
【文献】国際公開第2017/111126(WO,A1)
【文献】特開2007-200070(JP,A)
【文献】特開2011-230634(JP,A)
【文献】特開2017-219383(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00- 3/32
G01B 11/00-11/30
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
移動体に搭載されて物体までの距離測定を可能とするセンサの異常を検出する異常検出装置であって、
前記センサを搭載する複数の移動体から収集された情報に基づいて生成され、前記センサの異常を判定する基準となる距離データである距離基準データを含む評価基準情報を取得する評価基準情報取得部と、
前記移動体が所定の評価箇所を移動した際に前記センサによって得られた情報に基づいて、前記距離基準データと比較する距離データである評価用距離データを算出する距離データ算出部と、
前記評価基準情報と前記評価用距離データとに基づいて前記センサが異常であるか否かを判定する判定部と、
を備える、異常検出装置。
【請求項2】
前記移動体が前記所定の評価箇所を移動した際における前記移動体の周囲環境を示す評価用環境データを取得する環境データ取得部を更に備え、
前記評価基準情報には、前記距離基準データに関連付けられた環境データが含まれ、
前記判定部は、前記評価用環境データを加味して前記センサの異常を判定する、請求項1に記載の異常検出装置。
【請求項3】
前記移動体が前記所定の評価箇所を移動した際における前記移動体の動作状態を示す評価用動作データを取得する動作データ取得部を更に備え、
前記評価基準情報には、前記距離基準データに関連付けられた動作データが含まれ、
前記判定部は、前記評価用動作データを加味して前記センサの異常を判定する、請求項1又は2に記載の異常検出装置。
【請求項4】
前記センサに関する情報を示すセンサデータを取得するセンサデータ取得部を更に備え、
前記評価基準情報には、前記距離基準データに関連付けられた前記センサデータが含まれ、
前記判定部は、前記センサデータを加味して前記センサの異常を判定する、請求項1から3のいずれか1項に記載の異常検出装置。
【請求項5】
移動体に搭載されて物体までの距離測定を可能とするセンサの異常を異常検出装置によって検出する方法であって、
前記センサを搭載する複数の移動体から収集された情報に基づいて生成され、前記センサの異常を判定する基準となる距離データである距離基準データを含む評価基準情報を取得する評価基準情報取得工程と、
前記移動体が所定の評価箇所を移動した際に前記センサによって得られた情報に基づいて、前記距離基準データと比較する距離データである評価用距離データを算出する距離データ算出工程と、
前記評価基準情報と前記評価用距離データとに基づいて前記センサが異常であるか否かを判定する判定工程と、
を備える、異常検出方法。
【請求項6】
情報生成装置と異常検出装置とを含む異常検出システムであって、
前記情報生成装置は、
物体までの距離測定を可能とするセンサを搭載する複数の移動体から情報を収集する収集部と、
前記収集部で収集された情報に基づいて、前記センサの異常を判定する基準となる距離データである距離基準データを含む評価基準情報を生成する評価基準情報生成部と、
を備え、
前記異常検出装置は、
前記評価基準情報を取得する評価基準情報取得部と、
前記移動体が所定の評価箇所を移動した際に前記センサによって得られた情報に基づいて、前記距離基準データと比較する距離データである評価用距離データを算出する距離データ算出部と、
前記評価基準情報と前記評価用距離データとに基づいて前記センサが異常であるか否かを判定する判定部と、
を備える、異常検出システム。
【請求項7】
前記情報生成装置は、前記移動体から収集された情報に基づいて前記所定の評価箇所を生成する評価箇所生成部を更に備える、請求項6に記載の異常検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異常検出装置、異常検出方法および異常検出システムに関する。
【背景技術】
【0002】
従来、撮像手段の設置方向のずれ等を走行中に検出することにより、画像処理結果の信頼性を高める技術が開示される(例えば特許文献1参照)。
【0003】
特許文献1の車両用画像処理装置は、車両前方をそれぞれ撮像する複数の撮像手段と、これら複数の撮像手段からの各画像データに基づいて先行車の認識処理等の各種画像処理を行う画像処理手段とを備える。画像処理手段は、白線認識部により複数の横方向の白線が認識された場合に当該複数の白線の間の距離を算出して当該白線間距離情報を出力する白線間距離算出部と、当該算出された白線間距離情報と予め定められた白線間の距離情報とを比較して一定値以上異なる場合には撮像手段の撮像方向の異常と判定する撮像方向異常判定部と、当該異常を知らせる警報信号を表示手段に出力する撮像方向異常警報部とを備えている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、車両の走行中に撮像される撮像画像は、車両の走行時の天候、走行する道路の状況、車両の速度等の様々な走行条件によって変動する可能性がある。従来の撮像手段の撮影方向の異常判定では、当該走行条件の変動が影響して正確な判定を行うことができない可能性がある。
【0006】
本発明は、上記課題に鑑みて、移動体が搭載するセンサの異常を適切に検出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明の異常検出装置は、移動体に搭載されて物体までの距離測定を可能とするセンサの異常を検出する異常検出装置であって、前記センサを搭載する複数の移動体から収集された情報に基づいて生成され、前記センサの異常を判定する基準となる距離データである距離基準データを含む評価基準情報を取得する評価基準情報取得部と、前記移動体が所定の評価箇所を移動した際に前記センサによって得られた情報に基づいて、前記距離基準データと比較する距離データである評価用距離データを算出する距離データ算出部と、前記評価基準情報と前記評価用距離データとに基づいて前記センサが異常であるか否かを判定する判定部と、を備える構成(第1の構成)になっている。
【0008】
上記第1の構成の異常検出装置は、前記移動体が前記所定の評価箇所を移動した際における前記移動体の周囲環境を示す評価用環境データを取得する環境データ取得部を更に備え、前記評価基準情報には、前記距離基準データに関連付けられた環境データが含まれ、前記判定部は、前記評価用環境データを加味して前記センサの異常を判定する構成(第2の構成)であることが好ましい。
【0009】
上記第1又は第2の構成の異常検出装置は、前記移動体が前記所定の評価箇所を移動した際における前記移動体の動作状態を示す評価用動作データを取得する動作データ取得部を更に備え、前記評価基準情報には、前記距離基準データに関連付けられた動作データが含まれ、前記判定部は、前記評価用動作データを加味して前記センサの異常を判定する構成(第3の構成)であることが好ましい。
【0010】
上記第1から第3のいずれかの構成の異常検出装置は、前記センサに関する情報を示すセンサデータを取得するセンサデータ取得部を更に備え、前記評価基準情報には、前記距離基準データに関連付けられた前記センサデータが含まれ、前記判定部は、前記センサデータを加味して前記センサの異常を判定する構成(第4の構成)であることが好ましい。
【0011】
上記目的を達成するために本発明の異常検出方法は、移動体に搭載されて物体までの距離測定を可能とするセンサの異常を異常検出装置によって検出する方法であって、前記センサを搭載する複数の移動体から収集された情報に基づいて生成され、前記センサの異常を判定する基準となる距離データである距離基準データを含む評価基準情報を取得する評価基準情報取得工程と、前記移動体が所定の評価箇所を移動した際に前記センサによって得られた情報に基づいて、前記距離基準データと比較する距離データである評価用距離データを算出する距離データ算出工程と、前記評価基準情報と前記評価用距離データとに基づいて前記センサが異常であるか否かを判定する判定工程と、を備える構成(第5の構成)になっている。
【0012】
上記目的を達成するために本発明の異常検出システムは、情報生成装置と異常検出装置とを含む異常検出システムであって、前記情報生成装置は、物体までの距離測定を可能とするセンサを搭載する複数の移動体から情報を収集する収集部と、前記収集部で収集された情報に基づいて、前記センサの異常を判定する基準となる距離データである距離基準データを含む評価基準情報を生成する評価基準情報生成部と、を備え、前記異常検出装置は、前記評価基準情報を取得する評価基準情報取得部と、前記移動体が所定の評価箇所を移動した際に前記センサによって得られた情報に基づいて、前記距離基準データと比較する距離データである評価用距離データを算出する距離データ算出部と、前記評価基準情報と前記評価用距離データとに基づいて前記センサが異常であるか否かを判定する判定部と、を備える構成(第6の構成)になっている。
【0013】
上記第6の構成の異常検出システムにおいて、前記情報生成装置は、前記移動体から収集された情報に基づいて前記所定の評価箇所を生成する評価箇所生成部を更に備える構成(第7の構成)であってよい。
【発明の効果】
【0014】
本発明は、移動体が搭載するセンサの異常を適切に検出することができる技術を提供する。
【図面の簡単な説明】
【0015】
【
図1】本発明の実施形態に係る異常検出システムの構成を示すブロック図
【
図3】情報生成装置による評価基準テーブルの生成手順の一例を示すフローチャート
【
図4】異常検出装置による異常判定の手順の一例を示すフローチャート
【
図5】変形例の情報生成装置の構成を示すブロック図
【
図6】変形例の情報生成装置による評価箇所の生成手順の一例を示すフローチャート
【発明を実施するための形態】
【0016】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【0017】
以下においては、移動体が車両である場合を例に説明を行う。車両は、例えば自動車、列車、電車等の車輪を有する乗り物を広く含む。なお、本発明の移動体は、車両に限らず、例えば船、無人搬送装置、ロボット等であってもよい。
【0018】
また、以下においては、移動体に搭載されて物体までの距離測定を可能とするセンサがカメラである場合を例に説明する。カメラは、物体までの距離を測定できる構成であればよく、物体までの距離を測定するための専用機器であってもよいが、距離測定のための専用機器でなくてもよい。カメラは、例えばステレオカメラでも単眼カメラでもよい。なお、移動体に搭載されて物体までの距離測定を可能とするセンサは、カメラに限らず、例えばミリ波レーダやLIDAR(Laser Imaging Detection and Ranging)等であってよい。
【0019】
<1.異常検出システムの概要>
図1は、本発明の実施形態に係る異常検出システムSYSの構成を示すブロック図である。
図1に示すように、異常検出システムSYSは、情報生成装置3と異常検出装置4とを含む。
【0020】
本実施形態では、情報生成装置3は、データセンター1に設けられるサーバ装置である。なお、データセンター1は、車両2に情報を提供したり、車両2から情報を収集したりする機関である。異常検出装置4は車両2に搭載される。ただし、異常検出装置4は、例えばデータセンター1に設けられるサーバ装置に含まれてもよい。また、異常検出装置4は、例えば、一部の構成がサーバ装置に設けられ、残りの構成が車両2に設けられる構成であってもよい。
【0021】
情報生成装置3と異常検出装置4とは、例えばインターネット等のネットワーク5を介して接続される。情報生成装置3とネットワーク5との接続形態は、無線でも有線でもよい。異常検出装置4とネットワーク5との接続形態は無線であることが好ましい。なお、
図1においては、一つの車両2のみを示しているが、異常検出システムSYSには、ネットワーク5を介して情報生成装置3に繋がる複数の車両2が存在することが好ましい。
【0022】
異常検出システムSYSは、カメラ6、GPS(Global Positioning System)センサ7および車速センサ8を更に備える。本実施形態では、カメラ6、GPSセンサ7および車速センサ8は車両2に搭載される。カメラ6、GPSセンサ7および車速センサ8は、異常検出装置4に情報を出力する。
【0023】
なお、カメラ6は、本発明の「移動体に搭載されて物体までの距離測定を可能とするセンサ」の一例である。カメラ6は、例えば車両2の前方に搭載されるフロントカメラであってよい。GPSセンサ7は、例えば、ナビゲーション装置、ドライブレコーダ、或いは、これらが一体となった装置に搭載される構成であってよい。車速センサ8は、車両2の車輪軸に設けられた不図示のロータの回転をパルス信号として出力する磁気センサ又は光センサであってよい。車速センサ8は、例えばCAN(Controller Area Network)バスを介して車両2の速度情報を異常検出装置4に出力する。
【0024】
<2.情報生成装置の詳細>
情報生成装置3は、異常検出装置4がセンサ(本実施形態ではカメラ6)の異常を判定する際に使用する評価基準情報を生成する。本実施形態では、評価基準情報は評価基準テーブル310である。
【0025】
図1に示すように、情報生成装置3は、制御部30および記憶部31を含んで構成される。制御部30は、例えば、不図示のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入出力ポートなどを含むコンピュータである。記憶部31は、不揮発性のメモリである。制御部30は、例えば記憶部31に記憶された不図示のプログラムに基づいて情報の処理および送受信を行う。なお、制御部30と記憶部31とは、有線又は無線を用いて情報の送受信を行う構成であってよい。
【0026】
制御部30は、収集部301と、評価基準情報生成部302と、送信部303とを備える。制御部30が備えるこれらの各部301~303の機能は、プログラムに従ってCPUが演算処理を行うことによって実現される。換言すると、情報生成装置3は、収集部301と、評価基準情報生成部302と、送信部303とを備える。
【0027】
収集部301は、物体までの距離測定を可能とするセンサを搭載する複数の移動体から情報を収集する。本実施形態では、収集部301は、カメラ6を搭載する複数の車両2から情報を収集する。収集部301が各車両2から収集する情報には、各車両2が所定の評価箇所を走行した際にカメラ6によって取得された情報に基づいて算出された距離データが含まれる。所定の評価箇所は、例えば、特定の路上設置物が車両2の進行方向に間隔をあけて少なくとも2つ並ぶ場所であり、センサ(本実施形態ではカメラ6)によって特定の路上設置物間の距離を測定できる場所である。路上設置物は、例えば白線、ポール、照明機器、防護柵等である。すなわち、距離データは、例えば2つの白線間の距離や、2つのポール間の距離等である。
【0028】
なお、所定の評価箇所は単数でも複数でもよい。例えば、各車両2は、データセンター1から所定の評価箇所に関する地図上の場所を事前に与えられており、所定の評価箇所を走行する際に各種の情報を収集する。当該情報収集には、詳細は後述する異常検出装置4が有する機能が利用されてよい。
【0029】
本実施形態では、収集部301が各車両2から収集する情報には、各車両2が所定の評価箇所を走行した際における環境データおよび動作データ、並びに、各車両2が有するカメラ6に関する情報を示すセンサデータも含まれる。環境データは、車両2の周囲環境を示すデータであり、例えば、車両2が走行する道路の状況(道路パターン)、走行時の天候、走行時の明るさ等のデータであってよい。動作データは、車両2の動作状態を示すデータであり、例えば車速や加速度等のデータであってよい。センサデータは、例えばカメラ6の種類、カメラ6の取付位置、カメラ6が取り付けられる車両2の種類等のデータであってよい。
【0030】
なお、環境データ、動作データおよびセンサデータのうち、少なくともいずれか1つは、収集部301が各車両2から収集する情報に含まれなくてよい。収集部301が各車両2から収集する情報には、距離測定の対象となる路上設置物に関するターゲットデータが含まれてよい。ターゲットデータは、例えば路上設置物の形状、色彩、設置位置等のデータであってよい。
【0031】
評価基準情報生成部302は、収集部301で収集された情報に基づいて距離基準データを含む評価基準情報を生成する。
図2は、評価基準テーブル310の一例を示す図である。本実施形態では、評価基準情報生成部302は、評価基準情報として、
図2に示すような評価基準テーブル310を生成する。本実施形態では、評価基準情報生成部302は、上述の所定の評価箇所ごとに評価基準テーブル310を生成する。所定の評価箇所が複数あれば、評価基準テーブル310も複数生成される。距離基準データ(
図2の認識距離が該当)は、各車両2におけるカメラ6の異常を判定する基準となる距離データである。本実施形態では、後述の各分類に対して1つずつ距離値が割り当てられている。すなわち、距離基準データは複数の距離値(データ)で構成される。
図2に示すテーブル310においては、各行が1つの分類に対応する。
【0032】
図2に示すように、評価基準テーブル310には、距離基準データと関連付けられたセンサデータが含まれる。
図2に示す例では、センサデータとして、カメラ種類およびカメラ位置の2つの項目が含まれている。カメラ6の種類が異なれば分類が別になる。また、カメラ6の取付位置が異なれば分類が別になる。
【0033】
また、評価基準テーブル310には、距離基準データと関連付けられた動作データが含まれる。
図2に示す例では、動作データとして車速(1つの項目)が含まれている。すなわち、車速が異なれば分類が別になる。なお、各分類の車速は単一の値でもよいが、Xkm/Hr~Ykm/Hrという形式で一定の幅を有する構成であることが好ましい。
【0034】
また、評価基準テーブル310には、距離基準データと関連付けられた環境データが含まれる。
図2に示す例では、環境データとして、道路パターン、天候、時刻の3つの項目が含まれている。道路パターンは、例えば道路の傾斜度やカーブの曲率等に基づいて分類される。例えば、傾斜度の差が所定の差を超える2つの道路は互いに異なる分類とされる。各分類の傾斜度や曲率は、単一の値でもよいが、一定の幅を有する構成であることが好ましい。天候は、晴れ、曇り、雨、雪等、気象が異なれば分類が別になる。時刻は、車両2の周囲の明るさを示す指標として使用されている。時刻が異なれば分類が別になる。時刻の分類は、秒単位による分類、分単位による分類、時間単位による分類等、適宜決定されてよい。
【0035】
本実施形態では、距離基準データに関連づけられるデータ項目が複数になっている。詳細には、距離基準データに関連づけられるデータ項目は、カメラ種類、カメラ位置、車速、道路パターン、天候、および時刻の6項目になっている。複数のデータ項目のうちのいずれか1つでも内容(数値等)が異なれば別分類とされ、各分類に対して距離基準データとしての距離値が割り当てられている。なお、互いに異なる分類間で距離値が同じになることも有り得る。
【0036】
図1に戻って、送信部303は、異常検出装置4に情報を送信するための送信処理を行う。送信部303は、例えば、異常検出装置4の要求に従って、評価基準テーブル310や、評価基準テーブル310から導出できる情報を異常検出装置4に送信する処理を行う。
【0037】
図3は、情報生成装置3による評価基準テーブル310の生成手順の一例を示すフローチャートである。まず、収集部301が、各車両2から評価基準テーブル310を生成するために必要な情報を適宜収集する(ステップS1)。情報生成装置3は、例えば、所定の時刻や各車両2から要求が有った場合等に、評価基準テーブル310を生成するための情報を収集する所定の評価箇所を各車両2に配信する。各車両2は、所定の評価箇所データを不図示の記憶部に記憶する。各車両2は、GPSセンサ7等の情報に基づいて自車が所定の評価箇所を走行することを認識した場合に、カメラ6によって画像を撮影して、撮影画像に基づいて特定の路上設置物の距離データを算出する。また、各車両2は、カメラ6に関する情報を示すセンサデータ、および、カメラ6によって画像を撮影した際の環境データ並びに動作データを取得する。各車両2は、距離データ、センサデータ、環境データ、および、動作データを得ると、情報生成装置3に送信する。なお、本実施形態では、これらの情報を得るために、詳細は後述する異常検出装置4が利用されてよい。
【0038】
収集部301は、各車両2から収集した情報を記憶部31に記憶する(ステップS2)。なお、同一の車両2から同一の分類となる情報が複数回収集された場合は、いずれか1つの情報を記憶部31に記憶する構成としてよい。また、ここで記憶された情報は、評価基準テーブル310の生成に利用された後に消去されてよい。
【0039】
評価基準情報生成部302は、記憶部31に評価基準テーブル310を作成するために必要な所定の情報量が蓄積されたか否かを確認する(ステップS3)。上述のように、評価基準テーブル310は、所定の評価箇所ごとに生成される。例えば、同一の評価箇所の情報が記憶部31に所定数以上蓄積された場合に、所定の情報量が蓄積されたと判断される構成としてよい。
【0040】
所定の情報量が蓄積されたと判断すると(ステップS3でYes)、評価基準情報生成部302は、評価基準テーブル310を生成する(ステップS4)。本実施形態では、評価基準情報生成部302は、カメラ種類、カメラ位置、車速、道路パターン、天候、及び、時刻の全てが同じであるデータ群を1つの分類として纏める。1つの分類として纏めるに際して、複数の距離データが全て同じ値であれば、当該値を当該分類の基準距離値とする。ただし、複数の距離データの少なくとも1つが他と異なる場合がある。このような場合には、例えば、複数の距離データの平均値を算出し、この平均値を基準距離値とする。ただし、これは例示であり、例えば、複数の距離データの中央値を基準距離値にする等、他の構成としてもよい。特定の路上設置物間距離が予め分かっており、算出した距離値の中に当該距離とかけ離れたものがある場合には、かけ離れた距離値を除外して平均値を算出する構成等としてよい。
【0041】
所定の情報量が蓄積されていないと判断すると(ステップS3でNo)、評価基準情報生成部302は評価基準テーブル310を生成しない。この場合には、ステップS1に戻って、評価基準テーブル310を生成するための情報収集が行われる。
【0042】
なお、情報生成装置3は、評価基準テーブル310を生成した後も、当該評価基準テーブル310を生成した評価箇所に関する情報を車両2から収集し、評価基準テーブル310の更新を行うことが好ましい。これにより、より多くの情報に基づく評価基準テーブル310を生成することができ、評価基準テーブル310を用いた評価結果の信頼性を向上することができる。
【0043】
<3.異常検出装置の詳細>
異常検出装置4は、移動体に搭載されて物体までの距離測定を可能とするセンサの異常を検出する。本実施形態では、異常検出装置4は、車両2に搭載されるカメラ6の異常を検出する。異常には、例えば、取付状態の異常、データ処理の異常、データの送受信時の異常等が含まれる。
【0044】
異常検出装置4は、例えば、不図示のCPU、ROM、RAM、HDD(Hard Disk Drive)、入出力ポートなどを含むコンピュータである。
図1に示すように、異常検出装置4は、測定タイミング監視部41と、画像取得部42と、評価基準情報取得部43と、環境データ取得部44と、動作データ取得部45と、センサデータ取得部46と、距離データ算出部47と、送信部48と、判定部49とを備える。各部41~49の機能は、ROM等に記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される。
【0045】
測定タイミング監視部41は、センサ(本実施形態ではカメラ6)の異常を検出するための測定を開始するタイミングを監視する。本実施形態では、測定タイミング監視部41は、当該異常検出装置4を搭載する車両2(以下、自車両と表現する)が所定の評価箇所を走行する場合に測定を開始するタイミングであると判断する。異常検出装置4は、所定の評価箇所について、情報生成装置3から配信される情報によって認識している。測定タイミング監視部41は、例えば、HDD等の記憶部に記憶される地図情報およびGPS情報によって自車両が所定の評価箇所を走行するか否かを判断する。
【0046】
画像取得部42は、カメラ6で撮影した情報を取得する。評価基準情報取得部43は、センサを搭載する複数の移動体から収集された情報に基づいて生成され、距離基準データを含む評価基準情報を取得する。本実施形態では、評価基準情報取得部43は、情報生成装置3によって生成された評価基準テーブル310を取得する。
【0047】
環境データ取得部44は、移動体が所定の評価箇所を移動した際における移動体の周囲環境を示す評価用環境データを取得する。本実施形態では、環境データ取得部44は、自車両が所定の評価箇所を走行した際における自車両の周囲環境を示す評価用環境データを取得する。本実施形態では、環境データ取得部44は、道路パターンと、天候と、明るさを示す情報として時刻とを取得する。道路パターンは、例えばGPSセンサおよび地図情報から取得することができる。天候は、例えばネットワーク5を介して繋がる外部装置から取得することができる。時刻は、例えばGPSセンサから取得することができる。
【0048】
動作データ取得部45は、移動体が所定の評価箇所を移動した際における移動体の動作状態を示す評価用動作データを取得する。本実施形態では、動作データ取得部45は、自車両が所定の評価箇所を走行した際における自車両の動作状態を示す評価用動作データを取得する。本実施形態では、環境データ取得部44は、自車両の車速を取得する。動作データ取得部45は、不図示のCANバスを介して自車両の車速を取得することができる。
【0049】
センサデータ取得部46は、センサに関する情報を示すセンサデータを取得する。本実施形態では、センサデータ取得部46は、自車両に搭載されるカメラ6の種類と、カメラ6の取付位置とを取得する。これらの情報は、例えば、車両2の工場出荷時等に異常検出装置4の記憶部に記憶される。なお、これらの情報は、例えば、車両コード等をデータセンター1に送信することによってデータセンター1から取得してもよい。
【0050】
距離データ算出部47は、移動体が所定の評価箇所を移動した際にセンサによって得られた情報に基づいて評価用距離データを算出する。評価用距離データは、距離基準データと比較する距離データである。本実施形態では、距離データ算出部47は、自車両が所定の評価箇所を走行した際にカメラ6によって撮影された撮影情報に基づいて、特定の路上設置物間の距離値を算出する。特定の路上設置物は、上述のように、例えば白線、ポール、照明機器、防護柵等である。撮影画像に基づいて評価用距離データを算出する方法としては、例えば三角測量の原理を用いた手法等の公知の手法が用いられてよい。
【0051】
送信部48は、情報生成装置3に情報を送信するための送信処理を行う。送信部48は、例えば、各種の取得部42~46で取得された情報、距離データ算出部47における算出結果、判定部49における判定結果等をデータセンター1に送信してよい。
【0052】
判定部49は、評価基準情報取得部43で取得した評価基準情報と、距離データ算出部47によって算出された評価用距離データとに基づいてセンサが異常であるか否かを判定する。本実施形態では、判定部49は、評価基準テーブル310と、評価用距離データとに基づいてカメラ6の異常を判定する。本実施形態によれば、走行中の複数の車両2からの情報に基づいて得られた基準データと比較して、自車両のカメラ6の異常を判定することができる。このために、カメラ6の異常判定の信頼性を向上することができる。
【0053】
判定部49は、環境データ取得部44で取得した評価用環境データを加味してセンサの異常を判定することが好ましい。判定部49は、動作データ取得部45で取得した評価用動作データを加味してセンサの異常を判定することが好ましい。判定部49は、センサデータ取得部46で取得したセンサデータを加味してセンサの異常を判定することが好ましい。
【0054】
本実施形態では、評価用環境データと、評価用動作データと、センサデータとの全てを加味してカメラ6の異常判定を行う。ただし、これは例示である。例えば、これらのデータに加えて、上述のターゲットデータが加味されて異常判定が行われる構成としてもよい。この場合には、評価基準テーブル310には、距離基準データに関連付けられたターゲットデータを含む構成とすればよい。また、例えば、評価用環境データと、評価用動作データと、センサデータとのうち、いずれか1つ、或いは、いずれか2つのみが異常判定において加味される構成としてもよい。場合によっては、評価用環境データと、評価用動作データと、センサデータとのいずれも加味されない構成としてもよい。
【0055】
評価用環境データと、評価用動作データと、センサデータとのうちの少なくとも1つを加味して異常判定を行うことによって、比較対象間の状態をできる限り揃えてカメラ6の異常判定を行うことができる。このために、より信頼性の高い異常判定を行うことが可能になる。また、カメラ6(センサ)の使用条件を考慮した性能評価ができるために、製品を改善するためのデータを得ることができる。
【0056】
図4は、異常検出装置4による異常判定の手順の一例を示すフローチャートである。異常検出装置4は、例えば車両の電源(ACC等)がオンされると、動作を開始する。まず、測定タイミング監視部41が、カメラ6の異常を検出するための測定を行うタイミングであるか否かを監視する(ステップS11)。測定タイミング監視部41は測定タイミングとなるまで監視を続ける。本実施形態では、測定タイミングは、自車両が所定の評価箇所を走行するタイミングである。
【0057】
測定タイミング監視部41が測定タイミングを検出すると(ステップS11でYes)、撮影画像および各種情報が取得される(ステップS12)。詳細には、画像取得部42が、所定の評価箇所を自車両が走行する際にカメラ6によって撮影された撮影画像を取得する。当該撮影画像には、特定の路上設置物が含まれる。特定の路上設置物は、例えば自車両の前方において左右に延びる白線である。
【0058】
また、環境データ取得部44が評価用環境データを取得する。より詳細には、環境データ取得部44は、自車両が走行する所定の評価箇所の道路パターンを記憶部に記憶される地図情報等から取得する。環境データ取得部44は、自車両が所定の評価箇所を走行した際の天候情報を、ネットワーク5を介して外部装置から取得する。環境データ取得部44は、自車両が所定の評価箇所を走行した時刻をGPS情報等から取得する。
【0059】
また、動作データ取得部45が評価用動作データを取得する。より詳細には、動作データ取得部45は、自車両が所定の評価箇所を走行した際の自車両の車速を、CANバスを介して取得する。更に、センサデータ取得部46がセンサデータを取得する。より詳細には、センサデータ取得部46は、自車両に搭載されるカメラ6の種類と、カメラ6の取付位置とを不図示の記憶部から取得する。
【0060】
次に、距離データ算出部47が評価用距離データを算出する(ステップS13)。より詳細には、距離データ算出部47は、画像取得部42によって取得した撮影画像に基づいて特定の路上設置物間の距離値を算出する。距離データ算出部47は、例えば、例えば自車両の前方において左右に延びる2本の白線間の距離値を算出する。
【0061】
次に、評価基準情報取得部43が評価基準情報を取得する(ステップS14)。より詳細には、評価基準情報取得部43は、情報生成装置3からネットワーク5を介して、自車両が走行した所定の評価箇所用に生成された評価基準テーブル310を取得する。評価基準情報取得部43は、評価基準テーブル310の全部を取得してもよいが、評価基準テーブル310の一部を取得してもよい。例えば、評価基準情報取得部43は、自車両のカメラ6と同じ種類のカメラに関するデータのみを取得する構成等としてもよい。
【0062】
なお、評価基準情報取得部43は、ステップS13より先に評価基準情報を取得する構成であってもよい。例えば、評価基準情報取得部43は、ステップS12と同じタイミングで評価基準情報を取得してもよい。なお、場合によっては、或る所定の評価箇所に対して評価基準テーブル310が生成されていないことも有り得る。このような場合には、異常判定しない構成としてよい。
【0063】
次に、判定部49が異常判定を行う(ステップS15)。判定部49は、環境データ取得部44、動作データ取得部45およびセンサデータ取得部46から取得した各種の評価用データと一致する分類を評価基準テーブル310から見つけ出す。判定部49は、見つけ出した分類の認識距離と、距離データ算出部47で算出した評価用距離データ(距離値)とを比較する。両者の差の絶対値が、所定の閾値以下である場合には異常なしと判定し、所定の閾値を超える場合には異常と判定する。所定の閾値は、例えば実験やシミュレーションの結果に基づいて決められてよい。
【0064】
なお、判定部49は、各取得部44~46から取得した各種の評価用データと一致する分類を評価基準テーブル310から見つけ出せないことも有り得る。このような場合には、異常判定不能として異常判定を行わない構成としてよい。
【0065】
異常判定の結果は、例えば、自車両が備える通知装置(不図示)によって通知される構成としてよい。通知装置による通知は、異常が検出された場合のみ行われる構成としてもよい。通知装置は、例えば、液晶ディスプレイ等の表示装置や、スピーカー等の音声出力装置等であってよい。また、異常判定によって異常が検出された場合には、センサ(本実施形態ではカメラ6)を用いて実行される自動運転機能が停止されたり、使用不可とされたりしてよい。
【0066】
本実施形態によれば、自車両の走行中にカメラ6の異常判定を行うことができる。また、本実施形態によれば、同様の走行条件で走行した複数の車両から取得された基準データとの比較で異常判定が行われるために、異常判定の信頼性を向上することができる。本実施形態によれば、複数種類の走行条件を考慮して異常判定を行うために、異常が検出された場合に異常原因の特定を行い易い。本実施形態によれば、異常検出ための比較機器を別途用意する必要がないために、異常の確認を簡単に行うことができる。
【0067】
なお、異常判定のために取得されたり算出されたりしたデータは、送信部48によって情報生成装置3に送られてよい。情報生成装置3は、送信部48によって送られた当該データを、評価基準テーブル310を生成したり更新したりするためのデータとして使用してよい。
【0068】
また、以上では、異常検出装置4の構成要素が全て車両2に搭載される構成を説明した。上述のように、例えば、異常検出装置4は、一部の構成要素が車両2に設けられ、残りの要素が情報生成装置3を含むサーバ装置に設けられる構成としてよい。例えば、測定タイミング監視部41、画像取得部42、環境データ取得部44、動作データ取得部45、センサデータ取得部46、および、送信部48が車両2に備えられ、評価基準情報取得部43および判定部49がサーバ装置に備えられる構成としてよい。すなわち、車両2側で取得した情報をサーバ装置に送信し、サーバ装置によって異常判定が行われる構成としてよい。この場合、判定結果が車両2側に送信される構成とすればよい。
【0069】
<4.変形例>
図5は、変形例の情報生成装置3Aの構成を示すブロック図である。変形例の情報生成装置3Aは、評価箇所生成部304を更に備える。制御部30Aが備える評価箇所生成部304の機能は、CPUがプログラムにしたがって演算処理を実行することによって実現される。評価箇所生成部304は、移動体から収集された情報に基づいて所定の評価箇所を生成する。本変形例では、評価箇所生成部304は、カメラ6を搭載する車両2から収集部301で収集された情報に基づいて所定の評価箇所を生成する。
【0070】
図6は、変形例の情報生成装置3Aによる評価箇所の生成手順の一例を示すフローチャートである。評価箇所生成部304は、カメラ6を搭載する車両2から所定の撮影画像を取得したか否かを確認する(ステップS21)。所定の撮影画像は、既に設定されている評価箇所以外の場所を撮影した画像である。各車両2は、情報生成装置3Aが評価箇所を生成するために予め指定した条件に基づいてカメラ6による撮影を行い、撮影画像を情報生成装置3Aに送信する。情報生成装置3Aは、例えば、評価基準テーブル310を生成するための情報を複数の車両2から収集し易い場所を撮影箇所として指定する。例えば、交通量が多い幹線道路の直線箇所等が撮影箇所として指定される。
【0071】
評価箇所生成部304は、評価箇所を生成するために取得した撮影画像中に、距離測定用のマーク候補が有るか否かを確認する(ステップS22)。距離測定用のマーク候補は、例えば車両2の進行方向に間隔をあけて並ぶ白線、ポール、案内標識等の路上設置物である。評価箇所生成部304は、例えばパターンマッチング等の手法により、取得した画像から距離測定用のマーク候補を抽出する。
【0072】
評価箇所生成部304は、撮影画像から距離測定用のマーク候補が抽出された場合(ステップS22でYes)、当該撮影画像を撮影した箇所を評価箇所に認定する(ステップS23)。評価箇所に認定されると、当該情報(評価箇所の位置およびマークの種類を含む情報)が各車両2に通知され、当該評価箇所における評価基準テーブル310が例えば
図3に示すフローにしたがって生成される。
【0073】
評価箇所生成部304は、評価箇所の認定をした後、更に評価箇所の生成を継続するか否かを確認する(ステップS24)。評価箇所の生成を終了する指令がない限り、ステップS21に戻って評価箇所の生成処理が継続される。評価箇所生成部304は、撮影画像から距離測定用のマーク候補が抽出されなかった場合(ステップS22でNo)、当該撮影画像が撮影された箇所を評価箇所に認定しない。この場合も、評価箇所の生成を終了する指令がない限り、評価箇所生成部304は、ステップS21に戻って評価箇所の生成処理を継続する。
【0074】
本変形例によれば、評価箇所を自動的に増やすことができるために、センサ(本例ではカメラ6)の異常を迅速に検出することが可能になる。
【0075】
<5.留意事項>
本明細書で示す実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
【0076】
以上において、プログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよい。また、以上において、一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。
【0077】
また、以上において、一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、各ブロックの機能を複数の装置に分散し、これらの装置間において通信によって情報の交換を行うことで、全体として各ブロックの機能が実現されてもよい。
【符号の説明】
【0078】
2・・・車両(移動体)
3、3A・・・情報生成装置
4・・・異常検出装置
6・・・カメラ(センサ)
43・・・評価基準情報取得部
44・・・環境データ取得部
45・・・動作データ取得部
46・・・センサデータ取得部
47・・・距離データ算出部
49・・・判定部
301・・・収集部
302・・・評価基準情報生成部
304・・・評価箇所生成部
310 評価基準テーブル
SYS 異常検出システム