知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】情報処理装置、プログラム及び情報処理方法
(51)【国際特許分類】
G08G 1/04 20060101AFI20241227BHJP
【ＦＩ】
G08G1/04 D
【請求項の数】
3
(21)【出願番号】P 2023552465
(86)(22)【出願日】2021-10-06
(86)【国際出願番号】 JP2021036921
(87)【国際公開番号】W WO2023058142
(87)【国際公開日】2023-04-13
【審査請求日】2024-04-01
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【弁理士】
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(74)【代理人】
【識別番号】100203677
【弁理士】
【氏名又は名称】山口 力
(72)【発明者】
【氏名】八木 孝介
(72)【発明者】
【氏名】岸上 智
【審査官】佐々木 佳祐
(56)【参考文献】
【文献】特開２０２１－１２８３８６（ＪＰ，Ａ）
【文献】特開２０２１－１３１６２３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
(57)【特許請求の範囲】
【請求項1】
検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部と、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部と、
前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部と、
前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部と、
前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部と、を備え、
前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、
前記第１の特徴変化検出部は、前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データを生成し、
前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データを生成し、
前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
を特徴とする情報処理装置。
【請求項2】
コンピュータを、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部、
複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部、
前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部、
前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部、及び、
前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部、として機能させ、
前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、
前記第１の特徴変化検出部は、前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データを生成し、
前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データを生成し、
前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定すること
を特徴とするプログラム。
【請求項3】
検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得し、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得し、
前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成し、
前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成し、
前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、
前記類似性が最も高い一つの第２の特徴変化データを特定し、
前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する情報処理方法であって、
前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、
前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データが生成され、
前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データが生成され、
前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性が特定されること
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
自動車の運行に関係した各種自動化により、自動車内で多種多量のセンサーデータ又は制御データ等の車両データが作られるようになってきた。また、事故原因解明の社会的要求が高まっており、車両データとして、ドライブレコーダーによる車両側での映像データの記録も一般的になりつつある。
【0003】
また、道路管理目的からいわゆる路側カメラ又は交差点カメラ等のように、道路設備側に設置され、路面状態又は車両の動きを検出する車外カメラも普及している。車外カメラとして、道路側方に配置されている路側カメラの他、駐車場等では防犯目的等により監視カメラが設置されていることも多い。
【0004】
車両データ及び車外カメラからの映像データである車外映像データを連携させて、高度なデータ解析又はサービスの提供を行うことが提案されてきている。その際、多数の自動車が映り込んでいるカメラ映像等のように、複数の自動車が含まれている車外映像データと、個別の自動車の内部で発生した車両データとを連携させるには、車両データが、車外映像データに含まれている複数の自動車の何れの自動車のものであるのかを対応付ける必要がある。
【0005】
例えば、従来の技術として、特許文献１に記載されている交通情報提供システムは、交差点付近で、複数の車両に搭載されたＩＴＳ車載器からの電波を受信して電波発射源を検出する電波発射源検出装置と、交差点付近に設置され、交差点に進入する複数の車両を含む映像を撮像する撮像ユニットと、撮像ユニットにより撮像された映像と、電波発射源検出装置により検出された複数のＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）車載器の位置と、交差点の地図データとを照合して、交差点内で進路を変えた車両を特定するＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）路側無線装置とを備える。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００９－１１０１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の技術の場合、映像、地図データ及び電波発射源検出装置の検出結果の位置的な対応関係を取るために、ＤＳＲＣ路側無線装置を設置する際に、較正作業を行う必要がある。例えば、専用装置を用いてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の座標を計測し、その座標が映像内のどこに相当するのかの対応付けデータを作成する等が必要である。このようにして作られた対応付けデータは、撮像ユニットの設置位置、向き又は画角等の撮像条件が変わると意味をなさないため、撮像条件が変わると、再度の較正作業が必要となる。このため、従来のシステムは、実運用で使用するのは困難であった。
【0008】
そこで、本開示の一又は複数の態様は、車両データを出力する車両と、車外映像データに含まれている車両との対応付けを簡便に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本開示の一態様に係る情報処理装置は、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部と、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部と、前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部と、前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部と、前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部と、を備え、前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、前記第１の特徴変化検出部は、前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データを生成し、前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データを生成し、前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定することを特徴とする。
【0010】
本開示の一態様に係るプログラムは、コンピュータを、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得する車両データ取得部、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得する車外映像データ取得部、前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成する第１の特徴変化検出部、前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成する第２の特徴変化検出部、及び、前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する類似性特定部、として機能させ、前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、前記第１の特徴変化検出部は、前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データを生成し、前記第２の特徴変化検出部は、前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データを生成し、前記類似性特定部は、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性を特定することを特徴とする。
【0011】
本開示の一態様に係る情報処理方法は、検出の対象となる車両である対象車両の特徴を示すことができ、前記対象車両の内部で取得されたデータである車両データを取得し、複数の車両の外部から撮像され、前記複数の車両を含む映像を示す映像データである車外映像データを取得し、前記車両データから、前記対象車両の前記特徴の変化を示す第１の特徴変化データを生成し、前記車外映像データから、前記複数の車両の各々の前記特徴の変化を特定し、それぞれが前記複数の車両の内の一つの前記特徴の変化を示す複数の第２の特徴変化データを生成し、前記複数の第２の特徴変化データの各々と、前記第１の特徴変化データとの類似の程度を示す類似性を特定し、前記類似性が最も高い一つの第２の特徴変化データを特定し、前記複数の車両の内、前記一つの第２の特徴変化データの生成元である一つの車両を、前記対象車両と一致すると判断する情報処理方法であって、前記車両データは、前記対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであり、前記車両データから前記表示内容の変化の時系列を示す前記第１の特徴変化データが生成され、前記映像を解析することで、前記複数の車両の何れかが車外表示装置を備えている場合には、前記映像に含まれている前記車外表示装置の表示内容の変化の時系列を示す前記第２の特徴変化データが生成され、前記第１の特徴変化データで示される前記時系列と、前記複数の第２の特徴変化データの各々で示される前記時系列とが相関する程度により、前記類似性が特定されることを特徴とする。
【発明の効果】
【0012】
本開示の一又は複数の態様によれば、車両データを出力する車両と、車外映像データに含まれている車両との対応付けを簡便に行うことができる。
【図面の簡単な説明】
【0013】
【図1】実施の形態に係るデータ解析装置を含むデータ解析システムの構成を概略的に示すブロック図である。
【図2】路側カメラで撮像された映像の一例を示す概略図である。
【図3】実施の形態に係るデータ解析装置の構成を概略的に示すブロック図である。
【図4】（Ａ）～（Ｃ）は、データ解析装置での処理の概略を説明するための概略図である。
【図5】（Ａ）及び（Ｂ）は、車両別追跡部が映像の中から車両毎に追跡を行う処理を説明するための概略図である。
【図6】（Ａ）～（Ｃ）は、追跡されている車両のブレーキランプの点滅状態の検出を説明するための概略図である。
【図7】（Ａ）～（Ｃ）は、選択された信号を時間方向にずらしながら類似性を比較する処理を説明するための概略図である。
【図8】類似性特定部が行っている処理の一例を示すフローチャートである。
【図9】データ解析装置のハードウェア構成例を説明するためのブロック図である。
【図10】（Ａ）～（Ｃ）は、ドアの開閉変化のタイミングを用いて車両を特定する処理を説明するための概略図である。
【発明を実施するための形態】
【0014】
実施の形態．
図１は、実施の形態に係るデータ解析装置１２０を含むデータ解析システム１００の構成を概略的に示すブロック図である。
データ解析システム１００は、車外カメラとしての路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃと、情報処理装置としてのデータ解析装置１２０とを備える。
図１は、実施の形態に係るデータ解析装置１２０を含むデータ解析システム１００の構成を概略的に示すブロック図である。
データ解析システム１００は、車外カメラとしての路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃと、情報処理装置としてのデータ解析装置１２０とを備える。
【0015】
路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃは、道路１０１の脇に配置された撮像装置としてのカメラである。路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃは、道路１０１を走行する車両１０２Ａ～１０２Ｇの映像を示す映像データである車外映像データを、有線又は無線でデータ解析装置１２０に送信する。車外映像データは、複数の車両１０２Ａ～１０２Ｇの外部から撮像され、場所及び時間に応じて、その複数の車両１０２Ａ～１０２Ｇの何れかを含む映像を示す。
【0016】
車両１０２Ａ～１０２Ｇは、車両１０２Ａ～１０２Ｇのそれぞれの内部で取得された各種データを車両データとして、無線でデータ解析装置１２０に送信する。
【0017】
路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃを区別する必要がない場合には、路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃの何れか一つを路側カメラ１１０という。図１には、三台の路側カメラ１１０Ａ、１１０Ｂ、１１０Ｃが示されているが、路側カメラ１１０の数については、特に限定はない。
また、車両１０２Ａ～１０２Ｇを区別する必要がない場合には、車両１０２Ａ～１０２Ｇの何れか一つを車両１０２という。
また、車両１０２Ａ～１０２Ｇを区別する必要がない場合には、車両１０２Ａ～１０２Ｇの何れか一つを車両１０２という。
【0018】
図２は、路側カメラ１１０Ｂで撮像された映像の一例を示す概略図である。
この例では、撮像されたある瞬間のフレームである画像Ｉｍ１に三台の車両１０２Ａ～１０２Ｃが映り込んでいる。
路側カメラ１１０は、ある程度広い視野で撮像を行っており、映像内に複数の車両１０２が映り込むことも多い。
この例では、撮像されたある瞬間のフレームである画像Ｉｍ１に三台の車両１０２Ａ～１０２Ｃが映り込んでいる。
路側カメラ１１０は、ある程度広い視野で撮像を行っており、映像内に複数の車両１０２が映り込むことも多い。
【0019】
路側カメラ１１０で撮影された映像からは、車両１０２に搭載されているセンサー又は撮像装置等で検知できない情報を得ることができる。例えば、路側カメラ１１０の映像には、数台前の車両１０２のさらに前方の様子、又は、飛び出しの可能性のある子供の姿等が含まれる場合がある。
【0020】
データ解析装置１２０は、車外映像データと、車両データとを連携させて解析することにより、より効率の良い加速減速制御、事故を防ぐ予備動作、又は、事故時に周辺状況も考慮した原因推定等を行うことができる。
【0021】
車両データと、車外映像データとを連携させて解析を行う場合、車外映像データで示される映像内のどの車両１０２が、車両データの送信元であるのかを特定する必要がある。
例えば、図２に示されている画像Ｉｍ１内の車両１０２Ａと、車両１０２Ｂとで前後してブレーキ操作が行われた場合、送信された車両データと、画像Ｉｍ１内の車両１０２との対応が取れなければ、先行車両１０２Ａでブレーキが踏まれたから、後続車両１０２Ｂでもブレーキが踏まれたのか、又は、後続車両１０２Ｂで、単独でブレーキが踏まれたのか等の因果関係を解析することができない。
例えば、図２に示されている画像Ｉｍ１内の車両１０２Ａと、車両１０２Ｂとで前後してブレーキ操作が行われた場合、送信された車両データと、画像Ｉｍ１内の車両１０２との対応が取れなければ、先行車両１０２Ａでブレーキが踏まれたから、後続車両１０２Ｂでもブレーキが踏まれたのか、又は、後続車両１０２Ｂで、単独でブレーキが踏まれたのか等の因果関係を解析することができない。
【0022】
また、車両１０２から認識できない死角からの飛び出しが、路側カメラ１１０の車外映像データから検知された場合に、どの車両１０２に急ブレーキの指示を送るべきなのかを特定することもできなくなる。
【0023】
さらに、車外映像データで示される映像内に一台の車両１０２が映り込んでいる場合にも、例えば、図１に示されている路側カメラ１１０Ａの映像と、路側カメラ１１０Ｂの映像との両方にその車両１０２が映っていると、どちらの路側カメラ１１０の映像に映っている車両１０２が車両データの送付元であるのかを特定する必要がある。
【0024】
映像内の車両１０２の特定は、一般には、ナンバープレートを認識することで行われるが、映像からナンバープレートを確認するためには、道路１０１の上部にカメラを設置する必要があり、それを設置できる場所に制限がある。
【0025】
そこで、本実施の形態は、データ解析装置１２０において、車両データと、車外映像データとを簡単に連携させる例を説明する。
【0026】
図３は、実施の形態に係るデータ解析装置１２０の構成を概略的に示すブロック図である。
データ解析装置１２０は、車両データ取得部１２１と、車外映像データ取得部１２２と、データ選定部１２３と、第１の特徴変化検出部１２４と、第２の特徴変化検出部１２５と、類似性特定部１２８とを備える。
データ解析装置１２０は、車両データ取得部１２１と、車外映像データ取得部１２２と、データ選定部１２３と、第１の特徴変化検出部１２４と、第２の特徴変化検出部１２５と、類似性特定部１２８とを備える。
【0027】
車両データ取得部１２１は、車両１０２から送信された車両データを取得する。データ解析装置１２０では、車両データを送ってきた車両１０２を、車外映像データの映像内から検出する対象とするため、車両データを送ってきた車両１０２を対象車両ともいう。
車外映像データ取得部１２２は、路側カメラ１１０から車外映像データを取得する。
車外映像データ取得部１２２は、路側カメラ１１０から車外映像データを取得する。
【0028】
データ選定部１２３は、車両データ取得部１２１で取得された車両データと、車外映像データ取得部１２２で取得された車外映像データとから、比較を行うデータを選定する。ここで、車両データの内、選定されたデータを選定車両データともいい、車外映像データの内、選定された車外映像データを選定車外映像データともいう。
【0029】
例えば、データ選定部１２３は、車両データ取得部１２１で取得された車両データと、車外映像データ取得部１２２で取得された車外映像データとの間で比較可能なデータを選定する。そして、データ選定部１２３は、選定されたデータである選定車両データ及び選定車外映像データを、第１の特徴変化検出部１２４及び第２の特徴変化検出部１２５に与える。さらに、データ選定部１２３は、選定車両データと、選定車外映像データとの比較方法についても、第１の特徴変化検出部１２４及び第２の特徴変化検出部１２５に指示する。
【0030】
なお、データ選定部１２３は、例えば、予め定められた条件に従い、データの選定及び比較を行ってよい。このとき、データ選定部１２３は、所定のタイミングで、車両データと、社外映像データとの間で比較可能なデータの組み合わせを選定してもよい。例えば、データ選定部１２３は、車両データ取得部１２１で取得された車両データが保持している各種情報の記録時間、その時間帯における移動経路、又は、車両位置等の情報に基づいて、社外映像データ取得部１２２で取得された社外映像データに同一時間帯及び同一のエリアの情報が含まれているか否かを判定することで、比較可能か否かを判定してもよい。
また、データ選定部１２３は、例えば、図示しない入力部を介して、又は、車両データ取得部１２１若しくは車外映像データ取得部１２２を介して、オペレータからの入力を受け付けることで、選定するデータ及び比較方法を特定すればよい。
また、データ選定部１２３は、例えば、図示しない入力部を介して、又は、車両データ取得部１２１若しくは車外映像データ取得部１２２を介して、オペレータからの入力を受け付けることで、選定するデータ及び比較方法を特定すればよい。
【0031】
第１の特徴変化検出部１２４は、データ選定部１２３からの選定車両データを用いて、選定車両データを送信してきた車両１０２における特徴の変化を検出し、その特徴の変化を示す特徴変化データである第１の特徴変化データを生成する。生成された第１の特徴変化データは、類似性特定部１２８に与えられる。
【0032】
第２の特徴変化検出部１２５は、データ選定部１２３からの選定車外映像データを用いて、車両１０２毎に、特徴の変化を検出し、その特徴の変化を示す特徴変化データである第２の特徴変化データを生成する。
第２の特徴変化検出部１２５は、車両別追跡部１２６と、車両別特徴変化検出部１２７とを備える。
第２の特徴変化検出部１２５は、車両別追跡部１２６と、車両別特徴変化検出部１２７とを備える。
【0033】
車両別追跡部１２６は、選定車外映像データで示される映像において、各々の車両１０２を追跡する。
車両別特徴変化検出部１２７は、車両別追跡部１２６が追跡している車両１０２別に、車両１０２における特徴の変化を示す第２の特徴変化データを生成する。車両１０２別の第２の特徴変化データは、類似性特定部１２８に与えられる。
車両別特徴変化検出部１２７は、車両別追跡部１２６が追跡している車両１０２別に、車両１０２における特徴の変化を示す第２の特徴変化データを生成する。車両１０２別の第２の特徴変化データは、類似性特定部１２８に与えられる。
【0034】
類似性特定部１２８は、第１の特徴変化検出部１２４からの比較方法に従って、第１の特徴変化データと、車両１０２別の第２の特徴変化データとを比較する。そして、類似性特定部１２８は、第１の特徴変化データに対して類似の程度が最も高い第２の特徴変化データの生成元の車両１０２と、第１の特徴変化データの生成元の車両１０２とを対応付ける。
【0035】
例えば、類似性特定部１２８は、複数の第２の特徴変化データの各々と、第１の特徴変化データとの類似の程度を示す類似性を特定する。そして、類似性特定部１２８は、その類似性が最も高い一つの第２の特徴変化データを特定し、複数の車両１０２の内、特定された一つの第２の特徴変化データの生成元である一つの車両１０２を、対象車両と一致すると判断する。
具体的には、類似性特定部１２８は、第１の特徴変化データで示される時系列と、複数の第２の特徴変化データの各々で示される時系列とが相関する程度により、類似性を特定する。
具体的には、類似性特定部１２８は、第１の特徴変化データで示される時系列と、複数の第２の特徴変化データの各々で示される時系列とが相関する程度により、類似性を特定する。
【0036】
以上のデータ解析装置１２０での処理を、図４～図７を用いて詳細に説明する。
ここでは、車両１０２のブレーキ操作に基づいて、比較を行う場合を例に説明する。
このような場合、データ選定部１２３は、車両データ取得部１２１で取得された車両データの中から、ブレーキランプに関連するデータを選定する。具体的には、ブレーキペダル操作信号、ブレーキランプの制御信号、ブレーキランプの電源電圧又はブレーキランプモニターセンサーの検知結果を示すデータを選定車両データとして選定する。なお、データ選定部１２３は、これらのデータの中から実際のブレーキランプの点灯状態と齟齬が生じにくく、比較を行いやすい一又は複数のデータを選定する。
ここでは、車両１０２のブレーキ操作に基づいて、比較を行う場合を例に説明する。
このような場合、データ選定部１２３は、車両データ取得部１２１で取得された車両データの中から、ブレーキランプに関連するデータを選定する。具体的には、ブレーキペダル操作信号、ブレーキランプの制御信号、ブレーキランプの電源電圧又はブレーキランプモニターセンサーの検知結果を示すデータを選定車両データとして選定する。なお、データ選定部１２３は、これらのデータの中から実際のブレーキランプの点灯状態と齟齬が生じにくく、比較を行いやすい一又は複数のデータを選定する。
【0037】
また、データ選定部１２３は、車外映像データ取得部１２２が取得した車外映像データの中から、車両１０２のブレーキランプの状態を検出できるデータを選定する。例えば、データ選定部１２３は、車両データが取得された時間の映像を含む車外映像データを選定車外映像データとして選定する。
【0038】
そして、選定車両データとして、ブレーキランプの制御信号を示すデータが選定された場合、第１の特徴変化検出部１２４は、図４（Ａ）に示されているように、第１の特徴変化データとして、時間に応じて、ブレーキランプの点灯及び消灯の変化を示す特徴変化信号ＳＳを示すデータを生成することができる。特徴変化信号ＳＳは、ブレーキランプ点灯時および消灯時に信号が変化している。
【0039】
なお、このような場合、第１の特徴変化検出部１２４は、第１の特徴変化データとして、「時間ｔ１：ブレーキランプ点灯」及び「時間ｔ２：ブレーキランプ消灯」といったように、時間と、イベントとを示すデータを生成することも可能である。
【0040】
図４（Ｂ）は、路側カメラ１１０Ｂにより撮像された映像を示す概略図である。ここでの映像は、動画として撮像されており、時系列のシーケンス画像として取り扱うことができる。映像内に複数の車両１０２Ａ、１０２Ｂ、１０２Ｃが写っている。タイミングによってはブレーキランプの点灯している車両１０２Ａ、１０２Ｂも存在する。車外映像データ取得部１２２は、このような映像を示す映像データを車外映像データとして取得する。
図４（Ｂ）に示されている映像だけからでは、車両１０２Ａ、車両１０２Ｂ及び車両１０２Ｃのどれが、図４（Ａ）のデータを送信してきたのかを特定することはできない。
図４（Ｂ）に示されている映像だけからでは、車両１０２Ａ、車両１０２Ｂ及び車両１０２Ｃのどれが、図４（Ａ）のデータを送信してきたのかを特定することはできない。
【0041】
そこで、第２の特徴変化検出部１２５の車両別追跡部１２６は、選定車外映像データである映像データで示されている映像において、車両１０２Ａ～１０２Ｃの各々に対応する画像部分を特定することで、車両１０２Ａ～１０２Ｃの各々を追跡する。
【0042】
図５（Ａ）及び（Ｂ）は、車両別追跡部１２６が映像の中から車両１０２毎に追跡を行う処理を説明するための概略図である。
図５（Ａ）は、車両別追跡部１２６が映像内で車両１０２Ａを追跡している様子を示している。
例えば、映像内で特定の車両１０２を追跡する場合、車両別追跡部１２６は、画像認識により１フレーム内での車両１０２を認識して識別子を付け、前後のフレームでの識別結果と比較しながら、画像内での車両位置、車両の大きさ、並びに、車両の形状及び色の少なくとも何れか一つの変化が連続することを用いて追跡を行う。変化が連続することは、例えば、変化に飛躍がないこと、又は、変化の度合いが最も低いことを示す。
図５（Ａ）は、車両別追跡部１２６が映像内で車両１０２Ａを追跡している様子を示している。
例えば、映像内で特定の車両１０２を追跡する場合、車両別追跡部１２６は、画像認識により１フレーム内での車両１０２を認識して識別子を付け、前後のフレームでの識別結果と比較しながら、画像内での車両位置、車両の大きさ、並びに、車両の形状及び色の少なくとも何れか一つの変化が連続することを用いて追跡を行う。変化が連続することは、例えば、変化に飛躍がないこと、又は、変化の度合いが最も低いことを示す。
【0043】
図５（Ｂ）は、映像内での車両位置の連続性を用いて車両１０２Ａの追跡を行っている例を示している。車両認識の時点で車両１０２Ａ、車両１０２Ｂ及び車両１０２Ｃの区別がついていなくても、車両１０２の位置の変化が最も連続的になるものを車両１０２Ａとして追跡することができる。
【0044】
図３に戻り、車両別特徴変化検出部１２７は、追跡されている車両１０２に対応する画像部分の輝度の変化から、ブレーキランプの点灯及び消灯という特徴の変化を時間毎に特定することで、第２の特徴変化データを生成する。これにより、例えば、図４（Ｃ）に示されているように、車両１０２Ａの特徴変化信号Ｓ１を示す第２の特徴変化データ、車両１０２Ｂの特徴変化信号Ｓ２を示す第２の特徴変化データ、及び、車両１０２Ｃの特徴変化信号Ｓ３を示す第２の特徴変化データが得られる。
【0045】
図６（Ａ）～（Ｃ）は、追跡されている車両１０２Ａのブレーキランプの点滅状態の検出を説明するための概略図である。
図６（Ａ）では、車両別特徴変化検出部１２７は、車両１０２の画像部分において画像認識を行うことにより認識された車両１０２の形状から、ブレーキランプの位置を推定している。ブレーキランプの点灯状態の推定は、このブレーキランプの推定位置付近での輝度及び色の変化を検出することにより行うことができる。
図６（Ａ）では、車両別特徴変化検出部１２７は、車両１０２の画像部分において画像認識を行うことにより認識された車両１０２の形状から、ブレーキランプの位置を推定している。ブレーキランプの点灯状態の推定は、このブレーキランプの推定位置付近での輝度及び色の変化を検出することにより行うことができる。
【0046】
図６（Ｂ）は、推定されたブレーキランプの位置の付近の映像の赤色成分の輝度変化を示している。映像から検出される輝度変化には、車両１０２の位置及び姿勢の変化、外光の影響、又は、撮像素子の反応速度等の影響を受ける。このため、輝度の変化を、そのままブレーキランプの点灯及び消灯を示すデータとして使用するのは困難である。
【0047】
そこで、車両別特徴変化検出部１２７は、フィルタリング、エッジ検出又はパターンマッチング等の手法を用いてブレーキランプの点滅状態を推定し、例えば、図６（Ｃ）のような特徴変化信号を示す第２の特徴変化データを生成する。
【0048】
なお、車両別特徴変化検出部１２７は、ブレーキランプの他にも方向指示器又は前照灯等の灯火装置でも同様の手法で、第２の特徴変化データを生成することができる。
また、ブレーキランプが映像から確認できない場合、車両別特徴変化検出部１２７は、アクセル操作等外観の変化を直接的に引き起こさない運転操作から、第２の特徴変化データを生成することもできる。例えば、車両別特徴変化検出部１２７は、映像内での車両位置の変化から、速度又は加速度を推定することにより、その特徴の変化を検出することで、第２の特徴変化データを生成することもできる。この場合、比較対象となる第１の特徴変化データとしては、車速センサーのデータ又は加速度センサーのデータを使用することができる。
また、ブレーキランプが映像から確認できない場合、車両別特徴変化検出部１２７は、アクセル操作等外観の変化を直接的に引き起こさない運転操作から、第２の特徴変化データを生成することもできる。例えば、車両別特徴変化検出部１２７は、映像内での車両位置の変化から、速度又は加速度を推定することにより、その特徴の変化を検出することで、第２の特徴変化データを生成することもできる。この場合、比較対象となる第１の特徴変化データとしては、車速センサーのデータ又は加速度センサーのデータを使用することができる。
【0049】
図４（Ｃ）に示されている時間幅の中では、その前半で車両１０２Ａのブレーキランプが点灯する。その後、車両１０２Ｂのブレーキランプが点灯している。また、車両１０２Ａのブレーキランプの点灯期間よりも、車両１０２Ｂのブレーキランプ点灯期間の方が長くなっている。
【0050】
そして、類似性特定部１２８は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３の中から、図４（Ａ）に示されている特徴変化信号ＳＳに最も類似する信号を検出することにより、特徴変化信号ＳＳに対応する制御信号を送ってきた車両１０２と、映像内の車両１０２との対応付けを行うことができる。この処理の詳細を説明する。
【0051】
上述のように、図４（Ａ）に示されている特徴変化信号ＳＳは、ある車両１０２に搭載されている制御システムで取得された、ブレーキランプの制御信号である。これを対象車両側の特徴の変化とする。
【0052】
図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３は、路側カメラ１１０Ｂで撮像された映像を解析することで推定された車両１０２毎のブレーキランプの点滅状態を示す信号である。これを路側カメラ１１０Ｂ側でとらえた車両別の特徴の変化とする。
【0053】
同一の車両１０２であれば、内部のブレーキランプの制御信号が変化するタイミングと、外部から観察されたブレーキランプの点灯及び消灯のタイミングとは、一致するはずである。
【0054】
そこで、車両別特徴変化検出部１２７は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３の各々と、図４（Ａ）に示されている特徴変化信号ＳＳとを比較し、例えば、点灯の時間、消灯の時間、点灯状態の継続期間、及び、点滅の回数等の相関関係を調べる。
【0055】
具体的には、特徴変化信号Ｓ１と、特徴変化信号ＳＳとを比較した場合、点滅回数は一致するものの、点灯時間、消灯時間、及び、点灯状態の継続期間は一致しない。
特徴変化信号Ｓ２と、特徴変化信号ＳＳとを比較した場合、点灯回数、点灯時刻、消灯時間、及び、点灯時間の継続期間が一致している。
特徴変化信号Ｓ３と、特徴変化信号ＳＳをと比較した場合、点灯回数を含め特徴の変化の一致は見られない。
このため、特徴変化信号ＳＳに最も類似性が高い特徴変化信号Ｓ２の元となった車両１０２Ｂが、図４（Ａ）に対応するデータの送信元であると特定することができる。
特徴変化信号Ｓ２と、特徴変化信号ＳＳとを比較した場合、点灯回数、点灯時刻、消灯時間、及び、点灯時間の継続期間が一致している。
特徴変化信号Ｓ３と、特徴変化信号ＳＳをと比較した場合、点灯回数を含め特徴の変化の一致は見られない。
このため、特徴変化信号ＳＳに最も類似性が高い特徴変化信号Ｓ２の元となった車両１０２Ｂが、図４（Ａ）に対応するデータの送信元であると特定することができる。
【0056】
データ送信元の車両１０２を、路側カメラ１１０で撮像された映像の中の１台として特定することにより、特定に使用したブレーキランプ以外のデータも特定された車両１０２のものとして路側カメラ１１０の映像と連携して解析することができるようになる。また、一つの車両１０２のみでなく、他の車両１０２の動きとの関係も含めて、複数の車両１０２に関連する解析を行うことができるようになる。
【0057】
例えば、図示されてはいないが、車両１０２Ｂから加速したことを示すデータが送られてきた場合に、車両１０２Ｂの前を走行している車両１０２Ａが、その直前に車線変更したことが路側カメラ１１０の映像から確認できれば、「先行車両の車線変更により、前方が空いたため加速した」というように、意味及び因果関係を解析することができる。
【0058】
以上の説明では、特徴変化信号ＳＳと、特徴変化信号Ｓ１～Ｓ３のそれぞれとの間で、特徴の変化の相関関係を検出しているが、実際には、検出方式の違い、並びに、転送及びデータ処理による遅延等により、全く同じタイミングで変化するとは限らない。
そこで、相関関係を検出するために比較を行う際に、全体的な時間のずれ、個別の変化点の時間の揺らぎ、又は、ノイズ等を考慮し、ある程度のずれを許容しつつ比較する必要がある。そこで、車両別特徴変化検出部１２７は、１箇所の変化点だけではなく、複数箇所の変化点での比較及び整合性確認を行うことにより、相関関係の検出の確度を高める必要がある。
そこで、相関関係を検出するために比較を行う際に、全体的な時間のずれ、個別の変化点の時間の揺らぎ、又は、ノイズ等を考慮し、ある程度のずれを許容しつつ比較する必要がある。そこで、車両別特徴変化検出部１２７は、１箇所の変化点だけではなく、複数箇所の変化点での比較及び整合性確認を行うことにより、相関関係の検出の確度を高める必要がある。
【0059】
また、全体的な時間のずれを考慮することにより複数の変化点での一致度が向上する場合、この時間のずれはシステム間及びデータ間の時間のずれを表しており、この時間のずれの分を補正することにより、データ間の同期を取ることができる。
例えば、図４（Ａ）の車両側のシステムの時間情報と、図４（Ｂ）の路側カメラ１１０のタイムスタンプ値のずれを補正することができる。
例えば、図４（Ａ）の車両側のシステムの時間情報と、図４（Ｂ）の路側カメラ１１０のタイムスタンプ値のずれを補正することができる。
【0060】
次に、類似性特定部１２８での処理について説明する。
例えば、第１の特徴変化データが図４（Ａ）に示されている特徴変化信号ＳＳを示す場合、類似性特定部１２８は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３を示す第２の特徴変化データの中から、特徴の変化が最も近いものを検出する。
例えば、第１の特徴変化データが図４（Ａ）に示されている特徴変化信号ＳＳを示す場合、類似性特定部１２８は、図４（Ｃ）に示されている特徴変化信号Ｓ１～Ｓ３を示す第２の特徴変化データの中から、特徴の変化が最も近いものを検出する。
【0061】
具体的には、類似性特定部１２８は、複数の特徴変化信号Ｓ１～Ｓ３から一つの信号を選択して、選択された信号と、第１の特徴変化データで示される特徴変化信号とを比較する。この時、類似性特定部１２８は、遅延又は揺らぎ等を考慮するため、選択された信号を時間方向にずらしながら類似性を比較し、最も類似性が高い時点を探し出し、この時の類似性を評価値として使用する。
【0062】
図７（Ａ）～（Ｃ）は、選択された信号を時間方向にずらしながら類似性を比較する処理を説明するための概略図である。
図７（Ａ）は、図４（Ａ）と同様に、第１の特徴変化データで示される特徴変化信号ＳＳを表している。ここでは、特徴変化信号は、ある車両１０２から送られてきたブレーキランプの制御信号で示されるブレーキランプの点滅を示す信号となっている。ここでは、データ選定部１２３から指示された比較方法が、ブレーキランプが点灯に変わるタイミングと、それが消灯に変わるタイミングとを用いて、類似性の評価を行うことを示しているものとする。
図７（Ａ）は、図４（Ａ）と同様に、第１の特徴変化データで示される特徴変化信号ＳＳを表している。ここでは、特徴変化信号は、ある車両１０２から送られてきたブレーキランプの制御信号で示されるブレーキランプの点滅を示す信号となっている。ここでは、データ選定部１２３から指示された比較方法が、ブレーキランプが点灯に変わるタイミングと、それが消灯に変わるタイミングとを用いて、類似性の評価を行うことを示しているものとする。
【0063】
図７（Ｂ）は、図４（Ｃ）における、第２の特徴変化データで示される、車両１０２Ａの特徴変化信号Ｓ１を時間方向にずらす例を示している。
図７（Ｂ）に示されているように、類似性特定部１２８は、特徴変化信号Ｓ１を、特徴変化信号Ｓ１＃１～Ｓ１＃３のようにずらしながら、特徴変化信号ＳＳとの類似性を算出する。ここでは、類似性特定部１２８は、点灯のタイミング同士、及び、消灯のタイミング同士を比較し、それぞれのずれを、例えば２乗平均して類似性とする。この場合２乗平均の値が小さいほど、相関が強く、類似性が高いことになる。例えば、特徴変化信号Ｓ１＃２が最も値が小さい場合には、このときの値を車両１０２Ａの類似性として検出する。
図７（Ｂ）に示されているように、類似性特定部１２８は、特徴変化信号Ｓ１を、特徴変化信号Ｓ１＃１～Ｓ１＃３のようにずらしながら、特徴変化信号ＳＳとの類似性を算出する。ここでは、類似性特定部１２８は、点灯のタイミング同士、及び、消灯のタイミング同士を比較し、それぞれのずれを、例えば２乗平均して類似性とする。この場合２乗平均の値が小さいほど、相関が強く、類似性が高いことになる。例えば、特徴変化信号Ｓ１＃２が最も値が小さい場合には、このときの値を車両１０２Ａの類似性として検出する。
【0064】
図７（Ｃ）は、図４（Ｃ）における、第２の特徴変化データで示される、車両１０２Ｂの特徴変化信号Ｓ２を時間方向にずらす例を示している。
図７（Ｃ）に示されているように、類似性特定部１２８は、特徴変化信号Ｓ２を、特徴変化信号Ｓ２＃１～Ｓ２＃２のようにずらしながら、特徴変化信号ＳＳとの類似性を算出する。ここでも、類似性特定部１２８は、点灯のタイミング同士、及び、消灯のタイミング同士を比較し、それぞれのずれを、例えば２乗平均して類似性とする。この場合２乗平均の値が小さいほど類似性が高いことになる。例えば、特徴変化信号Ｓ２が最も値が小さい場合には、このときの値を車両１０２Ｂの類似性として検出する。
図７（Ｃ）に示されているように、類似性特定部１２８は、特徴変化信号Ｓ２を、特徴変化信号Ｓ２＃１～Ｓ２＃２のようにずらしながら、特徴変化信号ＳＳとの類似性を算出する。ここでも、類似性特定部１２８は、点灯のタイミング同士、及び、消灯のタイミング同士を比較し、それぞれのずれを、例えば２乗平均して類似性とする。この場合２乗平均の値が小さいほど類似性が高いことになる。例えば、特徴変化信号Ｓ２が最も値が小さい場合には、このときの値を車両１０２Ｂの類似性として検出する。
【0065】
以上のように、類似性特定部１２８は、映像データで示されている映像に含まれている全ての車両１０２Ａ～１０２Ｃの特徴の変化、すなわちブレーキランプの点滅状態を、車両１０２Ａ～１０２Ｃの何れか送られてきたブレーキランプの制御信号との類似性を比較して、評価する。そして、類似性特定部１２８は、車両１０２Ａ～１０２Ｃの内、最も類似性の高い車両１０２Ｂが、ブレーキランプの制御信号を送ってきたものと判断することができる。
図８は、以上の類似性特定部１２８が行っている処理の一例を示すフローチャートである。
以上のようにして、映像内の複数の車両１０２から、データ送信元と対応する車両を特定することができる。
図８は、以上の類似性特定部１２８が行っている処理の一例を示すフローチャートである。
以上のようにして、映像内の複数の車両１０２から、データ送信元と対応する車両を特定することができる。
【0066】
なお、以上の例では、ブレーキランプの変化のタイミングを比較することで、類似性を算出する比較方法を説明したが、本実施の形態は、このような比較方法に限定されない。例えば、機械学習を用いた時系列分類、又は、パターン類似等が使用されてもよい。
また、ブレーキランプのみを使用した例としたが、方向指示器若しくは前照灯等の灯火装置、速度、加速度、又は、ハンドル操作等を使用することも可能である。
また、ブレーキランプのみを使用した例としたが、方向指示器若しくは前照灯等の灯火装置、速度、加速度、又は、ハンドル操作等を使用することも可能である。
【0067】
以上に記載されたデータ解析装置１２０は、例えば、図９に示されているような、第１の通信Ｉ／Ｆ１１と、第２の通信Ｉ／Ｆ１２と、補助記憶装置１３と、主メモリ１４と、プロセッサ１５とを備えるコンピュータ１０で実現することができる。
【0068】
第１の通信Ｉ／Ｆ１１は、無線を用いて通信を行うインタフェースである。
第２の通信Ｉ／Ｆ１２は、無線又は有線を用いて通信を行うインタフェースである。
補助記憶装置１３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。
主メモリ１４は、揮発性のメモリである。
プロセッサ１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御回路である。
第２の通信Ｉ／Ｆ１２は、無線又は有線を用いて通信を行うインタフェースである。
補助記憶装置１３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。
主メモリ１４は、揮発性のメモリである。
プロセッサ１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御回路である。
【0069】
例えば、車両データ取得部１２１は、第１の通信Ｉ／Ｆ１１により実現することができる。
車外映像データ取得部１２２は、第２の通信Ｉ／Ｆ１２により実現することができる。
データ選定部１２３、第１の特徴変化検出部１２４、第２の特徴変化検出部１２５及び類似性特定部１２８は、補助記憶装置１３に記憶されているプログラムを主メモリ１４に読み出して、そのプロセッサをプロセッサ１５が実行することで実現することができる。
このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
車外映像データ取得部１２２は、第２の通信Ｉ／Ｆ１２により実現することができる。
データ選定部１２３、第１の特徴変化検出部１２４、第２の特徴変化検出部１２５及び類似性特定部１２８は、補助記憶装置１３に記憶されているプログラムを主メモリ１４に読み出して、そのプロセッサをプロセッサ１５が実行することで実現することができる。
このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【0070】
以上に記載した実施の形態では、ブレーキランプを用いた例を説明したが、本実施の形態は、このような例に限定されない。例えば、他の灯火装置、速度、加速度又は音響等の他のデータを用いて車両１０２を特定することもできる。
以下、車両１０２の特定に使用可能なデータの組み合わせを変形例として列挙する。ここに列挙したデータは、必ずしも全てを同時に使用する必要があるわけではない。複数のデータのうち１つだけを利用してもよい。また複数のデータが組み合わされて使用されてもよい。
以下、車両１０２の特定に使用可能なデータの組み合わせを変形例として列挙する。ここに列挙したデータは、必ずしも全てを同時に使用する必要があるわけではない。複数のデータのうち１つだけを利用してもよい。また複数のデータが組み合わされて使用されてもよい。
【0071】
変形例１．
ブレーキランプ、方向指示器、車幅灯又は前照灯等の灯火装置の点灯及び消灯の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
ブレーキランプ、方向指示器、車幅灯又は前照灯等の灯火装置の点灯及び消灯の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
【0072】
この場合、車両データは、対象車両に備えられている灯火装置の点灯及び消灯を特定することのできるデータであればよい。例えば、車両データとしては、灯火装置の点滅を制御するための灯火制御信号を示すデータ、又は、灯火装置の点滅を監視するための灯火監視センサー信号を示すデータを用いることができる。なお、灯火制御信号は、灯火装置の点滅を制御するための電圧又は電流を示す信号を含む。
【0073】
第１の特徴変化検出部１２４は、車両データから、灯火装置の点灯及び消灯の時系列を示す前記第１の特徴変化データを生成する。
【0074】
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２のそれぞれの灯火装置の点灯及び消灯の時系列を示す複数の第２の特徴変化データを生成する。具体的には、第２の特徴変化検出部１２５は、車外映像データで示される映像から灯火装置の設置位置を推定し、その付近の色と輝度の変化を検出することで、その特徴変化信号を示す第２の特徴変化データを生成することができる。
【0075】
この場合、灯火装置の種類、方向指示器に関しては左右の方向、点灯のタイミング、及び、消灯のタイミングを比較することで、類似性を特定することができる。
【0076】
変形例２．
車両１０２の速度、加速度、角加速度、方向、車線変更、右左折、急ブレーキ又は衝突といった車両１０２の動き又は位置の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
車両１０２の速度、加速度、角加速度、方向、車線変更、右左折、急ブレーキ又は衝突といった車両１０２の動き又は位置の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
【0077】
この場合、車両データは、対象車両の位置又は動きを特定することのできるデータであればよい。例えば、車両データとしては、速度センサー値、加速度センサー値、角加速度センサー値、方位角センサー値、経度緯度高度値、アクセル開度、ブレーキペダル踏力値、又は、ハンドル操作量を示すデータを用いることができる。
【0078】
第１の特徴変化検出部１２４は、車両データから対象車両の位置又は動きの時系列を示す前記第１の特徴変化データを生成する。
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両のそれぞれの位置又は動きの時系列を示す複数の第２の特徴変化データを生成する。
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両のそれぞれの位置又は動きの時系列を示す複数の第２の特徴変化データを生成する。
【0079】
車両データが速度センサー値又は加速度センサー値である場合には、その速度センサー値を時系列に並べた速度データ又はその加速度センサー値を時系列に並べた加速度データと、車外映像データから特定された速度データ又は加速度データとの相関の強さを算出することで、類似性を特定することができる。
【0080】
また、加速度データは、車両のアクセル操作又はブレーキ操作と相関関係があるため、車両データで特定されるアクセル操作又はブレーキ操作のタイミング又は期間と、車外映像データから特定されるアクセル操作又はブレーキ操作のタイミング又は期間とを比較することにより、類似性を特定することができる。
【0081】
さらに、映像内の車両１０２の向き又は動きの変化と、車両データで示されるハンドル操作の変化とを比較することで、類似性を検出することができる。
また、映像内の車両１０２の向きの変化と、車両データである角加速度センサー値又は方位角センサー値から示される車両１０２の向きの変化とを比較することで、類似性を特定することができる。
また、映像内の車両１０２の向きの変化と、車両データである角加速度センサー値又は方位角センサー値から示される車両１０２の向きの変化とを比較することで、類似性を特定することができる。
【0082】
変形例３．
車両１０２の前方の車両１０２である前方車両、車両１０２の後方の車両である後方車両、若しくは、車両１０２の側方の車両１０２である側方車両との位置関係若しくは距離の変化、前方車両、後方車両若しくは側方車両の種類若しくは色の変化、又は、車両の周辺の道路の目標物若しくは道路付近の目標物との位置関係若しくは距離の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
車両１０２の前方の車両１０２である前方車両、車両１０２の後方の車両である後方車両、若しくは、車両１０２の側方の車両１０２である側方車両との位置関係若しくは距離の変化、前方車両、後方車両若しくは側方車両の種類若しくは色の変化、又は、車両の周辺の道路の目標物若しくは道路付近の目標物との位置関係若しくは距離の変化を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
【0083】
この場合、車両データは、対象車両と、対象車両の周囲の物体（例えば、車両又は目標物）との距離又は位置関係を特定することのできるデータであればよい。例えば、車両データとしては、車両１０２に搭載されているレーダー（ＬＡＤＡＲ）の検出結果、車両１０２に搭載されているライダー（ＬｉＤＡＲ）の検出結果、車両１０２に搭載されているステレオカメラで撮像された映像、車両１０２に搭載されているカメラで撮像された映像、それらの検出結果又は映像から推定された距離、それらの映像から認識された画像認識結果を示すデータを用いることができる。
【0084】
第１の特徴変化検出部１２４は、車両データから、対象車両と、物体との距離又は位置関係の時系列を示す第１の特徴変化データを生成する。
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両の各々と、物体との距離又は位置関係の時系列を示す第２の特徴変化データを生成する。
例えば、第２の特徴変化検出部１２５は、車外映像データで示される映像を解析することで、車両１０２の検出、車両１０２の間隔の検出、道路周辺物の検出、道路周辺物の位置の推定、道路周辺物と車両１０２との距離推定、又は、車両の種類若しくは色の検出を行うことにより、前方車両、後方車両若しくは側方車両との位置関係又は距離の変化、前方車両、後方車両若しくは側方車両の種類若しくは色の変化、又は、車両１０２の周辺の道路の目標物若しくは道路付近の目標物との位置関係若しくは距離の変化を特定することができる。
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両の各々と、物体との距離又は位置関係の時系列を示す第２の特徴変化データを生成する。
例えば、第２の特徴変化検出部１２５は、車外映像データで示される映像を解析することで、車両１０２の検出、車両１０２の間隔の検出、道路周辺物の検出、道路周辺物の位置の推定、道路周辺物と車両１０２との距離推定、又は、車両の種類若しくは色の検出を行うことにより、前方車両、後方車両若しくは側方車両との位置関係又は距離の変化、前方車両、後方車両若しくは側方車両の種類若しくは色の変化、又は、車両１０２の周辺の道路の目標物若しくは道路付近の目標物との位置関係若しくは距離の変化を特定することができる。
【0085】
この場合、車両データから特定される変化のタイミングと、車外映像データから特定される変化のタイミングとを比較にすることで、類似性を特定することができる。
【0086】
変形例４．
車両１０２から車外に向かってメッセージ等を表示する車外表示装置の内容の変化のタイミングを比較することで、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
車両１０２から車外に向かってメッセージ等を表示する車外表示装置の内容の変化のタイミングを比較することで、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
【0087】
この場合、車両データは、対象車両に備えられている、車外に向けて表示を行う装置である車外表示装置の表示内容を特定することのできるデータであればよい。
例えば、車両データとしては、車外表示装置を制御するための制御データを用いることができる。
例えば、車両データとしては、車外表示装置を制御するための制御データを用いることができる。
【0088】
第１の特徴変化検出部１２４は、車両データから表示内容の変化の時系列を示す第１の特徴変化データを生成する。
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２の何れかが車外表示装置を備えている場合には、その映像に含まれている車外表示装置の表示内容の変化の時系列を示す第２の特徴変化データを生成する。
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２の何れかが車外表示装置を備えている場合には、その映像に含まれている車外表示装置の表示内容の変化の時系列を示す第２の特徴変化データを生成する。
【0089】
このような場合、車外表示装置が表示している内容の変化のタイミングを比較することで、類似性を特定することができる。
【0090】
変形例５．
車両１０２のドアの開閉を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
車両１０２のドアの開閉を用いて、車外映像データに含まれている複数の車両１０２から、車両データを送信してきた車両１０２を特定することができる。
【0091】
この場合、車両データは、対象車両のドアの開閉を特定することのできるデータであればよい。
例えば、車両データとしては、ドアセンサー、音響センサー、若しくは、加速度センサー及び角加速度センサーの検出結果を示すデータ、又は、車両１０２に搭載されているカメラで撮像された映像を示すデータを用いることができる。
具体的には、ドアセンサーの検出結果を示すデータが得られる場合は、ドアセンサーの値変化によりドアの開閉を特定することができる。また、ドアセンサーの検出結果を示すデータが得られない場合でも、車両１０２の車室側カメラで撮像された映像を解析することで、ドア開閉状況を特定することができる。さらに、音響センサー又は角速度センサーの検出結果を解析してドア開閉のタイミングを推定することもできる。
例えば、車両データとしては、ドアセンサー、音響センサー、若しくは、加速度センサー及び角加速度センサーの検出結果を示すデータ、又は、車両１０２に搭載されているカメラで撮像された映像を示すデータを用いることができる。
具体的には、ドアセンサーの検出結果を示すデータが得られる場合は、ドアセンサーの値変化によりドアの開閉を特定することができる。また、ドアセンサーの検出結果を示すデータが得られない場合でも、車両１０２の車室側カメラで撮像された映像を解析することで、ドア開閉状況を特定することができる。さらに、音響センサー又は角速度センサーの検出結果を解析してドア開閉のタイミングを推定することもできる。
【0092】
第１の特徴変化検出部１２４は、車両データから対象車両のドアの開閉の時系列を示す第１の特徴変化データを生成する。
【0093】
第２の特徴変化検出部１２５は、選定車外映像データで示される映像を解析することで、複数の車両１０２の各々のドアの開閉の時系列を示す第２の特徴変化データを生成する。
例えば、第２の特徴変化検出部１２５は、駐車場に設置されている監視カメラからの車外映像データを解析すること、又は、駐車場に設置されているマイクからの音響センサーデータを解析することで、ドアの開閉状況を特定することができる。
例えば、第２の特徴変化検出部１２５は、駐車場に設置されている監視カメラからの車外映像データを解析すること、又は、駐車場に設置されているマイクからの音響センサーデータを解析することで、ドアの開閉状況を特定することができる。
【0094】
ここで、駐車場の監視カメラと連携を行う場合を説明する。
図１０（Ａ）～（Ｃ）は、ドアの開閉変化のタイミングを用いて車両１０２を特定する処理を説明するための概略図である。
図１０（Ａ）～（Ｃ）は、ドアの開閉変化のタイミングを用いて車両１０２を特定する処理を説明するための概略図である。
【0095】
図１０（Ａ）は、車両１０２に搭載されているドアセンサーによるドアの開閉検出の検出結果を示す特徴変化信号ＳＳ＃を示している。
ドアの開閉は、直接的には、ドアセンサーにより検出することができる。このため、ドアセンサーの検出結果が得られる場合は、そのドアセンサーの検出結果から、図１０（Ａ）に示されている特徴変化信号ＳＳ＃を取得することができる。
ドアの開閉は、直接的には、ドアセンサーにより検出することができる。このため、ドアセンサーの検出結果が得られる場合は、そのドアセンサーの検出結果から、図１０（Ａ）に示されている特徴変化信号ＳＳ＃を取得することができる。
【0096】
図１０（Ｂ）は、駐車場の監視カメラの映像である。画像Ｉｍ２は、時間ｔ１におけるフレーム、画像Ｉｍ３は、時間ｔ２におけるフレーム、及び、画像Ｉｍ４は、時間ｔ３におけるフレームである。
以上のような画像Ｉｍ１～Ｉｍ３を解析することにより、第２の特徴変化検出部１２５は、ドアの開閉のタイミングを推定することができる。ここでは、第２の特徴変化検出部１２５は、車両１０２の映像における変化及び人の動きを入力として、機械学習によりドアの開閉のタイミングを推定してもよい。
以上のような画像Ｉｍ１～Ｉｍ３を解析することにより、第２の特徴変化検出部１２５は、ドアの開閉のタイミングを推定することができる。ここでは、第２の特徴変化検出部１２５は、車両１０２の映像における変化及び人の動きを入力として、機械学習によりドアの開閉のタイミングを推定してもよい。
【0097】
図１０（Ｃ）は、以上のようにして推定されたドアの開閉から取得される特徴変化信号Ｓ４を示す。
【0098】
このような場合、ドアの開閉のタイミングを比較することで、類似性を検出することができる。
【0099】
車両１０２のドアセンサーのデータを直接使用できない場合もある。例えば、後付けのドライブレコーダーからデータを得る場合である。そのような場合、音響センサー、加速度センサー又は角加速度センサー等の信号からドアを閉じたことを検出することもできる。ドライブレコーダーに車室内カメラがある場合には車室内カメラ映像からドアの開閉を検出することもできる。
【0100】
図１０（Ａ）において、信号Ｓ５は、ドアを閉めた際における音響センサーで検出された値を示し、信号Ｓ６は、ドアを閉めた際における加速度センサーで検出された値を示している。
図１０（Ａ）に示されているように、音響センサー又は加速度センサーを用いる場合には、センサーの反応からデータ処理を行いドア開閉時の反応を検出するため、実際のドア開閉よりも遅れて検出されることになる。しかしながら、ドアの開閉と、センサーでの検出とのずれ量を予め測定しておくことで、そのずれ量を補正することができる。
図１０（Ａ）に示されているように、音響センサー又は加速度センサーを用いる場合には、センサーの反応からデータ処理を行いドア開閉時の反応を検出するため、実際のドア開閉よりも遅れて検出されることになる。しかしながら、ドアの開閉と、センサーでの検出とのずれ量を予め測定しておくことで、そのずれ量を補正することができる。
【0101】
以上のように、本実施の形態によれば、通常の運行において日常的に車両１０２で発生する状況と、データとを使用して、車両１０２の外部で取得されるデータと、車両１０２の内部で取得されるデータとを連携させることができる。これにより、特別なシステム又は事前の較正情報の作成等を行わずに、車両１０２を特定してデータの連携を行うことができる。
【符号の説明】
【0102】
１００ データ解析システム、 １１０ 路側カメラ、 １２０ データ解析装置、 １２１ 車両データ取得部、 １２２ 車外映像データ取得部、 １２３ データ選定部、 １２４ 第１の特徴変化検出部、 １２５ 第２の特徴変化検出部、 １２６ 車両別追跡部、 １２７ 車両別特徴変化検出部、 １２８ 類似性特定部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】