特許 7411771 車両速度検出装置、車両速度検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-12-27

(45)【発行日】2024-01-11

(54)【発明の名称】車両速度検出装置、車両速度検出方法及びプログラム

(51)【国際特許分類】

   G01P 3/36 20060101AFI20231228BHJP

   G08G 1/00 20060101ALI20231228BHJP

   G06T 7/00 20170101ALI20231228BHJP

   G07C 5/00 20060101ALI20231228BHJP

【ＦＩ】

G01P3/36 C

G08G1/00 D

G06T7/00 650B

G06T7/00 350B

G07C5/00 Z

【請求項の数】 12

(21)【出願番号】P 2022192834

(22)【出願日】2022-12-01

【審査請求日】2022-12-01

(73)【特許権者】

【識別番号】313006647

【氏名又は名称】セイコーソリューションズ株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】▲高▼橋 美優

(72)【発明者】

【氏名】細野 将揮

【審査官】岡田 卓弥

(56)【参考文献】

【文献】特開２０２１－１１７８１６（ＪＰ，Ａ）

【文献】特開２００２－１６３７９７（ＪＰ，Ａ）

【文献】特開２００４－１７７２８９（ＪＰ，Ａ）

【文献】特開２００３－１４９２５６（ＪＰ，Ａ）

【文献】特開平１０－１５４２９２（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２８６１７００（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１７５３７９７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｐ ３／００－ ３／８０

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０７Ｃ １／００－１５／００

(57)【特許請求の範囲】

【請求項1】

複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得部と、
取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出部と、
検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出部と、
複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定部と
を備え、
前記相対速度推定部は、１フレーム分の画像ごとに前記第２移動体と前記第１移動体との相対位置を示す情報を出力し、出力された相対位置の変化に基づいて前記相対速度を推定する
車両速度検出装置。

【請求項2】

前記追跡対象点検出部は、前記バウンディングボックスが有する１つ以上の頂点に基づく点を前記追跡対象点として検出する
請求項１に記載の車両速度検出装置。

【請求項3】

前記追跡対象点検出部は、前記バウンディングボックスが有する１つの頂点、又は２つ以上の頂点の中心点を前記追跡対象点として検出する
請求項２に記載の車両速度検出装置。

【請求項4】

前記バウンディングボックスは、奥行き方向を有する三次元バウンディングボックスである
請求項１又は請求項２に記載の車両速度検出装置。

【請求項5】

前記追跡対象点検出部は、検出された前記三次元バウンディングボックスが有する底面に含まれる点を前記追跡対象点として検出する
請求項４に記載の車両速度検出装置。

【請求項6】

前記第２移動体の走行速度を取得する速度情報取得部と、
推定された前記相対速度と、前記第２移動体の走行速度とに基づき、前記第１移動体の走行速度を推定する絶対速度推定部とを更に備える
請求項１又は請求項２に記載の車両速度検出装置。

【請求項7】

前記画像取得部により取得された画像の歪み補正を行う歪み補正部を更に備え、
前記バウンディングボックス検出部は、前記歪み補正部により歪み補正が行われた画像に基づき、前記バウンディングボックスを検出する
請求項１又は請求項２に記載の車両速度検出装置。

【請求項8】

検出された前記バウンディングボックスの位置座標を、前記画像取得部により取得された画像の座標系における位置座標に変換する検出結果整形部を更に備える
請求項７に記載の車両速度検出装置。

【請求項9】

前記バウンディングボックス検出部は、所定の入力画像と、当該入力画像に対応するバウンディングボックスの位置とが対応付けられた教師データに基づき学習された機械学習モデルを用いて前記バウンディングボックスを検出する
請求項１又は請求項２に記載の車両速度検出装置。

【請求項10】

前記機械学習モデルの学習に用いられる教師データは、昼間に撮像された画像に基づいて昼夜変換モデルを用いた画像処理が行われた結果、夜間に撮像された画像に変換された画像が含まれる
請求項９に記載の車両速度検出装置。

【請求項11】

複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得工程と、
取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出工程と、
検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出工程と、
複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定工程と
を有し、
前記相対速度推定工程は、１フレーム分の画像ごとに前記第２移動体と前記第１移動体との相対位置を示す情報を出力し、出力された相対位置の変化に基づいて前記相対速度を推定する
車両速度検出方法。

【請求項12】

コンピュータに、
複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得ステップと、
取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出ステップと、
検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出ステップと、
複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定ステップと
を実行させ、
前記相対速度推定ステップは、１フレーム分の画像ごとに前記第２移動体と前記第１移動体との相対位置を示す情報を出力し、出力された相対位置の変化に基づいて前記相対速度を推定する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両速度検出装置、車両速度検出方法及びプログラムに関する。

【背景技術】

【0002】

従来、車両事故発生時の状況把握を正確に行うため、車両にドライブレコーダ等のカメラを設置し、車両進行方向周辺の動画像を撮像することが行われている。自車両と相手車両との間で車両事故が発生している場合、事故分析において、事故発生前から事故発生時までの相手車の速度が重要な要素となる。そのため、ドライブレコーダにより撮像された動画像から相手車両の速度を推定する技術が多く検討されている。相手車両の速度を推定する手法の１つとして、ドライブレコーダにより撮像された動画像を二次元的に解析する手法が提案されている（例えば、特許文献１を参照）。このような技術によれば、オプティカルフローを用いることにより、動画像内において動いている物体の座標を算出し、算出した座標を用いて相手車両速度の推定を行うことが可能である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１８９５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような技術によれば、フレーム毎にタイヤと路面との接地点を特定し、特定した接地点のフレーム毎の推移に基づき自車両と相手車両との相対速度を推定する。したがって、フレーム毎に特定した接地点が実際よりずれている場合、速度のずれに直結してしまう。このように従来技術によれば、フレーム毎の速度変化を精度よく検出できないといった問題があった。相手車両の速度を精度よく算出できない場合、車両事故発生時の状況把握を正確に行うことが困難である。

【0005】

そこで本発明は、車両事故発生時の状況把握を精度よく行うことができる技術の提供を目的とする。

【課題を解決するための手段】

【0006】

［１］上記の課題を解決するため、本発明の一態様は、複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得部と、取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出部と、検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出部と、複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定部とを備え、前記相対速度推定部は、１フレーム分の画像ごとに前記第２移動体と前記第１移動体との相対位置を示す情報を出力し、出力された相対位置の変化に基づいて前記相対速度を推定する車両速度検出装置である。

【0007】

［２］また、本発明の一態様は、上記［１］に記載の車両速度検出装置において、前記追跡対象点検出部は、前記バウンディングボックスが有する１つ以上の頂点に基づく点を前記追跡対象点として検出するものである。

【0008】

［３］また、本発明の一態様は、上記［２］に記載の車両速度検出装置において、前記追跡対象点検出部は、前記バウンディングボックスが有する１つの頂点、又は２つ以上の頂点の中心点を前記追跡対象点として検出するものである。

【0009】

［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の車両速度検出装置において、前記バウンディングボックスは、奥行き方向を有する三次元バウンディングボックスである。

【0010】

［５］また、本発明の一態様は、上記［４］に記載の車両速度検出装置において、前記追跡対象点検出部は、検出された前記三次元バウンディングボックスが有する底面に含まれる点を前記追跡対象点として検出するものである。

【0011】

［６］また、本発明の一態様は、上記［１］から［５］のいずれかに記載の車両速度検出装置において、前記第２移動体の走行速度を取得する速度情報取得部と、推定された前記相対速度と、前記第２移動体の走行速度とに基づき、前記第１移動体の走行速度を推定する絶対速度推定部とを更に備えるものである。

【0012】

［７］また、本発明の一態様は、上記［１］から［６］のいずれかに記載の車両速度検出装置において、前記画像取得部により取得された画像の歪み補正を行う歪み補正部を更に備え、前記バウンディングボックス検出部は、前記歪み補正部により歪み補正が行われた画像に基づき、前記バウンディングボックスを検出するものである。

【0013】

［８］また、本発明の一態様は、上記［７］に記載の車両速度検出装置において、検出された前記バウンディングボックスの位置座標を、前記画像取得部により取得された画像の座標系における位置座標に変換する検出結果整形部を更に備えるものである。

【0014】

［９］また、本発明の一態様は、上記［１］から［８］のいずれかに記載の車両速度検出装置において、前記バウンディングボックス検出部は、所定の入力画像と、当該入力画像に対応するバウンディングボックスの位置とが対応付けられた教師データに基づき学習された機械学習モデルを用いて前記バウンディングボックスを検出するものである。

【0015】

［１０］また、本発明の一態様は、上記［９］に記載の車両速度検出装置において、前記機械学習モデルの学習に用いられる教師データは、昼間に撮像された画像に基づいて昼夜変換モデルを用いた画像処理が行われた結果、夜間に撮像された画像に変換された画像が含まれるものである。

【0016】

［１１］また、本発明の一態様は、複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得工程と、取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出工程と、検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出工程と、複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定工程とを有し、前記相対速度推定工程は、１フレーム分の画像ごとに前記第２移動体と前記第１移動体との相対位置を示す情報を出力し、出力された相対位置の変化に基づいて前記相対速度を推定する車両速度検出方法である。

【0017】

［１２］また、本発明の一態様は、コンピュータに、複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得ステップと、取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出ステップと、検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出ステップと、複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定ステップとを実行させ、前記相対速度推定ステップは、１フレーム分の画像ごとに前記第２移動体と前記第１移動体との相対位置を示す情報を出力し、出力された相対位置の変化に基づいて前記相対速度を推定するプログラムである。

【発明の効果】

【0018】

本発明によれば、車両事故発生時の状況把握を精度よく行うことができる。

【図面の簡単な説明】

【0019】

【図1】実施形態に係るシステムの概要について説明するためのブロック図である。

【図2】実施形態に係るシステムが行う処理の概要について説明するためのシーケンス図である。

【図3】実施形態に係るシステムが行う車両認識処理の詳細について説明するためのフローチャートである。

【図4】実施形態に係るシステムが行う歪み補正処理について説明するための第１の図である。

【図5】実施形態に係るシステムが行う歪み補正処理について説明するための第２の図である。

【図6】実施形態に係るシステムが行うバウンディングボックス検出処理について説明するための図である。

【図7】実施形態に係るシステムが行う検出結果整形処理について説明するための第１の図である。

【図8】実施形態に係るシステムが行う検出結果整形処理について説明するための第２の図である。

【図9】実施形態に係るシステムが行う速度推定処理の詳細について説明するためのフローチャートである。

【図10】実施形態に係る三次元バウンディングボックスと、追跡対象点の一例について説明するための図である。

【図11】実施形態に係るシステムが行うトラッキング処理の一例について説明するための図である。

【図12】実施形態に係る車両速度検出装置の機能構成の一例を示すブロック図である。

【図13】実施形態に係るシステムが有するユーザーインターフェースの処理の一例を示すフローチャートである。

【図14】実施形態に係るシステムが有するユーザーインターフェースが表示する表示画面の一例を示す第１の図である。

【図15】実施形態に係るシステムが有するユーザーインターフェースが表示する表示画面の一例を示す第２の図である。

【図16】実施形態に係るシステムにより出力された帳票の一例を示す第１の図である。

【発明を実施するための形態】

【0020】

［実施形態］
本発明の態様に係る車両速度検出装置、車両速度検出方法及びプログラムについて、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0021】

図１は、実施形態に係るシステムの概要について説明するためのブロック図である。同図を参照しながら、システム１の概要について説明する。システム１は、車両事故発生時における状況把握を行う。車両事故発生時における状況把握には、少なくとも自車両と相手車両との間における相対位置の特定が含まれる。また、車両事故発生時における状況把握には、自車両と相手車両との相対速度の推定が含まれていてもよく、相手車両の絶対速度の推定が含まれていてもよい。その他、車両事故発生時における状況把握には、過失の割合の算出等が広く含まれていてもよい。

【0022】

システム１は、ＵＩサーバ装置１０と、ＡＩサーバ装置２０と、ファイルサーバ装置３０とを備える。ＵＩサーバ装置１０、ＡＩサーバ装置２０及びファイルサーバ装置３０は、互いに所定の通信ネットワークＮＷを介して接続される。通信ネットワークＮＷとは、有線又は無線回線を用いて構成される通信ネットワークである。所定の通信ネットワークＮＷはオープンなネットワークであってもよく、通信ネットワークＮＷに接続された装置同士は所定のプロトコルを用いて相互に通信することができる。所定の通信ネットワークＮＷの一例としては、インターネットを例示することができる。ＵＩサーバ装置１０、ＡＩサーバ装置２０及びファイルサーバ装置３０は、互いに通信ネットワークＮＷを介して情報通信を行う。

【0023】

なお、図示したようなシステム１が備える機能構成の割り当ては一例であり、例えば１台の装置によりシステム１が備える機能を実現してもよい。

【0024】

ＵＩサーバ装置１０は、ユーザーインターフェースの機能を有する。ユーザーインターフェースの機能の一例としては、ドライブレコーダにより撮像された動画像データを取得したり、事故発生時に置ける状況把握に関する指示を受け付けたりすること等である。ＵＩサーバ装置１０は、取得した動画像データや、受け付けた指示に基づき、通信ネットワークＮＷを介してＡＩサーバ装置２０やファイルサーバ装置３０に情報を出力する。ＵＩサーバ装置１０は、フレーム分割部１１と、要求部１２とを備える。

【0025】

フレーム分割部１１は、取得した動画像データを静止画であるフレーム画像に分割する。換言すれば、ドライブレコーダにより撮像される動画像データには、複数のフレーム画像が含まれる。フレーム分割部１１は、分割したフレーム画像をファイルサーバ装置３０に出力し、記憶させる。分割したフレーム画像には、元となる動画像データを識別するための情報や、フレームの順番、フレームレートに関する情報等が対応付けられていてもよい。

【0026】

要求部１２は、受け付けた事故発生時に置ける状況把握に関する指示に基づき、ＡＩサーバ装置２０に対し処理開始の要求を行う。事故発生時に置ける状況把握に関する指示は、システム１の使用者の操作により行われてもよい。事故発生時に置ける状況把握に関する指示の一例としては、車両認識処理や、速度推定処理等である。要求部１２により出力される情報には、対応する動画像データ（又はフレーム画像）を識別する情報や、動画像データが含まれていてもよい。

【0027】

ＡＩサーバ装置２０は、事故発生時に置ける状況把握に関する処理を行うための機能を有する。事故発生時に置ける状況把握に関する処理の一例としては、車両認識処理や、速度推定処理等を例示することができる。ＡＩサーバ装置２０は、車両認識処理部２１と、速度推定処理部２２とを備える。

【0028】

車両認識処理部２１は、ＵＩサーバ装置１０から車両認識処理開始についての要求を取得する。当該要求には、対応するフレーム画像を特定するための情報（又はフレーム画像）が含まれている。車両認識処理部２１は、ファイルサーバ装置３０から対応するフレーム画像を取得し、取得したフレーム画像に基づき、車両認識処理を行う。車両認識処理とは、フレーム画像中における車両の位置を特定するための処理である。具体的には、車両認識処理とは、車両を囲うバウンディングボックスの大きさと位置座標とを特定する処理であってもよい。当該処理には機械学習アルゴリズムが用いられてもよい。車両認識処理部２１は、処理を行った結果として得られた車両認識結果をファイルサーバ装置３０に出力し、記憶させる。

【0029】

速度推定処理部２２は、ＵＩサーバ装置１０から速度推定処理開始についての要求を取得する。当該要求には、対応するフレーム画像（又は車両認識結果）を特定するための情報が含まれている。また、当該要求には、対応するフレーム画像（又は車両認識結果）そのものが含まれていてもよい。速度推定処理部２２は、複数のフレーム画像に対応する車両認識結果を取得する。速度推定処理部２２は、ファイルサーバ装置３０から対応する複数の車両認識結果を取得し、取得した複数の車両認識結果に基づき、速度推定処理を行う。速度推定処理とは、自車両と相手車両との相対速度を推定するための処理であってもよいし、相手車両の絶対速度を推定するための処理であってもよい。具体的には、速度推定処理とは、認識された車両位置に基づく特定の点（例えばバウンディングボックスの中心点）のフレーム毎の位置（又は座標）の変化に基づいて速度推定を行うことであってもよい。速度推定処理部２２は、処理を行った結果として得られた速度推定結果をファイルサーバ装置３０に出力し、記憶させる。

【0030】

ファイルサーバ装置３０は、ＵＩサーバ装置１０からフレーム画像を取得し、フレーム画像３１として記憶する。また、ファイルサーバ装置３０は、ＡＩサーバ装置２０から車両認識結果を取得し、車両認識結果３２として記憶する。また、ファイルサーバ装置３０は、ＡＩサーバ装置２０から速度推定結果を取得し、速度推定結果３３として記憶する。フレーム画像３１、車両認識結果３２及び速度推定結果３３は、例えばドライブレコーダを特定する情報や、事故案件を識別するための番号である事故番号等をキーとして互いに対応付け可能なよう管理されてもよい。

【0031】

図２は、実施形態に係るシステムが行う処理の概要について説明するためのシーケンス図である。同図を参照しながら、システム１が行う処理の概要について説明する。図示するようなシステム１が行う処理の前提として、ＵＩサーバ装置１０は、ドライブレコーダから動画像データを取得し、取得した動画像データをフレーム画像に分割し、分割したフレーム画像をファイルサーバ装置３０に記憶させてあるものとする。

【0032】

まず、システム１が行う車両認識処理について説明する。ＵＩサーバ装置１０は、ＡＩサーバ装置２０に対し車両認識要求を出力する（ステップＳ１１０）。ＡＩサーバ装置２０は、車両認識要求を取得すると、ファイルサーバ装置３０に対してフレーム画像要求を出力する（ステップＳ１２０）。当該フレーム画像要求では、車両認識要求に含まれる識別情報（例えばドライブレコーダの識別情報や動画像データの識別情報）を用いて、取得すべきフレーム画像が特定される。ファイルサーバ装置３０は、フレーム画像要求に基づき特定されるフレーム画像をＡＩサーバ装置２０に出力する（ステップＳ１３０）。なお、ファイルサーバ装置３０からＡＩサーバ装置２０に出力されるフレーム画像の数は１以上であればよく、複数であってもよい。例えば、識別情報により識別されるフレーム画像すべてについて出力されてもよい。ＡＩサーバ装置２０は、取得したフレーム画像に基づき、車両認識処理を行う（ステップＳ１４０）。当該車両認識処理の詳細については後述する。ＡＩサーバ装置２０は、車両認識を行った結果を、ファイルサーバ装置３０に出力する（ステップＳ１５０）。ファイルサーバ装置３０は、例えばドライブレコーダの識別情報や動画像データの識別情報等と対応付けて、車両認識結果を記憶する。

【0033】

次に、システム１が行う速度推定処理について説明する。ＵＩサーバ装置１０は、ＡＩサーバ装置２０に対し速度推定要求を出力する（ステップＳ２１０）。ＡＩサーバ装置２０は、速度推定要求を取得すると、ファイルサーバ装置３０に対して車両認識結果要求を出力する（ステップＳ２２０）。当該車両認識結果要求では、速度推定要求に含まれる識別情報（例えばドライブレコーダの識別情報や動画像データの識別情報）を用いて、取得すべき車両認識結果が特定される。ファイルサーバ装置３０は、車両認識結果要求に基づき特定される車両認識結果をＡＩサーバ装置２０に出力する（ステップＳ２３０）。ＡＩサーバ装置２０は、取得した車両認識結果に基づき、速度推定処理を行う（ステップＳ２４０）。当該速度推定の詳細については後述する。ＡＩサーバ装置２０は、速度推定を行った結果を、ファイルサーバ装置３０に出力する（ステップＳ２５０）。ファイルサーバ装置３０は、例えばドライブレコーダの識別情報や動画像データの識別情報等と対応付けて、速度推定を記憶する。

【0034】

次に、図３から図８を参照しながら、車両認識処理の詳細について説明する。

【0035】

図３は、実施形態に係るシステムが行う車両認識処理の詳細について説明するためのフローチャートである。同図を参照しながら、車両認識処理の詳細について説明する。

【0036】

まず、ＡＩサーバ装置２０の車両認識処理部２１は、要求部１２からの要求に基づき、ファイルサーバ装置３０からフレーム画像を取得する（ステップＳ３１０）。ここで、ファイルサーバ装置３０に記憶されているフレーム画像は、ドライブレコーダにより撮像された動画の１フレームに該当する。ドライブレコーダにより撮像される画像は、歪み補正がされていないため、当該画像を用いて車両位置を推定する場合、歪みによる影響を受け、精度が落ちてしまう場合がある。歪み補正がされていない画像は、Radial distortion modelによる画像ということもできる。歪みによる影響を低減するため、車両認識処理部２１は、取得したフレーム画像についての歪み補正を行う（ステップＳ３２０）。車両認識処理部２１が行う歪み補正処理の詳細については、図４及び図５を参照しながら説明する。

【0037】

図４は、実施形態に係るシステムが行う歪み補正処理について説明するための第１の図である。図４（Ａ）は、歪み補正がされていない画像（すなわち、ファイルサーバ装置３０に記憶されるフレーム画像）の一例を示す。同図には、自車両の走行方向を撮像した映像が示される。また、同図に示す一例では、車両事故の相手車両（対向車）が画角内に映り込んでいる。図４（Ａ）は、Radial distortion modelによる画像であるということもできる。

【0038】

図４（Ｂ）は、車両認識処理部２１により第１の補正がされた後の画像の一例を示す。図４（Ｂ）は、具体的にはPinhole camera modelによる画像である。図４（Ｃ）は、車両認識処理部２１により第２の補正がされた後の画像の一例を示す。図４（Ｃ）は、具体的にはFOV distortion modelによる画像である。車両認識処理部２１は、図示するように、まずPinhole camera modelに変換し、その後、FOV distortion modelに変換を行う。車両認識処理部２１は、これら２回の変換を行った画像に基づき、車両認識処理を行う。

【0039】

ここで、まずPinhole camera modelに変換し、その後、FOV distortion modelに変換を行う処理をフレーム毎に行う場合、全体の処理に要する時間が長くなってしまうといった課題が生じる場合がある。したがって、Pinhole camera modelに変換するための行列と、FOV distortion modelに変換するための行列とを予め掛け合わせておくことにより、Pinhole camera modelを経てFOV distortion modelに変換するための行列を用意しておくことが好適である。この場合、フレーム毎に予め用意した行列を乗じることにより、１回の演算により、Pinhole camera modelを経てFOV distortion modelに変換することができるようになり、全体の処理に要する時間を短縮することができるようになる。

【0040】

図５は、実施形態に係るシステムが行う歪み補正処理について説明するための第２の図である。同図を参照しながら、Pinhole camera modelと、FOV distortion modelについて説明する。Pinhole camera modelとは、レンズ面の中心を通った光が直進して、結像面で像となるモデルである。Pinhole camera modelにおける光の経路を図中破線で示す。図中右側の垂直な実線で示された面は、結像面を示し、カメラにおけるイメージセンサに相当する。また、図中に記載したレンズ面とは、円の中心を通る垂直な実線で示された面のことであり、カメラにおけるレンズを抽象的に示した面に相当する。実線で示された円は、説明の都合上、概念的に描かれたものであり、何らかの実際の面を示すものではない。Pinhole camera modelによれば、直線のものは直線として写るという特徴を有する。また、Pinhole camera modelによれば、光軸とのなす角が大きい被写体（例えば画像端に存在する被写体）は大きく引き伸ばされて写るという特徴を有する。

【0041】

FOV distortion modelとは、結像面の中心からの距離が、被写体が光軸となす角に比例するモデルである。FOV distortion modelのFOVとは、Field-of-viewである。FOV distortion modelにおける光の経路を、白丸と白丸とを結ぶ実線による線分により示す。当該線分は、FOV distortion modelにおける概念上の結像面と、実際の結像面における、レンズの中心を通った光が像をなす位置を概念的に示したものということができる。FOV distortion modelによれば、結像面の中心からの距離が等しい点は、光軸となす角も等しい。すなわち、FOV distortion modelによれば、光軸とのなす角が大きい被写体（例えば画像端に存在する被写体）であっても大きく引き伸ばされてしまうことがない。したがって、車両認識処理部２１は、FOV distortion modelを用いて車両認識を行うことにより、画像端に存在する車両の認識精度を向上させることができる。

【0042】

図３に戻り、車両認識処理部２１は、上述した歪み補正がされた後の画像に基づき、バウンディングボックスの検出を行う（ステップＳ３３０）。当該バウンディングボックスは、事故の相手となる可能性が有る移動体（例えば、自動車や自動二輪車又は二輪車等の車両や歩行者等）が存在する位置を特定する。

【0043】

ここで、本実施形態に係るバウンディングボックスは、三次元バウンディングボックス（３Ｄバウンディングボックス）であることが好適である。三次元バウンディングボックスとは、二次元の情報である画像に含まれる物体の三次元的な位置座標を特定するものである。すなわち三次元バウンディングボックスは、二次元バウンディングボックスと比較して、奥行き情報を更に有する点において異なる。例えば車両の場合、車両を囲う三次元バウンディングボックスを特定するためには、車両を三次元的に囲う８点の座標が用いられてもよい。なお、本実施形態に係るバウンディングボックスは、三次元バウンディングボックスの一例に限定されず、三次元バウンディングボックスを構成する６面の内の１面のみを用いた二次元バウンディングボックスが用いられてもよい。

【0044】

図６は、実施形態に係るシステムが行うバウンディングボックス検出処理について説明するための図である。同図を参照しながら、バウンディングボックス検出処理の詳細について説明する。図６（Ａ）は、車両認識処理部２１により特定された三次元バウンディングボックスの一例が示されている。当該バウンディングボックスは、例えば学習済みモデルを用いて推論を行った結果として得られるものであってもよい。なお、図示する一例では、ドライブレコーダにより撮像された動画像には、３台の移動体（具体的には車両）が映り込んでいるため、３つのバウンディングボックスが検出されている。図６（Ｂ）は、バウンディングボックスの位置座標情報から生成された鳥瞰図である。当該鳥瞰図には、三次元バウンディングボックスの位置座標から特定された移動体が存在する位置座標が示される。当該鳥瞰図は、自車両の位置との距離、自車両の位置から見て移動体が存在する方向、及び移動体の向き（進行方向）についての情報を有する。同図における自車両の位置は、図中下方の上向き矢印により示されている。

【0045】

図３に戻り、車両認識処理部２１は、上述したステップＳ３３０により得られた検出結果を整形する（ステップＳ３４０）。ここで、ステップＳ３３０におけるバウンディングボックスの検出処理は、FOV distortion modelを用いて行われるものである。したがって、ステップＳ３４０では、検出結果を整形することにより、カメラ座標系における真の座標を計算するものである。

【0046】

図７は、実施形態に係るシステムが行う検出結果整形処理について説明するための第１の図である。同図を参照しながら、検出結果整形処理の詳細について説明する。まず、線Ｌ７１は、FOV distortion modelを用いて三次元バウンディングボックスの検出がおこなわれた時点における光路を示す。また、当該時点における座標を点Ｐ１として示す。点Ｐ１をそのままカメラ座標系に適用することはできないため（誤差が生じるため）、検出結果整形処理によりカメラ座標系における座標を計算する。線Ｌ７２は、FOV distortion model からPinhole camera model に変換された後における光路を示す。また、当該時点における座標を点Ｐ２として示す。点Ｐ２は、検出結果整形処理が行われた結果として得られる座標である。

【0047】

なお、結像面におけるピクセルの座標と、カメラ座標系上の座標を相互変換する場合の具体例として、例えば下の式（１）を例示することができる。式（１）における３×４行列は、カメラパラメータ行列である。

【0048】

【数1】

【0049】

ｃｘ及びｃｙは、光軸からの結像面上における距離を示しており、ｆｘ及びｆｙは、レンズ面から結像面への光軸上の距離を示している。ｃｘ及びｃｙは、Pinhole camera model 画像の幅及び高さの半分とすることにより求められる。また、ｆｘ及びｆｙは、既知のｃｘ及びｃｙを用いて、ｆｘ＝ｃｘ／ｔａｎθ、ｆｙ＝ｃｙ／ｔａｎθ（なお、画角θは光軸と光路がなす角）により求められる。

【0050】

図８は、実施形態に係るシステムが行う検出結果整形処理について説明するための第２の図である。同図を参照しながら、検出結果整形処理の前後における鳥瞰図の変化について説明する。図８（Ａ）は、検出結果整形処理の前における鳥瞰図を示す。図８（Ｂ）は、検出結果整形処理の後における鳥瞰図を示す。図示するように、検出結果整形処理を行った結果、移動体の位置が自車両に近づき、実際のカメラ座標系における位置に変換されていることが分かる。

【0051】

図３に戻り、車両認識処理部２１は、車両認識結果をファイルサーバ装置３０に出力する（ステップＳ３５０）。なお、車両認識結果には、少なくともバウンディングボックスの座標が含まれる。車両認識結果には、図６（Ａ）に示したような三次元バウンディングボックスを含む画像や、図７（Ｂ）に示すような鳥瞰図が含まれていてもよい。

【0052】

次に、図９から図１１を参照しながら、速度推定処理の詳細について説明する。

【0053】

図９は、実施形態に係るシステムが行う速度推定処理の詳細について説明するためのフローチャートである。同図を参照しながら、速度推定処理の詳細について説明する。まず、ＡＩサーバ装置２０の速度推定処理部２２は、要求部１２からの要求に基づき、ファイルサーバ装置３０から車両認識結果を取得する（ステップＳ４１０）。ファイルサーバ装置３０に記憶されている車両認識結果は、ドライブレコーダにより撮像された動画の１フレームに該当する。速度推定処理部２２は、複数フレーム分の車両認識結果を取得する。速度推定処理部２２は、取得した複数フレーム分の車両認識結果に基づき、対象車両（速度推定処理の対象となる移動体）のトラッキングを行う（ステップＳ４２０）。当該トラッキング処理とは、具体的には、各フレームにおける１以上のバウンディングボックスのうち、追跡対象となるバウンディングを特定する（すなわち、同一車両を囲むバウンディングを各フレームにおいて特定する）処理である。

【0054】

トラッキング処理の具体的な実施例について説明する。まず、速度推定処理の対象となる複数のフレームのうち、最前及び最後の２つのフレームを特定する。さらに特定された２つのフレームそれぞれにおいて、速度推定処理の対象となる車両を囲うバウンディングボックスを特定する。最前のフレーム（スタートフレーム）において特定されたバウンディングボックスにより囲われた車両と、最後のフレーム（エンドフレーム）において特定されたバウンディングボックスにより囲われた車両とは、同一の車両である。また、２つのフレームを特定する作業と、特定された２つのフレームにおいてバウンディングボックスを特定する作業とは、ユーザの選択により行われることが好適である。次に、２つのフレームの間に位置するフレームについて、（１）スタートフレームにおけるバウンディングボックスの位置とエンドフレームにおけるバウンディングボックスの位置とから線形補間により算出されたバウンディングボックスの位置と、（２）バウンディングボックス検出部４５により検出されたバウンディングボックスの位置とに基づいて、速度推定処理の対象となる車両を囲うバウンディングボックスを特定する。当該特定作業は、例えば（１）のバウンディングボックスと重複する面積が最も大きい（２）のバウンディングボックスを特定することであってもよい。面積の比較は、三次元バウンディングボックスの場合、三次元バウンディングボックスを構成する特定の面に基づき行われてもよい。このように、トラッキング処理においては、ユーザにより特定されたバウンディングボックスに基づいて、各フレームにおける追跡対象となるバウンディングボックスを特定する。なお、当該処理は、スタートフレームにおけるフレームを１フレーム目、エンドフレームにおけるフレームをｎ（ｎは１以上の自然数）フレーム目とした場合、１＋１フレーム目、ｎ－１フレーム目、１＋２フレーム目、ｎ－２フレーム目、…、のような順序で行われていってもよい。この場合、線形補間により（１）のバウンディングボックスの位置を特定する処理は、１＋１フレーム目、ｎ－１フレーム目、１＋２フレーム目、ｎ－２フレーム目、…、のように既に確定したバウンディングボックスに基づいて行われてもよい。

【0055】

速度推定処理部２２は、自車両と相手車両との間の相対速度を導出する（ステップＳ４３０）。相対速度の導出には、ステップＳ４２０のトラッキング処理により特定されたバウンディングボックスの位置と、ドライブレコーダに関する特性（例えば、フレームレート等）とが用いられる。 ドライブレコーダに関する特性は、予め速度推定処理部２２が記憶していてもよいし、ＵＩサーバ装置１０からの要求、フレーム画像又は車両認識結果等に含まれていてもよい。バウンディングボックスの移動量を計測するためには、バウンディングボックスの頂点が用いられてもよいし、複数の頂点により特定される点（例えば中点や中心点）が用いられてもよい。

【0056】

図１０は、実施形態に係る三次元バウンディングボックスと、追跡対象点の一例について説明するための図である。同図を参照しながら、移動体の速度算出処理に用いられる点の一例について説明する。同図には、バウンディングボックスの模式図を示す。点Ａから点Ｈは、移動体を囲うバウンディングボックスの頂点である。点Ａ、点Ｂ、点Ｃ及び点Ｄにより構成される矩形は、例えば車両のフロント側に該当する。点Ｅ、点Ｆ、点Ｇ及び点Ｈにより構成される矩形は、例えば車両のリア側に該当する。点Ｃ、点Ｄ、点Ｇ及び点Ｈにより構成される矩形は、例えば車両の下側に該当する。点Ａ、点Ｂ、点Ｅ及び点Ｆにより構成される矩形は、例えば車両の上側に該当する。点Ｉは、車両の下側の矩形における中心点である。速度推定処理部２２は、例えば下側の矩形における中心点を追跡対象点として特定し、当該追跡対象点をトラッキングしてもよい。なお、追跡対象点には、フロント側又はリア側等の中心点が用いられてもよいし、三次元バウンディングボックスの中心点が用いられてもよい。

【0057】

なお、バウンディングボックスが二次元バウンディングである場合、二次元バウンディングボックス（矩形）の中心点が追跡対象点として用いられてもよいし、下側の線分の中点が追跡対象点として用いられてもよい。

【0058】

図１１は、実施形態に係るシステムが行うトラッキング処理の一例について説明するための図である。同図を参照しながら、トラッキング処理の一例について説明する。図１１（Ａ）は、第１のフレーム画像から抽出された車両の位置を示す鳥瞰図であり、図１１（Ｂ）は、第２のフレーム画像から抽出された車両の位置を示す鳥瞰図である。第１のフレーム画像と、第２のフレーム画像とは、連続するフレームであってもよい。フレームレートが１０［ｆｐｓ（frames per second）］である場合、図１１（Ａ）に示す状況から図１１（Ｂ）に示す状況までの時間は０．１［秒］である。この場合、例えばフレーム毎の車両の移動量が３［ｍ（メートル）］であるとすると、相対速度は３［ｍ］×３６０００＝１０８［ｋｍ／時］となる。

【0059】

図９に戻り、速度推定処理部２２は、速度推定結果をファイルサーバ装置３０に出力する（ステップＳ４４０）。なお、速度推定結果には、少なくとも相対速度を示す情報が含まれる。その他、速度推定結果には、速度推定処理部２２により推定された結果に関する情報（例えば、絶対速度等）が含まれていてもよい。

【0060】

図１２は、実施形態に係る車両速度検出装置の機能構成の一例を示すブロック図である。同図を参照しながら、車両速度検出装置４０の機能構成の一例について説明する。車両速度検出装置４０は、上述した車両速度検出方法を単独の装置により実現しようとした場合における機能構成を有する。車両速度検出装置４０が備える機能構成は、例えば図１に示したように複数の装置間に分配して配置されていてもよい。

【0061】

車両速度検出装置４０は、動画取得部４１と、フレーム分割部４２と、画像取得部４３と、歪み補正部４４と、バウンディングボックス検出部４５と、追跡対象点検出部４６と、検出結果整形部４７と、相対速度推定部４８と、速度情報取得部４９と、絶対速度推定部４１１とを含んで構成される。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能部を、コンピュータおよびソフトウェアによって実現するようにしてもよい。

【0062】

動画取得部４１は、ドライブレコーダにより撮像された動画像データを取得する。ドライブレコーダにより撮像された動画像データは、例えば動画情報記憶部５１に記憶される。動画情報記憶部５１は、ドライブレコーダに備えられていてもよいし、クラウド上に存在する記憶部であってもよい。

【0063】

フレーム分割部４２は、動画取得部４１により取得された動画像データをフレーム毎に分割し、フレーム画像とする。フレーム分割部４２により分割されたフレーム画像は、一時的に所定の記憶部（不図示）に保存されてもよい。当該記憶部は、車両速度検出装置４０に備えられていてもよいし、クラウド上に存在していてもよい。

【0064】

画像取得部４３は、フレーム分割部４２により分割されたフレーム画像を取得する。換言すれば、画像取得部４３は、複数のフレームを含む動画像データから１フレーム分の画像を取得するということもできる。

【0065】

歪み補正部４４は、画像取得部４３により取得されたフレーム画像についての歪み補正を行う。歪み補正処理は、ドライブレコーダにより撮像された動画像データが有する歪みを補正するために行われる。歪み補正処理の具体的な一例としては、Radial distortion modelからPinhole camera modelに変換し、更にPinhole camera modelからFOV distortion modelへ変換することであってもよい。

【0066】

バウンディングボックス検出部４５は、フレーム画像に含まれる相手車両の位置と大きさを特定するバウンディングボックスを検出する。バウンディングボックス検出の対象となるフレーム画像は、画像取得部４３により取得された画像である。また、好適には、バウンディングボックス検出の対象となるフレーム画像は、歪み補正部４４により歪み補正が行われた画像である。ここで、相手車両には、自動車や自動二輪車又は二輪車等の車両が広く含まれる。以下の説明において、バウンディングボックス検出部４５により検出される車両等を第１移動体と記載する場合がある。第１移動体は、車両の一例に限定されず、歩行者や野生動物等が広く含まれていてもよい。また、自車両（ドライブレコーダが設置された車両）を第２移動体と記載する場合がある。第２移動体は、自動車以外であってもよく、自動二輪車又は二輪車等の車両であってもよい。

【0067】

上述したように、バウンディングボックス検出部４５により検出されるバウンディングボックスは、二次元バウンディングボックスであってもよいが、好適には、奥行き方向を有する三次元バウンディングボックス（３Ｄバウンディングボックス）であってもよい。当該三次元バウンディングボックスは、フレーム画像に含まれる相手車両の位置と大きさとを三次元的に特定する。

【0068】

また、バウンディングボックス検出部４５は、予め学習された機械学習モデルを用いてバウンディングボックスを検出してもよい。当該機械学習モデルは、所定の入力画像と、当該入力画像に対応するバウンディングボックスの位置とが対応付けられた教師データに基づき学習される。機械学習によりバウンディングボックスの検出（特に三次元バウンディングボックスの検出）を行う場合、“Monocular Quasi-Dense 3D Object Tracking（以下、ＱＤ―３ＤＴと記載する）”等の公知の技術が用いられてもよい。ＱＤ―３ＤＴを用いた機械学習モデルの学習には、公知のデータセットが用いられればよい。なお、バウンディングボックスの検出精度向上のため、公知のデータセットに含まれる画像の内、所定の枚数については、昼夜変換モデルを用いて夜間風の画像に変換して、ＱＤ―３ＤＴを学習させてもよい。すなわち、機械学習モデルの学習に用いられる教師データは、昼間に撮像された画像に基づいて昼夜変換モデルを用いた画像処理が行われた結果、夜間に撮像された画像に変換された画像が含まれるということもできる。

【0069】

なお、バウンディングボックス検出部４５により検出されたバウンディングボックスの位置は、図９のステップＳ４２０において行われるトラッキング処理が行われた結果、確定する。トラッキング処理は、ユーザによりスタートフレームとエンドフレームが特定された後、トラッキング部（不図示）により行われてもよい。

【0070】

検出結果整形部４７は、バウンディングボックス検出部４５により検出されたバウンディングボックスの位置座標を、画像取得部４３により取得された画像の座標系における位置座標に変換する。ここで、バウンディングボックス検出部４５は、所定の画角（例えば、約６７度）により撮像された画像に基づいた学習が行われる。したがって、検出結果整形部４７により行われる検出結果整形処理は、バウンディングボックス検出部４５の学習時の画角から、実際の映像と同じ画角に補正する処理を行うものである。

【0071】

追跡対象点検出部４６は、バウンディングボックスに基づき、追跡対象点の位置座標を検出する。追跡対象点検出部４６により用いられるバウンディングボックスは、バウンディングボックス検出部４５により検出されたものであり、好適には、検出結果整形部４７により位置座標の変換が行われたものであってもよい。ここで、追跡対象点とは、フレーム毎の車両の位置を特定するために用いられる点である。追跡対象点は、速度の算出に用いられる。追跡対象点は、検出されたバウンディングボックスの位置と大きさに基づく点であり、追跡対象点の位置をどのように特定するかは、予め決められていることが好適である。追跡対象点検出部４６は、例えばバウンディングボックスが有する１の頂点又は２つ以上の頂点に基づく点を追跡対象点として検出する。この場合、図１０における点Ｃ、点Ｄ、又は点Ｃと点Ｄからなる線分の中点を追跡対象点としてもよい。また、追跡対象点検出部４６は、例えばバウンディングボックスが有する２つ以上の頂点の中心点を追跡対象点として検出する。この場合、図１０における点Ｃ、点Ｄ、点Ｇ及び点Ｈを頂点とする矩形の中心点である点Ｉを追跡対象点としてもよい。換言すれば、追跡対象点検出部４６は、検出された三次元バウンディングボックスが有する底面に含まれる点を追跡対象点として検出してもよい。底面に含まれる点とは、例えばタイヤと地面が接する点であってもよい。また、追跡対象点検出部４６は、三次元バウンディングボックスである直方体の重心等を追跡対象点として検出してもよい。追跡対象点検出部４６は、バウンディングボックス検出部４５により検出が行われたバウンディングボックスの位置であって、トラッキング処理が行われたことにより確定したバウンディングボックスの位置に応じて、追跡対象点検出処理を行う。

【0072】

相対速度推定部４８は、複数フレーム分の画像それぞれにおいて検出された追跡対象点の位置座標の変化に基づき、動画像データを撮像する撮像装置（すなわち、ドライブレコーダ）が設置された移動体（すなわち、第２移動体）と、バウンディングボックス検出部４５により検出されたバウンディングボックスにより特定される移動体（すなわち、第１移動体）との相対速度を推定する。相対速度推定部４８は、具体的には、追跡対象点のフレーム毎の移動距離とフレームレートとに基づく演算を行うことにより相対速度を算出してもよい。

【0073】

速度情報取得部４９は、自車両（すなわち、第２移動体）の走行速度を取得する。第２移動体が車速センサ６１を備えている場合、速度情報取得部４９は、車速センサ６１から走行速度に関する情報が含まれる速度情報を取得する。車速センサ６１は、例えばシャフトの回転速度に基づき走行速度を検出してもよく、ＧＰＳ（Global Positioning System）等の人工衛星から受信された電波に基づいて算出されてもよく、速度情報は、ＥＣＵ（Engine Control Unit又はElectronic Control Unit）から提供されるものであってもよい。また、第２移動体が車速センサ６１を備えていない場合、車速推定部（不図示）を備えることにより、動画像データに基づく画像処理によって車速を推定してもよい。当該画像処理には、例えばオプティカルフロー等の既存技術が用いられてもよい。

【0074】

絶対速度推定部４１１は、相対速度推定部４８から相対速度に関する情報を取得し、速度情報取得部４９から自車両の走行速度を取得する。絶対速度推定部４１１は、相対速度推定部４８により推定された相対速度と、自車両の走行速度とに基づき、バウンディングボックス検出部４５により検出されたバウンディングボックスにより特定される移動体（すなわち、第１移動体）の走行速度を推定する。絶対速度推定部４１１により推定された絶対速度は、相対速度推定部４８により推定された相対速度と併せて所定の情報処理装置に出力されてもよい。

【0075】

次に、図１３から図１７を参照しながら、本実施形態に係るシステム１が有するユーザーインターフェースにより行われる処理と、当該ユーザーインターフェースが表示する表示画面の一例等について説明する。

【0076】

図１３は、実施形態に係るシステムが有するユーザーインターフェースの処理の一例を示すフローチャートである。同図を参照しながら、ユーザーインターフェースの処理の一連の流れについて説明する。

【0077】

（ステップＳ５１０）まず、ユーザにより基本情報が入力される。ユーザとは、システム１を利用する者であって、ドライブレコーダの保有者や、保険会社のスタッフ等であってもよい。ユーザにより入力される基本情報には、事故発生日時や場所等の情報が含まれる。また、ユーザにより入力される基本情報には、事故状況把握の対象となる動画像データが含まれていてもよい。

【0078】

（ステップＳ５２０）次に、ユーザにより動画像データの確認及び編集が行われる。ユーザは、事故状況把握の対象となる動画像データを確認する。当該動画像データが異なるものであった場合、ユーザは正しいものに差し替える。また、本ステップにおいてユーザは、当該動画像データについての適切な編集作業を行ってもよい。ここで、動画像データの長さに応じては、事故状況には直接的に関係しない動画が含まれている場合がある。したがって、本ステップにおいてユーザは、動画像データを適切な長さに調整する。ユーザは、動画像データを既定の長さに編集することにより、衝突の瞬間を特定する。

【0079】

（ステップＳ５３０及びステップＳ５４０）本ステップにおいてユーザは、動画像データのスタート位置と、エンド位置とを指定するスタート位置とは、例えば相手車両が見え始めた位置であってもよく、エンド位置とは、例えば相手車両と接触が起こった直後であってもよい。本ステップでは、スタート地点のフレーム（スタートフレーム）に含まれる１以上のバウンディングボックスのうち、特定のバウンディングボックスを追跡対象として特定し、エンド地点のフレーム（エンドフレーム）に含まれる１以上のバウンディングボックスのうち、特定のバウンディングボックスを追跡対象として特定する。当該特定作業は、ユーザの選択により行われる。

【0080】

（ステップＳ５５０）動画像データのスタート位置とエンド位置とが確定すると、システム１は、ＡＩ判定を行う。ＡＩ判定には、上述したような車両認識処理や速度推定処理等が含まれる。ＡＩ処理には、その他、事故状況の把握に必要な処理が含まれていてもよい。システム１は、図１５を参照しながら後述するような表示画面を用いて、ＡＩ判定の結果を出力することにより、ユーザに情報を伝達する。

【0081】

（ステップＳ５６０）ユーザは、ステップＳ５５０により出力された結果を確認し、事故状況の確認を行う。また、ユーザは、事故当時の詳細な状況についての入力を行う。

【0082】

（ステップＳ５７０）最後に、システム１は、推定結果を出力する。当該推定結果には、自車両と相手車両との相対速度が含まれていてもよいし、相手車両の絶対速度が含まれていてもよい。推定結果の出力には、所定のフォーマットの帳票が用いられてもよい。当該帳票の一例については、図１６及び図１７を参照しながら後述する。

【0083】

図１４は、実施形態に係るシステムが有するユーザーインターフェースが表示する表示画面の一例を示す第１の図である。同図を参照しながら、ユーザーインターフェースが表示する表示画面の一例である表示画面Ｄ１００について説明する。表示画面Ｄ１００は、上述したステップＳ５３０のスタート指定や、ステップＳ５４０のエンド指定において表示される画面の一例である。図示する一例では、エンド指定において表示される表示画面の構成要素について示すが、スタート指定において表示される表示画面についても同様の構成要素を有していてもよい。表示画面Ｄ１００は、符号Ｄ１１１と、符号Ｄ１１３と、符号Ｄ１２１と、符号Ｄ１２３と、符号Ｄ１３１と、符号Ｄ１３３と、符号Ｄ１４１と、符号Ｄ１４３と、符号Ｄ１４５と、符号Ｄ１４７と、符号Ｄ１５１と、符号Ｄ１５３と、符号Ｄ１６１と、符号Ｄ１６３とを画面の構成要素として備える。

【0084】

符号Ｄ１１１は、事故番号を示すものである。事故番号は、事故案件毎に付与される番号であり、事故案件を一意に特定するものである。図示する一例では、事故番号は、“ｊｉｋｏｂａｎｇｏ”である。

【0085】

符号Ｄ１１３は、ユーザーインターフェースが行う処理の全ステップを示すものである。当該ステップは、図１３を参照しながら説明した一連の処理に相当する。符号Ｄ１１３は、現在の表示画面がどのステップを表示しているかを示すものであってもよい。具体的には、現在のステップを示す要素の表示色を、他のステップを示す要素の表示色と異ならせることにより、現在の表示画面がどのステップを表示しているかを示してもよい。図示する一例では、“エンド指定”の要素の表示色が、他のステップを示す要素の表示色と異なるため、“エンド指定”についての処理を行っていることが示されている。

【0086】

符号Ｄ１２１には、動画像データが示されている。符号Ｄ１２１には、動画像データの上に重ねて、補助線が設けられていてもよい。当該補助線は、相手車両の位置の特定を補助するためのものであり、ユーザは、補助線を操作（又は補助線により特定される枠を操作）することができるものである。

【0087】

符号Ｄ１２３には、動画像データに基づく鳥瞰図が示されている。当該鳥瞰図は、システム１によるＡＩ処理の結果として得られるものである。当該鳥瞰図には、相手車両の位置と、相手車両の向く方向とが示されている。

【0088】

符号Ｄ１３１には動画像データのファイル名が示されている。符号Ｄ１３３は、動画像データの全体の長さと、全体のうちどの時点の映像が符号Ｄ１２１に表示されているかが示されている。図示する一例では、動画像データの全体の長さは５．００［秒］であり、２．３［秒］の時点における映像が符号Ｄ１２１に表示されていることを示している。

【0089】

符号Ｄ１４１から符号Ｄ１４７は、符号Ｄ１２１に表示する時点のフレームを選択するためのボタンである。当該ボタンを操作することにより１コマ単位又は１０コマ単位で表示するフレームを移動させることができる。コマとは、すなわちフレームのことである。具体的には、フレームレートが１０［ｆｐｓ］である場合、１コマは０．１［秒］である。したがってユーザは、当該ボタンを操作することにより０．１［秒］単位又は１．０［秒］単位で表示するフレームを移動させることができる。符号Ｄ１４１は、１０コマ戻すためのボタンであり、符号Ｄ１４３は１コマ戻すためのボタンであり、符号Ｄ１４５は１コマ送るためのボタンであり、符号Ｄ１４７は１０コマ送るためのボタンである。

【0090】

符号Ｄ１５１と、符号Ｄ１５３とは、動画像データの再生と一時停止を行うボタンである。符号Ｄ１５１は再生を行うためのボタンであり、符号Ｄ１５３は一時停止を行うためのボタンである。再生ボタンが押下されると、符号Ｄ１２１には、０．１［秒］単位でフレーム画像が切り替わることにより、動画像データが再生される。

【0091】

符号Ｄ１６１と、符号Ｄ１６３とは、符号Ｄ１１３に示したステップの移動を行うためのボタンである。符号Ｄ１６１はステップを戻すためのボタンであり、符号Ｄ１６３はステップを進めるためのボタンである。符号Ｄ１１３によれば現在のステップは“エンド指定”であるため、符号Ｄ１６１の押下により戻る先のステップは“スタート指定”であり、符号Ｄ１６３の押下により進先のステップは“ＡＩ判定結果”（すなわち、事故状況の推定の開始）である。

【0092】

図１５は、実施形態に係るシステムが有するユーザーインターフェースが表示する表示画面の一例を示す第２の図である。同図を参照しながら、ユーザーインターフェースが表示する表示画面の一例である表示画面Ｄ２００について説明する。表示画面Ｄ２００は、上述したステップＳ５５０のＡＩ判定結果出力時において表示される画面の一例である。表示画面Ｄ２００は、符号Ｄ１１１と、符号Ｄ１１３と、符号Ｄ２２０と、符号Ｄ２３１と、符号Ｄ２３３と、符号Ｄ２４１と、符号Ｄ２５１と、符号Ｄ２６５と、符号Ｄ２６７とを画面の構成要素として備える。表示画面Ｄ２００の説明において、表示画面Ｄ１００と同一の構成要素については同様の符号を付すことにより説明を省略する。

【0093】

符号Ｄ２２０は、ＡＩによる要素抽出結果を示す表示部である。当該表示部は、構成要素として符号Ｄ２２１乃至符号Ｄ２２６を備える。符号Ｄ２２１は、交差点の形態を示す。図示する一例では、交差点の形態は“十字路”である。符号Ｄ２２２は、自車進行方向を示す。図示する一例では、自車進行方向は“直進”である。符号Ｄ２２３は、相手車初期位置を示す。図示する一例では、相手車初期位置は“左方”である。符号Ｄ２２４は、相手車進行方向を示す。図示する一例では、相手車進行方向は“直進”である。符号Ｄ２２５は、対面信号機の有無を示す。図示する一例では、対面信号機の有無は“信号あり”である。符号Ｄ２２６は、対面信号機の色を示す。図示する一例では、対面信号機の色は“青”である。符号Ｄ２２１乃至符号Ｄ２２６により示される情報は、ＡＩサーバ装置２０（又は車両速度検出装置４０）により、自動的に判定されてもよい。当該判定には、公知の機械学習による物体検知技術や、公知のパターンマッチング技術が用いられてもよい。また、他の実施例として、符号Ｄ２２１乃至符号Ｄ２２６のいずれかは、ユーザにより更新又は新たに入力されてもよい。

【0094】

符号Ｄ２３１は、ステップＳ５３０において指定したスタート地点における動画像データのフレーム画像と、自車両の速度と、相手車両の速度とが示される。図示する一例において、自車両の速度は“３７．１［ｋｍ／ｈ］”であり、相手車両の速度は“５０．４［ｋｍ／ｈ］”である。

【0095】

符号Ｄ２３３は、ステップＳ５４０において指定したエンド地点における動画像データのフレーム画像と、自車両の速度と、相手車両の速度とが示される。図示する一例において、自車両の速度は“３２．６［ｋｍ／ｈ］”であり、相手車両の速度は“２０．９［ｋｍ／ｈ］”である。

【0096】

符号Ｄ２４１は、事故状況図を示す。当該事故状況図は、符号Ｄ２２０に示したＡＩによる要素抽出結果に基づいて描画されるものである。図示する一例では、十字路である交差点において、自車両が直進し、相手車両が交差点の左方向から進入している。交差点には信号機が設置され、青であることが示されている。

【0097】

符号Ｄ２５１は、“事故形態”や、“基本割合”等について記載される表示部である。図示する一例では、“事故形態”として、“信号のある交差点における直進車同士の出会い頭事故”であることが示されている。また、“基本割合” として、“［自車］０：［相手車］１００”であることが示されている。

【0098】

符号Ｄ２６５は、事故動画ダウンロードボタンである。ユーザは、事故動画ダウンロードボタンである符号Ｄ２６５を押下することにより、分析に用いた動画像データをダウンロードすることができる。

【0099】

符号Ｄ２６７は、スタート指定からエンド指定までの静止画ダウンロードボタン（以下、単に静止画ダウンロードボタンと記載する。）である。ユーザは、静止画ダウンロードボタンである符号Ｄ２６７を押下することにより、スタート地点からエンド地点までの各フレーム画像をダウンロードすることができる。また、ユーザは、所定のチェックボックスにチェックを入れた上で当該ボタンを押下することにより、全てのフレーム画像をダウンロード可能なよう構成されていてもよい。

【0100】

図１６は、実施形態に係るシステムにより出力された帳票の一例を示す図である。図１６を参照しながら、システム１により出力される帳票の一例である帳票Ｄ３００について説明する。帳票Ｄ３００は、欄属した１つの帳票であってもよく、別個独立した２つの帳票であってもよい。帳票Ｄ３００は、上述したステップＳ５７０の推定結果出力時において表示される画面の一例である。

【0101】

帳票Ｄ３００には、“お客様の車両速度解析結果”が示される。帳票Ｄ３００は、構成要素として符号Ｄ３１０と、符号Ｄ３２０とを含む。

【0102】

符号Ｄ３１０には、シーン別ドライブレコーダ画像と、当該画像に対応する自車速度とが表示される。図示する一例では、“動画の最初のシーン（衝突１０秒前）”、“衝突シーン”及び“動画の最後のシーン（衝突５秒前）”の３つのシーンにおける状況が表示されている。また、“動画の最初のシーン（衝突１０秒前）”における速度は“５０［ｋｍ／ｈ］”であり、“衝突シーン”における速度は“４０［ｋｍ／ｈ］”であり、“動画の最後のシーン（衝突５秒前）”における速度は“１０［ｋｍ／ｈ］”である。

【0103】

符号Ｄ３２０には、速度推移グラフが表示される。速度推移グラフグラフには、縦軸を速度、横軸を時間として、自車両及び相手車両の時間ごとの速度変化が示されている。当該速度変化は、フレーム毎に算出された速度情報を繋ぎ合わせたものである。

【0104】

［実施形態のまとめ］
以上説明した実施形態によれば、車両速度検出装置４０は、画像取得部４３を備えることにより複数のフレームを含む動画像データから１フレーム分の画像を取得し、バウンディングボックス検出部４５を備えることにより取得した画像に含まれる移動体である第１移動体（例えば、相手車両）の位置と大きさを特定するバウンディングボックスを検出し、追跡対象点検出部４６を備えることにより検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出し、相対速度推定部４８を備えることにより複数フレーム分の画像それぞれにおいて検出された追跡対象点の位置座標の変化に基づき動画像データを撮像する撮像装置が設置された移動体である第２移動体（例えば、自車両）と第１移動体との相対速度を推定する。すなわち、車両速度検出装置４０によれば、相手車両を囲うバウンディングボックスをまず検出し、バウンディングボックスの位置の変化に基づき速度を検出する。本実施形態によれば、バウンディングボックスに基づき移動体の位置を特定するため、位置特定の精度を向上させることができる。よって、本実施形態によれば、速度の算出精度を向上させることができる。

【0105】

また、上述した車両速度検出装置４０によれば、追跡対象点検出部４６は、バウンディングボックスが有する２つ以上の頂点に基づく点を追跡対象点として検出する。ここで、従来技術によれば、タイヤと路面との接地点を特定していたため、フレーム毎に検出位置が異なってしまっていた。本実施形態によれば、バウンディングボックスが有する２つ以上の頂点に基づく点を追跡対象点として検出するため、位置特定の精度を向上させることができる。よって、本実施形態によれば、速度の算出精度を向上させることができる。

【0106】

また、上述した車両速度検出装置４０によれば、追跡対象点検出部４６は、バウンディングボックスが有する２つ以上の頂点の中心点を追跡対象点として検出する。したがって、一方の頂点の位置がずれた場合であっても、追跡対象点のずれを抑えることができる。すなわち、本実施形態によれば、位置特定の精度を向上させることができる。よって、本実施形態によれば、速度の算出精度を向上させることができる。

【0107】

また、上述した車両速度検出装置４０によれば、バウンディングボックスは、奥行き方向を有する三次元バウンディングボックス（３Ｄバウンディングボックス）である。したがって、本実施形態によれば、移動体の位置を正確に特定することができる。したがって、実施形態によれば、位置特定の精度を向上させることができる。よって、本実施形態によれば、速度の算出精度を向上させることができる。

【0108】

また、上述した車両速度検出装置４０によれば、追跡対象点検出部４６は、検出された三次元バウンディングボックスが有する底面に含まれる点を追跡対象点として検出する。すなわち、追跡対象点検出部４６は、底面を構成する４点に基づいて移動体の位置を特定する。したがって、実施形態によれば、２点に基づいて位置を特定する場合と比較して、更に位置特定の精度を向上させることができる。よって、本実施形態によれば、速度の算出精度を向上させることができる。

【0109】

また、上述した車両速度検出装置４０によれば、速度情報取得部４９を備えることにより第２移動体（例えば、自車両）の走行速度を取得し、絶対速度推定部４１１を備えることにより、推定された相対速度と第２移動体の走行速度とに基づき、第１移動体（例えば、相手車両）の走行速度（絶対速度）を推定する。したがって、本実施形態によれば、事故状況の把握を容易にすることができる。また、本実施形態によれば、精度よく第１移動体（例えば、相手車両）の走行速度（絶対速度）を推定することができる。

【0110】

また、上述した車両速度検出装置４０によれば、歪み補正部４４を更に備えることにより、画像取得部４３により取得された画像の歪み補正を行う。また、バウンディングボックス検出部４５は、歪み補正部４４により歪み補正が行われた画像に基づき、バウンディングボックスを検出する。したがって、本実施形態によれば、歪みが補正された画像において精度よくバウンディングボックスを検出することができる。したがって、本実施形態によれば、位置特定の精度を向上させることができる。よって、本実施形態によれば、速度の算出精度を向上させることができる。

【0111】

また、上述した車両速度検出装置４０によれば、検出結果整形部４７を備えることにより、検出されたバウンディングボックスの位置座標を、画像取得部４３により取得された画像の座標系における位置座標に変換する。したがって、本実施形態によれば、歪みが補正された座標系においてバウンディングボックスが検出された後、カメラ座標系におけるバウンディングボックスの位置を特定することができる。

【0112】

また、上述した車両速度検出装置４０によれば、バウンディングボックス検出部４５は、所定の入力画像と、当該入力画像に対応するバウンディングボックスの位置とが対応付けられた教師データに基づき学習された機械学習モデルを用いてバウンディングボックスを検出する。すなわちバウンディングボックス検出部４５は機械学習によりバウンディングボックスの位置を検出する。したがって、本実施形態によれば、精度よくかつ容易にバウンディングボックスの位置を検出することができる。

【0113】

また、上述した車両速度検出装置４０によれば、機械学習モデルの学習に用いられる教師データは、昼間に撮像された画像に基づいて昼夜変換モデルを用いた画像処理が行われた結果、夜間に撮像された画像に変換された画像が含まれる。すなわちバウンディングボックス検出部４５が用いる機械学習モデルは、夜間の画像に基づき学習される。したがって、バウンディングボックス検出部４５は、夜間の画像であってもバウンディングボックスの位置を検出することができる。したがって、本実施形態によれば、夜間の画像にも対応することができるため、夜間の事故であっても精度よく事故状況を把握することができる。

【0114】

なお、上述した実施形態におけるシステム１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【符号の説明】

【0115】

１…システム、１０…ＵＩサーバ装置、１１…フレーム分割部、１２…要求部、２０…ＡＩサーバ装置、２１…車両認識処理部、２２…速度推定処理部、３０…ファイルサーバ装置、３１…フレーム画像、３２…車両認識結果、３３…速度推定結果、４０…車両速度検出装置、４１…動画取得部、４２…フレーム分割部、４３…画像取得部、４４…歪み補正部、４５…バウンディングボックス検出部、４６…追跡対象点検出部、４７…検出結果整形部、４８…相対速度推定部、４９…速度情報取得部、４１１…絶対速度推定部、５１…動画情報記憶部、６１…車速センサ

【要約】

【課題】車両事故発生時の状況把握を精度よく行う。
【解決手段】車両速度検出装置は、複数のフレームを含む動画像データから１フレーム分の画像を取得する画像取得部と、取得した画像に含まれる移動体である第１移動体の位置と大きさを特定するバウンディングボックスを検出するバウンディングボックス検出部と、検出されたバウンディングボックスの位置と大きさに基づく点である追跡対象点の位置座標を検出する追跡対象点検出部と、複数フレーム分の画像それぞれにおいて検出された前記追跡対象点の位置座標の変化に基づき、前記動画像データを撮像する撮像装置が設置された移動体である第２移動体と前記第１移動体との相対速度を推定する相対速度推定部とを備える。
【選択図】図１２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】