特開 2024-63435 判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024063435

(43)【公開日】2024-05-13

(54)【発明の名称】判定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240502BHJP

   G08G 1/16 20060101ALI20240502BHJP

   G16Y 10/40 20200101ALI20240502BHJP

   G16Y 20/20 20200101ALI20240502BHJP

   G16Y 40/10 20200101ALI20240502BHJP

【ＦＩ】

G06T7/00 650B

G08G1/16 A

G16Y10/40

G16Y20/20

G16Y40/10

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022171378

(22)【出願日】2022-10-26

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】今井 悠介

(72)【発明者】

【氏名】冨永 慎

(72)【発明者】

【氏名】鷺 和俊

(72)【発明者】

【氏名】松田 侑真

(72)【発明者】

【氏名】高橋 尚武

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA00

5H181BB04

5H181BB13

5H181CC04

5H181CC05

5H181DD07

5H181DD10

5H181EE02

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL04

5L096BA04

5L096DA03

5L096FA52

5L096FA66

5L096JA11

(57)【要約】

【課題】危険運転の判定を精度よく行うことが難しい場合がある。
【解決手段】判定装置４００は、撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得する取得部４２１と、複数の撮像装置から取得した画像データに基づいて取得部４２１が取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する判定部４２２と、を有する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得する取得部と、
複数の撮像装置から取得した画像データに基づいて前記取得部が取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する判定部と、
を有する
判定装置。

【請求項2】

請求項１に記載の判定装置であって、
前記判定部は、前記取得部が取得した特徴量に基づいて、複数の撮像装置が取得した画像データにおいて同様の車両の組み合わせで事象が検出されていると判断される場合に、危険運転が起きている旨を判定する
判定装置。

【請求項3】

請求項１に記載の判定装置であって、
撮像装置から取得した画像データに基づいて危険運転の可能性のある事象を検出する検出部と、
前記検出部が検出した事象と関連する車両の組み合わせを対象とした車両の特徴量算出処理を行う算出部と、
を有し、
前記判定部は、複数の撮像装置から取得した画像データそれぞれを用いて前記算出部が算出した、車両の組み合わせに含まれる各車両の特徴量に基づいて、危険運転が起きている旨を判定する
判定装置。

【請求項4】

請求項３に記載の判定装置であって、
前記算出部は、車間距離に基づいて事象と関連する車両の組み合わせを判断して、判断した車両の組み合わせに含まれる各車両の特徴量を算出する
判定装置。

【請求項5】

請求項１に記載の判定装置であって、
前記判定部は、同様の車両の組み合わせで事象を検出した画像データを取得した撮像装置の数に基づいて、所定の優先度を制御する
判定装置。

【請求項6】

請求項５に記載の判定装置であって、
前記判定部は、同様の車両の組み合わせで事象を検出した撮像装置の数に基づいて、危険運転が起きている旨を報知する際の優先度を制御する
判定装置。

【請求項7】

請求項５に記載の判定装置であって、
前記判定部は、同様の車両の組み合わせで事象を検出した撮像装置の数が多くなるほど優先度が高くなるように、優先度を制御する
判定装置。

【請求項8】

請求項５に記載の判定装置であって、
前記判定部による判定結果を出力する出力部を有し、
前記判定部は、前記出力部が判定結果を出力する際の優先度を制御する
判定装置。

【請求項9】

情報処理装置が、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、
複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する
判定方法。

【請求項10】

情報処理装置に、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、
複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する
処理を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法、プログラムに関する。

【背景技術】

【0002】

あおり運転などの危険運転を検出する際に用いられる技術が知られている。

【0003】

例えば、特許文献１には、静止画像を参照して移動または変化しているオブジェクトを特定する画像認識部と、特定されたオブジェクトの動作態様に基づいて異常条件の可否を判定する以上判定部と、異常条件が成立したとき、外部装置に対して異常の発生を報知する報知部と、を備える異常判定装置が記載されている。具体的に、特許文献１には、ある特定のカメラが取得した画像に基づいて危険運転の判定を行う旨が開示されているとともに、複数のカメラによる動画像に基づいてある特定の自動車（オブジェクト）が危険運転を続けているか否かを判定してもよい旨が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１６０４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

単に特定のカメラが取得した画像に基づいて危険運転などを検出する場合、たまたま車間距離が不足した場合などにおいて誤判定を行ってしまうことがある。また、複数のカメラが取得した画像に基づく判定を行う場合でも、ある特定のオブジェクトにだけ着目してしまうと、危険運転が続いているか否かをうまく判別できない場合や似た特徴量を持つ車両を誤って同じ車両と判定してしまう場合など、必ずしも適切な判断を行うことができない場合があった。このように、精度よく危険運転を判定することが難しい場合がある、という課題が生じていた。

【0006】

そこで、本発明は、上述した課題を解決することが可能な判定装置、判定方法、プログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

かかる目的を達成するため本開示の一形態である判定装置は、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得する取得部と、
複数の撮像装置から取得した画像データに基づいて前記取得部が取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する判定部と、
を有する
という構成をとる。

【0008】

また、本開示の他の形態である判定方法は、
情報処理装置が、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、
複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する
という構成をとる。

【0009】

また、本開示の他の形態であるプログラムは、
情報処理装置に、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、
複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する
処理を実現するためのプログラムである。

【発明の効果】

【0010】

上述したような各構成によると、上述したような課題を解決することができる。

【図面の簡単な説明】

【0011】

【図1】判定システムの全体の構成例を示す図である。

【図2】判定装置の構成例を示すブロック図である。

【図3】検出情報の一例を示す図である。

【図4】判定結果情報の一例を示す図である。

【図5】判定処理の一例を説明するための図である。

【図6】優先度の一例を説明するための図である。

【図7】優先度の一例を説明するための図である。

【図8】特徴量算出時の動作例を示すフローチャートである。

【図9】判定時の動作例を示すフローチャートである。

【図10】本開示の第２の実施形態における判定装置のハードウェア構成例を示す図である。

【図11】判定装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

［第１の実施形態］
本開示の第１の実施形態について、図１から図９までを参照して説明する。図１は、判定システム１００全体の構成例を示す図である。図２は、判定装置３００の構成例を示すブロック図である。図３は、検出情報３４３の一例を示す図である。図４は、判定結果情報３４４の一例を示す図である。図５は、判定処理の一例を説明するための図である。図６、図７は、優先度の一例を説明するための図である。図８、図９は、判定装置３００の動作例を示すフローチャートである。

【0013】

本開示の第１の実施形態においては、撮像装置２００が取得した画像データに基づいて、あおり運転などの危険運転が起きている旨を判定する判定システム１００について説明する。後述するように、判定システム１００は、画像データに対する所定の画像処理を行うことで、車間距離不足などの危険運転の候補となる事象を検出する。また、判定システム１００は、危険運転の候補となる事象を検出すると、検出した事象と関連する車両の組み合わせを対象とした車両の特徴量算出処理を行う。例えば、判定システム１００は、上記のような事象の検出と特徴量の算出処理を複数の撮像装置２００が取得した画像データそれぞれに対して行う。そして、判定システム１００は、算出した特徴量に基づいて危険運転が起きているか旨を判定する。例えば、判定システム１００は、算出した特徴量に基づいて、複数の撮像装置２００が取得した画像データにおいて同様の車両の組み合わせで事象が検出されていると判断される場合に、危険運転が起きている旨を判定する。また、判定システム１００は、同様の車両の組み合わせで事象を検出した撮像装置２００の数に基づいて、危険運転が起きている旨を報知する際の優先度を制御することができる。

【0014】

なお、本実施形態において、危険運転の候補となる事象とは、例えば、ある車両と別の車両との間の車間距離が所定値以下であると画像データに基づいて判断可能な状態など、危険運転の可能性がある状態のことをいう。ここで、危険運転の候補となる事象は、１枚の画像データに基づいて判断可能な状態であってもよいし、時系列の画像データに基づいて判断可能な状態であってもよい。また、車間距離には、前後方向の車間距離のほか左右方向の車間距離が含まれてよい。例えば、危険運転の候補となる事象には、ある車両の速度が低速状態にあり別の車両との間の車間距離が閾値以下である状態、ある車両の前方にある車両が蛇行運転していると判断される状態、ある車両の後方から別の車両が所定速度以上で近づいている状態、並走状態での車両左右方向の車間距離不足（幅寄せ）の状態、そのほか画像データに基づいて判断可能な危険な可能性のある状態などが含まれてよい。

【0015】

また、危険運転の候補となる事象と関連する車両の組み合わせとは、例えば、あおり運転を行っていると判断される車両とあおり運転をされていると判断される車両など、画像データに基づいて事象に関連していると判断可能な車両の組み合わせのことをいう。例えば、危険運転の候補となる事象と関連するか否かは、車両間の距離などに基づいて判断してよい。一例として、車間距離が所定値以下であるために危険運転の候補となる事象を検出した場合、判定システム１００は、車間距離が所定値以下となる車両の組み合わせを事象と関連する車両の組み合わせとして検出することができる。なお、事象と関連するか否かは、例えば、関連する車両の組み合わせを示す情報を含む画像データを教師データとして予め学習したモデルに対して画像データを入力することなどに応じて判断されてもよい。また、車両の組み合わせは、２台の車両からなってもよいし、３台以上の車両からなってもよい。

【0016】

図１は、判定システム１００の全体の構成例を示している。図１を参照すると、判定システム１００は、例えば、複数の撮像装置２００と、判定装置３００と、を有している。図１で示すように、撮像装置２００と判定装置３００とは、有線または無線により、互いに通信可能なよう接続されている。

【0017】

撮像装置２００は、車両を含む道路などの画像データを取得する。例えば、撮像装置２００は、道路脇などの所定の場所に道路の方向を向いた状態で予め設置されており、所定の間隔で画像データを取得する。一例として、撮像装置２００は、高速道路や自動車専用道路などの道路脇に所定の間隔で複数設置されており、それぞれの撮像装置２００が時系列の画像データを取得する。なお、撮像装置２００の設置場所は上記例示した場合に限定されず、一般道路などであってもよい。

【0018】

また、撮像装置２００は、取得した画像データを判定装置３００に対して送信する。撮像装置２００は、画像データを取得した判定装置３００の識別情報や画像データを取得した日時を示す情報などとともに、画像データを判定装置３００に対して送信してもよい。

【0019】

判定装置３００は、複数の撮像装置２００が取得したそれぞれの画像データから危険運転の候補となる事象を検出した結果に基づいて、あおり運転などの危険運転が起きている旨を判定する情報処理装置である。例えば、判定システム１００は、２つ以上の撮像装置２００が取得した画像データから、同様の車両の組み合わせについて事象が検出された場合に、危険運転が起きている旨を判定する。判定システム１００は、同様の車両の組み合わせについて同様の事象が検出された場合に危険運転が起きている旨を判定してもよい。また、判定システム１００は、同様の組み合わせで同様の事象を検出した撮像装置２００の数に基づいて、危険運転が起きている旨を報知する際の優先度を制御するよう構成してもよい。

【0020】

図２は、判定装置３００の構成例を示している。図２を参照すると、判定装置３００は、主な構成要素として、例えば、操作入力部３１０と、画面表示部３２０と、通信Ｉ／Ｆ部３３０と、記憶部３４０と、演算処理部３５０と、を有している。

【0021】

なお、図２では、１台の情報処理装置を用いて判定装置３００としての機能を実現する場合について例示している。しかしながら、判定装置３００は、例えば、クラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。また、判定装置３００は、操作入力部３１０や画面表示部３２０を有さないなど上記例示した構成の一部を含まなくてもよいし、上記例示した以外の構成を有してもよい。

【0022】

操作入力部３１０は、キーボード、マウスなどの操作入力装置からなる。操作入力部３１０は、判定装置３００を操作する操作者の操作を検出して演算処理部３５０に出力する。

【0023】

画面表示部３２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部３２０は、演算処理部３５０からの指示に応じて、記憶部３４０に格納されている各種情報などを画面表示することができる。

【0024】

通信Ｉ／Ｆ部３３０は、データ通信回路などからなる。通信Ｉ／Ｆ部３３０は、通信回線を介して接続された撮像装置２００や他の外部装置との間でデータ通信を行う。

【0025】

記憶部３４０は、ハードディスクやメモリなどの記憶装置である。記憶部３４０は、演算処理部３５０における各種処理に必要な処理情報やプログラム３４５を記憶する。プログラム３４５は、演算処理部３５０に読み込まれて実行されることにより各種処理部を実現する。プログラム３４５は、通信Ｉ／Ｆ部３３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部３４０に保存されている。記憶部３４０で記憶される主な情報としては、例えば、カメラ情報３４１、画像データ情報３４２、検出情報３４３、判定結果情報３４４などがある。

【0026】

カメラ情報３４１は、撮像装置２００についての情報を含んでいる。例えば、カメラ情報３４１は、通信Ｉ／Ｆ部３３０を介して外部装置から取得すること、操作入力部３１０を用いて入力すること、などの方法を用いて予め取得されており、記憶部３４０に格納されている。

【0027】

本実施形態の場合、カメラ情報３４１には、撮像装置２００を設置した位置を示す情報などが含まれる。例えば、カメラ情報３４１では、撮像装置２００の識別情報と撮像装置２００を設置した位置を示す情報などとが関連付けられている。カメラ情報３４１には、撮像装置２００の向きを示す情報など上記例示した以外の情報が含まれてもよい。

【0028】

画像データ情報３４２は、撮像装置２００が取得した画像データについての情報を含んでいる。例えば、画像データ情報３４２は、画像取得部３５１が撮像装置２００から画像データを取得することなどに応じて更新される。本実施形態の場合、判定装置３００は、複数の撮像装置２００から画像データを取得する。そのため、画像データ情報３４２には、複数の撮像装置２００から取得した画像データが含まれる。

【0029】

例えば、画像データ情報３４２では、撮像装置２００ごとに時系列の画像データが格納される。画像データ情報３４２では、画像データと、画像データを取得した日時を示す情報と、画像データを取得した撮像装置２００の識別情報などとが関連づけられていてもよい。

【0030】

検出情報３４３は、後述する事象検出部３５２が危険運転の候補となる事象を検出した結果に応じた情報などを含んでいる。例えば、検出情報３４３は、事象検出部３５２が危険運転の候補となる事象を検出することや後述する車両特徴量算出部３５３が車両の特徴量を算出することなどに応じて更新される。

【0031】

図３は、検出情報３４３の一例を示している。図３を参照すると、検出情報３４３では、例えば、カメラ情報と、事象情報と、特徴量情報と、が関連づけられている。ここで、カメラ情報は、画像データを取得した撮像装置２００を示す情報を含む。例えば、カメラ情報は、撮像装置２００の識別情報などを含んでよい。また、事象情報は、事象検出部３５２が検出した危険運転の候補となる事象の具体的な内容などを示す。例えば、事象情報は、車間距離不足などの事象の具体的な内容を示す情報を含んでよい。また、特徴量情報は、事象に関連する車両の組み合わせに含まれるそれぞれの車両についての特徴量を示す情報を含む。例えば、特徴量情報は、進行方向に対する車両の並び順を示す情報などとともに、それぞれの車両の特徴量を示す情報を含んでよい。

【0032】

なお、図３は検出情報３４３の一例を示しており、検出情報３４３に含まれる情報は、図３で例示したものに限定されない。例えば、検出情報３４３には、事象情報などが含まれなくてもよい。また、検出情報３４３には、撮像装置２００が画像データを取得した日時を示す情報などが含まれてもよい。

【0033】

判定結果情報３４４は、後述する判定部３５４による判定の結果に応じた情報などを含んでいる。例えば、判定結果情報３４４は、危険運転が起きている旨を判定部３５４が判定することなどに応じて更新される。

【0034】

例えば、判定結果情報３４４には、判定結果に応じた情報が含まれる。図４は、判定結果情報３４４の一例を示している。図４を参照すると、判定結果情報３４４では、例えば、事象情報と、関連車両情報と、位置情報と、が関連づけられている。ここで、事象情報は、危険運転の内容を示す。例えば、事象情報は、事象検出部３５２が検出した危険運転の候補となる事象の具体的な内容などに応じた情報であってよい。また、関連車両情報は、事象と関連する車両についての情報を含む。関連車両情報には、車両の特徴量のほか、関連する画像データから判別可能な事象に関連する各車両の色、大きさ、形などを示す情報が含まれてもよい。また、位置情報は、事象に関連する位置を示す情報である。例えば、位置情報は、事象を検出した画像データを取得した撮像装置２００の設置位置を示す情報などであってもよい。

【0035】

なお、図４は判定結果情報３４４の一例を示しており、判定結果情報３４４に含まれる情報は、図４で例示したものに限定されない。例えば、判定結果情報３４４には、位置情報などが含まれなくてもよい。また、判定結果情報３４４には、撮像装置２００が画像データを取得した日時を示す情報や同様の組み合わせで同様の事象を検出した撮像装置２００の数を示す情報などが含まれてもよい。

【0036】

演算処理部３５０は、ＣＰＵ（Central Processing Unit）などの演算装置とその周辺回路を有する。演算処理部３５０は、記憶部３４０からプログラム３４５を読み込んで実行することにより、上記ハードウェアとプログラム３４５とを協働させて各種処理部を実現する。演算処理部３５０で実現される主な処理部としては、例えば、画像取得部３５１、事象検出部３５２、車両特徴量算出部３５３、判定部３５４、出力部３５５などがある。

【0037】

なお、演算処理部３５０は、上述したＣＰＵの代わりに、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを有してもよい。

【0038】

画像取得部３５１は、撮像装置２００から画像データを取得する。例えば、画像取得部３５１は、判定システム１００に含まれる各撮像装置２００から画像データを取得する。画像取得部３５１は、画像データとともに、当該画像データを取得した撮像装置２００の識別情報や画像データを取得した日時を示す情報などを取得してもよい。また、画像取得部３５１は、取得した画像データなどを、撮像装置２００ごとに画像データ情報３４２として記憶部３４０に格納する。

【0039】

事象検出部３５２は、画像データ情報３４２に含まれる画像データに基づいて、危険運転の可能性のある事象を検出する。例えば、事象検出部３５２は、１枚の画像データに基づいて危険運転の可能性のある事象を検出してもよいし、複数の画像データに基づいて危険運転の可能性のある事象を検出してもよい。

【0040】

例えば、事象検出部３５２は、予め学習したモデルを用いる方法やパターン認識などの既知の方法を用いて画像データから車両を検出する。そして、事象検出部３５２は、１枚の画像データから複数の車両を検出した場合に、検出した車両間の距離を算出することで、車間距離を算出する。例えば、事象検出部３５２は、算出した車間距離に基づいて、危険運転の可能性のある事象を検出することができる。一例として、事象検出部３５２は、算出した車間距離が予め定められた判断閾値以下である場合に、車間距離不足である旨に応じた危険運転の候補となる事象を検出することができる。なお、事象検出部３５２は、算出した車間距離を道路までの距離など撮像装置２００の設置環境に応じた値で補正した上で、上記検出を行ってもよい。

【0041】

事象検出部３５２は、上記例示した以外の方法で危険運転の候補となる事象を検出してもよい。例えば、事象検出部３５２は、複数の画像データに基づいて、ある車両の速度が低速状態にあり別の車両との間の車間距離が閾値以下となったと判断される場合や、ある車両の後方から別の車両が所定速度以上で近づいており車間距離が閾値以下となったと判断される場合などに、危険運転の候補となる事象を検出してもよい。事象検出部３５２は、画像データから検出した車両が上記例示した以外の予め定められた条件を満たす場合に、危険運転の候補となる事象を検出してもよい。

【0042】

また、事象検出部３５２は、危険運転の候補となる事象を検出すると、検出結果に応じた情報を検出情報３４３として記憶部３４０に格納することができる。例えば、事象検出部３５２は、検出した事象の内容を示す情報や事象を検出した画像データを取得した撮像装置２００の識別情報などを、検出情報３４３として記憶部３４０に格納することができる。事象検出部３５２は、画像データを取得した日時を示す情報などを検出情報３４３に含めてもよい。

【0043】

車両特徴量算出部３５３は、事象検出部３５２が危険運転の候補となる事象を検出すると、検出した事象と関連する車両の組み合わせを対象とした車両の特徴量算出処理を行う。換言すると、車両特徴量算出部３５３は、画像データに基づいて車両の特徴量を取得する取得部として機能する。例えば、車両特徴量算出部３５３は、車間距離などに基づいて、危険運転の候補となる事象と関連する車両の組み合わせを判断する。そして、車両特徴量算出部３５３は、判断した車両の組み合わせに含まれるそれぞれの車両について、特徴量を算出する。

【0044】

例えば、車両特徴量算出部３５３は、ＤＮＮ（Deep Neural Network）モデルなどのモデルを予め学習しておき、学習したモデルを用いて特徴量を算出することができる。一例として、車両特徴量算出部３５３は、事象検出部３５２と同様の方法を用いて車両を検出する。そして、車両特徴量算出部３５３は、検出した車両画像を学習済みのモデルに入力することで特徴量を算出することができる。

【0045】

なお、車両特徴量算出部３５３は、上記例示した以外の方法で車両の特徴量を算出してもよい。例えば、車両特徴量算出部３５３は、ナンバープレートの認識結果に応じた値などを車両の特徴量として算出してもよい。車両特徴量算出部３５３は、その他、車両の色や形状などに応じた特徴量を算出するよう構成してもよい。

【0046】

また、車両特徴量算出部３５３は、特徴量を算出すると、算出した特徴量を検出情報３４３として記憶部３４０に格納することができる。

【0047】

判定部３５４は、検出情報３４３に基づいて、危険運転が起きている旨を判定する。例えば、判定部３５４は、検出情報３４３に基づいて、複数の撮像装置２００が取得した画像データにおいて同様の車両の組み合わせで事象が検出されていると判断される場合に、危険運転が起きている旨を判定する。判定部３５４は、検出情報３４３に基づいて、複数の撮像装置２００が取得した画像データにおいて同様の車両の組み合わせで同様の事象が検出されていると判断される場合に、危険運転が起きている旨を判定してもよい。

【0048】

例えば、判定部３５４は、異なる撮像装置２００が取得した画像データに対応するそれぞれの特徴量情報に含まれる各車両の特徴量を比較した結果に基づいて、同様の車両の組み合わせであるか否か判断することができる。例えば、判定部３５４は、ある撮像装置２００が取得した画像データに対応する特徴量情報に含まれる車両の特徴量と、別の撮像装置２００が取得した画像データに対応する特徴量情報に含まれる車両の特徴量と、に基づいて、特徴量の比較結果に応じた類似度を示すスコアを算出する。そして、判定部３５４は、算出したスコアが所定値以上となる場合に、ある撮像装置２００が取得した画像データと別の撮像装置２００が取得した画像データに同一の車両が含まれると判断する。例えば、判定部３５４は、上記のようなスコアに基づく判断を特徴量情報に含まれる各車両について行うことで、同様の車両の組み合わせであるか否か判断することができる。一例として、判定部３５４は、特徴量情報に含まれる各車両の特徴量それぞれについて同一であると判断できた場合に、ある撮像装置２００が取得した画像データと別の撮像装置２００が取得した画像データに同一の車両が含まれると判断する。なお、判定部３５４は、車両の並び順を考慮の上で同様の車両の組み合わせであるか否かを判断するよう構成してもよいし、車両の並び順は考慮せずに同様の車両の組み合わせであるか否かを判断するよう構成してもよい。

【0049】

また、判定部３５４は、異なる撮像装置２００が取得した画像データに対応するそれぞれの事象情報に含まれる情報の比較結果に基づいて、同様の事象であるか否か判断することができる。例えば、判定部３５４は、異なる撮像装置２００が取得した画像データに対応するそれぞれの事象情報に含まれる情報が同一である場合に、複数の撮像装置２００が取得した画像データに基づいて同様の事象が検出されていると判断することができる。判定部３５４は、異なる撮像装置２００が取得した画像データに対応するそれぞれの事象情報に含まれる情報が類似すると判断可能な場合に複数の撮像装置２００が取得した画像データに基づいて同様の事象が検出されていると判断するよう構成してもよい。なお、事象が類似するか否かは任意の条件に基づいて判断してよい。また、判定部３５４は、複数の撮像装置２００が取得した画像データそれぞれについて、それぞれ危険運転の候補となる事象が検出されている場合に、事象の内容に依らずに同様の事象が検出されていると判断してもよい。

【0050】

例えば、上記のような処理により、複数の撮像装置２００が取得した画像データにおいて同様の車両の組み合わせで事象が検出されていると判断される場合に、判定部３５４は、危険運転が起きている旨を判定することができる。つまり、図５で例示するように、判定部３５４は、検出情報３４３に基づいて、複数の撮像装置２００が取得した画像データにおいて同様の車両の組み合わせで車間距離不足などの事象が検出されていると判断される場合に、危険運転が起きている旨を判定することができる。

【0051】

また、判定部３５４は、危険運転が起きている旨を判定すると、判定結果に応じた情報を判定結果情報３４４として記憶部３４０に格納することができる。例えば、判定部３５４は、判定した危険運転の内容を示す情報のほか、関連する画像データから事象に関連する車両の色、大きさ、形などを示す情報を抽出して抽出した情報を記憶部３４０に格納してもよい。また、判定部３５４は、事象に関連する位置を示す情報として、事象を検出した画像データを取得した撮像装置２００の設置位置を示す情報などを判定結果情報３４４として記憶部３４０に格納してもよい。なお、判定部３５４は、カメラ情報３４１などを参照することで撮像装置２００の設置位置を特定してよい。判定部３５４は、２つの撮像装置２００の設置位置関係と事象検出した時刻情報から車両の移動速度などを推定してもよい。

【0052】

また、判定部３５４は、危険運転が起きている旨を報知する際の優先度を制御するよう構成することができる。換言すると、判定部３５４は、後述する出力部３５５が判定結果などを出力する際の優先度を制御する。例えば、判定部３５４は、危険運転が起きている旨を判定するとともに、同様の組み合わせで事象を検出した撮像装置２００の数を計測する。そして、判定部３５４は、計測した数に基づいて、危険運転が起きている旨を報知する際の優先度を制御することができる。例えば、判定部３５４は、図６で例示するように、同様の組み合わせで事象を検出した撮像装置２００が多くなるほど優先度が高くなるように、優先度を制御することができる。ここで、優先度は、例えば、検出結果を表示する際に影響する値である。例えば、優先度が高くなるほどより優先的に確認可能なよう、判定部３５４は、表示順や文字の大きさ、色などを制御することができる。例えば、図７で例示するように、優先度が高いほど判定結果をより上位に表示するよう構成してもよい。

【0053】

なお、判定部３５４は、時刻情報などに基づいて、検出情報３４３に含まれる情報のうち比較対象となる情報と特定するよう構成してもよい。例えば、カメラ情報３４１が示す撮像装置２００の位置や車両の速度などの情報に基づいて、ある撮像装置２００が取得した画像データに含まれる車両が他の撮像装置２００が取得した画像データに含まれる可能性のある時間帯をおおよそ推定することができる。判定部３５４は、検出情報３４３に含まれる情報のうち推定した時間帯に含まれる情報を対象として、同様の組み合わせで同様の事象を検出したか否か判断するよう構成してもよい。

【0054】

出力部３５５は、判定結果情報３４４などを出力する。例えば、出力部３５５は、通信Ｉ／Ｆ部３３０を介して外部装置に対して判定結果情報３４４などを送信したり、判定結果情報３４４などを画面表示部３２０上に表示させたりしてよい。出力部３５５は、判定部３５４が制御する優先度に応じた態様で、判定結果情報３４４などを出力することができる。出力部３５５による出力先は、例えば、デジタルサイネージや管理者端末などの予め定められた情報処理装置のほか、危険運転が起きている旨を判定した車両やその周辺の車両が有する車載ナビなどの情報処理装置や携帯情報端末などであってもよい。

【0055】

以上が、判定装置３００の構成例である。続いて、図８、図９を参照して判定装置３００の動作例について説明する。

【0056】

図８は、判定装置３００が危険運転の可能性のある事象を検出して車両の特徴量を算出する際の動作例を示している。図８を参照すると、事象検出部３５２は、画像データ情報３４２に含まれる画像データに基づいて、危険運転の可能性のある事象を検出する（ステップＳ１０１）。例えば、事象検出部３５２は、予め学習したモデルを用いる方法やパターン認識などの既知の方法を用いて画像データから車両を検出する。そして、事象検出部３５２は、１枚の画像データから複数の車両を検出した場合に、検出した車両間の距離を算出することで、車間距離を算出する。例えば、事象検出部３５２は、算出した車間距離に基づいて、危険運転の可能性のある事象を検出することができる。

【0057】

車両特徴量算出部３５３は、事象検出部３５２が危険運転の候補となる事象を検出すると、検出した事象と関連する車両の組み合わせを対象とした車両の特徴量算出処理を行う。例えば、車両特徴量算出部３５３は、車両の組み合わせに含まれるそれぞれの車両について、特徴量を算出する（ステップＳ１０２）。なお、車両特徴量算出部３５３は、予め学習したモデルを用いて特徴量を算出するなど、既知の手段を用いて特徴量を算出してよい。

【0058】

以上が、危険運転の可能性のある事象を検出して車両の特徴量を算出する際の動作例である。判定装置３００は、各撮像装置２００から取得したそれぞれの画像データについて、図８で例示する処理を行うことができる。

【0059】

続いて、図９を参照して、判定処理を行う際の動作例について説明する。図９は危険運転が起きている旨を判定装置３００が判定する際の動作例を示している。図９参照すると、判定部３５４は、図８を参照して説明した処理の結果に基づいて、複数の撮像装置２００が取得した画像データから同様の車両の組み合わせで事象を検出したか否か確認する（ステップＳ２０１）。

【0060】

複数の撮像装置２００が取得した画像データから同様の車両の組み合わせで事象を検出した場合（ステップＳ２０１、Ｙｅｓ）、判定部３５４は、危険運転が起きている旨を判定する（ステップＳ２０２）。一方、複数の撮像装置２００が取得した画像データから同様の車両の組み合わせで事象を検出していない場合、判定部３５４は、判定を行わない。

【0061】

以上が、判定時の動作例である。

【0062】

このように、判定装置３００は、事象検出部３５２と車両特徴量算出部３５３と判定部３５４とを有している。このような構成によると、判定部３５４は、事象検出部３５２による検出結果と車両特徴量算出部３５３による算出結果とに基づいて、複数の撮像装置２００が取得した画像データから同様の車両の組み合わせで事象を検出できた場合に、危険運転が起きている旨の判定を行うことができる。その結果、上記のような組み合わせに基づく判定を行うことで、同じ組み合わせで続いている危険運転を的確に把握することができ、精度よく危険運転を判定することができる。

【0063】

例えば、単にある特定の車両にだけ着目してしまうと、似た車両は無数に存在するため、複数カメラ間で追跡を行うことが難しい場合ある。一方、本開示で説明した判定装置３００は、上述したように車両の組み合わせに基づいて判定を行う。そのため、本開示で説明した判定装置３００によると、より的確に車両を追跡することができ、より的確な危険運転の把握を行うことができる。

【0064】

なお、本実施形態では、撮像装置２００が画像データを取得する機能を有し、判定装置３００が画像データに基づく処理を行う場合について例示した。しかしながら、判定システム１００の構成は、本実施形態で例示した以外であってもよい。例えば、判定システム１００に含まれる撮像装置２００のうちの少なくとも一部は、本実施形態で説明した判定装置３００が有する構成のうちの少なくとも一部を有することができる。例えば、撮像装置２００は、事象検出部３５２や車両特徴量算出部３５３としての機能を有してもよい。この場合、判定装置３００は、事象検出部３５２や車両特徴量算出部３５３の代わりに、撮像装置２００による検出結果や撮像装置２００が算出した特徴量を取得する取得部を有してもよい。

【0065】

また、判定装置３００は、危険運転が起きている旨とともに、その他の判定を行うよう構成してもよい。例えば、危険運転の候補となる事象と関連する車両の組み合わせに複数の車両が含まれる場合、危険運転ではなく渋滞が生じていると想定することもできる。そのため、判定装置３００は、危険運転の候補となる事象と関連する車両の組み合わせに含まれる車両の数に基づいて、危険運転ではなく渋滞が生じている旨を判定するよう構成してもよい。また、判定装置３００は、外部装置などから渋滞が生じている旨の情報を取得してもよい。この場合、判定装置３００は、渋滞が生じている区間内において危険運転が起きている旨の判定を行った際に、危険運転が起きている旨を報知する際の優先度を低くするよう構成してもよい。

【0066】

［第２の実施形態］
次に、本開示の第２の実施形態について、図１０、図１１を参照して説明する。図１０は、判定装置４００のハードウェア構成例を示す図である。図１１は、判定装置４００の構成例を示すブロック図である。

【0067】

本開示の第２の実施形態においては、複数の撮像装置から取得した画像データに基づいて危険運転が起きている旨を判定する情報処理装置である判定装置４００の構成例について説明する。図１０は、判定装置４００のハードウェア構成例を示している。図１０を参照すると、判定装置４００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３（記憶装置）
・ＲＡＭ４０３にロードされるプログラム群４０４
・プログラム群４０４を格納する記憶装置４０５
・情報処理装置外部の記録媒体４１０の読み書きを行うドライブ装置４０６
・情報処理装置外部の通信ネットワーク４１１と接続する通信インタフェース４０７
・データの入出力を行う入出力インタフェース４０８
・各構成要素を接続するバス４０９

【0068】

また、判定装置４００は、プログラム群４０４をＣＰＵ４０１が取得して当該ＣＰＵ４０１が実行することで、図１１に示す取得部４２１、判定部４２２としての機能を実現することができる。なお、プログラム群４０４は、例えば、予め記憶装置４０５やＲＯＭ４０２に格納されており、必要に応じてＣＰＵ４０１がＲＡＭ４０３などにロードして実行する。また、プログラム群４０４は、通信ネットワーク４１１を介してＣＰＵ４０１に供給されてもよいし、予め記録媒体４１０に格納されており、ドライブ装置４０６が該プログラムを読み出してＣＰＵ４０１に供給してもよい。

【0069】

なお、図１０は、判定装置４００のハードウェア構成例を示している。判定装置４００のハードウェア構成は上述した場合に限定されない。例えば、判定装置４００は、ドライブ装置４０６を有さないなど、上述した構成の一部から構成されてもよい。

【0070】

取得部４２１は、撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得する。

【0071】

判定部４２２は、複数の撮像装置から取得した画像データに基づいて取得部４２１が取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する。

【0072】

このように、判定装置４００は、取得部４２１と判定部４２２とを有している。このような構成によると、判定部４２２は、複数の撮像装置から取得した画像データに基づいて取得部４２１が取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定することができる。その結果、精度よく危険運転を判定することができる。

【0073】

なお、上述した判定装置４００は、当該判定装置４００などの情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置４００などの情報処理装置に、撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する、処理を実現するためのプログラムである。

【0074】

また、上述した判定装置４００などの情報処理装置により実行される判定方法は、判定装置４００などの情報処理装置が、撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する、という方法である。

【0075】

上述した構成を有する、プログラム、又は、プログラムを記録したコンピュータが読み取り可能な記録媒体、又は、判定方法、の発明であっても、上述した判定装置４００と同様の作用・効果を奏するために、上述した本開示の目的を達成することができる。

【0076】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。

【0077】

（付記１）
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得する取得部と、
複数の撮像装置から取得した画像データに基づいて前記取得部が取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する判定部と、
を有する
判定装置。
（付記２）
付記１に記載の判定装置であって、
前記判定部は、前記取得部が取得した特徴量に基づいて、複数の撮像装置が取得した画像データにおいて同様の車両の組み合わせで事象が検出されていると判断される場合に、危険運転が起きている旨を判定する
判定装置。
（付記３）
付記１に記載の判定装置であって、
撮像装置から取得した画像データに基づいて危険運転の可能性のある事象を検出する検出部と、
前記検出部が検出した事象と関連する車両の組み合わせを対象とした車両の特徴量算出処理を行う算出部と、
を有し、
前記判定部は、複数の撮像装置から取得した画像データそれぞれを用いて前記算出部が算出した、車両の組み合わせに含まれる各車両の特徴量に基づいて、危険運転が起きている旨を判定する
判定装置。
（付記４）
付記３に記載の判定装置であって、
前記算出部は、車間距離に基づいて事象と関連する車両の組み合わせを判断して、判断した車両の組み合わせに含まれる各車両の特徴量を算出する
判定装置。
（付記５）
付記１に記載の判定装置であって、
前記判定部は、同様の車両の組み合わせで事象を検出した撮像装置の数に基づいて、所定の優先度を制御する
判定装置。
（付記６）
付記５に記載の判定装置であって、
前記判定部は、同様の車両の組み合わせで事象を検出した撮像装置の数に基づいて、危険運転が起きている旨を報知する際の優先度を制御する
判定装置。
（付記７）
付記５に記載の判定装置であって、
前記判定部は、同様の車両の組み合わせで事象を検出した撮像装置の数が多くなるほど優先度が高くなるように、優先度を制御する
判定装置。
（付記８）
付記５に記載の判定装置であって、
前記判定部による判定結果を出力する出力部を有し、
前記判定部は、前記出力部が判定結果を出力する際の優先度を制御する
判定装置。
（付記９）
情報処理装置が、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、
複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する
判定方法。
（付記１０）
情報処理装置に、
撮像装置から取得した画像データに基づいて検出された、危険運転の可能性のある事象と関連する車両の組み合わせに含まれる各車両の特徴量を取得し、
複数の撮像装置から取得した画像データに基づいて取得した各車両の特徴量に基づいて、危険運転が起きている旨を判定する
処理を実現するためのプログラム。

【0078】

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0079】

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0080】

１００ 判定システム
２００ 撮像装置
３００ 判定装置
３１０ 操作入力部
３２０ 画面表示部
３３０ 通信I／F部
３４０ 記憶部
３４１ カメラ情報
３４２ 画像データ情報
３４３ 検出情報
３４４ 判定結果情報
３４５ プログラム
３５０ 演算処理部
３５１ 画像取得部
３５２ 事象検出部
３５３ 車両特徴量算出部
３５４ 判定部
３５５ 出力部
４００ 判定装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ プログラム群
４０５ 記憶装置
４０６ ドライブ装置
４０７ 通信インタフェース
４０８ 入出力インタフェース
４０９ バス
４１０ 記録媒体
４１１ 通信ネットワーク
４２１ 取得部
４２２ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】