特表 2023-524623 交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-13

(54)【発明の名称】交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム

(51)【国際特許分類】

   G08G 1/01 20060101AFI20230606BHJP

   G08G 1/04 20060101ALI20230606BHJP

   G06T 7/00 20170101ALI20230606BHJP

   G06T 7/60 20170101ALI20230606BHJP

   G06T 7/70 20170101ALI20230606BHJP

   G06T 7/246 20170101ALI20230606BHJP

   G06V 10/774 20220101ALI20230606BHJP

   G06V 10/764 20220101ALI20230606BHJP

   G06V 20/40 20220101ALI20230606BHJP

   G06V 20/54 20220101ALI20230606BHJP

   G06T 7/254 20170101ALI20230606BHJP

   G08G 1/065 20060101ALI20230606BHJP

【ＦＩ】

G08G1/01 A

G08G1/04 C

G06T7/00 350C

G06T7/00 650B

G06T7/60 110

G06T7/70 A

G06T7/246

G06V10/774

G06V10/764

G06V20/40

G06V20/54

G06T7/00 650A

G06T7/00 660B

G06T7/254 A

G08G1/065

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022555976

(86)(22)【出願日】2022-01-29

(85)【翻訳文提出日】2022-09-26

(86)【国際出願番号】 CN2022075044

(87)【国際公開番号】W WO2022218011

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】202110404411.7

(32)【優先日】2021-04-15

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】李 瑩瑩

(72)【発明者】

【氏名】譚 嘯

(72)【発明者】

【氏名】孫 昊

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB15

5H181CC04

5H181DD01

5H181EE15

5L096BA04

5L096CA04

5L096DA02

5L096FA52

5L096FA69

5L096FA74

5L096HA11

(57)【要約】

本開示は、人工知能分野、特にコンピュータビジョンおよび深層学習技術の分野に関する、交通異常を検出するための方法、装置、機器、記憶媒体、およびプログラム製品を提供し、高度道路交通のシーンに適用できる。当該方法の一具体的な実施形態は、交通映像ストリームを取得するステップと、交通映像ストリームに対して車両の検出・追跡を行い、異常停車の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、異常停車中の車両が存在する場合、決定木を用いて異常停車に対応する映像フレームに対して交通異常の分類を行い、交通異常の種別を得るステップと、を含み、決定木は、交通異常で検出された特徴に基づいて生成される。当該実施形態により、交通異常検出のロバストネスが向上された。

【特許請求の範囲】

【請求項1】

交通映像ストリームを取得するステップと、
前記交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、
異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップと、を含み、
前記決定木は交通異常で検出された特徴に基づいて生成される、
交通異常を検出するための方法。

【請求項2】

異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
前記異常停車中の車両の数を統計するステップと、
前記異常停車中の車両の数が複数である場合、前記異常停車中の車両同士に接触があるか否かを判断するステップと、
前記異常停車中の車両同士に接触がある場合、「車両同士の衝突」タイプであると判定するステップと、を含む請求項１に記載の方法。

【請求項3】

異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
前記異常停車中の車両の数が１台である場合、または前記異常停車中の車両の数が複数であって、車両同士に接触がない場合、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するステップと、
異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するステップと、
をさらに含む請求項２に記載の方法。

【請求項4】

異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
異常な状態の人体が存在しない場合、前記異常停車中の車両の停止位置を特定するステップと、
前記異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するステップと、
をさらに含む請求項３に記載の方法。

【請求項5】

異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
前記異常停車中の車両の停止位置が道路側ではない場合、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判断するステップと、
警告標識が存在する場合に、「車両故障」タイプであると判定するステップと、
をさらに含む請求項４に記載の方法。

【請求項6】

異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップは、
警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するステップをさらに含む、
請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断するステップは、
前記交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得するステップと、
車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するステップと、
を含む請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記異常停車中の車両同士に接触があるか否かを判断するステップは、
前記異常停車中の車両の境界ボックス間のＩｏＵを計算するステップと、
前記ＩｏＵが０に等しいでない場合、前記異常停車中の車両同士に接触があると判定するステップと、
前記ＩｏＵが０に等しいである場合、前記異常停車中の車両同士に接触がないと判定するステップと、
を含む請求項２～７のいずれか１項に記載の方法。

【請求項9】

前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するステップは、
前記異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得るステップと、
前記人体行動結果に基づいて、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するステップと、
を含む請求項３～８のいずれか１項に記載の方法。

【請求項10】

前記異常停車に対応する映像フレームに警告標識が存在するか否かを判断するステップは、
前記異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得るステップと、
前記警告標識検出結果に基づいて、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判定するステップと、
を含む請求項５～９のいずれか１項に記載の方法。

【請求項11】

交通映像ストリームを取得するように構成される取得モジュールと、
前記交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される追跡モジュールと、
異常停車中の車両が存在する場合、決定木を用いて異常停車に対応する映像フレームに対して交通異常の分類を行い、交通異常の種別を得るように構成される分類モジュールとを備え、
前記決定木は交通異常で検出された特徴に基づいて生成される、
交通異常を検出するための装置。

【請求項12】

前記分類モジュールは、
前記異常停車中の車両の数を統計するように構成される統計サブモジュールと、
前記異常停車中の車両の数が複数である場合に、前記異常停車中の車両同士に接触があるか否かを判断するように構成される第１の判断サブモジュールと、
前記異常停車中の車両同士に接触がある場合に、「車両同士の衝突」タイプであると判定するように構成される第２の判定サブモジュールと、
を備える請求項１１に記載の装置。

【請求項13】

前記分類モジュールは、
前記異常停車中の車両の数が１台である場合、または前記異常停車中の車両の数が複数であって、車両同士に接触がない場合に、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するように構成される第３の判断サブモジュールと、
異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するように構成される第４の判定サブモジュールと、
をさらに備える請求項１２に記載の装置。

【請求項14】

前記分類モジュールは、
異常な状態の人体が存在しない場合、前記異常停車中の車両の停止位置を特定するように構成される第５の特定サブモジュールと、
前記異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するように構成される第６の判定サブモジュールと、
をさらに備える請求項１３に記載の装置。

【請求項15】

前記分類モジュールは、
前記異常停車中の車両の停止位置が道路側にない場合、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判断するように構成される第７の判断サブモジュールと、
警告標識が存在する場合に、「車両故障」タイプであると判定するように構成される第８の判定サブモジュールと、
をさらに備える請求項１４に記載の装置。

【請求項16】

前記分類モジュールは、
警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するように構成される第８の判定サブモジュールをさらに備える請求項１１～１５のいずれか１項に記載の装置。

【請求項17】

前記追跡モジュールは、
前記交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得し、
車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するようにさらに構成される請求項１１～１６のいずれか１項に記載の装置。

【請求項18】

前記第１の判断サブモジュールは、
前記異常停車中の車両の境界ボックス間のＩｏＵを計算し、
前記ＩｏＵが０に等しいでない場合、前記異常停車中の車両同士に接触があると判定し、
前記ＩｏＵが０等しいである場合、前記異常停車中の車両同士に接触がないと判定するようにさらに構成される請求項１２～１７のいずれか１項に記載の装置。

【請求項19】

前記第３の判断サブモジュールは、
前記異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得、
前記人体行動結果に基づいて、前記異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するようにさらに構成される、
請求項１３～１８のいずれか１項に記載の装置。

【請求項20】

前記第７の判断サブモジュールは、
前記異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得、
前記警告標識検出結果に基づいて、前記異常停車に対応する映像フレームに警告標識が存在するか否かを判定するようにさらに構成される請求項１５～１９のいずれか１項に記載の装置。

【請求項21】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～１０のいずれか１項に記載の方法を実行させる、電子機器。

【請求項22】

コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ指令は前記コンピュータに請求項１～１０のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。

【請求項23】

プロセッサによって実行されると、請求項１～１０のいずれか１項に記載の方法が実現されるコンピュータプログラムを含むコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本開示は、２０２１年４月１５日に提出した、出願番号が２０２１１０４０４４１１．７で、発明の名称が「交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム製品」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本開示に組み込む。

【0002】

本開示は、人工知能分野に関し、具体的にコンピュータビジョンと深層学習技術に関し、高度道路交通のシーンに適用できる。

【背景技術】

【0003】

交通異常の検出は、都市の安全に非常に重要な役割を果たしており、交通異常が交通の通行効率を大幅に低下させるため、その検出と監視が必要である。交通異常が発生した場合、速やかに警察への通報と救援を行うことで、交通異常による交通の不具合を速やかに検出し、正常な交通に復旧することができる。

【0004】

従来の交通異常検出方法には、主に電磁誘導ループコイル式と波式があり、いずれも車両が通過する際の反射波の周波数変化を利用して車両情報を検出するものである。

【発明の概要】

【0005】

本開示の実施形態は、交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム製品を提出する。

【0006】

第１の態様では、本開示の実施形態は、交通映像ストリーム（ｖｉｄｅｏ ｓｔｒｅａｍ）を取得するステップと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップと、を含み、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための方法を提供する。

【0007】

第２の態様では、本開示の実施形態は、交通映像ストリームを取得するように構成される取得モジュールと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される追跡モジュールと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される分類モジュールとを備え、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための装置を提供する。

【0008】

第３の態様では、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納されており、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１態様のいずれかの実施形態に記載の方法を実行させる、電子機器を提供する。

【0009】

第４の態様では、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第１態様のいずれかの実施形態に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

【0010】

第５の態様では、プロセッサによって実行されると、第１態様のいずれかの実施形態に記載の方法が実行されるコンピュータプログラムを含むコンピュータプログラム製品を提供する。

【0011】

なお、発明の概要に記載された内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって理解しやすくなる。

【図面の簡単な説明】

【0012】

本開示の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。図面は本開示をよりよく理解するために用いられ、本開示に対する限定を構成しない。

【図1】本開示の実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。

【図2】本開示に係る交通異常を検出するための方法の一実施形態のフローチャートである。

【図3】決定木の概略図である。

【図4】本開示に係る交通異常を検出するための方法のもう一つの実施形態のフローチャートである。

【図5】本開示に係る交通異常を検出するための装置の一実施形態の構造概略図である。

【図6】本開示の実施形態に係る交通異常を検出するための方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下は、図面を参照して本開示の例示的な実施形態を説明し、ここで理解を助けるため、本開示の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

【0014】

なお、本開示の実施形態および実施形態における特徴は、矛盾が生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本開示を詳細に説明する。

【0015】

図１は、本開示の実施形態に係る交通異常を検出するための方法または交通異常を検出するための装置の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。

【0016】

図１に示すように、システムアーキテクチャ１００は、映像採集装置１０１と、ネットワーク１０２と、サーバ１０３とを含んでもよい。ネットワーク１０２は、映像採集装置１０１とサーバ１０３との間に通信リンクを提供するための媒体として使用される。ネットワーク１０２は、有線、無線通信リンクまたは光ファイバケーブルなどのような様々なタイプの接続を含んでもよい。

【0017】

画像等を送受信するために、映像採集装置１０１は、ネットワーク１０２を介してサーバ１０３と情報のやり取りをすることができる。

【0018】

映像採集装置１０１は、ハードウェアであってもよいし、ソフトウェアであってもよい。映像採集装置１０１がハードウェアである場合、カメラ付きのさまざまな電子機器であってもよい。映像採集装置１０１がソフトウェアである場合、上記電子機器にインストールされてもよい。複数のソフトウェア若しくはソフトウェアモジュールとして実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

【0019】

サーバ１０３は、様々なサービスを提供できる。例えば、サーバ１０３は、映像採集装置１０１から取得された交通映像ストリームを解析することなど処理してもよく、処理結果（例えば、交通異常の種別）を生成することができる。

【0020】

なお、サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装可能である。サーバ１０３がソフトウェアである場合、複数のソフトウェア若しくはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

【0021】

なお、本開示の実施形態に係る交通異常を検出するための方法は、通常、サーバ１０３によって実行され、これに対応して、交通異常を検出するための装置は、通常にサーバ１０３に設けられている。

【0022】

図１における映像採集装置、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要に応じて、映像採集装置、ネットワークおよびサーバの数を任意に加減してもよい。

【0023】

次に、本開示に係る交通異常を検出するための方法の一実施形態のフロー２００を示す図２を参照する。当該交通異常を検出するための方法は、次のステップを含む。

【0024】

ステップ２０１では、交通映像ストリームを取得する。

【0025】

本実施形態では、交通異常を検出するための方法の実行主体（例えば、図１に示すサーバ１０３）は、映像採集装置（例えば、図１に示す映像採集装置１０１）から交通映像ストリームを取得することができる。

【0026】

通常、映像採集装置は、そのカメラ範囲内の映像ストリームを採集するために固定されるように取り付けられている。例えば、信号柱または監視灯柱に設けられた監視カメラは、交通映像ストリームを採集することができ、高度道路交通の分野に応用できる。そのうち、映像採集装置は一定の期間（例えば４０ミリ秒）ごとに静止画像を連続的に採集することができ、交通映像ストリームを得ることができる。交通映像ストリームは、車両、歩行者などの通行過程を記録することができる。

【0027】

ステップ２０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。

【0028】

本実施形態では、上記実行主体は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断することができる。

【0029】

通常、車両の通行中に、正常な車両が正常に停止する（例えば、信号待ち）場合は停止時間が短い。異常車両の異常停止（例えば、強制された停車または違法停車など）の場合、停止時間が長い。このため、停止時間が所定期間（例えば１０分間）を超えた車両を異常停車の車両として特定することができる。

【0030】

上記実行主体は、交通映像ストリーム中の任意の車両について、交通映像ストリーム中の映像フレームにおける当該車両の位置を検出することができる。連続して一定数（例えば１５００フレーム）の映像フレームにおける当該車両の位置が変化しない場合、当該車両は異常停車中の車両であると判定する。映像採集装置は一定の時間（例えば４０ミリ秒）ごとに１フレームの映像フレームを採集するので、時間間隔と位置が変化しない映像フレームの数との積を計算すれば、当該車両の停止時間を得ることができる。

【0031】

ステップ２０３では、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得る。

【0032】

本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得ることができる。ここで、交通異常の種別としては、車両同士の衝突、車と人の衝突、駐車禁止違反、および車両故障などのタイプを含むが、これらに限定されるものではない。

【0033】

ここで、決定木は、交通異常で検出された特徴に基づいて生成されてもよい。異なる交通異常の種別は異なる特徴に対応しており、ここでは異なる交通異常の種別の特徴に基づいて決定木を構築することができる。決定木は、ルートノードと内部ノードを入力特徴の判定条件とし、リーフノードを最終結果とする木である。

【0034】

理解を助けるために、図３は決定木の概略図を示している。図３に示すように、トレーニングデータの入力は、異常停車中の車両の有無、異常停車中の車両の数が複数であるか否か、異常停車中の車両同士に接触があるか否か、異常な状態の人体が存在するか否か、異常停車中の車両の停止位置が道路側にあるか否か、警告標識が存在するか否かの計６つの特徴がある。これらのトレーニングデータから決定木を構築することができる。具体的に、次の通りである。

【0035】

まず、ルートノードを選択する。

【0036】

様々なタイプの交通異常に車両の異常停車が存在する。したがって、異常停車中の車両の有無をルートノード３０１としてもよい。

【0037】

次に、内部ノードとリーフノードを選択する。

【0038】

また、「車両同士の衝突」というタイプの特徴はさらに、異常停車中の車両の数が複数であること、異常停車中の車両同士が接触したことも含まれる。したがって、異常停車中の車両の数が複数であるか否かをルートノード３０１の子ノード３０２とし、異常停車中の車両同士に接触があったか否かをノード３０２の子ノード３０３とし、「車両同士の衝突」というタイプをノード３０３のリーフノード３０４としてもよい。

【0039】

「車と人の衝突」タイプの特徴の場合は、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在することもさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がなく、異常な状態の人体が存在することもさらに含む。したがって、異常な状態の人体が存在するか否かをノード３０２とノード３０３の子ノード３０５とし、「車と人の衝突」というタイプをノード３０５のリーフノード３０６としてもよい。

【0040】

同様に、「駐車禁止違反」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。このため、異常停車中の車両の停止位置が道路側にあるか否かをノード３０５の子ノード３０７とし、「駐車禁止違反」タイプをノード３０７のリーフノード３０８としてもよい。

【0041】

同様に、「車両故障」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。したがって、警告標識の有無をノード３０７の子ノード３０９とし、「車両故障」タイプをノード３０９のリーフノード３１０としてもよい。また、特徴に警告標識が存在しないことがさらに含まれる場合は「駐車禁止違反」タイプに対応する。したがって、リーフノード３０８をノード３０９のリーフノードとしてもよい。

【0042】

本開示の実施形態は、映像ストリームに基づく交通異常検出方法を提供し、まず交通映像ストリームに対して検出、追跡を行い、異常停車中の車両を特定し、その後決定木を用いて交通異常の分類を行い、高度道路交通システムに組み込むことで、問題を早急に突き止め、正常な交通を回復することができる。また、検出および追跡によって異常停車中の車両を特定することで、撮影角度の変化、高密度の車両の流れ、目標車両ギア、天気の状況（例えば、雨、雪）、光の照射の変化（例えば、昼と夜）、採集データの解像度の低下と真実のシーンデータの不足などの要因の影響を受けず、交通異常の検出のロバストネスを高めた。決定木による交通異常の分類は、決定木が交通異常で検出された特徴に基づいて生成されたものであるため、より全面的な交通情報を提供することができ、交通異常の検出結果をより全面的にすることができる。

【0043】

さらに、本開示に係る交通異常を検出するための方法のもう一つの実施形態のフロー４００を示す図４を参照する。当該交通異常を検出するための方法は、次のステップを含む。

【0044】

ステップ４０１では、交通映像ストリームを取得する。

【0045】

ステップ４０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。

【0046】

本実施形態では、ステップ４０１～４０２の具体的な動作は、図２に示す実施形態のステップ２０１～２０２の動作に詳しく説明したので、ここではその説明を省略する。

【0047】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して車両検出追跡結果を取得し、車両検出追跡結果に基づいて異常停車中の車両が存在するか否かを判定することができる。ここで、車両検出追跡結果は車両の走行軌跡を含んでもよい。車両の走行軌跡は、車両位置が時間とともに変化することを表すことができる。車両の走行軌跡中の車両位置が所定時間を超えても変化しない場合は、異常停車中の車両であることを意味する。車両検出追跡モデルは、車両を検出、追跡するために用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル交通映像ストリームおよびサンプル車両走行軌跡を含んでもよい。深層学習方法に基づいて車両の検出、追跡を行うことで、車両検出追跡の効率と精度を向上させた。

【0048】

ステップ４０３では、異常停車中の車両の数を統計し、複数であるか否かを判断する。

【0049】

本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車中の車両の数を統計し、複数であるか否かを判断することができる。異常停車中の車両の数が複数である場合はステップ４０４を実行し、異常停車中の車両の数が１台である場合はステップ４０６を実行する。

【0050】

なお、異常停車中の車両の数を統計する場合、同一映像フレームに存在する異常停車中の車両の数を統計する。車両検出追跡時、交通映像ストリーム中の映像フレームをフレーム毎に検出追跡するので、車両の検出、追跡結果を得る際に、異常停車中の車両の数を同時に得ることができる。

【0051】

ステップ４０４では、異常停車中の車両同士に接触の有無を判断する。

【0052】

本実施形態では、異常停車中の車両の数が複数である場合に、上記実行主体は、異常停車中の車両同士が接触しているか否かを判断することができる。異常停車中の車両間に接触がある場合、ステップ４０５を実行し、異常停車中の車両間に接触がない場合、ステップ４０６を実行する。

【0053】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算してもよい。ＩｏＵが０に等しいでない場合には、異常停車中の車両間に接触があると判定し、ＩｏＵが０に等しいである場合には、異常停車中の車両間に接触がないと判定することにより、異常停車中の車両間の接触の有無を迅速に判定することができるようになる。

【0054】

一般的に、交通映像ストリームに対して車両の検出、追跡を行う場合、車両の位置を特定するために車両の境界ボックスを検出するようにする。異常停車中の車両の数が複数である場合は、対応する映像フレームに異常停車中の車両の境界ボックスが複数存在することになる。少なくとも２つの異常停車中の車両の境界ボックスに交差が存在し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があることを意味する。もし、すべての異常停車中の車両の境界ボックスのいずれも交差が存在しておらず、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないことを意味する。

【0055】

ステップ４０５では、「車両同士の衝突」タイプであると判定する。

【0056】

本実施形態では、異常停車中の車両の数が複数であり、かつ、異常停車中の車両同士が接触している場合には、「車両同士の衝突」タイプであると判定することができる。

【0057】

ステップ４０６では、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断する。

【0058】

本実施形態では、異常停車中の車両の数が１台である場合、または、異常停車中の車両の数が複数であって車両同士に接触がない場合に、上記実行主体はさらに、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断することができる。異常な状態の人体が存在する場合はステップ４０７を実行し、異常な状態の人体が存在しない場合はステップ４０８を実行する。ここで、異常な状態の人体とは、行動が異常な人体であってもよい。例えば、正常な通行の時に、道路上の歩行者は、直立の姿で歩行するかライド姿で走行する。交通事故が発生した場合、道路上の歩行者は、通常、地面に座ったり、地面に横たわったりする。異常な状態の人体は、地面に座ったり、地面に横たわったりする人体であってもよい。

【0059】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力して人体行動結果を取得し、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判定することができる。そのうち、人体行動結果は人体行動を記録するために用いられ、人体行動が地面に座り、または地面に横たわる場合、対応する人体は異常な状態の人体になる。人体行動モデルは人体行動の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られたものである。ここでのトレーニングサンプルセット内のトレーニングサンプルは、サンプル映像フレームおよびサンプル人体行動ラベルを含んでもよい。深層学習方法に基づいて人体行動を検出することで、人体行動の検出効率と精度を向上した。

【0060】

ステップ４０７では、「車と人の衝突」タイプであると判定する。

【0061】

本実施形態では、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定できる。

【0062】

ステップ４０８では、異常停車中の車両の停止位置が道路側にあるか否かを判断する。

【0063】

本実施形態では、異常な状態の人体が存在しない場合に、上記実行主体は、異常停車中の車両の停止位置が道路側にあるか否かを判断することができる。異常停車中の車両の停止位置が道路側にある場合はステップ４１１を実行し、異常停車中の車両の停止位置が道路側にない場合はステップ４０９を実行する。

【0064】

通常、道路側領域を予め入力しておき、車両位置が道路側領域内にあるか否かを特定することができる。車両位置が道路側領域内にある場合、異常停車中の車両の停止位置が道路側にあることを意味し、車両位置が道路側領域外にある場合、異常停車中の車両の停止位置が道路側にないことを意味する。

【0065】

ステップ４０９では、異常停車に対応する映像フレームに警告標識が存在するか否かを判断する。

【0066】

本実施形態では、異常停車中の車両の停止位置が道路側にない場合に、上記実行主体は、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。警告標識が存在する場合はステップ４１０を実行し、警告標識が存在しない場合はステップ４１１を実行する。ここでの警告標識は通常、三角の標識である。

【0067】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力して警告標識検出結果を取得し、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。このうち、警告標識検出モデルは、警告標識の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル映像フレームおよびサンプル警告標識ラベルを含んでもよい。深層学習方法に基づいて警告標識を検出することにより、警告標識の検出効率と精度を向上した。

【0068】

ステップ４１０では、「車両故障」タイプであると判定する。

【0069】

本実施形態では、警告標識が存在する場合、「車両故障」タイプであると判定することができる。

【0070】

ステップ４１１では、「駐車禁止違反」タイプであると判定する。

【0071】

本実施形態では、異常停車中の車両の停止位置が道路側にある場合、または、異常停車中の車両の停止位置が道路側ではなく、かつ、警告標識が存在しない場合は、「駐車禁止違反」タイプであると判定することができる。

【0072】

図４から分かるように、図２の対応する実施形態と比較すると、本実施形態における交通異常を検出するための方法は、交通異常を分類するステップが強調されている。このように、本実施形態では、交通映像ストリームから交通異常検出の特徴をマイニング、交通異常検出の特徴に基づいて決定木を探索することにより、交通異常の種別を迅速にマッチングして見つけ出すことができる。例えば、異常停車中の車両の数が複数であり、車両同士に接触があるという特徴を検出した場合には、「車両同士の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在するという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がないという特徴を検出した場合、および異常な状態の人体が存在する特徴を検出した場合には、「車と人の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がなく、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、警告標識がないという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識がないという特徴を検出した場合、「駐車禁止違反」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、「車両故障」というタイプを決定木から迅速に見つけ出すことができる。

【0073】

更に図５を参照すると、上記の各図に示された方法の実施態様として、本開示は、交通異常を検出するための装置の一実施形態を提供し、当該装置の実施形態は、図２に示された方法の実施形態に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。

【0074】

図５に示すように、本実施形態の交通異常を検出するための装置５００は、取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３とを備えてもよい。このうち、取得モジュール５０１は、交通映像ストリームを取得するように構成される。追跡モジュール５０２は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される。分類モジュール５０３は、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される。決定木は、交通異常で検出された特徴に基づいて生成される。

【0075】

本実施形態において、交通異常を検出するための装置５００における取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３の具体的な処理およびそれらによって奏される技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０３の関連する説明を参照することができ、ここでその説明を省略する。

【0076】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数を統計するように構成される統計サブモジュールと、異常停車中の車両の数が複数である場合に、異常停車中の車両同士に接触があるか否かを判断するように構成される第１の判断サブモジュールと、異常停車中の車両同士に接触がある場合に、「車両同士の衝突」タイプであると判定するように構成される第２の判定サブモジュールと、を備える。

【0077】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数が１台である場合、または異常停車中の車両の数が複数であり、かつ車両同士に接触がない場合に、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するように構成される第３の判断サブモジュールと、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するように構成される第４の判定サブモジュールと、をさらに備える。

【0078】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常な状態の人体が存在しない場合、異常停車中の車両の停止位置を特定するように構成される第５の特定サブモジュールと、異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するように構成される第６の判定サブモジュールと、をさらに備える。

【0079】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の停止位置が道路側ではない場合、異常停車に対応する映像フレームに警告標識が存在するか否かを判断するように構成される第７の判断サブモジュールと、警告標識が存在する場合に、「車両故障」タイプであると判定するように構成される第８の判定サブモジュールと、をさらに備える。

【0080】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するように構成される第８の判定サブモジュールをさらに備える。

【0081】

本実施形態のいくつかのオプション的な実施形態では、追跡モジュール５０２は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得し、車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するようにさらに構成される。

【0082】

本実施形態のいくつかのオプション的な実施形態では、第１の判断サブモジュールは、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があると判定し、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないと判定するようにさらに構成される。

【0083】

本実施形態のいくつかのオプション的な実施形態では、第３の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するようにさらに構成される。

【0084】

本実施形態のいくつかのオプション的な実施形態では、第７の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判定するようにさらに構成される。

【0085】

本開示の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連の法律法規の規定に準拠し、且つ公序良俗に反しない。

【0086】

本開示の実施形態によれば、本開示はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。

【0087】

図６は、本開示の実施形態を実施するために使用できる例示的な電子機器６００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。

【0088】

図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラムまたは記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット６０１を備える。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0089】

電子機器６００において、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークプラグイン、モデム、無線通信送受信機などの通信ユニット６０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、電子機器６００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。

【0090】

計算ユニット６０１は、処理及び計算能力を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した交通異常を検出するための方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、交通異常を検出するための方法は、記憶ユニット６０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して電子機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述の交通異常を検出するための方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット６０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）、交通異常を検出するための方法を実行するように構成されていてもよい。

【0091】

ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。

【0092】

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

【0093】

本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納してもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

【0094】

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

【0095】

ここで説明したシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインターフェースまたはウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

【0096】

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。

【0097】

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解すべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。

【0098】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2022-09-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項23】

プロセッサによって実行されると、請求項１～１０のいずれか１項に記載の方法が実現されるコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本開示は、２０２１年４月１５日に提出した、出願番号が２０２１１０４０４４１１．７で、発明の名称が「交通異常を検出するための方法、装置、機器、記憶媒体およびプログラム製品」である中国特許出願に基づく優先権を主張し、当該出願の全文を引用により本開示に組み込む。

【0002】

本開示は、人工知能分野に関し、具体的にコンピュータビジョンと深層学習技術に関し、高度道路交通のシーンに適用できる。

【背景技術】

【0003】

交通異常の検出は、都市の安全に非常に重要な役割を果たしており、交通異常が交通の通行効率を大幅に低下させるため、その検出と監視が必要である。交通異常が発生した場合、速やかに警察への通報と救援を行うことで、交通異常による交通の不具合を速やかに検出し、正常な交通に復旧することができる。

【0004】

従来の交通異常検出方法には、主に電磁誘導ループコイル式と波式があり、いずれも車両が通過する際の反射波の周波数変化を利用して車両情報を検出するものである。

【発明の概要】

【0005】

本開示の実施形態は、交通異常を検出するための方法、装置、機器、記憶媒体およびプログラムを提出する。

【0006】

第１の態様では、本開示の実施形態は、交通映像ストリーム（ｖｉｄｅｏ ｓｔｒｅａｍ）を取得するステップと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するステップと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るステップと、を含み、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための方法を提供する。

【0007】

第２の態様では、本開示の実施形態は、交通映像ストリームを取得するように構成される取得モジュールと、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される追跡モジュールと、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される分類モジュールとを備え、決定木は、交通異常で検出された特徴に基づいて生成される、交通異常を検出するための装置を提供する。

【0008】

第３の態様では、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納されており、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１態様のいずれかの実施形態に記載の方法を実行させる、電子機器を提供する。

【0009】

第４の態様では、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第１態様のいずれかの実施形態に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

【0010】

第５の態様では、プロセッサによって実行されると、第１態様のいずれかの実施形態に記載の方法が実行されるコンピュータプログラムを提供する。

【0011】

なお、発明の概要に記載された内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって理解しやすくなる。

【図面の簡単な説明】

【0012】

本開示の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。図面は本開示をよりよく理解するために用いられ、本開示に対する限定を構成しない。

【図1】本開示の実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。

【図2】本開示に係る交通異常を検出するための方法の一実施形態のフローチャートである。

【図3】決定木の概略図である。

【図4】本開示に係る交通異常を検出するための方法のもう一つの実施形態のフローチャートである。

【図5】本開示に係る交通異常を検出するための装置の一実施形態の構造概略図である。

【図6】本開示の実施形態に係る交通異常を検出するための方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下は、図面を参照して本開示の例示的な実施形態を説明し、ここで理解を助けるため、本開示の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

【0014】

なお、本開示の実施形態および実施形態における特徴は、矛盾が生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本開示を詳細に説明する。

【0015】

図１は、本開示の実施形態に係る交通異常を検出するための方法または交通異常を検出するための装置の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。

【0016】

図１に示すように、システムアーキテクチャ１００は、映像採集装置１０１と、ネットワーク１０２と、サーバ１０３とを含んでもよい。ネットワーク１０２は、映像採集装置１０１とサーバ１０３との間に通信リンクを提供するための媒体として使用される。ネットワーク１０２は、有線、無線通信リンクまたは光ファイバケーブルなどのような様々なタイプの接続を含んでもよい。

【0017】

画像等を送受信するために、映像採集装置１０１は、ネットワーク１０２を介してサーバ１０３と情報のやり取りをすることができる。

【0018】

映像採集装置１０１は、ハードウェアであってもよいし、ソフトウェアであってもよい。映像採集装置１０１がハードウェアである場合、カメラ付きのさまざまな電子機器であってもよい。映像採集装置１０１がソフトウェアである場合、上記電子機器にインストールされてもよい。複数のソフトウェア若しくはソフトウェアモジュールとして実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

【0019】

サーバ１０３は、様々なサービスを提供できる。例えば、サーバ１０３は、映像採集装置１０１から取得された交通映像ストリームを解析することなど処理してもよく、処理結果（例えば、交通異常の種別）を生成することができる。

【0020】

なお、サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装可能である。サーバ１０３がソフトウェアである場合、複数のソフトウェア若しくはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実装されてもよい。ここでは特に限定しない。

【0021】

なお、本開示の実施形態に係る交通異常を検出するための方法は、通常、サーバ１０３によって実行され、これに対応して、交通異常を検出するための装置は、通常にサーバ１０３に設けられている。

【0022】

図１における映像採集装置、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要に応じて、映像採集装置、ネットワークおよびサーバの数を任意に加減してもよい。

【0023】

次に、本開示に係る交通異常を検出するための方法の一実施形態のフロー２００を示す図２を参照する。当該交通異常を検出するための方法は、次のステップを含む。

【0024】

ステップ２０１では、交通映像ストリームを取得する。

【0025】

本実施形態では、交通異常を検出するための方法の実行主体（例えば、図１に示すサーバ１０３）は、映像採集装置（例えば、図１に示す映像採集装置１０１）から交通映像ストリームを取得することができる。

【0026】

通常、映像採集装置は、そのカメラ範囲内の映像ストリームを採集するために固定されるように取り付けられている。例えば、信号柱または監視灯柱に設けられた監視カメラは、交通映像ストリームを採集することができ、高度道路交通の分野に応用できる。そのうち、映像採集装置は一定の期間（例えば４０ミリ秒）ごとに静止画像を連続的に採集することができ、交通映像ストリームを得ることができる。交通映像ストリームは、車両、歩行者などの通行過程を記録することができる。

【0027】

ステップ２０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。

【0028】

本実施形態では、上記実行主体は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断することができる。

【0029】

通常、車両の通行中に、正常な車両が正常に停止する（例えば、信号待ち）場合は停止時間が短い。異常車両の異常停止（例えば、強制された停車または違法停車など）の場合、停止時間が長い。このため、停止時間が所定期間（例えば１０分間）を超えた車両を異常停車の車両として特定することができる。

【0030】

上記実行主体は、交通映像ストリーム中の任意の車両について、交通映像ストリーム中の映像フレームにおける当該車両の位置を検出することができる。連続して一定数（例えば１５００フレーム）の映像フレームにおける当該車両の位置が変化しない場合、当該車両は異常停車中の車両であると判定する。映像採集装置は一定の時間（例えば４０ミリ秒）ごとに１フレームの映像フレームを採集するので、時間間隔と位置が変化しない映像フレームの数との積を計算すれば、当該車両の停止時間を得ることができる。

【0031】

ステップ２０３では、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得る。

【0032】

本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得ることができる。ここで、交通異常の種別としては、車両同士の衝突、車と人の衝突、駐車禁止違反、および車両故障などのタイプを含むが、これらに限定されるものではない。

【0033】

ここで、決定木は、交通異常で検出された特徴に基づいて生成されてもよい。異なる交通異常の種別は異なる特徴に対応しており、ここでは異なる交通異常の種別の特徴に基づいて決定木を構築することができる。決定木は、ルートノードと内部ノードを入力特徴の判定条件とし、リーフノードを最終結果とする木である。

【0034】

理解を助けるために、図３は決定木の概略図を示している。図３に示すように、トレーニングデータの入力は、異常停車中の車両の有無、異常停車中の車両の数が複数であるか否か、異常停車中の車両同士に接触があるか否か、異常な状態の人体が存在するか否か、異常停車中の車両の停止位置が道路側にあるか否か、警告標識が存在するか否かの計６つの特徴がある。これらのトレーニングデータから決定木を構築することができる。具体的に、次の通りである。

【0035】

まず、ルートノードを選択する。

【0036】

様々なタイプの交通異常に車両の異常停車が存在する。したがって、異常停車中の車両の有無をルートノード３０１としてもよい。

【0037】

次に、内部ノードとリーフノードを選択する。

【0038】

また、「車両同士の衝突」というタイプの特徴はさらに、異常停車中の車両の数が複数であること、異常停車中の車両同士が接触したことも含まれる。したがって、異常停車中の車両の数が複数であるか否かをルートノード３０１の子ノード３０２とし、異常停車中の車両同士に接触があったか否かをノード３０２の子ノード３０３とし、「車両同士の衝突」というタイプをノード３０３のリーフノード３０４としてもよい。

【0039】

「車と人の衝突」タイプの特徴の場合は、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在することもさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がなく、異常な状態の人体が存在することもさらに含む。したがって、異常な状態の人体が存在するか否かをノード３０２とノード３０３の子ノード３０５とし、「車と人の衝突」というタイプをノード３０５のリーフノード３０６としてもよい。

【0040】

同様に、「駐車禁止違反」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にあることとをさらに含む。このため、異常停車中の車両の停止位置が道路側にあるか否かをノード３０５の子ノード３０７とし、「駐車禁止違反」タイプをノード３０７のリーフノード３０８としてもよい。

【0041】

同様に、「車両故障」タイプの特徴も、異常停車中の車両の数が複数であるか単一であるかを制限しない。異常停車中の車両の数が１台であるという特徴を含む場合は、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。異常停車中の車両の数が複数であるという特徴を含む場合は、異常停車中の車両同士に接触がないことと、異常な状態の人体が存在しないことと、異常停車中の車両の停止位置が道路側にないことと、警告標識が存在することとをさらに含む。したがって、警告標識の有無をノード３０７の子ノード３０９とし、「車両故障」タイプをノード３０９のリーフノード３１０としてもよい。また、特徴に警告標識が存在しないことがさらに含まれる場合は「駐車禁止違反」タイプに対応する。したがって、リーフノード３０８をノード３０９のリーフノードとしてもよい。

【0042】

本開示の実施形態は、映像ストリームに基づく交通異常検出方法を提供し、まず交通映像ストリームに対して検出、追跡を行い、異常停車中の車両を特定し、その後決定木を用いて交通異常の分類を行い、高度道路交通システムに組み込むことで、問題を早急に突き止め、正常な交通を回復することができる。また、検出および追跡によって異常停車中の車両を特定することで、撮影角度の変化、高密度の車両の流れ、目標車両ギア、天気の状況（例えば、雨、雪）、光の照射の変化（例えば、昼と夜）、採集データの解像度の低下と真実のシーンデータの不足などの要因の影響を受けず、交通異常の検出のロバストネスを高めた。決定木による交通異常の分類は、決定木が交通異常で検出された特徴に基づいて生成されたものであるため、より全面的な交通情報を提供することができ、交通異常の検出結果をより全面的にすることができる。

【0043】

さらに、本開示に係る交通異常を検出するための方法のもう一つの実施形態のフロー４００を示す図４を参照する。当該交通異常を検出するための方法は、次のステップを含む。

【0044】

ステップ４０１では、交通映像ストリームを取得する。

【0045】

ステップ４０２では、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断する。

【0046】

本実施形態では、ステップ４０１～４０２の具体的な動作は、図２に示す実施形態のステップ２０１～２０２の動作に詳しく説明したので、ここではその説明を省略する。

【0047】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して車両検出追跡結果を取得し、車両検出追跡結果に基づいて異常停車中の車両が存在するか否かを判定することができる。ここで、車両検出追跡結果は車両の走行軌跡を含んでもよい。車両の走行軌跡は、車両位置が時間とともに変化することを表すことができる。車両の走行軌跡中の車両位置が所定時間を超えても変化しない場合は、異常停車中の車両であることを意味する。車両検出追跡モデルは、車両を検出、追跡するために用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル交通映像ストリームおよびサンプル車両走行軌跡を含んでもよい。深層学習方法に基づいて車両の検出、追跡を行うことで、車両検出追跡の効率と精度を向上させた。

【0048】

ステップ４０３では、異常停車中の車両の数を統計し、複数であるか否かを判断する。

【0049】

本実施形態では、異常停車中の車両が存在する場合、上記実行主体は、異常停車中の車両の数を統計し、複数であるか否かを判断することができる。異常停車中の車両の数が複数である場合はステップ４０４を実行し、異常停車中の車両の数が１台である場合はステップ４０６を実行する。

【0050】

なお、異常停車中の車両の数を統計する場合、同一映像フレームに存在する異常停車中の車両の数を統計する。車両検出追跡時、交通映像ストリーム中の映像フレームをフレーム毎に検出追跡するので、車両の検出、追跡結果を得る際に、異常停車中の車両の数を同時に得ることができる。

【0051】

ステップ４０４では、異常停車中の車両同士に接触の有無を判断する。

【0052】

本実施形態では、異常停車中の車両の数が複数である場合に、上記実行主体は、異常停車中の車両同士が接触しているか否かを判断することができる。異常停車中の車両間に接触がある場合、ステップ４０５を実行し、異常停車中の車両間に接触がない場合、ステップ４０６を実行する。

【0053】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算してもよい。ＩｏＵが０に等しいでない場合には、異常停車中の車両間に接触があると判定し、ＩｏＵが０に等しいである場合には、異常停車中の車両間に接触がないと判定することにより、異常停車中の車両間の接触の有無を迅速に判定することができるようになる。

【0054】

一般的に、交通映像ストリームに対して車両の検出、追跡を行う場合、車両の位置を特定するために車両の境界ボックスを検出するようにする。異常停車中の車両の数が複数である場合は、対応する映像フレームに異常停車中の車両の境界ボックスが複数存在することになる。少なくとも２つの異常停車中の車両の境界ボックスに交差が存在し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があることを意味する。もし、すべての異常停車中の車両の境界ボックスのいずれも交差が存在しておらず、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないことを意味する。

【0055】

ステップ４０５では、「車両同士の衝突」タイプであると判定する。

【0056】

本実施形態では、異常停車中の車両の数が複数であり、かつ、異常停車中の車両同士が接触している場合には、「車両同士の衝突」タイプであると判定することができる。

【0057】

ステップ４０６では、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断する。

【0058】

本実施形態では、異常停車中の車両の数が１台である場合、または、異常停車中の車両の数が複数であって車両同士に接触がない場合に、上記実行主体はさらに、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断することができる。異常な状態の人体が存在する場合はステップ４０７を実行し、異常な状態の人体が存在しない場合はステップ４０８を実行する。ここで、異常な状態の人体とは、行動が異常な人体であってもよい。例えば、正常な通行の時に、道路上の歩行者は、直立の姿で歩行するかライド姿で走行する。交通事故が発生した場合、道路上の歩行者は、通常、地面に座ったり、地面に横たわったりする。異常な状態の人体は、地面に座ったり、地面に横たわったりする人体であってもよい。

【0059】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力して人体行動結果を取得し、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判定することができる。そのうち、人体行動結果は人体行動を記録するために用いられ、人体行動が地面に座り、または地面に横たわる場合、対応する人体は異常な状態の人体になる。人体行動モデルは人体行動の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られたものである。ここでのトレーニングサンプルセット内のトレーニングサンプルは、サンプル映像フレームおよびサンプル人体行動ラベルを含んでもよい。深層学習方法に基づいて人体行動を検出することで、人体行動の検出効率と精度を向上した。

【0060】

ステップ４０７では、「車と人の衝突」タイプであると判定する。

【0061】

本実施形態では、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定できる。

【0062】

ステップ４０８では、異常停車中の車両の停止位置が道路側にあるか否かを判断する。

【0063】

本実施形態では、異常な状態の人体が存在しない場合に、上記実行主体は、異常停車中の車両の停止位置が道路側にあるか否かを判断することができる。異常停車中の車両の停止位置が道路側にある場合はステップ４１１を実行し、異常停車中の車両の停止位置が道路側にない場合はステップ４０９を実行する。

【0064】

通常、道路側領域を予め入力しておき、車両位置が道路側領域内にあるか否かを特定することができる。車両位置が道路側領域内にある場合、異常停車中の車両の停止位置が道路側にあることを意味し、車両位置が道路側領域外にある場合、異常停車中の車両の停止位置が道路側にないことを意味する。

【0065】

ステップ４０９では、異常停車に対応する映像フレームに警告標識が存在するか否かを判断する。

【0066】

本実施形態では、異常停車中の車両の停止位置が道路側にない場合に、上記実行主体は、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。警告標識が存在する場合はステップ４１０を実行し、警告標識が存在しない場合はステップ４１１を実行する。ここでの警告標識は通常、三角の標識である。

【0067】

本実施形態のいくつかのオプション的な実施形態では、上記実行主体は、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力して警告標識検出結果を取得し、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判断することができる。このうち、警告標識検出モデルは、警告標識の検出に用いることができ、トレーニングサンプルセットを用いてニューラルネットワークをトレーニングして得られる。ここでのトレーニングサンプルセットのトレーニングサンプルは、サンプル映像フレームおよびサンプル警告標識ラベルを含んでもよい。深層学習方法に基づいて警告標識を検出することにより、警告標識の検出効率と精度を向上した。

【0068】

ステップ４１０では、「車両故障」タイプであると判定する。

【0069】

本実施形態では、警告標識が存在する場合、「車両故障」タイプであると判定することができる。

【0070】

ステップ４１１では、「駐車禁止違反」タイプであると判定する。

【0071】

本実施形態では、異常停車中の車両の停止位置が道路側にある場合、または、異常停車中の車両の停止位置が道路側ではなく、かつ、警告標識が存在しない場合は、「駐車禁止違反」タイプであると判定することができる。

【0072】

図４から分かるように、図２の対応する実施形態と比較すると、本実施形態における交通異常を検出するための方法は、交通異常を分類するステップが強調されている。このように、本実施形態では、交通映像ストリームから交通異常検出の特徴をマイニング、交通異常検出の特徴に基づいて決定木を探索することにより、交通異常の種別を迅速にマッチングして見つけ出すことができる。例えば、異常停車中の車両の数が複数であり、車両同士に接触があるという特徴を検出した場合には、「車両同士の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在するという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がないという特徴を検出した場合、および異常な状態の人体が存在する特徴を検出した場合には、「車と人の衝突」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、車両同士に接触がなく、異常な状態の人体が存在せず、及び異常停車中の車両の停止位置が道路側にあるという特徴を検出した場合、または、異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、警告標識がないという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識がないという特徴を検出した場合、「駐車禁止違反」というタイプを決定木から迅速に見つけ出すことができる。異常停車中の車両の数が１台であり、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、または、異常停車中の車両の数が複数であり、かつ車両同士に接触がなく、異常な状態の人体が存在せず、異常停車中の車両の停止位置が道路側ではなく、及び警告標識があるという特徴を検出した場合、「車両故障」というタイプを決定木から迅速に見つけ出すことができる。

【0073】

更に図５を参照すると、上記の各図に示された方法の実施態様として、本開示は、交通異常を検出するための装置の一実施形態を提供し、当該装置の実施形態は、図２に示された方法の実施形態に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。

【0074】

図５に示すように、本実施形態の交通異常を検出するための装置５００は、取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３とを備えてもよい。このうち、取得モジュール５０１は、交通映像ストリームを取得するように構成される。追跡モジュール５０２は、交通映像ストリームに対して車両の検出、追跡を行い、異常停車中の車両が存在するか否かを判断し、停止時間が所定時間を超えた場合、異常停車であると判定するように構成される。分類モジュール５０３は、異常停車中の車両が存在する場合、異常停車に対応する映像フレームに対して決定木を用いて交通異常の分類を行い、交通異常の種別を得るように構成される。決定木は、交通異常で検出された特徴に基づいて生成される。

【0075】

本実施形態において、交通異常を検出するための装置５００における取得モジュール５０１と、追跡モジュール５０２と、分類モジュール５０３の具体的な処理およびそれらによって奏される技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０３の関連する説明を参照することができ、ここでその説明を省略する。

【0076】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数を統計するように構成される統計サブモジュールと、異常停車中の車両の数が複数である場合に、異常停車中の車両同士に接触があるか否かを判断するように構成される第１の判断サブモジュールと、異常停車中の車両同士に接触がある場合に、「車両同士の衝突」タイプであると判定するように構成される第２の判定サブモジュールと、を備える。

【0077】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の数が１台である場合、または異常停車中の車両の数が複数であり、かつ車両同士に接触がない場合に、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するように構成される第３の判断サブモジュールと、異常な状態の人体が存在する場合、「車と人の衝突」タイプであると判定するように構成される第４の判定サブモジュールと、をさらに備える。

【0078】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常な状態の人体が存在しない場合、異常停車中の車両の停止位置を特定するように構成される第５の特定サブモジュールと、異常停車中の車両の停止位置が道路側にある場合、「駐車禁止違反」タイプであると判定するように構成される第６の判定サブモジュールと、をさらに備える。

【0079】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、異常停車中の車両の停止位置が道路側ではない場合、異常停車に対応する映像フレームに警告標識が存在するか否かを判断するように構成される第７の判断サブモジュールと、警告標識が存在する場合に、「車両故障」タイプであると判定するように構成される第８の判定サブモジュールと、をさらに備える。

【0080】

本実施形態のいくつかのオプション的な実施形態では、分類モジュール５０３は、警告標識が存在しない場合に、「駐車禁止違反」タイプであると判定するように構成される第８の判定サブモジュールをさらに備える。

【0081】

本実施形態のいくつかのオプション的な実施形態では、追跡モジュール５０２は、交通映像ストリームを事前トレーニング済みの車両検出追跡モデルに入力して、車両の検出、追跡結果を取得し、車両の検出、追跡結果に基づいて、異常停車中の車両が存在するか否かを判断するようにさらに構成される。

【0082】

本実施形態のいくつかのオプション的な実施形態では、第１の判断サブモジュールは、異常停車中の車両の境界ボックス間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を計算し、ＩｏＵが０に等しいでない場合、異常停車中の車両同士に接触があると判定し、ＩｏＵが０に等しいである場合、異常停車中の車両同士に接触がないと判定するようにさらに構成される。

【0083】

本実施形態のいくつかのオプション的な実施形態では、第３の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの人体行動モデルに入力し、人体行動結果を得、人体行動結果に基づいて、異常停車に対応する映像フレームに異常な状態の人体が存在するか否かを判断するようにさらに構成される。

【0084】

本実施形態のいくつかのオプション的な実施形態では、第７の判断サブモジュールは、異常停車に対応する映像フレームを事前トレーニング済みの警告標識検出モデルに入力し、警告標識検出結果を得、警告標識検出結果に基づいて、異常停車に対応する映像フレームに警告標識が存在するか否かを判定するようにさらに構成される。

【0085】

本開示の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連の法律法規の規定に準拠し、且つ公序良俗に反しない。

【0086】

本開示の実施形態によれば、本開示はさらに電子機器、読み取り可能な記憶媒体およびコンピュータプログラムを提供する。

【0087】

図６は、本開示の実施形態を実施するために使用できる例示的な電子機器６００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。

【0088】

図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラムまたは記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット６０１を備える。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0089】

電子機器６００において、キーボード、マウスなどの入力ユニット６０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークプラグイン、モデム、無線通信送受信機などの通信ユニット６０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース６０５に接続されている。通信ユニット６０９は、電子機器６００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。

【0090】

計算ユニット６０１は、処理及び計算能力を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例示として、中央処理装置（ＣＰＵ）、グラフィックスプロセシングユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した交通異常を検出するための方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、交通異常を検出するための方法は、記憶ユニット６０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ６０２および／または通信ユニット６０９を介して電子機器６００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述の交通異常を検出するための方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット６０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）、交通異常を検出するための方法を実行するように構成されていてもよい。

【0091】

ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。

【0092】

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

【0093】

本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納してもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

【0094】

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

【0095】

ここで説明したシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインターフェースまたはウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

【0096】

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。

【0097】

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解すべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。

【0098】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【国際調査報告】