特許 7111873 信号灯識別方法、装置、デバイス、記憶媒体及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-25

(45)【発行日】2022-08-02

(54)【発明の名称】信号灯識別方法、装置、デバイス、記憶媒体及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220726BHJP

   G08G 1/09 20060101ALI20220726BHJP

【ＦＩ】

G06T7/00 650A

G08G1/09 D

【請求項の数】 17

(21)【出願番号】P 2021123633

(22)【出願日】2021-07-28

(65)【公開番号】P2021170399

(43)【公開日】2021-10-28

【審査請求日】2021-07-28

(31)【優先権主張番号】202011538830.1

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】リー ワン

(72)【発明者】

【氏名】チンジェン サン

(72)【発明者】

【氏名】シュチン ソン

(72)【発明者】

【氏名】ヤン ザオ

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２００１－２３６６００（ＪＰ，Ａ）

【文献】特開２００５－１４７８８４（ＪＰ，Ａ）

【文献】特開平０８－３２９３８４（ＪＰ，Ａ）

【文献】特開２０１９－０７９３９８（ＪＰ，Ａ）

【文献】特開２０１５－１２８５１０（ＪＰ，Ａ）

【文献】特開平０７－２１０６６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／００

Ｂ６０Ｒ ２１／００

Ａ６３Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得ることと、
前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、前記実際の信号灯と前記模擬の信号灯との間の時間遅延を決定することと、を含む、
信号灯識別方法。

【請求項2】

処理対象ビデオに対してフレーム化処理を行い、信号灯識別を行うべき、実際の信号灯と模擬の信号灯とを提示する複数のビデオフレームを得ること、をさらに含む、
請求項１に記載の信号灯識別方法。

【請求項3】

前記信号灯識別モデルのトレーニングサンプル画像には、実際の信号灯又は模擬の信号灯である信号灯カテゴリを含む、
請求項２に記載の信号灯識別方法。

【請求項4】

前記トレーニングサンプル画像は、信号灯の、赤信号状態、青信号状態又は黄信号状態である状態情報をさらに含む
請求項３に記載の信号灯識別方法。

【請求項5】

前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、前記実際の信号灯と前記模擬の信号灯との間の時間遅延を決定することは、
前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、同一の状態で切り替える場合の前記実際の信号灯の対応するビデオフレームと前記模擬の信号灯の対応するビデオフレームとを決定することと、
同一の状態で切り替える場合の前記実際の信号灯の対応するビデオフレームと前記模擬の信号灯の対応するビデオフレームとに基づいて、前記実際の信号灯と前記模擬の信号灯との間の時間遅延を決定することと、を含む、
請求項１から請求項４のいずれか１項に記載の信号灯識別方法。

【請求項6】

前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、ビデオフレームが時間単位である信号灯状態時間軸グラフを生成すること、をさらに含む、
請求項１から請求項４のいずれか１項に記載の信号灯識別方法。

【請求項7】

前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、前記実際の信号灯と前記模擬の信号灯との間の切り替え時点、時間遅延平均値、最大時間遅延及び最小時間遅延のうちの少なくとも１つを統計して得ること、をさらに含む、
請求項１から請求項４のいずれか１項に記載の信号灯識別方法。

【請求項8】

複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得るための状態決定ユニットと、
前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、前記実際の信号灯と前記模擬の信号灯との間の時間遅延を決定するための時間遅延決定ユニットと、を備える、
信号灯識別装置。

【請求項9】

処理対象ビデオに対してフレーム化処理を行い、信号灯識別を行うべき、実際の信号灯と模擬の信号灯とを提示する複数のビデオフレームを得るためのビデオフレーム取得ユニットをさらに備える、
請求項８に記載の信号灯識別装置。

【請求項10】

前記信号灯識別モデルのトレーニングサンプル画像には、実際の信号灯又は模擬の信号灯である信号灯カテゴリを含む、
請求項９に記載の信号灯識別装置。

【請求項11】

前記トレーニングサンプル画像は、信号灯の、赤信号状態、青信号状態又は黄信号状態である状態情報をさらに含む、
請求項１０に記載の信号灯識別装置。

【請求項12】

前記時間遅延決定ユニットは、
前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、同一の状態で切り替える場合の前記実際の信号灯の対応するビデオフレームと前記模擬の信号灯の対応するビデオフレームとを決定するためのビデオフレーム切り替えサブユニットと、
同一の状態で切り替える場合の前記実際の信号灯の対応するビデオフレームと前記模擬の信号灯の対応するビデオフレームとに基づいて、前記実際の信号灯と前記模擬の信号灯との間の時間遅延を決定するための時間遅延決定サブユニットと、を備える、
請求項８から請求項１１のいずれか１項に記載の信号灯識別装置。

【請求項13】

前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、ビデオフレームが時間単位である信号灯状態時間軸グラフを生成するための時間軸グラフ生成ユニットをさらに備える、
請求項８から請求項１１のいずれか１項に記載の信号灯識別装置。

【請求項14】

前記実際の信号灯の状態情報と前記模擬の信号灯の状態情報とに基づいて、前記実際の信号灯と前記模擬の信号灯との間の切り替え時点、時間遅延平均値、最大時間遅延及び最小時間遅延のうちの少なくとも１つを統計して得るための統計ユニットをさらに備える、
請求項８から請求項１１のいずれか１項に記載の信号灯識別装置。

【請求項15】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項７までのいずれか１項に記載の信号灯識別方法を実行させる、
電子デバイス。

【請求項16】

コンピュータに請求項１から請求項７までのいずれか１項に記載の信号灯識別方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項17】

コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項７までのいずれか１項に記載の信号灯識別方法を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理分野に関し、特に路車協調、ＩｏＶなどのスマート交通分野に関する。

【背景技術】

【0002】

路車協調は次世代情報通信技術を用いて、車両により多くの情報を提供する。路車協調の応用シーンの１つは、車両に信号カウントダウン情報を提供することであり、例えば、車両の前方に大型トラックがあり、運転者の視線を遮っている場合、運転者は車両側装置の信号カウントダウンを通して実際の信号状態を知ることができる。該応用シーンの従来のテスト方法は、人工的に交差点を実際にテストし、現在の実際の信号の秒数を記録し、スマートデバイスに表示される信号のカウントダウン秒数と比較して、時間遅延を得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、信号灯識別方法、装置、デバイス、記憶媒体及びプログラムを提供する。

【課題を解決するための手段】

【0004】

本開示の１つの態様では、信号灯識別方法を提供し、該方法は、
複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得ることと、
実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定することと、を含む。

【0005】

本開示のもう１つの様態では、信号灯識別装置を提供し、該装置は、
複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得るための状態決定ユニットと、
実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定するための時間遅延決定ユニットと、を備える。

【0006】

本開示のもう１つの様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令が少なくとも１つのプロセッサにより実行される場合、上記の本開示の実施形態の任意の方法を実行させることを特徴とする。

【0007】

本開示のもう１つの様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体は、
上記の本開示の実施形態の任意の方法をコンピュータに実行させる。

【0008】

本開示のもう１つの様態では、プログラムを提供し、該プログラムは、プロセッサにより実行されると、本開示の実施形態の任意の方法を実現する。

【0009】

本開示の技術によれは、人的コストを節約し、時間遅延の精度を高めることができる。

【0010】

ここに記載された内容は、本開示の実施形態のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。

【図面の簡単な説明】

【0011】

添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。

【図1】本開示の１つの実施形態による信号灯識別方法の実現フローチャート図である。

【図2】本開示の１つの実施形態による信号灯識別方法の１つの具体例におけるビデオフレームを示す図である。

【図3】本開示の１つの実施形態による信号灯識別方法のもう１つの具体例におけるビデオフレームを示す図である。

【図4】本開示の１つの実施形態による信号灯識別方法の１つの具体例において実現されるフローチャート図である。

【図5】本開示の１つの実施形態による信号灯識別方法の１つの具体例における信号灯識別結果の対比図ある。

【図6】本開示の１つの実施形態による信号灯識別装置の構造を示す図である。

【図7】本開示の１つの実施形態による信号灯識別方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0012】

以下では、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

【0013】

本開示は、信号灯識別方法を提供し、具体的に、図１は、本開示の１つの実施形態による信号灯識別方法の実現フローチャート図であり、図１に示すように、該方法は以下のステップを含む。

【0014】

ステップＳ１０１において、複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得る。

【0015】

ステップＳ１０２において、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定する。

【0016】

例示的なシーンにおいて、画像収集デバイスを用いてビデオを撮影することができる。ここで、該ビデオのビデオフレームには、実際の信号灯の画像が含まれていてもよく、模擬の信号灯の画像が含まれていてもよい。例えば、インストルメントパネルの制御インタフェース及び車両外部の環境画像を撮影できるカメラを車内に設置する。信号灯が設置されている交差点を通過する際に、車内のカメラは車両外部の交差点の信号画面及びインストルメントパネルの制御インタフェースに表示されている信号画面を同時に撮影することができる。該ビデオから複数のビデオフレームを抽出することができる。予め訓練された信号灯識別モデルを用いて複数のビデオフレームに対して識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得る。例えば、実際の信号灯が赤信号状態にある時間、青信号状態にある時間、及び黄信号状態にある時間であり、及び模擬の信号灯が赤信号状態にある時間、青信号状態にある時間、及び黄信号状態にある時間である。このようにして、本開示の態様は、ビデオフレームにおける実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づき、実際の信号灯と模擬の信号灯との状態を手動で記録し、時間遅延を計算する必要なく、実際の信号灯と模擬の信号灯との間の時間遅延を決定することができるため、人的コストを節約し、実際の信号灯と模擬の信号灯との時間遅延の精度を高めることができる。

【0017】

また、本開示は、人の目に基づいて記録されたデータよりも、ビデオフレームに基づいて実際の信号灯の状態情報と模擬の信号灯の状態情報とを決定するため、実際の信号灯と模擬の信号灯との時間遅延の精度が高く、計算された時間遅延に基づき、精度もより高い。

【0018】

本開示の実行主体は、計算機能を有する計算機又はサーバなどの様々な計算装置を含むことができ、サーバは物理サーバ又は仮想サーバであってもよい。計算装置は、画像収集デバイスに接続され、画像収集デバイスから処理対象ビデオを取得し、該ビデオに対してフレーム化するなどの処理を行い、これから識別される複数のビデオフレームを得ることができる。

【0019】

本開示において、実際の信号灯は、交差点の見張り番所又は支柱に設置された信号灯などの路側装置を含むことができる。

【0020】

本開示において、模擬の信号灯は、ネットワーク装置の模擬の信号灯を含むことができる。ネットワーク装置は、ＩｏＶ技術を通して、路側装置と相互接続され、路側装置の実際の信号灯の状態情報を取得し、実際の信号灯の状態情報に基づき、模擬の信号灯の状態情報を更新する。すなわち、模擬の信号灯は、実際の信号灯の信号灯を模擬するために用いられることができる。

【0021】

ネットワーク装置は、車載スマート中央制御マルチメディアシステム、スマートバックミラーなどのＩｏＶ装置を含むことができる。ネットワーク装置は、スマートフォンやスマートタブレットなど、ネットワーク機能を備えたモバイルデバイスを含むこともできる。

【0022】

１つの具体的な応用において、実際の信号灯と模擬の信号灯とは、具体的に信号とすることができ、信号の状態情報は、赤信号、黄信号、青信号の３つの状態を含むことができる。

【0023】

１つの具体的な応用において、ビデオフレームを識別するとき、異なる方向を指示する実際の信号灯と模擬の信号灯とを区別する必要がある。例えば、実際の信号灯は、直進の実際の信号灯、左折の実際の信号灯、右折の実際の信号灯に分けられる。模擬の信号灯は、直進の模擬の信号灯、左折の模擬の信号灯、右折の模擬の信号灯に分けられる。

【0024】

実際のシーンにおいて、本開示における複数のビデオフレームは、画像収集デバイスにより収集されたビデオデータから生じることができる。画像収集デバイスは車内に設置することができ、ビデオデータを収集するプロセスは、１つの例として、該画像収集デバイスが、車内装置の模擬の信号灯、及び路側装置の実際の信号灯を撮影することであってもよく、撮影効果は、図２を参照することができる。もう１つの例において、該画像収集デバイスが、第１車内装置の模擬の信号灯、及び路側装置の実際の信号灯灯を撮影し、表示モニターに表示する第２車内装置が表示する実際の信号灯灯を撮影することであってもよく、撮影効果は、図３を参照することができる。

【0025】

本開示の１つの具体例において、複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行うことは、処理対象ビデオに対してフレーム化処理を行い、信号灯識別を行うべき、実際の信号灯と模擬の信号灯とを提示する複数のビデオフレームを得るステップをさらに含む。このように、ビデオデータをビデオフレームデータに変換し、その後の画像の信号灯識別のための基礎を築く。また、処理対象ビデオ全体を識別するのではなく、処理対象ビデオから複数のビデオフレームを選択して識別することにより、作業量を低減することができる。

【0026】

１つの例として、予め設定されたフレームレートにより、処理対象ビデオに対してフレーム化処理を行うことができる。例えば、予め設定されたフレームレートが毎秒３０フレームである場合、１／３０秒ごとに１つのビデオフレームを抽出され、すなわち、抽出される隣接する２つのビデオフレームの時間間隔は１／３０秒である。

【0027】

本開示の１つの具体例において、信号灯識別モデルのトレーニングサンプル画像は、信号灯カテゴリを含み、信号灯カテゴリは、実際の信号灯又は模擬の信号灯である。例えば、トレーニングサンプル画像を準備するとき、ビデオデータからビデオフレームを取得し、ビデオフレームにおいて信号灯領域を決定し、信号灯領域の信号灯カテゴリをラベル付けして、トレーニングサンプル画像を得る。このように、信号灯識別モデルがトレーニングを完了した後、ビデオフレームから識別した信号灯が実際の信号灯であるか又は模擬の信号灯であるかをよりよく区別することができる。

【0028】

本開示の１つの具体例において、トレーニングサンプル画像は、信号灯の状態情報をさらに含み、状態情報は、赤信号状態、青信号状態又は黄信号状態である。例えば、トレーニングサンプル画像を準備するとき、ビデオデータからビデオフレームを取得し、ビデオフレームにおいて信号灯領域を決定し、信号灯領域の状態情報をラベル付けし、トレーニングサンプル画像を得る。このように、信号灯識別モデルがトレーニングを完了した後、ビデオフレームにおいて識別した信号灯の状態情報をよりよく区別することができる。

【0029】

本開示の１つの具体例において、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定することは、まず、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、同一の状態で切り替える場合の実際の信号灯の対応するビデオフレームと模擬の信号灯の対応するビデオフレームとを決定することを含む。例えば、実際の信号灯の状態が切り替える１つのビデオフレームを見つけた場合、例えば第１０フレームは、予め配置された１０ｓスライディングウィンドを通して（すなわち、第１０フレーム後の１０ｓ以内のビデオフレームにおいて）模擬の信号灯が切り替えるビデオフレーム、例えば第２０フレームを探すことにより、第１０フレームの実際の信号灯の状態の切り替えと第２０フレームの模擬の信号灯の状態の切り替えは、同一の状態での切り替えとすることができる。次に、同一の状態で切り替える場合の実際の信号灯の対応するビデオフレームと模擬の信号灯の対応するビデオフレームとに基づき、実際の信号灯と模擬の信号灯との間の時間遅延を決定する。このように、人手によるテストでは秒レベルの時間遅延しか得られないのに対し、本態様ではフレームを単位とする時間遅延を決定することで、ミリ秒レベルの差を得ることができる。これにより、製品アーキテクチャのアップグレード後に時間遅延を減少し、本態様を用いて製品の品質評価を行うことができる。

【0030】

本開示の１つの具体例において、シミュレーション方法は、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、ビデオフレームが時間単位である信号灯状態時間軸グラフを生成することをさらに含む。このように、時間軸の形で、実際の信号灯と模擬の信号灯との同一時点の対応する状態情報を揃えることが容易になり、かつ、グラフの形で、信号灯の状態情報を提示することができ、より直感的なテスト結果を得ることができる。例えば、図２において、ビデオフレームが時間単位である信号灯状態時間軸グラフが示されており、時間軸グラフにおいて、上部が実際の信号の視覚検出識別結果、下部がインストルメントパネル装置のヒューマンマシンインターフェース（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ、ＨＭＩ）信号灯視覚検出識別結果に対応する。図２から、実際の信号灯と模擬の信号灯との違いを直感的に理解することができるため、状態が切り替える時点を迅速に特定し、時間遅延を決定することができる。

【0031】

本開示の１つの具体例において、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の切り替え時点、時間遅延平均値、最大時間遅延及び最小時間遅延のうちの少なくとも１つを統計して得ることをさらに含む。このように、統計データを自動化し、テスト人員の作業量を減少し、かつ、切り替え時点、時間遅延平均値、最大時間遅延及び最小時間遅延などの複数の指標データを提供するため、テスト人員は模擬の信号灯シーンをより包括的かつ正確に評価することができる。

【0032】

具体例に総合して、本開示の態様をさらに詳細に説明する。具体的に、以下を含む。

【0033】

（１）モデルトレーニングプロセス
まずフレーム化処理である。処理対象ビデオに対して、例えばＦＦＭＰＥＧ（Ｆａｓｔ Ｆｏｒｗａｒｄ ＭＰＥＧ）等のマルチメディアビデオ処理ツールを用いて予めの処理を行い、フレーム化された画像を得る。ここで、ＦＦＭＰＥＧは、デジタルオーディオ、ビデオを記録、変換し、ストリームに変換するためのオープンソースコンピュータプログラムである。ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、マルチメディア分野における国際標準を策定する組織である。

【0034】

フレーム化された画像に対してラベル付けを行い、画像における実際の信号と模擬の信号（例えば、インストルメントパネルが表示する信号のカウントダウン）をラベル付けする。図３に示すように、まず、ボックスをラベル付けタイプとし、画像の実際の信号と模擬の信号とをラベル付けし、次に、ボックスにターゲットカテゴリを選択し、ターゲットカテゴリは、「赤信号左折（実際）」、「赤信号直進（実際）」、「赤信号右折（実際）」、「青信号左折（実際）」、「青信号直進（実際）」、「青信号右折（実際）」、「黄信号左折（実際）」、「黄信号直進（実際）」、「黄信号右折（実際）」、「赤信号左折（ＭＡＰ）」、「赤信号直進（ＭＡＰ）」、「赤信号右折（ＭＡＰ）」、「青信号左折（ＭＡＰ）」、「青信号直進（ＭＡＰ）」、「青信号右折（ＭＡＰ）」、「黄信号右折（ＭＡＰ）」、「黄信号直進（ＭＡＰ）」、「黄信号右折（ＭＡＰ）」を含む。ここで、「（実際）」は、実際の信号を表し、（ＭＡＰ）は模擬の信号を表す。上記のラベル付け作業を完了すると、トレーニングサンプル画像セットを得ることができる。

【0035】

トレーニングサンプル画像セットの情報を抽出し、データ変換を行い、実際とインストルメントパネルが表示する信号の各方向の灯色とを得た後、これらの情報をモデルトレーニングセットとし、ディープラーニングモデルＦａｓｔｅｒ－Ｒｃｎｎ（多製品融合モデル）を用いてモデルトレーニングを行い、信号灯識別モデルを得る。

【0036】

（２）信号灯識別プロセス
図４にように、信号灯識別プロセスにおける各モジュールの処理フローチャートである。具体的に、
ビデオ事前処理モジュールは、画像の復号及び関心領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）の抽出に用いられる。ここで、画像の復号は、処理対象ビデオデータからフレーム化処理を行い、識別されるべき複数のビデオフレームを得ることを含む。関心領域の抽出は、各ビデオフレームから信号灯関心領域を決定することを含む。

【0037】

実際灯識別モジュールは、ディープラーニングモデルＦａｓｔｅｒ－Ｒｃｎｎに基づくトレーニングにより得られたモデル（すなわち信号灯識別モデル）を用いて、複数のビデオフレームに対して識別を行い、ビデオフレームにおける実際の信号灯ボックス（Ｂｏｕｎｄｉｎｇ ｂｏｘ、Ｂｂｏｘ）の状態情報を得る。

【0038】

実際灯追跡（ｔｒａｃｋｉｎｇ）モジュールは、実際の信号が点滅する、又は車両に遮られる状況がある可能性により、実際の信号の頻度が低くなるため、上記のように実際灯を識別した後、実際の信号灯に対して追跡を行う。例えば、複数フレームのビデオフレームの対応する実際の信号灯識別結果において、第１０フレームから第２５フレームまでの間で識別できなかった実際灯の状態情報を、第１０フレームより前と第２５フレームより後のビデオフレームの実際灯の識別結果を用いて、第１０フレームから第２５フレームまでの間の実際灯の識別結果として補完する。

【0039】

また、実際の信号の状況は複雑であることが多いため、単灯と多灯との間のマッチングを行う必要がある。例えば、図３では、実際の信号に複数の直進赤信号が同時に出現しており、このとき複数の実際の直進赤信号を１つの実際の直進赤信号とすればよく、模擬の信号灯と揃え、対比を行うことができる。

【0040】

模擬灯識別モジュールは、ディープラーニングモデルＦａｓｔｅｒ－Ｒｃｎｎに基づきトレーニングして得られたモデル（すなわち信号灯識別モデル）を用いて、複数のビデオフレームに対して識別を行い、ビデオフレームにおける模擬の信号灯ボックスＢｂｏｘの状態情報を得る。

【0041】

時間軸生成モジュールは、上記の複数のビデオフレームの実際灯識別結果と模擬灯識別結果とに基づいて、ビデオフレームレート時間軸グラフを生成する。

【0042】

時間軸グラフ対比モジュールは、ビデオフレームレート時間軸グラフにおける切り替えポイント、即ち状態切り替えが発生するビデオフレームを探す。（１０ｓ）スライディングウィンドウ対比を配置することで、同一の状態で切り替えるビデオフレームの場合における、実際の信号灯と模擬の信号灯との時間遅延を対比することを実現することができる。例えば、実際の信号灯が第１０フレームで状態を切り替える場合、１０ｓスライディングウィンドを通して第１０フレーム以降の１０ｓ以内の模擬の信号灯の状態が切り替えるビデオフレームを探し、同一の状態の切り替えとして対比を行う。信号切り替えの時間遅延を、フレームごとに計算し、例えば、フレームレートが毎秒３０フレームである場合、時間遅延測定可能な最小値は３３ミリ秒である。異常なポイント画像のビデオセグメントを視覚的にレンダリングし、例えば、実際の信号の点滅により状態情報が識別されないことで、時間軸グラフに黒線が発生した場合、最も近い正常なポイントのランプの色を参照して異常なポイントに対してレンダリングを行うことができる。最後に、切り替え時点、平均値、最大時間遅延Ｍａｘ、最小時間遅延Ｍｉｎランプ統計量を生成することもできる。

【0043】

図５を参照すると、図５は本態様に基づき分析した結果の例であり、図５の上の行は実際の直進信号灯の灯色を表し、下の行はインストルメントパネルに表示される直進信号の灯色を表す。

【0044】

表１を参照し、表１は、実際の直進信号とインストルメントパネルにおける直進信号の切り替え時点の例である。

【0045】

【表1】

このように、本開示で設計された方法により、ビデオ分析、人工知能モデルトレーニングにより、実際の信号灯とインストルメントパネルにおける信号のカウントダウンとの間の時間遅延を正確に得ることができ、該シーンに対してより包括的かつ正確な評価を行うことができる。

【0046】

本開示によれば、道路測定者が各交差点の灯色が切り替える時間遅延を記録し、手動で計算する必要がなく、テストコストが低く、テスト周期が短縮される。

【0047】

本開示の再利用性が高く、アーキテクチャがアップグレードされた後、直接該アルゴリズムを用いてデータの正確性を有効に評価することができ、実際とインストルメントパネルとに表示される信号の違いを得ることができる。

【0048】

本開示は、信号灯識別装置を提供し、具体的に、図６に示すように、該装置は、
複数のビデオフレームに対して、信号灯識別モデルを用いて識別を行い、実際の信号灯の状態情報と模擬の信号灯の状態情報とを得るための状態決定ユニット６０１と、
実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定するための時間遅延決定ユニット６０２と、を備えてもよい。

【0049】

本開示の態様の１つの具体例において、該装置は、処理対象ビデオに対してフレーム化処理を行い、信号灯識別を行うべき、実際の信号灯と模擬の信号灯とを提示する複数のビデオフレームを得るためのビデオフレーム取得ユニットをさらに備えてもよい。本開示の１つの具体例において、信号灯識別モデルをトレーニングするトレーニングサンプル画像は、信号灯カテゴリを含み、信号灯カテゴリは、実際の信号灯又は模擬の信号灯である。

【0050】

本開示の１つの具体例において、トレーニングサンプル画像は、信号灯の状態情報をさらに含み、状態情報は、赤信号状態、青信号状態又は黄信号状態である。

【0051】

本開示の１つの具体例において、時間遅延決定ユニットは、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定することに用いられ、
実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、同一の状態で切り替える場合の実際の信号灯の対応するビデオフレームと模擬の信号灯の対応するビデオフレームとを決定するためのビデオフレーム切り替えサブユニットと、
同一の状態で切り替える場合の実際の信号灯の対応するビデオフレームと模擬の信号灯の対応するビデオフレームとに基づいて、実際の信号灯と模擬の信号灯との間の時間遅延を決定するための時間遅延決定サブユニットと、を備える。

【0052】

本開示の１つの具体例において、該装置は、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、ビデオフレームが時間単位である信号灯状態時間軸グラフを生成するための時間軸グラフ生成ユニットをさらに備えてもよい。

【0053】

本開示の１つの具体例において、該装置は、実際の信号灯の状態情報と模擬の信号灯の状態情報とに基づいて、実際の信号灯と模擬の信号灯との間の切り替え時点、時間遅延平均値、最大時間遅延及び最小時間遅延のうちの少なくとも１つを統計して得るための統計ユニットをさらに備えてもよい。

【0054】

本開示の実施形態によれば、本開示は、電子デバイスと読取可能記憶媒体をさらに提供する。

【0055】

図７は、本開示の実施形態を実現するための例示的電子デバイス７００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

【0056】

図７に示すように、デバイス７００は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム命令、又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる計算ユニット７０１を含む。ＲＡＭ７０３には、デバイス７００の動作に必要な各種のプログラム及びデータをさらに記憶することができる。計算ユニット７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とは、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続されている。

【0057】

デバイス７００における複数のコンポーネントは、Ｉ／Ｏインタフェース７０５に接続されており、その複数のコンポーネントは、キーボードやマウスなどの入力ユニット７０６と、種々なディスプレイやスピーカなどの出力ユニット７０７と、磁気ディスクや光学ディスクなどの記憶ユニット７０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット７０９と、を備える。通信ユニット７０９は、デバイス７００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。

【0058】

計算ユニット７０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット７０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを備えるが、これらに限定されない。計算ユニット７０１は、上述で説明された各方法及び処理、例えば信号灯識別方法、検索の順序付け方法を実行する。例えば、いくつかの実施形態では、信号灯識別方法又は検索の順序付け方法を、記憶ユニット７０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施形態では、コンピュータプログラムの一部又は全ては、ＲＯＭ７０２及び／又は通信ユニット７０９を介して、デバイス７００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ７０３にロードされて計算ユニット７０１によって実行される場合に、前述した信号灯識別方法又は検索の順序付け方法の一つ又は複数のステップを実行することができる。追加可能に、他の実施形態では、計算ユニット７０１は、他の任意の適当な方式（例えば、ファームウェア）により信号灯識別方法又は検索の順序付け方法を実行するように構成することができる。

【0059】

ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び／又は解釈される１つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。

【0060】

本開示の方法を実行するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。

【0061】

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて使用されるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。

【0062】

ユーザーとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、当該コンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニターなど）、ユーザーが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボールなど）を備えるができる。ユーザーとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザーに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックなど）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力など）によって、ユーザーからの入力を受付取るができる。

【0063】

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0064】

コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント－サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。

【0065】

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

【0066】

上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】