特許 6943931 交通信号機の認識方法、装置、機器、記憶媒体及び車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6943931

(24)【登録日】2021年9月13日

(45)【発行日】2021年10月6日

(54)【発明の名称】交通信号機の認識方法、装置、機器、記憶媒体及び車両

(51)【国際特許分類】

   G08G 1/09 20060101AFI20210927BHJP

   G08G 1/16 20060101ALI20210927BHJP

   G06T 7/00 20170101ALI20210927BHJP

【ＦＩ】

   G08G1/09 D

   G08G1/16 D

   G06T7/00 650A

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2019-163302(P2019-163302)

(22)【出願日】2019年9月6日

(65)【公開番号】特開2020-42815(P2020-42815A)

(43)【公開日】2020年3月19日

【審査請求日】2019年9月6日

(31)【優先権主張番号】201811043091.1

(32)【優先日】2018年9月7日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】リー，チー

(72)【発明者】

【氏名】ガオ，ハン

(72)【発明者】

【氏名】グイ，イーリン

(72)【発明者】

【氏名】シア，ティェン

【審査官】 久保田 創

(56)【参考文献】

【文献】 国際公開第２０１５／１７７８６４（ＷＯ，Ａ１）

【文献】 中国特許第１０６６６３３７４（ＣＮ，Ｂ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／０９

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する交通信号機の認識方法であって、
現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識するステップと、
前記語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、前記同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を決定するステップと、
前記統一状態に基づいて前記同一の語義を示す交通信号機の指示情報を決定するステップと、を含み、
前記語義情報は、交通信号機の機能を示す情報を指し、前記機能は、直進可能か否か、左折可能か否か、右折可能か否かを示す
ことを特徴とする交通信号機の認識方法。

【請求項2】

前記現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識するステップは、
地図データに基づいて現在の交差点に設置された交通信号機の位置情報と各交通信号機の語義情報とを取得するステップと、
前記位置情報に基づいてカメラによって撮影された画像における交通信号機の位置を決定し、前記位置における交通信号機の状態を認識するステップと、を含む、
ことを特徴とする請求項１に記載の交通信号機の認識方法。

【請求項3】

前記同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を決定するステップは、
予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機の状態にそれぞれ対応する信頼度を決定するステップと、
信頼度が最も高い状態を、前記同一の語義を示す交通信号機に対応する統一状態として選択するステップと、を含む、
ことを特徴とする請求項１に記載の交通信号機の認識方法。

【請求項4】

信頼度が最も高い状態を、前記同一の語義を示す交通信号機に対応する統一状態として選択するステップは、
選択された信頼度が最も高い状態が一つである場合、当該信頼度が最も高い状態を、前記同一の語義を示す交通信号機に対応する統一状態とするステップと、
選択された信頼度が最も高い状態が複数である場合、複数の信頼度が最も高い状態から数が最も多い状態を選択するステップと、
選択された数が最も多い状態が一つである場合、当該数が最も多い状態を前記同一の語義を示す交通信号機に対応する統一状態とするステップと、
選択された数が最も多い状態が複数である場合、予め設定された最も低い信頼度の状態を前記同一の語義を示す交通信号機に対応する統一状態とするステップと、を含む、
ことを特徴とする請求項３に記載の交通信号機の認識方法。

【請求項5】

前記同一の語義を示す交通信号機に対応する統一状態と決定された後、前記統一状態に基づいて前記同一の語義を示す交通信号機の指示情報を決定する前に、前記方法は、
前記同一の語義を示す交通信号機に対応する履歴状態情報に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を修正するステップをさらに含む、
ことを特徴とする請求項１に記載の交通信号機の認識方法。

【請求項6】

前記同一の語義を示す交通信号機に対応する履歴状態情報に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を修正するステップは、
前記同一の語義を示す交通信号機に対応する統一状態が他の状態である場合、当該統一
状態を前記同一の語義を示す交通信号機に対応する前の時刻の状態に修正するステップと、
前記同一の語義を示す交通信号機に対応する統一状態がすべて点灯していない時、前記同一の語義を示す交通信号機に対応する前の時刻の状態が他の状態ではない場合、当該統一状態を前記同一の語義を示す交通信号機に対応する前の時刻の状態に修正するステップと、
前記同一の語義を示す各交通信号機に対応する統一状態が黄色点灯である時、前記同一の語義を示す交通信号機に対応する前の時刻の状態が赤色点灯である場合、当該統一状態を赤色点灯に修正するステップと、のうち少なくとも一つを含む、
ことを特徴とする請求項５に記載の交通信号機の認識方法。

【請求項7】

同一の語義を示す交通信号機に対応する統一状態が得られるたびに、当該統一状態がすべて点灯していない状態であるか、又は青色点灯であるか、又は黄色点灯であるか、又は赤色点灯である場合、当該統一状態を記録し、
記録された情報と画像フレームの処理頻度とに基づいて、前記同一の語義を示す各交通信号機に点滅状態にある交通信号機が存在するか否か、又は前記同一の語義を示す交通信号機が故障状態にあるか否かを決定する、
ことを特徴とする請求項１に記載の交通信号機の認識方法。

【請求項8】

記録された情報と画像フレームの処理頻度とに基づいて、前記同一の語義を示す交通信号機に点滅状態にある交通信号機が存在するか否か、又は前記同一の語義を示す交通信号機が故障状態にあるか否かを決定するステップは、
記録された情報と画像フレームの処理頻度とに基づいて、前記同一の語義を示す交通信号機の統一状態がすべて点灯していない状態である持続期間が、所定数値範囲の上限値より大きいと決定された場合、前記同一の語義を示す交通信号機が故障状態にあると決定するステップと、
記録された情報と画像フレームの処理頻度とに基づいて、前記同一の語義を示す交通信号機の統一状態が交番に点滅している状態であり、かつ消灯の持続期間が所定数値範囲の下限値より小さいと決定された場合、前記同一の語義を示す交通信号機に異常の点滅状態にある交通信号機が存在すると決定するステップと、
記録された情報と画像フレームの処理頻度とに基づいて、前記同一の語義を示す交通信号機の統一状態が交番に点滅する状態であり、かつ消灯の持続期間が所定数値範囲内にあると決定された場合、前記同一の語義を示す交通信号機に正常の点滅状態にある交通信号機が存在すると決定するステップと、を含む、
ことを特徴とする請求項７に記載の交通信号機の認識方法。

【請求項9】

交通信号機の状態は、赤色点灯、青色点灯、黄色点灯、すべて点灯していない状態、及び他の状態を含み、赤色点灯、青色点灯、及び黄色点灯の信頼度は同じであり、赤色点灯、青色点灯、及び黄色点灯の信頼度はすべて点灯していない状態の信頼度より高く、すべて点灯していない状態の信頼度は他の状態の信頼度より高い、
ことを特徴とする請求項１〜８のいずれかに記載の交通信号機の認識方法。

【請求項10】

交通信号機の認識装置であって、
現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識するための交通信号機状態認識モジュールと、
前記語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、前記同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を決定するための統一状態決定モジュールと、
前記統一状態に基づいて前記同一の語義を示す交通信号機の指示情報を決定するための指示情報決定モジュールと、を含み、
前記語義情報は、交通信号機の機能を示す情報を指し、前記機能は、直進可能か否か、左折可能か否か、右折可能か否かを示す
ことを特徴とする交通信号機の認識装置。

【請求項11】

電子機器であって、
メモリと、プロセッサと、メモリに記憶され、プロセッサによって作動可能なコンピュータプログラムと、を含み、
前記プログラムが前記プロセッサによって実行される場合に、請求項１〜９のいずれかに記載の交通信号機の認識方法を実現する、
ことを特徴とする電子機器。

【請求項12】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
当該プログラムがプロセッサによって実行される場合に、請求項１〜９のいずれかに記載の交通信号機の認識方法を実現する、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項13】

車体を含む車両であって、
請求項１１に記載の電子機器と、車体に設置される前記カメラと、をさらに含む、
ことを特徴とする車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、無人車技術分野に関し、特に交通信号機の認識方法、装置、機器、記憶媒体及び車両に関する。

【背景技術】

【0002】

無人車が交差点を走行する場合、交差点に設置されている交通信号機の状態を感知する必要があり、交通信号機の状態は、赤色点灯、青色点灯、黄色点灯、すべて点灯していない状態、青色点滅などを含む。

【0003】

現在、無人車システムにはカメラが設置されており、カメラで撮影された画像に対して交通信号機の検出と色認識を行って、交通信号機の状態を感知する。

【0004】

交差点の道路状況が複雑なので、交通信号機が、破損（点灯していない）、表示異常、遮蔽、又は点滅するなどの状況が発生し、交通信号機の指示状態が正しく取得されないことがある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、交通信号機の認識方法、装置、機器、記憶媒体及び車両を提供して、交通信号機の指示状態を正確に取得する。

【課題を解決するための手段】

【0006】

第１の側面において、本発明の実施例は、交通信号機の認識方法を提供し、前記方法は、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識するステップと、前記語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、前記同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を決定するステップと、前記統一状態に基づいて前記同一の語義を示す交通信号機の指示情報を決定するステップと、を含む。

【0007】

第２の側面において、本発明の実施例は、交通信号機の認識装置をさらに提供し、前記装置は、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識するための交通信号機状態認識モジュールと、前記語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、前記同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、前記同一の語義を示す交通信号機に対応する統一状態を決定するための統一状態決定モジュールと、前記統一状態に基づいて前記同一の語義を示す交通信号機の指示情報を決定するための指示情報決定モジュールと、を含む。

【0008】

第３の側面において、本発明の実施例は、電子機器をさらに提供し、メモリと、プロセッサと、メモリに記憶され、プロセッサによって作動可能なコンピュータプログラムと、を含み、前記プログラムが前記プロセッサによって実行される場合に、本発明の実施例の交通信号機の認識方法を実現する。

【0009】

第４の側面において、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、前記プログラムが前記プロセッサによって実行される場合に、本発明の実施例の交通信号機の認識方法を実現する。

【0010】

第５の側面において、本発明の実施例は、車体を含む車両をさらに提供し、第３の側面の電子機器と、車体に設置されるカメラと、をさらに含む。

【発明の効果】

【0011】

本発明の実施例は、まず、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識し、その後、語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機に対応する統一状態を決定し、最後、統一状態に基づいて同一の語義を示す交通信号機の指示情報を決定する。本発明の実施例により提供される交通信号機の認識方法は、現在の同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、一つの統一状態を決定し、それによって現在の交差点の指示情報を決定するため、交通信号機状態認識の精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例１における交通信号機の認識方法のフローチャートである。

【図2】本発明の実施例１におけるもう一つの交通信号機の認識方法のフローチャートである。

【図3】本発明の実施例２における交通信号機の認識装置の概略構成図である。

【図4】本発明の実施例３における電子機器の概略構成図である。

【図5】本発明の実施例４における車両の概略構成図である。

【発明を実施するための形態】

【0013】

以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。

【0014】

実施例１
図１は、本発明の実施例１における交通信号機の認識方法のフローチャートである。本実施例は、無人車が交通信号機の状態を認識する場合に適用することができ、当該方法は、交通信号機の認識装置によって実行されることができ、当該装置は、ソフトウェア及び/又はハードウェアによって構成されることができ、一般的に、交通信号機認識機能を有する機器に統合することができ、当該機器は、サーバ、携帯端末、又は車載機器などの電子機器であってもよい。図１に示すように、当該方法は、具体的には、以下のステップを含み、ステップＳ１１０において、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識する。

【0015】

その中、語義情報は、交通信号機の機能を示す情報を指し、当該機能は、直進可能か否やか、左折可能か否やか、右折可能か否やかなどを示すことができる。交通信号機の状態は、赤色点灯、青色点灯、黄色点灯、すべて点灯していない状態、及び他の状態を含むことができ、他の状態は、交通信号機が遮蔽の状態であってもよい。例えば、応用シーンでは、交差点に複数の交通信号機が設置され、その中の一部の交通信号機の語義情報は、左折可能か否やかを示し、他の一部の交通信号機の語義情報は、直進可能か否やかを示す。すなわち一部の交通信号機は、車両が左折するか否やかを指示するために使用され、他の一部の交通信号機は、車両が直進するか否やかを指示するために使用される。

【0016】

具体的には、無人車が現在の交差点まで走行する際には、まず、現在の交差点の交通信号機の語義情報を取得し、その後、カメラで撮影された現在の交差点の交通信号機の画像を画像認識し、画像における交通信号機の状態を取得する。

【0017】

選択可能に、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識するステップは、以下の、地図データに基づいて現在の交差点に設置された交通信号機の位置情報と各交通信号機の語義情報を取得し、位置情報に基づいてカメラによって撮影された画像における交通信号機の位置を決定して、当該位置における交通信号機の状態を認識する方式によって実施することができる。

【0018】

その中、地図データは、既存のナビゲーションアプリケーションソフトウェア（バイドゥ地図など）に基づいて得られたデータであってもよく、地図データには、現在の交差点の交通信号機の位置情報及び当該位置にある各交通信号機の語義情報を含むことができる。具体的には、現在の交差点の交通信号機の位置情報を取得した後、位置情報に基づいてカメラによって撮影された画像における交通信号機の位置を決定して、画像における当該位置の交通信号機を認識して、交通信号機の状態を取得する。交通信号機の位置の決定手段について、例えば、カメラの位置情報を取得して、該当カメラの位置情報に基づいてカメラと交通信号機との相対位置関係を取得して、該当相対位置関係に基づいてカメラによって撮影された画像における交通信号機の位置を取得する。また、交通信号機の状態について、例示的に、画像にそれぞれＡ、Ｂ、Ｃ、及びＤの四つの交通信号機があり、その中、ＡとＢの状態は、赤色点灯であり、Ｃの状態は、黄色点灯であり、Ｄの状態は、すべて点灯していないと仮定する。

【0019】

ステップＳ１２０において、語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機に対応する統一状態を決定する。

【0020】

その中、予め設定された交通信号機の各状態の信頼度は、赤色点灯、青色点灯、及び黄色点灯の信頼度が同じであり、赤色点灯、青色点灯、及び黄色点灯の信頼度がすべて点灯していない状態の信頼度より高くなり、すべて点灯していない状態の信頼度が他の状態の信頼度より高くなることができる。

【0021】

例示的に、左折と直進を示す語義情報に基づいて、画像における「左折可能か否やか」を示す交通信号機及び「直進可能か否やか」を示す交通信号機をそれぞれ決定する。その後、それぞれの「左折可能か否やか」を示す交通信号機及び「直進可能か否やか」を示す交通信号機及び予め設定された交通信号機の各状態の信頼度に基づいて、それぞれ「左折可能か否やか」を示す交通信号機及び「直進可能か否やか」を示す交通信号機に対応する統一状態を決定する。

【0022】

選択可能に、同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機に対応する統一状態を決定することは、以下の、予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機の状態にそれぞれ対応する信頼度を決定し、同一の語義を示す交通信号機に対応する統一状態として、信頼度が最も高い状態を選択する方式によって実施することができる。

【0023】

具体的には、同一の語義を示す各交通信号機の状態を取得した後、予め設定された交通信号機の各状態の信頼度に基づいて、各交通信号機の状態にそれぞれ対応する信頼度を決定する。例示的に、赤色点灯、青色点灯、及び黄色点灯の信頼度はすべてＩ_０であり、すべて点灯していない状態の信頼度はＩ_１であり、他の状態の信頼度はＩ_２であり、且つＩ_０>Ｉ_１>Ｉ２Ｉ_２であり、現在の交差点が「直進」を示す交通信号機は四つであり、それぞれＡ、Ｂ、Ｃ、及びＤであり、ＡとＢの状態はそれぞれ赤色点灯であり、Ｃの状態は黄色点灯であり、Ｄの状態は他の状態と仮定する場合、ＡとＢの状態に対応する信頼度はＩ_０であり、Ｃの状態に対応する信頼度はＩ_０であり、Ｄの状態に対応する信頼度はＩ_２である。

【0024】

具体的には、同一の語義を示す交通信号機に対応する統一状態として、信頼度が最も高い状態を選択することは、選択された信頼度が最も高い状態が一つである場合、当該信頼度が最も高い状態を、同一の語義を示す交通信号機に対応する統一状態とするステップと、選択された信頼度が最も高い状態が複数である場合、複数の信頼度が最も高い状態から数が最も多い状態を選択するステップと、選択された数が最も多い状態が一つである場合、当該数が最も多い状態を同一の語義を示す交通信号機に対応する統一状態とするステップと、選択された数が最も多い状態が複数である場合、予め設定された最も低い信頼度の状態を同一の語義を示す交通信号機に対応する統一状態とするステップと、を含む。

【0025】

その中、数が最も多いことは、同じ状態にある交通信号機の数が最も多いと理解することができる。例示的に、選択された信頼度が最も高い状態に「赤色点灯」のみあると仮定する場合、「赤色点灯」を同一の語義を示す交通信号機に対応する統一状態とする。選択された信頼度が最も高い状態に「青色点灯」と「黄色点灯」を含み、「青色点灯」状態にある交通信号機が二つであり、「黄色点灯」状態にある信号機が一つであると仮定する場合、「青色点灯」を同一の語義を示す交通信号機に対応する統一状態とする。選択された信頼度が最も高い状態が「青色点灯」と「黄色点灯」とを含み、且つ「青色点灯」状態にある交通信号機が二つであり、「黄色点灯」状態にある信号機が二つであると仮定する場合、「他の状態」を同一の語義を示す交通信号機に対応する統一状態とする。

【0026】

ステップＳ１３０において、統一状態に基づいて同一の語義を示す交通信号機の指示情報を決定する。

【0027】

その中、語義情報が左折可能か否やかを示す場合、指示情報は、直接左折と、待ちとを含むことができ、語義情報が直進可能か否やかを示す場合、指示情報は、直接直進と、待ちとを含むことができる。本実施例では、同一の語義を示す交通信号機の統一状態を取得した後、当該語義に基づいて統一状態によって指示情報を決定するため、無人車が指示情報に基づいて走行する。例示的に、「左折可能か否やかを示す」交通信号機の統一状態が「青色点灯」を示すことを取得した場合、指示情報は、「直接左折」である。「直進可能か否やかを示す」交通信号機の統一状態が「赤色点灯」を示すことを取得した場合、指示情報は、「待ち」である。

【0028】

選択可能に、同一の語義を示す交通信号機に対応する統一状態と決定された後、統一状態に基づいて同一の語義を示す交通信号機の指示情報を決定する前に、同一の語義を示す交通信号機に対応する履歴状態情報に基づいて、同一の語義を示す交通信号機に対応する統一状態を修正するステップをさらに含む。

【0029】

具体的には、同一の語義を示す交通信号機に対応する統一状態を修正する方式は、次の少なくとも一つを含むことができる。同一の語義を示す交通信号機に対応する統一状態が他の状態である場合、当該統一状態を同一の語義を示す交通信号機に対応する前の時刻の状態に修正し、この修正の目的は、統一状態が他の状態である場合、同一の語義を示す交通信号機が遮蔽される可能性があることを意味するため、当該統一状態を前の時刻の状態に修正することで、交通信号機が遮蔽されることによって状態を正確に検出することができない問題を回避することができる。同一の語義を示す交通信号機に対応する統一状態がすべて点灯していない時、同一の語義を示す交通信号機に対応する前の時刻の状態が他の状態ではない場合、当該統一状態を同一の語義を示す交通信号機に対応する前の時刻の状態に修正する。同一の語義を示す各交通信号機に対応する統一状態が黄色点灯である時、同一の語義を示す交通信号機に対応する前の時刻の状態が赤色点灯である場合、当該統一状態を赤色点灯に修正する。

【0030】

その中、前の時刻の状態は、同一の語義を示す交通信号機の前の時刻の統一状態であってもよい。本実施例では、同一の語義を示す交通信号機に対応する統一状態が赤色点灯又は青色点灯である場合、統一状態を修正する必要がなく、同一の語義を示す交通信号機に対応する統一状態が他の状態、すべて点灯していない状態、又は黄色点灯である場合、上記の方式によって統一状態を修正する。なお、同一の語義を示す交通信号機に対応する統一状態が黄色である場合、統一状態を修正することは、カメラが夜間にイメージングする時に、黄色と赤色の色が似て、理論的に交通信号機の状態が赤色から黄色に変わることは不可能であるため、統一状態が黄色点灯である場合にも修正して、統一状態を決定する精度を向上させる。

【0031】

選択可能に、同一の語義を示す交通信号機に対応する統一状態が得られるたびに、当該統一状態がすべて点灯していないである状態か、又は青色点灯であるか、又は黄色点灯であるか、又は赤色点灯である場合、当該統一状態を記録する。記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す各交通信号機に点滅状態にある交通信号機が存在するか否やか、又は同一の語義を示す交通信号機が故障状態にあるか否やかを決定する。

【0032】

その中、画像フレームの処理頻度は、６ｆｐｓなどの設定閾値より低くすることができない。具体的には、記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す交通信号機の統一状態がすべて点灯していない持続期間が、所定数値範囲の上限値より大きいと決定された場合、同一の語義を示す交通信号機が故障状態にあると決定する。記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す交通信号機の統一状態が交番に点滅している状態であり、かつ消灯の持続期間が所定数値範囲の下限値より小さいと決定された場合、同一の語義を示す交通信号機に異常点滅状態にある交通信号機が存在すると決定する。記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す交通信号機の統一状態が交番に点滅している状態であり、かつ消灯の持続期間が所定数値範囲内にあると決定された場合、同一の語義を示す交通信号機に正常の点滅状態にある交通信号機が存在すると決定する。

【0033】

その中、所定数値範囲が[４５０ｍｓ、５５０ｍｓ]に設置されることができる場合、５５０ｍｓは、所定数値範囲の上限値であり、４５０ｍｓは、所定数値範囲の下限値である。選択可能に、交通信号機の統一状態の交番的に点滅が不規則である場合、カメラによる点滅であると見なすことができる。

【0034】

本実施例の技術案は、本発明の実施例において、まず、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識し、その後、語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機に対応する統一状態を決定し、最後、統一状態に基づいて同一の語義を示す交通信号機の指示情報を決定する。本発明の実施例により提供される交通信号機の認識方法は、現在の同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、一つの統一状態を決定し、それによって現在の交差点の指示情報を決定するため、交通信号機状態認識の精度を向上させることができる。

【0035】

図２は、本発明の実施例１におけるもう一つの交通信号機の認識方法のフローチャートである。上記の実施例のさらなる説明として、図２に示すように、当該方法は、以下のステップを含む。
ステップＳ２１０において、地図データに基づいて現在の交差点に設置された交通信号機の位置情報と各交通信号機の語義情報を取得し、位置情報に基づいてカメラによって撮影された画像における交通信号機の位置を決定して、当該位置における交通信号機の状態を認識する。

【0036】

ステップＳ２２０において、予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機の状態にそれぞれ対応する信頼度を決定し、同一の語義を示す交通信号機に対応する統一状態として、信頼度が最も高い状態を選択する。

【0037】

ステップＳ２３０において、同一の語義を示す交通信号機に対応する履歴状態情報に基づいて、同一の語義を示す交通信号機に対応する統一状態を修正する。

【0038】

ステップＳ２４０において、同一の語義を示す交通信号機に対応する統一状態が得られるたびに、当該統一状態がすべて点灯していないである状態か、又は青色点灯であるか、又は黄色点灯であるか、又は赤色点灯である場合、当該統一状態を記録し、記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す各交通信号機に点滅状態にある交通信号機が存在するか否やか、又は同一の語義を示す交通信号機が故障状態にあるか否やかを決定する。

【0039】

ステップＳ２５０において、決定結果に応じて対応する操作を実行する。

【0040】

例えば、同一の語義を示す交通信号機が故障状態にあると決定する場合、路端に停車する操作を実行し、カメラによる点滅のように、同一の語義を示す交通信号機に異常点滅状態にある交通信号機が存在すると決定された場合、同一の語義を示す交通信号機は、点滅を行っていないと見なされ、異常点滅灯の色に基づいて次の実行動作を判断し、例えば、異常点滅灯の色が青色である場合、同一の語義を示す交通信号機の実際の統一状態は、青色点灯であると見なされ、次の動作を直接直進又は左折と判断し、異常点滅灯の色が赤色である場合、同一の語義を示す交通信号機の実際の統一状態は、赤色点灯であると見なされ、次の動作を直進待ち又は左折待ちと判断する。

【0041】

（実施例２）
図３は、本発明の実施例２における交通信号機の認識装置の概略構成図である。図３に示すように、当該装置は、交通信号機状態認識モジュール３１０と、統一状態決定モジュール３２０と、指示情報決定モジュール３３０と、を含む。

【0042】

交通信号機状態認識モジュール３１０は、現在の交差点に設置された交通信号機の語義情報を取得し、カメラによって撮影された画像における交通信号機の状態を認識し、統一状態決定モジュール３２０は、語義情報に基づいて認識された同一の語義を示す交通信号機を決定し、同一の語義を示す交通信号機の状態及び予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機に対応する統一状態を決定し、指示情報決定モジュール３３０は、統一状態に基づいて同一の語義を示す交通信号機の指示情報を決定する。

【0043】

選択可能に、交通信号機状態認識モジュール３１０は、さらに、地図データに基づいて現在の交差点に設置された交通信号機の位置情報と各交通信号機の語義情報を取得し、位置情報に基づいてカメラによって撮影された画像における交通信号機の位置を決定して、当該位置における交通信号機の状態を認識する。

【0044】

選択可能に、統一状態決定モジュール３２０は、さらに、予め設定された交通信号機の各状態の信頼度に基づいて、同一の語義を示す交通信号機の状態にそれぞれ対応する信頼度を決定し、同一の語義を示す交通信号機に対応する統一状態として、信頼度が最も高い状態を選択する。

【0045】

選択可能に、統一状態決定モジュール３２０は、さらに、選択された信頼度が最も高い状態が一つである場合、当該信頼度が最も高い状態を、同一の語義を示す交通信号機に対応する統一状態とし、選択された信頼度が最も高い状態が複数である場合、複数の信頼度が最も高い状態から数が最も多い状態を選択し、選択された数が最も多い状態が一つである場合、当該数が最も多い状態を同一の語義を示す交通信号機に対応する統一状態とし、選択された数が最も多い状態が複数である場合、予め設定された最も低い信頼度の状態を同一の語義を示す交通信号機に対応する統一状態とする。

【0046】

選択可能に、同一の語義を示す交通信号機に対応する履歴状態情報に基づいて、同一の語義を示す交通信号機に対応する統一状態を修正するための統一状態修正モジュールをさらに含む。

【0047】

選択可能に、統一状態修正モジュールは、さらに、同一の語義を示す交通信号機に対応する統一状態が他の状態である場合、当該統一状態を同一の語義を示す交通信号機に対応する前の時刻の状態に修正し、同一の語義を示す交通信号機に対応する統一状態がすべて点灯していない時、同一の語義を示す交通信号機に対応する前の時刻の状態が他の状態ではない場合、当該統一状態を同一の語義を示す交通信号機に対応する前の時刻の状態に修正し、同一の語義を示す各交通信号機に対応する統一状態が黄色点灯である時、同一の語義を示す交通信号機に対応する前の時刻の状態が赤色点灯である場合、当該統一状態を赤色点灯に修正する。

【0048】

選択可能に、同一の語義を示す交通信号機に対応する統一状態が得られるたびに、当該統一状態がすべて点灯していないである状態か、又は青色点灯であるか、又は黄色点灯であるか、又は赤色点灯である場合、当該統一状態を記録するための統一状態記録モジュールと、記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す各交通信号機に点滅状態にある交通信号機が存在するか否やか、又は同一の語義を示す交通信号機が故障状態にあるか否やかを決定するための交通信号機異常決定モジュールと、をさらに含む。

【0049】

選択可能に、交通信号機異常決定モジュールは、さらに、記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す交通信号機の統一状態がすべて点灯していない持続期間が、所定数値範囲の上限値より大きいと決定された場合、同一の語義を示す交通信号機が故障状態にあると決定し、記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す交通信号機の統一状態が交番に点滅している状態であり、かつ消灯の持続期間が所定数値範囲の下限値より小さいと決定された場合、同一の語義を示す交通信号機に異常点滅状態にある交通信号機が存在すると決定し、記録された情報と画像フレームの処理頻度に基づいて、同一の語義を示す交通信号機の統一状態が交番に点滅している状態であり、かつ消灯の持続期間が所定数値範囲内にあると決定された場合、同一の語義を示す交通信号機に正常の点滅状態にある交通信号機が存在すると決定する。

【0050】

選択可能に、交通信号機の状態は、赤色点灯、青色点灯、黄色点灯、すべて点灯していない状態、及び他の状態を含み、赤色点灯、青色点灯、及び黄色点灯の信頼度は同じであり、赤色点灯、青色点灯、及び黄色点灯の信頼度はすべて点灯していない状態の信頼度より高く、すべて点灯していない状態の信頼度は他の状態の信頼度より高い。

【0051】

上記の装置は、本発明の上記のすべての実施例により提供される方法を実行することができ、上記の方法を実行することに対する機能モジュールと有益な効果を有する。本実施例で詳細に説明されていない技術的詳細については、本発明の上記のすべての実施例によって提供される方法を参照することができる。

【0052】

（実施例３）
図４は、本発明の実施例３により提供される電子機器の概略構成図である。図４は、本発明の実施形態を実現するための電子機器４１２のブロック図を示している。図４に示される電子機器４１２は、単なる一例であり、本発明の実施例の機能及び使用範囲について一切限定しない。機器４１２は、典型的には、交通信号機の認識機能を担う計算機器である。

【0053】

図４に示すように、電子機器４１２は、汎用コンピューティング機器の形態で示されている。電子機器４１２の構成要素は、１つ又は複数のプロセッサ４１６と、記憶装置４２８と、異なるシステムの構成要素（記憶装置４２８とプロセッサ４１６とを含む）を接続するバス４１８と、を含むが、これらに限定されない。

【0054】

バス４１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ、又は多様なバス構造のいずれかのバス構造を使用するローカルバスを含む、いくつかのタイプのバス構造のうちの１つ又は複数を表す。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＣＡ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスを含むが、これらに限定されない。

【0055】

電子機器４１２は、通常、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む、電子機器４１２によってアクセスされ得る任意の使用可能な媒体であってもよい。

【0056】

記憶装置４２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）４３０及び/又はキャッシュメモリ４３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。電子機器４１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。例として、ストレージシステム４３４は、ノンリムーバブル、不揮発性磁気媒体（図４に図示せず、通常「ハードディスクドライブ」と称する）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、コンパクトディスク - リードオンリーメモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、デジタルビデオディスク - リードオンリーメモリ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＤＶＤ−ＲＯＭ）又は他の光学媒体）に対して読み出し及び書き込みをするための光ディスクドライブを提供することができる。これらの場合、各走行は、１つ又は複数のデータメディアインターフェースを介してバス４１８に接続することができる。記憶装置４２８は、本発明の各実施例に記載の機能を実行するように構成される１組の（例えば、少なくとも１つ）プログラムモジュールを有する少なくとも１つのプログラム製品を含んでもよい。

【0057】

１組の（少なくとも１つ）プログラムモジュール４２６６を有するプログラム４３６は、例えば、記憶装置４２８に記憶されてもよく、このようなプログラムモジュール４２６は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されない。これらの例のそれぞれ又はある組み合わせには、ネットワーキング環境の実装が含まれる可能性がある。プログラムモジュール４２６は、通常、本発明に記載の実施例における機能及び/又は方法を実行する。

【0058】

電子機器４１２は、１つ又は複数の外部機器４１４（例えば、キーボード、ポインティング機器、カメラ、ディスプレイ４２４など）と通信することができ、また、ユーザが当該電子機器４１２とインタラクションすることを可能にする１つ又は複数の機器と通信することができ、及び/又は、当該電子機器４１２が１つ又は複数の他のコンピューティング機器と通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、電子機器４１２は、ネットワークアダプタ２０を介して、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、及び/又はパブリックネットワーク、例えば、インターネット）と通信することができる。図８に示すように、ネットワークアダプタ２０は、バス４１８を介して電子機器４１２の他のモジュールと通信する。なお、図８に示されていないが、マイクロコード、機器ドライバ、冗長化処理ユニット、外部ディスク駆動アレイ、レイド（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ、ＲＡＩＤ）システム、テープドライバ、及びデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェア及び/又はソフトウェアモジュールをコンピュータ電子機器４１２と組み合わせて使用することができる。

【0059】

プロセッサ４１６は、記憶装置４２８に記憶されているプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、本発明の実施例により提供される点群データに基づく物体検出ボックスの生成方法を実現する。

【0060】

（実施例４）
本発明の実施例４は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例によって提供される交通信号機の認識方法を実現する。

【0061】

本発明の実施例によって提供されるコンピュータ読み取り可能な記憶媒体は、それに記憶されているコンピュータプログラムは、上記の方法の操作に限定されず、本発明の任意の実施例によって提供される交通信号機の認識方法における関連操作をさらに実行することができる。

【0062】

本発明の実施例のコンピュータ記憶媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又は機器、或いは上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。本文において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又は機器により使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。

【0063】

コンピュータ読み取り可能なの信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中のにはコンピュータ読み取り可能なのプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ読み取り可能なの信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又は機器により使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

【0064】

プログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体によって伝送することができる。

【0065】

１つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行されてもよく、部分的にユーザコンピュータに実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、又は、外部コンピュータに接続することができる（例えば、インタネットサービスプロバイダーによりインターネットを経由して接続する）。

【0066】

さらに、図５は、本発明の実施例４により提供される車両の概略構成図であり、図５に示すように、当該車両は、車体５１０と、上記の実施例の電子機器５２０と、車体に設置されたカメラ５３０と、を含む。

【0067】

なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

【図1】

【図2】

【図3】

【図4】

【図5】