(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-28
(54)【発明の名称】運動意図決定方法、装置、機器及び記憶媒体
(51)【国際特許分類】
G08G 1/00 20060101AFI20250220BHJP
G06T 7/70 20170101ALI20250220BHJP
G06T 7/00 20170101ALI20250220BHJP
G06V 10/82 20220101ALI20250220BHJP
G06V 20/54 20220101ALI20250220BHJP
【FI】
G08G1/00 A
G06T7/70 Z
G06T7/00 350C
G06T7/00 650B
G06V10/82
G06V20/54
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024545918
(86)(22)【出願日】2022-07-27
(85)【翻訳文提出日】2024-08-01
(86)【国際出願番号】 CN2022108284
(87)【国際公開番号】W WO2023151241
(87)【国際公開日】2023-08-17
(31)【優先権主張番号】202210122826.X
(32)【優先日】2022-02-09
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520018428
【氏名又は名称】センスタイム グループ リミテッド
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】ホー ユエン
(72)【発明者】
【氏名】ジアン チンホン
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA01
5H181BB20
5H181CC04
5H181FF10
5H181MB01
5L096AA06
5L096BA04
5L096DA02
5L096FA67
5L096FA69
5L096GA10
5L096GA34
5L096GA51
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
本開示の実施例は、運動意図決定方法、装置、機器及び記憶媒体を提供する。前記運動意図決定方法は、交通画像を取得することと、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することと、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することと、を含む。このようにして、車両の運動意図をより正確に予測することができる。
【特許請求の範囲】
【請求項1】
電子機器によって実行される運動意図決定方法であって、
交通画像を取得することと、
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することと、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することと、を含む、運動意図決定方法。
【請求項2】
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することは、
前記交通画像に基づいて、前記交通画像内の前記車両の点灯する目標車灯の位置情報を決定することと、
前記交通画像に基づいて、前記交通画像内の車両の外観情報を決定することと、
前記車両の外観情報に基づいて、前記車両の車頭の向き情報を決定することと、を含み、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、
前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することを含む、ことを特徴とする
請求項1に記載の運動意図決定方法。
【請求項3】
前記目標車灯は単一の方向指示灯であり、前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することは、
前記単一の方向指示灯の位置情報と前記車両の車頭の向き情報に基づいて、方向指示灯によって示される方向転換情報を決定することと、
前記方向転換情報に基づいて、前記車両の方向転換意図を決定することと、を含む、ことを特徴とする
請求項2に記載の運動意図決定方法。
【請求項4】
前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することは、
前記車灯情報にブレーキランプ情報が含まれておらず、前記目標車灯が複数の方向指示灯であることに応答して、前記車両が制動状態にあると決定することを含む、ことを特徴とする
請求項2に記載の運動意図決定方法。
【請求項5】
前記運動意図決定方法はさらに、
前記交通画像に基づいて、前記交通画像内の車両の車種情報を決定することを含み、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、
前記車灯情報、向き情報及び車種情報に基づいて、前記車両の運動意図を決定することを含む、ことを特徴とする
請求項1~4のいずれか1項に記載の運動意図決定方法。
【請求項6】
前記車両の運動意図を決定するとき、前記車両の運動意図の信頼度を決定し、前記運動意図決定方法はさらに、
前記向き情報が前記車両が横向きであることを示すことに応答して、前記運動意図の信頼度を低減させることを含む、ことを特徴とする
請求項1~4のいずれか1項に記載の運動意図決定方法。
【請求項7】
前記車両の運動意図を決定するとき、前記車両の運動意図の信頼度を決定し、前記運動意図決定方法はさらに、
前記車両の運動意図を予測するアプリケーション需要を取得することと、
前記アプリケーション需要にマッチングする信頼度閾値を決定することと、を含み、
前記車両の運動意図を決定した後、前記運動意図決定方法はさらに、
信頼度が前記信頼度閾値より大きい運動意図を、前記車両の決定運動意図とすることを含む、ことを特徴とする
請求項1~4のいずれか1項に記載の運動意図決定方法。
【請求項8】
前記車灯情報、前記向き情報及び前記車両の運動意図の決定は、ニューラルネットワークによって実行され、
前記ニューラルネットワーク内の第1分類器は、車灯情報及び向き情報がラベル付けされたサンプル画像を用いて訓練して得られ、前記ニューラルネットワーク内の第2分類器は、車両の運動意図がラベル付けされたサンプル画像を用いて訓練して得られる、ことを特徴とする
請求項1に記載の運動意図決定方法。
【請求項9】
前記第2分類器は、車両の基礎運動意図を分類するための基礎分類器、及び車両の拡張運動意図を分類するための拡張分類器のうちの少なくとも1つを含み、前記基礎分類器は、車両の全体的な車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものであり、前記拡張分類器は、車両の方向指示灯の車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものである、ことを特徴とする
請求項8に記載の運動意図決定方法。
【請求項10】
前記ニューラルネットワークを使用して、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することは、
前記ニューラルネットワークの畳み込み層を使用して、前記交通画像の注意力マスクを決定することと、
前記注意力マスクに基づいて、前記交通画像の空間特徴を決定することと、
前記空間特徴と前記交通画像の時間特徴をマージし、前記交通画像の画像特徴を得ることと、
前記第1分類器を使用して、前記画像特徴に基づいて、前記車両の車灯情報及び前記車両の向き情報を決定することと、を含む、ことを特徴とする
請求項8に記載の運動意図決定方法。
【請求項11】
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、
前記車灯情報と前記向き情報を前記第2分類器に入力し、前記第2分類器によって前記車両の予測運動意図を出力することと、
前記予測運動意図と前記第1分類器によって出力された分類結果がマッチングしないことに応答して、前記予測運動意図の第1信頼度と前記分類結果の第2信頼度をそれぞれ決定することと、
前記予測運動意図の第1信頼度及び前記分類結果の第2信頼度のうち比較的大きい信頼度に対応する予測結果に基づいて、前記車両の運動意図を決定することと、を含む、ことを特徴とする
請求項10に記載の運動意図決定方法。
【請求項12】
運動意図決定装置であって、
交通画像を取得するように構成される画像取得部と、
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定するように構成される情報決定部と、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定するように構成される意図決定部と、を備える、運動意図決定装置。
【請求項13】
コンピュータにより実行された後、請求項1~11のいずれか1項に記載の運動意図決定方法のステップを実現できる、コンピュータ実行可能な命令が記憶されたコンピュータ記憶媒体。
【請求項14】
コンピュータ実行可能な命令を記憶するメモリと、前記メモリにおけるコンピュータ実行可能な命令を実行して、請求項1~11のいずれか1項に記載の運動意図決定方法のステップを実行するプロセッサとを備える、コンピュータ機器。
【請求項15】
電子機器上で実行される場合、前記電子機器に請求項1~11のいずれか1項に記載の運動意図決定方法を実行させる、コンピュータプログラム又は命令を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願への相互参照)
本開示は、出願番号が202210122826.Xであり、出願日が2022年2月9日であり、出願名称が「運動意図決定方法、装置、機器及び記憶媒体」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照により本開示に組み込まれる。
【0002】
本開示の実施例は、インテリジェント運転技術の分野に関し、運動意図決定方法、装置、機器及び記憶媒体に関するが、これらに限定されない。
【背景技術】
【0003】
近年、走行灯と車幅灯の登場に伴い、車灯は複雑化の様相を呈しており、左右の2つのライト全体の明暗状況だけでは車両がブレーキをかけるのか方向転換を行うのかを正確に判断することができない。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実施例は、運動意図決定の技術的解決策を提供する。
【0005】
本開示の実施例の技術的解決策は次のように実現される。
【0006】
本開示の実施例は運動意図決定方法を提供し、前記方法は、交通画像を取得することと、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することと、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することと、を含む。
【0007】
いくつかの実施例では、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することは、前記交通画像に基づいて、前記交通画像内の前記車両の点灯する目標車灯の位置情報を決定することと、前記交通画像に基づいて、前記交通画像内の車両の外観情報を決定することと、前記車両の外観情報に基づいて、前記車両の車頭の向き情報を決定することと、を含み、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することを含む。このようにして、目標車灯の位置情報と車両の向き情報とを組み合わせることで、車両の方向転換をより正確に予測することができる。
【0008】
いくつかの実施例では、前記目標車灯は単一の方向指示灯であり、前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することは、前記単一の方向指示灯の位置情報と前記車両の車頭の向き情報に基づいて、方向指示灯によって示される方向転換情報を決定することと、前記方向転換情報に基づいて、前記車両の方向転換意図を決定することと、を含む。このようにして、単一の方向指示灯の位置と車頭の向きを分析することで、該方向指示灯によって示される方向転換情報を正確に得ることができ、さらに車両の方向転換意図を正確に予測することができる。
【0009】
いくつかの実施例では、前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することは、前記車灯情報にブレーキランプ情報が含まれておらず、前記目標車灯が複数の方向指示灯であることに応答して、前記車両が制動状態にあると決定することを含む。このようにして、複数の方向指示灯が同時に点灯状態にあるかどうかを識別することで、該車両が制動状態にあるかどうかを正確に予測することができる。
【0010】
いくつかの実施例では、前記運動意図決定方法はさらに、前記交通画像に基づいて、前記交通画像内の車両の車種情報を決定することを含み、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、前記車灯情報、向き情報及び車種情報に基づいて、前記車両の運動意図を決定することを含む。このようにして、車灯情報、向き情報及び車種情報を組み合わせることで、車両の方向指示灯によって示される方向転換情報を正確に得ることができ、即ち該車両の運動意図を予測することができる。
【0011】
いくつかの実施例では、前記車両の運動意図を決定するとき、前記車両の運動意図の信頼度を決定し、前記運動意図決定方法はさらに、前記向き情報が前記車両が横向きであることを示すことに応答して、前記運動意図の信頼度を低減させることを含む。このようにして、前記向き情報が車両の横向きである場合、前記運動意図の信頼度を低減させることで、車両運動意図に対する予測正確度を向上させることができる。
【0012】
いくつかの実施例では、前記車両の運動意図を決定するとき、前記車両の運動意図の信頼度を決定し、前記運動意図決定方法はさらに、前記車両の運動意図を予測するアプリケーション需要を取得することと、前記アプリケーション需要にマッチングする信頼度閾値を決定することと、を含み、前記車両の運動意図を決定した後、前記運動意図決定方法はさらに、信頼度が前記信頼度閾値より大きい運動意図を、前記車両の決定運動意図とすることを含む。このようにして、アプリケーション需要に従って信頼度閾値を設定し、それによって予測された運動意図にユーザの需要をよりよく満たさせることができる。
【0013】
いくつかの実施例では、前記車灯情報、前記向き情報及び前記車両の運動意図の決定は、ニューラルネットワークによって実行され、前記ニューラルネットワーク内の第1分類器は、車灯情報及び向き情報がラベル付けされたサンプル画像を用いて訓練して得られ、前記ニューラルネットワーク内の第2分類器は、車両の運動意図がラベル付けされたサンプル画像を用いて訓練して得られる。このようにして、複数の分類器を含む識別ネットワークを使用して車両の運動意図を識別することで、運動意図予測の正確度を向上させることができる。
【0014】
いくつかの実施例では、前記第2分類器は、車両の基礎運動意図を分類するための基礎分類器、及び車両の拡張運動意図を分類するための拡張分類器のうちの少なくとも1つを含み、前記基礎分類器は、車両の全体的な車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものであり、前記拡張分類器は、車両の方向指示灯の車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものである。このようにして、基礎分類器と拡張分類器が訓練プロセスにおいて相互に補助するようにし、訓練プロセスでは、ネットワークはまず全体的な車灯状態を考慮し、さらに全体的な車灯における方向指示灯の方向転換をさらに考慮することで、車両の運動意図をより正確に予測することができる。
【0015】
いくつかの実施例では、前記ニューラルネットワークを使用して、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することは、前記ニューラルネットワークの畳み込み層を使用して、前記交通画像の注意力マスクを決定することと、前記注意力マスクに基づいて、前記交通画像の空間特徴を決定することと、前記空間特徴と前記交通画像の時間特徴をマージし、前記交通画像の画像特徴を得ることと、前記第1分類器を使用して、前記画像特徴に基づいて、前記車両の車灯情報及び前記車両の向き情報を決定することと、を含む。このようにして、マルチタスク学習を使用することで、車両向き、車両タイプの分類器などを使用して車灯状態分類の分類器を補助することができ、さらに車灯の表示状態を予測する正確度を向上させることができる。
【0016】
いくつかの実施例では、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、前記車灯情報と前記向き情報を前記第2分類器に入力し、前記第2分類器によって前記車両の予測運動意図を出力することと、前記予測運動意図と前記第1分類器によって出力された分類結果がマッチングしないことに応答して、前記予測運動意図の第1信頼度と前記分類結果の第2信頼度をそれぞれ決定することと、前記予測運動意図の第1信頼度及び前記分類結果の第2信頼度のうち比較的大きい信頼度に対応する予測結果に基づいて、前記車両の運動意図を決定することと、を含む。このようにして、複数の分類器の予測結果が衝突する場合、信頼度が比較的大きいものを最終的な予測結果として選択することで、車両の運動意図をより正確に予測することができる。
【0017】
本開示の実施例は、運動意図決定装置を提供し、前記装置は、交通画像を取得するように構成される画像取得部と、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定するように構成される情報決定部と、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定するように構成される意図決定部と、を備える。
【0018】
対応して、本開示の実施例はコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体は、コンピュータ実行可能な命令が記憶され、該コンピュータ実行可能な命令が実行された後、上述に記載の方法のステップを実現することができる。
【0019】
本開示の実施例はコンピュータプログラム製品をさらに提供し、前記コンピュータプログラム製品は、コンピュータプログラム又は命令を含み、前記コンピュータプログラム又は命令が電子機器上で実行される場合、前記電子機器に上記の第1態様のいずれかの可能な実施形態におけるステップを実行させる。
【0020】
本開示の実施例はコンピュータ機器を提供し、前記コンピュータ機器は、メモリとプロセッサを備え、前記メモリにコンピュータ実行可能な命令が記憶され、前記プロセッサが前記メモリにおけるコンピュータ実行可能な命令を実行する場合、上述に記載の方法のステップを実現することができる。
【0021】
本開示の実施例は、運動意図決定方法、装置、機器及び記憶媒体を提供し、取得された交通画像において、車両の車灯情報及び向き情報を決定し、車灯情報と向き情報とを組み合わせることで、該車両がブレーキ又は方向転換などの運動意図を行うかどうかを判断する。このようにして、車両の運動意図をより正確に予測することができる。
【0022】
本開示の実施例の上記目的、特徴及び利点をより分かりやすくするために、以下において、好ましい実施例を特に挙げ、添付する図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0023】
【
図1A】本開示の実施例による運動意図決定方法が適用可能なシステムアーキテクチャの概略図である。
【
図1B】本開示の実施例による運動意図決定方法の実現の概略的フローチャートである。
【
図2】本開示の実施例による運動意図決定方法の別の実現の概略的フローチャートである。
【
図3】本開示の実施例による運動意図決定方法の適用シナリオの概略図である。
【
図4】本開示の実施例による運動意図決定方法の実現フレームワークの概略図である。
【
図5】本開示の実施例による運動意図決定装置の構造的概略図である。
【
図6】本開示の実施例によるコンピュータ機器の構造的概略図である。
【発明を実施するための形態】
【0024】
本開示の実施例の技術的解決策をより明瞭に説明するために、以上において、実施例に必要とされる図面について簡単に紹介し、ここでの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的解決策を説明するために用いられる。以下の図面は本開示のいくつかの実施例のみを示すため、範囲を限定するものと見なすべきではなく、当業者にとっては、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面を取得することもできることを理解すべきである。
【0025】
本開示の実施例の目的、技術的解決策及び利点をより明確にするために、以下に本開示の実施例における図面を参照しながら発明の具体的な技術的解決策をさらに詳細に説明する。以下の実施例は本開示を説明するためのものであり、本開示の範囲を限定するためのものではない。
【0026】
以下の記載に係る「いくつかの実施例」は、全ての可能な実施例のサブセットが記載されているが、「いくつかの実施例」は全ての可能な実施例の同じサブセット又は異なるサブセットであってよく、且つ衝突しない場合、互いに組み合わせることができることが理解され得る。
【0027】
以下の記載に係る用語「第1\第2\第3」は、対象に対する特定の並べ替えを表すものではなく、類似の対象を区別するものに過ぎない。「第1\第2\第3」は、いくつかの実施例で記載される本開示の実施例がいくつかの実施例で図示又は記載される以外の順序で実施できるように、許可される場合には、特定の順序又は先後順序を交換することができることが理解され得る。
【0028】
他に定義されない限り、本明細書で使用される全ての技術用語及び科学用語は本開示の技術分野に属する当業者によって一般的に理解されるのと同じ意味を有する。本明細書で使用される用語は単に本開示の実施例の目的を記載するためのものに過ぎず、本開示を限定することを意図するものではない。
【0029】
本開示の実施例をさらに詳しく説明する前に、本開示の実施例で言及される名詞及び用語を説明し、本開示の実施例で言及される名詞及び用語は以下の解釈に適用される。
【0030】
1)畳み込みニューラルネットワーク(CNN:Convolutional Neural Networks):畳み込み計算を含む深層構造を持つフィードフォワードニューラルネットワークの一種であり、特徴学習能力があり、その階層構造に従って入力情報に対して並進不変分類を行うことができる。
【0031】
2)エゴ車両(ego vehicle):周囲の環境を感知するセンサーを含む車両である。車両座標系はエゴ車両に固定して接続されており、ここで、x軸は自動車の前進方向であり、y軸は車両の前進方向の左側を指し、z軸は地面に垂直で上向きであり、右手座標系に準拠する。座標系の原点は、後軸の中点より下の地面に位置する。
【0032】
以下において、本開示の実施例により提供される運動意図決定機器の例示的な適用を説明し、本開示の実施例により提供される機器は、画像収集機能を備えたノートパソコン、タブレットコンピュータ、又はその他の車載機器として実施されてもよく、サーバとして実施されてもよい。以下において、機器を端末又はサーバとして実施する時の例示的な適用を説明する。
【0033】
図1Aは、本開示の実施例による運動意図決定方法のシステムアーキテクチャの概略図である。
図1Aに示すように、該システムアーキテクチャは、画像取得装置11、ネットワーク12、及び車載制御端末13を含む。1つの例示的な適用のサポートを実現するために、画像取得装置11と車載制御端末13は、ネットワーク12を介して通信接続を確立する。まず、画像取得装置11は、ネットワーク12を介して取得した交通画像を車載制御端末13に報告し、車載制御端末13は交通画像を識別して、交通画像内の車両の車灯情報と向き情報を決定し、車灯情報と向き情報を組み合わせて、車両の運動意図を決定する。
【0034】
例として、画像取得装置11は、視覚情報処理能力を有する視覚処理装置を含んでもよい。ネットワーク12は、有線又は無線接続方式を採用し得る。ここで、画像取得装置11が視覚処理装置である場合、車載制御端末13は、有線接続方式を介して視覚処理装置と通信接続することができ、例えばバスを介してデータ通信を行うことができる。
【0035】
又は、いくつかのシナリオでは、画像取得装置11は、ビデオ収集モジュールを備えた視覚処理装置であってもよく、カメラを備えたホストであってもよい。このとき、本開示の実施例の拡張現実データ表示方法は画像取得装置11によって実行されてもよく、上記のシステムアーキテクチャはネットワーク12及び車載制御端末13を含まなくてもよい。
【0036】
本開示の実施例の目的、技術的解決策及び利点をより明確にするために、以下に本開示の実施例における図面を参照しながら発明の具体的な技術的解決策をさらに詳細に説明する。以下の実施例は本開示を説明するために構成されるが、本開示の範囲を限定するためのものではない。
【0037】
以下の記載に係る「いくつかの実施例」は、全ての可能な実施例のサブセットが記載されているが、「いくつかの実施例」は全ての可能な実施例の同じサブセット又は異なるサブセットであってよく、且つ衝突しない場合、互いに組み合わせることができることが理解され得る。
【0038】
該方法はコンピュータ機器に適用することができ、該方法によって実現される機能は、コンピュータ機器内のプロセッサがプログラムコードを呼び出すことによって実現され得、もちろん、プログラムコードはコンピュータ記憶媒体に記憶されてもよく、該コンピュータ機器は少なくともプロセッサと記憶媒体を含むことが分かる。
【0039】
図1Bは、本開示の実施例による運動意図決定方法の実現の概略的フローチャートである。
図1Bに示すように、
図1Bに示すステップを参照して説明する。
【0040】
S101において、交通画像を取得する。
【0041】
いくつかの実施例では、交通画像は、任意の道路で収集された画像であってもよく、複雑な画面内容を含む画像であってもよく、単純な画面内容を含む画像であってもよい。例えば、深夜に収集された街路シナリオの画像、又は日中に収集された街路シナリオの画像などである。該交通画像には車両が含まれてもよく、ここで、車両は、様々な機能を有する車両(例えばトラック、自動車、オートバイなど)及び様々な車輪数を有する車両(例えば四輪車両、二輪車両など)などを含む。以下において乗用車を例として説明してもよい。例えば、交通画像は道路上で、乗用車を収集した画像である。
【0042】
ステップS102において、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定する。
【0043】
いくつかの実施例では、交通画像を訓練済みのニューラルネットワークに入力し、該ネットワーク内の完全畳み込みネットワークを使用して交通画像に対して特徴抽出を行い、画像特徴を得る。該画像特徴をニューラルネットワークの複数の分類器に入力することで、該車両の各車灯の車灯情報及び該車両の向き情報を識別する。車灯情報は、車灯の表示状態と車両上の車灯の位置を含む。車両が普通の乗用車であることを例として、該普通の乗用車の車灯は、ヘッドライト、フォグランプ、バックアップライト、ライセンスプレートライト、ポジションライト、走行灯、方向指示灯、ドームライト、高位ブレーキランプ、ハイビーム/ロービーム、警告灯、及びトランクランプなどを含む。該普通の乗用車の車灯情報は、車体に含まれる各車灯の表示状態及び位置である。向き情報は、該車両の車頭の向きであり、該車両の車両向きを表すように構成され、画像が収集された自車両に対して、車頭が前方に向くか又は車頭が後ろに向くことを含み、即ち、車頭が前方に向くことは、車両の尾部が自車両に直面することであり、このようにして収集された交通画像に呈されるのは車両の尾部であり、車頭が後ろに向くことは、車両の車頭が自車両に直面することであり、このようにして収集された交通画像に呈されるのは車両の頭部である。向き情報は、車両の横方向をさらに含み、例えば、車両の車頭が道路の左側又は道路の右側に向き、即ち、車両は道路に横たわっている。
【0044】
ステップS103において、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定する。
【0045】
いくつかの実施例では、車両の車灯表示状態と車頭の向き情報とを組み合わせることで、該車両に点灯する車灯によって示される運動方式を判断する。即ち、該運動意図は、車両の左折、右折、前進、後退、又はブレーキなどを含む。交通画像をニューラルネットワークにおける車灯情報を分類する分類器、及び車頭の向きを予測する分類器に入力することで、複数の車灯の分類器によって出力された分類結果と車両の向きの分類器によって出力された分類結果を得る。これらの複数の分類器の出力結果同士が互いに衝突するかどうかを判断し、最後に信頼度の比較的高い車灯情報と向き情報を出力する。このようにして、車灯情報と向き情報とを総合的に考慮することにより、車両の運動意図をより正確に予測することができる。
【0046】
本開示の実施例では、交通画像において、車両の車灯情報及び向き情報を決定し、車灯情報と向き情報とを組み合わせることで、該車両がブレーキ又は方向転換などの運動意図を行うかどうかを判断する。このようにして、車両の運動意図をより正確に分析することができる。
【0047】
いくつかの実施例では、車両の2分類の向きを分析することによって方向指示灯が左方向指示灯であるか右方向指示灯であるかを決定し、さらに車両の運動意図を決定し、即ち上記のS102は、以下のステップS121~S123(図示せず)により実現され得る。
【0048】
S121において、前記交通画像に基づいて、前記交通画像内の前記車両の点灯する目標車灯の位置情報を決定する。
【0049】
ここで、ニューラルネットワークを使用して、交通画像内の車両の点灯する車灯を検出する。該車灯が方向指示灯である場合、該方向指示灯の検出枠の座標を決定し、それによって目標方向指示灯の位置情報を得る。
【0050】
いくつかの可能な実現形態では、まず、前記車灯情報において、点灯する前記目標車灯を決定する。ここで、車灯情報において、表示状態が点灯である目標車灯を選別する。該目標車灯は、車両上の任意の車灯であり得る。そして、前記目標車灯が方向指示灯である場合、前記向き情報に基づいて、前記方向指示灯の位置情報を決定する。ここで、該向き情報は、車頭の向き、即ち、車頭が前方に向くか又は車頭が後ろに向くことを含むことができる。例えば、同じ車両に対して、車頭が前方に向く場合、画像における左方向指示灯の位置は左側であり、車頭が後ろに向く場合、画像における左方向指示灯の位置は右側である。このようにして、車頭の向きを組み合わせて、方向指示灯情報における目標方向指示灯が左方向指示灯であるか右方向指示灯であるかを判断する。目標車灯が方向指示灯でない場合、交通画像において該目標車灯を検出枠の方式で表すことができ、該検出枠の座標は即ち目標車灯の位置情報である。このようにして、車頭の向き情報を考慮することにより、目標方向指示灯が左方向指示灯であるか右方向指示灯であるかを正確に予測することができる。
【0051】
ステップS122において、前記交通画像に基づいて、前記交通画像内の車両の外観情報を決定する。
【0052】
いくつかの実施例では、シングルフレームの交通画像をニューラルネットワークに入力し、該車両の外観情報を抽出する。ここで、外観情報は、車両が交通画像において呈する画面を含み、例えば、交通画像が車両の後ろで収集された場合、該外観情報は車両の尾部に対応する外観(車両後方の方向指示灯と高位ブレーキランプなどを含む)である。
【0053】
ステップS123において、前記車両の外観情報に基づいて、前記車両の車頭の向き情報を決定する。
【0054】
いくつかの実施例では、交通画像に呈される車両の画面内容を分析することによって、車頭の向きを決定することができ、即ち、該車両の車両向きが前進、後退であるか横走行であるかを決定する。
【0055】
上述のステップS121~S123は、車頭の向き情報と目標車灯の位置情報を決定する方式を提供し、このようにシングルフレームの画像を使用して車両の向き情報を予測することにより、ネットワークモデルを簡素化し、処理遅延を低減させることができる。
【0056】
目標車灯の位置情報と車頭の向き情報を決定した後、次のステップS124により車両の運動意図を決定する。
【0057】
ステップS124において、前記車両の目標車灯の位置情報と前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定する。
【0058】
ここで、車両の向き情報に基づいて、点灯する目標方向指示灯を組み合わせて、該車両の方向転換、即ち目標方向転換を予測する。例えば、目標方向指示灯が左方向指示灯であり、車両の向きが前向きである場合、目標方向転換は前方の左折である。このようにして、目標車灯の位置情報と車両の向き情報を組み合わせることで、車両の方向転換をより正確に予測することができる。
【0059】
いくつかの実施例では、目標車灯が単一の方向指示灯である場合、該単一の方向指示灯の位置情報と車頭の向き情報を分析することによって、即ち車両の運動意図を予測することができる。即ち、上記のステップS124は、次のステップにより実現され得る。
【0060】
第1ステップにおいて、前記単一の方向指示灯の位置情報と前記車両の車頭の向き情報に基づいて、方向指示灯によって示される方向転換情報を決定する。
【0061】
いくつかの実施例では、単一の方向指示灯の位置情報は、即ち交通画像に呈される車両における該単一の方向指示灯の位置であり、方向指示灯によって示される方向転換情報は、左折、右折、又はダブルフラッシュなどである可能性がある。1つの具体的な例では、交通画像において、車頭が前方に向く場合、単一の方向指示灯の位置情報が画像における位置の左側であると、該方向指示灯が左方向指示灯であることを意味し、さらに方向指示灯によって示される方向転換情報が左折であると決定する。同様に、車頭が後ろに向く場合、単一の方向指示灯の位置情報が画像における位置の左側であると、該方向指示灯が右方向指示灯であることを意味し、さらに方向指示灯によって示される方向転換情報が右折であると決定する。
【0062】
第2ステップにおいて、前記方向転換情報に基づいて、前記車両の方向転換意図を決定する。
【0063】
いくつかの実施例では、方向指示灯によって示される方向転換情報に従って該方向指示灯によって示される方向転換を得ることができ、さらに車両の次の方向転換を予測することができ、即ち、車両の方向転換意図を決定する。
【0064】
本開示の実施例では、単一の方向指示灯の位置と車頭の向きを分析することにより、該方向指示灯によって示される方向転換情報を正確に得ることができ、さらに車両の方向転換意図を正確に予測することができる。
【0065】
いくつかの実施例では、目標車灯が複数の方向指示灯である場合、車灯情報にブレーキランプ情報が含まれるかどうかを分析することにより、車両が制動状態にあるかどうかを分析することができる。即ち、上記のステップS124は、前記車灯情報にブレーキランプ情報が含まれておらず、前記目標車灯が複数の方向指示灯であることに応答して、前記車両が制動状態にあると決定する、プロセスにより実現され得る。
【0066】
いくつかの実施例では、車灯情報にブレーキランプ情報が含まれない場合、該車灯情報にブレーキランプ情報が収集されないことを意味する。
【0067】
いくつかの可能な実現形態では、まず、車灯情報にブレーキランプ情報があるかどうかを判断し、次に、ブレーキランプ情報がない場合、前記車灯情報において、前記車両の左右の方向指示灯の表示状態を決定する。例えば、トラック又はバスにドームライトがないため、左右の方向指示灯によりそのブレーキ状態を判断することができ、左右の方向指示灯が両方とも点灯することに応答して、車両が制動状態にあると決定する。即ち、点灯する目標車灯が複数の方向指示灯である場合、つまり複数の方向指示灯が同時に点灯状態にある場合、該車両が制動状態にあると予測することができる。このようにして、車灯情報にブレーキランプ情報が含まれない場合、複数の方向指示灯が同時に点灯状態にあることが識別されれば、該車両が制動状態にあることを正確に予測することができる。
【0068】
他の実施例では、車灯情報にブレーキランプ情報が含まれると、ブレーキランプ情報の点滅状態を分析することにより、車両が制動状態にあるかどうかを予測することができる。
【0069】
いくつかの実施例では、該車両の車種を識別し、車種を目標車灯の位置情報及び車両の向き情報と組み合わせることにより、車両の方向転換を判断することは、以下のステップにより実現され得る。
【0070】
第1ステップにおいて、前記交通画像に基づいて、前記交通画像内の車両の車種情報を決定する。
【0071】
いくつかの実施例では、ニューラルネットワークを使用して該車両の車種を識別する。交通画像の画像特徴を車種分類器に入力し、該車両の車種を識別し、例えば、該車両は乗用車、トラック、又はバスなどである。
【0072】
第2ステップにおいて、前記車灯情報、向き情報及び車種情報に基づいて、前記車両の運動意図を決定する。
【0073】
いくつかの実施例では、車種情報、車灯情報、及び向き情報を組み合わせて、目標車灯が単一の方向指示灯であるかどうかを決定し、単一の方向指示灯である場合、さらに左方向指示灯であるか右方向指示灯であるかを決定する。例えば、まず、車種情報に基づいて該車灯の方向指示灯の外観及び位置を決定できるため、車灯情報における目標車灯の位置情報が方向指示灯の位置情報であるかどうかを決定できる。次に、該目標車灯が単一の方向指示灯であると決定すると、車両の向き情報を組み合わせて、該車両の方向指示灯が左方向指示灯であるか右方向指示灯であるかを正確に予測することができ、さらに車両の方向指示灯によって示される方向転換情報を正確に得ることができ、即ち該車両の運動意図を予測することができる。
【0074】
いくつかの実施例では、予測された車両の運動意図の正確度を向上させるために、前記車両の運動意図を決定するときに、前記車両の運動意図の信頼度を決定し、前記向き情報が前記車両が横向きであることを示すことに応答して、前記運動意図の信頼度を低減させる。
【0075】
いくつかの可能な実現形態では、向き分類器が車両の向きが横向きであることを識別すると、車両の運動意図に対する予測精度を向上させるために、前記向き情報が車両の横向きである場合、前記運動意図の信頼度を低減させる。ここで、車両が傾く場合、車両の左折と右折の区別が困難であるため、予測された運動意図の信頼度が低減する。車両が横向きであるとき、車両の片側の車灯状態しか見えず、複数の状況が発生する可能性があるため、このような状況で予測された信頼度を低減させる。
【0076】
いくつかの実施例では、ニューラルネットワークにより交通画像内の車灯情報、車頭の向き情報、及び車両の運動意図を識別する。訓練済みのニューラルネットワークを取得し、交通画像を該ネットワークの複数の分類器に入力することにより、車両の各車灯の表示状態及び車頭の向きを予測し、さらに車両の運動意図を予測する。
【0077】
いくつかの実施例では、前記ニューラルネットワーク内の第1分類器は、車灯情報及び向き情報がラベル付けされたサンプル画像を用いて訓練して得られ、前記ニューラルネットワーク内の第2分類器は、車両の運動意図がラベル付けされたサンプル画像を用いて訓練して得られる。
【0078】
いくつかの可能な実現形態では、第1分類器は、サンプル車両の各車灯の車灯情報、車両タイプ及び向き情報を分類するためにそれぞれ使用される少なくとも1つの分類器を含む。例えば、各車灯の車灯情報、車両タイプ及び向き情報は、それぞれ3つの異なる分類器に基づいて分類して得られ、又は、各車灯の車灯情報、車両タイプ及び向き情報は、同じ分類器に基づいて分類して得られる。前記第2分類器は、前記サンプル車両の運動意図を分類するために使用され、収集された交通画像をニューラルネットワークに入力し、該ニューラルネットワーク内の複数の分類器により車両の各車灯の表示状態をそれぞれ識別し、それによって該車両の車灯情報を得る。該ネットワーク内の向き分類器により該車両の車頭の向きを識別し、車両の車頭の向き情報を得る。
【0079】
ニューラルネットワークを訓練するプロセスでは、ミニバッチ(mini-batch)を使用して第2分類器を訓練し、即ち、2部分の異なるラベル付けタイプのデータを使用して第2分類器を訓練する。第2分類器は、車両の基礎運動意図を分類するための基礎分類器、及び車両の拡張運動意図を分類するための拡張分類器のうちの少なくとも1つを含み、ここで、前記基礎分類器は、車両の全体的な車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものであり、前記拡張分類器は、車両の方向指示灯の車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものであり、前記基礎運動意図と前記拡張運動意図は両方とも、前記車両の運動意図を表し、前記基礎運動意図の信頼度は、前記拡張運動意図の信頼度よりも低い。又は、該基礎運動意図は、全体的な車灯状態に基づいて大まかに予測された車両の運動意図であり、該拡張運動意図は、車両の方向指示灯の表示状態に基づいて正確に予測された車両の運動意図である。即ち、基礎分類器の訓練サンプルデータは、車両上のすべての車灯の表示状態がラベル付けされたデータであり、拡張分類器の訓練サンプルデータは、左/右方向指示灯の明暗及び無しがラベル付けされたデータである。
【0080】
第2分類器が基礎分類器を含む場合、車両の全体的な車灯の表示状態に基づいて、該車両の基礎運動意図を大まかに予測する。
【0081】
第2分類器が拡張分類器を含む場合、車両の方向指示灯の表示状態に基づいて、該車両の拡張運動意図を正確に予測する。
【0082】
第2分類器が基礎分類器と拡張分類器とを含む場合、まず、基礎分類器を使用して車両の全体的な車灯の表示状態に基づいて、該車両の基礎運動意図を大まかに予測する。該基礎運動意図に基づいて、車両の方向指示灯の表示状態を組み合わせて、拡張分類器を使用してさらに車両の拡張運動意図をより正確に予測する。このようにして、全体的な車灯の表示状態に基づく基礎運動意図と、左/右方向指示灯の表示状態に基づく拡張運動意図とを訓練し、基礎分類器と拡張分類器が訓練プロセスにおいて相互に補助するようにし、訓練プロセスでは、ネットワークはまず全体的な車灯状態を考慮し、さらに全体的な車灯における方向指示灯の方向転換をさらに考慮することで、車両の運動意図をより正確に予測することができる。
【0083】
いくつかの可能な実現形態では、交通画像をニューラルネットワークの第1分類器に入力することにより、少なくとも前記車両のドームライト情報及び方向指示灯情報を識別し、車両の車灯情報を得る。
【0084】
ここで、交通画像に対して特徴抽出を行った後、第1分類器に入力され、第1分類器における左方向指示灯分類器、右方向指示灯分類器、及びドームライト分類器などは、抽出された画像特徴に基づいて車灯の表示状態を分類し、それによって左方向指示灯の表示状態、右方向指示灯の表示状態、及びドームライトの表示状態などを得る。第1分類器における各車灯分類器によって識別された車灯表示状態と車灯位置を、該車灯情報とする。このようにして、少なくとも車両の方向指示灯情報とドームライト情報を識別することにより、識別されるデータ量を減らすことができるだけでなく、車両の運動意図の予測に豊富な根拠を提供することもできる。
【0085】
いくつかの実施例では、前記ニューラルネットワークを使用して交通画像に対して特徴抽出を行い、複数の分類器を使用して、抽出された画像特徴に基づいて車両の車灯情報及び向き情報を予測する。即ち、上記のステップ102は、
図2に示すステップにより実現され得る。
図2は、本開示の実施例による運動意図決定方法の別の実現の概略的フローチャートである。以下の説明は、
図2に示すステップを参照して行われる。
【0086】
ステップS201において、前記ニューラルネットワークの畳み込み層を使用して、前記交通画像の注意力マスクを決定する。
【0087】
いくつかの実施例では、交通画像をニューラルネットワークの完全畳み込みネットワークに入力し、該画像の注意力マスクを予測する。
【0088】
ステップS202において、前記注意力マスクに基づいて、前記交通画像の空間特徴を決定する。
【0089】
いくつかの実施例では、交通画像と注意力マスクに対して要素ごとの乗算を行い、この積をCNNに出力して空間特徴抽出を行い、空間特徴を得る。
【0090】
ステップS203において、前記空間特徴と前記交通画像の時間特徴をマージし、前記交通画像の画像特徴を得る。
【0091】
いくつかの実施例では、抽出された空間特徴を、特殊なリカレントニューラルネットワーク(RNN:Recurrent Neural Network)、長短期記憶(LSTM:Long short-term memory)に入力し、時間特徴とマージし、マージ後の特徴を画像特徴とし、これにより後続で該特徴に基づいて車灯状態と車頭の向きを識別するのに便利である。
【0092】
ステップS204において、前記第1分類器を使用して、前記画像特徴に基づいて、前記車両の車灯情報及び前記車両の向き情報を決定する。
【0093】
いくつかの実施例では、前記画像特徴がそれぞれ前記第1分類器に入力され、少なくとも前記車両の各車灯の予測車灯情報及び前記車両の予測向き情報を得る。画像特徴をそれぞれ各第1分類器に入力し、車灯状態と車頭の向きを予測する。例えば、第1分類器は、ドームライトの表示状態を分類する分類器、左方向指示灯の表示状態を分類する分類器、右方向指示灯の表示状態を分類する分類器、車両のタイプを分類する分類器、及び車両の車頭向きを分類する分類器を含む。第1分類器の分類結果は、車両の各車灯の表示状態、車両タイプ、及び車頭の向き情報を含む。同一車灯の車灯情報の分類結果のうち、信頼度が信頼度閾値以上の予測車灯情報を車両の車灯情報として選択し、同様に、分類結果のうち、向き情報の信頼度が信頼度閾値以上の予測向き情報を車両の向き情報として選択する。例えば、左方向指示灯に関する分類結果は、明るさ、暗さ、及びなしを含み、ここで、明るさの信頼度が信頼度閾値よりも大きい場合、左方向指示灯が明るさにある状態を該車両の左方向指示灯の車灯情報とする。同様に、向きに関する情報は、前向き、後ろ向き及び横向きを含み、ここで、向きの信頼度が信頼度閾値よりも大きい場合、車頭が前方に向くことを該車両の向き情報とする。
【0094】
本開示の実施例では、マルチタスク学習を使用することにより、車両向き、車両タイプの分類器などを使用して車灯状態分類の分類器を補助することができ、さらに車灯の表示状態を予測する正確度を向上させることができる。例えば、向き分類器を使用して車灯モデルが左右を判断するのを助け、車両タイプ分類器を使用して車灯情報分類器が車灯位置と車灯形状を判断するのを助ける。
【0095】
いくつかの実施例では、以下の2つの方式により、予測された複数の運動意図から優れた運動意図を選択することができる。即ち、上記のステップS103は、以下のステップにより実現され得る。
【0096】
方式1において、ユーザの需要を分析することで、信頼度の比較的高い分類器の運動意図を出力し、即ち、より正確な運動意図を以下のステップにより予測することができる。
【0097】
第1ステップにおいて、前記車両の運動意図を予測するアプリケーション需要を取得する。
【0098】
いくつかの実施例では、アプリケーション需要は、ユーザによって自主的に設定されてもよく、例えば、設定されたブレーキ誤検出に対する最高回数又は車両のプリセット方向転換に対する監督などである。1つの具体的な例では、アプリケーション需要は、右折車両に対する誤検出回数が5未満であることであってもよい。
【0099】
第2ステップにおいて、前記アプリケーション需要にマッチングする信頼度閾値を決定する。
【0100】
いくつかの実施例では、該アプリケーション需要に基づいて信頼度閾値を設定する。例えば、アプリケーション需要が右折車両に対する誤検出回数が5未満であることである場合、信頼度閾値をより大きな値に設定することができる(例えば、信頼度閾値を0.9に設定する)。アプリケーション需要が右折車両に対する誤検出回数が20未満であることである場合、信頼度閾値を0.8などに設定することができる。
【0101】
第3ステップにおいて、信頼度が前記信頼度閾値より大きい運動意図を、前記車両の決定運動意図とする。
【0102】
いくつかの実施例では、前記車両の運動意図を決定した後、信頼度が前記信頼度閾値より大きい運動意図を、前記車両の決定運動意図とする。予測された運動意図は、左折、右折、前進、後退、又はブレーキなどであってもよい。これらの予測された運動意図のうち、信頼度がアプリケーション需要にマッチングする信頼度閾値よりも大きい予測された運動意図を、車両の運動意図として決定する。このようにして、アプリケーション需要に従って信頼度閾値を設定し、それによって予測された運動意図にユーザの需要をよりよく満たさせることができる。
【0103】
方式2において、得られた複数の分類結果間に衝突があるかどうかを分析することで、信頼度の比較的高い分類器の出力結果を出力する。即ち、より正確な運動意図を以下のステップにより予測することができる。
【0104】
第1ステップにおいて、前記車灯情報と前記向き情報を前記第2分類器に入力し、前記第2分類器によって前記車両の予測運動意図を出力する。
【0105】
いくつかの実施例では、第2分類器が基礎分類器である場合、基礎分類器は、すべての車灯情報を全体として、車両の向きを組み合わせて車両の運動意図を予測し、該車両の全体的な予測運動意図を得る。第2分類器が拡張分類器である場合、拡張分類器は、車灯情報における方向指示灯の状態に基づいて、向き情報を組み合わせて車両の運動意図を予測し、該車両の拡張運動意図を得る。
【0106】
第2ステップにおいて、前記予測運動意図と前記第1分類器によって出力された分類結果がマッチングしないことに応答して、前記予測運動意図の第1信頼度と前記分類結果の第2信頼度をそれぞれ決定する。
【0107】
いくつかの実施例では、予測運動意図と前記第1分類器によって出力された分類結果がマッチングしないことは、予測運動意図と前記第1分類器によって出力された分類結果が衝突することである。具体的な例では、第2分類器が基礎分類器であり、予測運動意図が左折であり、第1分類における左方向指示灯の分類器の出力が消灯であり、右方向指示灯の分類器の出力が点灯であり、ドームライトの分類器の出力が消灯であり、このようにして、第1分類器によって出力された各部分の車灯の点滅状態に基づいて、該車両の運動意図が右折であると結論付ける。このとき、複数の分類器の出力結果が衝突する。この場合、衝突する予測運動意図の信頼度及び分類結果の第2信頼度をそれぞれ取得する。ここで、分類結果の第2信頼度は、該分類結果に基づいて車両運動意図を決定する信頼度として理解することができ、又は該分類結果における分類結果全体の信頼度として理解することもできる。
【0108】
第3ステップにおいて、前記予測運動意図の第1信頼度及び前記分類結果の第2信頼度のうち比較的大きい信頼度に対応する予測結果に基づいて、前記車両の運動意図を決定する。
【0109】
いくつかの実施例では、第2分類器によって出力された予測運動意図と、分類結果によって決定された運動意図とのうち、信頼度が最大のものを該車両の運動意図として選択する。このようにして、複数の分類器の予測結果が衝突する場合、信頼度が比較的大きいものを最終的な予測結果として選択することで、車両の運動意図をより正確に予測することができる。
【0110】
以下において、実際の適用シナリオにおける本開示の実施例の例示的な適用について説明し、マルチタスク学習及び多段階学習に基づいて、車灯状態を決定することを例として説明する。
【0111】
高級運転支援システム(ADAS:Advanced Driving Assistance System)及び自動運転タスクでは、他車両の意図と今後の走行軌跡を判断するために、他車両の車灯状態を検出し、自車両が衝突警報と方策決定計画などのタスクを行うのを助ける必要がある。関連技術では、ADAS製品は動的予測方面には基本的に空白であり、自動運転システムにおいても複数の運転シナリオに対する車灯モデルの動的予測はほとんどない。
【0112】
関連技術では、識別されたライトの点灯位置に基づいて、どちらの方向指示灯が左折するか右折するのかを決定するのは十分正確ではない。
図3に示すように、車両の右方向指示灯、画像31における左前方向指示灯、及び画像32における右後方向指示灯がいずれも点灯している。
【0113】
走行灯と車幅灯の登場に伴い、車灯は複雑化の様相を呈しており、左右の2つのライト全体の明暗状況だけでは車両がブレーキをかけるのか方向転換を行うのかを判断することができない。これに基づいて、本開示の実施例は、車灯状態の予測方法を提供し、深層学習を使用して車灯意図判断タスクを実行し、単一のライトの明暗及び無し状態によって表される車両意図と車灯全体の点滅状態によって表される車両意図とを認知的に分解することができ、2つのレベルは同時に車両の向きと車両タイプの分類器によって補助される。このようにして、マルチタスク及びマルチレベルを補助する処理により、車灯ネットワークの学習に有益であり、最終モデルの推理精度も大幅に向上することができる。
【0114】
本開示の実施例では、画像に表される車灯の点滅位置情報と車両の前進方向とを取得することにより、車両の方向指示灯に示される左折及び右折を予測する。いくつかの実施例では、一部の地域の車両の方向指示灯及びブレーキランプの位置と色がいずれも異なる特性について、本開示の実施例は、車灯状態の予測方法を提案し、該方法は以下のプロセスにより実現され得る。
【0115】
第1に、マルチタスク学習を使用して、車両の画像をシングルフレームモデルに入力してエンドツーエンドの訓練を行い、同時に向き/車尾のドームライト/左車灯/右車灯/車両タイプ/左右方向指示灯を出力し、単一の車灯の即時状態の判断を行う。
【0116】
いくつかの可能な実現形態では、車灯の位置と形状が複雑で変更可能であり、明暗の組み合わせの形式が多いため、ライトごとに分類器を単独で設定し、即ち、左/右の車灯、左/右方向指示灯及び車尾のドームライトの明暗及び無し状態の分類を判断する。これに基づいて、追加情報は、車灯の位置及び形状タイプの判断を補助することができ、例えば、車両方向の分類器は、左右の車灯の判断を補助することができ、車両タイプの分類器は、車灯の形態の判断を補助することができる。
【0117】
第2に、マルチレベル学習を使用して、モデルが単一のライトの状態を学習したことに基づいて、ブレーキ状態と方向転換意図をさらに判断する。
【0118】
ここで、ブレーキ状態及び方向転換意図の判断は複数のレベルがあり、複数の単一の車灯の状態推理に基づいて、車灯全体によって表される方向転換意図及びブレーキ意図を得る。さらに、左車灯の状態/右車灯の状態/ドームライトの状態を組み合わせて、車全体の意図を判断する。また、車両の遮蔽と動きもシングルフレームの判断に大きな不確定性をもたらす。
【0119】
いくつかの実施例では、運動意図決定方法は、以下のステップにより実現され得る。
【0120】
第1ステップにおいて、車両のシングルフレーム入力を使用してマルチタスク訓練を行い、向き/車両タイプ/ドームライトの状態/左車灯の状態/右車灯の状態を含む複数の分類器を得る。
【0121】
いくつかの可能な実現形態では、
図4に示す方法により運動意図を決定することができる。
図4に示すように、
図4は本開示の実施例による運動意図決定方法の実現フレームワークの概略図である。車両のシングルフレーム画像400を車両検出器401に入力して画像内の車両を識別し、識別された車両の検出枠をCNN402に入力し、特徴を抽出し、特徴マップ403を得る。特徴マップ403の次元は7×7×2048である。該特徴マップ403を処理して2048次元の特徴ベクトル404を得る。
【0122】
第2ステップにおいて、第1ステップの分類器に基づいて、mini-batchの方式を使用してネットワーク訓練を行う。
【0123】
ここで、1つのバッチにおいて、半分は、左/右車灯全体(ここで、全体とはライト全体を指し、いずれかのサブライト(ブレーキランプ/フォグライト/方向指示灯が点灯しても点灯する)の明暗及び無しとしてラベル付けされたデータを使用し、残りの半分は左/右方向指示灯の明暗及び無しのデータを使用する。左右の車灯全体状態に基づく基礎車両意図と、左/右方向指示灯に基づく拡張車両意図を訓練する。
【0124】
2組の分類器は訓練中に相互に補助し、ここで、相互に補助するとは、マルチタスク学習において相関性がある異なるタスクが相互に促進されることを指し、相互促進のプロセスはモデルの訓練中に自動的に完了する。いくつかの可能な実現形態では、ネットワークモデルはまずランプ全体の状態を入力し、次にランプ全体における方向指示灯の状態を集め、最終的に車灯の車両意図を出力することができる。このようにして、最終結果が向上するだけでなく、ラベル付けの繰り返し(例えば、各ライトの状態がラベル付けされないデータを再ラベル付けする)により訓練できない問題も解決できる。このようにして、マルチレベル学習を使用して、タスクの難度が浅いものから難しいものまで設定され、単一の車灯の状態の判断から全体的なブレーキ状態と方向転換意図の判断まで、自然な認知レベルに合致し、モデル学習に有利である。そして、mini-batchの方式によりネットワークを訓練することで、データの異なるラベル付けによって引き起こされる訓練の困難を大幅に解決でき、同じモデルが異なるラベル付け情報における複数の機能を取得するようにし、それによってラベル付けコストを大幅に低減させる。
【0125】
図4に示すように、抽出された特徴ベクトル404を複数の完全接続層(fc)に入力して分類する。ここで、完全接続層451は、車両のドームライトの点滅及び無し状態を分類するために使用され、完全接続層452は、車両の左方向指示灯の点滅及び無し状態を分類するために使用され、完全接続層453は、車両の右方向指示灯の点滅及び無し状態を分類するために使用され、完全接続層454は、車両の向き(例えば、前進と後退)を分類するために使用され、完全接続層455は、車両タイプ(例えば、乗用車、トラック、バス、タクシー、救急車又は他の車両)を分類するために使用され、完全接続層456は、車両の向きが前向きの車両に対して、車両の左右のライト全体の状態に基づいて基礎車両意図を分類するために使用され、完全接続層457は、車両の向きが後ろ向きの車両に対して、車両の左右のライト全体の状態に基づいて基礎車両意図を分類するために使用される。即ち、完全接続層456と完全接続層457は、左右のライト全体の状態に基づく基礎車両意図を訓練し、簡単なシナリオに適する。完全接続層458は、車両の向きが前向きの車両に対して、車両の左右方向指示灯に基づいて拡張車両意図を分類するために使用され、完全接続層459は、車両の向きが後ろ向きの車両に対して、車両の左右方向指示灯に基づいて拡張車両意図を分類するために使用される。即ち、完全接続層458と完全接続層459は、車両の左右方向指示灯に基づく拡張車両意図を訓練し、複雑なシナリオに適する。完全接続層451~459によって形成された分類器の出力をマージし、複数のカテゴリにおける車両の確率分布、例えば、車両意図の確率(
)、車両が左折する確率(
)、車両が右折する確率(
)、及び車両向きの確率(
)を得る。
【0126】
いくつかの実施例では、
図4に示す方式により運動意図を決定する上述の形態は、実行可能な実施形態にすぎず、本開示の実施例の運動意図を決定する形態は、これに限定されない。例えば、残差ネットワーク又はディープニューラルネットワークなどにより運動意図を決定することもでき、ここでは詳しく説明しない。
【0127】
第3ステップにおいて、第1ステップと第2ステップ二基づいて、後処理及び論理追加を便利に行うことができる。例えば、次の複数の後処理及び論理追加を行うことができる。
【0128】
a.車両の2分類向き(front/back)に基づいて左灯であるか右灯であるかを判断する。
【0129】
b.トラック/バスにはドームライトと走行灯がなく、左右灯の明暗及び無し状態に基づいてブレーキをかけるかダブルフラッシュするかを判断する。
【0130】
c.タクシーのドームライトのところには通常広告又はタクシー識別灯があり、左右灯のタイミング状態に基づいてブレーキを判断する。
【0131】
d.複数の分類器の予測結果が衝突する場合、信頼度の最も高い予測結果を選択する。又は、
e.アプリケーション層の予測における方向転換とブレーキの誤検出が少ない需要に対して、最終的に信頼度がある閾値より高い予測結果を出力する。このように、柔軟な後処理により訓練方法の適用性がより強くなり、信頼度閾値を設定することで誤る正サンプルを減らすことができる。
【0132】
第4ステップにおいて、訓練プロセスを補充する。
【0133】
いくつかの可能な実現形態では、第1ステップと第2ステップは1つのステップにマージされ、mini-batchの方式を使用して直接訓練されてもよい。データセットのラベルが一致する場合、mini-batchを使用しなくてもよく、該データセットを使用してネットワークトに対してワンステップ訓練を行い、訓練済みのネットワークモデルを得る。
【0134】
本開示の実施例では、まず、自車両に取り付けられたカメラにより撮影された画像を取得し、次に、該画像に基づいて他車両の点灯中の方向指示灯が左折であるか右折であるかを判断し、最後に、これに基づいて、画像に表示される他車両の車灯情報と前進方向(前進/後退)を使用して、該他車両の点灯中の方向指示灯が左折であるか右折であるかをさらに判断する。このようにして、左折と右折の意図を判断するときに、画像に表示される他車両の車灯の点灯位置情報と前進方向(front/back)情報を組み合わせることで、車両の左折と右折の判断のロバスト性を強めることができる。
【0135】
当業者は、具体的な実施形態の上記の方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対するいかなる制限を構成せず、各ステップの具体的な実行順序がその機能及び可能な内部論理で決定されるべきであることを理解できる。
【0136】
同じ発明概念に基づいて、本開示の実施例は、運動意図決定方法に対応する運動意図決定装置をさらに提供する。本開示の実施例における装置の問題を解決する原理は、本開示の実施例の上記の運動意図決定方法と同様であるため、装置の実施は方法の実施を参照することができる。
【0137】
本開示の実施例は、運動意図決定装置を提供する。
図5は、本開示の実施例による運動意図決定装置の構造的概略図である。
図5に示すように、前記運動意図決定装置600は、
交通画像を取得するように構成される画像取得部601と、
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定するように構成される情報決定部602と、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定するように構成される意図決定部603と、を備える。
【0138】
いくつかの実施例では、前記情報決定部602は、
前記交通画像に基づいて、前記交通画像内の前記車両の点灯する目標車灯の位置情報を決定するように構成される位置情報決定サブ部と、
前記交通画像に基づいて、前記交通画像内の車両の外観情報を決定するように構成される外観情報決定サブ部と、
前記車両の外観情報に基づいて、前記車両の車頭の向き情報を決定するように構成される向き情報決定サブ部と、を備え、
前記意図決定部603はさらに、
前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定するように構成される。
【0139】
いくつかの実施例では、前記目標車灯は単一の方向指示灯であり、前記意図決定部603は、
前記単一の方向指示灯の位置情報と前記車両の車頭の向き情報に基づいて、方向指示灯によって示される方向転換情報を決定するように構成される方向転換情報決定サブ部と、
前記方向転換情報に基づいて、前記車両の方向転換意図を決定するように構成される意図決定サブ部と、を備える。
【0140】
いくつかの実施例では、前記意図決定部603は、
前記車灯情報にブレーキランプ情報が含まれておらず、前記目標車灯が複数の方向指示灯であることに応答して、前記車両が制動状態にあると決定するように構成される制動状態決定サブ部を備える。
【0141】
いくつかの実施例では、前記装置はさらに、
前記交通画像に基づいて、前記交通画像内の車両の車種情報を決定するように構成される車種情報決定部を備え、
前記意図決定部603はさらに、
前記車灯情報、向き情報及び車種情報に基づいて、前記車両の運動意図を決定するように構成される。
【0142】
いくつかの実施例では、前記車両の運動意図を決定するとき、前記装置はさらに、前記車両の運動意図の信頼度を決定するように構成される信頼度決定部と、
前記向き情報が前記車両が横向きであることを示すことに応答して、前記運動意図の信頼度を低減させるように構成される信頼度調整部と、を備える。
【0143】
いくつかの実施例では、前記装置はさらに、
前記車両の運動意図を予測するアプリケーション需要を取得するように構成される需要取得部と、
前記アプリケーション需要にマッチングする信頼度閾値を決定するように構成される信頼度閾値マッチング部と、を備え、
前記車両の運動意図を決定した後、前記意図決定部603はさらに、
信頼度が前記信頼度閾値より大きい運動意図を、前記車両の決定運動意図とするように構成される。
【0144】
いくつかの実施例では、前記車灯情報、前記向き情報及び前記車両の運動意図の決定は、ニューラルネットワークによって実行され、前記ニューラルネットワーク内の第1分類器は、車灯情報及び向き情報がラベル付けされたサンプル画像を用いて訓練して得られ、前記ニューラルネットワーク内の第2分類器は、車両の運動意図がラベル付けされたサンプル画像を用いて訓練して得られる。
【0145】
いくつかの実施例では、前記第2分類器は、車両の基礎運動意図を分類するための基礎分類器、及び車両の拡張運動意図を分類するための拡張分類器のうちの少なくとも1つを含み、ここで、前記基礎分類器は、車両の全体的な車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものであり、前記拡張分類器は、車両の方向指示灯の車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものである。
【0146】
いくつかの実施例では、前記情報決定部602はさらに、前記ニューラルネットワークを使用して、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定するように構成され、前記情報決定部602は、
前記ニューラルネットワークの畳み込み層を使用して、前記交通画像の注意力マスクを決定するように構成されるマスク決定サブ部と、
前記注意力マスクに基づいて、前記交通画像の空間特徴を決定するように構成される空間特徴決定サブ部と、
前記空間特徴と前記交通画像の時間特徴をマージし、前記交通画像の画像特徴を得るように構成される特徴マージサブ部と、
前記第1分類器を使用して、前記画像特徴に基づいて、前記車両の車灯情報及び前記車両の向き情報を決定するように構成される情報決定サブ部と、を備える。
【0147】
いくつかの実施例では、前記意図決定部603は、
前記車灯情報と前記向き情報を前記第2分類器に入力し、前記第2分類器によって前記車両の予測運動意図を出力するように構成される情報入力サブ部と、
前記予測運動意図と前記第1分類器によって出力された分類結果がマッチングしないことに応答して、前記予測運動意図の第1信頼度と前記分類結果の第2信頼度をそれぞれ決定するように構成される信頼度決定サブ部と、
前記予測運動意図の第1信頼度及び前記分類結果の第2信頼度のうち比較的大きい信頼度に対応する予測結果に基づいて、前記車両の運動意図を決定するように構成される信頼度比較サブ部と、を備える。
【0148】
説明すべきこととして、上記の装置の実施例の説明は、上記の方法の実施例の説明と同様であり、方法の実施例と同様の有益な効果を有する。本開示の装置の実施例で開示されない技術的詳細については、本開示の方法の実施例の説明を参照して理解される。
【0149】
本開示の実施例及び他の実施例では、「モジュール」は、回路、プロセッサ、プログラム又はソフトウェアなどであってもよく、もちろん、ユニットであってもよく、非モジュール化であってもよい。
【0150】
説明すべきこととして、本開示の実施例では、上記の運動意図決定方法は、ソフトウェア機能モジュールの形態で実現され且つ独立した製品として販売又は用いられる場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の実施例の技術的解決策は、本質的に又は従来技術に寄与する部分がソフトウェア製品の形で具体化されてもよく、該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ機器(端末、サーバなどであってもよい)に本開示の各実施例に記載される方法の全て又は一部を実行させるための幾つかの命令を含む。前述の記憶媒体は、USBフラッシュディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read Only Memory)、磁気ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。このようにして、本開示の実施例は、いかなる特定のハードウェアとソフトウェアの組み合わせに限定されない。
【0151】
対応して、本開示の実施例はさらに、コンピュータ実行可能な命令を含むコンピュータプログラム製品を提供し、該コンピュータ実行可能な命令が実行された後、本開示の実施例によって提供される運動意図決定方法におけるステップを実現することができる。対応して、本開示の実施例はさらにコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体にコンピュータ実行可能な命令が記憶され、該コンピュータ実行可能な命令がプロセッサによって実行される場合、上述の実施例によって提供される運動意図決定方法のステップを実現する。対応して、本開示の実施例は、コンピュータ機器を提供し、
図6は本開示の実施例によるコンピュータ機器の構造的概略図である。
図6に示すように、前記コンピュータ機器700は、1つのプロセッサ701、少なくとも1つの通信バス、通信インターフェース702、少なくとも1つの外部通信インターフェース、及びメモリ703を含む。ここで、通信インターフェース702は、これらの構成要素間の接続通信を実現するように構成される。通信インターフェース702は、ディスプレイを含むことができ、外部通信インターフェースは、標準的な有線インターフェース及び無線インターフェースを含むことができる。前記プロセッサ701は、メモリ内の画像処理プログラムを実行して、上記の実施例で提供される運動意図決定方法のステップを実現するように構成される。
【0152】
上記の運動意図決定装置、コンピュータ機器及び記憶媒体の実施例の説明は、上記の方法の実施例の説明と同様であり、対応する方法の実施例と同様の技術的説明及び有益な効果を有する。紙幅の制限により、上記の方法の実施例の説明を参照できるため、ここでは詳しく説明しない。本開示の運動意図決定装置、コンピュータ機器及び記憶媒体の実施例で開示されない技術的詳細については、本開示の方法の実施例の説明を参照して理解される。明細書全体にわたって言及する「1つの実施例」又は「一実施例」が実施例と関連する特定特徴、構造又は特性が本開示の少なくとも1つの実施例に含まれることを意味することを理解すべきである。したがって、明細書全体の各所に現れる「1つの実施例において」又は「一実施例において」は、必ずしも同じ実施例を意味するわけではない。また、これらの特定の特徴、構造又は特性は、1つ又は複数の実施例に任意の適切な方式で組み合わせられてもよい。本開示の様々な実施例では、上記各プロセスの番号の大きさが実行順序の前後を意味せず、各プロセスの実行順序はその機能と内部論理で確定されるべきであり、本開示の実施例の実施プロセスに対するいかなる限定を構成すべきではないと理解すべきである。上記本開示の実施例の番号は、説明のためだけであり、実施例の優劣を表すものではない。
【0153】
本明細書では、「含む」、「備える」という用語又はそのいかなる変形が非排他的な包含をカバーすることを図ることを説明すべきであり、それによって、一連の要素を含むプロセス、方法、物品又は装置は、それらの要素だけでなく、明確にリストされない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有な要素も含む。更なる制限がない場合、語句「1つの…を含む」によって限定された要素は、該要素を含むプロセス、方法、物品又は装置に別の同じ要素がさらに存在することを排除するものではない。
【0154】
本開示が提供する幾つかの実施例では、開示される機器及び方法は、他の方式により実現されてもよいと理解すべきである。上述説明された機器の実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実現する時に他の区分方式もあり得て、例えば複数のユニット又はコンポーネントは、組み合わせられてもよく、又は他のシステムに統合されてもよく、又は幾つかの特徴は無視されてもよく、又は実行されなくてもよい。また、示される又は議論される各コンポーネントの間の相互結合、又は直接結合、又は通信接続は幾つかのインターフェース、機器又はユニットを介する間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【0155】
分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち1つの箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。また、本開示の各実施例における各機能ユニットは、全て1つの処理ユニットに統合されてもよく、個々のユニットは、単独で1つのユニットとしてもよく、2つ又は2つ以上のユニットは、1つのユニットに統合されてもよく、上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現されてもよい。当業者は、上記方法の実施例を実現する全部又は一部のステップがプログラムによって関連するハードウェアを指令することにより完了されてもよいことを理解でき、前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、該プログラムが実行される場合、上記方法の実施例のステップが実行される。前記記憶媒体は、モバイルストレージデバイス、読み取り専用メモリ(ROM:Read Only Memory)、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
【0156】
又は、本開示では、上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売又は使用されると、1つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の実施例の技術的解決策は、本質的に又は従来技術に寄与する部分がソフトウェア製品の形で具現化されてもよく、該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい)に本開示の各実施例に記載される方法の全て又は一部を実行させるための幾つかの命令を含む。前述の記憶媒体は、モバイルストレージデバイス、ROM、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。上記は、本開示の具体的な実施形態だけであるが、本開示の保護範囲は、これに限定されず、いかなる当業者が本開示で開示された技術範囲内で容易に想到し得る変化又は入れ替えは、全て本開示の保護範囲に含まれるべきである。従って、本開示の保護範囲は前記特許請求の範囲の保護範囲に従うべきである。
【産業上の利用可能性】
【0157】
本開示の実施例は、運動意図決定方法、装置、機器及び記憶媒体を提供する。前記運動意図決定方法は、交通画像を取得することと、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することと、前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することと、を含む。
【手続補正書】
【提出日】2024-08-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器によって実行される運動意図決定方法であって、
交通画像を取得することと、
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することと、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することと、を含む、運動意図決定方法。
【請求項2】
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することは、
前記交通画像に基づいて、前記交通画像内の前記車両の点灯する目標車灯の位置情報を決定することと、
前記交通画像に基づいて、前記交通画像内の車両の外観情報を決定することと、
前記車両の外観情報に基づいて、前記車両の車頭の向き情報を決定することと、を含み、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、
前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することを含む、ことを特徴とする
請求項1に記載の運動意図決定方法。
【請求項3】
前記目標車灯は単一の方向指示灯であり、前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することは、
前記単一の方向指示灯の位置情報と前記車両の車頭の向き情報に基づいて、方向指示灯によって示される方向転換情報を決定することと、
前記方向転換情報に基づいて、前記車両の方向転換意図を決定することと、を含む、ことを特徴とする
請求項2に記載の運動意図決定方法。
【請求項4】
前記車両の目標車灯の位置情報及び前記車両の車頭の向き情報に基づいて、前記車両の運動意図を決定することは、
前記車灯情報にブレーキランプ情報が含まれておらず、前記目標車灯が複数の方向指示灯であることに応答して、前記車両が制動状態にあると決定することを含む、ことを特徴とする
請求項2に記載の運動意図決定方法。
【請求項5】
前記運動意図決定方法はさらに、
前記交通画像に基づいて、前記交通画像内の車両の車種情報を決定することを含み、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、
前記車灯情報、向き情報及び車種情報に基づいて、前記車両の運動意図を決定することを含む、ことを特徴とする
請求項
1に記載の運動意図決定方法。
【請求項6】
前記車両の運動意図を決定するとき、前記車両の運動意図の信頼度を決定し、前記運動意図決定方法はさらに、
前記向き情報が前記車両が横向きであることを示すことに応答して、前記運動意図の信頼度を低減させることを含む、ことを特徴とする
請求項
1に記載の運動意図決定方法。
【請求項7】
前記車両の運動意図を決定するとき、前記車両の運動意図の信頼度を決定し、前記運動意図決定方法はさらに、
前記車両の運動意図を予測するアプリケーション需要を取得することと、
前記アプリケーション需要にマッチングする信頼度閾値を決定することと、を含み、
前記車両の運動意図を決定した後、前記運動意図決定方法はさらに、
信頼度が前記信頼度閾値より大きい運動意図を、前記車両の決定運動意図とすることを含む、ことを特徴とする
請求項
1に記載の運動意図決定方法。
【請求項8】
前記車灯情報、前記向き情報及び前記車両の運動意図の決定は、ニューラルネットワークによって実行され、
前記ニューラルネットワーク内の第1分類器は、車灯情報及び向き情報がラベル付けされたサンプル画像を用いて訓練して得られ、前記ニューラルネットワーク内の第2分類器は、車両の運動意図がラベル付けされたサンプル画像を用いて訓練して得られる、ことを特徴とする
請求項1に記載の運動意図決定方法。
【請求項9】
前記第2分類器は、車両の基礎運動意図を分類するための基礎分類器、及び車両の拡張運動意図を分類するための拡張分類器のうちの少なくとも1つを含み、前記基礎分類器は、車両の全体的な車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものであり、前記拡張分類器は、車両の方向指示灯の車灯状態がラベル付けされたサンプル画像に基づいて訓練して得られるものである、ことを特徴とする
請求項8に記載の運動意図決定方法。
【請求項10】
前記ニューラルネットワークを使用して、前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定することは、
前記ニューラルネットワークの畳み込み層を使用して、前記交通画像の注意力マスクを決定することと、
前記注意力マスクに基づいて、前記交通画像の空間特徴を決定することと、
前記空間特徴と前記交通画像の時間特徴をマージし、前記交通画像の画像特徴を得ることと、
前記第1分類器を使用して、前記画像特徴に基づいて、前記車両の車灯情報及び前記車両の向き情報を決定することと、を含む、ことを特徴とする
請求項8に記載の運動意図決定方法。
【請求項11】
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定することは、
前記車灯情報と前記向き情報を前記第2分類器に入力し、前記第2分類器によって前記車両の予測運動意図を出力することと、
前記予測運動意図と前記第1分類器によって出力された分類結果がマッチングしないことに応答して、前記予測運動意図の第1信頼度と前記分類結果の第2信頼度をそれぞれ決定することと、
前記予測運動意図の第1信頼度及び前記分類結果の第2信頼度のうち比較的大きい信頼度に対応する予測結果に基づいて、前記車両の運動意図を決定することと、を含む、ことを特徴とする
請求項10に記載の運動意図決定方法。
【請求項12】
運動意図決定装置であって、
交通画像を取得するように構成される画像取得部と、
前記交通画像に基づいて、前記交通画像内の車両の車灯情報及び前記車両の向き情報を決定するように構成される情報決定部と、
前記車灯情報及び前記向き情報に基づいて、前記車両の運動意図を決定するように構成される意図決定部と、を備える、運動意図決定装置。
【請求項13】
コンピュータ
に請求項1~11のいずれか1項に記載の運動意図決定方法
を実行させるためのコンピュータ実行可能な命令が記憶された
、コンピュータ記憶媒体。
【請求項14】
コンピュータ実行可能な命令を記憶するメモリと、前記メモリにおけるコンピュータ実行可能な命令を実行して、請求項1~11のいずれか1項に記載の運動意図決定方
法を実行するプロセッサとを備える、コンピュータ機器。
【請求項15】
コンピュータに請求項1~11のいずれか1項に記載の運動意図決定方法を実行させる、コンピュータプログラ
ム。
【国際調査報告】