(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】インテリジェントライトスイッチング方法及びシステム並びに関連装置
(51)【国際特許分類】
H05B 47/11 20200101AFI20241106BHJP
B60Q 1/14 20060101ALI20241106BHJP
G06T 7/00 20170101ALI20241106BHJP
G08G 1/16 20060101ALI20241106BHJP
H05B 47/125 20200101ALI20241106BHJP
H05B 47/165 20200101ALI20241106BHJP
【FI】
H05B47/11
B60Q1/14
G06T7/00 650Z
G08G1/16 C
H05B47/125
H05B47/165
(21)【出願番号】P 2023526210
(86)(22)【出願日】2021-08-26
(86)【国際出願番号】 CN2021114823
(87)【国際公開番号】W WO2022088901
(87)【国際公開日】2022-05-05
【審査請求日】2023-06-02
(31)【優先権主張番号】202011197967.5
(32)【優先日】2020-10-31
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】スゥ,ウェンヤオ
【審査官】土谷 秀人
(56)【参考文献】
【文献】特開2017-097658(JP,A)
【文献】特開2014-231301(JP,A)
【文献】特開2014-024410(JP,A)
【文献】特表2001-517035(JP,A)
【文献】米国特許出願公開第2020/0079276(US,A1)
【文献】米国特許出願公開第2013/0079983(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H05B 45/00
H05B 47/00
B60Q 1/14
G08G 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
インテリジェントライトスイッチング方法であって、本方法は、
画像を取得することであって、該画像は車両の固定位置に配置されたビデオカメラによって撮影され、該画像には光源情報が記録されている、ことと、
前記画像に対応する周囲光の明るさ値を計算することと、
前記光源情報に基づいて、前記画像に含まれる光源を分類して分類結果を得ること
であって、前記画像を光源検出モデルに入力し、該光源検出モデルに基づいて、前記画像内の光源カテゴリを得る、ことと、
前記画像に対応する周囲光の明るさ値及び前記分類結果に基づいてライトのスイッチングを行うことと、
を含み、
前記光源検出モデルに基づいて、前記画像内の光源カテゴリを得ることは、
前記画像から明るさ値がプリセット閾値よりも大きい輝点を選択し、該輝点のためにランプボックスを設定することと、
前記ランプボックスに対してペアリングを行って、複数のランプボックスのペアを得ることと、
前記複数のランプボックスのペアに基づいて消失点水平線(VP線)を決定することであって、該VP線は前記画像の第1の領域と第2の領域とを区別するために用いられる、ことと、
前記輝点と前記VP線との位置関係と、前記輝点の色特徴に基づいて前記輝点を分類して、異なる光源カテゴリを得ることと、
を含む、方法。
【請求項2】
前記画像に対応する周囲光の明るさ値を計算することは、
前記画像から少なくとも1つの領域を選択し、該少なくとも1つの領域の明るさ値を計算することと、
前記少なくとも1つの領域の明るさ値に基づいて、前記画像に対応する周囲光の明るさ値を計算することと、
を含む、請求項1に記載の方法。
【請求項3】
前記画像を光源検出モデルに入力する前に、前記方法は、
複数のサンプル画像を用いることにより前記光源検出モデルを訓練することであって、該サンプル画像は前記光源と、前記光源の注釈情報とを含む、こと、
を含む、請求項
1に記載の方法。
【請求項4】
前記ランプボックスに対してペアリングを行うことの前に、前記方法は、
ランプボックスの間に重複又は接線がないことを確かにするために、前記ランプボックスに対して重複除去を行うこと、
さらに含む、請求項
1に記載の方法。
【請求項5】
前記複数のランプボックスのペアに基づいて消失点水平線(VP線)を決定することは、
前記ランプボックスのペアのランプボックスの中心を前記画像の行にマッピングして、前記ランプボックスのペアの行内数量分布マップを得ることと、
前記行内数量分布マップに基づいてVP線を選択することと、
プリセット補正値に基づいて前記VP線を補正して、補正されたVP線を得ることと、
基準値を用いることにより前記補正されたVP線を調整して、前記輝点を分類するのに用いられるVP線を得ることであって、前記基準値は前記ビデオカメラのピッチ角の変化を記述するために用いられる、ことと、
を含む、請求項
1に記載の方法。
【請求項6】
インテリジェントライトスイッチングシステムであって、
画像を取得するように構成された取得ユニットであって、該画像は車両の固定位置に配置されたビデオカメラによって撮影され、該画像には光源情報が記録されている、取得ユニットと、
前記画像に対応する周囲光の明るさ値を計算するように構成された周囲光検出ユニットと、
前記光源情報に基づいて、前記画像に含まれる光源を分類して分類結果を得るように構成された光源分類ユニット
であって、前記画像を光源検出モデルに入力し、該光源検出モデルに基づいて、前記画像内の光源カテゴリを得る、光源分類ユニットと、
前記画像に対応する周囲光の明るさ値及び前記分類結果に基づいてライトのスイッチングを行うように構成されたスイッチングユニットと、
を含
み、
前記光源検出モデルに基づいて、前記画像内の光源カテゴリを得る場合、前記光源分類ユニットは、
前記画像から明るさ値がプリセット閾値よりも大きい輝点を選択し、該輝点のためにランプボックスを設定することと、
前記ランプボックスに対してペアリングを行って、複数のランプボックスのペアを得ることと、
前記複数のランプボックスのペアに基づいて消失点水平線(VP線)を決定することであって、該VP線は前記画像の第1の領域と第2の領域とを区別するために用いられる、ことと、
前記輝点と前記VP線との位置関係と、前記輝点の色特徴に基づいて前記輝点を分類して、異なる光源カテゴリを得ることと、
を行うように具体的に構成されている、システム。
【請求項7】
前記周囲光検出ユニットは、
前記画像から少なくとも1つの領域を選択し、該少なくとも1つの領域の明るさ値を計算することと、
前記少なくとも1つの領域の明るさ値に基づいて、前記画像に対応する周囲光の明るさ値を計算することと、
を行うように具体的に構成されている、請求項
6に記載のシステム。
【請求項8】
前記画像を前記光源検出モデルに入力する前に、前記光源分類ユニットは、
複数のサンプル画像を用いることにより前記光源検出モデルを訓練することであって、該サンプル画像は前記光源と、前記光源のラベルとを含む、こと、
を行うようにさらに構成されている、請求項
6に記載のシステム。
【請求項9】
前記ランプボックスに対してペアリングを行うことの前に、前記光源分類ユニットは、
ランプボックスの間に重複又は接線がないことを確かにするために、前記ランプボックスに対して重複除去を行うこと、
を行うようさらに構成されている、請求項
6に記載のシステム。
【請求項10】
前記複数のランプボックスのペアに基づいて消失点水平線(VP線)を決定する場合、前記光源分類ユニットは、
前記ランプボックスのペアのランプボックスの中心を前記画像の行にマッピングして、前記ランプボックスのペアの行内数量分布マップを得ることと、
前記行内数量分布マップに基づいてVP線を選択することと、
プリセット補正値に基づいて前記VP線を補正して、補正されたVP線を得ることと、
基準値を用いることにより前記補正されたVP線を調整して、前記輝点を分類するのに用いられるVP線を得ることであって、前記基準値は前記ビデオカメラのピッチ角の変化を記述するために用いられる、ことと、
を行うように具体的に構成されている、請求項
6に記載のシステム。
【請求項11】
コンピュータ装置であって、当該コンピュータ装置はメモリ及びプロセッサを含み、該プロセッサが該メモリに記憶されたコンピュータ命令を実行することにより、当該コンピュータ装置は請求項1乃至
5のいずれか一項に記載の方法を行うことができる、コンピュータ装置。
【請求項12】
コンピュータ読み取り可能記憶媒体であって、当該コンピュータ読み取り可能記憶媒体はコンピュータプログラムを記憶し、該コンピュータプログラムがプロセッサによって実行された場合、請求項1乃至
5のいずれか一項に記載の方法が実施される、コンピュータ読み取り可能記憶媒体。
【請求項13】
請求項
6乃至
10のいずれか一項に記載のインテリジェントライトスイッチングシステムを含む車両。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、その全体が参照により本願に組み込まれている、2020年10月31日に中国国家知識産権局に出願された「インテリジェントライトスイッチング方法及びシステム並びに関連装置」と題する中国特許出願第202011197967.5号に対する優先権を主張する。
【0002】
本願は、インテリジェント車両の分野に関し、特にインテリジェントライトスイッチング方法及びシステム並びに関連装置に関する。
【背景技術】
【0003】
夜間の運転には、ドライバーが道路情報を取るのを助けるために照明用のハイビーム及びロービームが必要であることはよく知られている。ロービームと比較して、ハイビームは視線を改善し、視野を広げる効果が大きい。特に、街灯のない暗い道路では、ハイビームが点灯されるシナリオにおける可視範囲は、ロービームが点灯されるシナリオにおける可視範囲よりもはるかに大きい。しかしながら、ハイビームを用いることは全ての夜間走行シナリオに適用可能ではない。例えば、夜間に車両を運転するドライバーが反対方向の車両と出会った際にハイビームを点灯させると、反対方向の車両のドライバーは瞬時に目が見えなくなり得るか又は反対方向の車両の運転者が速度及び距離をあまり意識せず、幅を判断できなくなり得る。したがって、ハイビームを正しく用いることは夜間の安全運転には重要である。ドライバーが誤ったやり方でハイビームを用いる問題を根源から解決するために、インテリジェントライトスイッチング技術が登場した。
【0004】
既存のインテリジェントライトスイッチング方法のうちで、ドライバーは、ハイビームとロービームとを切り替えるのに、異なる露光時間で光源によって提示される異なる画像特徴に基づいて光源を区別することと、正面周囲光の明るさを直接計算することと、車線に基づく消失点を得ることという3つの方法により助けられ得る。しかしながら、上記の方法の実施効果は理想的ではない。第1の方法に係る実施は、カメラモジュールに対する要求が比較的高いため、この方法に係る実施には比較的高いコストが必要になる。第2の方法では、遠方のヘッドライトの明るさの影響が無視され、周囲光の明るさの計算に比較的大きな誤りがもたらされる。第3の方法に係る実施は、車線の正確な取得に依存するが、車線を夜間に正確に取得する確率は非常に低い。
【0005】
したがって、ハイビーム又はロービームにどのように正確に切り替えるかは、現在解決すべき喫緊の課題である。
【発明の概要】
【0006】
本願は、周囲光の明るさを正確に検出し、光源情報を正確に分類できるインテリジェントライトスイッチング方法及びシステム並びに関連装置を提供する。2種類の情報が融合された後、ハイビーム又はロービームへのスイッチング機能を正確に行うことができるため、遠方の光源が検出されない問題を効果的に解決し、干渉光源の影響を回避できる。
【0007】
第1の態様によれば、本願はインテリジェントライトスイッチング方法を提供する。本方法は、画像を取得することであって、該画像は車両の固定位置に配置されたビデオカメラで撮影され、該画像に光源情報が記録されている、ことと、前記画像に対応する周囲光の明るさ値を計算することと、前記光源情報に基づいて、前記画像に含まれる光源を分類して分類結果を得ることと、前記画像に対応する周囲光の明るさ値及び前記分類結果に基づいてハイビーム又はロービームにスイッチングすること(ライトのスイッチングを行うこと)と、を含む方法。
【0008】
本願で提供される解決策は、画像を得るステップ、周囲光の明るさを計算するステップ、光源を分類するステップ及び結果に基づいて、ライトのスイッチングを行うかどうかを判定するステップを連続で含む。ライトスイッチング方法では、周囲光情報及び光源情報が組み合わされるため、ライトのスイッチングを行うかどうかを判定する間に、夜間の道路に関するより多くの情報を参考として用いられ得るため、ライトのスイッチングの精度が改善される。
【0009】
第1の態様を参照して、第1の態様の可能な実施では、前記画像に対応する周囲光の明るさ値を計算することは、前記画像から少なくとも1つの領域を選択することと、該少なくとも1つの領域の明るさ値を計算することと、前記少なくとも1つの領域の明るさ値に基づいて、前記画像に対応する周囲光の明るさ値を計算することと、を含む。
【0010】
本願で提供される解決策では、少なくとも1つの領域を選択し、少なくとも1つの領域の明るさ値を計算し、明るさ値に基づいて周囲光の明るさ値を得ることにより周囲光の明るさ値が計算される。このように、画像の異なる領域に存在し得る光源に関する情報が十分考慮される。画像全体のみに基づいて周囲光の明るさを計算する場合と比べて、本願で提供される方法は周囲光の明るさをより正確に得ることができる。
【0011】
第1の態様を参照して、第1の態様の可能な実施では、前記画像に含まれる光源を分類して分類結果を得ることは、前記画像を光源検出モデルに入力することと、該光源検出モデルに基づいて、前記画像内の光源カテゴリを得ることとを含む
【0012】
本願で提供される解決策では、光源の分類は、光源検出モデルを用いることにより実施される。訓練の後、光源検出モデルは、光源のサイズ、位置、色等の特徴に基づいて光源分類を素早く且つ正確に実施できる。
【0013】
第1の態様を参照して、第1の態様の可能な実施では、前記画像を光源検出モデルに入力する前に、前記方法は、複数のサンプル画像を用いることにより前記光源検出モデルを訓練することであって、該サンプル画像は前記光源と、前記光源の注釈情報とを含む、こと、を含む。
【0014】
本願で提供される解決策では、光源検出モデルが正式に用いられる前に、光源検出モデルに対して訓練を行う必要がある。訓練は、初期モデルを認識し、サンプル画像内の光源情報を学習するプロセスである。訓練が完了した後に、光源検出モデルは異なる光源の異なる特徴を正確に認識できるようになるため、光源分類の精度が改善される。
【0015】
第1の態様を参照して、第1の態様の可能な実施では、前記光源検出モデルに基づいて、前記画像内の光源カテゴリを得ることは、前記画像から明るさ値がプリセット閾値よりも大きい輝点を選択し、該輝点のためにランプボックスを設定することと、前記ランプボックスに対してペアリングを行って、複数のランプボックスのペアを得ることと、前記複数のランプボックスのペアに基づいてVP線を決定することであって、該VP線は前記画像の第1の領域と第2の領域とを区別するために用いられる、ことと、前記輝点と前記VP線との位置関係と、前記輝点の色特徴に基づいて前記輝点を分類して、異なる光源カテゴリを得ることと、を含む。
【0016】
本願で提供される解決策では、光源分類を実施するために、先ず、画像内にあり、比較的高い明るさの輝点を取得する必要があり、ランプボックスを備える必要がある。これは光源の予備的なフィルタリングである。次に、車両のランプのペアの関係に基づいて光源のペアリングが行われる。単一認識と比較して、このペアリング方法は分類効率及び精度を改善する。次に、画像内のランプボックスのペアの分布に基づいて、消失点水平線VP線が決定される。最後に、輝点とVP線との位置関係と、輝点の明るさ及び色等の特徴とに基づいて、輝点が分類される。VP線が決定された後、車両のランプを含む領域と、街灯や信号灯を含む領域とを大まかに分けることができ、その後の分類プロセスをより正確かつ効果的にすることができることが理解されよう。
【0017】
第1の態様を参照して、第1の態様の可能な実施では、前記ランプボックスに対してペアリングを行うことの前に、前記方法は、ランプボックスの間に重複又は接線がないことを確かにするために、前記ランプボックスに対して重複除去を行うことさらに含む。
【0018】
本願で提供される解決策では、ランプボックスの間に重複や接線がないことを確かにするために、ペアリングの前にランプボックスに対して重複除去を行う必要がある。したがって、その後の分類プロセスでランプボックスが相互に影響しないように確実にして、光源の分類の精度を改善する。
【0019】
第1の態様を参照して、第1の態様の可能な実施では、前記複数のランプボックスのペアに基づいて消失点水平線VP線を決定することは、前記ランプボックスのペアのランプボックスの中心を前記画像の行にマッピングして、前記ランプボックスのペアの行内量分布マップを得ることと、前記行内量分布マップに基づいてVP線を選択することと、プリセット補正値に基づいて前記VP線を補正して、補正されたVP線を得ることと、基準値を用いることにより前記補正されたVP線を調整して、前記輝点を分類するのに用いられるVP線を得ることであって、前記基準値は前記ビデオカメラのピッチ角の変化を記述するために用いられる、ことと、を含む。
【0020】
本願で提供される解決策では、ランプボックスのペアの行内量分布マップに基づいて、VP線が先ず決定される。その後、最終的に得られるVP線がより正確になるように、導入された基準値を用いることによりVP線を補正する必要がある。したがって、その後の光源分類の精度が改善される。
【0021】
第2の態様によれば、本願はインテリジェントライトスイッチングシステムを提供する。本システムは、画像を取得するように構成された取得ユニットであって、該画像は車両の固定位置に配置されたビデオカメラで撮影され、該画像には光源情報が記録されている、取得ユニットと、前記画像に対応する周囲光の明るさ値を計算するように構成された周囲光検出ユニットと、前記光源情報に基づいて、前記画像に含まれる光源を分類して分類結果を得るように構成された光源分類ユニットと、前記画像に対応する周囲光の明るさ値及び前記分類結果に基づいてライトのスイッチングを行うように構成されたスイッチングユニットと、を含む。
【0022】
第2の態様を参照して、第2の態様の可能な実施では、前記周囲光検出ユニットは、前記画像から少なくとも1つの領域を選択することと、該少なくとも1つの領域の明るさ値を計算することと、前記少なくとも1つの領域の明るさ値に基づいて、前記画像に対応する周囲光の明るさ値を計算することと、を行うように具体的に構成されている。
【0023】
第2の態様を参照して、第2の態様の可能な実施では、前記画像に含まれる光源を分類して分類結果を得る場合、前記光源分類ユニットは、前記画像を光源検出モデルに入力し、該光源検出モデルに基づいて、前記画像内の光源カテゴリを取ること、を行うように具体的に構成されている。
【0024】
第2の態様を参照して、第2の態様の可能な実施では、前記画像を光源検出モデルに入力する前に、前記光源分類ユニットは、複数のサンプル画像を用いることにより前記光源検出モデルを訓練することであって、該サンプル画像は前記光源と、前記光源のラベルとを含む、こと、を行うようにさらに構成されている。
【0025】
第2の態様を参照して、第2の態様の可能な実施では、前記光源検出モデルに基づいて、前記画像内の光源カテゴリを得る場合、前記光源分類ユニットは、前記画像から明るさ値がプリセット閾値よりも大きい輝点を選択し、該輝点のためにランプボックスを設定することと、前記ランプボックスに対してペアリングを行って、複数のランプボックスのペアを得ることと、前記複数のランプボックスのペアに基づいて消失点水平線VP線を決定することであって、該VP線は前記画像の第1の領域と第2の領域とを区別するために用いられる、ことと、前記輝点と前記VP線との位置関係と、前記輝点の色特徴に基づいて前記輝点を分類して、異なる光源カテゴリを得ることと、を行うように具体的に構成されている。
【0026】
第2の態様を参照して、第2の態様の可能な実施では、前記ランプボックスに対してペアリングを行うことの前に、前記光源分類ユニットは、ランプボックスの間に重複又は接線がないことを確かにするために、前記ランプボックスに対して重複除去を行うこと、を行うようさらに構成されている。
【0027】
第2の態様を参照して、第2の態様の可能な実施では、前記複数のランプボックスのペアに基づいて消失点水平線VP線を決定する場合、前記光源分類ユニットは、前記ランプボックスのペアのランプボックスの中心を前記画像の行にマッピングして、前記ランプボックスのペアの行内量分布マップを得ることと、前記行内量分布マップに基づいてVP線を選択することと、プリセット補正値に基づいて前記VP線を補正して、補正されたVP線を得ることと、基準値を用いることにより前記補正されたVP線を調整して、前記輝点を分類するのに用いられるVP線を得ることであって、前記基準値は前記ビデオカメラのピッチ角の変化を記述するために用いられる、ことと、を行うように具体的に構成されている。
【0028】
第3の側面によれば、コンピュータ装置が提供される。当該コンピュータ装置はプロセッサ及びメモリを含む。メモリはプログラムコードを記憶するように構成されている。プロセッサは該メモリに記憶されたプログラムコードを実行するように構成されているため、第1の態様のいずれかの実施を参照して、第1の態様に係るインテリジェントライトスイッチング方法が行われる。
【0029】
第4の態様によれば、コンピュータ読み取り可能記憶媒体が提供される。コンピュータ読み取り可能記憶媒体はコンピュータプログラムを記憶する。コンピュータプログラムがプロセッサによって実行された場合、プロセッサは、第1の態様のいずれかの実施を参照して、第1の態様に係るインテリジェントライトスイッチング方法を行う。
【0030】
第5の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は命令を含む。コンピュータプログラム製品がコンピュータによって実行されると、コンピュータは、第1の態様のいずれかの実施を参照して、第1の態様に係るインテリジェントライトスイッチング方法を行うことができる。
【図面の簡単な説明】
【0031】
【
図1】
図1は、本願の一実施形態に係るインテリジェントライトスイッチング方法の適用シナリオの概略図である。
【
図2】
図2は、本願の一実施形態に係るインテリジェント車両の構造の概略図である。
【
図3】
図3は、本願の一実施形態に係るインテリジェントライトスイッチングシステムの構造の概略図である。
【
図4】
図4は、本願の一実施形態に係る初期光源検出モデルの構造の概略図である。
【
図5】
図5は、本願の一実施形態に係る画像から光源特徴を抽出する方法の概略図である。
【
図6】
図6は、本願の一実施形態に係る第1の輝点のためのランプボックスの配置の概略図である。
【
図7】
図7は、本願の一実施形態に係るランプボックスに対する重複除去を行うことの概略図である。
【
図8】
図8は、本願の一実施形態に係るランプボックスのペアリング方法の概略図である。
【
図9】
図9は、本願の一実施形態に係る行内量分布マップの描画の概略図である。
【
図10】
図10は、本願の一実施形態に係る第1の行量を決定することの概略図である。
【
図11】
図11は、本願の一実施形態に係る路面により反射された光の干渉を除去することの概略図である。
【
図12】
図12は、本願の一実施形態に係るインテリジェントライトスイッチング方法の概略図である。
【
図13】
図13は、本願の一実施形態に係るコンピュータ装置の構造の概略図である。
【発明を実施するための形態】
【0032】
添付の図面を参照しながら、本願の実施形態における技術的解決策を明確且つ完全に以下で説明する。明らかに、説明する実施形態は、本願の全ての実施形態ではなく、一部であるにすぎない。当業者によって本願の実施形態に基づき創造的な努力なしに得られる他の全ての実施形態は、本願の保護範囲に含まれるものとする。
【0033】
当業者がより良い理解を得るのを助けるために、本願における一部の用語及び関連技術を添付の図面を参照しながら先ず説明する。
【0034】
RGB色空間では、豊かで広範な色を生成するために、赤、緑及び青の基本色に基づいて異なる程度の重なり合いを行う。したがって、RGB色空間は一般に3原色モードとして知られ、自然色モードとも呼ばれる。赤、緑、青は、可視スペクトルの3つの基本色(3原色)を表す。それぞれの色は、異なる明るさに基づいて256のレベルに分けられる。色光の三原色が重なると、色の混合比が異なることにより様々な中間色が生成される。ディスプレイシステムはRGB色空間を通常用いる。カラーブラウン管を備え、カラーラスターグラフィックスを表示するディスプレイは、R、G及びBの値を用いることにより、RGB電子銃を駆動して電子を放出し、蛍光スクリーン上のRGB蛍光粉体を刺激して、明るさが異なる光線を放出する。光線は重ねられて様々な色が生成される。
【0035】
YUV色空間は1つの明るさ信号及び2つのクロミナンス信号を含む。明るさ信号は通常Yと呼ばれる。クロミナンス信号は2つの独立した信号(赤を表すクロミナンス信号及び青を表すクロミナンス信号)である。2つのクロミナンス信号は通常UVPbPr又はCbCrと呼ばれる。したがって、YUV色空間もYPbPr色空間又はYCbCr色空間と呼ばれる。明るさ情報はクロミナンス情報から分離されている。同じフレーム内の画像の明るさ及びクロミナンスのために異なるサンプリングレートが用いられている。YUV色空間では、明るさ情報Y及びクロミナンス情報U/Vは互いに独立している。Y信号成分は白黒のグレースケールマップである。U信号成分及びV信号成分はモノクロのカラーマップである。人間の視覚はクロミナンスよりも明るさに敏感であるため、YUV色空間はカラーテレビシステムで広く用いられている。
【0036】
HSI色空間は、色特徴を記述するために3つのパラメータH、S及びIを用いる。Hは色の周波数を表し、色相と呼ばれる。Sは色の深さを表し、彩度と呼ばれる。Iは強度又は明るさを表す。
【0037】
関心領域(region of interest、ROI):マシンビジョン及び画像処理において、ボックス、円、楕円、不規則多角形等を用いることにより処理された画像から分離された領域は関心領域ROIと呼ばれる。Halcon、OpenCV及びMATLAB等のマシンビジョンソフトウェアでは、関心領域ROIを得るために様々な演算子(Operator)及び関数が通常用いられ、その後の画像処理が行われる。
【0038】
インターセクションオーバーユニオン(Intersection over Union、IOU)は、2つの長方形の領域の和集合に対する交差の比率である。IOUは、特定のデータセット内の対応するオブジェクトを検出する精度を測定するための規格である。IOUは単純な測定規格である。出力における予測範囲(バウンディングボックス)を得るタスクはIOUにより測定することができる。
【0039】
先進運転支援システム(Advanced Driver Assistance Systems、ADAS)は、車両に搭載された様々なセンサーを用いて、車両内外の環境データをタイムリーに収集し、静的及び動的な物体に対して認識、検出及び追跡等の技術的処理を行うため、ドライバーは潜在的なリスクを早期に検出できるようにするアクティブセーフティ技術である。これにより注目を集め、安全性が改善される。ADASで用いられるセンサーは、カメラ、レーダー、レーザー、超音波等を主に含み、光、熱、圧力又は車両の状態を監視するために用いられる他の変数を検出でき、通常は車両のフロントバンパー及びリアバンパー、サイドビューミラー、ステアリングハンドル又は車両のフロントガラスに配置されている。初期のADAS技術は主に受動的にアラームを発する。車両に潜在的な危険性があることが検出されると、アラームが発せられ、ドライバーに車両又は道路の異常状態に注意するように促す。最新のADAS技術では積極的な介入も一般的である。
【0040】
アダプティブクルーズコントロール(Adaptive Cruise Control、ACC)システムはクルーズコントロールシステムに基づいて開発される。クルーズコントロールシステムの機能、すなわち、ドライバーによって設定された速度で走行する機能に加えて、プリセットされた追従距離を保つ機能や、追従距離の変化に基づいて自動的に加減速する機能も実施され得る。クルーズコントロールシステムと比較して、ACCシステムは、ドライバーがブレーキ及びスロットルを調整するのに役立つ。
【0041】
ロードサイドユニット(Road Side Unit、RSU)は、電子料金収受(Electronic Toll
Collection、ETC)システムにおいて道路側に搭載され、専用の短距離通信(Dedicated
Short Range Communication、DSRC)を用いて車載ユニット(On-Board Unit、OBU)と通信し、車両識別及び電子スコア控除を実施する装置である。RSUは、高ゲイン指向性ビーム制御読み書き可能アンテナ及び無線周波数コントローラを含み得る。高ゲイン指向性ビーム制御読み書き可能アンテナは、信号及びデータの送受信、変調/復調、エンコーディング/デコーデイング及び暗号化/復号化の役割を果たすマイクロ波トランシーバモジュールである。無線周波数コントローラは、データの送受信を制御し、上位コンピュータから情報を受信するか又は上位コンピュータに情報を送信するモジュールである。
【0042】
本願で提供されるインテリジェントライトスイッチング方法は、インテリジェントライトスイッチングシステムによって行われる。本願の実施形態の理解を容易にするために、本願の実施形態が基づくインテリジェントライトスイッチングシステムの適用シナリオを最初に説明する。
図1はインテリジェントライトスイッチングシステムの適用シナリオの概略図である。
図1に示すシナリオは車両のインターネットのシナリオである。シナリオは、複数のインテリジェント車両、無線送信塔及びRSUを含む。インテリジェントライトスイッチングシステムは、インテリジェント車両の車載システム、例えばADASシステム又はACCシステムで用いられてもよく、運転支援及び自動運転等の複数のシナリオでハイビーム又はロービームにインテリジェントに切り替え得る。加えて、インテリジェントライトスイッチングシステムは、代替的に、インテリジェント車両内の他の運転支援システムとは別に、独立したシステムとしてインテリジェント車両に搭載され得る。
【0043】
インテリジェントライトスイッチングシステムの適用シナリオに基づいて、本願の一実施形態は、前述のインテリジェントライトスイッチングシステムの適用シナリオで用いられるインテリジェント車両200を提供する。
図2は、本願の一実施形態に係るインテリジェント車両200の構造の概略図である。
【0044】
なお、インテリジェント車両200は、完全インテリジェント運転モードに設定され得るか又は部分インテリジェント運転モードに設定され得る。インテリジェント車両200が完全インテリジェント運転モードに設定されている場合、インテリジェント車両200は、人と対話することなく対応する動作を行い得ることが理解されよう。動作は、限定されないが、加速、減速及び自動車追従を含む。インテリジェント車両が部分インテリジェント走行モードに設定されると、対応する動作はインテリジェント車両200によって自動的に行われるだけでなく、ドライバーによっても行われ得る。例えば、対応する動作は、車両及び周辺環境を特定することと、周辺環境における少なくとも1つの他の車両の可能な挙動を特定することと、他の車両が可能な挙動を行う可能性に対応する信頼度を特定することと、特定された情報に基づいてインテリジェント車両200を制御することである。
【0045】
インテリジェント車両200は、移動システム210、センサーシステム220、制御システム230、1つ以上の周辺装置240、1つ以上のコンピュータシステム250、電源260及びユーザーインターフェイス270等の様々なサブシステムを含み得る。任意で、インテリジェント車両200は、より多くの又は少ないサブシステムを含んでもよく、各サブシステムは複数の要素を含み得る。加えて、インテリジェント車両200のサブシステム及び要素は、複数の方法で、例えば有線又は無線で相互接続され得る。
【0046】
移動システム210は、インテリジェント車両200に電力を供給するコンポーネントを含み得る。一実施形態では、移動システム210は、エンジン2110、エネルギー源2120、トランスミッション装置2130及びホイール/タイヤ2140を含み得る。エンジン2110は、内燃機関、モーター、空気圧縮エンジン又は他の種類のエンジンの組み合わせ、例えば、ガソリンエンジンとモーターで構成されるハイブリッドエンジン又は内燃機関と空気圧縮エンジンで構成されるハイブリッドエンジンであり得る。エンジン2110は、エネルギー源2120を機械エネルギーに変換する。
【0047】
エネルギー源2120の例としては、ガソリン、ディーゼル、別の石油ベースの燃料、プロパン、別の圧縮ガスベースの燃料、エタノール、ソーラーパネル、バッテリー及び別の動力源が挙げられる。エネルギー源2120は、インテリジェント車両200の別のシステムにもエネルギーを提供し得る。
【0048】
トランスミッション装置2130は、エンジン2110からの機械的動力をホイール2140に伝達することができる。トランスミッション装置2130は、ギアボックス、作動装置及びドライブシャフトを含み得る。一実施形態では、トランスミッション装置2130は別のコンポーネント、例えばクラッチをさらに含み得る。ドライブシャフトは、ホイール2140の1つ以上に連結され得る1つ以上のシャフトを含み得る。
【0049】
センサーシステム220は、インテリジェント車両200の周辺環境情報を感知し、インテリジェント車両200の車両情報を得るいくつかのセンサーを含み得る。例えば、センサーシステム220は、ポジショニングシステム2210、慣性測定装置(inertial measurement unit、IMU)2220、レーダー2230及び視覚センサー2240を含み得る。ポジショニングシステム2210は、GPSシステム、BeiDouシステム又は別のポジショニングシステムを含み得る。センサーシステム220は、車内の空気品質モニター、燃料ゲージ及び油温ゲージ等の監視されるインテリジェント車両200の内部システムのセンサーをさらに含み得る。これらのセンサーによって得られたデータは、物体及びその対応する特徴を検出するために用いられ得る。特徴は、限定されないが、位置、形状、方向及び速度を含む。そのような検出及び認識は、インテリジェント車両200がその後の動作を安全に行う上で大きな意味がある。
【0050】
ポジショニングシステム2210は、インテリジェント車両200の地理的位置を特定するように構成され得る。
【0051】
IMU2220は、慣性加速度に基づいてインテリジェント車両200の位置変化及び方向変化を感知し得る。一実施形態では、IMU2220は加速度計及びジャイロスコープの組み合わせであり得る。この場合、IMU2220はインテリジェント車両200の曲率を測定するように構成され得る。
【0052】
レーダー2230は、無線信号を用いることにより、インテリジェント車両200の周囲環境を感知し得る。周囲環境は、限定されないが、周囲の車両、インフラ及び歩行者を含む。レーダー2230は、限定されないが、ミリ波レーダー及びライダーを含み得ることが理解されよう。一部の実施形態では、周囲の環境を感知することに加えて、レーダー2230は、環境内の物体の運動状態を感知するようにさらに構成され得る。
【0053】
視覚センサー2240は、インテリジェント車両200の周囲環境の複数の画像を取り込むように構成され得る。視覚センサー2240は、限定されないが、静的カメラ及びビデオカメラを含み得る。
【0054】
制御システム230は、インテリジェント車両200及びインテリジェント車両のコンポーネントの動作を制御するように構成され得る。制御システム230は複数の要素を含み得る。一実施形態では、制御システム230は、ステアリングシステム2310、アクチュエータ2320、ブレーキユニット2330、コンピュータ視覚システム2340、経路制御システム2350、障害物回避システム2360及びハイ/ロービームスイッチングシステム2370を含む。
【0055】
ステアリングシステム2310は、操作を介してインテリジェント車両200の進行方向を調整し得る。例えば、一実施形態では、ステアリングシステム2310はステアリングホイールシステムを含み得る。
【0056】
アクチュエータ2320は、エンジン2110を制御することにより、インテリジェント車両200の速度を制御するように構成され得る。例えば、一実施形態では、アクチュエータ2320はスロットルを含み得る。
【0057】
ブレーキユニット2330は、インテリジェント車両200が減速するよう制御するように構成され得る。ブレーキユニット2330は、ホイール2140の回転速度を低下させるために摩擦を用いり得る。別の実施形態では、ブレーキユニット2330は、ホイール2140の運動エネルギーを電流に変換し得る。ブレーキユニット2330は、ホイール2140の回転速度を低下させる別の方法を用いることによりインテリジェント車両200の速度を制御し得る。
【0058】
アクチュエータ2320及びブレーキユニット2330を1つのユニットモジュールに組み合わせてもよいことが理解されよう。組み合わされたユニットモジュールは、インテリジェント車両200の速度を制御するように構成され得る。一実施形態では、組み合わされたユニットモジュールはスロットルシステム及びブレーキシステムを含み得る。
【0059】
コンピュータ視覚システム2340は、視覚センサー2240によって取り込まれた画像を処理及び分析し、その後の動作を容易にするように構成され得る。コンピュータ視覚システム2340は、インテリジェント車両200の周囲環境、周囲環境内の物体の特徴及び物体の運動状態をさらに認識できる。周囲環境は、信号、道路境界及び障害物を含み得る。周囲環境内の物体の特徴は、限定されないが、物体の表面の表面光学的特徴を含む。運動状態は、限定されないが、静的、加速又は減速を含む。コンピュータ視覚システム2340は、色空間変換技術、物体認識アルゴリズム、ストラクチャフロムモーション(Structure from Motion、SFM)アルゴリズム、ビデオトラッキング及び他のコンピュータ視覚技術を用いり得る。一部の実施形態では、コンピュータ視覚システム2340は、画像検出システム、ニューラルネットワークに基づく処理システム等を含み、環境のための地図の描画、物体の追跡、物体の速度の推定等を行うように構成され得る。
【0060】
経路制御システム2350はインテリジェント車両200の走行経路を決定するように構成される。一部の実施形態では、経路制御システム2350は、ポジショニングシステム2210からの1つ以上の所定の地図のデータを参照して、インテリジェント車両200の走行経路を決定し得る。
【0061】
障害物回避システム2360は、周辺環境内の障害物を認識、評価、回避又はバイパスするように構成されている。一実施形態では、障害物回避システム2360は、レーダー2230及び視覚センサー2240を用いることにより周辺環境に関する情報を得て、その後にコンピュータ視覚システム2340を用いることにより周辺環境を分析して、潜在的な障害物を認識する必要がある。その後、障害物回避システム2360は評価及び回避を行う。
【0062】
ハイ/ロービームスイッチングシステム2370は、ハイビーム又はロービームをインテリジェントに切り替えるように構成されている。一実施形態では、ハイ/ロービームスイッチングシステム2370は周囲光に基づいて自動的に有効にされてもよく、ハイビーム又はロービームに自動的に切り替え得るか又は手動で有効にされ得る。
【0063】
なお、制御システム230は別のコンポーネントをさらに含み得るか又は上記のコンポーネントが置き換え及び/又は削減され得る。
【0064】
インテリジェント車両200は、周辺装置240を用いることにより、外部センサー、他の車両、他のコンピュータシステム又はユーザーと対話する。周辺装置240は、限定されないが、無線通信システム2410、車載コンピュータ2420、マイク2430及び/又はスピーカー2440を含み得る。
【0065】
なお、一部の実施形態では、周辺装置240はインテリジェント車両200のユーザーと対話し得る。例えば、車載コンピュータ2420は、インテリジェント車両200のユーザーに情報を提供し得る。加えて、インテリジェント車両200のユーザーは車載コンピュータ2420にデータをアップロードし得る。インテリジェント車両200のユーザーは、車載コンピュータ2420のタッチスクリーンを用いることにより操作を行い得ることが理解されよう。加えて、周辺装置240は、インテリジェント車両200が車両内の他の装置と通信する手段を提供し得る。例えば、マイク2430はインテリジェント車両200のユーザーから音声を受信してもよく、音声は音声コマンド及び他の音声入力を含み得る。同様に、スピーカー2440は、インテリジェント車両200のユーザーに音声を出力し得る。
【0066】
無線通信システム2410は、直接又は通信ネットワークを用いることにより1つ以上の装置と無線で通信し得る。例えば、無線通信システム2410は、CDMA、EVDO、GSM/GPRS等の3Gセルラー通信を用い得るか、LTE等の4Gセルラー通信を用いり得るか、5Gセルラー通信を用い得る。無線通信システム2410は、Wi-Fiを用いることにより無線ローカルエリアネットワーク(wireless local area network、WLAN)と通信し得る。一部の実施形態では、無線通信システム2410は、赤外線リンク、Bluetooth又はZigBeeを用いることにより装置と直接通信し得る。装置は、限定されないが、車両及び/又は路側ステーションを含み得る。
【0067】
加えて、本願の実施形態では、複数のインテリジェント車両はV2Xを用いることにより互いに通信できる。したがって、無線通信システム2410は1つ以上のDSRC装置及び1つ以上のLTE-V2X装置をさらに含み得る。
【0068】
電源260は、インテリジェント車両200の様々なコンポーネントに電力を供給し得る。一実施形態では、電源260は1つ以上のバッテリーパックを含み得る。バッテリーパック内のバッテリーは、充電可能なリチウムイオンバッテリー又は鉛蓄電池であり得る。一部の実施形態では、電源260及びエネルギー源2120は共に実施され得ることが理解されよう。
【0069】
インテリジェント車両200の一部又は全ての機能はコンピュータシステム250によって制御される。コンピュータシステム250は1つ以上のプロセッサ2520を含み得る。プロセッサ2520は命令25110を実行する。命令25110は非一時的コンピュータ読み取り可能媒体、例えば、メモリ2510に記憶される。コンピュータシステム250は、代替的に、インテリジェント車両200の個々のコンポーネント又はサブシステムを分散的に制御する複数のコンピュータ装置であり得る。
【0070】
プロセッサ2520は、任意の従来のプロセッサ、例えば、市販のCPUであり得る。任意で、プロセッサは、特定用途向け集積回路(Application-Specific Integrated Circuit、ASIC)又は他のハードウェアベースのプロセッサ等の専用装置であり得る。
図2は、プロセッサ、メモリ、コンピュータ等のコンポーネントを機能的に示しているが、当業者であれば、プロセッサ、コンピュータ又はメモリは実際には同じ物理的ハウジングに収容され得るか又は収容されない複数のプロセッサ、コンピュータ又はメモリを含み得ることを理解すべきである。例えば、メモリは、コンピュータとは異なるハウジング内に位置するハードディスクドライブ又は別の記憶媒体であり得る。そのため、プロセッサ又はコンピュータへの言及は、並列に動作し得るか又は動作しない一式のプロセッサ、コンピュータ又はメモリへの言及を含み得ることが理解されよう。本願で説明するステップを行うために単一のプロセッサを用いるのとは異なり、ステアリングコンポーネント及び減速コンポーネント等の一部のコンポーネントはそれぞれのプロセッサを含み得る。プロセッサは、コンポーネント固有の機能に関連する計算のみを行う。
【0071】
本願で説明する様々な態様では、プロセッサは車両から遠く離れて位置し、車両と無線通信し得る。別の態様では、本願で説明する一部のプロセスは車両内に配置されたプロセッサで行われる一方で、単一の操作に必要なステップの実行を含む他のプロセスはリモートプロセッサにより行われる。
【0072】
一部の実施形態では、メモリ2510は命令25110(例えば、プログラムロジック)を含み得る。命令25110は、インテリジェント車両200の上記の機能を含む様々な機能を実施するためにプロセッサ2520によって実行され得る。メモリ2510は、移動システム210、センサーシステム220、制御システム230及び周辺装置240のうちの1つ以上にデータを送信すること、からデータを受信すること、対話すること及び/又は制御することのために用いられる命令を含む追加の命令も含み得る。
【0073】
命令25110を記憶することに加えて、メモリ2510は、道路地図、経路情報、車両の位置、方向及び速度等の車両データ並びに他の関連情報等のデータをさらに記憶し得る。一実施形態では、インテリジェント車両200が自律、半自律及び/又は手動モードにある場合に、インテリジェント車両200のコンピュータシステム250は、データを用いることにより関連動作を行うことができることが理解されよう。例えば、インテリジェント車両が他の車両を追従しながら一定速度で走行できるように、ターゲット道路区間の道路情報及び受信したターゲット車速範囲に基づいて、インテリジェント車両の現在の速度が調整され得る。
【0074】
ユーザーインターフェイス270は、インテリジェント車両200のユーザーに情報を提供するか又は情報を受信するように構成されている。任意で、ユーザーインターフェイス270は、USBインターフェイス、AUXインターフェイス又はOBDインターフェイス等の周辺装置240のうちの1つ以上の入出力装置に必要とされるインターフェイスを含み得る。
【0075】
コンピュータシステム250は、様々なサブシステム(例えば、移動システム210、センサーシステム220及び制御システム230)のデータ及びユーザーインターフェイス270から受信したデータに基づいて、インテリジェント車両200の機能を制御し得る。例えば、コンピュータシステム250は、センサーシステム220及び障害物回避システム2360によって検出された障害物を回避するために、ステアリングシステム2310を制御し得る。
【0076】
任意で、上記のコンポーネントはサブシステムとしてインテリジェント車両200の内部に搭載され得る。あるいは、コンポーネントのうちの1つ以上はインテリジェント車両200とは別に搭載され得る。例えば、メモリ2510はインテリジェント車両200とは部分的又は完全に分離され得る。上記のコンポーネントは有線及び/又は無線で連結され得る。
【0077】
なお、上記のモジュール及びモジュール内のコンポーネントは、実際の要件に基づいて追加、置き換え又は削除され得る。これは本願では限定されない。
【0078】
道路を走行するインテリジェント走行車両、例えば
図2のインテリジェント車両200は、現在の速度を調整するために周囲環境を認識し得る。周囲環境は、限定されないが、別の車両、歩行者、交通制御装置、別のインフラ及び別の種類の物体を含み得る。一部の実施形態では、インテリジェント走行車両は、認識された物体のそれぞれを独立して考慮し、物体の特徴、例えば、速度、加速度又は車両からの相対距離に基づいて、自律車両が調整する必要がある速度を決定し得る。
【0079】
任意で、インテリジェント車両200又はインテリジェント車両200に関連するコンピュータ装置(例えば、
図2のコンピュータシステム250、コンピュータ視覚システム2340及びデータ記憶装置2510等)は、認識された物体の挙動を、認識された物体の特徴及び周辺環境の状態(例えば、交通、雨、道路上の氷)に基づいて予測し得る。全ての認識された物体は関連付けられていることが理解されよう。したがって、周囲環境内の全ての他の物体の状態を分析することにより、単一の物体の挙動がさらに予測され得る。インテリジェント車両200は、認識された物体の予測された挙動に基づいて、インテリジェント車両200の速度を調整できる。つまり、インテリジェント車両200は、物体の予測された挙動に基づいて、車両をどのように調整する必要があるか(例えば、加速、減速又は停止)及び車両を調整すべき安定した状態を決定できる。このプロセスでは、他の要因、例えば、インテリジェント車両200が走行する道路内の水平位置、道路の曲率及び静的物体及び動的物体への近接の影響も考慮され得る。
【0080】
インテリジェント車両200の速度を調整するための命令に加えて、コンピュータ装置は、自律車両が所定のトラックに従う及び/又は自律車両の近くの物体(例えば、隣接車線の自動車)からの安全な水平距離及び安全な垂直距離を維持するように、インテリジェント車両200のステアリング角度を変更するための命令をさらに提供し得る。
【0081】
インテリジェント車両200は自動車、トラック、オートバイ、バス、ボート、娯楽車両、遊園地の車両、建設装置、路面電車、電車等であり得る。これは、本願のこの実施形態では限定されない。
【0082】
図2に示すインテリジェント車両の構造の概略図は、本願のこの実施形態における例示の実施にすぎないことが理解されよう。本願のこの実施形態におけるインテリジェント車両は、限定されないが上記の構造を含む。
【0083】
本願は、夜間の運転プロセスにおけるインテリジェントライトスイッチングのために用いられるインテリジェントライトスイッチングシステムを提供する。インテリジェントライトスイッチングシステムは、先ずシステムの前にあるシナリオの画像を取得し、次に周囲光情報を取得し、画像内の光源を分類し、最後に周囲光情報及び光源分類情報に基づいてハイ/ロービームにスイッチングするかどうかを決定する。インテリジェントライトスイッチングシステムのユニットには複数の分割方法があり得る。これは本願では限定されない。
図3は分割方法の一例である。
図3に示すように、各機能ユニットの機能を以下で説明する。
【0084】
インテリジェントライトスイッチングシステム300は、取得ユニット310、周囲光検出ユニット320、光源分類ユニット330及びスイッチングユニット340を含む。取得ユニット310は画像を取得するように構成され、画像は車両の固定位置に配置されたビデオカメラによって撮影され、画像には光源情報が記録されている。周囲光検出ユニット320は、画像に対応する周囲光の明るさ値を計算するように構成されている。光源分類ユニット330は、光源情報に基づいて、画像に含まれる光源を分類して分類結果を得るように構成されている。スイッチングユニット340は、画像に対応する周囲光の明るさ値及び分類結果に基づいて、ハイビーム又はロービームに切り替えるように構成されている。
【0085】
上記の内容から、光源分類は、本願の解決策の重要なステップであり、光源分類ユニット330によって実施されることが理解されよう。具体的には、光源分類ユニット330は光源検出モデルを含む。光源検出モデルは、取得された画像対して検出を行い、光源分類を行う。
【0086】
光源検出モデルはAIモデルであってもよく、AIモデルを用いることにより検出を行う前に、初期AIモデルを訓練する必要があることが理解されよう。本願では、光源情報を含み、ビデオカメラによって得られるサンプル画像を用いることにより初期AIモデルが訓練されるため、訓練されたAIモデルは光源分類機能を有し、ビデオカメラによって得られた画像に対して光源分類を行うことができる。
【0087】
加えて、本願における光源検出モデルは、光源の位置(検出ボックス情報/画像内のターゲットの位置)をさらに特定し、光源と自車両との間の実際の距離を検出し得る。
【0088】
訓練プロセスでは、訓練のために特別な訓練データを用いる必要がある。モデル能力要件に基づいて分析が行われる場合、ビデオカメラで撮影された注釈情報を有するサンプル画像を訓練のために用いる必要があり、サンプル画像はターゲットを記録し、注釈情報はサンプル画像内のターゲットのカテゴリ情報、位置情報(画像内のターゲットの検出ボックス位置/位置)、距離情報(ターゲットと自車両との間の距離)を含む。
【0089】
ターゲットのカテゴリ情報は、ターゲットのカテゴリを示すために用いられる。本願のこの実施形態では、ターゲットは光源、例えば車両のヘッドライト、車両のテールライト、街灯又は信号機である。ターゲットのカテゴリ情報は、光源のカテゴリ情報である。
【0090】
加えて、分類の間に検出ボックスを用いる必要がある。検出ボックスはサンプル画像内のターゲットをマークするために用いられる。本願のこの実施形態では、検出ボックスはランプボックスであり、検出ボックス情報は、限定されないが、ターゲットカテゴリ情報及びピクセル座標情報を含む。例えば、本願の実施形態では、注釈のために長方形の検出ボックスが用いられる。検出ボックス情報は、注釈付きターゲットのカテゴリ情報及びピクセル座標情報を含む。カテゴリ情報は検出ボックスの形状及び色等の特徴を含む。ピクセル座標情報は4つのピクセル座標、すなわち、検出ボックスの左上水平座標、左上垂直座標、右下水平座標及び右下垂直座標を含む。
【0091】
なお、本願の一実施形態では、検出ボックス情報は、ターゲットのカテゴリ情報を示すためにテキストを直接表示し得るか又は検出ボックスの形状及び色等の特徴を用いることによりターゲットのカテゴリを示し得る。注釈情報は、拡張マークアップ言語(extensible markup language、XML)、JavaScripオブジェクトプロファイル(JavaScript object notation、JSON)等の形式のファイルとして記憶され得る。
【0092】
光源検出モデルを以下で詳細に説明する。
【0093】
本願では、光源検出モデルを訓練するために必要な訓練データ(サンプル画像)は、車両内の固定位置にあるビデオカメラによって取得される。ターゲット検出アルゴリズムを用いることによりサンプル画像に対して検出を行い、サンプル画像に記録されている光源のカテゴリ情報及び検出ボックス情報が取得され得る。あるいは、上記の情報は手動でラベリングする方法で取得され得る。サンプル画像は、異なる時点で取得された画像及び異なる露光時間を有する画像を含み得ることが理解されよう。
【0094】
複数のサンプル画像が取得され、複数のサンプル画像の注釈情報が取得された後、注釈情報を持つ複数のサンプル画像が訓練セットを形成し、訓練セット内の訓練サンプルを用いることにより訓練が行われる。まず、初期ランプ光源検出モデルが決定される。上記から、本願の初期ランプ光源検出モデルはAIモデルであってもよく、具体的にはディープニューラルネットワークモデルであり得ることが分かる。このモデルは、画像内の光源の種類及び光源の位置を検出するだけでなく、光源と自車両との間の実際の距離も計算できる。これは、本願における初期光源検出モデルは構造的に改善されていることを意味する。
【0095】
図4に示すように、本願における初期光源検出モデル400の構造は、バックボーンネットワーク410、検出ネットワーク420及び損失関数計算ユニット430の3つの部分を主に含む。バックボーンネットワーク410は入力サンプル画像から特徴を抽出するように構成され、ビジュアルジオメトリグループ(visual geometry group、VGG)ネットワーク、残差ネットワーク(residual
network)、高密度畳み込みネットワーク(dense convolution network)等であり得るいくつかの畳み込み層を含む。検出ネットワーク420は、バックボーンネットワーク410によって抽出された特徴の検出及び認識を行い、光源カテゴリ情報及び光源位置情報(すなわち、検出ボックス情報)を出力するように構成されている。検出ネットワーク420も基本的にいくつかの畳み込み層によって形成されるため、バックボーンネットワーク410の出力結果に対して畳み込み計算をさらに行う。
【0096】
上述したように、一般的な検出モデル(例えば、yolo及びfaster RCNN)と比べて、本願の光源検出モデルは構造が異なる。画像上の同じの車両の車両灯の間の距離、車両の実車幅、画像を得るために用いられるビデオカメラの焦点距離及び車両とエゴ車との間の距離の間には比例関係があるため、4つの値のうち3つがわかっていれば、他の1つは比例関係に基づいて計算することができる。したがって、バックボーンネットワーク410は同じ種類のネットワークを用いり得る。しかしながら、本願における検出ネットワーク420では、検出ボックスの退行の役割を果たす各畳み込み層に複数のチャネルが追加されている。サンプル画像内にある、光源の水平座標及び垂直座標を示すために優先的に2つのチャネルが追加されている。画像内の車両の車両ランプの間の距離は、車両と自車両との間の距離を得るために、同じ車両の光源の水平座標及び垂直座標を用いることにより得られ得る。もちろん、さらなるチャンネルが追加されてもよい。各チャンネルは対応する物理的な意味が割り当てられている。これは本願では限定されない。
【0097】
先ず、初期光源検出モデル400のパラメータが初期化される。次に、初期光源検出モデル400にサンプル画像が入力される。バックボーンネットワーク410はサンプル画像に記録されているターゲットの特徴を抽出して抽象特徴を取得し、その後、抽象特徴を検出ネットワーク420に入力する。検出ネットワークは、さらなる検出及び認識を行い、ターゲットの種類及び位置と、ターゲットから自車両までの距離とを予測し、対応するチャネルを介して予測結果を損失関数計算ユニット430に出力する。その後、サンプル画像に対応する注釈情報も損失関数計算ユニット430に入力される。損失関数計算ユニット430は、検出ネットワーク420によって得られた予測結果をサンプル画像に対応する注釈情報と比較して損失関数を計算し、損失関数をターゲット関数として用いることにより且つ逆伝播アルゴリズムを用いることによりモデル内のパラメータを更新及び調整する。注釈情報を保持するサンプル画像は順次入力され、損失関数の値が収束するまで、すなわち、毎回計算される損失関数の値が特定の値を中心に変動するまで、上記の訓練プロセスが連続的に且つ反復的に行われる。この場合、光源分類モデルは完全に訓練されている、つまり、光源分類モデルは、画像内のターゲットの種類及び位置と、ターゲットから自車両までの距離を有し、光源分類に用いられ得る。
【0098】
なお、本願では、検出ボックスを後退させる役割を有する各畳み込み層に2つのチャネルが追加されるため、損失関数の構築を再設計する必要がある。本願におけるターゲットポジショニングモデルは古典的なターゲット検出モデル(例えば、yolo又はfaster RCNN)に基づいて改善され、古典的なターゲット検出モデルの損失関数はLoss1であると仮定する。この場合、本願でターゲットポジショニングモデルを構築するために用いられる損失関数Lossは、Loss=Loss1+Loss2として表されてもよく、Loss2は2つの新たに追加された2つのチャネルに対応する損失関数である。
【0099】
上述したように、画像内の光源の特徴の抽出はバックボーンネットワーク410及び検出ネットワーク420によって主に行われる。分類のための特徴の抽出方法について、
図5を参照して以下で具体的に説明する。
図5に示すように、本方法は、限定されないが以下のステップを含む。
【0100】
S501:画像から明るさ値がプリセット閾値よりも大きい輝点を選択し、該輝点のためにランプボックスを設定する。
【0101】
具体的には、明るさ値がプリセット値以上の輝点を第1の輝点として輝点から選択し、第1の輝点のためにランプボックスが設定される。ランプボックスのサイズは、マークする必要がある第1の輝点のサイズに基づいて適応的に変化し得る。
【0102】
例えば、第1の輝点のためにランプボックスを設定する概略図である
図6に示すように、画像上での異なる特徴を有する輝点の分布は、第1の輝点の画像上での位置、明るさ、サイズ及び色等の要素を認識し、画像の下部に位置する第1の輝点を赤枠でマーキングし、画像の上部にあり、特定の分布特徴を有する第1の輝点を青枠でマーキングし、画像の上部に位置し、独特な色特徴を有する第1の輝点を紫枠でマーキングすることにより明確に表示できる。
【0103】
特定の分布特徴とは、画像の上部領域の左側にある複数の第1輝点の接続線と、画像の上部領域の右側にある複数の第1の輝点の接続線とが、画像の中央にある特定の点と特定の誤差範囲内で交差することを意味する。
【0104】
なお、上記のランプボックスの設定方法は本願における一例に過ぎない。ランプボックスのサイズ、形状及び色等の具体的なパラメータは、実際の要件及び実験データに基づいて研究開発者によって設定され得る。例えば、ランプボックスの設定の間に、異なる色及び異なる形状のランプボックスが、異なる特徴を持つ輝点をマークするのに用いられる。これは本願では限定されない。
【0105】
S502:ランプボックスに対してフィルタリング及び重複除去を行う。
【0106】
ランプボックスが設定された後に、ランプボックスの間に交差又は接線があり得る。これは後続の動作に影響し得る。したがって、ランプボックスに対してフィルタリング及び重複除去を行う必要がある。なお、ランプボックスに対するフィルタリング及び重複除去を行うために複数の方法がある。例えば、本願の一実施形態では、IOUアルゴリズムを用いることによりランプボックスに対する重複除去が行われる。
図7に示すように、輝点AはランプボックスCでマークされ、輝点BはランプボックスDでマークされいる。ランプボックスCとランプボックスDとの間に重複領域Eがあることが検出されると、第2のランプボックスが生成される。第2のランプボックスは元のランプボックスよりも大きく、2つの輝点の両方を含み得る。
図7のランプボックスFは第2のランプボックスである。第2のランプボックスのサイズは、元のランプボックスのサイズに基づいて決定され得ることが理解されよう。他の場合では、第2のランプボックスのサイズ、形状及び色等の特定のパラメータもプリセットされ得る。
【0107】
S503:重複除去後に得られたランプボックスに対してペアリングを行い、第1のランプボックスのペアを得る。
【0108】
本願の一実施形態では、少なくとも3つの条件が満たされた場合にのみ、画像内の任意の2つのランプボックスを正常にペアリングできる。第1の条件は、2つのランプボックスの高さの差の絶対値が第1の閾値未満であることである。第2の条件は、2つのランプボックスの間の距離がランプボックスの高さと線形関係を有すること、つまり、ランプボックスの高さに対する2つのランプボックスの間の距離の比が比率区画内にあることである。第3の条件は、2つのランプボックスの中心点の間の接続線と水平線との間の角度が第2の閾値未満であることである。第2の条件では、2つのランプボックスの間の距離はランプボックスの中心点の間の距離(すなわち、2つのランプボックスの中心点の間の接続線の長さ)であり、ランプボックスの高さは2つのランプボックスの高さの平均値であることが理解されよう。
【0109】
図8は、ランプボックスのペアリングの概略図である。図中、ランプボックスA及びランプボックスBは、画像から選択された任意の2つのランプボックスであり、ランプボックスAの高さはaであり、ランプボックスBの高さはbであり、ランプボックスの中心点の間の距離はcである。|a-c|が第1の閾値未満の場合、
【0110】
【数1】
は比率区画内にあり、θが第2の閾値未満の場合、ランプボックスA及びランプボックスBは正常にペアリングされる。つまり、ランプボックスA内の輝点とランプボックスB内の輝点とがランプのペアであると考えられ得る。
【0111】
第1の閾値、第2の閾値及び比率区画は、実際の要件及び実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0112】
S504:離れた車両ランプと自車両との間の距離を特定する。
【0113】
上記から、中央領域とは離れた車両の車両ランプが現れ得る領域であることが理解されよう。中央領域内の第1のランプボックスのペアが選択される。実際の車幅に対する第1のランプボックスのペアにおける第1の輝点の中心点の間の距離の比は第1の比率である。第1のランプボックスのペアが属する車両から自車両までの距離に対する画像を得るために用いられるビデオカメラの焦点距離の比が第2の比率である。第1の比率は第2の比率と特定の誤差範囲内で等しいことが理解されよう。本願の一実施形態では、2つの比率は互いにほぼ等しいと考えられ得る。したがって、第1のランプボックスのペアが属する車両から自車両までの距離は、第1のランプボックス内の第1の輝点の中心点の間の距離、実車両幅及びビデオカメラの焦点距離が分かれば特定できる。あるいは、誤差値として値が導入される。第1のランプボックスのペア内の第1の輝点の中心点と実車幅との間の距離が分かっている場合、第1の比率を計算できる。第1の比率に誤差値を加算又は減算して第2の比率を得る。ビデオカメラの焦点距離は分かっているため、第1のランプボックスのペアが属する車両から自車両までの距離を得ることができる。
【0114】
なお、上記の方法は本願における例示の方法に過ぎず、離れた車両のランプと自車両との間の距離を特定するための異なる方法があり得る。これは本願では限定されない。
【0115】
中心領域の形状及びサイズ等の特定のパラメータは、実験データに基づいて研究開発者によってプリセットされ得ることが理解されよう。これは本願では限定されない。
【0116】
加えて、本願の別の実施形態では、より正確な光源分類結果を得るために、得られた画像内の全ての車両と自車両との間の距離が上記の方法に従って計算され得る。このように、光源の情報だけでなく、光源の距離情報も得ることができ、ハイビーム及びロービームの照射距離を参照して、より正確にスイッチングを行うことができる。
【0117】
S505:消失点水平線(VP線)を特定する。
【0118】
本願の一実施形態では、得られた画像がN個の行(Nは正の整数)に分割され、第1のランプボックスのペアの2つの第1の輝点の中心点が位置する行を特定し、得られた画像の各行内にある第1のランプボックスのペアの数を計数し、行内の数を水平座標として用い、第1のランプボックスのペアの数を垂直座標として用いることにより、行内数量分布マップが描画される。行内数量分布マップは、平滑散布図、線散布図、ヒストグラム等の形式を取り得る。行内数量分布マップが平滑散布図の場合、行内数量分布マップの全てのトラフのうちの水平座標が最も大きいトラフが選択され、そのトラフに対応する行内数量が第1の行数量として用いられるか又は行内数量分布マップの全てのピークのうちの水平座標が最も大きいピークの左半分側の間隔が最も低い中央位置が選択され、その位置に対応する行内数量が第2の行数量として用いられる。
【0119】
図9は、行内数量分布マップを描画する概略図である。得られた画像は7個の行に分割される。画像の幅が280px(ピクセル)の場合、各行の高さは40pxである。各第1のランプボックスのペアの第1の輝点の中心点がある行を特定し、得られた画像内の各行の第1のランプボックスのペアの数が計数される。
図9において、行1、行2及び行4におけるランプのペアの数は1つであり、行3におけるランプのペアの数は5つであり、行5におけるランプのペアの数は3つであり、行6及び行7におけるランプのペアの個数は0である。行内数量分布マップは、行内数量を水平座標として用い、第1のランプボックスのペアの数を垂直座標として用いることにより描画される。行内数量分布マップはヒストグラムである。
【0120】
図10は、第1の行の数量を特定する概略図である。黒点が記された位置は、行内数量分布マップにおける水平座標が最も大きいトラフである。すなわち、黒点が記された位置に対応する行内数量は第1の行の数量である。第2の行の数量を特定する方法は、第1の行の数量を特定する方法と同じであることが理解されよう。詳細についてはここでは再度説明しない。
【0121】
なお、第1のランプボックスのペアの2つの第1の輝点の中心点が異なる行にある場合、その後に行われる画像の各行における第1のランプボックスのペアの数の計数の間に、2つの第1の輝点の中心点がある行のそれぞれに0.5が加算される。上記の処理は、別の統計的方法に従って代替的に行われ得ることが理解されよう。例えば、2つの第1の輝点の中心点が位置する行のそれぞれに1が加算されるか又は2つの第1の輝点の中心点が位置する行のいずれかに1が加算される。これは本願では限定されない。
【0122】
本願の別の実施形態では、行内数量分布マップを描画するための別の方法もあり、それは、先ず、画像内にあり、ランプボックスでマークされている第1の輝点の中心点が位置する行を特定することと、画像内の各行の第1の輝点の数を計数することと、行内数量を水平座標として用い、第1の輝点の数を垂直座標として用いることにより、行内数量分布マップを描画することであり得る。
【0123】
行内数量分布マップがピーク及び/又はトラフを含まない場合、デフォルトの消失点水平線が第1の消失点水平線(VP線I)として選択される。第1の行の数量とデフォルトの消失点水平線との差の絶対値が第3の閾値よりも大きいか又は第2の行の数量とデフォルトの消失点水平線との差の絶対値が第3の閾値よりも大きい場合、デフォルトの消失点水平線が第1の消失点水平線(VP線I)として選択される。車両のランプは車体の中間位置に通常位置するため、第2の消失点水平線(VP線II)を得るには、VP線Iをプリセット補正値に基づいて補正する、つまり、消失点水平線に補正値を加える必要がある。加えて、自車両がブレーキをかけたり、加速したり、上り坂を走行したり、下り坂を走行する場合、ビデオカメラのピッチ角が変化し、その結果として画像内の光源の位置が大きく変化することがある。このため、基準値が導入される。第3の消失点水平線(VP線III)は、VP線Iと基準値との差の絶対値に減衰係数αを掛け、基準値を加えることにより得られる。この場合、得られたVP線IIIは輝点の分類に用いることができるVP線である。
【0124】
補正値は比較的小さい正の整数であることが理解されよう。補正値の具体的な値は、実験データ及び実際の要件に基づいて研究開発者によって設定される。これは本願では限定されない。
【0125】
第3の閾値は、実際の要件及び実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0126】
なお、本願の別の実施形態では、基準値及び減衰係数の値は特定の運転環境、例えば、ブレーキ、加速、上り坂の走行又は下り坂の走行に基づいて適応的に調整され得る。
【0127】
加えて、上記の基準値及び減衰係数を導入するための方法は、本願における例示の方法にすぎない。特定の実施プロセスでは、より良い有益な効果を得るために、方法は実際の要件に基づいて調整又は変更され得る。これは本願では限定されない。
【0128】
S506:VP線IIIを用いることにより画像を領域に分割する。
【0129】
VP線IIIを得た後に、得られた画像は、VP線IIIの行内数量に対応し且つ得られた画像内にある行を分割線として用いることにより、第1の領域と第2の領域とに分割される。第1の領域は分割線の上の画像領域であり、第2の領域は分割線の下の画像領域である。
【0130】
S507:路面によって反射された光の干渉を取り除く。
【0131】
第1の領域内の光源と路面との距離は比較的大きいため、光源と路面との間で生じる反射光は比較的暗く、「明るさはプリセット閾値以上」という条件を満たしていない可能性が高い。しかしながら、第2の領域内の光源と路面との距離が比較的小さいため、「明るさはプリセット閾値以上」という条件を満たしている可能性がかなり高い。したがって、第2の領域内の第1の輝点によって放射され、路面によって反射された光に対して消去が行われる。
【0132】
第2の領域内の第1の輝点が選択される。第1の輝点よりも垂直方向で下の領域内にあり、左右のオフセットがプリセット距離以下の別の第1の輝点があるかどうかを検出するために、第1の輝点に対して位置分析が別途行われる。その領域に別の第1の輝点が存在する場合、別の第1の輝点を除去して第2の輝点及び第2のランプボックスのペアが得られる。フィルタリング動作の後に残った第1のランプボックスのペアが第2のランプボックスのペアであると理解されよう。加えて、プリセット距離は実際の要求及び実験データに基づいて研究開発者によって設定される。これは本願では限定されない。
【0133】
図11は、路面によって反射された光の干渉を除去することの概略図である。図中、輝点Aに対して位置分析が行われ、左オフセットと右オフセットとの間のプリセット距離は点Mから点Oまでの距離(又は点Nから点Oまでの距離)である。点Mから点Oまでの距離は点Nから点Oまでの距離と等しいことが理解されよう。路面によって反射された光の干渉を除去するために2つの解決策がある。第1の解決策は、領域Xに別の第1の輝点があるかどうかを検出することである。第2の解決策は、領域Xと領域Yとで構成されるセクタ領域内に別の第1の輝点があるかどうかを検出することである。セクタ領域は、点Pを円の中心として用い、点Pから点Mまでの距離を半径として用いて描画される領域である。セクタ領域の角度は(α+β)である。α=βであることが理解されよう。第1の解決策が用いられる場合、輝点Dは領域X内にあるため、輝点Dは除去される。第2の解決策が用いられる場合、輝点Eはセクタ領域内にあるため、輝点Eが除去される。
【0134】
S508:ヘッドライトのペア及びテールライトのペアを特定する。
【0135】
第2の領域内の第2のランプボックスのペアにおける第2の輝点に対して明るさ検出が行われ、第2の領域内の第2のランプボックスのペアにおける第2の輝点の光輪に対して色分析が行われる。第2の輝点の明るさが第1の区画内にあり、光輪の色が第2の区間内にある場合、第2のランプボックスのペアはヘッドライトのペアである。第2の輝点の明るさが第3の区間内にあり、光輪の色が第4の区間内にある場合、第2のランプボックスのペアはテールライトのペアである。
【0136】
なお、RGB色空間で得られた画像がYUV色空間の画像に変換する場合、色分析の間に成分V(赤成分)又は成分U(青成分)が主に考慮される。したがって、第2の輝点に対して明るさ検出が行われる場合、第2の輝点の各画素の成分Yの値(明るさ値)が得られるため、第2の輝点の平均明るさ値が得られる。第2の輝点に対して色分析が行われる場合、第2の輝点の各画素の成分Vの値が得られるため、第2の輝点の成分Vの平均値が得られる。平均明るさ値が第3の区間内にあり、成分Vの平均値が第4の区間内にある場合、第2のランプボックスのペアはテールライトのペアである。もちろん、成分Uの平均値を算出することにより、色の区別が代替的に行われ得る。これは本願では限定されない。
【0137】
異なる色空間の画像については、明るさ検出及び色分析を行うための方法は異なり得ることが理解されよう。上記の内容は、本願における例示の方法にすぎず、本願に対する限定と考えるべきでない。
【0138】
なお、第2のランプボックスのペアにおける2つの輝点の両方が上記の条件を満たす場合にのみ、第2のランプボックスのペアがヘッドライトのペア又はテールライトのペアであると判定できる。本願の一実施形態では、誤差値が導入されている。第2のランプボックスのペアにおける2つの輝点の明るさ情報及び色情報が誤差値の範囲内で上記の条件を満たす場合、第2のランプボックスのペアはヘッドライトのペア又はテールライトのペアであるとみなされ得る。誤差値の具体的な値は、実際の要件及び実験データに基づいて研究開発者によって設定され得ることが理解されよう。これは本願では限定されない。
【0139】
第1の区画、第2の区画、第3の区画及び第4の区画は、実際の要求及び実験データに基づいて研究開発者によって設定されていることが理解されよう。これは本願では限定されない。
【0140】
第1の領域内の第2の輝点に対して明るさ検出が行われ、第1の領域内の第2の輝点の光輪に対して色分析が行われる。第2の輝点の明るさが第5の区間内にあり、光輪の色が第6の区間内にある場合、第2の輝点は街灯である。
【0141】
S509:街灯を決定する。
【0142】
街灯を決定する方法は、ヘッドライトのペア及びテールライトのペアを決定する方法と同じである。詳細についてはここでは再度説明しない。ヘッドライトのペア及びテールライトのペアを決定することについての上記の関連内容を参照されたい。
【0143】
なお、第5の区画及び第6の区画は、実際の要件及び実験データに基づいて研究開発者によって設定される。これは本願では限定されない。
【0144】
S510:信号機を決定する。
【0145】
第1の領域にあり、明るさが第4の閾値以上の輝点が第3の輝点として選択される。第1の領域内の第3の輝点に対して明るさ検出が行われる。第1の領域内の第3の輝点の光輪に対して色分析が行われる。第3の輝点の明るさが第7の区間内にあり、光輪の色が第8の区間内にある場合、第3の輝点は信号機の赤信号である。第3の輝点の明るさが第9の区間内にあり、光輪の色が第10の区間内にある場合、第3の輝点は信号機の青信号である。第3の輝点の明るさが第11の区間内にあり、光輪の色が第12の区間内にある場合、第3の輝点は信号機の信号機の黄色である。
【0146】
信号機を決定する方法は、ヘッドライトのペア及びテールライトのペアを決定する方法と同じである。詳細についてはここでは再度説明しない。ヘッドライトのペア及びテールライトのペアを決定することについての上記の関連内容を参照されたい。
【0147】
第7の区画、第8の区画、第9の区画、第10の区画、第11の区画及び第12の区画は、実際の要件及び実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0148】
第4の閾値は、実際の要件及び実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0149】
S511:誤分類を修正する。
【0150】
光源分類プロセスで誤分類が起こり得る。例えば、バス及びトラック等の大型車両の前及び後の上及び下側のそれぞれには2つのライトがあるため、2つのライトが第1の領域にあり、2つのライトが第2の領域にあるという状況が起こり得る。これは修正する必要がある。
【0151】
第2の領域内の第2のランプボックスのペアに対して垂直分析を行って、第2のランプボックスのペアの垂直方向の上にあり、第2のランプボックスのペアからの距離が第13の区画内にあるランプボックスのペアを探す。ランプボックスのペアの明るさが第14の区画内にあり、ランプボックスのペアの光輪の色が第15の区画内にある場合、ランプボックスのペアは大型車のヘッドライトである。ランプボックスのペアの明るさが第16の間隔内にあり、光輪の色が第17の間隔内にある場合、ランプボックスのペアは大型車のテールランプである。
【0152】
第13の区画、第14の区画、第15の区画、第16の区画及び第17の区画は、実際の要件及び実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0153】
上記の明るさ検出及び色分析を行うためのプロセスは、ヘッドライトのペア及びテールライトのペアを決定する方法と同じである。詳細についてはここでは再度説明しない。ヘッドライトのペア及びテールライトのペアを決定することについての上記の関連内容を参照されたい。
【0154】
なお、S504(離れた車両のランプと自車両との距離を特定すること)はS507(路面によって反射された光の干渉を除去すること)の後に行われ得るか、S508(ヘッドライトのペア及びテールライトのペアを決定すること)、S509(街灯を決定すること)、S510(信号機を決定すること)、S511(誤分類を修正すること)の後に行われ得る。
【0155】
加えて、本願の一実施形態では、得られた元の画像に対して、画像の中央領域をROI領域として選択すること及び画像を圧縮することの動作が行われる。中央領域は、離れた車両のヘッドライトが現れ得る領域である。中央領域の形状及びサイズ等の特定のパラメータは、実験データに基づいて研究開発者によってプリセットされ得る。画像を圧縮した後に後続の操作(例えば、明るさ加重値を計算すること)を行うことで、計算量は減少し得るが、画像内の一部の詳細が失われ得る。したがって、圧縮された画像及び元の画像の中央領域画像の組み合わせに基づいて光源分類が行われる。具体的には、圧縮画像が元の画像の選択された中央領域画像と比較され、中央領域内の光源が中央領域画像に基づいて分類され、他の領域内の光源が圧縮画像に基づいて分類される。
【0156】
上記の内容は、光源分類モデルとその訓練プロセスを説明する。本願で提供されるインテリジェントライトスイッチング方法のプロセスを以下で具体的に説明する。
図12に示すように、本方法は、限定されないが、以下のステップを含む。
【0157】
S1210:画像を取得する。
【0158】
具体的には、インテリジェントライトスイッチングシステムは、ビデオカメラモジュールを用いることにより、自車両の前方のシナリオの画像をリアルタイムで取得する。画像は、限定されないが、周囲光情報と、前方車両のライト情報、道路の両側の街灯情報及び信号情報等の光源情報とを含む。
【0159】
ビデオカメラモジュールは、プリセット時間に基づいて画像をリアルタイムに取り込み得る、例えば、1/20秒毎に画像を取り込み得ることが理解されよう。
【0160】
本願の一実施形態では、ビデオカメラモジュールを用いることによりインテリジェントライトスイッチングシステムによってリアルタイムで得られる画像は3フレームの画像を含む。3フレームの画像はそれぞれ短期露光画像、中期露光画像及び長期露光画像である。短期露光画像の露光時間が最も短く、長期露光画像の露光時間が最も長く、中期露光画像の露光時間は前の2つの露光時間の中間である。
【0161】
露光時間は複数の方法で設定され得ることが理解されよう。例えば、短期露光の露光時間は10msに設定され、中期露光の露光時間は20msに設定され、長期露光の露光時間は30msに設定されるか又は短期露光の露光時間は5msに設定され、中期露光の露光時間は10msに設定され、長期露光の露光時間は20msに設定される。したがって、上記の短期露光、中期露光及び長期露光は相対的なものに過ぎない。具体的な露光時間は、実際の要件及び実験データに基づいて研究開発者によって設定され、ここでは限定されない。
【0162】
なお、光源によって示される画像の特徴は露光時間で変化する。3フレームの画像を分析のために用いるは、より多くの光源情報を得るのに役立つ。本願の別の実施形態では、代替的により多く又はより少ない画像が後続の分析のために取得され得る。
【0163】
本願の一実施形態では、インテリジェントライトスイッチングシステムによって取得される画像はRGB色空間の画像であり、これをYUV色空間の画像に変換する必要がある。
【0164】
なお、上記のRGB色空間からYUV色空間への変換は本願の一例に過ぎない。実際の場合では、別の変換方法、例えばHSI色空間への変換があり得る。
【0165】
S1220:画像に対応する周囲光の明るさ値を計算する。
【0166】
具体的には、インテリジェントライトスイッチングシステムは、取得された画像から少なくとも1つのROI領域を選択し、選択された領域の各ピクセルの明るさ値を取得し、平均明るさ値を計算し、その後に特定の重みに基づいて明るさ加重値を計算する(ここで、明るさ加重値は周囲光の明るさ値である)。選択されたROI領域のサイズ及び形状等の特定のパラメータは、画像、実際の要件及び実験データに基づいて研究開発者によってプリセットされていることが理解されよう。これは本願では限定されない。重みは実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0167】
本願の一実施形態では、中央領域及び画像全体がROI領域として選択され得る。中央領域は、離れた車両のヘッドライトが現れ得る領域である。上述したように、中央領域の形状及びサイズ等の特定のパラメータは、実験データに基づいて研究開発者によってプリセットされ得る。
【0168】
本願の一実施形態では、中央領域、上部領域及び画像全体がROI領域として選択され得る。中央領域は、離れた車両の車両ランプが現れ得る領域である。上部領域は、街灯が現れ得る領域である。上述したように、中央領域及び上部領域の形状及びサイズ等の特定のパラメータは、実験データに基づいて研究開発者によってプリセットされ得る。
【0169】
なお、YUV色空間の画像の場合、成分Yは明るさ情報を表す。したがって、画像の画素の成分Yの値を得ることは、その画素の明るさ値を得ることとみなされ得る。
【0170】
例えば、中央領域及び画像全体がROI領域として選択される。ここでは、中央領域の平均明るさ値は200として計算され、画像全体の平均明るさ値は120と計算されている。中央領域及び画像全体の特定の重みが3及び7の場合、明るさ加重値は、200×0.3+120×0.7=144と計算される。したがって、計算によって得られた明るさ加重値は144である。
【0171】
S1230:画像に含まれる光源を分類する。
【0172】
具体的には、画像が光源検出モデルに入力され、光源検出モデルに基づいて画像内の光源カテゴリが得られる。
【0173】
なお、周囲光の明るさ計算と光源分類との間には明確な時間的関係はない。実際の適用の間に、周囲光の明るさ計算が最初に行われてもいいし、光源の分類が最初に行われてもいいし、2つが同時に行われてもよい。
【0174】
S1240:画像に対応する周囲光の明るさ値及び分類結果に基づいて、ハイビーム又はロービームに切り替えるかどうかを判定する。
【0175】
具体的には、画像に対応する周囲光の明るさ値が第6の閾値以上であり、光源分類の結果がハイビームの照射距離内に確かに車両ランプがあることを示す場合、周囲光の明るさ値は干渉光源による影響を受けないと考えられ得る。この場合、ロービームに切り替えることが決定される。画像に対応する周囲光の明るさ値が第6の閾値以上であり、光源分類の結果がハイビームの照明距離内に車両ランプがないことを示す場合、周囲光の明るさ値は干渉光源による影響を受けると考えられ得る。この場合、ハイビームに切り替えることが決定される。画像に対応する周囲光の明るさ値が第6の閾値未満であり、光源の分類結果がハイビームの照明距離内に車両用ランプがないことを示す場合、ハイビームに切り替えることが決定される。画像に対応する周囲光の明るさ値が第6の閾値未満であり、光源の分類結果がハイビームの照明距離内に車両用ランプがあることを示す場合、ロービームに切り替えることが決定される。
【0176】
ハイビームの照明距離は、実際の要件及び車両用ランプのパラメータに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。加えて、ビデオカメラはリアルタイムで画像を取得し、インテリジェントライトスイッチングシステムも周囲光の明るさの計算及び光源分類をリアルタイムで行うため、光源情報とそれに対応する距離情報がリアルタイムで取得され得る。本願の一実施形態では、経時的スイッチングモードが設定され得る。光源分類の結果が、自車両のハイビームの照射距離と、光源と自車両との距離との差がプリセット区間内にあることを示す場合、ハイビームへの切り替えを遅れて行うことが決定される。プリセット区間及び遅延時間は、実際の要求に基づいて研究開発者によって設定され得ることが理解されよう。これは本願では限定されない。
【0177】
なお、インテリジェントライトスイッチングシステムは手動で有効にされ得るか又は自動的に有効にされ得る。手動有効化方法はS1240のスイッチング方法に適用可能である。ドライバーがランプを点灯する必要があると判断した場合にインテリジェントライトスイッチングシステムがトリガーされる。自動有効化方法が用いられる場合、周囲光の明るさが先ず計算され得る。明るさが第7の閾値以上の場合、この時点で自車両が存在する環境ではランプを点灯する必要がないと見なされ、その後に光源分類をもう行う必要はない。そうでない場合、光源分類が行われ、ハイビーム又はロービームに切り替えるかどうかが判定されるため、エネルギー消費を低減できる。あるいは、周囲光の明るさを計算するためのモジュールが追加で設けられる。モジュールによって得られた周囲光の明るさが第7の閾値以上の場合、インテリジェントライトスイッチングシステムを有効にする必要はないとみなされ得る。それ以外の場合は、インテリジェントライトスイッチングシステムがトリガーされる。この場合、インテリジェントライトスイッチングシステムは、S1210~S1240で説明した方法に従って、ハイビーム又はロービームへの切り替えを行い得る。第7の閾値は、実際の要件及び実験データに基づいて研究開発者によって設定されることが理解されよう。これは本願では限定されない。
【0178】
本願の実施形態における方法を上記で詳細に説明してきた。本願の実施形態における上記の解決策のより良い実施を容易にするために、以下では、それに応じて、協調的な実施のための関連装置をさらに提供する。
【0179】
図3は、本願に係るインテリジェントライトスイッチングシステムの構造の概略図である。インテリジェントライトスイッチングシステムは、
図12のインテリジェントライトスイッチング方法を行うように構成されている。インテリジェントライトスイッチングシステムの機能ユニットの分割は本願では限定されず、必要に応じてインテリジェントライトスイッチングシステム内のユニットが追加、削除又は組み合わせられ得る。加えて、インテリジェントライトスイッチングシステム内のユニットの動作及び/又は機能は、
図12で説明した方法の対応する手順を実施するためにそれぞれ用いられる。簡潔にするため、詳細についてはここでは再度説明しない。
図3は機能ユニット分割の一例を示す。
【0180】
インテリジェントライトスイッチングシステム300は、取得ユニット310、周囲光検出ユニット320、光源分類ユニット330及びスイッチングユニット340を含む。
【0181】
具体的には、取得ユニット310は、上記のステップS1210を行い、任意で上記のステップの任意の方法を行うように構成されている。
【0182】
周囲光検出ユニット320は、上記のステップS1220を行い、任意で上記のステップの任意の方法を行うように構成されている。
【0183】
光源分類ユニット330は、上記のステップS501~S511及びS1230を行い、任意で上記のステップの任意の方法を行うように構成されている。
【0184】
スイッチングユニット340は、上記のステップS1240を行い、任意で上記のステップの任意の方法を行うように構成されている。
【0185】
4つのユニットは、通信チャネルを介して相互にデータ通信を行い得る。インテリジェントライトスイッチングシステム300に含まれるユニットはソフトウェアユニット又はハードウェアユニットであり得るか又は一部のユニットはソフトウェアユニットであり、一部のユニットはハードウェアユニットであり得ることを理解すべきである。
【0186】
図13は、本願の一実施形態に係るコンピュータ装置の構造の概略図である。
図13に示すように、コンピュータ装置1300はプロセッサ1310、通信インターフェイス1320及びメモリ1330を含む。プロセッサ1310、通信インターフェイス1320及びメモリ1330は、内部バス1340を用いることにより互いに接続されている。
【0187】
コンピュータ装置1300は、
図3のインテリジェントライトスイッチングシステム300であり得る。
図3のインテリジェントライトスイッチングシステム300によって行われる機能は、インテリジェントライトスイッチングシステム300のプロセッサ1310によって実際に行われる。
【0188】
プロセッサ1310は、1つ以上の羽生プロセッサ、例えば中央処理装置(central processing unit、CPU)又はCPU及びハードウェアチップの組み合わせを含み得る。ハードウェアチップは、特定用途向け集積回路(application-specific integrated circuit、ASIC)、プログラマブルロジックデバイス(programmable logic device、PLD)又はその組み合わせである。PLDは複合プログラマブルロジックデバイス(complex programmable logic device、CPLD)、フィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)、ジェネリックアレイロジック(generic array logic、GAL)又はそれらの任意の組み合わせであり得る。
【0189】
通信インターフェイス1320は、イーサネット、無線アクセスネットワーク
(RAN)、コアネットワーク又は無線ローカルエリアネットワーク(Wireless Local Area Network、WLAN)等の別の装置又は通信ネットワークと通信するように構成されている。
【0190】
バス1340は、周辺機器相互接続(peripheral component interconnect、PCI)バス、拡張業界標準アーキテクチャ(extended industry standard architecture、EISA)バス等である。バス1340は、アドレスバス、データバス、制御バス等分類される。分かり易くするために、
図13のバスを表すために1つの太線のみを用いているが、これは1つバスしかないか又は1種類のバスしかないことを意味しない。
【0191】
メモリ1330は、揮発性メモリ(volatile memory)、例えばランダムアクセスメモリ(random
access memory、RAM)を含み得る。メモリ1330は、代替的に不揮発性メモリ(non-volatile
memory)、例えばリードオンリーメモリ(ROM)、フラッシュメモリ(flash memory)、ハードディスクドライブ(hard disk drive、HDD)又はソリッドステートドライブ(solid
state drive、SSD)を含み得る。メモリ1330は、代替的に、上記の種類のメモリの組み合わせを含み得る。メモリ1330は、インテリジェントライトスイッチング方法の上記の実施形態を実行するためのプログラムコードを記憶するように構成されている。一実施では、メモリ1330は他のデータをさらにバッファし、プロセッサ1310はデータの実行を制御して、インテリジェントライトスイッチングシステム300の機能ユニットを実施するか又は
図12に示す方法の実施形態でインテリジェントライトスイッチングシステム300によって行われる方法ステップを実施する。
【0192】
本願の実施形態は、コンピュータ読み取り可能記憶媒体をさらに提供する。コンピュータ読み取り可能記憶媒体はコンピュータプログラムを記憶する。このプログラムは、プロセッサによって実行された場合に、上記の方法の実施形態のいずれか1つで記録されたステップの一部又は全部及び
図3に示す任意の機能ユニットの機能を実施し得る。
【0193】
本願の実施形態はコンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ又はプロセッサ上で実行された場合、コンピュータ又はプロセッサは、上記の方法のいずれか1つでインテリジェントライトスイッチングシステム300によって行われる方法ステップのうちの1つ以上のステップを行う。装置内の上記のモジュールがソフトウェア機能ユニットの形で実施され、独立した製品として販売又は使用される場合、モジュールはコンピュータ読み取り可能記憶媒体に記憶され得る。
【0194】
上記の各実施形態では、実施形態の説明はそれぞれの焦点が当てられている。実施形態で詳細に説明されていない部分については、他の実施形態の関連説明を参照されたい。
【0195】
本明細書における「第1」、「第2」、「第3」、「第4」及び様々な数は、説明を容易にするための区別のために用いられているにすぎず、本願の範囲を限定するものとみなされないことを理解すべきである。
【0196】
本明細書における「及び/又は」という用語は、関連するオブジェクト間の関連関係のみを記述し、3つの関係が存在し得ることを理解すべきである。例えば、A及び/又はBは、Aのみが存在する場合、A及びBの両方が存在する場合及びBのみが存在する場合の3つの場合を表し得る。加えて、本明細書における記号「/」は、関連するオブジェクト間の「又は」の関係を概して示す。
【0197】
上記のプロセスの連続番号は、本願の実施形態における実行の順番を意味しないことを理解すべきである。プロセスを実行する順番は、プロセスの機能及び内部ロジックに従って決定されるべきであり、本願の実施形態の実施プロセスに対する限定として解釈すべきでない。
【0198】
当業者であれば、本明細書で開示した実施形態で説明した例と組み合わせて、ユニット及びアルゴリズムステップが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得ることを認識するであろう。機能がハードウェアによって行われるかソフトウェアによって行われるかは、技術解決策の特定の用途及び設計上の制約に依存する。当業者であれば、特定の用途ごとに説明した機能を実施するために異なる方法を用い得るが、その実施は本願の範囲を超えるものと考えるべきではない。
【0199】
当業者はであれば、便利で簡素な説明のために、上記のシステム、装置及びユニットの詳細な動作プロセスについては、上記の方法の実施形態における対応するプロセスを参照すべきことを明確に理解し得る。詳細については、ここでは再度説明しない。
【0200】
本願で提供されるいくつかの実施形態では、開示のシステム、装置及び方法は他の方法で実施され得ることを理解すべきである。例えば、説明した装置の実施形態は一例にすぎない。例えば、ユニットへの分割は論理ユニット分割にすぎず、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントは他のシステムに組み合わされ得るか若しくは統合され得るか又は一部の機能は無視され得るか若しくは実行されなくてもよい。加えて、表示又は説明した相互結合又は直接結合又は通信接続は、一部のインターフェイスを用いることにより実施され得る。装置又はユニット間の間接的な結合又は通信接続は、電子的、機械的又はその他の形態で実施され得る。
【0201】
別々のコンポーネントとして説明したユニットは物理的に分離されていてもなくてもよく、ユニットとして表示されるコンポーネントは物理ユニットであってもなくてもよく、1つの位置に位置し得るか又は複数のネットワークユニットに分散され得る。ユニットの一部又は全ては、実施形態の解決策の目的を実現するために、実際の要件に基づいて選択され得る。
【0202】
加えて、本願の実施形態における機能ユニットは1つの処理ユニットに統合され得るか、ユニットのそれぞれが物理的に単独で存在し得るか又は2つ以上のユニットが1つのユニットに統合される。
【0203】
機能がソフトウェア機能ユニットの形で実施され、独立した製品として販売又は用いられる場合、機能はコンピュータ読み取り可能記憶媒体に記憶され得る。このような理解に基づいて、本願の技術的解決策は本質的に又は従来の技術に寄与する部分又は技術的解決策の一部はソフトウェア製品の形態で実施され得る。コンピュータソフトウェア製品は記憶媒体に記憶され、本願の実施形態で説明した方法のステップの一部又は全てを行うよう(パーソナルコンピュータ、サーバ又はネットワーク装置であり得る)コンピュータ装置に指示するためのいくつかの命令を含む。上記の記憶媒体には、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリ(read-only memory、ROM)、ランダムアクセスメモリ(random access
memory、RAM)、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な任意の媒体を含む。
【0204】
本願の実施形態における方法のステップは、実際の要件に基づいて順次調整、組み合わせ又は削除され得る。
【0205】
本願の実施形態における装置のモジュールは、実際の要件に基づいて組み合わされ得るか、分割され得るか又は削除され得る。
【0206】
結論として、上記の実施形態は本願の技術的解決策を説明することを意図したものにすぎず、本願を限定することを意図していない。本願は、上記の実施形態を参照して詳細に説明してきたが、当業者であれば、本願の実施形態の技術的解決策の範囲から逸脱することなく、上記の実施形態で説明した技術的解決策が変更され得るか又はその一部の技術的特徴が同等に置き換えられ得ることを理解すべきである。