特表 2022-545962 団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-01

(54)【発明の名称】団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221025BHJP

   G01W 1/00 20060101ALI20221025BHJP

【ＦＩ】

G06T7/00 350C

G01W1/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022513667

(86)(22)【出願日】2021-05-18

(85)【翻訳文提出日】2022-02-28

(86)【国際出願番号】 CN2021094385

(87)【国際公開番号】W WO2022012149

(87)【国際公開日】2022-01-20

(31)【優先権主張番号】202010699922.1

(32)【優先日】2020-07-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ジャオ ヨンレイ

(72)【発明者】

【氏名】ジュー チョンカイ

(72)【発明者】

【氏名】ホン イージュン

(72)【発明者】

【氏名】リー ジュン

(72)【発明者】

【氏名】ウー ウェイ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096HA09

5L096HA11

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

本発明は団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品を提供し、前記方法は、目標場面の場面画像を取得するステップと、場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定するステップと、を含む。

【特許請求の範囲】

【請求項1】

目標場面の場面画像を取得するステップと、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するステップと、を含む、団霧認識方法。

【請求項2】

前記場面画像に対して特徴抽出を行い、全局特徴情報を得る前に、
前記場面画像に対して画像前処理を行い、処理済み画像を得るステップをさらに含み、
対応的に、前記場面画像に対して特徴抽出を行い、全局特徴情報を得るステップは、
前記処理済み画像に対して特徴抽出を行い、前記全局特徴情報を得るステップを含む、
請求項１に記載の方法。

【請求項3】

前記場面画像に対して画像前処理を行い、処理済み画像を得るステップは、
前記場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得るステップと、
前記サンプリング画像を正規化処理し、前記処理済み画像を得るステップと、を含む、
請求項２に記載の団霧認識方法。

【請求項4】

前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するステップは、
前記全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得るステップと、
前記全局平均特徴情報を分類し、前記団霧及び前記団霧レベルを決定するステップと、を含む、
請求項１から３のいずれか１項に記載の団霧認識方法。

【請求項5】

前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、
予め設定された団霧レベルと視程範囲との対応関係に基づき、前記団霧レベルに対応する第１視程範囲を取得するステップと、
前記第１視程範囲が予め設定された視程範囲より低い場合、前記団霧レベルに対応する第１警報情報を取得するステップと、
前記第１警報情報を出力するステップと、をさらに含む、
請求項１から４のいずれか１項に記載の団霧認識方法。

【請求項6】

前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、
前記複数のレベルと前記複数の時刻とが正の相関である場合、第２警報情報を取得するステップと、
前記目標場面内の警報注意喚起機器を取得するステップと、
前記第２警報情報を前記警報注意喚起機器に送信するステップと、をさらに含む、
請求項１から５のいずれか１項に記載の団霧認識方法。

【請求項7】

前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、
前記複数のレベルを統計し、統計結果を得るステップと、
前記統計結果に基づき、前記目標場面の団霧発生頻度を決定するステップと、をさらに含む
請求項１から５のいずれか１項に記載の団霧認識方法。

【請求項8】

目標場面の場面画像を取得するように構成される画像取得モジュールと、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るように構成される特徴抽出モジュールと、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するように構成される分類処理モジュールと、を含む、団霧認識装置。

【請求項9】

画像処理モジュールをさらに含み、
前記画像処理モジュールは、前記場面画像に対して画像前処理を行い、処理済み画像を得るように構成され、
対応的に、前記特徴抽出モジュールは、具体的には、前記処理済み画像に対して特徴抽出を行い、前記全局特徴情報を得るように構成される
請求項８に記載の団霧認識装置。

【請求項10】

前記画像処理モジュールは、具体的には、前記場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得て、前記サンプリング画像を正規化処理し、前記処理済み画像を得るように構成される
請求項９に記載の団霧認識装置。

【請求項11】

前記分類処理モジュールは、具体的には、前記全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得て、前記全局平均特徴情報を分類し、前記団霧及び前記団霧レベルを決定するように構成される
請求項８から１０のいずれか１項に記載の団霧認識装置。

【請求項12】

情報出力モジュールをさらに含み、
前記情報出力モジュールは、予め設定された団霧レベルと視程範囲との対応関係に基づき、前記団霧レベルに対応する第１視程範囲を取得し、前記第１視程範囲が予め設定された視程範囲より低い場合、前記団霧レベルに対応する第１警報情報を取得し、前記第１警報情報を出力するように構成される
請求項８から１１のいずれか１項に記載の団霧認識装置。

【請求項13】

前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、
前記情報出力モジュールは、前記複数のレベルと前記複数の時刻とが正の相関である場合、第２警報情報を取得し、前記目標場面内の警報注意喚起機器を取得し、前記第２警報情報を前記警報注意喚起機器に送信するように構成される
請求項８から１２のいずれか１項に記載の団霧認識装置。

【請求項14】

統計処理モジュールをさらに含み、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、
前記統計処理モジュールは、前記複数のレベルを統計し、統計結果を得て、前記統計結果に基づき、前記目標場面の団霧発生頻度を決定するように構成される
請求項８から１２のいずれか１項に記載の団霧認識装置。

【請求項15】

プロセッサ、メモリ及び通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶されている団霧認識プログラムを実行することにより、請求項１－７のいずれか１項に記載の団霧認識方法を実現するように構成される、電子機器。

【請求項16】

１つ又は複数のプロセッサに実行されることにより、請求項１－７のいずれか１項に記載の団霧認識方法を実現可能な１つ又は複数のプログラムが記憶されている、コンピュータ可読記憶媒体。

【請求項17】

コンピュータで実行されると、前記コンピュータに請求項１－７のいずれか１項に記載の方法を実行させるコンピュータプログラム又は命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、出願番号が２０２０１０６９９９２２．１であり、出願日が２０２０年０７月１７日であり、出願名称が「団霧認識方法及び装置、電子機器、記憶媒体」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全てが参照によって本願に組み込まれる。

【0002】

本開示はコンピュータビジョンの技術分野に関し、具体的には団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品に関する。

【背景技術】

【0003】

「団霧」は、塊状霧とも呼ばれ、局所区域の微気候環境の影響下で、大霧の中、数十メートルから百メートル程の局所範囲内に発生する視程がより低くなる霧である。団霧は、区域性が強く、予測と予報が困難であるという特徴を有し、高速道路では、団霧により視程が急変することがあり、高速道路の交通安全に深刻なリスクをもたらし、重大な交通事故を招きやすい。

【0004】

現在、光電センサ等の専用ハードウェアや、カメラを用いて団霧を認識することが可能である。高コストで、大規模な普及が困難な専用ハードウェアによる解決手段に比べて、カメラで画像情報を取得し、団霧を認識する解決手段は、より高い実現可能性を有する。

【0005】

しかしながら、カメラで団霧認識を実現する解決手段は、ダークチャネル事前確率又は手動による特徴選択等の方法が採用されることが多く、カメラで収集された画像から画像の浅層特徴を取得することは、光線やカメラ角度等の要因から影響を受けやすいため、認識効果が低い。

【発明の概要】

【0006】

本開示の実施例は、団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品を提供することを目的とする。

【0007】

本開示の実施例の技術的解決手段は以下のように実現される。

【0008】

本開示の実施例は団霧認識方法を提供する。前記団霧認識方法は、
目標場面の場面画像を取得するステップと、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するステップと、を含む。

【0009】

上記団霧認識方法では、前記場面画像に対して特徴抽出を行い、全局特徴情報を得る前に、前記方法は、
前記場面画像に対して画像前処理を行い、処理済み画像を得るステップをさらに含み、
対応的に、前記場面画像に対して特徴抽出を行い、全局特徴情報を得るステップは、
前記処理済み画像に対して特徴抽出を行い、前記全局特徴情報を得るステップを含む。

【0010】

上記団霧認識方法では、前記場面画像に対して画像前処理を行い、処理済み画像を得るステップは、
前記場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得るステップと、
前記サンプリング画像を正規化処理し、前記処理済み画像を得るステップと、を含む。

【0011】

上記団霧認識方法では、前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するステップは、
前記全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得るステップと、
前記全局平均特徴情報を分類し、前記団霧及び前記団霧レベルを決定するステップと、を含む。

【0012】

上記団霧認識方法では、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、前記方法は、
予め設定された団霧レベルと視程範囲との対応関係に基づき、前記団霧レベルに対応する第１視程範囲を取得するステップと、
前記第１視程範囲が予め設定された視程範囲より低い場合、前記団霧レベルに対応する第１警報情報を取得するステップと、
前記第１警報情報を出力するステップと、をさらに含む。

【0013】

上記団霧認識方法では、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、前記方法は、
前記複数のレベルと前記複数の時刻とが正の相関である場合、第２警報情報を取得するステップと、
前記目標場面内の警報注意喚起機器を取得するステップと、
前記第２警報情報を前記警報注意喚起機器に送信するステップと、をさらに含む。

【0014】

上記団霧認識方法では、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、前記方法は、
前記複数のレベルを統計し、統計結果を得るステップと、
前記統計結果に基づき、前記目標場面の団霧発生頻度を決定するステップと、をさらに含む。

【0015】

本開示の実施例は団霧認識装置を提供する。前記団霧認識装置は、
目標場面の場面画像を取得するように構成される画像取得モジュールと、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るように構成される特徴抽出モジュールと、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するように構成される分類処理モジュールと、を含む。

【0016】

上記団霧認識装置では、画像処理モジュールをさらに含み、
前記画像処理モジュールは、前記場面画像に対して画像前処理を行い、処理済み画像を得るように構成され、
対応的に、前記特徴抽出モジュールは、具体的には、前記処理済み画像に対して特徴抽出を行い、前記全局特徴情報を得るように構成される。

【0017】

上記団霧認識装置では、前記画像処理モジュールは、具体的には、前記場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得て、そして前記サンプリング画像を正規化処理し、前記処理済み画像を得るように構成される。

【0018】

上記団霧認識装置では、前記分類処理モジュールは、具体的には、前記全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得て、そして前記全局平均特徴情報を分類し、前記団霧及び前記団霧レベルを決定するように構成される。

【0019】

上記団霧認識装置では、情報出力モジュールをさらに含み、
前記情報出力モジュールは、予め設定された団霧レベルと視程範囲との対応関係に基づき、前記団霧レベルに対応する第１視程範囲を取得し、前記第１視程範囲が予め設定された視程範囲より低い場合、前記団霧レベルに対応する第１警報情報を取得し、そして前記第１警報情報を出力するように構成される。

【0020】

上記団霧認識装置では、情報出力モジュールをさらに含み、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、
前記情報出力モジュールは、前記複数のレベルと前記複数の時刻とが正の相関である場合、第２警報情報を取得し、前記目標場面内の警報注意喚起機器を取得し、そして前記第２警報情報を前記警報注意喚起機器に送信するように構成される。

【0021】

上記団霧認識装置では、統計処理モジュールをさらに含み、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、
前記統計処理モジュールは、前記複数のレベルを統計し、統計結果を得て、そして前記統計結果に基づき、前記目標場面の団霧発生頻度を決定するように構成される。

【0022】

本開示の実施例は電子機器を提供する。前記電子機器はプロセッサ、メモリ及び通信バスを含み、
前記通信バスは、前記プロセッサと前記メモリの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶されている団霧認識プログラムを実行することにより、上記団霧認識方法を実現するように構成される。

【0023】

本開示の実施例はコンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、１つ又は複数のプロセッサに実行されることにより上記団霧認識方法を実現可能な１つ又は複数のプログラムが記憶されている。

【0024】

本開示の実施例はコンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータで実行されると、前記コンピュータに上記団霧認識方法を実行させるコンピュータプログラム又は命令を含む。

【0025】

本開示の実施例は団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品を提供し、前記方法は、目標場面の場面画像を取得するステップと、場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定するステップと、を含む。本開示の実施例により提供される技術的解決手段は、画像の全局的な深層特徴を抽出し、団霧を表す情報の有効性を向上させ、画像内の団霧認識に無関係な情報の干渉を低減し、団霧認識の正確性が向上する。

【図面の簡単な説明】

【0026】

【図1】本開示の実施例により提供される団霧認識方法のフローチャートである。

【図2】本開示の実施例により提供される例示的な画像処理プロセスの模式図である。

【図3】本開示の実施例により提供される団霧認識装置の構成図１である。

【図4】本開示の実施例により提供される団霧認識装置の構成図２である。

【図5】本開示の実施例により提供される電子機器の構成図である。

【発明を実施するための形態】

【0027】

以上、本開示の実施例又は背景技術における技術的解決手段をより明瞭に説明するために、本開示の実施例又は背景技術に用いられる図面について説明した。

【0028】

上記図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的解決手段を説明するために用いられる。

【0029】

以下において、本開示の実施例における図面を参照しながら、本開示の実施例における技術的解決手段を明確に、完全に説明する。

【0030】

本開示の実施例は団霧認識方法を提供し、その実行本体は団霧認識装置であってもよく、団霧認識方法は、例えば、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥと略称）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡと略称）、携帯型デバイス、計算装置、車載装置、ウェアラブル装置等の端末装置又はサーバ又は他の電子機器により実行してもよい。いくつかの可能な実施形態では、該団霧認識方法はプロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。

【0031】

本開示の実施例は団霧認識方法を提供する。図１は、本開示の実施例により提供される団霧認識方法のフローチャートである。図１に示すように、団霧認識方法は主に以下のステップを含む。

【0032】

Ｓ１０１で、目標場面の場面画像を取得する。

【0033】

本開示の実施例では、団霧認識装置は目標場面の場面画像を取得できる。

【0034】

説明すべきものとして、本開示の実施例では、場面画像は団霧認識を必要とする場面、即ち目標場面に対応する画像である。団霧認識方法を高速道路監視の場面に応用する場合、場面画像は実質的に高速道路の監視画像であり、後続の団霧認識は専用ハードウェアに制限されず、大規模な応用が可能である。具体的な目標場面及び目標場面の場面画像について、本開示の実施例では限定しない。

【0035】

説明すべきものとして、本開示の実施例では、場面画像は、団霧認識装置によって収集されてもよく、独立したカメラ、サーバ又はクラウド等の装置によって取得されて、団霧認識装置に送信される画像であってもよい。具体的な場面画像の供給元について、本開示の実施例では限定しない。

【0036】

Ｓ１０２で、場面画像に対して特徴抽出を行い、全局特徴情報を得る。

【0037】

本開示の実施例では、団霧認識装置は場面画像を得た後、場面画像に対して特徴抽出を行い、場面画像内の全局特徴情報を得ることができる。

【0038】

説明すべきものとして、本開示の実施例では、団霧認識装置は、場面画像に対して特徴抽出を行い、全局特徴情報を得る前に、場面画像に対して画像前処理を行い、処理済み画像を得るステップをさらに実行してもよく、対応的に、団霧認識装置が場面画像に対して特徴抽出を行い、全局特徴情報を得るステップは、処理済み画像に対して特徴抽出を行い、全局特徴情報を得るステップを含む。

【0039】

具体的には、本開示の実施例では、団霧認識装置が場面画像に対して画像前処理を行い、処理済み画像を得るステップは、場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得るステップと、サンプリング画像を正規化処理し、処理済み画像を得るステップと、を含む。

【0040】

説明すべきものとして、本開示の実施例では、団霧認識装置が場面画像に対して画素サンプリングを行うことは、本質的には、場面画像のサイズを特定の大きさ、即ち目標サイズに改めて形成し、それによって、得られた画像をサンプリング画像とすることである。団霧認識装置は、バイリニア補間アルゴリズムを用いて場面画像の画素に対してサンプリングを行ってもよく、当然ながら、他のサンプリングアルゴリズムを用いて画素サンプリングを実現し、サンプリング画像を得てもよい。具体的な目標サイズ、及び画素サンプリングの方式は実際の必要に応じて選択でき、本開示の実施例では限定しない。

【0041】

説明すべきものとして、本開示の実施例では、団霧認識装置がサンプリング画像を正規化処理することは、本質的には、サンプリング画像内の各画素点の画素値を０－１の範囲内の値に変換することで、異なる画素点の画素値を同じ所定範囲内にマッピングすることである。

【0042】

本開示の実施例では、団霧認識装置により場面画像に対して画素サンプリング及び正規化処理を行うことで得られた処理済み画像は、サイズ及び画素の表現方式において一定の標準を満たすことができ、これにより後続の特徴抽出を容易にすることができ、特徴抽出の効率が向上することが理解される。

【0043】

説明すべきものとして、本開示の実施例では、団霧認識装置には、予め設定された深層ニューラルネットワークが記憶されている。予め設定された深層ニューラルネットワークは、画像内の全局的な深層特徴の抽出を実現でき、予め設定された深層ニューラルネットワークとして具体的には、大量のサンプル画像を用いて特徴抽出トレーニングを行うことで得られてもよく、本願の実施例ではこれを限定しない。

【0044】

説明すべきものとして、本開示の実施例では、予め設定された深層ニューラルネットワークは、特徴抽出の深度の浅い順で順次に接続される複数組の畳み込み層を含んでもよく、団霧認識装置は、複数組の畳み込み層を用いて、処理済み画像に対して複数回の反復畳み込み処理を行い、特徴画像を得て、その後、特徴画像を全局特徴情報として決定してもよい。

【0045】

図２は、本開示の実施例により提供される例示的な画像処理プロセスの模式図である。図２に示すように、予め設定された深層ニューラルネットワークは５組の畳み込み層を含み、それぞれ第１組の畳み込み層、第２組の畳み込み層、第３組の畳み込み層、第４組の畳み込み層及び第５組の畳み込み層である。そのうち、第１組の畳み込み層は、７×７サイズのフィルタを用いており、入力された２チャネルの処理済み画像を畳み込んで、６４チャネルの画像を得るとともに、画像サイズを１／２にダウンサンプリングすることができ、第２組から第５組の畳み込み層は、それぞれ１－３層の畳み込み層を含み、畳み込みカーネルのサイズは３×３であり、且つ畳み込み出力チャネルの数は順次に６４、１２８、２５６及び５１２であり、各組の畳み込み層から出力された畳み込み結果である出力画像は、処理済み画像の１／４、１／８、１／１６及び１／３２に変えることができ、処理済み画像は、５組の畳み込み層によって処理された後、画像サイズが段階的に小さくなり、チャネルが段階的に深くなり、特徴レベルがより高くなる。

【0046】

説明すべきものとして、本開示の実施例では、複数組の畳み込み層の各組は、畳み込み処理によって得られた画像を、接続先の次の組の畳み込み層に出力する前に、画像を最大プーリング、即ちダウンサンプリングを行ってもよく、具体的には、画像内の４つの画素ずつ１組とし、画素値が最大である画素だけを残し、これにより、ダウンサンプリングによって得られた画像の長さ及び幅は、実際には入力された画像の１／２となる。

【0047】

説明すべきものとして、本開示の実施例では、予め設定された深層ニューラルネットワークに含まれる畳み込み層の組数、及び各組の畳み込み層の関連パラメータ、例えば、畳み込みカーネルのサイズ等は、実際の必要に応じて設定でき、本開示の実施例では限定しない。

【0048】

本開示の実施例では、予め設定された深層ニューラルネットワークによって処理済み画像の全局特徴の抽出を実現することができ、画像の局所的な特徴を抽出する従来の解決手段に比べて、画像内の団霧情報をより効果的に表すことができ、団霧認識の正確性が向上することが理解される。

【0049】

Ｓ１０３で、全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定する。

【0050】

本開示の実施例では、団霧認識装置は、場面画像の全局特徴情報を得た後、全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定してもよい。

【0051】

具体的には、本開示の実施例では、団霧認識装置が全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定するステップは、全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得るステップと、全局平均特徴情報を分類し、団霧及び団霧レベルを決定するステップと、を含む。

【0052】

説明すべきものとして、本開示の実施例では、図２に示すように、団霧認識装置には、全局プーリング層及び予め設定された分類器が記憶されてもよく、団霧認識装置は、全局プーリング層を用いて全局特徴情報の平均プーリングを実現してもよい。全局プーリング層は予め設定された分類器に配置されてもよく、実施において、予め設定された深層ニューラルネットワークに配置されてもよく、実現する機能が変わらない。

【0053】

説明すべきものとして、本開示の実施例では、図２に示すように、予め設定された分類器は、全局平均特徴情報の分類を実現するための第１全結合層、第２全結合層及び正規化層を含んでもよい。全結合層は２つであってもよいし、当然ながら１つ又は２つ以上であってもよい。全結合層の具体的な数は、実際の必要に応じて設定でき、本開示の実施例では限定しない。

【0054】

本開示の実施例では、全局特徴情報は、実質的には、畳み込み処理によって得られた特徴画像であるため、団霧認識装置は全局プーリング層を用いて全局特徴情報に対して全局平均プーリングを行うことは、特徴画像内の各チャネルを平均化することであり、これにより、結像時の局所の光線不足により、画像内の局所区域の干渉要因による団霧認識への影響を避けることができ、団霧認識の正確性を向上可能であることが理解される。

【0055】

説明すべきものとして、本開示の実施例では、団霧認識装置は、全局平均特徴情報を分類することで、場面画像内の団霧及び団霧に対応する団霧レベルを決定してもよい。全局平均特徴情報は場面画像の平均特徴を表すものであり、団霧レベルは、実質的には、場面画像の団霧状況を表すものである。

【0056】

説明すべきものとして、本開示の実施例では、団霧認識装置は、実質的には、全局平均特徴情報に対して団霧を認識し、団霧を団霧レベル別に分類し、異なる団霧レベルの割合を得ている。図２に示すように、全局平均特徴情報は団霧レベル内のレベル３に合致する情報が最も多いため、最終的に決定した団霧レベルはレベル３である。また、団霧の有無や団霧濃度の結果を出力する従来の団霧認識の解決手段に比べて、出力される団霧レベルは視程に対応しており、団霧の程度をより明らか且つ柔軟に表すことができる。

【0057】

例示的に、本開示の実施例では、予め設定された団霧レベルと視程範囲との対応関係において、レベル１の団霧レベルに対応する視程は０－５０メートルとし、レベル２の団霧レベルに対応する視程は５０－１００メートルとし、レベル３の団霧レベルに対応する視程は１００－２００メートルとし、レベル４の団霧レベルに対応する視程は２００－５００メートルとし、レベル５の団霧レベルに対応する視程は５００－１０００メートルとし、霧なしの団霧レベルに対応する視程は１０００メートル以上とする。

【0058】

本開示の実施例では、団霧認識装置は、場面画像内の団霧及び団霧に対応する団霧レベルを決定した後に、予め設定された団霧レベルと視程範囲との対応関係に基づき、団霧レベルに対応する第１視程範囲を取得するステップと、第１視程範囲が予め設定された視程範囲より低い場合、団霧レベルに対応する第１警報情報を取得するステップと、第１警報情報を出力するステップと、をさらに実行してもよい。

【0059】

説明すべきものとして、本開示の実施例では、予め設定された団霧レベルと視程範囲との対応関係が記憶されており、異なる団霧レベルは異なる視程範囲に対応し、団霧レベルと視程範囲との具体的な対応関係は、実際の状況に応じて予め設定でき、本開示の実施例では限定しない。

【0060】

本開示の実施例では、団霧認識装置は、得た団霧レベルに応じて、予め設定された団霧レベルと視程範囲との対応関係から対応する視程範囲を探し出し、探し出した視程範囲を第１視程範囲としてもよいことが理解される。

【0061】

説明すべきものとして、本開示の実施例では、団霧認識装置には、例えば、５００メートル以上等の予め設定された視程範囲が記憶されており、団霧認識装置により取得した団霧レベルがレベル４からレベル１の間にある場合、５００メートル未満の視程を表すため、対応する警報情報を決定する必要がある。具体的な警報情報は、予め設定された団霧レベルと警報情報との対応関係に基づいて決定してもよく、本開示の実施例では限定しない。

【0062】

説明すべきものとして、本開示の実施例では、異なる団霧レベルは異なる視程に対応するため、団霧レベルに対応する視程範囲が予め設定された視程範囲より低い場合、対応する警報情報を即時に決定し、注意喚起するように警報情報を出力してもよく、団霧への対処に警報と科学的依拠を提供する。

【0063】

本開示の実施例では、場面画像は複数の時刻における複数の画像を含み、団霧レベルは複数の画像に対応する複数のレベルを含み、団霧認識装置は、場面画像内の団霧及び団霧に対応する団霧レベルを決定した後に、複数のレベルと複数の時刻とが正の相関である場合、第２警報情報を取得するステップと、目標場面内の警報注意喚起機器を取得するステップと、第２警報情報を警報注意喚起機器に送信するステップと、をさらに実行してもよい。

【0064】

本開示の実施例では、団霧認識装置は、目標場面の一定期間内の大量の画像、例えば、高速道路の１日内の複数の画像を取得してもよく、ここで得られた画像は全て場面画像であり、つまり、場面画像は複数の時刻における複数の画像を含んでもよいことが理解される。団霧認識装置は、画像ごとに団霧認識を行い、対応する団霧レベルを得てもよく、即ち複数のレベルを得る。複数のレベルが時間の経過とともに上がる場合、つまり複数のレベルと複数の時刻とが正の相関である場合、目標場面の団霧が濃くなることを表す。団霧認識装置は、目標場面内の警報注意喚起機器、例えば、車を取得し、団霧が濃くなることを知らせる第２警報情報を警報注意喚起機器に送信してもよい。

【0065】

本開示の実施例では、場面画像は複数の時刻における複数の画像を含み、団霧レベルは複数の画像に対応する複数のレベルを含み、団霧認識装置は、場面画像内の団霧及び団霧に対応する団霧レベルを決定した後に、複数のレベルを統計し、統計結果を得るステップと、統計結果に基づき、目標場面の団霧発生頻度を決定するステップと、をさらに実行してもよい。

【0066】

本開示の実施例では、団霧認識装置は、得られた複数の画像に対応する複数のレベルを統計分析しており、統計結果に基づき、目標場面の団霧発生頻度を決定してもよく、また、団霧が多発する区域及び時間帯を分析し、団霧発生の規則をまとめ、団霧予防図を生成してもよく、これにより、多発する区域及び時間帯において事前に予防し、団霧による損失を低減できることが理解される。

【0067】

本開示の実施例は団霧認識方法を提供し、目標場面の場面画像を取得するステップと、場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定するステップと、を含む。本開示の実施例により提供される団霧認識方法は、深層ニューラルネットワークを用いて画像の全局特徴を抽出し、団霧を表す情報の有効性を向上させ、画像内の団霧認識に無関係な情報の干渉を低減し、団霧認識の正確性が向上する。

【0068】

本開示の実施例は団霧認識装置を提供する。図３は、本開示の実施例により提供される団霧認識装置の構成図１である。図３に示すように、団霧認識装置は、
目標場面の場面画像を取得するように構成される画像取得モジュール２０１と、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るように構成される特徴抽出モジュール２０２と、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するように構成される分類処理モジュール２０３と、を含む。

【0069】

図４は、本願の実施例により提供される団霧認識装置の構成図２である。図４に示すように、本開示の一実施例では、前記団霧認識装置は、画像処理モジュール２０４をさらに含み、
前記画像処理モジュール２０４は、前記場面画像に対して画像前処理を行い、処理済み画像を得るように構成され、
対応的に、前記特徴抽出モジュール２０２は、具体的には、前記処理済み画像に対して特徴抽出を行い、前記全局特徴情報を得るように構成される。

【0070】

本開示の一実施例では、前記画像処理モジュール２０４は、具体的には、前記場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得て、そして前記サンプリング画像を正規化処理し、前記処理済み画像を得るように構成される。

【0071】

本開示の一実施例では、前記分類処理モジュール２０３は、具体的には、前記全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得て、そして前記全局平均特徴情報を分類し、前記団霧及び前記団霧レベルを決定するように構成される。

【0072】

本開示の一実施例では、図４に示すように、前記団霧認識装置は、情報出力モジュール２０５をさらに含み、前記情報出力モジュール２０５は、予め設定された団霧レベルと視程範囲との対応関係に基づき、前記団霧レベルに対応する第１視程範囲を取得し、前記第１視程範囲が予め設定された視程範囲より低い場合、前記団霧レベルに対応する第１警報情報を取得し、そして前記第１警報情報を出力するように構成される。

【0073】

本開示の一実施例では、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、
前記情報出力モジュール２０５は、前記複数のレベルと前記複数の時刻とが正の相関である場合、第２警報情報を取得し、前記目標場面内の警報注意喚起機器を取得し、そして前記第２警報情報を前記警報注意喚起機器に送信するように構成される。

【0074】

本開示の一実施例では、図４に示すように、前記団霧認識装置は、統計処理モジュール２０６をさらに含み、前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、
前記統計処理モジュール２０６は、前記複数のレベルを統計し、統計結果を得て、そして前記統計結果に基づき、前記目標場面の団霧発生頻度を決定するように構成される。

【0075】

本開示の実施例は団霧認識装置を提供し、前記装置は、目標場面の場面画像を取得し、場面画像に対して特徴抽出を行い、全局特徴情報を得て、そして全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定する。本開示の実施例により提供される団霧認識装置は、深層ニューラルネットワークを用いて画像の全局特徴を抽出し、団霧を表す情報の有効性を向上させ、画像内の団霧認識に無関係な情報の干渉を低減し、団霧認識の正確性が向上する。

【0076】

本開示の実施例は電子機器を提供する。図５は、本開示の実施例により提供される電子機器の構成図である。図５に示すように、電子機器は、プロセッサ３０１、メモリ３０２及び通信バス３０３を含み、
前記通信バス３０３は、前記プロセッサ３０１と前記メモリ３０２の間の接続通信を実現するように構成され、
前記プロセッサ３０１は、前記メモリ３０２に記憶されている団霧認識プログラムを実行することにより、上記団霧認識方法を実現するように構成される。

【0077】

本開示の実施例はコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、１つ又は複数のプロセッサに実行されることにより上記団霧認識方法を実現可能な１つ又は複数のプログラムが記憶されている。コンピュータ可読記憶媒体は、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭと略称）のような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、又は、例えば、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤと略称）又はソリッドステートディスク（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤと略称）のような非揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、さらに例えば、携帯電話、コンピュータ、タブレットデバイス、携帯情報端末等、上記メモリの１種又は任意の組み合わせを含む様々な機器であってもよい。

【0078】

本開示の実施例はコンピュータプログラム製品を提供し、前記コンピュータプログラム製品は、コンピュータで実行されると、前記コンピュータに上記団霧認識方法を実行させるコンピュータプログラム又は命令を含む。

【0079】

当業者であれば、本開示の実施例が方法、システム又はコンピュータプログラム製品として提供されてよいことを理解すべきである。従って、本開示は、ハードウェア実施例、ソフトウェア実施例又はソフトウェアとハードウェアを組み合わせた実施例の形態を採用してよい。また、本開示は、コンピュータに利用可能なプログラムコードを含む１つ又は複数のコンピュータに利用可能な記憶媒体（ディスクメモリや光学的メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形態を採用してよい。

【0080】

本開示は本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明している。フローチャート及び／又はブロック図におけるそれぞれのフロー及び／又はブロック、並びにフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせはコンピュータプログラム命令によって実現できることを理解すべきである。これらのコンピュータプログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブル信号処理装置のプロセッサへ提供されてもよく、それにより、コンピュータ又は他のプログラマブル信号処理装置のプロセッサによって実行される命令は、フローチャートの一つ又は複数のフロー及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能を実現する手段を創出する。

【0081】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブル信号処理装置を特定の方式で動作させるように指導可能なコンピュータ可読メモリに記憶されてもよく、それによって該コンピュータ可読メモリに記憶された命令は、フローチャートの一つ又は複数のフロー及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能を実現する命令手段を含む製品を創出する。

【0082】

これらのコンピュータプログラム命令はコンピュータ又は他のプログラマブル信号処理装置にロードすることにより、コンピュータ実行処理を生成するように、コンピュータ又は他のプログラマブル装置において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ又は他のプログラマブル装置において実行される命令は、フローチャートの一つ又は複数のフロー及び／又はブロック図の一つ又は複数のブロックにおいて指定された機能を実現するためのステップを提供する。

【0083】

以上は本開示の好適な実施例に過ぎず、本開示の保護範囲を限定するためのものではない。

【産業上の利用可能性】

【0084】

本開示の実施例は団霧認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム製品を提供し、前記方法は、目標場面の場面画像を取得するステップと、場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、全局特徴情報に対して分類処理を行い、場面画像内の団霧及び団霧に対応する団霧レベルを決定するステップと、を含む。本開示の実施例により提供される技術的解決手段は、画像の全局的な深層特徴を抽出し、団霧を表す情報の有効性を向上させ、画像内の団霧認識に無関係な情報の干渉を低減し、団霧認識の正確性が向上する。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2022-02-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

目標場面の場面画像を取得するステップと、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るステップと、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するステップと、を含む、団霧認識方法。

【請求項2】

前記場面画像に対して特徴抽出を行い、全局特徴情報を得る前に、
前記場面画像に対して画像前処理を行い、処理済み画像を得るステップをさらに含み、
対応的に、前記場面画像に対して特徴抽出を行い、全局特徴情報を得るステップは、
前記処理済み画像に対して特徴抽出を行い、前記全局特徴情報を得るステップを含む、
請求項１に記載の方法。

【請求項3】

前記場面画像に対して画像前処理を行い、処理済み画像を得るステップは、
前記場面画像に対して画素サンプリングを行い、目標サイズのサンプリング画像を得るステップと、
前記サンプリング画像を正規化処理し、前記処理済み画像を得るステップと、を含む、
請求項２に記載の団霧認識方法。

【請求項4】

前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するステップは、
前記全局特徴情報に対して平均プーリングを行い、全局平均特徴情報を得るステップと、
前記全局平均特徴情報を分類し、前記団霧及び前記団霧レベルを決定するステップと、を含む、
請求項１から３のいずれか１項に記載の団霧認識方法。

【請求項5】

前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、
予め設定された団霧レベルと視程範囲との対応関係に基づき、前記団霧レベルに対応する第１視程範囲を取得するステップと、
前記第１視程範囲が予め設定された視程範囲より低い場合、前記団霧レベルに対応する第１警報情報を取得するステップと、
前記第１警報情報を出力するステップと、をさらに含む、
請求項１から４のいずれか１項に記載の団霧認識方法。

【請求項6】

前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、
前記複数のレベルと前記複数の時刻とが正の相関である場合、第２警報情報を取得するステップと、
前記目標場面内の警報注意喚起機器を取得するステップと、
前記第２警報情報を前記警報注意喚起機器に送信するステップと、をさらに含む、
請求項１から５のいずれか１項に記載の団霧認識方法。

【請求項7】

前記場面画像は複数の時刻における複数の画像を含み、前記団霧レベルは前記複数の画像に対応する複数のレベルを含み、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定した後に、
前記複数のレベルを統計し、統計結果を得るステップと、
前記統計結果に基づき、前記目標場面の団霧発生頻度を決定するステップと、をさらに含む
請求項１から５のいずれか１項に記載の団霧認識方法。

【請求項8】

目標場面の場面画像を取得するように構成される画像取得モジュールと、
前記場面画像に対して特徴抽出を行い、全局特徴情報を得るように構成される特徴抽出モジュールと、
前記全局特徴情報に対して分類処理を行い、前記場面画像内の団霧及び前記団霧に対応する団霧レベルを決定するように構成される分類処理モジュールと、を含む、団霧認識装置。

【請求項9】

プロセッサ、メモリ及び通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶されている団霧認識プログラムを実行することにより、請求項１－７のいずれか１項に記載の団霧認識方法を実現するように構成される、電子機器。

【請求項10】

１つ又は複数のプロセッサに、請求項１－７のいずれか１項に記載の団霧認識方法を実行させる１つ又は複数のプログラムが記憶されている、コンピュータ可読記憶媒体。

【請求項11】

コンピュータに請求項１－７のいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【国際調査報告】