特開 2024-87736 悪天候時における任意のカメラに実装できる目標識別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024087736

(43)【公開日】2024-07-01

(54)【発明の名称】悪天候時における任意のカメラに実装できる目標識別システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240624BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】有

【請求項の数】6

【出願形態】書面

(21)【出願番号】P 2022212912

(22)【出願日】2022-12-19

(71)【出願人】

【識別番号】523010731

【氏名又は名称】徐▲イク▼▲テイ▼

(72)【発明者】

【氏名】徐▲イク▼▲テイ▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA02

5L096BA04

5L096BA05

5L096CA04

5L096EA12

5L096GA40

5L096HA11

(57)【要約】

【課題】霧、煤煙、雨等のヘイズのある画像、動画、実環境からリアルタイムで霧を除去して目標の認識精度を向上する方法及びシステムを提供する。
【解決手段】既存のダークチャネルによるヘイズの除去アルゴリズムと既存のＹＯＬＯ目標識別システムを融合した。つまり、ＹＯＬＯの目標認識系で処理される各フレームの前段へ、ダークチャネル概念を適用した画像処理系を埋め込んだことにある。すなわち本システムは、動画像の各フレーム毎に環境光と透過率を算出してＤＣＰ概念を適用したヘイズ除去プロセスを構築すると共に、その画像処理系を目標認識系の枠組内（ＹＯＬＯ）へ実装した。それゆえにヘイズ除去能力を改善しつつ、ＧＰＵで画像、動画、カメラから取った実環境のヘイズ除去と目標識別の処理時間を大幅に短縮することが可能となった。
【選択図】図１

【特許請求の範囲】

【請求項1】

ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合した方法と、その処理手段０１と、融合したシステム

【請求項2】

ダークチャネルによる画像のヘイズ除去するアルゴリズム２０１を使用した画像ヘイズ除去系２００と目標認識系を融合した方法と、その処理ステップ。

【請求項3】

前記画像ヘイズ除去系を利用した動画ヘイズ除去系３００と、その処理ステップと、動画ヘイズ除去系３００と目標認識系を融合した方法と、その処理ステップ。

【請求項4】

前記画像ヘイズ除去系を利用して、カメラでヘイズ実環境を読み取てヘイズ除去系４００と、その処理ステップと、カメラでヘイズ実環境を読み取てヘイズ除去系と目標認識系を融合した方法と、その処理ステップ。

【請求項5】

ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合したシステムをＧＰＵで処理する方法。

【請求項6】

ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合したシステムを任意のカメラに実装する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理と目標識別に関するものである。

【背景技術】

【0002】

自動運転、監視カメラ、などの分野に対して、カメラで目標を識別することは大事です。しかし、カメラ系の弱みとして、雨，霧，煤煙等を含むいわゆるヘイズ環境下における画質の劣化と、それに伴う物体認識精度の低下が知られている。目標識別システムは沢山あるが、ヘイズを除去する機能が備わっていない。例として、非特許文献３に記載したＹＯＬＯという目標識別システムではＧＰＵで画像と動画の中の目標及びカメラで識別している実環境の目標を識別できるから処理時間が早いである。しかし、ヘイズを除去する機能が備わっていないから、霧、煤煙、雨等の悪天候下における物体を識別する時、識別精度の低下が発生する。この問題を解決するために、画像、動画、カメラで認識している実環境のヘイズを除去する必要がある。

【0003】

従来、非特許文献２に記載した大気モデル（非特許文献１）に基づく霧、煤煙、雨等の悪天候で撮影する画像をヘイズ除去する方法がある。しかし、この方法ではヘイズの動画が処理できず、この問題を解決するために、特許文献１に記載した、動画を処理する方法がある。しかし、特許文献１に記載した、ＣＰＵで動画の各フレームの平均処理時間が０．５３秒であり、リアルタイム処理で実現することが難しいで、目標識別機能も備わっていない。そして、この方法は動画の処理方法から任意のカメラに実装することが難しいである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２―１６８９３６号明細書

【非特許文献】

【0005】

【非特許文献1】Ｎａｒａｓｉｍｈａｎ Ｓ．Ｇ．，Ｎａｙａｒ Ｓ．Ｋ．“Ｒｅｍｏｖｉｎｇ ｗｅａｔｈｅｒ ｅｆｆｅｃｔｓ ｆｒｏｍ ｍｏｎｏｃｈｒｏｍｅ ｉｍａｇｅｓ”Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．１８６－１９３，２００１．

【非特許文献2】Ｋ．Ｈｅ，ｅｔ ａｌ．“Ｓｉｎｇｌｅ ｉｍａｇｅ ｈａｚｅ ｒｅｍｏｖａｌ ｕｓｉｎｇ ｄａｒｋ ｃｈａｎｎｅｌ ｐｒｉｏｒ”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．３３，Ｎｏ．１２，ｐｐ．２３４１－２３５３，２０１１．

【非特許文献3】Ｒｅｄｍｏｎ，Ｊ．ｅｔ ａｌ．“Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ：Ｕｎｉｆｉｅｄ，ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ”Ｐｒｏｃ．ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．７７９－７８８，２０１６．

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１における大気モデルに基づいて霧の天候のビデオを明瞭化させる処理方法では、ＣＰＵで処理するから処理時間が遅い、動画の各フレームの平均処理時間が０．５３秒である。そして、画像の霧除去と任意のカメラで識別している実の霧環境の処理ができない。

【0007】

非特許文献２に記載した霧の画像を処理する方法では動画の処理と任意のカメラで識別している実の霧環境の処理ができない。

【0008】

非特許文献３に記載した目標を認識する方法では、ヘイズを除去する機能がないから、雨、霧、煤煙等を含む、いわゆるヘイズ環境下における画質の劣化とそれに伴う物体認識する場合、識別する精度が低下になる。

【0009】

そこで、本発明ではＧＰＵで動画の各フレームをヘイズを除去して、各フレームの中の目標を識別する平均処理時間が合計０．０２秒である。そして、本発明では、動画のヘイズ処理のみならず、ヘイズ環境下で撮影する画像、或いは、任意のカメラで識別している実環境のヘイズに対し、リアルタイムでヘイズを除去して、目標識別精度を向上することを目的とする。

【課題を解決するための手段】

【0010】

特許文献１の発明と本発明とは、以下の点で相違する。即ち、
特許文献１の発明のシングルフレーム霧除去アルゴリズムは、大気モデルに基づく霧除去明瞭化処理専用アルゴリズムである。動画の霧を除去する場合、ＣＰＵで処理するから時間に対して、遅いである。本発明では、大気散乱モデルに基づくシングルフレーム霧除去アルゴリズムを非特許文献３ＹＯＬＯ目標識別システムに導入して、霧除去機能がある新しい目標識別システムになる。この目標識別システムでは、動画のシングルフレームを霧を除去する場合、ＧＰＵで処理でき、処理時間が大幅に短縮した。さらに、特許文献１の発明ができない目標識別機能と任意のカメラで識別している実の霧環境を処理機能も備える。

【発明の効果】

【0011】

本発明に係る目標識別システム及び処理方法は、ヘイズ除去環境に対して設計されたものであり、従来の動画処理装置と違い、画像の処理もでき、任意のカメラに実装できる。かつ、ＧＰＵで処理することで処理時間が大幅に短縮した。よって、本発明は、従来の大気モデルに基づくシングルフレーム画像霧除去明瞭化方法をビデオに応用すると速度が遅くなるとの問題を克服し、ビデオに応用するのみならず、任意のカメラに実装できる。さらに、本発明は、目標を識別することができるため、特に自動運転、カメラ監視、工業ロボット、冷蔵庫のセンサー分野に適用される。

【図面の簡単な説明】

【0012】

【図1】本発明の全体的の構造を示す構成図である。

【図2】本発明の画像処理系の構造を示す構成図である。

【図3】本発明の動画処理系の構造を示す構成図である。

【図4】本発明の任意のカメラでヘイズの実環境を読み取ったヘイズを除去する系の構造を示す構成図である。

【図5】（ａ）、（ｂ）は、実施例１として、従来の技術と本発明を利用してそれぞれ画像処理を行った効果の比較図である。

【図6】（ａ）、（ｂ）は、実施例２として、従来の技術と本発明を利用してそれぞれ動画処理を行った効果の比較図である。

【図7】（ａ）、（ｂ）は、実施例３として、従来の技術と本発明を利用してそれぞれ任意のカメラでヘイズの実環境を読み取ったヘイズを除去する効果の比較図である。霧、煤煙等の天候の実環境が珍しいから代わりに霧の画像（左ウィンドウ）で代替する。右ウィンドウはカメラで、霧の実環境をリアルタイムで認識している結果である。従来の技術の結果（ａ）では、霧の画像の中の右の人しか識別できないが本発明の結果（ｂ）では、左の人も識別できた。

【図8】非特許文献１に記載した大気モデルである。

【発明を実施するための形態】

【0013】

以下添付した図面を参照しながら本発明の実施形態を詳細に説明する。

【0014】

まず、非特許文献１に記載した大気モデルを基づくヘイズ環境下の画像モデルを図８および式（１）に示す。ｘは画素を表す変数であり定義域は画像範囲全体である。カメラ画像Ｉ（ｘ）（ヘイズ環境下の画像）を目標物（オブジェクト）からの直接光Ｊ（ｘ）（ヘイズの影響を含まない理想状態の画像）と周囲の環境光Ａ（ヘイズの影響を含めた大気光）を重畳した情報であると考える。Ｉ、Ｊ、ＡはそれぞれＲＧＢ値を持つ。またｔ（ｘ）は透過率と呼ばれるパラメータでありヘイズ環境の特徴量である。式（１）から，Ａとｔ（ｘ）が既知であればＩ（ｘ）からＪ（ｘ）を逆算できることが分かる．

【数1】

【0015】

ダークチャネルを以下式（２）のように定義する：

【数2】

【0016】

各ｘに対して、Ｉ（ｘ）のＲ、Ｇ、Ｂチャネルから明度値最小のチャネルを選択し、そのチャネル上でｘ近傍（Ω（ｘ））における明度の最小値をＩ^ＤＣ（ｘ）と定める。この値はヘイズの影響量を表現していると考えることができる（数値小＝影響小）。すなわちヘイズの影響が無い直接光へ適用すると式（３）が得られる：

【数3】

【0017】

式（１）と（３）から式（４）を得る：

【数4】

【0018】

式（４）を基にして透過率ｔ（ｘ）が式（５）で表される：

【数5】

【0019】

また図８において，環境光Ａは直接光Ｊ（ｘ）全体へ一様に重畳されるものとしている．ここでは原画像の全チャネルからＩ（ｘ）の最大値を抽出することで，その推定値Ａ_０と設定する．式（５）を式（１）へ代入することでＪ（ｘ）を得る：

【数6】

【0020】

上述の処理により画像のヘイズを除去できるが動画のヘイズと任意のカメラで認識しているヘイズの実環境を処理することが難しい。

【0021】

上述の問題に鑑み、本発明は、上述の画像のヘイズを除去する過程をアルゴリズムに変更して図２の２０１部分になる。そして、２０１部分を非特許文献３に記載したＹＯＬＯ目標識別システムと融合すると本発明のヘイズを除去できる目標識別システムになる。具体的な構造は図１に示す。

【0022】

図１に示すように、本発明のヘイズ除去目標識別システムは、入力データの種類判断系１００、ダークチャネルに基づく画像ヘイズ除去系２００、動画ヘイズ除去系３００、カメラでヘイズ実環境を読み取てヘイズ除去系４００、目標識別系５００を含む。

【0023】

入力データの種類判断系１００は入力するデータの種類による、次のステップを遷移する。入力データは画像の場合、ダークチャネルに基づく画像ヘイズ除去系２００に遷移する。入力データは動画の場合、動画ヘイズ除去系３００に遷移する。カメラの使用を請求する場合、カメラでヘイズ実環境を読み取てヘイズ除去系４００に遷移する。

【0024】

次に、各ステップにおける処理を詳細に説明する。

【0025】

２００ではダークチャネルに基づく画像のヘイズを除去する。具体的には、まず、２０２では「数２」により、Ｒ、Ｇ、Ｂチャネルから明度値最小のチャネルを選択し、２０３では「数３」によりそのチャネル上でｘ近傍（Ω（ｘ））における明度の最小値をダークチャネルと定める。２０４、２０５では、「数４」により環境光の値Ａを計算し、２０６では、「数５」を「数１」へ代入する直接光Ｊ（ｘ）全体へ一様に重畳されるものとしている。ここでは原画像の全チャネルからＩ（ｘ）の最大値を抽出することで、その推定値Ａ_０と設定し、ヘイズのない画像Ｊを得ることができる。２０７では、得た画像Ｊの色を修正し、２０８で画像を正規化する。

【0026】

正規化したヘイズのない画像を目標識別系に遷移し、結果は図５の（ａ）になる。従来の目標識別技術図５の（ｂ）より、画像のヘイズを除去したから識別精度を向上した。

【0027】

３００では、動画のヘイズを除去する系である。具体的には、３０１では、入力動画のフレームごとに分割する。３０２、３０３では、分割したフレームを単精度浮動小数点型に変更し、２０１に遷移する。そして、目標の識別を行う、識別したら出力する。入力動画の最後フレームである場合、終了する。入力動画の最後フレームではないと判断した場合、ステップ３０２に遷移する

【0028】

４００では、カメラでヘイズ実環境を読み取てヘイズ除去系である。具体的には、４０１では、カメラから実環境を認識する。４０２、４０３では、認識した環境の各フレームを単精度浮動小数点型に変更し、２０１に遷移する。そして、目標の識別を行う、識別したら出力する。キーボードＱを押したら終了する。しないとステップ４０２からに返す。

【0029】

５００では、目標識別系である。具体的には、非特許文献３に参照すること。次に、表１に基づき、図２に示す本発明に係るヘイズ除去目標識別システムの処理速度を説明する。

【0030】

【表1】

【0031】

表１に記載した結果はＡＭＤ Ｒｙｚｅｎ３．２０ ＧＨｚ ＮＶＩＤＩＡ ＲＴＸ３０７０で６００×４００のシングル画像に対する処理時間である。

【0032】

本発明のヘイズ除去目標識別システムは、非特許文献３ＹＯＬＯに基づく改良したヘイズ除去システムである。ＹＯＬＯでは、ｐｙｔｏｒｃｈという深層学習フレームワークのＧＰＵバージョンを使用すれば、ＧＰＵで目標の識別を行うから本発明のヘイズ除去目標識別システムはＧＰＵで処理できる。この原因で処理時間が大幅に短縮した。ニーズに応じて、ＧＰＵがあるプログラミング可能な汎用コンピュータ、ＧＰＵがある専用集積回路で本発明を実行できる。

【0033】

また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。

【0034】

（付記１）
ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合した方法とその処理手段０１

【0035】

（付記２）
ダークチャネルによる画像のヘイズ除去するアルゴリズム２０１を利用して動画ヘイズ除去系３００とその処理ステップ。動画ヘイズ除去系３００と目標認識系５００を融合した方法とその処理ステップ。

【0036】

（付記３）
画像ヘイズ除去系２００と目標認識系５００を融合した方法とその処理ステップ。

【0037】

（付記４）
ダークチャネルによる画像のヘイズ除去するアルゴリズム２０１を利用してカメラでヘイズ実環境を読み取てヘイズ除去系４００とその処理ステップ。カメラでヘイズ実環境を読み取てヘイズ除去系４００と目標認識系５００を融合した方法とその処理ステップ。

【0038】

（付記５）
ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合したシステムをＧＰＵで処理する方法。

【0039】

（付記６）
ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合したシステムを任意のカメラに実装する方法。

【0040】

（付記７）
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術範囲に属する。

【産業上の利用可能性】

【0041】

本発明は、任意のカメラに実装できるから、自動運転、工業ロボット、カメラ監視、冷蔵庫センサの分野に応用できる。

【符号の説明】

【0042】

０１ ダークチャネルによる画像のヘイズ除去するアルゴリズムとＹＯＬＯ目標システムを融合した処理手段
２００ 画像ヘイズ除去系
２０１ ダークチャネルによる画像のヘイズ除去するアルゴリズム
３００ 動画ヘイズ除去系
４００ カメラでヘイズ実環境を読み取てヘイズ除去系
５００ 目標認識系

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】