特許 7406886 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231221BHJP

   G06T 5/00 20060101ALI20231221BHJP

【ＦＩ】

G06T7/00 350C

G06T5/00 710

【請求項の数】 12

(21)【出願番号】P 2019143099

(22)【出願日】2019-08-02

(65)【公開番号】P2021026451

(43)【公開日】2021-02-22

【審査請求日】2022-07-29

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】松丸 美央

【審査官】合田 幸裕

(56)【参考文献】

【文献】特開２０１６－１２６７５０（ＪＰ，Ａ）

【文献】特開２０１８－１９４３４６（ＪＰ，Ａ）

【文献】特開２０１７－００５３８９（ＪＰ，Ａ）

【文献】国際公開第２０１７／０４７４９４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０００５１５２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０６５３０２４６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ５／００

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

処理対象の画像に対して、散乱光の影響の少なくとも一部を除去した補正画像を生成する画像処理装置であって、
前記処理対象の画像に対して、空領域を含むか否かを判定する判定手段と、
前記判定手段により、空領域を含まないと判定された画像に対して第１の補正処理を実行する第１の補正処理手段と、
前記判定手段により、空領域を含むと判定された画像の空領域に対して第２の補正処理を実行するとともに、当該画像の空領域以外の領域に対して前記第１の補正処理を実行する第２の補正処理手段とを有し、
前記第１の補正処理手段が実行する前記第１の補正処理は、散乱光の影響の少ない空領域のみの画像を教師データとせず、散乱光の影響の少ない空領域を含まない領域の画像を教師データとして学習したモデルを用いる処理であることを特徴とする画像処理装置。

【請求項2】

前記第１の補正処理手段は、ニューラルネットワークを有し、前記モデルに応じたパラメータが設定されていることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第２の補正処理は、画素ごとの演算処理であることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記判定手段は、前記処理対象の画像のブロックごとに、判定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。

【請求項5】

前記判定手段は、前記処理対象の画像に対して判定し、
前記処理対象の画像が空領域を含まないと判定した場合は、前記処理対象の画像は前記第１の補正処理手段による前記第１の補正処理のみが実行されることを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。

【請求項6】

前記判定手段は、前記処理対象の画像が空領域を含むと判定した場合、さらに前記処理
対象の画像は空領域のみであるか否かを判定することを特徴とする請求項５に記載の画像
処理装置。

【請求項7】

前記判定手段が空領域のみであると判定した場合は、前記処理対象の画像は前記第２の補正処理手段による前記第２の補正処理のみが実行されることを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記判定手段が、前記処理対象の画像が空領域を含むが、空領域のみではないと判定した場合は、前記処理対象の画像は、ブロックごとに前記第１の補正処理または前記第２の補正処理の何れかが実行されることを特徴とする請求項６または７に記載の画像処理装置。

【請求項9】

前記判定手段は、前記処理対象の画像を撮像した撮像装置が屋内に設置されているか屋外に設置されているかを示す情報に基づいて、空領域を含むか否かを判定することを特徴とする請求項５乃至８の何れか一項に記載の画像処理装置。

【請求項10】

前記判定手段は、前記処理対象の画像を撮像した撮像装置の撮像時の姿勢を示す姿勢情報に基づいて、前記空領域のみか否かを判定することを特徴とする請求項６乃至８の何れか一項に記載の画像処理装置。

【請求項11】

コンピュータを請求項１乃至１０の何れか１項に記載の画像処理装置として機能させるためのプログラム。

【請求項12】

処理対象の画像に対して、散乱光の影響の少なくとも一部を除去した補正画像を生成する画像処理方法であって、
判定手段が、前記処理対象の画像に対して、空領域を含むか否かを判定し、
第１の補正処理手段が、空領域を含まないと判定された画像に対しては、散乱光の影響の少ない空領域のみの画像を教師データとせず、散乱光の影響の少ない空領域を含まない領域の画像を教師データとして学習したモデルを用いる第１の補正処理を実行し、
第２の補正処理手段が、空領域を含むと判定された画像の空領域に対して第２の補正処理を実行するとともに、当該画像の空領域以外の領域に対して前記第１の補正処理を実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像における散乱光の影響を低減する画像処理技術に関する。

【背景技術】

【0002】

監視カメラなどの分野において、カメラから被写体までの間に存在する微粒子（例えば、霧や霞）の影響によってコントラストが低下し、撮像画像の画質が劣化することが問題となっている。この原因として、光が大気中を通過する際に、微粒子成分によって光が散乱することが挙げられる。このような散乱光により視認性が低下した画像に対して、散乱光による影響を除去する画像処理技術が知られている。

【0003】

特許文献１は、霧除去処理として機械学習を用いる方法について説明している。具体的には、霧画像の領域が入力されると、学習モデルは領域に対応する透過率を生成し、学習モデルによって得られた透過率を用いて霧除去画像を生成する。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許公報２０１６／０００５１５２

【発明の概要】

【発明が解決しようとする課題】

【0005】

被写体によって、霧や霞などの微粒子による影響を受けたことにより視認性の変化は異なる。例えば、テクスチャのある建物などはコントラストが低下する一方、テクスチャの少ない空領域では、色相が変化する。しかしながら上述の特許文献１による方法では、画像から透過率マップを出力するよう学習する際に、被写体によって視認性の変化の仕方が異なることを考慮しておらず、必ずしも適切な学習モデルを得られない。

【0006】

そこで本発明は、画像に対して機械学習を用いて霧霞除去処理をする際に、霧霞によってコントラストが低下する被写体について適切に学習されたモデルを用いた処理を実現することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため本願発明は、処理対象の画像に対して、散乱光の影響の少なくとも一部を除去した補正画像を生成する画像処理装置であって、前記処理対象の画像に対して、空領域を含むか否かを判定する判定手段と、前記判定手段により、空領域を含まないと判定された画像に対して第１の補正処理を実行する第１の補正処理手段と、前記判定手段により、空領域を含むと判定された画像の空領域に対して第２の補正処理を実行するとともに、当該画像の空領域以外の領域に対して前記第１の補正処理を実行する第２の補正処理手段とを有し、前記第１の補正処理手段が実行する前記第１の補正処理は、散乱光の影響の少ない空領域のみの画像を教師データとせず、散乱光の影響の少ない空領域を含まない領域の画像を教師データとして学習したモデルを用いる処理であることを特徴とする。

【発明の効果】

【0008】

本発明は、画像に対して機械学習を用いて霧霞除去処理をする際に、霧霞によってコントラストが低下する被写体について適切に学習されたモデルを用いた処理を実現できる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置のハードウェア構成を示す図

【図2】画像処理装置の詳細な機能構成を示す図

【図3】学習用画像の一例を示す図

【図4】ニューラルネットワークを説明する図

【図5】学習処理のフローチャート

【図6】霧霞除去処理のフローチャート

【図7】画像処理装置の詳細な機能構成を示す図

【図8】屋内外情報の入力用ＧＵＩを示す図

【図9】霧霞除去処理のフローチャート

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

【0011】

＜第１の実施形態＞
第１の実施形態では、画像に対して霧霞除去処理を実行する画像処理装置について説明する。なお、霧霞除去処理とは、霧や霞などの微粒子成分による散乱光の影響を受けて、コントラストが低下した画像に対して、散乱光の影響を低減する処理のことを意味する。本実施形態においては、画像のうち空領域は予め設定されたパラメータを用いて画素ごとに補正し、空領域以外の領域に対しては霧霞のない画像と霧霞のある画像との相関を学習することによって得られる学習モデルのパラメータを用いて補正する。

【0012】

図１は、本実施形態の画像処理装置１００のハードウェア構成を示すブロック図である。本実施例の画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ Ｉ／Ｆ１０４、ＨＤＤ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、システムバス１０８を有している。ＣＰＵ１０１は、以下に述べる各構成を統括的に制御するプロセッサである。ＲＡＭ１０２はＣＰＵ１０１の主メモリ、ワークエリアとして機能するメモリであり、ＲＯＭ１０３は、画像処理装置１００内での処理を司るプログラムを格納するメモリである。

【0013】

ＨＤＤ Ｉ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェースであり、二次記憶装置としてのＨＤＤ１０５をシステムバス１０８に接続する。ＣＰＵ１０１は、ＨＤＤ Ｉ／Ｆ１０４を介してＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。

【0014】

画像処理装置１００は、入力Ｉ／Ｆ１０６を介して、外部メモリ１０９および撮像部１１１に接続されている。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して、外部メモリ１０９および撮像部１１１からデータを取得することができる。出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェースである。画像処理装置１００は出力Ｉ／Ｆ１０７を介して表示部１１０と接続されている。ＣＰＵ１０１は、出力Ｉ／Ｆ１０７を介して表示部１１０に画像を出力し、出力した画像を表示部１１０に表示することができる。

【0015】

システムバス１０８は、各種データの転送経路であり、画像処理装置１００内の各構成部はシステムバス１０８を介して相互に接続されている。

【0016】

外部メモリ１０９はハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体であり、画像処理装置１００で処理された画像データなどを保存することができる。表示部１１０は、ディスプレイなどの表示装置であり、画像処理装置１００で処理された画像などを表示することができる。

【0017】

撮像部１１１は、被写体の光情報をセンサで受光し、取得した画像をデジタルデータとして出力するカメラである。撮像部１１１が撮像することで得られた撮像画像においては、霧霞などが発生したシーンなど散乱光の影響によりコントラストが低下してしまっている場合がある。本実施形態では、撮像部１１１が撮像した画像に対して霧霞除去処理を実行することで、散乱光の影響が低減された画像を生成することができる。

【0018】

図２は、本実施形態における画像処理装置１００の詳細な論理構成を示すブロック図である。画像処理装置１００は、霧霞除去処理を実行する霧霞除去処理部２００と学習用データを生成するための学習用データ生成部２０１によって構成される。

【0019】

まず、学習用データ生成部２０１について説明する。学習用データ生成部２０１は、機械学習を行う学習モデルのパラメータを最適化するための生徒データと教師データのペアである学習用データを生成する。学習モデルとは、入力された生徒データから生徒データに対応する霧霞低減画像を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータとする。本実施形態における学習モデルは、霧霞による散乱光の影響を受けた画像から霧霞による散乱光の影響を低減した画像を推定する処理を行うモデルである。生徒データは、霧霞によりコントラストが低下している画像から生成される。また、教師データは、生徒データである画像において霧霞によるコントラスト低下がなかった場合の霧霞低減画像から生成される。

【0020】

学習用データ生成２０１は、学習用画像取得部２０２、ブロック分割部２０３、領域判定部２０４、学習部２０５を有する。学習用画像取得部２０２は、同じシーンを同じ位置から同じ撮像条件により撮像した２つの画像を取得する。図３（ａ）は、学習用画像取得部２０２が取得する画像の一部を示す図である。このとき取得する２つの画像は、同じ位置から同じ風景を晴天時に撮像した晴天画像と、霧霞等が発生し散乱光による影響下で撮像した霧霞画像である。なおここでは、晴天画像と霧霞画像は同じ撮像条件（露出、画角など）で撮像されたものとする。また、晴天画像および霧霞画像はいずれもＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のプレーンからなるカラー画像である。学習用画像取得部２０２は、このような晴天画像と霧霞画像とのペアを複数、取得する。

【0021】

ブロック分割部２０３は、取得した晴天画像と霧霞画像とのペアを分割し、ブロック画像を出力する。ブロック分割部２０３は、後述するように、学習部２０４におけるニューラルネットワークの入力層のノード数に応じて、画像をブロックに分割する。ブロック分割部２０３は、分割したブロック画像のペアを順に領域判定部２０４に出力する。領域判定部２０４は、処理対象のブロックペアのうち晴天画像から抽出されたブロックに基づいて、空領域を含むか否かを判定する。領域判定部２０４は、空領域を含むと判定したブロックは学習部２０４に出力せず、空領域を含まないと判定したブロックは学習部２０５に出力する。

【0022】

学習部２０５は、ブロック分割部２０３から出力された空領域を含まないブロック画像のペアを用いて、内部に保持するニューラルネットワークのパラメータの学習を行う。

【0023】

ここでニューラルネットワークについて説明する。図４は、ニューラルネットワークを説明する図である。図４では説明を簡単にするため中間層を１層としているが、２層以上で中間層を構成することが望ましい。図４に示すニューラルネットワークでは、入力層はＭｉ個のノード（ｎ１１、ｎ１２、…、ｎ１Ｍｉ）を有し、中間層はＭｈ個のノード（ｎ２１、ｎ２２、…、ｎ２Ｍｈ）を有し、出力層（最終層）はＭｏ個のノード（ｎ３１、ｎ３２、…、ｎ３Ｍｏ）を有している。そして、各層のノードは隣接する層の全てのノードと結合しており、階層間で情報伝達を行う３層の階層型ニューラルネットワークを構成している。

【0024】

入力層に画像を入力する場合、該入力層には、入力される画素とノードとが１対１となるように、入力する画素数分のノードを設ける。また、出力層においても出力する画素数分のノードが設定されている。つまり本実施形態においては、１６画素×１６画素のブロック画像が入力され、１６画素×１６画素の画素値を出力するので、入力層および出量層におけるノードは２５６個である。データは、図４の左から右へ、即ち、入力層、中間層、出力層の順で受け渡される。入力層の各ノードは中間層のすべてのノードに接続され、ノード間の接続はそれぞれ重みを持っている。一方のノードから結合を通して他方のノードに伝達される際の出力値は、結合の重みによって増強あるいは減衰される。このような接続に定められた重み係数、バイアス値の集合は学習モデルのパラメータである。なお活性化関数については特に限定しないが、ロジスティックシグモイド関数やＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）関数などを用いれば良い。学習方法としては、種々提案されているニューラルネットワークの学習方法を適用できる。例えば、入力層に生徒データを入力してニューラルネットワークを動作させた場合に出力層から得られる出力と、該生徒データに予め対応づけられている教師データと、の差分を計算し、該差分を極小化するように、重み係数及びバイアス値を調整する。このような学習処理によって生成される重み係数及びバイアス値が、学習モデルのパラメータである。本実施形態における学習部２０５は、霧霞画像を生徒データとし、晴天画像を教師データとするため、霧霞による散乱光の影響を受けた画像から散乱の影響を低減した画像を推定する学習モデルのパラメータを生成する。

【0025】

次に、学習用データ生成部２０１における学習処理の流れを、詳細に説明する。図５は、学習処理のフローチャートである。ＣＰＵ１０１が、図５に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成（機能）が実現される。なお以下においては、フローチャートにおける各工程（ステップ）を、「Ｓ」と付して説明する。

【0026】

Ｓ５０１において学習用画像取得部２０２は、メモリ（不図示）から学習用に用意された１組の画像を取得する。上述の通りここでは、同じ位置から同じ風件を晴天時に撮像した晴天画像と、霧霞等が発生し散乱光による影響下で撮像した霧霞画像とを取得する。例えば所定の位置に設置された固定の監視カメラが撮像した画像が格納された外部のメモリから、天気予報を参照して２つの画像データを取得するようにしてもよい。この場合は、異なる複数の監視カメラが撮像した画像から、画像ペアを取得すると良い。

【0027】

Ｓ５０２においてブロック分割部２０３は、１組の画像をブロックに分割する。本実施形態においては、画像における左上から、１６画素×１６画素のブロック画像を順に抽出する。図３（ｂ）は、ブロック分割部２０３が分割するブロックを説明する図である。図３（ｂ）に示すように、タイル状に画像をブロックに分割し、１つの画像から複数のブロック画像を抽出する。ブロック分割部２０３は、晴天画像と、対応する霧霞画像とにおいて、同じ位置から抽出された２つのブロックを１つのブロックペアとして領域判定部２０４に出力する。

【0028】

Ｓ５０３において領域判定部２０４は、取得したブロック画像のペアのうち晴天画像のブロック画像が空領域を含むか否かを判定する。空領域か否かを判定する方法は、公知の技術を適用すればよい。本実施形態では、ブロックにおける各画素のＲ，Ｇ，Ｂの画素値から色相を算出し、予め設定された空の可能性が高い色相の範囲か否かを判定する。領域判定部２０４は、ブロックにおいて空領域の画素であると判定した画素の数を算出し、空領域の画素の数が所定の閾値以上であれば、ブロック画像が空領域を含むと判定し、Ｓ５０４はスキップしてＳ５０５に進む。また、空領域の画素の数が所定の閾値未満であれば、領域判定部２０４は、ブロック画像は空領域を含まないと判定してＳ５０４に進む。

【0029】

Ｓ５０４において領域判定部２０４は、空領域を含まないと判定されたブロック画像のペアのみを学習部２０５に出力する。Ｓ５０５において領域判定部２０４は、取得したブロック画像の全てに対して領域判定を行ったか否かを判定する。全てのブロック画像に対して領域判定をしていればＳ５０６に、未処理のブロック画像がある場合は、Ｓ５０３に戻る。また、Ｓ５０６において学習用画像取得部２０２は、全ての学習用画像を取得したか否かを判定する。全ての学習用画像を取得済であれば、Ｓ５０７に進み、未取得の学習用画像があればＳ５０１に戻る。

【0030】

Ｓ５０７において学習部２０５は、入力された学習用データを用いて散乱の影響を低減した画像を推定する学習モデルのパラメータを生成する。Ｓ５０８において学習部２０５は生成した学習モデルのパラメータを、後述する第１の補正部２０９に出力する。

【0031】

ここから、実際に霧霞除去を実行する霧霞除去処理部２００について説明する。まず、画像入力部２０６は、霧霞により散乱の影響を除去したい処理対象の画像を入力する。ブロック分割部２０７は、処理対象の画像をブロックごとに分割する。本実施形態においてブロック分割部２０７は、ブロック分割部２０３が抽出したブロック画像のサイズと同じサイズのブロックに分割する。領域判定部２０８は、処理対象のブロックが空領域を含むか否かを判定する。領域判定部２０８は、空領域を含まないブロックは第１の補正部２０９に、空領域を含むブロックは第２の補正部２１０に出力する。

【0032】

第１の補正部２０９は、ニューラルネットワークを備える。ここで第１の補正部２０９は、学習部２０５と同じネットワーク構造を持つ。さらにニューラルネットワークにおける各重み係数やバイアス値は、学習部２０５から出力されたパラメータに従って設定されている。つまり第２の補正部２０９は、空領域を含まない画像を用いて学習した霧霞による影響を除去するモデルに基づいて、処理対象のブロックに対して補正処理を実行する。第１の補正部２０９は、処理対象の画像から霧霞による影響を除去した、本来のコントラストの画像を推定し、補正済ブロックを出力する。

【0033】

第２の補正部２１０は、処理対象のブロックに含まれる各画素について、順に所定のアルゴリズムに従った演算処理を実行し、空領域を含むブロックの補正済ブロックを出力する。本来霧霞の影響を受けると、霧霞の影響がない場合の画像に比べてコントラストは低下することが知られている。ただし空領域は複雑なテクスチャ成分は含まれていない場合が多く、霧霞除去処理としてコントラストを拡大すると、Ｓ／Ｎ比が低下してしまう。そこで本実施形態では、第２の補正部２１０は、空領域に適した補正処理を実行する。

【0034】

出力画像生成部２１１は、第１の補正部２０９から出力されたブロック画像と、第２の補正部２１０から出力されるブロック画像とを蓄積して１枚の画像を生成し、出力する。

【0035】

霧霞除去処理部２００が実行する霧霞除去処理の流れを、詳細に説明する。図６は、霧霞除去処理のフローチャートである。ＣＰＵ１０１が、図６に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成（機能）が実現される。

【0036】

まずＳ６０１において画像入力部２０６は、処理対象の画像を入力する。ここでは学習用画像データと同様、Ｒ，Ｇ，Ｂのプレーンからなるカラー画像を処理対象の画像とする。Ｓ６０２においてブロック分割部２０３は、処理対象の画像を分割する。本実施形態においては、処理対象の画像を１６画素×１６画素のブロックに分割する。

【0037】

Ｓ６０３において領域判定部２０８は、処理対象のブロックが空領域を含むか否かを判定する。ここでは上述したＳ５０３における領域判定部２０４と同様の方法により、ブロックに対する領域判定を行う。領域判定部２０８は、ブロックが空領域を含むと判定した場合は、Ｓ６０４に進みブロック画像を第１の補正部２０９に出力する。また領域判定部２０８は、ブロックが空領域を含まないと判定した場合は、Ｓ６０５に進みブロック画像を第２の補正２１０に出力する。

【0038】

Ｓ６０５において第１の補正部２０９は、入力されたブロック画像に対して第１の補正処理を実行する。ここで第１の補正処理とは、霧霞除去画像を推定する学習モデルに基づくパラメータが設定されたニューラルネットワークによる処理のことである。この処理により、ブロック画像は、コントラストが拡大した霧霞による影響が低減された補正済ブロックに変換される。

【0039】

Ｓ６０７において第２の補正部２１０は、入力された空領域を含むブロック画像に対して第２の補正処理を実行する。本実施形態において第２の補正処理は、彩度補正処理を実行する。第２の補正部２１０は、処理対象のブロックに含まれる画素を順に注目画素とし、まず、注目画素のＲ，Ｇ，Ｂの画素値をＹＣｂＣｒ色空間に変換する。色空間の変換処理は、公知の計算式を用いて実行する。第２の補正部２０１は、Ｃｂ、Ｃｒ成分に対して所定のゲインを乗算する。

【0040】

Ｓ６０８において領域判定部２０８は、処理対象の画像においてすべてのブロックに対して判定処理を実行したか否かを判定し、未処理ブロックがある場合には、Ｓ６０３に戻る。すべてに対する判定処理が完了していれば、Ｓ６０９に進む。

【0041】

Ｓ６０９において出力画像生成部２１１は、処理対象の画像において補正済ブロックのデータを蓄積し、１つの補正画像を生成し、出力する。以上で霧霞除去処理は完了する。

【0042】

以上の通り本実施形態においては、画像のうち空領域を含まない被写体領域に対しては、教師あり学習によって得られる学習モデルを用いて散乱光による影響を低減した補正画像を生成する。一方、空領域に対しては彩度補正処理によって散乱光による影響を低減した補正画像を生成する。

【0043】

通常、散乱光による影響を受けると、空領域以外の領域においては、コントラストが低下する。そのため、散乱光による影響を除去した画像は、散乱光による影響を受けた画像よりもコントラストを拡大する補正処理であることが望ましい。そこで、コントラストが低下した画像と低下していない画像とのペアを用いて、低下していない画像を推定する学習モデルを使った補正処理は、空以外の領域に対しては好適である。しかしながら空領域においては、もともとテクスチャ成分がないため、コントラストを拡大するとノイズ成分の増大により画質が劣化してしまう場合がある。晴天画像を教師データとして教師あり学習したモデルを空領域にも適用すると、コントラストの拡大によって空領域の画質が低下してしまう。すなわち空領域に対しては、学習したモデルを用いた補正処理ではなく、空領域に適した彩度補正処理を実行することで、より良好な散乱光の影響を低減した補正画像を生成することができる。

【0044】

また、空領域における散乱光による影響と、空以外の領域における散乱光による影響とは異なる。例えば、空領域であれば、晴天の場合は青っぽく、散乱光による影響を受けると灰色っぽく撮像される。従って空領域においては、霧霞除去処理によって灰色などの無彩色は青っぽく補正されることが望ましい。一方、空以外の領域においては、建造物など被写体自身が灰色である物体もある。そのため空以外の領域においては、必ずしも霧霞画像において灰色であっても、霧霞除去処理の結果、青色に補正されることが望ましいとは限らない。そのため、晴天画像を教師データとして、霧霞画像から霧霞の影響を除去した画像を推定するモデルを学習する際には、空以外の領域の画像を用いて学習することで、空領域以外における学習モデルをより適切に習得することができる。

【0045】

＜第２の実施形態＞
第１の実施形態では、処理対象の画像に対して空領域を含むか否かを判定し、第１の補正処理と第２の補正処理を切り替える方法について説明した。本実施形態では、処理対象の画像を撮像した撮像装置が設置された位置情報および、姿勢情報を取得することで、補正処理を制御する方法について説明する。なお第１の実施形態と同一の構成については、同じ符号を付し、説明を省略する。

【0046】

本実施形態における霧霞除去処理部７００は、第１の実施形態に加えて、位置情報取得８１０、姿勢情報取得部７１１、画像判定部７１２を有する。位置情報取得部７１０は、図８に示すグラフィカルユーザーインターフェース（ＧＵＩ）をユーザに表示させ、ユーザからの入力を受け付ける。これにより位置情報取得部７１０は、撮像部１１１が屋内に設置されているか、屋外に設置されているか否かを示す屋内外情報を位置情報として取得する。

【0047】

姿勢情報取得部７１１は、処理対象画像を撮影した時の撮像部１１１の姿勢を示す情報を取得する。ここでは姿勢情報取得部７１１は、撮像部１１１から、撮像部１１１の仰角方向に関する情報を姿勢情報として取得する。すなわち、撮像部１１１には、仰角方向の角度を検出可能な角度センサ（不図示）が内蔵されており、処理対象の画像を霧霞除去処理部７００に転送する際には、角度センサの角度情報も一緒に転送する。

【0048】

画像判定部７１２は、処理対象の画像に空領域が含まれる可能性があるか否かを判定する。判定結果に応じて、処理対象の画像を、ブロック分割部２０７、第１の補正部２０９、第２の補正部２１０のいずれかに出力する。

【0049】

霧霞除去処理部７００が実行する霧霞除去処理の流れを、詳細に説明する。なお、第１の補正部２０９におけるニューラルネットワークのパラメータは、第１の実施形態と同様の学習方法により調整されたパラメータによって更新されている。図９は、霧霞除去処理のフローチャートである。

【0050】

Ｓ９０１において霧霞除去処理部７００は、処理対象の画像を取得する。Ｓ９０２において位置情報取得部７１０は、表示部１１０に図８に示す画像を表示させる。Ｓ９０３において位置情報取得部７１０は、ユーザがＧＵＩを介して屋外か屋内のいずれかを選択した結果を示す屋内外情報を取得する。

【0051】

Ｓ９０５において姿勢情報取得部７１１は、撮像部１１１から、撮像部１１１の仰角方向に関する情報を姿勢情報として取得する。なお本実施形態において姿勢情報取得部７１１は、撮像部１１１が真下の地面方向を向いている場合を－９０度とし、水平方向を０度、真上の天井や空方向を向いている場合は９０度として、仰角方向の角度を取得する。

【0052】

Ｓ９０５において画像判定部７１２は、位置情報や姿勢情報に基づいて、処理対象の画像に空領域が含まれる可能性があるか否かを判定する。ユーザ入力により、屋内が選択された場合、および屋外が選択され、かつ姿勢情報が－４５～－９０を示す場合は、処理対象の画像は空領域を含まないと判定する。これは屋外で撮像された画像であっても、撮像方向が地面や床を向いていて、空領域を含んでいる可能性が低いためである。処理対象の画像は空領域を含まないと判定すると、次に画像判定部７１２はＳ９１１に進み、処理対象の画像を第２の補正部２１０に出力する。また、屋外が選択され、かつ姿勢情報が－４５～９０度を示す場合は、空領域を含むと判定する。画像が空領域を含むと判定すると画像判定部７１２は、Ｓ９０６に進む。

【0053】

Ｓ９０６において画像判定部７１２はさらに、処理対象の画像が空領域のみか否かを判定する。本実施形態では画像判定部７１２は、カラー画像における画素値から色相を算出し、保存しておく。さらに画像判定部７１２は、各画素の色相が空と認定される範囲にある画素の数をカウントし、所定の比率、例えば９５％以上の画素が空の色相である場合には、空領域のみであると判定する。画像判定部７１２は空領域のみの画像である場合には、Ｓ９０７に進み、処理対象の画像を第１の補正部２０９に出力する。一方、空領域は含むが空領域のみではないと判定した場合には、画像判定部７１２はＳ９０９に進む。

【0054】

Ｓ９０９、Ｓ９１０については、第１実施形態におけるＳ９０２、Ｓ９０３と同様の処理である。ただし、Ｓ９０３においては、領域判定部２０８は、各画素の色相を算出せず、画像判定部７１２が算出し、記憶した各画素の色相を参照すればよい。

【0055】

Ｓ９０７において第２の補正部２１０には、空領域を含むブロック画像または、空領域のみの画像を入力される。Ｓ９０８において第２の補正部２１０は、入力された画像に対して第２の補正処理を実行する。

【0056】

Ｓ９１１において第１の補正部２１０には、空領域を含まないブロック画像または、空領域を含まない画像が入力される。Ｓ９１２において第１の補正部２０９は、入力された画像に対して、第１の補正処理を実行する。Ｓ９１３において、全ての画素に対する補正処理が完了すると、出力画像生成部２１１は、補正画像を出力する。

【0057】

以上の通り本実施形態においては、位置情報や姿勢情報に応じて、画像に対する霧霞除去処理を制御する。霧霞除去処理としては３つの方法に分類され、いずれかの方法によって画像は処理される。１つ目は、画像に対して画素ごとに演算処理を実行する補正処理を実行する方法であり、２つ目は、画像に対してニューラルネットワークを使った補正処理を実行する方法であり、３つ目は、ブロックに応じて１つ目の方法と２つ目の方法を切り替える方法である。例えば、監視カメラの場合は、一度設置されるとしばらく固定であることが多く、特に屋内に設置されている場合にはその監視カメラが撮像した画像に空領域が含まれる可能性は低い。そこで本実施形態ではまず、屋内外の情報や姿勢情報に基づいて、処理対象の画像が空領域を含むか否かを判定することとした。これにより、空領域のみ、あるいは空領域を含まない場合は、ブロック分割や領域判定処理を実行せず、それぞれの場合に適した補正処理を実行することができる。これにより、処理の負荷を軽減することができる。なお、画像判定部７１０による処理は、処理対象の画像が入力される度に実行しなくてもよい。設置位置が変更された場合や設定のリセットが実行された場合にのみ実行し、それ以外の場合には１度判定した結果を流用してもよい。

【0058】

＜その他の実施形態＞
上述の実施形態においては、晴天画像を教師データとして、霧霞画像から霧霞を低減した画像を推定するモデルを学習する場合について、説明した。しかしながら、機会学習を用いた補正処理は、他の方法もある。例えば、霧霞画像を生徒データ、霧霞画像に対応する透過率マップを教師データとして学習することで、霧霞画像から透過率マップを推定する学習モデルを学習するようにしてもよい。このような学習モデルのパラメータが設定された補正処理を実行する場合はまず、ニューラルネットワークを介して処理対象の画像に対応する透過率マップを推定する。その後、透過率マップを参照して処理対象の画像における画素ごとにコントラスト調整する処理を実行すればよい。透過率マップを用いた霧霞除去処理については、公知であるため説明を省略する。

【0059】

上述の実施形態においては、ブロックごとに空領域か否かを判定し、ブロックごとに第１または第２の補正処理を実行する形態を例に説明した。しかしながら、必ずしも矩形のブロックごとの処理ではなくても良い。例えば公知の意味的領域分割によって、空領域と空以外の領域に分割し、空領域のみを抽出した画像には第２の補正処理を、空以外の領域のみを抽出した画像に対しては第１の補正処理を実行するようにしてもよい。

【0060】

また第１実施形態の説明においては、処理対象の画像には、空領域と空以外の領域が混在していることを前提に説明した。しかしながら、画像に空領域が含まれない場合には、画像における全領域に対して第１補正処理を実行することになる。

【0061】

上述の実施形態では、晴天画像と霧霞画像とのペアを学習用画像として用いる例について説明した。しかしながら、同じ位置から同じ撮像条件において撮像した２つの画像がない場合もある。例えば、霧霞画像に対して、ダークチャンネル法などの公知の霧霞除去処理を用いて霧霞を低減した画像を生成し、教師データとしてもよい。

【0062】

また、領域の判定処理として、カラー画像における画素値から色相を算出する方法について説明したが、例えば画像に対応する距離画像を用いて空領域か否かを判定してもよい。

【0063】

なお、これまでの説明において、散乱光を発生させる要因として、霧や霧を例に挙げて説明したが、黄砂、ＰＭ２．５等の他の微粒子成分による散乱光によってコントラストが低下した画像に対しても同様に適用することができる。

【0064】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。

【符号の説明】

【0065】

２０２ 学習用画像取得部
２０３ ブロック分割部
２０４ 領域判定部
２０５ 学習部
２０６ 画像入力部
２０７ ブロック分割部
２０８ 領域判定部
２０９ 第１の補正部
２１０ 第２の補正部
２１１ 出力画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】