特許 7462360 地表を撮影した画像から影の無い画像を取得する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-28

(45)【発行日】2024-04-05

(54)【発明の名称】地表を撮影した画像から影の無い画像を取得する方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240329BHJP

   G06T 7/00 20170101ALI20240329BHJP

【ＦＩ】

G06T1/00 285

G06T7/00 640

【請求項の数】 3

(21)【出願番号】P 2023070816

(22)【出願日】2023-04-24

(62)【分割の表示】P 2021166861の分割

【原出願日】2021-10-11

(65)【公開番号】P2023093668

(43)【公開日】2023-07-04

【審査請求日】2023-04-24

(73)【特許権者】

【識別番号】518301154

【氏名又は名称】株式会社Ｒｉｄｇｅ－ｉ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(72)【発明者】

【氏名】テイ，ノエル

(72)【発明者】

【氏名】畠山 湧

(72)【発明者】

【氏名】ロフラン，モーガン

(72)【発明者】

【氏名】柳原 尚史

(72)【発明者】

【氏名】杉山 一成

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１６－０２４７４３（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６６４５６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

地表を撮影した画像から影の無い画像を取得する方法は、
前記画像に含まれる影領域のヒストグラムと影以外の領域のヒストグラムを作成する工程と、
前記影領域のヒストグラムに対する影領域の混合ガウスモデルと前記影以外の領域のヒストグラムに対する影以外の領域の混合ガウスモデルを作成する工程と、
前記影領域の混合ガウスモデルを前記影以外の混合ガウスモデルに変換する変換関数を作成する工程と、
前記影領域の画素が前記混合ガウスモデルを構成する一つ又は複数のそれぞれのガウス分布に属する確率と前記変換関数とを用いて前記影領域に含まれる各画素の画素値を決定する工程と、
前記影領域に含まれる各画素の画素値と前記影以外の領域の画素値を用いて影の無い画像を得る工程、を有する方法。

【請求項2】

地表を撮影した画像から影の無い画像を取得する方法は、
前記画像に含まれる影領域のヒストグラムと影以外の領域のヒストグラムを作成する工程と、
前記影領域のヒストグラムに対する影領域の混合ガウスモデルと前記影以外の領域のヒストグラムに対する影以外の領域の混合ガウスモデルを作成する工程と、
前記影領域の混合ガウスモデルを前記影以外の混合ガウスモデルに変換する変換関数を作成する工程と、
前記影領域の影画素が前記混合ガウスモデルを構成する一つ又は複数のそれぞれのガウス分布に属する確率、前記変換関数、及び前記影領域を構成する影画素の輝度をもとに、前記影画素のそれぞれに対して画素値を計算する工程と、
計算された前記画素値を対応する前記影画素に与えて影の無い画像を得る工程、を有する方法。

【請求項3】

前記画素値が輝度値である、請求項１又は２の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地表画像（例えば、衛星で撮影された地表面の画像）から影を除いた影の無い画像を得る方法に関する。

【背景技術】

【0002】

地球観測衛星で撮影された高ダイナミックレンジの衛星画像は、高精細な輝度諧調を有する。そのため、衛星画像は、単に地形図の作成だけでなく、そこから種々の情報を得て多種多様な用途に利用できる。ただ、日中撮影された衛星画像には多くの影部分が含まれている。特に、高層ビルが立ち並ぶ都会の衛星画像には、ビル影が多く存在する。したがって、地上の全撮影領域において精細な情報を得るためには、影を除去しなければならない。そのために、従来、衛星画像から影を除去する技術が提案されている。

【0003】

例えば、特許文献１には、異なった時刻に撮影された同一領域の２つの画像データを比較し、輝度が一致しない画素を影と判断して画像データを修正する影除去方法が開示されている。しかし、特許文献１の影除去方法は、一つの画像データからそこに含まれる影を除去する方法ではないため、同一領域に対して少なくとも２枚の画像データが必要である。また、２つの画像の同じ場所に影が存在する場合、影を除去できない。

【0004】

これに対し、非特許文献１に開示されている影の除去方法は、一枚の画像から影を除去する技術に関し、そこでは影領域と影以外の領域を区別する閾値の決定に「大津の二値化」が採用されている。しかし、例えば影領域と影以外の領域の度数分布が別々の峰となって表れる２峰性の画像にとって大津の二値化は有効な閾値判別法であるが、種々の天然の構造物と人工の構造物が入り混じる地表衛星画像の輝度分布は単純な２峰性のヒストグラムを示さない場合が多い。そのため、大津の二値化を用いて影を除去することができず、そのために有効な地表面の情報が正確に得られないことがある、という問題があった。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０００－２０６９２号公報

【非特許文献】

【0006】

【文献】"COMPARISON OF UNSUPERVISED VEGETATION CLASSIFICATION METHODS FROM VHR IMAGES AFTER SHADOWS REMOVAL BY INNOVATIVE ALGORITHMS", The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-7/W3, 2015, 36th International Symposium on Remote Sensing of Environment, 11-15 May 2015, Berlin, Germany

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述の問題を解消するため、本発明の一実施形態は、地表を撮影した画像から影の無い画像を取得する方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

これらの目的を達成するため、本発明の実施形態に係る、地表を撮影した画像から影の無い画像を取得する方法は、
地表を撮影した画像から影の無い画像を取得する方法は、
前記画像に含まれる影領域のヒストグラムと影以外の領域のヒストグラムを作成する工程と、
前記影領域のヒストグラムに対する影領域の混合ガウスモデルと前記影以外の領域のヒストグラムに対する影以外の領域の混合ガウスモデルを作成する工程と、
前記影領域の混合ガウスモデルを前記影以外の混合ガウスモデルに変換する変換関数を作成する工程と、
前記影領域の画素が前記混合ガウスモデルを構成する一つ又は複数のそれぞれのガウス分布に属する確率と前記変換関数とを用いて前記影領域に含まれる各画素の画素値を決定する工程と、
前記影領域に含まれる各画素の画素値と前記影以外の領域の画素値を用いて影の無い画像を得る工程を有する。

【発明の効果】

【0009】

この実施形態の方法によれば、地表を撮影した画像から影の無い画像が得られる。

【図面の簡単な説明】

【0010】

【図1】衛星で撮影された画像（原画像）［図１（ａ）］、図１の画像から影部分を抽出した画像［図１（ｂ）］及び図１の画像から影を除去した影無し画像［図１（ｃ）］］。

【図2】システム構成図。

【図3(a)】影検出プロセス（影マスク作成プロセス）を示す図。

【図3(b)】図３（ａ）と共に影検出プロセスを示す図。

【図3(c)】影除去プロセスを示す図。

【図4】原画像のＢＧＲ及びＮＩＲヒストグラム。

【図5】拡張・正規化前のＲヒストグラム。

【図6】拡張・正規化後のＲヒストグラム。

【図7】ＤＩＦＦヒストグラム。

【図8】動的閾値決定処理の説明図。

【図9】ノイズ除去前の影マスクを示す図。

【図10】ノイズ除去後の影マスクを示す図。

【発明を実施するための形態】

【0011】

図１参照すると、以下に説明する一連の技術は、衛星で撮影された画像（原画像）１［図１（ａ）参照］から該原画像１に含まれる影部分２を検出するプロセス（影検出プロセス）［図１（ｂ）参照］と、検出された影部分から影を除去して影の無い画像３を得るプロセス（影除去プロセス）［図１（ｃ）参照］を含む。

【0012】

［１：システム構成］
図２に示すように、影検出プロセスと影除去プロセスを実行するシステム１０は、一般的なコンピュータと同様に、制御装置１１、演算装置１２、記憶装置１３、入力装置１４及び出力装置１５を含む。システム１０が実行するプログラムとデータは記憶装置１３に記憶され、プログラムによって処理される画像データは記憶装置１３に記憶されている。制御装置１１は、記憶装置１３に記憶されているプログラムに基づいて、記憶装置１３に記憶されているデータとプログラムを読み出し、演算装置１２に処理（計算）を実行させ、その結果を記憶装置１３に記憶させる。したがって、以下に説明する数々の処理又は計算は、記憶装置１３に記憶されたプログラムにしたがって制御装置１１が演算装置１２と記憶装置１３に指令を発し、記憶装置１３から読み出されたデータ等がプログラムに基づいて演算装置１２によって処理され、その処理結果が記憶装置１３に記憶される。以下の説明で使用される画像データ及び各種パラメータは例えば入力装置１４を通じてオペレータによって入力されて記憶装置１３に記憶されており、記憶装置１３に記憶されているプログラムの要求に基づいて適宜読み出されて種々の計算に利用される。

【0013】

［２：影検出プロセス］
図３（a)（ｂ）を参照して、影検出プロセスを説明する。

【0014】

［２．１：データ取得（Ｓ１）］
システム１０の記憶装置１３には、入力装置１４を介して、商用地球観測衛星で撮影された地表面の画像データ（原画像１）が入力されて記憶される（データ取得Ｓ１）。実施形態では、衛星で撮影された画像データを用いているが、航空機、又はその他の飛行体又は浮遊体に搭載された撮像装置で撮影された画像のデータであってもよい。

【0015】

実施形態では、例えば地球観測衛星World-View-3で撮影された８バンドマルチスペクトル画像のうち、チャンネル２（Ｂｌｕｅ：波長帯４５０－５１０ｎｍ）、チャンネル３（Ｇｒｅｅｎ：波長帯５１０－５８０ｎｍ）、チャンネル５（Ｒｅｄ：６３０－６９０ｎｍ）及びチャンネル７（ＮＩＲ：７７０－８９５ｎｍ）の４つの原画像のデータ１００Ｂ，１００Ｇ，１００Ｒ及び１００ＮＩＲを使用する。以下、Ｂｌｕｅ，Ｇｒｅｅｎ及びＲｅｄを、それぞれの頭文字をとって、「Ｂ」、「Ｇ」及び「Ｒ」と表す。

【0016】

［２．２：拡張・正規化（Ｓ２）］
制御装置１１は、記憶装置１３に記憶されているプログラムにしたがって、記憶装置１３に記憶されているＢＧＲ及びＮＩＲの原画像のデータ１００Ｂ，１００Ｇ，１００Ｒ及び１００ＮＩＲを読み出し、演算装置１２に、ＢＧＲ及びＮＩＲについてそれぞれのヒストグラム（度数分布図）１０１Ｂ，１０１Ｇ，１０１Ｒ及び１０１ＮＩＲ（図４（ａ）、（ｂ）、（ｃ）、（ｄ））を作成させる。各ヒストグラム１１Ｂ，１１Ｇ，１１Ｒ及び１１ＮＩＲにおいて、横軸は画素値（輝度値）、縦軸は画素値の個数である。

【0017】

［拡張処理］
次に、制御装置１１は、記憶装置１３に記憶されているプログラムにしたがって、演算装置１２に、ＢＧＲ及びＮＩＲのヒストグラム１０１Ｂ，１０１Ｇ，１０１Ｒ及び１０１ＮＩＲをそれぞれ拡張（ストレッチ）処理させて濃度を調整する。

【0018】

拡張処理に必要なパラメータセットは、拡張する画素値（輝度値）の範囲を規定する下分位値（Qlower）及び上分位値（Qupper）と、オフセット値（Offset）のパラメータを含む。以下、一組の下分位値（Qlower）、上分位値（Qupper）及びオフセット値（Offset）を「パラメータセット」という。用意するパラメータセットは一つでもよいが、以下に説明する影検出プロセスでは、ＢＧＲとＮＩＲのそれぞれに対して複数のパラメータセットが準備される。各パラメータセットに含まれる下分位値（Qlower）、上分位値（Qupper）及びオフセット値（Offset）のうちの少なくとも一つのパラメータは、別のパラメータセットに含まれる対応するパラメータとは異なる値を有する。複数のパラメータセットは、記憶装置１３に記憶してもよいし、記憶装置１３に記憶されたパラメータセット作成プログラムに基づいて演算装置１２において適宜作成させてもよい。以下の説明では、複数のパラメータセットが記憶装置１３に記憶されている場合について説明する。

【0019】

拡張処理において、制御装置１１は、ＢＧＲとＮＩＲのそれぞれに対応する下分位値（Qlower）と上分位値（Qupper）を記憶装置１３から読み出して設定する（「パラメータ設定手段」）。下分位値（Qlower）はこれよりも小さな輝度の画素数が全画素数に対して占める割合（パーセント）、上分位値Qupperはこれよりも大きな輝度の画素数が全画素数に対して占める割合（パーセント）である。例えば、下分位値（Qlower）と上分位値（Qupper）がそれぞれ２％に設定された場合、低輝度側の２％未満の数の画素の輝度が下分位値に切り上げられ、高輝度側の２％を超える数の画素の輝度が上分位値に切り下げられる。

【0020】

制御装置１１はまた、ＢＧＲとＮＩＲのそれぞれに対応するオフセット値（Offset）を記憶装置１３から読み出し、演算装置１２において、読み出したオフセット値（Offset）に基づいてＢＧＲとＮＩＲのヒストグラムのピーク部分を横軸方向にほぼ揃えさせる。

【0021】

［正規化処理］
次に、制御装置１１は、記憶装置１３に記憶されているプログラムにしたがって、拡張されたヒストグラム（Ｂ），（Ｇ），（Ｒ）及び（ＮＩＲ）及びその画像データをそれぞれ正規化する。正規化されたＢＧＲ及びＮＩＲの画像データ１０２Ｂ、１０２Ｇ，１０２Ｒ及び１０２ＮＩＲは記憶装置１３に記憶される。

【0022】

図５は拡張前のチャンネル５（Ｒ）のヒストグラムの例を示し、図６は正規化されたチャンネル５（Ｒ)のヒストグラム１０２Ｒの例を示す。

【0023】

一般に正規化されたデータは「０」と「１」の範囲に分布するが、実施形態において正規化されたヒストグラムの下分位値は「０」からプラス側にオフセットしている。これにより、後に説明するＮＳＤＶＩ、ＮＤＶＩを計算する際に、分母が０になることが防止される。

【0024】

［２．３：ＨＳＶ変換処理工程（Ｓ３）］
制御装置１１は、記憶装置１３に記憶されたプログラムに基づいて、演算装置１２において、拡張され正規化されたＢＧＲ画像データ（ＢＧＲ色空間）をＨＳＶ画像データ（ＨＳＶ色空間）１０３に変換させる。変換されたＨＳＶ画像データは記憶装置１３に記憶される。

【0025】

［２．４：ＮＳＶＩの計算（Ｓ４）］
制御装置１１は、演算装置１２において、記憶装置１３に記憶されているＨＳＶ画像データ１０３を用いて、数式１に基づいて、各画素に対して正規化彩度明度差指標ＮＳＤＶＩ（Normalized Saturation Value Difference Index)１０４を計算させ、計算されたＮＳＤＶＩ１０４を記憶装置１３に記憶する。

【0026】

【数1】

【0027】

［２．５：ＮＤＶＩの計算（Ｓ５）］
制御装置１１は、演算装置１２において、拡張処理されて正規化されたＲ画像データとＮＩＲ画像データを用いて、数式２に基づいて、各画素に対して正規化植生指標ＮＤＶＩ（Normalized Difference Vegetation Index)１０５を計算させ、計算されたＮＤＶＩ１０５を記憶装置１３に記憶する。

【0028】

【数2】

【0029】

［２．６：ＤＩＦＦの計算（ＤＩＦＦ計算手段）（Ｓ６）］
制御装置１１は、演算装置１２において、数式３に基づいて、各画素に対してＮＳＤＶＩ１０４とＮＤＶＩ１０５の差ＤＩＦＦ１０６を計算させ、計算したＤＩＦＦ１０６を記憶装置１３に記憶させる。

【0030】

【数3】

【0031】

［２．７：動的影閾値決定処理（Ｓ７）］
次に、制御装置１１は、記憶装置１３に記憶されているプログラムに基づいて、演算装置１２において、ＤＩＦＦ１０６を用いて影領域と非影領域を区別する影閾値を計算させる。そのために、制御装置１１はまず、記憶装置１３に記憶されているＤＩＦＦ１０６を用いて、演算装置１２においてＤＩＦＦヒストグラム１０７を作成させる。

【0032】

図７は、ＤＩＦＦヒストグラム１０７の一例を示す。このＤＩＦＦヒストグラム１０７において、横軸はＤＩＦＦ、縦軸は画素数である。

【0033】

図示するＤＩＦＦヒストグラム１０７は、概略、影以外の峰部分と影の峰部分を含む。図示された影以外の峰部分は一つの峰のみを有するが、地表面の状況（高層ビルが立ち並ぶ大都市、戸建て住宅が密集する地域、森林が多い山岳部、海に隣接する臨海地域等）によっては複数の峰を含むことがある。一方、影部分は太陽の光が届かない暗い部分であるため、影の峰部分は概ね一つの峰によって構成される。

【0034】

したがって、制御装置１１は、記憶装置１３に記憶されているプログラム（例えば、勾配降下法）に基づいて、演算装置１２においてＤＩＦＦヒストグラム１０７の最大ＤＩＦＦ値（最大値）から最小ＤＩＦＦ値（最小値）（グラフの右から左）に向かって移動しながら、ＤＩＦＦヒストグラム１０７における最初の極小値、すなわち影以外の領域と影の領域の境界ＤＩＦＦ値（仮の影閾値psuedo shadow threshold）１０８’を計算させる。

【0035】

図７に示すＤＩＦＦヒストグラム１０７は比較的滑らかな形状を有するが、撮影された画像によってはＤＩＦＦヒストグラム１０７にスパイク（度数が急増している箇所）が存在することがある。そのため、影閾値を計算する前に、ＤＩＦＦヒストグラム１０７を平滑化してスパイク等の異常値を除くことが好ましい。

【0036】

一つのパラメータセットに対して以上の処理が終了すると、制御装置１１は、拡張・正規化処理（Ｓ２）に戻り、前回の影閾値決定の際に使用したパラメータセットとは異なるパラメータセットを記憶装置１３から読み出し、このパラメータセットを用いて演算装置１２において上述した拡張・正規化処理（Ｓ２）を実行させ、該拡張・正規化処理（Ｓ２）で処理された画像データを用いてＨＳＶ変換（Ｓ３）、ＮＳＶＩの計算（Ｓ４）、ＮＤＶＩの計算（Ｓ５）、ＤＩＦＦの計算（Ｓ６）及び影閾値決定処理（Ｓ７）を実行させ、変更後のパラメータセットに対して再び影閾値（仮の影閾値）１０８’を決定する。

【0037】

このとき使用するパラメータセットは、最初の拡張処理で使用した３つのパラメータ（下分位値、上分位値及びオフセット値）のうちの上分位値は同じ値を使用し、下分位値又はオフセット値若しくはそれらの両方を変更してもよいし、下分位値、上分位値又はオフセット値のいずれか一つ又は二つを選択的に変更してもよい。

【0038】

制御装置１１は、予め準備された複数のパラメータセットに対して上述の動的閾値処理を繰り返し演算装置１２に実行させ、複数の仮の影閾値１０８’を得る。図８は、上分位値を一定に維持して下分位値とオフセット値を変更したときに得られた複数のＤＩＦＦヒストグラムとそれに対して計算された影閾値（仮の影閾値）［各ヒストグラム中の縦線位置］を示す。

【0039】

［多数決ロジック］
図示するように、複数の仮の影閾値（検出値）１０８’には、適正と考えられる検出値（多数派検出値）と、不適正と考えられる検出値（少数派検出値）が含まれる。実施形態のシステム１０では、多数決ロジックを採用しており、検出された仮の影閾値を複数のクラスタ、例えば２つのクラスタ（多数派検出値と少数派検出値）に分類し、多数派検出値のクラスタに含まれる検出値の平均値を真の影閾値１０８と決定し、該真の影閾値１０８を記憶装置１３に記憶する。

【0040】

［２．８：影マスク作成処理（Ｓ８）］
制御装置１１は、演算装置１２において記憶装置１３に記憶された各画素のＤＩＦＦ値と真の影閾値１０８とを比較させ、影閾値１０８未満のＤＩＦＦ値を有する画素を影以外の領域の画素（影画素）と判断する一方、影閾値１０８以上のＤＩＦＦ値を有する画素を影領域の画素（影画素）と判断し、影画素の集合からなる影マスク１０９（図９参照）を作成してこれを記憶装置１３に記憶する。

【0041】

好ましくは、制御装置１１は、記憶装置１３に記憶されているプログラムを読み出し、演算装置１２において、影マスク１０９にＣＲＦ（conditional random field）補正を適用することによって影部分を平滑化して、ノイズの無い影マスク１１０（図１０参照）を作成させる。

【0042】

上述のように、実施形態の影マスクを作成するシステム及びプロセスは、真の影閾値を計算するために、予め準備された複数のパラメータセットを用いて複数のＤＩＦＦヒストグラムを作成し、それぞれのＤＩＦＦヒストグラムに対して最大値から最小値に向かって勾配降下法を使って極小値（仮の影閾値）を求め、求めた多数の仮の影閾値から多数決ロジックによって真の影閾値を求める。したがって、ＤＩＦＦヒストグラムに対して最小値から最大値に向かって極小値を計算した場合、多峰性を有すると考えられる影以外の領域に含まれる極小値を影閾値と誤って判断する可能性があるのに対し、実施形態によれば、影領域は単峰性を有すると考えられるため、得られた仮の影閾値に誤った影閾値が含まれる可能性が低い。また、多数決ロジックを採用しているため、最終的に得られる影閾値から誤った影閾値の影響が排除される。

【0043】

［３：影除去プロセス］
影除去プロセスの実施形態を説明する。

【0044】

［３．１：データ取得（Ｓ１０）］
制御装置１１は、記憶装置１３に記憶されているプログラムにしたがって、記憶装置１３に記憶されているＢＧＲの原画像のデータ１０Ｂ，１０Ｇ，１０Ｒを取得する。

【0045】

［３．２：影と影以外のヒストグラムの作成（Ｓ１１）］
制御装置１１は、上述の影検出プロセスによって作成された影マスクによって特定される影領域に含まれる画素のヒストグラム（横軸：画素値（輝度値）、縦軸：画素値の個数）１２１を作成する。また、制御装置１１は、ＢＧＲのそれぞれに対して、影マスクによって特定された影領域を除く影以外の領域に含まれる画素のＢＧＲヒストグラム（横軸：画素値（輝度値）、縦軸：画素値の個数）１２１Ｂ、１２１Ｇ、１２１Ｒを作成する。

【0046】

［３．３：混合ガウスモデルの作成（Ｓ１２）］
制御装置１１は、記憶装置１３に記憶されているプログラムに基づいて、影部分のヒストグラム１２１と影以外の部分のＢＧＲヒストグラム１２１Ｂ，１２１Ｇ，１２１Ｒのそれぞれに対して混合ガウスモデル１２２，１２２Ｂ，１２２Ｇ，１２２Ｒを作成する。混合するガウス分布の数Ｋは１又は２が適当であるが、それ以上の数のガウス分布を混合してモデルを作成してもよい。例えば、単峰性のヒストグラムに対してはＫ＝１、２峰性ヒストグラムに対してはＫ＝２が適当である。

【0047】

［３．４：変換関数 (transfer function)の計算（Ｓ１３）］
次に、制御装置は、ＢＧＲのそれぞれに対して、影部分の混合ガウスモデルを影部分以外の混合ガウスモデルに変換する変換関数(transfer function) ｆ_Ｂ，ｆ_Ｇ，ｆ_Ｒを求める。例えば、２つの正規分布からなる２峰性の混合ガウスモデルの場合、それぞれの正規分布に対する変換関数ｆ_１Ｂ，ｆ_２Ｂ；ｆ_１Ｇ，ｆ_２Ｇ；ｆ_１Ｒ，ｆ_２Ｒを求める。

【0048】

［３．５：確率分布の計算］
制御装置１１はまた、影部分を構成する各画素が、混合ガウスモデルを構成する一つ又は複数のガウス分布に属する確率を計算する。例えば、２つの正規分布からなる混合ガウスモデルの場合、２つの正規分布のそれぞれに属する確率ｐ_１，ｐ_２が計算される。

【0049】

［３．６：影無し画像の作成］
制御装置１１は、影部分を構成する各画素の輝度ｑ、変換関数ｆ_Ｂ，ｆ_Ｇ，ｆ_Ｒ及び確率ｐをもとに、ＢＧＲに含まれる影画素のそれぞれに対して画素値（輝度値）を計算し、計算された画素値をＢＧＲ画像の対応する画素に与えて、影の無いＢＧＲ画像を得る。例えば、２つの正規分布からなる混合ガウスモデルの場合、影部分のＢ画素に対する輝度はｐ_１・ｆ_１Ｂ（ｑ_Ｂ）＋ｐ_２・ｆ_２Ｂ（ｑ_Ｂ）として計算される。

【0050】

以上のプロセスにより得られた影の無いＢＧＲ画像を用いて、影の無いカラー画像が得られる。

【0051】

［４．その他の形態］
上述の実施形態では、動的閾値決定処理法を採用し、複数のパラメータセットを用意してそれぞれのパラメータセットに対して仮の影閾値を求め、求めた複数の仮の影閾値から真の影閾値を計算したが、一つのパラメータセットだけを用意し、そのパラメータセットを利用して求めた影閾値を真の影閾値としてもよい。

【0052】

上述の実施形態では、複数の仮の影閾値を複数のクラスタに分類し、多数派クラスタに含まれる仮の影閾値を例えば平均して真の影閾値を求めたが、得られた複数の仮の影閾値をクラスタに分類することなく例えば平均して真の影閾値としてもよい。

【0053】

上述の実施形態では、ＤＩＦＦヒストグラムに対して最大値から最小値に向かって勾配降下法を適用して最初の極小値を仮の影閾値としたが、大津の二値化を用いて仮の影閾値を求めることもできる。特に、ＤＩＦＦヒストグラムにおける影以外の領域が単峰性を有する場合、大津の二値化も有効に利用できる。

【0054】

［５．その他の開示］
本件特許出願は、地表を撮影した画像に含まれる影を除去するための影マスクを作成する新たな方法を開示する。本件特許出願はまた、大津の二値化以外の手法によって影領域と影以外の領域を閾値判別するプロセスを含む影マスクを作成する方法を開示する

【0055】

この影マスク作成方法は、
（ａ） 地表を撮影した画像のＢＧＲデータ及びＮＩＲデータを拡張し正規化する拡張・正規化工程と、
（ｂ） 拡張し正規化された前記ＢＧＲデータをＨＳＶデータに変換するデータ変換工程と、
（ｃ） 前記ＨＳＶデータをもとに、前記画像の各画素に対して数式４に基づいてＮＳＶＤＩを計算するＮＳＶＤＩ計算工程と、

【数4】

（ｄ） 拡張し正規化されたＲデータとＮＩＲデータをもとに、前記画像の各画素に対して数式５に基づいてＮＤＶＩを計算するＮＤＶＩ計算工程と、

【数5】

（ｅ） 前記画像の各画素に対して数式６に基づいてＤＩＦＦを計算するＤＩＦＦ計算工程と、

【数6】

（ｆ） 前記ＤＩＦＦの度数分布を表したＤＩＦＦヒストグラムを作成するＤＩＦＦヒストグラム作成工程と、
（ｇ） 前記ＤＩＦＦヒストグラムの度数分布から影以外の画素と影の画素とを区別する閾値を求める閾値決定工程と、
（ｈ） 前記影閾値を用いて影マスクを作成する影マスク作成工程を有する。

【0056】

この影マスク作成方法は、ＮＳＶＤＩとＮＤＶＩの差ＤＩＦＦを利用して影の画素と影以外の画素を特定する。ここで、ＮＳＶＤＩは影を検出可能なパラメータであるが、植物を影と判断する可能性がある。これに対し、ＮＤＶＩは植物を検出可能なパラメータである。そのため、本発明では、ＮＳＶＤＩとＮＤＶＩの差ＤＩＦＦを用いて、植物を影と誤認識する可能性を排除している。
したがって、上記影マスク作成方法によれば、植物を影と認識することがなく、真の影部分だけを影とする影マスクを作成できる。そのため、この方法によって作成された影マスクを利用して得られる影無し画像は、真の影を除去した画像である。

【0057】

開示された別の影マスク作成方法は、
前記拡張・正規化工程が、
パラメータ設定工程を有し、
前記パラメータ設定工程によって設定されるパラメータセットは、下分位値（Qlower）、上分位値（Qupper）及びオフセット値（Offset）を含み、
前記拡張・正規化手段は、前記下分位値（Qlower）、前記上分位値（Qupper）及び前記オフセット値（Offset）を用いて、数式７に基づいて前記ＢＧＲデータ及び前記ＮＩＲデータを正規化することを特徴とする。

【0058】

【数7】

【0059】

開示された別の影マスク作成方法は、
前記パラメータ設定工程が動的閾値決定工程を有し、
前記動的閾値決定工程は、
前記下分位値、及び前記上分位値及び前記オフセット値の少なくとも一つが異なる複数のパラメータセットを提供する工程と、
前記複数のパラメータセットに対してそれぞれ前記（ｃ）～（ｆ）を実行して複数のＤＩＦＦヒストグラムを取得する工程と、
前記複数のＤＩＦＦヒストグラムのそれぞれから仮の影閾値を得る工程と、
複数の前記仮の影閾値を用いて真の影閾値を決定する工程と、
を有することを特徴とする。

【0060】

開示された別の影マスク作成方法は、
前記複数のＤＩＦＦヒストグラムから得られた複数の仮の影閾値を複数のクラスタに分類する工程と、
多数決法に基づいて前記複数のクラスタのうちで最も多くの仮の影閾値を含むクラスタを選択する工程と、
前記選択されたクラスタから真の影閾値を決定する工程を有することを特徴とする。

【0061】

これらの影マスク作成方法によれば、動的閾値決定法に基づいて多数の仮の影閾値を求めるとともに該多数の仮の影閾値を複数のクラスタに分類し、最も多くの仮の影閾値を含むクラスタから真の影閾値を決定する。
したがって、得られる影閾値は真の影閾値を表しており、この真の影閾値を用いて得られる影マスクは信頼性の高いものとなり、またこの影マスクを用いて得られる影無し画像は真の影無し地表画像となる。

【0062】

また、これらの影マスク作成方法によって作成される影マスクは、地表画像に含まれる影を忠実に再現したものである。そのため、この影マスクを用いて作成される影無し画像は、地表の状態を忠実に表した画像である。

【符号の説明】

【0063】

１０：システム
１００Ｂ，１００Ｇ，１００Ｒ，１００ＮＩＲ：画像データ
１０１Ｂ，１０１Ｇ，１０１Ｒ，１０１ＮＩＲ：ヒストグラム
１０２Ｂ，１０２Ｇ，１０２Ｒ，１０２ＮＩＲ：正規化されたヒストグラム
１０４：ＮＳＤＶＩ
１０５：ＮＤＶＩ
１０６：ＤＩＦＦ
１０７：ＤＩＦＦヒストグラム
１０８：影閾値
１０９，１１０：影マスク

【図1】

【図2】

【図3(a)】

【図3(b)】

【図3(c)】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】