特許第5663685号(P5663685)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000009
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000010
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000011
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000012
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000013
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000014
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000015
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000016
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000017
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000018
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000019
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000020
  • 5663685-林相解析装置、林相解析方法及びプログラム 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5663685
(24)【登録日】2014年12月12日
(45)【発行日】2015年2月4日
(54)【発明の名称】林相解析装置、林相解析方法及びプログラム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20150115BHJP
   G06T 7/40 20060101ALI20150115BHJP
【FI】
   G06T1/00 285
   G06T7/40 A
【請求項の数】13
【全頁数】20
(21)【出願番号】特願2014-49391(P2014-49391)
(22)【出願日】2014年3月12日
(65)【公開番号】特開2014-199660(P2014-199660A)
(43)【公開日】2014年10月23日
【審査請求日】2014年3月12日
(31)【優先権主張番号】特願2013-52962(P2013-52962)
(32)【優先日】2013年3月15日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】110000154
【氏名又は名称】特許業務法人はるか国際特許事務所
(72)【発明者】
【氏名】島村 秀樹
(72)【発明者】
【氏名】朱 林
(72)【発明者】
【氏名】チャタクリ スバス
【審査官】 新井 則和
(56)【参考文献】
【文献】 特開2006−285310(JP,A)
【文献】 特開平04−307668(JP,A)
【文献】 特開2001−357380(JP,A)
【文献】 特開2010−086276(JP,A)
【文献】 長沼靖雄 外1名,ハイパースペクトルによる植生マッピング技術,FUJITSU Vol.62 No.6,日本,富士通株式会社,2011年11月10日,第62巻 第6号,p.753-758
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−7/60
(57)【特許請求の範囲】
【請求項1】
森林を含む対象地域を上空から撮影した原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させ森林の日向と日陰の画素値のばらつきを平滑化した劣化画像を生成する画像劣化手段と、
前記劣化画像を、1又は複数種類の区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画手段と、
隣接する林相区画を1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画手段と、
を有し、
前記1又は複数種類の区画用特徴量は、前記劣化画像の画素又は前記林相区画のスペクトル特徴量、幾何特徴量、及びテクスチャ特徴量の何れか1つもしくは複数の組み合わせであり、
前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行うこと、 を特徴とする林相解析装置。
【請求項2】
請求項1に記載の林相解析装置において、
前記初期区画手段は、前記劣化画像を、その画素値の前記スペクトル特徴量の類似性に基づいて複数領域に分割し林相区画し、
前記後続区画手段は、隣接する林相区画をそれらの前記スペクトル特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力し、
さらに前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の画素値のスペクトル特徴量、又は前記原画像及び前記劣化画像それぞれの画素値のスペクトル特徴量に基づいて行うこと、
を特徴とする林相解析装置。
【請求項3】
請求項2に記載の林相解析装置において、
前記初期区画手段又は前記後続区画手段は、前記林相区画の生成を前記スペクトル特徴量の類似性と当該林相区画についての前記幾何特徴量の類似性とに基づいて行うこと、を特徴とする林相解析装置。
【請求項4】
請求項1から請求項3のいずれか1つに記載の林相解析装置において、
前記原画像からテクスチャ情報を抽出するテクスチャ情報抽出手段と、
前記後続区画手段から出力される前記各林相区画について、前記テクスチャ情報に基づいて林相を判別する林相区分決定手段と、
を有することを特徴とする林相解析装置。
【請求項5】
請求項4に記載の林相解析装置において、
前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段を有し、
前記林相区分決定手段は、前記テクスチャ情報及び前記スペクトル情報に基づいて前記林相を判別すること、
を特徴とする林相解析装置。
【請求項6】
請求項4又は請求項5に記載の林相解析装置において、
前記テクスチャ情報抽出手段は、前記原画像を二値化処理して日向と日陰とが区別された日向/日陰分布パターンを前記テクスチャ情報として抽出すること、を特徴とする林相解析装置。
【請求項7】
請求項5に記載の林相解析装置において、
前記テクスチャ情報抽出手段は、前記原画像を二値化処理して日向と日陰とが区別された日向/日陰分布パターンを前記テクスチャ情報として抽出し、
前記スペクトル情報抽出手段は、前記日向/日陰分布パターンに基づいて前記原画像の日向領域のみから前記スペクトル情報を抽出すること、
を特徴とする林相解析装置。
【請求項8】
請求項4から請求項7のいずれか1つに記載の林相解析装置において、
前記テクスチャ情報抽出手段は、前記原画像における輝度勾配を二値化処理して日向と日陰との境界領域が現れた日向/日陰境界パターンを前記テクスチャ情報として抽出すること、を特徴とする林相解析装置。
【請求項9】
請求項4から請求項8のいずれか1つに記載の林相解析装置において、
前記テクスチャ情報抽出手段は、前記原画像から局所二値パターン演算子を用いて得られるLBP画像を前記テクスチャ情報として抽出すること、を特徴とする林相解析装置。
【請求項10】
請求項1から請求項3のいずれか1つに記載の林相解析装置において、
前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段と、
前記後続区画手段から出力される前記各林相区画について、前記スペクトル情報に基づいて林相を判別する林相区分決定手段と、
を有することを特徴とする林相解析装置。
【請求項11】
請求項5又は請求項10に記載の林相解析装置において、
前記原画像は、複数の波長帯を観測したマルチスペクトル画像であり、
前記スペクトル情報抽出手段は、前記原画像の各画素における前記各波長帯の成分を、当該画素における全ての前記波長帯の成分の和で正規化し、正規化後の画像から前記スペクトル情報を抽出すること、
を特徴とする林相解析装置。
【請求項12】
森林を含む対象地域を上空から撮影した原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させ森林の日向と日陰の画素値のばらつきを平滑化した劣化画像を生成する画像劣化ステップと、
前記劣化画像を、1又は複数種類の区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画ステップと、
隣接する林相区画を1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画ステップと、
を有し、
前記1又は複数種類の区画用特徴量は、前記劣化画像の画素又は前記林相区画のスペクトル特徴量、幾何特徴量、及びテクスチャ特徴量の何れか1つもしくは複数の組み合わせであり、
前記後続区画ステップは少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行うこと、
を特徴とする林相解析方法。
【請求項13】
コンピュータに、森林を含む対象地域における林相解析を行わせるためのプログラムであって、当該コンピュータを、
森林を含む対象地域を上空から撮影した原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させ森林の日向と日陰の画素値のばらつきを平滑化した劣化画像を生成する画像劣化手段、
前記劣化画像を、1又は複数種類の区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画手段、及び、
隣接する林相区画を1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画手段、
として機能させ、
前記1又は複数種類の区画用特徴量は、前記劣化画像の画素又は前記林相区画のスペクトル特徴量、幾何特徴量、及びテクスチャ特徴量の何れか1つもしくは複数の組み合わせであり、
前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行うこと、 を特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、上空から撮影した画像から森林の林相区分を抽出する林相解析装置、林相解析方法及びプログラムに関する。
【背景技術】
【0002】
航空機などによる上空からのリモートセンシングは、広範囲での地上の状況把握が可能であり、森林の林相区分図の作成に利用されている。
【0003】
上空からの高分解能画像データを利用した林相区分図の作成は従来、基本的に人間が実体視鏡やデジタル図化機等を用いて目視判読で行っている。しかしながら、広範囲にわたる林相判読は膨大な時間を要するため、より効率的な林相解析手法が求められている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−46837号公報
【特許文献2】特開2011−24471号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
オブジェクトベース画像解析による林相区分図の自動生成に関する研究が、近年数多く見受けられるようになっている。これらの研究では、森林を撮影した高分解能の衛星画像や航空写真を用い、当該画像の領域分割によって得られた画像オブジェクトに対し、画像分類を行って林相区分・樹種分類図を作成する。
【0006】
ここで、画像オブジェクトとは、類似した特徴を持つ小領域であり、森林のリモートセンシング画像においては、林相によって区分された森林領域である林相区画(forest type object)である。つまり、上述のような航空写真などのリモートセンシング画像を対象としたオブジェクトベース(object-based)画像解析による林相区分・樹種分類は、林相区画を基本処理単位として行われる。したがって、林相区画を適切に生成することは林相区分・樹種分類を正確に行う上での前提条件となる。
【0007】
画像領域分割手法を利用した林相区画の生成は、画像のスペクトル情報をベースとして行われる。しかしながら、森林の画像における異なる林分間の特徴の違いはそれほど顕著でなく、一方、同じ林分内でも日向領域と日陰領域の違いにより画像の特徴のばらつきが大きい。また、使用する画像データの撮影状況(撮影時期、バンド数など)も領域分割処理の結果に影響を与える。そのため、画像領域分割により林相区画を適切に生成することは容易ではないという問題があった。
【0008】
また、画像領域分割に基づいたオブジェクトベースの画像解析に画像のテクスチャ情報を用いて林相区分の自動判読を行うことは提案されているものの、どのようなテクスチャ情報が林相分類に有効なのかはまだ明らかではなく、正確な林相分類が難しく誤分類率が高いという問題があった。
【0009】
本発明は上記問題点を解決するためになされたものであり、航空写真等の高分解能の画像から林相の区画を抽出したり分類したりする解析を高精度で自動的に行うことを可能とする林相解析装置、林相解析方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
(1)本発明に係る林相解析装置は、森林を含む対象地域を上空から撮影した原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させた劣化画像を生成する画像劣化手段と、前記劣化画像を、1又は複数種類の区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画手段と、隣接する林相区画を1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画手段と、を有し、前記1又は複数種類の区画用特徴量は、前記劣化画像の画素又は前記林相区画のスペクトル特徴量、幾何特徴量、及びテクスチャ特徴量の何れか1つもしくは複数の組み合わせであり、前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行う。
【0011】
(2)上記(1)に記載する林相解析装置において、前記初期区画手段は、前記劣化画像を、その画素値の前記スペクトル特徴量の類似性に基づいて複数領域に分割し林相区画を生成し、前記後続区画手段は、隣接する林相区画をそれらの前記スペクトル特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力し、さらに前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の画素値のスペクトル特徴量、又は前記原画像及び前記劣化画像それぞれの画素値のスペクトル特徴量に基づいて行う。
【0012】
(3)上記(2)に記載する林相解析装置において、前記初期区画手段又は前記後続区画手段は、前記林相区画の生成を前記スペクトル特徴量の類似性と当該林相区画についての前記幾何特徴量の類似性とに基づいて行うようにしてもよい。
【0013】
(4)上記(1)から(3)に記載する林相解析装置において、さらに、前記原画像からテクスチャ情報を抽出するテクスチャ情報抽出手段と、前記後続区画手段から出力される前記各林相区画について、前記テクスチャ情報に基づいて林相を判別する林相区分手段と、を備えた構成とすることができる。
【0014】
(5)上記(4)に記載する林相解析装置において、前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段を備え、前記林相区分手段は、前記テクスチャ情報及び前記スペクトル情報に基づいて前記林相を判別するようにしてもよい。
【0015】
(6)上記(4)又は(5)に記載する林相解析装置において、前記テクスチャ情報抽出手段は、前記原画像を二値化処理して日向と日陰とが区別された日向/日陰分布パターンを前記テクスチャ情報として抽出する構成とすることができる。
【0016】
(7)上記(5)に記載する林相解析装置において、前記テクスチャ情報抽出手段は、前記原画像を二値化処理して日向と日陰とが区別された日向/日陰分布パターンを前記テクスチャ情報として抽出し、前記スペクトル情報抽出手段は、前記日向/日陰分布パターンに基づいて前記原画像の日向領域のみから前記スペクトル情報を抽出する構成とすることができる。
【0017】
(8)上記(4)から(7)に記載する林相解析装置において、前記テクスチャ情報抽出手段は、前記原画像における輝度勾配を二値化処理して日向と日陰との境界領域が現れた日向/日陰境界パターンを前記テクスチャ情報として抽出する構成とすることができる。
【0018】
(9)上記(4)から(8)に記載する林相解析装置において、前記テクスチャ情報抽出手段は、前記原画像から局所二値パターン演算子を用いて得られるLBP画像を前記テクスチャ情報として抽出する構成とすることができる。
【0019】
(10)上記(1)から(3)に記載する林相解析装置において、さらに、前記原画像からスペクトル情報を抽出するスペクトル情報抽出手段と、前記後続区画手段から出力される前記各林相区画について、前記スペクトル情報に基づいて林相を判別する林相区分手段と、を備えた構成とすることができる。
【0020】
(11)上記(5)又は(10)に記載する林相解析装置において、前記原画像は、複数の波長帯を観測したマルチスペクトル画像であり、前記スペクトル情報抽出手段は、前記原画像の各画素における前記各波長帯の成分を、当該画素における全ての前記波長帯の成分の和で正規化し、正規化後の画像から前記スペクトル情報を抽出する構成とすることができる。
【0021】
(12)本発明に係る林相解析方法は、森林を含む対象地域を上空から撮影した原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させた劣化画像を生成する画像劣化ステップと、前記劣化画像を、1又は複数種類の区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画ステップと、隣接する林相区画を1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画ステップと、を有し、前記1又は複数種類の区画用特徴量は、前記劣化画像の画素又は前記林相区画のスペクトル特徴量、幾何特徴量、及びテクスチャ特徴量の何れか1つもしくは複数の組み合わせであり、前記後続区画ステップは少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行う。
【0022】
(13)本発明に係るプログラムは、コンピュータに、森林を含む対象地域における林相解析を行わせるためのプログラムであって、当該コンピュータを、森林を含む対象地域を上空から撮影した原画像から、当該原画像の隣接する複数画素からなる領域を画素として分解能を低下させた劣化画像を生成する画像劣化手段、前記劣化画像を、1又は複数種類の区画用特徴量の類似性に基づいて複数領域に分割し林相区画を生成する初期区画手段、及び、隣接する林相区画を1又は複数種類の前記区画用特徴量の類似性に基づいて結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行い、前記対象地域における前記森林の林相区画を出力する後続区画手段、として機能させ、前記1又は複数種類の区画用特徴量は、前記劣化画像の画素又は前記林相区画のスペクトル特徴量、幾何特徴量、及びテクスチャ特徴量の何れか1つもしくは複数の組み合わせであり、前記後続区画手段は少なくとも1回の前記逐次区画処理を前記原画像の前記区画用特徴量、又は前記原画像及び前記劣化画像それぞれの前記区画用特徴量に基づいて行う。
【発明の効果】
【0023】
本発明によれば、航空写真等の高分解能の画像から林相の区画を抽出したり分類したりする解析を高精度で自動的に行うことが可能となる。
【図面の簡単な説明】
【0024】
図1】本発明の第1の実施形態である林相解析システムの概略の構成を示すブロック図である。
図2】日向/日陰分布パターンの例を示す説明図である。
図3】日向/日陰境界パターンの例を示す説明図である。
図4】LBP画像の例を示す説明図である。
図5】正規化処理前のオルソ画像の例を示す画像である。
図6図5の画像を正規化処理して得られた画像である。
図7】本発明の実施形態である林相解析システムの概略の処理フロー図である。
図8】階層的な領域分割処理の最初の階層にて低分解能画像から生成された林相区画の例を示す画像である。
図9】階層的な領域分割処理の途中階層にて生成された林相区画の例を示す画像である。
図10図9に示す階層より後の階層にて生成された林相区画の例を示す画像である。
図11】最尤法を利用した画像分類による従来の自動判別手法での林相の分類結果の例を示す画像である。
図12】本発明の実施形態である林相解析システムによる林相区分図の例を示す画像である。
図13】本発明の第2の実施形態である林相解析システムの概略の構成を示すブロック図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
【0026】
[第1の実施形態]
図1は、第1の実施形態である林相解析システム2の概略の構成を示すブロック図である。本システムは、演算処理装置4、記憶装置6、入力装置8及び出力装置10を含んで構成される。演算処理装置4として、本システムの処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置4は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。
【0027】
演算処理装置4は、コンピュータのCPU(Central Processing Unit)からなり、後述する林相区画生成部20、テクスチャ解析部22、スペクトル解析部24、林相区分決定部26として機能する。
【0028】
記憶装置6はROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置である。記憶装置6は演算処理装置4にて実行される各種のプログラムや、本システムの処理に必要な各種データを記憶し、演算処理装置4との間でこれらの情報を入出力する。例えば、記憶装置6には、オルソ画像データ30、林相区画に関するスペクトル条件32及び幾何条件34、並びに林相を特徴付けるテクスチャ情報36及びスペクトル情報38が予め格納される。
【0029】
オルソ画像データ30は航空機等から撮影された空中写真画像に基づいて生成される。本システムではオルソ画像データ30は、森林を含む対象領域を上空から撮影した原画像として用いられる高分解能画像データであり、例えば、赤(R)、緑(G)、青(B)の3成分からなる3バンドのマルチスペクトル画像、又はこれらに近赤外(NIR)を加えた4成分からなる4バンドのマルチスペクトル画像である。
【0030】
スペクトル条件32及び幾何条件34は、原画像を領域分割して生成されるオブジェクト領域である林相区画が満たすべき条件である。スペクトル条件32は林相区画を構成する画素群の色(Color)や濃度・明るさから抽出されるスペクトル特徴量に関する条件を規定する。一方、幾何条件34は林相区画の幾何特徴量である形状(Shape)に関する条件を規定する。例えば、形状は、コンパクトネス(Compactness)やスムースネス(Smoothness)といったパラメータで表される。
【0031】
テクスチャ情報36及びスペクトル情報38は、林相それぞれを特徴付ける情報である。テクスチャ情報36は高分解能画像における画像テクスチャを表現する情報である。本実施形態では、画像テクスチャとして日向/日陰分布パターン、日向/日陰境界パターン及びLBP(Local Binary Pattern)画像を用いることに対応して、テクスチャ情報36として日向/日陰分布パターン情報40、日向/日陰境界パターン情報42及びLBP(Local Binary Pattern)画像情報44が記憶装置6に格納される。例えば、各テクスチャ情報36は画像テクスチャの平均値や標準偏差などの統計量で表現することができる。
【0032】
スペクトル情報38は高分解能画像におけるスペクトルを表現する情報であり、画素値から抽出されるスペクトル特徴量で表現することができる。例えば、各スペクトル特徴量として各色の平均値、標準偏差などの統計量を用いることができる。
【0033】
入力装置8は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。
【0034】
出力装置10は、ディスプレイ、プリンタなどであり、本システムにより生成された林相区画や林相区分図(林分図)を画面表示、印刷等によりユーザに示す等に用いられる。また、林相区画や林相区分に関するデータを他のシステムで利用できるよう、データとして出力してもよい。
【0035】
林相区画生成部20は、オルソ画像データ30に対して階層的に領域分割処理を行って林相区画を生成する。林相区画生成部20は、低分解能画像生成部50、初期区画部52及び後続区画部54を有する。
【0036】
低分解能画像生成部50は、高分解能のオルソ画像データ30をディグラデーション処理して分解能を低下させた低分解能画像(劣化画像)を生成する画像劣化手段であり、低分解能画像の画素はオルソ画像データ30における隣接する複数画素からなる領域に対応する。ここでは区別を容易にするために、オルソ画像データ30の画素を原画素、低分解能画像の画素を拡大画素と表現する。例えば、低分解能画像はオルソ画像データ30を一様なサンプリング密度でダウンサンプリングして生成することができ、拡大画素の画素値はオルソ画像データ30にて対応する領域内の複数の原画素を代表する値に設定することができる。例えば、低分解能画像生成部50は、原画像に対し所定のフィルタを用いた畳み込みにより平滑化処理を行い、拡大画素の画素値を当該拡大画素内の所定位置の原画素での平滑化処理後の画素値に設定することができる。一般的な画像では、注目画素に距離が近い画素の輝度値は注目画素の輝度値と近くなる場合が多く、注目画素から遠ざかるほど、注目画素の輝度値との差が大きくなる場合が多い。このような性質を考慮し、注目画素に近いほど平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくするように2次元ガウス分布を用いて画像の平滑化を行うガウシアンフィルタが知られている。拡大画素の画素値を求める際の平滑化処理に、このガウシアンフィルタを採用することができる。また、より簡単な手法として例えば、拡大画素の画素値はそれに対応する複数の原画素の画素値の平均値、中央値などで定義することもできる。
【0037】
初期区画部52は階層的な領域分割処理の最初の階層の処理を行う。具体的には初期区画部52は低分解能画像生成部50により生成された低分解能画像を複数領域に分割し1次の林相区画を生成する。初期区画部52は、互いに隣接する複数の拡大画素からなる領域を1次の林相区画とするか否かを、それら拡大画素の画素値のスペクトル特徴量の類似性(スペクトル条件)と、それら拡大画素を結合して得られる領域についての幾何特徴量の類似性(幾何条件)とに基づいて決定する。
【0038】
後続区画部54は階層的な領域分割処理の第2の階層以降の処理を行う。具体的には後続区画部54は、隣接する林相区画を結合して新たな林相区画を生成する逐次区画処理を1回又は複数回行う。逐次区画処理は、互いに隣接する複数の低次の林相区画について、それらのスペクトル特徴量の類似性と、それらを結合して得られる高次の林相区画についての幾何特徴量の類似性とに基づいて、それら低次の林相区画を結合するか否かを決める。
【0039】
本実施形態では後続区画部54は逐次区画処理として、初期区画部52にて生成された低分解能画像の領域分割処理結果である1次の林相区画内、あるいは先行する領域分割処理結果である低次の林相区画内における低分解能画像と高分解能画像(原画像)との両方、あるいは高分解能画像のみを用いて領域分割処理を行う。低分解能画像からは、林相区画の結合可否の判断に用いる画素値のスペクトル特徴量として、林相区画内に包含される拡大画素群についてのスペクトル特徴量を求める。一方、高分解能画像からは、林相区画の結合可否の判断に用いる画素値のスペクトル特徴量として、林相区画内に包含される原画素群についてのスペクトル特徴量を求める。なお、後続区画部54は少なくとも1回の逐次区画処理が、高分解能画像の画素値のスペクトル特徴量、又は高分解能画像及び低分解能画像それぞれの画素値のスペクトル特徴量に基づいて行う領域分割処理である構成とすることもできる。すなわち、後続区画部54が複数回の逐次区画処理を行う場合に、そのうち一部の回数は低分解能画像の画素値だけからスペクトル特徴量を抽出し、それに基づいて領域分割処理を行ってもよい。
【0040】
画像領域分割には領域併合(region merging)に基づく手法を利用する。この手法において画像領域分割処理の対象とされる画像に存在する隣接する2つのオブジェクトを統合するかどうかは、統合後に生成される新しいオブジェクトの異質性(heterogeneity)と統合前のオブジェクトの異質性との間の変化を評価することによって決定される。ちなみに、初期区画部52での処理ではオブジェクトは低分解能画像の画素であり、後続区画部54での処理ではオブジェクトは既に生成されている林相区画である。
【0041】
具体的には、領域併合によるオブジェクトの異質性の変化Δhは、併合前後におけるスペクトル異質性の変化Δhと形状異質性の変化Δhとから次式によって算出される。
【0042】
【数1】
【0043】
ここで、wはスペクトル異質性の重み、wは形状異質性の重みである。
【0044】
併合前後のスペクトル異質性の変化Δhは、対象画像の各バンドにおける併合前後のオブジェクト内の画素値の標準偏差を用いて、次式によって計算される。
【0045】
【数2】
【0046】
ここで、Nは画像のバンド数、wはバンドiの重み、nabは併合後の新しいオブジェクトの画素数、n,nは併合前の2つのオブジェクトの画素数、σi,abは併合後のオブジェクトのバンドiにおける標準偏差、σi,a,σi,bは併合前の2つのオブジェクトのバンドiにおける標準偏差である。
【0047】
また、併合前後の形状異質性の変化Δhは、コンパクトネスとスムースネスという2つの基準で次式により定義される。
【0048】
【数3】
【0049】
ここで、Δhは併合前後のコンパクトネスの変化、Δhは併合前後のスムースネスの変化、wはコンパクトネスの重み、wはスムースネスの重みである。
【0050】
オブジェクトのコンパクトネス基準はオブジェクトの周囲長と面積から計算され、一方、スムースネス基準はオブジェクトの周囲長と境界ボックスの直径(長軸)から計算される。具体的にはΔh,Δhは次式で定義される。
【0051】
【数4】
【0052】
ここで、labは併合後のオブジェクトの周囲長、l,lは併合前の2つのオブジェクトの周囲長、sabは併合後のオブジェクトの面積、s,sは併合前の2つのオブジェクトの面積、babは併合後のオブジェクトの境界ボックスの直径、b,bは併合前の2つのオブジェクトの境界ボックスの直径、nabは併合後の新しいオブジェクトの画素数、n,nは併合前の2つのオブジェクトの画素数である。
【0053】
併合前後のオブジェクトの異質性の変化Δhが設定されたしきい値を超えない場合、領域の併合処理が実施され、しきい値を上回る場合、領域の併合処理を停止する。設定されたしきい値はスケールパラメータ(scale parameter)と呼ばれ、画像の分割処理によって生成されるオブジェクトの大きさを表している。スケールパラメータが大きいほど、より多くのオブジェクトが併合され、領域分割によって最終的に生成されるオブジェクトのサイズが大きくなる。
【0054】
(1)式に示すように、初期区画部52における拡大画素の結合の判断、又は後続区画部54における低次の林相区画の結合の判断に対するスペクトル特徴量及び幾何特徴量それぞれの寄与比率は重みw,wにより調節することができる。ここで、初期区画部52及び後続区画部54の一方又は両方は、林相区画の生成判断において、幾何条件を用いずスペクトル特徴量の類似性だけに基づいて行う構成にすることもできる。
【0055】
テクスチャ解析部22は、オルソ画像データ30からテクスチャ情報を抽出するテクスチャ情報抽出手段である。テクスチャ解析部22は、日向/日陰分布パターン情報抽出部60、日向/日陰境界パターン情報抽出部62及びLBP画像情報抽出部64を有する。
【0056】
日向/日陰分布パターン情報抽出部60はオルソ画像データ30を二値化処理して日向と日陰とが区別された日向/日陰分布パターンをテクスチャ情報として抽出する。図2は日向/日陰分布パターンの例を示す説明図である。図2(a)〜(d)はそれぞれスギ林、ヒノキ林、広葉樹林、非森林の例であり、左右に並ぶ2つの画像のうち左側がオルソ画像データ30、右側が日向/日陰分布パターンである。当該日向/日陰分布パターンにおいて白領域が日向、黒領域が日陰である。ちなみに、ここでの二値化のしきい値は大津の手法により決定している。
【0057】
日向/日陰境界パターン情報抽出部62はオルソ画像データ30における輝度勾配を二値化処理して日向と日陰との境界領域が現れた日向/日陰境界パターンをテクスチャ情報として抽出する。図3は日向/日陰境界パターンの例を示す説明図である。図3(a)〜(d)は図2と同様、それぞれスギ林、ヒノキ林、広葉樹林、非森林の例であり、左右に並ぶ2つの画像のうち左側がオルソ画像データ30、右側が日向/日陰境界パターンである。当該日向/日陰境界パターンにおいて白領域が輝度勾配がしきい値以上の領域であり、黒領域がしきい値未満の領域である。ここでも、しきい値は大津の手法により決定している。日向/日陰境界パターンからは日向と日陰とが切り替わる空間的な頻度の多寡が読み取れる。
【0058】
LBP画像情報抽出部64はオルソ画像データ30から局所二値パターン演算子を用いて得られるLBP画像をテクスチャ情報として抽出する。図4はLBP画像の例を示す説明図である。図4(a)〜(d)は図2及び図3と同様、それぞれスギ林、ヒノキ林、広葉樹林、非森林の例であり、左右に並ぶ2つの画像のうち左側がオルソ画像データ30、右側がLBP画像である。LBP画像は原画像の詳細な模様構造パターンを反映しており、しかも画像のコントラストの影響を受けにくいという特性を有する。
【0059】
テクスチャ解析部22は抽出された日向/日陰分布パターン、日向/日陰境界パターン及びLBP画像の特徴量として、それぞれの平均値や標準偏差などの統計量を算出する。ちなみに算出される統計量の種類は、記憶装置6に日向/日陰分布パターン情報40、日向/日陰境界パターン情報42及びLBP画像情報44として格納される統計量の種類に対応している。
【0060】
スペクトル解析部24はオルソ画像データ30からスペクトル情報を抽出するスペクトル情報抽出手段である。本実施形態ではスペクトル解析部24はR,G,B,NIRの4バンドのマルチスペクトル画像に対して次式で示される正規化処理を行い、正規化後の成分R’,G’,B’からなる画像からスペクトル特徴量を抽出する。またスペクトル解析部24は日向/日陰分布パターン情報に基づいて各林相区画における日向領域のみからスペクトル特徴量を抽出する。
【0061】
【数5】
【0062】
図5及び図6はオルソ画像データ30に対する正規化処理の例を示す画像であり、図5は原画像、すなわち正規化処理前のオルソ画像、図6図5に対応するオルソ画像データ30を正規化処理して得られた画像である。図5及び図6はグレースケールで表示しているが本来、図5はRGB合成のカラー画像であり、図6はR’G’B’合成のカラー画像である。例えば、樹種等の違いに応じた近赤外成分の大きさの相違により、原画像と正規化処理画像との間には色合いなどに違いが生じる。図5図6とにおける原画像と正規化処理画像との相違は、画像内での濃淡の変化が両画像間にて相違していることから読み取れる。
【0063】
なお、スペクトル解析部24は正規化処理を行わずにスペクトル特徴量を抽出する構成や、日陰を含んだ各林相区画の全体におけるスペクトル特徴量を抽出する構成とすることもできる。
【0064】
林相区分決定部26は、テクスチャ解析部22により抽出されたテクスチャ情報、及びスペクトル解析部24により抽出されたスペクトル情報に基づいて、林相区画生成部20により生成された各林相区画の林相を判別する。
【0065】
図7は林相解析システム2における概略の処理フロー図であり、以下、図7を用いて林相解析システム2の処理の流れを説明する。
【0066】
林相解析システム2は低分解能画像生成部50により、オルソ画像データ30から低分解能画像を生成し(S10)、低分解能画像を領域分割した林相区画を階層的に領域分割して(S20)、内部が一様な林相からなる領域に対応した林相区画を生成する(S30)。この領域分割処理S20は初期区画部52及び後続区画部54により行われる。領域分割処理は低分解能画像から開始され、低分解能画像を構成する拡大画素の画素値を用いた区画処理が最初に少なくとも1回行われ、その後、オルソ画像データ30を構成する原画素及び拡大画素あるいは原画素のみの画素値を用いた区画処理が少なくとも1回行われる。具体的には、初期区画部52は低分解能画像を領域分割してスケールが小さい林相区画を生成する(S22)。後続区画部54は低分解能画像と高分解能画像とを併用し、林相区画同士を結合することによりスケールが大きくなった林相区画を生成する(S24)。
【0067】
領域分割処理はスペクトル条件32及び幾何条件34を満たすように行われる。その際、スペクトル条件32と幾何条件34との比重、つまりそれぞれを領域分割に寄与させる度合は調節することができる。
【0068】
ここで、領域分割処理の階層ごとに、林相区画を生成する際の条件は異なり得る。すなわち、初回の拡大画素を結合して初期の林相区画を生成する際や、低次の林相区画同士を結合して高次の林相区画を生成する際に、スケールパラメータであるΔhは生成される林相区画のスケールが徐々に大きくなることを可能とするように設定される。Δhの増加により、スペクトル条件32に関しては、結合対象となる複数の拡大画素又は林相区画についてのスペクトル特徴量の類似性の判断基準(Δh)が領域分割処理が高階になるにつれ緩和される。また、幾何条件34に関しても幾何特徴量の類似性の判断基準(Δh)が緩和され、領域分割処理が高階になるにつれより複雑な形状あるいは大きな面積を有する林相区画が許容されるようになり結合が促進される。一方、スペクトル条件32と幾何条件34とで総合的に結合が緩和されればよいので、スペクトル条件32により結合を緩和しつつ、幾何条件34は結合を或る程度抑制する方向に変化させより単純な形状の林相区画の生成を促す条件に設定することもできる。例えば、そのような調整は(1)式の重みw,wを変えることで可能であり、具体的にはwを低下させ、一方、wを増加させて、ΔhがΔhに寄与しにくくし、ΔhがΔhに寄与しやすくすることで実現できる。
【0069】
さて、既に述べたように、高分解能画像では森林の日向と日陰の違いにより同じ林相内でも画素値のばらつきが大きいので、従来、隣接している林相を区別して正確に区画するのが困難であるという問題があった。これに対し、林相解析システム2は原画像を低分解能化し、階層的な領域分割処理のうち少なくとも最初の1回を低分解能画像にて行う。画像を低分解能化すると同じ林相内での画素値のばらつきが平滑化・緩和されるので、低分解能画像に基づく区画処理は日向と日陰とでの画素値の違いの影響を受けにくくなり、隣接する異なる林相を区別し易い。なお、低分解能での区画処理を階層的な複数回の区画処理のうちの早い段階で行う方が、当該効果は高くなることが期待できる。
【0070】
一方、階層的な区画処理の中で、低分解能画像と高分解能画像との両方、あるいは高分解能画像のみを用いて区画処理を行うことで、最終的に得られる林相区画に高分解能画像の情報を反映させることができる。
【0071】
図8図10は林相区画生成部20の処理の例を示す画像であり、それぞれ同じ森林の空中写真画像に林相区画の境界を黒線で描いている。図8は初期区画部52による処理結果であり、低分解能画像を利用して生成された初期の林相区画を示している。図9及び図10は後続区画部54による処理結果であり、図10の画像は図9の画像より高階の領域分割処理の結果を示している。すなわち、図8図9図10の順に階層的に領域分割が行われる。ここで、上述したように林相区画の生成は低分解能画像と高分解能画像とを併用して行われる。具体的には、図8図10に示す3階層が林相区画を生成する領域分割処理の全階層である場合には、図8の林相区画は低分解能画像を利用して生成され、図9及び図10の林相区画は、先行する領域分割の処理結果である林相区画内における低分解能画像と高分解能画像との両方、あるいは高分解能画像のみを利用して生成される。そして、図10の林相区画が最終的に抽出された林相区画となる。
【0072】
林相解析システム2は林相区画生成部20により林相区画を生成する一方、テクスチャ解析部22によりオルソ画像データ30からテクスチャ情報を抽出する(S40,S50,S60)。テクスチャ解析部22は日向/日陰分布パターン情報抽出部60により日向/日陰分布パターンを抽出し(S40)、日向/日陰境界パターン情報抽出部62により日向/日陰境界パターンを抽出し(S50)、またLBP画像情報抽出部64により、原画像における詳細な模様構造パターンが現れるLBP画像を抽出し(S60)、テクスチャ情報を求める。
【0073】
さらに林相解析システム2はスペクトル解析部24によりオルソ画像データ30を正規化処理し、正規化後の画像からスペクトル特徴情報を抽出する(S70)。さらにスペクトル解析部24は日向/日陰分布パターン情報抽出部60により抽出した日向/日陰分布パターンを用いて、森林のスペクトルの特徴が良好に現れ得る日向部分のみからスペクトル特徴情報を抽出する(S80)。
【0074】
そして林相解析システム2は林相区分決定部26により、林相区画生成部20により抽出された林相区画ごとに林相を判読し(S90)、その判読結果に基づいて林相区分図を生成し出力装置10へ出力する(S100)。
【0075】
林相区分決定部26は、オルソ画像データ30から抽出された各林相区画の日向/日陰分布パターン、日向/日陰境界パターン及びLBP画像がそれぞれ、記憶装置6にテクスチャ情報36として格納されている日向/日陰分布パターン情報40、日向/日陰境界パターン情報42及びLBP画像情報44それぞれのどの林相に対応する特徴を有しているかを判定する。また、林相区分決定部26はスペクトル解析部24により抽出されたスペクトル特徴量が記憶装置6に格納されているスペクトル情報38のどの林相に対応する特徴を有しているかを判定する。そして林相区分決定部26はこれら3種類のテクスチャ情報についての林相の判定結果とスペクトル情報についての林相の判定結果とから例えば、最近隣法などを用いて総合的に林相区画の林相を決定する。
【0076】
なお、本実施形態では、3種類のテクスチャ情報とスペクトル情報とでまず別々に林相を判定しているが、それらの特徴の組み合わせに林相を対応付けた情報を記憶装置6に予め格納し、オルソ画像データ30から抽出された特徴の組み合わせに基づいて林相を決定してもよい。また、3種類のテクスチャ情報のうちの一部だけを用いる構成としたり、テクスチャ情報とスペクトル情報との一方だけを用いる構成としたりすることもできる。
【0077】
また、テクスチャ情報は上述の3種類以外のものを用いることもできる。例えば、ウェーブレット解析により抽出した画像テクスチャを用いることができる。具体的には、ウェーブレット解析で抽出した高周波成分の情報をテクスチャ情報として画像のスペクトル特徴情報と併用して林相を判定することができる。
【0078】
図11は最尤法を利用した画像分類による従来の林相の自動判別手法での林相の分類結果の例を示す画像であり、林相の相違が画像にて濃淡の相違として表現されている。当該手法では画素ごとのスペクトル情報のみに基づいて林相を判読する。そのため、本来、同じ林相区画に属する画素相互間でも例えば日向と日陰の違いなどに起因した画素値のばらつきが生じ、林相の誤分類が起こりやすい。図11において細かなまだらでの濃淡変化はこの誤分類の現れであると言える。このように当該従来手法では正確な林相判読を行うことが難しかった。
【0079】
一方、図12図11と同じ森林の空中写真画像を林相解析システム2で解析して得られた林相区分図を示す画像であり、生成された林相区画の境界線と、画像の濃淡で表現される林相の相違とが示されている。この結果を人間による実体視鏡やデジタル図化機等を用いた目視判読結果と比較し検証したところ、上述の従来手法より正確に林相判読がなされていた。ちなみに、図12では図11と比較すると細かなまだらが抑制されており、この点に誤分類抑制の効果を見て取れる。
【0080】
本実施形態ではオルソ画像データ30は航空写真としたが、本発明は、例えば衛星写真などの他の高分解能画像を用いた林相解析にも適用可能である。また、本実施形態ではオルソ画像を例に説明したが、必ずしもオルソ画像を用いる必要は無く、上空から撮影した画像を適宜用いることができる。
【0081】
[第2の実施形態]
第2の実施形態の林相解析システムにおいて上記第1の実施形態と同じ構成要素は同一の符号を付して説明を省略する。以下、第2の実施形態の林相解析システム200について第1の実施形態の林相解析システム2との相違点を説明する。
【0082】
図13は第2の実施形態である林相解析システム200の概略の構成を示すブロック図である。林相解析システム200と林相解析システム2との相違点は林相区画をどのような条件に基づいて行うかという点にある。第1の実施形態では林相区画生成部20はスペクトル特徴量についてのスペクトル条件32及び幾何特徴量についての幾何条件34を満たすように領域分割処理を行って林相区画を生成している。これに対し、第2の実施形態の林相解析システム200では、領域併合前後のオブジェクト、つまり、劣化画像の画素又は林相区画の色、形状、テクスチャ及び面積を区画用特徴量とし、これらについての色条件202、形状条件204、テクスチャ条件206及び面積条件208を満たすように領域分割処理を行って林相区画を生成する。
【0083】
色条件202、形状条件204、テクスチャ条件206及び面積条件208は、オルソ画像(オルソ画像データ30)を領域分割して生成されるオブジェクト領域である林相区画が満たすべき条件である。色条件202は林相区画におけるオルソ画像の画素値に関する条件を規定する。ちなみに「色条件」における「色」はオルソ画像の画素値を意味し、RGBの情報からなるスペクトル情報よりも広義で用いている。具体的には、ここでの「色」は第1の実施形態のスペクトル特徴量に相当し、例えば、NIRの情報を含むマルチスペクトル画像の画素値もここでの色の概念に含まれ得る。形状条件204は林相区画の形状に関する条件を規定する。テクスチャ条件206は林相区画の画像テクスチャに関する条件を規定する。画像テクスチャはテクスチャ特徴量で評価される。面積条件208は林相区画の面積に関する条件を規定する。なお、林相区画の形状、面積は林相区画の幾何特徴量である。
【0084】
初期区画部52は、互いに隣接する複数の画素からなる領域を1次の林相区画とするか否かを、それら画素の画素値の類似性、領域の画像テクスチャの類似性、及び領域の形状や面積などの幾何特徴量の類似性に基づいて決定する。ここで、結合される領域間や結合前後の領域間での画素値の類似性は、画素値の平均値などの統計量などの特徴量に基づいて判断することができる。
【0085】
後続区画部54は第1の実施形態と同様、逐次区画処理を行う。本実施形態では逐次区画処理は、互いに隣接する複数の低次の林相区画について、それらにおける画素値の類似性に関する色条件202と、それらを結合して得られる高次の林相区画についての形状条件204と、テクスチャ条件206と、面積条件208とに基づいて、それら低次の林相区画を結合するか否かを決める。
【0086】
画像領域分割には第1の実施形態と同様、領域併合に基づく手法を利用する。本実施形態では、領域併合によるオブジェクトの異質性の変化Δhは、併合前後における色の異質性の変化Δhcolorと、形状の異質性の変化Δhshapeと、テクスチャの異質性の変化Δhtextureと、面積の異質性の変化Δhaeraとから次式によって算出される。
【0087】
【数6】
【0088】
ここで、wcolorは色の異質性の重み、wshapeは形状の異質性の重み、wtextureはテクスチャの異質性の重み、wareaは面積の異質性の重みである。
【0089】
併合前後の色の異質性の変化Δhcolor、形状の異質性の変化Δhshape、テクスチャの異質性の変化Δhtexture、面積の異質性の変化Δhaeraは、例えば、それぞれ次式によって計算される。
【0090】
【数7】
【0091】
ここで、nabは併合後の新しいオブジェクトの画素数、n,nは併合前の2つのオブジェクトの画素数である。また、CIabは併合後のオブジェクトの色情報指数(例えば、画素値)、CI,CIは併合前の2つのオブジェクトの色情報指数、SIabは併合後のオブジェクトの形状情報指数(例えば、スムースネス)、SI,SIは併合前の2つのオブジェクトの形状情報指数、TIabは併合後のオブジェクトのテクスチャ情報指数(例えば、画素値の標準偏差値)、TI,TIは併合前の2つのオブジェクトのテクスチャ情報指数、AIabは併合後のオブジェクトの面積情報指数(例えば、面積値)、AI,AIは併合前の2つのオブジェクトの面積情報指数である。
【0092】
(6)式に示すように、初期区画部52における画素の結合の判断、又は後続区画部54における低次の林相区画の結合の判断に対する色条件、形状条件、テクスチャ条件及び面積条件それぞれの寄与比率は重みwcolor,wshape,texture,areaにより調節することができる。ここで、初期区画部52及び後続区画部54の一方又は両方は、林相区画の生成判断において、色条件、形状条件、テクスチャ条件及び面積条件の何れか1つもしくは複数の組み合わせに基づいて行う構成にすることもできる。
【符号の説明】
【0093】
2,200 林相解析システム、4 演算処理装置、6 記憶装置、8 入力装置、10 出力装置、20 林相区画生成部、22 テクスチャ解析部、24 スペクトル解析部、26 林相区分決定部、30 オルソ画像データ、32 スペクトル条件、34 幾何条件、36 テクスチャ情報、38 スペクトル情報、40 日向/日陰分布パターン情報、42 日向/日陰境界パターン情報、44 LBP画像情報、50 低分解能画像生成部、52 初期区画部、54 後続区画部、60 日向/日陰分布パターン情報抽出部、62 日向/日陰境界パターン情報抽出部、64 LBP画像情報抽出部、202 色条件、204 形状条件、206 テクスチャ条件、208 面積条件。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13