特許 6937508 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6937508

(24)【登録日】2021年9月2日

(45)【発行日】2021年9月22日

(54)【発明の名称】画像処理システム、評価モデル構築方法、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210909BHJP

【ＦＩ】

   G06T7/00 350C

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2017-113630(P2017-113630)

(22)【出願日】2017年6月8日

(65)【公開番号】特開2018-206252(P2018-206252A)

(43)【公開日】2018年12月27日

【審査請求日】2020年4月7日

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(72)【発明者】

【氏名】櫻井 鉄也

(72)【発明者】

【氏名】木村 宇任

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００６−２５８７８５（ＪＰ，Ａ）

【文献】 特開２００６−１０７４６２（ＪＰ，Ａ）

【文献】 特開２００６−０１８６８８（ＪＰ，Ａ）

【文献】 特開平０５−１０１１６４（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１０４１８１（ＷＯ，Ａ１）

【文献】 米国特許第０９１１１３６１（ＵＳ，Ｂ１）

【文献】 中西 功，“特徴の種類と位置を用いたパターン認識手法の検討”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，1993年03月18日，Vol.92, No.521，pp.17-24

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出する特徴点抽出部と、
前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出する候補領域抽出部と、
前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築するモデル構築部と、
前記評価モデルに基づいて、評価対象の画像に含まれる前記線状の領域を特定する特定部と、
を備える画像処理システム。

【請求項2】

前記候補領域抽出部は、前記候補となる領域に対して細線化処理を行う、
請求項１に記載の画像処理システム。

【請求項3】

前記学習用の画像のうち、前記候補となる領域を対象に切り出した画像を生成するパッチ画像切出部、
をさらに備え、
前記モデル構築部は、前記切り出された画像を学習して、前記候補となる領域を含む画素と、前記候補となる領域を含まない画素とを分類する評価モデルを構築する、
請求項１または請求項２に記載の画像処理システム。

【請求項4】

前記パッチ画像切出部は、１つながりの前記線状の領域について、その一部のみを対象とする前記画像を生成する、
請求項３に記載の画像処理システム。

【請求項5】

前記モデル構築部は、ニューラルネットワークにより前記評価モデルを構築する、
請求項１から請求項４の何れか１項に記載の画像処理システム。

【請求項6】

前記特定部が特定した前記線状の領域について、その領域の面積が所定の閾値以下の前記線状の領域を除去するノイズ除去部、
をさらに備える請求項１から請求項５の何れか１項に記載の画像処理システム。

【請求項7】

前記特徴点抽出部は、前記学習用の画像に含まれる複数の色チャンネル画像それぞれについて、前記特徴点の抽出を行い、
前記候補領域抽出部は、前記特徴点抽出部が複数の前記色チャンネル画像から前記特徴点を抽出して生成した画像を合成して得られる画像から、前記候補となる領域を抽出する、
請求項１から請求項６の何れか１項に記載の画像処理システム。

【請求項8】

検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出するステップと、
前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出するステップと、
前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築するステップと、
を有する評価モデル構築方法。

【請求項9】

検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出するステップと、
前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出するステップと、
前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築するステップと、
前記評価モデルに基づいて、評価対象の画像に含まれる前記線状の領域を特定するステップと、
を有する画像処理方法。

【請求項10】

コンピュータを、
検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出する手段、
前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出する手段、
前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築する手段、
前記評価モデルに基づいて、評価対象の画像に含まれる前記線状の領域を特定する手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、評価モデル構築方法、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

画像に含まれる対象物を検出する技術が提供されている。例えば、キャニー法（非特許文献１）によって対象物の境界（エッジ）を検出し、その境界で囲まれた領域を対象物として特定する方法が知られている。
なお、非特許文献２には、複素モーメントフィルタを用いた特徴点の抽出法が記載されている。非特許文献２には、複素モーメントフィルタによれば、一般的な特徴点の抽出法に比べ、ノイズの存在下でも安定して高精度に特徴点の抽出が可能であることが示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】John Canny, "A Computational Approach to Edge Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 1986, VOL.PAMI-8(6),p.679-698

【非特許文献2】伊藤信貴、外２名、“複素モーメントに基づく画像特徴抽出”、日本応用数理学会論文誌、vol.18, no.1, pp.135-153, 2008.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、キャニー法は、線状の対象物の検出には適していないことが知られている。また、線状の対象物として、構造物の画像に含まれるヒビの検出を行うことがあるが、一般的な特徴点の抽出法を用いた場合、ノイズが多い画像から細かなヒビを検出することは困難である場合が多い。これに対し、精度良く線状の対象物を検出する技術が求められている。

【0005】

そこでこの発明は、上述の課題を解決することのできる画像処理システム、評価モデル構築方法、画像処理方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出する特徴点抽出部と、前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出する候補領域抽出部と、前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築するモデル構築部と、前記評価モデルに基づいて、評価対象の画像に含まれる前記線状の領域を特定する特定部と、を備える画像処理システムである。

【0007】

本発明の一態様によれば、前記候補領域抽出部は、前記候補となる領域に対して細線化処理を行う。

【0008】

本発明の一態様によれば、前記画像処理システムは、前記学習用の画像のうち、前記候補となる領域を対象に切り出した画像を生成するパッチ画像切出部、をさらに備え、前記モデル構築部は、前記切り出された画素を学習して、前記候補となる領域を含む画像と、前記候補となる領域を含まない画素とを分類する評価モデルを構築する。

【0009】

本発明の一態様によれば、前記パッチ画像切出部は、１つながりの前記線状の領域について、その一部のみを対象とする前記画像を生成する。

【0010】

本発明の一態様によれば、前記モデル構築部は、ニューラルネットワークにより前記評価モデルを構築する。

【0011】

本発明の一態様によれば、前記画像処理システムは、前記特定部が特定した前記線状の領域について、その領域の面積が所定の閾値以下の前記線状の領域を除去するノイズ除去部、をさらに備える。

【0012】

本発明の一態様によれば、前記特徴点抽出部は、前記学習用の画像に含まれる複数の色チャンネル画像それぞれについて、前記特徴点の抽出を行い、前記候補領域抽出部は、前記特徴点抽出部が複数の前記色チャンネル画像から前記特徴点を抽出して生成した画像を合成して得られる画像から、前記候補となる領域を抽出する。

【0013】

本発明の一態様は、検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出するステップと、前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出するステップと、前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築するステップと、を有する評価モデル構築方法である。

【0014】

本発明の一態様は、検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出するステップと、前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出するステップと、前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築するステップと、前記評価モデルに基づいて、評価対象の画像に含まれる前記線状の領域を特定するステップと、を有する画像処理方法である。

【0015】

本発明の一態様は、コンピュータを、検出対象である線状の領域が含まれる学習用の画像から、複素モーメントフィルタにより二回対称点を特徴点として抽出する手段、前記抽出した特徴点を含む画像を二値化することにより前記検出対象の候補となる領域を抽出する手段、前記候補となる領域を含んだ画像を複数取得し、取得した前記画像に基づいて前記候補となる領域の特徴を学習し、前記画像における前記候補となる領域を含む画素と含まない画素とを分類する評価モデルを構築する手段、前記評価モデルに基づいて、評価対象の画像に含まれる前記線状の領域を特定する手段、として機能させるためのプログラムである。

【発明の効果】

【0016】

本発明によれば、画像に含まれる線状の対象物を精度良く検出することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態による画像処理装置の機能ブロック図である。

【図2】本発明の一実施形態による特徴点の抽出処理を説明する第１の図である。

【図3】本発明の一実施形態による特徴点の抽出処理を説明する第２の図である。

【図4】本発明の一実施形態による候補領域の抽出処理を説明する図である。

【図5】本発明の一実施形態によるパッチ画像の切り出し処理を説明する図である。

【図6】本発明の一実施形態によるＣＮＮモデルのネットワーク構成の一例を示す図である。

【図7】本発明の一実施形態による後処理を説明する図である。

【図8】本発明の一実施形態による対象物の検出処理結果を示す図である。

【図9】本発明の一実施形態による画像処理装置による対象物検出処理の一例を示すフローチャートである。

【図10】本発明の一実施形態による画像処理装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0018】

＜実施形態＞
以下、本発明の一実施形態による画像処理システムを図１〜図１０を参照して説明する。本実施形態による画像処理システムは、１台または複数台のＰＣ（personal computer）やサーバ端末などのコンピュータに実装される。画像処理システムは、直線状の部材、構造物に生じたヒビや亀裂等、画像に含まれる線状の対象物を検出する。以下の説明では、１台のコンピュータに実装された画像処理システム（画像処理装置１０）によって、コンクリート構造物の画像からヒビを検出する処理を例に説明を行う。

【0019】

図１は、本発明の一実施形態による画像処理装置の機能ブロック図である。
図１に示す画像処理装置１０は、制御部１１と、入力部１２と、出力部１３と、記憶部１４と、を備えている。
制御部１１は、画像に含まれる線状の対象物を検出する処理を行う。制御部１１は、対象物が含まれる学習用の画像（学習用画像）から対象物を検出するための評価モデルを構築する機能と、構築した評価モデルに基づいて、評価対象の画像（評価用画像）に写っている対象物を検出する機能を有している。制御部１１の機能については後述する。
入力部１２は、データの入力を行うインタフェースである。例えば、入力部１２は、キーボード、マウス等の入力装置である。
出力部１３は、データの出力を行うインタフェースである。例えば、出力部１３は、対象物の検出処理の結果を他のコンピュータ装置、表示装置、プリンタ等に出力する。
記憶部１４は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の不揮発性の記憶媒体と、ＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶媒体とを含む。記憶部１４は、諸々のデータを記憶する。

【0020】

制御部１１は、色変換部１１１と、特徴点抽出部１１２と、候補領域抽出部１１３と、パッチ画像切出部１１４と、モデル構築部１１５と、評価部１１６と、後処理部１１７と、評価結果表示部１１８と、合成部１１９と、を備える。
色変換部１１１は、カラー画像をグレースケール画像に変換する。また、色変換部１１１は、ＲＧＢ色空間の入力画像をＣＩＥ−Lａｂ色空間の画像に変換する機能を有している。
特徴点抽出部１１２は、複素モーメントフィルタ（ＣＭＦ−２ＲＳ）を用いて、入力画像または入力画像に対して色情報の変更を行った画像に含まれる二回対称点を特徴点として抽出する。つまり、特徴点抽出部１１２は、入力画像を１８０°回転させても変わらない点の集合を検出する。特徴点抽出部１１２は、検出した特徴点を抽出したＰｂ（probability）画像を生成する。
候補領域抽出部１１３は、特徴点抽出部１１２によって抽出された特徴点に基づいて、Ｐｂ画像から候補領域を抽出する。ここで候補領域とは、線状の領域のことである。候補領域抽出部１１３は、しきい値による二値化処理および細線化処理を行って候補領域の抽出を行う。
パッチ画像切出部１１４は、学習用画像と評価用画像から矩形の小領域を切り出したパッチ画像を生成する。
モデル構築部１１５は、学習用画像から切り出された対象物が写ったパッチ画像を学習して、対象物を検出するための評価モデルを構築する。評価モデルの構築には、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の深層学習を用いる。
評価部１１６は、評価用画像から切り出されたパッチ画像に線状の対象物が含まれているかどうかを、評価モデルに基づいて評価する。
後処理部１１７は、評価部１１６による評価結果が示す線状の領域について、ノイズを除去する後処理を行う。
評価結果表示部１１８は、評価用画像に含まれる線状の対象物に対する検出結果を表示する。例えば、評価結果表示部１１８は、評価用画像中における線状の対象物が写った領域に印を付す等した画像を生成して、その画像を出力する。
合成部１１９は、特徴点抽出部１１２がカラー画像に含まれる複数の色空間画像（色チャンネル画像）の各々について、特徴点の抽出処理を行った場合、その結果の各特徴点抽出画像を合成し、１つのＰｂ画像を生成する。

【0021】

なお、制御部１１は、画像処理装置１０の備えるＣＰＵ（Central Processing Unit）が記憶部１４からプログラムを読み出し実行することで備わる機能である。

【0022】

画像処理装置１０は、学習用画像を取得し、特徴点の抽出、候補領域の抽出、パッチ画像の切り出しの各工程を経て、パッチ画像に含まれる線状の対象物の特徴をＣＮＮにより学習して評価モデルを構築する。評価モデルを構築した後は、画像処理装置１０は、評価用画像を取得し、評価用画像からパッチ画像を切り出し、先に構築した評価モデルに基づいてパッチ画像に線状の対象物が含まれているかどうかを評価する。以下、各工程の処理について図２〜図８を用いて説明する。

【0023】

図２は、本発明の一実施形態による特徴点の抽出処理を説明する第１の図である。
図３は、本発明の一実施形態による特徴点の抽出処理を説明する第２の図である。
まず、ユーザが画像処理装置１０に学習用画像を入力する。ここで、学習用画像は、ＲＧＢ色空間の画像である。画像処理装置１０では、入力部１２が、学習用画像を取得し、記憶部１４に記録する。制御部１１は、学習用画像を記憶部１４から読み出して、色変換部１１１が学習用画像をＲＧＢ色空間のカラー画像からグレースケール画像へ変換する。
次に特徴点抽出部１１２が、グレースケール画像から特徴点（二回対称点）を検出する処理を行う。特徴点抽出部１１２は、複素モーメントフィルタ（ＣＭＦ―２ＲＳ）によって、特徴点の検出を行う。本実施形態で使用する複素モーメントフィルタについては、非特許文献２に開示がある。非特許文献２には、円対称点・非円対称点、エッジ、コーナー抽出のアルゴリズムが記載されている（「３．５特徴抽出のアルゴリズム」）。本実施形態で用いる複素モーメントフィルタ（ＣＭＦ―２ＲＳ）の抽出アルゴリズムの概要を図３に示す。ここで、学習用画像は連続画像ではなく、これをサンプリングした離散画像である。特徴点抽出部１１２は、この離散画像における局所画像の複素モーメントを計算するためにまず、オペレータｈ_１、ｈ_２、・・・、ｈ_ｎ、・・・、ｈ_Ｎを算出する。Ｎは、複素モーメントの最大次数である。次に特徴点抽出部１１２は、各オペレータｈ_１、ｈ_２、・・・、ｈ_Ｎから複素モーメントｃ_１、ｃ_２、・・・、ｃ_ｎ、・・・、ｃ_Ｎを算出する。オペレータや複素モーメントの算出式は、非特許文献２に記載がある。Ｎ個の異なる次数の複素モーメントｃ_１、ｃ_２、・・・、ｃ_Ｎを算出すると、特徴点抽出部１１２は、下記の式（１）から特徴量Ｓ_ｓｙｍを求める。式（１）に示すように「２の倍数の次数の複素モーメントの和」と「２の倍数以外の次数の複素モーメントの和」の差が二回対称点の特徴量である。

【0024】

【数1】

【0025】

特徴点抽出部１１２は、特徴量Ｓ_ｓｙｍと所定の閾値を比較し、閾値より大きい局所画像を二回対称点として抽出する。
図２の右図に、ＣＭＦ−２ＲＳによって特徴点抽出部１１２が抽出した特徴点を強調したＰｂ画像の例を示す。

【0026】

なお、入力画像にノイズが多く含まれている場合など、特徴点の抽出処理の前に平滑化処理を行ってもよい。

【0027】

また、入力画像がカラー画像の場合、グレースケール化するよりも色情報を保持した画像（例えば各色チャンネル画像）に対して、複素モーメントフィルタによる特徴点の抽出を行った方が、色情報に検出対象の二回対称点の特徴が多く含まれている等の理由により、抽出精度が向上する可能性がある。その場合、特徴点抽出部１１２は、各色チャンネル画像（例えば、Ｒチャンネル画像、Ｇチャンネル画像、Ｂチャンネル画像）について特徴点の抽出を行って特徴点抽出画像を生成し、合成部１１９が、それらの画像を合成（例えば、１：１：１の比で合成）してＰｂ画像を生成しても良い。また、入力画像がＲＧＢ色空間の画像であって、ＣＩＥ−Ｌａｂ色空間の画像に変換した方が、特徴点の抽出精度が向上する可能性がある。このような場合、色変換部１１１は、入力画像をＲＧＢ色空間の画像からＣＩＥ−Ｌａｂ色空間の画像へ変換する。例えば、色変換部１１１は、入力画像（学習用画像）からＣＩＥ−Ｌａｂ色空間の各チャンネルＬ*、ａ*、ｂ*に対応するＬ*画像、ａ*画像、ｂ*画像を生成する。そして、特徴点抽出部１１２が、Ｌ*画像、ａ*画像、ｂ*画像のそれぞれから二回対称点を抽出する処理を行う。また、合成部１１９は、Ｌ*画像から生成した特徴点抽出画像、ａ*画像からから生成した特徴点抽出画像、ｂ*画像からから生成した特徴点抽出画像を、２：１：１の比で合成してＰｂ画像を生成してもよい。なお、２：１：１の割合で合成するのは、Ｌ*は明度、ａ*、ｂ*は色度を表しており、明度からの情報と色度からの情報を１:１にするため、このような比率とする。

【0028】

特徴点の抽出処理を行うと、次に候補領域抽出部１１３が、Ｐｂ画像中の検出対象の候補となる領域（線状の領域）を抽出する処理を行う。
図４は、本発明の一実施形態による候補領域の抽出処理を説明する図である。
候補領域の抽出処理では、しきい値処理と細線化処理を行う。まず、候補領域抽出部１１３は、Ｐｂ画像を入力し、所定のしきい値により、Ｐｂ画像から二値画像を生成するしきい値処理を行う。実験では、正規化していないＰｂ画像に対してしきい値「０」を設定し、画素値が０以上の領域をヒビとして抽出することで安定した検出が可能であることが確認された。図４の左図にＰｂ画像を、中図にＰｂ画像から生成された二値画像を示す。

【0029】

次に候補領域抽出部１１３は、二値画像に対して細線化処理を行う。細線化処理とは、二値画像においてある太さ以上の領域を軸だけにする処理である。細線化処理には、ＳｋｅｌｔｏｎｉｎｇやＴｈｉｎｉｎｇと呼ばれる処理方法が存在する。候補領域が少ない方が、評価モデルで線状の対象物を含むかどうかを分類する際の計算時間を短縮することができるため、細線化処理を行う。また、ヒビ（線状領域）が存在する位置を検出するのが目的であるため、細線化処理を行っても検出精度が低下することがない。図４の右図に二値画像に対して細線化処理を行った結果の画像（候補領域抽出画像）を示す。

【0030】

次に候補領域抽出画像に基づいて、学習用画像から候補領域を含んだパッチ画像を生成する。
図５は、本発明の一実施形態によるパッチ画像の切り出し処理を説明する図である。
候補領域抽出画像が生成されると、パッチ画像切出部１１４が、学習用画像（最初に入力した学習用画像）から候補領域を含んだパッチ画像を切り出す。具体的には、パッチ画像切出部１１４は、候補領域抽出画像に含まれる各候補領域の重心の座標情報を計算する。パッチ画像切出部１１４は、計算した重心の座標を中心とする候補領域を含む矩形領域の画像を、学習用画像から切り出す（パッチ画像）。パッチ画像切出部１１４は、各候補領域（線状の領域）についてパッチ画像を生成する。このとき、パッチ画像切出部１１４は、候補領域の全領域を対象としてパッチ画像を生成する。これらのパッチ画像は、ＣＮＮによる評価モデルを学習する際に教師データとして用いられる。

【0031】

次に評価用画像からパッチ画像を生成する処理について図５を用いて説明する。評価用画像についても、これまで説明したものと同様の処理（特徴点の抽出、候補領域の抽出）を行って候補領域抽出画像を生成する。評価用画像の場合、パッチ画像切出部１１４は、パッチ画像を生成する前に候補領域抽出画像に対してラベリングを行ってラベル画像を生成する。ここで、ラべリングとは、１つながりの候補領域のそれぞれを区別するために、候補領域ごとに通し番号などの識別情報を付す処理のことをいう。パッチ画像切出部１１４は、評価用画像とラべル画像を読み込んで、異なるラベルが付された線状領域のそれぞれについて、評価用画像の対応する領域から複数の小領域を切り出してパッチ画像を生成する。

【0032】

評価用画像からパッチ画像を生成する場合、パッチ画像切出部１１４は、ひとつながりの線状形状（１つのラベルが付された候補領域）の全領域を対象として、全領域から省略なく矩形の小領域を切り出してパッチ画像を生成する必要はない。例えば、線状形状の一部のみを対象として、その一部を含む画像だけから複数のパッチ画像を生成してもよい。これは、対象物が線状形状の場合、その一部だけが検出できれば残りの領域についても把握することができるためである。評価対象となるパッチ画像の数を少なくすることで、ＣＮＮによる評価処理を高速化することができる。

【0033】

次に対象候補領域を含んだ複数のパッチ画像を用いて線状の対象物の特徴を学習した評価モデルを構築する。
図６は、本発明の一実施形態によるＣＮＮモデルのネットワーク構成の一例を示す図である。
評価モデルの構築には、ＣＮＮ（Convolutional Neural Network）を用いることができる。ＣＮＮとは、ニューラルネットワークの一種で画像処理の分野で広く用いられている。ＣＮＮのモデルは、畳み込み層(Convolutional Layer)、プーリング層（Pooling Layer）、局所応答正規化層(ＬＲＮ層)を備えており、一般的なニューラルネットワークよりも複雑で膨大な教師データに対応することができる。また、ニューラルネットワークを用いると、ＳＶＭ（support vector machine）等の機械学習と比較して分類器の構築だけではなく、同時に特徴量を抽出するフィルタの構築も行うことができる。本実施形態では、ＣＮＮを用いて検出対象と検出対象以外を分類する評価モデル（ＣＮＮモデル）を構築する。図６に本実施形態における評価モデルの構造の一例を示す。ＣＮＮモデルのネットワーク構造は、（１）入力画像は例えば、２０×２０ピクセルのパッチ画像をＲＧＢの３チャンネルに分けて得られる画像、３２個の５×５の２次元フィルタから成る１つ目の畳み込み層（２）、１つ目のプーリング層及びＬＲＮ層（３）、６４個の５×５の２次元フィルタから成る２つ目の畳み込み層（４）、２つ目のプーリング層及びＬＲＮ層（５）、１６００次元の特徴量空間を１０２４次元に分類する全結合層（６）、１０２４次元の特徴量空間を２次元（true、false）に分類する全結合層（７）、から構成される。適切なＣＮＮモデルのネットワーク構造は教師データの数や、画像の解像度などに応じて異なる。ただし、同程度の解像度や教師画像の数の場合、ＣＮＮモデルのネットワーク構造を調整することなく評価モデルを構築することができる。

【0034】

モデル構築部１１５は、パッチ画像のうち候補領域を含む画素に対し、例えば「１」のラベルを付し、候補領域を含まない画素に対しては、例えば「０」のラベルを付した教師データをＣＮＮモデルに投入し、ＣＮＮによる学習を行って学習済みのモデル（評価モデル）を構築する。
評価部１１６は、評価用画像から生成されたパッチ画像を評価モデルに入力し、各パッチ画像に検出対象の線状の対象物が含まれているかどうかを示す予測ラベルを得る。例えば、予測ラベル「１」が出力された場合、パッチ画像（評価用）の当該画素には線状の対象物が含まれている可能性が高いことを示す。予測ラベル「０」が出力された場合、パッチ画像（評価用）の当該画素には線状の対象物が含まれていない可能性が高いことを示す。評価部１１６は、図５で説明した異なるラベルを付した線状領域ごとに切り出されたパッチ画像の全てについて予測ラベルに基づく評価を行い、線状領域ごとにその領域がヒビかどうかを判定する。その際、評価部１１６は、異なるラベルが付された線状領域ごとに抽出されたパッチ画像の各々についてＣＮＮを用いてヒビである確率を算出する。例えば、評価部１１６は、パッチ画像から予測ラベル「１」が出力された画素数が１つのパッチ画像を形成する全画素数に占める割合に応じた確率を算出する。評価部１１６は、１つのラベルに対応する線状領域から生成された各パッチ画像について算出した確率の平均値を算出し、その平均値を当該ラベルが付された線状領域が検出対象（ヒビ）である確率とする。評価部１１６は、この確率が所定の閾値を超えていれば、当該ラベルが付された線状領域は、検出対象であると評価する。

【0035】

全てのパッチ画像について、評価部１１６による評価が完了すると、評価用画像は線状領域が含まれる部分と、それ以外の部分に分類される。ここで、検出の対象とするのは、ある程度の長さを有した線状の領域であり、例えば数ピクセル程度の領域であればノイズとみなせることから、そのようなノイズを除去するために後処理を行う。具体的には、後処理部１１７は、評価部１１６が検出対象と評価した全ての線状領域について、その面積（ピクセル数）をカウントする。そして、後処理部１１７は、ピクセル数が所定の閾値以下の領域については、ノイズとみなして除去する処理を行う。図７に後処理の様子を示す。

【0036】

図７は、本発明の一実施形態による後処理を説明する図である。
図７の左図は、評価用画像に対する評価モデルによる評価結果から得られる線状領域を示している。図の白い領域が線状領域である。この図は、例えば、評価用画像に対して、特徴点の抽出処理、候補領域の抽出処理、パッチ画像の切り出し、ＣＮＮによる分類を行い、その分類結果を、候補領域の抽出処理で得られた候補領域抽出画像に対して適用したものである。後処理部１１７は、図７の左図に例示する画像を読み込んで、ひとつながりの白い領域ごとにピクセル数を合計する。後処理部１１７は、合計したピクセル数が所定の閾値以下の線状領域（例えば、左図の丸で囲った２つの線状領域）についてはこれを除去し、図７の右図に例示する画像を生成する。図７の右図は、評価用画像に含まれる線状領域を示す最終的な画像である。

【0037】

次に評価結果表示部１１８は、後処理後の画像に基づいて、線状の対象物を表示する。
図８は、本発明の一実施形態による対象物の検出処理結果を示す図である。
図８の左図は、評価対象となるコンクリート構造物の画像である。右図は、評価結果を示す表示を追加したコンクリート構造物の画像である。検出対象の線状の対象物は、ヒビである。評価結果表示部１１８は、評価部１１６によって、線状の対象物が含まれている可能性が高いと評価された領域を強調する表示を行ってヒビの検出結果を表示する。

【0038】

最後に画像処理装置１０による線状の対象物の検出処理の流れを説明する。
図９は、本発明の一実施形態による画像処理装置による対象物検出処理の一例を示すフローチャートである。
まず、ユーザが、学習用画像を画像処理装置１０に入力し、評価モデルの構築を指示する。入力部１２は、学習用画像を取得し（ステップＳ１）、記憶部１４に記録する。また、制御部１１は、評価モデルの構築処理を開始する。まず、色変換部１１１は、記憶部１４から学習用画像を読み出して、学習用画像をカラー画像（ＲＧＢ画像）からグレースケール画像に変換する（ステップS２）。

【0039】

次に特徴点抽出部１１２が、複素モーメントフィルタ（ＣＭＦ−２ＲＳ）によって特徴点を抽出する（ステップＳ３）。具体的には、特徴点抽出部１１２は、グレースケール画像から二回対称点の抽出を行ったＰｂ画像を生成する。

【0040】

次に候補領域抽出部１１３が、ステップＳ３で生成されたＰｂ画像についてしきい値処理を行って二値画像を生成する（ステップＳ４）。次に候補領域抽出部１１３は、生成した二値画像の線状領域に対して、細線化処理を行う（ステップＳ５）。この細線化処理により、候補領域抽出画像が生成される。

【0041】

次にパッチ画像切出部１１４が、候補領域抽出画像に基づいて、学習用画像から所定のサイズの矩形のパッチ画像（学習用）を複数切り出す（ステップＳ６）。例えば、パッチ画像切出部１１４は、候補領域（線状領域）が含まれる部分については、その候補領域に係る全ての画素が何れかのパッチ画像に含まれるように矩形領域を切り出す。パッチ画像切出部１１４は、ユーザの指示により、生成したパッチ画像（学習用）の各画素に対し、候補領域を含むか否かのラベルを付す。例えば、線状領域を含む画素にはラベル「１」を付し、線状領域を含まない画素にはラベル「０」を付す。ラベルが付された各パッチ画像（学習用）は、評価モデル構築の教師データとして用いられる。

【0042】

次にモデル構築部１１５が、ＣＮＮにより学習済みモデル（評価モデル）を構築する（ステップＳ７）。モデル構築部１１５は、構築した評価モデルを記憶部１４に記録する。
以上で、評価モデルの構築処理が完了する。

【0043】

次に評価モデルに基づいて、評価用画像から対象物を検出する処理を行う。まず、ユーザが、評価用画像を画像処理装置１０に入力し、対象物の検出を指示する。入力部１２は、評価用画像を取得し（ステップＳ８）、記憶部１４に記録する。また、制御部１１が、線状の対象物を検出する処理を開始する。まず、パッチ画像切出部１１４が、パッチ画像（評価用）を切り出す（ステップＳ９）。例えば、制御部１１の各機能部が学習用画像と同様にステップＳ２〜ステップＳ５と同様の処理を評価用画像について行って生成した候補領域抽出画像（評価用）の候補領域を含む部分について、パッチ画像切出部１１４は、例えば所定のサイズごとに矩形画像を切り出して複数のパッチ画像（評価用）を生成する。この際、パッチ画像切出部１１４は、処理の高速化のため、一つの線状領域（ラベル）から生成するパッチ画像の数を削減しても良い。

【0044】

次に評価部１１６は、評価用画像から切り出した全てのパッチ画像（評価用）を学習済みモデル（評価モデル）に入力して各パッチ画像の各画素に対する予測ラベルを得る。これにより、評価部１１６は、パッチ画像（評価用）に含まれる候補領域を検出する（ステップＳ１０）。例えば、入力したパッチ画像（評価用）のうち線状の対象物が含まれる可能性が高い画素については、評価モデルは、予測ラベル「１」を出力し、候補領域を含まない画素については、評価モデルは、予測ラベル「０」を出力する。評価部１１６は、予測ラベルの値に基づいて各パッチ画像に検出対象が含まれている確率を算出し、ラベルを付した一つの線状領域から抽出した全パッチ画像の各々について算出した確率の平均値を算出し、この平均値に基づいて、当該線状領域が検出対象かどうかを評価する。次に後処理部１１７が、評価部１１６が検出対象であると判定した線状領域のうち面積が所定の閾値より小さい領域を除去する後処理を行う（ステップＳ１１）。

【0045】

次に評価結果表示部１１８は、後処理を行って得られた線状領域を示す最終的な画像（図７の右図）に基づいて、評価用画像のうち線状領域と特定された箇所を強調（例えば、図８の右図）した画像を生成する。最後に出力部１３が、評価結果表示部１１８が生成した画像を表示装置に出力し、検出処理の結果を表示する（ステップＳ１２）。ユーザは、この表示結果を参照し、評価用画像のどの部分が検出対象の線状領域かを把握することができる。

【0046】

なお、ステップＳ２では、グレースケール画像に変換することとしたが、この変換を行わずに、特徴点抽出部１１２は、ＲＧＢ色空間画像の各色チャンネル画像について特徴点抽出を行ってもよい。あるいは、色変換部１１１がＲＧＢ色空間画像をＣＩＥ−Ｌａｂ色空間画像に変換し、特徴点抽出部１１２が、ＣＩＥ−Ｌａｂ色空間画像の各色チャンネル画像について特徴点抽出を行ってもよい。これらの場合、合成部１１９が、各色チャンネル画像から特徴点抽出を行って得られる特徴点抽出画像に対して所定の重み付けを行って合成しＰｂ画像を生成する。また、入力画像やＰｂ画像に対して、ノイズの除去（平滑化処理）を行ってもよい。

【0047】

本実施形態の画像処理装置１０によれば、複素モーメントフィルタを用いて特徴点の抽出を行うので、一般的な特徴点の抽出法に比べて、画像毎のパラメータ調整の負担を低減することができる。また、一般的な特徴点の抽出法を用いた場合、ノイズが多い画像から細かなヒビを検出することは困難であるが、複素モーメントフィルタを用いることで、ノイズ存在下でも安定して特徴点（二回対称点）の抽出を行うことができる。従って、特徴点の抽出処理に続く、候補領域の抽出処理によって精度良く線状の候補領域を抽出することができる。また、候補領域の抽出処理において細線化処理を行って候補領域を減らすことにより、検出精度を低下させることなく処理の高速化を図ることができる。
また、評価モデルの構築にはＣＮＮを用いるので、検出対象が画像に含まれるかどうかを分類する分類器に加え、検出対象を分類するための特徴量を抽出するフィルタを学習して構築することができる。これにより、精度の高い評価モデルを構築することができる。
また、評価用画像について評価モデルによる線状の対象物の分類を行った後にノイズの除去（後処理）を行うことにより、検出精度を高めることができる。
これら適切な各処理方法を組み合わせることにより、効率的かつ精度良く線状の対象物の検出処理を行うことができる。

【0048】

なお、上記の説明では、コンクリートの構造物に生じたヒビを検出する場合を例に説明を行ったが、検出対象はこの例に限定されない。例えば、生体画像（例えば、網膜画像）における毛細血管の検出などに適用することができる。

【0049】

図１０は、本発明の一実施形態による画像処理装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の画像処理装置１０は、コンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶部１４に対応する記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

【0050】

なお、画像処理装置１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部１１による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。なお、画像処理装置１０は、複数のコンピュータ９００によって構成されていても良い。

【0051】

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。なお、後処理部１１７はノイズ除去部の一例である。評価部１１６は特定部の一例である。画像処理装置１０は画像処理システムの一例である。

【符号の説明】

【0052】

１０ 画像処理装置、１１ 制御部、１２ 入力部、１３ 出力部、１４ 記憶部、１１１ 色変換部、１１２ 特徴点抽出部、１１３ 候補領域抽出部、１１４ パッチ画像切出部、１１５ モデル構築部、１１６ 評価部、１１７ 後処理部、１１８ 評価結果表示部、１１９ 合成部、９００ コンピュータ、９０１ ＣＰＵ、９０２ 主記憶装置、９０３ 補助記憶装置、９０４ 入出力インタフェース、９０５通信インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】