特許 7508416 領域境界線検出装置、該方法および該プログラムならびに領域分割処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-21

(45)【発行日】2024-07-01

(54)【発明の名称】領域境界線検出装置、該方法および該プログラムならびに領域分割処理装置

(51)【国際特許分類】

   G06T 5/73 20240101AFI20240624BHJP

   G06T 7/13 20170101ALI20240624BHJP

【ＦＩ】

G06T5/73

G06T7/13

【請求項の数】 6

(21)【出願番号】P 2021111728

(22)【出願日】2021-07-05

(65)【公開番号】P2023008293

(43)【公開日】2023-01-19

【審査請求日】2023-09-01

(73)【特許権者】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】浜元 和久

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０２０－０４７１９０（ＪＰ，Ａ）

【文献】特開２０１８－２０６２６０（ＪＰ，Ａ）

【文献】特開２０１９－１０９７１０（ＪＰ，Ａ）

【文献】特開２０１３－１３７６２７（ＪＰ，Ａ）

【文献】特開２０１８－１１６３９１（ＪＰ，Ａ）

【文献】特開２００５－３０３６８９（ＪＰ，Ａ）

【文献】特開２０１０－２３１４６２（ＪＰ，Ａ）

【文献】吉田 俊之、外２名，“特殊なエッジ補間・強調手法を利用した顕微鏡画像の領域分割法”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2004年12月09日，Vol.104, No.511，pp.13-20

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，５／７３，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成する補完画像生成部と、
前記エッジ処理画像と前記補完画像生成部で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成部とを備え、
前記画像処理は、
前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する距離画像生成処理と、
前記低解像度化処理として、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理と、
前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成するエッジ補完画像生成処理とを含み、
前記画像処理は、さらに、
前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、
または、
前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含み、
前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられる、
領域境界線検出装置。

【請求項2】

前記エッジ検出処理では、Ｃａｎｎｙフィルタが用いられ、
前記補完画像生成部は、第１および第２領域面積割合に基づく評価関数で前記Ｃａｎｎｙフィルタにおける２個の第１および第２パラメータを最適化し、前記最適化した第１および第２パラメータのＣａｎｎｙフィルタを用いて前記エッジ検出処理を実施することによって、前記画像から前記エッジ処理画像を生成し、
前記第１および第２パラメータを最小画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した基準画像において、所定の閾値以下の長さまたは面積を持つエッジを第１抽出画像とし、前記閾値を超えた長さまたは面積を持つエッジを第２抽出画像とした場合に、
前記第１領域面積割合は、前記第１抽出画像の合計面積に対する、前記第１および第２パラメータを或る画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した評価画像で検出されなかった第１抽出画像の合計面積の割合であり、
前記第２領域面積割合は、前記第２抽出画像の合計面積に対する、前記評価画像で検出されなかった第２抽出画像の合計面積の割合である、
請求項１に記載の領域境界線検出装置。

【請求項3】

画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成する補完画像生成工程と、
前記エッジ処理画像と前記補完画像生成工程で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成工程とを備え、
前記画像処理は、
前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する距離画像生成処理と、
前記低解像度化処理として、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理と、
前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成するエッジ補完画像生成処理とを含み、
前記画像処理は、さらに、
前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、
または、
前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含み、
前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられる、
コンピュータによって実行される領域境界線検出方法。

【請求項4】

コンピュータに、
画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成する補完画像生成工程と、
前記エッジ処理画像と前記補完画像生成工程で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成工程と
を実行させるための領域境界線検出プログラムであって、
前記画像処理は、
前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する距離画像生成処理と、
前記低解像度化処理として、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理と、
前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成するエッジ補完画像生成処理とを含み、
前記画像処理は、さらに、
前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、
または、
前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含み、
前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられる、
領域境界線検出プログラム。

【請求項5】

画像に写り込んだ被写体の境界線を検出することによって領域境界線画像を生成する領域境界線検出部と、
前記領域境界線画像にｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって、被写体ごとに領域分割した領域分割画像を生成する領域分割画像生成部とを備え、
前記領域境界線検出部は、請求項１または請求項２に記載の領域境界線検出装置であり、前記領域境界線画像は、前記エッジ合成画像である、
領域分割処理装置。

【請求項6】

前記画像は、金属組織のＳＥＭ画像または前記金属組織の光学顕微鏡画像である、
請求項５に記載の領域分割処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、領域の境界線を検出する領域境界線検出装置、領域境界線検出方法および領域境界線検出プログラムならびに前記領域境界線検出装置を備えた領域分割処理装置に関する。

【背景技術】

【0002】

画像処理では、画像に写り込んでいる被写体を調べるために、被写体ごとに画像を領域分割することがある。このような領域分割に関する技術は、例えば、特許文献１に開示されている。

【0003】

この特許文献１に開示された領域分割処理装置は、ラベルマーカ生成装置を具え、該ラベルマーカ生成装置において生成されたラベルマーカに基づくｗａｔｅｒｓｈｅｄアルゴリズムを用いた画像の領域分割処理を前フレームの結果をベースにフレーム単位に自動的に行うようにした装置であり、前記ラベルマーカ生成装置は、前記ｗａｔｅｒｓｈｅｄアルゴリズムを用いて画像の領域分割処理を行うに際して必要なラベルマーカを領域分割される画像から自動的に生成する装置である。前記ｗａｔｅｒｓｈｅｄアルゴリズムは、対象となる画像（通常はエッジ画像）を地形的な構造とみなし、その地形構造に水を低いところから順に満たしたときの状態遷移の様子を模して画像の領域分割を実施するものである。この場合において、画像の画素位置を地形構造における場所に対応させ、画素レベルを各々の場所における高度に対応させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１１－０３９４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、画像を領域分割する場合、領域の境界線を検出（確定）する必要があるが、画像によっては、境界線が不明瞭で検出し難く、境界線の一部が欠落してしまう場合がある。例えば、金属組織のＳＥＭ画像や光顕画像（光学顕微鏡による画像）では、結晶方位の差が比較的大きい大角粒界である場合には境界線が比較的明確であるが、小角粒界である場合には境界線が不明確でその検出が難く、境界線の一部が欠落してしまう場合がある。

【0006】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる領域境界線検出装置、領域境界線検出方法および領域境界線検出プログラムならびに前記領域境界線検出装置を備えた領域分割処理装置を提供することである。

【課題を解決するための手段】

【0007】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる領域境界線検出装置は、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成（甦生）したエッジ補完画像を生成する補完画像生成部と、前記エッジ処理画像と前記補完画像生成部で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成部とを備える。好ましくは、上述の領域境界線検出装置において、前記被写体は、複数である。

【0008】

このような領域境界線検出装置は、エッジ処理画像に、低解像度化処理を含む画像処理を実施するので、境界線の一部が欠落していても、前記エッジ処理画像のエッジが低解像度化により欠落部分に伸びて欠落部分の境界線を補い、前記エッジ処理画像とエッジ補完画像とを合成するので、欠落部分の境界線を補完したエッジ合成画像を生成できる。よって、上記領域境界線検出装置は、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる。

【0009】

そして、上述の領域境界線検出装置において、前記画像処理は、前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する距離画像生成処理と、前記低解像度化処理として、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理と、前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成するエッジ補完画像生成処理とを含む。

【0010】

このような領域境界線検出装置がｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって被写体ごとに領域分割する領域分割処理装置に用いられる場合に、例えば領域にくびれが有るとそこで領域分割されてしまい過剰に領域が分割される傾向があるが、上記領域境界線検出装置は、第２画素値範囲を超える画素値を、定数の設定値に置き換えて前記定数の設定値に切り揃えるので、欠落部分の境界線の補完を制約でき、過剰な領域分割を抑制できる。また、微細なエッジのうねりがある場合も、過剰に領域が分割される傾向があるが、上記領域境界線検出装置は、画素値を、前記画素値が属する第１画素値範囲に対応付けられた代表画素値に置き換えるので、前記うねりに起因する過剰な領域分割を抑制できる。

【0011】

さらに、上述の領域境界線検出装置において、前記画像処理は、さらに、前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、または、前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含み、前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられる。

【0012】

このような領域境界線検出装置は、前処理を実施するので、エッジ処理画像のエッジに幅がある場合に前記幅を調整でき、前記エッジ処理画像のエッジから、境界線ではないノイズを除去できる。

【0013】

他の一態様では、これら上述の領域境界線検出装置において、前記エッジ検出処理では、Ｃａｎｎｙフィルタが用いられ、前記補完画像生成部は、第１および第２領域面積割合に基づく評価関数で前記Ｃａｎｎｙフィルタにおける２個の第１および第２パラメータを最適化し、前記最適化した第１および第２パラメータのＣａｎｎｙフィルタを用いて前記エッジ検出処理を実施することによって、前記画像から前記エッジ処理画像を生成し、前記第１および第２パラメータを最小画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した基準画像において、所定の閾値以下の長さまたは面積を持つエッジを第１抽出画像とし、前記閾値を超えた長さまたは面積を持つエッジを第２抽出画像とした場合に、前記第１領域面積割合は、前記第１抽出画像の合計面積に対する、前記第１および第２パラメータを或る画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した評価画像で検出されなかった第１抽出画像の合計面積の割合であり、前記第２領域面積割合は、前記第２抽出画像の合計面積に対する、前記評価画像で検出されなかった第２抽出画像の合計面積の割合である。好ましくは、上述の領域境界線検出装置において、前記評価関数は、前記第１領域面積割合と前記第２領域面積割合とを乗算した関数式であり、前記或る画素値を変化させながら前記評価関数を最大化することによって、前記第１および第２パラメータを最適化する。

【0014】

このような領域境界線検出装置は、Ｃａｎｎｙフィルタにおける第１および第２パラメータを自動的に最適化でき、この最適化した第１および第２パラメータのＣａｎｎｙフィルタを用いて前記エッジ検出処理を実施するので、エッジをより精度良く検出したエッジ処理画像を生成できる。

【0015】

本発明の他の一態様にかかる領域境界線検出方法は、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成する補完画像生成工程と、前記エッジ処理画像と前記補完画像生成工程で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成工程とを備え、前記画像処理は、前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する距離画像生成処理と、前記低解像度化処理として、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理と、前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成するエッジ補完画像生成処理とを含み、前記画像処理は、さらに、前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、または、前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含み、前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられる、コンピュータによって実行される方法である。

【0016】

本発明の他の一態様にかかる領域境界線検出プログラムは、 コンピュータに、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成する補完画像生成工程と、前記エッジ処理画像と前記補完画像生成工程で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成工程とを実行させるための領域境界線検出プログラムであって、前記画像処理は、前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する距離画像生成処理と、前記低解像度化処理として、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理と、前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成するエッジ補完画像生成処理とを含み、前記画像処理は、さらに、前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、または、前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含み、前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられるプログラムである。

【0017】

このような領域境界線検出方法および領域境界線検出プログラムは、エッジ処理画像に、低解像度化処理を含む画像処理を実施するので、境界線の一部が欠落していても、前記エッジ処理画像のエッジが低解像度化により欠落部分に伸びて欠落部分の境界線を補い、前記エッジ処理画像とエッジ補完画像とを合成するので、欠落部分の境界線を補完したエッジ合成画像を生成できる。よって、上記領域境界線検出方法および領域境界線検出プログラムは、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる。

【0018】

本発明の他の一態様にかかる領域分割処理装置は、画像に写り込んだ被写体の境界線を検出することによって領域境界線画像を生成する領域境界線検出部と、前記領域境界線画像にｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって、被写体ごとに領域分割した領域分割画像を生成する領域分割画像生成部とを備え、前記領域境界線検出部は、これら上述のいずれかの領域境界線検出装置であり、前記領域境界線画像は、前記エッジ合成画像である。

【0019】

これによれば、これら上述のいずれかの領域境界線検出装置を備えた領域分割処理装置が提供できる。

【0020】

領域分割する際に、事前に領域数が分かっていれば、前記領域数で領域分割すればよいので領域分割し易いが、逆に、事前に領域数が分かっていない場合、領域分割が難しい。また、領域分割する際に、領域の大きさ（サイズ）が揃っていれば、前記大きさで領域分割すればよいので領域分割し易いが、逆に、領域の大きさがばらついている場合、領域分割が難しい。また、領域分割する際に、領域の境界線が検出し易すければ、前記境界線で領域分割すればよいので領域分割し易いが、逆に、領域の境界線が検出し難い場合、領域分割が難しい。また、領域分割する際に、領域内部にノイズがなければ、領域の境界線が検出し易くなるので領域分割し易いが、逆に、領域内部に、境界とは異なるノイズが含まれている場合、領域分割が難しい。上記領域分割処理装置は、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる領域境界線検出装置を備えるので、事前に領域数が分かっていない場合や、領域の大きさがばらついている場合や、領域の境界線が検出し難い場合や、領域内部に、境界とは異なるノイズが含まれている場合でも、被写体ごとに検出したエッジに基づきｗａｔｅｒｓｈｅｄアルゴリズムの画像処理で前記被写体ごとに領域分割できる。

【0021】

他の一態様では、上述の領域分割処理装置において、前記画像は、金属組織のＳＥＭ画像または前記金属組織の光学顕微鏡画像である。

【0022】

これによれば、金属組織のＳＥＭ画像または前記金属組織の光学顕微鏡画像を金属組織の結晶粒ごとに領域分割できる領域分割処理装置が提供できる。上述のように、金属組織のＳＥＭ画像または前記金属組織の光学顕微鏡画像は、境界線が不明確でその検出が難い場合があるが、このような場合でも、上記領域分割処理装置は、金属組織の結晶粒ごとに領域分割できる。

【発明の効果】

【0023】

本発明にかかる領域境界線検出装置、領域境界線検出方法および領域境界線検出プログラムは、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる。本発明によれば、前記領域境界線検出装置を備えた領域分割処理装置が提供できる。

【図面の簡単な説明】

【0024】

【図1】実施形態における領域境界線検出装置を備えた領域分割処理装置の構成を示すブロック図である。

【図2】一例として、入力画像を示す図である。

【図3】前記領域境界線検出装置を備えた領域分割処理装置の動作を示すフローチャートである。

【図4】前処理を説明するための図である。

【図5】一例として、前処理後の修正エッジ処理画像を示す図である。

【図6】距離画像生成処理を説明するための図である。

【図7】一例として、距離画像生成処理後の距離画像を示す図である。

【図8】低解像度化処理およびエッジ補完画像生成処理を説明するための図である。

【図9】エッジ合成画像生成処理を説明するための図である。

【図10】一例として、前記領域分割処理装置で生成した領域分割画像および比較画像を示す図である。

【図11】Ｃａｎｎｙフィルタにおける第１および第２パラメータを最適化する動作を示すフローチャートである。

【図12】一例として、前記最適化で生成される各画像を示す図である。

【発明を実施するための形態】

【0025】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0026】

実施形態における領域分割処理装置は、画像に写り込んだ被写体の境界線を検出することによって領域境界線画像を生成する領域境界線検出部と、前記領域境界線画像にｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって、被写体ごとに領域分割した領域分割画像を生成する領域分割画像生成部とを備える。前記領域境界線検出部は、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成（甦生）したエッジ補完画像を生成する補完画像生成部と、前記エッジ処理画像と前記補完画像生成部で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成部とを備える。以下、このような領域境界線検出装置を備えた領域分割処理装置について、より具体的に説明する。

【0027】

図１は、実施形態における領域境界線検出装置を備えた領域分割処理装置の構成を示すブロック図である。図２は、一例として、入力画像を示す図である。図２Ａは、金属組織のＳＥＭ画像を示し、図２Ｃは、図２Ａに示すＳＥＭ画像を、正規化処理、ノイズ除去処理およびムラ除去処理を実施した後の画像を示す。図２Ｂは、図２Ａに示すＳＥＭ画像から生成したエッジ処理画像、すなわち、図２Ａに示すＳＥＭ画像を、正規化処理、ノイズ除去処理、ムラ除去処理およびエッジ検出処理を実施することによって生成したエッジ処理画像を示す。

【0028】

実施形態における領域分割処理装置Ｓは、例えば、図１に示すように、制御処理部１と、入力部２と、出力部３と、インターフェース部（ＩＦ部）４と、記憶部５とを備える。

【0029】

入力部２は、制御処理部１に接続され、例えば、領域分割開始を指示するコマンド等の各種コマンド、および、処理対象としての画像あるいはエッジ処理画像等の領域分割処理装置Ｓ（領域境界線検出装置）を動作させる上で必要な各種データを領域分割処理装置Ｓ（領域境界線検出装置）に入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチやキーボードやマウス等である。

【0030】

前記画像や前記エッジ処理画像は、領域の境界線を検出する対象の画像であって、前記境界線の検出後に領域分割する対象の画像であり、画像に写り込んだ１または複数の被写体は、任意であってよい。好ましくは、前記被写体は、例えば、金属組織における個々の結晶粒であり、前記画像は、金属組織のＳＥＭ（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）画像または前記金属組織の光学顕微鏡画像である。この場合では、粒界は、前記境界線の一例に相当し、前記結晶粒は、領域分割された領域の一例に相当する。前記エッジ処理画像は、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理した画像である。前記画像の一例が図２Ａに示され、前記エッジ処理画像の一例が図２Ｂに示されている。領域分割処理装置Ｓ（領域境界線検出装置）には、前記エッジ検出処理を実施していない画像自体が入力されてよく、前記エッジ検出処理を実施した画像が入力されてよい。例えば、図２Ａに示す画像ＰＣ１が入力されてよく、あるいは、図２Ｂに示すエッジ処理画像ＰＣ３が入力されてよい。前記エッジ処理画像は、いわゆるエッジフィルタによって対象の画像をフィルタリングすることによって生成されてよく、あるいは、専門家等の技術者によって目視で明瞭なエッジをマニュアルで抽出することによって生成されてよい。後者の場合、領域分割処理装置Ｓ（領域境界線検出装置）は、前記技術者によって抽出されていないエッジを検出（修正）することになる。

【0031】

なお、前記エッジ検出処理を実施していない画像自体が入力された場合には、領域分割処理装置Ｓ（領域境界線検出装置）は、この画像に所定のエッジ検出処理を実施することによって、前記画像からエッジ処理画像を生成してよい。前記エッジ検出処理は、例えば、いわゆるエッジフィルタのフィルタリング等である。前記エッジフィルタは、公知の、例えば微分フィルタ、Ｇｒａｄｉｅｎｔフィルタ、Ｓｏｂｅｌフィルタ、ｌａｐｌａｃｉａｎフィルタ、Ｈｉｇｈ－ｐａｓｓフィルタ、Ｒｏｂｅｒｔｓフィルタ、ＰｒｅｗｉｔｔフィルタおよびＣａｎｎｙフィルタ等である。これらフィルタは、１つだけでなく、複数を組み合わせて用いられてもよい。このエッジ検出処理の前に、正規化処理や、ノイズ除去処理や、ムラ除去処理等のうちの1または複数が実施されてもよい。

【0032】

前記正規化処理は、例えば、輝度値等の画素値がレンジ幅０～２５５で表される場合、画像の画素値の最大値およびその最小値がレンジ幅の最大値２５５およびその最小値０となるように、画素値にゲインオフセットをかけることによって実施される。あるいは、例えば、前記正規化処理は、画像の画素値の平均μおよび標準偏差σを求め、平均μ＝０および標準偏差σ＝１となるように、画素値にゲインオフセットをかけることによって実施される。あるいは、例えば、前記正規化処理は、画像の画素値の平均μおよび標準偏差σを求め、画素値が０～２５５で表される場合、μ－ｎσが画素値０に、μ＋ｎσが画素値２５５になるようにゲインオフセットをかけることによって実施される。これら正規化処理は、１つだけでなく、複数を組み合わせて用いられてもよい。

【0033】

前記ノイズ除去処理は、画像を、いわゆるノイズカットフィルタでフィルタリングすることによって実施される。前記ノイズカットフィルタは、公知の、例えばＡｖｅｒａｇｅフィルタ、Ｇａｕｓｓｉａｎフィルタ、Ｍｅｄｉａｎフィルタ、Ｂａｎｄ－ｐａｓｓフィルタ、Ｏｐｅｎフィルタ、Ｃｌｏｓｅフィルタ、Ｂｉｌａｔｅｒａｌフィルタ、ｎｏｎ－ｌｏｃａｌ－ｍｅａｎフィルタおよびＢＭ３Ｄフィルタ等である。あるいは、ノイズが多い低輝度領域に対し、所定の閾値以下の輝度値が所定の設定値（例えば０）に切り揃えられたり、ノイズが多い高輝度領域に対し、所定の閾値以上の輝度値が所定の設定値（例えば２５５）に切り揃えられたりしてもよい。これらは、１つだけでなく、複数を組み合わせて用いられてもよい。

【0034】

前記ムラ除去処理は、例えば、画像を、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタでフィルタリングすることによって実施される。あるいは、例えば、前記ムラ除去処理は、前記画像を高速フーリエ変換等で周波数解析し、低周波成分を除去することによって実施される。

【0035】

図２Ａに示すＳＥＭ画像ＰＣ１を、正規化処理、ノイズ除去処理およびムラ除去処理を実施した後の画像の一例が図２Ｃに示されている。図２Ｃに示す例では、上述の、画像の輝度値の最大値およびその最小値がレンジ幅の最大値２５５およびその最小値０となるようにゲインオフセットをかける前記正規化処理が実施され、Ｍｅｄｉａｎフィルタを用いた前記ノイズ除去処理が実施され、ＤｏＧフィルタを用いたムラ除去処理が実施された。図２Ｂに示すエッジ処理画像ＰＣ３は、この図２Ｃに示す画像ＰＣ２に、Ｓｏｂｅｌフィルタを用いたエッジ検出処理を実施することによって生成した画像である。

【0036】

図１に戻って、出力部３は、制御処理部１に接続され、制御処理部１の制御に従って、入力部２から入力されたコマンドやデータ、前記画像や前記エッジ処理画像や領域分割画像等を出力する機器であり、例えばＣＲＴディスプレイ、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

【0037】

なお、入力部２および出力部３からいわゆるタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部２は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部３は、表示装置である。このタッチパネルでは、前記表示装置の表示面上に前記位置入力装置が設けられ、前記表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、前記位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として領域分割処理装置Ｓ（領域境界線検出装置）に入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い領域分割処理装置Ｓ（領域境界線検出装置）が提供される。

【0038】

ＩＦ部４は、制御処理部１に接続され、制御処理部１の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。また、ＩＦ部４は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等であってもよい。

【0039】

なお、例えば、前記画像や前記エッジ処理画像を記憶した、例えばＵＳＢメモリやＳＤカード（登録商標）等の記憶媒体がＩＦ部４に装着され、入力部２で読み込みの指示が入力されると、前記記憶媒体からＩＦ部４を介して前記画像や前記エッジ処理画像が読み込まれ、記憶部５に記憶されてもよい。あるいは、例えば、前記画像や前記エッジ処理画像を記録した、例えばＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）やＤＶＤ－Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）等の記録媒体がドライブ装置に装着され、前記ドライブ装置がＩＦ部４に装着され、入力部２で読み込みの指示が入力されると、前記記録媒体から前記ドライブ装置およびＩＦ部４を介して前記画像や前記エッジ処理画像が読み込まれ、記憶部５に記憶されてもよい。あるいは、例えば、前記画像や前記エッジ処理画像を管理するサーバ装置がＩＦ部４で通信可能に接続され、入力部２で読み込みの指示が入力されると、前記サーバ装置からＩＦ部４を介して前記画像や前記エッジ処理画像が読み込まれ（ダウンロードされ）、記憶部５に記憶されてもよい。

【0040】

記憶部５は、制御処理部１に接続され、制御処理部１の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、領域分割処理装置Ｓ（領域境界線検出装置）の各部２～５を当該各部の機能に応じてそれぞれ制御する制御プログラムや、画像に写り込んだ被写体の境界線を検出することによって領域境界線画像を生成する領域境界線検出プログラムや、前記領域境界線検出プログラムによって生成した領域境界線画像にｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって、被写体ごとに領域分割した領域分割画像を生成する領域分割画像生成プログラム等が含まれる。前記領域境界線検出プログラムには、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成する補完画像生成プログラムや、前記エッジ処理画像と前記補完画像生成プログラムで生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するエッジ合成画像生成プログラム等が含まれる。前記各種の所定のデータには、例えば前記画像や前記エッジ処理画像や領域分割画像等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部１のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。なお、記憶部５は、比較的大容量を記憶可能なハードディスク装置を備えてもよい。

【0041】

制御処理部１は、領域分割処理装置Ｓ（領域境界線検出装置）の各部２～５を当該各部の機能に応じてそれぞれ制御し、画像に写り込んだ被写体の境界線を検出し、被写体ごとに領域分割した領域分割画像を生成するための回路である。制御処理部１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部１には、前記制御処理プログラムが実行されることによって、制御部１１、領域境界線検出部１２および領域分割画像生成部１３が機能的に構成され、領域境界線検出部１２には、補完画像生成部１２１およびエッジ合成画像生成部１２２が機能的に構成される。

【0042】

制御部１１は、領域分割処理装置Ｓ（領域境界線検出装置）の各部２～５を当該各部の機能に応じてそれぞれ制御し、領域分割処理装置Ｓ（領域境界線検出装置）全体の制御を司るものである。

【0043】

領域境界線検出部１２は、画像に写り込んだ被写体の境界線を検出することによって領域境界線画像を生成するものである。より具体的には、領域境界線検出部１２は、上述のように、補完画像生成部１２１およびエッジ合成画像生成部１２２を機能的に備える。

【0044】

補完画像生成部１２１は、画像に写り込んだ所定の被写体の境界線を検出するために前記画像をエッジ検出処理したエッジ処理画像に、解像度を低下させる低解像度化処理を含む画像処理を実施することによって、前記エッジ検出処理で未検出のエッジを生成したエッジ補完画像を生成するものである。

【0045】

前記画像処理は、本実施形態では、距離画像生成処理と、前記低解像度化処理と、エッジ補完画像生成処理とを含む。前記距離画像生成処理は、前記エッジ処理画像のエッジを除く各画素それぞれについて、当該画素の前記エッジからの距離を画素値とすることによって、前記エッジ処理画像から距離画像を生成する処理である。前記低解像度化処理は、前記距離画像生成処理で生成した距離画像の各画素それぞれについて、連続的に互いに異なる複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、前記選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する処理である。前記エッジ補完画像生成処理は、前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成する処理である。そして、本実施形態では、前記画像処理は、さらに、前記エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離を求め、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する、または、前記エッジ処理画像をぼかし処理することによって、前記エッジ処理画像から修正エッジ処理画像を生成する、前処理を含む。この場合、前記距離画像生成処理では、前記修正エッジ処理画像が前記エッジ処理画像として用いられる。これら各処理を実行するために、補完画像生成部１２１は、前記前処理を実行する前処理部１２１１と、前記距離画像生成処理を実行する距離画像生成処理部１２１２と、前記低解像度化処理を実行する低解像度化処理部１２１３と、前記エッジ補完画像生成処理を実行するエッジ補完画像生成処理部１２１４とを機能的に備える。

【0046】

そして、本実施形態では、補完画像生成部１２１は、低解像度化処理を含む前記画像処理の実施前に、前記エッジ処理画像からノイズを除去してぼかし処理を実施する。

【0047】

エッジ合成画像生成部１２２は、前記エッジ処理画像と前記補完画像生成部１２１で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成するものである。

【0048】

領域分割画像生成部１３は、エッジ合成画像生成部１２２で生成したエッジ合成画像を領域境界線画像として、前記エッジ合成画像にｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって、被写体ごとに領域分割した領域分割画像を生成するものである。

【0049】

これら制御処理部１、入力部２、出力部３、ＩＦ部４および記憶部５は、例えば、デスクトップ型やノート型やタブレット型等のコンピュータによって構成可能である。

【0050】

次に、本実施形態の動作について説明する。図３は、前記領域境界線検出装置を備えた領域分割処理装置の動作を示すフローチャートである。図４は、前処理を説明するための図である。図４Ａは、一例として、輝度値が非０である領域を説明するための模式図であり、図４Ｂは、図４Ａに示す場合において、非エッジからの距離を説明するための模式図である。図５は、一例として、前処理後の修正エッジ処理画像を示す図である。図６は、距離画像生成処理を説明するための図である。図６Ａは、一例として、エッジである領域を説明するための模式図であり、図６Ｂは、図６Ａに示す場合において、エッジからの距離を説明するための模式図である。図７は、一例として、距離画像生成処理後の距離画像を示す図である。図８は、低解像度化処理およびエッジ補完画像生成処理を説明するための図である。図８Ａは、距離画像における所定の水平方向に沿う１ラインにおいて、エッジからの距離を表すグラフを示し、図８Ｂは、図８Ａに示す場合において、画素値を代表画素値に置き換える低解像度化処理（線形状グラフα→階段状グラフβ）を説明するための図であり、図８Ｃは、図８Ｂに示す場合において、所定の定数の設定値に切り揃える補完画像生成処理を説明するための図である。図９は、エッジ合成画像生成処理を説明するための図である。図９Ａは、図２Ａに示す画像から生成されたエッジ処理画像（修正エッジ処理画像）を示し、図９Ｂは、図２Ａに示す画像から生成されたエッジ補完画像を示し、図９Ｃは、図９Ａに示すエッジ処理画像（修正エッジ処理画像）と図９Ｂに示すエッジ補完画像とを画像合成したエッジ合成画像を示す。図１０は、一例として、前記領域分割処理装置で生成した領域分割画像および比較画像を示す図である。図１０Ａは、図２Ａに示す画像から領域分割処理装置Ｓで生成した領域分割画像を示し、図２Ａに示す画像からマニュアル作成した領域分割画像の比較画像を示す。

【0051】

このような構成の領域分割処理装置Ｓ（領域境界線検出装置）は、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部１には、その制御処理プログラムの実行によって、制御部１１、領域境界線検出部１２および領域分割画像生成部１３が機能的に構成され、領域境界線検出部１２には、補完画像生成部１２１およびエッジ合成画像生成部１２２が機能的に構成され、補完画像生成部１２１には、前処理部１２１１、距離画像生成処理部１２１２、低解像度化処理部１２１３およびエッジ補完画像生成処理部１２１４が機能的に構成される。

【0052】

オペレータ（ユーザ）は、入力部２から領域分割開始（境界線検出開始）の指示を入力し、入力部２やＩＦ部４から、領域分割（境界線検出）の対象画像として所定のエッジ処理画像またはその元の画像を入力する。

【0053】

図３において、領域分割処理装置Ｓ（領域境界線検出装置）は、入力部２で領域分割開始（境界線検出開始）の指示の入力を受け付けると、エッジ処理画像の入力を促し、エッジ処理画像またはその元の画像を取得し、記憶部５に記憶する（Ｓ１）。元の画像が入力された場合には、上述したように、例えば、正規化処理、ノイズ除去処理、ムラ除去処理およびエッジ検出処理が、順次に、入力された画像に対し、実施される。

【0054】

なお、本実施形態では、図２Ｂに示すように、エッジは、明るい輝度値（例えば２５５等）で表され、非エッジは、暗い輝度値（例えば０等）で表されているものとする。

【0055】

次に、領域分割処理装置Ｓ（領域境界線検出装置）は、制御処理部１の領域境界線検出部１２における補完画像生成部１２１の前処理部１２１１によって、前処理を実施する（Ｓ２）。エッジ処理画像には、孤立点やエッジの微細な跡切れ等、微細なノイズが残っている場合があるのでノイズ除去の前処理が必要になる。さらに、後述の処理で、エッジの幅の調整や、境界線（例えば粒界）と境界線以外のノイズとの判別を行うための補正処理の前処理が必要となる。ノイズ除去の前処理では、上述のノイズ除去処理と同様に実施される。補正処理の前処理では、例えば、前処理部１２１１は、エッジ処理画像のエッジにおける各画素（例えば図４Ａに示す輝度値１０の各画素）それぞれについて、当該画素の非エッジ（例えば図４Ａに示す輝度値０の各画素）からの距離を求め、図４Ａに示す例では図４Ｂに示すように、前記求めた距離を画素値とすることによって、前記エッジ処理画像から修正エッジ処理画像を生成する。あるいは、例えば、前処理部１２１１は、前記エッジ処理画像を例えばＧａｕｓｓｉａｎフィルタや平滑化フィルタ等を用いてぼかし処理（平滑化処理）することによって、前記エッジ処理画像から修正エッジ処理画像を生成する。あるいは、例えば、前処理部１２１１は、これら両処理を実施してもよい。より詳しくは、本実施形態では、ｃｌｏｓｅフィルタによる第１のノイズ除去処理が実施され、画像の輝度値の最大値およびその最小値がレンジ幅の最大値２５５およびその最小値０となるように、ゲインオフセットをかける正規化処理が実施され、ｎｏｎ－ｌｏｃａｌ－ｍｅａｎフィルタによる第２のノイズ除去処理が実施され、所定の閾値以下の輝度値を所定の設定値に換える第３のノイズ除去処理が実施された。なお、本実施形態では、ＤｏＧフィルタによる前記ムラ除去処理の実施や上述のｎｏｎ－ｌｏｃａｌ－ｍｅａｎフィルタによる第２のノイズ除去処理の実施により、ぼかし効果が認められたため、補正処理の前処理は、実施していない。このような処理によって、例えば図２Ｂに示すエッジ処理画像ＰＣ３は、図５に示す前処理後の修正エッジ処理画像ＰＣ４となる。なお、必ずしも必要ではないが、図５では、上述のｃｌｏｓｅフィルタによる第１のノイズ除去処理において、粒界以外のノイズの境界も検出されているため、エッジ（検出線）で囲まれた微小領域が塗り潰されてから、上述の、エッジ処理画像のエッジにおける各画素それぞれについて、当該画素の非エッジからの距離が求められ、この求められた距離を画素値とすることによって、前記エッジ処理画像から図５に示す修正エッジ処理画像が生成されている。

【0056】

次に、領域分割処理装置Ｓ（領域境界線検出装置）は、制御処理部１の領域境界線検出部１２における補完画像生成部１２１の距離画像生成処理部１２１２によって、距離画像生成処理を実施する（Ｓ３）。より具体的には、距離画像生成処理部１２１２は、前記エッジ処理画像、本実施形態では修正エッジ処理画像のエッジを除く各画素（例えば図５Ａに示す輝度値０の各画素）それぞれについて、当該画素の前記エッジ（例えば図５Ａに示す輝度値１０の各画素）からの距離を求め、図５Ａに示す例では図５Ｂに示すように、前記求めた距離を画素値とすることによって、前記エッジ処理画像、本実施形態では修正エッジ処理画像から距離画像を生成する。前記距離画像は、例えば、いわゆる浸食演算子の繰り返し処理によって生成されてよく、あるいは、ＯｐｅｎＣＶのｄｉｓｔａｎｃｅ－Ｔｒａｎｓｆｏｒｍ関数によって生成されてよい。このような処理によって、例えば図２Ｂに示すエッジ処理画像ＰＣ３は、図５に示す修正エッジ処理画像ＰＣ４を介して、図７に示す距離画像ＰＣ５となる。

【0057】

次に、領域分割処理装置Ｓ（領域境界線検出装置）は、制御処理部１の領域境界線検出部１２における補完画像生成部１２１の低解像度化処理部１２１３によって、低解像度化処理を実施する（Ｓ４）。これにより、欠落部分の境界線が補われ、そして、領域分割する際に過剰分割が防止される。より具体的には、低解像度化処理部１２１３は、処理Ｓ３によって前記距離画像生成処理で生成した距離画像の各画素それぞれについて、前記複数の第１画素値範囲それぞれに対応付けられた複数の代表画素値の中から、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値を選定し、この選定した代表画素値で当該画素の画素値を置き換えることによって、前記距離画像から低解像度化画像を生成する。例えば、画素値（エッジからの距離）０～１９の第１画素値範囲の代表画素値が０に設定され、画素値２０～３９の第１画素値範囲の代表画素値が２０に設定され、画素値４０～５９の第１画素値範囲の代表画素値が４０に設定され、画素値６０～７９の第１画素値範囲の代表画素値が６０に設定され、・・・、画素値２４０～２５５の第１画素値範囲の代表画素値が２４０に設定される場合であって（（代表画素値）＝２０×ＩＮＴ（（画素値）／２０）、ＩＮＴ（ｘ）は、ｘを超えない整数を求める演算子）、距離画像の水平方向に沿った１ラインにおける各画素の各画素値（エッジからの距離）が図８Ａに示す線形状のグラフαである場合、この線形状グラフαは、これら各画素それぞれについて、当該画素の画素値が属する第１画素値範囲に対応付けられた代表画素値で当該画素の画素値を置き換えることによって、図８Ｂに示す階段状のグラフβとなる。

【0058】

次に、領域分割処理装置Ｓ（領域境界線検出装置）は、制御処理部１の領域境界線検出部１２における補完画像生成部１２１のエッジ補完画像生成処理部１２１４によって、エッジ補完画像生成処理を実施する（Ｓ５）。より具体的には、エッジ補完画像生成処理部１２１４は、処理Ｓ４によって前記低解像度化処理で生成した低解像度化画像の各画素それぞれについて、当該画素の画素値が所定の第２画素値範囲を超える場合に、所定の定数の設定値で当該画素の画素値を置き換えることによって、前記低解像度化画像から前記エッジ補完画像を生成する。これにより、領域分割する際に過剰分割がさらに防止される。そして、本実施形態では、上述のように、エッジが明るい輝度値（例えば２５５等）で表されるともに、非エッジが暗い輝度値（例えば０等）で表されている例えば図２Ｂに示すエッジ処理画像と合成できるように、前記設定値をオフセットとして反転される。例えば、図８Ｃに示すように、階段状グラフβは、設定値ＶＬ０以上の画素値が前記設定値ＶＬ０に切り揃えられ、前記設定値ＶＬ０をオフセットとして反転され、階段状のグラフβ’となる。なお、前記設定値ＶＬ０は、０から距離画像の最大値までに収まるように設定されてよい。このような処理によって、例えば図５および図９Ａに示す修正エッジ処理画像ＰＣ４は、図７に示す距離画像ＰＣ５を介して、図９Ｂに示すエッジ補完画像ＰＣ６となる。

【0059】

次に、領域分割処理装置Ｓ（領域境界線検出装置）は、制御処理部１の領域境界線検出部１２におけるエッジ合成画像生成部１２２によって、エッジ合成画像生成処理を実施する（Ｓ６）。より具体的には、エッジ合成画像生成部１２２は、処理Ｓ１によって取得したエッジ処理画像と処理Ｓ２ないし処理Ｓ５によって補完画像生成部１２１で生成したエッジ補完画像とを合成することによって、エッジ合成画像を生成する。より詳しくは、前記エッジ処理画像Ｓおよび前記エッジ補完画像Ｄにおける画素位置ｉ，ｊの各画素ｓ（ｉ，ｊ）、ｄ（ｉ，ｊ）それぞれについて、同一画素位置ｉ，ｊの各画素の各画素値の和がエッジ合成画像Ｙにおける前記同一画素位置ｉ，ｊでの画素の画素値ｙ（ｉ，ｊ）として求められる（ｙ（ｉ，ｊ）＝ｓ（ｉ，ｊ）＋ｄ（ｉ，ｊ））。このような処理によって、例えば図５および図９Ａに示す修正エッジ処理画像ＰＣ４と図９Ｂに示すエッジ補完画像ＰＣ６とを合成することによって、図９Ｃに示すエッジ合成画像ＰＣ７が生成される。なお、このエッジ合成画像生成処理では、エッジ補完画像は、パルスノイズを除去するために、ｍｅｄｉａｎフィルタによるノイズ除去され、エッジ処理画像は、最小値が０となるように次式１によって処理された後に、エッジ合成画像が生成されてもよい。
式１；ｓ２（ｉ，ｊ）＝ｓ１（ｉ，ｊ）－ｍｉｎ＿ｓ１＋ｍｉｎ＿ｋ
ここで、ｓ１（ｉ，ｊ）は、画素位置ｉ，ｊでのエッジ処理画像Ｓ１の画素値であり、ｓ２（ｉ，ｊ）は、画素位置ｉ，ｊでの処理後のエッジ処理画像Ｓ２の画素値であり、ｍｉｎ＿ｓ１は、エッジ処理画像Ｓ１の最小画素値であり、ｍｉｎ＿ｋは、エッジ処理画像Ｓ１における最小画素値から最大画素値までの幅ｗ＿ｓ１と処理前のエッジ補完画像Ｄ３における最小画素値から最大画素値までの幅ｗ＿ｄ３と和が２５６以下である場合では１とし、前記和が２５６を超える場合では（ｗ＿ｓ１＋ｗ＿ｄ３）／２５６とする。また、このエッジ合成画像生成処理では、合成後のエッジ合成画像に対し、前記正規化処理や前記ノイズ除去処理が実施されてもよい。例えば、画像の画素値の最大値およびその最小値がレンジ幅の最大値２５５およびその最小値０となるように、画素値にゲインオフセットをかける正規化処理が実施され、ｃｌｏｓｅフィルタによるノイズ除去処理が実施されてもよい。

【0060】

次に、領域分割処理装置Ｓは、制御処理部１の領域分割画像生成部１３によって、領域分割画像生成処理を実施する（Ｓ７）。より具体的には、領域分割画像生成部１３は、処理Ｓ６によってエッジ合成画像生成部１２２で生成したエッジ合成画像を領域境界線画像として、前記エッジ合成画像に、上述した公知のｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって、被写体ごとに領域分割した領域分割画像を生成する。このような処理によって、例えば図９Ｃに示すエッジ合成画像ＰＣ７から、図１０Ａに示す領域分割画像ＰＣ８が生成される。図１０Ａに示す領域分割画像ＰＣ８と対比するために、図２Ａに示す画像ＰＣ１からマニュアル作成した領域分割画像の比較画像ＰＣ９が図１０Ｂに示されている。これらを対比すると分かるように、図１０Ａに示す領域分割画像ＰＣ８では、過剰分割がなく、欠落粒界が補完され、粒界以外のノイズが除去されており、材料特性の解析を実施し得る十分な精度で結晶粒ごとに領域が分割されている。

【0061】

そして、領域分割処理装置Ｓは、制御処理部１の制御部１１によって、処理Ｓ７で領域分割画像生成部１３で生成した領域分割画像を出力部３に出力し（Ｓ８）、本処理を終了する。なお、必要に応じて、領域分割画像は、ＩＦ部４を介して外部の機器へ出力されてもよい。

【0062】

以上説明したように、本実施形態における領域分割処理装置Ｓ（領域境界線検出装置）ならびにこれに実装された領域境界線検出方法および領域境界線検出プログラムは、エッジ処理画像に、低解像度化処理を含む画像処理を実施するので、境界線の一部が欠落していても、前記エッジ処理画像のエッジが低解像度化により欠落部分に伸びて欠落部分の境界線を補い、前記エッジ処理画像とエッジ補完画像とを合成するので、欠落部分の境界線を補完したエッジ合成画像を生成できる。よって、上記領域分割処理装置Ｓ（領域境界線検出装置）、領域境界線検出方法および領域境界線検出プログラムは、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる。

【0063】

上記領域分割処理装置Ｓ（領域境界線検出装置）、領域境界線検出方法および領域境界線検出プログラムは、ｗａｔｅｒｓｈｅｄアルゴリズムの画像処理を実施することによって被写体ごとに領域分割する場合に、例えば領域にくびれが有るとそこで領域分割されてしまい過剰に領域が分割される傾向があるが、上記領域分割処理装置Ｓ（領域境界線検出装置）、領域境界線検出方法および領域境界線検出プログラムは、第２画素値範囲を超える画素値を、定数の設定値に置き換えて前記定数の設定値に切り揃えるので、欠落部分の境界線の補完を制約でき、過剰な領域分割を抑制できる。また、微細なエッジのうねりがある場合も、過剰に領域が分割される傾向があるが、上記領域分割処理装置Ｓ（領域境界線検出装置）、領域境界線検出方法および領域境界線検出プログラムは、画素値を、前記画素値が属する第１画素値範囲に対応付けられた代表画素値に置き換えるので、前記うねりに起因する過剰な領域分割を抑制できる。

【0064】

上記領域分割処理装置Ｓ（領域境界線検出装置）、領域境界線検出方法および領域境界線検出プログラムは、前処理を実施するので、エッジ処理画像のエッジに幅がある場合に前記幅を調整でき、前記エッジ処理画像のエッジから、境界線ではないノイズを除去できる。

【0065】

本実施形態によれば、上記領域境界線検出装置、領域境界線検出方法および領域境界線検出プログラムを備えた領域分割処理装置が提供できる。 上記領域分割処理装置Ｓは、境界線を検出し難い画像でも境界線を補完することによって境界線を検出できる領域境界線検出装置を備えるので、事前に領域数が分かっていない場合や、領域の大きさがばらついている場合や、領域の境界線が検出し難い場合や、領域内部に、境界とは異なるノイズが含まれている場合でも、被写体ごとに検出したエッジに基づきｗａｔｅｒｓｈｅｄアルゴリズムの画像処理で前記被写体ごとに領域分割できる。

【0066】

なお、上述の実施形態において、前記エッジ検出処理でＣａｎｎｙフィルタが用いられる場合に、補完画像生成部１２１は、前記Ｃａｎｎｙフィルタの第１および第２パラメータを最適化してもよい。前記Ｃａｎｎｙフィルタによるエッジ検出処理では、まず、第１に、Ｇａｕｓｓｉａｎフィルタによってノイズ除去が実施され、第２に、Ｓｏｂｅｌフィルタによって画像の輝度勾配が検出され、第３に、当該画素が各画素に対して勾配方向について最大値である否かを判定することによって、非極大値が抑制され、そして、第４に、正しいエッジか否かが前記第１および第２パラメータｍｉｎＶａｌ、ｍａｘＶａｌによって判定される。すなわち、当該画素の画素値の微分値が第１パラメータｍｉｎＶａｌ以下である場合には、当該画素が正しいエッジではないと判定され、当該画素の画素値の微分値が第２パラメータｍａｘＶａｌ以上である場合には、当該画素が正しいエッジであると判定され、当該画素の画素値の微分値が第１および第２パラメータｍｉｎＶａｌ、ｍａｘＶａｌの間にある場合には、当該画素が正しいエッジに繋がっていれば正しいエッジであると判定され、当該画素が正しいエッジに繋がっていなければ正しいエッジではないと判定される。

【0067】

より具体的には、補完画像生成部１２１は、第１および第２領域面積割合に基づく評価関数で前記Ｃａｎｎｙフィルタにおける２個の第１および第２パラメータを最適化し、前記最適化した第１および第２パラメータのＣａｎｎｙフィルタを用いて前記エッジ検出処理を実施することによって、前記画像から前記エッジ処理画像を生成する。ここで、前記第１および第２パラメータを最小画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した基準画像において、所定の閾値以下の長さまたは面積を持つエッジを第１抽出画像とし、前記閾値を超えた長さまたは面積を持つエッジを第２抽出画像とした場合に、前記第１領域面積割合は、前記第１抽出画像の合計面積に対する、前記第１および第２パラメータを或る画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した評価画像で検出されなかった第１抽出画像の合計面積の割合であり、前記第２領域面積割合は、前記第２抽出画像の合計面積に対する、前記評価画像で検出されなかった第２抽出画像の合計面積の割合である。このような領域境界線検出装置Ｓ（領域境界線検出装置）は、Ｃａｎｎｙフィルタの第１および第２パラメータを自動的に最適化でき、この最適化した第１および第２パラメータのＣａｎｎｙフィルタを用いて前記エッジ検出処理を実施するので、エッジをより精度良く検出したエッジ処理画像を生成できる。より詳しくは、以下の通りである。

【0068】

図１１は、Ｃａｎｎｙフィルタにおける第１および第２パラメータを最適化する動作を示すフローチャートである。図１２は、一例として、前記最適化で生成される各画像を示す図である。図１２Ａは、第１および第２パラメータを最小画素値０に設定したＣａｎｎｙフィルタで図２Ａに示す画像をフィルタリングすることによって生成された基準画像を示し、図１２Ｂは、図１２Ａに示す基準画像から抽出した第１抽出画像を示し、図１２Ｃは、図１２Ａに示す基準画像から抽出した第２抽出画像を示し、図１２Ｄは、最適化した第１および第２パラメータを持つＣａｎｎｙフィルタで図２Ａに示す画像をフィルタリングすることによって生成されたエッジ処理画像を示す。

【0069】

図１１において、まず、補完画像生成部１２１は、エッジ検出の対象画像に対する基準画像を生成する（Ｓ１１）。より具体的には、補完画像生成部１２１は、前記対象画像に含まれるエッジの可能性がある全ての線（エッジ、検出線）を抽出するために、第１および第２パラメータｍｉｎＶａｌ、ｍａｘＶａｌを最小画素値に設定したＣａｎｎｙフィルタで前記対象画像をフィルタリングすることによって前記基準画像を生成する。前期最小画素値は、例えば画素値が０から２５５までの輝度値である場合、０であり、第１および第２パラメータｍｉｎＶａｌ、ｍａｘＶａｌは、０に設定される（ｍｉｎＶａｌ＝０、ｍａｘＶａｌ＝０）。例えば、図２Ａに示す画像ＰＣ１から、図１２Ａに示す基準画像ＣＰ１０が生成される。

【0070】

次に、補完画像生成部１２１は、処理Ｓ１１によって生成した基準画像における第１および第２抽出画像を抽出する（Ｓ１２）。前記第１抽出画像は、予め適宜に設定された所定の閾値以下の長さまたは面積を持つエッジ（検出線）であり、前期第２抽出画像は、前記閾値を超えた長さまたは面積を持つエッジである。例えば、図１２Ａに示す基準画像ＰＣ１０から、図１２Ｂに示す第１抽出画像（前記条件を満たす各エッジ（各検出線）の集合）ＣＰ１１が生成され、図１２Ｃに示す第２抽出画像ＣＰ１２（前記条件を満たす各エッジ（各検出線）の集合が生成される。

【0071】

次に、補完画像生成部１２１は、処理Ｓ１２によって生成した第１および第２抽出画像それぞれについて、各合計面積を求める（Ｓ１３）。例えば、図１２Ｂに示す第１抽出画像ＰＣ１１の合計面積が求められ、図１２Ｃに示す第２抽出画像ＣＰ１２の合計面積が求められる。Ｃａｎｎｙフィルタが検出したエッジの幅は、一定であるので、各抽出画像の領域面積の評価は、領域長さの評価と等価である。例えば、金属組織のＳＥＭ画像や光顕画像において粒界として検出されるエッジは、粒内の模様から検出されるエッジが短いことが多いため、この処理によって、前記閾値に基づき粒内模様のエッジと粒界のエッジとが判別でき、したがって、後述のように、最適な第１および第２パラメータが設定できる。

【0072】

次に、補完画像生成部１２１は、第１および第２領域面積割合に基づく所定の評価関数でＣａｎｎｙフィルタにおける２個の前記第１および第２パラメータを最適化することによって、最適な前記第１および第２パラメータを求める（Ｓ１４）。前記評価関数は、第１領域面積割合と第２領域面積割合とを乗算した関数式である。ここで、前記第１領域面積割合は、前記第１抽出画像の合計面積に対する、前記第１および第２パラメータを或る画素値に設定したＣａｎｎｙフィルタで前記画像をエッジ検出処理することによって生成した評価画像で検出されなかった第１抽出画像の合計面積の割合であり、前記第２領域面積割合は、前記第２抽出画像の合計面積に対する、前記評価画像で検出されなかった第２抽出画像の合計面積の割合である。そして、補完画像生成部１２１は、前記或る画素値を変化させながら前記評価関数を最大化することによって、前記第１および第２パラメータを最適化して求める。最適化には、例えば、公知の、ニュートン法やシンプレックス法等の最適化計算法が用いられる。

【0073】

そして、補完画像生成部１２１は、これら最適化した第１および第２パラメータのＣａｎｎｙフィルタを用いて前記エッジ検出処理を実施することによって、前記対象画像から前記エッジ処理画像を生成し、本処理を終了する（Ｓ１５）。例えば、図２Ａに示す画像ＰＣ１から、図１２Ｄに示すエッジ処理画像ＣＰ１３が生成される。同一のサンプルを異なるタイミング（時点）で撮影した際には、コントラストが異なってしまう場合があるが、このように第１および第２パラメータを自動的に設定することにより、同一の第１および第２パラメータでエッジ処理画像が生成できる。

【0074】

なお、上述の実施形態では、金属組織を対象としたが、上述したように、対象は、任意であり、例えば、基板表面の圧痕を検査するための圧痕画像や、金属の腐食を検査するための金属腐食画像等が挙げられる。前記圧痕画像の場合、圧痕の境界線を抽出することで圧痕サイズや形状がより正確に評価できる。前記金属腐食画像の場合、腐食領域の境界線を抽出することで、腐食面積や腐食域がより正確に評価できる。

【0075】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0076】

Ｓ 領域境界線検出装置を備えた領域分割処理装置
１ 制御処理部
２ 入力部
３ 出力部
４ インターフェース部（ＩＦ部）
５ 記憶部
１１ 制御部
１２ 領域境界線検出部
１３ 領域分割画像生成部
１２１ 補完画像生成部
１２２ エッジ合成画像生成部
１２１１ 前処理部
１２１２ 距離画像生成処理部
１２１３ 低解像度化処理部
１２１４ エッジ補完画像生成処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】