特許 7435840 画像処理方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】画像処理方法、装置及び記憶媒体

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240214BHJP

   G06T 7/00 20170101ALI20240214BHJP

   G06V 10/34 20220101ALI20240214BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610B

G06V10/34

【請求項の数】 11

(21)【出願番号】P 2023004967

(22)【出願日】2023-01-17

(65)【公開番号】P2023104915

(43)【公開日】2023-07-28

【審査請求日】2023-01-17

(31)【優先権主張番号】202210048889.5

(32)【優先日】2022-01-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】イフェイ ジャン

(72)【発明者】

【氏名】ジチョン ワン

(72)【発明者】

【氏名】ティン ツァオ

(72)【発明者】

【氏名】ホアヌ ジィア

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１７－０５３８１２（ＪＰ，Ａ）

【文献】特開２００３－１０８６１７（ＪＰ，Ａ）

【文献】特開２０２０－１４８６２５（ＪＰ，Ａ）

【文献】特開２０１１－２１００４４（ＪＰ，Ａ）

【文献】特表２０１８－５３１５６３（ＪＰ，Ａ）

【文献】特表２０２１－５２６６９５（ＪＰ，Ａ）

【文献】谷口 和隆、外３名，“多重スライス画像によるムラの定量化”，電気学会研究会資料 産業システム情報化研究会，日本，社団法人電気学会，2006年11月24日，pp.17-22

【文献】Xiaohu Lu et al.，"CannyLines: A parameter-free line segment detector"，2015 IEEE International Conference on Image Processing (ICIP)，米国，IEEE，2015年09月27日，pp.507-511

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する画像処理方法であって、
欠陥特徴を含む対象画像を取得するステップと、
前記対象画像から少なくとも１つの線分を特定するステップと、
前記少なくとも１つの線分に対して延長処理を行うステップと、を有し、
前記少なくとも１つの線分における特定の線分に対する前記延長処理は、
前記特定の線分の主方向及び接線方向に基づいて、前記特定の線分を延長するための延長方向を決定し、
前記特定の線分の長さに基づいて、前記特定の線分を延長するための延長長さを決定し、及び
前記延長方向及び前記延長長さを用いて前記特定の線分を延長し、前記対象画像における欠陥特徴に関連する延長後の線分を取得することを含む、画像処理方法。

【請求項2】

前記少なくとも１つの線分を特定する前に、適応ヒストグラム均等化方法に基づいて、前記対象画像に対して前処理を行い、且つ前処理後の対象画像から前記少なくとも１つの線分を特定する、請求項１に記載の画像処理方法。

【請求項3】

前記対象画像から少なくとも１つの線分を特定するステップは、
前記対象画像に対して周波数領域フィルタリングに基づく処理を行い、高周波情報を保持する第１の結果画像を取得し、
前記対象画像に対して空間バイラテラルフィルタリングに基づく処理を行い、第２の結果画像を取得し、
前記第１の結果画像を前記第２の結果画像と融合させ、強化後の最終結果画像を取得し、及び
強化後の最終結果画像に対して２値化処理を行うことにより、少なくとも１つの線分領域を取得し、且つ骨格抽出アルゴリズムを用いて前記線分領域を細線化し、前記対象画像の前記少なくとも１つの線分を得ることを含む、請求項１に記載の画像処理方法。

【請求項4】

前記第１の結果画像及び前記第２の結果画像にそれぞれ第１の重み係数を設定するステップと、
設定後の第１の重み係数に基づいて、前記第１の結果画像と前記第２の結果画像とを融合するステップをさらに含む、請求項３に記載の画像処理方法。

【請求項5】

前記特定の線分を延長するための延長方向を決定するステップは、
前記特定の線分における第１の数の点の方向に基づいて、前記特定の線分の前記主方向を決定し、
前記特定の線分における端点に近い前記第１の数よりも少ない第２の数の点の接線方向に基づいて、前記特定の線分の前記接線方向を決定し、
前記主方向及び前記接線方向にそれぞれ第２の重み係数を設定し、及び
設定後の第２の重み係数に基づいて、前記特定の線分の延長方向を決定することを含む、請求項１に記載の画像処理方法。

【請求項6】

前記設定後の第２の重み係数は、前記特定の線分の曲率に基づいて調整され、あるいは、
前記設定後の第２の重み係数は、それぞれ前記第１の数及び前記第２の数と正の相関がある、請求項５に記載の画像処理方法。

【請求項7】

前記延長処理は、
特定された前記少なくとも１つの線分の中から条件を満たす線分を候補線分として選択し、及び
前記候補線分のみに対して前記延長処理を行うことを含み、
前記条件は、
線分の長さが第１の閾値よりも大きく、及び／又は、線分と、最も近い線分との間の距離が第２の閾値よりも小さいことを含む、請求項１に記載の画像処理方法。

【請求項8】

欠陥特徴を含む対象画像を取得する取得部と、
前記対象画像から少なくとも１つの線分を特定する特定部と、
前記少なくとも１つの線分に対して延長処理を行う処理部と、を有し、
前記少なくとも１つの線分における特定の線分に対する前記延長処理は、
前記特定の線分の主方向及び接線方向に基づいて、前記特定の線分を延長するための延長方向を決定し、
前記特定の線分の長さに基づいて、前記特定の線分を延長するための延長長さを決定し、及び
前記延長方向及び前記延長長さを用いて前記特定の線分を延長し、前記対象画像における欠陥特徴に関連する延長後の線分を取得することを含む、画像処理装置。

【請求項9】

プロセッサと、
前記プロセッサに接続されるメモリと、を有し、
前記メモリには、コンピュータプログラムが格納されており、
前記プロセッサは、前記コンピュータプログラムを実行することで、請求項１乃至７のうちの何れか１項に記載の画像処理方法を実現するように構成される、画像処理装置。

【請求項10】

コンピュータに、請求項１乃至７のうちの何れか１項に記載の画像処理方法を実行させるためのプログラム。

【請求項11】

請求項１０に記載のプログラムを記憶しているコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に画像処理の分野に関し、より詳細には、画像内の線分を延長するための画像処理方法、画像処理装置、及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

近年、コンピュータビジョン処理に基づく欠陥検出技術は、既に様々な業界に広く応用されており、該欠陥検出技術は、被検査物体の撮影画像に対して画像処理を行うことにより、被検査物体における欠陥有無を決定することができる。例えば、欠陥検出は、生産製造等の業界において非常に重要な応用があり、製造されたワークに対して欠陥検出を行うことにより、外観輪郭が要件を満たすワークを選別し且つ外観輪郭に欠陥が存在するワークを除去することで一定の製品合格率を満たす。

【0003】

しかしながら、従来の欠陥検出技術は、画像背景の乱れ、非線形照明及びコントラスト反転等の望ましくない条件下で、悪影響を受け、画像における割れ、欠け等の欠陥特徴が不連続又は不鮮明になる状況を招く恐れがある。

【0004】

従って、物体の欠陥を効果的に検出できる技術、特に、背景ノイズ、非線形照明、及びコントラスト反転の状況に対してロバストな画像処理技術が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の問題点に鑑み、本発明の目的は、画像内の線分を延長するための画像処理方法、画像処理装置、及びコンピュータ読み取り可能な記憶媒体を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の１態様によれば、欠陥特徴を含む対象画像を取得するステップと、前記対象画像から少なくとも１つの線分を特定（識別）するステップと、少なくとも１つの線分に対して延長処理を行うステップと、を有し、前記少なくとも１つの線分における特定（所定）の線分に対する前記延長処理は、特定の線分の主方向及び接線方向に基づいて、前記特定の線分を延長するための延長方向を決定し、前記特定の線分の長さに基づいて、前記特定の線分を延長する延長長さを決定し、前記延長方向及び前記延長長さを用いて前記特定の線分を延長し、前記対象画像における欠陥特徴に関連する延長後の線分を取得することを含む、画像処理方法が提供される。

【0007】

本発明の１実施例形態によれば、前記少なくとも１つの線分を特定する前に、適応ヒストグラム均等化方法に基づいて、前記対象画像に対して前処理を行い、且つ前処理後の対象画像から前記少なくとも１つの線分を特定する。

【0008】

本発明の１実施例形態によれば、前記対象画像から少なくとも１つの線分を特定するステップにおいては、前記対象画像に対して周波数領域フィルタリングに基づく処理を行い、高周波情報を保持する第１の結果画像を取得し、前記対象画像に対して空間バイラテラルフィルタリングに基づく処理を行い、第２の結果画像を取得し、前記第１の結果画像を前記第２の結果画像と融合させ、強化後の最終結果画像を取得し、強化後の最終結果画像に対して２値化処理を行うことにより、少なくとも１つの線分領域を取得し、且つ骨格抽出アルゴリズムを用いて前記線分領域を細線化し、前記対象画像の前記少なくとも１つの線分を得る。

【0009】

本発明の１実施例形態によれば、前記第１の結果画像及び前記第２の結果画像にそれぞれ重み係数を設定するステップと、設定後の重み係数に基づいて、前記第１の結果画像と前記第２の結果画像とを融合するステップをさらに含む。

【0010】

本発明の１実施例形態によれば、前記特定の線分を延長するための延長方向を決定するステップにおいては、前記特定の線分における第１の数の点の方向に基づいて、前記特定の線分の前記主方向を決定し、前記特定の線分における端点に近い前記第１の数よりも少ない第２の数の点の接線方向に基づいて、前記特定の線分の前記接線方向を決定し、前記主方向及び前記接線方向にそれぞれ重み係数を設定し、設定後の重み係数に基づいて、前記特定の線分の延長方向を決定する。

【0011】

本発明の１実施例形態によれば、設定後の重み係数は、該特定の線分の曲率に基づいて調整され、あるいは、設定後の重み係数は、それぞれ前記第１の数及び前記第２の数と正相関する（正の相関がある）。

【0012】

本発明の１実施例形態によれば、前記延長処理においては、特定された少なくとも１つの線分の中から条件を満たす線分を候補線分として選択し、前記候補線分のみに対して前記延長処理を行い、前記条件は、線分の長さが第１の閾値よりも大きく、及び／又は、線分と最も近い線分との間の距離が第２の閾値よりも小さいことを含む。

【0013】

本発明の別の態様によれば、欠陥特徴を含む対象画像を取得する取得部と、前記対象画像から少なくとも１つの線分を特定する特定部と、少なくとも１つの線分に対して延長処理を行う処理部と、を有し、前記少なくとも１つの線分における特定の線分に対する前記延長処理は、特定の線分の主方向及び接線方向に基づいて、前記特定の線分を延長するための延長方向を決定し、前記特定の線分の長さに基づいて、前記特定の線分を延長する延長長さを決定し、前記延長方向及び前記延長長さを用いて前記特定の線分を延長し、前記対象画像における欠陥特徴に関連する延長後の線分を取得することを含む、画像処理装置が提供される。

【0014】

本発明のさらに別の態様によれば、プロセッサと、コンピュータプログラム命令が格納されているメモリと、を有し、前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記プロセッサに、欠陥特徴を含む対象画像を取得するステップと、前記対象画像から少なくとも１つの線分を特定するステップと、少なくとも１つの線分に対して延長処理を行うステップと、を実行させ、前記少なくとも１つの線分における特定の線分に対する前記延長処理は、特定の線分の主方向及び接線方向に基づいて、前記特定の線分を延長するための延長方向を決定し、前記特定の線分の長さに基づいて、前記特定の線分を延長する延長長さを決定し、前記延長方向及び前記延長長さを用いて前記特定の線分を延長し、前記対象画像における欠陥特徴に関連する延長後の線分を取得することを含む、画像処理装置が提供される。

【0015】

本発明のさらに別の態様によれば、コンピュータプログラム命令を格納したコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサによって実行されると、欠陥特徴を含む対象画像を取得するステップと、前記対象画像から少なくとも１つの線分を特定するステップと、少なくとも１つの線分に対して延長処理を行うステップと、を実現し、前記少なくとも１つの線分における特定の線分に対する前記延長処理は、特定の線分の主方向及び接線方向に基づいて、前記特定の線分を延長するための延長方向を決定し、前記特定の線分の長さに基づいて、前記特定の線分を延長する延長長さを決定し、前記延長方向及び前記延長長さを用いて前記特定の線分を延長し、前記対象画像における欠陥特徴に関連する延長後の線分を取得することを含む、コンピュータ読み取り可能な記憶媒体が提供される。

【発明の効果】

【0016】

本発明によれば、画像から特定された線分の一部（ローカル）情報及び全体（グローバル）情報に基づいて、欠陥特徴が不連続であることを解消するように線分に対して延長処理を行うことができる。また、本発明によれば、照明ムラや背景ノイズ等による悪影響を排除し、欠陥特徴のエッジ情報を保持することができる。従って、本発明の画像処理方法及び画像処理装置は、複雑な背景、非線形照明、及びコントラスト反転を効果的に処理することができる。

【図面の簡単な説明】

【0017】

本発明の上記及び他の目的、特徴、利点は、添付の図面と併せて本発明の実施形態の以下の詳細な説明からより明らかになる。これらの図面は、本発明の実施形態のさらなる理解を提供するためのものであり、本明細書の一部を構成し、本発明の実施形態とともに本発明を説明するためのものであるが、本発明を限定するものではないことを理解されたい。さらに、図面においては、同様の参照番号は一般に同様の部分又はステップを表す。

【図1】本発明の実施形態に係る画像処理方法を示すフローチャートである。

【図2】本発明の実施形態に係る、亀裂を含むリング状ワークの画像である対象画像を示す図である。

【図3】本発明の実施形態に係る特定線分の延長処理を示す模式図である。

【図4】本発明の実施形態に係る延長処理後の線分を示す模式図である。

【図5】本発明の実施形態に係る線分特定方法を示すフローチャートである。

【図6】本発明の実施形態に係る、周波数領域フィルタリング及び空間領域フィルタリングの組み合わせによる画像強化を示す概略図である。

【図7】本発明の実施形態に係る画像処理装置の一例を示すブロック図である。

【図8】本発明の実施形態に係る画像処理装置の他の例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明に係る画像処理方法、画像処理装置及びコンピュータ読み取り可能な記録媒体の実施形態について図面を参照して説明する。当業者が本発明に記載の実施例から創造的労力を要することなく得られた全ての他の実施例は、いずれも本発明の保護範囲内に含まれるべきであり、且つ本明細書に記載の実施例は本発明の一部の実施例に過ぎず、本発明の全ての実施例ではなく、これらの実施例は説明的な、例示的なものに過ぎないため、本発明の範囲を限定するものと解釈すべきではないことを理解すべきである。また、本発明の説明の明確性及び簡潔性のために、当該技術分野で周知の機能や構成の詳細な説明は省略し、ステップ及び構成要素の重複説明も省略する。

【0019】

まず、図１を参照して、本発明の実施形態に係る画像処理方法の基本的なフローについて詳細に説明する。図１に示すように、画像処理方法は以下の処理を含むことができる。

【0020】

ステップＳ１０１では、欠陥特徴を含む対象画像を取得する。

【0021】

本発明の実施形態によれば、対象画像は、限定はしないが、有線又は無線手段を介して１つ又は複数の対象画像を受信する手段によって取得され得る。また、対象画像を取得するステップは、予め記憶された画像や、カメラ等の撮像装置により撮像された連続フレーム画像をメモリから取得するステップを含んでもよい。ここで、対象画像は画像撮像装置により撮像されたオリジナル画像であってもよく、該オリジナル画像はグレースケール又はカラーの画像であってもよく、且つオリジナル画像に対して各種の画像前処理を行った後に得られた処理後の画像であってもよい。ここで、このような画像前処理は、例えば、トリミング、拡大縮小、又は変形等の処理を含むがこれらに限定されない。

【0022】

さらに、本発明の実施形態によれば、対象画像に含まれる欠陥特徴は、製品又は建物の表面上の亀裂、裂け目、隙間、又は汚れなどの欠陥であってもよい。さらに、本発明の画像処理方法の特定の適用シナリオに応じて、画像内の欠陥特徴は、物体の表面上に現れる欠陥に限定されず、テクスチャ又は線など、画像内の任意のタイプの関心のある直線又は曲線の一部を広く含むことができることに留意されたい。

【0023】

ここでは、リング状ワークの画像を対象画像とする例について説明する。図２は、このようなリング状ワークの画像を示しており、該リング状ワークの表面には欠陥の特徴としての２つの割れが存在しているが、照明ムラ等の外的要因や撮像素子自体の内的要因から、図２に示すように、本来完全な割れが対象画像ではボケや不連続な画像と現れ、欠陥検出等の処理に悪影響を及ぼす。

【0024】

ステップＳ１０２において、対象画像から少なくとも１つの線分を特定する。

【0025】

図２に示すように、対象画像における亀裂は複数の線分として現れており、このステップでは、対象画像からこれらの線分を特定し、ステップＳ１０３において、特定した線分に対して延長処理を施す。

【0026】

次に、図３を参照して、本発明の実施形態に係る特定線分の延長処理について詳細に説明する。

【0027】

具体的には、画像から特定された少なくとも１つの線分のうち、延長処理が施されていない特定の線分については、その線分を延長処理するために、その特定の線分に関する延長方向及び延長長さを決定する必要がある。

【0028】

本発明の実施形態によれば、特定線分の主方向と接線方向とに基づいて、特定線分を延長するための延長方向が決定される。ここで、線分の主方向は該線分における大部分の点又は全ての点の方向の平均方向を指し、例えば、図３（ａ）に示すように、このような主方向は、該線分の全体方向及び傾向を反映する全体情報であってもよく、本発明の実施形態によれば、該線分における大部分の点（例えば、総数の５０％より大きい）又は全ての点の方向の平均方向を算出し、又は、最大数の点を代表可能な方向を選択することにより、該線分の主方向とすることができる。線分の接線方向は、該線分における端点に近い少数点（例えば、総数の５０％より小さい）の方向によって得られ、例えば、主方向のアルゴリズムと同様に、平均方向を求めるか、大部分の方向を選択することによって該線分の接線方向とすることができ、代替的に、該線分における端点に近い少数点で構成される曲線の近似（フィット）関数を導出することによって、対応する接線方向を得ることができる。上述した実施形態では、接線方向は線分の端部における方向や傾向を反映した局所情報に過ぎないため、線分の接線方向を特定する点の数は、線分の主方向を特定する点の数よりも少なくなければならない。

【0029】

また、特定の線分の主方向及び接線方向を決定した後、主方向及び接線方向にそれぞれ重み係数を設定し、設定した重み係数に基づいて特定の線分の延長方向を決定してもよく、例えば、以下の式（１）で表すことができる。

【数1】

【0030】

上記式においてD_tは、線分の末端の接線方向を表し、D_pは、線分の主方向を表し、D_Eは、線分の延長方向を表し、c_t及びc_pは、それぞれ接線方向及び主方向の重み係数であり、デフォルト設定は、

【数2】

である。各線分は両端を有し、必要に応じて線分の一端又は両端に対して対応する延長方向を決定してもよいことは理解すべきである。

【0031】

また、線分は、実際に曲率を有する曲線の一部と見なすことができ、即ち各線分は対応する曲率を有し、本発明の好ましい実施例によれば、特定の線分の接線方向及び主方向の重み係数は、該特定の線分の曲率に基づいて調整することができ、例えば、該特定の線分の曲率が大きいほど、該特定の線分の接線方向に設定される重み係数が大きくなり、それに応じて、該特定の線分の主方向に設定される重み係数が小さくなり、逆もまた同様である。あるいは、特定の線分の接線方向及び主方向の重み係数は、方向決定用の点の数と正相関させることもできる。このようにして、決定された延長方向は、所望の適用シーンでより正確になる。

【0032】

一方、本発明の実施形態によれば、特定の線分の長さに基づいて、特定の線分を延長するための延長長さが決定される。図３（ｂ）に示すように、線分の延長長さは、該線分自体の長さの４分の１であってもよいし、任意の割合であってもよい。例えば、次式（２）で表すことができる。

【数3】

【0033】

上記式において、L_cは、線分の長さを表す。L_Eは、線分の延長長さを示す。c_curveは、延長係数を示す。本発明の好ましい実施形態によれば、延長係数は、線分間の距離又はエッジとの距離に応じて調整することができる。このようにして、延長後の線分は、真の欠陥特徴に、より適合される。

【0034】

以上の処理により特定線分の延長方向及び延長長さが決定されると、決定された延長方向及び延長長さを用いて前記特定線分を延長し、延長後の線分を取得する。図４は、延長処理後の線分の概略図を示し、延長処理後の各線分は、連続的な完全な線分を形成し、割れが不連続となる状況を克服し、形成された完全な線分は、リング状ワークの割れにより形成されたパターンに対応するため、上記少なくとも１つの線分に対する延長処理により、対象画像における欠陥特徴を強化することができる。

【0035】

さらに、本発明の好ましい実施形態によれば、少なくとも１つの線分を特定する前に、適応ヒストグラム均等化方法に基づいて対象画像を前処理し、前処理された対象画像から少なくとも１つの線分を特定することも可能である。

【0036】

具体的には、画像の階調（グレースケール）ヒストグラムは、画像階調値分布に関する関数であり、画像中の階調値分布に対する統計的なグラフとみなすことができ、画像中にある階調値を有する画素が出現する確率を画像階調値分布の関数によって反映することができる。一般的に、暗い画像の階調ヒストグラムの分布は階調値が低い側に集中するように現れ、逆に、明るい画像の階調ヒストグラムの分布は階調値が高い側に集中するように現れる。一枚の画像の階調ヒストグラムがほぼ全階調値範囲をカバーする場合、即ち全階調値分布が均一な分布に近づくと、該画像は大きな階調ダイナミックレンジ及び高コントラストを有する。上述したように、対象画像における欠陥特徴である割れのボケや不連続の原因の一つは、照明ムラによる画像の階調ダイナミックレンジが狭くなり、画像の細部が失われることにある。

【0037】

従って、延長処理に用いられる線分を特定する前に、予め適応型ヒストグラム均等化方法により対象画像に対して処理を行い、例えば、適応型ヒストグラム均等化（Adaptive Histogram Equalization）、制限コントラスト適応型ヒストグラム均等化（Contrast Limited Adaptive Histogram Equalization）、及び適応型局所領域拡張（Local Region Stretch）ヒストグラム均等化等の方法により、画像の細部をより顕著化し、後続の少なくとも１つの線分に対する特定処理に役立つようにし、それに応じて、延長処理後の限定もより完全で、正確になる。

【0038】

また、本発明の好ましい実施形態によれば、周波数領域フィルタリングと空間領域フィルタリングとを組み合わせた方法を用いて画像を強化し、強化された画像から少なくとも１つの線分を抽出して後続の延長処理に用いることができる。図５及び図６を参照して該線分を特定する方法を具体的に説明する。

【0039】

図５は、本発明の実施形態に係る線分特定方法を示すフローチャートである。図５に示すように、該線分を特定する方法は以下の処理を含むことができる。

【0040】

ステップＳ５０１において、対象画像に対して周波数領域フィルタリングによる処理を行い、高周波情報を保持する第１の結果画像を得る。

【0041】

具体的には、図６に示す周波数領域フィルタリングに基づく処理の概略図のように、まず、フーリエ変換又は類似の周波数領域変換方法によって対象画像の周波数領域画像を取得し、次に、ハイパスフィルタで該周波数領域画像に対してフィルタリング処理を行い、画像中の高周波成分を保留し、その後、フィルタリング後の画像に対して逆変換処理を行い、最終的に第１の結果画像を得る。このようにして、潜在的な欠陥特徴に対応する高周波情報を保持しながら、第１の結果画像から低周波情報をフィルタリングするとともに、画像における不均一な照明の悪影響を排除することができる。

【0042】

一方、ステップＳ５０２では、対象画像に対して空間バイラテラルフィルタによる処理を行い、第２の結果画像を得る。

【0043】

具体的には、空間バイラテラルフィルタリングに基づく処理は、バイラテラルフィルタによって実現される空間（空間領域）フィルタリング処理であり、このようなバイラテラルフィルタは、画素の幾何学的な近接度を使用する以外に、さらに画素間の輝度／色差を考慮し、バイラテラルフィルタによる映像上のノイズの効果的な除去と、映像上のエッジ情報の保存を可能にする。このようなバイラテラルフィルタは、例えば、画素に対するユークリッド距離の関数と、画素に関する階調差の関数とから構成される。図６に示す空間バイラテラルフィルタリングに基づく処理の概略図のように、空間領域バイラテラルフィルタリングを行った後に第２の結果画像が得られる。

【0044】

なお、ステップＳ５０１及びＳ５０２の周波数領域フィルタによる処理と空間バイラテラルフィルタによる処理とは、同期して行われてもよいし、順次行われてもよい。

【0045】

しかしながら、上記周波数領域フィルタリングに基づく処理及び空間バイラテラルフィルタリングに基づく処理の両方においては、いずれもそれぞれの利点及び限界が存在し、例えば、空間領域フィルタリングは、鮮鋭化の効果が顕著であり、画像中の線を突出させることができ、このようなフィルタリング方法は、アルゴリズムがシンプルで、処理速度が速い等の利点を有するが、ノイズ低減と同時に、特にエッジ及び細部において画像ボケが発生するに対し、周波数領域フィルタリングのアルゴリズムは、比較的複雑であり、算出速度が遅く、ノイズ除去と同時に、エッジ情報の損失を引き起こし、画像エッジをぼかしてしまう。

【0046】

そこで、本発明では、さらに、周波数領域フィルタ処理結果画像と空間領域フィルタ処理結果画像とを融合することにより、強化後の最終結果画像を取得し、すなわち、次のステップＳ５０３において、第１の結果画像と第２の結果画像とを融合して、強化後の結果画像を取得する。図６に示すように、周波数領域フィルタリング後の結果画像と、空間領域バイラテラルフィルタリング後の結果画像とが融合され、強化画像が得られる。

【0047】

また、本発明の好ましい実施形態によれば、融合処理において、第１の結果画像及び第２の結果画像にそれぞれ重み係数を設定し、設定した重み係数に基づいて第１の結果画像と第２の結果画像とを融合することも可能であり、例えば、以下の式（３）で表すことができる。

【数4】

【0048】

上記式において、
（外１）

は、強化された最終結果画像を表し、
（外２）

は、周波数領域フィルタリング処理に対応する第１の結果マップを示す。
（外３）

は、空間領域フィルタ処理に対応する第２の結果マップを示す。c_f及びc_sは、それぞれ該第１の結果画像及び該第２の結果画像の重み係数であり、デフォルト設定は、

【数5】

となる。さらに、本発明の好ましい実施形態によれば、より細部の多い複雑な画像、例えば、欠陥特徴の数が多い画像に対して、周波数領域フィルタ処理の第１の結果画像の重み係数を増加し、それに応じて、空間領域フィルタ処理の第２の結果画像の重み係数を減少し、逆もまた同様である。

【0049】

図５に示す線分特定方法のフローに戻り、ステップＳ５０３において強化後の結果画像を取得した後は、ステップＳ５０４において、強化後の最終結果画像に対して２値化処理を行うことにより、少なくとも１つの大まかな線分領域を取得し、且つこのような線分領域に対して骨格抽出アルゴリズムを用いて細線化を行い、対象画像の少なくとも１つの線分を取得する。

【0050】

具体的には、２値化処理により、融合された結果画像を階調値が０又は２５５の画素のみからなる白黒画像に変換することにより、当該画像から比較的に大きな幅を有する線分、すなわち線分領域を得た上で、骨格抽出アルゴリズム（例えば、Skeletonize関数及びmedial_axis関数）により、当該領域から所望の幅（例えば、１画素程度）の線分が得られるまで、これらの線分領域の画素を剥離し元の形状を保持することにより、線分領域の細線化を図る。このようにして、画像内の余分な情報を除去し、関心のある構造及び形状情報を強化し、画像をより一層強化することができる。

【0051】

また、上記実施例の線分を特定する方法において、対象画像に対して周波数領域フィルタリングと空間領域フィルタリングを組み合わせた方法を直接用いて画像を強化してもよく、対象画像に対して本明細書に記載の適応ヒストグラム均等化方法のような前処理を行った後、前処理後の対象画像に対して周波数領域フィルタリングと空間領域フィルタリングを組み合わせた方法を用いて画像を強化してもよい。

【0052】

以上の処理により、対象画像から少なくとも１つの線分を特定・抽出して延長処理を行い、対象画像中の欠陥特徴に関する延長線分を得ることができる。

【0053】

しかしながら、図４から分かるように、対象画像から特定された複数の線分のうちの一部の線分は、欠陥特徴とは無関係のノイズである可能性があり、これらの欠陥特徴とは無関係の線分に対して、延長処理を行う必要がないため、本発明の好ましい実施例によれば、上記延長処理は、さらに特定された少なくとも１つの線分から条件を満たす線分を候補線分として選択し、且つ候補線分のみに対して延長処理を行い、ここで、満たすべき条件としては、線分の長さが第一閾値よりも大きいこと、又は線分と最も近い線分との距離が第二閾値よりも小さいこと、又は両者を含むことができる。このように、特定された少なくとも１つの線分の中から閾値より大きい長さを有する線分を選択するか、他の線分との距離が閾値より小さい線分を選択するか、あるいは上記２つの条件を同時に満たす線分を候補線分として選択することにより、画像中のノイズを除去して欠陥特徴に関連する線分のみを延長処理することで、画像処理方法の算出量を低減することができるとともに、欠陥検出の精度を向上させることができる。

【0054】

以上説明したように、本発明の実施形態に係る画像処理方法によれば、画像から特定された線分の局所情報と全体情報とに基づいて、線分の延長処理を行うことにより、欠陥特徴が不連続のケースを解消することができる。また、照明ムラや背景ノイズ等による悪影響を除去し、欠陥特徴のエッジ情報を保持することができる。

【0055】

次に、図７を参照して、本発明の実施形態に係る画像処理装置について説明する。

【0056】

図７は、本発明の実施形態に係る画像処理装置７００のブロック図である。図７に示すように、画像処理装置７００は、取得部７１０と、特定部７２０と、処理部７３０とを備える。図示された構成は例示的なものにすぎず、限定的なものではなく、画像処理装置７００は、これらのユニットに加えて他の構成要素を含むことができるが、これらの構成要素は本発明の実施形態の内容とは無関係であるため、本明細書では図示及び説明を省略することを理解されたい。

【0057】

また、本発明の実施形態に係る画像処理装置７００による以下の動作の具体的な詳細は、図１～図６を参照して上述した詳細とほぼ同様であるため、同様の詳細については、簡略化のために一部の説明を省略する。以下、画像処理装置７００の各モジュールや部材について逐一説明する。

【0058】

取得部７１０は、欠陥特徴を含む対象画像を取得するように構成される。取得部７１０によって実行される特定の処理は、図１に関連して上述したステップＳ１０１の対応内容と一致する。

【0059】

具体的には、本発明の実施形態によれば、前記取得部７１０は、携帯電話、カメラ、ビデオカメラ等の画像撮像装置であってもよく、又はこのような画像撮像装置から撮像画像を受信するための装置であってもよい。また、取得部７１０は、画像処理装置７００内の他のモジュールと物理的に分離されており、取得部７１０は、撮像画像を画像処理装置７００内の他のモジュールに有線又は無線で送信してもよい。あるいは、取得部７１０は、画像処理装置７００内の他のモジュールや構成要素と物理的に同じ位置に配置されていてもよいし、同じ筐体内に配置されていてもよい。前記画像処理装置７００内の他のモジュールや構成要素は、内部バスを介して取得部７１０が取得した画像を受信する。

【0060】

特定部７２０は、対象画像から少なくとも１つの線分を特定するように構成される。特定部７２０によって実行される特定の処理は、図１に関連して上述したステップＳ１０２の対応する内容と一致する。

【0061】

具体的には、本発明の実施形態によれば、前記特定部７２０が、取得部７１０により取得された対象画像から線分を特定し、処理部７３０が特定後の線分に対して延長処理を行う。

【0062】

また、本発明の好ましい実施形態によれば、特定部７２０は、少なくとも１つの線分を特定する前に、適応ヒストグラム均等化方法により対象画像を前処理し、前処理された対象画像から少なくとも１つの線分を特定することもできる。

【0063】

さらに、本発明の好ましい実施形態によれば、特定部７２０は、周波数領域フィルタリングと空間領域フィルタリングとの組合せにより画像を強化し、後続の延長処理用に強化画像から少なくとも１つの線分を抽出することができる。以上の図５、６を参照して具体的に説明した方法である。

【0064】

処理部７３０は、少なくとも１つの線分に対して延長処理を行うように構成され、ここで、少なくとも１つの線分のうちの特定の線分に対する延長処理は、特定の線分の主方向及び接線方向に基づき、特定の線分を延長するための延長方向を決定し、特定の線分の長さに基づき、特定の線分を延長するための延長長さを決定し、かつ延長方向及び延長長さを用いて特定の線分を延長し、対象画像における欠陥特徴に関連する延長後の線分を取得する。処理部７３０によって実行される具体的な処理は、図１に関連して上述したステップＳ１０３の対応内容と一致する。

【0065】

また、本発明の実施形態によれば、処理部７３０は、特定の線分の主方向及び接線方向に基づいて、特定の線分を延長するための延長方向を決定する。また、処理部７３０は、特定の線分の主方向及び接線方向を決定した後、上記式（１）に示すように、主方向及び接線方向にそれぞれ重み係数を設定し、設定した重み係数に基づいて特定の線分の延長方向を決定してもよい。一方、本発明の実施形態によれば、処理部７３０は、上記式（２）に示すように、特定の線分の長さに基づいて、特定の線分を延長するための延長長さを決定する。

【0066】

また、本発明の実施形態によれば、処理部７３０による上記延長処理においては、さらに特定された少なくとも１つの線分から条件を満たす線分を候補線分として選択し、且つ候補線分のみに対して延長処理を行い、ここで、満たすべき条件としては、線分の長さが第一閾値よりも大きいこと、又は線分と最も近い線分との距離が第二閾値よりも小さいこと、又は両者を含むことができる。

【0067】

次に、図８を参照して、本発明の実施形態に係る画像処理装置について説明する。

【0068】

図８は、本発明の実施形態に係る画像処理装置８００のブロック図である。図８に示すように、画像処理装置８００は、プロセッサ８１０とメモリ８２０とを備える。なお、該画像処理装置８００は、コンピュータ又はサーバであってもよい。図示された構成は例示的なものにすぎず、限定的なものではなく、画像処理装置８００は、これらのユニットに加えて他の構成要素を含むことができるが、これらの構成要素は本発明の実施形態の内容とは無関係であるため、本明細書では図示及び説明を省略することを理解されたい。

【0069】

また、本発明の実施形態に係る画像処理装置８００による以下の動作の具体的な詳細は、図１～図６を参照して上述した詳細とほぼ同様であるため、同様の詳細については説明を省略する。以下、画像処理装置８００の各ブロックについて逐一説明する。

【0070】

プロセッサ８１０は、中央処理装置（ＣＰＵ）、又はデータ処理能力及び／もしくは命令実行能力を有する他の形態の処理装置であってもよく、メモリ８２０に格納されたコンピュータプログラム命令を用いて所望の機能を実行することができ、コンピュータプログラム命令がプロセッサ８１０によって実行されると、以下のステップが実行される。即ち、欠陥特徴を含む対象画像を取得し、対象画像から少なくとも１つの線分を特定し、少なくとも１つの線分に対して延長処理を行い、ここで、少なくとも１つの線分のうちの特定線分に対する延長処理においては、特定線分の主方向及び接線方向に基づき、特定線分を延長するための延長方向を決定し、特定線分の長さに基づき、特定線分を延長するための延長長さを決定し、かつ延長方向及び延長長さを用いて特定線分を延長することにより、対象画像における欠陥特徴に関連する延長後の線分が得られる。プロセッサ８１０によって実行される上述のステップは、上述のステップＳ１０１～Ｓ１０３のそれぞれの内容と一致する。さらに、プロセッサ８１０は、図１～図６に関連して上述した各実施形態に対応する処理を実行することもできる。

【0071】

メモリ８２０は、１つ又は複数のコンピュータプログラム製品を含むことができ、前記コンピュータプログラム製品は、揮発性メモリ及び／又は不揮発性メモリなど、各種形態のコンピュータ読み取り可能な記憶媒体を含むことができる。前記コンピュータ読み取り可能な記憶媒体には、プロセッサ８１０に前記プログラム命令を実行させることで、上述した本発明の実施形態に係る画像処理装置の機能及び／又は他の所望の機能を実現し、及び／又は本発明の実施形態に係る画像処理方法を実行できるように、１つ以上のコンピュータプログラム命令が格納されてもよい。前記コンピュータで読み取り可能な記録媒体には、多様なアプリケーションプログラム及び各種データが保存されてもよい。

【0072】

次に、本発明の実施形態に係るコンピュータ読み取り可能な記憶媒体について説明する。本発明は、プロセッサによって実行されたときに、欠陥特徴を含む対象画像を取得するステップと、対象画像から少なくとも１つの線分を特定するステップと、少なくとも１つの線分に対して延長処理を実行するステップを実現し、少なくとも１つの線分のうちの特定の線分に対する延長処理は、特定の線分の主方向及び接線方向に基づいて特定の線分を延長する延長方向を決定するステップと、特定の線分の長さに基づいて特定の線分を延長する延長長さを決定するステップと、延長方向及び延長長さを使用して特定の線分を延長して、対象画像内の欠陥特徴に関連付けられる延長後の線分を取得するステップを含む、コンピュータプログラム命令を記憶したコンピュータ読み取り可能な記憶媒体を提供する。以上のステップは、上述したステップＳ１０１～Ｓ１０３に対応するものである。さらに、コンピュータプログラム命令は、プロセッサによって実行されると、図１～図６に関連して上述した実施形態に対応する処理を実施することもできる。

【0073】

上記画像処理装置における各部材又はモジュールはいずれもハードウェアで実現されてもよく、ソフトウェアで実現されてもよく、且つハードウェア及びソフトウェアの組み合わせで実現されてもよいことを理解すべきである。

【0074】

上記各実施例は例示的なものに過ぎず、限定的なものではなく、且つ当業者は、本発明の概念に基づいて上記の別々に説明した各実施例からいくつかのステップ及び装置を組み合わせて本発明の効果を実現することができ、このような組み合わせ及び組み合わせた実施例も本発明に含まれ、ここではこのような組み合わせ及び組み合わせについては、逐一説明しない。なお、本発明に記載された利点、効果等は、例示であって限定的なものではなく、本発明の各実施形態に必須であるとはならない。また、上記発明の具体的な詳細は、例示的な作用及び理解を容易にするための作用に過ぎず、限定的なものではなく、上記詳細は、本発明を上記具体的な詳細で実現しなければならないことを制限するものではない。

【0075】

本開示で言及されるモジュール、装置、デバイス、システムのブロック図は、例示的なものにすぎず、ブロック図によって示される方法で接続、配置、構成されなければならないことを必要とするか、又は暗示するものではない。当業者が理解できるように、これらのモジュール、装置、デバイス、システムは、任意の方法で接続され、配置され、構成され得る。さらに、「備える」、「含む」、「有する」などの単語は、「含むがこれに限定されない」ことを意味する非限定的な単語であり、互換的に用いられる。本明細書で使用される場合、単語「又は」及び「及び」は、単語「及び／又は」を指し、文脈がそうでないことを明確に示さない限り、互換的に用いられる。本明細書で使用される「など」という用語は、「限定はしないが」などの語句を指し、互換的に用いられる。

【0076】

本明細書におけるステップフロチャート及び上記の方法の説明は、例示的なものにすぎず、各実施形態のステップが提示された順序で実行されなければならないことを必要とするか暗示するものではない。当業者によって理解されるように、上記の実施形態におけるステップの順序は、任意の順序で行うことができる。「その後」、「続いて」、「次に」などの用語は、ステップの順序を限定することを意図するものではなく、これらの用語は、これらの方法の説明を読者に導くためにのみ使用される。さらに、単数の要素への冠詞「一つ」、「１」又は「該」、「前記」の使用のいかなる言及も、その要素を単数に限定するものとして解釈されるべきではない。

【0077】

また、本明細書における各実施形態のステップ及び装置は、ある実施形態に限定して実行されるものではなく、実際には、本発明の概念に基づいて本明細書の各実施形態における関連する一部のステップ及び一部の装置を組み合わせて新たな実施形態を構想することができ、これらの新たな実施形態も本発明の範囲内に含まれる。また、本明細書で開示される方法及び機能は、前述した方法を実装するための１つ又は複数の動作を含む。方法及び／又は動作は、特許請求の範囲から逸脱することなく互換可能である。言い換えれば、動作の特定の順序が指定されない限り、特定の動作の順序及び／又は使用は、特許請求の範囲から逸脱することなく修正され得る。

【0078】

上述の方法の様々な動作は、対応機能を実行可能な任意の適切な手段によって実行され得る。該手段は、様々なハードウェア及び／又はソフトウェア構成要素及び／又はモジュールを含むことができ、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、又はプロセッサを含むことができる。前述した様々な例示的な論理ブロック、モジュール、及び回路は、本明細書で説明した機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、又はそれらの任意の組合せにより、実装又は実行されてもよい。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサとの組合せ等のコンピューティングデバイスの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、又は任意の他のこのような構成として実装され得る。

【0079】

本発明に関連して説明した方法又はアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又はその２つの組合せに直接組み込むことができる。ソフトウェアモジュールは、任意の形態の有形記憶媒体に存在してもよい。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭなどを含む。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。あるいは、記憶媒体はプロセッサと一体であってもよい。ソフトウェアモジュールは、単一の命令又は多くの命令であってもよく、複数の異なるコードセグメントに、異なるプログラム間で、及び複数の記憶媒体にわたって分散されてもよい。

【0080】

従って、コンピュータプログラム製品は、本明細書で提示される動作を実行することができる。例えば、そのようなコンピュータプログラム製品は、命令が有形に格納（及び／又は符号化）されたコンピュータ可読有形媒体であってもよく、該命令は、本明細書で説明する動作を実行するために１つ又は複数のプロセッサによって実行可能である。コンピュータプログラム製品は、包装された材料を含むことができる。ソフトウェア又は命令はまた、伝送媒体を介して伝送され得る。例えば、ソフトウェアは、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、もしくはマイクロ波などの無線技術などの伝送媒体を用いて、ウェブサイト、サーバ、又は他のリモートソースから送信してもよい。

【0081】

さらに、本明細書で説明する方法及び技法を実行するためのモジュール及び／又は他の適切な手段は、適切な場合、ユーザ端末及び／又は基地局によってダウンロードされ、及び／又は他の形式で取得され得る。例えば、そのようなデバイスは、本明細書で説明する方法を実行するための手段の配信を容易にするためにサーバに結合され得る。代替として、本明細書で説明する各種方法は、ユーザ端末及び／又は基地局が該デバイスに接続又は該デバイスに記録手段を提供した際に各種方法を取得できるように、記憶手段（例えば、ＲＡＭ、ＲＯＭ、ＣＤ又はフロッピーディスクなどの物理記憶媒体）を介して提供されてもよい。さらに、本明細書で説明する方法及び技法をデバイスに提供するための任意の他の適切な技法が利用できる。

【0082】

他の例及び実施形態は、本発明及び添付の特許請求の範囲の範囲及び趣旨内である。例えば、ソフトウェアの性質により、上述の機能は、プロセッサ、ハードウェア、ファームウェア、ハードワイヤード、又はこれらの任意の組み合わせによって実行されるソフトウェアを用いて実装され得る。機能を実装する特徴はまた、機能の一部が異なる物理的位置で実装されるように分散されるなど、種々の場所に物理的に位置してもよい。さらに、特許請求の範囲を含めて本明細書で使用される場合、「少なくとも１つ」で始まる項目の列挙において使用される「又は」は、別個の列挙を示し、例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」の列挙は、ＡもしくはＢもしくはＣ、又はＡＢもしくはＡＣもしくはＢＣ、又はＡＢＣ（すなわち、Ａ及びＢ及びＣ）を意味する。さらに、「例示的」という表現は、記載された例が他の例よりも好ましい又は良好であることを意味しない。

【0083】

本明細書に記載された技術に対する様々な変更、置換、及び改変は、添付の特許請求の範囲によって定義される教示の技術から逸脱することなく行うことができる。さらに、本発明の特許請求の範囲は、上述のプロセス、機械、製造、イベントの構成、手段、方法、及び動作の特定の態様に限定されない。本明細書に記載された対応態様と実質的に同じ機能を実行するか、又は実質的に同じ結果を達成する、既存の又は後に開発されるプロセス、機械、製造、イベントの構成、手段、方法、又は動作が用いられる。従って、添付の特許請求の範囲は、その範囲内に、そのようなプロセス、機械、製造、イベントの構成、手段、方法、又は動作を含む。

【0084】

本発明の態様の上記の説明は、当業者が本発明を作成又は使用することを可能にするために提供される。これらの態様に対する様々な修正は当業者には容易に明らかであり、本明細書で定義される一般原理は、本発明の範囲から逸脱することなく他の態様に適用され得る。従って、本発明は、本明細書に示された態様に限定されるものではなく、本発明の原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0085】

上記の説明は、例示及び説明の目的で提示されている。また、この説明は、本発明の実施形態を本発明の形態に限定するものではない。いくつかの例示的な態様及び実施形態が上記のように説明されたが、当業者であれば、それらのいくつかの変形、修正、変更、追加、及び下位組合せを認識することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】