特開 2022-113965 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022113965

(43)【公開日】2022-08-05

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/90 20170101AFI20220729BHJP

   G06T 7/62 20170101ALI20220729BHJP

【ＦＩ】

G06T7/90 D

G06T7/62

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021010004

(22)【出願日】2021-01-26

(71)【出願人】

【識別番号】000250502

【氏名又は名称】理想科学工業株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(72)【発明者】

【氏名】増田 心一郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA07

5L096CA16

5L096DA01

5L096FA15

5L096FA32

5L096FA59

5L096GA40

5L096MA07

(57)【要約】

【課題】特定の対象物と異物の分離を適切に行う。
【解決手段】画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出するオブジェクト抽出手段２１１と、オブジェクトの外縁領域以外の領域の画素値に基づいて、色に関する特徴量を、オブジェクト毎に、算出するオブジェクト特徴量算出手段２１２と、各オブジェクトの特徴量に基づいて、各オブジェクトを２つのクラスタのいずれかに分類する分類手段２１３と、分類された２つのクラスタに対して、色または面積のいずれかの１つを少なくとも含むクラスタ特徴量を算出するクラスタ特徴量算出手段２１４と、画像において、２つのクラスタ特徴量に基づいて、特定の対象物の領域を抽出する対象物抽出手段２１５と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

特定の対象物と異物が混在する画像において、前記特定の対象物を抽出する画像処理装置であって、
前記画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトの外縁領域以外の領域の画素値に基づいて、色に関する特徴量を、オブジェクト毎に、算出するオブジェクト特徴量算出手段と、
各オブジェクトの特徴量に基づいて、各オブジェクトを２つのクラスタのいずれかに分類する分類手段と、
前記分類された２つのクラスタに対して、色または面積のいずれかの１つを少なくとも含むクラスタ特徴量を算出するクラスタ特徴量算出手段と、
前記画像において、前記２つのクラスタ特徴量に基づいて、前記特定の対象物の領域を抽出する対象物抽出手段と、
備えることを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に係り、特に、特定の対象物と異物の分離を適切に行う画像処理装置に関する。

【背景技術】

【0002】

一般的に、撮影画像には、抽出したい画像のみならず、除去したい画像を含んでいることがあり、これらの画像を適切に分離させることが必要となる。

【0003】

図１は、一般的な閾値による画像抽出を説明した説明図である。（ａ）は、シアンインクのドットの薄片を撮影した原稿画像を示しており、図１（ｂ）～（ｃ）は、特許文献１に記載の技術において、閾値に基づいて抽出される画像の一例を示している。

【0004】

図１（ａ）に示すように、原稿画像には、インク定着部領域ＩＫ１０１の画像と、異物領域ＩＢ１０１，１０３の画像とが含まれている。

【0005】

特許文献１の技術を用いて、特定の対象物であるインク定着部領域ＩＫ１０１の画像のみを抽出しようとする場合、原稿画像内の全画素の色の画素値（例えば、彩度の画素値）を抽出し、ある望ましい値（例えば、１５）を閾値とし、画素値が「０」～「１５」の画素は非抽出とし白で表示するように制御する。

【0006】

この場合、図１（ｂ）に示すように、人間の目でみれば明らかにインク定着部領域ＩＫ１０１の画像ではない異物領域ＩＢ１０１，１０３の画像も抽出されてしまっている。

【0007】

また、図１（ｃ）に示すように、異物領域ＩＢ１０１，１０３の画像を非抽出とすべく、閾値を「４２」に変更し、画素値が「０」～「４２」の画素を非抽出とすると、異物だけでなくインク定着部領域ＩＫ１０１の外縁も非抽出となり、インク定着部領域ＩＫ１０１全体が正確に抽出されなくなってしまう。これは、インク定着部領域ＩＫ１０１の外縁の画素値と異物の画素値が等しいため発生する。

【0008】

このように、一般的な閾値による画像抽出の技術では、インク定着部のみを正確に抽出することが困難であった。

【0009】

ここで、撮影画像において抽出したい画像と除去したい画像を分離させる技術として、主に口腔内の歯列を撮影した画像を対象として、歯に映った明るいかたまり（オブジェクト）が診断すべき患部であるのかもしくは単なる光の乱反射による雑音なのかを閾値と比較することにより判定し、雑音と判定したオブジェクトは削除し、患部が見やすい画像を出力する手法に関する技術が開示されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特許第５８６９８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、特許文献１に記載の技術では、判定手段はオブジェクトの面積のみに基づいており、患部が雑音と同程度の場合は両者を正確に判別できず、また、事前情報として判別の閾値を予め与えておく必要があった。

【0012】

このように、閾値による抽出方法では、インク定着物のような対象物と異物を含む画像の場合、インク定着部外縁の画素値と、異物の画素値が近いため、対象物と異物の分離を、正確にかつ手間をかけずに行うことができなかった。

【0013】

本発明は、このような課題に鑑みてなされたもので、特定の対象物と異物の分離を適切に行う画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0014】

上記目的を達成するため、本発明に係る画像処理装置の特徴は、
特定の対象物と異物が混在する画像において、前記特定の対象物を抽出する画像処理装置であって、
前記画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトの外縁領域以外の領域の画素値に基づいて、色に関する特徴量を、オブジェクト毎に、算出するオブジェクト特徴量算出手段と、
各オブジェクトの特徴量に基づいて、各オブジェクトを２つのクラスタのいずれかに分類する分類手段と、
前記分類された２つのクラスタに対して、色または面積のいずれかの１つを少なくとも含むクラスタ特徴量を算出するクラスタ特徴量算出手段と、
前記画像において、前記２つのクラスタ特徴量に基づいて、前記特定の対象物の領域を抽出する対象物抽出手段と、
を備えることにある。

【発明の効果】

【0015】

本発明に係る画像処理装置の特徴によれば、特定の対象物と異物の分離を適切に行うことができる。

【図面の簡単な説明】

【0016】

【図1】（ａ）は、シアンインクのドットの薄片を撮影した原稿画像を示しており、（ｂ）～（ｃ）は、特許文献１に記載の技術において、閾値に基づいて抽出される画像の一例を示している。

【図2】本発明の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。

【図3】本発明の実施形態に係る画像処理装置が備えるオブジェクト抽出手段により、抽出されたオブジェクトの例を示した図である。

【図4】（ａ）は、オブジェクトＬ１～Ｌ１４を特徴量空間にプロットした図であり、図４（ｂ）は、特徴量空間にプロットされたオブジェクトＬ１～Ｌ１４を、２つのクラスタに分類した図である。

【図5】本発明の実施形態に係る画像処理装置が備えるクラスタ特徴量算出手段により算出されたクラスタ特徴量を示した図である。

【図6】本発明の実施形態に係る画像処理装置に接続された外部装置に出力された画像の一例を示した図である。

【図7】本発明の実施形態に係る画像処理装置における処理内容を示したフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。

【0018】

また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。

【0019】

図２は、本発明の実施形態に係る画像処理装置１０のハードウェア構成を示すブロック図である。本図に示すように、画像処理装置１０は、コントローラ２０と画像読取機構３０とを備えている。画像処理装置１０は、画像読取機構３０で読み取った原稿の画像データから原稿の下地を除去して外部装置に出力する処理を行なう。

【0020】

画像読取機構３０は、光源、原稿台、原稿台カバー、電荷結合型撮像素子列であるＣＣＤ、ＣＣＤを走査させる駆動モータ、ＣＣＤの出力信号をデジタル信号に変換するＡＤコンバータ等を備えている。光源から原稿台に載置された原稿に光を照射し、その露光面の反射光をＣＣＤで読み取ることにより、原稿露光面の画像データを取得する。原稿台カバーは、原稿台に載置された原稿を押さえるとともに外光を遮断する役割を担っている。この原稿台カバーは、ＣＣＤの読み取り範囲よりも原稿が小さい場合に画像データへの影響を少なくするために白色となっている。また、原稿台カバーにオートシートフィーダ機能を備えさせるようにしてもよい。

【0021】

コントローラ２０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、インタフェース２４を備えている。ＣＰＵ２１は、ＲＯＭ２２に記録されたプログラムにしたがって処理を行なうことで、画像読取機構３０の光学的な原稿読取動作を制御するとともに、読み取った原稿画像からインク定着部領域の画像を適切に抽出する画像処理を行なう。ＲＡＭ２３は、この際の作業領域として用いられる。インタフェース２４は、ＵＳＢ等の所定のプロトコルを用いて外部装置との通信を行なう。なお、ここでは、ＣＰＵ２１は、読み取った原稿画像からインク定着部領域の画像を適切に抽出する画像処理を行うが、これに限らない。例えば、インタフェース２４を介して取得した原稿画像からインク定着部領域の画像を適切に抽出する画像処理を行うようにしてもよい。

【0022】

ＣＰＵ２１は、その機能上、オブジェクト抽出手段２１１と、オブジェクト特徴量算出手段２１２と、分類手段２１３と、クラスタ特徴量算出手段２１４と、対象物抽出手段２１５と、画像出力手段２１６とを備える。

【0023】

オブジェクト抽出手段２１１は、図１（ａ）に示した原稿画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出する。

【0024】

図３は、本発明の実施形態に係る画像処理装置１０が備えるオブジェクト抽出手段２１１により、抽出されたオブジェクトの例を示した図である。

【0025】

図３に示すように、オブジェクト抽出手段２１１は、原稿画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させて、オブジェクトＬ１～Ｌ１６を抽出している。ここでは、オブジェクトそれぞれを識別可能となるようにラベルとしてＬ１～Ｌ１６を付与している。

【0026】

オブジェクト特徴量算出手段２１２は、オブジェクトＬ１～Ｌ１６の外縁領域以外の領域の画素値に基づいて、色に関する特徴量を、オブジェクトＬ１～Ｌ１６毎に、算出する。ここでは、各オブジェクトＬ１～Ｌ１６の色に関する特徴量をそれぞれの代表色とし、オブジェクトＬ１～Ｌ１６を構成する画素のR, G, Bの平均値を算出する。

【0027】

分類手段２１３は、各オブジェクトの特徴量に基づいて、各オブジェクトを２つのクラスタのいずれかに分類する。

【0028】

図４（ａ）は、オブジェクトＬ１～Ｌ１６を特徴量空間にプロットした図であり、図４（ｂ）は、特徴量空間にプロットされたオブジェクトＬ１～Ｌ１６を、２つのクラスタに分類した図である。

【0029】

図４（ｂ）に示すように、分類手段２１３は、特徴量空間にプロットされたオブジェクトＬ１～Ｌ１６について、クラスタ分析を行うことにより、２つのクラスタＣ１，Ｃ２のどちらかに分類する。ここでは、クラスタ分析のアルゴリズムとして、非階層的手法であるk-means法を用いている。なお、クラスタ分析のアルゴリズムは様々あり、いずれのアルゴリズムを用いてもよいが、今回のようにインク定着部と異物の二つに分類したい、即ちクラスタ数が２つと決まっている場合は非階層的手法が望ましい。

【0030】

図４（ｂ）に示すように、オブジェクトＬ１～Ｌ１２はクラスタＣ１に分類されており、オブジェクトＬ１３～Ｌ１６はクラスタＣ２に分類されている。

【0031】

この段階では、２つのクラスタＣ１，Ｃ２のうち、いずれのクラスタがインク定着部領域ＩＫ１０１に対応しているかはわからない。

【0032】

そこで、クラスタ特徴量算出手段２１４は、分類された２つのクラスタに対して、色または面積のいずれかの１つを少なくとも含むクラスタ特徴量を算出する。

【0033】

図５は、クラスタ特徴量算出手段２１４により算出されたクラスタ特徴量を示した図である。

【0034】

図５に示すように、クラスタ特徴量算出手段２１４は、オブジェクトＬ１～Ｌ１２それぞれ面積を求め、２つのクラスタＣ１，Ｃ２についてそれぞれの平均をクラスタ特徴量として算出している。

【0035】

ここでは、クラスタＣ１のクラスタ特徴量である平均面積が「１３８３．５８」として算出され、クラスタＣ２のクラスタ特徴量である平均面積が「３０．２５」として算出されている。

【0036】

対象物抽出手段２１５は、画像において、２つのクラスタＣ１，Ｃ２それぞれのクラスタ特徴量に基づいて、特定の対象物の領域（インク定着部領域ＩＫ１０１）を抽出する。

【0037】

図１（ａ）に示すように、インク定着部領域ＩＫ１０１のオブジェクトの面積より、異物領域ＩＢ１０１，１０３のオブジェクトの面積の方が平均的に小さい。また、インク定着部領域ＩＫ１０１では、オブジェクトの面積が小さいものから大きいものまであるが、異物領域ＩＢ１０１，１０３では、オブジェクトの面積が小さいものしかない。

【0038】

そこで、対象物抽出手段２１５は、２つのクラスタＣ１，Ｃ２それぞれのクラスタ特徴量に基づいて、例えば、対象物抽出手段２１５は、２つのクラスタＣ１，Ｃ２それぞれのクラスタ特徴量に基づいて、平均面積の大きいクラスタＣ１をインク定着部領域ＩＫ１０１として抽出する。また、対象物抽出手段２１５は、面積のバラツキの大きいクラスタＣ１をインク定着部領域ＩＫ１０１として抽出するようにしてもよい。

【0039】

これにより、クラスタＣ１をインク定着部領域ＩＫ１０１とし、クラスタＣ２を異物領域ＩＢ１０１，１０３として決定することができる。

【0040】

画像出力手段２１６は、インク定着部領域ＩＫ１０１を抽出した画像を、インタフェース２４を介して外部装置に出力する。

【0041】

図６は、外部装置に出力された画像の一例を示した図である。

【0042】

図６に示すように、原稿画像から、クラスタＣ２である異物領域ＩＢ１０１，１０３を削除し、クラスタＣ１であるインク定着部領域ＩＫ１０１のみを抽出された画像が出力されている。

【0043】

図７は、本発明の実施形態に係る画像処理装置１０における処理内容を示したフローチャートである。

【0044】

図７に示すように、画像読取機構３０から画像が入力されると（ステップＳ１０１）、オブジェクト抽出手段２１１は、原稿画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出する（ステップＳ１０３）。

【0045】

ステップＳ１０５において、オブジェクト抽出手段２１１は、抽出したオブジェクトそれぞれを識別可能となるようにラベルとしてＬ１～Ｌ１６を付与する。

【0046】

ステップＳ１０７において、オブジェクト特徴量算出手段２１２は、オブジェクトＬ１～Ｌ１６の外縁領域以外の領域の画素値に基づいて、色に関する特徴量を、オブジェクトＬ１～Ｌ１６毎に算出する。

【0047】

ステップＳ１０９において、分類手段２１３は、各オブジェクトの特徴量に基づいて、各オブジェクトを２つのクラスタのいずれかに分類する。

【0048】

ステップＳ１１１において、クラスタ特徴量算出手段２１４は、分類された２つのクラスタに対して、色または面積のいずれかの１つを少なくとも含むクラスタ特徴量を算出する。

【0049】

ステップＳ１１３において、対象物抽出手段２１５は、画像において、２つのクラスタＣ１，Ｃ２それぞれのクラスタ特徴量に基づいて、異物の領域（異物領域ＩＢ１０１，１０３）を除去し、特定の対象物の領域（インク定着部領域ＩＫ１０１）を抽出する。

【0050】

ステップＳ１１５において、画像出力手段２１６は、インク定着部領域ＩＫ１０１を抽出した画像を、インタフェース２４を介して外部装置に出力する。

【0051】

なお、本実施形態では、オブジェクト抽出手段２１１は、原稿画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出したが、さらに、入力された原稿画像に対し、予め求めておいた非抽出対象の領域がとりうる画素値に該当する画素を非抽出対象としてマスクすることで、特定の領域を抽出するようにしてもよい。

【0052】

これにより、背景となる紙白と同色の領域をマスクでき、インク定着部領域がより正確に抽出されるようになる。

【0053】

なお、本実施形態では、クラスタ特徴量算出手段２１４は、２つのクラスタＣ１，Ｃ２の面積平均をクラスタ特徴量として算出したが、これに限らず、２つのクラスタＣ１，Ｃ２の色の平均をクラスタ特徴量として算出するようにしてもよい。

【0054】

色はクラスタ間で差が大きいため、より正確にどちらのクラスタが異物かを判定することができる。

【0055】

（付記１）
特定の対象物と異物が混在する画像において、前記特定の対象物を抽出する画像処理装置であって、
前記画像内の各画素に対して、所定の値を満たす画素値となる画素を連結させたオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトの外縁領域以外の領域の画素値に基づいて、色に関する特徴量を、オブジェクト毎に、算出するオブジェクト特徴量算出手段と、
各オブジェクトの特徴量に基づいて、各オブジェクトを２つのクラスタのいずれかに分類する分類手段と、
前記分類された２つのクラスタに対して、色または面積のいずれかの１つを少なくとも含むクラスタ特徴量を算出するクラスタ特徴量算出手段と、
前記画像において、前記２つのクラスタ特徴量に基づいて、前記特定の対象物の領域を抽出する対象物抽出手段と、
備えることを特徴とする画像処理装置。

【0056】

これにより、オブジェクトの特徴を表す色が特徴量として抽出され、これに基づいて、特定の対象物の領域（インク定着部領域）を抽出するので、オブジェクトが特定の対象物か、異物か明確になる。そのため、特定対象物の外縁領域の画素値と異物の画素値が近似することにより、特定の対象物と異物の分離を正確に行うことができる。これにより、先行文献のように、手間をかけ事前情報として判別の閾値を予め与えても特定の対象物と異物の分離が正確に行えないような事態が回避され、特定の対象物と異物の分離を適切に行うことができる。

【符号の説明】

【0057】

１０ 画像処理装置
２０ コントローラ
２４ インタフェース
３０ 画像読取機構
２１１ オブジェクト抽出手段
２１２ オブジェクト特徴量算出手段
２１３ 分類手段
２１４ クラスタ特徴量算出手段
２１５ 対象物抽出手段
２１６ 画像出力手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】