(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022113964
(43)【公開日】2022-08-05
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20220729BHJP
【FI】
G06T1/00 500
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2021010003
(22)【出願日】2021-01-26
(71)【出願人】
【識別番号】000250502
【氏名又は名称】理想科学工業株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(72)【発明者】
【氏名】増田 心一郎
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057CE09
5B057CE16
5B057CE18
5B057CH18
5B057DA08
5B057DB02
5B057DB06
5B057DB09
5B057DC23
(57)【要約】
【課題】撮影対象の被写体の画像を適切に抽出する。
【解決手段】所定の波長及び強度を含む所定の照明条件により、特定の被写体が撮影される画像に対して、特定の被写体以外の異物を除去する画像処理装置10において、複数の照明条件により撮影された複数の撮影画像に対して、被写体の画像値の領域を分離するための閾値をそれぞれ決定し、決定した複数の閾値に基づいて、撮影画像の全領域の中で被写体の領域を抽出するためのマスク条件を決定するマスク条件決定手段211と、所定の照明条件により撮影された複数の撮影画像に対して、マスク条件決定手段211により決定されたマスク条件に基づいて、特定の被写体の領域に対応する画素を抽出する被写体画像抽出手段212とを備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
所定の波長及び強度を含む所定の照明条件により、特定の被写体が撮影される画像に対して、前記特定の被写体以外の異物を除去する画像処理装置において、
複数の照明条件により撮影された複数の撮影画像に対して、前記被写体の画像値の領域を分離するための閾値をそれぞれ決定し、決定した複数の閾値に基づいて、前記撮影画像の全領域の中で前記被写体の領域を抽出するためのマスク条件を決定するマスク条件決定手段と、
前記所定の照明条件により撮影された複数の撮影画像に対して、前記マスク条件決定手段により決定されたマスク条件に基づいて、前記特定の被写体の領域に対応する画素を抽出する被写体画像抽出手段と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に係り、特に、撮影対象の被写体の画像を適切に抽出する画像処理装置に関する。
【背景技術】
【0002】
一般的に、撮影画像には、抽出したい画像のみならず、除去したい画像を含んでいることがあり、これらの画像を適切に分離させることが必要となる。
【0003】
特許文献1に記載の技術では、単色の車のボディー光沢に周囲の人の像が写りこみ、ボディーの色が人の色に寄っている車を周囲の人も含めて撮影した画像において、人の領域を抽出することなく車ボディー部分のみを抽出する。撮影したRGB画像をHSV画像に変換し、H,S,Vチャンネルそれぞれでマスク画像を生成し、それらを合成したマスク画像を元画像に適用することで、撮影画像において、抽出したい画像と、除去したい画像を分離している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術では、抽出のためのマスク画像を単一の照明下で撮影した画像から生成している。
【0006】
図1は、従来技術による画像抽出を説明した説明図である。X軸は画素値を示し、Y軸は各画素値における頻度を示したヒストグラムである。
図2(a)は、原稿画像を示しており、
図2(b)~(d)は、
図1における閾値に基づいて抽出される画像を示している。
【0007】
図1に示すように、ヒストグラムH101には、
図2(a)に示したインク定着部領域IK101に相当する画素値と、異物領域IB101に相当する画素値とが含まれている。
【0008】
ここで、
図2(b)には、
図1に示す閾値TH101以下の領域をマスク領域とし、閾値TH101を超える領域を非マスク領域として生成されたマスク画像を示しており、
図2(c)には、
図1に示す閾値TH102以下の領域をマスク領域とし、閾値TH102を超える領域を非マスク領域として生成されたマスク画像を示しており、
図2(d)には、
図1に示す閾値TH103以下の領域をマスク領域とし、閾値TH103を超える領域を非マスク領域として生成されたマスク画像を示している。
【0009】
図2(a)に示すように、単一の照明下で撮影した画像データにおいては、抽出したい画像領域(インク定着部領域IK101)と分離したい画像領域(異物領域IB101)の一部がヒストグラム上重なっていることが多く、
図2(b)~(d)に示すように、閾値TH101~TH103をどのように変化させても、抽出したい画像と除去したい画像を適切に分離できない。この結果、撮影画像において、抽出したい画像と除去したい画像を適切に分離できない画像となってしまっていた。
【0010】
本発明は、このような課題に鑑みてなされたもので、撮影画像において、撮影対象の被写体の画像を適切に抽出する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するため、本発明に係る画像処理装置の特徴は、
所定の波長及び強度を含む所定の照明条件により、特定の被写体が撮影される画像に対して、前記特定の被写体以外の異物を除去する画像処理装置において、
複数の照明条件により撮影された複数の撮影画像に対して、前記被写体の画像値の領域を分離するための閾値をそれぞれ決定し、決定した複数の閾値に基づいて、前記撮影画像の全領域の中で前記被写体の領域を抽出するためのマスク条件を決定するマスク条件決定手段と、
前記所定の照明条件により撮影された複数の撮影画像に対して、前記マスク条件決定手段により決定されたマスク条件に基づいて、前記特定の被写体の領域に対応する画素を抽出する被写体画像抽出手段と、
を備えることにある。
【発明の効果】
【0012】
本発明に係る画像処理装置の特徴によれば、撮影対象の被写体の画像を適切に抽出することができる。
【図面の簡単な説明】
【0013】
【
図1】従来技術による画像抽出を説明した説明図である。
【
図2】(a)は、原稿画像を示しており、(b)~(d)は、
図1における閾値に基づいて抽出される画像を示している。
【
図3】本発明の実施例1に係る画像処理装置のハードウェア構成を示す概略ブロック図である。
【
図4】(a)は、本発明の実施例1に係る画像処理装置において、デジタルカメラにより第1照明条件(波長1,光強度1)で撮影された撮影画像に対して生成された画素値に対する頻度を示すヒストグラムを示した図であり、(b)は、本発明の実施例1に係る画像処理装置において、デジタルカメラにより第2照明条件(波長2,光強度2)で撮影された撮影画像に対して生成された画素値に対する頻度を示すヒストグラムを示した図である。
【
図5】本発明の実施例1に係る画像処理装置の記憶装置に記憶されたマスクテーブルの一例を示した図である。
【
図6】(a)は、本発明の実施例1に係る画像処理装置において、合成マスク条件に基づいたマスク領域と、非マスク領域とを示した図であり、(b)は、合成マスク条件に基づいて、特定の被写体の領域に対応する画素を抽出した結果を示した図である。
【
図7】本発明の実施例1に係る画像処理装置において、処理内容を示したフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0015】
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0016】
図3は、本発明の実施例1に係る画像処理装置10のハードウェア構成を示す概略ブロック図であって、この実施例1で必要な構成要素のみを示す。画像処理装置10は、例えば、ノートパソコン又はデスクトップパソコンにプログラムをインストールして構成される。
【0017】
画像処理装置10は、その本体部20において、プロセッサ21がバス22を介して記憶装置23、入力インターフェイス24、カメラインターフェイス25及びディスプレインターフェイス26に結合されている。入力インターフェイス24には入力装置30が結合され、カメラインターフェイス25には、静止画及び動画を撮影可能なデジタルカメラ31が結合され、ディスプレインターフェイス26には表示装置32が結合されている。
【0018】
入力装置30は、タッチパネル、ポインティングデバイス若しくはキーボード又はこれらの組み合わせで構成されている。
【0019】
デジタルカメラ31は、入力装置30から所定の波長及び強度を含む照明条件が入力されると、入力された照明条件に基づいて、被写体を撮影する。
【0020】
記憶装置23には、プログラム、各種データ、およびデジタルカメラ31により撮影された撮影画像が格納されている。
【0021】
プロセッサ21は、記憶装置23に記憶されたプログラムを実行することにより、入力装置30から入力インターフェイス24を介したユーザの選択、設定又は指示の入力を受け付け、この入力に応じてデジタルカメラ31及びプログラムに関係した各種設定値を設定又は変更する。
【0022】
また、プロセッサ21は、デジタルカメラ31に様々な照明条件で被写体を撮影させてその撮影画像を記憶装置23内に格納させ、この撮影画像の画素値に対する頻度を示すヒストグラムを生成し、生成したヒストグラムをディスプレインターフェイス26に供給することにより表示装置32に表示させる。
【0023】
例えば、上述した
図1に示したデジタルカメラ31を光源として、第1照明条件(波長1,光強度1)で被写体を撮像したときに、プロセッサ21は、撮影画像を生成する(画像領域:画素位置(1,1)~画素位置(Z、Z)に対するRGB値(画素値))。
【0024】
この撮影画像はプロセッサ21の色空間変換処理により、HSV空間のSチャネルに変換され、Sチャネルにおける画像領域上の画素値となる。
【0025】
プロセッサ21は、このSチャネルの画像データに基づいて、上述のヒストグラムを表示装置32に表示させる。
【0026】
また、プロセッサ21は、その機能上、マスク条件決定手段211と、被写体画像抽出手段212とを有している。
【0027】
マスク条件決定手段211は、デジタルカメラ31により複数の照明条件で撮影された複数の撮影画像に対して、被写体の画像値の領域を分離するための閾値をそれぞれ決定し、決定した複数の閾値に基づいて、撮影画像の全領域の中で被写体の領域を抽出するためのマスク条件を決定する。
【0028】
図4(a)は、本発明の実施例1に係る画像処理装置10において、デジタルカメラ31により第1照明条件(波長1,光強度1)で撮影された撮影画像に対して生成された画素値に対する頻度を示すヒストグラムを示した図であり、
図4(b)は、本発明の実施例1に係る画像処理装置10において、デジタルカメラ31により第2照明条件(波長2,光強度2)で撮影された撮影画像に対して生成された画素値に対する頻度を示すヒストグラムを示した図である。
【0029】
図4(a)に示すように、デジタルカメラ31により第1照明条件(波長1,光強度1)で撮影された撮影画像に基づいてヒストグラムH1が生成されている。
【0030】
ここで、例えば、分光特性の異なる異物領域iと異物領域jを含む場合、マスク条件決定手段211は、第1照明条件でのヒストグラムH1において、閾値Th1を画素値x、yの間に設定し、閾値Th1以下は、画素値をゼロにするという第1マスク条件を決定する。
【0031】
プロセッサ21が、この第1マスク条件に従って、Sチャネルの撮影画像を処理し、処理した結果を表示装置32に表示させると、インク定着部領域は全部表示され、異物領域jが表示される。
【0032】
ここで、第1照明条件で、異物領域i(網掛け), 異物領域j(横縞)はそれぞれ画素値x, yを示している(撮影画像の中には異物領域i, j以外にもx, yの画素値を示す分光反射特性の物体は存在し、ヒストグラム中では白抜きで示している)。
【0033】
同様にして、
図4(b)に示すように、デジタルカメラ31により第2照明条件(波長2,光強度2)で撮影された撮影画像に基づいてヒストグラムH2が生成されている。
【0034】
ここで、例えば、分光特性の異なる異物領域iと異物領域jとを含む場合、マスク条件決定手段211は、第2照明条件でのヒストグラムH2において、閾値Th2を画素値x、yの間に設定し、閾値Th2以下は、画素値をゼロにするという第2マスク条件を決定する。
【0035】
プロセッサ21が、この第2マスク条件に従って、Sチャネルの撮影画像を処理し、処理した結果を表示装置32に表示させると、インク定着部領域は全部表示され、異物領域iの物体が表示される。
【0036】
ここで、第2照明条件で、物体の異物領域i(網掛け), 異物領域j(横縞)の物体はそれぞれ画素値w, zを示している(撮影画像の中には異物領域i, jの以外にもw, zの画素値を示す分光反射特性の物体は存在し、ヒストグラム中では白抜きで示している)。
【0037】
マスク条件決定手段211は、第1照明条件および第2照明条件でのヒストグラム上におけるインク定着部領域に対応する各画素値に対応する画素位置を保持している(または、記憶装置23に記憶して読み出す)。
【0038】
マスク条件決定手段211は、第1マスク条件と第2マスク条件を合成した合成マスク条件を作成する。例えば、マスク条件決定手段211は、合成マスク条件として、上記の閾値Th1および閾値Th2の設定により、インク定着部領域に対応する画素位置に対応する画素値(Sチャネル上の値)以上は、抽出されるようにし、異物領域i、jに対応する画素位置に対応する画素値は、マスクされるようにしている。
【0039】
また、マスク条件決定手段211は、マスクテーブルに基づいて、第1マスク条件と第2マスク条件を合成した合成マスク条件を作成するようにしてもよい。
【0040】
図5は、本発明の実施例1に係る画像処理装置10の記憶装置23に記憶されたマスクテーブルの一例を示した図である。ここでは、インク定着部領域、異物領域i(網掛け), 異物領域j(横縞)ごと、第1照明条件、第2照明条件、合成(AND)ごとに、マスク条件を示している。ここで、「1」は非マスク領域、「0」はマスク領域を示している。
【0041】
図5に示すように、インク定着部領域は、第1照明条件、第2照明条件、いずれも非マスク領域となっており、これをAND条件で合成すると、非マスク領域となる。
【0042】
一方、異物領域i(網掛け)は、第2照明条件では非マスク領域となっているが、第1照明条件ではマスク領域となっており、これをAND条件で合成すると、マスク領域となる。
【0043】
異物領域j(網掛け)は、第1照明条件では非マスク領域となっているが、第2照明条件ではマスク領域となっており、これをAND条件で合成すると、マスク領域となる。
【0044】
そのため、インク定着部領域を非マスク領域とし、異物領域i(網掛け)および異物領域j(網掛け)をマスク領域となるように、マスクテーブルが定められている。
【0045】
マスク条件決定手段211は、このマスクテーブルに基づいて、第1マスク条件と第2マスク条件を合成した合成マスク条件を作成することができる。
【0046】
被写体画像抽出手段212は、第1照明条件および第2照明条件により撮影された複数の撮影画像に対して、マスク条件決定手段211により決定された合成マスク条件に基づいて、特定の被写体の領域に対応する画素を抽出する。
【0047】
具体的には、被写体画像抽出手段212は、記憶装置23に記憶していた撮像画像に対して、決定した合成マスク条件(インク定着部領域の画素位置の画素値はそのままとし、異物領域の画素位置の画素値はゼロとする)に従って、画像処理を実行し、撮影画像を生成しなおす。
【0048】
これにより、複数の波長・強度の照明条件での撮影画像上で上述の画像処理を行うことで、インク定着部領域をできるだけ残しつつ、異物領域をできるだけ除去することができる。
【0049】
図6(a)は、本発明の実施例1に係る画像処理装置10において、合成マスク条件に基づいたマスク領域と、非マスク領域とを示した図であり、
図6(b)は、合成マスク条件に基づいて、特定の被写体の領域に対応する画素を抽出した結果を示した図である。
【0050】
図6(a)に示すように、撮影画像をマスクすることにより、
図6(b)に示すように、特定の被写体の領域に対応する画素として、インク定着部領域IK101が抽出されている。ここで、異物領域iおよび異物領域jは、マスク領域に含まれるので、抽出されていない。
【0051】
このように、インク定着部の領域をできるだけ残しつつ、異物領域をできるだけ除去することができる。
【0052】
図7は、本発明の実施例1に係る画像処理装置10において、処理内容を示したフローチャートである。
【0053】
図7に示すように、入力装置30から、照明条件が選択されると(ステップS101)、プロセッサ21は、デジタルカメラ31で被写体を撮影させてその撮影画像を記憶装置23内に格納させる(ステップS103)。
【0054】
ステップS105において、プロセッサ21は、マスク画像生成に用いるチャネル(例えば、Sチャネル)を選択する。
【0055】
ステップS107において、プロセッサ21のマスク条件決定手段211は、撮影画像に対して閾値を決定し、決定した閾値に基づいてマスク画像を生成する。マスク画像は、閾値により二値化または多値化することにより生成される。
【0056】
プロセッサ21は、全ての照明条件での撮影が終了するまで、ステップS101~S109の処理を繰り返し実行する。これにより、複数の照明条件により撮影された複数の撮影画像に対して、被写体の画像値の領域を分離するための閾値をそれぞれ決定することができる。
【0057】
全ての照明条件での撮影が終了すると(ステップS109;YES)、全マスク画像を合成する(ステップS111)。具体的には、マスク条件決定手段211は、複数の照明条件により撮影された複数の撮影画像に対して、撮影画像の全領域の中で被写体の領域を抽出するためのマスク条件を決定する。これにより、全マスク画像が合成される。マスク画像の合成は、複数のマスク画像が二値か多値かに応じそれらの論理積または積により合成される。論理積は、複数のマスク画像において所定の数以上Trueであった画素を非マスク領域として出力する。
【0058】
ステップS113において、被写体画像抽出手段212は、合成マスク画像を所望の撮影画像に適用する。具体的には、複数の照明条件により撮影された複数の撮影画像に対して、マスク条件決定手段211により決定された合成マスク条件に基づいて、特定の被写体の領域に対応する画素を抽出する。
【0059】
これにより、インク定着部の領域をできるだけ残しつつ、異物領域をできるだけ除去した画像を生成することができる。
【0060】
以上のように、本発明の実施例1に係る画像処理装置10によれば、複数の照明条件により撮影された複数の撮影画像に対して、被写体の画像値の領域を分離するための閾値をそれぞれ決定し、決定した複数の閾値に基づいて、撮影画像の全領域の中で被写体の領域を抽出するためのマスク条件を決定するマスク条件決定手段211と、所定の照明条件により撮影された複数の撮影画像に対して、マスク条件決定手段211により決定されたマスク条件に基づいて、特定の被写体の領域に対応する画素を抽出する被写体画像抽出手段212とを備える。
【0061】
これにより、例えば、複数の照明条件で撮影した画像のヒストグラムに基づいて、被写体の画像値の領域を分離するための閾値を複数決定し、複数の閾値に基づいて、前記撮影画像の全領域中前記被写体の領域を抽出するためのマスク条件を決定しているので、1つの照明条件の場合に比べて、抽出したい画像領域(インク定着部の領域)と分離したい画像領域(異物領域)の重なりを低減させることができ、撮影画像において、撮影対象の被写体の画像を適切に抽出することができる。
【0062】
なお、本発明の実施例1では、閾値は判別分析法により自動的に決定されるようにしてもよいし、閾値を0から255まで順に画像に適用して、ヒストグラム以外の画像表示(実際の画像状況)を見ながら、その閾値におけるインク定着部領域の抽出ぐあいを見るようにして、インク定着部領域と異物領域とを切り分ける閾値を、複数の照明条件に対して決めるようにしてもよい。
【0063】
また、本発明の実施例1では、HSV空間のSチャネルのヒストグラムを生成したが、物体はすべてのチャネルでのデータで画像処理をしてもよいし、いずれか1つまたは2つでもよい。さらに、諸々の表色のチャンネルを用いても構わない(RGB, Lab, YUV等)。一つの照明条件下ではどのチャンネルを用いても同じようなマスク画像しか得られなかったとしても、照明条件が変われば、一つの照明下で性質の異なる複数のマスク画像が得られ、それらを合成することで精度の良い合成マスク画像を得ることができる。
【0064】
また、本発明の実施例1では、閾値Th1およびTh2をインク定着部領域のヒストグラムの山の裾の外に指定したが、他の画素値でも構わない。ただし、実施例1のように、山の裾が落ち切ったぎりぎりの画素値に指定するのが最終的な抽出精度が最も良いと考えられる。
【0065】
また、本発明の実施例1では、各照明条件下で得たマスク画像を合成する際、AND演算により合成マスクを求めたが、他の演算方法でも構わない。例えば、n個の照明条件を用いてn枚のマスク画像を得た際、m(≦n)回以上非マスク領域となった画素を非マスク領域として出力するようにしてもよい。
【0066】
また、本発明の実施例1では、マスク領域であるか否かを、「0」、「1」の二値で表現したが、多値で表現しても構わない。多値で表現することで、閾値外の画素を問答無用でマスク領域としてしまうことの危険性をある程度回避できる。この場合、閾値を決めた後、閾値付近で0~1の間の離散的な値を出力するようなトーンカーブをチャンネルの画像にかけることでマスク画像を得ることができる。また、多値のため、AND演算のような演算はできないので、マスク画像同士の乗算によって合成マスク画像を得ることが望ましい。
【0067】
なお、各照明条件は、分光特性の形状が他照明のそれと大きく異なることが望ましい。理由は、それによって撮影時に出力される画素値のでかたが変化しやすく、より他の照明下と異なるマスク画像を得ることができるためである。
【0068】
照明の分光特性は、光源自体を変えてもいいし、特定の光源に固定し、被写体とデジタルカメラ31の間に任意の色フィルターを使用しても照明の分光特性を変更させてもよい。
【0069】
(付記)
本出願は、以下の発明を開示する。
【0070】
(付記1)
所定の波長及び強度を含む所定の照明条件により、特定の被写体が撮影される画像に対して、前記特定の被写体以外の異物を除去する画像処理装置において、
複数の照明条件により撮影された複数の撮影画像に対して、前記被写体の画像値の領域を分離するための閾値をそれぞれ決定し、決定した複数の閾値に基づいて、前記撮影画像の全領域の中で前記被写体の領域を抽出するためのマスク条件を決定するマスク条件決定手段と、
前記所定の照明条件により撮影された複数の撮影画像に対して、前記マスク条件決定手段により決定されたマスク条件に基づいて、前記特定の被写体の領域に対応する画素を抽出する被写体画像抽出手段と、
を備えることを特徴とする画像処理装置。
【0071】
これにより、例えば、複数の照明条件で撮影した画像のヒストグラムに基づいて、被写体の画像値の領域を分離するための閾値を複数決定し、複数の閾値に基づいて、前記撮影画像の全領域中前記被写体の領域を抽出するためのマスク条件を決定しているので、1つの照明条件の場合に比べて、抽出したい画像領域(インク定着部の領域)と分離したい画像領域(異物領域)の重なりを低減させることができ、撮影画像において、撮影対象の被写体の画像を適切に抽出することができる。
【符号の説明】
【0072】
10 画像処理装置
20 本体部
21 プロセッサ
22 バス
23 記憶装置
24 入力インターフェイス
25 カメラインターフェイス
26 ディスプレインターフェイス
30 入力装置
31 デジタルカメラ
32 表示装置
211 マスク条件決定手段
212 被写体画像抽出手段