特許 5969105 撮影装置および撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5969105

(24)【登録日】2016年7月15日

(45)【発行日】2016年8月10日

(54)【発明の名称】撮影装置および撮影方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20160728BHJP

   G06T 7/00 20060101ALI20160728BHJP

【ＦＩ】

   H04N9/07 C

   G06T7/00 200Z

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2015-251974(P2015-251974)

(22)【出願日】2015年12月24日

【審査請求日】2015年12月24日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500037528

【氏名又は名称】株式会社サイバーリンクス

(73)【特許権者】

【識別番号】000125347

【氏名又は名称】学校法人近畿大学

(74)【代理人】

【識別番号】100084375

【弁理士】

【氏名又は名称】板谷 康夫

(74)【代理人】

【識別番号】100121692

【弁理士】

【氏名又は名称】田口 勝美

(74)【代理人】

【識別番号】100125221

【弁理士】

【氏名又は名称】水田 愼一

(74)【代理人】

【識別番号】100142077

【弁理士】

【氏名又は名称】板谷 真之

(72)【発明者】

【氏名】村上 恒夫

(72)【発明者】

【氏名】井口 信和

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開平１１−３２７００４（ＪＰ，Ａ）

【文献】 特開２００４−０９４６７３（ＪＰ，Ａ）

【文献】 特開２００３−１４０２４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４−９／１１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

被写体を前方から照明する前景照明手段と、
前記被写体の背後に配置されて背景光を生成する背景照明手段と、
前記前景照明手段と前記背景照明手段を用いて作られた互いに異なる色光下で被写体を撮影して、前記被写体の画像切り出し用とされる第１画像データおよびマスク生成用とされる第２画像データを取得し記録する画像記録手段と、
前記第１および第２画像データを前記画像記録手段から読み込む読込手段と、
前記第２画像データから前記被写体の輪郭を抽出し、前記輪郭の画像を用いて画像切出用のマスクを生成するマスク生成手段と、
前記マスク生成手段が生成したマスクを用いて前記第１画像データから前記被写体の画像を切り出す切出手段と、を備え、
前記画像記録手段は、前記前景照明手段と前記背景照明手段を用いて作られた第１の色光下で前記第１画像データを取得し、前記第１の色光とは異なり、かつ、前記被写体に含まれる色とは異なる背景光を含む色光下で前記第２画像データを取得することを特徴とする撮影装置。

【請求項2】

前記第１の色光が白色光であり、前記第２の色光が赤色光、または白色光による前景光と赤色光による背景光との混合光である請求項１に記載の撮影装置。

【請求項3】

前記マスク生成手段は、前記第２画像データから前記被写体の輪郭を抽出することに替えて、前記第１画像データと前記第２画像データの両方から前記被写体の二値化画像を生成し、前記第１画像データから生成された二値化画像と、前記第２画像データから生成された二値化画像とを重ねて合成二値化画像を生成し、前記合成二値化画像を用いて前記被写体の輪郭を抽出する請求項１または請求項２に記載の撮影装置。

【請求項4】

前記読込手段は、前記第１画像データおよび前記第２画像データ以外の第３画像データをも含む複数の画像データを読み込み、
前記マスク生成手段は、前記第２画像データから前記被写体の輪郭を抽出することに替えて、前記複数の画像データから前記被写体の二値化画像を生成し、前記複数の画像データから生成された複数の二値化画像を重ねて合成二値化画像を生成し、前記合成二値化画像を用いて前記被写体の輪郭を抽出する請求項１または請求項２に記載の撮影装置。

【請求項5】

前記前景照明手段と前記背景照明手段により被写体を撮影する際の照明の条件を前記被写体の形状および光学特性に応じて決定するためのデータを記録している照明条件データベースと、
前記マスク生成手段によって輪郭を抽出する際に前記被写体の形状に応じて用いられる画像処理条件のデータを記録している処理条件データベースと、をさらに備える請求項１乃至請求項４のいずれか一項に記載の撮影装置。

【請求項6】

被写体を撮影し、撮影した画像から被写体画像を切り出す撮影方法において、
前景照明手段と背景照明手段とを用いて作られた互いに異なる色光下で被写体を撮影して、前記被写体の画像切り出し用とされる第１画像データおよびマスク生成用とされる第２画像データを取得し記録する画像記録工程と、
前記第１および第２画像データを読み込む画像読込工程と、
前記第２画像データから前記被写体の輪郭を抽出し、前記輪郭の画像を用いて画像切出用のマスクを生成するマスク生成工程と、
前記マスク生成工程にて生成されたマスクを用いて前記第１画像データから前記被写体の画像を切り出す工程と、を備え、
前記画像記録工程は、前記前景照明手段と前記背景照明手段を用いて作られた第１の色光下で前記第１画像データを取得し、前記第１の色光とは異なり、かつ、前記被写体に含まれる色とは異なる背景光を含む色光下で前記第２画像データを取得することを特徴とする撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像切出装置、撮影装置、および画像切出方法に関する。

【背景技術】

【0002】

従来から、被写体を撮影した画像から被写体画像を切り出す技術が、例えば、商品の画像をカタログ、パンフレット、広告などに記載するため、ネット販売サイトに表示するため、その他、被写体を特定するためなどに幅広く使用されている。被写体画像の切り出しは、被写体を撮影したディジタル画像データにおいて、被写体画像を囲む閉境界と成る連続した輪郭画素を抽出する輪郭抽出によって行われる。輪郭抽出について、例えば、入り組んだ複数の図形の輪郭を二値化した画像データから正確に抽出するための装置や方法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−２３０５６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１に示されるような輪郭抽出の技術においては、被写体画像を囲む閉境界と成る輪郭画素が被写体画像の全周において検出されることを前提としている。ところが、実際の輪郭抽出においては、例えば、包装が透明な商品などのように、被写体が光の透過や反射などの種々の光学的特性を有しており、画像処理によって被写体の輪郭を背景から識別して自動抽出することが困難な場合がある。このような場合、画像処理ソフトウェアとマウスとを用いて、作業者が手動で対話的に被写体の輪郭を背景から識別して輪郭画素を検出することが行われており、作業コストが高く、処理時間もかかり、また、作業者により品質に差が発生する問題もある。

【0005】

本発明は、上記課題を解消するものであって、画像切り出しに際し、被写体の光学的特性の影響を抑制でき、被写体画像を自動的かつ容易に切り出すことができる画像切出装置、撮影装置、および画像切出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を達成するために、本発明の撮影装置は、被写体を前方から照明する前景照明手段と、被写体の背後に配置されて背景光を生成する背景照明手段と、前景照明手段と背景照明手段を用いて作られた互いに異なる色光下で被写体を撮影して、被写体の画像切り出し用とされる第１画像データおよびマスク生成用とされる第２画像データを取得し記録する画像記録手段と、第１および第２画像データを画像記録手段から読み込む読込手段と、第２画像データから被写体の輪郭を抽出し、輪郭の画像を用いて画像切出用のマスクを生成するマスク生成手段と、マスク生成手段が生成したマスクを用いて第１画像データから被写体の画像を切り出す切出手段と、を備え、画像記録手段は、前景照明手段と背景照明手段を用いて作られた第１の色光下で第１画像データを取得し、第１の色光とは異なり、かつ、被写体に含まれる色とは異なる背景光を含む色光下で第２画像データを取得するものである。

【0007】

この撮影装置において、第１の色光が白色光であり、第２の色光が赤色光、または白色光による前景光と赤色光による背景光との混合光であることが好ましい。

【0008】

この撮影装置において、マスク生成手段は、第２画像データから被写体の輪郭を抽出することに替えて、第１画像データと第２画像データの両方から被写体の二値化画像を生成し、第１画像データから生成された二値化画像と、第２画像データから生成された二値化画像とを重ねて合成二値化画像を生成し、合成二値化画像を用いて被写体の輪郭を抽出してもよい。

【0009】

この撮影装置において、読込手段は、第１画像データおよび第２画像データ以外の第３画像データをも含む複数の画像データを読み込み、マスク生成手段は、第２画像データから被写体の輪郭を抽出することに替えて、複数の画像データから被写体の二値化画像を生成し、複数の画像データから生成された複数の二値化画像を重ねて合成二値化画像を生成し、合成二値化画像を用いて被写体の輪郭を抽出してもよい。

【0010】

この撮影装置において、前景照明手段と背景照明手段により被写体を撮影する際の照明の条件を被写体の形状および光学特性に応じて決定するためのデータを記録している照明条件データベースと、マスク生成手段によって輪郭を抽出する際に前記被写体の形状に応じて用いられる画像処理条件のデータを記録している処理条件データベースと、をさらに備えてもよい。

【0011】

本発明の撮影方法は、被写体を撮影し、撮影した画像から被写体画像を切り出す画像切出方法において、前景照明手段と背景照明手段とを用いて作られた互いに異なる色光下で被写体を撮影して、被写体の画像切り出し用とされる第１画像データおよびマスク生成用とされる第２画像データを取得し記録する画像記録工程と、第１および第２画像データを読み込む画像読込工程と、第２画像データから被写体の輪郭を抽出し、輪郭の画像を用いて画像切出用のマスクを生成するマスク生成工程と、マスク生成工程にて生成されたマスクを用いて第１画像データから被写体の画像を切り出す工程と、を備え、画像記録工程は、前景照明手段と背景照明手段を用いて作られた第１の色光下で第１画像データを取得し、第１の色光とは異なり、かつ、被写体に含まれる色とは異なる背景光を含む色光下で第２画像データを取得するものである。

【発明の効果】

【0012】

本発明の画像切出装置、撮影装置、および画像切出方法によれば、被写体切り出し用の画像とは異なるマスク生成用の画像を用いるので、マスク生成に際して被写体の光学的特性の影響を回避または抑制可能であり、画像切出用のマスクを精度良く容易に生成でき、被写体画像を自動的かつ容易に切り出すことができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態に係る画像切出装置の概略構成を示すブロック図。

【図2】同画像切出装置によって行われる画像切出方法のフローチャート。

【図3】同画像切出装置によって行われる画像切出の一連の処理を模式的に示す図。

【図4】第２の実施形態に係る画像切出装置の概略構成を示すブロック図。

【図5】同画像切出装置によって行われる画像切出方法のフローチャート。

【図6】同画像切出装置によって行われる画像切出の一連の処理を模式的に示す図。

【図7】第３の実施形態に係る画像切出装置の概略構成を示すブロック図。

【図8】複数の画像から得られる複数の輪郭画像を合成して合成輪郭画像を生成する様子を示す図。

【図9】第４の実施形態に係る撮影装置の概略構成を示すブロック図。

【図10】同撮影装置の操作画面を示す図。

【図11】（ａ）（ｂ）は同撮影装置を用いて行われるアンチエイリアス処理を説明する図。

【図12】同撮影装置の修正用の操作画面を示す図。

【図13】（ａ）（ｂ）（ｃ）は同撮影装置を用いて行われる被写体画像の修正処理を説明する図。

【発明を実施するための形態】

【0014】

（第１の実施形態）
以下、本発明の実施形態に係る画像切出装置、撮影装置、および画像切出方法について、図面を参照して説明する。図１、図２、図３は、第１の実施形態に係る画像切出装置１を示す。図１に示すように、画像切出装置１は、被写体を撮影した第１画像データＤ１と第２画像データＤ２とを読み込む読込部（読込手段）２と、これらの画像データＤ１，Ｄ２を用いて被写体の画像（単に、被写体画像という）を切り出す切出部（切出手段）３とを備えている。切出部３は、画像データＤ１，Ｄ２から被写体画像を切り出す処理を行う輪郭抽出部３ａ、マスク生成部３ｂ、および切出処理部３ｃを備えている。

【0015】

画像切出装置１は、例えば、汎用のコンピュータを用いて構成され、切出部３の輪郭抽出部３ａ、マスク生成部３ｂ、および切出処理部３ｃは、コンピュータ上で動作する画像処理プログラムによって構成される。画像切出装置１は、切り出した被写体画像のデータを保存し、また出力する。

【0016】

画像データＤ１は、第１の色光下で被写体を撮影した画像データであり、画像データＤ２は、第１の色光とは異なる第２の色光下で被写体を撮影した画像データである。これらの複数の画像データＤ１，Ｄ２を用いるのは、原画像一枚だけでは、被写体に背景色と近い色が含まれている場合に、正しく切り出せないからである。画像データＤ１，Ｄ２は、色光だけを替えて、同一アングルで撮影されている。具体的に各色光は、例えば、第１の色光が白色光であり、第２の色光が赤色光、または白色光による前景光と赤色光による背景光との混合光である。第２の色光は、このような赤色光を含むものに限られず、他の任意の色光とすることができる。

【0017】

画像切出装置１による画像の切り出しは、図２のフローチャートに示すように、画像データの読み込み（Ｓ１）、画像データから被写体の輪郭抽出（Ｓ２，Ｓ３）、抽出された輪郭の画像を用いてマスクを生成（Ｓ４）、マスクを用いて被写体画像を切り出す（Ｓ５）、という大略手順で行われる。

【0018】

（読込工程Ｓ１）
次に、図３を含めて参照して、画像切出装置１による画像切出方法を詳細説明する。まず、読込部２によって、画像データＤ１，Ｄ２が読み込まれる。各画像データＤ１，Ｄ２は、ｂｍｐ，ｊｐｅｇ，ｐｎｇなどの任意の画像データフォーマットで記録された画像データである。読み込まれた画像データＤ１，Ｄ２は、画素毎に画像処理するために、例えば、ｘ方向（画面水平方向）とｙ方向（画面垂直方向）とに画素データを配列したデータにフォーマット変換される。

【0019】

画像データＤ１による第１画像９１は、通常の白色光下において、無地の一様な面を背景面に用いて、被写体９を撮影した画像である。この第１画像９１は、切り出し用の画像（原画像という）であり、この第１画像９１から被写体画像９０が切り出される。一般的に、切り出し用の画像には、この第１画像９１に示すように、外形の不鮮明な領域ａ１，ａ２が存在することがある。被写体９が、例えば、ガラス瓶、ペットボトル、樹脂製の袋などの透明容器などの場合に特に、被写体９の透光性や反射性などの光学的特性の影響を受けて、このような画像になり易い。

【0020】

また、画像データＤ２による第２画像９２は、赤色光下において、第１画像９１と同様に、被写体９を撮影した画像である。この第２画像９２は、輪郭抽出とマスク形成に用いられる画像（マスク用画像という）である。この画像の場合、赤色光は、白色光を用いる場合よりも、被写体９の外形をより明確に画像化できることにより、第２画像撮影用の色光として選択されている。被写体９の外形をより明確に画像化できることにより、被写体９の輪郭をより確実に自動処理によって抽出することができる。

【0021】

（二値化工程Ｓ２）
次に、切出部３の輪郭抽出部３ａによって、第２画像データＤ２、すなわち第２画像９２から二値化画像９ａが生成される。二値化画像９ａは、被写体９の輪郭を抽出するための前処理として生成される。二値化画像９ａには、被写体９の輪郭を構成する画素となる輪郭画素が含まれていると想定されている。二値化画像９ａは、第２画像９２における画素値が鋭敏に変化する境目に位置する画素（エッジ画素）に白の画素値を付与し、それ以外の画素に黒の画素値を付与した画像である。このような二値化画像９ａは、エッジ画像と呼ばれ、輪郭画素からなる輪郭画像９ｃを含んでいる。

【0022】

二値化画像９ａの生成は、例えば、第２画像９２を単色の濃淡画像に変換した後、画像の濃淡（明暗）が鋭敏に変化している箇所にある画素を特定するエッジ検出処理を通して、各画素の画素値を０または１のいずれかに振り分けて行われる。エッジ検出には、例えば、画素値の標準偏差を用いる。注目画素を中心とする３×３の範囲内の９つの画素から画素値を取得し、標準偏差を算出する。算出した標準偏差が一定値以上であれば、注目画素をエッジ画素と見做し、その画素の色を白とし、以下であれば黒とする。画像内の濃淡が一定の領域、つまりベタ塗り状態の領域の画素はいずれも黒となる。この処理を切り出しに影響しない周囲四辺を除いた画像内の全画素に施すことにより、二値化画像９ａが得られる。なお、画素の色の定義を白黒反転してもよい。

【0023】

（輪郭抽出工程Ｓ３）
次に、同じく輪郭抽出部３ａによって、二値化画像９ａから輪郭（輪郭画素）が抽出され、輪郭画像９ｃが生成される。輪郭画像９ｃは、被写体９の画像部分を囲むように、輪の如く互いに連なって閉曲線を成すエッジ画素を二値化画像９ａから抽出することによって生成される。また、二値化画像９ａは、被写体９の輪郭となる輪郭画素以外に、ノイズとなるエッジ画素を含んでいる。そこで、ノイズを除去し、被写体９の輪郭となる画素を抽出するため、例えば、ＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）が用いられる。ＯｐｅｎＣＶは、画像認識に関連する機能が標準的に含まれているライブラリである。

【0024】

二値化画像９ａは、ＯｐｅｎＣＶで定義されているｃｖＦｉｎｄＣｏｎｔｏｕｒｓ関数と、ｃｖＤｒａｗＣｏｎｔｏｕｒ関数という２つの関数を用いて処理される。この処理により、任意の領域を囲む全ての輪郭が調べられ、内部面積が最も大きい輪郭が取得され、他の輪郭が削除されることにより、輪郭画像９ｃが得られる。孤立したエッジ画素は削除される。また、輪郭抽出部３ａによって、輪郭画素の座標値の最大と、最小とから、被写体９の外接矩形（高さＨ，幅Ｗ）の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）が取得される。

【0025】

（マスク生成工程Ｓ４）
次に、マスク生成部３ｂによって、輪郭の画像すなわち輪郭画像９ｃを用いて、マスク画像９ｍが生成される。マスク画像９ｍは、輪郭画像９ｃにおける各画素の画素値を、輪郭の内側の画素と外側の画素との間で識別可能に設定したデータの集まりである。輪郭の画素は、例えば一律に内側または一律に外側のいずれかに決めればよい。

【0026】

（切出処理工程Ｓ５）
次に、切出処理部３ｃによって、マスク画像９ｍを用いて第１画像データＤ１すなわち第１画像９１から被写体９の画像が切り出され、被写体画像９０が得られる。切り出しは、第１画像９１における、被写体９の外接矩形内、すなわち高さＨ，幅Ｗを有し座標（ｘ１，ｙ１）、（ｘ２，ｙ２）を対角頂点とする矩形内の画素を新たな画像データとしてコピーすることにより行われる。そのコピーの際にマスク画像９ｍが参照され、被写体９の輪郭外の画素は透過画素に置き換えられる。被写体画像９０は、画素毎に色情報を扱うＲＧＢの３つのチャンネルと透明度を扱うアルファチャンネルとを備える構成とされている。各チャンネルは０−２５５の２５６階調で表現されている。被写体画像９０における透過画素は、アルファチャンネルの値が０に設定された、完全に透過する画素である。

【0027】

被写体画像９０は、被写体９の輪郭の外側の部分、すなわち被写体９の背景となる部分を透明にした画像である。このように、背景を透明にする処理が、被写体画像を切り出す処理であり、この切り出し処理は、切出部３による各工程Ｓ２乃至Ｓ５の集まりからなる切出工程によって実行される。

【0028】

本実施形態の画像切出装置１とこれを用いる画像切出方法によれば、マスク生成に際し、切り出される被写体画像９０を含む切り出し用の原画像である第１画像９１とは異なるマスク生成用の第２画像９２を用いるので、被写体９の有する光学的特性の影響を回避または抑制することができる。マスク生成用の専用画像を用いることにより、画像切出用のマスク画像９ｍを精度良く容易に生成でき、被写体画像９０を自動的かつ容易に切り出すことができる。また、第１画像９１にはマスク生成に要求される条件が課されないので、被写体画像９０は、例えば、白色光のもとで、自然な状態で撮影された画像から切り出すことができる。

【0029】

（第２の実施形態）
図４、図５、図６は、第２の実施形態に係る画像切出装置１を示す。図４に示すように、本実施形態の画像切出装置１は、上述の第１の実施形態における輪郭抽出部３ａが、二値化部３ｘと合成部３ｙとを備えるものである。読込部２、マスク生成部３ｂ、切り出し処理部３ｃの構成と動作は、第１の実施形態と同様である。輪郭抽出部３ａの二値化部３ｘは、第１、第２画像データＤ１，Ｄ２の両方から二値化画像９ａを生成し、合成部３ｙがこれらの二値化画像９ａを合成し、生成された合成二値化画像９ｂから、最終的に輪郭抽出部３ａによって輪郭画像が抽出される。

【0030】

（読込工程Ｓ１）
次に、図５、図６を含めて参照して、画像切出装置１による画像切出方法を詳細説明する。まず、読込部２によって、第１画像データＤ１と第２画像データＤ２とが読み込まれる。ここで、画像データＤ１は、白色光下で被写体９を撮影した画像データであり、画像データＤ２は、白色光とは異なる他の色光下で被写体を撮影した画像データである。図６（ａ１）（ａ２）の第１画像９１と第２画像９２は、それぞれ画像データＤ１，Ｄ２による画像であり、これらのいずれの画像も、星印で示すように外形に不鮮明な領域が存在している。不鮮明な領域とは、各画像において背景との区別が判然としない被写体９上の領域のことである。

【0031】

（二値化工程Ｓ２１）
輪郭抽出部３ａの二値化部３ｘは、第１の実施形態と同様に標準偏差を用いてエッジ画素を検出する方法によって、これらの第１画像９１と第２画像９２の両方から、図６（ｂ１）（ｂ２）に示すように、それぞれ被写体９の二値化画像９ａを生成する。これらの二値化画像９ａには、星印で示すように外形輪郭に途切れた部分が発生している。このような輪郭画像９ａからそれぞれ、図６（ｃ１）（ｄ１）、または図６（ｃ２）（ｄ２）に示すように、輪郭画像９ｃを生成してマスク画像９ｍを生成すると、被写体９の全体を切り取ることができない不完全なマスクが生成されてしまう。

【0032】

（合成工程Ｓ２２）
合成部３ｙは、第１画像９１と第２画像９２の両方から生成された二値化画像９ａを重ねて、画素値の論理和に基づいて画像を合成し、図６（ｂ３）に示す合成二値化画像９ｂを生成する。互いに合成される２つの二値化画像９ａは、互いに異なる画素値の組からなる２つの画像データＤ１，Ｄ２に基づくものであり、合成に際して相補的に作用して輪郭の途切れた部分を補修する。この合成により、途切れのない閉じた輪郭を有する合成二値化画像９ｂが得られる。

【0033】

（輪郭抽出工程Ｓ３１）
輪郭抽出部３ａは、合成二値化画像９ｂから被写体９の輪郭を抽出し、図６（ｃ３）に示す輪郭画像９ｃを生成する。その後、マスク生成部３ｂ、切り出し処理部３ｃによるマスク生成工程Ｓ４、切出処理工程Ｓ５が実行されて、図６（ｄ３）（ｅ３）に示すように、マスク画像９ｍが生成され、被写体画像９０が生成される。

【0034】

（第３の実施形態）
図７、図８は、第３の実施形態に係る画像切出装置１を示す。本実施形態の画像切出装置１は、上述の第１および第２の実施形態に係る画像切出装置１の如く２つの画像データを用いることの他に、３以上の画像データを用いることができるものである。すなわち、図７に示すように、読込部２は、第１画像データＤ１および第２画像データＤ２以外の第３画像データＤ３をも含む複数の画像データを読み込む。

【0035】

輪郭抽出部３ａの二値化部３ｘは、図８に示すように、複数の輪郭抽出用の画像からそれぞれ二値化画像９ａを生成する。二値化画像９ａは、輪郭に注目して生成したエッジ画像である。複数の輪郭抽出用の画像は、読込部２が読み込んだ複数の画像データから選択された画像データによる画像である。複数の輪郭抽出用の画像に、画像切り出し用の第１画像が含まれない場合が第１の実施形態における画像切出装置１の拡張に相当し、含まれる場合が第２の実施形態における画像切出装置１の拡張に相当する。

【0036】

輪郭抽出部３ａの合成部３ｙは、各二値化画像９ａを重ねて、画素値の論理和に基づいて画像を合成し、合成二値化画像９ｂを生成する。輪郭抽出部３ａは、合成二値化画像９ｂを用いて被写体の輪郭を抽出し、輪郭画像９ｃを生成する。

【0037】

（第４の実施形態）
図９に示す第４の実施形態に係る撮影装置１０は、被写体９を撮影し、上述した第１、第２、第３の実施形態のいずれかの画像切出装置１を用いて、被写体画像を切り出して出力する撮影装置である。画像切出装置１は、読込部２と切出部３とを有して、コンピュータ１１に備えられている。撮影装置１０は、前景照明部４と、背景照明部５と、画像記録部６とを備えており、これらは、コンピュータ１１に接続されて、画像切出装置１との情報のやりとりを行う。また、撮影装置１０は、照明条件データベースＤＢ１と、処理条件データベースＤＢ２とを備えている。コンピュータ１１は、汎用のコンピュータを用いることができ、ＧＵＩ部１ａ、制御部１ｂ、メモリ１ｃ、通信部１ｄ等を備えている。

【0038】

前景照明部４は、被写体９を前方から照明する照明装置であり、照明方向や光色を変化させることができる複数の光源４ａを有している。前景照明部４は、前景照明用に、少なくとも白色光を発生し、白色光の他に、赤色光などの任意の色光の照明光を発生する。照明光に偏光性を持たせる偏光器を光源４ａと組み合わせて用いてもよい。

【0039】

背景照明部５は、被写体９の背後に配置されて背景光を生成する照明装置である。背景照明部５は、例えば、有機ＥＬ素子を面分布させた有機ＥＬシートを用いて後方から面発光させる光源５ａを有する構成とすることができる。また、背景照明部５は、有機ＥＬシートに替えて、例えば、被写体９の背後に設置した無方向性の反射面を有する、例えば、無地の反射シートと、その反射シートに背景用照明光を照射する光源と、を備えて、被写体９を背景側から間接照明する構成としてもよい。

【0040】

画像記録部６は、前景照明部４と背景照明部５を用いて構成した互いに異なる色光下で、被写体９を撮影して複数の画像データを取得し記録する。画像記録部６は、ＣＣＤなどの撮像素子を備えたカメラ６ａを有し、被写体９のディジタル画像の画像データを取得する。カメラ６ａには、偏光フィルタや種々の色フィルタを備えて、これらを通して被写体９を撮影することができる。カメラ６ａには、背景照明部５が発生する背景光と、前景照明部４からの照明光が被写体９から反射された反射光および被写体の背景に配置された光源５ａや反射シートから反射された反射光と、のうちいずれか一方または両方が入射する。画像記録部６が撮影する画像データには、このような直接光や反射光が記録される。前景照明部４、背景照明部５、画像記録部６との間で、偏光フィルタを組み合わせて用いて、偏光下で画像データを取得して、被写体９の光学的特性の影響を回避するようにしてもよい。

【0041】

照明条件データベースＤＢ１は、被写体９の形状および光学特性に応じて分類されたデータであって、被写体９を撮影する際の照明の条件を決定するための照明条件のデータを記録している。照明条件は、データベースＤＢ１に記録された照明条件のデータに基づいて、被写体９の種類と画像データの使用目的とに応じて選択される。画像データの使用目的は、例えば、画像切り出し用か、または、マスク形成用かなどである。例えば、画像切り出し用には白色光の条件とされ、マスク形成用には赤色光の条件とされる。

【0042】

選択された照明条件に基づいて、前景照明部４と背景照明部５が制御される。制御は、コンピュータ１１の制御部１ｂが行う。照明条件の選択は、例えば、作業者がＧＵＩ部１ａを介して行う。例えば、被写体９の外観が赤色の場合は、白色や緑色の背景光を発生させる照明条件を選択して、マスク生成用の画像を撮影する。なお、画像切り出し用の画像（原画像）を、最初に第１画像データＤ１として撮影する必要はなく、任意の順番で、撮影することができる。また、切り出し用の原画像は、必ずしも白色光下での画像に限られず、切り出した被写体画像の用途に応じて、任意の色光下で撮影した画像を用いることができる。

【0043】

処理条件データベースＤＢ２は、被写体９の外形の特徴に応じて分類され、輪郭を抽出する際に、輪郭抽出部３ａによって用いられる画像処理条件のデータを記録している。画像処理条件のデータは、例えば、被写体９が、食料品を包装した商品の場合、「共通一般型（デフォルト型）」、「箱型」、「袋型」、「カップ型」、「ビン型」、「ペットボトル型」、「袋型（透明）」、「対称型」などの種類に応じて特化したデータである。このような被写体９の外形の特徴に応じた条件分類は、照明条件データベースＤＢ１においても同様に適用することができる。また、処理条件データベースＤＢ２は、第１、第２、第３の実施形態の画像切出装置１に適用することができる。

【0044】

画像処理条件は、例えば、輪郭強調、輝度のゲインとオフセット調整、ヒストグラム均一化処理、アンシャープマスキング、アンチエイリアス処理などの、適用、非適用、適用時の適用程度等の条件である。これらの条件は、作業者がデータベースＤＢ２から選択することができる。また、被写体９の対称性を利用できる場合、例えば、ガラス瓶やペットボトルなどの場合、これらは中心軸に関して左右対称であることから、「対称型」の条件を設定し、これを選択することにより自動的に、二値化画像９ａを左右反転させて、もとの二値化画像９ａに重ねることにより、輪郭の断点を補修して、輪郭画像９ｃを効率良く得るようにすることができる。

【0045】

（ＧＵＩ部の実施例）
次に、図１０乃至図１３を参照して、ＧＵＩ部１ａの実施例を説明する。ＧＵＩ部１ａは、画像切出装置１における切り出し処理と撮影装置１０における切り出し処理のいずれにも適用することができる。この実施例における被写体は、カタログ等に掲載または表示される商品である。作業者は、操作画面を介して、２枚または３枚の画像を用いて、簡単な操作により、商品画像を自動で切り出したり、切り出した画像を修正したりすることができる。

【0046】

図１０に示すように、ＧＵＩ部１ａの操作画面は、第１、第２、第３画像データＤ１，Ｄ２，Ｄ３の画像を表示する小さなウインドウｗ１，ｗ２，ｗ３と、原画像や被写体画像等を互いに比較可能に表示する作業用の大きなウィンドウｗ４，ｗ５を有している。また、操作画面は、マウス操作やキーボード操作によって選択や決定をするためのボタンを有している。ボタンｂ１，ｂ２，ｂ３は、コンピュータ１１のファイルシステムから画像データを読み込んでウインドウｗ１，ｗ２，ｗ３に表示させるためのボタンである。ボタンｂ４は、処理条件データベースＤＢ２に記録された画像処理条件を選択するためのボタンである。

【0047】

ボタンｂ５は、２枚の画像データを読み込んだ場合に２枚の二値化画像を生成して合成するか否か、また３枚の画像データを読み込んだ場合に２枚または３枚のいずれの二値化画像を生成して合成するか否かを選択する場合に用いられるボタンであり、ボタンｂ５を操作するたびに、順次選択肢が変わっていずれかを選択可能となる。第１の実施形態のように二値化画像が１枚のみであって合成をしない場合は、ボタン５を押さないデフォルトになる。ボタンｂ６は、切り出し処理実行開始のボタンである。ボタンｂ７，ｂ８は、それぞれアンチエイリアス処理と手動修正処理とを行うためのボタンであり、切り出された被写体画像を後処理で修正する際に用いられる。

【0048】

画像データが読み込まれ、ボタンｂ４，ｂ５について操作がなされるかデフォルトが選択された後に、ボタンｂ６を操作すると、切り出し処理が実行され、実行結果である被写体画像が、ウインドウｗ５に表示される。切り出した商品画像は、例えば、ｐｎｇ型式で保存される。ｐｎｇ形式では透明度情報（透過画素）を扱うことができる。

【0049】

＜アンチエイリアス処理＞
図１１（ａ）に示すように、切り出された被写体画像９０において被写体９の領域と透過画素の領域９ｔとの境界である被写体９の輪郭が鮮明すぎたりギザギザが目立ちすぎたりして不自然に見える場合がある。この場合に、ボタンｂ７を操作して、図１１（ｂ）に示すように、アンチエイリアス処理を行うことができる。被写体画像９０は、商品画像を画素単位で切り出しているので、解像度が低い場合に輪郭にギザギザが生じることがある。このギザギザを目立たなくしたい場合の他に、被写体画像をチラシや広告などの背景に馴染ませたい場合にアンチエイリアスを用いると有効である。

【0050】

＜手動修正処理＞
ウインドウｗ５に表示された画像が、例えば、商品部分の欠落があって正しく切り出せていない画像である場合、修正用のボタンｂ８を操作する。このボタンｂ８の操作により、図１２に示す、商品画像修正ＧＵＩの作業画面が呼び出される。作業画面は、被写体画像を表示する作業用のウインドウｗ６と、選択決定等の操作に用いる複数のボタンｂ９〜ｂ１４とを有している。画像修正は、ウインドウｗ６に表示されるマウスの四角枠状のポインタＰＴ１を移動させることにより行われる。

【0051】

ボタンｂ９，ｂ１０は、ウインドウｗ６に表示される被写体画像を拡大または縮小するボタンである。このボタンにより、ポインタＰＴ１に対する被写体画像の大きさを相対的に変えることができる。ボタンｂ１１は、被写体画像とマスク画像とを合成して表示するためのボタンである。このボタンｂ１１の操作により、ウインドウｗ６に表示されている被写体画像に対し、抽出された輪郭の内部である商品部と外部の非商品部とを区別する明暗が表示される。再度同じボタンを操作すると、原画像が表示され、これにより、目視による商品部の特定がしやすくなるため、容易に修正できる。

【0052】

ボタンｂ１２は、被写体画像９０を作業画面に最初に表示したときの状態に戻して処理をリセットするボタンである。この機能は、修正を初めからやり直したいときに用いられる。ボタンｂ１３は、商品全体を表示するボタンであり、被写体画像９０を最初に表示したときの拡大率の表示に戻す。この機能は、作業中に商品全体をすぐに見たいときに有効である。ボタンｂ１４は、修正された被写体画像９０をＧＵＩ部１ａの操作画面のウインドウｗ５に転送して表示するボタンである。このボタンｂ１４を操作すると、商品画像修正ＧＵＩの作業画面が閉じられ、作業画面を呼び出したもとの操作画面がアクティブになる。

【0053】

次に、修正処理を説明する。図１２のウインドウｗ６に示されている切り出された被写体画像９０には、欠落部９ｘが認められる。図１３（ａ）は、欠落部９ｘの詳細を示す。作業者は、図１３（ｂ）に示すように、ポインタＰＴ１を、被写体９の輪郭からはみ出さないようにしつつ、被写体９の輪郭内で移動させる。この移動の際に、ボタンｂ９，ｂ１０を操作して被写体画像９０の拡大縮小が効果的に用いられる。被写体９の輪郭は、被写体画像９０とマスク画像とを合成して表示するボタンｂ１１を操作することにより目視確認できる。

【0054】

作業者は、マウスボタンを操作することにより、ポインタＰＴ１の内部にそのポインタＰＴ１が占める領域に対応する原画像の領域９ｙを表示させることができ、その原画像の領域９ｙの画素を被写体画像９０の欠落部９ｘにコピーすることができる。原画像は、被写体を切り出す対象の画像である。図１３（ｃ）に示すように、欠落部９ｘを、原画像の領域９ｙの画素で埋め尽くして、修正が完了する。

【0055】

なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、上述した各実施形態の構成を互いに組み合わせた構成とすることができる。異なる色光下の画像は、例えば、白色光をＲＧＢの各色に分解して、各ＲＧＢのいずれか、または、これらのいずれかの組合せによる画像であってもよく、これらをマスク生成用の画像としてもよい。また、異なる色光の概念は、色の違いに限られず、同色の光による照明方向の違いや照明強度の違いによって、被写体９の輪郭を際立たせる光をも包含する概念とすることができる。二値化画像９ａを生成する処理は、３×３画素の画素値の標準偏差を用いる処理に限られず、他の任意の二値化処理方法を用いることができる。

【符号の説明】

【0056】

１ 画像切出装置
２ 読込部（読込手段）
３ 切出部（切出手段）
３ａ 輪郭抽出部
３ｘ 二値化部
３ｙ 合成部
４ 前景照明部（前景照明手段）
５ 背景照明部（背景照明手段）
６ 画像記録部（画像記録手段）
９ 被写体
９ａ 二値化画像
９ｂ 合成二値化画像
９ｃ 輪郭画像（輪郭の画像）
９ｍ マスク画像（マスク）
９０ 被写体画像
１０ 撮影装置
Ｄ１ 第１画像データ、画像データ
Ｄ２ 第２画像データ、画像データ
Ｄ３ 第３画像データ、画像データ
Ｓ１ 読込工程
Ｓ２ 二値化工程（切出工程）
Ｓ２１ 二値化工程（切出工程）
Ｓ２２ 合成工程（切出工程）
Ｓ３ 輪郭抽出工程（切出工程）
Ｓ３１ 輪郭抽出工程（切出工程）
Ｓ４ マスク生成工程（切出工程）
Ｓ５ 切出処理工程（切出工程）

【要約】

【課題】本発明は、画像切り出しに際し、被写体の光学的特性の影響を抑制でき、被写体画像を自動的かつ容易に切り出すことができる画像切出装置、撮影装置、および画像切出方法を提供する。
【解決手段】画像切出装置１は、被写体を撮影した２種類の画像データを読み込む読込部２と、これらの画像データを用いて被写体画像を切り出す切出部３とを備える。読込部２は、第１の色光下で被写体を撮影した第１画像データＤ１と、第１の色光とは異なる第２の色光下で被写体を撮影した第２画像データＤ２とを読み込む。切出部３は、第２画像データから被写体の輪郭を抽出し、輪郭の画像を用いて画像切出用のマスクを生成し、マスクを用いて第１画像データから被写体の画像を切り出す。第１の色光は白色光、第２の色光は輪郭を抽出しやすい画像が得られる光、例えば赤色光とされる。マスク生成専用の画像によってマスクを自動生成でき、自動切り出しが可能となる。
【選択図】図１

【図1】

【図2】

【図4】

【図5】

【図7】

【図9】

【図3】

【図6】

【図8】

【図10】

【図11】

【図12】

【図13】