特許 6088260 処理装置、処理システム、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6088260

(24)【登録日】2017年2月10日

(45)【発行日】2017年3月1日

(54)【発明の名称】処理装置、処理システム、処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170220BHJP

   G06T 5/20 20060101ALI20170220BHJP

   G06T 19/00 20110101ALI20170220BHJP

【ＦＩ】

   G06T1/00 340A

   G06T5/20

   G06T19/00 A

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2013-11331(P2013-11331)

(22)【出願日】2013年1月24日

(65)【公開番号】特開2014-142836(P2014-142836A)

(43)【公開日】2014年8月7日

【審査請求日】2015年12月10日

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人 千葉大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】柿沼 明宏

(72)【発明者】

【氏名】高橋 浩

(72)【発明者】

【氏名】山内 拓也

(72)【発明者】

【氏名】津村 徳道

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−１０７８７７（ＪＰ，Ａ）

【文献】 特開２００６−１８４６７（ＪＰ，Ａ）

【文献】 特開２００４−２６５４０６（ＪＰ，Ａ）

【文献】 特開２００１−２０９７９６（ＪＰ，Ａ）

【文献】 特開平９−３０５７９８（ＪＰ，Ａ）

【文献】 国際公開第２０１２／００１９４９（ＷＯ，Ａ１）

【文献】 韓国公開特許第１０−２００７−００６８５０１（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，５／００−５／５０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

被写体の二次元画像データ及び前記被写体の三次元画像データを取得する取得手段と、
前記二次元画像データから参照領域を取得する参照領域取得手段と、
前記三次元画像データを構成する三次元座標を格子点とする格子面毎に、前記格子面の法線方向に方向変換して前記格子面の形状に切り取った前記参照領域を貼り付け、前記参照領域が貼り付けられた前記三次元画像データに基づいて、前記二次元画像データに対応する二次元の参照画像を生成する生成手段と、
前記二次元画像データから選択される修正領域を、前記参照画像の前記修正領域に対応する領域を用いて置換する置換手段と、
を有することを特徴とする処理装置。

【請求項2】

前記生成手段は、前記参照領域が貼り付けられた前記三次元画像データを投影変換して二次元の前記参照画像を生成する
ことを特徴とする請求項１に記載の処理装置。

【請求項3】

前記参照画像に陰影情報を付加する陰影付加手段を有する
ことを特徴とする請求項１又は２に記載の処理装置。

【請求項4】

前記陰影付加手段は、前記二次元画像データにぼかしフィルタを適用して前記陰影情報を生成し、前記陰影情報を前記参照画像に付加する
ことを特徴とする請求項３に記載の処理装置。

【請求項5】

前記陰影付加手段は、光源情報及び視点情報を用いて求められる拡散反射成分と鏡面反射成分とに基づいて、前記参照領域が貼り付けられた前記三次元画像データに前記陰影情報を付加する
ことを特徴とする請求項３に記載の処理装置。

【請求項6】

前記置換手段は、前記二次元画像データから選択される修正領域と、前記参照画像の前記修正領域に対応する領域とを所定の割合で混合した混合画像を生成し、前記修正領域を前記混合画像に置換する
ことを特徴とする請求項１から５の何れか一項に記載の処理装置。

【請求項7】

前記被写体を撮像して前記二次元画像データ及び前記三次元画像データを生成する撮像手段を有する
ことを特徴とする請求項１から６の何れか一項に記載の処理装置。

【請求項8】

前記被写体を撮像して前記二次元画像データ及び前記三次元画像データを生成する撮像装置と、
請求項１から７の何れか一項に記載の処理装置と、
を有することを特徴とする処理システム。

【請求項9】

被写体の二次元画像データ及び前記被写体の三次元画像データを取得する取得ステップと、
前記二次元画像データから参照領域を取得する参照領域取得ステップと、
前記三次元画像データを構成する三次元座標を格子点とする格子面毎に、前記格子面の法線方向に方向変換して前記格子面の形状に切り取った前記参照領域を貼り付け、前記参照領域が貼り付けられた前記三次元画像データに基づいて、前記二次元画像データに対応する二次元の参照画像を生成する生成ステップと、
前記二次元画像データから選択される修正領域を、前記参照画像の前記修正領域に対応する領域を用いて置換する置換ステップと、
を有することを特徴とする処理方法。

【請求項10】

請求項９に記載の処理方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理システム、処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、デジタルスチールカメラやデジタルビデオカメラ等の普及により、撮影機会が著しく増えている。カメラ等を用いた撮影では、コマーシャル撮影や証明写真の様な商用撮影から、一般的なスナップ写真に至るまで、人物が被写体となる場合が多い。

【0003】

撮影に使用されるカメラは、撮像素子の高解像度化が進んだことにより、簡単に高画質画像の撮影が可能になっている。このため、従来であれば気にならなかった様な被写体上の欠点や不要物までもが撮影された画像に鮮明に再現される様になってきている。

【0004】

人物の顔を被写体とする場合には、被写体上の欠点や不要物としては、例えばニキビ、シミ、傷、小皺、ホクロ、無精髭等が挙げられる。特にコマーシャルや証明写真等に用いられる画像では、最終画像を見る側に与える印象が非常に重要になるため、上記した様な欠点や不要物を除去する画像修正作業が必要になる。

【0005】

画像修正作業は、例えば市販されている画像処理ソフト等を用いて行うのが一般的であるが、例えば顔の肌部にある上記欠点を違和感無く除去するには高い技術と豊富な経験とを必要とする。更に、上記したニキビやシミ等の欠点や不要物が複数且つ広範囲に存在する場合には、高い技術を駆使したとしても非常に手間の掛かる作業となる。

【0006】

特に人物の肌は、被写体の中でも非常に見慣れた部位であるだけに、人間の視覚は肌の微妙な変化に敏感になっている。したがって、画像修正作業により上記欠点や不要物を除去出来たとしても、例えば修正箇所とその周辺部分との間で僅かでも連続性が欠けると全体として違和感のある画像として認識されてしまう可能性がある。

【0007】

そこで、顔画像の肌部から上記欠点や不要物を除去する技術として、欠点や不要物が無い顔画像の統計的特徴量モデルを用いて、修正対象の顔画像データから欠点等の要素を除去する画像処理方法が提案されている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に係る画像処理方法では、欠点や不要物を有さない複数の顔画像を統計処理した統計的特徴量モデルが予め必要となる。また、顔画像からの欠点や不要物の除去精度を向上させるために、顔部位毎の統計的特徴量モデルを予め用意する必要があり、簡易な作業で画像から欠点や不要物等を除去出来ない可能性がある。

【0009】

本発明は上記に鑑みてなされたものであって、簡易な作業で画像から欠点や不要物を違和感無く除去することが可能な処理装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様の処理装置によれば、被写体の二次元画像データ及び前記被写体の三次元画像データを取得する取得手段と、前記二次元画像データから参照領域を取得する参照領域取得手段と、前記三次元画像データを構成する三次元座標を格子点とする格子面毎に、前記格子面の法線方向に方向変換して前記格子面の形状に切り取った前記参照領域を貼り付け、前記参照領域が貼り付けられた前記三次元画像データに基づいて、前記二次元画像データに対応する二次元の参照画像を生成する生成手段と、前記二次元画像データから選択される修正領域を、前記参照画像の前記修正領域に対応する領域を用いて置換する置換手段と、を有する。

【発明の効果】

【0011】

本発明の実施形態によれば、簡易な作業で画像から欠点や不要物を違和感無く除去することが可能な処理装置を提供できる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態の処理装置のハードウェア構成を例示する図である。

【図2】第１の実施形態の処理装置の機能構成を例示する図である。

【図3】第１の実施形態における二次元画像データ、三次元画像データ及び視点変換された三次元画像データを例示する図である。

【図4】第１の実施形態における三次元画像データへの参照領域の展開方法を説明する図である。

【図5】第１の実施形態における参照画像への陰影情報の付加方法を説明する図である。

【図6】第１の実施形態における二次元画像データを修正する方法について説明する図である。

【図7】第１の実施形態における画像修正処理のフローチャートを例示する図である。

【図8】第１の実施形態の処理装置の表示部による画像表示例を示す図（１）である。

【図9】第１の実施形態の処理装置の表示部による画像表示例を示す図（２）である。

【図10】第１の実施形態の処理装置の表示部による画像表示例を示す図（３）である。

【図11】第１の実施形態の処理装置の表示部による画像表示例を示す図（４）である。

【図12】第２の実施形態の処理装置の機能構成を例示する図である。

【図13】第２の実施形態における三次元画像データの任意の格子面、光源及び視点の位置関係を例示する図である。

【図14】第２の実施形態における画像修正処理のフローチャートを例示する図である。

【図15】第３の実施形態の処理装置のハードウェア構成を例示する図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0014】

〔第１の実施形態〕
＜処理システムのハードウェア構成＞
図１に、第１の実施形態の処理システム５００のハードウェア構成を例示する。

【0015】

図１に示す様に、処理システム５００は、撮像装置１００、処理装置１０１を有する。

【0016】

撮像装置１００は、被写体を撮像し、被写体の二次元画像データ及び三次元画像データを取得して内部メモリ又は記憶媒体に一時保存する。三次元画像データは、被写体を取り囲む空間における被写体表面の離散的な三次元座標情報であり、例えばステレオ法やレーザーレンジファインダによって取得できる。例えば、ステレオ法では、異なる２つの位置から撮影された被写体画像上の位置差異に基づく三角測量により奥行き推定を行うことで、三次元画像データを取得できる。

【0017】

処理装置１０１は、撮像装置Ｉ／Ｆ部１０２、制御部１０３、主記憶部１０４、補助記憶部１０５、外部記憶装置Ｉ／Ｆ部１０６、ネットワークＩ／Ｆ部１０７、操作部１０８、表示部１０９を有し、それぞれバスＢを介して相互に接続されている。

【0018】

撮像装置Ｉ／Ｆ部１０２は、例えばＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される撮像装置１００と処理装置１０１とのインターフェイスである。処理装置１０１は、撮像装置Ｉ／Ｆ部１０２を介して撮像装置１００から、被写体の二次元画像データ及び三次元画像データを取得できる。

【0019】

制御部１０３は、コンピュータの中で、各部の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０３は、主記憶部１０４に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置等に出力する。

【0020】

主記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１０３が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。

【0021】

補助記憶部１０５は、ＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。

【0022】

外部記憶装置Ｉ／Ｆ部１０６は、例えばＵＳＢ等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記憶媒体１１０と処理装置１０１とのインターフェイスである。処理装置１０１は、記憶媒体１１０に一時保存された撮像装置１００の画像データを、外部記憶装置Ｉ／Ｆ部１０６を介して取得することも可能である。

【0023】

また、記憶媒体１１０に格納されたプログラムが外部記憶装置Ｉ／Ｆ部１０６を介して処理装置１０１にインストールされると、インストールされたプログラムは処理装置１０１により実行可能となる。

【0024】

ネットワークＩ／Ｆ部１０７は、有線及び／又は無線回路等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機能を有する周辺機器と処理装置１０１とのインターフェイスである。処理装置１０１は、撮像装置１００によって取得された被写体の画像データを、ネットワークを介して取得することも可能である。

【0025】

操作部１０８は、例えばハードキーで構成されるキースイッチやマウス、タッチパネル機能を備えるＬＣＤ（Liquid Crystal Display）等で構成される。

【0026】

表示部１０９は、例えば液晶や有機ＥＬ等のディスプレイであり、画像や操作用アイコン等を表示し、処理装置１０１が有する機能をユーザが利用する際に各種設定を行うユーザインタフェースとして機能する。なお、タッチパネル機能を備えるＬＣＤを設けることで、操作部１０８と表示部１０９とを一体に構成しても良い。

【0027】

＜処理装置の機能構成＞
図２は、第１の実施形態の処理装置１０１の機能構成を例示するブロック図である。また、図３から図６に第１の実施形態の処理装置１０１における画像処理過程で使用する画像データ等の例を示し、図２に示す処理装置１０１の各機能と併せて説明する。

【0028】

図２に示す様に、処理装置１０１は、取得手段としての被写体情報取得部１２１、参照領域取得部１２２、生成手段としての参照画像生成部１２３、陰影付加手段としての陰影情報付加部１２４、置換手段としての画像置換処理部１２５を有する。

【0029】

≪被写体の画像情報取得≫
処理装置１０１では、まず被写体情報取得部１２１が、撮像装置１００で撮像された被写体の二次元画像データ及び三次元画像データを取得する。

【0030】

図３（ａ）に被写体情報取得部１２１が取得した被写体の二次元画像データ２００、図３（ｂ）に被写体の三次元画像データ２１０の例を示す。図３（ｂ）に示す点２１１は撮像装置１００の位置、四角形２１２は撮像装置１００によって撮像される被写体の二次元画像データ２００の画角を示している。

【0031】

≪参照情報の取得≫
次に、参照領域取得部１２２が、二次元画像データ２００において例えばニキビや無精髭等の除去対象要素が無い部分から参照領域を取得する。例えば被写体の二次元画像データ２００のニキビ等を除去対象要素とする場合には、二次元画像データ２００においてニキビ等の除去対象要素が無く、理想的だと考えられる肌領域から参照領域を取得する。参照領域は、例えば被写体の二次元画像データ２００の肌領域内において、濃度特性や周波数特性の変動が安定した部分から自動的に抽出して取得できる。または、ユーザにより選択された領域を参照領域として取得しても良い。

【0032】

≪参照領域展開画像の生成≫
参照画像生成部１２３は、三次元画像データ２１０を被写体の二次元画像データ２００と同一構図になるように視点変換し、視点変換された三次元画像データ２１０に対して参照領域を展開して参照画像を生成する。

【0033】

図３（ｃ）に、参照画像生成部１２３により二次元画像データ２００に合わせて視点変換された三次元画像データ２１０を例示する。視点変換された三次元画像データ２１０は、図３（ａ）に示す被写体の二次元画像データ２００と構図が一致しているのが分かる。

【0034】

次に、参照画像生成部１２３が、視点変換された三次元画像データ２１０に対して、参照領域取得部１２２により取得された二次元画像データ２００の参照領域を展開して参照領域展開画像を生成する。

【0035】

図４は、参照画像生成部１２３による三次元画像データ２１０への参照領域の展開方法を説明する図である。

【0036】

三次元画像データ２１０は、被写体表面の三次元座標で構成され、図４（ａ）に示す様に各座標点を格子点とする格子面２１３等で構成される形状データであるとも言える。格子面としては、例えば三角形、四角形等の多角形の形状等がある。

【0037】

図４（ｂ）に示す様に、参照画像生成部１２３は、二次元画像データ２００から取得される参照領域２３０の法線方向２３１が、参照領域２３０を展開する格子面２１３の法線方向２１４と一致する様に参照領域２３０の方向変換を行う。次に、参照画像生成部１２３は、方向変換した参照領域２３０を格子面２１３の形状と一致する様に切り取り、切り取った画像データ２３２を三次元画像データ２１０の格子面２１３に貼り付ける。

【0038】

参照画像生成部１２３は、この様に、三次元画像データ２１０を構成する全ての格子面に対して、参照領域２３０を方向転換して切り取った画像データを貼り付けて三次元の参照領域展開画像を生成する。

【0039】

次に、参照画像生成部１２３は、生成した三次元の参照領域展開画像に対して投影変換処理を行うことで、二次元の参照画像を生成する。図４（ｃ）は、参照画像生成部１２３によって生成された参照画像２４０の例である。図４（ｃ）に示す様に、全ての格子面に対して参照領域２３０が展開された三次元画像データ２１０を投影変換することで、三次元画像データ２１０及び二次元画像データ２００と同一構図の二次元の参照画像が生成される。

【0040】

参照画像２４０は、離散的な三次元座標を格子点とする格子面によって構成される三次元画像データ２１０に基づいて生成されており、三次元画像データ２１０の格子面よりも小さい凹凸（例えば、小さい傷や皺等）は全て除去されている。また、参照画像２４０は、除去対象要素の無い理想的な画像として取得された参照領域を用いて生成されるため、ニキビやシミ等による局所的な濃度及び色変化を伴う被写体上の欠点や不要物も存在しない。

【0041】

≪陰影情報の付加≫
次に、陰影情報付加部１２４が陰影情報を取得して参照画像２４０に陰影を付加する。

【0042】

図５に示す様に、陰影情報２５０は、二次元画像データ２００から被写体の目や鼻等の構造物を除いた大局的な濃度変化を表すものであり、例えば二次元画像データ２００にぼかしフィルタを適用することで取得できる。陰影情報付加部１２４は、この様に取得した陰影情報２５０を参照画像２４０に乗算することで、被写体の二次元画像データ２００の目や鼻等に対応する陰影情報を付加した参照画像２４０を生成する。

【0043】

≪除去対象要素の除去≫
画像置換処理部１２５は、二次元画像データ２００から選択されるニキビ等の除去対象要素を含む修正領域を、参照画像２４０の修正領域に対応する領域を用いて置換することで、二次元画像データ２００から除去対象要素を修正する。

【0044】

参照画像２４０は、上記した様に、三次元画像データ２１０における格子面より小さい凹凸や、被写体表面のニキビや皺等の欠点や不要物等が無い状態で生成されている。したがって、二次元画像データ２００における欠点や不要物を除去する修正領域を、参照画像２４０の修正領域に対応する領域を用いて置換することで、二次元画像データ２００から除去対象要素を除去することができる。

【0045】

以下、図６に基づいて、被写体の二次元画像データ２００の除去対象要素（例えばニキビ等）が存在する領域を修正する場合について説明する。

【0046】

二次元画像データ２００を修正する場合には、画像置換処理部１２５が、除去対象要素を含む二次元画像データ２００の修正領域２７０を取得する。

【0047】

画像置換処理部１２５は、表示部１０９に表示される二次元画像データ２００からユーザにより選択された領域を修正領域２７０として取得できる。また、画像置換処理部１２５は、被写体の二次元画像データ２００をフーリエ変換して周波数領域のデータを算出し、除去対象要素の周波数に相当する領域のデータを抽出して逆フーリエ変換して除去対象要素の領域を特定することで、修正領域２７０を自動抽出することによって取得しても良い。なお、修正領域２７０は複数箇所であっても良い。

【0048】

また、画像置換処理部１２５は、修正領域２７０を取得すると、次に参照画像２４０の修正領域２７０に対応する領域を置換領域２４１として取得する。

【0049】

次に画像置換処理部１２５は、取得した二次元画像データ２００の修正領域２７０と、参照画像２４０の置換領域２４１とを、任意の割合で混合した混合画像２７１を生成する。

【0050】

混合する割合は、参照画像２４０の置換領域２４１に対する混合係数Ｍ（０≦Ｍ≦１）と、二次元画像データ２００の修正領域２７０に対する混合係数Ｎ（＝１−Ｍ）とによって決定される。画像置換処理部１２５は、混合係数Ｍ，Ｎを変化させることで、二次元画像データ２００から除去対象要素を除去する程度を変えることができる。

【0051】

画像置換処理部１２５は、混合係数Ｍを１とすることで、二次元画像データ２００から除去対象要素を完全に除去することができる。また、混合係数Ｍを１より小さい数値にすることで、修正後の二次元画像データ２００に違和感が生じない様に処理を施すこともできる。図６は、混合係数Ｍを１とした場合であり、二次元画像データ２００から例えばニキビ等の除去対象要素が完全に除去されている。

【0052】

この様に、画像置換処理部１２５は、二次元画像データ２００の修正領域２７０を参照画像２４０の置換領域２４１を用いた混合画像２７１に置換することで、除去対象要素が修正された二次元画像データ２００を得ることができる。

【0053】

＜画像修正処理の流れ＞
図７に、第１の実施形態の処理装置１０１における画像修正処理のフローチャートを例示し、図８から図１１に例示する表示部１０９に表示される画面と共に全体の処理内容について説明する。

【0054】

二次元画像データ２００の修正を行う場合には、まずステップＳ１にて、被写体情報取得部１２１が、撮像装置１００から被写体の二次元画像データ２００及び三次元画像データ２１０を取得する。

【0055】

図８は、被写体情報取得部１２１により取得された被写体の二次元画像データ２００の表示部１０９への表示例を示す図である。図８に示す様に、表示部１０９の画面左側には被写体の二次元画像データ２００、画面右側上段には画像処理メニューを表すボタン、画面右側下段には選択したメニューに対応するダイアログ画面が表示される。

【0056】

画像処理メニューは、例えば「Ａ．参照情報の取得」、「Ｂ．三次元形状の視点変換」、「Ｃ．修正領域の指定」、「Ｄ．除去対象要素の除去」等の中から選択することができる。

【0057】

図７のフローに戻り、次にステップＳ２にて、参照領域取得部１２２が、被写体の二次元画像データ２００から除去対象要素を含まない参照領域を取得する。図８に示す様に、画面右側上段で「Ａ．参照情報の取得」のメニューが選択されると、画面右側下段に「Ａ．参照情報の取得」に対応するダイアログ画面が表示される。

【0058】

参照領域の指定は、ユーザにより表示部１０９の二次元画像データ２００上に表示されている矩形オブジェクト２８０がマウス等の操作部１０８で移動及び変形されることで行われる。矩形オブジェクト２８０の大きさは、画面右側下段ダイアログ画面に表示される「矩形オブジェクトのサイズ」をキーボード等の操作部１０８で数値入力することで調整できる。また、領域指定を行う形状は矩形に限るものではない。

【0059】

矩形オブジェクト２８０によって囲まれた領域は、画面右側下段の「ＯＫ」ボタンがクリックされることで、参照領域取得部１２２により参照領域２３０として取得される。「キャンセル」ボタンがクリックされると、矩形オブジェクト２８０を用いて参照領域２３０の選択が再度実行される。図８に示す例では、３００×３００画素の大きさの矩形オブジェクト２８０がニキビ等の除去対象要素が無い肌領域に表示されており、この領域が参照領域２３０として選択されている。参照領域２３０が選択されると、参照領域取得部１２２が、二次元画像データ２００から参照領域２３０を取得する。

【0060】

なお、図８では参照領域２３０をユーザに選択させる方法について例示しているが、参照領域取得部１２２は、例えば二次元画像データ２００の肌領域の周波数解析等に基づいて参照領域２３０を自動抽出しても良い。

【0061】

図７のフローに戻り、ステップＳ２にて、参照領域２３０が取得されると、ステップＳ３にて、被写体の二次元画像データ２００と同一構図になるように三次元画像データ２１０の視点変換が行われる。

【0062】

図９は、表示部１０９に表示される被写体の三次元画像データ２１０の視点変換操作を例示する図である。図９に示す様に、画像処理メニューから「Ｂ．三次元形状の視点変換」が選択されると、画面右側下段に「Ｂ．三次元形状の視点変換」に対応するダイアログ画面が表示される。また、画面左側には視点変換された被写体の三次元画像データ２１０が表示される。

【0063】

画面右側下段のダイアログ画面には、被写体情報取得部１２１により取得された三次元画像データ２１０と視点情報が表示される。視点情報は、視点の向きを表す２点のアンカーポイント２９１，２９２であり、マウス等の操作部１０８で移動させることができる。

【0064】

画面左側には、アンカーポイント２９１，２９２の位置によって決定される視点から見た三次元画像データ２１０が、被写体の二次元画像データ２００の上に重畳された合成画像２９０として表示される。

【0065】

三次元画像データ２１０は、ユーザによるアンカーポイント２９１，２９２の操作に合わせて随時変化して合成画像２９０として表示される。このため、ユーザは、二次元画像データ２００と視点変換された三次元画像データ２１０との重なり具合を確認しながら、アンカーポイント２９１，２９２の位置の微調整を行うことができる。したがって、ユーザは、視点変換された三次元画像データ２１０が二次元画像データ２００に精度良く重なる様に、三次元画像データ２１０の視点変換を行うことができる。

【0066】

被写体の二次元画像データ２００と視点変換された三次元画像データ２１０とが同一構図になった所で、画面右側下段の「ＯＫ」ボタンがクリックされると、三次元画像データ２１０の視点変換が確定される。視点変換をやり直す場合は、「キャンセル」ボタンをクリックすることで、再度視点変換を実行できる。

【0067】

図７のフローに戻り、ステップＳ３にて三次元画像データ２１０の視点変換が終了すると、ステップＳ４にて、参照画像生成部１２３が、視点変換された三次元画像データ２１０に二次元画像データ２００の参照領域２３０を展開して参照領域展開画像を生成する。

【0068】

次にステップＳ５にて、参照画像生成部１２３が、参照領域展開画像を投影変換することで二次元の参照画像２４０を生成する。続いてステップＳ６にて、陰影情報付加部１２４が、参照画像２４０に陰影情報を付加する。

【0069】

ステップＳ７では、ユーザにより被写体の二次元画像データ２００からニキビ等の除去対象要素が存在する修正領域２７０が指定される。なお、修正領域２７０は、上記した様に自動抽出されても良い。

【0070】

図１０は、表示部１０９に表示される被写体の二次元画像データ２００から修正領域２７０の指定操作を例示する図である。

【0071】

図１０に示す様に、画面右側上段で「Ｃ．修正領域の指定」のメニューが選択されると、画面右側下段に「Ｃ．修正領域の指定」に対応するダイアログ画面、画面左側には被写体の二次元画像データ２００が表示される。修正領域２７０の指定は、ユーザにより二次元画像データ２００上に表示される矩形オブジェクト２８０がマウス等の操作部１０８を用いて移動及び変形されることで行われる。

【0072】

矩形オブジェクト２８０の大きさは、画面右側下段ダイアログ画面に表示される「矩形オブジェクトのサイズ」をキーボード等の操作部１０８で数値入力することで調整できる。また、領域指定を行う形状は矩形に限るものではない。

【0073】

矩形オブジェクト２８０によって囲まれた領域は、画面右側下段の「ＯＫ」ボタンをクリックすることで、二次元画像データ２００において修正を所望する修正領域２７０として決定される。修正領域２７０が決定されると、画像置換処理部１２５は、二次元画像データ２００の修正領域２７０と、参照画像２４０から修正領域２７０に対応する置換領域２４１を取得する。

【0074】

修正領域２７０の指定をやり直す場合には、「キャンセル」ボタンをクリックすることで、ユーザは修正領域２７０の選択を再度実行できる。

【0075】

図７のフローに戻り、次のステップＳ８では、画像置換処理部１２５が、二次元画像データ２００の修正領域２７０と、参照画像２４０の置換領域２４１とを所定の割合で混合して混合画像２７１を生成し、修正領域２７０を混合画像２７１に置換する。画像置換処理部１２５により、二次元画像データ２００の修正領域２７０が混合画像２７１に置換されることで、二次元画像データ２００の修正領域２７０に存在していた除去対象要素が除去されることとなる。

【0076】

図１１は、表示部１０９に表示される二次元画像データ２００の修正操作を例示する図である。

【0077】

図１１に示す様に、画面右側上段で「Ｄ．除去対象要素の除去」のメニューが選択されると、画面右側下段に、「Ｄ．除去対象要素の除去」に対応するダイアログ画面、画面左側には被写体の二次元画像データ２００が表示される。

【0078】

画面右側下段のダイアログ画面には、二次元画像データ２００の修正領域２７０と、参照画像２４０の修正領域２７０に対応する置換領域２４１とが表示され、その間に混合割合を設定するスライドバー２７２が表示される。スライドバー２７２をマウス等の操作部１０８で左右に動かすと、二次元画像データ２００にはスライドバー２７２の位置に応じた混合割合で生成された混合画像２７１が表示される。

【0079】

ユーザは、設定した混合割合で生成された混合画像２７１で修正領域２７０が置換された二次元画像データ２００を確認しながら、違和感の無い最適な混合割合を設定することができる。

【0080】

画面右側下段の「ＯＫ」ボタンがクリックされると、画像置換処理部１２５により混合画像２７１が被写体の二次元画像データ２００の修正領域２７０に置換され、二次元画像データ２００から除去対象要素が除去された画像が生成される。

【0081】

二次元画像データ２００において、複数の領域を修正する場合には、図７のフローにおけるステップＳ７及びステップＳ８を繰り返し行うことで、複数の領域の修正を実行できる。

【0082】

以上で説明した様に、第１の実施形態の処理システム５００及び処理装置１０１によれば、画像処理実行者が画像処理に不慣れであっても、例えば被写体の顔画像の肌部からニキビ、シミ、傷等の欠点や不要物を簡易な操作で違和感無く除去することが可能になる。

【0083】

〔第２の実施形態〕
次に、第２の実施形態について図面に基づいて説明する。なお、第１の実施形態と同一の構成又は処理については、説明を省略する場合がある。

【0084】

＜処理システムの構成＞
第２の実施形態の処理システム５００のハードウェア構成は、図１に示す第１の実施形態の処理システム５００のハードウェア構成と同一である。

【0085】

図１２は、第２の実施形態における処理装置１０１の機能構成を例示するブロック図である。

【0086】

図１２に示す様に、第２の実施形態の処理装置１０１は、取得手段としての被写体・光源・視点情報取得部１２６、参照領域取得部１２２、参照画像生成部１２３、陰影情報付加部１２４、画像置換処理部１２５を有する。

【0087】

被写体・光源・視点情報取得部１２６は、撮像装置１００から被写体の二次元画像データ及び三次元画像データを取得すると共に、撮像装置１００の撮影時における光源情報、視点情報を取得する。

【0088】

また、陰影情報付加部１２４は、被写体・光源・視点情報取得部１２６により取得された光源情報と視点情報に基づいて参照画像に陰影情報を付加する。

【0089】

≪被写体の画像情報取得≫
被写体・光源・視点情報取得部１２６は、被写体の二次元画像データ及び三次元画像データ、撮影時の光源情報、撮影時の視点情報を取得する。

【0090】

光源情報は、被写体に対する光源の位置、輝度及び色情報であり、例えば被写体の二次元画像データから推定演算により取得可能である。また、視点情報は、被写体を撮像する撮像装置１００の被写体に対する位置情報である。

【0091】

≪陰影情報の付加≫
陰影情報付加部１２４が、光源情報及び視点情報に基づいて、参照領域展開画像に陰影情報を付加する方法について説明する。

【0092】

一般的に肌の反射光は、二色性反射モデルに基づき、拡散反射光と鏡面反射光の線形和で表される。拡散反射光は肌構造に起因する肌陰影、鏡面反射光は肌表面の光沢を表す。

【0093】

拡散反射光は、肌への入射光が肌表面層内部で乱反射することにより生じる成分であり、観測方向に依存せず、あらゆる方向に均一の強度で観測される。拡散反射光を表す拡散反射モデルとしては、例えばLambertモデルがある。以下に示す式（１）は、Lambertモデルによる拡散反射成分dを表す式である。

【0094】

【数1】

ここで、k_dは肌表面の任意点における肌本来の固有色パラメータ、I₀は光源の輝度を表すパラメータ、Nは肌表面の任意点における法線ベクトル、Lは任意点からの光源方向を示す単位光源ベクトルである。拡散反射成分dの強さは、単位光源ベクトルと法線ベクトルとのなす角の余弦に比例する。

【0095】

鏡面反射光は、肌への入射光が肌表面で反射することで生じる成分であり、入射光の入射方向に対する正反射方向で最も強く観測され、肌物体色に依存することなく光源色をそのまま反射する性質を持っている。鏡面反射光を表す鏡面反射モデルとしては、例えばPhongモデルがある。以下に示す式（２）は、Phongモデルによる前記鏡面反射成分sを表す式である。

【0096】

【数2】

ここで、k_sは光源の色情報に基づくパラメータ、I₀は光源の輝度を表すパラメータ、Lは単位光源ベクトル、Rは視点方向から入射された場合の物体表面の正反射方向によって決まる正反射ベクトル、nは肌表面での光沢の散乱度合いを表すパラメータである。鏡面反射成分sの強さは、単位光源ベクトルと正反射ベクトルとのなす角の余弦に比例する。

【0097】

陰影情報付加部１２４は、二次元画像データの参照領域が展開された参照領域展開画像に拡散反射成分と鏡面反射成分の両反射モデルを適用することで、被写体の肌領域の陰影情報を参照領域展開画像に付加する。両反射モデルが適用された参照領域展開画像は、参照画像生成部１２３によって二次元に投影変換されることで、陰影情報が付加された参照画像が生成される。

【0098】

例えば図４（ａ）に示す様に、三次元画像データ２１０を構成する任意の格子面２１３に着目すると、格子面２１３に対応する固有色パラメータk_dは、格子面２１３に展開される参照領域２３０の色情報に該当する。また、法線ベクトルは、格子面２１３の法線方向２１４となる。

【0099】

図１３は、任意の格子面２２１の法線方向に直交する水平方向から見た光源情報及び視点等の位置関係を示す模式図である。

【0100】

図１３には、格子面２２１の任意点３０１から光源３１０の方向を示す単位光源ベクトルＬ３０２、任意点３０１から撮像装置１００の方向を示す単位視点ベクトルＶ３０３、格子面２２１の法線ベクトルＮ２２２、撮像装置１００の位置から任意点３０１に入射される光の格子面２２１に対する正反射ベクトルＲ３０４が示されている。

【0101】

以下に示す式（３）は、正反射ベクトルＲ３０４の計算式である。

【0102】

【数3】

正反射ベクトルＲ３０４は、単位視点ベクトルＶ３０３、法線ベクトルＮ２２２に基づいて求めることができる。参照領域展開画像への陰影情報の付加は、式（１）に基づいて求められる拡散反射成分、式（２）に基づいて求められる鏡面反射成分を、参照領域展開画像を構成する各頂点又は各格子面について計算することにより行われる。

【0103】

なお、頂点毎に反射モデルの計算を行う場合には、例えば三角格子面を構成する格子点間の画素値を線形補間することで、三角格子面内の陰影情報が再現される。

【0104】

≪白飛び画像部位の復元≫
ここで、撮影時に光が強く当たり過ぎることで、撮像装置１００により取得される画像において、例えば被写体の顔の肌部が部分的に白く飛んでしまう（調子が欠損してしまう）場合がある。この様な白飛び画像部位を含む画像であっても、三次元画像データ２１０に二次元画像データ２００の参照領域２３０を展開すると共に、上記した反射モデルを適用することで、白飛び画像部位を復元することができる。

【0105】

式（１）の拡散反射モデルに三次元画像データ２１０を構成する格子面の法線情報を適用することで、白飛び画像部位についても拡散反射成分を計算できる。また、式（２）の鏡面反射モデルに、三次元画像データ２１０を構成する格子面の法線情報と視点情報とから式（３）により求められる正反射ベクトルを適用することで、白飛び画像部位の鏡面反射成分を算出できる。したがって、陰影情報付加部１２４は、白飛び画像部位を含む全領域に対して拡散反射成分と鏡面反射成分との線形和を適用することで、参照領域展開画像全体に陰影情報を付加できる。

【0106】

参照画像生成部１２３は、上記した様に陰影情報が付加された参照領域展開画像を投影変換することで、白飛び画像部位が復元された参照画像２４０を生成することができる。

【0107】

＜画像処理の流れ＞
図１４に、第２の実施形態の処理装置１０１における画像修正処理のフローチャートを例示し、全体の処理の概要について説明する。

【0108】

処理装置１０１において画像修正処理を実行する場合には、まずステップＳ１１にて、被写体・光源・視点情報取得部１２６が、被写体の二次元画像データ２００、三次元画像データ２１０、撮影時の光源情報及び視点情報を取得する。

【0109】

次にステップＳ１２にて、被写体の二次元画像データ２００と同一構図になる様に、視点情報に基づいて三次元画像データ２１０の視点変換が自動で行われる。

【0110】

ステップＳ１３では、参照領域取得部１２２が、二次元画像データ２００からユーザにより選択される参照領域２３０を取得する。

【0111】

ステップＳ１４では、参照画像生成部１２３が、視点変換された三次元画像データ２１０に参照領域２３０を展開して参照領域展開画像を生成する。

【0112】

次に陰影情報付加部１２４が、ステップＳ１５にて三次元画像データ２１０の表面を構成する全格子面における拡散反射成分を算出し、ステップＳ１６にて鏡面反射成分を算出し、参照領域展開画像に適用する。

【0113】

ステップＳ１７では、参照画像生成部１２３が、拡散反射成分と鏡面反射成分とが付加された参照領域展開画像を投影変換することで、陰影情報が付加された参照画像を生成する。参照画像生成部１２３により参照画像が生成されると、二次元画像データ２００の修正処理を行うことが可能になる。

【0114】

次にステップＳ１８にて、ユーザにより二次元画像データ２００から修正領域２７０が指定されると、ステップＳ１９にて、画像置換処理部１２５が、修正領域２７０と参照画像２４０の置換領域２４１とを混合した混合画像２７１で修正領域２７０を置換する。

【0115】

以上の処理により、被写体の二次元画像データ２００から、修正領域２７０に含まれる除去対象要素を除去することができる。また、ユーザにより二次元画像データ２００における白飛び画像部位が修正領域２７０として指定された場合には、白飛び画像部位が復元された参照画像２４０に修正領域２７０が置換されることで、二次元画像データ２００の白飛び画像部位が復元される。

【0116】

二次元画像データ２００において、複数の領域を修正する場合には、ステップＳ１８及びステップＳ１９の処理を繰り返し行うことで、複数の領域の修正を実行できる。

【0117】

以上で説明した様に、第２の実施形態の処理システム５００又は処理装置１０１によれば、画像処理実行者が画像処理に不慣れであっても、例えば人物の顔画像の肌部から欠点や不要物を除去する画像修正を簡易な操作で違和感無く行うことができる。また、二次元画像データ２００における白飛び画像部位を、同様に簡易な操作で違和感無く復元することが可能になる。

【0118】

〔第３の実施形態〕
次に、第３の実施形態について図面に基づいて説明する。なお、第１又は第２の実施形態と同一の構成又は処理については、説明を省略する場合がある。

【0119】

＜処理装置の構成＞
図１５は、第３の実施形態の処理装置１０１のハードウェア構成例を示す図である。

【0120】

図１５に示す様に、処理装置１０１は、撮像部１１１、制御部１０３、主記憶部１０４、補助記憶部１０５、外部記憶装置Ｉ／Ｆ部１０６、ネットワークＩ／Ｆ部１０７、操作部１０８、表示部１０９を有する。

【0121】

撮像部１１１は、被写体を撮像し、被写体の二次元画像データ及び三次元画像データを取得し、主記憶部１０４又は補助記憶部１０５に保存する。

【0122】

処理装置１０１は、撮像部１１１により取得された被写体の二次元画像データに対して、三次元画像データを用いて生成される参照画像を用いて画像修正処理を行うことができる。

【0123】

なお、第３の実施形態に係る処理装置１０１は、例えばデジタルスチールカメラ、デジタルビデオカメラ、携帯電話、携帯ゲーム機、タブレット型ＰＣであり、本発明は撮像機能を有する各種機器に適用可能である。

【0124】

第３の実施形態の処理装置１０１によれば、撮像部１１１で撮像した二次元画像データに対して、欠点や不要物を除去する画像修正を簡易な操作で違和感無く行うことが可能である。

【0125】

ここまで、上記各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に係る処理装置１０１が有する機能は、上記に説明を行った各処理手順を、上記各実施形態に係る処理装置１０１にあったプログラミング言語でコード化したプログラムとしてコンピュータで実行することで実現することができる。よって、上記各実施形態に係る処理装置１０１を実現するためのプログラムは、コンピュータが読み取り可能な記憶媒体１１０に格納することができる。

【0126】

よって、上記各実施形態に係るプログラムは、フロッピー（登録商標）ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）などの記憶媒体１１０に記憶させることによって、これらの記憶媒体１１０から、処理装置１０１にインストールすることができる。また、処理装置１０１は、ネットワークＩ／Ｆ部１０７を有していることから、上記各実施形態に係るプログラムは、インターネット等の電気通信回線を介してダウンロードし、インストールすることもできる。

【0127】

以上、実施形態に係る処理装置、処理システム、処理方法及びプログラムについて説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

【符号の説明】

【0128】

１００ 撮像装置
１０１ 処理装置
１１１ 撮像部（撮像手段）
１２１ 被写体情報取得部（取得手段）
１２２ 参照領域取得部（参照領域取得手段）
１２３ 参照画像生成部（生成手段）
１２４ 陰影情報付加部（陰影付加手段）
１２５ 画像置換処理部（置換手段）
１２６ 被写体・光源・視点情報取得部（取得手段）
２００ 二次元画像データ
２１０ 三次元画像データ
２４０ 参照画像
２７０ 修正領域
２７１ 混合画像
５００ 処理システム

【先行技術文献】

【特許文献】

【0129】

【特許文献1】特開２００７−８７２３４号公報

【図1】

【図2】

【図7】

【図12】

【図13】

【図14】

【図15】

【図3】

【図4】

【図5】

【図6】

【図8】

【図9】

【図10】

【図11】