特許 7119854 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20220809BHJP

   G06T 7/11 20170101ALI20220809BHJP

   G06T 7/55 20170101ALI20220809BHJP

【ＦＩ】

G06T19/20

G06T7/11

G06T7/55

【請求項の数】 13

(21)【出願番号】P 2018184974

(22)【出願日】2018-09-28

(65)【公開番号】P2020057038

(43)【公開日】2020-04-09

【審査請求日】2021-08-25

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】若元 友輔

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１７－０３３３１７（ＪＰ，Ａ）

【文献】特開２０１５－１６２７０８（ＪＰ，Ａ）

【文献】特表２０１５－５０１０４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／００－１９／２０

Ｇ０６Ｔ ７／００－ ７／１９４

Ｇ０６Ｔ ７／５０－ ７／９０

(57)【特許請求の範囲】

【請求項1】

撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置であり、
前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記被写体の３次元形状モデルに対して初期領域として投影する投影変換部と、
前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出部と
を備えることを特徴とする変更画素領域抽出装置。

【請求項2】

前記ライブ画像から前記反射率成分を抽出する反射率・陰影分離部と、
前記ライブ画像により前記被写体の前記３次元形状モデルの復元を行い、復元に用いたライブ画像から推定される、当該ライブ画像を撮像した撮像装置のカメラパラメータから、前記３次元座標点における前記法線ベクトルを求める３次元形状復元部と
をさらに備えることを特徴とする請求項１に記載の変更画素領域抽出装置。

【請求項3】

前記反射率・陰影分離部が、前記変更画素領域抽出部が用いる前記反射率成分を、新たに供給されたライブ画像から抽出した前記反射率成分に変更し、
前記３次元形状復元部が、逐次供給される前記ライブ画像の各々により、前記３次元形状モデルを順次拡充する復元を行なって変更し、拡充する復元に用いた前記ライブ画像から求められるカメラパラメータにより、前記３次元形状モデルにおける拡充された前記３次元座標点における前記法線ベクトルを逐次求める
ことを特徴とする請求項２に記載の変更画素領域抽出装置。

【請求項4】

前記変更画素領域抽出部が、
前記投影３次元座標点の前記法線ベクトル及び所定の直線との各々の成す第１角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記初期画素領域の投影３次元座標点における前記法線ベクトルの成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記ライブ画像から抽出し、抽出された当該画素の各々からなる領域を前記変更画素領域とする
ことを特徴とする請求項１から請求項３のいずれか一項に記載の変更画素領域抽出装置。

【請求項5】

前記変更画素領域抽出部が、
前記投影３次元座標点の前記法線ベクトル及び所定の直線に垂直な平面の各々の成す第２角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記所定の直線に垂直な平面の成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記ライブ画像から抽出し、抽出された当該画素の各々を前記変更画素領域とする
ことを特徴とする請求項１から請求項４のいずれか一項に記載の変更画素領域抽出装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の変更画素領域抽出装置と、
種類の異なる前記素材の素材画像の各々を蓄積するデータベースと、
前記素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成部と、
前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成部と
を備える
ことを特徴とする画像処理システム。

【請求項7】

前記ライブ画像を陰影成分画像と反射率成分画像とに分離する反射率・陰影分離部
をさらに備え、
前記加工画像生成部が、
テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して生成した２次元画像に対し、前記陰影成分画像の画素の画素値を乗算することにより、前記加工画像を生成する
ことを特徴とする請求項６に記載の画像処理システム。

【請求項8】

前記被写体を異なる撮像方向から撮像され、逐次供給される前記ライブ画像から前記３次元形状モデルを復元し、前記ライブ画像の撮像に用いた撮像装置のカメラパラメータとから、前記３次元座標点の各々の前記法線ベクトルを算出する３次元形状復元部
をさらに備え、
前記陰影成分画像が前記ライブ画像と前記反射率成分画像との差分である
ことを特徴とする請求項７に記載の画像処理システム。

【請求項9】

画像を表示する画像表示部と、
前記画像表示部に表示された前記ライブ画像において選択された初期画素領域を入力する初期画素領域入力部と、
前記変更画像を前記画像表示部に表示する変更画像表示制御部と
をさらに備える
ことを特徴とする請求項６から請求項８のいずれか一項に記載の画像処理システム。

【請求項10】

撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出方法であり、
投影変換部が、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、
変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程と
を含むことを特徴とする変更画素領域抽出方法。

【請求項11】

撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理方法であり、
投影変換部が、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、
変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程と、
加工画像生成部が、種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成過程と、
変更画像生成部が、前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成過程と
を含む
ことを特徴とする画像処理方法。

【請求項12】

撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置の機能をコンピュータに実行させるプログラムであり、
前記コンピュータを、
前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、
前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段
として機能させるプログラム。

【請求項13】

撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理装置の機能をコンピュータに実行させるプログラムであり、
前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、
前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段、
種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成手段、
前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成手段
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、消費者（ユーザ）が住宅のリフォームや衣服の購入を検討する際、自宅のパーソナルコンピュータ（ＰＣ：personal computer）、タブレット端末及びスマートフォンなどの電子通信機器を用いることが一般的になってきている。
そして、電子通信機器上におけるシミュレーションにより、リフォーム対象の住宅のリフォーム後の外観や内観の観察、あるいは購入対象の衣服の試着などを仮想的に行ない、リフォームの依頼や衣服の購入の意思決定の要素とする場合がある。

【0003】

上述したシミュレーションには、仮想環境上に構築した３次元形状モデルや３次元空間に対する第１の処理と、現実環境を撮像した撮像画像に対する第２の処理との２種類の方法がある。
第１の処理のシミュレーションは、物体の３次元形状モデルや３次元空間を仮想環境上にＣＧ（computer graphics）等で構築して、仮想的に復元して行なう。
そして、復元した３次元形状モデルの素材の変更や３次元空間における３次元形状モデルの位置の変更などを行なう。

【0004】

仮想環境に再現した３次元形状モデルや３次元空間においては、光が照射された際の反射、屈折及び透過などの状態や、光を照射する光源の位置、照射する光の波長及び強度などのパラメータを任意に調整することができる。
上述したように、現実環境を仮想的に再現する際のパラメータを自由に調整することができるため、再現したい現実環境の見え方と等しい仮想環境の構築を可能とする。

【0005】

例えば、部屋の内装のリフォームを行なう際、内装の見えのシミュレーションを行う部屋に対応する仮想空間を構築し、ユーザが選択した内装の素材（壁の壁紙など）を仮想的に変更する（例えば、特許文献１参照）。
これにより、仮想的に変更された内装、すなわち仮想的に再現されたリフォーム後の内装を、ユーザが仮想空間において観察することができる。

【0006】

しかし、上記第１の処理のシミュレーションにおいて、仮想環境に再現する３次元形状モデル及び３次元空間を構築する場合、作成者がコンピュータの画面上で、必要な形状となるように図形などを、全て手作業で組み合わせて構築する必要がある。
また、構築した３次元形状モデルや３次元空間が、現実環境に近い状態で観察されるように、細かな形状の作り込みや、すでに説明したパラメータの微調整が必要となる。このため、第１の処理のシミュレーションにおける３次元形状モデル及び３次元空間の構築の際には、作成者の手間や労力が非常に大きい。

【0007】

第２の処理のシミュレーションは、撮像装置により現実環境を撮像した撮像画像に対して、この撮像画像の所定の領域の形状に素材画像や色データを加工して、所定の領域に重ね合わせて置き換えて表示するシミュレーションを行なう。
この第２の処理のシミュレーションは、基本的に撮像画像の加工を行なうのみであるため、第１の処理のシミュレーションにおける３次元形状モデルや３次元空間の構築に比較して、手間や労力を少なくすることができる。

【0008】

また、撮像画像における所定の領域の形状に対応させて素材等を加工して重ね合わせただけでは、撮像した画像と重ねて描画する素材画像との合成後に違和感が生じる。
このため、撮像した撮像画像上における陰影成分を取得し、合成した撮像画像に付与することにより、違和感がない撮像画像の変更のシミュレーションが行なえる。
例えば、建物の外壁の素材を変更するシミュレーションにおいて、リフォームの対象となる壁面の日向部分と日陰部分とをユーザが選択し、仮想的なリフォーム後に日陰を合成することで、リフォーム後として表示される壁面における違和感を低減している（例えば、特許文献２参照）。

【0009】

また、第２の処理のシミュレーションにより、衣類の試着を行なうシミュレーションを行なう場合も、撮像時の服の陰影成分を分離し、試着する服の素材（テクスチャ）を、ユーザの選択した素材と交換した後、この陰影成分を反映させる。
これにより、ユーザが素材を交換した後において、仮想的に試着する服における体の曲線による陰影成分が付与されるため、ユーザが違和感のないシミュレーション結果を観察することができる（例えば、特許文献３参照）。

【先行技術文献】

【特許文献】

【0010】

【文献】再公表ＷＯ２０１６／２０３７７２号公報

【文献】特許第４５５６５３０号公報

【文献】特開２０１７－１８８０７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、特許文献１及び特許文献２の各々は、画面上において対象となる素材や色データを交換する領域を選択する機能がないため、ユーザが撮像画像における変換する領域を選択することができない。
そのため、特許文献１及び特許文献２の各々は、線を描画して囲むなどの処理により選択する機能を追加しなければ、対象となる領域をユーザが簡易に、撮像画像から選択することができない。

【0012】

また、特許文献３は、特許文献１及び特許文献２の各々と異なり、撮像画像において予め対象となる領域が形成されており、ユーザが対象となる領域を自身で指定する必要はない。しかし、変更領域が予め撮像画像の所定の領域として設定されているため、ユーザが任意に変更する領域を設定することができない。
すなわち、特許文献３の場合、変更領域が設定されてはいるが、ユーザが指定したい領域と、予め設定された変更領域とが一致しない場合、ユーザは自身の指定したい領域を選択することができない。

【0013】

このため、ユーザが素材や色データを変更する対象の領域を、任意にかつ簡易に選択できるように構成するためには、特許文献１から特許文献３の各々において、撮像画像における領域を予め全て区分して、個々に選択できるようにしておく必要がある。
しかし、撮像画像における変更する対象の領域として考えられる領域の各々を、ユーザが簡易に選択するように、撮像画像上で予め区分して設定する加工を行なうためには、システムの開発者や、リフォーム及び服の各々のデザイナが、非常な大きな手間や時間を要してしまう。

【0014】

本発明は、このような状況に鑑みてなされたもので、素材や色データを変換する対象の領域の各々に撮像画像を予め区分しておく必要がなく、かつユーザが素材や色データを変更する対象の領域を簡易に選択できる変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラムを提供する。

【課題を解決するための手段】

【0015】

本発明の変更画素領域抽出装置は、撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置であり、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記被写体の３次元形状モデルに対して初期領域として投影する投影変換部と、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出部とを備えることを特徴とする。

【0016】

本発明の変更画素領域抽出装置は、前記ライブ画像から前記反射率成分を抽出する反射率・陰影分離部と、前記ライブ画像により前記被写体の前記３次元形状モデルの復元を行い、復元に用いたライブ画像から推定される、当該ライブ画像を撮像した撮像装置のカメラパラメータから、前記３次元座標点における前記法線ベクトルを求める３次元形状復元部とをさらに備えることを特徴とする。

【0017】

本発明の変更画素領域抽出装置は、前記反射率・陰影分離部が、前記変更画素領域抽出部が用いる前記反射率成分を、新たに供給されたライブ画像から抽出した前記反射率成分に変更し、前記３次元形状復元部が、逐次供給される前記ライブ画像の各々により、前記３次元形状モデルを順次拡充する復元を行なって変更し、拡充する復元に用いた前記ライブ画像から求められるカメラパラメータにより、前記３次元形状モデルにおける拡充された前記３次元座標点における前記法線ベクトルを逐次求めることを特徴とする。

【0018】

本発明の変更画素領域抽出装置は、前記変更画素領域抽出部が、前記投影３次元座標点の前記法線ベクトル及び所定の直線との各々の成す第１角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記初期画素領域の投影３次元座標点における前記法線ベクトルの成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記ライブ画像から抽出し、抽出された当該画素の各々からなる領域を前記変更画素領域とすることを特徴とする。

【0019】

本発明の変更画素領域抽出装置は、前記変更画素領域抽出部が、前記投影３次元座標点の前記法線ベクトル及び所定の直線に垂直な平面の各々の成す第２角度が所定の角度閾値以下の際に、前記３次元形状モデルにおける３次元座標点の前記法線ベクトル及び前記所定の直線に垂直な平面の成す角度が前記所定の角度閾値以下であり、かつ当該投影３次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する３次元座標点に対応する画素を前記ライブ画像から抽出し、抽出された当該画素の各々を前記変更画素領域とすることを特徴とする。

【0020】

本発明の画像処理システムは、上述したいずれかに記載の変更画素領域抽出装置と、種類の異なる前記素材の素材画像の各々を蓄積するデータベースと、前記素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成部と、前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成部とを備えることを特徴とする。

【0021】

本発明の画像処理システムは、前記ライブ画像を陰影成分画像と反射率成分画像とに分離する反射率・陰影分離部をさらに備え、前記加工画像生成部が、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して生成した２次元画像に対し、前記陰影成分画像の画素の画素値を乗算することにより、前記加工画像を生成することを特徴とする。

【0022】

本発明の画像処理システムは、前記被写体を異なる撮像方向から撮像され、逐次供給される前記ライブ画像から前記３次元形状モデルを復元し、前記ライブ画像の撮像に用いた撮像装置のカメラパラメータとから、前記３次元座標点の各々の前記法線ベクトルを算出する３次元形状復元部をさらに備え、前記陰影成分画像が前記ライブ画像と前記反射率成分画像との差分であることを特徴とする。

【0023】

本発明の画像処理システムは、画像を表示する画像表示部と、前記画像表示部に表示された前記ライブ画像において選択された初期画素領域を入力する初期画素領域入力部と、前記変更画像を前記画像表示部に表示する変更画像表示制御部とをさらに備えることを特徴とする。

【0024】

本発明の変更画素領域抽出方法は、撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出方法であり、投影変換部が、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程とを含むことを特徴とする。

【0025】

本発明の画像処理方法は、撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理方法であり、投影変換部が、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換過程と、変更画素領域抽出部が、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出過程と、加工画像生成部が、種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成過程と、変更画像生成部が、前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成過程とを含むことを特徴とする。

【0026】

本発明のプログラムは、撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置の機能をコンピュータに実行させるプログラムであり、前記コンピュータを、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段として機能させるプログラムである。

【0027】

本発明のプログラムは、撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理装置の機能をコンピュータに実行させるプログラムであり、前記ライブ画像において選択された１以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の３次元形状モデルに対して初期領域として投影する投影変換手段、前記初期領域において前記画素が投影された３次元座標点である投影３次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記３次元形状モデルから抽出する変更画素領域抽出手段、種類の異なる前記素材の素材画像を前記３次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の３次元形状モデルを前記ライブ画像と同一の視点の２次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成手段、前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成手段として機能させるプログラムである。

【発明の効果】

【0028】

以上説明したように、本発明によれば、素材や色データを変換する対象の領域の各々に撮像画像を予め区分しておく必要がなく、かつユーザが素材や色データを変更する対象の領域を簡易に選択できる変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態による画像処理システムの構成例を示すブロック図である。

【図2】本実施形態における撮像画像の撮像及び３次元形状モデルの復元を説明する概念図である。

【図3】画像記憶部１０９に書き込まれている撮像画像テーブルの構成例を示す図である。

【図4】入力画像における初期画素領域から変更画素領域を抽出する処理を説明する概念図である。

【図5】入力画像に対して加工画像を合成して、変更画素領域の素材を変更した変更画像の生成を説明する概念図である。

【図6】本実施形態の画像処理システムによる３次元形状モデルの復元処理及びライブ画像の反射率成分画像／陰影成分画像への分離処理の動作の一例を示すフローチャートである。

【図7】本実施形態の画像処理システムによるライブ画像における変更画素領域に対する素材の変更処理の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0030】

以下、図１における画像処理システムの構成例について、図面を参照して説明する。
図１は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。
図１において、画像処理システム１００は、初期画素領域入力部１０１、３次元形状復元部１０２、反射率・陰影分離部１０３、変更画素領域抽出部１０４、加工画像生成部１０５、ライブ画像入力部１０６、変更画像生成部１０７、変更画像表示制御部１０８、画像記憶部１０９、画像表示部１１０及び素材データベース１１１の各々を備えている。ここで、画像処理システム１００は、パーソナルコンピュータ、タブレット端末、スマートフォンなどに、以下に説明する各機能部より画像処理を行なうアプリケーションをインストールすることにより構成される。撮像装置２００は、例えば、デジタルカメラ、デジタルビデオカメラなどであり、以下に示すライブ画像はビデオシースルー画像である。したがって、ライブ画像は、撮像装置が被写体の撮像を行ないつつ、リアルタイムに他の装置（例えば、本実施形態における画像処理システム）に逐次供給する画像を示している。

【0031】

初期画素領域入力部１０１は、ライブ画像入力部１０６から供給されるライブ画像の画像データを画像表示部１１０の表示画面に表示する。ここで、ライブ画像は、撮像装置２００から供給される、例えばリアルタイムに取得されるビデオシースルー画像である。
また、初期画素領域入力部１０１は、ユーザが画像表示部１１０に表示された上記ライブ画像において選択した初期画素領域の情報を画像記憶部１０９に一旦記憶する。この初期画素領域は、１個あるいは複数個の画素を含む領域である。ここで、初期画素領域入力部１０１は、上記初期画素領域の情報として、ライブ画像（２次元画像）における初期画素領域に含まれる画素（以下、２次元座標点と示す）を、初期画素領域の情報として、画像記憶部１０９に書き込んで記憶させる。

【0032】

３次元形状復元部１０２は、ライブ画像入力部１０６から逐次供給されるライブ画像に基づき、被写体の３次元形状モデルを復元する。ここで、３次元形状復元部１０２は、ライブ画像入力部１０６から、逐次供給される異なる視点における被写体が撮像されたライブ画像から、公知の画像ベース３次元復元技術に基づいた、３次元空間における被写体の形状及びカメラパラメータの推定によって、３次元形状モデルの復元、法線ベクトルの算出が行われる（例えば、G.Klein et al,"Parallel Tracking and Mapping for Small AR Workspace",ISMAR 2007を参照）。ここで、公知の画像ベース３次元復元技術とは、必ずしも特定の手法として限定される訳ではないが、例えば、Ｖｉｓｕａｌ－ＳＬＡＭ（Simultaneous localization and mapping）やＳｆＭ(Structure from Motion)／ＭＶＳ(Multi-View Stereo)である。また、撮像画像をＲＧＢＤ画像とし、当該ＲＧＢＤ画像に含まれる深度情報を利用して上記推定を行う手法であっても良い。(例えば、Izadi, Shahram, et al. "KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera." Proceedings of the 24th annual ACM symposium on User interface software and technology. ACM, 2011.を参照)。また、機械学習や制約条件（撮影条件や被写体の性質など）を利用し、一枚の撮像画像から上記推定を行う手法であっても良い（例えば、Saxena, Ashutosh, Sung H. Chung, and Andrew Y. Ng. "3-d depth reconstruction from a single still image." International journal of computer vision 76.1 (2008): 53-69.を参照）。

【0033】

また、復元される３次元形状モデルは、上記公知の画像ベース３次元復元技術によって、仮想３次元空間において復元される点群や、深度マップ、あるいはこの点群から生成されるメッシュなどのモデルデータである。また、法線ベクトルは、ライブ画像の各画素（以下、２次元座標系における２次元座標値で示される２次元座標点）に対応する３次元形状モデル上の座標点（以下、３次元座標系における３次元座標値で示される３次元座標点と示す）のデータとして、３次元形状モデルとカメラパラメータ（撮像装置２００のカメラパラメータ）から計算される。
そして、３次元形状復元部１０２は、復元した３次元形状モデルのデータと、３次元形状モデルの画素（３次元座標点）の各々における法線ベクトルを画像記憶部１０９に書き込んで記憶させる。

【0034】

反射率・陰影分離部１０３は、ライブ画像入力部１０６から逐次供給されるライブ画像を、反射率成分画像と陰影成分画像との各々の１枚づつに分離する。このとき、反射率・陰影分離部１０３は、例えば、Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズム（例えば、H.G.Barrow et al,"Recovering Intrinsic Scene from Imges",Computer Vision Systems,pages3-26,1978を参照）に基づく反射率・陰影分離を行う。
すなわち、反射率・陰影分離部１０３は、ライブ画像を反射率成分画像及び陰影成分画像の各々に分離する際、Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズムに基づき、「画像Ｉは反射率成分Ｒと陰影成分Ｓの積で表すことができる」という仮定を基とし、ライブ画像Ｉを反射率成分画像Ｒと陰影成分画像Ｓとの各々に分離する。

【0035】

上記反射率成分画像は、ライブ画像における２次元座標値で示される２次元座標点で示される各画素の反射率成分がＲＧＢ（Red Green Blue）の画素値として示されている。
また、陰影成分画像は、ライブ画像における２次元座標値で示される各２次元座標点の陰影成分、すなわちライブ画像を撮像した際の環境光に依存するデータが画素値として示されている。
そして、反射率・陰影分離部１０３は、分離した反射率成分画像と陰影成分画像との各々を、画像記憶部１０９の成分画像領域、及び後述するライブ画像テーブルに書き込んで記憶させる。

【0036】

反射率・陰影分離部１０３は、撮像装置２００からライブ画像が逐次供給される毎に、画像記憶部１０９における成分画像領域（反射率成分画像及び陰影成分画像それぞれ一個の画像データが記憶可能なストレージ領域）に記憶されている直前の反射率成分画像及び陰影成分画像の各々の画像データに上書きし、順次、反射率成分画像、陰影成分画像それぞれの画像データの更新を行なう。

【0037】

図２は、本実施形態におけるライブ画像の撮像及び３次元形状モデルの復元を説明する概念図である。
ユーザが撮像装置２００の撮像する視点（位置及び方向）を移動させつつ、被写体である室内４００のライブ画像の取得（撮像）を逐次行なう。例えば、撮像装置２００は、一秒間に３０枚のフレーム画像を取得し、このフレーム画像の各々を順次ライブ画像としてライブ画像入力部１０６に対して出力する。

【0038】

ライブ画像入力部１０６は、撮像装置２００が撮像して逐次供給するライブ画像を入力し、画像記憶部１０９のライブ画像記憶領域に対してライブ画像のデータを書き込んで記憶させる。
また、ライブ画像入力部１０６は、撮像装置２００からライブ画像が逐次供給される毎に、画像記憶部１０９におけるライブ画像記憶領域（一個のライブ画像の画像データが記憶可能なストレージ領域）に記憶されている直前のライブ画像の画像データに上書きし、順次ライブ画像の画像データの更新を行なう。

【0039】

そして、すでに述べたように、反射率・陰影分離部１０３は、撮像装置２００から逐次供給されるライブ画像を、反射率成分画像、陰影成分画像それぞれに分離し、画像記憶部１０９の成分画像領域に対して上書きして記憶させる。
また、３次元形状復元部１０２は、ライブ画像の各々を用いて復元した３次元形状モデル及び法線ベクトルの各々を、画像記憶部１０９の３次元形状モデル記憶領域に対して書き込んで記憶させる。３次元形状モデル記憶領域には、例えば、復元された３次元形状モデルの３次元座標点の各々と、この３次元座標点における法線ベクトルとが対応付けて記憶されている。

【0040】

図３は、画像記憶部１０９に書き込まれているライブ画像テーブルの構成例を示す図である。図３に示すライブ画像テーブルは、３次元形状モデルを復元する際に用いたライブ画像に対応して設けられている。すなわち、ライブ画像テーブルは、逐次供給されるライブ画像毎に生成され、直前のライブ画像に対応したライブ画像テーブルに上書きされる。反射率・陰影分離部１０３は、ライブ画像から分離した反射率成分画像における各画素（２次元座標点）の画素値（反射率成分）を、ライブ画像テーブルに対して書き込んで記憶させる。

【0041】

また、ライブ画像テーブルは、ライブ画像の２次元座標点、すなわちライブ画像の画素毎にレコードが設けられており、各２次元座標点に対応した３次元座標点、法線ベクトル、反射率成分の欄が設けられている。３次元座標点は、３次元形状モデルにおける、ライブ画像の２次元座標点に対応する座標点を示している。法線ベクトルは、３次元形状モデルの曲面上の３次元座標点における法線のベクトルを示している。反射率成分は、ライブ画像における２次元座標点の反射率を示す画素値（すなわち、反射率成分画像の画素値）を示している。

【0042】

図１に戻り、変更画素領域抽出部１０４は、初期画素領域に基づき、素材を異なる他の素材に変更する変更画素領域を抽出する。変更画素領域は、上記初期画素領域を含む画像領域（３次元形状モデルにおける平面及び曲面の各々を含む）、例えば、被写体が室内であれば、ライブ画像における天井、床、壁、扉などの画像領域を示す。また、変更画素領域抽出部１０４は、投影変換部１０４１及び変更画素領域選択部１０４２の各々を備えている。

【0043】

投影変換部１０４１は、ライブ画像において選択された初期画素領域に含まれる画素の各々の２次元座標点（以下、単に２次元座標点と示す、画素が一個の場合、その画素の２次元座標点）を、３次元形状モデルの対応する３次元座標点に投影する。

【0044】

変更画素領域選択部１０４２は、初期画素領域に含まれる２次元座標点における反射率成分の画素値を、画像記憶部１０９のライブ画像テーブルを参照して読み出す。
また、変更画素領域選択部１０４２は、同様に、画像記憶部１０９のライブ画像テーブルから、初期画素領域の２次元座標点が投影された領域における法線ベクトルを読み出し、この法線ベクトルと、所定の直線（例えば、３次元形状モデルを復元した際における３次元座標系におけるＹ軸）との成す角度αを求める。
変更画素領域選択部１０４２は、同様に、画像記憶部１０９のライブ画像テーブルから読み出した法線ベクトルと、所定の直線と垂直な平面との成す角度βを求める。
ここで、変更画素領域選択部１０４２は、角度αあるいは角度βのいずれかにおいて、予め設定された角度閾値以下である方を選択する。

【0045】

変更画素領域選択部１０４２は、画像記憶部１０９におけるライブ画像テーブルから、初期画素領域の反射率と所定の色差の反射率を有する（類似した色差の）２次元座標点を抽出する。
そして、変更画素領域選択部１０４２は、角度αが選択された場合、類似した色差を有するとして抽出した２次元座標点に対応する３次元座標点の法線ベクトルを、ライブ画像テーブルから読み出し、初期画素領域に対応する３次元座標点の法線ベクトルとの成す角度θ１を求める。
変更画素領域選択部１０４２は、角度θ１が予め設定した角度閾値以下の法線ベクトルを有する３次元座標点を抽出する。

【0046】

また、変更画素領域選択部１０４２は、角度βが選択された場合、類似した色差の２次元座標点に対応する３次元座標点の法線ベクトルを、ライブ画像テーブルから読み出し、所定の直線に対して垂直な平面との成す角度θ２を求める。
変更画素領域選択部１０４２は、角度θ２が予め設定した上記角度閾値以下の法線ベクトルを有する３次元座標点を抽出する。
そして、変更画素領域選択部１０４２は、抽出した３次元座標点をライブ画像に対して重畳させて、抽出した３次元座標点が投影された２次元座標点及び初期画素領域の２次元座標点を含む領域を、変更画素領域とする。

【0047】

図４は、ライブ画像における初期画素領域から変更画素領域を抽出する処理を説明する概念図である。以下、ドラッグ操作やクリック操作の各々は、パーソナルコンピュータにおけるマウスを用いて行なう。また、スワイプ操作やタッチ操作の各々は、タブレット端末やスマートフォンにおいては、表示画面に対して指で行なう。
ユーザは、撮像装置２００からリアルタイムに逐次供給され、画像表示部１１０に表示されているライブ画像５００において、ドラッグ（スワイプ）操作あるいはクリック（タッチ）操作により初期画素領域の設定を行なう。

【0048】

図４（ａ）において、例えば、ライブ画像５００における壁の画像領域５１０＿１をユーザがドラッグ操作することにより、初期画素領域入力部１０１は、ドラッグ操作された領域（複数画素からなる領域）を初期画素領域５００Ａとして入力する。
一方、ライブ画像５００における床の画像領域５２０をユーザがクリック操作することにより、初期画素領域入力部１０１は、クリック操作された領域（一個の画素あるいは複数画素からなる領域）を初期画素領域５００Ｂとして入力する。

【0049】

図４（ｂ）において、変更画素領域抽出部１０４は、ライブ画像５００において選択された初期画素領域５００Ａあるいは初期画素領域５００Ｂを、３次元形状モデル５０１に対して投影する。ここで、画像領域５１０＿１の初期画素領域５００Ａが壁５３０＿１に対して、初期画素領域５０１Ａとして投影される。
あるいは、画像領域５２０の初期画素領域５００Ｂが床５４０に対して、初期画素領域５０１Ｂとして投影される。

【0050】

変更画素領域抽出部１０４は、角度βが選択された場合、初期画素領域５０１Ａの３次元座標点の反射率と所定の色差の反射率を有する３次元座標点の法線ベクトルと、３次元形状モデルを復元した３次元座標系のＹ軸（所定の直線）に対して垂直な平面との成す角度θ２を求める。
そして、変更画素領域抽出部１０４は、角度θ２が角度閾値以下の３次元座標点を、図４（ｃ）に示す変更画素領域５５０として抽出する。ここで、図４（ａ）に示す絵画の画像領域５１１及び扉の画像領域５１２は、初期画素領域５００Ａにおける２次元座標点の反射率と異なるため、変更画素領域５５０において除外領域５５１及び除外領域５５２の各々として除外される。

【0051】

変更画素領域抽出部１０４は、角度αが選択された場合、初期画素領域５０１Ｂの３次元座標点の反射率と所定の色差の反射率を有する３次元座標点の法線ベクトルと、初期画素領域５０１Ｂの３次元座標点の法線ベクトルとのなす角度θ１を求める。
そして、変更画素領域抽出部１０４は、角度θ１が角度閾値以下の３次元座標点を、図４（ｄ）に示す変更画素領域５６０として抽出する。ここで、図４（ａ）に示す床の敷物の画像領域５２５は、初期画素領域５００Ｂにおける２次元座標点の反射率と異なるため、変更画素領域５６０において除外領域５７０として除外される。

【0052】

変更画素領域選択部１０４２は、抽出した３次元座標点をライブ画像５００に対して投影させる。
そして、変更画素領域選択部１０４２は、抽出した３次元座標点の変更画素領域５５０及び変更画素領域５６０の各々が投影された２次元座標点の領域（初期画素領域の２次元座標点を含む領域）を、ライブ画像５００における変更画素領域とする。

【0053】

図１に戻り、加工画像生成部１０５は、画像表示部１１０の表示画面に表示された複数の異なる種類の素材画像から選択された素材画像を、素材データベース１１１から読み出す。
加工画像生成部１０５は、読み出した素材画像の２次元座標点の各々の画素値を、３次元形状モデルの対応する３次元座標点に対してテクスチャマッピングする。
そして、加工画像生成部１０５は、テクスチャマッピングされた３次元形状モデルを、ライブ画像のカメラパラメータに基づき、ライブ画像と同一視点の２次元平面に対して投影して２次元画像を生成する。

【0054】

また、加工画像生成部１０５は、画像記憶部１０９からライブ画像に対応する陰影成分画像を読み出す。
そして、加工画像生成部１０５は、読み出した陰影成分画像における２次元座標点の各々の画素値を、生成した２次元画像の２次元座標点における画素値のそれぞれ対して乗算し、加工画像を生成する。

【0055】

変更画像生成部１０７は、ライブ画像における変更画素領域の２次元座標点の画素値を、加工画像生成部１０５が生成した加工画像の２次元座標点の画素値に変更し、変更画像を生成する。

【0056】

変更画像表示制御部１０８は、変更画像生成部１０７が生成した変更画像を、画像表示部１１０に対して表示する。
また、変更画像表示制御部１０８は、素材を異なる他の素材に変更する処理を継続するか否かの確認を促し、異なる他の素材の変更を継続する場合、加工画像生成部１０５に対して通知する。

【0057】

図５は、ライブ画像に対して加工画像を合成して、変更画素領域の素材を異なる他の素材に変更した変更画像の生成を説明する概念図である。
加工画像生成部１０５は、生成した２次元画像の全ての２次元座標点の各々の画素値に対して、陰影成分画像の２次元座標点の画素値それぞれを乗算することにより、加工画像６０１を生成する。

【0058】

変更画像生成部１０７は、ライブ画像５００に対して重畳された素材変更領域、例えば図５に示す壁の変更画素領域７００の２次元座標点に対応する、加工画像６０１の２次元座標点の画素値を抽出する。
そして、変更画像生成部１０７は、抽出した加工画像６０１の２次元座標点の画素値に、この２次元座標点に対応するライブ画像５００における２次元座標点の画素値を変更し、ライブ画像５００の変更画素領域の素材を他の異なる素材に変更した変更画像８００を生成する。

【0059】

上述した実施形態においては、撮像装置２００を画像処理システム１００に備えられた構成（例えば、携帯端末やスマートフォンの撮像機能を利用する構成）としても良い。
また、実施形態においては、画像表示部１１０を画像処理システム１００に備えられた構成としたが、他のパーソナルコンピュータあるいはタブレット端末からなる画像表示装置として分離し、画像表示部１１０の除いた構成を、例えばサーバなどのコンピュータシステムとして運用しても良い。この構成の場合、画像処理システム１００、画像表示装置及び撮像装置２００の各々は、インターネットを含む情報通信網に接続され、データの送受信を行なう。

【0060】

また、実施形態においては、変更画素領域抽出部１０４が初期画素領域における２次元座標点における反射率成分の画素値と、類似した反射率成分の画素値を有するライブ画像における２次元座標点を抽出する構成を説明した。
しかしながら、本実施形態においては、素材画像に模様などの反射率成分の画素値が点在する場合を考慮し、変更画素領域内に予め設定した面積（あるいは面積比）以下で存在する領域も変更画素領域に含める構成としても良い。

【0061】

以下、本実施形態による画像処理システムにおける変更画素領域の抽出の処理について説明する。画像処理システムにおいては、ライブ画像による３次元形状モデルの復元処理及びライブ画像の反射率成分画像／陰影成分画像への分離処理と、ライブ画像における変更画素領域に対する素材の変更処理とが並列に行なわれているため、それぞれ異なるフローとして説明する。

【0062】

図６は、本実施形態の画像処理システムによる３次元形状モデルの復元処理及びライブ画像の反射率成分画像／陰影成分画像への分離処理の動作の一例を示すフローチャートである。図７は、本実施形態の画像処理システムによるライブ画像における変更画素領域に対する素材の変更処理の動作の一例を示すフローチャートである。以下、図６、図７の順番で画像処理システムによる３次元形状モデルを利用した変更画素領域における素材の変更処理の流れを説明する。
まず、図６のフローチャートを用いて、画像処理システムによる３次元形状モデルの復元処理及びライブ画像の反射率成分画像／陰影成分画像への分離処理の説明を行なう。

【0063】

ステップＳ１１：
ユーザは、図２に示したように、被写体である建物の室内を、視点を変化させつつ撮像装置２００を用いたライブ画像の撮像を行なう。
これにより、撮像装置２００は、異なる視点から撮像したライブ画像の各々を、リアルタイムに画像処理システム１００に対して逐次出力する。
ライブ画像入力部１０６は、撮像装置２００から逐次供給されるライブ画像を、画像記憶部１０９のライブ画像記憶領域に順次上書きしていく。

【0064】

ステップＳ１２：
３次元形状復元部１０２は、ライブ画像入力部１０６からライブ画像が入力された通知の有無を確認する。すなわち、３次元形状復元部１０２は、新たなライブ画像が撮像装置２００から供給されたか否かの判定を行なう。
このとき、３次元形状復元部１０２は、新たなライブ画像が入力されていない場合、処理をステップＳ１１へ戻し、一方、新たなライブ画像が入力されている場合、処理をステップＳ１３へ進める。

【0065】

ステップＳ１３：
３次元形状復元部１０２は、画像記憶部１０９のライブ画像記憶領域から、新たに供給されたライブ画像を読み込む。
そして、３次元形状復元部１０２は、すでに述べたＶ－ＳＬＡＭのアルゴリズムを用いて、逐次供給されるライブ画像により、復元された室内の形状（例えば、３次元点群）の範囲を広げていき、撮像対象である建物の室内の３次元形状モデルを、順次拡充（拡大）して構築していく復元の処理を行なう。
また、３次元形状復元部１０２は、３次元形状モデルを生成する際、それぞれのライブ画像の撮像時のカメラパラメータ（内部パラメータ及び外部パラメータを含む）と、各３次元座標点における法線ベクトルを求める。

【0066】

ステップＳ１４：
そして、３次元形状復元部１０２は、復元した３次元形状モデルのデータ（復元した点群データの各々の３次元座標点及び３次元座標点における法線ベクトル）を、画像記憶部１０９に書き込んで記憶させる。これにより、３次元形状復元部１０２は、撮像装置２００から逐次供給されるライブ画像により、順次、建物の室内の状態を示す３次元形状モデルの３次元点群を拡充する更新の処理を行なう。
また、３次元形状復元部１０２は、カメラパラメータと、ライブ画像の２次元座標点、この２次元座標点に対応する３次元座標点及びこの３次元座標点の法線ベクトルとの各々のデータを、画像記憶部１０９のライブ画像テーブルに書き込んで記憶させる。

【0067】

ステップＳ１５：
反射率・陰影分離部１０３は、画像記憶部１０９のライブ画像記憶領域から、新たに供給されたライブ画像を読み込む。
そして、反射率・陰影分離部１０３は、すでに説明したＩｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズムにより、読み込んだライブ画像を反射率成分画像及び陰影成分画像の各々に分離する。

【0068】

ステップＳ１６：
そして、反射率・陰影分離部１０３は、分離した反射率成分画像、陰影成分画像それぞれを画像記憶部１０９における成分画像領域に書き込んで記憶させる。
これにより、反射率・陰影分離部１０３は、画像記憶部１０９の成分画像領域に記憶されている直前のライブ画像の反射率成分画像及び陰影成分画像の各々に、新たに供給されたライブ画像を分離した反射率成分画像、陰影成分画像それぞれを上書き、すなわち反射率成分画像及び陰影成分画像の更新を行なう。
また、反射率・陰影分離部１０３は、ライブ画像から新たに分離した反射率成分画像における２次元座標点の各々の画素値（ＲＧＢで示された反射率成分）を、ライブ画像テーブルにおける当該２次元座標点に対応するレコードの反射率成分の欄に書き込んで記憶させる。

【0069】

次に、図７のフローチャートを用いて、画像処理システムによるライブ画像における変更画素領域に対する素材の変更処理の説明を行なう。
ステップＳ２１：
初期画素領域入力部１０１は、画像記憶部１０９のライブ画像記憶領域から、新たに供給されたライブ画像を読み込み、画像表示部１１０の表示画面に表示する。

【0070】

また、初期画素領域入力部１０１は、新たに供給されたライブ画像を画像記憶部１０９から３次元形状モデルを読み込み、画像表示部１１０の表示画面に表示する。
このとき、ユーザが画面表示部１１０の表示画面におけるライブ画像の任意の領域を指でタッチするなどの操作により選択を行なった場合、初期画素領域入力部１０１は、例えば、ライブ画像と、３次元形状モデルを現在の視点の２次元平面に投影した投影（３次元点群）画像とを重ねて表示する。

【0071】

ステップＳ２２：
そして、初期画素領域入力部１０１は、素材変更を行なう処理の実行を確認する（処理を実行するか否かの確認を行なう）表示を、画像表示部１１０の表示画面に表示する。
この処理により、ユーザは、ライブ画像と投影画像とを比較し、３次元形状モデルの３次元点群における抜け（復元が不十分）の領域の有無を容易に視認することが可能であり、初期画素領域を選択してもよい状態に３次元形状モデルが復元されているか否かの判定を行なうことができる。

【0072】

ステップＳ２３：
このとき、初期画素領域入力部１０１は、ユーザが画像表示部１１０の表示画面に表示されている素材変更を開始することを示す領域（例えば、ツールバーなどの選択ツールにおけるボタンなど）を選択した場合、初期画素選択領域の選択を行なったと判定し、処理をステップＳ２４へ進める。
一方、初期画素領域入力部１０１は、ユーザが画像表示部１１０の表示画面に表示されている３次元形状モデルの復元の継続を示す領域（ツールバーなどにおけるボタンなど）を選択した場合、初期画素選択領域の選択が行なわれなかったと判定し、処理をステップＳ３１へ進める。

【0073】

ステップＳ２４：
そして、ユーザが初期画素領域の選択を行なうことにより、初期画素領域入力部１０１は、初期画素領域の含む２次元座標点（画素）を変更画素領域抽出部１０４に対して出力する。
これにより、変更画素領域抽出部１０４は、３次元形状モデルのデータを画像記憶部１０９から読み出し、読み出した３次元形状モデルに対して初期画素領域の２次元座標点を投影する。
そして、変更画素領域抽出部１０４は、投影された２次元座標点に対応する３次元座標点を取得する。

【0074】

ステップＳ２５：
変更画素領域抽出部１０４は、画像記憶部１０９のライブ画像テーブルを参照して、初期画素領域における２次元座標点の反射率成分の画素値と類似する画素値を有する、ライブ画像の２次元座標点それぞれを抽出する。
そして、変更画素領域抽出部１０４は、画像記憶部１０９のライブ画像テーブルを参照して、上記類似する画素値を有する２次元座標点に対応する３次元座標点の法線ベクトルを読み出す。

【0075】

このとき、変更画素領域抽出部１０４は、初期画素領域における２次元座標点が投影された３次元形状モデルにおける３次元座標点における法線ベクトルと、所定の直線（Ｙ軸）及び当該所定の直線に垂直な平面の各々との成す角度α、角度βのそれぞれを求める。
また、変更画素領域抽出部１０４は、例えば、角度αが所定の角度閾値以下である場合、すなわち、図４（ａ）において初期画素領域５００Ｂが選択された場合、ライブ画像が投影される３次元形状モデルにおける３次元座標点の各々の法線ベクトルと、初期画素領域５００Ｂの３次元座標点５０１Ｂにおける法線ベクトルとの成す角度θ１を求める。

【0076】

そして、変更画素領域抽出部１０４は、角度θ１が所定の角度閾値以下の法線ベクトルを有する３次元座標点を、画像記憶部１０９のライブ画像テーブルから抽出する。
これにより、変更画素領域抽出部１０４は、反射率成分の画素値が類似し、かつ法線ベクトルの方向が同様の３次元座標点に対応する２次元画素座標点からなる領域を、ライブ画像における変更画素領域として抽出する。

【0077】

一方、変更画素領域抽出部１０４は、例えば、角度βが所定の角度閾値以下である場合、すなわち、図４（ａ）において初期画素領域５００Ａが選択された場合、ライブ画像が投影される３次元形状モデルにおける３次元座標点の各々の法線と所定の直線（Ｙ軸）に垂直な平面との成す角度θ２を求める。
そして、変更画素領域抽出部１０４は、角度θ２が所定の角度閾値以下の法線ベクトルを有する３次元座標点を、画像記憶部１０９のライブ画像テーブルから抽出する。
これにより、変更画素領域抽出部１０４は、反射率成分の画素値（反射率）が類似し、かつ法線ベクトルと所定の直線に垂直な平面との成す角が閾値以下である３次元座標点に対応する２次元画素座標点からなる領域を、ライブ画像における変更画素領域として抽出する。

【0078】

ステップＳ２６：
加工画像生成部１０５は、素材データベース１１１に記憶されている素材画像を読み出し、サムネイル画像として画像表示部１１０に表示し、ユーザに対して、変更に用いる素材を選択する処理を行なうことを促す。
ユーザは、画像表示部１１０に表示された素材画像のサムネイル画像のなかから、素材の変更に用いる素材画像を選択する。
加工画像生成部１０５は、素材データベース１１１から、再度、ユーザが選択した素材画像のデータを読み出す。

【0079】

ステップＳ２７：
加工画像生成部１０５は、素材画像の２次元座標点の画素値を、３次元形状モデルに対してテクスチャマッピングする。
そして、加工画像生成部１０５は、ライブ画像と同一の視点における２次元平面に３次元形状モデルを投影し、２次元画像を生成する。
加工画像生成部１０５は、２次元画像における２次元座標点の各々の画素値に対し、陰影成分画像における２次元座標点それぞれの画素値を乗算し、加工画像を生成する。

【0080】

ステップＳ２８：
変更画像生成部１０７は、図５に示すように、ライブ画像５００における変更画素領域７００の２次元座標点の画素値を、この２次元座標点と対応する加工画像における２次元座標点の画素値に変換する。
そして、変更画像生成部１０７は、上述した画素値を変更したライブ画像を、変更画像として出力する（変更画像を生成する）。

【0081】

ステップＳ２９：
変更画像表示制御部１０８は、変更画像生成部１０７がライブ画像における変更画素領域の素材を異なる種類の素材に変更して生成した変更画像を、画像表示部１１０に対して表示する。
また、変更画像表示制御部１０８は、ライブ画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を継続するか否かの確認を促す。

【0082】

ステップＳ３０：
変更画像表示制御部１０８は、ライブ画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を、ユーザが継続するか否かの判定を行なう。
変更画像表示制御部１０８は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続する入力を行った場合、処理をステップＳ２６へ進める。
一方、変更画像表示制御部１０８は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続しない入力を行った場合、処理を終了する。

【0083】

ステップＳ３１：
ユーザは、画像表示部１１０におけるライブ画像と、表示画面復元された３次元形状モデルの投影画像との比較により、復元された３次元形状モデルの欠落部分の位置が容易に視認できる。この３次元形状モデルにおける欠落部分は、ユーザが撮像装置２００の視点を早く移動させたために、ライブ画像におけるデータが取得できなくなる画素が発生し、この画素に対応する３次元座標点の復元ができないことが考えられる。
このため、ユーザは、ステップＳ２１におけるライブ画像の取得を継続、すなわち視認した欠落部分のライブ画像の取得を行なう。

【0084】

上述した本実施形態においては、変更画素領域を抽出する際、一例として、ライブ画像において、初期画素領域の２次元座標点の反射率成分の画素値と類似する画素値を有する２次元座標点を求め、求めた２次元座標点に対応する３次元座標点のなかから、初期画素領域の２次元座標点が３次元形状モデルに投影された３次元座標点の法線ベクトルと方向が類似している３次元座標点を抽出している。

【0085】

しかしながら、本実施形態においては、初期画素領域の２次元座標点の反射率成分の画素値が類似し、かつ法線ベクトルの方向が同様の３次元座標点に対応する２次元画素座標点からなる領域を、変更画素領域として抽出するため、初期画素領域の２次元座標点の反射率成分の画素値と類似する２次元座標点の検出、あるいは同様の方向の法線ベクトルを有する３次元座標点のいずれを先に検出する構成としても良い。

【0086】

上述したように、本実施形態によれば、素材（テクスチャ及び色データを含む）を変換する対象の領域である変更画素領域を、ユーザが変更画素領域を示すために入力する初期画素領域に基づき、ライブ画像における初期画素領域の反射率成分の画素値と類似し、かつ法線ベクトルの方向が類似した３次元座標点に対応する２次元座標点を変更画素領域として抽出する。
これにより、本実施形態によれば、ユーザが枠で囲むなどの手間を掛けずに、かつ変更対象のライブ画像を予め取得しておき、このライブ画像を変更画素領域が選択し易いように予め区分しておく必要がなく、ユーザが素材や色データを異なる種類に変更する対象の変更画素領域を簡易に選択できる。

【0087】

また、本実施形態によれば、ユーザが素材や色データを変更する対象の変更画素領域を抽出する際、この変更画素領域が３次元形状モデルにおいて、初期画素領域における２次元座標点に対応した３次元座標点の法線ベクトルと同様の法線ベクトルを有する３次元座標点として求めている。
このため、本実施形態によれば、３次元形状モデルの曲面形状の境界に高い精度で対応させて変更画素領域を抽出することが可能となり、ユーザが素材を異なる種類の素材に変更した変更画素領域を鑑賞する場合、壁の素材が床にはみ出したり、逆に床の素材が壁にはみ出したりなどの、境界の不明確による違和感を抑制することができる。

【0088】

また、本実施形態によれば、撮像装置２００から逐次供給されるライブ画像により、素材を変更する対象（建物の室内など）の３次元形状モデルを復元して、この３次元形状モデルを用いて、ユーザが選択した初期画素領域から、ライブ画像における変更画素領域を抽出する。
このため、本実施形態によれば、変更画素領域の抽出に用いる３次元形状モデルを、予め撮像した撮像画像などを用いて復元しておく必要がないため、室内の全ての３次元形状モデルを復元するのではなく、素材を変更して変更後の確認を行ないたい領域のみの３次元形状を任意にリアルタイムに復元することで、ユーザが室内の現物を観察しつつ、素材の変更後の室内の状態を視認することが可能となる。

【0089】

また、本実施形態によれば、変更画素領域の抽出に用いる３次元形状モデルを、予め撮像した撮像画像などから復元せず、ユーザが任意の対象をライブ画像から現地でリアルタイムに３次元形状モデルの復元が行えるため、事前にユーザが素材の変更を希望していなかった場所でも、容易にその対象の３次元形状モデルを生成し、ユーザが入力する初期画素領域から、ライブ画像における変更画素領域を容易に抽出することができる。

【0090】

また、本実施形態においては、撮像装置をデジタルカメラ及びデジタルビデオカメラなどとして説明したが、ＲＧＢＤ（Red_Green_Blue_Depth）カメラを用いて、デプス画像を取得して、このデプス画像から３次元形状モデルにおける３次元点群を復元する構成としても良い。
また、本実施形態においては、撮像装置２００から逐次供給されるライブ画像から３次元形状モデルの復元を行い、ライブ画像において初期画素領域を選択する構成としているが、予め被写体の３次元形状モデルを生成しておき、被写体を撮像するライブ画像で初期画素領域の選択し、この３次元形状モデルを用いて変更画素領域を抽出する構成としても良い。

【0091】

なお、本発明における図１の画像処理システム１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりライブ画像から簡易に変更画素領域を抽出し、この変更画素領域における素材を変更するシミュレーションの処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0092】

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0093】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0094】

１００…画像処理システム
１０１…初期画素領域入力部
１０２…３次元形状復元部
１０３…反射率・陰影分離部
１０４…変更画素領域抽出部
１０５…加工画像生成部
１０６…ライブ画像入力部
１０７…変更画像生成部
１０８…変更画像表示制御部
１０９…画像記憶部
１１０…画像表示部
１１１…素材データベース
２００…撮像装置
１０４１…投影変換部
１０４２…変更画素領域選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】