特開 2018-195038 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-195038(P2018-195038A)

(43)【公開日】2018年12月6日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20181109BHJP

   G06T 3/00 20060101ALI20181109BHJP

【ＦＩ】

   G06T19/00 600

   G06T3/00 760

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2017-97783(P2017-97783)

(22)【出願日】2017年5月17日

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(71)【出願人】

【識別番号】000107907

【氏名又は名称】セーレン株式会社

(74)【代理人】

【識別番号】100111855

【弁理士】

【氏名又は名称】川崎 好昭

(72)【発明者】

【氏名】宮川 翔貴

(72)【発明者】

【氏名】成田 史弥

(72)【発明者】

【氏名】福原 吉博

(72)【発明者】

【氏名】森島 繁生

(72)【発明者】

【氏名】小形 憲弘

【テーマコード（参考）】

5B050

5B057

【Ｆターム（参考）】

5B050AA09

5B050BA08

5B050BA12

5B050BA13

5B050EA05

5B050EA13

5B050EA19

5B050EA27

5B057AA18

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CH11

5B057DA07

5B057DA08

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC07

5B057DC25

(57)【要約】

【課題】本発明は、変形する被写体画像に対してテクスチャ画像を精度よく重ね合せることができる画像処理装置及び画像処理方法を提供することを目的とするものである。
【解決手段】画像処理装置１は、個別に識別可能でかつ所定数毎のブロック単位を識別可能なパターンで生成された複数のマーカをテクスチャ画像データのテクスチャ座標位置と関連付けて記憶するとともに各ブロック単位について周囲に配置された他のブロック単位と関連付けて識別するブロック識別情報を記憶しておき、被写体の画像データに基づいてマーカ及びその表示位置を検出し、検出されたマーカのパターンに基づいてマーカをブロック単位に区分し、区分されたブロック単位についてブロック識別情報に基づいてブロック単位を識別するとともにブロック単位内のマーカを識別し、マーカの表示位置及びテクスチャ座標位置に基づいてテクスチャ画像データを補正して被写体の画像データに重畳した合成画像データを生成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

テクスチャ画像データを記憶する画像データ記憶部と、被写体の表面に配列して表示されるとともに個別に識別可能でかつ所定数毎のブロック単位を識別可能なパターンで生成された複数のマーカをテクスチャ画像データのテクスチャ座標位置と関連付けて記憶するとともに各ブロック単位について周囲に配置された他のブロック単位と関連付けて識別するブロック識別情報を記憶する識別データ記憶部と、前記被写体の画像データに基づいて前記マーカ及びその表示位置を検出する検出処理部と、検出された前記マーカの前記パターンに基づいて前記マーカを前記ブロック単位に区分する区分処理部と、区分された前記ブロック単位について前記ブロック識別情報に基づいて前記ブロック単位を識別するとともに識別された前記ブロック単位内の前記マーカを識別する識別処理部と、識別された前記マーカの表示位置及び当該マーカに関連付けられたテクスチャ座標位置に基づいて前記テクスチャ画像データを補正するとともに補正された前記テクスチャ画像データを前記被写体の画像データに重畳した合成画像データを生成する合成処理部とを備えている画像処理装置。

【請求項2】

前記マーカは、前記ブロック単位を識別する共通の第一パターン及び前記ブロック単位に含まれる前記マーカを識別する個別の第二パターンを組み合せて生成されており、前記ブロック識別情報は、前記ブロック単位のそれぞれに含まれる前記第一パターンに基づいて生成されている請求項１に記載の画像処理装置。

【請求項3】

個別に識別可能でかつ所定数毎のブロック単位を識別可能なパターンで複数のマーカを生成するとともに各ブロック単位について周囲に配置された他のブロック単位と関連付けて識別するブロック識別情報を生成し、記憶されたテクスチャ画像データのテクスチャ座標位置と前記マーカとを関連付けて記憶し、前記マーカを前記ブロック単位で配列して表面に表示した被写体の画像データに基づいて前記マーカ及びその表示位置を検出し、検出された前記マーカの前記パターンに基づいて前記マーカを前記ブロック単位に区分し、区分された前記ブロック単位について前記ブロック識別情報に基づいて前記ブロック単位を識別するとともに識別された前記ブロック単位内の前記マーカを識別し、識別された前記マーカの表示位置及び当該マーカに関連付けられたテクスチャ座標位置に基づいて前記テクスチャ画像データを補正するとともに補正された前記テクスチャ画像データを前記被写体の画像データに重畳した合成画像データを生成する画像処理方法。

【請求項4】

前記マーカは、前記ブロック単位を識別する共通の第一パターン及び前記ブロック単位に含まれる前記マーカを識別する個別の第二パターンを組み合せて生成され、前記ブロック識別情報は、前記ブロック単位のそれぞれに含まれる前記第一パターンに基づいて生成される請求項３に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の画像データにテクスチャ画像データを重畳した合成画像データを生成する画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

近年拡張現実（ＡＲ；Augmented Reality）と呼ばれる技術分野での研究開発が進められてきており、現実の被写体の画像に様々な画像を重ね合せてディスプレイに表示することで、被写体の画像とともにより多くの情報を視認することができるようになっている。

【0003】

ＡＲ技術を用いることで、現実の被写体の画像に対してテクスチャ画像を重ね合せて仮想的に被写体の表面の模様や色合い等を変更することが簡単にできるようになり、様々な分野に応用されるようになってきている。例えば、特許文献１では、ユーザを撮影し、モーションキャプチャの技術を用いてユーザが現実に着用している服を仮想服に置き換えて画像表示する画像処理装置が記載されている。また、特許文献２では、カメラが撮影している映像からマーカを認識して映像をユーザ画像として取得し、ユーザ画像のマーカの位置とユーザの身体位置を対応付けし、データベースから取得した衣料品画像をユーザ画像に合成した試着画像を生成して表示する画像処理装置が記載されている。

【0004】

こうした被写体の画像に表示されたマーカを識別してテクスチャ画像を重ね合せる手法では、予めマーカとテクスチャ画像のテクスチャ座標と対応付けておくことで、被写体の画像内のマーカを識別した際に容易にテクスチャ座標を決定することができる。被写体の画像内のマーカの識別方法としては、例えば、非特許文献１では、テクスチャ画像を重ね合せる領域に５種類の色から選択された単一色の円形マーカを複数個配列し、縦３列×横３列の範囲のマーカの色の配列を参照して範囲の中心のマーカを識別する方法が記載されている。また、非特許文献２では、黒い点の個数が異なる４種類のマーカを配置し、非特許文献１に記載された識別方法と同様に局所的な範囲に配列された複数のマーカを参照することでマーカを識別する方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−２５２４３７号公報

【特許文献2】特開２０１２−１４４８２７号公報

【非特許文献】

【0006】

【非特許文献1】Scholz, V. and Magnor, M., “ Texture replacement of garments in monocular video sequences ”, In: Heidrich, W., Akenine- Moeller, T. (eds.) Rendering Techniques 2006, Eurographics Symposium on Rendering, pp. 305312. Eu-rographics (EG), ACM SIGGRAPH, Eurographics, Nicosia, Cyprus (2006) 27

【非特許文献2】Gaku Narita, YoshihiroWatanabe, Masatoshi Ishikawa,“Dynamic Projection Mapping onto Deforming Non-rigid Surface using Deformable Dot Cluster Marker”, IEEE Transactions on Visualization and Computer Graphics., 2016

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１及び２では、ユーザ画像に衣料品画像等のテクスチャ画像を重ね合せた合成画像を表示することができるが、ユーザの動きに合わせて写実的に表示することが難しい。特に、衣服といった容易に変形する被写体では、変形に追随してテクスチャ画像を重ね合せる画像処理が写実的な画像表示に必要となるが、特許文献１及び２ではこうした画像処理に十分対応することができない。

【0008】

非特許文献１及び２では、変形する被写体に表示されたマーカを検出し、マーカに対応づけられたテクスチャ座標に基づいてテクスチャ画像を補正することで、被写体の変形に追随してテクスチャ画像を重ね合せることができるようになっている。しかしながら、非特許文献１では、マーカが印刷された生地が黒色で着色されており、陰影の補間処理に時間がかかるため、オンラインの処理を想定していない。また、非特許文献２では、ハイスピードカメラやＩＲインク等の機器が必要となり、配置可能なマーカの数にも上限があって被写体の全身に拡張するのが難しい。

【0009】

また、局所的な範囲の複数のマーカを検出してマーカを識別するようにしているため、例えば、スカート等の被写体に皺が寄ることで局所的な範囲が一部遮蔽されて識別できない状態となった場合に、マーカを正確に識別できなくなる、といった課題がある。

【0010】

そこで、本発明は、変形する被写体画像に対してテクスチャ画像を精度よく重ね合せることができる画像処理装置及び画像処理方法を提供することを目的とするものである。

【課題を解決するための手段】

【0011】

本発明に係る画像処理装置は、テクスチャ画像データを記憶する画像データ記憶部と、被写体の表面に配列して表示されるとともに個別に識別可能でかつ所定数毎のブロック単位を識別可能なパターンで生成された複数のマーカをテクスチャ画像データのテクスチャ座標位置と関連付けて記憶するとともに各ブロック単位について周囲に配置された他のブロック単位と関連付けて識別するブロック識別情報を記憶する識別データ記憶部と、前記被写体の画像データに基づいて前記マーカ及びその表示位置を検出する検出処理部と、検出された前記マーカの前記パターンに基づいて前記マーカを前記ブロック単位に区分する区分処理部と、区分された前記ブロック単位について前記ブロック識別情報に基づいて前記ブロック単位を識別するとともに識別された前記ブロック単位内の前記マーカを識別する識別処理部と、識別された前記マーカの表示位置及び当該マーカに関連付けられたテクスチャ座標位置に基づいて前記テクスチャ画像データを補正するとともに補正された前記テクスチャ画像データを前記被写体の画像データに重畳した合成画像データを生成する合成処理部とを備えている。さらに、前記マーカは、前記ブロック単位を識別する共通の第一パターン及び前記ブロック単位に含まれる前記マーカを識別する個別の第二パターンを組み合せて生成されており、前記ブロック識別情報は、前記ブロック単位のそれぞれに含まれる前記第一パターンに基づいて生成されている。

【0012】

本発明に係る画像処理方法は、個別に識別可能でかつ所定数毎のブロック単位を識別可能なパターンで複数のマーカを生成するとともに各ブロック単位について周囲に配置された他のブロック単位と関連付けて識別するブロック識別情報を生成し、記憶されたテクスチャ画像データのテクスチャ座標位置と前記マーカとを関連付けて記憶し、前記マーカを前記ブロック単位で配列して表面に表示した被写体の画像データに基づいて前記マーカ及びその表示位置を検出し、検出された前記マーカの前記パターンに基づいて前記マーカを前記ブロック単位に区分し、区分された前記ブロック単位について前記ブロック識別情報に基づいて前記ブロック単位を識別するとともに識別された前記ブロック単位内の前記マーカを識別し、識別された前記マーカの表示位置及び当該マーカに関連付けられたテクスチャ座標位置に基づいて前記テクスチャ画像データを補正するとともに補正された前記テクスチャ画像データを前記被写体の画像データに重畳した合成画像データを生成する。さらに、前記マーカは、前記ブロック単位を識別する共通の第一パターン及び前記ブロック単位に含まれる前記マーカを識別する個別の第二パターンを組み合せて生成され、前記ブロック識別情報は、前記ブロック単位のそれぞれに含まれる前記第一パターンに基づいて生成される。

【発明の効果】

【0013】

本発明は、上記の構成を有することで、被写体の表面に配列して表示されるとともに個別に識別可能でかつ所定数毎のブロック単位を識別可能なパターンで生成された複数のマーカを用いているので、被写体の変形によりマーカの一部が遮蔽された状態となってもブロック単位を識別してマーカを個別に識別することが可能となる。そのため、変形する被写体画像に対してテクスチャ画像を精度よく重ね合せることができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係る画像処理装置に関する機能ブロック構成図である。

【図2】識別性を有するマーカの一例を示す説明図である。

【図3】複数のマーカが配列表示された配列パターンの一例を示す模式図である。

【図4】配列パターンをブロック単位に区分した場合に関する説明図である。

【図5】マーカとテクスチャ画像のテクスチャ座標を関連付けた場合を例示する説明図である。

【図6】被写体に表示したマーカが一部遮蔽される場合に関する説明図である。

【図7】画像処理に関する処理フローである。

【図8】被写体画像に関する画像例である。

【図9】識別されたマーカの表示位置及びテクスチャ座標位置に基づいてテクスチャ画像を重ね合せる領域全体にメッシュモデルを生成した場合に関する説明図である。

【図10】Ｔシャツに縦皺が寄ってマーカが隠れた状態における識別結果を示す画像例である。

【図11】補正されたテクスチャ画像が被写体画像に合成された画像例である。

【図12】陰影を付加する処理過程を示す説明図である。

【図13】別の画像処理の処理過程を示す説明図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について図面を用いて説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。

【0016】

図１は、本発明に係る画像処理装置に関する機能ブロック構成図である。画像処理装置１は、画像入力部２から入力される被写体画像を処理するとともに被写体画像に合わせてテクスチャ画像を補正し、被写体画像に補正されたテクスチャ画像を重ね合せた合成画像を生成して画像出力部３に表示する機能を備えている。

【0017】

画像入力部２は、被写体を実写した画像、被写体を仮想的に表現したコンピュータグラフィックス画像等を入力するようになっており、例えば、カメラ等の撮影装置により変形する物体を撮影した画像や通信ネットワーク等を介して受信された画像が入力される。被写体としては、変形する実在の物体以外に、こうした変形する物体に基づいて画像表現された仮想的な物体も含まれる。

【0018】

画像出力部３は、テレビ、パソコン、スマートフォン等の携帯端末、大型ディスプレイといった種々の表示装置を備えたものを用途に合わせて使用することができ、また画像処理装置１と通信ネットワーク等を介して接続することで、様々な場所に画像出力部３を設置して画像表示を行うことができる。

【0019】

画像処理装置１は、画像処理部１０と、テクスチャ画像データ等の画像データを記憶する画像データ記憶部１１と、マーカ等の識別に関するデータを記憶する識別データ記憶部１２とを備えている。画像処理部１０は、画像入力部２から入力される被写体画像データ及びテクスチャ画像データ等の画像データを画像データ記憶部１１に記憶する。テクスチャ画像データは、被写体画像データに重ね合せる画像データであり、例えば、被写体が衣服である場合には、衣服に表示する色彩や図柄等の柄模様といった服飾デザインに関する画像データが挙げられる。

【0020】

識別データ記憶部１２には、被写体の表面に配列して表示される複数のマーカに関する識別データが記憶されており、これらのマーカは、個別に識別可能で所定数毎のブロック単位を識別可能なパターンで生成されている。ここで、ブロック単位は、所定範囲で設定されることで、ブロック単位内にはその範囲に配置された所定数のマーカが含まれるようになっている。

【0021】

図２は、こうした識別性を有するマーカの一例を示す説明図である。この例では、マーカＭは、同心円状の二重円で構成され、円形の内側領域ＲＡには複数種類の色から選択された１つの色が表示されており、外側のリング状領域は上下半分ずつの外側領域ＲＢ及びＲＣに区画されて、外側領域ＲＢ及びＲＣにはそれぞれ選択された１つの色が表示される。

【0022】

内側領域ＲＡに表示される色は、ブロック単位内のマーカでは全て同じ色を表示するように設定されている。そのため、マーカＭの内側領域ＲＡが共通の色である範囲を区分してブロック単位の色及び範囲を識別することができる。

【0023】

外側領域ＲＢ及びＲＣの表示色の組合せは、ブロック単位内のマーカＭが個別に識別可能となるように設定されている。具体的には、外側領域ＲＢ及びＲＣにＮ種類の色を使用する場合に、Ｎ²通りの組合せパターンが設定されることから、ブロック単位内のマーカ数に合わせて使用する色の種類数を決めることで、ブロック単位内のマーカＭを外側領域ＲＢ及びＲＣの表示色の組合せパターンで個別に識別することができる。

【0024】

そして、ブロック単位内における外側領域ＲＢ及びＲＣの色の組合せパターンの配置を共通となるように設定することで、各ブロック単位では同じ位置のマーカＭは外側領域ＲＢ及びＲＣの色の組合せパターンが同一となり、色の組合せパターンによりブロック単位内のマーカＭの位置を識別することができる。こうした色の組合せパターンについては、各組合せパターンに対応して予めナンバリングしておくことで、識別処理の際に効率よく処理することができる。

【0025】

各ブロック単位は、その周囲に配置された他のブロック単位と関連付けたブロック識別情報で識別されるようになっている。各ブロック単位の範囲は、内側領域ＲＡの表示色の分布範囲及び外側領域ＲＢ及びＲＣの組合せパターンの範囲で特定することができ、識別された各ブロック単位の内側領域ＲＡの表示色の全体からみた配置関係に基づいて、各ブロック単位の周囲に配置された他のブロック単位の表示色と関連付けたブロック識別情報を生成することができる。例えば、非特許文献１に記載されたマーカの表示色の配列方法を用いることで、ブロック単位の表示色を各ブロック単位が個別に識別可能となるように配列することが可能となり、各ブロック単位を識別可能なブロック識別情報を作成することができる。

【0026】

以上説明したマーカの表示色を用いて識別する場合、被写体の実写画像に表示されたマーカＭの表示色が互いに明確に区別して識別できる色を選択することが好ましい。例えば、ＨＳＶ表色系等の色空間において、なるべく互いに離れた色を用いるとよい。なお、マーカは、表示色以外の識別可能な表示手段を使用してもよく、例えば、赤外線センサ等により検知可能な表示手段を用いてマーカを構成することもできる。

【0027】

上述した例では、色の組合せによるマーカのパターンを説明したが、ブロック単位を識別する共通のパターン及びブロック単位内のマーカを識別する個別のパターンを組み合せて各マーカを階層的なパターンの組み合せで構成すればよい。そのため、マーカのデザインは自由に変更することが可能で、例えば、点と線の組み合せでも構成することができ、色の組み合せに限定されない。また、被写体が本来有する色をマーカの１つのパターンに使用することもでき、こうしたパターンであればマーカの検出処理を簡略化することも可能となる。

【0028】

図３は、複数のマーカＭが配列表示された配列パターンＨの一例を示す模式図である。また、図４は、図３に示す配列パターンＨをブロック単位Ｋに区分した場合を例示した説明図（図４（ａ））、区分されたブロック単位Ｋの表示色（内側領域ＲＡの表示色）を円形のマークで置き換えて例示した説明図（図４（ｂ））及びブロック単位内のマーカの配列を例示した説明図（図４（ｃ））である。

【0029】

図３に示すように、マーカＭの各領域の表示色の違いを濃淡の違いで模式的に表示している。この例では、マーカＭは、縦横に９個ずつ８１個が等間隔で配列されており、縦横に３個ずつ区分してブロック単位Ｋが設定されている。なお、マーカＭの配列方法はテクスチャ画像のテクスチャ座標に合わせて適宜設定すればよく、ブロック単位の範囲についても被写体の変形による遮蔽範囲を想定して設定すればよい。

【0030】

各ブロック単位Ｋの表示色となるマーカＭの内側領域ＲＡの表示色は、例えば、赤・緑・青・黒の４色から選択し、非特許文献１に記載された公知の選択手法と同様に選択して配置すればよい。外側領域ＲＢ及びＲＣの表示色に用いる種類の数は、各ブロック単位Ｋのマーカ数が９個であることから、３色以上であればよく、互いに明確に区別して検出可能な色を選択すればよい。色数が増加するとマーカを誤って検出する可能性が高くなることから、この例では、３色を選択している。例えば、黄、シアン、マゼンタの３色から２色を選択して、ブロック単位Ｋ内の外側領域ＲＢ及びＲＣの組合せパターンに合わせて配色する。

【0031】

図４（ｂ）に示すように、この例では、ブロック単位を識別するブロック識別情報は、１つのブロック単位とその周囲に配置された８個のブロック単位について計９個の表示色に対応する識別情報（ＩＤ）を時計回りに順次配列して作成することができる。例えば、４つの表示色に対してそれぞれ１から４の数字を当てはめ、表示色の配列に対応した数字列を作成してブロック識別情報とすればよい。また、被写体画像の配列パターンが回転して表示されることが想定される場合には、回転に応じた配列順序で数字列を作成して１つのブロック単位に関して複数のブロック識別情報を作成するようにしてもよい。また、角部のブロック単位では周囲に配置されたブロック単位は３個で、辺部のブロック単位では周囲に配置されたブロック単位は５個となるが、これらについても表示色の時計回りの配列順序でブロック識別情報を作成することができる。

【0032】

こうしてブロック単位をブロック識別情報により識別するとともにブロック単位内のマーカを個別に識別することで、各マーカを階層的に識別することができる。この例では、各マーカを個別に識別するために、図４（ｃ）に示すように、各マーカの外側領域の組み合せパターンに応じて１〜９の数字を当てはめて識別するようにしている。

【0033】

そして、各マーカをテクスチャ画像のテクスチャ座標と関連付けておくことで、被写体画像に表示されたマーカの表示位置に関連付けてテクスチャ画像を重ね合せることが可能となる。図５は、マーカとテクスチャ画像のテクスチャ座標を関連付けた場合を例示する説明図である。この例では、柄模様からなるテクスチャ画像Ｇのテクスチャ座標を配列パターンＨを構成する複数のマーカと対応付けている。

【0034】

以上説明したように、識別データ記憶部１２には、生成されたマーカのパターン及び所定数のマーカ毎に設定されたブロック単位を識別するためのデータとともに各マーカとテクスチャ座標位置とを対応付けるデータが登録されている。

【0035】

画像処理部１０は、検出処理部１０１、区分処理部１０２、識別処理部１０３及び合成処理部１０４を備えており、検出処理部１０１は、被写体の画像データに基づいてマーカ及びその表示位置を検出する処理を行う。被写体を実写した撮影画像の場合には、被写体に対する背景画像を分離するマスク処理を行い、マーカの誤検出を減らすための前処理を行うことが好ましい。上述した例のように、マーカを色彩によるパターンで構成している場合には、構成する色を画像から検出する処理を行うことで、マーカのパターン及びその表示位置を検出することができる。

【0036】

具体的には、各色の二値画像を作成してラベリング処理を行い、面積が一定の範囲にあるものをマーカ領域として分類する。二値画像に対しては、メディアンフィルタ及びモルフォロジー演算を行うことで、ノイズを減らして誤検出のリスクを小さくすることができる。

【0037】

得られた二値画像に基づいてパターンの内側領域及び外側領域の色の組み合わせを決定し、内側領域に対応する画像領域の重心位置から外側領域に対応する画像領域の重心位置までの距離を算出し、一定の値以下であれば同一のマーカであると判定してマーカ検出を行うことができる。その際に、外側領域の組合せパターンにより各マーカを特定することができ、例えば、ナンバリングしたデータで特定すればよい。また、マーカの表示位置については、例えば、内側領域の重心座標を表示位置として用いるとよい。こうして、被写体画像に表示されたマーカ及びその表示位置を検出することができる。

【0038】

区分処理部１０２は、検出処理部１０１において検出されたマーカのパターンに基づいてマーカをブロック単位に区分する処理を行う。上述した例では、マーカの内側領域の色はブロック単位で同一の色を用いており、外側領域の色の組合せパターンは各ブロック単位で共通とされているため、各マーカの外側領域の組合せを確認していくことで、ブロック単位を識別するとともにその範囲を特定して区分する処理を行うことができる。衣服のように容易に変形する被写体では、図６に例示するように、被写体に表示した配列パターン（図６（ａ）参照）において一部のマーカが遮蔽される（図６（ｂ）参照）場合があるが、被写体画像においてブロック単位を構成するマーカが図６（ｂ）に示すように一部表出していれば、表出したマーカの内側領域の色及び外側領域の組合せを確認することで、ブロック単位に区分することができる。

【0039】

識別処理部１０３は、区分されたブロック単位についてブロック識別情報に基づいてブロック単位を識別するとともに識別されたブロック単位内のマーカを識別する処理を行う。上述した例では、各ブロック単位のマーカの内側領域の表示色に基づいてブロック識別情報を作成しているので、１つのブロック単位とその周囲に配置されたブロック単位について、表示色を時計回りに順次確認してブロック識別情報を一致するか否か判定し、一致する場合には登録されたブロック単位として識別する。

【0040】

図６に示す例においても、ブロック単位の一部のマーカが表出しているので、ブロック単位の表示色を識別することが可能となり、ブロック単位をブロック識別情報に基づいて識別することができる。

【0041】

ブロック単位が識別されることで、ブロック単位内のマーカについても外側領域の色の組合せに基づいて容易に識別することができる。そして、個別に識別されたマーカについて検出された表示位置は、合成処理部１０４においてそのまま用いられる。

【0042】

合成処理部１０４は、識別されたマーカの表示位置及びマーカに関連付けられたテクスチャ座標位置に基づいてテクスチャ画像データを補正するとともに補正されたテクスチャ画像データを被写体の画像データに重畳した合成画像データを生成する処理を行う。上述した例では、記憶部１２に登録されたマーカの表示位置と予め登録されているマーカに対応するテクスチャ座標位置を読み出して、両方の位置関係に基づいて非特許文献１に記載されているような公知の補間処理を行い、記憶部１１に記憶されたテクスチャ画像を被写体画像に合せるように補正して被写体画像に重ね合せた合成画像データを生成する。

【0043】

被写体画像が動画である場合には、動画を構成するフレーム毎の被写体画像について、上述したようにマーカを識別し、識別されたマーカのフレーム間における変動に基づいてテクスチャ画像を補正して連動させることで、動画に追随して合成画像を生成することもできる。

【0044】

また、被写体画像が陰影を有する３次元画像で構成されている場合に、テクスチャ画像には陰影が含まれていないため、重ね合せた合成画像に対して陰影を付加する処理を行うことが必要となる。具体的には、被写体画像を構成する画素の明度に基づいて補間されたテクスチャ画像に反映させるようにすることで陰影処理を行うことができる。ただし、マーカを構成する色により反射率が異なることから、マーカ以外の領域における画素の明度を参照してマーク領域の明度を補間する必要がある。

【0045】

図７は、画像処理に関する処理フローである。まず、被写体が表示された入力画像を取得する（Ｓ１００）。例えば、図８に示すように、着用されたＴシャツを被写体として撮影した画像が入力画像として取得される。無地のＴシャツの正面側には、図３に示すマーカの配列パターンがカラー印刷されており、図８に示す画像は、正面側から撮影装置で撮影された画像である。また、図５で説明したように、予めマーカの配列パターンに対応してテクスチャ画像のテクスチャ座標位置を関連付けて記憶しておく。

【0046】

次に、取得された被写体画像に対してマーカの検出処理を行う（Ｓ１０１）。上述したように、マーカに用いた複数種類の色に関して二値画像を生成して被写体画像中のマーカ及び表示位置を検出する。そして、上述したように、検出されたマーカのパターンに基づいてブロック単位の区分処理を行い（Ｓ１０２）、区分されたブロック単位をブロック識別情報に基づいて識別するとともにブロック単位内のマーカを識別する（Ｓ１０３）。

【0047】

次に、識別されたマーカの表示位置及びテクスチャ座標位置に基づいてテクスチャ画像を補正して（Ｓ１０４）被写体画像に重畳して合成画像を生成し（Ｓ１０５）、生成された合成画像を画像出力部３に出力処理する（Ｓ１０６）。

【0048】

図９は、識別されたマーカの表示位置及びテクスチャ座標位置に基づいてテクスチャ画像を重ね合せる領域全体にメッシュモデルを生成した場合に関する説明図である。識別に成功したマーカの表示位置を基に、Radical Basis Functionを用いた補間処理等の公知の手法によりメッシュモデルを被写体画像の重ね合せる領域に合わせて変形させる。

【0049】

図９に示す四角の黒点は、識別されたマーカの表示位置を示しており、ブロック単位の識別及びマーカの識別を階層的に行うことで、マーカの識別精度を向上させることができる。図１０は、Ｔシャツに縦皺が寄ってマーカが１列以上隠れた状態におけるマーカの識別結果を示す画像例である。図１０（ｂ）は、図１０（ａ）に示す入力画像に対して、非特許文献１に示す従来の手法によるマーカの識別処理を行った結果を示しており、図１０（ｄ）は、図１０（ｃ）に示す入力画像に対して、ブロック単位を識別してマーカを識別する階層的な識別処理を行った結果を示している。

【0050】

図１０（ａ）及び図１０（ｃ）に示す入力画像では、縦皺によりマーカが一部隠れた状態となっている。図１０（ｂ）及び図１０（ｄ）では、識別されたマーカを四角の黒点で示している。識別結果をみると、図１０（ｂ）では、縦皺が寄った部分に沿ってマーカを識別できておらず、識別精度が低下している。縦皺が寄った部分ではマーカ一列分が遮蔽された状態となっているため、マーカを周囲に配置された他のマーカに基づいて識別する手法では、遮蔽されたマーカの周囲に配置されたマーカについても識別できなくなる。これに対して、図１０（ｄ）では、遮蔽されたマーカを含むブロック単位を識別することができるため、遮蔽されたマーカ以外のマーカを識別することが可能となる。そのため、マーカの識別精度を向上させることができ、以後のテクスチャ画像の補正を精度よく行うことが可能となる。

【0051】

図１１は、補正されたテクスチャ画像が被写体画像に合成された画像例を示している。図１１に示す合成画像例では、被写体画像で表示されていたＴシャツの皺による陰影が表示されなくなるため、元の陰影を付加する処理を行うことで、被写体画像にテクスチャ画像を違和感なく重畳した合成画像を生成することができる。

【0052】

図１２は、陰影を付加する処理過程を示す説明図である。図１２（ａ）は、図８に示す被写体画像の明度画像を示しており、皺による陰影以外にマーカの色による明度が表出するようになっている。そのため、マーカ以外の領域の明度を参照して明度画像の補間処理を行い、図１２（ｂ）に示すような補間後の画像を生成する。

【0053】

図１３は、別の画像処理の処理過程を示す説明図である。上側の画像列及び下側の画像列は、それぞれ左側から入力画像、入力画像で識別されたマーカ（白抜きの四角形）に基づくメッシュモデル画像、メッシュモデルによる合成画像、修正画像、エラーマップ画像を示している。修正画像は、メッシュモデル画像において識別できなかったマーカの表示位置をテクスチャ座標位置と対応付ける補足処理を行って修正した画像である。エラーマップ画像は、合成画像と修正画像との間の色ずれの大きさを画素毎に色別表示した画像である。この例では、入力画像の解像度が1080pixel×1080pixelで、色ずれの最大値を30pixelとして５段階で表示している。

【0054】

上側の画像列は、非特許文献１に記載された従来の手法を用いて画像処理を行った結果を示している。入力画像においてマーカが縦皺で部分的に遮蔽された状態となっており、遮蔽部分からマーカの識別ができなかった領域が拡がっている。そのため、マーカを識別できなかった領域にエラーが生じており、遮蔽部分に近い領域ほど色ずれが大きくなっている。これに対して、下側の画像列は、本発明に係る画像処理を用いて処理した結果を示している。入力画像においてマーカが縦皺でほぼ遮蔽された状態となっているが、表出しているマーカをほぼ識別できているため遮蔽部分においてもエラー領域が小さくなっている。そのため、合成画像は修正画像とほぼ一致するようになり、被写体の変形に対して正確に追随していることが確認できる。

【0055】

以上説明したように、所定数のマーカごとにブロック単位を設定し、ブロック単位を識別するとともにブロック単位内のマーカを個別に識別するようにしているので、ブロック単位内の一部のマーカが遮蔽された場合でも他の遮蔽されていないマーカを識別することが可能となる。そのため、布帛等のように容易に変形する被写体の場合に被写体に表示されたマーカが変形により一部遮蔽されたとしても、大域的に周辺のマーカを参照することで遮蔽部分付近のマーカを識別することが可能となり、マーカの識別精度を向上させることができる。マーカをテクスチャ画像のテクスチャ座標位置と対応させておくことで、被写体画像において識別されたマーカの表示位置に基づいてテクスチャ画像を補正して被写体画像に重ね合せて合成画像を生成することができ、変形する被写体に追随して違和感なく画像処理を行うことが可能となる。

【符号の説明】

【0056】

１・・・画像処理装置、２・・・画像入力部、３・・・画像出力部、１０・・・画像処理部、１１・・・画像データ記憶部、１２・・・識別データ記憶部、１０１・・・検出処理部、１０２・・・区分処理部、１０３・・・識別処理部、１０４・・・合成処理部、Ｇ・・・テクスチャ画像、Ｈ・・・配列パターン、Ｋ・・・ブロック単位、Ｍ・・・マーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】