特許 6814036 要素画像群生成装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6814036

(24)【登録日】2020年12月22日

(45)【発行日】2021年1月13日

(54)【発明の名称】要素画像群生成装置及びそのプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20201228BHJP

   H04N 13/257 20180101ALI20201228BHJP

   H04N 13/275 20180101ALI20201228BHJP

   G06T 15/04 20110101ALI20201228BHJP

【ＦＩ】

   G06T19/00 F

   H04N13/257

   H04N13/275

   G06T15/04

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2016-237273(P2016-237273)

(22)【出願日】2016年12月7日

(65)【公開番号】特開2018-92504(P2018-92504A)

(43)【公開日】2018年6月14日

【審査請求日】2019年11月1日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】日浦 人誌

(72)【発明者】

【氏名】サイモン クリピングデル

(72)【発明者】

【氏名】三ツ峰 秀樹

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２０１５−４３１８７（ＪＰ，Ａ）

【文献】 特開２０１２−７８９８２（ＪＰ，Ａ）

【文献】 特開２０１２−１８６６３（ＪＰ，Ａ）

【文献】 特開２０１６−１５８２１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１９／２０

Ｈ０４Ｎ １３／００−１７／０６

(57)【特許請求の範囲】

【請求項1】

３次元モデルから予め生成した色情報のない第１要素画像群にテクスチャマッピングを施すことで、色情報のある第２要素画像群を生成する要素画像群生成装置であって、
被写体を撮影した被写体画像を入力する被写体画像入力手段と、
複数の前記３次元モデルを予め記憶する３次元モデル記憶手段と、
前記３次元モデルの位置及び方向に応じた第１要素画像群を予め記憶する第１要素画像群記憶手段と、
前記３次元モデルと前記被写体画像と前記第１要素画像群の要素画像との画素位置を対応付けた画素位置情報を予め記憶する画素位置情報記憶手段と、
前記被写体画像から、前記被写体の形状を表した形状特徴量と、前記被写体の位置及び方向を表した状況特徴量とを算出する特徴量算出手段と、
前記形状特徴量に基づいて、前記被写体に最も類似する３次元モデルを前記３次元モデル記憶手段から選択する３次元モデル選択手段と、
選択した前記３次元モデルについて、前記状況特徴量の位置及び方向に応じた第１要素画像群を前記第１要素画像群記憶手段から選択する第１要素画像群選択手段と、
前記選択した３次元モデルについて、前記状況特徴量の位置及び方向に応じた画素位置情報を前記画素位置情報記憶手段から選択する画素位置情報選択手段と、
選択した前記画素位置情報の画素位置に基づいて、選択した前記第１要素画像群に前記被写体画像をテクスチャマッピングすることで、前記被写体の第２要素画像群を生成する第２要素画像群生成手段と、
を備えることを特徴とする要素画像群生成装置。

【請求項2】

前記３次元モデル記憶手段は、異なる人物の顔を表した前記３次元モデルを記憶し、
前記特徴量算出手段は、前記形状特徴量として、前記被写体の顔を表した顔特徴量を算出し、
前記３次元モデル選択手段は、前記顔特徴量に基づいて、前記被写体の顔に最も類似する３次元モデルを前記３次元モデル記憶手段から選択することを特徴とする請求項１に記載の要素画像群生成装置。

【請求項3】

前記第１要素画像群記憶手段は、所定の表情毎に前記第１要素画像群を記憶し、
前記画素位置情報記憶手段は、前記表情毎に前記画素位置情報を記憶し、
前記特徴量算出手段は、前記状況特徴量として、前記被写体の表情を表した表情特徴量をさらに算出することを特徴とする請求項２に記載の要素画像群生成装置。

【請求項4】

前記画素位置情報記憶手段は、前記３次元モデルの頂点画素における画素位置情報を予め記憶し、
前記第２要素画像群生成手段は、前記頂点画素で前記被写体画像を前記第１要素画像群にテクスチャマッピングし、前記頂点画素以外で前記第１要素画像群を補完することを特徴とする請求項１から請求項３の何れか一項に記載の要素画像群生成装置。

【請求項5】

前記被写体画像入力手段は、異なる方向で前記被写体を撮影した被写体画像を入力し、
前記第２要素画像群生成手段は、前記異なる方向の被写体画像のうち、前記要素画像の各画素の光線再生方向に応じた被写体画像を用いて、テクスチャマッピングすることを特徴とする請求項１から請求項４の何れか一項に記載の要素画像群生成装置。

【請求項6】

前記画素位置情報記憶手段は、予め設定した基準位置及び基準方向の前記画素位置情報を記憶し、
前記基準位置及び基準方向の画素位置情報から、前記状況特徴量の位置及び方向に応じた画素位置情報を補完する画素位置情報補間手段、をさらに備えることを特徴とする請求項１から請求項５の何れか一項に記載の要素画像群生成装置。

【請求項7】

３次元モデルから予め生成した色情報のない第１要素画像群にテクスチャマッピングを施すことで、色情報のある第２要素画像群を生成する要素画像群生成装置であって、
被写体を撮影した被写体画像を入力する被写体画像入力手段と、
複数の前記３次元モデルを予め記憶する３次元モデル記憶手段と、
前記３次元モデルの位置及び方向に応じた第１要素画像群を予め記憶する第１要素画像群記憶手段と、
前記第１要素画像群の各要素画像に含まれる同一位置の画素で構成された多視点画像を予め記憶する多視点画像記憶手段と、
前記３次元モデルと前記被写体画像と前記第１要素画像群の要素画像と多視点画像との頂点画素の画素位置を対応付けた画素位置情報を予め記憶する画素位置情報記憶手段と、
前記被写体画像から、前記被写体の形状を表した形状特徴量と、前記被写体の位置及び方向を表した状況特徴量とを算出する特徴量算出手段と、
前記形状特徴量に基づいて、前記被写体に最も類似する３次元モデルを前記３次元モデル記憶手段から選択する３次元モデル選択手段と、
選択した前記３次元モデルについて、前記状況特徴量の位置及び方向に応じた第１要素画像群を前記第１要素画像群記憶手段から選択する第１要素画像群選択手段と、
前記選択した３次元モデルについて、前記状況特徴量の位置及び方向に応じた多視点画像を前記多視点画像記憶手段から選択する多視点画像選択手段と、
前記選択した３次元モデルについて、前記状況特徴量の位置及び方向に応じた画素位置情報を前記画素位置情報記憶手段から選択する画素位置情報選択手段と、
選択した前記画素位置情報に基づいて、前記多視点画像の頂点画素の画素位置に対応する前記３次元モデル及び前記第１要素画像群の画素位置を求め、求めた前記画素位置で前記被写体画像をテクスチャマッピングし、前記求めた画素位置以外で前記第１要素画像群を補完することで、前記被写体の第２要素画像群を生成する第２要素画像群生成手段と、
を備えることを特徴とする要素画像群生成装置。

【請求項8】

コンピュータを、請求項１から請求項７の何れか一項に記載の要素画像群生成装置として機能させるための要素画像群生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元モデルから予め生成した色情報のない第１要素画像群にテクスチャマッピングを施すことで、色情報のある第２要素画像群を生成する要素画像群生成装置及びそのプログラムに関する。

【背景技術】

【0002】

従来のインテグラルフォトグラフィ（ＩＰ）方式では、１台のカメラで複数の微小レンズが配列されたレンズアレイを通して被写体を撮影する。このとき、カメラがレンズアレイの焦平面を撮影するため、レンズアレイを構成する各微小レンズは、微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮影した画像は、微小レンズの位置に応じた微小画像（要素画像）が並んだ要素画像群となる。要素画像群は、被写体からの光線情報を記憶した画像であり、記憶できる光線数がカメラの解像度に依存する。このため、ＩＰ方式の撮影には、高解像度のカメラが必要となる。また、撮像光学系の色収差や歪みによる影響を補正する必要もある。

【0003】

また、従来から、コンピュータグラフィックス（ＣＧ）を用いて、ＩＰ方式の要素画像群を生成する技術が研究されている。従来技術では、計算機内で仮想３次元空間を生成し、３次元の被写体及び背景（セット）を実世界と同様に再現し、その仮想３次元空間において被写体からの光線を追跡することで、要素画像群を生成する。ＣＧによる要素画像を生成する手法として、下記の特許文献１，２及び非特許文献１，２に記載の手法が知られている。これらの要素画像生成手法は、被写体からの光線を制御する奥行き制御レンズを通して、被写体からの光線を追跡するものである。これら手法では、要素画像群の画素数の回数だけ観察者側からカメラで撮影する必要がある。すなわち、非特許文献１の要素画像生成手法は、１画素毎に光線追跡法を用いるので、１画素毎に撮影を行うカメラと同等であり、撮影回数が要素画像群の画素数と同じになる。そこで、さらなる高速化のため、従来技術として、ＣＧオブジェクトを正射影によるカメラで撮影し、これらの画像を要素画像群に変換する手法も知られている（特許文献３、非特許文献３）。このような要素画像変換手法では、カメラで撮影する回数が要素画像を形成する画素数で済む。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４５６７４２２号公報

【特許文献2】国際公開第００／０５９２３５号

【特許文献3】特開２０１１−２３４１４２号公報

【非特許文献】

【0005】

【非特許文献1】Spyros S. Athineos et al.,“Physical modeling of a micro lens array setup for use in computer generated ＩＰ,”Proc of SPIE-IS&T Electronic Imaging,Vol.5664 pp.472-479,2005

【非特許文献2】中島勧 他,“Integral Photographyの原理を用いた３次元ディスプレイの画像高速作成法”,映像情報メディア学会誌 Vol. 54, No. 3, pp.420-425 (2000)

【非特許文献3】M. Katayama et al., “A method for converting three-dimensional models into auto-stereoscopic images based on integral photography,” Proc of SPIE-IS&T Vol.6805 68050Z-1 68050Z-8

【発明の概要】

【発明が解決しようとする課題】

【0006】

前記した従来技術では、高精細な立体画像を生成するため、要素画像群の多画素化が必須である。しかし、前記した従来技術では、要素画像群の多画素化に伴って、要素画像群の生成に時間を要するため、より一層の高速化が必要となる。

【0007】

そこで、本発明は、要素画像群の生成時間を短縮できる要素画像群生成装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題に鑑みて、本発明に係る要素画像群生成装置は、３次元モデルから予め生成した色情報のない第１要素画像群にテクスチャマッピングを施すことで、色情報のある第２要素画像群を生成する要素画像群生成装置であって、被写体画像入力手段と、３次元モデル記憶手段と、第１要素画像群記憶手段と、画素位置情報記憶手段と、特徴量算出手段と、３次元モデル選択手段と、第１要素画像群選択手段と、画素位置情報選択手段と、第２要素画像群生成手段と、を備える構成とした。

【0009】

かかる構成によれば、要素画像群生成装置は、被写体画像入力手段によって、被写体画像を入力する。被写体画像は、被写体を撮影した撮影画像であり、被写体の色情報（テクスチャ）を含んでいる。
要素画像群生成装置は、３次元モデル記憶手段によって、複数の３次元モデルを予め記憶する。３次元モデルは、任意の人物の顔又は物体の３次元形状を表しており、色情報を含んでいない。

【0010】

要素画像群生成装置は、第１要素画像群記憶手段によって、３次元モデルの位置及び方向に応じた第１要素画像群を予め記憶する。第１要素画像群は、色情報のない３次元モデルの要素画像で構成されている。
要素画像群生成装置は、画素位置情報記憶手段によって、３次元モデルと被写体画像と第１要素画像群の要素画像との画素位置を対応付けた画素位置情報を予め記憶する。

【0011】

要素画像群生成装置は、特徴量算出手段によって、被写体画像から、被写体の形状を表した形状特徴量と、被写体の位置及び方向を表した状況特徴量とを算出する。
要素画像群生成装置は、３次元モデル選択手段によって、形状特徴量に基づいて、被写体に最も類似する３次元モデルを３次元モデル記憶手段から選択する。
要素画像群生成装置は、第１要素画像群選択手段によって、選択した３次元モデルについて、状況特徴量の位置及び方向に応じた第１要素画像群を第１要素画像群記憶手段から選択する。

【0012】

要素画像群生成装置は、画素位置情報選択手段によって、選択した３次元モデルについて、状況特徴量の位置及び方向に応じた画素位置情報を画素位置情報記憶手段から選択する。
要素画像群生成装置は、第２要素画像群生成手段によって、選択した画素位置情報の画素位置に基づいて、選択した第１要素画像群に被写体画像をテクスチャマッピングすることで、被写体の第２要素画像群を生成する。

【0013】

このように、要素画像群生成装置は、色情報のない第１要素画像群を予め記憶し、この第１要素画像群に対してテクスチャマッピングを施す。このため、要素画像群生成装置は、演算量が多い光線追跡法や正射影を都度行う必要がないので、演算量を抑え、第１要素画像群の生成時間を短縮することができる。

【発明の効果】

【0014】

本発明によれば、以下のような優れた効果を奏する。
本発明に係る要素画像群生成装置は、予め記憶した第１要素画像群に対してテクスチャマッピングを施すので、演算量が多い光線追跡法や正射影を都度行う必要がない。これにより、要素画像群生成装置は、第１要素画像群の生成時間を短縮し、素早く第２要素画像群を生成することができる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態及び第３実施形態に係る立体画像表示システムの構成を示すブロック図である。

【図2】被写体の一例を説明する説明図である。

【図3】３次元モデルの一例を説明する説明図である。

【図4】第１要素画像群の一例を説明する説明図である。

【図5】顔の水平位置及び垂直位置に応じた第１要素画像群及びテクスチャ座標変換テーブルの生成を説明する説明図であり、（ａ）は中央に顔が位置する場合、（ｂ）は右側に顔が位置する場合、（ｃ）は上側に顔が位置する場合を示す。

【図6】顔の奥行き位置に応じた第１要素画像群及びテクスチャ座標変換テーブルの生成を説明する説明図であり、（ａ）は手前側に顔が位置する場合、（ｂ）は奥側に顔が位置する場合を示す。

【図7】顔の回転方向に応じた第１要素画像群及びテクスチャ座標変換テーブルの生成を説明する説明図である。

【図8】顔の表情に応じた第１要素画像群及びテクスチャ座標変換テーブルの生成を説明する説明図であり、（ａ）は眼を開いている場合、（ｂ）は眼を閉じている場合を示す。

【図9】３次元モデルと、第１要素画像群と、テクスチャ座標変換テーブルとの関係を説明する説明図である。

【図10】状況特徴量として、顔の方向の算出手法を説明する説明図である。

【図11】被写体画像から抽出したテクスチャの一例を説明する説明図である。

【図12】第１要素画像群の一例を説明する説明図である。

【図13】第１実施形態及び第３実施形態に係る要素画像群生成装置の動作を示すフローチャートである。

【図14】第２実施形態に係る立体画像表示システムの構成を示すブロック図である。

【図15】水平位置及び垂直位置に対応したテクスチャ座標変換テーブルの補完を説明する説明図である。

【図16】第２実施形態に係る要素画像群生成装置の動作を示すフローチャートである。

【図17】第４実施形態に係る立体画像表示システムの構成を示すブロック図である。

【図18】多視点画像の生成手法を説明する説明図である。

【図19】第４実施形態に係る要素画像群生成装置の動作を示すフローチャートである。

【図20】２台の被写体画像取得装置で取得した被写体画像の一例を説明する説明図である。

【発明を実施するための形態】

【0016】

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び処理には同一の符号を付し、説明を省略した。

【0017】

（第１実施形態）
［立体画像表示システムの概略］
図１を参照し、本発明の第１実施形態に係る立体画像表示システム１の概略について、説明する。
図１に示すように、立体画像表示システム１は、ＩＰ方式で立体画像（要素画像群）を表示するものであり、被写体画像取得装置１０と、要素画像群生成装置２０と、ＩＰ立体画像表示装置３０と、を備える。

【0018】

被写体画像取得装置１０は、被写体を撮影した被写体画像を取得するものであり、撮影手段１１と、画像記憶手段１３とを備える。
撮影手段１１は、被写体を撮影する一般的なカメラである。本実施形態では、撮影手段１１は、１台のカメラで構成されている。
画像記憶手段１３は、撮影手段１１が撮影した被写体画像を記憶するものであり、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、メモリ等の記憶媒体である。

【0019】

要素画像群生成装置２０は、ＩＰ立体画像表示装置３０で表示する立体画像を生成するものである。本実施形態では、要素画像群生成装置２０は、処理時間を短縮するため、テクスチャのない３次元モデル、及び、３次元モデルから生成した第１要素画像群を予め記憶しておく。そして、要素画像群生成装置２０は、被写体画像取得装置１０の被写体画像から、被写体に最も類似する３次元モデルを選択する。さらに、要素画像群生成装置２０は、被写体画像取得装置１０の被写体画像を用いて、選択した３次元モデルを表した第１要素画像群に被写体のテクスチャを貼り付ける。
なお、要素画像群生成装置２０の構成は、後記する。

【0020】

ＩＰ立体画像表示装置３０は、要素画像群生成装置２０が生成した立体画像を表示するものである。ＩＰ立体画像表示装置３０は、一般的なＩＰ方式の表示装置であり、例えば、図示を省略したレンズアレイと、表示素子とを備える。

【0021】

［要素画像群生成装置の構成］
以下、要素画像群生成装置２０の構成について説明する。
要素画像群生成装置２０は、被写体画像入力手段２１と、データベース２２と、特徴量算出手段２３と、３次元モデル選択手段２４と、第１要素画像群選択手段２５と、テクスチャ座標変換テーブル選択手段（画素位置情報選択手段）２６と、第２要素画像群生成手段２７と、を備える。

【0022】

被写体画像入力手段２１は、被写体画像取得装置１０（画像記憶手段１３）が記憶する被写体画像を入力するものである。そして、被写体画像入力手段２１は、入力した被写体画像を特徴量算出手段２３及び第２要素画像群生成手段２７に出力する。
本実施形態では、被写体は、図２に示すように、人物の顔Ｆであることとする。従って、被写体画像は、被写体として、人物の顔Ｆを撮影した画像である。

【0023】

データベース２２は、要素画像群の生成に必要な各種情報を記憶したデータベースであり、３次元モデルデータベース（３次元モデル記憶手段）２２１と、第１要素画像群データベース（第１要素画像群記憶手段）２２３と、テクスチャ座標変換テーブルデータベース（画素位置情報記憶手段）２２５とを備える。

【0024】

３次元モデルデータベース２２１は、複数の３次元モデルを予め記憶したデータベースである。本実施形態では、３次元モデルデータベース２２１は、図３に示すように、人物の顔の３次元モデルＭを記憶する。３次元モデルＭは、人物の顔の３次元形状を表している。

【0025】

ここで、３次元モデルデータベース２２１は、様々な被写体に類似した３次元モデルＭを選択できるように、多数の３次元モデルＭを記憶することが好ましい。例えば、３次元モデルデータベース２２１は、人種、性別、体格、年齢が異なる人物について、その顔の３次元モデルＭを記憶する。

【0026】

例えば、ポリゴンの３次元モデルは、三角形、四角形等の多角形（ポリゴン）を組み合わせることで、３次元形状を表現したモデルである。そして、ポリゴンの３次元モデルにテクスチャを貼り付けることで（テクスチャマッピング）、その質感を向上させることができる。つまり、本実施形態の３次元モデルＭは、図３に示すように、顔の形状のみを表しており、顔のテクスチャ（色情報）が付加されていない。

【0027】

第１要素画像群データベース２２３は、第１要素画像群を予め記憶したデータベースである。ここで、第１要素画像群データベース２２３は、３次元モデルＭ毎に、その３次元モデルＭの位置、方向及び顔の表情に応じた数の第１要素画像群９０を記憶する。本実施形態では、第１要素画像群９０は、図４に示すように、色情報（テクスチャ）のない３次元モデルＭの要素画像９１で構成されている。

【0028】

テクスチャ座標変換テーブルデータベース２２５は、テクスチャ座標変換テーブル（画素位置情報）を予め記憶するデータベースである。本実施形態では、テクスチャ座標変換テーブルデータベース２２５は、第１要素画像群９０毎にテクスチャ座標変換テーブルを記憶する。テクスチャ座標変換テーブルは、３次元モデルＭと、被写体画像と、第１要素画像群９０の要素画像９１との全画素について、その画素位置を対応付けた情報である。

【0029】

＜３次元モデル、第１要素画像群、テクスチャ座標変換テーブルの生成方法＞
以下、データベース２２に記憶する３次元モデル、第１要素画像群９０及びテクスチャ座標変換テーブルの生成方法について、具体的に説明する。

【0030】

３次元モデルＭは、任意の手法で生成可能であり、例えば、フォトグラメトリで生成できる。フォトグラメトリは、３次元モデルＭの元となる人物の顔を異なる視点から撮影し、各撮影画像（仮のテクスチャ画像）の視差から奥行き情報を求め、求めた奥行き情報に基づいて３次元モデルＭを生成する手法である。

【0031】

第１要素画像群９０は、従来と同様、光線追跡法により生成できる。具体的には、光線追跡法では、３次元モデルＭを配置した仮想３次元空間に、撮像素子とレンズアレイと奥行き制御レンズとを備える仮想カメラを配置する。そして、光線追跡法では、仮想カメラが備える撮像素子の画素毎にレンズアレイ及び奥行き制御レンズを通過し、３次元モデルＭに達する光線の情報を算出する。なお、第１要素画像群９０は、従来技術と同様、斜投影で生成してもよい。

【0032】

ここで、３次元モデルＭの画素位置と、３次元モデルＭの元となる撮影画像の画素位置との対応関係は、３次元モデルＭを生成する際に求められる。また、被写体画像を撮影画像と同一サイズに正規化すれば、３次元モデルＭの画素位置と、被写体画像の画素位置との対応関係も定まる。
また、光線追跡法又は斜投影により、３次元モデルＭの画素位置と、第１要素画像群９０を構成する各要素画像９１の画素位置との対応関係も求められる。
このように、テクスチャ座標変換テーブルは、３次元モデルＭ及び第１要素画像群９０を生成するときに求めることができる。

【0033】

テクスチャ座標変換テーブルは、入力（ｘ１，ｙ１，Ｒ１，Ｇ１，Ｂ１）と、出力（ｘ２，ｙ２，Ｒ２，Ｇ２，Ｂ２）との対応関係を表す（図９の符号９３）。ｘ１，ｙ１は、被写体画像の画素位置（座標）を表す。Ｒ１，Ｇ１，Ｂ１は、座標（ｘ１，ｙ１）のＲＧＢ値を表す。また、ｘ２，ｙ２は、第１要素画像群９０を構成する要素画像９１の画素位置（座標）を表す。Ｒ２，Ｇ２，Ｂ２は、座標（ｘ２，ｙ２）のＲＧＢ値を表す。ここで、１つの被写体画像に対して要素画像９１が複数なので、テクスチャ座標変換テーブルは、１つの入力（ｘ１，ｙ１，Ｒ１，Ｇ１，Ｂ１）に対して、最大で要素画像９１の数までの出力（ｘ２，ｙ２，Ｒ２，Ｇ２，Ｂ２）を有する。

【0034】

図５（ａ）に示すように被写体画像９２内で中央に顔Ｆが位置する場合、図５（ｂ）に示すように右側に顔Ｆが位置する場合、図５（ｃ）に示すように上側に顔Ｆが位置する場合など、顔Ｆの水平位置及び垂直位置に応じた第２要素画像群を生成する必要がある。
また、図６（ａ）に示すように手前側に顔Ｆが位置する場合、図６（ｂ）に示すように奥側に顔Ｆが位置する場合など、顔Ｆの大きさが異なることから、顔Ｆの奥行き位置に応じた第２要素画像群を生成する必要がある。

【0035】

また、図７に示すように、顔Ｆが水平軸（Ｘ軸）、垂直軸（Ｙ軸）、奥行き軸（Ｚ軸）の方向で回転している場合、顔Ｆの見え方が異なることから、顔Ｆの回転方向に応じた第２要素画像群を生成する必要がある。
また、図８（ａ）に示すように眼を開いている場合、図８（ｂ）に示すように眼を閉じている場合など、顔Ｆの表情に応じた第２要素画像群を生成する必要がある。
なお、表情は、例えば、眼を閉じている、眼を開いている、口を閉じている、口を開いているなど、予め設定されている。

【0036】

以上より、データベース２２は、図９に示すように、３次元モデルＭ毎に、顔Ｆの位置（水平位置、垂直位置及び奥行き位置）、方向及び表情に応じて、第１要素画像群９０及びテクスチャ座標変換テーブル９３を予め記憶する。つまり、第１要素画像群９０及びテクスチャ座標変換テーブル９３は、１つの３次元モデルＭに対して、顔Ｆの位置、方向及び表情の種類を組み合わせた数だけ存在する。

【0037】

なお、データベース２２は、各３次元モデルＭに、その３次元モデルＭを一意に識別できる識別情報（ＩＤ）を付与することとする。つまり、識別情報を参照すれば、データベース２２が記憶する３次元モデルＭを特定できる。

【0038】

図１に戻り、要素画像群生成装置２０の構成について、説明を続ける。
特徴量算出手段２３は、被写体画像入力手段２１より入力した被写体画像９２から、被写体の形状特徴量及び状況特徴量を算出するものである。

【0039】

本実施形態では、特徴量算出手段２３は、形状特徴量として、顔Ｆを表した顔特徴量を算出する。具体的には、特徴量算出手段２３は、被写体画像９２から、眼、鼻、口等の顔特徴点を抽出する。そして、特徴量算出手段２３は、抽出した顔特徴点から、両眼間距離（両眼の瞳孔間距離）、眼と鼻と口との距離、口の大きさ（口の左右両端距離）等の顔特徴量を算出する。

【0040】

なお、特徴量算出手段２３は、特許第４９５４９４５号公報に記載の手法を用いて、顔特徴量を算出してもよい。この従来技術は、被写体画像９２に含まれる特徴点データを示す行列の因数行列を推定することにより、被写体画像取得装置１０に対する顔Ｆの向きと、顔Ｆの特徴点の三次元位置とを交互に推定するものである。

【0041】

また、特徴量算出手段２３は、状況特徴量として、顔Ｆの位置及び方向と、表情特徴量とを算出する。
顔Ｆの位置は、被写体画像９２に含まれる顔Ｆの水平位置、垂直位置及び奥行き位置を表す。例えば、顔Ｆの水平位置及び垂直位置は、被写体画像９２に含まれる顔領域の重心位置である。また、例えば、顔Ｆの奥行き位置は、ＴＯＦ（Time Of Flight）や視差で求められる。

【0042】

顔Ｆの方向とは、予め設定した方向（例えば、正面）を基準としたとき、被写体画像９２に含まれる顔Ｆの回転方向（回転角度）である。顔Ｆの方向は、被写体から見た回転方向であり、被写体画像９２内では左右反転する。
ここで、顔Ｆの左右の回転方向は、図１０に示すように、顔Ｆの右側Ｌ_Ｒの面積及び左側Ｌ_Ｌの面積を求め、この左右の面積比から求められる。例えば、左右の面積比が同じであれば正面方向、右側Ｌ_Ｒの面積が左側Ｌ_Ｌの面積より広ければ左方向となる。また、顔Ｆの上下の回転方向は、顔Ｆの上側の面積及び下側の面積を求め、この上下の面積比から求められる（不図示）。さらに、水平面に対する顔Ｆの回転方向（つまり、顔Ｆの傾斜）は、頭頂及び顎先を結ぶ線分と垂直軸とのなす角から求められる（不図示）。

【0043】

表情特徴量は、２つの顔特徴点の距離や３つ以上の顔特徴点で囲まれる領域面積に基づいて、顔Ｆの表情を表した特徴量である。例えば、表情特徴量は、眼を閉じている、眼を開いている、口を閉じている、口を開いている等を表している。

【0044】

なお、表情特徴量として、下記の参考文献に記載の特徴量を利用できる。この参考文献に記載の手法は、顔特徴点の相互関係に基づいて、直線特徴、三角形特徴、輝度平均による三角形特徴、輝度ヒストグラムによる三角形特徴を求めるものである。
参考文献：野宮他、「顔特徴点を用いた特徴選択と特徴抽出による表情認識に基づく映像中の表情表出シーン検出」、DEIM Forum 2011

【0045】

特徴量算出手段２３は、算出した形状特徴量及び状況特徴量を３次元モデル選択手段２４に出力する。

【0046】

３次元モデル選択手段２４は、特徴量算出手段２３が算出した形状特徴量に基づいて、被写体画像９２の顔Ｆに最も類似する３次元モデルＭを３次元モデルデータベース２２１から選択するものである。例えば、３次元モデル選択手段２４は、３次元モデルデータベース２２１の各３次元モデルＭのうち、顔特徴量の両眼間距離、口の大きさ、及びに、眼と鼻と口との距離が最も近くなる３次元モデルＭを選択する。そして、３次元モデル選択手段２４は、選択した３次元モデルＭの識別情報と、特徴量算出手段２３から入力した状況特徴量とを第１要素画像群選択手段２５に出力する。

【0047】

第１要素画像群選択手段２５は、３次元モデル選択手段２４が選択した３次元モデルＭについて、特徴量算出手段２３が算出した状況特徴量に応じた第１要素画像群９０を第１要素画像群データベース２２３から選択するものである。つまり、第１要素画像群選択手段２５は、顔Ｆの位置、方向及び表情に一致する第１要素画像群９０を第１要素画像群データベース２２３から選択する。そして、第１要素画像群選択手段２５は、選択した第１要素画像群９０と、３次元モデル選択手段２４から入力した３次元モデルＭの識別情報及び状況特徴量とをテクスチャ座標変換テーブル選択手段２６に出力する。

【0048】

テクスチャ座標変換テーブル選択手段２６は、３次元モデル選択手段２４が選択した３次元モデルＭについて、特徴量算出手段２３が算出した状況特徴量に応じたテクスチャ座標変換テーブル９３をテクスチャ座標変換テーブルデータベース２２５から選択するものである。つまり、テクスチャ座標変換テーブル選択手段２６は、第１要素画像群選択手段２５が選択した第１要素画像群９０に対応するテクスチャ座標変換テーブル９３をテクスチャ座標変換テーブルデータベース２２５から選択する。そして、テクスチャ座標変換テーブル選択手段２６は、選択したテクスチャ座標変換テーブル９３、及び、第１要素画像群選択手段２５から入力した第１要素画像群９０を第２要素画像群生成手段２７に出力する。

【0049】

第２要素画像群生成手段２７は、テクスチャ座標変換テーブル選択手段２６が選択したテクスチャ座標変換テーブル９３の画素位置に基づいて、第１要素画像群選択手段２５が選択した第１要素画像群９０に被写体画像９２をテクスチャマッピングするものである。

【0050】

具体的には、第２要素画像群生成手段２７は、被写体画像入力手段２１より入力した被写体画像９２から、図１１に示すように、顔Ｆのテクスチャを抽出する。そして、第２要素画像群生成手段２７は、テクスチャ座標変換テーブル９３が表す第１要素画像群９０と被写体画像９２との画素位置の対応関係に従って、被写体画像９２から抽出したテクスチャを、第１要素画像群９０に貼り付ける。このようにして、第２要素画像群生成手段２７は、第２要素画像群を生成する。図１２に示すように、第２要素画像群９４は、顔Ｆのテクスチャが貼り付けられた要素画像９５で構成されている。

【0051】

［要素画像群生成装置の動作］
図１３を参照し、要素画像群生成装置２０の動作について説明する（適宜図１参照）。
データベース２２は、３次元モデルＭ、第１要素画像群９０及びテクスチャ座標変換テーブル９３を予め記憶していることとする。

【0052】

図１３に示すように、被写体画像入力手段２１は、被写体画像取得装置１０から被写体画像９２を入力する（ステップＳ１）。
特徴量算出手段２３は、ステップＳ１で入力した被写体画像９２から、顔特徴量を算出する（ステップＳ２）。
特徴量算出手段２３は、ステップＳ１で入力した被写体画像９２から、状況特徴量として、顔Ｆの位置及び方向と、表情特徴量とを算出する（ステップＳ３）。

【0053】

３次元モデル選択手段２４は、ステップＳ３で算出した顔特徴量に基づいて、被写体画像９２の顔Ｆに最も類似する３次元モデルＭを３次元モデルデータベース２２１から選択する（ステップＳ４）。
第１要素画像群選択手段２５は、ステップＳ４で選択した３次元モデルＭについて、ステップＳ３で算出した状況特徴量に応じた第１要素画像群９０を第１要素画像群データベース２２３から選択する（ステップＳ５）。

【0054】

テクスチャ座標変換テーブル選択手段２６は、ステップＳ４で選択した３次元モデルＭについて、ステップＳ３で算出した状況特徴量に応じたテクスチャ座標変換テーブル９３をテクスチャ座標変換テーブルデータベース２２５から選択する（ステップＳ６）。
第２要素画像群生成手段２７は、ステップＳ６で選択したテクスチャ座標変換テーブル９３の画素位置に基づいて、ステップＳ５で選択した第１要素画像群９０に被写体画像９２をテクスチャマッピングする（ステップＳ７）。

【0055】

［作用・効果］
以上のように、本発明の第１実施形態に係る要素画像群生成装置２０は、予め記憶した第１要素画像群９０に対してテクスチャマッピングを施すので、演算量が多い光線追跡法や正射影を都度行う必要がない。すなわち、要素画像群生成装置２０は、従来技術のように、光線追跡法や正射影を都度行う場合に比べて、テクスチャマッピングを施すだけなので演算量を抑えられる。これにより、要素画像群生成装置２０は、第１要素画像群９０の生成時間を短縮し、リアルタイムで第２要素画像群９４を生成することができる。

【0056】

（第２実施形態）
図１４を参照し、本発明の第２実施形態に係る立体画像表示システム１Ｂについて、第１実施形態と異なる点を説明する。

【0057】

第１実施形態では、テクスチャ座標変換テーブルデータベース２２５は、テクスチャ座標変換テーブル９３を、水平位置、垂直位置、奥行き位置、回転方向及び表情に応じた数だけ記憶している。従って、テクスチャ座標変換テーブル９３は、水平位置、垂直位置、奥行き位置、回転方向及び表情を組み合わせた膨大な数となる。
そこで、第２実施形態では、要素画像群生成装置２０Ｂは、記憶するテクスチャ座標変換テーブル９３の数を低減し、不足するテクスチャ座標変換テーブル９３を補完する点が、第１実施形態と異なる。

【0058】

［要素画像群生成装置の構成］
図１４に示すように、要素画像群生成装置２０Ｂは、被写体画像入力手段２１と、データベース２２Ｂと、特徴量算出手段２３と、３次元モデル選択手段２４と、第１要素画像群選択手段２５と、テクスチャ座標変換テーブル選択手段２６Ｂと、第２要素画像群生成手段２７Ｂと、テクスチャ座標変換テーブル補完手段（画素位置情報補間手段）２８と、を備える。

【0059】

データベース２２Ｂは、３次元モデルデータベース２２１と、第１要素画像群データベース２２３と、テクスチャ座標変換テーブルデータベース（画素位置情報記憶手段）２２５Ｂと、を備える。

【0060】

テクスチャ座標変換テーブルデータベース２２５Ｂは、テクスチャ座標変換テーブル９３を予め記憶するデータベースである。
本実施形態では、テクスチャ座標変換テーブルデータベース２２５Ｂは、顔Ｆの位置変化に対応すべく、予め設定した基準位置（例えば、中心位置）に顔Ｆが位置するときのテクスチャ座標変換テーブル９３を予め記憶する。

【0061】

また、本実施形態では、テクスチャ座標変換テーブルデータベース２２５Ｂは、顔Ｆの方向変化に対応すべく、垂直軸（Ｙ軸）、奥行き軸（Ｚ軸）のそれぞれについて、予め定めた基準方向のみのテクスチャ座標変換テーブル９３を予め記憶する。例えば、奥行き軸（Ｚ軸）であれば、予め定めた基準方向を左回り（反時計回り）として、左回りのテクスチャ座標変換テーブル９３を予め記憶する（Ｙ軸も同様）。この場合、テクスチャ座標変換テーブルデータベース２２５Ｂは、奥行き軸（Ｚ軸）について、右回り（時計回り）のテクスチャ座標変換テーブル９３を記憶しない。

【0062】

なお、テクスチャ座標変換テーブルデータベース２２５Ｂは、顔Ｆが上下対称ではないため、水平軸（Ｘ軸）に関しては、全ての角度でのテクスチャ座標変換テーブル９３を予め記憶する。
また、本実施形態では、テクスチャ座標変換テーブルデータベース２２５Ｂは、第１実施形態と同様、表情毎にテクスチャ座標変換テーブル９３を予め記憶する。

【0063】

テクスチャ座標変換テーブル選択手段２６Ｂは、第１実施形態と同様、テクスチャ座標変換テーブル９３を選択するものである。また、テクスチャ座標変換テーブル選択手段２６Ｂは、選択すべきテクスチャ座標変換テーブル９３をテクスチャ座標変換テーブルデータベース２２５Ｂが記憶していない場合、テクスチャ座標変換テーブル補完手段２８に補完要求を出力する。このとき、テクスチャ座標変換テーブル選択手段２６Ｂは、補完対象のテクスチャ座標変換テーブル９３を特定するため、第１要素画像群選択手段２５から入力した状況特徴量を補完要求に付加する。

【0064】

テクスチャ座標変換テーブル選択手段２６Ｂは、テクスチャ座標変換テーブル補完手段２８が補完したテクスチャ座標変換テーブル９３、及び、第１要素画像群選択手段２５から入力した第１要素画像群９０を第２要素画像群生成手段２７Ｂに出力する。

【0065】

第２要素画像群生成手段２７Ｂは、テクスチャ座標変換テーブル補完手段２８がＹ軸に対する回転方向でテクスチャ座標変換テーブル９３を補完する場合、テクスチャマッピング後に第２要素画像群９４を左右反転させる。これにより、第２要素画像群生成手段２７Ｂは、予め定めた基準方向と反対方向（例えば、右回り）に向いた第２要素画像群９４を生成することができる。

【0066】

なお、第２要素画像群生成手段２７Ｂは、テクスチャ座標変換テーブル９３の出力に含まれる水平座標ｘ２を左右反転させ、このテクスチャ座標変換テーブル９３に基づいてテクスチャマッピングを行ってもよい。これによっても、第２要素画像群生成手段２７Ｂは、基準方向と反対方向に向いた第２要素画像群９４を生成できる。
他の点、第２要素画像群生成手段２７Ｂは、第１実施形態と同様のため、説明を省略する。

【0067】

テクスチャ座標変換テーブル補完手段２８は、テクスチャ座標変換テーブル選択手段２６Ｂから入力した補完要求の状況特徴量（位置及び方向）に従って、テクスチャ座標変換テーブル９３を補完するものである。

【0068】

＜テクスチャ座標変換テーブルの補完：水平位置及び垂直位置の対応＞
以下、テクスチャ座標変換テーブル９３を補完する手法について、具体的に説明する。
まず、水平位置及び垂直位置に対応して補完する手法を説明する。

【0069】

テクスチャ座標変換テーブル補完手段２８は、テクスチャ座標変換テーブルデータベース２２５Ｂから、顔Ｆが基準位置（Ｃ_Ｘ，Ｃ_Ｙ）にあるテクスチャ座標変換テーブル９３を読み出す。次に、テクスチャ座標変換テーブル補完手段２８は、状況特徴量に含まれる顔Ｆの水平位置Ｇ_Ｘ及び垂直位置Ｇ_Ｙを抽出する。次に、テクスチャ座標変換テーブル補完手段２８は、図１５に示すように、顔Ｆの水平位置Ｇ_Ｘと、水平方向の基準位置Ｃ_Ｘとの位置ずれ量ΔＸを算出する。次に、テクスチャ座標変換テーブル補完手段２８は、顔Ｆの垂直位置Ｇ_Ｙと、垂直方向の基準位置Ｃ_Ｙとの位置ずれ量ΔＹを算出する。そして、テクスチャ座標変換テーブル補完手段２８は、水平方向の位置ずれ量ΔＸ及び垂直方向の位置ずれ量ΔＹに応じて、顔Ｆが正面に位置するときのテクスチャ座標変換テーブル９３が示す画素位置を移動させる。なお、ΔＸ，ΔＹは、整数要素画像間隔とし、小数点以下を四捨五入する。

【0070】

＜テクスチャ座標変換テーブルの補完：奥行き位置の対応＞
テクスチャ座標変換テーブル補完手段２８は、状況特徴量に含まれる顔Ｆの奥行き位置を抽出する。次に、テクスチャ座標変換テーブル補完手段２８は、奥行き方向（Ｚ軸方向）の手前側及び奥側からそれぞれ、抽出した顔Ｆの奥行き位置に最も近いテクスチャ座標変換テーブル９３を１つ選択する。そして、テクスチャ座標変換テーブル補完手段２８は、選択した２つのテクスチャ座標変換テーブル９３から、顔Ｆの奥行き位置に対応するテクスチャ座標変換テーブル９３を補完（例えば、内挿）する。

【0071】

ここで、テクスチャ座標変換テーブル補完手段２８は、予め設定したＩＰ立体画像表示装置３０の表示可能な奥行き範囲内で、２つのテクスチャ座標変換テーブル９３を選択することが好ましい。このように、要素画像群生成装置２０Ｂは、ＩＰ立体画像表示装置３０の解像度特性を考慮することで、奥行き方向のテクスチャ座標変換テーブル９３の数を抑制すると共に、立体画像の解像度を一定以上に保つことができる。

【0072】

＜テクスチャ座標変換テーブルの補完：回転方向の対応＞
テクスチャ座標変換テーブル補完手段２８は、状況特徴量に含まれる顔Ｆの回転方向を抽出する。次に、テクスチャ座標変換テーブル補完手段２８は、抽出した顔Ｆの回転方向に一致し、回転方向が反対方向のテクスチャ座標変換テーブル９３を読み出す。

【0073】

次に、テクスチャ座標変換テーブル補完手段２８は、読み出したテクスチャ座標変換テーブル９３を逆方向に変換する。例えば、顔Ｆの回転方向が右回りであり、テクスチャ座標変換テーブルデータベース２２５Ｂが左回りのテクスチャ座標変換テーブル９３のみを記憶し、右回りのテクスチャ座標変換テーブル９３を記憶していないこととする。この場合、テクスチャ座標変換テーブル補完手段２８は、顔Ｆの回転方向に負の係数（つまり、‘−１’）を乗算した値を算出する。これによって、要素画像群生成装置２０Ｂは、該当する左回りのテクスチャ座標変換テーブル９３を選択し、選択したテクスチャ座標変換テーブル９３を右回りに変換できる。このように、要素画像群生成装置２０Ｂは、顔Ｆの回転方向に対応したテクスチャ座標変換テーブル９３を補完する。

【0074】

なお、水平位置及び垂直位置、奥行き位置、回転方向の補完を個別に説明したが、テクスチャ座標変換テーブル補完手段２８は、これらを２以上組み合わせてテクスチャ座標変換テーブル９３を補完してもよい。

【0075】

［要素画像群生成装置の動作］
図１６を参照し、要素画像群生成装置２０Ｂの動作について説明する（適宜図１４参照）。
データベース２２Ｂは、３次元モデルＭ、第１要素画像群９０及びテクスチャ座標変換テーブル９３を予め記憶していることとする。
ステップＳ１〜Ｓ５の処理は、第１実施形態と同様のため、説明を省略する。

【0076】

図１６に示すように、テクスチャ座標変換テーブル選択手段２６Ｂは、状況特徴量に応じたテクスチャ座標変換テーブル９３をテクスチャ座標変換テーブルデータベース２２５Ｂが記憶しているか否かを判定する（ステップＳ１０）。

【0077】

テクスチャ座標変換テーブル９３を記憶している場合（ステップＳ１０でＹｅｓ）、要素画像群生成装置２０Ｂは、ステップＳ６の処理を行う。
ステップＳ６の処理は、第１実施形態と同様のため、説明を省略する。

【0078】

テクスチャ座標変換テーブル９３を記憶していない場合（ステップＳ１０でＮｏ）、テクスチャ座標変換テーブル選択手段２６Ｂは、状況特徴量を付加した補完要求をテクスチャ座標変換テーブル補完手段２８に出力する（ステップＳ１１）。

【0079】

テクスチャ座標変換テーブル補完手段２８は、ステップＳ１１の補完要求に従って、テクスチャ座標変換テーブル９３を補完する。ここで、テクスチャ座標変換テーブル補完手段２８は、水平位置、垂直位置、奥行き位置、回転方向に対応させて、テクスチャ座標変換テーブル９３を補完する（ステップＳ１２）。

【0080】

第２要素画像群生成手段２７は、ステップＳ６で選択したテクスチャ座標変換テーブル９３、又は、ステップＳ１２で補完したテクスチャ座標変換テーブル９３に基づいて、ステップＳ５で選択した第１要素画像群９０に被写体画像９２をテクスチャマッピングする（ステップＳ１３）。

【0081】

［作用・効果］
以上のように、本発明の第２実施形態に係る要素画像群生成装置２０Ｂは、顔Ｆの位置及び回転方向に対応したテクスチャ座標変換テーブル９３を補完できるので、顔Ｆの位置及び回転方向毎にテクスチャ座標変換テーブル９３を記憶する必要がなく、データベース２２Ｂの容量を削減できる。

【0082】

（第３実施形態）
図１を参照し、本発明の第３実施形態に係る立体画像表示システム１Ｃについて、第１実施形態と異なる点を説明する。

【0083】

第１実施形態では、テクスチャ座標変換テーブル９３は、３次元モデルＭ、被写体画像９２及び第１要素画像群９０の要素画像９１について、全画素の画素位置を対応付けることとして説明した。
第３実施形態では、テクスチャ座標変換テーブル９３は、３次元モデルＭの頂点画素についてのみ画素位置を対応付ける点が、第１実施形態と異なる。

【0084】

［要素画像群生成装置の構成］
図１に示すように、要素画像群生成装置２０Ｃは、被写体画像入力手段２１と、データベース２２Ｃと、特徴量算出手段２３と、３次元モデル選択手段２４と、第１要素画像群選択手段２５と、テクスチャ座標変換テーブル選択手段２６と、第２要素画像群生成手段２７Ｃと、を備える。

【0085】

データベース２２Ｃは、３次元モデルデータベース２２１と、第１要素画像群データベース２２３と、テクスチャ座標変換テーブルデータベース（画素位置情報記憶手段）２２５Ｃと、を備える。

【0086】

テクスチャ座標変換テーブルデータベース２２５Ｃは、テクスチャ座標変換テーブル９３を予め記憶するデータベースである。
本実施形態では、テクスチャ座標変換テーブルデータベース２２５Ｃは、３次元モデルＭの頂点画素におけるテクスチャ座標変換テーブル９３を予め記憶する。ここで、テクスチャ座標変換テーブル９３は、３次元モデルＭと、被写体画像９２と、第１要素画像群９０の要素画像９１との頂点画素の画素位置（頂点画素位置）を対応付けた情報である。つまり、テクスチャ座標変換テーブル９３は、３次元モデルＭの頂点画素以外の画素について、画素位置の対応関係を有していない。
なお、頂点画素とは、３次元モデルＭを構成する多角形（ポリゴン）の頂点に対応した画素のことである。

【0087】

第２要素画像群生成手段２７Ｃは、３次元モデルＭの頂点画素で被写体画像９２を第１要素画像群９０にテクスチャマッピングし、その頂点画素以外の画素で第１要素画像群９０を補完するものである。具体的には、第２要素画像群生成手段２７Ｃは、テクスチャ座標変換テーブル９３を参照し、３次元モデルＭの頂点画素について、被写体画像９２から抽出したテクスチャを、第１要素画像群９０に貼り付ける。また、第２要素画像群生成手段２７Ｃは、３次元モデルＭの頂点画素以外の画素について、第１要素画像群９０を補完（例えば、内挿）する。

【0088】

［要素画像群生成装置の動作］
図１３を参照し、要素画像群生成装置２０Ｃの動作について説明する（適宜図１参照）。
データベース２２Ｃは、３次元モデルＭ、第１要素画像群９０及びテクスチャ座標変換テーブル９３を予め記憶していることとする。
ステップＳ１〜Ｓ６の処理は、第１実施形態と同様のため、説明を省略する。

【0089】

第２要素画像群生成手段２７Ｃは、ステップＳ６で選択したテクスチャ座標変換テーブル９３に基づいて、ステップＳ５で選択した第１要素画像群９０に被写体画像９２をテクスチャマッピングする。ここで、第２要素画像群生成手段２７Ｃは、３次元モデルＭの頂点画素で被写体画像９２をテクスチャマッピングし、その頂点画素以外の画素で第１要素画像群９０を補完する（ステップＳ７Ｃ）。

【0090】

［作用・効果］
以上のように、本発明の第３実施形態に係る要素画像群生成装置２０Ｃは、３次元モデルＭの頂点画素以外の画素についてテクスチャ座標変換テーブル９３を記憶する必要がないので、データベース２２Ｃの容量を削減できる。

【0091】

なお、第３実施形態に係る要素画像群生成装置２０Ｃは、第１実施形態だけでなく、第２実施形態に適用することもできる。この場合、要素画像群生成装置２０Ｃは、３次元モデルＭの頂点画素以外の画素について、テクスチャ座標変換テーブル９３を補完（例えば、内挿）し、この補完したテクスチャ座標変換テーブル９３に従って第１要素画像群９０を補完する。

【0092】

（第４実施形態）
図１７を参照し、本発明の第４実施形態に係る立体画像表示システム１Ｄについて、第３実施形態と異なる点を説明する。

【0093】

第３実施形態では、３次元モデルＭの頂点画素についてのテクスチャ座標変換テーブル９３を予め記憶することとして説明した。要素画像９１の画素数が少ない場合（例えば、縦１０画素、横１０画素）、頂点画素が要素画像９１に十分に含まれない場合がある。一方、多視点画像は、異なる視点から被写体を撮影した画像なので、ある視点で隠れていた頂点が別の視点では見えている場合がある。つまり、多視点画像は、要素画像９１よりも多くの頂点画素を含む場合がある。
第４実施形態では、要素画像９１から多視点画像を予め生成し、この多視点画像に含まれる頂点画素に対応する画素の情報を利用する点が、第３実施形態と異なる。

【0094】

［要素画像群生成装置の構成］
図１７に示すように、要素画像群生成装置２０Ｄは、被写体画像入力手段２１と、データベース２２Ｄと、特徴量算出手段２３と、３次元モデル選択手段２４と、第１要素画像群選択手段２５と、テクスチャ座標変換テーブル選択手段２６と、第２要素画像群生成手段２７Ｄと、多視点画像選択手段２９と、を備える。

【0095】

データベース２２Ｄは、３次元モデルデータベース２２１と、第１要素画像群データベース２２３と、テクスチャ座標変換テーブルデータベース（画素位置情報記憶手段）２２５Ｄと、多視点画像データベース（多視点画像記憶手段）２２７と、を備える。

【0096】

テクスチャ座標変換テーブルデータベース２２５Ｄは、テクスチャ座標変換テーブル９３を予め記憶するデータベースである。
本実施形態では、テクスチャ座標変換テーブル９３は、３次元モデルＭと、多視点画像と、被写体画像９２と、第１要素画像群９０の要素画像９１との頂点画素位置を対応付けた情報である。

【0097】

多視点画像データベース２２７は、後記する多視点画像を予め記憶するデータベースである。本実施形態では、多視点画像データベース２２７は、第１要素画像群９０毎に、多視点画像を予め記憶する。

【0098】

＜多視点画像＞
図１８を参照し、多視点画像の生成方法及び頂点画素について説明する。
図１８（ａ）に示すように、第１要素画像群９０は、テクスチャのない３次元モデルＭを異なる視点で撮影した要素画像９１で構成されている。例えば、図１８（ａ）の要素画像９１は、図４の第１要素画像群９０で左上部分の３つの要素画像９１に対応する。

【0099】

多視点画像は、各要素画像９１で同じ位置から抽出した画素で構成されている。図１８（ａ）に示すように、１つ目の多視点画像９５_１は、各要素画像９１の左上の画素から抽出した画素で構成されている。また、図１８（ｂ）に示すように、２つ目の多視点画像９５_２は、各要素画像９１の左上から２番目の画素から抽出した画素で構成されている。

【0100】

例えば、第１要素画像群９０が横１９２０画素、縦１０８０画素であり、要素画像９１が縦横１０画素であることとする。この場合、１枚の第１要素画像群９０から、１００視点分（１００枚）の多視点画像９５を生成する。また、各多視点画像９５は、横１９２画素、縦１０８画素の大きさになる。

【0101】

このとき、被写体画像取得装置１０は、実空間において、視点位置に対応した位置で被写体画像９２を取得することが好ましい。これにより、多視点画像９５と被写体画像９２との視点が一致するので、高品質なテクスチャマッピングが可能となる。

【0102】

図１７に戻り、要素画像群生成装置２０Ｄの構成について説明を続ける。
多視点画像選択手段２９は、第１要素画像群選択手段２５が選択した第１要素画像群９０に対応する多視点画像９５を、多視点画像データベース２２７から選択するものである。そして、多視点画像選択手段２９は、選択した多視点画像９５、及び、第１要素画像群選択手段２５から入力した第１要素画像群９０をテクスチャ座標変換テーブル選択手段２６に出力する。

【0103】

第２要素画像群生成手段２７Ｄは、３次元モデルＭの頂点画素で被写体画像９２を第１要素画像群９０にテクスチャマッピングし、その頂点画素以外の画素で第１要素画像群９０を補完するものである。

【0104】

まず、第２要素画像群生成手段２７Ｄは、テクスチャ座標変換テーブル９３において、多視点画像９５上でテクスチャマッピングの対象となる頂点画素位置を求め、この多視点画像９５の頂点画素位置に対応する３次元モデルＭ及び第１要素画像群９０の頂点画素位置を求める。

【0105】

次に、第２要素画像群生成手段２７Ｄは、多視点画像９５を介して、テクスチャマッピングを行う。
具体的には、第２要素画像群生成手段２７Ｄは、求めた頂点画素位置の対応関係に従って、多視点画像９５に被写体画像９２をテクスチャマッピングする。そして、第２要素画像群生成手段２７Ｄは、図１８と逆の手順で、被写体のテクスチャが貼り付けられた多視点画像９５から第１要素画像群９０を生成する。つまり、第２要素画像群生成手段２７Ｄは、各多視点画像９５から同一位置（例えば、左上）の画素を抽出して、抽出した画素位置に対応する要素画像９１（例えば、第１要素画像群９０で左上の要素画像９１）を生成する。
その後、第２要素画像群生成手段２７Ｄは、頂点画素以外の画素で第１要素画像群９０を補完する。
これにより、第２要素画像群生成手段２７Ｄは、被写体画像９２を読み出すためのメモリアクセス回数を低減し、より素早く第２要素画像群を生成できる。

【0106】

なお、第２要素画像群生成手段２７Ｄは、テクスチャ座標変換テーブル９３から第１要素画像群９０の画素位置を求められるので、直接、第１要素画像群９０にテクスチャマッピングしてもよい。

【0107】

［要素画像群生成装置の動作］
図１９を参照し、要素画像群生成装置２０Ｄの動作について説明する（適宜図１参照）。
データベース２２Ｄは、３次元モデルＭ、第１要素画像群９０、多視点画像９５及びテクスチャ座標変換テーブル９３を予め記憶していることとする。
ステップＳ１〜Ｓ５の処理は、第３実施形態と同様のため、説明を省略する。

【0108】

多視点画像選択手段２９は、ステップＳ５で選択した第１要素画像群９０に対応する多視点画像９５を、多視点画像データベース２２７から選択する（ステップＳ１４）。
ステップＳ６，Ｓ１０〜Ｓ１２の処理は、第３実施形態と同様のため、説明を省略する。

【0109】

第２要素画像群生成手段２７Ｄは、３次元モデルＭの頂点画素で被写体画像９２を第１要素画像群９０にテクスチャマッピングし、その頂点画素以外の画素で第１要素画像群９０を補完する。ここで、第２要素画像群生成手段２７Ｄは、テクスチャ座標変換テーブル９３を参照し、多視点画像９５の頂点画素位置に対応する３次元モデルＭ及び第１要素画像群９０の頂点画素位置を求め、求めた頂点画素位置に従って、テクスチャマッピングを行う（ステップＳ１５）。

【0110】

［作用・効果］
以上のように、本発明の第４実施形態に係る要素画像群生成装置２０Ｄは、頂点画素に対応する画素数が十分でない場合でも、多視点画像９５に含まれる頂点画素に対応する画素の情報を利用できるので、より高品質なテクスチャマッピングを行うことができる。
なお、第４実施形態に係る要素画像群生成装置２０Ｄは、第１実施形態だけでなく、第２実施形態，第３実施形態に適用することもできる。

【0111】

以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0112】

（変形例１）
前記した各実施形態では、被写体画像の１画素（ｘ１，ｙ１）を要素画像の１画素（ｘ２，ｙ２）に対応させているが、本発明は、これに限定されない。
つまり、第２要素画像群生成手段は、被写体画像の複数画素を、要素画像の１画素に対応させてもよい。例えば、第２要素画像群生成手段は、下記の変換式（１）により、被写体画像の画素Ｐ１，Ｐ２，Ｐ３，Ｐ４から、要素画像の画素ＥＩ１を補完（例えば、線形補完）する。

【0113】

ＥＩ１＝αＰ１＋βＰ２＋γＰ３＋ζＰ４ …式（１）
なお、変換式（１）では、α，β，γ，ζは、α＋β＋γ＋ζ＝１を満たす整数である。

【0114】

（変形例２）
前記した各実施形態では、表情毎にテクスチャ座標変換テーブルを記憶することとして説明したが、本発明は、これに限定されない。

【0115】

ここで、眼や眉の形に応じて顔の表情が変化する。また、顔の表情が変化しても眼や眉の奥行き位置が一定である。このため、異なる表情の被写体画像に切り替えることで、顔の表情変化を表現できる。

【0116】

具体的には、表情に関係なくテクスチャ座標変換テーブルを共通とし、顔の位置、方向に応じてテクスチャ座標変換テーブルを記憶してもよい。これにより、要素画像群生成装置は、顔の表情毎にテクスチャ座標変換テーブルを記憶する必要がなく、データベースの容量をより削減できる。

【0117】

この場合、特徴量算出手段は、表情が変化しても画素位置が変化しない特徴点を抽出することが好ましい。例えば、特徴量算出手段は、目尻、目頭、鼻、耳、顔の輪郭を、特徴点として抽出する。

【0118】

（変形例３）
前記した各実施形態では、被写体が人物の顔であることとして説明したが、被写体は、特に限定されない。

【0119】

例えば、被写体は、人物の上半身である。この場合、データベースは、顔を含めた上半身の３次元モデルと、これら３次元モデルに対応した第１要素画像群及びテクスチャ座標変換テーブルとを予め記憶する。

【0120】

また、被写体は、任意の物体であってもよい。この場合、データベースは、様々な物体の３次元モデルと、これら３次元モデルに対応した第１要素画像群及びテクスチャ座標変換テーブルとを予め記憶する。

【0121】

また、被写体は、複数であってもよい。この場合、要素画像群生成装置は、被写体画像から各物体を抽出し、物体毎に特徴量を算出する。そして、要素画像群生成装置は、各物体の特徴量に基づいて、各物体に対応した３次元モデルと、第１要素画像群と、テクスチャ座標変換テーブルとを選択する。
例えば、被写体画像にりんご、みかん、バナナのように複数の物体が含まれる場合を考える。この場合、要素画像群生成装置は、被写体画像から、りんご、みかん、バナナを抽出し、りんご、みかん及びバナナのそれぞれに対応した３次元モデルと、第１要素画像群と、テクスチャ座標変換テーブルとを選択する。

【0122】

（変形例４）
前記した各実施形態では、１台の被写体画像取得装置から被写体画像を入力することとして説明したが、本発明は、これに限定されない。

【0123】

つまり、要素画像群生成装置は、複数の被写体画像取得装置から被写体画像を入力してもよい。図２０に示すように、水平方向に並んだ２台の被写体画像取得装置１０_Ｒ，１０_Ｌから被写体画像９２_Ｒ，９２_Ｌを入力する場合を考える。この場合、右側の被写体画像取得装置１０_Ｒは、被写体から見て、顔Ｆの左方向から撮影する。従って、被写体画像取得装置１０_Ｒが取得した被写体画像（右被写体画像９２_Ｒ）は、顔Ｆの左側が右側より大きく映っている。一方、左側の被写体画像取得装置１０_Ｌは、被写体から見て、顔Ｆの右方向から撮影する。従って、被写体画像取得装置１０_Ｌが取得した被写体画像（左被写体画像９２_Ｌ）は、顔Ｆの右側が左側より大きく映っている。このように、右被写体画像は顔左側の情報を多く含んでおり、左撮影画像は顔右側の情報を多く含んでいる。

【0124】

そこで、要素画像群生成装置は、要素画像群における光線再生方向を考慮し、異なる方向で撮影した被写体画像によりテクスチャマッピングを行う。具体的には、要素画像群生成装置は、左方向に再生する要素画像の画素を、右被写体画像を用いてテクスチャマッピングする。また、要素画像群生成装置は、右方向に再生する要素画像の画素を、左被写体画像を用いてテクスチャマッピングする。これにより、要素画像群生成装置は、光の反射特性をより正確に再現することができる
なお、左右方向と同様、上下方向も複数の被写体画像を用いてテクスチャマッピングできる。

【0125】

（変形例５）
前記した各実施形態では、被写体画像が１枚であることとして説明したが、本発明は、これに限定されない。

【0126】

ここで、被写体画像取得装置は、撮影手段が撮影した被写体画像を画像記憶手段に記憶している。また、画像記憶手段は、撮影した被写体画像を複数枚記憶することが可能である。このため、要素画像群生成装置は、時間の経過に伴って画像記憶手段が記憶する被写体画像が増加するので、テクスチャマッピングに利用する被写体画像を増加させることができる。つまり、最初に生成する第２要素画像群は、１枚の被写体画像からテクスチャマッピングする。しかし、時間の経過に伴って被写体画像が増加するため、後に生成する第２要素画像群は、複数の被写体画像からテクスチャマッピングできる。

【0127】

以下、複数枚の被写体画像からテクスチャマッピングする手法を説明する。
特徴量算出手段は、１枚目の被写体画像から特徴量を算出する。次に、３次元モデル選択手段は、３次元モデルの各頂点画素と、１枚目の被写体画像の特徴点とのマッチングを行う。次に、要素画像群生成装置は、１枚目の被写体画像について、３次元モデルに対応するテクスチャ座標変換テーブルを生成する。ここで、要素画像群生成装置は、これらの処理を被写体画像毎に繰り返し行う。

【0128】

そして、要素画像群生成装置は、３次元モデルの各頂点画素において、最も確からしい被写体画像を判定し、最終的なテクスチャ座標変換テーブルを生成する。さらに、要素画像群生成装置は、最終的なテクスチャ座標変換テーブルによりテクスチャマッピングを行うことで、立体画像の質感を向上させることができる。

【0129】

（その他変形例）
前記した各実施形態では、要素画像群生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、要素画像群生成装置として協調動作させる要素画像群生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記憶媒体に書き込んで配布してもよい。

【符号の説明】

【0130】

１，１Ｂ，１Ｃ，１Ｄ 立体画像表示システム
１０ 被写体画像取得装置
１１ 撮影手段
１３ 画像記憶手段
２０，２０Ｂ，２０Ｃ,２０Ｄ 要素画像群生成装置
２１ 被写体画像入力手段
２２，２２Ｂ，２２Ｃ，２２Ｄ データベース
２３ 特徴量算出手段
２４ ３次元モデル選択手段
２５ 第１要素画像群選択手段
２６，２６Ｂ テクスチャ座標変換テーブル選択手段（画素位置情報選択手段）
２７，２７Ｂ，２７Ｃ，２７Ｄ 第２要素画像群生成手段
２８ テクスチャ座標変換テーブル補完手段
２９ 多視点画像選択手段
３０ ＩＰ立体画像表示装置
２２１ ３次元モデルデータベース（３次元モデル記憶手段）
２２３ 第１要素画像群データベース（第１要素画像群記憶手段）
２２５，２２５Ｂ，２２５Ｃ，２２５Ｄ テクスチャ座標変換テーブルデータベース（画素位置情報記憶手段）
２２７ 多視点画像データベース（多視点画像記憶手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】