(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022113478
(43)【公開日】2022-08-04
(54)【発明の名称】インテグラル立体表示システム及びその方法
(51)【国際特許分類】
H04N 13/307 20180101AFI20220728BHJP
H04N 13/366 20180101ALI20220728BHJP
H04N 13/398 20180101ALI20220728BHJP
G03B 15/00 20210101ALI20220728BHJP
G03B 35/08 20210101ALI20220728BHJP
G03B 35/18 20210101ALI20220728BHJP
G02B 30/10 20200101ALI20220728BHJP
【ＦＩ】
H04N13/307
H04N13/366
H04N13/398
G03B15/00 Q
G03B35/08
G03B35/18
G02B30/10
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021009759
(22)【出願日】2021-01-25
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】加納 正規
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】河北 真宏
【テーマコード（参考）】
2H059
2H199
5C061
【Ｆターム（参考）】
2H059AA10
2H059AA34
2H199BA19
2H199BA45
2H199BA48
2H199BA49
2H199BA55
2H199BA68
2H199BB03
2H199BB52
5C061AA06
5C061AB12
5C061AB14
5C061AB16
(57)【要約】
【課題】通信データ量及び携帯端末の演算処理量を抑制できるインテグラル立体表示システムを提供する。
【解決手段】インテグラル立体表示システム１００は、携帯端末１で視聴する視聴者の視点に追従するように、サーバ２が生成した要素画像を携帯端末１に表示するものであり、携帯端末１が、通信手段１０と、撮影手段１１と、顔エリア検出手段１２と、顔パーツ検出手段１３と、表示手段１４とを備え、サーバ２が、通信手段２０と、３次元化手段２１と、要素画像生成手段２２とを備える。
【選択図】図３
【解決手段】インテグラル立体表示システム１００は、携帯端末１で視聴する視聴者の視点に追従するように、サーバ２が生成した要素画像を携帯端末１に表示するものであり、携帯端末１が、通信手段１０と、撮影手段１１と、顔エリア検出手段１２と、顔パーツ検出手段１３と、表示手段１４とを備え、サーバ２が、通信手段２０と、３次元化手段２１と、要素画像生成手段２２とを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
携帯端末で視聴する人物の視点に追従するように、要素画像生成装置が生成した要素画像を前記携帯端末に表示するインテグラル立体表示システムであって、
前記携帯端末は、
前記人物の顔画像を撮影する撮影手段と、
前記顔画像から前記人物の顔エリアを検出する顔エリア検出手段と、
少なくとも前記人物の両目が含まれる顔パーツの画像座標を前記顔エリアから検出する顔パーツ検出手段と、
前記要素画像生成装置が生成した要素画像を表示する表示手段と、を備え、
前記要素画像生成装置は、
前記顔パーツの画像座標から前記顔パーツの３次元位置を算出する３次元位置算出手段と、
前記顔パーツに含まれる両目の３次元位置を視点位置として、前記要素画像を生成する要素画像生成手段と、を備えることを特徴とするインテグラル立体表示システム。
前記携帯端末は、
前記人物の顔画像を撮影する撮影手段と、
前記顔画像から前記人物の顔エリアを検出する顔エリア検出手段と、
少なくとも前記人物の両目が含まれる顔パーツの画像座標を前記顔エリアから検出する顔パーツ検出手段と、
前記要素画像生成装置が生成した要素画像を表示する表示手段と、を備え、
前記要素画像生成装置は、
前記顔パーツの画像座標から前記顔パーツの３次元位置を算出する３次元位置算出手段と、
前記顔パーツに含まれる両目の３次元位置を視点位置として、前記要素画像を生成する要素画像生成手段と、を備えることを特徴とするインテグラル立体表示システム。
【請求項2】
携帯端末で視聴する人物の視点に追従するように、要素画像生成装置が生成した要素画像を前記携帯端末に表示するインテグラル立体表示システムであって、
前記携帯端末は、
前記人物の顔画像を撮影する撮影手段と、
前記顔画像から前記人物の顔エリアを検出する顔エリア検出手段と、
少なくとも前記人物の両目が含まれる顔パーツの画像座標を前記顔エリアから検出する顔パーツ検出手段と、
前記顔パーツの画像座標から前記顔パーツの３次元位置を算出する３次元位置算出手段と、
前記要素画像生成装置が生成した要素画像を表示する表示手段と、を備え、
前記要素画像生成装置は、
前記顔パーツに含まれる３次元位置を視点位置として、前記要素画像を生成する要素画像生成手段、を備えることを特徴とするインテグラル立体表示システム。
前記携帯端末は、
前記人物の顔画像を撮影する撮影手段と、
前記顔画像から前記人物の顔エリアを検出する顔エリア検出手段と、
少なくとも前記人物の両目が含まれる顔パーツの画像座標を前記顔エリアから検出する顔パーツ検出手段と、
前記顔パーツの画像座標から前記顔パーツの３次元位置を算出する３次元位置算出手段と、
前記要素画像生成装置が生成した要素画像を表示する表示手段と、を備え、
前記要素画像生成装置は、
前記顔パーツに含まれる３次元位置を視点位置として、前記要素画像を生成する要素画像生成手段、を備えることを特徴とするインテグラル立体表示システム。
【請求項3】
前記顔エリア検出手段は、前フレームの前記顔画像から検出された前記顔エリアの周辺を検出領域として、次フレームの前記顔画像から前記顔エリアを検出することを特徴とする請求項１又は請求項２に記載のインテグラル立体表示システム。
【請求項4】
前記要素画像生成手段は、生成した前記要素画像を前記視点位置の正面までシフトさせることを特徴とする請求項１から請求項３の何れか一項に記載のインテグラル立体表示システム。
【請求項5】
前記要素画像生成手段は、前記視点位置に向けて３次元モデルを回転させ、回転させた前記３次元モデルから前記要素画像を生成することを特徴とする請求項１から請求項３の何れか一項に記載のインテグラル立体表示システム。
【請求項6】
携帯端末で視聴する人物の視点に追従するように、要素画像生成装置が生成した要素画像を前記携帯端末に表示するインテグラル立体表示方法であって、
前記携帯端末が、前記人物の顔画像を撮影する顔画像撮影ステップと、
前記携帯端末が、前記顔画像から前記人物の顔エリアを検出する顔エリア検出ステップと、
前記携帯端末が、少なくとも前記人物の両目が含まれる顔パーツの画像座標を前記顔エリアから検出する顔パーツ検出ステップと、
前記携帯端末又は前記要素画像生成装置が、前記顔パーツの画像座標から前記顔パーツの３次元位置を算出する３次元位置算出ステップと、
前記要素画像生成装置が、前記顔パーツに含まれる両目の３次元位置を視点位置として、前記要素画像を生成する要素画像生成ステップと、
前記携帯端末が、前記要素画像生成装置が生成した要素画像を表示する要素画像表示ステップと、を備えることを特徴とするインテグラル立体表示方法。
前記携帯端末が、前記人物の顔画像を撮影する顔画像撮影ステップと、
前記携帯端末が、前記顔画像から前記人物の顔エリアを検出する顔エリア検出ステップと、
前記携帯端末が、少なくとも前記人物の両目が含まれる顔パーツの画像座標を前記顔エリアから検出する顔パーツ検出ステップと、
前記携帯端末又は前記要素画像生成装置が、前記顔パーツの画像座標から前記顔パーツの３次元位置を算出する３次元位置算出ステップと、
前記要素画像生成装置が、前記顔パーツに含まれる両目の３次元位置を視点位置として、前記要素画像を生成する要素画像生成ステップと、
前記携帯端末が、前記要素画像生成装置が生成した要素画像を表示する要素画像表示ステップと、を備えることを特徴とするインテグラル立体表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インテグラル立体表示システム及びその方法に関する。
【背景技術】
【0002】
場所を選ばずに高い臨場感を体験できる映像メディアが望まれている。そのような映像メディアが実現されれば、エンターテイメント、教育、医療など様々な分野に適用することが可能である。高い臨場感を体験できる映像メディアの一つとして、３次元映像が知られている。
【0003】
３次元映像を表示する幾つかの立体方式のうち、実際にそこに物があるのと同じ光線を再現する光線再生立体方式が注目されている。この光線再生立体方式の一つとして、レンズアレイを用いたインテグラル方式が知られている。このインテグラル方式は、液晶ディスプレイなど一般的なディスプレイにレンズアレイを重ねるだけで実現でき、両眼視差と上下左右の運動視差とを再現可能である。
【0004】
近年、スマートフォンやタブレットなどの携帯端末が普及し、映像メディアを携帯端末で視聴することが一般的になりつつある。そこで、携帯端末による高品質な３次元映像の視聴について検討する。インテグラル方式では、３次元映像の解像度、視域及び奥行き再現範囲などの映像品質にトレードオフの関係がある。これら全ての要素を改善するには、表示デバイスの性能を向上させる必要がある一方、携帯端末のような表示デバイスの性能向上には限度がある。
【0005】
そこで、狭い視域を視聴者に追従させることで映像品質を改善できる視点追従技術の適用を検討する（特許文献１、非特許文献１）。以下、携帯端末に視点追従技術を適用したインテグラル方式を「携帯端末型視点追従ＩＰ方式」と表記する。例えば、携帯端末型視点追従ＩＰ方式では、携帯端末のインカメラで視聴者の視点位置を計測し、その視点位置に絞ってサーバが３次元映像を生成し、その３次元映像を携帯端末で再生する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１９－２１３１２７号公報
【非特許文献】
【0007】
【非特許文献1】岡市他、“８Ｋディスプレイを用いた視点追従型インテグラル３Ｄ映像表示”、映像情報メディア学会冬季大会、２３Ｄ－３、２０１８
【発明の概要】
【発明が解決しようとする課題】
【0008】
携帯端末型視点追従ＩＰ方式では、サーバと携帯端末との間で視点位置や３次元映像などの各種データを通信する必要がある。さらに、携帯端末型視点追従ＩＰ方式では、視聴者の視点位置に応じて要素画像を表示するため、視点位置を計測し、その視点位置に応じた３次元モデルから要素画像を生成する必要もある。携帯端末型視点追従ＩＰ方式では、これらの処理をリアルタイムで実行できない場合、遅延によって正しい３次元映像を再生できなくなる。しかし、携帯端末型視点追従ＩＰ方式では、携帯端末の処理能力には限度があり、大容量のデータ通信や複雑な演算のリアルタイム処理が困難である。
【0009】
本発明は、通信データ量及び携帯端末の演算処理量を抑制できるインテグラル立体表示システム及びその方法を提供することを課題とする。
【課題を解決するための手段】
【0010】
前記課題を解決するため、本発明に係るインテグラル立体表示システムは、携帯端末で視聴する人物の視点に追従するように、要素画像生成装置が生成した要素画像を携帯端末に表示するインテグラル立体表示システムであって、携帯端末は、撮影手段と、顔エリア検出手段と、顔パーツ検出手段と、表示手段と、を備え、要素画像生成装置は、３次元位置算出手段と、要素画像生成手段と、を備える構成とした。
【0011】
かかる構成によれば、携帯端末は、撮影手段によって、人物の顔画像を撮影する。また、携帯端末は、顔エリア検出手段によって、顔画像から人物の顔エリアを検出する。そして、携帯端末は、顔パーツ検出手段によって、少なくとも人物の両目が含まれる顔パーツの画像座標を顔エリアから検出する。さらに、携帯端末は、表示手段によって、要素画像生成装置が生成した要素画像を表示する。
【0012】
また、要素画像生成装置は、３次元位置算出手段によって、顔パーツの画像座標から顔パーツの３次元位置を算出する。そして、要素画像生成装置は、要素画像生成手段によって、顔パーツに含まれる両目の３次元位置を視点位置として、要素画像を生成する。
【0013】
また、前記課題を解決するため、本発明に係るインテグラル立体表示システムは、携帯端末で視聴する人物の視点に追従するように、要素画像生成装置が生成した要素画像を携帯端末に表示するインテグラル立体表示システムであって、携帯端末は、撮影手段と、顔エリア検出手段と、顔パーツ検出手段と、３次元位置算出手段と、表示手段と、を備え、要素画像生成装置は、要素画像生成手段、を備える構成とした。
【0014】
かかる構成によれば、携帯端末は、撮影手段によって、人物の顔画像を撮影する。また、携帯端末は、顔エリア検出手段によって、顔画像から人物の顔エリアを検出する。そして、携帯端末は、顔パーツ検出手段によって、少なくとも人物の両目が含まれる顔パーツの画像座標を顔エリアから検出する。さらに、携帯端末は、３次元位置算出手段によって、顔パーツの画像座標から顔パーツの３次元位置を算出する。さらに、携帯端末は、表示手段によって、要素画像生成装置が生成した要素画像を表示する。
【0015】
また、要素画像生成装置は、要素画像生成手段によって、顔パーツに含まれる両目の３次元位置を視点位置として、要素画像を生成する。
【0016】
また、前記課題を解決するため、本発明に係るインテグラル立体表示方法は、携帯端末で視聴する人物の視点に追従するように、要素画像生成装置が生成した要素画像を携帯端末に表示するインテグラル立体表示方法であって、顔画像撮影ステップと、顔エリア検出ステップと、顔パーツ検出ステップと、３次元位置算出ステップと、要素画像生成ステップと、要素画像表示ステップと、を備える手順とした。
【0017】
かかる手順によれば、顔画像撮影ステップでは、携帯端末が、人物の顔画像を撮影する。また、顔エリア検出ステップでは、携帯端末が、顔画像から人物の顔エリアを検出する。そして、顔パーツ検出ステップでは、携帯端末が、少なくとも人物の両目が含まれる顔パーツの画像座標を顔エリアから検出する。さらに、３次元位置算出ステップでは、携帯端末又は要素画像生成装置が、顔パーツの画像座標から顔パーツの３次元位置を算出する。
【0018】
また、要素画像生成ステップでは、要素画像生成装置が、顔パーツに含まれる両目の３次元位置を視点位置として、要素画像を生成する。そして、要素画像表示ステップでは、携帯端末が、要素画像生成装置が生成した要素画像を表示する。
【0019】
このように、本発明では、携帯端末が視点位置計測処理を行い、要素画像生成装置が要素画像生成処理を行う。従って、本発明では、顔画像を送受信する必要がないので通信データ量を抑制し、携帯端末で要素画像生成処理を行う必要がないので携帯端末の演算処理量を抑制できる。
【発明の効果】
【0020】
本発明によれば、通信データ量及び携帯端末の演算処理量を抑制することができる。
【図面の簡単な説明】
【0021】
【図1】各実施形態に係るインテグラル立体表示システムの概略構成図である。
【図2】各実施形態における視点位置計測処理のフローチャートである。
【図3】第１実施形態に係るインテグラル立体表示システムの構成を示すブロック図である。
【図4】第１実施形態における視点位置計測処理を説明する説明図である。
【図5】第１実施形態における顔エリアの検索を説明する説明図である。
【図6】（ａ）及び（ｂ）は、第１実施形態における仮想カメラアレイの移動を説明する説明図である。
【図7】第１実施形態における要素画像の生成を説明する説明図である。
【図8】第１実施形態に係るインテグラル立体表示システムの動作を示すシーケンス図である。
【図9】第２実施形態に係るインテグラル立体表示システムの構成を示すブロック図である。
【図10】第２実施形態に係るインテグラル立体表示システムの動作を示すシーケンス図である。
【図11】（ａ）及び（ｂ）は、第３実施形態における要素画像のシフトを説明する説明図である。
【図12】第３実施形態において、３次元モデルの回転を説明する説明図である。
【発明を実施するための形態】
【0022】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0023】
［システム構成の検討］
各実施形態を説明する前に、図１の携帯端末型視点追従インテグラル立体表示システム１００を実現するためのシステム構成について検討する。以後、「携帯端末型視点追従インテグラル立体表示システム」を単に「インテグラル立体表示システム」と略記する。
図１に示すように、インテグラル立体表示システム１００は、視聴者（人物）αが使用する携帯端末１と、各種データを携帯端末１に提供するサーバ（要素画像生成装置）２とで構成されている。
各実施形態を説明する前に、図１の携帯端末型視点追従インテグラル立体表示システム１００を実現するためのシステム構成について検討する。以後、「携帯端末型視点追従インテグラル立体表示システム」を単に「インテグラル立体表示システム」と略記する。
図１に示すように、インテグラル立体表示システム１００は、視聴者（人物）αが使用する携帯端末１と、各種データを携帯端末１に提供するサーバ（要素画像生成装置）２とで構成されている。
【0024】
図２に示すように、インテグラル立体表示システム１００では、視聴者αの視点位置を計測する視点位置計測処理Ｓ１と、要素画像を生成する要素画像生成処理（要素画像生成ステップ）Ｓ２と、要素画像を表示する要素画像表示処理（要素画像表示ステップ）Ｓ３とが処理が行われる。このインテグラル立体表示システム１００では、視点位置計測処理Ｓ１と要素画像生成処理Ｓ２とを毎フレーム実施する必要がある。
【0025】
なお、視点位置計測処理Ｓ１、要素画像生成処理Ｓ２及び要素画像表示処理Ｓ３の具体的処理内容は、後記する。また、要素画像表示処理Ｓ３は、処理負荷が無視できるほど低いので、検討に加えないこととする。また、視点位置計測処理Ｓ１と要素画像生成処理Ｓ２との周期は一致していることが好ましいが必須ではない。
【0026】
インテグラル立体表示システム１００において、携帯端末１とサーバ２との間で視点位置計測処理Ｓ１及び要素画像生成処理Ｓ２を配分する方法として、２通りが考えらえる。第１の方法では、サーバ２が要素画像の生成に必要な３次元モデルを携帯端末１に送信し、携帯端末１が視点位置計測処理Ｓ１と要素画像生成処理Ｓ２とを行う。しかし、第１の方法では、３次元モデルを携帯端末１に送信する必要があり、通信データ量が増大すると共に、携帯端末１の処理負荷が非常に高くなる。
【0027】
前記したように、インテグラル立体表示システム１００を実現するには、通信データ量及び携帯端末１の演算処理量を抑制する必要がある。第１の方法は、携帯端末１の処理負荷が高すぎるため、１フレームあたりの処理時間が長くなり、視聴時にカクつきなどの違和感が生じてしまう。このように、第１の方法は、視点追従が追い付かず、現実的でない。
【0028】
第２の方法では、処理負荷が大きい要素画像生成処理Ｓ２をサーバ２で実行するように、サーバ２と携帯端末１との間で処理を分散することで、携帯端末１の処理負荷を軽減できる。そこで、第２の方法をさらに検討する。
【0029】
図２に示すように、視点位置計測処理Ｓ１は、顔画像撮影ステップＳ１０と、顔エリア検出ステップＳ１１と、顔パーツ検出ステップＳ１２と、３次元化ステップ（３次元位置算出ステップ）Ｓ１３とに細分できる。ここで、携帯端末１で顔画像撮影ステップＳ１０を行い、サーバ２で顔エリア検出ステップＳ１１以後の処理を行う場合を考える。この場合、顔画像を送信するために携帯端末１が符号化処理（例えば、Ｈ．２６４）を行う必要があり、携帯端末１の処理負荷が高くなってしまう。さらに、顔画像は、符号化しても通信データ量が大きいという問題もある。そこで、携帯端末１で顔パーツ検出ステップＳ１２又は３次元化ステップＳ１３までの視点位置計測処理Ｓ１を行い、それ以後の処理をサーバ２で行えば、インテグラル立体表示システム１００を実現できると考えられる。
【0030】
（第１実施形態）
［インテグラル立体表示システムの構成］
図１を参照し、第１実施形態に係るインテグラル立体表示システム１００の構成について説明する。
インテグラル立体表示システム１００は、携帯端末１で視聴する視聴者αの視点に追従するように、サーバ２が生成した要素画像を携帯端末１に表示するものである。図１に示すように、インテグラル立体表示システム１００は、携帯端末１と、サーバ２とを備える。
［インテグラル立体表示システムの構成］
図１を参照し、第１実施形態に係るインテグラル立体表示システム１００の構成について説明する。
インテグラル立体表示システム１００は、携帯端末１で視聴する視聴者αの視点に追従するように、サーバ２が生成した要素画像を携帯端末１に表示するものである。図１に示すように、インテグラル立体表示システム１００は、携帯端末１と、サーバ２とを備える。
【0031】
携帯端末１は、顔パーツ検出ステップＳ１２までの視点位置計測処理Ｓ１を行うと共に、要素画像表示ステップＳ３を行うものである。ここで、携帯端末１は、一般的なスマートフォンやタブレットのディスプレイ面上に、要素画像を表示するためレンズアレイを備える。この他、携帯端末１は、視聴者αの顔画像を撮影するためのインカメラ、サーバ２との間で各種データを通信するための通信機能を備える。なお、携帯端末１は、前記した各機能を備えていれば、スマートフォンやタブレットに限定されない。
【0032】
サーバ２は、３次元化ステップＳ１３及び要素画像生成処理Ｓ２を行って要素画像を生成し、生成した要素画像を携帯端末１に送信するものである。本実施形態では、サーバ２は、インターネットなどのネットワークＮＷに接続されており、携帯端末１との間で各種データを通信可能な一般的なサーバである。
【0033】
［携帯端末の構成］
図３及び図４を参照し、携帯端末１の構成について説明する。
図３に示すように、携帯端末１は、通信手段１０と、撮影手段１１と、顔エリア検出手段１２と、顔パーツ検出手段１３と、表示手段１４とを備える。
図３及び図４を参照し、携帯端末１の構成について説明する。
図３に示すように、携帯端末１は、通信手段１０と、撮影手段１１と、顔エリア検出手段１２と、顔パーツ検出手段１３と、表示手段１４とを備える。
【0034】
通信手段１０は、ネットワークＮＷを介して、サーバ２との間で各種データを通信するものである。具体的には、通信手段１０は、視聴者αの顔パーツの画像座標をサーバ２に送信すると共に、要素画像をサーバ２から受信する。例えば、通信手段１０は、ＷｉＦｉやパケット通信など任意の無線通信を用いて、各種データを送受信する。
【0035】
撮影手段１１は、図４に示すように、視聴者αの顔画像９０を撮影する顔画像撮影ステップＳ１０を行うものである。例えば、撮影手段１１としては、スマートフォンやタブレットのインカメラがあげられる。本実施形態では、視聴者αの視点に追従するため、撮影手段１１は、リアルタイムで視聴者αの顔画像９０を撮影し、撮影した顔画像９０をフレーム毎に顔エリア検出手段１２に出力する。
【0036】
顔エリア検出手段１２は、撮影手段１１より入力された顔画像９０から視聴者αの顔エリア９１を検出する顔エリア検出ステップＳ１１を行うものである。本実施形態では、撮影手段１１は、視聴者αの視点に追従するため、既知の手法を用いて、顔画像９０の各フレームから顔エリア９１を検出する（例えば、参考文献１，２）。そして、顔エリア検出手段１２は、検出した顔エリア９１を顔パーツ検出手段１３に出力する。
【0037】
参考文献１：“ＯｐｅｎＣＶ”，［online］，［令和２年１２月１０日検索］，インターネット＜URL：https://opencv.org/＞
参考文献２：“Ｄｌｉｂ”，［online］，［令和２年１２月１０日検索］，インターネット＜URL：http://dlib.net/＞
参考文献２：“Ｄｌｉｂ”，［online］，［令和２年１２月１０日検索］，インターネット＜URL：http://dlib.net/＞
【0038】
＜顔エリアの検出＞
以下、顔エリア検出手段１２による顔エリア９１の検出を詳細に説明する。
顔エリア９１の検出は、顔画像９０の各フレームで実行するため、高速化が可能である。図５に示すように、あるフレームの顔画像９０１では、中央で顔エリア９１１が検出されたこととする。この場合、次フレームの顔画像９０２では、前フレームの顔エリア９１１の近傍で顔エリア９１２が検出できる可能性が高い。このため、顔エリア検出手段１２は、前フレームの顔エリア９１１の周辺を検出領域９２として、次フレームの顔画像９０２から顔エリア９１２を検出する。つまり、顔エリア検出手段１２は、次フレームの顔画像９０２に設定した検出領域９２の範囲内で顔エリア９１２を検出する。例えば、検出領域９２は、前フレームで検出した顔エリア９１１の縦横を２倍以下で拡大した矩形領域である。このように、顔エリア検出手段１２では、検出領域９２が顔画像９０の全体よりも狭いので、高速化を図ることができる。なお、先頭フレームの場合や顔エリア９１の検出に失敗した場合、顔エリア検出手段１２は、顔画像９０の全体から顔エリア９１を検出する。
以下、顔エリア検出手段１２による顔エリア９１の検出を詳細に説明する。
顔エリア９１の検出は、顔画像９０の各フレームで実行するため、高速化が可能である。図５に示すように、あるフレームの顔画像９０１では、中央で顔エリア９１１が検出されたこととする。この場合、次フレームの顔画像９０２では、前フレームの顔エリア９１１の近傍で顔エリア９１２が検出できる可能性が高い。このため、顔エリア検出手段１２は、前フレームの顔エリア９１１の周辺を検出領域９２として、次フレームの顔画像９０２から顔エリア９１２を検出する。つまり、顔エリア検出手段１２は、次フレームの顔画像９０２に設定した検出領域９２の範囲内で顔エリア９１２を検出する。例えば、検出領域９２は、前フレームで検出した顔エリア９１１の縦横を２倍以下で拡大した矩形領域である。このように、顔エリア検出手段１２では、検出領域９２が顔画像９０の全体よりも狭いので、高速化を図ることができる。なお、先頭フレームの場合や顔エリア９１の検出に失敗した場合、顔エリア検出手段１２は、顔画像９０の全体から顔エリア９１を検出する。
【0039】
顔パーツ検出手段１３は、少なくとも視聴者αの両目が含まれる顔パーツの画像座標９３を顔エリア９１から検出する顔パーツ検出ステップＳ１２を行うものである。ここで、顔パーツとは、視聴者αの顔を構成する目、鼻、口などのパーツのことである。本実施形態では、顔パーツ検出手段１３は、顔エリア検出手段１２より入力された顔エリア９１から、顔パーツとして、視聴者αの両目、鼻及び口の画像座標を検出する。例えば、顔パーツ検出手段１３は、既知の手法で顔パーツを検出できる（例えば、前記参考文献１，２）。図４に示すように、顔パーツ検出手段１３が顔パーツを検出すると、顔画像９０内で両目などの２次元座標が既知となる。
その後、顔パーツ検出手段１３は、通信手段１０を介して、検出した顔パーツの画像座標９３をサーバ２に送信する。この顔パーツの画像座標９３は、両目などの２次元座標値を記述したデータのため、顔画像に比べてデータ量が少ない。
その後、顔パーツ検出手段１３は、通信手段１０を介して、検出した顔パーツの画像座標９３をサーバ２に送信する。この顔パーツの画像座標９３は、両目などの２次元座標値を記述したデータのため、顔画像に比べてデータ量が少ない。
【0040】
なお、サーバ２で後記するＰｎＰ問題を解くため、撮影手段（インカメラ）１１の内部パラメータやレンズ歪み係数が必要になる。そこで、携帯端末１は、事前にカメラキャリブレーションを行ってパラメータを取得し、サーバ２に送信することが好ましい。例えば、カメラキャリブレーションの手法は参考文献３に記載されている。
【0041】
参考文献３：Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334 (2000)
【0042】
表示手段１４は、サーバ２が生成した要素画像を表示する要素画像表示処理Ｓ３を行うものである。具体的には、表示手段１４は、通信手段１０を介して、サーバ２から要素画像を受信し、受信した要素画像を表示する。例えば、表示手段１４は、液晶素子や有機ＥＬ素子のディスプレイと、そのディスプレイ面上に配置されたレンズアレイとで構成されている（不図示）。
【0043】
【0044】
通信手段２０は、ネットワークＮＷを介して、携帯端末１との間で各種データを通信するものである。具体的には、通信手段２０は、顔パーツの画像座標９３を携帯端末１から受信すると共に、要素画像を携帯端末１に送信する。
【0045】
３次元化手段２１は、図４に示すように、視聴者αの顔パーツの画像座標９３から両目の３次元位置９５を算出する３次元化ステップＳ１３を行うものである。まず、３次元化手段２１は、通信手段２０を介して、携帯端末１から顔パーツの画像座標９３を受信する。次に、３次元化手段２１は、受信した顔パーツの画像座標９３から顔パーツの３次元位置９４を算出する（例えば、参考文献４）。具体的には、３次元化手段２１は、予め設定した顔パーツの３次元位置と顔パーツの画像座標９３とからＰｎＰ（Perspective n-Point）問題を解くことで、カメラ座標系で両目を含む顔パーツの３次元位置９４を算出する。図４に示すように、両目の３次元位置９５は、顔パーツの３次元位置９４に含まれており、右目と左目の３次元座標で記述できる。
その後、３次元化手段２１は、算出した両目の３次元位置９５を要素画像生成手段２２に出力する。なお、３次元化手段２１は、要素画像の生成に不要なため、両目以外の３次元座標を要素画像生成手段２２に出力せずともよい。
その後、３次元化手段２１は、算出した両目の３次元位置９５を要素画像生成手段２２に出力する。なお、３次元化手段２１は、要素画像の生成に不要なため、両目以外の３次元座標を要素画像生成手段２２に出力せずともよい。
【0046】
参考文献４：ディジタル画像処理（改訂新版）、ＣＧ－ＡＲＴＳ協会、２０１５年
【0047】
要素画像生成手段２２は、３次元化手段２１から入力された両目の３次元位置９５を視点位置として、要素画像を生成（レンダリング）する要素画像生成処理Ｓ２を行うものである。そして、要素画像生成手段２２は、通信手段２０を介して、生成した要素画像を携帯端末１に送信する。
【0048】
＜要素画像の生成＞
図６及び図７を参照し、要素画像生成手段２２による要素画像Ｅの生成を詳細に説明する。本実施形態では、要素画像生成手段２２は、立体像の元となる３次元モデルＭから要素画像Ｅのレンダリングを行う。具体的には、要素画像生成手段２２は、コンピュータグラフィックス（ＣＧ：Computer Graphics）空間内に被写体となる３次元モデルＭを配置し、その３次元モデルＭを仮想カメラアレイＣで撮影する。
図６及び図７を参照し、要素画像生成手段２２による要素画像Ｅの生成を詳細に説明する。本実施形態では、要素画像生成手段２２は、立体像の元となる３次元モデルＭから要素画像Ｅのレンダリングを行う。具体的には、要素画像生成手段２２は、コンピュータグラフィックス（ＣＧ：Computer Graphics）空間内に被写体となる３次元モデルＭを配置し、その３次元モデルＭを仮想カメラアレイＣで撮影する。
【0049】
図６では、仮想カメラアレイＣは、水平方向に配列された５台の仮想カメラＣ１～Ｃ５で構成されている。全ての仮想カメラＣ１～Ｃ５が仮想レンズアレイＬに正対して配置され、仮想レンズアレイＬの領域が撮影できるように内部パラメータが予め設定されていることとする。
【0050】
このとき、要素画像生成手段２２は、視点位置として、視点位置計測処理Ｓ１で得られた両目の３次元位置９５（図４）の中点Ｐを仮想カメラアレイＣの中心とする。図６（ａ）に示すように、視聴者αが仮想レンズアレイＬに正対しており、仮想レンズアレイＬの中心を原点とする仮想レンズアレイ座標系において、両眼の中点Ｐのｘ－ｙ座標が共にゼロの状態を基準とする。なお、水平方向をｘ軸、垂直方向をｙ軸、奥行き方向をｚ軸とする。
【0051】
要素画像生成手段２２は、この状態から視聴者αが上下左右に動くのに伴い、仮想カメラアレイＣも同様に上下左右に移動させる。図６（ｂ）に示すように、視聴者αが左側に動いた場合、要素画像生成手段２２は、仮想カメラアレイＣを左側に移動させる。さらに視距離が変化した場合、要素画像生成手段２２は、視距離Ｄの変化に応じて、仮想カメラアレイＣを前後に移動させる。このとき、要素画像生成手段２２は、仮想カメラアレイＣの移動に応じて、仮想レンズアレイＬの領域を撮影できるように内部パラメータも変更する。そして、要素画像生成手段２２は、図７に示すように、仮想カメラアレイＣで撮影した多視点画像Ｖの画素位置を並べ替えることで、要素画像Ｅを生成する。
【0052】
前記したように、仮想レンズアレイ座標系での両眼の中点Ｐを仮想カメラアレイＣの中心と一致させることが好ましい。その一方、視点位置計測処理Ｓ１で得られる３次元位置はインカメラのカメラ座標系で表現されている。仮想レンズアレイ座標系とカメラ座標系との位置関係は平行で距離も近く、両座標系の位置関係の相違は大きな問題とならず、無視してもよい。さらに、予め設定した両座標系のオフセット値を適用し、両座標系の位置関係を調整してもよい。
【0053】
［インテグラル立体表示システムの動作］
図８を参照し、インテグラル立体表示システム１００の動作について説明する。
図８に示すように、携帯端末１は、撮影手段１１によって、顔画像撮影ステップＳ１０を行う。
携帯端末１は、顔エリア検出手段１２によって、顔エリア検出ステップＳ１１を行う。
携帯端末１は、顔パーツ検出手段１３によって、顔パーツ検出ステップＳ１２を行い、検出した顔パーツの画像座標９３をサーバ２に送信する。
図８を参照し、インテグラル立体表示システム１００の動作について説明する。
図８に示すように、携帯端末１は、撮影手段１１によって、顔画像撮影ステップＳ１０を行う。
携帯端末１は、顔エリア検出手段１２によって、顔エリア検出ステップＳ１１を行う。
携帯端末１は、顔パーツ検出手段１３によって、顔パーツ検出ステップＳ１２を行い、検出した顔パーツの画像座標９３をサーバ２に送信する。
【0054】
サーバ２は、３次元化手段２１によって、携帯端末１から顔パーツの画像座標９３を受信し、３次元化ステップＳ１３を行う。
サーバ２は、要素画像生成手段２２によって、要素画像生成処理Ｓ２を行い、生成した要素画像Ｅを携帯端末１に送信する。
携帯端末１は、表示手段１４によって、サーバ２から要素画像を受信し、要素画像生成表示処理Ｓ３を行う。
サーバ２は、要素画像生成手段２２によって、要素画像生成処理Ｓ２を行い、生成した要素画像Ｅを携帯端末１に送信する。
携帯端末１は、表示手段１４によって、サーバ２から要素画像を受信し、要素画像生成表示処理Ｓ３を行う。
【0055】
［作用・効果］
以上のように、インテグラル立体表示システム１００は、携帯端末１が顔パーツ検出ステップＳ１２までの視点位置計測処理Ｓ１を行い、サーバ２が要素画像生成処理Ｓ２を行う。従って、インテグラル立体表示システム１００では、顔画像を送受信する必要がないので通信データ量を抑制し、携帯端末１で要素画像生成処理Ｓ２を行う必要がないので携帯端末１の演算処理量も抑制できる。さらに、インテグラル立体表示システム１００は、携帯端末１を用いて、外出先でも気軽に視聴者αが立体映像を楽しめるようになり、災害時における迅速かつ効率的な情報取得の役にも立つ。
以上のように、インテグラル立体表示システム１００は、携帯端末１が顔パーツ検出ステップＳ１２までの視点位置計測処理Ｓ１を行い、サーバ２が要素画像生成処理Ｓ２を行う。従って、インテグラル立体表示システム１００では、顔画像を送受信する必要がないので通信データ量を抑制し、携帯端末１で要素画像生成処理Ｓ２を行う必要がないので携帯端末１の演算処理量も抑制できる。さらに、インテグラル立体表示システム１００は、携帯端末１を用いて、外出先でも気軽に視聴者αが立体映像を楽しめるようになり、災害時における迅速かつ効率的な情報取得の役にも立つ。
【0056】
（第２実施形態）
［インテグラル立体表示システムの構成］
図９を参照し、第２実施形態に係るインテグラル立体表示システム１００Ａの構成について、第１実施形態と異なる点を説明する。
インテグラル立体表示システム１００Ａでは、携帯端末１Ａで３次元化ステップＳ１３を行う点が第１実施形態と異なる。
［インテグラル立体表示システムの構成］
図９を参照し、第２実施形態に係るインテグラル立体表示システム１００Ａの構成について、第１実施形態と異なる点を説明する。
インテグラル立体表示システム１００Ａでは、携帯端末１Ａで３次元化ステップＳ１３を行う点が第１実施形態と異なる。
【0057】
図９に示すように、インテグラル立体表示システム１００Ａは、携帯端末１Ａと、サーバ２Ａとを備える。
携帯端末１Ａは、３次元化ステップＳ１３を含め、全ての視点位置計測処理Ｓ１を行うものである。
サーバ２Ａは、要素画像生成装置が要素画像生成処理Ｓ２を行うものである。つまり、サーバ２Ａは、第１実施形態と異なり、３次元化ステップＳ１３を行わない。
携帯端末１Ａは、３次元化ステップＳ１３を含め、全ての視点位置計測処理Ｓ１を行うものである。
サーバ２Ａは、要素画像生成装置が要素画像生成処理Ｓ２を行うものである。つまり、サーバ２Ａは、第１実施形態と異なり、３次元化ステップＳ１３を行わない。
【0058】
［携帯端末の構成］
続いて、携帯端末１の構成について説明する。
図９に示すように、携帯端末１Ａは、通信手段１０Ａと、撮影手段１１と、顔エリア検出手段１２と、顔パーツ検出手段１３と、表示手段１４と、３次元化手段（３次元位置算出手段）１５とを備える。なお、通信手段１０Ａ及び３次元化手段１５以外の構成は、第１実施形態と同様のため、説明を省略する。
続いて、携帯端末１の構成について説明する。
図９に示すように、携帯端末１Ａは、通信手段１０Ａと、撮影手段１１と、顔エリア検出手段１２と、顔パーツ検出手段１３と、表示手段１４と、３次元化手段（３次元位置算出手段）１５とを備える。なお、通信手段１０Ａ及び３次元化手段１５以外の構成は、第１実施形態と同様のため、説明を省略する。
【0059】
通信手段１０Ａは、ネットワークＮＷを介して、サーバ２Ａとの間で各種データを通信するものである。具体的には、通信手段１０Ａは、視聴者αの両眼の３次元位置９５をサーバ２Ａに送信すると共に、要素画像Ｅをサーバ２Ａから受信する。他の点、通信手段１０Ａは、第１実施形態と同様のため、これ以上の説明を省略する。
【0060】
３次元化手段１５は、第１実施形態と同様、３次元化ステップＳ１３を行うものである。まず、３次元化手段１５は、顔パーツ検出手段１３より入力された視聴者αの顔パーツの画像座標９３から両目の３次元位置９５を算出する。そして、３次元化手段１５は、通信手段１０を介して、視聴者αの両目の３次元位置９５をサーバ２Ａに送信する。この両目の３次元位置９５は、顔画像に比べてデータ量が少ない。
【0061】
【0062】
通信手段２０Ａは、ネットワークＮＷを介して、携帯端末１Ａとの間で各種データを通信するものである。具体的には、通信手段２０Ａは、視聴者αの両眼の３次元位置９５を携帯端末１Ａから受信すると共に、要素画像を携帯端末１Ａに送信する。他の点、通信手段２０Ａは、第１実施形態と同様のため、これ以上の説明を省略する。
【0063】
要素画像生成手段２２Ａは、通信手段２０Ａを介して、携帯端末１Ａから視聴者αの両眼の３次元位置９５を受信する。そして、要素画像生成手段２２Ａは、第１実施形態と同様、要素画像生成処理Ｓ２を行う。
【0064】
［インテグラル立体表示システムの動作］
図１０を参照し、インテグラル立体表示システム１００Ａの動作について説明する。
図１０に示すように、携帯端末１Ａは、３次元化手段１５によって、３次元化ステップＳ１３を行う。
他の点、インテグラル立体表示システム１００Ａの動作は、第１実施形態と同様のため、これ以上の説明を省略する。
図１０を参照し、インテグラル立体表示システム１００Ａの動作について説明する。
図１０に示すように、携帯端末１Ａは、３次元化手段１５によって、３次元化ステップＳ１３を行う。
他の点、インテグラル立体表示システム１００Ａの動作は、第１実施形態と同様のため、これ以上の説明を省略する。
【0065】
［作用・効果］
以上ように、インテグラル立体表示システム１００Ａは、携帯端末１Ａが全ての視点位置計測処理Ｓ１を行い、サーバ２Ａが要素画像生成処理Ｓ２を行う。従って、インテグラル立体表示システム１００Ａでは、顔画像を送受信する必要がないので通信データ量を抑制し、携帯端末１Ａで要素画像生成処理Ｓ２を行う必要がないので携帯端末１Ａの演算処理量を抑制できる。さらに、インテグラル立体表示システム１００Ａは、携帯端末１Ａを用いて、外出先でも気軽に視聴者αが立体映像を楽しめるようになり、災害時における迅速かつ効率的な情報取得の役にも立つ。
以上ように、インテグラル立体表示システム１００Ａは、携帯端末１Ａが全ての視点位置計測処理Ｓ１を行い、サーバ２Ａが要素画像生成処理Ｓ２を行う。従って、インテグラル立体表示システム１００Ａでは、顔画像を送受信する必要がないので通信データ量を抑制し、携帯端末１Ａで要素画像生成処理Ｓ２を行う必要がないので携帯端末１Ａの演算処理量を抑制できる。さらに、インテグラル立体表示システム１００Ａは、携帯端末１Ａを用いて、外出先でも気軽に視聴者αが立体映像を楽しめるようになり、災害時における迅速かつ効率的な情報取得の役にも立つ。
【0066】
ここで、第１実施形態及び第２実施形態それぞれの利点を説明する。図３のインテグラル立体表示システム１００は、３次元化ステップＳ１３をサーバ２で行うので、携帯端末１の演算処理量を大幅に抑制できるという利点がある。これに対し、図９のインテグラル立体表示システム１００Ａは、両眼の３次元位置９５という２点の座標データを送受信するので、通信データ量を大幅に抑制できるという利点がある。
【0067】
（第３実施形態）
以下、第３実施形態に係るインテグラル立体表示システム１００Ｂについて、第１実施形態及び第２実施形態と異なる点を説明する。
以下、第３実施形態に係るインテグラル立体表示システム１００Ｂについて、第１実施形態及び第２実施形態と異なる点を説明する。
【0068】
視点追従では、３次元映像の視域を広げることが可能だが、それ以外の使い方もできる。具体的には、視点追従により、常に正面視点の３次元映像を表示することである。多くの場合、正面視点の３次元映像は、コンテンツの制作者が視聴者αに一番見せたい視点位置の映像と考えられる。インテグラル方式では、視聴者αの見る方向に応じて、立体像の見え方も変化するので、正確に視聴者αが正面を向いていない限り、正面視点の３次元映像を見ることができない。コンテンツの内容や視聴環境によっては、常に正面視点の３次元映像を見たい場合も考えられる。視点位置を正面視点に固定するには、図２の要素画像生成手段２２Ｂが要素画像をレンダリングする際、以下のような処理を加えればよい。その処理方法は２種類あるので順に説明する。
【0069】
＜要素画像のシフト＞
要素画像生成手段２２Ｂは、生成した要素画像Ｅを視点位置の正面までシフトさせる。単に正面視点の要素画像Ｅをレンダリングするだけであれば、仮想カメラアレイＣの位置を３次元モデルＭの正面に固定すればよい。この場合、図１１（ａ）に示すように、視聴者αの両目の中点Ｐと３次元モデルＭの正面Ｑとが一致しないので、立体像を表示できない。ここで、３次元モデルＭの正面Ｑは、仮想カメラアレイＣの中心となる。このため、要素画像生成手段２２は、図１１（ｂ）に示すように、レンダリングした後の要素画像Ｅをシフトさせることで、正面視点の要素画像Ｅ´を生成する。図１１の例では、視点位置である両目の中点Ｐが３次元モデルＭの正面Ｑの左側なので、その反対の右側に要素画像Ｅをシフトさせる。なお、要素画像Ｅのシフトでは、立体像に歪みが生じる場合がある。
要素画像生成手段２２Ｂは、生成した要素画像Ｅを視点位置の正面までシフトさせる。単に正面視点の要素画像Ｅをレンダリングするだけであれば、仮想カメラアレイＣの位置を３次元モデルＭの正面に固定すればよい。この場合、図１１（ａ）に示すように、視聴者αの両目の中点Ｐと３次元モデルＭの正面Ｑとが一致しないので、立体像を表示できない。ここで、３次元モデルＭの正面Ｑは、仮想カメラアレイＣの中心となる。このため、要素画像生成手段２２は、図１１（ｂ）に示すように、レンダリングした後の要素画像Ｅをシフトさせることで、正面視点の要素画像Ｅ´を生成する。図１１の例では、視点位置である両目の中点Ｐが３次元モデルＭの正面Ｑの左側なので、その反対の右側に要素画像Ｅをシフトさせる。なお、要素画像Ｅのシフトでは、立体像に歪みが生じる場合がある。
【0070】
以下、要素画像Ｅのシフト値ｓ´の算出方法を説明する。シフト値ｓ´は、正負の値をとる整数であり、単位が画素である。図１１（ａ）に示すように、仮想レンズアレイＬと仮想ディスプレイＫとの距離Ｆ、仮想レンズアレイ座標系における両眼の中点Ｐ＝［Ｐｘ，Ｐｙ，Ｐｚ］Ｔ、視距離Ｄ＝｜Ｐｚ|とする。なお、距離Ｆは、仮想レンズアレイＬの焦点距離に等しい。このとき、シフト値ｓは、以下の式（１）で求められる。
【0071】
【数1】
【0072】
このシフト値ｓは、単位が距離であるため、仮想ディスプレイＫの画素ピッチＰＰを用いて単位を画素に変換する。従って、シフト値ｓ´は、以下の式（２）で表される。なお、ｒｏｕｎｄ（）は、四捨五入する関数である。
【0073】
【数2】
【0074】
つまり、要素画像生成手段２２Ｂは、要素画像Ｅを生成した後、式（１）及び式（２）でシフト値ｓ´を算出し、シフト値ｓ´だけ要素画像Ｅをシフトさせた要素画像Ｅ´を生成する。なお、要素画像生成手段２２Ｂは、ｘ軸方向と同様、要素画像Ｅをｙ軸方向にもシフトさせればよい。また、要素画像生成手段２２Ｂは、シフト後に要素画像Ｅを表示できない場所が発生しないように、大きなサイズの要素画像Ｅを予め生成するとよい。
【0075】
＜３次元モデルの回転＞
要素画像生成手段２２Ｂは、視点位置に向けて３次元モデルＭを回転させ、回転させた３次元モデルＭから要素画像Ｅを生成する。図１２に示すように、要素画像生成手段２２Ｂは、回転前における３次元モデルＭの正面Ｑが両眼の中点Ｐに向くように３次元モデルＭを回転させる。図１２の例では、視点位置である両目の中点Ｐが回転前における３次元モデルＭの正面Ｑの左側なので、その反対の右側を向くように時計回りで３次元モデルＭを回転させる。なお、３次元モデルＭの回転では、回転角度θが大きい場合、３次元モデルの一部が仮想レンズアレイＬのレンズ面から離れてしまい、ボケてしまうことがある。
要素画像生成手段２２Ｂは、視点位置に向けて３次元モデルＭを回転させ、回転させた３次元モデルＭから要素画像Ｅを生成する。図１２に示すように、要素画像生成手段２２Ｂは、回転前における３次元モデルＭの正面Ｑが両眼の中点Ｐに向くように３次元モデルＭを回転させる。図１２の例では、視点位置である両目の中点Ｐが回転前における３次元モデルＭの正面Ｑの左側なので、その反対の右側を向くように時計回りで３次元モデルＭを回転させる。なお、３次元モデルＭの回転では、回転角度θが大きい場合、３次元モデルの一部が仮想レンズアレイＬのレンズ面から離れてしまい、ボケてしまうことがある。
【0076】
ここで、３次元モデルＭの回転角度θは、以下の式（３）で求められる。つまり、要素画像生成手段２２は、式（３）で回転角度θを算出し、算出した回転角度θだけ回転させた３次元モデルＭから要素画像Ｅを生成すればよい。なお、要素画像生成手段２２Ｂは、ｙ軸方向と同様、３次元モデルＭをｘ軸方向にも回転させればよい。
【0077】
【数3】
【0078】
なお、インテグラル立体表示システム１００Ｂでは、視点追従による通常の視聴と正面視点固定の視聴とを任意の方法で切り替えることができる。例えば、インテグラル立体表示システム１００Ｂでは、視聴者αが携帯端末１を操作することで、通常の視聴と正面視点固定の視聴とを切り替えてもよい。
【0079】
［作用・効果］
以上のように、インテグラル立体表示システム１００Ｂは、コンテンツの制作者が視聴者αに一番見せたい正面視点の３次元映像を表示できるので、映像表現の幅が広がり、立体映像の臨場感を向上させることができる。
以上のように、インテグラル立体表示システム１００Ｂは、コンテンツの制作者が視聴者αに一番見せたい正面視点の３次元映像を表示できるので、映像表現の幅が広がり、立体映像の臨場感を向上させることができる。
【0080】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0081】
視点位置計測処理では、撮影範囲を広くするために広角で撮影することが多く、レンズ歪みの影響が非常に大きくなる。そこで、インテグラル立体表示システムでは、このレンズ歪みを除去することで、両眼の３次元位置の精度を向上させることができる。具体点には、このレンズ歪みを除去するタイミングとしては、顔画像撮影ステップと、顔パーツ検出ステップとが考えられる。レンズ歪みが強く顔エリアを正しく検出できない場合、顔画像撮影ステップでレンズ歪みを検出すればよい。例えば、前記参考文献１に記載の「ｕｎｄｉｓｔｏｒｔ（）関数」を用いて、顔画像全体のレンズ歪みを除去できる。また、顔パーツ検出ステップでは、前記参考文献１に記載の「ｕｎｄｉｓｔｏｒｔＰｏｉｎｔｓ（）関数」を用いることで、顔画像中の点単位でレンズ歪みを除去し、演算処理量を抑制できる。
【0082】
インテグラル立体表示システムでは、携帯端末のタッチパネル操作をサーバに送信することで、視点位置を変更することなく３次元モデルを様々な角度から閲覧できるようになる。例えば、インテグラル立体表示システムは、ピンチイン・アウトに応じて３次元モデルの拡大又は縮小した後、要素画像を生成すればよい。また、インテグラル立体表示システムでは、上下左右のスワイプに応じて３次元モデルを回転させ後、要素画像を生成すればよい。
【符号の説明】
【0083】
１，１Ａ 携帯端末
２，２Ａ サーバ（要素画像生成装置）
１０，１０Ａ 通信手段
１１ 撮影手段
１２ 顔エリア検出手段
１３ 顔パーツ検出手段
１４ 表示手段
１５ ３次元化手段（３次元位置算出手段）
２０，２０Ａ 通信手段
２１ ３次元化手段（３次元位置算出手段）
２２，２２Ａ，２２Ｂ 要素画像生成手段
９０ 顔画像
９１ 顔エリア
９２ 検出領域
９３ 顔パーツの画像座標
９４ 顔パーツの３次元位置
９５ 両目の３次元位置
１００，１００Ａ，１００Ｂ インテグラル立体表示システム
Ｅ 要素画像
ＮＷ ネットワーク
Ｐ 中点
Ｖ 多視点画像
２，２Ａ サーバ（要素画像生成装置）
１０，１０Ａ 通信手段
１１ 撮影手段
１２ 顔エリア検出手段
１３ 顔パーツ検出手段
１４ 表示手段
１５ ３次元化手段（３次元位置算出手段）
２０，２０Ａ 通信手段
２１ ３次元化手段（３次元位置算出手段）
２２，２２Ａ，２２Ｂ 要素画像生成手段
９０ 顔画像
９１ 顔エリア
９２ 検出領域
９３ 顔パーツの画像座標
９４ 顔パーツの３次元位置
９５ 両目の３次元位置
１００，１００Ａ，１００Ｂ インテグラル立体表示システム
Ｅ 要素画像
ＮＷ ネットワーク
Ｐ 中点
Ｖ 多視点画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】