(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023179864
(43)【公開日】2023-12-20
(54)【発明の名称】視点変換装置及びそのプログラム
(51)【国際特許分類】
H04N 13/111 20180101AFI20231213BHJP
G06T 19/00 20110101ALI20231213BHJP
【ＦＩ】
H04N13/111
G06T19/00 A
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022092747
(22)【出願日】2022-06-08
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】宮下 山斗
(72)【発明者】
【氏名】澤畠 康仁
(72)【発明者】
【氏名】界 瑛宏
(72)【発明者】
【氏名】小峯 一晃
【テーマコード（参考）】
5B050
5C061
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050CA01
5B050EA26
5B050FA02
5C061AA29
5C061AB24
(57)【要約】 （修正有）
【課題】立体映像の視点を変換する際、余白による構図を維持する視点変換装置及びそのプログラムを提供する。
【解決手段】視点変換装置１において、演算部１０は、被写体を正規化スクリーンに投影したときの各頂点ｖｉの座標を算出する頂点座標算出部１２と、各頂点のうちの最上点及び最下点を選択する最上点最下点選択部１３と、上側余白及び下側余白を算出する余白算出部１４と、上側余白と下側余白との余白比ｒｖが予め設定された値となるように変換パラメータαを算出する変換パラメータ算出部１５と、を備える。
【選択図】図３
【解決手段】視点変換装置１において、演算部１０は、被写体を正規化スクリーンに投影したときの各頂点ｖｉの座標を算出する頂点座標算出部１２と、各頂点のうちの最上点及び最下点を選択する最上点最下点選択部１３と、上側余白及び下側余白を算出する余白算出部１４と、上側余白と下側余白との余白比ｒｖが予め設定された値となるように変換パラメータαを算出する変換パラメータ算出部１５と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
第１立体映像表示装置が表示する立体映像を、前記第１立体映像表示装置と異なる角度の表示画面を有する第２立体映像表示装置で表示するために、前記立体映像の視点を変換する視点変換装置であって、
前記視点に位置する仮想カメラから単位距離で前記仮想カメラの光軸に直交する正規化スクリーンを予め設定し、前記立体映像の被写体を前記正規化スクリーンに投影したときの各頂点の座標を算出する頂点座標算出部と、
前記頂点座標算出部が算出した各頂点のうちの最上点及び最下点を選択する最上点最下点選択部と、
前記正規化スクリーンの上枠から前記最上点までの上側余白と、前記正規化スクリーンの下枠から前記最上点までの下側余白とを算出する余白算出部と、
前記上側余白と前記下側余白との余白比が予め設定された値となるように、前記被写体を前記第２立体映像表示装置の表示画面に沿って移動させる移動量を変換パラメータとして算出する変換パラメータ算出部と、
を備えることを特徴とする視点変換装置。
前記視点に位置する仮想カメラから単位距離で前記仮想カメラの光軸に直交する正規化スクリーンを予め設定し、前記立体映像の被写体を前記正規化スクリーンに投影したときの各頂点の座標を算出する頂点座標算出部と、
前記頂点座標算出部が算出した各頂点のうちの最上点及び最下点を選択する最上点最下点選択部と、
前記正規化スクリーンの上枠から前記最上点までの上側余白と、前記正規化スクリーンの下枠から前記最上点までの下側余白とを算出する余白算出部と、
前記上側余白と前記下側余白との余白比が予め設定された値となるように、前記被写体を前記第２立体映像表示装置の表示画面に沿って移動させる移動量を変換パラメータとして算出する変換パラメータ算出部と、
を備えることを特徴とする視点変換装置。
【請求項2】
前記被写体の形状をバウンディングボックスで抽象化する被写体抽象化部、をさらに備え、
前記頂点座標算出部は、前記バウンディングボックスで抽象化した被写体を前記正規化スクリーンに投影したときの各頂点座標を算出することを特徴とする請求項１に記載の視点変換装置。
前記頂点座標算出部は、前記バウンディングボックスで抽象化した被写体を前記正規化スクリーンに投影したときの各頂点座標を算出することを特徴とする請求項１に記載の視点変換装置。
【請求項3】
前記第１立体映像表示装置は、垂直方向の表示画面を有する据置型ディスプレイであることを特徴とする請求項１に記載の視点変換装置。
【請求項4】
前記第２立体映像表示装置は、水平方向の表示画面を有するテーブルトップ型ディスプレイであることを特徴とする請求項１に記載の視点変換装置。
【請求項5】
前記変換パラメータに基づいて、前記立体映像の視点を変換する視点変換部、をさらに備えることを特徴とする請求項１に記載の視点変換装置。
【請求項6】
コンピュータを、請求項１から請求項５の何れか一項に記載の視点変換装置として機能さるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視点変換装置及びそのプログラムに関する。
【背景技術】
【0002】
立体映像表示装置は、家庭で普及している垂直画面の据置型ディスプレイだけではなく、携帯端末（例えば、スマートフォンやタブレット）、テーブルトップ型ディスプレイ、ＨＭＤ（Head Mounted Display）など様々な形態に多様化していくことが予想される。同一のコンテンツ（立体映像）を異なる形態の立体映像表示装置に適した映像表現で配信できれば、日常生活における視聴の機会が増えるとともに、各立体映像表示装置の特性を活かした体験が期待できる。ここで、各立体映像表示装置の形態に応じて適切な映像表現となるように、立体映像の視点を変換する従来技術が提案されている（特許文献１及び非特許文献１－６）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４２７２９６６号公報
【非特許文献】
【0004】
【非特許文献1】Vamsi Kiran Adhikarla, Fabio Marton, Tibor Balogh, and Enrico Gobbetti. 2015. Real-time adaptive content retargeting for live multi-view capture and light field display. Vis. Comput. 31, 6-8 (2015), 1023-1032
【非特許文献2】Manuel Lang, Alexander Hornung, Oliver Wang, Steven Poulakos, Aljoscha Smolic, and Markus Gross. 2010. Nonlinear disparity mapping for stereoscopic 3D. ACM SIGGRAPH 2010
【非特許文献3】Belen Masia, Gordon Wetzstein, Carlos Aliaga, Ramesh Raskar, and Diego Gutierrez. 2013. Display adaptive 3D content remapping. Comput. Graph. 37, 8 (2013), 983-996.
【非特許文献4】Pere-Pau Vazquez, Miquel Feixas, Mateu Sbert, and Wolfgang Heidrich. 2001. Viewpoint selection using viewpoint entropy. labelManagement vi... Vision, Model. Vis. Work. (2001), 273-280.
【非特許文献5】Mateu Sbert, Dimitri Plemenos, Miquel Feixas, and Francisco Gonzalez,Viewpoint Quality: Measures and Applications, In Proceedings of the First Eurographics conference on Computational Aesthetics in Graphics 2005.
【非特許文献6】Miquel Feixas, Mateu Sbert, and Francisco Gonzalez. 2009. A unified information-theoretic framework for viewpoint selection and mesh saliency. ACM Trans. Appl. Percept. 6, 1 (2009)
【発明の概要】
【発明が解決しようとする課題】
【0005】
前記した従来技術では、立体映像を変換する際、余白比による構図を考慮していないという問題がある。図６を参照し、従来技術の問題点を具体的に説明する。図６には、据置型ディスプレイ９０が表示する立体映像の視点を、テーブルトップ型ディスプレイ９１で表示するために変換する例を図示した。
【0006】
なお、矢印ａは、テーブルトップ型ディスプレイ９１が再現する仮想空間の水平方向を表す。また、破線ｂは、テーブルトップ型ディスプレイ９１の中心と視聴者９の位置とを結んでおり、仮想カメラの撮影方向を表す。この仮想カメラは、仮想空間内の被写体Ｏｂｊを仮想的に撮影するカメラのことであり、通常、視点位置（視聴者９の位置）に配置されている。以後、仮想カメラを「カメラ」と略記する場合がある。また、角度θは、仮想空間の水平方向とカメラの撮影方向とのなす角、つまり、矢印ａと破線ｂとのなす角を表す。
【0007】
図６（ｂ）に示すように、据置型ディスプレイ９０とテーブルトップ型ディスプレイ９１との間において、被写体Ｏｂｊの網膜像が等しくなるように立体映像の視点を変換する場合を考える（θ＝０）。この場合、仮想世界と現実世界の間で、重力方向又は水平方向の不一致が生じる可能性がある。このような不一致が極端に大きくなると、視聴者９に違和感を与えてしまう。
【0008】
図６（ｃ）に示すように、据置型ディスプレイ９０とテーブルトップ型ディスプレイ９１との間において、仮想世界と現実世界の重力方向を一致させるように立体映像の視点を変換する場合を考える（例えば、θ＝π／４）。この場合、据置型ディスプレイ９０とテーブルトップ型ディスプレイ９１との間で被写体Ｏｂｊを見込むときの角度θの乖離が大きくなり、立体映像の制作者が意図しない映像表現にならないときがある。このため、図６（ｄ）に示すように、重力方向の一致度や角度θの類似度のバランスが適切になるように、角度θを調整する必要がある（例えば、θ＝π／８）。
【0009】
ここで、異なる形態の立体映像表示装置間で立体映像の視点を変換する際、単純に被写体Ｏｊｂを中心にカメラを回転させるだけでは、余白による構図を維持できない場合がある。図７（ａ）に示すように、据置型ディスプレイ９０では、被写体Ｏｂｊの輪郭から上下の画面枠までの余白比が約０．７７５である。なお、この余白比は、画面上枠から被写体上端までの長さＬＵと、画面下枠から被写体下端までの長さＬＤとの比である。
【0010】
これに対し、図７（ｂ）に示すように、テーブルトップ型ディスプレイ９１で表示するときに被写体Ｏｂｊを回転させない場合（θ＝０）、余白比が約０．３５７である。また、図７（ｃ）に示すように、被写体Ｏｂｊを角度θ＝π／４だけ回転させた場合、余白比が約０．３５１である。さらに、図７（ｄ）に示すように、被写体Ｏｂｊを角度θ＝π／８だけ回転させた場合、余白比が約０．３６７である。このように、立体映像の視点変換後、テーブルトップ型ディスプレイ９１では余白比が０．３５付近で変動し、据置型ディスプレイ９０で表示したときの余白による構図を維持できていない。
なお、図７では、視聴者９がテーブルトップ型ディスプレイ９１を斜め下方向に見下ろすので、テーブルトップ型ディスプレイ９１が台形状となっている。
なお、図７では、視聴者９がテーブルトップ型ディスプレイ９１を斜め下方向に見下ろすので、テーブルトップ型ディスプレイ９１が台形状となっている。
【0011】
本発明は、立体映像の視点を変換する際、余白による構図を維持できる視点変換装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0012】
前記課題を解決するため、本発明に係る視点変換装置は、第１立体映像表示装置が表示する立体映像を、第１立体映像表示装置と異なる角度の表示画面を有する第２立体映像表示装置で表示するために、立体映像の視点を変換する視点変換装置であって、頂点座標算出部と、最上点最下点選択部と、余白算出部と、変換パラメータ算出部と、を備える構成とした。
【0013】
かかる構成によれば、頂点座標算出部は、視点に位置する仮想カメラから単位距離で仮想カメラの光軸に直交する正規化スクリーンを予め設定し、立体映像の被写体を正規化スクリーンに投影したときの各頂点の座標を算出する。
最上点最下点選択部は、頂点座標算出部が求めた各頂点の座標のうちの最上点及び最下点を選択する。
最上点最下点選択部は、頂点座標算出部が求めた各頂点の座標のうちの最上点及び最下点を選択する。
【0014】
余白算出部は、正規化スクリーンの上枠から最上点までの上側余白と、正規化スクリーンの下枠から最上点までの下側余白とを算出する。
変換パラメータ算出部は、上側余白と下側余白との余白比が予め設定された値となるように、被写体を第２立体映像表示装置の表示画面に沿って移動させる移動量を変換パラメータとして算出する。
変換パラメータ算出部は、上側余白と下側余白との余白比が予め設定された値となるように、被写体を第２立体映像表示装置の表示画面に沿って移動させる移動量を変換パラメータとして算出する。
【0015】
この変換パラメータを用いれば、第１立体映像表示装置が表示する立体映像を第２立体映像表示装置で表示する際、最上点及び最下点と余白との関係を調整するので、余白による構図を維持することができる。
【0016】
なお、本発明は、コンピュータを前記した視点変換装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0017】
本発明によれば、立体映像の視点を変換する際、余白による構図を維持することができる。
【図面の簡単な説明】
【0018】
【図1】実施形態において、被写体の重心を表示画面に沿って移動させる手法を説明する図である。
【図2】実施形態において、（ａ）は被写体の形状の抽象化を説明する図であり、（ｂ）は正規化スクリーンへの投影を説明する説明図であり、（ｃ）は最上点と最下点の選択を説明する図である。
【図3】実施形態に視点変換装置の構成を示すブロック図である。
【図4】実施形態に視点変換装置の動作を示すフローチャートである。
【図5】実施形態において、立体映像の視点を変換した例を示す図である。
【図6】（ａ）～（ｄ）は、従来技術における立体映像の視点を変換した例を示す図である。
【図7】（ａ）～（ｄ）は、従来技術における余白を説明する図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0020】
（実施形態）
［視点変換の手法］
以下、実施形態に係る視点変換装置１を説明する前提として、視点変換の具体的手法について説明する。
余白による構図を維持するために、立体映像の視点を変換する際、被写体Ｏｂｊの中心を回転軸とするカメラの回転に加えて、カメラを平行移動する。図１に示すように、このカメラ操作は、カメラを視点ｃに固定し、被写体Ｏｂｊを回転させた後、被写体Ｏｂｊを平行移動することと同義である。つまり、被写体Ｏｂｊを回転させた後、被写体Ｏｂｊの重心ｖｇをテーブルトップ型ディスプレイ９１の表示画面（実スクリーン）９１ａと平行に移動させることで、立体映像の視点を変換する。なお、図１では、移動前の被写体Ｏｂｊの表示状態を濃く、移動前の被写体Ｏｂｊの表示状態を薄く図示した。
［視点変換の手法］
以下、実施形態に係る視点変換装置１を説明する前提として、視点変換の具体的手法について説明する。
余白による構図を維持するために、立体映像の視点を変換する際、被写体Ｏｂｊの中心を回転軸とするカメラの回転に加えて、カメラを平行移動する。図１に示すように、このカメラ操作は、カメラを視点ｃに固定し、被写体Ｏｂｊを回転させた後、被写体Ｏｂｊを平行移動することと同義である。つまり、被写体Ｏｂｊを回転させた後、被写体Ｏｂｊの重心ｖｇをテーブルトップ型ディスプレイ９１の表示画面（実スクリーン）９１ａと平行に移動させることで、立体映像の視点を変換する。なお、図１では、移動前の被写体Ｏｂｊの表示状態を濃く、移動前の被写体Ｏｂｊの表示状態を薄く図示した。
【0021】
なお、仮想空間の水平方向を表す矢印ａとカメラの撮影方向を表す破線ｂとの角度θが、被写体Ｏｂｊの回転角（つまり、カメラの回転角）を表す。また、視点を変換する際、被写体Ｏｂｊの位置が奥行き方向に変動することを防止するため、被写体Ｏｂｊの移動距離を制作者が手動で設定するものとする。
【0022】
本実施形態では、被写体Ｏｂｊが自動車であることとして説明するが、被写体Ｏｂｊの種類は特に制限されない。また、被写体Ｏｂｊの３次元形状が既知である必要があるため、対象となるシーンはメッシュ構造や点群形式からなる３次元ＣＧ(Computer Graphics)を前提とする。
【0023】
視点変換後、被写体Ｏｂｊの重心ｖｇは、未知数である変換パラメータαを用いて、以下の式（１）で表される。
【0024】
【数1】
【0025】
なお、ｓｃが表示画面９１ａの中心座標を表し、ｄが表示画面９１ａと被写体Ｏｂｊとの距離を表す。また、ｎが表示画面９１ａに対する単位法線ベクトルを表し、ｔが表示画面９１ａに平行で上向きの単位ベクトルを表す。
【0026】
被写体Ｏｂｊが複雑な形状の場合、被写体Ｏｂｊの重心ｖｇの変化に応じて余白を正確に求めようとすると、その演算量が膨大になる。このため、被写体Ｏｂｊの形状を抽象化した後、余白を求める。具体的には、図２（ａ）に示すように、被写体Ｏｂｊの形状をバウンディングボックスＢｏｘで抽象化し、箱状に抽象化した被写体Ｏｂｊから頂点ｖｉの座標を求める。ここで、視点変換後における被写体Ｏｂｊの各頂点ｖｉの座標は、以下の式（２）で表される。
【0027】
【数2】
【0028】
なお、ｖｉ￣は、視点変換前において、被写体Ｏｂｊの重心ｖｇから箱状に抽象化した被写体Ｏｂｊの各頂点（つまり、バウンディングボックスＢｏｘの各頂点）に向かうベクトルを表す。ここで、バウンディングボックスＢｏｘとは、仮想空間において、被写体Ｏｂｊを囲う直方体状の境界を指す。
また、バウンディングボックスＢｏｘで被写体Ｏｂｊの形状を抽象化した場合、被写体Ｏｂｊの重心ｖｇは、バウンディングボックスＢｏｘの各頂点ｖｉ￣の平均とすればよい。
また、バウンディングボックスＢｏｘで被写体Ｏｂｊの形状を抽象化した場合、被写体Ｏｂｊの重心ｖｇは、バウンディングボックスＢｏｘの各頂点ｖｉ￣の平均とすればよい。
【0029】
式（２）に式（１）を代入すると、各頂点ｖｉの座標は、以下の式（３）で表される。
【0030】
【数3】
【0031】
式（３）における定数ベクトルを式（４）のｈｉとおくと、各頂点ｖｉの座標は、以下の式（５）で表される。
【0032】
【数4】
【数5】
【0033】
図２（ｂ）に示すように、各頂点ｖｉを正規化スクリーン９１ｂに投影することを考える。この正規化スクリーン９１ｂは、視点ｃに位置するカメラから単位距離（例えば、１メートル）でカメラの光軸に直交する平面である。このとき、頂点ｖｉを正規化スクリーン９１ｂに投影したときの投影点の同次座標ｖ´ｉ￣は、変換行列を用いて以下の式（６）及び式（７）で表される。
【0034】
【数6】
【数7】
【0035】
なお、Ｐは正規化スクリーン９１ｂへの投影行列を表し、Ｍはワールド座標系からカメラ座標系への変換行列を表す。また、Ｈｉは定数ベクトルｈｉ＝（ｈｉ，ｘ，ｈｉ，ｙ，ｈｉ，ｚ）の方向に平行移動する行列を表し、Ａはベクトルをα倍に拡大する行列を表す。
【0036】
また、図２（ｂ）では、ｓ１～ｓ４は、表示画面９１ａの４つの頂点を表す。また、頂点ｓ´１～ｓ´４は、表示画面９１ａの頂点ｓ１～ｓ４を正規化スクリーン９１ｂに投影した点である。
【0037】
式（６）の同次座標ｖｉ´￣＝（ｖ´ｉ，ｘ￣，ｖ´ｉ，ｙ￣，ｖ´ｉ，ｚ￣）を３次元ベクトルに変換し、式（８）で表される頂点ｖ´ｉを得る。なお、ｖ´ｉ，ｗ￣は、同次座標ｖｉ´￣のｗ成分を表す。
【0038】
【数8】
【0039】
次に、図２（ｃ）に示すように、正規化スクリーン９１ｂへ投影された８つの頂点ｖ´ｉの座標から、以下の式（９）～式（１１）に示すように、最も上に位置する最上点ｖ´ｔｏｐと、最も下に位置する最下点ｖ´ｂｏｔｔｏｍを選択する。なお、ｋは、正規化スクリーン９１ｂで上方向の単位ベクトルを表す。
【0040】
【数9】
【数10】
【数11】
【0041】
つまり、最上点ｖ´ｔｏｐは、頂点ｖ´ｉのうち、上枠ｓ´１－ｓ´４に最も近い点である。また、最下点ｖ´ｂｏｔｔｏｍは、頂点ｖ´ｉのうち、下枠ｓ´２－ｓ´３に最も近い点である。また、式（１１）では左手系座標系を想定しており、正規化スクリーン９１ｂの上方向が左手系座標系のｙ軸となる。このとき、カメラ位置（視点ｃ）が表示画面９１ａの水平方向中央であり、かつ、カメラがロールしないこととする。
【0042】
正規化スクリーン９１ｂの上枠ｓ´１－ｓ´４から最上点ｖ´ｔｏｐまでの上側余白ｍ´ｔｏｐは、以下の式（１２）で表される。また、正規化スクリーン９１ｂの下枠ｓ´２－ｓ´３から最下点ｖ´ｂｏｔｔｏｍまでの下側余白ｍ´ｂｏｔｔｏｍは、以下の式（１３）で表される。
【0043】
【数12】
【数13】
【0044】
ここで、上下の余白比ｒｖを以下の式（１４）で定義する。すると、以下の式（１５）で表される関係式が得られる。
【0045】
【数14】
【数15】
【0046】
式（１５）から未知数である変換パラメータαを求め、この変換パラメータαを式（１）へ代入することで、予め設定された余白比ｒｖを満たす被写体Ｏｂｊの重心ｖｇが得られる。
【0047】
［視点変換装置の構成］
図３を参照し、視点変換装置１の構成について説明する。
視点変換装置１は、第１立体映像表示装置が表示する立体映像を、第１立体映像表示装置と異なる角度の表示画面を有する第２立体映像表示装置で表示するために、立体映像の視点を変換するものである。
図３を参照し、視点変換装置１の構成について説明する。
視点変換装置１は、第１立体映像表示装置が表示する立体映像を、第１立体映像表示装置と異なる角度の表示画面を有する第２立体映像表示装置で表示するために、立体映像の視点を変換するものである。
【0048】
本実施形態では、第１立体映像表示装置が、垂直方向の表示画面を有する据置型ディスプレイ９０であることとする。また、第２立体映像表示装置が、水平方向の表示画面を有するテーブルトップ型ディスプレイ９１であることとする。
【0049】
図３に示すように、視点変換装置１は、演算部１０と、描画部（視点変換部）２０とを備える。また、演算部１０は、被写体抽象化部１１と、頂点座標算出部１２と、最上点最下点選択部１３と、余白算出部１４と、変換パラメータ算出部１５とを備える。
【0050】
ここで、演算部１０には、実スクリーン及びカメラの位置姿勢情報｛ｓ１，…，ｓ４｝，ｃと、視点変換前の被写体Ｏｂｊの位置姿勢情報（ｖｇ，ｖｉ￣）を入力する。前記した角度θは、実スクリーン及びカメラの位置姿勢情報｛ｓ１，…，ｓ４｝，ｃと、視点変換前の被写体Ｏｂｊの位置姿勢情報（ｖｇ，ｖｉ￣）から求めることができる。さらに、演算部１０には、制作者が手動で設定したパラメータ（距離ｄ、余白比ｒｖ）を入力する。
【0051】
被写体抽象化部１１は、被写体Ｏｂｊの形状をバウンディングボックスＢｏｘで抽象化するものである。図２（ａ）に示すように、被写体抽象化部１１は、被写体Ｏｂｊの形状を箱状に抽象化する。例えば、バウンディングボックスＢｏｘは、被写体Ｏｂｊが内接するサイズであればよい。
【0052】
頂点座標算出部１２は、正規化スクリーン９１ｂを予め設定し、立体映像の被写体Ｏｂｊを正規化スクリーン９１ｂに投影したときの各頂点ｖ´ｉの座標を算出するものである。本実施形態では、頂点座標算出部１２は、バウンディングボックスＢｏｘで抽象化した被写体Ｏｂｊを正規化スクリーン９１ｂに投影したときの各頂点ｖ´ｉの座標を算出する。具体的には、頂点座標算出部１２は、前記した式（２）～式（８）を用いて、各頂点ｖ´ｉの座標を算出する。
【0053】
最上点最下点選択部１３は、頂点座標算出部１２が算出した各頂点ｖ´ｉのうちの最上点ｖ´ｔｏｐ及び最下点ｖ´ｂｏｔｔｏｍを選択するものである。具体的には、最上点最下点選択部１３は、前記した式（９）～式（１１）を用いて、最上点ｖ´ｔｏｐ及び最下点ｖ´ｂｏｔｔｏｍを選択する。
【0054】
余白算出部１４は、正規化スクリーン９１ｂの上枠ｓ´１－ｓ´４から最上点ｖ´ｔｏｐまでの上側余白ｍ´ｔｏｐと、正規化スクリーン９１ｂの下枠ｓ´２－ｓ´３から最上点までの下側余白ｍ´ｂｏｔｔｏｍとを算出するものである。具体的には、余白算出部１４は、前記した式（１２）及び式（１３）を用いて、上側余白ｍ´ｔｏｐ及び下側余白ｍ´ｂｏｔｔｏｍを算出する。
【0055】
変換パラメータ算出部１５は、上側余白ｍ´ｔｏｐと下側余白ｍ´ｂｏｔｔｏｍとの余白比が予め設定された値ｒｖとなるように、被写体ｏｂｊを表示画面９１ａに沿って移動させる移動量を変換パラメータαとして算出するものである。具体的には、変換パラメータ算出部１５は、式（１４）及び式（１５）を解くことで、変換パラメータαを算出する。その後、演算部１０は、算出した変換パラメータαを描画部２０に出力する。
【0056】
描画部２０は、変換パラメータαに基づいて、立体映像の視点を変換するものである。具体的には、描画部２０は、演算部１０から入力された変換パラメータαを式（１）に代入することで、制作者が設定した余白比ｒｖを満たすような被写体Ｏｂｊの重心ｖｇを求めることができる。そして、描画部２０は、重心ｖｇに位置する被写体Ｏｂｊを視点ｃのカメラで撮影することで、立体映像を描画（レンダリング）する。
【0057】
［視点変換装置の動作］
図４を参照し、視点変換装置１の動作について説明する。
図４に示すように、ステップＳ１において、視点変換装置１には、各種パラメータを入力する。
ステップＳ２において、被写体抽象化部１１は、被写体Ｏｂｊの形状をバウンディングボックスＢｏｘで抽象化する。
図４を参照し、視点変換装置１の動作について説明する。
図４に示すように、ステップＳ１において、視点変換装置１には、各種パラメータを入力する。
ステップＳ２において、被写体抽象化部１１は、被写体Ｏｂｊの形状をバウンディングボックスＢｏｘで抽象化する。
【0058】
ステップＳ３において、頂点座標算出部１２は、正規化スクリーン９１ｂを予め設定し、立体映像の被写体Ｏｂｊを正規化スクリーン９１ｂに投影したときの各頂点ｖ´ｉの座標を算出する。
ステップＳ４において、最上点最下点選択部１３は、ステップＳ３で算出した各頂点ｖ´ｉのうちの最上点ｖ´ｔｏｐ及び最下点ｖ´ｂｏｔｔｏｍを選択する。
ステップＳ４において、最上点最下点選択部１３は、ステップＳ３で算出した各頂点ｖ´ｉのうちの最上点ｖ´ｔｏｐ及び最下点ｖ´ｂｏｔｔｏｍを選択する。
【0059】
ステップＳ５において、余白算出部１４は、上側余白ｍ´ｔｏｐ及び下側余白ｍ´ｂｏｔｔｏｍを算出する。
ステップＳ６において、変換パラメータ算出部１５は、上側余白ｍ´ｔｏｐと下側余白ｍ´ｂｏｔｔｏｍとの余白比が予め設定された値ｒｖとなるように変換パラメータαを算出する。
ステップＳ７において、描画部２０は、変換パラメータαに基づいて、立体映像の視点を変換する。
ステップＳ６において、変換パラメータ算出部１５は、上側余白ｍ´ｔｏｐと下側余白ｍ´ｂｏｔｔｏｍとの余白比が予め設定された値ｒｖとなるように変換パラメータαを算出する。
ステップＳ７において、描画部２０は、変換パラメータαに基づいて、立体映像の視点を変換する。
【0060】
［作用・効果］
図５には、余白比ｒｖが１、すなわち、上側余白ｍ´ｔｏｐ及び下側余白ｍ´ｂｏｔｔｏｍが均等になるように設定したときに角度θを変化させた立体映像を図示した。図５の例では、距離ｄ＝－０．１，０，０．１、角度θ＝０，π／８，π／４，３π／８，π／２に変化させている。図５に示すように、視点変換装置１は、角度θを変化させた場合でも、最上点及び最下点と余白との関係を調整するので、余白による構図を維持できる。これにより、制作者の意図が反映された立体映像の制作が容易になる。
図５には、余白比ｒｖが１、すなわち、上側余白ｍ´ｔｏｐ及び下側余白ｍ´ｂｏｔｔｏｍが均等になるように設定したときに角度θを変化させた立体映像を図示した。図５の例では、距離ｄ＝－０．１，０，０．１、角度θ＝０，π／８，π／４，３π／８，π／２に変化させている。図５に示すように、視点変換装置１は、角度θを変化させた場合でも、最上点及び最下点と余白との関係を調整するので、余白による構図を維持できる。これにより、制作者の意図が反映された立体映像の制作が容易になる。
【0061】
（変形例）
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0062】
前記した実施形態では、上下方向の余白比による構図を維持する例で説明したが、視点変換装置は、左右方向の余白比による構図も同様に維持できる。
【0063】
前記した実施形態では、第１立体映像表示装置及び第２立体映像表示装置の表示画面が四角形状であることとして説明したが、表示画面の形状は特に制限されない。例えば、視点変換装置は、円形や楕円などの任意の形状の表示画面であっても、表示画面の縁の情報が得られれば、同様に余白比による構図も同様に維持できる。
【0064】
前記した実施形態では、立体映像が静止画であることとして説明したが、立体映像は動画であってもよい。この場合、バウンディングボックスのサイズは、被写体が動く範囲とすればよい。
【0065】
前記した実施形態では、被写体の形状をバウンディングボックスで抽象化することとして説明したが、被写体の形状を抽象化せずともよい。この場合、頂点座標算出部が被写体の頂点毎に座標を算出し、最上点最下点選択部が各頂点の座標のうちの最上点及び最下点を選択すればよい。つまり、式（９）及び式（１０）の頂点数を変えればよい。
【0066】
前記した実施形態では、視点変換装置が立体映像を描画することとして説明したが、これに限定されない。例えば、配信側に配置した視点変換装置で変換パラメータを算出し、視聴者側に配置した描画装置に変換パラメータを送信してもよい。この場合、視聴者側の描画装置が立体映像を描画することになる。
【0067】
前記した実施形態では、視点変換装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した視点変換装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0068】
１ 視点変換装置
１０ 演算部
１１ 被写体抽象化部
１２ 頂点座標算出部
１３ 最上点最下点選択部
１４ 余白算出部
１５ 変換パラメータ算出部
２０ 描画部（視点変換部）
１０ 演算部
１１ 被写体抽象化部
１２ 頂点座標算出部
１３ 最上点最下点選択部
１４ 余白算出部
１５ 変換パラメータ算出部
２０ 描画部（視点変換部）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
