特許 7253971 ３Ｄ映像の奥行き制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-30

(45)【発行日】2023-04-07

(54)【発明の名称】３Ｄ映像の奥行き制御装置及びプログラム

(51)【国際特許分類】

   H04N 13/128 20180101AFI20230331BHJP

   H04N 13/337 20180101ALI20230331BHJP

   G06F 3/0484 20220101ALI20230331BHJP

   G09G 5/00 20060101ALI20230331BHJP

   G09G 5/36 20060101ALI20230331BHJP

   G06T 19/00 20110101ALI20230331BHJP

【ＦＩ】

H04N13/128

H04N13/337

G06F3/0484

G09G5/00 510H

G09G5/36 500

G09G5/00 550H

G06T19/00 F

【請求項の数】 4

(21)【出願番号】P 2019089058

(22)【出願日】2019-05-09

(65)【公開番号】P2020184721

(43)【公開日】2020-11-12

【審査請求日】2022-04-01

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】宮下 山斗

(72)【発明者】

【氏名】澤畠 康仁

(72)【発明者】

【氏名】小峯 一晃

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】米国特許出願公開第２０１４／００３５９０２（ＵＳ，Ａ１）

【文献】特開２０１７－１１５２０（ＪＰ，Ａ）

【文献】特開２０１２－２３１４０５（ＪＰ，Ａ）

【文献】特開２０１５－９１０７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０９Ｇ ５／００－５／４２

Ｇ０６Ｔ １９／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

ユーザによる３Ｄ映像の制御点操作装置の操作に従って複数の制御点を設定し、前記複数の制御点を表示装置へ出力する制御点設定部と、
所定次数の基底関数が、前記制御点設定部により設定された前記複数の制御点に近似するように、奥行き圧縮関数を生成し、前記奥行き圧縮関数を表示装置へ出力する関数生成部と、
３Ｄ映像を入力し、当該３Ｄ映像に対し、前記関数生成部により生成された前記奥行き圧縮関数を用いて奥行きを圧縮し、奥行き圧縮後の３Ｄ映像を生成する奥行き圧縮部と、
前記奥行き圧縮部により生成された前記奥行き圧縮後の３Ｄ映像を、表示装置へ出力する３Ｄ表示部と、
を備えたことを特徴とする奥行き制御装置。

【請求項2】

請求項１に記載の奥行き制御装置において、
前記奥行き圧縮関数を、圧縮前の奥行き座標値を圧縮後の奥行き座標値に変換する前記所定次数の基底関数とし、
前記制御点を、前記圧縮前の奥行き座標値及び前記圧縮後の奥行き座標値からなる座標点とする、ことを特徴とする奥行き制御装置。

【請求項3】

請求項２に記載の奥行き制御装置において、
前記制御点設定部は、
前記ユーザによる前記制御点操作装置の操作に従って、前記制御点操作装置から、前記複数の制御点のそれぞれに対応する奥行きデータ及び高さデータを入力し、前記奥行きデータ及び前記高さデータに基づいて奥行き高さデータを求め、前記圧縮前の奥行き座標値に対応する前記奥行きデータ、及び前記圧縮後の奥行き座標値に対応する前記奥行き高さデータからなる前記制御点を設定し、
前記関数生成部は、
前記複数の制御点の数をＮとし、前記所定次数をＫとして、式：Ｎ＝Ｋ＋１を満たす場合、前記奥行きデータを要素とする奥行き行列の逆行列と、前記奥行き高さデータを要素とする奥行き高さ行列との積を演算することで、前記所定次数の基底関数における次数毎の係数を決定し、
式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たす場合、前記奥行き行列の疑似逆行列と前記奥行き高さ行列との積を演算することで、前記次数毎の係数を決定する係数決定部と、
前記係数決定部により決定された前記次数毎の係数を、前記所定次数の基底関数に設定し、前記奥行き圧縮関数を決定する関数決定部と、
を備えたことを特徴とする奥行き制御装置。

【請求項4】

コンピュータを、請求項１から３までのいずれか一項に記載の奥行き制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄ映像のシーンの奥行きを圧縮する奥行き制御装置及びプログラムに関する。

【背景技術】

【0002】

従来、３Ｄ映像を表示する装置（以下、「３Ｄ映像表示装置」という。）において、広い奥行きのシーンを表示する際に様々な課題があることが知られている。

【0003】

例えば、３Ｄ映像表示装置として２眼立体ディスプレイを用いた場合には、広い奥行きを表現すると、輻輳と調節の矛盾が大きくなる。また、特別な眼鏡なしで立体像を観ることが可能なボリュメトリックディスプレイを用いた場合には、表示面から奥行き方向に離れた物体がぼやけて表示されるという特徴がある。

【0004】

このような課題を解決するため、シーンの奥行きを圧縮して表示する奥行き圧縮表現技術が研究されている。奥行き圧縮表現は、３Ｄモデルの頂点を幾何学的に制御し、広い奥行きのシーンを狭い範囲に圧し潰す表現である。シーンを圧縮する際には、奥行き方向の圧縮の程度にかかわらず、網膜像に投影されるサイズを維持するような変換処理が行われる。

【0005】

奥行き圧縮表現技術の例としては、単純な形状の非線形関数であるシグモイド（Sigmoid）関数を奥行き圧縮関数として用いた技術が知られている（例えば、非特許文献１を参照）。

【0006】

シグモイド関数は、３Ｄモデルを構成する頂点の初期の奥行き座標値ｚを圧縮後の奥行き座標値ｚ’に変換する関数ｆ（ｚ）＝ｚ’である。このシグモイド関数を奥行き圧縮関数として用いることにより、被写体が観視者から奥行き方向に離れるほど、圧縮の程度を大きくすることができる。

【先行技術文献】

【非特許文献】

【0007】

【文献】Yasuhito Sawahata and Toshiya Morita，“Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Including Sense of Unnaturalness”，IEEE Transactions on Broadcasting Vol.64 No.2 June 2018.

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、シグモイド関数を奥行き圧縮関数として用いた場合には、予め設定された基底関数及び少数のパラメータにより３Ｄ映像のシーンの奥行きが制御されることから、奥行き範囲にある被写体を強調表現する際の自由度が小さい。

【0009】

これは、従来の奥行き圧縮表現技術では、奥行き範囲にある被写体を柔軟に強調表現することが考慮されなかったからである。シグモイド関数は、奥行き圧縮関数として簡潔に記述できるが、複雑な形状の関数ではないため、被写体を強調表現する際の自由度は小さい。

【0010】

ここで、被写体を強調表現するとは、奥行きが制御された後の被写体の画質が、奥行きが制御される前の元の被写体の画質に近くなるように表現することを意味する。

【0011】

３Ｄ映像のシーンにおいて、ある奥行き範囲に１つの被写体が存在する場合、従来の奥行き圧縮表現技術により、その１つの被写体を強調することができる。これに対し、複数の奥行き範囲のそれぞれに被写体が存在する場合には、１つの被写体を強調することはできるが、全ての被写体を強調することができない。

【0012】

このように、従来の奥行き圧縮表現技術では、複数の被写体の奥行きをそれぞれ柔軟に表現することができず、３Ｄ映像制作者の意図を反映した映像を表現することができないという問題があった。

【0013】

このため、シグモイド関数に代わる新たな関数を奥行き圧縮関数として用いることが所望されていた。新たな関数は、ステップが複数存在する複雑な関数であることが想定され、複数の奥行き範囲のそれぞれに被写体が存在する場合であっても、３Ｄ映像制作者の意図を反映して、所望の複数の被写体を強調表現できる関数であることが望ましい。

【0014】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、３Ｄ映像のシーンを奥行き圧縮する際に、３Ｄ映像制作者の意図を反映可能な奥行き制御装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0015】

前記課題を解決するために、請求項１の奥行き制御装置は、ユーザによる３Ｄ映像の制御点操作装置の操作に従って複数の制御点を設定し、前記複数の制御点を表示装置へ出力する制御点設定部と、所定次数の基底関数が、前記制御点設定部により設定された前記複数の制御点に近似するように、奥行き圧縮関数を生成し、前記奥行き圧縮関数を表示装置へ出力する関数生成部と、３Ｄ映像を入力し、当該３Ｄ映像に対し、前記関数生成部により生成された前記奥行き圧縮関数を用いて奥行きを圧縮し、奥行き圧縮後の３Ｄ映像を生成する奥行き圧縮部と、前記奥行き圧縮部により生成された前記奥行き圧縮後の３Ｄ映像を、表示装置へ出力する３Ｄ表示部と、を備えたことを特徴とする。

【0016】

また、請求項２の奥行き制御装置は、請求項１に記載の奥行き制御装置において、前記奥行き圧縮関数を、圧縮前の奥行き座標値を圧縮後の奥行き座標値に変換する前記所定次数の基底関数とし、前記制御点を、前記圧縮前の奥行き座標値及び前記圧縮後の奥行き座標値からなる座標点とする、ことを特徴とする。

【0017】

また、請求項３の奥行き制御装置は、請求項２に記載の奥行き制御装置において、前記制御点設定部が、前記ユーザによる前記制御点操作装置の操作に従って、前記制御点操作装置から、前記複数の制御点のそれぞれに対応する奥行きデータ及び高さデータを入力し、前記奥行きデータ及び前記高さデータに基づいて奥行き高さデータを求め、前記圧縮前の奥行き座標値に対応する前記奥行きデータ、及び前記圧縮後の奥行き座標値に対応する前記奥行き高さデータからなる前記制御点を設定し、前記関数生成部が、前記複数の制御点の数をＮとし、前記所定次数をＫとして、式：Ｎ＝Ｋ＋１を満たす場合、前記奥行きデータを要素とする奥行き行列の逆行列と、前記奥行き高さデータを要素とする奥行き高さ行列との積を演算することで、前記所定次数の基底関数における次数毎の係数を決定し、式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たす場合、前記奥行き行列の疑似逆行列と前記奥行き高さ行列との積を演算することで、前記次数毎の係数を決定する係数決定部と、前記係数決定部により決定された前記次数毎の係数を、前記所定次数の基底関数に設定し、前記奥行き圧縮関数を決定する関数決定部と、を備えたことを特徴とする。

【0018】

さらに、請求項４のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の奥行き制御装置として機能させることを特徴とする。

【発明の効果】

【0019】

以上のように、本発明によれば、３Ｄ映像のシーンを奥行き圧縮する際に、複数の奥行き範囲にある複数の被写体を強調することができ、３Ｄ映像制作者の意図を反映することが可能となる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態による奥行き制御装置を含む奥行き制御システムの全体構成例を説明する概略図である。

【図2】制御点操作装置の外観構成及び出力データの例を説明する概略図である。

【図3】奥行き制御装置の構成例を示すブロック図である。

【図4】奥行き制御装置の処理例を示すフローチャートである。

【図5】関数生成部の構成例を示すブロック図である。

【図6】奥行き圧縮関数ｆを説明する図である。

【図7】奥行き圧縮部による奥行き圧縮の原理を説明する図である。

【図8】３Ｄ映像のシーンにおける俯瞰図の例である。

【図9】３Ｄ映像表示装置に表示される３Ｄ映像の例を示す図である。

【図10】関数表示装置に表示される奥行き圧縮関数ｆ及び制御点Ｃ_i（ｓ_i，ｕ_i）の例を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔奥行き制御システム〕
まず、奥行き制御システムについて説明する。図１は、本発明の実施形態による奥行き制御装置を含む奥行き制御システムの全体構成例を説明する概略図である。この奥行き制御システム１は、制御点操作装置２、奥行き制御装置３、３Ｄ映像表示装置４及び関数表示装置５を備えて構成される。

【0022】

奥行き制御システム１は、当該奥行き制御システム１のユーザである３Ｄ映像制作者による３Ｄ映像の制御点操作装置２の操作に従って複数の制御点Ｃ_iを設定し、複数の制御点Ｃ_iを有する形状（特性）に近くなるように奥行き圧縮関数ｆを生成する。そして、奥行き制御システム１は、奥行き圧縮関数ｆを用いて３Ｄ映像を奥行き圧縮し、奥行き圧縮関数ｆ、制御点Ｃ_i及び奥行き圧縮後の３Ｄ映像を画面表示する。

【0023】

制御点操作装置２は、３Ｄ映像制作者が操作する奥行圧縮関数制御インターフェースである。制御点操作装置２は、予め設定されたフェーダ本数Ｎのそれぞれのフェーダ等に対する３Ｄ映像制作者の操作に従い、奥行き圧縮関数ｆを生成する際に用いる制御点Ｃ_iを設定するための奥行きデータｓ_i及び高さデータｔ_iを生成する。Ｎは３以上の整数であり、ｉ＝０～Ｎ－１である。

【0024】

尚、フェーダ本数Ｎは、３Ｄ映像制作者により自由に変更できるようにしてもよい。フェーダ本数Ｎは、制御点Ｃ_iの数でもある。

【0025】

制御点操作装置２は、フェーダ本数Ｎ、奥行きデータｓ_i及び高さデータｔ_iを奥行き制御装置３へ出力する。制御点操作装置２の詳細については後述する。

【0026】

制御点Ｃ_iは、奥行き圧縮関数ｆの形状を決定するためのデータ、具体的には、奥行き圧縮関数ｆを近似するためのデータである。奥行きデータｓ_iは、圧縮前の奥行き座標値ｚの軸における位置を示す値である。高さデータｔ_iは、奥行き圧縮関数ｆにより奥行き座標値ｚを圧縮変換する際の圧縮度合いを示す値であり、その範囲は０≦ｔ_i≦１である。高さデータｔ_i＝１は、奥行き圧縮されないことを意味し、高さデータｔ_i＝０は、最大の奥行き圧縮がなされることを意味する。

【0027】

奥行き制御装置３は、３Ｄ映像制作者による制御点操作装置２の操作に従い、奥行き圧縮関数ｆを生成し、奥行き圧縮関数ｆを用いて３Ｄ映像を奥行き圧縮する装置である。

【0028】

奥行き制御装置３は、制御点操作装置２からフェーダ本数Ｎ、奥行きデータｓ_i及び高さデータｔ_iを入力すると共に、予め設定された次数Ｋを入力し、さらに３Ｄ映像を入力する。そして、奥行き制御装置３は、奥行きデータｓ_i及び高さデータｔ_iに基づいて制御点Ｃ_iを設定し、次数Ｋの基底関数が制御点Ｃ_iに近似するように、奥行き圧縮関数ｆを生成する。奥行き制御装置３は、奥行き圧縮関数ｆを用いて３Ｄ映像を奥行き圧縮する。

【0029】

奥行き制御装置３は、奥行き圧縮後の３Ｄ映像をレンダリングし、例えば２次元の描画データを生成し、２次元の描画データを３Ｄ映像表示装置４へ出力する。また、奥行き制御装置３は、奥行き圧縮関数ｆ（奥行き圧縮関数ｆの形状を表すデータ）及び制御点Ｃ_iを関数表示装置５へ出力する。奥行き制御装置３の詳細については後述する。

【0030】

３Ｄ映像表示装置４は、奥行き制御装置３から例えば２次元の描画データを入力し、これを３Ｄ映像として画面表示する。関数表示装置５は、奥行き制御装置３から奥行き圧縮関数ｆ及び制御点Ｃ_iを入力し、奥行き圧縮関数ｆの形状及び制御点Ｃ_iを画面表示する。

【0031】

これにより、３Ｄ映像制作者は、３Ｄ映像表示装置４及び関数表示装置５の表示から、リアルタイムに、奥行き圧縮関数ｆによる奥行き圧縮の表現の効果を確かめることができる。

【0032】

また、３Ｄ映像制作者は、奥行き圧縮後の３Ｄ映像及び奥行き圧縮関数ｆの形状をリアルタイムに確認しながら、フェーダ等を操作することで、手動で制御点Ｃ_iを設定し、シーンの特徴に合わせた奥行き圧縮関数ｆを設定することができる。この場合、３Ｄ映像制作者は、フェーダ本数Ｎ及び奥行き圧縮関数ｆの次数Ｋを変更することもできる。

【0033】

したがって、奥行き制御装置３は、３Ｄ映像制作者の意図を反映した、奥行き圧縮された３Ｄ映像を生成することができる。つまり、３Ｄ映像のシーンを奥行き圧縮する際に、複数の奥行き範囲にある所望の複数の被写体を強調することができ、３Ｄ映像制作者の意図を反映することができる。

【0034】

〔制御点操作装置２〕
次に、図１に示した制御点操作装置２について詳細に説明する。図２は、制御点操作装置２の外観構成及び出力データの例を説明する概略図である。この制御点操作装置２は、奥行き操作ダイヤル部３０、高さ操作フェーダ部３１及び奥行きデータ表示部３２を備えている。フェーダ本数Ｎは８とする。

【0035】

奥行き操作ダイヤル部３０は、フェーダ本数Ｎ分のダイヤルからなり、３Ｄ映像制作者がダイヤルを左右に回転操作することで、ダイヤルの回転位置に対応する奥行きデータｓ₀～ｓ₇を生成する。

【0036】

具体的には、奥行き操作ダイヤル部３０は、ダイヤル毎に予め設定されたそれぞれの奥行きデータ基準値に対し、予め設定された範囲内で、ダイヤルの操作によるその回転位置に対応する奥行きデータｓ₀～ｓ₇を生成する。そして、奥行き操作ダイヤル部３０は、奥行きデータｓ₀～ｓ₇を奥行き制御装置３へ出力する。

【0037】

高さ操作フェーダ部３１は、フェーダ本数Ｎ分のフェーダからなり、フェーダ毎に、３Ｄ映像制作者がフェーダをスライド操作することで、予め設定された０≦ｔ_i≦１の範囲内で、フェーダの高さ位置に対応する高さデータｔ₀～ｔ₇を生成する。

【0038】

高さ操作フェーダ部３１は、高さデータｔ₀～ｔ₇を奥行き制御装置３へ出力する。高さデータｔ_iは、ｔ_i-1≦ｔ_i≦ｔ_i+1を満たすものとする。

【0039】

奥行きデータ表示部３２は、フェーダ本数Ｎ分の表示器からなり、奥行き操作ダイヤル部３０により生成された奥行きデータｓ₀～ｓ₇を、対応する表示器にそれぞれ表示する。

【0040】

これにより、３Ｄ映像制作者は、奥行き操作ダイヤル部３０のダイヤル操作に伴う奥行きデータｓ₀～ｓ₇を、奥行きデータ表示部３２にて確認することができる。

【0041】

また、制御点操作装置２は、奥行き操作ダイヤル部３０により生成された奥行きデータｓ_i及び高さ操作フェーダ部３１により生成された高さデータｔ_iを、制御点Ｆ_i（ｓ_i，ｔ_i）として生成することができる。

【0042】

つまり、３Ｄ映像制作者は、奥行き操作ダイヤル部３０のダイヤル及び高さ操作フェーダ部３１のフェーダを操作することにより、制御点Ｆ_i（ｓ_i，ｔ_i）を変更することができる。

【0043】

〔奥行き制御装置３〕
次に、図１に示した奥行き制御装置３について詳細に説明する。図３は、奥行き制御装置３の構成例を示すブロック図であり、図４は、奥行き制御装置３の処理例を示すフローチャートである。

【0044】

奥行き制御装置３は、制御点設定部１０、関数生成部１１、奥行き圧縮部１２及び３Ｄ描画部（３Ｄ表示部）１３を備えている。奥行き制御装置３は、複雑な形状を表現可能なＫ次関数を基底関数として用いる。次数Ｋは、３Ｄ映像制作者が表現したい奥行き圧縮関数ｆの複雑さに応じて予め設定される。尚、次数Ｋは、３Ｄ映像制作者により自由に変更できるようにしてもよい。

【0045】

奥行き制御装置３は、予め設定された次数Ｋを入力し、制御点操作装置２からフェーダ本数Ｎ、奥行きデータｓ_i及び高さデータｔ_iを入力し、さらに３Ｄ映像を入力する（ステップＳ４０１）。

【0046】

（制御点設定部１０）
制御点設定部１０は、奥行きデータｓ_i及び高さデータｔ_iを入力し、パラメータｉ毎に、奥行きデータｓ_iを高さデータｔ_iに乗算することで、奥行き高さデータｕ_iを求める（ｕ_i＝ｓ_i×ｔ_i）。

【0047】

制御点設定部１０は、パラメータｉ毎に、奥行きデータｓ_i及び奥行き高さデータｕ_iからなる制御点Ｃ_i（ｓ_i，ｕ_i）を設定し、制御点リストを関数生成部１１及び関数表示装置５に出力する（ステップＳ４０２）。

【0048】

制御点リストは、制御点Ｃ₀（ｓ₀，ｕ₀）～Ｃ_N-1（ｓ_N-1，ｕ_N-1）から構成される。制御点Ｃ_i（ｓ_i，ｕ_i）において、奥行きデータｓ_iは、圧縮前の奥行き座標値ｚに相当し、奥行き高さデータｕ_iは、圧縮後の奥行き座標値ｚ’に相当する。つまり、制御点Ｃ_i（ｓ_i，ｕ_i）は、圧縮前の奥行き座標値ｚを示す横軸、及び圧縮後の奥行き座標値ｚ’を示す縦軸における座標系上の座標点である。

【0049】

これにより、制御点操作装置２により生成された制御点Ｆ_i（ｓ_i，ｔ_i）が制御点Ｃ_i（ｓ_i，ｕ_i）に変換され、３Ｄ映像制作者は、関数表示装置５にて制御点Ｃ_i（ｓ_i，ｕ_i）の位置を確認することができる。

【0050】

制御点Ｆ_i（ｓ_i，ｔ_i）を制御点Ｃ_i（ｓ_i，ｕ_i）に変換するのは、高さデータｔ_i＝１のときに、圧縮前の奥行き座標値ｚと圧縮後の奥行き座標値ｚ’とが同じになることを考慮したからである。

【0051】

高さデータｔ_i＝１は非圧縮であることを意味し、制御点Ｃ_i（ｓ_i，ｓ_i）となり、ｚ’＝ｚとなる（後述する図６の直線α上の点に相当する）。高さデータｔ_i＝０は最大圧縮であることを意味し、制御点Ｃ_i（ｓ_i，０）となり、ｚ’＝０となる（後述する図６の横軸を参照）。

【0052】

（関数生成部１１）
関数生成部１１は、制御点設定部１０から制御点リストを入力すると共に、予め設定された次数Ｋを入力し、さらに、制御点操作装置２からフェーダ本数Ｎを入力する。

【0053】

関数生成部１１は、次数Ｋの基底関数が制御点Ｃ_i（ｓ_i，ｕ_i）に近似するように、奥行き圧縮関数ｆを生成し、奥行き圧縮関数ｆを奥行き圧縮部１２及び関数表示装置５に出力する（ステップＳ４０３）。

【0054】

これにより、次数Ｋの基底関数及び制御点Ｃ_i（ｓ_i，ｕ_i）から奥行き圧縮関数ｆが生成され、３Ｄ映像制作者は、関数表示装置５にて奥行き圧縮関数ｆの形状を確認することができる。

【0055】

（奥行き圧縮関数ｆの近似処理）
ここで、奥行き圧縮関数ｆの近似処理の原理について説明する。次数Ｋの基底関数を以下の式に示す。ａ_k（ｋ＝０～Ｋ）は、基底関数における次数毎の係数である。前述のとおり、ｚは圧縮前の奥行き座標値であり、ｚ’は圧縮後の奥行き座標値である。つまり、奥行き圧縮関数ｆは、圧縮前の奥行き座標値ｚを圧縮後の奥行き座標値ｚ’に変換する関数である。

【数1】

次数Ｋは、表現の自由度に関連する。係数ａ_k（ｋ＝０～Ｋ）により係数行列ａが構成されるものとする。

【0056】

以下の式に示す誤差Ｅが最小となるように係数行列ａを求めることで、次数Ｋの基底関数を制御点Ｃ_i（ｓ_i，ｕ_i）に近似することができ、そのときの次数Ｋの基底関数を奥行き圧縮関数ｆとすることができる。

【数2】

【0057】

前記式（２）の誤差Ｅが最小となるように係数行列ａを求める場合、以下の式が成り立つ。

【数3】

【0058】

このとき、以下の関係が得られる。

【数4】

奥行き高さ行列ｕは、奥行き高さデータｕ_iから構成され、奥行き行列Ｓは、奥行きデータｓ_i ^kにより構成されるものとする。ｉ＝０～Ｎ－１、ｋ＝０～Ｋである。

【0059】

奥行き行列Ｓは、以下の式で表される。

【数5】

奥行き行列Ｓを構成する各要素は、ｉ＝０のとき奥行きデータｓ₀ ⁰～ｓ₀ ^K＝ｓ₀であり、・・・、ｉ＝Ｎ－１のとき奥行きデータｓ_N-1 ⁰～ｓ_N-1 ^K＝ｓ_N-1である。

【0060】

フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＝Ｋ＋１を満たす場合（フェーダ本数Ｎが次数Ｋに１を加えた値に等しい場合）、奥行き行列Ｓは正則行列（行数と列数が同じ行列）となる。したがって、係数行列ａは、以下の式のとおり、奥行き行列の逆行列Ｓ^-1と奥行き高さ行列ｕの積を演算することで求めることができる。

【数6】

【0061】

一方、フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たす場合（フェーダ本数Ｎが次数Ｋに１を加えた値よりも小さいまたは大きい場合、すなわちフェーダ本数Ｎが次数Ｋに１を加えた値に等しくない場合）、奥行き行列Ｓは正則行列ではない。したがって、係数行列ａは、以下の式のとおり、奥行き行列の疑似逆行列Ｓ⁺と奥行き高さ行列ｕの積を演算することで求めることができる。

【数7】

【0062】

このように、前記式（６）または前記式（７）により係数行列ａを求めることで、次数Ｋの基底関数を制御点Ｃ_i（ｓ_i，ｕ_i）に近似することができ、そのときの次数Ｋの基底関数を奥行き圧縮関数ｆとすることができる。つまり、次数Ｋの基底関数が制御点Ｃ_i（ｓ_i，ｕ_i）に近似するように、奥行き圧縮関数ｆを生成することができる。

【0063】

（関数生成部１１の構成例）
図５は、関数生成部１１の構成例を示すブロック図である。この関数生成部１１は、係数決定部２０及び関数決定部２１を備えている。

【0064】

係数決定部２０は、制御点設定部１０から制御点リストの制御点Ｃ_i（ｓ_i，ｕ_i）を入力すると共に、制御点操作装置２からフェーダ本数Ｎを入力し、さらに、予め設定された次数Ｋを入力する。

【0065】

係数決定部２０は、次数Ｋの基底関数が制御点Ｃ_i（ｓ_i，ｕ_i）に近似するように、係数ａ_kにより構成される係数行列ａを決定する。係数決定部２０は、係数行列ａを構成する係数ａ_kを関数決定部２１に出力する。

【0066】

具体的には、係数決定部２０は、フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＝Ｋ＋１を満たすと判定した場合、前記式（６）を用いて係数行列ａを決定する。すなわち、係数決定部２０は、奥行きデータｓ_i ^kにより構成される奥行き行列の逆行列Ｓ^-1と奥行き高さデータｕ_iにより構成される奥行き高さ行列ｕの積を演算し、係数行列ａを決定する。

【0067】

一方、係数決定部２０は、フェーダ本数Ｎ及び次数Ｋの関係が、式：Ｎ＜Ｋ＋１または式：Ｎ＞Ｋ＋１を満たすと判定した場合、前記式（７）を用いて係数行列ａを決定する。すなわち、係数決定部２０は、奥行き行列の疑似逆行列Ｓ⁺と奥行き高さ行列ｕの積を演算し、係数行列ａを決定する。

【0068】

関数決定部２１は、係数決定部２０から係数ａ_kを入力すると共に、予め設定された次数Ｋを入力する。そして、関数決定部２１は、前記式（１）に示した次数Ｋの基底関数に係数ａ_kを設定し、奥行き圧縮関数ｆを決定する。関数決定部２１は、奥行き圧縮関数ｆを奥行き圧縮部１２及び関数表示装置５に出力する。

【0069】

（奥行き圧縮関数ｆ）
図６は、奥行き圧縮関数ｆを説明する図である。横軸は、圧縮前の奥行き座標値ｚ［ｍ］を示し、縦軸は、圧縮後の奥行き座標値ｚ’［ｍ］を示す。直線αは、高さデータｔ_i＝１のときの奥行き圧縮関数ｆを示し、このときの奥行き圧縮関数ｆは非圧縮の関数であり、ｚ’＝ｆ（ｚ）＝ｚである。

【0070】

丸点は、制御点Ｃ₀（ｓ₀，ｕ₀）～Ｃ₇（ｓ₇，ｕ₇）を示し、図２に示した奥行き操作ダイヤル部３０の各ダイヤルの位置及び高さ操作フェーダ部３１の各フェーダの位置に対応している。

【0071】

制御点Ｃ_i（ｓ_i，ｕ_i）は、圧縮前の奥行き座標値ｚを示す横軸、及び圧縮後の奥行き座標値ｚ’を示す縦軸における座標系上の座標点である。奥行きデータｓ_iは、圧縮前の奥行き座標値ｚ（図６の横軸）に対応し、奥行き高さデータｕ_iは、圧縮後の奥行き座標値ｚ’（図６の縦軸）に対応する。奥行き高さデータｕ_i＝ｓ_iの場合（高さデータｔ_i＝１の場合）、制御点Ｃ_i（ｓ_i，ｕ_i）は直線α上の点にあることを意味する。

【0072】

従来の奥行き圧縮関数はシグモイド関数であり、本発明の実施形態による奥行き圧縮関数ｆは、その形状を制御点Ｃ_i（ｓ_i，ｕ_i）に近似するように生成された関数である。図６の奥行き圧縮関数ｆの形状は、次数Ｋ＝４の場合を示している。

【0073】

図６から、従来の奥行き圧縮関数には、１つのフラットな領域（傾きが０に近い領域、β１）が存在するのに対し、奥行き圧縮関数ｆには、２つのフラットな領域（β２，β３）が存在することがわかる。

【0074】

３Ｄ映像制作者は、図２に示した奥行き操作ダイヤル部３０のダイヤルを操作することにより、当該フェーダに対応する制御点Ｃ_i（ｓ_i，ｕ_i）の位置を、図６の座標系において左右に移動させることができる。この場合の制御点Ｃ_i（ｓ_i，ｕ_i）は、圧縮後の奥行き座標値ｚ’を保持したまま、圧縮前の奥行き座標値ｚを変化させた位置へ移動する。

【0075】

また、３Ｄ映像制作者は、高さ操作フェーダ部３１のフェーダをスライドすることにより、当該フェーダに対応する制御点Ｃ_i（ｓ_i，ｕ_i）の位置を、図６の座標系において上下に移動させることができる。この場合の制御点Ｃ_i（ｓ_i，ｕ_i）は、圧縮前の奥行き座標値ｚを保持したまま、圧縮後の奥行き座標値ｚ’を変化させた位置（所定の圧縮前の奥行き座標値ｚにおいて、圧縮後の奥行き座標値ｚ’＝０から直線αの値までの間の位置）へ移動する。

【0076】

このように、奥行き圧縮関数ｆは、制御点Ｃ_i（ｓ_i，ｕ_i）及び基底関数の次数Ｋに応じて、表現したい複雑さの形状となるように、自在に決定することができる。

【0077】

（奥行き圧縮部１２）
図３及び図４に戻って奥行き圧縮部１２は、関数生成部１１から奥行き圧縮関数ｆを入力すると共に、外部から３Ｄ映像を入力する。そして、奥行き圧縮部１２は、３Ｄ映像に対し、奥行き圧縮関数ｆを用いて奥行き圧縮を行うことで、奥行き圧縮後の３Ｄ映像を生成する（ステップＳ４０４）。奥行き圧縮部１２は、奥行き圧縮後の３Ｄ映像を３Ｄ描画部１３に出力する。

【0078】

図７は、奥行き圧縮部１２による奥行き圧縮の原理を説明する図である。３Ｄ映像のＸＹＺ座標系において、奥行き圧縮関数ｆにより、被写体Ｈ１の奥行き座標値ｚが被写体Ｈ２の奥行き座標値ｚ’に圧縮されるものとする。奥行き圧縮前の被写体Ｈ１の頂点ｐの座標を（ｘ，ｙ，ｚ）とし、奥行き圧縮後の被写体Ｈ２の頂点ｐ’の座標を（ｘ’，ｙ’，ｚ’）とする。

【0079】

奥行き圧縮の処理は、奥行き圧縮前の被写体Ｈ１の頂点ｐ（ｘ，ｙ，ｚ）を、奥行き圧縮後の被写体Ｈ２の頂点ｐ’（ｘ’，ｙ’，ｚ’）に変換する処理である。ここで、Ｚ軸は、観視者からみた画面の奥行き方向に一致するものとする。

【0080】

奥行き圧縮の処理による変換を式で表すと、ｚ’＝ｆ（ｚ），ｘ’＝ｘ×ｚ’／ｚ，ｙ’＝ｙ×ｚ’／ｚとなる。ｘ’及びｙ’の変換は、座標系の原点から単眼視した際に、物体の網膜像に投影されるサイズが奥行き圧縮前後で変化しないようにするための処理である。

【0081】

このように、奥行き圧縮部１２は、入力した３Ｄ映像に含まれる被写体Ｈ１について複数の頂点を設定し、これらの頂点に対し、奥行き圧縮関数ｆによる奥行き圧縮の処理をそれぞれ行う。そして、奥行き圧縮部１２は、奥行き圧縮後の被写体Ｈ２における複数の頂点をそれぞれ求め、奥行き圧縮後の３Ｄ映像を生成する。

【0082】

（３Ｄ描画部１３）
図３及び図４に戻って、３Ｄ描画部１３は、奥行き圧縮部１２から奥行き圧縮後の３Ｄ映像を入力する。そして、３Ｄ描画部１３は、奥行き圧縮後の３Ｄ映像をレンダリングすることで、例えば３Ｄ描画するための２次元の描画データを生成し、２次元の描画データを３Ｄ映像表示装置４へ出力する（ステップＳ４０５）。

【0083】

これにより、３Ｄ映像制作者は、３Ｄ映像表示装置４にて奥行き圧縮後の３Ｄ映像を確認することができる。

【0084】

〔画面表示例〕
次に、図１に示した３Ｄ映像表示装置４に表示される３Ｄ映像の例、及び関数表示装置５に表示される奥行き圧縮関数ｆの例について説明する。

【0085】

図８は、３Ｄ映像のシーンにおける俯瞰図の例である。図８に示す３Ｄ映像の俯瞰図において、矢印γ１に示す方向（奥行き圧縮方向）にて、３Ｄ映像のシーンを奥行き圧縮するものとする。

【0086】

図９は、３Ｄ映像表示装置４に表示される３Ｄ映像の例を示す図である。この例では、３Ｄ映像表示装置４により、偏光方式を用いたラインバイラインにて左右眼映像が３Ｄ映像として表示される。

【0087】

３Ｄ映像のシーンが図８に示した矢印γ１の方向にて奥行き圧縮されることで、３Ｄ映像表示装置４には、図９に示すように、図８に示した矢印γ２の方向（描画方向）から見た３Ｄ映像が表示される。

【0088】

尚、３Ｄ映像表示装置４は、シャッターメガネ方式を用いた２眼立体ディスプレイであってもよいし、特別な眼鏡を必要としないボリュメトリックディスプレイであってもよい。

【0089】

図１０は、関数表示装置５に表示される奥行き圧縮関数ｆ及び制御点Ｃ_i（ｓ_i，ｕ_i）の例を示す図である。横軸は、圧縮前の奥行き座標値ｚ［ｍ］を示し、縦軸は、圧縮後の奥行き座標値ｚ’［ｍ］を示す。直線は、ｚ’＝ｆ（ｚ）＝ｚである非圧縮の奥行き圧縮関数ｆである。曲線は奥行き圧縮関数ｆであり、丸点は制御点Ｃ_i（ｓ_i，ｕ_i）である。

【0090】

このように、３Ｄ映像制作者は、図２に示した制御点操作装置２を操作しながら、図９に示した奥行き圧縮後の３Ｄ映像、並びに図１０に示した奥行き圧縮関数ｆの形状及び制御点Ｃ_i（ｓ_i，ｕ_i）の位置を確認することができる。

【0091】

これにより、３Ｄ映像制作者による制御点操作装置２の操作に従い、複数の奥行き範囲にある複数の被写体を、所望の形態で強調することができ、３Ｄ映像制作者の意図を反映することができる。

【0092】

以上のように、本発明の実施形態の奥行き制御装置３によれば、制御点設定部１０は、３Ｄ映像制作者の操作に従い制御点操作装置２から入力した奥行きデータｓ_i及び高さデータｔ_iを乗算することで、奥行き高さデータｕ_iを求め、制御点Ｃ_i（ｓ_i，ｕ_i）を設定する。

【0093】

関数生成部１１は、次数Ｋの基底関数が制御点Ｃ_i（ｓ_i，ｕ_i）に近似するように、奥行き圧縮関数ｆを生成する。奥行き圧縮部１２は、３Ｄ映像に含まれる被写体Ｈ１の各頂点を設定し、各頂点に対し、奥行き圧縮関数ｆによる奥行き圧縮の処理を行い、奥行き圧縮後の被写体Ｈ２の各頂点を求め、奥行き圧縮後の３Ｄ映像を生成する。

【0094】

３Ｄ描画部１３は、奥行き圧縮後の３Ｄ映像をレンダリングし、３Ｄ描画するための２次元の描画データを生成する。

【0095】

そして、２次元の描画データは、３Ｄ映像表示装置４に３Ｄ映像として画面表示され、奥行き圧縮関数ｆ及び制御点Ｃ_i（ｓ_i，ｕ_i）は、関数表示装置５に画面表示される。

【0096】

これにより、３Ｄ映像制作者は、制御点操作装置２を操作しながら、奥行き圧縮後の３Ｄ映像、奥行き圧縮関数ｆの形状及び制御点Ｃ_i（ｓ_i，ｕ_i）の位置を画面にて確認することができる。

【0097】

したがって、３Ｄ映像制作者は、制御点操作装置２を操作しながら、場合によっては次数Ｋ及びフェーダ本数Ｎを変更しながら、自分の意図する奥行き圧縮関数ｆを設定し、複数の奥行き範囲にある複数の被写体を、所望の形態で強調することができる。つまり、３Ｄ映像のシーンを奥行き圧縮する際に、複数の奥行き範囲にある複数の被写体を強調することができ、３Ｄ映像制作者の意図を反映することが可能となる。

【0098】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0099】

例えば前記実施形態では、３Ｄ映像制作者は、制御点操作装置２の奥行き操作ダイヤル部３０及び高さ操作フェーダ部３１を操作することにより、制御点Ｃ_iを設定するようにした。これに対し、３Ｄ映像制作者は、例えば音声ミキサーのフェーダまたはマウスを操作することで、ＧＵＩ（Graphical User Interface：グラフィカルユーザインタフェース）上に表示された制御点Ｃ_iを設定するようにしてもよい。

【0100】

また、前記実施形態では、３Ｄ映像表示装置４は、２次元の描画データを入力し、これを３Ｄ映像として画面表示し、関数表示装置５は、奥行き圧縮関数ｆ及び制御点Ｃ_iを入力し、奥行き圧縮関数ｆの形状及び制御点Ｃ_iの位置を画面表示するようにした。これに対し、１台の表示装置が、２次元の描画データ、奥行き圧縮関数ｆ及び制御点Ｃ_iを入力し、３Ｄ映像を画面表示すると共に、奥行き圧縮関数ｆの形状及び制御点Ｃ_iの位置を画面表示するようにしてもよい。

【0101】

尚、本発明の実施形態による奥行き制御装置３のハードウェア構成としては、通常のコンピュータを使用することができる。奥行き制御装置３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0102】

奥行き制御装置３に備えた制御点設定部１０、関数生成部１１、奥行き圧縮部１２及び３Ｄ描画部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0103】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【産業上の利用可能性】

【0104】

本発明の実施形態による奥行き制御装置３を含む奥行き制御システム１は、３Ｄ映像制作者がポストプロダクションの作業を行う際に利用することができる。

【符号の説明】

【0105】

１ 奥行き制御システム
２ 制御点操作装置
３ 奥行き制御装置
４ ３Ｄ映像表示装置
５ 関数表示装置
１０ 制御点設定部
１１ 関数生成部
１２ 奥行き圧縮部
１３ ３Ｄ描画（３Ｄ表示）部
２０ 係数決定部
２１ 関数決定部
３０ 奥行き操作ダイヤル部
３１ 高さ操作フェーダ部
３２ 奥行きデータ表示部
Ｎ フェーダ本数
ｓ_i，ｓ_i ^k 奥行きデータ
ｔ_i 高さデータ
ｕ_i 奥行き高さデータ
Ｃ_i，Ｆ_i 制御点
Ｋ 次数
ｆ 奥行き圧縮関数
ａ_k 係数
Ｈ１，Ｈ２ 被写体
ｐ，ｐ’ 頂点
ｚ，ｚ’ 奥行き座標
ａ 係数行列
ｕ 奥行き高さ行列
Ｓ 奥行き行列
Ｓ^-1 奥行き行列の逆行列
Ｓ⁺ 奥行き行列の疑似逆行列

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】