(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023084959
(43)【公開日】2023-06-20
(54)【発明の名称】奥行き制御装置及びそのプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20230613BHJP
【ＦＩ】
G06T19/00 F
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021199372
(22)【出願日】2021-12-08
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】澤畠 康仁
(72)【発明者】
【氏名】宮下 山斗
(72)【発明者】
【氏名】小峯 一晃
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA11
5B050BA12
5B050BA13
5B050CA07
5B050DA10
5B050EA07
5B050EA13
5B050EA18
5B050FA02
5B050FA06
5B050FA09
(57)【要約】
【課題】奥行き圧縮に映像制作者の意図を反映できる奥行き制御装置を提供することを課題とする。
【解決手段】奥行き制御装置１は、奥行き圧縮関数を入力する奥行き圧縮関数入力手段１３と、被写体毎に奥行き割当量を入力するパラメータ入力手段１４と、立体ディスプレイの奥行き再現範囲を入力するディスプレイ制約入力手段１５と、奥行き圧縮関数の傾き上限値を入力する画質制約入力手段１６と、奥行き圧縮関数を最適化するパラメータ最適化手段１７と、最適化した奥行き圧縮関数でレンダリングするレンダリング手段１８とを備える。
【選択図】図１
【解決手段】奥行き制御装置１は、奥行き圧縮関数を入力する奥行き圧縮関数入力手段１３と、被写体毎に奥行き割当量を入力するパラメータ入力手段１４と、立体ディスプレイの奥行き再現範囲を入力するディスプレイ制約入力手段１５と、奥行き圧縮関数の傾き上限値を入力する画質制約入力手段１６と、奥行き圧縮関数を最適化するパラメータ最適化手段１７と、最適化した奥行き圧縮関数でレンダリングするレンダリング手段１８とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
３次元ＣＧシーンの奥行き圧縮関数を最適化する奥行き制御装置であって、
前記奥行き圧縮関数を入力する奥行き圧縮関数入力手段と、
前記奥行き圧縮関数において、前記３次元ＣＧシーンに含まれる被写体毎に奥行き割当量を入力する奥行き割当量入力手段と、
前記３次元ＣＧシーンを表示する立体ディスプレイの奥行き再現範囲を入力する奥行き再現範囲入力手段と、
前記奥行き圧縮関数の傾き上限値を入力する傾き上限値入力手段と、
前記被写体毎の奥行き割当量が反映された奥行き圧縮関数を、前記奥行き圧縮関数を適用した後の奥行き範囲が前記立体ディスプレイの奥行き再現範囲に収まり、かつ、前記奥行き圧縮関数の傾きが前記傾き上限値を超えないように最適化する最適化手段と、
を備えることを特徴とする奥行き制御装置。
前記奥行き圧縮関数を入力する奥行き圧縮関数入力手段と、
前記奥行き圧縮関数において、前記３次元ＣＧシーンに含まれる被写体毎に奥行き割当量を入力する奥行き割当量入力手段と、
前記３次元ＣＧシーンを表示する立体ディスプレイの奥行き再現範囲を入力する奥行き再現範囲入力手段と、
前記奥行き圧縮関数の傾き上限値を入力する傾き上限値入力手段と、
前記被写体毎の奥行き割当量が反映された奥行き圧縮関数を、前記奥行き圧縮関数を適用した後の奥行き範囲が前記立体ディスプレイの奥行き再現範囲に収まり、かつ、前記奥行き圧縮関数の傾きが前記傾き上限値を超えないように最適化する最適化手段と、
を備えることを特徴とする奥行き制御装置。
【請求項2】
前記最適化手段は、前記被写体毎の奥行き割当量が反映された奥行き圧縮関数を、制約付き最適化問題として最適化することを特徴とする請求項１に記載の奥行き制御装置。
【請求項3】
前記３次元ＣＧシーンに含まれる被写体の奥行き位置を検出する奥行き位置検出手段、をさらに備え、
前記奥行き割当量入力手段は、前記奥行き割当量を割り当てるときの基準位置として、前記奥行き位置検出手段で検出された奥行き位置を入力し、
前記最適化手段は、前記被写体毎の奥行き割当量及び奥行き位置が反映された奥行き圧縮関数を最適化することを特徴とする請求項１又は請求項２に記載の奥行き制御装置。
前記奥行き割当量入力手段は、前記奥行き割当量を割り当てるときの基準位置として、前記奥行き位置検出手段で検出された奥行き位置を入力し、
前記最適化手段は、前記被写体毎の奥行き割当量及び奥行き位置が反映された奥行き圧縮関数を最適化することを特徴とする請求項１又は請求項２に記載の奥行き制御装置。
【請求項4】
前記最適化手段が最適化した奥行き圧縮関数を前記３次元ＣＧシーンに適用することで、前記３次元ＣＧシーンの奥行きを圧縮する奥行き圧縮手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の奥行き制御装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の奥行き制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元ＣＧシーンの奥行き制御装置及びそのプログラムに関する。
【背景技術】
【0002】
特殊なメガネを用いずに、自然に立体像を見ることが可能な立体ディスプレイ方式の一つとして、インテグラル方式やライトフィールド方式が知られている。これら光線再生型の立体ディスプレイ方式では、フラットパネルディスプレイと細かなレンズをアレイ上に配置したマイクロレンズアレイを組み合わせることで、立体像が発する光線を再現し、実際にその場に物体が存在するかのような像を再生できる。
【0003】
マイクロレンズやフラットパネル上の画素の密度には限界があるため、再現できる像の品質に制限がある。具体的には、像を高解像度に再生できる奥行きの範囲に制限が生じるため、奥行きのある３Ｄシーンを高品質に再生することが困難である。立体ディスプレイの奥行き再生能力を超えた３Ｄシーンを表示しようとすると、奥行きの深い位置にある物体は、解像度が損なわれた形でぼやけて表示されることになる。
【0004】
また、立体ディスプレイの奥行き再現能力の向上には限界がある。画素密度の高いフラットパネルディスプレイの開発は、奥行き再現能力の向上に寄与するが、レンズで光を絞れる限界もあるため、画素密度をさらに狭められたとしても、奥行き再現能力がどこまでも向上できるわけではない。
【0005】
そこで、表示する３Ｄシーンの奥行きを圧縮することで、３Ｄシーンを立体ディスプレイの奥行き再現能力の範囲内に収めることで、再生像の品質を高める手法が提案されている（例えば、特許文献１及び非特許文献１～３）。これらの奥行き圧縮手法では、３Ｄシーンの形状が変形しているため、形状が歪んで見える可能性があるが、距離が近いところの奥行き弁別能力は高く、距離が遠いところの奥行き弁別能力は低いという人の視覚特性を考慮して変換方法を工夫することによって、大きな不自然さを感じさせることなく、画質を改善することができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第６５８５９３８号公報
【非特許文献】
【0007】
【非特許文献1】Sawahata, Y and Morita, T, “Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Inducing Sense of Unnaturalness,” IEEE Trans. on Broadcasting, 64(2), pp. 488-497, 2018
【非特許文献2】Miyashita, Y, Sawahata, Y, Katayama, M, and Komine, K, “Depth Boost: Extended Depth Reconstruction Capability on Volumetric Display,” ACM SIGGRAPH 2019 Talks, pp. 35, 2019
【非特許文献3】Sawahata, Y, Miyashita, Y and Komine, K, “Estimating Angular Resolutions Required in Light-Field Broadcasting,” IEEE Trans. on Broadcasting, 67(2), pp. 473-490, 2021
【発明の概要】
【発明が解決しようとする課題】
【0008】
前記した奥行き圧縮手法では、近くの被写体に奥行きを多く、遠くの被写体に奥行きを少なく割り振ることで、大きな不自然さを感じさせることなく、画質を改善している。しかし、実際の映像制作においては、必ずしも奥行き感を強調すべき被写体が、距離的に近い位置に配置されているわけではない。そこで、人の視覚特性だけではなく、映像制作者の意図を考慮した奥行き圧縮手法が望まれている。
【0009】
本発明は、奥行き圧縮に映像制作者の意図を反映できる奥行き制御装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0010】
前記課題を解決するため、本発明に係る奥行き制御装置は、３次元ＣＧシーンの奥行き圧縮関数を最適化する奥行き制御装置であって、奥行き圧縮関数入力手段と、奥行き割当量入力手段と、奥行き再現範囲入力手段と、傾き上限値入力手段と、最適化手段と、を備える構成とした。
【0011】
かかる構成によれば、奥行き圧縮関数入力手段は、奥行き圧縮関数を入力する。
奥行き割当量入力手段は、奥行き圧縮関数において、３次元ＣＧシーンに含まれる被写体毎に奥行き割当量を入力する。例えば、映像制作者が、奥行き割当量入力手段に被写体毎の奥行き割当量を入力する。
奥行き再現範囲入力手段は、３次元ＣＧシーンを表示する立体ディスプレイの奥行き再現範囲を入力する。
傾き上限値入力手段は、奥行き圧縮関数の傾き上限値を入力する。
最適化手段は、被写体毎の奥行き割当量が反映された奥行き圧縮関数を、奥行き圧縮関数を適用した後の奥行き範囲が立体ディスプレイの奥行き再現範囲に収まり、かつ、奥行き圧縮関数の傾きが前記傾き上限値を超えないように最適化する。
奥行き割当量入力手段は、奥行き圧縮関数において、３次元ＣＧシーンに含まれる被写体毎に奥行き割当量を入力する。例えば、映像制作者が、奥行き割当量入力手段に被写体毎の奥行き割当量を入力する。
奥行き再現範囲入力手段は、３次元ＣＧシーンを表示する立体ディスプレイの奥行き再現範囲を入力する。
傾き上限値入力手段は、奥行き圧縮関数の傾き上限値を入力する。
最適化手段は、被写体毎の奥行き割当量が反映された奥行き圧縮関数を、奥行き圧縮関数を適用した後の奥行き範囲が立体ディスプレイの奥行き再現範囲に収まり、かつ、奥行き圧縮関数の傾きが前記傾き上限値を超えないように最適化する。
【0012】
このように、奥行き制御装置は、被写体毎の奥行き割当量が反映された奥行き圧縮関数を用いるので、奥行き圧縮に映像制作者の意図を反映することができる。
【0013】
なお、本発明は、コンピュータを前記した奥行き制御装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0014】
本発明によれば、奥行き圧縮に映像制作者の意図を反映することができる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る奥行き制御装置の構成を示すブロック図である。
【図2】実施形態において、奥行き関数の一例を説明する説明図である。
【図3】実施形態において、奥行き関数を最適化するアリゴリズムを説明する説明図である。
【図4】奥行き制御装置の動作を示すフローチャートである。
【図5】実施例において、奥行き制御装置による奥行き圧縮と従来の奥行き圧縮との比較結果を説明する説明図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0017】
［奥行き制御装置の構成］
図１を参照し、実施形態に係る奥行き制御装置１の構成について説明する。
奥行き制御装置１は、３Ｄシーン（３次元ＣＧシーン）の奥行き圧縮関数を最適化し、最適化した奥行き圧縮関数を用いて、３Ｄシーンの奥行きを圧縮するものである。図１に示すように、奥行き制御装置１は、３Ｄシーン再生手段１０と、被写体選択手段１１と、被写体追跡手段（奥行き位置検出手段）１２と、奥行き圧縮関数入力手段１３と、パラメータ入力手段（奥行き割当量入力手段）１４と、ディスプレイ制約入力手段（奥行き再現範囲入力手段）１５と、画質制約入力手段（傾き上限値入力手段）１６と、パラメータ最適化手段（最適化手段）１７と、レンダリング手段（奥行き圧縮手段）１８とを備える。
図１を参照し、実施形態に係る奥行き制御装置１の構成について説明する。
奥行き制御装置１は、３Ｄシーン（３次元ＣＧシーン）の奥行き圧縮関数を最適化し、最適化した奥行き圧縮関数を用いて、３Ｄシーンの奥行きを圧縮するものである。図１に示すように、奥行き制御装置１は、３Ｄシーン再生手段１０と、被写体選択手段１１と、被写体追跡手段（奥行き位置検出手段）１２と、奥行き圧縮関数入力手段１３と、パラメータ入力手段（奥行き割当量入力手段）１４と、ディスプレイ制約入力手段（奥行き再現範囲入力手段）１５と、画質制約入力手段（傾き上限値入力手段）１６と、パラメータ最適化手段（最適化手段）１７と、レンダリング手段（奥行き圧縮手段）１８とを備える。
【0018】
なお、３Ｄシーンとは、所望の被写体のＣＧモデルを配置した仮想的な３次元ＣＧシーンのことである。本実施形態では、３ＤシーンがＣＧアニメーション（動画）であり、奥行き制御装置１が３Ｄシーンの各フレームに対して、以下で説明する処理を行うこととする。
【0019】
３Ｄシーン再生手段１０は、３Ｄシーンが入力され、入力された３Ｄシーンを再生するものである。例えば、３Ｄシーン再生手段１０は、図示を省略した立体ディスプレイに３Ｄシーンを表示する。このとき、３Ｄシーン再生手段１０は、３Ｄシーンを、インテグラル方式やライトフィールド方式などの光線再生型の要素画像群に変換してもよい（例えば、参考文献１）。また、３Ｄシーン再生手段１０は、この３Ｄシーンをレンダリング手段１８に出力する。
【0020】
参考文献１：片山、岩館、３次元モデルからインテグラル・フォトグラフィ立体像への変換手法の検討(立体映像技術一般)、映像情報メディア学会技術報告、３２．４４巻（２００８）
【0021】
被写体選択手段１１は、３Ｄシーン再生手段１０が再生している３Ｄシーンにおいて、奥行きを制御したい被写体を選択するものである。例えば、奥行き制御装置１の利用者が、図示を省略したキーボード、マウス、スライダなどの操作手段を用いて、奥行きを制御したい被写体を選択する。そして、被写体選択手段１１は、選択した被写体の識別情報を被写体追跡手段１２に出力する。
【0022】
ここでは、Ｎ個の被写体を選択したことする。また、３Ｄシーンに含まれる各被写体には、一意の識別番号ｉを予め割り当てておくこととする（０≦ｉ≦Ｎ）。なお、識別番号ｉ＝‘０’は、被写体ではなく、立体ディプレイの奥行き再現範囲Ｄｄｉｓｐの最前面位置に対応させることとする。
【0023】
被写体追跡手段１２は、３Ｄシーン再生手段１０が再生している３次元ＣＧシーンにおいて、被写体選択手段１１で選択された被写体の奥行き位置ｂ１，…，ｂＮを検出するものである。本実施形態では、被写体追跡手段１２は、３Ｄシーンの各フレームにおいて、被写体選択手段１１から入力された識別番号の被写体を追跡し、被写体の奥行き位置ｂ１，…，ｂＮを検出する。そして、被写体追跡手段１２は、検出した被写体の奥行き位置ｂ１，…，ｂＮをパラメータ入力手段１４に出力する。
【0024】
奥行き圧縮関数入力手段１３は、後記する奥行き圧縮関数ｆ（ｚ）を入力するものである。例えば、奥行き制御装置１の利用者が、操作手段を用いて、奥行き圧縮関数ｆ（ｚ）を入力する。そして、奥行き圧縮関数入力手段１３は、入力された奥行き圧縮関数ｆ（ｚ）をパラメータ最適化手段１７に出力する。
【0025】
パラメータ入力手段１４は、奥行き圧縮関数ｆ（ｚ）の各パラメータを入力するものである。例えば、パラメータ入力手段１４は、奥行き割当量を割り当てるときの基準位置として、立体ディプレイの奥行き再現範囲Ｄｄｉｓｐの最前面位置ｂ０と、被写体追跡手段１２で検出された奥行き位置ｂ１，…，ｂＮを入力する。また、パラメータ入力手段１４は、奥行き圧縮関数ｆ（ｚ）において、３Ｄシーンに含まれる被写体毎に奥行き割当量ｄ０，…，ｄＮを入力する。さらに、パラメータ入力手段１４は、奥行き圧縮量を決める係数ａ０，…，ａＮ、再生像と立体ディスプレイの画面との相対距離（最大飛び出し量）を決める係数ｃ、及び、３Ｄシーンの奥行き範囲に関するパラメータＤＺを入力する。そして、パラメータ入力手段１４は、入力された各パラメータ（ａ０，…，ａＮ，ｂ０，…，ｂＮ，ｃ，ｄ０，…，ｄＮ，ＤＺ）をパラメータ最適化手段１７に出力する。なお、これらパラメータの詳細は、後記する。
【0026】
ディスプレイ制約入力手段１５は、３Ｄシーンを表示する立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐを入力するものである。例えば、奥行き制御装置１の利用者が、操作手段を用いて、立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐを入力する。そして、ディスプレイ制約入力手段１５は、入力された立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐをパラメータ最適化手段１７に出力する。
【0027】
画質制約入力手段１６は、奥行き圧縮関数ｆ（ｚ）の傾き上限値を入力するものである。例えば、奥行き制御装置１の利用者が、操作手段を用いて、傾き上限値＝‘１’を入力する。そして、画質制約入力手段１６は、入力された傾き上限値＝‘１’をパラメータ最適化手段１７に出力する。
【0028】
パラメータ最適化手段１７は、被写体毎の奥行き割当量が反映された奥行き圧縮関数ｆ（ｚ）を、奥行き圧縮関数ｆ（ｚ）を適用した後の奥行き範囲が立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐに収まり、かつ、奥行き圧縮関数ｆ（ｚ）の傾きが傾き上限値＝‘１’を超えないように最適化するものである。つまり、パラメータ最適化手段１７は、パラメータ入力手段１４、ディスプレイ制約入力手段１５及び画質制約入力手段１６から入力されたパラメータなどが反映された奥行き圧縮関数ｆ（ｚ）を最適化する。そして、パラメータ最適化手段１７は、最適化した奥行き関数ｆ（ｚ）をレンダリング手段１８に出力する。
【0029】
＜奥行き圧縮関数の最適化＞
図２及び図３を参照し、奥行き圧縮関数ｆ（ｚ）の最適化について説明する。
ここで、３Ｄシーンに含まれる３人の人物が被写体であることとする（Ｎ＝３）。また、立体ディスプレイ前面の視聴位置、又は、観察者（視聴者）の観察位置を原点とした３次元座標系（奥行き方向が立体ディスプレイの表示画面に対して鉛直方向）を設定する。
図２及び図３を参照し、奥行き圧縮関数ｆ（ｚ）の最適化について説明する。
ここで、３Ｄシーンに含まれる３人の人物が被写体であることとする（Ｎ＝３）。また、立体ディスプレイ前面の視聴位置、又は、観察者（視聴者）の観察位置を原点とした３次元座標系（奥行き方向が立体ディスプレイの表示画面に対して鉛直方向）を設定する。
【0030】
３Ｄシーンを奥行き圧縮する前の位置ｐ＝（ｘ，ｙ，ｚ）としたとき、奥行き圧縮関数ｆ（ｚ）による奥行き圧縮後の位置ｐ´＝（ｘ´，ｙ´，ｚ´）は、以下の式（１）及び式（２）で表される。
【0031】
【数1】
【0032】
式（１）及び式（２）には、奥行き圧縮量を決める係数ａ０，…，ａＮと、奥行き再現範囲Ｄｄｉｓｐの最前面ｂ０と、被写体の奥行き位置ｂ１，…，ｂＮと、再生像と立体ディスプレイの画面との相対距離を決める係数ｃと、被写体毎の奥行き割当量ｄ０，…，ｄＮと、３Ｄシーンの奥行き範囲に関するパラメータＤＺとが含まれている。
【0033】
ここで、例えば、係数ａ０，…，ａＮのそれぞれは、‘１’とする。なお、係数ａｉが‘１’未満になると奥行き感が控えめになり、係数ａｉが‘１’を超えると奥行き感が強調されるので、‘１’以外に設定してもよい。前記したように、ｉ＝‘０’を立体ディプレイの奥行き再現範囲Ｄｄｉｓｐの最前面位置に対応させることで、３Ｄシーンと立体ディスプレイの表示面との相対位置を固定できる。また、奥行き割当量ｄ０，…，ｄＮは、以下の式（３）に示すように、合計‘１’となる。
【0034】
【数2】
【0035】
パラメータ最適化手段１７に入力されたパラメータθを整理すると、以下の式（４）で表される。
【0036】
【数3】
【0037】
例えば、３人の被写体に奥行き割当量ｄ１，ｄ２，ｄ３を割り当てた場合、奥行き関数ｆ（ｚ）は、以下の式（５）で表される。図２には、この奥行き関数ｆ（ｚ）を図示した。図２では、横軸が奥行き圧縮前の奥行き位置ｚを表し、縦軸が奥行き圧縮後の奥行き位置ｚ´を表している。
【0038】
【数4】
【0039】
被写体の奥行き位置ｂ１，ｂ２，ｂ３は、被写体追跡手段１２で検出された値を採用する。また、被写体毎の奥行き割当量ｄ１，ｄ２，ｄ３は、パラメータ入力手段１４に入力された値に対応している。例えば、奥行き制御装置１の利用者が、図示を省略したフェーダやスライダを操作することで、被写体毎の奥行き割当量ｄ１，ｄ２，ｄ３を入力できる。図２の例では、奥側に位置する被写体に奥行き割当量ｄ１，ｄ２，ｄ３が多く割り当てられている（ｄ１＜ｄ２＜ｄ３）。もし、３人の被写体に均等に奥行きを割り当てたい場合、ｄ０＝ｄ１＝ｄ２＝ｄ３＝１／４とすればよい。このように、奥行き制御装置１の利用者がフェーダやスライダを操作することで、奥行き圧縮関数ｆ（ｚ）の形状を自由に決めることができる。
【0040】
本実施形態では、パラメータ最適化手段１７は、被写体毎の奥行き割当量が反映された奥行き圧縮関数ｆ（ｚ）を、制約付き最適化問題として最適化する。ここで、奥行き圧縮関数ｆ（ｚ）が前記した式（２）で表され、そのパラメータθが前記した式（４）で表される。この場合、映像制作者の意図が可能なかぎり反映されるように、以下の式（６）でパラメータθの最適化を行う。この式（６）では、ａｒｇｍｉｎが最小値を算出する関数であり、θｐが目標値である。
【0041】
【数5】
【0042】
奥行き圧縮関数ｆ（ｚ）の傾き、すなわち、奥行き圧縮関数ｆ（ｚ）の導関数は、以下の式（７）で表される。
【0043】
【数6】
【0044】
奥行き圧縮関数ｆ（ｚ）の傾きｆ´（ｚ）が傾き上限値＝‘１’を超えないという制約条件は、以下の式（８）で表される。
【0045】
【数7】
【0046】
奥行き圧縮関数ｆ（ｚ）を適用した後の奥行き範囲が立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐに収まる制約条件は、以下の式（９）で表される。なお、ｚｎｅａｒ＿ｐｌａｎｅは、奥行き再現範囲Ｄｄｉｓｐの最前面ｂ０を表す。
【0047】
【数8】
【0048】
【0049】
１行目では、目標値θｐに式（４）のパラメータθを設定する。２～４行目では、パラメータθ，ＤＺ，ｃ，εを初期化する。なお、最適化の間、係数ｃ＝０のままであり、εが収束条件を表す。
【0050】
θ，θｐの差分二乗が収束条件εを満たすまで、５～１５行目をループする。６～８行目では、奥行き圧縮関数ｆ（ｚ）の傾きが‘１’を超える奥行き位置ｚがｂｉの付近にあることを手がかりとして、導関数ｆ´（ｚ）の値が‘１’を超える奥行き位置ｚを探索する。９～１２行目では、導関数ｆ´（ｚ）の値が‘１’を超える場合、係数ａｉを‘１’に減少させている。１６行目では、最適化したパラメータθ，ＤＺを出力する。
【0051】
なお、１１行目の‘１’が、傾き上限値を表している。また、傾き上限値は、‘１’未満の値にしてもよい。例えば、奥行きを割り当てたい被写体の数が多い場合や、立体ディスプレイの奥行き再現能力が低い場合、傾き上限値を‘１’未満の値（例えば、‘０．８’）にすることで、再生像がより見やすくなる。
【0052】
図１に戻り、奥行き制御装置１の構成について説明を続ける。
レンダリング手段１８は、パラメータ最適化手段１７が最適化した奥行き圧縮関数ｆ（ｚ）を３Ｄシーンに適用することで、３Ｄシーンの奥行きを圧縮するものである。つまり、レンダリング手段１８は、パラメータ最適化手段１７が最適化した奥行き圧縮関数ｆ（ｚ）によって、３Ｄシーン再生手段１０に入力された３Ｄシーンをレンダリング（要素画像群に変換）する。そして、レンダリング手段１８は、レンダリングした３Ｄシーンを立体ディスプレイ（不図示）に表示する。
レンダリング手段１８は、パラメータ最適化手段１７が最適化した奥行き圧縮関数ｆ（ｚ）を３Ｄシーンに適用することで、３Ｄシーンの奥行きを圧縮するものである。つまり、レンダリング手段１８は、パラメータ最適化手段１７が最適化した奥行き圧縮関数ｆ（ｚ）によって、３Ｄシーン再生手段１０に入力された３Ｄシーンをレンダリング（要素画像群に変換）する。そして、レンダリング手段１８は、レンダリングした３Ｄシーンを立体ディスプレイ（不図示）に表示する。
【0053】
【0054】
ステップＳ２において、被写体選択手段１１は、ステップＳ１で再生している３Ｄシーンにおいて、奥行きを制御したい被写体を選択する。そして、被写体追跡手段１２は、ステップＳ１で再生している３Ｄシーンにおいて、被写体選択手段１１で選択された被写体の奥行き位置ｂ０，…，ｂＮを検出する。
【0055】
ステップＳ３において、奥行き圧縮関数入力手段１３は、奥行き圧縮関数ｆ（ｚ）を入力する。また、パラメータ入力手段１４は、奥行き圧縮関数ｆ（ｚ）の各パラメータ（ａ０，…，ａＮ，ｂ０，…，ｂＮ，ｃ，ｄ０，…，ｄＮ）を入力する。また、ディスプレイ制約入力手段１５は、立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐを入力する。また、画質制約入力手段１６は、奥行き圧縮関数ｆ（ｚ）の傾き上限値＝‘１’を入力する。
【0056】
ステップＳ４において、パラメータ最適化手段１７は、奥行き圧縮関数ｆ（ｚ）を、奥行き圧縮関数ｆ（ｚ）を適用した後の奥行き範囲が立体ディスプレイの奥行き再現範囲Ｄｄｉｓｐに収まり、かつ、奥行き圧縮関数ｆ（ｚ）の傾きが傾き上限値＝‘１’を超えないように最適化する。
ステップＳ５において、レンダリング手段１８は、ステップＳ４で最適化した奥行き圧縮関数ｆ（ｚ）を３Ｄシーンに適用することで、３Ｄシーンの奥行きを圧縮する。
ステップＳ５において、レンダリング手段１８は、ステップＳ４で最適化した奥行き圧縮関数ｆ（ｚ）を３Ｄシーンに適用することで、３Ｄシーンの奥行きを圧縮する。
【0057】
［作用・効果］
以上のように、実施形態に係る奥行き制御装置１は、被写体毎の奥行き割当量が反映された奥行き圧縮関数ｆ（ｚ）を用いるので、奥行き圧縮に映像制作者の意図を反映することができる。すなわち、奥行き制御装置１は、被写体の奥行き位置の遠近に依存せず、映像制作者が所望の被写体に対して意図的に奥行きを多く割り振ることができる。
さらに、奥行き制御装置１は、立体ディスプレイや画質の制約に基づいて奥行き圧縮関数ｆ（ｚ）のパラメータを最適化するため、映像制作者の表現の意図を反映し、ぼやけの少ない高品質な像再生が実現できる。
以上のように、実施形態に係る奥行き制御装置１は、被写体毎の奥行き割当量が反映された奥行き圧縮関数ｆ（ｚ）を用いるので、奥行き圧縮に映像制作者の意図を反映することができる。すなわち、奥行き制御装置１は、被写体の奥行き位置の遠近に依存せず、映像制作者が所望の被写体に対して意図的に奥行きを多く割り振ることができる。
さらに、奥行き制御装置１は、立体ディスプレイや画質の制約に基づいて奥行き圧縮関数ｆ（ｚ）のパラメータを最適化するため、映像制作者の表現の意図を反映し、ぼやけの少ない高品質な像再生が実現できる。
【実施例0058】
【0059】
図５上段に示すように、奥行き圧縮なしでは、奥行き圧縮を行っていないため、３Ｄシーンの形状に一切の歪みが無い。また、奥行き圧縮なしでは、３Ｄシーンの奥行き量を多く割り振るのでデプスマップのコントラストが高くなる一方、ディスプレイ性能の制約（表示できる奥行き量に制限がある）のため、ぼやけた表現となってしまう。
【0060】
図５中段に示すように、従来型奥行き圧縮では、手前に重点的に奥行きを配分する奥行き圧縮関数により、３Ｄシーンの奥行きを狭く変換することで、ぼやけの少ない表現を提供することができる。しかし、従来型奥行き圧縮では、３Ｄシーンの奥行きを狭める際、主要な被写体の奥行き配分が少なくなっているため、多くのオブジェクトの奥行き量（厚み）が失われている（デプスマップが全体的にグレーになっている）。
【0061】
図５下段に示すように、奥行き制御装置１では、任意の被写体位置に奥行き量を割り振ることができる。３Ｄシーンに割り振る奥行きの総量は、従来型奥行き圧縮と同じであるため、表示像のぼやけは同程度となるが、主要な被写体に奥行きを重点的に割り振ることができる。このため、奥行き制御装置１では、主要な被写体が背景に沈み込むことなく（デプスマップにコントラストがある）、奥行きを維持することができる。
【0062】
以上、実施形態及び実施例を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0063】
前記した実施形態では、３Ｄシーンが動画であることとして説明したが、３Ｄシーンが静止画であってもよい。つまり、奥行き制御装置は、静止画である３Ｄシーンに対して、前記した処理を行ってもよい。
【0064】
前記した実施形態では、被写体追跡手段で検出した被写体の奥行き位置をパラメータ入力手段に入力することとして説明したが、これに限定されない。つまり、映像制作者が、被写体の奥行き位置をパラメータ入力手段に手動で入力してもよい。
【0065】
前記した実施形態では、奥行き制御装置が最適化した奥行き圧縮関数を用いて、レンダリングを行うこととして説明したが、これに限定されない。つまり、奥行き制御装置は、最適化した奥行き圧縮関数を外部の装置に出力し、その装置で奥行き圧縮関数を利用してもよい。
【0066】
前記した実施形態では、奥行き制御装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した奥行き制御装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【産業上の利用可能性】
【0067】
例えば、本発明に係る奥行き制御装置は、インテグラル方式やライトフィールド方式のような光線再生型・ボリュメトリック型の立体ディスプレイ方式において、奥行きのある多様なシーンの表示が可能となり、幅広い応用性を有する。
【符号の説明】
【0068】
１ 奥行き制御装置
１０ ３Ｄシーン再生手段
１１ 被写体選択手段
１２ 被写体追跡手段（奥行き位置検出手段）
１３ 奥行き圧縮関数入力手段
１４ パラメータ入力手段（奥行き割当量入力手段）
１５ ディスプレイ制約入力手段（奥行き再現範囲入力手段）
１６ 画質制約入力手段（傾き上限値入力手段）
１７ パラメータ最適化手段（最適化手段）
１８ レンダリング手段（奥行き圧縮手段）
１０ ３Ｄシーン再生手段
１１ 被写体選択手段
１２ 被写体追跡手段（奥行き位置検出手段）
１３ 奥行き圧縮関数入力手段
１４ パラメータ入力手段（奥行き割当量入力手段）
１５ ディスプレイ制約入力手段（奥行き再現範囲入力手段）
１６ 画質制約入力手段（傾き上限値入力手段）
１７ パラメータ最適化手段（最適化手段）
１８ レンダリング手段（奥行き圧縮手段）
【図1】
【図2】
【図3】
【図4】
【図5】
