知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-05
(45)【発行日】2024-06-13
(54)【発明の名称】立体像奥行き制御装置及びそのプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240606BHJP
H04N 13/128 20180101ALI20240606BHJP
H04N 13/275 20180101ALI20240606BHJP
H04N 13/307 20180101ALI20240606BHJP
【ＦＩ】
G06T19/00 F
H04N13/128
H04N13/275
H04N13/307
【請求項の数】
5
(21)【出願番号】P 2020103436
(22)【出願日】2020-06-16
(65)【公開番号】P2021196915
(43)【公開日】2021-12-27
【審査請求日】2023-05-08
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】宮下 山斗
(72)【発明者】
【氏名】澤畠 康仁
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１２－１４１８１９（ＪＰ，Ａ）
【文献】特開２０１９－１９７３６８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｈ０４Ｎ １３／００ － １３／３９８
(57)【特許請求の範囲】
【請求項1】
予め設定した解像度を満たす奥行き再現範囲に収まるように被写体の３次元モデルを奥行き圧縮し、奥行き圧縮された後の前記３次元モデルから要素画像を生成する立体像奥行き制御装置であって、立体像の観視位置の移動を考慮しない静的な奥行き圧縮により、前記３次元モデルを構成する各頂点の座標である静的頂点座標を算出する静的頂点座標算出部と、
前記観視位置の移動を考慮した動的な奥行き圧縮により、前記観視位置に応じた前記３次元モデルを構成する各頂点の座標である動的頂点座標を算出する動的頂点座標算出部と、
前記静的な奥行き圧縮と前記動的な奥行き圧縮との調整割合に基づいて、前記静的頂点座標と前記動的頂点座標との間で前記３次元モデルの頂点座標を調整する頂点座標調整部と、
前記頂点座標を調整後の前記３次元モデルから前記要素画像を生成する要素画像生成部と、
を備え、
前記観視位置の移動を考慮しない静的な奥行き圧縮は、前記３次元モデルの頂点座標ｐ（ｘ，ｙ，ｚ）を頂点座標ｐ０´（ｘ０´，ｙ０´，ｚ０´）に変換する式（１）で表され、
【数1】
【数2】
【請求項2】
前記頂点座標調整部は、以下の式（５）に示すように、【数3】
【請求項3】
前記調整割合を前記立体像の奥行き位置と視距離との関係で表した学習モデルを生成する学習モデル生成部と、前記奥行き位置及び前記視距離を入力し、入力した前記奥行き位置及び前記視距離に対応する前記調整割合を前記学習モデルから取得する調整割合取得部と、を備え、
前記頂点座標調整部は、前記調整割合取得部が取得した調整割合に基づいて、前記３次元モデルの頂点座標を調整することを特徴とする請求項１又は請求項２に記載の立体像奥行き制御装置。
【請求項4】
前記頂点座標調整部は、調整割合入力装置から入力した前記調整割合に基づいて、前記３次元モデルの頂点座標を調整することを特徴とする請求項１又は請求項２に記載の立体像奥行き制御装置。
【請求項5】
コンピュータを、請求項１から請求項４の何れか一項に記載の立体像奥行き制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の３次元モデルを奥行き圧縮する立体像奥行き制御装置及びそのプログラムに関する。
【背景技術】
【0002】
インテグラル３Ｄディスプレイは、要素画像を表示したフラットディスプレイにレンズアレイを重ね合わせて配置したものであり、特別な眼鏡なしで、あたかもそこに物体があるかのような表示が可能である。インテグラル方式は、３次元空間中の光線を再現することで、水平・垂直方向の両眼視差および運動視差を眼鏡なしで自然に提示することができる。また、インテグラル方式は、物体から出る光線を再現することから、３Ｄディスプレイの主な課題である輻輳と調節が不一致となる問題を回避することができる。
【0003】
一方で、インテグラル方式のような空間像再生型の３Ｄディスプレイでは、奥行きの広いシーンの提示が困難という課題がある。具体的には、レンズアレイ面から奥行き方向に離れるほど空間周波数が低下するため、離れた位置に像を表示すると、その像が大きくぼやけてしまう。図８に示すように、インテグラル方式で再生される立体像の解像度（空間周波数γ）は、レンズアレイ位置（ｚ＝０）近傍の前後一定の奥行き再現範囲で所定解像度（ナイキスト周波数）を維持し、その範囲を超えると急激に低下する特性を有する。この所定解像度は、レンズアレイを構成する要素レンズの間隔（ピッチ）で特定され、この奥行き再現範囲を超えた立体像は、レンズアレイの位置から離れるにつれてぼやけてしまう。これは、インテグラル方式においては、原理的に立体像がぼやけずに表示可能な奥行き再現範囲が存在することを意味する。
【0004】
同一の被写体を撮影した画像などぼやけが生じない領域（奥行き再現範囲）を広げるためには、要素画像の画素ピッチを小さくする必要があり、システム開発の負担となる（非特許文献１）。そこで、図９に示すように、３Ｄシーンの奥行きを圧縮し、ぼやけを回避する従来手法が提案されている（非特許文献２）。この従来手法では、以下の式（１）に示すように、シーン中の物体（３次元モデルＭ）を構成する頂点座標ｐ（ｘ，ｙ，ｚ）を頂点座標ｐ０´（ｘ０´，ｙ０´，ｚ０´）に変換する。その際、観視者９から見て画面奥から手前方向に移動させ、奥行きの広いシーンをぼやけずに表示可能な狭い範囲に圧縮する。
【0005】
【数1】
【0006】
なお、式（１）において、ｆ（ｚ）は、図１０に示すように、観視者９から見て、ある頂点座標を奥側の奥行き位置ｚから手前側の奥行き位置ｚ´に移動させる関数である。また、式（１）において、ｘ０´，ｙ０´の変換は、奥行き圧縮の原点から見て、圧縮の前後で物体の見た目の大きさが変わらないように縮小する変換である。
【0007】
なお、ｐｖ０（０，０，０）を初期の観視位置（標準観視位置）とする。また、頂点座標がディスプレイに投影された点の水平位置及び垂直位置をそれぞれ（ｉ，ｊ）とする。また、下付きの文字ｐｒｅは圧縮前の頂点の投影を表し、下付きの文字ｐｏｓｔは圧縮後の頂点の投影を表す。また、下付きの数字０は初期の観視位置の投影を表す。また、下付きの数字１は移動後の観視位置の投影を表す。
【0008】
インテグラル３Ｄディスプレイの画素間隔および要素レンズの間隔とぼやけが生じずに表示できる奥行き範囲（奥行き再現範囲）とを求め、非線形の奥行き圧縮関数を決定する手法が提案されている（特許文献１）。以後、この従来技術のように、観視位置の移動を考慮せずにシーンの奥行きを静的に圧縮することを「静的な奥行き圧縮」と呼ぶ。
【0009】
この静的な奥行き圧縮では、観視位置を移動した際、物体の形状の歪み (shape distortion)が顕著になる。図１１に示すように、初期の観視位置ｐｖ０（０，０，０）では、奥行き圧縮の前後において、点ｐ０´（ｘ０´，ｙ０´，ｚ０´），ｐ１´（ｘ１´，ｙ１´，ｚ１´）は同一位置のままである。その一方、移動後の観視位置ｐｖ１（ｘｖ１，ｙｖ１，ｚｖ１）では、奥行き圧縮の前後でディスプレイ上の投影点（ｉｐｒｅ１，ｊｐｒｅ１），（ｉｐｏｓｔ１，ｊｐｏｓｔ１）がずれてしまい、物体の形状が歪んで見えてしまう。このように、静的な奥行き圧縮では、奥行きの潰された物体を正面から見ても潰れていることには気が付きにくいが、横に回り込んで見ると潰れによる形状の歪みが目立ってしまう。
【0010】
ここで、形状の歪みを、以下の式（２）に示すように、初期の観視位置及び移動後の観視位置のそれぞれにおける、インテグラル３Ｄディスプレイに投影した点のずれＤｓｈａｐｅ０，Ｄｓｈａｐｅ1と定義する。
【0011】
【数2】
【0012】
このように、静的な奥行き圧縮では、初期の観視位置で形状の歪みが発生せず、Ｄｓｈａｐｅ０＝０となる。一方、静的な奥行き圧縮では、観視位置が移動すると、Ｄｓｈａｐｅ１＞０となり、形状の歪みが増加する。
【0013】
そこで、図１２に示すように、観視位置の移動を考慮してシーンの奥行きを動的に圧縮する手法が提案されており、以後、「動的な奥行き圧縮」と呼ぶ（非特許文献３）。この動的な奥行き圧縮では、観視位置をリアルタイムに計測するために、観視者９を赤外線カメラやＲＧＢカメラで撮影して画像処理することが行われている。また、動的な奥行き圧縮では、以下の式（３）に基づいて、物体の頂点座標ｐ（ｘ，ｙ，ｚ）をｐ１´（ｘ１´，ｙ１´，ｚ１´）に変換する。
【0014】
【数3】
【0015】
この動的な奥行き圧縮では、図１２に示すように、奥行き圧縮の前後で投影点（ｉｐｒｅ１，ｊｐｒｅ１），（ｉｐｏｓｔ１，ｊｐｏｓｔ１）が常に一致するため、形状の歪みが発生しない。これと同様、奥行き圧縮の前後で投影点（ｉｐｒｅ０，ｊｐｒｅ０），（ｉｐｏｓｔ０，ｊｐｏｓｔ０）も一致する。従って、Ｄｓｈａｐｅ０＝０、Ｄｓｈａｐｅ１＝０となる。
【0016】
一方、この動的な奥行き圧縮では、観視位置を移動した際、本来は空中に静止して見えるはずの物体が、観視位置の移動方向と同じ方向にスライドして見えてしまうことがある。観視位置の移動に応じた空間の歪み（shear distortion）は、２眼立体ディスプレイで撮影カメラ間隔が観視者９の両眼間隔と一致していないときに発生することが知られている（非特許文献４）。ここでは、空間の歪みは、以下の式（４）に示すように定義する。
【0017】
【数4】
【0018】
前記した空間の歪みと形状の歪みとの間には、トレードオフの関係がある。例えば、静的な奥行き圧縮ではＤｓｈｅａｒ１＝０、Ｄｓｈａｐｅ１＞０であり、動的な奥行き圧縮ではＤｓｈｅａｒ１＞０、Ｄｓｈａｐｅ１＝０となる。
【先行技術文献】
【特許文献】
【0019】
【文献】特開２０１７－１１５２０号公報
【非特許文献】
【0020】
【文献】Hoshino H, Okano F, Isono H, Yuyama , Analysis of resolution limitation of integral photography, Opt Soc Am, 1998,15(8),2059-2065
【文献】Sawahata Y, Morita , Estimating Depth Range Required for 3-D Displays to Show Depth-Compressed Scenes Without Inducing Sense of Unnaturalness, IEEE Trans Broadcast, 2018,64(2),488-497
【文献】Miyashita Y, Sawahata Y, Katayama M, Komine , Depth boost: Extended depth reconstruction capability on volumetric display, In: ACM SIGGRAPH 2019 Talks, SIGGRAPH 2019,2019
【文献】Wartell Z, Hodges LF, Ribarsky , Balancing fusion, image depth and distortion in stereoscopic head-tracked displays, Proc 26th Annu Conf Comput Graph Interact Tech SIGGRAPH 1999, 1999,351-358
【発明の概要】
【発明が解決しようとする課題】
【0021】
しかし、前記した従来技術では、３次元映像の奥行き圧縮表現において、空間の歪み及び形状の歪みを調整できる仕組みがなく、どちらか一方の歪みが最大の状態しか選択することができない。
【0022】
そこで、本発明は、空間の歪みと形状の歪みとの割合を調整できる立体像奥行き制御装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0023】
前記課題を解決するため、本発明に係る立体像奥行き制御装置は、予め設定した解像度を満たす奥行き再現範囲に収まるように被写体の３次元モデルを奥行き圧縮し、奥行き圧縮された後の３次元モデルから要素画像を生成する立体像奥行き制御装置であって、静的頂点座標算出部と、動的頂点座標算出部と、頂点座標調整部と、要素画像生成部と、を備える構成とした。
【0024】
かかる構成によれば、静的頂点座標算出部は、立体像の観視位置の移動を考慮しない静的な奥行き圧縮により、３次元モデルを構成する各頂点の座標である静的頂点座標を算出する。
動的頂点座標算出部は、観視位置の移動を考慮した動的な奥行き圧縮により、観視位置に応じた３次元モデルを構成する各頂点の座標である動的頂点座標を算出する。
頂点座標調整部は、静的な奥行き圧縮と動的な奥行き圧縮との調整割合に基づいて、静的頂点座標と動的頂点座標との間で３次元モデルの頂点座標を調整する。
要素画像生成部は、頂点座標を調整後の３次元モデルから要素画像を生成する。
観視位置の移動を考慮しない静的な奥行き圧縮は、３次元モデルの頂点座標ｐ（ｘ，ｙ，ｚ）を頂点座標ｐ０´（ｘ０´，ｙ０´，ｚ０´）に変換する式（１）で表される。
観視位置の移動を考慮した動的な奥行き圧縮は、３次元モデルの頂点座標ｐ（ｘ，ｙ，ｚ）を頂点座標ｐ１´（ｘ１´，ｙ１´，ｚ１´）に変換する式（３）で表される。
動的頂点座標算出部は、観視位置の移動を考慮した動的な奥行き圧縮により、観視位置に応じた３次元モデルを構成する各頂点の座標である動的頂点座標を算出する。
頂点座標調整部は、静的な奥行き圧縮と動的な奥行き圧縮との調整割合に基づいて、静的頂点座標と動的頂点座標との間で３次元モデルの頂点座標を調整する。
要素画像生成部は、頂点座標を調整後の３次元モデルから要素画像を生成する。
観視位置の移動を考慮しない静的な奥行き圧縮は、３次元モデルの頂点座標ｐ（ｘ，ｙ，ｚ）を頂点座標ｐ０´（ｘ０´，ｙ０´，ｚ０´）に変換する式（１）で表される。
観視位置の移動を考慮した動的な奥行き圧縮は、３次元モデルの頂点座標ｐ（ｘ，ｙ，ｚ）を頂点座標ｐ１´（ｘ１´，ｙ１´，ｚ１´）に変換する式（３）で表される。
【0025】
すなわち、前記した調整割合は、静的な奥行き圧縮に起因した形状の歪みと、動的な奥行き圧縮に起因した空間の歪みとの割合を表している。従って、立体像奥行き制御装置は、頂点座標調整部において、空間の歪みと形状の歪みとの双方を緩和できるように、これら双方の割合を調整することができる。
【0026】
なお、本発明は、コンピュータを、前記した立体像奥行き制御装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0027】
本発明は、空間の歪みと形状の歪みとの割合を調整することができる。
【図面の簡単な説明】
【0028】
【図1】第１実施形態に係る立体像表示システムの概略構成図である。
【図2】第１実施形態において、調整割合入力装置の一例を説明する説明図である。
【図3】第１実施形態に係る立体像奥行き制御装置の構成を示すブロック図である。
【図4】第１実施形態において、３次元モデルの頂点座標の調整を説明する説明図である。
【図5】第１実施形態において、調整割合の設定と形状の歪み及び空間の歪みとの関係を説明する説明図である。
【図6】第１実施形態に係る立体像奥行き制御装置の動作を示すフローチャートである。
【図7】第２実施形態に係る立体像奥行き制御装置の構成を示すブロック図である。
【図8】従来のインテグラル３Ｄディスプレイにおける奥行き再現範囲を説明する説明図である。
【図9】従来の静的な奥行き圧縮を説明する説明図である。
【図10】従来の静的な奥行き圧縮において、奥行きを圧縮する関数の一例を示すグラフである。
【図11】従来の静的な奥行き圧縮における形状の歪みを説明する説明図である。
【図12】従来の動的な奥行き圧縮を説明する説明図である。
【発明を実施するための形態】
【0029】
以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、各実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。
【0030】
（第１実施形態）
［立体像表示システムの構成］
図１を参照し、第１実施形態に係る立体像表示システム１００の構成について説明する。
立体像表示システム１００は、被写体の３次元モデルから要素画像を生成し、生成した要素画像を表示するものである。このとき、立体像表示システム１００は、後記する立体像奥行き制御装置４において、立体像表示装置１の奥行き再現範囲に収まるように３次元モデルを奥行き圧縮する。図１に示すようには、立体像表示システム１００は、立体像表示装置１と、観視位置計測装置２と、調整割合入力装置３と、立体像奥行き制御装置４とを備える。
［立体像表示システムの構成］
図１を参照し、第１実施形態に係る立体像表示システム１００の構成について説明する。
立体像表示システム１００は、被写体の３次元モデルから要素画像を生成し、生成した要素画像を表示するものである。このとき、立体像表示システム１００は、後記する立体像奥行き制御装置４において、立体像表示装置１の奥行き再現範囲に収まるように３次元モデルを奥行き圧縮する。図１に示すようには、立体像表示システム１００は、立体像表示装置１と、観視位置計測装置２と、調整割合入力装置３と、立体像奥行き制御装置４とを備える。
【0031】
立体像表示装置１は、インテグラル方式の立体像を表示する一般的なインテグラル３Ｄディスプレイである。この立体像表示装置１は、立体像奥行き制御装置４から要素画像を入力し、図示を省略したレンズアレイを介して要素画像を表示することで、観視者９に対して立体像Ｔを視認させる。
【0032】
観視位置計測装置２は、観視者９が立体像Ｔを観視する位置（観視位置）を計測するものである。この観視位置計測装置２は、赤外線カメラやＲＧＢカメラで構成することができる。具体的には、観視位置計測装置２は、２台のＲＧＢカメラで撮影した観視者９のカメラ画像から、強膜反射法や角膜・瞳孔反射法によって、観視者９の左右の角膜をそれぞれ検出し、三角測量の原理により、３次元の観視位置を求め、立体像表示装置１から観視者９までの視距離を計測してもよい。そして、観視位置計測装置２は、計測した観視位置及び視距離を立体像奥行き制御装置４に入力する。
【0033】
調整割合入力装置３は、調整割合ｓを観視者９が設定し、この調整割合ｓを立体像奥行き制御装置４（頂点座標調整部４３）に入力するものである。例えば、調整割合入力装置３は、図２に示すように、０から１までの間で調整割合ｓを任意に設定できるスライダである（０≦ｓ≦１）。この調整割合ｓは、静的な奥行き圧縮と動的な奥行き圧縮との割合を表している。すなわち、調整割合ｓは、静的な奥行き圧縮に起因した形状の歪みと、動的な奥行き圧縮に起因した空間の歪みとの割合を表している。
【0034】
立体像奥行き制御装置４は、予め設定した立体像表示装置１の解像度を満たす奥行き再現範囲に収まるように被写体の３次元モデルを奥行き圧縮し、奥行き圧縮された後の３次元モデルから要素画像を生成するものである。このとき、立体像奥行き制御装置４は、調整割合入力装置３から入力した調整割合に基づいて、空間の歪みと形状の歪みとの双方の割合を調整する。
なお、立体像奥行き制御装置４では、図示を省略した３次元モデル生成装置から３次元モデルを入力することとし、この３次元モデルの種類や生成方法は特に制限されない。
なお、立体像奥行き制御装置４では、図示を省略した３次元モデル生成装置から３次元モデルを入力することとし、この３次元モデルの種類や生成方法は特に制限されない。
【0035】
【0036】
奥行き圧縮部４０は、被写体の３次元モデルを入力し、入力した３次元モデルを奥行き圧縮するものである。図３に示すように、奥行き圧縮部４０は、静的頂点座標算出部４１と、動的頂点座標算出部４２と、頂点座標調整部４３とを備える。
【0037】
静的頂点座標算出部４１は、観視位置の移動を考慮しない静的な奥行き圧縮により、３次元モデルを構成する各頂点の座標である静的頂点座標を算出するものである。ここで、静的頂点座標算出部４１は、従来と同様の静的な奥行き圧縮を行うこととする。例えば、静的頂点座標算出部４１は、前記した式（１）を用いて、３次元モデルの頂点座標ｐを静的頂点座標ｐ０´に変換する。そして、静的頂点座標算出部４１は、算出した３次元モデルの静的頂点座標ｐ０´を頂点座標調整部４３に出力する。
【0038】
動的頂点座標算出部４２は、観視位置の移動を考慮した動的な奥行き圧縮により、観視位置に応じて、３次元モデルを構成する各頂点の座標である動的頂点座標を算出するものである。ここで、動的頂点座標算出部４２は、調整割合入力装置３から入力した観視位置に応じて、従来と同様の動的な奥行き圧縮を行うこととする。例えば、動的頂点座標算出部４２は、前記した式（３）を用いて、３次元モデルの頂点座標ｐを動的頂点座標ｐ１´に変換する。そして、動的頂点座標算出部４２は、算出した３次元モデルの動的頂点座標ｐ１´を頂点座標調整部４３に出力する。
【0039】
頂点座標調整部４３は、調整割合入力装置３から入力した調整割合ｓに基づいて、静的頂点座標算出部４１から入力した静的頂点座標ｐ０´と動的頂点座標算出部４２から入力した動的頂点座標ｐ１´との間で３次元モデルの頂点座標を調整するものである。そして、頂点座標調整部４３は、頂点座標を調整後の３次元モデルを要素画像生成部４４に出力する。
【0040】
＜頂点座標の調整＞
図４及び図５を参照し、頂点座標調整部４３による頂点座標の調整を詳細に説明する。
具体的には、頂点座標調整部４３は、以下の式（５）を用いて、３次元モデルの頂点座標ｐｍｏｄ１´が静的頂点座標ｐ０´と動的頂点座標ｐ１´との間に位置するように、この頂点座標ｐｍｏｄ１´を算出する。このとき、頂点座標調整部４３は、観視位置の移動方向の逆方向に頂点座標ｐｍｏｄ１´をシフトすればよい。
図４及び図５を参照し、頂点座標調整部４３による頂点座標の調整を詳細に説明する。
具体的には、頂点座標調整部４３は、以下の式（５）を用いて、３次元モデルの頂点座標ｐｍｏｄ１´が静的頂点座標ｐ０´と動的頂点座標ｐ１´との間に位置するように、この頂点座標ｐｍｏｄ１´を算出する。このとき、頂点座標調整部４３は、観視位置の移動方向の逆方向に頂点座標ｐｍｏｄ１´をシフトすればよい。
【0041】
【数5】
【0042】
図４に示すように、頂点座標ｐｍｏｄ１´は、ｘ軸方向及びｙ軸方向において、調整割合ｓに応じて、静的頂点座標ｐ０´と動的頂点座標ｐ１´との間でシフトする。具体的には、調整割合ｓが０に近づくほど、頂点座標ｐｍｏｄ１´が静的頂点座標ｐ０´に近くなる一方、調整割合ｓが１に近づくほど、頂点座標ｐｍｏｄ１´が動的頂点座標ｐ１´に近くなる。なお、図４において、投影点（ｉｍｏｄ１，ｊｍｏｄ１）は、頂点座標ｐｍｏｄ１´をディスプレイに投影した点である。
【0043】
図５に示すように、調整割合ｓが０に近づくほど、形状の歪みが大きくなる一方、空間の歪みが小さくなる。図５の例では、調整割合ｓが０に近づくほど、被写体Ａの右側直線が曲線状に歪んでしまう。そして、調整割合ｓ＝０の場合、静的な奥行き圧縮と同義となり、形状の歪みだけが発生し、空間の歪みが発生しなくなる。
その一方、調整割合ｓが１に近づくほど、空間の歪みが大きくなる一方、形状の歪みが小さくなる。図５の例では、調整割合ｓが１に近づくほど、被写体Ｂが右側にスライドしてしまう。そして、調整割合ｓ＝１の場合、動的な奥行き圧縮と同義となり、空間の歪みだけが発生し、形状の歪みが発生しなくなる。
その一方、調整割合ｓが１に近づくほど、空間の歪みが大きくなる一方、形状の歪みが小さくなる。図５の例では、調整割合ｓが１に近づくほど、被写体Ｂが右側にスライドしてしまう。そして、調整割合ｓ＝１の場合、動的な奥行き圧縮と同義となり、空間の歪みだけが発生し、形状の歪みが発生しなくなる。
【0044】
ここで、最適な調整割合ｓの値は、立体像表示装置１の観視環境によって異なると考えられる。例えば、映画館のような大画面の観視環境では、観視者９が頭部を動かしながら観視することが少ない。このため、空間の歪みよりも形状の歪みを緩和したほうがよいので、調整割合ｓの値を大きくする。一方、タブレットのような小画面の観視環境では、画面を両手で容易に動かせることから、観視者９が頭部とディスプレイと相対的な位置関係が大きく変わりやすくなる。従って、形状の歪みよりも空間の歪みを緩和した方がよいので、調整割合ｓの値を小さくする。
【0045】
さらに、調整割合ｓの値は、観視環境だけでなく、コンテンツの特徴によっても異なると考えれる。例えば、カメラモーションの大きいコンテンツでは、運動視差を十分に含んでいるために、観視者９が積極的に頭部を動かさないと考えられる。この場合、形状の歪みを優先的に緩和した方がよいので、調整割合ｓの値を大きくする。一方、多方面から観視するコンテンツでは、観視者９が積極的に頭部を動かすと考えられる。この場合、空間の歪みを優先的に緩和した方がよいので、調整割合ｓの値を小さくする。例えば、調整法等を用いた視覚心理実験を実施することで、観視環境やコンテンツの種類に応じた最適な調整割合ｓの値を求めることができる。
【0046】
図３に戻り、立体像奥行き制御装置４の説明を続ける。
要素画像生成部４４は、頂点座標調整部４３より入力した３次元モデルから要素画像を生成するものである。ここで、要素画像生成部４４は、光線追跡法などの従来手法を用いて、３次元モデルから要素画像を生成できる。
要素画像生成部４４は、頂点座標調整部４３より入力した３次元モデルから要素画像を生成するものである。ここで、要素画像生成部４４は、光線追跡法などの従来手法を用いて、３次元モデルから要素画像を生成できる。
【0047】
光線追跡法とは、立体像表示装置１のレンズアレイを構成する各要素レンズと要素画像の各画素とを結ぶ直線を延長し、延長した直線と３次元モデルの表面との交点の色情報を当該画素の画素値として取得するものである。例えば、光線追跡法は、以下の参考文献１，２に詳細に記載されているため、これ以上の説明を省略する。
【0048】
参考文献１：片山、「３次元モデルからインテグラル立体像への変換手法」、日本放送協会、ＮＨＫ技研Ｒ＆Ｄ、Ｎｏ．１２８、２０１１年７月
参考文献２：「３次元モデルからのインテグラル立体像の生成技術」、日本放送協会、ＮＨＫ技研Ｒ＆Ｄ、Ｎｏ．１２３、２０１０年９月
参考文献２：「３次元モデルからのインテグラル立体像の生成技術」、日本放送協会、ＮＨＫ技研Ｒ＆Ｄ、Ｎｏ．１２３、２０１０年９月
【0049】
また、要素画像生成部４４は、光線追跡法以外で要素画像を生成してもよい。例えば、要素画像生成部４４は、アレイ状に配置した仮想カメラで３次元モデルを撮影した多視点画像を生成し、この多視点画像を要素画像に変換してもよい（例えば、参考文献３）。
参考文献３：池谷、「多視点カメラを用いたインテグラル立体像の生成手法」、日本放送協会、ＮＨＫ技研Ｒ＆Ｄ、Ｎｏ．１４６、２０１４年８月
参考文献３：池谷、「多視点カメラを用いたインテグラル立体像の生成手法」、日本放送協会、ＮＨＫ技研Ｒ＆Ｄ、Ｎｏ．１４６、２０１４年８月
【0050】
その後、要素画像生成部４４は、生成した要素画像を立体像表示装置１に出力する。すると、立体像表示装置１は、レンズアレイを介して要素画像を表示し、観視者９に対して立体像Ｔを視認させる。
【0051】
［立体像奥行き制御装置の動作］
図６を参照し、立体像奥行き制御装置４の動作について説明する。
図６に示すように、ステップＳ１において、静的頂点座標算出部４１は、静的な奥行き圧縮により、３次元モデルの各静的頂点座標を算出する。例えば、静的頂点座標算出部４１は、前記した式（１）を用いて、３次元モデルの頂点座標ｐを静的頂点座標ｐ０´に変換する。
図６を参照し、立体像奥行き制御装置４の動作について説明する。
図６に示すように、ステップＳ１において、静的頂点座標算出部４１は、静的な奥行き圧縮により、３次元モデルの各静的頂点座標を算出する。例えば、静的頂点座標算出部４１は、前記した式（１）を用いて、３次元モデルの頂点座標ｐを静的頂点座標ｐ０´に変換する。
【0052】
ステップＳ２において、動的頂点座標算出部４２は、動的な奥行き圧縮により、観視位置に応じて、３次元モデルの各動的頂点座標を算出する。例えば、動的頂点座標算出部４２は、前記した式（３）を用いて、３次元モデルの頂点座標ｐを動的頂点座標ｐ１´に変換する。
【0053】
ステップＳ３において、頂点座標調整部４３は、調整割合入力装置３から入力した調整割合ｓに基づいて、ステップＳ１で算出した静的頂点座標ｐ０´とステップＳ２で算出した動的頂点座標ｐ１´との間で３次元モデルの各頂点の座標を調整する。具体的には、頂点座標調整部４３は、前記した式（５）を用いて、３次元モデルの頂点座標ｐｍｏｄ１´を算出する。
【0054】
ステップＳ４において、要素画像生成部４４は、ステップＳ３で頂点座標を調整した３次元モデルから要素画像を生成する。例えば、要素画像生成部４４は、光線追跡法を用いて、３次元モデルから要素画像を生成する。
【0055】
［作用・効果］
第１実施形態に係る立体像奥行き制御装置４は、観視者９が設定した調整割合ｓに基づいて、空間の歪みと形状の歪みとの双方を緩和できるように、これら双方の割合を調整することができる。すなわち、立体像奥行き制御装置４は、立体像表示装置１において奥行きの広いシーンを表示した際に生じるぼやけを回避するために、シーンの奥行きを圧縮し、その際に発生する形状の歪み及び空間の歪みを観視者９が任意に調整できる。
第１実施形態に係る立体像奥行き制御装置４は、観視者９が設定した調整割合ｓに基づいて、空間の歪みと形状の歪みとの双方を緩和できるように、これら双方の割合を調整することができる。すなわち、立体像奥行き制御装置４は、立体像表示装置１において奥行きの広いシーンを表示した際に生じるぼやけを回避するために、シーンの奥行きを圧縮し、その際に発生する形状の歪み及び空間の歪みを観視者９が任意に調整できる。
【0056】
（第２実施形態）
図７を参照し、第２実施形態に係る立体像表示システム１００Ｂについて、第１実施形態と異なる点を説明する。
図７に示すようには、立体像表示システム１００Ｂは、立体像表示装置１と、観視位置計測装置２と、調整割合入力装置３と、立体像奥行き制御装置４Ｂとを備える。なお、立体像奥行き制御装置４Ｂの各手段は、第１実施形態と同様のため、説明を省略する。
図７を参照し、第２実施形態に係る立体像表示システム１００Ｂについて、第１実施形態と異なる点を説明する。
図７に示すようには、立体像表示システム１００Ｂは、立体像表示装置１と、観視位置計測装置２と、調整割合入力装置３と、立体像奥行き制御装置４Ｂとを備える。なお、立体像奥行き制御装置４Ｂの各手段は、第１実施形態と同様のため、説明を省略する。
【0057】
［立体像奥行き制御装置の構成］
第２実施形態において、立体像奥行き制御装置４Ｂは、最適な調整割合ｓを学習する点が第１実施形態と異なる。このため、立体像奥行き制御装置４Ｂは、奥行き圧縮部４０Ｂ、要素画像生成部４４と、履歴ＤＢ記憶部４５と、学習モデル生成部４６と、調整割合取得部４７と、スイッチ４８とを備える。また、奥行き圧縮部４０Ｂは、静的頂点座標算出部４１と、動的頂点座標算出部４２と、頂点座標調整部４３Ｂとを備える。
なお、静的頂点座標算出部４１、動的頂点座標算出部４２及び要素画像生成部４４は、第１実施形態と同様のため、説明を省略する。
第２実施形態において、立体像奥行き制御装置４Ｂは、最適な調整割合ｓを学習する点が第１実施形態と異なる。このため、立体像奥行き制御装置４Ｂは、奥行き圧縮部４０Ｂ、要素画像生成部４４と、履歴ＤＢ記憶部４５と、学習モデル生成部４６と、調整割合取得部４７と、スイッチ４８とを備える。また、奥行き圧縮部４０Ｂは、静的頂点座標算出部４１と、動的頂点座標算出部４２と、頂点座標調整部４３Ｂとを備える。
なお、静的頂点座標算出部４１、動的頂点座標算出部４２及び要素画像生成部４４は、第１実施形態と同様のため、説明を省略する。
【0058】
履歴ＤＢ記憶部４５は、履歴データベースを記憶するものである。この履歴データベースは、調整割合ｓと立体像Ｔの奥行き位置と視距離との関係を示すデータベースである。例えば、履歴データベースとしては、リレーショナルデータベースがあげられる。
【0059】
学習モデル生成部４６は、履歴データベースを参照し、調整割合ｓを立体像Ｔの奥行き位置と視距離との関係で表した学習モデルを生成するものである。ここで、学習モデル生成部４６は、図示を省略したメモリに学習モデルを記憶することとする。
【0060】
＜学習モデルの生成＞
以下、学習モデル生成部４６による学習モデルの生成を詳細に説明する。
例えば、学習モデルは、以下の式（６）に示すように、調整割合ｓを立体像Ｔの奥行き位置ｔ１と視距離ｔ２との関係で表した線形モデルである。なお、式（６）では、α，β１，β２が所定の係数を表している。
以下、学習モデル生成部４６による学習モデルの生成を詳細に説明する。
例えば、学習モデルは、以下の式（６）に示すように、調整割合ｓを立体像Ｔの奥行き位置ｔ１と視距離ｔ２との関係で表した線形モデルである。なお、式（６）では、α，β１，β２が所定の係数を表している。
【0061】
【数6】
【0062】
この場合、学習モデル生成部４６は、最適化問題として、式（６）の係数α，β１，β２を求めればよい。具体的には、学習モデル生成部４６は、以下の式（７）を最小二乗法で解いて、係数α，β１，β２を求める。なお、式（７）では、ｓ（ｎ），ｔ１（ｎ），ｔ２（ｎ）の添え字ｎが、履歴データベースに格納されたｎ番目のレコードを表している（但し、ｎ＝０,１，２，…）。
【0063】
【数7】
【0064】
図７に戻り、立体像奥行き制御装置４Ｂの説明を続ける。
調整割合取得部４７は、奥行き位置及び視距離を入力し、入力した奥行き位置及び視距離に対応する調整割合ｓを学習モデルから取得するものである。ここで、調整割合取得部４７は、観視位置計測装置２から視距離を入力し、映像制作者が予め指定した奥行き位置を観視者９が入力する。このように、調整割合取得部４７は、観視者９の観視環境に対応した奥行き位置及び視距離を学習モデルに入力することで、観視者９の観視環境に適した調整割合ｓを学習モデルから取得できる。
調整割合取得部４７は、奥行き位置及び視距離を入力し、入力した奥行き位置及び視距離に対応する調整割合ｓを学習モデルから取得するものである。ここで、調整割合取得部４７は、観視位置計測装置２から視距離を入力し、映像制作者が予め指定した奥行き位置を観視者９が入力する。このように、調整割合取得部４７は、観視者９の観視環境に対応した奥行き位置及び視距離を学習モデルに入力することで、観視者９の観視環境に適した調整割合ｓを学習モデルから取得できる。
【0065】
スイッチ４８は、調整割合入力装置３から入力した調整割合ｓ、又は、調整割合取得部４７が取得した調整割合ｓの何れか一方を選択し、選択した一方の調整割合ｓを頂点座標調整部４３Ｂに出力するものである。ここでは、観視者９が、スイッチ４８が何れの調整割合ｓを選択するか手動で設定できる。なお、図７の例では、スイッチ４８は、調整割合取得部４７が取得した調整割合ｓを選択している。
【0066】
頂点座標調整部４３Ｂは、スイッチ４８から入力した調整割合ｓに基づいて、３次元モデルの頂点座標を調整するものである。すなわち、頂点座標調整部４３Ｂは、調整割合入力装置３から入力した調整割合ｓ、又は、調整割合取得部４７が取得した調整割合ｓに基づいて、３次元モデルの頂点座標を調整する。なお、頂点座標の調整自体は、第１実施形態と同様のため、これ以上の説明を省略する。
【0067】
［作用・効果］
第２実施形態に係る立体像奥行き制御装置４Ｂは、観視者９の観視環境に適した調整割合ｓを取得できるので、観視者９の観視環境に合わせて、空間の歪みと形状の歪みとの割合を自動的に調整することができる。これにより、立体像奥行き制御装置４Ｂは、利便性を向上させることができる。
第２実施形態に係る立体像奥行き制御装置４Ｂは、観視者９の観視環境に適した調整割合ｓを取得できるので、観視者９の観視環境に合わせて、空間の歪みと形状の歪みとの割合を自動的に調整することができる。これにより、立体像奥行き制御装置４Ｂは、利便性を向上させることができる。
【0068】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、学習モデルが線形モデルであることとして説明したが、これに限定されない。例えば、機械学習や深層学習により学習モデルを学習してもよい。
以上、本発明の各実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、学習モデルが線形モデルであることとして説明したが、これに限定されない。例えば、機械学習や深層学習により学習モデルを学習してもよい。
【0069】
前記した実施形態では、立体像奥行き制御装置を独立したハードウェアとして説明したが、これに限定されない。コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体像奥行き制御装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0070】
１ 立体像表示装置
２ 観視位置計測装置
３ 調整割合入力装置
４，４Ｂ立体像奥行き制御装置
４０ 奥行き圧縮部
４１ 静的頂点座標算出部
４２ 動的頂点座標算出部
４３，４３Ｂ 頂点座標調整部
４４ 要素画像生成部
１００ 立体像表示システム
２ 観視位置計測装置
３ 調整割合入力装置
４，４Ｂ立体像奥行き制御装置
４０ 奥行き圧縮部
４１ 静的頂点座標算出部
４２ 動的頂点座標算出部
４３，４３Ｂ 頂点座標調整部
４４ 要素画像生成部
１００ 立体像表示システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】