特許 6106586 立体コンテンツの３次元効果をカスタマイズする方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6106586

(24)【登録日】2017年3月10日

(45)【発行日】2017年4月5日

(54)【発明の名称】立体コンテンツの３次元効果をカスタマイズする方法及び装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170327BHJP

   G06T 19/00 20110101ALI20170327BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 290

   H04N13/00 330

   G06T19/00 F

【請求項の数】26

【全頁数】23

(21)【出願番号】特願2013-518492(P2013-518492)

(86)(22)【出願日】2011年6月23日

(65)【公表番号】特表2013-531440(P2013-531440A)

(43)【公表日】2013年8月1日

(86)【国際出願番号】US2011041574

(87)【国際公開番号】WO2012005962

(87)【国際公開日】20120112

【審査請求日】2014年6月13日

(31)【優先権主張番号】61/359,342

(32)【優先日】2010年6月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ヘ，シャン

(72)【発明者】

【氏名】チャン，タオ

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００４−２４６７２５（ＪＰ，Ａ）

【文献】 特開２００４−３４９７３６（ＪＰ，Ａ）

【文献】 特開２００４−２０７７７２（ＪＰ，Ａ）

【文献】 特開２０１０−０４５５８４（ＪＰ，Ａ）

【文献】 特開２００３−２８４０９３（ＪＰ，Ａ）

【文献】 特開平０８−３１７４２９（ＪＰ，Ａ）

【文献】 特開２００４−２８９５２７（ＪＰ，Ａ）

【文献】 特開２００６−２６２１９１（ＪＰ，Ａ）

【文献】 特開２００５−０７３０４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

複数の立体画像の対を有する立体コンテンツを提示する方法であって、
第一のビューと第二のビューとを有する少なくとも第一の立体画像の対を受信する段階と、前記第一のビューと前記第二のビューは、第一の水平方向の視差により分離される少なくとも対応する画素の対を含み、
視聴の好みについてのユーザからの入力を受信した場合、前記視聴の好みから入力に応答して制御信号を生成する段階と、
前記ユーザに関連する前記視聴の好みがユーザプロファイルに以前に記憶されているか否かを決定し、前記視聴の好みが前記ユーザプロファイルに以前に記憶されている場合、前記制御信号を調節するために前記視聴の好みを使用する段階と、
前記制御信号又は定義されたルックアップテーブルに基づいて、前記第一のビュー又は前記第二のビューに対する深度の変化を計算する段階と、
前記計算及び前記制御信号に応答して、エフェクトチューナを介して、スケールファクタにより前記第一のビュー及び前記第二のビューのサイズを調節し、前記第一の水平方向の視差を第二の水平方向の視差に更に調節して、前記視聴の好みに従って調節された第一のビュー及び第二のビューを生成する段階と、
を含む方法。

【請求項2】

前記第一の水平方向の視差を調節する段階は、
前記制御信号に少なくとも部分的に基づいて、第一のビューのシフトパラメータと第二のビューのシフトパラメータとを含むシフトパラメータを決定する段階と、
前記第一のビューのシフトパラメータと前記第二のビューのシフトパラメータとに関連するそれぞれの量だけ前記第一のビューと前記第二のビューとを水平方向にシフトする段階とを含み、
シフトされた第一のビュー及び第二のビューにおける対応する画素の対は、前記第二の水平方向の視差を示す、
請求項１記載の方法。

【請求項3】

前記第一のビュー及び前記第二のビューのサイズを調節する段階は、
前記シフトパラメータに少なくとも部分的に基づいて前記スケールファクタを決定する段階と、
前記スケールファクタに依存する量だけ、前記第一のビュー及び前記第二のビューのそれぞれについて前記立体コンテンツのそれぞれの少なくとも一部のサイズを変更する段階と、
を更に含む請求項２記載の方法。

【請求項4】

前記調節する段階は、前記制御信号に少なくとも部分的に基づいてシフトパラメータを決定する段階と、
前記シフトパラメータに少なくとも部分的に基づいて前記スケールファクタを決定する段階と、
前記スケールファクタに依存する量だけ、少なくとも前記第一の立体画像の対の前記第一のビュー及び前記第二のビューのそれぞれについて前記立体コンテンツの少なくとも一部のサイズを変更する段階と、
を含む請求項１記載の方法。

【請求項5】

前記シフトパラメータは、第一のビューのシフトパラメータと第二のビューのシフトパラメータとを含み、
前記第一の水平方向の視差を調節する段階は、
前記第一のビューのシフトパラメータと前記第二のビューのシフトパラメータとに関連するそれぞれの量だけ前記第一のビューと前記第二のビューとを水平方向にシフトする段階を更に含み、
シフトされた第一のビュー及び第二のビューにおける対応する画素の対は、前記第二の水平方向の視差を示す、
請求項４記載の方法。

【請求項6】

前記シフトパラメータを決定する前に、ビュースケーリングファクタに依存する量だけ、前記第一のビュー及び前記第二のビューのそれぞれの解像度を変更する段階を更に含む、
請求項４記載の方法。

【請求項7】

調節された第一のビュー及び第二のビューの画像の対を表示する段階を更に含む、
請求項２記載の方法。

【請求項8】

前記立体画像の対の１以上を分析して、前記立体画像の対におけるそれぞれの画像の少なくとも一部にわたる視差の分布を決定する段階と、
推薦される深度の範囲を表す制御パラメータを計算する段階とを更に含み、
前記制御パラメータは、前記視差の分布及び少なくとも１つのユーザの不快さのプロファイルに少なくとも部分的に基づいており、それぞれのユーザの不快さのプロファイルは、水平方向の視差の範囲にわたる不快さのレベルを表し、特定のユーザ又は特定のユーザのグループの少なくとも１つと関連する、
請求項１記載の方法。

【請求項9】

前記立体画像の対の１以上を分析して、前記立体画像の対におけるそれぞれの画像の少なくとも一部にわたる視差の分布を決定する段階と、
推薦される深度の変化を表す制御パラメータを計算する段階とを更に含み、前記制御パラメータは、前記視差の分布に少なくとも部分的に基づいており、
受信された以前のユーザの好みに基づいて、前記ユーザの好みに関して行われる調節に応答して、ユーザ及び少なくとも１つのユーザプロファイルを確定する段階を更に含み、それぞれのユーザプロファイルは、好みと、水平方向の視差の範囲にわたるユーザの好みを使用して確定された、計算された快適さレベルとを表し、ユーザプロファイルを有する特定のユーザ又は特定のユーザのグループの少なくとも１つと関連する、
請求項４記載の方法。

【請求項10】

前記制御パラメータは、前記制御信号に含まれる、
請求項８記載の方法。

【請求項11】

前記制御パラメータを、前記ユーザの不快さのプロファイルに関連するユーザの装置に送出する段階を更に含み、前記制御パラメータは、前記ユーザの装置で前記制御信号に含まれるため、ユーザの調節された制御パラメータの生成において使用される、
請求項８記載の方法。

【請求項12】

前記制御信号に少なくとも部分的に基づいて前記少なくとも１つのユーザの不快さのプロファイルを更新する段階を更に含む、
請求項８記載の方法。

【請求項13】

前記制御信号に少なくとも部分的に基づいて前記少なくとも１つのユーザの不快さのプロファイルを更新する段階を更に含む、
請求項１０記載の方法。

【請求項14】

前記制御信号に少なくとも部分的に基づいて前記少なくとも１つのユーザの不快さのプロファイルを更新する段階を更に含む、
請求項１１記載の方法。

【請求項15】

前記制御信号は、前記立体コンテンツへの適用のため、深度の変化の量を示す情報を含む、
請求項２記載の方法。

【請求項16】

前記制御信号は、特定のユーザ又は特定のユーザのグループの少なくとも１つを示す指示を含む、
請求項１５記載の方法。

【請求項17】

複数の立体画像の対を有する立体コンテンツをユーザに提示するシステムであって、
第一のビューと第二のビューとを有する少なくとも第一の立体画像の対を受信するように構成された少なくとも１つのプロセッサを備え、
前記第一のビューと前記第二のビューは、第一の水平方向の視差により分離される少なくとも対応する画素の対を含み、
前記少なくとも１つのプロセッサは、前記ユーザに関連するユーザの好みがユーザプロファイルに以前に記憶されているか否かを決定し、視聴の好みが前記ユーザプロファイルに以前に記憶されている場合、制御信号を調節するために前記視聴の好みを使用し、
前記少なくとも１つのプロセッサは、前記制御信号又は定義されたルックアップテーブルに基づいて、前記第一のビュー又は前記第二のビューに対する深度の変化を計算し、
前記少なくとも１つのプロセッサは、イベントエフェクトチューナを介して、ユーザの視聴の好みに基づいて生成された制御信号に応答して、スケールファクタにより前記第一のビュー及び前記第二のビューのサイズを調節し、前記第一の水平方向の視差を第二の水平方向の視差に更に調節して、調節された第一のビュー及び第二のビューを生成し、
前記ユーザ又はユーザの集合に関連するユーザプロファイルにおいて前記調節を確定又は入力する、
システム。

【請求項18】

前記少なくとも１つのプロセッサは、さらに、
前記制御信号に少なくとも部分的に基づいて、第一のビューのシフトパラメータと第二のビューのシフトパラメータとを含むシフトパラメータを決定し、
シフトされた第一のビュー及び第二のビューにおける対応する画素の対が前記第二の水平方向の視差を示すように、前記第一のビューのシフトパラメータと前記第二のビューのシフトパラメータとに関連するそれぞれの量だけ前記第一のビューと前記第二のビューとを水平方向にシフトするように構成される、
請求項１７記載のシステム。

【請求項19】

前記少なくとも１つのプロセッサは、さらに、
前記シフトパラメータに少なくとも部分的に基づいて前記スケールファクタを決定し、
前記スケールファクタに依存する量だけ、前記第一のビュー及び前記第二のビューのそれぞれについて前記立体コンテンツの少なくとも一部のサイズを変更するように構成される、
請求項１８記載のシステム。

【請求項20】

前記少なくとも１つのプロセッサは、さらに、
前記シフトパラメータを決定する前に、ビュースケーリングファクタに依存する量だけ、前記第一のビュー及び前記第二のビューのそれぞれの解像度を変更するように構成される、
請求項１９記載のシステム。

【請求項21】

前記少なくとも１つのプロセッサは、さらに、
前記制御信号に少なくとも部分的に基づいてシフトパラメータを決定し、
前記シフトパラメータに少なくとも部分的に基づいてスケールファクタを決定し、
前記スケールファクタに依存する量だけ、前記第一のビューと前記第二のビューのそれぞれについて前記立体コンテンツの少なくとも一部のサイズを変更するように構成される、
請求項１７記載のシステム。

【請求項22】

前記シフトパラメータは、第一のビューのシフトパラメータと第二のビューのシフトパラメータとを含み、
前記少なくとも１つのプロセッサは、さらに、
前記第一のビューのシフトパラメータと前記第二のビューのシフトパラメータとに関連するそれぞれの量だけ前記第一のビューと前記第二のビューとを水平方向にシフトするように構成され、
シフトされた第一のビュー及び第二のビューにおける対応する画素の対は、前記第二の水平方向の視差を示す、
請求項２１記載のシステム。

【請求項23】

前記少なくとも１つのプロセッサは、さらに、
前記シフトパラメータを決定する前に、ビュースケーリングファクタに依存する量だけ、前記第一のビュー及び前記第二のビューのそれぞれの解像度を変更するように構成される、
請求項２１記載のシステム。

【請求項24】

前記制御信号は、前記立体コンテンツへの適用のため、深度の変化の量を示す情報を含む、
請求項１７記載のシステム。

【請求項25】

前記制御信号は、以前に提示されたユーザの好みに基づいて、特定のユーザ又は特定のユーザのグループの少なくとも１つを示す指示を含む、
請求項２４記載のシステム。

【請求項26】

前記ユーザの視聴の好みが生成できるように、前記プロセッサから調節された第一のビュー及び第二のビューをもつ前記少なくとも１つの立体画像の対を表示するディスプレイを更に備える、
請求項１７記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元（３Ｄ）画像表示システムに関し、より詳細には、３Ｄシーンにおいて知覚される深度を視聴の好みにカスタマイズすることに関する。
本出願は、“Method and Apparatus for Customizing 3-Dimensional Effects of Stereo Content”と題された2010年6月28日に提出された米国特許仮出願61/359,342号からの優先権の利益を特許請求するものである。先の特許仮出願の教示は、引用により本明細書に完全な形で盛り込まれる。

【背景技術】

【0002】

ますます多くの３次元（３Ｄ）映画が相次いでリリースされている。３Ｄコンテンツの人気が劇場に拡大したとき、類似の３Ｄ体験を、特に３Ｄテレビの出現により家庭の環境に拡大することを目的とする増加する試みが行われている。

【0003】

最近、テレビ番組は、３Ｄにおいてますます広く利用可能となっている。スポーツイベント及びコンサートは、家庭での消費のためにブロードキャストされている。３Ｄコンポーネントの販売は、ホームシアター環境をターゲットとする３Ｄ表示を更に増加する鍵を握る。３Ｄコンポーネントの販売が増加し、３Ｄの需要が成長したとき、近未来において、３Ｄ番組が人気のＴＶチャネルの大部分で広く提供されること、及び記録されたメディアにおいて広く提供されることが期待される。

【0004】

しかし、３Ｄテレビ市場を成長させることには幾つかの課題がある。ホームシアター環境における３Ｄテレビは、映画館で見られるスクリーンサイズよりもかなり小さいスクリーンサイズ、映画館で見られる視聴距離よりもかなり短い視聴距離を提供する。これは、３Ｄテレビに伝達される３Ｄコンテンツに関する大きな制約となる。例えば、ホームシアターにおける３Ｄテレビは、大部分の映画館で許容される深度範囲よりも小さくなるように深度範囲を制限する。

【0005】

映画館では、３Ｄ効果は、シーンにおけるエレメントが、スクリーンの外から幅広く視聴メンバの座席にひょいと入るように、大掛かりで形成される。大部分の人は、リラックスした視聴体験のためにスクリーンの背後に現れる３Ｄシーンを視聴するのを楽しむ。幾つかの視聴メンバにとって、これらの実物そっくりの及び実物そっくりよりも大きい効果は非常に楽しく、他の視聴メンバにとって、これらの同じ効果は、良くても心地の良いものではない。言い換えれば、異なる人は、３Ｄコンテンツを視聴しているときに、異なる心地良さの深度の範囲を有する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

現時点で、特に深度に関して、ユーザの好みに３Ｄ提示を適合又は最適化する既知の技術は存在しない。３Ｄコンテンツの視聴体験を改善するため、視聴の好みについて３Ｄコンテンツの深度を調節又はカスタマイズする自動化された方法が期待されている。

【課題を解決するための手段】

【0007】

画像コンテンツの立体的な３Ｄ提示は、視聴者の制御信号に応答して、視聴者の制御信号に含まれるパラメータ又は情報に関連する第一の値から第二の値に、受信された立体画像の対の第一及び第二のビューの水平方向の視差を調節することで、本発明の原理に従って視聴者の好みに適合される。このように、視聴者は、視聴者自身の視覚的な快適さ及び／視覚的な偏好に従って深度の範囲を調節することができる。この技術は、立体３Ｄコンテンツにおける深度の知覚に関するカスタマイズを可能にする。

【0008】

深度の知覚の変化は、立体コンテンツの左画像と右画像とを水平方向にシフトすることで達成される。立体画像の対の左画像と右画像とをシフトすることで、あるシーンと関連される視差が変化し、シーンのコンテンツが視聴者に近く表示されるように知覚されたり、視聴者から離れて表示されるように知覚されることになる。あるシーンにおけるエレメント又はオブジェクトのスケールの適切な関係を保持するため、深度の変化の方向に基づいて、それぞれの画像の対における、コンテンツのアップスケーリング又はダウンスケーリング、すなわちオブジェクトのサイズ調節も実行される。

【0009】

従って、本発明の１態様は、複数の立体画像の対を有する立体コンテンツを提示する方法を提供する。本方法は、第一及び第二のビューが第一の水平方向の視差により分離される対応する画素の少なくとも対を含む、少なくとも第一のビュー及び第二のビューを有する第一の立体画像の対を受信すること、制御信号に応答して、スケールファクタにより第一及び第二のビューのサイズを調節し、第一の水平方向の視差を第二の水平方向の視差に調節して、調節された第一及び第二のビューを生成する。

【0010】

本発明の別の態様は、立体コンテンツの提示において使用するシステムを提供し、第一のビュー及び第二のビューを有する少なくとも第一の立体画像の対を受信するために構成される少なくとも１つのプロセッサを含み、第一及び第二のビューは、第一の水平方向の視差により分離される対応する画素の少なくとも対を含む。少なくとも１つのプロセッサは、制御信号に応答して、スケールファクタにより第一及び第二のビューのサイズを調節し、第一の水平方向の視差を第二の水平方向の視差に調節して、調節された第一及び第二のビューを生成する。

【0011】

１以上の実現の詳細は、以下の添付図面及び説明において述べられる。１つの特定の方式で記載されてとしても、実現が様々な方式で構成又は実施されることは明らかである。例えば、実現は、方法として行われるか、動作のセットを実行するように構成される装置として実施されるか、又は、動作のセットを実行する命令を記憶する装置として実施される。他の態様及び特徴は、添付図面及び特許請求の範囲と共に考慮される以下の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0012】

本発明の上述された特徴及び他の利点、及びそれらの付随する様式は、より明らかとなり、本発明は、添付図面と共に行われる本発明の実施の形態の以下の記載を参照することで良好に理解されるであろう。

【図1】本発明の原理に従って実現される３Ｄ視聴体験を調節するシステムの簡略化されたブロック図である。

【図2】本発明の原理に従って実現される図１における３Ｄ効果チューナの詳細なブロック図である。

【図3A】本発明の原理に従って実現される図２に示されるそれぞれのビューチューナの更に詳細なブロック図である。

【図3B】本発明の原理に従って実現される図２に示されるそれぞれのビューチューナの更に詳細なブロック図である。

【図3C】本発明の原理に従って実現される図２に示されるそれぞれのビューチューナの更に詳細なブロック図である。

【図4A】それぞれの３Ｄビューの異なる条件下での入力ビデオフレームと出力ビデオウィンドウの比較を示す図である。

【図4B】それぞれの３Ｄビューの異なる条件下での入力ビデオフレームと出力ビデオウィンドウの比較を示す図である。

【図4C】それぞれの３Ｄビューの異なる条件下での入力ビデオフレームと出力ビデオウィンドウの比較を示す図である。

【図5】３Ｄで視聴されるオブジェクトの深度対視差における変化を示す図である。

【図6】本発明の原理に従って実現されるユーザの３Ｄ視聴体験を調節する図１におけるシステムの代替的な実施の形態を示す図である。

【図7】本発明の原理に従って実現される図６における３Ｄ効果リコメンダエレメントの詳細なブロック図である。

【図8A】ユーザの快適レベル対視差のグラフを示す図である。

【図8B】ユーザの不快レベル対視差のグラフを示す図である。

【図9】３Ｄコンテンツ画像から抽出された視差の例示的なヒストグラムのプロットを示す図である。 本明細書で述べる例示的な実施の形態は、本発明の好適な実施の形態を説明するために理解され、係る例示的な実施の形態は、何れかのやり方で本発明の範囲を制限するものとして解釈されるべきではない。

【発明を実施するための形態】

【0013】

本発明の実施の形態は、視聴者は、視聴者自身の視覚的な快適さのレベル及び／又は視聴の好みに従って深度の範囲を調節することができる、調節可能な３Ｄコンテンツの方法及びシステムを提供する。深度の変化は、シフトされた画像の対が所望の深度の知覚を達成するために十分な、新たな水平方向の視差を示すように、立体コンテンツ画像の左画像及び右画像をシフトすることで達成される。画像の対において左及び右画像をシフトすることで、シーンにおけるコンテンツのオブジェクトは、シフトされていない画像の対におけるそれら同じオブジェクトよりもビューアの近くに見えるか、又はビューアから離れて見える。この技術は、立体３Ｄコンテンツにおける深度の知覚に関するカスタマイズを可能にする。

【0014】

深度の感覚又は知覚は、視聴プロセスの両眼の特性のため、２つの画像ビュー（すなわち左及び右の画像ビュー）間の水平方向の視差にダイレクトに関連する。両眼“binocular”は、本明細書では、視聴が目により行われるか又はカメラにより行われるかに係らず、２つの異なる位置からの視聴を広く包含することが意図される。３Ｄビデオにおけるオブジェクトについて、水平方向の視差、又は簡単に視差は、立体画像の対の左画像と右画像との間で、画素数で通常測定される水平方向の分離を示す。ゼロの視差は、右画像のビューが左画像のビューと一致するときに生じる。次いで、これらの画像のビューにおけるオブジェクトは、ディスプレイスクリーンに現れる。正の視差は、右目の画素が対応する画像からの左目の画素の右に現れることを示す。正の視差を示すオブジェクトは、視聴スクリーンの背後に現れる。負の視差は、右目の画素は、対応する画像における左目の画素の左に現れることを示す。負の視差を示すオブジェクトは、視聴スクリーンの前に現れる。

【0015】

この概念は、図５において少なくとも部分的に示される。この図では、視差は、オブジェクトＯと関連する。視差は、左のビュー及び右のビューを参照して画像におけるそれぞれの画素について定義される。異なる画素は、画像における同じオブジェクトについて、異なる視差の値を有する。図のｄとして示される視差は、オブジェクトＯの画像における左目の画素と右目の画素との間の差異として測定される。視差は、一般に画素数として表される。右目の画像における画素は左目の画像における対応する画素の右にあるので、例示される視差は、正の数である。ポイントＰから左にポイントＰ’に左目の画像をシフトし、ポイントＱから右へポイントＱ’に右目の画像をシフトすることで視差が増加するとき、ポイントＰ’とポイントＱ’との間の画素数として、Ｏについて新たな視差が測定される。右目画像における画素はなお左目画像における画素の右にあるので、新たな例示される視差は正の数である。この例では、オブジェクトＯは、Ｏ’での新たな位置により示されるように、視聴者から遠くに追いやられる。

【0016】

本出願の時点で、視差は、シフトを参照して記載されるか、或いは、互いに関して又は参照ポイントに関して、左画像と右画像を参照して記載される。視差の測定が基づく左画像の画素と右画像の画素とを画像が含むため、これらの記載がシフトプロセスの正確な簡潔な記載として役に立つことが当業者により理解される。従って、画像のシフトは、画像の画素のシフトと同義、及び意味において同一の外延をもつことが意図される。

【0017】

文献において、視差“parallax”，“disparity”は、交換可能に使用される。本発明のコンテクストにおいて、３Ｄビデオにおけるオブジェクトの視差“disparity”は、左目の画像と右目の画像との間で、画素数での水平方向の分離を示し、視差“parallax”は、表示されたときに、左目の画像と右目の画像との間の実際の距離を示す。従って、オブジェクトの視差“parallax”の値は、オブジェクトの視差及びディスプレイサイズの両者に依存する。固定されたディスプレイサイズについて、視差“parallax”は、視差“disparity”に等価である、一定のファクタにより互いに関連する。

【0018】

図１は、本発明の原理に従って実現されるユーザの３Ｄ視聴体験を調節するシステムの簡略化されたブロック図である。図１におけるシステムは、３Ｄ効果チューナ１０、ユーザ装置２０及びディスプレイ３０を含む。３Ｄ効果チューナ１０は、ユーザ装置２０からの視聴者の制御信号又は指示に応答して、入力立体ビデオフレームを処理する。３Ｄ効果チューナ１０は、制御信号により指示されたとき、立体ビデオフレームの視聴体験を調節する。次いで、３Ｄ効果チューナ１０は、視聴者への提示のため、調節された立体ビデオフレームをディスプレイに供給する。

【0019】

表示されたコンテンツを視聴している間、視聴者は、彼／彼女の視聴の好みに基づいてコンテンツを更に調節するため、１以上の制御又は調節信号（又は命令）を送出する。特に、３Ｄコンテンツは、表示された立体画像（すなわち左目の画像又はビュー、及び／又は右目の画像又はビュー）の少なくとも１つを水平方向にシフトすることで、視聴者の深度の知覚の好みに適合するため、制御信号に基づいて調節される。さらに、深度が調節された画像のスケーリングは、深度の変化の調節を考慮するため、シーンにおけるオブジェクトのサイズを調節するために実行することができる。

【0020】

先に簡単に言及されたように、入力立体ビデオは、左ビューのビデオ及び右ビューのビデオを含む。左ビューのビデオにおけるそれぞれのフレームは、右ビューのビデオにおける１つの対応するフレームを有し、従ってフレームの対が形成される。本明細書で記載されたシステムにおける処理の間、フレームのそれぞれの対は、調節のために３Ｄ効果チューナ１０に入力される。

【0021】

図２は、本発明の原理に従って実現される、図１における３Ｄ効果チューナ１０の詳細なブロック図である。３Ｄ効果チューナ１０は、左ビューチューナ１１、右ビューチューナ１２、シフト計算部１３及びフォーマット変換部１４を含む。チューナ１１及び１２は、シフトパラメータを受信するためにソフト計算部１３にそれぞれ結合される。それぞれのチューナからの出力は、フォーマット変換部１４に結合される。

【0022】

３Ｄ効果チューナ１０により受信されるそれぞれの立体３Ｄ画像の対は、左ビューの画像及び右ビューの画像といった、２つのコンポーネントに分離される。ユーザ装置２０からの制御信号の受信に応じて、シフト計算部１３は、少なくとも１つのシフトパラメータα_Vを計算し、ここで、下付き文字Ｖは、Ｌ又はＲの何れかであり、すなわち、シフトパラメータは、左ビューのシフトパラメータα_L、右ビューのシフトパラメータα_Rを含む。シフト計算部１３は、ユーザ装置から受信された制御信号に少なくとも部分的に基づいて、シフトパラメータα_Vを計算する。ユーザ装置２０からの制御信号は、視聴者により要求された深度の変更を示すために発生される。（図６と共に以下に詳細に説明される）１実施の形態では、制御信号は、視聴者の所望の深度の変更に関連する制御パラメータを含む。

【0023】

また、制御信号は、視聴者又はユーザ装置を識別する補助情報を含む。他の例では、制御信号は、他の個々の視聴者又は視聴者のグループを識別する。次いで、この補助の識別情報は、信号において識別される個人又は個人のグループについて記憶されたプロファイル又は視聴の好みの情報を検索するため、他の実施の形態において３Ｄ効果チューナにより使用される。係る視聴の好み及びユーザプロファイル情報は、視聴者が立体３Ｄ画像を見ることを好む好適な深度の範囲に関連する情報を含むことが想定される。

【0024】

視聴者は、システムの一部と既に相互作用して、深度の範囲に関連する情報のような視聴情報を少なくとも部分的に反映するプロファイル又は視聴のプリファレンスリストを作成する。係るケースにおいて、特定の視聴者の制御信号は、視聴者又は視聴グループを簡単に識別し、この視聴者又は視聴グループは、システムにストレージ（図示せず）から好適な深度の範囲を示す視聴情報の１以上のアイテムを検索させる。この深度の範囲は、要求された対応する深度の変更を実現する左及び右のビューについてのシフトパラメータα_Vを生成するため、シフト計算部に供給される。

【0025】

視聴者の制御信号に応答してシフトパラメータα_Vを計算する代わりに、シフトパラメータα_Vは、左のビューの対応するシフトパラメータ（α_L）及び右のビューの対応するシフトパラメータ（α_R）を生成するため、定義されたルックアップテーブルから選択され、左のビューの対応するシフトパラメータ（α_L）及び右のビューの対応するシフトパラメータ（α_R）は、次いで、対応する左ビューチューナ又は右ビューチューナに送出される。シフトパラメータの定義されたリストは、大部分の視聴者及び大部分の視聴環境にとって合理的又は適した特定の深度の変更又は画像のシフト範囲をカバーするために生成される。

【0026】

それぞれのシフトパラメータα_L又はα_Rは、正又は負の数である。α_Vの大きさは、画像のシフトの大きさを表し、α_Vの符号は、関連するビデオ画像のシフトの方向を表す。シフトパラメータの定義されたリストは、大部分の視聴者にとって合理的又は適している考えられる範囲で提供することができる。

【0027】

シフトパラメータの範囲は、計算されたか又は定義されたリストにあるかに係らず、少なくとも幾つかの異なるファクタに依存する。これらのファクタは、ディスプレイスクリーンのサイズ、視聴者とスクリーンとの間の視聴距離、及び視聴者の好み又は他の係る特性を含む。実験練習からの１例では、−３００〜＋３００までの範囲にわたる画像のシフトは、典型的な視聴の条件下で大部分の視聴者にとって視聴の好みを満たすために一般に十分であると考えられる。他の範囲は、視聴者及びそれらの視聴環境が変化したときに、より適切になる。

【0028】

左ビューチューナ１１及び右ビューチューナ１２は、シフトカリキュレータ１３により供給されるそれぞれのソフトパラメータα_Vに基づいて、対応する左ビューのビデオ画像及び右ビューのビデオ画像を処理する。次いで、それぞれのチューナは、適切な立体ビデオフォーマットでディスプレイ３０にとって表示可能なビデオ入力を生成するため、調節された左ビュー及び右ビューをフォーマットコンバータ１４に供給する。

【0029】

立体３Ｄコンテンツディスプレイのビデオフレームフォーマットの例は、本発明の技術分野及び関連する技術的な規格の組織において知られている。これらのフォーマットは、フルフレームフォーマットに限定されるものではないが、チェッカーボードフォーマット、インタリーブフォーマット、サイドバイサイドフォーマット、及びトップアンドボトムフォーマットを含む。フルフレームフォーマットにおいて、左目の画像及び右目の画像は、個別のフレームにおいて、フル解像度で交互にフォーマット化される。チェッカーボードのフォーマットにおいて、１フレームにおけるそれぞれ２×２画素のウィンドウは、ウィンドウの対角線を形成する一方の目のビューからの２画素と、同じウィンドウの非対角を形成する他方の目のビューからの２画素とを含む。インタリーブされたフォーマットは、行に基づいたフォーマットであり、左目の画像及び右目の画像は、同時に表示されるが、異なる交互する画素の行で表示される。サイドバイサイドフォーマットでは、左目の画像及び右目の画像は、並んで配置され、上及び下の表示について、左目の画像及び右目の画像は、交差して配置される。全てのフレームフォーマットは、フルフレームフォーマットを除いて、上述した特定のコンフィギュレーションで、両方の画像ビューを１つのフレームに圧縮する。

【0030】

ディスプレイ３０は、ディスプレイスクリーンでのビューアへの提示のため、これらのフォーマットを原始フォーマットに変換する。フォーマットは埋め込み情報、メタデータ、更にはディスプレイの解像度、アスペクト比等のような他の情報を伝達する補助ファイルをも含むことが理解される。

【0031】

図３Ａ，図３Ｂ及び図３Ｃは、図２に示されたそれぞれのビューチューナ１１及び１２のブロック図の表現を更に詳細に示す。図３Ａに示されるように、左／右ビューチューナは、シフティングモジュール１０、スケーリングモジュール１１２、スケーリングパラメータカリキュレータ１１１及びビデオ出力エレメント１１３を含む。

【0032】

シフティングモジュール１１０は、入力の左又は右のビデオフレーム（画像）のシフトを実行するプロセッサを含む。画像のシフトは、量α_Vだけ水平方向において行われ、下付き文字Ｖは、シフトパラメータについて左ビュー／画像（Ｌ）又は右ビュー／画像（Ｒ）を示す。シフトパラメータは、多数の画素におけるシフト量を一般に示し、α_Vにおけるシフトの符号は、画像のシフト方向を示す。１実施の形態では、左及び右ビューは、結果として得られる３Ｄ画像の所望の知覚された深度を達成するため、反対方向において同じ量、すなわちα_R＝−α_Lだけシフトされる。左及び右ビューが異なる量だけシフトされるか、又は１つのビューのみをシフトする（すなわちシフトパラメータの一方はゼロ）ことも可能である。

【0033】

また、スケーリングパラメータ１１２は、（例えば更に離れてシフトされるコンテンツが小さなサイズにスケーリングされるといった）立体コンテンツのより自然な外観を生成するため、シフトされたビデオをスケーリングするプロセッサを含む。このスケーリング演算で使用されるスケーリングパラメータγは、シフトパラメータα_Vに応答して、スケーリングパラメータカリキュレータ１１１により生成される。

【0034】

図３Ａに示される例示的な実施の形態は、画像のシフト後に実行されるスケーリングを示しているが、画像のスケーリングは画像のシフトの前に実行される場合もあることを、これらの変換演算の線形の性質から理解されたい。この交互する例示的な実施の形態は、図３Ｂに例示される。スケーリングパラメータは、シフトパラメータに少なくとも部分的に依存するので、図３Ｂにおける実施の形態はスケーリングモジュール１２に先行するスケーリングパラメータカリキュレータ１１１を示すことを理解されたい。さらに、左ビューのビデオ画像及び右のビューのビデオ画像は、シフトモジュール１１０の代わりにスケーリングモジュール１１２に供給される。

【0035】

これらの図で示される３Ｄ効果チューナ及び各種モジュール及び処理ユニットは、本発明の原理に従って実現されたとき、３Ｄ効果チューナに関連する一部又は全部の機能を実行する１以上のプロセッサ及びストレージデバイスのようなコンポーネントを含むことを理解されたい。

【0036】

図３Ｃは、３Ｄ効果チューナの別の例示的な実施の形態を示す。この実施の形態では、前処理ユニット１１４は、図３Ａからのエレメントの構成に先行する。前処理ユニット１１４は、図３Ｂに示されるアレンジメントに追加されることを理解されたい。前処理ユニット１１４は、（図２に示される）左ビューの画像及び右ビューの画像を受信して、ピクセルカウント又は画像の解像度を増加するために十分な量だけそれぞれのビデオをスケーリングする。言い換えれば、前処理ユニットは、その特定のビューのビデオで実行されるべきシフト動作を収容するため、より大きな左ビューのビデオ又は右ビューのビデオを作成する。

【0037】

このスケーリング動作は、スケーリングモジュール１１２により実行されるスケーリングとは異なる。以下に更に説明されるように、スケーリングモジュール１１２は、所与のシーンについて深度の変化に一致したより自然の外観を提供するため、左及び右のビューのサイズを調節（増加又は減少）する。前処理ユニット１１４は、出力ビデオにおけるゼロパディングの必要を回避又は最小化するため、左及び右のビューのサイズ及び解像度を増加する（例えばゼロパディングは、左又は右のビューのシフト後にコンテンツが欠けていることとなる出力フレームにおける領域において必要となる）。スケーリングモジュール１１２によるスケーリングは深度又は視差において調節された（１以上の）シーンで実行され、スケーリングファクタは、視差又は深度の調節に関連する一方、前処理ユニット１１４によるサイズの増加は、視差又は深度の調節に係らず、（例えばコンテンツの第一のシーンの左及び右のビューのシフトのような他の処理の前に）１度だけ実行されることが好ましい。しかし、前処理ユニットは、必要に応じて、その後のシーンについて更なるサイズの増加を行うこともできる。可能な混乱を回避するため、前処理ユニット１１４により行われるスケーリングは、「ビュースケーリング」とも呼ばれ、図４に関してさらに詳細に説明される。

【0038】

シフトモジュール１１０は、α_V画素だけ水平方向に入力の左ビューのビデオ／右のビューのビデオをシフトする。入力ビデオに依存して、シフトモジュールによる入力ビデオの処理の間に遭遇する少なくとも３つの可能なケースが存在する。これらのケースは、図４Ａ〜図４Ｆにおいて更に詳細に示され、これらの図は、それぞれ３Ｄビューの異なる条件下での入力ビデオフレーム及び出力ビデオウィンドウの比較を示す。

【0039】

図４Ａは、入力ビデオフレーウABCD（フレーム４０）が、出力ウィンドウ４１として示される、ディスプレイによりサポートされるサイズ又は解像度よりも大きいサイズ又は解像度を有する第一のケースを示す。図４Ａでは、入力ビデオフレームABCD（フレーム４０）は、水平方向におけるＭ画素の幅と、垂直方向におけるＮ画素の高さとを表す、Ｍ×Ｎとして示される解像度又はサイズを有する。左のビューと右のビューのディスプレイのビュー出力ウィンドウ４１は、水平方向におけるｍ画素の幅と、垂直方向におけるｎ画素の高さとを表すｍ×ｎとして示される、解像度又はサイズをもつ出力ウィンドウEFGHとして示される。図４Ａのこのシナリオでは、フレーム及びウィンドウの寸法は、Ｍ＞ｍ及びＮ＞ｎのように関連する。

【0040】

図４Ａの記載では、出力ビデオウィンドウ４１は、入力ビデオフレーム４０から見ることができる情報の範囲を確定することが理解される。シフト動作が記載されるとき、画素のシフトは、例えば図４Ｂ及び図４Ｃにおけるシフトされた出力ビデオウィンドウ４１’として示される、出力ビデオウィンドウの入力ビデオフレームを通して新たな位置へのシフトとして考えられる。この動作は、ビデオ画像のシフトとして記載される。勿論、シフト動作は、画像の上のウィンドウのシフト又はウィンドウの下の画像のシフトとして理解することができることを理解されたい。これらは、同じ結果、すなわちシフトされた左ビューのビデオ画像又は右ビューのビデオ画像が得られる交換可能な概念である。両方の概念は、矛盾することなしに、本発明の原理に関する意図された制限なしに、本明細書において交換可能に記載される。

【0041】

深度の知覚は、２つのビュー（左及び右）の水平方向の視差によってのみ影響されるので、シフトモジュール１１０は、水平方向のシフトのみを行う。従って、本発明の記載は、入力ビデオと表示されたビデオの水平方向の解像度及び寸法に焦点を当てる。この例では、入力ビデオフレームの水平方向の寸法は、Ｍ＞ｍにより示されるように、出力ウィンドウEFGHの寸法よりも大きい。シフトされたビデオフレーム“E’F’G’H”が図４Ｂに示されるように、なお図４Ｂに示されるように入力ビデオフレームABCD内にあるように、が表示ビデオがα_V画素だけシフトされた場合、表示されたビデオは、出力ウィンドウ４１’（すなわちE’F’G’H’）とマークされた部分に対応する。

【0042】

シフトパラメータが余りに大きく、シフト動作の後に、出力ウィンドウE’F’G’H’が入力ビデオフレーム４０の境界を越えて延びる場合、図４Ｃにおける影付けされた領域に示されるギャップを埋めるためにゼロパディングが使用される。他の適切な充填の技法をゼロパディングの代わりに使用することができる。シフトされた出力ウィンドウ４１’のギャップ部分は入力ビデオコンテンツをカバーしないため、このケースではゼロパディングが使用される。このギャップ領域における画素がゼロに設定されるとき、これらの画素はブラックとして現れる。ディスプレイに供給される出力ビデオは、E’F’G’H’に対応し、ゼロが充填された画素の暗く影付けされた部分を含む。

【0043】

右ビュー及び左ビューは反対方向にシフトされるので、シフトされた右ビュー及び左ビューにおけるコンテンツは互いに十分に異なることができ、両方のビューが同じコンテンツを実質的に有することを保証するため、（ゼロパディングに加えて）右ビュー及び左ビューのトリミングが必要とされる。

【0044】

図４Ｄは、入力ビデオフレームABCD（フレーム４０）の少なくとも水平方向の寸法又は解像度が、Ｍ＝ｍであるように、出力ウィンドウEFGH（ウィンドウ４１）の寸法に等しい第二のケースを示す。この例にとって便宜上、必須ではないが、ｎ＝Ｎとなるように、フレーム４０は、出力ウィンドウ４１の垂直方向の解像度に等しい解像度を有する。この例では、左ビュー又は右ビューの何れかにおける非ゼロのシフト値α_Vにより、ビデオ出力ウィンドウフレームE’F’G’H’として示される、シフトされた出力ウィンドウ４１’は、入力ビデオフレーム４０の境界から外れる。図４Ｄの影付けされた部分に示されるように、ギャップ部分において充填するため、ゼロパディング又は他の適切な充填の技法が使用される。

【0045】

図４Ｅは、オリジナルの入力ビデオフレームABCD（フレーム４０）の寸法がＭ＝ｍ及びＮ＝ｎとなるように、出力ウィンドウEFGHの寸法に整合する。このオリジナルの入力ビデオフレームABCDを、図４Ｄに関連して記載される処理のために左ビューチューナ及び右ビューチューナにダイレクトに提供する代わりに、入力ビデオフレームABCDは、前処理ユニット１１４によるビュースケーリング動作を最初に受け、それぞれの画像ビュー（すなわち左及び右）のその寸法は、それらのオリジナルの寸法Ｍ×Ｎからビュースケーリングファクタにより、Ｍ’＞Ｍ及びＮ’＞Ｎの場合により大きな寸法Ｍ’×Ｎ’にそれぞれスケールアップされる。さらに、このビュースケーリングは、図３Ａ、図３Ｂ及び図３Ｃに示されるスケーリングモジュール１１２により実行されたスケーリング動作とは異なる。ビュースケーリングは、入力ビデオフレームサイズ又は解像度Ｍと出力ウィンドウのサイズｍとの間の関係に係らず、入力ビデオ画像に適用される。出力ウィンドウサイズに関して大きな入力ビデオフレームサイズは、画像シフト後のギャップの可能性を減少させ、これは、ギャップにおけるゼロパディングの可能な必要を減少させる。

【0046】

この例では、その寸法が図４Ｅに示されるように、出力ウィンドウEFGHの寸法よりも大きいように、入力ビデオフレームABCDが増加される。その後のシフト動作は、図４Ｂ及び図４Ｃに関して第一のケースについて記載されたのと同じステップに従う。ビュースケーリングファクタＭ’／Ｍは、ビュースケーリングファクタＮ’／Ｎと同じであるか、又は異なる。ビュースケーリングファクタＭ’／Ｍ及びＮ’／Ｎが同じである場合、入力ビデオフレームのアスペクト比は保存される。

【0047】

実験練習からの例では、シフトモジュールは入力ビデオフレームについて、このスケーリングを実行するプロセッサを含むことがわかる。代替的に、このビュースケーリングは、図３Ｃに示されるように、前処理ユニットにより実行することができる。

【0048】

図３Ｃは、前処理ユニット１１４は、シフティング及びスケーリングモジュールのアップストリームに設けられる。このコンフィギュレーションにおいて、前処理ユニットは、入力ビデオフレームの寸法のスケーリングを実行するプロセッサを含む。前処理ユニット１１４からのスケーリングされた右ビュー／左ビューのビデオフレームは、更なる処理のためにシフトモジュールへの入力として提供される。

【0049】

スケーリングモジュール１１２は、画像のシフトによる深度の知覚について調節されているビデオの外観を改善するために導入される。シンプルな画像のシフトは、「スケールダウン」又は「スケールアップ」効果を引き起こす。係るスケーリング効果の存在は、シフトがこれらのオブジェクトをビューアに近くするため、所定のオブジェクトが本来よりも小さく現れることになり、他のオブジェクトは、ビューアから離れてシフトされたときに、本来よりも大きく現れる。この効果を軽減するため、スケーリングモジュール１１２は、深度が調節されたビデオのより自然な外観を生成するため、シフトプロセスと共に使用される。言い換えれば、モジュール１１２におけるスケーリング又はサイズの調節動作は、その画像がシフトされるシーン（又はフレームにおける全ての画素）で実行され、シーンにおける全てのオブジェクトのサイズは、観察されるスケールダウン及びスケールアップ効果を弱めるために調節される。このスケーリング動作は、図３Ａ，図３Ｂ及び図３Ｃに示されるように、右画像及び／左画像がシフトモジュールによりシフトされる前又は後に実行される。さらに、このスケーリングは、左又は右画像において全体のオリジナルコンテンツで実行される必要がない。例えば、入力ビデオフレームがディスプレイスクリーンのサイズよりも大きい場合、スケーリングは、スクリーンで目に見えるコンテンツの一部についてのみ実行される。

【0050】

スケーリングモジュール１１０における使用のため、スケーリングファクタγを決定するため、以下の式で定式化されるカメラモデルが使用される。

【0051】

【数1】

Ｘ，Ｙ，Ｚは、現実のシーンにおける座標であり、（ｘ，ｙ）は、捕捉された画像における座標である。変数α_x，α_y，ｓ，ｘ₀及びｙ₀は、カメラパラメータである。カメラモデルの更なる詳細は、例えばHartley及びZissermanによる“Multiple View Geometry in Computer Vision”, 2^nd edition, Cambridge University Press, 2004の第６章において発見され、引用により本明細書にその完全な形で盛り込まれる。カメラパラメータα_x，α_yは、下付き文字Ｖは、左（Ｌ）ビュー又は右（Ｒ）ビューを表す、先に説明されたシフトパラメータα_Vとは異なる。先の式では、Ｒは、３×３回転行列であり、Ｉは、３×３恒等行列であり、Ｃは、３×１変換行列である。［Ｉ|−Ｃ］は、３×４行列を形成するため、行列の連結を表す。これらのパラメータが既知であるとき、深度Ｚにおける変化のためにｘ及びｙの変化を容易に導出することができる。簡単のため、Ｒが恒等行列であり、Ｃ＝０及びｓ＝０であるとする。これらの想定について、ｘ−ｘ₀＝ａ_x・ｘ／Ｚであることが分かる。これは、画像のスケーリングが原点としての主要な点の中心を使用して実行されることを指摘している。従って、Ｚにおける変化は、シフトパラメータα_Vに従って決定される。

【0052】

図５は、３Ｄにおいて見られるオブジェクトの深度対視差における変化を示す。画像のシフトは知覚された深度Ｚ_pを代えることが知られている。図５に示される特定の表示について、画像シフトパラメータαと知覚される深度Ｚ_pとの間に幾何学的な関係がある。この図では、左ビューは、α_L画素だけ左にシフトされ、右のビューは、α_Rだけ右にシフトされる。このシフトの結果として、オブジェクトＯの知覚される深度は、Ｚ_pからＺ_p’に変化する。知覚される深度Ｚ_pは、知覚される深度がカメラ及びディスプレイの異なる設置のためにＺの歪んだバージョンである点で、現実のシーンにおける深度とは異なる。Ｚは、カメラによる捕捉の前に現実のシーンにおける深度である。従って、スケーリングファクタγを決定するとき、Ｚ_pの変換も考慮されることが好ましい。結果として、スケーリングモジュール１１２におけるスケーリングファクタγを決定する例示的なプロセスは、以下の通りである、シフトパラメータα_Vに基づくＺ_pにおける変化が計算され、Ｚ_pは、捕捉及びディスプレイパラメータの関係に従ってＺにマッピングされ、Ｚがこれらの計算により得られたとき、ｘ及びｙにおける変化が計算される。

【0053】

代替的且つおそらく簡単なアプローチでは、広範囲又は正確な計算なしに、予め決定された範囲から、ある値を選択することでスケールファクタγが決定される。例として、シフトパラメータα_V（α_R又はα_L）は、結果として得られる立体コンテンツの潜在的な視聴の不快さを回避するため、０から＋６０までの範囲で提供され、また、スケーリングパラメータγは、０．８から１．２のような、比較的狭い範囲で提供される。シフト動作がシーンをスクリーンに戻すとき、スケーリングファクタは、１未満となるように選択される。シーンがビューアから離れるほど、スケーリングファクタが小さくなることを理解されたい。シーンがビューアの近くにされるとき、スケーリングファクタは、１よりも大きくなるように選択される。あるシーンが前景に持っていかれると、スケーリングファクタが大きくなる。

【0054】

図３と共に先に記載されたように、シーンのスケーリングは、画像のシフトの前に実行される。１つの例では、スケーリングは、例えば既知のビューアのプロファイル及び好みに基づいて、大部分のビューアに適用可能なシフトパラメータの典型的な範囲に基づいて行われる。別の例では、スケーリングは、ビューアから制御信号を受信した後であって、画像シフト動作の前に行われる。このシナリオでは、スケーリングファクタは、制御信号におけるビューアの入力に少なくとも基づいて計算されたシフトパラメータに基づいて決定される。

【0055】

図６は、本発明の原理に従って実現されたユーザの３Ｄ視聴体験を調節するための、図１におけるシステムの代替的な実施の形態を示す。このコンフィギュレーションでは、３Ｄ効果リコメンダ（３ＤＥＲ）モジュール６０は、図１におけるシステムについて示されるエレメントと共に含まれる。

【0056】

ビューアの体験に基づいて深度調節パラメータのビューアの選択は別として、本発明の別の例示的な実施の形態は、３Ｄ効果リコメンダモジュール６０の使用を想定している。３ＤＥＲ６０は、供給された入力３Ｄビデオのコンテンツを分析する。次いで、前もって取得され、システムに記憶されている、ユーザの視差の快適さプロファイルに基づいて、３ＤＥＲ６０は、プロファイルを、供給された３Ｄビデオコンテンツから分析された視差の特性と比較し、この特定のユーザにとって最良又は最適な調節パラメータを決定する。推薦されるシフト調節パラメータ又は制御パラメータは、ビューアのユーザ装置２０に供給される。この推薦されるシフト調節パラメータは、例えば左のビューと右のビューのシフトから得られる全体の視差の変換を表す、α_L及びα_Rの合成である。ビューアは、その時点での好みに基づいて、推薦されるシフト調節パラメータを更に調節することができ、調節された入力（例えば調節された制御パラメータ）は、制御信号を介して３Ｄ効果チューナ１０に送出される。ビューアは、図６に示されるように、ユーザ装置２０からの制御信号は、３ＤＥＲ６０におけるユーザの視差の快適さプロファイルの更新において使用するため、３ＤＥＲ６０に供給される。

【0057】

３ＤＥＲ６０は、制御シフトパラメータがそのビューアの視覚的な不快さを最小にするために選択されるように、所定のビデオを視聴する所定のユーザの快適さ／不快さのレベルを予測するため、ユーザの視差の快適さプロファイルを使用する。この技術は、ビューアが視聴のために深度のシフトの選択をなうのを支援する。図示されないが、３ＤＥＲ６０からの予測されたシフトパラメータは、３Ｄ効果チューナ１０にダイレクトに供給され、すなわち３ＤＥＲから予測されたシフト制御パラメータの選択又は調節におけるビューアの関与をバイパスする。

【0058】

図７は、本発明の原理に従って実現された図６における３Ｄ効果リコメンダエレメントの更に詳細なブロック図を示す。図７に示されるように、３ＤＥＲは、視差ヒストグラム予測器６１、ユーザプロファイルモジュール６２、及び不快さ予測モジュール６３を含む。予測器６１は、立体ビデオ画像を受信し、不快さ予測モジュール６３に結合される。ユーザプロファイルモジュール６２は、ユーザ装置２０からのビューア制御信号を受信する。ユーザプロファイルモジュール６２からの出力は、不快さ予測モジュール６３に結合される。不快さ予測モジュール６３は、ビューアのシフト又は深度の変化の推薦される量を示す推薦される制御パラメータを生成する。３ＤＥＲの動作は、以下に記載されるように、残りの図面を参照しながら明らかとなるであろう。

【0059】

図８ａ及び図８ｂは、ユーザの快適及び不快レベル対視差のグラフを示す。ユーザの視差の快適さプロファイルは、それぞれのビューアについて画像シフトの主観テストを行うことで構築される。また、３Ｄ視聴について一般に許容可能な視聴者の快適さ及び不快さのレベルを確定するために視聴者のテストの代わりに、デフォルト又はベースラインプロファイルが使用される場合もある。

【0060】

例示的なビューアの快適さ／不快さのテストにおいて、選択された３Ｄコンテンツは、予め定義されたシフト量だけシフトされ、１つ毎にビューアに表示される。次いで、ビューアは、係るコンテンツを見ている間に、ビューア自身の快適さのレベルに従ってシフトされた３Ｄコンテンツを格付けする機会が与えられる。快適さレベルに関するビューアの反応は、テストされたシフトパラメータのそれぞれについて記録される。ビューアの快適さの格付けは、非常に不快である格付けから非常に快適である格付けまでの範囲に及ぶことが期待される。

【0061】

図８Ａは、１０画素のステップサイズで−３００から２００までの視差の値について、ユーザにより格付けされる例示的なスコア又は快適さレベルの例である。 −１５０から−３００までの快適さレベルはゼロのままであるので、これらはこの図から省略される。この例では、ゼロのスコアは、ユーザが左のビューと右のビューとを結合することができないことを意味し、１のスコアは、ユーザが画像について非常に不快であることを意味し、５のスコアは、ユーザが画像について非常に快適であることを意味し、２〜４のスコアは、より小さい程度の不快さ及び快適さを表す。この図から、この特定のビューアは、２Ｄ画像である、視差が０であるときに非常に快適であることを感じているように見える。視差が負になるとき、増加される程度のポップアップ効果を示し、ビューアは、視差が−８０（快適さレベル０）に到達するまで不快さを感じ始め、この−８０の視差で、ビューアはビューを融合することができない。

【0062】

視差ｄに対応するそれぞれの快適さのスコアは、快適さのスコア（comfort score）を最も高い快適さのスコア（highest comfort score）から減算することで不快さのスコア（discomfort score）に変換される。

【0063】

【数2】

図８Ｂは、図８Ａに示される快適さスコアのグラフについて対応する不快さのスコアを示す。図８Ａ及び図８Ｂは、ビューアの視差の快適さ及び不快さのプロファイルと呼ばれる。一方のグラフは、他方から導出可能であるので、特にシステムにおけるストレージが制限される場合、一方のグラフのデータのみが記憶されることが考えられる。

【0064】

上述されたビューアの視差の快適さのプロファイルについて、この収集プロセスは、ＴＶ又はセットトップボックス（ＳＴＢ）或いは携帯用装置のような他の適切な表示装置に容易に組み込まされる場合がある。これは、ビューアの視差の快適さのプロファイルが、ＴＶ又はＳＴＢを通して、ビューアの家でキャリブレーションプロセスを使用して収集されるのを可能にする。このプロセスは、ＴＶ内蔵のカラー又はコントラスト調節プロセスに類似する。幾つかの予め定義された３Ｄテストコンテンツは、ＴＶ又はＳＴＢにおいて記憶される。テストのための画像シフトの値は、ユーザにより予め定義されるか又は修正される。ビューアは、シフトされた３Ｄコンテンツを視聴し、次いでそれらの快適さ／不快さの反応を収集プロセスに与える。反応は、システム内の特定のビューアの視差の快適さのプロファイルに記憶される。

【0065】

はじめに、（例えば図８Ａに示されるものと比較して）大きい視差のステップサイズを有する予め定義された視差の快適さのプロファイルのような粗いユーザプロファイルが使用される。ビューアが３ＤＥＲにより提供される推薦される深度（シフト）制御パラメータを調節又は修正したとき、３ＤＥＲは、ビューアの制御装置から最終的に送出される制御信号を受信するため、より洗練されたプロファイルが時間を通して発展される。

【0066】

異なるユーザは、異なるプロファイルを有する。複数の個人が立体ビデオデータを互いに視聴しているとき、それらのプロファイルは、グループファイルに互いに結合され、それら自身の個人のプロファイルと共に記憶及び修正される。

【0067】

不快のスコアを予測するため、はじめに、入力立体ビデオの視差の分布が視差ヒストグラム予測器６１で分析される。３Ｄコンテンツの視差の値は、コンテンツプロバイダにより予め計算され、３Ｄビデオコンテンツと共にメタデータ又は補助データとして視差のヒストグラムの予測器６１に伝達される。また、視差のヒストグラムの予測器６１は、伝達されたときに、ビデオコンテンツの視差の値を計算する。一般に、高密度の視差の値が粗な値に対して好まれる。粗い視差の値は、予測器６１について高い処理速度が考慮されるときに有効となる。

【0068】

図９は、３Ｄビデオコンテンツに関連する視差の例示的な（正規化された）ヒストグラムプロットを示す。係るヒストグラムからのデータは、予測器６１により生成されるタイプのものである。ヒストグラムプロットの調査により、コンテンツの画素の普通でない部分が大きな視差ｄを有するかが見られる。この場合、ビューアが、ｄよりも小さい視差の快適さのプロファイルの制限を有するときに重要な問題となる。それは、これらのビューアは関連するビデオコンテンツを視聴しているときに不快さを感じるからである。

【0069】

例えば、図８におけるデータによれば、ビューアは、−４０を超える視差をもつ領域を使用して、快適さを感じない。結果として、その視差の値が−４０前後である図９におけるビデオコンテンツの１５％は、この特定のビューアについて問題を引き起こす。他方で、−１０に近い視差を有するビデオコンテンツの３７％は、このビューアについて多くの目の緊張又は不快さ生じさせることが期待されない。この分析に従って、その不快さの予測モジュール６３を使用した３ＤＥＲ６０は、コンテンツの視差が、レベル１を以下の不快レベル（又はレベル４以上の快適さレベル）に対応する［−２０，１００］内に分布される場合、このビューアは、３Ｄビデオコンテンツを視聴している間に、非常に心地良さを感じる。図９で分析されるコンテンツはこの基準に適合しないので、３ＤＥＲ６０は、２０から１００画素だけスクリーン内のビデオ画像のシフトを提供するため、深度のシフトのための推薦される制御パラメータを生成する。

【0070】

３ＤＥＲ６０の不快さ予測モジュール６３における使用のために視覚的な不快さの予測技術は、例えば個々のビューアの視差の快適さプロファイル及びビューアに提示されるコンテンツの視差の分布を盛り込む。シーンｊにあるユーザｉの不快さ予測スコアＳ_ijは、シーンｊの正規化された視差の分布Ｄ_jの重み付け総和である。重みは、それぞれのビューア

【数3】

ここでｄ_min及びｄ_maxは、ｄの下限及び上限にそれぞれ対応する。１実施の形態では、｜ｄ_min｜＝｜ｄ_max｜である。しかし、一般に、２つの限界は、大きさにおいて等しい必要はない。ここでＦ_Diは、０視差で不快スコア値０をもつプロファイルである（図８Ｂ参照）。

【0071】

大部分のシーンについて、小さな視差を示す領域は、コンテンツの高い部分を考慮する。これらの領域は、例えば背景の領域を一般に含む。これらの領域は、視覚的な不快さを通常は引き起こさないので、０に近い重みを割り当てることで、それらの効果において最小化又は軽視することができる。他方で、非常に高い視差の値を有するシーン又は画像の他の領域は知覚可能且つ深刻な視覚的な不快さを引き起こすので、画像コンテンツの非常に小さな部分を考慮して、これらの他の領域は、それらの効果を強調する高い重みが与えられる。

【0072】

１実施の形態では、３ＤＥＲの出力は、ビューアの不快さスコアＳ_ijを最小にする、ユーザ装置２０又は３Ｄ効果チューナ１０に供給されるシフト調節パラメータｓ_ij*である。ここでＳ_ijは、以下のように定義される。

【0073】

【数4】

言い換えれば、ｓ_ij*は、シーンｊでのビューアｉの最小の不快さのスコアＳ_ij(s)を生成するシフト調節パラメータ“ｓ”の値を表す。このパラメータｓ_ij*は、右のビュー及び左のビュー（α_R及びα_L）のシフトパラメータの合成である。ｓ_ij*は、異なるシフト方向に対応するパラメータα_R及びα_Lについて使用される符号変換に依存して、α_R及びα_Lの総和又は差として表現される。１実施の形態では、α_R及びα_Lは、大きさにおいて等しいが、反対方向におけるシフトを表す。

【0074】

予測器６１により実行される分析では、３ＤＥＲについて、全体のビデオ系列の単一のシーン又は一部の代わりに、ビデオストリームのそれぞれのシーンを分析することができる。また、予測器６１による分析は、あるシーンにおける関心のある１以上の特定の領域に適用又は制限される。これは、関心のある領域は、ビューアが集中しているシーンの領域であると理解されるからである。

【0075】

実験練習において、本願発明者は、ビューアのグループに主観テストを行った。テストは、３Ｄコンテンツに適用される異なる視差の値についてそれぞれのビューアの快適さレベルを得た。テストシーケンスは、Mayaソフトウェアと、黒の背景の前に左から右に飛ぶ唯一のオブジェクトである銃弾からなるコンテンツとを使用して生成される。深度は、一定に維持された。視差の値は、ステップサイズ２０で−３００から２００に及んだ。視差の値のそれぞれについて、ビューアは、０〜５までの快適さのスコアを提供するように依頼され、ここでスコア０は結合することができないことを示し、スコア１は最も不快であることを示し、スコア５は、最も快適であることを示す。この範囲は、ビューアが左画像及び右画像を単一の画像に結合することができないときに条件を含む。この主観テストの結果は、それぞれのビューアのプロファイルの構築を可能にする。このプロファイルは、視差の快適さのプロファイル（DDP: Disparity Discomfort Profile）Ｆ_Diと呼ばれる。

【0076】

それぞれのビューアについて得られたＤＤＰによれば、所与のビューアに幾つかのコンテンツが提示されたときに、そのビューアの視覚的な不快レベルを予測する方法が使用された。はじめに、コンテンツは、コンテンツにおけるそれぞれのシーンについて視差のヒストグラムを出力するために分析される。これは、当該技術分野で知られた視差予測方法を使用することで行われる。視覚的な不快さの予測技術は、あるビューアについて取得されたＤＤＰ及びコンテンツのあるシーンにおける視差の分布を組み込む。シーンｊでのユーザ又はビューアｉの不快さの予測スコアＳ_ijは、シーンｊの正規化された視差の分布Ｄ_jの重み付けされた総和として計算される。重みは、それぞれのユーザのＤＤＰであるＦ_Diにより決定される。

【0077】

また、主観テストは、“Beowulf”と題された例示的な３Ｄ映画であるＨＤ立体コンテンツの１シーンについて、同じユーザのグループで行われた。ビューアは、０を最も不快であるとして０〜５までの不快スコアを提供するように求められた。結果は、不快予測モジュール６３を介して３ＤＥＲで採用された技法からの予測は、テストされたビューアの多くについて主観テストと非常に良好に整合した。

【0078】

本明細書で示した全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的であることが意図され、係る特に示された例及び条件に限定されないものとして解釈されたい。

【0079】

さらに、本発明の原理、態様及び実施の形態、並びに本発明の特定の例を示す全ての説明は、本発明の構造的に等価な概念及び機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は現在知られている等価な概念と同様に、構造に係らずに同じ機能を実行する開発されたエレメントを含めて、将来において開発された等価な概念を含むことが意図される。

【0080】

多数の実現が本明細書で記載された。他の実現を生成するために、例えば異なる実現のエレメントが結合、補充、変更又は取り除かれる。さらに、当業者であれば、他の構造及び処理は開示されたものについて置き換えられ、結果として得られる実現は、開示される実現と同じ結果を少なくとも実質的に達成するため、少なくとも実質的に同じやり方で、同じ機能を少なくとも実質的に実行する。特に、例示的な実施の形態は、添付図面を参照して記載されたが、本発明の原理はそれら正確な実施の形態に限定されず、様々な変更及び修正は、本発明の範囲又は精神から逸脱することなしに、当業者により実施される場合がある。従って、これらの実現及び他の実現は、本出願により予期され、以下の特許請求の範囲にある。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】