特許 6039657 ３Ｄコンテンツをリターゲティングするための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6039657

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】３Ｄコンテンツをリターゲティングするための方法およびデバイス

(51)【国際特許分類】

   H04N 13/00 20060101AFI20161128BHJP

【ＦＩ】

   H04N13/00 290

【請求項の数】10

【全頁数】23

(21)【出願番号】特願2014-513121(P2014-513121)

(86)(22)【出願日】2012年5月23日

(65)【公表番号】特表2014-522596(P2014-522596A)

(43)【公表日】2014年9月4日

(86)【国際出願番号】EP2012059535

(87)【国際公開番号】WO2012163743

(87)【国際公開日】20121206

【審査請求日】2015年5月21日

(31)【優先権主張番号】11305661.8

(32)【優先日】2011年5月31日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】クリステル シャマレ

(72)【発明者】

【氏名】ファブリス アーバン

(72)【発明者】

【氏名】タイ クワン ヒューン−トゥ

(72)【発明者】

【氏名】ジャン−クロード シュヴェ

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００７−０３５０３８（ＪＰ，Ａ）

【文献】 特開２００９−２１２９２９（ＪＰ，Ａ）

【文献】 特開２００５−０７２６７４（ＪＰ，Ａ）

【文献】 特開２００７−１８９４８９（ＪＰ，Ａ）

【文献】 Kei Utsugi et al，SEAM CARVING FOR STEREO IMAGES，3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video(3DTV-CON)，IEEE，２０１０年 ６月 ７日，pp.1-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをリターゲティングするための方法であって、
− 前記第１のビューから第１の顕著性マップを、および前記第２のビューから第２の顕著性マップを決定するステップと、
− 前記第１の顕著性マップから第１のクロッピングウィンドウを、および前記第２の顕著性マップから第２のクロッピングウィンドウを決定するステップと、
− 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを組み合わせて、前記第１のクロッピングウィンドウ及び前記第２のクロッピングウィンドウから決定されたパラメータを用いて識別された最終的なクロッピングウィンドウにするステップと、
− 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングするステップであって、前記クロッピングされた第１のビューおよび第２のビューが前記リターゲティングされる３Ｄコンテンツを形成する、前記クロッピングするステップと、
を備える、前記方法。

【請求項2】

前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップと、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップと、
− 前記禁止区域マップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換するステップと、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップと、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップと、
− 前記禁止区域マップおよびデプスマップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換するステップと、
をさらに含む、請求項１に記載の方法。

【請求項4】

前記禁止区域マップを決定する前記ステップは、
− 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化するステップと、
− 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算するステップと、
− 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成するステップと、
を含む、請求項２または３に記載の方法。

【請求項5】

少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをリターゲティングするためのデバイスであって、
− 前記第１のビューから第１の顕著性マップを、および前記第２のビューから第２の顕著性マップを決定するための手段と、
− 前記第１の顕著性マップから第１のクロッピングウィンドウを、および前記第２の顕著性マップから第２のクロッピングウィンドウを決定する手段と、
− 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを組み合わせて、前記第１のクロッピングウィンドウ及び前記第２のクロッピングウィンドウから決定されたパラメータを用いて識別された最終的なクロッピングウィンドウにする手段と、
− 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングする手段であって、前記クロッピングされた第１のビューおよび第２のビューが前記リターゲティングされる３Ｄコンテンツを形成する、前記クロッピングする手段と、
を備える、前記デバイス。

【請求項6】

前記デバイスは、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングする手段と、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定する手段と、
− 前記禁止区域マップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換する手段と、
をさらに備える、請求項５に記載のデバイス。

【請求項7】

前記デバイスは、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングする手段と、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定する手段と、
− 前記禁止区域マップおよびデプスマップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換する手段と、
をさらに含む、請求項５に記載のデバイス。

【請求項8】

前記禁止区域マップを決定する前記手段は、
− 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化する手段と、
− 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算する手段と、
− 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成する手段と、
を備える、請求項６または７に記載のデバイス。

【請求項9】

請求項１から４のいずれかに記載の方法のステップをコンピュータに実行させるためのコンピュータプログラム。

【請求項10】

少なくとも請求項１から４のいずれかに記載の方法のステップをプロセッサーに実行させるための命令が格納されたプロセッサー可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄコンテンツのリターゲティングに関する。より詳細には、本発明は、少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをクロッピングする方法に関する。

【背景技術】

【0002】

劇場での３Ｄ映画などの３Ｄスクリーンおよび題材の急増に起因して、シネマアスペクト比（２：３５）からＴＶスクリーン（１６：９）への３Ｄストリームの転写を可能にするためにアスペクト比変換に対するニーズが存在する。さらに誰でも、３Ｄ立体視ディスプレイをサポートするタブレット、スマートフォンなどの新しいデバイスの差し迫った出現を想像することが可能である。そのようなデバイスは、それら自体のアスペクト比をもたらすことになる。したがって、アスペクト比変換は、任意のデバイスに対処するために必須である。自動的な解決策は、視覚的快適性を最大化する高い価値がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】欧州特許出願第０４８０４８２８．４号明細書

【特許文献2】欧州特許出願第０５２９１９３８．８号明細書

【非特許文献】

【0004】

【非特許文献1】J. van de Weijer 他、"Learning Color Names for Real-World Applications"、IEEE Transactions in Image Processing 2009、2009年

【非特許文献2】G. Welch、G. Bishop、"An introduction to the kalman filter"、Course 8、SIGGRAPH 2001、2001年

【発明の概要】

【発明が解決しようとする課題】

【0005】

現在は、アスペクト比変換は、操作者により手動で（例えば中心に合わせたクロッピング）、またはすべてのフレームを同じ方途で処理することによって（例えばアナモルフィズム演算子、黒線充填）のいずれかで対処される。両方のタイプの方法は、変換を遂行するためにコンテンツ自体を考慮しない。

【0006】

さらに、黒線付加は、映画がフルスクリーンで表示されることと比較されると、元の３Ｄ効果を強く低減する。

【課題を解決するための手段】

【0007】

本発明は、従来技術の欠点の少なくとも１つを軽減することに向けられたものである。本発明は、少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをクロッピングする方法であって、
− 前記第１のビューから第１の顕著性マップを、および前記第２のビューから第２の顕著性マップを決定するステップと、
− 前記第１の顕著性マップおよび前記第２の顕著性マップから最終的なクロッピングウィンドウを決定するステップと、
− 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングするステップと、
を含む、前記方法に関する。

【0008】

第１の実施形態によると、前記第１の顕著性マップおよび前記第２の顕著性マップから前記最終的なクロッピングウィンドウを決定する前記ステップは、
− 前記第１の顕著性マップから第１のクロッピングウィンドウを決定するステップと、
− 前記第２の顕著性マップから第２のクロッピングウィンドウを決定するステップと、
− 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを前記最終的なクロッピングウィンドウに組み合わせるステップと、
を含む。

【0009】

第２の実施形態によると、前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップと、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップと、
− 前記最終的なクロッピングウィンドウのアスペクト比を、前記禁止区域マップを使用して目標アスペクト比に変換するステップと、
をさらに含む。

【0010】

第２の実施形態の変形例によると、前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップと、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップと、
− 前記最終的なクロッピングウィンドウのアスペクト比を、前記禁止区域マップおよびデプスマップを使用して目標アスペクト比に変換するステップと、
をさらに含む。

【0011】

有利には、前記禁止区域マップを決定する前記ステップは、
− 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化するステップと、
− 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算するステップと、
− 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成するステップと、
を含む。

【0012】

第３の実施形態によると、前記第１の顕著性マップおよび前記第２の顕著性マップから最終的なクロッピングウィンドウを決定する前記ステップは、
− 前記第１の顕著性マップおよび前記第２の顕著性マップを単一の顕著性マップに組み合わせるステップと、
− 前記単一の顕著性マップに基づいて前記最終的なクロッピングウィンドウを決定するステップと、
を含む。

【図面の簡単な説明】

【0013】

本発明の他の特徴および利点は、その実施形態のいくつかの以下の説明によって明らかになることになり、この説明は、以下の図面と関連して行われる。

【図1a】本発明の第１の実施形態による方法のフローチャートを図示する図である。

【図1b】本発明の第１の実施形態の変形例による方法のフローチャートを図示する図である。

【図2】本発明の第２の実施形態による方法のフローチャートを図示する図である。

【図3】本発明の第３の実施形態による方法のフローチャートを図示する図である。

【図4】図３に図示されるフローチャートの第１の詳細を表す図である。

【図5】左から右に、ピクチャ、セグメンテーションマップ、顕著性マップ、および禁止区域マップを表す図である。

【図6】図３に図示されるフローチャートの別の詳細を表す図である。

【図7】ウィナーテイクオール（ｗｉｎｎｅｒ−ｔａｋｅ ａｌｌ）アルゴリズムを例示する図である。

【図8】クロッピングウィンドウをそれらのパラメータとともに表す図である。

【図9】ピクチャの顕著性マップ、ピクチャ上への第１のクロッピングウィンドウ、禁止区域マップ、および最終的なクロッピングウィンドウを表す図である。

【図10】本発明によるリターゲティングデバイス２を図表で例示する図である。

【発明を実施するための形態】

【0014】

本原理は、様々な形式のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサー、またはそれらの組み合わせで実装することができることが理解されるべきである。好ましくは、本原理は、ハードウェアおよびソフトウェアの組み合わせとして実現することができる。さらに、ソフトウェアは、好ましくはプログラム格納デバイス上で有形に実施されるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適したアーキテクチャを備える機械にアップロードする、およびその機械により実行することが可能である。好ましくは、機械は、１または複数の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）インターフェース（複数可）などのハードウェアを有するコンピュータプラットフォーム上で実装される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードをさらに含む。本明細書で説明される様々な処理および機能は、オペレーティングシステムによって実行される、マイクロ命令コードの一部、またはアプリケーションプログラムの一部（またはそれらの組み合わせ）のいずれかとすることができる。加えて、追加的なデータ格納デバイスおよび印刷デバイスなど、様々な他の周辺デバイスがコンピュータプラットフォームに接続することができる。

【0015】

本発明は、リターゲティング手段を備える任意の電子デバイス上で実現することができる。例えば本発明は、テレビ、携帯テレビ電話、ＰＤＡ、パーソナルコンピュータ、ディジタルビデオカメラ、ナビゲーションシステム、または自動車ビデオシステムにおいて実現することができる。

【0016】

本発明は、３Ｄコンテンツをリターゲティングするための方法に関する。３つの実施形態が本明細書で開示される。２つの最初の実施形態は、２Ｄリターゲティング方法の拡張である。新しいステップが、容認可能な３Ｄ品質を確実にするために追加される。第３の実施形態は、３Ｄコンテンツ専用のリターゲティング方法である。３Ｄコンテンツは、左のビューおよび右のビューから作製される。しかし本発明は、２つよりも多いビューに拡張することができる。以下では、クロッピングウィンドウが、その左上および右下の画素の座標、または、その中心の座標ならびにその高さおよび幅のいずれかである、そのパラメータにより識別される。

【0017】

すべての実施形態はクロッピングベースであり、すなわち、関心領域とも名付けられた最も重要なコンテンツを伴う元のビューの画素のサブ区域が抽出される。さらに最終的なクロッピングウィンドウは、この最終的なクロッピングウィンドウの決定が各々のビューのコンテンツに基づく場合であっても、左および右のビューに対して同一である。

【0018】

いくつかの実施形態は、視覚的注意モデルを参照する。この視覚的注意モデルは、どの区域／画素がビューの中で最も視覚的に誘引性が高いかを指示する顕著性マップ（グレーレベルマップ）を提供する。そのような顕著性マップは、ピクチャ内の関心領域を決定するために使用することができる。そのような視覚的注意モデルの例が、２００５年６月３０日に公開された特許文献１で開示されている。顕著性マップを提供する他の視覚的注意モデルが使用される場合がある。本発明は、特許文献１で開示されたモデルに何ら制限されない。

【0019】

図１ａは、第１の実施形態による、左および右のビューを含む３Ｄコンテンツをリターゲティングする方法を表す。それは、各々のビューで１つのクロッピングウィンドウを得るために、独立して各々のビューに通常の２Ｄ再フレーミングを適用するステップと、次いで、各々のビューに適用されることになる最終的なクロッピングウィンドウを得るために、３Ｄコンテンツに関係付けられるいくつかの制約を考慮することによりすべてのクロッピングウィンドウを組み合わせるステップとを含む。

【0020】

この目的のために、ステップ１０では、第１の関心領域ＲＯＩ１が左のビューで決定され、ステップ１２では、第２の関心領域ＲＯＩ２が右のビューで決定される。

【0021】

ステップ１４では、左のクロッピングウィンドウが第１の関心領域ＲＯＩ１から決定され、右のクロッピングウィンドウが第２の関心領域から決定される。左のクロッピングウィンドウは、例えば第１の関心領域を包含する最小のウィンドウであり、右のクロッピングウィンドウは、第２の関心領域を包含する最小のウィンドウである。

【0022】

ステップ１８では、左および右のクロッピングウィンドウが、平滑化されたクロッピングウィンドウに組み合わされる。このステップの間、３Ｄコンテンツに結び付けられた以下の制約が考慮され、すなわち、左および右のクロッピングされたビューの間では垂直視差が許されず、各々のビューのクロッピングウィンドウは、同じ高さおよび同じ垂直座標を有する。

【0023】

クロッピングウィンドウ組み合わせ（ＣｏｍｂｉｎｅＣｒｏｐｐｉｎｇＷｉｎｄｏｗ）ステップ１８は、ステップ１４および１６で別々に各々のビューに適用された２Ｄ再フレーミングに対する結果を入手し、２つのクロッピングウィンドウを、中心座標が（ｘ_smooth，ｙ_smooth）であり、サイズ（高さおよび幅）が（ｈ_smooth，ｗ_smooth）である平滑化されたクロッピングウィンドウに数学的に組み合わせる。（ｘ_left，ｙ_left）は左のクロッピングウィンドウの中心座標であり、（ｘ_right，ｙ_right）は右のクロッピングウィンドウの中心座標である。（ｈ_left，ｗ_left）は左のクロッピングウィンドウの高さおよび幅であり、（ｈ_right，ｗ_right）は右のクロッピングウィンドウの高さおよび幅である。

【0024】

【数1】

【0025】

変形例によると、最小値および最大値が式（８）のように入手される。同じクロッピングウィンドウが、両方のビューに適用される。したがって、左および右のクロップビューの間に垂直視差は存在しない。

【0026】

平滑化されたクロッピングウィンドウを決定するための別の方途は、どのクロッピングウィンドウが、その内側で利用可能な顕著性量を最大化するかを決定することである。クロッピングウィンドウ座標は、以下の式で説明されるように、２つのビューの間で初期に決定される最小のｘおよびｙ座標、ならびに最大のｘおよびｙ座標から変動する。

【0027】

【数2】

【0028】

ただし、ｘ１_min＜ｘ１＜ｘ１_max；ｙ１_min＜ｙ１＜ｙ１_max；ｘ２_min＜ｘ２＜ｘ２_max；ｙ２_min＜ｙ２＜ｙ２_max、

【0029】

【数3】

【0030】

ＳＭ_left（ｘ，ｙ）は左のビューでの画素（ｘ，ｙ）の顕著性値であり、ＳＭ_right（ｘ，ｙ）は右のビューでの画素（ｘ，ｙ）の顕著性値である。（ｘ１，ｙ１）は平滑なクロッピングウィンドウの左上の画素の座標であり、（ｘ２，ｙ２）は平滑なクロッピングウィンドウの右下の画素の座標である。（ｘ１_left，ｙ１_left）は左のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_left，ｙ２_left）は左のクロッピングウィンドウの右下の画素の座標である。（ｘ１_right，ｙ１_right）は右のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_right，ｙ２_left）は左のクロッピングウィンドウの右下の画素の座標である。

【0031】

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

【0032】

第１の実施形態は、実装するのが簡単かつ早い。

【0033】

図１ｂは、第１の実施形態の特定の実装による、左および右のビューを含む３Ｄコンテンツをリターゲティングする方法を表す。それは、各々のビューで１つのクロッピングウィンドウを得るために、独立して各々のビューに通常の２Ｄ再フレーミングを適用するステップと、次いで、各々のビューに適用されることになる最終的なクロッピングウィンドウを得るために、３Ｄコンテンツに関係付けられるいくつかの制約を考慮することによりすべてのクロッピングウィンドウを組み合わせるステップとを含む。この特定の実装では、第１および第２の関心領域が顕著性マップを使用して決定される。

【0034】

この目的のために、ステップ１０では、左の顕著性マップが左のビューに対して決定され、ステップ１２では、右の顕著性マップが右のビューに対して決定される。両方の顕著性マップは、例えば特許文献１のモデルを使用して決定される。したがって、顕著性マップは、ピクチャ内の顕著な領域を指示する。

【0035】

ステップ１４では、左のクロッピングウィンドウが左の顕著性マップに基づいて決定され、ステップ１６では、右のクロッピングウィンドウが右の顕著性マップに基づいて決定される。各々のクロッピングウィンドウの位置は、そのＣｒｏｐＷｉｎｄ座標により対応するビューで識別される。クロッピングウィンドウは、例えば２００７年３月２１日に公開された特許文献２で開示された再フレーミング方法の１つを使用して決定される。例として、最も顕著な画素は顕著性マップで識別される、すなわち顕著性マップ内部でのその顕著性値は最も高い。予め規定されたサイズの第１のウィンドウは、その中心がこの最も顕著な画素上に配置されるようにビュー内で位置決めされる。第１のウィンドウに関連付けられる顕著性値ＳＭ１およびビューに関連付けられる顕著性値ＳＭ_viewが計算される。比

【0036】

【数4】

【0037】

が１に近い、すなわち閾値Ｔより高いならば（例えばΨ０≧０．８であるならば）、ビューに対するクロッピングウィンドウは第１のウィンドウである。Ψ₀が１に近くない、すなわちＴより低いならば、第１のウィンドウと同じサイズの第２のウィンドウが、その中心が、第１のウィンドウの外側に配置されるビューの最も顕著な画素上に配置されるようにビュー内で位置決めされる。第２のウィンドウに関連付けられる顕著性値ＳＭ２が計算される。比

【0038】

【数5】

【0039】

が１に近いならば、ビューに対するクロッピングウィンドウは、第１および第２のウィンドウを含む、より小さなウィンドウである。比Ψ₁が１に近くないならば、第３のウィンドウは、その中心が最初の２つのウィンドウの外側に配置されるビューの第３の最も顕著な画素上に配置されるようにビュー内で位置決めされる。３つのウィンドウに関連付けられる３つの顕著性値の和と顕著性値ＳＭ_viewとの間の比が１と比較される。それが１に近いならば、ビューに対するクロッピングウィンドウは、３つのウィンドウを含む、より小さなウィンドウである。それが１に近くないならば、各々の位置決めされたウィンドウに関連付けられる顕著性値の和とＳＭ_viewとの間の比が１に近くなるまで、新しいウィンドウを位置決めする処理が繰り返される。したがって各々の反復ｋでは、新しいウィンドウが、その中心が、すでに位置決めされたウィンドウの外側に配置される最も顕著な画素（ｋ）上に配置されるようにビュー内で位置決めされる。したがって、ビューに対するクロッピングウィンドウは、すべての位置決めされたウィンドウを含む、より小さなウィンドウである。他の方法が使用される場合があり、本発明は、顕著性マップに基づくクロッピングウィンドウの位置を決定するためのこの方法に何ら制限されない。

【0040】

ステップ１８では、左および右のクロッピングウィンドウが、平滑化されたクロッピングウィンドウに組み合わされる。このステップの間、３Ｄコンテンツにリンク付けられた以下の制約が考慮され、すなわち、左および右のクロッピングされたビューの間では、垂直視差が許されず、各々のビューのクロッピングウィンドウは、同じ高さおよび同じ垂直座標を有する。

【0041】

クロッピングウィンドウ組み合わせステップ１８は、ステップ１４および１６で別々に各々のビューに適用された２Ｄ再フレーミングに対する結果を入手し、２つのクロッピングウィンドウを、中心座標が（ｘ_smooth，ｙ_smooth）であり、サイズ（高さおよび幅）が（ｈ_smooth，ｗ_smooth）である平滑化されたクロッピングウィンドウに数学的に組み合わせる。（ｘ_left，ｙ_left）は左のクロッピングウィンドウの中心座標であり、（ｘ_right，ｙ_right）は右のクロッピングウィンドウの中心座標である。（ｈ_left，ｗ_left）は左のクロッピングウィンドウの高さおよび幅であり、（ｈ_right，ｗ_right）は右のクロッピングウィンドウの高さおよび幅である。

【0042】

【数6】

【0043】

変形例によると、最小値および最大値が式（８）のように入手される。同じクロッピングウィンドウが、両方のビューに適用される。したがって、左および右のクロップビューの間に垂直視差は存在しない。

【0044】

平滑化されたクロッピングウィンドウを決定するための別の方途は、どのクロッピングウィンドウが、その内側で利用可能な顕著性量を最大化するかを決定することである。クロッピングウィンドウ座標は、以下の式で説明されるように、２つのビューの間で初期に決定される最小のｘおよびｙ座標、ならびに最大のｘおよびｙ座標から変動する。

【0045】

【数7】

【0046】

ただし、ｘ１_min＜ｘ１＜ｘ１_max；ｙ１_min＜ｙ１＜ｙ１_max；ｘ２_min＜ｘ２＜ｘ２_max；ｙ２_min＜ｙ２＜ｙ２_max、

【0047】

ＳＭ_left（ｘ，ｙ）は左のビューでの画素（ｘ，ｙ）の顕著性値であり、ＳＭ_right（ｘ，ｙ）は右のビューでの画素（ｘ，ｙ）の顕著性値である。（ｘ１，ｙ１）は平滑なクロッピングウィンドウの左上の画素の座標であり、（ｘ２，ｙ２）は平滑なクロッピングウィンドウの右下の画素の座標である。（ｘ１_left，ｙ１_left）は左のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_left，ｙ２_left）は左のクロッピングウィンドウの右下の画素の座標である。（ｘ１_right，ｙ１_right）は右のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_right，ｙ２_left）は左のクロッピングウィンドウの右下の画素の座標である。

【0048】

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

【0049】

第１の実施形態は、実装するのが簡単かつ早い。

【0050】

図２は第２の実施形態を表す。第１の実施形態のステップと同一のステップは、同じ参照番号によって図２で識別される。

【0051】

ステップ１０では、左の顕著性マップが左のビューに対して決定され、ステップ１２では、右の顕著性マップが右のビューに対して決定される。

【0052】

ステップ２２では、各々のビューに対する視覚的注意モデルから生じる２つの顕著性マップが、３Ｄ顕著性情報を顕著性マップの２Ｄ表現によって記述する、一意的な顕著性マップに組み合わされる。ＶＡＭ３Ｄに対する組み合わせ（ＣｏｍｂｉｎｅＦｏｒＶＡＭ３Ｄ）ステップ２２は、２つの顕著性マップに存在する共通の区域を強調表示して、一意的な２Ｄ顕著性マップを生成する。ステップ２２の間に、両方の顕著性マップは、２つのビューで共通して顕著である一部の区域を強調表示する２Ｄマップである一意的な顕著性マップ（ＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅ）に統合される。例として、ＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅ内の画素（ｘ，ｙ）に対する顕著性値ＳＭ_3Dlike（ｘ，ｙ）は次式のように規定される。
（３） ＳＭ_3Dlike（ｘ，ｙ）＝α・ＳＭ_left（ｘ，ｙ）＋β・ＳＭ_right（ｘ，ｙ）
ただし、

【0053】

【数8】

【0054】

であり、ＳＭ_left（ｘ，ｙ）は左の顕著性マップ内の画素（ｘ，ｙ）の顕著性値であり、ＳＭ_right（ｘ，ｙ）は右の顕著性マップ内の画素（ｘ，ｙ）の顕著性値であり、ＤＭ（ｘ，ｙ）は場所（ｘ，ｙ）でのデプス値である。

【0055】

ステップ２４では、平滑化されたクロッピングウィンドウが、ＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅに基づいて決定される。ステップ２４は例えば、顕著性マップがＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅであることを除けばステップ１４または１６と同一である。

【0056】

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

【0057】

図３は第３の実施形態を表す。この実施形態は３Ｄコンテンツ専用である。クロッピングウィンドウ拡張に関する決定は、場合によってはデプスマップを使用する。３次元データは、平滑化されたクロッピングウィンドウを決定するために使用される。

【0058】

第１の実施形態のステップと同一のステップは、同じ参照番号によって図２で識別される。

【0059】

ステップ１０では、第１の関心領域ＲＯＩ１が左のビューで決定され、ステップ１２では、第２の関心領域ＲＯＩ２が右のビューで決定される。変形例によると、左の顕著性マップが左のビューに対して決定され、ステップ１２では、右の顕著性マップが右のビューに対して決定される。

【0060】

ステップ３０では、禁止区域マップ生成（ＣｒｅａｔｅＦｏｒｂｉｄｄｅｎＡｒｅａＭａｐ）と呼ばれるステップが、マップを再フレーミング３Ｄステップ３２に提供し、ステップ３２は、いくつかの３Ｄ制約の尊重、すなわち物体が、この物体がスクリーンの前面にある場合はクロッピングウィンドウの境界上にあることが許されないということを確実にする。実際、人間脳はそのことを処置することができない。禁止区域マップが、左または右のいずれかでビューのうちの１つから生成される。図３および図４では、禁止区域マップが左のビューから生成されるが、同じことを右のビューから行うことができる。

【0061】

ステップ３０は、図４で詳細に説明される。それは、物体（図５での右の画像の白色画素）上などの、クロッピングウィンドウを配置することができない禁止区域マップを規定する。

【0062】

ステップ３００では、非特許文献１で開示されているような色セグメンテーションアルゴリズムが、セグメンテーションマップを得るために使用される。セグメンテーションマップを提供する任意の他の方法が使用される場合がある。セグメンテーションマップは、ビューのうちの１つに適用される。

【0063】

ステップ３０２では、顕著性値が、セグメンテーションマップ内で識別される各々の色領域に対して計算される。例として、与えられた領域に属する画素の顕著性値が平均される。平均化された値が、領域の顕著性値とみなされる。

【0064】

ステップ３０４では、領域の顕著性値が閾値処理される。領域の顕著性量（または顕著性の平均）が閾値Ｔを上回るならば（閾値処理ステップ）、最終的な禁止マップがこの領域では１（または２５５、白色画素）にセットされる。禁止物体を伴うそのような白黒マップが、図５に表される。以下の式は、適応性のある閾値Ｔの計算を要約したものである。

【0065】

【数9】

【0066】

ただしμＲおよびσ_Rは、それぞれ領域Ｒの平均および標準偏差である。μＲおよびσ_Rは、セグメンテーションのために使用されるビューに関連付けられる顕著性マップから計算される。

【0067】

ステップ３２では、平滑化されたクロッピングウィンドウが決定される。このステップ３２は、図６で詳細に説明される。

【0068】

ステップ３２２では、第１のクロッピングウィンドウが、独立して各々のビューに対して決定される。ステップ３２２の目標は、各々のビューに対して、ステップ１０および１２で決定される関心領域、または、その顕著性マップＳＭ（ｘ，ｙ）からの幅Ｗおよび高さＨの検討されているビューＳ（ｘ，ｙ）の最も目立つ部分のいずれかを囲むクロッピングウィンドウを規定することである。この目的のために、クロッピングウィンドウは、場合によっては第１および第２の関心領域を囲む最小のウィンドウである。

【0069】

多くの２Ｄ再フレーミング方法を適用することが可能である。例として顕著性マップは最初に、最も顕著な区域を識別するために２値化される。閾値より大きな顕著性値を有する画素は、２値化されたマップにおいて２５５にセットされる。すべての識別された顕著な区域、すなわち白色画素を含む最小のウィンドウが第１のクロッピングウィンドウである。

【0070】

変形例によると、ウィナーテイクオールアルゴリズムが、Ｗ×Ｈ個の候補の中から１＜ｋ＜ＫであるＫ個の区域Ａ_kを選択するために、特別の目的をもって用いられる。この選択は２つのステップから構成される。第１に、ビューＳ（ｘ，ｙ）が画素単位で走査され、各々の画素位置ｐ（ｘ，ｙ）で、第２の特徴がピクチャの中心に対する現在の画素のユークリッド距離であるような特徴ベクトル

【0071】

【数10】

【0072】

が計算される。最も高い顕著性値および中心に対する最小距離を有する最初のＫ個の画素を伴うサブセットＭが、式（４）により説明されるように計算される。第２に、第ｋの候補Ｃ_kが配置かつ記憶されるとき、Ａ_kに含まれる画素を意味するその近傍は、第（ｋ＋１）の候補Ｃ_k+1を決定するために抑制される。Ａ_kは、視角の１度に等しい半径を有する円内の画素のセットである。近傍のサイズは視距離によって決まる。視距離が遠くなるほど、近傍のサイズは大きくなる。

【0073】

【数11】

【0074】

顕著性マップは最大値での多くの画素を有する場合があり、したがってピクチャの中心により近い画素が優遇される。シーン中心のバイアスが重要な役割を有し、観察者は、顕著性がヌルである場合でもシーンの中心の付近を凝視する傾向がある。

【0075】

反復数（または換言すれば数Ｋ）に関しては、クロッピングウィンドウのサイズへのこのパラメータの影響を明白にすることが重要である。反復数がわずかである（または換言すれば、場所の数Ｋがわずかである）ならば、おそらくクロッピングウィンドウのサイズは小さくなる。それとは反対に、大きな数の反復は、より大きな境界ボックスをおそらく確実にすることになる。この方法は好都合であるように思われるが、１つの特徴、すなわち、顕著性マップ内の顕著の分布が明らかに無視されている。この特徴は、２つの異なる画像を表す図７によって例示される。実際、顕著性の分布（または平均観察者変動性）は、風景のピクチャに関してはおそらく点在する状態である。換言すれば、ピークの顕著性と平均背景レベルとの間の分離が重要である。明らかに突出するものがない風景の画像に関しては、顕著性の分布はより均一である。この場合、Ｋ個の最初の場所を選択することが、誤りを含む結果をもたらす可能性がある。この問題を解決するために、反復が、境界ボックスにより囲まれる顕著の分量によりモニターされる。したがってＫは、前の区域Ａ_1・・・kにより包含される顕著性量ＳＱにより制約される。関係式（３）が検証されない一方で、反復処理は継続する。Ｋは、

【0076】

【数12】

【0077】

【0078】

【0079】

であるように、クロッピングウィンドウ内にＰパーセントの顕著性を有するために調整される。

【0080】

Ｐは、０＜Ｐ＜１であるような、マップの全顕著性量ＳＱ_totalに適用される最大の量である。そのようなクロッピングウィンドウの例が、図７に例示される。

【0081】

ステップ３２４では、左および右のクロッピングウィンドウが、左上の座標（ｘ_LR，ｙ_LR）、高さｈ_LR、および幅ｗ_LRの中間クロッピングウィンドウに組み合わされる。左および右のクロッピングウィンドウの組み合わせは、各々のｘおよびｙ成分にｍａｘおよびｍｉｎ演算子を適用することにより行われる。

【0082】

【数13】

【0083】

別の解決策は、クロッピングウィンドウ組み合わせモジュールの式（１）の解を適用することである。

【0084】

ステップ３２６では、クロッピングウィンドウのパラメータ（位置、サイズ）が経時的にフィルタリングされる。このステップは、時間的整合性（temporal consistency）と呼ばれる。時間的整合性は、クロッピングウィンドウの位置およびサイズの両方に作用し、経時的な中間クロッピングウィンドウ座標／サイズの安定化を含む。時間はインデックスｉにより識別される。時間的整合性は、例えば２つの順次的なステップ、すなわちカルマンフィルタリングおよび非線形フィルタリングを含む。

【0085】

カルマンフィルターは、現在のサンプルの軌跡をより良好に予測するために最初に適用される。カルマンフィルターは、興味を起こさせる再帰的な性質により特徴付けられる。（ウィーナーフィルターが行うことになるように）推定を提供するために前のデータのすべてに関して作動するのではなく、カルマンフィルターは、長期間の前のデータを必要としない。カルマンフィルターは、予測される出力と実際の出力との間の平均二乗誤差が最小化される線形システムである。カルマンフィルターは、予測誤差を最小化するために、システム内部の不正確さの２つの固有の発生源、すなわちプロセスノイズＷ_iおよび測定ノイズＶ_iを考慮する。以下の式ではＸ_iは、座標（ｘⁱ_LR，ｙⁱ_LR）のベクトルを、およびクロッピングウィンドウサイズ（ｗⁱ_LR，ｈⁱ_LR）を表象する一般名である。カルマンフィルターは、状態（式９）および測定式（式１０）により規定される。
（１０） Ｘ_i＝Ａ．Ｘ_i-1＋Ｗ_i
（１１） Ｚ_i＝Ｈ．Ｘ_i＋Ｖ_i
ここでＡは一定の遷移マトリックスであり、Ｈもまた一定の測定マトリックスである。

【0086】

【数14】

【0087】

ＷおよびＶ（マトリックス１×２）は、それぞれプロセスノイズおよび測定ノイズを表す。それらは独立しており、白色であり、正規確率を伴うと仮定される。それらは経験的にセットされ、関連付けられたノイズ共分散マトリックスが、ＲおよびＱにより与えられる。カルマンフィルタリングは、非特許文献２において詳細に説明されている。

【0088】

【数15】

【0089】

プロセスノイズの決定は非常に困難である。本研究では、プロセスノイズ共分散は一定である。不確実性が高くなるほど、フィルターは高速に収束する。クロッピングウィンドウは、新しい顕著性変化に高速に適応する傾向を有することになる。フィルターは、それがカメラの動きに近いように考えるべきであるので、適度に高速に収束しなければならない。

【0090】

メジアンフィルタリングは、ありそうにないサンプルを回避することを可能にする改善である。カルマンフィルター単独の使用は、現実的な効果を得るのに充分ではない。非線形フィルタリングが、邪魔になる場合がある軌跡の短い増大または減少を（水平または／および垂直に）除去するために適用される。フレームにわたる長い軌跡が、自然なカメラの動きをシミュレートするために優遇される。各々のフィルタリングは、クロッピングウィンドウＣＷ_LRⁱ（ｘ_LR，ｙ_LR，ｗ_LR，ｈ_LR）の中心座標およびサイズに独立して適用される。このステップの結果は、平滑な空間軌跡およびサイズを伴うクロッピングウィンドウＣＷ_TCⁱ（ｘ_TC，ｙ_TC，ｗ_TC，ｈ_TC）＝（ｘ_smooth，ｙ_smooth，ｗ_smooth，ｈ_smooth）である。

【0091】

ステップ３２８では、アスペクト比変換が適用される。使用される異なる変数および表記が図８に例示される。クロッピングウィンドウは、１つの方向もしくは別の方向に、または異なる比率で各々の方向にさえ拡張される。リターゲティングは、それがさらにデプスマップに基づくため立体的である。動機は、クロッピングウィンドウにより「切断」されることになる境界または強い視差を回避することである。関心を引き起こす解決策は、同じ視差を伴ういくつかの物体を完全に含むまたは排除することである。

【0092】

顕著性マップから抽出される中間ウィンドウのサイズと、ユーザセッティングまたはアプリケーションにより規定される最終的なアスペクト比との間に関係は存在しない（コンジョイント分析は存在しない）。実際、ステップ３２２は、リターゲティングアプリケーションのアスペクト比とは完全に無相関である（図７に表されるような）顕著性ピークの境界Ａｋに続いて、最も重要な領域の正確な推定を遂行する。異方性の拡張が、現在の比Ｒ_SMに応じた方向でクロッピングウィンドウＣＷ_SMⁱ（ｘ_SM，ｙ_SM，ｗ_SM，ｈ_SM）を拡張することによりクロッピングウィンドウサイズを精密にする。拡張は、目標とされるアスペクト比Ｒ_TGを達成するための、幅または高さのいずれかに関するものである。

【0093】

【数16】

【0094】

が目標アスペクト比であり、

【0095】

【数17】

【0096】

が中間クロッピングウィンドウのアスペクト比であると仮定する。

【0097】

Ｒ_TG＞Ｒ_SMである場合、水平の拡張が（現在の長方形の幅に関して）実行され、そうでない場合、垂直の拡張が（現在の長方形の高さに関して）行われる。水平の拡張（または垂直の拡張のそれぞれ）を仮定すると、次式を規定することが可能である。
（１４） ｈ_AR＝ｈ_SM （またはｗ_AR＝ｗ_SMのそれぞれ）
ｗ_AR＝ｗ_SM＋ｄ_w （またはｈ_AR＝ｈ_SM＋ｄ_hのそれぞれ）
ｘ_AR＝ｘ_SM＋ｄ_x （またはｘ_AR＝ｘ_SMのそれぞれ）
ｙ_AR＝ｙ_SM （またはｙ_AR＝ｙ_SM＋ｄ_yのそれぞれ）
ただし、

【0098】

【数18】

【0099】

【数19】

【0100】

およびｗ_AR＝ｗ_SM＋ｄ_right＋ｄ_leftである。

【0101】

拡張の側が規定された後、ウィンドウを拡張するためのさらにいくつかの方途が存在する。換言すれば、ｄ_rightおよびｄ_leftは異なる様式で計算することができる。
幅ｗ_SMが、最終的なアスペクト比を達成するために拡張されなければならないと仮定する。

【0102】

デプスマップおよび／または禁止区域マップが、１つの方向または別の方向でクロッピングウィンドウを拡張するために使用される。

【0103】

デプスマップは、使用されるケースに応じて、利用可能である場合があればそうでない場合もある。その結果として、アスペクト比変換ステップ３２８の２つの変形例、すなわち、デプスマップが利用可能でないときに使用されるもの、および、デプスマップが利用可能であるときのものが開示される。

【0104】

デプスマップが利用可能でないとき、ステップ３０の禁止区域マップのみが使用される。平滑化されたＬＲＣｏｏｒｄ（ＳｍｏｏｔｈｅｄＬＲＣｏｏｒｄ）ウィンドウの近辺の画素の列内の勾配の和（大域的な勾配すなわちＧＧ）が、各々の拡張側の量および表現を特徴付けるために計算される。同じことが水平に適用することができる。最適なクロッピングウィンドウＣＷ（ｘ_opt，ｙ_opt）が、以下の最小化の問題が（ｙ_opt＝ｙ_SMと仮定して）解を有するときに見出される。

【0105】

【数20】

【0106】

実際、（目標アスペクト比での）ウィンドウは、式（１４）が最小化されるように、区間［ｘ_SM−ｄｗ−ｗ_SM／２；ｘ_SM−ｗ_SM／２］内で、ｘ軸のもとで水平移動を行うことにより決定される。ｄ_wは最大の拡張幅である。

【0107】

対応するｘ_minは、最適なクロッピングウィンドウの左側である。したがって、
ｘ_opt＝ｘ_SM＋ｄ_x（式（１３）で規定されたｄ_x）
ｄ_left＝ｘ_SM−ｘ_min−ｗ_sm／２
ｄ_right＝ｄ_w−ｄ_left
である。

【0108】

変形例によると、ｄ_rightが、式（１４）が最小化されるように、区間［ｘ_SM＋ｗ_SM／２；ｘ_SM＋ｄｗ＋ｗ_SM／２］内で、ｘ軸のもとで水平移動を行うことにより最初に決定される。

【0109】

最小化問題に対する解が存在しないとき、拡張は各々の側に対して等しく行われ、このことはｄ_left＝ｄ_right＝ｄ_w／２を意味する。

【0110】

デプスマップが利用可能であるとき、両方のマップに関する信頼度Ｃｏｎｆ_xが計算される。次いで、この信頼度は、最良のクロッピングウィンドウを見出すために最大化される。
（１６） ｘ_min＝ａｒｇｍａｘ_x［Ｃｏｎｆ_x］
ただし、

【0111】

【数21】

【0112】

実際、（目標アスペクト比での）ウィンドウは、式（１５）が最大化されるように、区間［ｘ_SM−ｄｗ−ｗ_SM／２；ｘ_SM−ｗ_SM／２］内で、ｘ軸のもとで水平移動を行うことにより決定される。ｄ_wは最大の拡張幅である。

【0113】

対応するｘ_minは、最適なクロッピングウィンドウの左側である。したがって、
ｘ_opt＝ｘ_SM＋ｄ_x（（１３）で規定されたｄ_x）
ｄ_left＝ｘ_SM−ｘ_min−ｗ_sm／２
ｄ_right＝ｄ_w−ｄ_left
である。

【0114】

変形例によると、ｄ_rightが、式（１５）が最大化されるように、区間［ｘ_SM＋ｗ_SM／２；ｘ_SM＋ｄｗ＋ｗ_SM／２］内で、ｘ軸のもとで水平移動を行うことにより最初に決定される。

【0115】

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

【0116】

図９は、左上手側に顕著性マップを、右上側に第１の顕著性ピークおよび対応する第１のクロッピングウィンドウを表す（ステップ３２２）。左下側画像は、禁止区域マップ、および、最終的なクロッピングウィンドウとなるためにいくつかの量を最小化しなければならないスライディングウィンドウである。右下側は、物体の切断を回避するための最終的な左および右の選定された量を提示する。実際、禁止区域マップは、最終的なクロッピングウィンドウ境界が回避すべき領域を（白色で）指示する。

【0117】

本発明によるリターゲティング方法は、完全に自動的であり、シーンの大域的な理解に関して欠落している基本的な部分がない良好な最終的な品質を確実にし、黒線を用いる異形と比較して３Ｄ効果および没入型の体感を改善する。

【0118】

本発明は有利には、以下のような多くのポストプロダクション作業に対してのものであり得る。
・アスペクト比変換のためのコンテンツ準備。ＴＶ所有者は、そのコンテンツが、キャッチアップＴＶおよびＶＯＤの場合でのインターネット、携帯ＴＶ、通常のＴＶチャネル・・・などのいくつかのサポートに対して再フォーマットされることを評価するであろう。
・ｂｌｕ−ｒａｙディスクのためのコンテンツ準備。劇場アスペクト比からＴＶアスペクト比へのアスペクト比変換が、ｂｌｕ−ｒａｙサポートの準備で必要とされる。

【0119】

図１０は、本発明によるリターゲティングデバイス２を図表で例示する。リターゲティングデバイス２の本質的な要素のみが、図１０に図示される。リターゲティングデバイス２は、アドレスおよびデータバス２４により一体に接続される、
− マイクロプロセッサ（またはＣＰＵ）などの処理装置２１と、
− ＲＯＭ（読出し専用メモリ）タイプの不揮発性メモリ２２と、
− ランダムアクセスメモリ（ＲＡＭ）２３と、
− 入力および出力インターフェース２５と、
− 場合によってはマンマシンインターフェース２６と、
を備える。

【0120】

メモリ２２および２３の説明で使用される単語「レジスタ」は、述べられるメモリの各々において、低容量のメモリゾーン（いくらかのバイナリーデータ）および大容量のメモリゾーン（プログラム全体、または、受信されるオーディオ／ビデオサービスを表すデータの全部もしくは一部が格納されることを可能にする）を表すことが留意される。

【0121】

不揮発性メモリ２２は、本発明によるリターゲティング方法のステップを実現するアルゴリズムを包含する。電源投入されるとき、処理装置２１はこれらのアルゴリズムの命令をロードしランさせる。ランダムアクセスメモリ２３は、デバイスの電源投入でロードされる処理装置２１の動作プログラム、および、処理されることになる、すなわちリターゲティングされることになる画像を特に含む。入力／出力インターフェース２５の機能は、入力信号（すなわち再フレーミングされることになる１または複数の画像）を受信し、本発明による方法のステップ１０から２０によってリターゲティングされる１または複数の画像を発出することである。リターゲティングデバイス２のマンマシンインターフェース２６は、操作者が、必要条件に適合しないリターゲティング誤りが発生すると直ちに処理を中断することをイネーブルする。このインターフェースは、操作者が、テキストゾーンおよび顔などの認知情報を、このインターフェースを使用して手動で識別することをさらにイネーブルにし得る。リターゲティングされた画像は、ランダムアクセスメモリに格納され、次いで場合によっては、読出し専用メモリに転送されて、後続の処理動作の目的でアーカイブされる。マンマシンインターフェース２６は、場合によっては制御パネル、例えばキーボードおよびディスプレイスクリーンを備える。

【0122】

変形例によると、本発明に適合するリターゲティングデバイスは、純粋にハードウェアの実現によって、例えば専用構成要素（例えばＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＶＬＳＩ（超大規模集積回路））、もしくはデバイスに集積されたいくつかの電子構成要素の形式で、またはハードウェア要素およびソフトウェア要素の混合体の形式でも実装される。
＜付記１＞
少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをリターゲティングするための方法であって、
− 前記第１のビューから第１の関心領域を、および前記第２のビューから第２の関心領域を決定するステップ（１０、１２）と、
− 前記第１の関心領域から第１のクロッピングウィンドウを、および前記第２の関心領域から第２のクロッピングウィンドウを決定するステップ（１４、３２２、１６、３２２）と、
− 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを最終的なクロッピングウィンドウに組み合わせるステップ（１８、３２４）と、
− 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングするステップであって、前記クロッピングされた第１のビューおよび第２のビューが前記リターゲティングされる３Ｄコンテンツを形成する、ステップ（２０）と、
を備える、前記方法。
＜付記２＞
前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップ（３２６）と、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップ（３０）と、
− 前記禁止区域マップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換するステップ（３２８）と、
をさらに含む、付記１に記載の方法。
＜付記３＞
前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップ（３２６）と、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップ（３０）と、
− 前記禁止区域マップおよびデプスマップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換するステップ（３２８）と、
をさらに含む、付記１に記載の方法。
＜付記４＞
前記禁止区域マップを決定する前記ステップ（３０）は、
− 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化するステップ（３００）と、
− 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算するステップ（３０２）と、
− 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成するステップ（３０４）と、
を含む、付記２または３に記載の方法。
＜付記５＞
前記第１の関心領域および前記第２の関心領域を決定するステップ（１０、１２）は、第１の顕著性マップおよび第２の顕著性マップを決定するステップを含む、付記１から４のいずれかに記載の方法。
＜付記６＞
少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをリターゲティングするためのデバイスであって、
− 前記第１のビューから第１の関心領域を、および前記第２のビューから第２の関心領域を決定するための手段と、
− 前記第１の関心領域から第１のクロッピングウィンドウを、および前記第２の関心領域から第２のクロッピングウィンドウを決定する手段と、
− 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを最終的なクロッピングウィンドウに組み合わせる手段と、
− 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングする手段であって、前記クロッピングされた第１のビューおよび第２のビューが前記リターゲティングされる３Ｄコンテンツを形成する、手段と、
を備える、前記デバイス。
＜付記７＞
前記最終的なクロッピングウィンドウはパラメータにより識別され、前記デバイスは、− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングする手段と、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定する手段と、
− 前記禁止区域マップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換する手段と、
をさらに備える、付記６に記載のデバイス。
＜付記８＞
前記最終的なクロッピングウィンドウはパラメータにより識別され、方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングする手段と、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定する手段と、
− 前記禁止区域マップおよびデプスマップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換する手段と、
をさらに含む、付記６に記載のデバイス。
＜付記９＞
前記禁止区域マップを決定する前記手段は、
− 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化する手段と、
− 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算する手段と、
− 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成する手段と、
を備える、付記７または８に記載のデバイス。
＜付記１０＞
前記関心領域は、顕著性マップを用いて決定される、付記６から９のいずれかに記載のデバイス。
＜付記１１＞
プログラムコード命令を含むコンピュータプログラム製品であって、前記プログラムコード命令は、このプログラムがコンピュータ上で実行されるときに、付記１から５のいずれかに記載の方法のステップを実行するためのものである、前記コンピュータプログラム製品。
＜付記１２＞
少なくとも付記１から５のいずれかに記載の方法のステップをプロセッサーに実行させるための命令が格納されたプロセッサー可読媒体。

【図1a】

【図1b】

【図2】

【図3】

【図4】

【図6】

【図8】

【図10】

【図5】

【図7】

【図9】