特許 6198484 ビデオシーケンスのイメージをリフレーミングする方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6198484

(24)【登録日】2017年9月1日

(45)【発行日】2017年9月20日

(54)【発明の名称】ビデオシーケンスのイメージをリフレーミングする方法及び装置

(51)【国際特許分類】

   H04N 19/132 20140101AFI20170911BHJP

   H04N 19/136 20140101ALI20170911BHJP

   H04N 19/147 20140101ALI20170911BHJP

   H04N 19/177 20140101ALI20170911BHJP

   G06T 1/00 20060101ALI20170911BHJP

【ＦＩ】

   H04N19/132

   H04N19/136

   H04N19/147

   H04N19/177

   G06T1/00 280

【請求項の数】15

【外国語出願】

【全頁数】19

(21)【出願番号】特願2013-136263(P2013-136263)

(22)【出願日】2013年6月28日

(65)【公開番号】特開2014-11807(P2014-11807A)

(43)【公開日】2014年1月20日

【審査請求日】2016年6月27日

(31)【優先権主張番号】12305779.6

(32)【優先日】2012年6月29日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】クリステル シャマレ

(72)【発明者】

【氏名】ファブリス アーバン

(72)【発明者】

【氏名】クリストフ シュヴァンス

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００８−１９２１５６（ＪＰ，Ａ）

【文献】 特開２００３−２３００１２（ＪＰ，Ａ）

【文献】 特開２０１２−００２６８３（ＪＰ，Ａ）

【文献】 特開２００７−２３５１９１（ＪＰ，Ａ）

【文献】 国際公開第２００９／１５４０３３（ＷＯ，Ａ１）

【文献】 特表２０１０−５０７９８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ビデオシーケンスのイメージを処理する方法であって、
前記ビデオシーケンスのパラメータ、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータ及びユーザ設定を決定するステップと、
前記決定されたパラメータに従ってクロップ処理される部分を決定するステップであって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、境界ボックス位置は、前記第１相関値より高い又は低い相関値に対してより速く変化し、前記可変的なサイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される最大ズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より大きな最大ズームファクタが許容される、前記決定するステップと、
リフレーミングステップにおいて、表示のため前記決定された部分をクロップ処理するステップと、
を有する方法。

【請求項2】

前記サブシーケンスはＧＯＰ又はシーンであり、前記シーンはシーン変更検出により検出される、請求項１記載の方法。

【請求項3】

前記ビデオシーケンスのパラメータ又は前に復号化されたサブシーケンスのパラメータは、ＧＯＰサイズ、シーン長、時間サブサンプリングファクタ、最大及び最小ズームファクタ並びに境界ボックス速度の少なくとも１つを有する、請求項１又は２記載の方法。

【請求項4】

前記ビデオシーケンスのパラメータを決定するステップは、現在のイメージについて、
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定するステップであって、前記第２境界ボックスは前記可変的な境界ボックス位置を有する、前記第２境界ボックスを決定するステップと、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及びビデオフレームレートから、境界ボックスシフトと境界ボックス速度とを計算するステップと、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は最大許容境界ボックス速度とを比較するステップと、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理するステップと、
他方、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理するステップと、
を有する、請求項１乃至３何れか一項記載の方法。

【請求項5】

前記最大許容境界ボックスシフト又は境界ボックス速度は、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータから決定される、請求項４に記載の方法。

【請求項6】

前記最大許容境界ボックス速度は、

【数6】

に従って計算され、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化されたＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐとの間の相関係数であり、Ｖ_ｍａｘは前記境界ボックスの最大速度であり、ｍ及びσは前記境界ボックス速度の分布の平均及び標準偏差である、請求項３乃至５何れか一項記載の方法。

【請求項7】

クロップ処理ウィンドウパラメータを経時的にスムース化するステップをさらに有し、
前記クロップ処理ウィンドウパラメータを経時的にスムース化するため、前記リフレーミングステップにおいてバッファが利用され、
前記バッファのサイズは、前記ＧＯＰサイズに従って調整される、請求項３に記載の方法。

【請求項8】

時間サブサンプリングファクタ又は時間サブサンプリングスキームが、時間サブサンプリングモードに従って設定され、
第１サブサンプリングモードでは、前記リフレーミングステップがすべてのフレームに適用され、
第２サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレーム及びＰフレームに適用され、０以上のＢフレームには適用されず、
第３サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレームに適用され、何れのＢフレームにも適用されず、０以上のＰフレームに適用されない、請求項１乃至７何れか一項記載の方法。

【請求項9】

前記サブサンプリングモードの１つは、ビットレート要求とイメージ品質要求との少なくとも１つに従って選択される、請求項８記載の方法。

【請求項10】

前記クロップ処理される部分は、クロップ処理ウィンドウにより規定され、
最大又は最小許容ズームファクタ又はズームファクタのペアを決定するステップをさらに有し、
前記最大又は最小許容ズームファクタは、前記クロップ処理ウィンドウが経時的に変化する境界を規定し、又は前記ズームファクタのペアは、前記クロップ処理ウィンドウが経時的に変化する２つの境界を規定する、請求項１乃至９何れか一項記載の方法。

【請求項11】

前記ズームファクタのペアは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される、請求項１０記載の方法。

【請求項12】

最小許容ズームファクタは、

【数7】

により計算され、
最大許容ズームファクタは、

【数8】

により計算され、ｎｂ_ＭＢは前記イメージ内のＭＢの総数であり、ｎｂ_{ＭＢｃｏｓｔ０}は０に等しいコストを有するＭＢの個数であり、ｎｂ_{ＭＢａｄｊ}は最大のコストを有する隣接ＭＢの個数である、請求項１乃至１１何れか一項記載の方法。

【請求項13】

ビデオシーケンスのイメージを処理する装置であって、
前記ビデオシーケンスのパラメータを決定し、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータを決定し、ユーザ設定を決定するイメージ解析手段と、
前記決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため前記決定された部分をクロップ処理するイメージ処理手段であって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、境界ボックス位置は、前記第１相関値より高い又は低い相関値についてより速く変化し、前記可変的サイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算されるズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より高い最大ズームファクタが許容される、前記イメージ解析手段と、
を有する装置。

【請求項14】

シーン変更検出モジュールをさらに有し、
前記サブシーケンスは、ＧＯＰ又はシーンであり、
前記シーンは、前記シーン変更検出モジュールにより検出される、請求項１３記載の装置。

【請求項15】

前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定する手段と、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及びビデオフレームレートから、境界ボックス速度とを計算する手段と、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段と、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理し、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理する手段と、
を有する、請求項１３又は１４記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオシーケンスのイメージを処理する方法及び装置に関し、特にビデオシーケンスのイメージをリフレーミングする方法及び装置に関する。

【背景技術】

【0002】

ＥＰ１９５６５５０Ａなどから知られるようなリフレーミングアプリケーションは、まずビデオシーケンスのサブパートをそれのコンテンツに基づきクロップ処理するよう設計されている。クロップ処理後、各ビデオイメージのリフレーミングされた部分のみが可視的なままにされる。リフレーミングアプリケーションは、視覚的注意モデル及び専用のリフレーミングアルゴリズムに関する。視覚的注意モデルは顕著性マップを生成し、リフレーミングアルゴリズムは当該顕著性マップに基づきクロップ処理ウィンドウを外挿する。このクロップ処理ウィンドウは、ビデオコンテンツに応じて位置及びサイズに関して可変的である。リフレーミングアルゴリズムは、符号化又は復号化処理について相補的である。利用ケースに応じて、リフレーミングアプリケーションは異なって利用されてもよい。例えば、リフレーミングアプリケーションは、モバイルビデオ符号化前の前処理として利用可能である。他の具体例では、リフレーミングアプリケーションは、ビデオ復号化の直後に実行される。

【0003】

ビデオコンテンツに基づきリフレーミングパラメータを自動調整するのに利用可能な先進的又は自動的な手段が現在ないという問題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＥＰ１９５６５５０Ａ

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、ビデオソースデータを復号化する際に利用可能な情報を活用することによって、リフレーミングアプリケーションの設定又は入力パラメータを自動調整することを可能にする。復号化されたビデオシーケンスのための設定又は入力パラメータを自動調整するための開示される手段は、以前に復号化されたシーケンスの性質を利用する。

【課題を解決するための手段】

【0006】

本発明によると、ビデオシーケンスのイメージを処理する方法は、ビデオシーケンスのパラメータ、ビデオシーケンスの前に復号化されたＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）のパラメータ及びユーザ設定を決定するステップと、決定されたパラメータに従ってクロップ処理される部分を決定するステップと、表示のため決定された部分をクロップ処理するステップとを有する。

【0007】

ＧＯＰサイズ、時間サブサンプリングファクタ、最小及び最大ズームファクタ又は境界ボックス速度などのビデオシーケンスの各種パラメータが決定及び利用可能である。これらのパラメータは、別々に利用されるか、又は組み合わせ可能である。例えば、一実施例では、決定及び利用されたパラメータは、（上述したパラメータから）境界ボックス速度のみを有する。

【0008】

一実施例では、決定及び利用されたパラメータは最小及び最大ズームファクタを有する。

【0009】

一実施例では、決定及び利用されたパラメータは、ＧＯＰサイズ、時間サブサンプリングファクタ、最小及び最大ズームファクタ又は境界ボックス速度を有する。

【0010】

本発明の一実施例では、ビデオシーケンスのイメージを処理する方法は、前のイメージにおいてリフレーミングウィンドウに含めるための前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、当該ピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、現在のイメージにおいてリフレーミングウィンドウに含めるための現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットと、当該エリアの周辺の第２境界ボックスとを決定するステップと、連続するイメージの間で境界ボックスを移動するための最大境界ボックス速度を決定するステップと、第１及び第２境界ボックスと境界ボックスの決定された最大速度から新たな境界ボックスを決定するステップと、現在のイメージにおいて表示のために決定された新たな境界ボックスに従ってサブエリアをクロップ処理するステップとを有する。

【0011】

最大境界ボックス速度は、ビデオシーケンスの前に復号化されたＧＯＰのパラメータから決定されてもよい。最大境界ボックス速度はまた、レジスタ又はストレージから抽出可能な所定値であってもよく、それはまたビデオシーケンスの前に復号化されたＧＯＰについて有効である。

【0012】

上記方法を利用する装置は、ビデオシーケンスのパラメータを決定し、ビデオシーケンスの前に復号化されたＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）のパラメータを決定し、ユーザ設定（ユーザインタフェース手段など）を決定するイメージ解析手段と、決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため決定された部分をクロップ処理するイメージ処理手段とを有する。ビデオシーケンスの各種パラメータが、上述されるように、個別に又は組み合わせて決定及び利用可能である。

【0013】

本発明の一実施例では、ビデオシーケンスのイメージを処理する装置は、前のイメージにおいてリフレーミングウィンドウに含めるため前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、当該ピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、現在のイメージにおいてリフレーミングウィンドウに含めるための現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットと当該エリアの周辺の第２境界ボックスとを決定する手段と、ビデオシーケンスの前に復号化されたＧＯＰのパラメータから、連続するイメージの間で境界ボックスを移動するための最大境界ボックス速度を決定する手段と、第１及び第２境界ボックスと境界ボックスの決定された最大速度とから新たな境界ボックスを決定する手段と、現在のイメージにおいて表示のため決定された新たな境界ボックスに従ってサブエリアをクロップ処理する手段とを有する。

【0014】

一態様では、本発明は、コンピュータに上述されるような方法を実行させるための実行可能な命令を格納したコンピュータ可読媒体に関する。一実施例では、コンピュータは、ビデオシーケンスのイメージを処理する方法であって、ビデオシーケンスのパラメータを決定するステップと、ビデオシーケンスの前に復号化されたＧＯＰのパラメータを決定するステップと、ユーザ設定を決定するステップと、決定されたパラメータに従ってクロップ処理される部分を決定するステップと、表示のため決定された部分をクロップ処理するステップとを有する方法を実行する。

【0015】

本発明の効果的な実施例は、従属形式の請求項、以下の説明及び図面に開示される。

【発明の効果】

【0016】

本発明による、ビデオソースデータを復号化する際に利用可能な情報を活用することによって、リフレーミングアプリケーションの設定又は入力パラメータを自動調整することが可能になる。

【図面の簡単な説明】

【0017】

【図1】図１は、リフレーミングアプリケーションを備えたビデオデコーダの構成を示す。

【図2】図２は、ビデオシーケンスのイメージを処理する方法のフローチャートである。

【図3】図３は、ＧＯＰサイズの関数としてのバッファサイズの進展の図である。

【図4】図４は、計算コンテクスト及びリアルタイム要求に関する最適な時間サブサンプリングモード／ファクタの選択を示す。

【図5】図５は、ＧＯＰの配置、サイズ及び環境の制約に関するモード選択のフローチャートである。

【図6】図６は、異なるビットレートによるＩフレームのための一例となるＭＢコストマップを示す。

【図7】図７は、完全なＧＯＰのためのフレーム間のＩｎｔｒａＭａｐ相関の関数としての境界ボックス速度の進展の図である。

【図8】図８は、限定された境界ボックス速度を示す図である。

【図9】図９は、限定された境界ボックスズームファクタを示す図である。

【図10】図１０は、ビデオシーケンスのイメージを処理する装置の構成を示す。

【発明を実施するための形態】

【0018】

図１は、自動リフレーミングユニットＡＲを備えたビデオデコーダＤＥＣの構成を示す。デコーダＤＥＣは、符号化入力ビデオシーケンス１１を受信し、それを復号化して復号化ビデオシーケンス１２を取得する。パラメータ抽出手段ＰＥは、復号化ビデオシーケンス及び／又はデコーダ設定１３からパラメータ及び／又はリフレーミング設定１４を抽出する。自動リフレーミングユニットＡＲは、復号化ビデオシーケンス１２及び抽出されたパラメータ及び／又はリフレーミング設定１４から、リフレーミング（すなわち、クロップ処理された）ビデオシーケンス１６を生成する。

【0019】

リフレーミングアプリケーションは、本発明によると符号化ストリーム又は復号化処理から自動調整されたある個数の設定Ｓを有する。一実施例では、当該設定は、バッファサイズ、時間サブサンプリングファクタ、２つのズームファクタｚ_ｍｉｎ及びｚ_ｍａｘ、並びに境界ボックス速度を有する。これらの設定ｓ_１，ｓ_２，ｓ_３，ｓ_４は、以下に記述される。

【0020】

【数1】

バッファサイズ（ｓ_１）は、経時的にクロップ処理ウィンドウパラメータをスムース化するためリフレーミング処理において利用されるバッファのサイズである。一実施例では、バッファサイズは、ＧＯＰサイズに従って調整される。

【0021】

時間サブサンプリングファクタ（ｓ_２）は、リフレーミング処理が適用されるフレーム数を制限するのに利用され、これにより、例えば、ｓ_ｓにおける１フレーム又はｓ_２個のフレームからの１フレームのみにリフレーミング処理を適用するなど、アプリケーションの計算複雑さを低減及び制御することが可能である。一実施例では、可能な時間サブサンプリングファクタ／モードは、ＧＯＰの長さ及びｓ_２に応じて“フルモード”（すべてのフレーム）、“中間モード”（ＩフレームとＰフレームのみ）及び“ライトモード”（Ｉフレームのみ）である。

【0022】

ズームファクタ（ｓ_３＝（ｚ_ｍｉｎ，ｚ_ｍａｘ））は、クロップ処理ウィンドウが境界間で経時的に変更しうる境界を規定する。この制限は、クロップ処理ウィンドウのサイズを変更する。ユーザは、大きすぎる又は小さすぎるズーム効果を回避するため、当該特徴を設定してもよい。一実施例では、シーンカット後の最初のピクチャにおいて、ＭＢコストマップが、最も重要なブロックを検出するため生成される。その後、ＭＢコストマップが、ズームファクタを決定するため利用される。

【0023】

境界ボックス速度（ｓ_４）は、クロップ処理ウィンドウがピクチャ内で移動可能な速度である。一実施例では、境界ボックスは、リフレーミングウィンドウに含まれるべき最も顕著であると選択されるサブエリア又はピクセルのサブセットを表す。許容される速度はイメージコンテンツに依存し、すなわち、それは、以降のイメージのイントラ予測されたＭＢ間の相関がかなり低いか、かなり高いときに低い値に制限される。高い相関は、静的イメージ又は少ない動きを意味し、安定的な境界ボックス位置が好ましく、低い相関は、シーン変更（すなわち、新たな“ショット”）を意味し、それは、境界ボックスシフトによって補償できないため、アルゴリズムを酷使することになる。従って、境界ボックス速度ｓ_４は、コンテンツに依存してカメラの自然なカメラの動きにより良好に適合するようにシーケンスに対して適応化されてもよい。一実施例では、Ｋａｌｍａｎフィルタは、フィルタリングのための境界ボックス座標に適用され、境界ボックス速度は、Ｋａｌｍａｎフィルタに投入されるノイズファクタである。

【0024】

図２は、ビデオシーケンスのイメージを処理するための方法のフローチャートである。本方法は、ビデオシーケンスのパラメータ、ビデオシーケンスの以前に復号化されたＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）のパラメータ及びユーザ設定を決定するステップ２１と、決定されたパラメータに従ってクロップ処理される部分を決定するステップ２２と、決定された部分を表示のためクロップ処理するステップ２３とを有する。

【0025】

一実施例では、復号化パラメータは以下のように決定される。

【0026】

バッファサイズｓ_１は、ＧＯＰサイズ（Ｇｓｉｚｅ）に従って調整される。原理的には、当該バッファサイズが小さなＧＯＰについて低減され、フルバッファＳｉｚｅ_ｍａｘがあるリミットを超過したＧＯＰサイズについて利用される。ＧＯＰサイズは、デコーダＤＥＣがストレージから抽出するか、又は符号化ビットストリームから抽出してもよい所定のパラメータである。以下のルールが適用されてもよい。

【0027】

【数2】

一例となる具体的なアプリケーションのため、Ｇｓｉｚｅ_ｍａｘは４０に設定され、Ｓｉｚｅ_ｍａｘは２５に設定される。すなわち、Ｓｉｚｅ_ｍａｘの以前のフレームのクロップ処理ウィンドウパラメータは、ＧＯＰサイズが４０以上である場合、現在フレームのクロップ処理ウィンドウパラメータを取得するためバッファされて考慮される。このように、クロップ処理ウィンドウパラメータの急激な変更が回避され、クロップ処理ウィンドウパラメータは経時的にスムース化される。このとき、図３に示されるようなバッファサイズの曲線が得られる。

【0028】

時間サブサンプリングファクタｓ_２は、ＧＯＰサイズ及びスキームに従って設定されてもよい。その考え方は、少なくともＩフレームに対するリフレーミング処理（及びそのときの顕著性マップ）の計算を維持することであり、これは、それらが最も高いクオリティを有し、シーンの始め（すなわち、シーンカットの直後）にある可能性が高いためである。このとき、Ｐフレームは、処理対象としてあまり関心はない。最後に、時間サブサンプリングによりフレームを削除する必要がある場合、Ｂフレームは省略されるべき最初のフレームになるであろう。

【0029】

ＧＯＰスキームを利用することによって、ＥＰ１９５６５５０Ａの既知の手段と比較して向上を図ることが可能であり、これは、何れのフレームタイプと何れのフレームが影響を受けるか選択することが可能であるためである。

【0030】

このとき、ファクタを規定する代わりに、図４に示されるように、３つのモード又は利用ケースを規定することが可能である。フロモードＦＭでは、時間サブサンプリングはなく、すべてのフレームに対してリフレーミング処理が実行される。中間モードＩＭでは、シーケンスの一部又はすべてのＢフレームが計算から除外される。ライトモードＬＭでは、シーケンスのＰフレームの一部又はすべてと共に、Ｂフレームのすべてが計算から除外される。モード選択は、計算問題又は利用可能な計算環境ＣＩ／Ｅｎｖによりそれぞれ制御される。これは、コンテクスト（高低ビットレート又は高低クオリティ）要求に従って、３つのモードの１つが選択されることを意味し、高品質はフルモードを意味し、中程度の品質は中間モードを意味し、低品質はライトモードを意味する。

【0031】

図５は、モードの選択を示す詳細なフローチャートを示す。基本的に、Ｂフレームの有無がチェックされ、その後、それらの計算が中間モードＩＭ及びライトモードＬＭにおいて省略される。その後、環境の制約に依存して、Ｐフレーム（又はサブセット）がまた破棄される。図５に示されるように、上述した可能な３つのモードの１つが、モード選択ＭＳにおいて選択可能である。

【0032】

フルモードＦＭでは、すべてのフレームが維持され、ステップ５０において、時間サブサンプリングファクタパラメータｓ_２が１などに設定される。すなわち、すべてのフレームが処理される（５９）。

【0033】

中間モードＩＭでは、Ｂフレームがあるかチェックされる（５１）。Ｂフレームがない場合、すべてのフレームが処理される（５９）。少なくとも１つのＢフレームがある場合、次のステップ５２は、ＮｂＢのＢフレームを削除し、ｓ_２＝Ｇ_ｓｉｚｅ−ＮｂＢ（Ｇ_ｓｉｚｅはＧＯＰサイズである）に従って時間サブサンプリングファクタパラメータｓ_２を計算する。計算された時間サブサンプリングファクタパラメータｓ_２は、例えば、“ｓ_２＞Ｇ_ｓｉｚｅ／２？“などに従って所与の閾値と比較される（５３）。時間サブサンプリングファクタが閾値を下回らない場合、削除されるＢフレームの個数は増加され、当該計算が繰り返される。ＮｂＢは、１に初期化され、ループの各実行によりインクリメントされる変数である。ｎｂ_ｉｔｅｒは、ループの実行をカウントするカウント変数であり、従って（中間モードでは）、スキップされるＢフレームの個数である。あるいは、ｓ_{２，ｍｉｎ}＝Ｇ_ｓｉｚｅ−ＮｂＢ_ｍａｘを計算し（ＮｂＢ_ｍａｘはＧＯＰにおけるＢフレームの総数である）、結果として得られるｓ_２が閾値を下回っている限り、１つのＢフレームバックを加え、すなわち、ＮｂＢ_ｍａｘを減少させる。閾値ステップ５３では、他の閾値ｔｈｒ_{ｔＳｕｂｓ}が、”ｓ_２＞ｔｈｒ_{ｔＳｕｂｓ}？“に従って時間サブサンプリングファクタパラメータｓ_２と比較するのに利用可能であることに留意されたい。好ましくは、当該閾値は、Ｇ_ｓｉｚｅ／２に実質的に近い。

【0034】

ライトモードＬＭでは、Ｂフレームがあるかまず確認される（５４）。ある場合、すべてのＢフレームが次のステップ５５において削除される。その後、取得した時間サブサンプリングファクタパラメータｓ_２が、ｓ_２＝Ｇ_ｓｉｚｅ−ＮｂＢに従って計算され（５６）、“ｓ_２＜Ｇ_ｓｉｚｅ／２？”などに従って（又は、中間モードと同様に）所与の閾値と比較される（５７）。時間サブサンプリングファクタパラメータｓ_２が閾値を下回る場合、残りのすべてのフレームが処理される（５９）。Ｂフレームがない場合、次のステップ５８において、ＮｂＰ個のＰフレームが削除される。結果として得られる時間サブサンプリングファクタｓ_２は、ｓ_２＝Ｇ_ｓｉｚｅ−ＮｂＰ−ＮｂＢに従って再び計算され（５６）、所与の閾値と再び比較される（５７）。時間サブサンプリングファクタがまだ閾値を下回っていない場合、削除されるＰフレームの個数はさらの増加され、当該計算が繰り返される。ＮｂＰは、１に初期化され、ループの各実行毎にインクリメントされる変数である。ｎｂ_ｉｔｅｒは、ループの実行をカウントするカウント変数であり、従って（ライトモードでは）、スキップされるＰフレームの個数である。あるいは、ｓ_{２，ｍｉｎ}＝Ｇ_ｓｉｚｅ−ＮｂＰ_ｍａｘ−ＮｂＢを計算し（ＮｂＰ_ｍａｘはＧＯＰにおけるＰフレームの総数である）、結果として得られるｓ_２が閾値を下回る限り、１つのＰフレームバックを加え、すなわち、ＮｂＰ_ｍａｘを減少させることも可能である。

【0035】

最後に、残りのすべてのフレームが、クロップ処理などを含めて処理される（５９）。

【0036】

他のパラメータは、最大許容ズームファクタｓ_３又はズームファクタのペア（ｓ_３＝（ｚ_ｍｉｎ，ｚ_ｍａｘ））である。一実施例では、ズームファクタｓ_３を決定するため、通常はＩフレームであるＧＯＰ又はシーンの最初のフレームに対応するマクロブロック（ＭＢ）コストマップが利用される。ＭＢコストマップは、各ＭＢについてそれの符号化コストを示す。図６は、異なるビットレート及び異なるシーンのための一例となる４つの異なるＭＢコストマップを示す。各ＭＢコストマップは、オリジナルピクチャの右に示される。最も重要なブロックは明確に特定でき（最も大きな符号化コストを有するライトブロック）、その後、リフレーミング処理に利用される最小及び最大ズーム境界がそれから導出可能である。本発明の一実施例では、ズームファクタは、すべてのシーンカットにおいて再調整される。この場合、シーンカット検出は、当該処理前に実行される。

【0037】

クロップ処理ウィンドウのズームファクタｚは、ｚ_ｍｉｎ≦ｚ≦ｚ_ｍａｘにより規定されたズームファクタの範囲内で経時的に変化してもよい。しかしながら、ｚ_ｍｉｎ，ｚ_ｍａｘの１つは明示的又は非明示的に与えられてもよい。

【0038】

一実施例では、ｓ_３＝（ｚ_ｍｉｎ，ｚ_ｍａｘ）が、

【数3】

に従って規定できる。ここで、ｎｂ_ＭＢはピクチャ内のＭＢの総数であり、ｎｂ_{ＭＢｃｏｓｔ０}は互いに必ずしも隣接する必要のない０に等しいコストのＭＢの個数であり（例えば、図６の上方及び下方エッジの暗いＭＢ）、ｎｂ_{ＭＢａｄｊ}は大きなコスト（＞最大コスト／２）を有し、互いに空間的に隣接するＭＢの個数である。一実施例では、それは、ピクチャにおいて最大のコスト（＞最大コスト／２）を有する隣接ＭＢの最大グループである。

【0039】

他のパラメータは、境界ボックス速度ｓ_４である。ズームファクタと同様に、境界ボックス速度は、特にそれがシーン毎に調整される場合、スマートに調整されてもよい。一実施例では、境界ボックス速度は、現在のＩｎｔｒａＭａｐと隣接ピクチャのＩｎｔｒａＭａｐとの間の相関係数により表現可能な隣接ピクチャとの類似度に従って設定される。ここで、ＩｎｔｒａＭａｐは、Ｐピクチャ又はＢピクチャにおけるイントラ符号化ＭＢのマップである。隣接ピクチャのイントラ符号化ＭＢの平均の相関係数がそれの平均から乖離するに従って、許容される境界ボックス速度は低くなる。符号化される困難なＭＢは通常はイントラ符号化されるため、ＩｎｔｒａＭａｐは、シーンの複雑さに関する情報を提供する。この情報から、連続するＩｎｔｒａＭａｐの間の相関を記述する値が推定される。相関が高い場合（すなわち、グローバルな動きがほとんどないか、又はまったくなく、ローカルな動きがほとんどないか、まったくない）、境界ボックス速度はウィンドウを固定するため低くなっているべきであることが検出された。他方、相関がかなり低い場合、これはおそらく強いカメラの動き又は強いコンテンツの変化から生じる（例えば、誰かがカメラの前で移動しているなど）。この場合、コンテンツに関して意味がなく、混乱させる可能のある境界ボックス位置の強い適応化より好ましい適応化はない。従って、低い相関についてもまた、境界ボックス速度が低くなるべきである。中程度の相関について、コンテンツの変更はより容易に処理可能であり、より高い速度は、境界ボックスの再配置を可能にするため利用可能である。

【0040】

一実施例では、境界ボックス速度は、

【数4】

例えば、

【数5】

などに従って計算可能である。ただし、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化ＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐ（すなわち、次の又は前のもの）との間の相関係数であり、Ｖ_ｍａｘは境界ボックスの最大許容速度である。式６において、ｘは現在及び前のＧＯＰを表す。このとき、境界ボックスは、図７に示されるように、ガウス関数として経時的に変化する。ｍ及びσはそれぞれ、速度の分布の平均及び標準偏差である。それらは、ｍ＝０．５及びσ＝０．２などに調整されてもよい。ｍ、σ及びＶ_ｍａｘはシステムにおける最大値として定義された固定的なパラメータであることに留意されたい。上述されるように、最大境界ボックス速度は、相関が中間値を有するときに可能とされる。

【0041】

図８は、境界ボックス速度の制限を例示的かつ簡単化された方法により示す。図示されたスケールは現実的なものでなく、簡単化のために利用されていることに留意されたい。上述されるように、前のイメージｉｍ_ｎ−１では、最も顕著なエリアｓａ_１の周辺の第１境界ボックスｂｂ_１が決定され、現在のイメージｉｍ_ｎでは、最も顕著なエリアｓａ_２の周辺の第２境界ボックスｂｂ_２が決定される。その後、第１境界ボックスと第２境界ボックスとの間のシフトベクトル又はシフト距離ｄ_ｄｅｔが決定され、最大許容シフトベクトル又はシフト距離ｄ_ｍａｘと比較される。

【0042】

あるいは、イメージｉｍ_ｎ−１とｉｍ_ｎとの間の時間距離を考慮するとき（フレームレートｆを利用して）、決定された実際の境界ボックス速度が、ｖ_ｄｅｔ＝ｄ_ｄｅｔ＊ｆに従って計算可能である。決定された実際の境界ボックス速度は、最大許容境界ボックス速度ｖ_ｍａｘと比較される。

【0043】

決定された境界ボックスシフトベクトルｄ_ｄｅｔが最大許容境界ボックスシフトベクトルｄ_ｍａｘを上回る（すなわち、より長い）場合、又は決定された境界ボックス速度ｖ_ｄｅｔが最大許容境界ボックス速度ｖ_ｍａｘを上回る場合、新たな境界ボックスの位置及び／又はサイズが決定され、決定された新たな境界ボックス位置に従うサブエリアが、表示のため現在のイメージにおいてクロップ処理される（すなわち、境界ボックスにより特定されるイメージの当該部分のみが表示される）。そうでない場合、決定された境界ボックスシフトベクトルｄ_ｄｅｔが最大許容境界ボックスシフトベクトルｄ_ｍａｘを上回らない場合、又は決定された境界ボックス速度ｖ_ｄｅｔが最大許容境界ボックス速度ｖ_ｍａｘを上回らない場合、第２境界ボックスはそのまま利用可能である。同様に、ズームファクタが説明可能である。図９は、境界ボックスズームファクタの制限を例示的かつ簡単化された方法により示す。図示されたスケールは現実的でないかもしれないことに留意されたい。上述されるように、前のイメージｉｍ_ｎ−１では、最も顕著なエリアの周辺の第１境界ボックスｂｂ_１が決定され、現在のイメージｉｍ_ｎでは、最も顕著なエリアの周辺の第２境界ボックスｂｂ_２が決定される。本例では、第２境界ボックスｂｂ_２は、第１境界ボックスｂｂ_１よりかなり小さい。その後、ズームファクタが計算される。原理的には、ズームファクタは、例えば、ｚ＝ｎ_ｂｂ２／ｎ_ｂｂ１などに従って境界ボックスによりピクセル数から計算されてもよい。計算されたズームファクタは、最大許容ズームファクタｚ_ｍａｘと比較される。

【0044】

決定されたズームファクタｚ_ｄｅｔが最大許容ズームファクタｚ_ｍａｘを上回らない場合、第２境界ボックスはそのまま利用可能である。他方、決定されたズームファクタｚ_ｄｅｔが最大許容ズームファクタｚ_ｍａｘを上回る場合、新たな境界ボックスｂｂ_ｄｅｔのサイズは、最大許容ズームファクタｚ_ｍａｘが充足されるように決定される。新たな境界ボックスｂｂ_ｄｅｔは、第２境界ボックスｂｂ_２と同心円状にある。決定された新たな境界ボックスｂｂ_ｄｅｔの位置によるサブエリアは、表示のため現在イメージにおいてクロップ処理される。

【0045】

図８及び９に関して上記は境界ボックスのコンセプトの原理の説明であることに留意すべきである。実際の実現形態では、例えば、境界ボックス速度について、フィルタ（Ｋａｌｍａｎフィルタなど）が境界ボックスの座標に適用され、境界ボックスの座標の軌跡及び境界ボックスのサイズをスムース化するため、境界ボックス速度は、フィルタに投入されるノイズファクタである。

【0046】

境界ボックス（又はクロップ処理ウィンドウ）は、一実施例では、ウィンドウに含まれるべき最も顕著なものとして選択されるピクセルのサブエリア又はサブセットを表す。一実施例では、当該ウィンドウは、目標とされる所定のアスペクト比（ユーザなどにより規定される）に設定される。このとき、一実施例では、リフレーミングアプリケーションにおいて、ウィンドウの位置（ｘ及びｙ軸）及び／又はサイズは変化する。速度はボックスの位置のみを参照し、すなわち、境界ボックスが経時的にその位置を変更する方法を参照する。従って、それは、カメラの動きなどによって影響を受ける。実際には、境界ボックス速度は、フレームの可視的部分が移動する速度としてみなすことができる。

【0047】

図１０は、本発明による入力ビデオシーケンスｓｅｑ_ｉｎのイメージを処理する装置１００の原理的なブロック図を示す。本装置は、イメージ解析モジュール１０２とイメージ処理モジュール１１０とを有する。イメージ解析モジュールは、ビデオシーケンスのパラメータを決定する第１パラメータ決定モジュール１０３と、ビデオシーケンスの前に復号化されたＧＯＰのパラメータを決定する第２パラメータ決定モジュール１０４と、ユーザ設定を決定するユーザインタフェースモジュール１０５とを有する。さらに、本装置は、決定されたパラメータに従ってクロップ処理される部分を決定するクロップウィンドウポジショニングモジュール１０６と、表示のため決定された部分をクロップ処理するクロップ処理モジュール１０７とを有する。クロップ処理されたイメージシーケンスｓｅｑ_ｃｒは、出力に提供される。ビデオシーケンスの各種パラメータが、上述されるように、決定され、別々に又は組み合わせて利用可能である。上述したモジュールは、ハードウェアモジュール、ソフトウェアによりサポートされたハードウェアモジュール又はソフトウェアモジュールとして実現可能である。

【0048】

一実施例では、本装置はさらに、シーン変更検出モジュールを有する。サブシーケンスがシーン（すなわち、“ショット”）である場合、当該シーン（又はシーン変更）はシーン変更検出モジュールにより検出される。

【0049】

一実施例では、本装置はさらに、前のイメージ（ｉｍ_ｎ−１）において当該前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセット（ｓａ_１）を決定する手段、前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックス（ｂｂ_１）を決定する手段、現在イメージにおいて当該現在イメージの最も顕著な部分であるピクセルのサブエリア又はサブセット（ｓａ_２）を決定する手段、第１境界ボックス（ｂｂ_１）及び第２境界ボックス（ｂｂ_２）から境界ボックスシフト（ｄ_ｄｅｔ）を計算する手段、第１境界ボックス（ｂｂ_１）及び第２境界ボックス（ｂｂ_２）の位置から境界ボックスシフト（ｄ_ｄｅｔ）を計算するか、又は第１境界ボックス（ｂｂ_１）及び第２境界ボックス（ｂｂ_２）の位置並びにビデオフレームレートから境界ボックス速度を計算する手段、決定された境界ボックスシフト（ｄ_ｄｅｔ）又は境界ボックス速度と連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段、及び新たな境界ボックスの位置及び／又はサイズ（ｂｂ_ｄｅｔ）を決定し、決定した境界ボックスシフトが最大許容境界ボックスシフトを上回る場合、又は決定した境界ボックス速度が最大許容境界ボックス速度を上回る場合、現在イメージにおいて表示のため決定された新たな境界ボックスに従ってサブエリアをクロップ処理し、他方、決定した境界ボックスシフト（ｄ_ｄｅｔ）又は境界ボックス速度が最大許容境界ボックスシフト又は境界ボックス速度以下である場合、現在イメージにおいて表示のため決定された第２境界ボックス（ｂｂ_２）に従ってサブエリアをクロップ処理する手段を有する。

【0050】

本発明の効果は、それがコンテンツの信頼できて有用な復号化情報に基づき、リフレーミングパラメータの自動調整を実行することである。すなわち、リフレーミングパラメータは、ビデオを復号化する際に利用可能な情報を利用することによって（特に、前に復号化されたシーケンスの性質）、コンテンツに基づき自動調整される。従来、符号化中には付加的情報は挿入される必要がなかったため、符号化ビデオシーケンスが利用可能である。リフレーミングアプリケーションの設定Ｓは、復号化処理又は復号化ストリームから自動的に調整可能である。これらのパラメータは、上述されたように、バッファサイズｓ_１、時間サブサンプリングファクタｓ_２、ズームファクタｓ_３＝（ｚ_ｍｉｎ，ｚ_ｍａｘ）及び境界ボックス速度ｓ_４の１以上である。

【0051】

一実施例では、復号化ビデオシーケンスの設定又は入力パラメータが、それの直前の復号化シーケンスの性質に従って自動調整される。

【0052】

本発明の一実施例では、リフレーミングアプリケーションはビデオ復号化後に実行される。

【0053】

本発明は、表示のためのビデオを前処理する装置又はビデオを表示可能な装置において実現可能である。本発明は、特に小さなスクリーンサイズを備えたビデオ表示装置に有用である。

【0054】

本発明が純粋に具体例により説明され、本発明の範囲から逸脱することなく詳細の変更が可能であることが理解されるであろう。本発明の基本的な新規な特徴がそれの好適な実施例に適用されるように図示、説明及び指摘されたが、説明された装置及び方法、開示された装置の形式及び詳細、及びそれらの動作の各種省略、置換及び変更が、本発明の趣旨から逸脱することなく当業者により可能であることが理解されるであろう。同一の結果を達成するため実質的に同じ方法により実質的に同一の機能を実行する要素のすべての組み合わせが本発明の範囲内であることが明示的に意図される。説明された実施例の間の要素の置換はまた、完全に意図及び想定される。

【0055】

本説明、（適切である場合）請求項及び図面に開示された各特徴は、独立して又は何れか適切な組み合わせにより提供されてもよい。各特徴は、適切である場合、ハードウェア、ソフトウェア又はこれら２つの組み合わせにより実現されてもよい。請求項に現れる参照番号は、単なる具体例であり、請求項の範囲に対して限定的な効果を有さない。
以下、本願により教示される手段を例示的に列挙する。
（付記１）
ビデオシーケンスのイメージを処理する方法であって、
前記ビデオシーケンスのパラメータ、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータ及びユーザ設定を決定するステップと、
前記決定されたパラメータに従ってクロップ処理される部分を決定するステップであって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、前記境界ボックス位置は、前記第１相関値より高い又は低い相関値に対してより速く変化し、前記可変的なサイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される最大ズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より大きな最大ズームファクタが許容される、前記決定するステップと、
リフレーミングステップにおいて、表示のため前記決定された部分をクロップ処理するステップと、
を有する方法。
（付記２）
前記サブシーケンスはＧＯＰ又はシーンであり、前記シーンはシーン変更検出により検出される、付記１記載の方法。
（付記３）
前記ビデオシーケンスのパラメータ又は前に復号化されたサブシーケンスのパラメータは、ＧＯＰサイズ、シーン長、時間サブサンプリングファクタ、最大及び最小ズームファクタ並びに境界ボックス速度の少なくとも１つを有する、付記１又は２記載の方法。
（付記４）
前記ビデオシーケンスのパラメータを決定するステップは、現在のイメージについて、
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定するステップと、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定するステップと、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定するステップであって、前記第２境界ボックスは前記可変的な境界ボックス位置を有する、前記第２境界ボックスを決定するステップと、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及び前記ビデオフレームレートから、境界ボックスシフトと境界ボックス速度とを計算するステップと、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較するステップと、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理するステップと、
他方、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理するステップと、
を有する、付記１乃至３何れか一項記載の方法。
（付記５）
前記最大許容境界ボックスシフト又は境界ボックス速度は、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータから決定される、付記１乃至４何れか一項記載の方法。
（付記６）
前記最大許容境界ボックス速度は、

【数6】

に従って計算され、ＩｎｔｒａＭａｐはＰピクチャ又はＢピクチャにおけるイントラ符号化されたＭＢのマップであり、ＣＣは現在のＩｎｔｒａＭａｐと隣接するＩｎｔｒａＭａｐとの間の相関係数であり、Ｖ_ｍａｘは前記境界ボックスの最大速度であり、ｍ及びσは前記境界ボックス速度の分布の平均及び標準偏差である、付記１乃至５何れか一項記載の方法。
（付記７）
前記クロップ処理ウィンドウパラメータを経時的にスムース化するステップをさらに有し、
前記クロップ処理ウィンドウパラメータを経時的にスムース化するため、前記リフレーミングステップにおいてバッファが利用され、
前記バッファのサイズは、前記ＧＯＰサイズに従って調整される、付記１乃至６何れか一項記載の方法。
（付記８）
時間サブサンプリングファクタ又は時間サブサンプリングスキームが、時間サブサンプリングモードに従って設定され、
第１サブサンプリングモードでは、前記リフレーミングステップがすべてのフレームに適用され、
第２サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレーム及びＰフレームに適用され、０以上のＢフレームには適用されず、
第３サブサンプリングモードでは、前記リフレーミングステップがすべてのＩフレームに適用され、何れのＢフレームに適用されず、０以上のＰフレームに適用されない、付記１乃至７何れか一項記載の方法。
（付記９）
前記サブサンプリングモードの１つは、ビットレート要求とイメージ品質要求との少なくとも１つに従って選択される、付記８記載の方法。
（付記１０）
前記クロップ処理される部分は、クロップ処理ウィンドウにより規定され、
最大又は最小許容ズームファクタ又はズームファクタのペアを決定するステップをさらに有し、
前記最大又は最小許容ズームファクタは、前記クロップ処理ウィンドウが経時的に変化する境界を規定し、又は前記ズームファクタのペアは、前記クロップ処理ウィンドウが経時的に変化する２つの境界を規定する、付記１乃至９何れか一項記載の方法。
（付記１１）
前記ズームファクタのペアは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算される、付記１０記載の方法。
（付記１２）
最小許容ズームファクタは、

【数7】

により計算され、
最大許容ズームファクタは、

【数8】

により計算され、ｎｂ_ＭＢは前記イメージ内のＭＢの総数であり、ｎｂ_{ＭＢｃｏｓｔ０}は０に等しいコストを有するＭＢの個数であり、ｎｂ_{ＭＢａｄｊ}は最大のコストを有する隣接ＭＢの個数である、付記１乃至１１何れか一項記載の方法。
（付記１３）
ビデオシーケンスのイメージを処理する装置であって、
前記ビデオシーケンスのパラメータを決定し、前記ビデオシーケンスの前に復号化されたサブシーケンスのパラメータを決定し、ユーザ設定を決定するイメージ解析手段と、
前記決定されたパラメータに従ってクロップ処理される部分を決定し、表示のため前記決定された部分をクロップ処理するイメージ処理手段であって、前記クロップ処理される部分は、可変的な位置及び可変的なサイズの少なくとも１つを有する境界ボックスにより規定され、前記可変的な位置は、前記ビデオシーケンスにおける隣接フレームのイントラ符号化マクロブロックの間の相関に依存し、前記相関の第１相関値について、前記境界ボックス位置は、前記第１相関値より高い又は低い相関値についてより速く変化し、前記可変的サイズは、現在のＧＯＰ又はシーンの第１フレームのマクロブロックコストマップのパラメータから計算されるズームファクタに依存し、ゼロに等しいコストを有するマクロブロックのパーセンテージがより低い場合、より高い最大ズームファクタが許容される、前記イメージ解析手段と、
を有する装置。
（付記１４）
シーン変更検出モジュールをさらに有し、
前記サブシーケンスは、ＧＯＰ又はシーンであり、
前記シーンは、前記シーン検出モジュールにより検出される、付記１３記載の装置。
（付記１５）
前のイメージにおいて、前記前のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記前のイメージのピクセルのサブエリア又はサブセットの周辺の第１境界ボックスを決定する手段と、
前記現在のイメージにおいて、前記現在のイメージの最も顕著な部分であるピクセルのサブエリア又はサブセットを決定する手段と、
前記現在のイメージの前記エリアの周辺の第２境界ボックスを決定する手段と、
前記第１境界ボックスと前記第２境界ボックスとの位置から境界ボックスシフトを計算するか、又は前記第１境界ボックスと前記第２境界ボックスとの位置及び前記ビデオフレームレートから、境界ボックス速度とを計算する手段と、
前記決定された境界ボックスシフト又は境界ボックス速度と、連続するイメージの間の最大許容境界ボックスシフト又は境界ボックス速度とを比較する手段と、
前記決定された境界ボックスシフトが前記最大許容境界ボックスシフトを上回る場合、又は前記決定された境界ボックス速度が前記最大許容境界ボックス速度を上回る場合、新たな境界ボックスの位置及び／又はサイズを決定し、前記現在のイメージにおいて表示のため前記決定された新たな境界ボックスに従って前記サブエリアをクロップ処理し、前記決定された境界ボックスシフト又は境界ボックス速度が前記最大許容境界ボックスシフト又は最大許容境界ボックス速度以下である場合、前記現在のイメージにおいて表示のため前記決定された第２境界ボックスに従って前記サブエリアをクロップ処理する手段と、
を有する、付記１３又は１４記載の装置。

【符号の説明】

【0056】

１１ 符号化入力ビデオシーケンス
１２ 復号化ビデオシーケンス
１３ デコーダ設定
１４ リフレーミング設定

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】