知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023098965
(43)【公開日】2023-07-11
(54)【発明の名称】複雑性の低いフレームレートアップ変換
(51)【国際特許分類】
H04N 19/57 20140101AFI20230704BHJP
【ＦＩ】
H04N19/57
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023062310
(22)【出願日】2023-04-06
(62)【分割の表示】P 2020562084の分割
【原出願日】2019-01-28
(31)【優先権主張番号】62/623,143
(32)【優先日】2018-01-29
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シウ、シャオユウ
(72)【発明者】
【氏名】フ、ユーウェン
(72)【発明者】
【氏名】ユー、ヤン
(57)【要約】
【課題】ビデオのブロックのフレームレートアップ変換のシステム、方法を提供する。
【解決手段】ビデオのブロックのフレームレートアップ変換（ＦＲＵＣ）符号化において使用される動きベクトル（ＭＶ）を選択するシステムおよび方法が述べられる。一実施形態では、動きベクトル候補の第１のセットが、ブロックのＦＲＵＣ予測のために識別される。探索中心が、動きベクトル候補の第１のセットに基づいて画定され、また選択された幅を有し、探索中心に中心がある探索ウィンドウが決定される。選択されるＭＶを求める探索は、探索ウィンドウ内で実施される。いくつかの実施形態では、ＭＶの初期セットは、クラスタリングアルゴリズムを用いて処理されて、第１のセットとして使用されるより少ない数のＭＶを生成する。選択されたＭＶは、動き精緻化探索を受けることができ、制約された探索範囲にわたって実施され得る。別の実施形態では、探索反復が制約される。
【選択図】図９
【解決手段】ビデオのブロックのフレームレートアップ変換（ＦＲＵＣ）符号化において使用される動きベクトル（ＭＶ）を選択するシステムおよび方法が述べられる。一実施形態では、動きベクトル候補の第１のセットが、ブロックのＦＲＵＣ予測のために識別される。探索中心が、動きベクトル候補の第１のセットに基づいて画定され、また選択された幅を有し、探索中心に中心がある探索ウィンドウが決定される。選択されるＭＶを求める探索は、探索ウィンドウ内で実施される。いくつかの実施形態では、ＭＶの初期セットは、クラスタリングアルゴリズムを用いて処理されて、第１のセットとして使用されるより少ない数のＭＶを生成する。選択されたＭＶは、動き精緻化探索を受けることができ、制約された探索範囲にわたって実施され得る。別の実施形態では、探索反復が制約される。
【選択図】図９
【特許請求の範囲】
【請求項1】
ビデオを符号化する方法であって、前記ビデオにおける少なくとも１つの現在のブロックに対して、
前記ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、
動きベクトル候補の第１のセットに基づいて探索中心を画定するステップであって、前記探索中心は、動きベクトル候補の前記第１のセットにおける１つまたは複数の動きベクトルの平均である、ステップと、
選択された幅を有し、前記探索中心に中心が置かれる探索ウィンドウを決定するステップと、
前記探索ウィンドウ内に含まれるように、前記探索ウィンドウの外側にある前記第１のセット中のいずれの動きベクトルもクリップすることによって、動きベクトル候補の前記第１のセットを処理するステップと、
動きベクトル候補の前記処理された第１のセットの中から、選択される動きベクトルを求める探索を実施するステップと
を備える方法。
前記ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、
動きベクトル候補の第１のセットに基づいて探索中心を画定するステップであって、前記探索中心は、動きベクトル候補の前記第１のセットにおける１つまたは複数の動きベクトルの平均である、ステップと、
選択された幅を有し、前記探索中心に中心が置かれる探索ウィンドウを決定するステップと、
前記探索ウィンドウ内に含まれるように、前記探索ウィンドウの外側にある前記第１のセット中のいずれの動きベクトルもクリップすることによって、動きベクトル候補の前記第１のセットを処理するステップと、
動きベクトル候補の前記処理された第１のセットの中から、選択される動きベクトルを求める探索を実施するステップと
を備える方法。
【請求項2】
前記選択された動きベクトル候補に基づいて動き精緻化探索を実施して、精緻化された動きベクトルを生成するステップと、
前記精緻化された動きベクトルを使用し、フレームレートアップ変換を用いて前記ブロックを予測するステップと
をさらに備える請求項１に記載の方法。
前記精緻化された動きベクトルを使用し、フレームレートアップ変換を用いて前記ブロックを予測するステップと
をさらに備える請求項１に記載の方法。
【請求項3】
動きベクトル候補の前記第１のセットを識別するステップは、
動きベクトル候補の初期セットを複数のクラスタへとクラスタ化することと、
各クラスタに対して、前記それぞれのクラスタの重心を計算し、前記それぞれのクラスタの前記重心を表す重心動きベクトルを、動きベクトル候補の前記第１のセットに付与することと
を含む方法により実施される請求項１または２に記載の方法。
動きベクトル候補の初期セットを複数のクラスタへとクラスタ化することと、
各クラスタに対して、前記それぞれのクラスタの重心を計算し、前記それぞれのクラスタの前記重心を表す重心動きベクトルを、動きベクトル候補の前記第１のセットに付与することと
を含む方法により実施される請求項１または２に記載の方法。
【請求項4】
動きベクトル候補の前記第１のセットを識別するステップは、動きベクトル候補の前記第１のセットを、動きベクトルの選択された最大数に制限することを含む請求項３に記載の方法。
【請求項5】
前記探索中心は、動きベクトル候補の前記第１のセットにおける前記動きベクトルのうちの１つである請求項１乃至４のいずれかに記載の方法。
【請求項6】
前記探索中心は、動きベクトル候補の前記第１のセットの平均である請求項１乃至４のいずれに記載の方法。
【請求項7】
前記探索中心は、大部分の動きベクトル候補を有する前記クラスタの中心である請求項３に記載の方法。
【請求項8】
動きベクトル候補の前記処理された第１のセットの中から、選択される動きベクトルを求める探索を実施するステップは、動きベクトル候補の前記処理された第１のセットの中から、最も低いマッチングコストを達成する動きベクトルを選択することを含む請求項１乃至７のいずれかに記載の方法。
【請求項9】
前記現在のブロックは符号化ユニット（ＣＵ）であり、
前記選択された動きベクトル候補に基づき動き精緻化探索を実施して、精緻化されたＣＵレベル動きベクトルを生成するステップと、
前記符号化ユニットにおける各サブＣＵに対して、
選択されるサブＣＵレベル動きベクトルを求めるサブＣＵレベル動きベクトル探索において、動きベクトル候補として前記精緻化されたＣＵレベル動きベクトルを使用するステップと、
前記サブＣＵレベル動きベクトルを精緻化するステップと、
前記精緻化されたサブＣＵレベル動きベクトルを用いて前記サブＣＵを予測するステップと
をさらに備える請求項１乃至８のいずれかに記載の方法。
前記選択された動きベクトル候補に基づき動き精緻化探索を実施して、精緻化されたＣＵレベル動きベクトルを生成するステップと、
前記符号化ユニットにおける各サブＣＵに対して、
選択されるサブＣＵレベル動きベクトルを求めるサブＣＵレベル動きベクトル探索において、動きベクトル候補として前記精緻化されたＣＵレベル動きベクトルを使用するステップと、
前記サブＣＵレベル動きベクトルを精緻化するステップと、
前記精緻化されたサブＣＵレベル動きベクトルを用いて前記サブＣＵを予測するステップと
をさらに備える請求項１乃至８のいずれかに記載の方法。
【請求項10】
前記現在のブロックは符号化ユニット（ＣＵ）であり、
前記選択された動きベクトル候補に基づいて動き精緻化探索を実施し、精緻化されたＣＵレベル動きベクトルを生成するステップと、
前記符号化ユニット内の各サブＣＵレベルブロックに対して、
前記精緻化されたＣＵレベル動きベクトルを含むサブＣＵ初期動きベクトルのセットを識別するステップと、
前記サブＣＵ初期動きベクトルを、関連付けられた重心動きベクトルをそれぞれが有する複数のクラスタへとクラスタ化するステップと、
サブＣＵ探索ウィンドウ内に含まれるように、前記サブＣＵ探索ウィンドウの外側にある前記セットのいずれの重心動きベクトルもクリップすることにより、前記重心動きベクトルを処理するステップと、
重心動きベクトルの前記処理されたセットの中から、選択されるサブＣＵ動きベクトルを求める探索を実施するステップと、
前記探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたサブＣＵ動きベクトルを生成するステップと、
前記精緻化されたサブＣＵ動きベクトルを使用して、フレームレートアップ変換（ＦＲＵＣ）を用いて前記サブＣＵレベルブロックを予測するステップと
をさらに備える請求項１乃至８のいずれかに記載の方法。
前記選択された動きベクトル候補に基づいて動き精緻化探索を実施し、精緻化されたＣＵレベル動きベクトルを生成するステップと、
前記符号化ユニット内の各サブＣＵレベルブロックに対して、
前記精緻化されたＣＵレベル動きベクトルを含むサブＣＵ初期動きベクトルのセットを識別するステップと、
前記サブＣＵ初期動きベクトルを、関連付けられた重心動きベクトルをそれぞれが有する複数のクラスタへとクラスタ化するステップと、
サブＣＵ探索ウィンドウ内に含まれるように、前記サブＣＵ探索ウィンドウの外側にある前記セットのいずれの重心動きベクトルもクリップすることにより、前記重心動きベクトルを処理するステップと、
重心動きベクトルの前記処理されたセットの中から、選択されるサブＣＵ動きベクトルを求める探索を実施するステップと、
前記探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたサブＣＵ動きベクトルを生成するステップと、
前記精緻化されたサブＣＵ動きベクトルを使用して、フレームレートアップ変換（ＦＲＵＣ）を用いて前記サブＣＵレベルブロックを予測するステップと
をさらに備える請求項１乃至８のいずれかに記載の方法。
【請求項11】
前記サブＣＵ探索ウィンドウは、前記ＣＵレベル動きベクトルを決定するのに使用された前記探索ウィンドウと同じである請求項１０に記載の方法。
【請求項12】
前記ブロックのフレームレートアップ変換（ＦＲＵＣ）予測に対して少なくとも１つの参照ピクチャを選択するステップをさらに備え、前記現在のピクチャに対して選択される幅は、前記現在のピクチャと前記少なくとも１つの参照ピクチャの間のＰＯＣ距離に少なくとも部分的に基づいて決定される請求項１乃至１１のいずれかに記載の方法。
【請求項13】
前記選択された動きベクトル候補に基づいて動き精緻化探索を実施して、精緻化された動きベクトルを生成するステップをさらに備え、前記動き精緻化探索は、選択された最大反復数に制限される請求項１乃至１２のいずれかに記載の方法。
【請求項14】
前記方法は、デコーダによって実施される請求項１乃至１３のいずれかに記載の方法。
【請求項15】
プロセッサと、ビデオを符号化する方法を実施するように動作可能な命令を記憶する非一時的なコンピュータ可読媒体とを備えたシステムであって、前記方法は、前記ビデオにおける少なくとも１つの現在のブロックに対して、
前記ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別することと、
動きベクトル候補の第１のセットに基づいて探索中心を画定することであって、前記探索中心は、動きベクトル候補の前記第１のセットにおける１つまたは複数の動きベクトルの平均である、画定することと、
選択された幅を有し、前記探索中心に中心が置かれる探索ウィンドウを決定することと、
前記探索ウィンドウ内に含まれるように、前記探索ウィンドウの外側にある前記第１のセットのいずれの動きベクトルもクリップすることによって、動きベクトル候補の前記第１のセットを処理することと、
動きベクトル候補の前記処理された第１のセットの中から選択される動きベクトルを求める探索を実施することと
を含む、システム。
前記ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別することと、
動きベクトル候補の第１のセットに基づいて探索中心を画定することであって、前記探索中心は、動きベクトル候補の前記第１のセットにおける１つまたは複数の動きベクトルの平均である、画定することと、
選択された幅を有し、前記探索中心に中心が置かれる探索ウィンドウを決定することと、
前記探索ウィンドウ内に含まれるように、前記探索ウィンドウの外側にある前記第１のセットのいずれの動きベクトルもクリップすることによって、動きベクトル候補の前記第１のセットを処理することと、
動きベクトル候補の前記処理された第１のセットの中から選択される動きベクトルを求める探索を実施することと
を含む、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複雑性の低いフレームレートアップ変換に関する。
【0002】
関連出願の相互参照
本出願は、参照により本明細書にその全体が組み込まれる、２０１８年１月２９日に出願された「ＦＲＡＭＥ－ＲＡＴＥ ＵＰ ＣＯＮＶＥＲＳＩＯＮ ＷＩＴＨ ＬＯＷ ＣＯＭＰＬＥＸＩＴＹ」と題する米国特許仮出願第６２／６２３，１４３号明細書の非仮特許出願であり、その米国特許法第１１９条（ｅ）下における利益を主張するものである。
本出願は、参照により本明細書にその全体が組み込まれる、２０１８年１月２９日に出願された「ＦＲＡＭＥ－ＲＡＴＥ ＵＰ ＣＯＮＶＥＲＳＩＯＮ ＷＩＴＨ ＬＯＷ ＣＯＭＰＬＥＸＩＴＹ」と題する米国特許仮出願第６２／６２３，１４３号明細書の非仮特許出願であり、その米国特許法第１１９条（ｅ）下における利益を主張するものである。
【背景技術】
【0003】
ビデオ符号化システムは、デジタルビデオ信号を圧縮して、このような信号の記憶する必要性および／または送信帯域幅を低減するために広く使用される。ブロックベース、ウェーブレットベース、およびオブジェクトベースのシステムなど、ビデオ符号化システムの様々なタイプの中で、最近は、ブロックベースのハイブリッドビデオ符号化システムが、最も広く使用され、かつ展開されている。ブロックベースのビデオ符号化システムの例は、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ－４パート１０ＡＶＣ、ＶＣ－１、および高効率ビデオ符号化（ＨＥＶＣ）と呼ばれる最新のビデオ符号化規格など、国際的なビデオ符号化規格を含み、ＨＥＶＣは、ＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ－ＶＣ（ビデオ符号化に対する共同作業部会）により開発された。
【0004】
２０１３年１０月に最終決定されたＨＥＶＣ規格の第１のバージョンは、前世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、約５０％のビットレートの節約、または同等の知覚品質を提供する。ＨＥＶＣ規格は、その前のモデルに対して大幅な符号化の向上を提供するが、ＨＥＶＣに対してさらなる符号化ツールを用いると、より優れた符号化効率が得られるという根拠がある。それに基づいて、ＶＣＥＧとＭＰＥＧは共に、将来のビデオ符号化の規格化に向けて、新しい符号化技術の調査作業を開始した。２０１５年１０月に、ＩＴＵ－Ｔ ＶＣＥＧおよびＩＳＯ／ＩＥＣ ＭＰＥＧは、共同ビデオ調査チーム（ＪＶＥＴ）を形成して、ＨＥＶＣに対して符号化効率を実質的に高めることのできる進んだ技術の重要な研究を開始した。同じ月に、将来のビデオ符号化調査作業に向けて、共同調査モデル（ＪＥＭ）と呼ばれるソフトウェアコードベースが確立された。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許仮出願第６２／５９９，２３８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＪＥＭ基準ソフトウェアは、ＨＥＶＣのためにＪＣＴ－ＶＣにより開発されたＨＥＶＣテストモデル（ＨＭ）に基づいている。さらに提案される符号化ツールは、ＪＥＭソフトウェアに統合され、かつＪＶＥＴ共通テスト条件（ＣＴＣ）を用いてテストされ得ることが好ましい。
【課題を解決するための手段】
【0007】
例示的な実施形態は、ビデオエンコーディングおよびデコーディング（符号化および復号化、総称的に「符号化」）で使用される方法を含む。一例では、方法は、現在のピクチャを含む複数のピクチャを備えるビデオを符号化するための方法が提供される。現在のピクチャにおける少なくとも１つの現在のブロック（例えば、符号化ユニット、またはサブ符号化ユニットブロックとすることができる）に対して、動きベクトル候補の第１のセットが、ブロックのフレームレートアップ変換（ＦＲＵＣ）予測に対して識別される。動きベクトル候補の第１のセットは、主動きベクトルとすることができ、ここで、各主動きベクトルは、１つまたは複数（１つ以上）の初期動きベクトルのクラスタに関連付けられる。探索中心は、動きベクトル候補の第１のセットに基づいて画定（define）される。探索中心は、第１のセットにおける動きベクトル候補の１つまたは複数のものの平均により決定された位置とすることができる。
【0008】
探索ウィンドウが決定される、探索ウィンドウは、選択された幅を有し、探索中心に中心が置かれる。動きベクトル候補の第１のセットは、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある第１のセット中のいずれの動きベクトルもクリップすることによって処理される。選択される動きベクトルを求める探索を実施することができ、探索は、処理された動きベクトル候補の第１のセットの中から動きベクトルを選択する。
【0009】
いくつかの例示的な実施形態では、探索ウィンドウ幅は、外部メモリへのいくつかのアクセスを制限しながら、メモリキャッシュを用いて探索を実施できるように選択される。
【0010】
選択された動きベクトルで開始する動き精緻化探索を実施することができる。いくつかの実施形態では、精緻化探索の探索範囲は、精緻化探索が、メモリキャッシュを使用し、かつ、主メモリがアクセスされる回数を制限して実施され得るように制約される。いくつかの実施形態では、探索の反復数は、符号化の複雑さを制限するように制約される。
【0011】
いくつかの実施形態では、動きベクトル候補の第１のセットは、進んだ動きベクトル予測、または別の技法を用いて識別された候補の初期セット（initial set）である。いくつかの実施形態では、クラスタリングアルゴリズムが、動きベクトル候補の初期セットをクラスタ化するために実施され、また各クラスタに対する代表的な動きベクトル（例えば、重心）が第１のセットに付与(contribute)される。いくつかの実施形態では、クラスタの数は、符号化の複雑さを制限するために制約される。
【0012】
選択された（またいくつかの場合、精緻化された）動きベクトルが、現在のブロックを予測するために使用され得る。エンコーダによって実施される方法においては、現在のブロックの予測は、入力ブロックと比較され、残差が決定され、また残差は、ビットストリームにエンコードされる。デコーダにより実施される方法では、残差は、ビットストリームからデコードされて予測に加えられ、再構成されたブロックを生成し、それは、おそらくフィルタリングの後、表示する(display)ことができる。
【0013】
開示される実施形態は、プロセッサと、本明細書で述べられる方法を実施するように動作可能な命令を記憶する非一時的なコンピュータ可読記憶媒体とを有するエンコーダおよびデコーダをさらに含む。開示される実施形態は、本明細書で述べられる方法のいずれかを用いて生成されたビットストリームを記憶する非一時的なコンピュータ可読記憶媒体をさらに含む。
【発明の効果】
【0014】
複雑性の低いフレームレートアップ変換を提供する。
【図面の簡単な説明】
【0015】
【図1】ブロックベースのビデオエンコーダの機能的なブロック図である。
【図2】ビデオデコーダの機能的なブロック図である。
【図3A】テンプレートマッチング用いるフレームレートアップ変換（ＦＲＵＣ）を示す図である。
【図3B】双方向マッチングを用いるフレームレートアップ変換を示す図である。
【図4】ＪＥＭの実装でＦＲＵＣに対する動き導出プロセスのフロー図である。
【図5】マージモードにおける空間動きベクトル候補の位置を示す図である。
【図6】ＦＲＵＣにおいて使用される動きフィールド補間を示す図である。
【図7】ＭＶクラスタリングがＦＲＵＣに適用後の参照サンプルアクセスの例を示す図である。
【図8】サブＣＵレベル動き探索に対するメモリアクセスの図である。
【図9】いくつかの実施形態によるＣＵレベル／サブＣＵレベル初期動き探索に対する制約された探索範囲を用いたＦＲＵＣ動き探索プロセスのフロー図である。
【図10A】実施形態における探索中心選択法の例であり、多数決ベースの選択を示す図である。
【図10B】実施形態における探索中心選択法の例であり、平均ベースの選択を示す図である。
【図11】制約された探索範囲が、初期ＣＵレベル／サブＣＵレベル動き探索に適用後の例示的実施形態におけるメモリアクセスを示す図である。
【図12】制約された探索範囲が、ＣＵレベル動き精緻化、サブＣＵレベル初期動き探索、ＣＵレベル動き精緻化に適用後の、例示的実施形態におけるＦＲＵＣ探索プロセスのフロー図である。
【図13】統一された探索範囲がＦＲＵＣプロセス全体に適用後の例示的ＦＲＵＣ動き探索プロセスのフロー図である。
【図14】符号化されたビットストリーム構造の例を示す図である。
【図15】例示的な通信システムを示す図である。
【図16】例示的な無線送受信ユニット（ＷＴＲＵ）を示す図である
【発明を実施するための形態】
【0016】
ブロックベースのビデオ符号化
ＨＥＶＣテストモデル（ＨＭ）および共同調査モデル（ＪＥＭ）ソフトウェアは共に、ブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築される。図１は、ブロックベースのハイブリッドビデオ符号化システムのブロック図である。入力ビデオ信号１０２は、ブロックごとに処理される。ＨＥＶＣでは、拡張されたブロックサイズ（符号化ユニット（ＣＵ）と呼ばれる）が、高解像度（１０８０ｐ以上）ビデオ信号を効率的に圧縮するために使用される。ＨＥＶＣでは、ＣＵは、最高で６４×６４画素とすることができる。ＣＵは、予測ユニット（ＰＵ）へとさらに区分することができ、それに対して別々の予測方法が適用される。各入力ビデオブロック（ＭＢまたはＣＵ）に対して、空間予測（１６０）、および／または時間予測（１６２）を実施することができる。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライスにおけるすでに符号化された近傍ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、すでに符号化されたビデオピクチャから再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号において固有の時間的な冗長性を低減する。所与のビデオブロックに対する時間予測信号は、通常、現在のブロックとその参照ブロックの間の動きの量および方向を示す１つまたは複数の動きベクトル（ＭＶ）によって信号送りされる。さらに、複数の参照ピクチャがサポートされる場合（Ｈ．２６４／ＡＶＣまたはＨＥＶＣなどの最近のビデオ符号化規格の場合そうであるが）、各ビデオブロックに対して、その参照ピクチャインデックスがさらに送られ、参照インデックスは、参照ピクチャ記憶装置（１６４）におけるどの参照ピクチャから時間予測信号が来たかを識別するために使用される。空間および／または時間予測の後、エンコーダにおけるモード決定ブロック（１８０）は、例えば、レート－歪み最適化法に基づいて、最適な予測モードを選択する。予測ブロックは、次いで、現在のビデオブロックから減算され（１１６）、予測残差は、変換（１０４）および量子化（１０６）を用いて非相関にされる。量子化された残差係数は、逆量子化（１１０）および逆変換（１１２）されて、再構成された残差を形成し、それは次いで、予測ブロックへと戻して加えられ（１２６）て、再構成されたビデオブロックを形成する。デブロッキングフィルタおよび適応型ループフィルタなどのさらなるループ内フィルタリングが、再構成されたビデオブロックに対して、それが参照ピクチャ記憶装置（１６４）に入る前に適用され（１６６）、将来のビデオブロックを符号化するために使用され得る。出力されるビデオビットストリーム１２０を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数はすべて、エントロピー符号化ユニット（１０８）へと送られ、ビットストリームを形成するようにさらに圧縮され、パックされる。
ＨＥＶＣテストモデル（ＨＭ）および共同調査モデル（ＪＥＭ）ソフトウェアは共に、ブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築される。図１は、ブロックベースのハイブリッドビデオ符号化システムのブロック図である。入力ビデオ信号１０２は、ブロックごとに処理される。ＨＥＶＣでは、拡張されたブロックサイズ（符号化ユニット（ＣＵ）と呼ばれる）が、高解像度（１０８０ｐ以上）ビデオ信号を効率的に圧縮するために使用される。ＨＥＶＣでは、ＣＵは、最高で６４×６４画素とすることができる。ＣＵは、予測ユニット（ＰＵ）へとさらに区分することができ、それに対して別々の予測方法が適用される。各入力ビデオブロック（ＭＢまたはＣＵ）に対して、空間予測（１６０）、および／または時間予測（１６２）を実施することができる。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライスにおけるすでに符号化された近傍ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、すでに符号化されたビデオピクチャから再構成された画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号において固有の時間的な冗長性を低減する。所与のビデオブロックに対する時間予測信号は、通常、現在のブロックとその参照ブロックの間の動きの量および方向を示す１つまたは複数の動きベクトル（ＭＶ）によって信号送りされる。さらに、複数の参照ピクチャがサポートされる場合（Ｈ．２６４／ＡＶＣまたはＨＥＶＣなどの最近のビデオ符号化規格の場合そうであるが）、各ビデオブロックに対して、その参照ピクチャインデックスがさらに送られ、参照インデックスは、参照ピクチャ記憶装置（１６４）におけるどの参照ピクチャから時間予測信号が来たかを識別するために使用される。空間および／または時間予測の後、エンコーダにおけるモード決定ブロック（１８０）は、例えば、レート－歪み最適化法に基づいて、最適な予測モードを選択する。予測ブロックは、次いで、現在のビデオブロックから減算され（１１６）、予測残差は、変換（１０４）および量子化（１０６）を用いて非相関にされる。量子化された残差係数は、逆量子化（１１０）および逆変換（１１２）されて、再構成された残差を形成し、それは次いで、予測ブロックへと戻して加えられ（１２６）て、再構成されたビデオブロックを形成する。デブロッキングフィルタおよび適応型ループフィルタなどのさらなるループ内フィルタリングが、再構成されたビデオブロックに対して、それが参照ピクチャ記憶装置（１６４）に入る前に適用され（１６６）、将来のビデオブロックを符号化するために使用され得る。出力されるビデオビットストリーム１２０を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数はすべて、エントロピー符号化ユニット（１０８）へと送られ、ビットストリームを形成するようにさらに圧縮され、パックされる。
【0017】
図２は、ブロックベースのビデオデコーダのブロック図である。ビデオビットストリーム２０２は、まず、エントロピー復号化ユニット２０８でアンパックされ、エントロピーデコードされる。符号化モードおよび予測情報は、空間予測ユニット２６０（イントラ符号化の場合）、または時間予測ユニット２６２（インター符号化の場合）のいずれかに送られて予測ブロックを形成する。残差変換係数は、逆量子化ユニット２１０および逆変換ユニット２１２に送られて、残差ブロックを再構成する。予測ブロックおよび残差ブロックは、次いで、２２６で共に加算される。再構成されたブロックは、参照ピクチャ記憶装置２６４に記憶される前に、ループ内フィルタリングをさらに通すことができる。参照ピクチャ記憶装置における再構成されたビデオは、表示デバイスを駆動するために送出されるが、同様に、将来のビデオブロックを予測するためにも使用される。
【0018】
ＨＥＶＣでは、動き情報（ＭＶおよび参照ピクチャインデックスを含む）は、エンコーダにより決定され、かつデコーダに明示的に送信される。したがって、インター符号化されたブロックの場合、かなりの量のオーバヘッドが、動きパラメータの符号化に使われる。動き情報のシグナリングのオーバヘッドを節約するために、フレームレートアップ変換（ＦＲＵＣ）と呼ばれる符号化モードが、現在のＪＥＭにおいて、インター符号化に対してサポートされる。このモードがＣＵに対して使用可能である場合、ＭＶと参照ピクチャインデックスの両方は信号送りされず、それに代えて、情報は、テンプレートマッチングまたは双方向マッチング技法のいずれかにより、デコーダ側で導出される。図３Ａ～図３Ｂは、ＦＲＵＣにおいて使用されるＭＶ導出プロセスを示す。図３Ａの例では、現在のピクチャ３０６における現在のＣＵ３０４のテンプレート３０２（上および／または左の隣接サンプル）と、参照ピクチャ３１０における参照ブロックのテンプレート３０８との間で最適な一致を見出すことにより、テンプレートマッチングが使用されて、現在のＣＵのＭＶを導出する。最適な一致は、現在のテンプレートと参照テンプレートの間で、例えば、最低の絶対差分和（ＳＡＤ）など、最低のマッチングコストを達成するＭＶとして選択することができる。図３Ｂは、２つの異なる参照ピクチャにおいて、現在のブロックの動き軌道に沿った２つのブロック３５４、３５６の間の最適な一致を見出すことにより、双方向マッチングが、現在のブロック３５２の動き情報を導出するために使用される。双方向マッチングの動き探索プロセスは、動き軌道に基づいており、したがって、２つの参照ブロック３５４、３５６を指す動きベクトルＭＶ0およびＭＶ1はそれぞれ、現在のピクチャと、２つの参照ピクチャのそれぞれとの間の時間的距離（Ｔ0およびＴ1）に比例すべきである。双方向ＦＲＵＣモードにおいて使用される動きベクトルＭＶ0およびＭＶ1の対を決定するために、動きベクトル候補が調べられる。各候補に対して、動き探索は、リスト０動きベクトル、およびリスト１動きベクトルを別個に使用して実施され、最低のマッチングコスト（例えば、ＳＡＤ）を有する動きベクトルの対が選択される。テンプレートマッチングモードを使用すべきか、それとも双方向マッチングモードを使用すべきかの決定は、レート－歪み（Ｒ－Ｄ）コスト最適化に基づく。現在のＣＵに対するＦＲＵＣモードとして、最小のレート－歪みコストへと導くモードが選択される。
【0019】
テンプレートマッチングモードと双方向マッチングモードの両方の動き導出プロセスは、４つのステップを含む、すなわち、ＣＵレベル動き探索、ＣＵレベル動き精緻化、サブＣＵレベル動き探索、およびサブＣＵレベル動き精緻化である。ＣＵレベルの動き探索では、初期の動き（ＭＶおよび参照ピクチャインデックスを含む）は、テンプレートマッチングまたは双方向マッチングに基づいて、ＣＵ全体に対して導出される。具体的には、ＭＶ候補のリストがまず生成され、最小のマッチングコストを導く候補が、ＣＵに対する開始ＭＶとして選択される。次いで、ＣＵレベル動き精緻化段階において、開始点付近のテンプレートマッチングまたは双方向マッチングに基づく局所的な探索が実施され、最小のマッチングコストを有するＭＶが、ＣＵ全体に対するＭＶとして得られる。その後に、動き情報の粒度と精度の両方が、現在のＣＵを複数のサブＣＵに分割することにより、かつ開始探索点としてＣＵレベルから導出されたＭＶを有する各サブＣＵの動き情報を導出することにより、サブＣＵレベル動き探索段階、およびサブＣＵレベル動き精緻化段階においてさらに精緻化される。図４は、現在のＪＥＭにおけるＦＲＵＣモードの動き導出プロセスのフロー図である。
【0020】
フレームレートアップ変換
ＣＵレベルの動き探索
ＣＵレベルの動き探索においては、現在のＣＵの初期ＭＶを導出するために、候補ベースの探索方法が適用される。それは、テンプレートマッチングまたは双方向マッチングのコスト測定（現在のＣＵに適用されるＦＲＵＣモードに応じて）が計算される一意のＭＶ候補のセットを選択することにより行われる。コストを最小化するＭＶ候補が、ＣＵ全体の初期ＭＶとして選択される。具体的には、以下で論じられるＭＶ候補が、ＣＵレベルの動き探索で評価される。
ＣＵレベルの動き探索
ＣＵレベルの動き探索においては、現在のＣＵの初期ＭＶを導出するために、候補ベースの探索方法が適用される。それは、テンプレートマッチングまたは双方向マッチングのコスト測定（現在のＣＵに適用されるＦＲＵＣモードに応じて）が計算される一意のＭＶ候補のセットを選択することにより行われる。コストを最小化するＭＶ候補が、ＣＵ全体の初期ＭＶとして選択される。具体的には、以下で論じられるＭＶ候補が、ＣＵレベルの動き探索で評価される。
【0021】
１）ＦＲＵＣが高度動きベクトル予測（ＡＭＶＰ）モードにおいて現在のＣＵのＭＶを予測するために適用されたとき、ＪＥＭにおけるＡＭＶＰから導出されるＭＶ予測子、
２）５個の空間候補Ａ１、Ｂ１、Ｂ０、Ａ０、およびＢ２（図５で示される）と、時間的な動きベクトル予測（ＴＭＶＰ）により時間的に隣接するピクチャにおいて同一位置に配置（collocated）されたブロックのＭＶから導出された時間的な候補とを含む通常のマージ候補のＭＶ、
３）セクション「ピクチャレベルのＭＶフィールド補間」において述べられるピクチャレベルのＭＶフィールド補間プロセスにより生成された位置（０、０）、（Ｗ／２、０）、（０、Ｈ／２）、および（Ｗ／２、Ｈ／２）における４個の補間されたＭＶ、式中、ＷおよびＦは、現在のＣＵの幅および高さである、また
４）現在のＣＵの上および左隣りのＭＶ。
２）５個の空間候補Ａ１、Ｂ１、Ｂ０、Ａ０、およびＢ２（図５で示される）と、時間的な動きベクトル予測（ＴＭＶＰ）により時間的に隣接するピクチャにおいて同一位置に配置（collocated）されたブロックのＭＶから導出された時間的な候補とを含む通常のマージ候補のＭＶ、
３）セクション「ピクチャレベルのＭＶフィールド補間」において述べられるピクチャレベルのＭＶフィールド補間プロセスにより生成された位置（０、０）、（Ｗ／２、０）、（０、Ｈ／２）、および（Ｗ／２、Ｈ／２）における４個の補間されたＭＶ、式中、ＷおよびＦは、現在のＣＵの幅および高さである、また
４）現在のＣＵの上および左隣りのＭＶ。
【0022】
さらにＣＵレベルでＭＶ候補リストを生成するとき、プル－ニング演算が実施され、したがって、ＭＶ候補は、それが冗長である場合（すなわち、ＭＶ候補が、リスト中の既存のＭＶ候補のものと同じ動きを有する場合）、ＭＶ候補に加えられることはない。候補リスト生成するためのこのような技法は、以下で述べるステップ９０４、１２０４、および１３０４で使用することができる。
【0023】
さらに、双方向マッチングモードが適用される場合、各有効な候補のＭＶは、２つのＭＶが現在のＣＵの同じ動き軌道上にあるという仮定に基づき、ＭＶの対を生成するための入力として使用される。例えば、１つの有効なＭＶは、参照リストａ（ａ＝０、１）において、（ＭＶa、ｒｅｆa）である。次いで、ｒｅｆaおよびｒｅｆbが、現在のピクチャに対して時間的に対称であるように、その対になった双方向ＭＶの参照ピクチャｒｅｆbが他の参照リストｂにおいて見出される。ｒｅｆaに対称な参照リストｂにおいて、このような参照ピクチャｒｅｆbがない場合、ｒｅｆbは、ｒｅｆaとは異なる参照ピクチャを選択することにより決定され、また現在のピクチャに対するその時間的な距離は、リストＢにおいて最小化される。ｒｅｆbが決定された後、以下のように、現在のピクチャとｒｅｆaおよびｒｅｆbとの間の時間的距離に従ってＭＶaをスケーリングすることによって、ＭＶbが導出される、
【0024】
【数1】
【0025】
式中、
【0026】
【数2】
【0027】
および
【0028】
【数3】
【0029】
は、ＭＶaおよびＭＶbの水平および垂直な動き成分であり、τaおよびτbは、現在のピクチャに対する参照ピクチャｒｅｆaおよびｒｅｆbの時間的な距離である。既存の設計に基づいて、最高で１５ＭＶを、ＣＵレベルの動き探索段階に含めることができる。
【0030】
サブＣＵレベルの動き探索
ＣＵレベルの動き探索においては、対応するＭＶは、ＣＵレベルで導出される（導出されたＭＶは、ＣＵ全体の動きを表すために使用される）。しかし、このような粒度は、現在のＣＵが、別々の動きに関連付けられた異なるオブジェクトに対応するエリアをカバーできると仮定すると、十分良好であるとはいえない可能性がある。したがって、導出されるＭＶの精度を向上させるために、ＦＲＵＣモード（テンプレートマッチングまたは双方向マッチングのいずれか）により符号化された各ＣＵは、Ｍ×ＭサブＣＵへとさらに分割され、各サブＣＵに対する個々のＭＶは、別個に導出される。Ｍの値は、式２で計算され、式中、ＤはＪＥＭにおいては３に設定される事前定義の分割深さ制約である。
ＣＵレベルの動き探索においては、対応するＭＶは、ＣＵレベルで導出される（導出されたＭＶは、ＣＵ全体の動きを表すために使用される）。しかし、このような粒度は、現在のＣＵが、別々の動きに関連付けられた異なるオブジェクトに対応するエリアをカバーできると仮定すると、十分良好であるとはいえない可能性がある。したがって、導出されるＭＶの精度を向上させるために、ＦＲＵＣモード（テンプレートマッチングまたは双方向マッチングのいずれか）により符号化された各ＣＵは、Ｍ×ＭサブＣＵへとさらに分割され、各サブＣＵに対する個々のＭＶは、別個に導出される。Ｍの値は、式２で計算され、式中、ＤはＪＥＭにおいては３に設定される事前定義の分割深さ制約である。
【0031】
【数4】
【0032】
さらにＣＵレベルの動き探索と同様に、各サブＣＵのＭＶが、ＭＶ候補のリストをまず生成し、かつサブＣＵのＭＶとしてマッチングコストを最小化するＭＶ候補を選択することにより導出される。いくつかの実施形態では、サブＣＵレベルにおけるＭＶ候補リストは、
１）ＣＵレベルの動き探索で決定されたＭＶ、
２）上、左、上部左、および上部右の空間で隣接するＣＵからのＭＶ、
３）時間的な参照ピクチャから照合されたＭＶのスケーリングされたバージョン、
４）高度時間動きベクトル予測（ＡＴＭＶＰ）により導出された候補から取得された最高４ＭＶ、および
５）空間－時間動きベクトル予測（ＳＴＭＶＰ）により導出された候補から取得された最高４ＭＶ
を含む。
１）ＣＵレベルの動き探索で決定されたＭＶ、
２）上、左、上部左、および上部右の空間で隣接するＣＵからのＭＶ、
３）時間的な参照ピクチャから照合されたＭＶのスケーリングされたバージョン、
４）高度時間動きベクトル予測（ＡＴＭＶＰ）により導出された候補から取得された最高４ＭＶ、および
５）空間－時間動きベクトル予測（ＳＴＭＶＰ）により導出された候補から取得された最高４ＭＶ
を含む。
【0033】
さらに、サブＣＵ動き探索中に、特定のＭＶ候補を、そのＭＶ候補が、開始ＣＵレベルＭＶにより示されたものと同じ参照ピクチャを指し示す場合に限って、ＭＶ候補リストの中に含めることができるが、そうではない場合、そのＭＶ候補は、マッチングコスト計算から除外される。こうすることは、ＣＵの内側のすべてのサブＣＵのＭＶが同じ参照ピクチャ（開始ＣＵレベルＭＶに関連付けられた参照ピクチャ）を指し示す(point)ため、ＦＲＵＣをハードウェアで実装する場合、メモリ帯域幅消費を低減する可能性がある。したがって、これらの参照ピクチャは、サブＣＵレベルにおいて最適なＭＶを見出すためにアクセスされるに過ぎない。既存の設計に基づき、最高で１７ＭＶを、サブＣＵレベル動き探索段階において含めることができる。サブＣＵレベルのＭＶ候補リスト生成に対するこのような技法は、以下で述べるステップ９１８、１２１８、および１３１８で使用することができる。
【0034】
ピクチャレベルＭＶフィールド補間
ＦＲＵＣが使用可能である場合、各インターピクチャが符号化される前に、一方向ＭＶ投影（ｐｒｏｊｅｃｔｉｏｎ）に基づいて、ピクチャ内のすべての４×４ブロックに対して、補間された動きフィールドが生成される。次いで、補間されたＭＶは、ＣＵレベル動き探索において、最適なＭＶを探索するために使用されることになる。図６は、現在のピクチャにおいて、補間されたＭＶを生成するプロセスを示す。具体的には、現在のピクチャ（ｃｕｒＰｉｃ）の両方の参照ピクチャリストにおいて、各参照ピクチャ（ｃｕｒＲｅｆＰｉｃ）の動きフィールドが、４×４ブロックレベルにおいて調べられる。参照ピクチャにおける各４×４ブロックに対して、そのＭＶが現在のブロックにおける４×４ブロックを通過し、かつ４×４ブロックが補間されたＭＶに割り当てられていない場合、４×４参照ブロックのＭＶは、現在のピクチャと参照ピクチャの間の時間的距離（ＴＤ0）と、参照ピクチャとそれ自体の参照ピクチャの間の時間的距離（ＴＤ1）との間の比に従って、現在のピクチャに対してスケーリングされる。またスケーリングされたＭＶは、現在のピクチャの４×４ブロックに割り当てられることになる。４×４ブロックに割り当てられるスケーリングされたＭＶが存在しない場合、そのブロックに対する動きは、補間された動きフィールドにおいて利用可能ではないとマーク付けされる。
ＦＲＵＣが使用可能である場合、各インターピクチャが符号化される前に、一方向ＭＶ投影（ｐｒｏｊｅｃｔｉｏｎ）に基づいて、ピクチャ内のすべての４×４ブロックに対して、補間された動きフィールドが生成される。次いで、補間されたＭＶは、ＣＵレベル動き探索において、最適なＭＶを探索するために使用されることになる。図６は、現在のピクチャにおいて、補間されたＭＶを生成するプロセスを示す。具体的には、現在のピクチャ（ｃｕｒＰｉｃ）の両方の参照ピクチャリストにおいて、各参照ピクチャ（ｃｕｒＲｅｆＰｉｃ）の動きフィールドが、４×４ブロックレベルにおいて調べられる。参照ピクチャにおける各４×４ブロックに対して、そのＭＶが現在のブロックにおける４×４ブロックを通過し、かつ４×４ブロックが補間されたＭＶに割り当てられていない場合、４×４参照ブロックのＭＶは、現在のピクチャと参照ピクチャの間の時間的距離（ＴＤ0）と、参照ピクチャとそれ自体の参照ピクチャの間の時間的距離（ＴＤ1）との間の比に従って、現在のピクチャに対してスケーリングされる。またスケーリングされたＭＶは、現在のピクチャの４×４ブロックに割り当てられることになる。４×４ブロックに割り当てられるスケーリングされたＭＶが存在しない場合、そのブロックに対する動きは、補間された動きフィールドにおいて利用可能ではないとマーク付けされる。
【0035】
ＣＵレベルおよびサブＣＵレベル動き精緻化
探索候補の限定された数に起因して、ＣＵレベル動き探索およびサブＣＵレベル動き探索から導出されたＭＶは、常に、現在のＣＵの真の動きを表すのに十分正確ではない可能性があり、したがって、動き補償予測の効率を損なうおそれがある。導出されたＭＶの精度をさらに向上させるために、ＣＵレベル動き探索およびサブＣＵレベル動き探索の後、ＭＶ精緻化プロセスがさらに適用される。ＭＶ精緻化は、テンプレートマッチングまたは双方向マッチングのコスト測定を最小化することによるパターンベースの局所的なＭＶ探索プロセスである。具体的には、２つの探索パターンが、現在のＪＥＭにおいてサポートされる、すなわち、それぞれ、ＣＵレベル動き精緻化におけるダイヤモンド探索パターンと、サブＣＵレベル動き精緻化における横断探索パターンとである。ＣＵレベル動き精緻化とサブＣＵレベル動き精緻化の両方に対して、ＭＶ探索は、まず４分の１のサンプル精度で、その後に、８分の１のサンプル精度でさらなる局所的な動き精緻化（最適な４分の１サンプルＭＶ付近で）行われる。さらにＭＶが、小部分のサンプル位置を指す場合、ＨＥＶＣにおける８タップの補間フィルタを用いるのではなく、符号化／復号化の複雑さを低減させるために、テンプレートマッチングと双方向マッチングモードの両方に対して、双一次補間フィルタが使用される。さらに、ＣＵレベル動き精緻化とサブＣＵレベル動き精緻化の両方において、探索中心が事前定義の探索範囲（現在のＪＥＭにおいて８整数ルマサンプルに等しく設定される）において更新されなくなるまで精緻化探索が繰り返されるという意味で、探索プロセスは制限されないことも述べられるべきである。
探索候補の限定された数に起因して、ＣＵレベル動き探索およびサブＣＵレベル動き探索から導出されたＭＶは、常に、現在のＣＵの真の動きを表すのに十分正確ではない可能性があり、したがって、動き補償予測の効率を損なうおそれがある。導出されたＭＶの精度をさらに向上させるために、ＣＵレベル動き探索およびサブＣＵレベル動き探索の後、ＭＶ精緻化プロセスがさらに適用される。ＭＶ精緻化は、テンプレートマッチングまたは双方向マッチングのコスト測定を最小化することによるパターンベースの局所的なＭＶ探索プロセスである。具体的には、２つの探索パターンが、現在のＪＥＭにおいてサポートされる、すなわち、それぞれ、ＣＵレベル動き精緻化におけるダイヤモンド探索パターンと、サブＣＵレベル動き精緻化における横断探索パターンとである。ＣＵレベル動き精緻化とサブＣＵレベル動き精緻化の両方に対して、ＭＶ探索は、まず４分の１のサンプル精度で、その後に、８分の１のサンプル精度でさらなる局所的な動き精緻化（最適な４分の１サンプルＭＶ付近で）行われる。さらにＭＶが、小部分のサンプル位置を指す場合、ＨＥＶＣにおける８タップの補間フィルタを用いるのではなく、符号化／復号化の複雑さを低減させるために、テンプレートマッチングと双方向マッチングモードの両方に対して、双一次補間フィルタが使用される。さらに、ＣＵレベル動き精緻化とサブＣＵレベル動き精緻化の両方において、探索中心が事前定義の探索範囲（現在のＪＥＭにおいて８整数ルマサンプルに等しく設定される）において更新されなくなるまで精緻化探索が繰り返されるという意味で、探索プロセスは制限されないことも述べられるべきである。
【0036】
ＭＶクラスタリングに基づくＦＲＵＣ ＣＵ／サブＣＵ動き探索
上記で述べたように、既存のＦＲＵＣにおけるＣＵレベルの動き探索とサブＣＵレベルの動き探索の両方において、一意のＭＶ候補のセットから最適なＭＶが選択される。例えば、ＣＵレベルの動き探索およびサブＣＵレベルの動き探索のそれぞれで調べられる必要のある最高で１５および１７ＭＶ候補が存在する。これは、各ＭＶ候補に対して、予測信号を生成するために、動き補償予測が複数回実施されるので、エンコーダとデコーダの両方において、大幅な複雑さの増加を生ずる。さらに、コスト測定を計算するために、時間的な参照ピクチャから参照サンプルを取り込むことに起因して、このような候補ベースの探索プロセスは、ハードウェア実装に対してメモリ帯域幅を大幅に増加させる。このようなメモリ帯域幅問題は、ＭＶ候補が、異なる参照ピクチャから得られる可能性のあるＣＵレベル動き探索に対して、より重大なものになる可能性がある。したがって、エンコーダ／デコーダは、高い頻度で、メモリアクセスを、異なる参照ピクチャに切り換えることになる。こうすることは、キャッシュ読取りミスの可能性を増加させるおそれがあり、したがって、外部のメモリアクセスを大幅に増加させることになる。
上記で述べたように、既存のＦＲＵＣにおけるＣＵレベルの動き探索とサブＣＵレベルの動き探索の両方において、一意のＭＶ候補のセットから最適なＭＶが選択される。例えば、ＣＵレベルの動き探索およびサブＣＵレベルの動き探索のそれぞれで調べられる必要のある最高で１５および１７ＭＶ候補が存在する。これは、各ＭＶ候補に対して、予測信号を生成するために、動き補償予測が複数回実施されるので、エンコーダとデコーダの両方において、大幅な複雑さの増加を生ずる。さらに、コスト測定を計算するために、時間的な参照ピクチャから参照サンプルを取り込むことに起因して、このような候補ベースの探索プロセスは、ハードウェア実装に対してメモリ帯域幅を大幅に増加させる。このようなメモリ帯域幅問題は、ＭＶ候補が、異なる参照ピクチャから得られる可能性のあるＣＵレベル動き探索に対して、より重大なものになる可能性がある。したがって、エンコーダ／デコーダは、高い頻度で、メモリアクセスを、異なる参照ピクチャに切り換えることになる。こうすることは、キャッシュ読取りミスの可能性を増加させるおそれがあり、したがって、外部のメモリアクセスを大幅に増加させることになる。
【0037】
複雑さを低減させて、メモリ帯域幅利用を向上させるために、ＣＵレベルとサブＣＵレベルの両方における動き探索プロセスに対して、ＭＶクラスタリング法が提案されてきた。具体的には、提案される方法は３つのステップを含む、すなわち、１）参照ピクチャ選択、２）ＭＶスケーリングおよびプル－ニング、ならびに３）ＭＶクラスタリングである。
【0038】
参照ピクチャ選択
複数の参照ピクチャへのメモリアクセスの頻繁な切換えを回避するために、ＭＶクラスタリングベースの動き探索においては、ＣＵレベルおよびサブＣＵレベルの動き探索において、所与の参照ピクチャリストに対して、単一の参照ピクチャが選択される。参照ピクチャを選択するために、候補リストにおけるＭＶ候補によって最も高い頻度で使用されている所与の参照ピクチャリストに対する参照ピクチャインデックスを選択するために、多数決原理が適用される。より具体的には、参照ピクチャリストＬＸ（Ｘ＝０、１）において、Ｋ個のＭＶ候補とＭ個の参照ピクチャが存在すると仮定する。さらに、Ｋ個のＭＶ候補は、ＬＸにおけるインデックスｒ0、ｒ1、・・・、ｒK-1を有する参照ピクチャの集合体に関連付けられ、式中、ｒi∈［０、Ｍ－１］であり、選択された参照ピクチャインデックスは、
複数の参照ピクチャへのメモリアクセスの頻繁な切換えを回避するために、ＭＶクラスタリングベースの動き探索においては、ＣＵレベルおよびサブＣＵレベルの動き探索において、所与の参照ピクチャリストに対して、単一の参照ピクチャが選択される。参照ピクチャを選択するために、候補リストにおけるＭＶ候補によって最も高い頻度で使用されている所与の参照ピクチャリストに対する参照ピクチャインデックスを選択するために、多数決原理が適用される。より具体的には、参照ピクチャリストＬＸ（Ｘ＝０、１）において、Ｋ個のＭＶ候補とＭ個の参照ピクチャが存在すると仮定する。さらに、Ｋ個のＭＶ候補は、ＬＸにおけるインデックスｒ0、ｒ1、・・・、ｒK-1を有する参照ピクチャの集合体に関連付けられ、式中、ｒi∈［０、Ｍ－１］であり、選択された参照ピクチャインデックスは、
【0039】
【数5】
【0040】
として決定され、式中、１n（ｒi）は、
【0041】
【数6】
【0042】
と定義される指示関数（indicator function）である。
【0043】
さらに、上記の参照ピクチャ選択法は、所与の参照ピクチャユニットリスト（すなわち、Ｌ０またはＬ１）に対して最適な参照ピクチャインデックスを決定するために使用されるので、それらは、一方向ベースの動き導出（例えば、テンプレートマッチングモード）に直接適用することができ、その場合、Ｌ０およびＬ１におけるＭＶは、個々に導出される。双方向マッチングモードが適用される場合、ＭＶは、２つのＭＶが、現在のブロックの同じ動き軌道上にあるという仮定に基づいて対で導出される。したがって、双方向マッチングモードに対して提案される参照ピクチャ選択法を適用する場合、Ｌ０およびＬ１において選択された参照ピクチャが、双方向マッチングを可能にするための条件を確実に満たすように、さらなる制約を適用することもできる（２つの参照ピクチャは、現在のピクチャに対して時間的に対称である、または現在のピクチャへの時間的な距離は、参照ピクチャリストにおいて最小化される）。このような参照ピクチャ選択法は、以下で述べるステップ９０６、１２０６、および１３０６で使用され得る。
【0044】
ＭＶスケーリングおよびプル－ニング
参照ピクチャインデックスが決定された後、ＭＶ候補リストは、初期のＭＶ候補を、選択された参照ピクチャインデックスにより示されたものと同じ参照ピクチャへとスケーリングすることによって更新される。一般性を失うことなく、参照ピクチャリストＬ０は、ＭＶスケーリングプロセスを示すための例として使用される。例えば、ｉ番目のＭＶ候補ＭＶiが与えられたとき、その元のＬ０参照ピクチャインデックス（すなわち、
参照ピクチャインデックスが決定された後、ＭＶ候補リストは、初期のＭＶ候補を、選択された参照ピクチャインデックスにより示されたものと同じ参照ピクチャへとスケーリングすることによって更新される。一般性を失うことなく、参照ピクチャリストＬ０は、ＭＶスケーリングプロセスを示すための例として使用される。例えば、ｉ番目のＭＶ候補ＭＶiが与えられたとき、その元のＬ０参照ピクチャインデックス（すなわち、
【0045】
【数7】
【0046】
）が、選択されたＬ０参照ピクチャインデックス
【0047】
【数8】
【0048】
に等しい場合、更新されたＭＶ候補ＭＶi’は、直接ＭＶiに直接設定され、そうではない場合、（
【0049】
【数9】
【0050】
が
【0051】
【数10】
【0052】
に等しくない）、ＭＶi’は、
【0053】
【数11】
【0054】
として計算されるように、ＭＶiのスケーリングされたバージョンになるように設定され、式中、τiは、
【0055】
【数12】
【0056】
により示される参照ピクチャと、現在のピクチャの間の時間的距離であり、τ*は、
【0057】
【数13】
【0058】
により示される参照ピクチャと、現在のピクチャの間の時間的距離である。さらに、ＭＶスケーリング演算の後、異なるＭＶ候補の値が正確に同じ値になり得るので（例えば、精度損失により）、一意のＭＶ候補だけが、最終リストに維持されるように、何らかの複製されたエントリを除去するために、プル－ニングが実施される。
【0059】
ＭＶクラスタリング
初期の動き探索の複雑さをさらに低減するために、ＣＵレベル動き探索とサブＣＵレベル動き探索の両方においてコスト測定が計算されるＭＶ候補の全体数を低減するように、ＭＶクラスタリング法が使用される。概して、ＭＶクラスタリング法は、同じグループに含まれるすべてのＭＶ候補の平均距離が最小化され得るように、候補リストにおるＭＶをＬ個のグループに分割することを目的とし、ここで、Ｌは、最終的な候補リストにおけるＭＶ要素の数である。参照ピクチャ選択およびＭＶスケーリング／プル－ニングの後、ＭＶ候補リストにおけるＭＶを｛ＭＶ0’、ＭＶ1’、・・・、ＭＶN-1’｝と表す、ここで、Ｎは、ＭＶ候補リストにおける要素の合計数である。提案されるＭＶクラスタリング法の目標は、クラスタ内距離を最小化するために、Ｎ個のＭＶをＬ個（Ｌ≦Ｎ）のグループＳ＝｛Ｓ0、Ｓ1、・・・、ＳL-1｝へと区分することであり、
初期の動き探索の複雑さをさらに低減するために、ＣＵレベル動き探索とサブＣＵレベル動き探索の両方においてコスト測定が計算されるＭＶ候補の全体数を低減するように、ＭＶクラスタリング法が使用される。概して、ＭＶクラスタリング法は、同じグループに含まれるすべてのＭＶ候補の平均距離が最小化され得るように、候補リストにおるＭＶをＬ個のグループに分割することを目的とし、ここで、Ｌは、最終的な候補リストにおけるＭＶ要素の数である。参照ピクチャ選択およびＭＶスケーリング／プル－ニングの後、ＭＶ候補リストにおけるＭＶを｛ＭＶ0’、ＭＶ1’、・・・、ＭＶN-1’｝と表す、ここで、Ｎは、ＭＶ候補リストにおける要素の合計数である。提案されるＭＶクラスタリング法の目標は、クラスタ内距離を最小化するために、Ｎ個のＭＶをＬ個（Ｌ≦Ｎ）のグループＳ＝｛Ｓ0、Ｓ1、・・・、ＳL-1｝へと区分することであり、
【0060】
【数14】
【0061】
として公式化され、式中、μiは、Ｓiの重心である。式６におけるクラスタリング最適化問題を解くために、古典的なｋ平均精緻化アルゴリズム（Ｌｌｏｙｄのアルゴリズムとも呼ばれる）を、初期の候補リストにおけるＭＶをクラスタ化するために適用することができる。具体的には、アルゴリズムは、すべてのＭＶ候補を通して行う場合、交互に以下の２つのステップを繰り返すことにより進行する。
【0062】
１）割当てステップ：各ＭＶクラスタの重心に対するＭＶ候補の距離を計算し、最小の距離を生ずるクラスタを見出す。最適な距離が事前定義の距離閾値よりも小さい場合、ＭＶ候補はクラスタへと追加され、そうではない場合、新しいクラスタが作成されて、ＭＶ候補はその新しいクラスタに追加される。
【0063】
２）更新ステップ：新しいＭＶ候補がクラスタに追加されたとき、次に示されるように、新しい平均を、クラスタ内のすべてのＭＶ候補（新規に追加されたものも含む）の重心になるように更新する、
【0064】
【数15】
【0065】
式中、
【0066】
【数16】
【0067】
は、ｔ番目のクラスタリング反復におけるＭＶグループＳiの要素数を表し、
【0068】
【数17】
【0069】
は、Ｓiの更新された重心を表す。
【0070】
導出されたＭＶクラスタが得られると、得られたクラスタの重心のＭＶが、コスト測定を比較するための最終的なＭＶ候補として使用されて、ＣＵレベルおよびサブＣＵレベルにおける初期ＭＶを導出することができる。いくつかの実施形態では、割当てステップおよび更新ステップは、初期ＭＶ候補のそれぞれに対して１回実施される。このような一実施形態では、第１の動きベクトル候補は、第１のクラスタの重心として最初に設定される。第２の動きベクトル候補が、その第１の重心から閾値距離未満である場合、第２の動きベクトル候補は、第１のクラスタに加えられ、第１のクラスタの重心が再計算される。そうではない場合、その重心として第２の動きベクトルを有する第２のクラスタが生成される。プロセスは、各後続する候補動きベクトルが、最も近い重心を有する既存のクラスタに割り当てられる（その後に重心は更新される）か、新しいクラスタを生成するために使用されるかのいずれかで進行する。候補ＭＶは、プロセスが、エンコーダおよびデコーダ側において、確実に同じクラスタリング結果を与えるように、所定の順序で処理することができる。このようなクラスタリング法は、以下で述べられるステップ９０８、９２０、１２０８、１２２０、１３０８、および１３２０において使用され得る。
【0071】
さらなる詳細および代替的クラスタリング法は、２０１７年１２月１５日に出願された「Ｆｒａｍｅ Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ ｗｉｔｈ Ｒｅｄｕｃｅｄ Ｃｏｍｐｌｅｘｉｔｙ」と題する米国特許仮出願第６２／５９９，２３８号明細書に記載のように実施することができる。
【0072】
いくつかの実施形態で対処される問題
上記で述べられたように、クラスタリングベースの動き探索は、初期のＭＶ候補をいくつかのセットへとグループ化し、各ＭＶグループに対して１つの主ＭＶ（例えば、ＭＶ重心）を決定するだけである。このように、コスト測定に対してテストされるＭＶ候補の合計数を低減させることができる。ＭＶクラスタリング法は、ＦＲＵＣ動き導出（ＣＵレベルとサブＣＵレベルの両方で）の複雑さを効率的に低減することができるが、既存のＦＲＵＣ設計におけるいくつかの側面が、まだ実際のエンコーダ／デコーダのハードウェアにおいて実施されるのを困難にしている。具体的には、現在のＦＲＵＣにおける以下の複雑性問題が、本開示において識別される。
上記で述べられたように、クラスタリングベースの動き探索は、初期のＭＶ候補をいくつかのセットへとグループ化し、各ＭＶグループに対して１つの主ＭＶ（例えば、ＭＶ重心）を決定するだけである。このように、コスト測定に対してテストされるＭＶ候補の合計数を低減させることができる。ＭＶクラスタリング法は、ＦＲＵＣ動き導出（ＣＵレベルとサブＣＵレベルの両方で）の複雑さを効率的に低減することができるが、既存のＦＲＵＣ設計におけるいくつかの側面が、まだ実際のエンコーダ／デコーダのハードウェアにおいて実施されるのを困難にしている。具体的には、現在のＦＲＵＣにおける以下の複雑性問題が、本開示において識別される。
【0073】
１つの問題は、クラスタリングベースの動き探索の開始時において、初期候補リストにおけるＭＶの参照ピクチャインデックスに基づき、各参照ピクチャリストに対して最適な参照ピクチャを決定するように、参照ピクチャ選択が適用されることである（ＣＵレベルまたはサブＣＵレベルにおいて）。異なる参照ピクチャに対するメモリアクセスを高い頻度で切り換える必要のあるＭＶ探索法とは異なり、参照ピクチャ選択は、すべてのＭＶ候補を、選択された参照ピクチャ（Ｌ０とＬ１の両方における）へとスケーリングする。したがって、ＭＶクラスタリングプロセスへと送られるすべてのＭＶ候補は、同じ参照ピクチャに関連付けられる。しかし、ＭＶクラスタリング法は、クラスタ内距離を最小化することにより、初期候補リストにおけるＭＶをグループ化する。したがって、初期候補リストが特有の特性を有するＭＶからなる場合、多数のクラスタが生成されることになり、それらのクラスタの重心は、互いに大きく離れる可能性がある。このような場合、エンコーダ／デコーダは、メモリアクセスを選択された参照ピクチャ内の様々な領域に高い頻度で切り換える。こうすることは、キャッシュ読取りミスを生ずる可能性を高めるおそれがあり、したがって、外部メモリアクセスの大幅な増加を生ずることになり得る。図７は、ＭＶクラスタリングが、ＦＲＵＣ ＣＵ／サブＣＵレベル動き初期探索に適用された後における、メモリアクセス帯域幅を示す一例を示している。図７の例では、ＭＶクラスタリングの後、合計５個の特有の主ＭＶ候補（ＭＶクラスタの重心）が存在している。これらのＭＶ候補の差分特性に起因して、現在のＣＵ／サブＣＵの初期ＭＶを導出するために、選択された参照ピクチャに対して５回の別々のメモリアクセスを実施する。こうすることは、実際のエンコーダ／デコーダ実装において、大幅なメモリ帯域幅が必要になり得る。
【0074】
各ＦＲＵＣ ＣＵ（テンプレートマッチングまたは双方向マッチング）に対して、向上させたＭＶ精度のために、それ自体の動きをそれぞれが導出できる複数のサブＣＵへとさらに分割できることから別の問題が生ずる。加えて、開始点としてサブＣＵレベル初期探索で決定されたＭＶを用いることにより、以下の各サブＣＵのＭＶ精緻化が実施される。各サブＣＵのＭＶ精緻化は、対応する開始点付近の事前定義の探索ウィンドウに制限されるが（例えば、８整数ルマサンプル）、ＣＵの内部のサブＣＵの初期ＭＶは、拘束されないので、全体のサブＣＵレベル動き探索の探索範囲は制限されない。図８は、サブＣＵレベル動き探索段階で行われるメモリアクセスプロセスを示す例を示しており、ここで、現在のＣＵは、４個のサブＣＵへと分割され、破線の正方形が、各サブＣＵに対して対応する局所的な探索ウィンドウを囲む（例えば、開始ＭＶからの８整数ルマサンプル）。図８から分かるように、各サブＣＵのそれぞれの探索開始点を設定した後、参照ピクチャにおける異なるエリアのアクセスを高い頻度で切り替える（図８における４つの異なるメモリアクセス）。このような設計はまた、実務上、エンコーダ／デコーダのハードウェアに対して、大幅なメモリ帯域幅使用量を要求する可能性がある。
【0075】
さらなる問題は、ＦＲＵＣ動き精緻化（ＣＵレベル動き精緻化、またはサブＣＵレベル動き精緻化）に関し、それは、初期ＭＶから開始するパターンベースの動き探索（例えば、ダイヤモンド形状探索および横断形状探索）を繰り返して反復することにより、導出されるＭＶの精度を向上させるための局所的なＭＶ探索プロセスである。ＦＲＵＣ動き精緻化に対して行われる反復の最大値は、既存の設計では指定されていない。言い換えると、探索中心が、２つの連続する探索反復が変化しないで維持される限り、精緻化プロセスは継続することになる。デコードされたビットストリームの解析に基づき、統計は、探索の反復数を、最高で約１００回とすることができることを示している。各ＦＲＵＣ ＣＵの計算の複雑さに制限がないので、このような設計は、実際のハードウェア実装に適切とはいえない。ＦＲＵＣが、現在のブロックの動き情報を導出するために、近傍の再構成されたサンプルを使用するものとすると、このような制約のない動き探索プロセスは、実際のエンコーダ／デコーダハードウェアの実装に対して、並列な処理機能および複雑なパイプライン設計を低減することになる。
【0076】
これらの問題に対処するために、本開示で提案される様々な方法は、ＦＲＵＣの複雑さの平均と最悪の場合の両方を低減するように動作する。本明細書で述べられる様々な実施形態は以下の態様を含む。いくつかの実施形態では、方法は、様々なＦＲＵＣ動き探索段階において、最適なＭＶを導出するために探索範囲を制約するように提供される。例示的な方法は、ＦＲＵＣに関連する動き探索プロセスを統一された探索領域において行うことができ、したがって、外部メモリアクセスの合計数は、最小化することができる。いくつかの実施形態では、ＦＲＵＣ動き精緻化プロセスにおいて実施される最大の探索反復を限定し、かつＭＶクラスタリングにより生成される主ＭＶ候補の合計数を限定する制限が提案される。このような実施形態は、ＦＲＵＣの最悪の場合の複雑さを低減することを目的としている。
【0077】
制約された探索範囲を用いるＦＲＵＣ動き探索
上記で指摘したように、例えば、ＭＶクラスタリングの後の主ＭＶ候補、および初期サブＣＵレベル動き探索の後の各サブＣＵの初期ＭＶなど、複数の初期ＭＶ候補が、様々なＦＲＵＣ動き探索プロセスで生成され得る。これらの初期ＭＶは、大きな距離だけ離れている可能性があり、現在のＣＵ／サブＣＵに対する最適なＭＶを導出するためには、対応する参照ピクチャに対する複数の外部メモリアクセスが必要になり得る。これは、ハードウェアのコーデック実装を行うために、大幅なメモリ帯域幅増加を生ずるおそれがある。このようなメモリ帯域幅問題に対処するために、以下では、所与のＦＲＵＣ動き探索に必要なすべての参照サンプルが、外部メモリへの１回のアクセスにより取得され得るように、様々なＦＲＵＣ動き探索段階において、制約された探索範囲が提案される。
上記で指摘したように、例えば、ＭＶクラスタリングの後の主ＭＶ候補、および初期サブＣＵレベル動き探索の後の各サブＣＵの初期ＭＶなど、複数の初期ＭＶ候補が、様々なＦＲＵＣ動き探索プロセスで生成され得る。これらの初期ＭＶは、大きな距離だけ離れている可能性があり、現在のＣＵ／サブＣＵに対する最適なＭＶを導出するためには、対応する参照ピクチャに対する複数の外部メモリアクセスが必要になり得る。これは、ハードウェアのコーデック実装を行うために、大幅なメモリ帯域幅増加を生ずるおそれがある。このようなメモリ帯域幅問題に対処するために、以下では、所与のＦＲＵＣ動き探索に必要なすべての参照サンプルが、外部メモリへの１回のアクセスにより取得され得るように、様々なＦＲＵＣ動き探索段階において、制約された探索範囲が提案される。
【0078】
ＣＵレベルの初期動き探索に対する制約された探索範囲
いくつかの実施形態では、制約された探索範囲は、ＭＶクラスタリングの後に生成された主ＭＶ候補のメモリ帯域幅使用量を低減するためにＣＵ／サブＣＵレベルの初期動き探索に対して使用される。図９は、提案される制約された探索範囲が、ＣＵ／サブＣＵレベルの初期動き探索プロセスに適用された後の修正されたＦＲＵＣ動き探索プロセスを示す。
いくつかの実施形態では、制約された探索範囲は、ＭＶクラスタリングの後に生成された主ＭＶ候補のメモリ帯域幅使用量を低減するためにＣＵ／サブＣＵレベルの初期動き探索に対して使用される。図９は、提案される制約された探索範囲が、ＣＵ／サブＣＵレベルの初期動き探索プロセスに適用された後の修正されたＦＲＵＣ動き探索プロセスを示す。
【0079】
図９では、ＣＵレベルの初期動き探索（９０２）において、初期ＣＵレベルＭＶ候補リストが生成され（９０４）、参照ピクチャが選択される（９０６）。ＭＶ候補リストにおけるＭＶはクラスタ化され（９０８）、主ＭＶは、各クラスタを表す。クラスタの主ＭＶは、クラスタ内のＭＶ候補の重心とすることができる。主ＭＶに基づいて、探索中心および探索範囲が決定される（９１０）。主ＭＶは、それらが探索範囲内に含まれるように適切に、主ＭＶをクリップする（９１１）ことにより処理され、探索は、最適に処理された主ＭＶを選択するように実施される（９１２）。ＣＵレベルの動き精緻化（９１４）が、選択されたＭＶに対して実施される。ＣＵレベルの動き精緻化の後、サブＣＵレベルの初期動き探索（９１６）が実施される。ＣＵにおける各サブＣＵに対して、初期のサブＣＵレベルＭＶ候補リストが生成され（９１８）、サブＣＵレベルＭＶがクラスタ化され（９２０）、各クラスタは、主ＭＶにより表される。サブＣＵレベルの初期動き探索に対する探索中心および探索範囲が決定され（９２２）、サブＣＵレベル探索範囲に含まれるように、主ＭＶはクリッピングにより処理される（９２３）。最適に処理された主ＭＶが、探索領域内で選択され（９２４）、サブＣＵレベルの動き精緻化が実施される（９２６）。
【0080】
より詳細には、図９で示されるように、主ＭＶ候補（例えば、ＭＶクラスタの重心）がＭＶクラスタリング（９０８）により生成された後、初期ＣＵ／サブＣＵレベルのＭＶを選択するために、探索中心が決定される（９１０）。探索中心を選択するために、いくつかの実施形態では、多数決の原理が適用されて、ＣＵ／サブＣＵレベルの動き候補リストにおける大部分の初期ＭＶ候補を含むＭＶクラスタの重心を選択する。具体的には、初期ＭＶ候補リストにおけるＭ個のＭＶ候補（ＭＶ0、ＭＶ1、・・・、ＭＶM-1）から生成されたＫ個のＭＶクラスタ（Ｃ0、Ｃ1、・・・、ＣK-1）が存在すると考えると、選択される探索中心は、
【0081】
【数18】
【0082】
として決定され、式中、１n（ＭＶi）は、
【0083】
【数19】
【0084】
である指示関数（indicator function）である。
【0085】
図１０Ａは、上記の探索中心選択法を示す一例を示している。図１０Ａでは、初期のＭＶ候補リスト内に合計２９個のＭＶ候補（すなわち、Ｍ＝２９）が存在し、またそれらは、３つのＭＶクラスタ（すなわち、Ｋ＝３）、クラスタ１００２、１００４、１００６へと分類される。さらにこの例では、各ＭＶクラスタによりカバーされる初期ＭＶ候補の数は、上のクラスタで２０、下方左のクラスタでは６、下方右のクラスタで３である。クラスタ１００２、１００４、および１００６の重心は、それぞれ、１００３、１００５、および１００７で示される。式８における多数決に基づく選択法に基づき、選択される探索中心は、２０個の初期ＭＶ候補を有するＭＶクラスタの重心１００３（五角形で示される）であるように設定される。初期ＭＶ候補が散在している場合、様々なＭＶクラスタに含まれる初期ＭＶ候補の数が比較的同様なものであることも可能である。このような場合、様々なＭＶクラスタは、現在のＣＵ／サブＣＵに対して最適な動きを導出するために、等しい役割を果たすことになり得る。
【0086】
本開示の別の実施形態では、生成されたクラスタが、初期ＭＶ候補リストにおけるＭＶ候補の同様のカバー範囲を示す場合（例えば、他のものに対して有力なＭＶクラスタが存在しないなど）、すべてのＭＶクラスタの重心を平均し、その後のＣＵ／サブＣＵレベルの初期動き探索に対する探索中心としてその平均を使用することが提案される。図１０Ｂは、平均ベースの探索中心選択法を示す一例を示しており、ここで、３つのＭＶクラスタ１０１０、１０１２、１０１４は、同じ数の初期ＭＶ候補を含む。ＭＶクラスタのそれぞれの重心は、三角形１０１６、１０１８、１０２０により示される。生成されたクラスタが、初期ＭＶ候補の同様のカバー範囲を有するかどうかを決定するために、様々な方法を適用することができる。一例では、（ｉ）最大のカバー範囲を有するＭＶクラスタに含まれるＭＶ候補の数と、（ｉｉ）最小のカバー範囲を有するＭＶクラスタに含まれる数との間の差を使用することができる。その差が、事前に定義された閾値より小さい場合、生成されたクラスタは、同様のカバー範囲を有するものと見なされる（すなわち、平均ベースの探索中心決定が適用されるべきである）が、そうではない場合、様々なクラスタのそれぞれのカバー範囲は、不均衡であると見なされて、多数決ベースの探索中心決定が適用されるべきである。図１０Ｂの例では、クラスタ１０１０、１０１２、１０１４は、初期ＭＶ候補の同様なカバー範囲を有すると決定されることに応じて、選択される探索中心は、重心１０１６、１０１８、１０２０の平均である。選択された探索中心は、１０２２で、五角形により示される。
【0087】
図１０Ａおよび図１０Ｂは共に、選択された探索中心が、１つまたは複数の主ＭＶ候補の平均である実施形態を示していることに留意されたい。具体的には、図１０Ａの実施形態では、選択された探索中心は、１つだけの主ＭＶ候補の平均であり、したがって、候補それ自体に等しいが、図１０Ｂの実施形態では、選択された探索中心は、複数のＭＶ候補の平均である。
【0088】
図９を再度参照すると、探索中心が計算された後、探索ウィンドウが決定され、その中心は、選択された探索中心に設定され、また幅は選択された範囲（例えば、事前に定義された、または信号送りされた範囲）に設定される。その後、主ＭＶ（例えば、ＭＶクラスタの重心）は、各主ＭＶを探索ウィンドウの中へとクリップすることにより（９１１）更新される。図７における同じ例に基づいて、図１１は、提案の探索制約が、ＣＵ／サブＣＵレベルの初期動き探索に適用された後の外部メモリアクセスを示す。図７と図１１の間の比較に基づき、制約されない動き探索（この例では、参照ピクチャに対する５つの別々のメモリアクセスを使用する）と比較して、対応する領域（探索ウィンドウ１１０２により示される）への１回だけの単一の外部メモリアクセスが、制約された動き探索により使用されて、初期のＣＵ／サブＣＵレベルの動き探索に対する最適なＭＶ（９１２）を決定するために必要なすべての参照サンプルを取り込むことが分かる。こうすることは、エンコーダ／デコーダのハードウェアに対してＦＲＵＣにより使用されるメモリ帯域幅を効率的に低減することができる。
【0089】
上記の記述において、同じ探索範囲が、ＣＵレベルの初期動き探索とサブＣＵレベルの初期動き探索との両方に適用される。しかし、サブＣＵレベル動き探索は、ＣＵレベルの動き探索から導出されるＭＶに基づくことを考えると、各サブＣＵに対して生成された初期ＭＶ動き候補は、通常、ＣＵレベルで生成された初期ＭＶ候補よりもさらに相関がある。したがって、ＣＵレベル動き探索に使用されたものよりも、サブＣＵ動き探索用には、より小さい探索範囲を使用するのが適切である。これは、参照ピクチャからアクセスされる領域のサイズをさらに低減することができる。
【0090】
上記では、提案される制約されたＣＵ／サブＣＵレベル初期動き探索が、ＭＶクラスタリングが適用される場合において述べられている。しかし、実際には、制約された動き探索は、独立して使用され得る。すなわち、制約された動き探索は、ＭＶクラスタリングを用いる、または用いない場合にも適用することができる。ＭＶクラスタリングが適用されない場合、制約された動き探索は、初期ＭＶ候補が得られた参照ピクチャをさらに検討し、同じ参照ピクチャからのＭＶ候補のセットに別々に適用することができる。
【0091】
ＣＵレベル動き精緻化、サブＣＵレベル初期動き探索、およびサブＣＵレベル動き精緻化に対する制約された探索範囲
上記で述べたように、現在のＣＵの内部の各サブＣＵが、互いに遠く離れて存在し得るそれ自体の初期ＭＶを導出できることを考えると、サブＣＵレベル動き探索の探索範囲は、一般に制限されない。このような設計はまた、実際のハードウェア実装に対して大幅なメモリ帯域幅使用量を要求する可能性がある。このような問題に対処するために、いくつかの実施形態では、ＣＵレベル動き精緻化、サブＣＵレベル初期動き探索、およびサブＣＵレベル動き精緻化を含む、ＣＵレベル動き探索後のすべてのＦＲＵＣに関連する動き探索プロセスに対して探索範囲制約を加えることが提案される。
上記で述べたように、現在のＣＵの内部の各サブＣＵが、互いに遠く離れて存在し得るそれ自体の初期ＭＶを導出できることを考えると、サブＣＵレベル動き探索の探索範囲は、一般に制限されない。このような設計はまた、実際のハードウェア実装に対して大幅なメモリ帯域幅使用量を要求する可能性がある。このような問題に対処するために、いくつかの実施形態では、ＣＵレベル動き精緻化、サブＣＵレベル初期動き探索、およびサブＣＵレベル動き精緻化を含む、ＣＵレベル動き探索後のすべてのＦＲＵＣに関連する動き探索プロセスに対して探索範囲制約を加えることが提案される。
【0092】
図１２は、ＣＵレベル動き精緻化、サブＣＵレベル初期動き探索、およびサブＣＵレベル動き精緻化に対して、提案の探索範囲が適用された後の修正されたＦＲＵＣ動き探索プロセスを示す。具体的には、図１２において、ＣＵレベル初期ＭＶを探索中心として設定することによるＣＵレベル初期動き探索後に、探索ウィンドウが決定される（１２１２）、次いで、その後のＣＵレベル動き精緻化は、探索ウィンドウ内で実施されるだけである。サブＣＵレベルにおいて、各サブＣＵに対して取得されたすべてのＭＶ候補は、探索ウィンドウの領域へとクリップされ（１２２１）、また各サブＣＵの動き精緻化はまた、探索ウィンドウ内で可能であるに過ぎない。このようにすることにより、ＣＵレベル初期ＭＶが得られた後、外部の参照ピクチャに対しては、１回のメモリアクセスが使用され得るに過ぎない。比較すると、他のＦＲＵＣ設計は、各サブＣＵの動き探索に対して外部メモリアクセスを必要とする可能性があり、ＣＵの内部には最高で６４個のサブＣＵが存在し得る。したがって、ＣＵレベルの初期ＭＶが決定された後、他のＦＲＵＣ法は、ＣＵの動き情報を生成するために、６４も多くの別々のメモリアクセスを使用する可能性がある。この意味で、例示的な実施形態は、ＦＲＵＣのためのメモリ帯域幅使用量を低減することができる。
【0093】
図１２による方法では、ＣＵレベル初期動き探索（１２０２）において、初期ＣＵレベルＭＶ候補リストが生成され（１２０４）、参照ピクチャが選択される（１２０６）。ＭＶ候補リストにおけるＭＶがクラスタ化され（１２０８）、主ＭＶが各クラスタを代表する。クラスタの主ＭＶは、クラスタにおけるＭＶ候補の重心とすることができ、探索は、最適な主ＭＶを選択するように実施される（１２１０）。ＣＵレベルの動き精緻化に対して、探索範囲が決定され（１２１２）、ＣＵレベル動き精緻化が、探索範囲内で実施される（１２１４）。ＣＵレベル動き精緻化の後、サブＣＵレベル初期動き探索（１２１６）が実施される。ＣＵにおける各サブＣＵに対して、初期サブＣＵレベルＭＶ候補リストが生成され（１２１８）、サブＣＵレベルＭＶはクラスタ化され（１２２０）、各クラスタは、主ＭＶによって代表される。主ＭＶは、主ＭＶが探索ウィンドウ内に含まれるように、必要に応じてクリッピングにより処理される（１２２１）。最適なＭＶが、定義された探索範囲に含まれる処理された主ＭＶから選択される（１２２２）。サブＣＵレベル動き探索（１２１６）の後、サブＣＵレベル動き精緻化が、定義された探索範囲内で実施される（１２２４）。
【0094】
１つの統一された探索範囲におけるＦＲＵＣ動き探索
上記で述べられた制約された動き探索法は、他のＦＲＵＣ法と比較して、大幅なメモリ帯域幅低減を提供できるが、いくつかのこのような実施形態はまだ、参照ピクチャの外部バッファへの少なくとも２つの別々のメモリアクセスを使用しており、１つは、ＣＵレベル初期ＭＶを生成するためのＣＵレベル初期動き探索に使用され、他のものは、現在のＣＵの内部のサブＣＵのＭＶを生成するための他のＦＲＵＣ動き探索プロセスに使用される。ＦＲＵＣメモリ帯域幅をさらに低減するために、外部の参照ピクチャへのただ１回の単一メモリアクセスが、ＦＲＵＣプロセス全体に使用されるように、統一された探索範囲が、すべてのＦＲＵＣ関連の動き探索プロセスに対して提案される。図１３は、統一された探索範囲が、ＦＲＵＣ動き探索プロセス全体に適用された後の、修正されたＦＲＵＣ動き導出を示す。より具体的には、ＭＶクラスタリング（１３０８）の後、探索中心が、式８および式９に基づいて、主ＭＶ候補から決定され、かつ探索ウィンドウが決定され（１３１０）、その中心は、選択された探索中心に設定され、幅は、選択された範囲に設定される。
上記で述べられた制約された動き探索法は、他のＦＲＵＣ法と比較して、大幅なメモリ帯域幅低減を提供できるが、いくつかのこのような実施形態はまだ、参照ピクチャの外部バッファへの少なくとも２つの別々のメモリアクセスを使用しており、１つは、ＣＵレベル初期ＭＶを生成するためのＣＵレベル初期動き探索に使用され、他のものは、現在のＣＵの内部のサブＣＵのＭＶを生成するための他のＦＲＵＣ動き探索プロセスに使用される。ＦＲＵＣメモリ帯域幅をさらに低減するために、外部の参照ピクチャへのただ１回の単一メモリアクセスが、ＦＲＵＣプロセス全体に使用されるように、統一された探索範囲が、すべてのＦＲＵＣ関連の動き探索プロセスに対して提案される。図１３は、統一された探索範囲が、ＦＲＵＣ動き探索プロセス全体に適用された後の、修正されたＦＲＵＣ動き導出を示す。より具体的には、ＭＶクラスタリング（１３０８）の後、探索中心が、式８および式９に基づいて、主ＭＶ候補から決定され、かつ探索ウィンドウが決定され（１３１０）、その中心は、選択された探索中心に設定され、幅は、選択された範囲に設定される。
【0095】
その後のＣＵレベル動き精緻化（１３１４）およびサブＣＵレベル動き探索－サブＣＵレベル初期動き探索（１３１６）およびサブＣＵレベル動き精緻化（１３２４）を含む－は、定義された探索ウィンドウ内のＭＶ候補を探索できるだけである。図１３の例では、提案の統一された探索範囲の場合、選択される参照ピクチャへの１回だけの外部メモリアクセスが使用されて、探索ウィンドウのサイズ内の参照サンプルを取込み、ＣＵ全体の動き情報を生成する。さらに、上記で述べた統一された探索法は、外部メモリアクセスの数を減らすので、符号化性能とメモリ帯域幅使用量の間の良好なトレードオフとして、上記で述べた実施形態における制約された探索法に使用されるものよりも大きな探索範囲を使用することが適切である。
【0096】
図１３で示されるように、ＣＵレベル初期動き探索（１３０２）において、初期ＣＵレベルＭＶ候補リストが生成され（１３０４）、かつ参照ピクチャが選択される（１３０６）。ＭＶ候補リストにおけるＭＶはクラスタ化され（１３０８）、主ＭＶが各クラスタを代表する。クラスタの主ＭＶは、クラスタにおけるＭＶ候補の重心とすることができる。主ＭＶに基づき、探索中心および探索範囲が決定される（１３１０）。主ＭＶは、探索範囲内に含まれるように適切に主ＭＶをクリップする（１３１１）ことにより処理され、探索は、最適な処理されたＭＶを選択するように実施される（１３１２）。ＣＵレベル動き精緻化（１３１４）が、選択されたＭＶに対して実施される。ＣＵレベル動き精緻化の後、サブＣＵレベル初期動き探索（１３１６）が実施される。ＣＵにおける各サブＣＵに対して、初期サブＣＵレベルＭＶ候補リストが生成され（１３１８）、かつサブＣＵレベルＭＶがクラスタ化され（１３２０）、各クラスタは、主ＭＶによって代表される。主ＭＶは、探索範囲内に含まれるように適切にクリップされる（１３２１）ことにより処理される。最適に処理された主ＭＶが、探索領域内で選択され（１３２２）、サブＣＵレベル動き精緻化（１３２４）が実施される。
【0097】
ＦＲＵＣ動き探索に対する適応型探索範囲
上記で述べられた制約されたＦＲＵＣ動き探索法のいくつかの実施形態では、同じ探索範囲が、１つのビデオシーケンスにおけるすべてのピクチャに適用される。しかし、代替的実施形態では、探索範囲は、例えば、シーケンスレベル、ピクチャレベル、およびブロックレベルなど、異なるレベルにおいて適応的に調整することができ、また各適応レベルは、異なる性能／複雑さのトレードオフを提供することができる。加えて、適応型探索範囲が適用される場合、最適な探索範囲を決定するために、異なる方法が適用され得る。例えば、探索範囲が、現在のピクチャとその参照ピクチャの間の相関性に応じて、ピクチャレベルで適応される場合、いくつかのピクチャにおけるビデオブロックは、安定した動き示すことができる（例えば、ランダムアクセス構成の上位時間レイヤにおけるピクチャ）が、例えば、ランダムアクセス構成の下位時間レイヤにおけるピクチャなど、いくつかのピクチャにおけるビデオブロックの動きは、比較的不安定である。このような場合、符号化性能を維持しながら大きなメモリアクセス低減を達成するために、不安定な動きを有するピクチャに使用されるものよりも、安定した動きを有するピクチャに対して小さな探索範囲を使用することがより有益であり得る。別の例では、探索範囲が、ブロックレベルで適用される場合、ブロックの最適な探索範囲は、現在のブロックの空間的な近傍のＭＶの相関性に基づいて決定することができる。動きの相関性を測定するための一方法は、現在のブロックの近傍のＭＶの分散を計算することである。動き分散が、事前定義の閾値よりも小さい場合、現在のブロックの動きは、その近傍のものと高い相関があり、小さな探索範囲を安全に適用できると考えるのが適切であり、そうではない場合、現在のブロックの動きは、その近傍との相関性が少ないものと見なされ、現在のブロックの最適なＭＶが、探索ウィンドウ内で確実に識別され得るように、大きな探索範囲を適用すべきである。別の方法では、ブロックサイズに基づいて探索範囲を適応的に調整することが提案される。この方法の背後にある考えは、現在のブロックのサイズが大きい場合、現在のブロックがより多くの複雑な内容（例えば、豊富なテクスチャおよび／または指向性のエッジ）を含む可能性がより高く、したがって、大きな探索範囲を適用することができ、それは、現在のブロックが参照ピクチャから良好な一致を見出すのに役立つ。そうではなく、現在のブロックは比較的小さなサイズを有する場合、現在のブロックは、少ないテクスチャ情報を含む可能性があり、したがって、この場合、小さな探索ウィンドウで十分よいと考えるのが適切である。本開示の別の実施形態では、現在のピクチャとその参照ピクチャの間のＰＯＣ距離に基づいて、探索範囲を適応的に調整することが提案される。具体的には、本方法によれば、現在のピクチャと、その最も近い参照ピクチャとの間のＰＯＣ距離が、事前定義の閾値よりも小さい場合、現在のピクチャにおけるブロックは、安定した動きを示すことができ、より小さな探索範囲を適用することができ、そうではない場合（現在のピクチャと、その最も近い参照ピクチャとの間のＰＯＣ距離が、事前定義の閾値以上である場合）、現在のピクチャ内のブロックの動きは、不安定である可能性があり、大きな探索範囲を適用すべきである。
上記で述べられた制約されたＦＲＵＣ動き探索法のいくつかの実施形態では、同じ探索範囲が、１つのビデオシーケンスにおけるすべてのピクチャに適用される。しかし、代替的実施形態では、探索範囲は、例えば、シーケンスレベル、ピクチャレベル、およびブロックレベルなど、異なるレベルにおいて適応的に調整することができ、また各適応レベルは、異なる性能／複雑さのトレードオフを提供することができる。加えて、適応型探索範囲が適用される場合、最適な探索範囲を決定するために、異なる方法が適用され得る。例えば、探索範囲が、現在のピクチャとその参照ピクチャの間の相関性に応じて、ピクチャレベルで適応される場合、いくつかのピクチャにおけるビデオブロックは、安定した動き示すことができる（例えば、ランダムアクセス構成の上位時間レイヤにおけるピクチャ）が、例えば、ランダムアクセス構成の下位時間レイヤにおけるピクチャなど、いくつかのピクチャにおけるビデオブロックの動きは、比較的不安定である。このような場合、符号化性能を維持しながら大きなメモリアクセス低減を達成するために、不安定な動きを有するピクチャに使用されるものよりも、安定した動きを有するピクチャに対して小さな探索範囲を使用することがより有益であり得る。別の例では、探索範囲が、ブロックレベルで適用される場合、ブロックの最適な探索範囲は、現在のブロックの空間的な近傍のＭＶの相関性に基づいて決定することができる。動きの相関性を測定するための一方法は、現在のブロックの近傍のＭＶの分散を計算することである。動き分散が、事前定義の閾値よりも小さい場合、現在のブロックの動きは、その近傍のものと高い相関があり、小さな探索範囲を安全に適用できると考えるのが適切であり、そうではない場合、現在のブロックの動きは、その近傍との相関性が少ないものと見なされ、現在のブロックの最適なＭＶが、探索ウィンドウ内で確実に識別され得るように、大きな探索範囲を適用すべきである。別の方法では、ブロックサイズに基づいて探索範囲を適応的に調整することが提案される。この方法の背後にある考えは、現在のブロックのサイズが大きい場合、現在のブロックがより多くの複雑な内容（例えば、豊富なテクスチャおよび／または指向性のエッジ）を含む可能性がより高く、したがって、大きな探索範囲を適用することができ、それは、現在のブロックが参照ピクチャから良好な一致を見出すのに役立つ。そうではなく、現在のブロックは比較的小さなサイズを有する場合、現在のブロックは、少ないテクスチャ情報を含む可能性があり、したがって、この場合、小さな探索ウィンドウで十分よいと考えるのが適切である。本開示の別の実施形態では、現在のピクチャとその参照ピクチャの間のＰＯＣ距離に基づいて、探索範囲を適応的に調整することが提案される。具体的には、本方法によれば、現在のピクチャと、その最も近い参照ピクチャとの間のＰＯＣ距離が、事前定義の閾値よりも小さい場合、現在のピクチャにおけるブロックは、安定した動きを示すことができ、より小さな探索範囲を適用することができ、そうではない場合（現在のピクチャと、その最も近い参照ピクチャとの間のＰＯＣ距離が、事前定義の閾値以上である場合）、現在のピクチャ内のブロックの動きは、不安定である可能性があり、大きな探索範囲を適用すべきである。
【0098】
適応型探索範囲がＦＲＵＣに適用される場合、対応する探索範囲は、ビットストリームで（例えば、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、およびスライスセグメントヘッダで）信号送りされるか、シグナリングではなくエンコーダとデコーダの両方において導出されるかのいずれかとすることができる。
【0099】
ＦＲＵＣに対する複雑さの制限された動き探索
ＦＲＵＣ動き精緻化のための探索反復数に対する制限
知られたＦＲＵＣ設計において、ＣＵレベル動き精緻化とサブＣＵレベル動き精緻化の両方は、探索中心が、２つの連続する探索ループの間で更新されない限り、精緻化探索が続くという意味において、計算に関して制限されない。ＦＲＵＣブロックの符号化／復号化の複雑さは無制限であるため、このような設計は、実際のエンコーダ／デコーダのハードウェア実装のパイプライン設計にとって実際的ではない。したがって、ＦＲＵＣ設計を、ハードウェア実装にとってより扱いやすいものにするために、ＣＵ／サブＣＵレベル動き精緻化段階において実施される探索反復の最大数に対して制限を設けることが提案される。上記で述べたＣＵレベル初期動き探索に対する制約された探索範囲と同様に、シーケンスレベル、ピクチャレベル、およびブロックレベルなど、様々な符号化レベルにおいて、探索反復の最大数が適用される、または信号送りされ得る。さらに、同じ最大の探索反復数が、ＣＵレベル動き精緻化、およびサブＣＵレベル動き精緻化に適用することができる。しかし、サブＣＵレベル動き候補は、通常、ＣＵレベル動き候補よりも強い相関性を示すので、少なくともいくつかの実施形態では、最大探索反復の値を、サブＣＵレベル動き精緻化に対するものよりも、ＣＵレベル動き精緻化に対して大きくなるように設定することも提案される。
ＦＲＵＣ動き精緻化のための探索反復数に対する制限
知られたＦＲＵＣ設計において、ＣＵレベル動き精緻化とサブＣＵレベル動き精緻化の両方は、探索中心が、２つの連続する探索ループの間で更新されない限り、精緻化探索が続くという意味において、計算に関して制限されない。ＦＲＵＣブロックの符号化／復号化の複雑さは無制限であるため、このような設計は、実際のエンコーダ／デコーダのハードウェア実装のパイプライン設計にとって実際的ではない。したがって、ＦＲＵＣ設計を、ハードウェア実装にとってより扱いやすいものにするために、ＣＵ／サブＣＵレベル動き精緻化段階において実施される探索反復の最大数に対して制限を設けることが提案される。上記で述べたＣＵレベル初期動き探索に対する制約された探索範囲と同様に、シーケンスレベル、ピクチャレベル、およびブロックレベルなど、様々な符号化レベルにおいて、探索反復の最大数が適用される、または信号送りされ得る。さらに、同じ最大の探索反復数が、ＣＵレベル動き精緻化、およびサブＣＵレベル動き精緻化に適用することができる。しかし、サブＣＵレベル動き候補は、通常、ＣＵレベル動き候補よりも強い相関性を示すので、少なくともいくつかの実施形態では、最大探索反復の値を、サブＣＵレベル動き精緻化に対するものよりも、ＣＵレベル動き精緻化に対して大きくなるように設定することも提案される。
【0100】
ＭＶクラスタリングに対する主ＭＶの数に対する制限
上記で述べたものなど、ＭＶクラスタリング法は、初期ＭＶ導出（ＣＵレベルとサブＣＵレベルの両方で）の平均的な計算の複雑さを大幅に低減することができるが、それは、テストする必要のあるＭＶ候補の最大値を必ずしも変更しない。例えば、最悪の場合、ＣＵレベル動き探索とサブＣＵレベル動き探索において、それぞれ、最高で１５個および１７個の調査すべきＭＶ候補がまだ存在する可能性がある。実務において、最悪の場合のシナリオは、実際のエンコーダ／デコーダ実装に対して重大な考慮事項であり、それは、ハードウェア設計により満たされるべき処理機能／条件を直接決定する。したがって、いくつかの実施形態では、ＭＶクラスタリングから生成された主ＭＶの数に対して制約を加えて、試験されるＭＶ候補の平均と最大値の両方を低減することが提案される。主ＭＶの最大数（例えば、Ｌ）が与えられると、どの主ＭＶをＦＲＵＣ動き探索に選択すべきかを決定するために、異なる基準を利用することができる。
上記で述べたものなど、ＭＶクラスタリング法は、初期ＭＶ導出（ＣＵレベルとサブＣＵレベルの両方で）の平均的な計算の複雑さを大幅に低減することができるが、それは、テストする必要のあるＭＶ候補の最大値を必ずしも変更しない。例えば、最悪の場合、ＣＵレベル動き探索とサブＣＵレベル動き探索において、それぞれ、最高で１５個および１７個の調査すべきＭＶ候補がまだ存在する可能性がある。実務において、最悪の場合のシナリオは、実際のエンコーダ／デコーダ実装に対して重大な考慮事項であり、それは、ハードウェア設計により満たされるべき処理機能／条件を直接決定する。したがって、いくつかの実施形態では、ＭＶクラスタリングから生成された主ＭＶの数に対して制約を加えて、試験されるＭＶ候補の平均と最大値の両方を低減することが提案される。主ＭＶの最大数（例えば、Ｌ）が与えられると、どの主ＭＶをＦＲＵＣ動き探索に選択すべきかを決定するために、異なる基準を利用することができる。
【0101】
いくつかの実施形態で使用される１つの基準は、ＭＶ候補カバー範囲に基づいて主ＭＶを選択することである。この基準を用いるいくつかの実施形態では、エンコーダ／デコーダは、各ＭＶクラスタ（ＣＵレベルまたはサブＣＵレベル）に含まれる初期ＭＶ候補リスト（ＭＶ候補カバー範囲）内の初期ＭＶの数を数え、次いで、エンコーダ／デコーダは、より多くのカバー範囲を有する主ＭＶをリストの最初に置くことにより、ＭＶ候補カバー範囲に従って生成された主ＭＶの順序付けを行い、かつ最初のＬ個の主ＭＶを、後続するＣＵ／サブＣＵレベル動き探索プロセスに対してさらに使用される出力として維持するだけである。
【0102】
いくつかの実施形態で使用される別の基準は、ＭＶ候補分散に基づいてＭＶを選択することである。このような基準を用いるいくつかの実施形態では、エンコーダ／デコーダは、ＭＶクラスタリングプロセス中に、各ＭＶクラスタに含まれる初期ＭＶの分散を計算し、次いで、エンコーダ／デコーダは、生成された主ＭＶを、ＭＶ候補分散の昇順で順序付けし、後続するＣＵレベルまたはサブＣＵレベル動き探索プロセスに対する出力として、最小のＭＶ候補分散を有する最初の主ＭＶを維持するだけである。
【0103】
主ＭＶの最大数は、シーケンスレベル、ピクチャレベル、およびブロックレベルなど、様々な符号化レベルにおいて適用される、または信号送りされ得る。加えて、異なる最大値は、ＣＵレベル動き探索およびサブＣＵレベル動き探索において適用されるＭＶクラスタリングプロセスに使用することができる。
【0104】
ＣＵレベル初期動き探索に対して制約された探索範囲を用いる方法
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つの現在のブロックに対して、ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、動きベクトル候補の第１のセットに基づいて探索中心を画定(define)するステップと、選択された幅を有し、探索中心に中心が置かれる探索ウィンドウを決定するステップと、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある第１のセット中のいずれの動きベクトルもクリップすることによって、動きベクトル候補の第１のセットを処理するステップと、動きベクトル候補の処理された第１のセットの中から、選択される動きベクトルを求める探索を実施するステップとを含む。探索中心は、例えば、動きベクトル候補の第１のセットの平均とすることができる。
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つの現在のブロックに対して、ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、動きベクトル候補の第１のセットに基づいて探索中心を画定(define)するステップと、選択された幅を有し、探索中心に中心が置かれる探索ウィンドウを決定するステップと、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある第１のセット中のいずれの動きベクトルもクリップすることによって、動きベクトル候補の第１のセットを処理するステップと、動きベクトル候補の処理された第１のセットの中から、選択される動きベクトルを求める探索を実施するステップとを含む。探索中心は、例えば、動きベクトル候補の第１のセットの平均とすることができる。
【0105】
いくつかのこのような実施形態は、選択された動きベクトル候補に基づいて動き精緻化探索を実施し、精緻化された動きベクトルを生成するステップと、精緻化された動きベクトルを用いてブロックを予測するステップとをさらに含む。
【0106】
現在のブロックは、例えば、符号化ユニットまたはサブ符号化ユニットブロックとすることができる。
【0107】
選択された動きベクトルは、最低のマッチングコスト、または最低の絶対差分和（ＳＡＤ）を達成するように選択することができる。
【0108】
いくつかの実施形態では、動きベクトル候補の第１のセットは、動きベクトル候補の初期セットを複数のクラスタへとクラスタ化するステップと、各クラスタに対して、それぞれのクラスタの重心を計算するステップと、それぞれのクラスタの重心を表す重心動きベクトルを、動きベクトル候補の第１のセットに付与するステップとを含む方法により生成される。このような実施形態では、探索中心は、大部分の動きベクトル候補を有するクラスタの中心とすることができる。
【0109】
選択された幅は、例えば、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスセグメントヘッダにおいて、またはブロックレベルで信号送りすることができる。いくつかの実施形態では、現在のピクチャに対して選択される幅は、少なくとも部分的に、現在のピクチャにおける動きの安定性レベルに基づいて決定される。いくつかの実施形態では、現在のブロックに対して選択される幅は、少なくとも部分的に、現在のブロックの空間的近傍の動きベクトルの相関性レベルに基づいて決定される。いくつかの実施形態では、現在のブロックに対して選択される幅は、少なくとも部分的に、現在のブロックのサイズに基づいて決定される。いくつかの実施形態では、現在のピクチャに対して選択される幅は、少なくとも部分的に、現在のピクチャとその参照ピクチャの間のＰＯＣ距離に基づいて決定される。
【0110】
ＣＵレベル動き精緻化、サブＣＵレベル初期動き探索、およびサブＣＵレベル動き精緻化に対して制約された探索範囲を用いる方法
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つの現在の符号化ユニット（ＣＵ）に対して、符号化ユニットのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、動きベクトル候補の第１のセットの中から、選択されるＣＵレベル動きベクトルを求める探索を実施するステップと、選択された幅を有し、選択されたＣＵレベル動きベクトルに中心のある探索ウィンドウを決定するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたＣＵレベル動きベクトルを生成するステップとを含む。符号化ユニットは、精緻化されたＣＵレベル動きベクトルを用いて予測することができる。
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つの現在の符号化ユニット（ＣＵ）に対して、符号化ユニットのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、動きベクトル候補の第１のセットの中から、選択されるＣＵレベル動きベクトルを求める探索を実施するステップと、選択された幅を有し、選択されたＣＵレベル動きベクトルに中心のある探索ウィンドウを決定するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたＣＵレベル動きベクトルを生成するステップとを含む。符号化ユニットは、精緻化されたＣＵレベル動きベクトルを用いて予測することができる。
【0111】
いくつかの実施形態では、方法は、符号化ユニット内の各サブＣＵに対して、サブＣＵ初期動きベクトルのセットを識別するステップと、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にあるセット内のいずれの動きベクトルもクリップすることによって、サブＣＵ初期動きベクトルのセットを処理するステップと、サブＣＵ初期動きベクトルの処理されたセットの中から選択されるサブＣＵ動きベクトルを求める探索を実施するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたサブＣＵ動きベクトルを生成するステップとをさらに含む。サブＣＵは、精緻化されたサブＣＵレベル動きベクトルを用いて予測することができる。
【0112】
選択される幅は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスセグメントヘッダにおいて、またはブロックレベルで信号送りされ得る。現在のピクチャに対して選択される幅は、少なくとも部分的に、現在のピクチャにおける動きの安定性レベルに基づいて決定することができる。現在のブロックに対して選択される幅は、少なくとも部分的に、現在のブロックの空間的な近傍の動きベクトルの相関性レベルに基づいて決定することができる。現在のブロックに対して選択される幅は、少なくとも部分的に、現在のブロックのサイズに基づいて決定することができる。現在のピクチャに対して選択される幅は、少なくとも部分的に、現在のピクチャとその参照ピクチャの間のＰＯＣ距離に基づいて決定することができる。
【0113】
統一化された探索範囲でＦＲＵＣ動き探索を用いる方法
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つの符号化ユニット（ＣＵ）に対して、符号化ユニットのフレームレートアップ変換（ＦＲＵＣ）予測のためのＣＵレベル動きベクトル候補の第１のセット識別するステップと、ＣＵレベル動きベクトル候補の第１のセットに基づき（例えば、ＣＵレベル動きベクトル候補の第１のセットの平均として）探索中心を画定(define)するステップと、選択された幅を有し、探索中心に中心のある探索ウィンドウを決定するステップと、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある第１のセットにおけるいずれかの動きベクトルもクリップすることによって、ＣＵレベル動きベクトル候補の第１のセットを処理するステップと、動きベクトル候補の処理された第１のセットの中から選択されたＣＵレベル動きベクトルを求める探索を実施するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたＣＵレベル動きベクトルを生成するステップと、サブＣＵ初期動きベクトルのセットを識別するステップと、符号化ユニット内の各サブＣＵに対して、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある、セットにおけるいずれかの動きベクトルをクリップすることによって、サブＣＵ初期動きベクトルのセットを処理するステップと、サブＣＵ初期動きベクトルの処理されたセットの中から選択されたサブＣＵ動きベクトルを求める探索を実施するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたサブＣＵ動きベクトルを生成するステップとを含む。
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つの符号化ユニット（ＣＵ）に対して、符号化ユニットのフレームレートアップ変換（ＦＲＵＣ）予測のためのＣＵレベル動きベクトル候補の第１のセット識別するステップと、ＣＵレベル動きベクトル候補の第１のセットに基づき（例えば、ＣＵレベル動きベクトル候補の第１のセットの平均として）探索中心を画定(define)するステップと、選択された幅を有し、探索中心に中心のある探索ウィンドウを決定するステップと、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある第１のセットにおけるいずれかの動きベクトルもクリップすることによって、ＣＵレベル動きベクトル候補の第１のセットを処理するステップと、動きベクトル候補の処理された第１のセットの中から選択されたＣＵレベル動きベクトルを求める探索を実施するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたＣＵレベル動きベクトルを生成するステップと、サブＣＵ初期動きベクトルのセットを識別するステップと、符号化ユニット内の各サブＣＵに対して、探索ウィンドウ内に含まれるように、探索ウィンドウの外側にある、セットにおけるいずれかの動きベクトルをクリップすることによって、サブＣＵ初期動きベクトルのセットを処理するステップと、サブＣＵ初期動きベクトルの処理されたセットの中から選択されたサブＣＵ動きベクトルを求める探索を実施するステップと、探索ウィンドウ内で動き精緻化探索を実施して、精緻化されたサブＣＵ動きベクトルを生成するステップとを含む。
【0114】
いくつかのこのような実施形態では、ＣＵレベル動きベクトル候補の第１のセットは、ＣＵレベル動きベクトル候補の初期セットを複数のクラスタにクラスタ化するステップと、各クラスタに対して、それぞれのクラスタの重心を計算するステップと、それぞれのクラスタの重心を表す重心動きベクトルを動きベクトル候補の第１のセットに付与するステップとにより生成される。探索中心は、大部分のＣＵレベル動きベクトル候補を有するクラスタの中心とすることができる。
【0115】
選択された幅は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスセグメントヘッダにおいて、またはブロックレベルで信号送りされ得る。現在のピクチャに対して選択される幅は、少なくとも部分的に、現在のピクチャにおける動きの安定性レベルに基づいて決定することができる。現在のブロックに対して選択される幅は、少なくとも部分的に、現在のブロックの空間的な近傍の動きベクトルの相関性レベルに基づいて決定することができる。現在のブロックに対して選択される幅は、少なくとも部分的に、現在のブロックのサイズに基づいて決定することができる。現在のピクチャに対して選択される幅は、少なくとも部分的に、現在のピクチャとその参照ピクチャの間のＰＯＣ距離に基づいて決定することができる。
【0116】
ＦＲＵＣ動き精緻化に対する探索反復数の制限を用いる方法
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つのブロックに対して、ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、動きベクトル候補の第１のセットの中から、選択される動きベクトルを求める探索を実施するステップと、選択された動きベクトル候補に基づき動き精緻化探索を実施して、精緻化された動きベクトルを生成するステップであって、動き精緻化探索は、選択された最大反復数に制限されるステップとを含む。ブロックは、符号化ユニットまたはサブ符号化ユニットブロックとすることができる。
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つのブロックに対して、ブロックのフレームレートアップ変換（ＦＲＵＣ）予測のための動きベクトル候補の第１のセットを識別するステップと、動きベクトル候補の第１のセットの中から、選択される動きベクトルを求める探索を実施するステップと、選択された動きベクトル候補に基づき動き精緻化探索を実施して、精緻化された動きベクトルを生成するステップであって、動き精緻化探索は、選択された最大反復数に制限されるステップとを含む。ブロックは、符号化ユニットまたはサブ符号化ユニットブロックとすることができる。
【0117】
選択された最大の反復数は、少なくとも部分的に、ブロックが符号化ユニットブロックであるか、それともサブ符号化ユニットブロックであるかに依存することができる。選択された最大の反復数は、シーケンスレベルで、ピクチャレベルで、ブロックレベルで、またはスライスセグメントヘッダにおいて信号送りされ得る。
【0118】
ＭＶクラスタリングに対する主ＭＶの数に対する制限を用いる方法
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つのブロック（例えば、符号化ユニットまたはサブ符号化ユニットブロック）に対して、動きベクトル候補の初期セットを複数のクラスタにクラスタ化するステップと、各クラスタに対して、それぞれのクラスタの重心を計算し、それぞれのクラスタの重心を表す重心動きベクトルを主動きベクトルのセットに付与するステップと、主動きベクトルのセットから動きベクトルの選択された最大数未満のものを選択して、動きベクトルの制約されたセットを生成するステップと、動きベクトル候補の制約されたセットの中から選択される動きベクトルを求める探索を実施するステップとを含む。
いくつかの実施形態では、現在のピクチャを含む複数のピクチャを備えるビデオを符号化する方法が提供される。方法は、現在のピクチャにおける少なくとも１つのブロック（例えば、符号化ユニットまたはサブ符号化ユニットブロック）に対して、動きベクトル候補の初期セットを複数のクラスタにクラスタ化するステップと、各クラスタに対して、それぞれのクラスタの重心を計算し、それぞれのクラスタの重心を表す重心動きベクトルを主動きベクトルのセットに付与するステップと、主動きベクトルのセットから動きベクトルの選択された最大数未満のものを選択して、動きベクトルの制約されたセットを生成するステップと、動きベクトル候補の制約されたセットの中から選択される動きベクトルを求める探索を実施するステップとを含む。
【0119】
いくつかの実施形態では、動きベクトルの選択された最大数未満のものを選ぶステップは、主動きベクトルのセットから、初期動きベクトル候補の最大数を有するクラスタを表す主動きベクトルを選ぶステップを含む。いくつかの実施形態では、動きベクトルの選択された最大数未満のものを選ぶステップは、主動きベクトルのセットから、動きベクトル候補の中から最小の分散を有するクラスタを表す主動きベクトルを選ぶステップを含む。
【0120】
動きベクトルの選択された最大数は、少なくとも部分的に、ブロックが、符号化ユニットブロックであるか、それともサブ符号化ユニットブロックであるかに依存することができる。動きベクトルの選択された最大数は、シーケンスレベル、ピクチャレベル、ブロックレベルで、またはスライスセグメントレベルにおいて信号送りすることができる。
【0121】
符号化されたビットストリーム構造
図１４は、符号化されたビットストリーム構造の例を示す図である。符号化されたビットストリーム１３００は、いくつかのＮＡＬ（ネットワーク抽象化レイヤ）ユニット１３０１からなる。ＮＡＬユニットは、符号化されたスライス１３０６などの符号化されたサンプルデータ、またはパラメータセットデータ、スライスヘッダデータ１３０５、もしくは補助的な拡張情報データ１３０７（ＳＥＩメッセージと呼ぶことができる）などの高水準のシンタックスメタデータを含むことができる。パラメータセットは、複数のビットストリームレイヤ（例えば、ビデオパラメータセット１３０２（ＶＰＳ））に適用できる、または１つのレイヤ内の符号化されたビデオシーケンスに適用できる（例えば、シーケンスパラメータセット１３０３（ＳＰＳ））、または１つの符号化されたビデオシーケンス内のいくつかの符号化されたピクチャに適用できる（例えば、ピクチャパラメータセット１３０４（ＰＰＳ））基本的なシンタックス要素を含む高レベルのシンタックス構造である。パラメータセットは、ビデオビットストリームの符号化されたピクチャと共に送られる、または他の手段（信頼性のあるチャネルを用いた帯域外送信、ハードコーディングなどを含む）により送ることができる。スライスヘッダ１３０５はまた、比較的小さい、またはいくつかのスライスもしくはピクチャタイプに対してだけに関連する何らかのピクチャ関連情報を含むことのできる高水準シンタックス構造である。ＳＥＩメッセージ１３０７は、復号化プロセスでは必要ではない可能性があるが、ピクチャ出力タイミングまたは表示、ならびに損失検出およびコンシールメントなど様々な他の目的に使用することのできる情報を搬送する。
図１４は、符号化されたビットストリーム構造の例を示す図である。符号化されたビットストリーム１３００は、いくつかのＮＡＬ（ネットワーク抽象化レイヤ）ユニット１３０１からなる。ＮＡＬユニットは、符号化されたスライス１３０６などの符号化されたサンプルデータ、またはパラメータセットデータ、スライスヘッダデータ１３０５、もしくは補助的な拡張情報データ１３０７（ＳＥＩメッセージと呼ぶことができる）などの高水準のシンタックスメタデータを含むことができる。パラメータセットは、複数のビットストリームレイヤ（例えば、ビデオパラメータセット１３０２（ＶＰＳ））に適用できる、または１つのレイヤ内の符号化されたビデオシーケンスに適用できる（例えば、シーケンスパラメータセット１３０３（ＳＰＳ））、または１つの符号化されたビデオシーケンス内のいくつかの符号化されたピクチャに適用できる（例えば、ピクチャパラメータセット１３０４（ＰＰＳ））基本的なシンタックス要素を含む高レベルのシンタックス構造である。パラメータセットは、ビデオビットストリームの符号化されたピクチャと共に送られる、または他の手段（信頼性のあるチャネルを用いた帯域外送信、ハードコーディングなどを含む）により送ることができる。スライスヘッダ１３０５はまた、比較的小さい、またはいくつかのスライスもしくはピクチャタイプに対してだけに関連する何らかのピクチャ関連情報を含むことのできる高水準シンタックス構造である。ＳＥＩメッセージ１３０７は、復号化プロセスでは必要ではない可能性があるが、ピクチャ出力タイミングまたは表示、ならびに損失検出およびコンシールメントなど様々な他の目的に使用することのできる情報を搬送する。
【0122】
通信デバイスおよびシステム
図１５は、通信システムの例を示す図である。通信システム１４００は、エンコーダ１４０２、通信ネットワーク１４０４、およびデコーダ１４０６を備えることができる。エンコーダ１４０２は、有線接続または無線接続とすることのできる接続１４０８を介してネットワーク１４０４と通信することができる。エンコーダ１４０２は、図１のブロックベースのビデオエンコーダと同様のものとすることができる。エンコーダ１４０２は、シングルレイヤコーデック（例えば、図１）、またはマルチレイヤコーデックを含むことができる。デコーダ１４０６は、有線接続または無線接続とすることのできる接続１４１０を介して、ネットワーク１４０４と通信することができる。デコーダ１４０６は、図２のブロックベースのビデオデコーダと同様であり得る。デコーダ１４０６は、シングルレイヤコーデック（例えば、図２）、またはマルチレイヤコーデックを含むことができる。
図１５は、通信システムの例を示す図である。通信システム１４００は、エンコーダ１４０２、通信ネットワーク１４０４、およびデコーダ１４０６を備えることができる。エンコーダ１４０２は、有線接続または無線接続とすることのできる接続１４０８を介してネットワーク１４０４と通信することができる。エンコーダ１４０２は、図１のブロックベースのビデオエンコーダと同様のものとすることができる。エンコーダ１４０２は、シングルレイヤコーデック（例えば、図１）、またはマルチレイヤコーデックを含むことができる。デコーダ１４０６は、有線接続または無線接続とすることのできる接続１４１０を介して、ネットワーク１４０４と通信することができる。デコーダ１４０６は、図２のブロックベースのビデオデコーダと同様であり得る。デコーダ１４０６は、シングルレイヤコーデック（例えば、図２）、またはマルチレイヤコーデックを含むことができる。
【0123】
エンコーダ１４０２および／またはデコーダ１４０６は、これだけに限らないが、デジタルテレビジョン、無線同報通信システム、ネットワーク要素／端末、コンテンツもしくはウェブサーバ（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ）などのサーバ、携帯情報端末（ＰＤＡ）、ラップトップもしくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録システム、ビデオゲームデバイス、ビデオゲーム機、セルラ式もしくは衛星無線電話、デジタルメディアプレイヤ、および／または同様のものなど、広範囲の無線通信デバイスおよび／または無線送受信ユニット（ＷＴＲＵ）に組み込むことができる。
【0124】
通信ネットワーク１４０４は、適切なタイプの通信ネットワークとすることができる。例えば、通信ネットワーク１４０４は、複数の無線ユーザに、音声、データ、ビデオ、メッセージング、同報通信などのコンテンツを提供する複数のアクセスシステムとすることができる。通信ネットワーク１４０４は、無線帯域幅を含むシステムリソースの共用を介して、複数の無線ユーザにこのようなコンテンツにアクセスできるようにする。例えば、通信ネットワーク１４０４は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、および／または同様のものなど、１つまたは複数のチャネルアクセス方法を使用することができる。通信ネットワーク１４０４は、複数の接続された通信ネットワークを含むことができる。通信ネットワーク１４０４は、インターネット、および／またはセルラネットワーク、ＷｉＦｉホットスポット、インターネットサービスプロバイダ（ＩＳＰ）ネットワーク、および／または同様のものなどの１つまたは複数のプライベート商用ネットワークを含むことができる。
【0125】
図１６は、例示的なＷＴＲＵのシステム図である。図示のように、例示的なＷＴＲＵ１５００は、プロセッサ１５１８、送受信機１５２０、送信／受信素子１５２２、スピーカ／マイクロフォン１５２４、キーパッドもしくはキーボード１５２６、ディスプレイ／タッチパッド１５２８、取外し不能メモリ１５３０、取外し可能メモリ１５３２、電源１５３４、全地球測位システム（ＧＰＳ）チップセット１５３６、および／または他の周辺装置１５３８を含むことができる。ＷＴＲＵ１５００は、実施形態との一貫性を維持しながら前述の要素の任意の下位の組合せを含み得ることが理解されよう。さらにエンコーダ（例えば、エンコーダ１００）、および／またはデコーダ（例えば、デコーダ２００）が組み込まれる端末は、図１６のＷＴＲＵ１５００を参照して本明細書で示され、かつ述べられた要素のいくつかまたはすべてを含むことができる。
【0126】
プロセッサ１５１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィック処理ユニット（ＧＰＵ）、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械、および同様のものとすることができる。プロセッサ１５１８は、信号符号化、データ処理、電力制御、入出力処理、ならびに／またはＷＴＲＵ１５００が有線および／または無線環境で動作できるようにする任意の他の機能を実施することができる。プロセッサ１５１８は、送信／受信素子１５２２に結合され得る送受信機１５２０に結合することができる。図１６は、プロセッサ１５１８および送受信機１５２０を別の構成要素として示しているが、プロセッサ１５１８および送受信機１５２０は、電子パッケージおよび／またはチップへと共に一体化できることが理解されよう。
【0127】
送信／受信素子１５２２は、無線インターフェース１５１５を介して、別の端末に信号を送信し、かつ／またはそこから信号を受信するように構成することができる。例えば、１つまたは複数の実施形態では、送信／受信素子１５２２は、ＲＦ信号を送信し、かつ／または受信するように構成されたアンテナとすることができる。１つまたは複数の実施形態では、送信／受信素子１５２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信し、および／または受信するように構成された発光体／検出器とすることができる。１つまたは複数の実施形態では、送信／受信素子１５２２は、ＲＦ信号と光信号の両方を送信および／または受信するように構成することができる。送信／受信素子１５２２は、無線信号の任意の組合せを送信し、かつ／または受信するように構成され得ることが理解されよう。
【0128】
加えて、送信／受信素子１５２２は、図１６で単一の素子として示されているが、ＷＴＲＵ１５００は、任意の数の送信／受信素子１５２２を含むことができる。より具体的には、ＷＴＲＵ１５００は、ＭＩＭＯ技術を使用することができる。したがって、一実施形態では、ＷＴＲＵ１５００は、無線インターフェース１５１５を介して無線信号を送信おおび受信するために、２つ以上の送信／受信素子１５２２（例えば、複数のアンテナ）を含むことができる。
【0129】
送受信機１５２０は、送信／受信素子１５２２により送信される信号を変調し、かつ／または送信／受信素子１５２２により受信される信号を復調するように構成することができる。上記で述べたように、ＷＴＲＵ１５００は、マルチモード機能を有することができる。したがって、送受信機１５２０は、ＷＴＲＵ１５００に、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信できるようにするための複数の送受信機を含むことができる。
【0130】
ＷＴＲＵ１５００のプロセッサ１５１８は、スピーカ／マイクロフォン１５２４、キーパッド１５２６、および／またはディスプレイ／タッチパッド１５２８（例えば、液晶ディスプレイ（ＬＣＤ）表示ユニット、または有機発光ダイオード（ＯＬＥＤ）表示ユニット）に結合され、かつそこからユーザ入力データを受け取ることができる。プロセッサ１５１８はまた、ユーザデータを、スピーカ／マイクロフォン１５２４、キーパッド１５２６、および／またはディスプレイ／タッチパッド１５２８に出力することができる。さらにプロセッサ１５１８は、取外し不能メモリ１５３０および／または取外し可能メモリ１５３２など、任意のタイプの適切なメモリからの情報にアクセスし、データをそこに記憶することができる。取外し不能メモリ１５３０は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリ記憶デバイスを含むことができる。取外し可能メモリ１５３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカード、および同様のものを含むことができる。１つまたは複数の実施形態では、プロセッサ１５１８は、サーバまたはホームコンピュータ（図示せず）など、ＷＴＲＵ１５００上に物理的に位置していないメモリからの情報にアクセスし、かつそこにデータを記憶することができる。
【0131】
プロセッサ１５１８は、電源１５３４から電力を受け取ることができ、またその電力をＷＴＲＵ１５００における他の構成要素に配布し、かつ／または制御するように構成することができる。電源１５３４は、ＷＴＲＵ１５００に電力を供給するための任意の適切なデバイスとすることができる。例えば、電源１５３４は、１つまたは複数の乾電池（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池、および同様のものを含むことができる。
【0132】
プロセッサ１５１８は、ＧＰＳチップセット１５３６に結合することができ、それは、ＷＴＲＵ１５００の現在位置に関する位置情報（例えば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット１５３６からの情報に加えて、またはそれに代えて、ＷＴＲＵ１５００は、端末（例えば、基地局）から無線インターフェース１５１５を介して位置情報を受信し、かつ２つ以上の近くの基地局から受信した信号のタイミングに基づいてその位置を決定することができる。ＷＴＲＵ１５００は、実施形態との一貫性を維持しながら、任意の適切な位置決定法により、位置情報を取得できることが理解されよう。
【0133】
プロセッサ１５１８は、他の周辺装置１５３８にさらに結合することができ、それは、さらなる構成、機能、および／または有線もしくは無線接続性を提供する１つまたは複数のソフトウェアおよび／またはハードウェアモジュールを含むことができる。例えば、周辺装置１５３８は、加速度計、方向センサ、動きセンサ、近接センサ、電子コンパス、衛星送受信機、デジタルカメラおよび／またはビデオレコーダ（例えば、写真および／またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビジョン送受信機、手を使用しないヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、およびデジタルミュージックプレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザなどのソフトウェアモジュール、ならびに同様のものを含むことができる。
【0134】
例として、ＷＴＲＵ１５００は、無線信号を送信および／または受信するように構成することができ、またユーザ機器（ＵＥ）、移動局、固定または移動加入者ユニット、ページャ、セルラ式電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、タブレットコンピュータ、パーソナルコンピュータ、無線センサ、家庭用電子機器、または圧縮されたビデオ通信を受信し、かつ処理できる任意の他の端末を含むことができる。
【0135】
ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を用いて無線インターフェース１５１５を確立できるユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）など、無線技術を実施することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）、および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、進化型ＵＭＴＳ地上無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実施することができ、それは、ロングタームエボリューション（ＬＴＥ）、および／またはＬＴＥアドバンスト（ＬＴＥ－Ａ）を用いて無線インターフェース１５１５を確立することができる。
【0136】
ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、ＩＥＥＥ８０２．１６（例えば、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ＥＶ－ＤＯ、暫定基準２０００（ＩＳ－２０００）、暫定基準９５（ＩＳ－９５）、暫定基準８５６（ＩＳ－８５６）、グローバルシステムフォーモバイル通信（ＧＳＭ）、ＧＳＭエボリューション拡張データレート（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）、および同様のものなどの無線技術を実施することができる。ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５、または同様のものなどの無線技術を実施することができる。
【0137】
述べられた実施形態のうちの１つまたは複数のものの様々なハードウェア要素は、それぞれのモジュールに関して本明細書で述べられた様々な機能を行う（すなわち、実施する、実行する、および同様のものなど）「モジュール」と呼ばれることに留意されたい。本明細書で使用される場合、モジュールは、所与の実装形態に対して当業者が適切であると考えるハードウェア（例えば、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコントローラ、１つまたは複数のマイクロチップ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数の書替え可能ゲートアレイ（ＦＰＧＡ）、１つまたは複数のメモリデバイスなど）を含む。各述べられたモジュールはまた、それぞれのモジュールによって実行されるものとして述べられた１つまたは複数の機能を実行するための実行可能な命令を含むことができ、またこれらの命令は、ハードウェア（すなわち、ハードワイヤード）命令、ファームウェア命令、ソフトウェア命令、および／または同様のものの形をとる、または含むことができ、かつ一般に、ＲＡＭ、ＲＯＭなどと呼ばれるものなど、任意の適切な、１つまたは複数の非一時的なコンピュータ可読媒体に記憶され得る。
【0138】
特徴および要素が、特定の組合せで上記において述べられているが、当業者であれば、各特徴または要素は、単独で、または他の特徴および要素との任意の組合せで使用できることが理解されよう。さらに、本明細書で述べられる方法は、コンピュータまたはプロセッサにより実行するために、コンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読記憶媒体の例は、これだけに限らないが、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび取外し可能ディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ－ＲＯＭディスク、およびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含む。ソフトウェアに関連するプロセッサは、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用される無線周波数送受信機を実施するために使用することができる。
【符号の説明】
【0139】
１４０２ エンコーダ
１４０４ 通信ネットワーク
１４０６ デコーダ
１５００ ＷＴＲＵ
１５１８ プロセッサ
１５２０ トランシーバ（送受信機）
１５２２ アンテナ
１４０４ 通信ネットワーク
１４０６ デコーダ
１５００ ＷＴＲＵ
１５１８ プロセッサ
１５２０ トランシーバ（送受信機）
１５２２ アンテナ
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2023-05-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデコーダによって、サブブロックを予測する方法であって、
現在のブロックに対するブロックレベル初期動きベクトルを取得するステップと、
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定するステップと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成するステップと、
少なくとも前記第１の精緻化された動きベクトルを使用して、前記サブブロックを予測するステップと
を備える方法。
現在のブロックに対するブロックレベル初期動きベクトルを取得するステップと、
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定するステップと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成するステップと、
少なくとも前記第１の精緻化された動きベクトルを使用して、前記サブブロックを予測するステップと
を備える方法。
【請求項2】
サブブロック動き精緻化探索を実施することは、
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項１に記載の方法。
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項１に記載の方法。
【請求項3】
２つの異なる参照ピクチャにおける２つの参照ブロックの間の前記最適な一致を見出すことは、前記２つの参照ブロックの間の絶対差分の和を最小化することを含む請求項２に記載の方法。
【請求項4】
前記サブブロック動き精緻化探索は、選択された反復の最大数に制限される請求項１乃至３のいずれかに記載の方法。
【請求項5】
ビデオエンコーダによって、サブブロックを予測する方法であって、
現在のブロックに対するブロックレベル初期動きベクトルを取得するステップと、
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定するステップと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成するステップと、
少なくとも前記第１の精緻化された動きベクトルを使用して、前記サブブロックを予測するステップと
を備える方法。
現在のブロックに対するブロックレベル初期動きベクトルを取得するステップと、
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定するステップと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成するステップと、
少なくとも前記第１の精緻化された動きベクトルを使用して、前記サブブロックを予測するステップと
を備える方法。
【請求項6】
サブブロック動き精緻化探索を実施することは、
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項５に記載の方法。
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項５に記載の方法。
【請求項7】
２つの異なる参照ピクチャにおける２つの参照ブロックの間の前記最適な一致を見出すことは、前記２つの参照ブロックの間の絶対差分の和を最小化することを含む請求項６に記載の方法。
【請求項8】
前記サブブロック動き精緻化探索は、選択された反復の最大数に制限される請求項５乃至７のいずれかに記載の方法。
【請求項9】
現在のブロックに対するブロックレベル初期動きベクトルを取得することと、
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定することと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成することと、
少なくとも前記第１の精緻化された動きベクトルを使用して、サブブロックを予測することと
を少なくとも実施するよう構成されたビデオデコーダ装置。
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定することと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成することと、
少なくとも前記第１の精緻化された動きベクトルを使用して、サブブロックを予測することと
を少なくとも実施するよう構成されたビデオデコーダ装置。
【請求項10】
サブブロック動き精緻化探索を実施することは、
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項９に記載の装置。
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項９に記載の装置。
【請求項11】
２つの異なる参照ピクチャにおける２つの参照ブロックの間の前記最適な一致を見出すことは、前記２つの参照ブロックの間の絶対差分の和を最小化することを含む請求項１０に記載の装置。
【請求項12】
前記サブブロック動き精緻化探索は、選択された反復の最大数に制限される請求項９乃至１１のいずれかに記載の装置。
【請求項13】
現在のブロックに対するブロックレベル初期動きベクトルを取得することと、
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定することと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成することと、
少なくとも前記第１の精緻化された動きベクトルを使用して、サブブロックを予測することと
を少なくとも実施するよう構成されたビデオエンコーダ装置。
前記ブロックレベル初期動きベクトルの上の中心を置いている探索ウィンドウを決定することと、
前記探索ウィンドウ内のみにおいて、サブブロック動き精緻化探索を実施して、第１の精緻化された動きベクトルを生成することと、
少なくとも前記第１の精緻化された動きベクトルを使用して、サブブロックを予測することと
を少なくとも実施するよう構成されたビデオエンコーダ装置。
【請求項14】
サブブロック動き精緻化探索を実施することは、
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項１３に記載の装置。
２つの異なる参照ピクチャにおける２つの参照ブロックの間の最適な一致を見出すことを含み、前記２つの参照ブロックは、前記第１の精緻化された動きベクトルおよび第２の精緻化された動きベクトルによって、それぞれポイントされている、請求項１３に記載の装置。
【請求項15】
２つの異なる参照ピクチャにおける２つの参照ブロックの間の前記最適な一致を見出すことは、前記２つの参照ブロックの間の絶対差分の和を最小化することを含む請求項１４に記載の装置。
【請求項16】
前記サブブロック動き精緻化探索は、選択された反復の最大数に制限される請求項１３乃至１５のいずれかに記載の装置。
【請求項17】
１つ以上のプロセッサに、請求項１乃至８いずれかの方法を実施させる命令を含むコンピュータ読取り可能媒体。