特許 6854795 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6854795

(24)【登録日】2021年3月18日

(45)【発行日】2021年4月7日

(54)【発明の名称】補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ

(51)【国際特許分類】

   H04N 19/46 20140101AFI20210329BHJP

   H04N 19/59 20140101ALI20210329BHJP

   H04N 19/51 20140101ALI20210329BHJP

【ＦＩ】

   H04N19/46

   H04N19/59

   H04N19/51

【請求項の数】15

【外国語出願】

【全頁数】26

(21)【出願番号】特願2018-192243(P2018-192243)

(22)【出願日】2018年10月11日

(65)【公開番号】特開2019-75783(P2019-75783A)

(43)【公開日】2019年5月16日

【審査請求日】2020年6月12日

(31)【優先権主張番号】17197037.9

(32)【優先日】2017年10月18日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】エドパルム， ヴィクトル

(72)【発明者】

【氏名】リンス， ハンプス

【審査官】 鉢呂 健

(56)【参考文献】

【文献】 米国特許第０９７５６３３１（ＵＳ，Ｂ１）

【文献】 米国特許第０８９３４５４４（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１６／０１００１８７（ＵＳ，Ａ１）

【文献】 特表２００９−５４５２３４（ＪＰ，Ａ）

【文献】 特開２００８−１７７９０７（ＪＰ，Ａ）

【文献】 特開２０１２−１０５０３１（ＪＰ，Ａ）

【文献】 特開２０１１−１３０１１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ビデオストリームをビデオコーディングフォーマットで符号化するための方法であって、前記ビデオコーディングフォーマットが、補助フレーム（１１０）を前記符号化されたビデオストリーム（４１６）内に含めることをサポートし、前記補助フレーム（１１０）が、前記符号化されたビデオストリーム（４１６）内の別のフレーム（１１２）によって参照され、前記符号化されたビデオストリーム（４１６）内の別のフレームを補完する画像データを備え、前記補助フレーム（１１０）が、前記補助フレーム（１１０）の前記画像データが、前記符号化されたビデオストリーム（４１６）を復号するときに示されることは意図されず、代わりに、示される画像データを達成するために前記別のフレームのデータとともに使用されることを指示するフラグ値を備え、前記方法が、
ビデオ捕捉デバイス（１０４）によって捕捉された第１の画像データ（１０６ａ）を受信するステップと、
復号されるときの前記ビデオストリーム（１０６）のための意図される解像度を判定するステップ（Ｓ５０２）と、
第１のスケールダウンされた画像データ（１１４）を取得するために前記第１の画像データ（１０６ａ）をスケールダウンするステップ（Ｓ５０４）であって、前記第１のスケールダウンされた画像データ（１１４）が、前記意図される解像度よりも低い第１の解像度を有する、スケールダウンするステップ（Ｓ５０４）と、
空の第１の補助フレーム（１１０ａ）を準備するステップであって、前記第１の補助フレーム（１１０ａ）の前記画像データが、前記意図される解像度に等しい解像度を有し、かつ、すべてが同じ事前定義された値を有するビットを備える、準備するステップと、
前記第１のスケールダウンされた画像データ（１１４）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けるステップ（Ｓ５０６）と、
前記第１の補助フレーム（１１０ａ）をイントラフレームとして符号化するステップと、
前記第１の補助フレーム（１１０ａ）の前記画像データ（１０６）内の前記第１のスケールダウンされた画像データ（１１４）を前記意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定するステップと、
少なくとも１つの所定のマクロブロックサイズに従って、前記第１の画像変換の結果生じる画素の移動をサンプリングすることによって、第１の動きベクトル（１２０）を判定するステップ（Ｓ５０８）と、
前記第１の画像データ（１０６ａ）を前記第１の補助フレーム（１１０ａ）を参照するインターフレームとして第１のフレーム（１１２ａ）に符号化するステップであって、前記第１のフレーム（１１２ａ）の動きベクトル（１２０）が前記第１の動きベクトル（１２０）に対応する、符号化するステップと
を備える、方法。

【請求項2】

前記ビデオ捕捉デバイス（１０４）によって捕捉された第２の画像データ（１０６ｂ）を受信するステップと、
第２のスケールダウンされた画像データを取得するために前記第２の画像データ（１０６ｂ）をスケールダウンするステップであって、前記第２のスケールダウンされた画像データの解像度が前記第１の解像度である、スケールダウンするステップと、
空の第２の補助フレーム（１１０ｂ）を準備するステップであって、前記第２の補助フレーム（１１０ｂ）の前記画像データが前記意図される解像度に等しい解像度を有する、準備するステップと、
前記第２のスケールダウンされた画像データを前記第２の補助フレーム（１１０ｂ）の前記画像データ内に貼り付けるステップと、
前記第２の補助フレーム（１１０ｂ）を前記第１の補助フレーム（１１０ａ）を参照するインターフレームとして符号化するステップと、
前記第２の補助フレーム（１１０ｂ）の前記画像データ内の前記第２のスケールダウンされた画像データを前記意図される解像度を有する第２のアップスケールされた画像データにアップスケールするための第２の画像変換を判定するステップと、
前記第２の画像変換をサンプリングすることによって、第２の動きベクトルを判定するステップと、
前記第２の画像データ（１０６ｂ）を、前記第２の補助フレーム（１１０ｂ）を参照するインターフレームとして第２のフレーム（１１２ｂ）に符号化するステップであって、前記第２のフレーム（１１２ｂ）の動きベクトルが前記第２の動きベクトルに対応する、符号化するステップと
をさらに備える、請求項１に記載の方法。

【請求項3】

ビデオ捕捉デバイス（１０４）によって第３の画像データ（１０６ｃ）を捕捉するステップと、
第３のスケールダウンされた画像データ（１１６）を取得するために前記第３の画像データ（１０６ｃ）をスケールダウンするステップであって、前記第３のスケールダウンされた画像データ（１１６）が第２の解像度を有し、前記第２の解像度が、前記第１の解像度とは異なり、前記意図される解像度よりも低い、スケールダウンするステップと、
空の第３の補助フレーム（１１０ｃ）を準備するステップであって、前記第３の補助フレーム（１１０ｃ）の前記画像データが、前記意図される解像度に等しい解像度を有する、準備するステップと、
前記第３のスケールダウンされた画像データ（１１６）を前記第３の補助フレーム（１１０ｃ）の前記画像データ内に貼り付けるステップと、
前記第３の補助フレーム（１１０ｃ）をイントラフレームとして符号化するステップと、
前記第３の補助フレーム（１１０ｃ）の前記画像データ内の前記第３のスケールダウンされた画像データを前記意図される解像度を有する第３のアップスケールされた画像データにアップスケールするための第３の画像変換を判定するステップと、
前記第３の画像変換をサンプリングすることによって、第３の動きベクトルを判定するステップと、
前記第３の画像データを、前記第３の補助フレーム（１１０ｃ）を参照するインターフレームとして第３のフレーム（１１２ｃ）に符号化するステップであって、前記第３のフレーム（１１２ｃ）の動きベクトルが前記第３の動きベクトルに対応する、符号化するステップと
をさらに備える、請求項１または２に記載の方法。

【請求項4】

前記第１の画像データ（１０６ａ）のセクションＲＯＩ１（３０２）が前記符号化されたビデオストリーム（４１６）に第３の解像度で含まれるべきと判定するステップであって、前記第３の解像度が前記第１の解像度よりも高い、判定するステップと、
前記ＲＯＩ１（３０２）が前記第１のスケールダウンされた画像データ（１１４）に重複しないために、前記ＲＯＩ１（３０２）が、前記第１のスケールダウンされた画像データ（１１４）を上書きしないように、または前記第１のスケールダウンされた画像データ（１１４）によって上書きされるように、前記第３の解像度を有する前記ＲＯＩ１（３０２）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けるステップ（Ｓ５０６）と、
前記意図される解像度を有する前記ＲＯＩ１（３０２）を前記第１のアップスケールされた画像データ内に挿入するための第４の画像変換を判定するステップと、
前記第４の画像変換をサンプリングすることによって、第４の動きベクトル（１２０）を判定するステップと
をさらに備え、
前記第１の画像データ（１０６ａ）をインターフレームとして前記第１のフレーム（１１２ａ）に前記符号化するステップ（Ｓ５１０）が、前記第１のフレーム（１１２ａ）の動きベクトルが前記第１の動きベクトルおよび前記第４の動きベクトルに対応すると判定するステップを備える、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ビデオ捕捉デバイスによって捕捉された第２の画像データを受信するステップと、
第２のスケールダウンされた画像データを取得するために前記第２の画像データをスケールダウンするステップであって、前記第２のスケールダウンされた画像データの解像度が前記第１の解像度である、スケールダウンするステップと、
空の第２の補助フレームを準備するステップであって、前記第２の補助フレームの前記画像データが、前記意図される解像度と等しい解像度を有する、準備するステップと、
前記第２のスケールダウンされた画像データを、前記第２の補助フレームの前記画像データに貼り付けるステップと、
前記第１の補助フレームを参照するインターフレームとして前記第２の補助フレームを符号化するステップと、
前記第２の補助フレームの前記画像データ内の前記第２のスケールダウンされた画像データを、前記意図された解像度を有する第２のスケールアップされた画像データにスケールアップするための第２の画像変換を判定するステップと、
前記第２の画像変換をサンプリングすることによって、第２の動きベクトルを判定するステップと、
前記第２の画像データを前記第２の補助フレームを参照するインターフレームとして第２のフレームに符号化するステップであって、前記第２のフレームの動きベクトルが、前記第２の動きベクトルに対応する、符号化するステップと、
前記第２の画像データ（１０６ｂ）のセクションＲＯＩ２が前記符号化されたビデオストリーム（４１６）内に前記第３の解像度で含まれるべきと判定するステップと、
前記ＲＯＩ２が、前記第２のスケールダウンされた画像データを上書きしないように、または前記第２のスケールダウンされた画像データによって上書きされるように、前記第３の解像度を有する前記ＲＯＩ２を前記第２の補助フレーム（１１０ｂ）の前記画像データ内に貼り付けるステップと、
前記意図される解像度を有する前記ＲＯＩ２を前記第２のアップスケールされた画像データ内に挿入するための第５の画像変換を判定するステップと、
前記第５の画像変換をサンプリングすることによって、第５の動きベクトルを判定するステップと
をさらに備え、
前記第２の画像データ（１０６ｂ）をインターフレームとして前記第２のフレーム（１１２ｂ）に前記符号化するステップが、前記第２のフレーム（１１２ｂ）の動きベクトルが前記第２の動きベクトルおよび前記第５の動きベクトルに対応すると判定するステップを備える、請求項４に記載の方法。

【請求項6】

前記ＲＯＩ１（３０２）および前記ＲＯＩ２が、それぞれ、前記第１のおよび前記第２の補助フレーム（１１０ａ〜ｂ）の前記画像データ内の対応する位置に貼り付けられる、請求項５に記載の方法。

【請求項7】

前記第３の解像度が、前記意図される解像度に等しい、および前記意図される解像度よりも大きい、のうちの１つである、請求項４から６のいずれか一項に記載の方法。

【請求項8】

前記意図される解像度が、前記ビデオ捕捉デバイス（１０４）によって捕捉された前記画像データ（１０６）の解像度に等しい、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記ビデオコーディングフォーマットが、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、Ｈ．２６５、Ｈ．２６４、ＶＰ１０、ＶＰ９、ＡＶ１、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、およびＨ．２６６のうちの１つである、請求項１から８のいずれか一項に記載の方法。

【請求項10】

ビデオストリームエンコーダ（１０８）が接続されたデジタルネットワーク（４０２）のビットレートに基づいて前記第１の解像度を判定するステップ（Ｓ５０２）
をさらに備える、請求項１から９のいずれか一項に記載の方法。

【請求項11】

処理能力を有するデバイスによって実行されると、請求項１から１０のいずれか一項に記載の方法を前記デバイスに実行させる命令を含む非一時的コンピュータ読み取り可能記憶媒体。

【請求項12】

ビデオ捕捉デバイス（１０４）によって捕捉されたビデオストリーム（１０６）をビデオコーディングフォーマットで符号化するように構成されたビデオストリームエンコーダ（１０８）であって、前記ビデオコーディングフォーマットが、補助フレーム（１１０）を前記符号化されたビデオストリーム（４１６）内に含めることをサポートし、前記補助フレーム（１１０）が、前記符号化されたビデオストリーム（４１６）内の別のフレームによって参照され、かつ、前記符号化されたビデオストリーム（４１６）内の別のフレームを補完する画像データを備え、前記補助フレームが、前記補助フレーム（１１０）の前記画像データが、前記符号化されたビデオストリーム（４１６）を復号するときに示されることは意図されず、代わりに、示される画像データを達成するために前記別のフレームのデータとともに使用されることを指示するフラグ値を備え、前記ビデオストリームエンコーダ（１０８）が、
前記ビデオ捕捉デバイス（１０４）によって捕捉された第１の画像データ（１０６ａ）を受信することと、
復号されるときの前記ビデオストリームのための意図される解像度を判定すること（Ｓ５０２）と、
第１のスケールダウンされた画像データ（１１４）を取得するために前記第１の画像データ（１０６ａ）をスケールダウンすること（Ｓ５０４）であって、前記第１のスケールダウンされた画像データ（１１４）が、前記意図される解像度よりも低い第１の解像度を有する、スケールダウンすること（Ｓ５０４）と、
空の第１の補助フレーム（１１０ａ）を準備することであって、前記第１の補助フレーム（１１０ａ）の前記画像データが、前記意図される解像度に等しい解像度を有し、すべてが同じ事前定義された値を有するビットを備える、準備することと、
前記第１のスケールダウンされた画像データ（１１４）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けること（Ｓ５０６）と、
前記第１の補助フレーム（１１０ａ）をイントラフレームとして符号化することと、
前記第１の補助フレーム（１１０ａ）の前記画像データ（１０６ａ）内の前記第１のスケールダウンされた画像データ（１１４）を前記意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定することと、
少なくとも１つの所定のマクロブロックサイズに従って、前記第１の画像変換の結果生じた画素の移動をサンプリングすることによって、第１の動きベクトル（１２０）を判定すること（Ｓ５０８）と、
前記第１の画像データ（１０６ａ）を前記第１の補助フレーム（１１０ａ）を参照するインターフレームとして第１のフレーム（１１２ａ）に符号化することであって、前記第１のフレーム（１１２ａ）の動きベクトル（１２０）が前記第１の動きベクトル（１２０）に対応する、符号化することと
を行うようにさらに構成されている、ビデオストリームエンコーダ（１０８）。

【請求項13】

請求項１２に記載のビデオストリームエンコーダ（１０８）と、
デコーダであって、前記ビデオストリームエンコーダ（１０８）が、デジタルネットワーク（４０２）を介して前記デコーダ（４０４）に接続されている、デコーダと、
を含む、システムであって、
前記ビデオストリームエンコーダ（１０８）が、
前記ビデオ捕捉デバイスによって捕捉された第１の画像データを受信することと、
復号されるときの前記ビデオストリームのための意図される解像度を判定することと、
第１のスケールダウンされた画像データを取得するために前記第１の画像データをスケールダウンすることであって、前記第１のスケールダウンされた画像データが、前記意図される解像度よりも低い第１の解像度を有する、スケールダウンすることと、
空の第１の補助フレームを準備することであって、前記第１の補助フレームの前記画像データが、前記意図される解像度に等しい解像度を有し、すべてが同じ事前定義された値を有するビットを備える、準備することと、
前記第１のスケールダウンされた画像データを前記第１の補助フレームの前記画像データ内に貼り付けることと、
前記第１の補助フレームをイントラフレームとして符号化することと、
前記第１の補助フレームの前記画像データ内の前記第１のスケールダウンされた画像データを前記意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定することと、
少なくとも１つの所定のマクロブロックサイズに従って、前記第１の画像変換の結果生じた画素の移動をサンプリングすることによって、第１の動きベクトルを判定することと、
前記第１の画像データを前記第１の補助フレームを参照するインターフレームとして第１のフレームに符号化することであって、前記第１のフレームの動きベクトルが前記第１の動きベクトルに対応する、符号化することと
を行うようにさらに構成され、
前記デコーダ（４０４）が、
前記ビデオストリームエンコーダ（１０８）の前記ビデオコーディングフォーマットで符号化されたビデオストリームを復号するように構成され、前記ビデオストリームエンコーダ（１０８）が、
前記デジタルネットワーク（４０２）を介して前記意図される解像度を受信することと、
第１の解像度を受信することと、
前記受信された意図される解像度および前記受信された第１の解像度に従って、前記ビデオストリーム（１０６）を符号化することと、
前記デジタルネットワーク（４０２）を介して前記符号化されたビデオストリーム（４１６）を送信することと、
前記デジタルネットワーク（４０２）を介して、前記符号化されたビデオストリーム（４１６）を受信することと、
復号されたビデオストリームを達成するために、前記符号化されたビデオストリーム（４１６）を復号することと、
を行うように適合されている、システム。

【請求項14】

ディスプレイ（４１８）をさらに備え、前記ビデオストリームエンコーダ（１０８）が、
前記第１の画像データのセクションＲＯＩ１（３０２）が前記符号化されたビデオストリーム（４１６）内に前記第１の解像度よりも高い第３の解像度で含まれるべきと判定することと、
前記ＲＯＩ１が前記第１のスケールダウンされた画像データ（１１４）に重複しないために、前記ＲＯＩ１（３０２）が、前記第１のスケールダウンされた画像データ（１１４）を上書きしないよう、または前記第１のスケールダウンされた画像データ（１１４）によって上書きされるよう、前記第３の解像度を有する前記ＲＯＩ１（３０２）を前記第１の補助フレーム（１１０ａ）の前記画像データ内に貼り付けることと、
前記意図される解像度を有する前記ＲＯＩ１（３０２）を前記第１のアップスケールされた画像データ内に挿入するための第４の画像変換を判定することと、
前記第４の画像変換をサンプリングすることによって、第４の動きベクトルを判定することと
を行うようにさらに構成されており、
前記第１の画像データ（１０６ａ）をインターフレームとして前記第１のフレーム（１１２ａ）に前記符号化するステップが、前記第１のフレーム（１１２ａ）の動きベクトルが前記第１の動きベクトル（１２０）および前記第４の動きベクトルに対応すると判定することを備え、
前記デコーダ（４０４）が、
復号されたビデオストリームを達成するために、前記符号化されたビデオストリーム（４１６）を復号することであって、前記第１の補助フレーム（１１０ａ）の前記画像データ（１０６）から前記ＲＯＩ１（３０２）を抽出することを備える、復号することと、
前記ＲＯＩ１（３０２）を前記復号されたビデオストリームとは個別に前記ディスプレイ（４１８）上に表示すること（４１２）
を行うようにさらに構成されている、請求項１３に記載のシステム。

【請求項15】

前記第３の解像度が前記意図される解像度よりも大きく、前記ＲＯＩ１（３０２）を前記復号されたビデオストリームとは個別に前記ディスプレイ（４１８）上に前記表示する（４１２）ステップが、前記ＲＯＩ１（３０２）を前記ディスプレイ（４１８）上に前記第３の解像度で表示することを備える、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ符号化の分野に関する。詳細には、本発明は、補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダに関する。

【背景技術】

【0002】

過去数年において、デジタルビデオおよびオンラインビデオならびにそれらのアプリケーションの大きな普及が見られた。たとえば、インターネットを介した、ビデオ、すなわち、ライブビデオおよび記録ビデオのストリーミングは、テレビジョンまたはＤＶＤのレンタルなど、旧来のビデオ視聴（ｖｉｅｗｉｎｇ）よりもさらに普及してきている。ビデオをストリーミングするときに生じ得る問題は、ストリーミングが行われるインターネット接続の帯域幅がストリーミングされるビデオの解像度（ＨＤ、４Ｋ、１０８０Ｐ、など）に対して低すぎること、またはインターネット接続の帯域幅が変動することである。不十分な帯域幅により、ストリーミングビデオのスタッタ（ｓｔｕｔｔｅｒ）が生じる場合があり、これは、ラグによりビデオを観えないものにする。限定された帯域幅のインターネット接続上でビデオのストリーミングを準備する１つの方法は、レート制御である。レート制御は、コーディングされたビットストリームが成功裏に送信され得ることを確実にし、限定された帯域幅を十分に使用させるとして、レート制御は、ビデオコーディングにおいて重要な役割を担う。言い換えれば、レート制御は、固定または可変の帯域幅に従ってビデオ出力ビットを調節する。一般には、レート制御は、低ビットレートで不良品質をもたらすことが多い圧縮およびフレームレートを扱う。

【0003】

米国特許出願第２００４／１２０３９８号（Ｚｈａｎｇら）は、各画像が２つのフィールドのピクチャである、画像のシーケンスを含むビデオを適応的に符号化するための方法を開示する。ビデオの各画像はフレームとして符号化され、ビデオの各画像を２つのフィールドとして同時に符号化し、レート歪み特性がそれらのフィールドから抽出されると同時に、符号化されたフレームからレート歪み特性が抽出される。抽出されたレート歪み特性に従ってコスト関数のパラメータ値λが判定され、抽出されたレート歪み特性およびパラメータλからコスト関数が構築される。次いで、その画像に関して構築されたコスト関数の値に応じて、各画像に対してフレーム符号化またはフィールド符号化のいずれかが選択される。

【0004】

米国特許第６ ２２６ ３２７６号（Ｉｇａｒａｓｈｉら）は、ピクチャを表すフレームを、エリアからなるものと見なすエンコーダを開示する。各エリアに関して、エンコーダは、そのエリアにおいて空間的冗長性を低減するのにフレームベースの直交変換またはフィールドベースの直交変換のどちらが最も効率的であるかを決定する。各エリアに関して、エンコーダは、そのエリアにおいて時間的冗長性を低減するのにフレームベースの予測符号化またはフィールドベースの予測符号化のどちらが最も効率的であるかを決定する。エンコーダは、符号化された信号を生成するために、最も効率的な直交変換技法を使用し、最も効率的な予測符号化技法を使用して、ピクチャフレームの各エリアを符号化する。デコーダは、符号化された信号を復号する。符号化された信号は、記録媒体上に記録され、送信チャネル上で送信されるか、またはブロードキャストされる。

【0005】

「Ａｎ ａｄａｐｔｉｖｅ ｄｉｖｉｄｅ−ａｎｄ−ｐｒｅｄｉｃｔ ｃｏｄｉｎｇ ｆｏｒ ｉｎｔｒａ−ｆｒａｍｅ ｏｆ Ｈ．２６４／ＡＶＣ」（Ｐｉａｏら）は、Ｈ．２６４／ＡＶＣの漸進的ビデオシーケンスに対して提案されるイントラフレームコーディング方式を開示する。提案される方法では、何のアンチエイリアシングフィルタリングもなしに、水平方向または垂直方向のいずれかで１つおきの画素がサンプリングされ、偶数の画素および奇数の画素の２つのサブフレームが次いで生成される。偶数の画素および奇数の画素のサブフレームは、それぞれ、イントラフレームコーディング方法およびインターフレームコーディング方法によってコーディングされる。提案される方法は、マルチレベルの事例に拡張可能であり、この場合、偶数の画素のサブフレームは、コーディング効率をさらに改善するために、偶数の画素のサブフレームおよび奇数の画素のサブフレームなどに再度分割される。

【0006】

したがって、この文脈内で改善の必要性が存在する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】米国特許出願第２００４／１２０３９８号

【特許文献2】米国特許第６ ２２６ ３２７６号

【非特許文献】

【0008】

【非特許文献1】Ａｎ ａｄａｐｔｉｖｅ ｄｉｖｉｄｅ−ａｎｄ−ｐｒｅｄｉｃｔ ｃｏｄｉｎｇ ｆｏｒ ｉｎｔｒａ−ｆｒａｍｅ ｏｆ Ｈ．２６４／ＡＶＣ

【発明の概要】

【発明が解決しようとする課題】

【0009】

上記に照らして、したがって、上記で論じた問題を克服するかまたは少なくとも緩和することが本発明の目的である。具体的には、ビデオストリームの捕捉されたフレームの複雑な変換が必要とされるとき、ビデオ捕捉システムのリソース上の負荷を低減し、最初に捕捉された画像データの検索を円滑にする符号化方法およびエンコーダを提供することが目的である。

【課題を解決するための手段】

【0010】

本発明の第１の態様によれば、ビデオストリームをビデオコーディングフォーマットで符号化するための方法であって、ビデオコーディングフォーマットが、補助フレームを符号化されたビデオストリーム内に含めることをサポートし、補助フレームが、符号化されたビデオストリーム内の別のフレームによって参照され、符号化されたビデオストリーム内の別のフレームを補完する画像データを備え、補助フレームが、補助フレームの画像データが、符号化されたビデオストリームを復号するときに示されることは意図されず、代わりに、画像データが示されることを達成するために前記別のフレームのデータに関して使用されることが意図されることを指示するフラグ値を備える、符号化するための方法が提供される。

【0011】

この方法は、
ビデオ捕捉デバイスによって捕捉された第１の画像データを受信するステップと、
復号されるとき、ビデオストリームに対して意図される解像度を判定するステップと、
第１のスケールダウンされた画像データを取得するために第１の画像データをスケールダウンするステップであって、第１のスケールダウンされた画像データが意図される解像度よりも低い第１の解像度を有する、スケールダウンするステップと、
空の第１の補助フレームを準備するステップであって、第１の補助フレームの画像データが、意図される解像度に等しい解像度を有し、すべてが同じ事前定義された値を有するビットを備える、準備するステップと、
第１のスケールダウンされた画像データを第１の補助フレームの画像データ内に貼り付けるステップと、
第１の補助フレームをイントラフレームとして符号化するステップと、
第１の補助フレームの画像データ内の第１のスケールダウンされた画像データを意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定するステップと、
少なくとも１つの所定のマクロブロックサイズに従って、第１の画像変換の結果生じる画素の移動をサンプリングすることによって、第１の動きベクトルを判定するステップと、
第１の画像データを第１の補助フレームを参照するインターフレームとして第１のフレームに符号化するステップであって、第１のフレームの動きベクトルが第１の動きベクトルに対応する、符号化するステップとを備える。

【0012】

補助フレームは、一般に、符号化されたビデオストリーム内の（マスタ画像としても知られている）別のフレームを補完する画像データのストレージを意味する。言い換えれば、前記別のフレームは補助フレームを参照する。補助フレームは、その補助フレームが補完するフレームの表示を助けるために様々な形態で使用され得るが、一般に、そのようなものとして表示されない。補助フレームは、補助画像、補助画像項目、非表示フレーム、補助ピクチャなどと呼ばれることがある。補助フレームの知られているアプリケーションは、補助フレームをアルファプレーンまたは深度マップ用に使用することを含む。

【0013】

第１のフレーム（および、第２のフレーム、第３のフレームの下のフレーム）も、したがって、マスタ画像またはマスタフレームと呼ばれることがある。

【0014】

本開示において、「解像度」という用語は、一般に、画像内の画素の数を指す。解像度は、時々、画像の幅および高さ、ならびに画像内の画素の総数によって識別される。解像度に関する別の用語は、「サイズ」または画素寸法である。

【0015】

「意図される解像度」は、一般に、ビデオストリームが示されることが意図される解像度、たとえば、４Ｋ、１０８０Ｐ、７２０Ｐ、ＤＶＤ、ＶＣＤ、１９２０×１０８０などを意味する。たとえば、クライアントは一定の解像度（たとえば、１０８０Ｐ）のビデオストリームを要求することができ、エンコーダは、さもなければ、符号化されたビデオストリームが、たとえば、エンコーダ内のハードコード値で、または要求側クライアントのＩＰアドレスまたは類似物に基づいて、どの解像度で復号されることが意図されるかを知ることができる。意図される解像度は、画素の総量およびアスペクト比、たとえば、３．６メガピクセルおよび１６^＊９を備える場合もある。意図される解像度は、いくつかの実施形態によれば、符号化されたビデオストリームが示されることが意図される電子画像デバイスの画素密度に基づき得る。

【0016】

「第１の補助フレームの画像データは意図される解像度に対応する解像度を有する」という表現（および、第２のフレーム、または第３のフレームなどに関する同様の表現）は、一般に、補助フレームの画像データのサイズは、意図される解像度を有する画像のサイズ、たとえば、１０８０Ｐの意図される解像度に対して１９２０×１０８０に対応することを意味する。

【0017】

たとえば、Ｈ．２６５符号化規格（および、ＧｏｏｇｌｅのＶＰ１０など、他のさらに新しい符号化規格）内では、フレームは、フレームがユーザに表示されないことを意味する「非表示」としてタグ付けされ得る。Ｈ．２６５では、たとえば、タグ付けは、スライスヘッダ内のｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇを偽にセットするか、またはＳＥＩヘッダ内のｎｏ＿ｄｉｓｐｌａｙ＿ｆｌａｇを真にセットすることによって行うことができる。

【0018】

本発明者は、補助フレームの画像データが、ビデオ捕捉デバイスによって捕捉された画像データのダウンスケールされたバージョンを備え、意図される解像度を再び有するように、画像データのダウンスケールされたバージョンをスケールアップするように補助フレームを参照するフレームの動きベクトルが算出／判定されるという点で、そのような補助フレームが、補助フレームを参照するフレームとともに、レート制御のために使用され得ることを実現した。ダウンスケーリング係数、すなわち、第１の解像度は、符号化されたビデオストリームのビットサイズの要求される低減を達成するように判定され得る。補助フレームのダウンスケールされた画像は、意図される解像度を有する画像データと比較してより少ないビットを使用して符号化され得るため、符号化されたビデオストリームを送信するために必要とされる帯域幅が低減され得る。この実施形態では、ダウンスケールされた画像データを備えない補助フレームの画像データの一部分は、空になり、したがって、非常に少数のビットを使用して符号化され得る。たとえば、第１の補助フレームをＩフレームとして符号化するステップは、第１のスケールダウンされた画像データを備える第１の補助フレームの画像データを符号化するための第１のマクロブロックサイズおよび第１のスケールダウンされた画像データを備えない第１の補助フレームの画像データを符号化するための第２のマクロブロックサイズを使用することであって、第１のマクロブロックサイズが第２のマクロブロックサイズよりも小さい、使用することを備え得る。したがって、レート制御を達成するさらなる方法が提供され得る。

【0019】

上記の方法は、エンコーダによって使用されるビデオコーディングフォーマットの規格に従うため、本実施形態は、符号化されたビデオストリームがそのようなビデオコーディングフォーマットをサポートする標準的なビデオストリームデコーダによって復号され得るという点でさらに有利であり得る。さらに、ユーザは、ストリームを再度開始せずに、基準に準拠した方法で低解像度ビデオストリームを受信することが可能であることから恩恵を受けることになる。

【0020】

いくつかの実施形態では、この方法は、
ビデオ捕捉デバイスによって捕捉された第２の画像データを受信するステップと、
第２のスケールダウンされた画像データを取得するために第２の画像データをスケールダウンするステップであって、第２のスケールダウンされた画像データの解像度が第１の解像度である、スケールダウンするステップと、
空の第２の補助フレームを準備するステップであって、第２の補助フレームの画像データが意図される解像度に等しい解像度を有する、準備するステップと、
第２のスケールダウンされた画像データを第２の補助フレームの画像データ内に貼り付けるステップと、
第２の補助フレームを第１の補助フレームを参照するインターフレームとして符号化するステップと、
第２の補助フレームの画像データ内の第２のスケールダウンされた画像データを意図される解像度を有するアップスケールされた画像データにアップスケールするための第２の画像変換を判定するステップと、
第２の画像変換をサンプリングすることによって、第２の動きベクトルを判定するステップと、
第２のフレームを、第２の補助フレームを参照するインターフレームとして第２のフレームに符号化するステップであって、第２のフレームの動きベクトルが第２の動きベクトルに対応する、符号化するステップと
をさらに備える。

【0021】

本明細書で説明するビデオ符号化フォーマットなど、いくつかのビデオ圧縮規格は、イントラフレーム、たとえば、Ｉフレーム、およびインターフレーム、たとえば、ＰフレームまたはＢフレームの観点から実装される時間的ビデオ圧縮を規定する。イントラフレームは、基本的に、符号化されることになる画像フレーム内の情報のみを使用して符号化される画像フレームである。さらに、イントラフレームは、符号化されることになる画像フレームに関して捕捉されたすべての画像データから算出される。したがって、イントラフレームは、時々、フルフレームと呼ばれる。予測フレームまたは差分フレームとも呼ばれるインターフレームは、前に（かつ、オプションで、後に）符号化されたフレームからの情報ならびに現在符号化されているフレームからの情報に基づき、すなわち、インターフレームは、前の（かつ、オプションで、後の）画像フレーム内の時間的に冗長な情報を利用するとして説明され得る。このタイプのコーデック（圧縮規格）を実装するエンコーダは、一般に、イントラフレームを、その後に、所定の数のインターフレームを、次いで、新しいイントラフレームを、その後に、同じ数のインターフレームを生成する。イントラフレームの後にいくつかのインターフレームが続くこのシーケンスの長さは、グループオブピクチャ長（ＧＯＰ−ｌｅｎｇｔｈ）と呼ばれることが多い。いくつかの圧縮規格、たとえば、Ｈ．２６５の場合、ＧＯＰ長は、符号化の間に調整され得る。

【0022】

本実施形態に関して、第２の補助フレームの符号化は、時間的ビデオ圧縮を利用する。第２の補助フレームの符号化は、したがって、前の、第１の補助フレーム内の時間的に冗長な情報を利用する。符号化された第２の補助フレームは、したがって、第１の補助フレームの画像データ（すなわち、第１の画像データ）および第１の補助フレーム内に存在しない画像コンテンツを記述する画像データの関係で第２の画像データの動きベクトル変位と（残差値とも呼ばれる）予測誤差の両方を包含し得る。

【0023】

上記の開示された実施形態は、反復的な様式で実行され得ることに留意されたい、これは、この実施形態が、定義されたＧＯＰ長に応じて、ビデオ捕捉デバイスによって捕捉された第３の画像データ、第４の画像データなどに対して繰り返されてよいことを意味する。この後で、イントラフレームの後にいくつかのインターフレームが続く新しいシーケンスが開始され得る。したがって、いくつかの実施形態によれば、この方法は、
ビデオ記録デバイスによって第３の画像データを捕捉するステップと、
第３のスケールダウンされた画像データを取得するために第３の画像データをスケールダウンするステップであって、第３のスケールダウンされた画像データが第２の解像度を有し、第２の解像度が、第１の解像度とは異なり、意図される解像度よりも低い、スケールダウンするステップと、
空の第３の補助フレームを準備するステップであって、第３の補助フレームの画像データが意図される解像度に等しい解像度を有する、準備するステップと、
第３のスケールダウンされた画像データを第３の補助フレームの画像データ内に貼り付けるステップと、
第３の補助フレームをイントラフレームとして符号化するステップと、
第３の補助フレームの画像データ内の第３のスケールダウンされた画像データを意図される解像度を有する第３のアップスケールされた画像データにアップスケールするための第３の画像変換を判定するステップと、
第３の画像変換をサンプリングすることによって、第３の動きベクトルを判定するステップと、
第３の画像データを第３の補助フレームを参照するインターフレームとして第３のフレームに符号化するステップであって、第３のフレームの動きベクトルが第３の動きベクトルに対応する、符号化するステップと
をさらに備える。

【0024】

新しいＧＯＰが開始するフレーム上のダウンスケール係数（第２の解像度が第１の解像度とは異なる）を変更し、インターフレーム符号化された補助フレームをもたらすことは、インターフレームが補助フレームのすべての画像データから算出され、したがって、異なるダウンスケール係数（第１の解像度）に基づいて符号化された前のフレームに依存しないという点で有利であり得る。ダウンスケール係数が符号化の間に変更されることを可能にすることによって、エンコーダは、符号化されたビデオストリームのサイズの低減、たとえば、利用可能な帯域幅の変更に関する新しい要件に非常に速やかに対応することができ、したがって、改善されたレート制御を提供する。いくつかの実施形態によれば、エンコーダが新しい要件にさらに急速に適応することができるように、ＧＯＰ長も符号化の間に変更される。

【0025】

いくつかの実施形態によれば、この方法は、
第１の画像データＲＯＩ１のセクションが符号化されたビデオストリーム内に第３の解像度で含まれるべきと判定するステップであって、第３の解像度が第１の解像度よりも高い、判定するステップと、
ＲＯＩ１が第１のスケールダウンされた画像データに重複しないために、ＲＯＩ１が、第１のスケールダウンされた画像データを上書きしないように、または第１のスケールダウンされた画像データによって上書きされるように、第３の解像度を有するＲＯＩ１を第１の補助フレームの画像データ内に貼り付けるステップと、
意図される解像度を有するＲＯＩ１を第１のアップスケールされた画像データ内に挿入するための第４の画像変換を判定するステップと、
第４の画像変換をサンプリングすることによって、第４の動きベクトルを判定するステップと
をさらに含み、
第１の画像データをインターフレームとして第１のフレームに符号化するステップは、第１のフレームの動きベクトルが第１の動きベクトルおよび第４の動きベクトルに対応すると判定するステップを備える。

【0026】

この実施形態では、第１の補助フレームの画像データの空の部分は、視聴者（または、画像分析ソフトウェア）が特別な関心をもつ可能性があるより高い解像度の画像データ、たとえば、人物の顔または車のナンバープレートを提供するために使用される。第１のフレームの動きベクトルを再設定することによって、ビデオ捕捉デバイスによって捕捉された画像データの任意の所与の関心領域に対して復号されたビデオストリーム内でより高い解像度が達成され得る。第４の動きベクトルは、その結果、ＲＯＩ１を第１のアップスケールされた画像データ内の（第１の画像データ内のＲＯＩ１の位置に対応する）正確な位置内にマッピングする。

【0027】

いくつかの実施形態によれば、この方法は、
第２の画像データＲＯＩ２のセクションが符号化されたビデオストリーム内に第３の解像度で含まれるべきと判定するステップと、
ＲＯＩ２が、第２のスケールダウンされた画像データを上書きしないように、または第２のスケールダウンされた画像データによって上書きされるように、第３の解像度を有するＲＯＩ２を第２の補助フレームの画像データ内に貼り付けるステップと、
意図される解像度を有するＲＯＩ２を第２のアップスケールされた画像データ内に挿入するための第５の画像変換を判定するステップと、
第４の画像変換をサンプリングすることによって、第５の動きベクトルを判定するステップと
をさらに備え、
第２の画像データをインターフレームとして第２のフレームに符号化するステップは、第２のフレームの動きベクトルが第２の動きベクトルおよび第５の動きベクトルに対応すると判定するステップを備える。

【0028】

ＲＯＩ２は、一般に、ＲＯＩ１と同じ被写体を示しており、第２の補助フレームのインターフレーム符号化はより効果的であり得るため、これは符号化の観点から有利であり得る。しかしながら、これは常に当てはまるとは限らず、より高い解像度バージョンで補助フレーム内に含まれるべきと判定される第１のおよび第２の画像データのセクションは、異なる場合があり、たとえば、第１の補助フレーム内でナンバープレートを示し、第２の補助フレーム内で運転手の顔を示している場合がある。第５の動きベクトルは、その結果、ＲＯＩ２を第２のアップスケールされた画像データ内の（第２の画像データ内のＲＯＩ２の位置に対応する）正確な位置にマッピングする。

【0029】

いくつかの実施形態によれば、ＲＯＩ１およびＲＯＩ２は、それぞれ、第１のおよび第２の補助フレームの画像データ内の対応する位置に貼り付けられる。これは、第２の補助フレームの画像データをインターフレーム符号化するとき、符号化の観点から有利であり得るが、これは、その場合、前の（第１の）補助フレームの画像データ内の同様のマクロブロックに対するエンコーダ探索のとき、エンコーダのブロック整合アルゴリズムの探索ウィンドウがより小さい可能性があるためである。

【0030】

いくつかの実施形態によれば、第３の解像度は、意図される解像度に等しい、および意図される解像度よりも大きい、のうちの１つである。この実施形態は、復号され表示されるとき、ＲＯＩ１に関する詳細レベルを増大し得る。

【0031】

いくつかの実施形態によれば、意図される解像度は、ビデオ記録デバイスによって捕捉された画像データの解像度に等しい。スケールダウン係数は、スケールダウンされた画像データが、要件に応じて、詳細の高い損失（高いスケールダウン係数）に至るまで、捕捉された画像データ（低いスケールダウン係数）と比較して、詳細の損失をほとんどもたらさないように変化し得るため、これは符号化方法の柔軟性を増大し得る。しかしながら、いくつかの実施形態によれば、意図される解像度は、ビデオ記録デバイスによって捕捉された画像データの解像度よりも低い場合もある。

【0032】

いくつかの実施形態によれば、ビデオコーディングフォーマットは、高効率画像ファイルフォーマット、高効率ビデオコーディング、Ｈ．２６５、Ｈ．２６４、ＶＰ１０、ＶＰ９、ＡＶ１、アドバンストビデオコーディング、およびＨ．２６６のうちの１つである。しかしながら、本明細書で説明するように、補助フレームをサポートする任意のビデオコーディングフォーマットが本発明によって網羅されることに留意されたい。

【0033】

いくつかの実施形態によれば、この方法は、エンコーダが接続されたデジタルネットワークのビットレートに基づいて、第１の解像度を判定することを備える。たとえば、エンコーダおよび／またはレートコントローラは、たとえば、エンコーダと送信されたビデオストリームの受信機との間のリンクを介して、維持されたトラフィックをプッシュし、経時的に平均を算出するアプリケーションからのビットレートに関する報告を継続的に受信することができる。ビットレートの別の例は、エンコーダが接続されたデジタルネットワークの最大アップロード速度（プリセットされた値）である。「ビットレート」という用語は、一般に、エンコーダが接続されたデジタルネットワークの効果的なスループットを意味する。上記は、第２の解像度にも等しく有効である。第１の／第２の解像度を判定する他の方法について下記で説明する。

【0034】

本発明の第２の態様によれば、上記の目的は、処理能力を有するデバイスによって実行されると、第１の態様の方法を実行するように適合された命令を備えたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品によって達成される。

【0035】

第３の態様によれば、上記の目的は、ビデオ記録デバイスによって捕捉されたビデオストリームをビデオコーディングフォーマットで符号化するように適合されたエンコーダであって、ビデオコーディングフォーマットが、補助フレームを符号化されたビデオストリーム内に含めることをサポートし、補助フレームが、符号化されたビデオストリーム内の別のフレームによって参照され、符号化されたビデオストリーム内の別のフレームを補完する画像データを備え、補助フレームが、補助フレームの画像データが、符号化されたビデオストリームを復号するときに示されることは意図されず、代わりに、画像データが示されることを達成するために前記別のフレームのデータに関して使用されることが意図されることを指示するフラグ値を備え、エンコーダが、
ビデオ捕捉デバイスによって捕捉された第１の画像データを受信することと、
復号されるとき、ビデオストリームに対して意図される解像度を判定することと、
第１のスケールダウンされた画像データを取得するために第１の画像データをスケールダウンすることであって、第１のスケールダウンされた画像データが意図される解像度よりも低い第１の解像度を有する、スケールダウンすることと、
空の第１の補助フレームを準備することであって、第１の補助フレームの画像データが、意図される解像度に等しい解像度を有し、すべてが同じ事前定義された値を有するビットを備える、準備することと、
第１のスケールダウンされた画像データを第１の補助フレームの画像データ内に貼り付けることと、
第１の補助フレームをイントラフレームとして符号化することと、
第１の補助フレームの画像データ内の第１のスケールダウンされた画像データを意図される解像度を有する第１のアップスケールされた画像データにアップスケールするための第１の画像変換を判定することと、
少なくとも１つの所定のマクロブロックサイズに従って、第１の画像変換の結果生じた画素の移動をサンプリングすることによって、第１の動きベクトルを判定することと、
第１の画像データを第１の補助フレームを参照するインターフレームとして第１のフレームに符号化することであって、第１のフレームの動きベクトルが第１の動きベクトルに対応する、符号化することと
を行うようにさらに適合されたエンコーダによって達成される。

【0036】

第４の態様によれば、上記の目的は、第３の態様によるエンコーダを備えたシステムであって、エンコーダが、デジタルネットワークを介してデコーダに接続され、デコーダが、エンコーダのビデオコーディングフォーマットで符号化されたビデオストリームを復号するように構成され、エンコーダが、
デジタルネットワークを介して意図される解像度を受信し、
第１の解像度を受信し、
受信された意図される解像度および受信された第１の解像度に従って、ビデオストリームを符号化し、
デジタルネットワークを介して、符号化されたビデオストリームを送信する
ように適合されており、
デコーダが、
デジタルネットワークを介して、符号化されたビデオストリームを受信し、
復号されたビデオストリームを達成するために、符号化されたビデオストリームを復号する
ように適合されている、エンコーダによって達成される。

【0037】

いくつかの実施形態によれば、このシステムは、ディスプレイをさらに備え、エンコーダが、
第１の画像データのセクションＲＯＩ１が符号化されたビデオストリーム内に第３の像度で含まれるべきと判定することであって、第３の解像度が第１の解像度よりも高い、判定することと、
ＲＯＩ１が第１のスケールダウンされた画像データに重複しないために、ＲＯＩ１が、第１のスケールダウンされた画像データを上書きしないように、または第１のスケールダウンされた画像データによって上書きされるように、第３の解像度を有するＲＯＩ１を第１の補助フレームの画像データ内に貼り付けることと、
意図される解像度を有するＲＯＩ１を第１のアップスケールされた画像データ内に挿入するための第４の画像変換を判定することと、
第４の画像変換をサンプリングすることによって、第４の動きベクトルを判定することと
を行うようにさらに適合されており、
第１の画像データをインターフレームとして第１のフレームに符号化するステップが、第１のフレームの動きベクトルが第１の動きベクトルおよび第４の動きベクトルに対応すると判定することをさらに備え、
デコーダが、
復号されたビデオストリームを達成するために、符号化されたビデオストリームを復号することであって、第１の補助フレームの画像データからＲＯＩ１を抽出することを備える、復号することと、
ＲＯＩ１を復号されたビデオストリームとは個別にディスプレイ上に表示することと
を行うように適合されている、エンコーダによって達成される。

【0038】

この実施形態では、カスタムデコーダは、エンコーダのビデオコーディングフォーマットをサポートするデコーダの標準的な復号方法に従って、符号化されたビデオストリームを復号しているとともに、同時に、たとえば、静止画像またはＲＯＩ１の画像データ（および、オプションで、その後の補助フレームの他の関心領域）を備えた第２の復号されたビデオストリームを提供するために、第１の補助フレームからＲＯＩ１の画像データを抽出している。この実施形態は、視聴者が、ＲＯＩ１が抽出された画像データの残りの部分の画像コンテンツによって妨害されずに、ＲＯＩ１の画像コンテンツを観ることができるように、特別な関心領域（ＲＯＩ１）が個別に示されるという点で有利であり得る。ＲＯＩ１を個別に表示することは、復号されたＲＯＩ１の解像度が復号されたビデオストリームの解像度よりも大きく、したがって、復号されたビデオストリームの画像コンテンツ内に挿入されるときにスケールダウンされる場合、特に有利であり得る。このために、いくつかの実施形態によれば、第３の解像度は、意図される解像度よりも大きく、ＲＯＩ１を復号されたビデオストリームとは個別にディスプレイ上に表示するステップは、ＲＯＩ１をディスプレイ上に第３の解像度で表示することを備える。

【0039】

第２の、第３の、および第４の態様は、一般に、第１の態様と同じ特徴および利点を有する。本発明は、別段に明記されていない限り、特徴のすべての可能な組合せに関することにさらに留意されよう。

【0040】

本発明の上記の、ならびに追加の目的、特徴、および利点は、同様の要素に関して同じ参照番号が使用される添付の図面を参照して、以下の本発明の好ましい実施形態の例示的かつ非限定的な詳細な説明を通してよりよく理解されよう。

【図面の簡単な説明】

【0041】

【図1】補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法の第１の実施形態を概略的に示す図である。

【図2】補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法の第２の実施形態を概略的に示す図である。

【図3】補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法の第３の実施形態を概略的に示す図である。

【図4】図３によるエンコーダを備えたシステムであって、エンコーダが、デジタルネットワークを介してデコーダに接続され、デコーダが、エンコーダのビデオコーディングフォーマットで符号化されたビデオストリームを復号するように構成される、システムを概略的に示す図である。

【図5】実施形態による、補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法を示す流れ図である。

【発明を実施するための形態】

【0042】

本発明は、次に、本発明の実施形態が示される添付の図面を参照して以下でより十分に説明される。本明細書で開示するシステムおよびデバイスは、動作の間に説明される。

【0043】

本発明は、符号化されたビデオストリーム内に補助フレームを含めることをサポートするビデオコーディングフォーマットに対して、進行中のビデオストリームの動的なサイズ変更を提供することを目的とする。これは、利用可能なビットレートが低いときに特に有利であり得る、符号化されたビデオストリームのビットサイズ（ビットレート）を低減することが要求されるときに機能する（圧縮およびフレームレートを除く）別の可能性をレートコントローラに与える。一例として、低解像度のビデオストリーム（たとえば、ＶＧＡビデオ）は、符号化されたビデオストリームが両方とも同じビットレートを有しても、圧縮率を低く（たとえば、量子化パラメータＱＰを２８に）維持すると同時に、高い圧縮率（たとえば、４６のＱＰ）を備えた高解像度のビデオストリーム（たとえば、ＦＨＤビデオ）と比較してより良好な品質をもたらすことが多い。

【0044】

本発明の実施形態は、次に、図１〜図２および図５に関して説明される。

【0045】

図１は、３つの画像フレーム１０６ａ〜ｃを備えたビデオストリーム１０６を結果としてもたらす、ビデオ捕捉デバイス１０４によって捕捉されたシーン１０２を示す。図１の下の部分は、符号化されたビデオストリーム内に補助フレームを含めることをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法の一実施形態を例示する。エンコーダ１０８は、ビデオ記録デバイス１０４によって捕捉された第１の画像データ１０６ａを受信する。エンコーダ１０８は、復号されるとき、ビデオストリームに対して意図される解像度を判定する。本明細書で説明するように、意図される解像度は、ビデオ記録デバイス１０４によって捕捉された画像データ１０６の解像度に等しくてよい。しかしながら、意図される解像度は、ビデオ記録デバイス１０４によって捕捉された画像データ１０６の解像度とは異なってもよい。たとえば、ビデオ記録デバイスは、非常に高い解像度でビデオを捕捉することができ、符号化されたビデオストリームが送信され、後で復号される解像度は、等しく高い必要がない場合がある。そのために、意図される解像度は、ビデオ記録デバイス１０４によって捕捉された画像データ１０６ａ〜ｃの解像度よりも低くてよい。意図される解像度は、様々な方法でエンコーダに知られている可能性がある。たとえば、意図される解像度は、エンコーダ１０８から検索可能な（たとえば、エンコーダ１０８のメモリ内の）ハードコード値であり得る。意図される解像度は、エンコーダ１０８内で設定可能な値であってもよい。設定は、その場合、たとえば、ユーザによって行われてよく、または符号化されたビデオストリームを要求するデバイスからセットされてもよい。意図される解像度を判定する他の方法が当然可能である。

【0046】

エンコーダは、次いで、第１のスケールダウンされた画像データ１１４を達成するために、第１の画像データ１０６ａをスケールダウンし（Ｓ５０４）、第１のスケールダウンされた画像データは、意図される解像度よりも低い第１の解像度１１８ｘ^＊１１８ｙを有する。ダウンスケーリングは、最近傍（Ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒ）補間、バイリニア（Ｂｉｌｉｎｅａｒ）アルゴリズムおよびバイキュービック（ｂｉｃｕｂｉｃ）アルゴリズム、ボックスサンプリング（Ｂｏｘ ｓａｍｐｌｉｎｇ）など、任意の知られているスケーリングアルゴリズムを使用して実行され得る。

【0047】

第１の解像度は、エンコーダ１０８が接続されたデジタルネットワークのビットレートに基づいて判定／セットされ得る（Ｓ５０２）。第１の解像度はさらに、エンコーダ１０８から検索可能な（たとえば、エンコーダのメモリ内の）ハードコード値に従ってセットされ得る（Ｓ５０２）。第１の解像度は、エンコーダ内の設定可能な値であってもよい。設定は、その場合、たとえば、ユーザによって行われてよく、または符号化されたビデオストリームを要求するデバイスからセットされてもよい。第１の解像度は、符号化されたビデオストリームがビットレート要件を満たすように判定／セットされる（Ｓ５０２）。第１の解像度は、符号化されたビデオストリームのビットレート／サイズが継続的に測定され、意図される解像度が測定値およびビットレート要件に基づいて適合されるように反復的な方法でセットされてよい（Ｓ５０２）。いずれの場合も、スケールダウン係数と呼ばれることもある第１の解像度がセットされ（Ｓ５０２）、受信された画像データ１０６ａ〜ｃをスケールダウンするために使用される。

【0048】

エンコーダ１０８は、次いで、第１の補助フレーム１１０ａを準備し、第１の補助フレーム１１０ａの画像データは、意図される解像度に対応する解像度１１６ｘ^＊１１６ｙを有する。補助フレーム１１０ａの画像データは、この時点で空になり（すべてのビットがゼロ値を有し）、代替として、すべてのビットは、たとえば、黒、白、または緑の色に対応するデフォルト値を有することになる。事前定義された色に対応するデフォルト値を有することは、エンコーダの観点から有利であり得る。たとえば、同じ値（色）があらゆる場所で使用される場合、ビットレートコストが低減され得、この場合、（黒、白、または緑の色などの）値は簡単に符号化される。第１のスケールダウンされた画像データ１１４は、次いで、後でイントラフレームとして符号化される第１の補助フレーム１１０ａの画像データ内に挿入される（Ｓ５０６）。図１の例では、第１のスケールダウンされた画像データ１１４は、補助フレーム１１０ａの画像データの「右上隅」に挿入されている（図１では、画像データは行列として視覚化されている）。しかしながら、後で第１の動きベクトルを判定するときに、第１のスケールダウンされた画像データに属するビットのインデックスが思い出される限り、第１のスケールダウンされた画像データは、第１の補助フレーム１１０ａの画像データ内の任意の位置に挿入されてよい（下記を参照されたい）。

【0049】

後で、第１のスケールダウンされた画像データ１１４を意図される解像度１１６ｘ^＊１１６ｙにスケールアップすることが可能であるために、動きベクトル１２０が判定される（Ｓ５０８）。動きベクトル１２０は、第１の補助フレーム１１０ａの画像データ内の第１のスケールダウンされた画像データ１１４を意図される解像度１１６ｘ^＊１１６ｙを有する第１のアップスケールされた画像データにアップスケールすることに対応する（デジタル材料の拡大はアップスケーリングまたは解像度向上として知られている）。動きベクトルは、したがって、第１のスケールダウンされた画像データ１１４内のマクロブロックを意図される解像度を有する第１のアップスケールされた画像データ内の新しい位置に「移動する」ことになる。デコーダにおける実際のアップスケーリングに関するアルゴリズムは、デコーダの実装形態に左右されるが、一般に、最近傍補間、バイリニアアルゴリズムまたはバイキュービックアルゴリズム、ボックスサンプリングなど、任意の知られている画像スケーリングアルゴリズムが使用され得る。

【0050】

アップスケーリングは、意図される解像度１１６ｘ^＊１１６ｙ、第１の解像度１１８ｘ^＊１１８ｙ、および第１のスケールダウンされた画像データ１１４が補助フレーム１１０ａの画像データ内に挿入される方法に基づいて判定される画像変換式（画像変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、画像変換（ｔｒａｎｓｆｏｒｍ）など）によって定義される。画像変換式は、第１のスケールダウンされた画像データ１１４（および、第２の、第３のスケールダウンされた画像データなど）に適用されるとき、第１の解像度１１８ｘ^＊１１８ｙを有する第１のスケールダウンされた画像データ１１４を意図される解像度１１６ｘ^＊１１６ｙを有する画像データにスケールアップすることになる。動きベクトルは、画像変換式を表し、多くの方法で判定され得る。いくつかの実施形態によれば、動きベクトルは、判定されたマクロブロックサイズに従って、画像変換式をサンプリングすることによって判定される。たとえば、画像変換式が、ある画素が５個の画素を右に移動し、３個の画素を下に移動すべきであるという結果を出す場合、この画素の実際の移動は、サンプリングサイズ（マクロブロックサイズ）および近傍の画素に対する変換に基づいて判定される。他の実施形態によれば、サンプリングのために複数のマクロブロックサイズが使用され、マッピング方式の特定のエリアに使用されるマクロブロックサイズは、画像変換式がその対応するエリアに対してどのようになりそうかに左右される。たとえば、マクロブロックサイズは、１６×１６から４×４まで変化し得る。この実施形態は、動きベクトルに関するビットレートのコストを低減することになり、効率的な方法で、より小さなマクロブロックがより正確なサンプリング／マッピングをもたらすことになる、画像変換式のローカルエリアに対して最も多くのビットを使用し、変換がより均一であるローカルエリアに対してより少ないビットを使用することができる。

【0051】

動きベクトルに関するビットレートのコストをさらに低減するために、サンプリングは、補助フレーム内の画像データのより平滑な変換を達成する目的で、より小さなサイズのマクロブロックに関する動きベクトルを算出するために受信された動きベクトル間の補間をデコーダに任せるように、よりスパースに行われ（マクロブロックのサイズを増大し）てよい。これは、符号化されたビットストリーム内に補間パラメータを含めること、またはｐフレームのヘッダ内にフラグをセットすることなどによって達成され得る。

【0052】

他の実施形態によれば、動きベクトルを達成するための画像変換式のサンプリングは、補助フレーム１１０ａ内のスケールダウンされた画像データ１１４の対応するエリア内の詳細のレベルに基づいて行われる。たとえば、（任意の適切なエッジ検出アルゴリズムを使用して判定され得る）高度な直線を備えたスケールダウンされた画像データ１１４内のローカルエリアの場合、画像変換の対応するエリアに対してより密度の高いサンプリング（より小さなマクロブロックサイズ）が必要とされ得る。より低度な線を有するエリアの場合、よりスパースなサンプリングが採用され得る。

【0053】

第１の動きベクトル１２０が判定されるとき、第１のフレーム１１２ａは、（上記で説明したように、イントラフレームとして符号化される）第１の補助フレーム１１０ａを参照するインターフレームとして符号化され得（Ｓ５１０）、第１のフレーム１１２ａの（第１のフレーム１１２ａ内に矢印によって概略的に示される）動きベクトル１２０は、上記に説明したように判定された第１の動きベクトル１２０に対応する。第１のフレーム１１２ａの動きベクトル１２０は、事前に算出され、たとえば、エンコーダによってアクセス可能なメモリ内に記憶されてよいことに留意されたい。第１の解像度と意図される解像度との間の比率は、たとえば、それらの比率および対応する動きベクトルを備えたデータベース内のルックアップ値として使用され得る（そのようなデータベース内の値は、スケールダウンされた画像データが補助フレームの画像データ内に特定の方法で、たとえば、左上隅に、または左下隅になど、挿入されることを仮定し得る）。動きベクトルは、上記で説明したように、意図される解像度および第１の解像度に基づいて、エンコーダ１０８のランタイム時にさらに算出され得る。

【0054】

上記で説明したように、本発明の利点は、エンコーダによって使用されるビデオコーディングフォーマット（たとえば、Ｈ．２６５）をサポートする標準的なデコーダが、図１に従ってビデオストリームを復号することである。デコーダは、第１の補助フレーム１１０ａの第１のスケールダウンされた画像データ１１４のアップスケーリングを達成し、したがって、意図される解像度１１６ｘ^＊１１６ｙを有する復号された画像データにするために、第１のフレーム１１２ａの動きベクトル１２０を第１の補助フレーム１１０ａの第１のスケールダウンされた画像データ１１４に適用することになる。

【0055】

図２は、図１で説明した方法の拡張を示し、ここで、ビデオストリーム１０６のすべての３つの捕捉された画像フレーム（画像データ）１０６ａ〜ｃがエンコーダ１０８によって符号化される。図２では、第１の画像データ１０６ａは、符号化された第１のフレーム１１２ａおよび符号化された第１の補助フレーム１１０ａを達成するために、図１、および図５のステップＳ５０２〜Ｓ５１０で説明したように符号化される。第１の画像データ１０６ａを符号化した後で、エンコーダ１０８は、第２の画像データ１０６ｂを受信する。第２の補助フレーム１１０ｂの画像データは、第１の補助フレーム１１０ａに関して上記で説明したのと同様の方法でコンパイルされる。

【0056】

第２の補助フレーム１１０ｂは、前の画像フレーム、この場合、第１の補助フレーム１１０ａ内の時間的に冗長な情報を利用するために、第１の補助フレーム１１０ａを参照するインターフレーム（たとえば、Ｐフレーム）として有利に符号化される。第２の補助フレーム１１０ｂの符号化は、したがって、いくつかの実施形態によれば、第２の画像データ１０６ｂと第１の画像データ１０６ａとの間の比較に基づいて行われる。図２では、符号化された第２の補助フレーム１１０ｂは、動きベクトルによって（右上隅に）概略的に表されているが、第１の補助フレームの画像データ内に存在しないが、第２の画像データ内に存在する画像コンテンツを表す画像データおよび／または予測誤差（残差値とも呼ばれる）は、当然、符号化された第２の補助フレーム１１０ｂ内に含まれてもよい。

【0057】

他の実施形態によれば、やはり第２の補助フレーム１１０ｂがＩフレームとして符号化される。

【0058】

エンコーダ１０８は、第２の補助フレーム１１０ｂを参照する第２のフレーム１１２ｂを符号化することによって継続し、第２のフレームはインターフレームとして符号化される。第２のフレームの動きベクトルは、第２の補助フレーム１１０ｂの画像データ内の第２のスケールダウンされた画像データを意図される解像度を有する第２のアップスケールされた画像データにアップスケールすることに対応するように判定される。この場合、第２のフレーム１１２ｂの動きベクトルは、第１のフレーム１１２ａの動きベクトルに等しいが、これは、第２の画像データ１０６ｂは、第１の画像データ１０６ａに対するのと同じスケーリング係数を使用してスケールダウンされ、第２のスケールダウンされた画像データは、第１のスケールダウンされた画像データ１１４が第１の補助フレーム１１０ａ内にどのように挿入されたかに対応する、第２の補助フレーム１１０ｂの画像データ内の位置に挿入されるためである。したがって、第２のフレーム１１２ｂの動きベクトルは、第１のフレームの動きベクトルを複写することによって判定され得る。第１のフレーム１１２ａに関して、図１に関して上記で説明したように、第２のフレームの動きベクトルを判定する任意の他の方法が採用されてよい。言い換えれば、さらなる画像データ１０６ｂを使用して、意図される解像度およびスケールダウン係数／第１の解像度に従って、さらなる補助フレーム１１０ｂおよびさらなるフレーム１１２ｂが判定される（Ｓ５１２）。さらなる補助フレーム１１０ｂは、前の補助フレーム１１０ａを参照するインターフレームとして符号化される。さらなるフレーム１１２ｂは、さらなる補助フレーム１１０ｂを参照するインターフレームとして符号化される。（図５のステップ５１２で判定される）ＧＯＰの終了に達していない限り、インターフレーム符号化された補助フレームおよびインターフレーム符号化された正規のフレームを符号化する上記の手順Ｓ５１２が、ライン内の次の画像データ（たとえば、第３の画像データ１０６ｃ）に対して繰り返され／反復される。

【0059】

（図５のステップ５１２で判定される）ＧＯＰの終了に達した場合、新しいスケールダウン係数が必要とされるかどうか（たとえば、新しい要件を満たすために新しいスケールダウン係数が必要とされるように、ビットレートに対する要件を変更させた、代替として、現在の要件を満たすために十分でなかった前のスケールダウン係数であった）かどうかが判定される（Ｓ５１６）。そうでない場合、ライン内の次の画像データ（たとえば、第３の画像データ１０６ｃ）に対して、符号化手順がステップＳ５０４において継続する。

【0060】

本発明の利点は、捕捉された画像データ１０６ａ〜ｃの動的サイズ変更が達成され得ることである。結果として、エンコーダは、符号化されたビデオストリームのビットサイズ（ビットレート）の低減に関する新しい要件、たとえば、利用可能な帯域幅の変更に速やかに対応することができる。図２の例では、第３の画像データ１０６ｃに関して、新しいスケールダウン係数が必要とされると判定され（Ｓ５１６）、この例では、たとえば、より利用可能な帯域幅などにより、より低いダウンスケール係数が採用／セットされる（Ｓ５０２）。次いで、新しいより低いスケールダウン係数に関して、ステップＳ５０４〜Ｓ５１０が繰り返される。第２の画像データ１０６ｂと第３の画像データ１０６ｃとの間のダウンスケール係数は変更されているため、第３の補助フレーム１１０ｃをイントラフレームとして符号化すること（Ｓ５０６）が有利である。ビデオ捕捉デバイス１０４によって捕捉された第３の画像データ１０６ｃの場合、この実施形態による符号化プロセスは、第３のスケールダウンされた画像データ１１６を達成するために、第３の画像データ１０６ｃをスケールダウンすること（Ｓ５０４）であって、第３のスケールダウンされた画像データ１１６が第２の解像度を有し、第２の解像度（図２に図示せず）が第１の解像度（すなわち、図１に示すように、１１８ｘ^＊１１８ｙ）とは異なり、意図される解像度（すなわち、図１に示すように、１１６ｘ^＊１１６ｙ）よりも低い、スケールダウンすることを含む。第３の補助フレーム１１０ｃが準備され、意図される解像度１１６ｘ^＊１１６ｙを有する第３の補助フレーム１１０ｃの画像データおよび、第３のスケールダウンされた画像データ１１６がイントラフレーム符号化された第３の補助フレーム１１０ｃの画像データ内に挿入される（Ｓ５０６）。次いで、エンコーダは、第３の補助フレーム１１０ｃの画像データ内の第３のスケールダウンされた画像データ１１６を意図される解像度１１６ｘ^＊１１６ｙにアップスケールすることに対応する（図２では、第３のフレーム１１２ｃ内に矢印よって概略的に例示される）第３の動きベクトルを判定する（Ｓ５０８）。第３の動きベクトルは、第１のフレーム１１２ａに関して上記で説明したように判定され得る。この後で、エンコーダ１０８は、第３のフレーム１１２ｃを、第３の補助フレーム１１０ｃを参照するインターフレームとして符号化することができ（Ｓ５１０）、第３のフレームの動きベクトルは第３の動きベクトルに対応する。

【0061】

図２では（かつ、同様に下記の図３〜４では）、括弧内の数字は、符号化された補助フレーム１１０（ＡＦ）および「正規の」フレーム１１２（ＲＦ）が符号化されたビデオストリーム内に含まれる順序を記述する。図２の例では、この順序は、ＡＦ１ １１０ａ、ＲＦ１ １１２ａ、ＡＦ２ １１０ｂ、ＲＦ２ １１２ｂ、ＡＦ３ １１０ｃ、ＲＦ３ １１２ｃである。

【0062】

画像捕捉デバイス１０４によって捕捉された画像データ１０６ａ〜ｃを送信するために補助フレーム１１０の画像データの一部分のみを使用する（動的レート制御の可能性を除く）さらなる利点は、捕捉された画像データ１０６ａ〜ｃの部分３０４をより高い解像度で提供するために、補助フレーム１１０の画像データの空の部分が使用され得ることである。そのような部分は、有利には、視聴者（たとえば、画像分析ソフトウェア）が特別な関心をもつもの、たとえば、人物の顔または車のナンバープレートである。この実施形態は、図３で簡素化される。

【0063】

図３では、第１の画像データのセクション３０４が判定される。セクション３０４は、符号化されたビデオストリーム内に第３の解像度で含まれることになり、第３の解像度は第１の解像度よりも高い。たとえば、第１の解像度が７２０Ｐである場合、第３の解像度は４Ｋであり得る。いくつかの実施形態によれば、第３の解像度は、意図される解像度に等しくてよい。しかしながら、画像データ１０６ａ〜ｂが意図される解像度よりも大きな解像度で捕捉される場合、第３の解像度は意図される解像度よりも大きい、たとえば、ビデオ捕捉デバイスによって捕捉された画像データ１０６ａ〜ｂの解像度に等しいか、または画像データ１０６ａ〜ｂの解像度と意図される解像度との間のどこかの解像度であると有利であり得る。

【0064】

セクション３０４が判定された後で、（セクション３０４がすでに第３の解像度でない場合、すなわち、第３の解像度が捕捉された画像データ１０６ａの解像度である場合）、オプションで、セクション３０４は第３の解像度にスケールダウンされる。第３の解像度のセクション３０４は、以下で、ＲＯＩ１と呼ばれ、図３では参照番号３０２で示されている。次いで、ＲＯＩ１ ３０２が、第１のスケールダウンされた画像データ１１４を上書きしないように、または第１のスケールダウンされた画像データ１１４によって上書きされるように、すなわち、ＲＯＩ１ ３０２が第１のスケールダウンされた画像データ１１４に重複しないように、ＲＯＩ１ ３０２は、第１の補助フレーム１１０ａの画像データ内に挿入される。

【0065】

次のステップは、意図される解像度を有するＲＯＩ１ ３０２をスケールダウンされた画像データ１１４のアップスケールされたバージョン内に挿入することに対応する（第４の）動きベクトルを判定することである。これらの動きベクトルは、第１の、第２の、および第３の動きベクトルに関して上記で説明したのと同じ方法、たとえば、第３の解像度、意図される解像度、および第１の補助フレーム１１０ａの画像データ内のＲＯＩ１のロケーションに基づいて、画像変換式をサンプリングすることによって判定され得る。第４の動きベクトルは、図３で、第１のフレーム１１２ａの右上隅に矢印として概略的に示されている。次いで、インターフレーム符号化された第１のフレーム１１２ａの動きベクトルを判定するために、第４の動きベクトルが使用される。言い換えれば、第１のフレーム１１２ａをインターフレームとして符号化するステップは、（スケールダウンされた画像データ１１４を意図される解像度にスケールアップするための）第１の動きベクトルおよび第４の動きベクトルに対応する、第１のフレーム１１２ａの動きベクトルを判定することを備える。

【0066】

第１の補助フレーム１１０ａは、依然として、イントラフレームとして符号化される。

【0067】

第２の画像データ１０６ｂの場合、この画像データの関心があるセクションの符号化は、第２の補助フレーム１１０ｂがインターフレームとして符号化されるように、上記で説明したような時間的ビデオ圧縮を活用して行われ得る。このために、第２の画像データ内の第３の解像度のセクションＲＯＩ２が第１の補助フレーム１１０ａの画像データ内のＲＯＩ１の位置に対応する、第２の補助フレーム１１０ｂの画像データ内の位置上に挿入されると有利であり得る。ＲＯＩ２が、第２のスケールダウンされた画像データを上書きしないように、または第２のスケールダウンされた画像データによって上書きされるように、ＲＯＩ２は第２の補助フレームの画像データ内に挿入される。次いで、意図される解像度を有するＲＯＩ２を第２のアップスケールされた画像データ内に挿入することに対応する第５の動きベクトルが判定され、第２の補助フレーム１１０ｂをインターフレームとして符号化することは、第２の動きベクトルおよび第５の動きベクトルに対応する、第２のフレームの動きベクトルを判定することを備える。

【0068】

エンコーダ１０８は、したがって、図１〜図３とともに上記で説明したように、ビデオストリーム１０６を符号化するように適合される。エンコーダ１０８は、ビデオストリーム１０６の画像データ１０６ａ〜ｄを受信するために、ビデオ捕捉デバイス１０４内に直接的に提供されてよく、またはビデオ捕捉デバイス１０４にワイヤでまたはワイヤレスに接続されてもよい。エンコーダ１０８は、事前に算出された動きベクトルを検索するためのメモリを備えてよいか、またはメモリに接続されてよい。エンコーダ１０８は、画像変換式（すなわち、ダウンスケールされた画像データのアップスケーリングのための方程式および／またはＲＯＩ１／ＲＯＩ２を正確な位置に配置し、アップスケールされた画像データ内にスケールするための方程式）および／または画像変換式からのサンプル動きベクトルを算出するための処理ユニットを備え得る。代替として、または追加で、エンコーダは、画像変換式および／または動きベクトルを算出／判定するように適合された個別の算出ユニットからそのような画像変換式および／または動きベクトルを受信するように適合され得る。そのような個別の算出ユニットは、いくつかの実施形態によれば、後でエンコーダ１０８内の補助フレームと相互接続される、第１の／第２の／第３のフレーム全体を作成することができる。エンコーダ１０８は、上記で説明したように、ビデオ捕捉デバイス１０４によって捕捉された画像データ１０６ａ〜ｄをダウンスケールするようにさらに構成され得る。いくつかの実施形態によれば、エンコーダは、個別のスケーリングユニットからスケールダウンされた画像データを受信する。エンコーダは、一般に、上記で説明したように、受信された画像データを符号化するための１つまたはいくつかの処理ユニット（たとえば、ＣＰＵ）を備える。ＣＰＵは、たとえば、ＣＰＵによって実行されると、上記で説明した実施形態のうちのいずれかの符号化方法を実行するように適合された命令で、コンピュータ可読記憶媒体からインストールされたソフトウェアを実行するように適合され得る。エンコーダは、符号化されたビデオストリームを復号するように適合されたデコーダに符号化されたビデオストリームをワイヤレスにまたはワイヤで送信するようにさらに適合され得る。

【0069】

図４は、例として、上記で開示したようなエンコーダ１０８を備えるシステムを開示する。エンコーダ１０８は、デジタルネットワーク４０２を介してデコーダ４０４に接続され、デコーダ４０４は、エンコーダ１０８のビデオコーディングフォーマットで符号化されたビデオストリーム４１６を復号するように適合される。ビデオコーディングフォーマットは、高効率画像ファイルフォーマット、高効率ビデオコーディング、Ｈ．２６５、Ｈ．２６４、ＶＰ１０、ＶＰ９、ＡＶ１、アドバンストビデオコーディング、およびＨ．２６６のうちの１つであってよい。しかしながら、本明細書で説明するように、補助フレームをサポートする任意のビデオコーディングフォーマットが本発明によって網羅されることに留意されたい。

【0070】

エンコーダ１０８は、このようにして、意図される解像度および第１の解像度（ダウンスケール係数）に従ってビデオ捕捉デバイスによって捕捉された複数の画像データ１０６ａ〜ｂを符号化する。いくつかの実施形態によれば、意図される解像度がデジタルネットワーク４０２から受信され得（４０８）、たとえば、クライアントアプリケーション４１８または符号化されたビデオストリーム４１６を受信するユーザによって意図される解像度が判定され、デジタルネットワーク４０２を介してエンコーダに送信され得る（４０５）。第１の解像度は、エンコーダが接続されたデジタルネットワークのビットレート、すなわち、エンコーダ１０８とデコーダ４０４との間のデジタルネットワーク４０２の効果的なスループットに基づいて判定され得る（４０６）。代替として、上記で説明したように測定された、そのようなビットレートに基づいて第１の解像度を判定するのは個別のレート制御ユニットであってよい。レート制御ユニットは、第１の（第２のなど）解像度をエンコーダに通信し続けることができるか、または、現在使用されているものから変更される場合のみ、たとえば、帯域幅条件が変更されるときのみ、その解像度を通信することができる。第１の解像度は、さもなければ、エンコーダ１０８によって判定されて受信され得る。たとえば、ビデオ捕捉デバイスによって捕捉されたビデオストリーム１０６の品質に基づいて、第１の解像度（および、同様に図２の第２の解像度）が判定され得る。ビデオストリームが暗い状態で、たとえば、夜間に捕捉された場合、ビデオストリーム１０６（画像データ１０６ａ〜ｃ）は、ビデオストリームの品質を下げる大きな雑音を備える場合が多く、したがって、ビデオストリーム１０６が、たとえば日中に捕捉された場合と比較して、より低い第１の解像度を有利にする。第１の解像度を判定する他の例は、後で復号されたビデオストリームを観ることを意図するユーザから、または後で復号されたビデオストリームを分析することになるビデオ分析ソフトウェアから、そのような情報を受信することを備える。

【0071】

エンコーダ１０８は、デジタルネットワーク４０２を介して、符号化されたビデオストリーム４１６を送信するように適合される。デコーダ４０４は、デジタルネットワーク４０２を介して、符号化されたビデオストリーム４１６を受信し、復号されたビデオストリームを達成するために、符号化されたビデオストリーム４１６を復号するように適合される。

【0072】

いくつかの実施形態によれば、システムは、ディスプレイ４１８を備える。デコーダは、ディスプレイ４１８に接続され、意図される解像度で示されるように（４１０）復号されたビデオストリームをディスプレイ４１８に送信することができる。

【0073】

上記で説明したように、第１の画像データ１０６ａの（本明細書で、ＲＯＩ１と呼ばれる）セクション３０４が、符号化されたビデオストリーム４１６内に第３の解像度で含まれる（３０２）実施形態によれば、デコーダ４０４は、復号されたビデオストリームを達成するために、符号化されたビデオストリームを復号するようにさらに適合され得、復号することは、第１の補助フレームの画像データからＲＯＩ１を抽出することと、ＲＯＩ１を復号されたビデオストリームとは個別に、たとえば、第３の解像度（または、デコーダ４０４によって判定される任意の他の解像度）でディスプレイ上に表示すること（４１２）とを備える。ＲＯＩ１はまた、補助フレームからとられた画像データ４１０内に含まれ（４１４）、たとえば、第１の／第２のフレーム１１２ａ〜ｂの動きベクトルを使用してアップスケールされる。

【0074】

当業者は、上述の実施形態を多くの方法で修正し、上記の実施形態で示したような本発明の利点を依然として使用することができることを諒解されよう。たとえば、補助フレームおよび補助フレームを補完するフレームを符号化する順序は、任意の適切な方法で変更されてよい。たとえば、ＧＯＰ内のすべての補助フレームは、符号化されたビデオストリーム内の符号化された補助フレームとインターレースする補助フレームを参照するインター符号化されたフレームを含める前にまず符号化され得る。したがって、本発明は、示した実施形態に限定されるべきではなく、添付の請求項によってのみ定義されるべきである。さらに、当業者が理解するように、示した実施形態は組み合わせられてよい。

【符号の説明】

【0075】

１０２ シーン
１０４ ビデオ捕捉デバイス、ビデオ記録デバイス、画像補足デバイス
１０６ ビデオストリーム
１０６ａ 第１の画像データ
１０６ａ〜ｃ 画像フレーム、画像データ
１０６ｂ 第２の画像データ、さらなる画像データ
１０６ｃ 第３の画像データ
１０８ エンコーダ
１１０ 補助フレーム（ＡＦ）
１１０ａ 第１の補助フレーム、補助フレーム、補助画像、ＡＦ１
１１０ｂ 第２の補助フレーム、さらなる補助フレーム、ＡＦ２
１１０ｃ 第３の補助フレーム、ＡＦ３
１１２ 正規のフレーム（ＲＦ）
１１２ａ 第１のフレーム、ＲＦ１
１１２ｂ 第２のフレーム、さらなるフレーム、ＲＦ２、
１１２ｃ 第３のフレーム、ＲＦ３
１１４ 第１のスケールダウンされた画像データ
１１６ 第３のスケールダウンされた画像データ
１２０ 動きベクトル、第１の動きベクトル
３０２ ＲＯＩ１
３０４ 部分、セクション
４０２ デジタルネットワーク
４０４ デコーダ
４１０ 画像データ
４１６ ビデオストリーム
４１８ クライアントアプリケーション、ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】