特許 6961747 ビデオ処理のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6961747

(24)【登録日】2021年10月15日

(45)【発行日】2021年11月5日

(54)【発明の名称】ビデオ処理のためのシステムおよび方法

(51)【国際特許分類】

   H04N 19/85 20140101AFI20211025BHJP

   H04N 19/51 20140101ALI20211025BHJP

【ＦＩ】

   H04N19/85

   H04N19/51

【請求項の数】6

【外国語出願】

【全頁数】13

(21)【出願番号】特願2020-78748(P2020-78748)

(22)【出願日】2020年4月28日

(65)【公開番号】特開2020-205581(P2020-205581A)

(43)【公開日】2020年12月24日

【審査請求日】2021年5月25日

(31)【優先権主張番号】19177238.3

(32)【優先日】2019年5月29日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】フェルベルク， ヨハン

(72)【発明者】

【氏名】リンス， ハンプス

(72)【発明者】

【氏名】ユアン， ソン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 米国特許出願公開第２０１９／０１１６３８２（ＵＳ，Ａ１）

【文献】 特開２０１５−００５９３９（ＪＰ，Ａ）

【文献】 特開２０１１−０８７１９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ処理方法であって、
取り込まれるビデオデータの一連の画像に基づいて、前記取り込まれるビデオデータの前記一連の画像を第１の画像ストリームおよび第２の画像ストリームになるように複製することによって、第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）であって、前記第１の画像ストリームは複数の画像フレームを含み、前記第２の画像ストリームは複数の画像フレームを含む、第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）、
前記第１の画像ストリームに画像安定化機能を適用すること（Ｓ４０４）であって、それにより、安定化画像ストリームを形成する、画像安定化機能を適用すること（Ｓ４０４）、
前記画像安定化機能から前記第２の画像ストリームをバイパスさせること（Ｓ４０６）であって、それにより、オリジナル画像ストリームを形成する、前記第２の画像ストリームをバイパスさせること（Ｓ４０６）、および、
エンコーダー（１３０）であって、エンコーダー（１３０）に対する入力データとして前記安定化画像ストリームおよび前記オリジナル画像ストリームを使用する、エンコーダー（１３０）において、ジョイントエンコーデッド画像ストリームとして前記安定化画像ストリームおよび前記オリジナル画像ストリームの両方の画像フレームからのビデオ情報をエンコードすること（Ｓ４０８）であって、前記ジョイントエンコーデッド画像ストリームのピクチャ群がイントラフレーム（ＩＯ）、第１の一連のインターフレーム（ＰＯ）および第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）を含むように、エンコードすること、
を含み、
前記イントラフレーム（ＩＯ）および前記第１の一連のインターフレーム（ＰＯ）は前記オリジナル画像ストリームの画像フレームからのビデオ情報をエンコードし、前記第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）は前記安定化画像ストリームの画像フレームからのビデオ情報をエンコードし、
前記第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）内の第１のインターフレーム（Ｐ’Ｓ）は前記イントラフレーム（ＩＯ）を排他的に参照し、前記第２の一連のインターフレーム内の後続のインターフレーム（ＰＳ）は、前記第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）内の他のインターフレーム（Ｐ’Ｓ，ＰＳ）を排他的に参照し、
前記第１の一連のインターフレーム（ＰＯ）の第１のインターフレームはイントラフレーム（ＩＯ）を排他的に参照し、前記第１の一連のインターフレーム（ＰＯ）内の後続のインターフレームは、前記第１の一連のインターフレーム（ＰＯ）内の他のインターフレーム（ＰＯ）を排他的に参照する、ビデオ処理方法。

【請求項2】

前記オリジナル画像ストリームの前記画像フレームは、前記ジョイントエンコーデッド画像ストリーム内の非表示フレームとして示される、請求項１に記載のビデオ処理方法。

【請求項3】

前記安定化画像ストリームの前記画像フレームは前記ジョイントエンコーデッド画像ストリーム内の非表示フレームとして示される、請求項１または２に記載のビデオ処理方法。

【請求項4】

処理能力を有するデバイスによって実行されると、請求項１から３のいずれか一項に記載のビデオ処理方法を実施する命令を記憶している、非一時的コンピュータ可読記憶媒体。

【請求項5】

ビデオ処理システム（１００）であって、
オリジナル画像ストリームおよび安定化画像ストリームになるように、取り込まれるビデオデータの一連の画像を処理するように構成されるビデオ画像処理パイプライン（１２０）であって、
前記取り込まれるビデオデータに基づいて、それぞれが複数の画像フレームを含む第１の画像ストリームおよび第２の画像ストリームを生成するように構成される画像ストリーム形成機能（１２２ａ）、および、
前記第１の画像ストリームを画像安定化させ、それにより、前記安定化画像ストリームを形成するように構成される画像安定化機能（１２２ｂ）
を備え、
前記画像ストリーム形成機能（１２２ａ）は、前記画像安定化機能（１２２ｂ）から前記第２の画像ストリームをバイパスさせ、それにより、前記オリジナル画像ストリームを形成するようにさらに構成される、ビデオ画像処理パイプライン（１２０）と、
エンコーダー（１３０）であって、入力データとして前記安定化画像ストリームおよび前記オリジナル画像ストリームを使用して、ジョイントエンコーデッド画像ストリームとして前記安定化画像ストリームおよび前記オリジナル画像ストリームの両方の画像フレームからのビデオ情報をエンコードするように構成される、エンコーダー（１３０）と
を備え、前記エンコードは、前記ジョイントエンコーデッド画像ストリームのピクチャ群がイントラフレーム（ＩＯ）、第１の一連のインターフレーム（ＰＯ）および第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）を含むようになされ、
前記イントラフレーム（ＩＯ）および前記第１の一連のインターフレーム（ＰＯ）は前記オリジナル画像ストリームの画像フレームからのビデオ情報をエンコードし、前記第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）は前記安定化画像ストリームの画像フレームからのビデオ情報をエンコードし、
前記第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）内の第１のインターフレーム（Ｐ’Ｓ）は前記イントラフレーム（ＩＯ）を排他的に参照し、前記第２の一連のインターフレーム内の後続のインターフレーム（ＰＳ）は、前記第２の一連のインターフレーム（Ｐ’Ｓ，ＰＳ）内の他のインターフレーム（Ｐ’Ｓ，ＰＳ）を排他的に参照し、
前記第１の一連のインターフレーム（ＰＯ）の第１のインターフレームはイントラフレーム（ＩＯ）を排他的に参照し、前記第１の一連のインターフレーム（ＰＯ）内の後続のインターフレームは、前記第１の一連のインターフレーム（ＰＯ）内の他のインターフレーム（ＰＯ）を排他的に参照する、ビデオ処理システム（１００）。

【請求項6】

ビデオカメラ（２００）に実装される、請求項５に記載のビデオ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はビデオ処理に関する。特に、ビデオ処理は、シェイキングしているビデオカメラによって取り込まれるビデオデータを処理するときに、通信および／または記憶される必要があるデータの量を低減することを目的としている。

【背景技術】

【0002】

一部のビデオ取り込みアプリケーションの場合、取り込まれるビデオストリーム内の画像の安定化が、より観察可能なビデオストリームを得るために必要とされる。これは、特に、ビデオストリームを取り込むために使用されるビデオカメラが、乗り物などの移動物体上に搭載される、または、人によって装着されるビデオ取り込み状況に当てはまる。特定の例は、警官が装着するボディカメラである。取り込まれるビデオストリーム内の画像の安定化は、例えば、電子画像安定化、ＥＩＳ（：ｅｌｅｃｔｒｏｎｉｃ ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ）を使用して行うことができる。

【0003】

一部のアプリケーションのために、例えば、警官が装着するボディカメラによって取り込まれるビデオストリームを使用するエビデンスのために)、安定化ビデオストリームおよび非安定化「オリジナル（ｏｒｉｇｉｎａｌ）」ビデオストリームが共に必要とされる。しかしながら、２つのビデオストリームを生成することは、ビデオストリームを通信するために必要とされる帯域幅およびビデオ情報を記憶するために必要とされる記憶空間を共に大幅に増加させることになる。したがって、「オリジナル」ビデオ情報と安定化ビデオ情報の両方について、通信および／または記憶される必要があるデータの量を低減するときの改善についての必要性が存在する。

【0004】

当技術分野における上記で特定された欠点および不利益の１つまたは複数を単一でまたは組み合わせて軽減する、緩和する、またはなくし、また、上記で述べた問題を少なくとも部分的に解決することが目的である。

【発明の概要】

【0005】

第１の態様によれば、ビデオ処理方法が提供される。ビデオ処理方法は、取り込まれるビデオデータの一連の画像に基づいて第１の画像ストリームおよび第２の画像ストリームを生成することであって、第１の画像ストリームは複数の画像フレームを含み、第２の画像ストリームは複数の画像フレームを含む、生成すること；第１の画像ストリームに画像安定化機能を適用することであって、それにより、安定化画像ストリームを形成する、適用すること；画像安定化機能から第２の画像ストリームをバイパスさせることであって、それにより、オリジナル画像ストリームを形成する、バイパスさせること；および、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含むジョイントエンコーデッド画像ストリームとして安定化画像ストリームおよびオリジナル画像ストリームをエンコードすることを含み、ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含み、ジョイントエンコーデッド画像ストリームのイントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。

【0006】

画像安定化機能は電子画像安定化機能とすることができる。そのような画像安定化機能は当技術分野でよく知られている。本発明は、安定化画像ストリームとオリジナルビデオストリームの両方からのビデオ情報を効率的にエンコードする方法を述べる。そうすることによって、安定化ビデオストリームおよびオリジナルの未修整または非安定化ビデオストリームを利用可能にすることができる。これは、安定化ビデオストリームおよびオリジナルビデオストリームを共に必要とする場合がある身体装着式警察カメラなどの或る科学捜査的状況において価値があるとすることができる。本発明は、安定化ビデオストリームおよびオリジナルビデオストリームが共に、厳しいビットレート予算に適合しながら利用可能であることを可能にする。これは、両方のビデオストリームが、１つのジョイントビデオストリームになるように結合され、「同じ（ｓａｍｅ）」イントラフレームに依存するからである。したがって、２つの別個のビデオストリームをエンコードする代わりに、両方を含むジョイントビデオストリームが形成される。

【0007】

本発明によれば、インターフレーム（Ｐフレーム）の２つのシリーズ、オリジナルビデオストリームからの情報を含むシリーズ（シリーズＯ）および安定化ビデオストリームからの情報を含むシリーズ（シリーズＳ）は、イントラフレーム（Ｉフレーム）の各対の間でエンコードされることになる。シリーズＯは、イントラフレームとしてオリジナル画像ストリームからのＩフレームを使用してエンコードされる。これは、安定化なしの通常のエンコーディングに対応し、エンコーデッドオリジナルビデオストリームをもたらす。シリーズＳは、イントラフレームとしてオリジナル画像ストリームからの同じＩフレームを使用してエンコードされる。これは、エンコーデッド安定化ビデオストリームの一連のビデオフレームをもたらすことになる。イントラフレームとしてオリジナル画像ストリームからのＩフレームを使用することによって、エンコーデッドシリーズＳは、計算される動きベクトルについて正しい残差を有することになる。これは、品質損失をほとんどまたは全くもたらさない場合がある。同様に、ビットレートは、２つの完全に別個のストリームをコード化することと比較して節約されることになる。これは、シリーズＯおよびＳがＩフレームを共有することができ、異なるＰフレームを必要とするだけであるからである。シリーズＯまたはＳを、非表示としてマーク付けされる他のシリーズを有するデフォルトストリームとして指定することができる。ユーザーは、意のままにストリームを切り換えることができる。いずれにしても、両方のストリームが、必要である場合に後のポイントで観察するために利用可能である。

【0008】

オリジナル画像ストリームの残りの画像フレームを、インターフレームになるようエンコードすることができる。

【0009】

オリジナル画像ストリームの画像フレームを、ジョイントエンコーデッド画像ストリーム内で非表示フレームとして示すことができる。

【0010】

第１の画像ストリームおよび第２の画像ストリームを生成するステップは、取り込まれるビデオデータの一連の画像を第１および第２の画像ストリームになるように複製することを含むことができる。

【0011】

第１の画像ストリームおよび第２の画像ストリームを生成するステップは、ビデオデータの一連の画像の各画像から第１の画像ストリームを生成すること、および、取り込まれるビデオデータの一連の画像の画像のサブセットから第２の画像ストリームを生成することを含むことができる。

【0012】

第１の画像ストリームおよび第２の画像ストリームを生成するステップは、取り込まれるビデオデータの一連の画像の画像のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の各画像から第２の画像ストリームを生成することを含むことができる。

【0013】

第１の画像ストリームおよび第２の画像ストリームを生成するステップは、取り込まれるビデオデータの一連の画像の画像の第１のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の画像の第２のサブセットから第２の画像ストリームを生成することことを含むことができる。

【0014】

第１のサブセットの画像を第１の画像ストリームに排他的に含むことができる。第２のサブセットの画像を第２の画像ストリームに排他的に含むことができる。

【0015】

ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリームのインターエンコーデッドフレームは、ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリームの他のエンコーデッドフレームを排他的に参照することができる。

【0016】

ジョイントエンコーデッド画像ストリーム内の安定化画像ストリームのインターエンコーデッドフレームは、ジョイントエンコーデッド画像ストリーム内の安定化画像ストリームの他のインターエンコーデッドフレームまたはイントラフレームを排他的に参照することができる。

【0017】

第１の画像ストリームに画像安定化機能を適用するステップは、第１の画像ストリームの画像フレームの空間分解能と比較して、安定化画像ストリームの画像フレームの空間分解能を維持することを含むことができる。

【0018】

安定化画像ストリームの画像フレームをジョイントエンコーデッド画像ストリーム内の非表示フレームとして示すことができる。

【0019】

第２の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、処理能力を有するデバイスによって実行されると、第１の態様による方法を実施する命令を記憶している。

【0020】

第３の態様によれば、ビデオ処理システムが提供される。ビデオ処理システムは、ビデオ画像処理パイプラインおよびエンコーダーを備える。ビデオ画像処理パイプラインは、取り込まれるビデオデータの一連の画像を処理するように構成される。ビデオ画像処理パイプラインは、取り込まれるビデオデータに基づいて、第１および第２の画像ストリームであって、それぞれが複数の画像フレームを含む、第１および第２の画像ストリームを生成するように構成される画像ストリーム形成機能；および、第１の画像ストリームを画像安定化させ、それにより、安定化画像ストリームを形成するように構成される画像安定化機能を備える。画像ストリーム形成機能は、画像安定化機能から第２の画像ストリームをバイパスさせ、それにより、オリジナル画像ストリームを形成するようにさらに構成される。エンコーダーは、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含むジョイントエンコーデッド画像ストリームとして安定化画像ストリームおよびオリジナル画像ストリームをエンコードするように構成され、ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含み、ジョイントエンコーデッド画像ストリームのイントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。

【0021】

ビデオ処理システムは、ビデオカメラ、特に、デジタルビデオカメラに実装することができる。ビデオカメラはモニタリングカメラである。

【0022】

第１の態様の上記で述べた特徴は、適用可能であるとき、この第３の態様にも適用される。不当な反復を回避するため、上記に対して参照が行われる。

【0023】

本発明の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ示されることが理解されるべきである。

【0024】

したがって、本発明が、述べるデバイスの特定のコンポーネント部品または述べる方法の行為に限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が、特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求項で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、「前記（ｓａｉｄ）」が、文脈が別途明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する言及は幾つかのデバイスおよび同様なものを含むことができる。さらに、言い回し「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様の言い回しは、他の要素またはステップを排除しない。

【0025】

本発明の上記のまた他の態様は、添付図を参照して、ここでより詳細に述べられる。図は、制限的であると考えられるべきではなく；代わりに、図は、説明し理解するために使用される。

【0026】

図に示すように、層および領域のサイズは、例証のために誇張され、したがって、一般的な構造を示すために提供することができる。同様の参照数字は、全体を通して同様の要素を指す。

【図面の簡単な説明】

【0027】

【図1】ビデオ画像処理システムを概略的に示す図である。

【図2】図１のビデオ画像処理システムを備えるカメラを概略的に示す図である。

【図3a】ジョイントエンコーデッドビデオストリームの異なるＧＯＰ構造のうちの１つのＧＯＰ構造を概略的に示す図である。

【図3b】ジョイントエンコーデッドビデオストリームの異なるＧＯＰ構造のうちの１つのＧＯＰ構造を概略的に示す図である。

【図3c】ジョイントエンコーデッドビデオストリームの異なるＧＯＰ構造のうちの１つのＧＯＰ構造を概略的に示す図である。

【図4】画像処理方法のブロックスキームである。

【発明を実施するための形態】

【0028】

本発明が、ここで、発明の現在のところ好ましい変形がそこに示される添付図面を参照して、以降でより完全に述べられることになる。しかしながら、この発明は、多くの異なる形態で具現化することができ、また、本明細書で述べる実施形態に限定されるものと解釈されるべきでない；むしろ、これらの実施形態は、徹底性および完全性(ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ)のため、また、本発明の範囲を当業者に完全に伝えるために提供される。

【0029】

図１ａに関連して、ビデオ画像データを生成し処理するように構成されるビデオ画像処理システム１００が論じられる。ビデオ画像処理システム１００は、ビデオソース１１０、ビデオ画像処理パイプライン１２０、およびエンコーダー１３０を備える。図２に示すように、ビデオ画像処理システム１００はビデオカメラ２００に実装することができる。ビデオカメラ２００はデジタルビデオカメラとすることができる。ビデオカメラ２００はモニタリングカメラとすることができる。ビデオカメラ２００は、乗り物などの移動物体上に搭載されるビデオカメラとすることができる。ビデオカメラ２００を人が装着することができる。

【0030】

ビデオソース１１０はビデオデータを取り込むように構成される。ビデオデータは一連の画像とすることができる。ビデオソース１１０は画像センサとすることができる。画像センサはビデオ画像データを取り込むように構成される。ビデオソース１１０は、取り込まれるビデオ画像データをビデオ画像処理パイプライン１２０に転送するように構成される。

【0031】

ビデオ画像処理パイプライン１２０は、ビデオストリームの画像フレームになるようにビデオ画像データを処理するように構成される。ビデオ画像処理パイプライン１２０は複数の処理機能１２２を備える。各処理機能１２２はビデオ画像データを処理するように構成される。複数の処理機能１２２の幾つかは互いに依存することができる。したがって、それらは、次々に実行される必要がある。複数の処理機能１２２の幾つかは互いに独立しているとすることができる。したがって、それらは、並列に実行することができる。

【0032】

ビデオ画像処理パイプライン１２０の特定の処理機能１２２は、汎用プロセッサ上で、あるいは、グラフィクス処理ユニット、フィールドプログラマブルゲートアレイ、固定機能特定用途向け集積回路、またはアナログ回路上で実行されるコンピュータソフトウェア部として実装することができる。複数の処理機能１２２の全ての１つの処理機能は、同じタイプの実装態様を使用して実装することができる。複数の処理機能１２２の異なる１つの処理機能は、処理機能１２２の異なる実装態様を使用して実装することができる。複数の処理機能１２２のサブセットは、同じタイプの実装態様を使用して実装することができる。したがって、ビデオ画像処理パイプライン１２０の特定の処理機能１２２は、ソフトウェア、専用ハードウェア、またはファームウェア、あるいは、専用ハードウェア、ファームウェア、および／またはソフトウェアの何らかの組み合わせとして実装することができる。

【0033】

ビデオ画像処理システム１００はシステムメモリ１４０をさらに備えることができる。システムメモリ１４０は、ビデオ画像データを処理しながら、ビデオ画像処理パイプライン１２０の処理機能１２２によって使用することができる。システムメモリ１４０は、ランダムアクセスメモリ、ＲＡＭなどの揮発性メモリを備えることができる。システムメモリ１４０は、エンコーディング中にエンコーダー１３０が使用することもできる。

【0034】

ビデオ画像処理パイプライン１２０は、画像ストリーム形成機能１２２ａおよび画像安定化機能１２２ｂを備える。画像安定化機能１２２ｂは、画像ストリーム形成機能１２２ａの下流で実施される。画像ストリーム形成機能１２２ａおよび画像安定化機能１２２ｂは本明細書で以下でより詳細に論じられる。

【0035】

画像ストリーム形成機能１２２ａおよび画像安定化機能１２２ｂに加えて、ビデオ画像処理パイプライン１２０は、１つまたは複数のさらなる処理機能１２２を備えることができる。１つまたは複数のさらなる処理機能１２２は、以下；画像センサ補正機能、ノイズ低減機能、画像スケーリング機能、ガンマ補正機能、画像強調機能、カラー空間変換機能、露光マージ機能（例えば、ＷＤＲ／ＨＤＲ）、およびクロマサブサンプリング機能の１つまたは複数とすることができる。

【0036】

画像ストリーム形成機能１２２ａは、取り込まれるビデオデータに基づいて、第１および第２の画像ストリームを作成するように構成される。第１および第２の画像ストリームのそれぞれは複数の画像フレームを含む。画像ストリーム形成機能１２２ａは、第１および第２の画像ストリームになるようにビデオデータの一連の画像を複製することによって、第１および第２の画像ストリームを生成することができる。したがって、一連の画像の各画像は、第１および第２の画像ストリームの両方の画像として使用することができる。代替的に、画像ストリーム形成機能１２２ａは、ビデオデータの一連の画像の各画像に基づいて第１の画像ストリームの画像フレームを生成し、ビデオデータの一連の画像の画像のサブセットに基づいて第２の画像ストリームの画像フレームを生成することができる。したがって、一連の画像の各画像は第１の画像ストリームの画像として使用することができ、一連の画像の画像のサブセットは第２の画像ストリームの画像として使用することができる。さらに代替的に、画像ストリーム形成機能１２２ａは、ビデオデータの一連の画像の各画像に基づいて第２の画像ストリームの画像フレームを生成し、ビデオデータの一連の画像の画像のサブセットに基づいて第１の画像ストリームの画像フレームを生成することができる。したがって、一連の画像の各画像は第２の画像ストリームの画像として使用することができ、一連の画像の画像のサブセットは第１の画像ストリームの画像として使用することができる。さらに代替的に、画像ストリーム形成機能１２２ａは、ビデオデータの一連の画像の画像の第１のサブセットに基づいて第１の画像ストリームの画像フレームを生成し、ビデオデータの一連の画像の画像の第２のサブセットに基づいて第２の画像ストリームの画像フレームを生成することができる。第１および第２のサブセットは、オーバーラップできるまたはオーバーラップできない。第１および第２のサブセットがオーバーラップしない場合、第１のサブセットは第１の画像ストリームに排他的に含まれることになり、第２のサブセットは第２の画像ストリームに排他的に含まれることになる。したがって、一連の画像の特定の画像は、第１の画像ストリームの画像または第２の画像ストリームの画像として使用することができる。

【0037】

画像ストリーム形成機能１２２ａは、第１の画像ストリームを画像安定化機能１２２ｂに提供するように構成される。したがって、第１の画像ストリームは、画像安定化機能１２２ｂによるさらなる処理のために画像安定化機能１２２ｂに送信される。画像ストリーム形成機能１２２ａは、画像安定化機能１２２ｂから第２の画像ストリームをバイパスさせるように構成される。したがって、第２の画像ストリームは、画像安定化機能１２２ｂにおける処理からバイパスされる。バイパスされる画像ストリームはオリジナル画像ストリームと呼ばれることになる。オリジナル画像ストリームは非安定化画像ストリームである。

【0038】

画像安定化機能１２２ｂは、画像安定化機能を第１の画像ストリームに適用するように構成される。好ましくは、画像安定化機能は電子画像安定化、ＥＩＳ機能である。画像安定化機能１２２ｂによって処理された後に、結果として得られる画像ストリームは、安定化画像ストリームと呼ばれる。したがって、画像安定化機能１２２ｂは、第１の画像ストリームから安定化画像ストリームを形成するように構成される。

【0039】

画像安定化機能１２２ｂは、第１の画像ストリームの画像フレームの空間分解能と比較して、安定化画像ストリームの画像フレームの空間分解能を維持するように設定することができる。したがって、安定化画像ストリームとオリジナル画像ストリームの両方の画像フレームの空間分解能は同じである。

【0040】

エンコーダー１３０は、エンコーデッドビデオストリームになるようにビデオストリームの画像フレームをエンコードするように構成される。エンコーダー１３０は、任意の適したエンコーディングスキームを使用するように設定することができる。非制限的な例は、Ｈ．２６４、Ｈ．２６５、およびＡＶ１である。

【0041】

エンコーダー１３０は、安定化画像ストリームおよびオリジナル画像ストリームをジョイントエンコーデッド画像ストリームとしてエンコードするように構成される。ジョイントエンコーデッド画像ストリームは、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含む。エンコーダーは、ジョイントエンコーデッド画像ストリームをエンコードして、イントラエンコーデッドフレームおよびインターエンコーデッドフレームを共に含むように構成される。エンコーダー１３０は、ジョイントエンコーデッド画像ストリームのイントラフレームをオリジナル画像ストリームの画像フレームに基づいて排他的にエンコードするように構成される。エンコーダー１３０は、インターフレームになるようにオリジナル画像ストリームの残りの画像フレームをエンコードするように構成することができる。エンコーダー１３０は、インターフレームになるように安定化画像ストリームの画像フレームをエンコードするように構成することができる。

【0042】

図３ａ、図３ｂ、図３ｃに関連して、ジョイントエンコーデッド画像ストリームのピクチャ群、ＧｏＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造の３つの例が示される。イントラフレーム、Ｉフレームは、オリジナル画像ストリームの画像フレームに基づいてエンコードされ、これはＩ_Ｏフレームとして示され、添え字Ｏは、Ｉフレームがオリジナル画像ストリームからの画像フレームに基づくことを示す。インターフレーム、Ｐフレームは、安定化画像ストリームからの画像フレームに基づいてエンコードされ、これらのＰフレームはＰ_Ｓフレームとして示され、ＳはＰフレームが安定化画像ストリームからの画像フレームに基づくことを示す、または、オリジナル画像ストリームからの画像フレームに基づいてエンコードされ、これらのＰフレームはＰ_Ｏフレームとして示され、ＯはＰフレームがオリジナル画像ストリームからの画像フレームに基づくことを示す。Ｐフレームの順序的に最初のものは、イントラフレーム、すなわちＩ_Ｏフレームをエンコードするために使用されるオリジナルフレームの画像安定化バージョンのエンコーデッドバージョンとすることができる。この順序的に最初のＰフレームは、図３ａ、図３ｂ、および図３ｃにおいて、その特別な性質を示すＰ’_Ｓフレームとして示される。

【0043】

図３ａに示すように、エンコーダー１３０は、Ｐ_Ｏフレームが別のＰ_ＯフレームまたはＩ_Ｏフレームを排他的に参照するように、また、Ｐ_Ｓフレームが別のＰ_ＳフレームまたはＩ_Ｏフレームを排他的に参照するように構成することができる。

【0044】

図３ｂに示すように、エンコーダー１３０は、Ｐ_Ｏフレームが別のＰ_ＯフレームまたはＩ_Ｏフレームを排他的に参照するように、また、Ｐ_ＳフレームがＰ_ＯフレームまたはＩ_Ｏフレームを排他的に参照するように構成することができる。

【0045】

図３ｃに示すように、エンコーダー１３０は、Ｐ_Ｏフレームが別のＰ_ＯフレームまたはＩ_Ｏフレームを排他的に参照するように、また、Ｐ_ＳフレームがＰ_ＯフレームまたはＩ_ＯフレームとＰ_Ｓフレームを参照するように構成することができる。

【0046】

上記で、インターフレームがＰフレームとしてエンコードされることが論じられた。しかしながら、Ｐフレームの１つまたは複数をＢフレームとしてエンコードすることも可能である。

【0047】

エンコーダー１３０は、ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリーム非表示フレームの画像フレームを示すように構成することができる。そうして、ジョイントエンコーデッド画像ストリームをデコードするデコーダーセットは、安定化画像ストリームの画像フレームを表示するだけであるように、したがって、Ｐ_Ｓフレーム（Ｐ’_Ｓフレームを含む）のデコーデッドバージョンを表示するだけであるように指示されることになる。

【0048】

図４に関連して、ビデオ処理方法４００が論じられる。ビデオ処理方法は、取り込まれるビデオデータをエンコードするように構成される。ビデオ処理方法は以下のステップ／行為を含む。

【0049】

第１の画像ストリームおよび第２の画像ストリームを生成する（Ｓ４０２）。第１の画像ストリームおよび第２の画像ストリームの生成は、取り込まれるビデオデータの一連の画像に基づく。第１の画像ストリームは、複数の画像フレームを含むように生成される。第２の画像ストリームは、複数の画像フレームを含むように生成される。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、第１および第２の画像ストリームになるように、取り込まれるビデオデータの一連の画像を複製することを含むことができる。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、ビデオデータの一連の画像の各画像から第１の画像ストリームを生成すること、および、取り込まれるビデオデータの一連の画像の画像のサブセットから第２の画像ストリームを生成することを含むことができる。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、取り込まれるビデオデータの一連の画像の画像のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の各画像から第２の画像ストリームを生成することを含むことができる。第１の画像ストリームおよび第２の画像ストリームを生成すること（Ｓ４０２）は、取り込まれるビデオデータの一連の画像の画像の第１のサブセットから第１の画像ストリームを生成すること、および、ビデオデータの一連の画像の第２のサブセットから第２の画像ストリームを生成することを含むことができる。第１のサブセットの画像を、第１の画像ストリームに排他的に含むことができる。第２のサブセットの画像を、第２の画像ストリームに排他的に含むことができる。

【0050】

第１の画像ストリームに画像安定化機能を適用し（Ｓ４０４）、それにより、安定化画像ストリームを形成する。第１の画像ストリームに画像安定化機能を適用すること（Ｓ４０４）は、第１の画像ストリームの画像フレームの空間分解能と比較して、安定化画像ストリームの画像フレームの空間分解能を維持することを含むことができる。

【0051】

画像安定化機能から第２の画像ストリームをバイパスさせ（Ｓ４０６）、それにより、オリジナル画像ストリームを形成する。

【0052】

ジョイントエンコーデッド画像ストリームとして安定化画像ストリームおよびオリジナル画像ストリームをエンコードする（Ｓ４０８）。ジョイントエンコーデッド画像ストリームは、安定化画像ストリームとオリジナル画像ストリームの両方からの画像フレームに基づくエンコーデッドフレームを含む。ジョイントエンコーデッド画像ストリームは、イントラフレームおよびインターフレームを含む。ジョイントエンコーデッド画像ストリームのイントラフレームは、オリジナル画像ストリームの画像フレームに基づいて排他的にエンコードされる。オリジナル画像ストリームの残りの画像フレームは、インターフレームになるようエンコードすることができる。安定化画像ストリームの画像フレームは、インターフレームになるようエンコードすることができる。エンコードする（Ｓ４０８）間、オリジナル画像ストリームの画像フレームは、非表示フレームとして示すことができる。エンコードすること（Ｓ４０８）は、ジョイントエンコーデッド画像ストリーム内でオリジナル画像ストリームのインターエンコーデッドフレームをエンコードするとき、ジョイントエンコーデッド画像ストリーム内のオリジナル画像ストリームの他のエンコーデッドフレームを排他的に参照することを含むことができる。エンコードすること（Ｓ４０８）は、ジョイントエンコーデッド画像ストリーム内で安定化画像ストリームのインターエンコーデッドフレームをエンコードするとき、ジョイントエンコーデッド画像ストリーム内の安定化画像ストリームの他のインターエンコーデッドフレームまたはイントラフレームを排他的に参照することを含むことができる。

【0053】

本発明が上記で述べた好ましい実施形態に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。

【0054】

例えば、エンコーダー１３０は、ジョイントエンコーデッド画像ストリーム内の安定化画像ストリーム非表示フレームの画像フレームを示すように構成することができる。したがって、エンコードしている間、安定化画像ストリームの画像フレームは非表示フレームとして示すことができる。そうして、ジョイントエンコーデッド画像ストリームをデコードするデコーダーセットは、オリジナル画像ストリームの画像フレームを表示するだけであるように指示されることになる。

【0055】

さらに、開示される実施形態に対する変形を、図面、開示、および添付特許請求項の調査から、特許請求される発明を実施するときに当業者が理解し、実施することができる。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】