特許 6335191 画像／ビデオ解像度とカラーサブサンプリングの自動検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6335191

(24)【登録日】2018年5月11日

(45)【発行日】2018年5月30日

(54)【発明の名称】画像／ビデオ解像度とカラーサブサンプリングの自動検出方法及び装置

(51)【国際特許分類】

   H04N 11/06 20060101AFI20180521BHJP

【ＦＩ】

   H04N11/06

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2015-549330(P2015-549330)

(86)(22)【出願日】2012年12月19日

(65)【公表番号】特表2016-509770(P2016-509770A)

(43)【公表日】2016年3月31日

(86)【国際出願番号】US2012070682

(87)【国際公開番号】WO2014098849

(87)【国際公開日】20140626

【審査請求日】2015年12月18日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ズー，リホア

(72)【発明者】

【氏名】テ，アントン

(72)【発明者】

【氏名】バーコンズ−パラオ，ジーザス

(72)【発明者】

【氏名】ゲーデケン，リチャード，エドウィン

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 国際公開第２０１２／１６１１８８（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／１４５７２７（ＷＯ，Ａ１）

【文献】 特表２０１３−５１９２８６（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０９８９３６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １１／００−１１／２４

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １３／１０−１３／３０

Ｈ０４Ｎ １７／００−１７／０６

Ｈ０４Ｎ ７／０１

Ｇ０９Ｇ ５／００− ５／４２

(57)【特許請求の範囲】

【請求項1】

画像データのフォーマットを検出する方法であって、
画像解像度とサブサンプリングフォーマットを含む複数のフォーマットから１つのフォーマットを選択するステップと、
前記フォーマットに基づいて前記画像データの少なくとも一部分の統計を計算するステップであって、前記統計は時間的統計的分散又は隣接行列のうち少なくとも一つであるステップと、
前記フォーマットの計算された統計を記憶するステップと、
すでに選択されたフォーマット以外の、前記複数のフォーマットの各フォーマットに対して前記選択するステップ、計算するステップ及び記憶するステップを繰り返すステップと、
前記複数のフォーマットの各フォーマットに対応する計算された統計を比較するステップと、
前記画像データをさらに処理するため、前記比較するステップに応じて前記複数のフォーマットのうちの一つを選択するステップとを有する、方法。

【請求項2】

前記フォーマットは画像解像度とサブサンプリング構成とのうち少なくとも一方を含む、
請求項１に記載の方法。

【請求項3】

前記サブサンプリング構成は色度情報のサブサンプリング構成である、
請求項２に記載の方法。

【請求項4】

前記フォーマットは前記画像データの、画像解像度とサブサンプリング以外の別の特徴を含む、
請求項１に記載の方法。

【請求項5】

前記画像データの一部分はランダムに選択される、
請求項１に記載の方法。

【請求項6】

前記計算するステップは、前記統計として、空間的統計的分散、時間的統計的分散、隣接行列及びヒストグラム差分のうち少なくとも２つの組み合わせを用いるステップを含む、
請求項１に記載の方法。

【請求項7】

使用する統計は前記画像データのコンテンツに基づく、
請求項６に記載の方法。

【請求項8】

使用する統計は利用可能な処理能力に基づく、
請求項６に記載の方法。

【請求項9】

画像データのフォーマットを検出する装置であって、
画像解像度とサブサンプリングフォーマットを含む複数のフォーマットから１つのフォーマットを選択する第１のセレクタと、
前記フォーマットに基づいて前記画像データの少なくとも一部分の統計を計算する計算回路であって、前記統計は時間的統計的分散又は隣接行列のうち少なくとも一つである計算回路と、
前記フォーマットの計算された統計を記憶するメモリと、
前記第１のセレクタ、計算回路及びメモリに、すでに選択されたフォーマット以外の、前記複数のフォーマットの各フォーマットに対して作用させるロジック回路と、
前記複数のフォーマットの各フォーマットに対応する計算された統計を比較する比較器と、
前記画像データをさらに処理するため、前記比較器に応じて前記複数のフォーマットのうちの一つを選ぶ第２のセレクタとを有する、装置。

【請求項10】

前記計算回路は、前記統計として、空間的統計的分散、時間的統計的分散、隣接行列及びヒストグラム差分の組み合わせを用いる、
請求項９に記載の装置。

【請求項11】

画像データのフォーマットを検出する方法であって、
画像解像度とサブサンプリングフォーマットを含む複数のフォーマットから１つのフォーマットを選択するステップと、
前記フォーマットに基づいて前記画像データの少なくとも一部分の統計を計算するステップと、
前記フォーマットの計算された統計を記憶するステップと、
すでに選択されたフォーマット以外の、前記複数のフォーマットの各フォーマットに対して前記選択するステップ、計算するステップ及び記憶するステップを繰り返すステップと、
前記複数のフォーマットの各フォーマットに対応する計算された統計を比較するステップと、
前記画像データをさらに処理するため、前記比較するステップに応じて前記複数のフォーマットのうちの一つを選ぶステップとを有する、方法。

【請求項12】

画像データのフォーマットを検出する装置であって、
画像解像度とサブサンプリングフォーマットを含む複数のフォーマットから１つのフォーマットを選択する第１のセレクタと、
前記フォーマットに基づいて前記画像データの少なくとも一部分の統計を計算する計算回路と、
前記フォーマットの計算された統計を記憶するメモリと、
前記第１のセレクタ、計算回路及びメモリに、すでに選択されたフォーマット以外の、前記複数のフォーマットの各フォーマットに対して作用させるロジック回路と、
前記複数のフォーマットの各フォーマットに対応する計算された統計を比較する比較器と、
前記画像データをさらに処理するため、前記比較器に応じて前記複数のフォーマットのうちの一つを選ぶ第２のセレクタとを有する、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、原画像またはビデオデータからの画像またはビデオ解像度及びカラーサブサンプリングフォーマットを自動検出する方法及び装置に関する。

【背景技術】

【0002】

画像またはビデオシーケンスは、さまざまな解像度のものが一以上の一般的なカラーサブサンプリングフォーマットを用いてスタジオ環境に届けられることが多い。これらのシーケンスの解像度及びカラーサブサンプリングフォーマットは一般的に予め知ることはできない。大規模なスタジオはこのようなシーケンスを数多く扱っている。これらのうち多くのものは例えばＹＵＶなどのフォーマットであり、各シーケンスを処理する前にビデオ解像度とサブサンプリングフォーマットをマニュアル入力するには時間がかかる。圧縮側（ｃｏｍｐｒｅｓｓｉｏｎｉｓｔ）は可能性のあるさまざまな解像度を一つずつ試す必要があり、ＹＵＶシーケンスの場合、メタデータ及びサブサンプリング情報のメタデータを格納する機能を有していないので、このプロセスにはもっと時間がかかる。

【0003】

これらの問題は、原画像またはビデオデータからの画像またはビデオ解像度及びカラーサブサンプリングフォーマットの自動検出方法及び装置を提供する、ここに説明する原理により解決される。本方法は、原画像またはビデオシーケンスにおける相関強度を決定し、データシーケンスと、さまざまな解像度及びサブサンプリングの可能性との間のベストマッチを探し出す。

【発明の概要】

【0004】

ここに説明する原理は、原画像またはビデオシーケンスから解像度とカラーサブサンプリングフォーマットを自動的に検出する方法と装置に関する。

【0005】

ここに開示する方法は、潜在的な解像度／カラーサブサンプリングの組み合わせのルックアップテーブルに基づいて、原ビデオデータシーケンスから統計量を計算することにより、画像またはビデオの解像度及びカラーサブサンプリングフォーマットを発見する。統計量（ｍｅｔｒｉｃｓ）には、空間的及び時間的な統計、例えば相関や分散が含まれる。ここに開示する方法の幾つかの実施形態は、解像度及びカラーサブサンプリングフォーマットの発見においてブロックベースの分散及びカラーサンプリング及び輝度レベルを考慮する。本方法は、例えば、相関の強さや最小分散を計算することにより、データシーケンスと潜在的な解像度及びサブサンプリングの可能性との間のベストマッチを判断する。

【0006】

本原理の一態様により、画像データのフォーマットを検出する方法が提供される。画像データは、単一画像、画像の一部分、ビデオシーケンスまたはその一部分のデータであり得る。この方法は、画像の一部分を受け取るステップと、潜在的な複数のフォーマットから画像解像度及びサブサンプリングフォーマットを含む一フォーマットを選択するステップとを有する。この方法は、さらに、選択したフォーマットに基づいて画像データの少なくとも一部分の統計を計算するステップと、選択したフォーマットの計算された統計を記憶するステップとを有する。潜在的な他の複数のフォーマットの各々に対して、選択するステップ、計算するステップ、及び記憶するステップを繰り返す。この方法は、さらに、選択した各フォーマットに対応する計算された統計を比較するステップと、さらに処理するため、比較するステップに応じて複数のフォーマットのうちの一つを選択するステップを有する。

【0007】

本原理の他の一態様により、画像データのフォーマットを検出する装置が提供される。本装置は、画像の一部分を受け取るレシーバと、潜在的な複数のフォーマットから画像解像度及びサブサンプリングフォーマットを含む一フォーマットを選択する第１のセレクタとを有する。本装置はさらに、選択されたフォーマットに基づいて画像データの少なくとも一部分の統計を生成する計算回路を有する。本装置はさらに、選択されたフォーマットの生成された統計を記憶するメモリと、第１のセレクタと計算回路とメモリとに、潜在的な他の複数のフォーマットの各々に作用（ｏｐｅｒａｔｅ）させるロジック回路とを有する。本装置はさらに、選択されたフォーマットの各々に対応する計算された統計に作用する比較器と、さらに別の処理のために、比較器に応じて、複数のフォーマットのうちの一つを選ぶ第２のセレクタとを含む。

【0008】

本原理の上記その他の態様、特徴、及び有利性は、添付した図面を参照して読むと、実施形態の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0009】

【図1】本原理により用いられるカラーサブサンプリングの一例を示す図である。

【図2】本原理による隣接グラフを示す図である。

【図3】本原理による隣接行列を示す図である。

【図4】本原理による、空間的統計的分散を用いてピクチャの解像度とサブサンプリングフォーマットを検出する方法の一実施形態を示す図である。

【図5】本原理による、時間的統計的分散を用いてピクチャの解像度とサブサンプリングフォーマットを検出する方法の一実施形態を示す図である。

【図6】本原理による、隣接行列を用いてピクチャの解像度とサブサンプリングフォーマットを検出する方法の一実施形態を示す図である。

【図7】本原理による、ヒストグラム差分を用いてピクチャの解像度とサブサンプリングフォーマットを検出する方法の一実施形態を示す図である。

【図8】本原理によるピクチャの解像度とサブサンプリングフォーマットを検出する装置の一実施形態を示す図である。

【発明を実施するための形態】

【0010】

ここに説明する原理は、原画像またはビデオデータのデジタル画像またはビデオシーケンスの解像度及びカラーサブサンプリングフォーマットの自動検出に関する。説明の多くにおいて、ビデオシーケンスと言った時、留意すべき点として、同じカラーサブサンプリングフォーマットは個々の画像にも適用され得る。

【0011】

デジタル画像だけでなくデジタルビデオシーケンスは、さまざまな解像度とフォーマットで符号化され、格納される。一般的な多くのフォーマットは、輝度情報と色度情報を、異なる複数の解像度で、一般的には２つの色度チャネルと１つの輝度チャネルを用いて、別々に符号化する。また、ほとんどのフォーマットは、カラーサブサンプリングを用い、個々の色度チャネルの解像度が輝度チャネルの解像度より小さくなるようにしている。

【0012】

ビデオ用のＭＰＥＧや画像用のＪＰＥＧなどのデジタル圧縮方式は、一般的にＹＣｂＣｒカラーフォーマットを用いる。これは一般的にはＹＵＶと呼ばれている。ＣｂとＣｒクロマチャネルは、値が、それぞれブルー・イエロー色度軸と赤・シアン色度軸での、グレーからの変位を表すクロマ差分チャネルである。厳密に言えば、ＹＵＶはアナログコンポーネントビデオを指すが、ＹＣｂＣｒが一般的にＹＵＶと呼ばれるので、本願においてＹＵＶと言う時には、特に断らない限りＹＣｂＣｒのことである。

【0013】

ＹＵＶデジタル符号化フォーマットはさまざまなビデオ（または画像）解像度とともに用い得る。ピクセル解像度は、例えば、２４０水平ピクセル（Ｈ）×１６０垂直ピクセル（Ｖ）から２０６０（Ｈ）×２０４８（Ｖ）の範囲であり得る。可能性のある各ビデオ解像度について、カラー情報を程度を変えてサブサンプリングして、ＵチャネルとＶチャネルを形成し得る。

【0014】

そのため、例えば、１９２０（Ｈ）×１０８０（Ｖ）ビデオシーケンスは、Ｙ情報を１９２０×１０８０ピクセル解像度で有しているが、ＵチャネルとＶチャネルはサブサンプリングされ、それぞれのチャネルの解像度は、例えば９６０×５４０となっていてもよい。この場合、ＵチャネルとＶチャネルは、水平及び垂直の両方向で、Ｙチャネルの半分の解像度である。それゆえ、４つの輝度ピクセルごとに、１つの対応Ｕサンプルと１つの対応Ｖサンプルがあるので、ＵチャネルとＶチャネルの各々の密度は、対応する輝度チャネルの密度の４分の１である。このタイプのサブサンプリングは、色度チャネルが輝度解像度に対して、水平及び垂直の両方向で２分の１にサブサンプリングされ、４：２：０フォーマットと呼ばれ、これはコンポーネントＹ：Ｕ：Ｖの相対的なサンプリング比率に対応している。図１は４：２：０フォーマットを示す。４：１：１フォーマットは、輝度解像度の４分の１の水平解像度と、輝度解像度と同じ垂直解像度の色度コンポーネントを有する。

【0015】

デジタル情報で最も一般的なフォーマットは４：２：２である。このフォーマットは、水平解像度が輝度の２分の１であり、垂直解像度が輝度と同じ色度コンポーネントを有する。プロフェッショナル用ＣＣＩＲ６０１デジタルビデオフォーマットは、ＹＣｂＣｒ信号にこのフォーマットを用いる。比圧縮信号を処理するハイエンドビデオ機器は、輝度と色度の両方のコンポーネントで同じ解像度の４：４：４フォーマットを用いる。

【0016】

本発明は、画像／ビデオ解像度とカラーサブサンプリングフォーマットを画像／ビデオデータから自動的に検出する方法と装置に関する。少なくとも一実施形態では、本発明は、ルックアップテーブルに基づき原データシーケンス内の空間的相関を、またはブロックベースの分散、カラーサンプリング及び輝度レベルのうちの少なくとも１つを用いてデータシーケンス間の時間的相関を発見するステップ、相関の強度を発見するステップ、及びベストマッチポイントを発見するステップのうち一以上を含む。

【0017】

本発明の実施形態では、原画像データの輝度及び色度情報の順序（ｏｒｄｅｒ）とスペーシング（ｓｐａｃｉｎｇ）とに関する仮定を行う。これらの仮定に基づいてさまざまな統計を計算でき、個別に、または組み合わせて用いて、画像またはビデオシーケンスの解像度とカラーサブサンプリングフォーマットを決定する役に立つ。

【0018】

原画像データのサンプルがサンプリングされ、フォーマットに応じた順序で記憶される。ＭＰＥＧ−２符号化標準は、例えば、マクロブロックの各輝度ブロックのサンプルを連続的に格納し、それに続いてそのマクロブロックのＣｂブロックのサンプル、それに続いてそのマクロブロックのＣｒブロックを格納する。４：２：０ビデオの場合、４つの輝度ブロックの次に１つのＣｂブロック、その次に１つのＣｒブロックがくる。

【0019】

本発明は、テストされた複数のフォーマットにおいて、可能性のある解像度とカラーサブサンプリングの各組み合わせについての輝度及び色度ブロックの順序に関する知識を用いて、どの順序が原画像データに最もフィットするか判断する。原画像データに最もフィットする順序に対応するフォーマットが、その原画像の解像度／カラーサブサンプリングであると判断される。例えば、解像度が１９２０×１０８０でありカラーサブサンプリングフォーマットが４：２：０である原画像データは、間隔が１２０マクロブロックだけ開いた４つの輝度ブロック間の相関が高い（１ラインあたり１９２０水平ピクセル／１マクロブロックあたり１６水平ピクセル＝１ラインあたり１２０マクロブロック）。同様に、４輝度マクロブロックにすぐ続く対応するＣｂ及びＣｒブロックは、間隔が１２０マクロブロックだけ開いた４つのマクロブロックに続くＣｂ及びＣｒブロックと同様の相関を有し得る。可能性のある解像度／カラーサブサンプリングの各組み合わせの統計を計算する場合、原画像データに最もフィットする順序を、原画像の解像度／カラーサブサンプリングであると判断される。本発明の少なくとも一実施形態において、さまざまな統計を計算し、荷重して組み合わせ、各解像度／サブサンプリングフォーマットの決定統計（ｄｅｃｉｓｉｏｎ ｓｔａｔｉｓｔｉｃ）を生成する。

【0020】

他の一実施形態では、用いる統計的方法は、コンテンツまたは利用可能な処理能力により決定し得る。例えば、スポーツイベントでは時間的統計的分散量（ｔｅｍｐｏｒａｌ ｓｔａｔｉｓｔｉｃ ｄｉｓｐｅｒｓｉｏｎ ｍｅｔｒｉｃｓ）を用いても良いし、オフライン処理ではヒストグラム差分（ｈｉｓｔｏｇｒａｍ ｄｉｆｆｅｒｅｎｃｅ）を用いてもよい。

【0021】

原画像またはビデオシーケンスデータは、プロダクション施設に届くとき、解像度とサブサンプリングフォーマットが分からないことが多い。データのボリュームが大きいので、圧縮側（ｃｏｍｐｒｅｓｓｉｏｎｉｓｔ）にとっては、異なる多数のフォーマットを仮定しながらデータ処理を試みるのは大変な仕事である。ＹＵＶフォーマットのコンテンツの場合、解像度とフォーマットを示すのに用い得るメタデータを格納することができない。下記の方法と装置は、画像の部分間のまたはビデオのフレーム間の、時間的及び／または空間的な最良の相関を発見することにより、同じ画像またはフレームにわたる最小の分散を発見することにより、この欠陥に対する解決策を提供しようとするものである。

【0022】

原画像データ中の輝度及び色度情報の順序と間隔に関する仮定を用いて、さまざまな統計であって、個別にまたは組み合わせて用いて画像またはビデオシーケンスの解像度及びカラーサブサンプリングフォーマットを決定する役に立つ統計を計算する。統計の一部に関する背景情報が有用である。

【0023】

現代の統計・確率理論は、ランダム変数またはサンプルのばらつきや分散を測るのに、標準偏差などの統計的分散を用いる。統計的分散は、サンプルが代表値（ａｖｅｒａｇｅ）からどのくらい変動するかを示す。統計的分散が小さいことは、データが平均の近くにクラスターすることを意味する。他方、統計的分散が大きいことは、サンプルやランダム変数の値が広い範囲にわたり広がることを示す。統計的分散ｄをＬノルム統計として記述できる：
Ｌ^１ノルム統計は、メジアンが絶対偏差を最小化する程度を示す。メジアンがｍ（ｍは平均であってもよく、その場合、偏差は平均絶対偏差と呼ばれる）である集合｛ｘ_１， ｘ_２， ．．． ｘ_ｎ｝の代表絶対偏差は、式（１）である：

【0024】

【数1】

Ｌ^２ノルム統計は、メジアンが標準偏差を最小化する程度を示す。代表値が平均μである集合｛ｘ_１， ｘ_２， ．．．， ｘ_ｎ｝の標準偏差は、式（２）である：

【0025】

【数2】

Ｌ^２ノルム統計は、ミッドレンジ（ｍｉｄ−ｒａｎｇｅ）が最大絶対偏差を最小化する程度を示す。

＜隣接行列＞
数学では、隣接行列は、他のノードに隣接するグラフのノードを表す。頂点がｎ個の有限グラフＧの隣接行列は、エントリーａ_ｉｊがノードｉからノードｊへの辺の数であるｎ×ｎ行列Ｍである。図２は隣接グラフを示し、図３はその隣接行列を示す。図３において、ａ_００はノード０からそれ自体を意味し、その値を示す。

【0026】

隣接行列は、次式（３）を用いて２つのフレーム間の時間的相関を確定できる：

【0027】

【数3】

ここで、Ｃ_{ｔ，ｔ＋１}は時間的相関を表し、
［外１］

は隣接行列のエントリー（ｅｎｔｒｙ）であり、フレームｔでピクセル値ｉを有し、フレームｔ＋１でピクセル値ｊを有する要素の総数に対応する。

【0028】

［外２］

はフレームｔで値ｉを有するピクセルの総数を表す。

【0029】

［外３］

はフレームｔ＋１で値ｊを有するピクセルの総数を表す。

＜ヒストグラム差分＞
ヒストグラム検出アルゴリズムは連続する２つのビデオフレームは類似したコンテンツを有するとの仮定に基づく。ｈ_ｉをフレーム中の値ｉを有するピクセル数であるとし、Ｎをピクセルの総数であるとし、Ｒはグレーレベルの範囲であり、ｔは現在フレームナンバーであり、ｔ＋１は次のフレームナンバーであるとする。ヒストグラム差分Ｈ_{ｔ，ｔ＋１}は式（４）で定義される：

【0030】

【数4】

＜サブサンプリングと解像度の検出＞
ピクチャ（またはビデオフレーム）は、空間領域でライン間の強い相関を有する。ビデオフレームの場合、時間領域で強い相関も有している。

＜解像度及びサブサンプリングルックアップテーブルまたはチェック範囲の構築＞
第１のステップは、解像度とサブサンプリングフォーマットを捉えるルックアップテーブルの構築を含む。例えば、５つのカラーサブサンプリングフォーマットと可能性のある４４の画像解像度を表すため、次のテーブルを構成し得る：
［外４］

これらのルックアップテーブルを、図４と図５のフローチャートの実施形態で用い得る。

【0031】

また、原画像データの他の特徴を用いてもよい。例えば、ビット深度はルックアップテーブルに含め得る他の一パラメータである。この場合、ルックアップテーブルは追加的にビット深度の次元を有する：
［外５］

＜ピクチャの解像度とサブサンプリングフォーマットを検出する空間的統計的分散の利用＞
図４は、空間的統計的分散を用いて原データピクチャの解像度とサブサンプリングフォーマットを検出する方法４００の一実施形態を示すフローチャートである。

【0032】

本プロセスはステップ４１０から始まる。ステップ４１０に続いて、ステップ４２０に進み、解像度及びサブサンプリングルックアップテーブルから解像度とサブサンプリングフォーマットを取得する。ステップ４３０において、すべての解像度及びサブサンプリングフォーマットがループされたか判断するチェックを行う。ＹＥＳであれば、ステップ４９０に進み、そうでなければ、ステップ４４０に進む。ステップ４４０において、ステップ４２０の解像度とサブサンプリングフォーマットに基づき、原データピクチャを読み込む。ステップ４４０に続いて、ステップ４５０において、隣接する２つのライン間の差分を計算する。ステップ４５０に続いて、ステップ４６０において、ステップ４５０の差分値の平均を取得し、ステップ４７０において、ステップ４５０の差分値の分散を計算する。ステップ４７０の後、ステップ４８０において、分散を格納リストに入れ、ステップ４２０に戻る。ステップ４３０において、テーブルの値がすべてループされたら、ステップ４９０に進み、リスト間の最小分散を発見する。ステップ４９５をステップ４９０の次に行い、ステップ４７０と４８０の最小分散に基づき解像度とサブサンプリングフォーマットを取得する。本方法はステップ４９９で終了する。

＜ビデオシーケンスの解像度とサブサンプリングフォーマットを検出する時間的統計的分散の利用＞
図５は、時間的統計的分散を用いて原ビデオシーケンスの解像度とカラーサブサンプリングフォーマットを検出する方法５００の一実施形態を示すフローチャートである。

【0033】

本プロセスはステップ５１０から始まる。ステップ５１０に続いて、ステップ５２０に進み、解像度及びサブサンプリングルックアップテーブルから解像度とサブサンプリングフォーマットを取得する。ステップ５３０に進み、すべての解像度とサブサンプリングフォーマットをループしたかチェックする。ＹＥＳであれば、ステップ５３２に進み、そうでなければ、ステップ５３３に進む。ステップ５３３において、２つの近傍原データビデオフレームを読み込む。ステップ５３５がステップ５３３に続き、変数ｓｕｍ＿ｖａｒｉａｎｃｅをゼロに初期化する。ステップ５３５に続いて、ステップ５４０において、現在の２つの近傍フレームがビデオシーケンスの終わりであるかチェックし、ＹＥＳであれば、ステップ５４５に進み、そうでなければ、ステップ５５０に進む。ステップ５５０において、２つの近傍フレーム間の差分を計算する。ステップ５５０に続いて、ステップ５６０において、ステップ５５０の差分の平均を計算する。ステップ５７０に進み、ステップ５５０で発見した差分値の分散を計算する。ステップ５８０は、ステップ５７０に続き、分散をｓｕｍ＿ｖａｒｉａｎｃｅに加え、ステップ５４０に戻り、シーケンスの終わりに来たか判断する。シーケンスの終わりに来た場合、ステップ５４０からステップ５４５に進み、ｓｕｍ＿ｖａｒｉａｎｃｅを格納リストに入れ、ステップ５２０に戻る。

【0034】

ステップ５３０において、すべての解像度とカラーサブサンプリングフォーマットがループされた場合、ステップ５３０からステップ５３２に進み、リスト中の最小のｓｕｍ＿ｖａｒｉａｎｃｅを発見する。ステップ５３２からステップ５３４に進み、ステップ５３２の最小ｓｕｍ＿ｖａｒｉａｎｃｅに基づき解像度とサブサンプリングフォーマットを取得する。

＜ビデオシーケンスの解像度とサブサンプリングフォーマットを検出する隣接行列の利用＞
図６は、隣接行列を用いて原ビデオシーケンスの解像度とカラーサブサンプリングフォーマットを検出する方法６００の一実施形態を示すフローチャートである。

【0035】

本方法は、ステップ６１０で始まり、ステップ６２０に進み、解像度及びサブサンプリングルックアップテーブルから解像度とサブサンプリングフォーマットを取得する。ステップ６３０に進み、すべての解像度とサブサンプリングフォーマットをループしたかチェックする。ＹＥＳであれば、ステップ６３２に進み、そうでなければ、ステップ６４０に進む。ステップ６４０において、Ｍフレームの距離にある２つの近傍原データビデオフレームを読み込む（Ｍはシーケンスの長さにより決まる）。ステップ６５０に進み、変数ｓｕｍ＿ｔｅｍｐｏｒａｌ＿ｃｏｒｒｅｌａｔｉｏｎをゼロに初期化する。ステップ６６０に進み、現在の２つの近傍フレームがビデオシーケンスの終わりか判断する。シーケンスの終わりであれば、ステップ６６５に進み、そうでなければ、ステップ６７０に進む。ステップ６７０において、式（３）により２つの近傍フレーム間の時間的相関を計算する。ステップ６８０において、時間的相関をｓｕｍ＿ｔｅｍｐｏｒａｌ＿ｃｏｒｒｅｌａｔｉｏｎに加え、ステップ６６０に戻る。ステップ６６０でシーケンスの終わりだと判断されたとき、ステップ６６５に進み、ｓｕｍ＿ｔｅｍｐｏｒａｌ＿ｃｏｒｒｅｌａｔｉｏｎを格納リストに格納し、ステップ６２０に戻る。

【0036】

ステップ６３０において、すべての解像度とサブサンプリングフォーマットがループされたら、ステップ６３２に進み、リスト中の最大のｓｕｍ＿ｔｅｍｐｏｒａｌ＿ｃｏｒｒｅｌａｔｉｏｎを探す。ステップ６３４に進み、最大のｓｕｍ＿ｔｅｍｐｏｒａｌ＿ｃｏｒｒｅｌａｔｏｎに対応する解像度及びサブサンプリングを取得して、ステップ６３６で終了する。

＜ビデオシーケンスの解像度とサブサンプリングフォーマットを検出するヒストグラム差分の利用＞
図７は、ヒストグラム差分を用いて原ビデオシーケンスの解像度とカラーサブサンプリングフォーマットを検出する方法７００の一実施形態を示すフローチャートである。本方法は、ステップ７０１で始まり、ステップ７１０に進み、解像度及びサブサンプリングルックアップテーブルから解像度とサブサンプリングフォーマットを取得する。ステップ７１０からステップ７２０に進み、すべての解像度とサブサンプリングフォーマットをループしたか判断する。ループした場合、ステップ７２２に進み、そうでなければ、ステップ７３０に進む。ステップ７３０において、Ｍフレームの距離にある２つの近傍原データビデオフレームを読み込む（Ｍはシーケンスの長さにより決まる）。ステップ７３０から、ステップ７４０に進み、変数ｓｕｍ＿ｈｉｓｔｏｇｒａｍをゼロに初期化する。ステップ７５０に進み、現在の２つの近傍フレームがビデオシーケンスの終わりか判断する。シーケンスの終わりだと判断された場合、ステップ７５５に進み、そうでなければ、ステップ７６０に進み、式（４）により、２つの近傍フレーム間のヒストグラム差分を計算する。ステップ７６０に続き、ステップ７７０に進み、ヒストグラム差分をｓｕｍ＿ｈｉｓｔｏｇｒａｍに加え、ステップ７５０に戻る。ステップ７５０において、２つの近傍フレームがシーケンスの終わりであると判断すると、ステップ７５５に進み、変数ｓｕｍ＿ｈｉｓｔｏｇｒａｍを格納リストに格納し、ステップ７５０に戻る。

【0037】

ステップ７２０において、すべての解像度とカラーサブサンプリングフォーマットがループされたと判断した場合、ステップ７２２に進み、ステップ７５５で生成されたリスト中の最小のｓｕｍ＿ｈｉｓｔｏｇｒａｍを発見する。ステップ７２４に進み、リスト中の最大のｓｕｍ＿ｈｉｓｔｏｇｒａｍ値に対応する解像度及びカラーサブサンプリングフォーマットを取得する。本方法はステップ７２６で終了する。

【0038】

図８は、原ビデオシーケンスの解像度及びカラーサブサンプリングフォーマットを検出する装置８００の一実施形態を示す。本装置は、入力ポートが入力原画像データと信号接続されたレシーバ８１０を含む。本装置は、さらに、複数の潜在的フォーマット８３０から、画像解像度とサブサンプリングフォーマットを含むフォーマットを選択する第１のセレクタ８２０を含む。また、前記装置は、選択されたフォーマットに基づいて画像データの少なくとも一部分の統計を生成する計算回路８４０と、選択されたフォーマットの生成された統計を記憶するメモリ８５０とを含む。前記装置は、さらに、第１のセレクタ８２０と計算回路８４０とメモリ８５０とに、他の複数の潜在的フォーマットの各々に作用（ｏｐｅｒａｔｅ）させるロジック回路８６０を含む。前記装置は、さらに、選択されたフォーマットの各々に対応する生成された統計に作用する比較器８７０と、比較器８７０に応じて、複数のフォーマット８３０の一つを選ぶ（ｐｉｃｋ）第２のセレクタ８８０とを含む。

【0039】

ここに説明する統計は、例えば、空間的統計的分散、時間的統計的分散、隣接行列、及びヒストグラム差分であるが、個別にまたは組み合わせて用いて、原画像またはビデオデータの解像度とカラーサンプリングを決定できる。組み合わせて用いる場合、さまざまな統計をそれぞれ加重して、原画像またはビデオデータの解像度及びカラーサブサンプリングフォーマットを判断する決定をできる。また、本原理は、他の統計を個別にまたは組み合わせて用いることができるので、上記の統計に限定されると見なしてはならない。

【0040】

本発明の現在好ましい実施形態一以上の具体的なフィーチャと態様を有する一以上の実施形態を説明した。しかし、説明した実施形態の特徴と態様は、他の実施形態にも適合できる。例えば、これらの実施形態とフィーチャは、他のビデオデバイスやシステムにおいて用いることもできる。実施形態と特徴は、必ずしも標準で用いる必要はない。

【0041】

明細書において、本原理の「一実施形態」等と言う場合、その実施形態に関して説明する具体的な特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。それゆえ、本明細書を通していろいろなところに記載した「一実施形態において」等と言った場合、必ずしもすべてが同じ実施形態を参照するものではない。

【0042】

ここで説明した実施形態は、方法またはプロセス、装置、またはソフトウェアプログラム、データストリーム、又は信号として実施できる。１つの形式の実施形態の場合で説明した（例えば、方法としてのみ説明した）場合であっても、説明した機能の実施形態は他の形式（例えば、装置やコンピュータソフトウェアプログラム）でも実施できる。装置は例えば適切なハードウェア、ソフトウェア、及びファームウェアで実施可能である。上記の方法は、例えばプロセッサ等の装置で実施可能である。プロセッサとは、処理装置一般を指し、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理デバイスなどを指す。プロセッサは、エンドユーザ間での情報通信を行う、コンピュータ、セルラー電話、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）などのデバイス、及びその他の通信デバイスも含む。

【0043】

ここに説明した様々なプロセスと特徴の実施形態は、異なるいろいろな装置やアプリケーションで実施できる。かかる装置の例には、ウェブサーバ、ラップトップ、パーソナルコンピュータ、セルラー電話、ＰＤＡ、その他の通信デバイスが含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。

【0044】

また、上記の方法は、プロセッサによって実行される命令で実施することができる。かかる命令（及び／又は、一実施形態で生成されるデータ値）は、例えば集積回路、ソフトウェア担体その他の記憶デバイス、例えば、ハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）に記憶できる。上記の命令は、プロセッサ読み取り可能媒体上に化体されたアプリケーションプログラムであってもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであってもよい。命令は、例えば、オペレーティングシステム、アプリケーション、又はこれらの組み合わせに見いだすことができる。それゆえ、プロセッサは、プロセスを実行するように構成されたデバイス、及びプロセスを実行する命令を記憶したプロセッサ読み取り可能媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に加えて、又は命令の替わりに、実施形態により生成されたデータ値を記憶することができる。

【0045】

当業者には言うまでもなく、実施形態はここに説明したアプローチの全部または一部を用いることができる。実施形態には、例えば、方法を実行する命令や、説明した実施形態により生成されるデータが含まれ得る。

【0046】

実施形態を説明した。しかし、言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、これらの実施形態やその他の実施形態が本開示では想定されており、本開示の範囲に入る。
実施形態について、次の付記を記す。
（付記１） 画像データのフォーマットを検出する方法であって、
第１のフォーマットを選択するステップと、
前記第１のフォーマットに基づいて前記画像データの少なくとも一部分の統計を計算するステップと、
前記第１のフォーマットの計算された統計を記憶するステップと、
さらに複数のフォーマットに対して前記選択するステップ、計算するステップ及び記憶するステップを繰り返すステップと、
各フォーマットに対応する計算された統計を比較するステップと、
前記画像データをさらに処理するため、前記比較するステップに応じて前記複数のフォーマットのうちの一つを選択するステップとを有する、方法。
（付記２） 前記フォーマットは画像解像度とサブサンプリング構成とのうち少なくとも一方を含む、
付記１に記載の方法。
（付記３） 前記サブサンプリング構成は色度情報のサブサンプリング構成である、
付記２に記載の方法。
（付記４） 前記フォーマットは前記画像データの別の特徴を含む、
付記１に記載の方法。
（付記５） 前記画像データの一部分はランダムに選択される、
付記１に記載の方法。
（付記６） 前記計算するステップは前記統計として空間的統計的分散を用いるステップを含む、
付記１に記載の方法。
（付記７） 前記計算するステップは前記統計として時間的統計的分散を用いるステップを含む、
付記１に記載の方法。
（付記８） 前記計算するステップは前記統計として隣接行列を用いるステップを含む、
付記１に記載の方法。
（付記９） 前記計算するステップは前記統計としてヒストグラム差分を用いるステップを含む、
付記１に記載の方法。
（付記１０） 前記計算するステップは、前記統計として、空間的統計的分散、時間的統計的分散、隣接行列及びヒストグラム差分のうち少なくとも２つの組み合わせを用いるステップを含む、
付記１に記載の方法。
（付記１１） 使用する統計は前記画像データのコンテンツに基づく、
付記１０に記載の方法。
（付記１２） 使用する統計は利用可能な処理能力に基づく、
付記１０に記載の方法。
（付記１３） 画像データのフォーマットを検出する装置であって、
第１のフォーマットを選択する第１のセレクタと、
前記第１のフォーマットに基づいて前記画像データの少なくとも一部分の統計を計算する計算回路と、
前記第１のフォーマットの計算された統計を記憶するメモリと、
前記第１のセレクタ、計算回路及びメモリに、さらに別の複数のフォーマットに対して作用させるロジック回路と、
各フォーマットに対応する計算された統計を比較する比較器と、
前記画像データをさらに処理するため、前記比較器に応じて前記複数のフォーマットのうちの一つを選ぶ第２のセレクタとを有する、装置。
（付記１４） 前記計算回路は前記統計として空間的統計的分散を用いる、
付記１３に記載の装置。
（付記１５） 前記計算回路は前記統計として時間的統計的分散を用いる、
付記１３に記載の装置。
（付記１６） 前記計算回路は前記統計として隣接行列を用いる、
付記１３に記載の装置。
（付記１７） 前記計算回路は前記統計としてヒストグラム差分を用いる、
付記１３に記載の装置。
（付記１８） 前記計算回路は、前記統計として、空間的統計的分散、時間的統計的分散、隣接行列及びヒストグラム差分の組み合わせを用いる、
付記１３に記載の装置。
（付記１９） 画像データのフォーマットを検出する方法であって、
画像解像度とサブサンプリングフォーマットを含む第１のフォーマットを選択するステップと、
前記第１のフォーマットに基づいて前記画像データの少なくとも一部分の統計を計算するステップと、
前記第１のフォーマットの計算された統計を記憶するステップと、
さらに複数のフォーマットに対して前記選択するステップ、計算するステップ及び記憶するステップを繰り返すステップと、
各フォーマットに対応する計算された統計を比較するステップと、
前記画像データをさらに処理するため、前記比較するステップに応じて前記複数のフォーマットのうちの一つを選ぶステップとを有する、方法。
（付記２０） 画像データのフォーマットを検出する装置であって、
画像解像度とサブサンプリングフォーマットを含む第１のフォーマットを選択する第１のセレクタと、
前記第１のフォーマットに基づいて前記画像データの少なくとも一部分の統計を計算する計算回路と、
前記第１のフォーマットの計算された統計を記憶するメモリと、
前記第１のセレクタ、計算回路及びメモリに、さらに別の複数のフォーマットに対して作用させるロジック回路と、
各フォーマットに対応する計算された統計を比較する比較器と、
前記画像データをさらに処理するため、前記比較器に応じて前記複数のフォーマットのうちの一つを選ぶ第２のセレクタとを有する、装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】