特表 2022-529317 ハイダイナミックレンジビデオフォーマット検知

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-21

(54)【発明の名称】ハイダイナミックレンジビデオフォーマット検知

(51)【国際特許分類】

   H04N 17/00 20060101AFI20220614BHJP

   G06T 7/00 20170101ALI20220614BHJP

   G06T 7/90 20170101ALI20220614BHJP

   G06V 10/56 20220101ALI20220614BHJP

   G06V 10/764 20220101ALI20220614BHJP

   G06V 10/82 20220101ALI20220614BHJP

【ＦＩ】

H04N17/00

G06T7/00 350C

G06T7/90 D

G06V10/56

G06V10/764

G06V10/82

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021559373

(86)(22)【出願日】2020-04-03

(85)【翻訳文提出日】2021-11-30

(86)【国際出願番号】 US2020026724

(87)【国際公開番号】W WO2020206356

(87)【国際公開日】2020-10-08

(31)【優先権主張番号】62/830,213

(32)【優先日】2019-04-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】319013861

【氏名又は名称】プロジェクト・ジャイアンツ・エルエルシー

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(74)【代理人】

【識別番号】110001209

【氏名又は名称】特許業務法人山口国際特許事務所

(72)【発明者】

【氏名】ダニエル・ジー・ベイカー

【テーマコード（参考）】

5C061

5L096

【Ｆターム（参考）】

5C061BB03

5C061BB05

5C061BB09

5L096AA02

5L096AA06

5L096DA02

5L096FA32

5L096FA37

5L096GA51

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

ビデオフォーマット検知器は、複数のあり得るビデオフォーマットの一つにおいてビデオ信号を受信し、検知されたフォーマットを生成する。累積分布関数ジェネレータは、ビデオ信号のコンポーネントから累積分布関数カーブを生成し、特徴検出器は、累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成する。ビデオ分類器は、特徴検出器から１つ又は複数の特徴量ベクトルを受け、ビデオ信号が少なくとも部分的に受信された特徴量ベクトルに基づいて生成されたビデオフォーマットの予測を生成する。

【特許請求の範囲】

【請求項1】

複数のあり得るビデオフォーマットの一つにおいてビデオ信号を受信するよう構成されたビデオ入力と、
上記ビデオ信号のコンポーネントから累積分布関数カーブを生成するよう構成された累積分布関数ジェネレータと、
上記累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成するよう構成された特徴検出器と、
上記特徴検出器から上記１つ又は複数の特徴量ベクトルを受け、上記ビデオフォーマットの予測を生成するよう構成されたビデオ分類器であって、上記ビデオ信号が少なくとも部分的に上記受信された特徴量ベクトルに基づいて生成された、ビデオ分類器と、
を具えるビデオフォーマット検知器。

【請求項2】

上記ビデオ分類器が、少なくとも部分的に、上記ビデオ分類器用に生成されたモデルに基づいて、上記ビデオフォーマットの上記予測を生成するよう構成されている請求項１に記載のビデオフォーマット検知器。

【請求項3】

上記分類器がサポートベクターマシンである請求項１に記載のビデオフォーマット検知器。

【請求項4】

上記ビデオ分類器から上記ビデオフォーマットの上記予測をフィルタリングし、上記ビデオフォーマットのフィルタリングされた予測を出力するよう構成された再帰的フィルタと、
上記ビデオフォーマットの上記フィルタリングされた予測を受信し、上記ビデオフォーマットの上記フィルタリングされた予測が１つ又は複数の閾値を突破するかどうかに基づいて、検知されたビデオフォーマットを出力するよう構成された閾値検知器と、
を更に具える請求項１に記載のビデオフォーマット検知器。

【請求項5】

上記閾値検知器から上記検知されたビデオフォーマットを受信し、上記検知されたビデオフォーマットに基づいてマルチプレクサの入力を選択するよう構成されたマルチプレクサを更に具える、請求項４に記載のビデオフォーマット検知器。

【請求項6】

上記ビデオ分類器から上記ビデオフォーマットの上記予測を受信し、上記信号の上記コンポーネントを上記信号の変換されたコンポーネントに変換するよう構成されたコンバータを更に具え、上記マルチプレクサが、上記信号の上記コンポーネントを受信する第１の入力及び上記信号の上記変換されたコンポーネントを受信する第２の入力を含む、請求項５に記載のビデオフォーマット検知器。

【請求項7】

上記信号の上記コンポーネントが、上記ビデオ信号の輝度コンポーネント、上記ビデオ信号の色空間コンポーネント、又は上記ビデオ信号の輝度コンポーネント及び上記ビデオ信号の色空間コンポーネントの両方である、請求項６に記載のビデオフォーマット検知器。

【請求項8】

上記ビデオ分類器は、ベイジアン、決定木、又は畳み込みニューラルネットワークである請求項１に記載のビデオフォーマット検知器。

【請求項9】

上記特徴検出器から上記１つ又は複数の特徴量ベクトルを受け、上記色空間の予測を生成するよう構成された色空間分類器であって、上記ビデオ信号が少なくとも部分的に上記受信された特徴量ベクトルに基づいて生成された、色空間分類器を更に具える、請求項１に記載のビデオフォーマット検知器。

【請求項10】

複数のあり得るビデオフォーマットの一つにおいてビデオ信号を受信することと、
上記ビデオ信号のコンポーネントから累積分布関数カーブを生成することと、
上記累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成することと、
ビデオ分類器によって、上記ビデオフォーマットの予測を生成することであって、上記ビデオ信号が少なくとも部分的に上記１つ又は複数の特徴量ベクトルに基づいて生成された、上記ビデオフォーマットの予測を生成することと、
を具える、入力ビデオのビデオフォーマットを検知する方法。

【請求項11】

上記ビデオフォーマットの上記予測を生成することが、少なくとも部分的に、上記ビデオ分類器用に生成されたモデルに基づいて、上記予測を生成することを含む、請求項１０に記載の方法。

【請求項12】

上記ビデオ分類器から上記ビデオフォーマットの上記予測をフィルタリングし、上記ビデオフォーマットのフィルタリングされた予測を出力することと、
上記ビデオフォーマットの上記フィルタリングされた予測が閾値を突破するかどうかを決定することと、
上記ビデオフォーマットの上記フィルタリングされた予測が上記閾値を突破するかどうかに基づいて、検知されたビデオフォーマットを出力することと、
を更に具える、請求項１０に記載の方法。

【請求項13】

マルチプレクサで上記閾値検知器から上記検知されたビデオフォーマットを受信すること及び上記検知されたビデオフォーマットに基づいて上記マルチプレクサの入力を選択することを更に具える、請求項１２に記載の方法。

【請求項14】

上記信号の上記コンポーネントを上記信号の変換されたコンポーネントに変換することを更に具え、上記マルチプレクサが、上記信号の上記コンポーネントを受信する第１の入力及び上記信号の上記変換されたコンポーネントを受信する第２の入力を含む、請求項１３に記載の方法。

【請求項15】

上記信号の上記コンポーネントが、上記ビデオ信号の輝度コンポーネント、上記ビデオ信号の色空間コンポーネント、又は上記ビデオ信号の輝度コンポーネント及び上記ビデオ信号の色空間コンポーネントの両方である、請求項１４に記載の方法。

【請求項16】

上記ビデオ分類器が、サポートベクターマシン、ベイジアン、決定木、又は畳み込みニューラルネットワークである、請求項１０に記載の方法。

【請求項17】

上記ビデオ信号が少なくとも部分的に上記１つ又は複数の特徴量ベクトルに基づいて生成された上記色空間の予測を生成することを更に具える、請求項１０に記載の方法。

【請求項18】

１つ又は複数のコンピュータ可読記憶媒体であって、ビデオフォーマット検知器の１つ又は複数のプロセッサによって実行されると、上記ビデオフォーマット検知器に、
複数のあり得るビデオフォーマットの一つにおいて受信されたビデオ信号のコンポーネントから累積分布関数カーブを生成させ、
上記累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成させ、
ビデオ分類器によって、上記ビデオ信号が少なくとも部分的に上記１つ又は複数の特徴量ベクトルに基づいて生成された上記ビデオフォーマットの予測を決定させる命令を具える、１つ又は複数のコンピュータ可読記憶媒体。

【請求項19】

上記ビデオフォーマット検知器に、
上記ビデオ分類器から上記ビデオフォーマットの上記予測をフィルタリングし、上記ビデオフォーマットのフィルタリングされた予測を出力させ、
上記ビデオフォーマットの上記フィルタリングされた予測が閾値を突破するかどうかを決定させ、
上記ビデオフォーマットの上記フィルタリングされた予測が上記閾値を突破するかどうかに基づいて、上記ビデオフォーマットを示す値を出力させる命令を更に具える、請求項１８に記載の１つ又は複数のコンピュータ可読記憶媒体。

【請求項20】

上記ビデオフォーマット検知器に、
上記ビデオ信号が少なくとも部分的に上記１つ又は複数の特徴量ベクトルに基づいて生成された上記色空間の予測を生成させる命令を更に具える、請求項１８に記載の１つ又は複数のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ビデオ信号を測定するシステム及び方法に関し、特にビデオ信号のフォーマットを自動検知するシステム及び方法に関する。

【背景技術】

【0002】

テレビは、４Ｋや８Ｋの民生用ディスプレイの登場により、ディスプレイサイズや初期の１０８０ｘ１９２０高精細度（ＨＤ）フォーマットを超える解像度において急速に改良され、４Ｋ解像度にてストリーミングデータサービスからコンテンツをサポートすることが可能である。しかしながら、一般的なリビングルームのスクリーンサイズで、一般的な視距離にてこれら新規の高解像度の進歩を認め十分に理解することは難しく、画像解像度の更なる改良を非現実的にさせ得る。

【0003】

収穫逓減を有する画像解像度の改良の代わりに、ビデオ技術における現在の進歩は、広色域（ＷＣＧ）の活用、とりわけ、モダンディスプレイのはるかに広いコントラストとピーク明度のハイダイナミックレンジ（ＨＤＲ）の活用に焦点を置いている。画像解像度の改良とは違い、ＨＤＲにおけるこれらの改良は、視聴者体験での大変注目すべき進歩を生み出し、一般的なリビングルームでの視距離と明るさで容易に理解できる。

【0004】

ＨＤＲフォーマットは、従来のスタンダードダイナミックレンジ（ＳＤＲ）のフォーマットとは異なるが、波形モニタのユーザは、補助メタデータが無かったり、誤って添付、若しくは、欠けていたり誤解釈され得るため、ＨＤＲ対ＳＤＲコード化形式を示すメタデータのみに頼ることはできない。いくつかの例では、ビデオそのものを視ることで特定のコード化を示唆してよい。しかしながら、例えば、芸術的意図を理由に、ＳＤＲ又はＨＤＲコード化カーブのいずれかで利用可能なフルコントラストレンジの使用を意図的に行わないなど、典型的なビデオはプログラムコンテンツによって異なるため、視ることによるそのような検知は不正確となり得る。そのため、ビデオ輝度信号そのものを単に視るだけでＨＤＲコンテンツとＳＤＲコンテンツを見極めることは、単に時間がかかるだけでなく、実際問題として間違いが起こりやすい。

【0005】

本開示の実施形態は、これら及び先行技術のその他の欠陥を解決しようとするものである。

【図面の簡単な説明】

【0006】

本開示の実施形態の態様、特徴及び効果は、添付の図面を参照し、以下の実施形態の説
明を読むことで明らかとなろう。

【0007】

【図1】図１は、本開示の実施形態によるハイダイナミックレンジビデオフォーマット検知システムのブロック図である。

【0008】

【図2】図２は、ＳＤＲビデオ入力を受ける際の図１のシステムの出力を示すプロット図である。

【0009】

【図3】図３は、ＨＤＲビデオ入力を受ける際の図１のシステムの出力を示すプロット図である。

【0010】

【図4】図４は、本開示のその他の実施形態による別のハイダイナミックレンジビデオフォーマット検知システムのブロック図である。

【0011】

【図5】図５は、図１又は図４のいずれか一つのハイダイナミックレンジビデオフォーマット検知システムを実施するために使用されるコンピュータ装置又はシステムの例である。

【発明の詳細な説明】

【0012】

上記のように、ビデオ技術における進歩は、モダンディスプレイのＷＣＧとＨＤＲのはるかに広いコントラストとピーク明度の活用に焦点を置いている。新しいＨＤＲフォーマットの赤色、緑色、青色信号（それぞれ、Ｒ´、Ｇ´、Ｂ´）及び輝度信号（Ｙ´）コード化は、従来のＳＤＲの「ガンマ」冪乗則関数、つまりガンマカーブコード化とは異なり、初期の白黒テレビ以来使用されており、ハイダイナミックレンジを８ｂｉｔ（民生用）と１０ｂｉｔ（業務用）データサンプルへとコード化する。いくつかの一般的なＨＤＲコード化は、知覚量子化（ＰＱ）カーブを定義し、ＳＤＲの２００ｎｉｔから１００００ｎｉｔ以上へピークディスプレイ明度を拡げる一方で、表示された輝度において目に見える等高線（輪郭として見える）を最小化するビット利用を最適化した。別のタイプのＨＤＲコード化は、ハイブリッドログガンマ（ＨＬＧ）と呼ばれ、１０００ｎｉｔを超えるピークディスプレイ明度を提供する。

【0013】

例えば、ＰＱ ＨＤＲ、ＨＬＧ ＨＤＲ、ＳＤＲ、若しくはその他任意のコード化フォーマットを含むがそれだけに限らない、ビデオコンテンツのコード化フォーマットを分類する機械学習を有する、システム、装置、方法をここに開示する。本開示の実施形態は、使用すべき、また可能であればコード化フォーマットを学習し分類する、例えば、ベイジアン、決定木、サポートベクターマシン（ＳＶＭ）、畳み込みニューラルネットワーク（ＣＮＮ）等を含むがそれだけに限らない、多くの利用可能な機械学習アプローチからどちらのタイプかを認識し決定することができる。本開示の実施形態はまた、効率的及び効果的な一セットの特徴を生成し、トレーニング及びリアルタイム分類の両方で機械学習プロセスを稼働させ、同様に、フィルタリングプロセスを生成し、煩わしい誤警報や誤表示を軽減させる。

【0014】

図１は、本開示の実施形態によるハイダイナミックレンジビデオフォーマット検知システム１００のブロック図である。図１は、とりわけ、トレーニング及びリアルタイム分類の両方で機械学習プロセスを稼働させる一セットの特徴を効率的且つ効果的に生成する実施形態を示す。システムは、Ｒ´Ｇ´Ｂ´入力信号又はＣｂ´Ｙ´Ｃｒ´入力信号のいずれかを受信できる。Ｒ´Ｇ´Ｂ´入力信号が受信されると、コンバータ１０２によって、輝度信号Ｙ´に変換できる。

【0015】

マルチプレクサ１０４は、入力信号からどちらのＹ´信号を選択すべきかを選択できる。任意的にプレプロセッシング１０６は、いくつかの実施形態で実行されてよい。任意的にプレプロセッシング１０６は、その他多くのプレプロセッシング作業の中でも、例えば、入力信号をより小さな画像フォーマットにサイズ変更すること、又は、レターボックス検知を実行しアクティブイメージをトリミングすることを含んでもよい。

【0016】

確率密度関数（ＰＤＦ）１０８は、ＰＤＦ信号のフレーム生成に、１次元正規化ヒストグラムを作成するために実行されてよい。再帰的ヒストグラムフィルタ１１０は、いくつかの実施形態において、任意的に１次元正規化ヒストグラムに適用できる。再帰的ヒストグラムフィルタ１１０は、誤警報や誤表示を軽減させることができる。これにより、ＰＤＦ信号を再帰的に更新し、ほんの少数のフレームのコントラストカーブに頼ることなく、多くのフレームで蓄積（平均化）することができる。例えば、数秒のような時定数が平均化時間を設定する。時定数は、シーンチェンジに適応するほど早いものであって、且つ、例えば、ＳＤＲコマーシャルを別のＨＤＲビデオストリームにて検知する。

【0017】

ビデオコンテンツが、動的に変化するＣＤＦカーブのリアルタイム生成において入力されると、選択されたビデオフレームにおける輝度信号値ヒストグラムの累積分布関数（ｕ）１１２が実行される。動的に変化するＣＤＦカーブは、一時的にフィルタリングされ、例えばサンプルポイントに関連した５つの画像領域のような、サンプルポイントに関連した画像領域の所定の数で、サンプルとなり、それぞれのＹ´信号レベルを決定する。これは、ＣＤＦが、コード化されたＹ´ピクセル値に対する特定のピクセル画像領域閾値に関連する単調増加関数であり、経時的にＨＤＲ又はＳＤＲコード化カーブに続くため、可能である。

【0018】

特徴検出１１４は、サンプルポイントに関連した画像領域の所定の数に基づいて、特徴量ベクトルを生成する。特徴検出１１４は、ＣＤＦによって決定された入力コード値に基づいて、１画像領域につき輝度量を決定できる。特徴検出は、ＣＤＦに基づいてサンプルポイントに関連した画像領域の所定の数を示す特徴量ベクトルを生成できる。

【0019】

特徴量ベクトルは分類器１１６に送られる。分類器１１６は、上記のような任意の機械学習装置であってよい。図１に示す例では、分類器１１６はサポートベクターマシン（ＳＶＭ）分類器である。分類器１１６は、訓練済みモデル１１８によって訓練されてよい。分類器１１６は、例えば、３クラス分類器のように、任意の数でクラスを分類するよう訓練されてよく、ＳＤＲ、ＰＱ ＨＤＲ、ＨＬＧ ＨＤＲ間のビデオを分類する。特徴検出１１４からの特徴量ベクトルは、効率的及び効果的な一セットの特徴として使用されてよく、トレーニング及びリアルタイム分類の両方で、分類器１１６を通して機械学習プロセスを稼働させる。

【0020】

分類器１１６による分類後、出力は、再帰的ＳＤＲ検知フィルタ１２０及び閾値ヒステリシス１２２において任意的に更にフィルタリングされてよく、誤検知を軽減させる。再帰的ＳＤＲ検知フィルタ１２０の出力が閾値を突破した場合、決定されたクラスは不正確であると判断される。例えば、クラスが分類器１１６によってＳＤＲであると決定されるが、再帰的ＳＤＲ検知フィルタ１２０のフィルタリングされた出力が、０．９といった閾値よりも大きい場合、最初の分類は誤りであると判断され、出力値がＨＤＲに設定される。出力値は、フィルタリングされた検知出力が０．５といった別の閾値を下回るまでＨＤＲに留まる。その時点で、出力は、バイナリゼロに切り替わり、ＳＤＲコンテンツを示す。

【0021】

ヒステリシス１２２を伴うＳＤＲ閾値のフィルタリングされた出力は、マルチプレクサ１２４で受信され得る。プレプロセッサ１０６からの出力は、ＳＤＲコンテンツ又はＨＤＲコンテンツのいずれかであってよい。分類器１１６の出力は、ルックアップテーブル１２６又は、その他のプロセスに送られ、分類器１１６によって決定されたクラスに基づいてＨＤＲコンテンツをＳＤＲへと変換させる。

【0022】

ヒステリシス１２２を伴うＳＤＲ閾値の出力は、図１ではＳＤＲｆｌｔとして示されるが、マルチプレクサ１２４を制御し、ルックアップテーブル１２６を介して、ＳＤＲコンテンツ又は変換されたＳＤＲコンテンツのいずれかを選択する。つまり、プレプロセッサ４０４からのコンテンツが直接マルチプレクサへとパススルーされるか、若しくは変換されたコンテンツがパススルーされ得る。例えば、分類器１１６によって出力されたクラスがＨＤＲであるが、ヒステリシス１２２を伴うＳＤＲ閾値がそれは実際にはＳＤＲコンテンツであると判断する場合、マルチプレクサ１２４はＳＤＲ入力を選択する。反対に、分類器１１６によって出力されたクラスがＳＤＲであるが、ヒステリシス１２２を伴う閾値がそれは実際にはＨＤＲコンテンツであると判断する場合、ルックアップテーブル１２６を介して、マルチプレクサ１２４は変換されたＳＤＲ入力を選択する。マルチプレクサ１２４の出力はＳＤＲコンフィデンスモニタ１２８に送られ、ユーザが、ＨＤＲコンテンツである場合、変換されたＳＤＲコンテンツでも同様に受け入れ可能であることを確認できるようにする。

【0023】

図２は、既知の７２０Ｐ ＳＤＲフォーマット入力ビデオクリップを検知する際のシステム１００の性能を示すプロット２００である。プロット２００を生成するために、システム１００は、二次バイナリ分類器１１６を実装し、ＨＤＲ ＰＱ（クラス１）対ＳＤＲ（クラス０）を検知する。プロット２００の横軸は、ビデオクリップの測定されたフレーム数を表し、ビデオクリップの３３秒の時間的長さに相当する一方、縦軸は、確信度として測定された再帰的ＳＤＲ検知フィルタ１２０の出力に相当する。図２におけるバイナリ結果２０２は、システム１００がビデオクリップ全体の時間に対してクラスゼロのままであることを示しており、システム１００が、ビデオクリップがＳＤＲフォーマットであった時間の１００％を正確に検知したことを意味する。

【0024】

トレース２０４は、再帰的ＳＤＲ検知フィルタ１２０を介して、システム１００によって決定されたフィルタリングされたＨＤＲクラスを示す。トレース２０４に見られるように、ビデオクリップの開始は、ＨＤＲフォーマッティングを十分に模倣する数秒の短いセグメントを含み、分類器１１６を誤らせる。しかしながら、ポスト検知フィルタリング１２０及び閾値ヒステリシス１２２は、ＨＤＲでのヒステリシス閾値を超えなかったため、バイナリ検知結果はＨＤＲに切り替わらなかった。

【0025】

トレース２０６は、分類器１１６によって出力された確信度を示しており、最もありそうなクラスを示すが、確信度トレース２０６と呼ぶことができる。確信度トレース２０６は、分類器１１６の最初の出力が、確信度が０．９を超えてからビデオクリップがＨＤＲフォーマットであったことを最初に示すことを表している。しかしながら、フィルタリングされたクラスのトレース２０４に示されるように、閾値が突破しなかったため、分類器１１６の最初の出力がＨＤＲコンテンツを示したとしても、システム１００のバイナリ出力はＨＤＲに切り替わらなかった。

【0026】

図３は、二次バイナリ分類器１１６を実装したシステム１００の性能を示すプロット３００であり、既知の１０８０Ｐ ＨＤＲ ＰＱ １０００ｎｉｔグレード入力ビデオクリップを正確に検知する際、ＨＤＲ ＰＱ（クラス１）対ＳＤＲ（クラス０）を検知する。プロット３００の横軸は、ビデオクリップの測定されたフレーム数を表し、ビデオクリップの１分の時間的長さに相当する。

【0027】

図３では、システム１００によって生成されたバイナリ結果のトレース３０２は、最初は０で開始するが、およそ１８フレーム、若しくはクリップの約３％後すぐに１へと変わる。図３に見られるように、確信度トレース３０６は、ビデオクリップがＨＤＲである可能性が高いことを最初に示す。しかしながら、システム１００は、クラスは起動時にＳＤＲであり、フィルタリングされたクラス３０４は、再帰的検知フィルタ１２０を介し、バイナリ結果状態がＨＤＲに設定されるまでに時間がかかることを想定して初期設定されている。再帰的ＳＤＲ検知フィルタ１２０の出力から、およそ１８フレームで、閾値０．９を超えるとすぐに、バイナリ出力が「１」へと変わりＨＤＲクラスを示す。フィルタリングされたクラス３０４は、そのポイント後は０．５を下回ることが無いため、システム１００は、バイナリ結果３０２を１で出力し続けた。これは、システム１００が、ビデオクリップがＨＤＲフォーマットである時間のおよそ９７％を正確に検知したことを意味する。

【0028】

図４は、別の実施形態によるハイダイナミックレンジビデオフォーマット検知システム４００のブロック図である。システム４００は、Ｒ´Ｇ´Ｂ´入力信号を処理し分類することでも、ＷＣＧ及びＨＤＲコード化の両方を検知する能力を含む。マルチプレクサ４０２は、入力信号を変わらず選択する。プレプロセッシング４０４は、当業者によって理解されるように、変換マトリクスを使用して、Ｃｂ´Ｙ´Ｃｒ´信号が受信される場合は導出Ｒ´Ｇ´Ｂ入力を、Ｒ´Ｇ´Ｂ´信号が受信される場合は導出Ｃｂ´Ｙ´Ｃｒ´入力を含み得る。更に、Ｃ´コンポーネント入力がＣｂ´Ｙ´Ｃｒ´入力から導出されてよい。Ｃ´コンポーネントは、フェーズのないクロママグニチュード、又は色相、情報であり、Ｃ´＝（Ｃｒ^２＋Ｃｂ^２）^０．５によって導出されてよい。

【0029】

Ｒ´Ｇ´Ｂ´Ｃ´Ｙ´入力がブロック４０６に転送され、各フレームの各コンポーネントで、１次元正規化ヒストグラムを作成する。つまり、ブロック４０６は各フレームで５つの１次元正規化ヒストグラムを出力する。システム１００と同様に、再帰的ヒストグラムフィルタ４０８が各ヒストグラム出力に任意的に適用されてよい。

【0030】

ブロック４１０では、ＣＤＦが、ブロック４０６の各ヒストグラム出力での累積和として生成される（ブロック４０８にて任意的にフィルタリングされてよい）。特徴検出ブロック４１２は、各ＣＤＦで、図１の特徴検出ブロック１１４と同じく実行する。分類器４１４が、分類器１１６と同様に提供され、ビデオ入力がＨＤＲ又はＳＤＲフォーマットであるかどうかを分類する。分類器１１６は、例えば、ＳＤＲ及びＨＤＲ（２クラス分類器）、ＳＤＲ、ＰＱ ＨＤＲ、及びＨＬＧ ＨＤＲ（３クラス分類器）、又は、分類される必要のあるその他任意のフォーマットのように、任意の数でクラスを分類してよい。図１と同様に、分類器４１４の出力は、システム１００と同様に、適用される再帰的検知フィルタ１２０及びヒステリシス１２２を伴うＳＤＲ閾値検知を介して、更に任意的にフィルタリングされてよく、システム４００に関してはこれ以上説明はしない。分類器４１４は、モデル４１６で訓練されてもよい。

【0031】

システム４００では、ＷＣＧ分類器４１８が提供されてもよく、フレームがＷＣＧを含むかどうかを分類する。ＷＣＧ分類器４１８は２クラスを含み、いくつかの実施形態では、ＢＴ．７０９カラーでは１クラス、及びＢＴ．２０２０カラー又はＷＣＧではその他を含んでよい。ＷＣＧ分類器４１８は、分類器４１４と同様に、訓練されたモデル４２０を受けてもよい。

【0032】

分類器４１４の出力及び分類器４１８の出力は、ルックアップテーブル４２２又はその他のプロセスで両方受けられ、決定されたクラスに基づいて、ＨＤＲコンテンツをＳＤＲに、並びに、ＢＴ．２０２０からＢＴ．７０９に色空間を変換する。

【0033】

図１のシステム１００と同様に、マルチプレクサ４２４は、ＳＤＲ閾値検知１２２の出力に基づいて、パススルー信号又はルックアップテーブル４２２によって変換された信号のいずれかを選択できる。マルチプレクサ４２４の出力は、システム１００と同様に、ＳＤＲコンフィデンスモニタ１２８に送られる。

【0034】

図５は、本開示の実施形態に従い、方法、プロセス、機能、又は動作を実施するよう構成されたコンピュータ装置又はシステムにあり得る要素又はコンポーネントを示す図である。上述のように、いくつかの実施形態では、本願に記載されたシステム及び方法は、処理要素及び実行可能命令のセットを含む装置の形式で実施されてよい。実行可能命令は、ソフトウェアアプリケーションの一部であって、ソフトウェアアーキテクチャに構成されてよい。概して、本開示の実施形態は、適切にプログラムされたプロセッシング要素（例えば、ＣＰＵ、マイクロプロセッサ、プロセッサ、コントローラ、コンピューティング装置等）によって実行されるよう設計されたソフトウェア命令の一セットを使用して実施されてよい。複雑なアプリケーションやシステムでは、そのような命令は、通常「モジュール」に構成され、それらモジュールの各々が通常特定のタスク、プロセス、機能、又は動作を実行する。モジュールのセット全体は、オペレーティングシステム（ＯＳ）、又はその他の形式の組織的プラットフォームによるオペレーションで制御又は調整されてよい。

【0035】

各アプリケーションモジュール又はサブモジュールは、モジュールやサブモジュールによって実施される特定の機能、方法、プロセス、又は動作に対応してよい。そのような機能、方法、プロセス、又は動作は、本願に記載されたシステム及び方法の１つ又は複数の態様を実施するために使用されるそれらを含んでよい。

【0036】

アプリケーションモジュール及び／又はサブモジュールは、プログラミング言語に対応するコンピュータ実行可能コードのような、（例えば、適切にプログラムされたプロセッサ、マイクロプロセッサ、又はＣＰＵによって実行される）任意の適切なコンピュータ実行可能コードや命令のセットを含んでよい。例えば、プログラミング言語ソースコードは、コンピュータ実行可能コードにコンパイルされてよい。代替的又は追加的に、プログラミング言語は、スクリプト言語のような解釈されたプログラミング言語であってよい。コンピュータ実行可能コードや命令のセットは、任意の適切な非一過性コンピュータ可読媒体に記憶されてよい。概して、本願に記載された実施形態に関して、非一過性コンピュータ可読媒体は、一過性波形又は同様の媒体とは別に、ほとんどの任意の構成、技術、又は方法を含んでよい。

【0037】

記載のとおり、本開示の実施形態を実施するシステム、装置、方法、プロセス、機能、及び／又は動作は、中央処理装置（ＣＰＵ）又はマイクロプロセッサのような１つ又は複数のプログラミングされたコンピュータプロセッサによって実行される一セットの命令の形式で、全体的又は部分的に実施されてよい。このようなプロセッサは、システムのその他のコンポーネントによって動作される、若しくはシステムのその他のコンポーネントと通信して、装置、サーバ、クライアント又はその他のコンピューティング又はデータ処理装置に組み込まれてよい。例として、図５は、本開示の実施形態に従い、方法、プロセス、機能、又は動作を実施するよう構成されたコンピュータ装置又はシステム５００にあり得る要素又はコンポーネントを示す図である。図５に示されたサブシステムは、システムバス５０２を介して接続されている。サブシステムは、表示装置５０４及び周辺機器を含んでよく、入力／出力（Ｉ／Ｏ）装置は、Ｉ／Ｏコントローラ５０６に結合しているのだが、シリアルポート５０８のような、当技術分野で周知の任意の数の手段によってコンピュータシステムに接続されてよい。例えば、シリアルポート５０８又は外部インターフェース５１０を使用して、コンピュータ装置５００を、インターネットのような広域通信網、マウス入力装置、及び／又はスキャナを含む図５に図示されていない更なる装置及び／又はシステムに接続させてよい。システムバス５０２を介する接続で、１つ又は複数のプロセッサ５１２が、各サブシステムに通信し、且つ、サブシステム間の情報交換と同様に、システムメモリ５１４及び／又は固定ディスク５１６に記憶される命令の実行を制御できる。システムメモリ５１４及び／又は固定ディスク５１６は、有形コンピュータ可読媒体を具現化してよい。

【0038】

本願に記載されたソフトウェアコンポーネント、プロセス、又は機能のいずれかは、例えば、従来技術、又はオブジェクト指向技術を使用し、例えば、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｃ＋＋又はＰｅｒｌのような任意の適切なコンピュータ言語を使用して、プロセッサによって実行されるソフトウェアコードとして実施されてよい。ソフトウェアコードは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードドライブやフロッピーディスクのような磁気媒体、若しくは、ＣＤ－ＲＯＭのような光媒体といった非一過性コンピュータ可読媒体に、一連の命令又はコマンドとして記憶されてよい。これに関連して、非一過性コンピュータ可読媒体とは、一過性波形とは別に、データや命令セットの記憶に適したほとんどの任意の媒体である。このようなコンピュータ可読媒体は、単一のコンピュータ装置上又は装置内にあってよく、システム又はネットワーク内の異なるコンピュータ装置上又は装置内に存在してよい。

【0039】

一実施例によれば、プロセッシング要素又はプロセッサとは、本願に記載されるように、中央処理装置（ＣＰＵ）であってよく、若しくは、（仮想機械のような）ＣＰＵとして概念化されてよい。この実施例では、ＣＰＵ、又はＣＰＵが組み込まれた装置が、表示装置のような周辺装置の１つ又は複数に結合、接続、及び／又は通信してよい。

【0040】

本願で呼ばれる非一過性コンピュータ可読記憶媒体とは、例えば、レイド（ＲＡＩＤ）、フロッピーディスクドライブ、フラッシュメモリ、ＵＳＢフラッシュドライブ、外付けハードディスクドライブ、サムドライブ、ペンドライブ、キードライブ、高解像度デジタル多用途ディスク（ＨＤ－ＤＶＤ）光ディスクドライブ、内蔵ハードディスクドライブ、ブルーレイ光ディスクドライブ、ホログラフィックデジタルデータ記憶装置（ＨＤＤＳ）光ディスクドライブ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、若しくは、同様の装置や同様の技術に基づいたメモリのその他の型といった多くの物理ドライブユニットを含んでよい。上記のように、本願に記載された実施形態に関して、非一過性コンピュータ可読媒体は、一過性波形又は同様の媒体とは別に、ほとんどの任意の構成、技術、又は方法を含んでよい。

【0041】

開示された技術の特定の実施が、システムのブロック図、及び／又は機能、動作、プロセス、方法のフローチャートやフロー図を参照して、本願に記載されている。ブロック図の１つ又は複数のブロック、フローチャートやフロー図の１つ又は複数の段階やステップ、及び、ブロック図のブロックとフローチャートやフロー図の段階やステップとの組み合わせが、それぞれ、コンピュータ実行可能プログラム命令によって実施され得ることが理解されるであろう。いくつかの実施形態で、ブロック、又は段階やステップの１つ又は複数が、必ずしも提示された順番で実行される必要はない、若しくは、必ずしも全く実行される必要はないことを留意されたい。

【0042】

これらのコンピュータ実行可能プログラム命令は、汎用コンピュータ、専用コンピュータ、プロセッサ、又はマシンの具体例を生成するその他のプログラマブルデータプロセッシング装置にロードされてよく、コンピュータ、プロセッサ、又はその他のプログラマブルデータプロセッシング装置によって実行される命令が、本願に記載された機能、動作、プロセス、方法の１つ又は複数を実施する手段を作成する。これらのコンピュータプログラム命令は、具体的に機能するコンピュータやその他のプログラマブルデータプロセッシング装置に管理できるコンピュータ可読メモリに記憶されてもよく、コンピュータ可読メモリに記憶された命令は、本願に記載された機能、動作、プロセス、方法の１つ又は複数を実施する命令手段を含む製造品を作り出す。

【0043】

本開示の態様は、特に作成されたハードウェア、ファームウェア、デジタルシグナルプロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願におけるコントローラ又はプロセッサという用語は、マイクロプロセッサ、マイクロコンピュータ、特定用途向け集積回路（ＡＳＩＣ）及び専用ハードウェアコントローラ等を意図する。本開示の１つ又は複数の態様は、１つ又は複数のコンピュータ又は他のデバイスによって実行される、１つ又は複数のプログラムモジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。一般に、プログラムモジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータ又は他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読記憶媒体に記憶してもよい。当業者には理解されるように、プログラムモジュールの機能は、様々な態様において必要に応じて組み合わせられるか又は分散されてもよい。更に、こうした機能は、集積回路、ＦＰＧＡなどのようなファームウェア又はハードウェア同等物において全体的又は一部を具体化できる。特定のデータ構造を使用して、本開示の１つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。

【0044】

開示された態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせで実現されても良い。開示された態様は、１つ以上のプロセッサによって読み取られ、実行され得る１つ又は複数のコンピュータ可読媒体によって運搬されるか又は記憶される命令として実現されても良い。そのような命令は、コンピュータプログラムプロダクトと呼ぶことができる。本願で説明するコンピュータ可読媒体は、コンピューティング装置によってアクセス可能な任意の媒体を意味する。限定するものではないが、一例としては、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含むことができる。

【0045】

コンピュータ記憶媒体は、コンピュータ読み取り可能な情報を記憶するために使用することができる任意の媒体を意味する。限定するものではないが、例としては、コンピュータ記憶媒体としては、ＲＡＭ、ＲＯＭ、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又はその他のメモリ技術、コンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）又はその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、及び任意の技術で実装された任意の他の揮発性又は不揮発性の取り外し可能又は取り外し不能の媒体を含んでいても良い。コンピュータ記憶媒体としては、信号そのもの及び信号伝送の一時的な形態は排除される。

【0046】

通信媒体は、コンピュータ可読情報の通信に利用できる任意の媒体を意味する。限定するものではないが、例としては、通信媒体には、電気、光、無線周波数（ＲＦ）、赤外線、音又はその他の形式の信号の通信に適した同軸ケーブル、光ファイバ・ケーブル、空気又は任意の他の媒体を含むことができる。

【実施例】

【0047】

本発明の実施例を以下に示す。本発明の実施形態としては、以下の実施例の任意の１つ以上であるか、又は、任意の組み合わせを含むことがあり得る。

【0048】

実施例１は、ビデオフォーマット検知器であり、複数のあり得るビデオフォーマットの一つにおいてビデオ信号を受信するよう構成されたビデオ入力と、ビデオ信号のコンポーネントから累積分布関数カーブを生成するよう構成された累積分布関数ジェネレータと、累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成するよう構成された特徴検出器と、特徴検出器から１つ又は複数の特徴量ベクトルを受け、ビデオフォーマットの予測を生成するよう構成されたビデオ分類器であって、ビデオ信号が少なくとも部分的に受信された特徴量ベクトルに基づいて生成された、ビデオ分類器と、を具える。

【0049】

実施例２は、実施例１のビデオフォーマット検知器であり、ビデオ分類器が、少なくとも部分的に、ビデオ分類器用に生成されたモデルに基づいて、ビデオフォーマットの予測を生成するよう構成されている。

【0050】

実施例３は、実施例１又は２のいずれか一つのビデオフォーマット検知器であり、分類器がサポートベクターマシンである。

【0051】

実施例４は、実施例１から３のいずれか一つのビデオフォーマット検知器であり、ビデオ分類器からビデオフォーマットの予測をフィルタリングし、ビデオフォーマットのフィルタリングされた予測を出力するよう構成された再帰的フィルタと、ビデオフォーマットのフィルタリングされた予測を受信し、ビデオフォーマットのフィルタリングされた予測が１つ又は複数の閾値を突破するかどうかに基づいて、検知されたビデオフォーマットを出力するよう構成された閾値検知器と、を更に具える。

【0052】

実施例５は、実施例４のビデオフォーマット検知器であり、閾値検知器から検知されたビデオフォーマットを受信し、検知されたビデオフォーマットに基づいてマルチプレクサの入力を選択するよう構成されたマルチプレクサを更に具える。

【0053】

実施例６は、実施例５のビデオフォーマット検知器であり、ビデオ分類器からビデオフォーマットの予測を受信し、信号のコンポーネントを信号の変換されたコンポーネントに変換するよう構成されたコンバータを更に具え、マルチプレクサが、信号のコンポーネントを受信する第１の入力及び信号の変換されたコンポーネントを受信する第２の入力を含む。

【0054】

実施例７は、実施例６のビデオフォーマット検知器であり、信号のコンポーネントが、ビデオ信号の輝度コンポーネント、ビデオ信号の色空間コンポーネント、又はビデオ信号の輝度コンポーネント及びビデオ信号の色空間コンポーネントの両方である。

【0055】

実施例８は、実施例１、２及び４から７のいずれか一つのビデオフォーマット検知器であり、ビデオ分類器は、ベイジアン、決定木、又は畳み込みニューラルネットワークである。

【0056】

実施例９は、実施例１から８のいずれか一つのビデオフォーマット検知器であり、特徴検出器から１つ又は複数の特徴量ベクトルを受け、色空間の予測を生成するよう構成された色空間分類器であって、ビデオ信号が少なくとも部分的に受信された特徴量ベクトルに基づいて生成された、色空間分類器を更に具える。

【0057】

実施例１０は、入力ビデオのビデオフォーマットを検知する方法であり、この方法は、複数のあり得るビデオフォーマットの一つにおいてビデオ信号を受信することと、ビデオ信号のコンポーネントから累積分布関数カーブを生成することと、累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成することと、ビデオ分類器によって、ビデオフォーマットの予測を生成することであって、ビデオ信号が少なくとも部分的に１つ又は複数の特徴量ベクトルに基づいて生成された、ビデオフォーマットの予測を生成することと、を具える。

【0058】

実施例１１は、実施例１０の方法であり、ビデオフォーマットの予測を生成することが、少なくとも部分的に、ビデオ分類器用に生成されたモデルに基づいて、予測を生成することを含む。

【0059】

実施例１２は、実施例１０又は１１のいずれか一つの方法であり、ビデオ分類器からビデオフォーマットの予測をフィルタリングし、ビデオフォーマットのフィルタリングされた予測を出力することと、ビデオフォーマットのフィルタリングされた予測が閾値を突破するかどうかを決定することと、ビデオフォーマットのフィルタリングされた予測が閾値を突破するかどうかに基づいて、検知されたビデオフォーマットを出力することと、を更に具える。

【0060】

実施例１３は、実施例１２の方法であり、マルチプレクサで閾値検知器から検知されたビデオフォーマットを受信すること及び検知されたビデオフォーマットに基づいてマルチプレクサの入力を選択することを更に具える。

【0061】

実施例１４は、実施例１３の方法であり、信号のコンポーネントを信号の変換されたコンポーネントに変換することを更に具え、マルチプレクサが、信号のコンポーネントを受信する第１の入力及び信号の変換されたコンポーネントを受信する第２の入力を含む。

【0062】

実施例１５は、実施例１４の方法であり、信号のコンポーネントが、ビデオ信号の輝度コンポーネント、ビデオ信号の色空間コンポーネント、又はビデオ信号の輝度コンポーネント及びビデオ信号の色空間コンポーネントの両方である。

【0063】

実施例１６は、実施例１０から１５のいずれか一つの方法であり、ビデオ分類器が、サポートベクターマシン、ベイジアン、決定木、又は畳み込みニューラルネットワークである。

【0064】

実施例１７は、実施例１０から１６のいずれか一つの方法であり、ビデオ信号が少なくとも部分的に１つ又は複数の特徴量ベクトルに基づいて生成された色空間の予測を生成することを更に具える。

【0065】

実施例１８は、１つ又は複数のコンピュータ可読記憶媒体であり、ビデオフォーマット検知器の１つ又は複数のプロセッサによって実行されると、ビデオフォーマット検知器に、複数のあり得るビデオフォーマットの一つにおいて受信されたビデオ信号のコンポーネントから累積分布関数カーブを生成させ、累積分布関数カーブから１つ又は複数の特徴量ベクトルを生成させ、ビデオ分類器によって、ビデオ信号が少なくとも部分的に１つ又は複数の特徴量ベクトルに基づいて生成されたビデオフォーマットの予測を決定させる命令を具える。

【0066】

実施例１９は、実施例１８の１つ又は複数のコンピュータ可読記憶媒体であり、ビデオフォーマット検知器に、ビデオ分類器からビデオフォーマットの予測をフィルタリングし、ビデオフォーマットのフィルタリングされた予測を出力させ、ビデオフォーマットのフィルタリングされた予測が閾値を突破するかどうかを決定させ、ビデオフォーマットのフィルタリングされた予測が閾値を突破するかどうかに基づいて、ビデオフォーマットを示す値を出力させる命令を更に具える。

【0067】

実施例２０は、実施例１８の１つ又は複数のコンピュータ可読記憶媒体であり、ビデオフォーマット検知器に、ビデオ信号が少なくとも部分的に１つ又は複数の特徴量ベクトルに基づいて生成された色空間の予測を生成させる命令を更に具える。

【0068】

開示された主題の上述のバージョンは、記述したか又は当業者には明らかであろう多くの効果を有する。それでも、開示された装置、システム又は方法のすべてのバージョンにおいて、これらの効果又は特徴が要求されるわけではない。

【0069】

加えて、本願の記述は、特定の特徴に言及している。本明細書における開示には、これらの特定の特徴のあり得る全ての組み合わせが含まれると理解すべきである。ある特定の特徴が特定の態様又は実施例の状況において開示される場合、その特徴は、可能である限り、他の態様及び実施例の状況においても利用できる。

【0070】

また、本願において、２つ以上の定義されたステップ又は工程を有する方法に言及する場合、これら定義されたステップ又は工程は、状況的にそれらの可能性を排除しない限り、任意の順序で又は同時に実行しても良い。

【0071】

説明の都合上、本発明の具体的な実施例を図示し、説明してきたが、本発明の要旨と範囲から離れることなく、種々の変更が可能なことが理解できよう。従って、本発明は、添付の特許請求の範囲を除いて限定されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】