特許第6236148号(P6236148)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧

特許6236148HDMIを介したディスプレイマネジメントメタデータの送信
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6236148
(24)【登録日】2017年11月2日
(45)【発行日】2017年11月22日
(54)【発明の名称】HDMIを介したディスプレイマネジメントメタデータの送信
(51)【国際特許分類】
   H04N 21/436 20110101AFI20171113BHJP
   H04N 21/84 20110101ALI20171113BHJP
【FI】
   H04N21/436
   H04N21/84
【請求項の数】24
【全頁数】44
(21)【出願番号】特願2016-519873(P2016-519873)
(86)(22)【出願日】2014年9月30日
(65)【公表番号】特表2016-538748(P2016-538748A)
(43)【公表日】2016年12月8日
(86)【国際出願番号】US2014058260
(87)【国際公開番号】WO2015050857
(87)【国際公開日】20150409
【審査請求日】2016年5月31日
(31)【優先権主張番号】61/886,026
(32)【優先日】2013年10月2日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】キュ,シェン
(72)【発明者】
【氏名】ヒュルヤルカール,サミール エヌ.
【審査官】 福西 章人
(56)【参考文献】
【文献】 特表2005−514873(JP,A)
【文献】 特表2009−530977(JP,A)
【文献】 特表2009−521840(JP,A)
【文献】 特表2007−537620(JP,A)
【文献】 米国特許出願公開第2009/0184975(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00−21/858
H04N 5/38−5/46
H04N 5/76−5/956
(57)【特許請求の範囲】
【請求項1】
ビデオ信号通信路を介して、ビデオ信号をビデオソースシステムからビデオシンクシステムへ送信する方法であって、以下を包含する、方法:
前記ビデオソースシステムは(a)基準コード値および(b)1つ以上のマッピング関数のための複数のマッピング関数パラメータを含むソースビデオ信号を受け取り、ここで前記複数のマッピング関数パラメータを有する1つ以上のマッピング関数は前記基準コード値を装置固有の画素値にマッピングし、
前記ビデオソースシステムは(a)前記基準コード値の1つ以上の部分および(b)前記複数のマッピング関数パラメータを、第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームに合成し、ここで前記複数のマッピング関数パラメータは、前記第1のビデオ信号フォーマットである前記1つ以上の第1のビデオフレームに保持されたディスプレイマネジメント(DM)メタデータの少なくとも一部を表しており、
前記ビデオ信号通信路が、前記第1のビデオ信号フォーマットの前記ビデオ信号の移動をサポートしていることとサポートしていないことにそれぞれ対応して用いられる、第1のモードおよび第2のモードのいずれの送信モードを使用中であるかを、前記ビデオソースシステムは前記ビデオシンクシステムに合図し、
もし前記ビデオ信号通信路が、前記第1のビデオ信号フォーマットのビデオ信号の移動をサポートしていなければ、
第2のビデオ信号フォーマットである1つ以上の第2のビデオフレームを、前記第1のビデオ信号フォーマットである前記1つ以上の第1のビデオフレームおよび、前記第1のビデオ信号フォーマットと前記第2のビデオ信号フォーマットとの間のマッピングに基づき生成し、
前記ビデオソースシステムは、前記第2のビデオ信号フォーマットの符号化ビデオ信号として、前記1つ以上の第2のビデオフレームを前記ビデオ信号通信路を介して前記ビデオシンクシステムに送り、
もし前記ビデオ信号通信路が前記第1のビデオ信号フォーマットのビデオ信号の移動をサポートしていれば、
前記ビデオソースシステムは、前記1つ以上の第1のビデオフレームを、前記第1のビデオ信号フォーマットの符号化ビデオ信号として、前記ビデオ信号通信路を介して前記ビデオシンクシステムに送る。
【請求項2】
前記第1のビデオ信号フォーマットはYCbCrフォーマットを表し、前記第2のビデオ信号フォーマットはRGBフォーマットを表す、請求項1に記載の方法。
【請求項3】
メタデータ情報フレームを、前記第1のビデオ信号フォーマットである元々の(underlying)ビデオ信号が前記第2のビデオ信号フォーマットの前記符号化ビデオ信号中に保持されていることを示すデータとともに送信することをさらに包含する、請求項1に記載の方法。
【請求項4】
前記1つ以上の第1のビデオフレーム中の前記DMメタデータの1つ以上の部分のビット値にわたって1つ以上の巡回冗長検査(CRC)値を算出し、
前記1つ以上の第1のビデオフレーム中の前記1つ以上のCRC値とともに、前記DMメタデータを送信すること、
をさらに包含する、請求項1に記載の方法。
【請求項5】
前記ビデオシンクシステムが前記1つ以上のマッピング関数に関連するマッピング動作を実行することが可能であることを決定することをさらに包含する、請求項1に記載の方法。
【請求項6】
前記ビデオ信号通信路は、High−Definition Multimedia Interface(HDMI)リンクV−by−One−HS(Vx1)リンク、Low−Voltage Differential Signaling(LVDS)リンク、またはHigh Definition Serial Digital Interface(HD−SDI)リンクのうち1つである、請求項1に記載の方法。
【請求項7】
前記複数のマッピング関数パラメータは、前記1つ以上の第1のビデオフレームの複数の最下位ビットフィールドに格納される、請求項1に記載の方法。
【請求項8】
前記1つ以上の第1のビデオフレームは1シーンを形成する、請求項1に記載の方法。
【請求項9】
前記複数のマッピング関数パラメータのうち1つ以上のマッピング関数パラメータが、前記1つ以上の第1のビデオフレームにおいて繰り返される、請求項1に記載の方法。
【請求項10】
前記1つ以上のビデオフレームのうち1つのビデオフレームは、前記1つ以上のマッピング関数に関連するマッピング動作を同じ前記ビデオフレームに対して行うために用いられる、前記複数のマッピング関数パラメータを保持する、請求項1に記載の方法。
【請求項11】
前記1つ以上の第1のビデオフレームのうちの1つの第1のビデオフレームは、前記複数のマッピング関数パラメータを保持せず、前記第1のビデオフレームは、以前に受け取った前記複数のマッピング関数パラメータが、前記1つ以上のマッピング関数に関連するマッピング動作を同じ第1のビデオフレームに行うために用いられるべきであることを示すフラグを表す値を含む、請求項1に記載の方法。
【請求項12】
前記1つ以上のマッピング関数に関連するマッピング動作は、トーンマッピング動作または色域マッピング動作のうち1つ以上を包含する、請求項1に記載の方法。
【請求項13】
前記1つ以上の第1のビデオフレームにおける、前記複数のマッピング関数パラメータを格納する複数のビットフィールドは、スクランブルされている、請求項1に記載の方法。
【請求項14】
前記1つ以上の第1のビデオフレームは、前記マッピング以外のディスプレイマネジメ
ント動作のための、1つ以上のパラメータをさらに保持している、請求項1に記載の方法。
【請求項15】
ビデオ信号通信路を介して、ビデオ信号をビデオソースシステムからビデオシンクシステムによって受信する方法であって、以下を包含する、方法:
前記ビデオ信号通信路が、1のビデオ信号フォーマットのビデオ信号の移動をサポートしていることとサポートしていないことにそれぞれ対応して用いられる、第1のモードおよび第2のモードのいずれの送信モードを使用中であるかの合図を、前記ビデオシンクシステムが前記ビデオソースシステムより受け取り、
前記ビデオ信号通信路を介して、前記ビデオシンクシステムは前記ビデオソースシステムから符号化ビデオ信号を受け取り、
前記第2のモードを使用中であるとの合図を受け取ったとき、
前記符号化ビデオ信号から、第2のビデオ信号フォーマットである1つ以上の第2のビデオフレームを抽出し、
前記第1のビデオ信号フォーマットと前記第2のビデオ信号フォーマットとの間のマッピングに基づき、前記1つ以上の第2のビデオフレームから、前記第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームを抽出し、
前記1つ以上の第1のビデオフレームから、基準コード値の1つ以上の部分および複数のマッピング関数パラメータを抽出し、
前記第1のモードを使用中であるとの合図を受け取ったとき、
前記符号化ビデオ信号から、前記第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームを抽出し、
前記1つ以上の第1のビデオフレームに基づき、基準コード値の1つ以上の部分および複数のマッピング関数パラメータを抽出し、
前記複数のマッピング関数パラメータを有する1つ以上のマッピング関数を適用することにより、前記基準コード値の1つ以上の部分を、マッピング後の装置固有の画素値にマッピングする。
【請求項16】
メタデータ情報フレームを、前記第1のビデオ信号フォーマットである元々のビデオ信号が前記第2のビデオ信号フォーマットの前記符号化ビデオ信号中に保持されていることを示すデータとともに受け取ることをさらに包含する、請求項15に記載の方法。
【請求項17】
前記基準コード値の1つ以上の部分および複数のマッピング関数パラメータに基づいて構築された1つ以上の画像を描画することをさらに包含する、請求項15に記載の方法。
【請求項18】
前記ビデオシンクシステムによって、前記第1のビデオ信号フォーマットである前記1つ以上のビデオフレームから、特定のデータ部分を抽出し、
前記ビデオシンクシステムによって、前記特定の抽出されたデータ部分に対して、巡回冗長検査(CRC)検査を行い、
前記複数のマッピング関数パラメータを有する1つ以上のマッピング関数を適用することにより、前記基準コード値の1つ以上の部分をマッピング後の画素値にマッピングすることは、前記特定の抽出されたデータ部分に対するCRCテストが合格したときにのみ行われる、
ことをさらに包含する、請求項15に記載の方法。
【請求項19】
前記1つ以上の第1のビデオフレームから、ソースデバイスにより算出された1つ以上の巡回冗長検査(CRC)値を抽出し、
前記1つ以上の第1のビデオフレームの1つ以上の特定の部分のビット値にわたって、1つ以上のCRC値を算出し、
前記1つ以上のCRC値を、前記ソースデバイスにより算出された1つ以上のCRC値に対し比較する、
ことをさらに包含する、請求項18に記載の方法。
【請求項20】
前記符号化ビデオ信号から抽出された特定のデータ部分に対する前記CRCテストがある明示された回数不合格であると、前記ビデオシンクシステムを、基準コード値から装置固有の画素値へのマッピングを前記ビデオシンクシステムが行わない第2の特定の動作モードに設定することをさらに包含する、請求項18に記載の方法。
【請求項21】
前記ビデオシンクシステムは、メタデータ情報フレームを、基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータを前記符号化ビデオ信号が含んでいることを示すデータとともに、受け取らないようにされる、請求項18に記載の方法。
【請求項22】
前記符号化ビデオ信号は第1のビデオ信号フォーマットであり、かつ基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータが符号化された、前記第1のビデオ信号フォーマットのビデオフレームを含む、請求項18に記載の方法。
【請求項23】
前記符号化ビデオ信号はあるビデオ信号フォーマットのビデオフレームを含み、前記ビデオ信号フォーマットのビデオフレームに、前記ビデオ信号フォーマットと異なる前記第1のビデオ信号フォーマットの第1のビデオフレームがマッピングされ、基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータが、前記第1のビデオフレーム中に符号化される、請求項18に記載の方法。
【請求項24】
前記ビデオソースシステムが、前記第1のビデオ信号フォーマットで特定の画像パターンを格納し、
複数の基準コード値および前記複数のマッピング関数パラメータを、前記第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームに合成し、ここで前記複数の基準コード値は前記特定の画像パターンを表しており、
前記第2のビデオ信号フォーマットである1つ以上の第2のビデオフレームを、前記第1のビデオ信号フォーマットである前記1つ以上の第1のビデオフレームおよび、前記第1のビデオ信号フォーマットと前記第2のビデオ信号フォーマットとの間のマッピングに基づいて生成し、
前記1つ以上の第2のビデオフレームを、前記ビデオ信号通信路を介して前記ビデオシンクシステムに送り、
色歪みの無い前記特定の画像パターンが前記ビデオシンクシステムによって表示されていることを示すユーザー入力を受け取ると、前記(a)前記基準コード値の1つ以上の部分および(b)前記複数のマッピング関数パラメータを、前記第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームに合成することを前記ビデオソースシステムが行う特定の動作モードに、前記ビデオソースシステムを設定する、
ことをさらに包含する、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2013年10月2日付け出願の米国仮特許出願No.61/886,026に基づく優先権を主張するものであり、この出願の開示内容の全てを本願に援用する。
【0002】
本発明は、メディア処理システム全般に関し、より具体的には、映像リンクを介してディスプレイマネジメントメタデータを送信することに関する。
【背景技術】
【0003】
技術の進歩により、ディスプレイシステムは映像ソースコンテンツの描画を、大きく改善した画質特性で行うことが可能になっている。例えば、比較的最近のディスプレイの中には、スタンダードダイナミックレンジ(SDR)よりも高い、あるいはかなり高いダイナミックレンジで、コンテンツを描画することが可能なものもある。
【0004】
逆に、ハイダイナミックレンジ(HDR)よりもかなり狭いダイナミックレンジを持つディスプレイもある。携帯機器、タブレット型コンピュータ、ゲーム機器、ローエンドのテレビ、およびコンピュータ用モニタは、ダイナミックレンジや色域や解像度について、映像描画能力が制限され得る。
【発明の概要】
【発明が解決しようとする課題】
【0005】
HDRカメラによって撮影されたソース画像は、すべてとは言わないが大抵のディスプレイ装置のダイナミックレンジよりも、かなり大きなシーン−リファードダイナミックレンジを有し得る。シーン−リファードのHDR画像は大量のデータを含んでいることがあり、送信および格納を容易にするために、ポストプロダクションフォーマット(例えばHDMIビデオ信号など)に変換され得る。描画のために画像がエンドユーザーのディスプレイ装置に送られるとき、その装置固有および/またはそのメーカー固有の画像変換が途中で起こり、描画された画像中において、元のシーン−リファード画像と比較し大量の視覚的に気付き得るエラーや劣化を引き起こす。
【0006】
本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、特に反対の記載がない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、特に反対の記載がない限り、本節に基づいて、1以上のアプローチに関して特定される問題が、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【0007】
図1図1は、メディアソースシステムを示す。
図2図2は、メディアシンクシステムを示す。
図3A図3Aは、メディアソースシステムおよびメディアシンクシステム間でディスプレイマネジメントメタデータを伝えるための、アルゴリズムまたは処理フロー例を示す。
図3B図3Bは、メディアソースシステムおよびメディアシンクシステム間でディスプレイマネジメントメタデータを伝えるための、アルゴリズムまたは処理フロー例を示す。
図4A図4Aは、処理フロー例を示す。
図4B図4Bは、処理フロー例を示す。
図5図5は、本明細書に記載のコンピュータまたはコンピューティングデバイスが実装され得る、ハードウェアプラットフォーム例を示す。
図6A図6Aは、メディアソースシステムおよびメディアシンクシステム間の、システム構成例を示す。
図6B図6Bは、メディアソースシステムおよびメディアシンクシステム間の、システム構成例を示す。
図7図7は、ビデオ信号フォーマット例を示す。
図8A図8Aは、追加的な処理フロー例を示す。
図8B図8Bは、追加的な処理フロー例を示す。
図8C図8Cは、追加的な処理フロー例を示す。
図8D図8Dは、追加的な処理フロー例を示す。
【発明を実施するための形態】
【0008】
本発明を、限定ではなく例示として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。
【0009】
映像リンクを介してディスプレイマネジメントメタデータを送信することに関する実施形態例を、本明細書に記載する。以下の記載においては、説明目的のため、本発明を完全に理解できるように多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【0010】
本明細書において、以下の概略にしたがって実施形態例を記載する。
1.概説
2.基準コード値およびマッピング後の画素値
3.メディアソースシステム
4.メディアシンクシステム
5.DMメタデータを送信および受信するためのアルゴリズム
6.HDMI映像リンク
7.基準コード値およびDMデータのトンネル処理
8.ソース・シンク間の明示的な信号送信の不在
9.EDR動作のためにソースを構成
10.処理フロー例
11.実装メカニズム−ハードウェア概要
12.均等物、拡張物、代替物、その他
【0011】
1.概説
本概説は、本発明の一実施形態のいくつかの局面の、基本的説明を提供する。本概説は、当該実施形態の持つ局面の広範あるいは網羅的な要約ではないことに留意されたい。また、本概説は、実施形態の特に重要な局面または要素を同定することを意図されたものではなく、実施形態の範囲や本発明全般を特に規定するものでもないことに留意されたい。本概説は、例示的な実施形態に関連するいくつかの着想を凝縮および単純化された形式で単に提示するだけであり、以下に続く実施形態例のより詳細な説明の、概念的な導入部として単に理解されるべきである。
【0012】
本明細書に記載の技術によれば、ソースビデオ信号、ソースビデオビットストリーム、ソースビデオファイルなどにおいて、(例えばシーン−リファードなどの)ハイダイナミックレンジ、広色域、および高解像度のソースコンテンツを、基準コード値(例えば暗レベルと最大輝度レベル間の基準ダイナミックレンジにあるコード値や、カリフォルニア州サンフランシスコのDolby Laboratories,Inc.によって開発された技術における拡張ダイナミックレンジ(EDR)にあるコード値コード値など)として、ディスプレイマネジメント(DM)メタデータとともに、規格準拠の映像リンクを介して下流の描画装置に送ることができる。ソースコンテンツ中のDMメタデータは、各描画装置が、ソースコンテンツ中の基準コード値をマッピング後の画素値にマッピングすることによって、その描画装置上において描画装置の最大能力を利用するように描画するために用いられることができる。DMメタデータは、ルックアップテーブル、マッピング曲線、区分的線分(piecewise line segments)を包含するマッピング関数、線分または曲線分のピボット点その他を表す、マッピングパラメータを含み得る。
【0013】
一例においてDMメタデータは、Rec.709ダイナミックレンジをサポートする描画装置が、基準コード値を、描画装置によってサポートされるRec.709ダイナミックレンジをフルに利用するような、マッピング後の輝度画素値にマッピングするために用いられることができる。別の例において、DMメタデータは、Rec.601ダイナミックレンジをサポートする描画装置が、基準コード値を、描画装置によってサポートされるRec.601ダイナミックレンジをフルに利用するような、マッピング後の輝度画素値にマッピングするために用いられることができる。様々な態様において、DMメタデータは、Rec.601およびRec.709よりも高いあるいは低いダイナミックレンジをサポートする描画装置が、ハイダイナミックレンジにある基準コード値を、これらの描画装置によってサポートされるより高いあるいは低いダイナミックレンジをフルに利用するような、マッピング後の輝度画素値にマッピングするために用いられることができる。これに加えてかつ/またはオプションとして、DMメタデータは、Rec.601およびRec.709より広いあるいは狭い、またはこれと同じ色域をサポートする描画装置が、基準コード値を、これらの描画装置によってサポートされるより広いか狭いまたは同じ色域をフルに利用するような、マッピング後のクロマまたは色チャンネル画素値にマッピングするために用いられることができる。これに加えてかつ/またはオプションとして、DMメタデータは、Rec.601およびRec.709より高いあるいは低い、またはこれと同じ空間解像度をサポートする描画装置が、基準コード値によって表される空間解像度を、これらの描画装置によってサポートされるより高いか低いまたは同じ空間解像度をフルに利用するような、最適な装置固有の空間解像度に変換するために用いられることができる。
【0014】
いくつかの実施形態において、DMメタデータは、DMメタデータに基づいたディスプレイマネジメント動作が行われるべき、対応する基準コード値に依存しかつこれと共変である。例えば、第1の画像または第1のシーンについての第1のDMメタデータは、第2の異なる画像または第2のあるいは異なるシーンについての第2のDMメタデータとは異なり得る。いくつかの実施形態において、DMメタデータおよびその対応する基準コード値(ある画像またはシーンを表す)は、同じビデオフレーム(例えば、ある時間順ビデオフレームのシーケンス内における、時間順ビデオフレームの部分的シーケンスなど)で送られる。いくつかの実施形態において、DMメタデータおよびその対応する基準コード値(ある画像またはシーンを表す)は、厳密な時間ウィンドウ(例えば1ビデオフレーム、2ビデオフレーム...、N個のビデオフレーム未満のうちの1つ。ここで、Nは予め設定された小さな整数など)内にある、互いに隣接するビデオフレームで送られる。例えば、DMメタデータは、時刻(T−1)のビデオフレームで送られる一方、対応する基準コード値は、時刻Tの別のビデオフレームで送られ得る。様々な実施形態において、DMメタデータおよびその対応する基準コード値に対し、他の時刻同期送信のバリエーションを用いてもよい。
【0015】
いくつかの実施形態において、DMメタデータおよび基準コード値は、映像リンク規格やビデオ送信規格などにより、描画用の画素値などを保持するように指定された、ビデオフレームを構成する画素に多重化され得る。一実施形態例においてDMメタデータは、ビデオフレームを構成する画素内の複数のビットフィールドに保持されることができる−−ここでこれらの複数のビットフィールドは、映像リンク規格によって、クロマまたは色チャンネル画素値の最下位ビット値を保持するように特に指定されたものである。人間の視覚はクロマ情報に対してはルマ情報ほど感受性を有さないため、これらのビットフィールドにDMメタデータを保持させることによって引き起こされる視覚的欠陥や劣化は、比較的少ない可能性がある。
【0016】
ビデオフレームは、映像リンクを通じて送信される映像データの基本的な部分を構成するため、DMメタデータおよび基準コード値をビデオフレーム中において送ることは、映像リンクが幅広く様々な異なるタイプのうちいずれであったとしても、DMメタデータが比較的高い信頼性で時刻同期的に受信側のデバイスに到達することを可能にする。
【0017】
本明細書に記載の技術は、映像リンク(または映像データパイプライン)がビデオフレームを送ることが可能であるかぎり、HDMIなどを含むがこれに限定されない任意のタイプの映像リンクにおいて、実現することができる。いくつかの実施形態において、ある特定の1つの映像リンクタイプ(例えばHDMIなど)は、表示能力の限定された携帯機器から優れた表示能力を持つハイエンドのプロフェッショナルディスプレイシステムまで、無数の(例えば何十億個のなど)シンクシステムをサポートし得る。本明細書に記載の技術によれば、基準コード値およびDMメタデータを含むソースコンテンツを、1つの統一的なパイプラインを通じてこれらシンクシステムのすべてに送ることができる。そしてこれらのシンクシステムは、パイプライン内のDMメタデータを用いて、同じパイプライン中の基準コード値を、ターゲットディスプレイのそれぞれの表示能力を最大化するようにターゲットディスプレイ上で描画されるための、装置固有、メーカー固有、あるいは規格固有の画素値として適応化することができる。
【0018】
本明細書に記載の技術は、必要であれば非常に大量のDMメタデータまでをビデオフレーム中に保持するために用いることができる。なぜならば、1つのビデオフレームには多数の画素(例えば走査線毎につき1k画素など)を有することができ、ここから特定のビットフィールドを選んでDMメタデータ送信パケットを保持させればよいからである。様々な実施形態において、1ビデオフレーム中における、固定数あるいは可変数の走査線(例えば開始走査線、ボトム走査線、中間走査線、インターリーブ化走査線、連続走査線、非連続走査線など)や、規則的パターン、不規則パターン、ラスター順の画素などを、DMメタデータを保持するために用いることができる。異なるビデオフレームは、異なる量のDMメタデータを保持していてもよい。いくつかの実施形態において、一部のビデオフレームはDMメタデータを保持せずに、むしろ他のビデオフレームで送信されたDMメタデータを利用することで、前者のビデオフレームにおける基準コード値をマッピングしてもよい。いくつかの実施形態において、DMメタデータは冗長的に送信されてもよく、もしある特定のビットフィールド、走査線、画像ブロック、ビデオフレームなどで破損が発生しても、映像リンクの送信パイプラインにおけるDMメタデータの他のコピーを代わりに用いることができる。いくつかの実施形態において、エラー検出および回復を助けるための巡回冗長値を、DMメタデータ送信パケットについて算出し、これがDMメタデータとともにDMメタデータ送信パケット中において送信されてもよい。
【0019】
いくつかの実施形態において、規格準拠のメタデータ送信メカニズム(例えば規格準拠のメタデータ情報フレームなど)を、本明細書に記載の技術とともに用いることができる。しかし、本明細書に記載の技術は、これら規格準拠のメタデータ送信メカニズムが利用可能であることには依存せず、必要であれば独立に実行することができる。
【0020】
いくつかの実施形態において、本明細書に記載のソースシステムおよびシンクシステムは、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などする際に、最初のホットプラグ信号において能力情報を交換することができる。例えば、2つの通信しているソースシステムおよびシンクシステムが交渉を行って、本明細書に記載の技術が両デバイスにおいて相互にサポートされているか、かつ/またはシンクシステム上において現在実行中のディスプレイアプリケーションによってサポートされているか否かを、判断してもよい。もしサポートされているならば、後続のビデオフレームを本明細書に記載の技術で符号化することにより、基準コード値およびDMメタデータの両方を保持させることができる。一方、もしシンクシステムが本明細書に記載の技術を実現しないか、あるいは本明細書に記載の技術を実現しないディスプレイアプリケーションをシンクシステムが実行中であるならば、後続のビデオフレームは、本明細書に記載のDMメタデータを有さない、展開状態の(decompressed)映像データと組み合わされ(assembled)ればよい。
【0021】
いくつかの実施形態において、基準コード値(例えばハイダイナミックレンジ、広色域、高解像度などのソースコンテンツを表す)およびDMメタデータ(例えば、基準コード値のためのマッピング関数などを含む)は、ソースシステムによって第1のビデオ信号フォーマットのビデオ信号に符号化され、またシンクシステムによって第1のビデオ信号フォーマットのビデオ信号から復号化され得る。第1のビデオ信号フォーマットのビデオ信号は、第1のビデオ信号フォーマットのビデオ信号の送信をサポートするビデオ信号通信路を用いて、ソースシステムおよびシンクシステム間を移動され得る。ビデオ信号通信路とは、特定の再生環境における映像リンクを指している。
【0022】
これに加えて、または代替的に、あるいはオプションとして、いくつかの実施形態において、第1のビデオ信号フォーマットのビデオ信号は、第1のビデオ信号フォーマットのビデオ信号の送信をサポートしないビデオ信号通信路を用いて、ソースシステムおよびシンクシステム間を移動されてもよい。様々な実施形態において、ソースシステムおよびシンクシステムの一方または両方に関する1つ以上の制約が、ソースシステムおよびシンクシステムが用いられている映像再生環境などに対して存在する場合があり、第1のビデオ信号フォーマット以外の異なるビデオ信号フォーマットがビデオ信号通信路によってサポートされる場合がある。
【0023】
本明細書に記載の技術を用いて、第1のビデオ信号フォーマットをサポートしないが、第1のビデオ信号フォーマットとは異なる1つ以上の第2のビデオ信号フォーマットのビデオ信号の送信をサポートするようなビデオ信号通信路を介して、第1のビデオ信号フォーマットで符号化された基準コード値およびDMメタデータの移動を行うことができる。
【0024】
いくつかの実施形態において、本明細書に記載されるソースシステムとシンクシステムとの間の通信路は、オーディオビデオレシーバー(AVR)などの1つ以上の第3のデバイスを介して、リレーされてもよい。
【0025】
いくつかの実施形態において、ソースシステムおよびシンクシステム間の通信をリレーするAVRは、ソースシステムおよびシンクシステム間の、(例えば規格準拠、独自、またはその他などの)メタデータ送信メカニズム(例えば規格準拠のメタデータ情報フレーム、独自のメタデータ情報フレーム、その他など)をサポートする。ソースシステムおよびシンクシステムは、メタデータ送信メカニズムなどを介して、最初のホットプラグ信号(例えば規格準拠のハンドシェークによる、ベンダー固有のデータブロックを介する、ベンダー固有の情報フレームを介するなど)において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択する、などすることができる。
【0026】
いくつかの実施形態において、最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などするために用いることができるメタデータ送信メカニズムが、本明細書に記載されるソースシステムおよびシンクシステムが動作する特定の映像再生環境において、利用可能でない場合がある。例えば、ソースシステムおよびシンクシステム間の通信をリレーするAVR(例えば旧式のデバイスなど)は、ソースシステムおよびシンクシステムが最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などすることを可能にするようなメタデータ送信メカニズムをサポートしていないかもしれない。
【0027】
本明細書に記載の技術は、本明細書に記載のシンクシステムが、本明細書に記載のソースシステムから受け取った基準コード値およびDMデータに基づいて、特定のディスプレイマネジメント動作を実行することを可能にするために用いられ得る。これは、ソースシステムおよびシンクシステムが動作する特定の映像再生環境において、ソースシステムおよびシンクシステムが最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などすることを可能にするようなメタデータ送信メカニズムが、利用可能であるか否かに関わらない。さらにこれらの技術は、本明細書に記載のソースシステムから受け取った基準コード値およびDMデータに基づいて、シンクシステムが表示動作を行うことが可能であるか否かを、本明細書に記載のソースシステムが検出することを可能にするための技術を含み得る。
【0028】
いくつかの実施形態において、本明細書に記載のメカニズムは、メディア処理システムの一部分を形成する。そのようなメディア処理システムは、ハンドヘルド型デバイス、ゲーム機器、テレビ、ホームシアターシステム、セットトップボックス、タブレット、携帯機器、ラップトップコンピュータ、ネットブックコンピュータ、セルラー無線電話、電子ブックリーダー、POS端末装置(point of sale terminal)、デスクトップコンピュータ、コンピュータワークステーション、コンピュータキオスク、様々なその他の種類の端末ならびにメディアプロセッサ、などを含むがこれらに限定されない。
【0029】
本明細書に記載された好適な実施形態および一般的原則特徴に対する様々な改変が、当業者には容易に明らかである。したがって、本開示は、ここに示した実施形態に限定されることを意図されておらず、本明細書に記載の原則および特徴と整合するかぎり最も広範な範囲を与えられるべきであることが意図される。
【0030】
2.基準コード値およびマッピング後の画素値
本明細書に記載のソースビデオ信号中の基準コード値は、広いダイナミックレンジ(例えば、ハイダイナミックレンジ、視覚ダイナミックレンジ、Rec.709より広いなど)をサポートするために用いることができる。いくつかの実施形態において、基準コード値は、輝度値の数値やガンマ値によるベキ関数で調整された輝度値の数値からなるものではない。そうではなく、基準コード値は、サポートされるダイナミックレンジにわたる輝度値の複数の量子化レベルのなかの、特定の1つの量子化レベルを(例えばインデックス値として)表している。いくつかの実施形態において、基準コード値は、ディスプレイマネジメントメタデータ中のマッピング関数パラメータを用いた1つ以上のマッピング関数によって、大きな輝度範囲(またはダイナミックレンジ)内にある数値にマッピングされ得る。例えば、本明細書に記載の基準コード値からマッピングされた中間調または輝度値は、0あるいは約0(例えば10-7cd/m2、10-5cd/m2、10-4cd/m2など)から、大きな輝度値(例えば12,000cd/m2、5000cd/m2、600cd/m2など)までわたり得る。基準コード値はまた、異なる周囲光レベルを有する広い範囲で視聴および/または表示するケースと、異なる暗黒レベルを有する広い範囲のディスプレイ装置(例えば劇場、屋内、屋外など)とをサポートするように用いられ得る。これに加えて、またはオプションとして、基準コード値を、マッピング関数パラメータを用いた1つ以上のマッピング関数によって、ある色空間(あるいは色域)の大きな部分における色数値(例えばクロマ値、RGB値など)に、マッピングすることができる。本明細書に記載の個々のビデオフレームにおける基準コード値は、複数の量子化レベルにおける量子化レベルの部分集合を表していてもよく、ある特定のビット深度(例えば8ビット、10ビット、12ビットなど)の符号空間中にある、利用可能なコード値(例えば256個の利用可能なコード値、1024個の利用可能なコード値、4096個の利用可能なコード値など)に圧縮されてもよい。
【0031】
いくつかの実施形態において、本明細書に記載の基準コード値は知覚的量子化(PQ)符号化されていてもよいが、これに限定されない。例えば、いくつかの実施形態において、基準コード値は、輝度値の複数の知覚的量子化レベルの中のある特定の知覚的量子化レベルを表す(例えばインデックス値としてなど)。輝度値2つの隣接する知覚的量子化レベルの間の輝度差は、ぎりぎり気付き得る差(just noticeable difference)すなわちJND、JNDの比、JNDに一定の乗数を乗算したもの、その他であってもよい。複数の知覚的量子化レベルは、本明細書に記載のソースビデオ信号がサポートするように構成された幅広いダイナミックレンジの全体を、カバーし得る。
【0032】
本明細書に記載のDMメタデータとは、ビデオ画像描画動作の一部としてのディスプレイマネジメント動作を行うために、メディアシンクシステムによって用いられるメタデータを指す。DMメタデータの例は以下を含むが、これらに限定されない。すなわち、輝度マッピング関数のためのマッピング関数パラメータ、色差マッピング関数のためのマッピング関数パラメータ、グローバルな画像またはフレーム特性、ソースビデオフレームのアスペクト比、信号変換行列の係数、ガンマ値、ビット深度、色空間、サンプリングフォーマット、黒レベル、輝度値範囲、クロマ値範囲、ソースディスプレイの(例えば最小、最大、平均など)輝度値、他のグローバル特性など、1シーンまたは個々の画像の(例えば最小、最大、平均など)輝度値、その他のグローバル特性など、ソースディスプレイ(例えばリファレンスディスプレイなど)の対角サイズ、などである。いくつかの実施形態において、DMメタデータに含まれる動作パラメータのうち少なくとも一部(例えばマッピング関数のためのマッピング関数パラメータなど)は、画像依存的である。いくつかの実施形態において、マッピング関数パラメータをDMメタデータ中に持つマッピング関数の少なくとも一部が、メディアシンクシステムによって適用されることより、基準コード値をマッピング後の画素値にマッピングしてもよい。DMメタデータ中のマッピングパラメータは、ルックアップテーブル、マッピング曲線、区分的線分を包含するマッピング関数、線分または曲線分のピボット点、またはその他を表し得る。
【0033】
いくつかの実施形態において、DMメタデータは、復号化された画素情報に付随することで復号化された画素情報の再符号化または画像の再構築を容易にするような、符号化情報(例えば4×4、8×8などの画像ブロックレベルの)ではない。むしろ、DMメタデータは、ビデオ画像がターゲットディスプレイ上で描画されたときに、ターゲットディスプレイの表示能力が最大化されたり、クリップした輝度値および/またはクリップした色差値を持つ画素の数が最少化されたりするように、ビデオ画像をターゲットディスプレイ上で描画するための、対応する基準コード値をマッピング後の画素値にマッピングする、メタデータである。DMメタデータの一部または全部は、それを保持するビデオフレームにおいて、エラー保護および回復のために繰り返されてもよい。いくつかの実施形態において、DMメタデータは、カラー管理アプリケーションまたは他のアプリケーションによって導出されてもよい。
【0034】
一例として、ソース画像(例えばシーン−リファード画像など)から導出されたビデオ画像が、暗輝度レベル分布中において1つ以上の顕著な物体を示すとき、暗輝度レベルにマッピングされ得る比較的多数の基準コード値を、このビデオ画像を本明細書に記載のソースビデオ信号に符号化するために用い得る。マッピングされた暗輝度レベルは、メディアシンクシステムによってレンダリングされることにより、描画された画像中の暗い顕著な物体に対して、シーン−リファード画像をよく近似する、同じまたは実質的に(例えばJNDの5%、10%、20%以内など)同じ輝度レベルを生成することができる。
【0035】
別の例として、ソース画像(例えばシーン−リファード画像など)から導出されたビデオ画像が、明輝度レベル分布中において1つ以上の顕著な物体を示すとき、明輝度レベルにマッピングされ得る比較的多数の基準コード値を、このビデオ画像を本明細書に記載のソースビデオ信号に符号化するために用い得る。マッピングされた明輝度レベルは、メディアシンクシステムによってレンダリングされることにより、描画された画像中の明るい顕著な物体に対して、シーン−リファード画像をよく近似する、同じまたは実質的に(例えばJNDの5%、10%、20%以内など)同じ輝度レベルを生成することができる。
【0036】
本明細書に記載の技術は、広いダイナミックレンジのソース画像の顕著なコンテンツを捉える多数の画素を、メディアシンクシステムにおける対応する描画された画像中の、同じまたは実質的に同じ輝度レベルにマッピングするために用いることができる。本明細書に記載の技術によるアプローチは、他のアプローチと比べ、描画された画像中においてソース画像の知覚的品質を比較的高度に維持する。
【0037】
本明細書に記載の技術はまた、採用した色空間の1つ以上のプライマリチャンネル(例えばクロマチャンネル、赤、緑、青その他)を、個別にグローバルに変調するために用いることができる。プライマリチャンネルの個別の変調は、色域におけるカラーバランスを再構成でき、特定の色(画像における色相および彩度領域)が他の色よりも支配的である場合に有利である。例えば、赤が支配的であり、弱めの青が少量だけ存在するシーンにおいて、比較的多数の赤基準コード値および比較的少数の青基準コード値を割り当てることができる。
【0038】
いくつかの実施形態において、あるビデオフレームの基準コード値によって表されるビデオ画像は、他のビデオ画像に対してのハイライトを多く含んでいるかもしれない。この場合、基準コード値における輝度レベルを映像描画装置のマッピング後の輝度レベルにマッピングするために用いられる、輝度マッピング関数のためのマッピング関数パラメータは、メディアシンクシステム(例えば映像描画装置など)が、より多くの明るい輝度レベルを割り当てることを可能にする。同様に、あるビデオフレームの基準コード値によって表されるビデオ画像は、他のビデオ画像に対して暗い領域を多く含んでいるかれしれない。この場合、基準コード値における輝度レベルを映像描画装置のマッピング後の輝度レベルにマッピングするために用いられる、輝度マッピング関数のためのマッピング関数パラメータは、映像描画装置が、より多くの低輝度レベルを割り当てることを可能にする。これに加えてかつ/またはオプションとして、DMメタデータはまた、ビデオ画像におけるより支配的な色に対して、より多くの色レベルまたは値の区別を割り当てるために用いることができる。これに加えてかつ/またはオプションとして、DMメタデータはまた、他のDM動作パラメータ(例えばビデオフレームのアスペクト比など)をメディアシンクシステムに伝えるために用いることができる。この結果、本明細書に記載のDMメタデータを利用する映像描画装置は、より高いダイナミックレンジかつより広い色域を有する、ビデオ画像を生成することが可能になる。
【0039】
いくつかの実施形態において、本明細書で用いられる「マッピング後の画素値、輝度値、およびクロマ値」とは、装置固有の画素値、輝度値、およびクロマ値(例えば独自のダイナミックレンジまたは色域などを表し得る)を指し得る。いくつかの実施形態において、本明細書で用いられる「マッピング後の画素値、輝度値、およびクロマ値」とは、ある規格(例えばRec.709、スタンダードダイナミックレンジすなわちSDR、携帯機器を規定するビデオ規格、タブレット型コンピュータを規定するビデオ規格、その他など)に従った、規格準拠の画素値、輝度値、およびクロマ値を指し得る。
【0040】
本明細書で用いられる映像リンクとは、映像および関連のデータを、ソースシステムからシンクシステムへ送るパイプライン(例えばビデオ信号、ビデオビットストリームなど)を指す。いくつかの実施形態において、基準コード値は、DMメタデータとともに、映像リンクを規定する1つ以上の映像リンク規格に従って、ソースシステムからシンクシステムへ映像リンクを介して送られる。
【0041】
3.メディアソースシステム
図1は、1つ以上の実施形態によるメディアソースシステム(100)を示す。図1に示すように、システム(100)は、ソースビデオ受信器(104)、ビデオフレーム発生器(106)、ビデオエンコーダ(110)、およびビデオメモリ(108)を有する。ビデオメモリ(108)は、フレームバッファ、ディスプレイマネジメント(DM)メタデータバッファなどを含む。
【0042】
これら構成要素の各々を下記に説明するが、これらは、同じデバイス(例えばセットトップボックス、コンピュータ、サーバーシステム、クライアントシステムなど)上に位置してもよく、あるいは、有線および/または無線セグメントを用いて、ネットワーク(例えばインターネット、イントラネット、エキストラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)など)により結合された、別々のデバイス上に位置していてもよい。1つ以上の実施形態において、システム100はクライアント−サーバー形態を用いて実現される。システム(100)自体が1つ以上のコンピュータ上で実行中のアプリケーションであってもよく、またいくつかの実施形態においてはピア・トゥ・ピアシステムであってもよく、あるいは単一のコンピューティングシステム上に存在してもよい。また、システム(100)は、システム100にアクセスするための1つ以上のインターフェースまたは他の任意のツールを用いて、他の機器からアクセス可能である。1つ以上の実施形態において、システム(100)は、インターネットなどのネットワーク接続を介してアクセス可能である。システム(100)によって提供される情報および/またはサービスはまた、格納されてネットワーク接続を介してアクセスされてもよい。
【0043】
一実施形態例において、ソースビデオ受信器104は、ソースビデオ信号102を受け取り、1つ以上のビデオフレームにおける基準コード値およびその基準コード値に具体的に対応しているDMメタデータを、そのソースビデオ信号(102)から導出(例えば抽出、復号化、生成、決定、算出など)するように構成された、ソフトウェアおよび/またはハードウェアに相当する。この1つ以上のビデオフレームは、ソースビデオ受信器104によってソースビデオ信号(102)から復号化されたビデオフレームの時間的シーケンスの一部であってもよい。
【0044】
ソースビデオ受信器104は、ソースビデオ信号(102)に保持された異なるデータコンポーネントを導出し分離するように構成されていてもよい。例えば、ソースビデオ信号中の音声/映像データおよびDMメタデータは、デマルチプレクサを用いて、別々のコンポーネント(例えば音声コンポーネント、映像コンポーネント、メタデータコンポーネントなど)に分離されてもよい。いくつかの実施形態において、DMメタデータは、映像コンポーネントに埋め込まれていて、そこから抽出されてもよい。いくつかの実施形態において、DMメタデータは、ソースビデオ信号の別々のメタデータコンポーネントに保持されていて、そこから復号化されてもよい。
【0045】
一実施形態例において、ビデオフレーム発生器(106)は、ソースビデオ信号(102)から導出された基準コード値およびDMメタデータを受け取り、DMメタデータを格納するDMメタデータ送信パケットを生成し、基準コード値およびDMメタデータを含んだDMメタデータ送信パケットの両方を、ビデオメモリ(108)における1つ以上のビデオフレームのビットフィールドに格納/設定するように構成された、ソフトウェアおよび/またはハードウェアに相当する。一例において、ビデオフレーム発生器(106)は、ソースビデオ信号(102)より導出されたDMメタデータを、ソースビデオ受信器(104)から受け取ってもよい。別の例において、ビデオフレーム発生器(106)は、ソースビデオ受信器(104)以外のモジュールからDMメタデータを受け取ってもよい。いくつかの実施形態において、ビデオフレーム発生器(106)は、1つ以上のビデオフレームの特定のビットフィールドを、DMメタデータを含んだDMメタデータ送信パケットを格納するために選択するように構成されている。いくつかの実施形態において、DMメタデータを保持するように選択される特定のビットフィールドは、本来は、メディアソースシステムから下流のメディアシンクシステムへの映像リンクを規定する1つ以上のビデオ信号規格によって、採用した色空間(例えばYCbCr、RGBなど)の1つ以上のチャンネル(例えばクロマチャンネル、輝度チャンネル、赤、緑および/または青チャンネルなど)のコンポーネント画素値の最下位ビットを保持するように指定されたものである。限定的ではない一実施形態例において、特定のビットフィールドは、本来はクロマ画素値を格納するように指定されたビットフィールドのみから選択される。いくつかの実施形態において、DMメタデータを格納するように選択されるビットフィールドは、ビデオフレーム中の複数の連続画素からのものである。いくつかの実施形態において、DMメタデータを格納するように選択されるビットフィールドは、ビデオフレーム中の複数の非連続画素からのものである。いくつかの実施形態において、DMメタデータを格納するように選択されるビットフィールドは、あるビデオフレームの、1つ以上の走査線(例えば1つ以上の開始走査線、1つ以上の終了走査線、1つ以上の中間走査線など)中の複数の画素からのものである。いくつかの実施形態において、少なくともDMメタデータの一部を含むDMメタデータ送信パケットの単一のコピーが、ビデオフレームのビットフィールドに格納、すなわち埋め込まれている。いくつかの実施形態において、冗長性を提供してDMメタデータの送信信頼性を増大するために、少なくともDMメタデータの一部を含むDMメタデータ送信パケットの複数のコピーが、ビデオフレームのビットフィールドに格納、すなわち埋め込まれている。いくつかの実施形態において、あるビデオフレームは、そのビデオフレームにはビデオフレームの画素値に対するディスプレイマネジメント動作を行うために用いられるべきDMメタデータを含んでいず、別のDMメタデータ送信パケットにおいて受け取られたあるいは受け取られるであろうDMメタデータがそのような動作を行うために用いられるべきだという指標(indication)を含んでいてもよい。
【0046】
本明細書に記載のDMメタデータ送信パケットとは、ペイロード部と、少なくとも1つの巡回冗長値、および可能性として他の制御または信号情報1つ以上の他の部分とを有する、任意のデータ格納体を指す。一態様例において、巡回冗長値は、ペイロード部に格納されまたDMメタデータ送信パケットの後続バイト(trailing bytes)(例えばペイロード部とは別の部分など)に置かれる、バイトまたはワード値から算出されることができる。別の態様例において、巡回冗長値は少なくとも部分的には、DMメタデータ送信パケットのヘッダー部のバイトまたはワード値から、算出され得る。本明細書に記載のDMメタデータ送信パケットを上流デバイス(例えばメディアソースシステムなど)から下流デバイス(例えばメディアシンクシステムなど)へ送信する際に発生し得るエラー(例えばビットエラー、ジッター、クロストークなど)から保護および回復するために、パケット冗長性やCRC値以外の他のエラー保護および訂正メカニズムの1つ以上(例えば生成多項式により算出されるなど)を用いてもよい。
【0047】
本発明の1つ以上の実施形態において、ビデオメモリ(108)は、バルクメモリコピー動作、バルクメモリムーブ動作、高速なメモリ埋め動作などを含むがこれらに限定されない、比較的高速な映像処理動作を扱うよう構成されたメモリ空間に相当する。ビデオメモリ(108)は、静的および/または動的なメモリ割り当てをサポートするように構成され得る。ビデオメモリ(108)は、1つ以上のビデオフレームの全ビットフィールドを保持するビデオフレームバッファと、ビデオフレームバッファの当該1つ以上のビデオフレームに埋められた基準コード値に関連するDMメタデータを保持するDMメタデータバッファと、を有し得る。ビデオメモリ(108)に格納されるビデオフレームは、YCbCr色空間やRGB色空間などを含むがこれらに限定されない、様々な色空間のうちの1つに関連し得る。ビデオメモリ(108)に格納されたビデオフレームは、4:4:4サンプリングフォーマット、4:2:2サンプリングフォーマット、4:2:0サンプリングフォーマットなどを含むがこれらに限定されない、様々なサンプリングフォーマット(例えばクロマサンプリングフォーマットなど)のうちの1つに関連し得る。メモリ空間を構築してビデオメモリ(108)に映像データを格納するために、多くの実装形態(例えばアレイ、シーケンス、データ構造、連結リスト、環状バッファ、ハッシュテーブルなど)を用い得る。
【0048】
一実施形態例において、ビデオエンコーダ(110)は、ビデオメモリ(108)内の基準コード値を有する1つ以上のビデオフレームを取り出し、DMメタデータを前記基準コード値を有するビデオフレームに合成(例えばパケット化、クロマチャンネルのLSBに埋め込みなど)し、ビデオメモリ(108)内の取り出されたビデオフレームに少なくとも部分的に基づき、メディアシンクシステムに送信されるべき符号化ビデオ信号(112)を生成/符号化するように構成された、ソフトウェアおよび/またはハードウェアに相当する。本明細書において、符号化ビデオ信号とは、ビデオ信号中の一部または全てのビデオフレームの画素中にDMメタデータが埋め込まれた、ビデオ信号(例えばクロマチャンネルのLSBに埋め込まれたメタデータを有する符号化ビデオ信号112など)を指し、また、符号化ビデオ信号を生成または符号化するとは、DMメタデータがビデオフレームの画素に埋め込まれたビデオ信号を、生成または符号化することを指す。取り出されたビデオフレーム、あるいはその中のビットフィールドは、基準コード値(コンポーネント画素値の最下位ビットのうち一部を、DMメタデータを含んだDMメタデータ送信パケットのビット値によって置きかえたものなど)と、下流のメディアシンクシステムが、基準コード値に対して映像描画動作の一環としてディスプレイマネジメント動作を行うために用いられるDMメタデータ、との両方を含んでいる。ビデオエンコーダによって生成/符号化される符号化ビデオ信号(112)は、ビデオフォーマットおよび送信プロトコルに関して、下流のメディアシンクシステムとの映像リンクを規定する映像リンク規格に従うが、ただし、符号化ビデオ信号(112)に保持されるビデオフレームは、基準コード値およびDMメタデータの両方を保持している。DMメタデータを格納するためにクロマ画素値の最下位ビットのみが選択される実施形態においては、クロマ画素値の最下位ビットを失うことに起因する知覚し得るアーチファクトは少ないため、本明細書に記載の技術を実装しないメディアシンクシステムは、元の品質に近いビデオ画像を描画することが可能である。さらに、本明細書に記載の技術を実装したメディアシンクシステムでは、DMメタデータを用いることにより、元のシーン−リファード画像において捉えられていたものをよく近似する、ハイダイナミックレンジ、広色域、細やかな知覚可能な画像ディテールなどを備えた高品質なビデオ画像を描画することができる。
【0049】
4.メディアシンクシステム
図2は、1つ以上の実施形態によるメディアシンクシステム(200)を示す。図2に示すように、システム(200)は、符号化ビデオ受信器(204)と、DMメタデータ抽出器(206)と、ビデオ描画器(210)と、符号化ビデオ信号(112)から導出されたDMメタデータを格納するためのDMメタデータバッファ(208)を有するビデオメモリ(不図示)と、を備える。
【0050】
これら構成要素の各々を下記に説明するが、これらは、同じデバイス(例えばテレビ、セットトップボックス、タブレット、携帯機器、コンピュータ、サーバーシステム、クライアントシステムなど)上に位置してもよく、あるいは、有線および/または無線セグメントを用いて、ネットワーク(例えばインターネット、イントラネット、エキストラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)など)により結合された、別々のデバイス上に位置してもよい。1つ以上の実施形態において、システム200はクライアント−サーバー形態を用いて実現される。システム(200)自体が1つ以上のコンピュータ上で実行中のアプリケーションであってもよく、またいくつかの実施形態においてはピア・トゥ・ピアシステムであってもよく、あるいは単一のコンピューティングシステム上に存在してもよい。また、システム(200)は、システム200にアクセスするための1つ以上のインターフェースまたは他の任意のツールを用いて、他の機器からアクセス可能である。1つ以上の実施形態において、システム(200)は、インターネットなどのネットワーク接続を介してアクセス可能である。システム(200)によって提供される情報および/またはサービスはまた、格納されてネットワーク接続を介してアクセスされてもよい。
【0051】
一実施形態例において、符号化ビデオ受信器204は、符号化ビデオ信号112を受け取り、基準コード値およびその基準コード値に具体的に対応しているDMメタデータを含む1つ以上のビデオフレームを、その符号化ビデオ信号(112)から導出(例えば抽出、復号化、生成、決定、算出など)するように構成された、ソフトウェアおよび/またはハードウェアに相当する。符号化ビデオ受信器204によって符号化ビデオ信号(112)から復号化された、基準コード値およびDMメタデータを含むこの1つ以上のビデオフレームは、ビデオフレームの時間的シーケンスの一部であってもよい。
【0052】
符号化ビデオ受信器204は、映像リンク(これを介して符号化ビデオ信号112が受け取られる)を規定する映像リンク規格に従った、映像リンク受信器として構成されてもよい。符号化ビデオ受信器204はさらに、符号化ビデオ信号(112)に保持された異なるデータコンポーネントを導出し分離するように構成されてもよい。例えば、符号化ビデオ信号(112)中の音声/映像データは、デマルチプレクサを用いて、別々のコンポーネント(例えば音声コンポーネント、映像コンポーネントなど)に分離されてもよい。
【0053】
一実施形態例において、DMメタデータ抽出器(206)は、符号化ビデオ信号(112)から導出された基準コード値およびDMメタデータを含む1つ以上のビデオフレームを受け取り、ビデオフレーム中の複数のビットフィールドからDMメタデータを格納するDMメタデータ送信パケットを取り出し、DMメタデータ送信パケットからDMメタデータを抽出/導出し、DMデータをDMメタデータバッファ(208)に格納/キャッシュするように構成された、ソフトウェアおよび/またはハードウェアに相当する。例えば、DMメタデータ抽出器(206)は、1つ以上のビデオフレームの特定のビットフィールド(例えば特定のチャンネルの最下位ビット、1つ以上の特定の走査線上のビットフィールド、ビデオフレームのあるパターン中のビットフィールドなど)を選択し、これらの特定のビットフィールドからビット値を抽出し、抽出されたビット値をDMメタデータ送信パケットに組み合わせ(assemble)、DMメタデータ送信パケットのペイロードから、DMメタデータを抽出してDMメタデータバッファ(208)に入れるように構成され得る。
【0054】
DMメタデータ抽出器(206)は、DMメタデータ送信パケットの単一のコピーまたは同じDMメタデータ送信パケットの複数のコピーのうちの1つを、ビデオフレームから取り出すように構成され得る。いくつかの実施形態において、DMメタデータ抽出器(206)は、DMメタデータ送信パケットが破損しているかをベリファイするように構成される。例えば、DMメタデータ抽出器(206)は、DMメタデータ送信パケット(例えばパケットの最初の992ビットなど)からCRC値を算出し、算出されたCRC値が伝えられたCRC値(例えばDMメタデータ送信パケットの後続バイト中など)と合致するかを決定し得る。もしCRC値が合致しないならば、DMメタデータ抽出器(206)は、DMメタデータ送信パケットが破損しているものとして破棄し、同じビデオフレーム(例えばビデオフレーム中のビットフィールドの異なる部分または異なる部分集合など)、または異なるビデオフレーム(例えば破損コピーを含んだビデオフレームの1ビデオフレーム前か後ろなど)に保持された、同じDMメタデータ送信パケットの別のコピーを取り出すことを試みるように構成されてもよい。
【0055】
本発明の1つ以上の実施形態において、DMメタデータバッファ(208)は、バルクメモリコピー動作、バルクメモリムーブ動作、高速なメモリ埋め動作などを含むがこれらに限定されない、比較的高速な映像処理動作を扱うよう構成されたメモリ空間に相当する。DMメタデータバッファ(208)は、静的および/または動的なメモリ割り当てをサポートするように構成され得る。DMメタデータバッファ(208)は、符号化ビデオ信号(112)から最初に復号化された1つ以上のビデオフレームの全ビットフィールドを保持するためのビデオフレームバッファをさらに含んだビデオメモリの、一部であってもよい。符号化ビデオ信号(112)から復号化されたビデオフレームは、YCbCr色空間やRGB色空間などを含むがこれらに限定されない、様々な色空間のうちの1つに関連し得る。符号化ビデオ信号(112)から復号化されたビデオフレームは、4:4:4サンプリングフォーマット、4:2:2サンプリングフォーマット、4:2:0サンプリングフォーマットなどを含むがこれらに限定されない、様々なサンプリングフォーマット(例えばクロマサンプリングフォーマットなど)のうちの1つに関連し得る。
【0056】
一実施形態例において、ビデオ描画器(210)は、符号化ビデオ信号(112)から復号化された1つ以上のビデオフレームから、基準コード値(例えばあるビデオフレームのうちのいくつかの画素における特定のビット値を欠いたもの、1つ以上の走査線の画素の最下位ビット値を欠いたものなど)を取り出し、基準コード値にディスプレイマネジメント動作を適用(基準コード値中のコンポーネント画素値をマッピング後のコンポーネント画素値にマッピングすることを含む)し、マッピング後のコンポーネント画素値に基づいて、映像描画動作を実行し、ビデオフレーム中の基準コード値によって表される画像を描画するために用いられ得る映像表示信号(202)を生成するように構成された、ソフトウェアおよび/またはハードウェアに相当する。本明細書に記載のメディアシンクシステムは、DMメタデータを用いて、本明細書に記載の技術を実装しない他のアプローチよりも高いダイナミックレンジ、広い色域、細やかな知覚可能な画像ディテールなどを備えた高品質ビデオ画像を描画することができる。
【0057】
5.DMメタデータを送信および受信するためのアルゴリズム
ディスプレイマネジメント動作を実行するための技術は、メディアシンクシステム(例えば図2の200など)を通じて、ターゲットディスプレイ上に実装され得る。符号化ビデオ信号(例えば図1および図2の112など)は、メディアシンクシステム(200)とともに動作するかあるいはその一部であってもよいターゲットディスプレイの、外側において生成されることができる。符号化ビデオ信号(112)は、ディスプレイマネジメント動作に必要なDMメタデータとともに、映像リンクを介して(例えばHDMIリンクなど)メディアシンクシステム(200)に送信され得る。
【0058】
図3Aは、DMメタデータをメディアソースシステム(例えば図1の100など)からメディアシンクシステム(例えば図2の200など)へ送信する、アルゴリズムまたは処理フローの例を示す。いくつかの実施形態例において、1つ以上のコンピューティングデバイスまたは構成要素(例えばメディアソースシステム100、ソースビデオ受信器104、ビデオフレーム発生器106、ビデオエンコーダ110など)が、この処理フローを実行し得る。
【0059】
例示目的のみとしてであるが、ビデオフレーム発生器(106)は、1つ以上のビデオフレームの基準コード値および、基準コード値に対してディスプレイマネジメント動作を行うために用いられるDMメタデータを受け取る。基準コード値およびDMメタデータは、ソースビデオ受信器(例えば図1の104など)によって、ソースビデオ信号(102)から復号化されてもよい。
【0060】
ブロック302において、ビデオフレーム発生器(106)は、前記基準コード値を有する1つ以上のビデオフレームをフレームバッファ(例えばYCbCr 4:2:2フレームバッファなど)に格納し、DMメタデータをDMメタデータバッファ(例えば図1のビデオメモリ108などにおいて)に格納する。DMメタデータは、Nバイトを占め得る。ある態様例において、DMメタデータバッファ内のDMメタデータの1つ以上の(例えば埋まっていないなどの)部分を、順番にして1つ以上の(例えば埋められていないなどの)DMメタデータ送信パケットのペイロード中に、例えばバイト境界、ワード境界などに従って埋め込む。
【0061】
ブロック304において、ビデオフレーム発生器(106)は、1つ以上のDMメタデータ送信パケットに対し、NバイトのDMメタデータを保持するためのメモリ(例えば図1のビデオメモリ108などにおいて)を割り当てる。いくつかの実施形態において、1つのDMメタデータパケットは、最大Mバイトを保持できるペイロードを含んでいてもよい。
【0062】
ブロック306において、ビデオフレーム発生器(106)は、割り当てられたDMメタデータ送信パケットのうちの最後のDMメタデータ送信パケットが埋められたか否かを判断する。最後のDMメタデータ送信パケットが埋められていないと判断すると(図3Aの「no」)、処理フローはブロック308に移る。
【0063】
ブロック308において、ビデオフレーム発生器(106)は、1つ以上の残りの埋められていないDMメタデータ送信パケットのうちの1番目のペイロードを、DMメタデータバッファ中のDMメタデータの1つ以上の残りの埋まっていない部分のうちの1番目によって埋める。
【0064】
ブロック310において、ビデオフレーム発生器(106)は現在処理中のパケット(ペイロードがブロック308において埋められたDMメタデータ送信パケット)のヘッダーを設定/ポピュレートし、現在処理中のパケット(例えばパケットの最初の992ビットなど)からCRC値(例えばCRC−32値など)を算出し、現在処理中のパケットの後尾(例えば最後の4つの後続バイトなど)にCRC値を格納する。そして処理フローはブロック306に移る。
【0065】
もし最後のDMメタデータ送信パケットが埋められていると判断すると(図3Aの「yes」)、処理フローはブロック312に移り、ビデオフレーム発生器(106)が、フレームバッファに格納された1つ以上のビデオフレームの複数のビットフィールドに、DMメタデータ送信パケットの各々を埋める。DMメタデータ送信パケットの埋め込みのために、特定のビットフィールド(例えばクロマ画素値の最下位ビットなど)が選択されてもよい。
【0066】
ブロック314において、メディアソースシステム(100)は、フレームバッファ内のビデオフレームを下流デバイス(例えば図2のメディアシンクシステム200など)へ、例えば符号化ビデオ信号(112)として、映像リンク(例えばHDMI、LVDS、Vx1、HD−SDIなど)を介して送信する。
【0067】
図3Bは、DMメタデータをメディアソースシステム(例えば図1の100など)からメディアシンクシステム(例えば図2の200など)によって受け取る、アルゴリズムまたは処理フローの例を示す。いくつかの実施形態例において、1つ以上のコンピューティングデバイスまたは構成要素(例えばメディアシンクシステム200、符号化ビデオ受信器204、DMメタデータ抽出器206、ビデオ描画器など)が、この処理フローを実行し得る。
【0068】
ブロック352において、メディアシンクシステム(200)は、1つ以上のビデオフレーム(例えばYCbCr 4:2:2フレームなど)をフレームバッファ(例えばメディアシンクシステム200のビデオメモリなど)に格納する。ビデオフレームは、映像リンク(例えばHDMI、LVDS、Vx1、HD−SDIなど)を介して受け取った符号化ビデオ信号(112)から、メディアシンクシステム(200)によって復号化されてもよい。
【0069】
ブロック354において、メディアシンクシステム(200)はフレームバッファ内のビデオフレームの複数の画素から、1つ以上のDMメタデータ送信パケットを抽出する。いくつかの実施形態において、DMメタデータパケットは、最大Mバイトを保持できるペイロードを含んでいてもよい。1つ以上のDMメタデータ送信パケットの各々は、前記複数の画素のうち選択された画素(例えば1024画素など)の各グループにあってもよい。複数の画素のうち選択されたビットフィールド(例えばクロマチャンネルの最下位ビットなど)を、ビデオフレーム中の1つ以上のDMメタデータ送信パケットを保持するために用い得る。
【0070】
ブロック356において、メディアシンクシステム(200)は、DMメタデータ送信パケットのペイロードからDMメタデータを抽出する。
【0071】
いくつかの実施形態において、メディアシンクシステム(200)は、抽出されたDMメタデータ送信パケットに対してCRCテストを実行することにより、抽出されたDMメタデータ送信パケットにエラーが存在するか否かを検出する。もしCRCテストにおいて検出されたエラーがあれば、メディアシンクシステム(200)は、DMメタデータ送信パケットの複製/冗長的コピーをビデオフレームから抽出するように構成される。もしCRCテストによって検出されたエラーが存在しなければ、メディアシンクシステム(200)は、ビデオフレーム中のDMメタデータ送信パケットの複製/冗長的コピーをスキップするように構成される。
【0072】
いくつかの実施形態において、DMメタデータは、映像描画動作においてDMメタデータに少なくとも部分的に基づいたディスプレイマネジメント動作を行おうとする、対応するビデオフレームに対して精確に同期されている。いくつかの実施形態において、このDMメタデータを対応するビデオフレームの基準コード値と同期的に受信側デバイスへ送信することは、映像リンクを介して符号化ビデオ信号を送信する前に、符号化ビデオ信号における同じビデオフレームまたは互いに隣接したビデオフレーム中にDMメタデータとともに基準コード値を埋め込むことによって達成される。このようにしてDMメタデータは、対応する基準コード値と同時に(例えば同じビデオフレームにおいてや、対応するビデオフレームの前のビデオフレームにおいてなど)、あるいは実質的に同時に(例えば対応するビデオフレームからある固定の時間ウィンドウ内のビデオフレームにおいてなど)、受信側デバイスのディスプレイマネジメントモジュールに到達する。
【0073】
いくつかの実施形態において、符号化ビデオ信号においてあるタイムスタンプTを有するDMメタデータが、タイムスタンプT−1、T−2などを有するビデオフレームバッファの基準コード値とともに送信されることにより、ディスプレイマネジメントモジュールはDMメタデータを処理(初期化動作などを含むがこれに限定されない)するための十分な時間を有し得る。
【0074】
6.HDMI映像リンク
本明細書に記載の技術は、HDMI映像リンク(例えばHDMI1.4映像リンク、HDMI2.0映像リンクなど)を介したディスプレイマネジメントメタデータ送信をサポートする態様例によって、さらに例示することができる。映像リンク規格に関する一般的な情報は、以下を含むがこれらに限定されない、様々な文献において見出すことができる。すなわち、CEA−861−F,A DTV Profile for Uncompressed High Speed Digital Interfaces,Draft V15,7/31/12、High−Definition Multimedia Interface Specification Version 1.4a、High−Definition Multimedia Interface Specification Version 2.0 R10、For Television−Transporting MPEG−2 Recoding Information through 4:2:2 Component Digital Interfaces,SMPTE 319M−2000など。これらをその全体について、本願において元々開示したかの如く援用する。
【0075】
いくつかの実施形態において、HDMI規格は、本明細書に記載の技術によって、符号化ビデオ信号を、メディアソースシステム(例えばセットトップボックス、図1のメディアソースシステム100など)からメディアシンクシステム(例えばHDMIインターフェースを有するTV、図2のメディアシンクシステム200など)へと送るように拡張されることができる。本明細書に記載の技術は、HDMI規格において明示されたビデオフレームフォーマットおよび送信プロトコルを、HDMI映像リンクがこれらのビデオフレームフォーマットおよび送信プロトコルに従ってDMメタデータを基準コード値とともにビデオフレームの画素中において送信するために、利用することができる。
【0076】
いくつかの実施形態において、本明細書に記載のメディア処理装置は、HDMIバージョン1.4a以上に準拠しており、プログレッシブタイミングのHDおよびUHD解像度(例えばフレームレート毎秒60フレーム(fps)までのHD解像度、フレームレート30fpsまでの4K×2K解像度など)をサポートする。いくつかの実施形態において、本明細書に記載のメディア処理装置はHDMIバージョン2.0に準拠し、フレームレート60fpsまでの4K×2K解像度をサポートする。本明細書で用いられる「準拠する(compliance)」の語は、映像リンク規格(例えばHDMI1.4a、HDMI2.0など)において明示されたビデオフォーマットに準拠したビデオフレームに対して、ビデオフレームのビットフィールドを、映像リンク規格が本来は画素値のみをビデオフレームのこれらのビットフィールドに格納するように指定しているにも関わらず、基準コード値およびDMメタデータでポピュレート、格納、埋め、送信、受信、復号化などすることを指す。
【0077】
いくつかの実施形態において、本明細書に記載のメディア処理装置は、映像リンク規格において明示された、様々なビデオフレームフォーマットのうちの1つ(例えばYCbCr 4:2:2ビデオフレームなど)ように構成される。本明細書に記載のビデオフレームフォーマットは、様々なビット深度のうちの1つの色値(例えば12+ビット/カラーなど)を保持し得る。
【0078】
いくつかの実施形態において、本明細書に記載のメディア処理装置は、映像リンク規格において明示された信号送信プロトコルを用いるように構成される。いくつかの実施形態において、メディアソースシステムは、下流デバイスの能力情報(例えば下流デバイスから受け取ったE−EDID(enhanced extended display identification data)など)を読み取り、下流デバイスがサポートするオーディオおよびビデオフォーマットのみを送るように構成される。いくつかの実施形態において、本明細書に記載のメディアシンクシステムは、ビデオフレームの画素中において基準コード値とともに送られたDMメタデータで動作することが可能であることを、E−EDIDのHDMIのベンダー固有のデータブロックに1ビットフラグをセットすることにより、示す。
【0079】
逆に、本明細書に記載の技術を実装する下流デバイスは、上流デバイスの能力情報(例えば上流デバイスから受け取ったInfoFrameの内など)を読み出し、受け取った音声および映像データを適切に処理するように構成され得る。いくつかの実施形態において、メディアソースシステムは、HDMIのベンダー固有のInfoFrameに1ビットフラグをセットすることによって、本明細書に記載の符号化ビデオ信号の送信の合図を送る。
【0080】
いくつかの実施形態において、DMメタデータおよび基準コード値をビデオフレームの画素中で処理および送信するための能力情報は、映像リンク規格によって明示された、情報フレーム、データブロックなど中の1つ以上の予約ビットに設定される。
【0081】
いくつかの実施形態において、ビデオフレーム中のDMメタデータを送信する前に、メディアソースシステム(例えば図1の100など)は、メディアシンクシステム(例えば図2の200など)によって与えられた能力指標を読み出す。もしメディアシンクシステムが、ビデオフレームに埋め込まれたDMメタデータをサポートする能力を示していなければ、メディアソースシステムは、DMメタデータをビデオフレームに埋め込まないように構成されてもよく、代わりにメディアソースシステムは、本明細書に記載のDM動作を行うことなく下流デバイスによって復号化され描画されることができる画素値を用いてビデオフレームをポピュレートするように構成されてもよい。もしメディアシンクシステムが、ビデオフレームに埋め込まれたDMメタデータをサポートする能力を示すなら、メディアソースシステムはさらに、メディアシンクシステムがDMメタデータで動作するディスプレイアプリケーション設定にあるか否かを決定するように構成されてもよい。もしメディアシンクシステムが、そのディスプレイアプリケーション設定がDMメタデータで動作することを示していれば、メディアソースシステムは引き続き、相互にサポートされているビデオフレームフォーマット(例えばYCbCr 4:2:2フレームなど)と相互にサポートされているビデオタイミング方式(例えば30fps、60fpsなど)とを選択し、サポートされたビデオフレームフォーマットのビデオフレーム中にDMメタデータを生成/符号化し、相互にサポートされているビデオフレームフォーマットおよび相互にサポートされているビデオタイミング方式を有するビデオフレームが、DMメタデータとともに符号化されていることの指標を符号化ビデオ信号に設定し、この符号化ビデオ信号を、指標とともにメディアシンクシステムに送ってもよい。メディアシンクシステムは、ビデオフレームに埋め込まれたDMメタデータを抽出し、同じビデオフレームから抽出された基準コード値にDM動作を適用し、ディスプレイアプリケーション設定における基準コード値によって表されたビデオ画像を描画する。いくつかの実施形態において、DM動作は、マッピング関数を基準コード値に適用することで、マッピング後の輝度値およびクロマ値を、描画された画像における知覚可能な画像ディテールを保存しながら比較的ハイダイナミックレンジおよび比較的広色域で導出することを含むが、これに限定されない。
【0082】
いくつかの実施形態においては、複数のビデオフレーム(例えば1シーンなど)が、1セットのDMメタデータを共有する。いくつかの実施形態においては、1つ以上のビデオフレームのそれぞれ個々のビデオフレームが、自身のためのDMメタデータのセットを有する。DMメタデータは、その対応するビデオフレーム(単数または複数)に同期されており、この対応するビデオフレーム(単数または複数)の基準コード値は、DMメタデータに少なくとも部分的に基づいたDM動作による動作を受ける。
【0083】
いくつかの実施形態において、対応するビデオフレームについてDMメタデータの新しいセットが下流デバイスに送信されるたびに、新たなDMメタデータ識別子(例えば順にインクリメントされる数字など)が用いられる。いくつかの実施形態において、DMメタデータ送信パケットは2つのフィールドを含む。すなわち、DMメタデータ送信パケットに保持される第1のDMメタデータのセットのための第1のDMメタデータ識別子および、DMメタデータ送信パケットを保持するビデオフレームに対するDM動作に用いられる、第2のDMメタデータのセットのための第2のDMメタデータ識別子である。従って、もし第1および第2のDMメタデータ識別子が同じであれば、そのDMメタデータのセットが、DMメタデータ送信パケットを保持するビデオフレームに対するDM動作に用いられる。そうでなければ、第1のDMメタデータのセットが、第1のDMメタデータ識別子によって特定されている他のビデオフレーム(例えば後続のビデオフレームなど)のためのDM動作に用いられる(第1のDMメタデータ識別子は、当該他のビデオフレームに対して第2のDMメタデータ識別子となる)。
【0084】
DMメタデータ送信パッケージは、DMメタデータパケットを保持している同じビデオフレームにおいて、送信されているDMメタデータがあるか否かを示すために用いられる、ヘッダーフィールドを保持していてもよい。他の情報(メタデータバージョン情報、メタデータタイプ情報、パケットタイプ情報などを含むがこれらに限定されない)が、DMメタデータ送信パケットの一部分として、例えばパケットのヘッダーに含まれていてもよい。いくつかの実施形態において、パケットタイプ情報は、このDMメタデータ送信パケットが、DMメタデータの1セット(全体)を保持している1個のパケットなのか、このパケットは、DMメタデータのセットを保持する複数のパケットのうちの1番目のパケットなのか、あるいはこのパケットは複数のパケットのうちの中間パケットなのか、それともこのパケットが複数のパケットのうちの最後のパケットなのかを示すために、用いられ得る。
【0085】
7.基準コード値およびDMデータのトンネル処理
いくつかの実施形態において、本明細書に記載のソースシステムは、基準コード値およびDMメタデータを、あるビデオ信号フォーマットに対応するビデオ信号に符号化し、当該ビデオ信号をその同じビデオ信号フォーマットで、受信側のシンクシステムなどに送信するように構成される。
【0086】
いくつかの実施形態において、本明細書に記載のソースシステムは、基準コード値およびDMメタデータを第1のビデオ信号フォーマットに対応する第1のビデオ信号に符号化し、第1のビデオ信号フォーマットの第1のビデオ信号の色チャンネル(例えば第1の色空間のコンポーネントなど)を、第2のビデオ信号フォーマットの第2のビデオ信号にマッピングし、第2のビデオ信号フォーマットの第2のビデオ信号を受信側のシンクシステムなどに送信するように構成される。
【0087】
図6Aに示すシステム構成例は、ソースシステム602および、ビデオ信号通信路606を介して、基準コード値およびDMメタデータが符号化された第1のビデオ信号フォーマットとは異なる第2のビデオ信号フォーマットのビデオ信号を通信する、シンクシステム604を備えている。いくつかの実施形態において、図6Aおよび図6Bのソースシステム(602)は、ソースシステム(100)と同一であるか、図1のソースシステム(100)の一部または全ての構成要素を実現していればよい。いくつかの実施形態において、図6Aおよび図6Bのシンクシステム(604)は、シンクシステム(200)と同一であるか、図2のシンクシステム(200)の一部または全ての構成要素を実現していればよい。
【0088】
例示として、第1のビデオ信号フォーマットは12ビットYCbCrビデオ信号フォーマットであり、第2のビデオ信号フォーマットは8ビットRGBビデオ信号フォーマットであり、ビデオ信号通信路(606)は、幅広く様々なメディアデバイスでサポートされたHDMIリンクであってもよい。いくつかの実施形態において、第1のビデオ信号フォーマットは、後世のデバイスにより実現されるものである。いくつかの実施形態において、第2のビデオ信号フォーマットは、幅広く様々な以前の(例えば旧式など)および/または後世のデバイスにより実現される。
【0089】
ソースシステム(602)は、基準コード値およびDMメタデータを第1のビデオ信号フォーマットのビデオ信号に符号化するように構成され得る。ある一例のケースにおいては、ソースシステム(602)は、基準コード値およびDMメタデータを第1のビデオ信号フォーマットのビデオ信号に符号化することをサポートしないようなソフトウェア、ファームウェア、ハードウェアなどの組み合わせとして、当初リリースされたものである。例えば、ソースシステム(602)は、画素値を第2のビデオ信号フォーマット(例えば8ビットRGBビデオフォーマットなど)のビデオ信号に符号化し、この第2のビデオ信号フォーマットのビデオ信号を(例えば8ビットHDMIリンクなどを介して)送信などするように、当初構成されていてもよい。後に、ソフトウェアアップデート、ファームウェアアップデートその他を受け取りインストールしたとき、ソースシステム(602)は、基準コード値およびDMメタデータを第1のビデオ信号フォーマットのビデオ信号に処理し符号化する能力を得る。
【0090】
シンクシステム(604)は、第1のビデオ信号フォーマットのビデオ信号から、基準コード値およびDMメタデータを復号化するように構成され得る。ある一例のケースにおいては、シンクシステム(604)は、第1のビデオ信号フォーマットのビデオ信号から基準コード値およびDMメタデータを復号化することをサポートしないようなソフトウェア、ファームウェア、ハードウェアなどの組み合わせとして、当初ユーザーにリリースされたものである。例えば、シンクシステム(604)は、第2のビデオ信号フォーマット(例えば8ビットHDMIリンクなどを介して)のビデオ信号を受け取り、第2のビデオ信号フォーマット(例えば8ビットRGBフォーマットなど)のビデオ信号から画素値を復号化などするように、当初構成されていてもよい。後に、ソフトウェアアップデート、ファームウェアアップデートその他を受け取りインストールしたとき、シンクシステム(604)は、第1のビデオ信号フォーマットのビデオ信号から基準コード値およびDMメタデータを復号化するように構成されることとなる。
【0091】
いくつかの実施形態においては、ソースシステム(602)およびシンクシステム(604)間の通信路は、第1のビデオ信号フォーマットで符号化されたビデオ信号の送信をサポートしない。これは、ソースシステム(602)、シンクシステム(604)、映像再生環境、ソースシステム(602)およびシンクシステム(604)間の通信路中の1つ以上の中間デバイスなどのうち1つ以上に関連した、ソフトウェア、ファームウェア、ハードウェアなどのうち1つ以上の有する、1つ以上の制約に起因し得る。
【0092】
代わりに、ソースシステム(602)およびシンクシステム(604)間の通信路は、第2のビデオ信号フォーマットのビデオ信号の送信をサポートしていてもよい。第2のビデオ信号フォーマットは、幅広く様々なセットトップボックス、タブレット型コンピュータ、ゲームコンソール、ディスプレイ装置などにおいてサポート(例えば通常一般的になど)されたビデオ信号フォーマットの任意の1つであってもよいが、これらに限定されない。
【0093】
本明細書に記載の技術は、第1のビデオ信号フォーマットで符号化された基準コード値およびDMメタデータを有するビデオ信号を、第1のビデオ信号とは異なるビデオ信号フォーマット(例えば第2のビデオ信号フォーマットなど)をサポートするビデオ信号通信路を介して、送信する方法を提供するために用いられ得る。これらの技術は、一般におよび/または広く実装されているHDMIインターフェースをサポートするために用いられることができ、その結果、タブレット、ゲームコンソール、セットトップボックスなどの幅広く様々なデバイスが、本明細書に記載の基準コード値およびDMメタデータを用いて高品質な表示動作を行うことを可能にし得る。
【0094】
例示目的のみとしてであるが、第1のビデオ信号フォーマットは、12ビットYCbCr 4:2:2(ビデオ信号)フォーマットであってもよく、一方第2のビデオ信号フォーマットは、8ビットRGB(ビデオ信号)フォーマットであってもよい。8ビットRGBフォーマットは、ソースシステム(602)における8ビットHDMI(例えば送信器など)インターフェース、シンクシステム(604)における8ビットHDMI(例えば受信器など)インターフェース、ソースシステム(602)およびシンクシステム(604)間のビデオ信号通信路(606)における通信をリレーする1つ以上の中間デバイス(AVRなど)を介して確立されたビデオ信号通信路(606)によってサポートされる。
【0095】
図7は、12ビットYCbCr 4:2:2フォーマット(本例における第1のビデオ信号フォーマット)で符号化された基準コード値およびDMメタデータを保持するために用いられ得る、8ビットRGBフォーマット(本例における第2のビデオ信号フォーマット)の一例を示している。
【0096】
いくつかの実施形態において、ソースシステム(602)はまず、第1のビデオ信号(702)中の基準コード値を、12ビットYCbCr 4:2:2フォーマットで符号化、格納、などする。色空間変換、マッピング、逆マッピング、量子化、逆量子化、ダウンサンプリング、アップサンプリングなどの動作の1つ以上を、基準コード値を12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)に符号化、格納などすることの一環として、行ってもよい。
【0097】
これに加えて、またはオプションとして、あるいは代替的に、いくつかの実施形態においては、ソースシステム(602)は、12ビットYCbCr 4:2:2フォーマットの同じ第1のビデオ信号(702)におけるDMメタデータを、基準コード値とともに符号化、格納などする。ソースシステム(602)は、DMメタデータをスクランブルし、スクランブルされたDMメタデータを、第1のビデオ信号(702)内の、クロマまたは色チャンネル画素値の最下位ビット値を保持するように指定された(例えばビデオ信号規格などにより)位置に格納するように構成されてもよい。本例において、基準コード値は、輝度に関連した基準コード値およびクロマに関連した基準コード値を含み得る。12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)の輝度チャンネルは、輝度に関連した基準コード値を格納してもよく、受信側のディスプレイ装置がこれらを、DMメタデータを用いて少なくとも部分的に構築された、マッピング関数、マッピング曲線などに基づき、装置固有の輝度値にマッピングすることができる。12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)のクロマチャンネルは、クロマに関連した基準コード値およびスクランブルされたDMメタデータを格納してもよい。スクランブルされたDMメタデータは、第1のビデオ信号(702)のクロマチャンネル中の、クロマまたは色チャンネル画素値の最下位ビット値を格納するように指定された(例えばビデオ信号規格などにより)位置に格納されてもよい。
【0098】
いくつかの実施形態において、ソースシステム(602)は、12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)を、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)にマッピングするように構成される。
【0099】
一実施形態例において、図7に示すように、12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)の各輝度チャンネル(例えば12ビットなど)サンプル(例えば「Y0」、「Y1」、「Y2」、「Y3」、「Y4」など)は、第1のサンプル部分(例えばビット3〜0など)と第2のサンプル部分(例えばビット11〜4など)とに分割されてもよい。第1のサンプル部分(例えばビット3〜0など)は、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)の青チャンネル(例えば「B」など)の第1の部分に格納され得る。第2のサンプル部分(例えばビット11〜4など)は、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)の緑チャンネル(例えば「G」など)に格納され得る。
【0100】
12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)の各(例えばサブサンプリングされたなどの)CBクロマチャンネルサンプル(例えば「CB0」、「CB2」、「CB4」など)もまた、第1のサンプル部分(例えばビット3〜0など)と第2のサンプル部分(例えばビット11〜4など)とに分割されてもよい。第1のサンプル部分(例えばビット3〜0など)は、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)の青チャンネル(例えば「B」など)の第2の部分に格納され得る。第2のサンプル部分(例えばビット11〜4など)は、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)の赤チャンネル(例えば「R」など)に格納され得る。
【0101】
同様に、12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)の各(例えばサブサンプリングされたなどの)CRクロマチャンネルサンプル(例えば「CR0」、「CR2」など)は、第1のサンプル部分(例えばビット3〜0など)と第2のサンプル部分(例えばビット11〜4など)とに分割されてもよい。第1のサンプル部分(例えばビット3〜0など)は、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)の青チャンネル(例えば「B」など)の第2の部分に格納され得る。第2のサンプル部分(例えばビット11〜4など)は、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)の赤チャンネル(例えば「R」など)に格納され得る。
【0102】
図7に示すように、CBサンプル(例えば「CB0」、「CB2」、「CB4」など)は、12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)と同様に、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)においてCRサンプル(例えば「CR0」、「CR2」など)でインターリーブされている。
【0103】
一実施形態例において、ソースシステム(602)は次に、ある送信モード(これを「トンネルモード」と呼んでもよい)において、12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)を、8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)として送信する。これとは対照的に、第1のビデオ信号(702)を8ビットRGB4:4:4フォーマットなどの別のビデオ信号フォーマットにマッピングせずに、12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)をソースシステムからシンクシステムへ送信することは、「ノーマルモード」とよばれ得る送信モードにおいて行われる。
【0104】
いくつかの実施形態において、ソースシステム(602)は、通信路(606)においてどちらの送信モードを用いているかをシンクシステム(604)に合図するように構成される。例えば、ソースシステム(602)は、広く実装されている規格準拠のメタデータ情報フレーム(例えばHDMI Auxiliary Video Information(AVI)InfoFrameなど)の1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)その他などを、特定の値(例えばY0=0,Y1=0など)にセットし得る。ソースシステム(602)は、規格準拠のメタデータ情報フレームを含む1つ以上のデータパケットを、シンクシステム(604)に送ることにより、通信路(606)がトンネルモードで動作中であることを合図し得る。
【0105】
いくつかの実施形態において、シンクシステム(604)は、どの送信モードが通信路(606)中であるかを検出するように構成される。例えば、シンクシステム(604)は、1つ以上のデータパケットを受け取り、その1つ以上のデータパケット中の、規格準拠のメタデータ情報フレーム(例えばHDMI AVI InfoFrameなど)の1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)その他を読み出すなどし得る。シンクシステム(604)は、規格準拠のメタデータ情報フレーム(例えばHDMI AVI InfoFrameなど)の1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)その他に特定の値(例えばY0=0,Y1=0など)があるか否かを決定することにより、通信路(606)がトンネルモードで動作中であるか否かを決定できる。
【0106】
いくつかの実施形態において、通信路(606)がトンネルモードで動作中であることを決定すると、シンクシステム(604)は、通信路(606)から受け取った8ビットRGB4:4:4フォーマットの第2のビデオ信号(704)を12ビットYCbCr 4:2:2フォーマットの第1のビデオ信号(702)にマッピングし戻し、12ビットYCbCr 4:2:2フォーマットから基準コード値およびDMメタデータを抽出するなどする。8ビットRGB4:4:4フォーマットから12ビットYCbCr 4:2:2フォーマットへのマッピングは、例えば、第1のビデオ信号(702)および第2のビデオ信号(704)に別々のフレームバッファを用い、8ビットRGB4:4:4フォーマットまたは12ビットYCbCr 4:2:2フォーマットなどの1つ以上中のバイトまたはビット位置を指す、1つ以上のデータポインタを用いて行ってもよい。
【0107】
いくつかの実施形態において、シンクシステム(604)は、DMメタデータを逆スクランブルし、(例えば逆スクランブルなどされた)DMメタデータなどに基づき、基準コード値に対してディスプレイマネジメント動作を行い得る。
【0108】
8.ソース・シンク間の明示的な信号送信の不在
いくつかの実施形態において、本明細書に記載のソースシステムおよびシンクシステムは1つ以上の(例えば規格準拠、独自、またはその他などの)ハンドシェークプロトコルを行って、ある通信路が、本明細書に記載の基準コード値およびDMメタデータで符号化されたビデオ信号を保持するものであるか否かを決定する。ソースシステムおよびシンクシステムは、最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などするために用いられ得るメタデータ送信メカニズム(例えば規格準拠のメタデータ送信メカニズム、独自の送信メカニズムなど)を用いて、1つ以上のハンドシェークプロトコルのプロトコルメッセージをやり取りし得る。例えば、シンクシステムは、メタデータ送信メカニズムを用いてシンクシステムからソースシステムに送られたベンダー固有のデータブロック(VSDB)を介して、本明細書に記載の基準コード値およびDMメタデータを処理する能力を自身が有しているものとして識別してもよい。一方、ソースシステムは、この通信路が、本明細書に記載の基準コード値およびDMメタデータを保持するべきものであると、メタデータ送信メカニズムを用いてソースシステムからシンクシステムに送られたベンダー固有の情報フレームまたはInfoFrame(VSIF)を介して、明示し得る。
【0109】
このようなメタデータ送信メカニズムは、すべての映像再生環境で利用可能ではない場合がある。例えば、ソースシステムおよびシンクシステム間のAVR(例えば旧式のデバイスなど)は、そのようなメタデータ送信メカニズムをサポートしていない場合がある。
【0110】
図6Bは、ソースシステム(例えば602など)およびシンクシステム(例えば604など)間の通信路(例えば606など)が、オーディオビデオレシーバー(AVR)などの1つ以上の第3のデバイス(例えば608など)を介してリレーされる、システム構成を示している。通信路(606)は、複数の通信リンク(例えば610−1、610−2など)を含む。ソースシステム(602)は、図1のメディアソースシステム(100)における構成要素の一部または全てを実現し得る。シンクシステム(604)は、図2のメディアシンクシステム(200)における構成要素の一部または全てを実現し得る。
【0111】
いくつかの実施形態において、ソースシステム(602)およびシンクシステム(604)間の通信をリレーする1つ以上の第3のデバイス(608)のうちの少なくとも1つは、最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などするために用いられ得るメタデータ送信メカニズム(例えば規格準拠のメタデータ送信メカニズム、独自の送信メカニズムなど)を、サポートしない。これは、通信路(606)中のAVRが、プロトコルパケット(例えばHDMI Vendor Specific InfoFrameパケットなど)を落とす場合や、ソースシステム(602)がフラグ(例えばHDMI Vendor Specific InfoFrameにおけるEDR_Validビットなど)の設定を許可しない場合などに該当する。
【0112】
いくつかの実施形態において、シンクシステム(604)は本明細書に記載の技術を実装することにより、ソースシステム(602)およびシンクシステム(604)が最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などすることを可能にするようなメタデータ送信メカニズムが、通信路(606)を介して利用可能であるか否かに関わらず、ソースシステム(602)から受け取った基準コード値およびDMデータに基づき特定のディスプレイマネジメント動作を実行する。いくつかの実施形態において、ソースシステム(602)は、本明細書に記載の技術を実装することにより、シンクシステムがソースシステム(602)から受け取った基準コード値およびDMデータに基づき特定の表示動作を実行することが可能か否かを検出する。
【0113】
いくつかの実施形態において、ソースシステム(602)が本明細書に記載の基準コード値およびDMメタデータを送り始めることを決定すると、ソースシステム(602)は、第1のビデオ信号フォーマット(例えば12ビットYCbCr 4:2:2フォーマットなど)に対応するフレームバッファ(例えば12ビットYCbCr 4:2:2 ビデオバッファなど)に、DMメタデータを埋め込む。いくつかの実施形態においては、ソースシステム(602)は、第1のビデオ信号フォーマットに対応するフレームバッファの内容が、第1のビデオ信号フォーマットの第1のビデオ信号としてシンクシステム(604)に移動されるノーマルモードで、フレームバッファの内容を送信する。いくつかの実施形態においては、ソースシステム(602)は、第1のビデオ信号フォーマットに対応するフレームバッファの内容が、第2のビデオ信号フォーマット(例えば8ビットRGB4:4:4フォーマットなど)にマッピングされるトンネルモードで、フレームバッファの内容を送信する。第2のビデオ信号フォーマットであるマッピング後の内容は、第2のビデオ信号フォーマットの第2のビデオ信号として、シンクシステム(604)に移動される。
【0114】
いくつかの実施形態において、ソースシステム(602)は、DMメタデータのビット値の一部または全部にわたって、1つ以上のCRC値(例えばCRC−32値など)を算出し、シンクシステム(604)に送信すべきDMメタデータをスクランブル(例えばクロマの最下位ビット値いくつか、あるいは色チャンネル画素値など)し、DMメタデータの一部としてあるいはDMメタデータとともに、CRC値をシンクシステム(604)へ送信するなどする。
【0115】
いくつかの実施形態において、シンクシステム(604)は、ビデオ信号が本明細書に記載の基準コード値およびDMメタデータを保持しているか否かを決定するために、例えばHDMI受信器インターフェースに対してレディ状態に設定される。
【0116】
いくつかの実施形態において、シンクシステム(604)は、通信路(606)がトンネルモードで動作中であるか否かを決定する。例えば、シンクシステム(604)は、(例えば規格準拠のなど)メタデータ情報フレーム(例えばHDMI AVI InfoFrameなど)において、1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)などに特定の値(例えばY0=0,Y1=0など)が存在するか否かを決定する。もし存在するならば、シンクシステム(604)は、通信路(606)がトンネルモードで動作中であると決定し、このトンネルモードにおいて、ソースシステム(602)は、可能性として(例えばCRC値に基づくさらなる検査を待っている間など)基準コード値およびDMメタデータを12ビットYCbCr 4:2:2フォーマットなどの第1のビデオ信号フォーマットにある第1のビデオ信号として格納し、第1のビデオ信号を8ビットRGB4:4:4フォーマットなどの第2のビデオ信号にマッピングし、通信路(606)を介して第2のビデオ信号をシンクシステム(604)へ送信するなどし得る。
【0117】
一方、もし特定の値(例えばY0=0,Y1=0など)が1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)などに存在しないと決定された場合、シンクシステム(604)は、通信路(606)がノーマルモードで動作中であると決定し、このノーマルモードにおいて、ソースシステム(602)は、可能性として(例えばCRC値に基づくさらなる検査を待っている間など)基準コード値およびDMメタデータ12ビットYCbCr 4:2:2フォーマットなどの第1のビデオ信号フォーマットの第1のビデオ信号として格納し、第1のビデオ信号を通信路(606)を介してシンクシステム(604)へ送信などし得る。
【0118】
いくつかの実施形態において、シンクシステム(604)は、通信路(606)が動作しているモード(例えばノーマルモード、トンネルモードなど)に対応する、抽出モードを設定する。通信路(606)のノーマルモードに対応する第1の抽出モードにおいて、シンクシステム(604)は、第1のビデオ信号フォーマットに基づいて、可能性として基準コード値を表している第1のデータ部分および可能性としてDMメタデータを表している第2のデータ部分を、通信路(606)中のビデオ信号から抽出するように構成される。通信路(606)のトンネルモードに対応する第2の抽出モードにおいて、シンクシステム(604)は、通信路(606)中の第2のビデオ信号フォーマットのビデオ信号をマッピング後の第1のビデオ信号フォーマットのビデオ信号(例えばフレームバッファなどを用いる)にマッピングし、第1のビデオ信号フォーマットに基づいて、マッピング後のビデオ信号から可能性として基準コード値を表している第1のデータ部分および可能性としてDMメタデータを表している第2のデータ部分を抽出などするように構成される。
【0119】
いくつかの実施形態において、シンクシステム(602)は、第2のデータ部分のビット値の一部または全部にわたって、受け取ったビデオ信号から逆スクランブルされたDMメタデータを可能性として表す1つ以上のCRC値(例えばCRC−32値など)を算出し、受け取ったビデオ信号などから、1つ以上の可能なソースCRC値を抽出する。1つ以上の可能なソースCRC値は可能性として(例えば、可能なソースCRC値が算出されたCRC値と合致するか否かなどに基づきCRC値に基づくさらなる検査を待っている間など)、ソースシステム(602)により算出されたCRC値であり、DMメタデータの一部としてあるいはDMメタデータとともに提供されるなどしてもよい。
【0120】
いくつかの実施形態において、シンクシステムは、例えば、シンクシステムによって算出された1つ以上のCRC値が、受け取ったビデオ信号から抽出された可能なCRC値の1つ以上と合致するか否かを決定することにより、CRCテストを実行する。もしシンクシステムによって算出された1つ以上のCRC値が受け取ったビデオ信号から抽出された可能なCRC値の1つ以上と合致しないと判断されれば、CRCテストは不合格である。逆にシンクシステムによって算出された1つ以上のCRC値が受け取ったビデオ信号から抽出された可能なCRC値の1つ以上と合致すると判断されれば、CRCテストは合格である。
【0121】
CRCテストが不合格であると、シンクシステム(604)は、ソースシステム(602)から受け取ったビデオ信号が本明細書に記載の基準コード値およびDMメタデータを保持していないと判断し、シンクシステム(604)が本明細書に記載の基準コード値およびDMメタデータに関してディスプレイマネジメント動作を行うような特定の動作モード(例えばERR動作モードなど)に移らない。
【0122】
一方、CRCテストが合格であると、シンクシステム(604)は、ソースシステム(602)から受け取ったビデオ信号が本明細書に記載の基準コード値およびDMメタデータを保持すると判断し、シンクシステム(604)が、本明細書に記載の基準コード値およびDMメタデータに関してディスプレイマネジメント動作を行う特定の動作モードに移る。
【0123】
いくつかの実施形態において、シンクシステム(604)は、CRCテストが合格し続けるかぎり、特定の動作モードのままであり続ける。いくつかの実施形態において、シンクシステム(604)は、(例えば連続する)CRCテスト不合格の総数があるしきい値(例えば12、18、24、30個などの連続するビデオフレームについてCRCテストが不合格であるなど)を超えると、特定の動作モードをやめる。
【0124】
いくつかの実施形態において、シンクシステム(604)は、ハンドシェークプロトコル的方法(例えばHDMI VSIFなどに基づく)を実施することに加えて、受け取ったビデオ信号が本明細書に記載の基準コード値およびDMメタデータを保持するか否かを決定するために、上述のCRCテスト的方法を実施する。これらの方法のうち1つが他の方法の1つよりも優先される場合がある。いくつかの実施形態において、CRCテスト的方法はハンドシェークプロトコル的方法より優先される。いくつかの実施形態において、ハンドシェークプロトコル的方法はCRCテスト的方法より優先される。
【0125】
9.EDR動作のためにソースを構成
いくつかの実施形態において、シンクシステム(604)からのHDMI Vendor Specific Data Block(VSDB)送信は、ソースシステム(例えば602など)側には検出し得ない場合もある。これに加えて、またはオプションとして、あるいは代替的に、ソースシステム(602)は、本明細書に記載の基準コード値およびDMメタデータに基づいた特定のディスプレイマネジメント動作を行うことのサポートを示す、あるメタデータパケットまたはブロック中の1つ以上のビット(例えばシンクシステムから送られたHDMI Vendor Specific Data Block中のsupport_EDRビットなど)のポーリングを可能にするようには構成されない場合もある。
【0126】
通信路(例えば606)を介してソースシステムに接続されたシンクシステム(例えば604など)が、基準コード値およびDMメタデータに関連した特定の表示動作を実行することを可能にされたデバイスであるかを決定するために、本明細書に記載の技術はソースシステム(例えば602など)に実装され得る。これは、ソースシステムおよびシンクシステムが動作する特定の映像再生環境において、ソースシステムおよびシンクシステムが最初のホットプラグ信号において能力情報を交換し、相互にサポートされているビデオフレームおよび/またはビデオタイミングを選択などすることを可能にするようなメタデータ送信メカニズムが、利用可能であるか否かに関わらない。
【0127】
いくつかの実施形態において、ソースシステム(602)は、フレームバッファ、データ格納部、メモリ空間の一部などに、12ビットYCbCr 4:2:2フォーマットなどの第1のビデオ信号フォーマットで、特定の画像パターン(例えば1つ以上の画像、画像の時間的シーケンス、静止画など)を格納する。
【0128】
いくつかの実施形態において、ソースシステム(602)は、第1のビデオ信号フォーマットのあるビット位置(例えば第1のビデオ信号フォーマットのビデオフレームにおけるクロマサンプルのいくつかのLSB位置など)にDMメタデータをスクランブルする。
【0129】
いくつかの実施形態において、ソースシステム(602)EDRソースは、特定の画像パターン(からDMメタデータを格納するために使用されるビット位置の特定のビット値を引いたもの)およびDMメタデータを、8ビットRGB4:4:4フォーマットなどの第2のビデオ信号フォーマットの画像格納部(例えばフレームバッファなど)にパックする。
【0130】
いくつかの実施形態において、ソースシステム(602)は、(例えば規格準拠のなど)メタデータ情報フレーム(例えばHDMI AVI InfoFrameなど)における1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)などを、1つ以上の特定の値(例えばY0=0,Y1=0など)に設定することにより、第2のビデオ信号フォーマットのビデオ信号が通信路(606)を介して送られていることを示す。
【0131】
本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を行うことが可能であれば、シンクシステム(604)は、(例えば規格準拠のなど)メタデータ情報フレーム(例えばHDMI AVI InfoFrameなど)における1つ以上のインジケータ、1つ以上のフラグ、データフィールド(例えばY0,Y1など)など中に1つ以上の特定の値が検出されたことに少なくとも部分的に基づき、受け取った第2のビデオ信号フォーマットのビデオ信号が、予めマッピング済みの第1のビデオ信号フォーマットのビデオ信号を保持していると判断または理解するように構成されてもよい。
【0132】
シンクシステム(604)は、そのDMメタデータ抽出動作において、CRCテストを引き続き行い得る。さらに、シンクシステム(604)は、基準コード値を抽出し、基準コード値およびDMメタデータを用いて特定のディスプレイマネジメント動作を実行し得る。特定のディスプレイマネジメント動作から得られた装置固有の画素値をシンクシステム(604)が用いて、シンクシステム(604)の一部であるか、あるいはシンクシステム(604)と動作可能にリンクされたディスプレイ上で想定されるように、特定の画像パターンを描画/表示してもよい。
【0133】
ただし、本明細書に記載の技術を実装しないシンクシステム(例えば旧式のディスプレイなど)は、受け取った第2のビデオ信号フォーマットのビデオ信号が第2のビデオ信号フォーマット(例えば8ビットRGB4:4:4フォーマットなど)の画素値(例えばRGB画素値など)を保持していると理解し、これに従い受け取ったビデオ信号を復号化することになる。したがって、そのようなシンクシステムによって描画された画像は、前記特定の画像パターンあるいは本明細書に記載の技術を実装するシンクシステムによって描画された画像に比較して、有意な色歪みを示す。
【0134】
いくつかの実施形態において、ソースシステム(602)は、ユーザーからの入力と対話しこれを受け取る1つ以上の(例えばover−the−topあるいはOTT、セットトップなど)を有するように構成される。ソースシステム(602)は、色歪みの無い画像パターンが見えるかどうかを、ユーザー(例えば特定の画像パターン上のテキストメッセージなどで)に確認することができる。
【0135】
ソースシステム(602)は、ユーザーが色歪みの無い画像パターンを見ているかを示す、ユーザーからのユーザー入力を受け取る(例えばリモートデバイスまたはソースシステム(602)上のボタンを押すことなどにより)。
【0136】
ユーザーに色歪みの無い画像パターンが見えることの指標(ユーザー入力から決定される)を受け取ると、ソースシステム(602)は、通信路(606)に接続されたシンクシステム(604)が、本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を行うことが可能であると判断する。したがってソースシステム(602)はこれに従い、ゼロ個、1つ、またはそれ以上のメディアプログラム(例えば本明細書に記載の基準コード値およびDMメタデータなどによって表される)をシンクシステム(604)に送信することに移行する。
【0137】
ユーザーに色歪みの無い画像パターンが見えないことの指標(ユーザー入力から決定される)を受け取ると、ソースシステム(602)は、通信路(606)に接続されたシンクシステム(604)が、本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を行う能力を有していないと判断し、これに従い、ゼロ個、1つ、またはそれ以上のメディアプログラム(例えば本明細書に記載の基準コード値およびDMメタデータ以外の画素値、SDR画素値、RGB画素値などにより表される)をシンクシステム(604)に送信することに移行、あるいは切り替える。
【0138】
いくつかの実施形態において、シンクシステムが本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を実行可能であるかどうかを示すメタデータ情報フレーム(例えばHDMI Vendor Specific Data Blockなど)を受け取ったり、そこから特定のビットをポーリングすることをサポートしないソースシステムにおいて、このEDRシンクシステム検出方法は実装される。いくつかの実施形態において、シンクシステムが本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を実行可能であるかどうかを示すメタデータ情報フレーム(例えばHDMI Vendor Specific Data Blockなど)を受け取ったり、そこから特定のビットをポーリングすることをサポートするソースシステムにおいて、このEDRシンクシステム検出方法は実装される。これらの実施形態において、メタデータ情報フレームの特定のビットをポーリングする方法はHDMI VSDBに優先し得、ユーザー入力に部分的に基づくEDRシンクシステム検出方法に優先して実装される。いくつかの実施形態において、ポーリング法は、ソースシステムおよびシンクシステムの一方または両方が、メタデータ情報フレーム中のこれらのビットをポーリングすることが可能であるか如何によらず、ある種の再生環境では、1つ以上の制約が存在し得るために可能でない場合がある。すなわち、ソースシステムおよびシンクシステム間での、メタデータ情報フレームに基づいたEDR能力決定のエンドツーエンドの信号合図をサポートしないような1つ以上の旧式の中間デバイス(例えば旧式のAVRなど)などである。
【0139】
信号合図のために選ばれる特定の画像パターンは、視覚的差異が明確に見て取れる限り、まったく任意であり得る。例えば、特定の画像パターンを、YCbCr色空間中のグレーフレーム(grey frame)によって表し得る。例えば図7に従い12ビットYCbCr色空間から8ビットRGBフォーマットにマッピングされたそのようなグレーフレームは、RGB空間にグレーフレームを生成せず、むしろ何らかの色を生む。したがって、テキストメッセージ(例えば白黒の)を特定の画像パターン中に用いて、そのテキストメッセージの周囲の画素において、グレー以外の「何らかの」色をユーザーが見えるかどうかを訊けばよい。もしユーザーが「No」と答えれば、特定の画像パターンは、本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を実行することが可能なシンクシステムにより、正確に検出されている。そうでなければ、シンクシステムは、本明細書に記載の基準コード値およびDMメタデータを用いた特定のディスプレイマネジメント動作を実行する能力を有していない、旧式のデバイスである。
【0140】
10.処理フロー例
図4Aおよび図4Bに、処理フロー例を示す。いくつかの実施形態において、1つ以上のコンピューティングデバイスまたはユニット(例えば図1のメディアソースシステム100、図2のメディアシンクシステム200など)が、処理フローを実行し得る。
【0141】
ブロック402において、メディアソースシステム(例えば図1の100など)が、a)基準コード値および(b)1つ以上のマッピング関数のための複数のマッピング関数パラメータを含むソースビデオ信号を受け取る。この複数のマッピング関数パラメータを有する1つ以上のマッピング関数を用いて、基準コード値を、ある映像描画装置に対して特異的な、マッピング後の画素値にマッピングし得る。
【0142】
ブロック404において、メディアソースシステム(100)は、基準コード値および複数のマッピング関数パラメータを、1つ以上のビデオフレーム中の複数の画素に合成する。ここで、複数の画素は、映像描画装置への映像リンクを規定する1つ以上の映像リンク規格によって、画素値のみを保持するように特に指定されている。
【0143】
ブロック404において、メディアソースシステム(100)は、映像リンクを介して、映像描画装置に、前記基準コード値および複数のマッピング関数パラメータを有する1つ以上のビデオフレームを送る。
【0144】
一実施形態例において、メディアソースシステム(100)は、前記1つ以上のマッピング関数に関連するマッピング動作を、映像描画装置が実行することが可能であることを決定するように構成される。
【0145】
ブロック452において、メディアシンクシステム(例えば図2の200など)が、映像リンクを介して受け取った符号化ビデオ信号(例えば図2の112など)を、1つ以上のビデオフレームに復号化する。前記1つ以上のビデオフレームは、(a)基準コード値および(b)1つ以上のマッピング関数のための複数のマッピング関数パラメータを格納する、複数の画素を有する。前記複数の画素は、映像リンクを規定する1つ以上の映像リンク規格によって、画素値のみを保持するように特に指定されている。
【0146】
ブロック454において、メディアシンクシステム(200)は、前記1つ以上のビデオフレームの複数の画素から、前記基準コード値および複数のマッピング関数パラメータを抽出する。
【0147】
ブロック456において、メディアシンクシステム(200)は、前記複数のマッピング関数パラメータを有する1つ以上のマッピング関数を適用することにより、基準コード値をマッピング後の画素値にマッピングする。
【0148】
一実施形態例において、メディアシンクシステム(200)はさらに、あるビデオシンクシステムが前記1つ以上のマッピング関数に関連するマッピング動作を実行することが可能であることを示すように構成される。ここで前記方法は、前記ビデオシンクシステムによって実行される。
【0149】
一実施形態例において、前記映像リンクは、High−Definition Multimedia Interface(HDMI)リンク、V−by−One−HS(Vx1)リンク、Low−Voltage Differential Signaling(LVDS)リンク、High Definition Serial Digital Interface(HD−SDI)リンクなどのうち1つである。
【0150】
一実施形態例において、前記複数のマッピング関数パラメータおよび基準コード値は、前記1つ以上のビデオフレームのうち同一のビデオフレーム内にある。
【0151】
一実施形態例において、前記1つ以上のビデオフレームは、ビデオフレームの時間的シーケンスの一部を表しており、前記複数のマッピング関数パラメータは、前記1つ以上のビデオフレームのうち第1のビデオフレーム内にあり、前記基準コード値は、前記時間的シーケンス中の前記第1のビデオフレームの前である第2のビデオフレーム内にある。
【0152】
一実施形態例において、前記複数のマッピング関数パラメータは、前記複数の画素のビットフィールドのうち複数の最下位ビットフィールドに格納される。
【0153】
一実施形態例において、前記複数のマッピング関数パラメータは、前記複数の画素内の複数のビットフィールドに格納されており、前記複数の画素内の前記複数のビットフィールド以外のビットフィールドは、ある色空間のチャンネルの組のうち各チャンネルについてのコンポーネント基準コード値を保持しており、複数のビットフィールドは、映像リンクを規定する映像リンク規格によって、前記色空間のチャンネルの組のうち適切なチャンネルの部分集合のためのコンポーネント画素値に対して本来指定されている。
【0154】
一実施形態例において、前記色空間のチャンネルの組は、少なくとも1つのクロマコンポーネントを含み、前記適切なチャンネルの部分集合は、前記色空間のチャンネルの組における前記少なくとも1つのクロマコンポーネントを包含する。
【0155】
一実施形態例において、前記色空間は、RGB色空間またはYCbCr色空間のうち1つである。
【0156】
一実施形態例において、ソースビデオ信号は、映像コンテンツのみか、または音声コンテンツ映像コンテンツの両方のうち一方を含むソースメディアデータ中にある。メディアデータは、無線(over−the−air)放送信号、ケーブル放送信号、衛星放送信号、メディアデータビットストリーム、メディアデータファイルなどのうち1つとして受け取られ得る。
【0157】
一実施形態例において、前記1つ以上のビデオフレームは1シーンを形成する。
【0158】
一実施形態例において、前記1つ以上のビデオフレームは、4−4−4サンプリングフォーマット、4−2−2サンプリングフォーマット、4−2−0サンプリングフォーマットなどのうち1つである。
【0159】
一実施形態例において、前記複数のマッピング関数パラメータのうち1つ以上のマッピング関数パラメータが、前記1つ以上のビデオフレームにおいて繰り返される。
【0160】
一実施形態例において、前記複数のマッピング関数パラメータは、映像描画装置に対し、DMメタデータ送信パケットのペイロード中において、前記DMメタデータ送信パケットのビット値のうち一部から算出された1つ以上の巡回冗長検査(CRC)値とともに送られる。
【0161】
一実施形態例において、前記1つ以上のビデオフレームのうち1つのビデオフレームは、前記1つ以上のマッピング関数に関連するマッピング動作を同じ前記ビデオフレームに対して行うために用いられる、前記複数のマッピング関数パラメータを保持する。
【0162】
一実施形態例において、前記1つ以上のビデオフレームのうち1つのビデオフレームは、前記複数のマッピング関数パラメータを保持せず、ここで前記ビデオフレームは、以前に受け取った前記複数のマッピング関数パラメータが、前記1つ以上のマッピング関数に関連するマッピング動作を同じ前記ビデオフレームに対して行うために用いられるべきことを示すフラグを表す値を含む。
【0163】
一実施形態例において、前記1つ以上のマッピング関数に関連するマッピング動作は、トーンマッピング動作、色域マッピング動作などのうち1つ以上を包含する。
【0164】
一実施形態例において、前記複数の画素内の、前記複数のマッピング関数パラメータを格納する複数のビットフィールドは、スクランブルされている。
【0165】
一実施形態例において、複数の画素はさらなる非画素値を保持しており、前記非画素値は、前記複数のマッピング関数パラメータに関連するマッピング動作以外のディスプレイマネジメント動作のための、1つ以上の動作パラメータを格納する。
【0166】
図8Aから図8Dにさらなる処理フロー例を示す。いくつかの実施形態において、1つ以上のコンピューティングデバイスまたはユニット(例えば図1のメディアソースシステム100、図2のメディアシンクシステム200、図6Aまたは図6Bのソースシステム602、図6Aまたは図6Bのシンクシステム604など)が、処理フローを実行し得る。
【0167】
図8Aは、本明細書に記載の基準コード値およびDMデータを保持するために用いられるビデオ信号フォーマットを、特定の再生環境においてサポートされる別のビデオ信号フォーマットで送信する処理フロー例を示す。ブロック802において、ソースシステム(例えば図6Aまたは図6Bの602など)は、(a)基準コード値および(b)1つ以上のマッピング関数のための複数のマッピング関数パラメータを含むソースビデオ信号を受け取る。前記複数のマッピング関数パラメータを有する1つ以上のマッピング関数は、前記基準コード値を装置固有の画素値にマッピングするために用いられ得る。
【0168】
ブロック804において、ソースシステム(602)は、基準コード値の1つ以上の部分と前記複数のマッピング関数パラメータとを、第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームに合成する。
【0169】
ブロック806において、ソースシステム(602)は、第2のビデオ信号フォーマットである1つ以上の第2のビデオフレームを、前記第1のビデオ信号フォーマットである前記1つ以上の第1のビデオフレームおよび、前記第1のビデオ信号フォーマットと前記第2のビデオフォーマットとの間のマッピングに基づいて生成する。
【0170】
ブロック808において、ソースシステム(602)は、前記1つ以上の第2のビデオフレームを、前記映像リンクを介してビデオシンクデバイスに送る。
【0171】
一実施形態例において、前記第1のビデオ信号フォーマットは12ビットYCbCrフォーマットを表しており、前記第2のビデオ信号フォーマットは8ビットRGBフォーマットを表している。
【0172】
一実施形態例において、ソースシステム(602)はさらに、メタデータ情報フレームを、前記第1のビデオ信号フォーマットである元々の(underlying)ビデオ信号が前記第2のビデオ信号フォーマットの前記符号化ビデオ信号中に保持されていることを示すデータとともに送信するように構成される。
【0173】
一実施形態例において、ソースシステム(602)はさらに、前記1つ以上の第1のビデオフレーム中の前記DMメタデータの1つ以上の部分のビット値にわたって1つ以上の巡回冗長検査(CRC)値を算出することと、前記1つ以上の第1のビデオフレーム中の前記1つ以上のCRC値とともに、前記DMメタデータを送信することを行うように構成される。
【0174】
一実施形態例において、ソースシステム(602)はさらに、前記ビデオシンクデバイスが前記1つ以上のマッピング関数に関連するマッピング動作を実行することが可能であることを決定するように構成される。
【0175】
一実施形態例において、映像リンクは、High−Definition Multimedia Interface(HDMI)リンク、V−by−One−HS(Vx1)リンク、Low−Voltage Differential Signaling(LVDS)リンク、High Definition Serial Digital Interface(HD−SDI)リンクなどのうち1つである。
【0176】
一実施形態例において、前記複数のマッピング関数パラメータは、前記1つ以上の第1のビデオフレームの複数の最下位ビットフィールドに格納される。一実施形態例において、前記複数のマッピング関数パラメータのうち1つ以上のマッピング関数パラメータが、前記1つ以上の第1のビデオフレームにおいて繰り返される。
【0177】
一実施形態例において、前記1つ以上の第1のビデオフレームは1シーンを形成する。一実施形態例において、前記1つ以上のビデオフレームのうち1つのビデオフレームは、前記1つ以上のマッピング関数に関連するマッピング動作を同じ前記ビデオフレームに対して行うために用いられる、前記複数のマッピング関数パラメータを保持する。一実施形態例において、前記1つ以上の第1のビデオフレームのうちの1つの第1のビデオフレームは、前記複数のマッピング関数パラメータを保持せず、前記第1のビデオフレームは、以前に受け取った前記複数のマッピング関数パラメータが、前記1つ以上のマッピング関数に関連するマッピング動作を同じ第1のビデオフレームに行うために用いられるべきであることを示すフラグを表す値を含む。
【0178】
一実施形態例において、前記1つ以上のマッピング関数に関連するマッピング動作は、トーンマッピング動作または色域マッピング動作のうち1つ以上を包含する。一実施形態例において、前記1つ以上の第1のビデオフレームにおける、前記複数のマッピング関数パラメータを格納する複数のビットフィールドは、スクランブルされている。一実施形態例において、前記1つ以上の第1のビデオフレームは、前記マッピング以外のディスプレイマネジメント動作のための、1つ以上のパラメータをさらに保持している。
【0179】
図8Bは、別のビデオ信号フォーマットのビデオ信号をトンネル処理するために用いられるビデオ信号フォーマットを復号化する処理フロー例を示しており、ここで、特定の再生環境における本明細書に記載の基準コード値およびDMデータは、まず他方のビデオ信号フォーマットで符号化される。ブロック822において、シンクシステム(例えば図6Aまたは図6Bの604など)は、映像リンクを介して符号化ビデオ信号を受け取る。ここで、基準コード値の1つ以上の部分および複数のマッピング関数パラメータを、第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームに合成してもよい。前記符号化ビデオ信号は、第2のビデオ信号フォーマットである1つ以上の第2のビデオフレームを有する。前記1つ以上の第2のビデオフレームは、前記第1のビデオ信号フォーマットである前記1つ以上の第1のビデオフレームおよび、前記第1のビデオ信号フォーマットと前記第2のビデオフォーマットとの間のマッピングに基づいて生成される。
【0180】
ブロック824において、シンクシステム(604)は、前記第2のビデオ信号フォーマットである前記1つ以上の第2のビデオフレームを、前記符号化ビデオ信号から抽出する。
【0181】
ブロック826において、シンクシステム(604)は、前記基準コード値の1つ以上の部分および前記複数のマッピング関数パラメータを、前記1つ以上の第1のビデオフレームおよび、前記第1のビデオ信号フォーマットと前記第2のビデオフォーマットとの間のマッピングに基づいて抽出する。
【0182】
ブロック828において、シンクシステム(604)は、前記複数のマッピング関数パラメータを有する1つ以上のマッピング関数を適用することにより、前記基準コード値の1つ以上の部分をマッピング後の画素値にマッピングする。
【0183】
一実施形態例において、シンクシステム(604)はさらに、メタデータ情報フレームを、前記第1のビデオ信号フォーマットである元々のビデオ信号が前記第2のビデオ信号フォーマットの前記符号化ビデオ信号中に保持されていることを示すデータとともに受け取るように構成される。
【0184】
一実施形態例において、シンクシステム(604)はさらに、前記基準コード値の1つ以上の部分および前記複数のマッピング関数パラメータに基づいて構築された、1つ以上の画像を描画するように構成される。
【0185】
図8Cは、別のビデオ信号フォーマットのビデオ信号をトンネル処理するために用いられるビデオ信号フォーマットの存在を決定する処理フロー例を示しており、ここで、特定の再生環境における本明細書に記載の基準コード値およびDMデータは、まず他方のビデオ信号フォーマットで符号化される。ブロック842において、シンクシステム(例えば図6Aまたは図6Bの604など)は、符号化ビデオ信号中に符号化された1つ以上のビデオフレームから、特定のデータ部分を抽出する。符号化ビデオ信号は、シンクシステム(604)のビデオ受信器インターフェースから受け取られる。
【0186】
ブロック844において、シンクシステム(604)は、前記符号化ビデオ信号から抽出された前記特定のデータ部分に対し、CRCテストを行う。
【0187】
ブロック846において、前記符号化ビデオ信号から抽出された前記特定のデータ部分に対するCRCテストが合格すると、シンクシステム(604)は、ビデオシンクシステムを、前記符号化ビデオ信号から抽出された前記特定のデータ部分に保持される複数のマッピング関数パラメータに少なくとも部分的に基づき、前記符号化ビデオ信号から抽出された複数の基準コード値を、装置固有の画素値にマッピングする特定の動作モードに、設定する。
【0188】
一実施形態例において、シンクシステム(604)はさらに、前記1つ以上の第1のビデオフレームから、ソースデバイスにより算出された1つ以上の巡回冗長検査(CRC)値を抽出し、前記1つ以上の第1のビデオフレームの1つ以上の特定の部分のビット値にわたって、1つ以上のCRC値を算出し、前記1つ以上のCRC値を、前記ソースデバイスにより算出された1つ以上のCRC値に対し比較することを行うように構成される。
【0189】
一実施形態例において、シンクシステム(604)はさらに、前記符号化ビデオ信号から抽出された特定のデータ部分に対する前記CRCテストがある明示された回数不合格であると、前記ビデオシンクシステムを、基準コード値から装置固有の画素値へのマッピングを前記ビデオシンクシステムが行わない第2の特定の動作モードに設定するように構成される。
【0190】
一実施形態例において、前記ビデオシンクシステムは、メタデータ情報フレームを、基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータを前記符号化ビデオ信号が含んでいることを示すデータとともに、受け取らないようにされる。
【0191】
一実施形態例において、前記符号化ビデオ信号は第1のビデオ信号フォーマットであり、かつ基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータが符号化された、前記第1のビデオ信号フォーマットのビデオフレームを含む。
【0192】
一実施形態例において、前記符号化ビデオ信号はあるビデオ信号フォーマットのビデオフレームを含み、前記ビデオ信号フォーマットのビデオフレームに、前記ビデオ信号フォーマットと異なる第1のビデオ信号フォーマットの第1のビデオフレームがマッピングされ、基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータが、前記第1のビデオフレーム中に符号化される。
【0193】
図8Dは、シンクシステムが、特定の再生環境において、本明細書に記載の基準コード値およびDMデータに基づくディスプレイマネジメント動作を行うことが可能かどうかを決定する、処理フロー例を示す。ブロック862において、ソースシステム(例えば図6Aまたは図6Bの602など)は、複数の基準コード値および複数のマッピング関数パラメータを、第1のビデオ信号フォーマットである1つ以上の第1のビデオフレームに合成する。前記複数の基準コード値は、特定の画像パターンを表す。複数のマッピング関数パラメータは、前記複数の基準コード値を複数の装置固有の画素値にマッピングするための1つ以上のマッピング関数に関する。
【0194】
ブロック864において、ソースシステム(602)は、第2のビデオ信号フォーマットである1つ以上の第2のビデオフレームを、前記第1のビデオ信号フォーマットである前記1つ以上の第1のビデオフレームおよび、前記第1のビデオ信号フォーマットと前記第2のビデオフォーマットとの間のマッピングに基づいて生成する。
【0195】
ブロック866において、ソースシステム(602)は、前記1つ以上の第2のビデオフレームを、映像リンクを介してビデオシンクシステムに送る。
【0196】
ブロック868において、色歪みの無い前記特定の画像パターンが前記ビデオシンクシステムによって表示されていることを示すユーザー入力を受け取ると、ソースシステム(602)は、前記ビデオソースシステムが前記ビデオシンクシステムに、基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータが符号化されたさらなるビデオフレームを送る特定の動作モードであって、前記さらなるビデオフレーム中の前記基準コード値は、1つ以上のメディアプログラムの映像コンテンツの少なくとも一部を表している特定の動作モードに、ビデオソースシステムを設定する。
【0197】
一実施形態例において、前記特定の画像パターンは、前記ビデオシンクシステムに格納されたグレースケール画像パターンである。
【0198】
一実施形態例において、ソースシステム(602)はさらに、色歪みのある前記特定の画像パターンが前記ビデオシンクシステムによって表示されていることを示すユーザー入力を受け取ると、ビデオソースシステムを、前記ビデオソースシステムが前記ビデオシンクシステムに、基準コード値および前記基準コード値を装置固有の画素値にマッピングするために用いられるマッピング関数パラメータ無しにさらなるビデオフレームを送る第2の特定の動作モードに、設定するように構成される。
【0199】
実施形態は、本明細書に記載の方法のうち任意の1つを実行するように構成されたメディア処理システムを含む。
【0200】
実施形態は、プロセッサを備え、前記方法のうち任意の1つを実行するように構成された装置を含む。
【0201】
実施形態は、1つ以上のプロセッサによって実行されたとき前記方法のうち任意の1つを実行させる、ソフトウェア命令を格納した、非一時的なコンピュータ読み取り可能な記憶媒体を含む。
【0202】
別個の実施形態について述べたが、本明細書において述べた実施形態および/または部分的な実施形態の任意の組み合わせを結合して、さらなる実施形態を構成することができることに留意されたい。
【0203】
11.実装メカニズム−ハードウェア概要
一実施形態において、本明細書に記載の技術は、1つ以上の専用コンピューティングデバイスにより実現される。専用コンピューティングデバイスは、上記技術を実行するようにハードワイヤードされていてもよく、あるいは上記技術を行うように永続的にプログラムされた1つ以上の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)などのデジタル電子機器を含んでもよく、あるいはファームウェア、メモリ、その他の記憶装置、または組み合わせ中のプログラム命令にしたがって上記技術を実行するようにプログラムされた、1つ以上の汎用ハードウェアプロセッサを含んでもよい。そのような専用コンピューティングデバイスはまた、上記技術を達成するためのカスタムプログラミングを有するカスタムのハードワイヤード論理回路、ASIC、またはFPGAを組み合わせていてもよい。専用コンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド型デバイス、ネットワーキングデバイスまたは、上記技術を実現するためのハードワイヤードおよび/またはプログラム論理回路を備えた他の任意のデバイスであってもよい。
【0204】
例えば、図5は、本発明の一実施形態を実装し得るコンピュータシステム500を示すブロック図である。コンピュータシステム500は、情報を通信するためのバス502その他の通信メカニズムおよび、情報を処理するためにバス502に結合されたハードウェアプロセッサ504を有する。ハードウェアプロセッサ504は例えば、汎用マイクロプロセッサであってもよい。
【0205】
コンピュータシステム500はまた、バス502に結合されておりプロセッサ504によって実行される命令および情報を格納する、ランダムアクセスメモリ(RAM)またはその他のダイナミック記憶装置などのメインメモリ506を有する。メインメモリ506はまた、プロセッサ504によって実行されるべき命令の実行中において、一時変数またはその他の中間情報を格納するためにも用いられ得る。そのような命令は、プロセッサ504によりアクセス可能な非一時的な記憶媒体に格納されたとき、コンピュータシステム500を、それら命令において明示された動作を実行するような装置固有的な専用機器へと変える。
【0206】
コンピュータシステム500はさらに、バス502に結合されておりプロセッサ504への命令およびスタティック情報を格納する、リードオンリーメモリ(ROM)508またはその他のスタティック記憶装置を有する。磁気ディスクまたは光ディスクなどの記憶装置510が、情報および命令を格納するために設けられ、バス502に結合される。
【0207】
コンピュータシステム500は、バス502を介して、コンピュータのユーザーに情報を表示するための液晶ディスプレイ(LCD)などのディスプレイ512に結合される。英数字およびその他のキーを含む入力装置514がバス502に結合され、情報およびコマンド選択をプロセッサ504に伝える。別のタイプのユーザー入力装置としては、方向情報およびコマンド選択をプロセッサ504に伝え、ディスプレイ512上でのカーソル移動を制御するための、マウス、トラックボールまたはカーソル方向キーなどのカーソルコントロール516がある。この入力装置は典型的には、第1の軸(例えばx)および第2の軸(例えばy)の2軸において2自由度を有しており、装置が平面内での位置を特定することを可能にする。
【0208】
コンピュータシステム500は、本明細書に記載の技術を、装置固有のハードワイヤード論理回路、1つ以上のASICまたはFPGA、ファームウェアおよび/またはプログラム論理回路を用いることによって実現してもよい。これらは、コンピュータシステムと組み合わせることによってコンピュータシステム500を専用機器とさせる(プログラムする)。一実施形態において本明細書における技術は、メインメモリ506に含まれる1つ以上の命令の1つ以上のシーケンスをプロセッサ504が実行することにより、コンピュータシステム500によって実行される。このような命令は、記憶装置510などの別の記憶媒体からメインメモリ506に読み込まれてもよい。メインメモリ506に含まれる命令のシーケンスの実行により、プロセッサ504が、本明細書に記載の処理ステップを実行ことになる。別の実施形態において、ソフトウェア命令の代わりにあるいはソフトウェア命令と組み合わせて、ハードワイヤード回路を用いてもよい。
【0209】
本明細書で用いられる「記憶媒体」の語は、機器に特定の動作を起こさせるデータおよび/または命令を格納する、任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および/または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶装置510などの光または磁気ディスクを含む。揮発性媒体は、メインメモリ506などのダイナミックメモリを含む。記憶媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープその他の磁気データ記憶媒体、CD−ROMその他の光学的データ記憶媒体、穴のパターンを有する任意の物理媒体、RAM、PROM、およびEPROM、FLASH−EPROM、NVRAM、他の任意のメモリチップまたはカートリッジが含まれる。
【0210】
記憶媒体は送信媒体とは異なるが、送信媒体とともに用いられ得る。送信媒体は、情報を記憶媒体間で移動させることに関与する。例えば、送信媒体は、同軸ケーブル、銅線および光ファイバーを含み、バス502を構成する配線も含まれる。送信媒体はまた、電波および赤外線データ通信において生成されるような、音波または光波の形態を取り得る。
【0211】
1つ以上の命令の1つ以上のシーケンスを、実行のためプロセッサ504へ運ぶことにおいて、様々な形態の媒体が含まれ得る。例えば、命令をまず、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上に保持してもよい。リモートコンピュータは、これらの命令を自身のダイナミックメモリにロードし、そしてモデムを用いて命令を電話線を介して送ることができる。コンピュータシステム500のローカルにあるモデムが、電話線上のデータを受け取り、赤外線送信器を用いてデータを赤外線信号へと変換することができる。赤外線信号に保持されたデータを赤外線検出器が受け取り、適切な回路によってデータをバス502上に置くことができる。バス502は、データをメインメモリ506へと運び、ここからプロセッサ504が命令を取り出して実行する。メインメモリ506が受け取った命令は、オプションとして、プロセッサ504による実行の前か後に記憶装置510に格納されてもよい。
【0212】
コンピュータシステム500はまた、バス502に結合された通信インターフェース518を有する。通信インターフェース518は、ローカルネットワーク522に接続されたネットワークリンク520に、双方向データ通信接続を提供する。例えば、通信インターフェース518は、サービス総合ディジタル網(integrated services digital network:ISDN)カード、ケーブルモデム、衛星モデム、またはデータ通信接続を対応するタイプの電話線に提供するモデムであってもよい。別の例として、通信インターフェース518は、適合するLANへデータ通信接続を提供するためのローカルエリアネットワーク(LAN)カードであってもよい。また無線リンクを実現してもよい。このような態様のいずれにおいても、通信インターフェース518は、様々なタイプの情報を表すデジタルデータストリームを保持する、電気、電磁気または光信号を授受する。
【0213】
ネットワークリンク520は典型的には、1つ以上のネットワークを通じてデータ通信を他のデータ装置に提供する。例えば、ネットワークリンク520は、ローカルネットワーク522を通じて、インターネットサービスプロバイダ(ISP)526に管理されるホストコンピュータ524またはデータ機器への接続を提供してもよい。そしてISP526は、現在では一般に「インターネット」と呼称されるワールドワイドパケットデータ通信ネットワーク528を介して、データ通信サービスを提供する。ローカルネットワーク522およびインターネット528の両方とも、デジタルデータストリームを保持する電気、電磁気または光信号を用いる。様々なネットワークを通る信号およびネットワークリンク520上および通信インターフェース518を通る信号(コンピュータシステム500へ、またコンピュータシステム500からのデジタルデータを保持する)が、送信媒体の形態例である。
【0214】
コンピュータシステム500は、ネットワーク(単数または複数)、ネットワークリンク520および通信インターフェース518を介して、プログラムコードを含むメッセージを送りデータを受け取り得る。インターネットの例において、サーバー530は、あるアプリケーションプログラムへの要求されたコードを、インターネット528、ISP526、ローカルネットワーク522および通信インターフェース518を介して、送信し得る。
【0215】
受け取ったコードは、プロセッサ504によって受け取りとともに実行されるか、かつ/または記憶装置510またはその他の不揮発性記憶装置に格納されて、後で実行されてもよい。
【0216】
12.均等物、拡張物、代替物、その他
以上の明細書において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
図1
図2
図3A
図3B
図4A
図4B
図5
図6A
図6B
図7
図8A
図8B
図8C
図8D