特許第6863271号(P6863271)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
特許6863271情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6863271
(24)【登録日】2021年4月5日
(45)【発行日】2021年4月21日
(54)【発明の名称】情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
(51)【国際特許分類】
   H04N 5/92 20060101AFI20210412BHJP
   G11B 20/10 20060101ALI20210412BHJP
   G11B 20/12 20060101ALI20210412BHJP
   G11B 27/00 20060101ALI20210412BHJP
【FI】
   H04N5/92 010
   H04N5/92
   G11B20/10 D
   G11B20/12
   G11B20/10 321Z
   G11B27/00 D
【請求項の数】18
【全頁数】53
(21)【出願番号】特願2017-500575(P2017-500575)
(86)(22)【出願日】2016年1月27日
(86)【国際出願番号】JP2016052334
(87)【国際公開番号】WO2016132836
(87)【国際公開日】20160825
【審査請求日】2019年1月11日
(31)【優先権主張番号】特願2015-27930(P2015-27930)
(32)【優先日】2015年2月16日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】浜田 俊也
(72)【発明者】
【氏名】高橋 遼平
【審査官】 松元 伸次
(56)【参考文献】
【文献】 国際公開第2014/178286(WO,A1)
【文献】 特表2014−528182(JP,A)
【文献】 国際公開第2014/057832(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G11B20/10−20/16
27/00−27/06
H04N5/76−5/775
5/80−5/956
(57)【特許請求の範囲】
【請求項1】
データ処理部が、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得し、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する構成であり、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記画像属性情報は、画像ストリームがHDR画像である場合のビット値と、画像ストリームがSDR画像である場合のビット値とを異なる設定としたビット値設定情報を含み、
前記データ処理部は、
フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する情報処理装置。
【請求項2】
前記データ処理部は、
トランスポートストリーム(TS)ファイルを、MP4ファイルに変換するフォーマット変換を実行し、
トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報を取得して、MP4ファイルのメタデータ格納領域に格納する処理を実行する請求項1に記載の情報処理装置。
【請求項3】
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納されたデータの再生処理を実行し、
トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報を取得して、再生対象データがHDR画像であるか、SDR画像であるかを判別して判別結果に応じた再生制御を行う請求項1に記載の情報処理装置。
【請求項4】
前記画像属性情報は、トランスポートストリーム(TS)ファイル内のPSI/SIデータ内のプログラムマップテーブル(PMT)に記録され、
前記データ処理部は、
プログラムマップテーブル(PMT)から、画像ストリーム単位の画像属性情報を取得する請求項1に記載の情報処理装置。
【請求項5】
トランスポートストリーム(TS)ファイルに格納された画像ストリームが、HDR画像である場合、
前記画像属性情報は、
HDR画像ストリームが基本HDR画像ストリームであるか、拡張HDR画像ストリームであるかを識別可能な情報を含む請求項1に記載の情報処理装置。
【請求項6】
前記画像属性情報は、
トランスポートストリーム(TS)ファイルに格納された画像ストリームの転送特性(ガンマ特性)を識別可能な情報を含む請求項1に記載の情報処理装置。
【請求項7】
前記画像属性情報は、
トランスポートストリーム(TS)ファイルに格納された画像ストリームの色情報を識別可能な情報を含む請求項1に記載の情報処理装置。
【請求項8】
前記画像属性情報は、
トランスポートストリーム(TS)ファイルに格納された画像ストリームのYCbCr情報を識別可能な情報を含む請求項1に記載の情報処理装置。
【請求項9】
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する処理を実行する構成であり、
前記画像属性情報は、画像ストリームがHDR画像である場合のビット値と、画像ストリームがSDR画像である場合のビット値とを異なる設定としたビット値設定情報を含む情報処理装置。
【請求項10】
前記データ処理部は、
前記画像属性情報を、トランスポートストリーム(TS)ファイル内のPSI/SIデータ内のプログラムマップテーブル(PMT)に記録する請求項9に記載の情報処理装置。
【請求項11】
トランスポートストリーム(TS)ファイルに格納する画像ストリームが、HDR画像である場合、
前記データ処理部は、
HDR画像ストリームが基本HDR画像ストリームであるか、拡張HDR画像ストリームであるかを識別可能な情報を含む画像属性情報をトランスポートストリーム(TS)ファイルに格納する請求項9に記載の情報処理装置。
【請求項12】
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリームの転送特性(ガンマ特性)を識別可能な画像属性情報をトランスポートストリーム(TS)ファイルに格納する請求項9に記載の情報処理装置。
【請求項13】
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリームの色情報を識別可能な画像属性情報をトランスポートストリーム(TS)ファイルに格納する請求項9に記載の情報処理装置。
【請求項14】
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリームのYCbCr情報を識別可能な画像属性情報をトランスポートストリーム(TS)ファイルに格納する請求項9に記載の情報処理装置。
【請求項15】
情報処理装置において実行する情報処理方法であり、
前記情報処理装置のデータ処理部が、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得するファイル取得ステップと、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する処理実行ステップを実行し、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記画像属性情報は、画像ストリームがHDR画像である場合のビット値と、画像ストリームがSDR画像である場合のビット値とを異なる設定としたビット値設定情報を含み、
前記データ処理部は、前記処理実行ステップにおいて、
フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する情報処理方法。
【請求項16】
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する処理を実行し、
前記画像属性情報は、画像ストリームがHDR画像である場合のビット値と、画像ストリームがSDR画像である場合のビット値とを異なる設定としたビット値設定情報を含む情報処理方法。
【請求項17】
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置のデータ処理部に、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得するファイル取得ステップと、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する処理実行ステップを実行させ、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記画像属性情報は、画像ストリームがHDR画像である場合のビット値と、画像ストリームがSDR画像である場合のビット値とを異なる設定としたビット値設定情報を含み、
前記プログラムは、前記処理実行ステップにおいて、
前記データ処理部に、フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行させるプログラム。
【請求項18】
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する処理を実行させ、
前記画像属性情報は、画像ストリームがHDR画像である場合のビット値と、画像ストリームがSDR画像である場合のビット値とを異なる設定としたビット値設定情報を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、画像に関する属性情報の記録や利用処理に適用可能な情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
【背景技術】
【0002】
映画や音楽等、様々なコンテンツを記録する情報記録媒体(メディア)として、DVD(Digital Versatile Disc)や、BD(Blu−ray(登録商標) Disc)が多く利用されている。
【0003】
映画などのコンテンツを予め記録したメディアであるBD−ROMには、例えば高画質画像であるHD(High Definition)画像に併せて音声、字幕等のデータが記録される。
現行のBD−ROMは、主にHD画像、いわゆるハイビジョン対応の2K画像が記録されているものが多いが、今後、高画質化が進み、超高精細画像(UHD:Ultra High Definition画像)である4K画像を記録したメディアが増加することが予想される。
なお、BDを利用したデータ記録再生処理や、4K画像については、例えば特許文献1(特開2011−023071号公報)等に記載がある。
【0004】
BDに対する超高精細画像(UHD画像)のデータ記録態様について、現在、規格策定機関であるBDA(Blu−ray(登録商標) Disc Association)において規格化が進められている。
BDAでは、4K画像に対する対応のみではなく、ディスプレイに出力する画像の色域やコントラスト比を拡張したHDR(High Dynamic Range)画像の対応も考慮に入れた規格化を策定中である。
【0005】
HDR画像は、現在の2K対応ディスプレイにおいて広く利用されているSDR(Standard Dynamic Range)画像に比較して、表現可能な色域が広く、またコントラスト比もより大きく設定可能であり、肉眼で見た現実に近い画像表現が可能である。
【0006】
ただし、現在、一般的に利用されているデレビ等のディスプレイの多くは、SDR画像の出力のみが可能であり、HDR画像の出力が可能なものは少ない。
今後、4K画像のみならずHDR画像を出力可能なディスプレイが徐々に普及していくものと想定される。
【0007】
HDR画像コンテンツを記録したBD等の情報記録媒体(メディア)は、ディスプレイの普及に先行して発売されることが想定される。
従って、HDR画像コンテンツを記録したメディアが、HDR非対応ディスプレイによって再生されることも考慮しなくてはならない。
【0008】
例えば、ディスクに記録されたHDR画像コンテンツをSDR画像のみを出力可能なHDR非対応ディスプレイにおいて出力する場合、ディスク再生装置は、HDR画像をSDR画像に変換して出力する処理を行なうか、あるいはディスク格納コンテンツがHDR画像であり、HDR非対応ディスプレイに正常な出力ができないことを通知するメッセーシ表示を行う等、何らかの対応処理を行うことが必要となる。
【0009】
このような対応を行うためには、再生装置は、HDR画像コンテンツを記録したBD等の情報記録媒体(メディア)からコンテンツを再生する前に、情報記録媒体(メディア)に格納されたデータがHDR画像かSDR画像か等を示すデータ属性(画像属性)を把握し、把握したデータ種類に応じた処理を実行することが必要となる。
【0010】
データ再生を実行する装置は、このような画像属性をデータ再生前に確認することが必要であるが、この画像属性の記録態様については明確に規定がないのが現状である。
【0011】
また、BDには、BD対応のデータフォーマット、例えばBDMVフォーマットに従って再生用データや、再生制御情報、管理情報等のデータベースファイルが記録されているが、このBD記録データを異なるフォーマットのデータ、例えばMP4フォーマットに変換してフラッシュメモリ等のメディアに記録する場合も、画像属性を確認し、確認した属性情報をMP4フォーマットデータの属性情報格納領域に記録することが必要である。
【0012】
さらに、例えばユーザ端末がデータサーバや放送局からの送信データを受信して再生する場合にも、受信データがHDR画像かSDR画像かを確認して、受信データの属性に応じた再生を実行することが必要であり、迅速なデータ属性(画像属性)の確認処理を行うことが求められる。
【先行技術文献】
【特許文献】
【0013】
【特許文献1】特開2011−023071号公報
【発明の概要】
【発明が解決しようとする課題】
【0014】
本開示は、例えば上記問題点に鑑みてなされたものであり、メディアの記録データ、あるいは入力データに含まれる画像データの属性を確認し、確認した属性に応じた処理を行なうことを可能とする情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0015】
本開示の第1の側面は、
データ処理部が、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得し、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する構成であり、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記データ処理部は、
フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する情報処理装置にある。
【0016】
さらに、本開示の第2の側面は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する情報処理装置にある。
【0017】
さらに、本開示の第3の側面は、
トランスポートストリーム(TS)ファイルを記録した情報記録媒体であり、
前記トランスポートストリーム(TS)ファイルは、
トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報を含み、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を記録した構成であり、
前記データ処理部は、
トランスポートストリーム(TS)ファイルを読み取り、フォーマット変換、または出力処理を実行する情報処理装置において、処理対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行することを可能とした情報記録媒体にある。
【0018】
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置のデータ処理部が、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得するファイル取得ステップと、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する処理実行ステップを実行し、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記データ処理部は、前記処理実行ステップにおいて、
フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する情報処理方法にある。
【0019】
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する情報処理方法にある。
【0020】
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置のデータ処理部に、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得するファイル取得ステップと、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する処理実行ステップを実行させ、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記プログラムは、前記処理実行ステップにおいて、
前記データ処理部に、フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行させるプログラムにある。
【0021】
さらに、本開示の第7の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する処理を実行させるプログラムにある。
【0022】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0023】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0024】
本開示の一実施例の構成によれば、トランスポートストリーム(TS)ファイルから、画像属性情報を取得して、取得属性に応じた処理を実行する構成が実現される。
具体的には、データ処理部が、処理対象データを格納したTSファイルに格納された画像属性情報を取得し、取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する。画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含む。データ処理部は、フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する。
本構成により、トランスポートストリーム(TS)ファイルから、画像属性情報を取得して、取得属性に応じた処理を実行する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0025】
図1】BDMVフォーマットデータの構成例について説明する図である。
図2】BDMVフォーマットデータの再生処理例について説明する図である。
図3】MPEG−2TSフォーマットデータについて説明する図である。
図4】MP4フォーマットデータについて説明する図である。
図5】MP4フォーマットデータについて説明する図である。
図6】MPEG−2TSフォーマットからMP4フォーマットへの変換処理例について説明する図である。
図7】MPEG−2TSフォーマットデータの入力と、再生処理例について説明する図である。
図8】TSパケットの格納データの例について説明する図である。
図9】プログラムマップテーブル(PMT)のデータ構成例について説明する図である。
図10】プログラムマップテーブル(PMT)内の画像属性情報記録構成例について説明する図である。
図11】画像属性情報の例について説明する図である。
図12】画像属性情報の例について説明する図である。
図13】画像属性情報の例について説明する図である。
図14】画像属性情報の例について説明する図である。
図15】画像属性情報の例について説明する図である。
図16】画像属性情報の例について説明する図である。
図17】プログラムマップテーブル(PMT)内の画像属性情報記録領域に画像属性情報を記録した例について説明する図である。
図18】プログラムマップテーブル(PMT)内の画像属性情報記録領域に画像属性情報を記録した例について説明する図である。
図19】プログラムマップテーブル(PMT)内の画像属性情報記録領域に画像属性情報を記録した例について説明する図である。
図20】情報処理装置の実行するフォーマット変換処理シーケンスについて説明するフローチャートを示す図である。
図21】情報処理装置の実行するデータ再生処理シーケンスについて説明するフローチャートを示す図である。
図22】情報処理装置の実行するトランスポートストリームファイル生成処理シーケンスについて説明するフローチャートを示す図である。
図23】情報処理装置の実行するトランスポートストリームファイル生成処理シーケンスについて説明するフローチャートを示す図である。
図24】本開示の処理に適用される情報処理装置の構成例について説明する図である。
図25】本開示の処理に適用される情報処理装置の構成例について説明する図である。
図26】本開示の処理に適用される情報処理装置の構成例について説明する図である。
【発明を実施するための形態】
【0026】
以下、図面を参照しながら本開示の情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.MPEG−2TSフォーマットについて
2.MP4フォーマットについて
3.MPEG−2TSフォーマットデータから画像データ属性情報取得を可能とした構成例について
3−1.ビデオエレメンタリストリームのタイプ情報(video_stream_type)
3−2.ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
3−3.ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
3−4.ビデオエレメンタリストリームの色情報(colour_primaries)
3−5.ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
3−6.ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
4.具体的な画像属性情報記録例について
4−1.属性情報記録例1:属性情報(1)(3)(4)(6)を記録した例
4−2.属性情報記録例2:属性情報(2)(3)(4)(6)を記録した例
4−3.属性情報記録例3:属性情報(5)(6)を記録した例
5.情報処理装置の実行するデータ処理のシーケンス例について
5−1.MPEG−2TSフォーマットからMP4フォーマットへの変換処理シーケンス
5−2.MPEG−2TSフォーマットデータの再生処理シーケンス
5−3.MPEG−2TSファイルの生成処理シーケンスについて(ビデオストリームタイプの設定)
5−4.MPEG−2TSファイルの生成処理シーケンスについて(ビデオストリームタイプ以外の属性の設定)
6.情報処理装置の構成例について
6−1.フォーマット変換およびデータ記録処理を実行する情報処理装置の構成例について
6−2.データ再生、またはデータ生成、記録処理を実行する情報処理装置の構成例について
7.本開示の構成のまとめ
【0027】
[1.MPEG−2TSフォーマットについて]
本開示は、例えばBD(Blu−ray(登録商標) Disc)等の情報記録媒体に記録されたデータ、あるいは、例えばサーバや放送局からの受信データがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを確実に確認することを可能とするための構成を提供する。
【0028】
まず、BDのデータ記録フォーマットであるBDMV(Blu−ray(登録商標) Disc Movie)フォーマットおよびMPEG−2TSフォーマットについて説明する。
図1は、例えばROM型のBD(Blu−ray(登録商標) Disc)である情報記録媒体(メディア)10に記録されたBDMVフォーマットに従った記録データのディレクトリを示す図である。
【0029】
ディレクトリは図1に示すように管理情報設定部11(AACSディレクトリ)と、データ部12(BDMVディレクトリ)に分離されている。
管理情報設定部11(AACSディレクトリ)には、データの暗号化鍵であるCPSユニットキーファイルや利用制御情報ファイルなどが格納される。
【0030】
一方、データ部12のBDMVディレクトリ以下には、
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
BDJOファイル、
例えば、これらのファイルが記録される。
【0031】
インデックスファイルには、再生処理に適用するインデックス情報としてのタイトル情報が格納される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ったコンテンツの再生順等を規定したファイルであり、再生位置情報を持つクリップ情報に対する指定情報を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。
BDJOファイルは、JAVA(登録商標)プログラム、コマンド等を格納したファイルの実行制御情報を格納したファイルである。
【0032】
情報処理装置が情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
【0033】
図2は、第1メディア110に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
【0034】
実際の再生対象データである画像と音声データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
【0035】
これら複数のカテゴリのファイルは、図2に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
【0036】
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)と呼ぶ場合もある。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
【0037】
クリップAVストリーム(Clip AV Stream)ファイルは、MPEG−2TS(トランスポートストリーム)をBDMVフォーマットの規定構造に従って配置したデータを格納している。この構成の詳細は図3を参照して後段で説明する。
【0038】
また、クリップ情報(Clip Information)ファイルには、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
【0039】
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプが与えられた時、クリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
【0040】
プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
【0041】
再生対象となる画像や音声の実データを格納したクリップAVストリーム(Clip AV Stream)ファイルは、例えば図3に示すようなMPEG−2トランスポートストリーム(TS:Transport stream)ファイル構造を持つ。
【0042】
MPEG−2TSフォーマットは画像(Video)、音声(Audio)、字幕(Subtitle)等、コンテンツ構成データである符号化データを記録媒体(メディア)に格納、または放送波やネットワークを介して伝送する際の符号化データ等のデータ格納形式(コンテナフォーマット)を規定したフォーマットである。
【0043】
MPEG−2TSフォーマットは、ISO13818−1において標準化されたフォーマットであり、例えばBD(Blu−ray(登録商標) Disc)に対するデータ記録や、デジタル放送等に用いられている。
【0044】
なお、主にフラッシュメモリに対するデータ記録フォーマットとしてMP4フォーマットが用いられる。MP4フォーマットは、ISO/IECC14496−14で規定されたフォーマットであり、例えばスマートフォンなどにおいて多く利用されるフラッシュメモリ等にデータ記録を行う場合に適したフォーマットである。
【0045】
昨今、利用されている多くの携帯端末は、MP4フォーマットに従って記録されたMP4データを再生可能な再生アプリケーションを有しており、携帯端末のメディアにコンテンツを記録する場合、MP4形式で記録することが求められる場合が多い。
MP4フォーマットの概要については後述する。
【0046】
前述したBDに対するデータ記録フォーマットであるBDMV(Blu−ray(登録商標) Disc Movie)フォーマットは、MPEG−2TSフォーマットに従って格納された画像や音声等の符号化データを構成要素とするBD専用のフォーマットである。
【0047】
なお、MPEG−2TSフォーマットに従って格納が許容される画像、音声、静止画の符号化データは、例えば以下の符号化データである。
画像:MPEG−1、MPEG−2、AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声:MP1,MP2,MP3,リニアPCM,DTS
静止画:JPEG
例えば上記の各符号化データがMPEG−2TSにおいて規定するTS(トランスポートストリーム)パケットに分散して格納される。
【0048】
図3以下を参照して、BDや放送に用いられるMPEG−2TSフォーマットについて説明する。
【0049】
図3に示すように、MPEG−2TSフォーマットは、以下の特徴を有する。
図3(A)に示すように、MPEG−2TSファイルは、整数個のアラインドユニット(Aligned unit)から構成される。
アラインドユニット(Aligned unit)の大きさは、6kB(=6144バイト(2048×3バイト))である。
アラインドユニット(Aligned unit)は、ソースパケットの第一バイト目から始まる。
【0050】
図3(B)に示すように、ソースパケットは、192バイト長である。
図3(C)に示すように、一つのソースパケットは、TP_extra_headerとTSパケットから成る。TP_extra_headerは、4バイト長であり、またTSパケットは、188バイト長である。
【0051】
図3(D)に示すように、TSパケットはヘッダ(TPヘッダ)とペイロード部を有する。1つのTSパケットのペイロードには画像、音声等、いずれか一種類のデータの符号化データ、あるいは属性情報等の制御情報が格納される。
図3(E)に示すように、TSパケットのヘッダ(TPヘッダ)にはペイロードのデータ種類を示すPID(プログラムID)が記録される。
【0052】
TSパケットのペイロードには画像や音声等の符号化データであるエレメンタリストリーム(ES)を格納したパケット(パケタイズドエレメンタリストリーム(PES))や、再生時間情報等を格納したPESヘッダ、コンテンツに対応する属性情報や制御情報等が格納される。
TSパケットのペイロードに格納される属性情報や制御情報は、具体的には、例えば、PSI/SI(Program Specific Information)と呼ばれる情報である。
PSI/SIには、例えば、プログラムマップテーブル(PMT:Program Map Table)が含まれる。
【0053】
PMT(Program Map Table)は、TSパケットのPIDとデータ種別の対応情報としてのマップを含む。TSパケットに対する処理を実行する情報処理装置は、まずPMTを参照して、画像、音声、字幕、その他の制御情報(属性情報)各々のデータに対応するPIDを確認して、確認したデータ種別対応のPIDに基づいて、受信パケットをデータ種類別に分離し、それぞれのデータ種類に応じた処理を行なう。
【0054】
なお、図3(E)に示すように、TSパケットのヘッダ情報には、以下の各データが格納される。
(a)同期用バイト(Sync byte)
(b)トランスポートエラー識別子(Transport_error_indicator)
(c)ペイロードユニットスタート識別子(Payload_unit_start_indicator)
(d)トランスポートプライオリティ(Transport_priority)
(e)プログラムID(PID)
(f)トランスポートスクランブリングコントロール(Transport scrambling control)
(g)アダプテーションフィールドコントロール(Adaptation field contrpl)
(h)コンティニュイティカウンタ(Continuity counter)
(i)アダプテーションフィールド(Adaptation field)
【0055】
[2.MP4フォーマットについて]
次に、例えばスマートフォンなどにおいて多く利用されるフラッシュメモリ等にデータ記録を行う場合に適したフォーマットであるMP4フォーマットについて説明する。
図4図5を参照して、MP4フォーマットの概要について説明する。
図4には、ISO/IEC14496−14で規定されたMP4フォーマットの例として、以下の2つの例を示している。
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)
これら図4(a),(b)に示すMP4ファイルは、MP4フォーマットに従ったデータの記録あるいは再生処理における1つの処理単位として設定されるファイルである。
【0056】
(a)フラグメンテッド(分割型)MP4ファイル(fragmented movie)は、再生対象データである画像や音声などのデータを所定時間内の再生データごとに分割して格納したファイルフォーマットである。
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
【0057】
MP4ファイルは、ボックス(box)単位の領域設定がなされ、各ボックスには、ボックス単位で定義されたデータが格納される。
各ボックスは、ボックスサイズ(box−size)、ボックスタイプ(box−type)、ボックスデータ(box−data)の各領域を有する。
ボックスサイズ(box−size)には、ボックスのデータ長(バイトサイズ)が記録される。
ボックスタイプ(box−type)には、ボックスに格納するデータの種類が記録される。
ボックスデータ(box−data)には、ボックスタイプで示される種類のデータが記録される。
【0058】
図4(a)に示すフラグメンテッド(分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
【0059】
画像、音声、字幕等の再生対象データである実データはmdatボックスに分割して格納される。
また、mdatボックスの各々にはmoofボックスが対応付けられており、moofボックスには、moofボックスに対応付けられたmdatボックスに格納した分割実データに関する属性情報、再生制御情報等のメタデータを格納する。
【0060】
図4(a)に示すフラグメンテッド(分割型)MP4ファイルは、再生対象データの分割データである実データ(mdat)と分割実データ対応のメタデータ(moof)を1つのセットデータとして、多数のセットデータを格納し、さらに、格納した複数のセットデータ全体に関するメタデータをmoovボックスに格納した構成を有する。
【0061】
分割実データ対応のメタデータ(moof)の内部には、trafボックスが設定される。
trafボックスには、対応付けられた実データ(mdat)の再生シーケンス情報等が格納される。
【0062】
moovボックスは、MP4ファイル全体に格納されたデータの再生制御情報等のメタデータの格納領域として設定されるボックスである。
moovボックス内には、1つ以上のtrakボックスが設定される。trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定可能であり、各データの再生シーケンス情報等を格納する。
【0063】
なお、MP4ファイルに格納される再生データに複数の異なる画像データ、例えばHD画像、4K画像等が含まれる場合には、これらの画像種類に応じて個別のtrakボックスを設定することが可能である。
また、MP4ファイルの格納音声データに複数の異なる音声データ、例えば日本語音声、英語音声等が含まれる場合には、これらの音声種類に応じて個別のtrakボックスを設定可能である。
同様に、MP4ファイルの格納字幕データに複数の異なる字幕データ、例えば日本語字幕、英語字幕等が含まれる場合には、これらの字幕種類に応じて個別のtrakボックスを設定可能である。
【0064】
(b)ノンフラグメンテッド(非分割型)MP4ファイル(Non−fragmented movie)は、再生対象データである画像や音声などのデータを分割せずに格納したファイルフォーマットである。
図4(b)に示すノンフラグメンテッド(非分割型)MP4ファイルには、以下のタイプのボックスが設定される。
moovボックス、
trakボックス、
mdatボックス、
上記の各ボックスが設定される。
【0065】
mdatボックスにはは、再生対象となる実データが格納される。
moovボックスには、再生対象データである実データ(mdat)に対応して設定されるメタデータ、例えば再生対象実データ(mdat)の属性や再生制御情報を含むメタデータが格納される。
moovボックス内に設定されるtrakボックスには、実データ(mdat)の再生シーケンス情報等が格納される。
【0066】
前述の(a)フラグメンテッド(分割型)MP4ファイルと同様、(b)ノンフラグメンテッド(非分割型)MP4ファイルに設定されるmoovボックス内にも1つ以上のtrakボックスが設定される。各trakボックスは、例えば画像、音声、字幕等のデータ種類別に設定される。
【0067】
図4は、MP4フォーマットの基本構成例を示している。
MP4フォーマットに関する規格化団体であるDECE(Digital Entertainment Content Ecoststem)は、MP4ベースの新たなファイルフォーマットとしてCFF(Common File Format)を規格化した。このCFFについて、図5を参照して説明する。
【0068】
図5に示すCFF(Common File Format)は、基本的には、図4(a)を参照して説明した分割型(fragmented movie)MP4と同様のデータ構成を有する。
【0069】
すなわち、図5に示すCFF(Common File Format)ファイルには、先に説明した図4(a)のフラグメンテッド(分割型)MP4ファイルと同様、以下の各ボックスが設定される。
moovボックス、
trakボックス、
moofボックス、
trafボックス、
mdatボックス、
上記の各ボックスが設定される。
【0070】
各ボックスの格納データは、図4(a)のフラグメンテッド(分割型)MP4ファイルとほぼ同様である。
ただし、CFFでは、各mdatボックスには、1つの種類のデータのみを格納するという制約が設けられている。
すなわち、各mdatボックスには、
(a)画像
(b)音声
(c)字幕
これらのデータのいずれか一種類のデータを格納する。上記(a)〜(c)のデータを混在させて格納してはならないという制約がある。
【0071】
なお、CFFファイルに複数の異なる画像データ、例えばHD画像、4K画像等が含まれる場合には、これらの異なる画像は、異なるmdatボックスに格納する。
同様に、異なる音声データ、例えば日本語音声、英語音声等についても個別のmdatボックスに格納し、日本語字幕、英語字幕等についても異なるmdatボックスに格納する。
【0072】
図4(a)に示す一般的なフラグメンテッド(分割型)MP4ファイルでは、1つの分割データ(フラグメント)の格納ボックスとして設定されるmdatボックスに、画像、音声、字幕等の異なる種類のデータを混在させて格納することが許容されていた。
しかし、図5に示すCFF(Common File Format)では、1つのmdatボックスには、1つの種類のデータのみしか格納してはならないという制約が設けられている。
【0073】
すなわち、画像、音声、または字幕のいずれか一種類のデータのみが各mdatボックスに個別に格納される。
従ってmdatボックス対応のメタデータ格納領域であるmoofボックスも、画像、音声、字幕いずれか一種類のデータに対応して設定されるメタデータを格納する設定となる。
【0074】
なおMP4フォーマットのデータ部であるmdatボックスの格納データは、基本データ単位としてのサンプル(sample)に区分される。
CFF(Common File Format)では、1つのmdatボックスには画像サンプルのみの集合、あるいは音声サンプルのみの集合、または字幕サンプルのみの集合、いずれか同一種類のデータサンプルの集合が格納されることになる。
【0075】
さらに、DECEの規定したCFFでは、CFFファイルに格納することを許容する画像、音声、字幕の符号化態様(コーデック)やデータ形式についても規定している。
CFFファイルに格納することが許容されるデータ形式には、例えば、以下のデータ形式がある。
画像(Video):AVC(MPEG−4AVC)、HEVC(MPEG−4HEVC)、
音声(Audio):MPEG−4−AAC、Dolby、AC−3
字幕(subtitle):SMPTE Timed Text(SMPTE−TT)
【0076】
[3.MPEG−2TSフォーマットデータから画像データ属性情報取得を可能とした構成例について]
先に説明したように、本開示は、例えばBD(Blu−ray(登録商標) Disc)等の情報記録媒体に記録されたデータ、あるいは、例えばサーバや放送局からの受信データがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを確実に確認することを可能とするための構成を提供する。
【0077】
BD(Blu−ray(登録商標) Disc)からMPEG−2TSフォーマットデータを読み取り、MP4フォーマットデータに変換してフラッシュメモリ等の第2メディアにデータ記録(コピー)を実行する構成例について、図6を参照して説明する。
【0078】
図6に示す情報処理装置60は、第1メディア(BD)50からMPEG−2TSフォーマットデータを読み取り、読み取ったMPEG−2TSフォーマットデータをMP4フォーマットデータに変換し、第2メディア(フラッシュメモリ)65に記録する。
【0079】
情報処理装置60は、このデータ変換処理に際して、第1メディア(BD)50から画像、音声、字幕等の再生対象データを格納したMPEG−2TSファイル、すなわち、図3を参照して説明したMPEG−2TSフォーマットに従って生成されたトランスポートストリーム(TS)ファイル51を読み出す。
さらに、読み出したトランスポートストリーム(TS)ファイル51に基づくフォーマット変換を実行してMP4フォーマットデータファイル61を生成して第2メディア(フラッシュメモリ)65に記録する。
【0080】
情報処理装置60は、このフォーマット変換処理において、例えばトランスポートストリーム(TS)ファイル51に格納された画像データがHDR画像であるかSDR画像であるかを確認し、MP4フォーマットデータ内のメタデータ格納領域にHDR画像であるかSDR画像であるかを示すメタデータ(属性情報)を記録することが必要となる。
すなわち、情報処理装置60は、フォーマット変換処理において、トランスポートストリーム(TS)ファイル51からトランスポートストリーム(TS)ファイル51に格納された画像データがHDR画像であるかSDR画像であるかを確認する処理を行なわなければならない。
【0081】
具体的な1つの処理例として、TSファイルに格納された画像データを解析して確認することが可能である。しかし、TSファイルに格納された画像データは符号化データであり、HDR画像であるかSDR画像であるかを確認するためには、符号化画像データを所定のコーデックを用いて復号することが必要となる。復号処理には符号化態様に応じたコーデックおよび処理時間が必要であり、効率的な処理の妨げになる。また、復号を行うと平文データを生成することになり、データ漏えい可能性が高まりコンテンツ保護の観点からも問題となる。
【0082】
このような問題点を解決するためには、TSファイルに格納された画像データが、HDR画像であるかSDR画像であるか等の画像属性を画像データの復号処理を伴う解析ではない他の処理によって確認可能とした構成が求められる。本開示はこの構成を実現するものである。
【0083】
なお、図6を参照して説明した例は、BDから読み取ったMPEG−2TSフォーマットデータをMP4フォーマトデータに変換して第2メディアに記録する場合の処理例であるが、その他、例えば図7に示すように外部からMPEG−2TSファイルを受信する構成においても同様の問題がある。
【0084】
図7には、例えば放送局71、コンテンツサーバ72等から構成される送信装置70から、ユーザ装置であるテレビ91、PC92、携帯端末93等からなる受信装置90にデータを送信し、再生する構成を示している。
送信データは、MPEG−2TSフォーマットに従って生成されたトランスポートストリーム(TS)ファイル80である。
【0085】
このような構成においても、受信装置90は、送信装置70からに送信されるトランスポートストリーム(TS)ファイル80に格納された画像データがHDR画像であるかSDR画像であるかを確認する処理を行なわなければならない。
例えば、受信装置90側で利用されるディスプレイがSDR専用であり、HDR非対応の場合は、送信装置70からに送信されるトランスポートストリーム(TS)ファイル80に格納された画像データがHDR画像である場合はSDR画像に変換する処理が必要となる。
【0086】
このように、画像データの再生や出力処理の準備として様々な設定を効率的に行うためには、受信データから即座にランスポートストリーム(TS)ファイル80に格納された画像データがHDR画像であるかSDR画像であるかを、即座に確認することが必要である。
【0087】
前述したように、TSファイルに格納された符号化画像データは符号化データであり、HDR画像であるかSDR画像であるかを確認するためには、符号化画像データを所定のコーデックを用いて復号することが必要となる。復号処理には符号化態様に応じたコーデックおよび処理時間が必要であり、効率的な処理の妨げになる。また、復号を行うと平文データを生成することになり、データ漏えい可能性が高まりコンテンツ保護の観点からも問題となる。
【0088】
このような問題点を解決するためには、TSファイルに格納された画像データが、HDR画像であるかSDR画像であるか等の画像属性を画像データ自身の解析ではない他の処理によって確認可能とする構成が求められる。以下、この構成を実現する実施例について説明する。
【0089】
図8を参照して、トランスポートストリームファイルの構成要素であるトランスポートパケット(TSパケット)に格納されるデータの例について説明する。
図8(D)トランスポートパケット(TSパケット)は、図3(D)に示すトランスポートパケット(TSパケット)に対応する。
【0090】
TSパケットはヘッダ(TPヘッダ)とペイロード部を有する。1つのTSパケットのペイロードには画像、音声等、いずれか一種類のデータの符号化データ、あるいは属性情報等の制御情報が格納される。
図3(E)に示すように、TSパケットのヘッダ(TPヘッダ)にはペイロードのデータ種類を示すPID(プログラムID)が記録される。
【0091】
TSパケットのペイロードには画像や音声等の符号化データであるエレメンタリストリーム(ES)を格納したパケット(パケタイズドエレメンタリストリーム(PES))や、再生時間情報等を格納したPESヘッダ、コンテンツに対応する属性情報や制御情報等が格納される。
【0092】
前述したように、TSパケットのペイロードに格納される属性情報や制御情報は、具体的には、例えば、PSI/SI(Program Specific Information)と呼ばれる情報である。
PSI/SIには、例えば、プログラムマップテーブル(PMT:Program Map Table)が含まれる。
【0093】
PMT(Program Map Table)は、TSパケットのPIDとデータ種別の対応情報としてのマップを含む。TSパケットに対する処理を実行する情報処理装置は、まずPMTを参照して、画像、音声、字幕、その他の制御情報(属性情報)各々のデータに対応するPIDを確認して、確認したデータ種別対応のPIDに基づいて、受信パケットをデータ種類別に分離し、それぞれのデータ種類に応じた処理を行なう。
【0094】
図9にTSパケットに格納されるプログラムマップテーブル(PMT)のデータ構成例を示す。
プログラムマップテーブル(PMT)に記録される主なデータは以下のデータである。
(1)サービス識別子(program_number)
(2)PCR_PID
(3)エレメンタリストリーム(ES)情報
(3a)ストリームタイプ
(3b)エレメンタリPID
(3c)エレメンタリ対応情報(情報記述子:descriptor)
【0095】
(1)サービス識別子(program_number)は、例えば番組名等、サービス単位のコンテンツを識別する情報である。
(2)PCR_PIDは、プログラム・クロック・リフェランス(program clock reference)PIDであり、サービス(コンテンツ)対応のタイムスタンプを格納したパケットのPID情報である。
【0096】
(3)エレメンタリストリーム(ES)情報は、サービス(コンテンツ)対応の画像(Video)、音声(Audio)、字幕(Caption)各々を格納したエレメンタリストリーム(ES)に関する詳細情報を記録するフィールドである。
画像(Video)、音声(Audio)、字幕(Caption)各々の情報が順次、記録される。
【0097】
このフィールドには、以下の各情報が記述される。
(3a)ストリームタイプ
(3b)エレメンタリPID
(3c)データコンポーネント(ES)情報(ES情報)
【0098】
(3a)ストリームタイプは、画像、音声、字幕のいずれのES(エレメンタリストリーム)の情報であるかを示す情報である。
(3b)エレメンタリPIDは、ストリームタイプで規定された種類のデータを格納したTSパケットのPIDを示す。
(3c)データコンポーネント情報(ES情報)には、ストリームタイプで規定された種類のデータ(ES:画像、音声、字幕)に関する追加情報、すなわちエレメンタリPID(elementary_PID)によって識別される各エレメンタリストリーム(ES)単位の制御情報、属性情報等の追加情報が記録される。
【0099】
図10に、(3c)データコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリーム単位の属性情報の一例である[HDMV_video_registration_descriptor]のデータ構成例を示す。
【0100】
この図10に示す例はHDMVビデオの属性情報の記録構成例であり、
個々のビデオエレメンタリストリームに関する様々な属性情報の記録構成例である。図10に示す例では、以下の各情報が記録されている。
符号化タイプ(stream_coding_type)
画像フォーマット(video_format)
フレームレート(frame_rate)
アスペクト比(aspect_ratio)
【0101】
2か所に設定された4ビットのリザーブ領域(stuffing_bits)101,102は。現行フォーマットでは利用されていない領域である。
本開示の構成では、このリザーブ領域に、画像の新たな追加属性情報を記録する。
追加する属性情報もエレメンタリPID(elementary_PID)によって識別されるエレメンタリストリーム単位の属性情報である。
以下、リザーブ領域(stuffing_bits)に新たに追加記録する画像属性情報の例について説明する。
【0102】
以下、画像属性情報の追加記録候補の例として以下の6つの画像属性情報の記録例について説明する。
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0103】
[3−1.ビデオエレメンタリストリームのタイプ情報(video_stream_type)]
まず、図11を参照して(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)の記録例について説明する。
図11には、ビデオエレメンタリストリームのタイプ情報(video_stream_type)を4ビットデータとして記録する例を示している。
図10を参照して説明したデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリームに関する属性情報記録領域[HDMV_video_registration_descriptor]に設定されるリザーブ領域(stuffing_bits)の一部の4ビットを用いてビデオエレメンタリストリームのタイプ情報(video_stream_type)を記録する例である。
【0104】
4ビットで表現可能なビット値は0(0000)〜15(1111)の16種類である。この4ビットデータを用いて、PIDによって識別されるビデオエレメンタリストリームが以下のいずれの属性を持つかを示す。
各ビット値の定義を以下のように設定する。
0(=0000):このエレメンタリストリームはシングルSDRビデオである。
1(=0001):このエレメンタリストリームはシングルHDRビデオである。
2(=0010):このエレメンタリストリームは二重ストリーム(dual stream)方式のストリームに属する基本ビデオストリームである。
3(=0011):このエレメンタリストリームは二重ストリーム(dual stream)方式のストリームに属する拡張ビデオストリームである。
4〜15(=0100〜1111):リザーブ
【0105】
コンテンツ再生を実行する再生装置等の情報処理装置は、上記設定ビット値に基づいて、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、上記4種類のいずれの属性を有するかを判別することができる。
【0106】
ビット値=0の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがシングルSDRビデオ、すなわち1つのSDRビデオストリームによって構成されていることを示す。
【0107】
ビット値=1の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがシングルHDRビデオ、すなわち1つのHDRビデオストリームによって構成されていることを示す。
【0108】
ビット値=2の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、二重ストリーム(dual stream)方式のストリームに属する基本ビデオストリームであることを示す。
【0109】
なお、HDRビデオの場合、基本ビデオストリームと拡張ビデオストリームの2つのストリームを利用する構成が可能である。すなわち、以下の2つのタイプである。
(a)基本ビデオストリームのみを利用したHDRビデオ再生処理、
(b)基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームを利用したHDRビデオ再生処理、
上記(a),(b)の2つのタイプのビデオ再生処理が可能である。
拡張ビデオストリームは、基本ビデオストリームに対して画像変換を行うための追加情報が格納されている。拡張ビデオストリームに格納された追加情報を利用することで、基本ビデオストリームのみを利用した出力画像に対し、表示装置に対してより適切な画像出力を実現する。
例えば、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームを利用したHDRビデオ再生処理は、基本ビデオストリームのみを利用したHDRビデオ再生処理より高画質な画像再生が実現される。
あるいは、拡張ビデオストリームに格納される拡張情報を利用して、基本ビデオストリームのみを利用した場合に生成されるHDR画像をSDR画像に変換し、HDR非対応の従来ディスプレイでのSDRビデオ再生を実現する。
【0110】
ビット値=3の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、二重ストリーム(dual stream)方式のストリームに属する拡張ビデオストリームであることを示す。
【0111】
[3−2.ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)]
次に、図12を参照して(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)の記録例について説明する。
図12には、ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)を4ビットデータとして記録する例を示している。
図10を参照して説明したデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリームに関する属性情報記録領域[HDMV_video_registration_descriptor]に設定されるリザーブ領域(stuffing_bits)の一部の4ビットを用いてビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)を記録する例である。
【0112】
4ビットで表現可能なビット値は0(0000)〜15(1111)の16種類である。この4ビットデータを用いて、PIDによって識別されるビデオエレメンタリストリームが以下のいずれの属性を持つかを示す。
各ビット値の定義を以下のように設定する。
0(=0000):このエレメンタリストリームはSDRビデオである。(またはSDR再生を意図したビデオである)
1(=0001):このエレメンタリストリームはHDRビデオである。(またはHDR再生を意図したビデオである)
2〜15(=0010〜1111):リザーブ
【0113】
コンテンツ再生を実行する再生装置等の情報処理装置は、上記設定ビット値に基づいて、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、上記2種類のいずれの属性を有するかを判別することができる。
【0114】
ビット値=0の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがSDRビデオ、またはSDR再生を意図したビデオであることを示す。
【0115】
ビット値=1の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがシングルHDRビデオ、またはHDR再生を意図したビデオであることを示す。
【0116】
[3−3.ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)]
次に、図13を参照して(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)の記録例について説明する。
【0117】
図13には、ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)を4ビットデータとして記録する例を示している。
図10を参照して説明したデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリームに関する属性情報記録領域[HDMV_video_registration_descriptor]に設定されるリザーブ領域(stuffing_bits)の一部の4ビットを用いてビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)を記録する例である。
【0118】
4ビットで表現可能なビット値は0(0000)〜15(1111)の16種類である。この4ビットデータを用いて、PIDによって識別されるビデオエレメンタリストリームが以下のいずれの属性を持つかを示す。
各ビット値の定義を以下のように設定する。
0(=0000):特定せず(unspecified)
1(=0001):このエレメンタリストリームはITU−R BT.709−5準拠の光電変換関数(OETF:Optical−Electro Transfer Function)を用いて作成された画像であることを示す。(このエレメンタリストリームのビデオを表示するディスプレイはITU−R BT.1886に準拠した電光変換関数(EOTF:Electro−Optical Transfer Function)を適用した表示処理を実行することを想定)
【0119】
2(=0010):このエレメンタリストリームのビデオを表示するディスプレイはSMPTE ST2084に準拠した電光変換関数(EOTF:Electro−Optical Transfer Function)を適用した表示処理を実行することを想定)
3〜15(=0011〜1111):リザーブ
【0120】
コンテンツ再生を実行する再生装置等の情報処理装置は、上記設定ビット値に基づいて、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、上記のいずれの属性を有するかを判別することができる。
【0121】
ビット値=0の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームの転送特性(ガンマ特性)を特定しないことを意味する。再生装置等の情報処理装置は、表示装置(display)に応じた最適なガンマ変換処理を行なうことになる。
【0122】
ビット値=1の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがITU−R BT.709−5準拠の光電変換関数(OETF:Optical−Electro Transfer Function)を用いて作成された画像であることを示す。なお、これは、このエレメンタリストリームのビデオを表示するディスプレイはITU−R BT.1886に準拠した電光変換関数(EOTF:Electro−Optical Transfer Function)を適用した表示処理を実行することを想定したものである。
なお、これはSDRビデオ対応の転送特性(ガンマ特性)に相当し、再生装置等の情報処理装置は、SDRビデオ対応の転送特性(ガンマ特性)に従った処理(ガンマ変換)を実行して表示装置に対する出力信号を生成することになる。
【0123】
ビット値=2の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームのビデオを表示するディスプレイはSMPTE ST2084に準拠した電光変換関数(EOTF:Electro−Optical Transfer Function)を適用した表示処理を実行することを想定していることを示す。
なお、これはHDRビデオ対応の転送特性(ガンマ特性)に相当し、再生装置等の情報処理装置は、HDRビデオ対応の転送特性(ガンマ特性)に従った処理(ガンマ変換)を実行して表示装置に対する出力信号を生成することになる。
【0124】
[3−4.ビデオエレメンタリストリームの色情報(colour_primaries)]
次に、図14を参照して(4)ビデオエレメンタリストリームの色情報(colour_primaries)の記録例について説明する。
【0125】
図14には、ビデオエレメンタリストリームの色情報(colour_primaries)を4ビットデータとして記録する例を示している。
図10を参照して説明したデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリームに関する属性情報記録領域[HDMV_video_registration_descriptor]に設定されるリザーブ領域(stuffing_bits)の一部の4ビットを用いてビデオエレメンタリストリームの色情報(colour_primaries)を記録する例である。
【0126】
4ビットで表現可能なビット値は0(0000)〜15(1111)の16種類である。この4ビットデータを用いて、PIDによって識別されるビデオエレメンタリストリームが以下のいずれの属性を持つかを示す。
各ビット値の定義を以下のように設定する。
0(=0000):特定せず(unspecified)
1(=0001):このエレメンタリストリームはITU−R BT.709−5準拠の3元色点と基準色を有することを示す。
2(=0010):このエレメンタリストリームはITU−R BT.2020準拠の3元色点と基準色を有することを示す。
3〜15(=0011〜1111):リザーブ
【0127】
コンテンツ再生を実行する再生装置等の情報処理装置は、上記設定ビット値に基づいて、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、上記のいずれの属性を有するかを判別することができる。
【0128】
ビット値=0の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームの色情報は特定されていないことを意味する。再生装置等の情報処理装置は、表示装置(display)に応じた最適な色設定の対応処理を行なうことになる。
【0129】
ビット値=1の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがITU−R BT.709−5準拠の3元色点と基準色を有することを示す。
なお、これはSDRビデオ対応の色設定であり、再生装置等の情報処理装置は、SDRビデオ対応の画像出力処理を実行して表示装置に対する出力信号を生成することになる。
【0130】
ビット値=2の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがITU−R BT.2020準拠の3元色点と基準色を有することを示す。
なお、これはHDRビデオ対応の色設定であり、再生装置等の情報処理装置は、HDRビデオ対応の画像出力処理を実行して表示装置に対する出力信号を生成することになる。
【0131】
[3−5.ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)]
次に、図15を参照して(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)の記録例について説明する。
【0132】
図15には、ビデオエレメンタリストリームの属性情報[(2)+(3)+(4)](video_d_range2)を4ビットデータとして記録する例を示している。
ビデオエレメンタリストリームの属性情報[(2)+(3)+(4)]とは、上述した属性情報、すなわち、
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
これらの画像属性情報である。
【0133】
図10を参照して説明したデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリームに関する属性情報記録領域[HDMV_video_registration_descriptor]に設定されるリザーブ領域(stuffing_bits)の一部の4ビットを用いてビデオエレメンタリストリームの属性情報[(2)+(3)+(4)](video_d_range2)を記録する。
【0134】
4ビットで表現可能なビット値は0(0000)〜15(1111)の16種類である。この4ビットデータを用いて、PIDによって識別されるビデオエレメンタリストリームが以下のいずれの属性を持つかを示す。
各ビット値の定義を以下のように設定する。
0(=0000):特定せず(unspecified)
1(=0001):このエレメンタリストリームはITU−R BT.709−5準拠のOETFと、ITU−R BT.709−5準拠の3元色点と基準色の適用画像データであることを示す。
2(=0010):このエレメンタリストリームはITU−R BT.709−5準拠のOETFと、ITU−R BT.2020準拠の3元色点と基準色の適用画像データであることを示す。
3(=0011):このエレメンタリストリームは、表示ディスプレイとしてSMPTE ST2084準拠のEOTFの適用タイプを想定し、ITU−R BT.2020準拠の3元色点と基準色に基づいて生成された画像データであることを示す。
4〜15(=0100〜1111):リザーブ
【0135】
コンテンツ再生を実行する再生装置等の情報処理装置は、上記設定ビット値に基づいて、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、上記のいずれの属性を有するかを判別することができる。
【0136】
ビット値=0の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームの画像生成に適用したOETFや表示ディスプレイのEOTF、画像信号の色域等は特定されていないことを意味する。再生装置等の情報処理装置は、表示装置(display)に応じた最適な色設定の対応処理を行なうことになる。
【0137】
ビット値=1の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがITU−R BT.709−5準拠のOETFと、ITU−R BT.709−5準拠の3元色点と基準色の適用画像データであることを示す。
これはSDR画像データに相当する特性であり、再生装置等の情報処理装置は、SDRビデオ対応の画像出力処理を実行して表示装置に対する出力信号を生成することになる。
【0138】
ビット値=2の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームがITU−R BT.709−5準拠のOETFと、ITU−R BT.2020準拠の3元色点と基準色の適用画像データであることを示す。
これは広色域色を持つ特定のSDR画像データに相当する特性であり、再生装置等の情報処理装置は、広色域色を持つ特定のSDRビデオ対応の画像出力処理を実行して表示装置に対する出力信号を生成することになる。
【0139】
ビット値=3の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが表示ディスプレイとしてSMPTE ST2084準拠のEOTFの適用タイプを想定し、ITU−R BT.2020準拠の3元色点と基準色に基づいて生成された画像データであることを示す。
これはHDR画像データに相当する特性であり、再生装置等の情報処理装置は、HDRビデオ対応の画像出力処理を実行して表示装置に対する出力信号を生成することになる。
【0140】
[3−6.ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)]
次に、図16を参照して(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)の記録例について説明する。
【0141】
図16には、ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を4ビットデータとして記録する例を示している。
図10を参照して説明したデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリームに関する属性情報記録領域[HDMV_video_registration_descriptor]に設定されるリザーブ領域(stuffing_bits)の一部の4ビットを用いてビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を記録する例である。
【0142】
4ビットで表現可能なビット値は0(0000)〜15(1111)の16種類である。この4ビットデータを用いて、PIDによって識別されるビデオエレメンタリストリームが以下のいずれの属性を持つかを示す。
各ビット値の定義を以下のように設定する。
0(=0000):このエレメンタリストリームは非定輝度タイプのYCbCr信号(Y' C'b C'r)を有することを示す。
1(=0001):このエレメンタリストリームは定輝度タイプのYCbCr信号(Y'c C'bc C'rc)を有することを示す。
2(=0010):特定せず(unspecified)
3〜15(=0011〜1111):リザーブ
【0143】
コンテンツ再生を実行する再生装置等の情報処理装置は、上記設定ビット値に基づいて、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームが、上記のいずれの属性を有するかを判別することができる。
【0144】
ビット値=0の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームは非定輝度タイプのYCbCr信号(Y' C'b C'r)を有することを示す。
【0145】
YCbCr信号には2つのタイプがある。
1つは、非定輝度タイプのYCbCr信号(Y' C'b C'r)であり、もう1は、定輝度タイプのYCbCr信号(Y'c C'bc C'rc)である。
非定輝度タイプのYCbCr信号は、出力色に応じた輝度変化を許容した構成を有し、SDR画像で利用される場合が多い。一方、定輝度タイプのYCbCr信号は、出力色に応じた輝度変化を低減した構成を有し、HDR画像で利用される場合が多いYCbCr信号タイプである。
【0146】
ビット値=0の場合、エレメンタリストリームは非定輝度タイプのYCbCr信号(Y' C'b C'r)であり、再生装置等の情報処理装置は、非定輝度タイプのYCbCr信号の出力処理による画像再生を実行することになる。これは、多くの場合SDRビデオ対応の画像出力処理となる。
【0147】
ビット値=1の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームは定輝度タイプのYCbCr信号(Y'c C'bc C'rc)を有することを示す。
この設定の場合、再生装置等の情報処理装置は、定輝度タイプのYCbCr信号の出力処理による画像再生を実行することになる。これは、多くの場合HDRビデオ対応の画像出力処理となる。
【0148】
ビット値=2の場合、エレメンタリPID(elementary_PID)によって識別されるエレメンタリストリームのYCbCr信号のタイプは特定されておらず、再生装置等の情報処理装置は、表示装置(display)に応じた出力信号生成処理を行なうことになる。
【0149】
[4.具体的な画像属性情報記録例について]
次に、具体的な画像属性情報記録例について説明する。
図11図16を参照して説明した画像属性情報、すなわち、
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
これらの情報は、エレメンタリストリーム(ES)単位の画像属性情報として、プログラムマップテーブル(PMT)に記録する。
【0150】
具体的には、図10を参照して説明したエレメンタリストリーム単位の属性情報記録領域中のリザーブ領域(stuff bits)を利用して記録する。
以下、具体的な画像属性情報の複数の記録例について説明する。
【0151】
[4−1.属性情報記録例1:属性情報(1)(3)(4)(6)を記録した例]
まず、図17を参照して、属性情報記録例1について説明する。
、属性情報記録例1は、上述した属性情報(1)〜(6)中、(1)(3)(4)(6)を記録した例について説明する。
図17に示すデータは、先に図10を参照して説明したデータ、すなわち、TSパケットに格納されるPSI/SI情報中のプログラムマップテーブル(PMT)の構成データである。具体的には、PMT中のデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリーム単位の属性情報の構成データ[HDMV_video_registration_descriptor]の例である。
【0152】
図17に示すデータフィールド111〜114は、図10に示すデータ中のリザーブ領域(stuff bits)101〜102に対応する。
図17に示す例は、このリザーブ領域に、上述した属性情報(1)〜(6)中、属性情報(1)(3)(4)(6)を記録した例である。
すなわち、以下の属性情報を記録している。
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0153】
データフィールド111には、先に図11を参照して説明した(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)を4ビットデータとして記録する。
データフィールド112には、先に図16を参照して説明した(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を4ビットデータとして記録する。
【0154】
データフィールド113には、先に図13を参照して説明した(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)を4ビットデータとして記録する。
データフィールド114には、先に図16を参照して説明した(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を4ビットデータとして記録する。
【0155】
記録媒体からの読み取りデータ、または入力部や通信部を介して入力したデータからトランスポートストリームファイルを取得して再生処理やデータ変換処理等を実行する情報処理装置は、トランスポートストリームファイルに記録されたPSI/SI内のプログラムマップテーブル(PMT)から図17に示す画像エレメンタリストリーム単位の属性情報(メタデータ)を読み取る。
よみとった属性情報(メタデータ)に基づいて、この属性情報に対応するPID対応の画像エレメンタリストリームの属性を確認することができる。
【0156】
図17に示す設定で、確認可能な画像属性は以下の各属性である。
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0157】
例えば情報記録媒体から読み取ったトランスポートストリーム(TS)ファイル、あるいは受信部等のデータ入力部から入力したトランスポートストリーム(TS)ファイルを処理してデータ再生を実行する情報処理装置は、これらの属性を確認した上で、TSパケットに格納された画像データの再生処理を適切に行うことが可能となる。
すなわち、SDR画像対応の再生処理や、HDR画像対応の再生処理の制御を正しく効率的に実行することが可能となる。
【0158】
またMPEG−2TSファイルをMP4ファイルに変換して記録する情報処理装置の場合は、図17に示すデータに基づいて画像属性を確認した上で、TSパケットに格納された画像データの変換処理、すなわち、MP4ファイルへの変換、MP4ファイルへのメタデータの記録処理等を確実に行うことが可能となる。
【0159】
[4−2.属性情報記録例2:属性情報(2)(3)(4)(6)を記録した例]
次に、図18を参照して、属性情報記録例2について説明する。
、属性情報記録例2は、上述した属性情報(1)〜(6)中、(2)(3)(4)(6)を記録した例について説明する。
図18に示すデータは、図17と同様、先に図10を参照して説明したデータ、すなわち、TSパケットに格納されるPSI/SI情報中のプログラムマップテーブル(PMT)の構成データである。具体的には、PMT中のデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリーム単位の属性情報の構成データ[HDMV_video_registration_descriptor]の例である。
【0160】
図18に示すデータフィールド121〜124は、図10に示すデータ中のリザーブ領域(stuff bits)101〜102に対応する。
図18に示す例は、このリザーブ領域に、上述した属性情報(1)〜(6)中、属性情報(2)(3)(4)(6)を記録した例である。
すなわち、以下の属性情報を記録している。
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0161】
データフィールド121には、先に図12を参照して説明した(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)を4ビットデータとして記録する。
データフィールド122には、先に図16を参照して説明した(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を4ビットデータとして記録する。
【0162】
データフィールド123には、先に図13を参照して説明した(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)を4ビットデータとして記録する。
データフィールド124には、先に図16を参照して説明した(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を4ビットデータとして記録する。
【0163】
記録媒体からの読み取りデータ、または入力部や通信部を介して入力したデータからトランスポートストリームファイルを取得して再生処理やデータ変換処理等を実行する情報処理装置は、トランスポートストリームファイルに記録されたPSI/SI内のプログラムマップテーブル(PMT)から図18に示す画像エレメンタリストリーム単位の属性情報(メタデータ)を読み取る。
よみとった属性情報(メタデータ)に基づいて、この属性情報に対応するPID対応の画像エレメンタリストリームの属性を確認することができる。
【0164】
図18に示す設定で、確認可能な画像属性は以下の各属性である。
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0165】
例えば情報記録媒体から読み取ったトランスポートストリーム(TS)ファイル、あるいは受信部等のデータ入力部から入力したトランスポートストリーム(TS)ファイルを処理してデータ再生を実行する情報処理装置は、これらの属性を確認した上で、TSパケットに格納された画像データの再生処理を適切に行うことが可能となる。
すなわち、SDR画像対応の再生処理や、HDR画像対応の再生処理の制御を正しく効率的に実行することが可能となる。
【0166】
またMPEG−2TSファイルをMP4ファイルに変換して記録する情報処理装置の場合は、図18に示すデータに基づいて画像属性を確認した上で、TSパケットに格納された画像データの変換処理、すなわち、MP4ファイルへの変換、MP4ファイルへのメタデータの記録処理等を確実に行うことが可能となる。
【0167】
[4−3.属性情報記録例3:属性情報(5)(6)を記録した例]
次に、図19を参照して、属性情報記録例3について説明する。
、属性情報記録例3は、上述した属性情報(1)〜(6)中、(5)(6)を記録した例について説明する。
図19に示すデータは、図17図18と同様、先に図10を参照して説明したデータ、すなわち、TSパケットに格納されるPSI/SI情報中のプログラムマップテーブル(PMT)の構成データである。具体的には、PMT中のデータコンポーネント情報(ES情報)に記録されるビデオエレメンタリストリーム単位の属性情報の構成データ[HDMV_video_registration_descriptor]の例である。
【0168】
図19に示すデータフィールド131〜132は、図10に示すデータ中のリザーブ領域(stuff bits)101に対応する。
図19に示す例は、このリザーブ領域に、上述した属性情報(1)〜(6)中、属性情報(5)(6)を記録した例である。
すなわち、以下の属性情報を記録している。
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0169】
データフィールド131には、先に図15を参照して説明した (5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)を4ビットデータとして記録する。
データフィールド132には、先に図16を参照して説明した(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)を4ビットデータとして記録する。
【0170】
記録媒体からの読み取りデータ、または入力部や通信部を介して入力したデータからトランスポートストリームファイルを取得して再生処理やデータ変換処理等を実行する情報処理装置は、トランスポートストリームファイルに記録されたPSI/SI内のプログラムマップテーブル(PMT)から図19に示す画像エレメンタリストリーム単位の属性情報(メタデータ)を読み取る。
よみとった属性情報(メタデータ)に基づいて、この属性情報に対応するPID対応の画像エレメンタリストリームの属性を確認することができる。
【0171】
図19に示す設定で、確認可能な画像属性は以下の各属性である。
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0172】
例えば情報記録媒体から読み取ったトランスポートストリーム(TS)ファイル、あるいは受信部等のデータ入力部から入力したトランスポートストリーム(TS)ファイルを処理してデータ再生を実行する情報処理装置は、これらの属性を確認した上で、TSパケットに格納された画像データの再生処理を適切に行うことが可能となる。
すなわち、SDR画像対応の再生処理や、HDR画像対応の再生処理の制御を正しく効率的に実行することが可能となる。
【0173】
またMPEG−2TSファイルをMP4ファイルに変換して記録する情報処理装置の場合は、図19に示すデータに基づいて画像属性を確認した上で、TSパケットに格納された画像データの変換処理、すなわち、MP4ファイルへの変換、MP4ファイルへのメタデータの記録処理等を確実に行うことが可能となる。
【0174】
[5.情報処理装置の実行するデータ処理のシーケンス例について]
次に、図20以下に示すフローチャートを参照して情報処理装置の実行するデータ処理のシーケンス例について説明する。
【0175】
[5−1.MPEG−2TSフォーマットからMP4フォーマットへの変換処理シーケンス]
まず、図20に示すフローチャートを参照して情報処理装置が、BD等の記録媒体、あるいは外部から入力したMPEG−2TSファイルをMP4ファイルにフォーマット変換し、フラッシュメモリ等のメディアに記録する、あるいは出力部を介して外部に出力する処理のシーケンスについて説明する。
【0176】
図20に示すフローは、情報処理装置のプログラム実行機能を有するCPU等を備えたデータ処理部の制御の下で実行される。データ処理部が記憶部に格納されたプログラムを読み出して実行する。
以下、各ステップの処理について、順次、説明する。
【0177】
(ステップS101)
まず、ステップS101において、ユーザは、フォーマット変換および外部出力の対象となるコンテンツのタイトルを選択する。
例えば、情報処理装置に装着されたBDから読み出されたコンテンツタイトルリストを表示部に表示してタイトル選択が実行される。
【0178】
(ステップS102)
ステップS102において、情報処理装置のデータ処理部は、ユーザが選択したタイトルに対応するクリップ(クリップ情報ファイルとクリップAVストリームファイル)を特定する。
【0179】
(ステップS103)
ステップS103において、情報処理装置のデータ処理部は、ステップS102で特定されたクリップAVストリームファイル、すなわち、MPEG−2TSファイルを読み出す。
MPEG−2TSファイルは先に図3を参照して説明した構成を持つファイルである。
【0180】
(ステップS104)
ステップS104において、情報処理装置のデータ処理部は、ステップS103で読み出したMPEG−2TSファイルのフォーマット変換を実行してMP4ファイルを生成する。
【0181】
このフォーマット変換に際しては、MPEG−2TSファイルのTSパケットに格納された属性情報(PSI/SI)のプログラムマップテーブル(PMT)を参照して、MPEG−2TSファイルに格納された画像データの属性を確認して、確認した属性に応じた処理を実行する。
具体的には、例えばフォーマット変換対象となる画像データがHDR画像かSDR画像かを確認し、確認結果に応じてMP4ファイルに格納した画像の属性情報をMP4ファイルの画像メタデータ格納領域に記録する処理などを行う。
【0182】
なお、プログラムマップテーブル(PMT)に基づいて確認される画像属性には、先に図11図16を参照して説明したように以下の属性がある。
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0183】
MPEG−2TSファイルをMP4ファイルに変換して記録する情報処理装置は、上記の各データに基づいて画像属性を確認した上で、TSパケットに格納された画像データのMP4ファイルへの変換や、MP4ファイルへのメタデータの記録処理等を確実に行うことが可能となる。
【0184】
(ステップS105)
ステップS105において、情報処理装置のデータ処理部は、ステップS104で生成したMP4ファイルをフラッシュメモリ等の第2の記録媒体に記録、あるいは通信部、出力部等を介して外部機器、または外部メディアに出力する。
【0185】
これらの処理により、MPEG−2TSファイルからMP4ファイルへのフォーマット変換、および第2メディアに対するMP4ファイルの記録または外部出力が完了する。
情報処理装置は、フォーマット変換時に、処理対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する。具体的には、MP4ファイルのメタデータ記録領域に、MPEG−2TSファイルに記録された画像属性(例 えばHDR画像かSDR画像か等)を正しく記録する。
MP4ファイルの再生処理を実行する再生装置は、このメタデータを参照して画像属性に応じた正しい再生処理を実行することが可能となる。
【0186】
[5−2.MPEG−2TSフォーマットデータの再生処理シーケンス]
次に、図21に示すフローチャートを参照して情報処理装置が記録媒体、あるいは外部から入力したMPEG−2TSファイルの再生を実行する処理のシーケンスについて説明する。
【0187】
図21に示すフローは、情報処理装置のプログラム実行機能を有するCPU等を備えたデータ処理部の制御の下で実行される。データ処理部が記憶部に格納されたプログラムを読み出して実行する。
以下、各ステップの処理について、順次、説明する。
【0188】
(ステップS151)
まず、ステップS151において、情報処理装置のデータ処理部は、記録媒体、あるいは外部からMPEG−2TSファイルを入力する。
【0189】
(ステップS152)
ステップS152において、情報処理装置のデータ処理部は、ステップS151で入力したMPEG−2TSファイルのTSパケットに格納された属性情報(PSI/SI)のプログラムマップテーブル(PMT)を参照して、MPEG−2TSファイルに格納された画像データの属性を確認して、確認した属性に応じた処理を実行する。
具体的には、例えば再生対象となる画像データがHDR画像かSDR画像かを確認し、確認結果に応じて再生処理や出力処理の設定を実行する。
【0190】
なお、プログラムマップテーブル(PMT)に基づいて確認される画像属性には、先に図11図16を参照して説明したように以下の属性がある。
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0191】
MPEG−2TSファイルの再生を実行する情報処理装置は、上記の各データに基づいて画像属性を確認した上で、TSパケットに格納された画像データがHDR画像である場合は、HDR画像用の再生制御、出力制御を実行し、TSパケットに格納された画像データがSDR画像である場合は、SDR画像用の再生制御、出力制御を実行することが可能となる。
【0192】
(ステップS153)
ステップS153において、情報処理装置のデータ処理部は、ステップS152において実行して設定に従ってTSパケットに格納された画像データの再生、出力を実行する。
【0193】
これらの処理により、MPEG−2TSファイルに格納されたデータ再生が行われる。
再生装置は、再生処理対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行することが可能となる。
すなわち、MPEG2−TSファイルから直接、MPEG−2TSファイルに記録された画像属性(例えばHDR画像かSDR画像か等)が取得されるので、例えばプレイリストファイル等のデータベースファイルが取得できない場合でも、TSパケットに格納された画像の属性(例えばHDRかSDRか)に応じた正しい再生処理を実行することが可能となる。
【0194】
[5−3.MPEG−2TSファイルの生成処理シーケンスについて(ビデオストリームタイプの設定)]
次に、図22に示すフローチャートを参照して情報処理装置がMPEG−2TSファイルの生成処理を実行する処理シーケンスについて説明する。
例えば撮像装置において撮影されたHDR画像、あるいはSDR画像を入力して、入力画像を格納したMPEG−2TSファイルの生成処理を実行する処理シーケンスである。
【0195】
図22に示すフローは、情報処理装置のプログラム実行機能を有するCPU等を備えたデータ処理部の制御の下で実行される。データ処理部が記憶部に格納されたプログラムを読み出して実行する。
以下、各ステップの処理について、順次、説明する。
【0196】
(ステップS201)
まず、ステップS201において、情報処理装置のデータ処理部は、MPEG−2TSファイルに格納する画像が、デュアル(dual)ストリームか、シングル(single)ストリームかを判別する。
【0197】
先に図11を参照して説明したように、画像ストリームの種類としては、
SDRビデオシングルストリーム
HDRビデオシングルストリーム、
HDRビデオデュアルストリーム、
これらの3種類がある。
HDRビデオデュアルストリームは、HDRビデオ基本ストリームとHDRビデオ拡張ストリームの2本(デュアル)のストリームから構成される。
【0198】
ステップS201では、情報処理装置のデータ処理部は、MPEG−2TSファイルに格納する画像が、デュアル(dual)ストリームか、シングル(single)ストリームかを判別する。
デュアルストリームである場合はステップS202に進み、シングルストリームである場合はステップS203に進む。
【0199】
(ステップS202)
MPEG−2TSファイルに格納する画像がデュアル(dual)ストリームである場合、ステップS202に進む。
【0200】
デュアル(dual)ストリームである場合、MPEG−2TSファイルに格納する画像ストリームは、
HDRビデオ基本ストリーム、
HDRビデオ拡張ストリーム、
これら2つの画像ストリームから構成されることになる。
【0201】
それぞれ異なるTSパケットに格納するが、その際、これらの各ストリーム(ES:エレメンタリストリーム)単位の属性情報をPSI/SIのプログラムケマッフテーブル(PMT)に記録する。
具体的には、
HDRビデオ基本ストリームのビデオストリームタイプ(video_stream_type)を2、
HDRビデオ拡張ストリームのビデエストリームタイプ(video_stream_type)を3、
にセットする
これらの設定は、先に図11を参照して説明した属性情報設定例に対応したものである。
【0202】
(ステップS203)
一方、ステップS201において、MPEG−2TSファイルに格納する画像がシングル(single)ストリームである場合、ステップS203に進む。
ステップS203では、MPEG−2TSファイルに格納する画像が、
HDRビデオテトリームか、
SDRビデオストリームか、
を判別する。
【0203】
MPEG−2TSファイルに格納する画像がSDRビデオテトリームである場合は、ステップS204に進む。
MPEG−2TSファイルに格納する画像がHDRビデオテトリームである場合は、ステップS205に進む。
【0204】
(ステップS204)
MPEG−2TSファイルに格納する画像がSDRビデオテトリームである場合は、ステップS204において、このストリーム(ES:エレメンタリストリーム)単位の属性情報をPSI/SIのプログラムケマッフテーブル(PMT)に記録する。
具体的には、
SDRビデオストリームのビデオストリームタイプ(video_stream_type)を0、
にセットする
この設定は、先に図11を参照して説明した属性情報設定例に対応したものである。
【0205】
(ステップS205)
一方、MPEG−2TSファイルに格納する画像がHDRビデオテトリームである場合は、ステップS205において、このストリーム(ES:エレメンタリストリーム)単位の属性情報をPSI/SIのプログラムケマッフテーブル(PMT)に記録する。
具体的には、
HDRビデオストリームのビデオストリームタイプ(video_stream_type)を1、
にセットする
この設定は、先に図11を参照して説明した属性情報設定例に対応したものである。
【0206】
[5−4.MPEG−2TSファイルの生成処理シーケンスについて(ビデオストリームタイプ以外の属性の設定)]
次に、図23に示すフローチャートを参照して情報処理装置がMPEG−2TSファイルの生成処理を実行する処理シーケンスについて説明する。
図22のフローでは、ビデオストリームタイプの設定シーケンスのみ説明したが、図23のフローは、ビデオストリームタイプ以外の属性設定シーケンスである。
MPEG−2TSファイルの生成に際しては、図22に示すフローと図23に示すフローを連続的に実行することになる。
【0207】
図23に示すフローも、図22に示すフロー同様、例えば撮像装置において撮影されたHDR画像、あるいはSDR画像を入力して、入力画像を格納したMPEG−2TSファイルの生成処理を実行する処理シーケンスである。
【0208】
図23に示すフローは、情報処理装置のプログラム実行機能を有するCPU等を備えたデータ処理部の制御の下で実行される。データ処理部が記憶部に格納されたプログラムを読み出して実行する。
以下、各ステップの処理について、順次、説明する。
【0209】
(ステップS301)
まず、ステップS301において、情報処理装置のデータ処理部は、MPEG−2TSファイルに格納する画像の転送特性(transfer_characterisics)を取得し、取得した画像の転送特性(transfer_characterisics)を各ストリーム(ES:エレメンタリストリーム)単位の属性情報をPSI/SIのプログラムケマッフテーブル(PMT)に記録する。
【0210】
具体的には、先に図13を参照して説明した設定値を記録する。
すなわち、以下のいずれかのビット値を記録する。
0(=0000):特定せず(unspecified)
1(=0001):このエレメンタリストリームはITU−R BT.709−5準拠の光電変換関数(OETF:Optical−Electro Transfer Function)を用いて作成された画像であることを示す。(このエレメンタリストリームのビデオを表示するディスプレイはITU−R BT.1886に準拠した電光変換関数(EOTF:Electro−Optical Transfer Function)を適用した表示処理を実行することを想定)
2(=0010):このエレメンタリストリームのビデオを表示するディスプレイはSMPTE ST2084に準拠した電光変換関数(EOTF:Electro−Optical Transfer Function)を適用した表示処理を実行することを想定)
【0211】
なお、入力画像の転送特性(transfer_characterisics)取得処理は、入力画像に付属する属性情報(VUI)から読み取るか、あるいは情報処理装置のTS多重化部に入力された情報から取得するなどの処理によって行われる。
【0212】
(ステップS302)
次に、ステップS302において、情報処理装置のデータ処理部は、MPEG−2TSファイルに格納する画像の色情報(colour_primaries)を取得し、取得した画像の色情報(colour_primaries)を各ストリーム(ES:エレメンタリストリーム)単位の属性情報をPSI/SIのプログラムケマッフテーブル(PMT)に記録する。
【0213】
具体的には、先に図14を参照して説明した設定値を記録する。
すなわち、以下のいずれかのビット値を記録する。
0(=0000):特定せず(unspecified)
1(=0001):このエレメンタリストリームはITU−R BT.709−5準拠の3元色点と基準色を有することを示す。
2(=0010):このエレメンタリストリームはITU−R BT.2020準拠の3元色点と基準色を有することを示す。
【0214】
なお、入力画像の色情報(colour_primaries)取得処理は、入力画像に付属する属性情報(VUI)から読み取るか、あるいは情報処理装置のTS多重化部に入力された情報から取得するなどの処理によって行われる。
【0215】
(ステップS303)
次に、ステップS303において、情報処理装置のデータ処理部は、MPEG−2TSファイルに格納する画像のYCbCr情報(luma_chroma_signal_format)を取得し、取得した画像のYCbCr情報(luma_chroma_signal_format)を各ストリーム(ES:エレメンタリストリーム)単位の属性情報をPSI/SIのプログラムケマッフテーブル(PMT)に記録する。
【0216】
具体的には、先に図16を参照して説明した設定値を記録する。
すなわち、以下のいずれかのビット値を記録する。
0(=0000):このエレメンタリストリームは非定輝度タイプのYCbCr信号(Y' C'b C'r)を有することを示す。
1(=0001):このエレメンタリストリームは定輝度タイプのYCbCr信号(Y'c C'bc C'rc)を有することを示す。
2(=0010):特定せず(unspecified)
【0217】
なお、入力画像のYCbCr情報(luma_chroma_signal_format)取得処理は、入力画像に付属する属性情報(VUI)から読み取るか、あるいは情報処理装置のTS多重化部に入力された情報から取得するなどの処理によって行われる。
【0218】
MPEG−2TSファイルの生成に際しては、図22に示すフローと図23に示すフローを連続的に実行することになる。
これらの処理によって、例えば先に図17に示すストリーム単位の画像属性情報が記録されたプログラムマップテーブル(PMT)が完成し、このPMTを含むPSI/SIをTSパケットに格納したMPEG−2TSファイルが生成される。
【0219】
なお、図22図23を参照して説明した処理は、図17に示す属性情報記録例に対応した処理シーケンスである。
図18に示す記録例や図19に示す記録例に従った属性情報を記録する場合は、各記録例に含まれる属性情報を取得してPMTに記録する処理を実行することになる。
【0220】
[6.情報処理装置の構成例について]
次に、上述した実施例に従った処理を実行する情報処理装置の構成例について説明する。
【0221】
[6−1.フォーマット変換およびデータ記録処理を実行する情報処理装置の構成例について]
まず、図24図25を参照してフォーマット変換およびデータ記録処理を実行する情報処理装置の構成例について説明する。
図24に示す情報処理装置600は、第1メディア610に記録されたMPEG−2TSフォーマットデータを変換して生成したMP4フォーマットデータを第2メディア620に記録する情報処理装置である。
【0222】
情報処理装置600は、例えばBD(Blu−ray(登録商標) Disc)等の情報記録媒体である第1メディア610に記録されたデータを読み出し、フラッシュメモリ等の情報記録媒体である第2メディア620に記録する、いわゆるコピー処理を行なう。
あるいは、通信部603を介して入力したデータをフラッシュメモリ等の第2メディア620に記録する処理を行なう。
【0223】
なお、第1メディア610、あるいは通信部603を介して入力するデータのデータフォーマットを第1フォーマット、第2メディア620に対して記録するデータのフォーマットを第2フォーマットとする。
【0224】
情報処理装置は、第1メディア610、あるいは通信部603を介して入力する第1フォーマットのデータをフラッシュメモリ等の第2メディア620に記録する際に、第1フォーマットデータを第2フォーマットデータに変換する処理を行なう。
【0225】
なお、上述した実施例では、第1メディア610、または通信部603から入力するデータのフォーマットはMPEG−2TSフォーマットであり、第2メディアの記録フォーマットはMP4フォーマットである。
情報処理装置600は、第2メディア620に対するデータ記録処理に際して、MPEG−2TSフォーマットからMP4フォーマットへのフォーマット変換を実行する。
【0226】
情報処理装置600は、図24に示すように、制御部601、入力部602、通信部603、記憶部604、出力部605、第1メディアIF(インタフェース)606、データバッファ607、データ変換部608、第2メディアIF609を有する。
【0227】
制御部601は、メディアを利用したデータ記録再生、メディア間のデータコピー処理等、情報処理装置600において実行するデータ処理の制御を行う、これらの制御は、例えば記憶部604に格納されたプログラム従って行われる。
【0228】
入力部602は、ユーザの操作可能なスイッチ、ボタン、タッチパネル等の入力部であり、再生、コピー、記録等の様々な処理の指示入力などを行う入力部である。
また、入力部602は、メディアに記録する画像や音声等を入力する撮像部、マイクを持つ構成としてもよい。
通信部603は、例えば外部サーバ、あるいは外部機器との通信を行い、メディアに対する記録データや、記録データに関する制御情報、あるいはコピー処理の許可情報の取得など、各種の通信処理に利用される。
【0229】
記憶部604は、制御部601の実行するプログラムや、プログラム実行に用いるパラメータ等の記憶領域、さらにプログラム実行時のワーク領域等に利用される。
具体的には、第2メディア620に対するデータ記録時に第1メディア610から読み出したデータ、あるいは通信部603を介して入力したデータを一時的に格納する領域としても利用される。
記憶部604は、例えばRAM、ROM等によって構成される。
出力部605は、外部装置に対する出力部や、メディアからの再生データの出力部によって構成される。例えば、第2メディア620に対するデータ記録処理の進行状況の表示、ユーザに対するメッセージ表示などに利用され、ディスプレイやスピーカ等を含む。
【0230】
第1メディアインタフェース(IF)606は、例えばBD(Blu−ray(登録商標) Disc)等の第1メディア610に対するアクセスを行い、第1メディア610に対するデータ記録やデータ読み取りを行なうデータ記録再生部として機能するインタフェースである。
【0231】
データバッファ607は、第1メディア610からの読み出しデータや、通信部603から入力するデータを一時的に格納するバッファである。例えば第2メディア620に記録するデータを一時的に格納する。
データ変換部608は、第1メディア610の記録データ、あるいは通信部603を介して入力するデータのフォーマットである第1フォーマットのデータを、データ記録先である第2メディア620に記録する際のデータフォーマットである第2フォーマットに変換するフォーマット変換処理を実行する。
【0232】
第2メディアインタフェース(IF)609は、第2メディア620に対するアクセスを行い、第2メディア620に対するデータ記録あるいは読み取り処理を行なうデータ記録再生部として機能するインタフェースである。
【0233】
このように、情報処理装置600は、第1メディア610、あるいは通信部603を介して入力する第1フォーマットのデータをフラッシュメモリ等の第2メディア620に記録する処理を行なう。この処理の際に、第1フォーマットデータを第2フォーマットデータに変換する処理を行なう。
なお、第1フォーマットとは、例えはMPEG−2TSフォーマットデータであり、第2フォーマットは、MP4フォーマットデータである。
【0234】
なお、情報処理装置600は、第1メディア610から取得出来ないデータを外部のサーバから通信部603を介して取得し、第1メディア610からの読み取りデータと、通信部603を介して取得した受信データを併せて第2メディア620に記録する処理を行なってもよい。
【0235】
また、図24に示す構成において、第1メディア610は、例えば、BD(Blu−ray(登録商標) Disc)である。第2メディア620は、例えばSDカード等のフラッシュメモリである。
なお、第1メディア610、第2メディア620は、上記の組み合わせに限らず、様々な組み合わせが可能である。
【0236】
次に、図25を参照してデータ変換部608の詳細構成について説明する。
図25に示すように、データ変換部608は、データ解析部650、属性情報(PSI/SI)解析部651、画像データ変換部652、音声データ変換部653、字幕データ変換部654、多重化処理実行部655を有する。
【0237】
データ解析部650は、データバッファ607に格納された第1メディア610からの読み出しデータ、または通信部603を介して入力するデータ(パケット)に設定された識別子(PID:プログラムID)に基づいて、各データ(パケット)を、
画像データ、
音声データ、
字幕データ、
属性情報(PSI/SI)、
これら各種類のデータに分類する。
【0238】
データ解析部650は、属性情報(PSI/SI)を属性情報(PSI/SI)解析部651に出力する。さらに画像データを画像データ変換部652に出力し、音声データを音声データ変換部653に出力し、字幕データを字幕データ変換部654に出力する。
【0239】
属性情報(PSI/SI)解析部651は、PSI/SI内のプログラムマップテーブル(PMT)から、エレメンタリストリーム単位の属性情報を取得する。
プログラムマップテーブル(PMT)は、先に図9を参照して説明した構成を有し、この中に例えば図17図19を参照して説明した画像エレメンタリストリームの画像属性情報等が記録されている。
【0240】
PMTに記録されているストリーム(ES)単位の画像属性情報は、例えば、先に図11図16を参照して説明した以下の情報である。
(1)ビデオエレメンタリストリームのタイプ情報(video_stream_type)
(2)ビデオエレメンタリストリームのダイナミックレンジ識別フラグ(video_d_range)
(3)ビデオエレメンタリストリームの転送特性(ガンマ特性)情報(transfer_characteristics)
(4)ビデオエレメンタリストリームの色情報(colour_primaries)
(5)ビデオエレメンタリストリーム属性情報[(2)+(3)+(4)](video_d_range2)
(6)ビデオエレメンタリストリームのYCbCr情報(luma_chroma_signal_format)
【0241】
属性情報(PSI/SI)解析部651は、PSI/SI内のプログラムマップテーブル(PMT)から、例えば上記の各情報を取得し、多重化処理実行部655に出力する。
多重化処理実行部655は、MP4ファイルに格納する画像データに対応するメタデータ記録領域に上記の(1)〜(6)に対応する属性情報を記録したMP4ファィルを生成する。
【0242】
画像データ変換部652、音声データ変換部653、字幕データ変換部654は、入力データのデータフォーマットである第1フォーマット、例えばMPEG−2TSフォーマットデータを、第2メディア620に記録する第2フォーマット、具体的には例えばMP4形式のフォーマットデータに変換する処理を実行する。
【0243】
すなわち、画像データ変換部652は、第2メディア620に対するデータ記録フォーマットであるMP4フォーマットの画像データを生成して多重化処理実行部655に出力する。
音声データ変換部653は、MP4フォーマットの音声データを生成して多重化処理実行部655に出力する。
字幕データ変換部654は、MP4フォーマットの字幕データを生成して多重化処理実行部655に出力する。
【0244】
多重化処理部655は、
(a)画像データ生成部652の生成した第2フォーマット(MP4)形式の画像フォーマットデータ、
(b)音声データ生成部653の生成した第2フォーマット(MP4)形式の音声フォーマットデータ、
(c)字幕データ生成部654の生成した第2フォーマット(MP4)形式の字幕フォーマットデータ、
(d)属性情報(PSI/SI)解析部651が生成した第2フォーマット(MP4)形式のメタデータ、
例えば、これらの各データの多重化処理を実行して、第2フォーマット(MP4)形式の記録データを生成する。
【0245】
多重化処理実行部655の生成データは、第2メディアインタフェース609を介して第2メディア620に記録される。
【0246】
このように、情報処理装置600は、第1メディア610の記録データ、あるいは通信部603を介して入力する第1フォーマット(MPEG−2TSフォーマット)のデータを、第2メディア620の記録フォーマットである第2フォーマット(MP4)に変換して、第2メディア620に記録する処理を実行する。
【0247】
[6−2.データ再生、またはデータ生成、記録処理を実行する情報処理装置の構成例について]
次に、MP4フォーマットデータの再生処理を実行する情報処理装置や、MP4フォーマットデータの生成処理、記録処理等を実行する情報処理装置のハードウェア構成例について、図26を参照して説明する。
【0248】
CPU(Central Processing Unit)701は、ROM(Read Only Memory)702、または記憶部708に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)703には、CPU701が実行するプログラムやデータなどが記憶される。これらのCPU701、ROM702、およびRAM703は、バス704により相互に接続されている。
【0249】
CPU701はバス704を介して入出力インタフェース705に接続され、入出力インタフェース705には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部706、ディスプレイ、スピーカなどよりなる出力部707が接続されている。CPU701は、入力部706から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部707に出力する。
【0250】
入出力インタフェース705に接続されている記憶部708は、例えばハードディスク等からなり、CPU701が実行するプログラムや各種のデータを記憶する。通信部709は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
【0251】
入出力インタフェース705に接続されているドライブ710は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア711を駆動し、データの記録あるいは読み取りを実行する。
【0252】
なお、データの符号化あるいは復号は、データ処理部としてのCPU701の処理として実行可能であるが、符号化処理あるいは復号処理を実行するための専用ハードウェアとしてのコーデックを備えた構成としてもよい。
【0253】
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0254】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) データ処理部が、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得し、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する構成であり、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記データ処理部は、
フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する情報処理装置。
【0255】
(2)前記データ処理部は、
トランスポートストリーム(TS)ファイルを、MP4ファイルに変換するフォーマット変換を実行し、
トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報を取得して、MP4ファイルのメタデータ格納領域に格納する処理を実行する(1)に記載の情報処理装置。
【0256】
(3)前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納されたデータの再生処理を実行し、
トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報を取得して、再生対象データがHDR画像であるか、SDR画像であるかを判別して判別結果に応じた再生制御を行う(1)に記載の情報処理装置。
【0257】
(4)前記画像属性情報は、トランスポートストリーム(TS)ファイル内のPSI/SIデータ内のプログラムマップテーブル(PMT)に記録され、
前記データ処理部は、
プログラムマップテーブル(PMT)から、画像ストリーム単位の画像属性情報を取得する(1)〜(3)いずれかに記載の情報処理装置。
【0258】
(5)トランスポートストリーム(TS)ファイルに格納された画像ストリームが、HDR画像である場合、
前記画像属性情報は、
HDR画像ストリームが基本HDR画像ストリームであるか、拡張HDR画像ストリームであるかを識別可能な情報を含む(1)〜(4)いずれかに記載の情報処理装置。
【0259】
(6)前記画像属性情報は、
トランスポートストリーム(TS)ファイルに格納された画像ストリームの転送特性(ガンマ特性)を識別可能な情報を含む(1)〜(5)いずれかに記載の情報処理装置。
【0260】
(7)前記画像属性情報は、
トランスポートストリーム(TS)ファイルに格納された画像ストリームの色情報を識別可能な情報を含む(1)〜(6)いずれかに記載の情報処理装置。
【0261】
(8)前記画像属性情報は、
トランスポートストリーム(TS)ファイルに格納された画像ストリームのYCbCr情報を識別可能な情報を含む(1)〜(7)いずれかに記載の情報処理装置。
【0262】
(9)トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する情報処理装置。
【0263】
(10)前記データ処理部は、
前記画像属性情報を、トランスポートストリーム(TS)ファイル内のPSI/SIデータ内のプログラムマップテーブル(PMT)に記録する(9)に記載の情報処理装置。
【0264】
(11)トランスポートストリーム(TS)ファイルに格納する画像ストリームが、HDR画像である場合、
前記データ処理部は、
HDR画像ストリームが基本HDR画像ストリームであるか、拡張HDR画像ストリームであるかを識別可能な情報を含む画像属性情報をトランスポートストリーム(TS)ファイルに格納する(9)〜(10)いずれかに記載の情報処理装置。
【0265】
(12)前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリームの転送特性(ガンマ特性)を識別可能な画像属性情報をトランスポートストリーム(TS)ファイルに格納する(9)〜(11)いずれかに記載の情報処理装置。
【0266】
(13)前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリームの色情報を識別可能な画像属性情報をトランスポートストリーム(TS)ファイルに格納する(9)〜(12)いずれかに記載の情報処理装置。
【0267】
(14)前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリームのYCbCr情報を識別可能な画像属性情報をトランスポートストリーム(TS)ファイルに格納する(9)〜(13)いずれかに記載の情報処理装置。
【0268】
(15)トランスポートストリーム(TS)ファイルを記録した情報記録媒体であり、
前記トランスポートストリーム(TS)ファイルは、
トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報を含み、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を記録した構成であり、
前記データ処理部は、
トランスポートストリーム(TS)ファイルを読み取り、フォーマット変換、または出力処理を実行する情報処理装置において、処理対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行することを可能とした情報記録媒体。
【0269】
(16)情報処理装置において実行する情報処理方法であり、
前記情報処理装置のデータ処理部が、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得するファイル取得ステップと、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する処理実行ステップを実行し、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記データ処理部は、前記処理実行ステップにおいて、
フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する情報処理方法。
【0270】
(17)情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記データ処理部は、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する情報処理方法。
【0271】
(18)情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置のデータ処理部に、処理対象データを格納したトランスポートストリーム(TS)ファイルを取得するファイル取得ステップと、
トランスポートストリーム(TS)ファイルに格納された画像属性情報を取得し、
取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する処理実行ステップを実行させ、
前記画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含み、
前記プログラムは、前記処理実行ステップにおいて、
前記データ処理部に、フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行させるプログラム。
【0272】
(19)情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
トランスポートストリーム(TS)ファイルを生成するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
トランスポートストリーム(TS)ファイルに格納する画像ストリーム単位の画像属性情報として、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報をトランスポートストリーム(TS)ファイルに格納する処理を実行させるプログラム。
【0273】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0274】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0275】
以上、説明したように、本開示の一実施例の構成によれば、トランスポートストリーム(TS)ファイルから、画像属性情報を取得して、取得属性に応じた処理を実行する構成が実現される。
具体的には、データ処理部が、処理対象データを格納したTSファイルに格納された画像属性情報を取得し、取得した画像属性情報を適用したフォーマット変換、または出力処理を実行する。画像属性情報は、トランスポートストリーム(TS)ファイルに格納された画像ストリーム単位の画像属性情報であり、少なくとも各画像ストリームがHDR(High Dynamic Range)画像であるか、SDR(Standard Dynamic Range)画像であるかを識別可能とした画像属性情報を含む。データ処理部は、フォーマット変換、または出力処理の対象となる画像ストリームがHDR画像であるか、SDR画像であるかに応じた制御を実行する。
本構成により、トランスポートストリーム(TS)ファイルから、画像属性情報を取得して、取得属性に応じた処理を実行する構成が実現される。
【符号の説明】
【0276】
10 情報記録媒体(メディア)
11 管理情報設定部(AACSディレクトリ)
12 データ部(BDMVディレクトリ)
50 第1メディア
51 トランスポートストリーム(TS)ファイル
60 情報処理装置
61 MP4フォーマットデータファイル
65 第2メディア
70 送信装置
80 トランスポートストリーム(TS)ファイル
90 受信装置
600 情報処理装置
601 制御部
602 入力部
603 通信部
604 記憶部
605 出力部
606 第1メディアインタフェース
607 データバッファ
608 データ変換部
609 第2メディアインタフェース
610 第1メディア
620 第2メディア
650 データ解析部
651 属性情報(PSI/SI)解析部
652 画像データ変換部
653 音声データ変換部
654 字幕データ変換部
655 多重化処理部
701 CPU
702 ROM
703 RAM
704 バス
705 入出力インタフェース
706 入力部
707 出力部
708 記憶部
709 通信部
710 ドライブ
711 リムーバブルメディア
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26