(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】送信装置、送信方法、受信装置および受信方法
(51)【国際特許分類】
H04N 21/236 20110101AFI20231206BHJP
H04N 21/435 20110101ALI20231206BHJP
H04N 21/434 20110101ALI20231206BHJP
【FI】
H04N21/236
H04N21/435
H04N21/434
(21)【出願番号】P 2022151622
(22)【出願日】2022-09-22
(62)【分割の表示】P 2021146098の分割
【原出願日】2017-09-13
【審査請求日】2022-09-26
(31)【優先権主張番号】P 2016180019
(32)【優先日】2016-09-14
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2016200289
(32)【優先日】2016-10-11
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316009762
【氏名又は名称】サターン ライセンシング エルエルシー
【氏名又は名称原語表記】Saturn Licensing LLC
【住所又は居所原語表記】25 Madison Avenue New York,NY,USA
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【審査官】川中 龍太
(56)【参考文献】
【文献】特開2011-249945(JP,A)
【文献】特開2008-010147(JP,A)
【文献】特開2012-044625(JP,A)
【文献】特開2006-287951(JP,A)
【文献】特表2015-534751(JP,A)
【文献】国際公開第2016/125691(WO,A1)
【文献】Digital Video Broadcasting (DVB); Subtitling systems,ETSI EN 300 743,V1.5.1,ETSI,2014年01月31日,pp.19-38,[令和4年8月26日検索], インターネット<https://www.etsi.org/deliver/etsi_en/300700_300799/300743/01.05.01_60/en_300743v010501p.pdf>
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
(57)【特許請求の範囲】
【請求項1】
ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
プログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記サブタイトルストリームは、上記プログレッシブのサブタイトルビットマップデータを表示するための表示領域情報を含む
送信装置。
【請求項2】
ビデオエンコード部が、ビデオデータを持つビデオストリームを生成するステップと、
サブタイトルエンコード部が、プログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを生成するステップと、
送信部が、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信するステップを有し、
上記サブタイトルストリームは、上記プログレッシブのサブタイトルビットマップデータを表示するための表示領域情報を含む
送信方法。
【請求項3】
ビデオデータを持つビデオストリームとプログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記サブタイトルストリームは、上記プログレッシブのサブタイトルビットマップデータを表示するための表示領域情報を含み、
上記ビデオストリームをデコードして上記ビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記プログレッシブのサブタイトルビットマップデータを得る処理と、上記ビデオデータに上記プログレッシブのサブタイトルビットマップデータを重畳して表示用ビデオデータを得る処理を制御する制御部をさらに備える
受信装置。
【請求項4】
上記制御部は、上記ビデオデータに電光変換を行って上記表示用ビデオデータを得る処理を制御する
請求項3に記載の受信装置。
【請求項5】
上記制御部は、上記表示用ビデオデータに対して表示輝度調整を行う処理を制御する
請求項4に記載の受信装置。
【請求項6】
受信部が、ビデオデータを持つビデオストリームとプログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信するステップを有し、
上記サブタイトルストリームは、上記プログレッシブのサブタイトルビットマップデータを表示するための表示領域情報を含み、
制御部が、上記ビデオストリームをデコードして上記ビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記プログレッシブのサブタイトルビットマップデータを取得する処理と、上記ビデオデータに上記プログレッシブのサブタイトルビットマップデータを重畳して表示用ビデオデータを得る処理を制御するステップをさらに有する
受信方法。
【請求項7】
上記制御部が、上記ビデオデータに電光変換を行って上記表示用ビデオデータを得る処理を制御するステップを有する
請求項6に記載の受信方法。
【請求項8】
上記制御部が、上記表示用ビデオデータに対して表示輝度調整を行う処理を制御するステップを有する
請求項7に記載の受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオデータと共にサブタイトルビットマップデータを送信する送信装置等に関する。
【背景技術】
【0002】
従来、例えば、DVB(Digital Video Broadcasting)の放送などでは、サブタイトルデータをビットマップデータで送信する運用が行われている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本技術の目的は、受信側においてビデオデータへのサブタイトルビットマップデータの重畳を良好に行い得るようにすることにある。
【課題を解決するための手段】
【0005】
本技術の概念は、
プログレッシブのビデオデータを持つビデオストリームを生成するビデオエンコード部と、
プログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
【0006】
本技術において、ビデオエンコード部により、プログレッシブのビデオデータを持つビデオストリームが生成される。サブタイトルエンコード部により、プログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームが生成される。そして、送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。
【0007】
例えば、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータがトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータとに分割された状態で存在する、ようにされてもよい。この場合、例えば、サブタイトルストリームには、トップフィールド用データブロックとボトムフィールド用データブロックが存在し、トップフィールドのサブタイトルビットマップデータはトップフィールド用データブロックに配置され、ボトムフィールドのサブタイトルビットマップデータはボトムフィールド用データブロックに配置される、ようにされてもよい。
【0008】
また、例えば、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータが非分割状態で存在する、ようにされてもよい。この場合、例えば、サブタイトルストリームには、トップフィールド用データブロックとボトムフィールド用データブロックが存在し、非分割状態のプログレッシブのサブタイトルビットマップデータは、トップフィールド用データブロックあるいはボトムフィールド用データブロックに配置される、ようにされてもよい。また、この場合、例えば、サブタイトルストリームには、プログレッシブ用データブロックが存在し、非分割状態のプログレッシブのサブタイトルビットマップデータは、プログレッシブ用データブロックに配置される、ようにされてもよい。
【0009】
このように本技術においては、プログレッシブのビデオデータの送信に伴って、プログレッシブのサブタイトルビットマップデータを送信するものである。そのため、受信側においてビデオデータへのサブタイトルビットマップデータの重畳が良好に行われる。
【0010】
なお、本技術において、例えば、ビデオデータは第1の解像度を有し、サブタイトルビットマップデータは第1の解像度より低い第2の解像度を有し、サブタイトルストリームのレイヤに、サブタイトルビットマップデータに座標変換および解像度変換を施した後にビデオデータに重畳するように指示する識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、この識別情報に基づいて、サブタイトルビットマップデータは、座標変換および解像度変換が施された後にビデオデータに重畳され、ビデオデータへのサブタイトルビットマップデータの重畳が良好に行われる。
【0011】
また、本技術の他の概念は、
プログレッシブのビデオデータを持つビデオストリームとプログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードして上記プログレッシブのビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記プログレッシブのサブタイトルビットマップデータを得る処理と、上記プログレッシブのビデオデータに上記プログレッシブのサブタイトルビットマップデータを重畳して表示用ビデオデータを得る処理を制御する制御部を備える
受信装置にある。
【0012】
本技術において、受信部により、プログレッシブのビデオデータを持つビデオストリームとプログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。そして、制御部により、ビデオストリームをデコードしてプログレッシブのビデオデータを得る処理と、サブタイトルストリームをデコードしてプログレッシブのサブタイトルビットマップデータを得る処理と、プログレッシブのビデオデータにプログレッシブのサブタイトルビットマップデータを重畳して表示用ビデオデータを得る処理が制御される。
【0013】
例えば、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータがトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータとに分割された状態で存在し、プログレッシブのサブタイトルビットマップデータを得る処理では、サブタイトルストリームをデコードして得られたトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータを合成してプログレッシブのサブタイトルビットマップデータを得る、ようにされてもよい。
【0014】
また、例えば、サブタイトルストリームには、トップフィールド用データブロックとボトムフィールド用データブロックが存在し、プログレッシブのサブタイトルビットマップデータを得る処理では、トップフィールド用データブロックあるいはボトムフィールド用データブロックに挿入されている非分割状態のプログレッシブのサブタイトルビットマップオデータを得る、ようにされてもよい。
【0015】
また、例えば、サブタイトルストリームには、プログレッシブ用データブロックが存在し、プログレッシブのサブタイトルビットマップデータを得る処理では、プログレッシブ用データブロックに挿入されている非分割状態のプログレッシブのサブタイトルビットマップオデータを得る、ようにされてもよい。
【0016】
このように本技術においては、サブタイトルストリームをデコードして得られたプログレッシブのサブタイトルビットマップデータを、プログレッシブのビデオデータに重畳して表示用ビデオデータを得るものである。そのため、ビデオデータへのサブタイトルビットマップデータの重畳が良好に行われる。
【0017】
また、本技術の他の概念は、
第1の解像度のビデオデータを持つビデオストリームを生成するビデオエンコード部と、
上記第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤに、上記サブタイトルビットマップデータに座標変換および解像度変換を施した後に上記ビデオデータに重畳するように指示する識別情報を挿入する識別情報挿入部を備える
送信装置にある。
【0018】
本技術において、ビデオエンコード部により、第1の解像度のビデオデータを持つビデオストリームが生成される。サブタイトルエンコード部により、第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームが生成される。そして、送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。例えば、第1の解像度はUHD解像度であり、第2の解像度はHD解像度である、ようにされてもよい。
【0019】
識別情報挿入部により、サブタイトルストリームのレイヤに、サブタイトルビットマップデータに座標変換および解像度変換を施した後にビデオデータに重畳するように指示する識別情報が挿入される。例えば、コンテナのレイヤに、サブタイトルビットマップデータを重畳するビデオデータが有する第1の解像度の情報を挿入する解像度情報挿入部をさらに備える、ようにされてもよい。また、例えば、識別情報挿入部は、識別情報を、ディスプレイ・ディフィニション・セグメントに挿入する、ようにされてもよい。また、例えば、識別情報挿入部は、サブタイトルストリームに、識別情報としてのセグメントを挿入する、ようにされてもよい。この場合、例えば、識別情報としてのセグメントは、変換倍率の情報を含む、ようにされてもよい。
【0020】
このように本技術においては、サブタイトルストリームのレイヤに、サブタイトルビットマップデータに座標変換および解像度変換を施した後にビデオデータに重畳するように指示する識別情報を挿入するものである。そのため、受信側では、この識別情報に基づいて、サブタイトルビットマップデータを、座標変換および解像度変換を施した後にビデオデータに重畳することになり、ビデオデータへのサブタイトルビットマップデータの重畳が良好に行われる。
【0021】
また、本技術の他の概念は、
第1の解像度のビデオデータを持つビデオストリームと上記第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記サブタイトルストリームのレイヤには、上記サブタイトルビットマップデータを座標変換および解像度変換を行った後に上記ビデオデータに重畳することを指示する識別情報が挿入されており、
上記ビデオストリームをデコードして上記ビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記サブタイトルビットマップデータを得る処理と、上記サブタイトルビットマップデータを上記識別情報に基づいて座標変換および解像度変換を行った後に上記ビデオデータに重畳して表示用ビデオデータを得る処理を制御する制御部をさらに備える
受信装置にある
【0022】
本技術において、受信部により、第1の解像度のビデオデータを持つビデオストリームとこの第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。サブタイトルストリームのレイヤには、サブタイトルビットマップデータを座標変換および解像度変換を行った後にビデオデータに重畳することを指示する識別情報が挿入されている。
【0023】
制御部により、ビデオストリームをデコードしてビデオデータを得る処理と、サブタイトルストリームをデコードしてサブタイトルビットマップデータを得る処理と、サブタイトルビットマップデータを識別情報に基づいて座標変換および解像度変換を行った後にビデオデータに重畳して表示用ビデオデータを得る処理が制御される。
【0024】
このように本技術においては、第2の解像度のサブタイトルビットマップデータを、座標変換および解像度変換を施した後に第1の解像度のビデオデータに重畳して表示用ビデオデータを得るものである。そのため、ビデオデータへのサブタイトルビットマップデータの重畳が良好に行われる。
【発明の効果】
【0025】
本技術によれば、受信側においてビデオデータへのサブタイトルビットマップデータの重畳を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0026】
【
図1】実施の形態としての送受信システムの構成例を示すブロック図である。
【
図2】プログレッシブのサブタイトルビットマップデータを伝送するための方法1,2を説明するための図である。
【
図3】プログレッシブのサブタイトルビットマップデータを伝送するための方法3,4を説明するための図である。
【
図4】UHD解像度のビデオデータに重畳するHD解像度のサブタイトルビットマップデータに施す座標変換および解像度変換を説明するための図である。
【
図6】オブジェクト・データ・セグメントの構造例を示す図である。
【
図7】オブジェクト・データ・セグメントの構造例と、その構造例における主要な情報の内容を示す図である。
【
図8】ディスプレイ・ディフィニション・セグメントの構造例と、その構造例における主要な情報の内容を示す図である。
【
図9】コンポーネント・デスクリプタの重要な要素である「component_type」の各値と、それで識別されるサブタイトルビットマップデータの対応関係を示す図である。
【
図10】トランスポートストリームTSの構成例を示す図である。
【
図11】受信装置の構成例を示すブロック図である。
【
図12】座標・解像度変換部における処理の一例を示すフローチャートである。
【
図13】レンダリング・ガイド・セグメントの構造例と、その構造例における主要な情報の内容を示す図である。
【発明を実施するための形態】
【0027】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0028】
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
【0029】
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、UHD解像度でプログレッシブのビデオデータ(画像データ)を持つビデオストリームが含まれる。ここで、UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである。
【0030】
また、このトランスポートストリームTSには、HD解像度でプログレッシブのサブタイトルビットマップデータ(字幕データ)を持つサブタイトルストリームが含まれる。この実施の形態で、プログレッシブのサブタイトルビットマップデータは、方法1、方法2、方法3、方法4のいずれかの方法で伝送される。
【0031】
「方法1の説明」
方法1について説明する。この方法1の場合、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータがトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータとに分割された状態で存在する。
【0032】
図2(a)は、この方法1による伝送を概略的に示している。この場合、サブタイトルストリーム内の符号化字幕伝送フォーマットであるODS(Object_data_segment)には、トップフィールド用データブロックと、ボトムフィールド用データブロックが存在する。そして、トップフィールドのサブタイトルビットマップデータはトップフィールド用データブロックに配置され、ボトムフィールドのサブタイトルビットマップデータはボトムフィールド用データブロックに配置される。
【0033】
この場合、トップフィールド用データブロックとボトムフィールド用データブロックの双方にサブタイトルビットマップデータが配置されることから、受信側では、双方のブロックのサブタイトルビットマップデータを合成することで、プログレッシブのサブタイトルビットマップデータが構成されると認識される。
【0034】
受信側では、各ブロックからトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータがそれぞれ取り出されて合成され、サブタイトル(字幕)表示のためのプログレッシブのサブタイトルビットマップデータが得られる。このプログレッシブのサブタイトルビットマップデータがプログレッシブのビデオデータに重畳されて、表示用ビデオデータが得られる。
【0035】
「方法2の説明」
方法2について説明する。この方法2の場合、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータがまとまったひとつの状態、つまり非分割状態で存在する。
【0036】
図2(b)は、この方法2による伝送を概略的に示している。この場合、サブタイトルストリーム内の符号化字幕伝送フォーマットであるODS(Object_data_segment)には、トップフィールド用データブロックと、ボトムフィールド用データブロックが存在する。そして、非分割状態のプログレッシブのサブタイトルビットマップデータはトップフィールド用データブロックに配置される。この場合、ボトムフィールド用データブロックには、サブタイトルビットマップデータが配置されない。
【0037】
この場合、トップフィールド用データブロックのみにサブタイトルビットマップデータが配置され、ボトムフィールド用データブロックにはサブタイトルビットマップデータが配置されていないことから、受信側では、トップフィールド用データブロックに配置されたサブタイトルビットマップデータのみでプログレッシブのサブタイトルビットマップデータが構成されると認識される。
【0038】
受信側では、トップフィールド用データブロックから非分割状態のプログレッシブのサブタイトルビットマップデータが取り出され、それがそのまま、サブタイトル(字幕)表示のためのプログレッシブのサブタイトルビットマップデータとなる。このプログレッシブのサブタイトルビットマップデータがプログレッシブのビデオデータに重畳されて、表示用ビデオデータが得られる。
【0039】
「方法3の説明」
方法3について説明する。この方法3の場合、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータがまとまったひとつの状態、つまり非分割状態で存在する。
【0040】
図3(c)は、この方法3による伝送を概略的に示している。この場合、サブタイトルストリーム内の符号化字幕伝送フォーマットであるODS(Object_data_segment)には、トップフィールド用データブロックと、ボトムフィールド用データブロックが存在する。そして、非分割状態のプログレッシブのサブタイトルビットマップデータはボトムフィールド用データブロックに配置される。この場合、トップフィールド用データブロックには、サブタイトルビットマップデータが配置されない。
【0041】
この場合、ボトムフィールド用データブロックのみにサブタイトルビットマップデータが配置され、トップフィールド用データブロックにはサブタイトルビットマップデータが配置されていないことから、受信側では、ボトムフィールド用データブロックに配置されたサブタイトルビットマップデータのみでプログレッシブのサブタイトルビットマップデータが構成されると認識される。
【0042】
受信側では、ボトムフィールド用データブロックから非分割状態のプログレッシブのサブタイトルビットマップデータが取り出され、それがそのまま、サブタイトル(字幕)表示のためのプログレッシブのサブタイトルビットマップデータとなる。このプログレッシブのサブタイトルビットマップデータがプログレッシブのビデオデータに重畳されて、表示用ビデオデータが得られる。
【0043】
「方法4の説明」
方法4について説明する。この方法4の場合、サブタイトルストリームには、プログレッシブのサブタイトルビットマップデータがまとまったひとつの状態、つまり非分割状態で存在する。
【0044】
図3(d)は、この方法4による伝送を概略的に示している。この場合、サブタイトルストリーム内の符号化字幕伝送フォーマットであるODS(Object_data_segment)には、プログレッシブ用データブロックが存在する。そして、非分割状態のプログレッシブのサブタイトルビットマップデータはプログレッシブ用データブロックに配置される。
【0045】
この場合、プログレッシブ用データブロックが存在し、このブロックにサブタイトルビットマップデータが配置されることから、受信側では、プログレッシブ用データブロックに配置されたサブタイトルビットマップデータのみでプログレッシブのサブタイトルビットマップデータが構成されると認識される。
【0046】
受信側では、プログレッシブ用データブロックから非分割状態のプログレッシブのサブタイトルビットマップデータが取り出され、それがそのまま、サブタイトル(字幕)表示のためのプログレッシブのサブタイトルビットマップデータとなる。このプログレッシブのサブタイトルビットマップデータがプログレッシブのビデオデータに重畳されて、表示用ビデオデータが得られる。
【0047】
図1に戻って、サブタイトルストリームのレイヤには、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報が挿入される。このようにHD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施すことで、UHD解像度のビデオ画面の正しい位置にサブタイトル(字幕)を表示させることが可能となる。
【0048】
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを受信する。受信装置200は、ビデオストリームをデコードしてUHD解像度でプログレッシブのビデオデータを得る。また、受信装置200は、サブタイトルストリームをデコードしてHD解像度でプログレッシブのサブタイトルビットマップデータを得る。この場合、プログレッシブのサブタイトルビットマップデータの伝送方法により、デコードの処理が変わる。
【0049】
方法1の場合には、受信装置200は、トップフィールド用データブロックとボトムフィールド用データブロックの双方にサブタイトルビットマップデータが配置されることから、双方のブロックのサブタイトルビットマップデータを合成することで、プログレッシブのサブタイトルビットマップデータを構成し得ると認識する。
【0050】
この場合、サブタイトルストリームがデコードされて、トップフィールド用データブロックからトップフィールドのサブタイトルビットマップデータが取り出されると共に、ボトムフィールド用データブロックからボトムフィールドのサブタイトルビットマップデータが取り出される。そして、トップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータが合成されて、プログレッシブのサブタイトルビットマップデータが得られる。
【0051】
方法2の場合には、受信装置200は、トップフィールド用データブロックのみにサブタイトルビットマップデータが配置されることから、トップフィールド用データブロックに配置されたサブタイトルビットマップデータのみでプログレッシブのサブタイトルビットマップデータを構成し得ると認識する。この場合、サブタイトルストリームがデコードされて、トップフィールド用データブロックからサブタイトルビットマップデーが取り出されることで、プログレッシブのサブタイトルビットマップデータが得られる。
【0052】
方法3の場合には、受信装置200は、ボトムフィールド用データブロックのみにサブタイトルビットマップデータが配置されることから、ボトムトップフィールド用データブロックに配置されたサブタイトルビットマップデータのみでプログレッシブのサブタイトルビットマップデータを構成し得ると認識する。この場合、サブタイトルストリームがデコードされて、ボトムフィールド用データブロックからサブタイトルビットマップデーが取り出されることで、プログレッシブのサブタイトルビットマップデータが得られる。
【0053】
方法4の場合には、受信装置200は、プログレッシブブ用データブロックに配置されたサブタイトルビットマップデータのみでプログレッシブのサブタイトルビットマップデータを構成し得ると認識する。この場合、サブタイトルストリームがデコードされて、プログレッシブブ用データブロックからサブタイトルビットマップデーが取り出されることで、プログレッシブのサブタイトルビットマップデータが得られる。
【0054】
サブタイトルストリームのレイヤには、上述したようにHD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報が挿入されている。受信装置200は、上述したように得られたプログレッシブのサブタイトルビットマップデータを、識別情報に基づいて座標変換および解像度変換を行った後に、プログレッシブのビデオデータに重畳して、表示用ビデオデータを得る。
【0055】
図4(a)は、サブタイトルビットマップデータに座標変換および解像度変換を行わないでそのまま用いた場合を示している。この場合、UHD解像度のビデオ画面に、HD解像度のサブタイトル(字幕)が、HDの表示位置で重畳(オーバーレイ)された状態となり、UHDとHDの座標幅の違いから、サブタイトル(字幕)は、正しい位置に表示されない。なお、「R」は、リファレンスポイント(原点)を示している。また、「p0」は、リージョンの開始点である左上の点を示している。「q0」は、リージョンの終了点である右下の点を示している。
【0056】
図4(b)は、サブタイトルビットマップデータに座標変換および解像度変換を行った後に用いた場合を示している。この場合、UHD解像度のビデオ画面に、UHD解像度のサブタイトル(字幕)が、UHDの表示位置で重畳(オーバーレイ)された状態となり、サブタイトル(字幕)は、正しい位置に表示される。
【0057】
この場合、座標変換により、リージョンの開始点「p1」の座標は、p1(x、y)=p0(x、y)*Nのように変換され、リージョンの終了点「q1」の座標は、q1(x、y)=q0(x、y)*Nのように変換される。ここで、「N」は、UHD解像度とHD解像度の比を示し、UHD解像度が4K解像度ある場合には、N=2である。
【0058】
また、この場合、サブタイトルビットマップデータに対して、当該「N」の値が用いられて水平および垂直のスケーリング処理がされ、HD解像度のサブタイトルビットマップデータはUHD解像度のサブタイトルビットマップデータに変換される。
【0059】
「送信装置の構成例」
図5は、送信装置100の構成例を示している。この送信装置100は、制御部101と、カメラ102と、ビデオ光電変換部103と、RGB/YCbCr変換部104と、ビデオエンコーダ105と、サブタイトル発生部106と、ビットマップデータ発生部107と、サブタイトルエンコーダ108と、システムエンコーダ109と、送信部110を有している。
【0060】
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。カメラ102は、被写体を撮像してUHD解像度でプログレッシブのビデオデータ(画像データ)を出力する。ビデオ光電変換部103は、カメラ102で得られたビデオデータに対して、光電変換を施して、ビデオデータV1を得る。
【0061】
RGB/YCbCr変換部104は、ビデオデータV1をRGBドメインからYCbCr(輝度・色差)ドメインに変換する。ビデオエンコーダ105は、YCbCrドメインに変換されたビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化を施し、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSを生成する。
【0062】
サブタイトル発生部106は、サブタイトル情報としてのテキストデータ(文字コード)DTを発生する。ビットマップデータ発生部107は、サブタイトル発生部106で発生されるテキストデータDTを入力し、HD解像度でプログレッシブのサブタイトルビットマップデータを発生する。サブタイトルエンコーダ108は、サブタイトルビットマップデータと表示制御情報を種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSを生成する。
【0063】
プログレッシブのサブタイトルビットマップデータは、オブジェクト・データ・セグメント(Object_data_segment)を利用して、上述の第1~第4の方法のいずれかで伝送される。
図6、
図7(a)は、オブジェクト・データ・セグメントの構造例(Syntax)を示している。
図7(b)は、その構造例における主要な情報の内容(Semantics)を示している。
【0064】
「object_coding_method」の2ビットフィールドは、オブジェクトのタイプによりビットマップデータであるかテキストデータであるかを示す。“00”はビットマップデータを示し、“01”はテキストデータを示す。また、この実施の形態において、ビットマップデータを示すものとして、インターレースビデオに対する“00”の他に、プログレッシブビデオに対する“11”を新規定義する。
【0065】
「object_coding_method」が“00”であるとき、「top_field_data_block_length」の16ビットフィールドが存在する。そして、「top_field_data_block_length」で示される数だけ「pixel-data_sub-block()」のブロック、つまりトップフィールド用データブロックが繰り返し存在する。
【0066】
また、「object_coding_method」が“00”であるとき、「bottom_field_data_block_length」の16ビットフィールドが存在する。そして、「bottom_field_data_block_length」で示される数だけ「pixel-data_sub-block()」のブロック、つまりボトムフィールド用データブロックが繰り返し存在する。
【0067】
「8_stuff_bits」の8ビットフィールドは、8ビットのバイトアラインがされていない場合に、8ビットになるようにスタッフィングビットを追加するためのフィールドである。
【0068】
プログレッシブのサブタイトルビットマップデータは、上述の第1~第3の方法で伝送される場合、「object_coding_method」は“00”とされ、上述のトップフィールド用データブロックおよび/またはボトムフィールド用データブロックに配置される。
【0069】
すなわち、第1の方法で伝送される場合、プログレッシブのサブタイトルビットマップデータがトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータとに分割され、トップフィールドのサブタイトルビットマップデータはトップフィールド用データブロックに配置され、ボトムフィールドのサブタイトルビットマップデータはボトムフィールド用データブロックに配置される。
【0070】
また、第2の方法で伝送される場合、プログレッシブのサブタイトルビットマップデータが非分割状態におかれ、この非分割状態プログレッシブのサブタイトルビットマップデータの全体がトップフィールド用データブロックに配置される。この場合、「bottom_field_data_block_length」は0とされ、ボトムフィールド用データブロックにはサブタイトルビットマップデータが配置されないことが示される。
【0071】
また、第3の方法で伝送される場合、プログレッシブのサブタイトルビットマップデータが非分割状態におかれ、この非分割状態プログレッシブのサブタイトルビットマップデータの全体がボトムフィールド用データブロックに配置される。この場合、「top_field_data_block_length」は0とされ、トップフィールド用データブロックにはサブタイトルビットマップデータが配置されないことが示される。
【0072】
また、「object_coding_method」が“11”であるとき、「progressive_frame_data_block_length」の16ビットフィールドが存在する。そして、「progressive_frame_data_block_length」で示される数だけ「pixel-data_sub-block()」のブロック、つまりプログレッシブ用データブロックが繰り返し存在する。「8_stuff_bits」の8ビットフィールドは、8ビットのバイトアラインがされていない場合に、8ビットになるようにスタッフィングビットを追加するためのフィールドである。
【0073】
プログレッシブのサブタイトルビットマップデータは、上述の第4の方法で伝送される場合、「object_coding_method」は“11”とされ、上述のプログレッシブ用データブロックに配置される。すなわち、プログレッシブのサブタイトルビットマップデータが非分割状態におかれ、この非分割状態プログレッシブのサブタイトルビットマップデータの全体がプログレッシブ用データブロックに配置される。
【0074】
HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報は、ディスプレイ・ディフィニション・セグメント(display_difinition_segment)に含まれる。
【0075】
図8(a)は、ディスプレイ・ディフィニション・セグメントの構造例(Syntax)を示している。
図8(b)は、その構造例における主要な情報の内容(Semantics)を示している。「display_window_flag」の1ビットフィールドは、ウインドウの定義があるか否かを示す。“1”は、ウインドウの定義があることを示す。“0”は、ウインドウの定義がないことを示す。
【0076】
「display_rendering_type」の2ビットフィールドが“11”であるとき、オーバーレイ表示対象のビデオ座標に合わせてサブタイトル(字幕)の表示位置を変換させることを示す。つまり、「display_rendering_type」の“11”は、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報となる。
【0077】
「display_width」の16ビットフィールドと「display_height」の16ビットフィールドは、サブタイトルビットマップデータの解像度を示す。例えば、「display_width」は、HD解像度であるときは1920を示し、UHD解像度に含まれる4K解像度であるときは3820を示す。また、例えば、「display_height」は、HD解像度であるときは1080を示し、UHD解像度に含まれる4K解像度であるときは2160を示す。
【0078】
「display_window_flag」=“1”であるとき、ウインドウの領域を示すフィールドが存在する。すなわち、「display_window_horizontal_position_minimum」の16ビットフィールド、「display_window_horizontal_position_maximum」の16ビットフィールド、「display_window_vertical_position_minimum」の16ビットフィールド、「display_window_vertical_position_maximum」の16ビットフィールドが存在する。
【0079】
「display_window_horizontal_position_minimum」および「display_window_vertical_position_minimum」のフィールドは、ウインドウの開始点の座標を示す。「display_window_horizontal_position_maximum」および「display_window_vertical_position_maximum」のフィールドは、ウインドウの終了点の座標を示す。
【0080】
図5に戻って、システムエンコーダ109は、ビデオエンコーダ105で生成されたビデオストリームVSと、サブタイトルエンコーダ108で生成されたサブタイトルストリームSSを含むトランスポートストリームTSを生成する。送信部110は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
【0081】
このとき、システムエンコーダ109は、コンテナとしてのトランスポートストリームTSのレイヤに、サブタイトルビットマップデータを重畳するビデオデータの解像度情報を挿入する。具体的には、システムエンコーダ109は、イベント・インフォメーション・テーブル(EIT:Event Information Table)内のコンポーネント・デスクリプタ(Component_descriptor)に、この解像度情報を挿入する。
【0082】
このコンポーネント・デスクリプタの重要な要素として、「stream_content」、「component_type」がある。
図9は、「component_type」の各値と、それで識別されるサブタイトルビットマップデータの対応関係を示している。なお、「stream_content」が“0x03”であるとき、DVBのサブタイトルであることが示される。
【0083】
そして、例えば、「component_type」が“0x16”であるとき、UHD(Ultra High definition)モニタのためのDVBサブタイトルであることが示される。また、例えば、「component_type」が“0x26”であるとき、UHD(Ultra High definition)モニタのためのDVBサブタイトル(聴覚障碍者向け)であることが示される。この実施の形態においては、「component_type」が“0x16”あるいは“0x26”とされ、UHD解像度モニタのためのDVBサブタイトルであることが示される。このことは、サブタイトルビットマップデータを重畳するビデオデータの解像度がUHD解像度であることを示すものである。
【0084】
「トランスポートストリームTSの構成例」
図10は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES1」が存在する。また、この構成例では、PID2で識別されるサブタイトルストリームのPESパケット「Subtitle PES2」が存在する。
【0085】
ビデオストリームのPESパケットには、ビデオ符号化ストリームが挿入されている。また、サブタイトルストリームのPESパケットには、サブタイトルのビットマップデータと表示制御情報を含む種々のセグメントが挿入されている。
【0086】
サブタイトルビットマップデータが含まれるオブジェクト・データ・セグメント(ODS)には、「object_coding_method」のフィールドが存在し、オブジェクト符号化の対象が示されている。また、ディスプレイ・ディフィニション・セグメント(DDS)には、「display_rendering_type」のフィールドが存在し、“11”とされて、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報となる。
【0087】
また、ページ・コンポジション・セグメント(PCS)には、「region_horizontal_address」および「region_vertical_address」のフィールドが存在し、リージョン(Region)の開始位置の座標が示される。また、リージョン・コンポジション・セグメント(RCS)には、「region_width」および「resion_height」のフィールドが存在し、リージョンの水平、垂直のサイズが示される。
【0088】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
【0089】
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES1 loop)と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ(Subtitle ES2 loop)が存在する。
【0090】
ビデオエレメンタリストリーム・ループ(video ES1 loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値“0x24”に設定され、PID情報はビデオストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
【0091】
サブタイトルエレメンタリストリーム・ループ(Subtitle ES2 loop)には、サブタイトルストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、PID情報はサブタイトルストリームのPESパケット「Subtitle PES2」に付与されるPID2を示すものとされる。
【0092】
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。このEITには、番組単位のメタデータが記載される。このEITの配下に、ビデオデータの解像度情報としての「component_type」の要素(
図9参照)を持つコンポーネント・デスクリプタ(Component_descriptor)が挿入される。この実施の形態では、「component_type」は、“0x16”あるいは“0x26”とされ、UHD解像度解像度モニタのためのDVBサブタイトルであることが示され、従って、サブタイトルビットマップデータを重畳するビデオデータの解像度がUHD解像度であることが示される。
【0093】
なお、サブタイトルエレメンタリストリーム・ループ(Subtitle ES2 loop)には、ストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このデスクリプタは、このサブタイトルエレメンタリストリーム・ループと、EIT配下のコンポーネント・デスクリプタとをコンポーネントタグタグ「Component_tag」で対応付けるものである。
【0094】
図5に示す送信装置100の動作を簡単に説明する。カメラ102で撮像されて得られたUHD解像度でプログレッシブのビデオデータ(画像データ)は、ビデオ光電変換部103に供給される。ビデオ光電変換部103では、ビデオデータに対して、光電変換が施されて、ビデオデータV1が得られる。
【0095】
ビデオ光電変換部103で得られたビデオデータV1は、RGB/YCbCr変換部104でRGBドメインからYCbCr(輝度・色差)ドメインに変換された後に、ビデオエンコーダ105に供給される。ビデオエンコーダ105では、このビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどのエンコード処理が施されて、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSが生成される。
【0096】
サブタイトル発生部106では、サブタイトル情報としてのテキストデータ(文字コード)DTが発生される。このテキストデータDTはビットマップデータ発生部107に供給される。ビットマップデータ発生部107では、テキストデータDTに基づいて、HD解像度でプログレッシブのサブタイトルビットマップデータが発生される。
【0097】
このサブタイトルのビットマップデータは、サブタイトルエンコーダ108に供給される。サブタイトルエンコーダ108では、サブタイトルのビットマップデータと表示制御情報が種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたPESパケットで構成されるサブタイトルストリームSSが生成される。
【0098】
プログレッシブのサブタイトルビットマップデータは、オブジェクト・データ・セグメント(ODS)(
図6、
図7参照)を利用して、第1~第4の方法のいずれかで伝送される。また、ディスプレイ・ディフィニション・セグメント(DDS)(
図8参照)には、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報(「display_rendering_type」=“11”)が挿入される。
【0099】
ビデオエンコーダ105で生成されるビデオストリームVSは、システムエンコーダ109に供給される。サブタイトルエンコーダ108で生成されたサブタイトルストリームSSは、システムエンコーダ109に供給される。システムエンコーダ109では、ビデオストリームVSとサブタイトルストリームSSを含むトランスポートストリームTSが生成される。
【0100】
このとき、システムエンコーダ109では、イベント・インフォメーション・テーブルに、サブタイトルビットマップデータを重畳するビデオデータの解像度情報(「component_type」の要素)を有するコンポーネント・デスクリプタが挿入される。
【0101】
システムエンコーダ109で生成されたトランスポートストリームTSは、送信部110により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
【0102】
「受信装置の構成例」
図11は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、サブタイトルデコーダ205と、座標・解像度変換部206を有している。また、受信装置200は、ビデオ重畳部208と、YCbCr/RGB変換部209と、電光変換部210と、表示マッピング部211と、CEモニタ212と、ユーザ操作部213を有している。
【0103】
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。ユーザ操作部213は、視聴者などのユーザが種々の操作を行うためのスイッチ、タッチパネル、リモコン送信部などである。
【0104】
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSから、ビデオストリームVSとサブタイトルストリームSSを抽出する。
【0105】
また、システムデコーダ203は、トランスポートストリームTS(コンテナ)に挿入されている種々の情報を抽出し、制御部201に送る。この抽出情報には、サブタイトルビットマップデータを重畳するビデオデータの解像度情報を持つコンポーネント・デスクリプタも含まれる。これにより、制御部201は、ビデオデータの解像度を認識する。なお、ビデオデータの解像度は、ビデオデコーダ204で抽出される情報からも認識可能である。
【0106】
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSに対してデコード処理を行って、UHD解像度でプログレッシブの伝送ビデオデータV1を出力する。上述したように、UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである。
【0107】
また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージなどの種々の情報を抽出し、制御部201に送る。
【0108】
サブタイトルデコーダ205は、サブタイトルストリームSSにデコード処理を施して、HD解像度でプログレッシブのサブタイトルビットマップデータを得る。この場合、プログレッシブのサブタイトルビットマップデータの伝送方法が方法1~方法4のいずれであるかにより、デコードの処理が変わる。
【0109】
例えば、方法1の場合には、トップフィールド用データブロックからトップフィールドのサブタイトルビットマップデータが取り出されると共に、ボトムフィールド用データブロックからボトムフィールドのサブタイトルビットマップデータが取り出される。そして、トップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータが合成されて、プログレッシブのサブタイトルビットマップデータが得られる。
【0110】
方法2の場合には、トップフィールド用データブロックからサブタイトルビットマップデーが取り出されることで、プログレッシブのサブタイトルビットマップデータが得られる。方法3の場合には、ボトムフィールド用データブロックからサブタイトルビットマップデーが取り出されることで、プログレッシブのサブタイトルビットマップデータが得られる。方法4の場合には、プログレッシブブ用データブロックからサブタイトルビットマップデーが取り出されることで、プログレッシブのサブタイトルビットマップデータが得られる。
【0111】
また、サブタイトルデコーダ205は、サブタイトルストリームSSに挿入されている種々の情報を抽出し、制御部201に送る。この抽出情報には、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報(「display_rendering_type」=“11”)が含まれる。また、この抽出情報には、リージョンの開始位置の座標、リージョンの水平、垂直のサイズなどの情報も含まれる。
【0112】
座標・解像度変換部206は、上述の識別情報(HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報)に基づいた制御部201の制御のもと、サブタイトルデコーダ205で得られたプログレッシブのサブタイトルビットマップデータに対して座標変換および解像度変換の処理をする。
【0113】
この場合、
図4(b)に示すように、リージョンの開始点「p1」の座標は、p1(x、y)=p0(x、y)*Nのように変換され、リージョンの終了点「q1」の座標は、q1(x、y)=q0(x、y)*Nのように変換される。ここで、「N」は、UHD解像度とHD解像度の比を示し、UHD解像度が4K解像度であるときは、N=2である。
【0114】
また、この場合、サブタイトルビットマップデータに対して、当該「N」の値が用いられて水平および垂直のスケーリング処理がされ、HD解像度のサブタイトルビットマップデータはUHD解像度のサブタイトルビットマップデータに変換される。
【0115】
図12のフローチャートは、座標・解像度変換部206における処理の一例を示している。なお、ここでは、制御部201における関連する処理も、座標・解像度変換部206の処理として説明する。
【0116】
座標・解像度変換部206は、ステップST1において、処理を開始する。次に、座標・解像度変換部206は、ステップST2において、ビデオの画枠、つまりビデオデータの解像度を検知する。ビデオデータの解像度の情報は、ビデオストリームのパラメータセット(SPS)から検知可能である。あるいは、ビデオデータの解像度の情報は、コンポーネント・デスクリプタの「component_type」の要素からも検知可能である。この実施の形態では、UHD解像度と検知される。
【0117】
次に、座標・解像度変換部206は、ステップST3において、サブタイトルビットマップデータの解像度、つまりサブタイトルの表示領域を検出する。サブタイトルの表示領域(display_width,display_height)は、ディスプレイ・ディフィニション・セグメント(DDS)から検知可能である。この実施の形態では、HD解像度と検知される。
【0118】
次に、座標・解像度変換部206は、ステップST4において、ビデオデータの解像度がUHD解像度であるか否かを判断する。UHD解像度でないと判断するとき、座標・解像度変換部206は、ステップST5において、処理を終了する。
【0119】
UHD解像度であると判断するとき、座標・解像度変換部206は、ステップST6において、「display_rendering_type」を検知する。そして、座標・解像度変換部206は、ステップST7において、「display_rendering_type」が“11”であるか否かを判断する。「display_rendering_type」が“11”でないと判断するとき、座標・解像度変換部206は、ステップST5において、処理を終了する。
【0120】
「display_rendering_type」が“11”であると判断するとき、座標・解像度変換部206は、ステップST8において、ビデオ画枠におけるリージョンの位置座標値を、HD表示領域起点RからのHD座標値をN倍した座標値とする(
図4(b)参照)。また、このリージョンの位置座標値の変換に併せて、解像度をHDからUHDに変換する。なお、ビットマップデータをCLUT出力した後の字幕データのうち、ビデオ重畳の際の混合比率を表す値について、解像度変換後もCLUT指定された値を維持するように処理を行う。
【0121】
座標・解像度変換部206は、ステップST8の処理の後、ステップST5において、処理を終了する。
【0122】
図11に戻って、ビデオ重畳部208は、ビデオデコーダ204で得られたUHD解像度でプログレッシブのビデオデータV1に、座標・解像度変換部206を介して得られたUHD解像度でプログレッシブのサブタイトルビットマップデータを重畳する。
【0123】
YCbCr/RGB変換部209は、サブタイトルビットマップデータが重畳されたUHD解像度でプログレッシブのビデオデータV1´をYCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部210は、RGBドメインに変換された伝送ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。
【0124】
表示マッピング部211は、表示用ビデオデータに対して、CEモニタ212の最大輝度表示能力などに応じた表示輝度調整を行う。CEモニタ212は、表示用ビデオデータに基づいて画像を表示する。このCEモニタ212は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成される。
【0125】
図11に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、ビデオストリームVSおよびサブタイトルストリームSSが抽出される。
【0126】
また、システムデコーダ203では、トランスポートストリームTS(コンテナ)に挿入されている種々の情報が抽出され、制御部201に送られる。この抽出情報に、サブタイトルビットマップデータを重畳するビデオデータの解像度情報を持つコンポーネント・デスクリプタも含まれる。
【0127】
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対してデコード処理が施されて、UHD解像度でプログレッシブのビデオデータV1が得られる。また、ビデオデコーダ204では、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。
【0128】
システムデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデコーダ205に供給される。このサブタイトルデコーダ205では、サブタイトルストリームSSに、伝送方法(方法1~方法4)に応じたデコード処理が施されて、HD解像度でプログレッシブのサブタイトルのビットマップデータが得られる。
【0129】
また、サブタイトルデコーダ205では、サブタイトルストリームSSに挿入されている種々の情報が抽出され、制御部201に送られる。この抽出情報には、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報(「display_rendering_type」=“11”)が含まれる。また、この抽出情報には、リージョンの開始位置の座標、リージョンの水平、垂直のサイズなどの情報も含まれる。
【0130】
サブタイトルデコーダ205で得られたHD解像度でプログレッシブのサブタイトルのビットマップデータは、座標・解像度変換部206に供給される。座標・解像度変換部206では、このサブタイトルビットマップデータに対して、UHD解像度のビデオデータに正しく重畳されるように、座標変換および解像度変換が施される。この座標・解像度変換部206における処理は、識別情報(「display_rendering_type」=“11”)による指示に基づき、制御部201の制御のもとで行われる。
【0131】
ビデオデコーダ204で得られたUHD解像度でプログレッシブのビデオデータV1は、ビデオ重畳部208に供給される。また、座標・解像度変換部206で得られた座標変換で表示位置が補正されたUHD解像度でプログレッシブのサブタイトルビットマップデータは、ビデオ重畳部208に供給される。ビデオ重畳部208では、ビデオデータV1にサブタイトルビットマップデータが重畳される。
【0132】
ビットマップデータが重畳されたビデオデータV1´は、YCbCr/RGB変換部209に供給される。このYCbCr/RGB変換部209では、ビデオデータV1´がYCbCr(輝度・色差)ドメインからRGBドメインに変換されて、電光変換部210に供給される。電光変換部210では、ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。
【0133】
この表示用ビデオデータは、表示マッピング部211に供給される。この表示マッピング部211では、表示用ビデオデータに対して、CEモニタ212の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはCEモニタ212に供給される。CEモニタ212には、この表示用ビデオデータに基づいて画像が表示される。
【0134】
上述したように、
図1に示す送受信システム10においては、プログレッシブのビデオデータの送信に伴って、プログレッシブのサブタイトルビットマップデータを方法1~方方4の伝送方法で送信するものである。そのため、受信側では、ビデオデータへのサブタイトルビットマップデータの重畳を良好に行い得る。
【0135】
また、
図1に示す送受信システム10においては、サブタイトルストリームのレイヤに、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報を挿入するものである。そのため、受信側では、この識別情報に基づいて、サブタイトルビットマップデータに対して座標変換および解像度変換を施した後にビデオデータに重畳するようにされ、UHD解像度のビデオデータへのサブタイトルビットマップデータの重畳を正しい位置に行うことができる。
【0136】
<2.変形例>
なお、上述実施の形態においては、ディスプレイ・ディフィニション・セグメント(DDS)(
図8参照)に、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報(「display_rendering_type」=“11”)を挿入する例を示した。
【0137】
しかし、この識別情報と同様の効果を、新規定義するセグメントを伝送することで行うことも可能である。この場合、従来の受信機は新規定義のセグメントを無視するので、従来の受信機が誤動作することを回避できる効果がある。
【0138】
図13(a)は、新規定義するセグメントとしてのレンダリング・ガイド・セグメント(Rendering_guide_segment)の構造例(Syntax)を示し、
図13(b)は、その構造例における主要な情報の内容(Semantics)を示している。
【0139】
「pixel_rendering_conversion_ratio」の2ビットフィールドは、ディスプレイ・ディフィニション・セグメント(DDS)に記述されるサブタイトル(字幕)を表示するための貼り付け位置(image display area)であるウインドウ領域を重畳対象のビデオ解像度の画素座標に合わせるための変換倍率を示す。ここで、サブタイトルの解像度は、DDS内の「display_height」、「display_width」の要素で示される。また、倍率計算の起点を、貼り付け位置(ウインドウ領域)のトップ・レフト(top-left)位置とする。
【0140】
“00”は、等倍(そのままの位置で字幕をビデオに重畳する)を示す。“01”は、2倍(水平方向、垂直方向共にサブタイトル貼り付け位置を2倍に拡大してビデオに重畳する)を示す。“10”は、4倍(水平方向、垂直方向共にサブタイトル貼り付け位置を4倍に拡大してビデオに重畳する)を示す。例えば、サブタイトルの解像度がHD(1920x1080)画枠であり、重畳先ビデオの解像度がUHD(3840x2160)画枠である場合、「pixel_rendering_conversion_ratio」は“01”で2倍に拡大することになる。
【0141】
また、上述実施の形態においては、ビデオデータの解像度である第1の解像度がUHD解像度であり、サブタイトルビットマップデータの解像度である第2の解像度がHD解像度である例を示している。しかし、本技術は、これに限定されるものではない。例えば、第1の解像度が8K解像度であり、第2の解像度が4K解像度である場合なども考えられる。
【0142】
また、上述実施の形態においては、ビデオデータの解像度がUHD解像度であり、サブタイトルビットマップデータの解像度がHDで解像度である例を示した。サブタイトルビットマップデータの解像度の解像度がUHD解像度である場合には、受信側における座標変換、解像度変換の処理は不要となる。その場合、「display_rendering_type」は、“11”ではなく別の値となる。
【0143】
また、上述実施の形態においては、コンテナがMPEG-2 TSである例を示した。しかし、本技術は、コンテナがMPEG-2 TSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、同様に適用できる。
【0144】
また、本技術は、以下のような構成を取ることもできる。
(1)プログレッシブのビデオデータを持つビデオストリームを生成するビデオエンコード部と、
プログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
(2)上記サブタイトルストリームには、上記プログレッシブのサブタイトルビットマップデータがトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータとに分割された状態で存在する
前記(1)に記載の送信装置。
(3)上記サブタイトルストリームには、トップフィールド用データブロックとボトムフィールド用データブロックが存在し、
上記トップフィールドのサブタイトルビットマップデータは上記トップフィールド用データブロックに配置され、上記ボトムフィールドのサブタイトルビットマップデータは上記ボトムフィールド用データブロックに配置される
前記(2)に記載の送信装置。
(4)上記サブタイトルストリームには、上記プログレッシブのサブタイトルビットマップデータが非分割状態で存在する
前記(1)に記載の送信装置。
(5)上記サブタイトルストリームには、トップフィールド用データブロックとボトムフィールド用データブロックが存在し、
上記非分割状態のプログレッシブのサブタイトルビットマップデータは、上記トップフィールド用データブロックあるいは上記ボトムフィールド用データブロックに配置される
前記(4)に記載の送信装置。
(6)上記サブタイトルストリームには、プログレッシブ用データブロックが存在し、
上記非分割状態のプログレッシブのサブタイトルビットマップデータは、上記プログレッシブ用データブロックに配置される
前記(4)に記載の送信装置。
(7)上記ビデオデータは第1の解像度を有し、上記サブタイトルビットマップデータは上記第1の解像度より低い第2の解像度を有し、
上記サブタイトルストリームのレイヤに、上記サブタイトルビットマップデータに座標変換および解像度変換を施した後に上記ビデオデータに重畳するように指示する識別情報を挿入する識別情報挿入部をさらに備える
前記(1)から(6)のいずれかに記載の送信装置。
(8)ビエオエンコード部が、ビデオデータを持つビデオストリームを生成するステップと、
サブタイトルエンコード部が、プログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを生成するステップと、
送信部が、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信するステップを有する
送信方法。
(9)プログレッシブのビデオデータを持つビデオストリームとプログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードして上記プログレッシブのビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記プログレッシブのサブタイトルビットマップデータを得る処理と、上記プログレッシブのビデオデータに上記プログレッシブのサブタイトルビットマップデータを重畳して表示用ビデオデータを得る処理を制御する制御部を備える
受信装置。
(10)上記サブタイトルストリームには、上記プログレッシブのサブタイトルビットマップデータがトップフィールドのサブタイトルビットマップデータとボトムフィールドのサブタイトルビットマップデータとに分割された状態で存在し、
上記プログレッシブのサブタイトルビットマップデータを得る処理では、上記サブタイトルストリームをデコードして得られた上記トップフィールドのサブタイトルビットマップデータと上記ボトムフィールドのサブタイトルビットマップデータを合成して上記プログレッシブのサブタイトルビットマップデータを得る
前記(9)に記載の受信装置。
(11)上記サブタイトルストリームには、トップフィールド用データブロックとボトムフィールド用データブロックが存在し、
上記プログレッシブのサブタイトルビットマップデータを得る処理では、上記トップフィールド用データブロックあるいは上記ボトムフィールド用データブロックに挿入されている非分割状態のプログレッシブのサブタイトルビットマップオデータを得る
前記(9)に記載の受信装置。
(12)上記サブタイトルストリームには、プログレッシブ用データブロックが存在し、
上記プログレッシブのサブタイトルビットマップデータを得る処理では、上記プログレッシブ用データブロックに挿入されている非分割状態のプログレッシブのサブタイトルビットマップオデータを得る
前記(9)に記載の受信装置。
(13)受信部が、プログレッシブのビデオデータを持つビデオストリームとプログレッシブのサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信するステップと、
制御部が、上記ビデオストリームをデコードして上記プログレッシブのビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記プログレッシブのサブタイトルビットマップデータを取得する処理と、上記プログレッシブのビデオデータに上記プログレッシブのサブタイトルビットマップデータを重畳して表示用ビデオデータを得る処理を制御するステップを有する
受信方法。
(14)第1の解像度のビデオデータを持つビデオストリームを生成するビデオエンコード部と、
上記第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤに、上記サブタイトルビットマップデータに座標変換および解像度変換を施した後に上記ビデオデータに重畳するように指示する識別情報を挿入する識別情報挿入部を備える
送信装置。
(15)上記コンテナのレイヤに、上記サブタイトルビットマップデータを重畳する上記ビデオデータが有する上記第1の解像度の情報を挿入する解像度情報挿入部をさらに備える
前記(14)に記載の送信装置。
(16)上記第1の解像度はUHD解像度であり、上記第2の解像度はHD解像度である
前記(14)または(15)に記載の送信装置。
(17)上記識別情報挿入部は、
上記識別情報を、ディスプレイ・ディフィニション・セグメントに挿入する
前記(14)から(16)のいずれかに記載の送信装置。
(18)上記識別情報挿入部は、
上記サブタイトルストリームに、上記識別情報としてのセグメントを挿入する
前記(14)から(16)のいずれかに記載の送信装置。
(19)上記識別情報としてのセグメントは、変換倍率の情報を含む
前記(18)に記載の送信装置。
(20)ビデオエンコード部が、第1の解像度のビデオデータを持つビデオストリームを生成するステップと、
サブタイトルエンコード部が、上記第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを生成するステップと、
送信部が、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信するステップと、
識別情報挿入部が、上記サブタイトルストリームのレイヤに、上記サブタイトルビットマップデータを座標変換および解像度変換を行った後に上記ビデオデータに重畳することを指示する識別情報を挿入するステップを有する
送信方法。
(21)第1の解像度のビデオデータを持つビデオストリームと上記第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記サブタイトルストリームのレイヤには、上記サブタイトルビットマップデータを座標変換および解像度変換を行った後に上記ビデオデータに重畳することを指示する識別情報が挿入されており、
上記ビデオストリームをデコードして上記ビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記サブタイトルビットマップデータを得る処理と、上記サブタイトルビットマップデータを上記識別情報に基づいて座標変換および解像度変換を行った後に上記ビデオデータに重畳して表示用ビデオデータを得る処理を制御する制御部をさらに備える
受信装置。
(22)受信部が、第1の解像度のビデオデータを持つビデオストリームと上記第1の解像度より低い第2の解像度のサブタイトルビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信するステップを有し、
上記サブタイトルストリームのレイヤには、上記サブタイトルビットマップデータを座標変換および解像度変換を行った後に上記ビデオデータに重畳することを指示する識別情報が挿入されており、
制御部が、上記ビデオストリームをデコードして上記ビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記サブタイトルビットマップデータを得る処理と、上記サブタイトルビットマップデータを上記識別情報に基づいて座標変換および解像度変換を行った後に上記ビデオデータに重畳して表示用ビデオデータを得る処理を制御するステップをさらに有する
受信方法。
【0145】
本技術の主な特徴は、プログレッシブのビデオデータの送信に伴って、プログレッシブのサブタイトルビットマップデータを種々の伝送方法で送信することで、受信側では、ビデオデータへのサブタイトルビットマップデータの重畳を良好に行い得るようにしたことである(
図2、
図3参照)。
【0146】
また、本技術の主な特徴は、サブタイトルストリームのレイヤに、HD解像度のサブタイトルビットマップデータに座標変換および解像度変換を施した後にUHD解像度のビデオデータに重畳するように指示する識別情報を挿入することで、受信側では、この識別情報に基づいて、サブタイトルビットマップデータに対して座標変換および解像度変換を施した後にビデオデータに重畳するようにされ、UHD解像度のビデオデータへのサブタイトルビットマップデータの重畳を正しい位置に行い得るようにしたことである(
図4参照)。
【符号の説明】
【0147】
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・カメラ
103・・・ビデオ光電変換部
104・・・RGB/YCbCr変換部
105・・・ビデオエンコーダ
106・・・サブタイトル発生部
107・・・ビットマップデータ発生部
108・・・サブタイトルエンコーダ
109・・・システムエンコーダ
110・・・送信部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・サブタイトルデコーダ
206・・・座標・解像度変換部
208・・・ビデオ重畳部
209・・・YCbCr/RGB変換部
210・・・電光変換部
211・・・表示マッピング部
212・・・CEモニタ
213・・・ユーザ操作部