(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0044】
本発明の理解のために関連した十分な詳細説明を示す図において、前記動作方法及びシステム構成成分は、基本的な記号で示された。また、本発明が属する技術分野における通常の知識を有した者にとって、明白な説明は省略されることができる。本明細書において、例えば、第1、第2、及びそのような説明的用語は、このような要素間のいかなる実際的関係または順序を暗示せず、他の要素から一つの要素を区別するのに使用されることができる。以下では、要素のリストを羅列する際、「少なくとも一つの」などのような表現は、要素の全体リストを修正しリストの個別要素を修正しないことと理解される。
【0045】
本発明は、本発明の技術的思想と均等な範囲においてHDMI(High Definition Multimedia Interface)、MHL(Mobile High−Definition Link)規格のような多様な有線インタフェース送信規格に適用されうるので、本発明の権利範囲は、これと類似の有線インタフェース送信規格までに及ぼす。
【0047】
ITU−R BS.2159−4(05/2012)、家庭内の多チャンネルサウンド技術と放送アプリケーション(Multichannel sound technology in home and broadcasting applications)
SMPTE,SMPTE 2036−2:2008、「UHDTV−音声特徴とプログラム製作のための音声チャネルマッピング(UHDTV−Audio characteristics and audio channel mapping for program production)」、2008
IEC,IEC 62574 ed 1.0、「音声、ビデオそしてマルチメディアシステム−多チャンネル音声の一般的チャネル割り当て(Audio,video and multimedia systems−General channel assignment of multichannel audio)」、2011年4月7日
【0048】
表1は、本明細書において使用する用語を簡略に説明している。
【表1】
【0049】
図1A及び
図1Bは、シングルオーディオストリームとマルチオーディオストリームを示す図である。
【0050】
図1(A)に示すように、シングルオーディオストリームは、少なくとも一つのビデオデータに対して複数のオーディオデータが存在し、これらのオーディオデータが一つのシングルストリームに送信される場合である。シングルストリームでは、すべてのストリームデータが同じパケットストリームIDを共有するようにパケット化される。
【0051】
図1(B)に示すように、マルチオーディオストリームは、多数のシングルAVストリームが送信される場合である。マルチオーディオストリームでは、唯一のパケットストリームIDが各シングルAVストリームに割り当てられる多数のシングル−AVストリーム集合が存在する。多数のシングルAVストリームのビデオデータは、互いに独立的である。
【0052】
マルチオーディオストリームの各オーディオストリームは、最大2個のオーディオチャネルを送信し、シングルオーディオストリームと関連する。例えば、シングルビューモードにおいて、各オーディオは、デフォルトビデオストリームに接続され、デュアルビューモードにおいてオーディオは、左側のイメージや右側のイメージ(または両方とも)に接続されることができる。また、次のような一つ以上の補助オーディオオプションを送信できる。すなわち、画面分離タギング(Split−screen tagging)、言語表示(Language indication)、視覚/聴覚障害者のためのオーディオ表示(indication of audio for visually/hearing impaired)がそれである。
【0053】
画面分離(Split Screen)とは、二つ以上のウィンドウに対してソース装置により互いに異なるオーディオデータがタギングされ識別される視聴オプション(viewing option)を意味する。画面分離は、PIP視聴方式(picture−in−pucture viewing)、クイックプレビュー視聴方式(quick−preview)、マルチスクリーンゲーム(multi−screen game)などで使用される。ここで、ウィンドウとは、シンク装置のスクリーンの一領域上にディスプレイされる区別されるディスプレイイメージを意味する。
【0054】
画面分離(またはマルチウィンドウ)は、マルチオーディオと共に使用される選択的な構成になることができる。画面分離モードは、シンク装置で画面が分離される構成を示し、オーディオストリームをタギングし、特定のウィンドウ窓にマッピングする。
【0055】
図2A、
図2B、及び
図2Cは、本発明の一つ以上の実施の形態にかかるソース装置がシンク装置にデュアルウィンドウ及び画面分離に対するマルチオーディオを送信することを示す図である。
【0056】
図2Aは、マルチスクリーンに各々に対するオーディオデータを送信する実施の形態であり、
図2Bは、クイックプレビュー視聴やPIP(picture−in−picture)視聴に伴う複数のオーディオデータを送信する実施の形態であり、
図2Cは、マルチスクリーンゲームに伴う複数のオーディオデータを送信する実施の形態を示す。シンク装置のユーザは、所望のオーディオを選択して聴取できる。
【0057】
本発明の一実施の形態にかかる
図3は、前記画面分離支援情報を表示するためのシンク装置320とソース装置310とのデータ送受信を概括的に示した図である。
【0058】
図3に示すように、ソース装置310は、ベンダー−特定インフォフレーム(Vendor−Specific Infoframe)、マルチオーディオサンプルパケット(Multi−Audio Sample Packet)、マルチオーディオメタデータパケット(Multi−Audio Metadata Packet)をシンク装置320に送信する。
【0059】
マルチオーディオサンプルパケットは、複数のオーディオストリームを含む。マルチオーディオメタデータパケットは、各オーディオストリームに対する一つ以上の設定を含む。これは、ビデオストリームと関連し、補助オーディオ情報を運搬できる。ベンダー−特定インフォフレームは、送信されるコンテンツのマルチビュータイプを含む。具体的な実施の形態については後述する。
【0060】
シンク装置320は、拡張されたデバイス性能レジスタ(Extended Device Capability Register)をソース装置310に送信して、シンク装置が支援するマルチオーディオモード情報を知らせる。具体的な実施の形態については後述する。
【0061】
一方、補助的な(Supplementary)マルチオーディオは、補助オーディオトラック(例えば、多数言語、視覚的障害のためのオーディオ説明、または聴覚的障害のためのクリーンオーディオ)の送信を支援する。この場合に、最大16個のオーディオストリームが同時に送信されることができる。これについても、具体的な説明は後述する。
【0062】
変化最小化差動信号(TMDS,Transition−Minimized Differential Signaling)とエンコーディング
データプラットホームパケット
【表2】
【0063】
3Dオーディオサンプルパケット
3Dオーディオは、スピーカーが3D空間上において3Dオーディオ規格(例えば、10.2ch、22.2ch、30.2ch等)別に決まった位置に配置されうるオーディオとして定義される。3Dオーディオサンプルパケットは、9個から32個のオーディオチャネルを有する一つのオーディオサンプルから構成されている。
【0064】
3Dオーディオストリームは、32オーディオチャネル(またはそれ以上)までを含み、データサム(sum)区間で連続的なパケットを介して送信される。各パケットは、8オーディオチャネルまで含む。サブパケットの構成は、シーケンス番号とヘッダにあるサンプルプレゼントビット(sample_present bits)により判断される。
【0065】
シーケンス番号フィールド(sequence_number):現在パケットの順序を表す。多数3Dオーディオサンプルパケットがシングル3Dオーディオサンプルを含むから、このフィールドは、パケット順序を正確に識別するために必要である。
【0066】
他のヘッダフィールドとサブパケット構造は、MHL2.0明細書において表されるオーディオサンプルパケットと一致する。
【表3】
【0067】
マルチオーディオサンプルパケット
マルチオーディオサンプルパケットは、各オーディオサンプルが独立的にオーディオストリームと関連した4個のオーディオサンプルを含むことができる。MHLソース装置が4個以上の独立的オーディオストリームを同時に送信するとき、こういう連続的なオーディオストリームは、続くマルチオーディオサンプルパケットシリーズにより送信される。パケットヘッダで定義されたシーケンス番号(sequence_number)は、各々のマルチオーディオサンプルパケットを識別し、パケットの整列内で現在パケットの順序を示す。サブパケットの構成は、シーケンス番号とヘッダにあるサンプルプレゼントビット(sample present bits)により判断される。これについて、マルチオーディオデータパケット化で詳細に説明される。
【0068】
各々のサブパケット(またはオーディオストリーム)のために、マルチオーディオメタデータパケット(Multi−Audio Metadata Packet)にあるデスクリプタフィールド(descriptor field)は、ビューモード(すなわち、シングル−ビューまたはマルチ−ビュー)、及び選択的情報(例えば、画面分離タギング、言語コード、視覚的障害のためのオーディオ等)を説明する。これらは、後で詳細に説明される。
【0069】
シーケンス番号フィールド(sequence_number)は、ソース装置からシンク装置に送信するための4個以上のオーディオストリームがあるとき、現在マルチオーディオサンプルパケットのシーケンス番号を表す。仮に、このフィールドが0に設定されると、そのパケットは、該当サブパケットにおいて各々第1番目の4個のオーディオストリームを各々(respectively)含むことができる。仮に、このフィールドが1に設定されると、そのパケットは、該当サブパケットにおいて各々第2番目の4個のオーディオストリームセットを含むことができる。類似の方法で、パケットは、このフィールドが2または3に設定されるとき、第3番目または第4番目の4個のオーディオストリームセットを各々含む。シーケンス番号が0であるサブパケット0で処理されるオーディオストリームは、デフォルト(default)オーディオストリームとして指定される。
【0070】
ストリームプレゼントフィールド(stream_presnt.spX)は、サブパケットXがストリームXのオーディオサンプルを含んでいるかどうかを示す。
【0071】
ストリームフラットフィールド(stream_flat.spX)は、サブパケットXがストリームXの「フラットライン(flatline)」サンプルを表しているかどうかを示す。ストリームフラットフィールドは、stream_present.spXが設定されるときだけ有効である。
【0072】
他のヘッダフィールドとサブパケット構造は、MHL2.0スペックにおいて表されるオーディオサンプルパケットと一致する。
【表4】
【0073】
図4は、前記マルチオーディオサンプルパケットのペイロードが送信される状況を示す図である。
【0074】
図4に示すように、4個のマルチオーディオサンプルパケットが送信される場合、16個のオーディオストリームを運搬できる。シーケンス番号は、2ビットからなっているので、最大16個のオーディオストリームが運搬されることができる。
【0075】
図5は、本発明の一実施の形態にかかるデータ送受信システム1000−1のブロック図である。
【0076】
図5に示すように、本発明の一実施の形態にかかるデータ送受信システム1000−1は、データ送信装置100−1とデータ受信装置200−1とを備える。
【0077】
データ送信装置100−1は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成して、データ受信装置200−1に送信する。
【0078】
パケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
【0079】
図6は、本発明の一実施の形態にかかるデータ送信装置100−1のブロック図を示す図である。
【0080】
図6に示すように、本発明の一実施の形態にかかるデータ送信装置100−1は、パケット生成部110と送信部120とを備える。
【0081】
前記パケット生成部110は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成する。前述した実施の形態において示されるように、一つのパケットは、4個のオーディオストリームに対応する4個のサブパケットを含むことができる。
【0082】
このとき、前記生成されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
図4の実施の形態のように、シーケンス番号フィールドは、送信されるパケットの順序を示す。
【0083】
送信部120は、前記生成されたパケットをデータ受信装置200−1に送信する。
【0084】
図7は、本発明の一実施の形態にかかるデータ受信装置200−1のブロック図を示す図である。
【0085】
図7に示すように、本発明の一実施の形態にかかるデータ受信装置200−1は、受信部210、パーシング部220を備える。
【0086】
受信部210は、データ送信装置100−1からマルチオーディオストリームに対する複数のサブパケットを含むパケットを受信する構成である。
【0087】
パーシング部220は、前記受信されたパケットをパーシングする。前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
図4の実施の形態のように、シーケンス番号フィールドは、送信されるパケットの順序を示す。
【0088】
3Dオーディオメタデータパケット
アクティブ(active)3Dオーディオデータを説明する補助データ(ancillary data)は、3Dオーディオメタデータパケットを使用して送信される。MHLソース装置が3Dオーディオサンプルパケットを送信できる場合、ソース装置は、常に正確な3Dオーディオメタデータパケットを、すべての二つのビデオフィールド当たりの少なくとも一回送信する。
【0089】
次の表は、本発明の一実施の形態にかかる3Dオーディオメタデータパケットを示す。
【表5】
【表6】
【表7】
【表8】
【表9】
【表10】
【0090】
マルチオーディオメタデータパケット
アクティブマルチオーディオストリームを説明する補助データ(ancillary data)は、マルチオーディオメタデータパケットを使用して送信される。このパケットは、ビュー種類とマルチオーディオサンプルパケットから移される各々のオーディオストリームのための補助的オーディオ選択事項を説明するために使用される。
【0091】
MHLソース装置がマルチオーディオサンプルパケットを送信できる場合、MHLソース装置は、常に正確なマルチストリームオーディオメタデータパケットを、毎度(every)二つのビデオフィールド当たりの少なくとも一回ずつ送信する。
【0092】
次は、本発明の実施の形態にかかるマルチオーディオメタデータパケットを示す。
【表11】
【0093】
ビュー種類フィールド(MA_View_Type)は、シングルビューまたはマルチビューのようなマルチオーディオストリームの関連したビューモードを表す。
【0094】
シーケンス番号フィールド(Sequence_Number)は、パケットまたは現在マルチオーディオメタデータパケットのシーケンス番号を表す。このフィールドは、最高4個の互いに異なるマルチオーディオメタデータパケットを識別するために使用される。このフィールドは、各マルチオーディオメタデータパケットを同じシーケンス番号を有するマルチオーディオサンプルパケットに独特に(uniquely)接続する。
【0095】
オーディオストリーム個数フィールド(Num_Audio_Streams)は、マルチオーディオサンプルパケットにより送信されたオーディオストリームの総個数を表す。
【0096】
画面分離有効フィールド(SC_Valid)は、画面分離タギング(tagging)と関連する。例えば、仮に、画面分離有効フィールドが1に設定される場合、画面分離タギングは支援を受け、画面分離構成フィールド(Split_Screen_Config)は、次の7ビットで詳細化される。仮に、画面分離有効フィールドが0に設定される場合、画面分離タギングは支援を受けないか、または詳細化されず、次の7ビットは、他の使用のために残される。
【0097】
画面分離種類フィールド(Split_Screen_Config)は、現在デスクリプタにより表されるオーディオストリームと関連した画面分離種類を示す。選択可能な画面分離種類は、下記の表13に羅列されている。このフィールドは、SC_有効=1のときだけ有効である。
【0098】
マルチオーディオデスクリプタフィールド(MA_Descriptor_X)は、該当マルチオーディオサンプルパケットのサブパケットXにより送信されるオーディオストリームの特性を示す。表13は、マルチオーディオデスクリプタの詳細な構造を示す。
【表12】
【0099】
図8A、8B、及び
図8Cは、本発明の一実施の形態にかかるオーディオストリームと関連した画面分離モードを示す図である。
【0100】
次の表は、本発明の一実施の形態にかかるマルチオーディオデスクリプタの定義を示す。
【表13】
【0101】
画面分離タグフィールド(Split_Screen_Tag)は、現在マルチオーディオデスクリプタにより表されるオーディオストリームと関連した特定ウィンドウ(分離画面構成により定義されたように)を示す。本発明の一実施の形態にかかる画面分離タグフィールドの詳細な説明は、下記の表15に示される。このフィールドは、SC_有効=1のときだけ有効で、それともMHLシンク装置は、このフィールドを無視する。
【0102】
関連ビュー識別フィールド(Associated_View_ID)は、現在マルチオーディオデスクリプタにより表されるオーディオストリームと関連した特定ビューを表す。このフィールドの意味は、ビュー種類フィールド(MA_View_Type)の値に拠る。本発明の一実施の形態にかかる関連ビュー識別フィールドの詳細な説明は、下記の表15に示す。
【0103】
有効言語コードフィールド(LC_present)は、有効言語コードを含んでいるかどうかを表す。例えば、仮に、このフィールドが1に設定されると、現在デスクリプタは、次のバイトにおいて有効な言語コードフィールド(Language_Code)を含む。
【0104】
ミックスオーディオフィールド(Mixed_Audio)は、該当オーディオストリームが一般オーディオと補助オーディオとの予めミックスされたストリームを含むかどうかを表す。仮に、このフィールドが1に設定されると、該当オーディオストリームは、補助オーディオ種類フィールド(Suppl_Audio_Type)により表れるように、一般オーディオと補助オーディオとの予めミックスされたストリームを含む。
【0105】
SATプレゼントフィールド(SAT_present)は、現在デスクリプタが有効な補助オーディオ種類フィールドを含むかどうかを表す。例えば、仮に、このフィールドが1に設定されると、現在デスクリプタは、次の4ビットにおいて有効な補助オーディオ種類フィールド(Suppl_Audio_Type)を含む。
【0106】
SATプレゼントフィールド(SAT_present)は、現在デスクリプタが有効な補助オーディオ種類フィールドを含むかどうかを表す。例えば、仮に、このフィールドが1に設定されると、現在デスクリプタは、次の4ビットにおいて有効な補助オーディオ種類フィールド(Suppl_Audio_Type)を含む。
【0107】
補助オーディオ種類フィールド(Suppl_Audio_Type)は、該当オーディオストリームのための補助オーディオの種類を表す。本発明の一実施の形態にかかる補助オーディオ種類フィールドの詳細な説明は、表16で提供される。このフィールドは、SATプレゼントフィールド(SAT_present)=1のときだけ有効で、それとも、シンク装置は、このフィールドを無視する。
【0108】
言語コードフィールド(Language_Code)は、該当オーディオストリームのISO639で定義された言語コードを表す。このフィールドは、有効言語コードフィールド(LC_present)が1に設定されるときだけ有効で、それとも、シンク装置は、このフィールドを無視する。
【表14】
【表15】
【表16】
【0109】
図9は、本発明の一実施の形態にかかるデータ送受信システム1000−2のブロック図である。
【0110】
図9に示すように、本発明の他の実施の形態にかかるデータ送受信システム1000−2は、データ送信装置100−2及びデータ受信装置200−2を備える。
【0111】
データ送信装置100−2は、オーディオメタデータパケットを生成してデータ受信装置200−2に送信する。オーディオメタデータパケットは、送信されるオーディオスペックに対して定義する。
【0112】
前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
【0113】
本発明の実施の形態にかかるデータ送信装置100−2とデータ受信装置200−2の各構成については、以下で詳細に説明する。
【0114】
図10は、本発明の他の実施の形態にかかるデータ送信装置100−2のブロック図である。
【0115】
図10に示すように、本発明の他の実施の形態にかかるデータ送信装置100−2は、パケット生成部110、送信部120(例えば、送信機(transmitter))を備える。
【0116】
パケット生成部110は、オーディオメタデータパケットを生成する。オーディオメタデータパケットは、送信されるオーディオスペックに対して定義する。
【0117】
特に、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
【0118】
送信部120は、前記生成されたオーディオメタデータパケットをデータ受信装置200−2に送信する。
【0119】
このとき、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
【0120】
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
【0121】
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
【0122】
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
【0123】
前記マルチオーディオデスクリプタフィールドは、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639と定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
【0124】
図11は、本発明の他の実施の形態にかかるデータ受信装置200−2のブロック図である。
【0125】
図11に示すように、本発明の他の実施の形態にかかるデータ受信装置200−2は、受信部210、パーシング部220(例、パーサー(parser))を備える。
【0126】
受信部210は、データ送信装置100−2からオーディオメタデータパケットを受信する。オーディオメタデータパケットは、受信されるオーディオスペックに対して定義する。
【0127】
特に、前記オーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
【0128】
受信部210は、前記オーディオメタデータパケットをデータ送信装置100−2から受信する。
【0129】
このとき、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
【0130】
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
【0131】
前記オーディオメタデータパケットのヘッダ(header)は、受信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び受信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
【0132】
前記オーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
【0133】
前記マルチオーディオデスクリプタフィールドは、前記オーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記オーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(ValidLanguage Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記オーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記オーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
【0134】
アクティブマルチオーディオモードインジケーター
ソース装置は、シンク装置に送信される正確なビューモードを表すために、Vendor−Specific Infoframe(VSIF)を使用することができる。VSIFは、表17に示すように構造化される。
【表17】
【0135】
MHLマルチビューフィールド(MHL_MULTI_VIEW)は、どんなマルチビューモードが送信されるかを表す。本発明の一実施の形態にかかるMHLマルチビューフィールドに対する詳細な説明は、表18に示される。
【表18】
【0136】
ビデオ
3D支援のための3Dビデオデスクリプタ
【表19】
【0137】
本発明の一実施の形態にかかる各々の支援される3Dビデオモードは、一つの3Dビデオデスクリプタで表される。
【0138】
MV_SUPP:仮に、「1」に設定されると、装置は、マルチビュービデオストリーミングのための3Dビデオフォーマットを使用して支援する。
【0139】
オーディオ
チャネル/スピーカー割り当て
MHLシンク装置が3Dオーディオを受信する能力がある場合に、表38から表40に説明された3Dチャネルスピーカー割り当てデスクリプタは、付着されたスピーカーの構成を示すために使用される。ソース装置から送信される3Dオーディオのための現在スピーカー割り当ての指標が3Dオーディオメタデータパケットの3D CAフィールドで扱われる。3D CAフィールドの詳細な説明は、表27から29を参考にする。
【0140】
3Dオーディオデータパケット化(3D Audio Data Packetization)
3Dオーディオサンプルパケットの各サブパケットは、0または一つのIEC 60958フレームを含むことができる。仮に、ソース装置が3Dオーディオストリームをダウンミックスする必要があり、そのダウンミックスされたオーディオストリームらがまた3Dオーディオストリームであるとき、それらは、3Dオーディオサンプルパケットを使用して処理される。仮に、シンク装置が3Dオーディオ特徴を支援しない場合、ソース装置は、3Dオーディオメタデータパケットとともに3Dオーディオサンプルパケットを送信できない。
【0141】
チャネルの数に依存して、他のサブパケットレイアウトの数が存在する。本発明の一つ以上の実施の形態によって、下記の表20から表22は、12、24、または32チャネルの各々を送信する時における3Dオーディオパケットレイアウトを示す。
【表20】
【表21】
【表22】
【0142】
各々のサブパケットのための一つの、3Dオーディオサンプルパケットヘッダに4個のサンプルプレゼントビット(Sample_presentbit)がある。各々は、一つのサブパケットが一つの3Dオーディオサンプルを含むということを表す。付け加えて、サンプルにより代表される時間期間の間にソース装置で利用可能な有用なオーディオデータがない場合、設定される4個のサンプルフラット(sample_flat.spX)ビットがある。これは、サンプル比率の変化または一時的なストリーム妨害の間に発生できる。
【0143】
続く3Dオーディオサンプルパケットは、L−PCMオーディオ(すなわち、5から16 IEC60958フレーム)の9から32個の間のチャネルを含む一つの3Dオーディオサンプルを処理するように使用されることができる。
【0144】
3Dオーディオサンプルの第1番目のパケットは、8個のオーディオチャネルでぎっしり積まれており、0に設定されたシーケンス番号フィールドを有する。シーケンス番号は、同じ3Dオーディオサンプル内で各追加パケットに対して一つずつ増加する。最後のパケットは、3Dオーディオサンプルの全体チャネル数に依存する8個またはそれより少ないオーディオチャネル数を含む。
【0145】
3Dオーディオサンプルパケットのためのただ5個の有効なサンプルプレゼント(sample_present)ビットがある。
【表23】
【0146】
図10及び
図11は、3Dオーディオ信号の送信タイミングを示す図である。
【0147】
図10と
図11は、水平ブランク区間(horizontal Blanking Interval)において3個の8チャネル2Dオーディオ信号サンプルを送信することを示す。24チャネルの3Dオーディオ信号は、同じ期間の間に一つのサンプルが送信される。
【0148】
マルチオーディオデータパケット化
MHLは、MHLソース装置がシングル−AVストリーミングのためにオーディオストリームを同時に送信するようにする。多数のオーディオストリームは、シングルビューまたはマルチビュービデオストリーミング(例えば、ビュー当たりの他のオーディオを有するデュアルビューゲーミング)のうちの一つと関連する。補助オーディオモードは、画面分離タギング(すなわち、画面の他の部分がタグされ、それ自身のオーディオストリームと関連する)、言語コード、または視覚的/聴覚的障害者のためのオーディオを表すことができる。各々のオーディオストリームは、一つのビューモードと関連し、最大2個のオーディオチャネルを含む。
【0149】
マルチストリームオーディオサンプルパケットの各々のサブパケットは、0または一つのIEC60958で定義されたIEC 60958またはIEC61937「ブロック」の「フレーム」を含むことができる。
【0150】
送信されるための4個以上のオーディオストリームがあるとき、二つまたはそれ以上の連続するマルチオーディオサンプルパケットは、多数のオーディオストリームを送信するために使用される。パケット整列内の各パケットの順序は、シーケンス番号フィールドにより識別される。MHLソース装置は、シングルAVストリーム内で最大16個の独立オーディオストリームを同時に送信できる。
【0151】
表24と表25は、本発明の一つ以上の実施の形態にかかるMHLソース装置がシングルビュービデオストリーミングで4個のオーディオストリームを送信するときにおいて、マルチオーディオサンプルパケットとマルチオーディオメタデータパケットレイアウトの例を示す。マルチオーディオメタデータパケットは、各々のオーディオストリームの特徴(補助情報、言語など)を説明する。
【0152】
表26と表27は、MHLソース装置がデュアルビュービデオストリーミングで8個のオーディオストリームを送信するときにおいて、マルチオーディオサンプルパケットとマルチオーディオメタデータパケットレイアウトの例を示す。マルチオーディオメタデータパケットは、各々のオーディオストリームの特徴(関連ビュー、補助情報、言語など)を説明する。
【0153】
表28と表29は、MHLソース装置がシングルビュービデオストリーミングを可能にする画面分離タギングオプションを有して6個のオーディオストリームを送信するときにおいて、マルチオーディオサンプルパケットとマルチオーディオメタデータパケットレイアウトの例を示す。
【表24】
【表25】
【0154】
HIのためのオーディオ:聴覚的障害のためのオーディオストリーム
VIのためのオーディオ:視覚的障害のためのオーディオストリーム
【表26】
【表27】
【0155】
HIのためのオーディオ:聴覚的障害のためのオーディオストリーム
VIのためのオーディオ:視覚的障害のためのオーディオストリーム
【表28】
【表29】
【0156】
HIのためのオーディオ:聴覚的障害のためのオーディオストリーム
VIのためのオーディオ:視覚的障害のためのオーディオストリーム
【0157】
3Dオーディオメタデータパケット化
アクティブ3Dオーディオストリームが送信されるごとに、正確な3Dオーディオメタデータパケットが少なくとも二つのビデオフィールド当たりの一回送信される。
【0158】
新しい3Dオーディオストリームが始まる際、または3Dオーディオメタデータパケットとオーディオインフォフレームにより表すことのできる3Dオーディオストリームに変化がある際、修正された正確な3Dオーディオメタデータパケットは、初めて影響を受けたノンサイレント(non−silent)オーディオサンプルに従う一つのビデオフレームの以前に送信される。優先的に、これは、初めて影響を受けたオーディオサンプルが送信される直前に発生する。
【0159】
3Dオーディオメタデータパケット送信は、水平的垂直的ブラキング区間を含むデータプラットホーム区間以内でいつでも発生できる。
【0160】
3Dオーディオがストリーミングされるとき、MHLシンク装置は、オーディオインフォフレームでCCとCAフィールドを無視し、その代りに3Dオーディオメタデータパケットで3D_CCと3D_CAを参考にする。
【0161】
マルチオーディオメタデータパケット化
アクティブマルチ−オーディオストリームが送信されるごとに、正確なマルチ−オーディオメタデータパケットが少なくとも二つビデオフィールド当たりの一回送信される。
【0162】
新しいマルチ−オーディオストリームが始まるとき、またはマルチ−オーディオメタデータパケットとオーディオインフォフレームにより表すことのできるマルチ−オーディオストリームに変化があるとき、修正された正確なマルチ−オーディオメタデータパケットは、初めて影響を受けたノンサイレント(non−silent)オーディオサンプルに従う一つのビデオフレームの以前に送信される。優先的に、これは、初めて影響を受けたオーディオサンプルが送信される直前に発生する。
【0163】
マルチ−オーディオメタデータパケット送信は、水平的垂直的ブラキング区間を含むデータプラットホーム区間以内でいつでも発生できる。
【0164】
3D/マルチ−オーディオ支援のためのWRITE_BURST使用
本発明の一つ以上の実施の形態にかかる3Dオーディオモードに対する支援は、表31と表37に示したように、フォーマットされた一連のWRITE_BURST移動を使用して示す。
【表30】
【表31】
【表32】
【表33】
【表34】
【表35】
【表36】
【表37】
太い文字は、10.2チャネルと関連した指定スピーカーを表す。
【表38】
太い文字は、22.2チャネルと関連した指定スピーカーを表す。
【表39】
太い文字は、30.2チャネルと関連した指定スピーカーを表す
【表40】
【0165】
リンク制御バス(Link Control Bus)
デバイスレジスタ変更割込み(Device Register Change Interrupt)
【表41】
【0166】
3D_AUD_REQは、MHLシンク装置から3Dオーディオ支援情報を要請するために、MHLソース装置により使用される。
【0167】
Burst_ID Code
【表42】
【0168】
3D_ADと3D_CSADは、オーディオ延長の支援を表すのにおいて、MHLシンク装置により使用される。MHLスペック7.XXを参照。
【0169】
制御と構成(Control and Configuration)
拡張されたデバイス性能レジスタ(Extended Device Capability Register)
シンク装置は、ソース装置に拡張されたデバイス性能レジスタを提供できる。換言すれば、ソース装置は、シンク装置の拡張されたデバイス性能レジスタを読み出すことができる。
【0170】
下記の表のように、MHLスペックで拡張されたデバイス性能レジスタのアドレス0x85をシンク装置が支援するマルチオーディオモードを表すのに使用することができる。
【表43】
【0171】
マルチオーディオモード(Multi−Audio Mode)
各シンク装置は、支援する特定マルチオーディオモードを登録するマルチオーディオモード(MULTI_AUD_MODE)に表示できる。
【0172】
マルチオーディオモードレジスタは、シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
【表44】
【0173】
装置がマルチビュービデオストリーミングを支援する能力がない場合、このフィールドは0に設定される
図14は、本発明の他の実施の形態にかかるデータ送受信システム1000−3のブロック図を示す図である。
【0174】
図14に示すように、本発明の実施の形態にかかるデータ送受信システム1000−3は、データ送信装置100−3とデータ受信装置200−3を備える。
【0175】
前記データ送信装置100−3は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を前記データ受信装置200−3に送信する。
【0176】
図15は、本発明の実施の形態にかかるデータ送信装置100−3の構成を示すブロック図である。
【0177】
図15に示すように、本発明の実施の形態にかかるデータ送信装置100−3は、生成部130と、送信部120を備える。
【0178】
生成部130は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成する。
【0179】
前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含むことができる。
【0180】
送信部120は、データ受信装置200−3に前記デバイス性能情報ブロック(Device Capability Information Block)を送信する。
【0181】
図16は、本発明のさらに他の実施の形態にかかるデータ受信装置200−3の構成を示すブロック図である。
【0182】
図16に示すように、本発明の一実施の形態にかかるデータ受信装置200−3は、受信部210と分析部230(例、分析機(analyzer))を備える。
【0183】
受信部210は、前記データ送信装置100−3からデバイス性能情報ブロックを受信する。
【0184】
分析部230は、受信されたデバイス性能情報ブロックを分析する。
【0185】
前記デバイス性能情報ブロック(Device Capability Information Block)は、オーディオデータに関してシンク装置により支援される特徴情報を含む。具体的に、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含むことができる。
【0186】
マルチストリームオーディオ
以下、本発明の多様な実施の形態にかかるマルチストリームオーディオを説明する。以下で説明するマルチストリームオーディオ送信スペックは、HDMI、MHLを含む多様な有無線送信インタフェースで採用されることができる。
【0187】
本発明の一実施の形態にかかるソース装置は、同時に4個のオーディオストリームを送信できる。マルチストリームオーディオサンプルパケット(Multi−stream Audio Sample Packet)に対してすべてのオーディオストリームは、一つのオーディオインフォフレーム(Infoframe)を共有する。
【0188】
本発明の多様な実施の形態にかかる有線インタフェースは、シングルビュービデオストリーミングに対する支援(例えば、多数の言語(multi−lingual)を支援するか、または視覚/聴覚障害者のためのオーディオ等)を追加できる。これは、オーディオメタデータパケット(Audio Metadata Packet)を修正するか、またはHDMIオーディオデータブロック(HDMI Audio Data Block)を修正して可能である。
【0189】
例えば、下記の表45のように、マルチストリームオーディオは、多数の言語を支援し、オーディオは、2チャネルで支援されることができる。
【表45】
【0190】
シナリオ
図17は、本発明の一実施の形態にかかるマルチストリームオーディオサンプルパケットのシナリオを示す。
【0191】
4個のサブパケットを有するマルチストリームオーディオサンプルパケットの場合、次のシナリオが存在できる。1)シングルビューのためのオーディオデスクリプション(audio description)と共にシングルTVプログラムが送信される場合、ストリーム0は、ノーマル(normal)オーディオ信号を含み、ストリーム1は、視覚障害者のためのオーディオデスクリプション信号を含むことができる。
【0192】
2)前記シングルビューで2個国語を支援する場合、支援される言語からなるオーディオ信号ストリーム2個と、各々に対応するオーディオデスクリプションが共に送信される。例えば、英語と韓国語とが支援される場合、ストリーム0は、韓国語ノーマルオーディオ信号、ストリーム1は、視覚障害者のための韓国語オーディオデスクリプション信号、ストリーム2は、英語ノーマルオーディオ信号、ストリーム3は、視覚障害者のための英語オーディオデスクリプション信号をそれぞれ含むことができる。
【0193】
3)シングルビューで一つの言語からなるオーディオ信号ストリームの一つとこれに対する異なる言語で支援される視覚障害者のためのオーディオデスクリプション信号が二つ送信されることもできる。例えば、ストリーム0は、韓国語または英語ノーマルオーディオ信号、ストリーム1は、視覚障害者のための韓国語オーディオデスクリプション信号、ストリーム2は、視覚障害者のための英語オーディオデスクリプション信号をそれぞれ含むことができる。
【0194】
4)ソース装置がマルチビューのためのオーディオ信号を送信することもできる。デュアルビューが支援される場合、最も基本的な形態は、各ビューに対するオーディオ信号を一つの送信ストリームで送信することである。デュアルビューの場合、独立的な第1ビューと第2ビューを含み、各ビューは、独立的なコンテンツを提供する。
【0195】
5)各ビューに対して2個国語が支援されることができる。この場合、第1ビューに対する第1言語からなるオーディオ信号ストリーム、第1ビューに対する第2言語からなるオーディオ信号ストリーム、第2ビューに対する第1言語からなるオーディオ信号ストリーム、第2ビューに対する第2言語からなるオーディオ信号ストリームがそれぞれ送信されることができる。例えば、英語と韓国語とが支援される場合、ストリーム0は、第1ビューに対する韓国語オーディオ信号、ストリーム1は、第1ビューに対する英語オーディオ信号、ストリーム2は、第2ビューに対する韓国語オーディオ信号、ストリーム3は、第2ビューに対する英語オーディオ信号を含むことができる。
【0196】
6)デュアルビューの場合、何れか一つのビューは、視覚障害者のためのオーディオデスクリプション信号をさらに送信できる。すなわち、第1ビューに対するオーディオ信号ストリーム、第2ビューに対するノーマルオーディオ信号ストリーム、第2ビューに対する視覚障害者のためのオーディオデスクリプション信号ストリームが各々送信されることができる。例えば、ストリーム0は、第1ビューに対するオーディオ信号、ストリーム1は、第2ビューに対するオーディオ信号、ストリーム3は、第2ビューに対するオーディオデスクリプション信号を含むことができる。
【0197】
7)一つのストリームは、共通オーディオ信号を送信するのに使用することもできる。すなわち、第1ビューと第2ビューに対する共通オーディオ信号ストリーム、第1ビュー専用オーディオストリーム、第2ビュー専用オーディオストリームがそれぞれ送信されることができる。この場合、受信端では、共通オーディオストリームと専用オーディオストリームをマルチプレックス(Muxing)して出力する。このようなシナリオは、ゲームの場合に適用されることができる。例えば、ストリーム0は、第1ビューと第2ビューに対する共通オーディオ信号(例えば、背景音響、進行案内ボイス等)、ストリーム1は、第1ビューに対する専用オーディオ信号、ストリーム2は、第2ビューに対する専用オーディオ信号を含むことができる。
【0198】
図5を再度参照すれば、本発明の一実施の形態にかかるデータ送受信システム1000−1は、データ送信装置100−1とデータ受信装置200−1を備える。
【0199】
前記データ送信装置100−1は、第1サブパケット及び第2サブパケット含むパケットをデータ受信装置200−1に送信する。
【0200】
前記データ受信装置200−1は、第1サブパケット及び第2サブパケット含むパケットをデータ送信装置100−1から受信することができる。
【0201】
このとき、第1サブパケット及び第2サブパケットは、第1番目のコンテンツに対して相異なるオーディオデータを含む。
【0202】
以下、本発明の一つ以上の実施の形態にかかるデータ送信装置100−1とデータ受信装置200−1の構成をさらに詳細に説明する。
【0203】
図6を再度参照すれば、本発明の一実施の形態にかかるデータ送信装置100−1は、パケット生成部110と送信部120を備える。
【0204】
前記パケット生成部110は、第1サブパケットと第2サブパケットを含むパケットを生成できる。このとき、第1サブパケットと第2サブパケットは、第1番目のコンテンツに対して互いに異なるオーディオデータを含む。
【0205】
前記送信部120は、前記生成されたパケットを前記受信装置200−1に送信する。このとき、第1サブパケットは、非障害者のためのオーディオデータを含むことができ、第2サブパケットは、視覚障害者のためのオーディオデータを含むことができる。
【0206】
第1サブパケットと第2サブパケットは、他の言語のオーディオデータを含むことができる。
【0207】
第1サブパケットは、第2サブパケットに対してオーディオ説明に該当するオーディオデータを含むことができる。
【0208】
前記パケットは、第1番目のコンテンツと異なる第2番目のコンテンツに対してオーディオデータを含む第3サブパケットをさらに含むことができる。
【0209】
このとき、第1サブパケットに含まれている前記オーディオデータは、第1番目のコンテンツのための独占オーディオデータでありえ、第3サブパケットに含まれている前記オーディオデータは、第2番目のコンテンツのための独占オーディオデータでありえ、第2サブパケットに含まれている前記オーディオデータは、第1番目のコンテンツ及び第2番目のコンテンツに対して共通(common)オーディオデータでありうる。
【0210】
また、前記パケットは、第2番目のコンテンツに対してオーディオデータを含む第4サブパケットをさらに含むことができ、第3サブパケットと第4サブパケットは、互いに異なるオーディオデータを含むことができる。
【0211】
図7を再度参照すれば、本発明の一実施の形態にかかる前記データ受信装置200−1は、受信部210とパーシング部220とを備える。
【0212】
前記受信部210は、第1サブパケットと第2サブパケットを含むパケットを前記データ送信装置100−1から受信することができる。このとき、第1サブパケットと第2サブパケットは、第1番目のコンテンツに対して異なるオーディオデータを含むことができる。
【0213】
前記パーシング部220は、前記受信された第1サブパケットと前記受信された第2サブパケットをパーシングするための要素である。
【0214】
第1サブパケットと第2サブパケットは、異なる言語のオーディオデータを含むことができる。
【0215】
上で上述したことと異なり、第1サブパケットは、第2サブパケットに対してオーディオデスクリプションに対応するオーディオデータを含むことができる。
【0216】
前記パケットは、第1番目のコンテンツと異なる第2番目のコンテンツに対してオーディオデータを含む第3サブパケットをさらに含むことができる。
【0217】
このとき、前記第1サブパケットに含まれた前記オーディオデータは、第1番目のコンテンツのための独占的オーディオデータでありえ、第3サブパケットに含まれたオーディオデータは、第2番目のコンテンツのための独占的オーディオデータでありえ、第2サブパケットに含まれているオーディオデータは、第1番目及び第2番目のコンテンツに対して共通のオーディオデータでありうる。
【0218】
また、前記パケットは、第2番目のコンテンツに対してオーディオデータを含む第4サブパケットを含むことができ、第3サブパケットと第4サブパケットは、異なるオーディオデータを含むことができる。
【0219】
オーディオメタデータパケット
本発明の一実施の形態にかかるソース装置は、オーディオメタデータパケットをシンク装置に送信して、送信されるオーディオスペックを知らせる。このとき、オーディオメタデータパケットのヘッダは、下記のような構造を有する。
【表46】
【0220】
各フィールドを説明すれば、次の通りである。
【0221】
3Dオーディオフィールド(3D_AUDIO)[1bit]:3D_AUDIO=1であると、オーディオメタデータパケット(Audio Metadata Packet)は、3Dオーディオチャネルカウント(3D Audio Channel count:3D_CCフィールド。下記の表を参照)とチャネル/スピーカー割り当て情報(ACAST:Audio Channel Allocation Standard Type)フィールド(下記の表を参照)を含む。ソースが3Dオーディオパケットを送信するとき、このようなフィールドは、1に設定される。
【0222】
ビュー個数フィールド(NUM_VIEWS)[2bits]は、ビューの個数を表す。NUM_VIEWS=00であると、シングルビュービデオストリーミングが支援される。NUM_VIEWS=01であると、デュアルビュービデオストリーミングが支援される。このモードは、VSIFでの3D_DualView=1の場合のみに許容される。残りのNUM_VIEWS値に対しては、未来の使用のためにリザーブされている。
【0223】
オーディオストリーム個数フィールド(NUM_AUDIO_STR)[2bits]:オーディオストリームの個数−1を表す。NUM_AUDIO_STR=01、10、または11の場合、オーディオメタデータパケット(Audio Metadata Packet)は、最大4個までオーディオメタデータデスクリプタ(audio metadata descriptor)を含み、各々は、オーディオストリームに対応する。
【表47】
【0224】
下記の表は、3Dオーディオのためのオーディオメタデータパケットのペイロードを表す。3D_Audio=1の場合、メタデータパケットペイロードは、以下の構造を有する。
【表48】
【0225】
すなわち、3D_CCフィールドは、3Dオーディオチャネルカウント情報を表し、ACASTフィールドは、ソースにより提供されるオーディオチャネル割り当て標準タイプ(ACAST)を表す。
【0226】
表49は、3D_CC値に応じるオーディオチャネルを示しており、表52は、ACASTフィールド値に応じるオーディオチャネル割り当て標準タイプを示す。
【表49】
【表50】
【0227】
下記の表は、マルチストリームオーディオのためのオーディオメタデータパケットのペイロードを示す。3D_Audio=0の場合、メタデータパケットペイロードは、下記の構造を有する。
【表51】
【0228】
前記表51に示すように、オーディオメタデータパケットのペイロードは、それぞれ5バイトのオーディオメタデータデスクリプタ(Audio_Metadata_Descriptor)を含む。オーディオメタデータデスクリプタ(4フィールド、各5バイト)は、マルチストリームオーディオサンプルパケット(Multi−stream Audio Sample Packet)においてサブパケットXに対したオーディオメタデータまたはマルチストリームワンビットオーディオサンプルパケット(Multi−stream One Bit Audio Sample Packet)においてサブパケットXに対したオーディオメタデータを表現する。本発明の一実施の形態にかかるオーディオメタデータデスクリプタの構造は、下記で説明される。
【表52】
【0229】
各フィールドを説明すれば、以下のとおりである。
【0230】
緊急チャネルフィールド(Emergency_Channel)[1bit]:Emergency_Channel=1であると、対応するオーディオストリームは、緊急警告オーディオデータを送信する。受信装置は、スクリプトなどを介して緊急放送があることを知らせることができ、ユーザは、オーディオ選択を介して受信した緊急警告オーディオ信号を出力させることができる。
【0231】
マルチビューフィールド(左側)(Multiview_Left)[1bit]:Multiview_Left=1であると、対応するオーディオストリームが3Dビデオフォーマットにおいて左側立体映像にマッピングされる。万が一、Multiview_Left=0であると、このフィールドは、NUM_VIEWS=01の場合のみに有効である。
【0232】
マルチビューフィールド(右側)(Multiview_Right[1bit]:Multiview_Right=1であると、対応するオーディオストリームが3Dビデオフォーマットにおいて右側の立体映像にマッピングされる。万が一、Multiview_Right=0であると、このフィールドは、NUM_VIEWS=01の場合のみに有効である。
【0233】
言語コード有効フィールド(LC_Valid)[1bit]:LC_Valid=1であると、言語コード(Language_Code)が有効で、対応するオーディオストリームの言語を正確に識別する。それとも、対応するオーディオストリームの言語は、明示されないことになる。
【0234】
補助オーディオ有効フィールド(Suppl_A_Valid)[1bit]:Suppl_A_Valid=1であると、対応するオーディオストリームは、Suppl_A_Typeにより現れた補助オーディオトラック(supplemental audio track)を含む。
【0235】
プレミックス補助オーディオフィールド(Suppl_A_Mixed[1bit]:Suppl_A_Mixed=1であると、対応するオーディオストリームは、メインオーディオコンポーネントとSuppl_A_Typeにより現れたプレミックス補助オーディオトラック(pre−mixed supplemental audio track)を含むことができる。このビットは、Suppl_A_Valid=1の場合のみに有効である。
【0236】
補助オーディオタイプフィールド(Suppl_A_Type)[3bits]は、下記の表55で定義された補助オーディオタイプを表す。このフィールドは、Suppl_A_Valid=1の場合のみに有効である。表53は、補助オーディオタイプフィールド値のデスクリプションを示す。
【0237】
言語コード(Language_Code)[3Bytes]は、対応するオーディオストリームの言語を識別する。言語コードは、ISO639によって定義される。また、3キャラクターコードが位置し、最後のキャラクターコードは、オーディオメタデータデスクリプタX(Audio_Metadata_Descriptor_X)の最後のバイトと一致する。このフィールドは、LC_Valid=1の場合のみに有効である。
【表53】
【0238】
図9を再度参照すれば、本発明の他の実施の形態にかかるデータ送受信システム1000−2は、データ送信装置100−2とデータ受信装置200−2とを備える。
【0239】
前記データ送信装置100−2は、オーディオメタデータパケットを生成してデータ受信装置200−2に送信する。
【0240】
前記データ受信装置200−2は、データ送信装置100−2からオーディオメタデータパケットを受信する。
【0241】
このとき、オーディオメタデータパケットのヘッダは、3Dオーディオサンプルパケットが送信されたどうかを表す3Dオーディオフィールドを含む。
【0242】
以下、前記データ送信装置100−2と前記データ受信装置200−2の構成、及びオーディオメタデータパケットの構成をさらに詳細に説明する。
【0243】
図10を再度参照すれば、本発明の他の実施の形態にかかるデータ送信装置100−2は、パケット生成部110及び送信部120を備える。
【0244】
前記パケット生成部110は、オーディオメタデータパケットを生成する。前記生成されたオーディオメタデータパケットのヘッダは、3Dオーディオサンプルパケットの送信有無を表す3Dオーディオフィールドを含むことができる。
【0245】
前記送信部120は、前記生成されたオーディオメタデータパケットをデータ受信装置200−2に送信する。
【0246】
また、前記生成されたオーディオメタデータパケットのヘッダは、オーディオストリーム個数情報(number information)を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)をさらに含むことができる。
【0247】
また、前記生成されたオーディオメタデータパケットのヘッダは、送信される相異なるコンテンツの個数情報を表すビュー個数フィールド(Number Of Views Field)をさらに含むことができる。
【0248】
前記生成されたオーディオメタデータパケットのペイロードは、マルチストリームオーディオサンプルパケットまたはマルチストリームワンビットオーディオサンプルパケットに関してメタデータを表すオーディオメタデータデスクリプタフィールドを含むことができる。
【0249】
また、前記オーディオメタデータデスクリプタフィールドは、緊急放送があるかどうかを表す緊急チャネルフィールド、マルチビューにおいて左眼のイメージまたは右眼のイメージに対応するオーディオデータが含まれているかどうかを表すマルチビューフィールド、オーディオデータの言語が識別されているかどうかを表す言語コード有効フィールド、補助オーディオデータの有無を表す補助言語有効フィールド、メインオーディオデータと前記補助オーディオデータとのプレミックス有無を表すプレミックス補助オーディオフィールド、補助オーディオデータのタイプを表す補助オーディオタイプフィールド、及びオーディオデータの言語コードを表す言語コードフィールドのうち、少なくとも一つを含むことができる。
【0250】
図11を再度参照すれば、本発明の他の実施の形態にかかるデータ受信装置200−2は、受信部210及びとパーシング部220を備える。
【0251】
前記受信部210は、データ送信装置9100−2からオーディオメタデータパケットを受信するための要素である。前記オーディオメタデータパケットのヘッダは、3Dオーディオサンプルパケットが送信されたかどうかを表す3Dオーディオフィールドを含む。
【0252】
前記パーシング部220は、受信されるオーディオメタデータパケットをパーシングするための要素である。
【0253】
また、前記オーディオメタデータパケットのヘッダは、受信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number of Audio Stream Field)をさらに含むことができる。
【0254】
前記オーディオメタデータパケットのヘッダは、受信される他のコンテンツの個数情報を表すビュー個数フィールド(Number of Views Field)をさらに含むことができる。
【0255】
前記オーディオメタデータパケットのペイロードは、マルチストリームオーディオパケットまたはマルチストリームワンビットオーディオサンプルパケットのサブパケットに関するメタデータを表すオーディオメタデータデスクリプタフィールドを含むことができる。
【0256】
このとき、オーディオメタデータデスクリプタフィールドは、緊急放送の有無を表す緊急チャネルフィールド、マルチビューに左眼のイメージまたは右眼のイメージに対応するオーディオデータが含まれているかどうかを表すマルチビューフィールド、オーディオデータの言語が識別されているかどうかを表す言語コード有効フィールド、補助オーディオデータの有無を表す補助言語有効フィールド、メインオーディオデータと補助オーディオデータとがプレミックスされているかどうかを表すプレミックス補助オーディオフィールド、補助オーディオデータタイプを表す補助オーディオタイプフィールド、及びオーディオデータの言語コードを表す言語コードフィールドのうち、少なくとも一つを含むことができる。
【0257】
オーディオデータブロック
下記の表54は、本発明の一実施の形態にかかるEDID(Extended Display Identification Data)のオーディオデータブロックを示す。表54において3−4バイトに関する部分は、下記の表57で再定義する。
【0258】
また、マルチストリームオーディオのための新しい短縮オーディオデスクリプタ(Short Audio Descriptor:SAD)は削除され、その代りにEDIDで定義されたノーマル(normal)SADが使用される。追加された内容によれば、2個のチャネルまで送信されることができる。
【表54】
【0259】
下記の表は、前記オーディオデータブロックの3−4バイトを取り替えるブロック構成を示す。
【表55】
【0260】
各フィールドを説明すれば、次の通りである。
【0261】
緊急チャネルフィールド(Supports_MS_Emergency[1bit]:Supports_MS_Emergency=1であると、シンク装置は、緊急警告オーディオチャネルを受信し、処理することを支援する。Supports_MS_Emergency=0であると、シンク装置は、このような特徴を支援しない。
【0262】
オーディオミックスフィールド(Supports_MS_Mix)[1bit]:Supports_MS_Mix=1であると、シンク装置は、メインオーディオと補助オーディオ(supplementary audio)とを合成することを支援する。Supports_MS_Mix=0であるとシンク装置は、このような合成を支援しなくて、ミックスされたオーディオを再生することだけを支援する。
【0263】
補助オーディオ支援フィールド(Supports_MS_Supple)[1bit]:Supports_MS_Supple=1であると、シンク装置は、視覚/聴覚障害者のための補助オーディオトラックを有するマルチストリームオーディオを支援する。Supports_MS_Supple=0であると、何も表さないか、またはシンク装置が視覚/聴覚障害者のための補助オーディオトラックを支援しないことを表す。
【0264】
言語支援フィールド(Supports_MS_Lang)[1bit]:Supports_MS_Lang=1であると、シンク装置は、多数の言語オーディオストリームを有するマルチストリームオーディオを支援する。Supports_MS_Lang=0であると、何も表さないか、またはシンク装置が多数の言語オーディオストリームを支援しないことを表す。
【0265】
マルチビューオーディオ支援フィールド(Supports_MS_MultiView)[1bit]:Supports_MS_MultiView=1であると、シンク装置は、マルチビュービデオストリーミングのためのマルチストリームオーディオを支援する。Supports_MS_MultiView=0であると、何も表さないか、またはシンク装置がマルチビュービデオストリーミングのためのマルチストリームオーディオを支援しないことを表す。
【0266】
最大ストリームカウントフィールド(Max_Stream_Count−1[2bits]:シンク装置がハンドリングできる最大オーディオストリームの個数を表す。Max_Stream_Count−1値が下記の表に示される。
【0267】
オーディオデスクリプタ個数フィールド(NUM_HDMI_3D_AD)[3bits]:3Dオーディオスクリプターの個数を表す。
【表56】
【0268】
図12を再度参照すれば、本発明の他の実施の形態にかかるデータ送受信システム1000−3は、データ送信装置100−3及びデータ受信装置200−3を備える。
【0269】
前記データ送信装置100−3は、オーディオデータに対してシンク装置により支援される特定情報を含むディスプレイ識別情報を生成してデータ受信装置200−3に送信する。
【0270】
前記データ受信装置200−3は、データ送信装置100−3からディスプレイ識別情報を受信して分析する。このとき、ディスプレイ識別情報は、シンク装置により支援されるメインオーディオ及び補助オーディオの特徴情報を表すメイン/補助オーディオプロパティ(audio properties)フィールドを含む。
【0271】
以下、前記データ送信装置100−3と前記データ受信装置200−3は、さらに具体的に説明される。
【0272】
図13を再度参照すれば、本発明のさらに他の実施の形態にかかるデータ送信装置100−3は、生成部130及び送信部120を備える。
【0273】
前記生成部130は、オーディオデータに対してシンク装置により支援される特徴情報を含むディスプレイ識別情報を生成するための要素である。
【0274】
前記送信部120は、前記ディスプレイ識別情報をデータ受信装置200−3に送信する。
【0275】
このとき、前記ディスプレイ識別情報は、シンク装置により支援されるメインオーディオ及び補助オーディオの特徴情報を表すメイン/補助オーディオプロパティ(audio properties)フィールドを含む。
【0276】
このとき、前記メイン/オーディオプロパティフィールドは、前記シンク装置がメインオーディオと補助オーディオの構成を支援するかどうかを表すオーディオミックスフィールド、前記シンク装置の補助オーディオ支援有無を表す補助オーディオ支援フィールド、前記シンク装置の複数の言語からなるオーディオデータ支援有無を表す言語支援フィールド、前記シンク装置がマルチビューコンテンツのためのマルチストリームオーディオデータを支援しているかどうかを表すマルチビューオーディオ支援フィールド、シンク装置によりハンドリングされる最大オーディオストリームの個数を表す最大ストリームカウントフィールド、及び3Dオーディオデスクリプタの個数を表すオーディオデスクリプタ個数フィールドのうち、少なくとも一つを含む。
【0277】
前記ディスプレイ識別情報は、前記シンク装置が緊急放送の受信及び処理を支援しているかどうかを表す緊急チャネルフィールドをさらに含むことができる。
【0278】
図14に示すように、本発明のさらに他の実施の形態にかかるデータ送信装置100−3は、受信部210及び分析部230を備える。
【0279】
前記受信部210は、前記データ送信装置100−3からオーディオデータに対してシンク装置により支援される特徴情報を含むディスプレイ識別情報を受信するための要素である。
【0280】
前記分析部230は、受信されるディスプレイ識別情報を分析する。
【0281】
このとき、前記ディスプレイ識別情報は、前記シンク装置により支援されるメインオーディオ及び補助オーディオの特徴情報を表すメイン/補助オーディオプロパティフィールドを含む。
【0282】
このとき、前記メイン/オーディオプロパティフィールドは、前記シンク装置がメインオーディオと補助オーディオとの構成を支援するかどうかを表すオーディオミックスフィールド、前記シンク装置が補助オーディオを支援するかどうかを表す補助オーディオ支援フィールド、前記シンク装置の複数の言語からなるオーディオデータを支援するかどうかを表す言語支援フィールド(Language Support Field)、前記シンク装置がマルチビューコンテンツのためのマルチストリームオーディオデータを支援するかどうかを表すマルチビューオーディオ支援フィールド、シンク装置によりハンドリングされる最大オーディオストリームの個数を表す最大ストリームカウントフィールド、及び3Dオーディオデスクリプタの個数を表すオーディオデスクリプタ個数フィールドのうち、少なくとも一つを含む。
【0283】
前記ディスプレイ識別情報は、前記シンク装置の緊急放送受信及び処理を支援するかどうかを表す緊急チャネルフィールドをさらに含むことができる。
【0284】
一方、本発明の多様な実施の形態にかかる有線インタフェースは、クアッドビューコンテンツ送信を支援できる。クアッドビュー送信のためにHDMI有線インタフェース規格の3Dビデオフォーマット規格を活用できる。
【0285】
図18Aないし
図18Cは、本発明の一つ以上の実施の形態にかかるクアッドビュービデオコンテンツを3Dインターレースフォーマットで送信する場合、多様なデータ送信フォーマットを示す図である。
【0286】
この場合、ベンダー特定インフォフレーム(Vendor−Specific Infoframe)とベンダー特定データブロック(Vendor−specific Data Block)を修正できる。具体的に従来の3Dデュアルビューを定義するフィールドをリザーブ領域まで拡張する。
【表57】
【表58】
【表59】
【0287】
以下、本発明の多様な実施の形態にかかるデータ送信方法及び受信方法を説明する。
【0288】
図19は、本発明の一実施の形態にかかるデータ送信方法のフローチャートであり、
図20は、本発明の一実施の形態にかかるデータ受信方法のフローチャートである。
【0289】
図19に示すように、本発明の一実施の形態にかかるデータ送信方法は、オーディオメタデータパケットを生成するステップ(オペレイションS1710)と、前記生成されたオーディオメタデータパケットをデータ受信装置に送信するステップ(オペレイションS1720)とを含む。このとき、前記生成されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split Screen Information Field)を含む。
【0290】
また、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
【0291】
また、前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを含むことができる。
【0292】
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つを含むことができる。
【0293】
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
【0294】
前記マルチオーディオデスクリプタは、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応する分離された画面情報を表す画面分離タグフィールド(Split Screen Tag Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータに対応するビューを表す関連ビュー識別フィールド(Associated View ID Field)、前記マルチオーディオデスクリプタフィールドが有効な言語コードを含むかどうかを表す有効言語コードフィールド(Valid Language Code Field)、メインオーディオデータと補助オーディオデータとのプレミックス有無を表すミックスオーディオフィールド(mixed Audio Field)、前記マルチオーディオデスクリプタフィールドが有効な補助オーディオデータの種類に対する情報を含むかどうかを表すSATプレゼントフィールド(SAT Present Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのための補助オーディオデータ種類を表す補助オーディオ種類フィールド(Supplemental Audio Type Field)、前記生成されたオーディオメタデータパケットが表すオーディオデータのISO639で定義された言語コードを表す言語コードフィールド(Language Code Field)のうち、少なくとも一つを含むことができる。
【0295】
図20に示すように、本発明の一実施の形態にかかるデータ受信方法は、データ送信装置からオーディオメタデータパケットを受信するステップ(オペレイションS1810)、前記受信されたオーディオメタデータパケットをパーシングするステップ(オペレイションS1820)を含む。このとき、前記受信されたオーディオメタデータパケットのヘッダ(header)は、前記オーディオメタデータパケットが表すオーディオデータと関連した画面分離情報フィールド(Split ScreenInformation Field)を含む。
【0296】
また、前記画面分離情報フィールドは、画面分離支援有無を表す画面分離有効フィールド(Split Screen Valid Field)及び送信されるオーディオデータと関連した分離画面種類を表す分離画面種類フィールド(Split Screen Type Field)のうち、少なくとも一つを含むことができる。
【0297】
前記分離画面種類フィールドは、ディスプレイ画面を水平方向に分離する第1分離モード、前記ディスプレイ画面を垂直方向に分離する第2分離モード、前記ディスプレイ画面内にPIP画面をディスプレイする第3分離モード、及び前記ディスプレイ画面を三個以上に分離する第4分離モードのうちの何れか一つを表すことができる。
【0298】
前記生成されたオーディオメタデータパケットのヘッダ(header)は、送信されるコンテンツがマルチビューコンテンツなのかシングルビューコンテンツなのかを表すビュー種類フィールド(View Type Field)、前記オーディオメタデータパケットのシーケンス番号を表すシーケンス番号フィールド(Sequence Number Field)、及び送信されるオーディオストリームの個数情報を表すオーディオストリーム個数フィールド(Number Of Audio Stream Field)のうち、少なくとも一つをさらに含むことができる。
【0299】
前記生成されたオーディオメタデータパケットのペイロード(payload)は、マルチオーディオサンプルパケット(Multi Audio Sample Packet)のサブパケットに対するメタデータを表すマルチオーディオデスクリプタフィールド(Multi Audio Descriptor Field)を含むことができる。
【0300】
図21は、本発明の他の実施の形態にかかるデータ送信方法のフローチャートであり、
図22は、本発明の他の実施の形態にかかるデータ受信方法のフローチャートである。
【0301】
図21に示すように、本発明の他の実施の形態にかかるデータ送信方法は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを生成するステップ(オペレイションS1910)と前記生成されたパケットをデータ受信装置に送信するステップ(オペレイションS1920)とを含む。このとき、前記生成されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
【0302】
図22に示すように、本発明の他の実施の形態にかかるデータ受信方法は、マルチオーディオストリームに対する複数のサブパケットを含むパケットを受信するステップ(オペレイションS2010)と、前記受信されたパケットをパーシングするステップ(オペレイションS2020)とを含む。このとき、前記受信されたパケットのヘッダは、全体パケットのうち、前記生成されたパケットの順序を識別するためのシーケンス番号フィールド(Sequence Number Field)を含む。
【0303】
図23は、本発明のさらに他の実施の形態にかかるデータ送信方法のフローチャートであり、
図24は、本発明のさらに他の実施の形態にかかるデータ受信方法のフローチャートである。
【0304】
図23に示すように、本発明のさらに他の実施の形態にかかるデータ送信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を生成するステップ(オペレイションS2110)と、データ受信装置に前記デバイス性能情報ブロックを送信するステップ(オペレイションS2120)を含む。このとき、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
【0305】
図24に示すように、本発明のさらに他の実施の形態にかかるデータ受信方法は、オーディオデータに関してシンク装置により支援される特徴情報を含むデバイス性能情報ブロック(Device Capability Information Block)を受信するステップ(オペレイションS2210)と、前記受信されたデバイス性能情報ブロックを分析するステップ(オペレイションS2220)とを含む。このとき、前記デバイス性能情報ブロックは、前記シンク装置が画面分離と関連したマルチオーディオ受信及び処理を支援するかどうかを表す画面分離オーディオフィールド(Split Screen Audio Field)を含む。
【0306】
これに限定されるものではないが、本発明の一実施の形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現化することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによりその後に読み取りできる任意のデータ格納装置(storage device)である。コンピュータで読み取り可能媒体の例は、読み取り専用記憶装置(ROM)、任意抽出記憶装置(RAM)、CD−ROM、マグネチックテープ、フロッピー(登録商標)ディスク、及び光学データ格納装置を備える。コンピュータで読み取り可能な記録媒体は、またネットワークで接続したコンピュータシステムに分散できるから、コンピュータで読み取り可能なコードが分散された方式で格納され実行される。また、本発明の一実施の形態は、搬送波などのようなコンピュータで読み取り可能な送信媒体を介して送信されるコンピュータプログラムとして書かれる(written)ことができ、プログラムを実行する汎用または特殊目的用ディジタルコンピューターで記録され具現化されることができる。さらに、本発明の実施の形態において、上で説明した装置及びシステムの一つ以上の部(units)または要素(elements)は、回路(circuitry)、プロセッサ(processor)、マイクロプロセッサーなどを含むことができる。例えば、コンピュータプログラムは、前記で説明した方法に対応する一つ以上のアルゴリズムを含むことができる。
【0307】
但し、前述した実施の形態及び長所は、例示に過ぎず、本発明の概念(concept)は、上述した特定の実施の形態に限定されない。本教示は、他の種類の装置にも手軽に適用されることができる。また、本発明の概念に対する実施の形態の説明は、例示のためのものであり、請求の範囲に限って制限されずに、多くの代案、修正及び変形は本発明が属する技術分野における通常の知識を有した者にとって明らかであるはずである。