特許 7307239 送信方法及び送信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-03

(45)【発行日】2023-07-11

(54)【発明の名称】送信方法及び送信装置

(51)【国際特許分類】

   H04N 21/2368 20110101AFI20230704BHJP

   H04N 21/2362 20110101ALI20230704BHJP

【ＦＩ】

H04N21/2368

H04N21/2362

【請求項の数】 2

(21)【出願番号】P 2022105481

(22)【出願日】2022-06-30

(62)【分割の表示】P 2021075990の分割

【原出願日】2014-07-04

(65)【公開番号】P2022121617

(43)【公開日】2022-08-19

【審査請求日】2022-06-30

(31)【優先権主張番号】61/856,139

(32)【優先日】2013-07-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】遠間 正真

(72)【発明者】

【氏名】井口 賀敬

(72)【発明者】

【氏名】西 孝啓

(72)【発明者】

【氏名】加藤 久也

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２００７－２２１８２６（ＪＰ，Ａ）

【文献】特開２００６－３５２３０６（ＪＰ，Ａ）

【文献】特開２００４－３５０２５０（ＪＰ，Ａ）

【文献】特開２０００－０７８１９７（ＪＰ，Ａ）

【文献】国際公開第２００８／１１７５２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

個別に再生可能な単位の映像データを再生するための映像制御情報を送信する映像制御情報送信ステップと、
前記映像データを送信する映像データ送信ステップと、
前記映像データの再生区間に対応する再生区間の音声データを再生するための音声制御情報を送信する音声制御情報送信ステップと、
前記音声データを送信する音声データ送信ステップとを含み、
前記音声データは、各々が個別に再生可能な複数の音声サンプルを含み、
前記音声制御情報は、前記複数の音声サンプルのうち最初に再生される音声サンプルの再生開始時刻である先頭再生開始時刻を示す時刻情報を含み、
前記音声データ送信ステップでは、前記音声データを、各々が前記複数の音声サンプルの一つを含む複数のパケットに分割し、前記音声制御情報とは異なるパケットで送信し、
前記複数のパケットの各々は、当該パケットが、前記複数のパケットの何番目のパケットであるかを示す順番情報を含み、
前記映像データは、映像信号が分割されることにより得られた複数の映像データの一つであり、
前記音声データは、音声信号が分割されることにより得られた複数の音声データの一つである、
送信方法。

【請求項2】

個別に再生可能な単位の映像データを再生するための映像制御情報を送信する映像制御情報送信部と、
前記映像データを送信する映像データ送信部と、
前記映像データの再生区間に対応する再生区間の音声データを再生するための音声制御情報を送信する音声制御情報送信部と、
前記音声データを送信する音声データ送信部とを備え、
前記音声データは、各々が個別に再生可能な複数の音声サンプルを含み、
前記音声制御情報は、前記複数の音声サンプルのうち最初に再生される音声サンプルの再生開始時刻である先頭再生開始時刻を示す時刻情報を含み、
前記音声データ送信部は、前記音声データを、各々が前記複数の音声サンプルの一つを含む複数のパケットに分割し、前記音声制御情報とは異なるパケットで送信し、
前記複数のパケットの各々は、当該パケットが、前記複数のパケットの何番目のパケットであるかを示す順番情報を含み、
前記映像データは、映像信号が分割されることにより得られた複数の映像データの一つであり、
前記音声データは、音声信号が分割されることにより得られた複数の音声データの一つである、
送信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、送信方法、受信方法、送信方法、及び受信装置に関する。

【背景技術】

【0002】

現在、ＭＰＥＧ－ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）又はＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）などのフォーマットにより、オーディオ及びビデオなどの符号化データをセグメント化し、得られたセグメントを分割することでパケット化し、得られたパケットを放送又は通信などで送信することが検討されている。

【0003】

例えば、非特許文献１には、ＭＭＴに従って、符号化されたメディアデータをパケット毎に送信する技術が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ － Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔ － Ｐａｒｔ１：ＭＰＥＧ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ＭＭＴ）、ＩＳＯ／ＩＥＣ ＤＩＳ ２３００８－１

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような、送信方法及び受信方法では、受信装置において、データを受信してから、映像及び音声が再生されるまでの遅延時間を低減することが望まれている。

【0006】

そこで、本発明は、受信装置において、データを受信してから、映像及び音声が再生されるまでの遅延時間を低減できる送信方法又は受信方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の一態様に係る送信方法は、個別に再生可能な単位の映像データを再生するための映像制御情報を送信する映像制御情報送信ステップと、前記映像データを送信する映像データ送信ステップと、前記映像データの再生区間に対応する再生区間の音声データを再生するための音声制御情報を送信する音声制御情報送信ステップと、前記音声データを送信する音声データ送信ステップとを含み、前記音声データは、各々が個別に再生可能な複数の音声サンプルを含み、前記音声制御情報は、前記複数の音声サンプルのうち最初に再生される音声サンプルの再生開始時刻である先頭再生開始時刻を示す時刻情報を含み、前記音声データ送信ステップでは、前記音声データを、各々が前記複数の音声サンプルの一つを含む複数のパケットに分割し、前記音声制御情報とは異なるパケットで送信し、前記複数のパケットの各々は、当該パケットが、前記複数のパケットの何番目のパケットであるかを示す順番情報を含み、前記映像データは、映像信号が分割されることにより得られた複数の映像データの一つであり、前記音声データは、音声信号が分割されることにより得られた複数の音声データの一つである。

【0008】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

以上より、本発明は、受信装置において、データを受信してから、映像及び音声が再生されるまでの遅延時間を低減できる送信方法又は受信方法を提供できる。

【図面の簡単な説明】

【0010】

【図1】ＭＰ４ファイルの構成例を示す図である。

【図2】ＭＭＴデータの構成例を示す図である。

【図3】ＭＭＴデータにおける復号を開始できるオーディオサンプルを示す図である。

【図4】ＭＰＥＧ－２ ＴＳにおける復号を開始できるオーディオサンプルを示す図である。

【図5】実施の形態１に係る送信データの構成例を示す図である。

【図6】実施の形態１に係るデータの送信順を示す図である。

【図7】実施の形態１に係る送信装置のブロック図である。

【図8】実施の形態１に係る送信処理のフローチャートである。

【図9】実施の形態１に係る送信処理のフローチャートである。

【図10】実施の形態２に係る送信データの構成例を示す図である。

【図11】実施の形態２に係る送信装置のブロック図である。

【図12】実施の形態２に係る送信処理のフローチャートである。

【図13】実施の形態３に係る送信データの構成例を示す図である。

【図14】実施の形態３に係る送信データの構成例を示す図である。

【図15】実施の形態３に係る送信装置のブロック図である。

【図16】実施の形態３に係る送信処理のフローチャートである。

【図17】実施の形態４に係る受信装置のブロック図である。

【図18】実施の形態４に係る受信処理のフローチャートである。

【図19】実施の形態５に係る受信装置のブロック図である。

【図20】実施の形態５に係る受信処理のフローチャートである。

【図21】実施の形態５に係る受信処理の別の例のフローチャートである。

【発明を実施するための形態】

【0011】

（本発明の基礎となった知見）
各セグメントは、ヘッダ部と符号化データの格納部とから構成される。受信装置は、符号化データからアクセスユニット（ＤＡＳＨ及びＭＭＴなどＭＰ４をベースとするフォーマットにおいては、サンプルと呼ぶ）を分離する。また、受信装置は、アクセスユニットのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）及びＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）を取得するには、ヘッダ部の解析が必要となる。

【0012】

ここで、従来の放送では、ビデオ及びオーディオは、アクセスユニット毎にパケット化され、ＭＰＥＧ－２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）に多重化されて送信されていた。このため、受信装置は、アクセスユニットの分離、並びにＰＴＳ及びＤＴＳの取得をパケット単位で行うことができた。

【0013】

一方、ＤＡＳＨ及びＭＭＴなどのように、セグメントがパケット化されて送信される場合には、受信装置は、ランダムアクセス時にもセグメントのヘッダを取得する必要がある。よって、受信装置が、セグメントの途中から信号の受信を開始した場合には、当該受信装置は、当該セグメントのアクセスユニットを復号できない。このため、受信装置が復号できるのは次のセグメントからである。このように、本発明者は、ランダムアクセスにおいて、復号の開始までの遅延時間が増大するという課題があることを見出した。

【0014】

以下、図１～図４を参照して、ＭＭＴを構成するＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をパケット多重化する従来の方法における、ランダムアクセス時の課題について説明する。

【0015】

まず、従来のＭＰ４におけるビデオ及びオーディオデータの格納方法、並びに、ＭＰ４をベースとする伝送フォーマットであるＭＭＴにおけるデータ格納例について説明する。

【0016】

図１は、ＭＰ４におけるデータ格納例を示す図である。図１に示すようにＭＰ４ファイルは、複数のＭＰ４フラグメント（Ｆｒａｇｍｅｎｔ）を含む。各ＭＰ４フラグメントは、一対のｍｏｏｆとｍｄａｔとを含む。ｍｄａｔは、交互に配置された複数のビデオサンプルと複数のオーディオサンプルとを含む。

【0017】

一般的に、ＭＰ４フラグメントはランダムアクセスポイントとして用いられ、ビデオのランダムアクセス単位（ＲＡＵ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｕｎｉｔと呼ぶ）を構成するサンプルが格納される。オーディオは、任意のサンプルから復号可能であるが、ビデオのランダムアクセス単位の再生区間に対応するサンプルが格納される。

【0018】

例えば、ビデオのランダムアクセス単位の再生区間が、１０秒から１１秒の１秒間であるとすると、対応するオーディオサンプルとして、１０秒から１１秒の１秒間のサンプルが格納される。

【0019】

ここで、ビデオのフレームレート及びオーディオのサンプリング周波数によっては、両者の再生区間が厳密には一致しないことがある。この場合には、例えば、ビデオの再生区間の先頭サンプルのＰＴＳの直前となるＰＴＳを持つオーディオのサンプルから、ビデオの再生区間の最終サンプルの再生終了時刻の直前となる再生終了時刻を持つオーディオのサンプルまでが選択される。

【0020】

図２は、ＭＭＴにおけるＭＰＵへのデータの格納例を示す図である。図１の場合と同様に、ビデオとオーディオとのＭＰＵの再生区間が等しくなるようにＭＰＵが生成される。

【0021】

ビデオ及びオーディオのサンプルの復号においては、当該サンプルが属するＭＰＵのヘッダ（ｍｏｏｆなど）の解析が必要である。

【0022】

図３は、図２に示すようなＭＭＴデータをＭＭＴパケットなどにパケット多重化して送信する際のランダムアクセスにおける課題について示す図である。この図３は、ＭＭＴパケットに格納されて送信されるビデオ及びオーディオのデータの並び（送信順）を示す。ここでは、ビデオについては、ビデオサンプルＶ４からＲＡＵが開始する。つまり、ビデオはビデオサンプルＶ４から復号可能である。

【0023】

また、ここでは、オーディオのＮ番目のＭＰＵ＃Ｎは、オーディオサンプルＡ１から開始し、ＭＰＵ＃Ｎ＋１は、オーディオサンプルＡ１０から開始する。また、ビデオサンプルＶ４のＰＴＳの直後となるＰＴＳを持つオーディオサンプルはオーディオサンプルＡ２である。

【0024】

このような場合において、受信装置がビデオサンプルＶ４から受信を開始する場合、オーディオのＭＰＵ＃Ｎのヘッダを取得できていないため、当該ＭＰＵ＃Ｎに含まれるオーディオサンプルＡ２及びＡ３等を復号できない。よって、受信装置でオーディオが復号できるのは、ＭＰＵ＃Ｎ＋１の先頭サンプルであるオーディオサンプルＡ１０からである。

【0025】

一方で、伝送フォーマットとしてＭＰＥＧ－２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を用いる従来のＴＳにおいては、受信装置は、ビデオのランダムアクセスポイントの直後に開始するオーディオのアクセスユニットから復号できた。例えば、図４に示すように、図３と同一の並びでデータを受信した場合に、受信装置は、オーディオをオーディオサンプルＡ２から復号できる。

【0026】

以上のように、ビデオ及びオーディオが多重化されたＭＭＴのストリームが放送又は通信などにより送信される場合には、受信装置が、ビデオのランダムアクセスポイントから復号を開始してからオーディオの再生を開始できるまでの遅延時間が長くなる場合があるという課題があった。

【0027】

ここで、ビデオに関しては、ＲＡＵ単位でしか再生を開始できないという制限が存在する。そのため、ビデオのデータに関しては、映像が表示されるまでに、ある程度の遅延時間が存在するのは致し方ない。一方、オーディオは任意のサンプルから再生できにもかかわらず、上記のようなケースでは、再生を開始するまでに遅延時間が発生する。このように、受信装置が、再生可能なデータを受信しているにもかかわらず、そのデータの制御情報を受信できていないために当該データを再生できないという課題があること本発明者は見出した。

【0028】

本発明の一態様に係る送信方法は、個別に再生可能な単位の映像データを再生するための映像制御情報を送信する映像制御情報送信ステップと、前記映像データを送信する映像データ送信ステップと、前記映像データの再生区間に対応する再生区間の音声データを再生するための音声制御情報の送信順を前記映像制御情報の後に決定し、決定された前記送信順で前記音声制御情報を送信する音声制御情報送信ステップと、前記音声データを送信する音声データ送信ステップとを含む。

【0029】

これによれば、当該送信方法は、音声データの音声制御情報を、当該音声データに対応する映像データの映像制御情報より後に送信する。これにより、受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオも復号を開始できる。よって、受信装置が音声データの復号を開始するまでの遅延時間が低減される。また、音声のセグメントを細分化しなくてもよいため、オーバーヘッドも低減できる。

【0030】

例えば、前記音声データは、各々が個別に再生可能な複数の音声サンプルを含み、前記音声制御情報は、前記複数の音声サンプルの各々の再生開始時刻を示す時刻情報を含んでもよい。

【0031】

例えば、前記音声データの前記再生区間は、前記映像データの前記再生区間に略等しくてもよい。

【0032】

例えば、前記音声データ送信ステップでは、前記音声データを、各々が前記複数の音声サンプルの一つを含む複数のパケットに分割して送信し、前記複数のパケットの各々は、当該パケットが、前記複数のパケットの何番目のパケットであるかを示す順番情報を含んでもよい。

【0033】

これによれば、受信装置は、音声制御情報を受信できない場合であっても、各音声サンプルの再生開始時刻を算出し、算出した再生開始時刻を用いて音声サンプルを再生できる。よって、受信装置が音声データの復号を開始するまでの遅延時間が低減される。

【0034】

例えば、前記映像データは、映像信号が分割されることにより得られた複数の映像データの一つであり、前記音声データは、音声信号が分割されることにより得られた複数の音声データの一つであり、前記音声データの再生時間は、前記映像データの再生時間より短くてもよい。

【0035】

これによれば、受信装置が音声データの復号を開始するまでの遅延時間が低減される。

【0036】

例えば、前記複数の音声データは、前記複数の映像データの各々の再生開始時刻と略等しい再生開始時刻の複数の音声データを含んでもよい。

【0037】

また、本発明の一態様に係る受信方法は、前記送信方法により送信された前記映像制御情報、前記映像データ、前記音声制御情報及び前記音声データを受信する。

【0038】

これによれば、受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオも復号を開始できる。よって、受信装置が音声データの復号を開始するまでの遅延時間が低減される。

【0039】

また、本発明の一態様に係る受信方法は、前記送信方法により送信された前記映像制御情報、前記映像データ、前記音声制御情報及び前記音声データを受信する受信方法であって、前記複数の音声サンプルのうち最初に再生される音声サンプルの再生開始時刻である先頭再生開始時刻を取得する再生開始時刻取得ステップと、前記複数の音声サンプルの各々の再生時間を取得する再生時間取得ステップと、前記先頭再生開始時刻と、前記再生時間と、処理対象の前記パケットに含まれる前記順番情報とを用いて、当該処理対象の前記パケットに含まれる前記音声サンプルの再生開始時刻を判定する判定ステップとを含む。

【0040】

これによれば、受信装置は、音声制御情報を受信できない場合であっても、各音声サンプルの再生開始時刻を算出し、算出した再生開始時刻を用いて音声サンプルを再生できる。よって、受信装置が音声データの復号を開始するまでの遅延時間が低減される。

【0041】

また、本発明の一態様に係る送信装置は、個別に再生可能な単位の映像データを再生するための映像制御情報を送信する映像制御情報送信部と、前記映像データを送信する映像データ送信部と、前記映像データの再生区間に対応する再生区間の音声データを再生するための音声制御情報の送信順を前記映像制御情報の後に決定し、決定された前記送信順で前記音声制御情報を送信する音声制御情報送信部と、前記音声データを送信する音声データ送信部とを備える。

【0042】

これによれば、当該送信装置は、音声データの音声制御情報を、当該音声データに対応する映像データの映像制御情報より後に送信する。これにより、受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオも復号を開始できる。よって、受信装置が音声データの復号を開始するまでの遅延時間が低減される。また、音声のセグメントを細分化しなくてもよいため、オーバーヘッドも低減できる。

【0043】

また、本発明の一態様に係る受信装置は、前記送信装置により送信された前記映像制御情報、前記映像データ、前記音声制御情報及び前記音声データを受信する。

【0044】

これによれば、当該受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオも復号を開始できる。よって、受信装置が音声データの復号を開始するまでの遅延時間が低減される。

【0045】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0046】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0047】

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0048】

（実施の形態１）
以下、本実施の形態に係る送信方法及び送信装置について説明する。本実施の形態に係る送信方法は、ビデオのＭＰＵのＭＰＵヘッダを格納するＭＭＴパケットよりも後に、当該ビデオのＭＰＵと同一再生区間を持つオーディオのＭＰＵのＭＰＵヘッダを格納するＭＭＴパケットを送信する。

【0049】

これにより、受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオも復号を開始できる。よって、受信装置がオーディオの復号を開始するまでの遅延時間を低減できる。また、オーディオのセグメントが細分化されないため、オーバーヘッドも低減できる。

【0050】

まず、本実施の形態に係る送信方法におけるデータ構造を説明する。

【0051】

図５は、本実施の形態に係るＭＰＵの構成を示す図である。図５に示すようにＭＭＴデータは、複数のビデオＭＰＵ（Ｖ＿ＭＰＵ）と、複数のオーディオＭＰＵ（Ａ＿ＭＰＵ）とを含む。

【0052】

各ＭＰＵ（ビデオＭＰＵ及びオーディオＭＰＵ）は、ＭＰＵヘッダと、ＭＰＵペイロードとを含む。ＭＰＵヘッダは、ＭＰＵメタデータ（ｆｔｙｐ、ｍｍｐｕ及びｍｏｏｖなど）と、ＦＲＧメタデータ（ｍｏｏｆ及びｍｄａｔなどｍｏｖｉｅ ｆｒａｇｍｅｎｔ単位のヘッダ）とを含む。また、ＭＰＵヘッダは、ＭＰＵメタデータに含まれる複数のサンプル各々のＰＴＳ及びＤＴＳの少なくとも一方を示す情報を含む。

【0053】

なお、以下では、ビデオＭＰＵのＭＰＵヘッダをビデオＭＰＵヘッダと呼び、ビデオＭＰＵのＭＰＵペイロードをビデオＭＰＵペイロードと呼ぶ。また、オーディオＭＰＵのＭＰＵヘッダをオーディオＭＰＵヘッダと呼び、オーディオＭＰＵのＭＰＵペイロードをオーディオＭＰＵペイロードと呼ぶ。

【0054】

例えば、複数のオーディオＭＰＵの各々は、複数のビデオＭＰＵの一つと対応する。図５では、対応するビデオＭＰＵとオーディオＭＰＵとをＶ＿ＭＰＵ＃ｎ（ｎは自然数）及びＡ＿ＭＰＵ＃ｎと表している。また、対応するオーディオＭＰＵとビデオＭＰＵとは、例えば、同一の再生区間を有する。

【0055】

なお、ビデオのフレームレート又はオーディオのサンプリング周波数によっては、両者の再生区間が厳密には一致しないことがある。このときは、例えば、ビデオＭＰＵに対応するオーディオＭＰＵとして、ビデオＭＰＵの再生区間の先頭サンプルのＰＴＳの直前となるＰＴＳを持つオーディオのサンプルから、ビデオＭＰＵの再生区間の最終サンプルの再生終了時刻の直前となる再生終了時刻を持つオーディオのサンプルまでが選択される。なお、ビデオＭＰＵに対応するオーディオＭＰＵとして、ビデオＭＰＵの再生区間の先頭サンプルのＰＴＳの直後となるＰＴＳを持つサンプルから、ビデオＭＰＵの再生区間の最終サンプルの再生終了時刻の直後となる再生終了時刻を持つサンプルまでが選択されてもよい。

【0056】

つまり、対応するビデオＭＰＵとオーディオＭＰＵとは略同一な再生区間を有する。言い換えると、対応するビデオＭＰＵとオーディオＭＰＵとは少なくともと再生区間の一部が重複する。

【0057】

図６は、本実施の形態におけるＭＴＴパケットの送信順（多重化順）の一例を示す図である。

【0058】

ビデオＭＰＵペイロードは、複数のビデオサンプル（アクセスユニット）Ｖ１～Ｖ８を含む。ビデオＭＰＵは、複数のＭＭＴパケット（以下、ビデオＭＭＴパケットとも呼ぶ）に分割される。複数のビデオＭＭＴパケットは、ビデオＭＰＵヘッダが格納されるパケット（Ｖ＿ＭＰＵ（ｎ）＿Ｈ）と、ビデオＭＰＵペイロードに含まれる複数のビデオサンプルが格納される複数のパケット（Ｖ＿ＭＰＵ（ｎ）＿Ｐ）とを含む。複数のパケット（Ｖ＿ＭＰＵ（ｎ）＿Ｐ）には、複数のビデオサンプル（Ｖ１～Ｖ８）が分割されて格納される。

【0059】

オーディオＭＰＵペイロードは、複数のオーディオサンプル（アクセスユニット）Ａ１～Ａ１０を含む。オーディオＭＰＵは、複数のＭＭＴパケット（以下、オーディオＭＭＴパケットとも呼ぶ）に分割される。複数のオーディオＭＭＴパケットは、オーディオＭＰＵヘッダが格納されるパケット（Ａ＿ＭＰＵ（ｎ）＿Ｈ）と、オーディオＭＰＵペイロードに含まれる複数のオーディオサンプルが格納される複数のパケット（Ａ＿ＭＰＵ（ｎ）＿Ｐ）とを含む。複数のパケット（Ａ＿ＭＰＵ（ｎ）＿Ｐ）には、複数のオーディオサンプル（Ａ１～Ａ１０）が分割されて格納される。

【0060】

本実施の形態では、図６に示すように、ビデオＭＰＵのＭＰＵヘッダを格納するＭＭＴパケットＶ＿ＭＰＵ（ｎ）＿Ｈよりも後に、当該ビデオＭＰＵに対応するオーディオＭＰＵのＭＰＵヘッダを格納するＭＭＴパケットＶ＿ＭＰＵ（ｎ）＿Ｈを送信する。

【0061】

これにより、受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオも復号を開始できる。よって、受信装置がオーディオの復号を開始するまでの遅延時間を低減できる。また、オーディオのセグメントが細分化されないため、オーバーヘッドも低減できる。

【0062】

ここで、ビデオの符号化においては、ＲＡＵの先頭のアクセスユニット（ＭＰ４におけるサンプル）の符号量が、後続のアクセスユニットと比較して大きくなるのが一般的である。一方で、オーディオについては、アクセスユニットの符号量のバラツキは、ビデオに比べて少ない。このため、特に、オーディオ及びビデオの符号化データを多重化したパケット列を固定レートで送信する場合、ビデオのＲＡＵの先頭アクセスユニットについては、復号時刻までにアクセスユニットの全データが受信できていることを保証するために、早い時刻から送出が開始される。従って、ＭＭＴにおいて、ＭＰＥＧ－２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）と同様にＳＴＤ（Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ）のようなシステムデコーダモデルを規定した場合でも、ｎ番目のビデオＭＰＵヘッダを格納したＭＭＴパケットよりも後に、ｎ番目のオーディオＭＰＵのヘッダを格納したＭＭＴパケットを送信し、かつ、システムデコーダモデルを満たすことができる。

【0063】

以下、本実施の形態に係る送信装置の構成及びその動作を説明する。

【0064】

図７は、本実施の形態に係る送信装置１００のブロック図である。図７に示す送信装置１００は、ＭＰＵ生成部１０１と、パケット多重化部１０２とを備える。パケット多重化部１０２は、ビデオヘッダ判定部１１１と、オーディオヘッダ判定部１１２と、多重化部１１３とを備える。

【0065】

図８は、本実施の形態に係る送信処理（多重化処理）のフローチャートである。

【0066】

ＭＰＵ生成部１０１は、入力されたビデオ信号及びオーディオ信号を分割することで、複数のビデオＭＰＵ及び複数のオーディオＭＰＵを生成する。

【0067】

次に、パケット多重化部１０２は、ビデオＭＰＵ及びオーディオＭＰＵを多重化する。

【0068】

具体的には、まず、ビデオヘッダ判定部１１１は、ｎ番目のビデオＭＰＵであるＶ＿ＭＰＵ（ｎ）のＭＰＵヘッダを格納するＭＭＴパケットの送信順（ＶＨ＿ＬＯＣ）が決定しているかどうかを判定する（Ｓ１０１）。

【0069】

ＶＨ＿ＬＯＣが決定している場合（Ｓ１０１でＹｅｓ）、オーディオヘッダ判定部１１２は、ｎ番目のオーディオＭＰＵであるＡ＿ＭＰＵ（ｎ）のＭＰＵヘッダを格納するＭＭＴパケットが、ＶＨ＿＿ＬＯＣよりも後に送信されるように送信順を決定する（Ｓ１０２）。

【0070】

次に、多重化部１１３は、オーディオＭＰＵ及びビデオＭＰＵのデータをＭＭＴパケットに格納し、パケットを多重化することで送信ストリームを生成する（Ｓ１０３）。なお、このとき、多重化部１１３は、オーディオＭＰＵヘッダが格納されるＭＭＴパケットを、ステップＳ１０２で決定された送信順に従い送信する。つまり、多重化部１１３は、ｎ番目のオーディオＭＰＵであるＡ＿ＭＰＵ（ｎ）のＭＰＵヘッダを格納するＭＭＴパケットを、ｎ番目のビデオＭＰＵであるＶ＿ＭＰＵ（ｎ）のＭＰＵヘッダを格納するＭＭＴパケットよりも後に送信する。

【0071】

一方、ＶＨ＿ＬＯＣが決定していない場合（Ｓ１０１でＮｏ）、多重化部１１３は、オーディオＭＰＵ及びビデオＭＰＵのデータをＭＭＴパケットに格納し、パケットを多重化することで送信ストリームを生成する（Ｓ１０３）。

【0072】

また、上記の一連の処理が、全てのＭＭＴパケットが送信されるまで、繰り返し行われる（Ｓ１０４）。

【0073】

なお、ここでは、送信装置１００は、ビデオＭＰＵヘッダのＭＭＴパケットを基準として、当該ＭＭＴパケットより送信順が後になるようにオーディオＭＰＵヘッダのＭＭＴパケットの送信順を決定しているが、オーディオＭＰＵヘッダのＭＭＴパケットを基準として、当該ＭＭＴパケットより送信順が前になるようにビデオＭＰＵヘッダのＭＭＴパケットの送信順を決定してもよい。言い換えると、多重化部１１３は、ｎ番目のビデオＭＰＵであるＶ＿ＭＰＵ（ｎ）のＭＰＵヘッダを格納するＭＭＴパケットを、ｎ番目のオーディオＭＰＵであるＡ＿ＭＰＵ（ｎ）のＭＰＵヘッダを格納するＭＭＴパケットよりも前に送信してもよい。

【0074】

なお、上記説明では、送信装置１００は、各ＭＰＵに含まれるＭＰＵヘッダとＭＰＵペイロードとを単一のストリームに多重化して送信しているが、ＭＰＵヘッダ（又はＭＰＵヘッダに含まれる情報の一部）を、ＭＰＵペイロードが多重化されたストリームとは別の信号として送信してもよい。この場合においても、送信装置１００は、当該別の信号において、オーディオＭＰＵヘッダを、当該オーディオＭＰＵヘッダに対応するビデオＭＰＵヘッダより後に送信する。

【0075】

また、送信装置１００は、ＭＰＵヘッダを送信せずに、ＭＰＵペイロードのみを送信する場合も、オーディオＭＰＵとビデオＭＰＵとの再生区間を揃えてもよい。こうすることで、同期して再生されるビデオＭＰＵとオーディオＭＰＵとのインデックス番号が同一となる。ＭＭＴの伝送においては、ＭＰＵ毎のＰＴＳ及びＤＴＳの絶対値が受信装置へ提供される。よって、同期再生されるビデオＭＰＵとオーディオＭＰＵのインデックス番号が同一であることにより、受信装置における、再生を開始するビデオのアクセスユニットのＰＴＳに対応するＰＴＳを持つオーディオのアクセスユニットを探索する処理の処理量を削減できる。

【0076】

以上のように、本実施の形態に係る送信装置１００は、図９に示す処理を行う。

【0077】

まず、送信装置１００は、個別に再生可能な単位（ＲＡＵ単位）の映像データ（ビデオＭＰＵ）を再生するための映像制御情報（ビデオＭＰＵヘッダ）を送信する（Ｓ１２１）。

【0078】

次に、送信装置１００は、上記個別に再生可能な単位（ＲＡＵ単位）の映像データ（ビデオＭＰＵ）を送信する（Ｓ１２２）。

【0079】

次に、送信装置１００は、上記映像データの再生区間に対応する再生区間の音声データ（オーディオＭＰＵ）を再生するための音声制御情報（オーディオＭＰＵヘッダ）を、上記映像制御情報を送信した後に送信する（Ｓ１２３）。つまり、送信装置１００は、上記映像データの再生区間に対応する再生区間の音声データ（オーディオＭＰＵ）を再生するための音声制御情報（オーディオＭＰＵヘッダ）の送信順を上記映像制御情報の後に決定し、決定された送信順で音声制御情報を送信する。言い換えると、送信装置１００は、音声制御情報の送信順が上記映像制御情報の前にならないように音声制御情報の送信順を決定し、決定された送信順で音声制御情報を送信する。これにより、音声制御情報は常に映像制御情報の後に送信される。言い換えると、送信装置１００は、音声制御情報が映像制御情報より前に送信されることを禁止する。

【0080】

次に、送信装置１００は、上記音声データを送信する（Ｓ１２４）。

【0081】

例えば、上記音声データは、各々が個別に再生可能な複数の音声サンプルを含む。また、音声制御情報は、複数の音声サンプルの各々の再生開始時刻を示す時刻情報（ＰＴＳ）を含む。また、音声データの再生区間は、映像データの再生区間に略等しい。

【0082】

以上より、本実施の形態に係る送信装置１００は、セグメントをパケット多重化して送信する際に、オーディオのセグメント（ＭＰＵ）のヘッダを、当該オーディオのセグメントとセグメントの先頭ＰＴＳが一致するビデオのセグメントのヘッダよりも後に送信する。これにより、受信装置は、ランダムアクセス時にビデオの復号を開始できる時刻においてオーディオの復号も開始できる。よって、ビデオの復号の開始からオーディオの復号の開始までの遅延時間が低減される。また、オーディオのセグメントを細分化する必要がないため、オーバーヘッドも低減できる。

【0083】

（実施の形態２）
本実施の形態では、送信装置は、受信装置が、オーディオのサンプルデータに含まれる情報等に基づいてオーディオサンプルのＰＴＳを決定できるストリームを生成する。これにより、受信装置は、オーディオＭＰＵヘッダが取得できない場合でも、オーディオサンプルを再生できる。

【0084】

例えば、本実施の形態の方法を用いることで、図３に示すケースにおいても、受信装置は、オーディオサンプルＡ２から復号を開始できる。

【0085】

図１０は、本実施の形態に係るオーディオＭＰＵの構成を示す図である。

【0086】

図１０に示すように、オーディオサンプルを格納する複数のＭＭＴパケット（Ａ＿ＭＰＵ（ｎ）＿Ｐ１～ＡＭＰＵ（ｎ）＿Ｐ８）の各々に、１つのオーディオサンプル（Ａ１～Ａ８のいずれか）が格納される。つまり、複数のＭＭＴパケットは、複数のオーディオサンプルと一対一で対応する。

【0087】

また、各ＭＭＴパケットは、ヘッダと、オーディオサンプルのデータが格納されるペイロードとを含む。当該ヘッダは、フラグメントＳＮを含む。フラグメントＳＮは、ＭＰＵが分割された単位（フラグメント）のインデックス番号である。つまり、フラグメントＳＮは、そのフラグメント（パケット）がＭＰＵ内において何番目のフラグメントであるかを示す。また、本実施の形態では、１つのフラグメント（パケット）に１つのオーディオサンプルが格納されるので、このフラグメントＳＮは、当該フラグメントに含まれるオーディオサンプルの、ＭＰＵ内における復号順を示す。

【0088】

なお、オーディオサンプルを格納するＭＭＴパケットには、ＭＰＵヘッダは含まれない。

【0089】

また、復号を開始するオーディオＭＰＵにおける先頭サンプルのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）は、ＭＭＴメッセージなどにより、別途受信装置へ送信される。

【0090】

例えば、放送の選局後に復号を開始する場合には、選局時に取得するＭＭＴのＰＡメッセージなどにおいて、選局後の一定期間に送信されるＭＰＵの先頭サンプルのＰＴＳが示される。

【0091】

また、サンプルデータには、サンプリング周波数を示す情報が含まれる。例えば、ＭＰＥＧ－２及びＭＰＥＧ－４のＡＡＣのＡＤＴＳ（Ａｕｄｉｏ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）方式においては、ＡＤＴＳヘッダにサンプリング周波数及びチャネル構成を示す情報が含まれる。

【0092】

また、ＡＡＣのＡＤＴＳ及びＬＡＴＭ（Ｌｏｗ－ｏｖｅｒｈｅａｄ ＭＰＥＧ－４ Ａｕｄｉｏ Ｔｒａｎｓｐｏｒｔ Ｍｕｌｔｉｐｌｅｘ）をＭＰ４に格納する際には、ＡＤＴＳヘッダなどのヘッダ情報をサンプルデータから削除して、ヘッダ情報をｍｏｏｖのｓｔｓｄに格納することがある。この場合には、ＡＡＣのサンプルデータに、ヘッダ情報が含まれるかどうかを示す情報を、ＭＰ４ファイルのブランド、又は、別途定義されたＢｏｘなどに格納してもよいし、ＡＡＣのサンプルデータに、ヘッダ情報が含まれるかどうかを放送などの運用規定において予め定めてもよい。あるいは、サンプルデータにヘッダ情報が含まれるかどうかを示す情報が、ＭＭＴのＳＩ情報などに含まれてもよい。また、多重化方式がＭＭＴである場合に、ストリームのタイプとしてＡＤＴＳ又はＬＡＴＭを指定することで、ヘッダ情報がサンプルデータに含まれることを示してもよい。ヘッダ情報がサンプルデータに含まれる場合には、受信装置は、ＭＰＵヘッダが送信されない、又は、ＭＰＵヘッダが取得できない場合でも、ヘッダ情報に基づいてオーディオを復号し、再生できる。

【0093】

なお、ヘッダ情報がサンプルデータに含まれない場合には、受信装置は、予めサンプルの再生時間を取得する必要がある。なお、受信装置は、ヘッダ情報がサンプルデータに含まれない場合には、下記手法を用いずに、ＭＰＵヘッダが取得できるＭＰＵから復号を開始してもよい。

【0094】

受信装置は、ＭＰＵの先頭サンプルのＰＴＳと、１つオーディオサンプルの再生時間と、フラグメントＳＮとを用いて、オーディオサンプルのＰＴＳを算出する。

【0095】

具体的には、受信装置は、下記（式１）を用いて、任意のオーディオサンプルのＰＴＳを決定する。

【0096】

ｓａｍｐｌｅ（ｉ）．ｐｔｓ＝ＭＰＵ（ｎ）．ｐｔｓ＋（ｎｕｍ＿ｓｐｌ／ｓａｍｐｌｉｎｇ＿ｒａｔｅ）＊ｆｒｇ＿ｓｎ ・・・（式１）

【0097】

ここで、ｓａｍｐｌｅ（ｉ）．ｐｔｓは、ｎ番目のＭＰＵにおけるｉ番目のサンプルのＰＴＳであり、ＭＰＵ（ｎ）．ｐｔｓは、ｎ番目のＭＰＵにおいて表示順で先頭となるサンプルのＰＴＳである。

【0098】

ｎｕｍ＿ｓｐｌは、オーディオフレームに含まれるサンプル数である。なお、この場合のサンプルはＭＰ４におけるサンプルとは異なる。ＭＰＥＧ－２又はＭＰＥＧ－４のＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）の場合、サンプル数は１フレームあたり１０２４である。

【0099】

ｓａｍｐｌｉｎｇ＿ｒａｔｅは、オーディオのサンプリング周波数であり、ｆｒｇ＿ｓｎは、フラグメントＳＮである。

【0100】

つまり、受信装置は、オーディオフレームに含まれるサンプル数をサンプリング周波数で除算することで、一つのオーディオサンプルの再生時間を算出する。受信装置は、ＭＰＵの先頭サンプルのＰＴＳに、一つのオーディオサンプルの再生時間とフラグメントＳＮ（ＭＰＵ内のサンプルのインデックス番号）との積を加算することで、オーディオサンプルのＰＴＳを算出する。

【0101】

なお、オーディオサンプルの再生時間を、上記以外の方法により取得できる場合には、受信装置は、他の方法を用いてもよい。

【0102】

例えば、オーディオのサンプリング周波数が一定であるなど、サンプルの再生時間が一定である場合には、受信装置は、予め取得した再生時間に基づいて、オーディオサンプルのＰＴＳを決定してもよい。

【0103】

また、ＭＭＴメッセージなどにより、サンプリング周波数、又は、サンプルの再生時間を示す情報が送信されてもよい。また、ＭＭＴパケットを、直接、又は、ＩＰパケットに多重化したうえで、ＴＳパケットに格納して送信する場合においては、ＭＰＥＧ－２システムのデスクリプタなどにより、サンプリング周波数、又は、サンプルの再生時間を示す情報が送信されてもよい。

【0104】

また、ビデオにおいても、フレームレートが既知である、又は、フレームレートがＭＭＴメッセージなどにより別途取得できる場合には、本方法が適用できる。

【0105】

また、ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、及びＭＰＥＧ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などにおいては、サンプルデータに、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）及びＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などの復号時の初期化情報が含まれる必要がある。ＳＰＳ及びＰＰＳがサンプル内に含まれるかどうかは、ＭＰ４のブランド名又はサンプルエントリのタイプにより識別できるため、これらの情報が別途送信されてもよい。

【0106】

以上により、受信装置は、オーディオＭＰＵヘッダを受信できない場合でも、ＭＰＵ内の任意のオーディオサンプルのＰＴＳを取得できる。これにより、ビデオＭＰＵヘッダとオーディオＭＰＵヘッダとの送信順序に制約を設けることなく、オーディオが再生されるまでの遅延時間を低減できる。

【0107】

以下、本実施の形態に係る送信装置の構成及びその動作を説明する。

【0108】

図１１は、本実施の形態に係る送信装置２００のブロック図である。図１１に示す送信装置２００は、ビデオＭＰＵ生成部２０１と、オーディオＭＰＵ生成部２０２と、オーディオパケット化部２０３と、ビデオパケット化部２０４とを備える。

【0109】

図１２は、本実施の形態に係る送信処理（多重化処理）のフローチャートである。

【0110】

まず、ビデオＭＰＵ生成部２０１は、ｎ番目のビデオＭＰＵであるＶ＿ＭＰＵ（ｎ）の再生区間を決定する（Ｓ２０１）。また、ビデオパケット化部２０４は、決定されたＶ＿ＭＰＵ（ｎ）を複数のＭＭＴパケットにパケット化する。このとき、ビデオパケット化部２０４は、Ｖ＿ＭＰＵ（ｎ）を、当該Ｖ＿ＭＰＵ（ｎ）の先頭サンプルがランダムアクセスポイントとなるように生成する。つまり、Ｖ＿ＭＰＵ（ｎ）は、１つ以上のビデオのランダムアクセス単位から構成される。

【0111】

次に、オーディオＭＰＵ生成部２０２は、Ｖ＿ＭＰＵ（ｎ）の再生区間と一致するように、ｎ番目のオーディオＭＰＵであるＡ＿ＭＰＵ（ｎ）の再生区間を決定する（Ｓ２０２）。

【0112】

次に、オーディオパケット化部２０３は、ステップＳ２０２で決定されたＡ＿ＭＰＵ（ｎ）に含まれる各サンプルが、それぞれ１つのＭＭＴパケットに格納されるように複数のＭＭＴパケットを生成する（Ｓ２０３）。

【0113】

そして、送信装置２００は、オーディオパケット化部２０３で生成されたオーディオのＭＭＴパケットと、ビデオパケット化部２０４で生成されたビデオのＭＭＴパケットとを多重化して送信する。

【0114】

なお、上記説明では、Ｖ＿ＭＰＵ（ｎ）とＡ＿ＭＰＵ（ｎ）との再生区間が一致しているが、Ｖ＿ＭＰＵ（ｎ）とＡ＿ＭＰＵ（ｎ）との再生区間は異なってもよい。本実施の形態においては、受信装置は、オーディオＭＰＵを途中から受信しても、受信直後に取得したサンプルから復号を開始できるため、Ｖ＿ＭＰＵ（ｎ）とＡ＿ＭＰＵ（ｎ）との再生区間が必ずしも一致する必要はない。

【0115】

以上より、本実施の形態に係る送信装置２００は、オーディオのセグメントをパケット多重化して送信する際に、セグメントのヘッダ部とデータ格納部とを別パケットに格納し、さらに、データ格納部をアクセスユニット毎にパケット化する。また、送信装置２００は、アクセスユニットを格納するパケットのヘッダに、セグメント内における当該アクセスユニットの復号順を示すインデックス番号を格納して送信する。これにより、受信装置は、アクセスユニットのＰＴＳを算出できる。よって、セグメントのパケット多重化動作を制約することなく、受信装置が復号を開始するまでの遅延時間が低減される。

【0116】

つまり、送信装置２００は、音声データ（オーディオＭＰＵ）を、各々が複数の音声サンプル（オーディオサンプル）の一つを含む複数のパケット（ＭＭＴパケット）に分割して送信する。また、複数のパケットの各々は、当該パケットが、複数のパケットの何番目のパケットであるかを示す順番情報（フラグメントＳＮ）を含む。

【0117】

（実施の形態３）
本実施の形態では、ビデオＭＰＵとオーディオＭＰＵとの再生区間を揃えることなく、オーディオＭＰＵの再生時間を、ビデオＭＰＵの再生時間より短く設定する。これにより、オーディオのＭＰＵの送信頻度が上がるので、ランダムアクセス性を高めることができる。

【0118】

ＭＰＵ単位でのランダムアクセスを想定すると、ビデオにおいては、符号化データにおけるＲＡＵがＭＰＵの最小単位である。一方、オーディオでは、任意のサンプル（アクセスユニット）から復号可能であるため、ＭＰＵを構成するサンプル数は自由に設定できる。

【0119】

例えば、ビデオのＲＡＵの再生時間は、符号化効率とランダムアクセス性との兼ね合いから、０．５秒から１秒程度であることが一般的である。また、ビデオＭＰＵの再生時間もＲＡＵの再生時間に従うことになる。

【0120】

一方、オーディオの場合は、ＭＰＵの再生時間を０．１秒程度とすることも可能である。例えば、オーディオＭＰＵの再生時間を０．１秒に設定すると、ビデオの再生を開始してから、遅くとも０．１秒以内にオーディオの再生を開始できる。このように、オーディオＭＰＵの再生時間を短く設定することで、ビデオの再生を開始してからオーディオの再生を開始できるまでの遅延時間を短縮できる。

【0121】

図１３は、本実施の形態に係るビデオＭＰＵ及びオーディオＭＰＵの一例を示す図である。図１３に示すように、複数のオーディオＭＰＵの各々の再生時間は、複数のビデオＭＰＵの各々の再生時間より短く設定される。

【0122】

また、ビデオＭＰＵの先頭ＰＴＳに対して、いずれかのオーディオＭＰＵの先頭ＰＴＳが対応するように、複数のオーディオＭＰＵの再生区間が設定されてもよい。図１４は、この場合のビデオＭＰＵ及びオーディオＭＰＵの一例を示す図である。

【0123】

例えば、図１３に示すようにオーディオＭＰＵの再生区間が設定されると、ビデオＭＰＵ（１）の先頭ＰＴＳと同一の先頭ＰＴＳを持つオーディオＭＰＵは存在しない。このように、図１３に示す例では、ビデオＭＰＵの先頭ＰＴＳに対して、いずれかのオーディオＭＰＵの先頭ＰＴＳが対応することが保証されない。

【0124】

一方、図１４に示すようにオーディオＭＰＵの再生区間が設定されると、各ビデオＭＰＵの先頭ＰＴＳと同一の先頭ＰＴＳを持つオーディオＭＰＵが必ず存在する。つまり、ビデオＭＰＵの先頭ＰＴＳに対して、いずれかのオーディオＭＰＵの先頭ＰＴＳが対応することが保証される。

【0125】

また、ビデオのＲＡＵの再生時間が一定であれば、送信装置は、ＭＰＵ生成処理の開始に先立ってビデオのＭＰＵの再生時間を取得することで、オーディオＭＰＵの再生時間を決定できる。一方、ビデオ素材のフレームレートの切替わり又は符号化条件の変更が発生し、ビデオのＲＡＵの再生時間が可変となる場合には、送信装置は、各ビデオＭＰＵの再生時間を取得しながら、オーディオＭＰＵの再生時間を決定する。

【0126】

以下、本実施の形態に送信装置の構成及びその動作を説明する。

【0127】

図１５は、本実施の形態に係る送信装置３００のブロック図である。図１５に示す送信装置３００は、ビデオＭＰＵ生成部３０１と、区間判定部３０２と、第１決定部３０３と、第２決定部３０４と、先頭決定部３０５と、ＭＰＵ生成部３０６とを備える。

【0128】

図１６は、本実施の形態に係る送信処理（多重化処理）のフローチャートである。

【0129】

まず、初期設定として、送信装置３００は、ｎを０に設定することで、最初のＭＰＵを選択する（Ｓ３０１）。

【0130】

次に、ビデオＭＰＵ生成部３０１は、ビデオのＲＡＵに基づいて、先頭のビデオＭＰＵ（Ｖ＿ＭＰＵ（０））の再生区間を決定する（Ｓ３０２）。ここで、ビデオＭＰＵは、１つ以上のＲＡＵから構成される。

【0131】

次に、先頭決定部３０５は、Ｖ＿ＭＰＵ（０）と、先頭のオーディオＭＰＵ（Ａ＿ＭＰＵ（０））との先頭サンプルのＰＴＳが等しくなるように、Ａ＿ＭＰＵ（０）の先頭サンプルを決定する（Ｓ３０３）。

【0132】

次に、区間判定部３０２は、処理対象のオーディオのＭＰＵ（Ａ＿ＭＰＵ）が、Ｖ＿ＭＰＵ（ｎ）の再生区間における最終ＭＰＵであるかを判定する（Ｓ３０４）。

【0133】

Ａ＿ＭＰＵが最終ＭＰＵである場合（Ｓ３０４でＹｅｓ）、第１決定部３０３は、Ａ＿ＭＰＵの最終サンプルの再生終了時刻がＶ＿ＭＰＵ（ｎ）の再生終了時刻と等しくなり、かつ、Ａ＿ＭＰＵの再生時間が閾値以下となるように、Ａ＿ＭＰＵの最終サンプルを決定する（Ｓ３０５）。

【0134】

一方、Ａ＿ＭＰＵが最終ＭＰＵでない場合（Ｓ３０４でＮｏ）、第２決定部３０４は、Ａ＿ＭＰＵの再生時間が閾値以下となるように、Ａ＿ＭＰＵの最終サンプルを決定する（Ｓ３０６）。

【0135】

ここで、ステップＳ３０５及びＳ３０６で用いられる閾値は、ビデオのランダムアクセスポイントの再生開始からオーディオが再生開始できるまでの遅延時間がどこまで許容できるかに基づいて設定される。但し、ＭＰＵの再生時間が短くなると共に、送信データを占めるＭＰＵヘッダの割合が増加する。特に、オーディオはビデオに比べてビットレートが低い。また、ＭＰＵヘッダにおいては、ＭＰＵに格納されるサンプル数に依存しない固定部分が大きい。よって、ＭＰＵヘッダのオーバーヘッドの低減は重要である。従って、例えば、遅延時間とＭＰＵヘッダのオーバーヘッドとの両方に基づいて、ＭＰＵの再生時間が決定される。

【0136】

また、１つのＭＰＵに格納できるオーディオのサンプル数は、１つのサンプルの再生時間に依存する。１つのサンプルの再生時間は、サンプリング周波数などに依存する。

【0137】

ステップＳ３０５又はＳ３０６の後、ＭＰＵ生成部３０６は、ステップＳ３０３で決定されたオーディオＭＰＵの先頭サンプルと、ステップＳ３０５又はＳ３０６で決定されたオーディオＭＰＵの最終サンプルとに基づき、オーディオＭＰＵ（ｎ）を生成する。

【0138】

次に、送信装置３００は、ｎを１増加することで、次のＭＰＵを選択し（Ｓ３０７）、全てのＭＰＵの再生区間が決定されるまで、ステップＳ３０４～Ｓ３０７の処理を繰り返す（Ｓ３０８）。

【0139】

なお、先頭のＭＰＵ以降のＭＰＵにおける先頭サンプルとして、直前のＭＰＵにおける最終サンプルの直後のサンプルが設定される。

【0140】

また、送信装置３００は、サンプリング周波数又はチャネル構成（モノラル、ステレオ、又は５．１チャネルなど）の切替わりにおいて、ＭＰＵを分けてもよい。こうすることで、同一ＭＰＵにおいてはオーディオの符号化条件が一定となる。これにより、受信装置は、再生時において、ＭＰＵ単位での符号化条件の切替わりにのみ対応すればよいので、切替わり時点におけるシームレスな再生を容易に実現できる。例えば、受信装置は、再生時において、次のＭＰＵのヘッダ、又は、先頭サンプルに格納される符号化条件（パラメータ）を先読みすることで、切替わりに前もって対応できる。

【0141】

また、図１３及び図１４に示すように、ビデオＭＰＵの先頭ＰＴＳに対して、いずれかのオーディオＭＰＵの先頭ＰＴＳが対応することが保証されてもよいし、保証されなくてもよい。

【0142】

以上より、本実施の形態に係る送信装置３００は、ビデオのセグメント（ＭＰＵ）の先頭がランダムアクセスポイントとなるように生成し、オーディオのセグメントの再生時間が所定値以下となるように生成する。また、送信装置３００は、オーディオのセグメントの再生時間を、ビデオのセグメントよりも短く設定する。これにより、オーディオのセグメントに係るオーバーヘッドは増加するものの、受信装置におけるＰＴＳ算出処理などを不要にできる。また、受信装置が復号を開始するまでの遅延時間が低減される。

【0143】

つまり、映像データ（ビデオＭＰＵ）は、映像信号が分割されることにより得られた複数の映像データの一つである。音声データ（オーディオＭＰＵ）は、音声信号が分割されることにより得られた複数の音声データの一つである。そして、図１３に示すように、音声データ（オーディオＭＰＵ）の再生時間は、映像データ（ビデオＭＰＵ）の再生時間より短い。

【0144】

また、図１４に示すように、複数の音声データ（オーディオＭＰＵ）は、複数の映像データ（ビデオＭＰＵ）の各々の再生開始時刻（ＰＴＳ）と略等しい再生開始時刻（ＰＴＳ）の複数の音声データを含んでもよい。

【0145】

（実施の形態４）
本実施の形態では、上記実施の形態１に係る送信装置１００により送信されたデータを受信し、当該データを再生する受信装置について説明する。

【0146】

図１７は、本実施の形態に係る受信装置４００のブロック図である。図１７に示す受信装置４００は、ビデオＭＰＵ決定部４０１と、オーディオＭＰＵ決定部４０２と、サンプル決定部４０３とを備える。

【0147】

図１８は、本実施の形態に係る受信処理のフローチャートである。図１８に示すフローチャートは、ランダムアクセス時に復号を開始するオーディオサンプルを決定する際の動作例について示す。

【0148】

まず、ビデオＭＰＵ決定部４０１は、再生を開始するビデオＭＰＵ（Ｖ＿ＭＰＵ）を決定する（Ｓ４０１）。例えば、ＭＭＴパケットのヘッダには、ペイロードにＭＰＵヘッダとサンプルデータとのどちらが含まれるかを示す識別情報が含まれる。また、パケットのＩＤ（ＴＳパケットのＰＩＤに相当）により、受信装置４００は、ペイロードに格納されるデータが、ビデオ及びオーディオのアセットのいずれであるかも識別できる。従って、ビデオＭＰＵ決定部４０１は、放送又は通信において、ビデオのアセットに相当するパケットＩＤを持つパケットの受信を開始した後、最初にＭＰＵヘッダを取得したＭＰＵをＶ＿ＭＰＵに決定する。

【0149】

次に、オーディオＭＰＵ決定部４０２は、Ｖ＿ＭＰＵよりも後にＭＰＵヘッダを受信したＭＰＵの中から、Ｖ＿ＭＰＵにおける表示順で先頭となるサンプルのＰＴＳ（先頭ＰＴＳ）と同一の先頭ＰＴＳを持つオーディオＭＰＵを探索し、探索により得られたオーディオＭＰＵを、再生を開始するオーディオＭＰＵ（Ａ＿ＭＰＵ）として決定する（Ｓ４０２）。ここで、ＰＴＳが同一であるとは、ＰＴＳが完全に一致している場合に限定されず、実施の形態１において説明したように、互いのＰＴＳが略同一であればよい。

【0150】

また、オーディオ及びビデオＭＰＵの先頭ＰＴＳは、ＭＭＴメッセージ、又は、ＭＭＴパケットをＴＳにより多重化する際のＭＰＥＧ－２システムのデスクリプタなどにより別途示されるため、オーディオＭＰＵ決定部４０２は、これら別途示される情報に基づいて、Ｖ＿ＭＰＵの先頭ＰＴＳを持つオーディオＭＰＵを探索できる。なお、ＭＰＵの先頭ＰＴＳを示す情報が、ＭＰＵヘッダに含まれており、オーディオＭＰＵ決定部４０２は、この情報を用いて、Ｖ＿ＭＰＵの先頭ＰＴＳを持つオーディオＭＰＵを探索してもよい。

【0151】

次に、サンプル決定部４０３は、Ａ＿ＭＰＵの先頭サンプルから再生を開始すると決定する（Ｓ４０３）。

【0152】

なお、ステップＳ４０３においては、ビデオＭＰＵとオーディオＭＰＵとの再生区間が揃っていることが保証されるため、サンプル決定部４０３は、Ａ＿ＭＰＵの先頭サンプルから再生を開始すると決定できる。一方で、ビデオＭＰＵとオーディオＭＰＵとの再生区間が揃っていることが保証されない場合には、受信装置４００は、以下の処理を行ってもよい。

【0153】

まず、受信装置４００は、Ｖ＿ＭＰＵの先頭ＰＴＳ（Ｖ＿ＭＰＵ．ｐｔｓ）を取得する。

【0154】

次に、受信装置４００は、Ｖ＿ＭＰＵよりも後で最初に取得したオーディオＭＰＵの先頭ＰＴＳを取得すると共に、ＭＰＵヘッダを解析してオーディオＭＰＵの再生時間を取得する。そして、受信装置４００は、Ｖ＿ＭＰＵ．ｐｔｓと同一のＰＴＳを持つオーディオサンプルが当該オーディオＭＰＵに含まれるかどうかを判定する。なお、ＰＴＳは必ずしも一致する必要はなく、受信装置４００は、Ｖ＿ＭＰＵ．ｐｔｓの直前、又は、直後のＰＴＳを持つオーディオサンプルがオーディオＭＰＵに含まれるかどうかを判定してもよい。

【0155】

また、オーディオＭＰＵの再生時間が、ＭＰＵの先頭ＰＴＳと同様に別途示される場合には、受信装置４００は、ＭＰＵヘッダの解析を行わず、別途示される情報からオーディオＭＰＵの再生時間を取得する。

【0156】

Ｖ＿ＭＰＵ．ｐｔｓと同一のＰＴＳを持つオーディオサンプルが存在しないと判定された場合には、受信装置４００は、次のオーディオＭＰＵを取得して、上記判定処理を行う。そして、Ｖ＿ＭＰＵ．ｐｔｓと同一のＰＴＳを持つオーディオサンプルが存在すると判定されるまで、受信装置４００は、後続のオーディオＭＰＵに対して、順次判定処理を繰り返す。

【0157】

なお、受信装置４００は、ビデオについては、Ｖ＿ＭＰＵの先頭サンプルから再生を開始して、オーディオについては、Ａ＿ＭＰＵの直後のＭＰＵから再生を開始してもよい。ここで、ビデオにおいて復号順と表示順とが異なる場合には、受信装置４００は、復号順で先頭のサンプルから復号を開始し、表示順で先頭のサンプルから再生（表示）を開始する。

【0158】

また、オーディオについては、ビデオのＶ＿ＭＰＵの再生の開始に先立って、Ａ＿ＭＰＵから再生を開始し、ビデオについては、Ｖ＿ＭＰＵ．ｐｔｓの時刻から再生を開始してもよい。

【0159】

以上より、本実施の形態に係る受信装置４００は、受信開始後に最初にヘッダを受信したビデオのセグメントから復号を開始すると決定し、復号開始するビデオのセグメントの先頭ＰＴＳと一致するオーディオのセグメントから復号を開始する。これにより、受信装置４００は、復号開始までの遅延時間を低減できる。

【0160】

また、ここでは、実施の形態１に係る送信装置１００により送信された信号を受信する場合について説明したが、同様の方法を実施の形態３に係る送信装置３００により送信された信号を受信する場合にも適用できる。

【0161】

つまり、受信装置４００は、受信開始後に最初にヘッダを受信したビデオのセグメントから復号を開始すると決定する。また、受信装置４００は、先頭ＰＴＳが、復号を開始するビデオのセグメントのＰＴＳと同一又は後であり、かつ、最初に受信したオーディオのセグメントから復号を開始する。これにより、受信装置４００は、復号開始までの遅延時間を低減できる。

【0162】

このように、受信装置４００は、実施の形態１又は３に係る送信装置１００又は３００により送信された映像制御情報（ビデオＭＰＵヘッダ）、映像データ（ビデオＭＰＵ）、音声制御情報（オーディオＭＰＵヘッダ）及び音声データ（オーディオＭＰＵ）を受信し、映像データ及び音声データを再生できる。

【0163】

（実施の形態５）
本実施の形態では、上記実施の形態２に係る送信装置２００により送信されたデータを受信し、当該データを再生する受信装置について説明する。

【0164】

図１９は、本実施の形態に係る受信装置５００のブロック図である。図１９に示す受信装置５００は、開始ＰＴＳ決定部５０１と、判定部５０２と、第１ＰＴＳ算出部５０３と、第２ＰＴＳ算出部５０４と、サンプル取得部５０５とを備える。

【0165】

図２０は、本実施の形態に係る受信処理のフローチャートである。図２０に示すフローチャートは、復号を開始するオーディオサンプルを取得して、ＰＴＳを決定する動作例を示す。

【0166】

まず、開始ＰＴＳ決定部５０１は、復号を開始するオーディオサンプルのＰＴＳ（ｔｇｔ＿ｐｔｓ）を決定する（Ｓ５０１）。また、ＰＴＳがｔｇｔ＿ｐｔｓであるオーディオサンプルをｔｇｔ＿ｓｐｌと記す。ｔｇｔ＿ｐｔｓは、例えば、再生を開始するビデオＭＰＵの先頭ＰＴＳである。これは、放送の選局後、又は通信ネットワーク経由でコンテンツを取得する際の受信開始時には、ビデオのランダムアクセスポイントを基準とすることが一般的であるためである。

【0167】

次に、判定部５０２は、ｔｇｔ＿ｓｐｌが属するＭＰＵ（ｍｐｕ＿ｃｕｒ）のＭＰＵヘッダを取得できているかどうかを判定する（Ｓ５０２）。例えば、判定部５０２は、ＭＭＴメッセージなどから別途取得した各ＭＰＵの先頭ＰＴＳに基づいて、ＰＴＳがｔｇｔ＿ｐｔｓとなるサンプルが含まれるＭＰＵ（ｍｐｕ＿ｃｕｒ）を判定する。なお、ＭＰＵの先頭ＰＴＳを示す情報が、ＭＰＵヘッダに含まれ、判定部５０２は、当該情報に基づき、ＰＴＳがｔｇｔ＿ｐｔｓとなるサンプルが含まれるＭＰＵ（ｍｐｕ＿ｃｕｒ）を判定してもよい。または、判定部５０２は、ＭＭＴパッケージを構成するアセットに関する情報を別途ダウンロードし、当該情報に基づき、ＰＴＳがｔｇｔ＿ｐｔｓとなるサンプルが含まれるＭＰＵ（ｍｐｕ＿ｃｕｒ）を判定してもよい。

【0168】

ＭＰＵ（ｍｐｕ＿ｃｕｒ）のＭＰＵヘッダを取得できている場合（Ｓ５０２でＹｅｓ）、第１ＰＴＳ算出部５０３は、ＭＰＵヘッダを解析して、ｍｐｕ＿ｃｕｒ内におけるｔｇｔ＿ｓｐｌのインデックス番号を取得する（Ｓ５０３）。ここで、ＭＰＵに含まれるサンプルのＰＴＳは、ｍｏｏｆ内のｔｒｕｎに含まれるサンプルのＤＴＳ及びＰＴＳを示す情報に基づいて決定できる。ｍｏｏｆの解析により得られるＰＴＳは、ＭＰＵの先頭ＰＴＳからの差分値であるため、第１ＰＴＳ算出部５０３は、得られたＰＴＳに、ＭＰＵの先頭ＰＴＳを加算して実際のＰＴＳを算出する。そして、第１ＰＴＳ算出部５０３は、算出されたＰＴＳがｔｇｔ＿ｐｔｓと同一であるサンプルをｔｇｔ＿ｓｐｌとして決定する。なお、ＰＴＳがｔｇｔ＿ｐｔｓと同一であるサンプルが存在しない場合には、第１ＰＴＳ算出部５０３は、ＰＳＴがｔｇｔ＿ｐｔｓの直前或いは直後のサンプルをｔｇｔ＿ｓｐｌとして決定する。

【0169】

次に、第１ＰＴＳ算出部５０３は、ｔｇｔ＿ｓｐｌがＭＰＵ内において復号順で何番目のサンプルであるかを示すインデックス番号（フラグメントＳＮ）を取得する。なお、ＭＰＵが複数のｍｏｖｉｅ ｆｒａｇｍｅｎｔから構成されている場合、フラグメントＳＮは、先頭のｍｏｖｉｅ ｆｒａｇｍｅｎｔの先頭サンプルからの通し番号である。

【0170】

一方、ＭＰＵ（ｍｐｕ＿ｃｕｒ）のＭＰＵヘッダを取得できていない場合（Ｓ５０２でＮｏ）、第２ＰＴＳ算出部５０４は、１サンプル当たりの再生時間などから、上記（式１）に基づいてサンプルのＰＴＳを算出し、ｍｐｕ＿ｃｕｒ内におけるｔｇｔ＿ｓｐｌのインデックス番号を取得する（Ｓ５０４）。また、（式１）を用いる方法以外の方法でサンプルのＰＴＳが求められる場合には、第２ＰＴＳ算出部５０４は、それらの方法を用いてもよい。なお、ＰＴＳの算出方法に関しては、上述した実施の形態２で詳しく説明している。

【0171】

ステップＳ５０３又はＳ５０４の後、サンプル取得部５０５は、ＭＭＴパケットのヘッダにおけるＭＰＵのシーケンス番号がｍｐｕ＿ｃｕｒのシーケンス番号と一致し、かつ、フラグメントＳＮがステップＳ５０３又はＳ５０４で得られたインデックス番号と等しいパケットを取得し、当該パケットに含まれる、再生を開始するオーディオサンプルを取得する（Ｓ５０５）。

【0172】

ビデオのランダムアクセスポイントにおいて、対応するオーディオサンプルのＭＰＵヘッダが取得できないケースがある。当該オーディオサンプルが属するＭＰＵをＭＰＵ（ｎ）とすると、受信装置５００は、ＭＰＵ（ｎ）に含まれるサンプルについては、ステップＳ５０４の方法によりＰＴＳを取得し、ＭＰＵ（ｎ＋１）以降に含まれるサンプルについては、ステップＳ５０３の方法でＰＴＳを取得する。

【0173】

なお、受信装置５００は、ステップＳ５０２及びＳ５０３の処理を行わず、常にステップＳ５０４の方法でＰＴＳを取得してもよい。

【0174】

また、ここでは、ステップＳ５０１において、ビデオの再生開始時刻に基づき、復号を開始するオーディオサンプルを決定する例を述べたが、受信開始後に最初に取得できるオーディオサンプルから再生を開始する場合にも本実施の形態を適用できる。図２１は、この場合の受信処理のフローチャートである。

【0175】

まず、受信装置５００は、復号を開始するオーディオサンプル（ｔｇｔ＿ｓｐｌ）を決定する（Ｓ５１１）。例えば、受信装置５００は、最初に受信したオーディオサンプルを、ｔｇｔ＿ｓｐｌに決定する。

【0176】

次に、受信装置５００は、ｔｇｔ＿ｓｐｌが属するＭＰＵ（ｍｐｕ＿ｃｕｒ）のＭＰＵヘッダを取得できているかどうかを判定する（Ｓ５１２）。なお、この処理は上記ステップＳ５０２と同様である。

【0177】

ＭＰＵ（ｍｐｕ＿ｃｕｒ）のＭＰＵヘッダを取得できている場合（Ｓ５１２でＹｅｓ）、受信装置５００は、ＭＰＵヘッダを解析して、ｔｇｔ＿ｓｐｌのＰＴＳを算出する（Ｓ５１３）。なお、ＰＴＳの算出方法の詳細は、上記ステップＳ５０３と同様である。

【0178】

一方、ＭＰＵ（ｍｐｕ＿ｃｕｒ）のＭＰＵヘッダを取得できていない場合（Ｓ５１２でＮｏ）、受信装置５００は、１サンプル当たりの再生時間などから、上記（式１）に基づいてサンプルのＰＴＳを算出する（Ｓ５１４）。なお、ＰＴＳの算出方法の詳細は、上記ステップＳ５０４と同様である。

【0179】

以上の処理により、受信装置５００は、オーディオのＭＰＵヘッダを取得できない場合でも、オーディオサンプルのＰＴＳを取得できる。

【0180】

以上より、受信装置５００は、１パケットのペイロードから１アクセスユニット分のデータを取得し、インデックス番号に基づいて、セグメントにおける復号順で先頭となるアクセスユニットと、取得したアクセスユニットとのＰＴＳの差分を算出する。さらに、受信装置５００は、セグメントの先頭ＰＴＳを別途取得することで、アクセスユニットのＰＴＳを決定する。このように、受信装置５００においてアクセスユニットのＰＴＳを算出することで、セグメントのパケット多重化動作を制約せずに、復号の開始までの遅延時間を低減できる。

【0181】

つまり、受信装置５００は、実施の形態２に係る送信装置２００により送信された映像制御情報（ビデオＭＰＵヘッダ）、映像データ（ビデオＭＰＵ）、音声制御情報（オーディオＭＰＵヘッダ）及び音声データ（オーディオＭＰＵ）を受信する。また、受信装置５００は、音声データ（オーディオＭＰＵ）に含まれる複数の音声サンプル（オーディオサンプル）のうち最初に再生される音声サンプルの再生開始時刻（ＰＴＳ）である先頭再生開始時刻を取得する。

【0182】

また、受信装置５００は、複数の音声サンプルの各々の再生時間を取得する。例えば、受信装置５００は、オーディオフレームに含まれるサンプル数と、サンプリング周波数とを取得し、取得したサンプル数及びサンプリング周波数から複数の音声サンプルの各々の再生時間を算出する。

【0183】

次に、受信装置５００は、上記先頭再生開始時刻と、上記再生時間と、処理対象のパケットに含まれる順番情報（フラグメントＳＮ）とを用いて、当該処理対象のパケットに含まれる音声サンプル（オーディオサンプル）の再生開始時刻（ＰＴＳ）を判定する。

【0184】

（変形例）
本発明で適用される多重化方式は、ＭＰ４、ＭＭＴ、又は、ＤＡＳＨに限定されるものではなく、オーディオ及びビデオなどの符号化データをセグメント化できる他のフォーマットに対しても本発明を適用できる。

【0185】

送信装置は、ＭＭＴパケットをＩＰパケットなどに格納して送信してもよい。さらに、放送においては、送信装置は、ＩＰパケットを、ＴＳパケット、又は、ＡＲＩＢ（電波産業会）で規定したＴＬＶ（Ｔｉｍｅ Ｌｅｎｇｔｈ Ｖａｌｕｅ）パケットなどに格納して送信してもよい。

【0186】

また、受信装置は、ＭＰＵなどのセグメントを、ＭＭＴパケットとは異なるパケットに多重化してもよい。オーディオ及びビデオのＭＰＵデータを１本のストリームにパケット多重化可能な任意のプロトコルに本発明を適用できる。

【0187】

また、実施の形態１～３において、送信装置は、パケット多重化時のシステムデコーダモデル（ＭＰＥＧ－２システムにおけるＳＴＤ（Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ）のようなモデル）を満たすようにオーディオ及びビデオのパケットを多重化してもよい。また、ＭＭＴパケットの処理においても、システムデコーダモデルが規定できる。

【0188】

また、上記説明では、実施の形態１～３において異なる手法を個別に説明したが、これらの手法のうち２以上を組み合わせてもよい。例えば、実施の形態１に係る手法と、実施の形態２又は３に係る手法とを組み合わせることで、通信エラー等により、受信装置においてオーディオのＭＰＵヘッダが取得できない場合には、実施の形態２又は３に係る手法によりオーディオが再生されるまでの遅延時間を低減できる。また、実施の形態２と実施の形態３とを組み合わせることで、ＰＴＳをＭＰＵヘッダ以外の情報から算出する処理の発生頻度を低減できる。

【0189】

以上、実施の形態に係る送信装置、受信装置、送信方法及び受信方法ついて説明したが、本発明は、この実施の形態に限定されるものではない。

【0190】

また、上記実施の形態に係る送信装置及び受信装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0191】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0192】

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0193】

言い換えると、送信装置及び受信装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該制御回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る送信方法又は受信方法を実行する。

【0194】

さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

【0195】

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

【0196】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0197】

また、上記の送信方法又は受信方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0198】

以上、本発明の一つ又は複数の態様に係る送信装置、受信装置、送信方法及び受信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0199】

本発明は、ビデオデータ及びオーディオデータなどのメディアトランスポートを行う装置又は機器に適用できる。

【符号の説明】

【0200】

１００、２００、３００ 送信装置
１０１ ＭＰＵ生成部
１０２ パケット多重化部
１１１ ビデオヘッダ判定部
１１２ オーディオヘッダ判定部
１１３ 多重化部
２０１、３０１ ビデオＭＰＵ生成部
２０２ オーディオＭＰＵ生成部
２０３ オーディオパケット化部
２０４ ビデオパケット化部
３０２ 区間判定部
３０３ 第１決定部
３０４ 第２決定部
３０５ 先頭決定部
３０６ ＭＰＵ生成部
４００、５００ 受信装置
４０１ ビデオＭＰＵ決定部
４０２ オーディオＭＰＵ決定部
４０３ サンプル決定部
５０１ 開始ＰＴＳ決定部
５０２ 判定部
５０３ 第１ＰＴＳ算出部
５０４ 第２ＰＴＳ算出部
５０５ サンプル取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】