特開 2021-40342 トリックプレイ再生の間にオーディオコンテンツを提供するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-40342(P2021-40342A)

(43)【公開日】2021年3月11日

(54)【発明の名称】トリックプレイ再生の間にオーディオコンテンツを提供するためのシステムおよび方法

(51)【国際特許分類】

   H04N 21/44 20110101AFI20210212BHJP

   H04N 21/435 20110101ALI20210212BHJP

   H04N 5/92 20060101ALI20210212BHJP

   H04N 5/93 20060101ALI20210212BHJP

   H04N 5/765 20060101ALI20210212BHJP

   G06F 13/00 20060101ALI20210212BHJP

【ＦＩ】

   H04N21/44

   H04N21/435

   H04N5/92 020

   H04N5/93

   H04N5/765

   G06F13/00 550P

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

【全頁数】27

(21)【出願番号】特願2020-197931(P2020-197931)

(22)【出願日】2020年11月30日

(62)【分割の表示】特願2018-561227(P2018-561227)の分割

【原出願日】2017年5月4日

(31)【優先権主張番号】15/163,370

(32)【優先日】2016年5月24日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】518348942

【氏名又は名称】ディビックス， エルエルシー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ウィリアム フランツ

(72)【発明者】

【氏名】エリック ウィリアム グラブ

【テーマコード（参考）】

5B084

5C053

5C164

【Ｆターム（参考）】

5B084AA01

5B084AA12

5B084AA29

5B084AB06

5B084AB07

5B084AB11

5B084AB13

5B084BB01

5B084CB03

5B084CB06

5B084CB24

5B084CF12

5B084DB02

5B084DC02

5B084DC04

5B084DC06

5C053GB06

5C053HA21

5C053JA23

5C053LA06

5C053LA14

5C164FA06

5C164MA07S

5C164PA41

5C164UB05P

5C164UB08S

5C164UB10P

5C164UB21S

5C164UB38S

5C164UB41S

5C164UB92S

5C164YA11

(57)【要約】

【課題】トリックプレイ再生の間にオーディオコンテンツを提供するためのシステムおよび方法の提供。
【解決手段】本発明の実施形態による、トリックプレイモードの間、オーディオコンテンツの再生を提供するためのシステムおよび方法が、開示される。メディアコンテンツは、オーディオコンテンツと、ビデオコンテンツとを含むことができる。オーディオコンテンツは、セグメントに分割され、ビデオコンテンツは、フレームを含む。同期情報は、オーディオコンテンツのセグメントのそれぞれの提示時間を、ビデオコンテンツの画像と関連付けられた１つ以上のフレームの提示時間と関連付ける。トリックプレイモードが要求されるとき、ビデオコンテンツから、提示するための次のフレームが、判定される。同期情報は、次のフレームと関連付けられたオーディオコンテンツのセグメントを判定するために使用される。
【選択図】図６

【特許請求の範囲】

【請求項1】

メディアコンテンツの再生の間、トリックプレイモードでオーディオコンテンツの再生を提供するための方法であって、前記方法は、
メディアコンテンツのビデオコンテンツポーションの複数のビデオフレームを再生デバイス内のバッファに記憶することであって、前記複数のビデオフレームの各ビデオフレームは、提示時間を有する、ことと、
メディアコンテンツのオーディオコンテンツポーションの複数のセグメントを前記再生デバイス内のバッファに記憶することであって、
各オーディオセグメントは、第１のオーディオストリームから分割されて、個々のセグメントとして記憶され、
各オーディオセグメントは、１つ以上のビデオフレームの組に関連付けられており、
各オーディオセグメントは、提示時間を有し、各オーディオセグメントの提示時間は、前記関連付けられたビデオフレームの組の提示時間と同じである、ことと、
前記複数のビデオフレームのうちのビデオフレームの第１の組と共に提示されるように、前記オーディオコンテンツポーションの前記複数のセグメントから、前記オーディオコンテンツポーションの１つ以上のセグメントの第１の組を提示することと、
前記オーディオコンテンツのトリックプレイモードのためのコマンドを前記再生デバイスにおいて受信することと、


前記複数のビデオフレームのうちの少なくとも１つのビデオフレームの提示時間を字幕トラックまたはクローズドキャプショントラックに関連付ける同期情報を受信することであって、前記字幕トラックまたは前記クローズドキャプショントラックは、前記関連付けられたオーディオセグメント内に口頭注釈または対話が存在するものである、ことと、
前記再生デバイスを使用して、前記複数のビデオフレームから、前記トリックプレイモードに基づいて提示するための次のビデオフレームを判定することと、
前記判定された次のビデオフレームおよび前記同期情報に基づいて、前記オーディオコンテンツポーションの前記複数のセグメントから、提示されるための前記オーディオコンテンツポーションの１つ以上のセグメントの第２の組を判定することであって、前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組が、通常再生モードにおいて再生される場合、前記１つ以上のオーディオセグメントの第２の組は、前記１つ以上のオーディオセグメントの第１の組の直後には続かない、ことと、
前記再生デバイスを使用して、前記トリックプレイモードで、前記１つ以上のオーディオセグメントの第１の組の直後に前記１つ以上のオーディオセグメントの第２の組を提示することと
を含む、方法。

【請求項2】

前記トリックプレイモードでビデオフレームの組を前記再生デバイスのディスプレイ上に提示することをさらに含む、請求項１に記載の方法。

【請求項3】

前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の提示は、前記ビデオフレームの組の提示と並行して実施される、請求項２に記載の方法。

【請求項4】

前記トリックプレイモードのためのコマンドに基づいて、前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の各々を待ち行列に追加することをさらに含み、
前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の各々は、前記トリックプレイモードによって判定された順序で前記待ち行列に基づいて提示され、前記再生デバイスのディスプレイ上の前記ビデオコンテンツからの前記次のビデオフレームの提示とは独立である、請求項２に記載の方法。

【請求項5】

前記再生デバイスを使用して、前記ビデオフレームの組の提示時間を示す前記ビデオコンテンツのためのスクラバの表示を生成することと、
前記ビデオコンテンツのための前記スクラバの表示を前記ディスプレイ上の画像の提示にわたってオーバーレイすることと
をさらに含む、請求項２に記載の方法。

【請求項6】

前記再生デバイスを使用して、前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の各々の提示時間を示す前記オーディオコンテンツのためのスクラバの表示を生成することと、
前記オーディオコンテンツのための前記スクラバの表示を前記ディスプレイ上の画像の提示にわたってオーバーレイすることと
をさらに含む、請求項２に記載の方法。

【請求項7】

前記オーディオコンテンツのための前記スクラバは、前記ディスプレイ内の前記ビデオコンテンツのためのスクラバと別個である、請求項６に記載の方法。

【請求項8】

前記オーディオコンテンツポーションの前記複数のセグメントのためのデータおよび前記ビデオコンテンツの前記複数のビデオフレームのためのデータを、前記再生デバイスにおいて、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信することをさらに含む、請求項１に記載の方法。

【請求項9】

前記オーディオコンテンツポーションの前記複数のセグメントのためのデータおよび前記ビデオコンテンツの前記複数のビデオフレームのためのデータを、前記再生デバイスにおいて、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信することは、
トップレベルインデックスファイルを、前記コンテンツプロバイダシステムから、前記再生デバイスにおいて、ネットワークを経由して受信することであって、前記トップレベルインデックスファイルは、ビデオコンテンツの複数の代替ストリームであって、前記複数の代替ストリームの少なくともポーションは、異なる最大ビットレートにおいてエンコードされる、ビデオコンテンツの複数の代替ストリームと、オーディオコンテンツの少なくとも１つのストリームとを識別する、ことと、
前記コンテンツプロバイダシステムから、前記再生デバイスを使用して、前記再生デバイスと前記コンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、前記複数の代替ストリームからの前記ビデオコンテンツのポーションを要求することと、
前記要求に応答して、前記ビデオコンテンツの要求されるポーションを前記再生デバイスにおいて受信することと、
前記再生デバイスにおいて、前記再生デバイスによって受信された前記ビデオコンテンツのポーションから、前記ビデオコンテンツの複数のビデオフレームを生成することと、
前記複数のビデオフレームを前記再生デバイスのバッファに記憶することと、
前記コンテンツプロバイダシステムから、前記再生デバイスを使用して、前記オーディオコンテンツの少なくとも１つのストリームからの前記オーディオコンテンツのポーションを要求することと、
前記オーディオコンテンツの要求されるポーションを前記再生デバイスにおいて受信することと、
前記オーディオコンテンツの前記複数のセグメントを、前記再生デバイスを使用して受信された前記オーディオコンテンツのポーションから生成することと、
前記オーディオコンテンツの前記複数のセグメントを前記再生デバイスのバッファに記憶することと、
前記再生デバイスを使用して、前記トップレベルインデックスファイル内の情報に基づいて、各オーディオセグメントと１つ以上のビデオフレームの組との間の関連付けから各オーディオセグメントの提示時間を判定することと、
各オーディオセグメントの提示時間を前記再生デバイスのメモリに記憶することと
を含む、請求項８に記載の方法。

【請求項10】

各オーディオセグメントの提示時間を判定することは、
前記再生デバイスを使用して、各オーディオセグメントと１つ以上のビデオフレームの組との間の関連付けを含むファイルへのポインタを前記トップレベルインデックスファイルから読み取ることと、
前記再生デバイスを使用して、前記ファイルをコンテンツプロバイダシステムから要求することと、
前記要求されるファイルを前記再生デバイスにおいて受信することと
を含む、請求項９に記載の方法。

【請求項11】

再生デバイスであって、
メモリと、
ネットワークインターフェースと、
プロセッサと
を備え、
前記プロセッサは、前記メモリに記憶された命令を読み取り、
前記命令は、
メディアコンテンツのビデオコンテンツポーションの複数のビデオフレームを前記再生デバイス内のバッファに記憶することであって、前記複数のビデオフレームの各ビデオフレームは、提示時間を有する、ことと、
メディアコンテンツのオーディオコンテンツポーションの複数のセグメントを前記再生デバイス内のバッファに記憶することであって、
各オーディオセグメントは、第１のオーディオストリームから分割されて、個々のセグメントとして記憶され、
各オーディオセグメントは、１つ以上のビデオフレームの組に関連付けられており、
各オーディオセグメントは、提示時間を有し、各オーディオセグメントの提示時間は、前記関連付けられたビデオフレームの組の提示時間と同じである、ことと、
前記複数のビデオフレームのうちのビデオフレームの第１の組と共に提示されるように、前記オーディオコンテンツポーションの前記複数のセグメントから、前記オーディオコンテンツポーションの１つ以上のセグメントの第１の組を提示することと、
前記オーディオコンテンツのトリックプレイモードのためのコマンドを受信することと、
前記複数のビデオフレームのうちの少なくとも１つのビデオフレームの提示時間を字幕トラックまたはクローズドキャプショントラックに関連付ける同期情報を受信することであって、前記字幕トラックまたは前記クローズドキャプショントラックは、前記関連付けられたオーディオセグメント内に口頭注釈または対話が存在するものである、ことと、
前記トリックプレイモードに基づいて、複数の画像から、提示するための次のビデオフレームを判定することと、
前記判定された次のビデオフレームおよび前記同期情報に基づいて、前記オーディオコンテンツポーションの前記複数のセグメントから、提示されるための前記オーディオコンテンツポーションの１つ以上のセグメントの第２の組を判定することであって、前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組が、通常再生モードにおいて再生される場合、前記１つ以上のオーディオセグメントの第２の組は、前記１つ以上のオーディオセグメントの第１の組の直後には続かない、ことと、
前記再生デバイスを使用して、前記トリックプレイモードで、前記１つ以上のオーディオセグメントの第１の組の直後に前記１つ以上のオーディオセグメントの第２の組を提示することと
を行うように前記プロセッサに指示する、再生デバイス。

【請求項12】

前記命令は、前記トリックプレイモードでビデオフレームの組を前記再生デバイスのディスプレイ上に提示するように前記プロセッサにさらに指示する、請求項１１に記載の再生デバイス。

【請求項13】

前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の提示は、前記ビデオフレームの組の提示と並行して実施される、請求項１２に記載の再生デバイス。

【請求項14】

前記命令は、前記トリックプレイモードのためのコマンドに基づいて、前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の各々を待ち行列に追加するように前記プロセッサにさらに指示し、
前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の各々は、前記トリックプレイモードによって判定された順序で前記待ち行列に基づいて提示され、前記再生デバイスのディスプレイ上の前記ビデオフレームの組の提示とは独立である、請求項１２に記載の再生デバイス。

【請求項15】

前記命令は、
前記ビデオフレームの組の提示時間を示す前記ビデオコンテンツのためのスクラバの表示を生成することと、
前記ビデオコンテンツのための前記スクラバの表示を前記ディスプレイ上の前記次のビデオフレームの提示にわたってオーバーレイすることと
を行うように前記プロセッサにさらに指示する、請求項１２に記載の再生デバイス。

【請求項16】

前記命令は、
前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組の各々の提示時間を示す前記オーディオコンテンツのためのスクラバの表示を生成することと、
前記オーディオコンテンツのための前記スクラバの表示を前記ディスプレイ上の画像の提示にわたってオーバーレイすることと
を行うように前記プロセッサにさらに指示する、請求項１２に記載の再生デバイス。

【請求項17】

前記オーディオコンテンツのための前記スクラバは、前記ディスプレイ内の前記ビデオコンテンツのためのスクラバと別個である、請求項１６に記載の再生デバイス。

【請求項18】

前記命令は、前記オーディオコンテンツポーションの前記複数のセグメントのためのデータおよび前記ビデオコンテンツの前記複数のビデオフレームのためのデータを、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信するように前記プロセッサにさらに指示する、請求項１１に記載の再生デバイス。

【請求項19】

前記オーディオコンテンツポーションの前記複数のセグメントのためのデータおよび前記ビデオコンテンツの前記複数のビデオフレームのためのデータを、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信するための命令は、
トップレベルインデックスファイルを、前記コンテンツプロバイダシステムから、ネットワークを経由して受信することであって、前記トップレベルインデックスファイルは、ビデオコンテンツの複数の代替ストリームであって、前記複数の代替ストリームの少なくともポーションは、異なる最大ビットレートにおいてエンコードされる、複数の代替ストリームと、オーディオコンテンツの少なくとも１つのストリームとを識別する、ことと、
前記コンテンツプロバイダシステムから、前記再生デバイスと前記コンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、前記複数の代替ストリームからの前記ビデオコンテンツのポーションを要求することと、
前記ビデオコンテンツの要求されるポーションを受信することと、
前記ビデオコンテンツの前記複数のビデオフレームを受信された前記ビデオコンテンツのポーションから生成することと、
前記複数の画像をバッファに記憶することと、
前記コンテンツプロバイダシステムから、前記オーディオコンテンツの少なくとも１つのストリームからの前記オーディオコンテンツのポーションを要求することと、
前記オーディオコンテンツの要求されるポーションを受信することと、
前記オーディオコンテンツの前記複数のセグメントを受信された前記オーディオコンテンツのポーションから生成することと、
前記オーディオコンテンツの前記複数のセグメントを前記再生デバイスのバッファに記憶することと、
前記トップレベルインデックスファイル内の情報に基づいて、各オーディオセグメントと１つ以上のビデオフレームの組との間の関連付けから各オーディオセグメントの提示時間を判定することと、
各オーディオセグメントの提示時間を前記再生デバイスのメモリに記憶することと
を行うように前記処理システムにさらに指示する、請求項１８に記載の再生デバイス。

【請求項20】

プロセッサ命令を含有するプログラムを記録した非一過性のコンピュータ読み取り可能な記録媒体であって、プロセッサによる前記命令の実行は、
メディアコンテンツのビデオコンテンツポーションの複数のビデオフレームを再生デバイス内のバッファに記憶することであって、前記複数のビデオフレームの各ビデオフレームは、提示時間を有する、ことと、
メディアコンテンツのオーディオコンテンツポーションの複数のセグメントを前記再生デバイス内のバッファに記憶することであって、
各オーディオセグメントは、第１のオーディオストリームから分割されて、個々のセグメントとして記憶され、
各オーディオセグメントは、１つ以上のビデオフレームの組に関連付けられており、
各オーディオセグメントは、提示時間を有し、各オーディオセグメントの提示時間は、前記関連付けられたビデオフレームの組の提示時間と同じである、ことと、
前記複数のビデオフレームのうちのビデオフレームの第１の組と共に提示されるように、前記オーディオコンテンツポーションの前記複数のセグメントから、前記オーディオコンテンツポーションの１つ以上のセグメントの第１の組を提示することと、
前記オーディオコンテンツのトリックプレイモードのためのコマンドを受信することと、
前記複数のビデオフレームの少なくとも１つのビデオフレームの提示時間を字幕トラックまたはクローズドキャプショントラックに関連付ける同期情報を受信することであって、前記字幕トラックまたは前記クローズドキャプショントラックは、前記関連付けられたオーディオセグメント内に口頭注釈または対話が存在するものである、ことと、
前記トリックプレイモードに基づいて、複数の画像から、提示するための画像を判定することと、
提示されるための前記画像に関連付けられた前記ビデオコンテンツのフレームを判定することと、
前記再生デバイスを使用して、前記複数のビデオフレームから、前記トリックプレイモードに基づいて提示するための次のビデオフレームを判定することと、
前記判定された次のビデオフレームおよび前記同期情報に基づいて、前記オーディオコンテンツポーションの前記複数のセグメントから、提示されるための前記オーディオコンテンツポーションの１つ以上のセグメントの第２の組を判定することであって、前記１つ以上のオーディオセグメントの第１の組および前記１つ以上のオーディオセグメントの第２の組が、通常再生モードにおいて再生される場合、前記１つ以上のオーディオセグメントの第２の組は、前記１つ以上のオーディオセグメントの第１の組の直後には続かない、ことと、
前記トリックプレイモードで、前記１つ以上のオーディオセグメントの第１の組を提示の直後に前記１つ以上のオーディオセグメントの第２の組を提示することと
を含むプロセスを実行することを前記プロセッサに行わせる、非一過性のコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（発明の分野）
本発明は、概して、適応ストリーミングに関し、より具体的には、再生のトリックプレイモードの間、オーディオコンテンツを提供し得る、ストリーミングシステムに関する。

【背景技術】

【0002】

（背景）
用語「メディアストリーミング」は、再生デバイス上におけるメディアの再生を説明しており、メディアは、サーバ上に記憶され、再生の間、ネットワークを経由して、再生デバイスに継続的に送信される。典型的には、再生デバイスは、メディアの次のポーションの受信に先立って、全てのバッファされたメディアの再生を完了するため、再生デバイスは、再生の間、任意の所与の時間において、十分な量のメディアをバッファ内に記憶し、再生の途絶を防止する。適応ビットレートストリーミングまたは適応ストリーミングは、本ストリーミング条件（例えば、ユーザのネットワーク帯域幅およびＣＰＵ容量）をリアルタイムで検出し、適宜、ストリーミングされるメディアの品質を調節することを伴う。典型的には、ソースメディアは、複数のビットレートでエンコードされ、再生デバイスまたはクライアントは、利用可能なリソースに応じて、異なるエンコードのストリーミング間で切り替える。

【0003】

適応ストリーミングソリューションは、典型的には、ＲＦＣ ２６１６として、Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ ＦｏｒｃｅおよびＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍによって公開されたハイパーテキスト転送プロトコル（ＨＴＴＰ）、またはＲＦＣ ２３２６として、Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅによって公開されたリアルタイムストリーミングプロトコル（ＲＴＳＰ）のいずれかを利用して、サーバと再生デバイスとの間でメディアをストリーミングする。ＨＴＴＰは、再生デバイスが、ファイル内のバイト範囲を要求することを可能にする、ステートレスプロトコルである。ＨＴＴＰは、サーバが、再生デバイスから受信された要求に応答するために、情報を要求する再生デバイスの状態または再生デバイスによって要求されたバイト範囲に関する情報を記録することが要求されないため、ステートレスとして説明される。ＲＴＳＰは、ストリーミングメディアサーバを制御するために使用されるネットワーク制御プロトコルである。再生デバイスは、メディアをストリーミングするサーバに、「再生」および「一時停止」等の制御コマンドを発行し、メディアファイルの再生を制御する。ＲＴＳＰが利用されるとき、メディアサーバは、各クライアントデバイスの状態を記録し、クライアントデバイスから受信した命令およびクライアントの状態に基づいて、ストリーミングするためのメディアを判定する。

【0004】

適応ストリーミングシステムでは、ソースメディアは、典型的には、実際のビデオおよびオーディオデータを含有する、いくつかの代替ストリームをポイントするトップレベルインデックスファイルとして、メディアサーバ上に記憶される。各ストリームは、典型的には、１つ以上のコンテナファイル内に記憶される。異なる適応ストリーミングソリューションは、典型的には、異なるインデックスおよびメディアコンテナを利用する。Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍによって開発された同期マルチメディア統合言語（ＳＭＩＬ）は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ）によって開発されたＩＩＳスムーズストリーミング、およびＡｄｏｂｅ Ｓｙｓｔｅｍｓ Ｉｎｃｏｒｐｏｒａｔｅｄ（Ｓａｎ Ｊｏｓｅ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたフラッシュダイナミックストリーミングを含む、いくつかの適応ストリーミングソリューションにおいて、インデックスを作成するために利用される。Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｉｎｃｏｒｐｏｒａｔｅｄ（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたＨＴＴＰ適応ビットレートストリーミングは、典型的には、メディアコンテナファイルを識別する、ＵＲＩのリストを含有するテキストファイルである、拡張Ｍ３Ｕ再生ファイル（．Ｍ３Ｕ８）を使用して、インデックスファイルを実装する。最も一般に使用されるメディアコンテナ形式は、ＭＰＥＧ−４ Ｐａｒｔ １４（すなわち、ＩＳＯ／ＩＥＣ １４４９６−１４）に規定されるＭＰ４コンテナ形式、およびＭＰＥＧ−２ Ｐａｒｔ １（すなわち、ＩＳＯ／ＩＥＣ規格１３８１８−１）に規定されるＭＰＥＧトランスポートストリーム（ＴＳ）コンテナである。ＭＰ４コンテナ形式は、ＩＩＳスムーズストリーミングおよびフラッシュダイナミックストリーミングにおいて利用される。ＴＳコンテナは、ＨＴＴＰ適応ビットレートストリーミ
ングにおいて使用される。

【0005】

Ｍａｔｒｏｓｋａコンテナは、オープン標準プロジェクトとしてＭａｔｒｏｓｋａ非営利団体（Ａｕｓｓｏｎｎｅ，Ｆｒａｎｃｅ）によって開発されたメディアコンテナである。Ｍａｔｒｏｓｋａコンテナは、拡張バイナリメタ言語（ＥＢＭＬ）に基づき、これは、拡張マークアップ言語（ＸＭＬ）のバイナリ派生物である。Ｍａｔｒｏｓｋａコンテナのデコードは、多くの消費者電子機器（ＣＥ）デバイスによってサポートされている。ＤｉｖＸ， ＬＬＣ（Ｓａｎ Ｄｉｅｇｏ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたＤｉｖＸ Ｐｌｕｓファイルフォーマットは、Ｍａｔｒｏｓｋａコンテナフォーマットの拡張子を利用する（すなわち、Ｍａｔｒｏｓｋａコンテナフォーマット規格に基づくが、Ｍａｔｒｏｓｋａフォーマット内に規定されていない要素を含む）。

【0006】

インターネットを経由してメディアコンテンツの配信のための一貫した手段を提供するために、国際標準化機構（ＩＳＯ）および国際電気標準会議（ＩＥＣ）は、ＨＴＴＰ（ＤＡＳＨ）規格を経由した動的適応ストリーミングを推進している。ＤＡＳＨ規格は、ＨＴＴＰを使用したＭＰＥＧコンテンツの配信のためのメディアコンテンツおよびコンテンツの記述のためのフォーマットを規定する。ＤＡＳＨによると、プレゼンテーションのためのメディアコンテンツの各コンポーネントは、１つ以上のストリーム内に記憶される。ストリームはそれぞれ、セグメントに分割される。メディアプレゼンテーション記述（ＭＰＤ）は、ストリームのそれぞれ内のセグメントについての情報と、再生の間にメディアコンテンツをプレゼンテーションするために必要とされる他の情報とを含む、データ構造である。再生デバイスは、再生のための適応ビットレートストリーミングを使用してメディアコンテンツのコンポーネントを取得するために、ＭＰＤを使用する。

【0007】

コンテンツが適応的にストリーミングされ得る待ち時間が、改良されるにつれて、スポーツイベントおよびコンサート等のライブイベントのストリーミングが、一般的となりつつある。本タイプのコンテンツでは、コンテンツのオーディオポーションは、ユーザに関心があり得る提示のポーションのインジケーションを与え得る。したがって、ユーザは、メディアコンテンツを検索し、関心があるコンテンツの部分を見出すとき、オーディオキューを使用することを所望し得る。しかしながら、大部分の従来の再生システムは、着目コンテンツを見出すための巻き戻し、高速早送りおよび頭出し等のトリックプレイ特徴の使用の間、オーディオコンテンツの再生を提供しない。本発明のいくつかの実施形態による、トリックプレイモードでの再生の間、オーディオコンテンツの再生を提供するためのシステムおよび方法が、開示される。

【発明の概要】

【課題を解決するための手段】

【0008】

（発明の要約）
本発明のいくつかの実施形態によると、再生デバイスは、以下の様式でオーディオコンテンツを伴うトリックプレイ再生を提供するためのプロセスを実施するように構成され、再生デバイスは、オーディオコンテンツポーションのセグメントおよびメディアコンテンツのビデオコンテンツポーションのフレームを再生デバイス内のバッファ内に記憶する。同期情報が、再生デバイス内のメモリに記憶される。同期情報は、オーディオコンテンツのセグメントポーションのうちの１つ以上のそれぞれの提示時間を、ビデオコンテンツのフレームのうちの１つ以上の提示時間と関連付ける。再生デバイスは、トリックプレイモードでのメディアコンテンツの再生のためのコマンドを受信する。提示するための次のフレームが、トリックプレイモードに基づいて、再生デバイスによって判定される。次のフレームと関連付けられたオーディオコンテンツの各セグメントが、メモリ内に記憶される同期情報から、判定される。再生デバイスは、トリックプレイモードでの再生の間、次のフレームと関連付けられたオーディオコンテンツのセグメントのそれぞれを提示する。

【0009】

いくつかの実施形態によると、判定された次のフレームは、再生デバイスのディスプレイ上に提示される。これらの実施形態のいくつかによると、次のフレームと関連付けられたオーディオコンテンツの各セグメントは、次のフレームの提示と並行して提示される。これらの実施形態のある他のものによると、再生デバイスは、オーディオコンテンツの関連付けられたセグメントの判定に応答して、次のフレームと関連付けられたオーディオコンテンツの各セグメントを待ち行列に追加し、次のフレームと関連付けられたオーディオコンテンツの各セグメントは、待ち行列に基づいて提示され、再生デバイスのディスプレイ上のビデオコンテンツからの次のフレームの提示から独立する。

【0010】

いくつかの実施形態によると、再生デバイスは、ビデオコンテンツからの次のフレームの提示時間を示すビデオコンテンツのためのスクラバの表示を生成し、ビデオコンテンツのためのスクラバの表示をディスプレイ上の画像の提示にわたってオーバーレイする。多くの実施形態によると、再生デバイスは、次のフレームと関連付けられたオーディオコンテンツの各セグメントの提示時間を示すオーディオコンテンツのためのスクラバの表示を生成し、オーディオコンテンツのためのスクラバの表示をディスプレイ上の画像の提示にわたってオーバーレイする。いくつかの実施形態によると、オーディオコンテンツのためのスクラバは、ディスプレイ内のビデオコンテンツのためのスクラバと別個である。

【0011】

多くの実施形態によると、オーディオコンテンツポーションのセグメントのためのデータ、ビデオコンテンツの複数のフレームのためのデータ、および同期情報が、再生デバイスにおいて、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信される。いくつかのこれらの実施形態によると、データの受信は、以下の様式で実施される。再生デバイスは、トップレベルインデックスファイルを、コンテンツプロバイダシステムから、ネットワークを経由して受信する。トップレベルインデックスファイルは、ビデオコンテンツの代替ストリームであって、複数の代替ストリームの少なくともポーションは、異なる最大ビットレートにおいてエンコードされる、ビデオコンテンツの代替ストリームと、オーディオコンテンツの少なくとも１つのストリームとを識別する。再生デバイスは、コンテンツプロバイダから、代替ストリームを使用して、再生デバイスとコンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、ビデオコンテンツのポーションを要求し、要求に応答して、ビデオコンテンツの要求されるポーションを再生デバイスにおいて受信する。再生デバイスは、ビデオコンテンツのフレームを受信されたビデオコンテンツのポーションから生成し、複数のフレームをバッファ内に記憶する。再生デバイスはまた、コンテンツプロバイダシステムから、オーディオコンテンツの少なくとも１つのストリームからのオーディオコンテンツのポーションを要求し、オーディオコンテンツの要求されるポーションを受信し、オーディオコンテンツのセグメントを受信されたオーディオコンテンツのポーションから生成し、オーディオコンテンツのセグメントをバッファ内に記憶する。再生デバイスは、コンテンツプロバイダシステムから、トップレベルインデックスファイル内の情報に基づいて、同期情報を取得し、同期情報を再生デバイスのメモリ内に記憶する。これらの実施形態のいくつかによると、同期情報は、トップレベルインデックスファイルから、同期情報を含むファイルへのポインタを読み取り、再生デバイスを使用して、ファイルをコンテンツプロバイダシステムから要求することと、要求されるファイルを再生デバイスにおいて受信することによって取得される。
例えば、本願は以下の項目を提供する。
（項目１）
メディアコンテンツの再生の間、トリックプレイモードでオーディオコンテンツの再生を提供するための方法であって、前記方法は、
メディアコンテンツのオーディオコンテンツポーションの複数のセグメントを再生デバイス内のバッファに記憶することと、
メディアコンテンツのビデオコンテンツポーションの複数のフレームを前記再生デバイス内のバッファに記憶することと、
同期情報を前記再生デバイス内のメモリ内に記憶することであって、前記同期情報は、前記オーディオコンテンツポーションの複数のセグメントのうちの１つ以上のそれぞれの提示時間を前記ビデオコンテンツの複数のフレームの１つ以上のフレームの提示時間と関連付ける、ことと、
トリックプレイモードでの前記メディアコンテンツの再生のためのコマンドを前記再生デバイスにおいて受信することと、
前記トリックプレイモードに基づいて、前記再生デバイスを使用して、前記複数のフレームから、提示するための次のフレームを判定することと、
メモリ内に記憶された前記同期情報から、前記次のフレームと関連付けられた前記オーディオコンテンツの複数のセグメントからの各セグメントを判定することと、
前記トリックプレイモードでの再生の間、前記再生デバイスを使用して、前記次のフレームと関連付けられた前記オーディオコンテンツの複数のセグメントのうちのセグメントのそれぞれを提示することと
を含む、方法。
（項目２）
前記次のフレームを前記再生デバイスのディスプレイ上に提示することをさらに含む、項目１に記載の方法。
（項目３）
前記次のフレームと関連付けられた前記オーディオコンテンツの複数のセグメントの各セグメントの提示は、前記次のフレームの提示と並行して実施される、項目２に記載の方法。
（項目４）
前記フレームと関連付けられた前記複数のセグメントのそれぞれの判定に応答して、前記再生デバイスを使用して、前記次のフレームと関連付けられた前記オーディオコンテンツの複数のセグメントの各セグメントを待ち行列に追加することをさらに含み、
前記次のフレームと関連付けられた前記複数のセグメントの各セグメントは、前記待ち行列に基づいて提示され、前記再生デバイスのディスプレイ上の前記ビデオコンテンツからの前記次のフレームの提示から独立する、項目２に記載の方法。
（項目５）
前記再生デバイスを使用して、前記ビデオコンテンツからの前記次のフレームの提示時間を示す前記ビデオコンテンツのためのスクラバの表示を生成することと、
前記ビデオコンテンツのためのスクラバの表示を前記ディスプレイ上の画像の提示にわたってオーバーレイすることと
をさらに含む、項目２に記載の方法。
（項目６）
前記再生デバイスを使用して、前記次のフレームと関連付けられた前記オーディオコンテンツの各セグメントの提示時間を示す前記オーディオコンテンツのための前記スクラバの表示を生成することと、
前記オーディオコンテンツのための前記スクラバの表示を前記ディスプレイ上の画像の提示にわたってオーバーレイすることと
をさらに含む、項目２に記載の方法。
（項目７）
前記オーディオコンテンツのための前記スクラバは、前記ディスプレイ内の前記ビデオコンテンツのためのスクラバと別個である、項目６に記載の方法。
（項目８）
前記オーディオコンテンツポーションの前記複数のセグメントのためのデータ、前記ビデオコンテンツの前記複数のフレームのためのデータ、および前記同期情報を、前記再生デバイスにおいて、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信することをさらに含む、項目１に記載の方法。
（項目９）
前記オーディオコンテンツポーションの前記複数のセグメントのためのデータ、前記ビデオコンテンツの前記複数のフレームのためのデータ、および前記同期情報を、前記再生デバイスにおいて、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信することは、
トップレベルインデックスファイルを、前記コンテンツプロバイダシステムから、前記再生デバイスにおいて、ネットワークを経由して受信することであって、前記トップレベルインデックスファイルは、ビデオコンテンツの複数の代替ストリームであって、前記複数の代替ストリームの少なくともポーションは、異なる最大ビットレートにおいてエンコードされる、ビデオコンテンツの複数の代替ストリームと、オーディオコンテンツの少なくとも１つのストリームとを識別する、ことと、
前記コンテンツプロバイダシステムから、前記再生デバイスを使用して、前記再生デバイスと前記コンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、前記複数の代替ストリームからの前記ビデオコンテンツのポーションを要求することと、
前記要求に応答して、前記ビデオコンテンツの要求されるポーションを前記再生デバイスにおいて受信することと、
前記再生デバイスにおいて、前記再生デバイスによって受信された前記ビデオコンテンツのポーションから、前記ビデオコンテンツの複数のフレームを生成することと、
前記複数のフレームを前記再生デバイスのバッファ内に記憶することと、
前記コンテンツプロバイダシステムから、前記再生デバイスを使用して、前記オーディオコンテンツの少なくとも１つのストリームからの前記オーディオコンテンツのポーションを要求することと、
前記オーディオコンテンツの要求されるポーションを前記再生デバイスにおいて受信することと、
前記オーディオコンテンツの複数のセグメントを、前記再生デバイスを使用して受信された前記オーディオコンテンツのポーションから生成することと、
前記オーディオコンテンツの複数のセグメントを前記再生デバイスのバッファ内に記憶することと、
前記再生デバイスを使用して、前記トップレベルインデックスファイル内の情報に基づいて、前記同期情報を前記コンテンツプロバイダシステムから取得することと、
前記同期情報を前記再生デバイスのメモリ内に記憶することと
を含む、項目８に記載の方法。
（項目１０）
前記同期情報を取得することは、
前記再生デバイスを使用して、前記同期情報を含むファイルへのポインタを前記トップレベルインデックスファイルから読み取ることと、
前記再生デバイスを使用して、前記ファイルをコンテンツプロバイダシステムから要求することと、
前記要求されるファイルを前記再生デバイスにおいて受信することと
を含む、項目９に記載の方法。
（項目１１）
再生デバイスであって、
メモリと、
ネットワークインターフェースと、
プロセッサと
を備え、
前記プロセッサは、前記メモリ内に記憶された命令を読み取り、前記命令は、前記プロセッサに、
メディアコンテンツのオーディオコンテンツポーションの複数のセグメントを前記再生デバイス内のバッファに記憶することと、
メディアコンテンツのビデオコンテンツポーションの複数のフレームを前記再生デバイス内のバッファに記憶することと、
同期情報をメモリ内に記憶することであって、前記同期情報は、前記オーディオコンテンツポーションの前記複数のセグメントのうちの１つ以上のそれぞれの提示時間を前記ビデオコンテンツの前記複数のフレームの１つ以上のフレームの提示時間と関連付ける、ことと、
トリックプレイモードでの前記メディアコンテンツの再生のためのコマンドを受信することと、
前記トリックプレイモードに基づいて、複数の画像から、提示するための次のフレームを判定することと、
メモリ内に記憶された前記同期情報から、前記次のフレームと関連付けられた前記オーディオコンテンツの複数のセグメントからの各セグメントを判定することと、
前記トリックプレイモードでの再生の間、前記再生デバイスを使用して、前記次のフレームと関連付けられた前記オーディオコンテンツの複数のセグメントのうちのセグメントのそれぞれを提示することと
を行うように指示する、再生デバイス。
（項目１２）
前記命令はさらに、前記プロセッサに、前記次のフレームを前記再生デバイスのディスプレイ上に提示するように指示する、項目１１に記載の再生デバイス。
（項目１３）
前記次のフレームと関連付けられた前記オーディオコンテンツのセグメントのそれぞれの提示は、前記次のフレームの提示と並行して実施される、項目１２に記載の再生デバイス。
（項目１４）
前記命令はさらに、前記プロセッサに、前記セグメントのそれぞれが前記次のフレームと関連付けられていることの判定に応答して、前記次のフレームと関連付けられた前記オーディオコンテンツのセグメントのそれぞれを待ち行列に追加するように指示し、
前記セグメントのそれぞれを提示することは、前記待ち行列に基づき、前記再生デバイスのディスプレイ上の前記ビデオコンテンツからの前記次のフレームの提示から独立する、項目１２に記載の再生デバイス。
（項目１５）
前記命令はさらに、前記プロセッサに、
前記ビデオコンテンツからの前記次のフレームの提示時間を示す前記ビデオコンテンツのためのスクラバの表示を生成することと、
前記ビデオコンテンツのための前記スクラバの表示を前記ディスプレイ上の前記次のフレームの提示にわたってオーバーレイすることと
を行うように指示する、項目１２に記載の再生デバイス。
（項目１６）
前記命令はさらに、前記プロセッサに、
各セグメントが提示されるにつれて、前記オーディオコンテンツの次のフレームと関連付けられた各セグメントの提示時間を示す、前記オーディオコンテンツのためのスクラバの表示を生成することと、
前記オーディオコンテンツのための前記スクラバの表示を前記ディスプレイ上の画像の提示にわたってオーバーレイすることと
を行うように指示する、項目１２に記載の再生デバイス。
（項目１７）
前記オーディオコンテンツのための前記スクラバは、前記ディスプレイ内の前記ビデオコンテンツのためのスクラバと別個である、項目１６に記載の再生デバイス。
（項目１８）
前記命令はさらに、前記プロセッサに、前記オーディオコンテンツポーションの前記複数のセグメントのためのデータ、前記ビデオコンテンツの前記複数のフレームのためのデータ、および前記同期情報を、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信するように指示する、項目１１に記載の再生デバイス。
（項目１９）
前記オーディオコンテンツポーションの前記複数のセグメントのためのデータ、前記ビデオコンテンツの前記複数のフレームのためのデータ、および前記同期情報を、コンテンツプロバイダシステムから、ネットワークを経由して、適応ビットレートストリーミングを使用して受信するための命令はさらに、前記処理システムに、
トップレベルインデックスファイルを、前記コンテンツプロバイダシステムから、コンテンツプロバイダシステムから、ネットワークを経由して受信することであって、前記トップレベルインデックスファイルは、ビデオコンテンツの複数の代替ストリームであって、前記複数の代替ストリームの少なくともポーションは、異なる最大ビットレートにおいてエンコードされる、複数の代替ストリームと、オーディオコンテンツの少なくとも１つのストリームとを識別する、ことと、
前記コンテンツプロバイダシステムから、前記再生デバイスと前記コンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、前記複数の代替ストリームからの前記ビデオコンテンツのポーションを要求することと、
前記ビデオコンテンツの要求されるポーションを受信することと、
前記ビデオコンテンツの前記複数のフレームを受信された前記ビデオコンテンツのポーションから生成することと、
前記複数の画像をバッファ内に記憶することと、
前記コンテンツプロバイダシステムから、前記オーディオコンテンツの少なくとも１つのストリームからの前記オーディオコンテンツのポーションを要求することと、
前記オーディオコンテンツの要求されるポーションを受信することと、
前記オーディオコンテンツの前記複数のセグメントを受信された前記オーディオコンテンツのポーションから生成することと、
前記オーディオコンテンツの複数のセグメントを前記再生デバイスのバッファ内に記憶することと、
前記コンテンツプロバイダシステムから、前記トップレベルインデックスファイル内の情報に基づいて、前記同期情報を取得することと、
前記同期情報を前記再生デバイスのメモリ内に記憶することと
を行うように指示する、項目１８に記載の再生デバイス。
（項目２０）
プロセッサ命令を含有する非一過性機械可読媒体であって、プロセッサによる前記命令の実行は、前記プロセッサに、
メディアコンテンツのオーディオコンテンツポーションの複数のセグメントをバッファ内に記憶することと、
メディアコンテンツのビデオコンテンツポーションの複数のフレームをバッファ内に記憶することと、
同期情報をメモリ内に記憶することであって、前記同期情報は、前記オーディオコンテンツポーションの前記複数のセグメントのうちの１つ以上のそれぞれの提示時間を前記ビデオコンテンツの前記複数のフレームの１つ以上のフレームの提示時間と関連付ける、ことと、
トリックプレイモードでの前記メディアコンテンツの再生のためのコマンドを受信することと、
前記トリックプレイモードに基づいて、複数の画像から、提示するための画像を判定することと、
提示されるための前記画像と関連付けられた前記ビデオコンテンツのフレームを判定することと、
メモリ内に記憶された前記同期情報から、前記画像のフレームと関連付けられた前記オーディオコンテンツの前記複数のセグメントからの各セグメントを判定することと、
前記トリックプレイモードでの再生の間、前記フレームと関連付けられた前記オーディオコンテンツの複数のセグメントのうちのセグメントのそれぞれを提示することと
を含むプロセスを実施させる、非一過性機械可読媒体。

【図面の簡単な説明】

【0012】

【図1】図１は、本発明のある実施形態による、適応ビットレートストリーミングシステムのネットワーク略図を図示する。

【図2】図２は、再生デバイス内の処理システム等の処理システムのコンポーネントのブロック図を図示する。

【図3】図３は、本発明のある実施形態による、エンコーディングシステム内の処理システム等の処理システム、および／またはコンテンツプロバイダシステムを図示する。

【図4】図４は、本発明のある実施形態による、エンコーディングシステムによって実施され、セグメントに分割されるオーディオデータの少なくとも１つのストリームと、フレームを含むビデオコンテンツの少なくとも１つのストリームとを含む、メディアコンテンツのストリームをエンコードし、オーディオコンテンツの１つ以上のセグメントをビデオコンテンツのフレームと関連付ける、同期データを生成するためのプロセスのフロー図を図示する。

【図5】図５は、本発明のある実施形態による、再生デバイスによって実施され、メディアコンテンツのオーディオおよびビデオコンテンツならびにメディアコンテンツのための同期情報を取得するためのプロセスのフロー図を図示する。

【図6】図６は、本発明のある実施形態による、再生デバイスによって実施され、適応ビットレートストリーミングを使用して、メディアコンテンツのオーディオおよびビデオコンテンツならびにメディアコンテンツのための同期情報を取得するためのプロセスのフロー図を図示する。

【図7】図７は、本発明のある実施形態による、再生デバイスによって実施され、トリックプレイモードでのメディアコンテンツの再生の間、オーディオコンテンツを提供するためのプロセスのフロー図を図示する。

【図8】図８は、本発明のある実施形態による、トリックプレイモードの間にオーディオコンテンツを提供する再生の間のディスプレイのスクリーンショットを図示する。

【発明を実施するための形態】

【0013】

（詳細な説明）
ここで図面に目を向けると、本発明のいくつかの実施形態による、トリックプレイモードでのビデオコンテンツの再生の間、オーディオコンテンツの再生を提供するためのシステムおよび方法が、図示される。本議論の目的のために、トリックプレイモードは、ビデオコンテンツが意図される提示時間に従ってビデオコンテンツのシーケンシャル提示以外の様式で提示される、モードである。トリックプレイモードの実施例として、限定ではないが、巻き戻し、高速早送り、および頭出しが挙げられる。いくつかの実施形態によると、トリックプレイモードは、再生デバイスがユーザから特定のトリックプレイモードを示すコマンドを受信することによって開始される。再生デバイスは、次いで、次に表示すべきビデオコンテンツの画像および画像と関連付けられたビデオコンテンツのフレームを判定することによって、トリックプレイモード再生を開始する。いくつかの実施形態では、再生デバイスは、次いで、フレームと関連付けられたオーディオコンテンツの１つ以上のセグメントを判定する。画像は、次いで、再生デバイスのディスプレイ上に提示され、オーディオコンテンツのセグメントは、再生デバイスのオーディオシステムを介して提示される。

【0014】

いくつかの実施形態によると、オーディオコンテンツのセグメントは、関連付けられたフレームが提示されている限りのみ提示される。いくつかの他の実施形態によると、オーディオデータのセグメントの全体が、提示されている現在のフレームにかかわらず再生される。これらの実施形態の多くによると、再生するためのオーディオコンテンツのセグメントの待ち行列が、維持され、セグメントは、表示されているフレームにかかわらず、シーケンシャル順序で待ち行列から再生される。いくつかのこれらの実施形態によると、提示されている現在のフレームは、オーディオコンテンツのセグメントが終了すると判定され、現在のフレームと関連付けられたオーディオコンテンツが、提示され、これは、可聴コンテンツの前のセグメントが提示されていた間に提示されたフレームと関連付けられた待ち行列内のオーディオコンテンツのセグメントをスキップさせ得る。いくつかの実施形態によると、フレームと関連付けられた１つ以上のオーディオセグメントの提示は、フレームと関連付けられた１つ以上の可聴セグメントの提示が終了するとき、フレームが依然として提示されている場合、繰り返される。

【0015】

いくつかの実施形態によると、オーディオデータのセグメントとビデオコンテンツのフレームの関連付けを示す同期情報が、エンコーディングデバイスによって生成される。いくつかの実施形態によると、同期情報は、ビデオ提示時間を口頭注釈および／または対話と関連付ける、字幕トラックまたはクローズドキャプショントラックから判定されてもよい。これらの実施形態のうちのいくつかによると、同期情報は、オーディオおよび／またはビデオコンテンツを記憶するファイル内に記憶される。いくつかの他の実施形態によると、同期情報は、メディアコンテンツと関連付けられたインデックスファイル内に記憶される。同期情報は、再生の開始時に読み出され、トリックプレイモードが要求されるときの使用のために記憶されることができる。

【0016】

多くの実施形態によると、トリックプレイモードの間、オーディオ再生を提供する再生デバイスは、適応ビットレートストリーミングを使用し、メディアコンテンツを取得する。これらの実施形態のいくつかによると、メディアコンテンツは、ＤＡＳＨ規格に従って、ストリーム内に記憶される。しかしながら、当業者は、限定ではないが、Ｍａｔｒｏｓｋａ（ＭＫＶ）コンテナファイルフォーマット等のフォーマットも本発明から逸脱することなく、メディアコンテンツのストリームを記憶するために使用され得ることを認識するであろう。

【0017】

本発明のいくつかの実施形態による、適応ビットレートストリーミングシステムの性能は、ビデオのポーションが、イントラフレームであるインスタントデコーダリフレッシュ（ＩＤＲ）フレームから開始する、単一（または少なくとも１つ）クローズドグループオブピクチャ（ＧＯＰ）として各ストリーム内でエンコードされるように、代替ストリームのそれぞれ内のソースビデオの各ポーションをエンコードすることによって、大幅に向上されることができる。再生デバイスは、クラスタの再生の完了時、通常再生の間に使用される代替ストリーム間で切り替えることができ、クラスタが取得されるストリームに関係なく、クラスタ内の第１のフレームは、クラスタ要素内に含有されるエンコードされたメディア以外の任意のエンコードされたメディアを参照せずにデコードされ得る、ＩＤＲフレームとなるであろう。

【0018】

いくつかの実施形態では、再生デバイスは、トップレベルインデックスファイルまたはマニフェストファイルから利用可能なストリームのそれぞれに関する情報を取得し、メディアの再生において利用するための１つ以上のストリームを選択する。再生デバイスは、次いで、１つ以上のビットストリームまたはストリームを含有するコンテナファイルからヘッダ情報を取得することができ、ファイルヘッダおよび／またはマニフェストファイルは、ストリームのデコーディングに関する情報を提供することができる。再生デバイスはまた、関連コンテナファイル内に記憶されるエンコードされたメディアのセグメントをインデックス化する、インデックス情報を要求することができる。限定ではないが、オーディオコンテンツのセグメントをビデオコンテンツのフレームと関連付けるメタデータを含む、インデックス情報は、トップレベルインデックス内のコンテナファイルと別個のコンテナファイル内または別個のインデックスファイル内に記憶されることができる。インデックス情報は、再生デバイスが、コンテナファイル内のＧＯＰに対応するバイト範囲を、ＨＴＴＰを介してサーバから要求することを可能にする。再生デバイスは、本発明の種々の実施形態による、トップレベルインデックスファイルが受信されると、インデックス情報内のメタデータ情報を取得し、トップレベルインデックスファイルが受信された後、インデックス情報を記憶するファイルを要求する、またはインデックス情報を記憶するコンテナファイルのポーションを要求してもよい。再生デバイスは、いくつかの実施形態による、インデックス情報を使用して、代替ストリームからメディアコンテンツのポーションを要求する。再生は、再生デバイスがネットワーク条件によってサポートされ得るビットレートでエンコードされたメディアコンテンツを有するストリームからエンコードされたコンテンツのポーションを要求することによって継続される。

【0019】

本発明のいくつかの実施形態による、トリックプレイモードの間、オーディオ再生を提供する、適応ビットレートストリーミングシステムにおいて使用するためのソースビデオのエンコーディングと、適応ビットレートストリーミングを使用したトリックプレイモードでのメディアコンテンツの再生とが、以下にさらに議論される。

【0020】

適応ストリーミングシステムアーキテクチャ
ここで図１に目を向けると、本発明のある実施形態による、トリックプレイモードでの再生の間、オーディオ再生を提供する、再生デバイスを含む、適応ストリーミングシステムが、図示される。適応ストリーミングシステム１０は、ソースメディアをいくつかの代替ストリームとしてエンコードするように構成される、ソースエンコーダ１２を含む。図示される実施形態では、ソースエンコーダは、サーバである。他の実施形態では、ソースエンコーダは、プロセッサと、ソースメディア（限定ではないが、ビデオ、オーディオ、および／または字幕を含む）のトランスコーディングを実施するための十分なリソースとを含む、任意の処理デバイスであることができる。典型的には、ソースエンコーディングサーバ１２は、ストリームおよび／またはメタデータ情報を含有する複数のコンテナファイルへのトップレベルインデックスを生成し、そのうちの少なくとも複数は、代替ストリームである。代替ストリームは、同一のメディアコンテンツを異なる方法でエンコードする、ストリームである。多くの事例では、代替ストリームは、異なる最大ビットレートでメディアコンテンツ（限定ではないが、ビデオおよび／またはオーディオコンテンツ等）をエンコードする。いくつかの実施形態では、ビデオコンテンツの代替ストリームは、異なる解像度および／または異なるフレームレートでエンコードされる。トップレベルインデックスファイルおよびコンテナファイルは、ＨＴＴＰサーバ１４にアップロードされる。種々の再生デバイスは、次いで、ＨＴＴＰまたは別の適切なステートレスプロトコルを使用して、インターネット等のネットワーク１６を介して、トップレベルインデックスファイル、他のインデックスファイル、および／またはコンテナファイルのポーションを要求することができる。

【0021】

図示される実施形態では、再生デバイスは、パーソナルコンピュータ１８、ＣＥプレーヤ、および携帯電話２０を含む。他の実施形態では、再生デバイスは、消費者電子機器デバイス、例えば、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ（登録商標）プレーヤ、テレビ、セットトップボックス、ビデオゲームコンソール、タブレット、およびＨＴＴＰを介してサーバに接続し、エンコードされたメディアを再生可能な他のデバイスを含むことができる。具体的アーキテクチャが、図１に示されるが、適応ビットレートストリーミングではなく、従来のストリーミングを実施するシステムを含む、種々のアーキテクチャのいずれかが、再生デバイスが、本発明の実施形態に従って、トップレベルインデックスファイルおよびコンテナファイルのポーションを要求することを可能にするように利用されることができる。

【0022】

再生デバイス
本発明の実施形態による方法およびシステムを提供するためのいくつかのプロセスは、再生デバイスによって実行される。本発明の実施形態による、プロセスを実施することができる、再生デバイス内の関連コンポーネントが、図２に示される。当業者は、再生デバイスが、本発明の説明される実施形態から逸脱することなく、簡潔にするために省略される他のコンポーネントを含んでもよいことを認識するであろう。再生デバイス２００は、プロセッサ２０５と、不揮発性メモリ２１０と、揮発性メモリ２１５とを含む。プロセッサ２０５は、揮発性２１５または不揮発性メモリ２１０内に記憶される命令を実施し、メモリ内に記憶されるデータを操作する、プロセッサ、マイクロプロセッサ、コントローラ、またはプロセッサ、マイクロプロセッサ、および／またはコントローラの組み合わせである。不揮発性メモリ２１０は、本発明のいくつかの実施形態によるプロセスを含むプロセスを実施するように再生デバイス２００を構成するために利用されるプロセッサ命令および／または利用されるプロセスのためのデータを記憶することができる。いくつかの実施形態によると、これらの命令は、再生デバイス上でメディアコンテンツの再生を実施する、再生アプリケーション内に含まれる。種々の他の実施形態によると、再生デバイスソフトウェアおよび／またはファームウェアは、具体的用途に適切な種々の非一過性コンピュータ可読媒体のいずれかに記憶され得る。

【0023】

サーバ
本発明のいくつかの実施形態による方法およびシステムを提供するためのいくつかのプロセスは、ＨＴＴＰサーバ、ソースエンコードサーバ、および／またはローカルおよびネットワーク時間サーバによって実行される。本発明の実施形態による、これらのプロセスのうちの１つ以上を実施する、サーバ内の関連コンポーネントは、図３に示される。当業者は、サーバが、本発明の説明される実施形態から逸脱することなく、簡潔にするために省略される他のコンポーネントを含んでもよいことを認識するであろう。サーバ３００は、プロセッサ３０５と、不揮発性メモリ３１０と、揮発性メモリ３１５とを含む。プロセッサ３０５は、揮発性３１５または不揮発性メモリ３１０内に記憶された命令を実施し、メモリ内に記憶されるデータを操作する、プロセッサ、マイクロプロセッサ、コントローラ、またはプロセッサ、マイクロプロセッサ、および／またはコントローラの組み合わせである。不揮発性メモリ３１０は、本発明のいくつかの実施形態による、プロセスを含むプロセスを実施するようにサーバ３００を構成するために利用されるプロセッサ命令および／または利用されるプロセスのためのデータを記憶することができる。いくつかの実施形態によると、メディアコンテンツのエンコーディングを実施するための命令は、エンコーディングアプリケーションの一部である。種々の他の実施形態では、サーバソフトウェアおよび／またはファームウェアは、具体的用途に適切な種々の非一過性コンピュータ可読媒体のいずれか内に記憶されることができる。具体的サーバが、図３に図示されるが、任意の数のプロセスを実施するように構成される、種々のサーバのいずれも、本発明の実施形態に従って利用されることができる。

【0024】

可聴およびビデオコンテンツのストリームのエンコーディングならびに代替ストリーム内の同期情報
いくつかの実施形態によると、トリックプレイモードでの再生の間、可聴コンテンツを提供する、再生デバイスは、ビデオコンテンツおよびオーディオコンテンツを含む、メディアコンテンツと、オーディオコンテンツのセグメントをビデオコンテンツ内のフレームと関連付ける同期情報とを、コンテンツプロバイダシステムから、適応ビットレートストリーミングを使用して受信する。要求されるデータを提供し、適応ビットレートストリーミングを介して、メディアコンテンツを提供するために、オーディオコンテンツおよびビデオコンテンツは、ストリーム内でエンコードされることができ、オーディオコンテンツおよびビデオコンテンツのための同期情報は、情報が再生デバイスに提供され得るような様式で生成および記憶されることができる。いくつかの実施形態によると、オーディオコンテンツは、具体的最大ビットレートで１つのストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの他の実施形態によると、オーディオコンテンツは、可変最大ビットレートで複数のストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの実施形態では、ビデオコンテンツはまた、再生の間にトリックプレイモードを提供する際に使用するためのビデオコンテンツの具体的ポーションのみを含む、トリックプレイストリームにエンコードされてもよい。

【0025】

いくつかの実施形態によると、同期情報は、トップレベルインデックスファイル内に記憶される、インデックス情報内に含まれる。多くの実施形態によると、同期情報は、トップレベルインデックスファイルによってポイントされる、インデックスファイル内に記憶される。いくつかの実施形態では、同期情報は、メタデータとして、オーディオコンテンツおよび／またはビデオコンテンツのストリームのポーションを記憶する、ファイル内に記憶されてもよい。いくつかの実施形態によると、同期情報は、ビデオ提示時間を口頭注釈および／または対話と関連付ける、字幕トラックまたはクローズドキャプショントラックから判定されてもよい。本発明のある実施形態による、エンコーダサーバシステムによって実施され、オーディオコンテンツおよびビデオコンテンツならびに同期情報を含む、メディアコンテンツをエンコードするためのプロセスが、図４に示される。

【0026】

プロセス４００は、エンコードされるべきメディアコンテンツを受信することによって開始する（４０５）。メディアコンテンツは、オーディオコンテンツおよびビデオコンテンツを含む。本発明のいくつかの実施形態によると、オーディオコンテンツは、セグメントに分割され、ビデオコンテンツは、フレームを含み、各フレームは、ビデオコンテンツ内の画像のうちの１つ以上に関する情報を提供する。プロセス４００は、次いで、オーディオコンテンツおよびビデオコンテンツをストリームにエンコードする（４１０）。多くの実施形態によると、オーディオコンテンツは、具体的最大ビットレートで１つのストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る、異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの他の実施形態によると、オーディオコンテンツは、可変最大ビットレートで複数のストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの実施形態では、ビデオコンテンツはまた、再生の間にトリックプレイモードを提供する際に使用するためのビデオコンテンツの具体的ポーションのみを含む、トリックプレイストリームにエンコードされてもよい。

【0027】

プロセス４００は、可聴コンテンツのポーションの少なくともいくつかの提示時間をビデオコンテンツの具体的フレームの提示時間と関連付ける、同期情報を取得する（４１５）。いくつかの実施形態によると、同期情報は、メディアコンテンツとともに受信されてもよい。多くの実施形態によると、同期情報は、エンコーダサーバシステムによって生成されてもよい。いくつかの実施形態によると、同期情報は、エンコーダ同期サーバのオペレータの入力として受信されてもよい。同期情報は、次いで、メディアコンテンツのためのインデックス情報としてエンコードされることができる（４２０）。

【0028】

プロセス４００は、メディアコンテンツのためのコンテナファイルおよびインデックスファイルを生成する（４２５）。いくつかの実施形態によると、各ストリーム（オーディオおよびビデオコンテンツの両方）は、セグメントに分割され、各セグメントは、別個のコンテナファイル内に設置される。多くの実施形態によると、オーディオデータは、オーディオコンテンツの各識別されたポーションが、単一セグメントであり、別個のコンテナファイル内に記憶されるようにセグメント化される。多くの実施形態によると、インデックス情報は、トップレベルインデックスファイル内に設置される。いくつかの実施形態によると、インデックス情報は、トップレベルインデックスファイルによってポイントされる、１つ以上のインデックスファイル内に設置される。さらにいくつかの他の実施形態では、同期情報を含む、インデックス情報は、コンテナファイル内にメタデータとして記憶される。いくつかの特定の実施形態では、メディアコンテンツの特定のポーションに関する同期情報は、メタデータとしてオーディオデータの特定のポーションを含むセグメントを記憶するコンテナファイル内に記憶される。

【0029】

本発明の一実施形態による、オーディオコンテンツ、ビデオコンテンツ、および同期情報を含む、代替メディアコンテンツのストリームをエンコードするためのプロセスの一実施形態は、上記に説明されるが、当業者は、ストリームをエンコードするための他のプロセスも本発明のいくつかの実施形態に従って実施されてもよいことを認識するであろう。

【0030】

トリックプレイモードにおけるオーディオデータを提供することを含む、メディアコンテンツの再生
本発明のいくつかの実施形態によると、再生デバイスは、トリックプレイモードでの再生の間、オーディオコンテンツを提供する。そのために、再生デバイスは、ポーションに分割される、オーディオコンテンツと、それぞれ、フレームと関連付けられた画像を含む、ビデオコンテンツと、オーディオコンテンツのポーションの提示時間をオーディオコンテンツ内の画像のためのフレームの提示時間と関連付ける、同期データとを記憶する。本発明のある実施形態による、オーディオコンテンツ、ビデオコンテンツ、および同期情報を取得するためのプロセスは、図５に示される。

【0031】

プロセス５００は、オーディオコンテンツおよびビデオコンテンツを含む、メディアコンテンツを受信する（５０５）。本発明のいくつかの実施形態によると、メディアコンテンツは、適応ビットレートストリーミングを介して受信される。いくつかの他の実施形態によると、メディアコンテンツは、メモリから読み取られてもよい。さらに他の実施形態によると、メディアコンテンツは、メディアコンテンツを記憶する非一過性媒体から読み取られてもよい。ビデオコンテンツは、画像を含む。画像はそれぞれ、画像を形成するための情報を提供する、フレームと関連付けられる。オーディオコンテンツは、ビデオコンテンツ内のフレームと関連付けられた画像の再生持続時間とほぼ等しいまたはそれ未満の再生持続時間を有する、セグメントに分割される。オーディオコンテンツおよびビデオコンテンツは、メディアコンテンツが再生デバイスによってデコードされるにつれて、再生のためにバッファ内に記憶される（５１０）。

【0032】

同期情報は、プロセス５００において受信される（５１５）。同期情報は、オーディオコンテンツの１つ以上のポーションの提示時間をビデオコンテンツ内の画像のためのフレームの提示と関連付ける。いくつかの実施形態によると、同期情報は、オーディオコンテンツのポーション毎に、同期情報を含む。いくつかの他の実施形態によると、同期情報は、オーディオデータの少なくとも１つのポーションをビデオデータの各フレームと関連付ける、同期情報を含む。さらに他の実施形態によると、同期情報は、オーディオデータの特定のポーションをビデオデータ内の特定のフレームのみと関連付けてもよい。受信された同期情報は、本発明のいくつかの実施形態によると、再生の間の使用のために、より具体的には、トリックプレイモードにおけるオーディオコンテンツの再生の間の使用のためにメモリ内に記憶される（５２０）。

【0033】

トリックプレイモードにおけるオーディオコンテンツの再生を提供する際に使用するためのメディアコンテンツを取得するための種々のプロセスは、図５を参照して前述されるが、当業者は、メディアコンテンツを取得するための他のプロセスも、本発明の種々の実施形態に従って実施されてもよいことを認識するであろう。

【0034】

本発明のいくつかの特定の実施形態によると、再生デバイスは、適応ビットレートストリーミングを使用してトリックプレイモードでオーディオコンテンツの再生を提供する際に使用するためのメディアコンテンツを取得してもよい。本発明のある実施形態による、トリックプレイモードでオーディオコンテンツの再生を提供する際に使用するためのオーディオコンテンツ、ビデオコンテンツ、および同期情報を取得するためのプロセスは、図６に示される。

【0035】

プロセス６００では、再生デバイスは、インデックスファイルをコンテンツプロバイダシステムから受信する（６０５）。再生デバイスは、インデックスファイルを使用して、オーディオコンテンツのポーションおよびビデオコンテンツをコンテンツプロバイダシステムから要求する（６３０）。本発明のいくつかの実施形態によると、再生デバイスは、再生デバイスとコンテンツプロバイダシステムとの間のネットワークを経由した通信のためのネットワーク帯域幅を監視し、測定された帯域幅に従ってハンドリングされ得る最高最大ビットレートでエンコードされた、オーディオおよび／またはビデオコンテンツのストリームを選択する。ストリームを選択し、再生を開始し、適応ビットレートストリーミングを使用してメディアコンテンツを取得するためのシステムおよび方法はさらに、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ Ａｖａｉｌａｂｌｅ Ｂａｎｄｗｉｄｔｈ ａｎｄ Ｐｅｒｆｏｒｍｉｎｇ Ｉｎｉｔｉａｌ Ｓｔｒｅａｍ Ｓｅｌｅｃｔｉｏｎ Ｗｈｅｎ Ｃｏｍｍｅｎｃｉｎｇ Ｓｔｒｅａｍｉｎｇ Ｕｓｉｎｇ Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ」と題された米国特許出願第１３／２５１，０６１号および「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄ
ｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｍｕｌｔｉｐｈａｓｅ Ａｄａｐｔｉｖｅ Ｂｉｔｒａｔｅ Ｓｔｒｅａｍｉｎｇ」と題された米国特許出願第１３／３３９，９９２号（本開示は、参照することによってその全体として本明細書に組み込まれる）によってより詳細に開示される。オーディオおよびビデオコンテンツの要求されるポーションは、再生デバイスによって受信される（６３５）。オーディオおよびビデオコンテンツは、次いで、再生デバイスによって受信されたポーション（６４０）から準備され、クライアントアプリケーションによる提示（６４５）のために記憶するための再生デバイス内のバッファに提供される。当業者は、オーディオおよびビデオコンテンツの要求（６３０）、受信（６３５）、生成（６４０）、および提供が、メディアコンテンツのオーディオおよびビデオコンテンツが全て、適応ビットレートストリーミングプロセスに従って再生デバイスによって受信されるまで、反復的に実施されてもよいことに留意するであろう。

【0036】

再生デバイスはまた、オーディオコンテンツのセグメントの提示をビデオコンテンツのフレームの提示と関連付ける、同期情報を取得する（６５０）。いくつかの実施形態によると、同期情報は、トップレベルインデックスファイルが、適応ビットレートストリーミングプロセスの初期スタートアップの間、システムによって受信されると、トップレベルインデックスファイルから読み取られてもよい。いくつかの他の実施形態によると、再生デバイスは、インデックスファイルへのポインタをトップレベルインデックスファイルから読み取り、適応ビットレートストリーミングプロセスの初期スタートアップの間、インデックスファイルをコンテンツプロバイダシステムから要求および受信する。さらに他の実施によると、同期情報は、オーディオおよび／またはビデオコンテンツのストリーミングの間、メタデータとして受信される。いくつかの実施形態によると、同期情報は、ビデオ提示時間を口頭注釈および／または対話と関連付ける、字幕トラックまたはクローズドキャプショントラックから判定されてもよい。同期情報は、次いで、クライアント再生アプリケーション（６５５）に提供され、これは、同期情報をデータ構造として再生の間の使用のためにメモリ内に記憶してもよい。

【0037】

適応ビットレートストリーミングを使用して、トリックプレイモードでオーディオコンテンツの再生を提供する際に使用するためのメディアコンテンツを取得するためのプロセスは、図６を参照して前述されるが、当業者は、メディアコンテンツを取得するための他のプロセスも、本発明の種々の実施形態に従って実施されてもよいことを認識するであろう。

【0038】

トリックプレイモードの間の可聴再生のプロビジョニング
時として、メディア提示における可聴コンテンツは、ユーザに関心があり得るメディアコンテンツのポーションを示し得る。例えば、スポーツイベントのメディアコンテンツは、実況解説の可聴コンテンツを含み得る。ユーザは、トリックプレイを使用して、コンテンツ内の着目イベントを見出しながら、本解説からスコアまたは重要なプレー等の関心があるコンテンツのポーションを見出すことができる。したがって、いくつかの再生システムは、トリックプレイモードの間の再生の間、可聴コンテンツを提供し、ユーザ体験を向上させることを所望し得る。本発明のある実施形態による、再生デバイスによって実施され、トリックプレイモードの間、可聴再生を提供するためのプロセスは、図７に示される。

【0039】

プロセス７００では、再生デバイスは、トリックプレイモードにおけるメディアコンテンツを提示するための要求を受信する（７０５）。いくつかの実施形態によると、トリックプレイモードは、限定ではないが、高速早送り、巻き戻し、早送り頭出し、および巻き戻し頭出しを含むことができる。多くの実施形態によると、トリックプレイモードコマンドは、入力として、入力／出力（Ｉ／Ｏ）デバイスを介して受信される。本発明の種々の実施形態による、Ｉ／Ｏデバイスの実施例として、限定ではないが、キーボード、マウス、タッチスクリーン、および同等物が挙げられる。再生デバイスは、コマンドによって開始される現在のトリックプレイモードに基づいて、提示するためのビデオコンテンツの次のフレームを判定する（７１０）。本発明のいくつかの実施形態によると、提示するための次のフレームは、採用されているトリックプレイモードおよびトリックプレイモードの選択された速度に基づく。いくつかの他の実施形態によると、次のフレームは、限定ではないが、頭出しモードで提示される所定の画像等の提示するための画像の所定のリストに基づいて判定されてもよい。

【0040】

再生デバイスは、再生デバイスによって記憶される同期情報を使用して、次のフレームと関連付けられたオーディオコンテンツのセグメントを判定する（７１２）。提示するための次のフレームと関連付けられたオーディオコンテンツのセグメントは、提示されているビデオコンテンツの現在のフレームと関連付けられたオーディオコンテンツのセグメントと比較される（７１５）。次のフレームと関連付けられたオーディオコンテンツのセグメントが、提示されている現在のフレームと関連付けられたオーディオコンテンツのセグメントと同一である場合、提示されている現在のオーディオセグメントは、再生のために使用される（７３０）。いくつかの実施形態によると、現在のオーディオコンテンツの使用は、現在のオーディオコンテンツのセグメントを２回目として提示することを含んでもよい。他の実施形態では、現在のオーディオセグメントの使用は、セグメント全体および／または現在のオーディオデータのセグメントに続くセグメントが提示されることを可能にすることを含んでもよい。次のフレームは、次いで、提示のために、バッファから取得される（７３５）。次のフレームと関連付けられたオーディオコンテンツのセグメントが、提示されている現在のフレームと関連付けられたオーディオコンテンツのセグメントと異なる場合、再生デバイスは、次のフレームと関連付けられたオーディオコンテンツのセグメントを、オーディオコンテンツを記憶するバッファから取得する（７２５）。当業者は、オーディオセグメントの提示の持続時間がフレームの提示時間と異なり得ることを理解されるであろう。したがって、再生のためのオーディオセグメントの待ち行列が、維持されてもよく、取得されたオーディオセグメントは、待ち行列に追加される（７２７）。

【0041】

次のフレームは、ディスプレイデバイスを使用して提示され、オーディオセグメントは、オーディオシステムを使用して提示される（７３５）。多くの実施形態によると、オーディオセグメントは、待ち行列によって提供される順序で提示される。これらの実施形態のいくつかによると、待ち行列は、オーディオセグメントが、再生の間、オーディオセグメントを再提示するか、またはオーディオセグメントと関連付けられたフレームが変化するまで、後続セグメントを提供するかのいずれかを要求する、複数のセグメントと関連付けられると、そのインジケーションを提供してもよい。

【0042】

いくつかの実施形態によると、「スクラバ」の表示は、全体的提示時間を参照して、現在提示されているオーディオセグメントの提示時間を示し、全体的提示時間を参照して提示されている現在の画像の提示時間は、提示されている現在のオーディオセグメントおよび画像を示すように生成される（７４０）。本発明のある実施形態による、ビデオおよびオーディオコンテンツの提示時間を示すスクラバを有するオーディオコンテンツを伴う、再生の間のディスプレイの実施例は、図８に示される。ディスプレイ８００は、現在、ビデオスクラバ８０５上のドットによって示される提示時間を有する、ビデオコンテンツのフレームを示している。オーディオシステムを介して提示されているオーディオコンテンツの提示時間は、オーディオスクラバ８１０上に示される。図８から分かるように、トリックプレイモードでの画像の提示時間とオーディオセグメントの提示との間には、１対１の対応が存在しない場合があり、ビデオスクラバ８０５およびオーディオスクラバ８１０は、提示されているオーディオコンテンツとビデオコンテンツとの間の提示時間の差異を確認し、ユーザが、所望のコンテンツの提示時間を見出すことを可能にするために有用である。

【0043】

図７に戻ると、現在の画像および画像と関連付けられたオーディオセグメントが、提示される（７４５）。いくつかの実施形態によると、画像のフレームと関連付けられたオーディオコンテンツは、画像が提示されている間、再生され、提示されているオーディオセグメントは、提示されている画像と関連付けられたフレームが変化すると変化する。いくつかの他の実施形態によると、提示するためのオーディオコンテンツの待ち行列が、維持され、オーディオコンテンツは、待ち行列に従って、トリックプレイモードで提示されている画像から独立して、再生される。「スクラバ」を提供する実施形態によると、生成された「スクラバ」の表示は、提示されている画像上にオーバーレイされる（７５０）。

【0044】

再生デバイスは、次いで、トリックプレイモードが完了したかどうかを判定する（７５５）。いくつかの実施形態によると、トリックプレイモードの完了のインジケーションは、通常再生の再開を示す入力コマンドの受信であってもよい。他の実施形態によると、トリックプレイの完了のインジケーションは、メディアコンテンツの所定のポーションへの到達であってもよい。トリックプレイモードが完了されると、プロセス７００は、終了し、従来の再生は、再開される。再生モードが、完了されない場合、プロセス７００は、提示するための次のフレームの判定から繰り返し、以前に判定された次のフレームを現在のフレームとして使用する。

【0045】

本発明のある実施形態による、トリックプレイモードの間、オーディオ再生を提供するための種々のプロセスが、図７を参照して上記に説明されるが、他のプロセスも、本発明の実施形態に従って、トリックプレイモードの間、オーディオ再生を提供するために再生デバイスによって実施されてもよい。

【0046】

本発明は、ある具体的側面において説明されたが、多くの付加的修正および変形例が、当業者に明白となるであろう。したがって、本発明は、本発明の範囲および精神から逸脱することなく、それらが準拠する特定の規格内に規定されるもの以外の特徴をサポートする、エンコーダおよびデコーダの利用等、実装の種々の変更を含め、具体的に説明される以外にも実践されてもよいことを理解されたい。したがって、本発明の実施形態は、あらゆる点において、制限的ではなく、例証的と見なされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】

2021040342000001.pdf