(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2019-522919(P2019-522919A)
(43)【公表日】2019年8月15日
(54)【発明の名称】トリックプレイモードにおいて可変速度を提供するためのシステムおよび方法
(51)【国際特許分類】
H04N 21/458 20110101AFI20190719BHJP
H04N 21/433 20110101ALI20190719BHJP
H04N 5/783 20060101ALI20190719BHJP
H04N 5/765 20060101ALI20190719BHJP
【FI】
H04N21/458
H04N21/433
H04N5/783
H04N5/765
【審査請求】有
【予備審査請求】未請求
【全頁数】23
(21)【出願番号】特願2018-561211(P2018-561211)
(86)(22)【出願日】2017年5月4日
(85)【翻訳文提出日】2019年1月15日
(86)【国際出願番号】US2017031109
(87)【国際公開番号】WO2017205029
(87)【国際公開日】20171130
(31)【優先権主張番号】15/163,333
(32)【優先日】2016年5月24日
(33)【優先権主張国】US
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】518348942
【氏名又は名称】ディビックス, エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】フランツ, ウィリアム
(72)【発明者】
【氏名】グラブ, エリック ウィリアム
(72)【発明者】
【氏名】ドブリン, クリスティーナ
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA06
5C164MB44S
5C164MC06S
5C164SB27S
5C164UB38P
5C164UB41S
5C164UC31P
5C164YA11
5C164YA21
(57)【要約】
本発明の実施形態による、メディアコンテンツの可変トリックプレイモード再生を提供するためのシステムおよび方法が、開示される。再生デバイスは、提示時間と関連付けられたメディアコンテンツの画像および着目瞬間の提示時間を示すメディアコンテンツに関するマーカ情報を記憶する。トリックプレイモードが呼び出されると、再生デバイスは、再生内の次のマーカの提示時間を決定する。再生デバイスは、再生の現在の提示時間が次のマーカの提示時間の規定された範囲内にあるかどうかを決定し、決定に基づいて、トリックプレイ再生の速度を調節する。提示するための次のフレームは、トリックプレイ再生の調節された速度に基づいて決定され、表示される。
【特許請求の範囲】
【請求項1】
メディアコンテンツの可変速度トリックプレイ再生を提供するための方法であって、前記方法は、
メディアコンテンツのビデオコンテンツポーションの複数のフレームを再生デバイス内のバッファ内に記憶することと、
マーカ情報を前記再生デバイス内のメモリ内に記憶することであって、前記マーカ情報は、前記メディアコンテンツ内の1つ以上の着目瞬間の各々に対する提示時間を示す、ことと、
トリックプレイモードでの前記メディアコンテンツの再生のためのコマンドを前記再生デバイスにおいて受信することと、
前記再生デバイスを使用して、次のマーカの提示時間を前記マーカ情報から読み取ることと、
前記マーカ情報および現在の提示時間に基づいて、前記再生デバイスを使用して、前記トリックプレイモードのための再生速度を決定することと、
前記再生デバイスを使用して、前記決定された再生速度および提示される時間である前記複数のフレームのうちの現在のものに応じて、提示するための次のフレームを前記複数のフレームから決定することと、
前記次のフレームを前記再生デバイス内のバッファから取得することと、
前記再生デバイスを使用して、前記次のフレームを提示することと
を含む、方法。
【請求項2】
前記再生速度を決定することは、前記現在の提示時間が前記次のマーカの提示時間の特定の範囲内にあるかどうかを決定することを含む、請求項1に記載の方法。
【請求項3】
前記トリックプレイの再生速度は、前記特定の範囲内にあることに応答して、デクリメントされる、請求項2に記載の方法。
【請求項4】
前記トリックプレイの再生速度は、前記特定の範囲外にあることに応答して、インクリメントされる、請求項2に記載の方法。
【請求項5】
前記再生速度を決定することは、
前記現在の提示時間が前記次のマーカの提示時間からの複数の範囲のうちの1つ内にあるかどうかを決定することと、
現在の提示時間が前記複数の範囲のうちのどの1つ内にあると決定されたかに基づいて、前記トリックプレイのための再生速度を調節することと
を含む、請求項1に記載の方法。
【請求項6】
前記再生速度を決定することは、前記次の提示時間を前記マーカの提示時間として設定し、前記提示時間と関連付けられた複数のフレームのうちの1つを前記次のフレームとして使用することを含む、請求項1に記載の方法。
【請求項7】
前記再生デバイスを使用して、前記次の提示時間を示すスクラバのディスプレイを生成することと、
前記スクラバのディスプレイを前記ディスプレイ上の前記画像の提示にわたってオーバーレイすることと
をさらに含む、請求項1に記載の方法。
【請求項8】
適応ビットレートストリーミングを使用してネットワークを経由して、コンテンツプロバイダシステムから、前記メディアコンテンツおよび前記マーカ情報を前記再生デバイスにおいて受信することをさらに含む、請求項1に記載の方法。
【請求項9】
適応ビットレートストリーミングを使用してネットワークを経由して、コンテンツプロバイダシステムから、前記メディアコンテンツおよび前記マーカ情報を前記再生デバイスにおいて受信することは、
ネットワークを経由して、前記コンテンツプロバイダシステムから、トップレベルインデックスファイルを前記再生デバイスにおいて受信することであって、前記トップレベルインデックスファイルは、前記メディアコンテンツの複数の代替ストリームを識別し、前記複数の代替ストリームの少なくともあるポーションは、異なる最大ビットレートでエンコードされる、ことと、
前記再生デバイスと前記コンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、前記再生デバイスを使用して、代替ストリームのメディアのポーションを前記コンテンツプロバイダシステムから要求することと、
前記要求に応答して、前記メディアコンテンツの要求されるポーションを前記再生デバイスにおいて受信することと、
前記再生デバイスにおいて、前記ビデオコンテンツの複数の画像を前記再生デバイスによって受信されたメディアコンテンツのポーションから生成することと、
前記複数の画像を前記再生デバイスのバッファ内に記憶することと、
前記トップレベルインデックスファイル内の情報に基づいて、前記再生デバイスを使用して、前記マーカ情報を前記コンテンツプロバイダシステムから取得することと、
前記マーカ情報を前記再生デバイスのメモリ内に記憶することと
を含む、請求項8に記載の方法。
【請求項10】
前記マーカ情報を取得することは、
前記再生デバイスを使用して、前記マーカ情報を含むファイルへのポインタを前記トップレベルインデックスファイルから読み取ることと、
前記再生デバイスを使用して、前記ファイルをコンテンツプロバイダシステムから要求することと、
前記要求に応答して、前記ファイルを前記再生デバイスにおいて受信することと
を含む、請求項9に記載の方法。
【請求項11】
再生デバイスであって、
メモリと、
ネットワークインターフェースと、
前記メモリ内に記憶される命令を読み取るプロセッサであって、前記命令は、前記プロセッサに、
メディアコンテンツのビデオコンテンツポーションの複数のフレームを前記再生デバイス内のバッファ内に記憶することと、
マーカ情報を前記再生デバイス内のメモリ内に記憶することであって、前記マーカ情報は、前記メディアコンテンツ内の1つ以上の着目瞬間の各々に対する提示時間を示す、ことと、
トリックプレイモードにおける前記メディアコンテンツの再生のためのコマンドを受信することと、
次のマーカの提示時間を前記マーカ情報から読み取ることと、
前記マーカ情報および現在の提示時間に基づいて、前記トリックプレイモードのための再生速度を決定することと、
前記決定された再生速度に基づいて、提示するための次のフレームをビデオコンテンツの複数のフレームから決定することと、
前記次のフレームを前記再生デバイス内のバッファから取得することと、
前記再生デバイスを使用して、前記次のフレームを提示することと
を行うように指示する、プロセッサと
を備える、再生デバイス。
【請求項12】
前記プロセッサに前記再生速度を決定するように指示する命令は、前記現在の提示時間が前記次のマーカの提示時間の特定の範囲内にあるかどうかを決定するための命令を含む、請求項11に記載の再生デバイス。
【請求項13】
前記トリックプレイの再生速度は、前記特定の範囲内にあることに応答して、デクリメントされる、請求項12に記載の再生デバイス。
【請求項14】
前記トリックプレイの再生速度は、前記特定の範囲外にあることに応答して、インクリメントされる、請求項12に記載の再生デバイス。
【請求項15】
前記プロセッサに前記再生速度を決定するように指示する命令は、
前記現在の提示時間が前記次のマーカの提示時間からの複数の範囲のうちの1つ内にあるかどうかを決定することと、
現在の提示時間が前記複数の範囲のうちのどの1つ内にあると決定されたかに基づいて、前記トリックプレイのための再生速度を調節することと
を行うための命令を含む、請求項11に記載の再生デバイス。
【請求項16】
前記プロセッサに前記再生速度を決定するように指示する命令は、前記次の提示時間を前記マーカの提示時間として設定し、前記提示時間と関連付けられた複数のフレームのうちの1つを前記次のフレームとして使用するための命令を含む、請求項11に記載の再生デバイス。
【請求項17】
前記命令はさらに、前記プロセッサに、
前記次の提示時間を示すスクラバのディスプレイを生成することと、
前記スクラバのディスプレイを前記ディスプレイ上の前記画像の提示にわたってオーバーレイすることと
を行うように指示する、請求項11に記載の再生デバイス。
【請求項18】
前記命令はさらに、前記プロセッサに、
適応ビットレートストリーミングを使用して、ネットワークを経由して、前記メディアコンテンツおよび前記マーカ情報をコンテンツプロバイダシステムから受信する
ように指示する、請求項11に記載の再生デバイス。
【請求項19】
適応ビットレートストリーミングを使用して、ネットワークを経由して、前記メディアコンテンツおよび前記マーカ情報をコンテンツプロバイダシステムから受信するための命令はさらに、前記プロセッサに、
ネットワークを経由して、トップレベルインデックスファイルを前記コンテンツプロバイダシステムから受信することであって、前記トップレベルインデックスファイルは、前記メディアコンテンツの複数の代替ストリームを識別し、前記複数の代替ストリームの少なくともあるポーションは、異なる最大ビットレートでエンコードされる、ことと、
前記再生デバイスと前記コンテンツプロバイダシステムとの間のネットワーク帯域幅に基づいて、代替ストリームのメディアのポーションを前記コンテンツプロバイダシステムから要求することと、
前記要求に応答して、前記メディアコンテンツの要求されるポーションを受信することと、
前記メディアコンテンツの前記複数の画像を前記再生デバイスによって受信されたメディアコンテンツのポーションから生成することと、
前記複数の画像を前記再生デバイスのバッファ内に記憶することと、
前記トップレベルインデックスファイル内の情報に基づいて、前記マーカ情報を前記コンテンツプロバイダシステムから取得することと、
前記マーカ情報を前記再生デバイスのメモリ内に記憶することと
を行うように指示する、請求項18に記載の再生デバイス。
【請求項20】
前記マーカ情報を取得するための命令は、前記プロセッサに、
前記マーカ情報を含むファイルへのポインタを前記トップレベルインデックスファイルから読み取ることと、
前記ファイルをコンテンツプロバイダシステムから要求することと、
前記要求に応答して、前記ファイルを前記再生デバイスにおいて受信することと
を行うように指示する、請求項19に記載の再生デバイス。
【請求項21】
プロセッサ命令を含有する非一過性機械可読媒体であって、プロセッサによる前記命令の実行は、前記プロセッサに、
メディアコンテンツのビデオコンテンツポーションの複数のフレームを前記再生デバイス内のバッファ内に記憶することと、
マーカ情報を前記再生デバイス内のメモリ内に記憶することであって、前記マーカ情報は、前記メディアコンテンツ内の1つ以上の着目瞬間の各々に対する提示時間を示す、ことと、
トリックプレイモードにおける前記メディアコンテンツの再生のためのコマンドを受信することと、
次のマーカの提示時間を前記マーカ情報から読み取ることと、
前記マーカ情報および現在の提示時間に基づいて、前記トリックプレイモードのための再生速度を決定することと、
前記決定された再生速度に基づいて、提示するための次のフレームを前記複数のフレームから決定することと、
前記次のフレームを前記再生デバイス内のバッファから取得することと、
前記再生デバイスを使用して、前記次のフレームを提示することと
を含む、プロセスを実施させる、非一過性機械可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、適応ストリーミングに関し、より具体的には、マークされた提示時間に基づいて、トリックプレイモードの間、再生の可変速度を提供し得る、ストリーミングシステムに関する。
【背景技術】
【0002】
用語「メディアストリーミング」は、再生デバイス上におけるメディアの再生を説明しており、メディアは、サーバ上に記憶され、再生の間、ネットワークを経由して、再生デバイスに継続的に送信される。典型的には、再生デバイスは、メディアの次のポーションの受信に先立って、全てのバッファされたメディアの再生を完了するため、再生デバイスは、再生の間、任意の所与の時間において、十分な量のメディアをバッファ内に記憶し、再生の途絶を防止する。適応ビットレートストリーミングまたは適応ストリーミングは、本ストリーミング条件(例えば、ユーザのネットワーク帯域幅およびCPU容量)をリアルタイムで検出し、適宜、ストリーミングされるメディアの品質を調節することを伴う。典型的には、ソースメディアは、複数のビットレートでエンコードされ、再生デバイスまたはクライアントは、利用可能なリソースに応じて、異なるエンコードのストリーミング間で切り替える。
【0003】
適応ストリーミングソリューションは、典型的には、RFC2616として、Internet Engineering Task ForceおよびWorld Wide Web Consortiumによって公開されたハイパーテキスト転送プロトコル(HTTP)、またはRFC2326として、Internet Engineering Task Forceによって公開されたリアルタイムストリーミングプロトコル(RTSP)のいずれかを利用して、サーバと再生デバイスとの間でメディアをストリーミングする。HTTPは、再生デバイスが、ファイル内のバイト範囲を要求することを可能にする、ステートレスプロトコルである。HTTPは、サーバが、再生デバイスから受信された要求に応答するために、情報を要求する再生デバイスの状態または再生デバイスによって要求されたバイト範囲に関する情報を記録することが要求されないため、ステートレスとして説明される。RTSPは、ストリーミングメディアサーバを制御するために使用されるネットワーク制御プロトコルである。再生デバイスは、メディアをストリーミングするサーバに、「再生」および「一時停止」等の制御コマンドを発行し、メディアファイルの再生を制御する。RTSPが利用されるとき、メディアサーバは、各クライアントデバイスの状態を記録し、クライアントデバイスから受信した命令およびクライアントの状態に基づいて、ストリーミングするためのメディアを決定する。
【0004】
適応ストリーミングシステムでは、ソースメディアは、典型的には、実際のビデオおよびオーディオデータを含有する、いくつかの代替ストリームをポイントするトップレベルインデックスファイルとして、メディアサーバ上に記憶される。各ストリームは、典型的には、1つ以上のコンテナファイル内に記憶される。異なる適応ストリーミングソリューションは、典型的には、異なるインデックスおよびメディアコンテナを利用する。World Wide Web Consortiumによって開発された同期マルチメディア統合言語(SMIL)は、Microsoft Corporation(Redmond, Washington)によって開発されたIISスムーズストリーミング、およびAdobe Systems Incorporated(SanJose, California)によって開発されたフラッシュダイナミックストリーミングを含む、いくつかの適応ストリーミングソリューションにおいて、インデックスを作成するために利用される。Apple Computer Incorporated(Cupertino, California)によって開発されたHTTP適応ビットレートストリーミングは、典型的には、メディアコンテナファイルを識別する、URIのリストを含有するテキストファイルである、拡張M3U再生ファイル(.M3U8)を使用して、インデックスファイルを実装する。最も一般に使用されるメディアコンテナ形式は、MPEG−4 Part14(すなわち、ISO/IEC14496−14)に規定されるMP4コンテナ形式、およびMPEG−2 Part1(すなわち、ISO/IEC規格13818−1)に規定されるMPEGトランスポートストリーム(TS)コンテナである。MP4コンテナ形式は、IISスムーズストリーミングおよびフラッシュダイナミックストリーミングにおいて利用される。TSコンテナは、HTTP適応ビットレートストリーミングにおいて使用される。
【0005】
Matroskaコンテナは、オープン標準プロジェクトとしてMatroska非営利団体(Aussonne, France)によって開発されたメディアコンテナである。Matroskaコンテナは、拡張バイナリメタ言語(EBML)に基づき、これは、拡張マークアップ言語(XML)のバイナリ派生物である。Matroskaコンテナのデコードは、多くの消費者電子機器(CE)デバイスによってサポートされている。DivX, LLC(SanDiego, California)によって開発されたDivX Plusファイルフォーマットは、Matroskaコンテナフォーマットの拡張子を利用する(すなわち、Matroskaコンテナフォーマットに基づくが、Matroskaフォーマット規格内に規定されていない要素を含む)。
【0006】
インターネットを経由してメディアコンテンツの配信のための一貫した手段を提供するために、国際標準化機構(ISO)および国際電気標準会議(IEC)は、HTTP(DASH)規格を経由した動的適応ストリーミングを推進している。DASH規格は、HTTPを使用したMPEGコンテンツの配信のためのメディアコンテンツおよびコンテンツの記述のためのフォーマットを規定する。DASHによると、プレゼンテーションのためのメディアコンテンツの各コンポーネントは、1つ以上のストリーム内に記憶される。ストリームはそれぞれ、セグメントに分割される。メディアプレゼンテーション記述(MPD)は、ストリームのそれぞれ内のセグメントについての情報と、再生の間にメディアコンテンツをプレゼンテーションするために必要とされる他の情報とを含む、データ構造である。再生デバイスは、再生のための適応ビットレートストリーミングを使用してメディアコンテンツのコンポーネントを取得するために、MPDを使用する。
【0007】
コンテンツをストリーミングする速度が改良されるにつれて、スポーツイベントおよびコンサート等のライブイベントのストリーミングが、一般的となりつつある。本タイプのコンテンツは、多くの場合、提示の間、特定の時間における着目瞬間を有する。例えば、スポーツイベントの間の得点獲得プレーは、視認者にとって着目に値し得る。したがって、ユーザは、高速早送りまたは巻き戻し等のトリックプレイモードを使用して、特定の瞬間を検索することを所望し得る。多くの場合、ユーザは、着目瞬間を含み得ないコンテンツの他のポーションに関心がない。大部分の従来の再生システムは、1つの速度または所定の異なる速度のセットにおいてのみトリックプレイモードを提供する。これらのシステムは、ユーザが、メディアコンテンツを通して走査しながら、トリックプレイモード再生の速度を手動で制御することを要求する。したがって、ユーザは、ユーザが瞬間に関する提示時間を把握していない場合、着目瞬間を逸失し得る、および/またはユーザは、再生の間、着目瞬間の提示時間が近づくと、再生の速度を変化させ、着目瞬間の通常再生のための良好な開始点を見出さなければならない。したがって、ユーザは、トリックプレイモードにおける再生の間、通常再生のための適切な開始点を見出すために、着目瞬間に到達間近になるときを示す、システムを好むであろう。
【発明の概要】
【課題を解決するための手段】
【0008】
本発明のいくつかの実施形態による、可変速度トリックプレイ再生を提供するためのシステムおよび方法が、開示される。本発明のいくつかの実施形態によると、可変速度トリックプレイ再生を提供するためのプロセスは、以下の様式で再生デバイスによって実施される。再生デバイスは、メディアコンテンツのビデオコンテンツポーションのフレームおよびビデオコンテンツに関するマーカ情報をバッファ内に記憶する。マーカ情報は、メディアコンテンツ内の1つ以上の着目瞬間の各々に対する提示時間を示す。トリックプレイモードにおける再生デバイスは、メディアコンテンツの再生のためのコマンドを受信する。再生デバイスは、次のマーカの提示時間をマーカ情報から読み取り、マーカ情報および現在の提示時間に基づいて、再生デバイスを使用して、トリックプレイモードのための再生速度を決定する。ビデオコンテンツから提示するための次のフレームは、決定された再生速度および再生デバイスを使用して提示されている現在のフレームに応じて決定される。次のフレームは、再生デバイス内のバッファから取得され、提示される。
【0009】
いくつかの実施形態によると、再生速度を決定することは、現在の提示時間が次のマーカの提示時間の特定の範囲内にあるかどうかを決定することを含む。これらの実施形態のいくつかによると、トリックプレイの再生速度は、次のマーカの提示時間の特定の範囲内にあることに応答して、デクリメントされる。多くの実施形態によると、トリックプレイの再生速度は、次のマーカの提示時間の特定の範囲外にあることに応答して、インクリメントされる。
【0010】
いくつかの実施形態によると、再生速度を決定することは、現在の提示時間が次のマーカの提示時間からの複数の範囲のうちの1つ内にあるかどうかを決定することを含む。再生速度は、現在の提示時間が複数の範囲のうちのどの1つ内にあると決定されたかに基づいて、トリックプレイのための再生速度を調節する。いくつかの他の実施形態によると、再生速度を決定することは、次の提示時間をマーカの提示時間として設定し、提示時間と関連付けられたフレームを次のフレームとして使用することを含む。
【0011】
いくつかの実施形態によると、プロセスはさらに、次の提示時間を示すスクラバのディスプレイを生成し、スクラバのディスプレイをディスプレイ上の画像の提示にわたってオーバーレイすることを含む。
【0012】
実施形態の多くによると、マーカ情報が、適応ビットレートストリーミングを使用して取得される。
【図面の簡単な説明】
【0013】
【
図1】
図1は、本発明のある実施形態による、適応ビットレートストリーミングシステムのネットワーク略図を図示する。
【
図2】
図2は、本発明のある実施形態による、トリックプレイモードにおける可変速度再生を提供する、再生デバイス内の処理システムのコンポーネントのブロック図を図示する。
【
図3】
図3は、本発明のある実施形態による、エンコーディングシステム内の処理システム等の処理システム、および/またはトリックプレイモードにおける可変速度再生を提供する際に使用するためのマーカ情報を含む、メディアコンテンツを提供する、コンテンツプロバイダシステムのコンポーネントのブロック図を図示する。
【
図4】
図4は、本発明のある実施形態による、エンコーディングシステムによって実施され、セグメントに分割されるオーディオデータの少なくとも1つのストリームおよびフレームを含むビデオコンテンツの少なくとも1つのストリームを含む、メディアコンテンツのストリームをエンコードし、着目瞬間を示すマーカ情報を生成するためのプロセスのフロー図を図示する。
【
図5】
図5は、本発明のある実施形態による、再生デバイスによって実施され、メディアコンテンツならびにメディアコンテンツに関するマーカ情報を取得するためのプロセスのフロー図を図示する。
【
図6】
図6は、本発明のある実施形態による、再生デバイスによって実施され、適応ビットレートストリーミングを使用して、メディアコンテンツならびにメディアコンテンツに関するマーカ情報を取得するためのプロセスのためのフロー図を図示する。
【
図7】
図7は、本発明のある実施形態による、再生デバイスによって実施され、メディアコンテンツの再生の間、トリックプレイモードの可変速度を提供するためのプロセスのためのフロー図を図示する。
【
図8】
図8は、本発明のある実施形態による、再生デバイスによって実施され、マーカ情報を使用して、コンテンツを事前にフェッチするためのプロセスのためのフロー図を図示する。
【発明を実施するための形態】
【0014】
ここで図面に目を向けると、本発明のいくつかの実施形態による、再生の間、可変速度トリックプレイモードを提供するためのシステムおよび方法が、図示される。本議論の目的のために、トリックプレイモードは、ビデオデータが意図される提示時間に従ってビデオコンテンツのシーケンシャル提示以外の様式で提示される、モードである。本状況では、提示時間は、ビデオ、ビデオセグメント、および/またはオーディオセグメントの各フレームに対してエンコードされてもよい。トリックプレイモードにおける再生は、エンコードされたメディア内のフレームおよび/またはオーディオサンプルに付随する提示時間の間のインターバルを反映しないシーケンスおよびタイミングを用いたフレームおよび/またはオーディオサンプルの再生を伴う。トリックプレイモードの実施例として、限定ではないが、巻き戻し、高速早送り、早送り頭出し、および巻き戻し頭出しが挙げられる。いくつかの実施形態によると、トリックプレイモードは、再生デバイスがユーザから特定のトリックプレイモードを示すコマンドを受信することによって開始される。再生デバイスは、次いで、トリックプレイモード再生を開始する。再生デバイスは、マーカ情報をマーカ情報を記憶するメモリから読み取る。再生の現在の提示時間が、次いで、マーカ情報と併用され、トリックプレイモードのための再生の速度を決定する。いくつかの実施形態によると、再生速度は、現在の提示時間がリスト内の次のマーカの提示時間からの規定された時間の長さ内にない場合、インクリメントされる。多くの実施形態によると、再生時間は、現在の提示時間が次のマーカからの規定された時間の長さ内にある場合、デクリメントされる。いくつかの実施形態では、システムは、断続コンテンツを提示せずに、現在の提示時間からマーカの提示時間に移動してもよい。
【0015】
決定された再生の速度に基づいて、提示されるべき次のフレームが、決定される。これらの実施形態のいくつかによると、次のフレームは、表示されるべき提示時間を決定することによって決定される。決定された提示時間と関連付けられたメディアコンテンツは、ストリームのフレームを記憶するバッファから読み取る。いくつかの実施形態によると、メディアコンテンツの決定された提示時間を示すスクラバの画像が、生成される。これらの実施形態のいくつかによると、生成されたスクラバは、メディアコンテンツの総提示時間と比較して決定された提示時間を示す。画像は、いくつかの実施形態に従って表示され、多くの実施形態によると、スクラバの生成された画像は、画像の提示上にオーバーレイされる。
【0016】
いくつかの実施形態によると、メディアコンテンツ内の着目瞬間を示すマーカ情報は、エンコーディングデバイスによって生成される。いくつかのこれらの実施形態によると、マーカ情報は、メタデータとしてメディアコンテンツを記憶するファイル内に記憶される。いくつかの他の実施形態によると、マーカ情報は、メディアコンテンツと関連付けられたインデックスファイル内に記憶される。さらに他の実施形態によると、マーカ情報は、トップレベルインデックスファイルまたはマニフェストファイル内に記憶される。
【0017】
マーカ情報は、提示時間とメディアコンテンツ内の着目瞬間を関連付ける。いくつかの実施形態によると、マーカ情報は、メディアコンテンツ内の有意な瞬間を含んでもよい。例えば、メディアコンテンツがスポーツイベントである、いくつかの実施形態では、マーカは、得点獲得プレー、盗塁、捕球、パス、またはキック等の有意なプレー、および/またはプレー中の中断を示してもよい。いくつかの他の実施形態によると、マーカ情報は、特定のチーム/参加者の勝率および/または得点のオッズが規定されたパーセンテージに到達する提示時間を示してもよい。さらにいくつかの他の実施形態によると、マーカ情報は、スポーツイベントのためのゲームクロックの残りの時間および/またはゲームクロックの中断を示してもよい。いくつかの実施形態によると、マーカ情報は、ソーシャルメディアアクティビティの有意な増加を示すマーカを含んでもよく、アクティビティの増加は、多くの場合、着目瞬間を示す。
【0018】
いくつかの実施形態によると、トリックプレイモードにおける再生の速度を変化させる、再生デバイスは、適応ビットレートストリーミングを使用して、メディアコンテンツを取得する。いくつかの実施形態によると、メディアコンテンツは、DASH規格に従って、ストリーム内に記憶される。しかしながら、当業者は、限定ではないが、Matroska(MKV)コンテナファイルフォーマット等のフォーマットも本発明から逸脱することなく、メディアコンテンツのストリームを記憶するために使用され得ることを認識するであろう。
【0019】
本発明のいくつかの実施形態による、適応ビットレートストリーミングシステムの性能は、ビデオのポーションが、イントラフレームであるインスタントデコーダリフレッシュ(IDR)フレームから開始する、単一(または少なくとも1つ)クローズドグループオブピクチャ(GOP)として各ストリーム内でエンコードされるように、代替ストリームのそれぞれ内のソースビデオの各ポーションを各ビットレートでエンコードすることによって、大幅に向上されることができる。再生デバイスは、ビデオセグメントの再生の完了時、再生の間に使用される代替ストリーム間で切り替えることができ、ビデオセグメントが取得されるストリームに関係なく、ビデオセグメント内の第1のフレームは、ビデオセグメント内に含有されるエンコードされたメディア以外の任意のエンコードされたメディアを参照せずにデコードされ得る、IDRフレームとなるであろう。
【0020】
いくつかの実施形態では、再生デバイスは、MPDから利用可能なストリームのそれぞれに関する情報を取得し、メディアの再生において利用するための1つ以上のストリームを選択する。再生デバイスはまた、関連コンテナファイル内に記憶されるエンコードされたメディアのセグメントをインデックス化する、インデックス情報を要求することができる。インデックス情報は、コンテナファイル内に、またはMPDもしくは別個のインデックスファイル内のコンテナファイルと別個に記憶されることができる。インデックス情報は、再生デバイスが、エンコードされたメディアの具体的ポーションを含有するコンテナファイル内のメディアのセグメントに対応するバイト範囲をHTTP(または別の適切なステートフルもしくはステートレスプロトコル)を介してサーバから要求することを可能にする。再生デバイスは、本発明の種々の実施形態によると、トップレベルインデックスファイルが受信されると、インデックス情報内のマーカ情報を取得する、MPDファイルが受信された後、マーカ情報を記憶するファイルを要求する、またはインデックス情報を記憶するコンテナファイルのポーションを要求してもよい。再生デバイスは、いくつかの実施形態によると、インデックス情報を使用して、代替ストリームからメディアコンテンツのメディアのポーションを要求する。再生は、再生デバイスがネットワーク条件によってサポートされ得るビットレートでエンコードされたメディアコンテンツを有するストリームからエンコードされたコンテンツのポーションを要求することによって継続される。
【0021】
いくつかの実施形態によると、再生デバイスは、マーカ情報を使用して、メディアコンテンツのセグメントを決定し、再生前に、事前にフェッチしてもよい。これらのコンテンツは、メディアコンテンツの他のポーションより前にフェッチされる可能性のため、これは、再生スタートアップの速度を増加させ、および/または逸失セグメントに起因するエラーを防止し得る。そのために、再生デバイスは、マーカ情報を読み取り、各提示時間と関連付けられたメディアコンテンツの各マーカおよびセグメントに対する提示時間を決定する。再生デバイスは、次いで、識別されたセグメントの前および/または後の所定の数のセグメントを要求する。いくつかのこれらの実施形態によると、再生デバイスは、異なる最大ビットレート、異なる分解能、および/または他の異なるパラメータを伴うストリームからセグメントを要求し、帯域幅使用を最小限にし、および/または他の再生機能をサポートする。
【0022】
本発明のいくつかの実施形態による、適応ビットレートストリーミングを使用して、トリックプレイモードにおいて可変速度再生を提供する、適応ビットレートストリーミングシステムにおいて使用するためのソースメディアコンテンツのエンコーディングは、以下にさらに議論される。
(適応ストリーミングシステムアーキテクチャ)
【0023】
ここで
図1を参照すると、本発明の実施形態による適応ストリーミングシステムが、図示される。適応ストリーミングシステム10は、いくつかの代替ストリームとして、ソースメディアをエンコードするように構成される、ソースエンコーダ12を含む。図示される実施形態では、ソースエンコーダは、サーバである。他の実施形態では、ソースエンコーダは、プロセッサと、ソースメディア(限定ではないが、ビデオ、オーディオ、および/または字幕を含む)のトランスコーディングを実施するための十分なリソースとを含む、任意の処理デバイスであることができる。典型的には、ソースエンコードサーバ12は、ストリームおよび/またはメタデータ情報を含有するコンテナファイルを示すインデックスを含む、MPDを生成し、そのうちの少なくとも複数は、代替ストリームである。代替ストリームは、同一のメディアコンテンツを異なる方法でエンコードする、ストリームである。多くの事例では、代替ストリームは、異なる最大ビットレートでメディアコンテンツ(限定ではないが、ビデオおよび/またはオーディオコンテンツ等)をエンコードする。いくつかの実施形態では、ビデオコンテンツの代替ストリームは、異なる解像度および/または異なるフレームレートでエンコードされる。MPDおよびコンテナファイルは、HTTPサーバ14にアップロードされる。種々の再生デバイスは、次いで、HTTPまたは別の適切なステートレスプロトコルを使用して、インターネット等のネットワーク16を介して、MPD、インデックスファイル、およびコンテナファイルのポーションを要求することができる。
【0024】
図示される実施形態では、再生デバイスは、パーソナルコンピュータ18、CEプレーヤ、および携帯電話20を含む。他の実施形態では、再生デバイスは、消費者電子機器デバイス、例えば、DVDプレーヤ、Blu−ray(登録商標)プレーヤ、テレビ、セットトップボックス、ビデオゲームコンソール、タブレット、仮想現実ヘッドセット、拡張現実ヘッドセット、およびHTTPを含む(限定ではないが)通信プロトコルを介して、サーバに接続し、エンコードされたメディアを再生可能である、他のデバイスを含むことができる。具体的アーキテクチャは、
図1に示されるが、適応ビットレートストリーミングではなく、従来のストリーミングを実施するシステムを含む、任意の種々のアーキテクチャのいずれかが、再生デバイスが、本発明の実施形態に従って、トップレベルインデックスファイルおよびコンテナファイルのポーションを要求することを可能にするように利用されることができる。
(再生デバイス)
【0025】
本発明の実施形態による方法およびシステムを提供するためのいくつかのプロセスは、再生デバイスによって実行される。本発明の実施形態によるプロセスを実施することができる、再生デバイス内の関連コンポーネントは、
図2に示される。当業者は、再生デバイスが、本発明の説明される実施形態から逸脱することなく、簡潔にするために省略される他のコンポーネントを含んでもよいことを認識するであろう。再生デバイス200は、プロセッサ205と、不揮発性メモリ210と、揮発性メモリ215とを含む。プロセッサ205は、揮発性メモリ215または不揮発性メモリ210内に記憶される命令を実施し、メモリ内に記憶されるデータを操作する、プロセッサ、マイクロプロセッサ、コントローラ、またはプロセッサ、マイクロプロセッサ、および/またはコントローラの組み合わせである。不揮発性メモリ210は、本発明のいくつかの実施形態による、トリックプレイモードにおいて可変速度の再生を提供するためのプロセスを含む、プロセスを実施するように再生デバイス200を構成するために利用されるプロセッサ命令および/または利用されるプロセスのためのデータを記憶することができる。種々の他の実施形態によると、再生デバイスソフトウェアおよび/またはファームウェアは、具体的用途に適切な種々の非一過性コンピュータ可読媒体のいずれか内に記憶され得る、提供するための命令を含むことができる。
サーバ
【0026】
本発明のいくつかの実施形態による方法およびシステムを提供するためのいくつかのプロセスは、HTTPサーバ、ソースエンコーディングサーバ、および/またはローカルおよびネットワーク時間サーバによって実行される。例えば、ソースエンコーディングサーバは、いくつかの実施形態によると、イベントからのメディアコンテンツからのライブフィード等のメディアコンテンツを複数のストリームにエンコードし、および/またはマーカ情報を生成し、HTTPサーバは、複数のストリームおよび/またはマーカ情報を再生デバイスに提供する。本発明の実施形態によるプロセスを実施するサーバ内の関連コンポーネントは、
図3に示される。当業者は、サーバが、本発明の説明される実施形態から逸脱することなく、簡潔にするために省略される他のコンポーネントを含んでもよいことを認識するであろう。サーバ300は、プロセッサ305と、不揮発性メモリ310と、揮発性メモリ315とを含む。プロセッサ305は、揮発性メモリ315または不揮発性メモリ310内に記憶された命令を実施し、メモリ内に記憶されるデータを操作する、プロセッサ、マイクロプロセッサ、コントローラ、またはプロセッサ、マイクロプロセッサ、および/またはコントローラの組み合わせである。不揮発性メモリ310は、本発明のいくつかの実施形態による、メディアコンテンツをエンコードし、および/またはマーカ情報を生成するためのプロセスを含む、プロセスを実施するようにサーバ300を構成するために利用されるプロセッサ命令および/または利用されるプロセスのためのデータを記憶することができる。種々の他の実施形態では、サーバソフトウェアおよび/またはファームウェア内にあり得る、これらの命令は、具体的用途に適切な種々の非一過性コンピュータ可読媒体のいずれか内に記憶されることができる。具体的サーバが、
図3に図示されるが、任意の数のプロセスを実施するように構成される、種々のサーバのいずれも、本発明の実施形態に従って利用されることができる。
(メディアコンテンツのストリームのエンコーディングおよび代替ストリーム内の同期情報)
【0027】
いくつかの実施形態によると、可変速度トリックプレイ再生を提供する再生システムによって使用され得るメディアコンテンツを提供する、エンコーダシステムは、ビデオコンテンツおよびオーディオコンテンツおよびコンテンツプロバイダに関するマーカ情報を含む、メディアコンテンツを受信する。要求されるデータを提供し、適応ビットレートストリーミングを介して、メディアコンテンツを提供するために、オーディオコンテンツおよびビデオコンテンツは、ストリーム内でエンコードされることができ、マーカ情報は、情報が再生デバイスに提供され得るような様式で生成および記憶されることができる。いくつかの実施形態によると、オーディオコンテンツは、具体的な最大ビットレートで1つのストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの他の実施形態によると、オーディオコンテンツは、可変最大ビットレートで複数のストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの実施形態では、ビデオコンテンツはまた、再生の間にトリックプレイモードを提供する際に使用するためのビデオコンテンツの具体的ポーションのみを含む、トリックプレイストリームにエンコードされてもよい。
【0028】
いくつかの実施形態によると、マーカ情報は、MPD等のトップレベルインデックスファイル内に記憶される、インデックス情報内に含まれる。多くの実施形態によると、マーカ情報は、トップレベルインデックスファイルによってポイントされる、インデックスファイル内に記憶される。いくつかの実施形態では、マーカ情報は、メタデータとして、限定ではないが、オーディオコンテンツおよび/またはビデオコンテンツを含む、メディアコンテンツのストリームのポーションを記憶する、ファイル内に記憶されてもよい。本発明のある実施形態による、エンコーダサーバシステムによって実施され、オーディオコンテンツおよびビデオコンテンツならびにマーカ情報を含む、メディアコンテンツをエンコードするためのプロセスは、
図4に示される。
【0029】
プロセス400は、エンコードされるべきメディアコンテンツを受信することによって開始する(405)。メディアコンテンツは、オーディオコンテンツおよびビデオコンテンツを含む。本発明のいくつかの実施形態によると、オーディオコンテンツは、セグメントに分割され、ビデオコンテンツは、フレームを含み、各フレームは、ビデオコンテンツ内の画像のうちの1つ以上のものに関する情報を提供する。プロセス400は、次いで、オーディオコンテンツおよびビデオコンテンツをストリームにエンコードする(410)。多くの実施形態によると、オーディオコンテンツは、具体的な最大ビットレートで1つのストリーム内でエンコードされ、ビデオコンテンツは、異なる構成であって、異なるネットワークトラフィック条件を被る、異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの他の実施形態によると、オーディオコンテンツは、可変最大ビットレートで複数のストリーム内でエンコードされ、ビデオコンテンツは、異なるネットワークトラフィック条件を被る異なる再生デバイスによる使用のための可変最大ビットレート、分解能、縦横比、および同等物でエンコードされる、複数のストリームにエンコードされる。いくつかの実施形態では、ビデオコンテンツはまた、再生の間にトリックプレイモードを提供する際に使用するためのビデオコンテンツの具体的ポーションのみを含む、トリックプレイストリームにエンコードされてもよい。
【0030】
プロセス400は、メディアコンテンツ内の着目瞬間の提示を示す、マーカ情報を取得する(415)。マーカ情報は、メディアコンテンツ内の1つ以上の着目瞬間の提示時間を示す。いくつかの実施形態によると、マーカ情報は、メディアコンテンツ内の着目瞬間の提示時間を含んでもよい。例えば、メディアコンテンツがスポーツイベントである、いくつかの実施形態では、マーカは、得点獲得プレー、盗塁、捕球、パス、またはキック等の有意なプレー、および/またはプレー中の中断を示してもよい。いくつかの他の実施形態によると、マーカ情報は、特定のチーム/参加者の勝率および/または得点のオッズが規定されたパーセンテージに到達する提示時間を示してもよい。さらにいくつかの他の実施形態によると、マーカ情報は、スポーツイベントのためのゲームクロックの残りの時間および/またはゲームクロックの中断を示してもよい。いくつかの実施形態によると、マーカ情報は、ソーシャルメディアアクティビティの有意な増加を示すマーカを含んでもよく、アクティビティの増加は、多くの場合、着目瞬間を示す。さらにいくつかの他の実施形態によると、マーカは、種々のユーザによって再開点にマークされる提示時間を示してもよく、トリックプレイ使用についての情報は、再生デバイスによって、情報を収集し、着目瞬間に関するマーカを種々の再生デバイスから受信された情報から生成する、コンテンツプロバイダシステムと共有される。
【0031】
いくつかの実施形態によると、マーカ情報は、ライブイベントからのフィード等のメディアコンテンツとともに受信されてもよい。多くの実施形態によると、マーカ情報は、エンコーダサーバシステムによって生成されてもよい。例えば、エンコーダサーバシステムは、ソーシャルメディアフィードを監視し、人工知能アルゴリズムを使用して、重要なイベントを検出し、イベントに関するマーカ情報を生成してもよい。いくつかの実施形態によると、マーカ情報は、エンコーダサーバシステムのオペレータの入力として受信されてもよい。マーカは、次いで、メディアコンテンツに関するインデックス情報としてエンコードされる(420)。
【0032】
プロセス400は、メディアコンテンツのためのコンテナファイルおよびインデックスファイルを生成する(425)。いくつかの実施形態によると、各ストリーム(オーディオおよびビデオコンテンツの両方)は、セグメントに分割される。多くの実施形態によると、インデックス情報は、限定ではないが、MPD等のトップレベルインデックスファイル内に設置される。いくつかの実施形態によると、インデックス情報は、トップレベルインデックスファイルによってポイントされる、1つ以上のインデックスファイル内に設置される。さらにいくつかの他の実施形態では、マーカ情報を含む、インデックス情報は、コンテナファイル内にメタデータとして記憶される。いくつかの特定の実施形態では、メディアコンテンツの特定のポーションに関するマーカ情報は、メタデータとしてメディアコンテンツのセグメントを記憶するコンテナファイル内に記憶される。
【0033】
オーディオコンテンツ、ビデオコンテンツ、および同期情報を含む、メディアコンテンツの代替ストリームをエンコードするためのプロセスの種々の実施例は、上記に説明されるが、当業者は、ストリームをエンコードするための他のプロセスも本発明のいくつかの実施形態に従って実施されてもよいことを認識するであろう。
(トリックプレイモードにおけるオーディオデータを提供することを含む、メディアコンテンツの再生)
【0034】
本発明のいくつかの実施形態によると、再生デバイスは、トリックプレイ再生の可変速度を提供する。そのために、再生デバイスは、オーディオコンテンツ、ビデオコンテンツ、および着目瞬間のための提示時間を提供するマーカ情報を記憶する。本発明のある実施形態による、メディアコンテンツおよびマーカ情報を取得するためのプロセスは、
図5に示される。
【0035】
プロセス500は、オーディオコンテンツおよびビデオコンテンツを含む、メディアコンテンツを受信する(505)。本発明のいくつかの実施形態によると、メディアコンテンツは、適応ビットレートストリーミングを介して受信される。いくつかの他の実施形態によると、メディアコンテンツは、メモリから読み取られてもよい。さらに他の実施形態によると、メディアコンテンツは、メディアコンテンツを記憶する非一過性媒体から読み取られてもよい。ビデオコンテンツおよび/またはオーディオコンテンツを含む、メディアコンテンツは、メディアコンテンツが再生デバイスによってデコードされると、再生のためにバッファ内に記憶される(510)。
【0036】
マーカ情報は、プロセス500によって受信される(515)。マーカ情報は、メディアコンテンツ内の1つ以上の着目瞬間の提示時間を提供する。いくつかの実施形態によると、マーカ情報は、特定のタイプまたは複数のタイプの着目瞬間の提示時間を示す。いくつかの他の実施形態によると、マーカ情報は、着目瞬間の各々に対し、瞬間のタイプおよび提示時間を含む。さらに他の実施によると、マーカ情報は、着目瞬間の各々に対し、提示時間、瞬間のタイプ、および着目周期の持続時間を含んでもよい。受信されたマーカ情報は、本発明のいくつかの実施形態による、再生の間の使用のために、より具体的には、トリックプレイモードにおけるオーディオコンテンツの再生の間の使用のためにメモリ内に記憶される(520)。
【0037】
トリックプレイモードにおけるオーディオコンテンツの再生を提供する際に使用するためのメディアコンテンツおよびマーカ情報を取得するためのプロセスは、
図5を参照して前述されるが、当業者は、メディアコンテンツを取得するための他のプロセスも、本発明の種々の実施形態に従って実施されてもよいことを認識するであろう。
【0038】
本発明のいくつかの特定の実施形態によると、再生デバイスは、適応ビットレートストリーミングを使用してメディアコンテンツの可変速度トリックプレイ再生を提供する際に使用するためのメディアコンテンツを取得してもよい。本発明のある実施形態による、可変速度トリックプレイ再生を提供する際に使用するためのメディアコンテンツおよびマーカ情報を取得するためのプロセスは、
図6に示される。
【0039】
プロセス600では、再生デバイスは、インデックスファイルをコンテンツプロバイダシステムから受信する(605)。再生デバイスは、インデックスファイルを使用して、オーディオコンテンツおよび/またはビデオコンテンツを含むメディアコンテンツのポーションをコンテンツプロバイダシステムから要求する(630)。本発明のいくつかの実施形態によると、再生デバイスは、再生デバイスとコンテンツプロバイダシステムとの間のネットワークを経由した通信のためのネットワーク帯域幅を監視し、測定された帯域幅に従ってハンドリングされ得る最高最大ビットレートでエンコードされたオーディオおよび/またはビデオコンテンツのストリームを選択する。ストリームを選択し、再生を開始するためのシステムおよび方法は、「Systems and Methods for Determining Available Bandwidth and Performing Initial Stream Selection When Commencing Streaming Using Hypertext Transfer Protocol」と題された米国特許出願公開第2013/0007200号および「Systems and Methods for Performing Multiphase Adaptive Bitrate Streaming」と題された米国特許第8,832,297号(本開示は、参照することによってその全体として本明細書に組み込まれる)に開示されるものを含む。より具体的には、これらの参考文献に説明される、再生デバイスによって実施され、適応ビットレートストリーミングを使用して、メディアコンテンツを取得するためのプロセスは、参照することによって本明細書に組み込まれる。
【0040】
オーディオおよび/またはビデオコンテンツの要求されるポーションは、再生デバイスによって受信される(635)。オーディオおよび/またはビデオコンテンツは、再生デバイスによって受信されたポーションから準備され(640)、再生デバイス内のバッファ内に設置され、クライアントアプリケーションによる提示のために記憶する(645)。当業者は、オーディオおよびビデオコンテンツの要求(630)、受信(635)、生成(640)、および提供が、メディアコンテンツのオーディオおよびビデオコンテンツが全て、適応ビットレートストリーミングプロセスに従って再生デバイスによって受信されるまで、反復的に実施されてもよいことに留意するであろう。
【0041】
再生デバイスはまた、メディアコンテンツ内の着目瞬間のための提示時間を提供する、マーカ情報を取得する(650)。いくつかの実施形態によると、マーカ情報は、トップレベルインデックスファイルが、適応ビットレートストリーミングプロセスの初期スタートアップの間、システムによって受信されると、トップレベルインデックスファイルから読み取られてもよい。いくつかの他の実施形態によると、再生デバイスは、マーカ情報を記憶するインデックスファイルへのポインタをトップレベルインデックスファイルから読み取り、適応ビットレートストリーミングプロセスの初期スタートアップの間、インデックスファイルをコンテンツプロバイダシステムから要求および受信する。さらに他の実施によると、マーカ情報は、オーディオおよび/またはビデオコンテンツのストリーミングの間、メタデータとして受信される。マーカ情報は、次いで、クライアント再生アプリケーションに提供され(655)、これは、マーカ情報をデータ構造として再生の間の使用のためにメモリ内に記憶してもよい。
【0042】
適応ビットレートストリーミングを使用して、トリックプレイモードにおけるメディアコンテンツの具体的ポーションの再生を提供する際に使用するためのメディアコンテンツを取得するための種々のプロセスは、
図6を参照して前述されたが、当業者は、メディアコンテンツを取得するための他のプロセスも、本発明の種々の実施形態に従って実施されてもよいことを認識するであろう。
(トリックプレイモードの間の可変速度再生のプロビジョニング)
【0043】
ユーザがメディア提示内の着目瞬間を迅速に見出すことを可能にするために、本発明のいくつかの実施形態による再生システムは、着目瞬間の提示時間を示すマーカ情報を使用して、可変速度トリックプレイ再生を提供する。例えば、スポーツイベントのメディアコンテンツは、ユーザが視聴を所望し得る、特定の提示時間における得点獲得プレーを含んでもよい。ユーザは、トリックプレイを使用して、高速早送りを行い、着目瞬間を見出すことを所望する。ユーザは、再生場面を視聴することを所望する特定の点を把握しておらず、着目瞬間を見出すためにコンテンツ全体を通して検索したくない。したがって、いくつかの再生システムは、メディアコンテンツの他の部分が迅速にスキップされ、着目瞬間(得点獲得プレー)を得るように、高速早送りの可変速度再生を提供することを所望し得る。本発明のある実施形態による、再生デバイスによって実施され、可変速度トリックプレイ再生を提供するためのプロセスは、
図7に示される。
【0044】
プロセス700では、再生デバイスは、トリックプレイモードにおけるメディアコンテンツを提示するための要求を受信する(705)。いくつかの実施形態によると、トリックプレイモードは、限定ではないが、高速早送り、巻き戻し、早送り頭出し、および巻き戻し頭出しを含むことができる。多くの実施形態によると、トリックプレイモードコマンドは、入力として、入力/出力(I/O)デバイスを介して受信される。本発明の種々の実施形態による、I/Oデバイスの実施例として、限定ではないが、キーボード、マウス、タッチスクリーン、および同等物が挙げられる。
【0045】
再生デバイスは、マーカ情報をメモリから読み取る(710)。本発明のいくつかの実施形態によると、マーカ情報は、着目瞬間の提示時間を示す。いくつかの実施形態によると、マーカ情報は、メディアコンテンツ内の着目瞬間の提示時間を含んでもよい。例えば、メディアコンテンツがスポーツイベントである、いくつかの実施形態では、マーカは、得点獲得プレー、盗塁、捕球、パス、またはキック等の有意なプレー、および/またはプレー中の中断を示してもよい。いくつかの他の実施形態によると、マーカ情報は、特定のチーム/参加者の勝率および/または得点のオッズが規定されたパーセンテージに到達する提示時間を示してもよい。さらにいくつかの他の実施形態によると、マーカ情報は、スポーツイベントのためのゲームクロックの残りの時間および/またはゲームクロックの中断を示してもよい。さらに他のいくつかの実施形態によると、マーカ情報は、ソーシャルメディアアクティビティの有意な増加を示すマーカを含んでもよく、アクティビティの増加は、多くの場合、着目瞬間を示す。いくつかの実施形態によると、ユーザは、具体的タイプの着目瞬間のためのマーカを選択可能であってもよい。例えば、ユーザは、得点獲得プレー、オッズ変化、ソーシャルメディアアクティビティ、またはトリックプレイモードにおける再生の速度を調節する際に使用するためのマーカを有する、任意の他のタイプのイベントのためのマーカのグループのうちの1つ以上のものを選択してもよい。
【0046】
読み取られたマーカ情報および現在の提示時間は、トリックプレイ再生の速度を決定するために使用される(720)。いくつかの実施形態によると、再生デバイスは、現在の提示時間がマーカの特定の範囲内にあるかどうかを決定する。再生時間が、マーカの特定の時間範囲内にある場合、再生速度は、デクリメントされる。本議論の目的のために、デクリメントされる再生速度は、トリックプレイのための再生速度がトリックプレイの通常実装の間のトリックプレイ再生速度より低速にされることを意味する。例えば、通常高速早送り再生は、通常再生速度の4倍であって、デクリメントされる高速早送り速度は、通常再生速度の2倍である。より具体的には、再生は、30フレーム/秒の速度で提供される。通常再生の間、各フレームは、30フレーム/秒の速度で示される。高速早送りモードでは、フレームはさらに、30フレーム/秒のレートで提示される。しかしながら、再生の速度は、提示されるフレーム間でスキップされる提示内のフレームの数を表す。したがって、2倍は、2つのフレームが再生の間に提示されるフレーム間でスキップされることを意味し、4倍は、4つのフレームが再生の間にスキップされることを意味する。したがって、速度のデクリメントは、速度係数が、速度成分によって除算または減算され、新しい速度係数を取得することを意味する。本議論の目的のために、インクリメントは、トリックプレイのための再生速度がトリックプレイの通常実装のための再生速度より高速であることを意味する。例えば、高速早送り再生が、通常再生の速度の4倍である場合、高速早送りのインクリメントされる速度は、通常再生の速度の8倍である。したがって、前述の説明に基づいて、速度のインクリメントは、速度係数(2倍の2または4倍の4)が、速度成分によって乗算または加算され、新しい速度係数を取得することを意味する。
【0047】
いくつかの実施形態によると、現在の提示時間は、次のマーカの提示時間からのいくつかの時間範囲のうちの1つ内にあってもよく、各時間範囲は、再生速度を異なる量だけインクリメントする。例えば、第1の範囲は、次のマーカの提示時間から2分〜4分であってもよく、第2の範囲は、次のマーカから4〜8分であってもよい。第1の範囲は、例えば(限定ではないが)2などの乗数によって、トリックプレイ再生の速度をインクリメントし、第2の範囲は、例えば(限定ではないが)4などの乗数によって、トリックプレイ再生の速度をインクリメントする。例えば、現在の提示時間が、次のマーカから3分であって、第1の範囲内にあるとき、トリックプレイ再生の速度は、通常再生の速度の2倍における高速早送り再生がここで通常再生の速度の4倍となるように乗算される。提示時間が、次のマーカから7分であって、第2の範囲内にあるとき、トリックプレイ再生の速度は、再生の通常速度の2倍における高速早送り再生がここで通常再生の速度の8倍になるように、4で乗算される。2つの範囲の実施例が、議論されるが、任意の数の範囲が、使用されてもよく、各時間は、本発明のこれらの実施形態から逸脱することなく、任意の時間範囲を包含してもよい。
【0048】
いくつかの他の実施形態では、再生速度は、単に、再生を次のマーカに移動させることによって変化される。これらの実施形態のいくつかによると、現在の提示時間は、次のマーカの提示時間に移動され、トリックプレイモードにおける再生は、頭出しトリックプレイモードのように継続する。したがって、トリックプレイ再生の速度は、マーカの数およびマーカの提示時間の近接度に応じて変動する。
【0049】
再生デバイスは、トリックプレイ再生の速度を使用して、提示するための次のフレームを決定する(725)。いくつかの実施形態によると、速度乗数が、トリックプレイの通常再生速度に適用され、提示するための次のフレームを決定してもよい。いくつかの他の実施形態によると、次のフレームの時間の提示は、現在の提示時間およびトリックプレイ再生の決定された速度に基づいて決定され、次のフレームは、次のフレームの提示時間情報から決定される。次のフレームは、次いで、提示のためにバッファから取得される(740)。
【0050】
随意に、再生デバイスは、現在の提示時間を示すスクラバの画像を生成してもよい(745)。いくつかの実施形態によると、スクラバは、メディアコンテンツのための総提示時間に対して現在の提示を示す。多くの実施形態によると、現在の提示に提示される画像に基づくサムネイルまたは他の画像が、スクラバ上の現在の提示時間と関連付けられて示されてもよい。スクラバの画像は、次いで、提示される画像上にオーバーレイされてもよい(750)。
【0051】
プロセスは、トリックプレイ再生が完了したかどうかを決定する(755)。トリックプレイ再生が完了した場合、プロセス700は、終了する。そうでなければ、プロセス700は、提示するための次のフレームを決定するために繰り返される。
【0052】
本発明のある実施形態による、可変速度トリックプレイ再生を提供するためのプロセスが、
図7に開示されるが、他のプロセスも、本発明の実施形態に従って可変速度トリックプレイ再生を提供するために再生デバイスによって実施されてもよい。
(マーカ情報を使用してコンテンツを事前にフェッチするためのプロセス)
【0053】
イベント内の着目瞬間の周囲のコンテンツが、再生の間のある時点で視聴されることが予期されると、着目瞬間の提示時間を示すマーカ情報が、コンテンツが再生の開始に先立ってすでにデコードされていることを確実にするために、再生に先立って本コンテンツを取得するために使用されることができる。本発明のいくつかの実施形態によると、マーカ情報が、受信され、次いで、使用され、着目瞬間の提示時間に近接するコンテンツのセグメントを事前にフェッチする。これらの実施形態のいくつかによると、マーカの提示時間のためのコンテンツを含むセグメントに先立った所定の数のセグメントが、事前にフェッチされる。いくつかの他の実施形態によると、マーカの提示時間のためのコンテンツを含むセグメントの後の所定の数のセグメントが、事前にフェッチされる。さらにいくつかの他の実施形態によると、マーカの提示時間のためのコンテンツを含むセグメントに先立った、およびその後の所定の数のセグメントが、事前にフェッチされる。本発明のある実施形態による、マーカ情報に基づいてコンテンツのセグメントを事前にフェッチするためのプロセスは、
図8に示される。
【0054】
プロセス800では、再生デバイスは、コンテンツに関するマーカ情報を取得する(805)。種々の実施形態に従って上記に説明されるように、マーカ情報は、マニフェスト内で、1つ以上のセグメントに関するメタデータとして受信されてもよい、またはマニフェスト内で参照されるインデックスファイルのポーションとして要求されてもよい。マーカに関するマーカ情報は、次いで、マーカ情報から読み取られる(810)。マーカ情報は、コンテンツ内の着目瞬間の提示を決定するために使用される(820)。提示時間を含むセグメントは、次いで、決定されてもよい(825)。
【0055】
提示時間と関連付けられたセグメントに隣接する所定の数のセグメントが、決定される(840)。これらの実施形態のいくつかによると、マーカの提示時間のコンテンツを含むセグメントに先立った所定の数のセグメントが、決定される。いくつかの他の実施形態によると、マーカの提示時間のコンテンツを含むセグメントの後の所定の数のセグメントが、決定される。さらにいくつかの他の実施形態によると、マーカの提示時間のコンテンツを含むセグメントに先立った、およびその後の所定の数のセグメントが、決定される。これらの実施形態の多くによると、マーカによって記載される瞬間のタイプは、提示時間と関連付けられたセグメントの前および/または後にあるセグメントの数、ならびに、セグメントが提示時間と関連付けられたセグメントの前および/または後にあるかどうかを決定する。決定されたセグメントは、適応ビットレートストリーミングを使用して取得される(850)。当業者は、適応ビットレートストリーミング以外の方法が、本発明から逸脱することなく、セグメントを取得するために使用されてもよいことに留意するであろう。プロセス800は、事前に定義されたイベントが生じるまで、マーカ情報内のマーカによって示される他の瞬間のために繰り返される(855)。これらの実施形態のいくつかによると、事前に定義されたイベントは、特定の数のマーカがハンドリングされる、および/またはマーカ情報内のマーカの終了に到達したことであってもよい。
【0056】
本発明のある実施形態による、マーカと関連付けられたセグメントを事前にフェッチするためのプロセスは、
図8に開示されるが、他のプロセスも、本発明の実施形態に従って、トリックプレイモードの間、パッキングするために再生デバイスによって実施されてもよい。
【0057】
本発明は、特定の具体的側面において説明されたが、多くの付加的修正および変形例が、当業者に明白となるであろう。具体的には、本発明は、トリックプレイトラックの特定のフレームのみが本発明のいくつかの実施形態に従って示される、トリックプレイトラックと関連付けて使用されてもよい。したがって、本発明は、本発明の範囲および精神から逸脱することなく、それらが準拠する特定の規格内に規定されるもの以外の特徴をサポートする、エンコーダおよびデコーダの利用等、実装の種々の変更を含め、具体的に説明される以外にも実践されてもよいことを理解されたい。したがって、本発明の実施形態は、あらゆる点において、制限的ではなく、例証的と見なされるべきである。
【国際調査報告】