ホーム > 特許ランキング > ＮＥＴＦＬＩＸ， ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
7233546メディアタイトルのバッファ制約バージョンを生成する際の符号化演算の最適化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-24
(45)【発行日】2023-03-06
(54)【発明の名称】メディアタイトルのバッファ制約バージョンを生成する際の符号化演算の最適化
(51)【国際特許分類】
H04N 21/2662 20110101AFI20230227BHJP
H04N 21/24 20110101ALI20230227BHJP
H04N 19/115 20140101ALI20230227BHJP
H04N 19/152 20140101ALI20230227BHJP
【ＦＩ】
H04N21/2662
H04N21/24
H04N19/115
H04N19/152
【請求項の数】
12
(21)【出願番号】P 2021538241
(86)(22)【出願日】2020-01-08
(65)【公表番号】
(43)【公表日】2022-02-28
(86)【国際出願番号】 US2020012810
(87)【国際公開番号】W WO2020146549
(87)【国際公開日】2020-07-16
【審査請求日】2021-09-08
(31)【優先権主張番号】16/244,033
(32)【優先日】2019-01-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】506267178
【氏名又は名称】ネットフリックス・インコーポレイテッド
【氏名又は名称原語表記】ＮＥＴＦＬＩＸ， ＩＮＣ．
【住所又は居所原語表記】１２１ Ａｌｂｒｉｇｈｔ Ｗａｙ Ｌｏｓ Ｇａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ ９５０３２ ＵＮＩＴＥＤ ＳＴＡＴＥＳ ＯＦ ＡＭＥＲＩＣＡ
(74)【代理人】
【識別番号】100073184
【弁理士】
【氏名又は名称】柳田 征史
(74)【代理人】
【識別番号】100123652
【弁理士】
【氏名又は名称】坂野 博行
(74)【代理人】
【識別番号】100175042
【弁理士】
【氏名又は名称】高橋 秀明
(72)【発明者】
【氏名】カサヴォニディス，イオアニス
【審査官】大西 宏
(56)【参考文献】
【文献】国際公開第２００７／００５７５０（ＷＯ，Ａ２）
【文献】国際公開第２０１８／１５６９９７（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／００６４３４２（ＵＳ，Ａ１）
【文献】大上 貴充、渡辺 真太郎、三部 靖夫，分散ビデオトランスコーディングにおけるＶＢＶバッファの整合性に関する検討，情報処理学会研究報告 IPSJ SIG Technical Reports，日本，社団法人情報処理学会，2004年03月05日，Ｖｏｌ．２００４ Ｎｏ．２５，pp. 31 - 36
【文献】Sanjeev Mehrotra; Weidong Zhao，Rate-distortion optimized client side rate control for adaptive media streaming，2009 IEEE International Workshop on Multimedia Signal Processing，米国，IEEE，2009年10月05日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5293246
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１０
Ｈ０４Ｎ ７／１４ － ７／１７３
Ｈ０４Ｎ ７／２０ － ７／５６
Ｈ０４Ｎ ２１／００ －２１／８５８
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ －１９／９８
(57)【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、前記方法が、第１のセットの符号化ポイントおよびメディアタイトルに関連付けられた第１のサブシーケンスに基づいて、サブシーケンスエンコードポイントの第１の凸包を生成するステップと、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、
メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップと
を含む、コンピュータ実装方法。
【請求項2】
前記送信バッファ制約が、一定のビットレートビデオバッファベリファイア（ＶＢＶ）制約または可変ビットレートＶＢＶ制約を含む、請求項１記載のコンピュータ実装方法。
【請求項3】
前記コンピュータ実装方法が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、請求項１記載のコンピュータ実装方法。
【請求項4】
前記第１のグローバル凸包を生成するステップが、前記第２のグローバル凸包に含まれるメディアエンコードポイントと前記第１の凸包に含まれるサブシーケンスエンコードポイントとの各組み合わせについて、メディアエンコードポイントのセットに含まれる異なるメディアエンコードポイントを生成するステップと、
前記送信バッファ制約に基づいて、前記メディアエンコードポイントのセットに対して１回以上のフィルタリング演算を実行して、適合するメディアエンコードポイントのセットを生成するステップと、
前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップと
を含む、請求項１記載のコンピュータ実装方法。
【請求項5】
前記メディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、請求項１記載のコンピュータ実装方法。
【請求項6】
前記第１のグローバル凸包を生成するステップが、前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、
前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、
前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、
前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップと
を含む、請求項１記載のコンピュータ実装方法。
【請求項7】
前記第１の凸包を生成するステップが、前記第１のセットの符号化ポイントおよび前記第１のサブシーケンスに基づいて、第１のセットのサブシーケンスエンコードポイントを生成するステップと、
前記第１のセットのサブシーケンスエンコードポイントを含む領域を決定するステップと、
前記第１のセットのサブシーケンスエンコードポイントに含まれるサブシーケンスエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、
前記境界に沿って位置しない前記第１のセットのサブシーケンスエンコードポイントに含まれる全てのサブシーケンスエンコードポイントを破棄するステップと
を含む、請求項１記載のコンピュータ実装方法。
【請求項8】
前記第１のセットの符号化ポイントに含まれる各符号化ポイントが、解像度とレート制御値との異なる組み合わせを指定する、請求項１記載のコンピュータ実装方法。
【請求項9】
前記コンピュータ実装方法が、前記メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割するステップをさらに含み、前記複数のサブシーケンスは第１のサブシーケンスを含む、請求項１記載のコンピュータ実装方法。
【請求項10】
前記メディアタイトルが、ビデオコンテンツおよびオーディオコンテンツのうちの少なくとも一方を含む、請求項１記載のコンピュータ実装方法。
【請求項11】
１つ以上の非一時的コンピュータ可読記録媒体であって、１つ以上のプロセッサにより実行される際に、前記１つ以上のプロセッサに、第１のセットの符号化ポイントにわたってメディアタイトルに関連付けられた第１のサブシーケンスを符号化して、それぞれが異なる符号化されたサブシーケンスに関連付けられる、第１のセットのサブシーケンスエンコードポイントを生成するステップと、
前記第１のセットのサブシーケンスエンコードポイントにわたって１つ以上の凸包演算を実行して、少なくとも２つのメディアメトリックに基づいて、サブシーケンスエンコードポイントの第１の凸包を計算するステップと、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルに関連付けられた１つ以上のサブシーケンスに関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、
第１のメディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップと
を実行させるための命令を含む、１つ以上の非一時的コンピュータ可読記録媒体。
【請求項12】
システムであって、命令を記憶する１つ以上のメモリと、
前記１つ以上のメモリに結合された１つ以上のプロセッサであって、前記命令を実行する際に、
メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割し、
第１のセットの符号化ポイントおよび前記複数のサブシーケンスに含まれる第１のサブシーケンスに基づいて、それぞれが異なる符号化されたサブシーケンスに関連付けられたサブシーケンスエンコードポイントの第１の凸包を生成し、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成し、
メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択し、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定する
ように構成された１つ以上のプロセッサと
を備える、システム。
【発明の詳細な説明】
【関連出願】
【0001】
本願は、２０１９年１月９日に出願された米国特許出願第１６／２４４０３３号明細書の利益を主張し、参照により本明細書に援用するものとする。
【技術分野】
【0002】
本発明の実施形態は、概して、符号化技術に関し、より詳細には、メディアタイトルのバッファ制約バージョンを生成する際の符号化演算の最適化に関する。
【背景技術】
【0003】
典型的なメディアストリーミングサービスは、一定範囲の種々のエンドポイントデバイスで視聴することができるメディアタイトルのライブラリへのアクセスを提供する。各エンドポイントデバイスは、帯域幅およびレイテンシに影響を及ぼす種々の接続条件下でメディアストリーミングサービスに接続する場合がある。加えて、各種のエンドポイントデバイスは、メディアタイトルをエンドユーザに出力するための異なるハードウェアを含む場合がある。例えば、所定のエンドポイントデバイスは、特定のスクリーンサイズおよび特定のスクリーン解像度を有するディスプレイスクリーンを含む場合がある。
【0004】
多くの実現形態では、メディアストリーミングサービスに接続するエンドポイントデバイスは、エンドポイントアプリケーションを実行し、このアプリケーションにより、エンドポイントデバイスの接続条件およびプロパティに基づいて、所定のメディアタイトルにつき、エンドポイントデバイスへのストリーミングに適したメディアタイトルの符号化されたバージョンが決定される。具体的には、エンドポイントアプリケーションは、バッファリングまたは再バッファリングにより再生の中断を回避しながら、エンドポイントデバイス上のメディアタイトルの再生中に可能な限り最高の視覚品質を提供するメディアタイトルの特定の符号化されたバージョンを選択することを試みる。
【0005】
幾つかの実現形態では、エンドポイントアプリケーションは、ビットレートラダーに基づいて、メディアタイトルの特定の符号化されたバージョンを選択する。ビットレートラダーは、利用可能な帯域幅に基づいて、メディアタイトルの再生中に目標視覚品質を達成するように設計される。ビットレートラダー内の各ラングは、メディアタイトルの種々の事前に生成された符号化されたバージョンに対応する種々のビットレート－解像度ペアを指定する。所定のビットレート－解像度ペアに対応するメディアタイトルの符号化されたバージョンを生成するために、メディアタイトルに関連付けられたメディアコンテンツが、サンプリングされたメディアコンテンツを生成するための解像度でサンプリングされる。レート制御値が、ビットレートに基づいて選択され、ついで、エンコーダが使用されて、サンプリングされたメディアコンテンツを符号化する。
【0006】
上記の「モノリシック」符号化技術の１つの欠点は、所定のメディアタイトルに関連付けられたメディアコンテンツの複雑さがメディアタイトルにわたって変化することが多く、一方、メディアコンテンツの符号化に使用される解像度およびレート制御値が変化しないことである。その結果、メディアタイトルの比較的単純な部分を符号化することは、目標視覚品質を満たすために必要であるよりも多くの計算リソースおよび記憶リソースを消費する場合がある。例えば、メディアタイトルの比較的単純な部分は、メディアコンテンツのその部分が５６０キロビット／秒（ｋｂｐｓ）のビットレートを使用して符号化されているかまたは３０００ｋｂｐｓのビットレートを使用して符号化されているかに関わらず、同じ視覚品質を有する場合がある。とりわけ、このような符号化の非効率性は、計算リソースおよび記憶リソースを浪費し、エンドポイントデバイスへのメディアタイトルの符号化されたバージョンのストリーミングに必要とされる帯域幅を増大させてしまう。
【0007】
他の実現形態では、これらのタイプの符号化の非効率性を低減するために、メディアストリーミングサービスプロバイダは、メディアタイトルにわたって解像度およびレート制御値を変更している。典型的には、サブシーケンスベースの符号化アプリケーションにより、メディアタイトルを、同様のプロパティにより特徴付けられる異なるサブシーケンスまたはフレームのセットに分割する。ついで、サブシーケンスベースの符号化アプリケーションにより、各種の異なる解像度およびレート制御値で、各サブシーケンスを何度も符号化して、符号化されたサブシーケンスを生成する。その後、サブシーケンスベースの符号化アプリケーションにより、最適化演算を実行して、メディアタイトルの種々の最適に符号化されたバージョンを生成する。メディアタイトルの各最適に符号化されたバージョンは、メディアタイトルの長さにわたる符号化されたサブシーケンスの異なる組み合わせを含み、解像度および／またはレート制御値は、構成要素の符号化されたサブシーケンス間で変化しうる。
【0008】
上記の「サブシーケンスベースの」符号化技術の１つの欠点は、メディアタイトルの最適に符号化されたバージョンがエンドポイントデバイスへの送信およびエンドポイントデバイスでのバッファリングに多くの場合に関連付けられる送信バッファ制約に必ずしも適合していないことである。一般的には、メディアタイトルの符号化されたバージョンが、関連する送信バッファ制約に適合する場合、エンドポイントデバイスは、特に、一定のビットレート送信チャネルにおいて、メディアタイトルを適切にバッファリングし、再生することができるようになる。しかしながら、メディアタイトルの符号化されたバージョンが関連する送信バッファ制約に適合していない場合、エンドポイントデバイスは、メディアタイトルを適切にバッファリングし、再生することができないであろう。後者の場合、視聴体験の全体的な品質を低下させる再生中断が、メディアタイトルをエンドポイントデバイスにストリーミングする際に発生するおそれがある。
【0009】
例として、ＴＶ放送で使用されるような、一定の帯域幅チャネルを介して送信されるメディアタイトルの符号化されたバージョンは、典型的には、一定ビットレート（ＣＢＲ）ビデオバッファベリファイア（ＶＢＶ）制約に適合することが要求される。一定の帯域幅チャネルでは、符号化されたビットが、固定レートでエンドポイントデバイスに関連付けられたデコーダに到着し、固定サイズを有する送信バッファに記憶される。メディアタイトルの特定のフレームを表示する一部として、デコーダは、関連付けられた符号化されたビットを、送信バッファから削除する。各フレームの符号化に使用されるビット数は、メディアタイトルにわたって変化する可能性があるため、送信バッファが記憶する符号化されたビット数も、メディアタイトルの再生中に変化する可能性がある。メディアタイトルの符号化されたバージョンがＣＢＲ ＶＢＶ制約に適合している場合には、各フレームの符号化に使用されるビット数は、メディアタイトルの再生中に、送信バッファがオーバーフローしないまたはアンダーフローしないことを保証するための努力において制限される。しかしながら、送信バッファがオーバーフローした場合、送信バッファは、入ってくる符号化されたビットを記憶するためのスペースを有さない場合がある。その結果、フレームドロップが発生するおそれがある。さらに、送信バッファがアンダーフローした場合には、符号化されたビットを送信バッファから取り出すことができず、フレームフリーズが発生するおそれがある。
【発明の概要】
【発明が解決しようとする課題】
【0010】
前述したように、当技術分野において、メディアタイトルを符号化するためのより効果的な技術が必要とされている。
【課題を解決するための手段】
【0011】
本発明の一実施形態は、メディアタイトルを符号化するためのコンピュータ実装方法を説明する。この方法は、第１のセットの符号化ポイントおよびメディアタイトルに関連付けられた第１のサブシーケンスに基づいて、サブシーケンスエンコードポイントの第１の凸包を生成するステップと、送信バッファ制約、第１の凸包、およびメディアタイトルについての再生順序における第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、メディアメトリックに基づいて、第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、第１のメディアエンコードポイントに基づいて、メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップとを含む。
【0012】
先行技術に対する開示された技術の少なくとも１つの技術的利点は、符号化されたメディアシーケンスが個別に符号化されたサブシーケンスのセットと送信バッファ制約とに基づいて生成されることである。特に、各符号化されたメディアシーケンスに含まれる個別に符号化されたサブシーケンスを、種々の符号化ポイントに関連付けることができる。その結果、先行技術のモノリシック符号化技術に典型的に関連付けられた符号化の非効率性が低減される。さらに、最適に符号化されたメディアシーケンスが送信バッファ制約に適合することを保証することにより、メディアタイトルをエンドポイントデバイスにストリーミングする際の送信制限およびバッファリング制限に起因する視聴体験の劣化が低減される。これらの技術的利点により、先行技術のアプローチを上回る１つ以上の技術的進歩が提供される。
【図面の簡単な説明】
【0013】
種々の実施形態の上記で列挙された特徴を詳細に理解することができるように、上記で簡潔にまとめられた本発明の概念のより特定の説明を、種々の実施形態を参照することにより行うことができ、その幾つかを添付の図面に示す。ただし、添付の図面は、本発明の概念の典型的な実施形態を示すのみであり、したがって、けっして範囲を限定するとみなされるべきではなく、他の等しく有効な実施形態が存在することに留意されたい。
【図1】本発明の１つ以上の態様を実装するように構成されたシステムの概念図である。
【図9A】本発明の種々の実施形態に係るソースメディアタイトルを符号化するための方法ステップのフロー図を示す。
【図9B】本発明の種々の実施形態に係るソースメディアタイトルを符号化するための方法ステップのフロー図を示す。
【発明を実施するための形態】
【0014】
下記の説明において、種々の実施形態のより完全な理解を提供するために、多数の特定の詳細が説明されている。ただし、本発明の概念は、これらの特定の詳細のうちの１つ以上がなくても実施することができることは、当業者には明らかであろう。
【0015】
メディアストリーミングサービスにより視聴者に提供される視覚体験全体を最適化するために、メディアストリーミングサービスプロバイダは、多くの場合に、メディアタイトルごとにビットレートラダーを生成する。所定のメディアタイトルについてのビットレートラダーにより、クライアント側エンドポイントデバイスが利用可能な帯域幅に基づいて、メディアタイトルの再生中に目標視覚品質を達成することが可能となる。ビットレートラダー内の各ラングは、メディアタイトルの種々の事前に生成された符号化されたバージョンに対応する種々のビットレート－解像度ペアを指定する。
【0016】
幾つかのメディアストリーミングサービスプロバイダは、モノリシック符号化技術を使用して、メディアタイトルの種々の符号化されたバージョンを生成する。この場合、メディアタイトルの各符号化されたバージョンは、異なるビットレートに関連付けられる。すなわち、所定のメディアタイトルに関連付けられたメディアコンテンツの符号化に使用される解像度およびレート制御値は、メディアタイトルにわたって変化しない。一方、所定のメディアタイトルに関連付けられたメディアコンテンツの複雑さは、典型的には、メディアタイトルにわたって変化するため、結果として生じるメディアタイトルの符号化されたバージョンは、多くの場合に、符号化の非効率性に関連付けられる。より具体的には、メディアタイトルの比較的単純な部分を符号化することは、目標視覚品質を満たすために必要とされるより多くの計算リソースおよび記憶リソースを消費する場合がある。さらに、メディアタイトルの符号化されたバージョンのストリーミングに必要な帯域幅が、不必要に大きくなる場合がある。
【0017】
例えば、映画は、比較的複雑なアクション部分および比較的単純なモノローグを含む場合がある。モノローグは、モノローグが３０００キロビット／秒（ｋｂｐｓ）のビットレートを使用して符号化されているかまたは５６０ｋｂｐｓのビットレートを使用して符号化されているかにかかわらず、同じ視覚品質を有することができる。対照的に、３０００ｋｂｐｓのビットレートを使用してモノローグを符号化することに関連付けられた必要なリソース（例えば、計算リソース、記憶リソース、帯域幅など）は、５６０ｋｂｐｓのビットレートを使用してモノローグを符号化することに関連付けられた必要なリソースを超えてしまう。したがって、３０００ｋｂｐｓのビットレートを使用して映画全体を符号化すると、計算リソースおよび記憶リソースを不必要に浪費し、エンドポイントデバイスへのムービーの符号化されたバージョンのストリーミングに必要な帯域幅が不必要に大きくなる。
【0018】
モノリシック符号化技術に典型的に関連付けられた符号化の非効率性を低減するために、幾つかのメディアストリーミングサービスプロバイダは、従来のサブシーケンスベースの符号化アプリケーションを使用して、所定のメディアタイトルの種々の符号化されたバージョンを生成する。従来のサブシーケンスベースのアプリケーションは、目標メトリック値、例えば、目標視覚品質または目標ビットレートに基づいて、メディアタイトルにわたる解像度およびレート制御値を変更する。この方法では、メディアタイトルの各符号化されたバージョンは、異なる目標メトリック値に関連付けられる。
【0019】
典型的には、従来のサブシーケンスベースの符号化アプリケーションは、メディアタイトルを種々のサブシーケンスに分割する。この場合、各サブシーケンスは、所定のカメラまたは他のキャプチャポイントから連続的にキャプチャされたメディアコンテンツを含むショットである。ついで、従来のサブシーケンスベースの符号化アプリケーションは、各種の異なる符号化ポイントにおいて、各サブシーケンスを何度も符号化して、符号化されたサブシーケンスを生成する。各符号化ポイントは、解像度とレート制御値との種々の組み合わせを指定する。その後、従来のサブシーケンスベースの符号化アプリケーションは、最適化演算を実行して、メディアタイトルの種々の符号化されたバージョンを生成する。
【0020】
最後に、従来のサブシーケンスベースの符号化アプリケーションは、メディアタイトルの符号化されたバージョンのうちの１つを、目標メトリック値に基づいて、メディアタイトルの最適に符号化されたバージョンとして選択する。メディアタイトルの最適に符号化されたバージョンは、メディアタイトルの長さにわたる符号化されたサブシーケンスの種々の組み合わせを含み、解像度およびレート制御値は、構成要素の符号化されたサブシーケンス間で変化する場合がある。その結果、従来のサブシーケンスベースの符号化アプリケーションにより、上記のモノリシック符号化技術に典型的に関連付けられた符号化の非効率性が低減される。
【0021】
このタイプのサブシーケンスベースの符号化技術の１つの欠点は、メディアシーケンスの最適に符号化されたバージョンがエンドポイントデバイスへの送信およびエンドポイントデバイスでのバッファリングに多くの場合に関連付けられる送信バッファ制約に必ずしも適合していないことである。メディアシーケンスの符号化されたバージョンが関連する送信バッファ制約に適合する場合には、関連付けられたエンドポイントデバイスは、メディアタイトルをより適切にバッファリングし、再生できるようになる。一方、メディアシーケンスの符号化されたバージョンが関連する送信バッファ制約に適合しない場合には、エンドポイントデバイスは、中断なしにメディアタイトルを適切にバッファリングし、再生することができなくなる。
【0022】
一般的な送信バッファ制約の一例は、一定のビットレート（ＣＢＲ）ビデオバッファベリファイア（ＶＢＶ）制約である。ＣＢＲ ＶＢＶ制約は、一定の帯域幅チャネルに関連付けられた送信レートおよびエンドポイントデバイスに関連付けられたバッファサイズを指定する。符号化されたビットは、その送信レートで一定の帯域幅チャネルを介してエンドポイントデバイスにストリーミングされる。符号化されたビットが、エンドポイントデバイスに関連付けられたデコーダに到着すると、符号化されたビットは、バッファサイズを有する送信バッファに記憶される。メディアタイトルの特定のフレームを表示する一部として、デコーダは、関連付けられた符号化されたビットを送信バッファから削除する。
【0023】
各フレームの符号化に使用されるビット数はメディアタイトルにわたって変化しうるため、送信バッファが記憶する符号化されたビット数も、メディアタイトルの再生中に変化しうる。最適に符号化されたメディアシーケンスがＣＢＲ ＶＢＶ制約に適合する場合には、各フレームの符号化に使用されるビット数の変動は限定され、エンドポイントデバイスは、メディアタイトルをより適切にバッファリングし、再生することができるようになる。
【0024】
一方、最適に符号化されたメディアシーケンスがＣＢＲ ＶＢＶ制約に適合しない場合には、各フレームの符号化に使用されるビット数の変動により、メディアタイトルの再生中に、送信バッファがアンダーフローしかつ／またはオーバーフローしてしまうおそれがある。その結果、関連付けられた視聴体験に悪影響を及ぼす再生の中断が発生するおそれがある。例えば、メディアタイトルの再生中の異なる時点で、送信バッファは、送信バッファが排出されたよりも速く再充填され、その結果、オーバーフローするおそれがある。送信バッファがオーバーフローした場合には、後続のフレームがドロップされ、メディアタイトルの再生が中断される場合がある。
【0025】
一方、開示された技術により、メディアストリーミングサービスプロバイダは、送信バッファ制約に従って、所定のメディアタイトルのサブシーケンスベースの符号化を実行することができる。最適に符号化されたメディアシーケンスに含まれる各符号化されたサブシーケンスは、送信バッファ制約に従って、潜在的に異なる最適化された符号化ポイントで個別に符号化される。その結果、開示された技術は、先行技術のサブシーケンスベースの符号化技術と比較して、再生中断の可能性を低減しながら、モノリシック符号化技術に関連付けられた符号化の非効率性を低減することができる。
【0026】
幾つかの実施形態では、バッファベースの符号化アプリケーションは、複数の符号化ポイントに基づいて、各サブシーケンスについての複数の符号化されたサブシーケンスを生成する。ついで、バッファベースの符号化アプリケーションは、符号化されたサブシーケンスおよび送信バッファ制約に基づいて、メディアタイトルについての再生順序で、符号化されたメディアシーケンスをインクリメントに生成する。より正確には、ｎ回目の反復の間、バッファベースの符号化アプリケーションは、０番目のサブシーケンスから（ｎ－１）番目のサブシーケンスまでにわたる、以前に生成された符号化されたメディアシーケンスを、ｎ番目のサブシーケンスに関連付けられた符号化されたサブシーケンスと結合する。結果として生じる符号化されたメディアシーケンスは、０番目のサブシーケンスからｎ番目のサブシーケンスにわたる。
【0027】
バッファベースの符号化アプリケーションが各符号化されたメディアシーケンスを生成する際に、バッファベースの符号化アプリケーションは、送信バッファのバッファ占有率を追跡する。バッファベースの符号化アプリケーションが、特定の符号化されたメディアシーケンスについてのバッファ占有率の変動が送信バッファのサイズを超えると判定された場合には、バッファベースの符号化アプリケーションは、符号化されたメディアシーケンスを破棄する。また、バッファベースの符号化アプリケーションは、平均ビットレートと全体的な視覚品質との間の最適に達しないトレードオフに関連付けられた任意の符号化されたメディアシーケンスも廃棄する。それぞれがメディアタイトルの長さにわたる符号化されたメディアシーケンスを生成した後、バッファベースの符号化アプリケーションは、最適に符号化されたメディアシーケンスとして、最高の全体的な視覚品質を有する符号化されたメディアシーケンスを選択する。
【0028】
先行技術に対する開示された技術の１つの利点および技術的進歩は、最適に符号化されたメディアシーケンスが個別に符号化されたサブシーケンスのセットおよび送信バッファ制約に基づいて、再生順序でインクリメントに生成されることである。各構成要素の符号化されたサブシーケンスは、異なる符号化ポイントに関連付けられうるため、メディアタイトルの最適に符号化されたバージョンの全体的な視覚品質レベルは、通常、同じ平均ビットレートに関連付けられたメディアタイトルのモノリシックに符号化されたバージョンと比較して向上する。さらに、送信バッファ制約に適合しない符号化されたメディアシーケンスを破棄することにより、最適に符号化されたメディアシーケンスが送信バッファ制約に適合することが効率的に保証される。その結果、メディアタイトルをエンドポイントデバイスにストリーミングする際の送信バッファ制限に起因する視聴経験の劣化の可能性は、先行技術のサブシーケンスベースの符号化技術と比較して低減される。
【0029】
システムの概要
図１は、本発明の１つ以上の態様を実装するように構成されたシステム１００の概念図である。示されているように、システム１００は、限定されないが、任意の数の計算インスタンス１１０およびクラウド１６０を含む。一般的には、クラウド１６０は、カプセル化された共有リソース、ソフトウェア、データなどを含む。説明の目的で、同様のオブジェクトの複数のインスタンスは、オブジェクトを識別する参照符号および必要な場合にはインスタンスを識別する括弧付きの符号により示される。
図１は、本発明の１つ以上の態様を実装するように構成されたシステム１００の概念図である。示されているように、システム１００は、限定されないが、任意の数の計算インスタンス１１０およびクラウド１６０を含む。一般的には、クラウド１６０は、カプセル化された共有リソース、ソフトウェア、データなどを含む。説明の目的で、同様のオブジェクトの複数のインスタンスは、オブジェクトを識別する参照符号および必要な場合にはインスタンスを識別する括弧付きの符号により示される。
【0030】
任意の数の計算インスタンス１１０は、クラウド１６０の外部に存在してもよく、一方、他の計算インスタンス１１０は、クラウド１６０の内部に存在してもよい。種々の実施形態では、システム１００の任意の数のコンポーネントを、複数の地理的位置にわたって分散させることができる。さらに、システム１００の任意の数のコンポーネントを、任意の組み合わせで、１つ以上のスタンドアロンデバイス、分散コンピューティング環境またはクラウド１６０に含ませるかまたはそれらにわたって分散させることができる。
【0031】
示されているように、各計算インスタンス１１０は、限定されないが、プロセッサ１１２およびメモリ１１６を含む。プロセッサ１１２は、命令を実行可能な任意の命令実行システム、装置またはデバイスであってよい。例えば、プロセッサ１１２は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、コントローラ、マイクロコントローラ、ステートマシンまたはそれらの任意の組み合わせを備えることができる。代替的な実施形態では、各計算インスタンス１１０は、任意の数のプロセッサ１１２を含むことができる。
【0032】
メモリ１１６は、計算インスタンス１１０のプロセッサ１１２により使用されるためのコンテンツ、例えばソフトウェアアプリケーションおよびデータを記憶する。メモリ１１６は、１つ以上のローカルもしくはリモートで容易に利用可能なメモリ、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フロッピーディスク、ハードディスクまたは任意の他の形態のデジタル記憶装置であってよい。幾つかの実施形態では、記憶装置（図示せず）は、メモリ１１６を補足しまたは置き換えることができる。記憶装置は、プロセッサ１１２にアクセス可能な任意の数およびタイプの外部メモリを含むことができる。例えば、限定されないが、記憶装置は、セキュアデジタルカード、外部フラッシュメモリ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイスまたは前述のものの任意の適切な組み合わせを含むことができる。
【0033】
一般的には、計算インスタンス１１０は、１つ以上のアプリケーションを実装するように構成される。説明の目的のためのみであるが、各アプリケーションは、単一の計算インスタンス１１０のメモリ１１６に存在し、単一の計算インスタンス１１０のプロセッサ１１２上で実行されるように示されている。ただし、当業者に理解されるであろうように、各アプリケーションの機能は、任意の数の計算インスタンス１１０のメモリ１１６に存在し、任意の数の計算インスタンス１１０のプロセッサ１１２上で任意の組み合わせで実行される任意の数の他のアプリケーションにわたって分散させることができる。さらに、任意の数のアプリケーションの機能を、単一のアプリケーションまたはサブシステムに統合することができる。
【0034】
示されていないが、メディアストリーミングサービスは、一定範囲の種々のエンドポイントデバイスで視聴することができるメディアタイトルのライブラリへのアクセスを提供する。メディアタイトルのライブラリは、ソースメディアシーケンス１２２に関連付けられたメディアタイトルを含むが、これに限定されない。各エンドポイントデバイスは、限定されないが、帯域幅およびレイテンシに影響を及ぼす種々の接続条件下で、メディアストリーミングサービスに接続する場合がある。加えて、各種のエンドポイントデバイスは、メディアタイトルをエンドユーザに出力するための異なるハードウェアを含む場合がある。例えば、所定のエンドポイントデバイスは、特定のスクリーンサイズおよび特定のスクリーン解像度を有するディスプレイスクリーンを含む場合がある。
【0035】
本明細書において先に説明したように、多くの実施形態では、メディアストリーミングサービスに接続するエンドポイントデバイスは、エンドポイントアプリケーションを実行し、このアプリケーションにより、エンドポイントデバイスの接続条件およびプロパティに基づいて、所定のメディアタイトルについて、エンドポイントデバイスへのストリーミングに適したメディアタイトルの符号化されたバージョンが決定される。より具体的には、エンドポイントアプリケーションは、バッファリングまたは再バッファリングにより再生の中断を回避しながら、エンドポイントデバイス上のメディアタイトルの再生中に最良の視覚品質に関連付けられたメディアタイトルの特定の符号化されたバージョンを選択することを試みる。
【0036】
計算インスタンス１１０は、ストリーミング用のメディアタイトルの符号化されたバージョンを生成するように構成されている。より正確には、計算インスタンス１１０は、ソースメディアシーケンス１２２に基づいて、最適に符号化されたメディアシーケンス１８０を生成するように構成されている。ソースメディアシーケンス１２２は、限定されないが、メディアタイトルに関連付けられた任意の量およびタイプのメディアコンテンツを含む。メディアコンテンツの例は、幾つか例を挙げると、長編映画、ＴＶ番組のエピソードおよび音楽ビデオの任意の部分（全部を含む）を含むが、これらに限定されない。最適に符号化されたメディアシーケンス１８０は、メディアタイトルの事前に生成された符号化されたバージョンであり、ソースメディアシーケンス１２２に含まれるメディアコンテンツから導出された符号化されたメディアコンテンツを含むが、これに限定されない。
【0037】
本明細書において先に詳細に説明したように、所定のメディアタイトルに関連付けられたメディアコンテンツの複雑さおよびタイプは、多くの場合に、メディアタイトルにわたって変化する。従来のモノリシック符号化技術を使用すると、メディアコンテンツの符号化に使用される解像度およびレート制御値は、メディアタイトルにわたって変化しない。本明細書において言及するように、「レート制御値」は、関連付けられたレート制御モードでメディアコンテンツに対して符号化演算を実行する際に、エンコーダがどのようにビットを割り当てるかの指定に使用されるレート制御パラメータのための値である。レート制御パラメータの一例は、量子化パラメータ（ＱＰ）である。その結果、メディアタイトルの比較的単純な部分を符号化することは、目標視覚品質を満たすために必要であるよりも多くの計算リソースおよび記憶リソースを消費する場合がある。とりわけ、このような符号化の非効率性は、計算リソースおよび記憶リソースを浪費し、エンドポイントデバイスへのメディアタイトルの符号化されたバージョンのストリーミングに必要とされる帯域幅を増大させる。
【0038】
これらのタイプの符号化の非効率性を低減するために、従来のサブシーケンスベースの符号化技術は、解像度およびレート制御値がメディアタイトルにわたって変化するメディアタイトルの符号化されたバージョンを生成する。しかしながら、従来のサブシーケンスベースの符号化技術の１つの制限は、メディアタイトルの符号化されたバージョンがエンドポイントデバイスへの送信およびエンドポイントデバイスでのバッファリングに多くの場合に関連付けられる送信バッファ制約に必ずしも適合しないことである。その結果、これらの符号化されたメディアタイトルが再生のためにエンドポイントデバイスにストリーミングされた場合に、視聴体験を中断する再生の中断、例えばフリーズフレームおよびフリーズドロップが発生するおそれがある。
【0039】
より正確には、メディアタイトルの符号化されたバージョンのストリーミング中に、符号化されたビットがエンドポイントデバイスに関連付けられたデコーダに到着すると、符号化されたビットは送信バッファに記憶される。メディアタイトルの特定のフレームを表示する一部として、デコーダは、関連付けられた符号化されたビットを送信バッファから削除する。各フレームの符号化に使用されるビット数はメディアタイトルにわたって変化しうるため、送信バッファが記憶する符号化されたビット数も、メディアタイトルの再生中に変化しうる。メディアタイトルの符号化されたバージョンが関連する関連付けられた送信バッファ制約に適合する場合には、各フレームの符号化に使用されるビット数の変動は制限され、エンドポイントデバイスは、メディアタイトルをより適切にバッファリングし、再生することができるようになる。
【0040】
一方、メディアタイトルの符号化されたバージョンが関連する送信バッファ制約に適合していない場合には、各フレームの符号化に使用される符号化されたビット数の変動により、送信バッファがオーバーフローしまたはアンダーフローするおそれがある。送信バッファのオーバーフローおよびアンダーフローは、再生の中断、例えばフリーズフレームおよびフリーズドロップを引き起こすおそれがあり、これらは、これらの符号化されたメディアタイトルが再生のためにエンドポイントデバイスにストリーミングされた際に、視聴体験を中断してしまう。
【0041】
個別のサブシーケンスの符号化
先行技術と比較して、エンドポイントデバイスへのメディアタイトルのストリーミング中の視聴体験の品質を包括的に向上させるために、システム１００は、限定されないが、サブシーケンスベースの符号化サブシステム１２０を含む。サブシーケンスベースの符号化サブシステム１２０は、計算インスタンス１１０（０）のメモリ１１６に存在し、計算インスタンス１１０（０）のプロセッサ１１２上で実行される。
先行技術と比較して、エンドポイントデバイスへのメディアタイトルのストリーミング中の視聴体験の品質を包括的に向上させるために、システム１００は、限定されないが、サブシーケンスベースの符号化サブシステム１２０を含む。サブシーケンスベースの符号化サブシステム１２０は、計算インスタンス１１０（０）のメモリ１１６に存在し、計算インスタンス１１０（０）のプロセッサ１１２上で実行される。
【0042】
サブシーケンスベースの符号化サブシステム１２０は、送信バッファ制約１７０に基づいて、最適に符号化されたメディアシーケンス１８０を生成する。送信バッファ制約１７０は、限定されないが、送信レート１７２、バッファサイズ１７４および制約タイプ１７６を含む。送信レート１７２は、符号化されたビットがエンドポイントデバイスに送信されるレートを指定する。バッファサイズ１７４は、エンドポイントデバイスに関連付けられた送信バッファの最小サイズを指定する。制約タイプ１７６は、符号化されたビットがストリーミング中にどのように送信されかつ／または記憶されるかを指定する。代替的な実施形態では、システム１００は、任意の技術的に実現可能な方式で指定された任意の数およびタイプの送信バッファ制約１７０を含むことができる。このような幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、全ての送信バッファ制約１７０に基づいて、符号化されたメディアシーケンス１８０を生成する。
【0043】
１つの一般的な制約タイプ１７６は、一定のビットレート（ＣＢＲ）ビデオバッファベリファイア（ＶＢＶ）制約である。ＣＢＲ ＶＢＶ制約は、送信レート１７２で、最小バッファサイズ１７４の送信バッファへの符号化されたビットの連続送信を指定する。その結果、送信バッファがフルになった場合には、エンドポイントデバイスは、送信された符号化されたビットの一部を記憶できなくなる。当業者には理解されるであろうように、ＣＢＲ ＶＢＶ制約は、通常、ＴＶ放送で使用されるような一定の帯域幅チャネルを介してストリーミングされるメディアタイトルの符号化されたバージョンの要件である。
【0044】
別の一般的な制約タイプ１７６は、可変ビットレート（ＶＢＲ）ＶＢＶ制約である。ＶＢＲ ＶＢＶ制約は、送信レート１７２で最小バッファサイズ１７４の送信バッファへの符号化されたビットの条件付き送信を指定する。送信バッファがフルでない場合には、符号化されたビットの送信が進行する。一方、送信バッファがフルである場合には、符号化されたビットの送信は、送信バッファがフルでなくなるまで一時停止する。光学ディスク記憶装置（例えば、Ｂｌｕ－Ｒａｙプレーヤ）を含む幾つかのエンドポイントデバイスは、メディアタイトルのシームレスな再生を保証するために、メディアタイトルの符号化されたバージョンがＶＢＲ ＶＢＶ制約に適合することを必要とする。
【0045】
特に、アダプティブストリーミングで使用される幾つかのハードウェアベースのエンドポイントデバイスでは、送信バッファのプリバッファリング能力のレベルにおける制限のために、メディアタイトルの符号化されたバージョンがＶＢＶ制約に適合することが求められる。アダプティブストリーミングでは、エンドポイントデバイスは、メディアタイトルの再生中に、メディアタイトルの異なる符号化されたバージョン間で切り替えることができる。アダプティブストリーミングを容易にするために、本明細書に記載された任意の数の技術を、異なる送信バッファ制約１７０に基づいて複数回実行して、複数の最適に符号化されたメディアシーケンス１６０を生成することができる。代替的な実施形態では、サブシーケンスベースの符号化サブシステム１２０を、送信バッファ制約１７０のセットに基づいて、最適に符号化されたメディアシーケンス１８０のセットを生成するように修正することができる。このような実施形態では、各最適に符号化されたメディアシーケンス１８０（ｘ）が、異なる送信バッファ制約１７０（ｘ）に適合する。
【0046】
示されているように、サブシーケンスベースの符号化サブシステム１２０は、限定されないが、サブシーケンス分析器１３０およびバッファベースの符号化アプリケーション１４０を含む。サブシーケンス分析器１３０は、ソースメディアシーケンス１２２を任意の数のサブシーケンス１３２（０）～１３２（Ｓ）に分割する。サブシーケンス１３２は共に、ソースメディアシーケンス１２２にわたる重複しない連続したフレームのセットである。フレームの各セットは、ピクチャのグループ（ＧＯＰ）、フレームのシーケンス、フレームの複数のシーケンスなどを含む、各種の異なる構成を表すことができる。例えば、幾つかの実施形態では、各サブシーケンス１３２は、ソースメディアシーケンス１２２に含まれる異なるショットである。本明細書で言及するように、「ショット」は、通常、同様の空間－時間特性を有し、中断されない期間にわたって実行されるフレームのシーケンスである。
【0047】
ソースメディアシーケンス１２２を受信すると、サブシーケンス分析器１３０は、任意の数およびタイプの基準に基づいて、ソースメディアシーケンス１２２に対して任意の数の分析演算を実行して、サブシーケンス１３２を決定する。例えば、種々の実施形態では、サブシーケンス分析器１３０は、一貫性メトリックが指定された範囲内にあるフレームのセットを識別するように構成されていてよい。他の実施形態では、図１に示されているように、サブシーケンス分析器１３０は、任意の数のショットチェンジ１３４に基づいて、サブシーケンス１３２を決定する。
【0048】
より具体的には、サブシーケンス分析器１３０は、ソースメディアシーケンス１２２を、クラウド１６０に存在するショット検出器１２４に送信する。ショット検出器１２４は、ソースメディアシーケンス１２２に基づいて、任意の数のショット検出アルゴリズムを実行して、ショットチェンジ１３４を識別する。ショット検出アルゴリズムの幾つかの例は、マルチスケール絶対差分和アルゴリズム、動き補償残留エネルギアルゴリズム、差分アルゴリズムのヒストグラム、ヒストグラムアルゴリズムの差分などを含むが、これらに限定されない。ショットチェンジ１３４はそれぞれ、異なるショットペア間の境界を指定する。ついで、ショット検出器１２４は、ショットチェンジ１３４をサブシーケンス分析器１３０に送信する。その後、サブシーケンス分析器１３０は、ショットチェンジ１３４に基づいて、ソースメディアシーケンス１２２に対して分割演算を実行して、サブシーケンス１３２を決定する。
【0049】
幾つかの実施形態では、サブシーケンス分析器１３０および／またはサブシーケンスベースの符号化サブシステム１２０は、サブシーケンス１３２を生成することの一部として、任意の数およびタイプの追加の演算を実行することができる。例えば、種々の実施形態では、サブシーケンス分析器１３０は、ソースメディアシーケンス１２２から無関係なピクセルを除去する。例えば、サブシーケンス分析器１３０は、ソースメディアシーケンス１２２の境界セクションに沿って黒いバーに含まれるピクセルを除去することができる。
【0050】
種々の実施形態では、サブシーケンスベースの符号化サブシステム１２０により、各サブシーケンス１３２の最初のフレームが符号化演算中にキーフレームとして符号化されることが保証される。一般的な問題として、符号化されたメディアシーケンスに含まれる同じサブシーケンス１３２からの「キーフレーム」および後続の全てのフレームが、符号化されたメディアシーケンスに含まれる任意の進行中のフレームとは無関係に復号化される。
【0051】
サブシーケンスベースの符号化サブシステム１２０により、異なるサブシーケンス１３２の異なる初期フレームが、任意の技術的に実現可能な方式で、キーフレームとして符号化されることを保証できる。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、メディアコンテンツを符号化する際に、キーフレーム位置リスト（図示せず）に基づいて、キーフレームとしてフレームを符号化するように、符号化アプリケーション１６２を構成する。他の実施形態では、バッファベースの符号化アプリケーション１４０および／または符号化アプリケーション１６２は、メディアコンテンツを符号化する際に、任意の数の符号化演算を実行して、異なるサブシーケンス１３２の異なる初期フレームをキーフレームとして符号化することができる。
【0052】
当業者には理解されるであろうように、再生中に、ソースメディアシーケンス１２２に関連付けられたメディアタイトルは、任意の数の関連する基準に基づいて、視聴体験を最適化するために、位置合わせされたキーフレームにおいて、異なる最適に符号化されたメディアシーケンス１８０の復号化されたバージョン間で切り替え可能である。関連する基準の例は、現在の接続帯域幅、現在の接続レイテンシ、次のサブシーケンス１３２のコンテンツなどを含む。
【0053】
示されているように、バッファベースの符号化アプリケーション１４０は、サブシーケンス１３２および送信バッファ制約１７０に基づいて、最適に符号化されたメディアシーケンス１８０を生成する。最適に符号化されたメディアシーケンス１８０は、サブシーケンス１３２（０）～１３２（Ｓ）のそれぞれに関連付けられたＳ＋１個の符号化されたサブシーケンス（図１には図示せず）を含むが、これに限定されない。各符号化されたサブシーケンスは、関連付けられたサブシーケンス１３２に含まれるメディアコンテンツから導出された符号化されたメディアコンテンツを含む。
【0054】
図２に関連してより詳細に説明するように、各サブシーケンス１３２につき、バッファベースの符号化アプリケーション１４０は、符号化ポイントリストに基づいて、複数の符号化されたサブシーケンスを生成する。符号化ポイントリストは、任意の数の符号化ポイントを含むことができる。各符号化ポイントは、限定されないが、解像度およびレート制御値を含む。バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で符号化されたサブシーケンスを生成することができる。さらに、一般的な問題として、バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、所定の解像度および所定のレート制御値に基づいて、ビデオコンテンツから導出された符号化されたビデオコンテンツを生成することができる。
【0055】
例えば、幾つかの実施形態では、所定のサブシーケンス１３２および所定の符号化ポイントに対応する符号化されたサブシーケンスを生成するために、バッファベースの符号化アプリケーション１４０は、解像度に基づいて、サブシーケンスに対してサンプリング演算を実行して、サンプリングされたサブシーケンスを生成する。ついで、バッファベースの符号化アプリケーション１４０は、サンプリングされたサブシーケンスをレート制御値で符号化して、符号化されたサブシーケンスを生成するように、符号化アプリケーション１６２を構成する。
【0056】
示されているように、符号化アプリケーション１６２はクラウド１６０に存在し、１つ以上の並列エンコーダ１６４を介して符号化演算を効率的に実行するように構成されている。各並列エンコーダ１６４は、任意の数の計算インスタンス１１０を含むことができる。代替的な実施形態では、バッファベースの符号化アプリケーション１４０が符号化演算を実行することができ、システム１００は、符号化アプリケーション１６２を省略することができる。同じまたは他の実施形態では、システム１００は、サンプリングアプリケーションを含むことができ、バッファベースの符号化アプリケーション１４０は、サンプリング演算を実行するように、サンプリングアプリケーションを構成することができる。
【0057】
種々の実施形態では、バッファベースの符号化アプリケーション１４０は、任意の組み合わせかつ任意の技術的に実現可能な方式で、任意のレベルの粒度（例えば、フレームごと、サブシーケンス１３２ごと、ソースメディアシーケンス１２２ごとなど）でサンプリング演算および符号化演算を実行することができる。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、所定の解像度に基づいて、ソースメディアシーケンス１２２に対してサンプリング演算を実行して、サンプリングされたメディアシーケンスを生成することができる。その後、解像度に関連付けられた各符号化ポイントについて、バッファベースの符号化アプリケーション１４０は、関連付けられたレート制御値で、関連付けられたサブシーケンス１３２に対応するサンプリングされたメディアコンテンツを符号化するように、符号化アプリケーション１６２を構成することができる。
【0058】
各符号化されたサブシーケンスについて、バッファベースの符号化アプリケーション１４０は、ビットレート、クオリティスコアおよび歪みレベルを計算する。バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、所定の符号化されたサブシーケンスについてのビットレート、クオリティスコアおよび歪みレベルを計算することができる。ついで、各符号化されたサブシーケンスについて、バッファベースの符号化アプリケーション１４０は、サブシーケンスエンコードポイント（図１には図示せず）を生成する。図４に関連してより詳細に説明するように、各サブシーケンスエンコードポイントは、限定されないが、符号化されたサブシーケンス、関連付けられた符号化ポイント、符号化されたサブシーケンスのビットレート、符号化されたサブシーケンスのクオリティスコアおよび符号化されたサブシーケンスの歪みレベルを含む。
【0059】
各サブシーケンス１３２（ｘ）につき、バッファベースの符号化アプリケーション１４０は、サブシーケンス１３２（ｘ）に関連付けられたサブシーケンスエンコードポイントに基づいて、異なる凸包を生成する。このようにして、所定のサブシーケンス１３２（ｘ）に関連付けられた凸包は、サブシーケンス１３２（ｘ）に関連付けられた任意の数のサブシーケンスエンコードポイントを含む。一般的には、所定のサブシーケンス１３２について、関連付けられた凸包に含まれるサブシーケンスエンコードポイントは、異なる歪みレベルについてのビットレートを最小化する。
【0060】
図２および図７に関連してより詳細に説明するように、バッファベースの符号化アプリケーション１４０は、時間的再生順序で各凸包を反復的に処理して、メディアエンコードポイントの異なる関連付けられたグローバル凸包を生成する。説明の目的のためのみであるが、「再生順序」は、エンドポイントデバイスがサブシーケンス１３２（０）からサブシーケンス１３２（Ｓ）までのサブシーケンス１３２を再生する順序に対応する。
【0061】
ｉ番目のグローバル凸包内の各メディアエンコードポイントは、０番目のサブシーケンスからｉ番目のサブシーケンスにわたるメディアタイトルの一部に関連付けられる。特に、各メディアエンコードポイントは、異なる符号化されたメディアシーケンスに関連付けられる。各符号化されたメディアシーケンスは、（ｉ＋１）個の符号化されたサブシーケンスを含むが、これに限定されない。この場合、各符号化されたサブシーケンスは、サブシーケンス１３２（０）～１３２（ｉ）に関連付けられた凸包の異なる１つに含まれる。重要なことに、ｉ番目のグローバル凸包に含まれる各メディアエンコードポイントは、送信バッファ制約１７０に従って、異なる全体的歪みレベルについての平均ビットレートを最小化する。
【0062】
バッファベースの符号化アプリケーション１４０は、再生順序において最後に発生するサブシーケンス１３２（Ｓ）に関連付けられたグローバル凸包に基づいて、最適に符号化されたメディアシーケンス１８０を決定する。サブシーケンス１３２（Ｓ）に関連付けられたグローバル凸包は、本明細書では「最終的な」凸包とも称される。バッファベースの符号化アプリケーション１４０は、最終的なグローバル凸包に関連付けられた符号化されたメディアシーケンスの平均ビットレートを比較し、最適に符号化されたメディアシーケンス１８０を、最高平均ビットレートを有する符号化されたメディアシーケンスに等しくセットする。
【0063】
当業者には理解されるであろうように、最適に符号化されたメディアシーケンス１８０は、最終的なグローバル凸包に関連付けられた任意の他の符号化されたメディアシーケンスより高い全体的な品質レベルを有する。その結果、最適化されたメディアシーケンス１８０は、送信バッファ制約１７０への適合およびエンドポイントデバイス上でのメディアタイトルの再生中での全体的な視覚品質の最適化の両方を行うメディアタイトルの符号化されたバージョンである。代替的な実施形態では、バッファベースの符号化アプリケーション１４０は、最終的なグローバル凸包と任意の数およびタイプのメディアメトリックに関連付けられた任意の数およびタイプの基準とに基づいて、任意の技術的に実現可能な方式で、最適に符号化されたメディアシーケンス１８０を選択することができる。
【0064】
本明細書で言及するように、メディアメトリックは、符号化されたビデオコンテンツ、ビデオコンテンツ、オーディオコンテンツおよび／または符号化されたオーディオコンテンツのうちの１つ以上のプロパティに対応する任意の測定値であってよい。メディアメトリックの幾つかの例は、ビットレート、歪みメトリック、オーディオ品質メトリック、視覚品質メトリックなどを含むが、これらに限定されない。視覚品質メトリックの例は、幾つか例を挙げると、ピーク信号対雑音比（ＰＳＮＲ）、線形ビデオマルチメソッド評価融合（（ＶＭＡＦ）メトリック）および調和ＶＭＡＦ（ＶＭＡＦｈ）を含むが、これらに限定されない。
【0065】
図２に関連してより詳細に説明するように、バッファベースの符号化アプリケーション１４０は、場合により、最適に符号化されたメディアシーケンス１８０および送信バッファ制約１７０に基づいて、最適化されたプリバッファリング時間１８２を計算する。一般的には、ストリーミング中、プリバッファリング時間は、メディアタイトルの再生を開始する前にメディアタイトルのストリーミングが開始した後、エンドポイントデバイスが待機する合計時間を指定する。プリバッファリング時間中、送信バッファは、符号化されたビットを記憶し、その結果、エンドポイントデバイスが、メディアタイトルの再生を開始すると、送信バッファは、プリバッファリング時間により決定される初期占有率を有する。
【0066】
最後に、バッファベースの符号化アプリケーション１４０は、最適に符号化されたメディアシーケンス１８０および場合により最適化されたプリバッファリング時間１８２を、エンドポイントデバイスへの配信のためにＣＤＮ１９０に送信する。代替的な実施形態では、バッファベースの符号化アプリケーション１４０は、最適化されたプリバッファリング時間１８２、最適に符号化されたメディアシーケンス１８０および／または任意の数の符号化されたサブシーケンスが任意の技術的に実現可能な方式でエンドポイントデバイスに配信されるようにすることができる。同じまたは他の実施形態では、サブシーケンスベースの符号化アプリケーションに関連付けられた任意の量およびタイプの機能を、任意の数の計算インスタンス１１０および／または任意の数のエンドポイントデバイスにおいて、任意の技術的に実現可能な方式で実装することができまたはこれらにわたって分散させることができる。
【0067】
説明の目的のためのみであるが、本明細書に記載された技術は、ビデオ符号化の文脈で説明されている。ただし、当業者には理解されるであろうように、本明細書に記載された技術を、ビデオ符号化の代わりにまたはビデオ符号化に加えて、オーディオ符号化を最適化するように修正することができる。例えば、幾つかの実施形態では、オーディオトラックを、「オーディオシーン」に分割することができる。オーディオシーンを、オーディオレンダリングハードウェアを介してサンプリングすることができる。サンプリングされたオーディオシーンを、量子化パラメータおよび／またはビットレート設定により構成されるオーディオエンコーダを介して符号化することができる。符号化されたオーディオシーンのクオリティスコアを、知覚オーディオ品質メトリック、例えば、オーディオ品質の知覚評価（ＰＥＡＱ）アルゴリズムを介して計算することができる。特に、オーディオエンコーダ、任意の数の関連付けられた構成パラメータ、解像度および／またはレート制御値を、任意の組み合わせで本明細書に記載された技術のいずれかに基づいて、各オーディオシーンについて最適化することができる。
【0068】
さらに、本明細書に記載された技術は、メディアストリーミングの文脈において記載されるが、本明細書に記載された技術を、任意のタイプのメディア消費のための符号化を最適化するように修正することができる。例えば、これらの技術を、オンラインビデオゲーム、スクリーンコンテンツ共有、双方向ビデオ会議、電子通信などのための符号化を最適化するように変更することができる。
【0069】
本明細書に記載された技術は、限定的ではなく例示的であり、本発明のより広い精神および範囲から逸脱することなく変更可能であることに留意されたい。記載された実施形態の範囲および精神から逸脱しない、サブシーケンスベースの符号化サブシステム１２０、サブシーケンス分析器１３０、バッファベースの符号化アプリケーション１４０、ショット検出器１２４、符号化アプリケーション１６２およびコンテンツ配信ネットワーク１９０により提供される機能に対する多くの修正および変更が当業者に明らかであろう。全体として、本明細書で概説された技術は、個別に符号化されたサブシーケンスと任意の数およびタイプの送信バッファ制約とに基づいて、任意の技術的に実現可能な方式で、符号化されたメディアシーケンスを生成することに適用可能である。
【0070】
本明細書に示しているシステム１００は例示的なものであり、変形および修正が可能であることが理解されるであろう。例えば、本明細書に記載されたサブシーケンスベースの符号化サブシステム１２０、サブシーケンス分析器１３０、バッファベースの符号化アプリケーション１４０、ショット検出器１２４、符号化アプリケーション１６２およびコンテンツ配信ネットワーク１９０により提供される機能を、任意の数のソフトウェアアプリケーション（１つを含む）、ハードウェアデバイス（例えば、ハードウェアベースのエンコーダ）およびシステム１００の任意の数のコンポーネントに統合することができまたはそれらにわたって分散させることができる。さらに、図１における種々のユニット間の接続トポロジーを、所望に応じて修正することができる。
【0071】
図２は、本発明の種々の実施形態に係る図１のバッファベースの符号化アプリケーション１４０のより詳細な図である。示されているように、バッファベースの符号化アプリケーション１４０は、限定されないが、符号化ポイントリスト２１０、サブシーケンスエンコードセット２２０、凸包生成器２３０、凸包２４０、サブシーケンスイテレータ２５０、グローバル凸包２６０、および選択エンジン２９０を含む。サブシーケンスエンコードセット２２０の数は、サブシーケンス１３２の数に等しい。同様に、凸包２４０の数は、サブシーケンス１３２の数に等しい。一般的には、サブシーケンス１３２（ｘ）は、サブシーケンスエンコードセット２２０（ｘ）および凸包２４０（ｘ）に関連付けられる。
【0072】
示されているように、符号化ポイントリスト２１０は、任意の数の符号化ポイント２１２（０）～２１２（Ｐ）を含む。図３に関連してより詳細に説明するように、各符号化ポイント２１２は、限定されないが、解像度およびレート制御値を含む。代替的な実施形態では、各符号化ポイント２１２は、任意の技術的に実現可能な方式で、符号化演算に影響を及ぼす任意の数およびタイプのパラメータを指定することができる。例えば、幾つかの実施形態では、各符号化ポイント２１２は、符号化アプリケーション１６２に関連付けられた「速度」構成パラメータについての値を指定することができる。
【0073】
演算中、バッファベースの符号化アプリケーション１４０は、サブシーケンス１３２（０）～１３２（Ｓ）および符号化ポイントリスト２１０に基づいて、サブシーケンスエンコードセット２２０（０）～２２０（Ｓ）を生成する。各サブシーケンスエンコードセット２２０（０）～２２０（Ｓ）は、限定されないが、サブシーケンスエンコードポイント２２２（０）～２２２（Ｐ）を含む。各サブシーケンスエンコードセット２２０に含まれるサブシーケンスエンコードポイント２２２の数は、符号化ポイントリスト２１０に含まれる符号化ポイント２１２の数に等しい。図４に関連してより詳細に説明するように、各サブシーケンスエンコードポイント２２２（ｘ）は、限定されないが、関連付けられた符号化ポイント２１２（ｘ）、符号化されたサブシーケンス、ビットレート、クオリティスコアおよび歪みレベルを含む。
【0074】
サブシーケンス１３２（ｘ）と符号化ポイント２１２（ｙ）との各組み合わせについて、バッファベースの符号化アプリケーション１４０は、対応するサブシーケンスエンコードポイント２２２（ｙ）を生成し、サブシーケンスエンコードポイント２２２（ｙ）をサブシーケンスエンコードセット２２０（ｘ）に追加する。より具体的には、バッファベースの符号化アプリケーション１４０は、符号化ポイント２１２（ｙ）に含まれる解像度およびレート制御値でサブシーケンス１３２（ｘ）を符号化するように、符号化アプリケーション１６２を構成する。ついで、バッファベースの符号化アプリケーション１４０は、符号化されたサブシーケンスのビットレート、符号化されたサブシーケンスのクオリティスコアおよび符号化されたサブシーケンスの歪みレベルを計算する。その結果、バッファベースの符号化アプリケーション１４０は、（Ｓ＋１）ｘ（Ｐ＋１）の種々のサブシーケンスエンコードポイント２２２を生成する。
【0075】
代替的な実施形態では、各サブシーケンス１３２（ｘ）を、異なる符号化ポイントリスト２１０（ｘ）に関連付けることができ、符号化ポイントリスト２１０（ｘ）内の符号化ポイント２１２の数は、他の符号化ポイントリスト２１０のいずれかにおける符号化ポイント２１２の数と異なってもよい。補完的な方式では、サブシーケンスエンコードセット２２０（ｘ）に含まれるサブシーケンスエンコードポイント２２２の数は、他のサブシーケンスエンコードセット２２０のいずれかに含まれるサブシーケンスエンコードポイント２２２の数と異なっていてもよい。
【0076】
バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、各符号化されたサブシーケンスを生成し、関連付けられたビットレート、関連付けられたクオリティスコアおよび関連付けられた歪みレベルを決定することができる。例えば、幾つかの実施形態では、サブシーケンス１３２（ｘ）および符号化ポイント２１２（ｙ）の両方に関連付けられた符号化されたサブシーケンスを生成するために、バッファベースの符号化アプリケーション１４０は、まず、サンプリング演算を実行して、サンプリングされたサブシーケンスを生成する。より具体的には、バッファベースの符号化アプリケーション１４０は、符号化ポイント２１２（ｙ）に含まれる解像度に基づいて、サブシーケンス１３２（ｘ）をサンプリングして、サンプリングされたサブシーケンスを生成する。その後、バッファベースの符号化アプリケーション１４０は、符号化アプリケーション１６２に、符号化ポイント２１２（ｙ）に含まれるレート制御値を使用してサンプリングされたサブシーケンスを符号化させて、符号化されたサブシーケンスを生成させる。
【0077】
幾つかの実施形態では、符号化されたサブシーケンスのクオリティスコアを決定するために、バッファベースの符号化アプリケーション１４０は、符号化されたサブシーケンスを復号化して、復号化されたサブシーケンスを生成する。ついで、バッファベースの符号化アプリケーション１４０は、復号化されたサブシーケンスを目標解像度に再サンプリング（すなわち、アップサンプリングまたはダウンサンプリング）して、エンドポイントデバイスのクラスの表示特性に関連する再構築されたサブシーケンスを生成する。
【0078】
代替的な実施形態では、バッファベースの符号化アプリケーション１４０は、任意の数の解像度について任意の数のクオリティスコアを計算することができる。例えば、特定のビデオは、３８４０×２１６０の解像度で配信されうるが、１９２０×１０８０の解像度の多数のディスプレイにより消費されることが意図されうる。別のクラスのエンドポイントデバイス、例えばラップトップコンピュータは、１２８０×７２０の解像度で同じビデオを表示することが期待される。さらに別のクラスのエンドポイントデバイス、例えば、タブレットまたはスマートフォンデバイスは、９６０×５４０の解像度で同じビデオを表示することが期待される。バッファベースの符号化アプリケーション１４０は、これらの異なるクラスのエンドポイントデバイスのうちの１つを対応して考慮する際に、品質を評価するために、復号化されたサブシーケンスをこれらの全ての目標解像度にアップサンプリングすることができる。
【0079】
ついで、バッファベースの符号化アプリケーション１４０は、再構成されたサブシーケンスを分析して、品質メトリック（ＱＭ）のクオリティスコアを生成する。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、ＶＭＡＦ（または調和ＶＭＡＦ）アルゴリズムを実装して、関連付けられた再構築されたサブシーケンスに基づいて、各符号化されたサブシーケンスについてのＶＭＡＦスコアを生成する。多数のビデオ品質メトリック、例えばＶＭＡＦスコアは、異なる目標解像度で計算することができるが、異なる解像度に関連付けられた符号化されたサブシーケンス間で品質を比較する場合、アプリケーションが、復号化後に、再サンプリングのために同じ目標解像度を使用する必要があることは明らかである。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、再構築されたサブシーケンスを生成するために、復号化されたサブシーケンスを１９２０×１０８０に再サンプリングする。その後、バッファベースの符号化アプリケーション１４０は、関連付けられた再構築されたサブシーケンスに基づいて、符号化されたサブシーケンスについてのクオリティスコアを計算する。
【0080】
バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、ビットレートを生成することができる。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、符号化されたサブシーケンスに含まれる符号化されたビットの総数を、関連付けられたサブシーケンス１３２の長さで除算することができる。同じまたは他の実施形態では、バッファベースの符号化アプリケーション１４０は、クオリティスコアおよびクオリティスコアを歪みレベルに変換するための任意の技術的に実現可能な技術に基づいて、歪みレベルを計算することができる。例えば、バッファベースの符号化アプリケーション１４０は、クオリティスコアを反転させて、歪みレベルを決定することができる。別の例では、バッファベースの符号化アプリケーション１４０が、一定値からクオリティスコアを差し引いて、歪みレベルを決定することができる。
【0081】
各サブシーケンス１３２（ｘ）について、凸包生成器２３０は、サブシーケンスエンコードセット２２０（ｘ）に基づいて、凸包２４０（ｘ）を生成する。各凸包２４０（ｘ）は、限定されないが、所定の歪みレベルについてのビットレートを最小化するサブシーケンスエンコードセット２２０（ｘ）に含まれるサブシーケンスエンコードポイント２２２を含む。凸包生成器２３０が、サブシーケンスエンコードセット２２０（０）に基づいて、凸包２４０（０）をどのように生成するかの詳細な例は、図５に関連して説明する。
【0082】
サブシーケンスイテレータ２５０は、メディアタイトルについての再生順序で、凸包２４０を順次処理する。より具体的には、０で始まりＳで終わる表示ｉについて、サブシーケンスイテレータ２５０（ｉ）のインスタンスは、サブシーケンス１３２（ｉ）に関連付けられた凸包２４０（ｉ）を処理する。図７に関連してより詳細に説明するように、サブシーケンスイテレータ２５０（ｉ）は、グローバル凸包２６０（ｉ－１）および凸包２４０（ｉ）に基づいて、グローバル凸包２６０（ｉ）を生成する。グローバル凸包２６０（ｉ）は、サブシーケンス１３２（０）～１３２（ｉ）に関連付けられ、限定されないが、任意の数のメディアエンコードポイント２７０を含む。グローバル凸包２６０（ｉ）に含まれるメディアエンコードポイント２７０の数は、他のグローバル凸包２６０のいずれかにおけるメディアエンコードポイント２７０の数と異なってもよい。
【0083】
図６に関連してより詳細に説明するように、各メディアエンコードポイント２７０は、限定されないが、サブシーケンスエンコードリスト、符号化されたメディアシーケンス、平均ビットレート、全体的な歪みレベル、現在のバッファ占有率、最小バッファ占有率および最大バッファ占有率を含む。グローバル凸包２６０（ｉ）に含まれる各メディアエンコードポイント２７０について、サブシーケンスエンコードリストは、（ｉ＋１）個のサブシーケンスエンコードポイントを指定する。より正確には、サブシーケンスエンコードリストは、サブシーケンス１３２（０）～１３２（ｉ）のそれぞれについての異なるサブシーケンスエンコードポイントを指定する。符号化されたメディアシーケンスは、限定されないが、サブシーケンスエンコードリストで指定された（ｉ＋１）個のサブシーケンスエンコードポイントに含まれる（ｉ＋１）個の符号化されたサブシーケンスを含む。平均ビットレートおよび全体的な歪みレベルはそれぞれ、符号化されたメディアシーケンスのビットレートおよび符号化されたメディアシーケンスの歪みレベルを指定する。
【0084】
現在のバッファ占有率、最小バッファ占有率および最大バッファ占有率は、符号化されたメディアシーケンスを送信バッファ制約１７０に従って例示的なエンドポイントデバイスにストリーミングする際に、例示的な送信バッファの特性を指定する。現在のバッファ占有率は、符号化されたメディアシーケンスが例示的なエンドポイントデバイス上で再生するために復号化される際に、例示的な送信バッファに記憶されるビットの数を指定する。最小バッファ占有率および最大バッファ占有率はそれぞれ、例示的なエンドポイントデバイスへの符号化されたメディアシーケンスのストリーミング中に、例示的な送信バッファに記憶されるビットの最小数および最大数を指定する。
【0085】
示されていないが、グローバル凸包２６０（０）を生成するために、バッファベースの符号化アプリケーション１４０は、サブシーケンスイテレータ２５０（０）を初期化する。より正確には、バッファベースの符号化アプリケーション１４０は、単一の初期化メディアエンコードポイント２７０を含む初期グローバル凸包２６０（－１）を生成する。バッファベースの符号化アプリケーション１４０は、初期化メディアエンコードポイント２７０に含まれるサブシーケンスエンコードリストを空のセットに等しくセットし、初期化メディアエンコードポイント２７０に含まれる符号化されたサブシーケンスをＮＵＬＬに等しくセットする。バッファベースの符号化アプリケーション１４０は、初期化メディアエンコードポイント２７０に含まれる現在のバッファ占有率、最小バッファ占有率および最大バッファ占有率のそれぞれを、バッファサイズ１７４に等しくセットする。代替的な実施形態では、バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、サブシーケンスイテレータ２５０（０）を初期化することができる。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、指定されたプリバッファリング時間に基づいて、サブシーケンスイテレータ２５０（０）を初期化することができる。
【0086】
演算中、グローバル凸包２６０（ｉ）を生成するために、サブシーケンスイテレータ２５０（ｉ）は、グローバル凸包２６０（ｉ－１）に関連付けられたサブシーケンスエンコードリストのそれぞれを、凸包２４０（ｉ）に含まれるサブシーケンスエンコードポイントのそれぞれと組み合わせて、新たなサブシーケンスエンコードリストを生成する。したがって、グローバル凸包２６０（ｉ－１）が、Ｎ個のメディアエンコードポイント２７０を含み、凸包２４０（ｉ）が、Ｍ個のサブシーケンスエンコードポイントを含む場合、サブシーケンスイテレータ２５０（ｉ）は、（Ｎ×Ｍ）個の新たなサブシーケンスエンコードリストを生成する。
【0087】
各新たなサブシーケンスエンコードリストについて、サブシーケンスイテレータ２５０（ｉ）は、新たなメディアエンコードポイント２７０を生成する。より正確には、所定の新たなサブシーケンスエンコードリストについて、サブシーケンスイテレータ２５０（ｉ）は、サブシーケンスエンコードリスト中で指定されたサブシーケンスエンコードポイントに含まれる種々の符号化されたサブシーケンスを集約して、符号化されたメディアシーケンスを生成する。サブシーケンスイテレータ２５０（ｉ）は、符号化されたメディアシーケンスに基づいて、平均ビットレートおよび全体的な歪みレベルを計算する。ついで、サブシーケンスイテレータ２５０（ｉ）は、符号化されたメディアシーケンスおよび送信バッファ制約１７０に基づいて、現在のバッファ占有率、最小バッファ占有率および最大バッファ占有率を計算する。その後、サブシーケンスイテレータ２５０（ｉ）は、新たなサブシーケンスエンコードリスト、関連付けられた符号化メディアシーケンス、平均ビットレート、全体的な歪みレベル、現在のバッファ占有率、最小バッファ占有率、および最大バッファ占有率を含む、新たなメディアエンコードポイント２７０を生成する。サブシーケンスイテレータ２５０（ｉ）は、新たなメディアエンコードポイント２７０をメディアエンコードセット（図２には図示せず）に追加する。
【0088】
その後、サブシーケンスイテレータ２５０（ｉ）は、送信バッファ制約１７０に基づいて、メディアエンコードセットに対してフィルタリング演算を実行し、適合するメディアエンコードセット（図１には図示せず）を生成する。フィルタリング演算の一部として、サブシーケンスイテレータ２５０（ｉ）は、送信バッファ制約１７０に適合しないメディアエンコードセットに含まれる任意のメディアエンコードポイント２７０を破棄する。ついで、サブシーケンスイテレータ２５０（ｉ）は、平均ビットレートと全体的な視覚品質との間の最適に達しないトレードオフに関連付けられた、適合するメディアエンコードセットに含まれる任意のメディアエンコードポイント２７０を廃棄して、グローバル凸包２６０（ｉ）を生成する。
【0089】
重要なことに、サブシーケンス１３２（０）～１３２（ｉ）を含むメディアタイトルの部分について、グローバル凸包２６０（ｉ）に含まれる各メディアエンコードポイント２７０は、送信バッファ制約１７０に従って種々の全体的な歪みレベルについての平均ビットレートを最小化する。さらに、グローバル凸包２６０（ｉ）は、典型的には、関連付けられたメディアエンコードセットより顕著に少ないメディアエンコードポイントを含むため、後続のサブシーケンスメディアエンコードセットのそれぞれに含まれるサブシーケンスエンコードポイントの数が低減される。その結果、後続のグローバル凸包２６０の生成に必要な時間が最適化される。
【0090】
例えば、メディアエンコードセットが、１００個のメディアエンコードポイント２７０を含み、サブシーケンスイテレータ２５０（ｉ）が、送信バッファ制約１７０に基づいて、６０個のメディアエンコードポイント２７０を破棄するものと仮定する。さらに、サブシーケンスイテレータ２５０（ｉ）は、４０個の残りのメディアエンコードポイント２７０のうちの３０個が平均ビットレートと全体的な視覚品質との間の最適に達しないトレードオフに関連付けられたことを決定したと仮定する。結果として得られるグローバル凸包２６０（ｉ）は、１０個のメディアエンコードポイント２７０を含むことになる。その後、サブシーケンスイテレータ２５０（ｉ＋１）は、グローバル凸包２６０（ｉ）に含まれる１０個のメディアエンコードポイント２７０を、凸包２４０（ｉ＋１）に含まれるＡ個のポイントと組み合わせて、（１０×Ａ）個のメディアエンコードポイント２７０を含む新たなメディアエンコードセットを生成することになる。
【0091】
示されているように、選択エンジン２９０は、グローバル凸包２６０（Ｓ）に基づいて、最適に符号化されたメディアシーケンス１８０を決定する。本明細書に先に説明したように、グローバル凸包２６０（Ｓ）は、全てのサブシーケンス１３２（０）～１３２（Ｓ）に関連付けられる。最適化されたメディアシーケンス１８０を決定するために、選択エンジン２９０は、グローバル凸包２６０（Ｓ）に含まれるメディアエンコードポイント２７０の平均ビットレートを比較して、最高平均ビットレートを有する最適化されたメディアエンコードポイント２７０を決定する。ついで、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０を、最適化されたメディアエンコードポイント２７０に含まれる符号化されたメディアシーケンスに等しくセットする。
【0092】
当業者には理解されるであろうように、最適に符号化されたメディアシーケンス１８０は、グローバル凸包２６０（Ｓ）に関連付けられた任意の他の符号化されたメディアシーケンスより高い全体的な品質レベルを有する。その結果、最適化されたメディアシーケンス１８０は、送信バッファ制約１７０への適合およびエンドポイントデバイス上でのメディアタイトルの再生中での全体的な視覚品質の最適化の両方を行うメディアタイトルの符号化されたバージョンである。代替的な実施形態では、選択エンジン２９０は、グローバル凸包２６０（Ｓ）と任意の数およびタイプのメディアメトリックに関連付けられた任意の数およびタイプの基準とに基づいて、任意の技術的に実現可能な方式で、最適に符号化されたメディアシーケンス１８０を選択することができる。
【0093】
幾つかの実施形態では、サブシーケンスイテレータ２５０は、メディアエンコードポイント２７０に含まれる符号化されたメディアシーケンスを生成しない。各メディアエンコードポイント２７０について、サブシーケンスイテレータ２５０は、関連付けられたサブシーケンスエンコードリストに基づいて、関連付けられた符号化されたメディアサブシーケンスのプロパティを決定する。特に、サブシーケンスイテレータ２５０は、サブシーケンスエンコードリストに基づいて、平均ビットレート、全体的な歪みレベル、現在のバッファ占有率、最小バッファ占有率および最大バッファ占有率を計算する。最適化されたメディアエンコードポイント２７０を選択した後、選択エンジン２９０は、最適化されたメディアエンコードポイント２７０に含まれるサブシーケンスエンコードリストに基づいて、最適に符号化されたメディアシーケンス１８０を生成する。より正確には、選択エンジン２９０は、最適化されたメディアエンコードポイント２７０に含まれるサブシーケンスエンコードリストに指定された種々の符号化されたサブシーケンスを集約して、最適に符号化されたメディアシーケンス１８０を生成する。このようにして、各サブシーケンスエンコードリストは、関連付けられた符号化されたメディアサブシーケンスがどのように生成されるかを指定する「符号化レシピ」である。
【0094】
選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０を決定した後、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられているかどうかを判定する。一般的には、プリバッファリング時間は、エンドポイントデバイスがメディアタイトルの再生を開始する前に記憶する符号化されたビットの総数を指定する。選択エンジン２９０は、送信バッファ制約１７０が任意の技術的に実現可能な方式で構成可能なプリバッファリング時間に関連付けられているかどうかを判定することができる。
【0095】
例えば、幾つかの実施形態では、制約タイプ１７６がＣＲＢ ＶＢＶである場合には、選択エンジン２９０は、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられていると判定する。そうでない場合、選択エンジン２９０は、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられていないと判定する。他の実施形態では、選択エンジン２９０は、グラフィックユーザインターフェース（図示せず）を介して受信されたユーザ入力に基づいて、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられているかどうかを判定する。
【0096】
選択エンジン２９０が、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられていることを判定した場合には、選択エンジン２９０は、最適化されたメディアエンコードポイント２７０に基づいて、最適化されたプリバッファリング時間１８２を計算する。より正確には、選択エンジン２９０は、バッファサイズ１７４と最適化されたメディアエンコードポイント２７０に含まれる最小バッファ占有率との差に等しい初期バッファ占有率をセットする。ついで、選択エンジン２９０は、最適化されたプリバッファリング時間１８２を、初期バッファ占有率と送信レート１７２との商に等しくセットする。代替的な実施形態では、バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、最適化されたプリバッファリング時間１８２および／または初期バッファ占有率を計算することができる。ついで、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０と共にエンドポイントデバイスに配信するために、最適化されたプリバッファリング時間１８２を、コンテンツ配信ネットワーク（ＣＤＮ）１９０に送信する。
【0097】
送信バッファ制約１７０が、構成可能なプリバッファリング時間に関連付けられているかどうかにかかわらず、選択エンジン２９０は、エンドポイントデバイスへの配信のために、最適に符号化されたメディアシーケンス１８０をＣＤＮ１９０に送信する。種々の実施形態では、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０に含まれる個々の符号化されたサブシーケンスのそれぞれを識別するように構成されていてもよい。ついで、選択エンジン２９０は、エンドポイントデバイスへの配信のために、識別された符号化されたサブシーケンスを、ＣＤＮ１９０に送信することができる。
【0098】
代替的な実施形態では、選択エンジン２９０は、技術的に実現可能な方式で、任意の数およびタイプの符号化されたサブシーケンス、構成パラメータなどを計算し、これらをＣＤＮ１９０または任意の数のエンドポイントデバイスに送信することができる。例えば、幾つかの実施形態では、選択エンジン２９０は、最適化されたプリバッファリング時間１８２の代わりに、初期バッファ占有率をＣＤＮ１９０に送信することができる。他の実施形態では、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０および場合により最適化されたプリバッファリング時間１８２を、任意の数のエンドポイントデバイスに、任意の技術的に実現可能な方式で送信することができる。例えば、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０をエンドポイントデバイスにストリーミングする一部として、システムヘッダを介してプリバッファリング時間をシグナリングすることができる。
【0099】
図３は、本発明の種々の実施形態に係る図２の符号化ポイントリスト２１０のより詳細な図である。示されているように、符号化ポイントリスト２１０は、任意の数の符号化ポイント２１２（０）～２１２（Ｐ）を含む。各符号化ポイント２１２は、限定されないが、解像度３１４およびレート制御値３１６を含む。レート制御値３１６は、符号化中のビットレートと歪みレベルまたは品質との間のトレードオフを指定する任意のパラメータについての値でありうる。例えば、幾つかの実施形態では、レート制御値３１６は、ビデオコンテンツを符号化する際に、ビットレートおよび歪みレベルに関して単調な履行を可能にする量子化パラメータ（ＱＰ）についての値である。「ＱＰ」が高いほど、低品質を犠牲にして、結果として生じるビットレートは低くなる。
【0100】
説明の目的のためのみであるが、解像度３１４および符号化ポイント２１２（０）～２１２（３）、２１２（Ｐ－１）および２１２（Ｐ）についてのレート制御値３１６を斜体で示す。示されているように、符号化ポイント２１２（０）は、６４０×３６０の解像度３１４およびレート制御値３１６ ＱＰ＝５１を含む。符号化ポイント２１２（１）は、９６０×５４０の解像度３１４およびレート制御値３１６ ＱＰ＝５１を含む。符号化ポイント２１２（２）は、１２８０×７２０の解像度３１４およびレート制御値３１６ ＱＰ＝５１を含む。符号化ポイント２１２（３）は、１９２０×１０８０の解像度３１４およびレート制御値３１６ ＱＰ＝５１を含む。符号化ポイント２１２（Ｐ－１）は、１２８０×７２０の解像度３１４およびレート制御値３１６ ＱＰ＝０を含む。符号化ポイント２１２（Ｐ）は、１９２０×１０８０の解像度３１４およびレート制御値３１６ ＱＰ＝０を含む。
【0101】
示された例示的な符号化ポイント２１２が示すように、解像度３１４とレート制御値３１６との任意の組み合わせは、任意の２つの符号化ポイント２１２間で異なる場合がある。一般的には、バッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な任意の方式で、符号化リスト２１０を取得しまたは生成することができる。例えば、幾つかの実施形態では、バッファベースの符号化アプリケーション１４０は、８つの解像度３１４の順列および符号化アプリケーション１６２により許可された全てのレート制御値３１６に基づいて、符号化リスト２１０を生成することができる。有利には、多種多様な符号化ポイント２１２のために、バッファベースの符号化アプリケーション１４０は、各サブシーケンス１３２についての多種多様な異なる符号化されたサブシーケンスを生成する。
【0102】
図４は、本発明の種々の実施形態に係る図２のサブシーケンスエンコードセット２２０のうちの１つのより詳細な図である。サブシーケンスエンコードセット２２０（０）は、サブシーケンス１３２（０）に関連付けられる。示されているように、サブシーケンスエンコードセット２２０（０）は、限定されないが、サブシーケンスエンコードポイント２２２（０）～２２２（Ｐ）を含む。一般的には、サブシーケンスエンコードセット２２０に含まれるサブシーケンスエンコードポイント２２２の数は、符号化ポイントリスト２１０に含まれる符号化ポイント２１２の数に等しい。さらに、サブシーケンスエンコードポイント２２２（ｘ）は、符号化ポイント２１２（ｘ）に関連付けられる。
【0103】
各サブシーケンスエンコードポイント２２２は、限定されないが、関連付けられた符号化ポイント２１２、符号化されたサブシーケンス４３０、符号化されたサブシーケンス４３０のビットレート４３２、符号化されたサブシーケンス４３０のクオリティスコア４３４、および符号化されたサブシーケンス４３０の歪みレベル４３６を含む。図２に関連して本明細書に先に説明したように、バッファベースの符号化アプリケーション１４０は、関連付けられた符号化ポイント２１２および関連付けられたサブシーケンス１３２に基づいて、任意の技術的に実現可能な方式で、符号化されたサブシーケンス４３０を生成することができる。その後、バッファベースの符号化アプリケーション１４０は、符号化されたサブシーケンス４３０に基づいて、任意の技術的に実現可能な方式で、ビットレート４３２、クオリティスコア４３４、および歪みレベル４３６を決定することができる。クオリティスコア４３４は、任意の品質メトリックの値でありうる。
【0104】
説明の目的のためのみであるが、サブシーケンスエンコードポイント２２２（０）に含まれる符号化ポイント２１２（０）およびサブシーケンスエンコードポイント２２２（Ｐ）に含まれる符号化ポイント２１２（Ｐ）の例示的な値を斜体で示している。符号化ポイント２１２（０）は、限定されないが、６４０×３６０の解像度３１４およびレート制御値３１６ ＱＰ＝５１を含む。したがって、バッファベースの符号化アプリケーション１４０は、６４０×３６０の解像度３１４およびレート制御値３１６ ＱＰ＝５１でサブシーケンス１３２（０）を符号化して、符号化されたサブシーケンス４３０（０）を生成するように、符号化アプリケーション１６２を構成する。対照的に、符号化ポイント２１２（Ｐ）は、限定されないが、１９２０×１０８０の解像度３１４およびレート制御値３１６ ＱＰ＝０を含む。したがって、バッファベースの符号化アプリケーション１４０は、１９２０×１０８０の解像度３１４およびレート制御値３１６ ＱＰ＝０でサブシーケンス１３２（０）を符号化して、符号化されたサブシーケンス４３０（Ｐ）を生成するように、符号化アプリケーション１６２を構成する。
【0105】
図５に、本発明の種々の実施形態に係る図２の凸包生成器２３０により生成される例示的な凸包２４０（０）を示す。特に、凸包生成器２３０は、サブシーケンスエンコードセット２２０（０）に基づいて、凸包２４０（０）を生成する。示されているように、グラフ５００は、限定されないが、ビットレート軸５１０および歪み軸５２０を含む。
【0106】
演算中、サブシーケンスエンコードセット２２０（０）に含まれるサブシーケンスエンコードポイント２２２のそれぞれについて、凸包生成器２３０は、グラフ５００内に対応するプロットされたサブシーケンスエンコードポイント２２２を生成する。凸包生成器２３０は、ビットレート軸５１０に沿ってビットレート４３２と歪み軸５２０に沿って歪みレベル４３６とを位置決めすることにより、所定のサブシーケンスエンコードポイント２２２をプロットする。ついで、凸包生成器２３０は、プロットされたサブシーケンスエンコードポイント２２２を評価して、凸包２４０（０）を決定する。
【0107】
より具体的には、凸包生成器２３０は、プロットされたサブシーケンスエンコードポイント２２２を識別するが、ここで、プロットされたサブシーケンスエンコードポイント２２２の全てが境界の一方の側（この場合、境界の右側）に存在する境界を形成し、また、任意の２つの連続する識別されてプロットされたサブシーケンスエンコードポイント２２２が直線で接続され、プロットされた全ての残りのサブシーケンスエンコードポイント２２２が同じ側に残るようにする。凸包２４０（０）は、識別されたサブシーケンスエンコードポイント２２２のセットを含む。
【0108】
説明の目的のためのみであるが、凸包２４０（０）に含まれるサブシーケンスエンコードポイント２２２は、グラフ５００において十字で示される。一方、残りのサブシーケンスエンコードポイント２２２は、グラフ５００において塗りつぶされた円として示される。特に、サブシーケンスエンコードポイント２２２（Ｐ）は、凸包２４０（０）に含まれる。一方、サブシーケンスエンコードポイント２２２（０）は、凸包２４０（０）に含まれない。
【0109】
当業者であれば、凸包を生成するための多くの技術が数学の分野において周知であり、このような技術の全てが凸包２４０の生成に実装可能であることを理解するであろう。一実施形態では、凸包生成器２３０は、機械学習技術を適用して、関連付けられたサブシーケンス１３２および／またはソースメディアシーケンス１２２の種々のパラメータに基づいて、凸包２４０に含まれるサブシーケンスエンコードポイント２２２を推定する。このようにして、これまでに検討された計算の一部を合理化しかつ／または完全に回避することができる。
【0110】
異なる符号化されたサブシーケンスの結合
図６は、本発明の種々の実施形態に係る図２のメディアエンコードポイント２７０のうちの１つのより詳細な図である。説明の目的のためのみであるが、図６に示されたメディアエンコードポイント２７０（ｋ）は、サブシーケンス１３２（０）～１３２（ｉ）に関連付けられたグローバル凸包２６０（ｉ）に含まれる。示されているように、メディアエンコードポイント２７０（ｋ）は、限定されないが、サブシーケンスエンコードリスト６１０、符号化されたメディアシーケンス６３０、平均ビットレート６３２、全体的な歪みレベル６３６、現在のバッファ占有率６５０、最小バッファ占有率６５２、および最大バッファ占有率６５４を含む。
図６は、本発明の種々の実施形態に係る図２のメディアエンコードポイント２７０のうちの１つのより詳細な図である。説明の目的のためのみであるが、図６に示されたメディアエンコードポイント２７０（ｋ）は、サブシーケンス１３２（０）～１３２（ｉ）に関連付けられたグローバル凸包２６０（ｉ）に含まれる。示されているように、メディアエンコードポイント２７０（ｋ）は、限定されないが、サブシーケンスエンコードリスト６１０、符号化されたメディアシーケンス６３０、平均ビットレート６３２、全体的な歪みレベル６３６、現在のバッファ占有率６５０、最小バッファ占有率６５２、および最大バッファ占有率６５４を含む。
【0111】
サブシーケンスエンコードリスト６１０は、限定されないが、エンコード選択６２０（０）～６２０（ｉ）を含む。この場合、エンコード選択６２０の数は、グローバル凸包２６０（ｉ）に関連付けられたサブシーケンス１３２の数に等しい。より具体的には、サブシーケンスエンコードリスト６１０は、グローバル凸包２６０（ｉ）に関連付けられた各サブシーケンス１３２（ｘ）についての種々のエンコード選択６２０（ｘ）を含む。エンコード選択６２０はそれぞれ、異なるサブシーケンスエンコードポイント２２２を指定する。一般的には、エンコード選択６２０（ｘ）は、サブシーケンス１３２（ｘ）に関連付けられたサブシーケンスエンコードセット２２０（ｘ）に含まれるサブシーケンスエンコードポイント２２２のうちの１つを指定する。
【0112】
説明の目的のためのみであるが、エンコード選択６２０（０），６２０（１）および６２０（ｉ）の例示的な値を斜体で示している。エンコード選択６２０（０）は、サブシーケンスエンコードセット２２０（０）におけるサブシーケンスエンコードポイント２２２（５）を指定する。エンコード選択６２０（１）は、サブシーケンスエンコードセット２２０（１）におけるサブシーケンスエンコードポイント２２２（０）を指定する。エンコード選択６２０（ｉ）は、サブシーケンスエンコードセット２２０（ｉ）におけるサブシーケンスエンコードポイント２２２（Ｐ）を指定する。
【0113】
符号化されたメディアシーケンス６３０は、限定されないが、サブシーケンスエンコードリスト６１０において指定された（ｉ＋１）個のサブシーケンスエンコードポイント２２２に含まれる（ｉ＋１）個の符号化されたサブシーケンス４３０を含む。平均ビットレート６３２および全体的な歪みレベル６３６はそれぞれ、符号化されたメディアシーケンス６３０のビットレートおよび符号化されたメディアシーケンス６３０の歪みレベルを指定する。サブシーケンスイテレータ２５０（ｉ）および／またはバッファベースの符号化アプリケーション１４０は、任意の技術的に実現可能な方式で、符号化されたメディアシーケンス６３０、平均ビットレート６３２、および全体的な歪みレベル６３６を決定することができる。
【0114】
図２に関連して説明したように、現在のバッファ占有率６５０、最小バッファ占有率６５２、および最大バッファ占有率６５４は、バッファサイズ１７４に等しいサイズを有する例示的な送信バッファの特性を指定する。より正確には、現在のバッファ占有率６５０は、符号化されたメディアシーケンス６３０が例示的なエンドポイントデバイス上で再生するために復号化される際に、例示的な送信バッファに記憶されるビット数を指定する。最小バッファ占有率６５２は、例示的なエンドポイントデバイスへの符号化されたメディアシーケンス６３０のストリーミング中に例示的な送信バッファに記憶される最小ビット数を指定する。最大バッファ占有率６５４は、例示的なエンドポイントデバイスへの符号化されたメディアシーケンス６３０のストリーミング中に例示的な送信バッファに記憶される最大ビット数を指定する。
【0115】
図７は、本発明の種々の実施形態に係る図２のサブシーケンスイテレータ２５０（ｉ）のより詳細な図である。演算中、サブシーケンスイテレータ２５０（ｉ）は、グローバル凸包２６０（ｉ－１）、凸包２４０（ｉ）および送信バッファ制約１７０に基づいて、グローバル凸包２６０（ｉ）を生成する。説明の目的のためのみであるが、グローバル凸包２６０（ｉ－１）は、限定されないものの、Ｖ個のメディアエンコードポイント２７０を含む。図６に関連して説明したように、各メディアエンコードポイント２７０は、異なるサブシーケンスエンコードリスト６１０を含む。したがって、グローバル凸包２６０（ｉ－１）は、Ｖ個のサブシーケンスエンコードリスト６１０に関連付けられる。凸包２４０（ｉ）は、限定されないが、Ａ個のサブシーケンスエンコードポイント２２２を含む。示されているように、サブシーケンスイテレータ２５０（ｉ）は、限定されないが、結合エンジン７１０、フィルタリングエンジン７３０およびグローバル凸包生成器７５０を含む。
【0116】
結合エンジン７１０は、グローバル凸包２６０（ｉ－１）、凸包２４０（ｉ）および送信バッファ制約１７０に基づいて、メディアエンコードセット７２０を生成する。まず、結合エンジン７１０は、グローバル凸包２６０（ｉ－１）に関連付けられたＶ個のサブシーケンスエンコードリスト６１０のそれぞれを、凸包２４０（ｉ）に含まれるＡ個のサブシーケンスエンコードポイント２２２のそれぞれと結合して、（Ａ×Ｖ）個の新たなサブシーケンスエンコードリスト６１０を生成する。サブシーケンスエンコードリスト６１０（ｘ）をサブシーケンスエンコードポイント２２２（ｙ）と結合するために、結合エンジン７１０は、サブシーケンスエンコードポイント２２２（ｙ）をサブシーケンスエンコードリスト６１０（ｘ）に追加して、新たなサブシーケンスエンコードリスト６１０（ｚ）を生成する。特に、グローバル凸包２６０（ｉ－１）に関連付けられた各サブシーケンスエンコードリスト６１０は、サブシーケンス１３２（０）～１３２（ｉ－１）に関連付けられ、凸包２４０（ｉ）に含まれる各サブシーケンスエンコードポイント２２２は、サブシーケンス１３２（ｉ）に関連付けられる。その結果、各新たなサブシーケンスエンコードリスト６１０は、サブシーケンス１３２（０）～１３２（ｉ＋１）に関連付けられる。
【0117】
新たなサブシーケンスエンコードリスト６１０ごとに、サブシーケンスイテレータ２５０（ｉ）は、サブシーケンスエンコードリスト６１０に基づいて、新たなメディアエンコードポイント２７０を生成し、ついで、新たなメディアエンコードポイント２７０をメディアエンコードセット７２０に追加する。より正確には、新たなサブシーケンスエンコードリスト６１０（ｚ）について、サブシーケンスイテレータ２５０（ｉ）は、サブシーケンスエンコードリスト６１０（ｚ）で指定されたサブシーケンスエンコードポイント２２２に含まれる種々の符号化されたサブシーケンス４３０を集約して、符号化されたメディアシーケンス６３０（ｚ）を生成する。その後、サブシーケンスイテレータ２５０（ｉ）は、符号化されたメディアシーケンス６３０（ｚ）に基づいて、平均ビットレート６３２（ｚ）および全体的な歪みレベル６３６（ｚ）を計算する。サブシーケンスイテレータ２５０（ｉ）は、任意の技術的に実現可能な方式で、平均ビットレート６３２（ｚ）および全体的な歪みレベル６３６（ｚ）を計算することができる。
【0118】
例えば、幾つかの実施形態では、サブシーケンスイテレータ２５０（ｉ）は、符号化されたメディアシーケンス６３０（ｚ）に含まれる各符号化されたサブシーケンス４３０のビットレート４３２を、関連付けられた持続時間により重み付けして、重み付けされたビットレートを生成する。サブシーケンスイテレータ２５０（ｉ）は、重み付けされたビットレートを合計し、ついで、結果として生じる重み付けされた合計を、符号化されたメディアシーケンス６３０（ｚ）の合計持続時間で除算して、平均ビットレート６３２（ｚ）を計算する。サブシーケンスイテレータ２５０（ｉ）は、同様の方式で、全体的な歪みレベル６３６（ｚ）を計算する。
【0119】
代替的な実施形態では、サブシーケンスイテレータ２５０（ｉ）は、サブシーケンスエンコードリスト６１０（ｘ）とサブシーケンスエンコードリスト６１０（ｚ）が導出されたサブシーケンスエンコードポイント２２２（ｙ）とに基づいて、平均ビットレート６３２（ｚ）を計算する。より正確には、サブシーケンスイテレータ２５０（ｉ）は、サブシーケンスエンコードリスト６１０（ｘ）に関連付けられた平均ビットレート６３２（ｘ）を、符号化されたメディアシーケンス６３０（ｘ）の継続時間により重み付けして、重み付けされたメディアビットレートを生成する。同様に、サブシーケンスイテレータ２５０（ｉ）は、サブシーケンスエンコードポイント２２２（ｙ）に含まれるビットレート４３２を、符号化されたサブシーケンス４３０（ｙ）の持続時間により重み付けして、重み付けされたサブシーケンスビットレートを生成する。サブシーケンスイテレータ２５０（ｉ）は、重み付けされたメディアビットレートと重み付けされたサブシーケンスビットレートとを合計し、ついで、結果として生じる重み付けされた合計を符号化されたメディアシーケンス６３０（ｚ）の全持続時間で除算して、平均ビットレート６３２（ｘ）を計算する。サブシーケンスイテレータ２５０（ｉ）は、同様の方式で、全体的な歪みレベル６３６（ｚ）を計算する。
【0120】
サブシーケンスイテレータ２５０（ｉ）は、符号化されたメディアシーケンス６３０（ｚ）および送信バッファ制約１７０に基づいて、現在のバッファ占有率６５０（ｚ）、最小バッファ占有率６５２（ｚ）、および最大バッファ占有率６５４（ｚ）を計算する。現在のバッファ占有率６５０（ｚ）は、符号化されたメディアシーケンス６３０（ｚ）が例示的なエンドポイントデバイス上で再生するために復号化される際に、例示的な送信バッファに記憶されるビット数を指定する。最小バッファ占有率６５２（ｚ）および最大バッファ占有率６５４（ｚ）はそれぞれ、送信バッファ制約１７０に従って、例示的なエンドポイントデバイスへの符号化されたメディアシーケンス６３０（ｚ）のストリーミング中に例示的な送信バッファに記憶されるビットの最小数および最大数を指定する。サブシーケンスイテレータ２５０（ｉ）は、現在のバッファ占有率６５０（ｚ）、最小バッファ占有率６５２（ｚ）および最大バッファ占有率６５４（ｚ）を、送信バッファ制約１７０と一致する任意の技術的に実現可能な方式で計算することができる。
【0121】
例えば、幾つかの実施形態では、サブシーケンスイテレータ２５０（ｉ）は、まず、サブシーケンスエンコードリスト６１０（ｘ）と新たなサブシーケンスエンコードリスト６１０（ｚ）が導出されたサブシーケンスエンコードポイント２２２（ｙ）とに基づいて、現在のバッファ占有率６５０（ｚ）を計算する。より正確には、サブシーケンスイテレータ２５０（ｉ）は、排出されるビット数を、サブシーケンスエンコードポイント２２２（ｙ）に含まれる符号化されたサブシーケンス４３０（ｙ）に含まれる符号化されたビットの数に等しくセットする。また、サブシーケンスイテレータ２５０（ｉ）は、再充填ビット数カウントを、送信速度１７２と符号化されたサブシーケンス４３０（ｙ）の再生持続時間との積に等しくセットする。ついで、サブシーケンスイテレータ２５０（ｉ）は、再充填されたビット数から排出されたビット数を差し引いて、サブシーケンスデルタを決定する。
【0122】
サブシーケンスイテレータ２５０（ｉ）は、潜在的なバッファ占有率を、サブシーケンスデルタとサブシーケンスエンコードリスト６１０（ｘ）に関連付けられた現在のバッファ占有率６５０（ｘ）との合計に等しくセットする。制約タイプ１７６がＣＢＲ ＶＢＶである場合には、サブシーケンスイテレータ２５０（ｉ）は、現在のバッファ占有率６５０（ｚ）を、潜在的なバッファ占有率に等しくセットする。一方、制約タイプ１７６がＶＢＲ ＶＢＶである場合には、サブシーケンスイテレータ２５０（ｉ）は、現在のバッファ占有率６５０（ｚ）を、バッファサイズ１７４の最小値および潜在的なバッファ占有率に等しくセットする。
その後、サブシーケンスイテレータ２５０（ｉ）は、最小バッファ占有率６５２（ｚ）を、現在のバッファ占有率６５０（ｚ）の最小値およびサブシーケンスエンコードリスト６１０（ｘ）に関連付けられた最小バッファ占有率６５２（ｘ）に等しくセットする。補完的な方式では、サブシーケンスイテレータ２５０（ｉ）は、最大バッファ占有率６５４（ｚ）を、現在のバッファ占有率６５０（ｚ）の最大値およびサブシーケンスエンコードリスト６１０（ｘ）に関連付けられた最大バッファ占有率６５４（ｘ）に等しくセットする。
代替的な実施形態では、サブシーケンスイテレータ２５０は、任意の技術的に実現可能な方式かつ任意の粒度レベルで、現在のバッファ占有率６５０、最小バッファ占有率６５２および最大バッファ占有率６５４を計算することができる。例えば、幾つかの実施形態では、サブシーケンスイテレータ２５０（ｉ）は、次の連続時間関数（１）、すなわち
その後、サブシーケンスイテレータ２５０（ｉ）は、最小バッファ占有率６５２（ｚ）を、現在のバッファ占有率６５０（ｚ）の最小値およびサブシーケンスエンコードリスト６１０（ｘ）に関連付けられた最小バッファ占有率６５２（ｘ）に等しくセットする。補完的な方式では、サブシーケンスイテレータ２５０（ｉ）は、最大バッファ占有率６５４（ｚ）を、現在のバッファ占有率６５０（ｚ）の最大値およびサブシーケンスエンコードリスト６１０（ｘ）に関連付けられた最大バッファ占有率６５４（ｘ）に等しくセットする。
代替的な実施形態では、サブシーケンスイテレータ２５０は、任意の技術的に実現可能な方式かつ任意の粒度レベルで、現在のバッファ占有率６５０、最小バッファ占有率６５２および最大バッファ占有率６５４を計算することができる。例えば、幾つかの実施形態では、サブシーケンスイテレータ２５０（ｉ）は、次の連続時間関数（１）、すなわち
【0123】
【数1】
【0124】
に基づくフレームレベルの粒度で現在のバッファ占有率６５０を計算する。
【0125】
関数（１）において、Ｏ（ｔ）は、時刻ｔにおけるバッファ占有率であり、Ｏ０は、時刻０における初期バッファ占有率であり、ｔは、時刻であり、Ｒは、平均フレームレートであり、ΔＴは、連続する表示時間の時間間隔（すなわち、フレームレートの逆数）であり、Ｓｉは、ｉ番目のフレームの圧縮されたフレームサイズである。
【0126】
示されているように、フィルタリングエンジン７３０は、メディアエンコードセット７２０および送信バッファ制約１７０に基づいて、適合するメディアエンコードセット７４０を生成する。より正確には、フィルタリングエンジン７３０は、適合するメディア符号化セット７４０を空のセットに初期化する。その後、メディアエンコードセット７２０を含む各メディアエンコードポイント２７０（ｚ）について、フィルタリングエンジン７３０は、関連付けられた符号化されたメディアシーケンス６３０（ｚ）が送信バッファ制約１７０に適合しているかどうかを判定する。符号化されたメディアシーケンス６３０（ｚ）が送信バッファ制約１７０に適合していることをフィルタリングエンジン７３０が判定した場合には、フィルタリングエンジン７３０は、メディアエンコードポイント２７０（ｚ）を、適合するメディアエンコードセット７４０に追加する。対照的に、符号化されたメディアシーケンス６３０（ｚ）が送信バッファ制約１７０に適合していないことをフィルタリングエンジン７３０が判定した場合には、フィルタリングエンジン７３０は、メディアエンコードポイント２７０（ｚ）を、適合するメディアエンコードセット７４０に追加しない。
【0127】
フィルタリングエンジン７３０は、符号化されたメディアシーケンス６３０（ｚ）が任意の技術的に実現可能な方式で送信バッファ制約１７０に適合しているかどうかを判定することができる。例えば、幾つかの実施形態では、フィルタリングエンジン７３０は、最大バッファ占有率６５４（ｚ）と最小バッファ占有率６５２（ｚ）との間のバッファ差を計算する。バッファ差がバッファサイズ１７４を超えない場合には、フィルタリングエンジン７３０は、符号化されたメディアシーケンス６３０（ｚ）が送信バッファ制約１７０に適合していると判定する。そうでない場合、フィルタリングエンジンは、符号化されたメディアシーケンス６３０（ｚ）が送信バッファ制約１７０に適合していないと判定する。
【0128】
グローバル凸包生成器７５０は、適合するメディアエンコードセット７４０に含まれるメディアエンコードポイント２７０にわたって凸包演算を実行して、グローバル凸包２６０（ｉ）を生成する。一般的には、グローバル凸包２６０（ｉ）に含まれる各メディアエンコードポイント２７０は、種々の全体的な歪みレベル６３６についての平均ビットレート６３２を最小化する。グローバル凸包生成器７５０は、任意の技術的に実現可能な方式で、任意の数およびタイプの凸包演算を実行して、グローバル凸包２６０（ｉ）を生成することができる。当業者であれば、凸包を生成するための多くの技術が数学の分野で周知であり、このような技術は全て、グローバル凸包２６０（ｉ）を生成するために実装できることを理解するであろう。
【0129】
例えば、幾つかの実施形態では、適合するメディアエンコードセット７４０に含まれる各メディアエンコードポイント２７０について、グローバル凸包生成器７５０は、グラフ内に対応するプロットされたメディアエンコードポイント２７０（図示せず）を生成する。グローバル凸包生成器７５０は、ビットレート軸５１０に沿った平均ビットレート６３２と歪み軸５２０に沿った全体的な歪みレベル６３６とを位置決めすることにより、所定のメディアエンコードポイント２７０をプロットする。ついで、グローバル凸包生成器７５０は、プロットされたメディアエンコードポイント２７０を評価して、グローバル凸包２６０（ｉ）を決定する。
【0130】
より具体的には、グローバル凸包生成器７５０は、プロットされたメディアエンコードポイント２７０を識別するが、ここで、プロットされたメディアエンコードポイント２７０の全てが境界の一方の側に存在する境界を形成し、また、任意の２つの連続する識別されたプロットされたメディアエンコードポイント２７０が直線で接続され、全ての残りのプロットされたメディアエンコードポイント２７０が同じ側に残るようにする。特に、複数のプロットされたメディアエンコードポイント２７０がグラフに関して互いに比較的小さい距離内にある場合には、グローバル凸包生成器７５０は、最高の現在のバッファ占有率６５０を有するメディアエンコードポイント２７０を選択する。凸包２６０（ｉ）は、識別されたメディアエンコードポイント２７０のセットを含む。
【0131】
図８に、本発明の種々の実施形態に係る図２のバッファベースの符号化アプリケーション１４０により生成される例示的なグローバル凸包２６０（Ｓ）および例示的な最適に符号化されたメディアシーケンス１８０を示す。より具体的には、サブシーケンスイテレータ２５０（Ｓ）は、メディアエンコードポイント２７０のグローバル凸包２６０（Ｓ）を生成する。この場合、各メディアエンコードポイントは、送信バッファ制約１７０に適合し、種々の全体的な歪みレベル６３６についての平均ビットレート６３２を最小化する。説明の目的で、ビットレート軸５１０および歪み軸５２０を含むがこれらに限定されないグラフ９００の一部として、図８に、プロットされたメディアエンコードポイント２７０を示す。
【0132】
図２に関連して先に説明したように、選択エンジン２９０は、全てのサブシーケンス１３２（０）～１３２（Ｓ）に関連付けられたグローバル凸包２６０（Ｓ）に基づいて、最適に符号化されたメディアシーケンス１８０を決定する。より具体的には、選択エンジン２９０は、グローバル凸包２６０（Ｓ）に含まれるメディアエンコードポイント２７０の平均ビットレート６３２を比較し、最適化されたメディアエンコードポイント２７０（Ｗ）が最高平均ビットレート６３２を有することを決定する。ついで、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０を、メディアエンコードポイント２７０（Ｗ）に含まれる符号化されたメディアシーケンス６３０（Ｗ）に等しくセットする。
【0133】
当業者には理解されるであろうように、最適に符号化されたメディアシーケンス１８０は、グローバル凸包２６０（Ｓ）に関連付けられた任意の他の符号化されたメディアシーケンス６３０より高い全体的な品質レベルを有する。その結果、最適化されたメディアシーケンス１８０は、送信バッファ制約１７０への適合およびエンドポイントデバイス上でのメディアタイトルの再生中での全体的な視覚品質の最適化の両方を行うメディアタイトルの符号化されたバージョンである。代替的な実施形態では、選択エンジン２９０は、グローバル凸包２６０（Ｓ）と任意の数およびタイプのメディアメトリックに関連付けられた任意の数およびタイプの基準とに基づいて、任意の技術的に実現可能な方式で、最適に符号化されたメディアシーケンス１８０を選択することができる。
【0134】
示されているように、最適に符号化されたメディアシーケンス１８０は、限定されないが、ＱＰ＝４０で符号化されたサブシーケンス１３２（０）の９６０×５４０バージョン、続いて、ＱＰ＝１１で符号化されたサブシーケンス１３２（１）の６４０×３６０バージョン、続いて、ＱＰ＝４７で符号化されたサブシーケンス１３２（２）の１２８０×７２０バージョン、続いて、ＱＰ＝２６で符号化されたサブシーケンス１３２（３）の９６０×５４０バージョンを含み、ＱＰ＝２で符号化されたサブシーケンス１３２（４）の６４０×３６０バージョンで終了する。有利には、図８に示されているように、解像度３１４およびレート制御値３１６はそれぞれ、最適に符号化されたメディアシーケンス１８０に含まれるサブシーケンス１３２にわたって変化する場合がある。
【0135】
説明の目的のためのみであるが、例示的なグローバル凸包２６０（Ｓ）に関連付けられた制約タイプ１７６は、ＣＲＢ ＶＢＶである。その結果、選択エンジン２９０が、最適に符号化されたメディアシーケンス１８０を決定した後、選択エンジン２９０は、最適化されたプリバッファリング時間１８２を計算する。示されているように、選択エンジン２９０は、初期バッファ占有率を、バッファサイズ１７４とメディアエンコードポイント２７０（Ｗ）に含まれる最小バッファ占有率６５２（Ｗ）との差に等しくセットする。ついで、選択エンジン２９０は、最適化されたプリバッファリング時間１８２を、初期バッファ占有率と送信レート１７２との商に等しくセットする。代替的な実施形態では、選択エンジン２９０は、任意の技術的に実現可能な方式で、最適化されたプリバッファリング時間１８２および／または初期バッファ占有率を計算することができる。
【0136】
図９Ａ～図９Ｂに、本発明の種々の実施形態に係るソースメディアタイトルを符号化するための方法ステップのフロー図を示す。方法ステップは、図１～図８のシステムを参照して説明されているが、当業者であれば、方法ステップを任意の順序で実装するように構成された任意のシステムが本発明の範囲内にあることを理解するであろう。
【0137】
示されているように、方法９００は、ステップ９０２で開始される。ここでは、サブシーケンス分析器１３０が、ソースメディアシーケンス１２２をサブシーケンス１３２に分割する。ステップ９０４において、バッファベースの符号化アプリケーション１４０が、符号化ポイントリスト２１０に含まれる各符号化ポイント２１２にわたる各サブシーケンス１３２を符号化して、符号化されたサブシーケンス４３０を生成する。代替的な実施形態では、各サブシーケンス１３２（ｘ）を、異なる符号化ポイントリスト２１０（ｘ）に関連付けることができる。特定のサブシーケンス１３２（ｘ）および特定の符号化ポイント２１２（ｙ）の両方に関連付けられた符号化されたサブシーケンス４３０を生成するために、バッファベースの符号化アプリケーション１４０は、関連付けられた解像度３１４および関連付けられたレート制御値３１６で、選択されたサブシーケンス１３２を符号化する。
【0138】
ステップ９０６では、各符号化されたサブシーケンス４３０について、バッファベースの符号化アプリケーション１４０が、ビットレート４３２、クオリティスコア４３４、および歪みレベル４３６を計算する。ステップ９０６の一部として、バッファベースの符号化アプリケーション１４０は、新たなサブシーケンスエンコードポイント２２２を生成する。サブシーケンスエンコードポイント２２２は、限定されないが、符号化ポイント２１２、符号化されたサブシーケンス４３０、ビットレート４３２、クオリティスコア４３４、および歪みレベル４３６を含む。
【0139】
ステップ９０８では、各サブシーケンス１３２（ｘ）に対して、凸包生成器２３０が、関連付けられたサブシーケンスエンコードポイント２２２に基づいて、異なる凸包２４０（ｘ）を生成する。特に、解像度３１４およびレート制御値３１６は、凸包２４０（ｘ）に含まれるサブシーケンスエンコードポイント２２２の間で変化しうる。ステップ９１０で、バッファベースの符号化アプリケーション１４０が、単一の初期化メディアエンコードポイント２７０（－１）を含むように先のグローバル凸包２６０をセットし、凸包２４０（０）を選択する。初期化メディアエンコードポイント２７０（－１）は、限定されないが、空のサブシーケンスエンコードリスト６１０、ＮＵＬＬの符号化されたメディアシーケンス６３０、バッファサイズ１７４の現在のバッファ占有率６５０、バッファサイズ１７４の最小バッファ占有率６５２、およびバッファサイズ１７４の最大バッファ占有率６５４を含む。
【0140】
ステップ９１２では、結合エンジン７１０が、先のグローバル凸包２６０および選択された凸包２４０に基づいて、メディアエンコードセット７２０を生成する。まず、結合エンジン７１０は、現在のメディアエンコードセット７２０を空のセットに初期化する。その後、先のグローバル凸包２６０に含まれる各メディアエンコードポイント２７０（ｘ）について、結合エンジン７１０は、Ｐ個の新たなメディアエンコードポイント２７０をメディアエンコードセット７２０に追加する。ここで、Ｐは、選択された凸包２４０に含まれるサブシーケンスエンコードポイント２２２の総数である。
【0141】
サブシーケンスエンコードポイント２２２（ｙ）およびメディアエンコードポイント２７０（ｘ）の両方に関連付けられた新たなメディアエンコードポイント２７０を生成するために、結合エンジン７１０は、サブシーケンスエンコードポイント２２２（ｙ）をメディアエンコードポイント２７０（ｘ）に含まれるサブシーケンスエンコードリスト６１０（ｘ）に追加して、新たなサブシーケンスエンコードリスト６１０を生成する。新たなサブシーケンスエンコードリスト６１０は、新たなメディアエンコードポイント２７０に含まれる。ついで、結合エンジン７１０は、新たなサブシーケンスエンコードリスト６１０に基づいて、メディアエンコードポイント２７０に含まれる新たな符号化されたメディアシーケンス６３０を生成する。最後に、結合エンジン７１０は、新たな符号化されたメディアシーケンス６３０および送信バッファ制約１７０に基づいて、新たなメディアエンコードポイント２７０に含まれる平均ビットレート６３２、全体的な歪みレベル６３６、現在のバッファ占有率６５０、最小バッファ占有率６５２、および最大バッファ占有率６５４を計算する。
【0142】
ステップ９１４では、フィルタリングエンジン７３０が、送信バッファ制約１７０に基づいて、メディアエンコードセット７２０に対してフィルタリング演算を実行して、適合するメディアエンコードセット７４０を生成する。より正確には、フィルタリングエンジン７３０は、最大バッファ占有率６５４と最小バッファ占有率６５２との差がバッファサイズ１７４より大きいメディアエンコードセット７４０に含まれるメディアエンコードポイント２７０を削除する。ステップ９１６において、グローバル凸包生成器７５０は、適合するメディアエンコードセット７４０に基づいて、現在のグローバル凸包２６０を生成する。
【0143】
ステップ９１８では、サブシーケンスイテレータ２５０が、選択された凸包２４０が最終的な凸包２４０（Ｓ）であり、その結果、ソースメディアシーケンス１２２に含まれる最終的なサブシーケンス１３２（Ｓ）に関連付けられているかどうかを判定する。ステップ９１８において、選択された凸包２４０が最終的な凸包２４０（Ｓ）ではないことをサブシーケンスイテレータ２５０が判定した場合には、方法９００は、ステップ９２０に進む。ステップ９２０において、サブシーケンスイテレータ２５０は、次の凸包２４０を選択し、先のグローバル凸包２６０を現在のグローバル凸包２６０に等しくセットする。ついで、方法９００は、ステップ９１２に戻る。ステップ９１２において、サブシーケンスイテレータ２５０は、先のグローバル凸包２６０および選択された凸包２４０に基づいて、新たな現在のグローバル凸包２６０を生成する。
【0144】
一方、ステップ９１８において、選択された凸包２４０が最終的な凸包２４０（Ｓ）であることをサブシーケンスイテレータ２５０が判定した場合には、方法９００は、ステップ９２２に直接に進む。ステップ９２２では、選択エンジン２９０が、現在のグローバル凸包２６０に含まれるメディアエンコードポイント２７０の最高平均ビットレート６３２を有するメディアエンコードポイント２７０を選択する。ステップ９２４で、選択エンジン２９０は、最適に符号化されたメディアシーケンス１８０を、選択されたメディアエンコードポイント２７０に含まれる符号化されたメディアシーケンス６３０に等しくセットする。
【0145】
ステップ９２６で、選択エンジン２９０は、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられているかどうかを判定する。ステップ９２６において、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられていないことを選択エンジン２９０が判定した場合には、方法９００は、ステップ９２８に進む。ステップ９２８において、選択エンジン２９０は、エンドポイントデバイスにストリーミングするために、最適に符号化されたメディアシーケンス１８０をコンテンツ配信ネットワーク１９０に送信する。ついで、方法９００は終了する。
【0146】
一方、ステップ９２６において、送信バッファ制約１７０が構成可能なプリバッファリング時間に関連付けられていることを選択エンジン２９０が判定した場合には、方法９００は、ステップ９３０に直接に進む。ステップ９３０で、選択エンジン２９０は、選択されたメディアエンコードポイント２７０および送信バッファ制約１７０に基づいて、最適化されたプリバッファリング時間１８２を計算する。ステップ９３２において、選択エンジン２９０は、エンドポイントデバイスにストリーミングするために、最適に符号化されたメディアシーケンス１８０および最適化されたプリバッファリング時間１８２をコンテンツ配信ネットワーク１９０に送信する。ついで、方法９００は終了する。
【0147】
まとめると、開示された技術により、送信バッファ制約に適合する最適に符号化されたメディアシーケンスを生成するために、ソースメディアシーケンスの効率的かつ最適な符号化が可能となる。サブシーケンスベースの符号化サブシステムは、限定されないが、サブシーケンス分析器およびバッファベースの符号化アプリケーションを含む。最初に、サブシーケンス分析器は、ソースメディアシーケンスを複数のサブシーケンスに分割する。各サブシーケンスについて、バッファベースの符号化サブシステムは、符号化リストに基づいて、複数の符号化されたサブシーケンスを生成する。符号化リストは、限定されないが、任意の数の符号化ポイントを含む。この場合、各符号化ポイントは、解像度とレート制御値との異なる組み合わせを指定する。
【0148】
各符号化されたサブシーケンスについて、バッファベースの符号化アプリケーションは、異なるサブシーケンスエンコードポイントを生成する。各サブシーケンスエンコードポイントは、限定されないが、関連付けられた符号化されたサブシーケンス、関連付けられた符号化ポイント、符号化されたサブシーケンスのビットレート、符号化されたサブシーケンスのクオリティスコア、および符号化されたサブシーケンスの歪みレベルを含む。その後、各サブシーケンスについて、凸包生成器は、そのサブシーケンスに関連付けられたサブシーケンスエンコードポイントのサブセットを含む凸包を生成する。一般的には、所定のサブシーケンスについて、関連付けられた凸包に含まれるサブシーケンスエンコードポイントは、種々の歪みレベルに対するビットレートを最小化する。
【0149】
ついで、サブシーケンスイテレータは、時間的再生順序でサブシーケンスを反復的に処理して、各サブシーケンスについてのメディアエンコードポイントの異なるグローバル凸包を生成する。ｎ番目のサブシーケンスについて、サブシーケンスイテレータは、送信バッファ制約、メディアエンコードポイントの（ｎ－１）番目のグローバル凸包およびｎ番目のサブシーケンスに関連付けられたサブシーケンスエンコードポイントのｎ番目の凸包に基づいて、メディアエンコードポイントのｎ番目のグローバル凸包を計算する。送信バッファ制約は、限定されないが、送信レート、バッファサイズおよび制約タイプを指定する。各メディアエンコードポイントは、限定されないが、サブシーケンスエンコードリスト、符号化されたメディアシーケンス、平均ビットレート、全体的な歪みレベル、現在のバッファ占有率、最小バッファ占有率および最大バッファ占有率を含む。
【0150】
ｎ番目のグローバル凸包における各メディアエンコードポイントは、０番目のサブシーケンスからｎ番目のサブシーケンスにわたるメディアタイトルの一部に関連付けられる。ｎ番目のグローバル凸包を生成するために、サブシーケンスイテレータは、（ｎ－１）番目のグローバル凸包に含まれるＶ個のメディアエンコードポイントのそれぞれを、ｎ番目の凸包に含まれるＡ個のサブシーケンスエンコードポイントのそれぞれと組み合わせて、（Ｖ×Ａ）個のメディアエンコードポイントを含むメディアエンコードセットを生成する。ついで、サブシーケンスイテレータは、送信バッファ制約、最小バッファ占有率および最大バッファ占有率に基づいて、メディアエンコードセットに対してフィルタリング演算を実行し、適合するメディアエンコードセットを生成する。最後に、サブシーケンスイテレータは、平均ビットレートおよび全体的な歪みレベルに基づいて、適合するメディアエンコードセットのサブセットであるｎ番目のグローバル凸包を生成する。一般的には、０番目のサブシーケンスからｎ番目のサブシーケンスにわたるメディアタイトルの部分について、ｎ番目のグローバル凸包に含まれるメディアエンコードポイントは、異なる全体的な歪みレベルについての平均ビットレートを最小化する。
【0151】
メディアタイトル全体にわたる最終的なグローバル凸包を生成した後、バッファベースの符号化アプリケーションに含まれる選択エンジンは、最終的なグローバル凸包に含まれるメディアエンコードポイントのうちの１つを、最適化されたメディアエンコードとして選択する。最適化されたメディアエンコードポイントは、最終的なグローバル凸包に含まれる他の全てのメディアエンコードポイントの平均ビットレートより高い平均ビットレートを有する。ついで、選択エンジンは、最適に符号化されたメディアシーケンスを、最適化されたメディアエンコードポイントに含まれる符号化されたメディアシーケンスに等しくセットする。制約タイプが、構成可能なプリバッファリング時間に関連付けられている場合には、選択エンジンは、最適化されたメディアエンコードポイントに含まれるバッファサイズおよび最小バッファ占有率に基づいて、最適化されたプリバッファリング時間を計算する。最後に、選択エンジンは、エンドポイントデバイスへの配信のために、最適に符号化されたメディアシーケンスおよび場合により、最適化されたプリバッファリング時間を、コンテンツ配信ネットワークに送信する。
【0152】
開示された技術の少なくとも１つの利点および技術的進歩は、符号化されたメディアシーケンスが、個別に符号化されたサブシーケンスのセットおよび送信バッファ制約に基づく再生順序でインクリメントに生成されることである。符号化されたメディアシーケンスを生成するために、種々の符号化ポイントを使用して符号化されたサブシーケンスを集約することにより、先行技術のモノリシック符号化技術に典型的に関連付けられた符号化の非効率性が低減される。さらに、グローバル凸包から送信バッファ制約に適合しない符号化されたメディアシーケンスを除外することにより、最適に符号化されたメディアシーケンスが送信バッファ制約に適合することが効率的に保証される。その結果、最適に符号化されたメディアシーケンスの全体的な視覚品質は、エンドポイントデバイス上でのメディアタイトルの再生中の送信バッファ制限に起因する再生中断の可能性を増大させることなく向上する。これらの技術的利点は、先行技術を上回る１つ以上の技術的進歩を提供する。
【0153】
１．幾つかの実施形態では、コンピュータ実装方法が、第１のセットの符号化ポイントおよびメディアタイトルに関連付けられた第１のサブシーケンスに基づいて、サブシーケンスエンコードポイントの第１の凸包を生成するステップと、送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップとを含む。
【0154】
２．前記送信バッファ制約が、一定のビットレートビデオバッファベリファイア（ＶＢＶ）制約または可変ビットレートＶＢＶ制約を含む、条項１記載のコンピュータ実装方法。
【0155】
３．前記コンピュータ実装方法が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、条項１または２記載のコンピュータ実装方法。
【0156】
４．前記第１のグローバル凸包を生成するステップが、前記第２のグローバル凸包に含まれるメディアエンコードポイントと前記第１の凸包に含まれるサブシーケンスエンコードポイントとの各組み合わせについて、メディアエンコードポイントのセットに含まれる異なるメディアエンコードポイントを生成するステップと、前記送信バッファ制約に基づいて、前記メディアエンコードポイントのセットに対して１回以上のフィルタリング演算を実行して、適合するメディアエンコードポイントのセットを生成するステップと、前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップとを含む、条項１から３までのいずれか１つ記載のコンピュータ実装方法。
【0157】
５．前記メディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、条項１から４までのいずれか１つ記載のコンピュータ実装方法。
【0158】
６．前記第１のグローバル凸包を生成するステップが、前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップとを含む、条項１から５までのいずれか1つ記載のコンピュータ実装方法。
【0159】
７．前記第１の凸包を生成するステップが、前記第１のセットの符号化ポイントおよび前記第１のサブシーケンスに基づいて、第１のセットのサブシーケンスエンコードポイントを生成するステップと、前記第１のセットのサブシーケンスエンコードポイントを含む領域を決定するステップと、前記第１のセットのサブシーケンスエンコードポイントに含まれるサブシーケンスエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、前記境界に沿って位置しない前記第１のセットのサブシーケンスエンコードポイントに含まれる全てのサブシーケンスエンコードポイントを破棄するステップとを含む、条項１から６までのいずれか１つ記載のコンピュータ実装方法。
【0160】
８．前記第１のセットの符号化ポイントに含まれる各符号化ポイントが、解像度とレート制御値との異なる組み合わせを指定する、条項１から７までのいずれか１つ記載のコンピュータ実装方法。
【0161】
９．前記コンピュータ実装方法が、前記メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割するステップをさらに含み、前記複数のサブシーケンスは第１のサブシーケンスを含む、条項１から８までのいずれか１つ記載のコンピュータ実装方法。
【0162】
１０．前記メディアタイトルが、ビデオコンテンツおよびオーディオコンテンツのうちの少なくとも一方を含む、条項１から９までのいずれか１つ記載のコンピュータ実装方法。
【0163】
１１．幾つかの実施形態では、１つ以上の非一時的コンピュータ可読媒体が、１つ以上のプロセッサにより実行される際に、１つ以上のプロセッサに、第１のセットの符号化ポイントにわたってメディアタイトルに関連付けられた第１のサブシーケンスを符号化して、それぞれが異なる符号化されたサブシーケンスに関連付けられる第１のセットのサブシーケンスエンコードポイントを生成するステップと、前記第１のセットのサブシーケンスエンコードポイントにわたって１つ以上の凸包演算を実行して、少なくとも２つのメディアメトリックに基づいて、サブシーケンスエンコードポイントの第１の凸包を計算するステップと、送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルに関連付けられた１つ以上のサブシーケンスに関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、第１のメディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップとを実行させるための命令を含む。
【0164】
１２．前記送信バッファ制約が、送信レートおよびバッファサイズの少なくとも一方を指定する、条項１１記載の１つ以上の非一時的コンピュータ可読媒体。
【0165】
１３．前記１つ以上の非一時的コンピュータ可読媒体が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、条項１１または１２記載の１つ以上の非一時的コンピュータ可読媒体。
【0166】
１４．前記第１のグローバル凸包を生成するステップが、前記第２のグローバル凸包に含まれる第３のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２のメディアエンコードポイントを生成するステップと、前記第３のメディアエンコードポイントおよび前記第１の凸包に含まれる第２のサブシーケンスエンコードポイントに基づいて、第４のメディアエンコードポイントを生成するステップと、前記第２のメディアエンコードポイントを、前記送信バッファ制約に基づいて、適合するエンコードポイントのセットに加えるが、前記第４のメディアエンコードポイントを加えないステップと、前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップとを含む、条項１１から１３までのいずれか１つ記載の１つ以上の非一時的コンピュータ可読媒体。
【0167】
１５．前記第１のメディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、条項１１から１４までのいずれか１つ記載の１つ以上の非一時的コンピュータ可読媒体。
【0168】
１６．前記第１のグローバル凸包を生成するステップが、前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップとを含む、条項１１から１５までのいずれか１つ記載の１つ以上の非一時的コンピュータ可読媒体。
【0169】
１７．前記第１のグローバル凸包を生成するステップが、前記送信バッファ制約、前記第１の凸包および前記第２のグローバル凸包に基づいて、適合するメディアエンコードポイントのセットを生成するステップと、前記適合するメディアエンコードポイントのセットを含む領域を決定するステップと、前記適合するメディアエンコードポイントのセットに含まれる適合するメディアエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、前記境界に沿って位置しない前記適合するメディアエンコードポイントのセットに含まれる全ての適合するメディアエンコードポイントを破棄するステップとを含む、条項１１から１６までのいずれか１つ記載の１つ以上の非一時的コンピュータ可読媒体。
【0170】
１８．前記第１の符号化されたメディアシーケンスが、第１の符号化されたサブシーケンスおよび第２の符号化されたサブシーケンスを含み、前記第１の符号化されたサブシーケンスが、前記第１のセットの符号化ポイントに含まれる第１の符号化ポイントに関連付けられており、前記第２の符号化されたサブシーケンスが、前記第１の符号化ポイントとは等しくない前記第１のセットの符号化ポイントに含まれる第２の符号化ポイントに関連付けられている、条項１１から１７までのいずれか１つ記載の１つ以上の非一時的コンピュータ可読媒体。
【0171】
１９．前記メディアタイトルに関連付けられた前記第１のサブシーケンスが、ショットシーケンスを含む、条項１１から１８までのいずれか１つ記載の１つ以上の非一時的コンピュータ可読媒体。
【0172】
２０．幾つかの実施形態では、システムが、命令を記憶する１つ以上のメモリと、前記１つ以上のメモリに結合された１つ以上のプロセッサであって、前記命令を実行する際に、メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割し、第１のセットの符号化ポイントおよび前記複数のサブシーケンスに含まれる第１のサブシーケンスに基づいて、それぞれが異なる符号化されたサブシーケンスに関連付けられたサブシーケンスエンコードポイントの第１の凸包を生成し、送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成し、メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択し、前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するように構成された１つ以上のプロセッサとを備える。
【0173】
特許請求の範囲のいずれかに列挙された特許請求の範囲の構成要件および／または本願に記載された任意の構成要件のいずれかの任意かつ全ての組み合わせは、任意に、本発明および保護の企図された範囲内に該当する。
【0174】
種々の実施形態の説明を例証の目的で提示してきたが、網羅的であることもまたは開示された実施形態に限定されることも意図するものではない。記載された実施形態の範囲および精神から逸脱しない多くの修正および変形が当業者には明らかであろう。
【0175】
本実施形態の態様は、システム、方法またはコンピュータプログラム製品として具現化することができる。したがって、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）または本明細書において、全て一般的には「モジュール」または「システム」と称されうるソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとる場合がある。加えて、本開示に記載された任意のハードウェアおよび／またはソフトウェア技術、プロセス、機能、コンポーネント、エンジン、モジュールまたはシステムを、回路または回路のセットとして実装することができる。さらに、本開示の態様は、コンピュータ可読プログラムコードが具現化された１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。
【0176】
１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線または半導体のシステム、装置もしくはデバイスまたは前述のものの任意の適切な組み合わせでありうるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイスまたは前述のものの任意の適切な組み合わせを含むであろう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスによりまたはこれに関連して使用するためのプログラムを収容しまたは記憶することができる任意の有形媒体であってよい。
【0177】
本開示の態様は、本開示の実施形態に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して上で説明した。フローチャート図および／またはブロック図の各ブロックならびにフローチャート図および／またはブロック図におけるブロックの組み合わせは、コンピュータプログラム命令により実装することができると理解されたい。これらのコンピュータプログラム命令は、機械を製造するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供可能である。命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行された際に、フローチャート図および／またはブロック図の１つ以上のブロックで指定された機能／動作の実装が可能となる。このようなプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサまたはフィールドプログラマブルゲートアレイであってよいが、これらに限定されない。
【0178】
図中のフローチャート図およびブロック図は、本開示の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な構成のアーキテクチャ、機能および演算を示す。この点に関して、フローチャート図またはブロック図における各ブロックは、指定された論理関数を実装するための１つ以上の実行可能命令を含む、モジュール、セグメントまたはコードの一部を表すことができる。また、幾つかの代替的な構成では、ブロック内に記載された関数は、図に記載されている順序から外れて実行される場合があることに留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、または含まれる機能に応じて、場合により逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロックならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアベースのシステムまたは専用ハードウェアとコンピュータ命令との組み合わせにより実装できることに留意されたい。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
コンピュータ実装方法であって、前記方法が、
第１のセットの符号化ポイントおよびメディアタイトルに関連付けられた第１のサブシーケンスに基づいて、サブシーケンスエンコードポイントの第１の凸包を生成するステップと、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、
メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップと
を含む、コンピュータ実装方法。
実施形態２
前記送信バッファ制約が、一定のビットレートビデオバッファベリファイア（ＶＢＶ）制約または可変ビットレートＶＢＶ制約を含む、実施形態１記載のコンピュータ実装方法。
実施形態３
前記コンピュータ実装方法が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、実施形態１記載のコンピュータ実装方法。
実施形態４
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれるメディアエンコードポイントと前記第１の凸包に含まれるサブシーケンスエンコードポイントとの各組み合わせについて、メディアエンコードポイントのセットに含まれる異なるメディアエンコードポイントを生成するステップと、
前記送信バッファ制約に基づいて、前記メディアエンコードポイントのセットに対して１回以上のフィルタリング演算を実行して、適合するメディアエンコードポイントのセットを生成するステップと、
前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップと
を含む、実施形態１記載のコンピュータ実装方法。
実施形態５
前記メディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、実施形態１記載のコンピュータ実装方法。
実施形態６
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、
前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、
前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、
前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップと
を含む、実施形態１記載のコンピュータ実装方法。
実施形態７
前記第１の凸包を生成するステップが、
前記第１のセットの符号化ポイントおよび前記第１のサブシーケンスに基づいて、第１のセットのサブシーケンスエンコードポイントを生成するステップと、
前記第１のセットのサブシーケンスエンコードポイントを含む領域を決定するステップと、
前記第１のセットのサブシーケンスエンコードポイントに含まれるサブシーケンスエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、
前記境界に沿って位置しない前記第１のセットのサブシーケンスエンコードポイントに含まれる全てのサブシーケンスエンコードポイントを破棄するステップと
を含む、実施形態１記載のコンピュータ実装方法。
実施形態８
前記第１のセットの符号化ポイントに含まれる各符号化ポイントが、解像度とレート制御値との異なる組み合わせを指定する、実施形態１記載のコンピュータ実装方法。
実施形態９
前記コンピュータ実装方法が、前記メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割するステップをさらに含み、前記複数のサブシーケンスは第１のサブシーケンスを含む、実施形態１記載のコンピュータ実装方法。
実施形態１０
前記メディアタイトルが、ビデオコンテンツおよびオーディオコンテンツのうちの少なくとも一方を含む、実施形態１記載のコンピュータ実装方法。
実施形態１１
１つ以上の非一時的コンピュータ可読媒体であって、１つ以上のプロセッサにより実行される際に、前記１つ以上のプロセッサに、
第１のセットの符号化ポイントにわたってメディアタイトルに関連付けられた第１のサブシーケンスを符号化して、それぞれが異なる符号化されたサブシーケンスに関連付けられる、第１のセットのサブシーケンスエンコードポイントを生成するステップと、
前記第１のセットのサブシーケンスエンコードポイントにわたって１つ以上の凸包演算を実行して、少なくとも２つのメディアメトリックに基づいて、サブシーケンスエンコードポイントの第１の凸包を計算するステップと、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルに関連付けられた１つ以上のサブシーケンスに関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、
第１のメディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップと
を実行させるための命令を含む、１つ以上の非一時的コンピュータ可読媒体。
実施形態１２
前記送信バッファ制約が、送信レートおよびバッファサイズの少なくとも一方を指定する、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１３
前記１つ以上の非一時的コンピュータ可読媒体が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１４
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれる第３のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２のメディアエンコードポイントを生成するステップと、
前記第３のメディアエンコードポイントおよび前記第１の凸包に含まれる第２のサブシーケンスエンコードポイントに基づいて、第４のメディアエンコードポイントを生成するステップと、
前記第２のメディアエンコードポイントを、前記送信バッファ制約に基づいて、適合するエンコードポイントのセットに加えるが、前記第４のメディアエンコードポイントを加えないステップと、
前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップと
を含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１５
前記第１のメディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１６
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、
前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、
前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、
前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップと
を含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１７
前記第１のグローバル凸包を生成するステップが、
前記送信バッファ制約、前記第１の凸包および前記第２のグローバル凸包に基づいて、適合するメディアエンコードポイントのセットを生成するステップと、
前記適合するメディアエンコードポイントのセットを含む領域を決定するステップと、
前記適合するメディアエンコードポイントのセットに含まれる適合するメディアエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、
前記境界に沿って位置しない前記適合するメディアエンコードポイントのセットに含まれる全ての適合するメディアエンコードポイントを破棄するステップと
を含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１８
前記第１の符号化されたメディアシーケンスが、第１の符号化されたサブシーケンスおよび第２の符号化されたサブシーケンスを含み、前記第１の符号化されたサブシーケンスが、前記第１のセットの符号化ポイントに含まれる第１の符号化ポイントに関連付けられており、前記第２の符号化されたサブシーケンスが、前記第１の符号化ポイントとは等しくない前記第１のセットの符号化ポイントに含まれる第２の符号化ポイントに関連付けられている、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１９
前記メディアタイトルに関連付けられた前記第１のサブシーケンスが、ショットシーケンスを含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態２０
システムであって、
命令を記憶する１つ以上のメモリと、
前記１つ以上のメモリに結合された１つ以上のプロセッサであって、前記命令を実行する際に、
メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割し、
第１のセットの符号化ポイントおよび前記複数のサブシーケンスに含まれる第１のサブシーケンスに基づいて、それぞれが異なる符号化されたサブシーケンスに関連付けられたサブシーケンスエンコードポイントの第１の凸包を生成し、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成し、
メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択し、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定する
ように構成された１つ以上のプロセッサと
を備える、システム。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
コンピュータ実装方法であって、前記方法が、
第１のセットの符号化ポイントおよびメディアタイトルに関連付けられた第１のサブシーケンスに基づいて、サブシーケンスエンコードポイントの第１の凸包を生成するステップと、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、
メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップと
を含む、コンピュータ実装方法。
実施形態２
前記送信バッファ制約が、一定のビットレートビデオバッファベリファイア（ＶＢＶ）制約または可変ビットレートＶＢＶ制約を含む、実施形態１記載のコンピュータ実装方法。
実施形態３
前記コンピュータ実装方法が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、実施形態１記載のコンピュータ実装方法。
実施形態４
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれるメディアエンコードポイントと前記第１の凸包に含まれるサブシーケンスエンコードポイントとの各組み合わせについて、メディアエンコードポイントのセットに含まれる異なるメディアエンコードポイントを生成するステップと、
前記送信バッファ制約に基づいて、前記メディアエンコードポイントのセットに対して１回以上のフィルタリング演算を実行して、適合するメディアエンコードポイントのセットを生成するステップと、
前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップと
を含む、実施形態１記載のコンピュータ実装方法。
実施形態５
前記メディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、実施形態１記載のコンピュータ実装方法。
実施形態６
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、
前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、
前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、
前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップと
を含む、実施形態１記載のコンピュータ実装方法。
実施形態７
前記第１の凸包を生成するステップが、
前記第１のセットの符号化ポイントおよび前記第１のサブシーケンスに基づいて、第１のセットのサブシーケンスエンコードポイントを生成するステップと、
前記第１のセットのサブシーケンスエンコードポイントを含む領域を決定するステップと、
前記第１のセットのサブシーケンスエンコードポイントに含まれるサブシーケンスエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、
前記境界に沿って位置しない前記第１のセットのサブシーケンスエンコードポイントに含まれる全てのサブシーケンスエンコードポイントを破棄するステップと
を含む、実施形態１記載のコンピュータ実装方法。
実施形態８
前記第１のセットの符号化ポイントに含まれる各符号化ポイントが、解像度とレート制御値との異なる組み合わせを指定する、実施形態１記載のコンピュータ実装方法。
実施形態９
前記コンピュータ実装方法が、前記メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割するステップをさらに含み、前記複数のサブシーケンスは第１のサブシーケンスを含む、実施形態１記載のコンピュータ実装方法。
実施形態１０
前記メディアタイトルが、ビデオコンテンツおよびオーディオコンテンツのうちの少なくとも一方を含む、実施形態１記載のコンピュータ実装方法。
実施形態１１
１つ以上の非一時的コンピュータ可読媒体であって、１つ以上のプロセッサにより実行される際に、前記１つ以上のプロセッサに、
第１のセットの符号化ポイントにわたってメディアタイトルに関連付けられた第１のサブシーケンスを符号化して、それぞれが異なる符号化されたサブシーケンスに関連付けられる、第１のセットのサブシーケンスエンコードポイントを生成するステップと、
前記第１のセットのサブシーケンスエンコードポイントにわたって１つ以上の凸包演算を実行して、少なくとも２つのメディアメトリックに基づいて、サブシーケンスエンコードポイントの第１の凸包を計算するステップと、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルに関連付けられた１つ以上のサブシーケンスに関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成するステップと、
第１のメディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択するステップと、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定するステップと
を実行させるための命令を含む、１つ以上の非一時的コンピュータ可読媒体。
実施形態１２
前記送信バッファ制約が、送信レートおよびバッファサイズの少なくとも一方を指定する、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１３
前記１つ以上の非一時的コンピュータ可読媒体が、前記第１の符号化されたメディアシーケンスに関連付けられた最小バッファ占有率および前記送信バッファ制約に関連付けられたバッファサイズに基づいて、プリバッファリング時間を計算するステップをさらに含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１４
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれる第３のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２のメディアエンコードポイントを生成するステップと、
前記第３のメディアエンコードポイントおよび前記第１の凸包に含まれる第２のサブシーケンスエンコードポイントに基づいて、第４のメディアエンコードポイントを生成するステップと、
前記第２のメディアエンコードポイントを、前記送信バッファ制約に基づいて、適合するエンコードポイントのセットに加えるが、前記第４のメディアエンコードポイントを加えないステップと、
前記適合するメディアエンコードポイントのセットにわたって、１回以上の凸包演算を実行して、前記第１のグローバル凸包を生成するステップと
を含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１５
前記第１のメディアメトリックがビットレートを含み、前記第１のメディアエンコードポイントを選択するステップは、前記第１のメディアエンコードポイントに関連付けられた第１の平均ビットレートが前記第１のグローバル凸包に含まれる他の全てのメディアエンコードポイントに関連付けられた平均ビットレートより大きいことを判定するステップを含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１６
前記第１のグローバル凸包を生成するステップが、
前記第２のグローバル凸包に含まれる第２のメディアエンコードポイントおよび前記第１の凸包に含まれる第１のサブシーケンスエンコードポイントに基づいて、第２の符号化されたメディアシーケンスを生成するステップと、
前記第２の符号化されたメディアシーケンスおよび前記送信バッファ制約に関連付けられた送信レートに基づいて、最小バッファ占有率および最大バッファ占有率を計算するステップと、
前記最大バッファ占有率と前記最小バッファ占有率との差が前記送信バッファ制約に関連付けられたバッファサイズを超えていないことを判定するステップと、
前記差が前記バッファサイズを超えていないと判定されたことに応答して、前記第２の符号化されたメディアシーケンスに関連付けられた第２のメディアエンコードポイントを前記第１のグローバル凸包に追加するステップと
を含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１７
前記第１のグローバル凸包を生成するステップが、
前記送信バッファ制約、前記第１の凸包および前記第２のグローバル凸包に基づいて、適合するメディアエンコードポイントのセットを生成するステップと、
前記適合するメディアエンコードポイントのセットを含む領域を決定するステップと、
前記適合するメディアエンコードポイントのセットに含まれる適合するメディアエンコードポイントがその第１の側に位置しない、前記領域に関連付けられた境界を識別するステップと、
前記境界に沿って位置しない前記適合するメディアエンコードポイントのセットに含まれる全ての適合するメディアエンコードポイントを破棄するステップと
を含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１８
前記第１の符号化されたメディアシーケンスが、第１の符号化されたサブシーケンスおよび第２の符号化されたサブシーケンスを含み、前記第１の符号化されたサブシーケンスが、前記第１のセットの符号化ポイントに含まれる第１の符号化ポイントに関連付けられており、前記第２の符号化されたサブシーケンスが、前記第１の符号化ポイントとは等しくない前記第１のセットの符号化ポイントに含まれる第２の符号化ポイントに関連付けられている、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態１９
前記メディアタイトルに関連付けられた前記第１のサブシーケンスが、ショットシーケンスを含む、実施形態１１記載の１つ以上の非一時的コンピュータ可読媒体。
実施形態２０
システムであって、
命令を記憶する１つ以上のメモリと、
前記１つ以上のメモリに結合された１つ以上のプロセッサであって、前記命令を実行する際に、
メディアタイトルに関連付けられたソースメディアシーケンスを、複数のショットチェンジに基づいて、複数のサブシーケンスに分割し、
第１のセットの符号化ポイントおよび前記複数のサブシーケンスに含まれる第１のサブシーケンスに基づいて、それぞれが異なる符号化されたサブシーケンスに関連付けられたサブシーケンスエンコードポイントの第１の凸包を生成し、
送信バッファ制約、前記第１の凸包、および前記メディアタイトルについての再生順序における前記第１のサブシーケンスの前に生じるメディアタイトルの一部に関連付けられたメディアエンコードポイントの第２のグローバル凸包に基づいて、メディアエンコードポイントの第１のグローバル凸包を生成し、
メディアメトリックに基づいて、前記第１のグローバル凸包に含まれる第１のメディアエンコードポイントを選択し、
前記第１のメディアエンコードポイントに基づいて、前記メディアタイトルの再生中に続いてエンドポイントデバイスにストリーミングされる第１の符号化されたメディアシーケンスを決定する
ように構成された１つ以上のプロセッサと
を備える、システム。
【0179】
以上の説明は、本開示の実施形態を対象としているが、本開示の他の実施形態および更なる実施形態を本開示の基本的な範囲から逸脱することなく考案することができ、本開示の範囲は、下記の特許請求の範囲により決定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】