特開 2024-125994 ビデオエンコーディングのための候補ビットレートの動的選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125994

(43)【公開日】2024-09-19

(54)【発明の名称】ビデオエンコーディングのための候補ビットレートの動的選択

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20240911BHJP

   H04N 21/235 20110101ALI20240911BHJP

   H04N 19/115 20140101ALI20240911BHJP

   H04N 19/167 20140101ALI20240911BHJP

   H04N 19/179 20140101ALI20240911BHJP

【ＦＩ】

H04N21/2662

H04N21/235

H04N19/115

H04N19/167

H04N19/179

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023199246

(22)【出願日】2023-11-24

(31)【優先権主張番号】18/179,281

(32)【優先日】2023-03-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】523380346

【氏名又は名称】ベイジン・フル・ソフトウェア・テクノロジー・デベロップメント、カンパニー・リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＨＵＬＵ ＳＯＦＴＷＡＲＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２１０１－２１０８ ２１／Ｆ， ２２０１－２２０８ ２２／Ｆ， Ｂｕｉｌｄｉｎｇ Ｂ， Ｎｏ．１３ Ｂｕｉｌｄｉｎｇ， Ｗａｎｇｊｉｎｇ Ｅａｓｔ Ｐａｒｋ， ４ｔｈ Ｂｌｏｃｋ， ＰＯＳＣＯ， Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １００１０２， ＰＲＣ

(71)【出願人】

【識別番号】500324510

【氏名又は名称】ディズニー エンタープライジーズ インコーポレイテッド

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】チェン・リュー

(72)【発明者】

【氏名】ウェンハオ・ジャン

(72)【発明者】

【氏名】スコット・ラブロッツィ

(72)【発明者】

【氏名】ユエンイー・シュエ

(72)【発明者】

【氏名】シーチャン・フアンフー

(72)【発明者】

【氏名】シャオボー・リュー

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159PP04

5C159SS09

5C159TA30

5C159TA60

5C159TB02

5C159TC10

5C159TC34

5C159TC43

5C159TD15

5C159UA02

5C159UA05

5C164FA06

5C164MA02S

5C164SB08P

5C164SC03P

5C164TA08S

(57)【要約】      （修正有）

【課題】ビデオエンコーディングのための候補ビットレートの動的選択方法を提供する。
【解決手段】方法は、ビデオの第１の部分の第１の特徴に基づいてビットレートと品質との間の第１の関連性の第１の表現を生成し、ビデオの第２の部分の第２の特徴に基づいてビットレートと品質との間の第２の関連性の第２の表現を生成する。第１の表現は、ビデオの第１の部分のためのビットレートの第１のリストを決定するために分析され、第２の表現は、ビデオの第２の部分のためのビットレートの第２のリストを決定するために分析される。ビットレートの第１のリストは、ビットレートの第２のリストとは異なる。ビデオの第１の部分の符号化に使用するためのビットレートの第１のリストと、ビデオの第２の部分の符号化に使用するためのビットレートの第２のリストとを出力する。
【選択図】図１５

【特許請求の範囲】

【請求項1】

コンピューティングデバイスによって、ビデオの第１の部分の第１の特徴に基づいてビットレートと品質との間の第１の関連性の第１の表現を生成することと、
前記コンピューティングデバイスによって、ビデオの第２の部分の第２の特徴に基づいてビットレートと品質との間の第２の関連性の第２の表現を生成ことと、
前記コンピューティングデバイスによって、ビデオの前記第１の部分のためのビットレートの第１のリストを決定するために前記第１の表現を分析すること、およびビデオの前記第２の部分のためのビットレートの第２のリストを決定するために前記第２の表現を分析することと、ここにおいて、ビットレートの前記第１のリストは、ビットレートの前記第２のリストとは異なり、
前記コンピューティングデバイスによって、ビデオの前記第１の部分の符号化に使用するためのビットレートの前記第１のリスト、およびビデオの前記第２の部分の符号化に使用するためのビットレートの前記第２のリストを出力することと、
を備える、方法。

【請求項2】

前記第１の表現を生成することは、ビットレートおよび品質についての前記第１の関連性の第１の予測を生成することを備え、
前記第２の表現を生成することは、ビットレートおよび品質についての前記第２の関連性の第２の予測を生成することを備える、
請求項１に記載の方法。

【請求項3】

前記第１の表現を生成することは、
前記第１の特徴を予測ネットワークに入力することと、
前記第１の特徴に基づいて前記第１の表現の第１の予測を生成することと、を備え、
前記第２の表現を生成することは、
前記第２の特徴を前記予測ネットワークに入力することと、
前記第２の特徴に基づいて前記第２の表現の第２の予測を生成することと、を備える、
請求項１に記載の方法。

【請求項4】

前記第１の表現を分析すること、または前記第２の表現を分析することは、
前記第１の表現または前記第２の表現に基づいて潜在的なビットレートのリストを生成することと、
ビットレートの前記第１のリストまたはビットレートの前記第２のリストを決定するために前記潜在的なビットレートに関連する品質に基づいて潜在的なビットレートの前記リストを改良することと、
を備える、請求項１に記載の方法。

【請求項5】

潜在的なビットレートの前記リストを改良することは、
潜在的なビットレートの前記リストから第１の潜在的なビットレートを除去すること
を備える、請求項４に記載の方法。

【請求項6】

前記潜在的なビットレートを除去することは、
第２の潜在的なビットレートを決定することと、
前記第１の潜在的なビットレートの第１の品質を前記第２の潜在的なビットレートの第２の品質と比較することと、
前記比較することに基づいて前記第１の潜在的なビットレートを除去するかどうかを決定することと、
を備える、請求項５に記載の方法。

【請求項7】

前記第１の品質と前記第２の品質との間の差が閾値を満たすとき、前記第１の潜在的なビットレートは、潜在的なビットレートの前記リストから除去される、請求項６に記載の方法。

【請求項8】

潜在的なビットレートの前記リストを改良することは、
第１の潜在的なビットレートを潜在的なビットレートの前記リストに追加すること
を備える、請求項４に記載の方法。

【請求項9】

前記潜在的なビットレートを追加することは、
潜在的なビットレートの前記リスト内にある第２の潜在的なビットレートおよび第３の潜在的なビットレートを決定することと、
前記第２の潜在的なビットレートの第１の品質を前記第３の潜在的なビットレートの第２の品質と比較することと、
前記比較することに基づいて前記第１の潜在的なビットレートを追加するかどうかを決定することと、
を備える、請求項８に記載の方法。

【請求項10】

前記第１の品質と前記第２の品質との間の差が閾値を満たすとき、前記第１の潜在的なビットレートが追加される、請求項９に記載の方法。

【請求項11】

前記第１の表現を分析すること、または前記第２の表現を分析することは、
ビデオの前記第１の部分またはビデオの前記第２の部分における複数のセグメントについての複数の第１の表現を分析することと、
前記複数の第１の表現ごとに第１の最小ビットレートおよび第１の最大ビットレートを決定することと、
前記複数の第１の表現ごとに前記第１の最小ビットレートおよび前記第１の最大ビットレート基づいてビデオの前記第１の部分またはビデオの前記第２の部分についての第２の最小ビットレートおよび第２の最大ビットレートを決定することと、
を備える、請求項１に記載の方法。

【請求項12】

前記第１の表現を分析すること、または前記第２の表現を分析することは、
前記第２の最小ビットレートおよび前記第２の最大ビットレートに基づいて潜在的なビットレートのリストを生成することを備え、ここにおいて、潜在的なビットレートの前記リスト内の潜在的なビットレートは、ビットレートの前記第１のリストまたはビットレートの前記第２のリストを決定するために分析される、請求項１１に記載の方法。

【請求項13】

前記第１の表現を分析すること、または前記第２の表現を分析することは、
前記複数の第１の表現ごとに潜在的な除去候補ビットレートを決定することと、ここにおいて、潜在的な除去候補ビットレートは、潜在的なビットレートの前記リストからの潜在的な除去であり、
前記複数の第１の表現の各々のうちの１つまたは複数の中に潜在的な除去候補として含まれる前記潜在的な除去候補ビットレートに基づいて潜在的な除去候補ビットレートを除去するかどうかを決定することと、
を備える、請求項１２に記載の方法。

【請求項14】

前記第１の表現を分析すること、または前記第２の表現を分析することは、
前記複数の第１の表現ごとに潜在的な追加候補ビットレートを決定することと、ここにおいて、潜在的な追加候補は、潜在的なビットレートの前記リストへの潜在的な追加であり、
前記複数の第１の表現の各々のうちの１つまたは複数の中に潜在的な追加候補として含まれる前記潜在的な追加候補ビットレートに基づいて潜在的なビットレートを追加するかどうかを決定することと、
を備える、請求項１２に記載の方法。

【請求項15】

ビットレートの前記第１のリストは、ビットレートの前記第２のリストに含まれていないビットレートを含む、
請求項１に記載の方法。

【請求項16】

ビデオの前記第１の部分についての複数の第１の符号化された部分を生成するためにビットレートの前記第１のリストを使用してビデオの前記第１の部分を符号化することと、
ビデオの前記第２の部分についての複数の第２の符号化された部分を生成するためにビットレートの前記第２のリストを使用してビデオの前記第２の部分を符号化することと、
をさらに備える、請求項１に記載の方法。

【請求項17】

プロファイルラダーにおける第１のプロファイルについての前記複数の第１の符号化された部分から、符号化されたセグメントを選択することと、
前記プロファイルラダーにおける前記第１のプロファイルについての前記複数の第２の符号化された部分から、符号化されたセグメントを選択することと、
をさらに備える、請求項１６に記載の方法。

【請求項18】

コンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体であって、コンピューティングデバイスによって実行されるときに、
ビデオの第１の部分の第１の特徴に基づいてビットレートと品質との間の第１の関連性の第１の表現を生成することと、
ビデオの第２の部分の第２の特徴に基づいてビットレートと品質との間の第２の関連性の第２の表現を生成することと、
ビデオの前記第１の部分のためのビットレートの第１のリストを決定するために前記第１の表現を分析すること、およびビデオの前記第２の部分のためのビットレートの第２のリストを決定するために前記第２の表現を分析することと、ここにおいて、ビットレートの前記第１のリストは、ビットレートの前記第２のリストとは異なり、
ビデオの前記第１の部分の符号化に使用するためのビットレートの前記第１のリスト、およびビデオの前記第２の部分の符号化に使用するためのビットレートの前記第２のリストを出力することと、
について前記コンピューティングデバイスを動作可能にさせている、非一時的なコンピュータ可読記憶媒体。

【請求項19】

前記第１の表現を生成することは、ビットレートおよび品質についての前記第１の関連性の第１の予測を生成することを備え、
前記第２の表現を生成することは、ビットレートおよび品質についての前記第２の関連性の第２の予測を生成することを備える、
請求項１８に記載の非一時的なコンピュータ可読記憶媒体。

【請求項20】

１つまたは複数のコンピュータプロセッサと、
ビデオの第１の部分の第１の特徴に基づいてビットレートと品質との間の第１の関連性の第１の表現を生成すること、
ビデオの第２の部分の第２の特徴に基づいてビットレートと品質との間の第２の関連性の第２の表現を生成すること、
ビデオの前記第１の部分のためのビットレートの第１のリストを決定するために前記第１の表現を分析すること、およびビデオの前記第２の部分のためのビットレートの第２のリストを決定するために前記第２の表現を分析すること、ここにおいて、ビットレートの前記第１のリストは、ビットレートの前記第２のリストとは異なり、ならびに
ビデオの前記第１の部分の符号化に使用するためのビットレートの前記第１のリスト、およびビデオの前記第２の部分の符号化に使用するためのビットレートの前記第２のリストを出力すること
のために動作可能であるように前記１つまたは複数のコンピュータプロセッサを制御するための命令を備えるコンピュータ可読記憶媒体と、
を備える、装置。

【発明の詳細な説明】

【背景技術】

【0001】

[0001]ビデオをクライアントデバイスに配信する一方法は、アダプティブビットレートストリーミング（ＡＢＲ）を使用する。アダプティブビットレートストリーミングは、異なるレベルのビットレートおよび／または品質などの異なるレベルのビデオ属性で符号化された（しばしば、バリアントまたはプロファイルと呼ばれる）複数のストリームを提供することに根拠が置かれる。プロファイルラダーは、ビデオのセグメントをストリーミングするときにクライアントが使用するために利用可能な異なるプロファイルをリストする。クライアントは、ネットワーク状態および他の要因に基づいて、プロファイルを動的に選択することができる。ビデオはセグメント化され（例えば、通常は数秒の長さごとに個別のセグメントに分割され）、クライアントは、ネットワーク状態が変化するときにセグメント境界であるプロファイルから別のプロファイルに切り替えることができる。例えば、ビデオ配信システムは、より高い利用可能な帯域幅を有するネットワーク状態が経験されているときに、ストリーミングされているビデオの品質を改善するより高いビットレートを有するプロファイルをクライアントに与えることを望む。より低い利用可能な帯域幅を有するネットワーク状態が経験されているときに、ビデオ配信システムは、クライアントが、再バッファリングまたはダウンロードの失敗などの何らかの再生問題を有することなしにビデオを再生することができるように、より低いビットレートを有するプロファイルをクライアントに与えることを望む。

【発明の概要】

【0002】

[0002]含まれる図面は、例示的な目的のためであり、開示される発明のシステム、装置、方法、およびコンピュータプログラム製品についての可能な構造および動作の例を与える役割を果たすものに過ぎない。これらの図面は、開示された実施の精神および範囲から逸脱することなく、当業者によってなされ得る形態および細部のいかなる変更も決して限定しない。

【図面の簡単な説明】

【0003】

【図1】[0003]いくつかの実施形態による候補平均ビットレートのリストを動的に選択するためのシステムを示す図。

【図2】[0004]いくつかの実施形態によるビデオの部分の一例を示す図。

【図3A】[0005]いくつかの実施形態による候補平均ビットレートのリストの生成の一例を示す図。

【図3B】[0006]いくつかの実施形態による符号化されたセグメントの生成の一例を示す図。

【図4】[0007]いくつかの実施形態による符号化されたセグメントを複数のプールにクラスタリングする一例を示す図。

【図5】[0008]いくつかの実施形態による選択プロセスの一例を示す図。

【図6】[0009]いくつかの実施形態によるプールのために符号化されたセグメントを選択するために使用され得るレート歪み曲線のグラフの一例を示す図。

【図7】[0010]いくつかの実施形態によるセグメントごとにプロファイルについての選択された符号化されたセグメントの一例を示す図。

【図8】[0011]いくつかの実施形態によるビデオコンテンツのための異なるレート歪み曲線の一例を示す図。

【図9】[0012]いくつかの実施形態による異なる符号化構成を使用する異なる特性を示す図。

【図10】[0013]いくつかの実施形態による異なるレート歪み曲線について静的候補平均ビットレートを使用する一例を示す図。

【図11】[0014]いくつかの実施形態による最適化された候補平均ビットレートリストを示す図。

【図12】[0015]いくつかの実施形態によるセグメント品質駆動型適応処理システム（ＳＱＡ）システムおよび事前分析最適化プロセスのより詳細な例を示す図。

【図13】[0016]いくつかの実施形態によるレート歪み（ＲＤ）予測システムのより詳細な例を示す図。

【図14】[0017]いくつかの実施形態による予測ネットワークの出力を示す図。

【図15】[0018]いくつかの実施形態による候補平均ビットレートのリストを選択するための最適化プロセスを実行するための方法の簡略化されたフローチャートを示す図。

【図16】[0019]いくつかの実施形態による候補平均ビットレートのリストについての境界を決定する一例を示す図。

【図17】[0020]いくつかの実施形態による品質に基づいて候補平均ビットレートを除去する一例を示す図。

【図18】[0021]いくつかの実施形態による候補平均ビットレートを除去するために最小ギャップが使用される一例を示す図。

【図19】[0022]いくつかの実施形態による候補平均ビットレートを追加することが有利であり得る場合を示すグラフ。

【図20】[0023]いくつかの実施形態による候補平均ビットレートを追加することの決定を示す図。

【図21】[0024]一実施形態による１つまたは複数の通信ネットワークを介して複数のクライアントデバイスと通信するビデオストリーミングシステムを示す図。

【図22】[0025]ビデオコンテンツおよび広告を見るための装置の概略図を示す図。

【発明を実施するための形態】

【0004】

[0026]本明細書では、ビデオ配信システムについての技法が説明される。以下の説明では、説明のために、いくつかの実施形態の徹底的な理解を与えるために、多数の例および具体的な詳細が記載される。特許請求の範囲によって定められるいくつかの実施形態は、これらの例における特徴の一部または全部を、単独で、または以下で説明される他の特徴と組み合わせて含み得、本明細書で説明される特徴および概念の修正形態および均等物をさらに含み得る。

【0005】

[0027]システムは、ビデオを符号化するために使用されるビットレートのリストを適応的に生成することができる。ビットレートのリストは、候補平均ビットレート（ＣＡＢ）と呼ばれ得る。符号器は、候補平均ビットレートのリスト内のそれぞれのビットレートを使用してビデオのセグメントをトランスコードする。いくつかの実施形態では、システムは、ビデオの異なるチャンクについてなど、ビデオの異なる部分について候補平均ビットレートのリストを動的に選択することができる。チャンクは、符号器が同じ設定を用いて符号化する独立した符号化単位であり得る。ビデオは、１つまたは複数のチャンクを含むことができ、各チャンクは、複数のセグメントを含むことができる。いくつかの実施形態では、候補平均ビットレートのリストはチャンクレベルで設定され得る。候補平均ビットレートのリストは、チャンクレベルで設定されていると説明されるが、候補平均ビットレートのリストは、ビデオの異なる部分に対して設定され得る。

【0006】

[0028]符号器は、複数の候補セグメントを生成するために、候補平均ビットレートのリスト内のビットレートを使用して、ビデオのセグメントを符号化することができる。セグメント品質駆動型適応（ＳＱＡ）プロセスは、プロファイルラダーにおけるプロファイルに使用するために、候補セグメントからセグメントを選択することができる。プロセスのターゲットは、同様の品質を維持しつつビデオに部分の記憶または配信フットプリントを最適化する（例えば、最小化する）ことである。

【0007】

[0029]各ビデオは、異なる特性を有し得る。同様に、同じビデオ内の異なる部分も、異なる特性を有し得る。ビデオのすべての部分についてまたは複数のビデオについて候補平均ビットレートの静的リストを使用することは、最適な結果を与えない場合がある。例えば、候補平均ビットレートの静的リストは、必要とされるよりも多くのビットレートを有する単純なビデオコンテンツを有するビデオを符号化し得る。また、複雑なビデオコンテンツを有するビデオは、不十分なビットレートに起因して、低品質で符号化され得る。さらに、候補平均ビットレートの静的リストは、符号化の観点から不規則な品質ギャップを有するセグメントを生成し得る。例えば、隣接するプロファイルは、互いに冗長である同様のビデオ品質を有し得る、または許容できない大きい品質ギャップを有し得る。隣接するプロファイルについて同様のビデオ品質を有することは、不必要である場合があり、視聴品質において多くの利点を与えないことがある。例えば、候補平均ビットレートのリスト内の２つのビットレートが、同様の品質を有する符号化セグメントもたらす場合、それらの２つのビットレートを用いてセグメントをトランスコードすることは、冗長であり得、リソースを浪費し得る。また、大きな品質ギャップを有することは、再生が１つのプロファイルから別のプロファイルに切り替わるときに品質が急激に変化し得るので、再生中に悪い視聴体験をもたらし得る。

【0008】

[0030]上記の欠点を克服するために、事前分析最適化プロセスは、ビデオについての候補平均ビットレートのリスト内のビットレートを動的に選択することができる。候補平均ビットレートのリストを選択するために、事前分析最適化プロセスは、ビデオの一部分を分析し、その部分についての候補平均ビットレートの最適化されたリストを出力することができる。例えば、事前分析最適化プロセスは、各部分の特性を分析し、各部分についての候補平均ビットレートのリストを出力することができる。いくつかの実施形態では、事前分析最適化プロセスは、その部分についての品質対ビットレートを記述するレート歪み曲線など、その部分の特性を予測することができる。事前分析最適化プロセスは、各部分のビットレートの最適なリストを決定するために、それぞれのレート歪み曲線を使用する。

【0009】

[0031]最適化プロセスは、多くの利点を与える。例えば、このプロセスは、プロファイルラダー内のプロファイルについてのセグメントを選択するときに選択すべきトランスコードされたセグメントの最適な選択を与える。候補平均ビットレートのリストが、ビデオ全体について静的な値で設定され、および／または複数の異なるビデオについて同じである場合、準最適なトランスコーディングが生じ得る。異なるビデオは、および同じビデオの異なる部分も、多様な特性を有することができる。したがって、候補平均ビットレートの静的リストは、いくつかのビデオまたはビデオの部分について準最適であり得る。セグメント品質駆動型適応プロセスは、プロファイルラダーについてのプロファイルを形成するために選択すべき符号化セグメントのより良い選択を有し得るので、ビデオの部分の特性に基づく候補平均ビットレートの動的リストの使用は、より高品質のビデオおよび視聴体験をもたらし得る。

【0010】

[0032]システム
[0033]図１は、いくつかの実施形態による、候補平均ビットレートのリストを動的に選択するためのシステム１００を示す。システム１００は、コンテンツ配信ネットワーク１０２と、クライアント１０４と、ビデオ配信システム１０６とを含む。ソースファイルは、ビデオ、音声、または他のタイプのコンテンツ情報などの異なるタイプのコンテンツを含み得る。ビデオは、説明のために使用され得るが、他のタイプのコンテンツも理解され得る。いくつかの実施形態では、ソースファイルは、以下で説明する別のフォーマットへの符号化を必要とするフォーマットで受信され得る。例えば、ソースファイルは、圧縮されたビデオを含むメザニンファイルであってもよい。メザニンファイルは、ビデオの異なるプロファイルなどの他のファイルを生成するために符号化され得る。

【0011】

[0034]コンテンツプロバイダは、エンティティがメディアコンテンツを要求し、受信することを可能にするコンテンツ配信サービスを提供するためにビデオ配信システム１０６を動作させることができる。コンテンツプロバイダは、クライアント１０４へのメディアコンテンツの配給を調整するために、ビデオ配信システム１０６を使用することができる。単一のクライアント１０４が説明されているが、複数のクライアント１０４がサービスを使用していてもよい。メディアコンテンツは、ビデオのライブラリからのオンデマンドビデオ、およびライブビデオなどの異なるタイプのコンテンツであってもよい。いくつかの実施形態では、ライブビデオは、線形スケジュールに基づいてビデオが利用可能である場所であり得る。ビデオは、オンデマンドで提供されることも可能である。オンデマンドビデオは、いつでも要求されることが可能であり、線形スケジュールで見ることに限定されないコンテンツであり得る。ビデオは、映画、ショー、広告などのプログラムであり得る。

【0012】

[0035]クライアント１０４は、スマートフォン、リビングルームデバイス、テレビ、セットトップボックス、タブレットデバイス等などの異なるコンピューティングデバイスを含むことができる。クライアント１０４は、ビデオなどのコンテンツを再生することができるメディアプレーヤ１１２を含む。いくつかの実施形態では、メディアプレーヤ１１２は、ビデオのセグメントを受信し、これらのセグメントを再生することができる。クライアント１０４は、コンテンツ配信ネットワーク１０２のうちの１つにセグメントの要求を送信し、次いで、メディアプレーヤ１１２における再生のために要求されたセグメントを受信し得る。セグメントは、ビデオの６秒など、ビデオの一部分であり得る。

【0013】

[0036]ビデオは、複数のプロファイルを含むプロファイルラダーに符号化され得る。各プロファイルは、異なるレベルのビットレートおよび／または品質であり得る異なる構成に対応し得るが、コーデックタイプ、コンピューティングリソースタイプ（例えば、コンピュータ処理ユニット）等などの他の特性を含むこともできる。各ビデオは、異なる構成を有する関連付けられたプロファイルを有し得る。プロファイルは、異なるレベルで分類されてもよく、各レベルは、異なる構成に関連付けられてもよい。例えば、レベルは、ビットレート、解像度、コーデックなどの組合せであってもよく、例えば、各レベルは、４００キロバイト毎秒（ｋｂｐｓ）、６５０ｋｂｐｓ、１０００ｋｂｐｓ、１５００ｋｂｐｓ、．．．１２０００ｋｂｐｓなどの異なるビットレートに関連付けられ得る。また、各レベルは、品質特性（例えば、解像度）などの別の特性に関連付けられてもよい。プロファイルレベルは、より高いビットレートまたは品質を有するプロファイルが、より低いビットレートまたは品質を有するプロファイルよりも高く格付けされ得るなど、より高いまたはより低いと呼ばれ得る。符号器は、ソースビデオを符号化するために特性を使用し得る。例えば、符号器は、１５００ｋｂｐｓのターゲットビットレートでソースビデオをエンコードし得る。

【0014】

[0037]コンテンツ配信ネットワーク１０２は、ビデオをクライアント１０４に配信することができるサーバを含む。コンテンツ配信ネットワーク１０２は、クライアント１０４からビデオのセグメントの要求を受信し、ビデオのセグメントをクライアント１０４に配信する。クライアント１０４は、現在の再生状態に基づいて、プロファイルレベルのうちの１つからビデオのセグメントを要求し得る。再生状態は、利用可能な帯域幅、バッファ長等などのビデオの再生に基づいて経験される任意の状態であり得る。例えば、クライアント１０４は、現在の利用可能な帯域幅、バッファ長、または他の再生状態に基づいてビデオについてのプロファイルを選択するために、適応ビットレートアルゴリズムを使用してもよい。クライアント１０４は、現在の再生状態を継続的に評価し、ビデオのセグメントの再生中にプロファイルの間で切り替えることができる。例えば、再生中に、メディアプレーヤ１１２は、ビデオアセットの異なるプロファイルを要求することができる。例えば、低帯域幅再生状態が経験されている場合、メディアプレーヤ１１２は、ビデオの今度のセグメントについてのより低いビットレートに関連するより低いプロファイルを要求することができる。しかしながら、より高い利用可能な帯域幅の再生状態が経験されている場合、メディアプレーヤ１１２は、ビデオの今度のセグメントについてのより高い帯域幅に関連するより高いレベルのプロファイルを要求してもよい。

【0015】

[0038]セグメント品質駆動型適応処理システム（ＳＱＡシステム）１０８は、候補平均ビットレートのリストを使用してセグメントを符号化することができる。次いで、ＳＱＡシステム１０８は、最適化プロセスを使用してプロファイルごとにセグメントを選択する。例えば、ＳＱＡシステム１０８は、同様の品質レベルを維持しつつ、プロファイルラダーのプロファイルごとに最適なビットレートを有するセグメントを適応的に選択することができる。ＳＱＡシステム１０８は、コンテンツを記憶または配信するために必要とされるビット数を最小化しつつ、システムがターゲットビットレートと同様の品質またはターゲットビットレートに一致する品質を維持することを可能にする。

【0016】

[0039]事前分析最適化プロセス１１０は、ビデオの部分についての候補平均ビットレートのリストを動的に生成することができる。いくつかの実施形態では、事前分析最適化プロセス１１０は、レート歪み曲線などのビデオの一部分のそれぞれの特性を予測することができる。次いで、事前分析最適化プロセス１１０は、ビデオの部分のそれぞれの特性を分析することに基づいて、その部分についての候補平均ビットレートを選択する。

【0017】

[0040]以下は、まず、セグメント品質駆動型適応処理プロセスを説明し、次いで、候補平均ビットレートのリストの動的選択をより詳細に説明する。

【0018】

[0041]セグメント品質駆動型適応プロセス
[0042]上述のように、最適化プロセス１１０は、ビデオの部分についての候補平均ビットレートのリストを動的に選択することができる。ビデオの部分は、異なるサイズであってもよい。図２は、いくつかの実施形態によるビデオの部分の一例を示す。ビデオ２００は、セグメントレベルおよびチャンクレベルで異なる部分に分割され得る。いくつかの実施形態では、２０２において、ビデオ２００は、チャンクレベル部分に分割され得る。例えば、チャンク＿０、チャンク＿１、・・・、チャンク＿ｍの複数のチャンクが、ビデオ２００に含まれてもよい。各それぞれのチャンクは、セグメントと呼ばれ得るより小さな部分に分割され得る。例えば、２０４において、チャンク＿０は、セグメント＿０、セグメント＿１、・・・、セグメント＿ｎのセグメントに分割される。同様に、図示されていないが、チャンク＿１は、セグメント＿０、セグメント＿１、・・・、セグメント＿ｎのそれ自体のそれぞれのセグメントに分割され得る。セグメントは、チャンクよりも長さが短くてもよい。例えば、チャンクは、２分のビデオであってもよく、セグメントは５秒のビデオであってもよい。

【0019】

[0043]セグメント品質駆動型適応プロセスでは、ＳＱＡシステム１０８は、候補平均ビットレートのリストに基づいて、各それぞれのセグメントの複数の符号化を生成するために、ビデオ２００の各セグメントを処理することができる。説明のために、最適化プロセス１１０は、チャンクごとに候補平均ビットレートのリストを選択するが、候補平均ビットレートのリストは、セグメントごと、複数のチャンクについて等など、異なる部分サイズについて選択されてもよい。候補平均ビットレートの各それぞれのリストに含まれるビットレートは、候補平均ビットレートのリストを使用するビデオのそれぞれの部分（例えば、チャンクおよび／またはセグメント）に関連する特性に基づいて最適化され得る。異なるチャンクについて異なる特性が与えられると、候補平均ビットレートのそれぞれのリストは異なり得る。しかしながら、候補平均ビットレートのそれぞれのリスト内の複数のチャンクについてのビットレートが同じであることが可能であり得る。

【0020】

[0044]図３Ａは、いくつかの実施形態による候補平均ビットレートのリストの生成の例を示す。２０２において、チャンク＿０、チャンク＿１、チャンク＿２、・・・、チャンク＿ｎのチャンクが示されている。３０２において、最適化システム１１０は、各それぞれのチャンクの特性に基づいて、チャンクごとに選択された候補平均ビットレートのリストを有する。例えば、チャンク＿０について、候補平均ビットレートのリスト＃０は、チャンク＿０についての特性に基づく。また、候補平均ビットレートのリスト＃１は、チャンク＿１についての特性に基づくなどである。いくつかの例では、チャンク＿０について、候補平均ビットレートのリスト＃０は、８５００、７７５０、７０００、６２５０、５５００、４７５０、４０００、３２５０キロバイト毎秒（Ｋｂｐｓ）のビットレートを含み得る。チャンク＿１について、候補平均ビットレートのリスト＃１は、７０００、６２５０、４７５０、４０００、３２５０、２０００、１２５０Ｋｂｐｓのビットレートを含み得る。

【0021】

[0045]候補平均ビットレートのリストは、それぞれのセグメントを符号化するために符号器によって使用されるビットレートを含み得る。従来から、候補平均ビットレートは、同じビットレートを静的に含んできた可能性がある。時には、２つのタイプのビットレートがすべてのチャンクについて使用された。第１のタイプはターゲット平均ビットレートであり得、第２のタイプは中間平均ビットレートであり得る。ターゲット平均ビットレートは、適応ビットレート符号化のためのプロファイルラダーにおけるプロファイルに関連付けられた基本ビットレートであり得る。中間平均ビットレートは、ターゲット平均ビットレートへの補足であってもよい。例えば、ターゲット平均ビットレートの間の追加のビットレートが追加されてもよい。中間平均ビットレートの使用は、品質など、ターゲット平均ビットレートからの符号化されたセグメントとは異なる特性を有し得る追加の符号化セグメントを符号化するための追加のビットレートを与えることができる。場合によっては、最適化プロセス１１０は、候補平均ビットレートのリスト内にターゲット平均ビットレートおよび／または中間平均ビットレートからのビットレートを含め得る。例えば、最適化プロセス１１０は、候補平均ビットレートのリスト内にターゲット平均ビットレートを含み得るが、他のビットレートを動的に選択してもよい。他の例では、最適化プロセスは、チャンクの特性のみに基づいて、候補平均ビットレートのリスト内のビットレートを動的に選択することができる。

【0022】

[0046]上述のように、符号器は、チャンクについての符号化されたセグメントを生成する。図３Ｂは、いくつかの実施形態による符号化されたセグメントの生成の一例を示す。２０４において、チャンク＿０のチャンクについてのセグメントが、セグメント＿０、セグメント＿１、セグメント＿２、・・・、セグメント＿ｎで示されている。３０４において、チャンク＿０についての候補平均ビットレートのリスト（ＣＡＢのリスト）が使用される。いくつかの実施形態では、チャンク＿０についての候補平均ビットレートの同じリストが、チャンクのすべてのセグメントについて使用される。しかしながら、候補平均ビットレートの複数の異なるリストが、チャンクの異なるセグメントについて使用され得る。次いで、符号器は、候補平均ビットレートのリストを使用してチャンク＿０のセグメントを符号化する。

【0023】

[0047]３０６において、各セグメントについての符号化されたセグメントがリストされる。それぞれのセグメントについて、符号器は、候補平均ビットレートのリスト内の平均ビットレートを使用してセグメントを符号化する。符号器は、セグメントを符号化するときにそれぞれの平均ビットレートをターゲットにすることができる。これは、ＥＮＣ＿Ｓ０＿ＣＡＢ＿０、ＥＮＣ＿Ｓ０＿ＣＡＢ＿１、ＥＮＣ＿Ｓ０＿ＣＡＢ＿２、・・・、ＥＮＣ＿Ｓ０＿ＣＡＢ＿ｎのセグメント＿０についての符号化されたセグメントなど、チャンクのセグメントごとに符号化されたセグメントのセットをもたらす。表記において、ＥＮＣ＿Ｓ０は、セグメント＿０の符号化されたセグメントを表し、ＣＡＢ＿０、ＣＡＢ＿１、ＣＡＢ＿２などは、候補平均ビットレートを表す。例えば、ＣＡＢ＿０は８５００Ｋｂｐｓであってもよく、ＣＡＢ＿１は７７５０Ｋｂｐｓであってもよく、ＣＡＢ＿２は７０００Ｋｂｐｓであってもよい。各符号化セグメントは、１０８０ｐなどの同じ品質レベルで符号化され得る。プロセスは、候補平均ビットレートのリストを使用して別の品質レベルについて繰り返されてもよい。

【0024】

[0048]セグメントごとに、最適化プロセス１１０は、符号化されたセグメントを複数のプールにクラスタリングする。各プールは、１つのプロファイルに対応し得る。図４は、いくつかの実施形態による符号化されたセグメントを複数のプールにクラスタリングする一例を示す。４０２において、複数の符号化セグメントが、候補平均ビットレートについて示されている。各セグメントは、品質指標のための関連する値を有し得る。例えば、符号化されたセグメントＥＮＣ＿Ｓ０＿ＣＡＢ＿０は、ｑｕａｌｉｔｙ＿Ｓ０＿ｃ０の品質を有し得、符号化されたセグメントＥＮＣ＿Ｓ０＿ＣＡＢ＿１は、ｑｕａｌｉｔｙ＿Ｓ０＿ｃ１の品質を有し得るなどである。表記において、ｑｕａｌｉｔｙ＿Ｓ０は、セグメント＿０の符号化されたセグメントを表し、ｃ０、ｃ１、ｃ２などは、この符号化されたセグメントについての品質を表す。

【0025】

[0049]符号化されたセグメントをプール４０１－１、４０４－２、４０４－ｐに含めるために、異なる方法が使用され得る。例えば、各プールは、プロファイルを有してもよく、またはそれに関連付けられてもよい。それぞれのプロファイルは、関連付けられたプロファイルにセグメントを符号化するために使用され得る最大ビットレートであり得るターゲットビットレートに関連付けられ得る。ＳＱＡシステム１０８は、プールについての関連付けられたプロファイルに使用され得る最高平均ビットレートから始まる符号化されたセグメントを含んでもよい。次いで、ＳＱＡシステム１０８は、最大ビットレートよりも小さい他のビットレートで他の符号化されたセグメントを追加してもよい。これは、それぞれのプールに含まれる異なる符号化されたセグメントをもたらし得る。例えば、プールＳ０＿Ｐｏｏｌ＿０は、セグメントＥＮＣ＿Ｓ０＿ＣＡＢ＿０、ＥＮＣ＿Ｓ０＿ＣＡＢ＿１、ＥＮＣ＿Ｓ０＿ＣＡＢ＿２などを含むことができる。また、プールＳ０＿Ｐｏｏｌ＿１は、符号化されたセグメントＥＮＣ＿Ｓ０＿ＣＡＢ＿２、ＥＮＣ＿Ｓ０＿ＣＡＢ＿３、ＥＮＣ＿Ｓ０＿ＣＡＢ＿４などを含み得る。したがって、プールＳ０＿Ｐｏｏｌ＿１は、プールＳ０＿Ｐｏｏｌ＿０内の最大ビットレートよりも小さいビットレートから始まる符号化されたセグメントを含むことができる。符号化されたセグメントが、８５００、７７５０、７０００、６２５０、５５００、４７５０、４０００、３２５０Ｋｂｐｓのビットレートで符号化される場合、プールＳ０＿ｐｏｏｌ＿０は、８５００、７７５０、７０００などの平均ビットレートの符号化セグメントで開始することができ、プールＳ０＿ｐｏｏｌ＿１は、７０００、６２５０、５５００などの平均ビットレートで符号化されたセグメントから開始することができる。いくつかの例では、プールについての例示的なビットレートは、ｐｏｏｌ＿０：８５００、７７００、７０００、６２５０、５５００、４７５０、ｐｏｏｌ＿１：７０００、６２５０、５５００、４７５０、４０００、およびｐｏｏｌ＿ｐ：５５００、４７５０、４０００、３２５０であり得る。

【0026】

[0050]各プールから、ＳＱＡシステム１０８は、選択プロセスを用いることに基づいて、１つの符号化されたセグメントを選択してよい。図５は、いくつかの実施形態による選択プロセスの一例を示す。以下のプロセスは、プールごとに実行され得る。４０４－１において、図４からのプールＳ０＿ｐｏｏｌ＿０が、そのそれぞれの符号化されたセグメントとともに示されている。ＳＱＡシステム１０８は、それぞれのプールごとに符号化されたセグメントを選択するために、１つまたは複数の規則を使用することができる。５０２において、ＳＱＡシステム１０８は、プールＳ０＿ｐｏｏｌ＿０についての符号化セグメントＥＮＣ＿Ｓ０＿ＣＡＢ＿１を選択する。いくつかの実施形態では、ＳＱＡシステム１０８は、基準を満たす品質値を有する最小ビットレートを有する符号化されたセグメントを選択しようと試みることができる。いくつかの例では、ＳＱＡシステム１０８は、最高ビットレートを有するセグメントなど、プール内の第１の符号化されたセグメントから開始することができる。次に、ＳＱＡシステム１０８は、次に高いビットレートを有する符号化セグメントなど、プール内の隣接する符号化セグメントを選択する。第１の符号化されたセグメントと第２の符号化されたセグメントが（例えば、閾値内の）同様の品質を有する場合、ＳＱＡシステム１０８は、最低ビットレートを有する符号化セグメントを選択する。ＳＱＡシステム１０８は、第２の符号化セグメントと第３の符号化セグメントのようなプール内の隣接する符号化セグメントとを使用して、比較を継続することができる。隣接する符号化セグメントが同様の品質を有しないとき、プロセスは終了することができる。最低ビットレートを有する符号化されたセグメントから開始するなど、他の方法も使用され得る。また、プロセスは、最高ビットレートを有するセグメントなど、別のセグメントの閾値内の品質を有する最低ビットレートを有するセグメントを選択してもよい。以下は、レート歪み曲線を使用したプロセスの一例を説明する。

【0027】

[0051]図６は、いくつかの実施形態によるプールのための符号化セグメントを選択するために使用され得るレート歪み曲線のグラフ６００の一例を示す。グラフ６００において、Ｙ軸は品質であり、Ｘ軸はビットレートである。曲線６０２は、品質とビットレートの間の関係を定義する。例えば、曲線は、セグメントまたはチャンクのレートおよび歪みをプロットし得るが、曲線は、品質およびビットレートの他の特性をプロットしてもよい。

【0028】

[0052]符号化セグメントは、符号化セグメントのそれぞれのレートおよび歪みに基づいて、曲線６０２上のＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆとしてリストされ得る。６０４において、同様の品質を有する符号化されたセグメントの一例が示されている。この場合、符号化セグメントＣおよび符号化セグメントＤは、同様のビットレートおよび同様の品質を有する。例えば、符号化されたセグメントＣと符号化されたセグメントＤとの間の品質差は、閾値値ｍｉｎ＿ｇａｐ（例えば、等しいおよび／またはより小さい）を満たし得る。この場合、この符号化セグメントは、符号化セグメントＣと比較して低いビットレートを有するが、セグメントＤは、セグメントＣと比較して同様の品質を提供するので、品質差が最小であるので、ＳＱＡシステム１０８は、符号化セグメントＤを選択することができる。

【0029】

[0053]ＳＱＡシステム１０８は、品質が上限境界を超える符号化されたセグメントを潰すこともできる。例えば、６０６における上限境界は、符号化されたセグメントを、潰すべき候補として決定するために使用される境界であり得る。この場合、ＳＱＡシステム１０８は、１つのセグメント（例えば、セグメントＢ）のみを選択するように、または上限閾値を上回ると見出されたセグメントをより少なく選択する（例えば、４つのセグメントのうちの２つを選択する）ように、上限閾値を上回るセグメントのうちの１つまたは複数を選択することができる。他の例では、符号化されたセグメントＡおよびＢは除去され得る。また、ＳＱＡシステム１０８は、品質が下限境界を下回る符号化されたセグメントを除去してもよい。例えば、６０８において、下限閾値が示される。ＳＱＡシステム１０８は、たった１つのセグメント（例えば、セグメントＦ）を選択するように、または下限閾値を下回ると見出されたセグメントをより少なく選択するように、下限閾値を下回るセグメントのうちの１つまたは複数を選択してもよい。他の例では、符号化されたセグメントＥおよびＦは除去され得る。上限閾値および下限閾値は、所望のビットレートまたは品質を超える、または所望のビットレートまたは品質よりも低いプロファイルについてのセグメントを制限するために使用され得る。上限が使用される理由の１つは、セグメントを符号化するために使用されるビットレートを制限するためであり、下限が使用される理由の１つは、使用されるビットレートが低すぎることを制限するためである。符号化されたセグメントを除去するために符号化されたセグメントを処理した後、ＳＱＡシステム１０８は、プロファイルについてのセグメントを選択してもよい。例えば、ＳＱＡシステム１０８は、最高品質セグメントとのギャップ以内のように閾値を満たす品質レベルを有する最低ビットレートを有する符号化されたセグメントを選択してもよい。この場合、ＳＱＡシステム１０８は、符号化されたセグメントＤを選択してもよい。

【0030】

[0054]上記の規則はセグメントを選択するために使用され得るが、他のプロセスが使用されてもよい。例えば、符号化されたセグメントの選択は、他のプロファイルについてどの符号化されたセグメントが選択されたかに基づいてもよい。いくつかの例では、選択されるセグメントは、プロファイルが他のプロファイルからのセグメントを再使用し得る符号化されたセグメントの記憶を減少させることに基づき得る。したがって、ＳＱＡシステム１０８は、品質を最適化するとともに、下限とシーリングとの間に見出される符号化されたセグメントに使用されるビットレートを最小化することができる。

【0031】

[0055]図７は、いくつかの実施形態による、各セグメントのプロファイルの選択された符号化されたセグメントの例を示す。７０２、７０４、７０６、および７０８において、符号化されたセグメントが、それぞれ、プロファイル＿０、プロファイル＿１、プロファイル＿２、およびプロファイル＿Ｐについて示されている。プロファイル内で、ＳＱＡシステム１０８は、異なるセグメントについて異なる候補平均ビットレートを有する異なる符号化されたセグメントを選択することができる。例えば、プロファイル＿０について、セグメント＿０は候補平均ビットレートＣＡＢ＿１を使用して符号化され、セグメント＿１は候補平均ビットレートＣＡＢ＿０を使用して符号化され、セグメント＿２は候補平均ビットレートＣＡＢ＿０を使用して符号化されたなどであった。いくつかの例では、プロファイル＿０において、セグメント＿０はビットレート７７５０Ｋｂｐｓを使用して符号化され、セグメント＿１はビットレート８５００を使用して符号化され、セグメント＿２はビットレート８５００Ｋｂｐｓを使用して符号化された。プロファイル＿１については、セグメント＿０はＣＡＢ＿４を使用して符号化され、セグメント＿１はＣＡＢ＿２を使用して符号化され、セグメント＿２はＣＡＢ＿３を使用して符号化された。例えば、プロファイル１では、セグメント＿０はビットレート５５００Ｋｂｐｓを使用して符号化され、セグメント＿１はビットレート７０００Ｋｂｐｓを使用して符号化され、セグメント＿２はビットレート６２５０Ｋｂｐｓを使用して符号化された。

【0032】

[0056]次に、以下は、候補平均ビットレートのリストを動的に生成するための最適化プロセスについて説明する。

【0033】

[0057]最適化プロセス
[0058]上述のように、ビデオコンテンツは、異なるビデオ内のコンテンツが異なる特性を有し得るとともに、同じビデオ内のコンテンツも異なる特性を有し得るなど、多様な特性を有し得る。例えば、漫画やニュースなどの一部のコンテンツは、符号化するのが簡単であり得る。しかしながら、ライブアクション映画またはスポーツなどのいくつかのコンテンツは、符号化するのが難しい場合がある。符号化の特性は、異なってもよい。以下は、コンテンツについての異なる特性を説明する。

【0034】

[0059]図８は、いくつかの実施形態によるビデオコンテンツのための異なるレート歪み曲線の一例を示す。レート歪み曲線は、品質とビットレートとの間の関連性を示すために使用されるが、他の指標が、ビデオコンテンツについての品質とビットレートとの間の関連性を示すために使用されてもよい。異なるレート歪み曲線は、ビデオの異なるチャンクについて示され得るが、レート歪み曲線は、セグメント、チャンク、複数のチャンク、または異なるビデオなど、ビデオの異なる部分について異なっていてもよい。

【0035】

[0060]チャンク＿Ａ、チャンク＿Ｂ、およびチャンク＿Ｃの３つのチャンクが、それぞれ、チャンクについてのレート歪み曲線のグラフ８０２、８０４、および８０６とともに示されている。グラフ８０２では、品質は、より低いビットレートでは急勾配を伴って変化するが、より高いビットレートでは、品質はあまり変化しない。グラフ８０４では、品質は、ビットレートが一定の関連性で増加するにつれて変化する。グラフ８０６では、より低いビットレートでの品質は、最小限にしか変化しない場合があり、一方、品質は、より高いビットレートで急勾配で増加する。

【0036】

[0061]異なるコンテンツが異なるレート歪み曲線を生成することに加えて、異なる符号化構成もまた、異なる符号化の結果を生成し得る。異なる符号化構成は、異なる符号器（例えば、ｘ２６４、ｘ２６５など）、または異なる符号化パラメータ（レート歪み最適化（ＲＤＯ）レベル、Ｂフレーム、参照数など）を使用することを含み得る。図９は、いくつかの実施形態による異なる符号化構成を使用する異なる特性を示す。同じセグメントまたはチャンクについて、９０２における第１の符号化構成は、９０４に示された第２の符号化構成と比較して異なる特性をもたらす。符号化構成Ａは、上記のチャンク＿Ａと同様のレート歪み曲線をもたらし、符号化構成Ｂは、これらのレート歪み曲線が同じコンテンツについてのものであっても、上記のチャンク＿Ｂと同様のレート歪み曲線をもたらす。

【0037】

[0062]上記のレート歪み曲線が異なり得ることを考慮すると、候補平均ビットレートの静的リストを使用することは、最適でない場合がある。例えば、異なるレート歪み曲線について候補平均ビットレートの同じリストを使用することは、最適な結果を与えない場合がある。図１０は、いくつかの実施形態による異なるレート歪み曲線について静的候補平均ビットレートを使用する一例を示す。グラフ８０２、８０４、および８０６は、図８に示された異なるチャンクについての異なるレート歪み曲線を示す。各グラフにおける点線は、候補平均ビットレートのリストの異なるビットレートを示す。候補平均ビットレートの固定されたリストを使用するときに、いくつかの問題が生じ得る。例えば、グラフ８０２では、１００８において、２つの最高候補平均ビットレートは、１０１０における第３の候補平均ビットレートと同様の品質を有するので、冗長であり得る。すなわち、同様の品質を有する符号化されたセグメントを与えるために、１０１０に列挙されたビットレートなどで、たった１つのビットレートが符号化される必要があり得る。

【0038】

[0063]グラフ８０４では、１０１２において、２つの候補平均ビットレートは、これらの２つの符号化されたセグメントが１０１４に示された次に低いビットレートを有する符号化されたセグメントと比較して同様の品質を有するので、冗長であり得る。上記と同様に、同様の品質を有する符号化されたセグメントを与えるために、１０１４における最低ビットレートなど、たった１つのビットレートが符号化される必要があり得る。

【0039】

[0064]グラフ８０６では、１０１６において、最低の３つの候補平均ビットレートが、同様の品質を有する符号化されたセグメントを生成し得る。また、１０１８において、符号化されたセグメント間で品質の差が大きすぎることがあるので、候補平均ビットレートは、遠く離れすぎている場合がある。すなわち、候補平均ビットレート間の品質の差を最小化するために、より少ない品質差を有するより多くの候補平均ビットレートを有することがより望ましいことがある。

【0040】

[0065]図１１は、いくつかの実施形態による最適化された候補平均ビットレートリストを示す。グラフ８０２において、ＳＱＡシステム１０８は、符号化されたセグメントにおいて見出される品質を最適化するために、候補平均ビットレートを動的に選択することができる。例えば、１１０２において、ＳＱＡシステム１０８は、曲線が急であるビットレートにおいて、候補平均ビットレートの数を増加させることができる。また、１１０３において、ＳＱＡシステム１０８は、曲線が品質をあまり変化させない候補平均ビットレートの数を減少させることができる。

【0041】

[0066]グラフ８０４において、１１０４において、ＳＱＡシステム１０８は、品質が冗長であり得る最低ビットレートから候補平均ビットレートを除去してもよい。また、１１０６において、ＳＱＡシステム１０８は、より高いビットレートで変化する品質を獲得するために、追加のビットレートを追加してもよい。

【0042】

[0067]グラフ８０６において、１１０８で、ＳＱＡシステム１０８は、曲線の下端でビットレートを除去してよい。また、１１１０において、ＳＱＡシステム１０８は、より均等な増分で異なる品質レベルを捕獲するために、候補平均ビットレートをより均等に区切ることができる。

【0043】

[0068]事前分析最適化プロセス設計
[0069]図１２は、いくつかの実施形態によるＳＱＡシステム１０８および事前分析最適化プロセス１１０のより詳細な例を示す。符号化されるチャンクが受信される。また、チャンクを符号化するための設定を定義する符号化構成が受信され得る。符号化構成は、符号器タイプ、品質レベルなどを含み得る。

【0044】

[0070]事前分析最適化プロセス１１０は、チャンクおよび符号化構成を受信し、候補平均ビットレートの最適化されたリストを出力することができる。ＲＤ予測システム１２０２は、チャンク内のセグメントおよび／またはチャンクについてのレート歪み曲線を予測することができる。セグメントまたはチャンクについてのレート歪み曲線を予測することが説明され得るが、レート歪み曲線は、複数のチャンクおよび／または複数のセグメントについてなど、ビデオの異なる部分について生成され得る。以下でより詳細に説明されるように、ＲＤ予測システム１２０２は、セグメントのレート歪み曲線の予測を生成するために機械学習論理を使用することができる。

【0045】

[0071]予測されたレート歪み曲線は、ＣＡＢリスト最適化システム１２０４に出力される。ＣＡＢリスト最適化システム１２０４は、チャンク内のセグメントについての予測されたレート歪み曲線などに基づいて、チャンクについての候補平均ビットレートのリストを最適化することができる。候補平均ビットレートの最適化されたリストは、それぞれのチャンクの特性に基づいてもよく、異なる特性を有するコンテンツを有するチャンクについて異なってもよい。このプロセスは、以下により詳細に説明される。

【0046】

[0072]ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートの最適化されたリストをＳＱＡシステム１０８に出力する。ＳＱＡシステム１０８は、符号化構成、チャンク、および候補平均ビットレートの最適化されたリストを受信する符号化システム１２０６を含む。次いで、符号化システム１２０６は、チャンクの各セグメントを符号化するために、リスト内の各候補平均ビットレートを使用する。候補平均ビットレートのリストを使用して各セグメントを符号化した後、選択システム１２０８は、上述したような選択プロセスを使用して、プロファイルラダーにおける各プロファイルについて符号化されたセグメントを選択する。選択システム１２０８は、プロファイルラダーにおけるプロファイルについて選択された符号化されたセグメントを出力する。

【0047】

[0073]以下は、セグメントの特性の予測、次いで候補平均ビットレートのリストを選択するための最適化を説明する。

【0048】

[0074]ＲＤ予測システム
[0075]図１３は、いくつかの実施形態によるＲＤ予測システム１２０２のより詳細な一例を示す。特徴抽出システム１３０２は、ビデオのチャンクを受信する。次いで、特徴抽出システム１３０２は、ビデオトランスコーディングに関連した情報を伝達し得る特徴についての値を抽出し得る。特徴のいくつかの例は、ビデオコンテンツ、符号化設定などについてのものであり得る。抽出される特徴は、チャンクのセグメントの特性のより良い予測を与えることができる。特徴についての値は、予測ネットワーク１３０４に出力される。

【0049】

[0076]予測ネットワーク１３０４は、予測されたレート歪み曲線などのチャンクのセグメントについての特性を生成するために、トレーニングされたモデルを使用することができる。予測ネットワーク１３０４は、サポートベクターマシン（ＳＶＭ）回帰、畳み込みニューラルネットワーク（ＣＮＮ）、ブースティング等などの異なる機械学習アルゴリズムを使用してもよい。訓練されたモデルは、特定の機械学習アルゴリズムに基づいてトレーニングされ得る。

【0050】

[0077]予測ネットワーク１３０４は、セグメント位置、符号化構成、およびターゲットビットレートなどの他の入力に加えて特徴についての値を受信することができる。セグメント位置は、レート歪み曲線を生成するセグメント位置（例えば、ビデオ内のそのセグメント）であり得、符号化構成は、セグメントを符号化するために使用される構成を含み得、ターゲットビットレートは、セグメントについての出力ビットレート範囲を含み得る。予測ネットワーク１３０４は、特徴に基づいて、出力ビットレート範囲間のセグメントについてのレート歪み曲線を出力することができる。

【0051】

[0078]図１４は、いくつかの実施形態による予測ネットワーク１３０４の出力を示す。２０４において、チャンクについてのセグメントは、セグメント＿０、セグメント＿１、セグメント＿２、・・・、セグメント＿ｎを含む。レート歪み曲線は、ビデオの各チャンク内のセグメントごとに生成され得る。例えば、１４０２において、レート歪み曲線が、それぞれのセグメントごとに出力される。セグメント＿０のレート歪み曲線、セグメント＿１のレート歪み曲線などが示されている。各レート歪み曲線は、それぞれのセグメントについての特性に基づく。チャンクについての候補平均ビットレートのリストは、レート歪み曲線に基づいて生成され得る。また、チャンクレベルレート歪み曲線が出力されてもよい。

【0052】

[0079]候補平均ビットレート最適化のリスト
[0080]図１５は、いくつかの実施形態による候補平均ビットレートのリストを選択するための最適化プロセスを実行するための方法の簡略化されたフローチャート１５００を示す。１５０２において、ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートのリストについての境界を決定する。例えば、境界は、候補平均ビットレートのリストに使用され得る最大ビットレートおよび最小ビットレートであり得る。異なる方法が、境界を決定するために使用されてもよく、図１６により詳細に説明される。

【0053】

[0081]１５０４において、ＣＡＢリスト最適化システム１２０４は、最適なビットレート割り振りを有する潜在的な候補平均ビットレートのリストを生成する。いくつかの実施形態では、潜在的な候補平均ビットレートの１つのリストは、５０２で決定された最大ビットレートおよび最小ビットレートに基づいてチャンクについて生成される。潜在的な候補平均ビットレートのリストは、異なる方法を使用して生成され得る。１つの方法は、最小ビットレートと最大ビットレートとの間に入る予め定められたリストを使用することであり得る。例えば、予め定められたリストは、ターゲット平均ビットレートおよび中間平均ビットレートからのビットレートを含むことができる。例えば、最小と最大の範囲内の予め定められたリストからのビットレートが使用されてもよい。別の方法は、潜在的な候補平均ビットレートの総数を決定し、最小ビットレートと最大ビットレートとの間のビットレート範囲を間隔に分割することができる。以下のような異なる例が、使用されてもよい。

【0054】

【数1】

【0055】

【数2】

【0056】

【数3】

【0057】

【数4】

【0058】

ただし、ｉｎｔｅｒｖａｌ＿ｉはｉの間隔値であり、ｉｎｔｅｒｖａｌ＿（ｉ＋１）は間隔値＋１であり、ｉｎｔｅｒｖａｌ＿（ｉ＋２）は間隔値＋２であり、ｄｅｌｔａは予め定められた値である。

【0059】

[0082]間隔の総数は、１０などの数に設定され得る。ｉｎｔｅｒｖａｌ＿ｉの間隔は、範囲を総数に分割することによって上記の方法に基づいて設定され得る。次いで、ＣＡＢリスト最適化システム１２０４は、最小ビットレートと最大ビットレートとの間のビットレートの範囲をビットレートのリストに分割するために間隔値に基づいてビットレートを選択する。例えば、１５００の間隔および５のビットレートの総数を有する２０００の最小ビットレートおよび１０，０００の最大ビットレートは、等分割を使用するとき、１０，０００、７５００、５０００、３５００、および２０００のビットレートのリストをもたらし得る。

【0060】

[0083]１５０６において、ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートの最適化されたリストを生成するために、最適な品質割り振りを用いて潜在的な候補平均ビットレートのリストを改良する。品質割り振りは、セグメントごとに品質を検査し、品質が１つまたは複数の規則を満たすかどうかを決定することができる。例えば、同様の品質を有する候補平均ビットレートなどの冗長な候補平均ビットレートが除去され得る。また、隣接する候補平均ビットレートが、大きすぎる差など、閾値を上回る品質ギャップを有するときなど、必要に応じて、追加の候補平均ビットレートが追加され得る。プロセスは、図１７、図１８、および図１９により詳細に説明される。

【0061】

[0084]図１５の１５０２に説明されるように、ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートのリストについての境界を決定する。図１６は、いくつかの実施形態による候補平均ビットレートのリストの境界を決定する一例を示す。以下のプロセスが説明されるが、他のプロセスも理解され得る。例えば、設定は、最小ビットレートおよび最大ビットレートを決定するために使用され得る。この例では、ＣＡＢリスト最適化システム１２０４は、チャンク内のそれぞれのセグメントについてのレート歪み曲線についての最小ビットレートと最大ビットレートとを分析し、最小ビットレートおよび最大ビットレートがチャンクレベルにおいてあるべきことを決定することができる。

【0062】

[0085]１６０２において、それぞれのセグメントについてのレート歪み曲線が受信され、分析される。次いで、ＣＡＢリスト最適化システム１２０４は、セグメントについてそれぞれのレート歪み曲線に基づいてセグメントごとに最小ビットレートと最大ビットレートとを選択し得る。例えば、セグメント＿０について、最小ビットレートおよび最大ビットレートが、セグメント＿０についてのレート歪み曲線の特性に基づいて選択される。例えば、ＣＡＢリスト最適化システム１２０４は、最小品質閾値に対応する最小ビットレートと最大品質閾値に対応する最大ビットレートとを決定するために、最大品質閾値と最小品質閾値とを設定し、レート歪み曲線を使用し得る。セグメント＿１について、ＣＡＢリスト最適化システム１２０４は、セグメント＿１についてのレート歪み曲線の特性に基づいて最小ビットレートと最大ビットレートとを選択する、などである。

【0063】

[0086]上記の分析は、セグメントレベルで実施した。次いで、ＣＡＢリスト最適化システム１２０４は、チャンクレベルにおける最小値と最大値とを決定するためにセグメントレベルの結果を分析する。１６０６において、ＣＡＢリスト最適化システム１２０４は、ｍａｘ＿ｂｉｔｒａｔｅ＿０、ｍａｘ＿ｂｉｔｒａｔｅ＿１、ｍａｘ＿ｂｉｔｒａｔｅ＿２、・・・、ｍａｘ＿ｂｉｔｒａｔｅ＿ｎなどから、セグメントについての最大ビットレートについての値から最大値を決定する。また、ＣＡＢリスト最適化システム１２０４は、ｍｉｎ＿ｂｉｔｒａｔｅ＿０、ｍｉｎ＿ｂｉｔｒａｔｅ＿１、ｍｉｎ＿ｂｉｔｒａｔｅ＿２、・・・、ｍｉｎ＿ｂｉｔｒａｔｅ＿ｎなどから、セグメントについての最小ビットレートについての値から最小値を決定する。

【0064】

[0087]１６０８において、ＣＡＢリスト最適化システム１２０４は、チャンクについての最小ビットレートと最大ビットレートとを出力する。この場合には、セグメントについての最小ビットレートから最も低い最小ビットレートが選択され、セグメントについての最大ビットレートから最も高い最大ビットレートが選択される。選択プロセスは、セグメントについてのレート歪み曲線の個々の特性を考慮に入れ、セグメントレベルで決定された最小ビットレートおよび最大ビットレートのすべてを含み得る最小ビットレートと最大ビットレートとを選択し得る。例えば、最小ビットレートが２０００、３０００、および３５００である場合、選択される最小ビットレートは２０００になる。同様に、最大ビットレートが１００００、９０００、および８５００である場合、選択される最大ビットレートは１００００になる。上記のプロセスが使用され得るが、値の平均を取ることなど、最小ビットレートと最大ビットレートとを選択する他の方法が理解され得る。

【0065】

[0088]図１５の１５０６に説明されるように、ＣＡＢリスト最適化システム１２０４は、最適な品質割り振りを有する候補平均ビットレートのリストを定義する。割り振りの一部は、同様の品質に基づいて候補平均ビットレートを除去することを含む。品質の類似性は、異なるやり方で定義されてもよい。例えば、ＣＡＢリスト最適化システム１２０４は、いくつかの候補平均ビットレートが除去されるべきかどうかを決定するために、品質の値間の距離を決定する。図１７は、いくつかの実施形態による品質に基づいて候補平均ビットレートを除去する一例を示す。この例では、ＣＡＢリスト最適化システム１２０４は、２つの隣接する候補平均ビットレートの品質レベルが閾値内にあるなど、閾値を満たすかを決定し得る。次いで、より高いビットレートを有する候補が除去され得る。

【0066】

[0089]１７０２において、各セグメントは、潜在的に除去され得る符号化されたセグメントの関連付けられた潜在的な除去リストを有し得る。図示されるように、セグメント＿０について、ＣＡＢリスト最適化システム１２０４は、Ｓ０＿ＣＡＢ＿０、Ｓ０＿ＣＡＢ＿３、およびＳ０＿ＣＡＢ＿４の候補平均ビットレートが除去され得ると決定している。これらの候補平均ビットレートは、符号化されたセグメントが隣接する符号化されたセグメントに関して閾値を満たす同様の品質レベルを有し得るので、除去され得る。同様に、セグメント＿１について、ＣＡＢリスト最適化システム１２０４は、Ｓ１＿ＣＡＢ＿０およびＳ１＿ＣＡＢ＿２の候補平均ビットレートが除去され得ると決定しており、セグメント＿ｎについて、ＣＡＢリスト最適化システム１２０４は、Ｓｎ＿ＣＡＢ＿０およびＳｎ＿ＣＡＢ＿３についての候補平均ビットレートが除去され得ると決定している。セグメントは閾値内で同様の品質を有すると決定されないので、セグメントは、セグメント＿２について除去されない。

【0067】

[0090]上記の分析は、セグメントレベルであった。次いで、１７０４において、ＣＡＢリスト最適化システム１２０４は、チャンクレベルで除去すべき候補平均ビットレートを決定するために、セグメントレベル候補平均ビットレートを使用することができる。例えば、潜在的な除去リストの異なるセグメントにおける候補平均ビットレートの発生に基づいて、ＣＡＢリスト最適化システム１２０４は、チャンクレベルについての候補平均ビットレートを選択し得る。いくつかの実施形態では、ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートを選択し、潜在的な除去された候補プール内の発生の総数を計算することができる。この候補平均ビットレートの総数が、閾値にあるかまたはそれを上回るなど、閾値を満たす場合、ＣＡＢリスト最適化システム１２０４は、チャンクレベルにおいて、この候補平均ビットレートを除去候補リストに入れる。例えば、候補平均ビットレートＣＡＢ＿０は、上述のセグメントのうちの３つ（例えば、セグメント＿０、セグメント＿１、およびセグメント＿ｎ）に見出され、「３」の閾値を満たす。次いで、ＣＡＢリスト最適化システム１２０４は、ＣＡＢ＿０の候補平均ビットレートを除去候補リストに入れる。候補平均ビットレートＣＡＢ＿２、ＣＡＢ＿３、およびＣＡＢ＿４は、ビットレートが潜在的除去リスト中の２つ以下のセグメント中で発生するので、閾値を満たさない場合がある。したがって、ＣＡＢリスト最適化システム１２０４は、これらの候補平均ビットレートを除去候補リストに入れない。どの候補平均ビットレートを除去するかを選択する他の方法が理解され得る。

【0068】

[0091]上記の分析は、セグメントレベルで実行され、チャンクレベルにマージされた。しかしながら、プロセスは、異なるレベルで実行されてもよい。例えば、分析は、複数のチャンクから複数のチャンクレベルをカバーするビデオの部分へ、または複数のチャンクからビデオレベルへ、候補平均ビットレートをマージするために使用され得る。

【0069】

[0092]以下は、候補平均ビットレートを除去する一例について説明する。図１８は、いくつかの実施形態による候補平均ビットレートを除去するために最小ギャップが使用される一例を示す。例えば、１８０２において、候補平均ビットレートＣおよびＤは、閾値ｍｉｎ＿ｇａｐなどの閾値を満たす同様の品質レベルを有する。この場合、この候補平均ビットレートは候補平均ビットレートＤに隣接し、候補平均ビットレートＣは候補平均ビットレートＤよりも大きいビットレートを有するが、最小の品質の利点を有するので、ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートＣなど、候補平均ビットレートのうちの１つが除去されるべきであると決定する。この場合、ＣＡＢリスト最適化システム１２０４は、隣接する候補平均ビットレートについての品質の値との間の差を閾値ｍｉｎ＿ｇａｐと比較し、閾値が満たされたとき、候補平均ビットレートのうちの１つを除去し得る。

【0070】

[0093]品質割り振りの別の部分は、品質のギャップに基づいて候補平均ビットレートを追加することを含む。図１９は、いくつかの実施形態による候補平均ビットレートを追加することが有利であり得る場合を示すグラフ１９００を示す。ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートを追加するときを決定するために、１９０２における最大ギャップｍａｘ＿ｇａｐなどの閾値を使用し得る。例えば、グラフ１９００における候補平均ビットレートＣとＤとの間など、閾値ｍａｘ＿ｇａｐよりも大きい品質値のギャップが隣接する候補平均ビットレート間にある場合、ＣＡＢリスト最適化システム１２０４は、レート歪み曲線上の候補平均ビットレートＣとＤとの間に候補平均ビットレートを追加し得る。

【0071】

[0094]異なる方法が、新しい候補平均ビットレートがいくつ追加されるべきかを決定するために使用されてもよい。ＣＡＢリスト最適化システム１２０４は、２つの候補が比に基づく閾値によって分離されるとき、「ｉ」個の新しい候補を追加し得る。例えば、各ギャップが等しいことを意味する１：１、各ギャップが１．５であることを意味する１：１．５、または他の比など、異なる比が、追加された候補間のギャップを構成し得る。

【0072】

[0095]ある可能なプロセスでは、変数ｉはｉ＝１に設定され、ＣＡＢリスト最適化システム１２０４は、比に基づいてｉ個の新しい候補平均ビットレートを追加する。例えば、「Ｆ」と名付けられた１つの候補平均ビットレートは、点Ｃと点Ｄとの間に追加され得る。次いで、新しい隣接する候補平均ビットレート間のすべてのギャップが閾値ｍａｘ＿ｇａｐよりも小さい場合、プロセスは終了する。しかしながら、そうでない場合、変数ｉの値は、「２」などで増分され、２つの新しい候補が、比に基づいて候補平均ビットレート間に追加される。例えば、２つ以上の候補平均ビットレートが、点ＣとＦとの間、および点ＦとＤとの間に追加され得る。次いで、プロセスは、上記で説明されたように継続する。候補平均ビットレートＤとＣとの間に閾値よりも大きいギャップがないように候補平均ビットレートが追加されると、候補平均ビットレートが出力される。

【0073】

[0096]上記のプロセスは、セグメントごとに決定される。次いで、ＣＡＢリスト最適化システム１２０４は、セグメントレベルにおいて潜在的な追加された候補平均ビットレートを取り、チャンクレベルにおいて候補平均ビットレートをマージし得る。図２０は、いくつかの実施形態による候補平均ビットレートを追加することの決定を示す。２００２において、各セグメントは、潜在的に追加され得る候補平均ビットレートを有し得る。セグメント＿０について、２つの候補平均ビットレートが、候補平均ビットレートＣＡＢ＿０とＣＡＢ＿１との中間に追加され得る。また、ＣＡＢ＿４とＣＡＢ＿５との間に１つの候補平均ビットレートが追加され得る。セグメント＿１については、２つの候補平均ビットレートが、候補平均ビットレートＣＡＢ＿０とＣＡＢ＿１との間に追加され得る。セグメント＿ｎについては、２つの候補平均ビットレートが、候補平均ビットレートＣＡＢ＿０とＣＡＢ＿１との間に追加され得る。したがって、３つのセグメントは、候補平均ビットレートＣＡＢ＿０とＣＡＢ＿１との間に２つの候補平均ビットレートを追加しており、１つのセグメントは、ＣＡＢ＿４とＣＡＢ＿５との間に１つの候補平均ビットレートを追加している。

【0074】

[0097]ＣＡＢリスト最適化システム１２０４は、チャンクについての追加候補リストを決定するために、セグメントレベル候補を使用し得る。例えば、チャンクレベルで追加候補リストに追加されるために、ＣＡＢリスト最適化システム１２０４は、セグメントレベルでの潜在的な追加された候補平均ビットレートが、セグメントの数などの閾値内で見出されるかどうかを決定し得る。閾値がセグメントの７０％である場合、ＣＡＢリスト最適化システム１２０４は、候補平均ビットレートＣＡＢ＿０とＣＡＢ＿１との間の２つの候補を追加する。というのも、これらの候補は、セグメントの７０％よりも多く（４つのうち３つのセグメント）で見出されるからである。ＣＡＢリスト最適化システム１２０４は、ＣＡＢ＿４とＣＡＢ＿５との間に候補を追加しない。というのも、この追加は、セグメント＿０においてのみ見出され、セグメントの７０％未満であるからである。この場合、たった１つのセグメントが追加を必要とするので、追加の候補平均ビットレートを追加することは必要とされないことがあり、たった１つのセグメントが影響を受ける場合、チャンクの他のすべてのセグメントのための候補平均ビットレートを追加することは有用でないことがある。しかしながら、候補平均ビットレートＣＡＢ＿０とＣＡＢ＿１との間の２つの候補平均ビットレートの加算は、セグメントの７０％超が潜在的な追加を有していたので、有益であり得る。

【0075】

[0098]ＣＡＢリスト最適化システム１２０４の出力は、チャンクごとの候補平均ビットレートリストである。例えば、図３Ａに記載されたようなチャンクごとの候補平均ビットレートのリストは、いくつかの実施形態によるＣＡＢリスト最適化システム１２０４によって出力される。

【0076】

[0099]結論
[00100]したがって、候補平均ビットレートのリストは、各セグメントにおいて見出される特性に基づいて最適化され得る。これは、チャンクのそれぞれの特性について最適化されたチャンクごとの改善された候補平均ビットレートリストを生成する。候補平均ビットレートは、各チャンクのプロファイルの選択に利用可能な符号化されたセグメントの選択の品質を改善することができる。これは、再生経験を改善することに加えて、ビデオの品質を改善することができる。

【0077】

[00101]システム
[00102]本明細書に開示される特徴および態様は、図２１に示されるように、１つまたは複数の通信ネットワークを介して複数のクライアントデバイスと通信するビデオストリーミングシステム２１００と併せて実施され得る。ビデオストリーミングシステム２１００の態様は、本開示に従って準備されたコンテンツの配給および配信を可能にするためのアプリケーションの一例を与えるように説明されるのに過ぎない。本技術は、ストリーミングビデオアプリケーションに限定されず、他のアプリケーションおよび配信機構に適合され得ることを理解されたい。

【0078】

[00103]一実施形態では、メディアプログラムプロバイダは、メディアプログラムのライブラリを含んでもよい。例えば、メディアプログラムは、サイト（例えば、ウェブサイト）、アプリケーション、またはブラウザを通じて集約および提供されてもよい。ユーザは、メディアプログラムプロバイダのサイトまたはアプリケーションにアクセスし、メディアプログラムを要求することができる。ユーザは、メディアプログラムプロバイダによって提供されるメディアプログラムのみを要求することに限定され得る。

【0079】

[00104]システム２１００において、ビデオデータは、ビデオコンテンツサーバ２１０２への入力として使用するために、１つまたは複数のソース、例えば、ビデオソース２１１０から取得され得る。入力ビデオデータは、任意の適切なデジタルフォーマット、例えば、ムービングピクチャーエクスパーツグループ（ＭＰＥＧ）－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＶＣ－１、Ｈ．２６４／高度ビデオコーディング（ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、または他のフォーマットの生または編集されたフレームベースのビデオデータを備え得る。代替として、ビデオは、非デジタルフォーマットで提供され、スキャナまたはトランスコーダを使用してデジタルフォーマットに変換され得る。入力ビデオデータは、例えば、テレビエピソード、動画、および消費者に関心のある主要コンテンツとして生成される他のコンテンツなどの様々なタイプのビデオクリップまたは番組を含むことができる。ビデオデータは、音声も含んでもよく、または音声のみが使用されてもよい。

【0080】

[00105]ビデオストリーミングシステム２１００は、１つまたは複数のコンピュータにわたって分散された１つまたは複数のコンピュータサーバまたはモジュール２１０２、２１０４、および２１０７を含み得る。各サーバ２１０２、２１０４、２１０７は、１つまたは複数のデータストア２１０９、例えば、データベース、インデックス、ファイル、または他のデータ構造を含んでもよく、またはそれらに動作可能に結合されてもよい。ビデオコンテンツサーバ２１０２は、様々なビデオセグメントのデータストア（図示せず）にアクセスし得る。ビデオコンテンツサーバ２１０２は、クライアントデバイスと通信するユーザインターフェースコントローラによって指示されるようにビデオセグメントを供給することができる。本明細書で使用されるとき、ビデオセグメントは、テレビエピソード、動画、記録されたライブパフォーマンス、または他のビデオコンテンツを見るためにストリーミングビデオセッションにおいて使用され得るようなフレームベースのビデオデータの明確な部分を指す。

【0081】

[00106]いくつかの実施形態では、ビデオ広告サーバ２１０４は、特定の広告主またはメッセージのための広告として構成された比較的短いビデオ（例えば、１０秒、３０秒、または６０秒のビデオ広告）のデータストアにアクセスし得る。広告は、何らかの種類の支払いと引き換えに広告主に提供されてもよく、またはシステム２１００のための宣伝メッセージ、公共サービスメッセージ、もしくは何らかの他の情報を含んでもよい。ビデオ広告サーバ２１０４は、ユーザインターフェースコントローラ（図示せず）によって指示されるようにビデオ広告セグメントを供給してもよい。

【0082】

[00107]ビデオストリーミングシステム２１００は、事前分析最適化プロセス１１０を含むこともできる。

【0083】

[00108]ビデオストリーミングシステム２１００は、ビデオコンテンツおよびビデオ広告をストリーミングビデオセグメントに統合する統合およびストリーミングコンポーネント２１０７をさらに含んでもよい。例えば、ストリーミングコンポーネント２１０７は、コンテンツサーバまたはストリーミングメディアサーバであってもよい。コントローラ（図示せず）は、任意の適切なアルゴリズムまたはプロセスに基づいて、ストリーミングビデオ内の広告の選択または構成を決定することができる。ビデオストリーミングシステム２１００は、図２１に示されていない他のモジュールまたはユニット、例えば、管理サーバ、コマースサーバ、ネットワークインフラストラクチャ、広告選択エンジンなどを含み得る。

【0084】

[00109]ビデオストリーミングシステム２１００は、データ通信ネットワーク２１１２に接続してもよい。データ通信ネットワーク２１１２は、ローカルエリアネットワーク（ＬＡＮ）、広域通信網（ＷＡＮ）、例えば、インターネット、電話ネットワーク、ワイヤレスネットワーク２１１４（例えば、ワイヤレスセルラー電気通信ネットワーク（ＷＣＳ））、あるいはこれらのネットワークまたは類似のネットワークのいくつかの組合せを含み得る。

【0085】

[00110]１つまたは複数のクライアントデバイス２１２０は、データ通信ネットワーク２１１２、ワイヤレスネットワーク２１１４、または別のネットワークを介して、ビデオストリーミングシステム２１００と通信することができる。そのようなクライアントデバイスは、例えば、ＬＡＮのためのルータ２１１８を介して、ワイヤレスネットワーク２１１４のための基地局２１１７を介して、または何らかの他の接続を介して、１つまたは複数のラップトップコンピュータ２１２０－１、デスクトップコンピュータ２１２０－２、「スマート」モバイルフォン２１２０－３、タブレットデバイス２１２０－４、ネットワーク対応テレビ２１２０－５、またはそれらの組合せを含み得る。動作中、そのようなクライアントデバイス２１２０は、ユーザ入力デバイスから受信されたユーザ入力または他の入力に応答して、システム２１００にデータまたは命令を送信および受信し得る。これに応答して、システム２１００は、メディア番組の選択に応答して、データストア２１０９からのビデオセグメントおよびメタデータをクライアントデバイス２１２０に供給することができる。クライアントデバイス２１２０は、表示画面、プロジェクタ、または他のビデオ出力デバイスを使用して、メディアプレーヤ内のストリーミングビデオセグメントからビデオコンテンツを出力し、ビデオコンテンツと対話するためのユーザ入力を受信することができる。

【0086】

[00111]オーディオビデオデータの配信は、ストリーミングコンポーネント２１０７からリモートクライアントデバイスへ、コンピュータネットワーク、電気通信ネットワーク、およびそのようなネットワークの組合せを介して、様々な方法、例えばストリーミングを使用して実施され得る。ストリーミングでは、コンテンツサーバは、クライアントデバイス上で少なくとも部分的に動作するメディアプレーヤコンポーネントにオーディオビデオデータを連続的にストリーミングし、メディアプレーヤコンポーネントは、サーバからストリーミングデータを受信するのと同時にオーディオビデオデータを再生することができる。ストリーミングについて説明するが、他の配信方法を使用することもできる。メディアプレーヤコンポーネントは、コンテンツプロバイダからデータの最初の部分を受信した直後にビデオデータの再生を開始することができる。従来のストリーミング技術は、データのストリームをエンドユーザのセットに配信する単一のプロバイダを使用する。単一のストリームを多数の視聴者に配信するためには、高い帯域幅および処理能力が必要とされる場合があり、プロバイダの必要な帯域幅は、エンドユーザの数が増加するにつれて増加する場合がある。

【0087】

[00112]ストリーミングメディアは、オンデマンドまたはライブで配信され得る。ストリーミングは、ファイル内の任意の点での即時再生を可能にする。エンドユーザは、メディアファイルをスキップして、再生を開始するか、またはメディアファイル内の任意の点に再生を変更することができる。したがって、エンドユーザは、ファイルが徐々にダウンロードされるのを待つ必要がない。通常、ストリーミングメディアは、高帯域幅能力を有する少数の専用サーバから、ビデオファイルの要求を受け入れる専用デバイスを介して配信され、それらのファイルのフォーマット、帯域幅、および構造に関する情報を用いて、ビデオを再生するのに必要なデータ量だけを、ビデオを再生するのに必要な速度で配信する。ストリーミングメディアサーバは、宛先クライアント上のメディアプレーヤの伝送帯域幅および能力を考慮することもできる。ストリーミングコンポーネント２１０７は、ビデオが再生されるときに変化するネットワーク状態に適応するために、制御メッセージおよびデータメッセージを使用してクライアントデバイス２１２０と通信し得る。これらの制御メッセージは、クライアントにおいてファイルの特定の部分への早送り、早戻し、一時停止、またはシークなどの制御機能を可能にするためのコマンドを含むことができる。

【0088】

[00113]ストリーミングコンポーネント２１０７は、必要なときにのみ、必要とされるレートでビデオデータを送信するので、サービスされるストリームの数に対する正確な制御が維持され得る。視聴者は、より低いデータレートの伝送媒体を介して高いデータレートのビデオを視聴することができない。しかしながら、ストリーミングメディアサーバは、（１）ユーザにビデオファイルへのランダムアクセスを提供し、（２）誰がどのビデオ番組を視聴しているか、およびどれくらい長く視聴されているかの監視を可能にし、（３）視聴体験をサポートするために必要とされるデータ量のみが伝送されるため、伝送帯域幅をより効率的に使用し、（４）ビデオファイルは、視聴者のコンピュータに記憶されず、メディアプレーヤによって破棄され、したがって、コンテンツに対するさらなる制御を可能にする。

【0089】

[00114]ストリーミングコンポーネント２１０７は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）およびリアルタイムメッセージングプロトコル（ＲＴＭＰ）などのＴＣＰベースのプロトコルを使用し得る。ストリーミングコンポーネント２１０７は、ライブウェブキャストを配信することもでき、マルチキャストすることができ、これにより、２つ以上のクライアントが単一のストリームに同調することが可能になり、したがって、帯域幅が節約される。ストリーミングメディアプレーヤは、メディアプログラムの任意の点へのランダムアクセスを提供するために、ビデオ全体をバッファリングすることに依存しない場合がある。その代わりに、これは、メディアプレーヤからストリーミングメディアサーバに送信される制御メッセージを使用して達成される。ストリーミングに使用される他のプロトコルは、ＨＴＴＰライブストリーミング（ＨＬＳ）またはＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）である。ＨＬＳおよびＤＡＳＨプロトコルは、通常は１つまたは複数のコンテンツ配信ネットワーク（ＣＤＮ）から様々なビットレートで利用可能にされる小さいセグメントのプレイリストを介してＨＴＴＰを介してビデオを配信する。これにより、メディアプレーヤは、セグメントごとにビットレートとコンテンツソースの両方を切り替えることができる。この切り替えは、ビデオの再生中に発生する可能性のあるネットワーク帯域幅の変動およびインフラストラクチャの障害を補償するのに役立つ。

【0090】

[00115]ストリーミングによるビデオコンテンツの配信は、様々なモデルの下で達成され得る。１つのモデルでは、ユーザは、ビデオ番組の視聴に対して支払いを行い、例えば、メディア番組のライブラリまたは制限されたメディア番組の一部へのアクセスに対して料金を支払い、またはペイパービューサービスを使用する。放送テレビによってその開始直後に広く採用されている別のモデルでは、スポンサーは、番組の提示中またはそれに隣接して広告を提示する権利と引き換えに、メディア番組の提示に対して支払いを行う。いくつかのモデルでは、広告はビデオ番組内の「広告スロット」「広告ブレイク」と呼ばれることがある所定の時間に挿入される。ストリーミングビデオでは、メディアプレーヤは、クライアントデバイスが、指定された広告スロット中に所定の広告を再生することもなくビデオを再生することができないように構成され得る。

【0091】

[00116]図２２を参照すると、ビデオコンテンツおよび広告を視聴するための装置２２００の概略図が示されている。選択された実施形態では、装置２２００は、プロセッサメモリ２２０４に動作可能に結合されたプロセッサ（ＣＰＵ）２２０２を含むことができ、プロセッサメモリは、プロセッサ２２０２による実行のためのバイナリコード化された機能モジュールを保持する。そのような機能モジュールは、入力／出力およびメモリアクセスなどのシステム機能を処理するためのオペレーティングシステム２２０６、ウェブページを表示するためのブラウザ２２０８、およびビデオを再生するためのメディアプレーヤ２２１０を含み得る。メモリ２２０４は、図２２に示されていない追加のモジュール、例えば、本明細書の他の箇所で説明される他の動作を実行するためのモジュールを保持し得る。

【0092】

[00117]バス２２１４または他の通信構成要素は、装置２２００内の情報の通信をサポートし得る。プロセッサ２２０２は、特定のタスクを定義する機械可読ソフトウェアコードを実行することによって、本明細書に開示される特徴および態様に従って特定のタスクを実行するように構成された、または動作可能な、専用または専用マイクロプロセッサであり得る。プロセッサメモリ２２０４（例えば、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶デバイス）は、バス２２１４に、またはプロセッサ２２０２に直接接続され、プロセッサ２２０２によって実行される情報および命令を記憶し得る。メモリ２２０４は、そのような命令の実行中に一時変数または他の中間情報を記憶することもできる。

【0093】

[00118]記憶装置２２２４内のコンピュータ可読媒体は、バス２２１４に接続され、プロセッサ２２０２のための静的情報および命令を記憶することができ、例えば、記憶装置（ＣＲＭ）２２２４は、装置２２００の電源がオフにされたときにオペレーティングシステム２２０６、ブラウザ２２０８、およびメディアプレーヤ２２１０のためのモジュールを記憶することができ、装置２２００の電源がオンにされたときに、そこからモジュールをプロセッサメモリ２２０４にロードすることができる。記憶デバイス２２２４は、情報、命令、またはそれらの何らかの組合せ、例えば、プロセッサ２２０２によって実行されたとき、本明細書で説明する方法の１つまたは複数の動作を実行するように装置２２００を構成させるかまたは動作可能にさせる命令を保持する非一時的コンピュータ可読記憶媒体を含み得る。

【0094】

[00119]ネットワーク通信（ｃｏｍｍ．）インターフェース２２１６も、バス２２１４に接続され得る。ネットワーク通信インターフェース２２１６は、任意選択でルータ／モデム２２２６および有線またはワイヤレス接続２２２５を介して、装置２２００と１つまたは複数の外部デバイス、例えばストリーミングシステム２１００との間の双方向データ通信を提供またはサポートすることができる。代替として、または追加的に、装置２２００は、アンテナ２２２９に接続された送受信機２２１８を含み得、それを通して、装置２２００は、ワイヤレス通信システムのためのベースステーションと、またはルータ／モデム２２２６とワイヤレスに通信し得る。代替として、装置２２００は、ローカルエリアネットワーク、バーチャル・プライベート・ネットワーク、または他のネットワークを介してビデオストリーミングシステム２１００と通信し得る。別の代替形態では、装置２２００は、システム２１００のモジュールまたは構成要素として組み込まれ、バス２２１４を介して、または何らかの他のモダリティによって他の構成要素と通信し得る。

【0095】

[00120]装置２２００は、（例えば、バス２２１４およびグラフィック処理ユニット２２２０を介して）ディスプレイユニット２２２８に接続されてもよい。ディスプレイ２２２８は、装置２２００のオペレータに情報を表示するための任意の適切な構成を含み得る。例えば、ディスプレイ２２２８は、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンＬＣＤ（例えば、容量性ディスプレイ）、発光ダイオード（ＬＥＤ）ディスプレイ、プロジェクタ、または他のディスプレイ装置を含むかまたは利用して、視覚ディスプレイにおいて装置２２００のユーザに情報を提示することができる。

【0096】

[00121]１つまたは複数の入力デバイス２２３０（例えば、英数字キーボード、マイクロフォン、キーパッド、リモートコントローラ、ゲームコントローラ、カメラ、またはカメラアレイ）が、装置２２００に情報およびコマンドを通信するために、ユーザ入力ポート２２２２を介してバス２２１４に接続され得る。選択された実施形態では、入力装置２２３０は、カーソルの位置決めに対する制御を提供またはサポートすることができる。ポインティングデバイスとも呼ばれるそのようなカーソル制御デバイスは、マウス、トラックボール、トラックパッド、タッチスクリーン、カーソル方向キー、または物理的な動きを受信または追跡し、その動きをカーソルの動きを示す電気信号に変換するための他のデバイスとして構成され得る。カーソル制御装置は、例えばタッチセンシティブスクリーンを用いて、ディスプレイユニット２２２８に組み込まれてもよい。カーソル制御装置は、方向情報およびコマンド選択をプロセッサ２２０２に通信し、ディスプレイ２２２８上のカーソル移動を制御することができる。カーソル制御装置は、例えば、装置が平面または３次元空間におけるカーソル位置を指定することを可能にする２以上の自由度を有してもよい。

【0097】

[00122]いくつかの実施形態は、命令実行システム、装置、システム、または機械によって、またはそれらと関連して使用するための非一時的コンピュータ可読記憶媒体において実施され得る。コンピュータ可読記憶媒体は、いくつかの実施形態によって説明される方法を実行するようにコンピュータシステムを制御するための命令を含む。コンピュータシステムは、１つまたは複数のコンピューティングデバイスを含み得る。命令は、１つまたは複数のコンピュータプロセッサによって実行されるとき、いくつかの実施形態で説明されるものを実行するように構成され得、または動作可能であり得る。

【0098】

[00123]本明細書の説明においておよび以下の特許請求の範囲全体を通して使用されるとき、「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上が明らかに別段指示しない限り、複数の言及を含む。また、本明細書の説明においておよび以下の特許請求の範囲全体を通して使用されるとき、「ｉｎ」の意味は、文脈上別段明確に指示しない限り、「ｉｎ」および「ｏｎ」を含む。

【0099】

[00124]上記の説明は、いくつかの実施形態の態様がどのように実施され得るかの例とともに、様々な実施を示す。上記の例および実施形態は、唯一の実施形態であると見なされるべきではなく、以下の特許請求の範囲によって定められるようないくつかの実施形態の柔軟性および利点を例示するために提示される。上記の開示および以下の特許請求の範囲に基づいて、特許請求の範囲によって定められる本発明の範囲から逸脱することなく、他の構成、実施形態、実施、および均等物が採用されてもよい。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【外国語明細書】