特開 2024-87762 エージェントを使用するコンテンツ配信ネットワークの選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024087762

(43)【公開日】2024-07-01

(54)【発明の名称】エージェントを使用するコンテンツ配信ネットワークの選択

(51)【国際特許分類】

   H04N 21/21 20110101AFI20240624BHJP

   H04N 21/24 20110101ALI20240624BHJP

   H04N 21/258 20110101ALI20240624BHJP

   H04L 67/1012 20220101ALI20240624BHJP

【ＦＩ】

H04N21/21

H04N21/24

H04N21/258

H04L67/1012

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023173635

(22)【出願日】2023-10-05

(31)【優先権主張番号】202211632854.2

(32)【優先日】2022-12-19

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】18/166,920

(32)【優先日】2023-02-09

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】523380346

【氏名又は名称】ベイジン・フル・ソフトウェア・テクノロジー・デベロップメント、カンパニー・リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＨＵＬＵ ＳＯＦＴＷＡＲＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２１０１－２１０８ ２１／Ｆ， ２２０１－２２０８ ２２／Ｆ， Ｂｕｉｌｄｉｎｇ Ｂ， Ｎｏ．１３ Ｂｕｉｌｄｉｎｇ， Ｗａｎｇｊｉｎｇ Ｅａｓｔ Ｐａｒｋ， ４ｔｈ Ｂｌｏｃｋ， ＰＯＳＣＯ， Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １００１０２， ＰＲＣ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】チェンイー・ティエン

(72)【発明者】

【氏名】トンギュ・ダイ

(72)【発明者】

【氏名】スー・チェン

(72)【発明者】

【氏名】ラーメイ・フアン

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164SA51P

5C164SB21S

5C164SB29S

5C164SB41P

5C164SC11P

5C164YA11

5C164YA24

(57)【要約】      （修正有）

【課題】より高いサービス品質をもたらす可能性が最も高くあり得るコンテンツ配信ネットワークを映像のための再生セッションに割り当てる方法を提供する。
【解決手段】方法は、コンテンツを求める要求についての入力値を決定し、複数のコンテンツ配信ネットワークについての分散に基づく成分を含む複数の状態を取り出す。複数のコンテンツ配信ネットワークについての複数のスコアは、入力値及び複数の状態に基づいて生成される。コンテンツ配信ネットワークについてのスコアは、成分についてのパラメータ値と入力値とを使用して生成される。方法はまた、コンテンツ配信ネットワークについてのスコアに基づいて複数のコンテンツ配信ネットワークからコンテンツ配信ネットワークを選択し、選択されたコンテンツ配信ネットワークに、コンテンツを配信することを求める要求にサービスさせるために、選択されたコンテンツ配信ネットワークについての情報を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

方法であって、
コンピューティングデバイスによって、コンテンツを求める要求についての入力値を決定することと、
前記コンピューティングデバイスによって、複数のコンテンツ配信ネットワークについての複数の状態を取り出すことと、ここにおいて、状態は、分散に基づく成分を含み、
前記コンピューティングデバイスによって、前記入力値及び前記複数の状態に基づいて前記複数のコンテンツ配信ネットワークについての複数のスコアを生成することと、ここにおいて、コンテンツ配信ネットワークについてのスコアは、前記成分についてのパラメータ値と前記入力値とを使用して生成され、
前記コンピューティングデバイスによって、前記コンテンツ配信ネットワークについての前記スコアに基づいて前記複数のコンテンツ配信ネットワークからコンテンツ配信ネットワークを選択することと、
前記コンピューティングデバイスによって、前記選択されたコンテンツ配信ネットワークに、前記コンテンツを配信することを求める前記要求にサービスさせるために、前記選択されたコンテンツ配信ネットワークについての情報を出力することと
を備える、方法。

【請求項2】

前記複数のスコアを生成することは、
前記コンテンツ配信ネットワークについてのそれぞれの状態と前記入力値とに基づいて前記複数のコンテンツ配信ネットワーク中の各コンテンツ配信ネットワークについての前記スコアを生成すること
を備える、請求項１に記載の方法。

【請求項3】

前記パラメータ値は、第１のパラメータ値を備え、
前記スコアは、前記第１のパラメータ値及び第２のパラメータ値を使用して生成され、
前記第２のパラメータ値は、前記それぞれのコンテンツ配信ネットワークに対するコンテンツの配信の履歴観察に基づく、
請求項１に記載の方法。

【請求項4】

前記第１のパラメータ値は、それぞれのコンテンツ配信ネットワークに対する履歴観察の数が増加するにつれて減少する、請求項３に記載の方法。

【請求項5】

前記スコアは、上限の予測に基づく、請求項１に記載の方法。

【請求項6】

コンテンツを求める前記要求は、クライアントから受信され、前記複数のコンテンツ配信ネットワーク中のコンテンツ配信ネットワークは、前記クライアントに前記コンテンツを配信することが可能である、請求項１に記載の方法。

【請求項7】

前記入力値は、前記要求に関連付けられたコンテキストに基づく入力値のセットを備える、請求項１に記載の方法。

【請求項8】

前記コンテキストは、前記要求を送り、前記コンテンツの配信を受信するクライアントに関連付けられる、請求項７に記載の方法。

【請求項9】

前記複数のスコアを生成することは、
前記複数のスコアを生成するために複数のエージェントを使用することを備え、各コンテンツ配信ネットワークは、それぞれのエージェントに関連付けられる、請求項１に記載の方法。

【請求項10】

状態が、前記複数のエージェントの各々について記憶される、請求項９に記載の方法。

【請求項11】

前記選択されたコンテンツ配信ネットワークによる前記コンテンツの配信からフィードバックを受信することと、
前記フィードバックに基づいて前記パラメータ値を調整することと
を更に備える、請求項１に記載の方法。

【請求項12】

前記フィードバックは、前記選択されたコンテンツ配信ネットワークによる前記コンテンツの前記配信に基づいて測定された性能メトリックに基づく、
請求項１１に記載の方法。

【請求項13】

前記フィードバックは、リバッファが前記選択されたコンテンツ配信ネットワークによる前記コンテンツの前記配信中に生じたかどうかを備える、請求項１２に記載の方法。

【請求項14】

前記パラメータ値は、リバッファが生じないときにより高いスコアを予測するための値に変更される、請求項１３に記載の方法。

【請求項15】

前記パラメータ値を調整することは、前記フィードバックが受信されるときにリアルタイムで実行される、請求項１１に記載の方法。

【請求項16】

前記パラメータ値を調整することは、前記フィードバックを使用して前記パラメータ値を第１の値から第２の値に調整するための動作によって実行される、請求項１１に記載の方法。

【請求項17】

前記コンテンツ配信ネットワークを選択することは、
前記複数のスコアから最も高くランク付けされたスコアを選択することを備える、請求項１に記載の方法。

【請求項18】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータ実行可能命令は、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
コンテンツを求める要求についての入力値を決定することと、
複数のコンテンツ配信ネットワークについての複数の状態を取り出すことと、ここにおいて、状態は、分散に基づく成分を含み、
前記入力値及び前記複数の状態に基づいて前記複数のコンテンツ配信ネットワークについての複数のスコアを生成することと、ここにおいて、コンテンツ配信ネットワークについてのスコアは、前記成分についてのパラメータ値と前記入力値とを使用して生成され、
前記コンテンツ配信ネットワークについての前記スコアに基づいて前記複数のコンテンツ配信ネットワークからコンテンツ配信ネットワークを選択することと、
前記選択されたコンテンツ配信ネットワークに、前記コンテンツを配信することを求める前記要求にサービスさせるために、前記選択されたコンテンツ配信ネットワークについての情報を出力することと
を行うように動作可能にさせる、非一時的コンピュータ可読記憶媒体。

【請求項19】

前記パラメータ値は、第１のパラメータ値を備え、
前記スコアは、前記第１のパラメータ値及び第２のパラメータ値を使用して生成され、
前記第２のパラメータ値は、前記それぞれのコンテンツ配信ネットワークに対するコンテンツの配信の履歴観察に基づく、
請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

装置であって、
１つ以上のコンピュータプロセッサと、
コンピュータ可読記憶媒体と
を備え、前記コンピュータ可読記憶媒体は、
コンテンツを求める要求についての入力値を決定することと、
複数のコンテンツ配信ネットワークについての複数の状態を取り出すことと、ここにおいて、状態は、分散に基づく成分を含み、
前記入力値及び前記複数の状態に基づいて前記複数のコンテンツ配信ネットワークについての複数のスコアを生成することと、ここにおいて、コンテンツ配信ネットワークについてのスコアは、前記成分についてのパラメータ値と前記入力値とを使用して生成され、
前記コンテンツ配信ネットワークについての前記スコアに基づいて前記複数のコンテンツ配信ネットワークからコンテンツ配信ネットワークを選択することと、
前記選択されたコンテンツ配信ネットワークに、前記コンテンツを配信することを求める前記要求にサービスさせるために、前記選択されたコンテンツ配信ネットワークについての情報を出力することと
を行うように動作可能となるように前記１つ以上のコンピュータプロセッサを制御するための命令を備える、装置。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

[0001]３５Ｕ．Ｓ．Ｃ．§１１９（ａ）に準じて、本出願は、２０２２年１２月１９日に出願され、「Selection of Content Delivery Networks Using Agents」と題された中国特許出願第２０２２１１６３２８５４．２号の出願日の利益を享受する権利を有し、且つその利益を主張し、その内容は、あらゆる目的のためにその全体が参照によって本明細書に援用される。

【背景技術】

【0002】

[0002]映像配信システムは、映像をクライアントに配信するために複数のコンテンツ配信ネットワーク（ＣＤＮ）を使用し得る。クライアントが映像を要求すると、映像配信システムは、再生セッション中に要求を処理するためにコンテンツ配信ネットワークのうちの１つを選択し得る。コンテンツ配信ネットワークを選択すると、クライアントは、映像をストリーミングするためにコンテンツ配信ネットワークと通信する。

【0003】

[0003]異なるコンテンツ配信ネットワークは、異なるサービス品質（ＱｏＳ）を異なるクライアントに提供し得る。それ故に、クライアントに割り当てられたコンテンツ配信ネットワークは、再生セッション中の再生体験に影響を及ぼし得る。例えば、映像を再生するためにクライアントに、第１のコンテンツ配信ネットワークは、第１のサービス品質を提供し、第２のコンテンツ配信ネットワークは、第２のサービス品質を提供し得る。第１のサービス品質再生体験と第２のサービス品質再生体験とが異なるとき、映像配信システムが、より高いサービス品質をもたらす可能性が最も高くあり得るコンテンツ配信ネットワークを映像のための再生セッションに割り当てることが望ましくあり得る。しかしながら、ランダム選択を使用して、映像配信システムは、任意選択で、映像を求める要求にコンテンツ配信ネットワークを割り当てない場合がある。

【0004】

[0004]含まれる図面は、例示を目的とするものであり、開示される本発明のシステム、装置、方法、及びコンピュータプログラム製品のための可能な構造及び動作の例を提供する役割のみを果たす。これらの図面は、開示される実装形態の趣旨及び範囲から逸脱することなく、当業者によって行われ得る任意の形態及び詳細の変更を決して限定しない。

【図面の簡単な説明】

【0005】

【図1】[0005]いくつかの実施形態による、コンテンツ配信ネットワークを選択するための簡略化されたシステムを図示する。

【図2】[0006]いくつかの実施形態による、ＣＤＮ選択システムのより詳細な例を図示する。

【図3】[0007]いくつかの実施形態による、ＱｏＳ予測を実行するための方法についての簡略化されたフローチャートを図示する。

【図4】[0008]いくつかの実施形態による、割り振り方法を使用してコンテンツ配信ネットワークを選択するための方法の簡略化されたフローチャートを図示する。

【図5】[0009]いくつかの実施形態による、信頼上限を説明するグラフを図示する。

【図6】[0010]いくつかの実施形態による、信頼上限を使用するコンテンツ配信ネットワークの選択を実行するための方法の簡略化されたフローチャートを図示する。

【図7】[0011]いくつかの実施形態による、エージェントを使用して計算された状態の例を図示する。

【図8】[0012]一実施形態による、１つ以上の通信ネットワークを介して複数のクライアントデバイスと通信している映像ストリーミングシステムを図示する。

【図9】[0013]映像コンテンツ及び広告を視聴するための装置の線図を図示する。

【発明を実施するための形態】

【0006】

[0014]本明細書では、映像配信システムのための技法が説明される。以下の説明では、説明を目的として、数多くの例及び特定の詳細が、いくつかの実施形態の完全な理解を提供するために記載される。特許請求の範囲によって定義されるいくつかの実施形態は、これらの例におけるいくつか又は全ての特徴を、単独で又は以下で説明される他の特徴と組み合わせて含み得、本明細書で説明される特徴及び概念の修正形態及び同等物を更に含み得る。

【0007】

[0015]上記で議論されたように、映像配信システムは、コンテンツをクライアントに配信するために複数のコンテンツ配信ネットワーク（ＣＤＮ）を使用し得る。クライアントがメディアコンテンツのインスタンスを要求すると、映像配信システムは、再生セッション中に要求を処理するためにコンテンツ配信ネットワークのうちの１つを選択し得る。コンテンツ配信ネットワーク（ＣＤＮ）選択システムは、予測エンジン及び割り振りエンジンを含み得る。予測エンジンは、性能メトリックを予測し得る。性能メトリックは、クライアントへのメディアコンテンツの配信に基づき得るが、適応ビットレートアルゴリズムにおけるプロファイルの性能など、他のアプリケーションのためのメトリックでもあり得る。メトリックは、サービス品質（ＱｏＳ）性能であり得るが、他のメトリックが使用され得る。いくつかの実施形態では、ＣＤＮ選択システムは、メディアコンテンツをクライアントに配信することができる複数のコンテンツ配信ネットワークについてのＱｏＳ性能スコアを予測し得る。ＱｏＳ性能スコアを予測した後、割り振りエンジンは、トップにランク付けされた（例えば、最も高い）ＱｏＳ性能スコアを有するコンテンツ配信ネットワークを選択することなどによって、それぞれのコンテンツ配信ネットワークについての予測されたＱｏＳ性能スコアに基づいて、利用可能なコンテンツ配信ネットワークからコンテンツ配信ネットワークを選択し得る。

【0008】

[0016]従来、ＱｏＳ性能の予測は、機械学習問題としてモデル化され得る。例えば、機械学習モデルに入力されるであろう特徴が選択され得、特徴についての履歴データが収集され、大量の履歴データを用いてモデルが訓練されて、ＱｏＳ性能が予測される。機械学習モデルを使用するときの１つの欠点は、機械学習モデルが、履歴観察を活用するためにＱｏＳ性能の期待を予測することである。期待は、履歴データに基づいて性能を最大化する試みであり得る。これは、不十分なＱｏＳ性能を経験するコンテンツ配信ネットワークが、機械学習モデルによって予測される劣悪なＱｏＳ性能スコアを有し得ることを意味する。それぞれのコンテンツ配信ネットワークについてのＱｏＳ履歴観察がほとんどない場合、アベレージＱｏＳ性能は、不十分であるという高いリスクにさらされ得、また、コンテンツ配信ネットワークは、割り振りエンジンによってあまり頻繁に選択されない場合がある（例えば、割り振りエンジンが、より高いスコアを有するコンテンツ配信ネットワークを選択するように歪められる場合）。しかしながら、コンテンツ配信ネットワークは、実際には、選択された場合、経時的に良好なＱｏＳ性能を提供することが可能であり得る。しかし、コンテンツ配信ネットワークは、少数の不十分なＱｏＳ性能の履歴観察に基づいて生成される不十分なＱｏＳ性能スコアに起因して選択されない場合がある。

【0009】

[0017]いくつかの実施形態は、ＱｏＳ性能予測を実行するエージェントを使用することによって、従来の方法に勝る利点を提供する。エージェントは、活用及び探索を測定するためのパラメータを含み得る。活用は、期待される性能（例えば、平均）であり得、探索は、潜在的であり得、それは、ランダム変数の分散に基づき得る。活用及び探索を使用するＱｏＳ性能スコアは、信頼上限（ＵＣＢ）であり得る。信頼上限は、期待される性能及び潜在性の探索に基づく上限であり得、それは、以下でより詳細に説明される。それ故に、エージェントは、履歴データの活用に基づく予測を生成し、コンテンツ配信ネットワークが予測された性能を配信する潜在性も生成し得る。これは、ＱｏＳ予測が少数の履歴観察を補償し得るので、ＱｏＳ性能についてのより正確な予測を提供し、それは、少数の観察が受信され得るときでも、コンテンツ配信ネットワークが依然としてその潜在的性能を探索するために選択されることを可能にし得る。

【0010】

[0018]また、機械学習モデル方法は、一般化可能性の欠点を有し得る。即ち、ＱｏＳ性能は、様々な要因に起因して経時的に変化し得、それは、条件が変化し、モデルが適応しないときに、機械学習モデルの出力の劣化につながる。機械学習モデルの出力を更新するために、機械学習モデルは、かなりの量のデータを使用して再訓練される必要がある。機械学習モデルの更新は、機械学習モデルのパラメータがデータを使用して再訓練される必要があるため、時間が掛かり得、この再訓練は、要求に対するセッションが終了した（例えば、映像配信が終了した）後など、リアルタイムで実行されることができない。むしろ、機械学習モデルは、オフラインにされ、再訓練され、次いで新しいパラメータ値を用いて再インストールされなければならない場合がある。それ故に、機械学習モデルは、データが経時的に変化するので、ＱｏＳ性能を正確に予測しない場合がある。

【0011】

[0019]いくつかの実施形態では、エージェントは、現在の要求に対する割り振りの結果を使用してリアルタイムで更新されることができる。例えば、クライアントからのメディアコンテンツを求める要求が受信され得、複数のコンテンツ配信ネットワークについてのＱｏＳ性能スコアが予測される。割り振りエンジンは、次いで、要求にサービスするためにコンテンツ配信ネットワークを選択し得る。要求に対するコンテンツの配信が、次いで観察され得る。例えば、コンテンツの再生の性能が観察され得、コンテンツの配信が、生じる任意のリバッファインスタンスに対して観察されるなど、ＱｏＳ性能が測定される。次いで、コンテンツの配信からのフィードバックが、エージェントをリアルタイムで調整するために使用され得る。例えば、ＣＤＮ選択システムは、ＱｏＳ性能スコアの予測を実行するために使用されるエージェントの１つ以上のパラメータ値を調整するためにフィードバックを使用する。いくつかの例では、ＣＤＮ選択システムは、リバッファが生じたか否かに基づいて、選択されたコンテンツ配信ネットワークのためのそれぞれのエージェントのパラメータを調整し得る。いくつかの実施形態では、ＣＤＮ選択システムは、更新が、機械学習モデルの再訓練を実行しなければならないこととは対照的に、エージェントのパラメータを更新するために１つ以上の加算演算などの１つ以上の演算を必要とするなど、軽量であり得るので、リアルタイムで更新を実行し得る。

【0012】

[0020]システムの概要

【0013】

[0021]図１は、いくつかの実施形態による、コンテンツ配信ネットワーク１０６を選択するための簡略化されたシステム１００を図示する。システム１００は、コンテンツ配信ネットワーク（ＣＤＮ）１０６－１～１０６－Ｎ、クライアント１０２、オリジンサーバ１０４、及びサーバシステム１０８を含む。コンテンツプロバイダは、エンティティがオンデマンド映像及びライブ映像などのメディアコンテンツのライブラリにメディアコンテンツを要求し、メディアコンテンツのライブラリからメディアコンテンツを受信することを可能にする映像配信サービスを提供するようにサーバシステム１０８を動作させる。コンテンツプロバイダは、クライアント１０２へのメディアコンテンツの配布を調整するためにサーバシステム１０８を使用し得る。メディアコンテンツは、コンピューティングデバイス上でレンダリングされることができる映像、オーディオ、又は他のタイプのコンテンツ情報などの、異なるタイプのコンテンツを含み得る。映像は、議論の目的で使用され得るが、他のタイプのコンテンツが認識され得る。メディアコンテンツのインスタンスは、要求に対して要求されるインスタンスであり得る。例えば、メディアコンテンツの第１のインスタンスは、第１のショーのためのものであり得、メディアコンテンツの第２のインスタンスは、第２のショーのためのものであり得、第３のインスタンスは、第１のショーのためのものであり得る、等である。

【0014】

[0022]コンテンツ配信ネットワーク１０６は、映像配信サービス用のメディアコンテンツのインスタンスを配信し得る。コンテンツ配信ネットワーク１０６は、メディアコンテンツのインスタンスをクライアント１０２に配信する、サーバなどの１つ以上のコンピューティングデバイスを含み得る。コンテンツプロバイダは、クライアント１０２へのそのメディアコンテンツの配信を支援するために複数のサードパーティコンテンツ配信ネットワークと契約することに加えて、それ自体のコンテンツ配信ネットワークを動作させる。クライアント１０２のインスタンスが示されているが、コンテンツ配信ネットワーク１０６は、メディアコンテンツをクライアント１０２の１つ以上のインスタンスに配信している場合がある。また、コンテンツ配信ネットワーク１０６は、エッジノードなどの複数のコンピューティングデバイスを含み得、それらは、地理的に分散され得る。エッジノードは、オリジンサーバ１０４からメディアコンテンツのセグメントを受信し、セグメントを異なるクライアント１０２に配信し得る。コンテンツ配信ネットワーク１０６に関連付けられた任意のサーバが、本明細書で説明される機能を実行し得る。また、サーバシステム１０８及びコンテンツ配信ネットワーク１０６が説明され得るが、いずれかによって実行される機能は、２つのエンティティ間に分散され得るか、又は他のエンティティによって実行され得る。

【0015】

[0023]クライアント１０２は、スマートフォン、セットトップボックス、タブレットデバイス、リビングルームデバイス、ゲームコンソール、等などのコンピューティングデバイスを含み得る。クライアント１０２は、コンテンツを再生することができるメディアプレーヤ１１４を含む。クライアント１０２は、メディアプレーヤ１１４でメディアコンテンツのインスタンスを再生し始めるために、コンテンツ配信ネットワーク＃２などのコンテンツ配信ネットワーク１０６のうちの１つを使用し得る。

【0016】

[0024]サーバシステム１０８は、クライアント１０２からのメディアコンテンツのインスタンスを求める要求を処理し得る。示されていないが、サーバシステム１０８は、複数のクライアント１０２からの要求を、順次に且つ同時に処理している場合がある。例えば、クライアント１０２は、同時に又はある時間期間内に映像を要求するために映像配信サービスを使用している場合がある。

【0017】

[0025]オリジンサーバ１０４は、メディアコンテンツの表現を記憶装置１１２中に記憶し得る。表現は、異なるビットレート又は品質（例えば、解像度）で符号化されたメディアコンテンツの異なる表現など、コンテンツについての異なる再生特性を含み得る。例えば、映像は、異なるビットレートで符号化され得る。いくつかの例では、クライアント１０２は、各コンテンツ配信ネットワーク１０６からメディアコンテンツのインスタンスを要求することが可能であり得、各コンテンツ配信ネットワーク１０６は、メディアコンテンツのインスタンスの表現で独立して応答することが可能であり得る。例えば、各コンテンツ配信ネットワーク１０６は、オリジンサーバ１０４にメディアコンテンツの表現を要求し、オリジンサーバ１０４からメディアコンテンツの表現を受信することができる１つ以上のサーバを含み得る。次いで、各コンテンツ配信ネットワーク１０６は、メディアコンテンツのインスタンスをクライアント１０２に配信することができる。

【0018】

[0026]サーバシステム１０８は、メディアコンテンツのインスタンスを求める要求を処理するためにコンテンツ配信ネットワーク１０６のうちの１つを選択するように構成される。コンテンツ配信ネットワーク（ＣＤＮ）選択システム１１０は、要求に対してコンテンツ配信ネットワークを選択し、コンテンツ配信ネットワーク１０６の選択を表す選択データをクライアント１０２に提供し得る。選択データは、クライアント１０２に提供することに加えて又はその代わりにのうちのいずれかで、選択されたコンテンツ配信ネットワーク１０６に提供され得る。クライアント１０２は、次いで、メディアコンテンツのインスタンスのセグメントを要求するために、コンテンツ配信ネットワーク＃２ １０６－２などの選択されたコンテンツ配信ネットワーク１０６と対話し得る。コンテンツ配信ネットワーク＃２ １０６－２は、次いで、セグメントをクライアント１０２に配信し得、クライアント１０２は、メディアプレーヤ１１４上にセグメントを表示する。

【0019】

[0027]クライアント１０２は、メディアコンテンツのインスタンスの再生中に異なる再生条件を経験し得る。例えば、再生条件は、コンテンツ配信ネットワーク１０６毎に異なり得る。これは、メディアコンテンツのインスタンスが、性能メトリックの異なる値でクライアント１０２に配信されることをもたらし得る。性能メトリックは、サービス品質と呼ばれ得、それは、メディアコンテンツのインスタンスをコンテンツ配信ネットワーク１０６からクライアント１０２に配信するサービスの性能の測定値であり得る。サービス品質性能メトリックを測定するために使用され得るいくつかのメトリックは、接続誘導リバッファ、パケット損失、ビットレート、スループット、伝送遅延、ネットワーク利用可能性、ジッタ、等など、ネットワーク性能に関連し得る。性能メトリックは、１つ以上のメトリックに基づき得る。

【0020】

[0028]ＣＤＮ選択システム１１０は、選択プロセスに基づいて要求に対してコンテンツ配信ネットワーク１０６を選択し得る。例えば、ＣＤＮ選択システム１１０は、要求に対してコンテンツ配信ネットワーク１０６を選択するために、コンテンツ配信ネットワーク１０６についての性能メトリックの分析を使用し得る。例えば、ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク１０６についてのＱｏＳ性能スコアを予測し得る。いくつかの実施形態では、ＱｏＳ性能スコアは、リバッファが生じる尤度を測定し得る。例えば、接続誘導リバッファが使用され得る。接続誘導リバッファは、クライアントデバイス１０２とそれぞれのコンテンツ配信ネットワーク１０６との間のネットワーク条件を反映し得る。即ち、接続に起因して経験される接続誘導リバッファは、コンテンツのネットワーク配信に起因して接続誘導リバッファが生じ得るなど、ネットワーク接続に問題があることを示唆し得る。これは、クライアント１０２上のコンピュータ処理リソースの欠如に起因して生じ得るリバッファとは異なり得る。接続誘導リバッファは、受信され、バッファ中に記憶されたデータの量に基づいて測定され得る。コンテンツの再生をサポートするのに十分なデータが受信されない場合、クライアント１０２は、接続誘導リバッファが生じたと決定し得る。再生をサポートするのに十分なデータがバッファ中にあるときに別のリバッファが生じ得、クライアント１０２は、これを接続誘導リバッファとみなさない場合がある。他の実施形態では、ほとんどのリバッファはネットワーク問題によって引き起こされ得るので、リバッファ発生は単に測定され得る。一般に、より高い予測されたＱｏＳ性能スコアは、リバッファを経験する可能性がより低いことを示し得る。

【0021】

[0029]いくつかの実施形態では、ＣＤＮ選択システム１１０は、メディアコンテンツのインスタンスを求める要求を受信すると、リアルタイムで選択を実行し得る。即ち、ＣＤＮ選択システム１１０は、メディアコンテンツ（例えば、プログラム）のインスタンスを求める要求を受信し、コンテンツ配信ネットワーク＃１～＃Ｎのうちの１つを選択する。次いで、ＣＤＮ選択システム１１０は、選択されたコンテンツ配信ネットワークの識別情報をクライアント１０２に送り得、クライアント１０２は、次いで、その選択されたコンテンツ配信ネットワーク１０６にメディアコンテンツのインスタンスを要求し得る。要求に対してコンテンツ配信ネットワーク１０６の選択を通信するための他の方法もまた認識され得る。例えば、ＣＤＮ選択システム１１０は、選択されたコンテンツ配信ネットワーク１０６に要求を送り得、選択されたコンテンツ配信ネットワーク１０６は、次いで、クライアント１０２と通信し得る。選択プロセスは、図２から開始して以下でより詳細に説明される。

【0022】

[0030]選択されたコンテンツ配信ネットワーク１０６からクライアント１０２へのメディアコンテンツのインスタンスの配信時に、性能メトリックが測定され得る。性能メトリックの測定は、クライアント１０２が性能メトリックを測定するために使用される情報を送り得る、コンテンツ配信ネットワーク１０６が情報を送り得る、等などの、異なる方法を使用して実行され得る。例えば、接続誘導リバッファが使用されている場合、１つ以上のリバッファが生じるかどうかを決定することが測定され得るか、又は配信されたデータの量に基づいてリバッファの数の比が使用される。上述されたように、リバッファは、異なる要因によって引き起こされ得る。接続誘導リバッファが測定され得る。他の実施形態では、ほとんどのリバッファはネットワーク問題によって引き起こされ得るので、リバッファ発生は単に測定され得る。リバッファ発生を測定することが説明されたが、映像起動時間又はスループットなどの他の要因も測定され得る。性能メトリックからのフィードバックは、フィードバックが受信された後に、このクライアント１０２又は他のクライアント１０２からのメディアコンテンツを求める後続の要求に対してコンテンツ配信ネットワーク１０６を選択するために使用され得る。例えば、ＣＤＮ選択システム１１０は、測定された性能メトリックを使用してエージェントのパラメータ値を更新し得、それは、図４から開始して以下でより詳細に説明される。

【0023】

[0031]以下は、ＣＤＮ選択システム１１０をより詳細に説明し、その後にＱｏＳ予測プロセス及び割り振りプロセスを説明する。

【0024】

[0032]ＣＤＮ選択システム

【0025】

[0033]図２は、いくつかの実施形態による、ＣＤＮ選択システム１１０のより詳細な例を図示する。ＣＤＮ選択システム１１０は、クライアント１０２からメディアコンテンツのインスタンスを求める要求を受信する。示されていないが、ＣＤＮ選択システム１１０は、複数のクライアント１０２からメディアコンテンツのインスタンスを求める複数の要求を受信している場合がある。要求は、異なるメディアコンテンツ、又は同じメディアコンテンツを求めるものであり得る。例えば、第１の要求は、第１のプログラムを求めるものであり、第２の要求は、第２のプログラムを求めるものであり、第３の要求は、第１のプログラムを求めるものである。

【0026】

[0034]予測エンジン２０２は、要求に対する入力を受信し、コンテンツ配信ネットワークについてのＱｏＳ性能スコアを出力する。いくつかの実施形態では、特徴は、予測エンジン２０２に対する入力として選択され得る。要求に対する入力は、要求の特性に関連付けられた特徴についての値を含む。いくつかの実施形態では、表Ｉの以下の特徴が使用され得るが、他の特徴も認識され得る：

【0027】

【表1】

【0028】

[0035]表Ｉでは、特徴は、デバイスプラットフォーム、地域、都市、インターネットサービスプロバイダ、指定された商圏、ネットワークタイプ、地理的地域、時刻、等を含み得る。特徴はカテゴリ特徴であり得、カテゴリ値の数は変化し得る。例えば、都市という特徴については、アメリカ合衆国には２０，０００の都市があり得、カナダには５０００の都市があり得る。特徴に関連付けられた値は、受信された要求に基づいて決定され得る。例えば、要求がクライアントデバイス１０２から受信され、クライアントデバイス１０２がサンタモニカにあるとき、ＧｅｏＩＰの値は、サンタモニカ又はサンタモニカに対する郵便番号に関連付けられ得る。同様に、時間が午後２時００分である場合、その時間が時刻の特徴に対して入力される。

【0029】

[0036]予測エンジン２０２は、コンテンツ配信ネットワークについての予測を生成し得る。例えば、要求にサービスすることが可能であり得る３つのコンテンツ配信ネットワークがあり得る。予測エンジン２０２は、次いで、各コンテンツ配信ネットワークについてのＱｏＳ性能スコアを生成し得る。例えば、ＱｏＳ性能についての予測されるスコアは、［０．４３、０．５５、及び０．５４］であり得る。スコアは、より高いスコアがより高くランク付けされるようにランク付けされ得る。いくつかの実施形態では、より高い予測されたＱｏＳ性能スコアは、それぞれのコンテンツ配信ネットワークが要求に対してより高いＱｏＳ性能を配信し得ることを示し得る。例えば、より高い値は、映像の再生中にリバッファを経験する尤度がより低いことを示し得る。他の実施形態では、スコアの値は、より低いスコアがリバッファを経験するより低い尤度を示し得るなど、他の尤度を示し得る。この場合、より低いスコアが、より高くランク付けされる。

【0030】

[0037]ＱｏＳ性能値を出力した後、割り振りエンジン２０４は、要求にサービスするためにコンテンツ配信ネットワークを選択し得る。割り振りエンジン２０４は、コンテンツ配信ネットワークを選択するために異なる方法を使用し得る。いくつかの実施形態では、割り振りエンジン２０４は、最も高い予測されたＱｏＳ性能スコアを有するコンテンツ配信ネットワークを選択し得る。例えば、割り振りエンジンは、コンテンツ配信ネットワーク＃２のＱｏＳ性能スコア０．５５が３つの値［０．４３、０．５５、及び０．５４］のうちで最も高いので、コンテンツ配信ネットワーク＃２を選択する。しかしながら、重み付けランダム選択、関数、等などの他の方法が使用され得る。重み付けランダム選択は、スコアを使用してコンテンツ配信ネットワークに重み付けし得るが、重みを使用してコンテンツ配信ネットワークをランダムに選択し得る。しかしながら、リバッファなどのより低い性能を経験する尤度が最も低いコンテンツ配信ネットワークが選択されるので、最も高くランク付けされたコンテンツ配信ネットワークを選択することは、性能を改善し得る。重み付けランダム選択では、コンテンツ配信ネットワークは、ランダム変数に基づいて選択され得るが、より高く重み付けされたコンテンツ配信ネットワークは、選択されるより多くの機会を有し得る。コンテンツ配信ネットワークを選択した後、割り振りエンジン２０４は、選択されたコンテンツ配信ネットワークを出力する。

【0031】

[0038]ＣＤＮ選択システム１１０は、クライアントデバイス１０２へのメディアコンテンツの配信からフィードバックを受信し得る。上記で議論されたように、異なるフィードバックメトリックが使用され得、図４において以下で議論される。

【0032】

[0039]ここから、予測プロセスがより詳細に説明される。

【0033】

[0040]予測プロセス

【0034】

[0041]予測エンジン２０２は、ＱｏＳ性能についての値を生成するためにエージェントを使用する。エージェントは、要求に関連付けられた特徴についての値を受信し、コンテンツ配信ネットワークについてのＱｏＳ性能スコアを出力し得る。いくつかの実施形態では、各コンテンツ配信ネットワークは、エージェントに関連付けられ得る。即ち、コンテンツ配信ネットワークのための各エージェントは、それぞれのコンテンツ配信ネットワークの性能に基づいて異なるパラメータ値を含み得る。しかしながら、それぞれのコンテンツ配信ネットワークのためのエージェントは、異なる方法で実装され得る。例えば、単一のエージェントは、それぞれのコンテンツ配信ネットワークについてのＱｏＳ性能スコアを生成する異なる部分を含み得る。

【0035】

[0042]図３は、いくつかの実施形態による、ＱｏＳ予測を実行するための方法についての簡略化されたフローチャート３００を図示する。３０２において、ＣＤＮ選択システム１１０は、要求を受信する。要求は、再生セッションにおいて再生される映像を求めるものであり得る。３０４において、ＣＤＮ選択システム１１０は、要求に対する特徴についての値を受信する。上記で議論されたように、特徴についての値は、要求を送ったクライアントに基づく情報などの、要求に関連付けられた情報と、クライアントによって使用されているネットワークタイプと、再生セッションのコンテキストとに基づき得る。

【0036】

[0043]３０６において、ＣＤＮ選択システム１１０は、特徴についての値を処理する。値の処理は、値に基づいてＱｏＳ性能スコアを生成するためにエージェントを使用することを含み得る。例えば、３０８において、エージェント＃１は、特徴を使用してコンテンツ配信ネットワーク＃１についての予測を生成する。同様に、３１０において、エージェント＃２は、特徴を使用してコンテンツ配信ネットワーク＃２についての予測を生成し、３１２において、エージェント＃Ｎは、特徴を使用してコンテンツ配信ネットワーク＃Ｎについての予測を生成する。即ち、同じ特徴値を使用して、Ｎ個のコンテンツ配信ネットワークの各々について予測が生成される。上記で議論されたように、コンテンツ配信ネットワークのための各それぞれのエージェントは、パラメータについての異なる値を有し得る。このことから、各それぞれのエージェントは、それぞれのパラメータ値及び同じ特徴値に基づいて、それぞれのコンテンツ配信ネットワークについての予測を生成し得る。これは、異なる値を有し得るか又はエージェントが同じパラメータ値を含む場合には同様の値を有し得る、予測をもたらし得る。エージェントによって生成される値の一例は、コンテンツ配信ネットワーク＃１、＃２、及び＃Ｎについての［０．４３、０．５５、及び０．５４］をそれぞれ含み得る。

【0037】

[0044]予測を実行した後、プロセスは、次いで、割り振りプロセスの実行に進む。

【0038】

[0045]割り振り

【0039】

[0046]図４は、いくつかの実施形態による、割り振り方法を使用してコンテンツ配信ネットワークを選択するための方法の簡略化されたフローチャート４００を図示する。４０２において、ＣＤＮ選択システム１１０は、コンテンツ配信ネットワークについてのＱｏＳ性能スコアを受信する。例えば、ＣＤＮ選択システム１１０は、各コンテンツ配信ネットワークについてのＱｏＳ性能スコアを受信する。次いで、４０４で、ＣＤＮ選択システム１１０は、予測に基づいてコンテンツ配信ネットワークを選択する。例えば、選択プロセスを使用して、ＣＤＮ選択システム１１０は、そのそれぞれのＱｏＳ性能スコアに基づいてコンテンツ配信ネットワークのうちの１つを選択し得る。上記で議論されたように、３つのスコアが［０．４３、０．５５、及び０．５４］である場合、ＣＤＮ選択システム１１０は、０．５５の最も高いＱｏＳ性能スコアを有するコンテンツ配信ネットワーク＃２を選択し得る。

【0040】

[0047]４０６において、ＣＤＮ選択システム１１０は、選択されたコンテンツ配信ネットワークとのセッションを開始し得る。例えば、コンテンツ配信ネットワーク＃２が選択された場合、選択されたコンテンツ配信ネットワークを用いてクライアントデバイス１０２に情報が送られる。次いで、クライアントデバイス１０２は、次いで、コンテンツ配信ネットワーク＃２を使用して、要求されたコンテンツを再生するための再生セッションを開始し得る。

【0041】

[0048]４０８において、ＣＤＮ選択システム１１０は、セッション中に、選択されたコンテンツ配信ネットワークの性能メトリックについてのフィードバックを受信する。例えば、ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク＃２を使用してコンテンツの配信に関する情報を受信し得る。フィードバックは、リバッファが生じたかどうかなど、ＱｏＳ性能として予測されているのと同じメトリックであり得る。しかしながら、生じたリバッファの数、再生開始時間、等などの他の情報も受信され得る。ＣＤＮ選択システム１１０は、次いで、４１０のコンテンツ配信ネットワークのためのエージェントを更新するためにフィードバックを使用し得る。例えば、ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク＃２のエージェント＃２についての１つ以上のパラメータ値を更新する。いくつかの実施形態では、リバッファが経験されない場合、パラメータは、次のセッションにおけるより高いＱｏＳ性能を予測するように更新され得るか、又はリバッファが経験される場合、パラメータは、より低いＱｏＳ性能を予測するように更新され得る。

【0042】

[0049]以下は、エージェントの更なる詳細を説明する。エージェントは、予測を生成するために異なる方法を使用し得ることに留意されたい。以下の方法が使用されるが、他の方法も認識され得る。

【0043】

[0050]エージェント

【0044】

[0051]いくつかの実施形態では、エージェントは、信頼上限を使用してＱｏＳ予測スコアを生成し得る。信頼上限は、分布のあるパーセンテージがそれ未満である点を定義し得る。ランダム変数について、値が１０未満である可能性が９５％である場合、９５％の信頼水準における信頼上限は１０である。図５は、いくつかの実施形態による、信頼上限を説明するグラフを図示する。グラフ５００は、平均値と信頼上限との間の差を図示する。曲線５０２は、ランダム変数Ａの分布を図示し、曲線５０４は、ランダム変数Ｂの分布を図示する。２つの曲線は、同じ平均値を共有するが、異なる分散を有する。平均値は、値のアベレージである。分散については、値の分布は、異なって変化し得る。一般的に見受けられるように、曲線５０２は、２の値と４の値との間にあるより多くのエリアを含み、曲線５０４は、１の値と５の値との間により広がった値を含む。

【0045】

[0052]５０６及び５０８において、曲線５０２及び曲線５０４の平均は、それぞれ、同じ値「３」である。５１０には、曲線５０２の信頼上限が示され、５１２には、曲線５０４の信頼上限が示されている。変数Ｂは、曲線５０４においてより大きな分散を有するので、より大きな信頼上限を含む。即ち、曲線５０４の下に分布する値は、曲線５０２の下の値よりも大きく変化する。

【0046】

[0053]従来の機械学習モデルは、ランダム変数の平均値を予測し得、その場合、機械学習モデルは、両方の曲線について同じ値を予測し得る。平均値がコンテンツ配信ネットワークについての不十分なＱｏＳ性能を表し、コンテンツ配信ネットワークについてのＱｏＳ履歴観察がほとんどない場合、コンテンツ配信ネットワークは、割り振りエンジンによってあまり頻繁に選択されない場合がある。しかしながら、コンテンツ配信ネットワークは、選択された場合、良好な性能を提供することが可能であり得る。対照的に、信頼上限は、平均値及び分散の両方を反映し得る。平均値は、変数の活用に関連付けられ得、分散は、変数の探索に関連付けられ得る。平均値及び分散の両方を利用することは、変数の期待及び潜在性の予測を形成し得る。図５では、５０４のその曲線を有する変数Ｂは、より高い信頼上限５１２を有し、それは、その曲線５０４が、その曲線５０２及び信頼上限５１０を有する変数Ａよりも高い性能を配信するより高い潜在性を有することを反映し得る。

【0047】

[0054]図６は、いくつかの実施形態による、信頼上限を使用するコンテンツ配信ネットワークの選択を実行するための方法の簡略化されたフローチャート６００を図示する。６０２において、ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク１０６のためのそれぞれのエージェントについてのパラメータ値を初期化する。いくつかの実施形態では、エージェントは、行列Ａ∈Ｒ^d×d及びベクトルｂ∈Ｒ^dであり得るパラメータを含み得、ここで、Ｒは、実数のセットであり、ｄは、埋め込み空間中の埋め込みの次元（dimension）を図示する。パラメータは、履歴観察に関する情報を記憶することを担い、ここで、行列Ａは、特徴を記録し、ベクトルｂは、特徴及び観察を異なる方法で記録する。信頼上限がその特徴において線形であるという仮定の下で、エージェントは、リッジ回帰などの異なる方法を使用して信頼上限を予測し得る。次いで、エージェントは、以下を使用して信頼上限を計算し得る：

【0048】

【数1】

【0049】

ここで、第１の成分は、期待（例えば、平均値）を予測することによる活用を表し、第２の成分は、探索（例えば、分散）を表し、αは、活用と探索との間のトレードオフを制御するハイパーパラメータである。また、「ｅ_s」は、セッションについての特徴の埋め込みを表し、「ｓ」は、セッションであり、「Ｔ」は、行列の転置を図示し、「－１」は、行列の逆を図示する。「ｃ」は、コンテンツ配信ネットワークを示し、例えば、信頼上限境界値の各々は、コンテンツ配信ネットワークについて別々に計算される。一般に、観察の数が少ないとき、第２の成分の値は、より高くなり得る。しかしながら、観察の数が増加すると、第２の成分の値は減少し得る。パラメータについての値は、エージェントについての状態として記憶装置中に記憶され得、エージェントは、信頼上限スコアを生成するためにそれら値を使用する。

【0050】

[0055]６０４において、ＣＤＮ選択システム１１０は、特徴から埋め込みを生成する。例えば、埋め込みは、埋め込み空間内の特徴についての値の表現であり得る。６０６において、ＣＤＮ選択システム１１０は、各それぞれのエージェントについての埋め込み及び関連するパラメータ値を使用して、全てのコンテンツ配信ネットワークについての信頼上限についての値を生成する。例えば、ＣＤＮ選択システム１１０は、記憶装置からパラメータについての値を取り出し、その値に埋め込みを適用する。ＣＤＮ選択システム１１０は、信頼上限を決定するために乗算及び加算などの演算を実行し得る。６０８において、ＣＤＮ選択システム１１０は、信頼上限値に基づいてコンテンツ配信ネットワークを選択する。

【0051】

[0056]コンテンツ配信ネットワークを選択した後、６１０において、ＣＤＮ選択システム１１０は、フィードバックのためにどのコンテンツ配信ネットワークを監視するかを決定する。選択されたコンテンツ配信ネットワークについて、６１２において、ＣＤＮ選択システム１１０は、コンテンツの配信を監視し、性能に基づいて報酬を生成する。いくつかの実施形態では、ＣＤＮ選択システム１１０は、コンテンツの配信から受信されたフィードバックに基づいて報酬値を決定し得る。いくつかの実施形態では、セッション中にリバッファが生じた場合、報酬は、「０」などの第１の値として設定され得るか、又はリバッファが経験されない場合、報酬は、「１」などの第２の値として設定される。値「１」は、値「０」と比較して、このセッションが成功であったことを示す、より価値のあるより高い報酬であり得る。６１４において、ＣＤＮ選択システム１１０は、報酬に基づいてエージェントを更新する。例えば、更新は、加算などの演算を伴い得る。例えば、ＣＤＮ選択システム１１０は、２つの行列加算を実行して、エージェントのパラメータ値を更新し、新しい値を記憶装置中に記憶する。機械学習モデルについてのパラメータを再訓練することと比較して、更新は、モデルを再訓練する必要なくリアルタイムで加算が実行されることができるので、より高速且つ軽量である。いくつかの実施形態では、エージェントは、以下のように更新される：

【0052】

【数2】

【0053】

即ち、セッションの埋め込みを使用して、行列Ａが更新される。行列Ａは、特徴の情報を記録する全ての履歴セッションに関する

【0054】

【数3】

【0055】

の総和であり得る。また、ベクトルｂは、報酬及び特定のセッションの埋め込みを使用して更新されている。ベクトルｂは、正のセッションの特徴の情報を記録する正の履歴セッションに関するｅ_sの総和であり得る。例えば、報酬値に埋め込みを掛けたものがベクトルｂ_iに加算されるので、正の報酬は、セッションについてのベクトルｂ_iの値を増加させ得る。報酬の値「０」は、第２項を値「０」にするので、負の報酬は、ベクトルｂ_iについての値を同じに保ち得る。

【0056】

[0057]以下は、信頼上限スコアの生成を示す例を説明する。

【0057】

[0058]例

【0058】

[0059]図７は、いくつかの実施形態による、エージェントを使用して計算された状態の例を図示する。ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク＃１、コンテンツ配信ネットワーク＃２、及びコンテンツ配信ネットワーク＃３と名付けられ得る３つのコンテンツ配信ネットワークの中から選択している。３つのエージェント、エージェント＃１、エージェント＃２、及びエージェント＃３が初期化され得る。それぞれのエージェント＃ｉのパラメータは、Ａ＃ｉ及びＢ＃ｉであり得る。各セッションに対して、地域及びＤＭＡの２つの特徴が使用され得るが、他の特徴もまた認識され得る。ハイパーパラメータαは０．５に等しく、それは、活用と探索の２つの成分のバランスを等しく取り得る。活用又は探索のうちのいずれかの成分がより優先されるべきである場合、ハイパーパラメータの値は変更され得る。特徴の値は、エージェントのための埋め込みとして符号化される。信頼上限についての予測されたＱｏＳ値が出力されると、ＣＤＮ選択システム１１０は、要求にサービスするためにコンテンツ配信ネットワークとして最大値を選択し得る。コンテンツをクライアント１０２に配信した後、再生セッションについてのフィードバックが受信され、ＣＤＮ選択システム１１０は、選択されたコンテンツ配信ネットワークに関連付けられたそれぞれのエージェントについての記憶された値を更新する。

【0059】

[0060]以下は、複数のセッションにわたるエージェントのパラメータについての値の状態を説明する。表７００－１では、パラメータの初期状態が示されている。上記で記載されたように、パラメータＡは行列であり、パラメータｂはベクトルである。これらのパラメータは、コンテンツ配信ネットワークが選択されたときの履歴観察を反映する情報を記憶する。コンテンツ配信ネットワーク＃１についてのパラメータ値は７０２－１で示され、コンテンツ配信ネットワーク＃２についてのパラメータ値は７０２－２で示され、コンテンツ配信ネットワーク＃３についてのパラメータ値は７０２－３で示される。パラメータ値Ａについての行列は、第１の行に値「１ ０」を有し、第２の行に値「０ １」を有する２×２行列である。行列は、２×２の単位行列であり得、それは、示されるように、主対角線上に値「１」を含み、他の場所に値「ゼロ」を含む。ベクトルｂについての値は０ ０である。ベクトルは、２次元ベクトルであり得る。Ａ及びｂの初期状態は、両方とも空状態である。Ａ及びｂのサイズは、埋め込みのサイズに対応し、２つの代わりにより多くの特徴が使用される場合には、異なり得る。

【0060】

[0061]セッション＃１では、埋め込みは［－１、０］であり得、それは、地域についての値－１、ＤＭＡについての値０を表す。エージェント＃１、＃２、＃３は、［０．５、０．５、０．５］として信頼上限をそれぞれ計算する。この場合、ＣＤＮ選択システム１１０は、各コンテンツ配信ネットワークについての信頼上限についての値が同じであっても、コンテンツ配信ネットワーク＃１を選択し得る。他の例では、コンテンツ配信ネットワーク＃２又は＃３も選択され得る。いくつかの実施形態では、ＣＤＮ選択システム１１０は、信頼上限についての最も高い値が同じであるときにタイブレーカを使用し得る。ランダム選択、他のコンテンツ配信ネットワークよりも少なく選択されたコンテンツ配信ネットワークを選択すること、コンテンツを配信するためのコストに基づいてコンテンツ配信ネットワークを選択すること、等など、タイブレークのための異なる方法が認識され得る。コンテンツ配信ネットワーク＃１を選択した後、コンテンツ配信ネットワーク＃１のための再生セッションが観察され、リバッファが生じる。この場合、報酬は、０に等しい。表７００－２は、

【0061】

【数4】

【0062】

によって定義されるような、セッション＃１後の値の更新された状態を示す。エージェント＃１のための７０４において、第１の行における行列Ａの値は、コンテンツ配信ネットワーク＃１の選択を反映するために、［１ ０］から［２ ０］に変更される。リバッファがあったので、ベクトルｂについての値は変更されない。他のエージェント＃２及び＃３についての値は、他のエージェントのための関連するコンテンツ配信ネットワークが選択されなかったので変更されない。しかしながら、他の例では、これらのエージェントについての値は、エージェント＃１についてのフィードバックに基づいて調整され得る。例えば、エージェント＃１及び＃２についての値は、ＱｏＳ性能のより正の予測がコンテンツ配信ネットワーク＃１で生じるリバッファに起因して生成されるべきであることを反映するように調整され得る。

【0063】

[0062]セッション＃２では、埋め込みは［１、０．５］である。エージェント＃１、＃２、＃３は、信頼上限を［０．４３、０．５５、０．５５］として計算する。ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク＃２を選択する。コンテンツ配信ネットワーク＃２及びコンテンツ配信ネットワーク＃３は、同じ予測された信頼上限を有するが、コンテンツ配信ネットワーク＃２が選択される。コンテンツ配信ネットワーク＃２を使用したコンテンツの配信中、セッション中にリバッファはない。それ故に、報酬値は１に等しい。表７００－３では、７０６において、行列Ａ＃２が、示された値に更新され、７０８において、ベクトルｂ＃２が、示された値に更新される。例えば、行列Ａ＃２は、コンテンツ配信ネットワーク＃２が選択されたことを反映するために、第１の行が［１ ０］から［２．０１ ０．３５］に更新され、第２の行が［０ １］から［０．３５ ３．５］に更新される。ベクトルｂ＃２は、正の報酬の効果を示すために、［０ ０］から［１ ０．５］に更新される。

【0064】

[0063]セッション＃３では、埋め込みは［－０．１、１．５］であり、信頼上限は［０．７５０、１．０、０．７５１］である。ＣＤＮ選択システム１１０は、コンテンツ配信ネットワーク＃２が１．０の最も高い信頼上限スコアを有するので、コンテンツ配信ネットワーク＃２を選択する。コンテンツ配信ネットワーク＃２のための再生セッションの観察後、リバッファがあり、報酬は０に等しい。表７００－４では、７１０において、行列Ａ＃２は、コンテンツ配信ネットワーク＃２の選択を反映するように示された値に更新され、ベクトルｂ＃２は、報酬が０であったので同じままである。例えば、行列Ａ＃２は、［１．０１ ０．３５］から［２ ０．５］に更新された第１の行と、［０．３５ ３．５］から［０．５ ０．１２５］に更新された第２の行とを有する。

【0065】

[0064]上記の例では、ハイパーパラメータアルファが０．５に設定されたとき、セッション＃３が生じると、信頼上限は２つの部分の総和である：
ＵＣＢ＃１＝０＋０．５＊１．５０１
ＵＣＢ＃２＝０．２８＋０．５＊１．４
ＵＣＢ＃３＝０＋０．５＊１．５０３

【0066】

[0065]第１の成分は活用を反映し、第２の成分は分散を反映する。エージェント＃２は、２倍の数の観察及び更新を有し、それは、１．４の最低分散につながる（例えば、第２の成分は０．５のハイパーパラメータ＊１．４の分散である）。エージェント＃３は、選択されなかったため、観察を受けず、これは、値を探索するためのより大きい潜在的能力を示唆する。これは、１．５０３でのグループの最大分散につながる。エージェント＃１は、リバッファを伴う１つの観察を有し、エージェント＃２は、リバッファを伴う１つの観察と、リバッファを伴わない１つの他の観察とを有する。選択された履歴観察から、エージェント＃２は、エージェント＃１についての期待値０と比較して、より大きな期待値０．２８を有する。平均が分散なしに単に使用された場合、コンテンツ配信ネットワーク＃１によって経験されるリバッファは、負の観察が、不十分なＱｏＳ性能スコアが予測されることを引き起こし得るので、後続の要求に対してそれが選択される機会を低減し得る。しかしながら、コンテンツ配信ネットワーク＃１が（例えば、リバッファを伴わない）許容可能な性能を提供する潜在性が依然としてあり得る。１．５０１の分散は、コンテンツ配信ネットワーク＃１の潜在的性能が依然として探索されることを可能にし得る。

【0067】

[0066]結論

【0068】

[0067]いくつかの実施形態は、予測されたＱｏＳ性能に基づいてコンテンツ配信ネットワークを選択する。これは、リバッファなどの悪いネットワーク条件を経験する可能性が最も小さいと予測されるコンテンツ配信ネットワークが要求に割り当てられ得るので、より良好なネットワーク接続につながり得る。予測はまた、選択されたコンテンツ配信ネットワークのセッションが完了し、フィードバックが受信された後に、フィードバックがリアルタイムで組み込まれることを可能にすることによって、改善されたプロセスを使用して計算される。更新は、機械学習モデルと比較してより高速に実行され得る。

【0069】

[0068]以前の解決策と比較して、本解決策は、活用及び探索を使用して、異なるコンテンツ配信ネットワーク間の性能差を考慮し得る。これは、全体的なサービス品質性能及びユーザ体験を改善し得る。ハイパーパラメータαを調整することによって、探索と活用とのバランスを取るトレードオフも調整され得る。潜在的能力を探索するパラメータを使用して、それぞれのコンテンツ配信ネットワークについての観察がほとんどないとき、又はコンテンツ配信ネットワークについての少量の悪い観察があり得るとき、コンテンツ配信ネットワークの潜在性は無視されない場合がある。

【0070】

[0069]システム

【0071】

[0070]本明細書で開示されるような特徴及び態様は、図８に示されるように、１つ以上の通信ネットワークを介して複数のクライアントデバイスと通信している映像ストリーミングシステム８００と共に実装され得る。映像ストリーミングシステム８００の態様は、単に、本開示に従って準備されたコンテンツの配布及び配信を可能にするためのアプリケーションの例を提供するために説明される。本技術は、ストリーミング映像アプリケーションに限定されず、他のアプリケーション及び配信機構に適合され得ることが認識されるべきである。

【0072】

[0071]一実施形態では、メディアプログラムプロバイダは、メディアプログラムのライブラリを含み得る。例えば、メディアプログラムは、サイト（例えば、ウェブサイト）、アプリケーション、又はブラウザを通じて集約及び提供され得る。ユーザは、メディアプログラムプロバイダのサイト又はアプリケーションにアクセスし、メディアプログラムを要求することができる。ユーザは、メディアプログラムプロバイダによって提供されるメディアプログラムのみを要求することに限定され得る。

【0073】

[0072]システム８００では、映像データは、映像コンテンツサーバ８０２への入力として使用するために、１つ以上のソースから、例えば、映像ソース８１０から得られ得る。入力映像データは、任意の適切なデジタルフォーマット、例えば、ＭＰＥＧ（Moving Pictures Experts Group）－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＶＣ－１、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、ＨＥＶＣ（High Efficiency Video Coding）、又は他のフォーマットの未加工又は編集されたフレームベースの映像データを備え得る。代替では、映像は、非デジタルフォーマットで提供され、スキャナ又はトランスコーダを使用してデジタルフォーマットに変換され得る。入力映像データは、様々なタイプの映像クリップ又はプログラム、例えば、テレビエピソード、映画、及び消費者が関心を持つ主要コンテンツとして制作された他のコンテンツを備え得る。映像データはまた、オーディオを含み得るか、又はオーディオのみが使用され得る。

【0074】

[0073]映像ストリーミングシステム８００は、１つ以上のコンピュータにわたって分散された１つ以上のコンピュータサーバ又はモジュール８０２、８０４、及び８０７を含み得る。各サーバ８０２、８０４、８０７は、１つ以上のデータストア８０９、例えば、データベース、インデックス、ファイル、又は他のデータ構造を含み得るか、又はそれらに動作可能に結合され得る。映像コンテンツサーバ８０２は、様々な映像セグメントのデータストア（図示せず）にアクセスし得る。映像コンテンツサーバ８０２は、クライアントデバイスと通信するユーザインタフェースコントローラによって指示されるように映像セグメントを供給し得る。本明細書で使用される場合、映像セグメントは、テレビエピソード、映画、記録されたライブ公演、又は他の映像コンテンツを視聴するためにストリーミング映像セッションにおいて使用され得るような、フレームベースの映像データの明確な部分を指す。

【0075】

[0074]いくつかの実施形態では、映像広告サーバ８０４は、特定の広告主又はメッセージのための広告として構成された比較的短い映像（例えば、１０秒、３０秒、又は６０秒の映像広告）のデータストアにアクセスし得る。広告は、ある種の支払いと引き換えに広告主のために提供され得るか、又はシステム８００のためのプロモーションメッセージ、公共サービスメッセージ、又は何らかの他の情報を備え得る。映像広告サーバ８０４は、ユーザインタフェースコントローラ（図示せず）によって指示されるように映像広告セグメントを供給し得る。

【0076】

[0075]映像ストリーミングシステム８００はまた、ＣＤＮ選択システム１１０を含み得る。

【0077】

[0076]映像ストリーミングシステム８００は、映像コンテンツ及び映像広告をストリーミング映像セグメントに統合する統合及びストリーミング構成要素８０７を更に含み得る。例えば、ストリーミング構成要素８０７は、コンテンツサーバ又はストリーミングメディアサーバであり得る。コントローラ（図示せず）は、任意の適切なアルゴリズム又はプロセスに基づいて、ストリーミング映像中の広告の選択又は構成を決定し得る。映像ストリーミングシステム８００は、図８に図示されていない他のモジュール又はユニット、例えば、管理サーバ、商取引サーバ、ネットワークインフラストラクチャ、広告選択エンジンなどを含み得る。

【0078】

[0077]映像ストリーミングシステム８００は、データ通信ネットワーク８１２に接続し得る。データ通信ネットワーク８１２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、例えば、インターネット、電話ネットワーク、ワイヤレスネットワーク８１４（例えば、ワイヤレスセルラ電気通信ネットワーク（ＷＣＳ））、又はこれら若しくは同様のネットワークの何らかの組み合わせを備え得る。

【0079】

[0078]１つ以上のクライアントデバイス８２０は、データ通信ネットワーク８１２、ワイヤレスネットワーク８１４、又は別のネットワークを介して映像ストリーミングシステム８００と通信している場合がある。そのようなクライアントデバイスは、ＬＡＮ用のルータ８１８を介して、ワイヤレスネットワーク８１４用の基地局８１７を介して、又は何らかの他の接続を介して、例えば、１つ以上のラップトップコンピュータ８２０－１、デスクトップコンピュータ８２０－２、「スマート」携帯電話８２０－３、タブレットデバイス８２０－４、ネットワーク対応テレビ８２０－５、又はそれらの組み合わせを含み得る。動作中、そのようなクライアントデバイス８２０は、ユーザ入力デバイスから受信されたユーザ入力又は他の入力に応答して、システム８００にデータ又は命令を送受信し得る。それに応答して、システム８００は、メディアプログラムの選択に応答してデータストア８０９からの映像セグメント及びメタデータをクライアントデバイス８２０に供給し得る。クライアントデバイス８２０は、ディスプレイスクリーン、プロジェクタ、又は他の映像出力デバイスを使用してメディアプレーヤ中のストリーミング映像セグメントから映像コンテンツを出力し、映像コンテンツと対話するためのユーザ入力を受信し得る。

【0080】

[0079]オーディオ映像データの配布は、様々な方法、例えばストリーミングを使用して、コンピュータネットワーク、電気通信ネットワーク、及びそのようなネットワークの組み合わせを通して、ストリーミング構成要素８０７から遠隔クライアントデバイスに実施され得る。ストリーミングでは、コンテンツサーバは、クライアントデバイス上で少なくとも部分的に動作するメディアプレーヤ構成要素にオーディオ映像データを連続的にストリーミングし、メディアプレーヤ構成要素は、サーバからストリーミングデータを受信すると同時にオーディオ映像データを再生し得る。ストリーミングが議論されたが、他の配信方法が使用され得る。メディアプレーヤ構成要素は、コンテンツプロバイダからデータの最初の部分を受信した直後に映像データの再生を開始し得る。従来のストリーミング技法は、１組のエンドユーザにデータのストリームを配信する単一のプロバイダを使用する。多数の視聴者に単一のストリームを配信するために、高い帯域幅及び処理能力が必要とされ得、エンドユーザの数が増加するにつれて、プロバイダの必要とされる帯域幅が増大し得る。

【0081】

[0080]ストリーミングメディアは、オンデマンド又はライブで配信されることができる。ストリーミングは、ファイル内の任意の一点における即時再生を可能にする。エンドユーザは、再生を開始するためにメディアファイルをスキップし得るか、又はメディアファイル中の任意の一点に再生を変更し得る。故に、エンドユーザは、ファイルが徐々にダウンロードされるのを待つ必要がない。典型的には、ストリーミングメディアは、高帯域幅能力を有する少数の専用サーバから、映像ファイルを求める要求を受け入れ、それらのファイルのフォーマット、帯域幅、及び構造についての情報と共に、映像を再生するのに必要なデータ量だけを、それを再生するのに必要とされる速度で配信する専用デバイスを介して配信される。ストリーミングメディアサーバはまた、宛先クライアント上のメディアプレーヤの伝送帯域幅及び能力を考慮し得る。ストリーミング構成要素８０７は、制御メッセージ及びデータメッセージを使用してクライアントデバイス８２０と通信して、映像が再生されるにつれて変化するネットワーク状態に適応し得る。これらの制御メッセージは、早送り、早戻し、一時停止、又はクライアントにおけるファイルの特定の部分へのシークなどの制御機能を有効にするためのコマンドを含むことができる。

【0082】

[0081]ストリーミング構成要素８０７は、必要に応じて及び必要とされる速度でのみ映像データを送信するので、供給されるストリームの数に対する精密な制御が維持されることができる。視聴者は、より低いデータレートの伝送媒体を通して高いデータレートの映像を視聴することができないであろう。しかしながら、ストリーミングメディアサーバは、（１）ユーザに映像ファイルへのランダムアクセスを提供し、（２）誰が何の映像プログラムを視聴しているか、及びどれだけ長くそれらが見られているかを監視することを可能にし、（３）視聴体験をサポートするのに必要とされるデータ量だけが送信されるので、伝送帯域幅をより効率的に使用し、（４）映像ファイルは、視聴者のコンピュータ中に記憶されず、メディアプレーヤによって破棄され、このことから、コンテンツに対するより多くの制御を可能にする。

【0083】

[0082]ストリーミング構成要素８０７は、ＨＴＴＰ（HyperText Transfer Protocol）及びＲＴＭＰ（Real Time Messaging Protocol）などのＴＣＰベースのプロトコルを使用し得る。ストリーミング構成要素８０７はまた、ライブウェブキャストを配信することができ、１つよりも多くのクライアントが単一のストリームに同調することを可能にし、このことから帯域幅を節約する、マルチキャストを行うことができる。ストリーミングメディアプレーヤは、メディアプログラム中の任意の一点へのランダムアクセスを提供するために、映像全体をバッファリングすることに依拠しない場合がある。代わりに、これは、メディアプレーヤからストリーミングメディアサーバに送信される制御メッセージを使用して達成される。ストリーミングに使用される他のプロトコルは、ＨＬＳ（HTTP live streaming）又はＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）である。ＨＬＳ及びＤＡＳＨプロトコルは、典型的には１つ以上のコンテンツ配信ネットワーク（ＣＤＮ）から様々なビットレートで利用可能にされる小セグメントのプレイリストを介してＨＴＴＰ経由で映像を配信する。これは、メディアプレーヤがビットレートとコンテンツソースとの両方をセグメント毎に切り替えることを可能にする。切り替えは、映像の再生中に生じ得るネットワーク帯域幅分散及びインフラストラクチャの故障を補償するのに役立つ。

【0084】

[0083]ストリーミングによる映像コンテンツの配信は、様々なモデルの下で達成され得る。１つのモデルでは、ユーザは、映像プログラムの視聴に対して支払い、例えば、メディアプログラムのライブラリ若しくは制限されたメディアプログラムの一部分へのアクセスに対する料金を支払うか、又はペイパービューサービスを使用する。テレビ放送によってその開始直後に広く採用されている別のモデルでは、スポンサーは、プログラムの提示中又は提示に隣接して広告を提示する権利と引き換えに、メディアプログラムの提示に対して支払う。いくつかのモデルでは、広告は、映像プログラム中に所定の時間に挿入され、その時間は、「広告スロット」又は「広告ブレイク」と呼ばれ得る。ストリーミング映像を用いて、メディアプレーヤは、クライアントデバイスが、指定された広告スロット中に所定の広告も再生することなく映像を再生することができないように構成され得る。

【0085】

[0084]図９を参照すると、映像コンテンツ及び広告を視聴するための装置９００の線図が例示されている。選択された実施形態では、装置９００は、プロセッサメモリ９０４に動作可能に結合されたプロセッサ（ＣＰＵ）９０２を含み得、プロセッサメモリ９０４は、プロセッサ９０２による実行のためにバイナリコーディングされた機能モジュールを保持する。そのような機能モジュールは、入力／出力及びメモリアクセスなどのシステム機能を処理するためのオペレーティングシステム９０６と、ウェブページを表示するためのブラウザ９０８と、映像を再生するためのメディアプレーヤ９１０とを含み得る。メモリ９０４は、図９に示されていない追加のモジュール、例えば、本明細書の他の場所で説明される他の動作を実行するためのモジュールを保持し得る。

【0086】

[0085]バス９１４又は他の通信構成要素は、装置９００内の情報の通信をサポートし得る。プロセッサ９０２は、特定のタスクを定義する機械可読ソフトウェアコードを実行することによって、本明細書で開示される特徴及び態様に従って特定のタスクを実行するように構成された又は動作可能な特化又は専用マイクロプロセッサであり得る。プロセッサメモリ９０４（例えば、ランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイス）は、バス９１４に接続され得るか、又はプロセッサ９０２に直接接続され得、プロセッサ９０２によって実行される情報及び命令を記憶し得る。メモリ９０４はまた、そのような命令の実行中に一時変数又は他の中間情報を記憶し得る。

【0087】

[0086]記憶デバイス９２４中のコンピュータ可読媒体は、バス９１４に接続され、プロセッサ９０２のための静的情報及び命令を記憶し得、例えば、記憶デバイス（ＣＲＭ）９２４は、装置９００の電源がオフにされたときにシステム９０６、ブラウザ９０８、及びメディアプレーヤ９１０を操作するためのモジュールを記憶し得、装置９００の電源がオンにされたときにそこからモジュールがプロセッサメモリ９０４中にロードされ得る。記憶デバイス９２４は、情報、命令、又はそれらの何らかの組み合わせ、例えば、プロセッサ９０２によって実行されると、装置９００を、本明細書で説明されるような方法の１つ以上の動作を実行するように構成又は動作可能にさせる命令を保持する非一時的コンピュータ可読記憶媒体を含み得る。

【0088】

[0087]ネットワーク通信（ｃｏｍｍ．）インタフェース９１６もまた、バス９１４に接続され得る。ネットワーク通信インタフェース９１６は、任意選択で、ルータ／モデム９２６及びワイヤード又はワイヤレス接続９２５を介して、装置９００と１つ以上の外部デバイス、例えばストリーミングシステム８００との間の双方向データ通信を提供又はサポートし得る。代替では又は加えて、装置９００は、アンテナ９２９に接続されたトランシーバ９１８を含み得、それを通して、装置９００は、ワイヤレス通信システムのための基地局と、又はルータ／モデム９２６とワイヤレスに通信し得る。代替では、装置９００は、ローカルエリアネットワーク、仮想プライベートネットワーク、又は他のネットワークを介して映像ストリーミングシステム８００と通信し得る。別の代替では、装置９００は、システム８００のモジュール又は構成要素として組み込まれ、バス９１４を介して又は何らかの他のモダリティによって他の構成要素と通信し得る。

【0089】

[0088]装置９００は、（例えば、バス９１４及びグラフィックス処理ユニット９２０を介して）ディスプレイユニット９２８に接続され得る。ディスプレイ９２８は、装置９００のオペレータに情報を表示するための任意の適切な構成を含み得る。例えば、ディスプレイ９２８は、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンＬＣＤ（例えば、容量性ディスプレイ）、発光ダイオード（ＬＥＤ）ディスプレイ、プロジェクタ、又は視覚表示において装置９００のユーザに情報を提示するための他のディスプレイデバイスを含み得るか又は利用し得る。

【0090】

[0089]１つ以上の入力デバイス９３０（例えば、英数字キーボード、マイクロフォン、キーパッド、リモコン、ゲームコントローラ、カメラ、又はカメラアレイ）は、装置９００に情報及びコマンドを通信するために、ユーザ入力ポート９２２を介してバス９１４に接続され得る。選択された実施形態では、入力デバイス９３０は、カーソルの位置決めに対する制御を提供又はサポートし得る。ポインティングデバイスとも呼ばれるそのようなカーソル制御デバイスは、マウス、トラックボール、トラックパッド、タッチスクリーン、カーソル方向キー、又は物理的移動を受信又は追跡し、その移動をカーソル移動を示す電気信号に変換するための他のデバイスとして構成され得る。カーソル制御デバイスは、例えばタッチセンシティブスクリーンを使用して、ディスプレイユニット９２８中に組み込まれ得る。カーソル制御デバイスは、プロセッサ９０２に方向情報及びコマンド選択を通信し、ディスプレイ９２８上のカーソル移動を制御し得る。カーソル制御デバイスは、２つ以上の自由度を有し得、例えば、デバイスが平面又は３次元空間中のカーソル位置を指定することを可能にし得る。

【0091】

[0090]いくつかの実施形態は、命令実行システム、装置、システム、若しくは機械によって、又はそれらに関連して使用するための非一時的コンピュータ可読記憶媒体において実装され得る。コンピュータ可読記憶媒体は、いくつかの実施形態によって説明される方法を実行するようにコンピュータシステムを制御するための命令を包含する。コンピュータシステムは、１つ以上のコンピューティングデバイスを含み得る。命令は、１つ以上のコンピュータプロセッサによって実行されると、いくつかの実施形態において説明されるものを実行するように構成され得るか、又は動作可能であり得る。

【0092】

[0091]本明細書の説明において、及び以下の特許請求の範囲全体を通して使用される場合、「a」、「an」、及び「the」は、文脈が明確に別段の指示をしない限り、複数の言及を含む。また、本明細書の説明において、及び以下の特許請求の範囲全体を通して使用される場合、「in」の意味は、文脈が明確に別段の指示をしない限り、「in」及び「on」を含む。

【0093】

[0092]上記の説明は、いくつかの実施形態の態様がどのように実装され得るかの例と共に、様々な実施形態を例示する。上記の例及び実施形態は、唯一の実施形態であるとみなされるべきではなく、以下の特許請求の範囲によって定義されるようないくつかの実施形態の柔軟性及び利点を例示するために提示された。上記の開示及び以下の特許請求の範囲に基づいて、他の配置、実施形態、実装形態、及び同等物が、特許請求の範囲によって定義されるような本発明の範囲から逸脱することなく用いられ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】