IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特許7345669セッションベースのDASH動作を使用したURLカスタマイズ
<>
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図1
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図2
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図3
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図4
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図5
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図6
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図7
  • 特許-セッションベースのDASH動作を使用したURLカスタマイズ 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-07
(45)【発行日】2023-09-15
(54)【発明の名称】セッションベースのDASH動作を使用したURLカスタマイズ
(51)【国際特許分類】
   H04N 21/2362 20110101AFI20230908BHJP
   H04N 19/46 20140101ALI20230908BHJP
   H04N 21/84 20110101ALI20230908BHJP
【FI】
H04N21/2362
H04N19/46
H04N21/84
【請求項の数】 12
(21)【出願番号】P 2022545897
(86)(22)【出願日】2021-08-06
(65)【公表番号】
(43)【公表日】2023-03-24
(86)【国際出願番号】 US2021044925
(87)【国際公開番号】W WO2022076073
(87)【国際公開日】2022-04-14
【審査請求日】2022-07-27
(31)【優先権主張番号】63/088,647
(32)【優先日】2020-10-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/365,400
(32)【優先日】2021-07-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】イーラジ・ソダガー
【審査官】大西 宏
(56)【参考文献】
【文献】特表2015-527795(JP,A)
【文献】特表2016-511954(JP,A)
【文献】米国特許出願公開第2010/0017529(US,A1)
【文献】米国特許出願公開第2014/0095730(US,A1)
【文献】米国特許出願公開第2014/0201335(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
H04N 19/00 -19/98
(57)【特許請求の範囲】
【請求項1】
ビデオコンテンツを提供するための方法であって、前記方法は、少なくとも1つのプロセッサによって行われ、
セッションのメディアプレゼンテーション記述(MPD)情報を生成するようにクライアントに命令するセッションベース記述(SBD)情報を取得するステップと、
前記MPD情報に基づいてSBDクライアントを起動し、SBD記述子情報を渡すステップと、
セグメントユニフォームリソースロケータ(URL)の生成、タイミングの提供、および少なくとも前記セグメントURLを変更することによる、前記ビデオコンテンツのセグメントを求める要求の処理を制御するステップと、
前記変更されたセグメントURLに基づいて前記ビデオコンテンツのセグメントを提供するステップと
を含む、方法。
【請求項2】
前記SBD情報は、URL値、テンプレート値、およびキー値を含む、請求項1に記載の方法。
【請求項3】
前記SBD情報に基づいて、前記変更されたセグメントURLを生成するステップをさらに含む、請求項2に記載の方法。
【請求項4】
前記SBD情報にユーザ情報が示されているかどうかを判定するステップと、
前記SBD情報に前記ユーザ情報が示されている場合に、前記SBD情報のユーザ情報テンプレート内の少なくとも1つの文字列を置換することによって前記セグメントURLを変更するステップと
をさらに含む、請求項3に記載の方法。
【請求項5】
前記SBD情報にホスト情報が示されているかどうかを判定するステップと、
前記SBD情報に前記ホスト情報が示されている場合に、前記SBD情報のホスト情報テンプレート内の少なくとも1つの文字列を置換することによって前記セグメントURLを変更するステップと
をさらに含む、請求項3に記載の方法。
【請求項6】
前記SBD情報にポート情報が示されているかどうかを判定するステップと、
前記SBD情報に前記ポート情報が示されている場合に、前記SBD情報のポート情報テンプレート内の少なくとも文字列を置換することによって前記セグメントURLを変更するステップと
をさらに含む、請求項3に記載の方法。
【請求項7】
前記SBD情報にパス情報が示されているかどうかを判定するステップと、
前記SBD情報に前記パス情報が示されている場合に、前記SBD情報のパス情報テンプレート内の文字列を置換することによって前記セグメントURLを変更するステップと
をさらに含む、請求項3に記載の方法。
【請求項8】
前記変更されたセグメントURLを生成するステップは、前記セグメントURLの少なくとも1つの権限フィールドを変更することを含む、請求項3に記載の方法。
【請求項9】
前記変更されたセグメントURLを生成するステップは、前記セグメントURLの少なくとも1つのパスフィールドを変更することを含む、請求項3に記載の方法。
【請求項10】
前記変更されたセグメントURLを生成するステップは、前記セグメントURLの少なくとも1つのパスフィールドおよび少なくとも1つの権限フィールドを変更することを含む、請求項3に記載の方法。
【請求項11】
ビデオコンテンツを提供するための装置であって、前記装置は、
コンピュータプログラムコードを記憶するように構成された少なくとも1つのメモリ
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって命令されるように請求項1~10のいずれか一項に記載の方法を実施するよう構成された少なくとも1つのプロセッサ
を含む、装置。
【請求項12】
コンピュータに請求項1~10のいずれか一項に記載の方法を行わせるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年10月7日に出願された米国仮出願第63/088,647号、および2021年7月1日に出願された米国出願第17/365,400号に基づく優先権を主張し、これらの内容の全体は、参照により本明細書に明示的に組み込まれる。
【0002】
本開示は、セッションベースの動的適応型HTTPストリーミング(DASH)動作規格(ISO/IEC23009-8)などのためのセッションベース記述(SBD)フォーマットを使用して、セッションごとおよびクライアントごとにユニフォームリソースロケータ(URL)カスタマイズをセグメント化することに向けられている。
【背景技術】
【0003】
動画専門家集団(MPEG)は、最近、セッションベースのDASH動作のためのDASH標準化において新たなパートを開始した。このようなセッションでは、メディアプレゼンテーション記述(MPD)はすべてのクライアントに汎用である一方で、クライアントは、クライアントが当該のセッションに固有のMPDを作成するための命令を提供するサイドファイル、いわゆるSBDを得ることがある。しかしながら、このような分野では、せいぜいセグメントユニフォームリソースロケータ(URL)にクエリを追加することを超える機能はないかもしれないという技術的問題が生じる。
【発明の概要】
【課題を解決するための手段】
【0004】
1つ以上の異なる技術的問題に対処するために、本開示は、このような機能を改善する技術的解決策を提供する。
【0005】
コンピュータプログラムコードを記憶するように構成されたメモリと、コンピュータプログラムコードにアクセスし、コンピュータプログラムコードによって命令されるように動作するよう構成されたプロセッサまたは複数のプロセッサとを含む方法および装置が含まれる。このコンピュータプログラムコードは、少なくとも1つのプロセッサに、セッションのメディアプレゼンテーション記述(MPD)情報を生成するようにクライアントに命令するセッションベース記述(SBD)情報を取得させるように構成された取得コードと、少なくとも1つのプロセッサに、MPD情報に基づいてSBDクライアントを起動させ、SBD記述子情報を渡させるように構成された起動コードと、少なくとも1つのプロセッサに、セグメントユニフォームリソースロケータ(URL)の生成、タイミングの提供、および少なくともセグメントURLを変更することによる、ビデオコンテンツのセグメントを求める要求の処理を制御させるように構成された制御コードと、少なくとも1つのプロセッサに、変更されたセグメントURLに基づいてビデオコンテンツのセグメントを提供させるように構成された提供コードとを含む。
【0006】
例示的な実施形態によれば、SBD情報は、URL値、テンプレート値、およびキー値を含む。
【0007】
例示的な実施形態によれば、少なくとも1つのハードウェアプロセッサに、SBD情報に基づいて、変更されたセグメントURLを生成させるように構成された生成コードがある。
【0008】
例示的な実施形態によれば、少なくとも1つのハードウェアプロセッサに、SBD情報にユーザ情報が示されているかどうかを判定させ、SBD情報にユーザ情報が示されている場合に、SBD情報のユーザ情報テンプレート内の少なくとも1つの文字列を置換することによってセグメントURLを変更させるように構成された判定コードがある。
【0009】
例示的な実施形態によれば、少なくとも1つのハードウェアプロセッサに、SBD情報にホスト情報が示されているかどうかを判定させ、SBD情報にホスト情報が示されている場合に、SBD情報のホスト情報テンプレート内の少なくとも1つの文字列を置換することによってセグメントURLを変更させるように構成された判定コードがある。
【0010】
例示的な実施形態によれば、少なくとも1つのハードウェアプロセッサに、SBD情報にポート情報が示されているかどうかを判定させ、SBD情報にポート情報が示されている場合に、SBD情報のポート情報テンプレート内の少なくとも1つの文字列を置換することによってセグメントURLを変更させるように構成された判定コードがある。
【0011】
例示的な実施形態によれば、少なくとも1つのハードウェアプロセッサに、SBD情報にパス情報が示されているかどうかを判定させ、SBD情報にパス情報が示されている場合に、SBD情報のパス情報テンプレート内の少なくとも1つの文字列を置換することによってセグメントURLを変更させるように構成された判定コードがある。
【0012】
例示的な実施形態によれば、変更されたセグメントURLを生成することは、セグメントURLの少なくとも1つの権限フィールドを変更することを含む。
【0013】
例示的な実施形態によれば、変更されたセグメントURLを生成することは、セグメントURLの少なくとも1つのパスフィールドを変更することを含む。
【0014】
例示的な実施形態によれば、変更されたセグメントURLを生成することは、セグメントURLの少なくとも1つの権限フィールドおよび1つのパスフィールドを変更することを含む。
【0015】
開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
【図面の簡単な説明】
【0016】
図1】実施形態による簡略化された概略図である。
図2】実施形態による簡略化された概略図である。
図3】実施形態によるデコーダに関する簡略化されたブロック図である。
図4】実施形態によるエンコーダに関する簡略化されたブロック図である。
図5】実施形態による簡略化されたブロック図である。
図6】実施形態による簡略化されたフローチャートである。
図7】実施形態による簡略化されたフローチャートである。
図8】実施形態による簡略化された図である。
【発明を実施するための形態】
【0017】
以下で解説される提案された特徴は、別々に使用されてもよいし、または任意の順序で組み合わされてもよい。さらに、実施形態は、処理回路(例えば、1つ以上のプロセッサまたは1つ以上の集積回路)によって実施されてもよい。一例では、1つ以上のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
【0018】
図1は、本開示の一実施形態による通信システム100の簡略化されたブロック図を示す。通信システム100は、ネットワーク105を介して相互接続された少なくとも2つの端末102、103を含み得る。データの単方向送信のために、第1の端末103は、ネットワーク105を介して他方の端末102に送信するためにローカル位置でビデオデータを符号化し得る。第2の端末102は、ネットワーク105から他方の端末のコーディングされたビデオデータを受信し、コーディングされたデータをデコーディングし、復元されたビデオデータを表示し得る。単方向データ送信は、メディアサービング用途などで一般的であり得る。
【0019】
図1は、例えばビデオ会議中に行われ得る、コーディングされたビデオの双方向送信をサポートするために提供される端末101および104の第2のペアを示す。データの双方向送信のために、各端末101および104は、ネットワーク105を介して他方の端末に送信するためにローカル位置で取り込まれたビデオデータを符号化し得る。各端末101および104はまた、他方の端末によって送信されたコーディングされたビデオデータを受信し得、コーディングされたデータをデコーディングし得、復元されたビデオデータをローカルディスプレイデバイスに表示し得る。
【0020】
図1では、端末101、102、103、および104は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示され得るが、本開示の原理はそのように限定されるものではない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および/または専用のビデオ会議機器を伴う用途を見い出す。ネットワーク105は、例えば有線および/または無線通信ネットワークを含む、端末101、102、103、および104間で、コーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク105は、回路交換チャネルおよび/またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはインターネットを含む。本解説の目的のために、ネットワーク105のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作には無関係であり得る。
【0021】
図2は、開示された主題の用途の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルTV、ならびにCD、DVD、およびメモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶などを含む他のビデオ対応用途に等しく適用可能であり得る。
【0022】
ストリーミングシステムは、例えば圧縮されていないビデオサンプルストリーム213を作成するビデオソース201、例えばデジタルカメラを含み得るキャプチャサブシステム203を含み得る。そのサンプルストリーム213は、エンコーディングされたビデオビットストリームと比較して高いデータ量のものとして強調されてよく、カメラ201に結合されたエンコーダ202によって処理され得る。エンコーダ202は、以下でより詳細に説明されるように、開示された主題の態様を可能にするまたは実施するためにハードウェア、ソフトウェア、またはこれらの組み合わせを含み得る。エンコーディングされたビデオビットストリーム204は、サンプルストリームと比較してより低いデータ量のものとして強調されてよく、将来の使用のためにストリーミングサーバ205に記憶され得る。1つ以上のストリーミングクライアント212および207は、エンコーディングされたビデオビットストリーム204のコピー208および206を読み出すためにストリーミングサーバ205にアクセスし得る。クライアント212は、エンコーディングされたビデオビットストリームの入来するコピー208をデコーディングし、ディスプレイ209または他のレンダリングデバイス(図示せず)上にレンダリングされ得る送出されるビデオサンプルストリーム210を作成するビデオデコーダ211を含み得る。一部のストリーミングシステムでは、ビデオビットストリーム204、206、および208は、特定のビデオコーディング/圧縮規格に従ってエンコーディングされ得る。これらの規格の例は、上記で言及されており、本明細書でさらに説明される。
【0023】
図3は、本発明の一実施形態によるビデオデコーダ300の機能ブロック図であり得る。
【0024】
受信器302は、デコーダ300によってデコーディングされるべき1つ以上のコーデックビデオシーケンスを受信し得、同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスを受信し得、その場合、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。エンコーディングされたビデオシーケンスは、チャネル301から受信され得、チャネル301は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクであり得る。受信器302は、それぞれの使用エンティティ(図示せず)に転送され得る他のデータ、例えばエンコーディングされたオーディオデータストリームおよび/または補助データストリームと共に、エンコーディングされたビデオデータを受信し得る。受信器302は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ303が、受信器302とエントロピーデコーダ/パーサ304(以下「パーサ」)との間に結合され得る。受信器302が、十分な帯域幅および制御性を有する記憶/転送デバイスから、またはアイソクロナスネットワークからデータを受信している場合、バッファ303は必要ない場合がある、または小さくされ得る。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファ303が必要とされる場合があり、比較的大きくされ得、好適には適応サイズにされ得る。
【0025】
ビデオデコーダ300は、エントロピーコーディングされたビデオシーケンスからシンボル313を再構築するためのパーサ304を含み得る。これらのシンボルのカテゴリは、デコーダ300の動作を管理するために使用される情報、および場合によっては、デコーダの不可欠な部分ではないが、デコーダに結合され得るディスプレイ312などのレンダリングデバイスを制御するための情報を含む。レンダリングデバイスの制御情報は、補足強化情報(SEIメッセージ)またはビデオユーザビリティ情報パラメータセットフラグメント(図示せず)の形式であり得る。パーサ304は、受信されたコーディングされたビデオシーケンスを解析/エントロピーデコーディングし得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に準拠し得、可変長コーディング、ハフマンコーディング、および文脈依存性を伴うまたは伴わない算術コーディングなどを含む、当業者に周知の原理に従い得る。パーサ304は、コーディングされたビデオシーケンスから、ビデオデコーダ内の画素のサブグループのうちの少なくとも1つに関するサブグループパラメータのセットを、そのグループに対応する少なくとも1つのパラメータに基づいて抽出し得る。サブグループは、Group of Pictures(GOP)、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット(CU)、ブロック、変換ユニット(TU)、および予測ユニット(PU)などを含み得る。エントロピーデコーダ/パーサはまた、変換係数、量子化器パラメータ値、および動きベクトルなどのコーディングされたビデオシーケンス情報から抽出し得る。
【0026】
パーサ304は、シンボル313を作成するために、バッファ303から受信されたビデオシーケンスに対してエントロピーデコーディング/解析動作を行い得る。パーサ304は、エンコーディングされたデータを受信し、特定のシンボル313を選択的にデコーディングし得る。さらに、パーサ304は、特定のシンボル313が動き補償予測ユニット306、スケーラ/逆変換ユニット305、イントラ予測ユニット307、またはループフィルタ311に提供されるべきかどうかを判定し得る。
【0027】
シンボル313の再構築は、コーディングされたビデオピクチャまたはその部分のタイプ(インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど)、ならびに他の要因に応じて、複数の異なるユニットが関与しうる。どのユニットがどのように関与するかは、パーサ304によって、コーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサ304と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確性のため、示されていない。
【0028】
既に言及された機能ブロックのほかに、デコーダ300は、以下で説明されるように概念的にいくつかの機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施態様では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示された主題を説明する目的のため、以下の機能ユニットに概念的に細分するのが適切である。
【0029】
最初のユニットは、スケーラ/逆変換ユニット305である。スケーラ/逆変換ユニット305は、量子化された変換係数、ならびにいずれの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報をパーサ304からシンボル313として受信する。これは、アグリゲータ310に入力され得るサンプル値を含むブロックを出力し得る。
【0030】
場合によっては、スケーラ/逆変換305の出力サンプルは、イントラコーディングされたブロックに関係し得る、すなわち、以前に再構築されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構築された部分からの予測情報を使用し得るブロックに関係し得る。このような予測情報は、イントラピクチャ予測ユニット307によって提供され得る。場合によっては、イントラピクチャ予測ユニット307は、現在の(部分的に再構築された)ピクチャ309からフェッチされた周囲の既に再構築された情報を使用して、再構築中のブロックの同じサイズおよび形状のブロックを生成する。アグリゲータ310は、場合によっては、サンプルごとに、イントラ予測ユニット307が生成した予測情報を、スケーラ/逆変換ユニット305によって提供されるような出力サンプル情報に追加する。
【0031】
他の場合には、スケーラ/逆変換ユニット305の出力サンプルは、インターコーディングされた、および潜在的には動き補償されたブロックに関係し得る。このような場合、動き補償予測ユニット306は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ308にアクセスし得る。ブロックに関係するシンボル313に従って、フェッチされたサンプルを動き補償した後、これらのサンプル(この場合、残差サンプルまたは残差信号と呼ばれる)は、出力サンプル情報を生成するために、アグリゲータ310によってスケーラ/逆変換ユニットの出力に追加され得る。動き補償ユニットが予測サンプルをフェッチする参照ピクチャメモリ内のアドレスは、動きベクトルによって制御され得、例えばX、Y、および参照ピクチャ成分を有し得るシンボル313の形式で動き補償ユニットに利用可能である。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリからフェッチされたサンプル値の補間、および動きベクトル予測メカニズムなどを含み得る。
【0032】
アグリゲータ310の出力サンプルは、ループフィルタユニット311における様々なループフィルタリング技術を受け得る。ビデオ圧縮技術は、コーディングされたビデオビットストリームに含まれるパラメータによって制御され、パーサ304からのシンボル313としてループフィルタユニット311に利用可能にされたループ内フィルタ技術を含み得るが、これはまた、コーディングされたピクチャまたはコーディングされたビデオシーケンスの(デコーディング順で)以前の部分のデコーディング中に取得されたメタ情報に応えるものであってもよく、また以前に再構築されループフィルタリングされたサンプル値に応えるものであってもよい。
【0033】
ループフィルタユニット311の出力は、レンダリングデバイス312に出力され得るだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ557に記憶され得るサンプルストリームであり得る。
【0034】
特定のコーディングされたピクチャは、完全に再構築されると、将来の予測のための参照ピクチャとして使用され得る。コーディングされたピクチャが完全に再構築され、コーディングされたピクチャが(例えば、パーサ304によって)参照ピクチャとして識別されると、現在の参照ピクチャ309は、参照ピクチャバッファ308の一部になり得、次のコーディングされたピクチャの再構築を開始する前に、新しい現在のピクチャメモリが再割り当てされ得る。
【0035】
ビデオデコーダ300は、ITU-T Rec.H.265などの規格で文書化され得る所定のビデオ圧縮技術に従ってデコーディング動作を行い得る。コーディングされたビデオシーケンスは、ビデオ圧縮技術の文書または規格、具体的にはその中のプロファイル文書に指定されているように、ビデオ圧縮技術または規格のシンタックスに準拠するという意味で、使用されているビデオ圧縮技術または規格によって指定されたシンタックスに準拠し得る。また、コンプライアンスのために必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることである。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート(例えば、毎秒メガサンプルで測定される)、および最大参照ピクチャサイズなどを制限する。レベルによって設定された限界は、場合によっては、仮想参照デコーダ(HRD)の仕様、およびコーディングされたビデオシーケンスでシグナリングされるHRDバッファ管理のメタデータによってさらに制限され得る。
【0036】
一実施形態では、受信器302は、エンコーディングされたビデオと共に追加の(冗長な)データを受信し得る。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切にデコーディングするために、および/または元のビデオデータをより正確に再構築するためにビデオデコーダ300によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対ノイズ比(SNR)強化レイヤ、冗長スライス、冗長ピクチャ、および転送エラー訂正コードなどの形式であり得る。
【0037】
図4は、本開示の一実施形態によるビデオエンコーダ400の機能ブロック図であり得る。
【0038】
エンコーダ400は、エンコーダ400によってコーディングされるべきビデオ画像を取り込み得るビデオソース401(エンコーダの一部ではない)からビデオサンプルを受信し得る。
【0039】
ビデオソース401は、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット、…)、任意の色空間(例えば、BT.601 Y CrCB、RGB、…)、および任意の適切なサンプリング構造(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)であり得るデジタルビデオサンプルストリームの形式で、エンコーダ(303)によってコーディングされるべきソースビデオシーケンスを提供し得る。メディアサービングシステムでは、ビデオソース401は、以前に準備されたビデオを記憶する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース401は、ローカル画像情報をビデオシーケンスとして取り込むカメラであり得る。ビデオデータは、順番に見られたときに動きを与える複数の個別のピクチャとして提供され得る。ピクチャ自体は、画素の空間アレイとして編成され得、各画素は、使用中のサンプリング構造、色空間などに応じて1つ以上のサンプルを含み得る。当業者であれば、画素とサンプルとの関係を容易に理解し得る。以下の説明は、サンプルに焦点を当てている。
【0040】
一実施形態によれば、エンコーダ400は、用途によって要求されるように、リアルタイムで、または任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングし、コーディングされたビデオシーケンス410に圧縮し得る。適切なコーディング速度を実施することは、コントローラ402の1つの機能である。コントローラは、以下で説明されるように他の機能ユニットを制御し、これらのユニットに機能的に結合される。明確性のため、結合は示されていない。コントローラによって設定されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値、…)、ピクチャサイズ、Group of Pictures(GOP)レイアウト、および最大動きベクトル探索範囲などを含み得る。コントローラ402の他の機能は、特定のシステム設計に最適化されたビデオエンコーダ400に関係し得るため、当業者であれば、コントローラ402の他の機能を容易に特定し得る。
【0041】
一部のビデオエンコーダは、当業者が「コーディングループ」として容易に認識するものにおいて動作する。過度に簡略化された説明として、コーディングループは、エンコーダ400のエンコーディング部分(以下「ソースコーダ」)(コーディングされるべき入力ピクチャおよび参照ピクチャに基づいてシンボルを作成する役割を担う)と、(リモート)デコーダも作成する(開示された主題で考慮されているビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の圧縮が可逆的であるため)サンプルデータを作成するためにシンボルを再構築する、エンコーダ400に組み込まれた(ローカル)デコーダ406とからなり得る。再構築されたサンプルストリームは、参照ピクチャメモリ405に入力される。シンボルストリームのデコーディングは、デコーダの位置(ローカルまたはリモート)に関係なくビットイグザクトな結果をもたらすため、参照ピクチャバッファコンテンツもまた、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性(および、例えばチャネルエラーに起因して同期性が維持され得ない場合に結果として生じるドリフト)のこの基本原理は、当業者には周知である。
【0042】
「ローカル」デコーダ406の動作は、「リモート」デコーダ300の動作と同じであり得、これは、図3に関連して既に上記で詳細に説明された。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ408およびパーサ304によるコーディングされたビデオシーケンスへのシンボルのコーディング/デコーディングは可逆的であり得るため、チャネル301、受信器302、バッファ303、およびパーサ304を含むデコーダ300のエントロピーデコーディング部分は、ローカルデコーダ406に完全には実装されない場合がある。
【0043】
この点で行われ得る観察は、デコーダに存在する解析/エントロピーデコーディング以外のデコーダ技術が、実質的に同一の機能形式で、対応するエンコーダにも必ず存在する必要があることである。エンコーダ技術の説明は、包括的に説明されているデコーダ技術の逆であるため、省略され得る。特定の領域に関してのみ、より詳細な説明が必要とされ、以下で提供される。
【0044】
その動作の一部として、ソースコーダ403は、動き補償予測コーディングを行ってもよく、これは、「参照フレーム」として指定された、ビデオシーケンスからの1つ以上の以前にコーディングされたフレームを参照して入力フレームを予測的にコーディングする。このようにして、コーディングエンジン407は、入力フレームの画素ブロックと、入力フレームへの予測参照として選択され得る参照フレームの画素ブロックとの差をコーディングする。
【0045】
ローカルビデオデコーダ406は、ソースコーダ403によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームのコーディングされたビデオデータをデコーディングし得る。コーディングエンジン407の動作は、好適には非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ(図4には示されていない)でデコーディングされ得るとき、再構築されたビデオシーケンスは通常、いくつかのエラーを伴うソースビデオシーケンスの複製であり得る。ローカルビデオデコーダ406は、参照フレームに対してビデオデコーダによって行われ得るデコーディングプロセスを複製し、再構築された参照フレームを参照ピクチャキャッシュ405に記憶させ得る。このようにして、エンコーダ400は、(送信エラーがない限り)遠端のビデオデコーダによって取得される再構築された参照フレームとして共通のコンテンツを有する再構築された参照フレームのコピーをローカルに記憶し得る。
【0046】
予測器404は、コーディングエンジン407のための予測検索を行い得る。すなわち、コーディングされるべき新しいフレームに関して、予測器404は、サンプルデータ(候補参照画素ブロックとしての)、または新しいピクチャのための適切な予測参照として機能し得る、参照ピクチャ動きベクトルおよびブロック形状などの特定のメタデータに関して参照ピクチャメモリ405を検索し得る。予測器404は、適切な予測参照を見つけるために、画素ブロックごとのサンプルブロックに基づいて動作し得る。場合によっては、予測器404によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ405に記憶された複数の参照ピクチャから引き出された予測参照を有し得る。
【0047】
コントローラ402は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ビデオコーダ403のコーディング動作を管理し得る。
【0048】
すべての前述の機能ユニットの出力は、エントロピーコーダ408でエントロピーコーディングを受け得る。エントロピーコーダは、例えばハフマンコーディング、可変長コーディング、および算術コーディングなどとして当業者に既知の技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0049】
送信器409は、エントロピーコーダ408によって作成されたエンコーディングされたビデオシーケンスをバッファリングして、通信チャネル411を介した送信のためにそれを準備し得、通信チャネル411は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクであり得る。送信器409は、ビデオコーダ403からのコーディングされたビデオデータと、送信されるべき他のデータ、例えばコーディングされたオーディオデータストリームおよび/または補助データストリーム(ソースは図示せず)とをマージし得る。
【0050】
コントローラ402は、エンコーダ400の動作を管理し得る。コーディング中に、コントローラ402は、特定のコーディングピクチャタイプを各コーディングされたピクチャに割り当て得、これは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得る。例えば、多くの場合、ピクチャは、以下のフレームタイプのうちの1つとして割り当てられ得る。
【0051】
イントラピクチャ(Iピクチャ)は、シーケンス内の任意の他のフレームを予測のソースとして使用せずにコーディングおよびデコーディングされ得るものであり得る。一部のビデオコーデックは、例えばIndependent Decoder Refresh Picturesを含む様々なタイプのイントラピクチャに対応する。当業者は、Iピクチャのそれらの変種ならびにそれぞれの用途および特徴を認識している。
【0052】
予測ピクチャ(Pピクチャ)は、各ブロックのサンプル値を予測するために最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。
【0053】
双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされ得るものであり得る。同様に、複数の予測ピクチャは、単一のブロックの再構築のために2つより多くの参照ピクチャおよび関連メタデータを使用し得る。
【0054】
ソースピクチャは、一般的には、複数のサンプルブロック(例えば、4×4、8×8、4×8、または16×16のサンプルそれぞれのブロック)に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定されるように他の(既にコーディングされた)ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされ得るか、または同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされ得る(空間予測またはイントラ予測)。Pピクチャの画素ブロックは、以前にコーディングされた1つの参照ピクチャを参照して非予測的に、空間予測によって、または時間予測によってコーディングされ得る。Bピクチャのブロックは、以前にコーディングされた1つまたは2つの参照ピクチャを参照して非予測的に、空間予測によって、または時間予測によってコーディングされ得る。
【0055】
ビデオコーダ400は、ITU-T Rec.H.265などの所定のビデオコーディング技術または規格に従ってコーディング動作を行い得る。その動作において、ビデオコーダ400は、入力ビデオシーケンスの時間的および空間的冗長性を活用する予測コーディング動作を含む様々な圧縮動作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定されたシンタックスに準拠し得る。
【0056】
一実施形態では、送信器409は、エンコーディングされたビデオと共に追加のデータを送信し得る。ソースコーダ403は、このようなデータを、コーディングされたビデオシーケンスの一部として含み得る。追加のデータは、時間的/空間的/SNR強化レイヤ、冗長ピクチャおよびスライスなどの他の形式の冗長データ、補足強化情報(SEI)メッセージ、視覚ユーザビリティ情報(VUI)パラメータセットフラグメントなどを含み得る。
【0057】
図5は、例示的な実施形態による一般的なセッションベースのDASH動作の高レベルアーキテクチャの簡単なブロック図500を示す。例えば、メディアは、起点501で発生し、MPD/セグメントをDASHアクセスクライアント503に提供し得るコンテンツ配信ネットワーク(CDN)502に提供され得る。セッションクライアント506は、DASHアクセスクライアント503によるgetValue(key,time)などによって値を要求するように制御され得、このような値は、図6および図7の例示的な実施形態のように、セッションコントローラ504および505からの制御、ならびにSBD[0]n SBD[1]などのそれぞれのSBDデータと併せて、セッションクライアント506からDASHアクセスクライアント503に提供され得る。例えば、URLテンプレート化のためにSBD記述子に要素が導入され、より具体的には、実施形態によれば、SBD動作(例えば、クエリまたはURLのカスタマイズ)は、セッションクライアント506が、DASHアクセスクライアント503内のMPDから十分な情報を読み出した後に、DASHアクセスクライアント503によって生成されたセグメントURLにその処理を適用し得るようなものであるべきである。しかしながら、SBD動作は、例示的な実施形態では、DASHアクセスクライアント503の動作を妨害することはなく、例示的な実施態様がMPDおよびSBDの処理を組み合わせ得る一方で、他の実施形態はこのような特徴がその結果として行われ得ることを保持する。この点において、その利点は、SBD動作が、DASHクライアントロジックに統合されるのではなく、アプリケーションとして任意のDASHアクセスクライアントに追加され得ることであり得る。
【0058】
したがって、実施形態は、以下のプロセスに追加され得る新しい値でURLを変更し得る。しかしながら、URLの置換は、SBDクライアントによって行われてもよい。すなわち、以下の特徴があり得る例示的な実施形態による図6のフローチャート600を参照する。S601において、DASHアクセスクライアント503といったDASHクライアントは、CDN502からといったMPDを解析し、S602において、セッションクライアント506といったSBDクライアントを起動し、SBD記述子情報:@value(URL)、@template、キーを渡すSBD記述子(例えば、「getValue(key,time)」)の発見が実行される。S603において、DASHクライアントは、セグメントごとに、セグメントURLを生成することを要求し、S604において、セグメントURLおよびセグメントタイミングがSBDクライアントに提供され、これにより、S605において、SBDクライアントは要求を処理し、URLを変更し、クエリを追加し、結果を返し、S606において、DASHクライアントは、対応するセグメントを少なくとも要求し、それに応じてそのセグメントを処理および再生する。
【0059】
例えば、S605において、以下のSBD URL置換フィールド情報が考慮され得る。例示的な実施形態によればURLが以下を含むことを考慮する。
URI=scheme:[//authority]path[?query][#fragment](式1)
【0060】
次に、クエリは既にアドレス指定されているため、実施形態は、権限およびパス情報の置換を考慮する。
【0061】
実施形態によれば、権限は3つのフィールドを含む。
authority=[userinfo@]host[:port](式2)
【0062】
式1および式2のような情報を考慮して、実施形態は、以下のように、例示的な実施形態によるセッションベースのDASHのMPD EssentialProperty Descriptor属性の例を示す表1に示されているものなど、それぞれについて対を成す4つの異なるキーおよびテンプレートのうちのものなどの異なるキーおよびテンプレートを含む。
【0063】
【表1A】
【表1B】
【表1C】
【表1D】
【0064】
図7は、例示的なフローチャート700を示し、S701において、本明細書でさらに説明される、上記で言及されたUrlKey値の決定があり、S702、S704、S706、およびS708において、それぞれ、S702ではUrlKey@userinfo、S704ではUrlKey@hostinfo、S706ではUrlKey@port、UrlKey@pathがあるかどうか、順次のおよび/または並行したそれぞれの判定があり得る。
【0065】
S702において、SBD文書の中で見つかったキーと値のペアに適用するためのuserinfoテンプレートは、@userinfoTemplate内のUrlKey@userinfoの値がSBD文書の中で見つかった場合、SBD文書のその対応する値のペアが@userinfoTemplate内のエスケープされていない「$」文字間の文字列を置換するように考慮され、S703において、URLのuserinfoは、その結果に置換される。例示的な実施形態によれば、@userinfoTemplateの値は、空白文字を有さない。
【0066】
S704において、SBD文書の中で見つかったキーと値のペアに適用するためのホストテンプレートは、@hostTemplate内のUrlKey@hostinfoの値がSBD文書の中で見つかった場合、SBD文書のその対応する値のペアが@hostTemplate内のエスケープされていない「$」文字間の文字列を置換するように考慮され、S705において、URLのホストはその結果に置換される。例示的な実施形態によれば、@hostTemplateの値は、空白文字を有さない。
【0067】
S706において、SBD文書の中で見つかったキーと値のペアに適用するためのポートテンプレートは、@portTemplate内のUrlKey@portの値がSBD文書の中で見つかった場合、SBD文書のその対応する値のペアが@portTemplate内のエスケープされていない「$」文字間の文字列を置換するように考慮され、S707において、URLのポートはその結果に置換される。例示的な実施形態によれば、@portTemplateの値は、空白文字を有さない。
【0068】
S708において、SBD文書の中で見つかったキーと値のペアに適用するためのパステンプレートは、@pathTemplate内のUrlKey@pathの値がSBD文書の中で見つかった場合、SBD文書のその対応する値のペアが@pathTemplate内のエスケープされていない「$」文字間の文字列を置換するように考慮され、S709において、URLのパスはその結果に置換される。@pathTemplateの値は、空白文字を有さない。
【0069】
図7に関する例示的な実施形態によれば、それ自体またはその親がSBD記述子を含む任意の要素の任意のセグメントURLは、例示的な実施形態によるURL置換のためにSBDクライアントによって処理されることに留意されたい。
【0070】
MPEG-DASHは、一般に、従来のHTTPウェブサーバから配信されるインターネット上のメディアコンテンツのストリーミングを可能にする適応型ビットレートストリーミング技術を指す。メディアプレゼンテーション記述(MPD)ファイルは、様々なストリームおよびそれらが関連付けられた帯域幅に関する情報を保持するために使用される。上記で説明された実施形態を考慮して、DASHでは、MPDはすべてのクライアントにとって一般的であり得るが、クライアントは、クライアントが当該のセッションに固有のメディアプレゼンテーション記述(MPD)を作成するための命令を提供する、セッションベース記述(SBD)とも呼ばれるサイドファイルを取得し得る。本明細書では、クエリがセグメントURLに追加され得るだけではないように特徴が含まれる実施形態があり、本明細書のこのような実施形態はまた、セッションベースのDASH動作に技術的解決策を提供し、これは、各SBDセッションのクエリパラメータが追加され得、さらに、セグメントURLが上記で説明されたようにSBD情報を使用し得るようにSBDセッションがカスタマイズされ得るように改善するために、セッションごとに、また場合によってはクライアントごとにMPDをカスタマイズする重要な手法であり得る。
【0071】
このような技術的な利点は、セッションベース記述ファイルを使用してセグメントURLをカスタマイズする方法が説明されている上記の実施形態に対して達成され得、カスタマイズは、DASHクライアントがセグメントURLを生成した後に行われ、カスタマイズは、URLのすべての権限フィールドおよびパスフィールドで行われ得、各フィールドはテンプレートおよびキーを有し、キーの一致がSBDファイルの正しい時間または順序線で発見された場合、SBDファイル内のキーの対応する値は、対応するテンプレートの変更に使用され、URLのカスタマイズは、単一のフィールドごとに柔軟に可能であり、セグメントURLは、SBD必須記述子を有する親要素に属するようにカスタマイズされ、例示的な実施形態によれば、親要素ごとに異なるSBDファイルが使用され得る。
【0072】
上述の技術は、1つ以上のコンピュータ可読媒体に物理的に記憶された、コンピュータ可読命令を使用するコンピュータソフトウェアとして、または特別に構成された1つ以上のハードウェアプロセッサによって実施され得る。例えば、図8は、開示された主題の一定の実施形態を実施するのに適したコンピュータシステム800を示す。
【0073】
コンピュータソフトウェアは、コンピュータ中央処理装置(CPU)およびグラフィック処理装置(GPU)などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムの対象となり得る任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ得る。
【0074】
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、およびモノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはその構成要素上で実行され得る。
【0075】
コンピュータシステム800に関して図8に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム800の例示的な実施形態に示されている構成要素のいずれか1つまたは組み合わせに関して依存性も要件も有していないと解釈されるべきである。
【0076】
コンピュータシステム800は、一定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば触覚入力(キーストローク、スワイプ、データグローブの動きなど)、オーディオ入力(声、拍手など)、視覚入力(ジェスチャなど)、嗅覚入力(図示せず)を用いた1人以上の人間のユーザによる入力に応え得る。ヒューマンインターフェースデバイスは、オーディオ(音声、音楽、周囲音など)、画像(走査画像、写真画像は静止画像カメラから取得など)、ビデオ(2次元ビデオ、立体ビデオを含む3次元ビデオなど)などの、必ずしも人間による意識的な入力に直接関連しない一定の媒体をキャプチャするためにも使用され得る。
【0077】
入力ヒューマンインターフェースデバイスは、キーボード801、マウス802、トラックパッド803、タッチスクリーン810、ジョイスティック805、マイクロフォン806、スキャナ808、カメラ807のうちの1つ以上(それぞれ1つのみが示されている)を含み得る。
【0078】
コンピュータシステム800はまた、特定のヒューマンインターフェース出力デバイスを含み得る。このようなヒューマンインターフェース出力デバイスは、例えば触覚出力、音、光、および匂い/味によって1人以上の人間のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス(例えば、タッチスクリーン810またはジョイスティック805による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る)、オーディオ出力デバイス(スピーカ809、ヘッドホン(図示せず)など)、視覚出力デバイス(CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーン(それぞれタッチスクリーン入力機能の有無にかかわらない、それぞれ触覚フィードバック機能の有無にかかわらない、これらの一部は、2次元視覚出力、またはステレオグラフィック出力などの手段による3次元を超える出力を出力することができ得る)を含むスクリーン810、仮想現実眼鏡(図示せず)、ホログラフィックディスプレイ、およびスモークタンク(図示せず)など)、ならびにプリンタ(図示せず)を含み得る。
【0079】
コンピュータシステム800はまた、CD/DVD811を伴うCD/DVD ROM/RW820または同様の媒体を含む光学媒体、サムドライブ822、取り外し可能なハードドライブまたはソリッドステートドライブ823、テープおよびフロッピーディスクなどのレガシー磁気媒体(図示せず)、およびセキュリティドングル(図示せず)などの専用のROM/ASIC/PLDベースのデバイスなど、人間がアクセス可能な記憶デバイスおよびこれに関連する媒体を含み得る。
【0080】
当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。
【0081】
コンピュータシステム800はまた、1つ以上の通信ネットワーク898へのインターフェース899を含み得る。ネットワーク898は、例えば無線、有線、光であり得る。ネットワーク898はさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業、リアルタイム、ならびに遅延耐性などであり得る。ネットワーク998の例は、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、およびLTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上放送TVを含む有線または無線TVワイドエリアデジタルネットワーク、ならびにCANBusを含む車両および産業用のものなどを含む。特定のネットワーク898は、一般的には、特定の汎用データポートまたは周辺バス(850および851)(例えば、コンピュータシステム800のUSBポートなどに接続される外部ネットワークインターフェースアダプタを必要とし、他のものは、一般的には、以下で説明されるようにシステムバスへの接続によってコンピュータシステム800のコアに統合される(例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース)。これらのネットワーク898のいずれかを使用して、コンピュータシステム800は他のエンティティと通信し得る。このような通信は、単方向、受信のみ(例えば、放送TV)、単方向送信のみ(例えば、特定のCANbusデバイスへのCANbus)、または双方向、例えば、ローカルまたはワイドエリアデジタルネットワークを使用した他のコンピュータシステムに対するものであり得る。特定のプロトコルおよびプロトコルスタックは、上記で説明されたように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用され得る。
【0082】
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム800のコア840に接続され得る。
【0083】
コア840は、1つ以上の中央処理装置(CPU)841、グラフィック処理装置(GPU)842、グラフィックアダプタ817、フィールドプログラマブルゲート領域(FPGA)843の形式の専用のプログラマブル処理装置、および特定のタスク用のハードウェアアクセラレータ844などを含み得る。これらのデバイスは、読み出し専用メモリ(ROM)845、ランダムアクセスメモリ846、ユーザアクセス不可能な内蔵ハードドライブおよびSSDなどの内部大容量ストレージ847と共にシステムバス848を介して接続され得る。一部のコンピュータシステムでは、システムバス848は、追加のCPUおよびGPUなどによる拡張を可能にするために1つ以上の物理プラグの形式でアクセス可能であり得る。周辺デバイスは、コアのシステムバス848に直接接続され得るか、または周辺バス851を介して接続され得る。周辺バスのアーキテクチャは、PCIおよびUSBなどを含む。
【0084】
CPU841、GPU842、FPGA843、およびアクセラレータ844は、組み合わせて前述のコンピュータコードを構成し得る一定の命令を実行し得る。このコンピュータコードは、ROM845またはRAM846に記憶され得る。RAM846には過渡的なデータも記憶され得る一方で、永続的なデータは、例えば内部大容量ストレージ847に記憶され得る。1つ以上のCPU841、GPU842、大容量ストレージ847、ROM845、およびRAM846などに密接に関連付けられ得るキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶および高速読み出しが可能になり得る。
【0085】
コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るし、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであり得る。
【0086】
限定ではなく例として、アーキテクチャを有するコンピュータシステム800、具体的にはコア840は、1つ以上の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ(CPU、GPU、FPGA、およびアクセラレータなどを含む)の結果として機能を提供し得る。このようなコンピュータ可読媒体は、上記で紹介されたユーザアクセス可能な大容量ストレージ、およびコア内部の大容量ストレージ847またはROM845などの非一時的性質を有するコア840の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実施するソフトウェアは、このようなデバイスに記憶され、コア840によって実行され得る。コンピュータ可読媒体は、特定の必要性に応じて、1つ以上のメモリデバイスまたはチップを含み得る。ソフトウェアは、コア840に、具体的にはその中のプロセッサ(CPU、GPU、およびFPGAなどを含む)に、RAM846に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を変更することを含む、本明細書で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行させ得る。加えて、または代替として、コンピュータシステムは、本明細書で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりにまたはソフトウェアと共に動作し得る、回路(例えば、アクセラレータ844)にハードワイヤードまたは他の方法で具現化されたロジックの結果として機能を提供し得る。適切な場合には、ソフトウェアへの言及はロジックを包含し得、その逆もまた同様である。適切な場合には、コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路(集積回路(IC)など)、実行のためのロジックを具現化する回路、またはこれらの両方を包含し得る。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
【0087】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内に入る修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書では明示的に示されていないか、または説明されていないが、本開示の原理を具現化し、したがってその精神および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。
【符号の説明】
【0088】
100 通信システム
101 端末
102 端末
103 端末
104 端末
105 ネットワーク
201 ビデオソース
202 エンコーダ
203 キャプチャサブシステム
204 ビデオビットストリーム
205 ストリーミングサーバ
206 コピー
207 ストリーミングクライアント
208 コピー
209 ディスプレイ
210 発信ビデオサンプルストリーム
211 ビデオデコーダ
212 ストリーミングクライアント
213 圧縮されていないビデオサンプルストリーム
300 ビデオデコーダ
301 チャネル
302 受信器
303 バッファメモリ
304 パーサ
305 スケーラ/逆変換ユニット
306 動き補償予測ユニット
307 イントラ予測ユニット
308 参照ピクチャメモリ
309 現在の参照ピクチャ
310 アグリゲータ
311 ループフィルタ
312 ディスプレイ
313 シンボル
400 ビデオエンコーダ
401 ビデオソース
402 コントローラ
403 ソースコーダ
404 予測器
405 参照ピクチャメモリ
406 ローカルデコーダ
407 コーディングエンジン
408 エントロピーコーダ
409 送信器
410 ビデオシーケンス
411 通信チャネル
501 起点
502 コンテンツ配信ネットワーク
503 DASHアクセスクライアント
504 セッションコントローラ
505 セッションコントローラ
506 セッションクライアント
800 コンピュータシステム
801 キーボード
802 マウス
803 トラックパッド
805 ジョイスティック
806 マイクロフォン
807 カメラ
808 スキャナ
809 スピーカ
810 タッチスクリーン
811 CD/DVD
817 グラフィックアダプタ
820 CD/DVD ROM/RW
822 サムドライブ
823 取り外し可能なハードドライブまたはソリッドステートドライブ
840 コア
841 中央処理装置
842 グラフィック処理装置
843 フィールドプログラマブルゲート領域
844 ハードウェアアクセラレータ
845 読み出し専用メモリ
846 ランダムアクセスメモリ
847 内部大容量ストレージ
848 システムバス
850 汎用データポートまたは周辺バス
851 汎用データポートまたは周辺バス
898 通信ネットワーク
899 インターフェース
図1
図2
図3
図4
図5
図6
図7
図8