(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022033238
(43)【公開日】2022-02-28
(54)【発明の名称】メディアストリーミングのためのコーディングプロファイルの最適化
(51)【国際特許分類】
H04N 19/40 20140101AFI20220218BHJP
【FI】
H04N19/40
【審査請求】有
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2021214174
(22)【出願日】2021-12-28
(62)【分割の表示】P 2019529637の分割
【原出願日】2017-12-01
(31)【優先権主張番号】62/428,946
(32)【優先日】2016-12-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507279381
【氏名又は名称】ブライトコブ インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ユーリー レズニック
(72)【発明者】
【氏名】カール リールボルド
(72)【発明者】
【氏名】アビジット ジャガンナート
(72)【発明者】
【氏名】ジャスティン グリア
(72)【発明者】
【氏名】マニシュ ラオ
(57)【要約】
【課題】メディアストリーミングのためのコーディングプロファイルの最適化の提供。
【解決手段】本明細書に説明される技法は、エンコーディングビットレート(および随意に、他のプロファイル設定)が特定のコンテンツのために最適化されるメディア(ビデオ)ストリーミングのための1つ以上の「動的プロファイル」を作成することを対象とする。より具体的には、技法は、特定のコンテンツの1つ以上の「プローブ」エンコーディングを実施し、標的品質値の十分に近傍(閾値内)の品質値を有するエンコーディングをもたらすエンコーディングビットレート(および随意に、他のプロファイル設定)を決定することを伴う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ソースコンテンツをトランスコードする方法であって、前記方法は、
要求側エンティティから、前記ソースコンテンツの場所を含むトランスコーディングジョブ作成要求を受信することと、
前記ソースコンテンツの前記場所を含むプロファイル生成要求を生成することと、
前記プロファイル生成要求をプロファイル生成工程に送信することと、
前記プロファイル生成要求を送信することに応答して、1つ以上のエンコーディングプロファイルを前記プロファイル生成工程から受信することと、
前記ソースコンテンツの前記場所と前記1つ以上のエンコーディングプロファイルを示す情報とを含むトランスコーディング要求を生成することと、
前記トランスコーディング要求をトランスコーディング工程に送信することと、
前記トランスコーディングの少なくとも一部が完了したことの指示を受信することと、
前記トランスコーディングの少なくとも一部が完了したことの前記指示を受信することに応答して、前記要求側エンティティに、前記トランスコーディングの前記少なくとも一部が完了したことのメッセージを送信することと
を含む、ソースコンテンツをトランスコードする方法。
【請求項2】
前記トランスコーディングジョブ作成要求は、アプリケーションプログラミングインターフェース(API)を介して受信される、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項3】
前記トランスコーディングジョブ作成要求は、ビデオエンコーディングの最終標的パラメータが自動的に選択されるべきことの指示を含む、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項4】
前記1つ以上のエンコーディングプロファイルは、複数のエンコーディングプロファイルを備え、前記トランスコーディング要求を生成することは、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのための別個のトランスコーディング要求を生成することを含む、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項5】
前記トランスコーディング要求を前記トランスコーディング工程に送信することは、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、前記別個のトランスコーディング要求をそれぞれのトランスコーディング工程に送信することを含む、請求項4に記載のソースコンテンツをトランスコードする方法。
【請求項6】
前記トランスコーディング要求は、前記トランスコーディング工程がトランスコードされたコンテンツを置くための場所に関する情報をさらに含む、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項7】
前記トランスコーディングジョブ作成要求は、前記ソースコンテンツがトランスコードされると、前記トランスコードされたコンテンツが位置すべき場所に関する情報をさらに含む、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項8】
前記トランスコーディング要求は、第1のサーバから送信され、前記トランスコーディング工程は、前記第1のサーバと異なる第2のサーバによって実行される、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項9】
前記プロファイル生成要求は、第1のサーバから送信され、前記プロファイル生成工程は、前記第1のサーバと異なる第2のサーバによって実行される、請求項1に記載のソースコンテンツをトランスコードする方法。
【請求項10】
サーバであって、
通信インターフェースと、
メモリと、
前記通信インターフェースおよび前記メモリと通信可能に結合された処理ユニットと
を備え、
前記処理ユニットは、
前記通信インターフェースを介して、要求側エンティティから前記ソースコンテンツの場所を含むトランスコーディングジョブ作成要求を受信することと、
前記ソースコンテンツの前記場所を含むプロファイル生成要求を生成することと、
前記プロファイル生成要求をプロファイル生成工程に送信することと、
前記プロファイル生成要求を送信することに応答して、1つ以上のエンコーディングプロファイルを前記プロファイル生成工程から受信することと、
前記ソースコンテンツの前記場所と前記1つ以上のエンコーディングプロファイルを示す情報とを含むトランスコーディング要求を生成することと、
前記トランスコーディング要求をトランスコーディング工程に送信することと、
前記トランスコーディングの少なくとも一部が完了したことの指示を受信することと、
前記トランスコーディングの少なくとも一部が完了したことの前記指示を受信することに応答して、前記通信インターフェースを介して、前記要求側エンティティに前記トランスコーディングの前記少なくとも一部が完了したことのメッセージを送信することと
を前記サーバに行わせるように構成されている、サーバ。
【請求項11】
前記サーバは、アプリケーションプログラミングインターフェース(API)を提供するように構成され、前記トランスコーディングジョブ作成要求は、前記APIを介して受信される、請求項10に記載のサーバ。
【請求項12】
前記1つ以上のエンコーディングプロファイルが複数のエンコーディングプロファイルを備えている場合、前記処理ユニットは、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのための別個のトランスコーディング要求を生成することによって、前記トランスコーディング要求を生成することを前記サーバに行わせるようにさらに構成されている、請求項10に記載のサーバ。
【請求項13】
前記処理は、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、前記別個のトランスコーディング要求をそれぞれのトランスコーディング工程に送信することによって、前記トランスコーディング要求を前記トランスコーディング工程に送信することを前記サーバに行わせるようにさらに構成されている、請求項12に記載のサーバ。
【請求項14】
前記処理は、前記トランスコーディング工程がトランスコードされたコンテンツを置くための場所に関する情報を前記トランスコーディング要求内に含むことを前記サーバに行わせるように構成されている、請求項10に記載のサーバ。
【請求項15】
前記処理は、前記トランスコーディング要求を前記トランスコーディング工程を実行する第2のサーバに送信することによって、前記トランスコーディング要求を送信することを前記サーバに行わせるようにさらに構成されている、請求項10に記載のサーバ。
【請求項16】
前記処理は、前記プロファイル生成要求を前記プロファイル生成工程を実行する第2のサーバに送信することによって、前記プロファイル生成要求を送信することを前記サーバに行わせるようにさらに構成されている、請求項10に記載のサーバ。
【発明の詳細な説明】
【背景技術】
【0001】
(関連出願)
本願は、米国仮出願第62/428,946号(2016年12月1日出願、名称「Optimization of Encoding Profiles for ABR
Streaming」)の利益を主張し、上記出願は、本願の譲受人に譲渡されており、その全体が参照により本明細書に組み込まれる。
【0002】
(背景)
従来、適応ビット-レート(ABR)ストリーミングエンコーダは、いくつかの生成されるべきストリーム(本明細書では、「描出」または「エンコーディング」とも称される)の数およびエンコードされたストリーム毎に使用されるための特定のパラメータ(標的解像度、フレームレート、ビットレート、コーデック、コーデック関連制約、ファイルフォーマット等)を規定する、プロファイル(またはプロファイルの組)を使用して動作する。大部分の場合、そのようなプロファイルは、静的に定義される。すなわち、それらは、コンテンツ、その意図される地理的範囲、デバイスの分布、およびそれをプルし、再生するために使用されるネットワーク等の要因に基づいて変化しない。しかしながら、ビデオコンテンツは、その複雑性が変動し、したがって、エンコーディングビットレートに関する異なる要件を課し得るため、そのような設計は、準最適である。
【0003】
例えば、HD解像度における動きの多い映画またはスポーツコンテンツは、容認可能に見えるために、6~10メガビット/秒(Mbps)のビットレート(本明細書では、単に、「レート」とも称される)を必要とし得る一方、いくつかの動きの少ない場面または漫画は、1Mbps未満で容認可能に見え得る。同様に、コンテンツの地理的範囲は、ネットワークの選択ならびにデバイスタイプおよびその能力に大きく影響を及ぼし得る。例えば、韓国(ネットワークが比較的に高帯域幅および信頼性を有する)における配布のために意図されるコンテンツは、超高レートおよび/または高解像度ストリームを含むことから利点を享受し得る一方、ソマリア(ネットワークが比較的に低帯域幅および信頼性を有する)における配布のために生産されたものは、ローカルネットワークの能力を反映させる、100キロビット/秒(kbps)~1Mbps範囲内のより多くのエンコーディングによってより良好にサービス提供され得る。
【0004】
エンコーディングプロファイルの最良選択に影響を及ぼし得る、追加の要因は、品質の標的レベル(例えば、エンコーディング毎に、最小容認可能平均オピニオン評点(MOS)、構造的類似性指標メトリック(SSIM)、または画質評価ランキング(PQR))、コンテンツ使用統計、エンコードされたコンテンツの意図される寿命(例えば、瞬時:ライブ/ニュースコンテンツ、短時間:広告等、長時間:ビデオオンデマンド(VOD)有料コンテンツ等)、異なるデバイスタイプ(接続されたTV対PCおよびモバイルデバイス)に到達するための発行元の優先順位等を含む。
【0005】
最適ABRエンコーディングプロファイルを作成するための市場の従来のソリューションは、そのような要因の組み合わせを考慮できず、準最適エンコーディングビットレートをもたらす。
【発明の概要】
【課題を解決するための手段】
【0006】
(要約)
本明細書に説明される技法は、エンコーディングビットレート(および随意に、ビデオ解像度、フレームレート、コーデックプロファイル、レベル、エンコードされたストリームの数等の他のエンコーディングパラメータ)の選択が、特定のコンテンツおよび配信コンテキストのために最適化される、メディア(ビデオ)ストリーミングのための「動的プロファイル」を作成することを対象とする。より具体的には、本技法は、特定のコンテンツの1つ以上の「プローブ」エンコーディングを実施し、本特定のコンテンツのための品質-レートモデルを決定し、次いで、最適化プロセスにおいて、本モデルを使用して、ある最適化基準に従って最良性能を達成するエンコーディングプロファイルをもたらす、エンコーディングビットレート(および随意に、他のプロファイルパラメータ)を決定することを伴う。例えば、そのような基準は、配信品質がある標的品質レベルを上回りながらの帯域幅使用の最小限化であり得る。
【0007】
本説明による、例示的ソースコンテンツをエンコードすることにおける最適化の方法は、コンピュータシステムによって、ソースコンテンツを取得することであって、ソースコンテンツは、第1の電子フォーマットにおけるビデオを備えている、ことと、少なくとも1つのプローブエンコーディングのためのエンコーディングパラメータを決定することと、少なくとも1つのプローブエンコーディングを行うこととを含む。例示的方法はさらに、少なくとも部分的に、少なくとも1つのプローブエンコーディングからの結果に基づいて、最終エンコーディングのためのエンコーディングパラメータを決定することと、コンピュータシステムを用いて、ソースコンテンツをエンコードするためのプロファイルを生成することとを含む。ソースコンテンツをエンコードするためのプロファイルは、ソースコンテンツが第2の電子フォーマットにエンコードされる方法を示し、最終エンコーディングのためのエンコーディングパラメータを示す情報を含む。
【0008】
方法の実施形態は、1つ以上の以下の特徴を含み得る。方法はさらに、少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることを決定することと、第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることの決定に応答して、少なくとも部分的に、第1のプローブエンコーディングのためのビットレートに基づいて、少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングのためのビットレートを決定することとを含み得る。標的品質値は、知覚的に加重された標的品質値を備えている。方法はさらに、標的品質値に基づいて、ビデオ解像度を決定することを含み得る。最終エンコーディングのためのエンコーディングパラメータを決定することは、品質モデルを少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値および少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングの品質値に適合させることを含み得る。方法はさらに、少なくとも部分的に、第1のプローブエンコーディングの品質値に基づいて、品質モデルの利得および形状を決定することを含み得る。ソースコンテンツをエンコードするためのプロファイルを生成することは、ある性能指数関数のための最適化問題を解決し、最終エンコーディングのためのエンコーディングパラメータのうちの1つ以上のものを決定することを含み得る。プロファイルは、最終エンコーディングが複数のエンコーディングのうちの1つを備えているエンコーディングラダーを備え得、方法はさらに、性能指数関数を使用して、複数のエンコーディングのうちの少なくとも1つの追加のエンコーディングのビデオ解像度およびビットレートを決定することを含む。方法は、ソースコンテンツをエンコードするためのプロファイルに従って、ソースコンテンツを第2の電子フォーマットにエンコードすることと、第2の電子フォーマットにエンコードされたソースコンテンツを記憶することとを含み得る。少なくとも1つのプローブエンコーディングのためのエンコーディングパラメータを決定することはさらに、標的ビデオ解像度に基づき得る。最終エンコーディングのためのエンコーディングパラメータを決定することはさらに、構造的類似性指標メトリックを示す標的品質値に基づき得る。
【0009】
本説明による、例示的サーバは、通信インターフェースと、メモリと、通信インターフェースおよびメモリと通信可能に結合される、処理ユニットとを備えている。処理ユニットは、サーバに、第1の電子フォーマットにおけるビデオを備えているソースコンテンツを取得させ、少なくとも1つのプローブエンコーディングのためのエンコーディングパラメータを決定させ、少なくとも1つのプローブエンコーディングを行わせるように構成される。処理ユニットはさらに、少なくとも部分的に、少なくとも1つのプローブエンコーディングからの結果に基づいて、最終エンコーディングのためのエンコーディングパラメータを決定させ、ソースコンテンツをエンコードするためのプロファイルを生成させるように構成される。ソースコンテンツをエンコードするためのプロファイルは、ソースコンテンツが第2の電子フォーマットにエンコードされる方法を示し、最終エンコーディングのためのエンコーディングパラメータを示す情報を含む。
【0010】
サーバの実施形態は、1つ以上の以下の特徴を含み得る。処理ユニットは、サーバに、少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることを決定させ、第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることの決定に応答して、少なくとも部分的に、第1のプローブエンコーディングのためのビットレートに基づいて、少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングのためのビットレートを決定させるように構成され得る。標的品質値は、知覚的に加重された標的品質値を備え得る。処理ユニットは、サーバに、標的品質値に基づいて、ビデオ解像度を決定させるように構成され得る。処理ユニットは、サーバに、品質モデルを少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値および少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングの品質値に適合することによって、最終エンコーディングのためのエンコーディングパラメータを決定させるように構成され得る。処理ユニットは、サーバに、少なくとも部分的に、第1のプローブエンコーディングの品質値に基づいて、品質モデルの利得および形状を決定させるように構成され得る。処理ユニットは、サーバに、ソースコンテンツをエンコードするためのプロファイルに従って、ソースコンテンツを第2の電子フォーマットにエンコードさせ、メモリ内に、第2の電子フォーマットにエンコードされたソースコンテンツを記憶させるように構成され得る。処理ユニットは、サーバに、標的ビデオ解像度にさらに基づいて、少なくとも1つのプローブエンコーディングのためのエンコーディングパラメータを決定させるように構成され得る。処理ユニットは、サーバに、さらに構造的類似性指標メトリック(SSIM)を示す標的品質値に基づいて、最終エンコーディングのためのエンコーディングパラメータを決定させるように構成され得る。
【0011】
本説明による、例示的ソースコンテンツをトランスコードする方法は、要求側エンティティから、ソースコンテンツの場所を含むトランスコーディングジョブ作成要求を受信することと、ソースコンテンツの場所を含むプロファイル生成要求を生成することと、プロファイル生成要求をプロファイル生成工程に送信することと、プロファイル生成要求を送信することに応答して、1つ以上のエンコーディングプロファイルをプロファイル生成工程から受信することとを含む。方法はさらに、ソースコンテンツの場所および1つ以上のエンコーディングプロファイルを示す情報を含むトランスコーディング要求を生成することと、トランスコーディング要求をトランスコーディング工程に送信させ、トランスコーディングの少なくとも一部が完了したことの指示を受信することと、トランスコーディングの少なくとも一部が完了したことの指示を受信することに応答して、要求側エンティティに、トランスコーディングの少なくとも一部が完了したことのメッセージを送信することとを含む。
【0012】
方法の実施形態はさらに、以下の特徴のうちの1つ以上のものを含み得る。トランスコーディングジョブ作成要求は、アプリケーションプログラミングインターフェース(API)を介して受信され得る。トランスコーディングジョブ作成要求は、ビデオエンコーディングの最終標的パラメータが自動的に選択されるべきことの指示を含み得る。1つ以上のエンコーディングプロファイルは、複数のエンコーディングプロファイルを備え得、トランスコーディング要求を生成することは、複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、別個のトランスコーディング要求を生成することを含み得る。トランスコーディング要求をトランスコーディング工程に送信することは、複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、別個のトランスコーディング要求をそれぞれのトランスコーディング工程に送信することを含み得る。トランスコーディング要求はさらに、トランスコーディング工程がトランスコードされたコンテンツを置くための場所に関する情報を含み得る。トランスコーディングジョブ作成要求はさらに、ソースコンテンツがトランスコードされると、トランスコードされたコンテンツが位置すべき場所に関する情報を含み得る。トランスコーディング要求は、第1のサーバから送信され得、トランスコーディング工程は、第1のサーバと異なる第2のサーバによって実行される。プロファイル生成要求は、第1のサーバから送信され得、プロファイル生成工程は、第1のサーバと異なる第2のサーバによって実行され得る。
【0013】
本説明による、例示的サーバは、通信インターフェースと、メモリと、通信インターフェースおよびメモリと通信可能に結合される、処理ユニットとを備えている。処理ユニットは、サーバに、通信インターフェースを介して、要求側エンティティから、ソースコンテンツの場所を含むトランスコーディングジョブ作成要求を受信させ、ソースコンテンツの場所を含む、プロファイル生成要求を生成させ、プロファイル生成要求をプロファイル生成工程に送信させ、プロファイル生成要求を送信することに応答して、1つ以上のエンコーディングプロファイルをプロファイル生成工程から受信させるように構成される。処理ユニットはさらに、サーバに、ソースコンテンツの場所および1つ以上のエンコーディングプロファイルを示す情報を含むトランスコーディング要求を生成させ、トランスコーディング要求をトランスコーディング工程に送信させ、トランスコーディングの少なくとも一部が完了したことの指示を受信させ、トランスコーディングの少なくとも一部が完了したことの指示を受信することに応答して、通信インターフェースを介して、要求側エンティティに、トランスコーディングの少なくとも一部が完了したことのメッセージを送信させるように構成される。
【0014】
サーバの実施形態は、以下の特徴のうちの1つ以上のものを含み得る。サーバは、アプリケーションプログラミングインターフェース(API)を提供するように構成され得、トランスコーディングジョブ作成要求は、APIを介して受信される。1つ以上のエンコーディングプロファイルが、複数のエンコーディングプロファイルを備えている場合、処理ユニットはさらに、複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、サーバに、別個のトランスコーディング要求を生成することによって、トランスコーディング要求を生成するように構成され得る。処理はさらに、サーバに、複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、別個のトランスコーディング要求をそれぞれのトランスコーディング工程に送信することによって、トランスコーディング要求をトランスコーディング工程に送信するように構成され得る。処理は、サーバに、トランスコーディング要求内に、トランスコーディング工程がトランスコードされたコンテンツを置くための場所に関する情報を含ませるように構成され得る。処理はさらに、サーバに、トランスコーディング要求をトランスコーディング工程を実行する第2のサーバに送信することによって、トランスコーディング要求を送信させるように構成され得る。処理はさらに、サーバに、プロファイル生成要求をプロファイル生成工程を実行する第2のサーバに送信することによって、プロファイル生成要求を送信させるように構成され得る。
例えば、本願は以下の項目を提供する。
(項目1)
ソースコンテンツをエンコードすることにおける最適化の方法であって、前記方法は、
コンピュータシステムによって、前記ソースコンテンツを取得することであって、前記ソースコンテンツは、第1の電子フォーマットにおけるビデオを備えている、ことと、
少なくとも1つのプローブエンコーディングのためのエンコーディングパラメータを決定することと、
前記少なくとも1つのプローブエンコーディングを行うことと、
少なくとも部分的に、前記少なくとも1つのプローブエンコーディングからの結果に基づいて、最終エンコーディングのためのエンコーディングパラメータを決定することと、
前記コンピュータシステムを用いて、前記ソースコンテンツをエンコードするためのプロファイルを生成することと
を含み、
前記ソースコンテンツをエンコードするための前記プロファイルは、
前記ソースコンテンツが第2の電子フォーマットにエンコードされる方法を示し、
前記最終エンコーディングのための前記エンコーディングパラメータを示す情報を含む、ソースコンテンツをエンコードすることにおける最適化の方法。
(項目2)
前記少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることを決定することと、
前記第1のプローブエンコーディングの前記品質値と前記標的品質値との間の前記差異が前記ある閾値を超えることの前記決定に応答して、少なくとも部分的に、前記第1のプローブエンコーディングのためのビットレートに基づいて、前記少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングのためのビットレートを決定することと
をさらに含む、項目1に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目3)
前記標的品質値は、知覚的に加重された標的品質値を備えている、項目2に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目4)
前記標的品質値に基づいて、ビデオ解像度を決定することをさらに含む、項目2に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目5)
前記最終エンコーディングのための前記エンコーディングパラメータを決定することは、品質モデルを前記少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値および前記少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングの品質値に適合させることを含む、項目1に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目6)
少なくとも部分的に、前記第1のプローブエンコーディングの前記品質値に基づいて、前記品質モデルの利得および形状を決定することをさらに含む、項目5に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目7)
前記ソースコンテンツをエンコードするための前記プロファイルを生成することは、ある性能指数関数のための最適化問題を解決し、前記最終エンコーディングのための前記エンコーディングパラメータのうちの1つ以上のものを決定することを含む、項目5に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目8)
前記プロファイルは、前記最終エンコーディングが複数のエンコーディングのうちの1つを備えているエンコーディングラダーを備え、前記方法は、前記性能指数関数を使用して、前記複数のエンコーディングのうちの少なくとも1つの追加のエンコーディングのビデオ解像度およびビットレートを決定することをさらに含む、項目7に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目9)
前記ソースコンテンツをエンコードするための前記プロファイルに従って、前記ソースコンテンツを前記第2の電子フォーマットにエンコードすることと、
前記第2の電子フォーマットにエンコードされた前記ソースコンテンツを記憶することと
をさらに含む、項目1に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目10)
前記少なくとも1つのプローブエンコーディングのため前記のエンコーディングパラメータを決定することは、標的ビデオ解像度にさらに基づく、項目1に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目11)
前記最終エンコーディングのための前記エンコーディングパラメータを決定することは、構造的類似性指標メトリック(SSIM)を示す標的品質値にさらに基づく、項目1に記載のソースコンテンツをエンコードすることにおける最適化の方法。
(項目12)
サーバであって、前記サーバは、
通信インターフェースと、
メモリと、
前記通信インターフェースおよび前記メモリと通信可能に結合された処理ユニットと、
を備え、
前記処理ユニットは、
第1の電子フォーマットにおけるビデオを備えているソースコンテンツを取得することと、
少なくとも1つのプローブエンコーディングのためのエンコーディングパラメータを決定することと、
前記少なくとも1つのプローブエンコーディングを行うことと、
少なくとも部分的に、前記少なくとも1つのプローブエンコーディングからの結果に基づいて、最終エンコーディングのためのエンコーディングパラメータを決定することと、
前記ソースコンテンツをエンコードするためのプロファイルを生成することと
を前記サーバに行わせるように構成され、
前記ソースコンテンツをエンコードするための前記プロファイルは、
前記ソースコンテンツが第2の電子フォーマットにエンコードされる方法を示し、
前記最終エンコーディングのためのエンコーディングパラメータを示す情報を含む、
サーバ。
(項目13)
前記処理ユニットは、
前記少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることを決定することと、
前記第1のプローブエンコーディングの前記品質値と前記標的品質値との間の前記差異が前記ある閾値を超えることの決定に応答して、少なくとも部分的に、前記第1のプローブエンコーディングのためのビットレートに基づいて、前記少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングのためのビットレートを決定することと
を前記サーバに行わせるようにさらに構成されている、項目12に記載のサーバ。
(項目14)
前記標的品質値は、知覚的に加重された標的品質値を備えている、項目13に記載のサーバ。
(項目15)
前記処理ユニットは、前記標的品質値に基づいて、ビデオ解像度を決定することを前記サーバに行わせるように構成されている、項目13に記載のサーバ。
(項目16)
前記処理ユニットは、品質モデルを前記少なくとも1つのプローブエンコーディングのうちの第1のプローブエンコーディングの品質値および前記少なくとも1つのプローブエンコーディングのうちの第2のプローブエンコーディングの品質値に適合させることによって、前記最終エンコーディングのための前記エンコーディングパラメータを決定することを前記サーバに行わせるように構成されている、項目12に記載のサーバ。
(項目17)
前記処理ユニットは、少なくとも部分的に、前記第1のプローブエンコーディングの前記品質値に基づいて、前記品質モデルの利得および形状を決定することを前記サーバに行わせるように構成されている、項目16に記載のサーバ。
(項目18)
前記処理ユニットは、
前記ソースコンテンツをエンコードするための前記プロファイルに従って、前記ソースコンテンツを前記第2の電子フォーマットにエンコードすることと、
前記第2の電子フォーマットにエンコードされた前記ソースコンテンツを前記メモリ内に記憶することと
を前記サーバに行わせるように構成されている、項目12に記載のサーバ。
(項目19)
前記処理ユニットは、標的ビデオ解像度にさらに基づいて、前記少なくとも1つのプローブエンコーディングのための前記エンコーディングパラメータを決定することを前記サーバに行わせるように構成されている、項目12に記載のサーバ。
(項目20)
前記処理ユニットは、構造的類似性指標メトリック(SSIM)を示す標的品質値にさらに基づいて、前記最終エンコーディングのための前記エンコーディングパラメータを決定することを前記サーバに行わせるように構成されている、項目12に記載のサーバ。
(項目21)
ソースコンテンツをトランスコードする方法であって、前記方法は、
要求側エンティティから、前記ソースコンテンツの場所を含むトランスコーディングジョブ作成要求を受信することと、
前記ソースコンテンツの前記場所を含むプロファイル生成要求を生成することと、
前記プロファイル生成要求をプロファイル生成工程に送信することと、
前記プロファイル生成要求を送信することに応答して、1つ以上のエンコーディングプロファイルを前記プロファイル生成工程から受信することと、
前記ソースコンテンツの前記場所と前記1つ以上のエンコーディングプロファイルを示す情報とを含むトランスコーディング要求を生成することと、
前記トランスコーディング要求をトランスコーディング工程に送信することと、
前記トランスコーディングの少なくとも一部が完了したことの指示を受信することと、
前記トランスコーディングの少なくとも一部が完了したことの前記指示を受信することに応答して、前記要求側エンティティに、前記トランスコーディングの前記少なくとも一部が完了したことのメッセージを送信することと
を含む、ソースコンテンツをトランスコードする方法。
(項目22)
前記トランスコーディングジョブ作成要求は、アプリケーションプログラミングインターフェース(API)を介して受信される、項目21に記載のソースコンテンツをトランスコードする方法。
(項目23)
前記トランスコーディングジョブ作成要求は、ビデオエンコーディングの最終標的パラメータが自動的に選択されるべきことの指示を含む、項目21に記載のソースコンテンツをトランスコードする方法。
(項目24)
前記1つ以上のエンコーディングプロファイルは、複数のエンコーディングプロファイルを備え、前記トランスコーディング要求を生成することは、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのための別個のトランスコーディング要求を生成することを含む、項目21に記載のソースコンテンツをトランスコードする方法。
(項目25)
前記トランスコーディング要求を前記トランスコーディング工程に送信することは、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、前記別個のトランスコーディング要求をそれぞれのトランスコーディング工程に送信することを含む、項目24に記載のソースコンテンツをトランスコードする方法。
(項目26)
前記トランスコーディング要求は、前記トランスコーディング工程がトランスコードされたコンテンツを置くための場所に関する情報をさらに含む、項目21に記載のソースコンテンツをトランスコードする方法。
(項目27)
前記トランスコーディングジョブ作成要求は、前記ソースコンテンツがトランスコードされると、前記トランスコードされたコンテンツが位置すべき場所に関する情報をさらに含む、項目21に記載のソースコンテンツをトランスコードする方法。
(項目28)
前記トランスコーディング要求は、第1のサーバから送信され、前記トランスコーディング工程は、前記第1のサーバと異なる第2のサーバによって実行される、項目21に記載のソースコンテンツをトランスコードする方法。
(項目29)
前記プロファイル生成要求は、第1のサーバから送信され、前記プロファイル生成工程は、前記第1のサーバと異なる第2のサーバによって実行される、項目21に記載のソースコンテンツをトランスコードする方法。
(項目30)
サーバであって、
通信インターフェースと、
メモリと、
前記通信インターフェースおよび前記メモリと通信可能に結合された処理ユニットと
を備え、
前記処理ユニットは、
前記通信インターフェースを介して、要求側エンティティから前記ソースコンテンツの場所を含むトランスコーディングジョブ作成要求を受信することと、
前記ソースコンテンツの前記場所を含むプロファイル生成要求を生成することと、
前記プロファイル生成要求をプロファイル生成工程に送信することと、
前記プロファイル生成要求を送信することに応答して、1つ以上のエンコーディングプロファイルを前記プロファイル生成工程から受信することと、
前記ソースコンテンツの前記場所と前記1つ以上のエンコーディングプロファイルを示す情報とを含むトランスコーディング要求を生成することと、
前記トランスコーディング要求をトランスコーディング工程に送信することと、
前記トランスコーディングの少なくとも一部が完了したことの指示を受信することと、
前記トランスコーディングの少なくとも一部が完了したことの前記指示を受信することに応答して、前記通信インターフェースを介して、前記要求側エンティティに前記トランスコーディングの前記少なくとも一部が完了したことのメッセージを送信することと
を前記サーバに行わせるように構成されている、サーバ。
(項目31)
前記サーバは、アプリケーションプログラミングインターフェース(API)を提供するように構成され、前記トランスコーディングジョブ作成要求は、前記APIを介して受信される、項目30に記載のサーバ。
(項目32)
前記1つ以上のエンコーディングプロファイルが複数のエンコーディングプロファイルを備えている場合、前記処理ユニットは、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのための別個のトランスコーディング要求を生成することによって、前記トランスコーディング要求を生成することを前記サーバに行わせるようにさらに構成されている、項目30に記載のサーバ。
(項目33)
前記処理は、前記複数のエンコーディングプロファイルのうちの各エンコーディングプロファイルのために、前記別個のトランスコーディング要求をそれぞれのトランスコーディング工程に送信することによって、前記トランスコーディング要求を前記トランスコーディング工程に送信することを前記サーバに行わせるようにさらに構成されている、項目32に記載のサーバ。
(項目34)
前記処理は、前記トランスコーディング工程がトランスコードされたコンテンツを置くための場所に関する情報を前記トランスコーディング要求内に含むことを前記サーバに行わせるように構成されている、項目30に記載のサーバ。
(項目35)
前記処理は、前記トランスコーディング要求を前記トランスコーディング工程を実行する第2のサーバに送信することによって、前記トランスコーディング要求を送信することを前記サーバに行わせるようにさらに構成されている、項目30に記載のサーバ。
(項目36)
前記処理は、前記プロファイル生成要求を前記プロファイル生成工程を実行する第2のサーバに送信することによって、前記プロファイル生成要求を送信することを前記サーバに行わせるようにさらに構成されている、項目30に記載のサーバ。
【0015】
非限定的かつ非包括的側面が、以下の図を参照して説明されるが、同様の参照番号は、別様に規定されない限り、種々の図全体を通して同様の部分を指す。
【図面の簡単な説明】
【0016】
【
図1】
図1は、ある実施形態による、メディアサービス提供システムを図示するブロック図である。
【
図2】
図2は、ある実施形態による、
図1のメディアサービス提供システムのエンティティ等の1つ以上のエンティティによって実施され得る種々の機能の簡略化されたブロック図である。
【
図3】
図3は、例示的Q(R)モデルによる、ビットレートの関数としての品質を示す略図である。
【
図4】
図4は、Q
SSIM(R)モデルが異なるコーディング複雑性の程度の5つの異なるシーケンスの特性に適合するように使用されるグラフである。
【
図5】
図5は、一定レート係数(CRF)の関数としての構造的類似性指標メトリック(SSIM)の実験データおよびモデルをプロットする例示的グラフである。
【
図6】
図6は、実験データ点およびモデルがビットレートおよびCRFの関数として品質値(SSIM)をプロットする、例示的グラフを示す。
【
図7】
図7は、実験データ点の値およびCRFのモデル値がSSIMの関数として示される例示的グラフの例証である。
【
図8】
図8は、第1のプローブエンコーディングの(レート、品質)値および第2のプローブエンコーディングの(レート、品質)値に適合されたモデルをプロットする例示的グラフである。
【
図9】
図9は、ある実施形態による、上で議論されるようなエンコーディングのためのビットレートを見出す方法を図示するフローチャートである。
【
図10】
図10は、ある実施例による、種々のタイプのデバイスに関する帯域幅確率密度関数(PDF)をプロットする、略図である。
【
図11】
図11は、ある実施形態による、知覚的に加重されたSSIMが算出され得る方法を図示する、略図である。
【
図12】
図12は、ある実施形態による、本明細書の上で説明される技法を使用して最適エンコーディングラダーを生成する方法を図示するフロー図である。
【
図13】
図13は、ある実施形態による、プロセスのフローチャートであり、エンコーディングラダー生成は、ネットワークおよび使用統計等の追加の情報に基づく。
【
図14】
図14は、ある実施形態による、ソースコンテンツエンコーディングの最適化の方法を図示するフロー図である。
【
図15】
図15は、コンピュータシステムの実施形態のブロック図である。
【発明を実施するための形態】
【0017】
(詳細な説明)
いくつかの例証的実施形態が、ここで、本明細書の一部を形成する、付随の図面に関して説明されるであろう。続く説明は、実施形態のみを提供し、本開示の範囲、可用性、または構成を限定することを意図するものではない。むしろ、実施形態の続く説明は、当業者に実施形態を実装するための実行可能説明を提供するであろう。種々の変更が、本開示の精神および範囲から逸脱することなく、要素の機能および配列に行われ得ることを理解されたい。
【0018】
本明細書に説明される実施形態は、概して、メディア(特に、ビデオ)を第1の電子フォーマットから第2の電子フォーマットにトランスコードするための最適化されたプロファイルを作成することを対象とする。プロファイルは、ソースコンテンツ(第1の電子フォーマットにおける)が第2の電子フォーマットにエンコードされるべき方法を示す。特に、プロファイルは、トランスコーディングプロセスにおいて使用するためのパラメータの組(ビットレート、解像度、コーデック等)を定義する。トランスコードされるべきソースコンテンツは、デジタルマスタ、メザニンファイル、入力ストリーム、分離ビデオエレメンタリストリーム、または同等物を備え得ることを理解されたい。さらに、本明細書で使用されるように、用語「描出」、「ストリーム」、および「エンコーディング」は、トランスコーディングメディアを指すために同義的に使用され得る。加えて、用語「エンコード」および「エンコーディング」(動詞として使用されるとき)は、「トランスコード」および「トランスコーディング」と同義的に使用され得、それぞれ、ソースコンテンツを1つの電子フォーマットから別のものに変換するプロセスを説明する。
【0019】
消費のためのトランスコーディングデジタルメディアは、種々の異なる環境において生じることができる。例えば、コンピュータシステム上でローカルで生じることができる。インターネット帯域幅が、ビデオ消費に適応するために絶え間なく増加するにつれて、そのようなトランスコーディングは、ますます、インターネットおよび/または他の分散型通信ネットワークを経由して生じ得る。
【0020】
図1は、ある実施形態による、トランスコーディングサービスがインターネット170を経由して提供され得る、メディアサービス提供システム100を図示する、ブロック図である。本システムは、メディアコンテンツを、メディア再生をエンドユーザに提供するエンドユーザデバイス140によって実行される、クライアント145に配信し得る。クライアント145は、例えば、メディアファイルを要求および/または再生するように適合される、メディアプレーヤ、ブラウザ、または他のアプリケーションであることができる。メディアコンテンツは、インターネット170等のネットワークおよび/またはテレビコンテンツのための配布ネットワーク等の他のデータ通信ネットワークを介して、提供されることができる。エンドユーザデバイス140は、携帯電話、タブレット、パーソナルコンピュータ、ポータブルメディアデバイス、セットトップボックス、ビデオゲームシステム、頭部搭載型ディスプレイ等、メディアをインターネット170を経由して受信するように構成される、任意の数のデバイスのうちの1つであることができる。1つのみのクライアント145および1つのエンドユーザデバイス140が、
図1に示されるが、メディアサービス提供システム100は、メディアを多く(数百、数千、数百万等)のエンドユーザデバイス140上の多く(数百、数千、数百万等)のクライアント145に提供することができることを理解されたい。
【0021】
オンデマンドコンテンツ(例えば、その全体として記憶される、要求されるメディア)に関して、1つ以上のメディアプロバイダ130によって提供されるメディアファイルは、ソースコンテンツを取り込み、それを種々のプロファイルに従ってトランスコードし得る、1つ以上のコンピュータサーバを備え得る、トランスコーディングサービス110によってトランスコードされることができる。いくつかの実施形態では、トランスコーディングサービスは、本明細書に説明される、プロファイル最適化を実施し得る。いくつかの実施形態では、トランスコーディングサービスは、インデックス化および/または他のサービスを提供し得る。トランスコーディングサービス110は、トランスコードされたメディアをメディアプロバイダ130(例えば、そこからソースコンテンツが取得された)に逆提供する、および/またはトランスコードされたメディア(例えば、メディアファイル)をコンテンツ配信ネットワーク(CDN)、メディアストリーミングサービスプロバイダ、クラウドデータサービスプロバイダ、または他の第三者メディアファイル配信サービスプロバイダ等のメディアファイル配信サービスプロバイダ(MFDSP)150に提供することができる。加えて、または代替として、トランスコーディングサービス110はまた、メディアファイルを記憶する、および/またはクライアント145にストリーミングするように適合され得る。オンデマンドコンテンツは、例えば、段階的ダウンロードおよび/またはストリーミングを介して、クライアント145に提供されることができる。
【0022】
ライブコンテンツ(例えば、メディアプロバイダ130から受信されるにつれて、すなわち、処理時間および/または他のバッファ時間に応じて、リアルタイムまたは近リアルタイムで、1つ以上のエンドユーザデバイス140に送信される、要求されるコンテンツ)に関して、類似プロセスが、生じ得る。例えば、メディアプロバイダ130は、メディアストリーム(例えば、ライブビデオ)を提供することができ、これは、トランスコーディングサービス110によってトランスコードされる。メディアストリームのエンコードされたセグメントは、ファイル(すなわち、「チャンク」)として、MFDSP150および/またはトランスコーディングサービス110上に記憶されることができる。
【0023】
コンテンツ所有者120は、1つ以上のメディアプロバイダ130を利用して、コンテンツ所有者120によって所有されるメディアコンテンツを配布することができる。例えば、コンテンツ所有者120は、テレビネットワーク、インターネットメディアをストリーミングするウェブサイトおよび他のオンデマンドメディアプロバイダ、メディア複合企業、ならびに同等物等の種々のコンテンツプロバイダ130を通して、あるメディアの配布の許諾を受けている、映画制作会社であり得る。いくつかの構成では、コンテンツ所有者120はまた、メディアプロバイダ130としても運営することができる。
【0024】
コンテンツ所有者120および/またはメディアプロバイダ130は、1つ以上の広告ネットワーク160と契約し、広告を多数のエンドユーザデバイス140上の多数のクライアント145に提供することができる。このように、広告ネットワーク160は、企業が、広告をメディアコンテンツをメディアプロバイダ130から視聴するエンドユーザに示すことを可能にする。広告ネットワーク160は、広告および/または広告データをメディアコンテンツと別個に維持することができるため、広告は、同一メディアコンテンツを異なる時間および/または異なる場所で視聴する2人のユーザが異なる広告を見得るように、更新され、事業ルールに従い得る。
【0025】
前述のように、
図1におけるメディアサービス提供システム100は、本明細書に提供されるメディアストリーミングのためのエンコーディングプロファイルを最適化するための技法が使用され得る、一実施例にすぎない。さらに、いくつかの実施形態では、メディアプロバイダ130、トランスコーディングサービス110、および/または可能性として、MFDSP150等の
図1に図示されるエンティティのうちのいくつかは全て、単一事業エンティティまたはサービスの一部であることができることに留意されたい。そのような統合されたサービスは、通常、オンラインビデオプラットフォーム(OVP)と呼ばれる。例えば、Brightcove(登録商標) VideoCloud
TMサービスは、OVPである。
【0026】
図2は、ある実施形態による、
図1のメディアサービス提供システム100のエンティティ等の1つ以上のエンティティによって実施され得る、種々の機能の簡略化されたブロック図である。例えば、ユーザ/高レベルサービス210は、コンテンツ所有者120、メディアプロバイダ130、トランスコーディングサービス110、および/またはOVP等の要求側エンティティに対応し得る(標識内の「/」境界線は、実施形態に応じて実装され得る、代替特徴を示す)。トランスコーディングアプリケーション/サービス220、プロファイル生成工程230、および/またはトランスコーディング工程240は、トランスコーディングサービス110によって実施され得る。したがって、当業者は、
図2に図示される機能のうちの1つ以上のものが、いくつかの実施形態では、異なる地理的場所に位置し得る、単一デバイスまたは種々の通信可能に接続されるデバイスによって実施され得ることを理解されるであろう。いくつかの実施形態では、例えば、ユーザ/高レベルサービス210は、コンテンツ所有者またはメディアプロバイダのコンピュータを備え得、トランスコーディングアプリケーション/サービス220、プロファイル生成工程230、および/またはトランスコーディング工程240のうちの1つ以上のものは、「クラウド」内で実行される(例えば、インターネット等のデータ通信ネットワークを介して接続される、1つ以上の遠隔コンピュータシステム/サーバによって)。異なる機能が異なるアプリケーションによって実施される(単一デバイスまたは複数のデバイスによって実行され得る)実施形態では、1つ以上のアプリケーションプログラミングインターフェース(API)が、種々の異なるアプリケーション間で通信するために使用され得る(例えば、そのようなAPIは、場合によって、ローカルソフトウェアAPIまたは分散型コンピューティングAPI(ウェブAPIまたは使用されている任意の特定の言語またはクラウドプラットフォームに特有のAPIを含む)であり得る)。また、実装または展開シナリオの具体性に応じて、プロファイル生成工程230は、同一スレッド/プロセス内でローカルで呼び出される機能、別のスレッドによって実行される機能またはローカルコンピューティングプラットフォーム上のプロセス、もしくはユーザ/高レベルサービス210を実行するコンピュータの遠隔の1つ以上のコンピュータ上で実行される遠隔機能/スレッド/プロセスを備え得る。当業者は、多くの他の変形例を認識するであろう。
【0027】
プロセスを開始するために、トランスコーディングジョブ作成要求245が、ユーザ/高レベルサービス210からトランスコーディングアプリケーション/サービス220に送信されることができる。この要求は、入力シーケンス(ソースコンテンツ)の場所、トランスコードされたコンテンツが設置されるべき場所、標的解像度、フレームレート、グループオブピクチャ(GOP)サイズ、コーデック/プロファイル、ファイルフォーマット等の選択を生産するための圧縮表現のパラメータ等の多くの標準トランスコーディングジョブパラメータを含み得る。ここでは、下でさらに詳細に説明されるように、要求はまた、ビデオエンコーディングの最終標的パラメータが自動的に選択されるべきことの指示を含み得る。
【0028】
この指示が存在する場合、トランスコーディングアプリケーション/サービス220は、次いで、プロファイル生成要求255をプロファイル生成工程230に送信することができる。このプロファイル生成要求255は、トランスコーディングジョブ作成要求245において渡されたパラメータの一部に加え、トランスコーディングアプリケーション/サービス220によって取り込まれ、および/または処理されたソースコンテンツのローカル場所等のいくつかの追加のパラメータを含み得る。
【0029】
プロファイル生成要求255を受信すると、プロファイル生成工程230は、本明細書に説明される技法を使用して、1つ以上のエンコーディングプロファイルを生成し、エンコーディングプロファイルをトランスコーディングアプリケーション/サービス220にプロファイル生成応答265内で逆提供する。トランスコーディングアプリケーション/サービス220は、次いで、プロファイル生成工程230から取得されたエンコーディングプロファイルをトランスコーディング工程240にトランスコーディング要求275内で渡すことができる。トランスコーディング工程240が、トランスコーディングを完了すると、トランスコードされたコンテンツをトランスコーディングアプリケーション/サービス220にトランスコーディング応答285内で提供し、トランスコーディングアプリケーション/サービスは、コンテンツの少なくとも一部がトランスコードされたことの指示を提供し、および/またはトランスコードされたコンテンツ自体(所望の機能性に応じて)をトランスコーディングジョブ応答295内で提供することができる。(プロファイル生成器からの応答265内で生成されたエンコーディングプロファイルが、複数の標的および/または出力を含む場合、これらの標的に従うメディアのトランスコーディングは、並行して行われることができる。これは、いくつかの実施形態によると、別個のトランスコーディング工程によって実施され得る。
図2に図示される実施形態では、トランスコーディング工程240は、複数回、実行されることができ、トランスコーディングアプリケーション/サービス220は、全ての結果が応答285によって収集された後、結果をユーザ/高レベルサービス210に返すことができる。
【0030】
実施例として、本明細書の技法による自動プロファイル生成をサポートする、Brightcove(登録商標) ZencoderTMにおける例示的ジョブ作成要求245は、「https://app.zencoder.com/api/v2/jobs」に対するHTTP POST要求を備え得る。POSTボディは、処理するためのビデオのユニフォームリソースロケータ(URL)、APIキー、出力宛先、および通知設定を規定する、Java(登録商標)Script Object Notation(JSON)ファイルを備え得る。さらに、動的プロファイルが生成されることになることを示し、該当する場合、適用可能なプロファイル制約(例えば、最小/最大ビットレート、コーデックタイプ、許容解像度のリスト、標的品質値等)を設定し得る。
【0031】
以下は、例示的JSONファイルである。
【表10】
【0032】
上記の実施例は、プロファイル生成要求255がトリガされ得る方法(例えば、ブール値「generate_dyanmic_profile」を「真」として設定する)と、種々の制約がプロファイル生成要求255内に含まれ得る方法とを図示する。特に、実施例は、オブジェクト「dyanmic_profile_options」を使用して、標的品質値(この場合、SSIM)0.95を伴う、3つの所与の解像度(1280x720、960x540、および640x360)のいずれかを使用して、2~7つの描出を生産するようにプロファイル生成工程230を制限する。
【0033】
プロファイル生成要求255内に含まれるプロファイル生成工程230に関する制限は、所望の機能性に応じて変動し得る。Zencoder
TMの場合、これらの制限を定義する種々のパラメータは、下記の表1に説明される。
【表1-1】
【表1-2】
【0034】
上記の例示的パラメータでは、「video_configuration」パラメータは、下記の表2内のイベントを含み得る、構造のアレイである。
【表2】
【0035】
最後に、上記の例示的JSONファイルでは、「出力」アレイは、全ての通常の必要条件を含み、加えて、最終プロファイル内の描出数を示す、プロファイル生成工程230によって許容される描出の最大数を定義する。プロファイル生成工程230が、JSONファイルに示される7つより少ない、例えば、5つの描出を生産する場合、1~5に設定される「dynamic_profile_rendition」変数を伴う描出のみが、生成されるであろう。
【0036】
いくつかの実施形態では、ソースコンテンツをトランスコードした後にトランスコーディング工程240によって生成されたトランスコーディング応答285は、プロファイル関連統計を通信するために必要とされる、追加のエラーコードおよびコンポーネントを備え得る。いくつかの実施形態では、これは、JSON通知ブロックとして含まれてもよい。例えば、以下のJSONブロックは、追加のパラメータ(品質-レートモデル)が通知ブロック内でシグナリングされ得る方法を示す。
【表20】
【0037】
本実施例では、JSONブロック内の種々の利用可能な要素は、下記の表3に説明される。
【表3】
【0038】
種々の実施形態によると、2つのタイプ技法、すなわち、(1)所与のコンテンツ、解像度、および品質標的のために十分な最小ビットレートを見出すこと、または(2)所与の制約の組(例えば、使用され得る解像度の組、最小/最大ビットレート等)を前提として、最適エンコーディングラダーを生産することが、エンコーディングプロファイルを生成するときに利用され得、最適化基準技法(1)は、タスクが、正確に事前に規定された解像度およびフレームレートを用いて、1つまたは複数のエンコーディングを生産すべきであって、そのようなエンコーディングの数もまた、固定される(min_renditions=max_renditions=ビデオ構成の数およびselect_distinct_configurations=真を設定することによって遂行され得るように)状況で呼び出され得る。そのような状況では、ビットレートのみが、割り当てられる必要があり、これは、技法(1)の内容である。技法(2)は、ビットレートだけではなく、また、解像度、フレームレート、および他のコーデック関連パラメータ、ならびにエンコーディングの数も、動的に選定され得るとき、タスクが1つまたは複数の描出を生産すべき状況において呼び出され得る。故に、技法(2)は、より一般的であって、技法(1)を内部ツールとして使用し得る。これらの2つの技法は、下でより詳細に説明される。
(所与のコンテンツ、解像度、および品質標的のために十分な最小ビットレートを見出す)
【0039】
いくつかの実施形態によると、所与のコンテンツ、解像度、および品質標的のために十分な最小ビットレートを見出すための技法は、以下のように説明され得る。ソースコンテンツの入力、標的解像度(および随意に、標的フレームレート)、およびビデオコーデック(他の制約を含み得る)を前提として、エンコードされたビデオが所与の標的品質値を有するであろう、最低標的ビットレートを見出す。
【0040】
最も単純な数学的解釈では、所与の入力シーケンスのためにコーデックによって達成可能な品質メトリックQ、品質標的Q
*、および品質-レート関数Q(R)と仮定して、問題は、基本的に、以下となる。
【数1】
式中、R
*は、見出すべき標的ビットレートを示す。
【0041】
Q(R)が単調関数である場合、標的ビットレートR
*は、方程式の直接解となる。
【数2】
【0042】
いくつかの実施形態では、SSIMは、品質メトリックとして使用されることができる。SSIMは、事実上、スケーリングされ、[0,1]範囲にマッピングされたコーデック雑音エネルギーの推定値であって、1は、理想的品質(0雑音)を含意し、0は、最悪品質を含意する。下でさらに詳細に議論されるように、SSIM算出の前に、解像度スケーリングおよび知覚フィルタリングを組み込む、SSIMの変形例もまた、異なる再現デバイスを横断した品質差を理解するために使用されることができる。したがって、他の実施形態は、所望の機能性またはユーザ/オペレータ選好に応じて、他の品質メトリック(ピーク信号対雑音比(PSNR)、MOS、PQR、ビデオマルチメソッド査定融合(VMAF)等)を利用し得る。さらに、そのようなメトリックの時間的集約におけるある変形例もまた、採用され、オペレータの選好にカスタマイズされ得る。例えば、あるシーケンスのための組み合わせられた品質メトリックは、(a)フレームレベル推定値の平均、または(b)最悪の場合のフレームレベル値、または(c)いくつかの有限(例えば、300ms)観察窓内で求められた移動平均値間の最悪値、または(d)品質が該値を下回って低下する時間のパーセンテージが、所与の定数(例えば、1%)によって限定されることを確実にする値等であることができる。
【0043】
標的品質値はまた、オペレータ選好に応じて変動し得る。例えば、SSIM≧0.95でエンコードされたビデオは、十分に良好な品質であると仮定され得る一方、より低いSSIMレベルでは、ユーザがアーチファクトに気づき得るリスクが存在する。一般的に述べると、本説明の目的のために、ある品質標的Q*=Q*
SSIMを前提として、アルゴリズムの目的は、それに合致するレートR*を見出すことであると仮定する。
【0044】
品質-レートQ(R)関数の挙動を特性評価するために、以下の組み合わせが、使用され得る。
・異なるタイプのビデオシーケンスのための観察される品質-レート関数のパラメータモデルが、いくつかのモデルパラメータによって、観察される形状の変動性を捕捉することを目的として定義される。
・1つ以上のプローブエンコーディングが、各(レート、品質)点が終着するであろう場所を確認するために実行され得、結果が、モデルを特定のビデオシーケンスのための観察された挙動に適合させるために使用され得る。
【0045】
モデルは、設計プロセスの一部として定義され得る一方、プローブエンコーディングは、モデルが各特定のシーケンスに適合されるランタイム時に実行されることができる。
【0046】
下でさらに詳細に説明されるように、プローブエンコーディングは、あるビットレートにおけるソースコンテンツの一部のエンコーディングであって、標的品質値(閾値変動量内)を満たすことを確実にすることに役立てるために、ソースコンテンツをエンコードするための最終ビットレートを決定することに役立つ。故に、これらのプローブエンコーディングは、ソースコンテンツ全体の最終エンコーディングよりはるかに高速であり得、実際、完全エンコーディングプロセスの一部のみを表し得る。したがって、プローブ段階において、実際のビット-ストリームを生成する必要がない場合がある。各プローブから所望されるものは、完全エンコーディングプロセスを起動することによって到達され得る、(レート、品質)点の場所の推定値である。
【0047】
プローブ点の場所に基づいて、Q(R)モデルが、取得されたプローブ点に適合され、標的品質値を満たすための最終ビットレートを見出すために使用される。これの実施例は、
図3に図示される。
【0048】
図3は、特定のQ(R)モデル310による、ビットレートの関数としての品質を示す、略
図300である。しかしながら、Q(R)モデル310が、プロットされる前に、プローブエンコーディングが、(レート、品質)点320を生成するために実施される。第1の(レート、品質)点320-1は、ビットレートが、選択され(下で説明されるもの等の技法を使用して)、ソースコンテンツの一部が、選択されたビットレートを使用してエンコードされ、ソースコンテンツのエンコードされた部分の品質が、決定される、第1のプローブエンコーディングの結果であり得る。
【0049】
第1のプローブエンコーディングは、標的品質値330より低い(かつ標的品質値330の閾値変動340外の)品質をもたらしたため、より高いビットレートを有する、第2のプローブエンコーディングが、実施され得る。本第2のプローブエンコーディングは、第2の(レート、品質)点320-2をもたらす(いくつかの実施形態では、標的品質値330は、最小品質値を表し得ることに留意されたい。そのような場合、閾値変動340は、標的品質値330を上回る値のみを表し得る。当業者は、そのような閾値に関する他の変動も認識するであろう)。
【0050】
第2のプローブエンコーディングは、標的品質値330より高い(かつ標的品質値330の閾値変動340外の)品質をもたらしたため、エンコーディングのための別のビットレートが、推定され得る。しかしながら、ここでは、Q(R)モデル310が、使用され得る。すなわち、第1および第2のプローブエンコーディングから生成された(レート、品質)点320を使用して、Q(R)モデル310は、次いで、これらの(レート、品質)点320に適合されることができる。これは、モデルベースのレート推定値350が、Q(R)モデル310および標的品質値330を使用して決定されることを可能にする。別のプローブエンコーディングが、結果として生じるエンコードされたコンテンツが標的品質値330の閾値変動340内にあることを確実にするために実施され得る。
【0051】
このプロセスは、モデルベースのレート推定値350が標的品質値330の閾値変動340内にない場合、反復され、モデルベースのレート推定値350を精緻化し得る。しかしながら、プローブエンコーディングの数を最小限にすることは、エンコーディングプロセスの効率を確実にすることに役立つ。各そのようなプローブは、総エンコーディング時間、その結果、サービスの遅延およびコストに寄与する。
【0052】
Q(R)モデル310は、プローブ点に基づく補間または外挿と見なされ得る。種々のモデルおよび/またはモデルタイプが、所望の機能性に応じて使用され得る。
【0053】
x264エンコーダおよびSSIMメトリックを使用した一実施形態では、以下のパラメータモデルが、使用される。
【数3】
式中、αおよびβは、モデルパラメータであって、品質-レート関係の利得および形状を制御する。より一般的には、他の機能モデルもまた、採用され得るが、1つのみまたは2つのパラメータを伴うモデルの使用は、単に、1つまたは2つのエンコーディング点に基づいて、そのようなパラメータの算出を可能にするため、好ましい。
【0054】
図4は、上記のQ
SSIM(R)モデルが、異なるコーディング複雑性の程度の5つの異なるシーケンスの特性に適合するように使用される、グラフ400である。具体的には、「低複雑性モデル」415は、「低」複雑性410を有するコーディングの実験データ点に適合するように作成され、「低複雑性-中複雑性モデル」425は、「低-中」複雑性420を有するコーディングの実験データ点に適合するように作成され、「中複雑性モデル」435は、「中」複雑性430を有するコーディングの実験データ点に適合するように作成され、「中複雑性-高複雑性モデル」445は、「中-高」複雑性440を有するコーディングの実験データ点に適合するように作成され、「高複雑性モデル」455は、「高」複雑性450を有するコーディングの実験データ点に適合するように作成された(煩雑を回避するために、実験データのいくつかの点のみが、
図4に標識されている)。全ての場合において、Q
SSIM(R)モデルは、実験データを非常に良好に適合することが観察され得る。
【0055】
実験結果は、パラメータαの値が異なるシーケンスに関して非常に若干だけ変化していることを示す。いくつかの結果では、観察されたα範囲は、0.979~0.992であって、中央値点は、α0=0.9843681086であった。故に、上記のQSSIM(R)モデルは、主に、形状パラメータβによって制御される。
【0056】
2つの(レート、品質)点:(R
1,Q
1)および(R
2,Q
2)の値を前提として、モデルパラメータαおよびβは、以下のように算出され得る。
【数4】
【数5】
【0057】
1つのみの点が、既知であって、αの値が、α=α
0であると推測される場合、第2のパラメータは、以下のように算出され得る。
【数6】
パラメータβ=β
0のみが算出され、パラメータα=α
0が固定される、SSIM-レートモデル(3)の本バージョンは、1パラメータモデルと称されるであろう。
【0058】
理解およびモデル化するために重要であり得る、別の関係は、コーデック特有の品質制御パラメータとシステムによって採用されるSSIMまたは他の最終品質メトリックとの間の関係である。x264およびx265ビデオコーデックの場合、対応する品質制御パラメータは、一定レート係数(CRF)と呼ばれる。
【0059】
SSIM-CRF品質曲線に関して合理的に機能することが見出されている、モデルは、以下である。
【数7】
式中、Cは、CRFパラメータの値を示し、ρおよびσは、本モデルの値幅ならびに減衰の形状および速度を制御する、モデルパラメータである。より一般的には、他の関数モデルもまた、採用され得るが、1つのみまたは2つのパラメータを伴うモデルの使用は、単に、1つまたは2つのエンコーディング点に基づいて、そのようなパラメータの算出を可能にするため、好ましい。
【0060】
実験データの本モデルへの例示的適合は、
図5に示され、これは、CRFの関数としてのSSIMの実験データおよびモデルをプロットする、グラフ500である。具体的には、「低複雑性モデル」515は、「低」複雑性510を有するコーティングの実験データ点に適合するように作成され、「低複雑性-中複雑性モデル」525は、「低-中」複雑性520を有するコーティングの実験データ点に適合するように作成され、「中複雑性モデル」535は、「中」複雑性530を有するコーティングの実験データ点に適合するように作成され、「中複雑性-高複雑性モデル」545は、「中-高」複雑性540を有するコーティングの実験データ点に適合するように作成され、「高複雑性モデル」555は、「高」複雑性550を有するコーティングの実験データ点に適合するように作成された(煩雑を回避するために、実験データのいくつかの点のみが、
図5において標識されている)。
【0061】
2つの(CRF、品質)点:(C
1,Q
1)および(C
2,Q
2)の値を前提として、モデルパラメータρおよびσは、以下のように算出され得る。
【数8】
【数9】
【0062】
1つの点のみが、既知であって、σの値がσ=σ
0、であると推測される場合、パラメータρは、以下となる。
【数10】
パラメータρ=ρ
0のみが算出された一方、パラメータσ=σ
0が固定される、SSIM-CRFモデル(7)の本バージョンは、1パラメータモデルと称されるであろう。パラメータσ
0の好適な固定値が、例えば、異なる複雑性を伴う試験シーケンスの組にわたって算出されたパラメータσの平均値を見出すことによって、確立されることができる。前述で使用されたシーケンスセットに基づいて、そのような平均値は、約σ
0≒2.2ということになる。
【0063】
第1のプローブエンコーディングのためのレートの決定に関して、これは、所望の機能性に応じて、任意の数のアプローチを使用して行われることができる。プローブエンコーディングの数を最小限にするために、標的品質値(例えば、標的SSIM)に到達するために必要とされるレート(または他のコーデックパラメータ)についての最良裏付け推測を使用することが望ましい。加えて、または代替として、コーデック特有の品質値(x264の場合のCRF等)が、標的品質値に到達するために、プローブエンコーディングにおいて設定され得る。
【0064】
図6は、実験データ点およびモデルが、それぞれ、ビットレートおよびCRFの関数として、品質値(SSIM)をプロットする、グラフ600-Aおよび600-Bを示す。
図4および6におけるグラフと同様に、グラフ600-Aおよび600-Bは、「低複雑性モデル」615および「低」複雑性610を有するコーディングの対応する実験データ点と、「低複雑性-中複雑性モデル」625および「低-中」複雑性620を有するコーディングの対応する実験データ点と、「中複雑性モデル」635および「中」複雑性630を有するコーディングの対応する実験データ点と、「中複雑性-高複雑性モデル」645および「中-高」複雑性640を有するコーディングの対応する実験データ点と、「高複雑性モデル」655および「高」複雑性650を有するコーディングの対応する実験データ点とを示す(再び、煩雑を回避するために、実験データのいくつかの点のみが、
図6において標識されている)。ここでは、標的品質値670は、SSIM=0.95である。
【0065】
図6から明白であるように、標的ビットレートが、使用される場合、結果は、SSIM範囲内で大幅に変動し得る。例えば、レート=300Kbpsを使用することによって、「低複雑性」シーケンス(この場合、720pシーケンス)に関して、SSIM約0.973を生産するであろう一方、高複雑性シーケンスに関して、SSIM約0.926を生産するであろう。これは、約0.05SSIM値幅をもたらす。他方では、標的CRFが、使用される場合、はるかに小さい値幅が存在する。例えば、CRFを26に設定することによって、最低複雑性シーケンスは、SSIM約0.963をもたらし、最高複雑性シーケンスは、SSIM約0.938をもたらす。これは、SSIM値幅0.025であって、これは、標的ビットレートの使用の約半分の値幅である。故に、いくつかの実施形態では、コーデック特有の品質値が、プローブエンコーディングのために使用され得る。
【0066】
より具体的には、x264コーデックを利用したエンコーディングに関して、デフォルト標的レートまたはCRF値が、第1のプローブエンコーディングのために使用され得る。いくつかの実施形態では、例えば、解像度720pおよび0.95SSIIMレート標的を前提として、デフォルトレート3000kbpsまたはデフォルトCRF値26が、使用され得る。
【0067】
より一般的には、解像度、フレームレート、GOP長、コーデックタイプ、コーデックプロファイル、およびコーデック速度/事前設定パラメータ等の係数もまた、標的レートまたはCRF値を規定することによって、初期プローブエンコーディング点の場所を決定するために使用され得る。そのようなデフォルト選択は、そのようなパラメータのいくつかの組み合わせに関して事前に算出され、記憶されるか、または適切に選定された機能/モデルを使用して動的に算出されるかのいずれかであり得る。
【0068】
第1のプローブエンコーディングが実施された後(例えば、コーデック特有の品質値または標的ビットレートに基づいたかどうかにかかわらず)、第1のプローブエンコーディングの結果として生じる品質値が、決定されることができる。いくつかの実施形態では、第1のプローブエンコーディング後に取得された品質値は、チェックされることができ、本値が標的品質値(例えば、閾値内品質変動)に十分に近い場合、さらなるプローブエンコーディングは、実施されず、標的レートは、第1のプローブ点を交差する単一パラメータモデル適合を使用して決定される。いくつかの他の実施形態では、第2のプローブエンコーディングが、実施され、標的レートは、両プローブ点を交差する2パラメータモデル適合を使用して決定される。
【0069】
閾値品質変動に関する値は、変動し、複雑性(すなわち、実行されるプローブの数)と品質標的に合致する正確度との間のトレードオフを定義し得る。いくつかの実施形態では、最小SSIM変動閾値は、0.005SSIMであり得る。他の実施形態は、より大きいまたはより小さい閾値を有し得る、もしくは閾値比較を使用せず、直接、第2のプローブに進む。
【0070】
SSIM標的品質値の場合、そのような近接近合致が、検出されると、標的レートは、(1)単一パラメータモデルQ
SSIM(R)を第1の点を通して求め、次いで、(2)Q
SSIM(R
*)=Q
*
SSIM方程式を解決することによって決定されることができる。これは、以下をもたらす。
【数11】
式中、
【数12】
【数13】
(R
1,Q
1)は、第1のプローブの座標であって、Q
*
SSIM=0.95である。
【0071】
第2のプローブエンコーディングに関する標的ビットレートまたはコーデック特有の品質値を見出すことは、単一パラメータモデルを第1のプローブエンコーディングの品質値に適合させ、次いで、品質標的に合致するために必要とされる新しい標的ビットレートまたはCRFを予測することを含む、いくつかの考慮点または技法を使用することによって、行われることができる。
【0072】
例えば、標的SSIM値に到達することを対象とするプローブエンコーディングに関するCRF値を使用する場合、新しいCRF値は、SSIM-CRFモデルを第1のプローブ点を通して求めることによって見出される。この場合、CRFモデルパラメータρは、以下のように算出され得る。
【数14】
式中、σ
0≒2.2である。
【0073】
図7は、実験データ点の値およびCRFのモデル値がSSIMの関数として示される、グラフ700の例証である。前述のグラフと同様に、グラフ700は、「低複雑性モデル」715および「低」複雑性710を有するコーディングの対応する実験データ点と、「低複雑性-中複雑性モデル」725および「低-中」複雑性720を有するコーディングの対応する実験データ点と、「中複雑性モデル」735および「中」複雑性730を有するコーディングの対応する実験データ点と、「中複雑性-高複雑性モデル」745および「中-高」複雑性740を有するコーディングの対応する実験データ点と、「高複雑性モデル」755および「高」複雑性を有するコーディングの対応する実験データ点750とを示す(再び、煩雑を回避するために、実験データのいくつかの点のみが、
図7において標識されている)。標的品質値770もまた、示される。
【0074】
ここでは、CRF値26を用いて実施される第1のエンコーディングは、エンコードされたコンテンツのタイプに応じて、種々のSSIM値の「プローブ点」780をもたらす。「プローブ点」の値(第1のプローブエンコーディングの品質値)に応じて、モデルが、選定されることができ、第2のプローブエンコーディングが、実施されることができる(選択されたモデルが標的品質値と交差する場所に基づいて選定される、CRF値またはビットレート、この場合、SSIM=0.95を用いて)。例えば、CRF=26における第1のプローブエンコーディングが、SSIM値約0.937をもたらす場合、「高複雑性」モデルが、選定されることができ、CRF値23.486が、「高複雑性」モデルが標的SSIM値0.95と交差する場所に基づいて、第2のプローブエンコーディングのために選択されることができる。
【0075】
第1および第2のプローブエンコーディングが、算出されると、結果として生じる対の(レート、品質)値(それぞれ、(R
1,Q
1)および(R
2,Q
2))が、決定されることができ、それぞれ、それぞれのプローブエンコーディングのビットレートおよび対応する品質値を有する。品質-レートモデルは、次いで、これらの点に適合され、標的品質値に該当するレートを算出するために使用されることができる。そのような動作の実施例は、
図8に提供される。
【0076】
図8は、第1のプローブエンコーディング820の(レート、品質)値および第2のプローブエンコーディング830の(レート、品質)値に適合されるモデル840をプロットする、グラフ800である。本モデル840は、品質値(SSIM)とビットレートとの間の正確な関係を提供し、標的品質値(SSIM=0.95)に対応するビットレートが決定されることを可能にする。
【0077】
図8に図示されるグラフ800は、第1のプローブエンコーディングがCRF=26を用いて実施され、「高複雑性」モデルが選択され、第2のプローブエンコーディングがCRF=23.486を用いて実施された、実験結果を図示する。他の実験データ点810および他のビットレートは、種々のビットレートを横断した実験データ810に対するモデル840の正確度を図示する。
【0078】
我々のレート-品質モデルの逆数を使用して算出された最終標的レート値は、以下である。
【数15】
【0079】
式中、Q*
SSIM=0.95であって、パラメータαおよびβは、QSSIM(R)モデル曲線を所与の2つのプローブ点を通して求めることによって識別される(第2.3.4節参照)。最終標的レート値は、標識850に示される。
【0080】
このように、ビットレートと品質値との間の関係の正確なモデルが、決定されることができ、規定された品質値を達成するために十分に最小のビットレートが、取得されることができる。
【0081】
図9は、ある実施形態による、上で議論されるようなエンコーディングのためのビットレートを見出す方法を図示する、フローチャート900である。フローチャート900に提供されるステップは、実施例として提供されることを理解されたい。代替実施形態は、示されるような機能を追加する、省略する、組み合わせる、分離する、および別様に改変し得る。
図9に図示されるブロックのうちの1つ以上のものの機能は、例えば、下でより詳細に説明される、
図16に図示されるコンピュータシステム等のコンピュータシステムのソフトウェアおよび/またはハードウェア手段によって実施され得る。
【0082】
図9に提供される変数は、以下の通りである。
R ビットレートを示す
Q 品質メトリック(例えば、PSNRまたはSSIMもしくは任意の他の客観的メトリック)を示す
Q
* 満たされなければならない品質標的を示す
Δ
Q 品質距離閾値を示す
Q(R) 所与のシーケンスに関して達成される品質-レート関係のモデルを示す
R
* 我々の方法によって算出された最終レート標的を示す
【0083】
方法は、ブロック910から開始することができ、第1のプローブエンコーディングのためのコーデックパラメータが、設定され、第1のプローブエンコーディングが、ブロック920において起動され、レートおよび品質値(R1,Q1)をもたらす。上で説明されるように、第1のプローブエンコーディングのためのパラメータは、シーケンスが標的品質値に到達するためにエンコードされるべき方法についての「最良裏付け推測」を表し得る。
【0084】
ブロック930および940の機能性は、随意であって(破線によって示されるように)、速度最適化のために実装され得る。ブロック930では、第1のプローブエンコーディングの結果が、評価される。結果として生じる品質値Q1が標的品質値Q*のある閾値相違ΔQ内である場合、モデルは、ブロック940において、第1のエンコーディングの本(R1,Q1)値を交差するように定義され得、ブロック980における機能性は、最終エンコーディングのためのビットレートを見出すために使用されることができる。
【0085】
ステップ930が、省略される場合、または結果として生じる第1のプローブエンコーディングの品質値Q1が、標的品質値Q*の閾値相違ΔQを超えるとき、第2のプローブエンコーディングが、最初に、ブロック950において、第2のプローブエンコーディングのためのコーデックパラメータを設定し、次いで、ブロック960において、第2のプローブエンコーディングを実施することによって実施される。今回は、第2のプローブエンコーディングのためのコーデックパラメータの選択は、第1のプローブエンコーディングの結果によって影響され得、新しい標的が、標的品質値により近い結果を得るように設定されることができる。第2のプローブエンコーディングは、レートおよび品質値(R2,Q2)
【0086】
第2のプローブエンコーディングが、行われた後、第1および第2の点の両方が、ブロック970において、(R1,Q1)および(R2,Q2)に適合する品質-レートQ(R)モデルを定義するために使用されることができる。本Q(R)モデルは、次いで、ブロック980において、ソースコンテンツの最終エンコーディングのためのビットレートR*を決定するために使用されることができる。
(制約の組および最適化基準を前提として、最適エンコーディングラダーを生産する)
【0087】
いくつかの実施形態によると、最適エンコーディングラダーを生産するための技法は、以下のように説明され得る。
以下を前提とする。
・ソースコンテンツZ
・以下等のプロファイル制約の組
oプロファイル内に含まれるべきエンコーディング/描出の数に関する限界
・n∈N=[n
min,n
max]
oプロファイルにおいて使用され得るビデオ解像度に関する制約
・ S={S
α,α=1,2、・・・}(使用され得る解像度の組であって、各解像度は、フレーム幅、高さ、およびビデオフレームレートパラメータを含む、記録S
α={w
α,h
α,f
α,}である)
【数15-1】
(解像度S
αのサンプリングレート(ピクセル/秒単位))
【数15-2】
(サンプリングレートに従って順序付けられたn個の解像度の組)
oプロファイルにおいて使用され得るビットレートに関する制約
・R=[R
min,R
max](使用され得るビットレートの全体的範囲
・R
n={R
1,・・・R
n∈R:R
1<・・・<R
n,R
1≦R
1,max}(順序制約と、また、第1のレートに課される上限R
1,max(典型的には、最悪の場合のバッファリング時間を限定するために行われる)とを伴う、n個のビットレートの組)
o可能性として、解像度、GOP長等毎に許容される、ビデオコーデック、コーデックプロファイル、およびレベルに関する制約等の追加の制約
・性能指数関数
oF(n,R,S)(あるスコア(または性能指数値)をレートR={R
1,・・・,R
n}および解像度S
n={S
1,・・・,S
n}を伴うn-点ラダーに割り当てる)
以下を見出す。
・エンコーディングの数n
*∈N
・ビットレートの組:R
*={R
*
1,・・・,R
*
n*}
・解像度の組S
*={S
*
1,・・・,S
*
n*}∈S
n*
上記の全ての制約を満たし、性能指数関数F(n,R,S)の最大値に到達する。
【0088】
言い換えると、数学的に、最適プロファイル生成問題は、以下のように定義され得る。
【数16】
【0089】
性能指数関数F(n,R,S)ならびに追加のパラメータおよび制約の選択は、上記の問題の変形例を作成し得る。そのような変形例のいくつかの単純実施例が、下で列挙される。
【0090】
総記憶コストの最小限化は、以下によって決定され得る。
【数17】
この場合、性能指数関数は、プロファイルにおける全てのエンコーディングのビットレートの和:F(n,R,S)=R
1+・・・+R
nである。本問題を適切に設定するために、全ての描出のための最小エンコーディング品質値に関する制約もまた、課される。式(17)では、値q
Si,1,・・・,nは、エンコーディング品質値を示し、q
minは、ある所与の最小品質限界を示す。先に議論されるように、そのような品質値は、SSIM、PSNR、PQR、VMAF、または任意の他の一般的メトリックにおいて測定されることができる。
【0091】
総達成解像度の最大限化は、以下によって決定され得る。
【数18】
この場合、性能指数関数は、プロファイルにおける全てのエンコーディングの解像度の和:F(n,R,S)=S
1+・・・+S
nである。本問題を適切に設定するために、全ての描出のための最小エンコーディング品質値関する制約もまた、課される。
【0092】
「ビットあたり送信されるピクセル」の最大限化は、以下によって決定され得る。
【数19】
この場合、性能指数関数は、プロファイルにおける全てのエンコーディングによって使用されるビットレートに対する解像度の和の比率:
【数19-1】
【0093】
性能指数関数および最適化問題(16)の追加の変形例は、ネットワークのあるパラメータおよび種々のネットワークまたはユーザデバイスを横断した使用量が既知であるときに提示され得る。例えば、プロファイル生成器は、いくつかの異なるユーザデバイス(iPhone(登録商標)、Androidフォン、iPad(登録商標)、Androidタブレット、PC、TV等)に関して測定されたネットワーク帯域幅のヒストグラムならびにそれらのデバイス間の再生時間の分布を使用し得る。これの実施例は、
図10に図示され、これは、種々のデバイスに関する帯域幅にわたってPDFをプロットする。
図10では、グラフに示されるデバイス間の使用量の関連付けられた分布は、52.2%PC、17.3%Apple(登録商標)iPhone(登録商標)、14.4%Android
TMフォン、10.0%Apple(登録商標)iPad(登録商標)、3.54%Android
TMタブレット、および2.56%TVである。
【0094】
以下と仮定する。
・Dは、そのようなデバイスまたはネットワークのカテゴリの組を示す
・w
d,d∈D,(Σ
dw
d=1)は、各種類のデバイスまたはネットワークと関連付けられた相対的使用量値(または加重)を示す
【数19-2】
は、各種類のデバイスまたはネットワークのために定義されたネットワーク帯域幅確率分布を示し、
【数19-3】
は、d番目のデバイス/ネットワークに配信されるときのi番目の描出が使用されるであろう確率を示す
性能指数関数および最適化問題の以下の追加の変形例が、定義され得る。平均ネットワーク帯域幅使用量の最小限化は、以下によって決定され得る。
【数20】
この場合、性能指数関数は、ストリーミングクライアントが全てのデバイスまたはネットワークを横断して推定される確率を伴ってプロファイルエンコーディングをプルするときに使用される、平均帯域幅の推定値:
【数20-1】
である。
【0095】
平均解像度の最大限化は、以下によって決定され得る。
【数21】
この場合、性能指数関数は、ストリーミングクライアントが全てのデバイスまたはネットワークを横断して推定される確率を伴ってプロファイルエンコーディングをプルするときにもたらされる、平均解像度の推定値:
【数21-1】
である。
【0096】
追加のパラメータおよび制約が、加えて、または代替として、実践的設定に導入され得る。これらは、例えば、正確度制約を含むことができる。例えば、全てのレート点R1,・・・,Rnは、ある正確度限界を伴って規定/列挙されることができる。例えば、それらは全て、最近傍Kbpsまたは10Kbpsの最近傍係数に丸められることができる。そのような丸めの導入は、最適化アルゴリズムのための実践的利便性ならびに速度制御に重要であり得る。より高い精度が必要とされるほど、概して、より多くの時間がそれを算出するために必要とされ得る。
【0097】
いくつかの実施形態では、粒度制約が、導入され得る。実際は、多くの場合、1つのレート点から別のレート点への変化の大きさ(「ステップ」)を限定することが望ましい。数学的に、これは、以下の限界を導入することにおって行われ得る。
【数22】
式中、γ
min,γ
maxは、粒度定数(例えば、25%および50%)である。そのような粒度制約を使用することによって、許容レート点の空間が、以下まで絞られる。
【数23】
【0098】
いくつかの実施形態は、品質関連パラメータ、標的、および制約を伴ってもよい。ビデオ再現の品質の理解は、複雑な話題である。これは、複数の次元、層を有し、それをモデル化する試みにおいて採用され得る、異なる精巧度が存在する。いくつかの実施形態では、2つのカテゴリ/レベルの品質査定技法は、以下である。
a.第1のカテゴリは、コーデック雑音レベルメトリックを備えている。いくつかの実施例は、PSNR、SSIM、特徴類似性インデックスメトリック(FSIM)、および同等物を含む。これらのメトリックは、解像度毎に測定されることができ、コーデック雑音のみを測定することに限定され得る。
b.第2のカテゴリは、較正されたビデオ品質メトリックを備えている。これらのメトリックは、コーデック誘発雑音に加え、ディスプレイデバイスの特性、視聴環境、および/または他の要因を考慮することができる。較正されたメトリックのいくつかの実施例は、視覚的差異予測器(VDP)、Sarnoff/Tectronix画質評価(PQR)、SSIMwave SQM、および同等物を含む。
【0099】
ある実施例では、コーデック-雑音-レベルメトリックが、SSIMであることができる。全ての解像度および描出のために導入されるSSIM品質制約が、次いで、以下のように説明され得る。
【数24】
式中、q
min,q
maxは、上界および下界SSIMを示し、q
i,i=1,・・・,nは、全ての描出のために達成されるSSIM値を示す。
【0100】
具体的再現設定に適合されるビデオ品質を測定するために、
図10に図示されるように算出される、知覚的に加重されたSSIMが、使用されることができる。
【0101】
図11は、ある実施形態による、知覚的に加重されたSSIMが算出され得る方法を図示する、略図である。示されるように、異なる解像度を考慮するために、全てのビデオは、再現ディスプレイの解像度にスケーリングされ得る。追加のフィルタリングが、次いで、ディスプレイから眼の網膜までの経路内のビデオの光学変換をシミュレートするために適用され得る。この変換は、「ヒトの眼の光学MTF」として知られる。眼MTFフィルタのパラメータ(視聴距離、視野の全体的輝度等)は、ビデオを異なるタイプのデバイス(TV、PC、タブレット等)上で鑑賞するときの典型的視聴条件を反映させるように設定されることができる。
【0102】
言い換えると、知覚的に加重されたSSIMを算出後、以下の組値が、決定される。
【数25】
式中、Dは、標的デバイス(例えば、TV、PC、タブレット、スマートフォン等)および関連付けられた視聴条件の組であって、iは、各エンコーディングのインデックスである(同一インデックスはまた、エンコーディング解像度S
iおよびレートR
iを読み出すために使用される)。
【0103】
いくつかの実施形態によると、各デバイスタイプと関連付けられた典型的視聴条件の値は、以下の表に示される通りであり得る。
【表4】
本表内の値Hは、ディスプレイ高さの単位で測定されるような視聴距離を示す。
【0104】
知覚(眼光学MTF)フィルタが、以下のように、MTFモデルに基づいて、これらの条件に合致するように開発された。
【数26】
式中、dは、視野内の予期される平均輝度Lに基づいて算出された瞳孔直径:d=5-3tanh(0.4logL)である。本モデルは、“J.G.Barten,Contrast Sensitivity of the Human Eye and Its
Effects on Image Quality,”SPIE Press,1999,(http://spie.org/Publications/Book/353254)(参照することによって本明細書に組み込まれる)に説明される。
【0105】
知覚的に加重されたSSIM値Q
d,iならびに使用値w
dおよび各描出p
d,iにアクセスする確率推定値の組を前提として、最良の可能性として考えられる全体的品質をもたらすプロファイルを見出す問題は、以下のように定義され得る。
【数27】
この場合、見出された品質値
【数27-1】
の最良セットは、プロファイル内の全てのエンコーディングのために行われたレートR
*
iおよび解像度S
*
iの最良選択を反射させる。性能指数関数は、ストリーミングクライアントが全てのデバイスまたはネットワークを横断して推定された確率を用いてプロファイルエンコーディングをプルするときにもたらされる、平均品質:
【数27-2】
である。
【0106】
図12は、ある実施形態による、本明細書に上で説明される技法を使用して最適エンコーディングラダーを生成する方法を図示する、フロー
図1200である。フロー
図1200に提供されるステップは、実施例として提供されることを理解されたい。代替実施形態は、示されるような機能を追加する、省略する、組み合わせる、分離する、および別様に改変し得る。
図12に図示されるブロックのうちの1つ以上のものの機能は、例えば、下でより詳細に説明される、
図15に図示されるコンピュータシステム等のコンピュータシステムのソフトウェアおよび/またはハードウェア手段によって実施され得る。
【0107】
ここでは、方法は、ブロック1210から開始することができ、入力要求が、分析される。そのような要求は、前述で説明されるように、トランスコードされるべきメディアへのULRと、生成されたプロファイルに課されるべきあるパラメータ/制約とを含み得る。要求は、トランスコーディング工程(
図2に図示されるプロファイル生成工程230等)を実行するデバイスおよび/またはアプリケーションにおいて受信されることができる。
【0108】
ブロック1220では、許容ビデオ解像度Sの組が、定義される。そのような解像度は、部分的に、入力メディアの解像度、アスペクト比、およびフレームレートに基づいて定義され得る。解像度または許容解像度のリストに関するある制約もまた、入力要求の一部として提供されることができる。
【0109】
解像度の組に基づいて、プローブエンコーディングが、ブロック1230において、本明細書に上で説明される技法を(例えば、解像度あたり1~2プローブエンコーディングを使用する、
図900に示される方法)使用して実施されることができる。品質-レートモデルが、次いで、ブロック1240において、プローブエンコーディングに基づいて定義されることができる。そのようなモデルは、概して、プロファイルを生成するために使用され得る、全ての許容解像度のために定義されるべきである。
【0110】
レート制約Rが、ブロック1250において定義される。解像度の組と同様に、いくつかのレート制約が、ブロック1210において分析された入力要求によって提供され得る。上で説明されるように、これらの初期レート制約は、種々のアルゴリズムに従って精緻化され得る。例えば、入力要求がまた、品質レベルに関する制約を含む場合、ブロック1240に定義される品質-レートモデルを使用することによって、それらは、レートドメイン内の対応する制約にマッピングされることができる。追加のレート制約が、使用されているコーデックプロファイルおよびレベルに関連するコーデック特有の限界に基づいて課され得る。全ての許容解像度のためのそのような様式で取得された制約の上位セットは、次いで、最適化プロセス1270への入力として使用される。
【0111】
ブロック1260では、性能指数関数を算出するために必要とされる全ての残りのパラメータが、定義される。そのようなパラメータは、ネットワークおよび使用量統計、デバイスの異なるカテゴリに割り当てられるべき重要性加重等を含み得る。
【0112】
ブロック1270では、数値最適化プロセスが、生じ、レートおよび解像度のための許容空間が、走査され、性能指数の最大値を達成する組み合わせが、選別される。
【0113】
最後に、ブロック1280では、生成されたエンコーディングラダー(エンコーディングプロファイル)が、記憶される、または出力に送信される。
【0114】
性能指数関数の性質および入力パラメータの可用性に基づいて、いくつかの追加のステップが、導入され得る。
図13は、例えば、ある実施形態による、エンコーディングラダー生成がネットワークおよび使用量統計等の追加の情報に基づく、はるかに複雑なプロセスのフローチャートを図示する。
図13に示されるプロセスでは、ネットワーク情報だけではなく、コンテンツの地理的範囲、異なる配信デバイスの重要性(サービスの質(QoS)加重)、および同等物も、使用される。この例示的プロセスは、性能指数をシステムによって達成される全体的平均品質として公式化する。
【0115】
本明細書に提供される技法を使用した性能利得は、有意であり得、コンテンツおよび他の要因に応じて変動し得る。種々の種類の200時間を超えるメディアコンテンツを使用して生産された実験結果に従って、ある720pおよび1080pシーケンスのためのマルチ描出プロファイル(完全エンコーディングラダー)が、本明細書の技法(例えば、「動的プロファイル」を作成する)を使用して作成され、従来の静的プロファイルと比較して、記憶/帯域幅占有面積の平均53%の低減および要求される描出カウントの平均38%の低減をもたらした。種々のファイルのための解像度1080p、720p、768x432、および768x576における単一描出エンコーディングに関する実験結果も、類似利点を有していた。すなわち、本明細書に説明される技法によって生成された動的プロファイルを使用した単一描出エンコーディングは、従来の静的プロファイルと比較して、要求される記憶/帯域幅占有面積を平均36%低減させた。最後に、種々のファイルのための低解像度(640x360)における単一描出エンコーディングに関する実験結果は、従来の静的プロファイルと比較して、要求される記憶/帯域幅占有面積の44%の低減をもたらした。
【0116】
図14は、ある実施形態による、ソースコンテンツをエンコードすることにおける最適化の方法の方法を図示する、フロー
図1400であって、これは、上で説明される最適化技法のうちの1つ以上のものを使用することができる。
図14に提供されるステップは、実施例として提供されることを理解されたい。代替実施形態は、示されるような機能を追加する、省略する、組み合わせる、分離する、および別様に改変し得る。
図14に図示されるブロックのうちの1つ以上のものの機能は、例えば、下でより詳細に説明される、
図15に図示されるコンピュータシステム等のコンピュータシステムのソフトウェアおよび/またはハードウェア手段によって実施され得る。
【0117】
ブロック1410では、方法1400は、ソースコンテンツを取得することによって開始することができる。ここでは、ソースコンテンツは、第1の電子フォーマットにおけるビデオを備えている。前述のように、ソースコンテンツは、デジタルマスタ、メザニンファイル、入力ストリーム、分離ビデオエレメンタリストリーム、または同等物を含む、種々のフォーマットのいずれかで提供され得る。
【0118】
ブロック1420では、エンコーディングパラメータが、少なくとも1つのプローブエンコーディングのために決定される。上で提供される技法に議論されるように、いくつかの実施形態では、プローブエンコーディングを行うために設定されるエンコーディングパラメータは、品質限界を使用し得る。いくつかの実施形態では、少なくとも1つのプローブエンコーディングのためのビットレートまたはCRF値を決定するステップはさらに、標的ビデオ解像度に基づき得る。そのようなパラメータは、エンコーディングの数、解像度、ビットレート、コーデック特有の制約等を含み得る。
【0119】
ブロック1430では、少なくとも1つのプローブエンコーディングが、行われる。いくつかの実施形態では、第1のプローブエンコーディングは、コンテンツ全体を分析し得る。1つ以上の後続プローブエンコーディングは、第1のプローブエンコーディングのためのビットレートを使用して、ソースコンテンツの一部をエンコードすることによって行われることができる。エンコードされたソースコンテンツの量は、所望の機能性に応じて変動し得る。比較的に大量のコンテンツが、コンテンツタイプのより正確な表現を提供するためにエンコードされ得る一方、比較的により少量のコンテンツは、方法1400がより迅速に実行されることを確実にすることに役立つようにエンコードされ得る。
【0120】
いくつかの実施形態では、プローブエンコーディングのレートおよび品質値が、決定され得る。品質値の決定は、使用される品質値に応じて変動し得る。上で議論されるように、品質値は、SSIM、MOS、PQR、VMAF、および同等物の値を備え得る。
【0121】
いくつかの実施形態では、第1のプローブエンコーディングの品質値と標的品質値との間の差異がある閾値を超えることが決定され得る。
図9のブロック930に議論され、
図3に図示されるように、ある閾値は、標的品質値からの最小容認可能変動を反映させてもよい。
【0122】
いくつかの実施形態では、第2のプローブエンコーディングのためのエンコーディングパラメータが、少なくとも部分的に、第1のプローブエンコーディングのビットレートまたは品質に基づいて決定され得、第2のプローブエンコーディングは、第2のプローブエンコーディングのためのエンコーディングパラメータを使用して行われることができる。前述の(かつ
図7および8に関連して説明される)ように、第1のプローブエンコーディングの結果は、第2のプローブエンコーディングのためのエンコーディングパラメータの選択を知らせることができる。
【0123】
いくつかの実施形態では、第2のプローブエンコーディングのレートおよび品質値が、決定され得る。さらに、品質値の決定は、所望の機能性に応じて変動し得る。
【0124】
ブロック1440では、最終エンコーディング(または複数の最終エンコーディング)のエンコーディングパラメータが、決定される。そのようなパラメータは、エンコーディングの数、解像度、ビットレート、コーデック特有の制約等を含み得る。いくつかの実施形態では、ビットレートが、少なくとも部分的に、少なくとも1つのプローブエンコーディングに基づいて、最終エンコーディングのために決定される。第1および第2のプローブエンコーディングを含む、上で説明される実施形態等のいくつかの実施形態では、最終エンコーディングのためのビットレートは、第1のプローブエンコーディングの品質値および第2のプローブエンコーディングの品質値に基づき得る。前述のように、最終エンコーディングのためのビットレートの決定(例えば、エンコーディングプロファイル内に含むために)は、
図8に関連して説明されるように、品質モデルを第1のプローブエンコーディングの品質値および第2のプローブエンコーディングの品質値に適合させるステップを含み得る。前述のように、モデルのパラメータは、少なくとも部分的に、第1のプローブエンコーディングの品質値に基づき得る。したがって、品質モデルの利得および形状を決定するステップは、第1のプローブエンコーディングの品質値に基づき得る。最終エンコーディングのためのビデオ解像度および/またはビットレートは、上で議論されるように、性能指数関数を利用する最適化問題を解決することによって決定され得る。
【0125】
ブロック1450では、ソースコンテンツをエンコードするためのプロファイルが、生成され、ソースコンテンツをエンコードするためのプロファイルは、ソースコンテンツが第2の電子フォーマットにエンコードされる方法を示し、最終エンコーディングのためのエンコーディングパラメータを示す情報を含む。前述のように、プロファイルは、最終エンコーディングが複数のエンコーディングのうちの1つを備えているエンコーディングラダーを含み得る。そのような場合、性能指数関数が、エンコーディングの数ならびにエンコーディング毎に使用されるべきビデオ解像度およびビットレート等のエンコーディングパラメータを決定するために使用され得る(他のエンコーディングパラメータは、表1に示される)。いくつかの実施形態はさらに、ソースコンテンツをエンコードするためのプロファイルに従って、第2の電子フォーマットへのソースコンテンツのエンコーディングを実施することと、第2の電子フォーマットにエンコードされたソースコンテンツを記憶することとを含み得る。
【0126】
図15は、コンピュータシステム1500の実施形態を図示し、これは、全体または部分的に、
図9、13、および14に示される方法を含む、本明細書に説明される方法の機能のうちの1つ以上のものを実施するために使用され得る。コンピュータシステムは、トランスコーディングサービス110を含む、メディアサービス提供システム(例えば、
図1のメディアサービス提供システム100)のエンティティのうちの1つ以上のものの中に組み込まれ得る。
図15は、種々のコンポーネントの一般化された例証のみを提供することを意味し、そのいずれかまたは全てが、必要に応じて利用され得ることに留意されたい。
図15は、したがって、広義には、個々のシステム要素が比較的に分離または比較的により統合された様式において実装され得る方法を図示する。加えて、
図15によって図示されるコンポーネントは、単一デバイスに局所化される、および/または異なる地理的場所に配置され得る、種々のネットワーク化されたデバイス間に分散されることができることに留意されたい。
【0127】
コンピュータシステム1500は、バス1505を介して電気的に結合され得る(または別様に、必要に応じて通信し得る)、ハードウェア要素を備えているように示される。ハードウェア要素は、処理ユニット1510を含んでもよく、これは、限定ではないが、1つ以上の汎用プロセッサ、1つ以上の特殊目的プロセッサ(デジタル信号処理チップ、グラフィック加速プロセッサ、および/または同等物等)、および/または他の処理構造を備え得、本明細書に説明される方法のうちの1つ以上のものを実施するように構成されることができる。コンピュータシステム1500はまた、限定ではないが、マウス、キーボード、カメラ、マイクロホン、および/または同等物を備え得る、1つ以上の入力デバイス1515と、限定ではないが、ディスプレイデバイス、プリンタ、および/または同等物を備え得る、1つ以上の出力デバイス1520とを備え得る。
【0128】
コンピュータシステム1500はさらに、1つ以上の非一過性記憶デバイス1525を含んでもよく(および/またはそれと通信する)、これは、限定ではないが、ローカルおよび/またはネットワークアクセス可能記憶装置を備えていることができ、および/または限定ではないが、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ソリッドステート記憶デバイス、例えば、ランダムアクセスメモリ(「RAM」)、および/または読み取り専用メモリ(「ROM」)を備え得、これは、プログラム可能、フラッシュ更新可能、および/または同等物であることができる。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および/または同等物を含む、任意の適切なデータ記憶を実装するように構成され得る。そのようなデータ記憶は、本明細書に説明されるように、1つ以上のデバイスに送信されるためのメッセージおよび/または他の情報を記憶および管理するために使用される、データベースおよび/または他のデータ構造を含み得る。
【0129】
コンピュータシステム1500はまた、無線通信インターフェースによって管理および制御される、無線通信技術、ならびに有線技術(Ethernet(登録商標)、同軸通信、ユニバーサルシリアルバス(USB)、および同等物等)を備え得る、通信サブシステム1530を含み得る。したがって、通信サブシステム1530は、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイス、および/またはチップセット、ならびに/もしくは同等物を備え得、これは、コンピュータシステム1500が、1つ以上の通信ネットワーク上で、本明細書に説明される他のコンピュータシステムおよび/または任意の他の電子デバイスを含む(その上で実行される動作および/またはアプリケーションを含む)、それぞれのネットワーク上の任意のデバイスと通信することを可能にし得る。故に、通信サブシステム1530は、本明細書の実施形態に説明されるように、データを受信および送信するために使用され得る。
【0130】
多くの実施形態では、コンピュータシステム1500はさらに、作業メモリ1535を備え、これは、上で説明されるように、RAMまたはROMデバイスを備え得る。作業メモリ1535内に位置するように示される、ソフトウェア要素は、オペレーティングシステム1540、デバイスドライバ、実行可能ライブラリ、および/または他のコード、例えば、1つ以上のアプリケーション1545を備え得、これは、種々の実施形態によって提供されるコンピュータプログラムを備え得、および/または本明細書に説明されるように、他の実施形態によって提供される方法を実装する、および/またはシステムを構成するように設計され得る。単に、一例として、上で議論される方法に関して説明される1つ以上のプロシージャは、コンピュータ(および/またはコンピュータ内の処理ユニット)によって実行可能なコードおよび/または命令として実装され得る。ある側面では、次いで、そのようなコードおよび/または命令は、説明される方法に従って、1つ以上の動作を実施するように、汎用コンピュータ(または他のデバイス)を構成および/または適合するために使用されることができる。
【0131】
これらの命令および/またはコードの組は、上で説明される記憶デバイス1525等の非一過性コンピュータ読み取り可能な記憶媒体上に記憶され得る。ある場合には、記憶媒体は、コンピュータシステム1500等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、記憶媒体が、その上に記憶される命令/コードを用いて、汎用コンピュータをプログラム、構成、および/または適合するために使用され得るように、コンピュータシステムと別個(例えば、光学ディスク等の可撤性媒体)であって、および/またはインストールパッケージで提供され得る。これらの命令は、コンピュータシステム1500によって実行可能な実行可能コードの形態をとり得、および/またはコンピュータシステム1500上へのコンパイルならびに/もしくはインストールに応じて、(例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等のいずれかを使用して)、実行可能コードの形態をとる、ソースおよび/またはインストール可能コードの形態をとり得る。
【0132】
実質的変動が具体的要件に従って行われ得ることが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得、および/または特定の要素が、ハードウェア、ソフトウェア(アプレット等のポータブルソフトウェアを含む)、または両方内に実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続が、採用され得る。
【0133】
添付の図を参照すると、メモリを備え得る、コンポーネントは、非一過性機械読み取り可能な媒体を備え得る。用語「機械読み取り可能な媒体」および「コンピュータ読み取り可能な媒体」は、本明細書で使用されるように、機械を具体的方式で動作させるデータを提供することに関わる、任意の記憶媒体を指す。本明細書に上で提供される実施形態では、種々の機械読み取り可能な媒体は、実行のために、命令/コードを処理ユニットおよび/または他のデバイスに提供することに関わり得る。加えて、または代替として、機械読み取り可能な媒体は、そのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装では、コンピュータ読み取り可能な媒体は、物理的および/または有形記憶媒体である。そのような媒体は、限定ではないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとり得る。一般的形態のコンピュータ読み取り可能な媒体は、例えば、磁気および/または光学媒体、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、フラッシュ-EPROM、任意の他のメモリチップまたはカートリッジ、本明細書に後述されるような搬送波、またはそこからコンピュータが命令および/またはコードを読み取り得る、任意の他の媒体を含む。
【0134】
本明細書で議論される方法、システム、およびデバイスは、実施例である。種々の実施形態は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加し得る。例えば、ある実施形態に関して説明される特徴は、種々の他の実施形態において組み合わせられ得る。実施形態の異なる側面および要素は、類似様式において組み合わせられ得る。本明細書に提供される図の種々のコンポーネントは、ハードウェアおよび/またはソフトウェア内に具現化されることができる。また、技術が進化するため、したがって、要素の多くは、本開示の範囲をそれらの具体的実施例に限定しない、実施例である。
【0135】
本明細書全体を通して、「一実施例」、「実施例」、「ある実施例」、または「例示的実装」の言及は、特徴および/または実施例に関連して説明される特定の特徴、構造、または特性が、請求される主題の少なくとも1つの特徴および/または実施例内に含まれてもよいことを意味する。したがって、語句「一実施例では」、「実施例では」、「ある実施例では」、または「ある実装では」、もしくは本明細書全体を通して種々の場所における他の同様の語句の表出は、必ずしも全て、同一特徴、実施例、および/または限定を参照するわけではない。さらに、特定の特徴、構造、または特性は、1つ以上の実施例および/または特徴において組み合わせられ得る。
【0136】
本明細書に含まれる詳細な説明の一部は、具体的装置または特殊目的コンピューティングデバイスもしくはプラットフォームのメモリ内に記憶されるバイナリデジタル信号上の動作のアルゴリズムまたは象徴的表現の観点から提示される。本特定の明細書の文脈では、用語「具体的装置」または同等物は、プログラムされると、プログラムソフトウェアからの命令に従って特定の動作を実施するための汎用コンピュータを含む。アルゴリズム記述または象徴的表現は、その研究の要旨を他の当業者に伝達するために信号処理または関連技術における当業者によって使用される、技法の実施例である。アルゴリズムは、ここでは、概して、所望の結果につながる、動作または類似信号処理のセルフコンシステントシーケンスと見なされる。本文脈では、動作または処理は、物理的量の物理的操作を伴う。典型的には、必ずしもではないが、そのような量は、記憶される、転送される、組み合わせられる、比較される、または別様に操作されることが可能な電気または磁気信号の形態をとってもよい。これは、折に触れて、主に、一般的使用の理由から、ビット、データ、値、要素、シンボル、文字、項、数字、数値、または同等物として、そのような信号を参照するために便宜的であると証明されている。しかしながら、これらまたは類似用語の全てが、適切な物理的量と関連付けられるわけではなく、単に、便宜的標識であることを理解されたい。別様に具体的に述べられない限り、本明細書の議論から明白であるように、本明細書全体を通して、「処理」、「算出」、「計算」、「決定」、または同等物等の用語を利用する議論は、特殊目的コンピュータ、特殊目的コンピューティング装置、または類似特殊目的電子コンピューティングデバイス等の具体的装置のアクションまたは処理を指すことを理解されたい。本明細書の文脈では、したがって、特殊目的コンピュータまたは類似特殊目的電子コンピューティングデバイスは、典型的には、メモリ、レジスタ、または他の情報記憶デバイス、伝送デバイス、または特殊目的コンピュータまたは類似特殊目的電子コンピューティングデバイスのディスプレイデバイス内の物理的電子または磁気量として表される、信号を操作または変換することが可能である。
【0137】
用語「および」、「または」、および「および/または」は、本明細書で使用されるように、少なくとも部分的に、そのような用語が使用される文脈にもまた依存することが予期される、種々の意味を含み得る。典型的には、「または」は、A、B、またはC等のリストを関連付けるために使用される場合、ここでは包含的意味で使用される、A、B、およびC、ならびにここでは排他的意味で使用される、A、B、またはCを意味するように意図される。加えて、用語「1つ以上の」は、本明細書で使用されるように、単数形における任意の特徴、構造、または特性を説明するために使用され得る、または複数のまたはある他の組み合わせの特徴、構造、または特性を説明するために使用され得る。但し、これは、単に、例証的実施例であって、請求される主題は、本実施例に限定されないことに留意されたい。
【0138】
例示的特徴であると現在みなされるものが、図示および説明されたが、当業者によって、請求される主題から逸脱することなく、種々の他の修正が、行われてもよく、均等物が、代用され得ることが理解されるであろう。加えて、多くの修正が、本明細書に説明される中心概念から逸脱することなく、特定の状況を請求される主題の教示に適合するように行われ得る。
【0139】
したがって、請求される主題は、開示される特定の実施例に限定されず、そのような請求される主題はまた、添付の請求項およびその均等物の範囲内である全ての側面を含み得ることが意図される。
【外国語明細書】