特許 6803443 電力認識型ビデオ復号およびストリーミング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6803443

(24)【登録日】2020年12月2日

(45)【発行日】2020年12月23日

(54)【発明の名称】電力認識型ビデオ復号およびストリーミング

(51)【国際特許分類】

   H04N 21/442 20110101AFI20201214BHJP

   G06F 13/00 20060101ALI20201214BHJP

【ＦＩ】

   H04N21/442

   G06F13/00 550P

【請求項の数】20

【全頁数】44

(21)【出願番号】特願2019-195107(P2019-195107)

(22)【出願日】2019年10月28日

(62)【分割の表示】特願2017-139415(P2017-139415)の分割

【原出願日】2013年7月9日

(65)【公開番号】特開2020-36344(P2020-36344A)

(43)【公開日】2020年3月5日

【審査請求日】2019年11月27日

(31)【優先権主張番号】61/669,581

(32)【優先日】2012年7月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】514041959

【氏名又は名称】ヴィド スケール インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ホー ユーウェン

(72)【発明者】

【氏名】イエ イエン

(72)【発明者】

【氏名】ヨン ホー

(72)【発明者】

【氏名】ジョージ ダブリュ．マクレラン

(72)【発明者】

【氏名】リュウ ウン

【審査官】 後藤 嘉宏

(56)【参考文献】

【文献】 特表２０１３−５０９０４０（ＪＰ，Ａ）

【文献】 特表２０１１−５２０３４９（ＪＰ，Ａ）

【文献】 特表２０１３−５１６９０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

無線送信／受信ユニット（ＷＴＲＵ）がビデオサーバからビデオストリームを要求する方法であって、
前記ビデオストリームに対するメタデータを受信するステップであって、前記ビデオストリームは複数のビデオセグメントに分割され、前記メタデータは第１のビデオセグメントが要求され得る複数の複雑さレベルに対する相対的なビデオ復号電力消費情報を表示している、ステップと、
前記ＷＴＲＵ内に残っているエネルギーの量を決定するステップと、
前記ＷＴＲＵ内に残っているエネルギーの前記量および前記メタデータ内に表示されている前記相対的なビデオ復号電力消費情報に基づいて、前記第１のビデオセグメントに対する電力割り当て情報を決定するステップと、
前記電力割り当て情報および前記メタデータ内に表示されている前記相対的なビデオ復号電力消費情報に基づいて、前記複数の複雑さレベルの第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するステップと、
前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求するステップと
を含む、方法。

【請求項2】

前記ビデオ復号電力消費情報は前記メタデータ内のビデオセグメントごとに提供される、請求項１に記載の方法。

【請求項3】

前記電力割り当て情報は、前のビデオセグメントに関連する前記第１のビデオセグメントに対する電力低減比を含む、請求項１に記載の方法。

【請求項4】

前のビデオセグメントは、前記複数の複雑さレベルの第２の複雑さレベルで前記ＷＴＲＵによって受信され、前記電力割り当て情報は、前記第２の複雑さレベルで前記前のビデオセグメントを復号することまたは表示することのうちの少なくとも１つに関連付けられた電力消費に基づいて決定される、請求項１に記載の方法。

【請求項5】

前記第１のビデオセグメントが要求され得る前記複数の複雑さレベルに対する前記相対的なビデオ復号電力消費情報は、前記複数の複雑さレベルのそれぞれにおいて前記第１のビデオセグメントを復号することに使用されるエネルギーの相対的な量を表示している、請求項１に記載の方法。

【請求項6】

前記ＷＴＲＵ内に残っているエネルギーの前記量に基づいて、前記第１のビデオセグメントを復号することに利用可能な電力を推定するステップをさらに含み、前記複数の複雑さレベルの前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するステップは、前記第１のビデオセグメントを復号することに利用可能な前記推定された電力にさらに基づく、請求項１に記載の方法。

【請求項7】

前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するステップは、前記第１のビデオセグメントを復号した結果、前記第１のビデオセグメントに割り当てられることになる概算のエネルギーの量を使用するように、前記第１の複雑さレベルを決定することを含む、請求項１に記載の方法。

【請求項8】

前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するステップは、前のビデオセグメントを復号する間に消費される電力、前記前のセグメントが要求された複雑さレベル、および前記第１のビデオセグメントを復号することに割り当てられた電力に基づいて、前記第１の複雑さレベルを選択することを含む、請求項１に記載の方法。

【請求項9】

前記第１のビデオセグメントの領域が高周波数閾値を超える高周波数成分を含むかどうかを決定するステップと、
前記高周波数成分が前記高周波数閾値を超えるという条件で、前記領域に対する動き補償中に第１の補間フィルタを適用するか、または前記高周波数成分が前記高周波数閾値を超えないという条件で、前記領域に対する動き補償のための第２の補間フィルタを適用するステップであって、前記第２の補間フィルタは前記第１の補間フィルタより低いカットオフ周波数に関連付けられている、ステップとをさらに含む、
請求項１に記載の方法。

【請求項10】

前のビデオセグメントを復号するために前記ＷＴＲＵによって消費された電力の量を計算するステップをさらに含む、請求項１に記載の方法。

【請求項11】

電力条件に基づいてビデオサーバからビデオストリームを要求する無線送信／受信ユニット（ＷＴＲＵ）であって、
メモリと、
前記ビデオストリームに対するメタデータを受信し、前記ビデオストリームは複数のビデオセグメントに分割され、前記メタデータは第１のビデオセグメントが要求され得る複数の複雑さレベルに対する相対的なビデオ復号電力消費情報を表示しており、
前記ＷＴＲＵ内に残っているエネルギーの量を決定し、
前記ＷＴＲＵ内に残っているエネルギーの前記量および前記メタデータ内に表示されている前記相対的なビデオ復号電力消費情報に基づいて、前記第１のビデオセグメントに対する電力割り当て情報を決定し、
前記電力割り当て情報および前記メタデータ内に表示されている前記相対的なビデオ復号電力消費情報に基づいて、前記複数の複雑さレベルの第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定し、
前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求する
ように構成されたプロセッサと
を備えた、ＷＴＲＵ。

【請求項12】

前記ビデオ復号電力消費情報は前記メタデータ内のビデオセグメントごとに提供される、請求項１１に記載のＷＴＲＵ。

【請求項13】

前記電力割り当て情報は、前のビデオセグメントに関連する前記第１のビデオセグメントに対する電力低減比を含む、請求項１１に記載のＷＴＲＵ。

【請求項14】

前のビデオセグメントは、前記複数の複雑さレベルの第２の複雑さレベルで前記ＷＴＲＵによって受信され、前記電力割り当て情報は、前記第２の複雑さレベルで前記前のビデオセグメントを復号することまたは表示することのうちの少なくとも１つに関連付けられた電力消費に基づいて決定される、請求項１１に記載のＷＴＲＵ。

【請求項15】

前記第１のビデオセグメントが要求され得る前記複数の複雑さレベルに対する前記相対的なビデオ復号電力消費情報は、前記複数の複雑さレベルのそれぞれにおいて前記第１のビデオセグメントを復号することに使用されるエネルギーの相対的な量を表示している、請求項１１に記載のＷＴＲＵ。

【請求項16】

前記プロセッサは、前記ＷＴＲＵ内に残っているエネルギーの前記量に基づいて、前記第１のビデオセグメントを復号することに利用可能な電力を推定するようにさらに構成され、前記複数の複雑さレベルの前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するように構成されることは、前記第１のビデオセグメントを復号することに利用可能な前記推定された電力にさらに基づく、請求項１１に記載のＷＴＲＵ。

【請求項17】

前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するように構成されることは、前記第１のビデオセグメントを復号した結果、前記第１のビデオセグメントに割り当てられることになる概算のエネルギーの量を使用するように、前記第１の複雑さレベルを決定するように構成されることを含む、請求項１１に記載のＷＴＲＵ。

【請求項18】

前記第１の複雑さレベルにおいて前記第１のビデオセグメントを要求すると決定するように構成されることは、前のビデオセグメントを復号する間に消費される電力、前記前のセグメントが要求された複雑さレベル、および前記第１のビデオセグメントを復号することに割り当てられた電力に基づいて、前記第１の複雑さレベルを選択するように構成されることを含む、請求項１１に記載のＷＴＲＵ。

【請求項19】

前記プロセッサは、
前記第１のビデオセグメントの領域が高周波数閾値を超える高周波数成分を含むかどうかを決定し、
前記高周波数成分が前記高周波数閾値を超えるという条件で、前記領域に対する動き補償中に第１の補間フィルタを適用するか、または
前記高周波数成分が前記高周波数閾値を超えないという条件で、前記領域に対する動き補償のための第２の補間フィルタを適用し、前記第２の補間フィルタは前記第１の補間フィルタより低いカットオフ周波数に関連付けられているようにさらに構成された、
請求項１１に記載のＷＴＲＵ。

【請求項20】

前記プロセッサは、前のビデオセグメントを復号するために前記ＷＴＲＵによって消費された電力の量を計算するようにさらに構成された、請求項１１に記載のＷＴＲＵ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電力認識型ビデオ復号およびストリーミングに関する。

【背景技術】

【0002】

（関連出願の相互参照）
本出願は、その内容の全体が参照により本明細書に組み込まれる、２０１２年７月９日に出願された米国仮特許出願第６１／６６９５８１号の利益を主張する。

【0003】

モバイルデバイスの普及が拡大し続けるにつれて、それらは、より多種多様なアプリケーションのために使用されるようになっている。加えて、スマートフォンなどのモバイルデバイスは、より一層複雑な機能を利用するようになっている。処理のそのような増加は、電力消費を増加させ得、それは、バッテリがデバイスの電源である場合など、電力が制限される状況において、ユーザエクスペリエンスに悪影響を及ぼし得る。

【発明の概要】

【0004】

モバイルデバイスが利用可能な電力および／またはエネルギーに基づいてビデオを復号するための方法およびシステムが開示される。例えば、モバイルデバイスは、ビデオストリームについてのメディア記述ファイル（ＭＤＦ）をビデオサーバから受信し得る。ＭＤＦは、複数のビデオセグメントに関連付けられた複雑さ情報を含み得る。複雑さ情報は、モバイルデバイスにおいてセグメントを復号するために利用される処理電力の量に関連し得る。モバイルデバイスは、モバイルデバイスについての少なくとも１つの電力メトリックを決定し得る。例えば、電力メトリックは、バッテリなど現在の電源についての残存するエネルギーの量であり得る。モバイルデバイスは、ＭＤＦからの複雑さ情報と電力メトリックとに基づいて、第１のビデオセグメントのために要求される第１の複雑さレベルを決定し得る。モバイルデバイスは、第１の複雑さレベルにある第１のビデオセグメントをビデオサーバに要求し得る。

【0005】

例えば、ＭＤＦ内の複雑さ情報は、ビデオセグメント毎に提供され得る。要求する適切な複雑さレベルを決定するために使用され得る電力メトリックの例は、ビデオの残りを復号するために割り当てられるエネルギーの量、先行する復号のために使用されたエネルギーの量、先に復号されたセグメントに関する、モバイルデバイスにおいて収集された統計、復号のために利用される電力の、セグメントの品質に対する比の形式をしたコスト情報、および／または利用される電力の、セグメントの複雑さに対する比の形式をしたコスト情報などを含み得る。モバイルデバイスは、ビデオストリームの残りの持続時間を決定し得、第１のビデオセグメントの持続時間を決定し得る。その後、モバイルデバイスは、ビデオストリームの残りを復号するために割り当てられるエネルギーの量、ビデオストリームの残りの持続時間、および第１のビデオセグメントの持続時間に基づいて、第１のビデオセグメントに割り当てられるエネルギーの量を決定し得る。モバイルデバイスは、ビデオストリーム内に残っている各セグメントは等しい量の復号のためのエネルギーを割り当てられるという仮定に基づいて、決定を行い得る。残存セグメントの各々のために割り当てられるエネルギーの総和は、ビデオの復号を完了するために割り当てられる総電力以下であり得る。

【0006】

モバイルデバイスは、およそ第１のビデオセグメントに割り当てられるエネルギーの量を使用して、第１のビデオセグメントの復号をもたらす複雑さレベルを決定することによって、ＭＤＦからの複雑さ情報と電力メトリックとに基づいて、第１のビデオセグメントのために要求される第１の複雑さレベルを決定し得る。例えば、複雑さレベルは、量子化され得、モバイルデバイスは、所望の電力使用目標を満たすその最も複雑なレベルを選択し得る。モバイルデバイスは、先行セグメントに割り当てられた電力と、先行セグメントを復号するために使用された複雑さレベルと、第１のビデオセグメントを復号するために割り当てられる電力とに基づいて、第１の複雑さレベルを選択することによって、ＭＤＦからの複雑さ情報と電力メトリックとに基づいて、第１のビデオセグメントのために要求される第１の複雑さレベルを決定し得る。

【0007】

モバイルデバイスは、自律的に、またはネットワークと連携して、復号プロセスを調整して、復号エラーの導入を制限しながら、エネルギーを節約し得る。例えば、モバイルデバイスは、第１のビデオセグメントの領域が、高周波数閾値を超える高周波数成分を含むかどうかを決定し得る。モバイルデバイスは、高周波数成分が高周波数閾値を超えるならば、領域についての動き補償中に第１の補間フィルタを適用し得、またはモバイルデバイスは、高周波数成分が高周波数閾値を超えないならば、領域についての動き補償のために第２の補間フィルタを適用し得る。第２の補間フィルタは、第１の補間フィルタよりも短いタップ（例えば、より低いカットオフ周波数）に関連付けられ得、したがって、メモリアクセスを制限し、電力を節約する。モバイルデバイスは、領域が他の領域の基準であるという決定に基づいて、すなわち、エラーを伝搬させる可能性がより高いという決定に基づいて、僅かな高周波数成分しか存在しない場合であっても、より短いタップ（例えば、より低いカットオフ周波数）を有するフィルタを適用しないと決定し得る。モバイルデバイスは、第１のビデオセグメント内の基準ピクチャに対する非ブロック化を実行し得、非基準ピクチャに対する非ブロック化の実行を差し控え得る。

【0008】

モバイルデバイスまたは他の無線送受信ユニットは、電力条件に基づいてビデオ復号を動的に変更するための１または複数の機能構成要素を含み得る。例えば、モバイルデバイスは、ビデオファイルについてのＭＤＦをビデオサーバに要求し、ＭＤＦをビデオサーバから受信するように構成され得る、送受信機を含み得る。ＭＤＦは、複数のビデオセグメントについての複雑さ情報を含み得る。モバイルデバイスは、先行セグメント復号についての統計を記憶するように構成され得る、複雑さ統計および制御ユニットを含み得る。例えば、先行セグメント復号についての統計は、少なくとも１つの先行セグメントの復号に関連付けられた電力情報、および少なくとも１つの先行セグメントについての複雑さ情報を含み得る。モバイルデバイスは、現在のエネルギーレベルまたは電力レベル情報を決定するように構成され得る、電力検出器を含み得る。モバイルデバイスは、ＭＤＦからの複雑さ情報と、先行セグメント復号についての統計と、現在の電力情報とに基づいて、後続セグメントのために要求する複雑さレベルを決定するように構成され得る、電力認識型適応コントローラを含み得る。モバイルデバイスは、電力認識型適応コントローラによって決定された情報に基づいて、後続セグメントを復号するために適用するパラメータまたは方法を決定するように構成され得る、復号器を含み得る。

【0009】

例えば、復号器は、与えられた領域内のピクセルのサンプリングの周波数分析に基づいて、与えられた領域の動き補償のために適用する補間フィルタを決定するように構成され得る。復号器は、高周波数成分が指定された閾値を下回る領域についてのより高いレイヤの時間予測のために、第２の補間フィルタよりも短いタップ（例えば、より低いカットオフ周波数）を有する第１の補間フィルタを利用し、より低いレイヤの高周波数成分が閾値を下回る場合であっても、より低いレイヤの時間予測のために、第２の補間フィルタを使用するように構成され得る。復号器は、インターブロックの非因果的な隣接ブロックが１または複数のイントラ符号化ブロックを含むインターブロックを少なくとも除いて、高周波数成分が指定された閾値を下回る領域のために、第２の補間フィルタよりも短いタップ（例えば、より低いカットオフ周波数）を有する第１の補間フィルタを利用するように構成され得る。インターブロックの非因果的な隣接ブロックが１または複数のイントラ符号化ブロックを含むインターブロックを除外することは、イントラ符号化が存在する場合にエラーの伝搬を防止する助けとなり得る。電力認識型適応コントローラは、ＭＤＦからの複雑さ情報と、先行セグメント復号についての統計と、現在の電力情報とに基づいて、後続セグメントのために要求する解像度を決定するように構成され得る。解像度は、指定された複雑さレベルにおいて要求され得る。複雑さレベルは、符号化器が符号化を実行した詳細さのレベルに対応し得る。

【0010】

ビデオ復号中に無線送受信ユニット（ＷＴＲＵ）がビデオサーバと対話して電力を動的に節約するための方法が開示される。例えば、ＷＴＲＵは、復号のための残存する電力の量に関する決定を動的に更新し、更新された決定に基づいてビデオセグメントのために選択する適切な複雑さレベルを決定し得る。一例として、ＷＴＲＵは、ＭＤＦをビデオサーバに要求し得る。ＷＴＲＵは、ＭＤＦをビデオサーバから受信し得る。ＭＤＦは、ビデオストリームの１または複数のセグメントを復号するための複雑さ情報を含み得る。ＷＴＲＵは、ビデオストリームの残りを復号するために割り当てられる残存エネルギーの量に少なくとも部分的に基づいて、ビデオストリームのビデオセグメントを復号するために割り当てられるエネルギーの量を決定し得る。ＷＴＲＵは、ビデオストリームのビデオセグメントを復号するために割り当てられるエネルギーの量に基づいて、ビデオストリームの第１のビデオセグメントのために要求する第１の復号複雑さレベルを決定し得る。ＷＴＲＵは、第１のビデオセグメントについての第１の復号複雑さレベルを要求し得る。ＷＴＲＵは、ビデオストリームの残りを復号するために割り当てられる残存エネルギーの量を再評価し得、ビデオセグメント当たりの現在のエネルギーレベルでビデオストリームの復号を完了するにはＷＴＲＵが十分なエネルギーを欠いていることを決定し得る。

【0011】

ＷＴＲＵは、ビデオストリームの残りを復号するために割り当てられる残存エネルギーの新しい量に基づいて、ビデオストリームの残存ビデオセグメントを復号するために割り当てられるエネルギーの新しい量を決定し得る。ＷＴＲＵは、ビデオストリームの残存ビデオセグメントを復号するために割り当てられるエネルギーの新しい量に基づいて、ビデオストリームの第２のビデオセグメントのために要求する第２の復号複雑さレベルを決定し得る。残存ビデオセグメントの各々は、ビデオストリームの残りを復号するために割り当てられる残存エネルギーの新しい量に基づいて、等しい量のエネルギーを割り当てられ得る。それぞれのビデオセグメントについてのそれぞれの複雑さレベルは、ビデオセグメントを復号するために割り当てられるエネルギーの量、それぞれのビデオセグメントの持続時間、ならびに少なくとも１つの先行セグメントを復号するために利用されるエネルギー、少なくとも１つの先行セグメントについての複雑さレベル、および少なくとも１つの先行セグメントの持続時間に関連する統計に基づいて選択され得る。ＷＴＲＵは、様々な復号されたセグメントについての電力使用統計をサーバに報告し得、ＷＴＲＵは、報告に基づいた与えられた複雑さのビデオセグメントを受信し得る。

【図面の簡単な説明】

【0012】

より詳細な理解は、添付の図面を併用する、例として与えられた、以下の説明から得られ得る。

【図1A】１または複数の開示される実施形態が実施され得る例示的な通信システムのシステム図である。

【図1B】図１Ａに示される通信システム内で使用され得る例示的な無線送受信ユニット（ＷＴＲＵ）のシステム図である。

【図1C】図１Ａに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

【図1D】図１Ａに示される通信システム内で使用され得る別の例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

【図1E】図１Ａに示される通信システム内で使用され得る別の例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

【図2】モバイルユーザの増加数の動向を示す図である。

【図3】例示的なプッシュモードビデオストリーミングシステムを示す図である。

【図4】例示的なＨＴＴＰベースのビデオストリーミングシステムを示す図である。

【図5】モバイルデバイス上で実施され得るスマートフォンプラットフォームの例示的なアーキテクチャを示している。

【図6A】ビデオ再生シナリオにおける電力使用の一例を示す図である。

【図6B】動的電圧および周波数スケーリングを示す図である。

【図7】例示的な電力認識型ビデオストリーミングシステムを示す図である。

【図8】クライアント側における例示的な可能な切り換え動作ポイントを示す図である。

【図9】ＨＥＶＣ復号における例示的なプロセスを示す図である。

【図10】輝度ＭＣプロセスのための異なるピクセル位置の例を示す図である。

【図11A】ＨＭ６．１復号器を使用するＨＥＶＣ、およびランダムアクセス（ＲＡ）環境を使用して符号化されるビットストリームについての時間プロファイリングの例を示す図である。

【図11B】ＨＭ６．１復号器を使用するＨＥＶＣ、およびランダムアクセス（ＲＡ）環境を使用して符号化されるビットストリームについての時間プロファイリングの例を示す図である。

【図12A】周波数成分の相対的に僅かな部分が高周波数範囲内にある領域のために使用され得る例示的な補間フィルタ波形を示す図である。

【図12B】図１２Ａの補間フィルタのための例示的な周波数応答を示す図である。

【図13】ＨＥＶＣにおける例示的な階層的符号化構造を示す図である。

【図14】ＨＥＶＣイントラ符号化において使用される例示的な方向を示す図である。

【発明を実施するための形態】

【0013】

近年、モバイルデバイスは、多種多様なユーザおよびアプリケーションに一般に好まれるコンピューティングプラットフォームになった。例えば、実用的なシステムオンチップ（ＳｏＣ）集積回路の急速な発展は、モバイルデバイスが、手で持って使うのに実用的なサイズに止まりながら、利用可能な機能を増やすことを可能にした。最近、ＩＣは、例えば、ＣＰＵ周波数および／または利用可能な処理コアの数の点で、モバイルデバイスの計算能力を大きく高めた。加えて、無線ネットワーク技術（例えば、４Ｇ ＬＴＥ、ＨＳＰＡ＋、ＷｉＦｉなど）の帯域幅および／または全体的データレートの増加は、モバイルデバイスが、従来のブロードバンドインターネットアクセスに匹敵するスピードでメディアを獲得することを可能にした。

【0014】

そのような進歩は、モバイルデバイスの高い普及率の理由の一端であり、ますます多くのデバイスが配備されるに至っている。図２は、モバイルインターネットユーザの数が時とともにどのように増加し続けているかを示している。例えば、図２に示されるように、モバイルインターネットユーザの数は、デスクトップインターネットユーザの数をまもなく上回るであろうことが推定される。そのような動向は、デスクトップ環境のために最適化されていた先行するコンテンツ配送および処理システムが、モバイルインターネットトラフィックについて性能を最適化するために、再考されるべきであることを示唆し得る。例えば、近年の驚異的な成長に貢献し得たモバイルコンピューティングの１つの特徴は、モバイルデバイスを基本的にいつおよび／またはどこで使用していても、モバイルユーザがサービスおよび／またはコンテンツにアクセス可能なことであり得る。

【0015】

モバイルデバイスへのメディアコンテンツの配信および／またはモバイルデバイスにおけるメディアコンテンツの表示は、従来のデスクトップデバイスではあまり問題にはなり得ない複雑さをもたらし得、または引き起こし得る。例えば、最近の進歩にもかかわらず、いくつかのモバイルデバイスは、デスクトップ環境と比較すると、複雑な処理をタイムリーに実行するためのリソースを依然として欠いていることがある。加えて、サイズ制約は、いくつかのモバイルデバイスが、従来のデバイスで利用可能であるよりも小さな処理能力および／または僅かなハードウェアモジュールしか有しないようにさせ得る。加えて、多くのタイプのモバイルデバイスは、送電網を介する固定電源とは対照的なバッテリ電源を通常動作中に利用して動作し得るので、電力的に制限され得る。様々な複雑さおよび／または様々な能力のモバイルデバイスにおいてメディアコンテンツの配送および／または表示を容易にするために、モバイルプラットフォーム上でのコンテンツ配信を増強するための技術が開発されている。一例として、ハイパーテキストマークアップ言語５（ＨＴＭＬ５）は、部分的にはモバイルデバイスのためにメディアアクセスをより容易にしようとして設計された、ウェブページのためのマークアップ言語である。例えば、ＨＴＭＬ５は、モバイルデバイスがメディアコンテンツを取得および再生するのを支援し得る、動的ページレイアウトデザインサポートを使用するように設計された。

【0016】

モバイルデバイスがインターネットトラフィックの大幅な増加を見た１つの例示的な使用事例は、モバイルビデオコンテンツ生成および配送の中にある。モバイルビデオトラフィックを効果的および効率的に生成し、処理し、配信し、および／または表示するために、モバイルデバイスにおけるビデオ処理を最適化するための技術が規定され得る。例えば、モバイルデバイス上に含まれるハードウェアがより強力になるにつれて、ＷＴＲＵは、ビデオトラフィックをストリーミングおよび／または復号するために、ますます複雑な処理を実行するように構成され得る。

【0017】

加えて、モバイルディスプレイの進歩も、ビデオを表示するためのモバイルデバイスの高い普及率に影響を及ぼした。例えば、（例えば、スマートフォンおよびタブレットなどの）モバイルデバイスでは、ビデオコンテンツを表示するために、７２０ｐビデオ品質が相対的に広く普及している。いくつかのよりハイエンドのタブレットは、１０８０ｐ以上のビデオを受信および表示することすら可能であり得る。加えて、ＬＣＤの高機能化は、モバイルデバイスが、ビデオを表示するために使用され得るカラーレベルおよび／またはコントラストレベルを高めることを可能にした。他の進歩した表示技術は、モバイルデバイスのための３次元（３ｄ）ディスプレイ（例えば、オートステレオスコピック３Ｄ）の導入を含み得る。進歩した無線通信ネットワーク（例えば、４Ｇ ＬＴＥ、ＷｉＦｉ無線ネットワークなど）と併用された場合、モバイルデバイスユーザは、高品質なビデオサービスに相対的に容易にアクセスでき得る。

【0018】

さらに、モバイルデバイスは、１または複数の機能モジュールを単一のプラットフォーム上に一緒に統合するように構成され得る。例えば、典型的なモバイルデバイスは、タッチスクリーン、デジタルカメラ、全地球測位システム（ＧＰＳ）、重力センサ、および／または他の特徴もしくは技術のうちの１または複数を含み得る。そのような要素は、モバイル処理リソースを求めて互いに競い合い得、それが、ビデオコンテンツの表示を複雑にし得る。これらの特徴のうちの１または複数を実質的に同時に使用することは、モバイルデバイスにおける電力使用に悪影響を及ぼし得、バッテリ充電当たり表示され得るビデオの量の低下をもたらす。バッテリで利用可能なエネルギーの量には限界があるせいで、それらはしばしば電力的に制限されるので、そのような電力使用は、モバイルデバイスについての重要な検討事項である。

【0019】

モバイルデバイスは、ビデオストリーミングおよび／または復号のためのより処理集約的な方法を実行するように構成されるので、電力とモバイルリソース使用に関するトレードオフが生じ得る。本明細書で開示される方法およびシステムは、電力的に制限される環境において適切な品質のビデオを表示するために、ビデオ復号および／またはビデオストリーミングプロセス中に、エネルギー使用および／またはエネルギーレベル（例えば、電力使用および／または電力レベル）を考慮する。例えば、それらのリソース的に制限された異種モバイルデバイス上で高品質のモバイルビデオサービスを提供するために、ディスプレイサイズ、処理能力、ネットワーク条件、および／またはバッテリレベルなどのうちの１または複数の要因が、モバイルデバイスにおける、および／または進歩した通信ネットワーク内におけるビデオ符号化および／またはストリーミング処理に影響を与えるように検討および利用され得る。

【0020】

例えば、ビデオストリーミングは、ビデオサービスを１または複数のモバイルデバイスに通信ネットワークを介して提供するための例示的な方法である。ビデオストリーミングモードの例は、プッシュモードおよび／またはプルモードを含み得る。例えば、ビデオプッシュモードを利用するストリーミングシステムは、リアルタイムトランスポートプロトコル（ＲＴＰ）を使用してビデオデータを配送し得る。プッシュモードビデオストリーミングは、リアルタイム制御プロトコル（ＲＴＣＰ）機能を適用して、ビデオに関連付けられたサービス品質（ＱｏＳ）を監視および／または制御し得る。

【0021】

ビデオ復号の電力効率を改善するためのクライアントおよび／またはサーバベースの技法を提供するための方法およびシステムが開示される。方法およびシステムは、電力認識型ストリーミングおよび／または電力認識型復号の使用を含み得る。例えば、ビデオの復号は、ビデオストリームについての複雑さ情報を示す、メディア記述ファイル（ＭＤＦ）および／または他のインバンドもしくはアウトオブバンド情報をビデオサーバから受信することを含み得る。複雑さ情報は、与えられたビデオまたはセグメントを復号するために復号器が利用する、処理リソースの相対量および／または処理電力の相対量のこととし得る。例えば、より複雑なセグメントは、あまり複雑ではないビデオまたはビデオセグメントよりも多くの処理リソースおよび／または多くのエネルギーを、復号するために利用し得る。ビデオストリームについての複雑さ情報は、ＭＤＦに基づいて決定され得る。一例では、複雑さ情報は、例えば、ビデオビットストリーム内の補助拡張情報（ＳＥＩ）メッセージングを使用して、および／または他の埋め込みメタデータを使用して、ビデオストリーム内に埋め込まれ得る。例えば、複雑さ情報は、ＲＴＰ制御プロトコル（ＲＴＣＰ）を使用して伝達され得る。モバイルデバイスは、複雑さ情報を使用してビデオストリームを復号し得る。複雑さ情報は、ビデオセグメント毎に提供され得る。複雑さ情報を使用するビデオストリームの復号は、与えられた電力消費レベル内に止まりながら、複雑さ情報を使用してビデオストリームを復号することを含み得る。

【0022】

例えば、ＭＤＦは、メディアプレゼンテーション記述（ＭＰＤ）ファイルであり得る。ＭＤＦは、品質レベル、ビットレート、および／または複雑さ情報のうちの１または複数を含み得る。複雑さ情報は、複数の複雑さレベルに適用可能であり得る。ビデオストリームの復号は、与えられたセグメントについての与えられた複雑さレベルに応じて、異なるパラメータを使用して復号を実行することを含み得る。方法は、先行する消費電力統計に基づいて、ビデオストリームの将来の復号に対する電力割り当てを決定することを含み得る。ループフィルタリングが、例えば、モバイルデバイスにおいて利用可能な電力に応じて実行され得る。ループフィルタリングは、非ブロック化、サンプルアダプティブオフセット（ＳＡＯ）の利用、および／または適応ループフィルタリング（ＡＬＦ）のうちの１または複数を含み得る。

【0023】

一例では、ショートカット復号が実行され得る。ショートカット復号の実行は、異なる特性領域における異なる補間フィルタの適用、ブロッキングアーチファクトが可視に達しない、もしくはエラー伝搬があまり問題にならない１もしくは複数の領域における非ブロック化動作のスキップ、および／または非ゼロ係数分布に従ったより小さな変換サイズの適用のうちの１または複数を含み得る。ビデオストリーミングおよび／またはビデオ復号中にモバイルデバイスにおける残りの相対エネルギーレベルおよび／または利用可能な電力レベルを考慮することによって、複雑で電力集約的なストリーミングを実行することが可能なデバイスは、高品質で処理集約的なビデオフィードを受信でき得る一方で、電力的に制限されたデバイスは、全体的な電力消費を制限しながら、依然として指定された最小品質でビデオを受信し得る。

【0024】

図３は、プッシュモードビデオストリーミングシステムについての例示的なアーキテクチャを示している。例えば、図３に示されるように、マネージャサーバ３２０は、ユーザ要求に基づいて、動作を管理するように構成され得る。ユーザは、ＷＴＲＵ３０２、ＷＴＲＵ３０４、および／またはＷＴＲＵ３０６の１または複数などのモバイルデバイスを使用して、要求を実行し得る。マネージャサーバ３２０は、ユーザ要求をストリーミングサーバ（例えば、ストリーミングサーバ３１０、ストリーミングサーバ３１２、ストリーミングサーバ３１４など）の１つに割り当てるように構成され得る。様々な要求は、システム負荷を平衡させるために、１または複数のストリーミングサーバに分配され得る（例えば、アドミッション管理）。一例では、１または複数のストリーミングサーバは、ストリーミングセッションを開始し得る。

【0025】

ストリーミングビデオセッションを提供するストリーミングサーバは、例えば、ビットレート、解像度、および／またはストリームスイッチングなど、ストリーミングセッションに関連付けられた態様またはパラメータのうちの１または複数を制御し得る。クライアント（例えば、ＷＴＲＵ３０２、ＷＴＲＵ３０４、ＷＴＲＵ３０６など）は、ビデオデータをストリーミングサーバから受信した後、ビデオデータを復号し得る。クライアント（例えば、ＷＴＲＵ３０２、ＷＴＲＵ３０４、ＷＴＲＵ３０６など）は、パケットロスおよび／または遅延などの統計を、ビデオストリームを提供するストリーミングサーバに定期的に報告し得る。

【0026】

多くのプッシュビデオシステムでは、ビデオストリーミングセッションのための適応ロジック（例えば、現在の条件に基づいて、ビットレート、解像度、ストリームスイッチングなどを指定するために使用される機能）は、サーバ側（例えば、ストリーミングサーバ３１０、ストリーミングサーバ３１２、ストリーミングサーバ３１４など）に配置され得る。例えば、ストリーミングサーバは、クライアント（例えば、ＷＴＲＵ３０２、ＷＴＲＵ３０４、ＷＴＲＵ３０６など）から報告された利用可能な帯域幅に従って、ビットストリーム（および／またはレイヤ）スイッチングを使用して、帯域幅適応を実行するように構成され得る。適応がサーバ側で実行されるそのようなプッシュモードビデオストリーミングは、サーバが決定されたビットレートに従って相対的に継続的かつ均一にデータを送信し得るので、より低い伝送負荷および／またはクライアントにおけるより低い処理負荷を可能にし得、クライアントにおける相対的に小さいバッファサイズの使用を促進する。

【0027】

一例では、１または複数のクライアントデバイス（例えば、ＷＴＲＵ３０２、ＷＴＲＵ３０４、ＷＴＲＵ３０６など）は、フィードバック報告をサーバに送信し得る。サーバは、クライアントデバイスから受信されたフィードバック報告に基づいて、ビデオパラメータを設定および／または変更し得る。しかしながら、ネットワーク輻輳が増加した期間中は、サーバは、フィードバック報告を受信し得ないことがある。加えて、プッシュベースのビデオ配送のためにしばしば使用されるＲＴＰプロトコルは、伝送制御プロトコル（ＴＣＰ）ベースの配送システムと併せて実施することが困難であり得、いくつかのファイアウォールは、ＲＴＰを利用するトラフィックフローをブロックし得る。指定された品質のビデオを提供するために、プッシュビデオストリーミングシステムは、相対的にユーザに近いストリーミングサーバを配備または利用して、例えば、十分なサービスを提供し得る。そのような配備は、大規模なサービスを提供することをより困難にし得、その名の通りそれらはセッションの進行中に移動し得るので、モバイルデバイスとともに実施することはより困難であり得る。

【0028】

プルモードストリーミングシステムの一例は、ダウンロードを行いながらの再生であり得る。例えば、ＷＴＲＵなどのクライアントデバイスは、大規模なメディアファイルを、例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）を介してダウンロードし得る。クライアントは、ダウンロード処理を継続しながら、ファイルの一部を復号し得る。しかしながら、サービスまたはビデオプロバイダ（例えば、Ｎｅｔｆｌｉｘ、Ａｍａｚｏｎ、Ｇｏｏｇｌｅなど）の観点からは、適応をユーザ毎に実行することは望ましくないことがあり、代わりに、そのようなコンテンツソースは、既存のインターネットインフラストラクチャを現状のまま使用することを好むことがあり、オーバーザトップ（ＯＴＴ）でサービスを配備することがあり、それは配備費用および時間を削減し得る。

【0029】

プルビデオストリーミング技法の一例は、ＨＴＴＰベースのビデオストリーミングを含み得る。ＨＴＴＰベースのビデオストリーミング技法の例は、Ｍｉｃｒｏｓｏｆｔのスムーズストリーミング、Ａｄｏｂｅの動的ＨＴＴＰストリーミング、およびＡｐｐｌｅのＨＴＴＰライブストリーミング（ＨＬＳ）を含み得る。ＨＴＴＰストリーミングにおける適応サンプリング方法が利用され得る。国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）ムービングピクチャエクスパーツグループ（ＭＰＥＧ）、および／または第３世代パートナーシッププロジェクト（３ＧＰＰ）国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）などのコンソーシアムは、デバイス間動作可能通信を可能にするための適応サンプリングの様々な態様を標準化する作業を進めている。

【0030】

例えば、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）は、ＨＴＴＰベースのストリーミング方法を利用するビデオストリーミングに対する適応手法であり得る。ＤＡＳＨは、例えば、変化する帯域幅条件に対処し得るという事実のために、大きな注目を集めた。ＤＡＳＨにおいて実施された１つの概念は、メディアファイルまたはストリームを、独立に復号可能なセグメントに分割することであり得る。その後、コンテンツの一部は、異なる品質または解像度で符号化され、等しい長さのセグメントに分割され得る。セグメンテーションのやり方および／もしくはビデオがどのように分割されたかについての他の説明、ならびに／またはセグメントの相対品質に関する情報は、クライアントに提供されるＸＭＬベースのマニフェストファイル（ＭＦ）内に含まれ得る。ＭＦファイルの一例は、メディアプレゼンテーション記述（ＭＰＤ）ファイルを含み得る。ＭＰＤは、メディア記述ファイル（ＭＤＦ）の一例とし得る。ＭＦファイルに基づいて、クライアントは、ＨＴＴＰを使用してビデオコンテンツにアクセスし得、また与えられた帯域幅および／または解像度要件に最も適したセグメントを選択し得る。

【0031】

図４は、例示的なＨＴＴＰベースのビデオストリーミングシステムを示している。例えば、１または複数のメディア生成デバイス４３０は、ビデオファイルなどのメディアファイルを生成し得る。メディアコンテンツは、例えば、１もしくは複数のメディア生成デバイス４３０、および／または１もしくは複数のＨＴＴＰオリジナルサーバ（例えば、ＨＴＴＰオリジナルサーバ４２０、ＨＴＴＰオリジナルサーバ４２２、ＨＴＴＰオリジナルサーバ４２４など）において、圧縮され、小さいセグメントに切断され得る。例えば、セグメント期間は、多くのストリーミングシステムでは、２から１０秒の間であり得る。セグメントは、１または複数のＨＴＴＰオリジナルサーバ（例えば、ＨＴＴＰオリジナルサーバ４２０、ＨＴＴＰオリジナルサーバ４２２、ＨＴＴＰオリジナルサーバ４２４など）内に記憶され得、コンテンツ配送ネットワーク（ＣＤＮ）を介して配信され得る。

【0032】

例えば、ストリーミングセッションの開始時に、１または複数のクライアントデバイス（例えば、ＷＴＲＵ４０２、ＷＴＲＵ４０４、ＷＴＲＵ４０６、ＷＴＲＵ４０８など）は、メディアコンテンツについてのＭＰＤファイルを要求し得、どのセグメントを利用すべきかを決定し得る。どのセグメントを利用すべきかに関する決定は、（例えば、１または複数の解像度および／または利用可能な帯域幅などの）クライアントの能力に基づき得る。１または複数のＨＴＴＰオリジナルサーバ（例えば、ＨＴＴＰオリジナルサーバ４２０、ＨＴＴＰオリジナルサーバ４２２、ＨＴＴＰオリジナルサーバ４２４など）は、要求されたセグメントを、１または複数のクライアントデバイス（例えば、ＷＴＲＵ４０２、ＷＴＲＵ４０４、ＷＴＲＵ４０６、ＷＴＲＵ４０８など）に、要求に従って、例えば、１または複数のＨＴＴＰキャッシュ（例えば、ＨＴＴＰキャッシュ４１０、ＨＴＴＰキャッシュ４１２、ＨＴＴＰキャッシュ４１４など）を介して送信し得る。メディアセグメントを記憶および／または配信するための１または複数のＨＴＴＰキャッシュサーバを利用することによって、システムが大規模にストリーミングサービスを提供し得るように、ビデオは、配信され、他のユーザによって使用され得る。

【0033】

プッシュモードのストリーミングシステムと比較して、プルモードのストリーミングシステムは、クライアント側（例えば、ＷＴＲＵ４０２、ＷＴＲＵ４０４、ＷＴＲＵ４０６、ＷＴＲＵ４０８など）において適切なセグメントを選択するための適応ロジックをしばしば含む。いくつかのシナリオでは、ビデオセグメントの配信のために使用されるキャッシングプロセスは、コンテンツの配信のためにプッシュモードか利用されるか、それともプルモードが利用されるかに応じて異なり得る。例えば、どのモードが利用されるのかに応じて、コンテンツの配信のために異なるトランスポートプロトコルが利用され得るので（例えば、プルモードの場合はＨＴＴＰ、プッシュモードの場合はＲＴＰなど）、利用されるキャッシングプロセスは、使用されるトランスポートプロトコルのタイプに基づいて変化し得る。例えば、ＨＴＴＰは、最初、リアルタイムメディアの配送のために設計されておらず、代わりに、ＨＴＴＰは、ファイルおよび他のデータのベストエフォート配送のために設計されていた。その結果、例えば、キャッシュ、ＣＤＮ、および／またはプロキシのうちの１または複数を含む、ＨＴＴＰ関連のインフラストラクチャは、そのようなファイル転送を非常に良好にサポートし得るが、リアルタイムビデオコンテンツの配送についてはあまり良く最適化され得ていない。

【0034】

ＨＴＴＰに対してネットワークアドレス変換（ＮＡＴ）および／またはファイアウォール横断が適用されることも、または適用されないこともあるので、既存のＨＴＴＰインフラストラクチャを使用して、ＲＴＰを実施することは困難であり得る。加えて、ＨＴＴＰは、ＲＴＰと比較して、著しいオーバヘッドをストリーミングセッションに追加し得る。例えば、ＨＴＴＰ送信レートは時間に応じて均一ではあり得ないので、ＨＴＴＰをストリーミングのために利用するために、クライアント側（例えば、ＷＴＲＵ４０２、ＷＴＲＵ４０４、ＷＴＲＵ４０６、ＷＴＲＵ４０８など）は、相対的に大きいバッファサイズを利用し得る。例えば、ＨＴＴＰ送信レートは、ネットワークが輻輳している場合、大きく変化し得る。

【0035】

ストリーミングシステムでは、帯域幅変化および／または様々なディスプレイサイズに適応するために、非スケーラブル符号化が使用されて、異なるビットレートおよび／または異なる解像度のうちの１または複数を有する異なるビットストリームを生成し得る。加えて、送信帯域幅を節約し、ならびに／または送信および／もしくは受信中に利用されるストレージの量を制限するために、スケーラブル符号化技法が利用され得る。例えば、スケーラブルビデオ符号化（ＳＶＣ）は、１または複数のサブセットビットストリームも含み得る相対的に高い品質のビデオビットストリームを符号化するための技法のこととし得る。１または複数のサブセットビデオストリームが、復号プロセス中にメインビットストリームからのパケットのサブセットを利用することによって決定され得る。より大きなビデオビットストリームからパケットを削除することによって、サブセットビットストリームが、ビデオの受信および表示に関連付けられた帯域幅を削減するために使用され得る。一例では、サブセットビットストリームは、メインビットストリームと比較して、より低い空間解像度（例えば、より小さい画面）、より低い時間解像度（例えば、より低いフレームレート）、および／またはより低い品質のビデオ信号を表し得る。

【0036】

クライアントデバイス上で動作するアプリケーションは、アプリケーションによって望まれるレートおよび／または表現に基づいて、メインＳＶＣビットストリームのどれが、および／または１もしくは複数のサブセットビットストリームのどれが復号されるべきかを決定し得る。ＳＶＣは、非スケーラブルソリューションと比較して、帯域幅およびストレージを節約し得る。国際ビデオ規格のＭＰＥＧ−２ビデオ、Ｈ．２６３、ＭＰＥＧ４ビジュアル、および／またはＨ．２６４は、スケーラビリティの何らかのモードをサポートするツールおよび／またはプロファイルを有し得る。最近、高効率ビデオ符号化（ＨＥＶＣ）のスケーラブル拡張の要件およびユースケースが合意された。現在、ＨＥＶＣは、ＩＴＵ−Ｔビデオ符号化エクスパーツグループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣムービングピクチャエクスパーツグループ（ＭＰＥＧ）とによって合同で開発されている。ＤＡＳＨおよび／またはマルチキャスティングの場合、スケーラブルビデオ符号化技術を用いると、帯域幅が節約され得る。ＤＡＳＨシステムでは、ＨＴＴＰキャッシュサーバは、例えば、異なるビットレートを有するすべてまたは一部のバージョンをキャッシュする代わりに、多くのユーザによって視聴されるビデオのベースレイヤをキャッシュし得る。

【0037】

モバイルデバイスにおいて実行されるアプリケーションの数の飛躍的な増加などの要因が原因で、モバイルデバイスの電力存続時間および／または電力効率が、モバイルデバイス性能を管理するうえで決定的な重要事項になった。モバイルデバイスのハードウェアおよび電源の設計に関して、電力効率についての様々な工業的研究が実施された。例えば、様々な条件下にある例示的なモバイルプラットフォームについての電力利用が分析され得る。図５は、本明細書で説明される方法の１または複数を実行するために使用され得る、スマートフォンモバイルデバイスの例示的なアーキテクチャを示している。例えば、モバイルデバイス５００は、プロセッサ／ＣＰＵ５０２、ＬＣＤ５０４などの内蔵および／もしくは外付けディスプレイ、メモリ５２０（例えば、内蔵／外付けメモリ、例は、ＮＡＮＤフラッシュメモリ５２２および／もしくは同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）５２２）、セルラ無線５０６（例えば、ＧＳＭ／３Ｇ／４Ｇ、ＬＴＥ、ＨＳＰＡ＋、ＣＤＭＡ２０００など）、ＷｉＦｉ無線５０８、（例えば、グラフィックスカードメモリ５１４および／もしくはセキュアデジタル（ＳＤ）カード５１２を伴う）グラフィックスカード５１０、（例えば、ユニバーサルシリアルバス（ＵＳＢ）を介する）Ｂｌｕｅｔｏｏｔｈ無線５３０、内蔵および／もしくは外付けＧＰＳ５４０、Ｃｏｄｅｘ５５０、増幅器５６０、ならびに／またはビデオストリームの受信／復号および／もしくは無線ネットワークを介する通信のための他の様々なコンポーネントを含み得る。

【0038】

アプリケーションに応じて、モバイルデバイス５００の様々なコンポーネントによって利用される電力消費は変化し得る。例えば、図６は、モバイルデバイスがビデオ再生中のシナリオにおける電力使用の一例を示している。図６から理解され得るように、ＣＰＵ処理、ディスプレイ関連（例えば、バックライト、グラフィックカードなど）、およびメモリアクセスが、ビデオ再生中の電力消費の支配的な原因であり得る。したがって、ビデオ復号は、例えば、集中的な計算、頻繁なメモリアクセス、および／または相対的に持続的なディスプレイ使用のいずれをも伴い得るので、電力消費が相対的に高いアプリケーションによって特徴付けられ得る。さらに、ビデオ再生アプリケーションは、ディスプレイ出力においてピクチャをかなりの輝度で表示するように構成され得、それが、電力消費の増加をもたらし得る。

【0039】

ビデオ符号化および／または復号プロセス中、動き補償が適用され得る。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、Ｈ．２６４／ＭＰＥＧ−４高度ビデオ符号化（ＡＶＣ）、および／またはＨＥＶＣなどのビデオ符号化規格は、ビデオ情報をデバイスに伝達するために利用されるシグナリングの量を制限するために、動き補償を利用し得る。動き補償は、ピクチャを基準ピクチャに対する変化または差分によって記述する、ビデオ圧縮技法と見なし得る。基準ピクチャは、先行フレーム、および／または時間的に後で利用されるフレームであり得る。画像が先に送信／記憶された画像から正確に合成され得る場合、圧縮効率が改善され得る。

【0040】

動き補償は、線形フィルタリングプロセスを使用して実施され得る。フィルタサイズが大きいほど、より良好な圧縮効率を達成し得るが、より大きなフィルタは、復号中に利用されるメモリアクセス帯域幅も増加させ得、それが、電力消費を増加させ得る（例えば、ビデオ復号中のメモリアクセス帯域幅の増加は、モバイルデバイスにおける消費電力を増加させ得る）。したがって、電力が相対的により低い復号器チップが、フレームバッファの圧縮によって、例えば、再構成されたピクセルをフレームバッファに記憶する前に、再構成されたピクセルを可逆圧縮で圧縮することによって、メモリアクセス帯域幅を削減するように設計され得る。動き補償のために使用される場合、再構成されたピクセルは、フレームバッファからフェッチされ、動き補償のために伸長され得る。

【0041】

電力をビデオ復号のために管理するための例示的な方法は、システムステータスを適応的に変更すること、および／またはプロセッサ周波数を適応的に切り換えること（例えば、動的電圧および周波数スケーリング（ＤＶＦＳ））を含み得る。図６Ｂは、ＤＶＦＳを行う場合および行わない場合のエネルギー消費を示している。ＤＶＦＳは、プロセッサの周波数を低下させるために利用され得、それによって、エネルギーを節約し、またはプロセッサの電力消費を低下させる。より低い処理周波数を利用することによって、プロセッサは、より高いプロセッサ周波数で処理が実行されたとしたら使用されたであろうよりも小さい電力を使用してタスクを実行しながら、与えられたタスクを与えられた処理期限までに実行（例えば、フレームをそれが表示される前に復号）でき得る。例えば、モバイルデバイスがアイドルである場合、ＤＶＦＳは、いくつかのモジュールを動作させ続けながら、低い電力状態に移行するために利用され得る。加えて、プロセッサの周波数が減少した場合、供給される電力に対応する電圧もしかるべく減少し得る。したがって、電力消費が低下され得る。例えば、チップまたはプロセッサによって消費される電力は、
Ｐ＝ＣＶ²ｆ 式（１）
と表現され得、ここで、Ｃは、キャパシタンス（例えば、クロックサイクル当たり切り換えられるキャパシタンス）であり得、Ｖは、電圧であり得、ｆは、スイッチング周波数であり得る。多くのＣＰＵ／プロセッサは、ＣＰＵが動作し得るいくつかの周波数を提供し得、アプリケーションは、周波数を臨機応変に望むように構成し得る。

【0042】

復号の複雑さは、ピクチャ毎に異なり得、複雑さのレベルは、プロセッサの周波数を変更するために使用され得る。例えば、ピクチャが相対的に単純である場合、電力を節約するために、周波数が低下され得る。一例では、ピクチャの復号に関連付けられた復号時間を推定するために、ピクチャサイズが使用され得る。ピクチャ復号時間がピクチャ持続時間（例えば、１／ｆ）よりも小さい場合、プロセッサの周波数は、表示に影響を与えずに、減少させ得る。プロセッサおよびメモリ技術の最近の発展に伴って、ダイナミックパワーレンジは、より小さくなり得、アイドル／スリープモードにおける電力使用は、より効率的になり得る。これらの技術変化は、ＤＶＦＳの効果を制限し得、そのため、ＤＶＦＳの電力節約は、より旧式のプラットフォームと比較して、新しいモバイルプラットフォームでは顕著でないことがある。

【0043】

電力使用効率を改善してバッテリ存続時間を引き延ばすことは、モバイルプラットフォーム設計およびモバイルアプリケーション設計のためにますます重要になっている。ソフトウェアおよびハードウェアビデオ復号が、モバイルマルチメディアアプリケーションにおいて広く使用されているが、それは、計算集約的であり得、処理を行うのに高い電力消費を伴う。ビデオ圧縮規格の復号の複雑さも、より優れた圧縮効率を得るために徐々に増加し得る。

【0044】

ＤＡＳＨなどのストリーミングシステムは、ネットワーク帯域幅変化に重点的に取り組むが、システムの観点からモバイルプラットフォームにおける電力使用に対処することは行い得ない。さらに、適応復号技術が、電力を節約するためにクライアント側から使用され得るが、追加の電力が制限される（例えば、バッテリ電力レベル／エネルギーレベルがゼロに近い）期間中は特に、追加の電力節約が望ましいことがある。加えて、完全再生を保証するように、アプリケーションの異なる部分についての電力消費が平衡され得る。クライアント側の電力節約に重点的に取り組む方法は、制限され得、および／またはユーザエクスペリエンスは、完全再生のための十分な電力がない場合はフレーム削除が適用され得るので、悪化させられ得る。本明細書で開示されるように、電力使用は、電力認識型コンピューティングの概念に基づいて対処および変更され得る。例示的な方法およびシステムは、サーバとクライアントの間の協調を含み得る。例えば、クライアント（例えば、モバイルデバイス）は、現在利用可能な帯域幅および／または電力ステータスに従って、異なる複雑さを有するストリームを要求し得る。

【0045】

クライアントは、適切なビットレートが現在利用可能な帯域幅に従って決定されると、ビデオを復号および再生するためにベストエフォートを試みるように構成され得る。多くのビデオ復号器では、復号および再生は、リアルタイム処理要件を満たすために、プロセッサリソースのかなりのパーセンテージを占有し得る。純粋なクライアントベースのシステムは、例えば、プロセッサ電力レベルがリアルタイムで復号を行うには不十分であり得るために、再生を滑らかに行えないことがある。プロセッサが再生中にゆとりをもって復号を実行し得ない状況では、フレーム飛ばし、およびオーディオとビデオの非同期が観察され得る。加えて、クライアントベースのシステムは、システム応答速度を低下させ得、それは、マルチタスク指向環境においてユーザエクスペリエンスの品質に影響し得る。例えば、ユーザ入力／出力に対するシステム応答時間は、プロセッサ負荷が目一杯であるために低下し得る。そのようなシナリオでは、タスクスイッチングがより遅くなり得る。

【0046】

ビデオ復号中の電力を節約するために、電力認識型ストリーミング、電力認識型復号、および／または何らかの形態のショートカット復号が利用され得、より良好なプロセッサ負荷バランスおよび／または電力節約を達成する。例えば、ストリーミングシステムのクライアント側におけるビットストリームスイッチングロジックまたはインテリジェントなロジックは、例えば、ユーザエクスペリエンスの最低品質を保証するために、利用可能なネットワーク帯域幅、現在のプロセッサ負荷、および／または残余電力を一緒に考慮するように構成され得る。ビデオ復号およびストリーミングアプリケーションのための専用ハードウェアアクセラレーションに主として依存するモバイルデバイスの場合、ネットワーク帯域幅および電力ステータスが、監視および最適化すべき重要なファクタであり得るが、一方、モバイルデバイスがビデオ復号およびストリーミングのために主としてソフトウェアに依存する場合、帯域幅使用および電力レベル／エネルギーレベルに加えて、ビデオ復号に起因するプロセッサ負荷および使用も考慮され得る。

【0047】

本明細書で説明されるように、ビデオストリーミングを利用するＷＴＲＵなどのモバイルデバイスのための電力節約を達成するために、電力認識型ストリーミングおよび／または電力認識型復号などの電力認識型技術が利用され得る。例えば、電力認識型ストリーミングおよび／または電力認識型復号のうちの１または複数は、例えば、残余電力および／または先行ピクチャの復号から得た電力消費統計に従って、セグメント毎および／またはピクチャ毎の電力使用を調整するために使用され得る。例えば、モバイルデバイスは、１または複数の電力メトリックを利用して、ビデオストリームの残りおよび／またはビデオストリームの残りの１もしくは複数のセグメントを復号するために割り当てられる電力の量を決定し得る。電力メトリックは、将来の復号プロセスのために使用されるエネルギーリソースをＷＴＲＵが推定することを可能にする電力使用、電力割り当て、エネルギー使用、エネルギー割り当て、エネルギー使用毎の複雑さ情報、および／またはビデオ品質毎のエネルギー使用などの任意の測定量とし得る。理解され得るように、本明細書では電力が使用される用語であり得るが、当業者によって理解されるように、エネルギーという用語が、適宜、電力に取って代わり得る。

【0048】

電力認識型ストリーミング技術は、サーバとクライアントの間の協調を介して実行され得る。電力認識型復号は、クライアント側適応技術として使用され得る。例えば、クライアントは、クライアントにおける電力使用、および／またはクライアントにおける復号のために利用され得る残余のエネルギーレベルに関する決定に基づいて、決定された複雑さレベルにある１または複数のビデオまたはビデオセグメントを要求し得る。一例では、電力認識型復号は、ビデオサーバとの間の協調であり得る。例えば、クライアントは、サーバに、現在の電力使用（例えば、現在の電力レベル、先に復号中に利用された電力レベル、現在の電力レベルがバッテリなどの現在の電源を枯渇させずに持続し得る期間、指定された複雑さのセグメントを復号するために先に利用された電力レベル、復号プロセスの１もしくは複数のサブプロセスもしくは構成要素についての電力統計など）、現在のエネルギーレベル（例えば、バッテリなどの電源に残っているエネルギーの量、先に復号中に利用されたエネルギーの量、指定された複雑さのセグメントを復号するために先に利用されたエネルギーの量、復号プロセスの１もしくは複数のサブプロセスもしくは構成要素についてのエネルギー使用統計など）、および／または帯域幅情報などに関する１または複数のパラメータを提供し得る。サーバは、クライアントによって使用される１もしくは複数のセグメントを選択的に符号化するために、この情報を利用し得、および／またはフィードバック情報に基づいて、適切な複雑さレベルのセグメントを選択し得る。一例では、サーバは、指定された複雑さレベルのセグメントを復号するために利用されるエネルギーの量についてのより正確な推定を導出するために、複数のクライアントからの統計を集計し得る。

【0049】

電力認識型ストリーミングおよび／または復号技術は、既存のＤＡＳＨストリーミングシステムおよび／または他のＯＴＴストリーミング方法に統合され得る。復号の複雑さが低い提示は、複雑さ認識型符号化、符号化ツール制限、ビットレート低減、および／または解像度低減によって達成され得る。電力認識型復号は、細かい粒度、適応復号方法を達成するために利用され得る。電力認識型復号は、ソフトウェア復号技法（例えば、汎用もしくは専用ＣＰＵおよび／もしくはプロセッサはビデオ復号を実行するように構成される）、ならびに／またはハードウェア復号チップ（例えば、専用ハードウェアモジュールは復号を実行するように構成される）とともに使用され得る。電力認識型ストリーミングは、ＤＶＦＳなどの電力節約技術と組み合わせて利用され得、例えば、クライアントモバイルデバイスは、複雑さの低いビデオセグメントの場合、周波数をスケールダウンして、電力を節約し得る。

【0050】

図７は、例示的な電力認識型ビデオストリーミングシステムを示している。例えば、クライアントデバイス（例えば、モバイルデバイスなどのＷＴＲＵ）へのビデオ配信は、ビデオ準備７１０、ビデオ配信７３０、ならびに／またはビデオ消費７５０（例えば、復号および表示）を含み得る。ビデオ符号化器（例えば、複雑さ認識型符号化器７１２）は、複数の複雑さレベルを使用して、ビデオファイルまたはストリームを符号化し得る。例えば、低い複雑さレベルは、ビデオ復号器において復号するのにより低い電力集約性を示し得、ビデオファイル内に含まれるピクチャの相対的により歪んだバージョンをもたらし得る。高い複雑さレベルは、復号するのにより高い電力集約性を示し得、オリジナルビデオのより正確な再現をもたらし得る。中間の複雑さレベルは、高い複雑さバージョンよりも電力集約性の低い方法で復号され得るが、低い複雑さバージョンよりも高い電力集約性を示し得る。中間の複雑さレベルに関連付けられた歪みレベルは、高い複雑さレベルと低い複雑さレベルの歪みレベルの間にあり得る。

【0051】

例えば、ビデオ準備７１０の間、ソースビデオ（例えば、ＭＰ４または他の何らかのメディアファイル（ＭＦ）７２０）が生成され得る。例えば、複雑さ認識型符号化器７１２は、ＭＦ７２０を生成および符号化し得る。ＭＦ７２０は、圧縮され、相対的に短い持続時間を有する小さいセグメント、例えば、例示的なフラグメント７２２、７２４、．．．、Ｎなどに分割され得る。例えば、フラグメント７２２、７２４、．．．、Ｎのうちの１または複数についての複雑さ情報を含む、アドレスおよび属性情報が、複雑さ認識型メディアプレゼンテーション記述（ＭＰＤ）ファイル７２８内に記述され得る。ＭＦ７２０は、複数の複雑さレベル（例えば、高い複雑さレベル、中間の複雑さレベル、低い複雑さレベルなど）を使用して符号化され得、各複雑さレベルにおいて、ＭＦ７２０の符号化バージョンについてのフラグメントが生成され得る。複雑さ認識型ＭＰＤファイル７２８は、ＭＦ７２０を符号化するために使用される複雑さレベルの各々についての複雑さ情報を含み得、および／またはＭＦ７２０を符号化するために使用される複雑さレベル毎に、対応する複雑さ認識型ＭＰＤファイル７２８が存在し得る。

【0052】

フラグメント７２２、７２４、．．．、Ｎおよび複雑さ認識型ＭＰＤファイル７２８において配信のための準備が整うと、フラグメント７２２、７２４、．．．、Ｎおよび複雑さ認識型ＭＰＤファイル７２８は、配信７３０のための配信サーバに送信され得る。例えば、１または複数のメディアファイル７３２は、配信のためにＨＴＴＰサーバ７４０に送信され得る。メディアファイル７３２は、１もしくは複数のフラグメント７２２、７２４、．．．、Ｎおよび／またはビデオの他の記述を含み得る。メディアファイル７３２は、１または複数の複雑さレベルを使用するＭＦ７２０の符号化バージョンを含み得る。ＭＰＤファイル７３８は、ＨＴＴＰサーバ７４０に記憶される複雑さ認識型ＭＰＤファイル７２８のコピーであり得る。ＨＴＴＰサーバ７４０は、１または複数のＨＴＴＰキャッシュ７４２に、クライアントデバイスへの配信のためのメディアファイル７３２および／またはＭＰＤファイル７３８のコピーを提供し得る。

【0053】

消費７５０の間、電力認識型クライアント７６０（例えば、ＷＴＲＵ、モバイルデバイス、および／またはビデオ復号器を含む他のデバイス）は、ＭＰＤファイル７３８を、ＨＴＴＰサーバ７４０および／またはＨＴＴＰキャッシュ７４２のうちの１または複数に要求し得る。電力認識型クライアント７６０は、受信されたＭＰＤファイル７３８に基づいて、フラグメント７２２、７２４、．．．、Ｎについての記述情報を決定し得る。電力認識型クライアント７６０は、ＭＰＤファイル７３８に基づいて、ファイルに対して利用可能な複雑さレベルを決定し得る。電力認識型クライアント７６０は、利用可能な帯域幅および／または現在の電力ステータスに基づいて、ビデオセグメント（例えば、フラグメント７２２、７２４、．．．、Ｎ）のうちの１または複数を求める要求を、相対的に継続して送信し得る。電力認識型クライアント７６０は、例えば、現在の電力レベルおよび／または電力認識型クライアント７６０において利用可能な残余エネルギー（例えば、バッテリ内に残っているエネルギーの量、与えられた現在の電力使用の残りの処理時間の長さなど）に基づいて、特定の複雑さレベルにあるセグメントを要求し得る。例えば、バッテリの現在のエネルギーレベルが第１の閾値を上回ることに基づいて、電力認識型クライアント７６０は、高い複雑さレベルにある第１のセグメントを要求し得る。エネルギーレベルが第１の閾値を下回る（が、例えば、第２の閾値を上回る）場合、電力認識型クライアント７６０は、中間の複雑さレベルにある後続セグメントを要求し得る。バッテリ内に残っているエネルギーレベルが第２の閾値を下回る場合、電力認識型クライアント７６０は、低い複雑さレベルにある別の後続セグメントを要求し得る。

【0054】

例えば、電力認識型クライアント７６０は、電力検出器７６２、帯域幅センサ７６４、送受信機７６６、復号器７６８、アプリケーション７７０、複雑さ統計および制御ユニット７７２、電力認識型適応コントローラ７７４、ならびに／またはビデオストリームを受信および処理するための他のコンポーネントのうちの１または複数を含み得る。電力検出器７６２は、電力認識型クライアント７６０の現在の電力使用、および／または電力認識型クライアント７６０の１もしくは複数のコンポーネント（例えば、復号器７６８、ディスプレイ、ＣＰＵなど）の電力使用を決定するように構成され得る。電力検出器７６２は、電力認識型クライアント７６０が利用可能な残余電力の量を決定するように構成され得る。例えば、バッテリが電力認識型クライアント７６０のための電源である場合、電力検出器７６２は、与えられた時点においてバッテリ内に残っている電力および／またはエネルギーの量を決定するように構成され得る。電力検出器７６２は、電力認識型クライアント７６０が、現在の復号条件の下で、バッテリが消耗するまでに動作を継続し得る時間の長さを決定するように構成され得る。電力検出器７６２は、電力認識型クライアント７６０が、仮定または選択された復号条件の下で、バッテリが消耗するまでに動作し得る時間の長さを決定するように構成され得る。

【0055】

帯域幅センサ７６４は、電力認識型クライアント７６０とビデオストリームのソース（例えば、ＨＴＴＰサーバ７４０および／またはＨＴＴＰキャッシュ７４２）の間の通信リンクに関連する情報を決定するように構成され得る。帯域幅センサ７６４は、（例えば、送受信機７６６に関連付けられた１もしくは複数の無線アクセス技術に基づいた）電力認識型クライアント７６０が利用可能な帯域幅、電力認識型クライアント７６０とビデオストリームのソース（例えば、ＨＴＴＰサーバ７４０および／もしくはＨＴＴＰキャッシュ７４２）の間の通信リンクが利用可能な帯域幅の量、電力認識型クライアント７６０とビデオストリームのソース（例えば、ＨＴＴＰサーバ７４０および／もしくはＨＴＴＰキャッシュ７４２）の間の通信リンクの有効なビットレート、電力認識型クライアント７６０とビデオストリームのソース（例えば、ＨＴＴＰサーバ７４０および／もしくはＨＴＴＰキャッシュ７４２）の間の通信リンクに関連付けられた過去のビットレートもしくは帯域幅に関連する情報、ならびに／または電力認識型クライアント７６０とビデオストリームのソース（例えば、ＨＴＴＰサーバ７４０および／もしくはＨＴＴＰキャッシュ７４２）の間の通信チャネルに関連する他の情報を決定するように構成され得る。

【0056】

複雑さ統計および制御ユニット７７２は、帯域幅センサ７６４および／または電力検出器７６２によって決定された情報を記憶するように構成され得る。例えば、複雑さ統計および制御ユニット７７２は、電力使用統計を記憶し、電力使用統計を、電力検出器７６２によって統計が決定されたときに実行されていた復号のタイプに関連付けるように構成され得る。複雑さ統計および制御ユニット７７２は、帯域幅センサ７６４によって観測されたような、電力認識型クライアント７６０とビデオソース（例えば、ＨＴＴＰサーバ７４０および／またはＨＴＴＰキャッシュ７４２）の間の通信リンクに関連付けられた統計を維持するように構成され得る。記憶された統計は、要求される符号化ビデオの適切な複雑さレベルを決定する場合に使用され得る。

【0057】

電力認識型適応コントローラ７７４は、復号器７６８によって実行されている復号プロセスを動的に適応されるために、帯域幅センサ７６４および／もしくは電力検出器７６２によって決定された統計、ならびに／または複雑さ統計および制御ユニット７７２によって記憶された統計を利用するように構成され得る。電力認識型適応コントローラ７７４は、アプリケーション要件および／またはアプリケーション特性を考慮して、復号プロセスを適応させるために、アプリケーション７７０とインターフェースを取り得る。電力認識型適応コントローラ７７４は、現在の電力レベル／エネルギーレベル、現在の帯域幅、ならびに／または電力使用、エネルギー使用、および／もしくは帯域幅に関する過去の統計に基づいて、与えられたファイルまたはファイルのセグメントのために適切な複雑さレベルを選択するように構成され得る。

【0058】

複雑さ認識型符号化器７１２は、準備７１０の間に、ソースビデオを圧縮するように構成され得る。例えば、複雑さ認識型符号化器７１２は、レート歪み最適化（ＲＤＯ）を使用して、ビデオを符号化するように構成され得る。ＲＤＯは、ビデオ圧縮が行われる場合にビデオ品質を改善する方法のこととし得、歪み（例えば、ビデオ品質の低下、ビデオ情報の喪失）の量は、ビデオを符号化するために利用されるデータビットの量（例えば、レート）と釣り合わされ、またはそれに対して最適化される。複雑さ認識型符号化器７１２は、復号の複雑さを考慮せず、ビットレート制約が与えられて、最も高い品質の符号化を達成しようと（例えば、最大量の情報を復号のために提供しようと）試み得る。したがって、符号化器は、符号化ロスに起因するビデオソースからの乖離（例えば、歪み）対可能な決定結果についてのビットコストから成るメトリックを最大化しようと試み得る。式（２）は、レート歪み最適化を実行する場合に、与えられた符号化モードについてのコストを評価するために使用される例示的なコストメトリックであり得る。

【0059】

Ｃｏｓｔ_mode＝Ｄｉｓｔ_mode＋λ_rate×Ｒ_mode 式（２）

【0060】

Ｃｏｓｔ_modeは、符号化モードのコストを表し得る。Ｄｉｓｔ_modeは、符号化モードに関連付けられた歪みレベルを表し得る。Ｒ_modeは、符号化モードに関連付けられた符号化ビットの数を表し得る。λ_rateは、符号化ビットレートに関連し得る、および／またはほぼ比例し得る、レート歪み曲線の勾配を表し得る。

【0061】

複雑さ認識型符号化器７１２は、（例えば、ビットレートおよび複雑さ制約が与えられて）、コストメトリックを最小化するために適切な符号化モードを選択し得る。複雑さ認識型符号化器７１２は、最低の相対ＣＤＯコストを達成する符号化モードを選択し得る。例えば、Ｃ_modeは、ＣＰＵサイクルおよび／またはメモリアクセスなどで測定された、モードの複雑さであり得る。λ_complexityは、複雑さ対歪み曲線の勾配であり得る。式（３）は、そのようなパラメータを考慮して、レート歪み最適化におけるモードコストを評価するのに使用され得る。

【0062】

Ｃｏｓｔ_mode＝Ｄｉｓｔ_mode＋λ_rate×Ｒ_mode＋λ_complexity×Ｃ_mode 式（３）

【0063】

より大きいλ_complexityは、より低い復号の複雑さに対応し得る。したがって、異なるそれぞれのλ_complexityの値を用いて生成され得る様々な複雑さを有する複数の可能なビットレートが存在し得る。符号化器は、潜在的なクライアントが利用可能な様々な複雑さレベルを有する各々のビットストリームを作成し得る。クライアントは、ローカル電力条件および／またはローカル帯域幅条件に基づいて、適切なビットストリームを選択し得る。

【0064】

一例では、複雑さ認識型符号化器７１２は、異なるそれぞれの複雑さレベルのための様々な符号化ツールに提供される符号化情報の量に関する１または複数の制限を順守しながら、ビデオストリームを圧縮するように構成され得る。例えば、表１は、符号化ツール、および符号化ツールが適用され得るレベルが符号化ビットストリームの所望の複雑さレベルにどのように依存するかについての例を示している。各符号化ツールのために選択されるパラメータに基づいて、符号化ビットストリームは、復号の複雑さがより大きく、またはより小さくなり得る。様々な複雑さレベルのビットストリームを生成するために、符号化ツールの各々のためのパラメータは、例えば、表１に示されるように、選択され得る。

【0065】

複雑さは、ビデオセグメントを符号化／復号するために利用される処理リソースの量のこととし得、ＭＤＦでモバイルデバイスに示され得る。複雑さ情報は、（例えば、値を決定するための事前定義された方法に基づいた）特定の複雑さ値として伝達され得、セグメントを復号するために使用される復号器における処理リソースの近似量を示し得る。複雑さ情報は、表１に示される符号化ツールのための１または複数の値など、符号化を実行するために使用される特定のパラメータを含み得る。

【0066】

符号化ツールの例は、動き情報を符号化するために使用される精度のレベル、動き補償ブロックサイズ、符号化変換サイズ、利用されるインループフィルタのタイプ、および／またはブロックについての係数符号化をスキップするための閾値などを含み得る。表１によって示されるように、１または複数の符号化ツールの符号化パラメータおよび／または適用は、符号化ビットストリームの所望の複雑さレベルに従って制限され得る。

【0067】

【表1】

【0068】

一例では、ビデオ復号のために使用される動き情報の精度および／または動きベクトルの精度は、変化させ得る。動き情報の精度を変化させることによって、復号方式の複雑さを、増加させ得（例えば、非電力制限シナリオ）、および／または減少させ得る（例えば、電力制限シナリオ）。既存の符号化規格（例えば、ＨＥＶＣ、Ｈ．２６４）における動き情報の精度は、動き情報／ベクトルの精度の一例であり得る。動き情報／ベクトルの精度は、（例えば、与えられたピクセルに対して指定された）整数値、半ピクセル値、４分の１ピクセル値、および／またはピクセルの他の何らかの分数であり得る。分数ピクセル精度は、補間フィルタの適用のせいで、ならびに／または（例えば、メモリアクセス帯域幅の増加、および／もしくはメモリアクセス要求の数の増加をもたらす）より多数の使用される基準ピクセルのせいで、整数ピクセル情報よりも複雑であり得る。したがって、複雑さがより小さいビデオストリームを符号化する場合、動き情報の精度は、整数ピクセル位置になるように指定され得、複雑さがより大きいビデオストリームを符号化する場合、動き情報の精度は、分数ピクセル位置になるように指定され得る。一例では、最も高い複雑さレベルの場合、動き情報の精度に制限は存在し得ず、符号化器は、どのレベルが最小の歪みをもたらすかに基づいて、動き情報の精度のレベルを選択し得る。

【0069】

一例では、ビデオ復号のために使用される動き補償ブロックサイズは、変化させ得る。動き補償ブロックのサイズの変化は、復号されるビデオストリームの複雑さを増加または減少させ得る。動き補償ブロックサイズを変化させることによって、復号方式の複雑さを、増加させ得（例えば、非電力制限シナリオ）、および／または減少させ得る（例えば、電力制限シナリオ）。例えば、動き補償ブロックサイズは、メモリアクセスの効率に影響し得る。例えば、より大きい動き補償ブロックサイズは、メモリアクセスの頻度を減少させ得るが、歪みの増加をもたらし得る。したがって、複雑さがより小さいビデオストリームを符号化する場合、相対的に大きい動き補償ブロックサイズが利用され得、複雑さがより大きいビデオストリームを符号化する場合、動き情報の精度は、分数ピクセル位置になるように指定され得る。一例では、最も高い複雑さレベルの場合、動き補償ブロックサイズに制限は存在し得ず、符号化器は、どのサイズが最小の歪みをもたらすかに基づいて、動き補償ブロックサイズを選択し得る。

【0070】

一例では、ビデオ復号のために使用される変換ブロックサイズは、所望の複雑さレベルを達成するために、変化させ得る。変換ブロックのサイズの変化は、復号されるビデオストリームの複雑さを増加または減少させ得る。例えば、ＨＥＶＣは、（例えば、最大で３２×３２の変換ブロックサイズまでの）異なる変換ブロックサイズを許可し得る。より大きい変換ブロックサイズは、圧縮効率を改善し得るが、復号の複雑さも増加させる。したがって、（例えば、残余エネルギーレベルが与えられた閾値を下回る）制限されるシナリオの期間中、電力認識型クライアントは、より小さい変換ブロックサイズに対応する複雑さレベルを要求し得る。表１は、要求される複雑さレベルに応じた、変換ブロックサイズのために使用され得る例示的な値を識別している。例えば、エネルギーレベルが第１の閾値を上回る場合、高い復号の複雑さが要求され得（例えば、１６×１６変換ブロックサイズ）、および／または利用される変換ブロックサイズに制限は存在し得ない。エネルギーレベルが第１の閾値を下回るが、第２の閾値を上回る場合、中間の複雑さレベルが要求され得、中間の変換ブロックサイズが利用され得る（例えば、８×８）。エネルギーレベルが第１の閾値および第２の閾値の両方を下回る場合、例えば、相対的に小さい変換ブロックサイズ（例えば、４×４など）を利用することによって、低い復号複雑さレベルが利用され得る。

【0071】

一例では、ビデオ復号のために使用されるインループフィルタは、ビデオセグメントのための様々な複雑さレベルを達成するために、変化させ得る。使用されるインループフィルタのパラメータおよび／またはタイプを変化させることによって、異なる電力レベルが、ビデオ復号中に実現され得る。例えば、インループフィルタは、非ブロック化フィルタ、サンプルアダプティブオフセット、および／または適応ループフィルタなど、異なる回復ツールを含み得る。非ブロック化フィルタ、サンプルアダプティブオフセット、および／または適応ループフィルタなどは、動き補償ループ内に存在し得る。符号化器は、復号のために使用される電力消費に影響する複雑さレベルを達成するために、それらのインループフィルタを様々な組み合わせで適用し得る。例えば、非ブロック化フィルタ、サンプルアダプティブオフセット、および／または適応ループフィルタなどは、第１のストリームが電力集約性の小さい復号（例えば、より低い複雑さレベル）をもたらし、第２のストリームが電力集約性の大きい復号（例えば、より高い複雑さレベル）をもたらすように、符号化器において適用され得る。

【0072】

一例として、相対的に複雑さの小さいビデオセグメントを達成するために、予測符号化が、イントラスライス符号化を使用して実行され得る。例えば、イントラスライス符号化は、インタースライス符号化を使用せずに実行され得る。例えば、低い複雑さレベルが望ましい場合、セグメントは、イントラスライス符号化を使用して符号化され得る。（例えば、ＩスライスまたはＩフレームと呼ばれることがある）イントラスライスは、他のフレームを参照せずに復号され得、したがって、他のフレームまたはスライスを参照するフレームまたはスライスよりも低い電力レベルで復号可能であり得る。相対的により高い複雑さが符号化される場合、セグメントは、イントラスライス符号化およびインタースライス符号化を使用して符号化され得る。インタースライス符号化の例は、（例えば、ＰスライスもしくはＰフレームと呼ばれることがある）Ｐスライス基準フレーム、および／または（例えば、ＢスライスもしくはＢフレームと呼ばれることがある）Ｂスライス基準フレームの使用を含み得る。Ｐフレーム基準フレームは、現在のＰフレームを伸長および／または復号するために、他の先行フレームからのデータを利用するフレームのこととし得る。Ｂフレームは、現在のＢフレームを伸長または復号するために、先行フレームおよび前方（例えば、将来のフレーム）の両方からのデータを利用するフレームのこととし得る。インタースライス符号化（例えば、Ｐ／Ｂスライス）の使用は、他のフレームを参照するせいで、処理の複雑さを増加させ得、ひいては、復号中の電力使用が増加し得る。したがって、より低い電力レベルが達成される場合、インタースライス符号化のためのＰフレームおよび／またはＢフレームの使用は、削減または停止され得る。

【0073】

符号化器は、与えられたブロックについての係数符号化をスキップし得るかどうかを決定するためのコスト閾値を設定し得る。低い複雑さレベルの場合、コスト閾値は、相対的に高い値であり得、一方、より高い複雑さレベルの場合、コスト閾値は、相対的により低い値になるように設定され得る。一例では、最も高い複雑さレベルの場合、クリッピングは実行され得ない（例えば、最も高い複雑さレベルの場合、係数符号化のスキップは実行されない）。

【0074】

符号化器は、例えば、品質および復号複雑さを考慮することによって、ビデオの各ブロック（例えば、ビデオセグメントまたはフラグメント）についての変換および量子化から受け取られたいくつかまたはすべての非ゼロ係数を符号化するかどうかも決定し得る。ブロックコストは、人間視覚システム（ＨＶＳ）に基づいて測定され得る。ブロックコストは、例えば、式（４）に示されるような、非ゼロ係数の加重和であり得る。

【0075】

【数1】

【0076】

Ｗ_i,jは、ＨＶＳ関連の重み行列であり得る。低周波数位置における重みは、高周波数位置におけるものよりも大きくし得る。ブロックコストＣｏｓｔ_blockが、与えられた複雑さレベルに対応するように設定される閾値よりも低い場合、符号化器は、非ゼロ係数符号化をスキップし得る。係数符号化を符号化器がスキップするかどうかを制御するための閾値は、複雑さレベルが与えられて調整され得る。

【0077】

【数2】

【0078】

などの複雑さ情報、および／または符号化ストリームに関連付けられた複雑さレベルの表示（例えば、低い、中間、高いなど）は、電力認識型クライアントによって要求されるメディア記述内に追加され得る。一例では、クライアントモバイルデバイスは、帯域幅情報および／または電力ステータス情報を考慮して、要求するビットストリーム（例えば、高い複雑さ、中間の複雑さ、低い複雑さなど）を決定し得る。後続ビデオセグメントのために要求する適切な複雑さレベルを決定するために、クライアントモバイルデバイスは、後続セグメントの復号のために割り当てられる推定電力を決定し得る。その後、クライアントモバイルデバイスは、セグメントの先行復号プロセスに対する電力割り当て、先行セグメントについての複雑さレベル、ならびに後続の復号に関連付けられる電力レベルおよび／またはエネルギーレベルに基づいて、要求する適切な複雑さレベルを決定し得る。クライアントモバイルデバイスは、例えば、先行する電力消費統計に基づいて、将来のビデオ復号についての電力割り当て情報を決定し得る。電力が均等に割り当てられる場合、次のセグメントの電力は、例えば、式（５）を使用して決定され得る。

【0079】

Ｐ_next＝（Ｔ_s／Ｄ_r）×Ｐ_r 式（５）
Ｐ_nextは、次のセグメントのために割り当てられる電力であり得、Ｔ_sは、次のセグメントの持続時間であり得、Ｄ_rは、ビデオの残りの持続時間（または例えば、現在もしくは先行セグメントの持続時間）であり得る。Ｐ_rは、残りのビデオを復号するために割り当てられる総電力（例えば、残りのｒ個のセグメントを復号するために割り当てられる電力の量）であり得る。後続セグメントに対して割り当てられる電力、先行セグメントを復号するために使用された電力、および／または先行セグメントの復号複雑さに基づいて、モバイルデバイスは、例えば、式（６）を使用して、後続セグメントのために要求する適切な複雑さレベルを決定し得る。

【0080】

Ｃ_next＝（Ｐ_next／Ｐ_prev）×Ｃ_prev 式（６）
Ｐ_prevは、先行セグメントのために使用される電力であり得、Ｃ_nextは、後続セグメントのために要求される複雑さレベルであり得、Ｃ_prevは、先行セグメントについての複雑さであり得る。複雑さ情報が離散的な複雑さレベルによって伝達される場合、次のセグメントの複雑さレベルは、例えば、式（７）に従って決定され得る。

【0081】

【数3】

【0082】

Ｔｈ_iは、各複雑さレベルｉについての閾値であり得る。推定される複雑さレベルに従って、クライアントは、Ｃ_nextに最も近い複雑さレベルを有するセグメントを要求し得る。複雑さレベルの量子化は、複雑さの通知に関連するオーバヘッドを低下させ得、および／または符号化／復号プロセスを単純化し得る。

【0083】

図８は、電力認識型ストリーミングを実行する場合に、クライアントデバイス（例えば、モバイルデバイス、ＷＴＲＵなど）によって選択され得る、異なる複雑さレベルおよび解像度の一例を示している。例えば、一般に、品質レベルが増加するにつれて、ビデオセグメントを復号するために利用される電力は増加し得る。クライアントデバイスは、セグメントのための品質情報、セグメントのためのビットレート情報、セグメントのための複雑さ情報、および／またはＭＰＤメタデータファイルからのセグメントの符号化に関する他の情報のうちの１または複数を受信し得る。現在の電力制約に基づいて（例えば、潜在的に、現在の帯域幅に基づいて）クライアントデバイスは、後続セグメントのための適切な解像度および／または複雑さレベルを選択し得る。一例では、クライアントデバイスは、サーバに、現在の電力レベル、現在の電力使用、残余エネルギーの量（例えば、バッテリレベル）、復号を完了するために割り当てられ得る電力／エネルギーの量、現在の帯域幅、先に復号されたセグメントに関する統計（例えば、先行セグメントの複雑さ、およびセグメントを復号するために利用される電力など）、ならびに／または他の情報に関連する情報を提供し得、サーバは、ストリームで送信される適切なセグメントを選択し得る。

【0084】

例えば、モバイルデバイスは、与えられたビデオのためのＭＰＤファイルを要求し得る。ＭＰＤファイルは、ビデオの１または複数のセグメントに適用可能な複雑さ情報を提供し得る。例えば、ＭＰＤファイルは、モバイルデバイスによって選択され得る複雑さレベルを示し得、および／またはモバイルデバイスによって選択され得る解像度を示し得る。一例では、セッションの開始時に、モバイルデバイスは、高い複雑さモードを有する高い解像度セグメントに対応し得る、品質レベル８０２を選択し得る。例えば、モバイルデバイスは、第１の閾値を上回るモバイルデバイスのために残っている電力レベル／エネルギーレベルに基づいて、品質レベル８０２を選択し得る。一例では、モバイルデバイスは、例えば、後続セグメントの各々も品質レベル８０２で送信されると仮定した場合に、電力を使い切ることなく品質レベル８０２でビデオを復号し得るという決定に基づいて、品質レベル８０２を選択し得る。

【0085】

モバイルデバイスは、ビデオ復号プロセスの間、復号についての電力統計、および／または残余電力レベル／エネルギーレベルを監視し続け得る。例えば、ある期間の後、モバイルデバイスの残余エネルギーレベルは、第１の閾値を下回り得る（が、例えば、第２の閾値を上回り得る）。閾値を下回ったエネルギーレベルに基づいて、モバイルデバイスは、次のセグメントが品質レベル８０４を使用して送信されることを要求し得る。品質レベル８０４は、中間の複雑さモードを有する高い解像度セグメントに対応し得る。中間の複雑さモードに切り換えることによって、セグメント復号中に、電力節約が達成され得る。残余エネルギーレベルが第２の閾値を下回った場合、モバイルデバイスは、低い複雑さモードを有する高い解像度セグメントに対応し得る、品質レベル８０６に切り換わり得る。残余エネルギーレベルが与えられた閾値を上回った場合、および／またはモバイルデバイスが固定電源に接続された（例えば、充電器もしくは新しい電源が接続された）場合、モバイルデバイスは、より高い品質のセグメント（例えば、品質レベル８０２）を要求するようにトリガされ得る。

【0086】

追加の電力節約を達成するために、適切な複雑さモードをモバイルデバイスのエネルギーレベルに基づいて選択するのに加えて、解像度が、エネルギーレベルに基づいて選択され得る。例えば、モバイルデバイスが、品質レベル８０６を要求したが、追加の電力節約を望む（例えば、現在の電力使用ではビデオ再生中に残余エネルギーが完全に利用され得る）場合、モバイルデバイスは、より低い解像度に変化し得る。例えば、残余電力が第３の閾値を下回ったことに基づいて、モバイルデバイスは、品質レベル８１２を要求し得、高い複雑さモードを有する中間の解像度セグメントに対応し得る。品質レベル８１２、８１４、および／または８１６の間で選択を行うために、同様の閾値ベースの分析が、中間の解像度セグメントに対して実行され得る。同様に、中間の解像度に切り換わった後、追加の電力節約がまだ望まれる場合、モバイルデバイスは、低い解像度を選択し得、低い解像度で適切な複雑さレベルを（例えば、品質レベル８２２、８２４、および／または８２６の間で）選択するために、閾値電力レベルおよび／またはエネルギーレベル分析を実行し得る。

【0087】

モバイルデバイスは、残余電力、電力使用に関する先行する統計、および／または他の電力メトリックに基づいて、適切な解像度および／または複雑さレベルを選択し得る。高い、中間、および低い解像度が例として示されているが、多くのそのような解像度レベルが存在し得、解像度および複雑さの様々な組み合わせが、様々なレベルの電力節約をもたらし得る。したがって、モバイルデバイスは、解像度および複雑さの様々な組み合わせについて電力使用を推定し得、復号中に所望のレベルの電力使用を達成するために、適切な組み合わせを選択し得る。一例では、解像度が数個の異なるレベル（例えば、高い、中間、低い）の間で量子化される場合、解像度の間の切り換えは、（例えば、常にそうであるとは限らないが）複雑さレベルを切り換えるよりも大きな電力節約を達成し得る。これらのシナリオでは、モバイルデバイスは、より大きな大きさの電力節約を達成するために、解像度の間での切り換えを行い得、より細かい粒度の電力節約を達成するために、解像度を一定にして、複雑さレベルの間での切り換えを行い得る。

【0088】

電力認識型復号は、復号プロセス内の１または複数のサブプロセスまたはモジュールを識別することと、許容可能なビデオ品質および／またはユーザエクスペリエンスを維持しながら、電力使用を最小化するために、サブプロセスのうちの１または複数のためのパラメータおよび／または動作モードを最適化すること、または他の方法で変更することとを含み得る。（例えば、開示される技法、方法、およびシステムは、他のビデオ圧縮技法にも適用され得るが）一例として、ビデオ圧縮規格ＨＥＶＣについて考察する。

【0089】

図９は、ＨＥＶＣを使用して電力認識型復号を実行するための例示的なプロセスを示している。例えば、ＨＥＶＣ復号は、エントロピ復号９０２、逆量子化９０４、逆変換９０６、ループフィルタ９０８、基準ピクチャストア９１０、空間予測９１２、および／または時間予測９１４（例えば、動き補償（ＭＣ））などを含み得る。一例では、復号プロセスのコンポーネントのうちの１または複数は、電力使用および／または残余エネルギーレベル情報に基づいて、コンポーネントにおいて利用されるパラメータおよび／または方法を変更し得る。例えば、時間予測９１４および／またはループフィルタ９０８は、品質と電力消費の間のトレードオフを達成するために変化させ得る。追加の電力節約が望まれる期間中は、時間予測９１４および／またはループフィルタ９０８は、電力を節約するために変更され得る。

【0090】

例えば、符号化ビットストリーム９００は、エントロピ復号ユニット９０２においてアンパックおよび／またはエントロピ復号され得る。エントロピ復号の複雑さは、圧縮された各ピクチャのサイズに大きく関連し得る。ピクチャを圧縮するために、より多くのビットが使用されるほど、エントロピ復号プロセスは、より多くの電力を使用し得る。電力認識型復号器を含むモバイルデバイスは、エントロピ復号中の電力を節約するために、より僅かなビットを使用して符号化されたビットストリームを要求し得る。符号化モード、予測情報、動き情報、および／またはエントロピ復号ユニット９０２において決定された他の情報は、空間予測ユニット９１２（例えば、イントラ符号化の場合）、および／または時間予測ユニット９１４（例えば、インター符号化の場合）に送られて、予測ブロックを形成する。インター符号化の場合、予測情報は、予測ブロックサイズ、（例えば、動きの方向および量を示し得る）１もしくは複数の動きベクトル、ならびに／または（例えば、どの基準ピクチャから予測信号が獲得されるかを示し得る）１もしくは複数の参照インデックスを含み得る。動き補償予測は、時間予測ユニット９１４によって適用されて、時間予測ブロックを形成し得る。例えば、時間予測は、フィルタリングのために集中的な外部メモリアクセスを使用し得るので、時間予測（例えば、動き補償）は、復号器の電力使用の比較的大きい部分を占め得る。

【0091】

残差変換係数は、残差ブロックを再構成するために、逆量子化ユニット９０４および逆変換ユニット９０６に送られ得る。予測ブロックおよび残差ブロックは、合算されて、再構成ブロックを形成し得る。再構成ブロックは、基準ピクチャストア９１０内に記憶される前に、ループフィルタ９０８に送られ得る。基準ピクチャストア９１０内の再構成ビデオは、表示デバイスを駆動するために使用され得（例えば、復号ビデオ９２０）、および／または将来のビデオブロックを予測するために使用され得る。

【0092】

シングルレイヤビデオ符号化器は、単一のビデオ系列入力を取り、シングルレイヤ復号器に送信される単一の圧縮ビットストリームを生成し得る。ビデオコーデックは、（例えば、衛星、ケーブル、および地上波送信チャネルを介したＴＶ信号の送信などの、しかし、それらに限定されない）デジタルビデオサービスのために設計され得る。ビデオ中心アプリケーションが異機種環境に配備されるのに伴い、マルチレイヤビデオ符号化技術が、様々なアプリケーションを可能にするために、ビデオ符号化規格の拡張として開発され得る。例えば、スケーラブルビデオ符号化技術が、２以上のビデオレイヤを扱うために設計され得、各レイヤは、特定の空間解像度、時間解像度、忠実度、および／またはビューのビデオ信号を再構成するように復号され得る。シングルレイヤ復号器が図９を参照して説明されたが、本明細書で説明される概念は、例えば、マルチレイヤまたはスケーラブル符号化技術のために、マルチレイヤ復号器を利用し得る。

【0093】

ＨＥＶＣなどの例示的なビデオコーデックでは、ループフィルタ９０８において、８タップフィルタが、半ピクセル位置における補間のために使用され得、７つの非ゼロタップフィルタが、１／４および３／４ピクセル位置のために使用され得る。予測ブロックサイズがＷ×Ｈである場合（例えば、Ｗは予測ブロックの幅を表し得、Ｈは予測ブロックの高さを表し得る）、外部基準ピクチャバッファからフェッチされるピクセルは、垂直および水平方向の両方において、半ピクセル位置については、（Ｗ＋７）×（Ｈ＋７）であり得る。図１０は、時間予測のために実行され得る輝度動き補償プロセスについての異なるピクセル位置の例を示している。

【0094】

例えば、ピクセル位置（例えば、分数ピクセル位置）は、図１０に影付きで示されるように、複数（例えば、６）のクラスにグループ化され得る。ピクセル位置は、それぞれの（例えば、分数）ピクセル位置における補間フィルタリングのために使用されるピクセルの数に基づいて、クラスにグループ化され得る。例えば、表２は、クラス、クラスに関連付けられたそれぞれのピクセル位置、動き補償中に補間フィルタリングのために異なるクラスに対して利用されるメモリサイズ、およびフィルタ操作が各クラスに対して適用される回数の例を識別している。例えば、（１／２，１／２）位置は、基準フレームを参照するために最大のメモリサイズを利用し得、水平および垂直フィルタ操作両方の適用を含み得るため、最も複雑な値は、（１／２，１／２）位置（例えば、図１０における位置１０）であり得る。

【0095】

メモリアドレスが水平に配置される場合（例えば、通常はそうであり得る）、水平補間についてのメモリアクセス効率は、垂直補間よりも高くなり得る。ループフィルタリングは、非ブロック化、サンプルアダプティブオフセット（ＳＡＯ）の利用、および／または適応ループフィルタリング（ＡＬＦ）のうちの１または複数を含み得る。非ブロック化は、変換ブロック境界における不連続性を低減するために使用され得、多くの条件付き演算および比較演算を有し得る。ＳＡＯは、エッジ点における不連続性を補正するために使用され得る。ＡＬＦは、線形フィルタリングプロセスであり得、一部またはすべてのピクセルの外観に重点的に取り組み得る。これらのループフィルタは、きわめて多くのピクセルベースの操作を利用し得るので、電力消費が非常に高くなり得る。

【0096】

【表2】

【0097】

動き補償の複雑さは、分数ピクセル位置の位置に基づいて（例えば、分数ピクセルロケーションのクラスに応じた、メモリアクセスのサイズおよびフィルタ操作の回数に基づいて）変化し得るので、クラスのサブセットの利用は、複雑さのより小さい復号をもたらし得る。例えば、電力節約が望ましい場合、符号化器は、１または複数のクラスの使用を差し控えることによって、複雑さのより小さいビデオセグメント（例えば、相対的に小さいエネルギーを使用して復号され得るセグメント）を符号化し得る。例えば、符号化器は、符号化中にクラスの使用を排除してもレート歪みレベルに著しい影響を与えないクラスの使用を差し控え得る。例えば、２つのクラス（例えば、クラス５および６）の除外が、与えられた閾値よりも小さいレート歪みの変化しかもたらさない場合、符号化器は、除外されたクラスを利用せずに、複雑さのより小さいセグメントを符号化し得る。

【0098】

復号プロセスのサブプロセスは、プロセッサリソースの異なるパーセンテージを占有し得、および／または完了するのに異なる長さの時間を要し得る。例えば、図１１Ａおよび図１１Ｂは、ＨＭ６．１復号器を使用するＨＥＶＣ、およびランダムアクセス（ＲＡ）環境を使用して符号化されるビットストリームについての時間プロファイリングの例を示している。単一命令複数データを使用しない場合（図１１Ａ）、例えば、この例では、ビットレートが相対的に低くなり得るので、動き補償は、復号時間のおよそ６１％を占め得、非ブロック化およびＳＡＯは、併せておよそ１４％を占有し得（例えば、それぞれおよそ９％および５％）、エントロピ復号は、およそ７％を占め得る。ＳＩＭＤ（単一命令複数データ）は、ＭＣを大幅に、例えば、最大２倍〜３倍加速させ得る。しかしながら、ＭＣは、依然として復号時間の３８％を占め得る（例えば、図１１Ｂ）。

【0099】

一例では、動き補償および／またはループフィルタ操作は、現在の電力条件および／または過去の電力統計に基づいて、動的に電力消費を低下させるために、変更され得る。例えば、図１２Ａは、電力を節約するための例示的な補間フィルタ波形を示しており、図１２Ｂは、電力を節約するための例示的な周波数応答を示している。フィルタは、ローパスフィルタであり得る。補間フィルタリングプロセスは、例えば、式（８）を使用して、周波数領域で実施され得、ここで、Ｘは、入力信号であり得、Ｆは、フィルタであり得、Ｙは、周波数領域における出力信号であり得る。

【0100】

【数4】

【0101】

空間領域では、入力ｘが大きな高周波数信号を有さない場合、フィルタＦは、大きな誤差を生じさせることなく、短縮化され得る。したがって、利用される動き補償は、信号周波数分析に基づき得る。例えば、補間される領域が、強いエッジまたは強いコントラストを有さない（例えば、周波数応答が相対的に高い周波数成分を大きな比率で有さない）場合、モバイルデバイス内の電力認識型復号器は、復号プロセス中の時間および／または電力を節約するために、カットオフ周波数がより低いフィルタを適用することを決定し得る。例えば、より短い（例えば、カットオフ周波数がより低い）フィルタは、メモリアクセス帯域幅を低減し得る。復号プロセスに著しい影響を及ぼさずに、より短いフィルタが実行され得るかどうかを決定する（例えば、領域の周波数成分が主としてより低い周波数から成るかどうかを決定する）ための領域特性の分析が、相対的に低い電力を使用して実行され得る。例えば、追加の電力節約が望まれ、領域に関連する周波数成分のうちの与えられたパーセンテージが指定された周波数閾値よりも小さい場合、周波数が相対的に低いフィルタを使用して、フィルタリングが実行され得る。

【0102】

一例では、周波数がより低いフィルタを適用すべきかどうかに関する決定は、低解像度画像に基づいて実行され得る（例えば、電力を節約するために、サンプリングされたピクセルに対して分析が実行され得る）。例えば、周波数がより低いフィルタを適用すべきかどうかに関する決定は、例えば、画像または画像の一部に関連付けられるすべてのピクセルに基づく代わりに、サンプリングされたピクセルの分析に基づいて実行され得る。例えば、１６×１６ブロックを分析する場合、位置（４ｎ，４ｍ）にあるピクセルが分析および考察され得、ここで、ｎおよびｍは、整数である（例えば、２５６ピクセルブロックに対して適用するフィルタを決定するために、１６のピクセルに対して分析が実行され得る）。

【0103】

電力がより低い動き補償プロセスによって引き起こされる問題が２つ存在し得る。第１に、時間予測プロセスにおける誤差に起因する将来のピクチャへの誤差伝搬が生じ得る。例えば、周波数がより低いフィルタの使用が原因で基準ピクチャに誤差が導入される場合、誤差は、時間予測のために基準ピクチャを利用する将来のピクチャに伝搬し得る。誤差伝搬を制限するために、一例では、周波数がより低いフィルタリングは、より高いレイヤのピクチャには適用され得るが、より低いレイヤのピクチャには適用され得ない。例えば、ＨＥＶＣおよび他のビデオコーデックでは、図１３に示されるような階層的符号化構造が使用され得る。例えば、４つのレイヤが存在し得、より低いレイヤのピクチャは、時間予測のためにより高いレイヤのピクチャを使用することを差し控え得る。したがって、一例では、より高い（例えば、最も高い）レイヤ、および／または他のレイヤが時間予測のために依存しないレイヤに対して、周波数がより低いフィルタを利用することによって、誤差伝搬の影響を制限しながら、電力節約が達成され得る。

【0104】

周波数がより低いフィルタの使用が原因で引き起こされ得る第２の問題は、同じピクチャ内におけるイントラ予測に起因する誤差伝搬であり得る。ＨＥＶＣ、Ｈ．２６４、および／または他のコーデックは、方向性イントラ予測を適用して、イントラ符号化効率を改善し得る。例えば、ＨＥＶＣは、複数の方向において方向性イントラ予測を利用し得る。図１４は、ＨＥＶＣイントラ符号化において使用される例示的な方向を示している。周波数がより低いフィルタの使用が原因で現在の符号化ブロックにおいて誤差が生じる場合、および現在のブロックに対して隣接ブロックがイントラ符号化される場合、現在のブロック内の誤差は、隣接ブロック内の予測方向沿いのピクセルに伝搬し得る。誤差は、いくつかのイントラブロックが空間的に互いに隣接して存在する場合、伝搬し続け得、アーチファクトは、拡大され得る。したがって、一例では、モバイルデバイスの電力認識型符号化器は、非因果的な隣接ブロック（例えば、右側隣接ブロック、下側隣接ブロック、および／または右下隣接ブロック）の中にイントラ符号化ブロックが存在する場合、周波数がより低いフィルタをインターブロックに対して使用することを差し控え得る。したがって、電力がより低い復号が利用されるべきであるとモバイルデバイスが決定した場合であっても、隣接ブロックが、それぞれの符号化ブロックにおいて符号化された情報に基づいてイントラ符号化される場合に、１または複数のイントラ符号化ブロックが、それぞれの符号化ブロックおよび／または１もしくは複数の他の符号化ブロックに対して非因果的な隣接ブロックであるならば、符号化ブロックのうちの１または複数は、依然として通常の動き補償フィルタを使用して復号され得る。

【0105】

非ブロック化は、視覚品質に関して、相対的にフラットおよび／または相対的にスムーズな領域の品質を改善するために役立ち得るが、それは、ブロッキングアーチファクトが、人間視覚システムの特性のために、それらの領域において通常は最も顕著であるからである。高テクスチャ領域など、高周波数成分を有する領域では、テクスチャマスキングと呼ばれる現象が、ブロッキングアーチファクトを人間の目に効果的に見えなくし得る。高テクスチャおよび／または残差が小さいインターブロック領域では、非ブロック化のスキップも、ある程度の電力を節約し得る。非ブロック化のスキップによって引き起こされる誤差は、やはり動き補償を介して伝搬し得るが、誤差は、イントラブロック予測によって伝搬され得ない。したがって、一例では、モバイルデバイスの電力認識型復号器が、電力節約が達成されるべきことを決定した場合、非ブロック化が、非基準ピクチャについてはスキップされ得るが、基準ピクチャについては依然として実行され得る。

【0106】

電力認識型復号および／または電力認識型ストリーミングは、クライアントベースの技法を使用して（例えば、動き補償中により低いカットオフ周波数を有するローパスフィルタを使用するような電力認識型復号）、ならびに／またはジョイントクライアントネットワークベースの技法を使用して（例えば、サーバは、異なる潜在的なストリームの複雑さに関する情報を提供し、クライアントは、電力レベル情報および／もしくはエネルギーレベル情報に基づいて適切なストリームを動的に要求する）電力節約を達成するために、別々にまたは組み合わせて使用され得る。

【0107】

電力認識型ストリーミングは、サーバとクライアント（例えば、モバイルデバイスなどのＷＴＲＵ）の間の協調であり得る。例えば、コンテンツは、複数のバージョンを用いて生成され得、各バージョンは、異なる複雑さおよび／または異なる解像度に関連付けられ得る。複雑さ情報は、クライアントによって要求され、コンテンツについてのメディア記述ファイルに収めてサーバから送信され得る。クライアントは、クライアントの電力レベルステータス、クライアントのエネルギーレベルステータス、予想される再生時間、プロセッサの使用ステータス、ユーザプリファレンス、ユーザから受け取った指示、および／または利用可能な帯域幅などの情報に基づいて、適切なメディアセグメントを選択し得る。

【0108】

例えば、ユーザは、クライアントモバイルデバイスを、高品質モードで動作するように構成する。高品質モードでは、ユーザは、電力低減よりも品質を好み得る。高品質モードで動作する場合、モバイルデバイスは、復号の複雑さレベルを考慮するように、ならびにビデオのフル再生を完了するのに十分な電力がモバイルデバイスに残っていることを保証しながら、品質を最大化する、解像度および／または複雑さレベルを決定するように構成され得る。モバイルデバイスは、先行する電力統計、先行する電力統計に関連付けられた複雑さ情報、および残りのビデオセグメントに関連付けられた複雑さ情報に基づいて、ビデオの残りに対して使用される電力の量を推定し得る。

【0109】

一例では、ユーザは、クライアントモバイルデバイスを、電力節約モードで動作するように構成し得、その場合、ユーザは、より良い品質よりもより少ない電力消費を好み得る。電力節約モードでは、モバイルデバイスは、電力使用を最小化するために、電力認識型ストリーミングおよび／または電力認識型復号を利用するように構成され得る。１または複数の複雑さレベルに関連付けられた先行ピクチャを復号中に学習された電力消費統計を使用して、クライアントは、残余電力に従って、次のセグメントに電力を割り当て得る。割り当てられる電力、および／または先行セグメントの複雑さに基づいて、クライアントは、現在のセグメントの複雑さを推定し得る。その後、クライアントは、残っている電力の量に基づいて、どの複雑さレベルが後続セグメントのために要求されるべきかを知り得る。

【0110】

電力認識型復号技術は、復号される１または複数のブロックのコンテンツ分析に基づき得る。電力認識型復号は、復号複雑さ／電力使用と品質との間の許容可能なトレードオフを達成しようと試み得る。電力認識型復号は、ほとんど感知し得ない誤差を導入することによって、電力消費を節約でき得る。電力認識型復号のための方法がいくつか存在し得る。例えば、復号器は、優先順位が低いピクチャに対しては、異なる特性領域に関連付けられた異なる補間フィルタを適用し得る。エッジ、または強いエッジを有するテクスチャなど、多くの高周波数信号を有する領域の場合、復号器は、誤差の導入を回避するために、適合したまたは通常の補間フィルタを使用し得る。より僅かな高周波数成分／信号を有する相対的にフラットな領域の場合、復号器は、メモリアクセス帯域幅を低減させるために、ローパスフィルタのカットオフ周波数を低減させ得る。一例では、電力認識型復号器は、ブロッキングアーチファクトがあまり目に付かない領域、および／または（例えば、非基準ピクチャ内もしくはより高い時間レイヤにおける基準ピクチャ内など）誤差伝搬があまり問題にならない領域において、非ブロック化操作をスキップすることによって、電力消費を節約し得る。一例では、逆変換の場合、例えば、ほとんどの非ゼロ係数は、低周波数領域に対応する左上隅に分布させ得るので、復号器は、非ゼロ係数分布に従って、より小さい変換サイズを適用し得る。

【0111】

説明的な実施形態についての詳細な説明が、様々な図を参照しながら行われる。この説明は、可能な実施についての詳細な例を提供するが、細部は例示的であることが意図されており、本出願の範囲を限定することは決して意図されていないことに留意されたい。

【0112】

図１Ａは、１または複数の開示される実施形態が実施され得る例示的な通信システム１００の図である。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムとし得る。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、およびシングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）など、１または複数のチャネルアクセス方法を利用し得る。

【0113】

図１Ａに示されるように、通信システム１００は、（一般にまたは一括してＷＴＲＵ１０２と呼ばれることがある）無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、ならびに他のネットワーク１１２を含み得るが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境において動作および／または通信するように構成された任意のタイプのデバイスとし得る。例を挙げると、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成され得、ユーザ機器（ＵＥ）、モバイル局、固定もしくはモバイル加入者ユニット、ページャ、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品などを含み得る。

【0114】

通信システム１００は、基地局１１４ａおよび基地局１１４ｂも含み得る。基地局１１４ａ、１１４ｂの各々は、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２などの１または複数の通信ネットワークへのアクセスを円滑化するために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの少なくとも１つと無線でインターフェースを取るように構成された、任意のタイプのデバイスとし得る。例を挙げると、基地局１１４ａ、１１４ｂは、基地トランシーバ局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、および無線ルータなどとし得る。基地局１１４ａ、１１４ｂは各々、単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含み得ることが理解されよう。

【0115】

基地局１１４ａは、ＲＡＮ１０３／１０４／１０５の部分とし得、ＲＡＮ１０３／１０４／１０５は、他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示されず）も含み得る。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示されず）と呼ばれることがある特定の地理的領域内で、無線信号を送信および／または受信するように構成され得る。セルは、さらにセルセクタに分割され得る。例えば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割され得る。したがって、一実施形態では、基地局１１４ａは、送受信機を３つ、すなわち、セルのセクタ毎に１つずつ含み得る。別の実施形態では、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用し得、したがって、セルのセクタ毎に複数の送受信機を利用し得る。

【0116】

基地局１１４ａ、１１４ｂは、エアインターフェース１１５／１１６／１１７上で、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数と通信し得、エアインターフェース１１５／１１６／１１７は、任意の適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とし得る。エアインターフェース１１５／１１６／１１７は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立され得る。

【0117】

より具体的には、上で言及されたように、通信システム１００は、多元接続システムとし得、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ−ＦＤＭＡなどの、１または複数のチャネルアクセス方式を利用し得る。例えば、ＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース１１５／１１６／１１７を確立し得る、ユニバーサルモバイル通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施し得る。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含み得る。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含み得る。

【0118】

別の実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を使用してエアインターフェース１１５／１１６／１１７を確立し得る、進化型ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実施し得る。

【0119】

他の実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセス用の世界的相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、モバイル通信用グローバルシステム（ＧＳＭ（登録商標））、ＧＳＭエボリューション用の高速データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施し得る。

【0120】

図１Ａの基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとし得、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を円滑化するために、任意の適切なＲＡＴを利用し得る。一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実施して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立し得る。別の実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実施して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立し得る。また別の実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立し得る。図１Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接的な接続を有することがある。したがって、基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を介して、インターネット１１０にアクセスする必要がないことがある。

【0121】

ＲＡＮ１０３／１０４／１０５は、コアネットワーク１０６／１０７／１０９と通信し得、コアネットワーク１０６／１０７／１０９は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数に提供するように構成された、任意のタイプのネットワークとし得る。例えば、コアネットワーク１０６／１０７／１０９は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供し得、および／またはユーザ認証など、高レベルのセキュリティ機能を実行し得る。図１Ａには示されていないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮと直接的または間接的に通信し得ることが理解されよう。例えば、Ｅ−ＵＴＲＡ無線技術を利用し得るＲＡＮ１０３／１０４／１０５に接続するのに加えて、コアネットワーク１０６／１０７／１０９は、ＧＳＭ無線技術を利用する別のＲＡＮ（図示されず）とも通信し得る。

【0122】

コアネットワーク１０６／１０７／１０９は、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするための、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとしての役割も果たし得る。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含み得る。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークとデバイスとからなるグローバルシステムを含み得る。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される有線または無線通信ネットワークを含み得る。例えば、ネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用し得る１または複数のＲＡＮに接続された、別のコアネットワークを含み得る。

【0123】

通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつかまたはすべては、マルチモード能力を含み得、すなわち、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含み得る。例えば、図１Ａに示されたＷＴＲＵ１０２ｃは、セルラベースの無線技術を利用し得る基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用し得る基地局１１４ｂと通信するように構成され得る。

【0124】

図１Ｂは、例示的なＷＴＲＵ１０２のシステム図である。図１Ｂに示されるように、ＷＴＲＵ１０２は、プロセッサ１１８と、送受信機１２０と、送信／受信要素１２２と、スピーカ／マイクロフォン１２４と、キーパッド１２６と、ディスプレイ／タッチパッド１２８と、着脱不能メモリ１３０と、着脱可能メモリ１３２と、電源１３４と、全地球測位システム（ＧＰＳ）チップセット１３６と、他の周辺機器１３８とを含み得る。ＷＴＲＵ１０２は、一実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含み得ることが理解されよう。また、実施形態は、基地局１１４ａ、１１４ｂ、ならびに／またはとりわけ、送受信機局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、進化型ノードＢ（ｅＮｏｄｅＢ）、ホーム進化型ノードＢ（ＨｅＮＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードなどの、しかし、それらに限定されない、基地局１１４ａ、１１４ｂが表し得るノードが、図１Ｂに示され、本明細書で説明される要素のいくつかまたはすべてを含み得ることを企図している。

【0125】

プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などとし得る。プロセッサ１１８は、信号符号化、データ処理、電力制御、入出力処理、および／またはＷＴＲＵ１０２が無線環境で動作することを可能にする他の任意の機能を実行し得る。プロセッサ１１８は、送受信機１２０に結合され得、送受信機１２０は、送信／受信要素１２２に結合され得る。図１Ｂは、プロセッサ１１８と送受信機１２０を別々のコンポーネントとして示しているが、プロセッサ１１８と送受信機１２０は、電子パッケージまたはチップ内に一緒に統合され得ることが理解されよう。

【0126】

送信／受信要素１２２は、エアインターフェース１１５／１１６／１１７上で、基地局（例えば、基地局１１４ａ）に信号を送信し、または基地局から信号を受信するように構成され得る。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとし得る。別の実施形態では、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器とし得る。また別の実施形態では、送信／受信要素１２２は、ＲＦ信号と光信号の両方を送信および受信するように構成され得る。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成され得ることが理解されよう。

【0127】

加えて、図１Ｂでは、送信／受信要素１２２は単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含み得る。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用し得る。したがって、一実施形態では、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７上で無線信号を送信および受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含み得る。

【0128】

送受信機１２０は、送信／受信要素１２２によって送信される信号を変調し、送信／受信要素１２２によって受信された信号を復調するように構成され得る。上で言及されたように、ＷＴＲＵ１０２は、マルチモード能力を有し得る。したがって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含み得る。

【0129】

ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合され得、それらからユーザ入力データを受け取り得る。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力もし得る。加えて、プロセッサ１１８は、着脱不能メモリ１３０および／または着脱可能メモリ１３２など、任意のタイプの適切なメモリからの情報にアクセスし得、それらにデータを記憶し得る。着脱不能メモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含み得る。着脱可能メモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含み得る。他の実施形態では、プロセッサ１１８は、ＷＴＲＵ１０２上に物理的に配置されたメモリではなく、サーバまたはホームコンピュータ（図示されず）などの上に配置されたメモリからの情報にアクセスし得、それらにデータを記憶し得る。

【0130】

プロセッサ１１８は、電源１３４から電力を受け取り得、ＷＴＲＵ１０２内の他のコンポーネントへの電力の分配および／または制御を行うように構成され得る。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスとし得る。例えば、電源１３４は、１または複数の乾電池（例えば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、および燃料電池などを含み得る。

【0131】

プロセッサ１１８は、ＧＰＳチップセット１３６にも結合され得、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在位置に関する位置情報（例えば、経度および緯度）を提供するように構成され得る。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１５／１１６／１１７上で位置情報を受け取り得、および／または２つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定し得る。ＷＴＲＵ１０２は、一実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて、位置情報を獲得し得ることが理解されよう。

【0132】

プロセッサ１１８は、他の周辺機器１３８にさらに結合され得、他の周辺機器１３８は、追加の特徴、機能、および／または有線もしくは無線接続性を提供する、１または複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含み得る。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含み得る。

【0133】

図１Ｃは、一実施形態による、ＲＡＮ１０３およびコアネットワーク１０６のシステム図である。上で言及されたように、ＲＡＮ１０３は、ＵＴＲＡ無線技術を利用して、エアインターフェース１１５上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信し得る。ＲＡＮ１０３は、コアネットワーク１０６とも通信し得る。図１Ｃに示されるように、ＲＡＮ１０３は、ノードＢ１４０ａ、１４０ｂ、１４０ｃを含み得、ノードＢ１４０ａ、１４０ｂ、１４０ｃは各々、エアインターフェース１１５上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数の送受信機を含み得る。ノードＢ１４０ａ、１４０ｂ、１４０ｃは各々、ＲＡＮ１０３内の特定のセル（図示されず）に関連付けられ得る。ＲＡＮ１０３は、ＲＮＣ１４２ａ、１４２ｂも含み得る。ＲＡＮ１０３は、一実施形態との整合性を保ちながら、任意の数のノードＢおよびＲＮＣを含み得ることが理解されよう。

【0134】

図１Ｃに示されるように、ノードＢ１４０ａ、１４０ｂは、ＲＮＣ１４２ａと通信し得る。加えて、ノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信し得る。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、Ｉｕｂインターフェースを介して、それぞれのＲＮＣ１４２ａ、１４２ｂと通信し得る。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを介して、互いに通信し得る。ＲＮＣ１４２ａ、１４２ｂの各々は、それが接続されたそれぞれのノードＢ１４０ａ、１４０ｂ、１４０ｃを制御するように構成され得る。加えて、ＲＮＣ１４２ａ、１４２ｂの各々は、アウタループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、およびデータ暗号化など、他の機能を実施またはサポートするように構成され得る。

【0135】

図１Ｃに示されるコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換センタ（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含み得る。上記の要素の各々は、コアネットワーク１０６の部分として示されているが、これらの要素は、どの１つをとっても、コアネットワークオペレータとは異なる主体によって所有および／または運営され得ることが理解されよう。

【0136】

ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを介して、コアネットワーク１０６内のＭＳＣ１４６に接続され得る。ＭＳＣ１４６は、ＭＧＷ１４４に接続され得る。ＭＳＣ１４６とＭＧＷ１４４は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話通信デバイスの間の通信を円滑化し得る。

【0137】

ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＰＳインターフェースを介して、コアネットワーク１０６内のＳＧＳＮ１４８にも接続され得る。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続され得る。ＳＧＳＮ１４８とＧＧＳＮ１５０は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスの間の通信を円滑化し得る。

【0138】

上で言及されたように、コアネットワーク１０６は、ネットワーク１１２にも接続され得、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含み得る。

【0139】

図１Ｄは、一実施形態による、ＲＡＮ１０４およびコアネットワーク１０７のシステム図である。上で言及されたように、ＲＡＮ１０４は、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために、Ｅ−ＵＴＲＡ無線技術を利用し得る。ＲＡＮ１０４は、コアネットワーク１０７とも通信し得る。

【0140】

ＲＡＮ１０４は、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃを含み得るが、ＲＡＮ１０４は、一実施形態との整合性を保ちながら、任意の数のｅノードＢを含み得ることが理解されよう。ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、各々が、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数の送受信機を含み得る。一実施形態では、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実施し得る。したがって、ｅノードＢ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信し得る。

【0141】

ｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々は、特定のセル（図示されず）に関連付けられ得、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成され得る。図１Ｄに示されるように、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェース上で互いに通信し得る。

【0142】

図１Ｄに示されるコアネットワーク１０７は、モビリティ管理ゲートウェイ（ＭＭＥ）１６２、サービングゲートウェイ１６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６を含み得る。上記の要素の各々は、コアネットワーク１０７の部分として示されているが、これらの要素は、どの１つをとっても、コアネットワークオペレータとは異なる主体によって所有および／または運営され得ることが理解されよう。

【0143】

ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続され得、制御ノードとしての役割を果たし得る。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザの認証、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期接続中における特定のサービングゲートウェイの選択などを担い得る。ＭＭＥ１６２は、ＲＡＮ１０４とＧＳＭまたはＷＣＤＭＡなどの他の無線技術を利用する他のＲＡＮ（図示されず）との間の交換のための制御プレーン機能も提供し得る。

【0144】

サービングゲートウェイ１６４は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃの各々に接続され得る。サービングゲートウェイ１６４は、一般に、ユーザデータパケットのＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃへの／からの経路選択および転送を行い得る。サービングゲートウェイ１６４は、ｅノードＢ間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに利用可能な場合に行う一斉呼出のトリガ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストの管理および記憶など、他の機能も実行し得る。

【0145】

サービングゲートウェイ１６４は、ＰＤＮゲートウェイ１６６にも接続され得、ＰＤＮゲートウェイ１６６は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスの間の通信を円滑化し得る。

【0146】

コアネットワーク１０７は、他のネットワークとの通信を円滑化し得る。例えば、コアネットワーク１０７は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話通信デバイスの間の通信を円滑化し得る。例えば、コアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８の間のインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み得、またはＩＰゲートウェイと通信し得る。加えて、コアネットワーク１０７は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し得、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含み得る。

【0147】

図１Ｅは、一実施形態による、ＲＡＮ１０５およびコアネットワーク１０９のシステム図である。ＲＡＮ１０５は、ＩＥＥＥ８０２．１６無線技術を利用して、エアインターフェース１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ）とし得る。以下でさらに説明されるように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、ＲＡＮ１０５、およびコアネットワーク１０９の異なる機能エンティティ間の通信リンクは、参照点として定義され得る。

【0148】

図１Ｅに示されるように、ＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、１８０ｃと、ＡＳＮゲートウェイ１８２とを含み得るが、ＲＡＮ１０５は、一実施形態との整合性を保ちながら、任意の数の基地局とＡＳＮゲートウェイとを含み得ることが理解されよう。基地局１８０ａ、１８０ｂ、１８０ｃは、各々が、ＲＡＮ１０５内の特定のセル（図示されず）に関連付けられ得、各々が、エアインターフェース１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数の送受信機を含み得る。一実施形態では、基地局１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実施し得る。したがって、基地局１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信し得る。基地局１８０ａ、１８０ｂ、１８０ｃは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、およびサービス品質（ＱｏＳ）ポリシ実施などの、モビリティ管理機能も提供し得る。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとしてサービスし得、ページング、加入者プロファイルのキャッシング、およびコアネットワーク１０９へのルーティングなどとしての役割を果たし得る。

【0149】

ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＲＡＮ１０５の間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実施する、Ｒ１参照点として定義され得る。加えて、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの各々は、コアネットワーク１０９との論理インターフェース（図示されず）を確立し得る。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとコアネットワーク１０９の間の論理インターフェースは、Ｒ２参照点として定義され得、Ｒ２参照点は、認証、認可、ＩＰホスト構成管理、および／またはモビリティ管理のために使用され得る。

【0150】

基地局１８０ａ、１８０ｂ、１８０ｃの各々の間の通信リンクは、ＷＴＲＵハンドオーバおよび基地局間でのデータの転送を円滑化するためのプロトコルを含む、Ｒ８参照点として定義され得る。基地局１８０ａ、１８０ｂ、１８０ｃとＡＳＮゲートウェイ１８２の間の通信リンクは、Ｒ６参照点として定義され得る。Ｒ６参照点は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの各々に関連するモビリティイベントに基づいたモビリティ管理を円滑化するためのプロトコルを含み得る。

【0151】

図１Ｅに示されるように、ＲＡＮ１０５は、コアネットワーク１０９に接続され得る。ＲＡＮ１０５とコアネットワーク１０９の間の通信リンクは、例えばデータ転送およびモビリティ管理能力を円滑化するためのプロトコルを含む、Ｒ３参照点として定義され得る。コアネットワーク１０９は、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）１８４と、認証認可課金（ＡＡＡ）サーバ１８６と、ゲートウェイ１８８とを含み得る。上記の要素の各々は、コアネットワーク１０９の部分として示されているが、これらの要素は、どの１つをとっても、コアネットワークオペレータとは異なる主体によって所有および／または運営され得ることが理解されよう。

【0152】

ＭＩＰ−ＨＡは、ＩＰアドレス管理を担い得、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃが、異なるＡＳＮの間で、および／または異なるコアネットワークの間でローミングを行うことを可能にし得る。ＭＩＰ−ＨＡ１８４は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスの間の通信を円滑化し得る。ＡＡＡサーバ１８６は、ユーザ認証、およびユーザサービスのサポートを担い得る。ゲートウェイ１８８は、他のネットワークとの網間接続を円滑化し得る。例えば、ゲートウェイ１８８は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話通信デバイスの間の通信を円滑化し得る。加えて、ゲートウェイ１８８は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供し、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含み得る。

【0153】

図１Ｅには示されていないが、ＲＡＮ１０５は、他のＡＳＮに接続され得、コアネットワーク１０９は、他のコアネットワークに接続され得ることが理解されよう。ＲＡＮ１０５と他のＡＳＮの間の通信リンクは、Ｒ４参照点として定義され得、Ｒ４参照点は、ＲＡＮ１０５と他のＡＳＮの間で、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティを調整するためのプロトコルを含み得る。コアネットワーク１０９と他のコアネットワークの間の通信リンクは、Ｒ５参照点として定義され得、Ｒ５参照点は、ホームコアネットワークと在圏コアネットワークの間の網間接続を円滑化するためのプロトコルを含み得る。

【0154】

上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用され得、または他の特徴および要素との任意の組み合わせで使用され得ることを当業者は理解されよう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェア、またはファームウェアで実施され得る。コンピュータ可読媒体の例は、（有線または無線接続上で送信される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ−ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、それらに限定されない。ソフトウェアと連携するプロセッサは、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータへの使用のための無線周波送受信機を実施するために使用され得る。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12A】

【図12B】

【図13】

【図14】