特許 7438234 符号化アーティファクトのためのフレームオーバーレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】符号化アーティファクトのためのフレームオーバーレイ

(51)【国際特許分類】

   H04L 67/75 20220101AFI20240216BHJP

   H04N 19/85 20140101ALI20240216BHJP

   H04N 19/46 20140101ALI20240216BHJP

   A63F 13/355 20140101ALI20240216BHJP

   A63F 13/35 20140101ALI20240216BHJP

【ＦＩ】

H04L67/75

H04N19/85

H04N19/46

A63F13/355

A63F13/35

【請求項の数】 33

(21)【出願番号】P 2021556575

(86)(22)【出願日】2020-03-17

(65)【公表番号】

(43)【公表日】2022-06-02

(86)【国際出願番号】 US2020023155

(87)【国際公開番号】W WO2020190945

(87)【国際公開日】2020-09-24

【審査請求日】2021-12-09

(31)【優先権主張番号】62/819,867

(32)【優先日】2019-03-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/947,952

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ネルソン，エリック・エフ

(72)【発明者】

【氏名】ディートリック，ダグラス・シム，ジュニア

【審査官】岩田 玲彦

(56)【参考文献】

【文献】特開２００８－２８７３２９（ＪＰ，Ａ）

【文献】特開２０１６－２２５７５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３１２６２６（ＵＳ，Ａ１）

【文献】特開２０１８－０５０２５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１８５６７８（ＵＳ，Ａ１）

【文献】特表２０１５－５０２０９７（ＪＰ，Ａ）

【文献】特表２０１１－５０４０４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６７／７５

Ｈ０４Ｎ １９／８５

Ｈ０４Ｎ １９／４６

Ａ６３Ｆ １３／３５５

Ａ６３Ｆ １３／３５

(57)【特許請求の範囲】

【請求項1】

方法であって、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、前記複数のフレームの各々の生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成することを備え、前記複数のフレームの各々は、レンダリングされ、ビデオゲームプログラム［１０９］のユーザに表示される視覚ゲーム情報を表し、前記方法は、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、
前記符号化フレームにオーバーレイ［１２５］を適用することとをさらに備え、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記第１の視覚インジケータの色、輝度、および強度の少なくとも１つは、前記第１の差の大きさに基づく、方法。

【請求項2】

前記第１の差は、前記符号化フレームと前記生フレームとの間の１つ以上の画素の少なくとも１つの特性の差を含む、請求項１に記載の方法。

【請求項3】

前記第１の差は、前記符号化フレームと前記生フレームとの間の色差を含む、請求項２に記載の方法。

【請求項4】

前記第１の差は、前記符号化フレームと前記生フレームとの間のテクスチャ差を含む、請求項２または３に記載の方法。

【請求項5】

前記第１の差は、前記符号化フレームと前記生フレームとの間のボケ差を含む、請求項２～４のいずれか１項に記載の方法。

【請求項6】

前記第１の差を識別することは、前記符号化フレームの少なくとも一部および前記生フレームの対応する部分についての画素変動の差を識別することを含む、請求項５に記載の方法。

【請求項7】

前記第１の差が閾値を超えていることに応じて、前記オーバーレイと共に前記第１の視覚インジケータを含むことをさらに備える、請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記第１の視覚インジケータは前記第１の差の大きさおよび／または種類に基づく、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記第１の符号化アーティファクトについての少なくとも２種類の異なる差の中から前記第１の差の種類を求めることをさらに備える、請求項８に記載の方法。

【請求項10】

前記第１の視覚インジケータは色を含む、請求項１～９のいずれか１項に記載の方法。

【請求項11】

前記第１の視覚インジケータはテクスチャを含む、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

方法であって、
示用の複数のフレームを含むゲームストリーム［１１５］のために、生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成することと、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、
前記符号化フレームにオーバーレイ［１２５］を適用することとを備え、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記方法は、
前記符号化フレームと前記生フレームとの間の第２の差に基づいて、第２の符号化アーティファクトを識別することをさらに備え、
前記オーバーレイは、前記第２の符号化アーティファクトを示す第２の視覚インジケータを含み、前記第２の視覚インジケータは前記第１の視覚インジケータとは異なる、方法。

【請求項13】

前記第１および第２の視覚インジケータは、サイズ、形状、および色のうちの少なくとも１つにおいて異なる、請求項１２に記載の方法。

【請求項14】

方法であって、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成することと、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、
前記符号化フレームにオーバーレイ［１２５］を適用することとを備え、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記方法は、
前記第１の視覚インジケータを、前記第１の符号化アーティファクトの少なくとも一部もしくは全体に、または少なくとも一部もしくは全体の上に位置決めすることをさらに備える、方法。

【請求項15】

方法であって、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成することと、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、
前記符号化フレームにオーバーレイ［１２５］を適用することとを備え、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記方法は、
前記ゲームストリームを提供するサーバ［１０２］のオーバーレイジェネレータ［１２３］を使用することをさらに備え、前記オーバーレイジェネレータは、前記第１の視覚インジケータを提供するために前記オーバーレイを生成するように構成される、方法。

【請求項16】

前記第１の視覚インジケータに基づいて前記生フレームを符号化するための少なくとも１つの符号化パラメータを調整することをさらに備える、請求項１～１５のいずれか１項に記載の方法。

【請求項17】

方法であって、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成することと、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、
前記符号化フレームにオーバーレイ［１２５］を適用することとを備え、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記方法は、
前記第１の視覚インジケータに基づいて前記生フレームを符号化するための少なくとも１つの符号化パラメータを調整することをさらに備え、
少なくとも２つの異なる符号化パラメータが、前記生フレームを符号化するために使用され、前記第１の視覚インジケータに基づいて調整可能である、方法。

【請求項18】

方法であって、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成することと、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、
前記符号化フレームにオーバーレイ［１２５］を適用することとを備え、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記方法は、
前記オーバーレイとともにゲームストリームを介して提供するために、前記符号化フレームを表示することをさらに備える、方法。

【請求項19】

方法であって、
符号化フレーム［１２２］の画素と複数のフレームの各々の生フレーム［１２０］の対応する画素との間の差に基づいて符号化アーティファクトを識別することを備え、前記符号化フレームは、前記複数のフレームを含むゲームストリーム［１１５］を介して提供され、前記複数のフレームの各々は、レンダリングされ、ビデオゲームプログラム［１０９］のユーザに表示される視覚ゲーム情報を表し、前記方法はさらに、
前記符号化フレームにオーバーレイ［１２５］を適用することを備え、前記オーバーレイはヒートマップとして生成されて前記符号化アーティファクトを示し、前記方法はさらに、
前記オーバーレイと共に前記符号化フレームを表示することを備える、方法。

【請求項20】

前記符号化アーティファクトは、色差、テクスチャ差、およびボケ差のうちの少なくとも１つを含む、請求項１９に記載の方法。

【請求項21】

実行可能な命令のセットを具体化するコンピュータプログラムであって、前記実行可能な命令のセットは、少なくとも１つのプロセッサを、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、前記複数のフレームの各々の生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成するように操作し、前記複数のフレームの各々は、レンダリングされ、ビデオゲームプログラム［１０９］のユーザに表示される視覚ゲーム情報を表し、前記実行可能な命令のセットは、前記少なくとも１つのプロセッサを、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別し、
前記符号化フレームにオーバーレイ［１２５］を適用するようにさらに操作し、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記第１の視覚インジケータの色、輝度、および強度の少なくとも１つは、前記第１の差の大きさに基づく、コンピュータプログラム。

【請求項22】

前記第１の差は、前記符号化フレームと前記生フレームとの間の１つ以上の画素の少なくとも１つの特性の差を含む、請求項２１に記載のコンピュータプログラム。

【請求項23】

前記第１の差は、前記符号化フレームと前記生フレームとの間の色差を含む、請求項２１または２２に記載のコンピュータプログラム。

【請求項24】

前記第１の差は、前記符号化フレームと前記生フレームとの間のテクスチャ差を含む、請求項２１～２３のいずれか１項に記載のコンピュータプログラム。

【請求項25】

前記第１の差は、前記符号化フレームと前記生フレームとの間のボケ差を含む、請求項２１～２４のいずれか１項に記載のコンピュータプログラム。

【請求項26】

前記第１の差を識別することは、前記符号化フレームの少なくとも一部および前記生フレームの対応する部分についての画素変動の差を識別することを含む、請求項２５に記載のコンピュータプログラム。

【請求項27】

前記実行可能な命令は、前記少なくとも１つのプロセッサを、
前記第１の差が閾値を超えていることに応じて、前記オーバーレイと共に前記第１の視覚インジケータを含むように操作する、請求項２１～２６のいずれか１項に記載のコンピュータプログラム。

【請求項28】

前記第１の視覚インジケータは前記第１の差の大きさに基づく、請求項２１～２７のいずれか１項に記載のコンピュータプログラム。

【請求項29】

前記第１の視覚インジケータは色を含む、請求項２１～２８のいずれか１項に記載のコンピュータプログラム。

【請求項30】

前記第１の視覚インジケータはテクスチャを含む、請求項２１～２９のいずれか１項に記載のコンピュータプログラム。

【請求項31】

実行可能な命令のセットを具体化するコンピュータプログラムであって、前記実行可能な命令のセットは、少なくとも１つのプロセッサを、
表示用の複数のフレームを含むゲームストリーム［１１５］のために、生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成し、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別し、
前記符号化フレームにオーバーレイ［１２５］を適用するように操作し、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、
前記実行可能な命令は、前記少なくとも１つのプロセッサを、
前記符号化フレームと前記生フレームとの間の第２の差に基づいて、第２の符号化アーティファクトを識別するようにさらに操作し、
前記オーバーレイは、前記第２の符号化アーティファクトを示す第２の視覚インジケータを含み、前記第２の視覚インジケータは前記第１の視覚インジケータとは異なる、コンピュータプログラム。

【請求項32】

リアルタイムビデオストリーミングシステム［１００］であって、サーバ［１０２］を備え、前記サーバは、前記サーバで実行されるビデオゲームプログラム［１０９］のゲーム状態に基づいて少なくとも１つのクライアントデバイス［１０４］に送信するための符号化フレームを生成し、前記サーバは、
前記ビデオゲームプログラムのゲームストリーム［１１５］のために、前記ゲームストリームに含まれる表示用の複数のフレームの各々の生フレーム［１２０］を符号化して符号化フレーム［１２２］を生成するように構成され、前記複数のフレームの各々は、レンダリングされ、前記ビデオゲームプログラムのユーザに表示される視覚ゲーム情報を表し、前記サーバはさらに、
前記符号化フレームと前記生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別し、
前記符号化フレームにオーバーレイ［１２５］を適用するように構成され、前記オーバーレイは、前記第１の符号化アーティファクトを示す第１の視覚インジケータ［３３５］を含み、前記第１の視覚インジケータの色、輝度、および強度の少なくとも１つは、前記第１の差の大きさに基づく、リアルタイムビデオストリーミングシステム。

【請求項33】

前記サーバは、請求項１～２０のいずれか１項に記載の方法を実現するように構成される、請求項３２に記載のリアルタイムビデオストリーミングシステム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
ビデオストリーミングシステムは、ネットワークを介してサーバからクライアントデバイスにビデオフレームをストリーミングし、サーバの大きな記憶空間および計算能力を活用してビデオコンテンツを提供する。たとえば、ゲームストリーミングシステムは、ゲーム環境を表すビデオフレームをストリーミングする一方で、ユーザがゲームコントローラまたは他の入力デバイスを介してゲーム環境と対話できるようにする。ビデオフレームの迅速かつ効率的な送信を保証するために、ゲームストリーミングシステムは、送信前にサーバにおいてフレームを符号化することによって、フレームを符号化フォーマットで送信することができる。しかしながら、フレームを符号化すると、色変化および特徴ボケなどの、符号化アーティファクトが生じる場合がある。たとえばフレームの一部をフレームの他の部分よりも少ない圧縮で符号化することによってなど、符号化処理のためのパラメータを調整することによって、これらの問題に対処するゲームストリーミングシステムもある。しかしながら、これらの改善技術の有効性は、符号化の影響を最も受けるストリーミングされるフレームの特定の特徴を識別することによって決まることが多く、従来技術を用いてこれらの特徴を識別することは困難である。

【発明の概要】

【課題を解決するための手段】

【0002】

概要
提案される解決策は、特に方法に関し、方法は、表示用の複数のフレームを含むゲームストリームのために、生フレームを符号化して符号化フレームを生成することと、符号化フレームと生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別することと、符号化フレームにオーバーレイを適用することとを含み、オーバーレイは、第１の符号化アーティファクトを示す第１の視覚インジケータを含む。

【0003】

具体例としての実施形態では、第１の差は、符号化フレームと生フレームとの間の色差、テクスチャ差、および／またはボケ差などの、符号化フレームと生フレームとの間の１つ以上の画素の少なくとも１つの特性の差を含んでもよい。この文脈では、第１の差を識別することは、符号化フレームの少なくとも一部および生フレームの対応する部分についての画素変動の差を識別することを含んでもよい。

【0004】

具体例としての実施形態では、オーバーレイと共に第１の視覚インジケータを含むことは、第１の差が閾値を超えていることに応じたものであってもよい。対応する閾値は、たとえば画素差値に関連してもよく、すなわち、符号化フレームの画素と生フレームの画素との間の画素値差が所定の閾値を超えると、第１の視覚インジケータがオーバーレイと共に含まれる。

【0005】

第１の視覚インジケータは、たとえば、第１の差の大きさおよび／または種類に基づいてもよい。具体例としての一実施形態では、方法は、第１の符号化アーティファクトについての少なくとも２種類の異なる差の中から第１の差の種類を求めることを含んでもよい。それゆえ、求めた種類に応じて、オーバーレイによる符号化アーティファクトの種類の視覚的表示を可能にするために、視覚的インジケータは異なってもよい。たとえば、方法は、符号化フレームと生フレームとの間の第２の差に基づいて、第２の符号化アーティファクトを識別することを含んでもよく、オーバーレイは、第２の符号化アーティファクトを示す第２の視覚インジケータを含み、第２の視覚インジケータは第１の視覚インジケータとは異なる。第１および第２の視覚インジケータは、たとえば、サイズ、形状、および色のうちの少なくとも１つにおいて異なってもよい。次いで、第１および第２の視覚インジケータの差が、第１および第２の符号化アーティファクトの種類、大きさ、またはこれらの組合せの差を示してもよい。

【0006】

具体例としての実施形態では、第１の視覚インジケータは、第１の符号化アーティファクトの少なくとも一部もしくは全体に、または少なくとも一部もしくは全体の上に位置決めされてもよい。したがって、オーバーレイおよび符号化フレームが共に表示されると、第１の視覚インジケータは、対応する符号化アーティファクトを視覚的に強調表示する。

【0007】

一般に、第１の視覚インジケータは、たとえば色および／またはテクスチャを含んでもよい。たとえば、アーティファクトに対応する画素の指定された画素半径内のすべての画素を反転させてもよい。

【0008】

具体例としての実施形態では、ゲームストリームを提供するサーバのオーバーレイジェネレータが使用されてもよく、オーバーレイジェネレータは、第１の視覚インジケータを提供するためにオーバーレイを生成するように構成される。

【0009】

第１の視覚インジケータに基づいて、生フレームを符号化するための少なくとも１つの符号化パラメータが調整されてもよい。これは、少なくとも２つの異なる、調整可能な符号化パラメータが、生フレームを符号化するために使用され、符号化パラメータの１つ以上が、第１の視覚インジケータに基づいて、自動的にまたはユーザによって調整されることを意味し得る。

【0010】

提案される解決策はさらに、方法に関し、方法は、符号化フレームの画素と生フレームの対応する画素との間の差に基づいて符号化アーティファクトを識別することを含み、符号化フレームはゲームストリームを介して提供され、方法はさらに、符号化フレームにオーバーレイを適用することを含み、オーバーレイは符号化アーティファクトを示し、方法はさらに、オーバーレイと共に符号化フレームを表示することを含む。

【0011】

加えて、提案される解決策はさらに、実行可能な命令のセットを具体化する非一時的なコンピュータ読取可能媒体に関する。実行可能な命令のセットは、少なくとも１つのプロセッサを、表示用の複数のフレームを含むゲームストリームのために、生フレームを符号化して符号化フレームを生成し、符号化フレームと生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別し、符号化フレームにオーバーレイを適用するように操作し、オーバーレイは、第１の符号化アーティファクトを示す第１の視覚インジケータを含む。特に、提案される媒体は、提案される方法を実現するように少なくとも１つのプロセッサを操作する実行可能命令のセットを具体化してもよい。

【0012】

提案される解決策の別の態様は、リアルタイムビデオストリーミングシステムに関し、リアルタイムビデオストリーミングシステムはサーバを含み、サーバは、サーバで実行されるビデオゲームプログラムのゲーム状態に基づいて少なくとも１つのクライアントデバイスに送信するための符号化フレームを生成する。サーバは、ビデオゲームプログラムのゲームストリームのために生フレームを符号化して符号化フレームを生成するように構成されてもよく、ゲームストリームは表示用の複数のフレームを含み、サーバはさらに、符号化フレームと生フレームとの間の第１の差に基づいて、第１の符号化アーティファクトを識別し、符号化フレームにオーバーレイを適用するように構成されてもよく、オーバーレイは、第１の符号化アーティファクトを示す第１の視覚インジケータを含む。特に、提案されるリアルタイムビデオストリーミングシステムは、提案される方法を実現するように構成されたサーバを含んでもよい。

【0013】

本開示は特に、ゲームストリーミングシステムなどのリアルタイムビデオストリーミングシステムによってストリーミングされる符号化フレーム内の符号化アーティファクトを識別するオーバーレイを生成するための技術に関する。ゲームストリーミングシステムのサーバは、たとえば、サーバにおいて実行されるビデオゲームプログラムのゲーム状態に基づいて、各フレームを生成する。サーバは、「生の」、すなわち符号化されていないフォーマットでフレームを生成し、ネットワークを介してクライアントデバイスに送信するためにフレームを符号化する。少なくとも１つの符号化フレームについて、サーバは、たとえば、符号化フレームおよび生フレームの１つ以上の画素の色、テクスチャ、ボケ、または他の特性の差などの、符号化フレームと対応する生フレームとの間の差を識別することによって、符号化アーティファクトを識別する。サーバは、識別された符号化アーティファクトを強調表示するために視覚的インジケータと共にオーバーレイを生成し、オーバーレイを符号化フレームとともに表示する。それゆえ、ユーザ（たとえば、クライアントデバイスの開発者またはユーザ）は符号化アーティファクトを素早く容易に識別することができ、したがって、そのようなアーティファクトに対処するゲームストリーミングシステムのアスペクトを素早く容易に調整することにより、ゲームストリーミングシステムの性能を改善することができる。

【0014】

例示すると、いくつかの実施形態では、エンコーダは、量子化パラメータおよび圧縮パラメータなどの、符号化処理を制御する１つ以上のパラメータを用いる。これらのパラメータのうちの１つ以上を調整することにより、符号化アーティファクトを低減することができる。符号化アーティファクトを低減する際のこれらの調整の有効性は、ストリーミングされる符号化フレームのうちの１つ以上の特定の符号化アーティファクトを識別することによって高めることができる。たとえば、エンコーダは、変動に基づく適応型量子化（variance-based adaptive quantization）（ＶＢＡＱ）を実行することができ、開発者は、ストリーミングされる１つ以上の符号化フレームにおいて識別された特定の符号化アーティファクトに基づいて、ＶＢＡＱパラメータを調整することができる。しかしながら、ストリーミングされるフレームは多数の特徴を有していることが多く、フレームの符号化アーティファクトは、ストリーミングされるフレームの全体サイズに対して小さい場合があるため、符号化アーティファクトを視覚的に識別することは困難な場合がある。オーバーレイを用いて符号化アーティファクトを視覚的に強調表示することによって、ゲームストリーミングシステムは、システムの開発者または他のユーザが、アーティファクトを素早く識別し、符号化パラメータに対して対応する調整を行うことにより、ゲームストリーミングシステムの開発および性能を改善できるようにする。

【0015】

添付の図面を参照することにより、本開示はより良く理解され、その数多くの特徴および利点が当業者に明らかになるであろう。各種図面において同一の参照符号の使用は同様または同一の項目を示す。

【図面の簡単な説明】

【0016】

【図1】いくつかの実施形態に係る、ゲームストリームの符号化フレーム内の符号化アーティファクトを識別するフレームオーバーレイを生成するゲームストリーミングシステムのブロック図である。

【図2】いくつかの実施形態に係る、図１のゲームストリーミングシステムにおいて生フレームを符号化する際に生成される符号化アーティファクトの例を示す図である。

【図3】いくつかの実施形態に係る、図１のオーバーレイの例を示す図である。

【図4】いくつかの実施形態に係る、フレーム内の符号化アーティファクトを識別する図１のオーバーレイの例を示す図である。

【図5】いくつかの実施形態に係る、符号化フレーム内の複数の符号化アーティファクトを識別する図１のオーバーレイの例を示す図である。

【図6】いくつかの実施形態に係る、図１のオーバーレイを生成するオーバーレイジェネレータを示すブロック図である。

【図7】いくつかの実施形態に係る、ゲームストリームの符号化フレーム内の符号化アーティファクトを識別するオーバーレイを生成する方法を示すフロー図である。

【発明を実施するための形態】

【0017】

詳細な説明
図１は、一般にレンダリングされたゲームコンテンツをサーバ１０２からクライアントデバイス１０４にストリーミングするように構成されたゲームストリーミングシステム１００を示す。図示される例では、サーバ１０２およびクライアントデバイス１０４はネットワーク１１０を介して通信を行い、ネットワーク１１０は、一般にビデオデータを含むデータを１つ以上のルータ、サーバ、および通信タワー（たとえばセルラー通信タワー）など、またはこれらの任意の組合わせを介して転送するように構成された、パケット交換方式または他のネットワークである。したがって、さまざまな実施形態において、ネットワーク１１０は、ワイドエリアネットワーク（たとえばインターネット）およびローカルエリアネットワークなど、またはこれらの任意の組合わせである。

【0018】

サーバ１０２およびクライアント１０４は一般に、ストリーミングされるゲームセッションをまとめて実現するように構成され、対話型ゲームコンテンツがサーバ１０２からクライアントデバイス１０４にストリーミングされる。したがって、サーバ１０２は、ラックマウントサーバ、クラスタサーバ（すなわち、サーバデバイスのクラスタにおいて実現されるサーバデバイス）、およびモバイルサーバデバイスなど、またはこれらの組合わせなどの、本明細書でさらに説明する機能性を実現する任意の種類のコンピュータデバイスであってもよい。クライアントデバイス１０４は、ビデオフレームのユーザに対する表示およびユーザ入力の受信が可能な任意のコンピュータデバイスであってもよく、したがって、デスクトップまたはラップトップコンピュータ、デジタルメディアプレイヤー、ゲームコンソール、スマートフォン、およびタブレットなどであってもよい。

【0019】

ストリーミングされるゲームセッション中のゲームコンテンツのクライアントデバイスへのストリーミングをサポートするために、サーバ１０２は、中央処理装置（ＣＰＵ）１０６およびグラフィック処理装置（ＧＰＵ）１０８などの複数の処理装置を含む。ＣＰＵ１０６は一般に、コンピュータプログラムの形式で編成された命令の汎用セットを実行して、サーバ１０２の代わりにタスクを実行するように構成された処理装置である。そのようなコンピュータプログラムの例として、オペレーティングシステム、仮想マシン、データセキュリティプログラム（たとえばデータ暗号化／復号化プログラム）、ウェブページ、およびデータベースプログラムが挙げられる。

【0020】

ＧＰＵ１０８は一般に、ＣＰＵ１０６から受信したコマンドに基づいてグラフィックおよびベクトル処理と関連付けられた動作を実行するように構成された処理装置である。たとえば、１つ以上の汎用プログラムを実行する間に、ＣＰＵ１０６は、表示用のグラフィカルモデルを生成および操作するコマンドを生成し、当該コマンドをＧＰＵ１０８に提供する。これに応じて、ＧＰＵ１０８は、１つ以上の対応するグラフィカル動作を実行することによってコマンドを実行することにより、表示用に１つ以上のフレームを生成するようにグラフィカルモデルを操作する。いくつかの実施形態では、ＧＰＵ１０８によって生成されるフレームは、表示デバイスにおける表示の準備が整った、レンダリングされたフレームである。

【0021】

ストリーミングされるゲームコンテンツの受信および表示をサポートするために、クライアントデバイス１０４は、ＣＰＵおよびＧＰＵ（図１には図示せず）などの処理装置を含む。これらのモジュールの各々は、サーバ１０２の対応するモジュールに類似する。それゆえ、たとえば、ＣＰＵは一般に、オペレーティングシステムおよびウェブブラウザなどのうちの１つ以上を実行するなど、クライアントデバイス１０４に代わって汎用命令を実行するように構成される。いくつかの実施形態では、クライアントデバイスのＣＰＵおよびＧＰＵは一般に、サーバ１０２のＣＰＵ１０６およびＧＰＵ１０８と比較して比較的小さな計算能力を有することが理解されるであろう。それゆえ、ゲームストリーミングシステム１００は、サーバ１０２の計算能力を活用して、クライアントデバイス１０４のみによって生成可能であるよりも高品質のゲームコンテンツをクライアント１０４にストリーミングする。

【0022】

動作時、クライアント１０４は、ウェブブラウザ、専用のゲームストリーミングプログラム、およびビデオストリーミングサービスプログラムなどを介するなど、クライアント１０４において実行されるコンピュータプログラム（図示せず）を介して、ユーザがゲームセッションをリクエストしたことに応じて、ゲームストリーミングセッションを開始する。ユーザのリクエストに応じて、ＣＰＵ１１２は、ネットワーク１１０を介してサーバ１０２にゲームセッションリクエストを送信する。これに応じて、サーバ１０２はゲームプログラム１０９の実行を開始する。いくつかの実施形態では、サーバ１０２は、ゲームプログラムのライブラリのうちのいずれか１つを実行するように構成され、クライアント１０４によって提供されるリクエストは、実行されるゲームプログラムのうちの特定の１つを示す。

【0023】

実行中、ゲームプログラム１０９は、ゲームの条件または状態を表す、ゲーム状態と呼ばれるデータの集まりを維持する。クライアント１０４のユーザは、ゲームコントローラまたは他の入力デバイスを用いてＣＰＵ１１２に入力データを提供し、ＣＰＵ１１２は、ネットワーク１１０を介してゲームプログラム１０９に入力データを通信する。入力データに応じて、ゲームプログラム１０９は、ゲームプログラム１０９によって実現される特定のゲームのルールに従ってゲーム状態を変更する。

【0024】

ゲーム状態に基づいて、かつ、実現されるゲームのルールに従って、ゲームプログラム１０９はＣＰＵ１０６およびＧＰＵ１０８を用いて、仮想環境、ゲームボード、選択スクリーン、およびヘッドアップディスプレイ（ＨＵＤ）など、またはこれらの任意の組合わせなどの、視覚ゲーム情報を表すレンダリングされたフレームを生成する。サーバ１０２は、これらのレンダリングされたフレーム、指定されたストリーミングされるフレーム１１５を、クライアント１０４に通信するためにネットワーク１１０に提供する。クライアントデバイス１０４は、ストリーミングされるフレーム１１５の少なくともサブセットを受信し、ＧＰＵ１０８を用いて、受信したフレームをディスプレイ１１７において表示する。それゆえ、クライアントデバイス１０４は、視覚ゲーム情報をユーザに対して表示し、ユーザはこれに応じて、ゲームコントローラまたは他の入力デバイスを用いてさらに他の入力データを提供し、その結果、ゲームプログラム１０９によって維持されるゲーム状態がさらに変化し、フレームストリーム１１５のフレームがこれに対応して変化する。このように、クライアントデバイス１０４のユーザはゲームプログラム１０９と対話して、サーバ１０２において実行されるゲームをプレイする。

【0025】

ネットワーク帯域幅を節約し、クライアントデバイス１０４へのフレームの比較的迅速な送信を保証するために、サーバ１０２は、ストリーミングされるフレーム１１５の各々を送信前に符号化することができる。それゆえ、図１に示される例では、ＧＰＵ１０８は、一般に生フレーム１２０を符号化して、Ｈ．２６２（ＭＰＥＧ－２パート２）、ＭＰＥＧ－４パート２、Ｈ．２６４（ＭＰＥＧ－４パート１０）、または他のビデオ符号化フォーマットなどの、指定されたビデオ符号化フォーマットに基づいて符号化フレーム１２２を生成するように構成されたエンコーダ１２１を含む。ＧＰＵ１０８は、符号化フレーム１２２をネットワークインタフェース（図示せず）に提供し、ネットワークインタフェースは、ストリーミングされるフレーム１１５の一部として符号化フレーム１２２を送信する。クライアントデバイス１０４は、復号されたフレームをユーザに対して表示する前に、ストリーミングされるフレームの符号化されたフレームを復号するデコーダ（図示せず）を含み得る。

【0026】

場合によっては、エンコーダ処理の結果、符号化フレーム１２２が生フレーム１２０との目に見える差（または、符号化フレーム１２２が復号および表示されたときに目に見える差）を有することになる。これらの差は、一般に符号化アーティファクトと呼ばれ、色変化、画素化、および画像ボケなどのアーティファクトを含み得る。符号化アーティファクトは、視覚的に邪魔であるか、またはそうでなければゲームストリーミングシステム１００を用いるユーザ体験に悪影響を及ぼす場合がある。場合によっては、符号化アーティファクトは、変動に基づく適応型量子化（ＶＢＡＱ）と関連付けられたパラメータなどの、エンコーダ１２１の符号化パラメータを調整することによって低減または除去することができる。これらのパラメータ調整は、符号化フレーム内に存在する特定の符号化アーティファクトの特性を識別することによって、改善することができる。したがって、ゲームプログラム１０９の開発中または実行中は、開発者またはユーザがエンコーダ１２１の符号化パラメータに対して対応する調整を実行できるように、符号化フレーム内の符号化アーティファクトを視覚的に識別することがしばしば有用である。しかしながら、所与の符号化フレーム内の符号化アーティファクトは、符号化フレームの全体サイズに対して小さい場合があり、したがってユーザまたは開発者が視覚的に識別することは困難な場合がある。したがって、ユーザまたは開発者が符号化アーティファクトを識別するのを助けるために、ＧＰＵ１０８は、符号化フレーム１２２についての符号化アーティファクトの視覚インジケータを提供するオーバーレイ１２５を生成するように構成されたオーバーレイジェネレータ１２３を含む。

【0027】

たとえば、いくつかの実施形態では、オーバーレイジェネレータ１２３は、生フレーム１２０の特徴と符号化フレーム１２２の特徴との間の差を識別するように構成される。本明細書において使用する画像の特徴は、画像の１つ以上の画素であり、１つの画素、エッジ、コーナー、およびオブジェクトなどの特定の視覚特徴に対応する画素のセットであってもよい。個々の画素または画素のセットなどの所与の特徴は、画素のセットにおける色、色パターン、画素化の程度、および色変動など、またはこれらの任意の組合せにおける差などの、生フレーム１２０と符号化フレーム１２２との間の異なる特性を有し得る。オーバーレイジェネレータ１２３は、特徴ごとに特性の差を識別し、識別された各特徴の視覚インジケータを有するように、かつ、符号化フレーム１２２内に任意の符号化アーティファクトを示すように、オーバーレイ１２５を生成する。

【0028】

いくつかの実施形態では、オーバーレイジェネレータ１２３は、色減算を用いて符号化アーティファクトを識別する。たとえば、オーバーレイジェネレータ１２３は、符号化フレーム１２２の各画素の色値を生フレーム１２０の対応する画素の色値から減算して（またはその逆の減算を行い）、画素ごとに色差を識別し、識別した色差に基づいてオーバーレイ１２５を生成することができる。他の実施形態では、オーバーレイジェネレータ１２３は、符号化フレーム１２２の画素のセットと生フレーム１２０の対応する画素のセットとの間のボケ量の差を識別することによって、符号化アーティファクトを識別する。いくつかの実施形態では、オーバーレイジェネレータ１２３は、所与の画素セット内の画素の値の変動に基づいて、当該セットと関連付けられたボケ量を求める。したがって、符号化フレーム１２２および生フレーム１２０の対応する画素セット同士の間のボケ量の差は、対応する画素セットの変動の差に基づく。

【0029】

いくつかの実施形態では、オーバーレイ１２５のサイズは符号化フレーム１２２のサイズに対応し、ＧＰＵ１０８は、ある特徴の視覚インジケータを、当該インジケータが符号化フレーム１２２のうちの１つにおける対応する符号化アーティファクトの場所にまたはその近くに位置決めされるように位置決めするので、オーバーレイおよび符号化フレーム１２２が共に表示されると、視覚インジケータは対応する符号化アーティファクトを視覚的に強調表示する。いくつかの実施形態では、ＧＰＵ１０８は、ある特徴について識別された符号化アーティファクトのうちの１つ以上に基づいて、当該特徴の視覚インジケータを選択する。たとえば、いくつかの実施形態では、視覚インジケータのサイズ、形状、または色、またはこれらの組合せは、対応する符号化アーティファクトの種類、大きさ、またはこれらの組合せを示す。それゆえ、たとえば、場合によっては、視覚インジケータの特定の色は、画素色の差などの、ある種類の符号化アーティファクトを示すのに対して、視覚インジケータの異なる色は、色または画素変動の差などの、異なる種類の符号化アーティファクトを示す。

【0030】

いくつかの実施形態では、ＧＰＵ１０８は、表示デバイス（図１には図示せず）での表示用に、フレーム１２２およびオーバーレイ１２５を１つのフレームに合成する。したがって、合成フレームが表示されると、オーバーレイ１２５の視覚インジケータは、符号化フレーム１２２と関連付けられた符号化アーティファクトの不連続性そのものが裸眼で見るのが困難または不可能な場合であっても、これらの符号化アーティファクトを視覚的に示す。ゲームプログラム１０９の開発者は、エンコーダ１２１の符号化パラメータを調整して、識別された符号化アーティファクトにさらに良好に対処し、かつ、クライアントデバイス１０４における全体的なゲーム体験を改善することができる。

【0031】

図２は、いくつかの実施形態に係る、フレーム１２０および１２２の特徴２３０と関連付けられた符号化アーティファクトの例を示す。図示される例では、特徴２３０は、生フレーム１２０では塗りつぶされずに示されているが、符号化フレーム１２２では網掛けで塗りつぶされており、特徴２３０が符号化フレーム１２２において符号化アーティファクトを有することを示している。したがって、特徴２３０は、個々の画素、画素のセット、およびオブジェクトのコーナーまたはオブジェクトのエッジなどの視覚特徴などの、符号化アーティファクトを有し得る任意の視覚特徴であってもよい。

【0032】

図３は、いくつかの実施形態に係る、特徴２３０の視覚インジケータ３３５を提供するオーバーレイ１２５の例を示す。図示される例では、オーバーレイをフレームと区別するために、オーバーレイ１２５は破線の輪郭で示されており、フレーム１２２からわずかにずれて描かれている。しかしながら、ＧＰＵ１１６は、フレーム１２２とオーバーレイ１２５とがディスプレイ１１７において共に効果的に表示されるように、表示用に、オーバーレイ１２５をフレーム１２２と合成することができることが理解されるであろう。特に、インジケータ３３５は、関連付けられた不連続性の視覚インジケータを提供するために、特徴２３０の上または近くに表示される。

【0033】

異なる実施形態では、インジケータ３３５は、特徴２３０と関連付けられた不連続性の種類、不連続性の大きさ、および不連続性の特定の特性（たとえば、位置の不連続性と関連付けられた空間方向）などのうちの１つ以上、またはこれらの任意の組合わせを示す色、形状、テクスチャ、情報テキスト、アイコン、または他の視覚インジケータ、またはこれらの組合わせである。たとえば、位置の不連続性の場合、インジケータ３３５は、位置の不連続性のサイズおよび方向を示す線または矢印であってもよい。

【0034】

場合によっては、符号化フレーム１２２の複数の特徴は、符号化アーティファクトと関連付けられている。たとえば、場合によっては、符号化フレーム１２２のいくつかの特徴は、生フレーム１２０に対する色変動を有するのに対して、他の特徴は、生フレーム１２０に対するボケ量の変化を有する。いくつかの実施形態では、ＧＰＵ１１６は、符号化フレーム１２２の符号化アーティファクトごとに視覚インジケータを含むようにオーバーレイ１２５を生成する。いくつかの実施形態に係る例が図４に示されている。図示される例では、生フレーム１２０は複数の特徴を含み、各特徴は、対応する塗りつぶされてない円によって示されている。符号化フレーム１２２は、灰色に塗りつぶされた円によって示されている、各特徴と関連付けられた符号化アーティファクトを含む。オーバーレイ１２５は、黒色に塗りつぶされた円によって示されている、符号化アーティファクトごとの視覚インジケータを含む。

【0035】

各視覚インジケータの種類。したがって、各視覚インジケータは、対応する特徴と関連付けられた符号化アーティファクトの種類を視覚的に示す、異なるサイズ、色、形状、向き、テキスト情報、およびアイコンなど、またはこれらの組合わせなどの、異なる特性を有し得る。たとえば、いくつかの実施形態では、ある視覚インジケータは、特徴が色変動アーティファクトと関連付けられていることを示すために赤色であるのに対して、別の視覚インジケータは、対応する特徴４４０を示すために青色を有する。

【0036】

いくつかの実施形態では、視覚インジケータの種類、または視覚インジケータのサイズ、色、もしくは形状などのその特性は、関連付けられた符号化アーティファクトの大きさを示す。たとえば、いくつかの実施形態では、ある色の視覚インジケータは、符号化フレーム１２２と生フレーム１２０との間のある変動の程度を示し、異なる色の視覚インジケータは、符号化フレーム１２２と生フレーム１２０との間の異なる変動の程度を示す。それゆえ、図４の例では、オーバーレイ１２５は複数の符号化アーティファクトの視覚インジケータを含み、各視覚インジケータは、関連付けられた符号化アーティファクトの種類、大きさ、および他の特性を示し得る。

【0037】

いくつかの実施形態では、オーバーレイジェネレータ１２３は、所与の符号化アーティファクトと関連付けられたフレーム差が閾値を超えた場合にのみ、その符号化アーティファクトの視覚インジケータを生成する。たとえば、オーバーレイジェネレータ１２３は、符号化フレーム１２２の画素と生フレーム１２０の画素との間の画素値差に基づいて符号化アーティファクトを識別することができる。画素値差が閾値を超えていることに応じて、オーバーレイジェネレータ１２３は、オーバーレイ１２５を介して表示する符号化アーティファクトの視覚インジケータを生成する。画素値差が閾値未満であることに応じて、オーバーレイジェネレータ１２３は、オーバーレイ１２５から符号化アーティファクトの視覚的インジケータを省く。オーバーレイジェネレータ１２３はそれによって、見えにくい符号化アーティファクトの視覚識別子を省き、見やすい視覚符号化アーティファクトに開発者が焦点を合わせることができるようにする。いくつかの実施形態では、オーバーレイジェネレータ１２３は、フレームがゲームプログラム１０９のシーン変化と関連付けられているなどの指定されたイベントに応じて、閾値の大きさを変えることができる。

【0038】

いくつかの実施形態では、視覚インジケータの色、輝度、または強度は、対応する符号化アーティファクトと関連付けられた差の大きさに基づく。たとえば、いくつかの実施形態では、オーバーレイジェネレータ１２３はオーバーレイ１２５をヒートマップとして生成し、このヒートマップにおいて、視覚インジケータの各画素の強度は、対応する符号化アーティファクトと関連付けられた差の大きさに対応する。

【0039】

いくつかの実施形態では、オーバーレイジェネレータ１２３は、符号化フレーム１２２の対応する部分の色または他の特性に基づく色または他の特性を有するように視覚インジケータを生成する。たとえば、オーバーレイジェネレータ１２３は、符号化アーティファクトに対応する符号化フレームの画素のうちの１つ以上の画素値を反転させることによって、視覚インジケータを生成することができる。いくつかの実施形態では、オーバーレイジェネレータ１２３は、符号化アーティファクトに対応する画素の指定された画素半径内のすべての画素を反転させる。さらに他の実施形態では、視覚インジケータは、関連付けられた符号化アーティファクトの特性を識別するテキスト情報を含み得る。

【0040】

図６は、いくつかの実施形態に係る、オーバーレイジェネレータ１２３のブロック図である。オーバーレイジェネレータ１２３は、異なる実施形態では、サーバ１０２のＣＰＵ１０６およびＧＰＵ１０８のうちの１つ以上において実行されるソフトウェアモジュールであってもよい。他の実施形態では、オーバーレイジェネレータ１２３の１つ以上のアスペクトは、サーバ１０２の専用ハードウェアによって実現される。

【0041】

図示される例では、オーバーレイジェネレータ１２３は、色減算モジュール６５２およびボケ検出モジュール６５４を含む。色減算モジュール６５２は、生フレーム１２０および符号化フレーム１２２に基づいて色減算処理を実行するように構成される。たとえば、いくつかの実施形態では、色減算モジュール６５２は、生フレーム１２０の各画素の画素色値を符号化フレームの対応する画素の画素色値から減算する。所与の画素についての色差に基づいて、色減算モジュール６５２は、オーバーレイ１２５の対応する画素に色値を割当てる。たとえば、いくつかの実施形態では、画素と関連付けられた差が第１の範囲内にある場合、色減算モジュール６５２は、オーバーレイ１２５の対応する画素に第１の色を割当て、画素と関連付けられた差が第２の異なる範囲内にある場合、色減算モジュール６５２は、オーバーレイ１２５の対応する画素に第２の異なる色を割当てる。オーバーレイ１２５の色はそれによって、画素ごとに生フレーム１２０と符号化フレーム１２２との間の色差を示す。

【0042】

ボケ検出モジュール６５４は、画素の指定されたセクションについて、生フレーム１２０と符号化フレーム１２２との間のボケの程度の差を求めるように構成される。例示すると、いくつかの実施形態では、ボケ検出モジュール６５４は、指定されたサイズ（画素数）および形状のウィンドウを生フレーム１２０および符号化フレーム１２２に適用し、適用したウィンドウについてボケの程度の差を求め、次いで、ウィンドウを別の画素セットにシフトする。たとえば、いくつかの実施形態では、ボケ検出モジュール６５４はＮ×Ｎウィンドウを使用し、Ｎは整数の画素である。いくつかの実施形態では、ボケ検出モジュール６５４は、ウィンドウ内の最も明るい画素と最も暗い画素との間の差などの、ウィンドウについての画素変動を求めることによって、ウィンドウについてのボケの程度を求める。ボケの程度の差を求めるために、ボケ検出モジュール６５４は、ウィンドウの画素値のパワースペクトルを求めることによって、当該ウィンドウについてのボケの程度を求め、ボケの程度はパワースペクトルの空間周波数によって示される。

【0043】

所与のウィンドウについてのボケ差に基づいて、色減算モジュール６５２は、オーバーレイ１２５の対応する画素に色値を割当てる。たとえば、いくつかの実施形態では、ウィンドウと関連付けられたボケ差が第１の範囲内にある場合、色減算モジュール６５２は、オーバーレイ１２５の対応する画素に第１の色を割当て、画素と関連付けられたボケ差が第２の異なる範囲内にある場合、色減算モジュール６５２は、オーバーレイ１２５の対応する画素に第２の異なる色を割当てる。色減算処理と同様に、オーバーレイ１２５の色はそれによって、ウィンドウごとに生フレーム１２０と符号化フレーム１２２との間のボケ差を示す。

【0044】

図７は、いくつかの実施形態に係る、ゲームストリームのフレームについての符号化アーティファクトを示す視覚インジケータと共にオーバーレイを生成する方法７００のフロー図を示す。本説明において、方法７００は、図１のゲームストリーミングシステム１００における実現例に関して説明される。ブロック７０２において、エンコーダ１２１は、生フレーム１２０を符号化して符号化フレーム１２２を生成する。ブロック７０４において、オーバーレイジェネレータ１２３は、色差およびボケ程度の差などの、符号化フレーム１２２と生フレーム１２０との間の差を識別する。ブロック７０６において、オーバーレイジェネレータ１２３は、ブロック７０４において識別した差に基づいて、符号化アーティファクトを識別する。ブロック７０８において、オーバーレイジェネレータ１２３は、ブロック７０４において識別した符号化アーティファクトの視覚インジケータを含むようにオーバーレイ１２５を生成する。ブロック７０８において、ＧＰＵ１０８は、オーバーレイ１２５を符号化フレーム１２２と合成し、合成したフレームを表示用に表示デバイスに送信することにより、ユーザが、符号化フレーム内の符号化アーティファクトを素早く視覚的に識別し、エンコーダ１２１についての符号化パラメータの調整を行うことができるようにする。

【0045】

いくつかの実施形態では、上記技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現されてもよい。ソフトウェアは、非一時的なコンピュータ読取可能記憶媒体上に格納されたまたはそうでなければ有形に実現された実行可能な命令の１つ以上のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されると１つ以上のプロセッサを操作して上記技術の１つ以上の態様を実施する命令および特定のデータを含み得る。非一時的なコンピュータ読取可能記憶媒体は、たとえば、磁気もしくは光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、またはその他の１つもしくは複数の不揮発性メモリデバイスなどを含み得る。非一時的なコンピュータ読取可能記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または、１つ以上のプロセッサによって解釈されるもしくはそうでなければ実行可能な他の命令フォーマットであってもよい。

【0046】

コンピュータ読取可能記憶媒体は、使用中にコンピュータシステムによってアクセスされて命令および／またはデータをコンピュータシステムに提供することが可能な、任意の記憶媒体、または記憶媒体の組み合わせを含み得る。このような記憶媒体は、光媒体（たとえば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ－Ｒａｙ（登録商標）ディスク）、磁気媒体（たとえば、フロッピー（登録商標）ディスク、磁気テープ、もしくは磁気ハードドライブ）、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュ）、不揮発性メモリ（たとえば、読出し専用メモリ（ＲＯＭ）もしくはフラッシュメモリ）、または微小電子機械システム（ＭＥＭＳ）ベースの記憶媒体を含み得るが、これらに限定されない。コンピュータ読取可能記憶媒体は、コンピューティングシステムに埋め込まれたものであってもよく（たとえば、システムＲＡＭもしくはＲＯＭ）、コンピューティングシステムに固定的に装着されたものであってもよく（たとえば、磁気ハードドライブ）、コンピューティングシステムに着脱可能に装着されたものであってもよく（たとえば、光ディスクもしくはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されたものであってもよい（たとえば、ネットワークアクセス可能記憶装置（ＮＡＳ））。

【0047】

なお、全体の説明における上記アクティビティまたは要素のうちのすべてが必要なわけではなく、ある特定のアクティビティまたはデバイスの一部は不要である場合があり、先に述べたものに加えて１つ以上の他のアクティビティが実行されるまたは要素が含まれる場合がある。またさらに、アクティビティの記載順序は必ずしもアクティビティの実行順序とは限らない。また、特定の実施形態に言及しながら概念を説明した。しかしながら、当業者は、以下の請求項に記載の本開示の範囲から逸脱することなく各種修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的な意味ではなく例示とみなされるべきものであり、このような修正はすべて本開示の範囲に含まれることが意図されている。

【0048】

利益、その他の利点、および問題解決策を、特定の実施形態に関して上に説明した。しかしながら、これらの利益、利点、問題解決策、および、何らかの利益、利点または解決策を生じさせ得るまたはより際立ったものにし得る何らかの特徴（複数可）は、請求項のうちのいずれかまたはすべての、決定的な、必要な、または不可欠な特徴と解釈されることを意図したものではない。さらに、上に開示された特定の実施形態は例示にすぎない。なぜなら、開示されている主題は、本明細書の教示の利益を享受する当業者にとって明白である、異なっているが均等である態様で修正および実施され得るからである。以下の請求項に記載されているもの以外の、本明細書に示される構成または設計の詳細に対する限定は意図されていない。したがって、上に開示された特定の実施形態は変更または修正が可能であり、このような変形がすべて開示されている主題の範囲に含まれることは、明らかである。したがって、本明細書において求める保護は以下の請求項に記載の通りである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】