特開2024-38339 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル　インコーポレイテッドの特許一覧

特開2024-38339ゲームストリームのフレーム間のディスパリティのためのフレームオーバーレイ

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024038339

(43)【公開日】2024-03-19

(54)【発明の名称】ゲームストリームのフレーム間のディスパリティのためのフレームオーバーレイ

(51)【国際特許分類】

H04N 21/431 20110101AFI20240312BHJP

H04N 21/442 20110101ALI20240312BHJP

A63F 13/537 20140101ALI20240312BHJP

A63F 13/30 20140101ALI20240312BHJP

A63F 13/52 20140101ALI20240312BHJP

【ＦＩ】

H04N21/431

H04N21/442

A63F13/537

A63F13/30

A63F13/52

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024002625

(22)【出願日】2024-01-11

(62)【分割の表示】P 2021556634の分割

【原出願日】2020-03-18

(31)【優先権主張番号】62/819,754

(32)【優先日】2019-03-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/947,448

(32)【優先日】2019-12-12

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグルエルエルシー

【氏名又は名称原語表記】ＧｏｏｇｌｅＬＬＣ

【住所又は居所原語表記】１６００ＡｍｐｈｉｔｈｅａｔｒｅＰａｒｋｗａｙ９４０４３ＭｏｕｎｔａｉｎＶｉｅｗ，ＣＡＵ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】グオ，クアンイエ

(72)【発明者】

【氏名】ネルソン，エリック・エフ

(72)【発明者】

【氏名】ウー，キャサリン

(57)【要約】（修正有）

【課題】ゲームストリーミングシステムにおいてストリーミングされるフレーム間の特徴の不連続性および他の変化を識別するオーバーレイを生成可能な方法及びプログラムを提供する。
【解決手段】ゲームストリーミングシステムにおける方法７００は、サーバからネットワークを介して、表示用のゲームコンテンツを表すフレームのストリームを受信７０２し、受信したフレームを分析して、連続して受信するフレーム間の位置、サイズ、テクスチャまたは他の視覚特徴のうちの１つ以上を変更する特定の特徴などの、複数のフレームの特徴の不連続性および他の変化を識別７０４、７０６し、識別した特徴を示すためにオーバーレイを生成し、受信したフレームのうちの少なくとも１つと共にオーバーレイを表示７０８する。
【選択図】図７

【特許請求の範囲】

【請求項1】

第１のグラフィカルな特徴（２３０）を含む第１のフレーム（１２０）と、前記第１のグラフィカルな特徴を含む第２のフレーム（１２２）とを含む表示用の複数のフレーム（１１５）を含むゲームストリームを受信することと、
前記第１のフレームと関連付けられた前記第１のグラフィカルな特徴の第１の表示特徴と、前記第２のフレームと関連付けられた前記第１のグラフィカルな特徴の第２の表示特徴との間の第１の差を識別することと、
前記第１の差を示す第１の視覚インジケータ（３３５）を含むオーバーレイ（１２５）を、前記第１のフレームに適用することとを備える、方法。

【請求項2】

前記第１の表示特徴は、前記第１のグラフィカルな特徴の第１の位置を含み、前記第２の表示特徴は、前記第１のグラフィカルな特徴の第２の位置を含み、前記第２の位置は前記第１の位置と異なる、請求項１に記載の方法。

【請求項3】

前記第１の表示特徴は、前記第１のグラフィカルな特徴の第１のテクスチャを含み、前記第２の表示特徴は、前記第１のグラフィカルな特徴の第２のテクスチャを含み、前記第２のテクスチャは前記第１のテクスチャと異なる、請求項１または２に記載の方法。

【請求項4】

前記第１の表示特徴は、前記第１のグラフィカルな特徴の第１のサイズを含み、前記第２の表示特徴は、前記第１のグラフィカルな特徴の第２のサイズを含み、前記第２のサイズは前記第１のサイズと異なる、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記第１の差が閾値を超えることに応じて、前記第１の視覚インジケータと共に前記第１のオーバーレイを含むことをさらに備える、先行する請求項のいずれか１項に記載の方法。

【請求項6】

前記第１の視覚インジケータは、前記第１の差の大きさに基づく、先行する請求項のいずれか１項に記載の方法。

【請求項7】

前記第１の視覚インジケータは色を含む、先行する請求項のいずれか１項に記載の方法。

【請求項8】

前記第１の視覚インジケータはテクスチャを含む、先行する請求項のいずれか１項に記載の方法。

【請求項10】

前記視覚インジケータの特徴は、前記第１のグラフィカルな特徴と関連付けられた不連続性の種類に対応する、先行する請求項のいずれか１項に記載の方法。

【請求項11】

前記視覚インジケータに基づいて、ストリーミングされたフレーム間の不連続性の影響を改善するための改善技術を適用することをさらに備える、先行する請求項のいずれか１項に記載の方法。

【請求項12】

前記改善技術は、前記ゲームストリームのための、前記第１の差をぼかすモーションスムージングおよび／またはフレーム補間を含む、請求項１１に記載の方法。

【請求項13】

前記第１のフレームと関連付けられた第２のグラフィカルな特徴の第３の表示特徴と、前記第２のフレームと関連付けられた前記第２のグラフィカルな特徴の第４の表示特徴との間の第２の差を識別することをさらに備え、
前記オーバーレイは、前記第２の差を示す第２の視覚インジケータを含み、前記第２の
視覚インジケータは前記第１の視覚インジケータと異なる、先行する請求項のいずれか１項に記載の方法。

【請求項14】

ゲームストリームの第１のフレーム（１２０）における表示用のグラフィカルな特徴（２３０）と、前記ゲームストリームの第２のフレーム（１２２）における表示用の前記グラフィカルな特徴の前記アスペクトとの間の差を識別することと、
前記差を示すオーバーレイ（１２５）を、前記第１のフレームに適用することとを備える、方法。

【請求項15】

前記差は、前記グラフィカルな特徴の位置、テクスチャ、およびサイズのうちの少なくとも１つを含む、請求項１４に記載の方法。

【請求項16】

命令のセットを有形に具体化するコンピュータ読取可能媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサを、
第１のグラフィカルな特徴（２３０）を含む第１のフレーム（１２０）と、前記第１のグラフィカルな特徴を含む第２のフレーム（１２２）とを含む表示用の複数のフレーム（１１５）を含むゲームストリームを受信し、
前記第１のフレームと関連付けられた前記第１のグラフィカルな特徴の第１の表示特徴と、前記第２のフレームと関連付けられた前記第１のグラフィカルな特徴の第２の表示特徴との間の第１の差を識別し、かつ、
前記第１の差を示す第１の視覚インジケータ（３３５）を含むオーバーレイ（１２５）を、前記第１のフレームに適用するように操作する、コンピュータ読取可能媒体。

【請求項17】

前記第１の表示特徴は、前記第１のグラフィカルな特徴の第１の位置を含み、前記第２の表示特徴は、前記第１のグラフィカルな特徴の第２の位置を含み、前記第２の位置は前記第１の位置と異なる、請求項１６に記載のコンピュータ読取可能媒体。

【請求項18】

前記第１の表示特徴は、前記第１のグラフィカルな特徴の第１のテクスチャを含み、前記第２の表示特徴は、前記第１のグラフィカルな特徴の第２のテクスチャを含み、前記第２のテクスチャは前記第１のテクスチャと異なる、請求項１６または１７に記載のコンピュータ読取可能媒体。

【請求項19】

前記第１の表示特徴は、前記第１のグラフィカルな特徴の第１のサイズを含み、前記第２の表示特徴は、前記第１のグラフィカルな特徴の第２のサイズを含み、前記第２のサイズは前記第１のサイズと異なる、請求項１６～１８のいずれか１項に記載のコンピュータ読取可能媒体。

【請求項20】

前記命令のセットはさらに、前記第１の差が閾値を超えることに応じて、前記第１のオーバーレイを有する前記第１の視覚インジケータを含める命令を含む、請求項１６～１９のいずれか１項に記載のコンピュータ読取可能媒体。

【請求項21】

前記第１の視覚インジケータは、前記第１の差の大きさに基づく、請求項１６～２０のいずれか１項に記載のコンピュータ読取可能媒体。

【請求項22】

前記第１の視覚インジケータは色を含む、請求項１６～２１のいずれか１項に記載のコンピュータ読取可能媒体。

【請求項23】

前記第１の視覚インジケータはテクスチャを含む、請求項１６～２２のいずれか１項に記載のコンピュータ読取可能媒体。

【請求項24】

前記命令のセットはさらに、
前記第１のフレームと関連付けられた第２のグラフィカルな特徴の第３の表示特徴と、前記第２のフレームと関連付けられた前記第２のグラフィカルな特徴の第４の表示特徴との間の第２の差を識別する命令をさらに含み、
前記オーバーレイは前記第２の差を示す第２の視覚インジケータを含み、前記第２の視覚インジケータは前記第１の視覚インジケータと異なる、請求項１６～２３のいずれか１項に記載のコンピュータ読取可能媒体。

【請求項25】

ゲームストリーム（１１５）用のフレームのストリームを生成するためのサーバ（１０２）と、前記フレームのストリームを受信するためのクライアントデバイス（１０４）とを備えるゲームストリーミングシステム（１００）であって、前記クライアントデバイスは、
第１のグラフィカルな特徴を含む第１のフレーム（１２０）と、前記第１のグラフィカルな特徴を含む第２のフレーム（１２２）とを含む表示用の複数のフレームを含む前記ゲームストリームを受信し、
前記第１のフレームと関連付けられた前記第１のグラフィカルな特徴の第１の表示特徴（２３０）と、前記第２のフレームと関連付けられた前記第１のグラフィカルな特徴の第２の表示特徴との間の第１の差を識別し、
前記第１の差を示す第１の視覚インジケータ（３３５）を含むオーバーレイ（１２５）を、前記第１のフレームに適用するように構成される、ゲームストリーミングシステム。

【請求項26】

前記クライアントデバイスは、請求項１～１５のいずれか１項に記載の方法を実現するように構成される、請求項２５に記載のゲームストリーミングシステム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
インタラクティブビデオストリーミングシステムは、サーバからクライアントデバイスにネットワークを介してビデオフレームをストリーミングする一方で、ユーザがストリーミングされたビデオによって表される仮想環境とインタラクトできるようにする。たとえば、ゲームストリーミングシステムは、ゲーム環境を表すビデオフレームをストリーミングする一方で、ユーザがゲームコントローラまたは他の入力デバイスを介してゲーム環境とインタラクトできるようにする。ユーザは、入力デバイスを操作して、所望の態様でゲーム環境とインタラクトし、クライアントデバイスは、インタラクションを表すシグナリングを、ネットワークを介してサーバに送信する。これに応じて、サーバは、ゲーム環境に対応するゲーム状態を変更し、新しいゲーム状態に基づいて、ゲーム環境を表すビデオフレームを、ネットワークを介してクライアントデバイスに送信する。

【0002】

ユーザ入力およびそれによって生じるビデオフレームを繰返し送信するため、ネットワーク性能はユーザの体験に大きな影響を有し得る。たとえば、ネットワーク送信エラーによって、送信遅延が発生し、送信されたストリームにおいてビデオフレームが欠落または喪失し得る。これらのエラーによって、ビデオのスタッタリングが生じ、ゲームの非反応性が感知され、ユーザ体験に悪影響を与える他の問題が生じることがある。ゲームストリーミングシステムの中には、フレーム補間およびモーションスムージングなどの改善技術を実現することによって、これらの問題に対応するものもある。しかしながら、これらの改善技術の有効性はしばしば、送信エラーによって最も影響を受けるストリーミングされたフレームの特定の特徴を識別することによって決まり、従来技術を用いてこれらの特徴を識別することは困難である。

【発明の概要】

【0003】

概要
提案される解決策は、特に方法に関し、方法は、第１のグラフィカルな特徴を含む第１のフレームと、第１のグラフィカルな特徴を含む第２のフレームとを含む表示用の複数のフレームを含むゲームストリームを受信することと、第１のフレームと関連付けられた第１のグラフィカルな特徴の第１の表示特徴と、第２のフレームと関連付けられた第１のグラフィカルな特徴の第２の表示特徴との間の第１の差を識別することと、第１の差を示す第１の視覚インジケータを含むオーバーレイを、第１のフレームに適用することとを備える。

【0004】

ある例示的な実施形態では、第１の表示特徴は、
－第１のグラフィカルな特徴の第１の位置を含んでもよく、第２の表示特徴は、第１のグラフィカルな特徴の第２の位置を含み、第２の位置は第１の位置と異なり、および／または、
－第１のグラフィカルな特徴の第１のテクスチャを含んでもよく、第２の表示特徴は、第１のグラフィカルな特徴の第２のテクスチャを含み、第２のテクスチャは第１のテクスチャと異なり、および／または、
－第１のグラフィカルな特徴の第１のサイズを含んでもよく、第２の表示特徴は、第１のグラフィカルな特徴の第２のサイズを含み、第２のサイズは第１のサイズと異なる。

【0005】

これに加えてまたは代替的に、方法はさらに、第１の差が閾値を超えることに応じて、第１の視覚インジケータと共に第１のオーバーレイを含むことをさらに備えてもよい。た
とえば、いくつかの実施形態では、第１のグラフィカルな特徴は、第１の表示特徴において、たとえば、画素色、強度、画素アクティビティ、もしくは他の特徴の類似パターン、またはこれらの任意の組合せなどの、表示される画素の特徴において、類似パターンを有してもよい。いくつかの実施形態では、第１のおよび第２のフレーム間の第１のおよび第２の表示特徴のペアは、対応する画素の特徴のパターンの類似度に基づいて対応スコアが割当てられてもよく、（対応）閾値以上の対応スコアを有する特徴は、同じグラフィカルな特徴を表示していると識別されてもよい。同時に、互いに対応しない特徴（すなわち、対応スコアが（対応）閾値より低い特徴）が、第１の差だけ異なり、かつ、差閾値を超えると識別されてもよい。

【0006】

ある例示的な実施形態では、第１の視覚インジケータは、第１の差の大きさに基づいてもよい。そのため、第１の視覚インジケータの色および／またはテクスチャは、たとえば、第１の差の大きさによって異なってもよい。

【0007】

ある例示的な実施形態では、視覚インジケータの特徴は、第１のグラフィカルな特徴と関連付けられた不連続性の種類に対応する。

【0008】

一般に、方法はさらに、視覚インジケータに基づいて、ストリーミングされたフレーム間の不連続性の影響を改善するための改善技術を適用することを備えてもよい。たとえば、改善技術は、ゲームストリームのための、第１の差をぼかすモーションスムージングおよび／またはフレーム補間を含む。いくつかの実施形態では、ぼけの度合いおよび／または種類は、
－視覚インジケータに基づいて、たとえば、第１の差が位置、テクスチャまたはサイズの差に関連するかどうかによって決まり得る視覚インジケータの種類に基づいて、
－および／または、視覚インジケータの大きさに基づいて、判断されてもよい。

【0009】

たとえば、モーションスムージングは、特徴が移動した方向、特徴が移動した距離、および特徴のテクスチャの差などの、１つ以上のグラフィカルな特徴がフレーム間で変化した態様を識別することによって改善可能であり、そのような（第１の）差は、視覚インジケータによって視覚化される。

【0010】

ある例示的な実施形態では、方法はさらに、第１のフレームと関連付けられた第２のグラフィカルな特徴の第３の表示特徴と、第２のフレームと関連付けられた第２のグラフィカルな特徴の第４の表示特徴との間の第２の差を識別することを備えてもよく、オーバーレイは、第２の差を示す第２の視覚インジケータを含み、第２の視覚インジケータは第１の視覚インジケータと異なる。

【0011】

提案される解決策はさらに、命令のセットを有形に具体化するコンピュータ読取可能媒体に関し、命令は、プロセッサによって実行されると、プロセッサを、
－第１のグラフィカルな特徴を含む第１のフレームと、第１のグラフィカルな特徴を含む第２のフレームとを含む表示用の複数のフレームを含むゲームストリームを受信し、
－第１のフレームと関連付けられた第１のグラフィカルな特徴の第１の表示特徴と、第２のフレームと関連付けられた第１のグラフィカルな特徴の第２の表示特徴との間の第１の差を識別し、かつ、
－第１の差を示す第１の視覚インジケータを含むオーバーレイを、第１のフレームに適用するように操作する。

【0012】

さらに、提案される解決策は、ゲームストリーム用のフレームのストリームを生成するためのサーバと、フレームのストリームを受信するためのクライアントデバイスとを備えるゲームストリーミングシステムに関し、クライアントデバイスは、
－第１のグラフィカルな特徴を含む第１のフレームと、第１のグラフィカルな特徴を含む第２のフレームとを含む表示用の複数のフレームを含むゲームストリームを受信し、
－第１のフレームと関連付けられた第１のグラフィカルな特徴の第１の表示特徴と、第２のフレームと関連付けられた第１のグラフィカルな特徴の第２の表示特徴との間の第１の差を識別し、かつ、
－第１の差を示す第１の視覚インジケータを含むオーバーレイを、第１のフレームに適用するように構成される。

【0013】

本開示は特に、ゲームストリーミングシステムにおいてストリーミングされるフレーム間の特徴の不連続性および他の変化を識別するオーバーレイを生成するための技術に関する。ゲームストリーミングシステムのクライアントデバイスは、表示用のゲームコンテンツを表すフレームのストリームを、ネットワークを介してサーバから受信する。クライアントデバイスは、受信したフレームを分析して、連続して受信するフレーム間の位置、サイズ、テクスチャ、または他の視覚特徴のうちの１つ以上を変更する特定の特徴などの、複数のフレームの特徴の不連続性および他の変化を識別する。クライアントデバイスは、識別された特徴を示すためにオーバーレイを生成し、オーバーレイを、受信したフレームのうち少なくとも１つと共に表示する。クライアントデバイスのユーザは、フレーム間の不連続性である特徴を素早くかつ容易に識別可能であり、それゆえ、そのような不連続性に対応するゲームストリーミングシステムのアスペクトを素早くかつ容易に調整して、ゲームストリーミングシステムの性能を改善することができる。

【0014】

例示すると、いくつかの実施形態では、ゲームストリーミングシステムは、フレーム補間、モーションスムージング、および、たとえばネットワーク送信エラーから生じ得るストリーミングされたフレーム間の不連続性の影響を隠す、または他の態様では改善する類似の技術を実現可能である。これらの技術の有効性は、フレーム間で不連続であるストリームの特定の特徴を識別することによって、増大され得る。たとえば、モーションスムージングは、クライアントデバイスにおいて不連続性に遭遇する特定のオブジェクト、テクスチャ、または他の特徴を識別することによって、より効果的になり得る。しかしながら、ストリーミングされたフレームは、しばしば多数の特徴を有しており、かつ、特徴の不連続性はストリーミングされたフレームの全体のサイズに対して小さいことがあるため、フレーム間で不連続な特定の特徴を視覚的に識別することは困難な場合がある。オーバーレイを採用して不連続の特徴を視覚的に強調表示することによって、ゲームストリーミングシステムは、システムの開発者または他のユーザが、不連続な特徴を素早く識別し、モーションスムージングまたは他の改善技術に対して対応する調整を行って、ゲームストリーミングシステムの開発および性能を改善できるようにする。

【0015】

添付の図面の参照により、本開示はより良く理解され、その数多くの特徴および利点が当業者に明らかになるであろう。各種図面において同一の参照符号の使用は同様または同一のアイテムを示す。

【図面の簡単な説明】

【0016】

【図1】いくつかの実施形態に係る、ゲームストリームにおけるフレーム間の特徴の不連続性および他の変化を識別するフレームオーバーレイを生成するゲームストリーミングシステムのブロック図である。

【図2】いくつかの実施形態に係る、図１のゲームストリーミングシステムにおけるゲームストリームのフレーム間の特徴の不連続性の例を示す図である。

【図3】いくつかの実施形態に係る、フレームにおける特徴不連続性を識別する、図１のオーバーレイの例を示す図である。

【図4】いくつかの実施形態に係る、フレームにおける複数の特徴の不連続性を識別する、図１のオーバーレイの例を示す図である。

【図5】いくつかの実施形態に係る、特徴の不連続性を識別する、図１のオーバーレイの他の例を示す図である。

【図6】いくつかの実施形態に係る、図１のオーバーレイを生成するオーバーレイジェネレータを示すブロック図である。

【図7】いくつかの実施形態に係る、ゲームストリームのフレーム間の特徴の不連続性を識別するオーバーレイを生成する方法を示すフロー図である。

【発明を実施するための形態】

【0017】

詳細な説明
図１は、一般にレンダリングされたゲームコンテンツをサーバ１０２からクライアントデバイス１０４にストリーミングするように構成されたゲームストリーミングシステム１００を示す。図示された例では、サーバ１０２およびクライアントデバイス１０４は、ネットワーク１１０を介して通信を行い、ネットワーク１１０は、一般にビデオデータを含むデータを１つ以上のルータ、サーバ、および通信タワー（たとえば、セルラー通信タワー）など、またはこれらの任意の組合わせを介して転送するように構成された、パケット交換方式または他のネットワークである。そのため、さまざまな実施形態では、ネットワーク１１０は、ワイドエリアネットワーク（たとえば、インターネット）およびローカルエリアネットワークなど、またはこれらの任意の組合わせである。

【0018】

サーバ１０２およびクライアント１０４は一般に、ストリーミングされたゲームセッションをまとめて実現するように構成され、インタラクティブゲームコンテンツは、サーバ１０２からクライアントデバイス１０４にストリーミングされる。そのため、サーバ１０２は、ラックマウントサーバ、クラスタサーバ（すなわち、サーバデバイスのクラスタにおいて実現されるサーバデバイス）およびモバイルサーバデバイスなど、またはこれらの組合わせなどの、本明細書でさらに説明する機能性を実現する任意の種類のコンピュータデバイスでもよい。クライアントデバイス１０４は、ビデオフレームのユーザに対する表示およびユーザ入力の受信が可能な任意のコンピュータデバイスでもよく、それゆえ、デスクトップまたはラップトップコンピュータ、デジタルメディアプレイヤー、ゲームコンソール、スマートフォン、およびタブレットなどでもよい。

【0019】

ストリーミングされるゲームセッション中のゲームコンテンツのクライアントデバイスへのストリーミングをサポートするために、サーバ１０２は、中央処理装置（ＣＰＵ）１０６およびグラフィック処理ユニット（ＧＰＵ）１０８などの複数の処理ユニットを含む。ＣＰＵ１０６は、一般にコンピュータプログラムの形式で編成された命令の汎用セットを実行し、かつ、サーバ１０２の代わりにタスクを実行するように構成された処理ユニットである。そのようなコンピュータプログラムは、たとえば、オペレーティングシステム、仮想マシン、データセキュリティプログラム（たとえば、データ暗号化／復号化プログラム）、ウェブページ、およびデータベースプログラムなどである。

【0020】

ＧＰＵ１０８は、一般にＣＰＵ１０６から受信した指令に基づいてグラフィックおよびベクトル処理と関連付けられた動作を実行するように構成された処理ユニットである。たとえば、１つ以上の汎用プログラムを実行する間に、ＣＰＵ１０６は、表示用のグラフィカルモデルを生成および操作するように指令を生成し、これらの指令をＧＰＵ１０８に提供する。これに応じて、ＧＰＵ１０８は、１つ以上の対応するグラフィカル動作を実行することによって指令を実行して、表示用に１つ以上のフレームを生成するようにグラフィカルモデルを操作する。いくつかの実施形態では、ＧＰＵ１０８によって生成されるフレームは、表示デバイスにおける表示の準備が整った、レンダリングされたフレームである。

【0021】

ストリーミングされたゲームコンテンツの受信および表示をサポートするために、クラ
イアントデバイス１０４は、ＣＰＵ１１２およびＧＰＵ１１６を含む。これらのモジュールの各々は、サーバ１０２の対応するモジュールに類似する。そのため、たとえば、ＣＰＵ１１２は一般に、オペレーティングシステムおよびウェブブラウザなどのうちの１つ以上を実行するなど、クライアントデバイス１０４に代わって汎用命令を実行するように構成される。なお、いくつかの実施形態では、ＣＰＵ１１２およびＧＰＵ１１６は一般に、サーバ１２０のＣＰＵ１０６およびＧＰＵ１０８と比較して比較的小さな計算能力を有する。ゲームストリーミングシステム１００はそれゆえ、クライアントデバイス１０４だけによって生成可能なより高品質のゲームコンテンツをクライアント１０４にストリーミングするために、サーバ１０２の計算能力を活用する。

【0022】

動作中、クライアント１０４は、クライアント１０４において実行されるコンピュータプログラム（図示せず）を介して、たとえばウェブブラウザ、専用ゲームストリーミングプログラムおよびビデオストリーミングサービスプログラムなどを介してユーザがゲームセッションをリクエストすることに応じて、ゲームストリーミングセッションを開始する。ユーザのリクエストに応じて、ＣＰＵ１１２は、ネットワーク１１０を介してサーバ１０２にゲームセッションリクエストを送信する。これに応じて、サーバ１０２は、ゲームプログラム１０９の実行を開始する。いくつかの実施形態では、サーバ１０２は、ゲームプログラムのライブラリのうちのいずれか１つを実行するように構成され、クライアント１０４によって提供されるリクエストは、実行されるゲームプログラムのうちの特定の１つを示す。

【0023】

実行中、ゲームプログラム１０９は、ゲームの条件または状態を表す、ゲーム状態と呼ばれるデータの集まりを維持する。クライアント１０４のユーザは、ゲームコントローラまたは他の入力デバイスを用いて、ＣＰＵ１１２に入力データを提供し、ＣＰＵ１１２は、ネットワーク１１０を介してゲームプログラム１０９へ入力データを伝達する。入力データに応じて、ゲームプログラム１０９は、ゲームプログラム１０９によって実現される特定のゲームのルールに従って、ゲーム状態を変更する。

【0024】

ゲーム状態に基づいて、実現されるゲームのルールに従って、ゲームプログラム１０９はＣＰＵ１０６およびＧＰＵ１０８を用いて、仮想環境、ゲームボード、選択スクリーンおよびヘッドアップディスプレイ（ＨＵＤ）など、またはこれらの任意の組合わせなどの、視覚ゲーム情報を表すレンダリングされたフレームを生成する。サーバ１０２は、これらのレンダリングされたフレーム、指定されたストリーミングされたフレーム１１５を、クライアント１０４への通信用にネットワーク１１０に提供する。クライアントデバイス１０４は、少なくともストリーミングされたフレーム１１５のサブセットを受信し、ＧＰＵ１１６を用いて、ディスプレイ１１７において受信したフレームを表示する。そのため、クライアントデバイス１０４は、視覚ゲーム情報をユーザに対して表示し、ユーザは、これに応じてゲームコントローラまたは他の入力デバイスを用いてさらに他の入力データを提供し、その結果、ゲームプログラム１０９によって維持されるゲーム状態がさらに変化し、かつ、フレームストリーム１１５のフレームがこれに対応して変化する。このように、クライアントデバイス１０４のユーザは、サーバ１０２によって実行されるゲームをプレイするために、ゲームプログラム１０９とインタラクトする。

【0025】

場合によっては、ネットワーク１１０における送信エラーまたは他のエラーによって、ストリーミングされたフレーム１１５のうちの１つ以上のフレームが受信できなくなる、または、クライアント１０４において破損した態様で受信されて表示できないことがある。本明細書では、そのようなフレームを「欠落」フレームという。欠落フレームは、ゲームプログラム１０９を用いたユーザの体験に悪影響を及ぼし得るジャンプ、スタッタリング、および他の視覚的な不連続性を引き起こし得る。場合によっては、フレームが生成されているため、ゲームプログラム１０９は、ストリーミングされたフレーム１１５にグラ
フィカル効果を適用して、たとえばフレーム間の不連続性をユーザがより感知できなくなるようにすることによって、欠落フレームの影響に対応することができる。たとえば、ゲームプログラム１０９は、ストリーミングされたフレーム１１５の一連のフレーム間の差をぼかすモーションスムージングを適用可能であり、これにより、不連続性がユーザに見えにくくなる。いくつかの実施形態では、クライアント１０４において実行されるプログラムによって、これらの改善グラフィカル効果が全体的にまたは部分的に適用される。

【0026】

場合によっては、改善グラフィカル効果は、クライアント１０４によって表示されるフレーム間の特定の不連続性の特徴を識別することによって改善可能である。たとえば、モーションスムージングは、１つ以上のグラフィカルな特徴がフレーム間で変化した態様、たとえば特徴が移動した方向、特徴が移動した距離、および特徴のテクスチャの差などを識別することによって、改善可能である。それゆえ、ゲームプログラム１０９の開発または実行中に、開発者またはユーザがゲームプログラム１０９によって実現される改善グラフィカル効果に対して対応する調整を実行可能になるように、クライアント１０４によって表示されるフレーム間の不連続性を視覚的に識別することは有用な場合がある。しかしながら、表示されるフレーム間の特徴の不連続性は、表示されるフレームの全体的なサイズに対して小さい場合があり、それゆえ、ユーザまたは開発者が視覚的に識別することは困難である。したがって、ユーザまたは開発者が表示されるフレーム間の不連続性を識別するのを支援するために、ＧＰＵ１１６は、表示されるフレーム間の不連続性の視覚インジケータを提供するオーバーレイ１２５を生成するように構成される。

【0027】

たとえば、いくつかの実施形態では、ＧＰＵ１１６は、２つの連続して受信されるフレーム（たとえば、フレーム１２０および１２２）の各々を分析するように構成される。場合によっては、ストリーミングされたフレーム１１５のうちの１つ以上はネットワーク１１０を介した送信中に欠落しているため、フレーム１２０および１２２は、ストリーミングされたフレーム１１５における不連続のフレームに対応する。ＧＰＵ１１６は、フレーム１２０および１２２の各々における視覚特徴を識別し、さらに、視覚特徴間の対応を識別する。たとえば、いくつかの実施形態では、ＧＰＵ１１６は、各々のフレームの画素の特徴を分析し、画素のうち１つ以上のサブセットの色、強度、画素アクティビティ、もしくは他の特徴、またはこれらの特徴の任意の組合わせなどの画素の特徴のパターンに基づいて、特徴を識別する。たとえば、場合によっては、ＧＰＵ１１６は、オブジェクトエッジ、コーナー、または他の視覚特徴などを表す色パターンなどの、特定のパターンを有するフレームの画素のサブセットの色に基づいて、フレーム１２０の特徴を識別する。いくつかの実施形態では、サーバ１０２は、ストリーミングされた各フレームの予想される特徴を識別する、ストリーミングされたフレーム１１５を有するメタデータを提供し、ＧＰＵ１１６は、各フレームにおける特徴を識別するために、受信したフレームの分析の代わりに、またはこれに加えて、メタデータを採用する。

【0028】

フレーム１２０および１２２の各々において１つ以上の特徴を識別した後で、またはそれと並行して、ＧＰＵ１１６は、特徴間の対応を識別する。たとえば、いくつかの実施形態では、ＧＰＵ１１６は、画素色、強度、画素アクティビティ、もしくは他の特徴の類似パターンなどの、対応する画素の特徴の類似パターン、またはこれらの任意の組合わせを有するフレーム１２０および１２２の特徴を識別する。いくつかの実施形態では、フレーム１２０および１２２間の特徴の各ペアに、対応する画素の特徴のパターンの類似度に基づいて対応スコアを割当て、同じ特徴であるという閾値を超える対応スコアを有する特徴を識別する。

【0029】

フレーム１２０および１２２の両方における同じ特徴の識別に応じて、ＧＰＵ１１６は、フレーム１２０および１２２における特徴間の不連続性を識別する。本明細書で用いるように、不連続性は、各フレームにおける特徴の位置の差、各フレームにおける特徴の１
つ以上の画素の色の差、および各フレームにおける特徴のグラフィカルテクスチャの差などの、少なくともフレームのペア間において識別される特徴の差、または差の組合わせでもよい。

【0030】

ＧＰＵ１１６は、識別された各特徴の視覚インジケータを有するように、かつ、フレーム１２０および１２２間の特徴の不連続性を示すように、オーバーレイ１２５を生成する。いくつかの実施形態では、オーバーレイ１２５のサイズはフレーム１２０および１２２のサイズに対応し、ＧＰＵ１１６は、フレーム１２２のうちの１つの対応する特徴の場所においてまたはその付近にインジケータが位置するように、特徴について視覚インジケータを位置決めし、これによって、オーバーレイおよびフレーム１２２が共に表示されると、視覚インジケータが対応する特徴を視覚的に強調表示する。いくつかの実施形態では、ＧＰＵ１１６は、特徴について識別された不連続性のうちの１つ以上に基づいて、特徴について視覚インジケータを選択する。たとえば、いくつかの実施形態では、視覚インジケータのサイズ、形状、もしくは色、またはこれらの組合わせは、対応する不連続性の大きさを示す。それゆえ、たとえば、より大きな視覚インジケータは特徴と関連付けられたより大きな位置の不連続性を示す場合がある。

【0031】

さらに、いくつかの実施形態では、視覚インジケータの異なる特徴は、特徴と関連付けられた異なる種類の不連続性に対応する。それゆえ、たとえば、いくつかの実施形態では、視覚インジケータのサイズは特徴と関連付けられた位置の不連続性の大きさ（すなわち、フレーム１２０および１２２間における特徴の位置の差の量）を示す一方で、視覚インジケータの色は、特徴間のテクスチャ不連続性があるかどうかを示す（たとえば、白は、フレーム１２０および１２２の間で特徴のテクスチャの差がないと示し、赤はテクスチャの差を示す）。

【0032】

いくつかの実施形態では、ＧＰＵ１１６は、ディスプレイ１１７での表示用に、フレーム１２２およびオーバーレイ１２５を１つのフレームに合成する。そのため、合成フレームが表示されると、オーバーレイ１２５の視覚インジケータは、フレーム１２０および１２２間の特徴の不連続性そのものが裸眼で見るのが困難または不可能な場合であっても、これらの不連続性を視覚的に示す。クライアントデバイス１０４のユーザは、識別された不連続性に基づいて、ディスプレイ１１７の表示設定、クライアント１０４において実行されているＧＰＵ１１６またはゲームクライアントプログラム（図示せず）の設定、およびゲームプログラム１０９の設定など、またはこれらの組合わせなどに対する調整などの調整を行うことが可能である。たとえば、ユーザは、ゲームプログラム１０９の１つ以上のモーションスムージング設定を調整して、プログラムのモーションスムージング部分の挙動の態様を調整して、識別された不連続性にさらに良好に対応し、かつ、クライアントデバイス１０４における全体的なゲーム体験を改善することが可能である。

【0033】

図２は、いくつかの実施形態に係る、フレーム１２０および１２２の間の特徴２３０の不連続性の例を示す。図示された例では、特徴２３０は、フレーム１２０においてある位置にあるがフレーム１２２において異なる位置にあり、特に、右にシフトしている。それゆえ、図２は、特徴２３０についての位置の不連続性を示す。特徴２３０はそのため、オブジェクトのコーナー、オブジェクトのエッジ、オブジェクトの特定のテクスチャの特徴、特定の形状、色、テクスチャ、またはこれらの組合わせなどの特定の特徴を有するオブジェクトの部分などの、フレーム間の位置を変更可能な任意の視覚特徴でもよい。

【0034】

なお、図２は特徴２３０と関連付けられた位置の不連続性を示すが、他の実施形態では、特徴２３０は他の不連続性を有してもよい。これらの他の不連続性は、図２に示す位置の不連続性の代わりでも、またはこれに追加されてもよく、任意に組合わされてもよい。たとえば、特徴２３０は、異なる平行移動位置、異なる回転位置でもよく、異なるテクス
チャおよび異なる色など、またはこれらの任意の組合わせを有してもよい。

【0035】

図３は、いくつかの実施形態に係る、特徴２３０についての視覚インジケータ３３５を提供するオーバーレイ１２５の例を示す。図示された例では、オーバーレイをフレームと区別するために、オーバーレイ１２５は破線の輪郭で示され、フレーム１２２からわずかにずれていると描写されている。しかしながら、ＧＰＵ１１６は、フレーム１２２とオーバーレイ１２５とがディスプレイ１１７において共に効果的に表示されるように、表示用に、オーバーレイ１２５をフレーム１２２と合成することが可能である。特に、インジケータ３３５は、関連付けられた不連続性の視覚インジケータを提供するために、特徴２３０の上またはこの付近に表示される。

【0036】

異なる実施形態では、インジケータ３３５は、特徴２３０と関連付けられた不連続性の種類、不連続性の大きさ、および不連続性の特定の特徴（たとえば、位置の不連続性と関連付けられた空間方向）などのうちの１つ以上、またはこれらの任意の組合わせを示す色、形状、テクスチャ、情報テキスト、アイコン、もしくは他の視覚インジケータ、またはこれらの組合わせである。たとえば、位置の不連続性の場合、インジケータ３３５は、位置の不連続性のサイズおよび方向を示す線または矢印でもよい。

【0037】

場合によっては、フレーム１２０および１２２の複数の特徴は、フレーム間の不連続性を有する。たとえば、フレーム１２０および１２２の複数の特徴は、フレーム間で位置をシフトする場合がある。いくつかの実施形態では、ＧＰＵ１１６は、フレーム１２０および１２２の間の不連続性ごとに視覚インジケータを含むようにオーバーレイ１２５を生成する。いくつかの実施形態に係る一例を図４に示す。図示された例では、オーバーレイ１２５は、視覚インジケータ３３５、４４２、および４４６を含み、これらの各々は、対応する特徴、指定された特徴２３０、４４０、および４４４と関連付けられた不連続性を視覚的に示す。いくつかの実施形態では、特徴２３０、４４０、および４４４の各々は、フレーム１２０および１２２においてＧＰＵ１１６によって識別された異なる種類の特徴である。たとえば、いくつかの実施形態では、特徴２３０はオブジェクトのエッジであり、特徴４４０は同じオブジェクトのコーナーであり、特徴４４４は、識別されたテクスチャを有する異なるオブジェクトの部分である。他の実施形態では、特徴２３０、４４０、および４４０のうちの１つ以上は、オブジェクトのエッジまたはコーナーなどの、同じ種類の特徴である。

【0038】

各視覚インジケータ３３５、４４２、および４４６の種類は、対応する特徴と関連付けられた不連続性の種類によって決まる。それゆえ、各視覚インジケータ３３５、４４２、および４４６は、対応する特徴と関連付けられた不連続性の種類を視覚的に示す異なるサイズ、色、形状、方向、テクスチャ情報、およびアイコンなど、またはこれらの組合わせなどの、異なる特徴を有してもよい。たとえば、いくつかの実施形態では、視覚インジケータ３３５は、特徴２３０が位置の不連続性を有すると示すために赤色である一方で、視覚インジケータ４４２は、特徴４４０がテクスチャの不連続性を有すると示すために赤色を有する。他の実施形態では、視覚インジケータ４４２は、特徴４４０について色の不連続性を示すために「Ｘ」形状を有する一方で、視覚インジケータ４４４は、特徴４４４について回転の不連続性を示すために「プラス」形状を有する。

【0039】

いくつかの実施形態では、視覚インジケータの種類、または視覚インジケータのサイズ、色、または形状などのその特徴は、関連付けられた不連続性の大きさを示す。たとえば、いくつかの実施形態では、より大きな視覚インジケータは、より小さな視覚インジケータより大きな不連続性を示す。他の実施形態では、ある特定の色の視覚インジケータは、異なる特定の色の視覚インジケータより大きな不連続性を示す。それゆえ、図４の例では、オーバーレイ１２５は、複数の特徴不連続性についての視覚インジケータを含み、各視
覚インジケータは、関連付けられた不連続性の種類、大きさ、および他の特徴を示してもよい。

【0040】

図５は、いくつかの実施形態に係る、フレーム１２２と合成されたオーバーレイ１２５の他の例を示す。図５の例では、オーバーレイ１２５は、矩形状の視覚インジケータを含み、各矩形は、対応する矩形における、またはこの付近のフレーム１２２の特徴の不連続性を示す。矩形のサイズは、対応する不連続性の大きさを示す。たとえば、視覚インジケータ５６１は視覚インジケータ５６２より大きく、視覚インジケータ５６１と関連付けられた不連続性が視覚インジケータ５６２と関連付けられた不連続性より大きいと示す。オーバーレイ１２５のユーザはしたがって、最も大きな不連続性を有する特徴を素早く識別可能であり、これに応じて、たとえばモーションブラーの特徴の変更およびフレーム補間など、またはこれらの組合わせによって、最も大きな不連続性に対応するためにゲームプログラム１０９の１つ以上のアスペクトを調整可能である。

【0041】

図６は、いくつかの実施形態に係る、特徴識別子６５２およびオーバーレイジェネレータ６５５を含む、オーバーレイ１２５を生成するためのシステムのブロック図である。いくつかの実施形態では、特徴識別子６５２およびオーバーレイジェネレータ６５５は、クライアントデバイス１０４のＣＰＵ１１２およびＧＰＵ１１６のうちの１つ以上において実行されるソフトウェアモジュールである。他の実施形態では、特徴識別子６５２およびオーバーレイジェネレータ６５５の１つ以上のアスペクトは、クライアントデバイス１０４の専用ハードウェアによって実現される。

【0042】

特徴識別子６５２は、フレーム１２０および１２２を分析して各フレームに含まれる特徴を識別し、特徴間の対応を識別し、かつ、識別された特徴および対応をデータ構造が指定された特徴６５４に格納するように構成される。特徴を識別するために、特徴識別子６５２は、エッジ検出、コーナー検出、ブロブ検出、リッジ検出、およびテクスチャ検出など、またはこれらの任意の組合わせなどの１つ以上の特徴識別プロセスを実行する。これに加えて、図６の例では、特徴検出器は、フレーム１２０および１２２の１つ以上の特徴を識別する、またはこれらの特徴を識別するためのヒントを与える特徴メタデータ６５０を、サーバ１０２（図１）から受信する。いくつかの実施形態では、ゲームプログラム１０９は、ゲーム状態と関連付けられたオブジェクトデータに基づいて、ストリーミングされたフレーム１１５についてのフレームの生成中に、特徴メタデータを生成する。たとえば、いくつかの実施形態では、ゲームプログラム１０９は、ゲーム状態に基づいてフレーム内のオブジェクトの位置、テクスチャ、および他の特定の特徴を判断して、仮想環境、プレイヤーキャラクタ、およびゲーム情報オーバーレイなどのうちの１つ以上など、ゲーム状態の視覚表示を生成する。ゲームプログラム１０６は、特徴メタデータ６５０におけるオブジェクトのうちの１つ以上について、位置情報、テクスチャ情報、および他の特徴情報を格納してもよい。特徴識別子６５２は、特徴メタデータ６５０が表す各オブジェクトについて特徴が存在するとみなすこと、ならびに、エッジ、コーナー、およびテクスチャなどを識別するためにオブジェクト特徴情報を用いることなどによって、特徴検出を支援するために、格納された情報を使用可能である。

【0043】

フレーム１２０および１２２の各々における１つ以上の特徴を識別した後で、特徴識別子６５０は、特徴間の対応を判断する。すなわち、特徴識別子６５０は、フレーム１２２のどの特徴がフレーム１２０のどの特徴に対応するかを判断する。特徴識別子６５０は、たとえば、画素色、強度、画素アクティビティ、もしくは他の特徴の類似パターン、またはこれらの任意の組合わせなどの、特徴のペアにおける各特徴の対応する画素の特徴の類似パターンに基づいて、特徴間の対応を判断する。いくつかの実施形態では、特徴識別子６５０は、これらの特徴が各フレームの同じ領域内にある場合のみ、特徴間の対応を識別して、対応識別を簡潔にする。

【0044】

フレーム１２０の所与の特徴がフレーム１２２の所与の特徴に対応するかどうかを識別するために、特徴識別子６５０は、特徴のペアの各々に、対応する画素の特徴のパターンの類似度を示す対応スコアを割当てる。対応スコアは、画素色の類似、画素アクティビティ、画素強度、および画素色または強度のパターンなどの、さまざまな要素のいずれかに基づいてもよい。特徴識別子６５０は、対応する特徴であるという閾値を超える対応スコアを有する特徴を識別する。

【0045】

オーバーレイジェネレータ６５５は、特徴識別子６５０から特徴６５４を受信する。特徴６５４によって示される対応する特徴のセットごとに、オーバーレイジェネレータは、平行移動位置、回転位置、色、およびテクスチャなどの差などの、対応する特徴間の不連続性を判断する。オーバーレイジェネレータ６５５は、本明細書で説明するように、特徴と関連付けられた不連続性を示す特徴６５４のうちの識別された特徴の各々の視覚インジケータを有するように、オーバーレイ１２５を生成する。

【0046】

図７は、いくつかの実施形態に係る、ゲームストリームの受信されたフレーム間の視覚インジケータを有するオーバーレイを生成する方法７００を示すフロー図である。説明の目的で、方法７００は、図１のゲームストリーミングシステム１００における実現例に関して説明される。ブロック７０２で、クライアントデバイス１０４は、フレーム１２０および１２２を含む、ストリーミングされたフレーム１１５のフレームのうちの少なくとも一部を受信する。ブロック７０４で、ＧＰＵ１１６は、フレーム１２０および１２２の各々における特徴を識別し、特徴間の対応を識別する。ブロック７０６で、ＧＰＵ１１６は、対応する特徴間の不連続性を識別する。ブロック７０８で、ＧＰＵ１１６は、ブロック７０６で識別された不連続性について、視覚インジケータを含むオーバーレイ１２５を生成する。ＧＰＵ１１６は、オーバーレイ１２５をフレーム１２２と合成し、表示用に、合成されたフレームを表示デバイス１１７に送信して、ユーザが受信されたフレームの不連続性を素早く視覚的に識別できるようにする。

【0047】

いくつかの実施形態において、上記技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現することができる。ソフトウェアは、非一時的なコンピュータ読取可能記憶媒体上に格納またはそうでなければ有形に実現された実行可能な命令の１つ以上のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されると１つ以上のプロセッサを操作して上記技術の１つ以上の態様を実施する命令を含み得る。非一時的なコンピュータ読取可能記憶媒体は、たとえば、磁気もしくは光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、またはその他の１つもしくは複数の不揮発性メモリデバイスなどを含み得る。非一時的なコンピュータ読取可能記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または、１つ以上のプロセッサによって解釈されるまたはそうでなければ実行可能な他の命令フォーマットであってもよい。

【0048】

コンピュータ読取可能記憶媒体は、使用中にコンピュータシステムからアクセスされて命令および／またはデータをコンピュータシステムに提供することが可能な、任意の記憶媒体、または記憶媒体の組み合わせを含み得る。このような記憶媒体は、光媒体（たとえば、コンパクトディスク（ＣＤ）、デジタル多目的ディスク（ＤＶＤ）、Ｂｌｕ－Ｒａｙ（登録商標）ディスク）、磁気媒体（たとえば、フロッピー（登録商標）ディスク、磁気テープ、もしくは磁気ハードドライブ）、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュ）、不揮発性メモリ（たとえば、読出し専用メモリ（ＲＯＭ）もしくはフラッシュメモリ）、または微小電子機械システム（ＭＥＭＳ）ベースの記憶媒体を含み得るが、これらに限定される訳ではない。コンピュータ読取可能記憶媒
体は、コンピューティングシステムに埋め込まれたものであってもよく（たとえば、システムＲＡＭもしくはＲＯＭ）、コンピューティングシステムに固定的に装着されたものであってもよく（たとえば、磁気ハードドライブ）、コンピューティングシステムに着脱可能に装着されたものであってもよく（たとえば、光ディスクもしくはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されたものであってもよい（たとえば、ネットワークアクセス可能記憶装置（ＮＡＳ））。

【0049】

なお、全体の説明における上記アクティビティまたは要素のうちのすべてが必要な訳ではなく、ある特定のアクティビティまたはデバイスの一部は不要である場合があり、先に述べたものに加えて１つ以上の他のアクティビティが実行されるまたは要素が含まれる場合がある。またさらに、アクティビティの記載順序は必ずしもアクティビティの実行順序ではない。また、コンセプトは特定の実施形態に言及しながら記載している。しかしながら、当業者は、以下の請求項に記載の本開示の範囲から逸脱することなく各種修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的な意味ではなく例示とみなされるべきものであり、このような修正はすべて本開示の範囲に含まれることが意図されている。

【0050】

利益、その他の利点、および問題解決策は、特定の実施形態に関して説明されている。しかしながら、これらの利益、利点、問題解決策、および、何らかの利益、利点または解決策を生じさせるまたはより際立ったものにする何らかの特徴（複数可）は、請求項のうちのいずれかまたはすべての、決定的な、必要な、または不可欠な特徴と解釈されることを意図したものではない。さらに、上に開示された特定の実施形態は例示にすぎない。なぜなら、開示されている主題は、本明細書の教示の利益を享受する当業者にとって明白である、異なっているが均等である態様で修正および実施し得るからである。以下の請求項に記載されているもの以外の、本明細書に示される構成または設計の詳細に対する限定は意図されていない。したがって、開示された特定の実施形態は変更または修正が可能であり、このような変形がすべて開示されている主題の範囲に含まれることは、明らかである。よって、本明細書において求める保護は以下の請求項に記載の通りである。

【図1】