(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】ゲームストリーミングのための方法および装置
(51)【国際特許分類】
A63F 13/358 20140101AFI20221212BHJP
A63F 13/86 20140101ALI20221212BHJP
A63F 13/533 20140101ALI20221212BHJP
H04N 19/167 20140101ALI20221212BHJP
H04N 19/132 20140101ALI20221212BHJP
H04N 19/164 20140101ALI20221212BHJP
H04N 21/238 20110101ALI20221212BHJP
【FI】
A63F13/358
A63F13/86
A63F13/533
H04N19/167
H04N19/132
H04N19/164
H04N21/238
(21)【出願番号】P 2020124151
(22)【出願日】2020-07-21
【審査請求日】2020-07-21
(31)【優先権主張番号】10-2020-0042236
(32)【優先日】2020-04-07
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519199657
【氏名又は名称】エヌシーソフト・コーポレイション
【氏名又は名称原語表記】NCSOFT CORPORATION
【住所又は居所原語表記】(SAMSEONG‐DONG) 509, TEHERAN‐RO, GANGNAM‐GU, SEOUL 06169, REPUBLIC OF KOREA
(74)【代理人】
【識別番号】110001818
【氏名又は名称】弁理士法人R&C
(72)【発明者】
【氏名】ホワン・キム
(72)【発明者】
【氏名】スン・ウク・ベク
【審査官】宇佐田 健二
(56)【参考文献】
【文献】特表2020-503906(JP,A)
【文献】特開2020-035455(JP,A)
【文献】特開2003-009120(JP,A)
【文献】特開2017-199994(JP,A)
【文献】国際公開第2018/179880(WO,A1)
【文献】特開2004-266575(JP,A)
【文献】特開2009-232178(JP,A)
【文献】特開2017-018245(JP,A)
【文献】特開2019-114106(JP,A)
【文献】中国特許出願公開第110915225(CN,A)
【文献】米国特許出願公開第2020/0099733(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A63F 13/00-13/98,9/24
H04N 19/132,19/164,19/167,21/238
(57)【特許請求の範囲】
【請求項1】
1つ以上のハードウェアプロセッサと、1つ以上の通信インターフェースと、を含むストリーミング装置における前記1つ以上のハードウェアプロセッサによって、
ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第1映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第2映像を生成するステップと、
前記第1映像の映像品質が前記第2映像の映像品質以上になるように、前記第1映像および前記第2映像のそれぞれの映像品質を決定するステップと、
前記決定された映像品質に基づいて前記第1映像および前記第2映像をそれぞれエンコーディングするステップと、
前記エンコーディングされた第1映像および前記エンコーディングされた第2映像をクライアント装置にストリーミングするステップと、を含み、
前記第1映像は、前記複数の画面構成要素のうち、予め設定された1つ以上の画面構成要素を含み、前記予め設定された1つ以上の画面構成要素は、UI(User Interface)
を表現するためのUI客体を含み、
前記
UI客体は、UIイメージおよびイベント通知メッセージ
を含み、前記第2映像に割り当てる画面構成要素がゲームキャラクターないし体力ゲージであるストリーミング方法。
【請求項2】
前記生成するステップは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定する請求項1に記載のストリーミング方法。
【請求項3】
前記決定するステップは、予め設定された映像品質に基づいて前記第1映像の映像品質を決定する請求項1に記載のストリーミング方法。
【請求項4】
前記決定するステップは、前記予め設定された映像品質を有するように、前記第1映像の映像品質を決定する請求項3に記載のストリーミング方法。
【請求項5】
前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第1映像の映像品質を決定するが、前記第1映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第1映像の映像品質を決定する請求項4に記載のストリーミング方法。
【請求項6】
前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第2映像の映像品質を決定する請求項1に記載のストリーミング方法。
【請求項7】
前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定される請求項1に記載のストリーミング方法。
【請求項8】
1つ以上のハードウェアプロセッサと、1つ以上の通信インターフェースと、を含み、
前記1つ以上のハードウェアプロセッサは、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第1映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第2映像を生成し、
前記第1映像の映像品質が前記第2映像の映像品質以上になるように、前記第1映像および前記第2映像のそれぞれの映像品質を決定し、
前記決定された映像品質に基づいて前記第1映像および前記第2映像をそれぞれエンコーディングし、
前記1つ以上の通信インターフェースを介して、前記エンコーディングされた第1映像および前記エンコーディングされた第2映像をクライアント装置にストリーミングし、
前記第1映像は、前記複数の画面構成要素のうち、予め設定された1つ以上の画面構成要素を含み、前記予め設定された1つ以上の画面構成要素は、UI(User Interface)
を表現するためのUI客体を含み、
前記
UI客体は、UIイメージおよびイベント通知メッセージ
を含み、前記第2映像に割り当てる画面構成要素がゲームキャラクターないし体力ゲージであるストリーミング装置。
【請求項9】
前記1つ以上のハードウェアプロセッサは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定する請求項8に記載のストリーミング装置。
【請求項10】
前記1つ以上のハードウェアプロセッサは、予め設定された映像品質に基づいて前記第1映像の映像品質を決定する請求項8に記載のストリーミング装置。
【請求項11】
前記1つ以上のハードウェアプロセッサは、前記予め設定された映像品質を有するように、前記第1映像の映像品質を決定する請求項10に記載のストリーミング装置。
【請求項12】
前記1つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第1映像の映像品質を決定するが、前記第1映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第1映像の映像品質を決定する請求項10に記載のストリーミング装置。
【請求項13】
前記1つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第2映像の映像品質を決定する請求項8に記載のストリーミング装置。
【請求項14】
前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定される請求項8に記載のストリーミング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ゲームストリーミング技術に関する。
【背景技術】
【0002】
近年、有線/無線ネットワーク技術の発展によって、ユーザーが高性能の装置を有さなくても高仕様のゲームをプレイできるようにするためのゲームストリーミングサービスが提供されている。ゲームストリーミングサービスは、遠隔に存在する高性能の装置で実行されるゲームのゲームプレイ映像をユーザーが用いるクライアント装置にストリーミングして再生されるようにし、クライアント装置で再生された画面に基づいたユーザー入力をゲームが実行される装置に配信してゲームに反映させることにより、ユーザーがクライアント装置の性能の制約なしに、高仕様のゲームをプレイできるようにするためのサービスである。
【0003】
このようなゲームストリーミングサービスは、ネットワーク環境に応じてストリーミングされる映像の品質を調節する必要があるが、ストリーミングされる映像の品質を下げる場合、クライアント装置で再生されるゲームプレイ映像の明示性が低下する問題がある。また、明示性の確保のために、ストリーミングされる映像の品質を高める場合、エンコーディングおよびデコーディングの処理時間とネットワークの配信遅延のために、ゲームプレイのためのユーザー入力がゲーム内にすぐに反映されないため、ゲームプレイの反応性が低下する問題点が発生する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従って、本発明の目的は、ゲームストリーミングのための方法および装置を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するための本発明に係るストリーミング方法は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第1映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第2映像を生成するステップと、前記第1映像の映像品質が前記第2映像の映像品質以上になるように、前記第1映像および前記第2映像のそれぞれの映像品質を決定するステップと、前記決定された映像品質に基づいて前記第1映像および前記第2映像をそれぞれエンコーディングするステップと、前記エンコーディングされた第1映像および前記エンコーディングされた第2映像をクライアント装置にストリーミングするステップと、を含む。
【0006】
前記第1映像は、前記複数の画面構成要素のうち、予め設定された1つ以上の画面構成要素を含み得る。
【0007】
前記予め設定された1つ以上の画面構成要素は、UI(User Interface)客体を含み得る。
【0008】
前記生成するステップは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定し得る。
【0009】
前記決定するステップは、予め設定された映像品質に基づいて前記第1映像の映像品質を決定し得る。
【0010】
前記決定するステップは、前記予め設定された映像品質を有するように、前記第1映像の映像品質を決定し得る。
【0011】
前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第1映像の映像品質を決定するが、前記第1映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第1映像の映像品質を決定し得る。
【0012】
前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第2映像の映像品質を決定し得る。
【0013】
前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定され得る。
【0014】
本発明に係るストリーミング装置は、1つ以上のハードウェアプロセッサと、1つ以上の通信インターフェースと、を含み、前記1つ以上のハードウェアプロセッサは、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第1映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第2映像を生成し、前記第1映像の映像品質が前記第2映像の映像品質以上になるように、前記第1映像および前記第2映像のそれぞれの映像品質を決定し、前記決定された映像品質に基づいて前記第1映像および前記第2映像をそれぞれエンコーディングし、前記1つ以上の通信インターフェースを介して、前記エンコーディングされた第1映像および前記エンコーディングされた第2映像をクライアント装置にストリーミングする。
【0015】
前記第1映像は、前記複数の画面構成要素のうち、予め設定された1つ以上の画面構成要素を含み得る。
【0016】
前記予め設定された1つ以上の画面構成要素は、UI(User Interface)客体を含み得る。
【0017】
前記1つ以上のハードウェアプロセッサは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定し得る。
【0018】
前記1つ以上のハードウェアプロセッサは、予め設定された映像品質に基づいて前記第1映像の映像品質を決定し得る。
【0019】
前記1つ以上のハードウェアプロセッサは、前記予め設定された映像品質を有するように、前記第1映像の映像品質を決定し得る。
【0020】
前記1つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第1映像の映像品質を決定するが、前記第1映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第1映像の映像品質を決定し得る。
【0021】
前記1つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第2映像の映像品質を決定し得る。
【0022】
前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定され得る。
【発明の効果】
【0023】
本発明によると、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部を含む第1映像と複数の画面構成要素のうち、残りを構成する第2映像を生成した後、第1映像の映像品質が第2映像の映像品質以上になるようにエンコーディングしてクライアント装置にストリーミングすることにより、クライアント装置で再生されるゲームプレイ映像の明示性を確保するとともに、ゲームプレイの反応性を向上させ得る。
【図面の簡単な説明】
【0024】
【
図1】一実施例によるゲームストリーミングシステムの構成図である。
【
図2】一実施例によるストリーミング装置の構成図である。
【
図3】ゲームプレイ映像についての第1映像および第2映像を生成する一例を示す図である。
【
図4】一実施例によるストリーミング方法のフローチャートである。
【
図5】一実施例によるコンピューティング装置を含むコンピューティング環境を例示して説明するためのブロック図である。
【発明を実施するための形態】
【0025】
以下、図面を参照して具体的な実施形態を説明する。以下の具体的な説明は、本明細書で記述された方法、装置および/またはシステムについての包括的な理解を助けるために提供される。しかし、これは例示に過ぎず、本発明は、これに限定されない。
【0026】
実施例を説明するにおいて、係る公知技術についての具体的な説明が開示される実施例の要旨を不必要に曖昧にし得ると判断される場合には、その詳細な説明を省略する。そして、後述される用語は、開示される実施例での機能を考慮して定義された用語として、これはユーザー、運用者の意図または慣例などによって変わることができる。したがって、その定義は、本明細書の全般にわたる内容に基づいてなされるべきである。詳細な説明で使用される用語は、単に本発明の実施例を記述するためのものであり、決して制限的であってはならない。明確に別の方法で使用されていない限り、単数形の表現は、複数形の意味を含む。本説明において、「含み」または「備え」のような表現は、ある特性、数字、ステップ、動作、要素、これらの一部または組み合せを示すためのものであり、記述されたもの以外に、1つまたはそれ以上の他の特性、数字、ステップ、動作、要素、これらの一部または組み合せの存在または可能性を排除するように解釈されてはならない。
【0027】
図1は、一実施例によるゲームストリーミングシステムの構成図である。
【0028】
図1を参照すると、一実施例によるゲームストリーミングシステム100は、ストリーミング装置110およびクライアント装置120を含む。
【0029】
一実施例によると、ゲームストリーミングシステム100は、ユーザーの入力に基づいてクライアント装置120から受信されるゲーム操作信号に応じて遠隔で実行されるゲームのゲームプレイ映像をクライアント装置120にストリーミング(Streaming)し、ユーザーがクライアント装置120で再生されるゲームプレイ映像を見ながらゲームをプレイできるようにするゲームストリーミングを支援するためのシステムである。
【0030】
ストリーミング装置110は、ストリーミング対象であるゲームのゲームプレイ映像をエンコーディングしてクライアント装置120にストリーミングし、クライアント装置120からユーザーの入力に基づいて生成されたゲーム操作信号を受信するための装置である。
【0031】
一実施例によると、ストリーミング装置110は、クライアント装置120から受信されたゲーム操作信号に応じてゲームを実行させ、ゲーム実行結果に基づいてゲームプレイ映像を生成する装置であり得る。例えば、ストリーミング装置110は、デスクトップPC(Desktop PC)、ゲームコンソール(Game Console)のようにクライアント装置120のユーザーが所有したコンピューティング装置であり得る。この場合、ゲーム実行のために必要なすべての演算とゲームプレイ映像の生成は、ストリーミング装置110によって行われ得る。しかし、ストリーミング装置110で実行されるゲームがゲームサーバ(図示せず)と連動して提供されるオンラインゲームの場合、ゲーム実行のために必要な演算のうち、少なくとも一部は、ゲームサーバによって行われ得る。
【0032】
他の実施例によると、ゲーム実行のために必要な演算のうち、少なくとも一部は、ストリーミング装置110と有線/無線ネットワークを介して接続される1つ以上の外部装置によって分散して行われ得、この場合、ストリーミング装置110は、1つ以上の外部装置によって分散して行われる演算結果に基づいてゲームプレイ映像を生成し得る。
【0033】
また他の実施例によると、ストリーミング装置110は、クラウドコンピューティング環境内に含まれた1つ以上のサーバであり得、この場合、ゲーム実行のために必要なすべての演算とゲームプレイ映像の生成は、当該の1つ以上のサーバによって分散して行われ得る。
【0034】
クライアント装置120は、ゲームプレイのためにユーザーによって用いられる装置である。具体的に、クライアント装置120は、ストリーミング装置110によってエンコーディングされてストリーミングされるゲームプレイ映像をデコーディングし、クライアント装置120のディスプレー手段を介して表示し、ゲーム操作のためにクライアント装置120の入力手段を介して入力されたユーザー入力に対応するゲーム操作信号をストリーミング装置110に提供する。
【0035】
一方、クライアント装置120は、例えば、タブレット PC(Tablet PC)、ラップトップ(Laptop PC)、スマートホン(Smartphone)、スマートTV(Smart TV)などであり得るが、有線/無線ネットワークを用いてストリーミング装置110からストリーミングされるゲームプレイ映像を受信してデコーディングし、デコーディングされたゲームプレイ映像を出力できる装置であれば、必ずしも特定の装置として限定されるものではない。
【0036】
一方、図示された例では、ストリーミング装置110とクライアント装置120との間に直接的なデータ送受信が行われるものと図示しているが、実施例により、ストリーミング装置110からストリーミングされるデータを受信してクライアント装置120に配信し、クライアント装置120から送信されるゲーム操作信号を受信し、ストリーミング装置110に配信するための別の中継サーバ(図示せず)が存在し得る。
【0037】
図2は、一実施例によるストリーミング装置110の構成図である。
【0038】
図2を参照すると、一実施例によるストリーミング装置110は、映像生成部111、エンコーディング部112および送信部113を含む。
【0039】
一実施例において、映像生成部111、エンコーディング部112および送信部113は、それぞれ物理的に区分された1つ以上の装置を用いて実装するか、または1つ以上のハードウェアプロセッサまたは1つ以上のハードウェアプロセッサおよびソフトウェアの結合によって実装し得、図示された例とは異なり、具体的な動作において明確に区分されないことがある。
【0040】
映像生成部111は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部を含む第1映像および複数の画面構成要素のうち、残りを含む第2映像を生成する。
【0041】
具体的に、映像生成部111は、ゲームプレイ映像を構成する複数の画面構成要素のうち、第1映像に含まれる画面構成要素を決定した後、決定された画面構成要素を含む第1映像と残りの画面構成要素を含む第2映像を個別にレンダリングし、第1映像および第2映像を生成し得る。
【0042】
このとき、画面構成要素は、ゲームプレイ映像内にイメージあるいはテキストの形態に表現されるグラフィック客体を意味し得る。例えば、画面構成要素は、ゲームのプレイシーン(Scene)を表現するためのシーンオブジェクト(例えば、ユーザーのゲームキャラクター、NPC(Non-Player Character)、背景イメージ、ゲームキャラクターの体力ゲージ、ゲームキャラクターのダメージ数値など)およびユーザーインターフェース(User Interface、UI)を表現するためのUI客体(例えば、メニューウィンドウ、スキル選択ウィンドウ、UIイメージ、チャットメッセージ、イベント通知メッセージなど)を含み得る。しかし、画面構成要素は、必ずしも前述した例に限定されるものではなく、ゲームのジャンルに応じて異なり得る。
【0043】
一実施例によると、第1映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、予め設定された1つ以上の画面構成要素を含み得る。このとき、予め設定された1つ以上の画面構成要素は、例えば、前述したUI客体を含み得るが、必ずしもこれに限定されるものではない。例えば、ストリーミング装置110を用いてゲームストリーミングサービスを提供するサービス運営者、ゲーム開発者またはクライアント装置120のユーザーは、ゲームプレイ映像を構成する複数の画面構成要素のうち、ゲームプレイ映像内で明確に表現される必要がある1つ以上の画面構成要素を第1映像に含まれる画面構成要素として予め設定し得る。
【0044】
一方、一実施例によると、第1映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位およびクライアント装置120のネットワーク状態に基づいて決定され得る。
【0045】
例えば、複数の画面構成要素のうち、一部について1順位、2順位および3順位のうち、1つの優先順位が予め設定されている場合を仮定すれば、映像生成部111は、クライアント装置120のネットワーク状態が既に設定された第1基準値以下の場合、1順位に設定された画面構成要素が第1映像に含まれるようにできる。また、映像生成部111は、クライアント装置120のネットワーク状態が既に設定された第1基準値を超過し、既に設定された第2基準値以下の場合、1順位に設定された画面構成要素および2順位に設定された画面構成要素が第1映像に含まれるようにできる。また、映像生成部111は、クライアント装置120のネットワーク状態が既に設定された第2基準値を超過する場合、1順位に設定された画面構成要素、2順位に設定された画面構成要素および3順位に設定された画面構成要素が第1映像に含まれるようにできる。
【0046】
一方、前述した例において、クライアント装置120のネットワーク状態は、例えば、帯域幅(Bandwidth)、パケット損失(Packet Loss)およびパケット遅延(Packet Delay)のうち、少なくとも1つに基づいて決定され得るが、ネットワーク状態を決定するための基準および測定方式は、実施例によって変更できる。
【0047】
一方、一実施例によると、ゲームプレイ映像がゲームサーバ(図示せず)と連動して提供されるオンラインゲームのゲームプレイ映像である場合、映像生成部111は、ゲームサーバからゲーム実行のために必要な複数の演算のうち、少なくとも一部についての演算結果を受信し、受信された演算結果に基づいてゲームプレイ映像に含まれる複数の画面構成要素のうち、少なくとも一部を決定し得る。
【0048】
具体的に、クライアント装置120から受信されたゲーム操作信号に応じるゲーム実行のためにゲームサーバで行われるべきである1つ以上の演算が存在する場合、映像生成部111は、当該の1つ以上の演算の遂行をゲームサーバに要請し得る。以後、映像生成部111は、ゲームサーバから遂行要請した演算についての演算結果を受信し、受信された演算結果に基づいてゲームプレイ映像に含まれる複数の画面構成要素のうち、少なくとも一部を決定し得る。
【0049】
例えば、クライアント装置120から受信されたゲーム操作信号に応じてゲーム内で実行される動作が、ユーザーキャラクターがモンスターを攻撃する動作であり、攻撃結果(例えば、攻撃の成功可否、モンスターが受けたダメージ数値など)を決定するための演算がゲームサーバによって行われるべきである場合、映像生成部111は、ゲームサーバに攻撃結果を決定するための演算の遂行を要請し得る。以後、映像生成部111は、ゲームサーバから要請した演算の演算結果が受信された場合、受信された演算結果に応じてゲームプレイ映像に含まれる画面構成要素(例えば、モンスター体力ゲージ、モンスターが受けたダメージ数値を表すテキストなど)を決定し得る。
【0050】
図3は、ゲームプレイ映像についての第1映像および第2映像を生成する一例を示す図面である。
【0051】
図3に図示された例において、ゲームプレイ映像310は、ユーザーのゲームキャラクター311、ゲームキャラクター311の名称312および体力ゲージ313、敵キャラクター314、敵キャラクター314の名称315および体力ゲージ316、UIイメージ317,318、ゲーム内に発生したイベントを表示するイベント通知メッセージ319のような画面構成要素を含む。
【0052】
この場合、映像生成部111は、ゲームプレイ映像310に含まれる画面構成要素311ないし319のうち、UIイメージ317,318およびイベント通知メッセージ319だけを含む第1映像320および残りの画面構成要素311ないし316を含む第2映像330をそれぞれ生成し得る。
【0053】
このとき、第1映像320に含まれた画面構成要素317,318,319は、例えば、第1映像320に含まれるように予め設定された画面構成要素であり得るが、実施例によって予め設定された優先順位およびクライアント装置120のネットワーク状態に基づいて決定された画面構成要素であり得る。
【0054】
また、
図2を参照すると、エンコーディング部112は、第1映像の映像品質が第2映像の映像品質以上になるように、第1映像および第2映像のそれぞれについての映像品質を決定し、決定された映像品質に基づいて第1映像および第2映像のそれぞれをエンコーディングする。
【0055】
このとき、一実施例によると、映像品質は、解像度、フレームレート(Frame Rate)、圧縮率、ビットレート(Bit Rate)のうち、少なくとも1つを含み得る。
【0056】
一実施例によると、エンコーディング部112は、例えば、H.264、MPEG-2、MPEG-4のような標準動画コデック(Codec)を用いて第1映像および第2映像のそれぞれをエンコーディングすることができる。しかし、エンコーディング部112は、前述した例の外にも、様々な動画エンコーディング方式を用いて第1映像および第2映像のそれぞれをエンコーディングすることができ、第1映像および第2映像のそれぞれをエンコーディングするための動画エンコーディング方式は、同じか、または異なり得る。
【0057】
一方、一実施例によると、エンコーディング部112は、予め設定された映像品質に基づいて第1映像の映像品質を決定し得る。
【0058】
例えば、エンコーディング部112は、第1映像が予め設定された映像品質を有するように、第1映像の映像品質を決定し得る。すなわち、エンコーディング部112は、第1映像の映像品質が予め設定された映像品質に維持されるようにできる。
【0059】
他の例として、エンコーディング部112は、クライアント装置120のネットワーク状態に基づいて第1映像の映像品質を決定するが、第1映像の映像品質が予め設定された映像品質以上に維持されるようにできる。具体的に、エンコーディング部112は、クライアント装置120のネットワーク状態に基づいて第1映像の解像度、フレームレート、圧縮率、ビットレートのうち、少なくとも1つを変更するが、変更された値が予め設定された値以上になるようにできる。
【0060】
一方、一実施例によると、エンコーディング部112は、クライアント装置120のネットワーク状態に基づいて第2映像の映像品質を決定し得る。
【0061】
具体的に、エンコーディング部112は、クライアント装置120のネットワーク状態に基づいて第2映像の解像度、フレームレート、圧縮率、ビットレートのうち、少なくとも1つを変更でき、第2映像の映像品質は、第1映像の映像品質以下であり得る。
【0062】
送信部113は、エンコーディング部112によってエンコーディングされた第1映像および第2映像のそれぞれをクライアント装置120にストリーミングする。
【0063】
具体的に、送信部113は、エンコーディングされた第1映像およびエンコーディングされた第2映像のそれぞれを例えば、リアルタイムストリーミングプロトコル(Real Time Streaming Protocol、RTSP)、HLS(Http Live Streaming)のような公知されたストリーミングプロトコルによってストリーミングすることができる。
【0064】
一方、クライアント装置120は、送信部113によってストリーミングされる第1映像および第2映像のそれぞれをデコーディングした後に、デコーディングされた第1映像および第2映像を合成し、ゲームプレイ映像を再生できる。
【0065】
図4は、一実施例によるストリーミング方法のフローチャートである。
【0066】
図4を参照すると、まずストリーミング装置110は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部を含む第1映像および複数の画面構成要素のうち、残りを含む第2映像を生成する(410)。
【0067】
一実施例によると、第1映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、予め設定された1つ以上の画面構成要素を含み得る。このとき、予め設定された1つ以上の画面構成要素は、UI客体を含み得る。
【0068】
また、一実施例によると、第1映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位およびクライアント装置120のネットワーク状態に基づいて決定され得る。
【0069】
以後、ストリーミング装置110は、生成された第1映像の映像品質が第2映像の映像品質以上になるように、第1映像および第2映像のそれぞれについての映像品質を決定する(420)。
【0070】
一実施例によると、ストリーミング装置110は、予め設定された映像品質に基づいて第1映像の映像品質を決定し得る。
【0071】
例えば、ストリーミング装置110は、第1映像が予め設定された映像品質を有するように、第1映像の映像品質を決定し得る。
【0072】
他の例として、ストリーミング装置110は、クライアント装置120のネットワーク状態に基づいて第1映像の映像品質を決定するが、第1映像の映像品質が予め設定された映像品質以上に維持されるようにできる。
【0073】
その後、ストリーミング装置110は、決定された映像品質に基づいて第1映像および第2映像をそれぞれエンコーディングする(430)。
【0074】
その後、ストリーミング装置110は、エンコーディングされた第1映像および第2映像をクライアント装置120にストリーミングする(440)。
【0075】
一方、
図4に図示されたフローチャートにおいて、少なくとも一部のステップは、手順を変えて行ったり、他のステップと結合してともに行ったり、省略したり、細部ステップに分けて行ったり、または図示されない1つ以上のステップを付加して行い得る。
【0076】
図5は、一実施例によるコンピューティング装置を含むコンピューティング環境を例示して説明するためのブロック図である。
【0077】
図示された実施例において、各コンポーネントは、以下に記述されたものに加えて、異なる機能および能力を有し得、以下に記述されていないものに加えて、追加的なコンポーネントを含み得る。
【0078】
図示されたコンピューティング環境10は、コンピューティング装置12を含む。一実施例において、コンピューティング装置12は、
図1および
図2に図示されたストリーミング装置110に含まれる1つ以上のコンポーネントであり得る。
【0079】
コンピューティング装置12は、少なくとも1つのプロセッサ14、コンピューター読み取り可能な格納媒体16および通信バス18を含む。プロセッサ14は、コンピューティング装置12をして前述した例示的な実施例によって動作させることができる。例えば、プロセッサ14は、コンピューター読み取り可能な格納媒体16に格納された1つ以上のプログラムを実行し得る。前記1つ以上のプログラムは、1つ以上のコンピューター実行可能な命令語を含み得、前記コンピューター実行可能な命令語は、プロセッサ14によって実行される場合、コンピューティング装置12をして例示的な実施例による動作を実行させるように構成できる。
【0080】
コンピューター読み取り可能な格納媒体16は、コンピューター実行可能な命令語ないしプログラムコード、プログラムデータおよび/または他の適した形態の情報を格納するように構成される。コンピューター読み取り可能な格納媒体16に格納されたプログラム20は、プロセッサ14によって実行可能な命令語の集合を含む。一実施例における、コンピューター読み取り可能な格納媒体16は、メモリ(ランダムアクセスメモリのような揮発性メモリ、不揮発性メモリ、またはこれらの適切な組み合わせ)、1つ以上の磁気ディスク格納デバイス、光学ディスク格納デバイス、フラッシュメモリデバイス、その他、コンピューティング装置12によってアクセスされ、欲しい情報を格納できる他の形態の格納媒体、またはこれらの適した組み合わせであり得る。
【0081】
通信バス18は、プロセッサ14、コンピューター読み取り可能な格納媒体16を含み、コンピューティング装置12の他の様々なコンポーネントを相互接続する。
【0082】
コンピューティング装置12は、また1つ以上の入出力装置24のためのインターフェースを提供する1つ以上の入出力インターフェース22および1つ以上のネットワーク通信インターフェース26を含み得る。入出力インターフェース22およびネットワーク通信インターフェース26は、通信バス18に接続される。入出力装置24は、入出力インターフェース22を介してコンピューティング装置12の他のコンポーネントに接続され得る。例示的な入出力装置24は、ポインティング装置(マウスまたはトラックパッドなど)、キーボード、タッチ入力装置(タッチパッドまたはタッチスクリーンなど)、音声または音入力装置、様々な種類のセンサー装置および/または撮影装置のような入力装置、および/またはディスプレー装置、プリンター、スピーカーおよび/またはネットワークカードのような出力装置を含み得る。例示的な入出力装置24は、コンピューティング装置12を構成する一コンポーネントとしてコンピューティング装置12の内部に含まれ得、コンピューティング装置12とは区別される別の装置としてコンピューティング装置12と接続され得る。
【0083】
以上、代表的な実施例により、本発明について具体的に説明したが、本発明が属する技術分野で通常の知識を有する者は、前述した実施例について本発明の範疇から逸脱しない範囲内で様々な変形が可能であることを理解するであろう。したがって、本発明の権利の範囲は、説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められるべきである。
【産業上の利用可能性】
【0084】
本発明は、ゲームストリーミング技術に利用できる。
【符号の説明】
【0085】
10 コンピューティング環境
12 コンピューティング装置
14 プロセッサ
16 コンピューター読み取り可能な格納媒体
18 通信バス
20 プログラム
22 入出力インターフェース
24 入出力装置
26 ネットワーク通信インターフェース
100 ゲームストリーミングシステム
110 ストリーミング装置
111 映像生成部
112 エンコーディング部
113 送信部
120 クライアント装置