IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー・インタラクティブエンタテインメント エルエルシーの特許一覧

特許7544873コンピュータシミュレーションメタデータに基づくビデオテンプレートの選択
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】コンピュータシミュレーションメタデータに基づくビデオテンプレートの選択
(51)【国際特許分類】
   A63F 13/85 20140101AFI20240827BHJP
   A63F 13/497 20140101ALI20240827BHJP
【FI】
A63F13/85
A63F13/497
【請求項の数】 9
(21)【出願番号】P 2022578857
(86)(22)【出願日】2021-05-25
(65)【公表番号】
(43)【公表日】2023-07-26
(86)【国際出願番号】 US2021034118
(87)【国際公開番号】W WO2021262377
(87)【国際公開日】2021-12-30
【審査請求日】2022-12-20
(31)【優先権主張番号】16/912,679
(32)【優先日】2020-06-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518187455
【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】カーン、ムハンマッド
【審査官】岸 智史
(56)【参考文献】
【文献】特開2018-171282(JP,A)
【文献】特開2018-011849(JP,A)
【文献】特開2020-031903(JP,A)
【文献】特開2020-000642(JP,A)
【文献】特表2008-546232(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63F 9/24、13/00-13/98
(57)【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを備えたデバイスであって、
前記少なくとも1つのプロセッサは、命令でプログラム化され、前記命令は、
コンピュータゲームのプレイにより生成されたメタデータを識別することであって、前記メタデータは、前記メタデータに関連付けられた前記コンピュータゲームの前記プレイのビデオが生成される際に生成される、前記メタデータを識別することと、
前記メタデータに少なくとも部分的に基づいて、ユーザデバイスに提供するためのビデオテンプレートを識別することであって、前記ビデオテンプレートは少なくとも第1のテンプレート部分を含み、第1のメタデータによって第1のタイプの第1のビデオテンプレートが識別され、第2のメタデータによって第2のタイプの第2のビデオテンプレートが識別され、各テンプレートは独自のスタイルに関連付けられている、前記識別することと
前記第1のビデオテンプレートおよび前記第2のビデオテンプレートの少なくとも1つを用いて前記コンピュータゲームの前記プレイのクリップを生成することと、
を実行し、
第1のアクション強度をもつ第1のゲームを示す前記第1のメタデータは、前記第1のビデオテンプレートに関連付けられ、前記第1のアクション強度よりも高い第2のアクション強度をもつ第2のゲームを示す前記第2のメタデータは、前記第2のビデオテンプレートに関連付けられ、前記第1のビデオテンプレートは、前記第1のメタデータを生成するゲームプレイからのビデオを使用して第1のビデオクリップを生成するために用いられる第1のオーディオ、第1のテキスト、および第1のグラフィックの少なくとも1つを含み、前記第2のビデオテンプレートは、前記第2のメタデータを生成するゲームプレイからのビデオを使用して第2のビデオクリップを生成するために用いられる第2のオーディオ、第2のテキスト、および第2のグラフィックの少なくとも1つを含む、デバイス。
【請求項2】
前記命令は、
コンピュータゲームのプレイにより生成された第2のメタデータを識別することと、
前記第2のメタデータに少なくとも部分的に基づいて、ユーザデバイスに提供するための第2のビデオテンプレートを識別することであって、前記第2のビデオテンプレートは、前記第1のテンプレート部分とは異なる第2のテンプレート部分を少なくとも含む、前記識別することと、
を実行可能である、請求項1に記載のデバイス。
【請求項3】
前記第1のテンプレート部分は、前記第1のテキストを含む、請求項1に記載のデバイス。
【請求項4】
前記第1のテンプレート部分は、オーバーレイを含む、請求項1に記載のデバイス。
【請求項5】
前記第1のテンプレート部分は、前記第1のオーディオを含む、請求項1に記載のデバイス。
【請求項6】
前記命令は、
入力を受信することと、
前記入力に応じて、メタデータに基づいてビデオテンプレートを調整することと、
を実行可能である、請求項1に記載のデバイス。
【請求項7】
前記命令は、
前記第1のビデオテンプレートで、提示用のビデオを自動的に生成すること、
を実行可能である、請求項1に記載のデバイス。
【請求項8】
前記命令は、
ビデオを識別する入力をユーザから受信することと、
前記ビデオを前記第1のビデオテンプレートに統合することと、
を実行可能である、請求項1に記載のデバイス。
【請求項9】
前記命令は、
少なくとも部分的に機械学習アルゴリズムを使用して、前記第1のビデオテンプレートを識別すること、
を実行可能である、請求項1に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、概してコンピュータシミュレーションメタデータに基づいてビデオテンプレートを選択することに関する。
【背景技術】
【0002】
コンピュータゲームなどのコンピュータシミュレーションでは、ゲームプレイ中にメタデータが頻繁に生成される。メタデータは、ゲームで何が起こっているか、例えば、使用された武器、弾薬の残量、キャラクタの取る行動、オーディオ、ビデオアスペクトなどを、記述する。
【発明の概要】
【0003】
本明細書で理解されるように、ゲーマーがビデオを生成するために使用することができるゲーマー用のビデオテンプレートが、コンピュータゲームからのメタデータを使用して選択され得る。各テンプレートは、独特のテキスト、オーディオ、及びオーバーレイなど、言い換えると、ゲームプレイの過程で収集されたメタデータに依存する独自のスタイルに、関連付けられ得る。
【0004】
従って、一態様では、デバイスは、少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、コンピュータゲームのプレイにより生成されたメタデータを識別し、メタデータに少なくとも部分的に基づいて、ユーザデバイスに提供するビデオテンプレートを識別する命令で、プログラムされる。ビデオテンプレートは、少なくとも第1のテンプレート部分を含む。
【0005】
第1のテンプレート部分は、例えば、テキスト、またはオーバーレイ、またはオーディオ、またはウィジェットであり得る。
【0006】
例示的な実施態様では、ビデオテンプレートは第1のビデオテンプレートであり、メタデータは第1のメタデータであり、命令は、コンピュータゲームのプレイにより生成された第2のメタデータを識別することを、実行可能であり得る。命令は、第2のメタデータに少なくとも部分的に基づいて、ユーザデバイスに提供する第2のビデオテンプレートを識別することを、実行可能であり得る。第2のビデオテンプレートは、第1のテンプレート部分とは異なる第2のテンプレート部分を少なくとも含む。
【0007】
例示的な実施態様では、命令は、入力を受信し、入力に応答し、メタデータに基づいてビデオテンプレートを調整することを、実行可能であり得る。必要に応じて、命令は、ビデオテンプレートで提示用のビデオを自動的に生成することを、実行可能であり得る。または、命令は、ビデオを識別する入力をユーザから受信し、ビデオをビデオテンプレートに統合することを、実行可能であり得る。ビデオテンプレートは、少なくとも部分的に機械学習アルゴリズムを使用して、識別され得る。
【0008】
別の態様では、デバイスは、少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、ゲームプレイビデオの少なくとも1つのビデオクリップを識別し、システムサーバから受信した少なくとも1つのビデオテンプレートを使用して、ビデオクリップを提示する命令で、プログラムされる。
【0009】
別の態様では、方法は、コンピュータゲームメタデータを使用して、ユーザに配信するビデオテンプレートを選択し、テンプレートにプレーヤまたはゲームのビデオを取り込むことを含む。方法は、ゲームプレイ中に収集されたメタデータに依存する独特のスタイルに、各テンプレートを関連付けることも含む。
【0010】
本出願の詳細は、その構造及び動作の両方に関して、添付図面を参照して最もよく理解することができ、図面では、同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【0011】
図1】本発明の原理に従った実施例を含む例示的なシステムのブロック図である。
図2】例示的なコンピュータゲームシステムのブロック図である。
図3】例示的なビデオテンプレートを示す。
図4】ビデオテンプレートサーバ及びゲームメタデータレポジトリのブロック図である。
図5】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図6】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図7】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図8】例示的なビデオテンプレートを示すスクリーンショットである。
図9】例示的なビデオテンプレートを示すスクリーンショットである。
図10】例示的なビデオテンプレートを示す。
図11】例示的なビデオテンプレートを示す。
図12】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図13】本発明の原理と一致する例示的なユーザインターフェース(UI)のスクリーンショットである。
図14】本発明の原理と一致する例示的なユーザインターフェース(UI)のスクリーンショットである。
図15】本発明の原理と一致する例示的なユーザインターフェース(UI)のスクリーンショットである。
図16】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図17】例示的なビデオクリップを示す。
図18】本発明の原理と一致する例示的なUIのスクリーンショットである。
図19】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図20】本発明の原理と一致する例示的なユーザインターフェース(UI)のスクリーンショットである。
図21】本発明の原理と一致する例示的なユーザインターフェース(UI)のスクリーンショットである。
図22】本発明の原理と一致する例示的なユーザインターフェース(UI)のスクリーンショットである。
図23】編集用の例示的なモバイルデバイスUIのスクリーンショットである。
図24】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図25】本発明の原理と一致する例示的なロジックを、例示的なフローチャート形式で示す。
図26】本発明の原理と一致する例示的なUIのスクリーンショットである。
【発明を実施するための形態】
【0012】
本開示は、概して、限定ではないが、コンピュータゲームネットワークなどの一般消費者向け電子製品(CE)デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、サーバコンポーネントとクライアントコンポーネントとを含み得、これらは、クライアントコンポーネントとサーバコンポーネントとの間でデータを交換できるように、ネットワークを介して接続され得る。クライアントコンポーネントは、1つ以上のコンピューティングデバイスを含み得、これには、Sony PlayStation(登録商標)などのゲームコンソール、またはMicrosoftもしくはNintendoもしくは他の製造者により製造されたゲームコンソール、仮想現実(VR)ヘッドセット、拡張現実(AR)ヘッドセット、ポータブルテレビ(例えばスマートテレビ、インターネット対応テレビ)、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、ならびにスマートフォン及び下記に論述される追加例を含む他のモバイルデバイスが含まれる。これらのクライアントデバイスは、様々な動作環境で作動し得る。例えば、クライアントコンピュータのうちのいくつかは、例を挙げると、Linux(登録商標)オペレーティングシステム、Microsoftのオペレーティングシステム、もしくはUnix(登録商標)オペレーティングシステム、またはApple社もしくはGoogleにより製造されたオペレーティングシステムを、採用し得る。これらの動作環境を使用して、Microsoft製もしくはGoogle製もしくはMozilla製のブラウザ、または下記に論述されるインターネットサーバによりホストされるウェブサイトにアクセスできる他のブラウザプログラムなど、1つ以上ブラウジングプログラムが実行され得る。また、本発明の原理による動作環境を使用して、1つ以上のコンピュータゲームプログラムが実行され得る。
【0013】
サーバ及び/またはゲートウェイは、1つ以上のプロセッサを含み得、1つ以上のプロセッサは、インターネットなどのネットワークを介してデータを送受信するようにサーバを構成する命令を実行する。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを介して接続され得る。サーバまたはコントローラは、Sony PlayStation(登録商標)といったゲームコンソール、パーソナルコンピュータなどにより、インスタンス化され得る。
【0014】
ネットワークを介してクライアントとサーバとの間で情報が交換され得る。そのために、及びセキュリティのために、サーバ及び/またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。1つ以上のサーバは、オンラインソーシャルウェブサイトなどの安全なコミュニティを、ネットワークメンバーに提供する方法を実施する装置を形成し得る。
【0015】
プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、ならびにレジスタ及びシフトレジスタにより、ロジックを実行することができるシングルチッププロセッサまたはマルチチッププロセッサであり得る。
【0016】
ある実施形態に含まれるコンポーネントは、他の実施形態で任意の好適な組み合わせで使用されてもよい。例えば、本明細書で説明される及び/または図に描かれる様々なコンポーネントのいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。
【0017】
「A、B、及びCのうちの少なくとも1つを有するシステム」(同様に「A、B、またはCのうちの少なくとも1つを有するシステム」及び「A、B、Cのうちの少なくとも1つを有するシステム」)には、Aを単独で、Bを単独で、Cを単独で、AとBを一緒に、AとCを一緒に、BとCを一緒に、及び/またはAとBとCを一緒に有するシステムなどが含まれる。
【0018】
ここで具体的に図1を参照すると、例示的なシステム10が示されており、システム10は、上記で言及され下記でさらに説明される、本発明の原理による例示的なデバイスのうちの1つ以上を含み得る。システム10に含まれる例示的なデバイスのうちの第1のデバイスは、オーディオビデオデバイス(AVD)12などの一般消費者向け電子製品(CE)デバイスであり、例えば、TVチューナ(同等にTVを制御するセットトップボックス)を備えたインターネット対応TVなどであるが、これに限定されない。あるいは、AVD12は、コンピュータ制御型インターネット対応(「スマート」)電話、タブレットコンピュータ、ノートブックコンピュータ、HMD、装着可能コンピュータ制御型デバイス、コンピュータ制御型インターネット対応ミュージックプレーヤ、コンピュータ制御型インターネット対応ヘッドホン、埋め込み可能皮膚デバイスといったコンピュータ制御型インターネット対応埋め込み可能デバイスなどであってもよい。いずれにせよ、AVD12は、本発明の原理を実施する(例えば本発明の原理を実施するために他のCEデバイスと通信し、本明細書に説明されるロジックを実行し、本明細書に説明される任意の他の機能及び/または動作を実行する)ように構成されることを理解されたい。
【0019】
従って、このような原理を実施するために、AVD12は、図1に示されるコンポーネントのうちのいくつかまたはすべてにより、確立され得る。例えば、AVD12は、1つ以上のディスプレイ14を含み得、これは、高解像度フラットスクリーンまたは「4K」以上の超高解像度フラットスクリーンで実装され得、ディスプレイ上のタッチを介してユーザ入力信号を受信するタッチ対応であり得る。AVD12は、本発明の原理に従ってオーディオを出力するための1つ以上のスピーカ16と、AVD12を制御するためにAVD12に可聴コマンドを入力する、例えばオーディオ受信器/マイクロホンなどの少なくとも1つの追加入力デバイス18と、を含み得る。例示的なAVD12はまた、1つ以上のプロセッサ24の制御下で、インターネット、WAN、LANなどの少なくとも1つのネットワーク22を介して通信するための1つ以上のネットワークインターフェース20を含み得る。グラフィックプロセッサ24Aも含まれ得る。よって、インターフェース20は、限定ではないが、Wi-Fi送受信器であり得、Wi-Fi送受信器は、限定ではないが、メッシュネットワーク送受信器などの無線コンピュータネットワークインターフェースの実施例である。プロセッサ24は、本発明の原理を実施するためにAVD12を制御するが、これには、例えばディスプレイ14を制御してディスプレイ14に画像を提示し、ディスプレイ14から入力を受信するなど、本明細書に説明されるAVD12の他の素子が含まれることを理解されたい。さらに、ネットワークインターフェース20は、有線もしくは無線のモデムもしくはルータであり得、または、無線電話送受信器、もしくは上記のWi-Fi送受信器などの他の好適なインターフェースであり得ることに、留意されたい。
【0020】
上記に加えて、AVD12はまた、別のCEデバイスに物理的に接続するための高解像度マルチメディアインターフェース(HDMI(登録商標))ポートまたはUSBポート、及び/または、ヘッドホンを介してユーザにAVD12からのオーディオを提供するようにヘッドホンをAVD12に接続するためのヘッドホンポートなど、1つ以上の入力ポート26を含み得る。例えば、入力ポート26は、オーディオビデオコンテンツのケーブルまたは衛星ソース26aに、有線または無線を介して接続され得る。よって、ソース26aは、別個のもしくは統合されたセットトップボックス、または衛星受信器であり得る。または、ソース26aは、コンテンツを含むゲームコンソールまたはディスクプレーヤであり得る。ソース26aは、ゲームコンソールとして実装される場合、CEデバイス44に関連して後述されるコンポーネントのうちのいくつかまたはすべてを含み得る。
【0021】
AVD12はさらに、一時的信号ではないディスクベースストレージまたはソリッドステートストレージなどの1つ以上のコンピュータメモリ28を含み得、これらは、いくつかの事例では、AVDのシャーシ内にスタンドアロンデバイスとして、またはAVプログラムを再生するためにAVDのシャーシの内部もしくは外部のパーソナルビデオレコーディングデバイス(PVR)もしくはビデオディスクプレーヤとして、またはリムーバブルメモリ媒体として、具現化される。また、いくつかの実施形態では、AVD12は、位置受信器または所在地受信器を含み得、これは、例えば携帯電話受信器、GPS受信器、及び/または高度計30などであるがこれらに限定されず、衛星または携帯電話基地局から地理的位置情報を受信し、情報をプロセッサ24に提供し、及び/またはプロセッサ24と連動してAVD12が配置されている高度を特定するように構成される。コンポーネント30はまた、AVD12の位置及び配向を3次元で特定するために、加速度計、ジャイロスコープ、及び磁力計の組み合わせを通常含む慣性測定ユニット(IMU)により、実装されてもよい。
【0022】
AVD12の説明を続けると、いくつかの実施形態では、AVD12は、1つ以上のカメラ32を含み得、これは、熱画像カメラ、ウェブカメラなどのデジタルカメラ、及び/またはAVD12に統合されたカメラであり得、本発明の原理に従って写真/画像及び/またはビデオを収集するようにプロセッサ24により制御可能であり得る。AVD12には、ブルートゥース(登録商標)及び/または近距離無線通信(NFC)技術をそれぞれ使用して他のデバイスと通信を行うブルートゥース(登録商標)送受信器34及び他のNFC素子36も含まれ得る。例示的なNFC素子は、無線周波数識別(RFID)素子であり得る。
【0023】
さらにまた、AVD12は、プロセッサ24に入力を提供する1つ以上の補助センサ37(例えば加速度計、ジャイロスコープ、サイクロメータなどのモーションセンサ、あるいは磁気センサ、赤外線(IR)センサ、光学センサ、速度及び/またはケイデンスセンサ、ジェスチャセンサ(例えばジェスチャコマンドを感知するセンサ)など)を含み得る。AVD12は、プロセッサ24への入力を提供する地上波(OTA)TV放送を受信するために、OTA TV放送ポート38を含み得る。前述に加えて、AVD12は、赤外線データ協会(IRDA)デバイスなどの赤外線(IR)送信器及び/またはIR受信器及び/またはIR送受信器42も含み得ることに留意されたい。バッテリ(図示せず)は、運動エネルギーを電力に変換してバッテリを充電し及び/またはAVD12に電力を供給し得る運動エネルギーハーベスタのように、AVD12に電力を供給するために提供され得る。
【0024】
さらに図1を参照すると、AVD12に加えて、システム10は、1つ以上の他のCEデバイス類を含み得る。一実施例では、第1のCEデバイス44は、AVD12に直接送信される、及び/または後述のサーバを通して送信されるコマンドを介して、AVD12にコンピュータゲームのオーディオ及びビデオを送信するのに使用され得るコンピュータゲームコンソールであり得、一方で、第2のCEデバイス46は、第1のCEデバイス44と同様のコンポーネントを含み得る。示される実施例では、第2のCEデバイス46は、プレーヤにより操作されるコンピュータゲームコントローラ、またはプレーヤ47により装着されるヘッドマウントディスプレイ(HMD)として、構成され得る。示される実施例では、2つのCEデバイス44、46のみが示されるが、より少ないデバイスまたはより多いデバイスが使用されてもよいことが理解されよう。CEデバイスは、AVD12に関して示されるコンポーネントのうちのいくつかまたはすべてを実装し得る。下記の図に示されるコンポーネントのうちのいずれかは、AVD12の事例で示されるコンポーネントのうちのいくつかまたはすべてを組み込み得る。
【0025】
ここで、前述の少なくとも1つのサーバ50を参照すると、これは、少なくとも1つのサーバプロセッサ52と、ディスクベースストレージまたはソリッドステートストレージなどの少なくとも1つの有形コンピュータ可読記憶媒体54と、少なくとも1つのネットワークインターフェース56とを含み、少なくとも1つのネットワークインターフェース56は、サーバプロセッサ52の制御下で、ネットワーク22を介して図1の他のデバイスとの通信を可能にし、実際に、本発明の原理に従ってサーバとクライアントデバイスとの間の通信を促進し得る。ネットワークインターフェース56は、例えば、有線もしくは無線のモデムもしくはルータ、Wi-Fi送受信器、または例えば無線電話送受信器などの他の好適なインターフェースであり得ることに、留意されたい。
【0026】
従って、いくつかの実施形態では、サーバ50は、インターネットサーバまたはサーバ「ファーム」全体であり得、例えばネットワークゲームアプリケーションなどの例示的な実施形態で、システム10のデバイスがサーバ50を介して「クラウド」環境にアクセスできるように、「クラウド」機能を含み実行し得る。または、サーバ50は、1つ以上のゲームコンソール、または図1に示される他のデバイスと同じ部屋もしくはその近くにある他のコンピュータにより、実施され得る。
【0027】
図2は、Sony PlayStation(登録商標)ブランドのコンソールなどの例示的なコンピュータシミュレーションコンソール200を示し、これは、1つ以上のゲームコントローラ204の制御下で、ディスプレイデバイス202に提示するためのコンピュータゲームのビデオ及びオーディオを提供する。付加的または代替的に、コンピュータゲームビデオは、例えばコントローラ204の制御下で、1つ以上のネットワークサーバ206により提供され得る。ディスプレイ202に提示されるゲームビデオ(「ゲームプレイ」)のクリップ208は、本明細書でさらに説明されるように、ユーザの使用のために記録され得る。同様に、例えば、ユーザがプレーヤまたはゲーマーとしての役割を果たしているクリップ210は、コンソール200、シミュレーションコントローラ204、または他のデバイスの一部であり得るカメラ212により生成され得る。
【0028】
図3は、ビデオテンプレート300を示し、これは、図2に示されるクリップ208、210などの短い形式のビデオ(例えば最大60分であるが、通常はより短く、例えば15秒であるビデオ)を作成するための簡潔なインターフェースを促進する。本明細書で認識されるように、このようなクリップは、メッセージ及び迅速な消費に最適である。テンプレート300は、短い形式で編集が容易なバイラルビデオを作成する方法を提供する。テンプレート300は、カスタムオンラインサービスを介して配信され得る。
【0029】
図3に示されるように、テンプレート300は、追加効果とともに、ビデオクリップ自体が関連付けられ得る領域302を含む。すぐに共有できるビデオクリップを素早く作成するために、これらの効果には、領域302とは別であり得る、または領域302にオーバーレイされ得る1つ以上のグラフィックオーバーレイ304、ならびにテキスト306、音楽308、及びフィルタ310が含まれ得る。テンプレート300はまた、配色213により特徴付けられ得、ゲームデータ(例えば武器装填)などの情報を表面化するために選択できるセレクタボタンなどのアクティブ要素314を含み得る。アクティブ要素314は、データを含むウェブページへのハイパーリンクで確立され得、これにより、追加データは「表面化」するように一覧化され得る。
【0030】
テンプレート300は、現行のインターネットミームまたはトレンドを反映し得、ゲーム設計者は、これを使用して作成を行い、例えば図2に示されるサーバ206または本明細書でさらに論述されるクリップサーバに投稿することができる。プレーヤは、サーバに接続して、任意の新たなテンプレートをプルダウンすることができる。テンプレートは本質的に季節的または一時的であり得るため、これらが利用可能な間だけ人々により使用され得る。
【0031】
本明細書で詳細に論述されるように、テンプレート300は、ゲームメタデータに基づいて提供され得る。すなわち、ゲームプレイを記述するメタデータに応じて、テンプレート群から特定のテンプレートが、クリップを作成する目的のプレーヤに提供され得る。図4にさらに例示される。
【0032】
ビデオテンプレートサーバ400は、複数のテンプレート402を含み得る。データストアは、ゲームメタデータレポジトリ404を確立し得る。ユーザデバイス406(コンピュータゲームコンポーネントなど)は、ゲームプレイメタデータをレポジトリに提供し、メタデータに基づいて1つ以上のテンプレート402を受信し得る。
【0033】
図5は、本明細書で説明されるコンピューティングデバイスのいずれかにより実行され得る、上記で論述されたロジックを示す。ブロック500から始まり、ゲームプレイ中にメタデータが収集される。メタデータは、ゲームプレイ中にプレーヤが行うアクションにより生成され、メタデータは、これらのアクション、ならびに背景プレゼンテーションなどの自動化ゲームアクションを示す。例えば、メタデータは通常、武器使用の時間及び性質、その結果(命中または失敗)、ならびに配色などの背景情報を記述する。メタデータは、プレーヤのスコア、及びゲームプレイの上達の進捗などの他の統計情報も示し得る。メタデータは、時間経過に伴うスコア、及びプレーヤが逆転して勝利したか、ゲーム全体でリードして勝利したか、「ボスキル」(すなわち手ごわいプレーヤに対する成功)なども含み得る。これらは、ゲームプレイメタデータが運び得る情報の非限定的な実施例である。
【0034】
ブロック502に進むと、ゲームメタデータは、ビデオテンプレートタイプに関連付けられる。従って、例えば、メタデータの第1の集合(例えば未熟なプレーヤによりプレイされる静かなゲームを示す)は、第1のテンプレートタイプまたはスタイルに関連付けられ得、一方、メタデータの第2の集合(例えば熟練プレーヤによりプレイされる激しいゲームを示す)は、第2のテンプレートタイプまたはスタイルに関連付けられ得る。第1のテンプレートタイプは、ゲームプレイからのビデオを使用してビデオクリップを生成するのに、和やかなオーディオ、励ましのテキスト、1つ以上の調整可能なウィジェット(下記でさらに説明される)、及び全体に寒色のグラフィックを含み得、一方で、第2のテンプレートタイプは、ビデオクリップを生成するのに、激しいオーディオ、激励するテキスト、ウィジェット、及び全体に暖色のグラフィックを含み得る。ユーザがクリップを選択すると、オーディオ、オーバーレイ、テキストなどを含む統合クリップを構築するための特定のテンプレートが返され、ユーザはこれを受信する。特定のテンプレートスタイルの実施例には、ジョークテンプレート、または定型化した対抗スタイルが挙げられる。
【0035】
ブロック504では、ゲームプレイ(及び/またはユーザ)のビデオも収集されて、メタデータに関連付けられることが示される。プレイの白熱した期間などのゲームプレイのクリップは、これらのビデオから導出される。従って、ビデオが生成された時に生成されるメタデータが保存され、よって、ユーザは、メタデータをビデオに関連付けることができる。ユーザは、テンプレート(複数可)を使用してビデオを作成し、ゲームシステムのみで共有できること、またはインターネットを介して一般公開で共有できることを、知らされ得る。従って、上記のオーバーレイは、モバイルデバイスまたはゲームコンソールで実行されるゲームシステムクライアントアプリを介したURLまたはリンクであり得る。
【0036】
上記のメタデータをテンプレートのタイプまたはスタイルに関連付けることは、ゲーム開発者により手動で行われ得る。図6及び図7は、ニューラルネットワークを含む機械学習(ML)エンジンを使用して、メタデータをテンプレートのタイプまたはスタイルに関連付ける代替的な方法を示す。図6のブロック600から始まり、メタデータのグラウンドトゥルース集合がMLエンジンに入力される。ブロック602では、メタデータ集合ごとの付随するグラウンドトゥルーステンプレートもMLエンジンに入力されることが示され、ブロック604では、MLエンジンがグラウンドトゥルースでトレーニングを行う。
【0037】
図7のブロック700では、ゲームプレイ中に、ゲームメタデータが生成されると収集される。ブロック702に進むと、MLエンジンは、メタデータをテンプレートに関連付ける。上記のように、関連付けは手動でも行われ得る。その後、ブロック704にて、テンプレートはユーザ/プレーヤに利用可能な状態となり、ブロック706にて、ユーザ/プレーヤは、テンプレートに提示させるゲームプレイのビデオクリップを選択することにより、テンプレートを使用する。
【0038】
図8は、前述のように選択されたビデオテンプレートを使用してビデオクリップを自動的に生成するための、本明細書で説明されるいずれかのディスプレイなどのディスプレイ800に提示され得るユーザインターフェースを示す。ゲームアクション802は、ゲームプレイ中に生成されたメタデータに基づいて識別されたビデオテンプレート804と共に提示される。ビデオクリップ806は、選択基準に基づいて自動的に選択されており、表示されるテンプレート804を使用して提示されている。プレーヤは、808でクリップ全体を保存することを選択するように促され得、または810でクリップの最大15秒のみを保存することを選択してもよく、または他のセグメントを保存対象に選択してもよい。非限定的な選択基準には、ゲームプレイ全体のビデオ、例えばモーションベクトルまたはヒストグラム分析により示される最もアクション満載のシーケンスのビデオ、ボスキルが発生したセグメントのビデオ、大量の武器が発射されたシーケンスのビデオなどが含まれ得る。
【0039】
図9は、ディスプレイ900に提示され得るUIを示し、これにより、ユーザは、ビデオテンプレート904を使用して提示するゲームプレイ902のクリップを選択することが可能となる。UIは、ユーザがタイトルを入力できるフィールド906と、ゲームプレイビデオのどの部分をテンプレート904内のクリップに使用するかを特定する1つ以上のセレクタ908とを含み得る。セレクタには、「今起こったことを見せる」、「最後のN分間を見せる」などが含まれ得るが、これらに限定されない。
【0040】
ユーザはまた、910で、ビデオクリップを共有したいかどうかを特定するように促され得、クリップを誰と共有したいか、例えば「システム内のすべてのプレーヤ」、特定のユーザなどを識別するセレクタ912が提示され得る。
【0041】
図10は、本明細書で企図されるさらなる原理を示す。ビデオテンプレートユーザインターフェース(UI)1000は、本明細書で説明されるディスプレイのうちのいずれかなどのディスプレイ1002に提示される。第1のセレクタ1004が提示され、これにより、ユーザは、最後に選択されたクリップに類似するより多くのクリップを表示するように、実行中のプロセッサに命令することが可能となり得る。第2のセレクタ1006が提示され、これにより、ユーザは、最後に選択されたクリップに似ていないより多くのクリップを表示するように、実行中のプロセッサに命令することが可能となり得る。
【0042】
ウィジェット1008が提示され、これにより、ユーザは、様々なメタデータを提示するように選択することが可能となり得る。例えば、示される実施形態では、ウィジェット1008により、ユーザは、ビデオクリップとともに、アクションの要約、武器の装備、ボスキル数などを提示するように選択することが可能となり得、これにより、ビデオテンプレートが関連付けられたメタデータの一部が「表面化」される。
【0043】
さらに、調整ウィジェット1010、示される実施例ではスライダが提示され、ユーザはこれを操作して、メタデータに関連付けられた制御範囲を、例えばゲームプレイ全体に、または現在のシーンのみに、調整するように選択することができる。ユーザは、スライダを左から右に動かして、制御範囲を広げることができる。調整は、メタデータにより示される類似クリップの検索、クリップの短縮または延長、クリップの選択に使用されるアクション強度の増減、及びテンプレート特徴とメタデータとの関連付けの増減を含み得る。この最後の点に関しては、テンプレート特徴とメタデータとの関連付けを減らすように選択することにより、結果、より一般的なテンプレートが配信され得、一方、テンプレート特徴とメタデータとの関連付けを増やすように選択することにより、結果、特定のゲームプレイアクションとより密接に結びついたテンプレートが配信され得る。
【0044】
図11は、本明細書で説明されるいずれかのディスプレイなどのディスプレイ1102に提示され得るUI1100を示し、これにより、ゲーム観覧者は、観覧者側に表示されるものを調整することが可能となる。UI1100は、セレクタ1104を含み、これにより、観覧者は、表示されている現在のアクションに類似するビデオを、より多くまたはより少なく有することが可能となり得る。ウィジェット1106が提示され、これにより、観覧者は、武器の使用など、観覧されているゲームに関連付けられたメタデータを表面化することが可能となり得る。評価セレクタ1108が提示され、これにより、観覧者は、ゲームを気に入ったか否かを示すことが可能となり得、例えばゲームサーバに、高評価(または低評価)を示す信号が提供される。また、調整器1110が提示され、これにより、観覧者は、図10を参照して前述されたように、メタデータを調整することが可能となり得る。
【0045】
図12は、コミュニティ及び高評価などの好ましいコミュニティ行動を促進すること、他のコンテンツのクリエイタを促進すること、ならびにコミュニティチャレンジに参加することにより、共有コミュニティを構築するさらなる原理を示す。ブロック1200から始まり、好ましいコミュニティメンバーは、「ゴールド」ステータスが与えられ得、これを、優れたビデオの他のクリエイタに提供することができる。ブロック1202で、ゴールドステータスを受け入れたユーザは、報酬を受け取り得、言い換えると、ブロック1202でゴールドステータスの支払いを行って、ブロック1204でゴールドステータスが授与され得る。ブロック1206では、「ゴールド」ステータスへのサブスクリプションを購入することにより、ゴールドユーザのビデオは、より多く注目を集めるようにゲームシステム内で宣伝され得、他のクリエイタにギフトとして贈られ得ることが、示される。
【0046】
図13は例示する。本明細書で説明されるいずれかのディスプレイなどのディスプレイ1302に、UI1300が提示され、これにより、ユーザは、ゴールドユーザMoのビデオをブラウズするように1304で選択することが可能となる。ユーザは、セレクタ1306を使用して、ゴールドユーザまたは関連ビデオの高評価または低評価を、選択することができる。ゴールドユーザのビデオをトピックまたはゲームタイトルでブラウズするリスト1308、1310が、ユーザに提示され得る。
【0047】
図13では、ユーザは、Moのビデオをトピック#2でブラウズすることを選択した。これにより、図14に示されるUI1400が提示され得、トピック#2のMoのビデオは、作者及びタイトルで一覧化されている。ユーザは、ビデオのうちの1つを選択して視聴することができる。
【0048】
図15は、本明細書で説明されるいずれかのディスプレイなどのディスプレイ1502に提示され得るビデオテンプレートUI1500を示し、これにより、ユーザは、他のユーザが作成したビデオを視聴し、気に入ったものに賛成票を投じることが可能となる。従って、UI1500は、別のユーザ、この事例ではユーザ「J」の武器装備に関するビデオを視聴するためのプロンプト1504を含み得る。UI1500は、リスト1506を含み得、リスト1506は、リストに示されるデータを表面化するように選択することができるエントリを有する。評価セレクタ1508が提供され得、これにより、ユーザは、ビデオを気に入ったか否かを示すことが可能となる。
【0049】
従って、前述の図は、トピックまたはゲームでチャネルをブラウズすることにより、ビデオを視聴する方法を開示する。ビデオクリップを視聴する方法は、すばやく視聴またはスキップすることができるビデオの連続ストリームであり得、最も高評価のコンテンツまたは精選されたコンテンツが、他のコンテンツよりも多く表示される。体験を向上させるために、ゲームプレイデータがビデオの上にオーバーレイされてもよい。
【0050】
図16は、ブロック1600で、ユーザ及び観覧者の「高評価」及び「低評価」の指示が受信され得、これを使用して、ブロック1602で、ビデオクリップテンプレートが修正される、及び/または新たなテンプレートが作成されることを示す。よって、フィードバックにより、プレーヤの好みを学習し、これに応じてテンプレートを変更することができる。例えば、ユーザが遠距離キルを好むことをフィードバックが示す場合、このようなキルがその後検索され、これに応じてテンプレートが作成または変更される。
【0051】
本発明の原理はさらに、プレーヤのビデオクリップに対戦相手のビュービデオを組み込むことは興味深くあり得ること、ならびに、例えばユーザのゲームプレイビデオをクラウドにアップロードすることにより、ユーザの(オプトイン)ビデオを対戦相手と共有する機会がユーザに与えられるべきであり、これにより、他の(よりベテランの)ユーザによるその後の手動編集、またはすべてのビューを使用した自動ビデオリキャップの生成が促進されることを、理解している。図17に例示される。
【0052】
複数のセグメントを有するゲームプレイビデオクリップ1700が、図17に示される。第1のセグメント1702は、ユーザの記録されたゲームプレイからの短いクリップを、例えば時間1~時間2に含む。第1のセグメント1702の直後に続く第2のセグメント1704は、ユーザの対戦相手の記録されたゲームプレイからの短いクリップを、例えば時間2~時間3に含む。第2のセグメント1704の直後に続く第3のセグメント1706は、ユーザの記録されたゲームプレイからの短いクリップを、例えば時間3~時間4に含む。
【0053】
図18は、図17に示されるクリップ1700を生成するための、本明細書で説明されるいずれかのディスプレイなどのディスプレイ1802に提示され得るUI1800を示す。UI1800は、手動編集セレクタ1804を含み、これにより、ゲームプレイビデオを手動編集してクリップを生成することが可能となり得る。UI1800はまた、セレクタ1806を含み、これにより、ユーザは、編集を自分だけに限定することが可能となり得る。
【0054】
さらに、UI1800は、自動リキャップセレクタ1808を含み、これにより、ユーザは、関連プロセッサにゲームプレイビデオの部分からビデオクリップを自動的に構築させることを、選択することが可能となり得る。UI1800はまた、手動編集セレクタ1810を含み、これは、別のユーザ(示される実施例ではユーザA)が、図17に示されるクリップ1700を生成するために、選択ユーザのゲームプレイビデオを編集する権利を有することを示し得る。
【0055】
図19は、ゲームプレイをリキャップすることにより、図17のクリップ1700などのクリップを自動的に生成することを示す。ブロック1900から始まり、ゲーム内の様々なビューが識別される。ビューには、ユーザビュー、ユーザの1人以上の対戦相手のビュー、及びゲームの1人以上の観覧者のビューが含まれ得る。
【0056】
ブロック1902に進むと、図17の全体的なクリップ1700を生成するために使用する各ビューのクリップが識別される。この識別は、「興味深い」クリップのグラウンドトゥルース集合を使用してトレーニングされたMLエンジンにより、またはクリップの記録中に生成された高評価の数が最も多い「N」個のクリップを選択することにより、または、例えばボスキルのクリップをすべて選択する、武器発射のクリップをすべて選択するなど、ヒューリスティックな相関ルールを使用して、行われ得る。その後、ブロック1904で、ブロック1902で識別されたクリップを使用して、図17の全体的なビデオクリップ1700が、好ましくはシームレスな時系列で生成され得る。
【0057】
図20は、図17に示されるクリップ1700を手動生成するための、本明細書で説明されるいずれかのディスプレイなどのディスプレイ2002に提示され得るUI2000を示す。図20では、ユーザのゲームプレイビデオからのセグメントに関する時系列リスト2004が提示され、図17の全体的なクリップ1700の一部となるセグメントを選択することができる。同様に、ユーザの対戦相手のゲームプレイビデオからのセグメントに関する対応時系列リスト2006が提示され、図17の全体的なクリップ1700の一部となるセグメントを選択することができる。
【0058】
図21は、本明細書で説明されるいずれかのディスプレイなどのディスプレイ2102に提示され得るビデオテンプレートUI2100を示す。UI2100は、前述のようにビデオテンプレートウィジェットを使用することでメタデータの特定の要素が表面化されたことを示し、示される実施例では「ボス」に対する1秒あたりのダメージ(DPS)などの経時的な武器効率のグラフ2104が示される。グラフ2104は、ビデオクリップにオーバーレイすることができる。グラフ2104のデータポイント間に補間が使用され、フレーム間の穴が埋められ得ることに、留意されたい。「ライフメーター」もビデオテンプレートに表示され、ゲームプレイクリップにオーバーレイされ得る。
【0059】
データは、特定のフォーマット/データモデルでゲームにストリーミングされ得、視聴されているものにタグ付けをするために、一意的なコードが追加され得る。よって、タグ付けシステムが確立され得、ユーザ/プレーヤは、ビデオを作成/共有する時にタグのリストから選択を行い、ビデオプレーヤにビデオが表示される状況に影響を与える。例えば、特定のビデオが作成され、「チュートリアル」とタグ付けされ得る。または、ビデオは、「WeeklyHighlightChallenge」とタグ付けされ得る。
【0060】
図22は、モバイルデバイス2200でクラウドを介してゲームプレイビデオを編集する共同編集及びモバイル編集の原理を示す。前述のように、ユーザは自分のゲームプレイビデオキャプチャをクラウド、すなわちシステムサーバに、保存することができる。ビデオがクラウドに保存されると、モバイルバージョンの上記ロジックは、モバイルデバイス2200にリスト2202または他のデータ構造を提示し、これにより、ユーザは、クラウドからコンテンツをプル/ストリーミングして、モバイルデバイス2200上で容易に編集することが可能となる。
【0061】
図23では、さらにこれが例示される。ゲームプレイビデオキャプチャがクラウドに保存され、ゲームプレイデータがゲームシステムから利用可能になると、ユーザは、モバイルデバイスでUI2300を使用して、アクティビティ2302(示される実施例では「昨晩の襲撃」)に基づいて、ビデオを検索し共有し得る。次に、「襲撃」または他のアクティビティにおけるチームメンバーの各視点からのビデオを使用して、選択されたアクティビティは編集され得る。
【0062】
図23は、さらなる編集機能を示す。マスク/アバターは、カメラのキャプチャに基づき得、またはオーディオのみに基づき得る。マスクは、ピクチャインピクチャビデオでナレーションを行うプレーヤの顔、またはクイックメッセージ/面白いメッセージで使用されるプレーヤの顔を、覆い隠すために使用され得る。マスクまたはアバターは、セレクタ2304を選択することにより、カメラからのユーザ画像の上でアニメーション化され得る。別のセレクタ2306を選択すると、ゲームプレイ中にキャプチャされたオーディオに基づいてキャラクタモデルがアニメーション化され得る。オーディオは、リスト2308から選択され得る。口調、及び録音された音声のエネルギーレベルなどに基づいて、キャラクタモデルの口及び表情(怒りまたは笑いなど)がアニメーション化され得る。
【0063】
図24にさらに例示される。ブロック2400で、オーディオ選択が受信され得る。ブロック2402で、使用されるゲームプレイビデオクリップが識別され、次いで、ブロック2400で受信されたオーディオのビートに合うように、ブロック2404でビデオカットが提案され得る。ビート検出は、よって、編集/カットに最適なポイントを定義する。ユーザは、自分のお気に入りの曲を選択してビデオモンタージュで使用することができ、次に、ロジックは、結果得られるビデオが音楽のビートに合わせて最適に編集されるように、ユーザが「カット」または編集を配置するべき場所を自動的に提案する。
【0064】
図25及び図26は、仮想現実(VR)ゲームプレイビデオクリップの編集に関する原理を示す。ブロック2500から始まり、VRシーンが記録されたゲームプレイからキャプチャされ、ブロック2502で、編集用に作り直される。特定のシーンがキャプチャされ得、またはVRゲームプレイビデオ全体が作り直され得、ブロック2504で、複数のビューが編集者に利用可能となる。本明細書で説明される原理と一致した編集を行うために、ブロック2506で、ビューが1つ以上のエディタデバイスに提示される。
【0065】
図26に示されるように、VR編集モードになると、編集者は、セレクタ2600を使用して、リストからVRビューを選択することができる。編集者はまた、シーンに対し、シーンの様々な深度レベルで(2606)、セレクタ2602を使用してオーバーレイを追加し、セレクタ2604を使用してオブジェクトを追加することができる。
【0066】
VR編集モードにより、仮想クラウドへのアクセス、及びクラウドを介したキャプチャされたゲームエクスペリエンスのナビゲーションが、可能となる。編集者は、異なる「アクティビティ」間で前後にズームし、そのアクティビティの複数のビューを見ることができる。
【0067】
いくつかの例示的な実施形態を参照して本発明の原理が説明されたが、これらは限定することを意図しておらず、各種の代替的な構成が本明細書で特許請求される主題を実施するために使用されてもよいことが理解されよう。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26