特許 7422707 効果音のレンダリング用のマルチトラックコンテナ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-18

(45)【発行日】2024-01-26

(54)【発明の名称】効果音のレンダリング用のマルチトラックコンテナ

(51)【国際特許分類】

   G10K 15/02 20060101AFI20240119BHJP

   A63F 13/60 20140101ALI20240119BHJP

   H04R 3/00 20060101ALI20240119BHJP

【ＦＩ】

G10K15/02

A63F13/60

H04R3/00

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2021114087

(22)【出願日】2021-07-09

(65)【公開番号】P2022017203

(43)【公開日】2022-01-25

【審査請求日】2021-11-02

(31)【優先権主張番号】16/924,868

(32)【優先日】2020-07-09

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】シモン アシュビー

【審査官】渡邊 正宏

(56)【参考文献】

【文献】特開２０００－３４２８４６（ＪＰ，Ａ）

【文献】特開２０１５－０１２５９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ １３／００－１３／９８

Ｇ１０Ｈ １／００－ ７／１２

Ｇ１０Ｋ １５／００－１５／１２

Ｇ１１Ｂ ２７／００－２７／０６

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／７６５

Ｈ０４Ｒ ３／００－ ３／１４

(57)【特許請求の範囲】

【請求項1】

デバイスであって、
少なくとも１つのプロセッサであって、
少なくとも第１及び第２のトラックを有し、効果音（ＳＦＸ）の供給者によって提供される少なくとも第１の効果音（ＳＦＸ）ＷＡＶファイルまたはＭＰ３ファイルにアクセスすることと、
マルチトラックコンテナを確立するために、前記第１のＳＦＸファイルを前記少なくとも第１及び第２のトラックに関連するトラック修正情報とバンドルすることであって、前記トラック修正情報は前記ＳＦＸファイルのトラックのパラメータを修正するための情報である、前記バンドルすることと、
前記供給者とは異なる第１の開発者が、前記第１の開発者によって開発された第１のコンピュータアプリケーションでレンダリングするための第１の様式で、前記トラック修正情報を使用して前記第１のＳＦＸファイルの前記パラメータを修正できるようにするために、前記マルチトラックコンテナを、コンピュータアプリケーションの少なくとも前記第１の開発者の少なくとも１つのコンピュータに送信することと、
を行う命令がプログラムされている、前記少なくとも１つのプロセッサを含む、
前記デバイス。

【請求項2】

前記命令は、
前記供給者とは異なる第２の開発者が前記第１の様式とは異なる第２の様式で前記第１のＳＦＸファイルの前記パラメータを修正するために、前記マルチトラックコンテナをコンピュータアプリケーションの少なくとも前記第２の開発者に送信するように実行可能である、請求項１に記載のデバイス。

【請求項3】

前記プロセッサが、ＳＦＸの前記供給者のコンピュータに実装されている、請求項１に記載のデバイス。

【請求項4】

前記第１の開発者の前記コンピュータであって、
前記第１のコンピュータアプリケーションで前記第１のＳＦＸファイルをレンダリングする命令でプログラムされた、前記第１の開発者の前記コンピュータを含む、請求項１に記載のデバイス。

【請求項5】

前記第１の開発者の前記コンピュータは、
前記第１のコンピュータアプリケーションの実行時に前記トラック修正情報を使用して、前記第１のＳＦＸファイルの前記パラメータを修正する命令でプログラムされている、請求項４に記載のデバイス。

【請求項6】

前記第１の開発者の前記コンピュータは、
前記第１のコンピュータアプリケーションの実行時からオフラインの前記トラック修正情報を使用して、前記第１のＳＦＸファイルの前記パラメータを修正する命令でプログラムされている、請求項４に記載のデバイス。

【請求項7】

前記命令は、
前記第１の開発者の前記コンピュータにＳＦＸレンダリングエンジンを送信するように実行可能にする、請求項１に記載のデバイス。

【請求項8】

前記ＳＦＸレンダリングエンジンは、ＳＦＸオーサリングツールを含む、請求項７に記載のデバイス。

【請求項9】

前記トラック修正情報は、前記第１及び第２のトラックについて、前記第１の開発者が前記第２のトラックとは別に前記第１のトラックの前記パラメータを修正できるように、それぞれ第１及び第２のトラック修正情報を含む、請求項１に記載のデバイス。

【請求項10】

前記第１のトラック修正情報により修正可能な前記パラメータは、遅延、音量、減衰、圧縮、歪み、残響、パンニング、フィルタ、タイムストレッチ、ピッチシフトのうちの少なくとも１つを含む、請求項９に記載のデバイス。

【請求項11】

前記ＳＦＸファイルは、少なくとも第３のトラックを含む、請求項１に記載のデバイス。

【請求項12】

方法であって、
効果音（ＳＦＸ）の供給者によって提供される第１のマルチトラックＳＦＸファイル内の複数のトラックの少なくとも一部について、前記第１のマルチトラックＳＦＸファイル及びトラック修正情報を含むマルチトラックコンテナを確立することであって、前記トラック修正情報はそれぞれの前記トラックのパラメータを修正するための情報である、前記確立すること、及び
前記供給者とは異なる第１の開発者が第１のコンピュータゲームでレンダリングするための第１の様式で前記トラック修正情報を使用して前記第１のマルチトラックＳＦＸファイルの前記パラメータを修正できるようにするために、前記マルチトラックコンテナを前記第１のコンピュータゲームの少なくとも前記第１の開発者に提供すること、を含む、
前記方法

【請求項13】

前記供給者とは異なる第２の開発者が、第２のコンピュータゲームでレンダリングするための第２の様式で、前記トラック修正情報を使用して前記第１のマルチトラックＳＦＸファイルの前記パラメータを修正できるようにするために、前記第２のコンピュータゲームの少なくとも前記第２の開発者に前記マルチトラックコンテナを提供することを含む、請求項１２に記載の方法。

【請求項14】

前記第１の開発者にＳＦＸレンダリングエンジンを送信することを含む、請求項１２に記載の方法。

【請求項15】

前記ＳＦＸレンダリングエンジンは、ＳＦＸオーサリングツールを含む、請求項１４に記載の方法。

【請求項16】

前記トラック修正情報は、前記マルチトラックＳＦＸファイルの少なくとも第１及び第２のトラックについて、前記第１の開発者が前記第２のトラックとは別に前記第１のトラックの前記パラメータを修正できるように、それぞれ第１及び第２のトラック修正情報を含む、請求項１２に記載の方法。

【請求項17】

前記第１のトラック修正情報により修正可能な前記パラメータは、遅延、音量、減衰、圧縮、歪み、残響、パンニング、フィルタ、タイムストレッチ、ピッチシフトのうちの少なくとも１つを含む、請求項１６に記載の方法。

【請求項18】

ゲーム開発者コンピュータであって、
少なくとも１つのプロセッサであって、
少なくとも第１及び第２のトラックに関連するトラック修正情報と共に、効果音（ＳＦＸ）の供給者から前記少なくとも第１及び第２のトラックを有する少なくとも第１の効果音（ＳＦＸ）ファイルを含む少なくとも第１のデータ構造を受信することであって、前記トラック修正情報は前記第１のＳＦＸファイルのトラックのパラメータを修正するための情報である、受信すること、
前記供給者とは異なる第１の開発者が、前記トラック修正情報を使用して前記第１のＳＦＸファイルの前記パラメータを修正すること、及び
前記第１の開発者によって開発された第１のコンピュータシミュレーションで前記ＳＦＸファイルをレンダリングすることが実行可能な命令で構成される、前記少なくとも１つのプロセッサを含む、
前記ゲーム開発者コンピュータ。

【請求項19】

前記命令は、前記第１のコンピュータシミュレーションの実行時に前記第１のＳＦＸファイルを変更及びレンダリングするように実行可能である、請求項１８に記載のゲーム開発者コンピュータ。

【請求項20】

前記命令は、前記第１のＳＦＸファイルをオフラインで変更し、次いで前記第１のコンピュータシミュレーションの実行時に、前記第１のＳＦＸファイルをレンダリングするように実行可能である、請求項１８に記載のゲーム開発者コンピュータ。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、概して、コンピュータシミュレーションなどのアプリケーションでの効果音（「ＳＸ」）のレンダリングに関する。

【背景技術】

【0002】

効果音（ＳＦＸ）は、リアルなオーディオを提供するために、コンピュータゲームなどのコンピュータシミュレーションで広く使用されている。ＳＦＸは対話ではなく、場合によっては音楽でもないが、ゲームのコンテンツを強調または強化するために使用される人工的に作成されたサウンドである。「人工的に作成された」には、シンセサイザーやその他の器械を使用して作成されたＳＦＸと、「有機的な」方法で作成された録音素材が含まれる。例えば、自然由来のサウンド、フォーリーセッション由来のサウンドがある。特定の例では、ＳＦＸには人工的に作成されたサウンドのみが含まれる場合があり、音楽を除外することがある。

【0003】

通常、ゲームデザイナーは、使用したい効果音を供給者から購入し、その後ゲームで適宜ＳＦＸを使用する。ＳＦＸは、コンピュータシミュレーションに加えて、ロケーションベースのエンターテインメント、インタラクティブフィルム、拡張現実（ＡＲ）／仮想現実（ＶＲ）、及びその他のエクステンデッド・リアリティ（ＸＲ）の体験、及び自動車のセクターを含む産業セクターでの応用などのインタラクティブな要素を含むあらゆる製品や体験で使用することもできる。

【発明の概要】

【0004】

本明細書で理解されるように、ゲームデザイナー及びＳＦＸを伴うアプリケーションの他のデザイナーは、完全に新しいＳＦＸを購入するか、またはゲームデザイナーが望む様式でＳＦＸを修正するように供給者に依頼することなしに、購入するＳＦＸの内部動作を修正することはできない。したがって、現在の原則は、ゲームデザイナーなどの顧客に、そのサウンドを作成するために必要な様々なトラックとサウンドの基礎となるその他の情報を設定するデジタルオーディオワークステーション（ＤＡＷ）のセッションとして「マルチトラックコンテナ」を提供する。つまり、マルチトラックコンテナには、各サウンドの「レシピ」が含まれている。

【0005】

このようにすると、かなりのやりとりが必要になり得るような、顧客が新しいサウンドを購入したり、サウンド供給者のもとに戻って必要な変更を依頼したりすることなく、ＳＦＸを変更できる。代わりに、ゲームデザイナーは、サウンド自体の変更をより柔軟に管理できるようになる。このため、ＳＦＸのオーディオファイル（．ｗａｖファイルなど）だけでなく、ＤＡＷを介してすべての基礎となる情報を単一のプロダクトとして提供することにより、ゲームデザイナーはゲーム開発の柔軟性を高めることができる。

【0006】

さらに、マルチトラックコンテナは、ＡｕｄｉｏｋｉｎｅｔｉｃのＷａｖｅ Ｗｏｒｋｓ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｏｕｎｄ Ｅｎｇｉｎｅ（Ｗｗｉｓｅ）などのＳＦＸオーサリングツール／レンダリングエンジンにインポートでき、これは、完全な解決のためにゲームデザイナーに提供することもでき、ゲームデザイナーは「コンテキスト内で」ＳＦＸを修正できるということに留意されたい。

【0007】

したがって、一態様では、デバイスは、少なくとも第１及び第２のトラックを有し、効果音（ＳＦＸ）の供給者によって提供される少なくとも第１の効果音（ＳＦＸ）ＷＡＶファイルにアクセスするための命令でプログラムされた少なくとも１つのプロセッサを含む。命令は、マルチトラックコンテナを確立するために、第１のＳＦＸファイルを第１及び第２のトラックに関連するトラック修正情報とバンドルするために実行可能である。トラック修正情報は、ＳＦＸファイルを修正するのに有用である。命令は、マルチトラックコンテナを、コンピュータアプリケーションの少なくとも第１の開発者の少なくとも１つのコンピュータに送信して、第１の開発者が第１の開発者によって開発された第１のコンピュータアプリケーションでレンダリングするための第１の様式で、第１のＳＦＸファイルを変更できるように実行可能である。

【0008】

いくつかの実施形態では、命令はマルチトラックコンテナをコンピュータアプリケーションの少なくとも第２の開発者に送信して、第２の開発者が第１の様式とは異なる第２の様式で第１のＳＦＸファイルを変更するように実行可能である。

【0009】

非限定的な例では、プロセッサは、ＳＦＸの供給者のコンピュータに実装されている。

【0010】

必要に応じて、第１の開発者のコンピュータを、第１のコンピュータアプリケーションで第１のＳＦＸをレンダリングするための命令でプログラムすることができる。第１の開発者のコンピュータは、第１のコンピュータシミュレーションの実行時にトラック修正情報を使用して第１のＳＦＸを修正する及び／または第１のコンピュータシミュレーションの実行時からオフラインでトラック修正情報を使用して、第１のＳＦＸを変更するための命令でプログラムすることができる。オフラインでの修正（製造フェーズと見なされる場合がある）用に提供されるとき、すべてが可能な限り高い解像度で、通常はパルスコード変調形式（．ｗａｖ）で配信及び作成されるが、実行時のフェーズの配信は、メモリが実行時に限られたリソースである可能性がある場合、ほとんどのＳＦＸは、サウンドエンジンまたはプラットフォームのＯＳでサポートされているＣＯＤＥＣの１つ、例えばＶｏｒｂｉｓ、Ｏｐｕｓ、ＡＤＰＣＭ、ＡＴＲＡＣ９（ＰｌａｙＳｔａｔｉｏｎ（登録商標）固有のＣＯＤＥＣ）、ＸＭＡ（Ｘｂｏｘ（登録商標）固有のＣＯＤＥＣ）、及びＡＡＣ（Ａｐｐｌｅ（登録商標）固有）などを使用して圧縮できることに留意されたい。

【0011】

命令は、第１の開発者のコンピュータにＳＦＸレンダリングエンジンを送信するために実行可能にすることができる。ＳＦＸレンダリングエンジンには、ＳＦＸオーサリングツールが含まれている場合がある。

【0012】

例示的な実施形態では、トラック修正情報は、第１及び第２のトラックについて、第１の開発者が第２のトラックとは別に第１のトラックを修正できるように、それぞれ第１及び第２のトラック修正情報を含むことができる。例えば、第１のトラック修正情報は、遅延、音量、減衰、圧縮、歪み、残響、パンニング、フィルタ、タイムストレッチ、ピッチシフトのうちの１つまたは複数を含むことができる。ＳＦＸファイルには３つ以上のトラックを含めることができる。

【0013】

別の態様では、方法は、第１のマルチトラックＳＦＸファイル内の複数のトラックの少なくとも一部について、第１のマルチトラック効果音（ＳＦＸ）ファイル及び情報を含むマルチトラックコンテナを確立することであって、トラック修正情報がそれぞれのトラックを修正するのに有用である、確立することを含む。方法は、マルチトラックコンテナを第１のコンピュータアプリケーションの少なくとも第１の開発者に提供して、第１の開発者が第１のコンピュータアプリケーションでレンダリングするための第１の様式でトラック修正情報を使用して第１のマルチトラックＳＦＸファイルを修正できるようにすることを含む。

【0014】

別の態様では、ゲーム開発者コンピュータは、第１及び第２のトラックに関連するトラック修正情報と共に、ＳＦＸの供給者から少なくとも第１及び第２のトラックを有する少なくとも第１の効果音（ＳＦＸ）ファイルを含む少なくとも第１のデータ構造を受信するように実行可能な命令で構成された少なくとも１つのプロセッサを含む。命令は、トラック修正情報を使用して第１のＳＦＸファイルを変更し、第１の開発者によって開発された第１のコンピュータアプリケーションでＳＦＸファイルをレンダリングするように実行可能である。

【0015】

本願の詳細は、その構造と動作との両方について、添付の図面を参照すると最もよく理解でき、図面において、類似の参照符号は、類似の部分を指す。

【図面の簡単な説明】

【0016】

【図1】本原理に従った例を含む例示的なシステムのブロック図である。

【図2】例示的なコンピュータ効果音提供システムのブロック図である。

【図3】フローチャート形式の例で本原理と一致するロジック全体の例を示している。

【図4-1】ＳＦＸユーザーインターフェイス（ＵＩ）を示すスクリーンショットである。

【図4-2】 ＳＦＸユーザーインターフェイス（ＵＩ）を示すスクリーンショットである。

【図4-3】 ＳＦＸユーザーインターフェイス（ＵＩ）を示すスクリーンショットである。

【図5】ＳＦＸユーザーインターフェイス（ＵＩ）を示すスクリーンショットである。

【図6】ＳＦＸユーザーインターフェイス（ＵＩ）を示すスクリーンショットである。

【図7】ＳＦＸの例の４つのトラックを単一のトラックにレンダリングすることを示している。

【図8】ＳＦＸの例の４つのトラックを複数のトラックにレンダリングすることを示している。

【図9】複数のゲームデザイナーによって作成され得る同じＳＦＸの複数のバリエーションを示している。

【図10】フローチャート形式の例で本原理と一致する実行時レンダリングロジックの例を示している。

【発明を実施するための形態】

【0017】

本開示は、概して、限定ではないが、コンピュータゲームネットワークなどの家電製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るように、ネットワークを介して接続され得るサーバコンポーネント及びクライアントコンポーネントを備えてよい。クライアントコンポーネントは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲームコンソールまたはＭｉｃｒｏｓｏｆｔ（登録商標）もしくはＮｉｎｔｅｎｄｏ（登録商標）もしくは他の製造者によって作成されたゲームコンソール、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加の実施例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作してよい。例えば、クライアントコンピュータのいくつかは、例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔ（登録商標）のオペレーティングシステムもしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ，Ｉｎｃ．（登録商標）もしくはＧｏｏｇｌｅ（登録商標）によって制作されたオペレーティングシステムを採用し得る。これらの動作環境は、Ｍｉｃｒｏｓｏｆｔ（登録商標）もしくはＧｏｏｇｌｅ（登録商標）もしくはＭｏｚｉｌｌａ（登録商標）によって作成されたブラウザ、または下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる他のブラウザプログラムなど、１つまたは複数の閲覧プログラムを実行するために使用されてよい。また、本原理に従った動作環境は、１つまたは複数のコンピュータゲームプログラムを実行するために使用されてよい。

【0018】

サーバ及び／またはゲートウェイは、インターネットなどのネットワークを介してデータを受信及び送信するサーバを構成する命令を実行する１つまたは複数のプロセッサを備えてよい。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続できる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲームコンソール、パーソナルコンピュータなどによってインスタンス化され得る。

【0019】

クライアントとサーバとの間でネットワークを通じて情報を交換し得る。この目的のために、及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、一時的ストレージ、及びプロキシ、並びに信頼性及びセキュリティのための他のネットワークインフラストラクチャを備えてよい。１つまたは複数のサーバは、ネットワークメンバーにオンラインソーシャルウェブサイトなどのセキュアコミュニティを提供する方法を実施する装置を形成してよい。

【0020】

プロセッサは、アドレスライン、データライン及び制御ラインなどの様々なライン、並びにレジスタ及びシフトレジスタによって論理を実行することができる、シングルチッププロセッサまたはマルチチッププロセッサであってよい。

【0021】

実施形態に含まれるコンポーネントは、他の実施形態では、任意の適切な組み合わせで使用することができる。例えば、本明細書で説明される、及び／または図で示される様々なコンポーネントの任意のコンポーネントが、組み合わされてよい、交換されてよい、または他の実施形態から排除されてよい。

【0022】

「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、ＢまたはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ及びＣを一緒に有するシステムなどを含む。

【0023】

これより、具体的に図１を参照すると、本原理よる、上記で言及され、以下でさらに説明される例示的なデバイスのうちの１つまたは複数を含み得る例示的なシステム１０が示されている。システム１０に含まれる例示的なデバイスのうちの第１のデバイスは、限定ではないが、テレビチューナ（同等に、テレビを制御するセットトップボックス）を備えたインターネット対応テレビなどのオーディオビデオデバイス（ＡＶＤ）１２などの消費者電子（ＣＥ）デバイスである。代わりに、ＡＶＤ１２は、また、コンピュータ制御型インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、ＨＭＤ、ウェアラブルコンピュータ制御デバイス、コンピュータ制御型インターネット対応ミュージックプレイヤ、コンピュータ制御型インターネット対応ヘッドフォン、コンピュータ制御型インターネット対応インプラント可能デバイス、例えばインプラント可能な皮膚用デバイスなどであってよい。それにも関わらず、ＡＶＤ１２は、本原理を実施する（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明される論理を実行し、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ように構成されることを理解されたい。

【0024】

したがって、このような原理を実施するために、ＡＶＤ１２は、図１に示されるコンポーネントの一部または全てによって確立できる。例えば、ＡＶＤ１２は、１つまたは複数のディスプレイ１４を備えてよく、ディスプレイ１４は、高解像度または超高解像度「４Ｋ」もしくはそれ以上の高解像度のフラットスクリーンによって実装されてよく、ディスプレイのタッチによりユーザ入力信号を受信するためにタッチ対応であってよい。ＡＶＤ１２は、本原理に従ってオーディオを出力するための１つ以上のスピーカ１６、及び可聴コマンドをＡＶＤ１２に入力してＡＶＤ１２を制御するためのオーディオ受信機／マイクロホンなどの、少なくとも１つの追加入力デバイス１８を含み得る。例示的なＡＶＤ１２は、また、１つ以上のプロセッサ２４の制御の下、インターネット、ＷＡＮ、ＬＡＮなどの少なくとも１つのネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース２０を含み得る。また、グラフィックプロセッサ２４Ａを含み得る。したがって、インタフェース２０は、限定されることはないが、Ｗｉ－Ｆｉ送受信機であり得、このＷｉ－Ｆｉ送受信機は、限定されることはないが、メッシュネットワーク送受信機などの無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば画像を提示するようにディスプレイ１４を制御すること及びディスプレイ１４から入力を受信することなどの本明細書に説明されるＡＶＤ１２の他の要素を含むＡＶＤ１２が本原理を実施するように制御することが理解されよう。さらに、ネットワークインタフェース２０は、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ送受信機などの他の適切なインタフェースであってよいことに留意されたい。

【0025】

上記のものに加えて、ＡＶＤ１２はまた、例えば、別のＣＥデバイスに物理的に接続する高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通してＡＶＤ１２からユーザに音声を提供するためにＡＶＤ１２にヘッドフォンを接続するヘッドフォンポートなどの１つまたは複数の入力ポート２６を備えてよい。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルまたは衛星ソース２６ａに有線でまたは無線で接続されてよい。よって、ソース２６ａは、別個のもしくは統合されたセットトップボックス、または衛星受信機であってよい。または、ソース２６ａは、コンテンツを含むゲームコンソールまたはディスクプレイヤであり得る。ソース２６ａは、ゲームコンソールとして実装されるとき、ＣＥデバイス４４に関連して以下で説明されるコンポーネントの一部または全てを備えてよい。

【0026】

ＡＶＤ１２は、さらに、一時的信号ではない、ディスクベースストレージまたはソリッドステートストレージなどの１つまたは複数のコンピュータメモリ２８を備えてよく、これらのストレージは、場合によっては、スタンドアロンデバイスとしてＡＶＤのシャーシ内で、またはＡＶプログラムを再生するためにＡＶＤのシャーシの内部もしくは外部のいずれかでパーソナルビデオ録画デバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして、または取り外し可能メモリ媒体として具現化されてよい。また、ある実施形態では、ＡＶＤ１２は、限定ではないが、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０などの位置または場所の受信機を備えることができ、位置または場所の受信機は、衛星もしくは携帯電話の基地局から地理的位置情報を受信し、その情報をプロセッサ２４に提供し、及び／またはＡＶＤ１２がプロセッサ２４と併せて配置されている高度を決定するように構成される。コンポーネント３０はまた、通常、加速度計、ジャイロスコープ、及び磁力計の組み合わせを含み、ＡＶＤ１２の位置及び向きを３次元で決定する慣性測定ユニット（ＩＭＵ）によって実装され得る。

【0027】

ＡＶＤ１２の説明を続けると、一部の実施形態では、ＡＶＤ１２は、１つまたは複数のカメラ３２を含んでよく、１つまたは複数のカメラ３２は、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／またはＡＶＤ１２に統合され、本原理に従って写真／画像及び／またはビデオを収集するようプロセッサ２４によって制御可能なカメラであってよい。また、ＡＶＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ送受信機３４及び他のＮＦＣ要素３６であってよい。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってよい。

【0028】

さらにまた、ＡＶＤ１２は、プロセッサ２４に入力をもたらす１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータなどの運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）など）を含み得る。ＡＶＤ１２は、プロセッサ２４への入力をもたらすＯＴＡ（無線経由）ＴＶ放送を受信するための無線経由テレビ放送ポート３８を含み得る。上記に加えて、ＡＶＤ１２はまた、赤外線データアソシエーション（ＩＲＤＡ）デバイスなどの赤外線（ＩＲ）送信機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２を含み得ることに留意されたい。電池（図示せず）は、電池を充電する及び／または ＡＶＤ１２に電力を供給するために運動エネルギーを電力に変えることができる運動エネルギーハーベスタのように、ＡＶＤ１２に電力を供給するために提供され得る。

【0029】

さらに図１を参照して、ＡＶＤ１２に加えて、システム１０は、１つまたは複数の他のＣＥデバイスタイプを含んでもよい。一例では、第１のＣＥデバイス４４は、ＡＶＤ１２に直接送信されるコマンドを介して及び／または後述のサーバを通じて、コンピュータゲームの音声及びビデオをＡＶＤ１２に送信するために使用され得るコンピュータゲームコンソールであり得る一方、第２のＣＥデバイス４６は第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第２のＣＥデバイス４６は、プレイヤによって操作されるコンピュータゲームのコントローラ、またはプレイヤ４７によって装着されるヘッドマウントディスプレイ（ＨＭＤ）として構成され得る。図示の例では、２つのＣＥデバイス４４、４６のみが示されるが、より少ないまたはより多くのデバイスが使用されてよいことは理解されよう。本明細書のデバイスは、ＡＶＤ１２について示されているコンポーネントのいくつかまたはすべてを実装することができる。次の図に示されているコンポーネントのいずれかには、ＡＶＤ１２の場合に示されているコンポーネントの一部またはすべてが組み込まれている場合がある。

【0030】

ここで、上述の少なくとも１つのサーバ５０を参照すると、サーバは、少なくとも１つのサーバプロセッサ５２と、ディスクベースストレージまたはソリッドステートストレージなどの少なくとも１つの有形コンピュータ可読記憶媒体５４と、サーバプロセッサ５２の制御の下、ネットワーク２２を介して図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を容易にし得る少なくとも１つのネットワークインタフェース５６とを含む。ネットワークインタフェース５６は、例えば、有線もしくは無線モデムもしくはルータ、Ｗｉ－Ｆｉ送受信機、または、例えば、無線テレフォニ送受信機などの他の適切なインタフェースであってよいことに留意されたい。

【0031】

したがって、いくつかの実施形態では、サーバ５０は、インターネットサーバまたはサーバ「ファーム」全体であってもよく、「クラウド」機能を含んでもよく、「クラウド」機能を実行してもよく、その結果、システム１０のデバイスは、例えば、ネットワークゲーミングアプリケーションについての例示的な実施形態においてサーバ５０を介して「クラウド」環境にアクセスすることができる。または、サーバ５０は、１つまたは複数のゲームコンソール、または図１に示される他のデバイスと同じ部屋にある、もしくはその近くにある他のコンピュータによって実装されてよい。

【0032】

図２は、効果音（ＳＦＸ）供給者コンピュータ２００が、ＳＦＸマルチトラックコンテナ２０２を、ゲーム開発者のコンピュータシステムなどの顧客コンピュータ２０４に、通常は、インターネットなどの広域コンピュータネットワークの有線及び／またはワイヤレスのパスで供給することができることを示している。

【0033】

マルチトラックコンテナ２０２は、例えば、ＷＡＶフォーマットまたはＭＰ３フォーマットのマルチトラック（２つ及び通常は３つ以上のトラック）ＳＦＸオーディオファイルと、トラックに関連するトラック修正情報との両方を含む。以下でさらに説明するように、トラック修正情報はＳＦＸファイルを修正するのに有用である。すなわち、顧客コンピュータ２０４を操作するゲーム開発者は、トラック修正情報を使用して、第１の開発者によって開発されたコンピュータゲームなどのコンピュータシミュレーションなどのコンピュータアプリケーションでレンダリングするためにＳＦＸファイルを変更することができる。同様に、異なる開発者は、同じマルチトラックコンテナ２０２を受信し、トラック修正情報を使用して、異なるコンピュータゲームのために異なる方法で同じＳＦＸファイルを変更することができる。以下でさらに説明するように、トラック修正情報を使用して、コンピュータゲームの実行時、または実行時からオフラインでＳＦＸファイルを変更できる。

【0034】

図３は、上で要約した全体的なロジックの例を示している。ブロック３００から開始して、ＳＦＸトラックは、図２に示される供給者コンピュータ２００の一部であり得るデジタルオーディオワークステーション（ＤＡＷ）にインポートすることができる。ブロック３０２に移動して、ＤＡＷを使用して、ＳＦＸファイルは、それぞれが複数のオーディオトラックを有するように作成される。本明細書で「メタデータ」と呼ばれ得るトラック修正情報は、マルチトラックコンテナを生成するためにそれぞれのＳＦＸファイルに関連付けられる。

【0035】

ブロック３０４に移動して、マルチトラックコンテナが顧客に提供され、顧客は、付随するトラック修正情報を使用して、コンテナ内のＳＦＸファイルを修正することができる。必要に応じて、ＳＦＸレンダリングエンジンはまた、ブロック３０６で顧客のコンピュータに提供され得る。レンダリングエンジンには、オーサリングツールが含まれている場合がある。このようなエンジンの例は、ＡｕｄｉｏｋｉｎｅｔｉｃのＷａｖｅ Ｗｏｒｋｓ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｏｕｎｄ Ｅｎｇｉｎｅ（Ｗｗｉｓｅ）である。顧客のコンピュータ２００で実行されるオーサリングツールを使用して、ブロック３０８で、顧客のゲーム開発者は、ＳＦＸファイルに付随するそれぞれのトラック修正情報を使用して、必要に応じて、ＳＦＸファイルに変更を加えて管理する。

【0036】

次に、図４に移るが、これは、本明細書で説明する任意のディスプレイなどのディスプレイ４００に提示され得るスクリーンショットを示している。スクリーンショットは、ＷＡＶまたはＭＰ３ファイルなどのＳＦＸファイルに関連付けられたトラック修正情報を示している。示されるように、トラック修正情報は、ＳＦＸファイルを構成する複数のトラックを示し、例では、ベーストラック４０２、ＡＣ ＧＴＲトラック４０４、ＥＧトラック４０６、ＰＡＤ０１トラック４０８、リードＶｏｘ Ｅｎｇトラック４１０、及びバックエンドトラック４１２が示されている。それぞれの音声画像４１４は、全体的なＳＦＸファイルに対するそのトラックの特定の寄与を表しながら、各トラックに対して提示され得る。

【0037】

また、スクリーンショットは、各トラックについて、トラックのパラメータ４１６を提示できることを示している。パラメータには、音量、遅延、減衰、圧縮、歪み、及び残響、パンニング、フィルタ、タイムストレッチ、ピッチシフトが含まれるが、これらに限定されない。まとめると、上記の情報はすべて、ＳＦＸマルチトラックファイルに付随するトラック修正情報と見なすことができ、ゲーム開発者などのアプリケーション開発者は、任意のそのような情報を修正できる。したがって、ゲーム開発者は、個々のトラックのパラメータを修正し、したがって、個々のトラックのＳＦＸへのサウンドの寄与を修正し、必要に応じて個々のトラックを削除し、トラックによって確立されたＳＦＸファイルに他の修正を加えることができる。

【0038】

これは、図５にさらに示されており、これは例えば、図２に示される顧客アプリケーション開発者コンピュータ２０４、または本明細書に開示される他のディスプレイに示され得るスクリーンショット５００を示しており、例においては、Ｗｗｉｓｈを使用して提示され得る。簡素にするために、図５は、編集用の４つのトラック５０２を示している。編集セレクタ５０４は、個々のトラックの修正または最終的なＳＦＸファイルからの特定のトラックの除去を可能にするために、各トラックごとに提供され、その例示的なオーディオの図は、６０２に示されるように、図６のスクリーンショット６００に示される。図６はまた、チャネル構成、メイクアップゲイン、トリム開始、トリム終了、ＷＡＶループポイント及びループ開始及び終了時間のオーバーライド、クロスフェード持続時間及びクロスフェード形状、マーカー入力モード、マーカー検出感度、フェードイン期間、フェードインカーブ、及びフェードアウト期間を含むがこれらに限定されない、ＳＦＸ出力パラメータ６０４が提示され得ることを示す。非限定的な例であることに留意されたいのは、これらの出力パラメータ６０４はまた、マルチトラックコンテナ２０２の各トラックのトラック修正情報の一部であり得ることである。

【0039】

本明細書で説明する情報のいずれかを使用して、ゲーム開発者はマルチトラックＳＦＸを修正して、トラック間の遅延、任意の所与のトラックの振幅、任意の所与のトラックの減衰、及び任意のトラックのフィルタリングを、例えばトラックの高周波数成分または低周波数成分を追加するまたは除去することで、変更できる。１つのトラックがフェードインまたはフェードアウトするか、完全に削除される場合がある。圧縮、残響、パンニング、フィルタ、タイムストレッチ、ピッチシフト、及び歪みを１つ以上のトラックに追加できる。サラウンドサウンドは、フロントスピーカーで再生する何らかのトラック、リアスピーカーで再生する他のトラックなどを指定することで対応できる。

【0040】

図７は、単一のＳＦＸサウンド７０４にレンダリングされる４つのトラック７０２を備えた、簡素化させたＳＦＸ７００を示している。例として、ＳＦＸ７００がフットフォール（靴のステップ）用であると仮定する。１つのトラック７０２は、靴が舗装をこする音に対するものであり得、別のトラックは、踵が舗装を打つ音に対するものであり得、別のトラックは、つま先が舗装を打つためのものであり、別のトラックは、キャラクターが歩くときの衣服のスウッシュ用であり得る。

【0041】

図８は、いくつかのトラック８００を組み合わせて効果音の第１の層８０２をレンダリングすることができる一方で、他のトラック８０４を組み合わせてＳＦＸの第２の層８０６をレンダリングできることを示している。レンダリングはオフラインで行うことができ、この場合、ゲームデザイナーは、単一のオーディオファイルにレンダリングする前に、好みに合わせてコンテンツを修正／混合でき、それは、次いでサウンドエンジン（Ｗｗｉｓｅなど）にインポートされる。

【0042】

または、図８に示するように、レンダリングは、ゲームの呼び出しに応じて、ゲームの再生実行時に実行できる。本質的に、サウンドデザイナーは、マルチトラックセッションをレンダリングエンジン（Ｗｗｉｓｅなど）にインポートし、次いでいくつかのトラックを再グループ化して、リアルタイムパラメーターコントロール（ＲＴＰＣ）をアタッチし、ゲームエンジンが実行時にトリガーされることを示すことができる。ＲＴＰＣとＳｔａｔｅｓは、ゲームエンジンアプリケーションプログラミングインターフェイス（ＡＰＩ）の呼び出しのサウンドデザイナー向けの抽象化である。

【0043】

図９は、すべて共通のマルチトラックコンテナから派生したＳＦＸの視覚的表現を示しており、様々なゲームデザイナーが同じＳＦＸに実に様々な変更を加えることができることを示している。

【0044】

図１０は、上記の実行時のロジックを示している。ブロック１０００から開始して、実行時にマルチトラックコンテナを受信することができる。ゲームの状況によって駆動されるゲームの呼び出しは、ブロック１００２で再受信された。ブロック１００４に移動すると、呼び出されたＳＦＸがアクセスされる。ブロック１００６に進むと、トラック修正情報を使用して、コンテナ内のＳＦＸファイルが修正され、修正されたＳＦＸがブロック１００８でレンダリングされる。

【0045】

いくつかの例示的な実施形態を参照して本原理を説明したが、これらは限定することを意図しておらず、各種の代替的な構成が本明細書で特許請求される主題を実施するために使用されてよいことは理解されよう。

【図1】

【図2】

【図3】

【図4-1】

【図4-2】

【図4-3】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】