特表 2024-520989 仮想現実障害物の作成による効果音シミュレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-28

(54)【発明の名称】仮想現実障害物の作成による効果音シミュレーション

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240521BHJP

【ＦＩ】

G06F3/16 600

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023560908

(86)(22)【出願日】2022-04-11

(85)【翻訳文提出日】2023-10-02

(86)【国際出願番号】 CN2022086080

(87)【国際公開番号】W WO2022247492

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】17/303,201

(32)【優先日】2021-05-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【復代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】ビー、ディネシュ クマール

(72)【発明者】

【氏名】ラクシット、サルバジット ケイ．

(57)【要約】

複合現実環境における仮想オブジェクトの音響効果を反映するように外部音を変調するための方法、コンピュータシステム、及びコンピュータプログラム製品が提供される。本発明は、知識コーパスを作成すること、複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録すること；少なくとも１つの仮想オブジェクトを含む、複合現実環境内の１又は複数のオブジェクトを識別すること；知識コーパスに基づき効果音を変調して、ＭＲ環境内の１又は複数のオブジェクトの１又は複数の音響効果をシミュレートすること；及び変調された効果音をユーザに再生すること、を含み得る。

【特許請求の範囲】

【請求項1】

複合現実デバイスを操作するためのプロセッサ実装方法であって：
前記複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録する段階；
少なくとも１つの仮想オブジェクトを含む、前記複合現実環境内の１又は複数のオブジェクトを識別する段階；
前記効果音を変調して、前記複合現実環境内の前記１又は複数のオブジェクトの１又は複数の音響効果をシミュレートする段階；及び
前記変調された効果音を前記ユーザに再生する段階
を備える、方法。

【請求項2】

前記変調する段階は、前記仮想オブジェクトが前記ユーザによって作成又は編集されることに応答して動的に実行される、請求項１に記載の方法。

【請求項3】

前記効果音を変調して、前記ユーザによって修正された前記複合現実環境の設定又は条件の１又は複数の音響効果をシミュレートする段階を更に備える、請求項１に記載の方法。

【請求項4】

前記変調する段階は、前記ユーザが前記複合現実環境の前記設定又は条件を修正することに応答して動的に実行される、請求項３に記載の方法。

【請求項5】

前記複合現実環境は、複数ユーザ連携環境を備え、ここで複数の参加ユーザは、前記少なくとも１つの仮想オブジェクトを位置決め又は編集することが可能である、請求項１に記載の方法。

【請求項6】

前記複合現実環境を構成してユーザが選択したサンプル音を再生するために必要な１又は複数の変更を、前記複合現実環境内で前記ユーザにグラフィック的に示す段階を更に備える、請求項１に記載の方法。

【請求項7】

前記変調する段階は、作成された知識コーパスに基づいている、請求項１に記載の方法。

【請求項8】

複合現実デバイスを操作するためのコンピュータシステムであって：
１又は複数の複合現実デバイス、１又は複数のマイクロフォン、１又は複数のスピーカ、１又は複数のプロセッサ、１又は複数のコンピュータ可読メモリ、１又は複数のコンピュータ可読有形記憶媒体、及び、前記１又は複数のメモリのうち少なくとも１つを介した前記１又は複数のプロセッサのうち少なくとも１つによる実行のために前記１又は複数の有形記憶媒体のうち少なくとも１つに記憶されたプログラム命令
を備え、ここで前記コンピュータシステムは：
前記複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録する手順；
少なくとも１つの仮想オブジェクトを含む、前記複合現実環境内の１又は複数のオブジェクトを識別する手順；
前記効果音を変調して、前記複合現実環境内の前記１又は複数のオブジェクトの１又は複数の音響効果をシミュレートする手順；及び
前記変調された効果音を前記ユーザに再生する手順
を有する方法を実行することができる、コンピュータシステム。

【請求項9】

前記変調する手順は、前記仮想オブジェクトが前記ユーザによって作成又は編集されることに応答して動的に実行される、請求項８に記載のコンピュータシステム。

【請求項10】

前記効果音を変調して、前記ユーザによって修正された前記複合現実環境の設定又は条件の１又は複数の音響効果をシミュレートする手順を更に備える、請求項８に記載のコンピュータシステム。

【請求項11】

前記変調する手順は、前記ユーザが前記複合現実環境の前記設定又は条件を修正することに応答して動的に実行される、請求項１０に記載のコンピュータシステム。

【請求項12】

前記複合現実環境は、複数ユーザ連携環境を備え、ここで複数の参加ユーザは、前記少なくとも１つの仮想オブジェクトを位置決め又は編集することが可能である、請求項８に記載のコンピュータシステム。

【請求項13】

前記複合現実環境を構成してユーザが選択したサンプル音を再生するために必要な１又は複数の変更を、前記複合現実環境内で前記ユーザにグラフィック的に示す手順を更に備える、請求項８に記載のコンピュータシステム。

【請求項14】

前記変調する手順は、作成された知識コーパスに基づいている、請求項８に記載のコンピュータシステム。

【請求項15】

複合現実デバイスを操作するためのコンピュータプログラム製品であって：
１又は複数のコンピュータ可読有形記憶媒体、及び、前記１又は複数の有形記憶媒体のうち少なくとも１つに記憶されたプログラム命令
を備え、前記プログラム命令は、プロセッサに：
前記複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録する手順；
少なくとも１つの仮想オブジェクトを含む、前記複合現実環境内の１又は複数のオブジェクトを識別する手順；
前記効果音を変調して、前記複合現実環境内の前記１又は複数のオブジェクトの１又は複数の音響効果をシミュレートする手順；及び
前記変調された効果音を前記ユーザに再生する手順
を有する方法を実行させるために前記プロセッサによって実行可能である、コンピュータプログラム製品。

【請求項16】

前記変調する手順は、前記仮想オブジェクトが前記ユーザによって作成又は編集されることに応答して動的に実行される、請求項１５に記載のコンピュータプログラム製品。

【請求項17】

前記効果音を変調して、前記ユーザによって修正された前記複合現実環境の設定又は条件の１又は複数の音響効果をシミュレートする手順を更に備える、請求項１５に記載のコンピュータプログラム製品。

【請求項18】

前記変調する手順は、前記ユーザが前記複合現実環境の前記設定又は条件を修正することに応答して動的に実行される、請求項１７に記載のコンピュータプログラム製品。

【請求項19】

前記複合現実環境は、複数ユーザ連携環境を備え、ここで複数の参加ユーザは、前記少なくとも１つの仮想オブジェクトを位置決め又は編集することが可能である、請求項１５に記載のコンピュータプログラム製品。

【請求項20】

前記複合現実環境を構成してユーザが選択したサンプル音を再生するために必要な１又は複数の変更を、前記複合現実環境内で前記ユーザにグラフィック的に示す手順を更に備える、請求項１５に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、コンピューティングの分野に関し、より具体的には、複合現実に関する。

【背景技術】

【0002】

複合現実は、物理オブジェクト及びデジタルオブジェクトが共存し、リアルタイムで相互作用するように、現実世界及び仮想世界を融合させることに関連する分野である。複合現実は、物理世界又は仮想世界のいずれかにおいて専ら生じるものではなく、現実及び仮想現実のハイブリッドであり；そのため、複合現実は、両極端、すなわち純粋に物理的な環境及び純粋に仮想的な環境を除く、現実－仮想の連続体における全てを表す。従って、複合現実は、拡張仮想（ＡＶ）、拡張現実（ＡＲ）、及び仮想現実（ＶＲ）を含む。複合現実は、リモートワーク、軍事及び商業訓練、ゲーム、及びハイブリッドの遊園地スタイルの乗り物において実際的な用途を見出してきた。

【発明の概要】

【0003】

１つの実施形態によれば、複合現実環境における仮想オブジェクトの音響効果を反映するように外部音を変調するための方法、コンピュータシステム、及びコンピュータプログラム製品が提供される。本発明は、知識コーパスを作成すること、複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録すること；少なくとも１つの仮想オブジェクトを含む、複合現実環境内の１又は複数のオブジェクトを識別すること；知識コーパスに基づき効果音を変調して、ＭＲ環境内の１又は複数のオブジェクトの１又は複数の音響効果をシミュレートすること；及び変調された効果音をユーザに再生すること、を含み得る。

【図面の簡単な説明】

【0004】

本発明のこれらの及び他の目的、特徴及び利点は、添付図面に関連して読まれる、それらの例示的な実施形態の以下の詳細な説明から明らかになるであろう。例示は、当業者が詳細な説明と併せて本発明を理解することを容易にするにあたっての明確性のためのものであり、図面の様々な特徴は、縮尺通りではない。
図面において、以下の内容が示されている。

【0005】

【図1】少なくとも１つの実施形態に係る、例示的なネットワーク化されたコンピュータ環境を示す。

【0006】

【図2】少なくとも１つの実施形態に係る、複合現実音響変調プロセスを示す動作フローチャートである。

【0007】

【図3】少なくとも１つの実施形態に係る、複合現実音響変調システムの使用事例を示す図である。

【0008】

【図4A】少なくとも１つの実施形態に係る、複合現実音響変調システムの使用事例を示す図である。

【0009】

【図4B】少なくとも１つの実施形態に係る、複合現実音響変調システムの使用事例を示す図である。

【0010】

【図5】少なくとも１つの実施形態に係る、図１において示されたコンピュータ及びサーバの内部及び外部コンポーネントのブロック図である。

【0011】

【図6】本発明の実施形態に係る、クラウドコンピューティング環境を示す。

【0012】

【図7】本発明の実施形態に係る、抽象化モデル層を示す。

【発明を実施するための形態】

【0013】

特許請求される構造及び方法の詳細な実施形態が本明細書において開示される；しかしながら、開示される実施形態は、様々な形態において具現化され得る特許請求される構造及び方法の単なる例示であることが理解され得る。しかしながら、本発明は、多くの異なる形態で具現化されてよく、本明細書に記載の例示的な実施形態に限定されると解釈されるべきではない。説明において、提示された実施形態を不必要に曖昧にすることを回避するために、周知の特徴及び技法の詳細が省略されることがある。

【0014】

本発明の実施形態は、コンピューティングの分野に関し、より具体的には、複合現実に関する。以下で説明される例示的な実施形態は、とりわけ、複合現実環境の組み合わされた仮想条件及び物理条件を反映するために、複合現実環境の外部で生じる効果音を変調する、システム、方法、及びプログラム製品を提供する。従って、本実施形態は、特に、複合現実環境の外部で生じる音に関して、複合現実環境内でユーザによって知覚される音の忠実度を改善することにより、複合現実の技術分野を改善する能力を有し、それによって、複合現実環境内における没入感及び複合現実環境内におけるシミュレーションの正確度を改善する。

【0015】

前述の通り、複合現実は物理オブジェクト及びデジタルオブジェクトが共存し、リアルタイムで相互作用するように、現実世界及び仮想世界を融合させることに関連する分野である。複合現実は、物理世界又は仮想世界のいずれかにおいて専ら生じるものではなく、現実及び仮想現実のハイブリッドであり；そのため、複合現実は、両極端、すなわち純粋に物理的な環境及び純粋に仮想的な環境を除く、現実－仮想の連続体における全てを表す。従って、複合現実は、拡張仮想（ＡＶ）、拡張現実（ＡＲ）、及び仮想現実（ＶＲ）を含む。複合現実は、例えば、リモートワーク、軍事及び商業訓練、ゲーム、及びシミュレーションにおいて実際的な用途を見出してきた。

【0016】

複合現実は、その独自の固有の課題を呈している；任意の環境において生じる音は、例えば、環境における障害物の存在、形状、及び材料組成、音が伝達される媒体の特性、及び、音の発生源、障害物及び表面、及び音を知覚するユーザ又はデバイスの間の相対的距離によって、変更され、歪められる。複合現実環境は、仮想要素並びに物理要素を備え；ユーザに再生される音がユーザによって体験される環境を正確に反映することを確実にし、ユーザの複合現実体験の没入感を維持するために、これらの仮想要素の影響が、物理要素の影響に加えて考慮される必要がある。しかしながら、現在、複合現実体験は、複合現実体験を実行する複合現実ソフトウェアにより作成される音を変調するのみである。その結果、バックグラウンドアプリケーション上で再生されている音楽、バックグラウンドチャットアプリケーション又は物理的にユーザの近くにいる人々から発せられる声等が、ユーザの複合現実環境内で耳障り且つ不自然に聞こえ、ユーザを体験から引き離し、ユーザの楽しみを減じ得る。加えて、仮想要素及び物理要素の音への影響をシミュレートする方法がなければ、異なる環境の障害物による音への影響を聞き取ることを望むユーザは、物理世界においてそれらの障害物を構築しなければならない、又は、仮想要素の追加又は削除など、環境への動的変化を反映するために容易に修正することができない詳細なシミュレーションを構築しなければならない。

【0017】

そのため、とりわけ、例えばユーザの複合現実環境の外部で生じる効果音を記録し、複合現実環境内の物理要素及び仮想要素の両方を正確に反映するよう音を変調し；ユーザが複合現実環境において仮想オブジェクトを作成し、追加された仮想オブジェクトに基づき音がどのように変化するかを聞き取ることを可能にし；及び、任意の複数ユーザ複合現実連携周辺環境における複数の参加ユーザが、複合現実連携周辺環境において異なるタイプの仮想オブジェクトを配置及び位置決めすることを可能にし、それに応じて、周辺環境において生成される音の影響を改変するシステムを実装することが有利であり得る。複合現実環境内でそのようなシステムを実装して、ユーザが音における変化を聞き取るために仮想オブジェクトを配置及び位置決めし得る容易性を改善することは、有利であり得る。そのようなシステムは、ユーザが存在する複合現実環境において音が生じているかのようにユーザがそれらを知覚することを可能にし得、これは、多くの潜在的な利点を提供する：例えば、システムは、ユーザが物件における部屋の音響特性を正確にプレビューし、ユーザが物件に入札する前に、物件内に仮想的に配置されたユーザの所有物の音響特性をシミュレートすることさえも可能にし得る。システムは、ユーザが、目的地の音響特性をプレビューすること、及び、異なるサイズ、位置、形状、及び組成の仮想オブジェクトを作成することにより、異なるオブジェクト及び材料が音にどのような影響を及ぼすかを学習することを可能にし得る。システムは、ユーザのグループが複合現実空間内に連携してオブジェクトを配置し、音がどのような影響を受けるかを聞き取ることを可能にし得る。

【0018】

１つの実施形態によれば、本発明は、複合現実ヘッドセットを装着しているユーザによって体験される複合現実環境の外部で生じる効果音を記録し、複合現実環境内の仮想オブジェクト及び物理オブジェクトの存在を反映するよう効果音を変調し、変調された効果音をユーザに再生するためのシステムである。

【0019】

少なくとも１つの実施形態によれば、本発明は、ユーザによって体験される複合現実環境内の仮想オブジェクトをユーザが作成又は位置決めし、仮想オブジェクトの音に対する音響効果を考慮して複合現実環境の外部で生じる効果音を動的に変調し、変調された音をユーザに再生することを可能にするためのシステムである。

【0020】

少なくとも１つの実施形態によれば、本発明は、ユーザによって体験される複合現実環境をユーザが修正し、修正された複合現実環境の音響効果を考慮して複合現実環境の外部で生じる効果音を動的に変調し、変調された音をユーザに再生することを可能にするためのシステムである。

【0021】

本発明の幾つかの実施形態において、効果音は、複合現実環境の外部で生じる任意の音であり得る。例えば、効果音は、ユーザの物理環境において生じており、ユーザがそれを裸耳で聞き取ることができる程度に十分近い、又は十分大きい音であり得る。効果音は、ユーザの仮想環境において生じる音であり得るが、複合現実環境の一部ではない；例えば、音は、ユーザが現在没入している複合現実環境を生成するアプリケーションとは別のアプリケーションから発せられる音楽又はボイスチャットであり得る。幾つかの実施形態において、例えば複数の連携ユーザが存在する場合、効果音は、少なくとも１人のユーザの近傍において生じ得る。

【0022】

本明細書において言及される場合、ユーザの物理環境は、土、空気、空、木、家具、動物、人々等などの物理オブジェクトなど、ユーザの位置のあらゆる物理要素で構成される、ユーザの現実世界の周辺環境であり得る。仮想環境は、ユーザの仮想周辺環境、すなわち、ユーザが見る及び／又は相互作用することができる、専用のディスプレイハードウェア上のプロセッサによってレンダリングされる仮想オブジェクトを含む全ての仮想要素であり得る。仮想オブジェクトは、任意の形状、サイズ、位置、材料組成等のオブジェクトであり得、多くの場合、物理オブジェクトを模倣又はシミュレートしたものであり、これは、アプリケーションのビジュアルインタフェース、コンピュータが生成したテキスト又はシンボル、又はユーザの視界上にオーバーレイされる画像又はオブジェクト、ユーザがヘッドセットを通じて見ているゲーム環境等など、仮想環境内のソフトウェアを介してシミュレートされている。

【0023】

複合現実環境は、ＶＲヘッドセット、スマートグラス、タブレット、携帯電話等などのデバイスを通じて１又は複数のユーザによって体験される環境であり得、これは、ユーザの物理的及び仮想環境の複合体を備える；複合現実環境は、仮想要素及び物理要素の両方の任意の組み合わせであり得る。複合現実体験内の仮想要素は、仮想シーン、及び、安全指示、広告、ナビゲーション指示、仮想サイネージ等などの拡張現実要素を含む、物理世界内の場所及びオブジェクトにマッピングされ得る、又はそうでなければ対応し得る仮想環境においてモデル化される仮想体験のデジタルコンポーネントを含み得；仮想要素は相互作用型であり得、参加者の動き、発話、向き等に応答する。仮想要素の物理要素に対する比率は著しく異なり得る；例えば、スペクトルの一方の端部において、複合現実体験は、仮想環境における１又は複数の参加者の動きが、物理世界における当該参加者の位置及び動きにマッピングされるように、物理的な位置にマッピングされた相互作用型の仮想環境など、最小限の物理要素を伴う主として仮想的なものであり得る。スペクトルのもう一方の端部において、複合現実体験は、ユーザの物理環境上にオーバーレイされる仮想ナビゲーション補助など、最小限の仮想要素を伴う主として物理的なものであり得る。

【0024】

本発明の幾つかの実施形態において、仮想オブジェクトはユーザによって作成され得、既存の仮想オブジェクトは編集され得る；編集は、仮想オブジェクトの形状、サイズ、位置、材料組成、及び他の特性を変更することを含み得る。幾つかの実施形態において、例えば、複数の連携ユーザが存在する場合、任意の数のユーザは、仮想オブジェクトを作成又は編集し得、連携複数ユーザ環境に参加する任意の又は全ての他のユーザによって作成される仮想オブジェクトを知覚し得、各個々の参加ユーザは、ユーザ自身の外部環境内で生じる、及び／又は他の連携ユーザの全て又はサブセットの外部仮想環境及び／又は物理環境から発生する効果音を聞き取り得る。

【0025】

本発明の幾つかの実施形態において、音響効果は、オブジェクト及び／又は材料が音波に応答する方法を規定するオブジェクト及び／又は材料の特性であり得る。システムは、仮想オブジェクトに帰属する材料、形状、及び位置、及び効果音の発生源の位置、オブジェクト及び仮想オブジェクトに対するユーザの位置等に基づき効果音を変更することにより、仮想オブジェクトの音響効果をシミュレートし得、それにより、効果音はユーザにとって、仮想オブジェクトが物理的なものである場合にそれが聞こえるのと同様に聞こえる。

【0026】

本発明の幾つかの実施形態において、ユーザは、設定を変更することにより、複合現実環境を修正し得、設定は、時間、地理、地形の特徴、及び／又はユーザの可視的な周辺環境を有する構造などの仮想要素を備える。例えば、ユーザは、物理的にはユーザの自宅のリビングルームに位置し得るが、ユーザは、複合現実環境の設定を丘陵地帯の屋外エリアになるように修正し得、それにより、音は、丘陵地帯の屋外エリアを反映するように変調され得る。幾つかの実施形態において、ユーザは、条件を変更することにより複合現実環境を修正することができ、条件は、気象現象の存在及び厳しさ、湿度などの大気条件、設定が水中であるかどうか等などの設定を修正し、音響条件を変更する状況であり得る。

【0027】

本発明の幾つかの実施形態において、複合現実環境は、複数ユーザ連携環境であり得、複数の参加ユーザは、異なるタイプの仮想オブジェクトを連携して配置及び位置決めすることができ、参加ユーザの全て又はサブセットが、複数ユーザ連携環境内の仮想オブジェクトを反映するように変調された複数ユーザ連携環境の外部の音を聞き取ることを可能にする。幾つかの実施形態において、複数の参加ユーザは、設定及び／又は条件を変更することにより、複合現実環境を修正し得る。

【0028】

本発明の幾つかの実施形態において、ユーザは、サンプル効果音を選択することができ、システムは、一致する効果音を実現するために、現在の周辺環境にどのような変更が適用される必要があるかを、複合現実環境内でユーザにグラフィック的に示すことができる。例えば、ユーザは、ユーザのリビングルームにおいてユーザが「こんにちは」と言っている記録などの選択された効果音を希望することができ、システムは、同様の又は一致する効果音が作成され得るよう、ソファの位置を変更する、壁の向きを変更する、及びより厚いカーペットを追加するなど、リビングルームにどのような変更が適用される必要があるかを表示することができる。システムは、周辺環境内の新しい又は移動されたオブジェクトを表すために仮想オブジェクトを作成することにより、複合現実環境内の変化を表示することができ、また、仮想オブジェクトを取り除くことができ、及び／又は取り除かれる又は再配置される予定の物理オブジェクトをマスキングすることができる。

【0029】

本発明の幾つかの実施形態において、システムは、知識コーパスを作成することができ、知識コーパスは、音の特性、音の反射、反射の特性、及び、異なる材料の音響特性、音伝達媒体、表面及び障害物の形状及びサイズ、距離を介した音の伝搬における変化等を含む、関連する物理特性に関する一般知識を備える、システムにとってアクセス可能な知識体系である。システムは、知識コーパスを参照して音を変調し得る。幾つかの実施形態において、知識コーパスは、例えばシステムによってフィードバックとして提供される、過去のデータ及び実世界の例に基づく、特定の音に対する特定のオブジェクト、設定、条件等の影響に関する具体的なデータを含み得る。

【0030】

本発明は、任意の可能な技術的詳細レベルの統合におけるシステム、方法及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又は複数の媒体）を含み得る。

【0031】

コンピュータ可読記憶媒体は、命令実行デバイスにより用いられる命令を保持及び記憶できる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は上述したものの任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非包括的なリストは、以下、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、パンチカード又は命令が記録された溝内の隆起構造などの機械的にエンコードされたデバイス、及び上述したものの任意の好適な組み合わせを含む。本明細書において使用されるコンピュータ可読記憶媒体は、電波又は他の自由に伝搬する電磁波、導波路又は他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又はワイヤを通じて伝送される電気信号等、一時的な信号自体であると解釈されるべきではない。

【0032】

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスへ、又は、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0033】

本発明の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データであり得、又は、Ｓｍａｌｌｔａｌｋ（登録商標）又はＣ＋＋などのようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの手続き型プログラミング言語を含む１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードであり得る。コンピュータ可読プログラム命令は、スタンドアロンのソフトウェアパッケージとして、ユーザのコンピュータ上で全体を実行すること、ユーザのコンピュータ上で一部分を実行することができ、ユーザのコンピュータ上で一部分を、リモートコンピュータ上で一部分を実行すること、又は、リモートコンピュータ又はサーバ上で全体を実行することができる。後者のシナリオでは、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、又はその接続が、（例えば、インターネットサービスプロバイダを用いたインターネットを介して）外部コンピュータに対して行われてよい。幾つかの実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズしてよい。

【0034】

本発明の態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明されている。フローチャート図及び／又はブロック図の各ブロック、及び、フローチャート図及び／又はブロック図におけるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装され得ることが理解されよう。

【0035】

これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサ、又は他のプログラマブルデータ処理装置に提供され、マシンを生成してよく、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の１又は複数のブロックで指定された機能／動作を実装するための手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに特定の方式で機能するように指示することができるコンピュータ可読記憶媒体に記憶されてよく、それにより、その中に命令が記憶されたコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図の１又は複数のブロックで指定された機能／動作の態様を実装する命令を含む製品を有する。

【0036】

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイスにロードして、一連の動作段階をコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行させ、コンピュータ実装プロセスを生成してよく、それにより、コンピュータ、他のプログラマブル装置又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の１又は複数のブロックにおいて指定される機能／動作を実装する。

【0037】

図におけるフローチャート及びブロック図は、本発明の様々な実施形態に係るシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能及び動作を示している。これに関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実装するための１又は複数の実行可能命令を含む命令のモジュール、セグメント、又は一部を表し得る。幾つかの代替的な実装形態において、ブロックに記されている機能は、図に記されている順序とは異なる順序で行われ得る。例えば、連続して示される２つのブロックは、実際には、１つの段階として実現され、同時に、実質的に同時に、部分的又は全体的に時間的に重複する方式で実行され得るか、又は、関連する機能に応じて、ブロックは場合により、逆の順序で実行され得る。ブロック図及び／又はフローチャート図の各ブロック、及び、ブロック図及び／又はフローチャート図におけるブロックの組み合わせは、指定された機能又は動作を実行する、又は専用ハードウェア及びコンピュータ命令の組み合わせを実行する専用ハードウェアベースシステムにより実装され得ることにも留意されたい。

【0038】

以下で説明される例示的な実施形態は、複合現実環境の組み合わされた仮想条件及び物理条件を反映するために、複合現実環境の外部で生じる効果音を変調する、システム、方法、及びプログラム製品を提供する。

【0039】

図１を参照すると、少なくとも１つの実施形態に係る、例示的なネットワーク化されたコンピュータ環境１００が示されている。ネットワーク化されたコンピュータ環境１００は、通信ネットワーク１１４を介して相互接続された、クライアントコンピューティングデバイス１０２、複合現実デバイス１１８、及びサーバ１１２を含み得る。少なくとも１つの実装形態によれば、ネットワーク化されたコンピュータ環境１００は、複数のクライアントコンピューティングデバイス１０２、複合現実デバイス１１８、及びサーバ１１２を含み得るが、例示の簡潔性のため、そのそれぞれのうち１つのみが示される。

【0040】

通信ネットワーク１１４は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電気通信ネットワーク、無線ネットワーク、公衆交換電話網及び／又はサテライトネットワークなどの様々なタイプの通信ネットワークを含み得る。通信ネットワーク１１４は、有線、無線通信リンク、又は光ファイバケーブルなどの接続を含み得る。図１は、１つの実装形態の単なる例示を提供するものであり、異なる実施形態が実装され得る環境に関していかなる限定をも示唆しないことを理解されたい。設計及び実装要件に基づき、示された環境に対する多くの修正が行われ得る。

【0041】

本発明の１つの実施形態によれば、クライアントコンピューティングデバイス１０２は、知識コーパス１０８及び複合現実音変調プログラム１１０Ａをホスト及び実行し、通信ネットワーク１１４を介してサーバ１１２と通信することが可能なプロセッサ１０４及びデータ記憶デバイス１０６を含み得る。クライアントコンピューティングデバイス１０２は、例えば、モバイルデバイス、電話、携帯情報端末、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、又は、プログラムを実行し、ネットワークにアクセスすることができる任意のタイプのコンピューティングデバイスであり得る。幾つかの実施形態において、クライアントコンピューティングデバイス１０２は、複合現実デバイス１１８であり得、及び／又は複合現実デバイス１１８に統合され得る。図５に関して論述される通り、クライアントコンピューティングデバイス１０２は、それぞれ内部コンポーネント５０２ａ及び外部コンポーネント５０４ａを含み得る。

【0042】

複合現実（ＭＲ）デバイス１１８は、ユーザが複合現実環境を知覚することを可能にする任意のデバイスであり得；複合現実デバイス１１８は、仮想環境をレンダリングすることができるディスプレイ、及び、デバイスが物理世界に対して、ひいては物理世界における位置にマッピングされた仮想オブジェクトに対して、その位置及び動きを追跡することを可能にするハードウェア又はソフトウェアを装備した任意のデバイスであり得る。複合現実デバイス１１８は、ユーザによって所有される汎用デバイスであり得、又は、個々の複合現実体験又は複合現実体験のクラスのためにカスタマイズ又は特殊化され得る。複合現実デバイス１１８は、ＶＲヘッドセット、ＡＲヘッドセット、スマートグラス、タブレット、携帯電話等などのデバイスを含み得る。ユーザは、複合現実環境を体験している間、複合現実デバイス１１８を装着又は利用し得る。本発明の１つの実施形態によれば、複合現実デバイス１１８は、通信ネットワーク１１４を介してクライアントコンピューティングデバイス１０２及び／又はサーバ１１２内に存在するユーザ体験オーケストレータプログラム１１０Ａ、１１０Ｂと通信することが可能であり得る。

【0043】

本発明の幾つかの実施形態において、複合現実デバイス１１８又はクライアントコンピューティングデバイス１０２は、ユーザの物理環境内で生じる音を記録するための１又は複数のマイクロフォンを装備し得る、又はこれと通信し得る。マイクロフォンは、ユーザの一般的な近傍内に位置付けられ、例えば、ユーザが身に着けているヘッドセット又はモバイルデバイスに統合されてよく、それにより、マイクロフォンによって記録された音は、ユーザが音を実際に聞き取っているかどうかにかかわらず、ユーザの裸耳にとって聞き取り可能な音となる。

【0044】

本発明の幾つかの実施形態において、複合現実デバイス１１８又はクライアントコンピューティングデバイス１０２は、変調された音をユーザに再生するための１又は複数のスピーカを装備し得る、又はこれと通信し得る。スピーカは、音がユーザに直接再生され得るよう、ユーザの耳に取り付けられる、又は近接するデバイスであり得る。本発明の幾つかの実施形態において、スピーカは、ユーザの物理環境において生じる音をユーザが聞き取る可能性を低減するために、遮音又はノイズキャンセリング技術などの能動的又は受動的なノイズ減衰機能を装備してよく、それにより、ユーザは、スピーカを通じて再生されるそのような音の変調されたバージョンを聞き取ることができる。

【0045】

本発明の実施形態によれば、サーバコンピュータ１１２は、ラップトップコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、又は、複合現実音変調プログラム１１０Ｂ及びデータベース１１６をホスト及び実行し、通信ネットワーク１１４を介してクライアントコンピューティングデバイス１０２と通信することができる任意のプログラマブル電子デバイス、又は、プログラマブル電子デバイスの任意のネットワークであり得る。図５に関して論述される通り、サーバコンピュータ１１２は、それぞれ内部コンポーネント５０２ｂ及び外部コンポーネント５０４ｂを含み得る。サーバ１１２はまた、サービスとしてのソフトウェア（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ：ＳａａＳ）、サービスとしてのプラットフォーム（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ：ＰａａＳ）、又はサービスとしてのインフラストラクチャ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ：ＩａａＳ）などの、クラウドコンピューティングサービスモデルにおいて動作し得る。サーバ１１２はまた、プライベートクラウド、コミュニティクラウド、パブリッククラウド又はハイブリッドクラウド等のクラウドコンピューティング展開モデル内に位置し得る。

【0046】

本実施形態によれば、複合現実音変調プログラム１１０Ａ、１１０Ｂは、複合現実環境の組み合わされた仮想条件及び物理条件を反映するために、複合現実環境の外部で生じる効果音を変調することができるプログラムであり得る。複合現実音変調プログラム１１０Ａ、１１０Ｂは、クライアントコンピューティングデバイス１０２上又はサーバ１１２上、又は、ネットワーク１１４内に位置する任意の他のデバイス上に位置し得る。更に、複合現実音変調プログラム１１０Ａ、１１０Ｂは、その動作において、クライアントコンピューティングデバイス１０２、複合現実デバイス１１８及び／又はサーバ１１２などの複数のデバイスにわたり分散され得る。複合現実音変調方法は、図２に関して以下で更に詳細に説明される。

【0047】

ここで図２を参照すると、少なくとも１つの実施形態に係る、複合現実音響変調プロセス２００を示す動作フローチャートが図示されている。２０２で、複合現実音変調プログラム１１０Ａ、１１０Ｂは、環境要因が音の特性にどのような影響を及ぼすかに関するデータを備える知識コーパス１０８を作成する。知識コーパス１０８は、音の特性、音の反射、反射の特性、及び、異なる材料の音響特性、音伝達媒体、表面及び障害物の形状及びサイズ、距離を介した音の伝搬における変化等を含む、関連する物理特性に関する一般知識を備える複合現実音変調プログラム１１０Ａ、１１０Ｂにとってアクセス可能な知識体系であり得る。幾つかの実施形態において、知識コーパス１０８は、例えば複合現実音変調プログラム１１０Ａ、１１０Ｂによってフィードバックとして提供される、過去のデータ及び実世界の例に基づく、特定の音に対する特定のオブジェクト、設定、条件等の影響に関する具体的なデータを含み得る。本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、そのような一般的及び具体的なデータを記憶することにより、知識コーパス１０８を作成することができ、又は、知識コーパス１０８は、複合現実音変調プログラム１１０Ａ、１１０Ｂに事前に提供され得る。本発明の幾つかの実施形態において、知識コーパス１０８は、知識ベースを使用してパターンを感知し、効果音が仮想オブジェクトとどのように相互作用するかを推定する機械学習アルゴリズムを備え得る。

【0048】

２０４で、複合現実音変調プログラム１１０Ａ、１１０Ｂは、複合現実（ＭＲ）デバイスを操作するユーザのＭＲ環境の外部で生じる効果音を記録する。効果音は、複合現実環境の外部で生じる任意の音であり得る。例えば、効果音は、ユーザの物理環境において生じており、ユーザ又はユーザの近くにいる他者からの発話など、ユーザがそれを裸耳で聞き取ることができる程度に十分近い、又は十分大きい音であり得る。効果音は、ユーザの仮想環境において生じる音であり得るが、複合現実環境の一部ではない；例えば、音は、ユーザが現在没入している複合現実環境を生成するアプリケーションとは別のアプリケーションから発せられる音楽又はボイスチャットであり得る。幾つかの実施形態において、例えば複数の連携ユーザが存在する場合、効果音は、少なくとも１人のユーザの近傍において生じ得る。複合現実音変調プログラム１１０Ａ、１１０Ｂは、例えば、仮想現実デバイス１１８又はクライアントコンピューティングデバイス１０２に統合されたマイクロフォンで効果音を記録し得る。

【0049】

２０６で、複合現実音変調プログラム１１０Ａ、１１０Ｂは、ユーザのＭＲ環境内の全ての仮想オブジェクト及び物理オブジェクトを識別する。複合現実音変調プログラム１１０Ａ、１１０Ｂは、仮想オブジェクトに関して、複合現実環境を作成しているプログラムから情報を受信することにより、仮想オブジェクトを識別し得る。複合現実音変調プログラム１１０Ａ、１１０Ｂは、ユーザの身に着ける形で取り付けられた、例えば、複合現実ヘッドセット又は電話に取り付けられたカメラによって記録された画像内の物理オブジェクトを識別するために、オブジェクト認識を使用することにより、物理オブジェクトを識別し得る。複合現実音変調プログラム１１０Ａ、１１０Ｂはまた、任意の他の方法を使用して、ソナー、ライダー等など、ユーザの環境における物理オブジェクトを識別し得る。本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、ユーザの閾値距離内の全ての仮想オブジェクト及び／又は物理オブジェクトを識別することができ、閾値距離は、ユーザにとって聞き取り可能な音が、閾値距離内のオブジェクトの音響特性によって影響され得る距離を表し得る。本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、効果音がユーザの仮想環境から発生する場合、例えば、ユーザの物理環境から発生する音がそうであるように、効果音が、ユーザの物理環境内における物理オブジェクトによって自然に影響を受けることがないバックグラウンドアプリケーションからの音楽又は声である場合に、ユーザの複合現実環境における物理オブジェクトのみを識別し得る。

【0050】

本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、例えば、毎秒などの定期的な時間間隔でオブジェクトを識別することにより、ユーザのＭＲ環境内の仮想オブジェクト及び／又は物理オブジェクトを継続的に識別して、ユーザの複合現実周辺環境の更新されたマップを維持し得る。本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、例えば、ユーザが仮想オブジェクトを作成、削除、又は編集するたびに、設定又は条件を修正するたびに、物理オブジェクト及び仮想オブジェクトがユーザに対して新たな位置にあるように閾値マージンを超えて動き回るたびに、オブジェクトを移動させる、又はその形状、向き、色等を変更するなどによって物理オブジェクトを変更するたびに；ユーザのＭＲ環境内のオブジェクトにおける変化に応答して、ＭＲ環境内の仮想オブジェクト及び／又は物理オブジェクトを識別し得る。少なくともそのような実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、物理的変化又は仮想的変化について複合現実環境を継続的にモニタリングすることができ、加速度計、ＲＦＩＤタグ、ＧＰＳ、カメラベースのオブジェクト及び顔検出等などの位置追跡方法を使用して、複合現実デバイス１１８及び／又はユーザの位置及び動きを追跡することができる。

【0051】

２０８で、複合現実音変調プログラム１１０Ａ、１１０Ｂは、知識コーパス１０８に従い、記録された効果音を変調して、ユーザのＭＲ環境内の仮想オブジェクト及び物理オブジェクトの存在を反映する。複合現実音変調プログラム１１０Ａ、１１０Ｂは、効果音の振幅又は周波数を改変することにより、記録された効果音を変調して、ユーザの複合現実環境における仮想オブジェクト及び／又は物理オブジェクトの存在を反映し得る。本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、代替的に又は追加的に、効果音を変調して、複合現実環境内に存在する設定又は条件を表し得る。複合現実音変調プログラム１１０Ａ、１１０Ｂは、知識コーパス１０８を参照して、仮想オブジェクト及び／又は物理オブジェクトの存在、設定、及び／又は条件によって音がどのような影響を受けるかを判定し得る。本発明の幾つかの実施形態において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、例えば、ユーザが仮想オブジェクトを作成又は編集するたびに、設定又は条件を修正するたびに、物理オブジェクト及び仮想オブジェクトがユーザに対して新たな位置にあるように閾値マージンを超えて動き回るたびに、オブジェクトを移動させる、又はその形状、向き、色等を変更するなどによって物理オブジェクトを変更するたびに；ユーザのＭＲ環境内のオブジェクトにおける変化に応答して、効果音を変調し得る。

【0052】

２１０で、複合現実音変調プログラム１１０Ａ、１１０Ｂは、変調された効果音をユーザに再生する。ここで、複合現実音変調プログラム１１０Ａ、１１０Ｂは、スピーカを通じて、変調された効果音をユーザに再生する。複数のユーザが同じ仮想環境内に存在するなどの本発明の幾つかの実施形態において、例えば複数ユーザ連携環境において、複合現実音変調プログラム１１０Ａ、１１０Ｂは、個々のユーザの好みに基づき、変調された効果音をユーザのサブセットに再生し得る。例えば、同じ物理環境内のユーザは、その環境から発生する変調された効果音を聞き取ることを選択することができ、他のユーザの物理環境及び／又は仮想環境から発生する効果音を聞き取らないことを選択することができる。

【0053】

ここで図３を参照すると、少なくとも１つの実施形態に係る、複合現実音響変調システムの使用事例３００を例示する図が示されている。ここで、それぞれ複合現実デバイス１１８を装備した第１のユーザ３０２及び第２のユーザ３０４は、物理環境３０６、すなわちリビングルーム内に座っているが、広大な屋外風景である複合現実環境３１４を体験している。この複合現実風景３１４において、第１のユーザ３０２は、仮想アバター３１０によって表され、第２のユーザ３０４は、仮想アバター３１２によって表されている。効果音３０８は、ユーザ３０２及び３０４の物理環境３０６において生じる。効果音３０８は、第１のユーザ３０２が第２のユーザ３０４に話しかけているものであり得；物理環境３０６において、それは屋内空間であるため、効果音３０８は反響しない。しかしながら、複合現実環境３１４は屋外であるため、複合現実音変調プログラム１１０Ａ、１１０Ｂは、第２のユーザ３０４が、反響を伴う第１のユーザ３０２の声を聞き取るように音を変調する。

【0054】

ここで図４Ａを参照すると、少なくとも１つの実施形態に係る、複合現実音響変調システムの使用事例４００を例示する図が示されている。ここで、複合現実デバイス１１８を装備したユーザ３０２は、ドア、テーブル、及び２脚の椅子を含む物理オブジェクト４０４の集合体を備える複合現実環境４０２を体験している。効果音４０６は、ユーザ３０２の物理環境において再生され、複合現実音変調プログラム１１０Ａ、１１０Ｂは、複合現実環境４０２における物理オブジェクト４０４に基づき効果音４０６を変調し、変調された効果音４０６をユーザに再生する。

【0055】

ここで図４Ｂを参照すると、ユーザ３０２は、仮想オブジェクト４０６を複合現実環境４０２に追加した。効果音４０６は、ユーザ３０２の物理環境において再生され、複合現実音変調プログラム１１０Ａ、１１０Ｂは、複合現実環境４０２における物理オブジェクト４０４並びに仮想オブジェクト４０８に基づき効果音４０６を変調し、複合現実環境４０２への仮想オブジェクト４０８の追加を反映する変調された効果音４０６をユーザ３０２に再生する。

【0056】

代替的な例において、ユーザ３０２は、特定の環境に基づき既に変調された効果音のリストからサンプル効果音４０６を選択し得る；複合現実音変調プログラム１１０Ａ、１１０Ｂは、例えば、複合現実音変調プログラム１１０Ａ、１１０Ｂが効果音４０６を当初変調した際に存在した環境にアクセスすることにより、又は、効果音４０６の変調を分析して、変調を生成するために何の仮想オブジェクト及び物理オブジェクト、条件、及び／又は設定が効果音４０６の複合現実環境に存在する必要があったと判定することにより、サンプル効果音４０６に関連付けられた複合現実環境を識別し得る。複合現実音変調プログラム１１０Ａ、１１０Ｂは、効果音４０６が一致するように当初変調された複合現実環境と一致させるために、特定のサイズ及び形状の仮想オブジェクト４０８がユーザの複合現実環境４０２に追加される必要があると判定することができ、それに応じて、仮想オブジェクト４０８を作成することができる。

【0057】

図２～図４は、１つの実装形態の単なる例示を提供するものであり、異なる実施形態がどのように実装され得るかに関していかなる限定をも示唆しないことを理解されたい。設計及び実装要件に基づき、示された環境に対する多くの修正が行われ得る。

【0058】

図５は、本発明の実施形態に係る、図１に示されたクライアントコンピューティングデバイス１０２及びサーバ１１２の内部及び外部コンポーネントのブロック図５００である。図５は、１つの実装形態の単なる例示を提供するものであり、異なる実施形態が実装され得る環境に関していかなる限定をも示唆しないことを理解されたい。設計及び実装要件に基づき、示された環境に対する多くの修正が行われ得る。

【0059】

データ処理システム５０２、５０４は、マシン可読プログラム命令を実行することができる任意の電子デバイスを表す。データ処理システム５０２、５０４は、スマートフォン、コンピュータシステム、ＰＤＡ（登録商標）又は他の電子デバイスを表し得る。データ処理システム５０２、５０４によって表され得るコンピューティングシステム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドデバイス又はラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、ネットワークＰＣ、ミニコンピュータシステム、及び、上記のシステム又はデバイスのいずれかを含む分散クラウドコンピューティング環境を含み得るが、これらに限定されない。

【0060】

クライアントコンピューティングデバイス１０２及びサーバ１１２は、図５に示される内部コンポーネント５０２ａ、ｂ及び外部コンポーネント５０４ａ、ｂのそれぞれのセットを含み得る。内部コンポーネント５０２のセットのそれぞれは、１又は複数のバス５２６上の１又は複数のプロセッサ５２０、１又は複数のコンピュータ可読ＲＡＭ５２２、及び１又は複数のコンピュータ可読ＲＯＭ５２４、及び、１又は複数のオペレーティングシステム５２８及び１又は複数のコンピュータ可読有形記憶デバイス５３０を含む。クライアントコンピューティングデバイス１０２内の１又は複数のオペレーティングシステム５２８、ソフトウェアプログラム１０８、及び複合現実音変調プログラム１１０Ａ、及び、サーバ１１２内の複合現実音変調プログラム１１０Ｂは、それぞれのＲＡＭ５２２（これは通常、キャッシュメモリを含む）の１又は複数を介してそれぞれのプロセッサ５２０の１又は複数による実行のためにそれぞれのコンピュータ可読有形記憶デバイス５３０の１又は複数に記憶される。図５に示される実施形態において、コンピュータ可読有形記憶デバイス５３０のそれぞれは、内部ハードドライブの磁気ディスク記憶デバイスである。代替的に、コンピュータ可読有形記憶デバイス５３０のそれぞれは、ＲＯＭ５２４、ＥＰＲＯＭ、フラッシュメモリ、又はコンピュータプログラム及びデジタル情報を記憶することができる任意の他のコンピュータ可読有形記憶デバイスなどの半導体記憶デバイスである。

【0061】

内部コンポーネント５０２ａ、ｂの各セットはまた、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光ディスク又は半導体記憶デバイス等の１又は複数のポータブルコンピュータ可読有形記憶デバイス５３８との間で読み取り及び書き込みをするための、Ｒ／Ｗドライブ又はインタフェース５３２を含む。複合現実音変調プログラム１１０Ａ、１１０Ｂなどのソフトウェアプログラムは、それぞれのポータブルコンピュータ可読有形記憶デバイス５３８の１又は複数に記憶され、それぞれのＲ／Ｗドライブ又はインタフェース５３２を介して読み取られ、それぞれのハードドライブ５３０にロードされ得る。

【0062】

内部コンポーネント５０２ａ、ｂの各セットはまた、ＴＣＰ／ＩＰアダプタカード、無線Ｗｉ‐Ｆｉインタフェースカード、又は、３Ｇ又は４Ｇ無線インタフェースカード、又は他の有線又は無線通信リンクなどのネットワークアダプタ又はインタフェース５３６を含む。クライアントコンピューティングデバイス１０２内のソフトウェアプログラム１０８及び複合現実音変調プログラム１１０Ａ、及び、サーバ１１２内の複合現実音変調プログラム１１０Ｂは、ネットワーク（例えば、インターネット、ローカルエリアネットワーク又はその他、ワイドエリアネットワーク）及びそれぞれのネットワークアダプタ又はインタフェース５３６を介して、外部コンピュータからクライアントコンピューティングデバイス１０２及びサーバ１１２にダウンロードされ得る。ネットワークアダプタ又はインタフェース５３６から、クライアントコンピューティングデバイス１０２内のソフトウェアプログラム１０８及び複合現実音変調プログラム１１０Ａ、及び、サーバ１１２内の複合現実音変調プログラム１１０Ｂは、それぞれのハードドライブ５３０にロードされる。ネットワークは、銅ワイヤ、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備え得る。

【0063】

外部コンポーネント５０４ａ、ｂのセットのそれぞれは、コンピュータディスプレイモニタ５４４、キーボード５４２、及びコンピュータマウス５３４を含み得る。外部コンポーネント５０４ａ、ｂはまた、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス及び他のヒューマンインタフェースデバイスを含み得る。内部コンポーネント５０２ａ、ｂのセットのそれぞれはまた、コンピュータディスプレイモニタ５４４、キーボード５４２、及びコンピュータマウス５３４とのインタフェースを取るデバイスドライバ５４０を含む。デバイスドライバ５４０、Ｒ／Ｗドライブ又はインタフェース５３２、及びネットワークアダプタ又はインタフェース５３６は、（記憶デバイス５３０及び／又はＲＯＭ５２４に記憶された）ハードウェア及びソフトウェアを備える。

【0064】

本開示はクラウドコンピューティングに関して発明を実施するための形態を含むが、本明細書で列挙される教示の実装形態は、クラウドコンピューティング環境に限定されないことが、事前に理解される。むしろ、本発明の実施形態は、現在既知又は今後開発される任意の他のタイプのコンピューティング環境と併せて実装されることが可能である。

【0065】

クラウドコンピューティングは、最小限の管理労力又はサービスのプロバイダとの対話により迅速にプロビジョニング及びリリースされ得る構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン及びサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするためのサービス提供のモデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル及び少なくとも４つの展開モデルを含み得る。

【0066】

特性は以下の通りである。
オンデマンドセルフサービス：クラウドコンシューマは、サービスプロバイダとの人的対話を必要とすることなく、必要に応じて自動的に、サーバ時間及びネットワーク記憶などのコンピューティング能力を一方的にプロビジョニングすることができる。
幅広いネットワークアクセス：能力は、ネットワークを介して利用可能であり、また、異種混交のシンクライアントプラットフォーム又はシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、及びＰＤＡ（登録商標））による使用を促進する標準的なメカニズムを通じてアクセスされる。
リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを用いて複数のコンシューマにサービスを提供するようにプールされており、様々な物理リソース及び仮想リソースが需要に沿って動的に割り当てられ、また再割り当てされる。コンシューマは、概して、提供されるリソースの正確な位置に対する制御又は知識を有しないが、より高い抽象化レベル（例えば、国、州、又はデータセンタ）では位置を指定することが可能であり得るという点において、ある種の位置独立性がある。
迅速な拡張性：能力は迅速に且つ伸縮自在に、場合によっては自動的にプロビジョニングされ、即座にスケールアウトすることも、迅速にリリースして即座にスケールインすることもできる。多くの場合、コンシューマにとって、プロビジョニングに利用可能な能力は無制限に見え、任意の時点において任意の量で購入できる。
計測サービス：クラウドシステムは、ある程度の抽象化レベルでサービスのタイプ（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザアカウント）に適した計測能力を活用することにより、リソース利用を自動的に制御し最適化する。リソース使用量がモニタリング、制御及び報告されることで、利用されるサービスのプロバイダ及びコンシューマの両方に透明性を提供することができる。

【0067】

サービスモデルは以下の通りである。
サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される能力は、クラウドインフラストラクチャ上で実行されるプロバイダのアプリケーションを使用することである。アプリケーションには、ウェブブラウザ（例えば、ウェブベースの電子メール）などのシンクライアントインタフェースを介して、様々なクライアントデバイスからアクセス可能である。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、ストレージ、又は、個々のアプリケーション能力さえも含む基礎となるクラウドインフラストラクチャを管理又は制御しないが、限定的なユーザ固有のアプリケーション構成設定は例外となる場合がある。
サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される能力は、クラウドインフラストラクチャ上に、プロバイダによってサポートされるプログラミング言語及びツールを使用して作成される、コンシューマが作成又は取得したアプリケーションを展開することである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、又はストレージを含む基礎となるクラウドインフラストラクチャを管理又は制御しないが、展開されたアプリケーション及び、場合によっては、アプリケーションホスティング環境の構成を制御する。サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される能力は、処理、ストレージ、ネットワーク及び他の基本的なコンピューティングリソースをプロビジョニングすることであり、ここでコンシューマは、オペレーティングシステム及びアプリケーションを含み得る任意のソフトウェアを展開及び実行することが可能である。コンシューマは、基礎となるクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションを制御し、場合によっては、選択されたネットワーキングコンポーネント（例えば、ホストファイアウォール）を限定的に制御する。

【0068】

展開モデルは以下の通りである。プライベートクラウド：クラウドインフラストラクチャは、或る組織のためにのみ動作する。それは組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスに存在してよい。コミュニティクラウド：クラウドインフラストラクチャは、幾つかの組織によって共有され、共通の関心事項（例えば、ミッション、セキュリティ要件、ポリシ及びコンプライアンス考慮事項）を有する特定のコミュニティをサポートする。それは組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスに存在してよい。パブリッククラウド：クラウドインフラストラクチャは、一般大衆又は大規模な業界団体にとって利用可能とされ、クラウドサービスを販売する組織によって所有される。ハイブリッドクラウド：クラウドインフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションの移植性を可能にする標準化された技術又は独自の技術（例えば、クラウド間の負荷分散のためのクラウドバースト）によって結合された２つ又はそれより多くのクラウド（プライベート、コミュニティ、又はパブリック）の複合である。

【0069】

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性及び意味的相互運用性に重点を置いて指向されたサービスである。クラウドコンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャが存在する。

【0070】

ここで図６を参照すると、例示的なクラウドコンピューティング環境５０が示されている。示されている通り、クラウドコンピューティング環境５０は、例えば、携帯情報端末（ＰＤＡ）又は携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、及び／又は自動車コンピュータシステム５４Ｎなどの、クラウドコンシューマによって使用されるローカルコンピューティングデバイスが通信し得る、１又は複数のクラウドコンピューティングノード１００を備える。ノード１００は、互いに通信し得る。それらは、本明細書の上記で説明されたプライベートクラウド、コミュニティクラウド、パブリッククラウド、又はハイブリッドクラウド、又はそれらの組み合わせなどの１又は複数のネットワークに、物理的又は仮想的にグループ化（図示せず）され得る。これにより、クラウドコンピューティング環境５０は、インフラストラクチャ、プラットフォーム及び／又はソフトウェアを、クラウドコンシューマがそのためにローカルコンピューティングデバイス上にリソースを維持する必要がないサービスとして提供することが可能となる。図６に示されるコンピューティングデバイス５４Ａ～Ｎのタイプは例示のみを意図していること、及び、コンピューティングノード１００及びクラウドコンピューティング環境５０は、任意のタイプのネットワーク及び／又はネットワークアドレス指定可能な接続（例えば、ウェブブラウザを使用する）を介して任意のタイプのコンピュータ化されたデバイスと通信し得ることとが理解される。

【0071】

ここで図７を参照すると、クラウドコンピューティング環境５０によって提供される機能的抽象化層７００のセットが示されている。図７に示されるコンポーネント、層、及び機能は例示のみを意図しており、本発明の実施形態はこれに限定されないことが事前に理解されるべきである。図示の通り、以下の層及び対応する機能が提供される。

【0072】

ハードウェア及びソフトウェア層６０は、ハードウェア及びソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例は、メインフレーム６１；ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースサーバ６２；サーバ６３；ブレードサーバ６４；記憶デバイス６５；及び、ネットワーク及びネットワーキングコンポーネント６６を含む。幾つかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７及びデータベースソフトウェア６８を含む。

【0073】

仮想化層７０は、仮想エンティティの以下の例、すなわち、仮想サーバ７１；仮想ストレージ７２；仮想プライベートネットワークを含む仮想ネットワーク７３；仮想アプリケーション及びオペレーティングシステム７４；及び仮想クライアント７５が提供され得る抽象化層を提供する。

【0074】

１つの例において、管理層８０は、以下に説明する機能を提供し得る。リソースプロビジョニング８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソース及び他のリソースの動的な調達を提供する。計測及び価格設定８２は、リソースがクラウドコンピューティング環境内で利用される際のコスト追跡、及びこれらのリソースの消費に対する勘定又は請求を提供する。１つの例において、これらのリソースは、アプリケーションソフトウェアライセンスを含み得る。セキュリティは、クラウドコンシューマ及びタスクについての識別情報検証、並びに、データ及び他のリソースの保護を提供する。ユーザポータル８３は、コンシューマ及びシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されるサービスレベルが満たされるように、クラウドコンピューティングリソース割り当て及び管理を提供する。サービスレベル合意（ＳＬＡ）計画及び履行８５は、将来の要件がＳＬＡに従って予期されるクラウドコンピューティングリソースの事前の取り決め及び調達を提供する。

【0075】

ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロード及び機能の例は、マッピング及びナビゲーション９１；ソフトウェア開発及びライフサイクル管理９２；仮想教室教育配信９３；データ分析処理９４；トランザクション処理９５；及び、複合現実音変調９６を含む。複合現実音変調９６は、複合現実環境の組み合わされた仮想条件及び物理条件を反映するために、複合現実環境の外部で生じる効果音を変調することが可能であり得る。

【0076】

本発明の様々な実施形態の説明は、例示の目的で提示されたものであり、包括的であること、又は、開示された実施形態に限定されることは意図されていない。説明された実施形態の範囲から逸脱することなく、多くの修正及び変形が、当業者には明らかになるであろう。本明細書で使用される専門用語は、実施形態の原理、実際的な用途、又は市場で見られる技術に対する技術的改善を最適に説明するために、又は、本明細書で開示される実施形態を他の当業者が理解することを可能にするように選択された。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2023-12-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複合現実デバイスを操作するためのプロセッサ実装方法であって：
前記複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録する段階；
少なくとも１つの仮想オブジェクトを含む、前記複合現実環境内の１又は複数のオブジェクトを識別する段階；
前記効果音を変調して、前記複合現実環境内の前記１又は複数のオブジェクトの１又は複数の音響効果をシミュレートする段階；及び
前記変調された効果音を前記ユーザに再生する段階
を備える、方法。

【請求項2】

前記変調する段階は、前記仮想オブジェクトが前記ユーザによって作成又は編集されることに応答して動的に実行される、請求項１に記載の方法。

【請求項3】

前記効果音を変調して、前記ユーザによって修正された前記複合現実環境の設定又は条件の１又は複数の音響効果をシミュレートする段階を更に備える、請求項１又は２に記載の方法。

【請求項4】

前記変調する段階は、前記ユーザが前記複合現実環境の前記設定又は条件を修正することに応答して動的に実行される、請求項３に記載の方法。

【請求項5】

前記複合現実環境は、複数ユーザ連携環境を備え、ここで複数の参加ユーザは、前記少なくとも１つの仮想オブジェクトを位置決め又は編集することが可能である、請求項１又は２に記載の方法。

【請求項6】

前記複合現実環境を構成してユーザが選択したサンプル音を再生するために必要な１又は複数の変更を、前記複合現実環境内で前記ユーザにグラフィック的に示す段階を更に備える、請求項１又は２に記載の方法。

【請求項7】

前記変調する段階は、作成された知識コーパスに基づいている、請求項１又は２に記載の方法。

【請求項8】

複合現実デバイスを操作するためのコンピュータシステムであって：
１又は複数の複合現実デバイス、１又は複数のマイクロフォン、１又は複数のスピーカ、１又は複数のプロセッサ、１又は複数のコンピュータ可読メモリ、１又は複数のコンピュータ可読有形記憶媒体、及び、前記１又は複数のメモリのうち少なくとも１つを介した前記１又は複数のプロセッサのうち少なくとも１つによる実行のために前記１又は複数の有形記憶媒体のうち少なくとも１つに記憶されたプログラム命令
を備え、ここで前記コンピュータシステムは：
前記複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録する手順；
少なくとも１つの仮想オブジェクトを含む、前記複合現実環境内の１又は複数のオブジェクトを識別する手順；
前記効果音を変調して、前記複合現実環境内の前記１又は複数のオブジェクトの１又は複数の音響効果をシミュレートする手順；及び
前記変調された効果音を前記ユーザに再生する手順
を有する方法を実行することができる、コンピュータシステム。

【請求項9】

前記変調する手順は、前記仮想オブジェクトが前記ユーザによって作成又は編集されることに応答して動的に実行される、請求項８に記載のコンピュータシステム。

【請求項10】

前記効果音を変調して、前記ユーザによって修正された前記複合現実環境の設定又は条件の１又は複数の音響効果をシミュレートする手順を更に備える、請求項８又は９に記載のコンピュータシステム。

【請求項11】

前記変調する手順は、前記ユーザが前記複合現実環境の前記設定又は条件を修正することに応答して動的に実行される、請求項１０に記載のコンピュータシステム。

【請求項12】

前記複合現実環境は、複数ユーザ連携環境を備え、ここで複数の参加ユーザは、前記少なくとも１つの仮想オブジェクトを位置決め又は編集することが可能である、請求項８又は９に記載のコンピュータシステム。

【請求項13】

前記複合現実環境を構成してユーザが選択したサンプル音を再生するために必要な１又は複数の変更を、前記複合現実環境内で前記ユーザにグラフィック的に示す手順を更に備える、請求項８又は９に記載のコンピュータシステム。

【請求項14】

前記変調する手順は、作成された知識コーパスに基づいている、請求項８又は９に記載のコンピュータシステム。

【請求項15】

複合現実デバイスを操作するためのコンピュータプログラムであって：プロセッサに：
前記複合現実デバイスを操作するユーザによって体験される複合現実環境の外部で生じる効果音を記録する手順；
少なくとも１つの仮想オブジェクトを含む、前記複合現実環境内の１又は複数のオブジェクトを識別する手順；
前記効果音を変調して、前記複合現実環境内の前記１又は複数のオブジェクトの１又は複数の音響効果をシミュレートする手順；及び
前記変調された効果音を前記ユーザに再生する手順
を実行させる、コンピュータプログラム。

【請求項16】

前記変調する手順は、前記仮想オブジェクトが前記ユーザによって作成又は編集されることに応答して動的に実行される、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記プロセッサに、
前記効果音を変調して、前記ユーザによって修正された前記複合現実環境の設定又は条件の１又は複数の音響効果をシミュレートする手順を更に実行させる、請求項１５又は１６に記載のコンピュータプログラム。

【請求項18】

前記変調する手順は、前記ユーザが前記複合現実環境の前記設定又は条件を修正することに応答して動的に実行される、請求項１７に記載のコンピュータプログラム。

【請求項19】

前記複合現実環境は、複数ユーザ連携環境を備え、ここで複数の参加ユーザは、前記少なくとも１つの仮想オブジェクトを位置決め又は編集することが可能である、請求項１５又は１６に記載のコンピュータプログラム。

【請求項20】

前記プロセッサに、
前記複合現実環境を構成してユーザが選択したサンプル音を再生するために必要な１又は複数の変更を、前記複合現実環境内で前記ユーザにグラフィック的に示す手順を更に実行させる、請求項１５又は１６に記載のコンピュータプログラム。

【国際調査報告】