(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-17
(54)【発明の名称】深層学習画像解析を用いた室内音響シミュレーション
(51)【国際特許分類】
H04S 7/00 20060101AFI20220209BHJP
G06T 19/00 20110101ALI20220209BHJP
【ＦＩ】
H04S7/00 300
G06T19/00 600
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021537089
(86)(22)【出願日】2019-12-13
(85)【翻訳文提出日】2021-08-20
(86)【国際出願番号】 US2019066315
(87)【国際公開番号】W WO2020139588
(87)【国際公開日】2020-07-02
(31)【優先権主張番号】62/784,648
(32)【優先日】2018-12-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】503206684
【氏名又は名称】ディーティーエス・インコーポレイテッド
【氏名又は名称原語表記】ＤＴＳ，Ｉｎｃ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100176418
【弁理士】
【氏名又は名称】工藤 嘉晃
(72)【発明者】
【氏名】ウォルシュ マーティン
(72)【発明者】
【氏名】マクドナー アオイフェ
(72)【発明者】
【氏名】グッドウィン マイケル エム
(72)【発明者】
【氏名】シュタイン エドワード
(72)【発明者】
【氏名】コーコラン ピーター
【テーマコード（参考）】
5B050
5D162
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050DA04
5B050EA19
5B050EA27
5B050FA02
5B050FA10
5D162AA15
5D162CA26
5D162CC08
5D162CC22
5D162CC36
5D162CD11
5D162CD26
5D162DA06
5D162DA51
5D162EG02
(57)【要約】
方法は、実世界環境の画像を受信することと、機械学習分類器を用いて、画像を分類して、音響環境シミュレーションのための音響プリセットに関連付けられた分類を生成することであって、音響プリセットが、音残響を表現する音響パラメータを各々含む、分類することと、分類に基づいて音響プリセットの中の音響プリセットを選択することと、を含む。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
方法であって、実世界環境の画像を受信することと、
機械学習分類器を用いて、前記画像を分類して、音響環境シミュレーションのための音響プリセットに関連付けられた分類を生成することであって、前記音響プリセットが、音残響を表現する音響パラメータを各々含む、分類することと、
前記分類に基づいて前記音響プリセットの中の音響プリセットを選択することと、
を含む方法。
【請求項2】
前記音響プリセットの前記音響パラメータに基づいて前記音響環境シミュレーションを遂行することをさらに含む、請求項１に記載の方法。
【請求項3】
前記音響環境シミュレーションを前記遂行することが、前記音響プリセットの前記音響パラメータに基づいて前記実世界環境内に仮想的に配置された１つまたは複数の仮想音オブジェクトのための音残響をモデル化することを含む、請求項２に記載の方法。
【請求項4】
前記機械学習分類器を用いて、前記画像、または１つまたは複数のさらなる画像を分類し、１つまたは複数の音響パラメータ変更子を生成することと、前記１つまたは複数の音響パラメータ変更子に基づいて前記音響プリセットの前記音響パラメータを変更し、前記音響環境シミュレーションのための変更された音響パラメータを含む変更された音響プリセットを生成することと、
をさらに含み、
前記音響環境シミュレーションを前記遂行することが、前記変更された音響パラメータを用いて前記音響環境シミュレーションを遂行することを含む、請求項２に記載の方法。
【請求項5】
前記音響パラメータが、周波数依存減衰時間、部屋サイズ、反射遅延、早期発生時間、および拡散レベルのうちの１つまたは複数を含む、請求項１に記載の方法。
【請求項6】
前記分類することが、前記画像を前記分類および前記関連音響プリセットに直接分類することを含む、請求項１に記載の方法。
【請求項7】
前記分類することが、前記分類がそれぞれの信頼レベルを有するよう、前記画像を分類し、前記分類を生成することを含み、前記選択することが、前記音響プリセットが、前記それぞれの信頼レベルのうちの最も高いものを有する前記分類の中の分類に関連付けられるよう、前記音響プリセットを選択することを含む、請求項１に記載の方法。
【請求項8】
前記実世界環境の第２の画像を受信することと、前記機械学習分類器を用いて、前記第２の画像を分類し、それぞれの第２の信頼レベルを有する第２の分類を生成することと、
前記第２の分類のうちの１つまたは複数が、信頼レベル閾値を超えるそれぞれの第２の信頼レベルを有するかどうかを決定することと、
前記第２の分類のうちの１つまたは複数が、前記信頼レベル閾値を超えるそれぞれの第２の信頼レベルを有する場合には、前記第２の分類に基づいて前記音響プリセットの中の第２の音響プリセットを選択し、前記音響プリセットを前記音響環境シミュレーションのための前記第２の音響プリセットと置換することと、
をさらに含む、請求項７に記載の方法。
【請求項9】
前記第２の分類のうちの１つまたは複数が、前記信頼レベル閾値を超える対応する第２の信頼レベルを有しない場合には、前記第２の音響プリセットを選択せず、前記音響環境シミュレーションのための前記音響プリセットを置換しないことをさらに含む、請求項８に記載の方法。
【請求項10】
前記実世界環境の前記画像を前記受信することが、前記画像を前記実世界環境の３６０度画像として受信することを含む、請求項１に記載の方法。
【請求項11】
前記画像が異なる画像の合成物を表現する、請求項１に記載の方法。
【請求項12】
前記音響プリセットの前記音響パラメータが、前記機械学習分類器が訓練された訓練画像内で表現された実世界環境を表現する音響インパルス応答からアルゴリズム的に導出された、請求項１に記載の方法。
【請求項13】
前記音響プリセットの前記音響パラメータが主観的音設計に基づいて開発された、請求項１に記載の方法。
【請求項14】
前記音響プリセットに対する音響パラメータ安全性チェックを遂行することをさらに含む、請求項１に記載の方法。
【請求項15】
前記機械学習分類器が、前記音響プリセットのうちのそれぞれのものでラベル付けされた実世界環境の訓練画像を使って訓練された、請求項１に記載の方法。
【請求項16】
デジタル３次元（３Ｄ）メッシュを受信することと、前記３Ｄメッシュ内に表現された物理マテリアルの音響特性を推定し、前記音響環境シミュレーションのための初期反射パラメータを生成することと、
をさらに含む、請求項１に記載の方法。
【請求項17】
装置であって、前記装置が、プロセッサを備え、前記プロセッサが、
実世界環境の画像を受信することと、
１つまたは複数のニューラルネットワークを含む訓練された機械学習分類器を用いて、前記画像を、音響環境シミュレーションのための音響プリセットに関連付けられた分類に直接分類することであって、前記音響プリセットが、音残響を表現する音響パラメータを各々含む、分類することと、
前記分類に基づいて前記音響プリセットの中の音響プリセットを選択することと、
前記音響プリセットの前記音響パラメータに基づいて前記音響環境シミュレーションを遂行することと、
を行うように構成されている、装置。
【請求項18】
前記プロセッサが、前記音響プリセットの前記音響パラメータに基づいて前記実世界環境内に仮想的に配置された１つまたは複数の仮想音オブジェクトのための音残響をモデル化することによって、前記音響環境シミュレーションを遂行するように構成されている、請求項１７に記載の装置。
【請求項19】
前記プロセッサが、前記機械学習分類器を用いて、前記画像をさらに分類し、１つまたは複数の音響パラメータ変更子を生成することと、
前記１つまたは複数の音響パラメータ変更子に基づいて前記音響プリセットの前記音響パラメータを変更し、前記音響環境シミュレーションのための変更された音響パラメータを含む変更された音響プリセットを生成することと、
前記変更された音響パラメータを用いて前記音響環境シミュレーションをさらに遂行することと、
を行うようにさらに構成されている、請求項１８に記載の装置。
【請求項20】
前記分類がそれぞれの信頼レベルを有し、前記プロセッサが、前記音響プリセットが、前記それぞれの信頼レベルのうちの最も高いものを有する前記分類の中の分類に関連付けられるよう、前記音響プリセットを選択することによって、選択するように構成されている、請求項１７に記載の装置。
【請求項21】
前記機械学習分類器が、前記音響プリセットのうちのそれぞれのものでラベル付けされた実世界環境の訓練画像を使って訓練された、請求項１７に記載の装置。
【請求項22】
命令を符号化された非一時的コンピュータ可読媒体であって、前記命令が、プロセッサによって実行されたときに、前記プロセッサに、実世界環境の画像を受信することと、
音残響を表現する音響パラメータを各々含む音響プリセットのうちのそれぞれのものでラベル付けされた実世界環境の訓練画像を使って以前に訓練された機械学習分類器を用いて、前記画像を、音響環境シミュレーションのための前記音響プリセットに関連付けられた分類に直接分類することと、
前記分類に基づいて前記音響プリセットの中の音響プリセットを選択することと、
前記音響プリセットの前記音響パラメータに基づいて前記音響環境シミュレーションを遂行することと、
を行わせる、非一時的コンピュータ可読媒体。
【請求項23】
前記プロセッサに前記音響環境シミュレーションを遂行させるための前記命令が、前記プロセッサに、前記音響プリセットの前記音響パラメータに基づいて前記実世界環境内に仮想的に配置された１つまたは複数の仮想音オブジェクトのための音残響をモデル化させるための命令を含む、請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項24】
前記プロセッサに、前記機械学習分類器を用いて、前記画像をさらに分類し、１つまたは複数の音響パラメータ変更子を生成することと、
前記１つまたは複数の音響パラメータ変更子に基づいて前記音響プリセットの前記音響パラメータを変更し、前記音響環境シミュレーションのための変更された音響パラメータを含む変更された音響プリセットを生成することと、
前記変更された音響パラメータを用いて前記音響環境シミュレーションをさらに遂行することと、
を行わせるための命令をさらに含む、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項25】
前記分類がそれぞれの信頼レベルを有し、前記プロセッサに選択させるための前記命令が、前記プロセッサに、前記音響プリセットが、前記それぞれの信頼レベルのうちの最も高いものを有する前記分類の中の分類に関連付けられるよう、前記音響プリセットを選択させるための命令を含む、請求項２２に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
優先権の主張
本出願は、２０１８年１２月２４日に出願された米国仮特許出願第６２／７８４，６４８号に対する優先権を主張する。同出願は全体が本明細書において参照により組み込まれている。
本出願は、２０１８年１２月２４日に出願された米国仮特許出願第６２／７８４，６４８号に対する優先権を主張する。同出願は全体が本明細書において参照により組み込まれている。
【0002】
本開示は、拡張現実のための画像を分類することに関する。
【背景技術】
【0003】
拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）は、実際もしくは現実の物理オブジェクトおよびデジタルもしくは仮想オブジェクトが共存し、リアルタイムで相互作用し得る新たな環境および視覚化を生成するための、現実および仮想世界の融合である。ＡＲは、真に迫った視覚および音声を有する仮想世界をユーザの実世界環境に持ち込む。ＡＲは仮想音オブジェクトからの仮想音を現実の音響環境内の現実の音と混合する。仮想音オブジェクトからの仮想音は、快いＡＲ体験を確実にするために、ヘッドフォンを通じてユーザに再生された際に同等の実世界音と一致しなければならない。さもなければ、ユーザはＡＲ体験の劣化を体験する。従来の技法は、仮想音を同等の実世界音と一致させるために複雑な多段階プロセスを用いる。このような複雑さは顕著な聴覚的遅延をＡＲシミュレーションに生じさせ、これはユーザ体験を劣化させ得る。さらに、複雑さは、ＡＲデバイスのための処理要求、およびそれゆえ、そのコストを不都合に増大させる。
【発明の概要】
【0004】
【図面の簡単な説明】
【0005】
【図1A】ＡＲ体験をユーザに提供するように構成された例示的なエクステンデッドリアリティ（ＸＲ、ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）システムの高レベルブロック図である。
【図1B】ユーザによって装着され、ＡＲ体験をユーザに伝えるように構成され得る例示的なＡＲデバイスまたはシステムの斜視図である。
【図2】音響プリセットに基づいてＸＲシステムによってシミュレートされ得る環境のための例示的な音応答の図である。
【図3】ＸＲシステムによって遂行され得る、仮想音オブジェクトからの音のレンダリングと組み合わせられた、画像の機械学習（ＭＬ、ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）ベースの分類の例示的な方法の図である。
【図4】ＭＬ分類を用いて、実世界環境の画像を音響環境シミュレーションのための音響パラメータの音響プリセットに直接分類する例示的な方法のフローチャートである。
【図5】ＭＬ分類を用いて、実世界環境の画像を、音響環境シミュレーションのための音響プリセットが次に導出され得る、部屋タイプに分類する例示的な方法のフローチャートである。
【図6】ＭＬ分類を用いて、実世界環境のシーンおよびそれらの関連音響プリセットのキャッシュに基づいて実世界環境の画像を音響環境シミュレーションのための音響パラメータの音響プリセットに直接分類する例示的な方法のフローチャートである。
【図7】ＭＬ分類を用いて、実世界環境の画像を音響環境シミュレーションのための一般／一次音響プリセットおよび二次音響変更子に直接分類する例示的な方法のフローチャートである。
【図9A】第１の訓練シナリオに従って訓練画像に基づいてＸＲシステムのＭＬ分類器を訓練し、以前に訓練されたＭＬ分類器を用いて、画像を分類する例示的な方法の図である。
【図10】第２および第３の訓練シナリオに従ってＭＬ分類器を訓練する例示的な方法の図である。
【図11A】第４の訓練シナリオに従ってＭＬ分類器を訓練する例示的な方法の図である。
【図11B】背中合わせの１８０°魚眼レンズを含み、２つのカメラ視野内の部屋の３６０°画像を取り込む例示的な画像センサの図である。
【図13】音響パラメータに基づいて音声環境シミュレーションを遂行するために、ＸＲプロセッサ内で、またはそれと共に用いられ得る例示的なインタラクティブオーディオエンジン（ＩＡＥ、ｉｎｔｅｒａｃｔｉｖｅ ａｕｄｉｏ ｅｎｇｉｎｅ）のブロック図がある。
【図16】キャッシュされた音響プリセットを用いる例示的なＸＲプロセッサのブロック図である。
【図17】音響プリセットの間の移行の例示的な方法のフローチャートである。
【図18】音響プリセットの間の移行、および使用可能画像安全性チェックを遂行することの例示的な方法のフローチャートである。
【図19】校正されたシーンの実施形態における音響プリセットの間の移行の例示的な方法のフローチャートである。
【図20】ＭＬ分類器のディープニューラルネットワーク（ＤＮＮ、ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）訓練であって、ＭＬ分類器が未訓練条件の状態で開始する、訓練の例示的な方法の図である。
【図21】ＸＲプロセッサおよび／またはインタラクティブオーディオエンジンが実施され得る例示的なコンピュータデバイスのブロック図である。
【図22】画像を音響プリセットに直接分類する例示的な要約した方法のフローチャートである。
【発明を実施するための形態】
【0006】
例示的な実施形態
エクステンデッドリアリティ（ＸＲ）は概して、仮想現実（ＶＲ、ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）および拡張現実（ＡＲ）を包含し、時として、複合現実（ＭＲ、ｍｉｘｅｄ ｒｅａｌｉｔｙ）と称される。音声信号再生システムは、３次元（３Ｄ）音声を聴取者へ届けるよう進化した。３Ｄ音声では、音はヘッドフォンまたはイヤフォン（簡潔にするために、本明細書においてまとめて「ヘッドフォン」と称される）によって生成され、聴取者によって聴覚的に知覚される、実際の、または理論的な３Ｄ空間または環境内における音源の仮想的配置を伴うか、またはそれを含むことができる。例えば、仮想化された音を、３Ｄ音声処理された音を聞く聴取者の上方、下方、またはさらに後方において提供することができる。ヘッドフォンを介した従来の音声再生は、聴取者の頭の内側から生ずる、または発するように知覚される音を提供する傾向がある。一例では、ヘッドフォンの従来のステレオペアを用いることを含む、ヘッドフォンによって届けられる音声信号は、知覚される空間音環境を聴取者に提供するなどするために、３Ｄ音声効果を達成するために特別に処理することができる。
エクステンデッドリアリティ（ＸＲ）は概して、仮想現実（ＶＲ、ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）および拡張現実（ＡＲ）を包含し、時として、複合現実（ＭＲ、ｍｉｘｅｄ ｒｅａｌｉｔｙ）と称される。音声信号再生システムは、３次元（３Ｄ）音声を聴取者へ届けるよう進化した。３Ｄ音声では、音はヘッドフォンまたはイヤフォン（簡潔にするために、本明細書においてまとめて「ヘッドフォン」と称される）によって生成され、聴取者によって聴覚的に知覚される、実際の、または理論的な３Ｄ空間または環境内における音源の仮想的配置を伴うか、またはそれを含むことができる。例えば、仮想化された音を、３Ｄ音声処理された音を聞く聴取者の上方、下方、またはさらに後方において提供することができる。ヘッドフォンを介した従来の音声再生は、聴取者の頭の内側から生ずる、または発するように知覚される音を提供する傾向がある。一例では、ヘッドフォンの従来のステレオペアを用いることを含む、ヘッドフォンによって届けられる音声信号は、知覚される空間音環境を聴取者に提供するなどするために、３Ｄ音声効果を達成するために特別に処理することができる。
【0007】
３Ｄ音声ヘッドフォンシステムはＶＲ適用物のために、実際の音源が存在しない局所または仮想環境内の特定の位置にある音源の知覚を聴取者に提供するなどするために用いることができる。同様に、３Ｄ音声ヘッドフォンシステムはＡＲ適用物のために、実際の音源が存在しない位置にある音源の知覚を聴取者に提供し、なおかつ、聴取者が局所環境内の１つまたは複数の実際の音を依然として少なくとも部分的に認識し続ける仕方で提供するために用いることができる。ＶＲまたはＡＲのためのコンピュータ生成音声レンダリングは、コンピュータミュージックおよび建築音響の分野における従来の開発の上に構築し、それから拡張するなど、ゲームおよび仮想現実音声レンダリングシステムおよびアプリケーションプログラミングインターフェースにおける信号処理技術開発を活用することができる。様々なバイノーラル技法、疑似残響、物理的室内音響モデル化、および聴覚化技法を、向上した聴取体験をユーザに提供するために適用することができる。ＶＲまたはＡＲ信号処理システムは、いくつかの音を、それらが、聴取者によって、ヘッドフォンから、または聴取者の頭の内側の場所からではなく、局所環境内の外部音源から発していると知覚されるよう再生するように構成され得る。
【0008】
ＶＲ ３Ｄ音声と比べて、ＡＲ音声は、局所聴取環境の音響と実質的に矛盾のないシミュレートされた環境音響および音源－環境相互作用を提供することなどによって、参加者の不信の一時停止を促すというさらなる課題を含む。これは、仮想的な、または追加された信号のための音声信号処理を、信号がユーザの環境を含むか、またはそれを表現する仕方で、かつ信号が、環境内でヘッドフォン越しに自然に発生するか、または再生された他の音と容易に区別可能になるよう、提供するという課題を提示する。このような音声信号処理は、所与の聴取環境のための減衰時間、残響ラウドネス特性、および／または残響等化特性（例えば、残響のスペクトル成分）を含む、残響特性を一致させ、それらを適用することによって、仮想音場内の正確な音源を提供する。視聴覚ＡＲ適用物では、コンピュータ生成音オブジェクト（「仮想音オブジェクト」と称される）を、音響的に透過性のヘッドフォンを介して、観察者／聴取者によって自然に聞かれる物理環境と混合するようレンダリングすることができる。このような混合は、局所環境音響に一致するか、またはそれを近似するためのバイノーラル疑似残響処理を含むか、またはそれを用いることができる。
【0009】
本明細書において提示される実施形態は、３Ｄ音声レンダリングアルゴリズムまたはシミュレーションを、物理的局所環境音響に忠実に一致するか、またはそれを近似するよう拡張するための実用的で効率的なアプローチを提供する。実施形態は、上述の問題および／または課題に対する解決策を提供し、また、次の説明から明らかになる利点も提供する。実施形態は、例えば、ＶＲおよびＡＲなどの、３Ｄ音声適用物において用いられ得る。実施形態は機械学習（ＭＬ）技法を用いて、画像センサによって取り込まれた局所環境の画像から直接、残響特性などの、局所環境の音響特性を推測する。実施形態は、次に、推測された音響特性を、局所環境の実際の音響に一致するか、またはそれを近似する環境の音響シミュレーションにおいて用い得る。推測された音響特性に基づいて、音響環境シミュレーションは、聴取者によってヘッドフォンを介して知覚されたときに、仮想音を局所環境と継ぎ目なく混合する。
【0010】
より具体的には、本明細書において提示される実施形態はＭＬ技法を用いて、ＭＬ分類器の１つまたは複数のニューラルネットワークを、画像センサを用いて未知の環境の音響特性を正確に推測するために訓練する。次に、推測された音響特性は、環境内でリアルタイムに作成された音響環境シミュレーションの形態の仮想音オブジェクトのための音響コンテキストを作成するために用いられる。実施形態は、有利に：ＸＲデバイス上で一般的に利用可能であるカメラセンサを利用し、ＵｎｉｔｙおよびＵｎｒｅａｌエンジンなどの、機械学習エンジンにおいて用いられる典型的な音声プラグインの使用を可能にし、従来の技法と比べて、リアルタイムのＡＲ環境内で仮想音を同等の実世界音に一致させることに関連付けられる複雑さ、処理要求、および遅延を低減し、画像センサの利用可能性に応じてスケーラブルな実施を提供し、深層学習推論エンジンとして実施され得る。
【0011】
システムレベルの説明
高レベルにおいて、本明細書において提示される実施形態は、ＭＬ技法を利用して、実世界（すなわち、実際の）環境の画像を、音響環境シミュレーション（ＡＥＳ、ａｃｏｕｓｔｉｃ ｅｎｖｉｒｏｎｍｅｎｔ ｓｉｍｕｌａｔｉｏｎ）のための音響パラメータのセットを表現する音響プリセットに直接分類する。音響パラメータのセットは、ＡＥＳを遂行するために十分な特性のセットを表現する。ＡＥＳは、音響プリセットの音響パラメータのセットに基づいて実世界環境の音応答をシミュレートまたはモデル化する。音響プリセットは音応答のパラメトリック表現である。ＡＥＳは、実世界環境内に（仮想的に）配置された仮想音オブジェクトからの音に音応答を適用し、音を、ヘッドフォンを通じてユーザに再生されたときに、仮想音オブジェクトから現実に発するように感じられる現実的な音に変換する。上述の実世界環境は、限定するものではないが、部屋、講堂、コンサートホール、野外劇場等などの、残響性質を有する任意の実世界環境または空間を含む。部屋はまた、住居内の部屋、このような台所、居間、食堂、浴室等を含み得る。部屋はまた、オフィス空間、および同様のものを含み得る。
高レベルにおいて、本明細書において提示される実施形態は、ＭＬ技法を利用して、実世界（すなわち、実際の）環境の画像を、音響環境シミュレーション（ＡＥＳ、ａｃｏｕｓｔｉｃ ｅｎｖｉｒｏｎｍｅｎｔ ｓｉｍｕｌａｔｉｏｎ）のための音響パラメータのセットを表現する音響プリセットに直接分類する。音響パラメータのセットは、ＡＥＳを遂行するために十分な特性のセットを表現する。ＡＥＳは、音響プリセットの音響パラメータのセットに基づいて実世界環境の音応答をシミュレートまたはモデル化する。音響プリセットは音応答のパラメトリック表現である。ＡＥＳは、実世界環境内に（仮想的に）配置された仮想音オブジェクトからの音に音応答を適用し、音を、ヘッドフォンを通じてユーザに再生されたときに、仮想音オブジェクトから現実に発するように感じられる現実的な音に変換する。上述の実世界環境は、限定するものではないが、部屋、講堂、コンサートホール、野外劇場等などの、残響性質を有する任意の実世界環境または空間を含む。部屋はまた、住居内の部屋、このような台所、居間、食堂、浴室等を含み得る。部屋はまた、オフィス空間、および同様のものを含み得る。
【0012】
図１Ａを参照すると、本明細書において提示される実施形態に係る、ＡＲ体験をユーザに提供するように構成された例示的なＸＲシステム１００の高レベルブロック図がある。実施形態は主にＡＲ適用物の文脈で説明されるが、実施形態はＶＲ適用物にも同等に適用される。図１Ａにおいて、破線は概して、パラメータの流れ、例えば、音響パラメータの流れを表現し、その一方で、実線は概して、画像および音信号の流れを表現する。
【0013】
ＸＲシステム１００は、一連の画像、または映像（まとめて、「画像」）１０３を取り込むための画像センサ１０２、ＡＲディスプレイ１０４、左および右のヘッドフォンを含むヘッドセット１０６、任意選択的な位置センサ１０７、ならびに画像センサ、ＡＲディスプレイ、ヘッドセット、および位置センサに結合されており、それらと通信するＸＲプロセッサまたはプロセッサ１０８を含む。ＸＲプロセッサ１０８は、（ｉ）本明細書において提示される実施形態に従って画像１０３を音響プリセット１２２に分類するための１つまたは複数のニューラルネットワークを含むＭＬベースの音響環境分類器１２０（単純に「ＭＬ分類器」１２０と称される）、およびインタラクティブオーディオエンジン（ＩＡＥ）１２４を含む。ＩＡＥ１２４は、図１Ａに示されるようにＸＲプロセッサ１０８の部分として実施されてもよく、またはＸＲプロセッサとは別個であってもよい。一例では、ＭＬ分類器１２０は、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、およびＲｅｓＮｅｔ５０などの、１つまたは複数の畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含み得る。他の例では、ＭＬ分類器１２０は、本明細書において説明されるとおりの画像を分類するために適した非ＣＮＮニューラルネットワークを含む。ＩＡＥ１２４は、ＭＬ分類器１２０からの音響プリセット１２２に基づいてＡＥＳ１２６を生成または遂行し、また、実世界環境のシーン内への仮想配置のための１つまたは複数の仮想音オブジェクト１２８も生成する。
【0014】
画像センサ１０２は、実世界環境の一連の画像１０３を取り込むためのビデオカメラを含み得る。画像センサ１０２は、実世界環境内の異なる位置および配向（集合的に、「視点」）に位置付けられ、異なる視点から実世界環境の異なるシーンの画像１０３を取り込んでもよい。例えば、画像センサ１０２は、ＡＲ体験の対象であるユーザによって装着されるビデオカメラを含み得、これにより、ビデオカメラは、ユーザが実世界環境内で動き回るにつれて実世界環境の異なるシーンを取り込むように動作する。位置センサ１０７は、環境内の、ユーザを含む、１つまたは複数のオブジェクトの位置および配向を感知または決定し、オブジェクトの位置および配向を指示する位置情報１１４をＸＲプロセッサ１０８に提供する。
【0015】
高レベルにおいて、動作時、ＸＲプロセッサ１０８は、（ｉ）実世界環境の画像１０３、（ｉｉ）仮想音オブジェクト１２８からの音（すなわち、音信号）、および（ｉｉｉ）利用可能である時には、位置情報１１４を処理し、仮想音オブジェクトおよび他の仮想情報を用いて拡張された実世界環境のシーンを表現する映像信号１３６および音信号１３８を生成する。ＡＲディスプレイ１０４は映像信号１３６を映像に変換し、映像をユーザに再生する。ヘッドセット１０６のヘッドフォンは音信号１３８を音に変換し、音をユーザに再生する。より具体的には、ＸＲプロセッサ１０８のＭＬ分類器１２０は深層学習ニューラルネットワーク技法を利用して画像１０３を音響プリセット１２２に分類する。音響プリセット１２２の各々は、実世界環境音特性を表現する、残響（「ｒｅｖｅｒｂ」）パラメータなどの、音響パラメータのそれぞれのセットを表現する。ＩＡＥ１２４は音響プリセット１２２に基づいてＡＥＳ１２６を遂行し、実世界環境のための、残響を含む、音響応答をシミュレートまたはモデル化する。ＩＡＥ１２４はまた、様々な仮想場所に配置された１つまたは複数の仮想音オブジェクト１２８を実世界環境のシーン内に生成する。ＡＥＳ１２６は音応答を、仮想音オブジェクト１２８によって生成された音信号に適用し、仮想音オブジェクトからの音信号を、仮想音オブジェクトのための現実的な音を伝える音信号１１８に変換する。すなわち、ＡＥＳ１２６は、例えば、仮想音オブジェクトのための、少なくとも音残響をモデル化する。
【0016】
図１Ｂを参照すると、ユーザによって装着され、ＡＲ体験をユーザに伝えるために用いられ得るＡＲデバイス１５０の斜視図がある。デバイス１５０は、図１Ｂには示されていない、組み込みＸＲプロセッサに全て結合された、広角追跡カメラ１６０、赤色、緑色、青色（ＲＧＢ）カメラ１６４、マイクロフォンアレイ１６８、およびステレオヘッドフォン１７０を含む。ＡＲデバイス１５０はまた、ＸＲプロセッサに結合された飛行時間深度センサおよび追加の立体カメラを含み得る。
【0017】
図２を参照すると、音響プリセット１２２に基づいてＡＥＳによってシミュレートされ得る実世界環境のための一般的な音応答２００の図がある。音応答２００は、実世界環境内の音源から発する音インパルスに応答して生じる。音応答２００は、音源から離間した実世界環境内の聴取者の位置において記録され得る。音応答２００は、直接経路（ＤＰ）音、直接経路音の後に続く初期反射を含む反射（ＲＥＦ）、および反射の後に続く残響エネルギーもしくは残響（ＲＥＶ）を含む。反射ＲＥＦは、直接経路音ＤＰが生じる反射遅延の後に開始し、残響ＲＥＶは、反射ＲＥＦが開始する残響遅延の後に開始する。残響ＲＥＶの振幅は残響の減衰時間に従って減衰する。本明細書において提示される実施形態では、ＡＥＳ１２６は、仮想音オブジェクト１２８からの音に対する直接経路音、初期反射、および残響をシミュレートする／表現するために、他の音響パラメータに加えて音響プリセット１２２の音響パラメータを採用する。
【0018】
図３は、ＭＬ分類器１２０およびＩＡＥ１２４によって遂行され得る、音響プリセット１２２への画像１０３のＭＬベースの直接の分類、および仮想音オブジェクト１２８からの音のレンダリングの例示的な方法３００の図である。方法３００は、ＭＬ分類器１２０が、画像を音響プリセットに直接分類するための事前訓練作業においてすでに訓練されていることを仮定する。手短に言えば、訓練は、音響プリセットのうちの異なるものでラベル付けされた異なる画像を使ってＭＬ分類器１２０を訓練することを含む。一例では、音響プリセットは、ラベルＬ１～ＬＭにそれぞれ関連付けられた、Ｍ個、例えば、１０個、２０個などの、音響プリセットＰ１～ＰＭを含み得る。各音響プリセットＰｉは、音響環境シミュレーション、例えば、ＡＥＳ１２６のために用いられる音響パラメータＡＰ１～ＡＰＮのセットを表現する。ラベルＬ１～ＬＭおよび音響プリセットＰ１～ＰＭ（ならびにそれらの関連音響パラメータＡＰ１～ＡＰＮのセット）はＸＲプロセッサ１０８のメモリ内に記憶され得る。音響パラメータＡＰ１～ＡＰＮは所与の音響プリセットＰｉのためのそれぞれの値を有し、値は音響プリセットＰ１～ＰＭによって異なる。音響パラメータＡＰ１～ＡＰＮは少なくとも音響残響パラメータを含み得る。概して、残響パラメータは、例えば、残響減衰時間、残響ラウドネス特性、および／または残響等化特性（例えば、残響のスペクトル成分）を含み得る。より具体的には、残響パラメータは、高周波減衰および消滅時間、低周波減衰および消滅時間、制振、拡散、密度、部屋サイズ等を含み得る。残響パラメータは、対話型３Ｄオーディオレンダリングガイドラインレベル２．０（Ｉ３ＤＬ２）などの、任意の既知の、または今後開発される音響関連規格において定義されているとおりのパラメータを含み得る。
【0019】
音響パラメータＡＰ１～ＡＰＮは、１つまたは複数の音波反射パラメータ／係数、１つまたは複数の音波吸収パラメータ／係数等などの、追加の音響パラメータを含み得る。
【0020】
３０２において、ＸＲプロセッサ１０８は、音響プリセットＰ１～ＰＭのうちの１つをＡＥＳのためのデフォルトまたは初期音響プリセットとして選択または確立する。デフォルト音響プリセットの音響パラメータＡＰ１～ＡＰＮは初期音響パラメータを表現する。
【0021】
３０４において、ＭＬ分類器１２０は、画像センサ１０２によって取り込まれた一連の画像１０３の中の画像を受信する。定常状態の動作において、画像は、方法３００を通じて順次に処理されるべき一連の画像１０３の中の以前および将来の画像の中の現在の画像であり得る。
【0022】
「推論」と称される、３０６において、（事前訓練された）ＭＬ分類器１２０が、画像を、音響プリセットＰ１～ＰＭに対応する複数の（現在の）分類のセットに直接分類する。分類のセットは、単純に、ラベルのうちのそれぞれのものに関連付けられた信頼レベルＣ１～ＣＮを有する音響プリセットＰ１～ＰＭを指示するラベルＬ１～ＬＭを含み得る。ラベルＬ１～ＬＭは、（既知の）音響プリセットＰ１～ＰＭ、およびそれゆえ、音響プリセットの（既知の）音響パラメータＡＰ１～ＡＰＮのうちのそれぞれのものにアクセスするために用いられ得る。例えば、音響プリセットＰ１～ＰＭは、索引付けされ、それゆえ、ラベルＬ１～ＬＭに基づいてリトライされるよう記憶され得る。信頼レベルＣｉは、関連付けられたラベルＬｉ／音響プリセットＰｉが画像のために正しいこと、すなわち、画像がラベルＬｉ／音響プリセットＰｉに正しく分類されたことの確率を表す。このように、分類は、硬判定よりむしろ、軟判定と考えられ得る。
【0023】
３０８において、ＸＲプロセッサ１０８は、分類の中の信頼レベルＣ１～ＣＮの中の最も大きい信頼レベルに関連付けられたラベル／音響プリセットを選択し、（現在の）選択されたラベル／音響プリセットを生成する。選択された音響プリセットは作業３０２からのデフォルト音響プリセットと置き換わる。選択された音響プリセットはメモリから取得される（すなわち、選択されたプリセットの音響パラメータＡＰ１～ＡＰＮはメモリから取得される）。
【0024】
３１０において、ＸＲプロセッサ１０８はＩＡＥ１２４を、選択された音響プリセットで、すなわち、選択された音響プリセットのパラメータＡＰ１～ＡＰＮで更新する。
【0025】
方法３００は、一連の画像１０３の中の次の画像が分類のために到来するのに従って順次に繰り返し、一連の画像に対応し、ＩＡＥ１２４にＡＥＳ１２６のために順次に渡される一連の分類結果を生成する。
【0026】
方法３００の変形例はＩＡＥ１２４への音響プリセット更新を所定の信頼レベル閾値を条件とし、これは、本方法が、連続した画像を分類することを繰り返すのに従ってＩＡＥにもたらされる更新にヒステリシスを導入し得る。より具体的には、変形例は、１つまたは複数の（現在の）分類が、信頼レベル閾値を超える信頼レベルを有するときにのみ、ＩＡＥ１２４を更新し、この場合には、作業３０８および３１０は、上述されたように進行する。さもなければ、変形例はＩＡＥ１２４を更新せず、すなわち、変形例は、単に、信頼レベル閾値を超えた、ＩＡＥへの最後の以前の更新を維持する。分類が、確率としての信頼レベルを表すか、またはそれらに関連付けられたソフトマックス値（すなわち、軟判定）を含むと仮定すると、信頼レベル閾値は、例えば、０．７の確率と等しく設定され得る。その場合には、対応する確率が＞０．７を超えるときにのみ更新が行われる。ヒステリシスを加えるために、（作業３０６を通じた）所定数＞１の連続した分類にわたる平均信頼レベルが０．７を超えるときにのみ、更新が行われてもよい。
【0027】
分類フローチャート
次に、ＭＬ技法を用いて画像を分類する様々な方法が図４～図７のフローチャートに関連して説明される。方法は、画像を、上述された音響プリセットＰ１～ＰＭを指示する分類に分類するために遂行され得る。方法はＸＲシステム１００によって遂行され得る。
次に、ＭＬ技法を用いて画像を分類する様々な方法が図４～図７のフローチャートに関連して説明される。方法は、画像を、上述された音響プリセットＰ１～ＰＭを指示する分類に分類するために遂行され得る。方法はＸＲシステム１００によって遂行され得る。
【0028】
図４は、ＭＬ分類を用いて、実世界環境の画像をＡＥＳ（例えば、ＡＥＳ１２６）のための音響パラメータの「最良一致」音響プリセットに直接分類する例示的な方法４００のフローチャートである。方法４００は、方法３００に関連して上述された作業を要約している。方法４００は、音響プリセットＰ１～ＰＭのうちの様々なものでラベル付けされた、異なる実世界環境の多くの画像を使って訓練されたＭＬ分類器（例えば、ＭＬ分類器１２０）を仮定し、これにより、ＭＬ分類器は、訓練の結果として、介在する分類または作業を用いずに、画像を音響プリセットに（すなわち、音響プリセットの音響パラメータに）直接分類するように構成されている。
【0029】
４０２において、音響プリセットＰ１～ＰＭの中の初期音響プリセットを確立する。
【0030】
４０４において、実世界環境のシーンの画像を取り込む。
【0031】
４０６において、深層学習ニューラルネットワーク推論を用いて、（４０４から受信された）画像を、音響プリセットＰ１～ＰＭおよびそれらのそれぞれの信頼レベルＣ１～ＣＮを指示するＭ個の分類に直接分類する。信頼レベルＣ１～ＣＮの中の最も高い信頼レベルに関連付けられた音響プリセットＰ１～ＰＭの中の音響プリセットが、画像内に描写された実世界環境への「最良一致」音響プリセットと考えられる。すなわち、最良一致音響プリセットに基づいてＡＥＳ１２６によって生成されたシミュレートされた音応答は、他の音響プリセットのうちのいずれのものに基づいて生成されるであろうよりも実世界環境の実際の音応答に近い。４０８において、分類／音響プリセットに関連付けられた信頼レベルに基づいて最良一致音響プリセットを識別／選択し得る。
【0032】
４０８において、例えば、図３に関連して上述されたように、ＡＥＳ１２６を最良一致音響プリセットで更新するかどうかが決定される。ＡＥＳ１２６を更新すると決定された場合には、最良一致音響プリセットはＡＥＳに提供され、それゆえ、以前の音響プリセットと置き換わる。さもなければ、ＡＥＳ１２６は最良一致音響プリセットで更新されず、ＡＥＳは以前の最良一致音響プリセットを用いる（すなわち、以前の音響プリセットは置換されない）。
【0033】
４０８から、フロー制御は４０４へ戻り、プロセスが次の画像のために繰り返す。
【0034】
図５は、ＭＬ分類を用いて、実世界環境の画像を、音響環境シミュレーションのための音響プリセットが次に導出され得る、部屋タイプに分類する例示的な方法のフローチャートである。方法５００は、部屋タイプ（例えば、台所、浴室、居間等）でラベル付けされた異なる実世界環境の画像を使って訓練されたＭＬ分類器を仮定し、これにより、ＭＬ分類器は、訓練の結果として、画像を部屋タイプに分類するように構成されている。方法５００はまた、音響プリセットＰ１～ＰＭのうちのそれぞれのものは、上述の分類から生じた部屋タイプに対応付けられるか、またはそれらから導出され得ると仮定する。
【0035】
５０２において、音響プリセットＰ１～ＰＭの中の初期音響プリセットを確立する。
【0036】
５０４において、実世界環境のシーンの画像を取り込む。
【0037】
５０６において、深層学習ニューラルネットワーク推論を用いて、（作業５０４から受信された）画像を、部屋タイプ、例えば、台所に分類する。
【0038】
５０８において、部屋タイプに関連付けられた／対応付けられた音響プリセットＰ１～ＰＭの中の音響プリセットを取得する。
【0039】
５１０において、５０８からの音響プリセットを用いてＡＥＳを更新し得る。
【0040】
５１０から、フロー制御は５０４へ戻り、プロセスが次の画像のために繰り返す。
【0041】
方法５００では、推論作業５０６は音響プリセットに直接分類しない。したがって、分類が遂行された後に、特別の作業５０８が、音響プリセットを識別するために用いられる。すなわち、部屋タイプが音響プリセットに翻訳される。
【0042】
図６は、ＭＬ分類を用いて、実世界環境のシーンおよびそれらの関連音響プリセットのキャッシュに基づいて実世界環境の画像をＡＥＳ１２６のための音響パラメータの音響プリセットに直接分類する例示的な方法のフローチャートである。方法６００が、後述される追加の作業６０２および６０４を含むことを除いて、方法６００は方法４００と同様である。方法６００は、ＸＲプロセッサ１０８が、ユーザがどの実世界環境、例えば、部屋にいたことがあるのかを決定し、部屋の各々のための（最良）音響プレフィックスをキャッシュ内に記録すると仮定する。
【0043】
フローは４０２および４０４から６０２へ進む。６０２において、ユーザが、ユーザが現在位置する部屋に以前にいたことがあるのかどうかを決定する。ユーザが当該部屋に以前にいたことがある場合には、フローは６０４へ進み、６０４において、当該部屋のための音響プレフィックスをキャッシュから取得する。フローは６０４から４０８へ進み、４０８は、キャッシュから取得された音響プレフィックスを用いる。ユーザが当該部屋に以前にいたことがない場合には、フローは４０６へ進み、作業は、上述されたように継続する。方法６００を遂行するように構成されたＸＲプロセッサの一例が図１６に関連して後述される。
【0044】
図７は、ＭＬ分類を用いて、実世界環境の画像をＡＥＳ１２６のための一般／一次音響プリセットおよび二次音響変更子に直接分類する例示的な方法のフローチャートである。より具体的には、方法７００は、方法４００の場合と同様に、実世界環境の画像を一般音響プリセット（「一次音響プリセット」とも称される）に直接分類するために訓練されたＭＬ分類器（例えば、ＭＬ分類器１２０）の第１のニューラルネットワークを用いる。一般音響プリセットの各々は一般音響パラメータのそれぞれのセットを含む。例えば、一般音響パラメータは残響パラメータであり得る。方法７００はまた、画像を、一般音響プリセットを変更するために用いられ得る、吸収および／または反射パラメータまたは係数、室容積等などの、追加の、または二次音響パラメータにさらに分類するために訓練されたＭＬ分類器の第２のニューラルネットワークを用いる。
【0045】
７０２において、７０２において、音響プリセットＰ１～ＰＭの中の初期音響プリセットを確立する。
【0046】
７０４において、実世界環境のシーンの画像を取り込む。
【0047】
７０６において、第１のニューラルネットワークを用いて、画像を一般音響プリセットに直接分類し、それから最良の一般音響プリセットを選択する。すなわち、最も高い信頼レベルに関連付けられた音響プリセットを最良の音響プリセットとして選択する。
【0048】
７０８において、第２のニューラルネットワークを用いて、画像を二次音響パラメータに直接分類する。
【0049】
７１０において、二次音響パラメータのうちの１つまたは複数に基づいて、７０６において選択された一般音響プリセットの一般音響パラメータのうちの１つまたは複数を変更／調整し、変更された一般音響プリセットを生成する。例えば、一般音響プリセットの一般音響パラメータの値が二次音響パラメータの値に基づいて増大または減少させられ得る。代替的に、一般音響パラメータのうちの１つまたは複数が二次音響パラメータのうちの１つまたは複数によって置換され得る。
【0050】
単純な例では、小数範囲０＜α＜１内の吸収係数αが二次音響パラメータとして用いられてもよく、この場合には、作業７１０は一般音響パラメータのうちの１つまたは複数に吸収係数αを乗算し、１つまたは複数の変更された一般音響パラメータを生成し得る。実際には、吸収に基づくこのような変更は、以下の理由のために、より複雑になり得る。各マテリアルはその固有の吸収係数を有するため、マテリアルからの初期反射は通例、マテリアルの吸収係数によって直接影響を受ける。それゆえ、多くの異なるマテリアルを含む音響環境内の残響は、合計吸収を集合的に生み出す、環境内のマテリアルの合計によって影響され得る。合計吸収は、異なる周波数帯域内において残響の遅延率に異なって影響を及ぼし得、これは作業７１０において考慮され得る。
【0051】
７１２において、変更された一般音響プリセットを用いてＡＥＳを更新し得る。
【0052】
７１２から、フローは７０４へ戻り、プロセスが繰り返す。
【0053】
図８を参照すると、方法８００が、方法７００の作業７０８とリンクされた３Ｄメッシュ処理作業８０２を含むことを除いて、方法７００と同様である例示的な方法８００のフローチャートがある。３Ｄメッシュ処理作業８０２のみが説明される。概して、３Ｄメッシュ処理作業８０２は、作業７０８において生成された二次音響パラメータのうちの１つまたは複数を、例えば、深度カメラを用いて生成された３Ｄメッシュのコンポーネントに対応付ける。
【0054】
８０４において、深度カメラが、画像が作業７０４において取り込まれた同じ実世界環境の深度マップ（画像）を取り込む。
【0055】
８０６において、深度マップから３Ｄメッシュを作成する。
【0056】
８０８において、作業７０８において生成された二次音響パラメータ（例えば、マテリアル音波吸収）を３Ｄメッシュに対応付ける。
【0057】
８１０において、３Ｄメッシュおよび二次音響パラメータをエクスポートする。
【0058】
【0059】
ＭＬ訓練
図９Ａは、第１の訓練シナリオに従って訓練画像に基づいてＭＬ分類器１２０を訓練し、訓練されると、ＭＬ分類器を用いて、画像を分類する例示的な方法の図である。訓練されると、ＭＬ分類器１２０は、「推論」段階または作業と称されるものにおいて、画像を、通例、リアルタイムで分類する。図９Ａの例では、ＭＬ分類器１２０は、ＣＮＮを用いて構成されている。例えば、ＭＬ分類器１２０は、全結合層９０４に結合された畳み込み層９０２を含む。実際には、ＭＬ分類器１２０は、全結合層につながる多くの畳み込み層を含み得る。
図９Ａは、第１の訓練シナリオに従って訓練画像に基づいてＭＬ分類器１２０を訓練し、訓練されると、ＭＬ分類器を用いて、画像を分類する例示的な方法の図である。訓練されると、ＭＬ分類器１２０は、「推論」段階または作業と称されるものにおいて、画像を、通例、リアルタイムで分類する。図９Ａの例では、ＭＬ分類器１２０は、ＣＮＮを用いて構成されている。例えば、ＭＬ分類器１２０は、全結合層９０４に結合された畳み込み層９０２を含む。実際には、ＭＬ分類器１２０は、全結合層につながる多くの畳み込み層を含み得る。
【0060】
訓練のため、および、訓練後の、推論段階のために、ＭＬ分類器１２０は画像９０６を受信し、音響プリセットを表現するラベルの形態の分類９０８を生成する。推論段階では、９１０において、上述されたように、ラベルおよびそれらの信頼レベルに基づいて最も高い信頼を有する音響プリセットを選択する。訓練の際、画像９０６は、ＭＬ分類器１２０が訓練する訓練画像を表現する。
【0061】
第１の訓練シナリオでは、ＭＬ分類器１２０の訓練は以下の作業を含み得る。
ａ． Ｍ個の別個のラベルＬ１～ＬＭ、例えば、ラベル０～２０を確立する。ラベルは、数字、英数字、人間可読ラベル等であり得る。
ｂ． それぞれの典型的なユーザ環境、例えば、部屋を表現するＭ個の音響プリセットＰ１～ＰＭを作成／設計する。各プリセットは、上述されたとおりの、音響プリセットＡＰ１～ＡＰＮのそれぞれのセットを含む。各音響プリセットＰｉは、対応するラベルＬｉに関連付けられる。
ｃ． 事前訓練データの準備を遂行し、部屋の多数の訓練画像（例えば、訓練ピクチャ）を音響プリセットＰ１～ＰＭの中のそれらの最も可能性の高い音響プリセットでラベル付けする。図９Ｂは、後述される、事前訓練データの準備の図である。
ｉ． 訓練ピクチャを訓練ピクチャ（図９Ｂにおいて個々に「Ｉ」と示される）のＭ個のグループＧ１～ＧＭに分割し、これにより、各グループＧｉ内の訓練ピクチャ内の（部屋の）シーンが当該グループ内の（部屋の）シーンと同様の音響特性を有するが、他のグループ内の（部屋の）シーンとは異なる音響特性を有するようにする。例えば、グループＧ１の訓練ピクチャ内のシーンは、互いに同様の音響特性を有するように感じられ、グループＧ２の訓練ピクチャ内のシーンは、互いに同様であるが、グループＧ１の訓練ピクチャのシーンの音響特性とは異なる音響特性を有するように感じられ、訓練ピクチャの全てのＭ個のグループＧ１～ＧＮについて以下同様である。
ｉｉ．訓練ピクチャのグループを音響プリセットＰ１～ＰＭの中の最も可能性の高い音響プリセットのうちのそれぞれのものでラベル付けする。最も可能性の高い音響プリセットは、訓練ピクチャ内のシーンの音響特性と一致する可能性が最も高い音響プリセットである。すなわち、訓練ピクチャは、各グループ内で同じであるが、グループ間では異なる、音響プリセットのうちのそれぞれのものでラベル付けされる。例えば、音響プリセットＰ１がグループＧ１の訓練ピクチャへの最良一致であり、音響プリセットＰ２がグループＧ２の訓練ピクチャへの最良一致であるなどと仮定すると、このとき、グループＧ１の訓練ピクチャの全てを音響プリセットＰ１のためのラベルＬ１でラベル付けし、グループＧ２の訓練ピクチャの全てを音響プリセットＰ２のためのラベルＬ２でラベル付けするなどする。この作業は、ラベル付けされた訓練ピクチャ、すなわち、それらの最も可能性の高い音響プリセットでラベル付けされた訓練ピクチャを生成する。
ｄ． ラベル付けされた訓練ピクチャを用いて、ＭＬ分類器１２０を、画像をラベル／音響プリセットに直接分類するために訓練する。すなわち、ラベル付けされた訓練ピクチャはＭＬ分類器１２０の訓練入力に供給され、次に、ＭＬ分類器１２０は、ラベル付けされた訓練ピクチャを使って訓練する。ＭＬ分類器は、画像を、上述されたように、分類を信頼レベルに関連付ける、軟判定（例えば、ソフトマックス）分類に分類するために訓練される。
ａ． Ｍ個の別個のラベルＬ１～ＬＭ、例えば、ラベル０～２０を確立する。ラベルは、数字、英数字、人間可読ラベル等であり得る。
ｂ． それぞれの典型的なユーザ環境、例えば、部屋を表現するＭ個の音響プリセットＰ１～ＰＭを作成／設計する。各プリセットは、上述されたとおりの、音響プリセットＡＰ１～ＡＰＮのそれぞれのセットを含む。各音響プリセットＰｉは、対応するラベルＬｉに関連付けられる。
ｃ． 事前訓練データの準備を遂行し、部屋の多数の訓練画像（例えば、訓練ピクチャ）を音響プリセットＰ１～ＰＭの中のそれらの最も可能性の高い音響プリセットでラベル付けする。図９Ｂは、後述される、事前訓練データの準備の図である。
ｉ． 訓練ピクチャを訓練ピクチャ（図９Ｂにおいて個々に「Ｉ」と示される）のＭ個のグループＧ１～ＧＭに分割し、これにより、各グループＧｉ内の訓練ピクチャ内の（部屋の）シーンが当該グループ内の（部屋の）シーンと同様の音響特性を有するが、他のグループ内の（部屋の）シーンとは異なる音響特性を有するようにする。例えば、グループＧ１の訓練ピクチャ内のシーンは、互いに同様の音響特性を有するように感じられ、グループＧ２の訓練ピクチャ内のシーンは、互いに同様であるが、グループＧ１の訓練ピクチャのシーンの音響特性とは異なる音響特性を有するように感じられ、訓練ピクチャの全てのＭ個のグループＧ１～ＧＮについて以下同様である。
ｉｉ．訓練ピクチャのグループを音響プリセットＰ１～ＰＭの中の最も可能性の高い音響プリセットのうちのそれぞれのものでラベル付けする。最も可能性の高い音響プリセットは、訓練ピクチャ内のシーンの音響特性と一致する可能性が最も高い音響プリセットである。すなわち、訓練ピクチャは、各グループ内で同じであるが、グループ間では異なる、音響プリセットのうちのそれぞれのものでラベル付けされる。例えば、音響プリセットＰ１がグループＧ１の訓練ピクチャへの最良一致であり、音響プリセットＰ２がグループＧ２の訓練ピクチャへの最良一致であるなどと仮定すると、このとき、グループＧ１の訓練ピクチャの全てを音響プリセットＰ１のためのラベルＬ１でラベル付けし、グループＧ２の訓練ピクチャの全てを音響プリセットＰ２のためのラベルＬ２でラベル付けするなどする。この作業は、ラベル付けされた訓練ピクチャ、すなわち、それらの最も可能性の高い音響プリセットでラベル付けされた訓練ピクチャを生成する。
ｄ． ラベル付けされた訓練ピクチャを用いて、ＭＬ分類器１２０を、画像をラベル／音響プリセットに直接分類するために訓練する。すなわち、ラベル付けされた訓練ピクチャはＭＬ分類器１２０の訓練入力に供給され、次に、ＭＬ分類器１２０は、ラベル付けされた訓練ピクチャを使って訓練する。ＭＬ分類器は、画像を、上述されたように、分類を信頼レベルに関連付ける、軟判定（例えば、ソフトマックス）分類に分類するために訓練される。
【0062】
作業（ａ）～（ｃ）は、主観的音設計に基づいて、すなわち、サウンドデザイナーによって実質的に手動で遂行されてもよい。サウンドデザイナーは室内音響の自分の経験を用いて、訓練データベース内の多くの訓練ピクチャの中の訓練ピクチャ内に描写されたシーンのうちの対応するもののための最も可能性の高い響きの音響パラメータのそれぞれのセットを用いてそれぞれの音響プリセットを設計する。すなわち、サウンドデザイナーは、設計者の主観的設計経験に基づいて、音響パラメータの各々のそれぞれのセットを、訓練ピクチャのうちの１つに描写された対応するシーンの音響特性を最もうまく表現するよう、またはそれらと一致するように設計する。例えば、設計者は、「残響の多い（ｌｉｖｅ）」部屋（例えば、残響の多い台所）のための第１の音響プリセットの残響パラメータの第１のセットを選択し、「残響の少ない（ｄｅａｄ）」部屋（例えば、布地で覆われた家具を含む、カーペットがいっぱいに敷き詰められた寝室）のための残響パラメータの第２のセットを選択し、「残響の多い」部屋および「残響のない」部屋のものの間の中間の残響特性を有する部屋のための第３の音響プリセットの残響パラメータの第３のセットを選択するなどする。次に、設計者は、訓練ピクチャを、（音響パラメータのそれぞれのセットを各々表現する）それらの最も可能性の高い音響プリセットでラベル付けする。例えば、設計者は、同様の残響が多いように見える部屋の訓練ピクチャを第１の音響プリセットでラベル付けし、同様の残響がないように見える部屋の訓練ピクチャを第２の音響プリセットでラベル付けし、中間の残響を有するように感じられる同様の部屋の訓練ピクチャを第３の音響プリセットでラベル付けするなどする。
【0063】
訓練のための音響プリセットを確立するためにサウンドデザイナーの経験に主に頼ることに対する代替例は、異なる残響特性を有する部屋の実際の音響測定を用い、次に、音響測定から音響プリセットをアルゴリズム的に導出する。例えば、実世界環境の音響インパルス応答を測定するための任意の既知の、または今後開発される技法を用いて、部屋ごとの音響インパルス応答が測定されてもよい。次に、例えば、音響インパルス応答から、残響パラメータを導出するための任意の既知の、または今後開発される技法を用いて、測定された音響インパルス応答から音響プリセットの音響パラメータのセットがアルゴリズム的に導出される。
【0064】
１つの単純化された例では、インパルス応答の絶対値が正規化され、ｄＢの大きさに変換され得る。ｄＢの大きさが６０ｄＢを割り込む（０ｄＢに正規化された）初期パルスからの時間が、ＲＴ６０減衰時間（すなわち、音が室内で６０ｄＢ減衰するのにどれほど要するであろうか）として採用される。追加の周波数領域解析を用いることで、このような方法は、ＲＴ６０時間の多帯域解析に拡張され得る。同様に、初期スペクトルエネルギー、発生時間、初期反射タイミング、および密度等の値がインパルス応答またはその窓化区分内で直接観測され得る。この特定の技法は例としてのみ提供され、インパルス解析の任意の追加の、または代替的な方法が用いられ得ることが理解される。
【0065】
訓練されると、ＭＬ分類器１２０は、任意の部屋モデルが予想「どおりに音が響く」と決定することによって、妥当性確認されてもよい。
【0066】
推論段階のために、ＭＬ分類器１２０（またはＭＬ分類器の外部の論理）は、平滑化関数を、ＭＬ分類器によって生成するソフトマックス（出力）分類に適用するように構成されていてもよく、これにより、ソフトマックス分類が、図３の方法３００に関連して上述された閾値処理と同様に、偽性分類を回避するためのいくらかの組み込みヒステリシスを有する、ソフトマックス閾値を超える場合にのみ、分類はその以前の状態（すなわち、ＡＥＳ１２６に提供された以前の音響プリセット）から移行する。例えば、音響プリセットは、適切な遅延線補間およびゲインクロスフェーディングを用いて滑らかに移行し得る。
【0067】
訓練はまた、伝統的な部屋タイプ分類をすでに遂行する事前訓練されたニューラルネットワークを活かす転移学習を利用してもよい。このアプローチは、（特徴抽出において）事前訓練されたニューラルネットワークの畳み込み層を凍結し、上述されたラベルを用いて全結合層（分類）を適応させ続ける。
【0068】
図１０は、第２の訓練シナリオおよび第３の訓練シナリオに従ってＭＬ分類器１２０を訓練し、訓練されると、ＭＬ分類器を用いて画像を分類することを示す、ＭＬ分類器１２０のための例示的な作業フローの図である。推論段階では、１００２において、音響パラメータを、分類によって出力されたラベルから更新することを除いて、図１０の例は図９Ａの例と同様である。
【0069】
第２の訓練シナリオでは、ラベルは、残響パラメータなどの、より低いレベルの音響パラメータに基づき得る。残響パラメータは、例えば、Ｉ３ＤＬ２音響パラメータを含み得る。最初に、サウンドデザイナーは室内音響の自分の経験を用いて、訓練データベース内の多くの訓練ピクチャの中の訓練ピクチャ内に描写されたシーンのうちの対応するもののための最も可能性の高い響きの音響パラメータのセットを用いてそれぞれの音響プリセットを設計する。すなわち、音響パラメータの各々のそれぞれのセットは、訓練ピクチャのうちの１つに描写された対応するシーンの音響特性を最もうまく表現するか、またはそれらと一致するように設計される。次に、推論の際に、音響パラメータは、１００２において示されたように、ラベルに基づいて更新される。
【0070】
第３の訓練シナリオでは、ラベルは、訓練画像内に描写されたのと同じ部屋内で得られた現実の音響特性の音響測定から導出された、より低いレベルの音響パラメータに基づく。音響測定は、例えば、室内（音）インパルス応答の測定を含み得る。次に、事前訓練データの準備は、室内インパルス応答を解析し、適切な音響パラメータを自動的に調節する、すなわち、自動調節を遂行することを含む。自動調節自体はＭＬニューラルネットワークに基づき得る。
【0071】
第２および第３の訓練シナリオはどちらもＭＬニューラルネットワークを活用し得る。
【0072】
図１１Ａは、第４の訓練シナリオに従ってＭＬ分類器１２０を訓練し、訓練されると、ＭＬ分類器を用いて画像を分類することを示す、ＭＬ分類器のための例示的な作業フローの図である。以下の相違を除いて、図１１Ａの例は図９Ａおよび図１０の例と同様である。図１１Ａの例では、ＭＬ分類器１２０は、畳み込み層９０２の後に続く長・短期記憶（ＬＳＴＭ、ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）１１０２を含む。ＬＳＴＭ１１０２に基づくニューラルネットワークは画像記述子のために適している。図１１Ａのフローにおいて、ＬＳＴＭ１１０２は音響記述子１１０４に分類する。作業１１０６は、音響記述子１１０４を、更新作業１１０６において用いられる残響パラメータに翻訳する。
【0073】
第４の訓練シナリオでは、ＭＬ分類器１２０は、音響的関連性を有するピクチャの記述的特徴を使って訓練される。事前訓練のためのデータの準備は、部屋のシーンのピクチャを所与の音響語彙でラベル付けすることを含む。図１１Ａの例はＬＳＴＭ１１０２を含むが、焦点が、ラベル（例えば、大きい、残響が多い、タイル等）の最も可能性の高い組み合わせである場合には、ＬＳＴＭは全結合層（例えば、全結合層９０４）によって置換されてもよい。訓練は、音響固有の記述子でラベル付けされた多数の訓練ピクチャを含む。
【0074】
図１１Ｂを参照すると、２つのカメラ視野（画像）Ｉ１８０－１およびＩ１８０－２内の部屋の３６０°画像を共同で取り込む、すなわち、部屋全体のシーンを取り込む、背中合わせの１８０°魚眼レンズを含む画像センサ１０２（例えば、カメラ）の一例の図がある。本例では、ＸＲプロセッサ１０８は、任意の既知の、または今後開発される正距円筒図法を用いて、異なるカメラ視野を単一の長方形画像フレームにつなぎ合わせ得る。ＸＲプロセッサ１０８は、訓練の間、または推論／リアルタイム段階の間に、単一の長方形画像フレームを処理のためにＭＬ分類器１２０に提供する。別の例では、伝統的な長方形画像が、ＭＬ分類器１２０を訓練するために用いられてもよい。代替的に、伝統的な長方形画像は、ユーザ／観察者がカメラを部屋の異なる視野に向けるのに従って、部屋をトレースすることに基づいて、より大きい画像、例えば、合成画像につなぎ合わせられてもよい。結果として得られたつなぎ合わせ画像は、ＭＬ分類器が３６０画像を使って訓練されたときにさえ、ＭＬ分類器１２０に適用され得る。別の例では、画像センサ１０２は部屋の長方形画像を取り込み、ＸＲプロセッサ１０８は長方形画像を正距円筒空間上の区域に対応付け、対応付けられた画像を生成し、ＭＬ分類器１２０は、対応付けられた画像を分類する。長方形画像を正距円筒空間に対応付けるための任意の既知の、または今後開発される技法が用いられ得る。
【0075】
ＸＲプロセッサの実施例
図１２は、図１ＡのＸＲプロセッサの実施形態によって提供されるものと比べて追加の機能性を含む一実施形態に係るＸＲプロセッサ１０８のブロック図である。図１２の実施例では、ＸＲプロセッサ１０８は、画像分類経路１２０２、マテリアル推定経路１２０４、音響パラメータ集約（ＡＰＣ、ａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒ ｃｏｎｓｏｌｉｄａｔｉｏｎ）論理１２０６、およびＩＡＥ１２４を含む。画像分類経路１２０２は画像センサ１０２からの画像１０３を処理し、一般／一次音響プリセット１２１０および二次音響変更子１２１２を生成し、一般音響プリセットおよび二次音響変更子をＡＰＣ論理１２０６に提供する。マテリアル推定経路１２０４は画像センサ１０２からの画像１０３を画像分類経路１２０２と並列に処理し、初期反射モデルデータ（ＥＲＥ）（「初期反射パラメータ」とも称される）１２１４を生成し、初期反射モデルデータをＡＰＣ論理１２０６に提供する。ＡＰＣ論理１２０６は、一般音響プリセット１２１０、二次音響変更子１２１２、および初期反射モデルデータ１２１４を合同で処理し、最終音響調節パラメータ１２２０を生成し、それらをＩＡＥ１２４のＡＥＳ１２６に提供する。
図１２は、図１ＡのＸＲプロセッサの実施形態によって提供されるものと比べて追加の機能性を含む一実施形態に係るＸＲプロセッサ１０８のブロック図である。図１２の実施例では、ＸＲプロセッサ１０８は、画像分類経路１２０２、マテリアル推定経路１２０４、音響パラメータ集約（ＡＰＣ、ａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒ ｃｏｎｓｏｌｉｄａｔｉｏｎ）論理１２０６、およびＩＡＥ１２４を含む。画像分類経路１２０２は画像センサ１０２からの画像１０３を処理し、一般／一次音響プリセット１２１０および二次音響変更子１２１２を生成し、一般音響プリセットおよび二次音響変更子をＡＰＣ論理１２０６に提供する。マテリアル推定経路１２０４は画像センサ１０２からの画像１０３を画像分類経路１２０２と並列に処理し、初期反射モデルデータ（ＥＲＥ）（「初期反射パラメータ」とも称される）１２１４を生成し、初期反射モデルデータをＡＰＣ論理１２０６に提供する。ＡＰＣ論理１２０６は、一般音響プリセット１２１０、二次音響変更子１２１２、および初期反射モデルデータ１２１４を合同で処理し、最終音響調節パラメータ１２２０を生成し、それらをＩＡＥ１２４のＡＥＳ１２６に提供する。
【0076】
画像分類経路１２０２は（音響解析のための）画像プリプロセッサ１２２２を含み、その後にＭＬ分類器１２０が続く。画像プリプロセッサ１２２２は画像１０３、すなわち、原画像データを処理し、ＭＬ分類器１２０による消費に適したフォーマットの画像を生成する。画像プリプロセッサ１２２２は原画像データをフォーマットし、および／またはＭＬ分類器１２０のための訓練の仮定に一致するために原画像データを選択、回収、または合計する。例えば、画像プリプロセッサ１２２２は、画像１０３のうちの連続したものをつなぎ合わせ、上述されたように、分類のためのつなぎ合わせ画像を生成し得る。
【0077】
ＭＬ分類器１２０が、画像を、（それらの信頼レベルを有する）一般音響プリセットおよび二次音響変更子の両方に直接分類するために訓練されたと仮定すると、ＭＬ分類器は画像プリプロセッサ１２２２からの画像の各々を一般音響プリセット１２１０および音響変更子１２１２に直接分類する。一例では、一般音響プリセット１２１０は初期残響パラメータを含み、二次音響変更子１２１２は、音響吸収パラメータ、音響反射パラメータ、音響拡散パラメータ、および特定の環境（例えば、部屋）寸法のうちの１つまたは複数を含み得る。
【0078】
両方の種類の分類が同時に進行するために、十分な画像情報、および十分なＭＬ分類器（例えば、ニューラルネットワーク）処理能力があることを条件として、ＭＬ分類器１２０は一般音響プリセット１２１０および二次音響変更子１２１２を同時に生成し得る。代替的に、ＭＬ分類器１２０は、（ｉ）最初に受信された画像、および／または最初は制約された処理能力に基づいて、最初は一般音響プリセット１２１０のみを生成し、（ｉｉ）さらなる画像が到来し、および／またはさらなる処理能力が利用可能になったときに、一般音響プリセット１２１９および二次音響変更子１２１２の両方を同時に生成し得る。
【0079】
ＡＰＣ論理１２０６は音響変更子１２１２に基づいて一般音響プリセット１２１０の（初期）残響パラメータを変更し、変更された残響パラメータを含む変更された一般音響プリセットを生成し、変更された一般音響プリセットを最終音響調節パラメータ１２２０に含めてＡＥＳ１２６に提供する。
【0080】
マテリアル推定経路１２０４は、（幾何解析のための）画像プリプロセッサ１２３２を含み、その後に、建築メッシュおよびマテリアル推定器（単純に「マテリアル推定器」と称される）１２３４が続く。画像プリプロセッサ１２３２は画像１０３内の原画像データを処理し、マテリアル推定器１２３４による消費のための画像を生成する。マテリアル推定器１２３４は、画像内に描写されたシーンのための（デジタル）建築３Ｄメッシュを構築し、建築３Ｄメッシュに基づいてシーン内に描写されたマテリアルの種類を推定し、マテリアルの音響特性を推定し、音響特性を含む初期反射モデルデータ（例えば、パラメータ）１２１４を生成する。画像プリプロセッサ１２３２およびマテリアル推定器１２３４は、任意の既知の、または今後開発される技法を用いて、幾何画像解析を遂行し、建築メッシュを生成し、メッシュからマテリアル特性を推定し得る。
【0081】
ＡＰＣ論理１２０６は初期反射モデルデータ１２１４を、変更された一般音響プリセットと組み合わせ、最終音響調節パラメータ１２２０を作る。代替的に、および／または追加的に、ＡＰＣ論理１２０６は、初期反射モデルデータ１２１４内の様々なパラメータを用いて、変更された一般音響プリセットをさらに変更し得る。
【0082】
マテリアル推定経路１２０４を省略した一実施形態では、初期反射モデルデータ１２１４は依然として用いられるが、例えば、デフォルト値に設定され得る。
【0083】
図１３、最終音響調節パラメータ１２２０の音響パラメータに基づいてＡＥＳ１２６を遂行するために用いられるＩＡＥ１２４の部分のブロック図がある。ＩＡＥ１２４は、仮想音オブジェクト１２８のうちのそれぞれのものからのそれぞれの音信号Ｓ１～ＳＯを受信する音チャネル１３００（１）～１３００（Ｏ）を含む。各チャネル１３００（ｉ）は、一連の調節可能なゲイン（Ｇ）、遅延、およびパノラミックポテンショメータ（ｐａｎ）段階を通した、マルチチャネル出力バス１３０２への音信号Ｓｉのためのそれぞれの直接経路を提供する。結果として得られたチャネルごとの直接経路音信号はマルチチャネル出力バス１３０２に混合される。各チャネル１３００（ｉ）はまた、反射制御信号１３１０に応じて反射を制御する調節可能な反射段階（ｒｅｆｌ）を通した、マルチチャネル出力バスへの音信号Ｓｉのためのそれぞれの反射経路を提供する。反射制御信号１３１０は、上述された、最終音響調節１２２０の１つまたは複数の音響パラメータを含み得る。結果として得られたチャネルごとの反射もまた、マルチチャネル出力バス１３０２に混合される。ＩＡＥ１２４はまた、チャネルごとの反射によって供給され、残響制御信号１３１４に応じて、マルチチャネル出力バス１３０２上で組み合わせられた、組み合わせられた直接経路音信号および反射を反響させるように構成された残響発生器（ｒｅｖ）１３１２を含む。残響制御信号１３１４は最終音響調節パラメータ１２２０の音響パラメータ（例えば、残響パラメータ）を含み得る。
【0084】
図１４は、例えば、図１２のＸＲプロセッサ１０８によって遂行され得る例示的な音響パラメータ精緻化プロセス１４００の図である。１４０２において、初期画像データがＭＬ分類器１２０内へ流れ、ＭＬ分類器が初期画像データを直接分類し、一般音響プリセットＰ１～ＰＭ（例えば、一般音響プリセット１２１０）のための軟判定ラベルを生成する。各音響プリセットＰｉはＮ個の音響パラメータＡＰ１～ＡＰＮ（Ｐａｒａｍ １～Ｐａｒａｍ Ｎ）のそれぞれのセットを含む。信頼レベルに基づいて一般音響プリセットＰ１～ＰＭのうちの１つを選択し、選択された一般音響プリセットを生成する。初期反射モデルデータ（ＥＲＥ）デフォルトパラメータ（例えば、初期反射モデルデータ１２１４のためのデフォルト値）が、選択された一般音響プリセットに追加されてもよい。
【0085】
１４０４において、さらなる画像データがＭＬ分類器１２０内へ流れ、さらなる画像データに基づいて、ＭＬ分類器は一般音響プリセットＰ１～ＰＭに加えて二次音響変更子（例えば、二次音響変更子）１２１２を生成する。
【0086】
１４０６において、音響パラメータ安全性チェック論理が、（現在の）選択された一般音響プリセット、および安全性チェックを遂行するために有用な追加の情報を所与として、上述の音響パラメータが妥当な範囲内にあることを確実にするために、選択された一般音響プリセットおよび二次音響変更子に対する音響パラメータ安全性チェックを遂行する。安全性チェックに続いて、ＡＰＣ論理１２０６は、二次音響変更子に基づいて、選択された一般音響プリセットを変更し、変更されたとおりの、Ｎ個の音響パラメータを含む、変更された／集約された音響プリセットを生成する。ＥＲＥデフォルトパラメータは、変更された／集約された音響プリセットと共に保持される。
【0087】
１４１０において、マテリアル推定経路１２０４が初期画像データおよびさらなる画像データに基づいて初期反射モデルデータ１２１４を生成する。
【0088】
１４１２において、音響パラメータ安全性チェック論理は、変更された／集約された音響プリセットおよび初期反射モデルデータ１２１４に対する音響パラメータ安全性チェックを遂行する。ＡＰＣ論理１２０６が、初期反射モデルデータ１２１４に基づいて、変更された／集約された音響プリセットをさらに変更するか、あるいは、初期反射データを、変更されたプリセットに単純に追加し、最終音響調節パラメータ１２２０を生成する。
【0089】
図１５は、部屋の画像のために図１２のＸＲプロセッサ１０８によって生成された例示的な音響パラメータの表である。表は、表内の最初の行の一般音響プリセットの一般音響パラメータ、表の２番目の行の二次音響パラメータ、および表の３番目の行内の初期反射データパラメータを、表の列内に示された上述のパラメータの様々な特性に対応付ける。表の最初の列は上述の３つの種類の音響パラメータを識別する。次の、または真ん中の２つの列は、列内に指示されるように、ＭＬ分類器１２０およびマテリアル推定経路１２０４によって生成されたタグの（記述）ラベルに関連付けられた情報を含む。最後の列は残響パラメータおよびＥＲＥパラメータの例を提供する。
【0090】
キャッシュの実施形態
図１６は、図６の方法６００に関連して上述されたとおりの、既知の実世界環境に関連付けられたキャッシュされた音響プリセットを用いる一実施形態におけるＸＲプロセッサ１０８のブロック図である。校正作業の間に、画像プリプロセッサ１６０１およびＭＬ分類器１２０は、校正されたプリセットメモリまたはキャッシュ１６０２内に、以前の「シーン」に対応する音響パラメータを記憶するよう合同で動作する。校正後に、リアルタイムで、（画像マッチングを遂行する）画像プリプロセッサ１６０１は、（ＭＬ分類器１２０を含み得る）論理１６０４と共に、既知のリアルタイム画像からの音響パラメータを識別し、上述されたように、完全な画像解析を有しない識別された音響パラメータを回収する。図１６の実施形態では、機械学習は、部屋を、事前校正されたシーンのうちの１つに一致させるより容易なタスクに焦点を合わせている。
図１６は、図６の方法６００に関連して上述されたとおりの、既知の実世界環境に関連付けられたキャッシュされた音響プリセットを用いる一実施形態におけるＸＲプロセッサ１０８のブロック図である。校正作業の間に、画像プリプロセッサ１６０１およびＭＬ分類器１２０は、校正されたプリセットメモリまたはキャッシュ１６０２内に、以前の「シーン」に対応する音響パラメータを記憶するよう合同で動作する。校正後に、リアルタイムで、（画像マッチングを遂行する）画像プリプロセッサ１６０１は、（ＭＬ分類器１２０を含み得る）論理１６０４と共に、既知のリアルタイム画像からの音響パラメータを識別し、上述されたように、完全な画像解析を有しない識別された音響パラメータを回収する。図１６の実施形態では、機械学習は、部屋を、事前校正されたシーンのうちの１つに一致させるより容易なタスクに焦点を合わせている。
【0091】
図１６の実施形態では、校正されたプリセットメモリまたはキャッシュ１６０２が一般音響プリセット、二次音響パラメータ、および初期反射モデルデータを記憶するとき、ならびにこのようなデータが音響パラメータ安全性チェックをすでに受けているときには、ＡＰＣ論理１２０６は省略されてもよい。ＩＡＥ１２４は、仮想音オブジェクト１２８のための位置情報および位置情報１１４に基づいて反射を最終決定する。
【0092】
音響プリセット移行方法のためのフローチャート
図１７～図１９は、それぞれ、校正されたシーンの実施形態における、ソフトマックス分類の信頼レベルに基づく音響プリセットの間の移行の方法、使用可能画像安全性チェックを移行に追加する方法、および音響プリセットの間の移行を遂行する方法に関する。概して、図１７～図１９の方法は、一般／一次音響プリセットおよび二次音響変更子の分類器が、意味のある／認識可能な特徴を有しない画像または実世界シーンについて推測するよう強いられることを防止する。
図１７～図１９は、それぞれ、校正されたシーンの実施形態における、ソフトマックス分類の信頼レベルに基づく音響プリセットの間の移行の方法、使用可能画像安全性チェックを移行に追加する方法、および音響プリセットの間の移行を遂行する方法に関する。概して、図１７～図１９の方法は、一般／一次音響プリセットおよび二次音響変更子の分類器が、意味のある／認識可能な特徴を有しない画像または実世界シーンについて推測するよう強いられることを防止する。
【0093】
図１７は、音響プリセット、例えば、残響プリセットの間の移行の例示的な方法１７００のフローチャートである。１７０２および１７０４を含むループにおいて、方法１７００はＩＡＥ１２４のためのデフォルト音響プリセットを確立し、確信的な音響環境変化をチェックする。確信的な音響環境変化がある場合には、フローは１７０６へ進んで音響プリセットを更新し、そこからフローは１７０８へ進む。さもなければ、フローはループへ戻る。１７０８、１７１０、および１７１２を含むループにおいて、方法１７００は１７０８において環境ベースの音響プリセットを受信し、１７１０において確信的な音響環境変化をチェックする。確信的な音響環境変化がある場合には、フローは１７１２へ進んで音響プリセットを更新する。さもなければ、フローは１７０８へ戻る。
【0094】
図１８は、音響プリセットの間の移行、および使用可能画像安全性チェックを遂行することの例示的な方法１８００のフローチャートである。方法１８００が、現在のセンサデータ（すなわち、画像）を使用可能画像として妥当性確認する作業１８０２および１８０４をさらに含むことを除いて、方法１８００は方法１７００と同様である。例えば、作業１７０２および１７０４の間に挿入された作業１８０２は、現在のセンサデータを使用可能画像として妥当性確認する。はいである場合には、フローは１７０２から１７０４へ進み、その一方で、いいえである場合には、フローは１７０２へ戻る。同様に、作業１８０４は作業１７０８および１７１０の間に挿入され、それらの作業の間のフローを、作業１８０４が作業１７０２および１７０４の間のフローを条件付ける仕方と同様に条件付ける。
【0095】
図１９は、図１６に示される実施形態などの、校正されたシーンの実施形態における音響プリセットの間の移行の例示的な方法１９００のフローチャートである。１９０２および１９０４を含むループにおいて、方法１９００はデフォルト音響プリセットを確立し、現在のシーンを、校正されたシーンに関連付けられたシーンに対してチェックする。校正されたシーンが見出されない場合には、フローは１９０２へ戻る。さもなければ、校正されたシーンが見出されたときには、フローは１９０６へ進み、そこで、方法１９００はデフォルト音響プリセットを、校正された音響プリセットで更新する。フローは１９０６から１９０８、１９１０、および１９１２へ進み、１９０８、１９１０、および１９１２は、１９０２、１９０４、および１９０６において遂行された作業を繰り返すが、デフォルト音響プリセットの代わりに、１９０６からの更新された校正された音響プリセットを用いて開始する。
【0096】
訓練プロセス
図２０は、図９、図１０、および図１１Ａに関連して上述された訓練方法を表現する、最初に未訓練であるときのＭＬ分類器１２０のディープニューラルネットワーク（ＤＮＮ）訓練のために用いられる例示的な訓練プロセス２０００を示すブロック図である。２００２において、画像プリプロセッサ１２２２が画像センサ１０２からの実世界環境の訓練画像を未訓練のＭＬ分類器１２０による消費のためにフォーマットし、（フォーマットされた）訓練画像をＭＬ分類器の訓練入力に提供する。２００４において、画像プリプロセッサの機能が、訓練画像をディスプレイ上でユーザ／人間の操作者に、ユーザに勝手の良い、見やすいフォーマットで提示する。２００６において、ユーザが、音響パラメータが訓練画像内の実世界環境／シーンに一致するよう、訓練画像の各々に、音響プリセット、二次パラメータ等に対応するラベル／音響調節パラメータを適用する。ユーザは、ラベル／音響調節パラメータを、未訓練のＭＬ分類器１２０に入力される訓練画像のうちのそれぞれのものに関連付け、これにより、訓練画像がそれらのラベルと相関するようにする。２０１０において、ＭＬ分類器１２０の１つまたは複数のニューラルネットワークが、ラベル付けされた訓練画像を使って訓練する。２０１０における訓練は、訓練画像内の特徴に基づいてＭＬ分類器１２０のニューラルネットワークのフィルタ係数を更新し、これにより、ＭＬ分類器１２０の訓練されたバージョンがもたらされる。それゆえ、訓練プロセスは、ＭＬ分類器１２０の１つまたは複数のニューラルネットワークを、画像をそれらの対応する音響プリセットに直接分類するように構成する。
図２０は、図９、図１０、および図１１Ａに関連して上述された訓練方法を表現する、最初に未訓練であるときのＭＬ分類器１２０のディープニューラルネットワーク（ＤＮＮ）訓練のために用いられる例示的な訓練プロセス２０００を示すブロック図である。２００２において、画像プリプロセッサ１２２２が画像センサ１０２からの実世界環境の訓練画像を未訓練のＭＬ分類器１２０による消費のためにフォーマットし、（フォーマットされた）訓練画像をＭＬ分類器の訓練入力に提供する。２００４において、画像プリプロセッサの機能が、訓練画像をディスプレイ上でユーザ／人間の操作者に、ユーザに勝手の良い、見やすいフォーマットで提示する。２００６において、ユーザが、音響パラメータが訓練画像内の実世界環境／シーンに一致するよう、訓練画像の各々に、音響プリセット、二次パラメータ等に対応するラベル／音響調節パラメータを適用する。ユーザは、ラベル／音響調節パラメータを、未訓練のＭＬ分類器１２０に入力される訓練画像のうちのそれぞれのものに関連付け、これにより、訓練画像がそれらのラベルと相関するようにする。２０１０において、ＭＬ分類器１２０の１つまたは複数のニューラルネットワークが、ラベル付けされた訓練画像を使って訓練する。２０１０における訓練は、訓練画像内の特徴に基づいてＭＬ分類器１２０のニューラルネットワークのフィルタ係数を更新し、これにより、ＭＬ分類器１２０の訓練されたバージョンがもたらされる。それゆえ、訓練プロセスは、ＭＬ分類器１２０の１つまたは複数のニューラルネットワークを、画像をそれらの対応する音響プリセットに直接分類するように構成する。
【0097】
コンピュータデバイス
図２１を参照すると、ＸＲプロセッサ１０８およびＩＡＥ１２４が実施され得る例示的なコンピュータデバイス２１００のブロック図がある。デバイス２１００のための数多くの可能な構成が存在し、図２１は、一例であることが意図される。デバイス２１００の例としては、タブレットコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォンなどの携帯電話等が挙げられる。デバイス２１００は、ディスプレイおよびヘッドフォンを駆動するための出力２１０４を含み得る。デバイス２１００はまた、プロセッサ２１１６に各々結合された、１つまたは複数のネットワークインターフェースユニット（ＮＩＵ、ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｕｎｉｔ）２１０８、およびメモリ２１１４を含み得る。１つまたは複数のＮＩＵ２１０８は、プロセッサ２１１６が通信ネットワークを通じて通信することを可能にする有線および／または無線接続能力を含み得る。例えば、ＮＩＵ２１０８は、当業者によって理解されるであろうように、イーサネット接続を通じて通信するためのイーサネットカード、通信ネットワーク内のセルラーネットワークと無線で通信するための無線ＲＦトランシーバ、光学トランシーバ、および同様のものを含み得る。
図２１を参照すると、ＸＲプロセッサ１０８およびＩＡＥ１２４が実施され得る例示的なコンピュータデバイス２１００のブロック図がある。デバイス２１００のための数多くの可能な構成が存在し、図２１は、一例であることが意図される。デバイス２１００の例としては、タブレットコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォンなどの携帯電話等が挙げられる。デバイス２１００は、ディスプレイおよびヘッドフォンを駆動するための出力２１０４を含み得る。デバイス２１００はまた、プロセッサ２１１６に各々結合された、１つまたは複数のネットワークインターフェースユニット（ＮＩＵ、ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｕｎｉｔ）２１０８、およびメモリ２１１４を含み得る。１つまたは複数のＮＩＵ２１０８は、プロセッサ２１１６が通信ネットワークを通じて通信することを可能にする有線および／または無線接続能力を含み得る。例えば、ＮＩＵ２１０８は、当業者によって理解されるであろうように、イーサネット接続を通じて通信するためのイーサネットカード、通信ネットワーク内のセルラーネットワークと無線で通信するための無線ＲＦトランシーバ、光学トランシーバ、および同様のものを含み得る。
【0098】
プロセッサ２１１６は、例えば、メモリ２１１４内に記憶されたそれぞれのソフトウェア命令を実行するように各々構成された、マイクロコントローラおよび／またはマイクロプロセッサの集合を含み得る。プロセッサ２１１６は、１つまたは複数のプログラム可能特定用途向け集積回路（ＡＳＩＣ、ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ファームウェア、またはこれらの組み合わせの形で実施され得る。メモリ２１１４の部分（およびその内部の命令）はプロセッサ２１１６と統合され得る。本明細書で使用するとき、用語「音響（ａｃｏｕｓｔｉｃ）」、「音声（ａｕｄｉｏ）」、および「音（ｓｏｕｎｄ）」は同義的であり、交換可能である。
【0099】
メモリ２１１４は、リードオンリーメモリ（ＲＯＭ、ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、磁気ディスク記憶媒体デバイス、光記憶媒体デバイス、フラッシュメモリデバイス、電気的、光学的、または他の物理的／有形の（例えば、非一時的）メモリ記憶デバイスを含み得る。それゆえ、概して、メモリ２１１４は、コンピュータ実行可能命令を含むソフトウェアを符号化された１つまたは複数のコンピュータ可読記憶媒体（例えば、メモリデバイス）を含んでもよく、ソフトウェアが（プロセッサ２１１６によって）実行されたときに、それは、本明細書において説明された作業を遂行するように動作可能である。例えば、メモリ２１１４は、制御論理２１２０が、ＭＬ分類器１２０、ＩＡＥ１２４、画像プリプロセッサ１２２２および１２３２、ＡＰＣ論理１２０６、マテリアル推定経路１２０４に関して本明細書において説明された作業、ならびに上述された方法を遂行するための命令を記憶しているか、またはそれらを符号化されている。
【0100】
加えて、メモリ２１１４は、画像、音響パラメータ、ニューラルネットワーク等などの、論理２１２０によって用いられる、および生成されたデータ／情報２１２２を記憶する。
【0101】
要約した方法のフローチャート
図２２を参照すると、上述された様々な作業を含む画像を分類する例示的な方法２２００のフローチャートがある。
図２２を参照すると、上述された様々な作業を含む画像を分類する例示的な方法２２００のフローチャートがある。
【0102】
２２０２において、本方法は実世界環境の画像を受信する。これを行うために、本方法は、画像センサを用いて画像を取り込むか、あるいはファイルまたは事前に記憶された画像からの画像にアクセスし得る。
【0103】
２２０４において、本方法は、本明細書において説明されたようにすでに、または以前に訓練されたＭＬ分類器を用いて、作業２２０２において取り込まれた画像を受信し、画像を、ＡＥＳのための（既知の）音響プリセットに関連付けられ、それらを指示する分類に直接分類する。分類はそれぞれの信頼レベルを含む。音響プリセットは、ＡＥＳのための音残響を表現する（既知の）音響パラメータを各々含む。
【0104】
作業２２０４における分類の時に、音響プリセットおよびそれらのそれぞれのパラメータはＭＬ分類器の事前訓練からすでに知られている。それゆえ、ＭＬ分類器は画像を、例えば、部屋タイプから音響パラメータを導出するためのさらなる作業を次に必要とするであろう、部屋タイプにまず分類することを行うことなく、音響プリセットに関連付けられ、それらを指示する分類に「直接」分類する。作業２２０４の直接分類は、介在するパラメータ翻訳を行わない、分類に関連付けられた既知／所定の音響パラメータへの直接アクセスを提供する、画像から分類へ流れる本質的に単一の分類作業である。さらに、ＡＥＳは音響プリセットを直接、すなわち、そのまま用いる。一実施形態では、ＭＬ分類器は、訓練画像の異なるグループに分割された実世界環境の（ラベル付けされた）訓練画像を使って訓練された。訓練画像の異なるグループの訓練画像は、異なるグループの各々の内部では同じであるが、異なるグループの間では異なる音響プリセットのうちのそれぞれのものでラベル付けされる。訓練画像は、後述される、さらなる作業２２１０～２２１４において利用される、追加の（二次）音響パラメータでさらにラベル付けされ得る。
【0105】
２２０６において、本方法は、分類の信頼レベルに基づいて音響プリセットの中の音響プリセット（すなわち、音響プリセットのうちの特定のもの）を選択する。本方法は音響プリセットにアクセスする／を取得する。
【0106】
２２０８において、本方法は音響プリセットの音響パラメータに基づいてＡＥＳを遂行する。ＡＥＳは、音響プリセットの音響パラメータに基づいて実世界環境内に仮想的に配置された１つまたは複数の仮想音オブジェクトのための音残響をモデル化する。
【0107】
２２１０において、本方法は、機械学習分類器を用いて、直接、画像をさらに分類するか、または１つまたは複数のさらなる画像を分類し、１つまたは複数の音響パラメータ変更子を生成する。さらなる分類は作業２２０４の分類と同時であってもよい。代替的に、さらなる分類は、追加または後続の画像を受信し、分類する結果得られてもよい。
【0108】
２２１２において、本方法は２２１０からの１つまたは複数の音響パラメータ変更子に基づいて２２０６からの音響プリセットの音響パラメータを変更し、ＡＥＳのための変更された音響パラメータを含む変更された音響プリセットを生成する。
【0109】
２２１４において、本方法は、変更された音響パラメータを用いてＡＥＳを遂行する。
【0110】
方法２２００の作業２２０２～２２０６の異なる組み合わせは別個の独立した実施形態を表現し得る。例えば、作業２２０２～２２０６は、ひとまとめにして、独立した実施形態を表現する。
【0111】
図２３を参照すると、方法２２００において分類された画像に対する後続または第２の画像を分類する例示的な方法２３００のフローチャートがある。方法２３００は、上述された様々な作業を含む。
【0112】
２３０２において、本方法は実世界環境の第２の画像を取り込む／受信する。
【0113】
２３０４において、機械学習分類器を用いて、本方法は第２の画像を直接分類し、それぞれの第２の信頼レベルを有する第２の分類を生成する。
【0114】
２３０６において、本方法は、第２の分類のうちの１つまたは複数が、信頼レベル閾値を超えるそれぞれの第２の信頼レベルを有するかどうかを決定する。
【0115】
２３０８において、第２の分類のうちの１つまたは複数が、信頼レベル閾値を超えるそれぞれの第２の信頼レベルを有する場合には、本方法は、第２の分類の第２の信頼レベルに基づいて音響プリセットの中の第２の音響プリセット（音響プリセットのうちの第２の特定のもの）を選択し、音響プリセットを音響環境シミュレーションのための第２の音響プリセットで更新／置換する。
【0116】
２３１０において、第２の分類のうちの１つまたは複数が、信頼レベル閾値を超える対応する第２の信頼レベルを有しない場合には、本方法は第２の音響プリセットを選択せず、音響環境シミュレーションのための音響プリセットを更新／置換しない。
【0117】
方法２２００および２３００において、個々の分類は１つの画像または１つを超える画像に基づき得る。例えば、一連の画像（または一連の画像フレーム）を分類する状況を考えると、本方法は、１度に１つの画像を分類し、画像（または画像フレーム）ごとに別個の分類を生成し得るが、いくつかのこのような画像（または画像フレーム）からの分類のための信頼レベルの「移動平均」の著しい／相当の相違が存在するときには、分類プリセット（すなわち、ＡＥＳに提示される音響プリセット）は変化または更新する。また、分類中の画像は、画像センサからの複数の画像を用いて、例えば、複数の視野をつなぎ合わせ、切り取りの程度がより小さい、環境の視野を生成することによって、拡張されてもよい。
【0118】
要約すれば、一実施形態では、方法であって、実世界環境の画像を受信することと、機械学習分類器を用いて、画像を分類して、音響環境シミュレーションのための音響プリセットに関連付けられた分類を生成することであって、音響プリセットが、音残響を表現する音響パラメータを各々含む、分類することと、分類に基づいて音響プリセットの中の音響プリセットを選択することと、を含む方法が提供される。
【0119】
別の実施形態では、装置であって、装置が、プロセッサを備え、プロセッサが、実世界環境の画像を受信することと、１つまたは複数のニューラルネットワークを含む訓練された機械学習分類器を用いて、画像を、音響環境シミュレーションのための音響プリセットに関連付けられた分類に直接分類することであって、音響プリセットが、音残響を表現する音響パラメータを各々含む、分類することと、分類に基づいて音響プリセットの中の音響プリセットを選択することと、音響プリセットの音響パラメータに基づいて音響環境シミュレーションを遂行することと、を行うように構成されている、装置が提供される。
【0120】
さらなる実施形態では、非一時的コンピュータ可読媒体が提供される。コンピュータ可読媒体は命令を符号化されており、命令は、プロセッサによって実行されたときに、プロセッサに、実世界環境の画像を受信することと、音残響を表現する音響パラメータを各々含む音響プリセットのうちのそれぞれのものでラベル付けされた実世界環境の訓練画像を使って以前に訓練された機械学習分類器を用いて、画像を、音響環境シミュレーションのための音響プリセットに関連付けられた分類に直接分類することと、分類に基づいて音響プリセットの中の音響プリセットを選択することと、音響プリセットの音響パラメータに基づいて音響環境シミュレーションを遂行することと、を含む、本明細書において提示された方法を遂行させる。
【0121】
別の実施形態では、システムであって、実世界シーンの画像を取り込むための画像センサと、画像センサに結合されたプロセッサであって、以前に訓練された機械学習分類器を実施し、それを用いて、画像を、音響環境シミュレーションのための音響プリセットに関連付けられた分類に直接分類することであって、音響プリセットが、音残響を表現する音響パラメータを各々含む、分類すること、分類に基づいて音響プリセットの中の音響プリセットを選択すること、および音響プリセットの音響パラメータに基づいて音響環境シミュレーションを遂行し、音響環境シミュレーションを表現する音信号を生成すること、を行うように構成された、プロセッサと、プロセッサに結合されており、音信号を音に変換するように構成された１つまたは複数のヘッドフォンと、を備える、システムが提供される。
【0122】
技法は、本明細書において、１つまたは複数の特定の例において具体化されるように例示され、説明されたが、それにもかかわらず、様々な修正および構造的変更が請求項の同等物の範囲および領域内で行われ得るため、それは、示された詳細に限定されることを意図されない。
【0123】
以下において提示される各請求項は別個の実施形態を表し、異なる請求項および／または異なる実施形態を組み合わせる実施形態は本開示の範囲に含まれ、本開示を吟味後の当業者に明らかであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【国際調査報告】