特許 7478640 移動音生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-24

(45)【発行日】2024-05-07

(54)【発明の名称】移動音生成システム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240425BHJP

   G10K 15/02 20060101ALI20240425BHJP

【ＦＩ】

H04S7/00 300

G10K15/02

【請求項の数】 8

(21)【出願番号】P 2020168890

(22)【出願日】2020-10-06

(65)【公開番号】P2022061113

(43)【公開日】2022-04-18

【審査請求日】2020-10-06

【審判番号】

【審判請求日】2022-05-12

(73)【特許権者】

【識別番号】320005501

【氏名又は名称】株式会社電通

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】堀田 峰布子

【合議体】

【審判長】五十嵐 努

【審判官】木方 庸輔

【審判官】高橋 宣博

(56)【参考文献】

【文献】特開２００５－２１８７０６（ＪＰ，Ａ）

【文献】特表２００２－５３６６８０（ＪＰ，Ａ）

【文献】特開２０１０－２２６４６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１８６１７８（ＷＯ，Ａ１）

【文献】特開２００８－２００２５５（ＪＰ，Ａ）

【文献】特開２０１８－８８１０２（ＪＰ，Ａ）

【文献】特開２０１０－２２６４６（ＪＰ，Ａ）

【文献】特開２００７－２１２６３５（ＪＰ，Ａ）

【文献】特開２００８－１８８３０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A63F 13/00 - 13/98,

H04S 1/00 - 7/00,

(57)【特許請求の範囲】

【請求項1】

仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する移動音生成システムであって、
前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する音量決定部と、
前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する音質決定部と、
前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する発音タイミング決定部と、
前記仮想空間において、前記音量決定部で決定された音量、前記音質決定部で決定された音質、前記発音タイミング決定部で決定された発音タイミングで、前記移動体の移動音を再生する移動音再生部と、
を備え、
前記音質決定部は、前記移動体の移動情報に基づいて、前記移動体の移動後において前記移動体の接地部分が接触する前記移動面の接触部分を、前記移動体の移動によって前記移動体の接地部分が前記移動面の接触部分に接触する前に予測し、予測した前記移動面の接触部分の素材情報を、前記移動体の移動によって前記移動体の接地部分が前記移動面の接触部分に接触する前に読み込むことを特徴とする移動音生成システム。

【請求項2】

前記移動音再生部は、前記移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーを設置する、請求項１に記載の移動音生成システム。

【請求項3】

前記音量決定部は、前記仮想空間における前記移動体の質量が設定されていない場合には、前記移動体の体積に基づいて前記移動体の質量を推定する、請求項１または請求項２に記載の移動音生成システム。

【請求項4】

前記発音タイミング決定部は、前記移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、前記移動体の接地部分が前記移動面と接触するタイミングを判定する、請求項１～請求項３のいずれか一項に記載の移動音生成システム。

【請求項5】

前記音量決定部は、前記仮想空間における重力加速度に基づいて、前記移動音の音量を決定する、請求項１に記載の移動音生成システム。

【請求項6】

前記音質決定部は、前記移動体の接地部分の素材と前記移動面の素材の組み合わせが同一である場合には前記移動音の音質が同一となるように、前記移動音の音質を決定する、請求項１に記載の移動音生成システム。

【請求項7】

移動音生成システムで実行される、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する方法であって、
前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定するステップと、
前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定するステップと、
前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定するステップと、
前記仮想空間において、前記ステップで決定された音量、音質、発音タイミングで、前記移動体の移動音を再生するステップと、
を含み、
前記音質を決定するステップでは、前記移動体の移動情報に基づいて、前記移動体の移動後において前記移動体の接地部分が接触する前記移動面の接触部分を、前記移動体の移動によって前記移動体の接地部分が前記移動面の接触部分に接触する前に予測し、予測した前記移動面の接触部分の素材情報を、前記移動体の移動によって前記移動体の接地部分が前記移動面の接触部分に接触する前に読み込むことを特徴とする方法。

【請求項8】

仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成するプログラムであって、
コンピュータに、
前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する処理と、
前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する処理と、
前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する処理と、
前記仮想空間において、前記処理で決定された音量、音質、発音タイミングで、前記移動体の移動音を再生する処理と、
を実行させ、
前記音質を決定する処理では、前記移動体の移動情報に基づいて、前記移動体の移動後において前記移動体の接地部分が接触する前記移動面の接触部分を、前記移動体の移動によって前記移動体の接地部分が前記移動面の接触部分に接触する前に予測し、予測した前記移動面の接触部分の素材情報を、前記移動体の移動によって前記移動体の接地部分が前記移動面の接触部分に接触する前に読み込むことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間において移動体が移動するときの移動音を生成する移動音生成システムに関する。

【背景技術】

【0002】

従来、仮想空間において移動体が移動するときの移動音を生成するシステムが提案されている。例えば、仮想空間で移動オブジェクト（ノンプレイヤキャラクタ、非商物、乗物等）の移動を表すために、音源を一定方向に所定の移動速度で移動させる手法が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２０１７９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の手法では、ユーザが操作する移動体（キャラクタ）周辺の移動オブジェクトの移動音が再生され、ある程度のリアリティは得られるものの、ユーザが操作する移動体（キャラクタ）自身や他の移動体が発生する移動音は生成されていないため、仮想空間におけるユーザの体感が低いという問題があった。例えば、現実空間において、人は、移動している時、その自身の移動音の音量や音質、リズムが聞こえることで、どのような地面環境であるか、どれくらいの速さで移動しているかといった状況判別を類推し認知している。また、他者や車の接近や通過も移動音から視覚に頼らず音源の音像を定位し類推している。

【0005】

本発明は、上記の課題に鑑みてなされたもので、現実空間における類推及び認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することができ、仮想空間におけるユーザの体感を向上することのできる移動音生成システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の移動音生成システムは、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する移動音生成システムであって、前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する音量決定部と、前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する音質決定部と、前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する発音タイミング決定部と、前記仮想空間において、前記移動音決定部で決定された音量、前記音質決定部で決定された音質、前記発音タイミング決定部で決定された発音タイミングで、前記移動体の移動音を再生する移動音再生部と、を備えている。

【0007】

この構成によれば、仮想空間（例えば、ＶＲ空間など）において所定の移動面（例えば、地面や床面など）の上を移動体（例えば、アバターなど）が移動するときの移動音が自動的に生成される。この場合、移動体の質量に基づいて移動音の音量が決定され、移動体の接地部分と移動面の素材情報に基づいて移動音の音質が決定され、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される。このようにして、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。

【0008】

すなわち、この構成によれば、現実空間における類推及び認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することができる。この場合、移動体自身が発生する移動音を生成し、リアリティを向上させることができる。また、全ての移動体の移動音を発生させることで、他の移動体の音源の音像を定位し類推することができる。

【0009】

また、本発明の移動音生成システムでは、前記音質決定部は、前記移動体の移動情報に基づいて、前記移動体の接地部分が接触する前記移動面の接触部分を予測し、予測した前記移動面の接触部分の素材情報のみを事前に読み込んでもよい。

【0010】

この構成によれば、移動音の音質を決定するときに、移動体の接地部分が接触する移動面の接触部分が予測され、その移動面の接触部分の素材情報のみが事前に読み込まれる。したがって、移動面全体の素材情報を読み込む場合に比べて、移動音を生成するための処理の負荷を軽減することができる。

【0011】

また、本発明の移動音生成システムでは、前記移動音再生部は、前記移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーを設置してもよい。

【0012】

この構成によれば、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音を再生する仮想スピーカーが設置される。このようにして設定された仮想スピーカーから移動体の移動音を再生することで、リアリティのある移動音を生成することができる。

【0013】

また、本発明の移動音生成システムでは、前記音量決定部は、前記仮想空間における前記移動体の質量が設定されていない場合には、前記移動体の体積に基づいて前記移動体の質量を推定してもよい。

【0014】

この構成によれば、仮想空間における移動体の質量が設定されていない場合であっても、移動体の体積に基づいて移動体の質量を推定し、移動音の音量を適切に決定することができる。

【0015】

また、本発明の移動音生成システムでは、前記発音タイミング決定部は、前記移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、前記移動体の接地部分が前記移動面と接触するタイミングを判定してもよい。

【0016】

この構成によれば、移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを適切に判定することができ、したがって、移動音の発音タイミングを適切に決定することができる。

【0017】

本発明の方法は、移動音生成システムで実行される、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する方法であって、前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定するステップと、前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定するステップと、前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定するステップと、前記仮想空間において、前記ステップで決定された音量、音質、発音タイミングで、前記移動体の移動音を再生するステップと、を含んでいる。

【0018】

この方法によっても、上記のシステムと同様に、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。

【0019】

本発明のプログラムは、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成するプログラムであって、コンピュータに、前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する処理と、前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する処理と、前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する処理と、前記仮想空間において、前記処理で決定された音量、音質、発音タイミングで、前記移動体の移動音を再生する処理と、を実行させる。

【0020】

このプログラムによっても、上記のシステムと同様に、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。

【発明の効果】

【0021】

本発明によれば、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感を向上することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施の形態における移動音生成システムの構成を示すブロック図である。

【図2】移動音の音質決定の例を示す説明図である。

【図3】移動面の接触部分の予測の例を示す説明図である。

【図4】仮想スピーカーの設置の例を示す説明図である。

【図5】仮想スピーカーの設置の他の例を示す説明図である。

【図6】本発明の実施の形態における移動音生成システムの動作を説明するためのシーケンス図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施の形態の移動音生成システムについて、図面を用いて説明する。本実施の形態では、仮想現実空間において所定の移動面（地面や床面など）の上を移動体（アバターなど）が移動するときの移動音を生成するシステムの場合を例示する。

【0024】

本実施の形態の移動音生成システムの構成を、図面を参照して説明する。図１は、本実施の形態の移動音生成システムの構成を示すブロック図である。図１に示すように、移動音生成システム１は、互いにネットワークＮで接続されたユーザ装置２とサーバ装置３で構成されている。

【0025】

ユーザ装置２は、ユーザによって操作される装置であり、例えばヘッドマウントディスプレイ４（ＨＭＤ）とコントローラ５を備えている。なお、ユーザ装置２は、ヘッドマウントディスプレイ４を備えるものに限定されない。ユーザ装置２は、例えば、パーソナルコンピュータやスマートフォン、タブレット端末などを備えてもよい。

【0026】

ヘッドマウントディスプレイ４は、ユーザの頭部に装着され、ユーザの両眼の視野を覆うタイプのディスプレイ装置である。ヘッドマウントディスプレイ４を装着したユーザは、ヘッドマウントディスプレイ４に表示された映像を見ることができる。ヘッドマウントディスプレイ４の表示態様に特に制限はなく、奥行きを持った仮想空間（仮想現実空間）の任意の位置にオブジェクトが表示される態様でもよいし、仮想平面の任意の位置にオブジェクトが表示される態様でもよい。

【0027】

コントローラ５は、ユーザからの操作入力を受け付ける入力インターフェースである。ここでは図示を省略するが、例えば、コントローラ５は、少なくとも１つの操作ボタンを有し、コントローラ５の向きや動き（加速、回転等）を検出する種々のセンサを内蔵している。コントローラ５からの操作入力により、ユーザは、仮想現実空間内でアバターを移動させることができる。また、コントローラによる操作以外でもユーザ自身が実環境で移動することに同期してアバターを移動させてもよい。

【0028】

サーバ装置３は、制御部６と記憶部７を備えている。例えば、制御部６は、プロセッサなどで構成され、記憶部７は、大容量メモリなどで構成される。

【0029】

制御部６は、音量決定部８と、音質決定部９と、発音タイミング決定部１０と、移動音再生部１１とを備えている。記憶部７には、ユーザ情報（例えば、ユーザアカウント情報など）、アバター情報（例えば、アバターの種類、サイズ、質量、接地部分の素材など）、移動情報（例えば、アバターの位置（座標）、移動方向、移動速度、移動姿勢（二足歩行、二足走行、四足歩行、四足走行、車輪走行など）など）、ワールド情報（例えば、重力加速度、移動面の素材など）が記憶される。

【0030】

アバターの種類には、例えば、人間型、動物型、昆虫型、植物型、食品型、空想上の生物型（ドラゴン、ペガサス、雪男など）、ロボット型、車輪を有する物体型（車のキャラクターなど）等が含まれる。

【0031】

アバターの接地部分の素材としては、例えば、裸足、布（靴下の布、足袋の布、スリッパの布）、ラバー（靴のラバー、ランニングシューズのラバー、ゴム長靴のラバー、タイヤのラバーなど）、木や草などの植物（下駄の木、草鞋の藁など）、革（革靴の革、スリッパの革など）、金属（車輪の金属など）等が含まれる。

【0032】

移動面の素材としては、例えば、屋外の場合には、アスファルト、コンクリート、タイル、石畳、水たまり、土、砂、砂利、岩、湿地、草原、木、草、苔、霜、雪、雹、落ち葉等が含まれ、例えば、屋内の場合には、フローリング、カーペット、タイルカーペット、畳、コルク、ジュータン、ラグ、マット等が含まれる。

【0033】

音量決定部８は、仮想空間における移動体（アバター）の質量に基づいて、移動音の音量を決定する。例えば、質量が大きいほど音量が大きくなるように、移動音の音量を決定することができる。また、音量決定部８は、仮想空間における移動体（アバター）の重量（＝質量×重力加速度）に基づいて、移動音の音量を決定してもよい。例えば、重量が大きいほど音量が大きくなるように、移動音の音量を決定することができる。さらに、音量決定部８は、移動体の接地部分（アバターの足）の振り上げ位置（ｚ座標）に基づいて、移動音の音量を決定してもよい。例えば、振り上げ位置が高いほど音量が大きくなるように、移動音の音量を決定することができる。

【0034】

また、音量決定部８は、仮想空間における移動体の質量が設定されていない場合には、移動体の体積に基づいて移動体の質量を推定してもよい。例えば、移動体の体積が大きいほど移動体の質量が大きいと推定することにより、体積が大きいほど音量が大きくなるように、移動音の音量を決定することができる。

【0035】

音質決定部９は、仮想空間の移動面と接触する移動体の接地部分（アバターの足）の素材情報と、移動体の接地部分が接触する移動面（地面や床面）の素材情報とに基づいて、移動音の音質を決定する。

【0036】

図２は、移動音の音質決定の例を示す説明図である。図２に示すように、例えば、移動体の接地部分（アバターの足）の素材が「裸足」であり、移動面（地面）の素材が「アスファルト」である場合には、移動音の音質を「音質ａ」と決定する。移動音の音質（音質ａ、ｂ・・・）のデータは、予めライブラリとして用意されていてもよい。あるいは、移動体の接地部分（アバターの足）の素材情報と、移動体の接地部分が接触する移動面（地面や床面）の素材情報とに基づいて、その都度、移動音の音質を計算してもよい。

【0037】

また、音質決定部９は、移動体の移動情報に基づいて、移動体の接地部分が接触する移動面の接触部分を予測し、予測した移動面の接触部分の素材情報のみを事前に読み込んでもよい。

【0038】

図３は、移動音の音質決定の例を示す説明図である。図３では、移動体（アバターＡ）の左足が接触している移動面の接触部分がＲ１として図示され、右足が接触している移動面の接触部分がＲ２として図示されている。この場合、移動体（アバターＡ）の移動情報（アバターの位置、移動方向、移動速度、移動姿勢など）に基づいて、移動体の接地部分が接触する移動面の接触部分Ｒ３、Ｒ４、Ｒ５を予測することができる。そして、予測した接触部分Ｒ３、Ｒ４、Ｒ５の素材情報のみが事前に読み込まれる。

【0039】

発音タイミング決定部１０は、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定する。例えば、発音タイミング決定部１０は、移動体の接地部分が移動面と接触しているか否かを判定し、その判定結果に基づいて、移動音の発音タイミングを決定してもよい。

【0040】

また、発音タイミング決定部１０は、移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを判定してもよい。この場合、移動体の接地部分の位置エネルギーは、下記の式に基づいて算出することができる。
位置エネルギー＝アバターの質量×重力加速度×移動体の接地部分の高さ
ここで、移動体の接地部分の高さは、移動体の接地部分（例えば、左右それぞれの足）の最下点または重心のｚ座標である。

【0041】

なお、アバターの質量と重力加速度が一定である場合には、発音タイミング決定部１０は、移動体の接地部分の高さが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを判定してもよい。

【0042】

移動音再生部１１は、仮想空間において、移動音決定部で決定された音量、音質決定部９で決定された音質、発音タイミング決定部１０で決定された発音タイミングで、移動体の移動音を再生する。例えば、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音を再生する仮想スピーカーを設置することにより、移動体の移動音を再生することができる。

【0043】

図４は、仮想スピーカーの設置の例を示す説明図である。図４の例では、移動体（アバターＡ）の左足が接触している移動面の接触部分Ｒ１と、右足が接触している移動面の接触部分Ｒ２に、それぞれ仮想スピーカーＳが設置されている。

【0044】

図５は、仮想スピーカーの設置の他の例を示す説明図である。図５の例では、二足歩行しているアバターＡの両足が接触している移動面の接触部分、二足走行しているアバターＢの片足が接触している移動面の接触部分、四足歩行しているアバターＣの足が接触している移動面の接触部分に、それぞれ仮想スピーカーＳが設置されている。

【0045】

以上のように構成された移動音生成システム１について、図６のシーケンス図を参照してその動作を説明する。

【0046】

本実施の形態の移動音生成システム１を用いる場合、まず、ユーザ装置２でログイン情報を入力すると（Ｓ１）、入力したログイン情報がユーザ装置２からサーバ装置３へ送信され（Ｓ２）、サーバ装置３でユーザ認証の処理が行われる（Ｓ３）。ユーザ認証が成功すると、サーバ装置３からユーザ装置２にログイン許可が送られる（Ｓ４）。

【0047】

次に、ログイン許可されたユーザがユーザ装置２を操作して、仮想現実空間でアバターを生成し（Ｓ５）、仮想空間内でアバターを移動させると（Ｓ６）、アバターの移動情報がユーザ装置２からサーバ装置３へ送られる（Ｓ７）。

【0048】

サーバ装置３では、仮想空間における移動体の質量に基づいて、移動音の音量が決定され（Ｓ８）、仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質が決定される（Ｓ９）。さらに、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される（Ｓ１０）。

【0049】

続いて、サーバ装置３からユーザ装置２に、仮想スピーカーの設置要求が送られ（Ｓ１１）、移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーが設置する（Ｓ１２）。

【0050】

そして、ステップＳ１０で決定された発音タイミングの時点になると（Ｓ１３）、サーバ装置３からユーザ装置２に、移動音の再生要求が送られる（Ｓ１４）。そうすると、ステップ８、９で決定された音量、音質の移動音が、ステップ１２で設置された仮想スピーカーで再生される（Ｓ１５）。

【0051】

このような本実施の形態の移動音生成システム１によれば、仮想空間（例えば、ＶＲ空間など）において所定の移動面（例えば、地面や床面など）の上を移動体（例えば、アバターなど）が移動するときの移動音が自動的に生成される。この場合、移動体の質量に基づいて移動音の音量が決定され、移動体の接地部分と移動面の素材情報に基づいて移動音の音質が決定され、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される。このようにして、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する（図５参照）。

【0052】

すなわち、本実施の形態の移動音生成システム１によれば、現実空間における類推及び認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することができる。この場合、移動体自身が発生する移動音を生成し、リアリティを向上させることができる。また、全ての移動体の移動音を発生させることで、他の移動体の音源の音像を定位し類推することができる。

【0053】

また、本実施の形態では、移動音の音質を決定するときに、移動体の接地部分が接触する移動面の接触部分が予測され、その移動面の接触部分の素材情報のみが事前に読み込まれる。したがって、移動面全体の素材情報を読み込む場合に比べて、移動音を生成するための処理の負荷を軽減することができる。

【0054】

また、本実施の形態では、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音を再生する仮想スピーカーが設置される。このようにして設定された仮想スピーカーから移動体の移動音を再生することで、リアリティのある移動音を生成することができる。

【0055】

また、本実施の形態では、仮想空間における移動体の質量が設定されていない場合であっても、移動体の体積に基づいて移動体の質量を推定し、移動音の音量を適切に決定することができる。

【0056】

また、本実施の形態では、移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを適切に判定することができ、したがって、移動音の発音タイミングを適切に決定することができる。

【0057】

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

【産業上の利用可能性】

【0058】

以上のように、本発明にかかる移動音生成システムは、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感を向上することができるという効果を有し、仮想現実空間システム等として有用である。

【符号の説明】

【0059】

１ 移動音生成システム
２ ユーザ装置
３ サーバ装置
４ ヘッドマウントディスプレイ
５ コントローラ
６ 制御部
７ 記憶部
８ 音量決定部
９ 音質決定部
１０ 発音タイミング決定部
１１ 移動音再生部
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】