特開 2024-75991 効果音発生装置及び効果音提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075991

(43)【公開日】2024-06-05

(54)【発明の名称】効果音発生装置及び効果音提供方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240529BHJP

   G06F 3/01 20060101ALI20240529BHJP

   G06F 3/16 20060101ALI20240529BHJP

【ＦＩ】

G06T19/00 300B

G06F3/01 510

G06F3/16 540

G06F3/16 620

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022187309

(22)【出願日】2022-11-24

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】宗形 亮太

(72)【発明者】

【氏名】田所 一美

(72)【発明者】

【氏名】堀切 一輝

(72)【発明者】

【氏名】岡 尚志

(72)【発明者】

【氏名】伊藤 優雅

(72)【発明者】

【氏名】藤井 優美

(72)【発明者】

【氏名】熊岡 泰佑

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050CA08

5B050EA09

5B050EA27

5B050FA02

5B050FA10

5E555AA27

5E555BA02

5E555BB02

5E555BD01

5E555BE17

5E555DA21

5E555DB32

5E555FA00

(57)【要約】

【課題】リアルな足音を効果音として発生させることができる効果音発生装置を提供する。
【解決手段】効果音選択部１５７は、少なくとも着地面情報と足の動かし方情報とアバターの運動量とに基づいて、効果音データベース１５６から、各アバターが足を着地面に着地させる際に発生する足音に相当する効果音を選択して読み出す。エフェクト処理部１５８は、少なくとも周辺オブジェクト情報と各アバターの位置情報とに基づいて、各アバターの周辺に位置する他のアバターが聞く、効果音選択部１５７が選択した効果音が他のアバターに直接届く直接音と周辺オブジェクトで反射して他のアバターに届く反射音とを含む複合音を生成するよう、効果音選択部１５７が選択した効果音にエフェクトを施す。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のアバターが存在する仮想空間内の足の着地面に関する着地面情報を取得する着地面取得部と、
各アバターが足を前記着地面に着地させる際に前記足をどのように動かすかを示す足の動かし方情報を取得する足の動かし方取得部と、
前記各アバターのアバター画像情報と前記足の動かし方情報とに基づいて、各アバターが足を前記着地面に着地させる際の運動量を解析する運動量解析部と、
前記各アバターの周辺に位置する周辺オブジェクトを示す周辺オブジェクト情報を取得する周辺オブジェクト取得部と、
前記各アバターの位置情報を取得するアバター位置情報取得部と、
アバターが足を前記着地面に着地させる際の複数の効果音を保存する効果音データベースと、
少なくとも前記着地面情報と前記足の動かし方情報と前記運動量とに基づいて、前記効果音データベースから、前記各アバターが足を前記着地面に着地させる際に発生する足音に相当する効果音を選択して読み出す効果音選択部と、
少なくとも前記周辺オブジェクト情報と前記各アバターの位置情報とに基づいて、前記各アバターの周辺に位置する他のアバターが聞く、前記効果音選択部が選択した効果音が前記他のアバターに直接届く直接音と前記周辺オブジェクトで反射して前記他のアバターに届く反射音とを含む複合音を生成するよう、前記効果音選択部が選択した効果音にエフェクトを施すエフェクト処理部と、
を備える効果音発生装置。

【請求項2】

前記エフェクト処理部は、前記他のアバターが右耳で聞く右耳用複合音と前記他のアバターが左耳で聞く左耳用複合音とを生成する
請求項１に記載の効果音発生装置。

【請求項3】

仮想空間内に存在する複数のアバターにおける各アバターのアバター画像情報と、前記各アバターが足を前記仮想空間内の足の着地面に着地させる際に前記足をどのように動かすかを示す足の動かし方情報とに基づいて、前記各アバターが足を前記着地面に着地させる際の運動量を解析し、
少なくとも前記着地面に関する着地面情報と前記足の動かし方情報と前記運動量とに基づいて、アバターが足を前記着地面に着地させる際の複数の効果音を保存する効果音データベースから、前記各アバターが足を前記着地面に着地させる際に発生する足音に相当する効果音を選択して読み出し、
少なくとも前記各アバターの周辺に位置する周辺オブジェクトを示す周辺オブジェクト情報と前記各アバターの位置情報とに基づいて、前記各アバターの周辺に位置する他のアバターが聞く、読み出された効果音が前記他のアバターに直接届く直接音と前記周辺オブジェクトで反射して前記他のアバターに届く反射音とを含む複合音を生成するよう、読み出された前記効果音にエフェクトを施し、
読み出された前記効果音を、足を着地させたアバターに対応するユーザに送信し、エフェクト処理を施した前記効果音を、前記各アバターの周辺に位置する他のアバターに対応するユーザに送信する
効果音提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、効果音発生装置及び効果音提供方法に関する。

【背景技術】

【0002】

仮想空間内で各ユーザに対応するアバターを動作させる仮想空間画像提供装置が普及している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－２１８７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、キャラクタが動くときに足音を発生させることが記載されている。特許文献１に記載されている足音よりもさらにリアルな足音を効果音として発生させることが望まれる。

【課題を解決するための手段】

【0005】

本発明は、複数のアバターが存在する仮想空間内の足の着地面に関する着地面情報を取得する着地面取得部と、各アバターが足を前記着地面に着地させる際に前記足をどのように動かすかを示す足の動かし方情報を取得する足の動かし方取得部と、前記各アバターのアバター画像情報と前記足の動かし方情報とに基づいて、各アバターが足を前記着地面に着地させる際の運動量を解析する運動量解析部と、前記各アバターの周辺に位置する周辺オブジェクトを示す周辺オブジェクト情報を取得する周辺オブジェクト取得部と、前記各アバターの位置情報を取得するアバター位置情報取得部と、アバターが足を前記着地面に着地させる際の複数の効果音を保存する効果音データベースと、少なくとも前記着地面情報と前記足の動かし方情報と前記運動量とに基づいて、前記効果音データベースから、前記各アバターが足を前記着地面に着地させる際に発生する足音に相当する効果音を選択して読み出す効果音選択部と、少なくとも前記周辺オブジェクト情報と前記各アバターの位置情報とに基づいて、前記各アバターの周辺に位置する他のアバターが聞く、前記効果音選択部が選択した効果音が前記他のアバターに直接届く直接音と前記周辺オブジェクトで反射して前記他のアバターに届く反射音とを含む複合音を生成するよう、前記効果音選択部が選択した効果音にエフェクトを施すエフェクト処理部とを備える効果音発生装置を提供する。

【0006】

本発明は、仮想空間内に存在する複数のアバターにおける各アバターのアバター画像情報と、前記各アバターが足を前記仮想空間内の足の着地面に着地させる際に前記足をどのように動かすかを示す足の動かし方情報とに基づいて、前記各アバターが足を前記着地面に着地させる際の運動量を解析し、少なくとも前記着地面に関する着地面情報と前記足の動かし方情報と前記運動量とに基づいて、アバターが足を前記着地面に着地させる際の複数の効果音を保存する効果音データベースから、前記各アバターが足を前記着地面に着地させる際に発生する足音に相当する効果音を選択して読み出し、少なくとも前記各アバターの周辺に位置する周辺オブジェクトを示す周辺オブジェクト情報と前記各アバターの位置情報とに基づいて、前記各アバターの周辺に位置する他のアバターが聞く、読み出された効果音が前記他のアバターに直接届く直接音と前記周辺オブジェクトで反射して前記他のアバターに届く反射音とを含む複合音を生成するよう、読み出された前記効果音にエフェクトを施し、読み出された前記効果音を、足を着地させたアバターに対応するユーザに送信し、エフェクト処理を施した前記効果音を、前記各アバターの周辺に位置する他のアバターに対応するユーザに送信する効果音提供方法を提供する。

【発明の効果】

【0007】

本発明の効果音発生装置及び効果音提供方法によれば、リアルな足音を効果音として発生させたり、提供したりすることができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る効果音発生装置を備える仮想空間情報提供サーバを示すブロック図である。

【図2】一実施形態に係る効果音発生装置を示すブロック図である。

【図3】仮想空間の一例を示す図である。

【図4】一実施形態に係る効果音提供方法を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、一実施形態に係る効果音発生装置及び効果音提供方法について、添付図面を参照して説明する。図１において、ネットワーク２０には、仮想空間情報提供サーバ１０及びユーザ端末３０ａ～３０ｃが接続されている。ユーザ端末３０ａ～３０ｃ及び図示されていない他のユーザ端末を含む任意のユーザ端末をユーザ端末３０と称することとする。仮想空間情報提供サーバ１０は、ユーザ端末３０に仮想空間を構成する画像と仮想空間内で発生する音とを仮想空間情報として提供する。典型的には、ネットワーク２０はインターネットである。ネットワーク２０を介して仮想空間情報提供サーバ１０に接続されているユーザ端末３０の数は限定されない。

【0010】

仮想空間情報提供サーバ１０は、仮想空間特定情報保持部１１、アバター画像保持部１２、仮想空間画像生成部１３、アバター動き制御部１４、効果音発生部１５、通信部１６を備える。効果音発生部１５は、一実施形態に係る効果音発生装置を構成する。効果音発生部１５及び通信部１６は、一実施形態に係る効果音提供方法を実行する。

【0011】

仮想空間特定情報保持部１１は、３次元領域設定情報、着地面設定情報、周辺オブジェクト設定情報を保持している。仮想空間画像生成部１３は、３次元領域設定情報に基づいて、アバターが移動可能な３次元領域の仮想空間画像を生成する。仮想空間画像生成部１３は、着地面設定情報に基づいて、アバターの足が着地する地面または床面等の着地面を設定する。着地面は、屋外であれば、土、砂利、砂、泥、アスファルト、コンクリート等であり、屋内であれば、板、カーペット等である。仮想空間画像生成部１３は、周辺オブジェクト設定情報に基づいて、仮想空間画像内に、建物、壁、塀、岩等の周辺オブジェクトを設定する。

【0012】

アバター画像保持部１２は、各ユーザ端末３０のユーザに対応するアバター画像を保持する。各ユーザのアバター画像は、ユーザ端末３０で作成されて仮想空間情報提供サーバ１０に送信され、アバター画像保持部１２に保持されてもよい。仮想空間画像生成部１３は、アバター画像保持部１２に保持されているアバター画像に基づいて、仮想空間画像内に各ユーザに対応する複数のアバターを配置する。

【0013】

ユーザ端末３０ａ～３０ｃには、それぞれ、カメラ４０ａ～４０ｃが接続されている。カメラ４０ａ～４０ｃ及び図示されていない他のユーザ端末に接続されている任意のカメラをカメラ４０と称することとする。カメラ４０は、各ユーザ端末３０のユーザを撮影して各ユーザ端末３０はユーザの動きを取得する。各ユーザ端末３０は、ユーザの動きを、ネットワーク２０及び通信部１６を介してアバター動き制御部１４に送信する。アバター動き制御部１４は、仮想空間画像内のアバターを各ユーザの動きに応じて動かすよう、各アバターの動きを制御する。よって、各アバターの動きは、各ユーザの動きに応じてリアルタイムで動く。

【0014】

効果音発生部１５は、アバターの足音を効果音として発生して、通信部１６に供給する。通信部１６は、仮想空間画像と効果音とをネットワーク２０を介して各ユーザ端末３０に送信する。各ユーザ端末３０に送信する仮想空間画像は、各ユーザ端末３０のユーザに対応するアバターが見ている視野の範囲の画像である。視野の範囲に自分に対応するアバターのみが存在すれば、自分に対応するアバターの足音が効果音としてユーザ端末３０に送信される。視野の範囲に自分に対応するアバター以外の他のアバターが存在すれば、自分に対応するアバターの足音だけでなく、他のアバターの足音が効果音としてユーザ端末３０に送信されることがある。

【0015】

図２は、効果音発生部１５の具体的な構成例を示している。効果音発生部１５は、着地面取得部１５１、足の動かし方取得部１５２、運動量解析部１５３、周辺オブジェクト取得部１５４、アバター位置情報取得部１５５、効果音データベース１５６、効果音選択部１５７、エフェクト処理部１５８を備える。

【0016】

着地面取得部１５１は、仮想空間画像生成部１３より仮想空間の着地面に関する着地面情報着地面情報を取得する。足の動かし方取得部１５２は、仮想空間画像生成部１３より足の動かし方情報を取得する。足の動かし方情報とは、各アバターが歩いているのか、走っているのか、足を上方に振り上げて下ろしているのか、すり足で移動しているのか等の各アバターが足をどのように動かしているかを示す情報である。足の動かし方情報は、歩行速度または走行速度を含む。

【0017】

運動量解析部１５３は、足の動かし方情報と仮想空間画像生成部１３より供給されるアバター画像情報とに基づいて、各アバターの運動量を解析する。運動量とは、物体の運動の状態を表す物理量で、質量と速度との積で表される。アバターは仮想的な画像であるため、実際には質量は存在しない。しかしながら、体が大きく体重が重そうなアバターが足を着地面に着地したときに発生する足音と、体が小さく体重が軽そうなアバターが足を着地面に着地したときに発生する足音とが異なっていれば、リアルな足音と認識される。そこで、運動量解析部１５３は、アバター画像情報の見た目で体重（質量）を想定して、各アバターの運動量を解析する。

【0018】

周辺オブジェクト取得部１５４は、仮想空間画像生成部１３より各アバターの周辺に位置する周辺オブジェクトを示す周辺オブジェクト情報を取得する。アバター位置情報取得部１５５は、仮想空間画像生成部１３より各アバターの位置情報を取得する。効果音データベース１５６には、アバターが足を着地面に着地させる際の複数の効果音を保存している。効果音選択部１５７は、少なくとも着地面情報と足の動かし方情報と運動量とに基づいて、効果音データベース１５６から、各アバターが足を着地面に着地させる際に発生する足音に相当する効果音を選択して読み出す。

【0019】

エフェクト処理部１５８は、少なくとも周辺オブジェクト情報と各アバターの位置情報とに基づいて、効果音選択部１５７が選択した効果音にエフェクトを施す。エフェクト処理部１５８は、各アバターの周辺に位置する他のアバターが聞く、選択された効果音が他のアバターに直接届く直接音と前辺オブジェクトで反射して他のアバターに届く反射音とを含む複合音を生成するよう、効果音にエフェクトを施す。

【0020】

エフェクト処理部１５８は、効果音データベース１５６より読み出したエフェクトを施す前の効果音と、エフェクトを施した効果音とを通信部１６に供給する。通信部１６は、足を着地させたアバターに対応するユーザのユーザ端末３０には、足を着地させたアバターが見ている視野の仮想空間画像とエフェクトを施す前の効果音とを送信する。通信部１６は、他のアバターに対応するユーザのユーザ端末３０には、他のアバターが見ている視野の仮想空間画像とエフェクトを施した効果音とを送信する。

【0021】

図３は、二人のアバターが存在する仮想空間の一例を示している。アバターＡｖ１は走っており、アバターＡｖ２は止まっている。周辺オブジェクトとして塀４２がある。効果音発生部１５は、アバターＡｖ１が右足を着地面４１に着地させる際の足音に相当する効果音を出力する。右足が着地面４１に着地した際に発生する足音は、例えば直接音Ｓｄ１としてアバターＡｖ２の左耳に届き、直接音Ｓｄ２としてアバターＡｖ２の右耳に届く。また、塀４２に向かう直接音Ｓｄ３は塀４２で反射して反射音Ｓｄｒ３としてアバターＡｖ２の左耳に届き、塀４２に向かう直接音Ｓｄ４は塀４２で反射して反射音Ｓｄｒ４としてアバターＡｖ２の右耳に届く。

【0022】

図３においては、右足が着地面４１に着地して周囲に広がる足音の一部のみを示している。右足が着地面４１に着地した際に発生する足音は無指向であるとし、アバターＡｖ１は自分で発生させた足音を聞く。アバターＡｖ１の周辺に位置するアバターＡｖ２は、アバターにＡｖ２に直接届く直接音Ｓｄ１及びＳｄ２等の直接音と、塀４２等の周辺オブジェクトで反射してアバターＡｖ２に届く反射音Ｓｄｒ３及びＳｄｒ４等の反射音とを含む複合音を聞く。このように、エフェクト処理部１５８は、他のアバターであるアバターＡｖ２が右耳で聞く右耳用複合音と左耳で聞く左耳用複合音とを生成することが好ましい。

【0023】

エフェクト処理部１５８は、効果音選択部１５７が選択した効果音にエフェクトを施して、アバターにＡｖ２が聞く複合音を生成する。直接音Ｓｄ３及びＳｄ４に基づいて反射音Ｓｄｒ３及びＳｄｒ４がどのように生成されるかは、塀４２の材質によって異なる。エフェクト処理部１５８は、周辺オブジェクトの形状または材質等の周辺オブジェクトの条件に応じて反射音を生成した上で、複合音を生成することが好ましい。

【0024】

アバターにＡｖ２は、複合音をリアルな足音と認識する。アバターＡｖ１は、自分で発生させた足音が塀４２等の周辺オブジェクトで反射してアバターＡｖ１に届く反射音を聞くことがある。エフェクト処理部１５８は、効果音選択部１５７が選択した効果音にエフェクトを施して、アバターにＡｖ１が聞く複合音を生成してもよい。

【0025】

アバターＡｖ２が歩いたり走ったりしていれば、アバターＡｖ１は自分で発生させた足音とアバターＡｖ２が発生させた足音を聞く。アバターＡｖ２は、自分で発生させた足音とアバターＡｖ１が発生させた足音を聞く。アバターＡｖ２がアバターＡｖ１から所定の距離以上離れているときには、アバターＡｖ１が発生させた足音はアバターＡｖ２に届かないため、効果音発生部１５は、アバターＡｖ２が聞くアバターＡｖ１が発生させた足音に基づく音を生成しない。効果音発生部１５は、各アバターの所定の距離以内に存在する他のアバターが聞く音を生成すればよい。

【0026】

効果音発生部１５は、各アバターと他のアバターとの距離に応じて、他のアバターが聞く音の音圧を調整するのがよい。

【0027】

通信部１６は、ユーザ端末３０に音を送信しないように音の送信をオフする機能を有してもよい。ユーザ端末３０が、音の送信のオンとオフとを切り替えるように構成されていてもよい。

【0028】

図４に示すフローチャートを用いて、効果音発生部１５及び通信部１６が実行する効果音提供方法を説明する。図４において、仮想空間情報提供サーバ１０が動作を開始して効果音提供方法の処理が開始されると、効果音発生部１５は、ステップＳ１にて、仮想空間画像生成部１３から上記の各種の情報を取得する。運動量解析部１５３は、ステップＳ２にて、アバターの運動量を解析する。足の動かし方取得部１５２は、ステップＳ３にて、アバターの足が着地するか否かを判定する。アバターの足が着地しなければ（NO）、足の動かし方取得部１５２はステップＳ３の処理を繰り返す。

【0029】

ステップＳ３にてアバターの足が着地すれば（YES）、効果音選択部１５７は、ステップＳ４にて、着地面情報、足の動かし方情報、運動量に応じて、アバターが足を着地面に着地させる際に発生する音を判定する。効果音選択部１５７は、ステップＳ５にて、判定結果に基づいて、効果音データベース１５６から判定した音に相当する効果音を選択して読み出す。エフェクト処理部１５８は、ステップＳ６にて、周辺オブジェクト情報及びアバター位置情報に基づいて、読み出した効果音にエフェクト処理を施す。通信部１６は、ステップＳ７にて、読み出した効果音を足を着地させたアバターに対応するユーザに送信し、エフェクト処理を施した効果音を他のアバターに対応するユーザに送信する。

【0030】

効果音発生部１５は、ステップＳ８にて、仮想空間情報提供サーバ１０の動作終了等によって動作を終了させるか否かを判定する。動作を終了させなければ（NO）、効果音発生部１５は、ステップＳ１以降の処理を繰り返す。動作を終了させれば（YES）、効果音発生部１５は処理を終了させる。

【0031】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0032】

１０ 仮想空間情報提供サーバ
１１ 仮想空間特定情報保持部
１２ アバター画像保持部
１３ 仮想空間画像生成部
１４ アバター動き制御部
１５ 効果音発生部
１６ 通信部
２０ ネットワーク
３０ａ，３０ｂ，３０ｃ ユーザ端末
４０ａ，４０ｂ，４０ｃ カメラ

【図1】

【図2】

【図3】

【図4】