特許 6825818 仮想空間を提供する視聴システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6825818

(24)【登録日】2021年1月18日

(45)【発行日】2021年2月3日

(54)【発明の名称】仮想空間を提供する視聴システム

(51)【国際特許分類】

   G10K 15/00 20060101AFI20210121BHJP

   H04S 7/00 20060101ALI20210121BHJP

【ＦＩ】

   G10K15/00 M

   H04S7/00 400

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2016-60309(P2016-60309)

(22)【出願日】2016年3月24日

(65)【公開番号】特開2017-173602(P2017-173602A)

(43)【公開日】2017年9月28日

【審査請求日】2018年12月3日

【審判番号】不服2020-3522(P2020-3522/J1)

【審判請求日】2020年3月13日

(73)【特許権者】

【識別番号】000166627

【氏名又は名称】五洋建設株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】竹内 博幸

(72)【発明者】

【氏名】中村 治男

【合議体】

【審判長】 五十嵐 努

【審判官】 樫本 剛

【審判官】 小池 正彦

(56)【参考文献】

【文献】 特開２００４−８５６６５（ＪＰ，Ａ）

【文献】 特開２００２−２４３５３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G10K 15/00

(57)【特許請求の範囲】

【請求項1】

三次元空間に配置された建築物を構成する複数の部材の各々の前記三次元空間における配置を示す部材配置データと、前記三次元空間に配置された１以上の音源の各々の位置を示す音源位置データと、前記三次元空間に配置された視聴点の位置を示す視聴点位置データと、前記複数の部材の各々の音響特性を示す部材音響特性データとに基づき、前記１以上の音源の各々から前記視聴点に至る音の伝播経路であって部材において複数の方向に分岐する伝播経路を、当該音源から発せられた音の方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択し、選択した音の伝播経路の方向の各々に関し当該方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択する処理を繰り返すことによって特定し、特定した伝播経路の上に位置する１以上の部材を前記複数の部材の中から選択する選択手段と、
前記選択手段により選択された１以上の部材に関する前記部材配置データと、前記音源位置データと、前記１以上の音源の各々から発せられる音である発生音を表す発生音データと、前記選択手段により選択された１以上の部材に関する前記部材音響特性データと、前記視聴点位置データとに基づき、前記視聴点にいる視聴者に聞こえる音である到達音を表す到達音データを生成する音データ生成手段と、
前記視聴点位置データと、前記視聴点における視聴者の視線方向を示す視線方向データと、前記部材配置データとに基づき、前記視聴者に見える形象を表す画像データを生成する画像データ生成手段と、
前記音データ生成手段により生成される到達音データが表す音の発音を発音装置に指示すると同時に、前記画像データ生成手段により生成される画像データが表す画像の表示を表示装置に指示する指示手段と
を備えるデータ処理装置。

【請求項2】

前記部材配置データは、前記建築物の設計において作成されるＢＩＭのデータであり、
前記部材音響特性データは、前記複数の部材の各々に関し前記ＢＩＭのデータとして作成されている部材の材料の物性を示すデータに対応付けて記憶されているデータであり、
前記画像データ生成手段は、前記ＢＩＭが行う処理と同様の処理によって、前記視聴者に見える形象を表す画像データを生成する
請求項１に記載のデータ処理装置。

【請求項3】

前記音データ生成手段は、複数の材料の各々に関し当該材料の音響特性を示す材料音響特性データを記憶する記憶装置から、前記選択手段により選択された１以上の部材の各々に関し当該部材の材料に応じた材料音響特性データを当該部材に関する前記部材音響特性データとして取得する
請求項１又は２に記載のデータ処理装置。

【請求項4】

前記選択手段は、複数の材料の各々に関し当該材料の音響特性を示す材料音響特性データを記憶する記憶装置から、前記複数の部材の各々に関し当該部材の材料に応じた材料音響特性データを部材音響特性データとして取得し、当該部材音響特性データに基づき前記１以上の部材を選択する
請求項１乃至３のいずれか１項に記載のデータ処理装置。

【請求項5】

前記音源位置データが示す前記１以上の音源の位置の少なくとも１つは前記建築物の中であり、前記視聴点位置データが示す前記視聴点の位置は前記建築物の外である
請求項１乃至４のいずれか１項に記載のデータ処理装置。

【請求項6】

コンピュータを、
三次元空間に配置された建築物を構成する複数の部材の各々の前記三次元空間における配置を示す部材配置データと、前記三次元空間に配置された１以上の音源の各々の位置を示す音源位置データと、前記三次元空間に配置された視聴点の位置を示す視聴点位置データと、前記複数の部材の各々の音響特性を示す部材音響特性データとに基づき、前記１以上の音源の各々から前記視聴点に至る音の伝播経路であって部材において複数の方向に分岐する伝播経路を、当該音源から発せられた音の方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択し、選択した音の伝播経路の方向の各々に関し当該方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択する処理を繰り返すことによって特定し、特定した伝播経路の上に位置する１以上の部材を前記複数の部材の中から選択する選択手段と、
前記選択手段により選択された１以上の部材に関する前記部材配置データと、前記音源位置データと、前記１以上の音源の各々から発せられる音である発生音を表す発生音データと、前記選択手段により選択された１以上の部材に関する前記部材音響特性データと、前記視聴点位置データとに基づき、前記視聴点にいる視聴者に聞こえる音である到達音を表す到達音データを生成する音データ生成手段と、
前記視聴点位置データと、前記視聴点における視聴者の視線方向を示す視線方向データと、前記部材配置データとに基づき、前記視聴者に見える形象を表す画像データを生成する画像データ生成手段と、
前記音データ生成手段により生成される到達音データが表す音の発音を発音装置に指示すると同時に、前記画像データ生成手段により生成される画像データが表す画像の表示を表示装置に指示する指示手段
として機能させるためのプログラム。

【請求項7】

コンピュータを、
三次元空間に配置された建築物を構成する複数の部材の各々の前記三次元空間における配置を示す部材配置データと、前記三次元空間に配置された１以上の音源の各々の位置を示す音源位置データと、前記三次元空間に配置された視聴点の位置を示す視聴点位置データと、前記複数の部材の各々の音響特性を示す部材音響特性データとに基づき、前記１以上の音源の各々から前記視聴点に至る音の伝播経路であって部材において複数の方向に分岐する伝播経路を、当該音源から発せられた音の方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択し、選択した音の伝播経路の方向の各々に関し当該方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択する処理を繰り返すことによって特定し、特定した伝播経路の上に位置する１以上の部材を前記複数の部材の中から選択する選択手段と、
前記選択手段により選択された１以上の部材に関する前記部材配置データと、前記音源位置データと、前記１以上の音源の各々から発せられる音である発生音を表す発生音データと、前記選択手段により選択された１以上の部材に関する前記部材音響特性データと、前記視聴点位置データとに基づき、前記視聴点にいる視聴者に聞こえる音である到達音を表す到達音データを生成する音データ生成手段と、
前記視聴点位置データと、前記視聴点における視聴者の視線方向を示す視線方向データと、前記部材配置データとに基づき、前記視聴者に見える形象を表す画像データを生成する画像データ生成手段と、
前記音データ生成手段により生成される到達音データが表す音の発音を発音装置に指示すると同時に、前記画像データ生成手段により生成される画像データが表す画像の表示を表示装置に指示する指示手段
として機能させるためのプログラムを持続的に記録するコンピュータ読み取り可能な記
録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視聴者に仮想空間を提供するための技術に関する。

【背景技術】

【0002】

視聴者に高い臨場感をもたらす仮想空間を提供する技術がある。例えば、特許文献１には、ユーザにより設計された閉空間における特定の視点から見える形象を表示する画像表示部と、閉空間に配置された音源から発せられ上記視点に伝わる音を再生する音響再生部を備える仮想環境生成装置が開示されている。特許文献１に記載の仮想環境生成装置によれば、ユーザが閉空間の形状や特性を変えると、閉空間を構成する壁面の吸音率、表面積等が反映された音が音響再生部から再生される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６−１６１４７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１に記載の仮想環境生成装置のユーザは閉空間の設計を行う必要がある。閉空間の設計には、閉空間を構成する壁面の形状や特性等のデータを入力する必要があり、閉空間が例えばコンサートホールのように複雑な形状を有する場合、それらのデータの入力には多大な労力を要する。

【0005】

これに対し、本発明は、データの入力に多大な労力を要することなく、高い臨場感をもたらす仮想空間を視聴者に提供する。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本発明は、三次元空間に配置された建築物を構成する複数の部材の各々の前記三次元空間における配置を示す部材配置データと、前記三次元空間に配置された１以上の音源の各々の位置を示す音源位置データと、前記三次元空間に配置された視聴点の位置を示す視聴点位置データと、前記複数の部材の各々の音響特性を示す部材音響特性データとに基づき、前記１以上の音源の各々から前記視聴点に至る音の伝播経路であって部材において複数の方向に分岐する伝播経路を、当該音源から発せられた音の方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択し、選択した音の伝播経路の方向の各々に関し当該方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択する処理を繰り返すことによって特定し、特定した伝播経路の上に位置する１以上の部材を前記複数の部材の中から選択する選択手段と、前記選択手段により選択された１以上の部材に関する前記部材配置データと、前記音源位置データと、前記１以上の音源の各々から発せられる音である発生音を表す発生音データと、前記選択手段により選択された１以上の部材に関する前記部材音響特性データと、前記視聴点位置データとに基づき、前記視聴点にいる視聴者に聞こえる音である到達音を表す到達音データを生成する音データ生成手段と、前記視聴点位置データと、前記視聴点における視聴者の視線方向を示す視線方向データと、前記部材配置データとに基づき、前記視聴者に見える形象を表す画像データを生成する画像データ生成手段と、前記音データ生成手段により生成される到達音データが表す音の発音を発音装置に指示すると同時に、前記画像データ生成手段により生成される画像データが表す画像の表示を表示装置に指示する指示手段とを備えるデータ処理装置を第１の態様として提案する。
また、本発明は、上記の第１の態様において、前記部材配置データは、前記建築物の設計において作成されるＢＩＭのデータであり、前記部材音響特性データは、前記複数の部材の各々に関し前記ＢＩＭのデータとして作成されている部材の材料の物性を示すデータに対応付けて記憶されているデータであり、前記画像データ生成手段は、前記ＢＩＭが行う処理と同様の処理によって、前記視聴者に見える形象を表す画像データを生成する、という構成を第２の態様として提案する。

【0007】

また、本発明は、上記の第１または第２の態様において、前記音データ生成手段は、複数の材料の各々に関し当該材料の音響特性を示す材料音響特性データを記憶する記憶装置から、前記選択手段により選択された１以上の部材の各々に関し当該部材の材料に応じた材料音響特性データを当該部材に関する前記部材音響特性データとして取得する、という構成を第３の態様として提案する。

【0008】

また、本発明は、上記の第１乃至第３のいずれか態様において、前記選択手段は、複数の材料の各々に関し当該材料の音響特性を示す材料音響特性データを記憶する記憶装置から、前記複数の部材の各々に関し当該部材の材料に応じた材料音響特性データを部材音響特性データとして取得し、当該部材音響特性データに基づき前記１以上の部材を選択する、という構成を第４の態様として提案する。

【0009】

また、本発明は、上記の第１乃至第４のいずれかの態様において、前記音源位置データが示す前記１以上の音源の位置の少なくとも１つは前記建築物の中であり、前記視聴点位置データが示す前記視聴点の位置は前記建築物の外である、という構成を第５の態様として提案する。

【0010】

また、本発明は、コンピュータを、三次元空間に配置された建築物を構成する複数の部材の各々の前記三次元空間における配置を示す部材配置データと、前記三次元空間に配置された１以上の音源の各々の位置を示す音源位置データと、前記三次元空間に配置された視聴点の位置を示す視聴点位置データと、前記複数の部材の各々の音響特性を示す部材音響特性データとに基づき、前記１以上の音源の各々から前記視聴点に至る音の伝播経路であって部材において複数の方向に分岐する伝播経路を、当該音源から発せられた音の方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択し、選択した音の伝播経路の方向の各々に関し当該方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択する処理を繰り返すことによって特定し、特定した伝播経路の上に位置する１以上の部材を前記複数の部材の中から選択する選択手段と、前記選択手段により選択された１以上の部材に関する前記部材配置データと、前記音源位置データと、前記１以上の音源の各々から発せられる音である発生音を表す発生音データと、前記選択手段により選択された１以上の部材に関する前記部材音響特性データと、前記視聴点位置データとに基づき、前記視聴点にいる視聴者に聞こえる音である到達音を表す到達音データを生成する音データ生成手段と、前記視聴点位置データと、前記視聴点における視聴者の視線方向を示す視線方向データと、前記部材配置データとに基づき、前記視聴者に見える形象を表す画像データを生成する画像データ生成手段と、前記音データ生成手段により生成される到達音データが表す音の発音を発音装置に指示すると同時に、前記画像データ生成手段により生成される画像データが表す画像の表示を表示装置に指示する指示手段として機能させるためのプログラムを第６の態様として提案する。

【0011】

また、本発明は、コンピュータを、三次元空間に配置された建築物を構成する複数の部材の各々の前記三次元空間における配置を示す部材配置データと、前記三次元空間に配置された１以上の音源の各々の位置を示す音源位置データと、前記三次元空間に配置された視聴点の位置を示す視聴点位置データと、前記複数の部材の各々の音響特性を示す部材音響特性データとに基づき、前記１以上の音源の各々から前記視聴点に至る音の伝播経路であって部材において複数の方向に分岐する伝播経路を、当該音源から発せられた音の方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択し、選択した音の伝播経路の方向の各々に関し当該方向にある部材において分岐する複数の伝播経路の方向の中から音の減衰率が所定の閾値未満の伝播経路を選択する処理を繰り返すことによって特定し、特定した伝播経路の上に位置する１以上の部材を前記複数の部材の中から選択する選択手段と、前記選択手段により選択された１以上の部材に関する前記部材配置データと、前記音源位置データと、前記１以上の音源の各々から発せられる音である発生音を表す発生音データと、前記選択手段により選択された１以上の部材に関する前記部材音響特性データと、前記視聴点位置データとに基づき、前記視聴点にいる視聴者に聞こえる音である到達音を表す到達音データを生成する音データ生成手段と、前記視聴点位置データと、前記視聴点における視聴者の視線方向を示す視線方向データと、前記部材配置データとに基づき、前記視聴者に見える形象を表す画像データを生成する画像データ生成手段と、前記音データ生成手段により生成される到達音データが表す音の発音を発音装置に指示すると同時に、前記画像データ生成手段により生成される画像データが表す画像の表示を表示装置に指示する指示手段として機能させるためのプログラムを持続的に記録するコンピュータ読み取り可能な記録媒体を第７の態様として提案する。

【発明の効果】

【0012】

本発明の第１の態様によれば、部材に到達する毎に、分岐し数が増加する伝達経路のうち、減衰率が所定の閾値に達した伝播経路のみが考慮される。そのため、到達音の生成のために無駄な処理が行われない。
また、本発明の第２の態様によれば、建築物の設計において作成されるＢＩＭ（Building Information Modeling）のデータを用いて、視聴者に高い臨場感をもたらす仮想空間が実現される。そのため、材料音響特性データが材料テーブルに格納されていれば、ユーザは何も新たなデータを入力する必要はない。

【0013】

本発明の第３の態様によれば、材料の音響特性が建築物を構成する部材の各々の音響特性として用いられる。従って、個々の部材に関し音響特性を入力する必要がない。

【0014】

本発明の第４の態様によれば、音の透過率の高低、音の反射率の高低等に応じて、到達音の生成に用いる部材が適切に選択される。そのため、到達音の生成に処理の負荷の大きな増加を伴うことなく、高い臨場感をもたらす音が視聴者に提供される。

【0015】

本発明の第５の態様によれば、建築物の外にいる場合の高い臨場感をもたらす音および画像が視聴者に提供される。

【0016】

本発明の第６または第７の態様によれば、コンピュータによって第１の態様にかかるデータ処理装置が実現される。

【図面の簡単な説明】

【0017】

【図1】一実施形態にかかる仮想空間視聴システムの全体構成を示した図。

【図2】一実施形態にかかるコンピュータの構成を示した図。

【図3】一実施形態にかかるデータ処理装置の構成を示した図。

【図4】一実施形態にかかる部材テーブルのデータ構成を例示した図。

【図5】一実施形態にかかる部材配置データにより表される建築物の形状を例示した図。

【図6】一実施形態にかかる材料テーブルのデータ構成を例示した図。

【図7】一実施形態にかかるデータ処理装置が行う処理のフローを示した図。

【図8】一実施形態にかかる表示装置が表示する入力画面を示した図。

【図9】一実施形態にかかる選択手段が特定する音の伝播経路の一部を示した図。

【図10】一実施形態にかかる仮想空間視聴システムにより視聴者に仮想空間が提供される様子を示した図。

【図11】一変形例において表示装置が表示する入力画面を示した図。

【発明を実施するための形態】

【0018】

［実施形態］
以下に、本発明の一実施形態にかかる仮想空間視聴システム１を説明する。仮想空間視聴システム１は、視聴者が表示装置に表示される仮想的な三次元空間（以下、仮想空間Ｓという）において任意の視聴点と任意の視線方向を指定すると、指定された視聴点において指定された視線方向を向いたときに見える形象を表示装置に表示すると同時に、指定された視聴点において指定された視線方向を向いたときに聞こえる音を発音装置から発するシステムである。

【0019】

図１は仮想空間視聴システム１の全体構成を示した図である。仮想空間視聴システム１はコンピュータ１０、操作装置１２、表示装置１３、発音装置１４を備える。操作装置１２は視聴者Ｕの操作を受け付ける装置であり、例えば、マウス、キーボード等である。表示装置１３は視聴者Ｕに対し仮想空間Ｓにおいて見える形象を表示する装置であり、例えば、ディスプレイ装置である。発音装置１４は視聴者Ｕに対し仮想空間Ｓにおいて聞こえる音を発音する装置であり、例えば、スピーカ、ヘッドフォン等である。

【0020】

コンピュータ１０は一般的なコンピュータである。図２はコンピュータ１０の構成を示した図である。コンピュータ１０は、様々なデータを記憶するメモリ１０１と、メモリ１０１に記憶されているプログラムに従い様々なデータ処理を行うプロセッサ１０２を備える。

【0021】

また、コンピュータ１０は、視聴者Ｕが操作装置１２に対し行った操作の内容を示す操作データの入力を受け付けるインタフェースである操作入力Ｉ／Ｆ１０３と、表示装置１３に対し画像データを出力するインタフェースである画像出力Ｉ／Ｆ１０４と、発音装置１４に対し音波形データを出力するインタフェースである音出力Ｉ／Ｆ１０５を備える。

【0022】

コンピュータ１０のメモリ１０１には、本実施形態にかかるプログラムが記憶されており、当該プログラムに従うデータ処理をプロセッサ１０２が行うと、コンピュータ１０により、視聴者Ｕに対し仮想空間Ｓを提供するデータ処理装置１１が実現される。図３はそのようにコンピュータ１０により実現されるデータ処理装置１１の構成を示した図である。

【0023】

データ処理装置１１は、操作装置１２から操作データを取得する操作データ取得手段１１１と、様々なデータを記憶する記憶装置１１２を備える。また、データ処理装置１１は、仮想空間Ｓに配置された建築物を構成する複数の部材の中から視聴者に聞こえる音（以下、到達音という）を表す到達音データの生成のために用いられる部材を選択する選択手段１１３と、選択手段１１３により選択された部材の音響特性等に基づき到達音データを生成する音データ生成手段１１４を備える。

【0024】

また、データ処理装置１１は、仮想空間Ｓに配置された建築物を構成する複数の部材の配置等に基づき視聴者に見える形象を表す画像データを生成する画像データ生成手段１１５と、音データ生成手段１１４により生成された到達音データが表す到達音の発音を発音装置１４に指示すると同時に画像データ生成手段１１５により生成された画像データが表す画像の表示を表示装置１３に指示する指示手段１１６を備える。

【0025】

操作データ取得手段１１１は操作入力Ｉ／Ｆ１０３により実現される。記憶装置１１２はメモリ１０１により実現される。選択手段１１３、音データ生成手段１１４、画像データ生成手段１１５および指示手段１１６はプロセッサ１０２により実現される。

【0026】

記憶装置１１２には、部材テーブル、材料テーブル、発生音データ、指向性データが記憶されている。部材テーブルは仮想空間Ｓに配置された１以上の建築物の各々に応じて準備されたデータテーブルである。図４は部材テーブルのデータ構成を例示した図である。部材テーブルは建築物を構成する複数の部材の各々に応じたデータレコードの集まりである。部材テーブルはデータフィールドとして、部材を識別する部材ＩＤ（Identifier）を格納する［部材ＩＤ］、部材の名称を示すデータを格納する［部材名］、部材の仮想空間Ｓにおける配置を示す部材配置データを格納する［配置］、部材の材料を識別する材料ＩＤを格納する［材料ＩＤ］を備える。

【0027】

本願において部材の配置とは、仮想空間Ｓにおける部材の形状および位置を示す。部材テーブルのフィールド［配置］に格納される部材配置データは、例えば仮想空間Ｓおける位置の指定されたポリゴンデータである。

【0028】

図５は部材テーブルに格納される複数の部材配置データにより表される建築物Ｘの形状を例示した図である。図５に例示の建築物Ｘは、床の上に、上からみた形状が矩形の外壁が配置され、その外壁の上に天井が配置され、それらにより囲まれた空間を２つの空間に仕切る内壁が配置された構造を有している。建築物Ｘは、床部材Ｍ１、外壁部材Ｍ２〜Ｍ５、天井部材Ｍ６、内壁部材Ｍ７で構成されている。

【0029】

図６は記憶装置１１２に記憶されている材料テーブルのデータ構成を例示した図である。材料テーブルは建築物を構成する部材のいずれかに採用される可能性のある複数の材料の各々に応じたデータレコードの集まりである。材料テーブルはデータフィールドとして、材料を識別する材料ＩＤを格納する［材料ＩＤ］、材料の名称を示すデータを格納する［材料名］を備える。

【0030】

また、材料テーブルは、材料の各種物性（音響特性を除く）を示すデータを格納するデータフィールドとして［質量］、［耐荷重］、［熱伝導率］を備える。また、材料テーブルは、材料の各種音響特性を示すデータを格納するデータフィールドとして［音反射特性］、［音透過特性］、［音伝達特性］を備える。以下、これらのデータフィールドに格納される、材料の音響特性を示すデータを材料音響特性データと総称する。

【0031】

データフィールド［音反射特性］に格納されるデータは、例えば、材料に対し音を放射した場合の、放射音の振幅に対する反射音の振幅の比率（反射率）を複数の周波数帯の各々に関し示す。なお、反射における音の減衰率は（１−反射率）である。データフィールド［音透過特性］に格納されるデータは、例えば、所定の厚さの材料に対し音を放射した場合の、放射音の振幅に対する透過音の振幅の比率（透過率）を複数の周波数帯の各々に関し示す。なお、透過における音の減衰率は（１−透過率）である。データフィールド［音伝達特性］に格納されるデータは、例えば、材料に対し振動体を接触させた場合の、振動体の振幅に対する材料を所定の距離だけ伝達した振動の振幅の比率（伝達率）を複数の周波数帯の各々に関し示す。なお、伝達における減衰率は（１−伝達率）である。

【0032】

記憶装置１１２に記憶される発生音データは、仮想空間Ｓに配置される音源から発せられる音（以下、発生音という）を表すデータである。発生音データは、例えば音波形データであり、記憶装置１１２には各々が異なる音波形を示す複数の発生音データが記憶されている。

【0033】

記憶装置１１２に記憶される指向性データは、音源から発せられる音の指向性を示すデータである。例えば、音源がスピーカであれば、発音方向（通常、スピーカの前方）に向かう音の振幅が最も大きく、音の方向が発音方向からずれる程、振幅が小さくなる。また、それらの振幅の変化は、周波数帯毎に異なる。指向性データは、周波数帯毎に、音源から外と向かう音の方向に応じた減衰率を示すデータである。記憶装置１１２には、各々が異なる音源の種類に応じた複数の指向性データが記憶されている。

【0034】

図７はデータ処理装置１１が視聴者Ｕに対し仮想空間Ｓを提供するために行う処理のフローを示した図である。データ処理装置１１の画像データ生成手段１１５は、部材テーブルに格納される部材配置データに基づき、建築物の配置された仮想空間Ｓの鳥瞰図を含む入力画面を表す画像データを生成し、当該画像データが表す入力画面の表示を表示装置１３に指示する（ステップＳ００１）。

【0035】

図８は表示装置１３がステップＳ００１における画像データ生成手段１１５の指示に従い表示する入力画面を模式的に示した図である。入力画面には建築物Ｘの形状と、仮想空間Ｓにおける視聴者の位置および視線方向を示す視聴者アイコンＡが表示される。視聴者アイコンＡには視聴者の視線方向を示す矢印が伴っている。視聴者Ｕは入力画面において視聴者アイコンＡをマウス等で操作することにより、視聴者の位置（視聴点の位置）および視線方向を入力する。

【0036】

入力画面において、視聴者Ｕは所定の操作（例えば、任意の場所でマウスを右クリックして表示されるメニューから「音源の作成」を選択等）を行い、仮想空間Ｓに音源を配置することができる。図８には、視聴者Ｕにより仮想空間Ｓに配置された音源の位置および発音方向を示す音源アイコンＢが表示されている。音源アイコンＢには発音方向を示す矢印が伴っている。なお、視聴者Ｕは仮想空間Ｓに複数の音源を配置することができる。また、音源の位置は建築物Ｘの内側および外側のいずれであってもよい。

【0037】

視聴者Ｕは入力画面において音源アイコンＢをマウス等で操作することにより、音源の位置および発音方向を入力する。また、視聴者Ｕは音源アイコンＢに対し所定の操作（例えば、音源アイコンＢの上でマウスを右クリック等）を行い、音源設定ウィンドウＣをポップアップ表示させることができる。視聴者Ｕは音源設定ウィンドウＣにおいて、音源の種類の選択、音源から発音させたい発生音の選択および音量の指定を行うことができる。

【0038】

視聴者Ｕが入力画面において上述した入力操作を行うと、操作データ取得手段１１１は操作装置１２から視聴者Ｕの入力操作の内容を示す操作データを取得する（ステップＳ００２）。当該操作データには、視聴者アイコンＡの位置に応じた視聴点の位置を示す視聴点位置データと、視聴者アイコンＡに伴う矢印の方向に応じた視聴者の視線方向を示す視線方向データと、音源アイコンＢの位置に応じた音源の位置を示す音源位置データと、音源アイコンＢに伴う矢印の方向に応じた音源の発音方向を示す発音方向データと、音源設定ウィンドウＣにおいて指定された音源の種類を識別する音源種類識別データと、発生音を識別する発生音識別データと、音源設定ウィンドウＣにおいて指定された音量を示す音量データが含まれる。

【0039】

続いて、データ処理装置１１は仮想空間Ｓにおいて視聴者Ｕに聞こえる到達音を表す到達音データの生成のための処理（ステップＳ１０１〜Ｓ１０３）と、仮想空間Ｓにおいて視聴者Ｕに見える形象を表す画像データの生成のための処理（ステップＳ２０１〜Ｓ２０２）を並行して行う。

【0040】

到達音データの生成において、まず、選択手段１１３は音源位置データが示す音源の位置から視聴点位置データが示す視聴点の位置に至る音の伝播経路を特定する（ステップＳ１０１）。図９は選択手段１１３が特定する音の伝播経路のうちの一部を示した図である。図９において、伝播経路Ｒ１は、音源アイコンＢにより示される音源の位置から発せられた音が空気中を伝播し、直接、視聴者アイコンＡにより示される視聴点の位置に到達する伝播経路を示している。伝播経路Ｒ２は、音源の位置から発せられた音が空気中を伝播し、天井部材Ｍ６の内側面で反射した後、空気中を伝播して視聴点の位置に到達する伝播経路を示している。また、伝播経路Ｒ３は、音源の位置から発せられた音が床部材Ｍ１を伝播し、視聴点の真下まで伝播した音が空気中を伝播して視聴点の位置に到達する伝播経路を示している。また、伝播経路Ｒ４は、音源の位置から発せられた音が空気中を伝播し、内壁部材Ｍ７を透過した後、空気中を伝播し、外壁部材Ｍ４の内側面で反射した後、空気中を伝播し、再び内壁部材Ｍ７を透過した後、空気中を伝播して視聴点の位置に到達する伝播経路を示している。

【0041】

選択手段１１３は、音源の位置から或る方向に音を発した場合を想定し、その音の方向に視聴点がない場合は、その方向にある部材を部材テーブルに格納されている部材配置データに基づき特定する。続いて、選択手段１１３は特定した部材の材料ＩＤに応じた材料音響特性データを、当該部材の音響特性を示す部材音響特性データとして読み出す。続いて、選択手段１１３は、部材配置データと部材音響特性データに基づき、部材を透過する音の方向、部材の表面で反射する音の方向、部材の内部を伝達する音の方向、部材の外を回折する音の方向の中から、伝播経路として考慮すべき音の方向の選択を行う。

【0042】

例えば、部材の音の透過率が低い場合や、音の透過の方向における部材の厚さが厚い場合、部材を透過する音は大きく減衰する。従って、選択手段１１３は部材を透過する音の減衰率が全ての周波数帯において予め定められた閾値以上であれば、部材を透過する音の方向を伝播経路の対象から除外し、部材を透過する音の減衰率がいずれかの周波数帯において予め定められた閾値未満であれば、部材を透過する音の方向を伝播経路の対象として選択する。選択手段１１３は同様の選択を反射、部材内の伝達、回折に関しても行う。

【0043】

選択手段１１３による上記の選択において、部材を透過する音の方向、部材の表面で反射する音の方向、部材の内部を伝達する音の方向、部材の外を回折する音の方向の中から選択された音の方向の数だけ、伝播経路が分岐することになる。選択手段１１３は、部材において分岐した伝播経路の方向の各々に関し、その方向にある部材を部材テーブルに格納される部材配置データに基づき特定する。その後、選択手段１１３は、上述した、部材における分岐の方向の選択と、選択した方向にある部材の特定を繰り返す。

【0044】

選択手段１１３は、伝播経路上の２つ目以降の部材における分岐の方向の選択において、周波数帯毎に当該部材に音が到達するまでの減衰率に対し当該部材における減衰率を乗じた値を閾値と比較する。従って、多くの伝播経路は、視聴点に到達する前に全ての周波数帯において閾値以上に減衰し、考慮の対象から除外される。そして、一部の伝播経路が、１以上の周波数帯において閾値未満の減衰率で視聴点に到達することになる。選択手段１１３は、そのように１以上の周波数帯において閾値未満の減衰率で視聴点に到達する音の伝播経路を、到達音データの生成に用いる伝播経路として特定する。

【0045】

選択手段１１３は、音源の位置から様々な方向に音を発した場合の各々に関し、上述した伝播経路の特定の処理を繰り返す。図９に示される伝播経路Ｒ１〜Ｒ４は、そのようにして選択手段１１３により特定された伝播経路を例示したものである。

【0046】

図７のステップＳ１０１における伝播経路の特定が完了すると、選択手段１１３は特定した伝播経路の各々に関し、当該伝播経路を示す伝播経路データと、当該伝播経路の上に部材があれば、それらの部材の部材ＩＤを音データ生成手段１１４に引き渡す（ステップＳ１０２）。選択手段１１３によるステップＳ１０１およびＳ１０２の処理により、建築物Ｘを構成する複数の部材の中から、到達音データの生成において考慮すべき部材が選択されることになる。

【0047】

なお、ステップＳ００２において操作データ取得手段１１１により、複数の音源位置データが取得された場合、選択手段１１３はそれらの音源位置データが示す複数の音源に関し、ステップＳ１０１およびＳ１０２の処理を行う。

【0048】

音データ生成手段１１４は、ステップＳ１０２において選択手段１１３から複数の伝播経路データを受け取る。音データ生成手段１１４が受け取る伝播経路データの一部には、伝播経路上の部材を識別する１以上の部材ＩＤが対応付けられている。音データ生成手段１１４は、選択手段１１３から受け取った部材ＩＤの各々に関し、当該部材ＩＤに応じた部材配置データを部材テーブルから読み出す。また、音データ生成手段１１４は、選択手段１１３から受け取った部材ＩＤの各々に関し、当該部材ＩＤに応じた材料音響特性データを、当該部材ＩＤにより識別される部材の音響特性を示す部材音響特性データとして材料テーブルから読み出す。

【0049】

音データ生成手段１１４は、ステップＳ１０２において選択手段１１３から受け取った伝播経路データ、部材テーブルから読み出した部材配置データ、材料テーブルから読み出した部材音響特性データ、ステップＳ００２において操作データ取得手段１１１が取得した発音方向データ、音源種類識別データ、発生音識別データ、音量データ、視線方向データに基づき、到達音データの生成を行う（ステップＳ１０３）。なお、伝播経路データが示す伝播経路の始点はいずれも音源位置データが示す音源の位置であり、終点はいずれも視聴点位置データが示す視聴点の位置である。

【0050】

具体的には、まず音データ生成手段１１４は、音源種類識別データが示す音源の種類に応じた指向性データを記憶装置１１２から読み出す。続いて、画像データ生成手段１１５は、伝播経路データの各々に関し、当該伝播経路に沿って音源から発せられる音の指向性による周波数帯毎の減衰率を、読み出した指向性データおよび発音方向データに基づき特定する。

【0051】

また、音データ生成手段１１４は、伝播経路データの各々に関し、当該伝播経路データが示す伝播経路を音が伝播するときの周波数帯毎の減衰率を、当該伝播経路上の部材の部材配置データおよび部材音響特性データに基づき特定する。続いて、音データ生成手段１１４は発生音識別データにより識別される発生音データを記憶装置１１２から読み出し、伝播経路の各々に関し、読み出した発生音データが表す発生音に対し、上記のように特定した指向性による減衰率と音の伝播に伴う減衰率を周波数帯毎に乗じた音を生成する。

【0052】

続いて、音データ生成手段１１４は、上記のように生成した伝播経路毎の音を、例えば左右２チャンネルの到達音にミキシングする。当該ミキシングにおいて、音データ生成手段１１４は伝播経路の各々に関し視線方向データが示す視線方向と当該伝播経路が視聴点に向かう方向（音の到達方向）に応じた増幅率を乗じた後、それらの音を加算する。音データ生成手段１１４は、ミキシングにより得られた左右２チャンネルの音に対し音量データが示す増幅を行う。音データ生成手段１１４は、増幅後の左右２チャンネルの音を表すデータを到達音データとして生成する。

【0053】

既述のとおり、上記のステップＳ１０１〜Ｓ１０３の到達音データの生成のための処理と並行して、データ処理装置１１は画像データの生成のための処理（ステップＳ２０１〜Ｓ２０２）を行う。まず、画像データ生成手段１１５は、ステップＳ００２において操作データ取得手段１１１が取得した視聴点位置データと視線方向データ、および部材テーブルに格納される部材配置データに基づき、建築物Ｘを構成する複数の部材の中から、画像データの生成に必要な部材を選択する（ステップＳ２０１）。ステップＳ２０１において画像データ生成手段１１５により選択される部材は、視聴点位置データが示す視聴点から視線方向データが示す視線方向に向かう方向を中心とする所定の視野角（画角）の範囲内に配置される部材である。

【0054】

続いて、画像データ生成手段１１５はステップＳ２０１において選択した部材の部材配置データを部材テーブルから読み出すとともに、それらの部材の材料ＩＤに応じた外観を示すデータ（以下、外観データという）を材料テーブルから読み出す。画像データ生成手段１１５は、読み出した部材配置データと外観データ、および視聴点位置データと視線方向データに基づき、視聴点において視線方向を向いた視聴者に見える形象を表す画像データを生成する（ステップＳ２０２）。なお、ステップＳ２０２における処理はＢＩＭ等において採用されている周知の処理であるため、その説明を省略する。

【0055】

指示手段１１６は、上記のように音データ生成手段１１４により生成される到達音データが表す音の発音を発音装置１４に指示すると同時に、上記のように画像データ生成手段１１５により生成される画像データが表す形象の表示を表示装置１３に指示する（ステップＳ３０１）。発音装置１４は指示手段１１６による指示に従い到達音の発音を行い、表示装置１３は指示手段１１６の指示に従い形象の表示を行う。その結果、視聴者Ｕは視聴点において視線方向を向いたときに聞こえる音を聞き、視線方向を向いたときに見える形象を見ることができる。図１０は、視聴者Ｕに仮想空間Ｓが提供される様子を示した図である。図１０に示されるように、表示装置１３には仮想空間Ｓの形象を含む画面（以下、形象表示画面という）が表示される。また、発音装置１４からは仮想空間Ｓにおける音が発音される。

【0056】

また、形象表示画面には、入力画面が縮小表示される。視聴者Ｕはこの入力画面において視聴者アイコンＡや音源アイコンＢの位置や方向の変更、新たな音源の追加、音源の種類、発生音、音量の変更等の操作を行うことができる。視聴者Ｕがそれらの操作を行うと、データ処理装置１１はそれらの操作に応じて新たに取得されたデータに基づき、図７に示した処理を繰り返す。その結果、視聴者Ｕは実質的にリアルタイムに、仮想空間Ｓの中を移動した場合の形象や音の変化を体験したり、音源が変更された場合の音の変化を体験したりすることができる。

【0057】

上述した仮想空間視聴システム１によれば、高い臨場感をもたらす仮想空間が視聴者に提供される。ところで、部材テーブル（図４参照）は、建築物Ｘの設計においてＢＩＭのデータとして作成されているデータである。そのため、仮想空間視聴システム１において、部材テーブルを新たに作成する必要はない。

【0058】

また、材料テーブル（図６参照）に格納されるデータのうち、材料音響特性データ以外のデータは、建築物Ｘの設計においてＢＩＭが用いられていれば、ＢＩＭのデータとして作成されているデータである。従って、仮想空間視聴システム１において画像データの生成に用いられる外観データを新たに作成する必要はない。

【0059】

また、仮想空間視聴システム１においては、建築物Ｘを構成する部材に同じ材料の部材が多数含まれるような場合、それらの部材の材料に応じた材料音響特性データが材料テーブルから読み出されて用いられる。従って、ユーザ（例えば、仮想空間視聴システム１の管理者）は、材料毎に一度、材料テーブルに材料音響特性データを入力すれば、その後、建築物Ｘを構成する複数の部材の各々に対し、音響特性データを入力する必要はない。

【0060】

このように、仮想空間視聴システム１によれば、ユーザはデータの入力に多大な労力を要することなく、視聴者に対する仮想空間の提供を行うことができる。

【0061】

また、仮想空間視聴システム１においては、建築物Ｘを構成する複数の部材のうち、到達音データの生成において考慮する部材が選択手段１１３により選択される。その際、選択手段１１３は部材音響特性データに基づき、音が大きく減衰する伝播経路上の部材は到達音データの生成において考慮する部材から除外する。そのため、音の減衰が少ない伝播経路に関しては、仮に当該伝播経路の上に複数の部材が位置していても、それらの部材の音響特性が到達音データに反映される一方、音の減衰が大きい伝播経路に関しては、それらの伝播経路の上の部材の音響特性は到達音データに反映されない。従って、仮想空間視聴システム１によれば、処理の負荷の大きな増加を伴うことなく、高い臨場感をもたらす音が視聴者に提供される。

【0062】

［変形例］
上述した実施形態は、本発明の一実施例であって、本発明はこれに限定されるものではなく、技術的思想の範囲内で様々に変形可能である。以下にそれらの変形の例を示す。なお、上述した実施形態と以下に例示する変形例はそれらの２以上が組み合わされてもよい。

【0063】

（１）上述した実施形態の説明においては、視聴者により指定される視聴点が建築物の内側である場合を例示したが、既述のとおり、視聴点は建築物の外側に配置されてもよい。図１１は視聴点が建築物Ｘの外側に配置される場合の入力画面を例示した図である。なお、図１１の例では、建築物Ｘの内側に音源アイコンＢ１で示される音源と、音源アイコンＢ２で示される音源が配置されている。また、建築物Ｘの外側に音源アイコンＢ３で示される音源が配置されている。

【0064】

この場合、視聴者Ｕには、視聴者アイコンＡで示される視聴点において、建築物Ｘの内側から外壁部材Ｍ５を透過して視聴点に到達する音と、建築物Ｘの外側から直接、または外壁部材Ｍ５に反射した後、視聴点に到達する音がミキシングされた音が提供される。このように、仮想空間視聴システム１によれば、仮想空間において視聴者が建築物の外にいる場合の高い臨場感が視聴者に提供される。

【0065】

（２）上述した実施形態においては、材料テーブルに格納される材料音響特性データが変換等をされずに部材の音響特性を示す部材音響特性データとして用いられる。音データ生成手段１１４が、例えばデータの形式の違い等により、材料テーブルに格納されている材料音響特性データをそのまま読み出して用いることができない場合、データ処理装置１１が材料音響特性データを、音データ生成手段１１４が利用可能な部材音響特性データに変換する変換手段を備える構成が採用されてもよい。

【0066】

この変形例において、例えば、記憶装置１１２には、変換のための規則を示す変換規則データが記憶される。変換規則データは、例えば変換の前後のデータの対応を示す対応表であってもよい。変換手段は、部材の材料に応じた材料音響特性データを材料テーブルから読み出し、読み出した材料音響特性データを変換規則データが示す規則に従い変換し、部材音響特性データを生成する。このように変換手段により変換された部材音響特性データが、音データ生成手段１１４による到達音データの生成に用いられる。

【0067】

例えば、材料テーブルに格納されている材料音響特性データが８つの周波数帯に関する音響特性を示し、音データ生成手段１１４が１０個の周波数帯に関する音響特性を利用可能な場合、変換手段は、材料音響特性データが示す８つの周波数帯に関する音響特性を、補間等の処理により１０個の周波数帯に関する音響特性に変換し、変換後の音響特性を示すデータを部材音響特性データとして音データ生成手段１１４に引き渡す。

【0068】

（３）上述した実施形態においては、音データ生成手段１１４は左右２チャンネルの到達音データを生成するものとした。到達音データのチャンネル数は２チャンネルに限らず、例えば、３チャンネル以上のサラウンド音を示す到達音データが生成されてもよい。

【0069】

（４）上述した実施形態においては、到達音データの生成に用いられる音響特性として、音反射特性、音透過特性、音伝達特性が採用されるものとした。これらは音響特性の一例であって、例えば音拡散率等の他の種類の音響特性が到達音データの生成に用いられてもよい。

【0070】

（５）上述した実施形態においては、発生音データは音波形により発生音を表すものとした。発生音データの形式は音波形を示すものに限られない。例えば、発生音データが、基本となる音波形等を加工して様々な音を生成するシンセサイザにおいて用いられるパラメータを示してもよい。

【0071】

（６）上述した実施形態においては、部材テーブル、材料テーブル等を記憶する記憶装置１１２はデータ処理装置１１が備えるものとした。これに代えて、記憶装置１１２がデータ処理装置１１の外部に接続されてもよい。また、上述した実施形態においては、表示装置１３および発音装置１４はデータ処理装置１１の外部に接続されるものとした。これらの少なくとも一方がデータ処理装置１１に内蔵されてもよい。

【0072】

（７）上述した実施形態においては、部材テーブルは、建築物Ｘの設計においてＢＩＭのデータとして作成されているデータである。これに代えて、例えば三次元ＣＡＤ（Computer Aided Design）のデータが部材テーブルとして用いられてもよい。

【0073】

（８）上述した実施形態においては、データ処理装置１１はコンピュータ１０が本実施形態にかかるプログラムに従う処理を行うことにより実現されるものとした。これに代えて、データ処理装置１１が専用装置として構成されてもよい。

【0074】

（９）上述した実施形態において、コンピュータ１０を図３に示した構成部を備えるデータ処理装置１１として機能させるプログラムは、データを持続的に記録し、コンピュータ１０によって当該データの読み取りが可能な記録媒体に記録されて頒布され、コンピュータ１０に読み取られて用いられてもよいし、インターネット等の通信回線を介してコンピュータ１０にダウンロードされて用いられてもよい。

【符号の説明】

【0075】

１…仮想空間視聴システム、１０…コンピュータ、１１…データ処理装置、１２…操作装置、１３…表示装置、１４…発音装置、１０１…メモリ、１０２…プロセッサ、１０３…操作入力Ｉ／Ｆ、１０４…画像出力Ｉ／Ｆ、１０５…音出力Ｉ／Ｆ、１１１…操作データ取得手段、１１２…記憶装置、１１３…選択手段、１１４…音データ生成手段、１１５…画像データ生成手段、１１６…指示手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】