特許第6614241号(P6614241)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ ヤマハ株式会社の特許一覧
特許6614241耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法
<>
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000004
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000005
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000006
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000007
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000008
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000009
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000010
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000011
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000012
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000013
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000014
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000015
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000016
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000017
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000018
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000019
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000020
  • 特許6614241-耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6614241
(24)【登録日】2019年11月15日
(45)【発行日】2019年12月4日
(54)【発明の名称】耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法
(51)【国際特許分類】
   A61B 5/107 20060101AFI20191125BHJP
   H04S 7/00 20060101ALI20191125BHJP
   A61B 5/12 20060101ALI20191125BHJP
【FI】
   A61B5/107
   H04S7/00 340
   A61B5/12
【請求項の数】7
【全頁数】17
(21)【出願番号】特願2017-540524(P2017-540524)
(86)(22)【出願日】2016年2月8日
(86)【国際出願番号】JP2016053661
(87)【国際公開番号】WO2017047116
(87)【国際公開日】20170323
【審査請求日】2018年6月25日
(31)【優先権主張番号】特願2015-180994(P2015-180994)
(32)【優先日】2015年9月14日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】100125689
【弁理士】
【氏名又は名称】大林 章
(74)【代理人】
【識別番号】100128598
【弁理士】
【氏名又は名称】高田 聖一
(74)【代理人】
【識別番号】100121108
【弁理士】
【氏名又は名称】高橋 太朗
(72)【発明者】
【氏名】金子 昌賢
【審査官】 鈴木 圭一郎
(56)【参考文献】
【文献】 国際公開第2005/025270(WO,A1)
【文献】 特表2013−524711(JP,A)
【文献】 特開2015−019360(JP,A)
【文献】 米国特許出願公開第2013/0169779(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00−5/12
H04S 7/00
(57)【特許請求の範囲】
【請求項1】
標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを複数の標本耳の各々について生成する標本耳解析部と、
前記標本耳解析部が前記複数の標本耳についてそれぞれ生成した複数の耳形状データの平均により平均形状データを生成する平均算定部と、
前記基準耳の立体形状を表現する点群の各点の座標を前記平均形状データにより変換することで、前記複数の標本耳の平均耳形状を特定する耳形状特定部と
を具備する耳形状解析装置。
【請求項2】
前記耳形状特定部が特定した前記平均耳形状に対応する頭部伝達関数を算定する関数算定部
を具備する請求項1の耳形状解析装置。
【請求項3】
前記標本耳解析部は、前記基準耳の点群の一部である第1群の各点に対応する複数の変換ベクトルを含む耳形状データを前記複数の標本耳の各々について生成し、
前記平均算定部は、前記複数の耳形状データの平均により、前記第1群の各点に対応する複数の変換ベクトルを含む前記平均形状データを生成し、
前記耳形状特定部は、前記基準耳の点群のうち前記第1群以外の第2群の各点に対応する変換ベクトルを、前記平均形状データに含まれる前記複数の変換ベクトルの補間により生成し、前記基準耳の点群のうち前記第1群の各点の座標を前記平均形状データの各変換ベクトルにより変換するとともに前記第2群の各点の座標を前記補間後の各変換ベクトルにより変換することで前記平均耳形状を特定する
請求項1または請求項2の耳形状解析装置。
【請求項4】
複数の属性のいずれかの指定を受け付ける指定受付部を具備し、
前記標本耳解析部は、前記複数の標本耳のうち、前記指定受付部で指定された属性を有する標本耳の各々について前記耳形状データを生成する
請求項1から請求項3のいずれかの耳形状解析装置。
【請求項5】
複数の属性の各々について、当該属性を有する複数の標本耳の形状を反映した平均耳形状に対応する頭部伝達関数を算定する耳形状解析部と、
前記複数の属性のいずれかの指定を受け付ける指定受付部と
を具備する情報処理装置であって、
前記平均耳形状は、
前記複数の標本耳の各々について、当該標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを生成し、
前記複数の標本耳についてそれぞれ生成した複数の耳形状データの平均により平均形状データを生成し、
前記基準耳の立体形状を表現する点群の各点の座標を前記平均形状データにより変換することで特定された形状である
情報処理装置
【請求項6】
標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを複数の標本耳の各々について生成し、
前記複数の標本耳についてそれぞれ生成した複数の耳形状データの平均により平均形状データを生成し、
前記基準耳の立体形状を表現する点群の各点の座標を前記平均形状データにより変換することで、前記複数の標本耳の平均形状を反映した平均耳形状を特定する
耳形状解析方法。
【請求項7】
複数の属性の各々について、当該属性を有する複数の標本耳の形状を反映した平均耳形状に対応する頭部伝達関数を算定し、
前記複数の属性のいずれかの指定を受け付ける
情報処理方法であって、
前記平均耳形状は、
前記複数の標本耳の各々について、当該標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを生成し、
前記複数の標本耳についてそれぞれ生成した複数の耳形状データの平均により平均形状データを生成し、
前記基準耳の立体形状を表現する点群の各点の座標を前記平均形状データにより変換することで特定された形状である
情報処理方法
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部伝達関数の解析に利用される耳形状を解析する技術に関する。
【背景技術】
【0002】
音響を表す音響信号に頭部伝達関数を畳込んで再生(バイノーラル再生)することで、音像の位置を明瞭に認識可能な臨場感のある音場を受聴者に知覚させることが可能である。頭部伝達関数は、例えば受聴者本人の頭部における耳孔の位置で収録された音響から解析され得るが、現実的には測定時の受聴者の肉体的および精神的な負担が大きいという問題がある。
【0003】
以上の事情を背景として、特定形状のダミーヘッドを利用して収録された音響から頭部伝達関数を解析する技術が提案されている。また、例えば非特許文献1には、個々の受聴者の頭部形状に適合した頭部伝達関数を推定する技術が開示され、非特許文献2には、複数の方向から撮影された受聴者の頭部の画像を利用して当該受聴者の頭部伝達関数を解析する技術が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Song Xu, Zhihong Li, and Gaviriel Salvendy, "Individualization of head-related transfer function for three-dimensional virtual auditory display: a review," Virtual Reality. Springer Berlin Heidelberg, 2007. 397-407.
【非特許文献2】Dellepiane Matteo, et al. "Reconstructing head models from photographs for individualized 3D audio processing," Computer Graphics Forum. Vol.27 NO.7, Blackwell Publishing Ltd., 2008.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、受聴者とは別人の頭部形状やダミーヘッドの形状が反映された頭部伝達関数では、受聴者が音像の適切な位置を知覚できない場合が多い。また、受聴者自身の頭部形状が反映された頭部伝達関数でも、例えば測定精度が充分でない場合には、やはり受聴者は適切な位置を知覚できない可能性がある。以上の事情を考慮して、本発明は、多数の受聴者が音像の適切な位置を知覚可能な頭部伝達関数を生成することを目的とする。
【課題を解決するための手段】
【0006】
以上の課題を解決するために、本発明の一態様にかかる耳形状解析装置は、標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを複数の標本耳の各々について生成する標本耳解析部と、標本耳解析部が複数の標本耳についてそれぞれ生成した複数の耳形状データの平均により平均形状データを生成する平均算定部と、基準耳の立体形状を表現する点群の各点の座標を平均形状データにより変換することで、複数の標本耳の平均耳形状を特定する耳形状特定部とを具備する。以上の態様では、標本耳の点群と基準耳の点群との差分を表す耳形状データが複数の標本耳の各々について生成され、耳形状データを複数の標本耳について平均した平均形状データにより基準耳の点群の各点の座標を変換することで、複数の標本耳の形状の傾向が総合的に反映された平均耳形状が特定される。したがって、耳形状特定部が特定した平均耳形状を利用することで、多数の受聴者が音像の適切な位置を知覚可能な頭部伝達関数を生成することが可能となる。
【0007】
本発明の好適な態様に係る耳形状解析装置は、耳形状特定部が特定した平均耳形状に対応する頭部伝達関数を算定する関数算定部を具備する。以上の態様では、耳形状特定部が特定した平均耳形状に対応する頭部伝達関数が算定される。本発明によれば、前述の通り、多数の受聴者が音像の適切な位置を知覚可能な頭部伝達関数を生成することが可能である。
【0008】
本発明の好適な態様において、標本耳解析部は、基準耳の点群の一部である第1群の各点に対応する複数の変換ベクトルを含む耳形状データを複数の標本耳の各々について生成し、平均算定部は、複数の耳形状データの平均により、第1群の各点に対応する複数の変換ベクトルを含む平均形状データを生成し、耳形状特定部は、基準耳の点群のうち第1群以外の第2群の各点に対応する変換ベクトルを、平均形状データに含まれる複数の変換ベクトルの補間により生成し、基準耳の点群のうち第1群の各点の座標を平均形状データの各変換ベクトルにより変換するとともに第2群の各点の座標を補間後の各変換ベクトルにより変換することで平均耳形状を特定する。以上の態様では、基準耳の点群のうち第2群の各点に対応する変換ベクトルが平均形状データの複数の変換ベクトルの補間により生成されるから、基準耳の点群の全部について標本耳解析部が変換ベクトルを生成する必要はない。したがって、標本耳解析部が耳形状データを生成する処理の負荷を軽減することが可能である。
【0009】
本発明の好適な態様に係る耳形状解析装置は、複数の属性のいずれかの指定を受け付ける指定受付部を具備し、標本耳解析部は、複数の標本耳のうち、指定受付部で指定された属性を有する標本耳の各々について耳形状データを生成する。以上の態様では、指定された属性を有する標本耳を耳形状データの生成の対象とするから、受聴者が所望の属性を指定することで、当該属性を有する標本耳の平均耳形状が特定される。したがって、属性を考慮しない構成と比較して受聴者の属性により適した頭部伝達関数を生成することが可能となり、受聴者が音像の位置をより適切に知覚できる可能性が向上する。属性には任意の種々のものが含まれ得るが、性別、年齢、体格、人種など、標本耳の立体形状が測定された人の属性のほか、耳形状を概略的な特徴により分類した類型(タイプ)等が例示される。
【0010】
本発明は、以上の各態様にかかる耳形状解析装置の動作方法(耳形状解析方法)としても特定される。具体的には、本発明の一態様にかかる耳形状解析方法は、標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを複数の標本耳の各々について生成することと、複数の標本耳についてそれぞれ生成した複数の耳形状データの平均により平均形状データを生成することと、基準耳の立体形状を表現する点群の各点の座標を平均形状データにより変換することで、複数の標本耳の平均形状を反映した平均耳形状を特定することとを含む。
【0011】
本発明の一態様にかかる情報処理装置は、複数の属性の各々について、当該属性を有する複数の標本耳の形状を反映した頭部伝達関数を算定する耳形状解析部と、耳形状解析部が複数の属性についてそれぞれ算定した、複数の頭部伝達関数のいずれかの指定を受け付ける指定受付部とを具備する。また、本発明は、当該情報処理装置の動作方法(情報処理方法)としても特定される。具体的には、本発明の一態様にかかる情報処理方法は、複数の属性の各々について、当該属性を有する複数の標本耳の形状を反映した頭部伝達関数を算定することと、複数の属性についてそれぞれ算定した、複数の頭部伝達関数のいずれかの指定を受け付けることとを含む。以上の態様では、属性ごとに算定した頭部伝達関数のいずれかが指定されるので、受聴者が所望の頭部伝達関数(すなわち、所望の属性に対応する頭部伝達関数)を指定することで、属性を考慮しない構成と比較して受聴者が音像の位置をより適切に知覚可能となる。
【図面の簡単な説明】
【0012】
図1】本発明の第1実施形態に係る音響処理装置の構成図である。
図2】耳形状解析部の構成図である。
図3】標本耳解析処理のフローチャートである。
図4】標本耳解析処理の説明図である。
図5】耳形状特定部の動作の説明図である。
図6】関数算定処理のフローチャートである。
図7】頭部伝達関数の算定に利用される目標形状の説明図である。
図8】耳形状解析処理のフローチャートである。
図9】音響処理部の構成図である。
図10】第2実施形態の耳形状特定部の動作の説明図である。
図11】第2実施形態の耳形状特定部の動作のフローチャートである。
図12】第3実施形態にかかる音響処理装置の構成図である。
図13】指定受付部の表示例である。
図14】耳形状解析処理のフローチャートである。
図15】第4実施形態にかかる音響処理装置の構成図である。
図16】変形例における音響処理部の構成図である。
図17】変形例における音響処理部の構成図である。
図18】変形例における音響処理システムの構成図である。
【発明を実施するための形態】
【0013】
<第1実施形態>
図1は、本発明の第1実施形態に係る音響処理装置100の構成図である。図1に例示される通り、第1実施形態の音響処理装置100には信号供給装置12と放音装置14とが接続される。信号供給装置12は、音声や楽音等の音響を表す音響信号XAを音響処理装置100に供給する。具体的には、周囲の音響を収音して音響信号XAを生成する収音装置や、可搬型または内蔵型の記録媒体から音響信号XAを取得して音響処理装置100に供給する再生装置が信号供給装置12として採用され得る。
【0014】
音響処理装置100は、信号供給装置12から供給される音響信号XAに対する音響処理で音響信号XBを生成する信号処理装置である。音響信号XBは、左右2チャネルのステレオ信号である。具体的には、音響処理装置100は、標本(サンプル)として事前に用意された複数の耳(以下「標本耳」という)の形状の傾向が総合的に反映された頭部伝達関数(HRTF:Head Related Transfer Function)Fを音響信号XAに畳込むことで音響信号XBを生成する。第1実施形態では右耳を標本耳として便宜的に例示する。放音装置14(例えばヘッドホンやイヤホン)は、受聴者の両耳に装着される音響機器であり、音響処理装置100が生成した音響信号XBに応じた音響を放音する。放音装置14からの再生音を受聴した利用者は、音響成分の音源の位置を明確に知覚することが可能である。なお、音響処理装置100が生成した音響信号XBをデジタルからアナログに変換するD/A変換器の図示は便宜的に省略した。また、信号供給装置12や放音装置14を音響処理装置100に搭載することも可能である。
【0015】
図1に例示される通り、音響処理装置100は、制御装置22と記憶装置24とを具備するコンピュータシステムで実現される。記憶装置24は、制御装置22が実行するプログラムや制御装置22が使用する各種のデータを記憶する。半導体記録媒体または磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置24として任意に採用され得る。音響信号XAを記憶装置24に記憶した構成(したがって信号供給装置12は省略され得る)も好適である。
【0016】
制御装置22は、CPU(Central Processing Unit)等の演算装置であり、記憶装置24に記憶されたプログラムを実行することで複数の機能(耳形状解析部40,音響処理部50)を実現する。なお、制御装置22の機能を複数の装置に分散した構成や、専用の電子回路が制御装置22の一部の機能を分担する構成も採用され得る。耳形状解析部40は、複数の標本耳の形状の傾向が総合的に反映された頭部伝達関数Fを生成する。音響処理部50は、耳形状解析部40が生成した頭部伝達関数Fを音響信号XAに畳込むことで音響信号XBを生成する。制御装置22が実現する各要素の詳細を以下に説明する。
【0017】
<耳形状解析部40>
図2は、耳形状解析部40の構成図である。図2に例示される通り、第1実施形態の記憶装置24は、N個(Nは2以上の自然数)の標本耳の各々と事前に用意された1個の耳(以下「基準耳」という)とについて立体形状データDを記憶する。例えば事前に不特定多数の人間から立体形状が測定された多数の耳(例えば右耳)のうち特定の1個を基準耳として選択するとともに残余を標本耳として選択したうえで各々について立体形状データDが生成される。各立体形状データDは、標本耳および基準耳の各々の立体形状を表現するデータである。具体的には、例えば耳形状を多角形の集合体で表現したポリゴンメッシュデータが立体形状データDとして好適に利用される。図2に例示される通り、第1実施形態の耳形状解析部40は、点群特定部42と標本耳解析部44と平均算定部46と耳形状特定部48と関数算定部62とを具備する。
【0018】
点群特定部42は、各標本耳および基準耳の立体形状を表現する複数点の集合(以下「点群」という)を特定する。第1実施形態の点群特定部42は、N個の標本耳の各々の立体形状データDから当該標本耳の点群PS(n)(n=1〜N)を特定するとともに、基準耳の立体形状データDから基準耳の点群PRを特定する。具体的には、点群特定部42は、N個のうち第n番目の標本耳の立体形状データDで指定されるポリゴンの各頂点の集合を点群PS(n)として特定するとともに、基準耳の立体形状データDで指定されるポリゴンの各頂点の集合を点群PRとして特定する。
【0019】
標本耳解析部44は、点群特定部42が特定した標本耳の点群PS(n)と基準耳の点群PRとの差分を表す耳形状データV(n)(V(1)〜V(N))をN個の標本耳の各々について生成する。図3は、標本耳解析部44が任意の1個の標本耳の耳形状データV(n)を生成する処理(以下「標本耳解析処理」という)SA2のフローチャートである。図3の標本耳解析処理SA2がN個の標本耳の各々について実行されることでN個の耳形状データV(1)〜V(N)が生成される。
【0020】
標本耳解析処理SA2を開始すると、標本耳解析部44は、処理対象の1個の標本耳の点群PS(n)と基準耳の点群PRとの間で立体空間内における位置合わせを実行する(SA21)。具体的には、標本耳解析部44は、図4に例示される通り、基準耳の点群PRに含まれる複数の点pR(pR1,pR2,……)の各々について、当該点pRに対応する点群PS(n)内の1個の点pS(pS1,pS2,……)を特定する。点群PS(n)と点群PRとの位置合わせには公知の方法が任意に採用され得るが、例えばChui,Halil, and Anand Rangarajan, "A new point matching algorithm for non-rigid registration," Computer Vision and Image Understanding 89.2 (2003); 114-141や、Jian, Bing, and Baba C. Vemuri, "Robust point set registration using Gaussian mixture models," Pattern Analysis and Machine Intelligence, IEEE Transaction on 33.8(2011);1633-1645に開示された方法が好適である。
【0021】
標本耳解析部44は、図4に例示される通り、基準耳の点群PRを構成するKA個(KAは2以上の自然数)の点pRの各々について、標本耳の点群PS(n)のうち当該点pRに対応する点pSとの差分を表現する変換ベクトルWを生成する(SA22)。任意の1個の変換ベクトルWは、立体空間内に設定された各軸の座標値を要素とする3次元ベクトルである。具体的には、点群PR内の1個の点pRの変換ベクトルWは、当該点pRを起点として点群PS(n)内の1個の点pSの立体空間内での位置を表現する。すなわち、点群PR内の1個の点pRに当該点pRの変換ベクトルWを付加することで、当該点pRに対応する点群PS(n)内の1個の点pSが再現される。したがって、基準耳の点群PR内の1個の点pRに対応する変換ベクトルWは、当該点pRに対応する他点(点群PS(n)の1個の点pS)に当該点pRを移動ないし変換するためのベクトル(ワーピングベクトル)と表現され得る。
【0022】
標本耳解析部44は、以上の手順で生成したKA個の変換ベクトルWを含む標本耳の耳形状データV(n)を生成する(SA23)。具体的には、耳形状データV(n)は、基準耳の点群PRを構成するKA個の点pRについて事前に決定された順番でKA個の変換ベクトルWを配列したベクトルである。以上の説明から理解される通り、任意の1個の標本耳の立体形状を表す点群PS(n)と基準耳の立体形状を表す点群PRとの差分を表す耳形状データV(n)がN個の標本耳の各々について生成される。
【0023】
図2の平均算定部46は、標本耳解析部44が生成したN個の耳形状データV(1)〜V(N)の平均により平均形状データVAを生成する。具体的には、第1実施形態の平均算定部46は、N個の耳形状データV(1)〜V(N)に以下の数式(1)を適用することで平均形状データVAを生成する。
【数1】
【0024】
以上の説明から理解される通り、平均算定部46が生成する平均形状データVAは、各耳形状データV(n)と同様に、基準耳の点群PRの相異なる点pRに対応するKA個の変換ベクトルWを包含する。具体的には、平均形状データVAに含まれるKA個の変換ベクトルWのうち基準耳の点群PRの任意の1個の点pRに対応する変換ベクトルWは、標本耳の耳形状データV(n)のうち当該点pRの変換ベクトルWをN個の耳形状データV(1)〜V(N)にわたり平均した3次元ベクトルである。なお、以上の説明ではN個の耳形状データV(1)〜V(N)の単純平均を例示したが、平均形状データVAを生成する平均の演算内容は以上の例示に限定されない。例えば、標本耳毎に事前に設定された加重値をかけたN個の耳形状データV(1)〜V(N)の加重和で平均形状データVAを生成することも可能である。
【0025】
図2の耳形状特定部48は、平均算定部46が算定した平均形状データVAにより基準耳の点群PRの各点pRの座標を変換することで平均耳形状ZAを特定する。耳形状特定部48は、図5に例示される通り、基準耳の立体形状データDで規定される点群PRのKA個の点pRの各々の座標に、平均形状データVAのうち当該点pRに対応する変換ベクトルWを加算する(すなわち立体空間内で点pRを移動させる)ことで、平均耳形状ZAを表す立体形状データ(ポリゴンメッシュデータ)を生成する。以上の説明から理解される通り、標本耳の点群PS(n)と基準耳の点群PRとの差分を表す耳形状データV(n)をN個の標本耳について反映させた右耳の平均耳形状ZAが生成される。すなわち、平均耳形状ZAは、N個の標本耳の形状が総合的に反映された立体形状である。
【0026】
関数算定部62は、耳形状特定部48が特定した平均耳形状ZAに対応する頭部伝達関数Fを算定する。なお、頭部伝達関数Fを時間領域の頭部インパルス応答(HRIR:Head-Related Impulse Response)として表現することも可能である。図6は、関数算定部62が頭部伝達関数Fを算定する処理(以下「関数算定処理」という)SA5のフローチャートである。耳形状特定部48による平均耳形状ZAの特定を契機として関数算定処理SA5が実行される。
【0027】
関数算定処理SA5を開始すると、関数算定部62は、図7に例示される通り、耳形状特定部48が特定した右耳の平均耳形状ZAから左耳の平均耳形状ZBを特定する(SA51)。具体的には、関数算定部62は、平均耳形状ZAに対して対称関係にある耳形状を左耳の平均耳形状ZBとして特定する。そして、関数算定部62は、図7に例示される通り、所定の頭部形状ZHに平均耳形状ZAと平均耳形状ZBとを連結することで、頭部と両耳とを含む頭部全体の形状(以下「目標形状」という)Zを特定する(SA52)。頭部形状ZHは、例えば、特定のダミーヘッドの形状や不特定多数の人間の頭部の平均的な形状である。
【0028】
関数算定部62は、目標形状Zに対する音響解析で頭部伝達関数Fを算定する(SA53)。具体的には、第1実施形態の関数算定部62は、目標形状Zに対する音響の到来方向(方位角,仰角)を相違させた複数の頭部伝達関数を右耳および左耳の各々について算定する。頭部伝達関数Fの算定には境界要素法や有限要素法等の公知の解析技術が適用され得る。例えば、Katz, Brian FG. "Boundary element method calculation of individual head-related transfer function. I. Rigid model calculation." The Journal of the Acoustical Society of America 110.5 (2001): 2440-2448.等に開示された技術を利用して、目標形状Zに対応する頭部伝達関数Fを算定することが可能である。
【0029】
図8は、第1実施形態の耳形状解析部40が平均耳形状ZAおよび頭部伝達関数Fを生成する処理(以下「耳形状解析処理」という)SAのフローチャートである。例えば頭部伝達関数Fの生成が利用者から指示された場合に図8の耳形状解析処理SAが実行される。
【0030】
耳形状解析処理SAを開始すると、点群特定部42は、N個の標本耳の各々の点群PS(n)(PS(1)〜PS(N))と基準耳の点群PRとを立体形状データDから特定する(SA1)。標本耳解析部44は、点群特定部42が特定した標本耳の点群PS(n)と基準耳の点群PRとを用いた図3の標本耳解析処理SA2(SA21〜SA23)により、相異なる標本耳に対応するN個の耳形状データV(1)〜V(N)を生成する。
【0031】
平均算定部46は、標本耳解析部44が生成したN個の耳形状データV(1)〜V(N)の平均で平均形状データVAを生成する(SA3)。耳形状特定部48は、基準耳の点群PRの各点pRの座標を平均形状データVAにより変換することで平均耳形状ZAを特定する(SA4)。関数算定部62は、図6に例示した関数算定処理SA5(SA51〜SA53)により、耳形状特定部48が特定した平均耳形状ZAを含む頭部全体の目標形状Zの頭部伝達関数Fを算定する。以上に例示した耳形状解析処理SAの結果、N個の標本耳の形状の傾向を総合的に反映した頭部伝達関数Fが生成されて記憶装置24に格納される。
【0032】
<音響処理部50>
図1の音響処理部50は、耳形状解析部40が生成した頭部伝達関数Fを音響信号XAに畳込むことで音響信号XBを生成する。図9は、音響処理部50の構成図である。図9に例示される通り、第1実施形態の音響処理部50は、音場制御部52と畳込演算部54Rと畳込演算部54Lとを具備する。
【0033】
利用者は、仮想的な音響空間内の音源位置および受聴位置を含む音場条件を音響処理装置100に対して指示することが可能である。音場制御部52は、音響空間内における受聴位置に対する音響の到来方向を音源位置と受聴位置との関係から算定し、耳形状解析部40が算定した複数の頭部伝達関数Fのうち当該到来方向に対応する右耳および左耳の頭部伝達関数Fを記憶装置24から選択する。畳込演算部54Rは、音場制御部52が選択した右耳の頭部伝達関数Fを音響信号XAに畳込むことで右チャネルの音響信号XB_Rを生成し、畳込演算部54Lは、音場制御部52が選択した左耳の頭部伝達関数Fを音響信号XAに畳込むことで左チャネルの音響信号XB_Lを生成する。なお、時間領域での頭部伝達関数F(頭部インパルス応答)の畳込みは周波数領域での乗算に置換され得る。
【0034】
以上に説明した通り、第1実施形態では、標本耳の点群PS(n)と基準耳の点群PRとの差分を表す耳形状データV(n)がN個の標本耳の各々について生成され、N個の標本耳について耳形状データV(n)を平均した平均形状データVAにより基準耳の点群PRの各点pRの座標を変換することで、N個の標本耳の形状の傾向が総合的に反映された平均耳形状ZAが特定される。したがって、多数の受聴者が音像の適切な位置を知覚可能な頭部伝達関数Fを平均耳形状ZAから生成することが可能である。
【0035】
<第2実施形態>
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【0036】
第1実施形態の標本耳解析処理SA2(図3)では、基準耳の点群PRを構成する全部の点pRの各々について標本耳の各点pSとの間で変換ベクトルWを算定した。第2実施形態の標本耳解析部44は、基準耳の点群PRの一部(以下「第1群」という)を構成するKA個の点pRの各々について標本耳の点群PS(n)の各点pSとの間で変換ベクトルWを算定する。すなわち、第1実施形態では基準耳の点群PRを構成する点pRの総数をKA個と表記したが、第2実施形態の個数KAは、基準耳の点群PRのうち第1群の点pRの個数に相当する。
【0037】
標本耳解析部44が標本耳毎に生成する耳形状データV(n)は、基準耳の点群PRのうち第1群の各点pRに対応するKA個の変換ベクトルWを包含する。耳形状データV(n)と同様に、N個の耳形状データV(1)〜V(N)の平均で平均算定部46が生成する平均形状データVAは、図10に例示される通り、基準耳の点群PRの一部である第1群の各点pRに対応するKA個の変換ベクトルWを包含する。すなわち、基準耳の点群PRのうち第1群以外の部分集合(以下「第2群」という)の各点pRに対応する変換ベクトルWは、平均算定部46が生成する平均形状データVAには包含されない。
【0038】
図11は、第2実施形態の耳形状特定部48が平均形状データVAを利用して平均耳形状ZAを特定する動作のフローチャートである。図8に例示した耳形状解析処理SAのステップSA4で図11の処理が実行される。
【0039】
図10に例示される通り、第2実施形態の耳形状特定部48は、基準耳の点群PRのうち第2群の各点pRに対応するKB個の変換ベクトルWを、平均算定部46が生成した平均形状データVAに含まれるKA個の変換ベクトルWの補間(具体的には内挿)により生成する(SA41)。具体的には、基準耳の点群PRのうち第2群の任意の1個の点(以下「特定点」という)pRの変換ベクトルWは、以下の数式(2)で表現される通り、平均形状データVAのKA個の変換ベクトルWのうち、第1群のなかで当該特定点pRの近傍に位置するQ個(Qは2以上の自然数)の点pR(1)〜pR(Q)の各々の変換ベクトルW(q)(q=1〜Q)の加重和により算定される。
【数2】
【0040】
数式(2)の記号eは自然対数の底であり、記号αは所定の定数(正数)である。また、記号d(q)は、第1群の1個の点pR(q)と特定点pRとの距離(例えばユークリッド距離)を意味する。数式(2)から理解される通り、特定点pRと点pR(q)との距離d(q)に応じた加重値を使用したQ個の変換ベクトルW(1)〜W(Q)の加重和が、特定点pRの変換ベクトルWとして算定される。耳形状特定部48による以上の処理により、基準耳の点群PRを構成する全部((KA+KB)個)の点pRについて変換ベクトルWが算定される。なお、第1群のうち特定点pRの変換ベクトルWの算定に加味される点pR(q)の個数Qは、典型的には第1群の点pRの個数KAを下回る数値に設定されるが、個数KAと同等の数値に設定する(すなわち、第1群の全部の点pRにわたる変換ベクトルWの補間で特定点pRの変換ベクトルWを算定する)ことも可能である。
【0041】
耳形状特定部48は、第1実施形態と同様に、基準耳の各点pRに対応する変換ベクトルWにより基準耳の点群PRの各点pRの座標を変換することで平均耳形状ZAを特定する(SA42)。具体的には、耳形状特定部48は、図10に例示される通り、基準耳の点群PRのうち第1群のKA個の各点pRの座標を平均形状データVAのKA個の変換ベクトルWの各々により変換するとともに、基準耳の点群PRのうち第2群の各点pRの座標を数式(2)の補間後のKB個の変換ベクトルWの各々により変換する(具体的には補間後の変換ベクトルWを各点pRの座標に加算する)ことで、(KA+KB)個の点で表現される平均耳形状ZAを特定する。平均耳形状ZAを利用した頭部伝達関数Fの算定や音響信号XAに対する頭部伝達関数Fの畳込みは第1実施形態と同様である。
【0042】
第2実施形態においても第1実施形態と同様の効果が実現される。また、第2実施形態では、基準耳の点群PRのうち第2群の各点pRに対応する変換ベクトルWが、平均形状データVAに含まれるQ個の変換ベクトルW(1)〜W(Q)の補間(内挿)により生成されるから、基準耳の点群PRの全部について標本耳解析部44が変換ベクトルWを生成する必要はない。したがって、標本耳解析部44が耳形状データV(n)を生成する処理の負荷を軽減することが可能である。
【0043】
<第3実施形態>
本発明の第3実施形態を以下に説明する。図12は、第3実施形態にかかる音響処理装置100の構成図である。図示されるように、第3実施形態の音響処理装置100は、第1実施形態の音響処理装置100の構成に加えて、複数の属性のいずれかの指定を受け付ける指定受付部16を具備する。属性には任意の種々のものが含まれ得るが、性別、年齢(例えば大人または子供)、体格、人種など、標本耳の被測定者(以下、「被験者」という)の属性のほか、耳形状を概略的特徴により分類した類型(タイプ)等が例示される。本実施形態の指定受付部16は、年齢(大人または子供)と性別(男性または女性)とで属性の指定を受け付ける。
【0044】
指定受付部16は、例えば入力装置と表示装置(例えば液晶表示パネル)とが一体的に形成されたタッチパネルである。図13に指定受付部16の表示例を示す。図示のように、指定受付部16には、「大人(男)」、「大人(女)」、「子供(男)」、「子供(女)」をそれぞれ示すボタン型操作子161(161a,161b,161cおよび161d)が表示される。受聴者はボタン型操作子161を指等でタッチすることにより、属性のいずれかを指定可能である。
【0045】
第3実施形態の耳形状解析部40は、指定受付部16で属性が指定されると、指定された属性を有するN個の立体形状データDを記憶装置24から抽出し、抽出した立体形状データDの各々について耳形状データV(n)を生成する。すなわち、耳形状解析部40は、複数の標本耳のうち、指定受付部16で指定された属性を有する標本耳の形状の傾向が総合的に反映された頭部伝達関数Fを生成する。なお、指定された属性に応じて個数Nは相違し得る。
【0046】
図14は、第3実施形態にかかる耳形状解析処理SAのフローチャートである。耳形状解析処理SAは、指定受付部16での属性の指定を契機として開始される。本例では、「大人(男)」のボタン型操作子161aに受聴者がタッチしたとする。耳形状解析部40は、記憶装置24に記憶された複数の立体形状データDのうち、指定受付部16で指定された属性(すなわち、「大人」かつ「男性」の属性)を有するN個の立体形状データDを抽出する(SA1a)。記憶装置24に記憶された複数の立体形状データDの各々には、当該立体形状データDの標本耳の被験者について性別と年齢とが対応付けて予め記憶されている。点群特定部42は、N個の標本耳の各々の点群PS(n)と基準耳の点群PRとを、ステップSA1aで抽出したN個の立体形状データD(「大人」かつ「男性」の属性を有する立体形状データD)から特定し(SA1b)、標本耳解析部44は、N個の立体形状データDの各々について耳形状データV(n)を生成する(SA2)。その後ステップSA3およびSA4の処理を経て、ステップSA5では、「大人」かつ「男性」の属性を有する標本耳の形状が反映された頭部伝達関数Fを関数算定部62が生成する。
【0047】
以上に説明したように、第3実施形態では、指定された属性を有する標本耳を耳形状データV(n)の生成の対象とするから、受聴者が所望の属性を指定することで、当該属性を有する標本耳の平均耳形状ZAが特定される。したがって、受聴者が自身の属性を指定受付部16から指定することで、属性を考慮しない構成と比較して、受聴者の属性にとってより適した頭部伝達関数Fを生成することが可能となり、受聴者が音像の位置をより適切に知覚できる可能性が向上する。
【0048】
なお、指定可能な属性の選択肢は前述の例示に限られない。例えば、ボタン型操作子161の代わりに、性別や年齢、体格といった属性の種別ごとに複数の選択肢(例えば、性別の場合には「男」、「女」、および「指定なし」)を表示した入力画面から、所望の選択肢を受聴者に選択させる構成としてもよい。ここで、「指定なし」を選択することで「性別」の属性を指定しないことを受聴者は選択することができる。このように、各属性を指定するか否かは、属性の種別ごとに受聴者が選択し得る。本実施形態では、記憶装置24に記憶された複数の立体形状データDの各々に、当該立体形状データDの標本耳の被験者について種々の属性が対応付けて予め記憶されており、指定受付部16で指定された属性に応じた立体形状データDが抽出される。したがって、受聴者が所望する粒度において受聴者の属性に適合した頭部伝達関数Fの生成が可能となる。例えば、複数の属性を受聴者が指定すれば、複数の属性の論理積条件を満たす立体形状データDから頭部伝達関数Fが生成され、1つの属性を指定すれば当該ひとつの属性を条件的に満たす頭部伝達関数Fが生成される。すなわち、多数の属性を指定するほど、より細やかな粒度で受聴者の属性に適合した頭部伝達関数Fが生成される。受聴者が重視する属性を優先的に反映した(あるいは受聴者が重視しない属性の影響を低減した)頭部伝達関数Fを生成できる、とも換言され得る。
【0049】
<第4実施形態>
本発明の第4実施形態を以下に説明する。図15は、第4実施形態に係る音響処理装置100の構成図である。図示されるように、第4実施形態の音響処理装置100は、記憶装置24が複数の頭部伝達関数Fを記憶する点を除いて、第3実施形態の音響処理装置100と同様の構成を有する。具体的には、第4実施形態では、耳形状解析部40は、複数の属性の各々について頭部伝達関数Fを予め算定する。すなわち、第4実施形態の耳形状解析部40は、図14に示す耳形状解析処理SAを複数の属性の各々について予め実行し、当該複数の属性についてそれぞれ算定された複数の頭部伝達関数Fを記憶装置24に記憶しておく(各頭部伝達関数Fは、耳形状解析部40の関数算定部62が算定した複数の頭部伝達関数(目標形状Zに対する音響の到来方向を相違させた複数の頭部伝達関数)の集合である)。指定受付部16から属性が指定されると、音響処理部50は、指定された属性に応じた頭部伝達関数Fを記憶装置24から読み出して、音響信号XAに畳込むことで音響信号XBを生成する。本実施形態では、属性ごとに算定した頭部伝達関数Fのいずれかが指定受付部16から指定されるので、受聴者が所望の頭部伝達関数F(すなわち、所望の属性に対応する頭部伝達関数F)を指定することで、属性を考慮しない構成と比較して受聴者が音像の位置をより適切に知覚可能となる。
【0050】
<変形例>
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【0051】
(1)前述の各形態では、右耳の平均耳形状ZAを特定するとともに当該平均耳形状ZAから左耳の平均耳形状ZBを特定し、平均耳形状ZAと平均耳形状ZBとを頭部形状ZHに連結することで目標形状Zを生成したが、目標形状Zの生成方法は以上の例示に限定されない。例えば、第1実施形態と同様の耳形状解析処理SAを耳形状解析部40が右耳および左耳の各々について実行することで、右耳の平均耳形状ZAと左耳の平均耳形状ZBとを相互に独立に生成することも可能である。また、例えば前述の各形態で例示した耳形状解析処理SAと同様の処理により、不特定多数の人間の頭部の平均的な形状を頭部形状ZHとして生成することも可能である。
【0052】
(2)音響処理部50の構成は前述の各形態の例示に限定されず、例えば図16または図17に例示された構成も採用され得る。図16に例示された音響処理部50は、音場制御部52と畳込演算部54Rと畳込演算部54Lと残響生成部56と信号加算部58とを具備する。畳込演算部54Rおよび畳込演算部54Lの動作は第1実施形態と同様である。残響生成部56は、仮想的な音響空間内で発生する後部残響音を音響信号XAから生成する。残響生成部56が生成する後部残響音の音響特性は音場制御部52により制御される。信号加算部58は、残響生成部56が生成した後部残響音を畳込演算部54Rによる処理後の信号に付加することで右チャネルの音響信号XB_Rを生成するとともに、残響生成部56が生成した後部残響音を畳込演算部54Lによる処理後の信号に付加することで左チャネルの音響信号XB_Lを生成する。
【0053】
図17に例示された音響処理部50は、音場制御部52と複数の調整処理部51と信号加算部58とを具備する。複数の調整処理部51の各々は、仮想的な音響空間内で音源位置から発音された音響が受聴位置に到達するまでの相異なる伝播経路を模擬した初期反射音を生成する。具体的には、任意の1個の調整処理部51は、音響特性付与部53と畳込演算部54Rと畳込演算部54Lとを包含する。音響特性付与部53は、音響信号XAの振幅や位相の調整により、音響空間内の1個の伝播経路における距離差による遅延および距離減衰と壁面反射とを模擬する。各音響特性付与部53が音響信号XAに付与する特性は、音響空間の変数(例えば音響空間のサイズや形状,壁面の反射率,音源位置,受聴位置)に応じて音場制御部52が可変に制御する。
【0054】
畳込演算部54Rは、音場制御部52が選択した右耳の頭部伝達関数Fを音響信号XAに畳込み、畳込演算部54Lは、音場制御部52が選択した左耳の頭部伝達関数Fを音響信号XAに畳込む。音場制御部52は、音響空間内の伝播経路上の鏡像音源の位置から右耳までの頭部伝達関数Fを畳込演算部54Rに指示し、当該鏡像音源の位置から左耳までの頭部伝達関数Fを畳込演算部54Lに指示する。信号加算部58は、畳込演算部54Rによる処理後の信号を複数の調整処理部51にわたり加算することで右チャネルの音響信号XB_Rを生成するとともに、畳込演算部54Lによる処理後の信号を複数の調整処理部51にわたり加算することで左チャネルの音響信号XB_Lを生成する。
【0055】
図16の構成と図17の構成とを併合することも可能である。例えば、図17の複数の調整処理部51が生成した初期反射音と図16の残響生成部56が生成した後部(後期)残響音とを含む音響信号XBを生成することも可能である。
【0056】
(3)前述の各形態では、耳形状解析部40と音響処理部50とを具備する音響処理装置100を例示したが、耳形状解析部40を具備する耳形状解析装置としても本発明は表現され得る。耳形状解析装置における音響処理部50の有無は不問である。耳形状解析装置は、例えば、移動体通信網やインターネット等の通信網を介して端末装置と通信可能なサーバ装置で実現され得る。具体的には、耳形状解析装置は、前述の各形態で例示した方法で生成した頭部伝達関数Fを端末装置に送信し、端末装置の音響処理部50が、その頭部伝達関数Fを音響信号XAに畳込むことで音響信号XBを生成する。
【0057】
(4)第3実施形態では、音響処理装置100の指定受付部16に表示された表示画面への入力操作により属性の指定を受け付けるが、通信網を介して接続された受聴者の端末装置から情報処理装置に対して属性を指定する構成としてもよい。図18は、第3実施形態の変形例にかかる音響処理システム400の構成図である。図示のように、本変形例の音響処理システム400は、情報処理装置100Aと、当該情報処理装置100Aにインターネット等の通信網300を介して接続された受聴者の端末装置200とを含む。端末装置200は、例えば携帯電話機やスマートフォン等の可搬型の通信端末である。情報処理装置100Aは記憶装置24と耳形状解析部40と指定受付部16とを具備する。端末装置200は、信号供給装置12と、音響処理部50と指定送信部311とを具備する制御装置31と、放音装置14と、タッチパネル32とを具備する。制御装置31は、CPU等の演算装置であり、図示せぬ記憶装置に記憶されたプログラムを実行することで複数の機能(音響処理部50,指定送信部311)を実現する。タッチパネル32は、入力装置と表示装置(例えば液晶表示パネル)とが一体的に形成されたユーザインターフェイスであり、例えば第3実施形態で例示したようなボタン型操作子161を表示する画面を表示するように構成されている。
【0058】
以上の構成において、端末装置200は、受聴者による属性の指定操作をタッチパネル32から受け付ける。指定送信部311は、指定された属性を示す属性情報を含む要求Rを情報処理装置100Aに対して通信網300を介して送信する。情報処理装置100Aの指定受付部16は、属性情報を含む要求Rを端末装置200から受信する(すなわち、属性の指定を受け付ける)。耳形状解析部40は、指定された属性を有する標本耳を反映した頭部伝達関数Fを第3実施形態において説明した方法で算定し、端末装置200に対して通信網300を介して送信する。端末装置200に対して送信される頭部伝達関数Fは、耳形状解析部40の関数算定部62が算定した複数の頭部伝達関数(目標形状Zに対する音響の到来方向を相違させた複数の頭部伝達関数)の集合である。端末装置200では、音響処理部50が、受信した頭部伝達関数Fを音響信号XAに畳込むことで音響信号XBを生成し、音響信号XBに応じた音響を放音装置14から放音する。なお、以上の説明から理解されるように、本変形例における情報処理装置100Aの指定受付部16は、第3実施形態で例示したような、受聴者による属性の指定操作を受け付けるユーザインターフェイス(ボタン型操作子161が表示されたタッチパネル表示画面)を有さない。
【0059】
第4実施形態についても同様の変形が可能である。この場合、情報処理装置100Aの記憶装置24は複数の属性についてそれぞれ算定された複数の頭部伝達関数Fを予め記憶する。情報処理装置100Aは、指定受付部16で受け付けた属性の指定に応じた頭部伝達関数Fを端末装置200に対して送信する。
【0060】
(5)耳形状解析装置は、前述の各形態で例示した通り、CPU等の制御装置22とプログラムとの協働で実現される。具体的には、耳形状解析用のプログラムは、標本耳の立体形状を表現する点群PS(n)と基準耳の立体形状を表現する点群PRとの差分を表す耳形状データV(n)をN個の標本耳の各々について生成する標本耳解析部44と、標本耳解析部44が生成したN個の耳形状データV(1)〜V(N)の平均により平均形状データVAを生成する平均算定部46と、基準耳の立体形状を表現する点群PRの各点pRの座標を平均形状データVAにより変換することで、N個の標本耳の平均耳形状ZAを特定する耳形状特定部48とをコンピュータに実現させる。
【0061】
以上に例示した態様のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、以上に例示したプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。耳形状解析装置の動作方法(耳形状解析方法)として本発明を表現することも可能である。
【符号の説明】
【0062】
100……音響処理装置、12……信号供給装置、14……放音装置、16……指定受付部、22……制御装置、24……記憶装置、31……制御装置、32……タッチパネル、42……点群特定部、44……標本耳解析部、46……平均算定部、48……耳形状特定部、62……関数算定部、50……音響処理部、51……調整処理部、52……音場制御部、53……音響特性付与部、54R,54L……畳込演算部、56……残響生成部、58……信号加算部、100A……情報処理装置、200……端末装置、300……通信網、311……指定送信部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18