知財求人 - 知財ポータルサイト「IP Force」
特開2024-7669音源及び受音体の位置情報を用いた音場再生プログラム、装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024007669
(43)【公開日】2024-01-19
(54)【発明の名称】音源及び受音体の位置情報を用いた音場再生プログラム、装置及び方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20240112BHJP
H04R 3/00 20060101ALI20240112BHJP
H04R 1/40 20060101ALI20240112BHJP
【ＦＩ】
H04S7/00 300
H04R3/00 310
H04R3/00 320
H04R1/40 310
H04R1/40 320A
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022108891
(22)【出願日】2022-07-06
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】大久保 翔太
(72)【発明者】
【氏名】堀内 俊治
【テーマコード（参考）】
5D018
5D162
5D220
【Ｆターム（参考）】
5D018AF21
5D018BB21
5D162AA13
5D162CA01
5D162CA11
5D162CA21
5D162CA26
5D162CC08
5D162CC11
5D162CC18
5D162CC22
5D162CD08
5D162DA02
5D162DA06
5D162EG02
5D220AA12
5D220AB01
5D220AB08
5D220BA02
5D220BC05
(57)【要約】
【課題】音源及び／又は受音体が任意の位置に存在する又は移動可能となっている場合でも、受音体に対し収音空間の音場を再生することの可能な音場再生プログラムを提供する。
【解決手段】本プログラムは、音源及び受音体における測定された位置情報を取得する位置情報取得手段と、収音空間において音源から見て受音体の対応位置へ向かう方向又はこの方向に所定以上に近い方向に位置するマイクを、取得された位置情報に基づき特定し、特定したマイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、再生空間において受音体から見て音源の対応位置へ向かう方向又はこの方向に所定以上に近い方向から、受音体に向けて、収音された音に相当する音が出力されることになる出力音響信号を、取得された位置情報に基づき、入力音響信号を用いて生成する出力音響信号生成手段としてコンピュータを機能させる。
【選択図】図１
【解決手段】本プログラムは、音源及び受音体における測定された位置情報を取得する位置情報取得手段と、収音空間において音源から見て受音体の対応位置へ向かう方向又はこの方向に所定以上に近い方向に位置するマイクを、取得された位置情報に基づき特定し、特定したマイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、再生空間において受音体から見て音源の対応位置へ向かう方向又はこの方向に所定以上に近い方向から、受音体に向けて、収音された音に相当する音が出力されることになる出力音響信号を、取得された位置情報に基づき、入力音響信号を用いて生成する出力音響信号生成手段としてコンピュータを機能させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生プログラムであって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
してコンピュータを機能させることを特徴とする音場再生プログラム。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
してコンピュータを機能させることを特徴とする音場再生プログラム。
【請求項2】
前記位置情報取得手段は、当該音源における測定された若しくは設定された音の出力方向に係る情報も取得し、
前記入力音響信号決定手段は、当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定し、
前記出力音響信号生成手段は、当該別の入力音響信号と、当該マイクで収音された音に係る当該入力音響信号とを合わせて当該出力音響信号を生成する
ことを特徴とする請求項１に記載の音場再生プログラム。
前記入力音響信号決定手段は、当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定し、
前記出力音響信号生成手段は、当該別の入力音響信号と、当該マイクで収音された音に係る当該入力音響信号とを合わせて当該出力音響信号を生成する
ことを特徴とする請求項１に記載の音場再生プログラム。
【請求項3】
当該別のマイクは、当該マイクよりも指向性の高いマイクとなっていることを特徴とする請求項２に記載の音場再生プログラム。
【請求項4】
当該再生空間は実空間であり、
前記出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき当該出力音響信号を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の音場再生プログラム。
前記出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき当該出力音響信号を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の音場再生プログラム。
【請求項5】
前記出力音響信号生成手段は、特定した当該スピーカと比べて当該受音体の位置により近い又は周囲の境界から見てより内側に位置する少なくとも１つの別のスピーカも特定し、特定した当該別のスピーカへ供給すべき当該出力音響信号も生成することを特徴とする請求項４に記載の音場再生プログラム。
【請求項6】
当該音源及び当該受音体はそれぞれ、実空間である当該収音空間内及び当該再生空間内を移動可能であり、
前記入力音響信号決定手段は、前記位置情報取得手段において１つの時点で測定され取得された当該位置に係る情報に基づき、当該１つの時点における当該マイクを特定して当該１つの時点に係る当該入力音響信号を決定し、
前記出力音響信号生成手段は、当該１つの時点で取得された当該位置に係る情報に基づき、当該１つの時点における当該スピーカを特定して当該１つの時点に係る当該出力音響信号を生成する
ことを特徴とする請求項４に記載の音場再生プログラム。
前記入力音響信号決定手段は、前記位置情報取得手段において１つの時点で測定され取得された当該位置に係る情報に基づき、当該１つの時点における当該マイクを特定して当該１つの時点に係る当該入力音響信号を決定し、
前記出力音響信号生成手段は、当該１つの時点で取得された当該位置に係る情報に基づき、当該１つの時点における当該スピーカを特定して当該１つの時点に係る当該出力音響信号を生成する
ことを特徴とする請求項４に記載の音場再生プログラム。
【請求項7】
当該再生空間は、当該受音体に装着されたステレオホンにおける音像定位に係る仮想空間であり、
前記出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる、前記ステレオホンに供給すべき当該出力音響信号を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の音場再生プログラム。
前記出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる、前記ステレオホンに供給すべき当該出力音響信号を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の音場再生プログラム。
【請求項8】
前記出力音響信号生成手段は、決定された当該別の入力音響信号に対し、当該音源の位置と当該受音体の位置との遠さに応じて振幅を減衰させる振幅調整処理を施し、当該処理を施した当該別の入力音響信号を用いて、出力音響信号を生成することを特徴とする請求項２又は３に記載の音場再生プログラム。
【請求項9】
前記出力音響信号生成手段は、決定された当該別の入力音響信号に対し、当該音源の位置と当該受音体の位置との近さに応じて所定の高周波帯を強調するフィルタリング処理を施し、または、当該音源の位置と当該受音体の位置との間のインパルス応答を決定して当該インパルス応答に係る周波数領域での畳み込み処理を施し、当該処理を施した当該別の入力音響信号を用いて、出力音響信号を生成することを特徴とする請求項２又は３に記載の音場再生プログラム。
【請求項10】
前記出力音響信号生成手段は、当該位置に係る情報に基づき、当該別の入力音響信号と当該入力音響信号との位相差を決定し、決定した位相差を解消するように一方の位相を遅らせた若しくは進めた上で、当該別の入力音響信号と当該入力音響信号とを合わせて当該出力音響信号を生成することを特徴とする請求項２又は３に記載の音場再生プログラム。
【請求項11】
収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生プログラムであって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報、及び当該音源における測定された若しくは設定された音の出力方向に係る情報を取得する位置情報取得手段と、
（ａ）当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定し、また、（ｂ）当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定する入力音響信号決定手段と、
当該入力音響信号と当該別の入力音響信号とを合わせて、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させることを特徴とする音場再生プログラム。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報、及び当該音源における測定された若しくは設定された音の出力方向に係る情報を取得する位置情報取得手段と、
（ａ）当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定し、また、（ｂ）当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定する入力音響信号決定手段と、
当該入力音響信号と当該別の入力音響信号とを合わせて、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させることを特徴とする音場再生プログラム。
【請求項12】
収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生プログラムであって、
当該音源及び当該受音体における測定された又は設定された位置に係る情報を取得する位置情報取得手段と、
当該音源からの音を収音可能な少なくとも１つのマイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させることを特徴とする音場再生プログラム。
当該音源及び当該受音体における測定された又は設定された位置に係る情報を取得する位置情報取得手段と、
当該音源からの音を収音可能な少なくとも１つのマイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させることを特徴とする音場再生プログラム。
【請求項13】
収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生装置であって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有することを特徴とする音場再生装置。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有することを特徴とする音場再生装置。
【請求項14】
収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生システムであって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有することを特徴とする音場再生システム。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有することを特徴とする音場再生システム。
【請求項15】
収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するためのコンピュータによって実施される音場再生方法であって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得するステップと、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定するステップと、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成するステップと
を有することを特徴とする音場再生方法。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得するステップと、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定するステップと、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成するステップと
を有することを特徴とする音場再生方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音場再現を含む音場再生技術に関する。
【背景技術】
【0002】
近年、ウェブ（Web）会議アプリ、遠隔セッションアプリ等の普及により、マイクやスピーカを利用して好適な又は所望の音響環境を提供するサービスが広く利用されている。また、高臨場感の遠隔地カンファレンスシステムやオンラインコンサートの活用も、積極的に進められている。ここでこのようなサービスの提供においては、音源に係る音場を再生場で再生（再現）する音場再生（音場再現）技術の向上が重要な課題となる。
【0003】
この音場再生（音場再現）技術の基本として、例えば非特許文献１には、空間的に波面を生成する波面合成法を用いた音場制御の手法が紹介されている。具体的には例えば、ホイヘンスの原理の数学的表現であるキルヒホッフ-ヘルムホルツ積分方程式に、逆システム理論を適用する境界音場制御の原理が説明されている。
【0004】
また、この非特許文献１に開示されたような、音圧勾配やインパルス応答等に基づいた音場再現手法として、例えば特許文献１には、受信側において、収録音と反射音とのバランスがとれた、高い臨場感の音場再現を行うことを可能にする高臨場音場再現情報送信装置が開示されている。この装置は具体的に、無音響環境で音源から取得された信号であるドライソース音源信号と、このドライソース音源信号を受信側の環境に対応させて再現するための情報である音場再現情報とを送信する装置となっている。
【0005】
ここで音源は従来、音響を再現すべき制御領域の外側に位置するものとされてきたが、これに対し、例えば非特許文献２では、音源が制御領域内に位置する場合における音場再現が試みられている。具体的には、複数のマイクロホンで構成されるマイクロホンアレーによって収音された音響信号から、逆フィルタを用いて仮想音源信号を推定し、音源に対してより制約の少ないバーチャルリアリティシステムを構築する音場再現手法が提案されている。
【0006】
さらに、例えば非特許文献３には、音響を再現すべき再生場に聴取者自身が存在するといったような、外乱が不可避的に生じる状況において、このような外乱に対し高いロバスト性を示す音場再現手法が開示されている。ここで一般に、音場再現は、収音場及び再生場における音の伝搬の様子を一致させることによって完成するとされている。しかしながら、例えば人がいない状態で収音場及び再生場における音の伝搬の再現が可能となったとしても、再生場に人が入ることによって、音の伝搬の様子は変化してしまう。すなわち、再生場に人が存在することによって外乱が生じてしまうことは避けられないのである。
【0007】
またこの非特許文献３では、２４本の鋭指向性マイクロホンを用いた収音方法、及びそのような収音によって生成された信号を再生する信号処理方法が提案されている。ここでこの信号処理方法によれば、収音しつつその音を出力するだけの場合でも、インパルス応答を測定して直接音成分を除去し、例えば音源の移動していることが感じられるような空間音響特性を表現することができるとしている。
【0008】
さらに、例えば特許文献２には、音源とその位置が既知の剛球とを含む剛球モデルを採用し、剛球に関して音源と反対側の聴取位置での音場を再現する音場再現装置が開示されている。具体的にこの装置は、空間内の剛球と音源とを結ぶ線に関して予め定められた関係を有する所定線上の複数箇所において予め求められた伝達関数を供給するための伝達関数記憶部と、音場を再現すべき位置に関する情報を決定するための位置推定部と、この決定された位置に関する情報に基づいて、伝達関数記憶部から対応する伝達関数の供給を受け、入力された音源信号をこの伝達関数に従い変換して音響信号を合成し出力するための出力信号合成部とを含む。ここでこのような機能構成によって、空間内の物体の配置の変化に対応してリアルタイムで音場の再現ができるとしている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２００５－０８６５３７号公報
【特許文献2】特開２００１－１４２４７１号公報
【非特許文献】
【0010】
【非特許文献1】電子情報通信学会「知識の森」２群（画像・音・言語）－６編（音響信号処理）－７章 音場再現，[online]，［令和４年６月２７日検索］，インターネット＜URL: https://www.ieice-hbkb.org/files/ad_base/view_pdf.html?p=/files/02/02gun_06hen_07.pdf＞
【非特許文献2】水野渉他，「マイクロホンアレーを用いた自由頂点音場再生システムに関する理論的検討」，信学技報，104巻，614号，7-12頁，２００５年
【非特許文献3】尾本章，「音場の創造的再現のための録音・再生手法」，2022年日本音響学会春季研究発表会講演論文集 1-12-10，２０２２年３月
【発明の概要】
【発明が解決しようとする課題】
【0011】
例えば非特許文献１や特許文献１に開示された、予め測定した音圧勾配やインパルス応答等に基づき行われる音場再現手法は、再現精度向上を目的とした基本的な手法となっている。しかしながら、音圧勾配やインパルス応答は、聴取者の存在の影響を受けやすく、また聴取者の移動によって大きく変化してしまう。したがって、このような音場再現手法では、再生場に人が存在することによる外乱に対し、ロバスト性を高めることが困難となってしまう。
【0012】
また非特許文献２に開示された、マイクロホンアレーによって収音された音響信号を用いた音場再現技術は、制御領域内に音源を配置した状況に対応可能な手法となっているが、聴取者の移動にも対応して仮想音源信号を生成するものにはなっていない。すなわち、上記の非特許文献１や特許文献１に開示された技術と同様、聴取者の存在やその移動に対応した音場再現は依然、困難となっているのである。
【0013】
一方、非特許文献３に開示された音場再現技術は、２４本の鋭指向性マイクロホンによって収音を行っており、聴取者の存在に対しロバスト性の高い手法となっている。しかしながら、再生場における聴取位置は、収音場において鋭指向性マイクロホン群の設置された位置に対応する位置に限定されている。すなわち、再生場における他の位置では聴感上の特徴が異なってしまうので、結局、聴取者の移動に対応した音場再現は、やはり困難であると言わざるを得ない。
【0014】
これに対し、特許文献２に開示された音場再現装置はたしかに、聴取位置の変化による聴感上の特徴における変化の再現を行っている。しかしながら、この音場再現装置において、入力音源は、事前に収録されたドライ音源であり、またその位置は既知であることが大前提となっている。
【0015】
そこで、本発明は、音源が収音空間内の任意の位置に存在する又は収音空間内を移動可能となっている場合でも、及び／又は、受音体が再生空間内の任意の位置に存在する又は再生空間内を移動可能となっている場合でも、当該受音体に対し収音空間の音場を再生することの可能な音場再生プログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0016】
本発明によれば、収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生プログラムであって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
してコンピュータを機能させる音場再生プログラムが提供される。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
してコンピュータを機能させる音場再生プログラムが提供される。
【0017】
この本発明による音場再生プログラムの好適な一実施形態として、位置情報取得手段は、当該音源における測定された若しくは設定された音の出力方向に係る情報も取得し、
入力音響信号決定手段は、当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定し、
出力音響信号生成手段は、当該別の入力音響信号と、当該マイクで収音された音に係る当該入力音響信号とを合わせて当該出力音響信号を生成することも好ましい。
入力音響信号決定手段は、当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定し、
出力音響信号生成手段は、当該別の入力音響信号と、当該マイクで収音された音に係る当該入力音響信号とを合わせて当該出力音響信号を生成することも好ましい。
【0018】
また上記の実施形態において、当該別のマイクは、当該マイクよりも指向性の高いマイクとなっていることも好ましい。
【0019】
さらに、本発明による音場再生プログラムにおける他の実施形態として、当該再生空間は実空間であり、
出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき当該出力音響信号を生成することも好ましい。
出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき当該出力音響信号を生成することも好ましい。
【0020】
また上記の他の実施形態において、出力音響信号生成手段は、特定した当該スピーカと比べて当該受音体の位置により近い又は周囲の境界から見てより内側に位置する少なくとも１つの別のスピーカも特定し、特定した当該別のスピーカへ供給すべき当該出力音響信号も生成することも好ましい。
【0021】
さらに上記の他の実施形態において、当該音源及び当該受音体はそれぞれ、実空間である当該収音空間内及び当該再生空間内を移動可能であり、
入力音響信号決定手段は、位置情報取得手段において１つの時点で測定され取得された当該位置に係る情報に基づき、当該１つの時点における当該マイクを特定して当該１つの時点に係る当該入力音響信号を決定し、
出力音響信号生成手段は、当該１つの時点で取得された当該位置に係る情報に基づき、当該１つの時点における当該スピーカを特定して当該１つの時点に係る当該出力音響信号を生成することも好ましい。
入力音響信号決定手段は、位置情報取得手段において１つの時点で測定され取得された当該位置に係る情報に基づき、当該１つの時点における当該マイクを特定して当該１つの時点に係る当該入力音響信号を決定し、
出力音響信号生成手段は、当該１つの時点で取得された当該位置に係る情報に基づき、当該１つの時点における当該スピーカを特定して当該１つの時点に係る当該出力音響信号を生成することも好ましい。
【0022】
さらに、本発明による音場再生プログラムにおける更なる他の実施形態として、当該再生空間は、当該受音体に装着されたステレオホンにおける音像定位に係る仮想空間であり、
出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる、ステレオホンに供給すべき当該出力音響信号を生成することも好ましい。
出力音響信号生成手段は、当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる、ステレオホンに供給すべき当該出力音響信号を生成することも好ましい。
【0023】
また、上述した「別のマイク」を用いる実施形態において、出力音響信号生成手段は、決定された当該別の入力音響信号に対し、当該音源の位置と当該受音体の位置との遠さに応じて振幅を減衰させる振幅調整処理を施し、当該処理を施した当該別の入力音響信号を用いて、出力音響信号を生成することも好ましい。
【0024】
さらに、上述した「別のマイク」を用いる実施形態において、出力音響信号生成手段は、決定された当該別の入力音響信号に対し、当該音源の位置と当該受音体の位置との近さに応じて所定の高周波帯を強調するフィルタリング処理を施し、または、当該音源の位置と当該受音体の位置との間のインパルス応答を決定して当該インパルス応答に係る周波数領域での畳み込み処理を施し、当該処理を施した当該別の入力音響信号を用いて、出力音響信号を生成することも好ましい。
【0025】
さらにまた、上述した「別のマイク」を用いる実施形態において、出力音響信号生成手段は、当該位置に係る情報に基づき、当該別の入力音響信号と当該入力音響信号との位相差を決定し、決定した位相差を解消するように一方の位相を遅らせた若しくは進めた上で、当該別の入力音響信号と当該入力音響信号とを合わせて当該出力音響信号を生成することも好ましい。
【0026】
本発明によれば、また、収音空間内の音源に係る音響を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生プログラムであって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報、及び当該音源における測定された若しくは設定された音の出力方向に係る情報を取得する位置情報取得手段と、
（ａ）当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定し、また、（ｂ）当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定する入力音響信号決定手段と、
当該入力音響信号と当該別の入力音響信号とを合わせて、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させる音場再生プログラムが提供される。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報、及び当該音源における測定された若しくは設定された音の出力方向に係る情報を取得する位置情報取得手段と、
（ａ）当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定し、また、（ｂ）当該収音空間において当該音源から見て当該出力方向又は当該出力方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの別のマイクを、取得された当該位置に係る情報及び当該出力方向に係る情報に基づき特定し、特定した当該別のマイクで収音された音に係る別の音響信号を取得して別の入力音響信号を決定する入力音響信号決定手段と、
当該入力音響信号と当該別の入力音響信号とを合わせて、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させる音場再生プログラムが提供される。
【0027】
本発明によれば、さらに、収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生プログラムであって、
当該音源及び当該受音体における測定された又は設定された位置に係る情報を取得する位置情報取得手段と、
当該音源からの音を収音可能な少なくとも１つのマイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させる音場再生プログラムが提供される。
当該音源及び当該受音体における測定された又は設定された位置に係る情報を取得する位置情報取得手段と、
当該音源からの音を収音可能な少なくとも１つのマイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカを、取得された当該位置に係る情報に基づき特定し、特定した当該スピーカへ供給すべき出力音響信号を生成する出力音響信号生成手段と
してコンピュータを機能させる音場再生プログラムが提供される。
【0028】
本発明によれば、さらにまた、収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生装置であって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有する音場再生装置が提供される。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有する音場再生装置が提供される。
【0029】
本発明によれば、また、収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するための音場再生システムであって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有する音場再生システムが提供される。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得する位置情報取得手段と、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定する入力音響信号決定手段と、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成する出力音響信号生成手段と
を有する音場再生システムが提供される。
【0030】
本発明によれば、さらに、収音空間内の音源に係る音場を、空間内位置に関し当該収音空間と対応関係にある再生空間内の受音体に対し再生するためのコンピュータによって実施される音場再生方法であって、
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得するステップと、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定するステップと、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成するステップと
を有する音場再生方法が提供される。
当該音源及び当該受音体における測定された若しくは設定された位置に係る情報を取得するステップと、
当該収音空間において当該音源から見て当該受音体の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された当該位置に係る情報に基づき特定し、特定した当該マイクで収音された音に係る音響信号を取得して入力音響信号を決定するステップと、
当該再生空間において当該受音体から見て当該音源の対応位置へ向かう方向又は当該方向に所定条件を満たすまでに近い方向から、当該受音体に向けて、当該収音された音に相当若しくは対応する音が出力されることになる出力音響信号を、取得された当該位置に係る情報に基づき、当該入力音響信号を用いて生成するステップと
を有する音場再生方法が提供される。
【発明の効果】
【0031】
本発明の音場再生プログラム、装置及び方法によれば、音源が収音空間内の任意の位置に存在する又は収音空間内を移動可能となっている場合でも、及び／又は、受音体が再生空間内の任意の位置に存在する又は再生空間内を移動可能となっている場合でも、当該受音体に対し収音空間の音場を再生することが可能となる。
【図面の簡単な説明】
【0032】
【図1】本発明による音場再生装置の一実施形態における機能構成を示す機能ブロック図である。
【図2】本発明に係るマイク特定処理の一実施形態を説明するための、収音空間に係る模式図である。
【図3】本発明に係る入力音響信号決定処理（音響信号混合処理）の一実施形態を説明するための、収音空間に係る模式図である。
【図4】本発明に係るスピーカ特定処理及びスピーカパニング処理の一実施形態を説明するための、再生空間に係る模式図である。
【図5】本発明に係る天井スピーカ特定処理及び天井スピーカパニング処理の一実施形態を説明するための、再生空間に係る模式図である。
【発明を実施するための形態】
【0033】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0034】
［音場再生装置］
図１は、本発明による音場再生装置の一実施形態における機能構成を示す機能ブロック図である。なお同図には、本装置に係る収音空間及び再生空間の一実施形態も示されている。
図１は、本発明による音場再生装置の一実施形態における機能構成を示す機能ブロック図である。なお同図には、本装置に係る収音空間及び再生空間の一実施形態も示されている。
【0035】
図１に示した、本発明の一実施形態としての音場再生装置１は、収音空間内の音源（本実施形態では発話者）に係る音場を、再生空間内の受音体（本実施形態では聴取者）に対し再生することのできる装置である。
【0036】
ここで、収音空間と再生空間とは、空間内位置に関し対応関係にある（互いに一対一に対応する空間内位置を有する）空間同士となっている。したがって、
（ａ）収音空間内における、受音体（聴取者）の位置、並びに音源（発話者）から見た、受音体（聴取者）の相対位置及び位置する方向（方位，向き）と、
（ｂ）再生空間内における、音源（発話者）の位置、並びに受音体（聴取者）から見た、音源（発話者）の相対位置及び位置する方向（方位，向き）と
が決定可能となっているのである。
（ａ）収音空間内における、受音体（聴取者）の位置、並びに音源（発話者）から見た、受音体（聴取者）の相対位置及び位置する方向（方位，向き）と、
（ｂ）再生空間内における、音源（発話者）の位置、並びに受音体（聴取者）から見た、音源（発話者）の相対位置及び位置する方向（方位，向き）と
が決定可能となっているのである。
【0037】
ここで、本実施形態ではさらに、音場の再生精度を向上させるべく、収音空間と再生空間との間で、音源（発話者）と受音体（聴取者）との距離や、音源（発話者）及び受音体（聴取者）のなす方向（方位，向き）も一致するように設定されている。ただし、（この後述べるマイク群によって仕切られた領域としての）収音空間の大きさ及び形状と、（この後述べるスピーカ群によって仕切られた領域としての）再生空間の大きさ及び形状とは、互いに異なっていてもよい。
【0038】
また本実施形態では、収音空間及び再生空間はそれぞれ、収音室及び再生室であって、室の（水平面内での）境界に複数のマイクロホン（以下、マイクと略称）（２，３）及び複数のスピーカ（５）が設置されている。また本実施形態において、収音空間及び再生空間はいずれも、室の境界に少なくとも１つの（本実施形態では互いに反対方向の深度測定が可能な２つの）深度センサ４を備えており、収音空間における音源（発話者）の位置、及び再生空間における受音体（聴取者）の位置が測定可能となっている。
【0039】
さらに本実施形態では、音源（発話者）及び受音体（聴取者）はいずれも、移動（例えば歩行）可能であって、深度センサ４は、それらの位置をリアルタイムで測定可能となっている。ただし勿論、音源（発話者）及び受音体（聴取者）の一方又は両方が移動することなく、設定された一定の位置に存在する（例えば所定位置に座っている）形態をとることも可能である。この場合、本装置１は、この設定された一定の位置に係る情報を（例えば設定者による装置入力によって）取得することが可能となっている。
【0040】
このような状況の下、音場再生装置１は、音場再生処理を実施すべく、
（Ａ）音源（発話者）及び受音体（聴取者）における測定された（若しくは設定された）「位置に係る情報」を取得する位置情報取得部１１１と、
（Ｂ）収音空間において音源（発話者）から見て受音体（聴取者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された「位置に係る情報」に基づき特定し、特定したマイクで「収音された音」に係る音響信号を取得して「入力音響信号」を決定する入力音響信号決定部１１２と、
（Ｃ）再生空間において受音体（聴取者）から見て音源（発話者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向から、受音体（聴取者）に向けて、「収音された音」に相当若しくは対応する音が出力されることになる「出力音響信号」を、取得された「位置に係る情報」に基づき、「入力音響信号」を用いて生成する出力音響信号生成部１１３と
を有することを特徴としている。
（Ａ）音源（発話者）及び受音体（聴取者）における測定された（若しくは設定された）「位置に係る情報」を取得する位置情報取得部１１１と、
（Ｂ）収音空間において音源（発話者）から見て受音体（聴取者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのマイクを、取得された「位置に係る情報」に基づき特定し、特定したマイクで「収音された音」に係る音響信号を取得して「入力音響信号」を決定する入力音響信号決定部１１２と、
（Ｃ）再生空間において受音体（聴取者）から見て音源（発話者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向から、受音体（聴取者）に向けて、「収音された音」に相当若しくは対応する音が出力されることになる「出力音響信号」を、取得された「位置に係る情報」に基づき、「入力音響信号」を用いて生成する出力音響信号生成部１１３と
を有することを特徴としている。
【0041】
ここで上記（Ｂ）の特定されたマイクは、図１に示した本実施形態の収音空間において、発話者から見て聴取者の対応位置へ向かう方向に所定条件を満たすまでに近い方向（図１では最も近い方向及び２番目に近い方向）に位置する２つのマイク３ａ及び３ｂとなっている。すなわち本実施形態では、発話者を取り囲むように設置された複数のマイクから、「発話者の位置に係る情報」及び「聴取者の位置に係る情報」に基づき、２つのマイク３ａ及び３ｂが選定（特定）され、これらのマイク３ａ及び３ｂで収音された音に係る音響信号から「入力音響信号」が決定されるのである。
【0042】
またさらに上記（Ｃ）の「出力音響信号」は、後述するように、図１に示した本実施形態の再生空間においては、聴取者を取り囲むように設置された複数のスピーカ（５）から、「聴取者の位置に係る情報」及び「発話者の位置に係る情報」に基づき選定（特定）された２つのスピーカ５ｆ及び５ｇへ供給されるべき音響信号となっている。
【0043】
ここで、これら２つのスピーカ５ｆ及び５ｇは、後に詳細に説明するが、聴取者から見て発話者の対応位置へ向かう方向に所定条件を満たすまでに近い方向に位置するスピーカであり、いわば特定された２つのマイク３ａ及び３ｂとは（発話者及び聴取者を間に挟んで）互いに対向する位置関係になっている。したがって、「出力音響信号」を受け取ったこれらのスピーカ５ｆ及び５ｇからは、特定されたマイク３ａ及び３ｂで「収音された音」に相当若しくは対応する音が出力されるようにすることができるのである。
【0044】
なお、これも後に詳述する実施形態とはなるが、再生空間を、聴取者に装着されたステレオホン（例えばヘッドホン）における音像定位に係る仮想空間として、上記（Ｃ）の出力音響信号生成部１１３は、この再生空間において聴取者から見て発話者の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向から、聴取者に向けて、「収音された音」に相当若しくは対応する音が出力されることになる、装着されたステレオホンに供給すべき「出力音響信号」を生成してもよい。
【0045】
いずれにしても、音場再生装置１によれば、取得した「発話者の位置に係る情報」及び「聴取者の位置に係る情報」に基づき、マイクを特定（選定）して「入力音響信号」を決定し、さらに「出力音響信号」を生成するので、受音体（聴取者）が再生空間内の任意の位置に存在する又は再生空間内を移動可能となっている場合でも、この受音体（聴取者）に対し収音空間の音場を好適に再生する、例えば（高い臨場感をもって）再現することができるのである。また、音源（発話者）が収音空間内の任意の位置に存在する又は収音空間内を移動可能となっている場合においても、同じく受音体（聴取者）に対し収音空間の音場を好適に再生する、例えば（高い臨場感をもって）再現することができることも理解される。
【0046】
ちなみに上述したように、音源（発話者）及び受音体（聴取者）がそれぞれ、実空間である収音空間内及び再生空間内を移動可能である場合、
（ａ）上記（Ｂ）の入力音響信号決定部１１２は、上記（Ａ）の位置情報取得部１１１において１つの時点で測定され取得された「位置に係る情報」に基づき、この１つの時点におけるマイクを特定してこの１つの時点に係る「入力音響信号」を決定し、
（ｂ）上記（Ｃ）の出力音響信号生成部１１３は、この１つの時点で取得された「位置に係る情報」に基づき、この１つの時点におけるスピーカを特定してこの１つの時点に係る「出力音響信号」を生成することも好ましい。
この場合例えば、音源（発話者）の移動によって刻々と変化する収音空間の音場を、再生空間内を移動する受音体（聴取者）に対し、概ねリアルタイムで再生することも可能となるのである。
（ａ）上記（Ｂ）の入力音響信号決定部１１２は、上記（Ａ）の位置情報取得部１１１において１つの時点で測定され取得された「位置に係る情報」に基づき、この１つの時点におけるマイクを特定してこの１つの時点に係る「入力音響信号」を決定し、
（ｂ）上記（Ｃ）の出力音響信号生成部１１３は、この１つの時点で取得された「位置に係る情報」に基づき、この１つの時点におけるスピーカを特定してこの１つの時点に係る「出力音響信号」を生成することも好ましい。
この場合例えば、音源（発話者）の移動によって刻々と変化する収音空間の音場を、再生空間内を移動する受音体（聴取者）に対し、概ねリアルタイムで再生することも可能となるのである。
【0047】
また本実施形態では、マイク（２，３）及びスピーカ（５）はそれぞれ、収音空間及び再生空間の境界に位置を固定して設置されているが、固定されておらずその位置が変化するものであってもよい。すなわち、複数のマイク（２，３）の少なくとも１つは例えば、収音空間の境界上を移動可能となっていてもよく、または、収音空間内を移動可能なロボットに取り付けられたマイクであってもよい。さらに複数のスピーカ（５）の少なくとも１つも例えば、再生空間の境界上を移動可能となっていてもよく、または、再生空間内を移動可能なロボットに取り付けられたスピーカであってもよいのである。
【0048】
なおこの場合、上記（Ｂ）の入力音響信号決定部１１２は、移動しているマイクを含むマイク群の中から、例えば１つの時点において音源（発話者）から見て受音体（聴取者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置するマイクを特定することとなる。ここで、例えば上記の条件に該当する位置の近傍にいるマイクを、この該当する位置へ移動させた上で特定してもよい。さらに上記（Ｃ）の出力音響信号生成部１１３は、例えばこの１つの時点において受音体（聴取者）から見て音源（発話者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置するスピーカを特定することとなる。ここで、例えば上記の条件に該当する位置の近傍にいるスピーカを、この該当する位置へ移動させた上で特定してもよいのである。
【0049】
さらに本発明においては、音場再生装置１の構成要素である上記（Ｂ）の入力音響信号決定部１１２と、上記（Ｃ）の出力音響信号生成部１１３とが別の装置に具備された形態をとることも可能である。例えば、
（ａ）収音空間の中に又は近くに設置された、位置情報取得部１１１及び入力音響信号決定部１１２を備えた装置と、
（ｂ）再生空間の中に又は近くに設置された、位置情報取得部１１１及び出力音響信号生成部１１３を備えた装置であって、上記（ａ）の装置との間で通信によって情報のやり取りが可能な装置と
を含む、本発明による音場再生システムを構成してもよい。
（ａ）収音空間の中に又は近くに設置された、位置情報取得部１１１及び入力音響信号決定部１１２を備えた装置と、
（ｂ）再生空間の中に又は近くに設置された、位置情報取得部１１１及び出力音響信号生成部１１３を備えた装置であって、上記（ａ）の装置との間で通信によって情報のやり取りが可能な装置と
を含む、本発明による音場再生システムを構成してもよい。
【0050】
［装置構成，音場再生プログラム・方法］
以下、本発明の一実施形態としての音場再生装置１の機能構成について、より詳細に説明を行う。同じく図１の機能ブロック図において、音場再生装置１は、通信インタフェース１０１と、キーボード（ＫＢ）・ディスプレイ（ＤＰ）１０２と、プロセッサ・メモリ（メモリ機能を備えた演算処理系）とを有する。ここで、プロセッサ・メモリは、本発明による音場再生プログラムを保存しており、また、コンピュータ機能を有していて、この音場再生プログラムを実行することによって音場再生処理を実施する。
以下、本発明の一実施形態としての音場再生装置１の機能構成について、より詳細に説明を行う。同じく図１の機能ブロック図において、音場再生装置１は、通信インタフェース１０１と、キーボード（ＫＢ）・ディスプレイ（ＤＰ）１０２と、プロセッサ・メモリ（メモリ機能を備えた演算処理系）とを有する。ここで、プロセッサ・メモリは、本発明による音場再生プログラムを保存しており、また、コンピュータ機能を有していて、この音場再生プログラムを実行することによって音場再生処理を実施する。
【0051】
またこのことから音場再生装置１は、音場再生処理専用の装置であってもよいが、本発明による音場再生プログラムを搭載した、汎用のクラウドサーバや非クラウド型サーバであってもよく、さらにはパーソナルコンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータや、スマートフォン、さらにはヘッドマウントディスプレイ（ＨＭＤ）といったようなウェアラブルデバイス等とすることも可能である。
【0052】
また、プロセッサ・メモリは、機能構成部として、位置情報取得部１１１と、全指向性マイク特定部１１２ａ、入力混合部１１２ｂ、鋭指向性マイク特定部１１２ｃ、及び入力混合部１１２ｄを含む入力音響信号決定部１１２と、振幅調整部１１３ａ、音色調整部１１３ｂ、出力混合部１１３ｃ、スピーカ（ＳＰ）特定パニング部１１３ｄ、及び近スピーカ（ＳＰ）特定パニング部１１３ｅを含む出力音響信号生成部１１３と、通信制御部１２１と、入出力制御部１２２とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された、本発明による音場再生プログラムの実行によって具現する機能と捉えることができる。また、図１の機能ブロック図における音場再生装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による音場再生方法の一実施形態としても理解される。
【0053】
＜位置情報取得手段＞
同じく図１の機能ブロック図において、位置情報取得部１１１は本実施形態において、
（ａ）音源である発話者及び受音体である聴取者における、測定された若しくは設定された位置に係る情報、本実施形態では「位置座標情報」、及び
（ｂ）発話者における測定された若しくは設定された音の出力方向に係る情報、本実施形態では発話者の顔の向き（方位）に係る情報である「顔方位角情報」
を取得する。
同じく図１の機能ブロック図において、位置情報取得部１１１は本実施形態において、
（ａ）音源である発話者及び受音体である聴取者における、測定された若しくは設定された位置に係る情報、本実施形態では「位置座標情報」、及び
（ｂ）発話者における測定された若しくは設定された音の出力方向に係る情報、本実施形態では発話者の顔の向き（方位）に係る情報である「顔方位角情報」
を取得する。
【0054】
具体的に本実施形態において、収音室（収音空間）及び再生室（再生空間）はいずれも、自身の水平面内での境界に、（室内における上記（ａ）及び（ｂ）の情報を確実に取得すべく）互いに反対方向の深度測定が可能な２つの深度センサ４を備えている。ここで、これらの深度センサ４によって得られた深度画像に対し、人及び顔の認識が可能な画像認識処理を施すことによって、収音室における発話者の位置座標情報及び顔方位角情報と、再生室における聴取者の位置座標情報とが生成される。位置情報取得部１１１は、深度センサ４に接続された画像認識処理装置からこれらの情報を取得してもよく、または、深度センサ４から得られた深度画像に対し自らこのような画像認識処理を施し、これらの情報を生成・取得するものとしてもよい。
【0055】
さらに変更態様として、深度センサ４の代わりに又は深度センサ４とともに、可視光（及び赤外線）カメラを用い、これらのカメラによって得られた画像に対し、人及び顔の認識が可能な画像認識処理を施すことによって、収音室における発話者の位置座標情報及び顔方位角情報と、再生室における聴取者の位置座標情報とを生成してもよい。また例えば、深度センサ４として、Microsoft社のAzure Kinect DKを採用することも可能である。Azure Kinect DKは、ＴｏＦ方式の深度センサ及びＲＧＢカメラを備えていて、画像認識クラウドサービスと連携させることにより、これらの位置座標情報及び顔方位角情報を生成可能となっている。また更なる変更態様として、室内における位置が決定可能な磁気センサ、加速度センサや静電センサを搭載した端末を発話者や聴取者が携帯していて、この端末から位置に係る情報を取得することも可能である。
【0056】
なお本実施形態において、収音室（収音空間）には、自身の水平面内での境界において空間の内部を取り囲むように、複数の（図１では８個の）全指向性マイク２ａ～２ｈ、及び複数の（図１では８個の）鋭指向性マイク３ａ～３ｈが設置されている。ここで、鋭指向性マイク３ａ～３ｈは、全指向性マイク２ａ～２ｈとは「別のマイク」であって、当然ながら全指向性マイク２ａ～２ｈよりも指向性の高いマイクとなっている。例えば、全指向性マイク２ａ～２ｈは無指向性のアンビエントマイクであって、鋭指向性マイク３ａ～３ｈはガンマイクであってもよい。
【0057】
また本実施形態においては、１つの全指向性マイク２と１つの鋭指向性マイク３とがペアとなって１つの位置に設置されていて、また、これらのペアの設置位置が、全体で四角形の境界を形成している。ただし勿論、このようなマイクの配置に限定されるものではなく、例えば全指向性マイク２と鋭指向性マイク３とは互いに異なる位置、例えば互い違いの位置、に設置されてもよく、また、マイクの設置位置は、全体として例えば円形、楕円形や、（三角形を含む）多角形の境界を形成していてもよい。
【0058】
さらに本実施形態において、これらのマイクで収音された音に係る音響信号や、上述した深度センサ４を用いて生成された位置座標情報及び顔方位角情報（又は深度画像情報）は、例えば収音室（収音空間）の中に又は近傍に設置された（図示されていない）音響信号・位置情報管理装置から、通信ネットワークを介し、音場再生装置１の通信インタフェース１０１によって受信され、同装置１の通信制御部１２１によって、入力音響信号決定部１１２や位置情報取得部１１１へ提供されることとなっている。またさらに、位置情報取得部１１１は、全指向性マイク２及び鋭指向性マイク３の設定された（又は測定された）位置に係る情報や、マイク５の設定された（又は測定された）位置に係る情報も、収音室側や再生室側から（又は装置１への直接の入力によって）受け取り、これらの情報を入力音響信号決定部１１２や出力音響信号生成部１１３へ提供する。
【0059】
＜入力音響信号決定手段＞
同じく図１の機能ブロック図において、入力音響信号決定部１１２の全指向性マイク特定部１１２ａは、
（ａ）収音室（収音空間）において発話者（音源）から見て、聴取者（受音体）の対応位置へ向かう方向、又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの、本実施形態では２つの全指向性マイク２を、取得された位置座標情報に基づき特定（選定）し、特定した２つの全指向性マイク２（図１では２ａ及び２ｂ）で収音された音に係る音響信号を取得する。
同じく図１の機能ブロック図において、入力音響信号決定部１１２の全指向性マイク特定部１１２ａは、
（ａ）収音室（収音空間）において発話者（音源）から見て、聴取者（受音体）の対応位置へ向かう方向、又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの、本実施形態では２つの全指向性マイク２を、取得された位置座標情報に基づき特定（選定）し、特定した２つの全指向性マイク２（図１では２ａ及び２ｂ）で収音された音に係る音響信号を取得する。
【0060】
ここで全指向性マイク２は、収音空間そのものの音響（音場）を捉えるマイクとなっており、したがって、上記のように特定した全指向性マイク２（２ａ及び２ｂ）は、まさに聴取者（受音体）が聴覚で捉える音響（音場）に相当する音を収音することができるのである。
【0061】
また、入力音響信号決定部１１２の鋭指向性マイク特定部１１２ｃは、
（ｂ）収音室（収音空間）において発話者（音源）から見て、発話者の顔の向いた方向、又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの、本実施形態では２つの鋭指向性マイク３を、取得された位置座標情報及び顔方位角情報に基づき特定（選定）し、特定した鋭指向性マイク３（図１では３ｃ及び３ｄ）で収音された音に係る音響信号を取得する。
（ｂ）収音室（収音空間）において発話者（音源）から見て、発話者の顔の向いた方向、又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つの、本実施形態では２つの鋭指向性マイク３を、取得された位置座標情報及び顔方位角情報に基づき特定（選定）し、特定した鋭指向性マイク３（図１では３ｃ及び３ｄ）で収音された音に係る音響信号を取得する。
【0062】
ここで鋭指向性マイク３は、音源からの音そのものを捉えるマイクとなっており、したがって、上記のように特定した鋭指向性マイク３（３ｃ及び３ｄ）は、聴取者（受音体）に届けるべき発話者（音源）からの音（音声）を、確実に収音することができるのである。
【0063】
ちなみに、特定したマイクを指定する情報を収音室側に通知し、特定した全指向性マイク２や鋭指向性マイク３によって収音された音に係る音響信号だけを、収音室側から受信してもよく、または、これらのマイクによって収音された音に係る音響信号を収音室側から全て受信した上で、そこから特定したマイクに係る音響信号を選択することも可能である。
【0064】
図２は、本発明に係るマイク特定処理の一実施形態を説明するための、収音空間に係る模式図である。ここで、収音空間である収音室には、水平面内の位置を規定するxy位置座標系が設定されている。
【0065】
図２に示したように、全指向性マイク特定部１１２ａ（図１）は本実施形態において、（ａ）発話者の位置S(x_s, y_s)から聴取者の位置R(x_r、y_r)までを結ぶ線分をさらに延長した先における当該線分と境界との交点AM(x_amb, y_amb)を算出し、
（ｂ）位置S(x_s, y_s)から自らの設置位置へ向かう方向が、位置S(x_s, y_s)から位置AM(x_amb, y_amb)へ向かう方向に最も近くなる（互いになす角が最も小さくなる）全指向性マイク２ｂと、２番目に近くなる（互いになす角が２番目に小さくなる）全指向性マイク２ａとを特定（選定）する。
（ｂ）位置S(x_s, y_s)から自らの設置位置へ向かう方向が、位置S(x_s, y_s)から位置AM(x_amb, y_amb)へ向かう方向に最も近くなる（互いになす角が最も小さくなる）全指向性マイク２ｂと、２番目に近くなる（互いになす角が２番目に小さくなる）全指向性マイク２ａとを特定（選定）する。
【0066】
また、鋭指向性マイク特定部１１２ｃ（図１）は本実施形態において、
（ｃ）発話者の位置S(x_s, y_s)から顔方位角θ_s方向に伸長した線分と境界との交点GM(x_gun, y_gun)を算出し、
（ｄ）位置S(x_s, y_s)から自らの設置位置へ向かう方向が、S(x_s, y_s)からGM(x_gun, y_gun)へ向かう方向に最も近くなる（互いになす角が最も小さくなる）鋭指向性マイク３ｄと、２番目に近くなる（互いになす角が２番目に小さくなる）鋭指向性マイク３ｃとを特定（選定）するのである。
（ｃ）発話者の位置S(x_s, y_s)から顔方位角θ_s方向に伸長した線分と境界との交点GM(x_gun, y_gun)を算出し、
（ｄ）位置S(x_s, y_s)から自らの設置位置へ向かう方向が、S(x_s, y_s)からGM(x_gun, y_gun)へ向かう方向に最も近くなる（互いになす角が最も小さくなる）鋭指向性マイク３ｄと、２番目に近くなる（互いになす角が２番目に小さくなる）鋭指向性マイク３ｃとを特定（選定）するのである。
【0067】
ここで、全指向性マイク２についても鋭指向性マイク３についても、例えば最も近い１つだけを特定（選定）することもできる。しかしながら本実施形態においては、発話者の位置が刻々と変化する場合にも自然な音場が再生されるように、すなわち発話者の移動による音場の変化が自然に再生されるように、上述したような２つを特定（選定）しているのである。なお勿論、同じ理由で３つ以上を特定（選定）することも可能である。
【0068】
図１の機能ブロック図に戻って、入力音響信号決定部１１２の入力混合部１１２ｂは、全指向性マイク特定部１１２ａで特定（選定）された全指向性マイク（図１では２ａ及び２ｂ）に係る音響信号を合わせて（例えば混合して）第１の入力音響信号を生成する。また入力音響信号決定部１１２の入力混合部１１２ｄは、鋭指向性マイク特定部１１２ｃで特定（選定）された鋭指向性マイク（図１では３ｃ及び３ｄ）に係る音響信号を合わせて（例えば混合して）第２の入力音響信号を生成する。
【0069】
図３は、本発明に係る入力音響信号決定処理（音響信号混合処理）の一実施形態を説明するための、収音空間に係る模式図である。ちなみに同図に示した収音室（収音空間）におけるマイク設定や発話者・聴取者の状態は、図２に示した収音室におけるものと同一である。
【0070】
最初に図３（Ａ）を用いて、入力混合部１１２ｂ（図１）で実施される、特定（選定）された全指向性マイク２ａに係る音響信号（の振幅強度）t_2a(p)と、特定（選定）された全指向性マイク２ｂに係る音響信号（の振幅強度）t_2b(p)とを混合して第１の入力音響信号（の振幅強度）t_amb(p)を生成する処理について説明する。ここでpは、時点又は時点に相当するサンプリングインデックスを表すパラメータである。
【0071】
図３（Ａ）に示したように、
（ａ）発話者の位置S及び全指向性マイク２ａの位置P2aを結ぶ線分と、発話者の位置S及び全指向性マイク２ｂの位置P2bを結ぶ線分とのなす角をαとし、
（ｂ）発話者の位置S及び全指向性マイク２ａの位置P2aを結ぶ線分と、発話者の位置S及び（図２で説明した）位置AMを結ぶ線分とのなす角をβとした場合に、
第１の入力音響信号t_amb(p)は、これらα及びβを算出した上で、次式
（１） t_amb(p)＝t_2a(p)×(sin(α／2)＋sin(α／2－β))
＋t_2b(p)×(sin(α／2)－sin(α／2－β))
によって導出される。
（ａ）発話者の位置S及び全指向性マイク２ａの位置P2aを結ぶ線分と、発話者の位置S及び全指向性マイク２ｂの位置P2bを結ぶ線分とのなす角をαとし、
（ｂ）発話者の位置S及び全指向性マイク２ａの位置P2aを結ぶ線分と、発話者の位置S及び（図２で説明した）位置AMを結ぶ線分とのなす角をβとした場合に、
第１の入力音響信号t_amb(p)は、これらα及びβを算出した上で、次式
（１） t_amb(p)＝t_2a(p)×(sin(α／2)＋sin(α／2－β))
＋t_2b(p)×(sin(α／2)－sin(α／2－β))
によって導出される。
【0072】
上式（１）において、右辺第一項におけるt_2a(p)及びt_2b(p)の係数はそれぞれ、全指向性マイク２ａに係る音響信号の混合すべき割合、及び全指向性マイク２ｂに係る音響信号の混合すべき割合となっている。ちなみにβ＝0及びβ＝αの場合、第１の入力音響信号t_amb(p)は、それぞれt_2a(p)の定数倍、及びt_2b(p)の定数倍となり、予め２つのマイクを特定（選定）したものの実質的には、一方の（１つの）マイクに係る音響信号を入力音響信号とすることとなる。すなわち本実施形態においては、発話者の位置Sと聴取者の位置Rとマイクの位置とがこの順で同一直線上にある場合、まさにその（１つの）マイクを特定（選定）する設定となっていてもよいのである。
【0073】
次に、同じく図３（Ａ）を用いて、入力混合部１１２ｄ（図１）で実施される、特定（選定）された鋭指向性マイク３ｃに係る音響信号t_3c(p)と、特定（選定）された鋭指向性マイク３ｄに係る音響信号t_3d(p)とを混合して第２の入力音響信号t_gun(p)を生成する処理について説明する。
【0074】
図３（Ａ）に示したように、
（ａ）発話者の位置S及び鋭指向性マイク３ｃの位置P3cを結ぶ線分と、発話者の位置S及び鋭指向性マイク３ｄの位置P3dを結ぶ線分とのなす角をδとし、
（ｂ）発話者の位置S及び鋭指向性マイク３ｃの位置P3cを結ぶ線分と、発話者の位置S及び（図２で説明した）位置GMを結ぶ線分とのなす角をγとすると、
第２の入力音響信号t_gun(p)は、これらδ及びγを算出した上で、次式
（２） t_gun(p)＝t_3c(p)×(sin(δ／2)＋sin(δ／2－γ))
＋t_3d(p)×(sin(δ／2)－sin(δ／2－γ))
によって導出される。ここで第２の入力音響信号t_gun(p)の生成における、マイクの特定（選定）数については、上式（１）のところで説明した事情と同様となっている。
（ａ）発話者の位置S及び鋭指向性マイク３ｃの位置P3cを結ぶ線分と、発話者の位置S及び鋭指向性マイク３ｄの位置P3dを結ぶ線分とのなす角をδとし、
（ｂ）発話者の位置S及び鋭指向性マイク３ｃの位置P3cを結ぶ線分と、発話者の位置S及び（図２で説明した）位置GMを結ぶ線分とのなす角をγとすると、
第２の入力音響信号t_gun(p)は、これらδ及びγを算出した上で、次式
（２） t_gun(p)＝t_3c(p)×(sin(δ／2)＋sin(δ／2－γ))
＋t_3d(p)×(sin(δ／2)－sin(δ／2－γ))
によって導出される。ここで第２の入力音響信号t_gun(p)の生成における、マイクの特定（選定）数については、上式（１）のところで説明した事情と同様となっている。
【0075】
＜出力音響信号生成手段＞
図１の機能ブロック図に戻って、出力音響信号生成部１１３の振幅調整部１１３ａは、本実施形態において、第２の入力音響信号t_gun(p)に対し、発話者（音源）の位置と聴取者（受音体）の位置との遠さに応じて振幅を減衰させる振幅調整処理を施す。なお、この処理対象を（鋭指向性マイク３に係る）第２の入力音響信号t_gun(p)とするのは、鋭指向性マイク３（３ｃ及び３ｄ）によって収音された、聴取者に届けるべき発話者からの音（音声）については実際に、発話者と聴取者とが互いに近くにいるほど音量が大きく、逆に遠くにいるほど音量が小さくなるのであり、そのように入力音響信号の振幅を調整することによって、音場の再生精度が向上し臨場感が高まることによる。なお勿論、演算時間を短縮すべく、このような振幅調整処理を実施しないことも可能である。
図１の機能ブロック図に戻って、出力音響信号生成部１１３の振幅調整部１１３ａは、本実施形態において、第２の入力音響信号t_gun(p)に対し、発話者（音源）の位置と聴取者（受音体）の位置との遠さに応じて振幅を減衰させる振幅調整処理を施す。なお、この処理対象を（鋭指向性マイク３に係る）第２の入力音響信号t_gun(p)とするのは、鋭指向性マイク３（３ｃ及び３ｄ）によって収音された、聴取者に届けるべき発話者からの音（音声）については実際に、発話者と聴取者とが互いに近くにいるほど音量が大きく、逆に遠くにいるほど音量が小さくなるのであり、そのように入力音響信号の振幅を調整することによって、音場の再生精度が向上し臨場感が高まることによる。なお勿論、演算時間を短縮すべく、このような振幅調整処理を実施しないことも可能である。
【0076】
ここで一般に、音響信号における（音源からの）距離dの位置での距離減衰y（dB）は、基準距離をd_0として、y＝20log10(d_0／d)によって求められる。また一般に、音響信号の振幅とデシベルdBとは(振幅)＝10dB／20の関係にある。したがって、具体的に振幅調整部１１３ａは、振幅調整処理済みの第２の入力音響信号tj_gun(p)を、次式
（３） tj_gun(p)＝t_gun(p)×amp
amp＝10y／20
y＝20log10(d_SR／d_SG)
によって生成することができる。上式（３）において、（基準）距離d_SR及び距離d_SGはそれぞれ、図３（Ｂ）に示したように、発話者の位置Sと聴取者の位置Rとの距離、及び発話者の位置Sと位置GMとの距離である。
（３） tj_gun(p)＝t_gun(p)×amp
amp＝10y／20
y＝20log10(d_SR／d_SG)
によって生成することができる。上式（３）において、（基準）距離d_SR及び距離d_SGはそれぞれ、図３（Ｂ）に示したように、発話者の位置Sと聴取者の位置Rとの距離、及び発話者の位置Sと位置GMとの距離である。
【0077】
同じく図１の機能ブロック図において、出力音響信号生成部１１３の音色調整部１１３ｂは、本実施形態において、聴取者（受音体）に届けるべき発話者（音源）からの音を収音する鋭指向性マイク３に係る第２の入力音響信号に対し、実際に聴取者（受音体）が受け取るであろう音色となるように音色調整処理を施す。ここで、一般に音は、伝播するにつれて（音源から遠のくにつれて）高周波数成分の減衰することが知られている。したがって、例えば聴取者が発話者のより近くに位置するほど、入力音響信号において所定の高周波数帯を強調することによって、より近くに位置するといったような距離の遠近感を表現し、これにより、音場の再生精度を向上させ臨場感を高めることが可能となるのである。
【0078】
このような音色調整処理として、音色調整部１１３ｂは、振幅調整処理済みの第２の入力音響信号tj_gun(p)に対し、
（ア：時間情報における双二次フィルタリング処理）発話者（音源）の位置と聴取者（受音体）の位置との近さに応じて所定の高周波帯を強調する双二次フィルタリング処理を施して、フィルタリング処理済みの第２の入力音響信号tf_gun(p)を生成する、または、
（イ：周波数領域での畳み込み処理）発話者（音源）の位置と聴取者（受音体）の位置との間のインパルス応答を決定してこのインパルス応答に係る周波数領域での畳み込み処理を施し、この畳み込み処理を施して、畳み込み処理済みの第２の入力音響信号tc_gun(p)を生成する。
ちなみに勿論、演算時間を短縮すべく、このような音色調整処理を実施しないことも可能である。
（ア：時間情報における双二次フィルタリング処理）発話者（音源）の位置と聴取者（受音体）の位置との近さに応じて所定の高周波帯を強調する双二次フィルタリング処理を施して、フィルタリング処理済みの第２の入力音響信号tf_gun(p)を生成する、または、
（イ：周波数領域での畳み込み処理）発話者（音源）の位置と聴取者（受音体）の位置との間のインパルス応答を決定してこのインパルス応答に係る周波数領域での畳み込み処理を施し、この畳み込み処理を施して、畳み込み処理済みの第２の入力音響信号tc_gun(p)を生成する。
ちなみに勿論、演算時間を短縮すべく、このような音色調整処理を実施しないことも可能である。
【0079】
（時間情報における双二次フィルタリング処理）
最初に、上記（ア）について具体的な説明を行う。双二次フィルタ（biquad filter）として例えばハイシェルフフィルタ（High Shelf Filter）を採用し、発話者から出力される音を、4kHz帯の子音成分を含む発話音声として、このフィルタの設定を、
・Freq（この値よりも高い周波数帯をブーストする閾値）＝4000（Hz）
・Q（周波数帯ピークの幅）＝1.0
・Gain（フィルタの利得）＝amp ここでamp＝10y／20，y＝20log10(d_SR／d_SG)
等とする。次いでここから、双二次伝達関数（biquad transfer function）：
（４） H(z)＝(b0＋b1×z-1＋b2×z-2)／(a0＋a1×z-1＋a2×z-2)
における分母及び分子の各係数a0、a1、a2、b0、b1及びb2を算出して、双二次フィルタリング処理済みの第２の入力音響信号tf_gun(p)を、次式
（５） tf_gun(p)＝(1／a0)×(b0×tj_gun(p)＋b1×tj_gun(p-1)＋
b2×tj_gun(p-2)－a1×tf_gun(p-1)－a2×tj_gun(p-2))
を用いて生成するのである。
最初に、上記（ア）について具体的な説明を行う。双二次フィルタ（biquad filter）として例えばハイシェルフフィルタ（High Shelf Filter）を採用し、発話者から出力される音を、4kHz帯の子音成分を含む発話音声として、このフィルタの設定を、
・Freq（この値よりも高い周波数帯をブーストする閾値）＝4000（Hz）
・Q（周波数帯ピークの幅）＝1.0
・Gain（フィルタの利得）＝amp ここでamp＝10y／20，y＝20log10(d_SR／d_SG)
等とする。次いでここから、双二次伝達関数（biquad transfer function）：
（４） H(z)＝(b0＋b1×z-1＋b2×z-2)／(a0＋a1×z-1＋a2×z-2)
における分母及び分子の各係数a0、a1、a2、b0、b1及びb2を算出して、双二次フィルタリング処理済みの第２の入力音響信号tf_gun(p)を、次式
（５） tf_gun(p)＝(1／a0)×(b0×tj_gun(p)＋b1×tj_gun(p-1)＋
b2×tj_gun(p-2)－a1×tf_gun(p-1)－a2×tj_gun(p-2))
を用いて生成するのである。
【0080】
ここで、各種フィルタにおける係数a0、a1、a2、b0、b1及びb2の算出方法は、例えば非特許文献：“Cookbook formulae for audio equalizer biquad filter coefficients”，[online]，［令和４年６月２７日検索］，インターネット＜URL: https://webaudio.github.io/Audio-EQ-Cookbook/audio-eq-cookbook.html＞や、非特許文献：「++C++; // 未確認飛行 C」，[online]，［令和４年６月２７日検索］，インターネット＜URL: https://ufcpp.net/study/sp/digital_filter/biquad/＞に開示されている。ちなみに、上述したようなフィルタの選択、及びFreq、QやGain等のフィルタ設定は、如何なる音場を再生したいのかによって、また収音空間・再生空間におけるシチュエーションに応じて、適宜行われることも好ましい。
【0081】
（周波数領域での畳み込み処理）
次に上記（イ）について具体的な説明を行う。まず、発話者の位置Sと聴取者の位置Rとの間における、空気の吸収特性を反映したインパルス応答、又は空気の吸収特性を模した複数のピークを持たせたフィルタのインパルス応答を準備し、これをi(p)とする。このようなインパルス応答i(p)は、距離d_SR（図３（Ｂ））に依存する量となっている。ここで、インパルス応答i(p)の時間長Nを、計算機の能力によって適宜設定することも好ましい。例えば、典型的にはN＝1024とすることができるが、処理速度の高くないＰＣを用いる場合、N＝2048やN＝4096としてもよい。
次に上記（イ）について具体的な説明を行う。まず、発話者の位置Sと聴取者の位置Rとの間における、空気の吸収特性を反映したインパルス応答、又は空気の吸収特性を模した複数のピークを持たせたフィルタのインパルス応答を準備し、これをi(p)とする。このようなインパルス応答i(p)は、距離d_SR（図３（Ｂ））に依存する量となっている。ここで、インパルス応答i(p)の時間長Nを、計算機の能力によって適宜設定することも好ましい。例えば、典型的にはN＝1024とすることができるが、処理速度の高くないＰＣを用いる場合、N＝2048やN＝4096としてもよい。
【0082】
次いで、インパルス応答i(p)をフーリエ変換して伝達関数I(ω)（ωは周波数）を導出し、また、設定した時間長Nで切り出した第２の入力音響信号tj_gun(p)に対しフーリエ変換を施して、フーリエ変換後の第２の入力音響信号tj_gun(ω)を算出する。これにより、周波数領域での畳み込み処理済みの第２の入力音響信号tc_gun(p)を、次式
（６） tc_gun(p)＝IF[tc_gun(ω)]
tc_gun(ω)＝I(ω)＊tj_gun(ω)
によって生成することができるのである。ここで、IF[]は逆フーリエ変換演算子であり、また、＊は畳み込み積分演算子である。
（６） tc_gun(p)＝IF[tc_gun(ω)]
tc_gun(ω)＝I(ω)＊tj_gun(ω)
によって生成することができるのである。ここで、IF[]は逆フーリエ変換演算子であり、また、＊は畳み込み積分演算子である。
【0083】
以上、音色調整処理として（ア）及び（イ）の２つの処理を説明したが、音場再生のリアルタイム性が重視される状況では、演算時間が比較的少なくて済む（ア：時間情報における双二次フィルタリング処理）を採用し、一方、複雑なフィルタリング処理（例えば、特定した異なる複数の高周波帯を強調する処理）を行って音場再生を向上させ臨場感を高めたい状況では、（イ：周波数領域での畳み込み処理）を採用することとしてもよい。すなわち状況に応じ、どちらか一方の音色調整処理を選択して実施可能な設定となっていることも好ましい。
【0084】
同じく図１の機能ブロック図において、出力音響信号生成部１１３の出力混合部１１３ｃは、生成された第１の入力音響信号（t_amb(p)）と、生成された第２の入力音響信号（tf_gun(p)，tc_gun(p)）とを合わせて（混合して）出力音響信号t_out(p)を生成する。すなわち、次式
（７） t_out(p)＝t_amb(p)＋tf_gun(p) 又は
t_out(p)＝t_amb(p)＋tc_gun(p)
によって、出力音響信号t_out(p)を導出する。
（７） t_out(p)＝t_amb(p)＋tf_gun(p) 又は
t_out(p)＝t_amb(p)＋tc_gun(p)
によって、出力音響信号t_out(p)を導出する。
【0085】
ここで１つの態様として、出力混合部１１３ｃは、発話者の位置S及び聴取者の位置Rに基づき、第１の入力音響信号（t_amb(p)）と第２の入力音響信号（tf_gun(p)，tc_gun(p)）との位相差を決定し、決定した位相差を解消するように一方の位相を遅らせた若しくは進めた上で、第１の入力音響信号（t_amb(p)）と第２の入力音響信号（tf_gun(p)，tc_gun(p)）とを合わせて（混合して）出力音響信号t_out(p)を生成することも好ましい。
【0086】
ちなみに上記の位相差は、（ａ）第１の入力音響信号に係る発話者の位置Sと位置AMとの距離d_SA（図３（Ｂ））と、（ｂ）第２の入力音響信号に係る発話者の位置Sと位置GMとの距離d_SG（図３（Ｂ））とが異なっている場合に発生し、両信号を混合する際に干渉を生じさせる原因となる。ただし勿論、適切な調整に手間のかかるこのような位相差調整処理を実施せず、その分、演算時間を短縮させることも可能である。
【0087】
具体的に出力混合部１１３ｃは、最初に位相差p_thを、次式
（８） p_th＝fs×(d_SA－d_SG)／c
によって算出する。ここでc（m/秒）は音速であり、fs（Hz）はサンプリング周波数となっている。
（８） p_th＝fs×(d_SA－d_SG)／c
によって算出する。ここでc（m/秒）は音速であり、fs（Hz）はサンプリング周波数となっている。
【0088】
次いで出力混合部１１３ｃは、d_SA≧d_SGの場合に、距離d_SG（位置GM）に係る方の第２の入力音響信号（tf_gun(p)，tc_gun(p)）に遅延を付加して位相差を解消させた上で、出力音響信号t_out(p)を生成する。すなわち、次式
（d_SA≧d_SGの場合）
（９） t_out(p)＝t_amb(p)＋tf_gun(p＋p_th) 又は
t_out(p)＝t_amb(p)＋tc_gun(p＋p_th)
によって、出力音響信号t_out(p)を導出する。一方、d_SA＜d_SGの場合には、距離d_SA（位置AM）に係る方の第１の入力音響信号（t_amb(p)）に遅延を付加して位相差を解消させた上で、出力音響信号t_out(p)を生成する。すなわち、次式
（d_SA＜d_SGの場合）
（９’） t_out(p)＝t_amb(p＋p_th)＋tf_gun(p) 又は
t_out(p)＝t_amb(p＋p_th)＋tc_gun(p)
によって、出力音響信号t_out(p)を導出するのである。
（d_SA≧d_SGの場合）
（９） t_out(p)＝t_amb(p)＋tf_gun(p＋p_th) 又は
t_out(p)＝t_amb(p)＋tc_gun(p＋p_th)
によって、出力音響信号t_out(p)を導出する。一方、d_SA＜d_SGの場合には、距離d_SA（位置AM）に係る方の第１の入力音響信号（t_amb(p)）に遅延を付加して位相差を解消させた上で、出力音響信号t_out(p)を生成する。すなわち、次式
（d_SA＜d_SGの場合）
（９’） t_out(p)＝t_amb(p＋p_th)＋tf_gun(p) 又は
t_out(p)＝t_amb(p＋p_th)＋tc_gun(p)
によって、出力音響信号t_out(p)を導出するのである。
【0089】
同じく図１の機能ブロック図において、出力音響信号生成部１１３のスピーカ特定パニング部１１３ｄは、
（ア）再生室（再生空間）において聴取者（受音体）から見て発話者（音源）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカ５（図１では、２つのスピーカ５ｆ及び５ｇ）を、取得された聴取者（受音体）及び発話者（音源）の位置座標情報（位置に係る情報）に基づき特定し、
（イ）特定したスピーカ５（５ｆ及び５ｇ）へ供給すべき出力音響信号を生成する。
以下図４を用いて、上記（ａ）のスピーカ特定処理、及び上記（ｂ）のスピーカパニング処理の具体的な説明を行う。
（ア）再生室（再生空間）において聴取者（受音体）から見て発話者（音源）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカ５（図１では、２つのスピーカ５ｆ及び５ｇ）を、取得された聴取者（受音体）及び発話者（音源）の位置座標情報（位置に係る情報）に基づき特定し、
（イ）特定したスピーカ５（５ｆ及び５ｇ）へ供給すべき出力音響信号を生成する。
以下図４を用いて、上記（ａ）のスピーカ特定処理、及び上記（ｂ）のスピーカパニング処理の具体的な説明を行う。
【0090】
図４は、本発明に係るスピーカ特定処理及びスピーカパニング処理の一実施形態を説明するための、再生空間に係る模式図である。ここで、再生空間である再生室には、水平面内の位置を規定するxy位置座標系が設定されている。
【0091】
図４に示したように、スピーカ特定パニング部１１３ｄ（図１）は本実施形態において最初に、
（ア１）聴取者の位置Rから発話者の位置Sまでを結ぶ線分をさらに延長した先における当該線分と境界との交点SP(x_sp, y_sp)を算出し、
（ア２）自らの設置位置から聴取者の位置Rに向かう方向が、位置SP(x_sp, y_sp)から聴取者の位置Rに向かう方向に最も近くなる（互いになす角が最も小さくなる）スピーカ５ｇと、２番目に近くなる（互いになす角が２番目に小さくなる）スピーカ５ｆとを特定（選定）する。
（ア１）聴取者の位置Rから発話者の位置Sまでを結ぶ線分をさらに延長した先における当該線分と境界との交点SP(x_sp, y_sp)を算出し、
（ア２）自らの設置位置から聴取者の位置Rに向かう方向が、位置SP(x_sp, y_sp)から聴取者の位置Rに向かう方向に最も近くなる（互いになす角が最も小さくなる）スピーカ５ｇと、２番目に近くなる（互いになす角が２番目に小さくなる）スピーカ５ｆとを特定（選定）する。
【0092】
次に、スピーカ特定パニング部１１３ｄ（図１）は本実施形態において、
（イ）特定（選定）したスピーカ５ｆ及び５ｇから、聴取者に向けて、「（マイクで）収音された音」に相当若しくは対応する音が出力されることになる、スピーカ５ｆ及び５ｇ用の出力音響信号を、取得された聴取者及び発話者の位置座標情報に基づき、（第１及び第２の入力音響信号を用いて生成された）出力音響信号t_out(p)を用いて生成する。
（イ）特定（選定）したスピーカ５ｆ及び５ｇから、聴取者に向けて、「（マイクで）収音された音」に相当若しくは対応する音が出力されることになる、スピーカ５ｆ及び５ｇ用の出力音響信号を、取得された聴取者及び発話者の位置座標情報に基づき、（第１及び第２の入力音響信号を用いて生成された）出力音響信号t_out(p)を用いて生成する。
【0093】
具体的には図４に示したように、
（ａ）スピーカ５ｆの位置P5f及び聴取者の位置Rを結ぶ線分と、スピーカ５ｇの位置P5g及び聴取者の位置Rを結ぶ線分とのなす角をρとし、
（ｂ）スピーカ５ｆの位置P5f及び聴取者の位置Rを結ぶ線分と、位置SP及び聴取者の位置Rを結ぶ線分とのなす角をσとした場合に、
スピーカ５ｆ用の（スピーカ５ｆへ供給されるべき）出力音響信号t5f_out(p)、及びスピーカ５ｇ用の（スピーカ５ｇへ供給されるべき）出力音響信号t5g_out(p)は、これらρ及びσを算出した上で、次式
（１０） t5f_out(p)＝t_out(p)×(sin(ρ／2)＋sin(ρ／2－σ))
t5g_out(p)＝t_out(p)×(sin(ρ／2)－sin(ρ／2－σ))
によって導出されるのである。
（ａ）スピーカ５ｆの位置P5f及び聴取者の位置Rを結ぶ線分と、スピーカ５ｇの位置P5g及び聴取者の位置Rを結ぶ線分とのなす角をρとし、
（ｂ）スピーカ５ｆの位置P5f及び聴取者の位置Rを結ぶ線分と、位置SP及び聴取者の位置Rを結ぶ線分とのなす角をσとした場合に、
スピーカ５ｆ用の（スピーカ５ｆへ供給されるべき）出力音響信号t5f_out(p)、及びスピーカ５ｇ用の（スピーカ５ｇへ供給されるべき）出力音響信号t5g_out(p)は、これらρ及びσを算出した上で、次式
（１０） t5f_out(p)＝t_out(p)×(sin(ρ／2)＋sin(ρ／2－σ))
t5g_out(p)＝t_out(p)×(sin(ρ／2)－sin(ρ／2－σ))
によって導出されるのである。
【0094】
ここで上式（１０）は、スピーカ５ｆ及び５ｇを用い、両スピーカ（チャネル）間の音量差（振幅強度の差異）によって音像定位を実現する、いわゆる（振幅）パニング（panning）を実施するものとなっている。
【0095】
以上、図１～４を用いて、音源（発話者）を含む収音空間（収音室）の音場を、再生空間（再生室）に存在する受音体（聴取者）に対し再生する処理の説明を行ったが、ここで本実施形態における当該処理を簡単にまとめておく。本実施形態においては、
（ａ）マルチチャネルの全指向性マイク２から、音源（発話者）及び受音体（聴取者）の位置座標情報に基づき、２チャネルの全指向性マイク２を選定して１チャネルの（モノラルの）第１の入力音響信号を決定し、
（ｂ）マルチチャネルの鋭指向性マイク３から、音源（発話者）の位置座標情報及び顔方位角情報に基づき、２チャネルの鋭指向性マイク３を選定して１チャネルの（モノラルの）第２の入力音響信号を決定し、
（ｃ）これらのモノラルの（合わせて２チャネルの）入力音響信号を混合して１チャネルの（モノラルの）出力音響信号を生成した上で、マルチチャネルのスピーカ５から、音源（発話者）及び受音体（聴取者）の位置座標情報に基づき、２チャネルのスピーカ５を選定して、選定したスピーカ５による音像定位が可能となる出力音響信号を生成・提供するのである。
（ａ）マルチチャネルの全指向性マイク２から、音源（発話者）及び受音体（聴取者）の位置座標情報に基づき、２チャネルの全指向性マイク２を選定して１チャネルの（モノラルの）第１の入力音響信号を決定し、
（ｂ）マルチチャネルの鋭指向性マイク３から、音源（発話者）の位置座標情報及び顔方位角情報に基づき、２チャネルの鋭指向性マイク３を選定して１チャネルの（モノラルの）第２の入力音響信号を決定し、
（ｃ）これらのモノラルの（合わせて２チャネルの）入力音響信号を混合して１チャネルの（モノラルの）出力音響信号を生成した上で、マルチチャネルのスピーカ５から、音源（発話者）及び受音体（聴取者）の位置座標情報に基づき、２チャネルのスピーカ５を選定して、選定したスピーカ５による音像定位が可能となる出力音響信号を生成・提供するのである。
【0096】
図１の機能ブロック図に戻って、出力音響信号生成部１１３の近スピーカ特定パニング部１１３ｅは、特定したスピーカ５（図１では５ｆ及び５ｇ）と比べて聴取者（受音体）の位置により近い又は（室壁から見て）より内側に位置する少なくとも１つの「別のスピーカ」も特定し、特定した「別のスピーカ」（図１ではスピーカ５_cell）へ供給すべき出力音響信号も生成する。これにより、サラウンドのスピーカ５ａ～５ｈだけでは実現されない音場（音響）、例えば音源が近傍に存在していると感じるような、すなわちより近くに音像を定位させるような音場（音響）を再生若しくは再現することも可能となる。
【0097】
ここで図１に示した実施形態において、再生室の天井中央に設置されたスピーカ５_cellは、再生室に配置されているサラウンドのスピーカ５ａ～５ｈとは「別のスピーカ」であり、この再生室において、より内側の音響提示を実施可能とするスピーカとなっている。この場合、近スピーカ特定パニング部１１３ｅは、スピーカ５_cell用の出力音響信号tcell_out(p)を、次式
（１１） tcell_out(p)＝tf_gun(p)
（１２） tcell_out(p)＝tc_gun(p)
（１３） tcell_out(p)＝t_out(p)
のうちのいずれかをもって決定することができる。以下、このような「別のスピーカ」が複数存在する実施形態について、図５を用いて説明を行う。
（１１） tcell_out(p)＝tf_gun(p)
（１２） tcell_out(p)＝tc_gun(p)
（１３） tcell_out(p)＝t_out(p)
のうちのいずれかをもって決定することができる。以下、このような「別のスピーカ」が複数存在する実施形態について、図５を用いて説明を行う。
【0098】
図５は、本発明に係る天井スピーカ特定処理及び天井スピーカパニング処理の一実施形態を説明するための、再生空間に係る模式図である。
【0099】
図５によれば、再生空間において、サラウンドのスピーカ５ａ～５ｈ（図５では省略）とは「別のスピーカ」として、天井境界部の（空間内部を取り囲む）複数の位置と、天井中央の位置とに（図５では計９個の）天井スピーカが設置されている。ここで、近スピーカ特定パニング部１１３ｅ（図１）は、聴取者の位置座標情報（位置に係る情報）に基づき、所定数の（図５では３つの）天井スピーカを特定（選定）し、これらの天井スピーカによってパニングを行うことができるように、各天井スピーカへ供給する出力音響信号を生成する。
【0100】
具体的に図５では、天井スピーカを頂点とする最小の「三角形」であって、聴取者の頭上の天井位置（図５のバツ印）を含む「三角形」の頂点に位置する３つの天井スピーカ５_cell1、５_cell2及び５_cell3が、特定（選定）されている。近スピーカ特定パニング部１１３ｅ（図１）は、これらの特定した天井スピーカ５_cell1、５_cell2及び５_cell3用の出力音響信号を、聴取者にとって頭上の天井位置（バツ印）から音が聞こえるように、例えばＶＢＡＰ（Vector Based Amplitude Panning）法によって生成する。
【0101】
ここでＶＢＡＰ法は、三次元マルチチャネル音響（音場）における音像定位の代表的な制御手法であり、例えば非特許文献：安藤彰男, 「音響の高臨場感技術」, 映像情報メディア学会誌, Vol.66, No.8, pp.671－677, ２０１２年において詳細に解説されている。
【0102】
なお本実施形態では、天井スピーカは再生室（再生空間）の天井に固定して設置されているが、固定されておらずその位置が変化するものであってもよい。すなわち、複数の天井スピーカの少なくとも１つは例えば、再生室の天井を移動可能となっていてもよい。また「別のスピーカ」として、再生室内を移動可能なロボットに取り付けられたスピーカを採用することもできる。この場合例えば、聴取者にとって近傍の音像定位を実現すべく、スピーカを備えたロボットが適宜、聴取者の近傍に移動してもよいのである。さらに「別のスピーカ」として、再生室の床中央に設置された、または床上を移動可能な十二面体スピーカ５ｐを用いることも可能である。
【0103】
以上、出力音響信号生成部１１３（図１）による、再生室（再生空間）に設置されたスピーカを用いた音場再生処理について説明を行った。以下、聴取者（受音体）に装着されたステレオオン、本実施形態ではヘッドホンにおける音場再生処理について説明する。ここでこの場合、再生空間は、物理的な空間ではなく、聴取者に装着されたヘッドホンにおける音像定位に係る仮想空間（音像空間）となる。
【0104】
図１の機能ブロック図に戻って、出力音響信号生成部１１３は、出力混合部１１３ｃで生成した出力音響信号t_out(p)を用い、ヘッドホンの再生空間（音像空間）において聴取者（受音体）から見て発話者（音源）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向から、聴取者に向けて、「収音された音」に相当若しくは対応する音が出力されることになる、このヘッドホンに供給すべき出力音響信号th_out(p)を生成する。
【0105】
具体的には、聴取者から見た発話者の位置、及び聴取者の両耳にとっての発話者の向きを反映したヘッドホンの頭部伝達関数（ＨＲＴＦ, Head-Related Transfer Function）を、出力音響信号t_out(p)に対し、周波数領域で畳み込む（畳み込み積分処理を行う）ことにより、出力音響信号th_out(p)を生成することができる。なお、ＨＲＴＦについては、例えば非特許文献：西野隆典，「頭部伝達関数データベース」，[online]，［令和４年６月２７日検索］，インターネット＜URL: https://sites.google.com/site/takanorinishinomu/research/hrtf/database-j＞において詳細に解説されている。
【0106】
また、以上述べたようにヘッドホン用の出力音響信号th_out(p)を生成する際、出力音響信号t_out(p)の代わりに、
・この出力音響信号t_out(p)に対し、収音室（収音空間）の室内伝達関数（ＲＴＦ, Room Transfer Function）から生成した逆フィルタを畳み込む（畳み込み積分処理を行う）ことによって生成された出力音響信号tan_out(p)
を用いてもよい。これにより、聴取者はこのヘッドホンによって、例えば収音室の残響を除去したクリアな音を享受することも可能となる。また勿論、この出力音響信号tan_out(p)は、ヘッドホン以外にも、収音室のスピーカ等、他の音響出力系で利用されてもよい。
・この出力音響信号t_out(p)に対し、収音室（収音空間）の室内伝達関数（ＲＴＦ, Room Transfer Function）から生成した逆フィルタを畳み込む（畳み込み積分処理を行う）ことによって生成された出力音響信号tan_out(p)
を用いてもよい。これにより、聴取者はこのヘッドホンによって、例えば収音室の残響を除去したクリアな音を享受することも可能となる。また勿論、この出力音響信号tan_out(p)は、ヘッドホン以外にも、収音室のスピーカ等、他の音響出力系で利用されてもよい。
【0107】
さらに他の実施形態として、出力音響信号生成部１１３は、出力混合部１１３ｄから出力された出力音響信号t_out(p)を、そのまま（例えばパニング処理を施すことなく）装置１の外部へ提供させることも可能である。この場合でも、この出力音響信号t_out(p)は、装置１の外部において、受音体に向けて「収音された音」に相当若しくは対応する音が出力されることになる音響信号として利用されることが可能となっている。
【0108】
さらに言えば、更なる他の実施形態として、入力音響信号決定部１１２は、上述したような全指向性マイク特定処理や鋭指向性マイク特定処理を特に実施することなく、予め指定された少なくとも１つのマイクで収音された音に係る音響信号を取得して、入力音響信号を決定するものであってもよい。この場合においても、出力音響信号生成部１１３は、再生空間（再生室）において受音体（聴取者）から見て音源（発話者）の対応位置へ向かう方向又はこの方向に所定条件を満たすまでに近い方向に位置する少なくとも１つのスピーカ５を、取得された受音体（聴取者）及び音源（発話者）の位置に係る情報に基づき特定し、特定したスピーカ５へ供給すべき出力音響信号を生成するのである。
【0109】
同じく図１の機能ブロック図において、以上説明したように出力音響信号生成部１１３で生成された出力音響信号は、通信制御部１２１を介して通信インタフェース１０１から、通信ネットワークを経由し、再生空間に設置された（特定された）各スピーカ、又は再生室（再生空間）の中に又は近傍に設置された（図示されていない）音響信号分配制御装置へ送信される。ここで、送信される出力音響信号には、当該信号が供給されるべき（特定された）スピーカの識別情報が付与されていることも好ましい。
【0110】
また、以上に説明したような音場再生処理は、例えばキーボード（ＫＢ）１０２から入力された処理実行指示を、入出力制御部１２２が該当する機能構成部へ出力することによって実施されてもよい。また例えば、入出力制御部１２２が、特定されたマイク及びスピーカの情報や、発話者及び聴取者の位置に係る情報を、該当する機能構成部から適宜取得し、例えば図１の上方に示されたような、収音室及び再生室における刻々の状況を示す画像を、ディスプレイ（ＤＰ）１０２に表示させてもよいのである。
【0111】
以上詳細に説明したように、本発明によれば、取得した音源及び受音体の位置に係る情に基づき、マイクを特定して入力音響信号を決定し、さらに出力音響信号を生成するので、受音体が再生空間内の任意の位置に存在する又は再生空間内を移動可能となっている場合でも、この受音体に対し収音空間の音場を再生することができる。また、音源が収音空間内の任意の位置に存在する又は収音空間内を移動可能となっている場合においても、同じく受音体に対し収音空間の音場を再生することが可能となる。
【0112】
またさらに、本発明は例えば、近年広く利用されているウェブ会議、遠隔セッションや、遠隔地カンファレンス、さらにはオンラインコンサート等において、収音空間での音場に相当する又は対応する音場を、音場の被提供者に対し忠実に再現してみせることに大いに貢献し得るものとなっている。
【0113】
また本発明によれば、例えば（ａ）ステージ上を移動しながら歌唱・演奏を行う歌手・演奏家に係る音楽教材や、（ｂ）動き回る選手に係る音声・動作音を収録した体育教材、さらには（ｃ）ネイティブと並んで歩きながらの又は各種共同作業を行いながらの会話に係る言語教育教材や、（ｄ）工場や展示会場等の設備における種々の箇所で発生する各種の音を収録した社会見学教材等を、高い音場再現性をもって作成し、このような質の高い教材を活用した優れた音楽教育、体育教育、言語教育や社会教育等を、都市部だけでなく地方の子供達や受講者に対し例えばオンラインで、また場合によってはリアルタイムで受ける機会を提供することも可能となる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標４「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」に貢献することも可能となるのである。
【0114】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0115】
１ 音場再生装置
１０１ 通信インタフェース
１０２ キーボード（ＫＢ）・ディスプレイ（ＤＰ）
１１１ 位置情報取得部
１１２ 入力音響信号決定部
１１２ａ 全指向性マイク特定部
１１２ｂ、１１２ｄ 入力混合部
１１２ｃ 鋭指向性マイク特定部
１１３ 出力音響信号生成部１１３
１１３ａ 振幅調整部
１１３ｂ 音色調整部
１１３ｃ 出力混合部
１１３ｄ スピーカ（ＳＰ）特定パニング部
１１３ｅ 近スピーカ（ＳＰ）特定パニング部
１２１ 通信制御部
１２２ 入出力制御部
２、２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ 全指向性マイク
３、３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇ、３ｈ 鋭指向性マイク
４ 深度センサ
５、５ａ、５ｂ、５ｃ、５ｄ、５ｅ、５ｆ、５ｇ、５ｈ スピーカ
５_cell1、５_cell2、５_cell3 天井スピーカ
５ｐ 十二面体スピーカ
１０１ 通信インタフェース
１０２ キーボード（ＫＢ）・ディスプレイ（ＤＰ）
１１１ 位置情報取得部
１１２ 入力音響信号決定部
１１２ａ 全指向性マイク特定部
１１２ｂ、１１２ｄ 入力混合部
１１２ｃ 鋭指向性マイク特定部
１１３ 出力音響信号生成部１１３
１１３ａ 振幅調整部
１１３ｂ 音色調整部
１１３ｃ 出力混合部
１１３ｄ スピーカ（ＳＰ）特定パニング部
１１３ｅ 近スピーカ（ＳＰ）特定パニング部
１２１ 通信制御部
１２２ 入出力制御部
２、２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ 全指向性マイク
３、３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇ、３ｈ 鋭指向性マイク
４ 深度センサ
５、５ａ、５ｂ、５ｃ、５ｄ、５ｅ、５ｆ、５ｇ、５ｈ スピーカ
５_cell1、５_cell2、５_cell3 天井スピーカ
５ｐ 十二面体スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】