(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御部は、前記音源方向導出部によって導出された音源と前記筐体との位置関係を示す情報を前記表示部に表示するように制御することを特徴とする請求項2記載の音処理装置。
前記音源方向導出部によって導出された音源と前記筐体との位置関係と、前記動き検出センサによって検出された前記筐体の動きとに基づいて、前記複数のマイクロホンのうち選択された1つのマイクロホンより出力された音響信号を選択するチャンネル切り替え部をさらに備えることを特徴とする請求項1〜3のいずれか1項に記載の音処理装置。
前記音源方向導出部は、前記動き検出センサによって検出された前記筐体の動きに基づいて前記筐体の動きを予測し、予測結果に基づくタイミングで選択する音響信号を切り替えるよう、チャンネル切り替え制御信号を前記チャンネル切り替え部に供給することを特徴とする請求項4記載の音処理装置。
【発明を実施するための形態】
【0009】
以下、一実施形態の音処理装置について、添付図面を参照して説明する。
図1に示すように、一実施形態の音処理装置は、マイクロホン1a,1bよりなる少なくとも2つのマイクロホン1を備える。マイクロホン1は3つ以上であることが好ましい。
【0010】
一実施形態の音処理装置は、
図2に示す筐体100内に収納されている。
図2に示すように、マイクロホン1a,1bは、例えば筐体100の2つの角部近傍に取り付けられている。マイクロホン1をマイクロホン1c,1dを加えた4つとする場合には、マイクロホン1a〜1dを4つの角部近傍に取り付ければよい。
【0011】
マイクロホン1a,1bが無指向性であれば、理想的には、マイクロホン1a,1bを中心とした円形の指向性を有することになる。しかしながら、マイクロホン1a,1bは筐体100に組み込まれていることから、筐体100による音の反射や吸収により理想的な指向性とはならない。
【0012】
マイクロホン1a,1bの指向性パターンD1a,D2aは、筐体100の外側の方向Dr1a1,Dr1b1で広く、筐体100の内側の方向Dr1a2,Dr1b2で狭い。指向性パターンD1a,D2aは必ずしも円形とはならないが、
図2では便宜上、円形としている。
【0013】
図1において、マイクロホン1a,1bが集音することによって生成した音響信号は、チャンネル切り替え部2及び音源方向導出部3に入力される。チャンネル切り替え部2は、記憶部21,22と、読み出し制御部23と、スイッチ24とを有する。マイクロホン1aより出力された音響信号は記憶部21に入力され、マイクロホン1bより出力された音響信号は記憶部22に入力される。
【0014】
記憶部21は、マイクロホン1aより出力された音響信号を記憶する。記憶部22は、マイクロホン1bより出力された音響信号を記憶する。
【0015】
音源方向導出部3は、マイクロホン1a,1bより出力された音響信号に基づいて、音源の方向を判定する。マイクロホン1が2つの場合には、音源の方向を180度に限定すれば、音源の方向を判定することが可能である。マイクロホン1が3つ以上であれば、音源の方向を360度の範囲で判定することが可能となる。
【0016】
音源方向導出部3における音源の方向の判定に、特許文献2に記載されている技術を用いてもよい。
【0017】
動き検出センサ4は、筐体100の動きを検出する。動き検出センサ4は、筐体100の加速度を検出する加速度センサと、筐体100の角速度を検出する角速度センサ(ジャイロセンサ)との双方によって構成するのがよい。加速度センサは、3軸加速度センサであるのがよい。動き検出センサ4が加速度センサと角速度センサとを有することにより、筐体100の姿勢と筐体100の移動量を検出することが可能となる。
【0018】
動き検出センサ4より出力された動き検出情報は、音源方向導出部3及び信号処理部5に入力される。
【0019】
音源方向導出部3は、マイクロホン1a,1bより出力された音響信号と、動き検出センサ4より出力された動き検出情報とを用いて、音源の方向を判定することが好ましい。音源方向導出部3は、動き検出情報に基づいて筐体100の移動量を算出し、算出した移動量に基づいて筐体100の動きを予測して、音源の方向を判定することが好ましい。また、音源方向導出部3は、動き検出情報に基づいて音源と筐体100との位置関係を導出する。
【0020】
音源方向導出部3は、チャンネル切り替え部2が、マイクロホン1a,1bより出力された音響信号よりいずれか1つの音響信号を選択して出力するためのチャンネル切り替え制御信号を生成する。チャンネル切り替え制御信号は、読み出し制御部23に入力される。
【0021】
チャンネル切り替え制御信号がマイクロホン1aより出力された音響信号を選択することを示すとき、読み出し制御部23は記憶部21に記憶された音響信号を読み出すように制御する。このとき、読み出し制御部23は、スイッチ24を端子Taに接続させるように制御する。よって、記憶部21より読み出された音響信号は、信号処理部5へと供給される。
【0022】
一方、チャンネル切り替え制御信号がマイクロホン1bより出力された音響信号を選択することを示すとき、読み出し制御部23は記憶部22に記憶された音響信号を読み出すように制御する。このとき、読み出し制御部23は、スイッチ24を端子Tbに接続させるように制御する。よって、記憶部22より読み出された音響信号は、信号処理部5へと供給される。
【0023】
このように、チャンネル切り替え部2は、音源方向導出部3より出力されたチャンネル切り替え制御信号に基づいて、マイクロホン1a,1bより出力された2つの音響信号のうち、1つのマイクロホン1より出力された音響信号を選択して出力する。
【0024】
チャンネル切り替え部2が選択したマイクロホン1のチャンネルを音解析用チャンネルと称することとする。チャンネル切り替え部2が出力する音解析用チャンネルの音響信号を選択音響信号と称することとする。
【0025】
マイクロホン1が3つ以上の複数の場合も同様に、チャンネル切り替え部2は、複数のマイクロホン1より出力された音響信号それぞれを記憶部に記憶する。チャンネル切り替え部2は、チャンネル切り替え制御信号に基づいて、マイクロホン1の複数チャンネルよりいずれか1つの音解析用チャンネルを選択して、音解析用チャンネルの音響信号を選択音響信号として出力する。
【0026】
信号処理部5には、チャンネル切り替え部2より出力された選択音響信号の他に、音源方向導出部3より出力された音源の方向を示す情報と、動き検出センサ4より出力された動き検出情報とが入力される。
【0027】
信号処理部5は、不要周波数帯域抑圧部51と、周波数補正部52と、音量補正部53とを有する。
【0028】
不要周波数帯域抑圧部51は、入力された選択音響信号の周波数帯域のうち、後段の音解析部6における音響信号の解析に不要な周波数帯域を抑圧する。周波数補正部52は、入力された選択音響信号の周波数を補正する。音量補正部53は、入力された選択音響信号の音量を補正する
【0029】
不要周波数帯域抑圧部51と周波数補正部52と音量補正部53とを設けることは必須ではないが、設けることが好ましい。不要周波数帯域抑圧部51のみを設けてもよい。不要周波数帯域抑圧部51に加えて、周波数補正部52及び音量補正部53を設けることが好ましい。周波数補正部52及び音量補正部53の具体的な動作は後述する。
【0030】
信号処理部5によって所定の信号処理が施された選択音響信号は、音解析部6に入力される。音辞書記憶部7には、複数の音響パターンを登録した音辞書が記憶されている。音響パターンとは、音の周波数、音量、周波数の変化の仕方、音が継続する時間等の1または複数の要素を任意に組み合わせたものである。
【0031】
音解析部6は、入力された選択音響信号の音響パターンと、音辞書記憶部7に記憶されている複数の音響パターンとを比較照合して、選択音響信号を解析する。音解析部6は、発生した音が何の音であるか、発生した音がどのような音であるかを特定する。
【0032】
音解析部6にマイクロホン1a,1bより出力された2チャンネル双方の音響信号を入力してもよいが、本実施形態においては、1チャンネルの音解析用チャンネルの選択音響信号を入力するようにする。よって、音解析部6は、1チャンネルの音解析につき、処理負荷が最小限となる。
【0033】
本実施形態においては、音辞書に登録されている音響パターンを、例えば、電話機,ドアホン,目覚まし時計,警報機等が発生させる音、爆発等の事故で発生する音とする。言葉のパターンを音辞書記憶部7に登録して、音解析部6が言葉を解析してもよい。
【0034】
音解析部6が選択音響信号の音響パターンと音辞書に登録されている複数の音響パターンとを比較照合した結果、選択音響信号の音響パターンが複数の音響パターンのいずれかと一致したら、音解析部6は一致した音響パターンのコードを制御部8に供給する。
【0035】
制御部8は、表示制御部81と登録制御部82とを有する。制御部8には、音解析部6より出力されたコードと、音源方向導出部3より出力された音源の方向を示す情報とが入力される。
【0036】
表示制御部81は、コードと、音源の種別(例えば、電話機,ドアホン,目覚まし時計,警報機等)または音の種別(例えば、爆発音,ガラスが割れる音等)とを対応付けた情報を有する。
【0037】
表示制御部81は、入力されたコードと音源の方向を示す情報とに基づいて、表示部10に、音源方向と音解析結果を示す情報を表示させるよう、表示駆動部9を制御する。表示駆動部9は、表示制御部81による表示制御に基づいて、表示部10に上記の情報を表示させる。表示部10は例えば液晶表示デバイスである。
【0038】
図2に示すように、表示部10は筐体100に取り付けられている。本実施形態の音処理装置を使用するユーザは、表示部10を見ることにより、どの方向から何の音(どのような音)が発生したのかを確認することができる。
【0039】
表示制御部81には、表示部10に、何の音(どのような音)が発生したのかの情報のみを表示させてもよい。例えば家屋内に設置されている電話機は、設置場所が固定されていることが多い。設置場所が固定された音源が発生させた音の情報を表示部10に表示させる場合には、音が発生した方向を表示させる必要はさほどない。よって、音が発生した方向の表示は省略可能である。
【0040】
一方、爆発音やガラスが割れる音等の音が発生する場所が特定されない音に関する情報を表示部10に表示させる場合には、表示制御部81は、表示部10に、どの方向から何の音(どのような音)が発生したのかの情報を表示させるのがよい。
【0041】
音解析部6が選択音響信号の音響パターンと音辞書に登録されている複数の音響パターンとを比較照合した結果、選択音響信号の音響パターンが複数の音響パターンのいずにも一致しない場合が起こり得る。即ち、選択音響信号の音響パターンが音辞書に登録されていない音響パターンである場合が発生する。
【0042】
このような場合、音解析部6は、選択音響信号の音響パターンを音辞書に新たに登録させるようにするのがよい。
【0043】
選択音響信号の音響パターンが音辞書に登録されていない音響パターンである場合、音解析部6及び制御部8は、具体的に次のように動作する。音解析部6は、選択音響信号の音響パターンを音辞書記憶部7に一時的に記憶(仮登録)させる。音解析部6は、選択音響信号の音響パターンが未登録であることを示すコードを制御部8に供給する。
【0044】
表示制御部81は、未登録であることを示すコードに基づいて、表示部10に、音響パターンを新規登録するか否かを選択するメッセージを表示させるよう、表示駆動部9を制御する。表示駆動部9は、表示制御部81による表示制御に基づいて、表示部10に上記のメッセージを表示させる。
【0045】
ユーザは、操作部11を操作して、音響パターンを新規登録するか否かを選択することができる。操作部11より音響パターンを新規登録する指示がされたら、登録制御部82は、選択音響信号の音響パターンを音辞書に本登録するよう音解析部6に指示する。
【0046】
音解析部6は、仮登録した音響パターンに新たなコードを付与して、コードと音響パターンとを対応付けて音辞書に本登録させる。
【0047】
操作部11より音響パターンを新規登録する指示がなされなかったら、登録制御部82は、音辞書記憶部7に一時記憶させた音響パターンを消去するよう音解析部6に指示する。音解析部6は、音辞書記憶部7に一時記憶させた音響パターンを消去する。
【0048】
図3に示すフローチャートを用いて、本実施形態の音処理装置の動作を改めて説明する。
図3において、音処理装置が動作を開始すると、チャンネル切り替え部2及び音源方向導出部3は、ステップS101にて、各チャンネルのマイクロホン1a,1bより音響信号を取得する。チャンネル切り替え部2は、ステップS102にて、各チャンネルの音響信号を記憶部21,22に一時的に記憶させる。
【0049】
音源方向導出部3は、ステップS103にて、音源の方向を特定して、チャンネル切り替え制御信号をチャンネル切り替え部2(読み出し制御部23)に供給する。チャンネル切り替え部2は、ステップS104にて、音解析用チャンネルを選定して、選択音響信号を信号処理部5に供給する。
【0050】
以上のステップS101〜S104の処理と並行して、動き検出センサ4は、ステップS201にて、筐体100の動きの検出を開始する。音源方向導出部3は、ステップS202にて、筐体100の移動量を算出する。
【0051】
音源方向導出部3は、ステップS105にて、音源と音解析用チャンネルとの相対位置を監視する。音源方向導出部3は、ステップS106にて、音源は、選定した音解析用チャンネルの集音領域内にあるか否かを判定する。音源が音解析用チャンネルの集音領域内にあるか否かの具体的な意味合いについては後述する。
【0052】
音源が選定した音解析用チャンネルの集音領域内になければ(NO)、音源方向導出部3は、ステップS107にて、チャンネル切り替え部2に音解析用チャンネルの切り替えを指示して、処理をステップS106に戻す。
【0053】
音源が選定した音解析用チャンネルの集音領域内にあれば(YES)、チャンネル切り替え部2は、ステップS108にて、選定した音解析用チャンネルに対応した記憶部より音響信号(選択音響信号)を読み出して、信号処理部5に供給する。
【0054】
信号処理部5は、ステップS109にて、入力された選択音響信号を帯域制限し、必要に応じて周波数補正し、必要に応じて音量補正する。
【0055】
周波数補正部52は、マイクロホン1(即ち、筐体100)が移動したとき、ドップラー効果により変化する音の周波数を補正する。音量補正部53は、筐体100が移動して音源とマイクロホン1との位置関係が変化したとき、マイクロホン1の指向性により変化する音量を補正する。
【0056】
ここで、
図4を用いて、ステップS109における周波数補正について説明する。
図4において、音源SSから発せられる音は一点鎖線にて示すように球面波であり、音源SSを中心とする球面上では音圧や粒子速度は一定である。マイクロホン1が、位置P0から位置P1、…位置Pnと移動していくとする。
【0057】
音源方向導出部3は、音源SSと位置P0との位置関係を求め、音源の方向を示す情報を信号処理部5に供給する。周波数補正部52は、動き検出センサ4より出力された動き検出情報に基づいて、マイクロホン1の移動角度θと移動速度Vmを求める。マイクロホン1の移動角度θと移動速度Vmを信号処理部5の外部で求めて、それらの情報を周波数補正部52に供給してもよい。
【0058】
マイクロホン1が静止していれば、音波の伝搬速度はVs(一般には340m/s)である。マイクロホン1が位置P0から位置P1へと移動するとき、音波とマイクロホン1との相対速度はVs−Vm・cosθとなる。
【0059】
マイクロホン1で集音される音の周波数をfsr、音源SSより発せられる音の周波数をfsとすると、音の高さ(周波数)は、式(1)となる。
【0060】
fsr=fs(Vs−Vm・cosθ)/Vs …(1)
【0061】
式(1)を書き換えると、式(2)となる。
fs=fsr・Vs/(Vs−Vm・cosθ) …(2)
【0062】
周波数補正部52は、式(2)に基づいて、ドップラー効果により変化する音の周波数を補正することができる。筐体100が移動しても周波数補正部52が周波数を補正するので、音解析部6において音を誤って解析する可能性を低減させることができる。
【0063】
図5を用いて、ステップS109における音量補正について説明する。
図2で説明したように、マイクロホン1は指向性を有するので、筐体100が移動すれば、マイクロホン1で集音される音量が変化することがある。
【0064】
図5では、筐体100を簡略化して示している。
図5に示すマイクロホン1はマイクロホン1aに相当する。
【0065】
筐体100に組み込まれている状態でのマイクロホン1の指向性に起因して、マイクロホン1が集音する音量は、音が入射する方向によって異なることになる。音量補正部53は、音量のばらつきを補正するための補正係数を予め記憶している。
【0066】
音量のばらつきを補正するための補正係数は、マイクロホン1の周方向の各方向でのマイクロホン1の感度に基づいて決定することができる。
【0067】
図2において、マイクロホン1aの感度が、相対的に、方向Dr1a1において最大の1、方向Dr1a2において最小の0.5であるとする。この場合、音源が方向Dr1a1に位置しているときは補正係数1を乗じ、音源が方向Dr1a2に位置しているときは補正係数2を乗じれば、マイクロホン1の指向性に起因する音量のばらつきを補正することができる。
【0068】
図5において、筐体100が、位置P00から位置P10、…位置Pn0と移動していくとする。位置P00において、筐体100は周方向に図示のような向きにあるとする。位置P10において、筐体100は、位置P00における向きと比較して
図5の右回りに回転して、周方向に図示のような向きにあるとする。
【0069】
音量補正部53は、筐体100のそれぞれの位置(向き)で、音源SSと方向Dr1a1とがなす角度を求める。音量補正部53は、筐体100が位置P00に位置しているとき、音源SSと方向Dr1a1とがなす角度θ
P00を求める。音量補正部53は、筐体100が位置P10に位置しているとき、音源SSと方向Dr1a1とがなす角度θ
P10を求める。
【0070】
筐体100のそれぞれの位置における音源SSと方向Dr1a1とがなす角度を信号処理部5の外部で求めて、角度を示す情報を音量補正部53に供給してもよい。
【0071】
音量補正部53は、角度θ
P00,θ
P10…に対応した補正係数に基づいて、位置P00,P10…それぞれの位置において入力される選択音響信号の音量を補正する。
【0072】
ところで、
図5に示すように、音源SSとマイクロホン1との距離は位置P00,P10…で異なっている。厳密には、距離が異なれば音量も異なることになり、音源SSとマイクロホン1との距離に応じて音量は変化する。しかしながら、音源SSとマイクロホン1との距離を算出することはできないため、本実施形態では距離の違いによる音量の違いを無視することとする。
【0073】
音量補正部53は、筐体100の位置(向き)の変化を細かく検出して、選択音響信号の音量をその都度細かく補正するのがよい。
【0074】
図3に戻り、音解析部6は、ステップS110にて、選択音響信号を解析する。音解析部6は、ステップS111にて、音辞書に登録されている音響パターンと一致するか否かを判定する。
【0075】
音辞書に登録されている音響パターンと一致すれば(YES)、音解析部6は、ステップS112にて、一致した音響パターンのコードを出力する。表示制御部81は、ステップS113にて、音源方向と、音響パターンのコードが示す音解析結果とを表示部10に表示させて、処理を終了させる。
【0076】
表示制御部81は、所定時間後に表示部10に表示させた情報を消去してもよいし、ユーザが操作部11を操作することによって情報の消去が指示されたら、情報を消去してもよい。
【0077】
一方、ステップS111にて音辞書に登録されている音響パターンと一致しなければ(NO)、音解析部6は、ステップS114にて、選択音響信号の音響パターンを音辞書記憶部7に一時記憶させ、未登録の音響パターンであることを示すコードを出力する。
【0078】
表示制御部81は、ステップS115にて、音源方向と、音響パターンの音辞書への登録の要否を選択するメッセージを表示部10に表示させる。
【0079】
登録制御部82は、ステップS116にて、音辞書に登録する指示があったか否かを判定する。音辞書に登録する指示があれば(YES)、登録制御部82は、ステップS117にて、一時記憶した音響パターンに新たなコードを付与して音辞書に登録させて、処理を終了させる。
【0080】
音辞書に登録する指示がなければ(NO)、表示制御部81は、メッセージ等の表示を消去して、処理を終了させる。
【0081】
図6A〜
図6Cを用いて、筐体100の移動に伴って、チャンネル切り替え部2が音解析用チャンネルをどのように切り替えるかについて説明する。ここでは、音源方向導出部3が筐体100の動きを予測し、チャンネル切り替え部2が予測結果に基づいて音解析用チャンネルを切り替える場合について説明する。
【0082】
図6Aにおいて、ユーザ200は、体の前方(
図6Aの下側)に位置するよう筐体100を所持している。集音領域R1aはマイクロホン1aによる集音領域であり、集音領域R1bはマイクロホン1bによる集音領域である。実際には、集音領域R1a,R1bは図示のように明確には区分けされないが、便宜上、区分けしている。
【0083】
集音領域R1aは、音源がマイクロホン1a側に位置しているとき、マイクロホン1aでの集音が適した角度領域である。集音領域R1bは、音源がマイクロホン1b側に位置しているとき、マイクロホン1bでの集音が適した角度領域である。
【0084】
音源が集音領域R1a内にあるとは、音源が集音領域R1aで示す角度領域内に位置することである。音源が集音領域R1b内にあるとは、音源が集音領域R1bで示す角度領域内に位置することである。
【0085】
図6Aに示すように、ユーザ200の右後方で所定の音が発生したとする。音源SSは集音領域R1a内にある。この場合、マイクロホン1aが音解析用チャンネルである。マイクロホン1aより出力された音響信号が記憶部21より読み出されて、音解析部6へと供給される。本実施形態の音処理装置は、上述のようにして、入力された音響信号の解析を開始する。
【0086】
図6Bに示すように、ユーザ200は、左回りに体の向きを変えたとする。音源SSは依然として集音領域R1a内にある。よって、マイクロホン1aが音解析用チャンネルのままである。
【0087】
動き検出センサ4は、ユーザ200が体の向きを変えたことに伴う筐体100の動きを検出する。音源方向導出部3は、動き検出センサ4からの動き検出情報に基づいて、筐体100の動きを予測する。
【0088】
図6Cに示すように、ユーザ200は、さらに左回りに体の向きを変えて、移動を停止させたとする。
図6Cでは、音源SSは集音領域R1b内に移っている。この場合、マイクロホン1bが音解析用チャンネルとなる。
【0089】
音源方向導出部3は、筐体100の動きを予測するので、
図6Bから
図6Cへと移行するときに、音源SSが集音領域R1a内から集音領域R1b内へと移るタイミングを事前に予測することが可能である。
【0090】
よって、チャンネル切り替え部2は、音源SSが集音領域R1a内から集音領域R1b内へと移ると予測されるタイミングで、音解析用チャンネルをマイクロホン1aからマイクロホン1bへと切り替えることができる。
【0091】
このように、本実施形態によれば、音源SSが集音領域R1a内から集音領域R1b内へ、または、集音領域R1b内から集音領域R1a内へと移るタイミングにほぼ同期させて音解析用チャンネルを切り替えることが可能となる。
【0092】
音源方向導出部3が筐体100の動きを予測し、チャンネル切り替え部2が予測結果に基づいて音解析用チャンネルを切り替えるようにすれば、タイミングよくチャンネルを切り替えることができる。そして、複数ある音解析用チャンネルの中から、最良の音質(比較的良好な音質)となるチャンネルからの音響信号を選択して音解析を行うことができる。
【0093】
音源方向導出部3によって音源SSと筐体100の位置関係を導出し、動き検出センサ4によって筐体100の動きを検出することで、筐体100の位置の変化を細かく検出することができる。そして、信号処理部5によって音響信号の周波数または音量を補正することで、音解析部6による音響信号の解析精度を向上させることが可能となる。
【0094】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
図1に示す各部のうち、ソフトウェア(コンピュータプログラム)で構成可能な部分をソフトウェアで構成してもよい。ハードウェアとソフトウェアとの使い分けは任意である。