(58)【調査した分野】(Int.Cl.,DB名)
前記出力データ選択部は、音像定位処理された前記複数の出力信号のそれぞれのゲインを調整することにより、前記スピーカに出力される前記出力信号を選択する少なくとも1つのゲイン調整部を有する
請求項1または2に記載の信号処理装置。
【発明を実施するための形態】
【0030】
(本開示の基礎となった知見)
はじめに、本開示に係る技術の理解を容易にするために、従来技術および従来技術における課題についてより詳細に説明する。
【0031】
図15Aは、従来技術に係る音響制御法において、目標とする受聴状態を構成するための受聴者とスピーカとの配置関係を示す概略図である。
図15Bは、従来技術に係る音響制御法において、音響信号を再生する際の実際の受聴者とスピーカとの配置関係を示す概略図である。以下、目標とする受聴状態を構成するための受聴者とスピーカとの配置関係を「目標系」、音響信号を再生する際の実際の受聴者とスピーカとの配置関係を「再生系」と呼ぶ。
【0032】
図15Aに示す目標系10の構成では、音響信号が目標スピーカ203から再生され、受聴者101の両耳位置に届く様子を示している。ここで、目標スピーカとは、実際のスピーカの位置に関わらず、受聴者101に音響信号が発生していると認識させる位置に配置されている仮想のスピーカである。すなわち、音響信号の音像が定位される任意の場所に配置されている仮想のスピーカである。また、
図15Bは、再生系20の構成において、音響信号がフィルタ処理部350によって音像制御処理され、左スピーカ201および右スピーカ202から再生されて受聴者100の両耳位置に届く様子を示している。
【0033】
ここで、目標系10の構成において受聴者101の両耳位置で得られる音響信号と、再生系20の構成において受聴者100の両耳位置で得られる音響信号とが一致する場合を考える。この場合、受聴者100は、再生系20の構成において音響信号が左スピーカ201および右スピーカ202から出音されているにも関わらず、受聴者101から見た目標スピーカ203の位置に音像を知覚する。つまり、目標系10の構成において受聴者101の両耳位置で得られる音響信号と、再生系20の構成において受聴者100の両耳位置で得られる音響信号とが一致する制御を行うことにより、受聴者101の知覚する音像の位置を目標スピーカ203の位置に制御することが可能となる。
【0034】
このような制御方法は、従来、目標系10の構成とは物理的に異なる再生系20の構成において、目標系10の構成で得られる臨場感を再現する方法として用いられている。
【0035】
具体的には、再生系20の構成における左スピーカ201および右スピーカ202から受聴者100の両耳までの伝達関数をあらかじめ計測し、目標系10の構成における目標スピーカ203から受聴者101の両耳までの伝達関数を得るために、計測した伝達関数に所定の畳み込み(演算)を行う。再生系20の構成では、
図15Bに示すように、入力された音響信号Sに畳みこみを行うためのフィルタ処理部350を設けている。
【0036】
フィルタ処理部350は、
図15Bに示すように、フィルタXlおよびフィルタXrとから構成される。フィルタXlおよびフィルタXrにおいて、左スピーカ201および右スピーカ202のそれぞれから受聴者100の両耳位置までの伝達関数をHll、Hlr、Hrl、Hrrとする。また、目標系10の構成において、目標スピーカ203から受聴者101の両耳位置までの伝達関数をDl、Drとする。
【0037】
なお、以下、フィルタ処理部350で用いられる伝達関数Hll、Hlr、Hrl、Hrrは、周波数領域の値として記載する。本来はHll(ω)のように周波数を意味するωを添字として記載するべきだが、簡単化のため、(ω)を省略して説明する。
【0038】
あらかじめ計測された再生系20における伝達関数への畳み込みは、周波数領域の乗算で表される。したがって、フィルタXlおよびフィルタXrに設定される伝達関数Hll、Hlr、Hrl、Hrrは、以下の式(1)で設計することができる(非特許文献1参照)。
【0040】
なお、式(1)で用いられる関数は、時間領域、周波数領域のどちらであってもよい。
【0041】
ここで、式(1)で設計されるフィルタ処理部350は、あらかじめ計測された、左スピーカ201および右スピーカ202から受聴者100の両耳までの伝達関数Hll、Hlr、Hrl、Hrrから成り立っている。したがって、伝達関数Hll、Hlr、Hrl、Hrrを計測した位置から受聴者100が移動した場合には、左スピーカ201および右スピーカ202から移動した位置における受聴者100の両耳までの伝達関数は、Hll、Hlr、Hrl、Hrrと異なるため、式(1)で設計したフィルタ処理部350では目標系10において受聴者101の両耳位置で得られる信号を再生系20で実現できないことになる。すなわち、音像定位制御の効果が得られないこととなる。
【0042】
音像定位制御の効果が得られる受聴位置が限定されてしまう課題については、例えば、特許文献1で公開されている。特許文献1では、受聴者100の両耳位置の絶対的な音圧を再現するのではなく、両耳間差を実現することで、よりロバストな制御を実現する方法が開示されている。しかし、特許文献1に開示されている方法では、受聴者の移動距離が大きくなった場合、または、受聴者の移動距離が微少だったとしても再生環境の影響などにより再生スピーカから受聴者両耳位置までの伝達関数の変化が大きい場合、想定した音像定位制御効果が得られないことが予想される。
【0043】
そこで、本開示は、受聴者の受聴位置が移動した場合においても、受聴者に音像制御効果を与えることができる信号処理装置および信号処理方法を提供する。
【0044】
以下、適宜図面を参照しながら、本開示にかかる信号処理装置および信号処理方法の実施の形態について詳細に説明する。なお、以下の実施の形態では、実質的に同一の構成に対して同一の符号を付し、説明を省略する場合がある。
【0045】
また、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、以下において、同一の構成または変更のないものについては、同じ符号で説明する。
【0046】
なお、添付図面及び以下の説明は当業者が本開示を十分に理解するためのものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【0047】
(実施の形態1)
[1−1.信号処理システムの構成]
はじめに、実施の形態1にかかる信号処理システムの構成について説明する。
図1は、実施の形態1における信号処理システムの構成の一例を示すブロック図である。
【0048】
図1に示すように、本実施の形態に係る信号処理システムは、信号処理装置1と、左スピーカ201、右スピーカ202とを備えている。
【0049】
信号処理装置1は、左スピーカ201および右スピーカ202に、入力された音響信号を信号処理して出力する信号処理装置である。信号処理装置1の構成および動作については、後に詳述する。なお、信号処理装置1における各構成要素は、専用のハードウェアで構成されてもよいし、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。また、各構成要素は、CPU、またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、各構成要素は、集積回路であるLSI(Large Scale Integration)、専用回路、汎用プロセッサ、FPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続や設定を再構成可能なリコンフィグアブル・プロセッサで実現してもよい。
【0050】
なお、信号処理装置1は、左スピーカ201および右スピーカ202を含む構成としてもよい。
【0051】
左スピーカ201および右スピーカ202は、信号処理装置1において信号処理された音響信号を出力するスピーカである。本実施の形態において、左スピーカ201は第1のスピーカ、右スピーカ202は第2のスピーカである。左スピーカ201および右スピーカ202は、例えば、入力信号の全周波数帯域を再生することを意図したスピーカである。
【0052】
左スピーカ201および右スピーカ202は、異なる位置に配置されている。例えば、
図1に示すように、左スピーカ201および右スピーカ202は、受聴者100に対して左右対称な位置に配置されている。左スピーカ201は、受聴者100からみて左側に位置するスピーカである。右スピーカ202は、受聴者100からみて右側に位置するスピーカである。
【0053】
[1−2.信号処理装置の構成]
信号処理装置1は、
図1に示すように、入力部301、複数のフィルタ処理部、記憶装置304、係数設定部305、制御部401、出力データ選択部402、タイマー403、カウンタ404、出力部405を備える。本実施の形態において、信号処理装置1は、複数のフィルタ処理部として、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nを備えている。なお、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nを、まとめて第1のフィルタ処理部302a〜第nのフィルタ処理部302nと表すこともある。
【0054】
入力部301は、信号処理装置1の外部から音響信号Sが入力される入力部である。入力部301は、信号処理装置1の外部から入力された音響信号を、第1のフィルタ処理部302a〜第nのフィルタ処理部302nに出力する。
【0055】
第1のフィルタ処理部302a〜第nのフィルタ処理部302nは、入力部301から入力された音響信号Sを音像定位させるための音像制御処理を行う処理部である。第1のフィルタ処理部302a〜第nのフィルタ処理部302nは、例えば、FIR(Finite Impulse Response)フィルタで構成されている。なお、第1のフィルタ処理部302a〜第nのフィルタ処理部302nは、FIRフィルタに限らず、例えばIIR(Infinite Impulse Response)フィルタ、FIRフィルタとIIRフィルタを組み合わせたものなどで実現してもよい。フィルタ処理部の伝達関数は、周波数領域で設計されていてもよいし、時間領域において最小二乗法を用いて設計されてもよい。また、第1のフィルタ処理部302a〜第nのフィルタ処理部302nは、フィルタ係数が固定されたフィルタでなくてもよく、フィードバック等によりフィルタ係数が時間変化する適応フィルタで実現されていてもよい。
【0056】
記憶装置304は、第1のフィルタ処理部302a〜第nのフィルタ処理部302nで音像制御処理を行うためのフィルタ係数が記憶されている記憶装置である。フィルタ係数は、後述するように、複数の受聴条件から生成されている。複数の受聴条件とは、例えば、物理的に近傍な複数の受聴位置、頭の大きさ等の条件である。第1のフィルタ処理部302a〜第nのフィルタ処理部302nのフィルタ係数は、例えば第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部とフィルタ係数とを対応付けた係数テーブルとして保存されている。
【0057】
係数設定部305は、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部にフィルタ係数を設定する設定部である。係数設定部305は、記憶装置304からフィルタ係数を読み出し、各フィルタ処理部に設定する。
【0058】
出力データ選択部402は、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理された出力信号(出力データ)のうち、いずれを左スピーカ201および右スピーカ202から出力するかを選択する選択部である。出力データ選択部402は、後述するように、複数のゲイン調整部と、加算部421および加算部422とを有している。本実施の形態において、加算部421は第1の加算部、加算部422は第2の加算部である。
【0059】
出力データ選択部402は、選択した出力データを出力部405に出力する。なお、出力データ選択部402の構成および動作については、後に詳述する。
【0060】
制御部401は、左スピーカ201および右スピーカ202から出力される出力データを、出力データ選択部402に選択させる制御を行う制御部である。制御部401は、複数のゲイン調整部のそれぞれに設定されるゲインの調整を行う。具体的には、制御部401は、複数のゲイン調整部のそれぞれに設定されるゲインを切り替え、出力データへ乗算する制御を行う。制御部401は、出力データを切り替える所定の時間に基づいて出力データの切り替えが行われるように、出力データ選択部402の制御を行う。
【0061】
タイマー403は、出力データ選択部402で選択される出力データを切り替える時間があらかじめ設定されているタイマーである。カウンタ404は、経過時間をカウントするカウンタである。本実施の形態において、タイマー403およびカウンタ404は、出力データ選択部402が出力データを切り替える時間を監視する計時部である。カウンタ404は、タイマー403に設定された時間が経過した場合に、制御部401に当該時間の経過を通知する。なお、タイマー403およびカウンタ404は、制御部401の内部に設けられてもよいし、制御部401の外部に外付けされていてもよい。
【0062】
[1−3.信号処理装置の動作]
次に、信号処理装置1の動作について説明する。
【0063】
音響信号Sは、入力部301から入力され、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理される。その際、係数設定部305によって、記憶装置304に格納された係数テーブルから第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部のフィルタ係数が読み出され、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定される。
【0064】
第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部は、それぞれ式(1)によって伝達関数が設計されるが、異なる条件下において設計される。第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部によって音像制御処理された出力信号すなわち出力データは、出力データ選択部402に入力される。
【0065】
出力データ選択部402は、制御部401からの制御によって、第1のフィルタ処理部302a〜第nのフィルタ処理部302nのうちのどのフィルタ処理部によって音像制御処理された出力データを左スピーカ201および右スピーカ202から出力するかを選択する。そして、選択された出力データを出力部405へ出力する。出力部405に出力された出力データは、音響信号として左スピーカ201および右スピーカ202から出力される。
【0066】
なお、本開示においては、「出力データを選択する」ことを「出力データを切り替える」ともいう。「出力データを選択する」または「出力データを切り替える」とは、具体的には、後述するように、出力データ選択部402に配置されたゲイン調整部412a〜412nのゲインを切り替え、ゲイン調整部412a〜412nにおいて、第1のフィルタ処理部302a〜第nのフィルタ処理部302nで音像制御処理された音響信号にゲインを乗算することをいう。
【0067】
ここで、
図2は、本実施の形態における第1のフィルタ処理部302a〜第nのフィルタ処理部302nの設計時の、受聴位置の一例を示す図である。
図2では、フィルタ係数の設計条件の一例として、受聴位置を変化させてフィルタ係数を設計した例を示している。
図2では、受聴者100を左耳側からみた場合の、受聴者100と複数の受聴位置の例を示している。受聴位置1001、1002、1003は、受聴者100の左耳が位置するであろうと想定される想定位置を示している。フィルタ係数は、受聴者100が受聴するであろう位置を複数想定して設計されている。つまり、フィルタ係数を生成するための受聴条件には、少なくとも受聴者が移動する可能性のある受聴位置の情報が含まれている。
図2に示す複数の受聴位置の間隔は、例えば5cmである。
【0068】
フィルタ係数は、上述したように、係数テーブルとして
図1の記憶装置304に格納されている。
図1に示した第1のフィルタ処理部302a〜第nのフィルタ処理部302nには、このようにして設計されたフィルタ係数が係数設定部305によってそれぞれ設定される。
【0069】
図3は、本実施の形態における出力データ選択部402の構成を示すブロック図である。出力データ選択部402は、複数のゲイン調整部と、加算部421および加算部422とを有している。複数のゲイン調整部は、例えば、複数のフィルタ処理部と同数設けられており、各フィルタ処理部に対してそれぞれ1つのゲイン調整部が対応する構成とされていてもよい。
【0070】
本実施の形態では、出力データ選択部402は、複数のゲイン調整部として、ゲイン調整部412a、412b、・・・、412nを有している。ゲイン調整部412a、412b、・・・、412nは、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nに対応している。なお、以下において、ゲイン調整部412a、412b、・・・、412nをまとめてゲイン調整部412a〜412nと表すこともある。
【0071】
出力データ選択部402において、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理された音響信号は、ゲイン調整部412a〜412nの各ゲイン調整部において、ゲインが乗算される。より詳細には、左スピーカ201から出力される音響信号および右スピーカ202から出力される音響信号ごとにゲインが乗算される。また、左スピーカ201から出力される音響信号と右スピーカ202から出力される音響信号とには、同じゲインが乗算される。
【0072】
その際、制御部401は、タイマー403およびカウンタ404により、ゲイン調整部412a〜412nのゲインの切り替えタイミングを受け取る。そして、制御部401は、当該タイミングで、出力データ選択部402のゲイン調整部412a〜412nに設定される各ゲインg1、g2、・・・、gnの値を変更する。ゲイン調整部412a〜412nの各ゲイン調整部では、フィルタ処理部により処理された出力データにゲインが乗算される。このようにして、出力データ選択部402において、左スピーカ201および右スピーカ202から出力される出力データが選択される。
【0073】
さらに、ゲイン調整部412a〜412nの各ゲイン調整部においてゲインが乗算された出力データのうち、左スピーカ201から出力される出力データは、加算部421において加算される。また、ゲインが乗算された出力データのうち、右スピーカ202から出力される出力データは、加算部422において加算される。加算部421および422で加算された出力データは、それぞれ左スピーカ201および右スピーカ202から音響信号として出力される。
【0074】
図4は、本実施の形態における出力データ選択部402によって得られる音響信号の一例を示す図である。
図4の(a)〜(c)において、横軸は時間、縦軸は出力信号の振幅レベルを示している。また、
図4の(a)〜(c)のそれぞれにおいて、上段は左スピーカ201用の出力データ、下段は右スピーカ202用の出力データである。
【0075】
なお、
図4の(a)〜(c)において破線の四角で囲んだ区間は、出力データ選択部402が選択した出力データの出力区間を示している。本実施の形態に係る信号処理装置1では、
図4に示すように、時刻t(0)、t(1)、・・・、t(5)のタイミングで出力データを切り替える制御が行われている。各時刻t(0)、t(1)、・・・、t(5)の間の遷移区間は、一定時間である。
【0076】
ゲイン調整部412a、412b、・・・、412nに設定されるゲインをそれぞれg1、g2、・・・、gnとすると、ゲイン調整部412a〜412nは、時刻t(0)から時刻t(1)の遷移区間においては、g1=1、g2=0、・・・、gn=0、時刻t(1)から時刻t(2)の遷移区間においては、g1=0、g2=1、・・・、gn=0、のようにゲイン調整部412a〜412nのゲインg1〜gnを切り替える。なお、
図4の(a)〜(c)に示すように、第1のフィルタ処理部302a〜第nのフィルタ処理部302nのそれぞれからの出力データは、一定時間ごとに切り替わって順に選択され、出力部405に出力されてもよい。
【0077】
ここで、出力データの切り替え時間の間隔(時間差)Δtの設定値は、入力する音響信号Sの種類および長さにもよるが、例えば0.1〜0.5秒程度である。音響信号Sが意味のある言葉(例えば、「危険」「障害物があります」など。)である場合には、当該言葉が少なくとも1回は聞こえる程度の継続時間としてもよい。音響信号Sが断続的な警告音などであれば、1区間の警告音の継続時間に合わせて短くしてもよい。
【0078】
また、
図5は、実施の形態1における出力データ選択部402のゲイン調整部412a〜412nのゲイン設定の一例を示す図である。
図6は、
図5に示したゲイン調整部412a〜412nのゲインのうちの2つを重ねて表示した図である。上記の
図3および
図4では、切り替えタイミングで第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部の出力が切り替わる例を示したが、
図5および
図6に示すようにゲイン調整部412a〜412nのうち、出力時間が連続する2つのフィルタ処理部に設定されるゲインをクロスフェードさせるようにすることで、切り替えタイミングに発生するノイズを抑えることが可能となる。
【0079】
ゲイン切り替え時刻である時刻t(1)から時刻t(1)’までの遷移区間におけるゲインの変化ついて、
図6を用いて説明する。
図6に示すように、時刻t(1)からゲインg1は徐々に値が小さくなり、時刻t(1)’で0になる。また、ゲインg2は、時刻t(1)までは0であるが、時刻t(1)から徐々に大きくなり、時刻t(1)’で1となる。その際、ゲインg1およびg2は、g1+g2=1となるようにそれぞれ変化する。
【0080】
なお、本実施の形態では、時刻t(1)から時刻t(1)’の遷移区間にゲインg1およびg2が直線でクロスフェードする例を示したが、ゲインg1およびg2は、サイン二乗またはコサイン二乗などの曲線でクロスフェードしてもよい。
【0081】
また、
図6に示した遷移区間(例えば時刻t(1)から時刻t(1)’)については、一般的には時間差Δtより小さい値を設定するがそれに限定されない。
【0082】
[1−4.信号処理装置における信号処理手順]
次に、信号処理装置1における信号処理の手順を説明する。
図7は、本実施の形態における信号処理装置1の動作を示すフローチャートである。
【0083】
まず、起動時などの初期設定時に、係数設定部305により記憶装置304からフィルタ係数が読み出される(ステップS10)。そして、読み出されたフィルタ係数は、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定される(係数設定処理工程)(ステップS11)。
【0084】
その後、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に、音響信号Sの入力が開始される(ステップS12)。入力された音響信号Sは、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理される(フィルタ処理工程)。
【0085】
その後、制御部401から出力データ選択部402に制御情報が入力され、前記出力信号を選択させる制御が行われる(制御処理工程)(ステップS13)。続けて、出力データ選択部402において、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部において音像制御処理された音響信号が、出力データとして順次選択される(出力データ選択処理工程)(ステップS14)。そして、選択された出力データは、出力データ選択部402から出力部405へ出力される。出力部405へ出力された出力データは、選択された左スピーカ201または右スピーカ202から音響信号として出力される(ステップS15)。
【0086】
さらに、カウンタ404によって、出力データが出力されている間の時間をカウントすることにより、タイマー403に設定されたタイマー403に設定された出力データ選択切り替え時間が経過したか否かが検知される(計時処理工程)(ステップS16)。
【0087】
タイマー403に設定された出力データ選択切り替え時間を経過した場合(ステップS16においてyes)、出力データの切り替えが行われるように、制御部401が出力データ選択部402の制御を行い、制御部401から制御情報が入力されるステップS13、出力データ選択部402にて出力データが選択されるステップS14、フィルタ処理済みの音響信号が出力されるステップS15が繰り返し行われる。なお、信号処理装置1は、タイマー403に設定された出力データ選択切り替え時間が経過した場合、処理を終了してもよいし、処理を終了せずにステップS10〜ステップS15の処理を再度繰り返してもよい。
【0088】
また、タイマー403に設定された出力データ選択切り替え時間が経過していない場合には(ステップS16においてno)、選択された出力データの出力が継続される(ステップS15)。
【0089】
これにより、
図2に示した複数の受聴位置に順次音像が定位される。つまり、複数の受聴位置に順に音像が移動することとなる。したがって、受聴者100は、複数の受聴位置のいずれかにおいて、いずれかのタイミングで、音響信号を知覚することができる。
【0090】
[1−5.効果等]
以上のような構成の信号処理装置1によると、
図7に示したフローチャートの動作により音響信号Sが処理されることで、受聴者100は、いずれかのタイミングで、左スピーカ201および右スピーカ202から出力された受聴位置に合った音響信号を受聴することができる。これにより、信号処理装置1によって、受聴者100に所望の音像制御効果を与えることができる。
【0091】
(実施の形態2)
[2−1.信号処理装置の構成及び動作]
次に、実施の形態2にかかる信号処理システムおよび信号処理装置2について説明する。本実施の形態にかかる信号処理装置2は、実施の形態1にかかる信号処理装置1と比較して、フィルタ係数について使用する範囲を設定する点が異なっている。
【0092】
図8は、本実施の形態における信号処理システムの構成の一例を示すブロック図である。
図8に示すように、本実施の形態に係る信号処理システムは、信号処理装置2と、左スピーカ201、右スピーカ202とを備えている。なお、左スピーカ201および右スピーカ202の構成は、実施の形態1に示した左スピーカ201および右スピーカ202と同様であるため、説明を省略する。
【0093】
信号処理装置2は、
図8に示すように、
図1に示した信号処理装置1の構成と比較して、補助情報入力部501、補助情報分析部502および係数範囲選定部503をさらに備えている。
【0094】
補助情報入力部501は、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定されるフィルタ係数の範囲を選定するための補助情報が入力される入力部である。補助情報は、係数設定部305により第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定されるフィルタ係数の範囲を選定するための、受聴者100の受聴位置に関する補助的な情報である。補助情報は、例えば、受聴者100の両耳位置の情報を含む情報であってもよいし、受聴者100の着座位置の情報を含む情報であってもよい。また、補助情報は、受聴者100が着座するシート位置の情報を含むものであってもよい。
【0095】
例えば、車載機器向けに本実施の形態にかかる信号処理装置2を適用した場合、補助情報として、受聴者100のシート位置情報を含むCAN(Controller Area Network)情報、ドライブレコーダなどに設置されている車室内向けカメラから得られる画像情報などを用いてもよい。
【0096】
補助情報分析部502は、入力された補助情報を分析し、補助情報の中から受聴者100の受聴位置を検出するのに有用な情報を抽出する分析部である。例えば、入力された補助情報がCAN情報であれば、補助情報分析部502は、入力されたCAN情報を分析し、入力されたCAN情報の中からシート位置情報を得る。また、入力された補助情報がドライブレコーダからの画像情報であれば、補助情報分析部502は、画像認識技術などの技術を用いて画像情報を分析してドライバの顔の位置を認識し、ドライバの受聴位置がどこであるかを抽出する。
【0097】
係数範囲選定部503は、補助情報分析部502で分析された結果を基に、記憶装置304に格納されているフィルタ係数のうちのどの係数を使用するか、使用するフィルタ係数の範囲(係数範囲)を選定する。係数範囲選定部503は、選定した係数範囲のフィルタ係数を、係数設定部305に入力する。
【0098】
図9は、本実施の形態における第1のフィルタ処理部302a〜第nのフィルタ処理部302nの設計時の受聴位置と、受聴位置のグループの一例を示す図である。より詳細には、
図9は、係数範囲選定部503で設定するフィルタ係数の使用範囲の設定例を示している。
図9に示す受聴位置は、
図2に示した受聴位置と同様に、受聴者100の左耳側からみた場合の受聴者100と第1のフィルタ処理部302a〜第nのフィルタ処理部302nの設計時に想定した受聴位置の例を示している。
【0099】
信号処理装置2において、記憶装置304には、
図9に示す複数の受聴位置として示した、複数の受聴条件で設計された複数のフィルタ係数が格納されている。記憶装置304に格納されたそれぞれのフィルタ係数は、受聴位置によってグループ分けされている。例えば、補助情報分析部502によって得られた補助情報の分析結果がAの位置であった場合、係数範囲選定部503は、係数範囲として、Aが属するグループである第1グループ1101に含まれる複数の受聴位置のフィルタ係数を用いることを係数設定部305に入力する。
【0100】
なお、第1グループ1101または第2グループ1102など、係数範囲を設定するためのグループは、物理的に近傍な複数の受聴位置で設計されたフィルタ係数、または、頭の大きさなどを変えて設計されたフィルタ係数であってもよい。また、係数範囲を設定するためのグループは、複数の受聴条件を組み合わせて設計されていてもよい。例えば、受聴位置については第1グループ、頭の大きさについては第aグループなど、条件ごとにグループを設計してもよい。
【0101】
係数範囲選定部503の出力結果を受け、係数設定部305では、記憶装置304から該当するグループの係数を読み出し、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定する。例えば
図9に示したグループの例では、第1グループ1101に含まれる9つの条件(受聴位置)で設定された係数を、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定する。
【0102】
第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部では、入力された音響信号Sを音像制御処理し、出力データ選択部402に入力する。出力データ選択部402におけるゲイン調整部412a〜412nの動作(ゲインの設定)については、
図5および
図6に示した通りである。
【0103】
[2−2.信号処理装置における信号処理手順]
ここで、信号処理装置2における信号処理の手順を説明する。
図10は、本実施の形態における信号処理装置2の動作を示すフローチャートである。
【0104】
まず、信号処理装置2は、上述したように補助情報入力部501により補助情報を取得し(補助情報取得工程)(ステップS20)、その後、補助情報分析部502により入力された補助情報を分析し、補助情報の中から受聴者100の受聴位置を検出するのに有用な情報を抽出する(ステップS21)。続けて、係数範囲選定部503により記憶装置304に格納されているフィルタ係数のうちのどの係数を使用するか、使用する係数範囲を選定する(係数範囲選定工程)(ステップS22)。
【0105】
さらに、係数設定部305は、係数範囲選定部503において選定された係数範囲を基に、記憶装置304からフィルタ係数を読み出す(ステップS23)。続けて、係数設定部305は、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nの各フィルタ処理部にフィルタ係数を設定する(ステップS24)。
【0106】
その後、入力部301に音響信号Sの入力が開始され(ステップS25)。入力された音響信号Sは、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理される。さらに、制御部401から出力データ選択部402に制御情報が入力される(ステップS26)。
【0107】
続けて、制御部401から入力された制御情報に基づいて、出力データ選択部402において、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理された音響信号が出力データとして順次選択される(ステップS27)。そして、選択された出力データは、出力データ選択部402から出力部405に出力される。出力部405に出力された出力データは、選択された出力データに基づいて左スピーカ201または右スピーカ202から音響信号として出力される(ステップS28)。
【0108】
さらに、
図7に示した信号処理装置1と同様、カウンタ404によって時間をカウントすることにより、タイマー403に設定された所定の出力データ選択切り替え時間が経過したか否かが検知される(ステップS29)。
【0109】
タイマー403に設定された出力データ選択切り替え時間が経過した場合(ステップS29においてyes)、出力データの切り替えが行われるように、制御部401が出力データ選択部402の制御を行い、制御部401から制御情報が入力されるステップS26、出力データ選択部402において出力データが選択されるステップS27、フィルタ処理済みの音響信号が出力されるステップS28が繰り返し行われる。タイマー403に設定された出力データ選択切り替え時間が経過していない場合には(ステップS29においてno)、選択された出力データの出力が継続される(ステップS28)。
【0110】
さらに、補助情報分析部502において補助情報の変化が検知されると(ステップS30においてyes)、補助情報分析部502は再び補助情報を分析し(ステップS21)、ステップS22〜ステップS30の動作を繰り返す。補助情報分析部502において補助情報の変化が検知されない場合には(ステップS30においてno)、信号処理装置2は、処理を終了する。なお、信号処理装置2は、補助情報分析部502において補助情報の変化が検知されない場合、処理を終了してもよいし、処理を終了せずにステップS20〜ステップS30の処理を再度繰り返してもよい。
【0111】
これにより、
図9に示した第1グループ1101内の複数の受聴位置に順次音像が定位される。つまり、第1グループ1101において、複数の受聴位置に順に音像が移動することとなる。したがって、受聴者100は、複数の受聴位置のいずれかにおいて、いずれかのタイミングで、音響信号を知覚することができる。
【0112】
[2−3.効果等]
以上のような構成の信号処理装置2において、
図10に示したフローチャートの動作により音響信号Sが処理されることで、信号処理装置2は、補助情報入力部501に入力された補助情報を基に、記憶装置304に格納されたフィルタ係数のなかから抽出されたグループ内のフィルタ係数を選択して使用することができる。これにより、信号処理装置2では、音像定位制御の効果が得られにくいフィルタ係数の使用を避けることができる。これにより、信号処理装置2によって、受聴者100に所望の音像制御効果を与えることができる。
【0113】
(実施の形態3)
[3−1.信号処理装置の構成及び動作]
次に、実施の形態3にかかる信号処理システムおよび信号処理装置3について説明する。本実施の形態にかかる信号処理装置3は、実施の形態1にかかる信号処理装置1と比較して、左スピーカ201および右スピーカ202から出力される音響信号の切り替えタイミングが、入力された音響信号Sのパワーに応じて変更される点が異なっている。
【0114】
図11は、本実施の形態における信号処理システムの構成の一例を示すブロック図である。
図11に示すように、本実施の形態に係る信号処理システムは、信号処理装置3と、左スピーカ201、右スピーカ202とを備えている。なお、左スピーカ201および右スピーカ202の構成は、実施の形態1に示した左スピーカ201および右スピーカ202と同様であるため、説明を省略する。
【0115】
信号処理装置3は、
図11に示すように、
図1に示した信号処理装置1の構成と比較して、音響信号分析部601をさらに備えている。
【0116】
音響信号分析部601は、入力された音響信号Sのパワーを分析する分析部である。音響信号分析部601は、分析結果を制御部401に入力する。制御部401では、音響信号分析部601で分析された音響信号Sのパワーに基づいて、出力データ選択部402で選択される出力データの切り替えタイミングが設定される。
【0117】
ここで、音響信号Sのパワーとは、例えば、音響信号Sの振幅をデシベルで示したものである。つまり、音響信号Sの振幅をZとすると、20log
10|Z|[dB]と表すことができるパラメータである。なお、音響信号Sのパワーは、振幅の2乗の値を用いて計算したものであってもよい。この場合、サンプリングごとの瞬時的な2乗の値を用いたものであってもよいし、一定期間の2乗和を用いたものであってもよい。
【0118】
図12は、本実施の形態における音響信号分析部601の構成を示すブロック図である。
図12に示すように、音響信号分析部601は、パワー検出部611と、判定部612とを有している。
【0119】
パワー検出部611は、音響信号Sのパワーを検出する検出部である。判定部612は、音響信号Sのパワーが閾値以上であるか否かを判定する判定部である。
【0120】
入力部301から音響信号分析部601に入力された音響信号Sは、音響信号分析部601のパワー検出部611において音響信号Sのパワーが検出される。その検出結果を基に、判定部612は、パワー検出部611で検出されたパワーがある閾値を超えているか否かの判定を行い、判定結果を制御部401に出力する。
【0121】
ここで、ある閾値とは、例えば、音響信号Sが聴感上有効な音響信号であると認識することができる最低限のパワーの値である。例えば、ファンの音などの環境音は聴感上有効な音響信号ではなく、暗騒音である。音響信号のパワーの閾値は、例えば暗騒音の音響信号のレベルから+6dBのレベルなど、聴感上有効な信号が入力されたことを検出できるレベルとしてもよい。
【0122】
判定部612から音響信号Sのパワーの判定結果を出力された制御部401は、音響信号分析部601における音響信号Sのパワーが閾値を超えている場合、出力データ選択部402において出力データの選択動作を行う。この出力データの選択動作は、音響信号Sのパワーが閾値を超えている場合に行われるので、実施の形態1に示した信号処理装置1の選択動作と比べて一定間隔で行われるとは限らない。つまり、ゲイン調整部412a〜412nのゲインの切り替えタイミングは、一定の時間間隔で行われず、入力された音響信号Sのパワーの大きさに応じて行われる。
【0123】
図13は、本実施の形態における音響信号分析部601を用いたときの、出力データ選択部402によって得られる音響信号の一例を示す図である。
図13の(a)〜(c)において、横軸は時間、縦軸は出力信号の振幅レベルを示している。また、
図13の(a)〜(c)のそれぞれにおいて、上段は左スピーカ201用の出力データ、下段は右スピーカ202用の出力データである。
【0124】
図13の(a)〜(c)では、再生音の切り替えタイミングの一例が示されている。
図13の(a)〜(c)において破線の四角で囲んだ区間は、出力データ選択部402が選択した出力データの出力区間を示している。また、
図13に示す縦の矢印は、制御部401で再生音切り替え動作を行うタイミング(時刻)を示している。
【0125】
本実施の形態に係る信号処理装置3では、
図13の(a)〜(c)に示すように、時刻t(10)、t(11)、・・・、t(15)のタイミングで出力データを切り替える制御が行われる。各時刻t(10)、t(11)、・・・、t(15)の間の遷移区間は一定時間ではなく、制御部401により制御される。制御部401は、音響信号分析部601で生成された制御情報により、出力データを切り替えるタイミングを制御する。
【0126】
詳細には、音響信号分析部601は、入力された音響信号Sのパワーが閾値未満から閾値以上に変化し、閾値を超えたか否かを判定し、判定結果に基づいて、制御部401が出力データ選択部402の出力データの選択タイミングを制御するための制御情報を生成する。例えば、音響信号分析部601は、入力された音響信号Sのパワーが閾値未満から閾値以上に変化した場合には、出力データ選択部402のゲイン調整部412a〜412nのゲインを切り替え、入力された音響信号Sのパワーが閾値を超えない場合には、出力データ選択部402のゲイン調整部412a〜412nのゲインを切り替えないとする制御情報を生成する。
【0127】
当該制御情報を用いて制御部401によって出力データ選択部402を制御することにより、音響信号Sのパワーが閾値を超えない区間では第1のフィルタ処理部302a〜第nの各フィルタ処理部の出力の切り替えは行われなくなり、音響信号Sのパワーが聴感上有効な大きさのパワーである区間において第1のフィルタ処理部302a〜第nの各フィルタ処理部の出力の切り替えを行うことができる。
【0128】
なお、入力された音響信号Sによっては、入力開始直後に音響信号Sのパワーが閾値未満から閾値以上となり、そのまま閾値以上のままであるものもある。そこで、出力データの切り替えが行われてからの経過時間をカウンタ404によりカウントし、音響信号Sのパワーが閾値以上となる時間がタイマー403にあらかじめ設定された時間以上続いた場合、制御部401は第1のフィルタ処理部302a〜第nフィルタ処理部302nの出力を切り替える、という制御を行っても良い。
【0129】
なお、音響信号Sのパワーが閾値を超えない場合があることを考慮すると、音響信号分析部601は、切り替えタイミングを設定するための音響信号Sの判定条件の例として、音響信号Sのパワーが閾値以上、かつ、当該フィルタ処理部が選択されている時間がΔt2を超える、という判定条件を用いてもよい。なお、Δt2は、音響信号Sが警告音であることを認識できる程度の時間、例えば0.1から0.5秒の間で設定してよい。なお、Δt2は、これに限らず、音響信号の種類等に応じて変更してもよい。
【0130】
[3−2.信号処理装置における信号処理手順]
ここで、信号処理装置3における信号処理の手順を説明する。
図14は、本実施の形態における信号処理装置3の動作を示すフローチャートである。
【0131】
起動時などの初期設定時に、係数設定部305により記憶装置304からフィルタ係数が読み出される(ステップS40)。そして、読み出されたフィルタ係数は、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に設定される(ステップS41)。
【0132】
その後、第1のフィルタ処理部302a〜第nのフィルタ処理部302nの各フィルタ処理部に、音響信号Sの入力が開始される(ステップS42)。入力された音響信号Sは、第1のフィルタ処理部302a〜第nのフィルタ処理部302n各フィルタ処理部で音像制御処理される。
【0133】
さらに、音響信号Sは、音響信号分析部601において、音響信号Sのパワーがあらかじめ設定された閾値より大きいか小さいか分析される(パワー検出工程)(ステップS43)。そして、音響信号分析部601で分析された結果を基に、制御部401は、出力データ選択部402が出力データを切り替える制御を行うための制御情報を生成する(ステップS44)。制御部401で生成された制御情報は、制御部401から出力データ選択部402に入力される(ステップS45)。
【0134】
続けて、出力データ選択部402において、第1のフィルタ処理部302a〜第nのフィルタ処理部302n各フィルタ処理部で音像制御処理された音響信号が、出力データとして順次選択される(ステップS46)。そして、選択された出力データが、出力データ選択部402から出力部405へ出力される。出力部405へ出力された出力データは、選択された出力データに基づいて左スピーカ201または右スピーカ202から音響信号として出力される(ステップS47)。
【0135】
さらに、パワー検出部611において、音響信号Sのパワーが検出され、その検出結果を基に判定部612において、閾値未満から閾値以上に変化したかどうかが検出される(ステップS48)。音響信号Sのパワーが閾値未満から閾値以上に変化した場合(ステップS48においてyes)、出力データの切り替えが行われるように、制御部401は制御情報を生成する(ステップS44)。音響信号Sのパワーが閾値未満から閾値以上に変化していない場合(ステップS48においてno)、カウンタ404によって出力データが出力されている間の時間をカウントすることにより、タイマー403に設定された出力データ選択切り替え時間が経過したか否かが検知される(ステップS49)。
【0136】
タイマー403に設定された出力データ選択切り替え時間が経過した場合(ステップS49においてyes)、出力データの切り替えが行われるように、制御部401が出力データ選択部402の制御を行い、音響信号Sのパワーを分析するステップS43、制御部401において制御信号を生成するステップS44、制御部401から制御情報が入力されるステップS45、出力データ選択部402において出力データが選択されるステップS46、フィルタ処理済みの音響信号が出力されるステップS47が行われる。タイマー403に設定された出力データ選択切り替え時間が経過していない場合には(ステップS49においてno)、選択された出力データの出力が継続される(ステップS47)。なお、信号処理装置3は、タイマー403に設定された出力データ選択切り替え時間が経過していない場合、処理を終了してもよいし、処理を終了せずにステップS40〜ステップS49の処理を再度繰り返してもよい。
【0137】
これにより、信号処理装置3では、入力された音響信号Sのパワーが閾値未満から閾値以上に変化した場合には出力データを切り替え、音響信号Sのパワーが閾値未満から閾値以上に変化していない場合には、出力データを切り替えずに維持する制御が行われる。また、音響信号Sのパワーが閾値未満から閾値以上に変化していない時間が長い場合には、出力データ選択切り替え時間が経過したときに出力データを切り替える制御が行われる。したがって、受聴者100は、複数の受聴位置のいずれかにおいて、いずれかのタイミングで、音響信号を知覚することができる。
【0138】
[3−3.効果等]
以上のような構成の信号処理装置3において、
図14に示したフローチャートの動作により音響信号Sが処理されることで、信号処理装置3は、音響信号分析部601によって、入力された音響信号Sを分析して出力データの切り替えタイミングを制御することができる。これにより、信号処理装置3は、聴感上有効な音響信号が発生している区間、または、聴感上有効な音響信号が発生していない場合には出力データ選択切り替え時間が経過したときに、出力データを切り替え、受聴者100に音像制御効果を与えて音響信号を知覚させることができる。
【0139】
(その他の実施の形態)
以上、本開示の態様に係る信号処理装置について、実施の形態等に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。例えば、本開示において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
【0140】
例えば、上述した実施の形態では、フィルタ処理部はFIRフィルタ、IIRフィルタ、FIRフィルタとIIRフィルタを組み合わせたものなどで実現してもよい。また、フィルタ処理部の設計方法として、周波数領域で設計する方法を用いて説明したが、これに限定されない。時間領域において最小二乗的に求める方法でも、更には固定のフィルタでなく、適応フィルタで実現してもよい。
【0141】
また、上述した実施の形態では、フィルタ処理部を3つ以上備えた信号処理装置について説明したが、これに限らない。例えば、フィルタ処理部を1つのみ持ち、適宜係数設定部によりフィルタ係数を切り替えて使用してもよい。ただし、IIRフィルタを含む形式で実現した場合には、フィルタ係数を切り替えることで発振が起こる可能性もあるため、少なくとも2つ以上のフィルタ処理部を用いて切り替えて使用するのが望ましい。
【0142】
また、上述した実施の形態では、ゲイン調整部を3つ以上備えた出力データ選択部について説明したが、これに限らない。例えば、ゲイン調整部を1つのみ持ち、適宜制御部によってゲインを切り替えて使用してもよい。
【0143】
また、実施の形態1にかかる
図5に、出力データ選択部の動作として各フィルタ処理部の出力を切り替えて出力する例を、また、
図5および
図6にクロスフェードさせて滑らかに切り替える例を示したが、これは実施の形態2および3にも適用できるのは明らかである。
【0144】
また、上述した実施の形態において説明した左スピーカ201および右スピーカ202は、入力信号の全周波数帯域を再生することを意図したスピーカとしたがこの構成に限らない。左スピーカ201および右スピーカ202は、例えば、ツイータ、スコーカ、ウーハなど、再生する信号の周波数ごとに異なるユニットから構成されるマルチウェイのスピーカでもよい。その場合、それぞれのスピーカがユニットごとに別筐体で構成され、離れた位置に配置されていてもよい。また、スピーカは、LFE(Low Frequency Effect)信号を再生することができるサブウーハなどを含んでもよい。
【0145】
また、左スピーカ201および右スピーカ202は、信号処理装置に含まれる構成としてもよい。
【0146】
また、上述した実施の形態に記載の処理に加え、周波数特性を調整するイコライザまたはフィルタ、出力振幅を調整するゲインまたはAGC(Auto Gain Controller)のほか、ディレイ、リバーブまたはエコーなどのエフェクト処理を行う構成を、フィルタ処理部の前段もしくは後段に設けてもよい。その際、左右のスピーカ出力に対して同等の特性が乗算されることが望ましい。
【0147】
以上、本開示にかかる信号処理装置について実施の形態に基づいて説明したが、本開示はこの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【0148】
なお、本開示において、信号処理装置における各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU、またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、集積回路であるLSI、専用回路、汎用プロセッサ、FPGA、LSI内部の回路セルの接続や設定を再構成可能なリコンフィグアブル・プロセッサで実現してもよい。
【0149】
なお、本開示において、簡略化のため、ディジタル信号をアナログに変換するD/A変換器、スピーカから出力する際に信号を増幅するアンプ部などの記載は省略したが、これらをソフトウェアまたはハードウェアで実現し、スピーカから出力しても、本開示の効果は変わらないことはいうまでもない。