特許 7260101 情報処理装置、これを用いたミキシング装置、及びレイテンシ減少方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-10

(45)【発行日】2023-04-18

(54)【発明の名称】情報処理装置、これを用いたミキシング装置、及びレイテンシ減少方法

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230411BHJP

【ＦＩ】

H04R3/00

【請求項の数】 7

(21)【出願番号】P 2020514119

(86)(22)【出願日】2019-04-11

(86)【国際出願番号】 JP2019015837

(87)【国際公開番号】W WO2019203127

(87)【国際公開日】2019-10-24

【審査請求日】2022-02-09

(31)【優先権主張番号】P 2018080670

(32)【優先日】2018-04-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(73)【特許権者】

【識別番号】595026911

【氏名又は名称】ヒビノ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】高橋 弘太

(72)【発明者】

【氏名】宮本 宰

(72)【発明者】

【氏名】小野 良行

(72)【発明者】

【氏名】阿部 洋司

【審査官】堀 洋介

(56)【参考文献】

【文献】特開２０１５－１１８３６１（ＪＰ，Ａ）

【文献】特開２０１０－０８１５０５（ＪＰ，Ａ）

【文献】特開２０１６－１３４７０６（ＪＰ，Ａ）

【文献】特開２０１３－０５１５８９（ＪＰ，Ａ）

【文献】米国特許第０６５８７８１６（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００－ ３／１４

(57)【特許請求の範囲】

【請求項1】

入力信号に対して、第１の幅を有する窓関数を用いて時間周波数変換を行う第１の時間周波数変換部と、
前記入力信号に対して、前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて時間周波数変換を行う第２の時間周波数変換部と、
前記第１の時間周波数変換部の出力に基づく周波数解析結果を用いて、前記第２の時間周波数変換部の出力に変更を加える変更処理部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記第１の時間周波数変換部の周波数ビン数と、前記第２の時間周波数変換部の周波数ビン数は同じであることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第２の時間周波数変換部の周波数ビン数は、前記第１の時間周波数変換部の周波数ビン数よりも少ないことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記第２の窓関数は非対称の窓関数であることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

ある時刻における前記周波数解析結果は、前記ある時刻よりも後の時刻に得られる前記第２の時間周波数変換部の前記出力を変更することを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

請求項１～５のいずれか１項の情報処理装置を用いたミキシング装置。

【請求項7】

情報処理装置において、
入力信号に、第１の幅を有する第１の窓関数を用いて第１の時間周波数変換を実施し、
前記入力信号に対して、前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて第２の時間周波数変換を実施し、
前記第１の時間周波数変換に基づく周波数解析結果を用いて、前記第２の時間周波数変換を受けた変換後の入力信号を変更する、
ことを特徴とするレイテンシ減少方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置とこれを用いたミキシング装置、及びレイテンシ減少方法に関し、特に、周波数解析におけるレイテンシの低減技術に関する。

【背景技術】

【0002】

スマートミキサーは、入力信号を解析し、解析結果に基づいて入力信号に変更または調整を加えて、好ましいミキシング出力を得る。優先音と非優先音を時間周波数平面上で混合することにより、非優先音の音量感を保ったまま、優先音の明瞭度をあげることができる（たとえば特許文献１、及び特許文献２参照）。

【0003】

図１は、従来のスマートミキサーの概略図である。優先音の入力信号ｘ₁[ｎ]と、非優先音の入力信号ｘ₂[ｎ]に、それぞれに窓関数をかけて短時間のＦＦＴ（Fast Fourier Transform：高速フーリエ変換）を行うことで、時間周波数平面上の信号Ｘ₁[ｉ，ｋ]と、Ｘ₂[ｉ，ｋ]に展開する。時間周波数平面の各点（ｉ，ｋ）で、優先音と非優先音のそれぞれのパワーを算出して、時間方向に平滑化する。優先音及び非優先音の平滑化パワーＥ₁[ｉ，ｋ]とＥ₂[ｉ，ｋ]に基づいて、時間周波数平面上に展開された優先音のゲインα₁[ｉ，ｋ]と、非優先音のゲインα₂[ｉ，ｋ]を導出する。この一連の解析で得られたゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]を、時間周波数平面上の信号Ｘ₁[ｉ，ｋ]とＸ₂[ｉ，ｋ]にそれぞれ乗算し、乗算結果を加算して混合信号Ｙ[ｉ，ｋ]を得る。混合信号Ｙ[ｉ，ｋ]は、時間領域の信号に復元されて、出力される。

【0004】

ゲインの導出には、「対数強度の和の原理」と、「穴埋めの原理」という２つの基本原理が用いられている。「対数強度の和の原理」とは、出力信号の対数強度を入力信号の対数強度の和を超えない範囲に制限するものである。「対数強度の和の原理」によって、優先音が強調されすぎて混合音に違和感が生じることを抑制する。「穴埋めの原理」とは、非優先音のパワーの減少を、優先音のパワー増加分を超えない範囲に制限するものである。「穴埋めの原理」によって、混合音において非優先音が抑制されすぎて違和感が生じることを抑制する。これらの原理に基づいて合理的にゲインを決定することで、より自然な混合音が出力される。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５０５７５３５号

【文献】特開第２０１６－１３４７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

スマートミキサーで必要とされる解析を十分に行うと、ミキシング処理のレイテンシが２０ｍｓを超える場合がある。これに対し、ミキシングの現場で要求されるレイテンシは２０ｍｓ未満であり、５ｍｓ以下が望ましいと言われている。

【0007】

例えば、コンサート会場でミュージシャンがＰＡ（Public Address；音響拡声）装置のスピーカから音を聴き取ることを仮定する。このとき、電気音響系のシステムにおいてマイクからスピーカまでのレイテンシが大きいと、演奏に支障がでることが知られている。

【0008】

このレイテンシを具体的に何ミリ秒以下に抑える必要があるかに関しては、音の知覚に関する個人差が大きく、明確な客観的基準は確立されていない。一般的に、レイテンシが２０ｍｓを超えると多くの場合に違和感を感じること、１５ｍｓ以下であれば違和感を感じない場合もあることが、おおよその共通の認識である。一方で、演奏者が装着するイヤモニタについては、数ｍｓ以下が求められるという説もある。

【0009】

このような一般的な認識によると、スマートミキサーでの２０ｍｓを超えるレイテンシは、コンサート会場やレコーディングスタジオでのミキシング基準からすると、大き過ぎる。

【0010】

本発明は、周波数解析を含む情報処理系で、信号入力から出力までのレイテンシを低減することを目的とする。また、レイテンシ低減技術を適用したミキシング装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の第１の態様では、情報処理装置は、
入力信号に対して、第１の幅を有する窓関数を用いて時間周波数変換を行う第１の時間周波数変換部と、
前記入力信号に対して、前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて時間周波数変換を行う第２の時間周波数変換部と、
前記第１の時間周波数変換部の出力に基づく周波数解析結果を用いて、前記第２の時間周波数変換部の出力に変更を加える変更処理部と、
を有する。

【0012】

本発明の第２の態様では、情報処理装置は、
入力信号を時間周波数変換する時間周波数変換部と、
前記入力信号に変更を加えるデジタルフィルタと、
前記時間周波数変換部の出力に基づいて周波数解析を行う周波数解析部と、
前記周波数解析の結果を周波数時間変換して時間領域解析結果を出力する周波数時間変換部と、
前記時間領域解析結果を短縮化する短縮化部と、
を有し、
短縮化された前記時間領域解析結果を前記デジタルフィルタに適用して、前記入力信号を変更する。

【発明の効果】

【0013】

上記の構成により、周波数解析を含む情報処理系で、レイテンシを低減することができる。レイテンシの低減により、情報解析またはミキシング処理をリアルタイムで行うことができる。

【図面の簡単な説明】

【0014】

【図1】従来のスマートミキサーの概略図である。

【図2】第１実施形態のレイテンシ減少の手法と構成を示す図である。

【図3】解析用窓関数ｈ[ｎ]と、変更用窓関数ｇ[ｎ]と、入力波形の関係を示す。

【図4】変更用の窓関数として非対称な窓関数を用いる例を示す図である。

【図5】第２実施形態のレイテンシ減少の手法と構成を示す図である。

【図6】第３実施形態のレイテンシ減少の手法と構成を示す図である。

【図7】ＦＩＲフィルタ係数切り詰めによるレイテンシ減少の原理を説明する図である。

【図8A】実施形態の情報処理装置の概略図である。

【図8B】実施形態の情報処理装置の概略図である。

【発明を実施するための形態】

【0015】

発明者らは、信号処理の各ブロックでレイテンシが発生し、最終的なレイテンシは各ブロックのレイテンシの総和になること、及び、スマートミキサーの場合は特定のブロックでのレイテンシが支配的になることを見いだした。

【0016】

スマートミキサーは、優先音の入力信号ｘ₁[ｎ]と非優先音の入力信号ｘ₂[ｎ]に、窓関数をかけた短時間のＦＦＴを行って、時間周波数平面上の信号Ｘ_j[ｉ，ｋ]（ｊ＝１，２）に展開して解析する。この時間周波数平面への展開は、式（１）で表現される。

【0017】

【数1】

時間周波数平面での解析結果に基づいて、Ｘ_j[ｉ，ｋ]（ｊ＝１，２）を変更または調整することで、優先音の明瞭度を上げたミキシングが行われる。

【0018】

式（１）におけるｈ[ｍ]は窓関数である。ｈ[ｍ]は、|ｍ|≧Ｎ_hにおいてゼロ（０）をとる関数であり、以下ではＮ_hを窓関数の幅（より正確には半分の幅）と呼ぶ。なお、Ｎ_dはフレームのシフト数、Ｎ_FはＦＦＴの点数である。また、同一の処理を複数のＮ_hで書きうる場合には、その最小値をもって窓関数の幅Ｎ_hとすることにする。

【0019】

窓関数ｈ[ｍ]の乗算がＸ_j[ｉ，ｋ]に与える影響を最小限にするために、多くの場合は、ｈ[ｍ]は、第一にｈ[０]で最大値をとり、第二にｍ＝０を中心とした対称形（すなわちｈ[－ｍ]＝ｈ[ｍ]）の関数が選ばれる。

【0020】

以下では、短時間ＦＦＴを１サンプルシフト、すなわちＮ_d＝１で行うものとする。この場合、ｉをｎで置き換えることができる。また、時間周波数平面の出力Ｙ[ｉ，ｋ]を時間領域の出力に戻す際に、逆ＦＦＴの代わりに、式（２）の簡単な計算で変換することができる。

【0021】

【数2】

スマートミキサーの処理のレイテンシについて検討する。図１のブロックのそれぞれがレイテンシを持つ。すわわち、スマートミキサーの処理では、
（ａ）窓関数をかけて短時間ＦＦＴを行うレイテンシ、
（ｂ）パワー算出のレイテンシ、
（ｃ）時間方向平滑化のレイテンシ、
（ｄ）ゲイン算出のレイテンシ、
（ｅ）ゲイン乗算のレイテンシ、
（ｆ）加算のレイテンシ、及び
（ｇ）時間領域信号に変換するときのレイテンシ、
の和が最終的なレイテンシとなる。

【0022】

レイテンシの要素（ａ）は、式（１）の処理で生じるレイテンシである。式（１）は、ｘ_j[]の（Ｎ_h－１）サンプル未来の値を使っているため、実装上は、（Ｎ_h－１）/Ｆ_S秒のレイテンシが発生する。ここで、Ｆ_Sはサンプリング周波数である。

【0023】

レイテンシの大きさを具体的に計算してみる。音声の高調波成分を明確に分離するためには、Ｆ_S＝４８ｋＨｚのとき、Ｎ_h（窓関数の幅）として１０２４程度が必要である。その結果、（Ｎ_h－１）/Ｆ_S＝１０２３／４８＝２１．３ｍｓのレイテンシが発生する。

【0024】

要素（ｂ）～（ｆ）のレイテンシについては、スマートミキサーをＦＰＧＡ（Field Programmable Gate Array）などのロジックデバイスに実装した場合には、要素（ａ）のレイテンシに比べると、無視できるほどに小さい。また、要素（ｇ）のレイテンシは、式（２）のレイテンシであり、これも要素（ａ）のレイテンシに比べると無視できるほど小さい。

【0025】

以上から、要素（ａ）の窓関数をかけた短時間ＦＦＴのレイテンシが全体のレイテンシを支配しており、十分な性能を持ったスマートミキサーでは、レイテンシの大きさは２１．３ｍｓ程度となる。

【0026】

このように大きいレイテンシを持つスマートミキサーは、コンサートホールでのリアルタイムのミキシング処理には不向きである。そこで、レイテンシを小さくする技術が求められる。

【0027】

上述のように、レイテンシは主として時間領域の信号を時間周波数領域の信号に変換する部分で生じており、レイテンシの大きさは窓関数の幅Ｎ_hが支配している。

【0028】

レイテンシを下げるために窓関数の幅Ｎ_hを小さくすると、解析の周波数分解能が落ちてしまい、本来ならば周波数差があるために強調や抑制を行わなくてもよい時間周波数平面上の点（ｉ，ｋ）にも処理負荷がかかってしまう。

【0029】

また、時間周波数平面での処理をより人間の聴覚に適合する処理とするために、線形周波数軸からBark軸に変換することが考えられるが、この場合にＮ_hを小さくすると、Bark軸に変換したときに低い周波数部分のスペクトルを上手く表現できなくなる。Barｋ軸は、人間の聴覚の２４の臨界帯域に対応する尺度を用いており、低い周波数帯で高い周波数分解能が求められるからである。

【0030】

このような検討に基づくと、入力信号の周波数解析のためには、なるべく幅の広い（すなわちレイテンシが大きくなる）窓を使って、高い周波数分解能で解析を行うことが必要である。

【0031】

一方で、時間周波数領域の入力データ（Ｘ_j[ｉ，ｋ]）は、一連の解析処理に用いられるだけでなく、導出されたゲインマスクを乗算して出力データを構築するための材料としても用いられる。すなわち、データの変更のためにも使用される。

【0032】

変更・調整を受ける時間周波数領域のデータに何が求められるのかを考える。スマートミキサーの場合、出力に人工的なノイズが乗っているように知覚されることを防止するため、最終的なゲインマスクは、周波数軸方向にも時間軸方向にも滑らかなものが作成される。周波数方向へのゲインの変化が滑らかであることから、データまたは入力信号の変更には高い周波数分解能は特に必要ではない。また、ゲインの変化は時間軸方向にも滑らかであることから、ゲインマスクを時間軸方向に若干ずらしても、ゲインマスクの効果自体にはそれほど影響しない。

【0033】

ただし、システム全体のレイテンシはもっぱら、データ変更に先立つ時間周波数領域への変換で決定されており、この部分でできるだけレイテンシを小さくすることが求められる。

【0034】

このように、入力信号の解析のための時間周波数変換と、データに変更を加えるための時間周波数変換とでは、求められる仕様が異なる。

【0035】

この知見に基づき、本発明では、信号解析と信号変更で異なる処理を適用する。以下で具体的な手法を説明する。

【0036】

＜第１実施形態＞
図２は、第１実施形態のレイテンシ減少の手法と構成を示す図である。図２のレイテンシの低減を含む信号処理の技術は、たとえば、優先音と非優先音を混合するミキシング装置１Ａに適用することができる。

【0037】

第１実施形態では、信号解析のための時間周波数変換部と、信号変更のための時間周波数変換部を別々に設け、それぞれに異なるレイテンシの窓関数を適用する。ある時刻に対応する信号解析の結果を、それより未来の信号変換に用いることで、高分解能の周波数解析と、低レイテンシの信号変換を両立させる。

【0038】

図２において、優先音の入力信号ｘ₁[ｎ]と非優先音の入力信号ｘ₂[ｎ]のそれぞれに対して、解析用のウィンドウと変更用のウィンドウを別々に設け、異なるレイテンシを設定する。

【0039】

優先音の入力信号ｘ₁[ｉ，ｋ]を時間周波数領域の信号に変換するために、変更用のＦＦＴ１１ａと、解析用のＦＦＴ１２ａを設ける。入力信号ｘ₁[ｎ]は、変更用のＦＦＴ１１ａによって時間周波数平面上の信号入力信号Ｚ₁[ｉ，ｋ]に変換され、ゲイン乗算のために乗算器１６ａに入力される。入力信号ｘ₁[ｎ]はまた、解析用のＦＦＴ１２ａによって時間周波数平面上の信号Ｘ₁[ｉ，ｋ]に変換される。信号Ｘ₁[ｉ，ｋ]は、パワー算出部１３ａ、時間方向平滑化部１４ａ、ゲイン導出部１９の各ブロックで解析処理を受ける。

【0040】

非優先音の入力信号ｘ₂[ｎ]についても、時間周波数領域の信号に変換するために、変更用のＦＦＴ１１ｂと、解析用のＦＦＴ１２ｂを設ける。入力信号ｘ₂[ｎ]は、変更用のＦＦＴ１１ｂによって時間周波数平面上の信号入力信号Ｚ₂[ｉ，ｋ]に変換されて、ゲイン乗算のために乗算器１６ｂに入力される。入力信号ｘ₂[ｎ]はまた、解析用のＦＦＴ１２ｂによって時間周波数平面上の信号Ｘ₂[ｉ，ｋ]に変換される。信号Ｘ₂[ｉ，ｋ]は、パワー算出部１３ｂ、時間方向平滑化部１４ｂ、ゲイン導出部１９の各ブロックで処理を受ける。

【0041】

ゲイン導出部１９は、優先音の時間方向の平滑化パワーＥ₁[ｉ，ｋ]と、非優先音の時間方向の平滑化パワーＥ₂[ｉ，ｋ]に基づいて、信号Ｘ₁[ｉ，ｋ]に乗算されるゲインα₁[ｉ，ｋ]と、信号Ｘ₂[ｉ，ｋ]に乗算されるゲインα₂[ｉ，ｋ]を算出する。

【0042】

乗算器１６ａで、信号Ｘ₁[ｉ，ｋ]にゲインα₁[ｉ，ｋ]が乗算され、乗算器１６ｂで信号Ｘ₂[ｉ，ｋ]にゲインα₂[ｉ，ｋ]が乗算される。乗算結果は加算器１７で合算され、時間領域変換部１８で時間領域の信号に復元されて出力される。

【0043】

優先音に対する処理と、非優先音に対する処理は同じであるため、以下の説明では、入力信号をｘ_jとして記載する。また、変更用のＦＦＴ１１ａとＦＦＴ１１ｂを適宜「ＦＦＴ１１」と総称し、解析用のＦＦＴ１２ａとＦＦＴ１２ｂを、適宜「ＦＦＴ１２」と総称する。

【0044】

入力信号ｘ_jは、ＦＦＴ１２において、解析用の窓関数ｈ[]を使って、上記の式（１）でＸ_j[ｎ，ｋ]に変換される。式（１）をサンプルシフトＮ_d＝１として書き直すと、式（３）のようになる。

【0045】

【数3】

これと同時に、入力信号ｘ_jは、ＦＦＴ１１において、変更用の窓関数ｇ[]を使って、式（４）によりＺ_j[ｎ，ｋ]に変換される。

【0046】

【数4】

ここで、ｇ[ｍ]は、ｍ≦－Ｎ_gL、及びｍ≧Ｎ_gHにおいてゼロ（０）をとる窓関数である。

【0047】

式（３）と式（４）は、同じ点数（Ｎ_F）のＦＦＴで処理される。一方、式（３）と式（４）は、窓幅が異なるので、レイテンシに差異がある。具体的には、式（３）はＮ_h－１サンプル未来の信号を必要とするので、レイテンシは（Ｎ_h－１）/Ｆ_Sであり、式（４）は、Ｎ_gH－１サンプル未来の信号を必要とするので、レイテンシは（Ｎ_gH－１）/Ｆ_Sである。

【0048】

ＦＦＴ１１から乗算器１６までのパスでは、レイテンシを短くして時間を短縮し、ＦＦＴ１２から乗算器１６までのパスでは、レイテンシを長くして周波数分解能を高く維持する。

【0049】

図３は、解析用窓関数ｈ[ｍ]と、変更用窓関数ｇ[ｍ]と、入力波形の関係を示す。今、入力信号がＡ点まで観測されているとする。このとき、解析用の窓関数ｈ[ｍ]は、最新のデータを窓の右端（Ａ点）に置く位置に配置される。この窓関数を使ったＦＦＴは、中心、すなわち式（３）でｍ＝０が適用される位置を、Ｂ点におくことになる。すなわち、このＦＦＴによりＢ点での解析結果を生成したことになる。これにより、Ａ点とＢ点の時間間隔に相当するレイテンシが生じる。

【0050】

一方、変更用の窓関数ｇ[]も、最新のデータを窓の右端に置く位置に配置されるので、この窓関数を使ったＦＦＴは、中心をＣ点に置くことになる。この場合、Ａ点とＣ点の時間間隔に相当するレイテンシが生じる。

【0051】

図３の設定では、解析用の窓関数ｈ[]のレイテンシは１０２３であり、変更用の窓関数ｇ[]のレイテンシは２５５である。

【0052】

この時点での解析結果は、Ｂ点のものまでが得られている。しかし、変更用の周波数領域のデータ自体は、Ｃ点のものまでが得られている。ある時刻で行う変更処理が同じ時刻の解析結果を用いなければならないのであれば、解析がＣ点に進むまで変更の処理操作を待てばよい。しかし、それではレイテンシが１０２３となってしまい、レイテンシの小さな変更用の窓関数ｇ[]を用いた意味がなくなる。

【0053】

そこで、あえて、時間的にズレのあるデータを用いる。すなわち、Ｃ点での変更処理にＢ点での解析結果を流用する。逆に言うと、入力信号に変更を加える処理を行う際に、それよりも前に得られている周波数解析結果を用いる。周波数解析で用いられる主要データは、入力信号のサークルＩの部分であり、これを基にゲインマスクを生成し、そのゲインマスクを使って、サークルII付近のデータの変更を行うことになる。スマートミキサーの場合は、ゲインマスクは時間軸方向に緩やかに変化するので、時間的にズレたデータを流用しても出力に対する影響は軽微である。

【0054】

図４は、変更用の窓関数として非対称な窓関数を用いる例を示す。変更用の窓関数として、非対称の窓関数を用いることができる。上段が解析用の窓関数ｈ[]、中段が非対称の変更用の窓関数ｇ[]、下段は、非対称の変更用の窓関数の別の例である。

【0055】

非対称の変更用の窓関数ｇ[]で、Ｃ点の位置（式（２）で復元される位置）をどこにするかは、窓関数のｍ＝０の位置として決めることができる。これは、窓関数の値が０でない範囲であれば、窓関数内の任意の位置におくことができる。

【0056】

変更用の窓関数ｇ[]に非対称な窓関数を使うことで、レイテンシを保ったまま（たとえば窓関数の幅Ｎ_gH＝２５６）、窓関数の実効長を伸ばすことができるので、変更用の時間周波数変換の周波数分解能をある程度上げることができる。対称形の窓関数と比較して、過去のデータに重きをおいた周波数領域への変換になるが、レイテンシ自体は対称形の窓関数と同じである。

【0057】

第１実施形態の手法と構成は、解析用と変更用で異なるレイテンシの窓関数を用いつつ同じ点数のＦＦＴで処理する。ゲインマスクの周波数ビン数と、変更用に時間周波数変換されたデータの周波数ビン数は同一であり、乗算器１６ａ、１６ｂは、従来通りの処理をそのまま行えばよい。

【0058】

第１実施形態の手法を発明者らが実施したところ、レイテンシを約５ｍｓに抑えることができた。また、レイテンシ減少処理を行ったときの出力の音質は、レイテンシを減少させていないスマートミキサーと聴感的にほぼ同一に維持できることが確認された。

【0059】

＜第２実施形態＞
図５は、第２実施形態のレイテンシ減少の手法と構成を示す図である。図５のレイテンシの低減を含む信号処理の技術は、たとえば、優先音と非優先音を混合するミキシング装置１Ｂに適用することができる。

【0060】

第１実施形態では、変更用のＦＦＴ１１と解析用のＦＦＴ１２で、同じ点数の処理を行っていた。しかし、Ｎ_gL＋Ｎ_gH＜２Ｎ_hの場合は、変更用の時間周波数変換は、より少ない点数のＦＦＴで処理することができる。たとえば、図３の場合であれば、変更用のＦＦＴは５１２点のＦＦＴで十分である。

【0061】

そこで、第２実施形態では、変更用のＦＦＴ１１と解析用のＦＦＴ１２で、異なるＦＦＴを用いる。この場合、ゲインマスクの乗算器１６で、ゲインマスクと、乗算されるデータＺの間に、ビン数の齟齬が起こるため、ゲインマスクのビン数を、データのビン数に揃える処理が必要になる。

【0062】

具体的には、ゲイン導出部１９の後段に、周波数軸の変換部１５ａと１５ｂを挿入し、ゲインα_j[ｉ，ｋ]の変数ｋ（周波数ビン番号）をｋからｋ'に変換したゲインγ_j[ｉ，ｋ']を生成し、ゲインγ_j[ｉ，ｋ']をデータＺ_j[ｉ，ｋ']に乗算する。

【0063】

第２実施形態の構成では、レイテンシを低減し、かつ変更用のデータでＦＦＴの負荷を低減しつつ、ゲイン乗算による優先音の強調と非優先音の抑制を実現することができる。

【0064】

＜第３実施形態＞
図６は、第３実施形態のレイテンシ減少の手法と構成を示す図である。図６のレイテンシの低減を含む信号処理の技術は、たとえば、優先音と非優先音を混合するミキシング装置１Ｃに適用することができる。ミキシング装置１Ｃにおいて、第１実施形態及び第２実施形態と同じ構成要素には同じ符号を付けて、重複する説明を省略する。

【0065】

スマートミキシングの本質は、入力信号にゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]を乗算することにある。第１実施形態と第２実施形態では、ゲインの乗算処理を、時間周波数領域に変換した後にゲインマスクを乗算し、その後時間領域に復元していた。

【0066】

第１実施形態及び第２実施形態と結果的に同等の処理を、別の方法で実現することができる。例えば、ゲインマスクの乗算と等価なＦＩＲ（Finite Impulse Response：有限インパルス応答）フィルタを構成し，このＦＩＲフィルタで信号の変更を行うことができる。

【0067】

ミキシング装置１Ｃにおいて、優先音と非優先音の入力信号に対してＦＦＴ２１ａとＦＦＴ２１ｂで短時間ＦＦＴを実施してゲイン導出部１９でゲインα₁[ｉ，ｋ]とα₂[ｉ，ｋ]を求めるまでの処理は同じである。

【0068】

ゲインを乗算する乗算器に替えて、優先音の信号処理系に、逆ＦＦＴ２２ａ、窓関数乗算部２３ａ、時間シフト部２４ａ、及びＦＩＲフィルタ３１ａが設けられる。同様に、非優先音の信号処理系に、逆ＦＦＴ２２ｂ、窓関数乗算部２３ｂ、時間シフト部２４ｂ、及びＦＩＲフィルタ３１ｂが設けられる。

【0069】

優先音の入力信号ｘ₁[ｎ]は、ＦＦＴ２１ａに入力されるとともに、ＦＩＲフィルタ３１ａにも入力される。非優先音の入力信号ｘ₂[ｎ]は、ＦＦＴ２１ｂに入力されるとともに、ＦＩＲフィルタ３１ｂにも入力される。ＦＩＲフィルタ３１ａと３１ｂは、ゲインマスクの乗算と等価の処理を行って、入力信号を変更する。この処理を、以下で説明する。

【0070】

まず、Ｎ_d＝１を仮定しているので、ｉはサンプル番号と一致するため、以下ではゲインマスクをα₁[ｎ，ｋ]、α₂[ｎ，ｋ]と書く。

【0071】

信号処理の理論によれば、伝達関数の逆フーリエ変換がインパルス応答である。これより、ゲインマスクα_j[ｎ，ｋ]を逆変換したものが、時点ｎ、遅延差（すなわちタップ番号）ｍに対するインパルス応答（すなわちＦＩＲフィルタ係数）Ｗ_j[ｎ，ｍ]となる。インパルス応答Ｗ_j[ｎ，ｍ]は、式（５）で表される。

【0072】

【数5】

式（５）により、－Ｎ_F/２≦ｍ＜Ｎ_F/２の範囲でＷ_j[ｎ，ｍ]を算出する。このインパルス応答を係数としたＦＩＲフィルタを、入力信号ｘ_j[ｎ]に対して式（６）のように作用させることで、ゲインマスクを乗算したのと同じ効果を得ることができる。

【0073】

【数6】

式（６）では、出力される混合音ｙ_j[ｎ]を算出するのに、Ｎ_F/２サンプル未来のｘ_j[ｎ]を使用している。したがって、式（６）を実行するＦＩＲフィルタ３１を実装した場合のレイテンシは、Ｎ_F/２となる。Ｎ_F＝１０２４で、サンプリング周波数Ｆ_Sが４８ｋＨｚのときは、Ｎ_F/（２×Ｆ_S）＝２１．３ｍｓとなり、このままではレイテンシの減少にはつながらない。

【0074】

そこで、第１実施形態のように、入力データに対する変更処理系の周波数分解能を下げてレイテンシを減少させる。周波数分解能を下げるためには、たとえば、ゲインα_j[ｎ，ｋ]を周波数方向に平滑化した後、周波数方向に間引いてビン数を下げればよい。しかし、この方法では平滑化の計算負荷が重くなる。

【0075】

より良い手法は、図６に示すように、ゲインα_j[ｉ，ｋ]を逆ＦＦＴでＦＩＲフィルタ係数Ｗ_j[ｎ，ｍ]にした後に、窓関数で切り詰める（乗算する）方法である。ＦＩＲフィルタ係数を窓関数で乗算することは、窓関数の逆フーリエ変換として得られる関数でゲインを平滑化することになるので、実質的に平滑化と同等の処理が実現できる。また、平滑化に比べて乗算のほうが計算負荷が軽いため、より優れた方法である。

【0076】

図７は、ＦＩＲフィルタ係数の切り詰めによるレイテンシの減少をより詳しく説明する図である。時刻ｎ、周波数ビンｋに対するα_j[ｉ，ｋ]を逆ＦＦＴして、このゲインに対応する時刻ｎ、タップ番号ｍのＦＩＲフィルタ係数Ｗ_j[ｎ，ｍ]を作成する。

【0077】

ＦＩＲフィルタ係数Ｗ_j[ｎ，ｍ]を、式（７）のように窓関数ｖ[]で切り詰めて、Ｖ_j[ｎ，ｍ]を生成する。

【0078】

【数7】

窓関数ｖ[ｍ]として、ｍ≦－Ｎ_vL、もしくはｍ≧Ｎ_vHにおいて０をとる窓関数を選ぶ。さらに、図７の最下段に示すように、窓関数で切り取られたＦＩＲフィルタ係数Ｖ_j[ｎ，ｍ]において、値０が並ぶ部分を時間シフト部２４によりシフトさせて、詰めることができる。新しいＦＩＲフィルタ係数Ｕ_j[ｎ，ｍ]は、式（８）で表される。

【0079】

【数8】

出力は、式（６）の代わりに、式（９）を使って求めることができる。

【0080】

【数9】

式（９）からわかるように、Ｕ_j[ｎ，ｍ]は、０≦ｎ≦Ｎ_vL＋Ｎ_vLの範囲で有効な（つまり非０の）値を持つので、入力信号ｘ_j[ｎ]に関して未来のデータは必要ない。また、レイテンシは、式（８）で行った係数シフトに対応する時間となるので、Ｎ_vL／Ｆ_Sである。このように、第３実施形態の手法と構成により、図７に示されるようにレイテンシを低減することができる。

【0081】

図８Ａと図８Ｂは、実施形態のレイテンシ減少方法を適用した情報処理装置の概略図である。図８Ａの情報処理装置１００Ａは、第１実施形態と第２実施形態の手法に適している。情報処理装置１００Ａは、変更用のＦＦＴ１１と、解析用のＦＦＴ１２と、周波数解析処理部１０３と、変更処理部１０４と、逆フーリエ変換（ＩＦＦＴ）部１０５を有する。入力信号は、変更用のＦＦＴ１１と解析用のＦＦＴ１２に入力される。ＦＦＴ１１とＦＦＴ１２は、入力信号に対してそれぞれ異なる幅の窓関数を使用して短時間のＦＦＴを行い、時間周波数平面上の信号を取得する。ＦＦＴ１１とＦＦＴ１２のＦＦＴ点数は同じであっても、異なっていてもよい。ＦＦＴ１１の窓関数の幅は、ＦＦＴ１２の窓関数の幅よりも狭い。変更処理部１０４による変更処理は、ある時刻の周波数解析の結果を用いてそれよりも未来の信号に対して変更を加える。

【0082】

周波数解析のブロックでは高分解能の解析を行う一方、信号変更のブロックは低いレイテンシに抑える。これにより、信号処理全体としてレイテンシを低減することができる。

【0083】

図８Ｂの情報処理装置１００Ｂは、第３実施形態の手法に適している。情報処理装置は、解析用のＦＦＴ１０１と、ＦＩＲフィルタ１０２と、周波数解析処理部１０３と、ＩＦＦＴ１０６と、フィルタ係数切り詰め部１０７を有する。

【0084】

入力信号は、ＦＦＴ１０１とＦＩＲフィルタ１０２に入力される。ＦＦＴ１０１により得られた時間周波数平面上の信号は、周波数解析処理部１０３で解析される。解析結果はＩＦＦＴ１０６により時間領域の信号に戻されたあと、フィルタ係数の切り詰め部１０７によるレイテンシ抑制処理を受ける。ＦＩＲフィルタ１０２に入力された信号は、短縮化されたフィルタ係数で変更処理を受けて、出力される。

【0085】

この構成により、周波数解析を高分解能で行う一方、入力信号の変更処理は低いレイテンシで行うことができる。なお、時間領域での入力信号の変更は、ＲＩＲフィルタに限定されず、その他のデジタルフィルタを用いてもよい。

【0086】

図８Ａの情報処理装置１００Ａ、及び図８Ｂの情報処理装置は、たとえばプロセッサとメモリで実現することができる。あるいは、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）などのロジックデバイスで実現されてもよい。

【0087】

以上述べたように、本発明は、信号の周波数解析結果に基づいて信号を変更を行うリアルタイムの信号処理系で、レイテンシを低減することができる。本発明をスマートミキサーに適用する場合は、信号解析に高い周波数分解能が要求され、他方、信号の変更（優先音の強調と非優先音の抑制）は緩やかな変更、すなわち小さなレイテンシが望ましく、本発明のレイテンシ減少方法によく適合している。

【0088】

本発明のレイテンシ減少方法は、スマートミキサー以外の情報処理装置、例えばパルス性の音源の音分離を必要としない場合の信号分離システムなどに適用可能である。

【0089】

この出願は、２０１８年４月１９日に出願された日本国特許出願第２０１８－０８０６７０号に基づき、その優先権を主張するものであり、その全内容は本件出願中に含まれる。

【符号の説明】

【0090】

１、１Ａ～１Ｃ ミキシング装置
１１、１１ａ、１１ｂ 変更用のＦＦＴ
１２、１２ａ、１２ｂ 解析用のＦＦＴ
１９ ゲイン導出部
３１、３１ａ、３１ｂ、１０６ ＦＩＲフィルタ（デジタルフィルタ）
１００ 情報処理装置
１０３ 周波数解析処理部
１０４ 変更処理部
１０５、１０６ ＩＦＦＴ
１０７ フィルタ係数切り詰め部（短縮化部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】