ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-15
(45)【発行日】2024-08-23
(54)【発明の名称】特徴抽出装置、特徴抽出方法及びプログラム
(51)【国際特許分類】
G10L 25/27 20130101AFI20240816BHJP
【ＦＩ】
G10L25/27
【請求項の数】
10
(21)【出願番号】P 2021134047
(22)【出願日】2021-08-19
(65)【公開番号】P2023028378
(43)【公開日】2023-03-03
【審査請求日】2023-09-26
【新規性喪失の例外の表示】特許法第３０条第２項適用 ▲１▼ 開催日 ２０２０年９月９日～２０２０年９月１１日 集会名 日本音響学会２０２０年秋季研究発表会（オンライン開催） ｈｔｔｐｓ：／／ａｃｏｕｓｔｉｃｓ．ｊｐ／ａｎｎｕａｌｍｅｅｔｉｎｇ／ｐａｓｔ－ｍｅｅｔｉｎｇｓ／ 掲載日 ２０２０年９月１１日 ▲２▼ 開催日 ２０２０年１０月２５日～２０２０年１０月２９日 集会名 Ｉｎｔｅｒｓｐｅｅｃｈ２０２０（国際会議）ＷＥＢ開催 ｈｔｔｐ：／／ｉｎｔｅｒｓｐｅｅｃｈ２０２０．ｏｒｇ／ 掲載日 ２０２０年１０月２６日 ▲３▼ 開催日 ２０２１年３月１０日～２０２１年３月１２日 集会名 日本音響学会２０２１年春季研究発表会（オンライン開催） ｈｔｔｐｓ：／／ａｃｏｕｓｔｉｃｓ．ｊｐ／ａｎｎｕａｌｍｅｅｔｉｎｇ／ｏｎｌｉｎｅ＿２０２１ｓ／ ｈｔｔｐｓ：／／ａｃｏｕｓｔｉｃｓ．ｊｐ／ａｎｎｕａｌｍｅｅｔｉｎｇ／ｐａｓｔ－ｍｅｅｔｉｎｇｓ／ 掲載日 ２０２１年３月１１日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】柏野 邦夫
(72)【発明者】
【氏名】大石 康智
(72)【発明者】
【氏名】竹内 博俊
(72)【発明者】
【氏名】猿渡 洋
【審査官】土井 悠生
(56)【参考文献】
【文献】特表２０２１－５０２５８８（ＪＰ，Ａ）
【文献】特表２０２２－５４１７０７（ＪＰ，Ａ）
【文献】特表２０２２－５２９５５３（ＪＰ，Ａ）
【文献】特表２００３－５０７７６４（ＪＰ，Ａ）
【文献】Z. Zhang, 外6名，“Deep audio priors emerge from harmonic convolutional networks”，Proc. ICLR, 2020，2020年，p. 1-12
【文献】高島田 良介, 外2名，“対数周波数領域における高調波成分抑圧処理に基づく多重音の基本周波数推定手法の評価”，日本音響学会 ２０１５年 秋季研究発表会，2015年09月18日，p. 361-362
【文献】Wootaek Lim, 外1名，“Harmonic and percussive source separation using a convolutional auto encoder”，2017 25th European Signal Processing Conference (EUSIPCO)，2017年08月28日，p. 1804-1808，https://ieeexplore.ieee.org/document/8081520，IEEE Xplore
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－１３／１０
Ｇ１０Ｌ １９／００－９９／００
Ｈ０３Ｍ １／００－９／００
(57)【特許請求の範囲】
【請求項1】
一次元波形の時間周波数表現を取得する時間周波数表現取得部と、前記時間周波数表現の周波数スケールをｋ／ｎ倍（ｋ及びｎは予め定められた自然数）にした時間周波数表現である再配置時間周波数表現を取得する時間周波数表現再配置部と、
前記再配置時間周波数表現を用いて畳み込みを行う畳み込み演算部と、
を備える特徴抽出装置。
【請求項2】
前記時間周波数表現再配置部は、前記時間周波数表現の周波数スケールをｋ倍（ｋは予め定められた自然数）に縮小した時間周波数表現である再配置時間周波数表現を取得する、請求項１に記載の特徴抽出装置。
【請求項3】
前記時間周波数表現再配置部は、前記時間周波数表現の周波数スケールをｎ倍（ｎは予め定められた自然数）に拡大した時間周波数表現である再配置時間周波数表現を取得する、請求項１又は２に記載の特徴抽出装置。
【請求項4】
前記時間周波数表現再配置部は、前記時間周波数表現の周波数スケールをｋ倍（ｋは予め定められた自然数）に縮小した時間周波数表現である第１の再配置時間周波数表現と、前記時間周波数表現の周波数スケールをｎ倍（ｎは予め定められた自然数）に拡大した時間周波数表現である第２の再配置時間周波数表現と、を取得する、
請求項１から３のいずれか一項に記載の特徴抽出装置。
【請求項5】
前記畳み込みにおいて、時間周波数表現は４次元のテンソルで表現され、前記テンソルは、バッチサイズをＮ、チャンネル数をＣ、前記時間周波数表現の周波数軸方向のサイズをＦ、前記時間周波数表現の時間軸方向の大きさをＴとして、ＮＣＦＴ配列の形式のテンソルである、請求項１から４のいずれか一項に記載の特徴抽出装置。
【請求項6】
前記時間周波数表現取得部は、周波数軸が対数周波数軸である時間周波数表現を取得する、請求項１から５のいずれか一項に記載の特徴抽出装置。
【請求項7】
前記時間周波数表現再配置部は、時間周波数表現の周波数軸方向の補間を行う、請求項１から６のいずれか一項に記載の特徴抽出装置。
【請求項8】
一次元波形の時間周波数表現を取得する時間周波数表現取得ステップと、前記時間周波数表現の周波数スケールをｋ／ｎ倍（ｋ及びｎは予め定められた自然数）にした時間周波数表現である再配置時間周波数表現を取得する時間周波数表現再配置ステップと、
前記再配置時間周波数表現を用いて畳み込みを行う畳み込み演算ステップと、
を有する特徴抽出方法。
【請求項9】
前記時間周波数表現取得ステップは、周波数軸が対数である時間周波数表現を取得する、請求項８に記載の特徴抽出方法。
【請求項10】
請求項１から７のいずれか一項に記載の特徴抽出装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特徴抽出装置、特徴抽出方法及びプログラムに関する。
【背景技術】
【0002】
音源分離や、音声認識や、雑音抑圧等の音響信号を用いるさまざまな技術に用いられる技術として音響信号の特徴を抽出する特徴抽出の技術がある。特徴抽出の技術としては、例えば非特許文献１に記載の調波畳み込みの技術がある。
【先行技術文献】
【非特許文献】
【0003】
【文献】Z.Zhang, Y.Wang, C.Gan, J.Wu, J.B.Tenenbaum, A.Torralba, and W. T. Freeman, “Deep audio priors emerge from harmonic convolutional networks,” in Proc. ICLR , 2020.
【発明の概要】
【発明が解決しようとする課題】
【0004】
音響信号をはじめとする一次元波形の中には、基本波と、基本波の概ね整数倍の周波数をもつ波（これを高調波という）とをその成分として含むものがある。例えば、人の話し声における有声音などのように、人が聴いて音の高さを感じるような音は、このような成分から構成されていることが知られている。このような音においては、音波が有する基本波と高調波とは、その周波数はもとより、振幅やその変化の仕方など、その性質に関して特有の関係を有する場合がある。このような関係は、高調波関係と総称される。高調波関係を陽に用いて特徴抽出を行う技術のうちの一つは、調波畳み込み（harmonic convolution）と呼ばれる。調波畳み込みの技術は、より具体的には、高調波成分を一度に畳み込みの対象とすることが可能な畳み込みカーネルを用いて一次元波形の特徴抽出を行う技術である。
【0005】
しかしながら非特許文献１に記載の技術では、高調波成分を畳み込むために、入力波形の時間周波数表現において、周波数軸を離散化した周波数インデックスが変わるごとにカーネルが参照するデータの間隔（dilation）が変化する畳み込みが行われている。そのため、畳み込みの際のデータの参照に時間を要する場合があった。その結果、音響信号の特徴の取得に要する時間が増大する場合があった。
【0006】
上記事情に鑑み、本発明は、一次元波形の特徴抽出に要する時間の増大を抑制する技術を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の一態様は、一次元波形の時間周波数表現を取得する時間周波数表現取得部と、前記時間周波数表現の周波数スケールをｋ／ｎ倍（ｋ及びｎは予め定められた自然数）にした時間周波数表現である再配置時間周波数表現を取得する時間周波数表現再配置部と、前記再配置時間周波数表現を用いて畳み込みを行う畳み込み演算部と、を備える特徴抽出装置である。
【0008】
本発明の一態様は、一次元波形の時間周波数表現を取得する時間周波数表現取得ステップと、前記時間周波数表現の周波数スケールをｋ／ｎ倍（ｋ及びｎは予め定められた自然数）にした時間周波数表現である再配置時間周波数表現を取得する時間周波数表現再配置ステップと、前記再配置時間周波数表現を用いて畳み込みを行う畳み込み演算ステップと、を有する特徴抽出方法である。
【0009】
本発明の一態様は、上記の特徴抽出装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【0010】
本発明により、一次元波形の特徴の取得に要する時間の増大を抑制する技術を提供することが可能となる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態の特徴抽出装置を説明する説明図。
【図2】第１実施形態における時間周波数表現の再配置を説明する説明図。
【図3】第１実施形態における特徴抽出装置のハードウェア構成の一例を示す図。
【図4】第１実施形態における制御部の構成の一例を示す図。
【図5】第１実施形態における制御部が実行する処理の流れの一例を示すフローチャート。
【図6】第１実施形態における線形補間のプログラムの一例を示す図。
【図7】第１実施形態における第１時間周波数表現再配置処理及び畳み込み演算処理のアルゴリズムの一例を示す図。
【図8】第２実施形態の特徴抽出装置を説明する説明図。
【図9】第２実施形態における時間周波数表現の再配置を説明する説明図。
【図10】第２実施形態における特徴抽出装置のハードウェア構成の一例を示す図。
【図11】第２実施形態における制御部の構成の一例を示す図。
【図12】第２実施形態の特徴抽出装置が実行する処理の流れの一例を示すフローチャート。
【図13】第１実験の設定の一例を示す図。
【図14】第１実験の結果の一例を示す図。
【図15】第２実験の結果の一例を示す図。
【図16】変形例における対称調波畳み込みを説明する第１の説明図。
【図17】変形例における対称調波畳み込みを説明する第２の説明図。
【図18】変形例の第３実験の実験結果の一例を示す図。
【図19】変形例の第４実験の実験結果の一例を示す図。
【図20】変形例の第５実験の実験結果の一例を示す図。
【発明を実施するための形態】
【0012】
（第１実施形態）
図１は、第１実施形態の特徴抽出装置１を説明する説明図である。特徴抽出装置１は、第１時間周波数表現取得処理と、第１時間周波数表現再配置処理と、畳み込み演算処理とを実行する。第１時間周波数表現取得処理は、入力された一次元波形の信号の時間周波数表現を取得する処理である。ここで、時間周波数表現とは、時間と周波数の２軸に対して前記信号の有する性質を表現したものをいう。例えば、短時間フーリエ変換によって計算した振幅スペクトルを時間に沿って並べたもの（振幅スペクトログラム）はその一例である。
図１は、第１実施形態の特徴抽出装置１を説明する説明図である。特徴抽出装置１は、第１時間周波数表現取得処理と、第１時間周波数表現再配置処理と、畳み込み演算処理とを実行する。第１時間周波数表現取得処理は、入力された一次元波形の信号の時間周波数表現を取得する処理である。ここで、時間周波数表現とは、時間と周波数の２軸に対して前記信号の有する性質を表現したものをいう。例えば、短時間フーリエ変換によって計算した振幅スペクトルを時間に沿って並べたもの（振幅スペクトログラム）はその一例である。
【0013】
以下説明の簡単のため、時間周波数表現が短時間フーリエ変換に基づく振幅スペクトログラムである場合を例に特徴抽出装置１を説明する。しかしながら、時間周波数表現はこれに限定されるものではなく、時間周波数表現は、パワースペクトログラムはもとより、線形の周波数軸を有する時間周波数表現であればどのようなものであってもよい。
【0014】
第１時間周波数表現再配置処理は、第１時間周波数表現取得処理によって得られた時間周波数表現の周波数軸を変化させて再配置する処理である。なお、本明細書において再配置とは、元となる時間周波数表現の周波数軸を変化させた時間周波数表現（以下「再配置スペクトログラム」という。）を生成することを意味する。この処理について、図２を用いてより詳細に説明する。図２は、第１実施形態における時間周波数表現の再配置を説明する説明図である。すなわち、図２は、第１実施形態における第１時間周波数表現再配置処理を説明する説明図である。
【0015】
第１実施形態においては、時間周波数表現の再配置は、元の時間周波数表現の周波数スケールをｋ倍に縮小した時間周波数表現を生成することにより行われる。ｋは、１から予め定められた自然数であるＫｆまでの整数である。図２ではＫｆ＝３の場合を示している。周波数スケールをｋ倍に縮小するとは、周波数軸が離散化された時間周波数表現において、同じ周波数インデックスに対応する周波数をｋ倍とすることを意味する。
【0016】
図２には、元の時間周波数表現と、周波数スケールが２倍に縮小された時間周波数表現と、３倍に縮小された時間周波数表現とが一例として示されている。第１時間周波数表現再配置処理においては、これらの周波数スケールがｋ倍された時間周波数表現が生成され、元の時間周波数表現を含めこれら時間周波数表現が記憶媒体上に配置される。なお、本明細書において、記憶媒体上に配置される、とは記憶媒体上に接触するように置かれることを意味するのではない。記憶媒体上に配置される、とは記憶媒体上に記録されることを意味する。
【0017】
畳み込み演算処理は、予め定めたカーネルと、時間周波数表現との間で積和計算を行う処理である。ここでカーネルとは、積和計算に用いる数値を組にしたものであり、フィルタ係数に相当する。具体的には、周波数と時間に関するフィルタ係数を格納した行列である。着目点にカーネルを設置し、着目点を変えながら積和計算を反復することで特徴抽出を行うという点においては、公知の画像処理で頻用されている畳み込みニューラルネットワークによる処理と同様である。なお特徴抽出とは、処理の対象の特徴を抽出する処理である。
【0018】
しかしながら、畳み込み演算処理における畳み込みと、公知の画像処理の技術とは相違点を有する。公知の画像処理の技術においては、カーネルは近傍の画素値に対して積和計算を行う係数であることが一般的である。一方、畳み込み演算処理における畳み込みにおいては、カーネルに対して積算される対象となるデータは、周波数軸方向には必ずしも近傍に隣接するデータではない。
【0019】
畳み込み演算処理における畳み込み（以下「調波畳み込み」という。）においてカーネルに対して積算される対象となるデータは、周波数軸方向の値が、着目点である時間周波数表現上の一点に対してそのｋ／ｎ倍（ｋ及びｎは予め定められた自然数）倍の周波数値である、という条件を満たすデータである。特徴抽出装置１においてはｎ＝１とするので、対象データ条件は、周波数軸方向の値が、着目点である時間周波数表現上の一点に対してその整数倍の周波数値である、という条件となる。公知の方法では、この相違点が、データ参照に時間を要する原因となっていた。なお、着目点とは、畳み込みの演算においてカーネルに対して積算される対象となるデータを示す時間周波数表現上の一点の候補のうち、予め定められた所定の条件を満たす時間周波数表現上の一点、を意味する。
【0020】
第１時間周波数表現再配置処理と畳み込み演算処理とを、数式を用いてさらに詳細に説明する。以下、Ａ＾｛＾｝は、記号Ａに曲折アクセントが付いた文字を示す。例えば、ω＾｛＾｝は、以下の式（１）を示す。
【0021】
【数1】
【0022】
調波畳み込みは、例えば以下の式（２）で表現される。
【0023】
【数2】
【0024】
ω＾｛＾｝は、着目点の周波数を示す。なお、周波数と各振動数とは１対１の関係にあるのでωが表す内容は角振動数であってもよい。τ＾｛＾｝は着目点の時間軸上の座標値（すなわち時刻）を示す。ここでは説明の簡単のため、時間周波数表現において時間も周波数も離散化されている場合を考え、ω＾｛＾｝及びτ＾｛＾｝が整数である場合について説明する。
【0025】
以下の式（３）で表される項は、時間周波数表現の抽出を表す関数であり、例えば短時間フーリエ変換による振幅スペクトログラムを表す項である。式（３）は、着目点となる時刻τ＾｛＾｝と周波数ω＾｛＾｝、即ち時間周波数表現上の一点に対して、周波数をｋ／ｎ倍し、時間をτシフトさせた点における振幅スペクトログラムを参照することを表している。なお、第１実施形態では ｎ＝１ である。参照対象を参照するとは、参照対象を記憶する記憶装置からの参照対象の読み出しを意味する。
【0026】
【数3】
【0027】
以下の式（４）で表される項は、事前に設定された前記カーネルを表す。カーネルは、Ｋｆ×Ｋｔのサイズの行列で表される。ここでＫｆ、Ｋｔは事前に設定された整数であり、ｋは１からＫｆまで、τは１からＫｔまでの値をとる整数である。なお、事前の設定とは、予め定められた、ことを意味する。
【0028】
【数4】
【0029】
式（２）は、１からＫｆまでの各ｋおよび１からＫｔまでの各τについて積和計算を行うことを表している。即ち式（２）は、高調波関係を用いた畳み込みの一例である。
【0030】
式（２）の右辺は、以下の式（５）及び式（６）の置き換えにより、式（７）の右辺に変換される。
【0031】
【数5】
【0032】
【数6】
【0033】
【数7】
【0034】
式（５）の左辺は、再配置されたｋ番目のスペクトログラムが示す周波数ω＾｛＾｝の基本波の時刻τ＾｛＾｝における振幅を示す。
【0035】
式（６）は、図２に示すように、元のカーネルを、再配置後の時間周波数表現に対応するように分解することを意味する（図２は、特徴抽出装置１における処理を説明する図であるため、ｎ＝１の場合を図示している）。対応するように分解する、とは、カーネルを表す行列の行をｋの値ごとに取り出し、Ｋｆ個の１行Ｋｔ列行列にすることを意味する。
【0036】
即ち、Ｋ´は、Ｋｆ個の再配置スペクトログラムに対して作用するカーネルの要素（ｋ、τ）の値を示す。式（６）は、カーネルＫ´は、カーネルＫを分解することで導かれることを示す。
【0037】
畳み込み演算処理で実行される畳み込みは、式（２）の畳み込みではなく、式（７）の畳み込みである。
【0038】
式（２）の畳み込みの場合、ω＾｛＾｝が変化するたびに、カーネルの参照するデータ間隔（dilation）の変更が必要である。一方、式（７）の畳み込みの場合、式（２）の畳み込みと異なり、ω＾｛＾｝が変化しても、カーネルの参照するデータ間隔の変更は必要ない。そのため、式（７）の畳み込みを用いる場合、式（２）の畳み込みを用いるよりも、畳み込みの際のデータの参照に要する時間の増大が抑制される。
【0039】
図３は、第１実施形態における特徴抽出装置１のハードウェア構成の一例を示す図である。特徴抽出装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。特徴抽出装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
【0040】
より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、特徴抽出装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
【0041】
制御部１１は、特徴抽出装置１が備える各種機能部の動作を制御する。制御部１１は、例えば第１時間周波数表現取得処理と、第１時間周波数表現再配置処理と、畳み込み演算処理とを実行する。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えば畳み込み演算の実行により生じた各種情報を記憶部１４に記録する。
【0042】
入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を特徴抽出装置１に接続するインタフェースとして構成されてもよい。入力部１２は、特徴抽出装置１に対する各種情報の入力を受け付ける。
【0043】
通信部１３は、特徴抽出装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば一次元波形の信号の送信元の装置である。
【0044】
記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は第１時間周波数表現取得処理の実行に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば畳み込み演算処理の実行により生じた各種情報を記憶する。記憶部１４は、例えば予めカーネルを記憶する。
【0045】
出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を特徴抽出装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば畳み込み演算の実行結果を表示してもよい。
【0046】
図４は、第１実施形態における制御部１１の構成の一例を示す図である。制御部１１は、信号取得部１１０、スペクトログラム取得部１２０、スペクトログラム再配置部１２１，畳み込み演算部１３０、記憶制御部１４０、通信制御部１５０及び出力制御部１６０を備える。信号取得部１１０は、通信部１３に入力された一次元波形の信号を取得する。スペクトログラム取得部１２０は、信号取得部１１０の取得した一次元波形の信号に対して例えば短時間フーリエ解析を行うことで、信号のスペクトログラムを取得する。すなわちスペクトログラム取得部１２０は、信号取得部１１０の取得した信号に対して第１時間周波数表現取得処理を実行する。
【0047】
スペクトログラム再配置部１２１は、スペクトログラム取得部１２０の取得したスペクトログラムに対し、第１時間周波数表現再配置処理の実行により得られるスペクトログラムであって周波数軸のスケールが変更されたスペクトログラムである再配置スペクトログラムを作成し、記憶部１４に配置する。すなわち、スペクトログラム再配置部１２１は、スペクトログラム取得部１２０の取得したスペクトログラムに対して第１時間周波数表現再配置処理を実行する。
【0048】
畳み込み演算部１３０は、スペクトログラム再配置部１２１によって得られた再配置スペクトログラムを参照し、予め定めたカーネルを用いて畳み込み演算を行う。すなわち畳み込み演算部１３０は、スペクトログラム再配置部１２１によって得られた再配置スペクトログラムに対して畳み込み演算処理を実行する。
【0049】
記憶制御部１４０は、記憶部１４に各種情報を記録する。通信制御部１５０は通信部１３の動作を制御する。出力制御部１６０は、出力部１５の動作を制御する。
【0050】
図５は、第１実施形態における、スペクトログラム取得部１２０、スペクトログラム再配置部１２１及び畳み込み演算部１３０が実行する処理の流れの一例を示すフローチャートである。すなわち図５は制御部１１が実行する処理の流れの一例を示すフローチャートである。まず、信号取得部１１０が取得した一次元波形の信号に対し、スペクトログラム取得部１２０が第１時間周波数表現取得処理を実行し、スペクトログラムを取得する（ステップＳ１０１）。次に、スペクトログラム再配置部１２１が、ステップＳ１０１で取得されたスペクトログラムに対して第１時間周波数表現再配置処理を実行する（ステップＳ１０２）。第１時間周波数表現再配置処理の実行により再配置スペクトログラムが得られる。次に、畳み込み演算部１３０が、再配置スペクトログラムと予め定められたカーネルとを参照し、畳み込み演算を行う（ステップＳ１０３）。
【0051】
＜時間周波数表現の補間について＞
第１時間周波数表現再配置処理における、時間周波数表現の周波数軸方向のスケールをｋ／ｎ倍する処理では、補間が実行されることが好ましい結果をもたらす場合がある。補間の方法はどのような方法であっても適用可能であり、例えば線形補間、有理補間（Rational Interpolation）であってもよい。ｋ／ｎは有理数であるが、このような場合には、例えば以下の図６に示すアルゴリズムの実行による線形補間が行われてもよい。なぜなら、一般のα倍の線形補間においては逐一補間係数と補間点を求めるのに対し、有理数倍の線形補間においては補間係数と補間点が周期的であり計算を削減できるからである。
第１時間周波数表現再配置処理における、時間周波数表現の周波数軸方向のスケールをｋ／ｎ倍する処理では、補間が実行されることが好ましい結果をもたらす場合がある。補間の方法はどのような方法であっても適用可能であり、例えば線形補間、有理補間（Rational Interpolation）であってもよい。ｋ／ｎは有理数であるが、このような場合には、例えば以下の図６に示すアルゴリズムの実行による線形補間が行われてもよい。なぜなら、一般のα倍の線形補間においては逐一補間係数と補間点を求めるのに対し、有理数倍の線形補間においては補間係数と補間点が周期的であり計算を削減できるからである。
【0052】
図６は、第１実施形態における線形補間のプログラムの一例を示す図である。図６におけるＸはＣｉチャンネルを持つ周波数のサイズと時間のサイズとがＦ、Ｔのスペクトログラムである。図６のアルゴリズムの８行目～２１行目のforループ内において１６行目以外での乗除算は整数についてのみ実行される。そのため、図６のアルゴリズムは計算量を減らすことができる。また、図６のアルゴリズムは、Ｆ，Ｔについての並列計算が可能である。そのため、図６のアルゴリズムは、演算に要する時間を軽減することができる。
【0053】
【0054】
このように構成された第１実施形態の特徴抽出装置１は、第１時間周波数表現再配置処理と、式（７）の畳み込みとを実行するため、畳み込みの際のデータの参照に要する時間の増大を抑制することができる。そのため、特徴抽出装置１は、一次元波形の信号の特徴の取得に要する時間の増大を抑制することができる。
【0055】
（第２実施形態）
図８は、第２実施形態の特徴抽出装置１ａを説明する説明図である。特徴抽出装置１ａは、第２時間周波数表現取得処理と、第２時間周波数表現再配置処理と、畳み込み演算処理とを実行する。第２時間周波数表現取得処理は、入力された一次元波形の信号の時間周波数表現を取得した後、その周波数軸が対数周波数軸になるように時間周波数表現を変換する処理である。時間周波数表現は、例えば、短時間フーリエ変換によって取得される。
図８は、第２実施形態の特徴抽出装置１ａを説明する説明図である。特徴抽出装置１ａは、第２時間周波数表現取得処理と、第２時間周波数表現再配置処理と、畳み込み演算処理とを実行する。第２時間周波数表現取得処理は、入力された一次元波形の信号の時間周波数表現を取得した後、その周波数軸が対数周波数軸になるように時間周波数表現を変換する処理である。時間周波数表現は、例えば、短時間フーリエ変換によって取得される。
【0056】
以下説明の簡単のため、時間周波数表現が短時間フーリエ変換に基づく振幅スペクトログラムの周波数軸が対数周波数軸に変換されたスペクトログラムである場合を例に特徴抽出装置１ａを説明する。しかしながら、時間周波数表現はこれに限定されるものではなく、時間周波数表現は、パワースペクトログラムはもとより、対数の周波数軸を有する時間周波数表現であればどのようなものであってもよい。
【0057】
第２時間周波数表現再配置処理は、第２時間周波数表現取得処理によって得られた時間周波数表現の周波数軸を変化させて再配置する処理である。この処理について、図９を用いてより詳細に説明する。図９は、第２実施形態における時間周波数表現の再配置を説明する説明図である。すなわち、図９は、第２実施形態における第２時間周波数表現再配置処理を説明する説明図である。
【0058】
第２実施形態においては、時間周波数表現の再配置は、元の時間周波数表現の周波数スケールをｋ倍に縮小して再配置することにより行われる。ｋは、１から予め定められた自然数であるＫｆまでの整数である。図９はＫｆ＝３の場合を示している。周波数スケールをｋ倍に縮小するとは、周波数軸が離散化された時間周波数表現において、同じ周波数インデックスに対応する周波数をｋ倍とすることを意味する。
【0059】
図９には、元の時間周波数表現と、周波数スケールが２倍に縮小された時間周波数表現と、３倍に縮小された時間周波数表現とが一例として示されている。図９において、周波数軸は対数である。第２時間周波数表現再配置処理においては、これらの周波数スケールがｋ倍された時間周波数表現であって周波数軸が対数周波数軸である時間周波数表現が生成され、元の時間周波数表現を含めこれら時間周波数表現が記憶媒体上に配置される。周波数軸が対数周波数軸であるとは、周波数軸上に等間隔に配置される周波数値が等比数列になっている軸であることを意味する。この場合、第２時間周波数表現再配置処理における縮小とは、周波数軸に関する平行移動を意味する。
【0060】
図９に示すように、第２実施形態の特徴抽出装置１ａは、第２時間周波数表現取得処理と、第２時間周波数表現再配置処理と、畳み込み演算処理とを実行する。第２時間周波数表現取得処理においては、対数周波数スペクトログラムが生成される。対数周波数スペクトログラムは、元のスペクトログラムの周波数軸に対して対数変換が行われた値を周波数軸とする、スペクトログラムである。
【0061】
一次元波形に対する対数周波数スペクトログラムの取得の処理の一例を、短時間フーリエ変換を用いて行う場合を例に、より具体的に説明する。
【0062】
第２実施形態における畳み込み処理は、第１実施形態における畳み込み処理と同様である。
【0063】
対数周波数スペクトログラムの生成の処理（すなわち第２時間周波数表現取得処理）の一例と畳み込み処理とを、数式を用いてさらに詳細に説明する。
【0064】
上述した式（３）が元のスペクトログラムの要素の値であるため、対数周波数スペクトログラムの要素の値は以下の式（８）で表される。
【0065】
【数8】
【0066】
式（３）について成り立つ式（５）と同様に、式（８）について式（９）が成り立つ。
【0067】
【数9】
【0068】
式（９）の右辺を展開すると、以下の式（１０）が得られる。
【0069】
【数10】
【0070】
式（２）から式（７）が得られたのと同様に、式（８）～式（１０）を用いて式（２）から以下の式（１１）が得られる。
【0071】
【数11】
【0072】
第２時間周波数表現取得処理が実行する畳み込みは、式（２）の畳み込みではなく、式（１１）の畳み込みである。
【0073】
式（２）の畳み込みの場合、ω＾｛＾｝が変化するたびに、カーネルの参照するデータ間隔の変更が必要である。一方、式（１１）の畳み込みの場合、式（２）の畳み込みと異なり、ω＾｛＾｝が変化しても、カーネルの参照するデータ間隔の変更は必要ない。そのため、式（１１）の畳み込みを用いる場合、式（２）の畳み込みを用いるよりも、畳み込みの際のデータの参照に要する時間の増大が抑制される。
【0074】
さらに式（１０）の関係があるため、式（１１）を用いる畳み込みの場合には式（７）と異なり、元の対数周波数スペクトログラムの周波数軸方向へのｌｏｇ（ｋ／ｎ）のシフトだけで畳み込みの結果が得られる。したがって、式（１１）を用いる畳み込みの場合、式（７）を用いる畳み込みよりもさらに少ない演算量で結果を得ることができる。
【0075】
図１０は、第２実施形態における特徴抽出装置１ａのハードウェア構成の一例を示す図である。特徴抽出装置１ａは、バスで接続されたＣＰＵ等のプロセッサ９１ａとメモリ９２ａとを備える制御部１１ａを備え、プログラムを実行する。特徴抽出装置１ａは、プログラムの実行によって制御部１１ａ、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
【0076】
より具体的には、プロセッサ９１ａが記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２ａに記憶させる。プロセッサ９１ａが、メモリ９２ａに記憶させたプログラムを実行することによって、特徴抽出装置１ａは、制御部１１ａ、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
【0077】
【0078】
制御部１１ａは、特徴抽出装置１ａが備える各種機能部の動作を制御する。制御部１１ａは、例えば第２時間周波数表現取得処理と、第２時間周波数表現再配置処理と、畳み込み演算処理とを実行する。制御部１１ａは、例えば出力部１５の動作を制御する。制御部１１ａは、例えば畳み込み演算の実行により生じた各種情報を記憶部１４に記録する。
【0079】
図１１は、第２実施形態における制御部１１ａの構成の一例を示す図である。制御部１１ａは、スペクトログラム取得部１２０に代えてスペクトログラム取得部１２０ａを備える点と、スペクトログラム再配置部１２１に代えてスペクトログラム再配置部１２１ａを備える点とで制御部１１と異なる。
【0080】
スペクトログラム取得部１２０ａは、第１時間周波数表現取得処理に代えて第２時間周波数表現取得処理を実行する点でスペクトログラム取得部１２０と異なる。スペクトログラム再配置部１２１ａは、スペクトログラム取得部１２０ａの取得した周波数表現に対して第２時間周波数表現再配置処理を実行する。
【0081】
図１２は、第２実施形態の特徴抽出装置１ａが実行する処理の流れの一例を示すフローチャートである。以下説明の簡単のため特徴抽出装置１が実行する処理と同様の処理については、図５と同じ符号を付すことで説明を省略する。
【0082】
ステップＳ１０１ａでは、スペクトログラム取得部１２０ａが対数周波数スペクトログラムを取得する（ステップＳ１０１ａ）。より具体的には、信号取得部１１０が取得した一次元波形の信号に対し第２時間周波数表現取得処理を実行することで、スペクトログラム取得部１２０ａは対数周波数スペクトログラムを取得する。なお、第２時間周波数表現取得処理は、中心周波数が対数上で等間隔になるように設定した帯域フィルタバンクを用いることによって取得する処理であってもよい。次にスペクトログラム再配置部１２１ａが第２時間周波数表現再配置処理を実行する（ステップＳ１０２ａ）
【0083】
上述したように、周波数軸を対数とする第２時間周波数表現再配置処理では、周波数軸が対数周波数軸である場合以外の場合と異なり、時間周波数表現の周波数軸方向のスケールの変更が、周波数方向のデータのシフトとして実現される。このため、シフトの処理における演算量は、有理補間に要する演算量以下である。即ち、第２時間周波数表現再配置処理の実行に要する演算量は、第１時間周波数表現再配置処理の実行に要する演算量以下である。
【0084】
このように構成された第２実施形態の特徴抽出装置１ａは、第２時間周波数表現取得処理と、第２時間周波数表現再配置処理と、式（１１）の畳み込みとを実行するため、畳み込みの際のデータの参照に要する時間の増大を抑制することができる。そのため、特徴抽出装置１ａは、一次元波形の信号の特徴の取得に要する時間の増大を抑制することができる。
【0085】
（第１実施形態と第２実施形態とに共通する第１の実験結果）
ここで、第１実施形態の特徴抽出装置１と、第２実施形態の特徴抽出装置１ａと、を用いた第１の実験（以下「第１実験」という。）の結果について説明する。以下説明の簡単のため、第１時間周波数表現取得処理と第２時間周波数表現取得処理とを区別しない場合、時間周波数表現取得処理という。また、以下説明の簡単のため、第１時間周波数表現再配置処理と、第２時間周波数表現再配置処理と、を区別しない場合、時間周波数表現再配置処理という。
ここで、第１実施形態の特徴抽出装置１と、第２実施形態の特徴抽出装置１ａと、を用いた第１の実験（以下「第１実験」という。）の結果について説明する。以下説明の簡単のため、第１時間周波数表現取得処理と第２時間周波数表現取得処理とを区別しない場合、時間周波数表現取得処理という。また、以下説明の簡単のため、第１時間周波数表現再配置処理と、第２時間周波数表現再配置処理と、を区別しない場合、時間周波数表現再配置処理という。
【0086】
第１実験では、周波数軸が線形の場合と周波数軸が対数周波数軸の場合とについて、時間周波数表現再配置処理における特徴抽出に要する計算時間とメモリの最大使用量とが計測された。一般に、計算時間とメモリの使用量とはトレードオフの関係になり得るため、計算時間とメモリの最大使用量とが計測された。第１実験では、カーネルサイズ（Ｋｆ、Ｋｔ）とアンカーｎとのさまざまな値について計算時間とメモリの最大使用量とが計測された。第１実験では、Deformable Convolution用いて音響特徴を取得する技術（以下「第１従来法」という。）を用いた実験も行われた。
【0087】
図１３は、第１実験の設定の一例を示す図である。図１３に記載の”Setting1”、”Setting2”、”Setting3”、”Setting1a”、”Setting2a”及び”Setting3a”はそれぞれ第１実験で用いられた設定を識別する識別子である。図１３に記載のＰｆは、周波数方向のパディングサイズである。図１３に記載のＰｔは、時間方向のパディングサイズである。
【0088】
第１実験では、第１従来法と、特徴抽出装置１又は特徴抽出装置１ａが実行する処理（時間周波数表現再配置処理における周波数軸が線形の場合と対数の場合）とのそれぞれについて、ランダムな入力と微分出力とを用いて１００回計測が行われた。なお、第１実験におけるパラメータであって図１３に記載していない他のパラメータは、パッチサイズ、入力チャンネル数、出力チャンネル数、入力スペクトログラムのサイズ、dilation、stride、groupパラメータであった。パッチサイズ、入力チャンネル数、出力チャンネル数、入力スペクトログラムのサイズ、dilation、stride、groupパラメータの各値は、順に、１６、１６、３２、２５６×２５６、１、１、１であった。また、第１実験において用いられた装置は第１従来法を実行する場合も、時間周波数表現再配置処理を実行する場合も同じであった。
【0089】
図１４は、第１実験の結果の一例を示す図である。棒グラフは計測された平均時間を示す。下部が順方向で上部が逆方向の計測時間を表す。図１４には、計算時間の下限として参照するための通常の畳み込み計算時間も併記されている。第１実験における“通常”とは、調波畳み込みではなく、画像に対して一般的に行われる畳み込み演算と同様に、音響スペクトログラム上における近傍の値に対して畳み込み演算を行う場合を指す。図１４中の点は、第１実験で用いたＧＰＵ上で使用した最大メモリを示す。
【0090】
図１４は、”Setting1”、”Setting2”、”Setting3”、”Setting1a”、”Setting2a”及び”Setting3a”のいずれの設定においても本発明による方法は第１従来法よりも少ないメモリ使用量で短い計算時間を達成していることを示す。図１４は、時間周波数表現再配置処理（周波数軸が線形の場合及び対数の場合）では、通常の畳み込みの計算時間と比較して、１．５～３倍の計算時間で計算が終了したことを示す。図１４は、第１従来法では、通常の畳み込みの計算時間と比較して、９～１５倍の計算時間で計算が終了したことを示す。したがって図１４は、特徴抽出装置１又は特徴抽出装置１ａが実行する処理は、第１従来法よりも少ないメモリ使用量と短い計算時間であったことを示す。
【0091】
なお、図１４において“Harmonic Convolution (Deformable)１”は、第１従来法による順方向の計算時間を示す。図１４において”Ours (Harmonic Lowering)１”は、特徴抽出装置１が実行する処理による順方向の計算時間を示す。図１４において”Ours (Logarithmic Harmonic Lowering)１”は、特徴抽出装置１ａが実行する処理による順方向の計算時間を示す。図１４において”Normal Convolution (only for ref.)１”は、通常の畳み込みによる順方向の計算時間を示す。
【0092】
なお、図１４において“Harmonic Convolution (Deformable)２”は、第１従来法による逆方向の計算時間を示す。図１４において”Ours (Harmonic Lowering)２”は、特徴抽出装置１が実行する処理による逆方向の計算時間を示す。図１４において”Ours (Logarithmic Harmonic Lowering)２”は、特徴抽出装置１ａが実行する処理による逆方向の計算時間を示す。図１４において”Normal Convolution (only for ref.)２”は、通常の畳み込みによる逆方向の計算時間を示す。
【0093】
（第１実施形態と第２実施形態とに共通する第２の実験結果）
第１実施形態の特徴抽出装置１と、第２実施形態の特徴抽出装置１ａと、を用いた第２の実験（以下「第２実験」という。）の結果について説明する。データのメモリ配置によってキャッシュメモリのヒット率が変化することは広く知られている。これはＧＰＵ上の計算においても同様である。メモリ配置には、ＮＨＷＣ配列とＮＣＨＷ配列とがある。Ｎはバッチサイズ、Ｃはチャネル数、Ｈは画像の縦の大きさ、Ｗは画像の横の大きさを示す。
第１実施形態の特徴抽出装置１と、第２実施形態の特徴抽出装置１ａと、を用いた第２の実験（以下「第２実験」という。）の結果について説明する。データのメモリ配置によってキャッシュメモリのヒット率が変化することは広く知られている。これはＧＰＵ上の計算においても同様である。メモリ配置には、ＮＨＷＣ配列とＮＣＨＷ配列とがある。Ｎはバッチサイズ、Ｃはチャネル数、Ｈは画像の縦の大きさ、Ｗは画像の横の大きさを示す。
【0094】
時間周波数表現再配置処理において、ＦＴ配列とＴＦ配列とのどちらが音響特徴の取得に要する時間が短いかを実験した。この実験が第２実験である。Ｆはスペクトログラムの周波数軸方向の大きさを示す。Ｔは、スペクトログラムの時間軸方向の大きさを示す。
【0095】
アンカーｎ＝１、Ｋｆ＝Ｋｔ＝７という条件の下で第２実験は行われた。第２実験の他の設定は第１実験と同様であった。
【0096】
図１５は、第２実験の結果の一例を示す図である。図１５は、ＮＣＦＴ配列についてもＮＣＴＦ配列についても、時間周波数表現再配置処理における時間軸が線形の場合よりも対数の場合の方が、平均計算時間が短いことを示す。また、図１５は、時間周波数表現再配置処理における時間軸が線形の場合と対数の場合のいずれにおいても、ＮＣＦＴ配列の方がＮＣＴＦ配列に比べて時間が短いことを示す。
【0097】
このように図１５の結果は、時間周波数表現再配置処理では、時間軸が線形の場合も対数の場合も、計算対象となる時間周波数表現は、ＮＣＦＴ配列の形式の４次元のテンソルであることが望ましい、ことを示す。
【0098】
（変形例）
＜対称調波畳み込み＞
第１実施形態の特徴抽出装置１と第２実施形態の特徴抽出装置１ａとは、対称調波畳み込みを実行してもよい。対称調波畳み込みの詳細は後述し対称調波畳み込みが奏する効果を先に説明すると、対称調波畳み込みは、畳み込み演算に要する時空間計算量が少なく，単純な定式化のために拡張性が高い処理である。図１６と図１７とを用いて、対称調波畳み込みを説明する。
＜対称調波畳み込み＞
第１実施形態の特徴抽出装置１と第２実施形態の特徴抽出装置１ａとは、対称調波畳み込みを実行してもよい。対称調波畳み込みの詳細は後述し対称調波畳み込みが奏する効果を先に説明すると、対称調波畳み込みは、畳み込み演算に要する時空間計算量が少なく，単純な定式化のために拡張性が高い処理である。図１６と図１７とを用いて、対称調波畳み込みを説明する。
【0099】
図１６は、変形例における対称調波畳み込みを説明する第１の説明図である。より具体的には図１６は、対称調波畳み込みの理解の容易のために、まず混合調波畳み込み（Anchor Mixing）を説明する説明図である。混合調波畳み込みとは、式（２）において、ｎ＝１でない場合（分数倍の周波数について畳み込み演算の対象とする場合）を意味する。図１６において、縦軸は周波数を示す。丸Ｏ１は原点を示す。ｆｏは着目点の周波数を表し、丸Ｐ１、Ｐ２及びＰ３は、それぞれｎ＝１、２、及び３における畳み込みの処理の実行を意味する。混合Ｐ４は、前記畳み込みの混合の処理の実行を意味する。
【0100】
図１７は、変形例における対称調波畳み込みを説明する第２の説明図である。より具体的には図１７は、対称調波畳み込み（Symmetric Mixing）を説明する説明図である。縦軸は、周波数を示す。丸Ｏ2は原点を示す。丸Ｐ５は畳み込みの処理の実行を意味する。
【0101】
混合調波畳み込みは、調波畳み込みを複数混合した畳み込みの方法である。混合調波畳み込みは、以下の式（１２）で表される。
【0102】
【数12】
【0103】
Ｎは混合される調波畳み込みの数である。すなわちＮは予め定められた自然数である。式（１２）が示すように、混合調波畳み込みは基底周波数ω／ｎの調波畳み込みをＮ種混合する。そのため、ｎ＝１とした調波畳み込みよりも、雑音除去の性能や音源分離の性能を向上させることができることが期待される。
【0104】
一方、対称調波畳み込みは、以下の式（１３）で表される。
【0105】
【数13】
【0106】
なお、式（１２）及び（１３）においてＫｈ＝Ｋｆ＝Ｎである。
【0107】
混合調波畳み込み及び対称調波畳み込みにおいて、ｎを１より大きく定めることの意味は、着目点が、対象とする波形に含まれる周波数成分の高調波成分であった場合を想定して、着目点よりも低い周波数の高調波成分や基本周波数成分を計算に含めることにある。この趣旨において、混合調波畳み込みと対称調波畳み込みはいずれも目的に適っていると考えられる。しかし図１６と図１７を比較すると、混合調波畳み込みにおいては加算される成分の関係が入り組んでおり、また着目点ｆｏの成分が多数回（図１６の例では３回）加算されている。これに対し対称調波畳み込みにおいては、スカラーｋと逆元１／ｋとは、互いに逆数の関係にあることに着目すると、加算される成分の関係が簡明であり、複数回にわたって加算される成分も存在しない。これらのことから、対称調波畳み込みにおいては、前記の目的を保ちつつ、混合調波畳み込みに比較して計算量が削減されることがわかる。
【0108】
より数学的な説明をすると、集合｛１、・・・、Ｋｈ｝に要素を追加し、乗法に対して群を形成したものがＫｓである。Ｋｓは、群であるため、全ての畳み込みパラメータに逆元が存在するという意味で対称である。したがって、Ｋｓは、対数スケールにおいても対称である。
【0109】
式（１３）を変形すると以下の式（１４）が得られる。
【0110】
【数14】
【0111】
式（１３）と式（１４）とは等価な式である。式（１４）は、Σの範囲が２倍である点以外は式（２）と同様の形の数式である。そのため、式（１４）には式（７）の時間周波数表現再配置処理を適用可能である。
【0112】
より具体的には、第１実施形態の特徴抽出装置１は、畳み込みの処理において式（７）に代えて式（１４）を実行してもよい。式（１４）を実行する場合、時間周波数表現再配置処理では、ｋ及びｎの組ごとに時間周波数表現が再配置される。
【0113】
このように式（１４）を実行する場合、時間周波数表現再配置処理では、Ｋｆ個の再配置された時間周波数表現に加えてさらに第１番目から第Ｋｆ番目までのＫｆ個の時間周波数表現が再配置される。後者は、ｋ番目のスペクトログラムの周波数軸方向のスケールが元の時間周波数表現の周波数軸スケールの１／ｋ倍であるスペクトログラムである。
【0114】
なお、式（１４）において、時間周波数表現における周波数軸を、対数とすることも可能である。
【0115】
＜対称調波畳み込みが奏する効果について＞
混合調波畳み込みは、複数の調波畳み込みを混合するため、計算的又は意味的な無駄が多い。具体的には、調波畳み込みの計算で目的周波数（ｋω）／ｎにおける調波畳み込みが計算済みである場合にも、異なる基底周波数の調波畳み込みで再度、目的周波数（ｋω）／ｎにおける調波畳み込みを計算する点に、混合調波畳み込みの無駄がある。混合調波畳み込みでは式（１２）が示すように和を取得する処理が三重である。一方、対称調波畳み込みは、式（１３）が示すように和を取得する処理が二重である。この点においても、対称調波畳み込みは、混合調波畳み込みよりも演算量を軽減することができる。
混合調波畳み込みは、複数の調波畳み込みを混合するため、計算的又は意味的な無駄が多い。具体的には、調波畳み込みの計算で目的周波数（ｋω）／ｎにおける調波畳み込みが計算済みである場合にも、異なる基底周波数の調波畳み込みで再度、目的周波数（ｋω）／ｎにおける調波畳み込みを計算する点に、混合調波畳み込みの無駄がある。混合調波畳み込みでは式（１２）が示すように和を取得する処理が三重である。一方、対称調波畳み込みは、式（１３）が示すように和を取得する処理が二重である。この点においても、対称調波畳み込みは、混合調波畳み込みよりも演算量を軽減することができる。
【0116】
また、混合調波畳み込みは上述の式（１２）が示すように目的周波数未満の情報を取り込むが、対称調波畳み込みは（１／ｎ）倍の成分を畳み込むため、式（１３）が示すように混合調波畳み込みよりも単純な数式で定式化される。そのため、対称畳み込みは、例えば時間周波数表現再配置等の調波畳み込みの高速化のスキームを用いた処理を可能とし、演算量を軽減することができる。
【0117】
＜対称調波畳み込みを用いた実験＞
対称調波畳み込みを用いた３つの実験の結果を説明する。以下、３つの実験の１つを第３実験といい、他の１つを第４実験といい、残りの１つを第５実験という。
対称調波畳み込みを用いた３つの実験の結果を説明する。以下、３つの実験の１つを第３実験といい、他の１つを第４実験といい、残りの１つを第５実験という。
【0118】
第３実験では、テンソルサイズが（１６，１６，２５６，２５６）から（１６，３２，２５６，２５６）へと変換されるような畳み込み処理を、対称調波畳み込みを含む３つの方法で実行した。なお、テンソルサイズの数字は左から順にバッチ，チャンネル，周波数，時間サイズを意味する。入力テンソルは正規分布からサンプリングされたものであった。
【0119】
図１８は、変形例の第３実験の実験結果の一例を示す図である。図１８は、順方向又は逆方向計算を１００回行わせた平均時間の計測結果を示す。図１８の時間の単位は全てｍｓであった。なお、混合調波畳み込みのカーネルサイズについてはＮ＝Ｋｆであった。図１８の“混合調波”は、混合調波畳み込みを意味する。図１８の“対称調波”は、対称調波畳み込みを意味する。図１８の“通常”は、通常の畳み込みを意味する。第３実験における通常の畳み込みとは、調波畳み込みではなく、一般的に画像処理において行われる畳み込みと同様に、時間周波数表現上において隣接するデータに帯する畳み込みを行った場合を意味する。
【0120】
図１９は、変形例の第４実験の実験結果の一例を示す図である。図１９は、それぞれの方法が順方向又は逆方向計算に必要なメモリ占有量を比較した結果を示す。ただし、計算に必要ではないがまだ開放されていないメモリなどがあるため、メモリ使用量を観測したとしても、真に必要なメモリ量を観測することは難しい。そこで第４実験では、メモリ使用量を直接観測する代わりに、畳み込み処理を最大何層積むことができるかが計測された。
【0121】
最大層数は、順方向又は逆方向計算が正しく計算できなくなるまで畳み込み処理を１層ずつ増やした場合の最大値であった。なお、正しく計算できない場合は、使用した実験系において CUDA OUT OF MEMORY エラー等のメモリ不足により計算が継続できないという内容のエラーが発生することにより検知した。畳み込み処理に計算させるテンソルサイズは変換前が（３２，１６，２５６，２５６）であり変換後が（３２，１６，２５６，２５６）であった。その他の設定については第３実験と同じであった。
【0122】
第５実験では、混合調波畳み込みと、対称調波畳み込みと、通常の畳み込みとの３つを機械学習のモデルの１種であるＵｎｅｔに組み込んだ数理モデルについて雑音除去タスクが行われた。なお、第５実験における通常の畳み込みとは、調波畳み込みではなく、一般的に画像処理において行われる畳み込みと同様に、時間周波数表現上において隣接するデータに帯する畳み込みを行った場合を意味する。以下、混合調波畳み込みが組み込まれたＵｎｅｔであって雑音除去タスクを実行するＵｎｅｔを第１ネットモデルという。
【0123】
以下、対称調波畳み込みが組み込まれたＵｎｅｔであって雑音除去タスクを実行するＵｎｅｔを第２ネットモデルという。以下、通常の畳み込みが組み込まれたＵｎｅｔであって雑音除去タスクを実行するＵｎｅｔを第３ネットモデルという。
【0124】
第５実験では、雑音除去タスクの結果に基づき、混合調波畳み込みと、対称調波畳み込みと、通常の畳み込みとの各畳み込みの性能が評価された。雑音除去タスクは、具体的には、以下の非特許文献１に記載のDeep Audio Priorであった。
【0125】
第５実験では、LJSpeechデータセットから取得された音声波形データｓにＳＮＲが０デシベルとなるようにガウシアンノイズｎが付与された波形ｓ´が生成された。第５実験では、波形ｓ´に対して短時間フーリエ変換が実行され、複素スペクトログラムＳ´が生成された。
【0126】
第５実験では、複素スペクトログラムＳ´が第１ネットモデルに入力された。複素スペクトログラムＳ´が入力された第１ネットモデルは、複素スペクトログラムＳ´に対して雑音除去タスクを実行した。
【0127】
第５実験では、複素スペクトログラムＳ´が第２ネットモデルに入力された。複素スペクトログラムＳ´が入力された第２ネットモデルは、複素スペクトログラムＳ´に対して雑音除去タスクを実行した。
【0128】
第５実験では、複素スペクトログラムＳ´が第３ネットモデルに入力された。複素スペクトログラムＳ´が入力された第３ネットモデルは、複素スペクトログラムＳ´に対して雑音除去タスクを実行した。
【0129】
第５実験では、学習Ｅｐｏｃｈ数は一律に４０００であった。第５実験では、モデルのフィッティングの速度と、最大のＳＮＲの高さと、最終のＳＮＲの高さと、が評価された。モデルのフィッティングの速度と、最終のＳＮＲの高さとは、適切な解探索範囲を深層学習モデル構造によって制限できているか度合を示す指標である。最大のＳＮＲの高さは、適切な解探索範囲が深層学習モデル構造によって制限されすぎている度合を示す指標である。
【0130】
図２０は、変形例の第５実験の実験結果の一例を示す図である。図２０の横軸はエポック数を示す。図２０の縦軸はＳＮＲを示す。縦軸の単位はデシベルである。図２０の”Anchnor Mixing”は、第１ネットモデルを示す。図２０の”Symmetric”は、第２ネットモデルを示す。図２０の”Normal”は第３ネットモデルを示す。図２０の線Ｌ１は、第５実験で用いたノイズあり信号のＳＮＲを示す。
【0131】
図２０は、最終ＳＮＲは、第２ネットモデルが第１ネットモデルよりも５．９ｄＢ程度高いことを示す。また、学習時間は、第２ネットモデルが第１ネットモデルよりも４倍程度短かった。
【0132】
なお、特徴抽出装置１及び１ａはそれぞれ、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、特徴抽出装置１及び１ａそれぞれが備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
【0133】
なお、スペクトログラム取得部１２０及び１２０ａは、時間周波数表現取得部の一例である。再配置スペクトログラムは、再配置時間周波数表現の一例である。なお、スペクトログラム再配置部１２１及び１２１ａは、時間周波数表現再配置部の一例である。
【0134】
なお、再配置スペクトログラムの周波数軸方向のスケールは必ずしも元のスペクトログラムの周波数軸方向のスケールがｋ倍に縮小されたスケールである必要は無い。再配置スペクトログラムの周波数軸方向のスケールは、元のスペクトログラムの周波数軸方向のスケールがｎ倍（ｎは予め定められた自然数）に拡大されたスケールであってもよい。
【0135】
なお、時間周波数表現再配置部が取得する再配置時間周波数表現は、周波数軸方向のスケールがｋ倍に縮小されたものだけである必要は無い。時間周波数表現再配置部が取得する再配置スペクトログラムは、第１の再配置時間周波数表現と第２の再配置時間周波数表現とであってもよい。第１の再配置時間周波数表現は、元の時間周波数表現の周波数軸方向のスケールがｋ倍に縮小された時間周波数表現である。第２の再配置時間周波数表現は、元の時間周波数表現の周波数軸方向のスケールがｎ倍に拡大された時間周波数表現である。
【0136】
なお、特徴抽出装置１及び１ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0137】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0138】
１、１ａ…特徴抽出装置、 １１、１１ａ…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １１０…信号取得部、 １２０、１２０ａ…スペクトログラム取得部、 １２１、１２１ａ…スペクトログラム再配置部、 １３０…畳み込み演算部、 １４０…記憶制御部、 １５０…通信制御部、 １６０…出力制御部、 ９１、９１ａ…プロセッサ、 ９２、９２ａ…メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】