特許 7467370 音声区間検出装置、学習装置及び音声区間検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】音声区間検出装置、学習装置及び音声区間検出プログラム

(51)【国際特許分類】

   G10L 15/04 20130101AFI20240408BHJP

   G10L 15/24 20130101ALI20240408BHJP

   G10L 15/16 20060101ALI20240408BHJP

【ＦＩ】

G10L15/04 300Z

G10L15/24 Q

G10L15/16

G10L15/04 300C

【請求項の数】 13

(21)【出願番号】P 2021035674

(22)【出願日】2021-03-05

(65)【公開番号】P2022135708

(43)【公開日】2022-09-15

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】金 宜鉉

【審査官】大野 弘

(56)【参考文献】

【文献】国際公開第２０２０／２５０８２８（ＷＯ，Ａ１）

【文献】特開２０２１－００５１２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／０４

Ｇ１０Ｌ １５／２４

Ｇ１０Ｌ １５／１６

(57)【特許請求の範囲】

【請求項1】

音響信号に基づいて音響特徴を算出する音響特徴算出部と、
非音響信号に基づいて非音響特徴を算出する非音響特徴算出部と、
前記音響特徴と前記非音響特徴とに基づいて相関係数を算出する相関係数算出部と、
前記相関係数の閾値に対する比較に基づいて、音声が発せられている時間区間である音声区間及び／又は音声が発せられていない時間区間である非音声区間を検出する検出部と、
を具備し、
前記音響特徴算出部は、第１の学習済みモデルを用いて前記音響信号から前記音響特徴を算出し、
前記非音響特徴算出部は、第２の学習済みモデルを用いて前記非音響信号から前記非音響特徴を算出し、
前記相関係数は、時間的に同期する前記音響特徴及び前記非音響特徴に基づいて算出される第１の相関係数と、時間的に非同期する前記音響特徴及び前記非音響特徴に基づいて算出される第２の相関係数とを有し、
前記第１の学習済みモデル及び前記第２の学習済みモデルは、前記第１の相関係数と前記第２の相関係数とを用いた自己教師学習により生成される、
音声区間検出装置。

【請求項2】

前記非音響信号は、前記音響信号に時間的に同期する画像信号である、請求項１記載の音声区間検出装置。

【請求項3】

同一音声発生源に関する前記音響信号と前記非音響信号とを取得する取得部を更に備える、請求項１記載の音声区間検出装置。

【請求項4】

第１のニューラルネットワークを用いて音響信号から音響特徴を算出する音響特徴算出部と、
第２のニューラルネットワークを用いて非音響信号から非音響特徴を算出する非音響特徴算出部と、
時間的に同期する前記音響特徴と前記非音響特徴とに基づいて第１の相関係数を算出し、時間的に非同期する前記音響特徴と前記非音響特徴とに基づいて第２の相関係数を算出する相関係数算出部と、
前記第１の相関係数と前記第２の相関係数とに基づく損失関数を用いて前記第１のニューラルネットワーク及び前記第２のニューラルネットワークを更新する更新部と、
を具備する学習装置。

【請求項5】

前記相関係数算出部は、
前記第１の相関係数として、互いに時間を同期させた前記音響信号と前記非音響信号との内積に基づく値を算出し、
前記第２の相関係数として、互いに時間を非同期させた前記音響信号と前記非音響信号との内積に基づく値を算出する、
請求項４記載の学習装置。

【請求項6】

前記相関係数算出部は、
前記第１の相関係数として、互いに時間を同期させた前記音響信号と前記非音響信号との内積に基づく値を算出し、
前記第２の相関係数として、複数の時間差について、互いに当該時間差だけ時間を非同期させた前記音響信号と前記非音響信号との内積に基づく値を算出する、
請求項４記載の学習装置。

【請求項7】

前記損失関数は、前記第１の相関係数と前記第２の相関係数とを有するソフトマックス関数である、請求項５又は６記載の学習装置。

【請求項8】

前記損失関数は、前記音響特徴と前記非音響特徴とを時間的に同期させた前記第１の相関係数を正例として用い、前記音響特徴と前記非音響特徴とを時間的に非同期させた前記第２の相関係数を負例として用いる対照損失を含む、請求項４記載の学習装置。

【請求項9】

前記音響特徴算出部は、第３のニューラルネットワークを用いて前記音響信号から前記音響特徴と雑音特徴を算出し、
前記相関係数算出部は、前記雑音特徴と前記非音響特徴とに基づいて第３の相関係数を算出し、
前記更新部は、前記第１の相関係数と前記第２の相関係数と前記第３の相関係数とに基づく前記損失関数を用いて前記第２のニューラルネットワーク及び前記第３のニューラルネットワークを更新する、
請求項４記載の学習装置。

【請求項10】

前記損失関数は、前記音響特徴と前記非音響特徴とを時間的に同期させた前記第１の相関係数を正例として用い、前記音響特徴と前記非音響特徴とを時間的に非同期させた前記第２の相関係数と前記雑音特徴と前記非音響特徴とを時間的に同期させた前記第３の相関係数とを負例として用いる対照損失を含む、請求項９記載の学習装置。

【請求項11】

前記損失関数は、前記対照損失と発散損失との和を含み、
前記発散損失は、前記音響特徴と前記雑音特徴との間の距離を評価する関数であり、前記距離に対する罰則を与える、
請求項１０記載の学習装置。

【請求項12】

前記非音響信号は、前記音響信号に時間的に同期する画像信号である、請求項４記載の学習装置。

【請求項13】

プロセッサに、
音響信号に基づいて音響特徴を算出させる音響特徴算出機能と、
非音響信号に基づいて非音響特徴を算出させる非音響特徴算出機能と、
前記音響特徴と前記非音響特徴とに基づいて相関係数を算出させる機能と、
前記相関係数の閾値に対する比較に基づいて、音声が発せられている時間区間である音声区間及び／又は音声が発せられていない時間区間である非音声区間を検出させる機能と、
を実現させ、
前記音響特徴算出機能は、第１の学習済みモデルを用いて前記音響信号から前記音響特徴を算出し、
前記非音響特徴算出機能は、第２の学習済みモデルを用いて前記非音響信号から前記非音響特徴を算出し、
前記相関係数は、時間的に同期する前記音響特徴及び前記非音響特徴に基づいて算出される第１の相関係数と、時間的に非同期する前記音響特徴及び前記非音響特徴に基づいて算出される第２の相関係数とを有し、
前記第１の学習済みモデル及び前記第２の学習済みモデルは、前記第１の相関係数と前記第２の相関係数とを用いた自己教師学習により生成される、
音声区間検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、音声区間検出装置、学習装置及び音声区間検出プログラムに関する。

【背景技術】

【0002】

音声区間検出（ＶＡＤ：Voice Activity Detection）とは、入力信号から利用者の発話が含まれる音声区間を検出する技術である。音声区間検出は、主に音声認識の認識精度の改善に用いられたり、音声符号化の分野では、非音声区間でのデータ圧縮を補助するために用いられたりしている。

【0003】

音声区間検出では、入力信号の時間区間から所定の音声を含む音声区間を検出する処理を要する。例えば、処理対象となるフレームが発話等の音声を含む音声区間であるか否かに対してラベル付きの学習データから教師あり学習させたモデルを用いて、入力の音響信号から所定の音声区間を検出する。ラベル付きの学習データを用意する手法としては、人手により付与する方法や自動的に付与する方法があるが、何れの方法にしても、多大な作業付加又は計算負荷を必要とする。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１９／１６２９９０号

【文献】特開２０１１―１９１４２３号公報

【非特許文献】

【0005】

【文献】Ｈａｒｗａｔｈ、Ｄａｖｉｄ等．“Ｊｏｉｎｔｌｙ Ｄｉｓｃｏｖｅｒｉｎｇ Ｖｉｓｕａｌ Ｏｂｊｅｃｔｓ ａｎｄ Ｓｐｏｋｅｎ Ｗｏｒｄｓ ｆｒｏｍ Ｒａｗ Ｓｅｎｓｏｒｙ Ｉｎｐｕｔ．”、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ―ＥＣＣＶ２０１８、９月、８―１４頁、２０１８年、Ｍｕｎｉｃｈ、Ｇｅｒｍａｎｙ、ｅｄｉｔｅｄ ｂｙ Ｖ． Ｆｅｒｒａｒｉ等、Ｓｐｒｉｎｇｅｒ、２０１８年。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、音声区間検出を軽負荷で実行可能な音声区間検出装置、学習装置及び音声区間検出プログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態に係る音声区間検出装置は、音響特徴算出部、非音響特徴算出部、相関係数算出部及び検出部を有する。音響特徴算出部は、音響信号に基づいて音響特徴を算出する。非音響特徴算出部は、非音響信号に基づいて非音響特徴を算出する。相関係数算出部は、前記音響特徴と前記非音響特徴とに基づいて相関係数を算出する。検出部は、前記相関係数の閾値に対する比較に基づいて、音声が発せられている時間区間である音声区間及び／又は音声が発せられていない時間区間である非音声区間を検出する。

【図面の簡単な説明】

【0008】

【図1】音声区間検出装置の構成例を示す図

【図2】音声区間検出処理の流れの一例を示す図

【図3】音声区間検出処理を模式的に示す図

【図4】入力信号（ビデオ信号）、音響信号及び画像信号の一例を示す図

【図5】音響信号及び音響特徴の関係を示す図

【図6】画像信号及び画像特徴の関係を示す図

【図7】同期相関係数及び非同期相関係数の一例を示す図

【図8】音声区間の検出例を示す図

【図9】学習装置の構成例を示す図

【図10】学習処理の流れの一例を示す図

【図11】学習処理を模式的に示す図

【図12】同期相関係数と非同期相関係数との算出例を示す図

【図13】応用例に係る音声区間検出処理を模式的に示す図

【図14】応用例に係る学習処理を模式的に示す図

【図15】応用例に係る同期相関係数及び非同期相関係数の算出例を示す図

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本実施形態に係わる音声区間検出装置、学習装置及び音声区間検出プログラムを説明する。

【0010】

図１は、音声区間検出装置１００の構成例を示す図である。音声区間検出装置１００は、入力信号の音声区間を検出するコンピュータである。図１に示すように、音声区間検出装置１００は、処理回路１１、記憶装置１２、入力機器１３、通信機器１４、表示機器１５及び音響機器１６を有する。

【0011】

処理回路１１は、ＣＰＵ（Central Processing Unit）等のプロセッサとＲＡＭ（Random Access Memory）等のメモリとを有する。処理回路１１は、記憶装置１２に記憶されている音声区間検出プログラムを実行することにより、入力信号の音声区間を検出する音声区間検出処理を実行する。音声区間検出プログラムは、非一時的なコンピュータ読み取り可能な記録媒体に記録されている。処理回路１１は、当該音声区間検出プログラムを当該記録媒体から読み出して実行することにより取得部１１１、音響特徴算出部１１２、非音響特徴算出部１１３、特徴相関係数算出部１１４、音声区間検出部１１５及び出力制御部１１６を実現する。なお、音声区間検出プログラムは、取得部１１１、音響特徴算出部１１２、非音響特徴算出部１１３、特徴相関係数算出部１１４、音声区間検出部１１５及び出力制御部１１６の機能を分割して実装した複数のモジュールを有してもよい。

【0012】

処理回路１１のハードウェア実装は上記態様のみに限定されない。例えば、取得部１１１、音響特徴算出部１１２、非音響特徴算出部１１３、特徴相関係数算出部１１４、音声区間検出部１１５及び／又は出力制御部１１６を実現する特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）等の回路により構成されてもよい。取得部１１１、音響特徴算出部１１２、非音響特徴算出部１１３、特徴相関係数算出部１１４、音声区間検出部１１５及び／又は出力制御部１１６は、単一の集積回路に実装されてもよいし、複数の集積回路に個別に実装されてもよい。

【0013】

取得部１１１は、同一音声発生源に関する音響信号と非音響信号とを取得する。音響信号と非音響信号とは、時系列信号であり、フレーム単位で時間的に同期している。本実施形態に係る音声発生源としては、人間や動物、ロボット等が想定される。以下、音声発生源は人間であるとする。音響信号は、音声発生源である話者による音声に関する信号である。非音響信号は、当該音響信号と略同時に収集された、当該話者に関する音響信号以外の信号である。例えば、非音響信号は、発話している話者に関する画像信号や、発話による話者の唇や顔の筋肉の生理反応等に関するセンサ信号等である。

【0014】

音響特徴算出部１１２は、音響信号の特徴量（以下、音響特徴と呼ぶ）を算出する。音響特徴は、音響信号に基づく値を有し、話者による音声に相関する値を有する。音響特徴は、フレーム毎に算出される。一例として、音響特徴は、第１の学習済みモデルを用いて算出される。第１の学習済みモデルは、音響信号を入力して音響特徴を出力するように訓練されたニューラルネットワークである。第１の学習済みモデルは、記憶装置１２等に記憶される。

【0015】

非音響特徴算出部１１３は、非音響信号の特徴量（以下、非音響特徴と呼ぶ）を算出する。非音響特徴は、非音響信号に基づく値を有し、話者による音声に相関する値を有する。非音響特徴は、フレーム毎に算出される。一例として、非音響特徴は、第２の学習済みモデルを用いて算出される。第２の学習済みモデルは、非音響信号を入力して非音響特徴を出力するように訓練されたニューラルネットワークである。第２の学習済みモデルは、記憶装置１２等に記憶される。

【0016】

特徴相関係数算出部１１４は、音響特徴と非音響特徴算出部１１３により算出された非音響特徴とに基づいて相関係数を算出する。以下、特徴相関係数算出部１１４により算出される相関係数を特徴相関係数と呼ぶ。特徴相関係数は、音響特徴と非音響特徴との間の相関を表す係数である。特徴相関係数は、音声区間と非音声区間とを判別する尺度として用いられる。音声区間は入力信号の時間区間のうちの音声が発せられている時間区間であり、非音声区間は入力信号の時間区間のうちの音声が発せられていない時間区間である。特徴相関係数は、フレーム毎に算出される。

【0017】

音声区間検出部１１５は、特徴相関係数の閾値に対する比較に基づいて、音声が発せられている時間区間である音声区間及び／又は音声が発せられていない時間区間である非音声区間を検出する。

【0018】

出力制御部１１６は、種々の情報を表示機器１５や音響機器１６を介して表示する。例えば、出力制御部１１６は、画像信号を表示機器１５に表示したり、音響信号を音響機器１６を介して出力したりする。

【0019】

記憶装置１２は、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等により構成される。記憶装置１２は、処理回路１１による種々の演算結果や処理回路１１が実行する音声区間検出プログラム等を記憶する。記憶装置１２は、コンピュータ読み取り可能な記録媒体の一例である。

【0020】

入力機器１３は、ユーザからの各種指令を入力する。入力機器１３としては、キーボードやマウス、各種スイッチ、タッチパッド、タッチパネルディスプレイ等が利用可能である。入力機器１３からの出力信号は処理回路１１に供給される。なお、入力機器１３としては、処理回路１１に有線又は無線を介して接続されたコンピュータであってもよい。

【0021】

通信機器１４は、音声区間検出装置１００にネットワークを介して接続された外部機器との間で情報通信を行うためのインタフェースである。通信機器１４は、例えば、音響信号及び非音響信号を収集する装置から音響信号及び非音響信号を受信したり、後述の学習装置から第１の学習済みモデル及び第２の学習済みモデルを受信したりする。

【0022】

表示機器１５は、種々の情報を表示する。表示機器１５としては、ＣＲＴ（Cathode-Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＬＥＤ（Light-Emitting Diode）ディスプレイ、プラズマディスプレイその他の当技術分野で知られている他の任意のディスプレイが適宜利用可能である。表示機器１５は、プロジェクタでもよい。

【0023】

音響機器１６は、電気信号を音声に変換して放射する。音響機器１６としては、マグネチックスピーカやダイナミックスピーカ、コンデンサスピーカその他の当技術分野で知られている任意のスピーカが適宜利用可能である。

【0024】

次に、音声区間検出装置１００の処理回路１１による音声区間検出処理の一例について説明する。なお、以下の説明を具体的に行うため、非音響信号は画像信号であるとする。

【0025】

図２は、処理回路１１による音声区間検出処理の流れの一例を示す図である。図３は、当該音声区間検出処理を模式的に示す図である。音声区間検出処理は、処理回路１１が記憶装置１２等に記憶された音声区間検出プログラムに従い動作することにより実行される。

【0026】

図２及び図３に示すように、取得部１１１は、音響信号と画像信号とを含む入力信号を取得する（ステップＳＡ１）。入力信号は、時間的に同期した音響信号と画像信号とを含むビデオ信号である。

【0027】

図４は、入力信号（ビデオ信号）、音響信号及び画像信号の一例を示す図である。図４に示すように、ビデオ信号は、時間的に同期した時系列の音響信号と時系列の画像信号とを含む時系列信号である。ビデオ信号の時間区間の長さは、特に限定されないが、例えば、１０秒程度のフレーム長であることが想定される。ビデオ信号は、マイクロフォンと撮像装置とを含むビデオカメラ装置により収集される。音響信号は、マイクロフォンにより収集される。マイクロフォンは、話者の発話に関する音声を集音し、集音した音声の音圧をアナログの電気信号（音響信号）に変換し、当該音響信号をＡ／Ｄ変換してデジタルの時間領域の電気信号（音響信号）に変換する。時間領域の音響信号は、取得部１１１により取得され、短時間フーリエ変換等により周波数領域の音響信号に変換される。画像信号は、音響信号と略同時に収集される。画像信号は、ＣＣＤ（Charge Coupled Device）等の複数の撮像素子を含む撮像装置により収集される。撮像装置は、発話している話者を光学的に撮影し、当該話者に関するデジタルの空間領域の画像信号（画像データ）をフレーム単位で生成する。画像信号は、話者の発話に相関することが要請される。画像フレームは、撮影対象として、少なくとも、発話に応じて形態が変形する唇領域を含んでいればよく、話者の顔全体領域を含んでもよいし、全身領域を含んでもよい。画像信号は、取得部１１１によりフレーム単位で取得される。

【0028】

ここで、時系列の音響信号Ａと時系列の画像信号Ｖとは、下記（１）式に従い定義されるものとする。時系列の音響信号Ａは、処理対象となるフレームの時間領域のＴ次元及び周波数領域のＦ次元を持つ音響信号である。画像信号Ｖは、時刻Ｔ、縦幅Ｈ、横幅Ｗ、カラーチャンネルＣの次元を有する画像信号である。

【0029】

【数1】

【0030】

ステップＳＡ１が行われると音響特徴算出部１１２は、第１の学習済みモデルを用いて、ステップＳＡ１により取得された音響信号Ａから音響特徴ｆｓを算出する（ステップＳＡ２）。音響特徴ｆｓは、フレーム毎に音響信号Ａに基づいて算出される。音響特徴ｆｓは時系列データである。第１の学習済みモデルは、音響信号Ａを入力して音響特徴ｆｓを出力するように学習されたニューラルネットワークである。当該ニューラルネットワークとしては、例えば、音響信号Ａを音響特徴ｆｓに変換するように学習されたエンコーダネットワークが用いられる。

【0031】

図５は、音響信号及び音響特徴の関係を示す図である。図５に示すように、音響信号は、話者が発する音声の音圧値の時系列の波形データである。音響信号は話者が発する音声に相関する。例えば、音響信号の波高値は話者が発音しているとき比較的高い値を有し、話者が発音していないとき比較的低い値を有する。音響特徴は、その値が音響信号の波高値に相関を有するように、換言すれば、音響信号に含まれる音声成分と無音成分とを判別するように設計される。例えば、音響信号の波高値が高いほど音響特徴の値は高く、音響信号の波高値が低いほど音響特徴の値は低い。

【0032】

例えば、図５に示すように、音響特徴は、波高値が上限値「１」と下限値「０」との間の値をとるように設計される。音響信号の波高値が発話しているときの値をとる場合、音響特徴は値「１」をとり、音響信号の波高値が発話していないときの値をとる場合、音響特徴は値「０」をとる。なお、音響特徴が取り得る値は「０」と「１」との２値でもよいし、３個以上の離散値でもよいし、下限値から上限値までの連続値でもよい。

【0033】

ステップＳＡ２が行われると非音響特徴算出部１１３は、第２の学習済みモデルを用いて、ステップＳＡ１により取得された画像信号Ｖから画像特徴ｆｖを算出する（ステップＳＡ３）。画像特徴ｆｖは、フレーム毎に画像信号Ｖに基づいて算出される。すなわち、画像特徴ｆｖは時系列データである。第２の学習済みモデルは、画像信号Ｖを入力して画像特徴ｆｖを出力するように学習されたニューラルネットワークである。当該ニューラルネットワークとしては、例えば、画像信号Ｖを画像特徴ｆｖに変換するように学習されたエンコーダネットワークが用いられる。なお、画像特徴ｆｖを算出するにあたり画像信号Ｖに対する前処理は特段実行される必要はない。

【0034】

図６は、画像信号及び画像特徴の関係を示す図である。図６に示すように、画像信号は、話者が発音しているときの顔部分領域の形態に相関する。画像特徴は、画像信号に含まれる発話成分と非発話成分とを判別するように設計される。具体的には、画像信号が表す話者の唇領域は話者が音声を発しているときと発していないときとで異なる形態を有する。画像特徴は、その値が、話者の顔部分領域の形態に相関を有するように設計される。例えば、話者が口を開けているときほど画像特徴の値は高く、話者が口を閉じているときほど画像特徴の値は低い。

【0035】

例えば、図６に示すように、画像特徴は、波高値が上限値「１」と下限値「０」との間の値をとるように設計される。話者が口を開けているとき画像特徴は値「１」をとり、口を閉じているとき画像特徴は値「０」をとる。なお、画像特徴が取り得る値は「０」と「１」との２値でもよいし、３個以上の離散値でもよいし、下限値から上限値までの連続値でもよい。

【0036】

ステップＳＡ２とステップＳＡ３との順番は、特に限定されず、ステップＳＡ３の後にステップＳＡ２が実行されてもよいし、ステップＳＡ２とステップＳＡ３とが並行して実行されてもよい。

【0037】

ステップＳＡ３が行われると特徴相関係数算出部１１４は、ステップＳＡ２において算出された音響特徴とステップＳＡ３において算出された画像特徴とに基づいて特徴相関係数を算出する（ステップＳＡ４）。ステップＳ４において特徴相関係数算出部１１４は、まず、音響特徴ｆｓと画像特徴ｆｖとの内積に基づく相関係数（以下、第１の特徴相関係数と呼ぶ）Ｃｓｖを算出する。第１の特徴相関係数Ｃｓｖは、下記（２）式で表される。

【0038】

【数2】

【0039】

ここでｆｓ（ｔ）は、フレーム時刻ｔ∈｛１、２、…、Ｔ｝での音響特徴ベクトルであり、音響特徴の一例である。ｆｖ（ｔ、ｅ、ｉ）は、Ｅ次元に圧縮された縦座標ｅ∈｛１、２、…、Ｅ｝及びＩ次元に圧縮された横座標ｉ∈｛１、２、…、Ｉ｝での画像特徴ベクトルであり、画像特徴の一例である。なお（・）^Ｔは転置処理を、｜｜・｜｜はＬ２ノルムを意味する。すなわち、第１の特徴相関係数Ｃｓｖは、音響特徴ｆｓと画像特徴ｆｖとの間の距離を計るコサイン類似度である。第１の特徴相関係数Ｃｓｖは、音響特徴ｆｓと画像特徴ｆｖとの間の距離を計る指標であれば、コサイン類似度に限定されず、例えば、ユークリッド距離やマンハッタン距離、マハラノビス距離等でもよい。

【0040】

次に、特徴相関係数算出部１１４は、第１の特徴相関係数Ｃｓｖ（ｔ，ｅ，ｉ）に基づいて第２の特徴相関係数Ｃ’ｓｖ（ｔ）を算出する。第２の特徴相関係数Ｃ’ｓｖ（ｔ）は、フレーム時刻ｔ毎に算出され、具体的には、下記（３）式で表される。ｍａｘ（・）は、次元Ｅ及び次元Ｉに対する最大空間応答のスカラー値を意味する。すなわち、第２の特徴相関係数Ｃ’ｓｖ（ｔ）は、フレーム時刻ｔ各々について算出され、次元Ｅ及び次元Ｉの複数の組合せ（画素）に対応する複数の第１の特徴相関係数Ｃｓｖのうちの最大値である。第２の特徴相関係数Ｃ’ｓｖ（ｔ）は、最終出力形態の特徴相関係数である。なお、第２の特徴相関係数は、縦座標ｅ及び横座標ｉの複数の組合せに対応する複数の第１の特徴相関係数に基づく値であればよく、例えば、複数の第１の特徴相関係数のうちの最小値や中間値、平均値等の任意分位数でもよい。また、注目する任意の縦座標ｅ及び横座標ｉの組合せ（画素）における第１の特徴相関係数が第２の特徴相関係数に設定されてもよい。

【0041】

【数3】

【0042】

図７は、特徴相関係数（第２の特徴相関係数）の一例を示す図である。図７に示すように、第２の特徴相関係数は、音響特徴と画像特徴との間の相関を表す係数である。音響特徴の値と画像特徴の値とを同一フレーム時刻毎に乗算することにより第２の特徴相関係数が算出される。換言すれば、特徴相関係数算出部１１４により算出される第２の特徴相関係数は、時間的に同期した音響特徴と画像特徴とに基づく相関係数を表す。図７に示すように、音響特徴と画像特徴との双方が値「１」である場合、換言すれば、音響特徴と画像特徴との双方が発話を表している場合、第２の特徴相関係数は値「１」をとる。音響特徴と画像特徴との何れか一方が値「０」である場合、換言すれば、音響特徴と画像特徴との何れか一方が発話を表していない場合、第２の特徴相関係数は値「０」をとる。

【0043】

ステップＳＡ４が行われると音声区間検出部１１５は、ステップＳＡ４において算出された第２の特徴相関係数Ｃ’ｓｖの閾値ηに対する比較に基づいて音声区間を検出する（ステップＳＡ５）。

【0044】

図８は、音声区間の検出例を示す図である。図８に示すように、フレーム時刻毎に第２の特徴相関係数の値が閾値ηに対して比較される。閾値ηは、発話に対応する値と発話に対応しない値との境に設定される。例えば、第２の特徴相関係数が「１」から「０」までの値をとる場合、閾値ηは「０．５」に設定される。第２の特徴相関係数の値が閾値ηよりも大きい場合、当該フレーム時刻は音声区間であると判定され、第２の特徴相関係数の値が閾値ηよりも小さい場合、当該フレーム時刻は非音声区間であると判定される。当該判定処理をフレーム時刻毎に行うことにより、入力信号に対応する時間区間のうちの音声区間と非音声区間とが検出されることとなる。入力信号のフレーム時刻毎に音声区間又は非音声区間のラベルが割り当てられる。

【0045】

以上により、処理回路１１による音声区間検出処理が終了する。音声区間検出後の入力信号は、例えば、音声認識やデータ圧縮等の処理に供される。

【0046】

上記の通り、本実施形態に係る音声区間検出装置１００は、音響特徴算出部１１２、非音響特徴算出部１１３、特徴相関係数算出部１１４及び音声区間検出部１１５を有する。音響特徴算出部１１２は、音響信号に基づいて音響特徴を算出する。音響特徴は、発音に相関する値を有する。非音響特徴算出部１１３は、非音響信号に基づいて非音響特徴を算出する。非音響特徴は、発音に相関する値を有する。特徴相関係数算出部１１４は、音響特徴と非音響特徴とに基づいて特徴相関係数を算出する。音声区間検出部１１５は、特徴相関係数の閾値に対する比較に基づいて、音声が発せられている時間区間である音声区間及び／又は音声が発せられていない時間区間である非音声区間を検出する。

【0047】

音響特徴及び非音響特徴は、例えば、値が大きい時間区間は音声区間、逆に値が小さい時間区間は非音声区間であるという仮定のもとに設計されている。上記の構成によれば、互いに音声に相関する音響特徴及び非音響特徴間の特徴相関係数を、音声区間と非音声区間とを判別する尺度として用いているので、特徴相関係数を閾値に対して比較することにより、音声区間及び／又は非音声区間を検出することができる。このように、本実施形態によれば、簡易な処理で音声区間を検出することが可能になる。

【0048】

好適には、音響特徴は第１の学習済みモデルを用いて音響信号から算出され、非音響特徴は第２の学習済みモデルを用いて非音響信号から算出される。第１の学習済みモデル及び第２の学習済みモデルは、時間的に同期した音響特徴及び非音響特徴に基づいて算出される特徴相関係数（同期相関係数）と、時間的に非同期した音響特徴及び非音響特徴に基づいて算出される特徴相関係数（非同期相関係数）とに基づいて定義される損失関数を用いた自己教師学習により生成される。本実施形態に係る自己教師学習においては、同期相関係数を正例として用い、非同期相関係数を負例として用いた対照損失に基づいて第１のニューラルネットワーク及び第２のニューラルネットワークが訓練される。このような対照損失を用いることにより、同期相関係数が大きくなり且つ非同期相関係数が小さくなるように、すなわち、音響特徴及び非音響特徴の音声及び非音声の識別能を増強するように、第１のニューラルネットワーク及び第２のニューラルネットワークが訓練される。このような自己教師学習により得られた第１の学習済みモデル及び第２の学習済みモデルを用いて音響特徴及び非音響特徴を得ることにより、音声区間及び／又は非音声区間の検出精度をより向上させることが可能になる。

【0049】

次に、本実施形態に係る学習装置２００について説明する。

【0050】

図９は、学習装置２００の構成例を示す図である。学習装置２００は、音響特徴の算出に用いる第１の学習済みモデルと画像特徴の算出に用いる第２の学習済みモデルとを生成するコンピュータである。図９に示すように、学習装置２００は、処理回路２１、記憶装置２２、入力機器２３、通信機器２４、表示機器２５及び音響機器２６を有する。

【0051】

処理回路２１は、ＣＰＵ等のプロセッサとＲＡＭ等のメモリとを有する。処理回路２１は、記憶装置２２に記憶されている学習プログラムを実行することにより、第１の学習済みモデル及び第２の学習済みモデルを自己教師学習する学習処理を実行する。学習プログラムは、非一時的なコンピュータ読み取り可能な記録媒体に記録されている。処理回路２１は、当該学習プログラムを当該記録媒体から読み出して実行することにより取得部２１１、音響特徴算出部２１２、非音響特徴算出部２１３、特徴相関係数算出部２１４、更新部２１５、判定部２１６及び出力制御部２１７を実現する。なお、学習プログラムは、取得部２１１、音響特徴算出部２１２、非音響特徴算出部２１３、特徴相関係数算出部２１４、更新部２１５、判定部２１６及び出力制御部２１７の機能を分割して実装された複数のモジュールを有してもよい。

【0052】

処理回路２１のハードウェア実装は上記態様のみに限定されない。例えば、取得部２１１、音響特徴算出部２１２、非音響特徴算出部２１３、特徴相関係数算出部２１４、更新部２１５、判定部２１６及び／又は出力制御部２１７を実現する特定用途向け集積回路（ＡＳＩＣ）等の回路により構成されてもよい。取得部２１１、音響特徴算出部２１２、非音響特徴算出部２１３、特徴相関係数算出部２１４、更新部２１５、判定部２１６及び／又は出力制御部２１７は、単一の集積回路に実装されてもよいし、複数の集積回路に個別に実装されてもよい。

【0053】

取得部２１１は、複数の学習サンプルを有する学習データを取得する。学習サンプルは、音響信号と非音響信号とを含む入力信号である。入力信号は、時系列信号であり、時系列の音響信号と時系列の非音響信号とを含む。上記の通り、非音響信号は、発話している話者に関する画像信号や、発話による話者の唇や顔の筋肉の生理反応等に関するセンサ信号等である。

【0054】

音響特徴算出部２１２は、第１のニューラルネットワークを用いて音響信号から音響特徴を算出する。音響特徴算出部２１２により算出される音響特徴は、音響特徴算出部１１２により算出される音響特徴と同様である。

【0055】

非音響特徴算出部２１３は、第２のニューラルネットワークを用いて非音響信号から非音響特徴を算出する。非音響特徴算出部２１３により算出される非音響特徴は、非音響特徴算出部１１３により算出される非音響特徴と同様である。

【0056】

特徴相関係数算出部２１４は、時間的に同期する音響特徴と非音響特徴とに基づいて特徴相関係数を算出する。「時間的に同期する」とは、音響特徴のフレーム時刻と非音響特徴のフレーム時刻とが一致することを意味する。この特徴相関係数を同期相関係数と呼ぶ。また、特徴相関係数算出部２１４は、時間的に非同期する音響特徴と非音響特徴とに基づいて特徴相関係数を算出する。「時間的に非同期する」とは、音響特徴のフレーム時刻と非音響特徴のフレーム時刻とが一致しないことを意味する。この特徴相関係数を非同期相関係数と呼ぶ。

【0057】

更新部２１５は、同期相関係数と非同期相関係数とに基づく損失関数を用いて第１のニューラルネットワーク及び前記第２のニューラルネットワークを更新する。

【0058】

判定部２１６は、学習処理の停止条件が充足したか否かを判定する。停止条件が充足していないと判定された場合、音響特徴算出部２１２による音響特徴の算出と、非音響特徴算出部２１３による非音響特徴の算出と、特徴相関係数算出部２１４による同期相関係数の算出と、特徴相関係数算出部２１４による非同期相関係数の算出と、更新部２１５による第１のニューラルネットワーク及び第２のニューラルネットワークの更新とが実行される。停止条件が充足したと判定された場合、この時点での第１のニューラルネットワークが第１の学習済みモデルとして、第２のニューラルネットワークが第２の学習済みモデルとして出力される。

【0059】

出力制御部２１７は、種々の情報を表示機器２５や音響機器２６を介して表示する。例えば、出力制御部２１７は、画像信号を表示機器２５に表示したり、音響信号を音響機器２６を介して出力したりする。

【0060】

記憶装置２２は、ＲＯＭやＨＤＤ、ＳＳＤ、集積回路記憶装置等により構成される。記憶装置２２は、処理回路２１による種々の演算結果や処理回路２１が実行する学習プログラム等を記憶する。記憶装置２２は、コンピュータ読み取り可能な記録媒体の一例である。

【0061】

入力機器２３は、ユーザからの各種指令を入力する。入力機器２３としては、キーボードやマウス、各種スイッチ、タッチパッド、タッチパネルディスプレイ等が利用可能である。入力機器２３からの出力信号は処理回路２１に供給される。なお、入力機器２３としては、処理回路２１に有線又は無線を介して接続されたコンピュータであってもよい。

【0062】

通信機器２４は、学習装置２００にネットワークを介して接続された外部機器との間で情報通信を行うためのインタフェースである。

【0063】

表示機器２５は、種々の情報を表示する。表示機器２５としては、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイその他の当技術分野で知られている他の任意のディスプレイが適宜利用可能である。表示機器２５は、プロジェクタでもよい。

【0064】

音響機器２６は、電気信号を音声に変換して放射する。音響機器２６としては、マグネチックスピーカやダイナミックスピーカ、コンデンサスピーカその他の当技術分野で知られている任意のスピーカが適宜利用可能である。

【0065】

次に、学習装置２００の処理回路２１による学習処理の一例について説明する。なお、以下の説明を具体的に行うため、非音響信号は画像信号であるとする。

【0066】

図１０は、処理回路２１による学習処理の流れの一例を示す図である。図１１は、学習処理を模式的に示す図である。当該学習処理は、処理回路２１が記憶装置２２等に記憶された学習プログラムに従い動作することにより実行される。当該学習処理において処理回路２１は、同期相関係数を正例とし非同期相関係数を負例とする自己教師学習により第１のニューラルネットワーク及び第２のニューラルネットワークを訓練する。第１のニューラルネットワーク及び第２のニューラルネットワークには、学習パラメータの初期値等が割り当てられているものとする。学習パラメータは、重みやバイアス等である。なお、学習パラメータとしては、任意のハイパーパラメータを含んでもよい。

【0067】

図１０及び図１１に示すように、取得部２１１は、音響信号Ａと画像信号Ｖとを含む入力信号を取得する（ステップＳＢ１）。ステップＳＢ１において１個の学習サンプルである入力信号が取得される。入力信号の時間区間のフレーム長は、特に限定されないが、例えば、１０フレーム程度であるとする。なお、画像信号Ｖに対しては、唇領域等の、発話に相関する領域の切り出し又はアノテーション付け等の前処理が行われる必要はない。入力信号に含まれる音響信号Ａと画像信号Ｖとは時間的に同期している。

【0068】

ステップＳＢ１が行われると音響特徴算出部２１２は、第１のニューラルネットワークを用いて、ステップＳＢ１において取得された音響信号Ａから音響特徴ｆｓを算出する（ステップＳＢ２）。ステップＳＢ２における第１のニューラルネットワークは、学習が完了していないものとする。第１のニューラルネットワークは、音響信号Ａから音響特徴ｆｓを算出可能なように、エンコーダネットワークのアーキテクチャを有している。

【0069】

ステップＳＢ２が行われると非音響特徴算出部２１３は、第２のニューラルネットワークを用いて、ステップＳＢ１において取得された画像信号Ｖから画像特徴ｆｖを算出する（ステップＳＢ３）。ステップＳＢ３における第２のニューラルネットワークは、学習が完了していないものとする。第２のニューラルネットワークは、画像信号Ｖから画像特徴ｆｖを算出可能なように、エンコーダネットワークのアーキテクチャを有している。

【0070】

ステップＳＢ２とステップＳＢ３との順番は、特に限定されず、ステップＳＢ３の後にステップＳＢ２が実行されてもよいし、ステップＳＢ２とステップＳＢ３とが並行して実行されてもよい。

【0071】

ステップＳＢ３が行われると特徴相関係数算出部２１４は、ステップＳＢ２において算出された音響特徴ｆｓとステップＳＢ３において算出された画像特徴ｆｖとを時間的に同期させて特徴相関係数（同期相関係数）を算出する（ステップＳＢ４）。ステップＳＢ４が行われると特徴相関係数算出部２１４は、ステップＳＢ２において算出された音響特徴とステップＳＢ３において算出された画像特徴とを時間的に非同期させて特徴相関係数（非同期相関係数）を算出する（ステップＳＢ５）。ステップＳＢ４及びＳＢ５において算出される特徴相関係数は、時間的に同期させる及び／又は非同期させる操作を実施すること以外、ステップＳＡ４において算出される特徴相関係数と同一である。

【0072】

図１２は、同期相関係数と非同期相関係数との算出例を示す図である。まず、同期相関係数の算出例について説明する。図１２に示すように、処理回路２１は、画像特徴ｆｖと音響特徴ｆｓとのフレーム時刻を同期させたうえで、画像特徴ｆｖと音響特徴ｆｓとの内積に基づく第１の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}を算出する。時間的に同期した画像特徴ｆｖ及び音響特徴ｆｓは、それぞれ画像特徴ｆｖ（ｔ）及び音響特徴ｆｓ（ｔ）のように表記することも可能である。この場合、画像特徴ｆｖ（ｔ）と音響特徴ｆｓ（ｔ）との時間差ｑは、ｑ＝０である。

【0073】

より詳細には、第１の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}は、下記（４）式で表される。第１の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}は、ステップＳＡ４において算出される第１の特徴相関係数Ｃｓｖと同一である。

【数4】

【0074】

次に、処理回路２１は、第１の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}に基づいて、第２の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）を算出する。第２の特徴相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）は、次元Ｅ及び次元Ｉに対する最大空間応答のスカラー値として算出され、具体的には、下記（５）式で表される。第２の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）は、ステップＳＡ４において算出される第２の特徴相関係数Ｃ’ｓｖ（ｔ）と同一である。

【0075】

【数5】

【0076】

次に非同期相関係数の算出例について説明する。図１２に示すように、処理回路２１は、画像特徴ｆｖと音響特徴ｆｓとのフレーム時刻を時間差ｑだけ非同期させたうえで、画像特徴ｆｖと音響特徴ｆｓとの内積に基づく第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}を算出する。具体的には、処理回路２１は、画像特徴ｆｖ（ｔ）のフレーム時刻ｔは固定し、音響特徴ｆｓについては、画像特徴ｆｖのフレーム時刻ｔに対して時間差ｑ∈｛－１、－２、…、－（Ｔ－１）｝だけシフトし、音響特徴ｆｓ（ｔ－１）、ｆｓ（ｔ－２）、・・・、ｆｓ（－（ｔ－１））を生成する。そして処理回路２１は、各時間差ｑについて、画像特徴ｆｖ（ｔ）と画像特徴ｆｓ（ｔ＋ｑ）との内積に基づく第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}を算出する。例えば、入力信号の時間区間が１０秒である場合、時間差が１秒、２秒、・・・、９秒に設定され、時間差毎に第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}が算出されるとよい。なお、時間差ｑは、入力信号の時間区間Ｔよりも短い値であれば、任意の値に設定可能である。時間差ｑの個数も１以上であればよく、特に限定されない。

【0077】

より詳細には、第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}（ｔ＋ｑ，ｅ，ｉ）は、下記（６）式で表される。ここでｆｓ（ｔ＋ｑ）は、フレーム時刻ｔ∈｛１、２、…、Ｔ｝での音響特徴ベクトルであり、音響特徴の一例である。ｆｖ（ｔ、ｅ、ｉ）は、Ｅ次元に圧縮された縦座標ｅ∈｛１、２、…、Ｅ｝及びＩ次元に圧縮された横座標ｉ∈｛１、２、…、Ｉ｝での画像特徴ベクトルであり、画像特徴の一例である。すなわち、第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}（ｔ＋ｑ，ｅ，ｉ）は、音響特徴ｆｓと画像特徴ｆｖとの間の距離を計るコサイン類似度である。第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}は、音響特徴ｆｓと画像特徴ｆｖとの間の距離を計る指標であれば、コサイン類似度に限定されず、例えば、ユークリッド距離やマンハッタン距離、マハラノビス距離等でもよい。

【0078】

【数6】

【0079】

次に、処理回路２１は、第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}（ｔ＋ｑ，ｅ，ｉ）に基づいて、第２の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ＋ｑ）を算出する。第２の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ＋ｑ）は、次元Ｅ及び次元Ｉに対する最大空間応答のスカラー値として算出され、具体的には、下記（７）式で表される。すなわち、第２の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ＋ｑ）は、フレーム時刻ｔ各々について算出され、縦座標ｅ及び横座標ｉの複数の組合せに対応する複数の第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}（ｔ＋ｑ，ｅ，ｉ）のうちの最大値である。第２の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ＋ｑ）は、最終出力形態の非同期相関係数である。なお、第２の非同期相関係数は、縦座標ｅ及び横座標ｉの複数の組合せに対応する複数の非同期相関係数に基づく値であればよく、例えば、複数の非同期相関係数のうちの最小値や中間値、平均値等の任意分位数でもよい。また、注目する任意の縦座標ｅ及び横座標ｉの組合せ（画素）における第１の非同期相関係数が第２の非同期相関係数に設定されてもよい。

【0080】

【数7】

【0081】

なお、ステップＳＢ２からステップＳＢ５までの順番は上記例のみに限定されない。例えば、ステップＳＢ２→ＳＢ４→ＳＢ３→ＳＢ５の順番で実施されてもよい。また、ステップＳＢ２→ＳＢ４とステップＳＢ３→ＳＢ５とが並列して実行されてもよい。

【0082】

ステップＳＢ５が行われると更新部２１５は、ステップＳＢ４において算出された第２の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）とステップＳＢ５において算出された第２の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ）とに基づく損失関数を用いて第１のニューラルネットワーク及び第２のニューラルネットワークを更新する（ステップＳＢ６）。ステップＳＢ６において更新部２１５は、損失関数として対照損失を計算する。

【0083】

対照損失は、同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）を正ペアとし、非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ）を負ペアとする損失関数である。正ペアとは、時間的に同期した音響特徴と画像特徴との組合せを意味し、正例として機能する。負ペアとは、時間的に非同期した音響特徴と画像特徴との組合せを意味し、負例として機能する。対照損失は、自己教師学習の損失関数に用いられ、同期相関係数と非同期相関係数との間の距離を評価する尺度である。具体的には、下記（８）式で表されるように、同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）と、互いに時間差ｑが異なる複数の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ）の積分値とに基づくソフトマックス関数形式により対照損失Ｌcontrastiveが表される。

【0084】

【数8】

【0085】

更新部２１５は、任意の最適化法に従い、対照損失Ｌcontrastiveが最小化するように第１のニューラルネットワーク及び第２のニューラルネットワークの学習パラメータを並行して更新する。最適化法は、確率的勾配降下法やＡｄａｍ（adaptive moment estimation）等の任意の方法が用いられればよい。対照損失Ｌcontrastiveを最小化することにより、同期相関係数が大きくなり且つ非同期相関係数が小さくなるように、換言すれば、正ペアに関する音響特徴及び画像特徴間の距離が小さく（類似度が大きく）なり且つ負ペアに関する音響特徴及び画像特徴間の距離が大きく（類似度が小さく）なるように、第１のニューラルネットワーク及び第２のニューラルネットワークの学習パラメータが訓練される。これにより、第１のニューラルネットワークが出力する音響特徴と第２のニューラルネットワークが出力する画像特徴とが相関することとなる。例えば、あるフレーム時刻の音響特徴が大きい値をとるとき同フレーム時刻の画像特徴も大きい値をとるように、あるいは、あるフレーム時刻の音響特徴が小さい値をとるとき同フレーム時刻の画像特徴も小さい値をとることが可能になる。よって、第１のニューラルネットワーク及び第２のニューラルネットワークによる、音響特徴及び非音響特徴の音声及び非音声の高い識別能を獲得することが可能になる。

【0086】

ステップＳＢ６が行われると判定部２１６は、停止条件を充足するか否かを判定する（ステップＳＢ７）。停止条件は、例えば、学習パラメータの更新回数が所定回数に到達したことや学習パラメータの更新量が閾値未満であること等に設定されるとよい。停止条件が充足していないと判定された場合（ステップＳＢ７：ＮＯ）、取得部２１１は、他の音響信号及び画像信号を取得する（ステップＳＢ１）。そして、当該他の音響信号及び画像信号について、音響特徴算出部２１２による音響特徴の算出（ステップＳＢ２）と、非音響特徴算出部２１３による非音響特徴の算出（ステップＳＢ３）と、特徴相関係数算出部２１４による同期相関係数の算出（ステップＳＢ４）と、特徴相関係数算出部２１４による非同期相関係数の算出（ステップＳＢ５）と、更新部２１５による第１のニューラルネットワーク及び第２のニューラルネットワークの更新（ステップＳＢ６）と、判定部２１６による停止条件の充足の判定（ステップＳＢ７）とが順番に実行される。

【0087】

なお、１個の学習サンプルについてステップＳＢ２からＳＢ７が繰り返されてもよいし（バッチ学習）、複数個の学習サンプルについてステップＳＢ２からＳＢ７が繰り返されてもよい（ミニバッチ学習）。

【0088】

そして、ステップＳＢ７において停止条件が充足すると判定された場合（ステップＳＢ７：ＹＥＳ）、判定部２１６は、停止条件を充足した時点での第１のニューラルネットワークを第１の学習済みモデルとして、第２のニューラルネットワークを第２の学習済みモデルとして出力する（ステップＳＢ８）。第１の学習済みモデルと第２の学習済みモデルとは、通信機器２４等を介して音声区間検出装置１００に送信され、記憶装置１２に記憶される。

【0089】

ステップＳＢ８が行われると処理回路２１による学習処理が終了する。

【0090】

なお、図１０に示す学習処理は、一例であり、本実施形態はこれに限定されない。例えば、上記実施形態においては、画像特徴に対して音響特徴を時間差ｑで非同期させるものとしたが、音響特徴に対して画像特徴を時間差ｑで非同期させてもよい。

【0091】

上記の通り、学習装置２００は、少なくとも音響特徴算出部２１２、非音響特徴算出部２１３、特徴相関係数算出部２１４及び更新部２１５を有する。音響特徴算出部２１２は、第１のニューラルネットワークを用いて音響信号から音響特徴を算出する。非音響特徴算出部２１３は、第２のニューラルネットワークを用いて非音響信号から非音響特徴を算出する。特徴相関係数算出部２１４は、時間的に同期する音響特徴と非音響特徴とに基づいて同期相関係数を算出し、時間的に非同期する音響特徴と非音響特徴とに基づいて非同期相関係数を算出する。更新部２１５は、同期相関係数と非同期相関係数とに基づく損失関数を用いて第１のニューラルネットワーク及び第２のニューラルネットワークを更新する。

【0092】

上記の構成によれば、時間的に同期した音響特徴及び非音響特徴に基づいて算出される特徴相関係数（同期相関係数）と、時間的に非同期した音響特徴及び非音響特徴に基づいて算出される特徴相関係数（非同期相関係数）とに基づいて定義される損失関数を用いた自己教師学習により第１のニューラルネットワーク及び第２のニューラルネットワークを更新することができる。本実施形態によれば、上記損失関数を用いるので、音声及び非音声の識別能の高い音響特徴を算出可能な第１の学習済みモデルと音声及び非音声の識別能の高い画像特徴（非音響特徴）を算出可能な第２の学習済みモデルを生成することが可能である。ひいては、音声区間検出装置１００は、当該第１の学習済みモデルにより算出された音響特徴及び第２の学習済みモデルにより算出された画像特徴（非音響特徴）を用いて音声区間及び／又は非音声区間を検出するので、高精度に音声区間及び／又は非音声区間を検出することが可能である。

【0093】

例えば、特許文献１及び２に開示された技術は、教師あり学習方法であり、性能を高めるため大量の学習データに非音声時間区間に対する正確な事前教師作業を要する。特許文献２に開示された技術は、映像での唇領域検出処理や唇の横方向・縦方向の長さに対して正確な値を得るための事前推定処理も要している。本実施形態に係る学習方法によれば、同期相関係数を正例として用い非同期相関係数を負例として用いる自己教師学習を行うので、教師ラベルの作業を省略することができる。

【0094】

（応用例）
次に、本実施形態の応用例に係る音声区間検出装置１００及び学習装置２００について説明する。上記実施形態では、音響信号の集音環境については特に言及しなかった。応用例は、雑音環境下での音声区間及び／又は非音声区間検出について説明する。なお以下の説明において、本実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

【0095】

図１３は、応用例に係る音声区間検出処理を模式的に示す図である。図１３に示すように、取得部１１１は、音響信号Ａと画像信号Ｖとを含む入力信号を取得する。音響信号Ａには環境雑音（ノイズ）が含まれるものとする。本実施形態に係る環境雑音は、話者の音声以外の音であり、集音時において実際に発せられていた雑音でもよいし、マイクロフォン以後の回路において生じた雑音でもよい。

【0096】

音響特徴算出部１１２は、音響信号Ａを第３の学習済みモデルに入力して音響特徴ｆｓと雑音特徴ｆｎとを出力する。第３の学習済みモデルは、応用例に係る学習装置２００により生成される。雑音特徴ｆｎは、音響信号Ａに対して雑音の寄与が高いほど高い値を有し、雑音の寄与が低いほど低い値を有する。例えば、雑音特徴ｆｎは、上限値「１」から下限値「０」までの値をとるように設計される。第３の学習済みモデルは、音響信号Ａを入力して音響特徴ｆｓと雑音特徴ｆｎとを出力するように学習されたニューラルネットワークである。当該ニューラルネットワークとしては、例えば、音響信号Ａを音響特徴ｆｓと雑音特徴ｆｎとに変換するように学習されたエンコーダネットワークが用いられる。後述のように第３の学習済みモデルは、音響特徴ｆｓと雑音特徴ｆｎとを判別して学習している。よって音響特徴ｆｓは、話者が発している音声の寄与が支配的であり、雑音特徴ｆｎは、話者が発している音声以外の音声である雑音の寄与が支配的であることが期待される。

【0097】

非音響特徴算出部１１３は、画像信号Ｖを第２の学習済みモデルに入力して画像特徴ｆｖを出力する。特徴相関係数算出部１１４は、音響特徴ｆｓと画像特徴ｆｖとに基づいて第１の特徴相関係数Ｃｓｖを算出し、第１の特徴相関係数Ｃｓｖに基づいて第２の特徴相関係数Ｃ’ｓｖを算出する。音声区間検出部１１５は、第２の特徴相関係数Ｃ’ｓｖの閾値ηに対する比較に基づいて音声区間及び／又は非音声区間を検出する。

【0098】

応用例によれば、雑音特徴ｆｎとは判別して出力された音響特徴ｆｓを用いて音声区間及び／又は非音声区間を検出しているので、上記実施形態に比して検出能が高まることが期待される。

【0099】

図１４は、応用例に係る学習処理を模式的に示す図である。図１４に示すように、取得部２１１は、音響信号Ａと画像信号Ｖとを含む入力信号（学習サンプル）を取得する。音響特徴算出部２１２は、音響信号Ａを第３のニューラルネットワークに入力して音響特徴ｆｓと雑音特徴ｆｎとを出力する。第３のニューラルネットワークは、音響信号Ａから音響特徴ｆｓと雑音特徴ｆｎとを算出可能なように、エンコーダネットワークのアーキテクチャを有している。非音響特徴算出部２１３は、画像信号Ｖを第２のニューラルネットワークに入力して画像特徴ｆｖを出力する。

【0100】

図１４に示すように、特徴相関係数算出部２１４は、時間的に同期した雑音特徴ｆｎと画像特徴ｆｖとに基づいて第１の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}を算出する。より詳細には、特徴相関係数算出部２１４は、まず、雑音特徴ｆｎと画像特徴ｆｖとの内積に基づく第１の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}を算出する。第１の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}としては、例えば、下記（９）式で表されるような、雑音特徴ｆｎと画像特徴ｆｖとの間の距離を評価するコサイン類似度が用いられる。なお、第１の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}は、雑音特徴ｆｎと画像特徴ｆｖの間の距離を計る指標であれば、コサイン類似度に限定されず、例えば、ユークリッド距離やマンハッタン距離、マハラノビス距離等でもよい。

【0101】

【数9】

【0102】

次に、特徴相関係数算出部２１４は、第１の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}に基づいて第２の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’を算出する。第２の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’は、フレーム時刻ｔ毎にスカラー値として算出され、具体的には、下記（１０）式で表される。なお、第２の同期相関係数は、縦座標ｅ及び横座標ｉの複数の組合せに対応する複数の第１の同期相関係数に基づく値であればよく、例えば、複数の第１の同期相関係数のうちの最小値や中間値、平均値等の任意分位数でもよい。また、注目する任意の縦座標ｅ及び横座標ｉの組合せ（画素）における第１の同期相関係数が第２の同期相関係数に設定されてもよい。

【0103】

【数10】

【0104】

また、特徴相関係数算出部２１４は、図１４に示すように、上記実施形態と同様、時間的に同期した音響特徴ｆｓと画像特徴ｆｖとに基づいて第１の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}を算出し、第１の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}に基づいて第２の特徴相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’を算出する。特徴相関係数算出部２１４は、時間的に非同期した音響特徴ｆｓと画像特徴ｆｖとに基づいて第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}を算出し、第１の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}に基づいて第２の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’を算出する。

【0105】

図１５は、同期相関係数及び非同期相関係数の算出例を示す図である、図１５に示すように、特徴相関係数算出部２１４は、上記実施形態と同様、画像特徴ｆｖに対する音響特徴ｆｓの時間差ｑを０からＴ－１まで変化させながら同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}と複数の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}とを算出する。特徴相関係数算出部２１４は、画像特徴ｆｖと雑音特徴ｆｎとに基づいて同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}を算出する。環境雑音は時間的に略一定と見做しているため、雑音特徴ｆｎも時間的に略一様であると仮定していることによる。

【0106】

図１４に示すように、更新部２１５は、雑音特徴及び画像特徴間の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’と、音響特徴及び画像特徴間の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’と、音響特徴及び画像特徴間の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’に基づいて損失関数を算出する。応用例に係る損失関数Ｌtotalは、下記（１１）式のように、対照損失Ｌcontrastiveと発散損失Ｌdivergenceとの和として定義される。

【0107】

【数11】

【0108】

応用例に係る対照損失Ｌcontrastiveは、同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）を正ペアとし、非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ）及び同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’を負ペアとする損失関数である。時間的に同期した雑音特徴及び画像特徴間の同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’は、当該同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’と時間的に同期した音響特徴及び画像特徴間の同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’とを判別するように学習したいので、負ペアとして用いられる。下記（１２）式で表されるように、応用例に係る対照損失Ｌcontrastiveは、同期相関係数Ｃｓｖ^{ｓｙｎｃｅｄ}’（ｔ）と、互いに時間差ｑが異なる複数の非同期相関係数Ｃｓｖ^{ｕｎｓｙｎｃｅｄ}’（ｔ）の積分と、同期相関係数Ｃｎｖ^{ｓｙｎｃｅｄ}’とに基づくソフトマックス関数形式で表される。

【0109】

【数12】

【0110】

発散損失Ｌdivergenceは、音響特徴ｆｓと雑音特徴ｆｎとの間の距離を評価する関数である。発散損失Ｌdivergenceは、音響特徴ｆｓと雑音特徴ｆｎとの間の距離が大きくなるように、当該距離に対して罰則を与える。例えば、発散損失Ｌdivergenceは、下記（１３）式に示すように、音響特徴ｆｓと雑音特徴ｆｎとのコサイン類似度に基づき計算される。

【0111】

【数13】

【0112】

更新部２１５は、任意の最適化法に従い、応用例に係る損失関数が最小化するように第３のニューラルネットワーク及び第２のニューラルネットワークの学習パラメータを並行して更新する。判定部２１６は、停止条件を充足するか否かを判定し、停止条件が充足していないと判定された場合、他の学習サンプルについて、音響特徴算出部２１２による音響特徴及び雑音特徴の算出と、非音響特徴算出部２１３による非音響特徴の算出と、特徴相関係数算出部２１４による同期相関係数の算出と、特徴相関係数算出部２１４による非同期相関係数の算出と、更新部２１５による第３のニューラルネットワーク及び第２のニューラルネットワークの更新と、判定部２１６による停止条件の充足の判定とが順番に実行される。そして、停止条件が充足すると判定された場合、判定部２１６は、停止条件を充足した時点での第３のニューラルネットワークを第３の学習済みモデルとして、第２のニューラルネットワークを第２の学習済みモデルとして出力する。なお、停止条件は、例えば、学習パラメータの更新回数が所定回数に到達したことや学習パラメータの更新量が閾値未満であること等に設定されるとよい。

【0113】

応用例に係る損失関数を最小化することにより、音響特徴と雑音特徴との距離を大きく（類似度を小さく）しつつ、正ペアに関する音響特徴及び画像特徴間の距離が小さく（類似度が大きく）なり且つ負ペアに関する音響特徴及び画像特徴間の距離が大きく（類似度が小さく）なるように、第３のニューラルネットワーク及び第２のニューラルネットワークの学習パラメータが訓練される。これにより、第３のニューラルネットワークが出力する音響特徴と雑音特徴とが相関せず、且つ第３のニューラルネットワークが出力する音響特徴と第２のニューラルネットワークが出力する画像特徴とが相関することとなる。よって、応用例によれば、音響特徴と雑音特徴を判別することができるので、音響特徴及び非音響特徴の音声及び非音声の識別能を高めることが可能になる。

【0114】

上記の実施形態は、一例であり、種々の変形が可能である。例えば、音響信号は、音声信号であるとしたが、音声信号を分解した声帯信号又は声道信号でもよい。また、音響信号は、時間領域又は周波数領域における音圧値の波形データであるとしたが、当該波形データを任意の空間に変換したデータでもよい。

【0115】

上記の実施形態において音声区間検出装置１００は、音響特徴を第１又は第３の学習済みモデルを用いて、画像特徴を第２の学習済みモデルを用いて算出するものとした。しかしながら、音響特徴及び画像特徴は、話者が発する音声に相関していればよく、学習済みモデルを用いて算出しなくてもよい。例えば、音声と無音とを判別する閾値が設定され、音響信号の波高値が閾値よりも高い場合、音響特徴は「１」に設定され、閾値よりも低い場合、音響特徴は「０」に設定されてもよい。また、唇領域の画像信号を画像処理して唇領域の幾何学的特徴量を算出し、口が開いている特徴量を有する場合、画像特徴は「１」に設定され、口が閉じている特徴量を有する場合、画像特徴は「０」に設定されてもよい。また、人手により音響特徴及び画像特徴の値が割り振られてもよい。

【0116】

かくして、上記の実施形態によれば、音声区間検出を軽負荷で実行することが可能になる。

【0117】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0118】

１１…処理回路、１２…記憶装置、１３…入力機器、１４…通信機器、１５…表示機器、１６…音響機器、２１…処理回路、２２…記憶装置、２３…入力機器、２４…通信機器、２５…表示機器、２６…音響機器、１００…音声区間検出装置、１１１…取得部、１１２…音響特徴算出部、１１３…非音響特徴算出部、１１４…特徴相関係数算出部、１１５…音声区間検出部、１１６…出力制御部、２００…学習装置、２１１…取得部、２１２…音響特徴算出部、２１３…非音響特徴算出部、２１４…特徴相関係数算出部、２１５…更新部、２１６…判定部、２１７…出力制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】