特許 7331523 検出プログラム、検出方法、検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-15

(45)【発行日】2023-08-23

(54)【発明の名称】検出プログラム、検出方法、検出装置

(51)【国際特許分類】

   G10L 15/04 20130101AFI20230816BHJP

   G10L 15/06 20130101ALI20230816BHJP

【ＦＩ】

G10L15/04 300C

G10L15/06 500P

【請求項の数】 10

(21)【出願番号】P 2019136079

(22)【出願日】2019-07-24

(65)【公開番号】P2021021749

(43)【公開日】2021-02-18

【審査請求日】2022-04-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】外川 太郎

(72)【発明者】

【氏名】中山 紗友梨

(72)【発明者】

【氏名】森岡 清訓

【審査官】中村 天真

(56)【参考文献】

【文献】特開２０１９－００８１３１（ＪＰ，Ａ）

【文献】特開２０１２－１１８２５１（ＪＰ，Ａ）

【文献】特開２０１２－０７３３６１（ＪＰ，Ａ）

【文献】特開２０１０－０１０８６９（ＪＰ，Ａ）

【文献】特開２００９－０２０４６０（ＪＰ，Ａ）

【文献】特開２００８－１５２１２５（ＪＰ，Ａ）

【文献】特開２００５－０４９８７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－２５／９３

Ｈ０４Ｒ １／１４

(57)【特許請求の範囲】

【請求項1】

複数の発話者の音声が含まれる音声情報を取得し、
前記複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、前記音声情報に含まれる前記第１発話者の第１発話区間を検出し、
前記第１発話区間外であって、前記第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、前記複数の発話者のうち、第２発話者の第２発話区間を検出する
処理をコンピュータに実行させることを特徴とする検出プログラム。

【請求項2】

前記第１発話区間を検出する処理は、前記学習した音響特徴と、音声情報に含まれる音響特徴との類似性を基にして、前記第１発話区間を検出することを特徴とする請求項１に記載の検出プログラム。

【請求項3】

前記第１発話区間の音響特徴を基にして、前記学習した音響特徴を更新する処理を更に実行することを特徴とする請求項１または２に記載の検出プログラム。

【請求項4】

前記第１発話者の顔または発声器官の映像情報、または、前記発声器官の振動情報を取得し、前記第１発話区間を検出する処理は、前記映像情報、または、前記振動情報を更に用いて、前記第１発話区間を検出することを特徴とする請求項１、２または３に記載の検出プログラム。

【請求項5】

前記第１発話区間を検出する処理によって、前記第１発話区間を検出されてから、次の前記第１発話区間が検出されるまでの時間間隔の平均値を算出し、前記平均値に基づいて、前記所定の時間範囲を設定する処理を更に実行することを特徴とする請求項１～４のいずれか一つに記載の検出プログラム。

【請求項6】

複数の前記第１発話区間の平均区間長を算出し、前記第１発話区間が前記平均区間長未満である場合、前記所定の時間範囲を広げ、前記第１発話区間が前記平均区間長以上である場合、前記所定の時間範囲を狭める処理を更に実行することを特徴とする請求項５に記載の検出プログラム。

【請求項7】

前記第２発話区間を検出する処理は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴の最頻値を特定し、前記最頻値を含む一定範囲の音響特徴を有するフレームが含まれる区間を、前記第２発話区間として検出することを特徴とする請求項１～６のいずれか一つに記載の検出プログラム。

【請求項8】

前記第２発話区間を検出する処理は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴と、前記学習した音響特徴との類似度の最頻値を特定し、前記最頻値に応じた閾値を特定し、特定した閾値を用いて、前記第２発話区間を検出することを特徴とする請求項１～６のいずれか一つに記載の検出プログラム。

【請求項9】

複数の発話者の音声が含まれる音声情報を取得し、
前記複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、前記音声情報に含まれる前記第１発話者の第１発話区間を検出し、
前記第１発話区間外であって、前記第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、前記複数の発話者のうち、第２発話者の第２発話区間を検出する
処理をコンピュータが実行することを特徴とする検出方法。

【請求項10】

複数の発話者の音声が含まれる音声情報を取得する取得部と、
前記複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、前記音声情報に含まれる前記第１発話者の第１発話区間を検出する第１検出部と、
前記第１発話区間外であって、前記第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、前記複数の発話者のうち、第２発話者の第２発話区間を検出する第２検出部と
を有することを特徴とする検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出プログラム等に関する。

【背景技術】

【0002】

各種の製品を販売する店舗では、店内に複数のカメラを設置し撮影した映像から顧客の行動を解析することで、企業のサービスや製品に対する要望、改善点の情報を得る取り組みが行われ始めている。顧客と店員の会話についても、今後、店員がマイクを装着して顧客と会話を行うことで、顧客の音声を録音することができれば、録音した顧客の音声を解析することで、企業のサービスや製品に対する要望、改善点等の情報を得ることが期待できる。

【0003】

ここで、店員のマイクによって録音される音声には、店員の音声と顧客の音声とが混合しているため、混合した音声から顧客の音声を抽出することが求められる。たとえば、事前登録した登録話者の音声と、入力音声との類似度の分布に基づいて、入力音声が、登録話者であるか否かを判定する従来技術がある。この従来技術を用いることで、店員の音声と顧客の音声とが混在した音声から、店員の音声を特定し、店員以外の音声を顧客の音声として抽出することができる。

【0004】

図２２は、従来技術を用いて顧客の発話区間を特定する処理を説明するための図である。図２２の縦軸は音量（または、ＳＮＲ（Signal-to-Noise Ratio））に対応する軸であり、横軸は時間に対応する軸である。線１ａは、入力音声の音量と時間との関係を示すものである。前提として、図２２では、店員のマイクと、顧客との距離が近いものとする。以下の説明では、従来技術を実行する装置を、単に装置と表記する。

【0005】

装置は、店員の音声を事前登録しておき、店員の音声および顧客の音声の混在する入力音声と、登録された音声との類似度の分布に基づいて、店員の発話区間Ｔ_Ａを特定する。装置は、店員の発話区間Ｔ_Ａ以外の発話区間のうち、音量が閾値Ｔｈ以上となる区間Ｔ_Ｂを、顧客の発話区間として検出し、発話区間Ｔ_Ｂの音声を、顧客の音声として抽出する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００７－２７９１８号公報

【文献】特開２０１３－１４０５３４号公報

【文献】特開２０１４－１４５９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上述した従来技術では、特定の発話者の発話区間を検出することができないという問題がある。

【0008】

たとえば、店員のマイクと、顧客との距離が近い場合には、図２２で説明したように、顧客の音声情報を抽出することが可能であるが、通常、対面の接客では、店員と顧客との距離は一定ではなく、距離が離れる場合も多い。店員と顧客との距離が離れると、顧客以外の雑音が、音声情報に含まれ、対応中の顧客の発話区間を検出することは難しい。顧客以外の雑音には、周囲の人の話し声等が含まれる。

【0009】

図２３は、従来技術の問題を説明するための図である。図２３の縦軸は音量（または、ＳＮＲ）に対応する軸であり、横軸は時間に対応する軸である。線１ｂは、入力音声の音量と時間との関係を示すものである。前提として、図２３では、店員のマイクと、顧客との距離が遠いものとする。

【0010】

店員の音声を事前登録しておき、店員の音声および顧客の音声の混在する入力音声と、登録された音声との類似度の分布に基づいて、店員の発話区間Ｔ_Ａを特定する。一方、店員の発話区間Ｔ_Ａ以外の発話区間のうち、音量が閾値Ｔｈ以上となる区間を、顧客の発話区間として検出すると、顧客の発話区間Ｔ_Ｂに、雑音の区間Ｔ_Ｃが含まれてしまう。また、顧客の発話区間Ｔ_Ｂと、雑音の区間Ｔ_Ｃとを区別することは難しい。

【0011】

１つの側面では、本発明は、特定の発話者の発話区間を検出することができる検出プログラム、検出方法、検出装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、複数の発話者の音声が含まれる音声情報を取得する。コンピュータは、複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、音声情報に含まれる第１発話者の第１発話区間を検出する。コンピュータは、第１発話区間外であって、第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、複数の発話者のうち、第２発話者の第２発話区間を検出する。

【発明の効果】

【0013】

特定の発話者の発話区間を検出することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例１に係る検出装置の処理を説明するための図（１）である。

【図2】図２は、本実施例１に係る検出装置の処理を説明するための図（２）である。

【図3】図３は、本実施例１に係るシステムの一例を示す図である。

【図4】図４は、本実施例１に係る検出装置の構成を示す機能ブロック図である。

【図5】図５は、音響特徴の分布の一例を示す図である。

【図6】図６は、本実施例１に係る検出装置の処理手順を示すフローチャートである。

【図7】図７は、本実施例２に係る検出装置の処理を説明するための図（１）である。

【図8】図８は、本実施例２に係る検出装置の処理を説明するための図（２）である。

【図9】図９は、本実施例２に係る検出装置の処理を説明するための図（３）である。

【図10】図１０は、本実施例２に係る検出装置の構成を示す機能ブロック図である。

【図11】図１１は、本実施例２に係る学習音響特徴情報のデータ構造の一例を示す図である。

【図12】図１２は、本実施例２に係る検出装置の処理手順を示すフローチャートである。

【図13】図１３は、検出装置のその他の処理を説明するための図である。

【図14】図１４は、本実施例３に係るシステムの一例を示す図である。

【図15】図１５は、本実施例３に係る検出装置の構成を示す機能ブロック図である。

【図16】図１６は、本実施例３に係る音声認識装置の構成を示す機能ブロック図である。

【図17】図１７は、本実施例３に係る検出装置の処理手順を示すフローチャートである。

【図18】図１８は、本実施例４に係るシステムの一例を示す図である。

【図19】図１９は、本実施例４に係る検出装置の構成を示す機能ブロック図である。

【図20】図２０は、本実施例４に係る検出装置の処理手順を示すフローチャートである。

【図21】図２１は、検出装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図22】図２２は、従来技術を用いて顧客の発話区間を特定する処理を説明するための図である。

【図23】図２３は、従来技術の問題を説明するための図である。

【発明を実施するための形態】

【0015】

以下に、本願の開示する検出プログラム、検出方法、検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例1】

【0016】

図１および図２は、本実施例１に係る検出装置の処理を説明するための図である。本実施例１に係る検出装置は、第１発話者が発話する音声の音響特徴を予め学習しておく。以下の説明において、学習済みの音響特徴を「学習音響特徴」と表記する。検出装置は、第１発話者の音声と、第２発話者の音声と、第１、２発話者以外の発話者の音声とを含む音声の情報（以下、音声情報）を取得する。たとえば、第１発話者は店員に対応し、第２発話者は顧客に対応する。音声情報は、第１発話者に取り付けられたマイクから集音される音声の情報である。

【0017】

図１の縦軸は音量（または、ＳＮＲ）に対応する軸であり、横軸は時間に対応する軸である。線１ｃは、音声情報の音量と時間との関係を示すものである。検出装置は、音声情報と、学習音響特徴とを基にして、音声情報に含まれる第１発話者の第１発話区間Ｔ_Ａ１，Ｔ_Ａ２を検出する。図示を省略するが、第１発話区間Ｔ_Ａ１の開始時刻をＳ_Ａ１とし、終了時刻をＥ_Ａ１とする。第１発話区間Ｔ_Ａ２の開始時刻をＳ_Ａ２とし、終了時刻をＥ_Ａ２とする。以下の説明では、第１発話区間Ｔ_Ａ１，Ｔ_Ａ２をまとめて、適宜、第１発話区間Ｔ_Ａと表記する。

【0018】

検出装置は、第１発話区間Ｔ_Ａを基準とした探索範囲を設定する。探索範囲は、所定の時間範囲の一例である。図１に示す例では、探索範囲Ｔ_１－１、Ｔ_１－２、Ｔ_２－１、Ｔ_２－２が設定される。探索範囲Ｔ_１－１の開始時刻はＳ_Ａ１－Ｄ、終了時刻はＳ_Ａ１である。探索範囲Ｔ_１－２の開始時刻はＥ_Ａ１、終了時刻はＥ_Ａ１＋Ｄである。探索範囲Ｔ_１－２の開始時刻はＳ_Ａ２－Ｄ、終了時刻はＳ_Ａ２である。探索範囲Ｔ_１－２の開始時刻はＥ_Ａ２、終了時刻はＥ_Ａ２＋Ｄである。Ｄは、先の第１発話区間の終了時刻から、次の第１発話区間の開始時刻までの平均的な時間間隔である。

【0019】

検出装置は、探索範囲Ｔ_１－１，Ｔ_１－２に含まれる音声情報について、音響特徴と頻度との関係を特定する。たとえば、探索範囲Ｔ_１－１，Ｔ_１－２に含まれる音声情報は、複数のフレームによって分割されており、フレーム毎に音響特徴が算出されているものとする。探索範囲Ｔ_１－１，Ｔ_１－２に含まれる音声情報の複数のフレームの区間は、第２発話者の第２発話区間の候補となる区間である。

【0020】

図２の縦軸は頻度に対応する軸であり、横軸は音響特徴に対応する軸である。音響特徴は、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向のうち、少なくとも一つの特徴に対応する。検出装置は、音響特徴と頻度との関係を基にして、最頻値Ｆを特定する。検出装置は、第２発話区間の候補となる複数のフレームのうち、最頻値Ｆを基準とする一定範囲Ｔ_Ｆの音響特徴を有するフレームの範囲を、第２発話区間として検出する。

【0021】

検出装置は、探索範囲Ｔ_２－１，Ｔ_２－２に含まれる音声情報についても同様にして、音響特徴と頻度との関係を基にして、第２発話区間を検出する。

【0022】

上記のように、本実施例１に係る検出装置は、第１発話者の学習音響特徴に基づいて、複数の話者の音声情報から、第１発話者の第１発話区間を検出し、第１発話区間外の一定範囲に含まれる探索範囲の音響特徴を基にして、第２発話者の第２発話区間を検出する。これによって、複数の発話者の音声を含む音声情報から、第２発話者の発話区間を精度よく検出することができる。

【0023】

次に、本実施例１にかかるシステムの構成について説明する。図３は、本実施例１に係るシステムの一例を示す図である。図３に示すように、このシステムは、マイク端末１０と、検出装置１００とを有する。たとえば、マイク端末１０と、検出装置１００とは、無線によって相互に接続される。なお、マイク端末１０と、検出装置１００とを有線で接続してもよい。

【0024】

マイク端末１０は、発話者１Ａに取り付けられる。発話者１Ａは、顧客に接客を行う店員に対応する。発話者１Ａは、第１発話者の一例である。発話者１Ｂは、発話者１Ａから接客を受ける顧客に対応する。発話者１Ｂは、第２発話者の一例である。発話者１Ａ，１Ｂの周りには、発話者１Ａが接客を行っていない発話者１Ｃが存在しているものとする。

【0025】

マイク端末１０は、音声を収録する装置である。マイク端末１０は、音声情報を検出装置１００に送信する。音声情報には、発話者１Ａ～１Ｃの音声の情報が含まれる。マイク端末１０は、複数のマイクを備えていてもよい。マイク端末１０は、複数のマイクを備えている場合、各マイクで集音した音声情報を、検出装置１００に送信する。

【0026】

検出装置１００は、マイク端末１０から音声情報を取得し、発話者１Ａの学習音響特徴に基づいて、音声情報から発話者１Ａの発話区間を検出する。検出装置１００は、検出した発話者１Ａの発話区間外の一滴範囲に含まれる探査区間の音響特徴を基にして、発話者１Ｂの発話区間を検出する。

【0027】

図４は、本実施例１に係る検出装置の構成を示す機能ブロック図である。図４に示すように、この検出装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0028】

通信部１１０は、無線によって、マイク端末１０とデータ通信を実行する処理部である。通信部１１０は、通信装置の一例である。通信部１１０は、マイク端末１０から音声情報を受信し、受信した音声情報を、制御部１５０に出力する。なお、検出装置１００は、有線によって、マイク端末１０に接続してもよい。検出装置１００は、通信部１１０によってネットワークに接続し、外部装置（図示略）とデータを送受信してもよい。

【0029】

入力部１２０は、検出装置１００に各種の情報を入力するための入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0030】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

【0031】

記憶部１４０は、音声バッファ１４０ａと、学習音響特徴情報１４０ｂと、音声認識情報１４０ｃとを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0032】

音声バッファ１４０ａは、マイク端末１０から送信される音声情報を格納するバッファである。音声情報では、音声信号と時刻とが対応付けられる。

【0033】

学習音響特徴情報１４０ｂは、予め学習される発話者１Ａ（第１発話者）の音声の音響特徴の情報である。音響特徴には、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向が含まれる。たとえば、学習音響特徴情報１４０ｂは、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向の値をそれぞれ要素とするベクトルである。

【0034】

音声認識情報１４０ｃは、発話者１Ｂの第２発話区間の音声情報を文字列に変換した情報である。

【0035】

制御部１５０は、取得部１５０ａと、第１検出部１５０ｂと、第２検出部１５０ｃと、認識部１５０ｄとを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

【0036】

取得部１５０ａは、通信部１１０を介して、マイク端末１０から音声情報を取得する処理部である。取得部１５０ａは、音声情報を順次、音声バッファ１４０ａに格納する。

【0037】

第１検出部１５０ｂは、音声バッファ１４０ａから音声情報を取得し、学習音響特徴情報１４０ｂを基にして、発話者１Ａ（第１発話者）の第１発話区間を検出する処理部である。第１検出部１５０ｂは、音声区間検出処理、音響解析処理、類似性評価処理を行う。

【0038】

まず、第１検出部１５０ｂが実行する「音声区間検出処理」の一例について説明する。第１検出部１５０ｂは、音声情報のパワーを特定し、パワーが閾値未満となる無音区間に挟まれた区間を、音声区間として検出する。第１検出部１５０ｂは、国際公開第２００９／１４５１９２号に開示された技術を用いて、音声区間を検出してもよい。

【0039】

第１検出部１５０ｂは、音声区間によって区切られる音声情報を、固定長のフレームに分割する。第１検出部１５０ｂは、各フレームのフレームを識別するフレーム番号を設定する。第１検出部１５０ｂは、各フレームに対して、後述する音響解析処理、類似性評価処理を実行する。

【0040】

続いて、第１検出部１５０ｂが実行する「音響解析処理」の一例について説明する。たとえば、第１検出部１５０ｂは、音声情報に含まれる音声区間の各フレームを基にして、音響特徴を算出する。第１検出部１５０ｂは、音響特徴として、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向をそれぞれ算出する。

【0041】

第１検出部１５０ｂが、音響特徴として「ピッチ周波数」を算出する処理の一例について説明する。第１検出部１５０ｂは、ＲＡＰＴ（A Robust Algorithm for Pitch Tracking）の推定手法を用いて、フレームに含まれる音声信号のピッチ周波数ｐ（ｎ）を算出する。「ｎ」はフレーム番号を示す。第１検出部１５０ｂは、「D.Talkin,"A Robust Algorithm for Pitch Tracking (RAPT),"in Speech Coding & Synthesis,W.B. Kleijn and K. K. Pailwal (Eds.),Elsevier,pp.495－518,1995」に記載された技術を用いて、ピッチ周波数を算出してもよい。

【0042】

第１検出部１５０ｂが、音響特徴として「フレームパワー」を算出する処理の一例について説明する。たとえば、第１検出部１５０ｂは、式（１）に基づいて、所定長のフレームにおけるパワーＳ（ｎ）を算出する。式（１）において、「ｎ」はフレーム番号を示し、「Ｍ」は１フレームの時間長（たとえば、２０ｍｓ）を示し、「ｔ」は時間を示す。「Ｃ（ｔ）」は、時間ｔにおける音声信号を示す。なお、第１検出部１５０ｂは、所定の平滑化係数を用いて、時間平滑化したパワーを、フレームパワーとして算出してもよい。

【0043】

【数1】

【0044】

第１検出部１５０ｂが、音響特徴として「フォルマント周波数」を算出する処理の一例について説明する。第１検出部１５０ｂは、フレームに含まれる音声信号Ｃ（ｔ）に対して線形予測（Linear Prediction Coding）分析を行い、複数のピークを抽出することで、複数のフォルマント周波数を算出する。たとえば、第１検出部１５０ｂは、周波数の低い順に、第１フォルマント周波数：Ｆ１、第２フォルマント周波数：Ｆ２、第３フォルマント周波数：Ｆ３を算出する。第１検出部１５０ｂは、特開昭６２－５４２９７号公報に開示された技術を用いて、フォルマント周波数を算出してもよい。

【0045】

第１検出部１５０ｂが、音響特徴として「音声到来方向」を算出する処理の一例について説明する。第１検出部１５０ｂは、２つのマイクに収録された音声情報の位相差を基にして、音声到来方向を算出する。

【0046】

この場合、第１検出部１５０ｂは、マイク端末１０の複数のマイクによって収録された各音声情報から、音声区間をそれぞれ検出し、各音声区間の同一時間のフレームの音声情報を比較して、位相差を算出する。第１検出部１５０ｂは、特開２００８－１７５７３３号公報に開示された技術を用いて、音声到来方向を算出してもよい。

【0047】

第１検出部１５０ｂは、上記の音響解析処理を実行することで、音声情報の音声区間に含まれる各フレームの音響特徴をそれぞれ算出する。第１検出部１５０ｂは、音響特徴として、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向のうち、少なくとも一つを、音響特徴として用いてもよいし、複数の組み合わせを音響特徴として用いてもよい。以下の説明において、音声情報の音声区間に含まれる各フレームの音響特徴を「評価対象音響特徴」と表記する。

【0048】

続いて、第１検出部１５０ｂが実行する「類似性評価処理」の一例について説明する。第１検出部１５０ｂは、音声区間の各フレームの評価対象音響特徴と、学習音響特徴情報１４０ｂとを類似度を算出する。

【0049】

たとえば、第１検出部１５０ｂは、ピアソンの積率相関係数を類似度として算出してもよいし、ユークリッド距離を用いて、類似度を算出してもよい。

【0050】

第１検出部１５０ｂが、ピアソンの積率相関係数を類似度として算出する場合について説明する。ピアソンの積率相関係数ｃｏｒは、式（２）によって算出される。式（２）において、「Ｘ」は、学習音響特徴情報１４０ｂに含まれる発話者１Ａ（第１発話者）の音響特徴のピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向の値をそれぞれ要素とするベクトルである。「Ｙ」は、評価対象音響特徴のピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向の値をそれぞれ要素とするベクトルである。「ｉ」は、ベクトルの要素を示す番号である。第１検出部１５０ｂは、ピアソンの積率相関係数ｃｏｒが、閾値Ｔｈｃ以上となる評価対象音響特徴のフレームを、発話者１Ａの音声を含むフレームとして特定する。たとえば、閾値Ｔｈｃを「０．７」とする。閾値Ｔｈｃを適宜変更してもよい。

【0051】

【数2】

【0052】

第１検出部１５０ｂが、ユークリッド距離を用いて、類似度を算出する場合について説明する。ユークリッド距離ｄは、式（３）によって算出され、類似度Ｒは、式（４）によって算出される。式（３）において、ａ_１～ａ_ｉは、学習音響特徴情報１４０ｂに含まれる発話者１Ａ（第１発話者）の音響特徴のピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向の値に対応する。ｂ_１～ｂ_ｉは、評価対象音響特徴のピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向の値に対応する。第１検出部１５０ｂは、類似度Ｒが閾値Ｔｈｒ以上となる評価対象音響特徴のフレームを、発話者１Ａの音声を含むフレームとして特定する。たとえば、閾値Ｔｈｒを「０．７」とする。閾値Ｔｈｒを適宜変更してもよい。

【0053】

【数3】

【0054】

Ｒ＝１／（１＋ｄ）・・・（４）

【0055】

第１検出部１５０ｂは、類似度が閾値以上となる評価対象音響特徴のフレームを、発話者１Ａ（第１発話者）の音声を含むフレームとして特定する。第１検出部１５０ｂは、発話者１Ａの音声を含む一連のフレームの区間を、第１発話区間として検出する。

【0056】

第１検出部１５０ｂは、上記処理を繰り返し実行し、第１発話区間を検出する度に、第１発話区間の情報を、第２検出部１５０ｃに出力する。ｉ番目の第１発話区間の情報は、ｉ番目の第１発話区間の開始時刻Ｓ_ｉと、ｉ番目の第１発話区間の終了時刻Ｅ_ｉとを含む。

【0057】

また、第１検出部１５０ｂは、音声区間に含まれる各フレームと評価対象音響特徴とを対応付けた情報を、第２検出部１５０ｃに出力する。

【0058】

第２検出部１５０ｃは、第１発話区間の情報を基にして、第１発話区間外であって、第１発話区間から所定の時間範囲に含まれる音声情報の音響特徴を基にして、複数の発話者のうち、発話者１Ｂ（第２発話者）の第２発話区間を検出する処理部である。たとえば、第２検出部１５０ｃは、平均発話区間算出処理、探索範囲設定処理、分布算出処理、第２発話区間検出処理を実行する。

【0059】

まず、第２検出部１５０ｃが実行する「平均発話区間算出処理」について説明する。たとえば、第２検出部１５０ｃは、複数の第１発話区間の情報を取得し、式（５）を基にして、先の第１発話区間から次の第１発話区間までの平均的な時間間隔Ｄを算出する。式（５）において、Ｓ_ｉは、ｉ番目の第１発話区間の開始時刻を示す。Ｅ_ｉは、ｉ番目の第１発話区間の終了時刻を示す。

【0060】

【数4】

【0061】

続いて、第２検出部１５０ｃが実行する「探索範囲設定処理」について説明する。第２検出部１５０ｃは、ｉ番目の第１発話区間に対して、探索範囲Ｔ_ｉ－１，Ｔ_ｉ－２を設定する。探索範囲Ｔ_ｉ－１の開始時刻はＳ_ｉ－Ｄ、終了時刻はＳ_ｉである。探索範囲Ｔ_ｉ－２の開始時刻はＥ_ｉ、終了時刻はＥ_ｉ＋Ｄである。

【0062】

ここで、第２検出部１５０ｃは、第１発話区間の区間長を算出し、区間長の平均値と、区間長との比較結果に応じて、時間間隔Ｄを補正してもよい。第２検出部１５０ｃは、ｉ番目の第１発話区間の区間長Ｌ_ｉを、式（６）によって算出する。第２検出部１５０ｃは、区間長の平均値を、式（７）によって算出する。

【0063】

Ｌ_ｉ＝Ｅ_ｉ－Ｓ_ｉ・・・（６）

【0064】

【数5】

【0065】

第２検出部１５０ｃは、区間長Ｌ_ｉが、区間長の平均値よりも小さい場合には、時間間隔Ｄに補正係数α_１を乗算した値Ｄ１によって、探索範囲Ｔ_ｉ－１，Ｔ_ｉ－２を設定する。探索範囲Ｔ_ｉ－１の開始時刻はＳ_ｉ－Ｄ１、終了時刻はＳ_ｉである。探索範囲Ｔ_ｉ－２の開始時刻はＥ_ｉ、終了時刻はＥ_ｉ＋Ｄ１である。補正係数α_１の範囲を「１＜α_１＜２」とする。

【0066】

区間長Ｌ_ｉが、区間長の平均値よりも小さい場合には、発話者１Ｂの発話に対して、発話者１Ａが相槌していると推定される。このため、通常よりも発話者１Ｂが長く発話している可能性が高いため、第２検出部１５０ｃは、探索範囲を通常よりも大きくする。

【0067】

第２検出部１５０ｃは、区間長Ｌ_ｉが、区間長の平均値よりも大きい場合には、時間間隔Ｄに補正係数α_２を乗算した値Ｄ２によって、探索範囲Ｔ_ｉ－１，Ｔ_ｉ－２を設定する。探索範囲Ｔ_ｉ－１の開始時刻はＳ_ｉ－Ｄ２、終了時刻はＳ_ｉである。探索範囲Ｔ_ｉ－２の開始時刻はＥ_ｉ、終了時刻はＥ_ｉ＋Ｄ２である。補正係数α_２の範囲を「０＜α_２＜１」とする。

【0068】

区間長Ｌ_ｉが、区間長の平均値よりも大きい場合には、発話者１Ａの発話に対して、発話者１Ｂが相槌していると推定される。このため、通常よりも発話者１Ｂが短く発話している可能性が高いため、第２検出部１５０ｃは、探索範囲を通常よりも小さくする。

【0069】

続いて、第２検出部１５０ｃが実行する「分布算出処理」について説明する。第２検出部１５０ｃは、探索範囲設定処理によって設定した探索範囲に含まれる複数のフレームの評価対象音響特徴を集計して、探索範囲毎に、音響特徴の分布を生成する。

【0070】

図５は、音響特徴の分布の一例を示す図である。図５の縦軸は頻度に対応する軸であり、横軸は音響特徴に対応する軸である。第２検出部１５０ｃは、音響特徴と頻度との関係を基にして、最頻値Ｆに対応する音響特徴の最頻位置Ｐを特定する。第２検出部１５０ｃは、最頻位置Ｐを含む一定範囲Ｔ_Ｆの音響特徴を有するフレームを、発話者１Ｂの音声を含むフレームとして特定する。

【0071】

第２検出部１５０ｃは、探索範囲毎に、上記処理を繰り返し実行し、発話者１Ｂの音声を含む複数のフレームを特定する。

【0072】

続いて、第２検出部１５０ｃが実行する「第２発話区間検出処理」について説明する。第２検出部１５０ｃは、探索範囲毎に検出された、発話者１Ｂの音声を含む一連のフレームの区間を、第２発話区間として検出する。第２検出部１５０ｃは、各探索範囲に含まれる各第２発話区間の情報を、認識部１５０ｄに出力する。各第２発話区間の情報は、第２発話区間の開始時刻と、第２発話区間の終了時刻とを含む。

【0073】

認識部１５０ｄは、第２発話区間に含まれる音声情報を、音声バッファ１４０ａから取得し、音声認識を実行して、音声情報を文字列に変換する処理部である。認識部１５０ｄは、音声情報を文字列に変換する場合に、信頼度を合わせて算出してもよい。認識部１５０ｄは、変換した文字列の情報と、信頼度の情報とを、音声認識情報１４０ｃに登録する。

【0074】

認識部１５０ｄは、どのような技術を用いて、音声情報を文字列に変換してもよい。たとえば、認識部１５０ｄは、特開平４－２５５９００号公報に開示された技術を用いて、音声情報を文字列に変換する。

【0075】

次に、本実施例１に係る検出装置１００の処理手順の一例について説明する。図６は、本実施例１に係る検出装置の処理手順を示すフローチャートである。図６に示すように、検出装置１００の取得部１５０ａは、複数の発話者の音声を含む音声情報を取得し、音声バッファ１４０ａに格納する（ステップＳ１０１）。

【0076】

検出装置１００の第１検出部１５０ｂは、音声情報に含まれる音声区間を検出する（ステップＳ１０２）。第１検出部１５０ｂは、音声区間に含まれる各フレームから音響特徴（評価対象音響特徴）を算出する（ステップＳ１０３）。

【0077】

第１検出部１５０ｂは、各フレームの評価対象音響特徴と、学習音響特徴情報１４０ｂとを基にして、類似度をそれぞれ算出する（ステップＳ１０４）。第１検出部１５０ｂは、各フレームの類似度を基にして、第１発話区間を検出する（ステップＳ１０５）。

【0078】

検出装置１００の第２検出部１５０ｃは、複数の第１発話区間を基にして、時間間隔を算出する（ステップＳ１０６）。第２検出部１５０ｃは、算出した時間間隔と、第１発話区間の開始時刻および終了時刻とを基にして、探索範囲を設定する（ステップＳ１０７）。

【0079】

第２検出部１５０ｃは、探索範囲に含まれる各フレームの音響特徴の分布の最頻値を特定する（ステップＳ１０８）。第２検出部１５０ｃは、最頻値から一定範囲に含まれる音響特徴に対応する一連のフレームの区間を、第２発話区間として検出する（ステップＳ１０９）。

【0080】

検出装置１００の認識部１５０ｄは、第２発話区間の音声情報に対して音声認識を実行し、音声情報を文字列に変換する（ステップＳ１１０）。認識部１５０ｄは、音声認識結果となる音声認識情報１４０ｃを、記憶部１４０に格納する（ステップＳ１１１）。

【0081】

次に、本実施例１に係る検出装置１００の効果について説明する。検出装置１００は、第１発話者の学習音響特徴に基づいて、複数の話者の音声情報から、第１発話者の第１発話区間を検出し、第１発話区間外の探索範囲の音響特徴を基にして、第２発話者の第２発話区間を検出する。これによって、複数の発話者の音声を含む音声情報から、第２発話者の発話区間を精度よく検出することができる。

【0082】

検出装置１００は、学習音響特徴情報１４０ｂと、音声区間の各フレームの評価対象音響特徴との類似度を算出し、類似度が閾値以上となる一連のフレームの区間を、第１発話区間を検出する。これによって、予め学習した音響特徴の音声を発話する発話者１Ａの発話区間を検出することができる。

【0083】

検出装置１００は、第１発話区間を検出してから、次の第１発話区間を検出するまでの時間間隔の平均値を算出し、算出した平均値を基にして、探索範囲を設定する。これによって、ターゲットとなる発話者の音声情報を含む範囲を適切に設定することができる。

【0084】

検出装置１００は、複数の第１発話区間の平均値を算出しておき、第１発話区間が平均値より小さい場合には、探索範囲を広くし、第２発話区間が平均値よりも大きい場合には、探索範囲を狭くする。これによって、ターゲットとなる発話者の音声情報を含む範囲を適切に設定することができる。

【0085】

第１発話区間が、区間長の平均値よりも小さい場合には、ターゲットの発話者１Ｂの発話に対して、発話者１Ａが相槌していると推定される。このため、検出装置１００は、通常よりも発話者１Ｂが長く発話している可能性が高いため、探索範囲を通常よりも大きくすることで、発話者１Ｂの音声情報が、探索範囲外となることを抑止することができる。

【0086】

第１発話区間が、区間長の平均値よりも大きい場合には、発話者１Ａの発話に対して、ターゲットの発話者１Ｂが相槌していると推定される。このため、通常よりも発話者１Ｂが短く発話している可能性が高いため、探索範囲を通常よりも小さくすることで、発話者１Ｂの音声情報が含まれる可能性の低い範囲を、探索範囲に含めることを抑止できる。

【0087】

検出装置１００は、探索範囲に含まれる複数のフレームの評価対象音響特徴の最頻値を特定し、最頻値に近いフレームが含まれる区間を、第２発話区間として検出する。これによって、ターゲットとなる発話者１Ｂ以外の、周囲の人（たとえば、発話者１Ｃ）の声の雑音を効率よく除外することができる。

【実施例2】

【0088】

次に、本実施例２に係る検出装置について説明する。本実施例２に係るシステムは、実施例１の図３で説明したシステムと同様にして、マイク端末１０に無線によって接続されているものとする。本実施例２においても、マイク端末１０は、発話者１Ａに取り付けられる。発話者１Ａは、顧客に接客を行う店員に対応する。発話者１Ｂは、発話者１Ａから接客を受ける顧客に対応する。発話者１Ａ，１Ｂの周りには、発話者１Ａが接客を行っていない発話者１Ｃが存在しているものとする。

【0089】

本実施例２に係る検出装置は、マイク端末１０から音声情報を取得すると、学習音響特徴を基にして、第１発話者の第１発話区間を検出する。検出装置は、第１発話区間を検出する度に、第１発話区間に含まれる音響特徴に基づいて、学習音響特徴を更新する。

【0090】

また、本実施例２に係る検出装置は、探索範囲の音響特徴を基にして、第２発話区間を検出する場合に、次の処理を実行する。検出装置は、探索範囲の各フレームの評価対象音響特徴と、学習音響特徴との類似度の最頻値を算出し、算出した最頻値に応じた閾値によって、第２発話区間を検出する。

【0091】

図７～図９は、本実施例２に係る検出装置の処理を説明するための図である。図７および図８の縦軸は、頻度に対応する軸である。横軸は、学習音響特徴と評価対象音響特徴との類似度に対応する軸である。以下の説明では適宜、学習音響特徴と評価対象音響特徴との類似度を、「音響特徴の類似度」と表記する。

【0092】

たとえば、ターゲットとなる発話者１Ｂの音声が大きい場合には、頻度と音響特徴の類似度との関係は、図７に示すものとなり、類似度の最頻値は「Ｆ_１」となる。ターゲットとなる発話者１Ｂの音声が大きい場合には、発話者１Ｂの音声の固有の音響特徴が多く残っていることを意味する。

【0093】

一方、発話者１Ｂの声が小さい場合には、頻度と音響特徴の類似度との関係は、図８に示すものとなり、類似度の最頻値は「Ｆ_２」となる。ターゲットとなる発話者１Ｂの音声が小さい場合には、発話者１Ｂの音声が背景雑音（発話者１Ｃの音声等）に埋もれ、発話者１Ｂの固有の音響特徴が一部失われてしまう。

【0094】

図９において、類似度の最頻値とＳＮＲ閾値との関係を示す。図９の縦軸は、ＳＮＲ閾値に対応する軸であり、横軸は、類似度の最頻値に対応する軸である。図９に示すように、類似度の最頻値が大きくなるほど、ＳＮＲ閾値が小さくなる。

【0095】

たとえば、図７で説明したように、ターゲットとなる発話者１Ｂの音声が大きい場合には、類似度の最頻値Ｆ_１は小さくなる。検出装置は、大きめのＳＮＲ閾値を設定し、探索範囲の各フレームのうち、ＳＮＲが、大きめのＳＮＲ閾値以上となるフレームの区間を、第２発話区間として検出する。

【0096】

図８で説明したように、ターゲットとなる発話者１Ｂの小さい場合には、類似度の最頻値Ｆ_２は小さくなる。検出装置は、小さめのＳＮＲ閾値を設定し、探索範囲の各フレームのうち、ＳＮＲが、小さめのＳＮＲ閾値以上となるフレームの区間を、第２発話区間として検出する。

【0097】

上記のように、本実施例２に係る検出装置は、第１発話区間を検出する度に、第１発話区間に含まれる音響特徴に基づいて、学習音響特徴を更新する。これによって、学習音響特徴を、最新の状態に保つことができ、第１発話区間の検出精度を向上させることができる。

【0098】

また、検出装置は、探索範囲の各フレームの評価対象音響特徴と、学習音響特徴との類似度の最頻値を算出し、算出した最頻値に応じたＳＮＲ閾値によって、第２発話区間を検出する。これによって、ターゲットとなる第２発話者の音声の大きさに対して最適なＳＮＲ閾値を設定することができ、第２発話区間の検出精度を向上させることができる。

【0099】

図１０は、本実施例２に係る検出装置の構成を示す機能ブロック図である。図１０に示すように、この検出装置２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

【0100】

通信部２１０は、無線によって、マイク端末１０とデータ通信を実行する処理部である。通信部２１０は、通信装置の一例である。通信部２１０は、マイク端末１０から音声情報を受信し、受信した音声情報を、制御部２５０に出力する。なお、検出装置２００は、有線によって、マイク端末１０に接続してもよい。検出装置２００は、通信部２１０によってネットワークに接続し、外部装置（図示略）とデータを送受信してもよい。

【0101】

入力部２２０は、検出装置２００に各種の情報を入力するための入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。

【0102】

表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。表示部２３０は、液晶ディスプレイやタッチパネル等に対応する。

【0103】

記憶部２４０は、音声バッファ２４０ａと、学習音響特徴情報２４０ｂと、音声認識情報２４０ｃと、閾値テーブル２４０ｄとを有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0104】

音声バッファ２４０ａは、マイク端末１０から送信される音声情報を格納するバッファである。音声情報では、音声信号と時刻とが対応付けられる。

【0105】

学習音響特徴情報２４０ｂは、予め学習される発話者１Ａ（第１発話者）の音声の音響特徴の情報である。音響特徴には、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向、ＳＮＲ等が含まれる。たとえば、学習音響特徴情報２４０ｂは、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向の値をそれぞれ要素とするベクトルである。

【0106】

図１１は、本実施例２に係る学習音響特徴情報のデータ構造の一例を示す図である。図１１に示すように、学習音響特徴情報２４０ｂは、発話番号と、音響特徴とを対応付ける。発話番号は、発話者１Ａが発話した第１発話区間の音響特徴を識別する番号である。音響特徴は、第１発話区間の音響特徴である。

【0107】

音声認識情報２４０ｃは、発話者１Ｂの第２発話区間の音声情報を文字列に変換した情報である。

【0108】

閾値テーブル２４０ｄは、音響特徴の類似度と、ＳＮＲ閾値との関係を定義するテーブルである。閾値テーブル２４０ｄで定義する音響特徴の類似度と、ＳＮＲ閾値との関係は、図９に示したグラフに対応する。

【0109】

制御部２５０は、取得部２５０ａと、第１検出部２５０ｂと、更新部２５０ｃと、第２検出部２５０ｄと、認識部２５０ｅとを有する。制御部２５０は、ＣＰＵやＭＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。

【0110】

取得部２５０ａは、通信部２１０を介して、マイク端末１０から音声情報を取得する処理部である。取得部２５０ａは、音声情報を順次、音声バッファ２４０ａに格納する。

【0111】

第１検出部２５０ｂは、音声バッファ２４０ａから音声情報を取得し、学習音響特徴情報２４０ｂを基にして、発話者１Ａ（第１発話者）の第１発話区間を検出する処理部である。第１検出部２５０ｂは、音声区間検出処理、音響解析処理、類似性評価処理を行う。第１検出部２５０ｂが実行する、音声区間検出処理、類似性評価処理は、実施例１で説明した第１検出部１５０ｂの処理と同様である。

【0112】

第１検出部２５０ｂは、音響特徴として、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向、ＳＮＲを算出する。第１検出部２５０ｂが、ピッチ周波数、フレームパワー、フォルマント周波数、音声到来方向を算出する処理は、実施例１で説明した第１検出部１５０ｂの処理と同様である。

【0113】

第１検出部２５０ｂが、音響特徴として「ＳＮＲ」を算出する処理の一例について説明する。第１検出部２５０ｂは、入力音声情報を複数のフレームに区切り、各フレームについて、パワーＳ（ｎ）を算出する。第１検出部２５０ｂは、式（１）を基にして、パワーＳ（ｎ）を算出する。第１検出部２５０ｂは、パワーＳ（ｎ）に基づいて発話区間の有無を判定する。

【0114】

第１検出部２５０ｂは、パワーＳ（ｎ）が閾値ＴＨ１よりも大きい場合、フレーム番号ｎのフレームに発話が含まれていると判定し、ｖ（ｎ）＝１に設定する。一方、第１検出部２５０ｂは、パワーＳ（ｎ）が閾値ＴＨ１以下となる場合、フレーム番号ｎのフレームに発話が含まれていないと判定し、ｖ（ｎ）＝０に設定する。

【0115】

第１検出部２５０ｂは、発話区間の判定結果ｖ１（ｎ）に応じて、雑音レベルＮを更新する。第１検出部２５０ｂは「ｖ（ｎ）＝１」となる場合、式（８）を基にして、雑音レベルＮ（ｎ）を更新する。一方、第１検出部２５０ｂは「ｖ（ｎ）＝０」となる場合、式（９）を基にして、雑音レベルＮ（ｎ）を更新する。なお、下記の式（８）における「ｃｏｅｆ」は、忘却係数を指し、例えば、０．９などの値が採用される。

【0116】

Ｎ（ｎ）＝Ｎ（ｎ－１）＊ｃｏｅｆ＋Ｓ（ｎ）＊（１－ｃｏｅｆ）・・・（８）
Ｎ（ｎ）＝Ｎ（ｎ－１）・・・（９）

【0117】

第１検出部２５０ｂは、式（１０）を基にして、ＳＮＲ（ｎ）を算出する。

【0118】

ＳＮＲ（ｎ）＝Ｓ（ｎ）－Ｎ（ｎ）・・・（１０）

【0119】

第１検出部２５０ｂは、検出した第１発話区間の情報を、更新部２５０ｃおよび第２検出部２５０ｄに出力する。ｉ番目の第１発話区間の情報は、ｉ番目の第１発話区間の開始時刻Ｓ_ｉと、ｉ番目の第１発話区間の終了時刻Ｅ_ｉとを含む。

【0120】

また、第１検出部２５０ｂは、第１発話区間に含まれる各フレームと評価対象音響特徴とを対応付けた情報を、更新部２５０ｃに出力する。第１検出部２５０ｂは、音声区間に含まれる各フレームと評価対象音響特徴とを対応付けた情報を、第２検出部２５０ｄに出力する。

【0121】

更新部２５０ｃは、第１発話区間に含まれる各フレームの評価対象音響特徴を基にして、学習音響特徴情報２４０ｂを更新する処理部である。更新部２５０ｃは、第１発話区間に含まれる各フレームの評価対象音響特徴の代表値を算出する。たとえば、更新部２５０ｃは、第１発話区間に含まれる各フレームの評価対象音響特徴の平均値または中央値を、第１発話区間の代表値として算出する。

【0122】

更新部２５０ｃは、学習音響特徴情報２４０ｂの各レコードの数が、Ｎ個未満の場合には、学習音響特徴情報２４０ｂに、第１発話区間の代表値を登録する。更新部２５０ｃは、Ｎ個未満の場合には、第１検出部２５０ｂから、第１発話区間に含まれる各フレームの評価対象音響特徴を取得する度に、上記処理を繰り返し実行し、第１発話区間の代表値（音響特徴）を、先頭から順に登録する。

【0123】

更新部２５０ｃは、学習音響特徴情報２４０ｂの各レコードの数が、Ｎ個以上の場合には、学習音響特徴情報２４０ｂの先頭のレコードを削除し、新たな第１発話区間の代表値（音響特徴）を、学習音響特徴情報２４０ｂの最後尾に登録する。更新部２５０ｃは、上記処理を実行することで、学習音響特徴情報２４０ｂの各レコードの数をＮ個に保つ。

【0124】

更新部２５０ｃは、学習音響特徴情報２４０ｂを更新した場合には、式（１１）に基づいて、学習音響特徴の学習値を算出する。更新部２５０ｃは、学習音響特徴の学習値を、第２検出部２５０ｄに出力する。式（１１）に含まれるＡ_ｔは、発話番号ｔの音響特徴を示す。Ｍは、音響特徴の次元数（要素数）を示す。Ｎの値を５０とする。

【0125】

【数6】

【0126】

第２検出部２５０ｄは、第１発話区間の情報を基にして、第１発話区間外であって、第１発話区間から所定の時間範囲に含まれる音声情報の音響特徴を基にして、複数の発話者のうち、発話者１Ｂ（第２発話者）の第２発話区間を検出する処理部である。たとえば、第２検出部１５０ｃは、平均発話区間算出処理、探索範囲設定処理、分布算出処理、第２発話区間検出処理を実行する。

【0127】

第２検出部２５０ｄが実行する平均発話区間算出処理、探索範囲設定処理は、実施例１で説明した第２検出部２５０ｄと同様である。

【0128】

第２検出部２５０ｄが実行する「分布算出処理」について説明する。第２検出部２５０ｄは、探索範囲設定処理によって設定した探索範囲に含まれる複数のフレームの評価対象音響特徴と、更新部２５０ｃから取得する学習値（学習音響特徴）との類似度を算出する。たとえば、第２検出部２５０ｄは、ピアソンの積率相関係数を類似度として算出してもよいし、ユークリッド距離を用いて類似度を算出してもよい。

【0129】

第２検出部２５０ｄは、探索範囲に含まれる複数のフレームの評価対象音響特徴と、更新部２５０ｃから取得する学習値（学習音響特徴）との類似度の分布から、分布の最頻値を特定する。たとえば、音響特徴の類似度の分布が、図７に示す分布となる場合には、最頻値は最頻値Ｆ_１となる。音響特徴の類似度の分布が、図８に示す分布となる場合には、最頻値は最頻値Ｆ_２となる。

【0130】

第２検出部２５０ｄは、特定した最頻値と、閾値テーブル２４０ｄとを比較して、最頻値に対応するＳＮＲ閾値を特定する。

【0131】

第２検出部２５０ｄが実行する「第２発話区間検出処理」について説明する。第２検出部２５０ｄは、探索範囲に含まれる各フレームのＳＮＲと、ＳＮＲ閾値とを比較し、ＳＮＲ閾値以上のＳＮＲとなるフレームの区間を、第２発話区間として検出する。第２検出部２５０ｄは、各探索範囲に含まれる各第２発話区間の情報を、認識部２５０ｅに出力する。各第２発話区間の情報は、第２発話区間の開始時刻と、第２発話区間の終了時刻Ｅとを含む。

【0132】

認識部２５０ｅは、第２発話区間に含まれる音声情報を、音声バッファ２４０ａから取得し、音声認識を実行して、音声情報を文字列に変換する処理部である。認識部２５０ｅは、音声情報を文字列に変換する場合に、信頼度を合わせて算出してもよい。認識部２５０ｅは、変換した文字列の情報と、信頼度の情報とを、音声認識情報２４０ｃに登録する。

【0133】

次に、本実施例２に係る検出装置２００の処理手順の一例について説明する。図１２は、本実施例２に係る検出装置の処理手順を示すフローチャートである。図１２に示すように、検出装置２００の取得部２５０ａは、複数の発話者の音声を含む音声情報を取得し、音声バッファ２４０ａに格納する（ステップＳ２０１）。

【0134】

検出装置２００の第１検出部２５０ｂは、音声情報に含まれる音声区間を検出する（ステップＳ２０２）。第１検出部２５０ｂは、音声区間に含まれる各フレームから音響特徴（評価対象音響特徴）を算出する（ステップＳ２０３）。

【0135】

第１検出部２５０ｂは、各フレームの評価対象音響特徴と、学習音響特徴情報２４０ｂとを基にして、類似度をそれぞれ算出する（ステップＳ２０４）。第１検出部２５０ｂは、各フレームの類似度を基にして、第１発話区間を検出する（ステップＳ２０５）。

【0136】

検出装置２００の更新部２５０ｃは、第１発話区間の音響特徴によって、学習音響特徴情報２４０ｂを更新する（ステップＳ２０６）。更新部２５０ｃは、学習音響特徴情報２４０ｂの学習値を更新する（ステップＳ２０７）。

【0137】

第２検出部２５０ｄは、複数の第１発話区間を基にして、時間間隔を算出する（ステップＳ２０８）。第２検出部２５０ｄは、算出した時間間隔と、第１発話区間の開始時刻および終了時刻とを基にして、探索範囲を決定する（ステップＳ２０９）。

【0138】

第２検出部２５０ｄは、探索範囲に含まれる各フレームの音響特徴と学習値（学習音響特徴）との類似度の分布から最頻値を特定する（ステップＳ２１０）。第２検出部２５０ｄは、閾値テーブル２４０ｄを基にして最頻値に対応するＳＮＲ閾値を特定する（ステップＳ２１１）。

【0139】

第２検出部２５０ｄは、ＳＮＲがＳＮＲ閾値以上となる一連のフレームの区間を、第２発話区間として検出する（ステップＳ２１２）。検出装置２００の認識部２５０ｅは、第２発話区間の音声情報に対して音声認識を実行し、音声情報を文字列に変換する（ステップＳ２１３）。認識部２５０ｅは、音声認識結果となる音声認識情報２４０ｃを、記憶部２４０に格納する（ステップＳ２１４）。

【0140】

次に、本実施例２に係る検出装置２００の効果について説明する。検出装置２００は、学習音響特徴情報２４０ｂを用いて、第１発話区間を検出する度に、第１発話区間に含まれる音響特徴に基づいて、学習音響特徴情報２４０ｂを更新する。これによって、学習音響特徴を、最新の状態に保つことができ、第１発話区間の検出精度を向上させることができる。

【0141】

また、検出装置２００は、探索範囲の各フレームの評価対象音響特徴と、学習音響特徴との類似度の最頻値を算出し、算出した最頻値に応じたＳＮＲ閾値によって、第２発話区間を検出する。これによって、ターゲットとなる第２発話者の音声の大きさに対して最適なＳＮＲ閾値を設定することができ、第２発話区間の検出精度を向上させることができる。

【0142】

ところで、本実施例２に係る検出装置２００は、最頻値を特定した後に、閾値テーブル２４０ｄを基にして、ＳＮＲ閾値を特定し、ＳＮＲ閾値を用いて、第２発話区間として検出していたが、これに限定されるものではない。

【0143】

図１３は、検出装置のその他の処理を説明するための図である。検出装置２００の第２検出部２５０ｄは、探索範囲に含まれる複数のフレームの評価対象音響特徴と、更新部２５０ｃから取得する学習値（学習音響特徴）との類似度の分布から、分布の最頻値Ｆ_１を特定する。

【0144】

ここで、第２検出部２５０ｄは、最頻値Ｆ_１を基準とする範囲Ｔ_ＦＡを設定する。第２検出部２５０ｄは、探索範囲に含まれる複数のフレームのうち、音響特徴の類似度が範囲Ｔ_ＦＡに含まれる一連のフレームの区間を、第２発話区間として検出する。第２検出部２５０ｄが、かかる処理を実行することで、閾値テーブル２４０ｄを用いなくても、発話者１Ｂの第２発話区間を精度よく検出することができる。

【実施例3】

【0145】

次に、本実施例３に係るシステムの構成について説明する。図１４は、本実施例３に係るシステムの一例を示す図である。図１４に示すように、このシステムは、マイク端末１５ａと、カメラ１５ｂと、中継装置５０と、検出装置３００と、音声認識装置４００とを有する。

【0146】

マイク端末１５ａおよびカメラ１５ｂは、中継装置５０に接続される。中継装置５０は、ネットワーク６０を介して、検出装置３００に接続される。検出装置３００は、音声認識装置４００に接続される。マイク端末１５ａの近くでは、発話者２Ａが発話者２Ｂに接客を行っているものとする。たとえば、発話者２Ａを店員、発話者２Ｂを顧客とする。発話者２Ａは、第１発話者の一例である。発話者２Ｂは、第２発話者の一例である。発話者２Ａ，２Ｂの周辺には、他の発話者（図示略）が存在していてもよい。

【0147】

マイク端末１５ａは、音声を収録する装置である。マイク端末１５ａは、音声情報を中継装置５０に出力する。音声情報には、発話者２Ａ，２Ｂ、他の発話者の音声の情報が含まれる。マイク端末１５ａは、複数のマイクを備えていてもよい。マイク端末１５ａは、複数のマイクを備えている場合、各マイクで集音した音声情報を、中継装置５０に出力する。

【0148】

カメラ１５ｂは、発話者２Ａの顔の映像を撮影するカメラである。カメラ１５ｂの撮影方向は予め設定されているものとする。カメラ１５ｂは、発話者２Ａの顔の映像情報を、中継装置５０に出力する。映像情報は、複数の画像情報（静止画像）を時系列に含む情報である。

【0149】

中継装置５０は、マイク端末１５ａから取得する音声情報を、ネットワーク６０を介して、検出装置３００に送信する。中継装置５０は、カメラ１５ｂから取得する映像情報を、ネットワーク６０を介して、検出装置３００に送信する。

【0150】

検出装置３００は、中継装置５０から、音声情報と、映像情報とを受信する。検出装置３００は、音声情報から、発話者２Ａの第１発話区間を検出する場合に、映像情報を用いる。検出装置３００は、音声情報から複数の音声区間を検出し、検出した複数の音声区間に対応する時間帯の映像情報を解析し、発話者２Ａの発声器官（口）が動いているか否かを判定する。検出装置３００は、発話者２Ａの口が動いている時間帯の音声区間を、第１発話区間として特定する。

【0151】

音声情報に含まれる複数の音声区間のうち、発話者２Ａの口が動いている時間帯の音声区間は、発話者２Ａが発話している第１発話区間であるといえる。すなわち、カメラ１５ｂに撮影される、発話者２Ａの映像情報を用いることで、第１発話区間をより精度よく検出することができる。

【0152】

検出装置３００は、実施例１の検出装置１００と同様にして、第１発話区間を基準とした探索範囲を設定し、探索範囲の評価対象音響特徴を基にして、第２発話者の第２発話区間を検出する。検出装置３００は、第１発話区間の音声情報と、第２発話区間の音声情報を、音声認識装置４００に送信する。

【0153】

音声認識装置４００は、検出装置３００から、第１発話区間の音声情報と、第２発話区間の音声情報を受信する。音声認識装置４００は、第１発話区間の音声情報を文字列に変換し、店員の接客時の文字情報として、記憶部に格納する。音声認識装置４００は、第２発話区間の音声情報を文字列に変換し、顧客の接客時の文字情報として、記憶部に格納する。

【0154】

次に、本実施例３に係る検出装置３００の構成について説明する。図１５は、本実施例３に係る検出装置の構成を示す機能ブロック図である。図１５に示すように、この検出装置３００は、通信部３１０と、入力部３２０と、表示部３３０と、記憶部３４０と、制御部３５０とを有する。

【0155】

通信部３１０は、中継装置５０および音声認識装置４００とデータ通信を実行する処理部である。通信部３１０は、通信装置の一例である。通信部３１０は、中継装置５０から音声情報および映像情報を受信し、受信した音声情報および映像情報を、制御部３５０に出力する。通信部３１０は、制御部３５０から取得する情報を、音声認識装置４００に送信する。

【0156】

入力部３２０は、検出装置３００に各種の情報を入力するための入力装置である。入力部３２０は、キーボードやマウス、タッチパネル等に対応する。

【0157】

表示部３３０は、制御部３５０から出力される情報を表示する表示装置である。表示部３３０は、液晶ディスプレイやタッチパネル等に対応する。

【0158】

記憶部３４０は、音声バッファ３４０ａと、映像バッファ３４０ｂとを有する。記憶部３４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0159】

音声バッファ３４０ａは、中継装置５０から送信される音声情報を格納するバッファである。音声情報では、音声信号と時刻とが対応付けられる。

【0160】

映像バッファ３４０ｂは、中継装置５０から送信される映像情報を格納するバッファである。映像情報は、複数の画像情報を含み、各画像情報は時刻に対応付けられる。

【0161】

制御部３５０は、取得部３５０ａと、第１検出部３５０ｂと、第２検出部３５０ｃと、送信部３５０ｄとを有する。制御部３５０は、ＣＰＵやＭＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。

【0162】

取得部３５０ａは、通信部３１０を介して、中継装置５０から音声情報および映像情報を取得する処理部である。取得部３５０ａは、音声情報を、音声バッファ３４０ａに格納する。取得部３５０ａは、映像情報を、映像バッファ３４０ｂに格納する。

【0163】

第１検出部３５０ｂは、音声情報と映像情報とを基にして、発話者２Ａ（第１発話者）の第１発話区間を検出する処理部である。第１検出部３５０ｂは、音声区間検出処理、音響解析処理、検出処理を行う。第１検出部３５０ｂが実行する、音声区間検出処理、音響解析処理は、実施例１で説明した第１検出部１５０ｂの処理と同様である。

【0164】

第１検出部３５０ｂが実行する「検出処理」の一例について説明する。第１検出部３５０ｂは、音声区間検出処理において検出した各音声区間に撮影された映像情報を、映像バッファ３４０ｂから取得する。例えば、ｉ番目の音声区間の開始時刻をｓ_ｉ、終了時刻をｅ_ｉとすると、ｉ番目の音声区間に対応する映像情報は、時刻ｓ_ｉ～ｅ_ｉの映像情報となる。

【0165】

第１検出部３５０ｂは、時刻ｓ_ｉ～ｅ_ｉの映像情報に含まれる一連の画像情報から、口の領域を検出し、唇が上下に動いているか否かを判定する。第１検出部３５０ｂは、時刻ｓ_ｉ～ｅ_ｉにおいて、唇が上下に動いている場合には、ｉ番目の音声区間を、第１発話区間として検出する。複数の画像情報から口の領域を検出し、唇の動きを検出する処理は、どのような技術も用いてもよい。

【0166】

第１検出部３５０ｂは、上記処理を繰り返し実行し、第１発話区間を検出する度に、第１発話区間の情報を、第２検出部３５０ｃおよび送信部３５０ｄに出力する。ｉ番目の第１発話区間の情報は、ｉ番目の第１発話区間の開始時刻Ｓ_ｉと、ｉ番目の第１発話区間の終了時刻Ｅ_ｉとを含む。

【0167】

また、第１検出部３５０ｂは、音声区間に含まれる各フレームと評価対象音響特徴とを対応付けた情報を、第２検出部３５０ｃに出力する。

【0168】

第２検出部３５０ｃは、第１発話区間の情報を基にして、第１発話区間外であって、第１発話区間から所定の時間範囲に含まれる音声情報の音響特徴を基にして、複数の発話者のうち、発話者２Ｂ（第２発話者）の第２発話区間を検出する処理部である。第２検出部３５０ｃの処理は、実施例１で説明した第２検出部１５０ｃの処理と同様である。

【0169】

第２検出部３５０ｃは、各第２発話区間の情報を、送信部３５０ｄに出力する。各第２発話区間の情報は、第２発話区間の開始時刻と、第２発話区間の終了時刻とを含む。

【0170】

送信部３５０ｄは、各第１発話区間の情報を基にして、各第１発話区間に含まれる音声情報を、音声バッファ３４０ａから取得し、各第１発話区間の音声情報を、音声認識装置４００に送信する。送信部３５０ｄは、各第２発話区間の情報を基にして、各第２発話区間に含まれる音声情報を、音声バッファ３４０ａから取得し、各第２発話区間の音声情報を、音声認識装置４００に送信する。以下の説明では、各第１発話区間の音声情報を、「店員音声情報」と表記する。各第２発話区間の音声情報を、「顧客音声情報」と表記する。

【0171】

次に、音声認識装置４００の構成について説明する。図１６は、本実施例３に係る音声認識装置の構成を示す機能ブロック図である。図１６に示すように、音声認識装置４００は、通信部４１０と、入力部４２０と、表示部４３０と、記憶部４４０と、制御部４５０とを有する。

【0172】

通信部４１０は、検出装置３００とデータ通信を実行する処理部である。通信部４１０は、通信装置の一例である。通信部４１０は、検出装置３００から、店員音声情報および顧客音声情報を受信する。通信部４１０は、店員音声情報および顧客音声情報を、制御部４５０に出力する。

【0173】

入力部４２０は、音声認識装置４００に各種の情報を入力するための入力装置である。入力部４２０は、キーボードやマウス、タッチパネル等に対応する。

【0174】

表示部４３０は、制御部１５０から出力される情報を表示する表示装置である。表示部４３０は、液晶ディスプレイやタッチパネル等に対応する。

【0175】

記憶部４４０は、店員音声バッファ４４０ａと、顧客音声バッファ４４０ｂと、店員音声認識情報４４０ｃと、顧客音声認識情報４４０ｄとを有する。記憶部４４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0176】

店員音声バッファ４４０ａは、店員音声情報を格納するバッファである。

【0177】

顧客音声バッファ４４０ｂは、顧客音声情報を格納するバッファである。

【0178】

店員音声認識情報４４０ｃは、発話者２Ａの第１発話区間の店員音声情報を文字列に変換した情報である。

【0179】

店員音声認識情報４４０ｃは、発話者２Ｂの第２発話区間の顧客音声情報を文字列に変換した情報である。

【0180】

制御部４５０は、取得部４５０ａと、認識部４５０ｂとを有する。制御部４５０は、ＣＰＵやＭＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。

【0181】

取得部４５０ａは、通信部４１０を介して、検出装置３００から店員音声情報および顧客音声情報を取得する処理部である。取得部４５０ａは、店員音声情報を、店員音声バッファ４４０ａに格納する。取得部４５０ａは、顧客音声情報を、顧客音声バッファ４４０ｂに格納する。

【0182】

認識部４５０ｂは、店員音声バッファ４４０ａに格納された店員音声情報を取得し、音声認識を実行して、店員音声情報を文字列に変換する。認識部４５０ｂは、変換した文字列の情報を、店員音声認識情報４４０ｃとして、記憶部４４０に格納する。

【0183】

認識部４５０ｂは、顧客音声バッファ４４０ｂに格納された顧客音声情報を取得し、音声認識を実行して、顧客音声情報を文字列に変換する。認識部４５０ｂは、変換した文字列の情報を、顧客音声認識情報４４０ｄとして、記憶部４４０に格納する。

【0184】

次に、本実施例３に係る検出装置３００の処理手順の一例について説明する。図１７は、本実施例３に係る検出装置の処理手順を示すフローチャートである。図１７に示すように、検出装置３００の取得部３５０ａは、複数の発話者の音声を含む音声情報を取得し、音声バッファ３４０ａに格納する（ステップＳ３０１）。

【0185】

検出装置３００の第１検出部３５０ｂは、音声情報に含まれる音声区間を検出する（ステップＳ３０２）。第１検出部３５０ｂは、音声区間に含まれる各フレームから音響特徴（評価対象音響特徴）を算出する（ステップＳ３０３）。

【0186】

第１検出部３５０ｂは、音声区間に対応する映像情報を基にして、第１発話区間を検出する（ステップＳ３０４）。検出装置３００の第２検出部３５０ｃは、複数の第１発話区間を基にして、時間間隔を算出する（ステップＳ３０５）。第２検出部３５０ｃは、算出した時間間隔と、第１発話区間の開始時刻および終了時刻とを基にして、探索範囲を設定する（ステップＳ３０６）。

【0187】

第２検出部３５０ｃは、探索範囲に含まれる各フレームの音響特徴の分布の最頻値を特定する（ステップＳ３０７）。第２検出部３５０ｃは、最頻値から一定範囲に含まれる音響特徴に対応する一連のフレームの区間を、第２発話区間として検出する（ステップＳ３０８）。

【0188】

検出装置３００の送信部３５０ｄは、店員音声情報および顧客音声情報を、音声認識装置４００に送信する（ステップＳ３０９）。

【0189】

次に、本実施例３に係る検出装置３００の効果について説明する。検出装置３００は、音声情報から複数の音声区間を検出し、検出した複数の音声区間に対応する時間帯の映像情報を解析し、発話者２Ａの発声器官（口）が動いているか否かを判定する。検出装置３００は、発話者２Ａの口が動いている音声区間を、第１発話区間として特定する。

【0190】

音声情報に含まれる複数の音声区間のうち、発話者２Ａの口が動いている時間帯の音声区間は、発話者２Ａが発話している第１発話区間であるといえる。すなわち、カメラ１５ｂに撮影される、発話者２Ａの映像情報を用いることで、第１発話区間をより精度よく検出することができる。

【実施例4】

【0191】

次に、本実施例４に係るシステムの構成について説明する。図１８は、本実施例４に係るシステムの一例を示す図である。図１８に示すように、このシステムは、マイク端末１６ａと、接触型振動センサ１６ｂと、中継装置５５と、検出装置５００と、音声認識装置４００とを有する。

【0192】

マイク端末１６ａおよび接触型振動センサ１６ｂは、中継装置５５に接続される。中継装置５５は、ネットワーク６０を介して、検出装置５００に接続される。検出装置５００は、音声認識装置４００に接続される。マイク端末１６ａの近くでは、発話者２Ａが発話者２Ｂに接客を行っているものとする。たとえば、発話者２Ａを店員、発話者２Ｂを顧客とする。発話者２Ａは、第１発話者の一例である。発話者２Ｂは、第２発話者の一例である。発話者２Ａ，２Ｂの周辺には、他の発話者（図示略）が存在していてもよい。

【0193】

マイク端末１６ａは、音声を収録する装置である。マイク端末１６ａは、音声情報を中継装置５５に出力する。音声情報には、発話者２Ａ，２Ｂ、他の発話者の音声の情報が含まれる。マイク端末１６ａは、複数のマイクを備えていてもよい。マイク端末１６ａは、複数のマイクを備えている場合、各マイクで集音した音声情報を、中継装置５５に出力する。

【0194】

接触型振動センサ１６ｂは、発話者２Ａの発声器官の振動情報を検出するセンサである。たとえば、接触型振動センサ１６ｂは、発話者２Ａの喉付近あるいは頭部等に装着される。接触型振動センサ１６ｂは、振動情報を、中継装置５５に出力する。

【0195】

中継装置５５は、マイク端末１６ａから取得する音声情報を、ネットワーク６０を介して、検出装置５００に送信する。中継装置５５は、接触型振動センサ１６ｂから取得する振動情報を、ネットワーク６０を介して、検出装置５００に送信する。

【0196】

検出装置５００は、中継装置５５から、音声情報と、振動情報とを受信する。検出装置５００は、音声情報から、発話者２Ａの第１発話区間を検出する場合に、振動情報を用いる。検出装置５００は、音声情報から複数の音声区間を検出し、検出した複数の音声区間に対応する時間帯の振動情報を解析し、発話者２Ａの発声器官（喉等）が振動しているか否かを判定する。検出装置５００は、発話者２Ａの発声器官が振動している時間帯の音声区間を、第１発話区間として特定する。

【0197】

音声情報に含まれる複数の音声区間のうち、発話者２Ａの発声器官が振動している時間帯の音声区間は、発話者２Ａが発話している第１発話区間であるといえる。すなわち、接触型振動センサ１６ｂに測定される、発話者２Ａの振動情報を用いることで、第１発話区間をより精度よく検出することができる。

【0198】

検出装置５００は、実施例１の検出装置１００と同様にして、第１発話区間を基準とした探索範囲を設定し、探索範囲の評価対象音響特徴を基にして、第２発話者の第２発話区間を検出する。検出装置５００は、第１発話区間の音声情報と、第２発話区間の音声情報を、音声認識装置４００に送信する。

【0199】

音声認識装置４００は、検出装置５００から、第１発話区間の音声情報と、第２発話区間の音声情報を受信する。音声認識装置４００は、第１発話区間の音声情報を文字列に変換し、店員の接客時の文字情報として、記憶部に格納する。音声認識装置４００は、第２発話区間の音声情報を文字列に変換し、顧客の接客時の文字情報として、記憶部に格納する。

【0200】

次に、本実施例４に係る検出装置５００の構成について説明する。図１９は、本実施例４に係る検出装置の構成を示す機能ブロック図である。図１９に示すように、この検出装置５００は、通信部５１０と、入力部５２０と、表示部５３０と、記憶部５４０と、制御部５５０とを有する。

【0201】

通信部５１０は、中継装置５５および音声認識装置４００とデータ通信を実行する処理部である。通信部５１０は、通信装置の一例である。通信部５１０は、中継装置５５から音声情報および振動情報を受信し、受信した音声情報および振動情報を、制御部５５０に出力する。通信部５１０は、制御部５５０から取得する情報を、音声認識装置４００に送信する。

【0202】

入力部５２０は、検出装置５００に各種の情報を入力するための入力装置である。入力部５２０は、キーボードやマウス、タッチパネル等に対応する。

【0203】

表示部５３０は、制御部５５０から出力される情報を表示する表示装置である。表示部５３０は、液晶ディスプレイやタッチパネル等に対応する。

【0204】

記憶部５４０は、音声バッファ５４０ａと、振動情報バッファ５４０ｂとを有する。記憶部５４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0205】

音声バッファ５４０ａは、中継装置５５から送信される音声情報を格納するバッファである。音声情報では、音声信号と時刻とが対応付けられる。

【0206】

振動情報バッファ５４０ｂは、中継装置５５から送信される振動情報を格納するバッファである。振動情報では、振動強度を示す信号と時刻とが対応付けられる。

【0207】

制御部５５０は、取得部５５０ａと、第１検出部５５０ｂと、第２検出部５５０ｃと、送信部５５０ｄとを有する。制御部５５０は、ＣＰＵやＭＰＵ、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジック等によって実現される。

【0208】

取得部５５０ａは、通信部５１０を介して、中継装置５５から音声情報および振動情報を取得する処理部である。取得部５５０ａは、音声情報を、音声バッファ５４０ａに格納する。取得部５５０ａは、振動情報を、振動情報バッファ５４０ｂに格納する。

【0209】

第１検出部５５０ｂは、音声情報と振動情報とを基にして、発話者２Ａ（第１発話者）の第１発話区間を検出する処理部である。第１検出部５５０ｂは、音声区間検出処理、音響解析処理、検出処理を行う。第１検出部５５０ｂが実行する、音声区間検出処理、音響解析処理は、実施例１で説明した第１検出部１５０ｂの処理と同様である。

【0210】

第１検出部５５０ｂが実行する「検出処理」の一例について説明する。第１検出部５５０ｂは、音声区間検出処理において検出した各音声区間に撮影された振動情報を、振動情報バッファ５４０ｂから取得する。例えば、ｉ番目の音声区間の開始時刻をｓ_ｉ、終了時刻をｅ_ｉとすると、ｉ番目の音声区間に対応する振動情報は、時刻ｓ_ｉ～ｅ_ｉの振動情報となる。

【0211】

第１検出部５５０ｂは、時刻ｓ_ｉ～ｅ_ｉの振動情報に含まれる一連の振動強度から、振動強度が所定強度以上であるか否かを判定する。第１検出部５５０ｂは、時刻ｓ_ｉ～ｅ_ｉにおいて、振動強度が所定振動強度以上である場合には、発話者２Ａが発話していると判定し、ｉ番目の音声区間を、第１発話区間として検出する。たとえば、第１検出部５５０ｂは、特開２０１０－１０８６９号公報に開示された技術を用いて、振動情報から、発話者２Ａが発話しているか否かを判定してもよい。

【0212】

第１検出部５５０ｂは、上記処理を繰り返し実行し、第１発話区間を検出する度に、第１発話区間の情報を、第２検出部５５０ｃおよび送信部５５０ｄに出力する。ｉ番目の第１発話区間の情報は、ｉ番目の第１発話区間の開始時刻Ｓ_ｉと、ｉ番目の第１発話区間の終了時刻Ｅ_ｉとを含む。

【0213】

また、第１検出部５５０ｂは、音声区間に含まれる各フレームと評価対象音響特徴とを対応付けた情報を、第２検出部５５０ｃに出力する。

【0214】

第２検出部５５０ｃは、第１発話区間の情報を基にして、第１発話区間外であって、第１発話区間から所定の時間範囲に含まれる音声情報の音響特徴を基にして、複数の発話者のうち、発話者２Ｂ（第２発話者）の第２発話区間を検出する処理部である。第２検出部５５０ｃの処理は、実施例１で説明した第２検出部１５０ｃの処理と同様である。

【0215】

第２検出部５５０ｃは、各第２発話区間の情報を、送信部５５０ｄに出力する。各第２発話区間の情報は、第２発話区間の開始時刻と、第２発話区間の終了時刻とを含む。

【0216】

送信部５５０ｄは、各第１発話区間の情報を基にして、各第１発話区間に含まれる音声情報を、音声バッファ５４０ａから取得し、各第１発話区間の音声情報を、音声認識装置４００に送信する。送信部５５０ｄは、各第２発話区間の情報を基にして、各第２発話区間に含まれる音声情報を、音声バッファ５４０ａから取得し、各第２発話区間の音声情報を、音声認識装置４００に送信する。以下の説明では、各第１発話区間の音声情報を、「店員音声情報」と表記する。各第２発話区間の音声情報を、「顧客音声情報」と表記する。

【0217】

次に、本実施例４に係る検出装置５００の処理手順の一例について説明する。図２０は、本実施例４に係る検出装置の処理手順を示すフローチャートである。図２０に示すように、検出装置５００の取得部５５０ａは、複数の発話者の音声を含む音声情報を取得し、音声バッファ５４０ａに格納する（ステップＳ４０１）。

【0218】

検出装置５００の第１検出部５５０ｂは、音声情報に含まれる音声区間を検出する（ステップＳ４０２）。第１検出部５５０ｂは、音声区間に含まれる各フレームから音響特徴（評価対象音響特徴）を算出する（ステップＳ４０３）。

【0219】

第１検出部５５０ｂは、音声区間に対応する振動情報を基にして、第１発話区間を検出する（ステップＳ４０４）。検出装置５００の第２検出部５５０ｃは、複数の第１発話区間を基にして、時間間隔を算出する（ステップＳ４０５）。第２検出部５５０ｃは、算出した時間間隔と、第１発話区間の開始時刻および終了時刻とを基にして、探索範囲を設定する（ステップＳ４０６）。

【0220】

第２検出部５５０ｃは、探索範囲に含まれる各フレームの音響特徴の分布の最頻値を特定する（ステップＳ４０７）。第２検出部５５０ｃは、最頻値から一定範囲に含まれる音響特徴に対応する一連のフレームの区間を、第２発話区間として検出する（ステップＳ４０８）。

【0221】

検出装置５００の送信部５５０ｄは、店員音声情報および顧客音声情報を、音声認識装置４００に送信する（ステップＳ４０９）。

【0222】

次に、本実施例４に係る検出装置５００の効果について説明する。検出装置５００は、音声情報から複数の音声区間を検出し、検出した複数の音声区間に対応する時間帯の振動情報を解析し、発話者２Ａの発声器官が振動しているか否かを判定する。検出装置５００は、発話者２Ａの発声器官が振動している音声区間を、第１発話区間として特定する。

【0223】

音声情報に含まれる複数の音声区間のうち、発話者２Ａの発声器官が振動している時間帯の音声区間は、発話者２Ａが発話している第１発話区間であるといえる。すなわち、接触型振動センサ１６ｂに測定される、発話者２Ａの振動情報を用いることで、第１発話区間をより精度よく検出することができる。

【0224】

次に、上記実施例に示した検出装置１００（２００，３００，５００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２１は、検出装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0225】

図２１に示すように、コンピュータ６００は、各種演算処理を実行するＣＰＵ６０１と、ユーザからのデータの入力を受け付ける入力装置６０２と、ディスプレイ６０３とを有する。また、コンピュータ６００は、記憶媒体からプログラム等を読み取る読み取り装置６０４と、有線または無線ネットワークを介して、マイク、カメラ、振動センサ等からデータを取得するインタフェース装置６０５とを有する。コンピュータ６００は、各種情報を一時記憶するＲＡＭ６０６と、ハードディスク装置６０７とを有する。そして、各装置６０１～６０７は、バス６０８に接続される。

【0226】

ハードディスク装置６０７は、取得プログラム６０７ａ、第１検出プログラム６０７ｂ、更新プログラム６０７ｃ、第２検出プログラム６０７ｄ、認識プログラム６０７ｅを有する。ＣＰＵ６０１は、取得プログラム６０７ａ、第１検出プログラム６０７ｂ、更新プログラム６０７ｃ、第２検出プログラム６０７ｄ、認識プログラム６０７ｅを読み出してＲＡＭ６０６に展開する。

【0227】

取得プログラム６０７ａは、取得プロセス６０６ａとして機能する。第１検出プログラム６０７ｂは、第１検出プロセス６０６ｂとして機能する。更新プログラム６０７ｃは、更新プロセス６０６ｃとして機能する。第２検出プログラム６０７ｄは、第２検出プロセス６０６ｄとして機能する。認識プログラム６０７ｅは、認識プロセス６０６ｅとして機能する。

【0228】

取得プロセス６０６ａの処理は、取得部１５０ａ，２５０ａ，３５０ａ，５５０ａの処理に対応する。第１検出プロセス６０６ｂの処理は、第１検出部１５０ｂ，２５０ｂ，３５０ｂ，５５０ｂの処理に対応する。更新プロセス６０６ｃの処理は、更新部２５０ｃの処理に対応する。第２検出プロセス６０６ｄの処理は、第２検出部１５０ｃ，２５０ｄ，３５０ｃ，５５０ｃの処理に対応する。認識プロセス６０６ｅの処理は、認識部１５０ｄ，２５０ｅの処理に対応する。

【0229】

なお、各プログラム６０７ａ～６０７ｅについては、必ずしも最初からハードディスク装置６０７に記憶させておかなくてもよい。例えば、コンピュータ６００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ６００が各プログラム６０７ａ～６０７ｅを読み出して実行するようにしてもよい。

【0230】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0231】

（付記１）複数の発話者の音声が含まれる音声情報を取得し、
前記複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、前記音声情報に含まれる前記第１発話者の第１発話区間を検出し、
前記第１発話区間外であって、前記第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、前記複数の発話者のうち、第２発話者の第２発話区間を検出する
処理をコンピュータに実行させることを特徴とする検出プログラム。

【0232】

（付記２）前記第１発話区間を検出する処理は、前記学習した音響特徴と、音声情報に含まれる音響特徴との類似性を基にして、前記第１発話区間を検出することを特徴とする付記１に記載の検出プログラム。

【0233】

（付記３）前記第１発話区間の音響特徴を基にして、前記学習した音響特徴を更新する処理を更に実行することを特徴とする付記１または２に記載の検出プログラム。

【0234】

（付記４）前記第１発話者の顔または発声器官の映像情報、または、前記発声器官の振動情報を取得し、前記第１発話区間を検出する処理は、前記映像情報、または、前記振動情報を更に用いて、前記第１発話区間を検出することを特徴とする付記１、２または３に記載の検出プログラム。

【0235】

（付記５）前記第１発話区間を検出する処理によって、前記第１発話区間を検出されてから、次の前記第１発話区間が検出されるまでの時間間隔の平均値を算出し、前記平均値に基づいて、前記所定の時間範囲を設定する処理を更に実行することを特徴とする付記１～４のいずれか一つに記載の検出プログラム。

【0236】

（付記６）複数の前記第１発話区間の平均区間長を算出し、前記第１発話区間が前記平均区間長未満である場合、前記所定の時間範囲を広げ、前記第１発話区間が前記平均区間長以上である場合、前記所定の時間範囲を狭める処理を更に実行することを特徴とする付記５に記載の検出プログラム。

【0237】

（付記７）前記第２発話区間を検出する処理は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴の最頻値を特定し、前記最頻値に近いフレームが含まれる区間を、前記第２発話区間として検出することを特徴とする付記１～６のいずれか一つに記載の検出プログラム。

【0238】

（付記８）前記第２発話区間を検出する処理は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴と、前記学習した音響特徴との類似度の最頻値を特定し、前記最頻値に応じた閾値を特定し、特定した閾値を用いて、前記第２発話区間を検出することを特徴とする付記１～６のいずれか一つに記載の検出プログラム。

【0239】

（付記９）複数の発話者の音声が含まれる音声情報を取得し、
前記複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、前記音声情報に含まれる前記第１発話者の第１発話区間を検出し、
前記第１発話区間外であって、前記第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、前記複数の発話者のうち、第２発話者の第２発話区間を検出する
処理をコンピュータが実行することを特徴とする検出方法。

【0240】

（付記１０）前記第１発話区間を検出する処理は、前記学習した音響特徴と、音声情報に含まれる音響特徴との類似性を基にして、前記第１発話区間を検出することを特徴とする付記９に記載の検出方法。

【0241】

（付記１１）前記第１発話区間の音響特徴を基にして、前記学習した音響特徴を更新する処理を更に実行することを特徴とする付記９または１０に記載の検出方法。

【0242】

（付記１２）前記第１発話者の顔または発声器官の映像情報、または、前記発声器官の振動情報を取得し、前記第１発話区間を検出する処理は、前記映像情報、または、前記振動情報を更に用いて、前記第１発話区間を検出することを特徴とする付記９、１０または１１に記載の検出方法。

【0243】

（付記１３）前記第１発話区間を検出する処理によって、前記第１発話区間を検出されてから、次の前記第１発話区間が検出されるまでの時間間隔の平均値を算出し、前記平均値に基づいて、前記所定の時間範囲を設定する処理を更に実行することを特徴とする付記９～１２のいずれか一つに記載の検出方法。

【0244】

（付記１４）複数の前記第１発話区間の平均区間長を算出し、前記第１発話区間が前記平均区間長未満である場合、前記所定の時間範囲を広げ、前記第１発話区間が前記平均区間長以上である場合、前記所定の時間範囲を狭める処理を更に実行することを特徴とする付記１３に記載の検出方法。

【0245】

（付記１５）前記第２発話区間を検出する処理は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴の最頻値を特定し、前記最頻値に近いフレームが含まれる区間を、前記第２発話区間として検出することを特徴とする付記９～１４のいずれか一つに記載の検出方法。

【0246】

（付記１６）前記第２発話区間を検出する処理は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴と、前記学習した音響特徴との類似度の最頻値を特定し、前記最頻値に応じた閾値を特定し、特定した閾値を用いて、前記第２発話区間を検出することを特徴とする付記９～１４のいずれか一つに記載の検出方法。

【0247】

（付記１７）複数の発話者の音声が含まれる音声情報を取得する取得部と、
前記複数の発話者のうち、第１発話者に対して予め学習した音響特徴に基づいて、前記音声情報に含まれる前記第１発話者の第１発話区間を検出する第１検出部と、
前記第１発話区間外であって、前記第１発話区間から所定の時間範囲に含まれる音響特徴を基にして、前記複数の発話者のうち、第２発話者の第２発話区間を検出する第２検出部と
を有することを特徴とする検出装置。

【0248】

（付記１８）前記第１検出部は、前記学習した音響特徴と、音声情報に含まれる音響特徴との類似性を基にして、前記第１発話区間を検出することを特徴とする付記１７に記載の検出装置。

【0249】

（付記１９）前記第１発話区間の音響特徴を基にして、前記学習した音響特徴を更新する更新部を更に有することを特徴とする付記１７または１８に記載の検出装置。

【0250】

（付記２０）前記第１検出部は、前記第１発話者の顔または発声器官の映像情報、または、前記発声器官の振動情報を取得し、前記第１発話区間を検出する処理は、前記映像情報、または、前記振動情報を更に用いて、前記第１発話区間を検出することを特徴とする付記１７、１８または１９に記載の検出装置。

【0251】

（付記２１）前記第２検出部は、前記第１検出部によって、前記第１発話区間を検出されてから、次の前記第１発話区間が検出されるまでの時間間隔の平均値を算出し、前記平均値に基づいて、前記所定の時間範囲を設定する処理を更に実行することを特徴とする付記１７～２０のいずれか一つに記載の検出装置。

【0252】

（付記２２）前記第２検出部は、複数の前記第１発話区間の平均区間長を算出し、前記第１発話区間が前記平均区間長未満である場合、前記所定の時間範囲を広げ、前記第１発話区間が前記平均区間長以上である場合、前記所定の時間範囲を狭める処理を更に実行することを特徴とする付記２１に記載の検出装置。

【0253】

（付記２３）前記第２検出部は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴の最頻値を特定し、前記最頻値に近いフレームが含まれる区間を、前記第２発話区間として検出することを特徴とする付記１７～２２のいずれか一つに記載の検出装置。

【0254】

（付記２４）前記第２検出部は、前記第１発話区間外であって、前記第１発話区間から前記所定の時間範囲に含まれる複数のフレームの音響特徴と、前記学習した音響特徴との類似度の最頻値を特定し、前記最頻値に応じた閾値を特定し、特定した閾値を用いて、前記第２発話区間を検出することを特徴とする付記１７～２２のいずれか一つに記載の検出装置。

【符号の説明】

【0255】

５０，５５ 中継装置
６０ ネットワーク
１００，２００，３００，５００ 検出装置
１１０，２１０，３１０，４１０，５１０ 通信部
１２０，２２０，３２０，４２０，５２０ 入力部
１３０，２３０，３３０，４３０，５３０ 表示部
１４０，２４０，３４０，４４０，５４０ 記憶部
１４０ａ，２４０ａ，３４０ａ，５４０ａ 音声バッファ
１４０ｂ，２４０ｂ 学習音響特徴情報
１４０ｃ，２４０ｃ 音声認識情報
１５０，２５０，３５０，４５０，５５０ 制御部
１５０ａ，２５０ａ，３５０ａ，４５０ａ，５５０ａ 取得部
１５０ｂ，２５０ｂ，３５０ｂ，５５０ｂ 第１検出部
１５０ｃ，２５０ｄ，３５０ｃ，５５０ｃ 第２検出部
１５０ｄ，２５０ｅ，４５０ｂ 認識部
２４０ｄ 閾値テーブル
２５０ｃ 更新部
３４０ｂ 映像バッファ
３５０ｄ，５５０ｄ 送信部
４４０ａ 店員音声バッファ
４４０ｂ 顧客音声バッファ
４４０ｃ 店員音声認識情報
４４０ｄ 顧客音声認識情報
５４０ｂ 振動情報バッファ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】