特許 6045511 音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6045511

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラム

(51)【国際特許分類】

   G10L 25/81 20130101AFI20161206BHJP

   G10L 21/0272 20130101ALI20161206BHJP

   G10L 25/18 20130101ALI20161206BHJP

【ＦＩ】

   G10L25/81

   G10L21/0272 100Z

   G10L25/18

【請求項の数】15

【全頁数】38

(21)【出願番号】特願2014-1511(P2014-1511)

(22)【出願日】2014年1月8日

(65)【公開番号】特開2015-129868(P2015-129868A)

(43)【公開日】2015年7月16日

【審査請求日】2014年11月18日

【前置審査】

(73)【特許権者】

【識別番号】314000785

【氏名又は名称】ＰＳソリューションズ株式会社

(74)【代理人】

【識別番号】100117514

【弁理士】

【氏名又は名称】佐々木 敦朗

(72)【発明者】

【氏名】石若 裕子

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開２００３−０４４０８２（ＪＰ，Ａ）

【文献】 特開２００９−１２３１２４（ＪＰ，Ａ）

【文献】 特開２００９−０６９４２５（ＪＰ，Ａ）

【文献】 特開２０１０−１５２３８１（ＪＰ，Ａ）

【文献】 特開２００８−３１０１３８（ＪＰ，Ａ）

【文献】 特開２０１１−０９５５１０（ＪＰ，Ａ）

【文献】 特開２００９−２３００９７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２５／８１

Ｇ１０Ｌ ２１／０２７２

Ｇ１０Ｌ ２５／１８

(57)【特許請求の範囲】

【請求項1】

評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出システムであって、
前記評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換部と、
前記特定音響信号に基づいて、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成する音源テンプレート生成部と、
前記音源テンプレートを取得する、音源テンプレート取得部と、
前記比較先テンプレートと前記音源テンプレートとを比較して、二値化された前記音響信号の分布の適合率を算出するテンプレート比較部と、
前記テンプレート比較部により算出された前記適合率に応じた比較結果信号を出力する適合率出力部と、
前記音源テンプレート生成部が生成した音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶するイベントデータベースと、
前記適合率出力部から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子について前記イベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理部と
を備え、
前記音源テンプレート生成部は、前記特定音響信号について前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、
前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている
ことを特徴とする音響信号検出システム。

【請求項2】

前記音源テンプレート生成部は、音源テンプレートの生成時に、高調波成分を除いたうえで各音階の音の有無を検出することを特徴とする請求項１に記載の音響信号検出システム。

【請求項3】

前記テンプレート比較部は、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出することを特徴とする請求項１又は２に記載の音響信号検出システム。

【請求項4】

評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出サーバーであって、
通信ネットワークを通じて、前記評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換部と、
前記特定音響信号に基づいて、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成する音源テンプレート生成部と、
前記音源テンプレートを取得する、音源テンプレート取得部と、
前記比較先テンプレートと前記音源テンプレートとを比較して、二値化された前記音響信号の分布の適合率を算出するテンプレート比較部と、
前記テンプレート比較部により算出された前記適合率に応じた比較結果信号を、前記通信ネットワークに送出する適合率出力部と、
前記音源テンプレート生成部が生成した音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶するイベントデータベースと、
前記適合率出力部から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子について前記イベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理部と
を備え、
前記音源テンプレート生成部は、前記特定音響信号について前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、
前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている
ことを特徴とする音響信号検出サーバー。

【請求項5】

前記音源テンプレート生成部は、音源テンプレートの生成時に、高調波成分を除いたうえで各音階の音の有無を検出することを特徴とする請求項４に記載の音響信号検出サーバー。

【請求項6】

前記テンプレート比較部は、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出することを特徴とする請求項４又は５に記載の音響信号検出サーバー。

【請求項7】

評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出装置であって、
音響を取得し、前記評価音響信号として出力する音響取得部と、
前記音響取得部から出力された前記評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換部と、
前記特定音響信号に基づいて、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成する音源テンプレート生成部と、
前記音源テンプレートを取得する、音源テンプレート取得部と、
前記比較先テンプレートと前記音源テンプレートとを比較して、二値化された前記音響信号の分布の適合率を算出するテンプレート比較部と、
前記テンプレート比較部により算出された前記適合率に応じた比較結果信号を出力する適合率出力部と、
前記音源テンプレート生成部が生成した音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶するイベントデータベースと、
前記適合率出力部から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子について前記イベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理部と
を備え、
前記音源テンプレート生成部は、前記特定音響信号について前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、
前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている
ことを特徴とする音響信号検出装置。

【請求項8】

前記音源テンプレート生成部は、音源テンプレートの生成時に、高調波成分を除いたうえで各音階の音の有無を検出することを特徴とする請求項７に記載の音響信号検出装置。

【請求項9】

前記テンプレート比較部は、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出することを特徴とする請求項７又は８に記載の音響信号検出装置。

【請求項10】

評価の対象となる評価音響信号中に含まれる特定音響信号を、コンピューターによって検出する音響信号検出プログラムであって、前記コンピューターに、
前記評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換ステップと、
前記特定音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成して取得するとともに、前記比較先テンプレートと前記音源テンプレートとを比較して、二値化された前記音響信号の分布の適合率を算出するテンプレート比較ステップと、
前記テンプレート比較ステップにより算出された前記適合率に応じた比較結果信号を出力する適合率出力ステップと、
前記テンプレート比較ステップで生成された音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけてイベントデータベースに記憶させるデータベース制御ステップと、
前記適合率出力ステップで出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子について前記イベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理ステップと
を含む処理を実行させ、
前記テンプレート比較ステップでは、前記特定音響信号について、前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、
前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている
ことを特徴とする音響信号検出プログラム。

【請求項11】

前記テンプレート比較ステップでは、音源テンプレートの生成時に、高調波成分を除いたうえで各音階の音の有無を検出することを特徴とする請求項１０に記載の音響信号検出プログラム。

【請求項12】

前記テンプレート比較ステップでは、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出することを特徴とする請求項１０又は１１に記載の音響信号検出プログラム。

【請求項13】

評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出方法であって、
前記評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換する処理と、
前記特定音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成して取得するとともに、前記比較先テンプレートと前記音源テンプレートとを比較して、二値化された前記音響信号の分布の適合率を算出するテンプレート比較処理と、
前記テンプレート比較処理により算出された前記適合率に応じた比較結果信号を出力する適合率出力処理と、
前記テンプレート比較処理で生成された音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけてイベントデータベースに記憶させるデータベース制御処理と、
前記適合率出力処理から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子について前記イベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理処理と
を含み、
前記テンプレート比較処理では、前記特定音響信号について、前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、
前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている
ことを特徴とする音響信号検出方法。

【請求項14】

前記テンプレート比較処理では、音源テンプレートの生成時に、高調波成分を除いたうえで各音階の音の有無を検出することを特徴とする請求項１３に記載の音響信号検出方法。

【請求項15】

前記テンプレート比較処理では、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出することを特徴とする請求項１３又は１４に記載の音響信号検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラムに関する。

【背景技術】

【0002】

近年、複数種類の音響信号が混在した音響信号から、特定の人の音声や楽器音等の調波構造を持った音響信号を検出する技術が知られている（例えば、特許文献１）。この特許文献１に開示された音声認識装置では、背景雑音が存在し畳み込み混合された実環境での信号（音声、画像、電波などの信号）から源信号をブラインドソース信号分離処理によって音源分離して目的の音響信号を検出するものである（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−７８４２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示されたような音源分離を行う場合には、雑音混じりの録音を信号と雑音に分離するためにブラインドソース信号分離処理などの複雑な演算処理が必要であり、このブラインドソース信号分離処理では、音源とマイクの位置関係などの情報が未知であるうえ、音声の遅延などを考慮する必要があることから、前処理としてのフィルタリングや後処理としての逆フィルタリングによって周波数特性を復元するなどの処理を行う。そのため、従来の音源分離では、その演算処理が複雑となり、処理負担が増大し、目的の特定音響信号を検出するのに時間がかかってしまい、リアルタイムの処理による負荷が過大となることから、モバイル端末のような携帯用のデバイスには適していないという問題がある。

【0005】

そこで、本発明は、上記のような問題を解決するものであり、雑音下においても演算処理負担を軽減してリアルタイムに目的の特定音響信号を検出することができるとともに、その特定音響信号をトリガーとしたサービスを提供してサービスの多様化、充実化を図ることができる音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は、 評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出システムであって、評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換部と、特定音響信号に基づいて、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成する音源テンプレート生成部と、音源テンプレートを取得する、音源テンプレート取得部と、比較先テンプレートと音源テンプレートとを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較部と、テンプレート比較部により算出された適合率に応じた比較結果信号を出力する適合率出力部と、音源テンプレート生成部が生成した音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶するイベントデータベースと、適合率出力部から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子についてイベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理部とを備え、音源テンプレート生成部は、特定音響信号について音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されていることを特徴とする。

【0007】

また、他の発明は、評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出方法であって、
（１）評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換する処理と、
（２）特定音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成して取得するとともに、比較先テンプレートと音源テンプレートとを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較処理と、
（３）テンプレート比較処理により算出された適合率に応じた比較結果信号を出力する適合率出力処理と、
（４）テンプレート比較処理で生成された音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけてイベントデータベースに記憶させるデータベース制御処理と、
（５）適合率出力処理から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子についてイベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理処理と
を含み、
テンプレート比較処理では、特定音響信号について、音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、
前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されていることを特徴とする。

【0008】

これらのような本発明によれば、特定音響信号を、音階平均律に基づいてその周波数帯域における信号の有無を抽出して生成したテンプレート同士の比較により行うため、複雑な演算処理を要することなく音源とのマッチング処理を行うことができ、データをダウンサイズすることによる高速演算によってリアルタイム処理による負荷を低減することができ、携帯用のデバイスでの実装が可能となる。また、音響信号の有無を、二値化されたテンプレートによって検出することから、雑音下での検出が可能となる。これらの結果、例えば、店舗内で放送されているテーマソングなどを検出した場合にクーポンやポイントを配布するなどのように、特定の音響検出をトリガーとしたサービスを提供することができ、サービスの多様化、充実化を図ることができる。
なお、前記音源テンプレートの生成時にあっては、高調波成分を除いたうえで各音階の音の有無を検出することが好ましい。
また、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出するようにしてもよい。

【0009】

なお、ここで、「評価音響信号の取得」としては、マイク等の音響デバイスを用いて音響を直接電気信号として取得する他、無線・有線の通信により音声信号や音声ファイルとして取得する場合が含まれる。一方、「音源テンプレート」は、システムのいずれかのデバイスを用いて生成されるものであり、例えば、ユーザー端末でユーザー自ら生成してもよく、生成済みの音源テンプレートをサーバーからダウンロードするようにしてもよい。また、「音階平均率」としては、半音ずつの音で構成された１２音階の他、種々の音階が含まれる。さらに、「音響信号の有無を二値化」するとは、各音階の音があるか否かのみを検出することを意味し、例えば、音響信号が所定のしきい値を上回るか否かにより判定する手法が挙げられる。

【0011】

ここでイベントとは、プログラム上における例外処理や、分岐処理など、一定の要件が満たされることを条件として発生する処理であり、このイベントにより発生された処理によって提供されるシステムやサービスもここで言う「イベント」に含まれる。例えば、特定の音源を検出した場合に、音声やテキスト表示によるメッセージ出力や、画像・動画の再生、アプリケーションの起動など種々の情報処理サービスも、ここでのイベントに含まれる。

【0012】

この場合には、特定音響の検出に用いられる音源テンプレートと任意のイベントとを関連づけておくことで、情報処理端末やサーバーにおける特定音響の検出をトリガーとしたイベントを発生させることができる。また、いずれのユーザーが、どこでどのような音響を検出したかについての情報を収集することができ、リアルなユーザー動向を調査することができ、ビックデータの構築によるマーケティングの充実を図ることができる。

【0014】

この場合には、しきい値の値を変えて音源テンプレートを作成することにより、同じ特定音響が検出される場合であっても、音源テンプレートの種類によって異なるイベントを発生させることができる。これにより、例えば、家族で同時に同じ店舗に入り、同じ特定音響を検出したとしても、大人と子供では異なるイベントを発生させるなど、年齢や性別などユーザーの特定に適したサービスを提供することができる。

【0019】

さらに、他の発明は、上記音響信号検出システム及び音響信号検出方法で利用可能な、評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出サーバー及び音響信号検出装置である。

【0020】

具体的に、本発明の音響信号検出サーバーは、評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出サーバーであって、通信ネットワークを通じて、評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換部と、特定音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成して取得する、音源テンプレート取得部と、比較先テンプレートと音源テンプレートとを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較部と、テンプレート比較部により算出された適合率に応じた比較結果信号を、通信ネットワークに送出する適合率出力部と、音源テンプレート生成部が生成した音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶するイベントデータベースと、適合率出力部から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子についてイベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理部とを備え、
前記音源テンプレート生成部は、前記特定音響信号について前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている。

【0021】

このような本発明によれば、特定音響信号を、音階平均律に基づいてその周波数帯域における信号の有無を抽出して生成したテンプレート同士の比較により行うため、複雑な演算処理を要することなく音源とのマッチング処理を行うことができ、データをダウンサイズすることによる高速演算によってリアルタイム処理が可能となる。また、音響信号の有無を、二値化されたテンプレートによって検出することから、雑音下での検出が可能となる。これらの結果、例えば、店舗内で放送されているテーマソングなどを検出した場合にクーポンやポイントを配布するなどのように、特定の音響検出をトリガーとしたサービスを提供することができ、サービスの多様化、充実化を図ることができる。特に、本発明では、通信ネットワーク上に配置されたサーバーにおいて、評価音響信号から比較先テンプレートを生成するとともに、テンプレートの適合率を算出しているので、ユーザーが所持する端末における処理負担を軽減し、及びメモリ容量の有効利用を図ることができる。
なお、前記音源テンプレートの生成時にあっては、高調波成分を除いたうえで各音階の音の有無を検出することが好ましい。
また、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出するようにしてもよい。

【0023】

この場合には、特定音響の検出に用いられる音源テンプレートと任意のイベントとを関連づけておくことで、サーバーにおける特定音響の検出をトリガーとしたイベントを発生させることができる。また、いずれのユーザーが、どこでどのような音響を検出したかについての情報を収集することができ、リアルなユーザー動向を調査することができ、ビックデータの構築によるマーケティングの充実を図ることができる。

【0025】

この場合には、しきい値の値を変えて音源テンプレートを作成することにより、同じ特定音響が検出される場合であっても、音源テンプレートの種類によって異なるイベントを発生させることができる。これにより、例えば、家族で同時に同じ店舗に入り、同じ特定音響を検出したとしても、大人と子供では異なるイベントを発生させるなど、年齢や性別などユーザーの特定に適したサービスを提供することができる。

【0030】

一方、音響信号検出装置の発明は、評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出装置であって、音響を取得し、評価音響信号として出力する音響取得部と、音響取得部から出力された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換部と、特定音響信号に基づいて、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成する音源テンプレート生成部と、音源テンプレートを取得する音源テンプレート取得部と、比較先テンプレートと音源テンプレートとを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較部と、テンプレート比較部により算出された適合率に応じた比較結果信号を出力する適合率出力部と、音源テンプレート生成部が生成した音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶するイベントデータベースと、適合率出力部から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子についてイベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理部とを備え、音源テンプレート生成部は、特定音響信号について音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、前記しきい値は、発生させるべきイベントの種類に応じて異なる値に設定されている。

【0031】

このような本発明によれば、特定音響信号を、音階平均律に基づいてその周波数帯域における信号の有無を抽出して生成したテンプレート同士の比較により行うため、複雑な演算処理を要することなく音源とのマッチング処理を行うことができ、データをダウンサイズすることによる高速演算によってリアルタイム処理が可能となる。また、音響信号の有無を、二値化されたテンプレートによって検出することから、雑音下での検出が可能となる。これらの結果、例えば、店舗内で放送されているテーマソングなどを検出した場合にクーポンやポイントを配布するなどのように、特定の音響検出をトリガーとしたサービスを提供することができ、サービスの多様化、充実化を図ることができる。特に、本発明では、音響信号検出装置自体が主導となって、特定音響信号を検出して比較結果を算出しているので、通信ネットワーク上に配置されるサーバー装置等に依存することがなく、音響信号検出装置におけるスタンドアローン動作によって、さらなるリアルタイム処理が可能となる。
なお、前記音源テンプレートの生成時にあっては、高調波成分を除いたうえで各音階の音の有無を検出することが好ましい。
また、前記音源テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出するようにしてもよい。

【0033】

この場合には、特定音響の検出に用いられる音源テンプレートと任意のイベントとを関連づけておくことで、情報処理端末における特定音響の検出をトリガーとしたイベントを発生させることができる。また、いずれのユーザーが、どこでどのような音響を検出したかについての情報を収集することができ、リアルなユーザー動向を調査することができ、ビックデータの構築によるマーケティングの充実を図ることができる。

【0035】

この場合には、しきい値の値を変えて音源テンプレートを作成することにより、同じ特定音響が検出される場合であっても、音源テンプレートの種類によって異なるイベントを発生させることができる。これにより、例えば、家族で同時に同じ店舗に入り、同じ特定音響を検出したとしても、大人と子供では異なるイベントを発生させるなど、年齢や性別などユーザーの特定に適したサービスを提供することができる。

【0039】

また、上述した本発明に係るシステム、方法、サーバー、及び装置は、所定の言語で記述されたプログラムをコンピューター上で実行することにより実現することができる。

【0040】

すなわち、本発明は、評価の対象となる評価音響信号中に含まれる特定音響信号を、コンピューターによって検出する音響信号検出プログラムであって、
（１）コンピューターに、評価音響信号を取得し、取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された比較先テンプレートを生成する評価対象変換ステップと、
（２）特定音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された音源テンプレートを生成して取得するとともに、比較先テンプレートと音源テンプレートとを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較ステップと、
（３）テンプレート比較ステップにより算出された適合率に応じた比較結果信号を出力する適合率出力ステップと、
（４）前記テンプレート比較ステップで生成された音源テンプレートを識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけてイベントデータベースに記憶させるデータベース制御ステップと、
（５）前記適合率出力ステップで出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートのテンプレート識別子について前記イベントデータベースを照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理ステップと
を含む処理を実行させ、
前記テンプレート比較ステップでは、前記特定音響信号について、前記音源テンプレートを生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出し、前記しきい値は、前記発生させるべきイベントの種類に応じて異なる値に設定されている。

【0041】

このようなプログラムを、ユーザー端末やＷｅｂサーバー等のコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する音響信号検出システム、音響信号検出方法、音響信号検出サーバー、及び音響信号検出装置を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、また、汎用コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述した音響信号検出システム、音響信号検出方法、音響信号検出サーバー、及び音響信号検出装置を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。

【発明の効果】

【0042】

以上述べたように、この発明によれば、雑音下においても処理負担を軽減してリアルタイムに目的の特定音響信号を検出することができる。そして、特定の音響検出をリアルタイムに検出することで、その音響をトリガーとしたサービスを提供して、サービスの多様化、充実化を図ることができる。

【図面の簡単な説明】

【0043】

【図1】第１実施形態に係る音響信号検出システムの全体構成を示す概念図である。

【図2】第１実施形態に係る管理サーバーの内部構成を示すブロック図である。

【図3】第１実施形態に係るユーザー端末及び音再生手段の内部構成を示すブロック図である。

【図4】第１実施形態に係る音源テンプレート及び比較先テンプレートを示す説明図である。

【図5】第１実施形態に係る音源テンプレートが作成されるパート位置を示す説明図である。

【図6】第１実施形態に係るダブルバッファリング処理を示す説明図である。

【図7】第１実施形態に係るテンプレート比較手法を示す説明図である。

【図8】（ａ）及び（ｂ）は、第１実施形態に係る適合率に応じて表示される表示情報を示す説明図である。

【図9】（ａ）〜（ｃ）は、本実施形態に係る適合率に応じて表示される表示情報を示す説明図である。

【図10】（ａ）及び（ｂ）は、第１実施形態に係る適合率に応じて表示される表示情報を示す説明図である。

【図11】第１実施形態に係る音響信号検出方法を示すフローチャート図である。

【図12】第２実施形態に係る音響信号検出システムの全体構成を示す概念図である。

【図13】第２実施形態に係る管理サーバーの内部構成を示すブロック図である。

【図14】第２実施形態に係るユーザー端末及び音再生手段の内部構成を示すブロック図である。

【図15】第２実施形態に係る音響信号検出方法を示すフローチャート図である。

【発明を実施するための形態】

【0044】

［第１実施形態］
（音響信号検出システムの概要）
以下に添付図面を参照して、本発明に係るシステムの実施形態を詳細に説明する。図１は、第１実施形態に係るシステムの全体構成を示す概念図である。

【0045】

図１に示すように、本実施形態に係る音響信号検出システムは、評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出システムであって、通信回線を相互に接続して構築される通信ネットワーク５上に配置された管理サーバー２と、無線基地局３と、無線基地局３を通じて無線通信が可能なユーザー端末１とを備えている。

【0046】

通信ネットワーク５は、通信プロトコルＴＣＰ／ＩＰを用いたＩＰ網であって、種々の通信回線（電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、無線通信網）を相互に接続して構築される分散型の通信ネットワークである。このＩＰ網には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。

【0047】

無線基地局３は、図示しないゲートウェイ装置を通じて通信ネットワーク５に接続され、ユーザー端末１との間で無線通信接続を確立し、ユーザー端末１による通話やデータ通信を提供する装置である。

【0048】

ユーザー端末１は、ＣＰＵを備えた演算処理装置であり、無線通信機能を有した携帯可能なモバイルコンピューターやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、携帯電話機、スマートフォン、タブレットＰＣ等である。このユーザー端末１は、基地局等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。ユーザー端末１の通信方式としては、例えば、ＦＤＭＡ方式、ＴＤＭＡ方式、ＣＤＭＡ方式、Ｗ−ＣＤＭＡの他、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）方式等が挙げられる。

【0049】

また、このユーザー端末１は、デジタルカメラ機能、アプリケーションソフトの実行機能、或いはＧＰＳ機能等の機能が搭載されている他、外部から音響信号を取得するマイクを備えており、このマイクによって外部の音響を音声信号や音声ファイルとして取得する音響信号検出装置として機能する。

【0050】

管理サーバー２は、通信ネットワーク５上に配置され、ユーザーに対するサービスを管理する一般的なサーバー装置であって、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）等のドキュメントシステムにおいて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピューター或いはその機能を持ったソフトウェアであり、ＨＴＭＬ文書や画像などの情報を蓄積しておき、Ｗｅｂブラウザなどのクライアントソフトウェアの要求に応じて、インターネットなどの通信ネットワーク５を通じてこれらの情報を送信する。

【0051】

特に管理サーバー２は、ユーザー端末１に対して、特定音響信号を検出するための音源テンプレートＤ１と、及び音源テンプレートＤ１に関連づけられて発生されるべきイベントに関する情報であるイベント情報Ｄ２とを生成し、これらの情報をユーザー端末１に配信する。

【0052】

ここで、「特定音響信号」とは、本システムが検出するべき音響のみを含んだ信号を意味しこの例えば、スーパーマーケットや家電量販店などで店内に流される独自のテーマソング、駅や電車内で流される駅名又は発車メロディー、アーティストの楽曲のワンフレーズなどが含まれる。

【0053】

また、「音源テンプレートＤ１」とは、特定音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化されて時系列で記録された情報（ＳＴＦＴ（ｓｈｏｒｔ−ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）データ）である。「音源テンプレート」は、システムのいずれかのデバイスを用いて生成されるものであり、例えば、ユーザー端末でユーザー自ら生成してもよく、生成済みの音源テンプレートをサーバーからダウンロードするようにしてもよい。

【0054】

また、「音階平均率」としては、半音ずつの音で構成された１２音階の他、種々の音階が含まれる。「音響信号の有無を二値化」するとは、各音階の音があるか否かのみを検出することを意味し、例えば、音響信号が所定のしきい値を上回るか否かにより判定する手法が挙げられる。

【0055】

また、イベントとしては、ユーザーが所定のエリアＡに移動して特定の音源を検出した場合に発生するものであり、音声やテキスト表示によるメッセージ出力や、画像・動画の再生、アプリケーションの起動など種々の情報処理サービスが挙げられる。そして、これら種々の情報処理サービスに関するデータ又はプログラムがイベント情報Ｄ２として配信される。この配信される情報Ｄ２としては、例えば、クーポン情報、チケット情報、プレゼント情報、乗り換え案内情報、目的地である旨を通知する通知情報などが含まれる。

【0056】

エリアＡとは、例えば、ショッピングモールやコンサート会場など特定の音響を出力する場所であり、エリアＡ内には、スピーカー等の音再生手段４から音響（テーマソング、又は効果音など）が出力されるようになっている。そして、その音響をユーザー端末１のマイク等で聞き取り、音声データ等として取得することで、その音響内に含まれる音源テンプレートＤ１の有無に応じてイベントが発生されるようになっている。

【0057】

（各装置の内部構造）
次いで、上述した音響信号検出システムを構成する各装置の内部構造について説明する。図２は、第１実施形態に係る管理サーバー２ーの内部構成を示すブロック図であり、図３は、第１実施形態に係るユーザー端末１の内部構成を示すブロック図である。また、図４（ａ）〜（ｃ）は、第１実施形態に係る音源テンプレートＤ１の及び比較先テンプレートを示す説明図である。なお、ここで、図４中の横軸は時間経過を示し、図４中の縦軸は周波数を示している。また、図５は、音源テンプレートＤ１が作成されるパート位置を示す説明図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

【0058】

（１）管理サーバー２
管理サーバー２は、単一のサーバー装置の他、Ｗｅｂサーバーやデータベースサーバーなど複数種のサーバー群から構成することができ、本実施形態では、通信部２１と、制御部２２と、各種データベース２３〜２５を備えている。

【0059】

通信部２１は、通信ネットワーク５を通じて、ユーザー端末との間でデータの送受信を行う通信インターフェースである。データベース２３〜２５は、本システムに関する各種の情報を蓄積するデータベース群であり、本実施形態では、ユーザー端末１を所有するユーザーに関する情報を保持するユーザー情報データベース２３と、イベントデータベース２４と、音源テンプレートデータベース２５とを備えている。

【0060】

ユーザー情報データベース２３には、ユーザーを識別する識別番号に、ユーザー端末の電話番号、及びメールアドレスの他、ユーザーの年齢、性別、住所、及び趣向情報などの属性情報や音響検出を実行した履歴情報が関連づけて記録されている。

【0061】

音源テンプレートデータベース２５は、特定音響信号について生成された音源テンプレートＤ１のを蓄積する蓄積装置であり、制御部２２の音源テンプレート生成部２２２が生成した音源テンプレートＤ１のが、音源テンプレートＤ１のを識別するテンプレート識別子に関連づけて記憶されている。

【0062】

イベントデータベース２４は、ユーザーに対して発生させるイベント情報Ｄ２を蓄積する装置であり、イベントを識別するイベント識別子が付加されている。また、本実施形態においてイベントデータベース２４には、テンプレート識別子に、発生させるべきイベントのイベント識別子が関連づけて記憶されている。

【0063】

この発生させるべきイベントは、例えば、全ユーザーに対して共通のイベントであってもよく、ユーザーの属性に応じて変更してもよい。すなわち、同じ音源テンプレートＤ１のであっても、例えば、ユーザーが女性であれば化粧品、食品等に関するイベントの識別子を関連づけ、例えば、ユーザーの性別が男性であれば、ゴルフなどのスポーツ、又は家電に関するイベントの識別子が関連づけることも可能である。

【0064】

また、例えば、図５に示すように、同一楽曲のワンフレーズのうち、異なる位置のパートを切り取って、音源テンプレートＤ１１〜Ｄ１３として生成し、ユーザーの属性に応じて異なる位置の音源テンプレートを配信させることで、例えば、家族で同時に同じ店舗に入った場合でも、大人と子供では異なるイベントを発生させるなど、ユーザーに発生させるイベント情報を変更させることができるようになっている。

【0065】

なお、この際、切り取るパートは音源テンプレートＤ１１及びＤ１２のように重なっていてもよいし、音源テンプレートＤ１３のように他のテンプレートと重ならなくてもよい。さらには、ユーザーの年齢や趣向情報に基づいてイベントを選択可能となっており、年齢や性別などユーザーの特定に適したサービスを提供することができる。

【0066】

このように、各ユーザーに対して発生すべきイベントを変更するために、イベントデータベース２４内のイベント情報（例えば、食品に関する情報）には、属性情報（例えば、女性）が関連づけられるとともに、この属性情報に対応するテンプレート識別子（例えば、化粧会社のテーマソング）がイベント識別子と関連づけられるようになっている。

【0067】

制御部２２は、ＣＰＵやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合わせなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、各部の動作制御、ユーザー操作に対する種々の処理を行っている。

【0068】

この制御部２２には、音響を検出する機能として、音源データ取得部２２１と、音源テンプレート生成部２２２と、イベント生成部２２３と、配信管理部２２４と、ユーザー登録部２２５とを備えている。

【0069】

ユーザー登録部２２５は、本システムを受けるためのユーザー登録を受け付けるモジュールである。このユーザー登録部２２５は、ユーザーの各種情報を取得すると、ユーザーを特定するための識別子を付与してユーザー情報データベース２３に記録する。

【0070】

音源データ取得部２２１は、評価の対象となる特定音響信号を取得するモジュールであり、例えば、クーポンを発行するサービス提供側から音声信号や音声ファイルを取得する。

【0071】

音源テンプレート生成部２２２は、音源データ取得部２２１が取得した特定音響信号に基づいて音源テンプレートＤ１を生成するモジュールである。具体的に、音源データ取得部２２１は、音の周波数帯域を１２音階平均率にまるめて音階テーブルを生成する。音階テーブルの作成法としては、中心周波数ｆｍから前後ｆｍ＊２＾（±１／１２）を境界値とするものとする。さらに、あるしきい値を超えた値の中で、高調派成分を除いた音量（Ａｍｐｌｉｔｕｄｅ）最大Ｎ個を抜き出す。なお、Ｎは１以上の整数とするものとする。この高調波成分については、音源テンプレートの作成時にあっては、高調波成分を除いたうえで各音階の音の有無を検出し、テンプレートとの比較時にあっては、高調波成分を除かずに、高調波成分を含めたままで各階調音の有無を検出する。これにより、検出対象となる音階の倍音となる高調波成分の影響を低減することができ、より適正な音源テンプレートを作成できるとともに、比較の際には、逆に倍音の影響を利用して検出精度を高めることができる。

【0072】

そして、この処理を各窓幅（ブロック数）で行うことで、図４（ａ）に示すように、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化され時系列で記録された所定長さの音源テンプレートＤ１が作成される。各窓幅（ブロック数）で抜き出す特徴点は、同じ個数でもよいし、違う個数でもよいものとする。なお、違う個数を抜き出す場合は、しきい値を超えた値のうち高調派成分を除いた全てを取得するものとする。

【0073】

また、本実施形態において、音源テンプレート生成部２２２は、特定音響信号について、音源テンプレートＤ１を生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出してもよい。このしきい値は、発生させるべきイベントの種類に応じて異なる値に設定されている。

【0074】

本実施形態では、基音＋１／２Ｆｒｅｑの単位であって、発話域を除く周波数でテンプレートを用意するものとする。さらに、ここでは、機械学習機能を用いて、抽出する周波数領域、数、窓幅を学習させるものとする。この機械学習機能としては、人工ニューラルネットワーク、遺伝的アルゴリズム、強化学習等教師あり学習などを用いることができ、そのために、学習用のデータがサーバー内に蓄積されている。

【0075】

このように生成された音源テンプレートＤ１は、テンプレート識別子が付加されて音源テンプレートデータベース２５に蓄積される。なお、音源テンプレート生成部２２２は、図５に示すように、同じ曲であっても異なるパートからそれぞれ音源テンプレートＤ１１〜Ｄ１３を作成することも可能である。

【0076】

イベント生成部２２３は、ユーザーに提供すべきイベント情報を生成するモジュールであり、生成したイベント情報Ｄ２を識別するイベント識別子に関連づけてイベントデータベース２４に蓄積する。

【0077】

配信管理部２２４は、各種のデータを通信ネットワーク上に配信する制御を管理するモジュールであり、音源テンプレート配信部２２４ａを備えている。音源テンプレート配信部２２４ａは、ユーザー端末からのアクセスに基づいて、音源テンプレート生成部２２２が生成した音源テンプレートＤ１をユーザー端末１に対して配信するモジュールである。

【0078】

この際、配信管理部２２４は、音源テンプレート配信部２２４ａが配信した音源テンプレートＤ１のテンプレート識別子と、発生させるべきイベントのイベント識別子とを関連づけてイベントデータベース２４に登録する。なお、配信管理部２２４は、予めテンプレート識別子と、発生させるべきイベントのイベント識別子とを関連づけ、音源テンプレートＤ１とイベント情報Ｄ２とを合わせてユーザー端末１に配信してもよい。

【0079】

また、配信管理部２２４は、アクセスしたユーザーの属性情報を参照し、その属性情報に関連したイベント情報を選択する機能を有している。この機能によれば、例えば、図５に示すように、１つのフレーズから異なるパートの音源テンプレートＤ１１〜Ｄ１３が生成されている場合には、各パートの音源テンプレートＤ１１〜Ｄ１３を選択して、それぞれに対して異なるイベントを選択することができるようになっている。

【0080】

（２）ユーザー端末及び音再生手段
次いで、ユーザー端末１及び音再生手段４の内部構造について説明する。図６は、本実施形態に係るダブルバッファリング処理を示す説明図であり、図７は、本実施形態に係るテンプレート比較手法を示す説明図である。また、図８〜１０は、本実施形態に係る適合率に応じて表示される表示情報を示す説明図である。

【0081】

音再生手段４は、図３に示すように、音響を再生する手段であり、音声信号や音声ファイルを読み出して再生する制御部４１と、音声信号や音声ファイルを外部に音響として出力するスピーカー４２と、音声信号や音声ファイルを一時的に記憶するバッファ４３ａ及び４３ｂからなる。制御部４１は、オーディオアンプ等の音楽再生用の電子回路であり、各種の記録メディアに記録された音声信号や音声ファイルを読み出して、アンプ等によって音声信号や音声ファイルを増幅させてスピーカー４２に入力する。スピーカー４２は、音声信号や音声ファイルを物理振動に変換して外部に出力する機器である。

【0082】

制御部４１は、特定音響を再生する際、図６に示すように、バッファ４３ａ及びバッファ４３ｂを用いて、ダブルバッファリング処理を行っている。本実施形態では、２つのバッファ４３ａ及び４３ｂに同一の生波形データを保持させて、この生波形データを制御部４１の再生デバイスに入力して交互に音を出力させることで、再生用のデータが常に存在して音が途切れなく出力されるようにしている。

【0083】

この際、制御部４１では、図６に示すように、再生を開始して一方のバッファ４３ａが空になった時点でイベントを発生させるように関連づけておき、イベントが発生するとそのイベント内で、次のデータをバッファに用意して、その後に再生を開始する。この際、他方のバッファ４３ｂには音データが残るように制御することで、再生音は途切れること再生されることとなる。なお、本実施形態では、最初は両方のバッファ４３ａ，４３ｂを同時にセットし、次回からは交互にバッファ４３ａ，４３ｂを使うようにするものとする。

【0084】

一方、ユーザー端末１は、図３に示すように、無線インターフェース１１と、アプリケーション実行部１７と、出力インターフェース１３と、入力インターフェース１２と、メモリ１５と、音響取得部１６と、音源テンプレート受信部１４とを備えている。

【0085】

無線インターフェース１１は、通話やデータ通信を行うための移動通信用のプロトコルによる無線通信機能と、例えば無線ＬＡＮ等のデータ通信用のプロトコルによる無線通信機能とを備えている。なお、この無線インターフェースは、モバイルコンピューターやＰＤＡにおいては、無線ＬＡＮアダプタ等により実現することができる。なお、この無線インターフェース１１には、Ｗｉｆｉ等の無線ＬＡＮの他、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信のインターフェースが含まれる。

【0086】

出力インターフェース１３は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特に、この出力インターフェース１３には、液晶ディスプレイなどの表示部１３ａが含まれており、アプリケーションにより構築されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）がこの表示部１３ａに表示される。

【0087】

入力インターフェース１２は、操作ボタンやタッチパネルなどユーザー操作を入力するデバイスである。また、入力インターフェース１２は、外部から出力され、評価対象となる評価音響信号を取得するマイク１２ａを備えている。このマイク１２ａで取得した評価音響信号は、データ変換されて音響取得部１６に入力される。この「評価音響信号」とは、外部から出力された各種の音響が混ざり合った音響信号であり、雑音内に特定音響信号が含まれている信号や、特定音響信号が含まれず雑音のみの信号である場合も含まれる。また、「評価音響信号の取得」としては、マイク等の音響デバイスを用いて音響を直接電気信号として取得する他、無線・有線の通信により音声信号や音声ファイルとして取得する場合が含まれる。評価音響信号内には、特定音響信号と雑音の音響信号とが交ざり合った信号である。

【0088】

メモリ１５は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ１５内には、管理サーバー２から配信された音源テンプレートＤ１と、音源テンプレートＤ１に関連づけられたイベント情報Ｄ２がイベントデータベース１５１に記憶されている。なお、これらのデータは、テンプレート識別子及びイベント識別子に基づいて関連づけられている。また、メモリ１５内には、本発明に係る音響信号検出プログラムが管理サーバー２からダウンロードされて蓄積されているものとする。

【0089】

音源テンプレート受信部１４は、通信ネットワーク５を通じて音源テンプレートＤ１と、当該音源テンプレートＤ１に基づいて発生させるべきベントに関するイベント情報Ｄ２とを受信するモジュールであり、この音源テンプレート受信部１４は、音源テンプレートＤ１を取得する音源テンプレート取得部としての機能を有している。取得した音源テンプレートＤ１及びイベント情報Ｄ２は、イベントデータベース１５１に蓄積される。

【0090】

音響取得部１６は、マイク１２ａから入力された音響を取得し、当該音響を評価音響信号、若しくは特定音響信号として出力するモジュールである。音響取得部１６においても、音声取り込み処理としてダブルバッファリング処理を実行しており、入力される同一の評価音響信号をふたつのバッファに対して時間をずらして記録して音抜けを防止している。

【0091】

そして、評価音響信号として取得された信号は、評価対象変換部１７１に入力され、特定音響信号として取得された信号は、音源テンプレート生成部１７５に入力される。この入力先の決定は、当該音響信号プログラムが起動され、音源テンプレートＤ１を作成メニュー、若しくはテンプレート比較メニューのいずれかが選択されることで決定される。

【0092】

アプリケーション実行部１７は、一般のＯＳやブラウザソフト、電子メール、画像表示ソフトなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。このアプリケーション実行部１７で管理サーバー２からダウンロードした音響信号検出プログラムを実行することにより、ＣＰＵ上に評価対象変換部１７１と、テンプレート比較部１７２と、適合率出力部１７３と、イベント発生管理部１７４と、受信管理部１７６と、音源テンプレート生成部１７５との機能モジュールが仮想的に構築される。

【0093】

評価対象変換部１７１は、音響取得部１６から取得された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化されて時系列で記録された比較先テンプレートＤ３を生成するモジュールである。

【0094】

より具体的に、評価対象変換部１７１は、音の周波数帯域を１２音階平均率にまるめて音階テーブルを作成し、その音階テーブルの中から、あるしきい値を超えた値の中で、音量（Ａｍｐｌｉｔｕｄｅ）最大Ｍ個を抜き出して比較先テンプレートＤ３として生成する。この評価先テンプレートでは、Ｎ＜Ｍとなるように設定するものとする。また、比較先テンプレートＤ３は、高調派成分を含むものとする。

【0095】

そして、各窓幅（ｂｌｏｃｋ数）で同じ処理を行い、音源テンプレートＤ１を作成する。この際、評価対象変換部１７１は、リアルタイム処理を行うため、音源テンプレート生成とは異なり、同じ個数を想定する。このような処理により、図４（ｃ）に示すような比較先テンプレートＤ３が生成される。

【0096】

テンプレート比較部１７２は、比較先テンプレートＤ３と音源テンプレートＤ１とを比較して、二値化された音響信号の分布の適合率を算出するモジュールである。具体的に、テンプレート比較部１７２は、イベントデータベース１５１から図４（ｂ）に示す音源テンプレートＤ１を取り出して、図４（ｃ）に示すような比較先テンプレートＤ３に対して、１窓幅（ｂｌｏｃｋ数）ずつずらしながら比較して適合率を算出する。

【0097】

ここで、上記評価対象変換部１７１、テンプレート比較部１７２による処理は、入力される比較先テンプレートＤ３をＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式で持つことで、リアルタイムで実行されるようになっている。具体的には、図７に示すように、評価対象変換部１７１に入力された評価音響信号は、ダブルバッファリング処理が実行されて、ブロック幅単位でテンプレート化処理される。そして、予め分析済みの音源テンプレートＤ１と同じ長さのテンプレート幅分を有するデータをＦＩＦＯ方式で保持しつつ、保持分の比較先テンプレートＤ３を音源テンプレートＤ１と比較して、適合率出力部１７３によって適合率を算出する。なお、適合率出力部１７３において、音源テンプレートＤ１と比較して適合率を算出している間も、比較先テンプレートＤ３の生成はリアルタイムで行っている。

【0098】

適合率出力部１７３は、テンプレート比較部１７２により算出された適合率に応じた比較結果信号を出力するモジュールである。本実施形態では、適合率が完全一致であるか否かによって比較結果を分けてもよく、また、適合率を複数段階に分け、その適合率の割合に応じて比較結果を変化させてもよい。このように比較結果信号を適合率の割合に応じて変化させることで、イベント発生のトリガーとなる特定音響信号が近くにあることを知らせる音レーダー機能を実行可能となる。

【0099】

具体的に、音レーダー機能を実行する場合には、音レーダー用の適合率を算出する。この適合率の算出は、時間を無視した周波数帯域だけのテンプレート適合率を［Ｍ＿ａ］とし、時間を考慮したテンプレート適合率を［Ｍ＿ｔ］とし、重み付け係数を［α］とすると、
（式１）音レーダー用適合率＝Ｍ＿ａ＋ α＊Ｍ＿ｔ
によって算出される。

【0100】

イベント発生管理部１７４は、適合率出力部１７３から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートＤ１のテンプレート識別子についてイベントデータベース１５１を照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるモジュールである。このイベント発生管理部１７４は、適合率出力部１７３から出力された比較結果信号に基づき、適合率に応じたグラフィックの表示を行うように制御する適合率表示部１７４ａを有している。

【0101】

例えば、適合率表示部１７４ａは、適合率出力部１７３において適合率が完全一致か否かのみ判断された場合には、検出成功の比較結果信号を取得した場合、図８（ａ）に示すようなキャラクターを表示部１３ａの画面上に表示させ、適合率が満たさず検出失敗の比較結果信号を取得した場合、図８（ｂ）に示すようなキャラクターを表示部１３ａの画面上に表示させる。

【0102】

一方、音レーダー機能によって、音レーダー用適合率を算出した場合には、その適合率に応じた比較結果信号が入力され、イベント発生管理部１７４では、その比較結果に応じてイベントを変更して、画面上の表示も変化させる。

【0103】

この処理を実行する場合には、所定のしきい値に応じて音響信号の有無を変化させた複数の音源テンプレートＤ１を用いるものとし、その信号強度の強弱に応じて段階的に比較結果信号を変化させる。具体的に、適合率が低い場合には、適合率表示部１７４ａは、図９（ａ）に示すように「特定音響信号が聞こえない」表情のキャラクターを表示させる。また、ある程度の適合率である場合には、図９（ｂ）に示すように「特定音響が近くにある」表情のキャラクターに変化させる。そして、適合率が完全一致である場合には、図９（ｃ）に示すように「イベント発生可能」である表情のキャラクターを表示させて、その後にイベント情報を表示させる。なお、イベント発生までの適合率に達していない場合には、入力される音響信号の強弱や入力方向を検出して、特定音響までの距離や方向を示すように目のサイズや口の動きを変化させるようにしてもよい。

【0104】

入力方向を検出する手法としては、例えば、テンプレートとの比較結果において適合している音量の総計を、テンプレート中の適合ブロックの総計として算出し、そのブロック数の変遷を履歴として記録し、前回の算出結果と、今回の算出結果のブロックの総計を比較する方法が挙げられる。この方法では、前回と今回の適合ブロック数を比較し、その比較において、ブロック数が増加していれば近づいていると判断し、減少していれば遠くなっていると判断する。他の手法としては、音声を取得するマイクデバイスを指向性のものにすることにより、より明確に方向性を検出することができ、さらに複数マイクを用いて、ビームフォーミニングを用い、左右の音声の強弱により音源方向を特定するようにしてもよい。また、端末に、ＧＰＳやコンパス、ジャイロ等の位置情報取得手段が備えられている場合には、端末の移動方向と、音響信号の強度変化から、入力方向を特定するようにしてもよい。

【0105】

このような音レーダー機能を実行することで、サービスを提供する音源テンプレートＤ１がユーザーの傍にあることや、その場所に近づいているか否かをユーザーに通知して誘導することができる。

【0106】

また、適合率表示部１７４ａは、生成した比較先テンプレートＤ３を、図１０（ａ）及び（ｂ）に示すように、音響信号の有無を音階平均率で区分けし、音響信号の分布を同心円の形状で表示させてもよい。この表示情報は、１周が１オクターブを表し、外周の円ほど高周波数（高いオクターブ領域）を表示するようになっている。この場合でも、特定音響までの距離や方向を示すように表示を変化させてもよい。

【0107】

音源テンプレート生成部１７５は、ユーザー端末１側で、特定音響信号に基づいて、音源テンプレートＤ１を生成するモジュールである。この音源テンプレートＤ１の作成は、管理サーバー２における音源テンプレート生成部２２２と同様な処理によって生成され、しきい値に応じて音響信号の有無を抽出する処理を実行することもできる。

【0108】

受信管理部１７６は、音源テンプレート受信部１４が受信した音源テンプレートＤ１のテンプレート識別子と、このテンプレート識別子に基づいて発生させるべきイベントに関する情報Ｄ２とを関連づけて、イベントデータベース１５１に登録させるモジュールである。

【0109】

（音響信号検出方法）
次いで、本発明の音響信号検出方法について説明する。図１１は、音響信号検出システムの動作の概要を示すフローチャート図である。なお、本実施形態では、管理サーバー２においてユーザー登録が完了されているものとする。

【0110】

評価の対象となる評価音響信号中に含まれる特定音響信号を検出する音響信号検出方法では、先ず、イベント生成部２２３は、ユーザーに対して発生させるイベントに関するイベント情報Ｄ２を生成する（Ｓ１０１）。このイベント情報Ｄ２は、イベントを識別するイベント識別子に関連づけてイベントデータベース２４に蓄積する。

【0111】

次いで、音源テンプレート生成部２２２において、特定音響信号を取得し（Ｓ１０２）、特定音響信号に基づいて、音源テンプレートＤ１を生成する音源テンプレート生成処理を行う（Ｓ１０３）。この際、音源テンプレートＤ１の生成処理では、特定音響信号について、音源テンプレートＤ１を生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出するようにしてもよい。なお、しきい値は、発生させるべきイベントの種類に応じて異なる値に設定されている。

【0112】

生成された音源テンプレートＤ１は、音源テンプレートＤ１を識別するテンプレート識別子が付加されて音源テンプレートデータベース２５に蓄積される。この際、配信管理部２２４は、音源テンプレートＤ１を識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて、イベントデータベース２４に記憶させるデータベース制御処理を行う（Ｓ１０３）。この際、配信管理部２２４は、ユーザー情報データベース２３を参照して、配信先となるユーザー端末１が所持するユーザーの属性情報（性別、年齢、又は趣向情報）に基づいて、イベント情報Ｄ２を選択するように制御してもよい。

【0113】

その後、管理サーバー２が主導で、若しくは、ユーザー端末１から音源テンプレートＤ１を要求する信号を取得した場合に、音源テンプレート配信部２２４ａは、音源テンプレートＤ１を、通信ネットワーク５を通じて配信する音源テンプレート配信処理を実行する（Ｓ１０５）。この際、配信管理部２２４は、この音源テンプレートＤ１に基づいて発生させるべきイベント情報Ｄ２についても合わせて配信してもよく、発生すべきイベントが変更された場合には、新しいイベント情報Ｄ２をユーザー端末１に配信する。新たなイベント情報Ｄ２を配信した場合、配信管理部２２４は、テンプレート識別子に、発生させるべきイベントを関連づけてイベントデータベース２４に更新登録する。

【0114】

ユーザー端末１では、音源テンプレート受信部１４によって、音源テンプレートＤ１と当該音源テンプレートＤ１に基づいて発生させるべきイベント情報Ｄ２とを受信すると（Ｓ１０６）、受信管理部１７６の制御によって、音源テンプレートＤ１を識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけてイベントデータベース１５１に記憶させる（Ｓ１０７）。その後、音響信号検出プログラムを起動させて、音再生手段４のスピーカー４２から所定の音が出力されている状態で（Ｓ１０８）、マイク１２ａから外部の音響を読み取らせる（Ｓ１０９）。

【0115】

ユーザー端末１の音響取得部１６は、この音響を評価音響信号として取得し、取得された評価音響信号を評価対象変換部１７１に入力する。評価対象変換部１７１では、この評価音響信号に基づいて、比較先テンプレートＤ３を生成する評価対象変換する処理を実行する（Ｓ１１０）。

【0116】

比較先テンプレートＤ３がＦＩＦＯ方式によって生成されると、その比較先テンプレートＤ３はテンプレート比較部１７２に入力される。テンプレート比較部１７２では、比較先テンプレートＤ３と音源テンプレートＤ１とを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較処理を実行する（Ｓ１１１）。

【0117】

テンプレート比較処理により算出された適合率は適合率出力部１７３に入力され、適合率出力部１７３では、その適合率に応じた比較結果信号を出力する適合率出力処理を実行する（Ｓ１１２）。適合率出力処理によって出力された比較結果信号は、イベント発生管理部１７４に入力される。

【0118】

イベント発生管理部１７４では、出力された比較結果信号に基づいて、イベント発生の有無を判断する（Ｓ１１３）。なお、このイベント発生の有無は、例えば、比較結果信号が両テンプレートについて完全一致しているか、若しくは一致度が所定のしきい値以上であるか否かなどに基づいて判断される。なお、この一致の程度に応じて発生させるイベントを選択するようにしてもよく、これにより、目標とする音源が遠い場合と、近い場合とで表示するメッセージや起動するアプリケーションを切り換えることができる。

【0119】

なお、ここでのイベントとは、プログラム上における例外処理や、分岐処理など、一定の要件が満たされることを条件として発生する処理であり、このイベントにより発生された処理によって提供されるシステムやサービスもここで言う「イベント」に含まれる。例えば、特定の音源を検出した場合に、音声やテキスト表示によるメッセージ出力や、画像・動画の再生、アプリケーションの起動など種々の情報処理サービスも、ここでのイベントに含まれる。

【0120】

ステップＳ１１３において、イベントを発生しないと判断した場合には（Ｓ１１３における“Ｎ”）、イベントを発生させることなく、ステップＳ１０８〜Ｓ１１２までの処理を繰り返す。一方、イベントを発生すると判断した場合には、（Ｓ１１３における“Ｙ”）、当該比較結果信号に係る音源テンプレートＤ１のテンプレート識別子についてイベントデータベース２４を照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理処理を実行する（Ｓ１１４）。この際、適合率表示部１７４ａでは、適合率出力処理により出力された比較結果信号に基づき、適合率に応じたグラフィックの表示を行う（Ｓ１１５）。

【0121】

その後、イベント発生、若しくはユーザー操作によって特定音響検出の処理が選択されるまで（Ｓ１１６における“Ｎ”）、ステップＳ１０８〜ステップＳ１１５までの処理を繰り返し、特定音響検出の処理終了が選択された場合には（Ｓ１１６における“Ｙ”）、終了する。

【0122】

（音響信号検出プログラム）
上述した第１実施形態係る音響信号検出システム、音響信号検出装置、音響信号検出サーバー、及びオブジェクト制御方法は、所定の言語で記述されたプログラムをコンピューター上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバー等のコンピューターやＩＣチップにインストールし、ＣＰＵ２上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。

【0123】

そして、このようなプログラムは、パーソナルコンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述した音響信号検出システム、音響信号検出装置、音響信号検出サーバー、及びオブジェクト制御方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。

【0124】

（作用・効果）
このような本実施形態によれば、特定音響信号を、音階平均律に基づいてその周波数帯域における信号の有無を抽出して生成したテンプレート同士の比較により行うため、複雑な演算処理を要することなく音源とのマッチング処理を行うことができ、データをダウンサイズすることによる高速演算によってリアルタイム処理が可能となる。また、音響信号の有無を、二値化されたテンプレートによって検出することから、雑音下での検出が可能となる。これらの結果、例えば、店舗内で放送されているテーマソングなどを検出した場合にクーポンやポイントを配布するなどのように、特定の音響検出をトリガーとしたサービスを提供することができ、サービスの多様化、充実化を図ることができる。

【0125】

また、本実施形態では、特定音響の検出に用いられる音源テンプレートＤ１と任意のイベントとを関連づけておくことで、ユーザー端末１における特定音響の検出をトリガーとしたイベントを発生させることができる。また、いずれのユーザーが、どこでどのような音響を検出したかについての情報を収集することができ、リアルなユーザー動向を調査することができ、ビックデータの構築によるマーケティングの充実を図ることができる。特に、本実施形態では、ユーザー端末自体が主導となって、特定音響信号を検出して比較結果を算出しているので、通信ネットワーク５上に配置されるサーバー装置等に依存することなく、よりリアルタイム処理が可能となる。

【0126】

また、本実施形態によれば、音源テンプレート生成部２２２は、音源テンプレートＤ１を生成する際、各音階における信号強度を検出し、検出された音響信号が、イベントの種類に応じて異なる値に設定されたしきい値を上回るか否かに基づいて音響信号の有無を抽出しているので、しきい値の値を変えて音源テンプレートＤ１を作成することにより、同じ特定音響が検出される場合であっても、音源テンプレートＤ１の種類によって異なるイベントを発生させることができる。これにより、例えば、家族で同時に同じ店舗に入り、同じ特定音響を検出したとしても、大人と子供では異なるイベントを発生させるなど、年齢や性別などユーザーの特定に適したサービスを提供することができる。

【0127】

また、本実施形態によれば、音源テンプレート配信部２２４ａが配信した音源テンプレートＤ１のテンプレート識別子と、発生させるべきイベントとを関連づけてイベントデータベース２４に登録しているので、例えば、インターネット上のサーバーから、Ｗｅｂページや電子メール等を介して音源テンプレートＤ１を配信し、その音源テンプレートＤ１ごとにイベントを関連づけておくことができ、Ｗｅｂ上のサービスと実店舗でのサービスを密接にリンクさせることができ、サービスの精細化を図ることができる。

【0128】

また、本実施形態では、適合率表示部１７４ａは、適合率出力部１７３から出力された比較結果信号に基づき、適合率に応じたグラフィックの表示を行っているので、イベントの１つとして適合率の表示を行うことによって、操作者は適合率を視認することができ、音源までの距離を視覚的に確認することができる。これにより、例えば、特定音響までの距離や方向を示す音源レーダーのような仕組みを構築することができ、雑音の多い環境であっても、ユーザーを音源の位置まで誘導することができ、この仕組みを利用したゲーム性の高い種々のサービスを提供することができる。

【0129】

［第２実施形態］
上述した実施形態では、音響信号検出プログラム、音源テンプレートＤ１及びイベント情報Ｄ２等をユーザー端末に保持させて、スタンドアローン形式で音響信号を検出する処理を実行するようにしたが、本発明はこれに限定されるものではなく、通信ネットワーク５上に配置されたサーバーにおいて、これらの処理を実行するようにしてもよい。図１２は、第２実施形態に係る音響信号検出システムの全体構成を示す概念図である。なお、第２実施形態において、上述した第１実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。

【0130】

（音響信号検出システムの概要）
図１１に示すように、本実施形態に係る音響信号検出システムは、通信ネットワーク５上に配置された、機能の異なるサーバー群６及び７と、無線基地局３と、無線基地局３を通じて無線通信が可能なユーザー端末１Ａとを備えている。

【0131】

ユーザー端末１Ａは、上述した第１実施形態と同様なＣＰＵを備えた演算処理機能、及び無線通信機能を有した携帯可能な情報処理端末であり、基地局等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。また、ユーザー端末１Ａは、アプリケーションソフトの実行機能等を備えるとともに、外部から音響信号を取得するマイクを備えており、このマイクによって外部の音響を音声信号や音声ファイルとして取得する。

【0132】

サーバー群６及び７は、処理機能が異なる一般的なサーバー装置である。本実施形態では、両テンプレートの比較を行う複数のテンプレート比較サーバー７（７ａ〜７ｎ）と、ユーザー端末１Ａとテンプレート比較サーバー７との間に位置し、負荷分散を行う複数の制御管理サーバー６（６ａ〜６ｎ）とから構成される。また、制御管理サーバー６は、テンプレート比較サーバー７から取得した比較結果に応じて、ユーザー端末に対してイベントを発生させる機能も備えている。

【0133】

このような制御管理サーバー６（６ａ〜６ｎ）及びテンプレート比較サーバー７（７ａ〜７ｎ）は、提供するサービスの種類に応じて、テンプレート比較やイベント発生の処理を行うように複数のサーバー装置で構成されているものとする。

【0134】

そして、本実施形態では、ユーザー端末１Ａが外部から評価音響信号を取得し、その評価音響信号のデータ形式そのまま、通信ネットワーク５上に送信することで、制御管理サーバー６及びテンプレート比較サーバー７によって、特定音響信号の検出処理が実行され、その比較結果がユーザー端末１Ａに返信されてイベントが発生されるようになっている。

【0135】

（各装置の内部構造）
次いで、上述した音響信号検出システムを構成する各装置の内部構造について説明する。図１２は、第２実施形態に係るユーザー端末１Ａの内部構成を示すブロック図であり、図１３は、第２実施形態に係る制御管理サーバー及びテンプレート比較サーバーの内部構成を示すブロック図である。

【0136】

（１）ユーザー端末
先ず、ユーザー端末１Ａの内部構造について説明する。図１２に示すように、ユーザー端末１Ａには、無線インターフェース１１と、アプリケーション実行部１８と、出力インターフェース１３と、入力インターフェース１２と、メモリ１５と、音響取得部１６とを備えている。

【0137】

音響取得部１６は、上記同様、マイク１２ａから入力された音響を取得し、当該音響を評価音響信号、若しくは特定音響信号として出力するモジュールである。本実施形態においては、これらの信号は、音響送信部１８１に送信される。アプリケーション実行部１８は、一般のＯＳやブラウザソフト、電子メール、画像表示ソフトなどのアプリケーションを実行するモジュールであり、本実施形態においてもＣＰＵ等により実現される。このアプリケーション実行部１８で管理サーバー２からダウンロードした音響信号検出プログラムを実行することにより、本実施形態では、音響送信部１８１と、イベント実行部１８２とが構成される。

【0138】

音響送信部１８１は、音響取得部１６から取得した評価音響信号、若しくは特定音響信号をＩＰパケット化するなどして、ユーザー端末１Ａを識別するユーザー識別子とともに、制御管理サーバー６に送信するモジュールである。なお、配信先となる制御管理サーバー６（６ａ〜６ｎ）は、ユーザー登録をしたサーバー装置であるものとする。

【0139】

イベント実行部１８２は、制御管理サーバー６から送られた、比較結果に基づいて選出されたイベント情報Ｄ２を取得して、当該イベント情報Ｄ２に応じて所定のイベントを実行するモジュールである。本実施形態においても実行されるイベントとは、音声やテキスト表示によるメッセージ出力や、画像・動画の再生、アプリケーションの起動など種々の情報処理サービスが挙げられ、取得するイベント情報Ｄ２とは、クーポン情報、チケット情報、プレゼント情報、乗り換え案内情報、目的地である旨を通知する通知情報などである。そして、イベント実行部１８２は、このイベント情報Ｄ２を用いて、表示部１３ａにイベントに関する表示情報を表示させる。

【0140】

（２）制御管理サーバー及びテンプレート比較サーバーの内部構成
次いで、制御管理サーバー６及びテンプレート比較サーバー７の内部構成について説明する。本実施形態において、制御管理サーバー６は、ユーザー管理機能と、音源テンプレート作成機能、比較先テンプレート作成機能と、イベント発生管理機能とを有しており、ユーザー登録部６２と、評価対象変換部６３と、イベント発生管理部６４と、イベント生成部６５と、音源テンプレート生成部６８と、配信管理部６９と、通信部６１と、ユーザー情報データベース６７と、イベントデータベース６６とを備えている。

【0141】

ユーザー登録部６２は、本システムを受けるためのユーザー登録を受け付けるモジュールである。このユーザー登録部６２は、ユーザーの各種情報を取得すると、ユーザーを特定するための識別子を付与してユーザー情報データベース６７に記録する。ユーザー情報データベース６７には、ユーザーを識別する識別子に、ユーザー端末の電話番号、及びメールアドレスの他、ユーザーの年齢、性別、住所、及び趣向情報などの属性情報や、音響検出を実行した履歴情報が関連づけて記録されている。

【0142】

評価対象変換部６３は、ユーザー端末１Ａから送信された評価音響信号について、所定の周波数帯域における音響信号の有無を音階平均率に基づいて抽出し、音響信号の分布及びその時間的変化が、音階ごとに二値化されて時系列で記録された比較先テンプレートＤ３を生成するモジュールである。この具体的処理については、第１実施形態と同様であるため省略する。

【0143】

イベント生成部６５は、ユーザーに提供すべきイベント情報Ｄ２を生成するモジュールであり、生成したイベント情報Ｄ２を識別するイベント識別子に関連づけてイベントデータベース６６に蓄積する。

【0144】

音源テンプレート生成部６８は、例えば、クーポンを発行するサービス提供側から取得した特定音響信号に基づいて音源テンプレートＤ１を生成するモジュールであり、生成した音源テンプレートＤ１にはテンプレート識別子が付加される。なお、本実施形態においても、音源テンプレート生成部６８は、音源テンプレートＤ１を生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出するようにしてもよい。そして、そのしきい値は、発生させるべきイベントの種類に応じて異なる値に設定されている。

【0145】

配信管理部６９は、各種のデータを通信ネットワーク上に配信する制御を管理するモジュールであり、音源テンプレート配信部６９ａを備えている。音源テンプレート配信部６９ａは、音源テンプレート生成部６８が生成した音源テンプレートを、テンプレート比較部７４を有するテンプレート比較サーバー７に対し、通信ネットワーク５を通じて配信するモジュールであり、本実施形態では、テンプレート識別子を付加した状態で送信する。

【0146】

また、配信管理部６９は、音源テンプレート配信部６９ａが配信した音源テンプレートＤ１のテンプレート識別子と、発生させるべきイベントとのイベント識別子を関連づけてイベントデータベース６６に記憶する。なお、本実施形態では、制御管理サーバー６において音源テンプレートＤ１を生成して保存する構成としたが、本発明は、これに限定するものではなく、テンプレート比較サーバー７において、音源テンプレートＤ１を生成して蓄積してもよい。

【0147】

イベントデータベース６６は、ユーザーに対して発生させるイベント情報Ｄ２を蓄積する装置であり、イベントを識別するイベント識別子が付加されて記憶されるとともに、音源テンプレートＤ１を識別するテンプレート識別子と、発生させるべきイベントを識別するイベント識別子とを関連づけて記憶されている。

【0148】

イベント発生管理部６４は、テンプレート比較サーバー７の適合率出力部７５から出力された比較結果信号に基づき、当該比較結果信号に係る音源テンプレートＤ１のテンプレート識別子についてイベントデータベース６６を照合し、発生させるべきイベントを選出し、選出されたイベントに関する情報をユーザー端末１Ａに通知するモジュールである。

【0149】

このイベント発生管理部６４には、テンプレート比較サーバー７の適合率出力部から出力された比較結果信号に基づき、適合率に応じたグラフィックの表示を行うための制御信号、を通信ネットワーク５を通じてユーザー端末１Ａに送出する適合率表示制御部６４ａを有している。通信部６１は、通信ネットワーク５を通じて、ユーザー端末１Ａ及びテンプレート比較サーバー７との間でデータの送受信を行う通信インターフェースである。

【0150】

次いで、テンプレート比較サーバー７について説明する。本実施形態において、テンプレート比較サーバー７は、テンプレート比較機能と、適合率出力機能とを有しており、音源テンプレート取得部７２と、テンプレート比較部７４と、適合率出力部７５と、音源テンプレートデータベース７３と、通信部７１とを備えている。

【0151】

音源テンプレート取得部７２は、制御管理サーバー６において生成された音源テンプレートを取得するモジュールであり、関連づけられたテンプレート識別子に基づいて音源テンプレートデータベース７３に記憶する。通信部７１は、通信ネットワーク５を通じて、制御管理サーバー６との間でデータの送受信を行う通信インターフェースである。

【0152】

音源テンプレートデータベース７３は、特定音響信号について生成された音源テンプレートＤ１を蓄積する蓄積装置であり、音源テンプレートＤ１に音源テンプレートＤ１を識別するテンプレート識別子が関連づけられて記憶されている。

【0153】

テンプレート比較部７４は、比較先テンプレートＤ３と音源テンプレートＤ１とを比較して、二値化された音響信号の分布の適合率を算出するモジュールである。適合率出力部７５は、テンプレート比較部７４により算出された適合率に応じた比較結果信号を、通信ネットワーク５を介して制御管理サーバー６に送出するモジュールである。なお、テンプレート比較部７４及び適合率出力部７５の具体的な処理は、第１実施形態と同様であるため、その説明は省略する。また、第１実施形態で説明したリアルタイム処理やダブルバッファリング処理などを含む各処理についても、本実施形態では実行されているものとし、その説明は省略する。

【0154】

（音響信号検出方法）
次いで、第２実施形態に係る音響信号検出方法について説明する。図１５は、音響信号検出システムの動作の概要を示すフローチャート図である。なお、本実施形態においても、制御管理サーバー６においてユーザー登録が完了されているものとする。

【0155】

本実施形態に係る音響信号検出方法では、先ず、イベント生成部６５において、ユーザーに対して発生させるイベントに関するイベント情報Ｄ２を生成する（Ｓ２０１）。このイベント情報Ｄ２は、イベントを識別するイベント識別子に関連づけてイベントデータベース６６に蓄積する。

【0156】

次いで、音源テンプレート生成部６８において、特定音響信号を取得し（Ｓ２０２）、特定音響信号に基づいて、音源テンプレートＤ１を生成する音源テンプレート生成処理を行う（Ｓ２０３）。この際、音源テンプレートＤ１の生成処理では、特定音響信号について、音源テンプレートＤ１を生成する際、各音階における信号強度を検出し、検出された音響信号が所定のしきい値を上回るか否かに基づいて音響信号の有無を抽出するようにしてもよい。なお、しきい値は、発生させるべきイベントの種類に応じて異なる値に設定されている。その後、生成された音源テンプレートＤ１は、音源テンプレートＤ１を識別するテンプレート識別子が付加され、音源テンプレート配信部６９ａによって、テンプレート比較サーバー７に対して配信される（Ｓ２０４）。

【0157】

この際、配信管理部６９では、音源テンプレート配信部６９ａが配信した音源テンプレートＤ１のテンプレート識別子と、発生させるべきイベントとのイベント識別子を関連づけてイベントデータベース６６に記憶するデータベース制御処理を行う（Ｓ２０５）。テンプレート比較サーバー７では、音源テンプレート取得部７２が、送信された音源テンプレートＤ１を取得し（Ｓ２０６）、関連づけられたテンプレート識別子に基づいて音源テンプレートデータベース７３に記憶する（Ｓ２０７）。

【0158】

その後、音再生手段４のスピーカー４２から所定の音が出力されている状態で（Ｓ２０８）、音響信号検出プログラムが起動されると、マイク１２ａから外部の音響が読み取られる。ユーザー端末１Ａの音響取得部１６は、この音響を評価音響信号として取得し、取得された評価音響信号は、音響送信部１８１を介して制御管理サーバー６へ送信される（Ｓ２０９）。制御管理サーバー６の評価対象変換部６３では、この評価音響信号を取得し（Ｓ２１０）、比較先テンプレートＤ３を生成する評価対象変換する処理を実行する（Ｓ２１１）。なお、ユーザー端末１から配信された評価音響信号にはユーザー識別子が付加され、いずれのユーザー端末１Ａから送られてきたかが判別可能となっており、このユーザー識別子に基づいて相互通信されるようになっている。

【0159】

比較先テンプレートＤ３が生成されると、その比較先テンプレートＤ３は通信ネットワーク５を介してテンプレート比較サーバー７へ配信される（Ｓ２１２）。テンプレート比較サーバー７が比較先テンプレートＤ３を取得すると（Ｓ２１３）、そのデータは、テンプレート比較部７４に入力される。テンプレート比較部７４では、比較先テンプレートＤ３と音源テンプレートＤ１とを比較して、二値化された音響信号の分布の適合率を算出するテンプレート比較処理を実行する（Ｓ２１４）。

【0160】

テンプレート比較処理により算出された適合率は適合率出力部７５に入力され、適合率出力部７５では、その適合率に応じた比較結果信号を出力する適合率出力処理を実行する（Ｓ２１５）。適合率出力処理によって出力された比較結果信号は、通信ネットワーク５を介して、制御管理サーバー６へ送信される。

【0161】

制御管理サーバー６では、その結果信号がイベント発生管理部６４に入力され、イベント発生管理部６４では、出力された比較結果信号に基づいて、イベント発生の有無を判断する（Ｓ２１６）。なお、このイベント発生の有無は、例えば、比較結果信号が両テンプレートが完全一致しているか、若しくは所定のしきい値以上であるか否かなど、発生させるべきイベントに応じて選択される。イベントを発生しないと判断した場合には、（Ｓ２１６における“Ｎ”）、イベントを発生させることなく、ステップＳ２０８〜Ｓ２１５までの処理を繰り返す。

【0162】

一方、イベントを発生すると判断した場合には、（Ｓ２１６における“Ｙ”）、当該比較結果信号に係る音源テンプレートＤ１のテンプレート識別子についてイベントデータベース６６を照合し、発生させるべきイベントを選出し、選出されたイベントを発生させるイベント発生管理処理を実行する（Ｓ２１７）。具体的には、ユーザー識別子に基づいて、ユーザー端末１Ａに対し、イベント情報Ｄ２を配信する。この際、適合率表示制御部６４ａでは、適合率出力処理により出力された比較結果信号に基づき、適合率に応じたグラフィックの表示制御を行う表示制御信号も送信する。

【0163】

次いで、ユーザー端末１Ａのイベント実行部１８２は、イベント情報Ｄ２及び、表示制御信号に基づいて、表示部１３ａ上に比較結果に応じたグラフィックを表示させる（Ｓ２１８）。その後、イベント発生、若しくはユーザー操作によって特定音響検出の処理が選択されるまで（Ｓ２１９における“Ｎ”）、ステップＳ２０８〜ステップＳ２２０までの処理を繰り返し、特定音響検出の処理終了が選択された場合には（Ｓ２１９における“Ｙ”）、終了する。

【0164】

（音響信号検出プログラム）
上述した第２実施形態係る音響信号検出システム、音響信号検出装置、音響信号検出サーバー、及びオブジェクト制御方法についても、所定の言語で記述されたプログラムをコンピューター上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバー等のコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。

【0165】

そして、このようなプログラムは、パーソナルコンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述した音響信号検出システム、音響信号検出装置、音響信号検出サーバー、及びオブジェクト制御方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。

【0166】

（作用・効果）
このような本実施形態においても、特定音響信号を、音階平均律に基づいてその周波数帯域における信号の有無を抽出して生成したテンプレート同士の比較により行うため、複雑な演算処理を要することなく音源とのマッチング処理を行うことができ、データをダウンサイズすることによる高速演算によってリアルタイム処理が可能となる。また、音響信号の有無を、二値化されたテンプレートによって検出することから、雑音下での検出が可能となる。これらの結果、例えば、店舗内で放送されているテーマソングなどを検出した場合にクーポンやポイントを配布するなどのように、特定の音響検出をトリガーとしたサービスを提供することができ、サービスの多様化、充実化を図ることができる。

【0167】

また、本実施形態では、特定音響の検出に用いられる音源テンプレートＤ１と任意のイベントとを関連づけておくことで、ユーザー端末１Ａにおける特定音響の検出をトリガーとしたイベントを発生させることができる。また、いずれのユーザーが、どこでどのような音響を検出したかについての情報を収集することができ、リアルなユーザー動向を調査することができ、ビックデータの構築によるマーケティングの充実を図ることができる。特に、本実施形態では、通信ネットワーク５上に配置されたサーバー６，７において、評価音響信号を比較先テンプレートにしたり、両テンプレートを比較して、その適合率を算出したりしているので、ユーザーが所持するユーザー端末１Ａに対する処理負担の軽減、及びメモリ容量の有効利用を図ることができる。

【0168】

また、本実施形態によれば、音源テンプレート生成部６８は、音源テンプレートＤ１を生成する際、各音階における信号強度を検出し、検出された音響信号が、イベントの種類に応じて異なる値に設定されたしきい値を上回るか否かに基づいて音響信号の有無を抽出しているので、しきい値の値を変えて音源テンプレートＤ１を作成することにより、同じ特定音響が検出される場合であっても、音源テンプレートＤ１の種類によって異なるイベントを発生させることができる。これにより、例えば、家族で同時に同じ店舗に入り、同じ特定音響を検出したとしても、大人と子供では異なるイベントを発生させるなど、年齢や性別などユーザーの特定に適したサービスを提供することができる。

【0169】

また、本実施形態によれば、音源テンプレート配信部６９ａが配信した音源テンプレートＤ１のテンプレート識別子と、発生させるべきイベントとを関連づけてイベントデータベース６６に登録しているので、例えば、インターネット上のサーバーから、Ｗｅｂページや電子メール等を介して音源テンプレートＤ１を配信し、その音源テンプレートＤ１ごとにイベントを関連づけておくことができ、Ｗｅｂ上のサービスと実店舗でのサービスを密接にリンクさせることができ、サービスの精細化を図ることができる。

【0170】

また、本実施形態では、適合率表示制御部６４ａは、適合率出力部７５から出力された比較結果信号に基づき、適合率に応じたグラフィックの表示を行う制御を行っているので、イベントの１つとして適合率の表示を行うことによって、操作者は適合率を視認することができ、音源までの距離を視覚的に確認することができる。これにより、例えば、特定音響までの距離や方向を示す音源レーダーのような仕組みを構築することができ、雑音の多い環境であっても、ユーザーを音源の位置まで誘導することができ、この仕組みを利用したゲーム性の高い種々のサービスを提供することができる。

【0171】

［各種サービス］
次いで、上述したような実施形態に係る音響信号検出システム及び方法を応用した各サービスについて以下に説明する。なお、以下のサービスは、上述した第１実施形態、及び第２実施形態で実施可能である。

【0172】

（クーポン配信サービス）
先ず、上述した各実施形態に係る音響信号検出システム及び方法をクーポン配信サービスに適用した場合を例に説明する。このクーポン配信サービスは、スーパーマーケットや家電量販店など実店舗にユーザーが来店した際、店舗のスピーカーから出力された特定の音をユーザー端末１が認識すると、そのユーザー端末１、１Ａの表示部１３ａの画面上に、クーポンやポイント情報を画面上に表示させて割引サービスを提供するものである。

【0173】

詳述すると、クーポン配信サービスにおいて「音源テンプレート」は、店舗同時のテーマソングや、タイムセール時に出力される効果音を用いるものとする。そして、この音源テンプレートＤ１に対して、発生させるべきイベントとしては、例えば、来店ポイント贈与であったり、割引サービスであったり、タイムセール情報であったりしてもよい。

【0174】

この際、例えば、ユーザーの属性に応じて、発生するイベントを変えることで、例えば、ショッピングモール内において放送されている同一のテーマソングを流した場合であっても、女性には化粧品や食料品などに関するクーポンをイベントとして発生させ、子供には玩具などに関するクーポンをイベントとして発生させ、男性には、ゴルフや家電などに関するクーポンをイベントとして発生させることができる。この場合、同一のパート部分を音源テンプレートＤ１とし、ユーザー属性に応じて、関連づけられるイベント情報を変更してもよく、また、異なるパート部分を音源テンプレートＤ１１〜Ｄ１３として生成し、それぞれの音源テンプレートに対して、異なるイベント情報を関連づけしてもよい。

【0175】

（回線品質判定サービス）
次いで、上述したような各実施形態の音響信号検出システム及び方法を回線品質判定サービスに適用した場合を例に説明する。この回線品質判定サービスは、電話の開通工事終了時において、その周囲に特定の音を出力し、ユーザー端末１，Ａ１にエコー（反響）が生じているか否かによって回線品質を判定するものである。この場合、ユーザー端末１、１Ａは、開通工事業者が所持するものである。また、この回線品質判定を行う場合、その評価式は、以下のような評価式を用いて、１０段階評価を行うものとする。

【0176】

評価式＝Ｎｏｒｍａｌｉｚｅｄ（Ｓｕｍ（Ｍ＿ｎ［ｉ］×Ａｍｐ［ｉ］）） ｒａｎｇｅ： ［０，１０］
ここで、「Ｍ＿ｎ」とは、マッチング率であり、「Ａｍｐ」とは、その時の音量（Ａｍｐｌｉｔｕｄｅ）のＡｖｅｒａｇｅ（テンプレート幅）を示すものである。なお、上式において、正規化（Ｎｏｒｍａｌｉｚｅｄ）は、必要に応じて適宜行うものであってよい。

【0177】

さらに、このサービスにおいて、表示部１３ａには、図１１（ａ）及び（ｂ）に示すように、エコーの具合に応じてキャラクターの表情を変化させて開通工事業者が判定結果を認識し易くする。具体的に、図１１（ａ）に示す画像はエコーが生じていない場合に表示され、図１１（ｂ）に示す画像は、エコーが生じている場合に表示される。なお、本実施形態では、この評価を１０段階で表すもととするが、その数は限定されるものではない。

【0178】

なお、この回線品質判定を生の音声で行う場合には、リアルタイムに音源テンプレートを作成し、上述した評価式と同じ式を用いて評価を行う。このとき、音源としての生の音声の長さに対するバッファリングする音声の長さを適宜変更することで対応することができる。

【0179】

このような実施形態によれば、本発明を回線品質サービスに用いることで、電話の開通工事の際にエコーが生じるか否かを簡易に調査することができる。

【0180】

（道案内サービス）
次いで、上述した各実施形態に係る音響信号検出システム及び方法を道案内サービスに適用した場合を例に説明する。この道案内サービスは、例えば、駅のスピーカーから出力される特定の音に基づいて、目的のプラットホーム、改札、又はトイレなどの所定の目的地まで案内を行うものである。

【0181】

このサービスで利用される「音源テンプレート」としては、例えば、駅名を連呼する音声や、各駅で流している効果音（発車オルゴール等）、その他の各駅で独自に利用している効果音が含まれる。そして、案内するべき目的地としては、例えば、所定のプラットホームや改札口、トイレの場所が含まれる。なお、このサービスでは、音響の種類及び信号強度と、目的地との関係を地図情報として蓄積し、イベント情報と関連づけておくものとする。

【0182】

この地図情報は、ユーザー端末１に蓄積してもよく、管理サーバー２、若しくは制御管理サーバー６に蓄積してもよい。管理サーバー２又は制御管理サーバー６に地図情報を保持させる場合には、アップデートが容易となる。なお、ユーザー端末１に保持させる場合には、最新のマップ情報は逐次ユーザー端末１に配信されるものとする。

【0183】

そして、このサービスに利用する場合には、上述した音レーダー機能を用い、適合率に応じて、次に行くべき場所が近いか遠いかを案内するようにする。これにより目的地へ誘導させ易くすることができる。このように本システム及び方法を道案内サービスに利用する場合には、例えば、新宿駅、渋谷駅、東京駅といった乗り換えが複雑な駅や、初めて訪れた大きな駅においても、その場所から出力される音に基づいて、適切に目的地に誘導させることができる。

【0184】

（音認証サービス）
次いで、上述したような各実施形態の音響信号検出システム及び方法を認証サービスに適用した場合を例に説明する。

【0185】

この認証サービスは、音源テンプレートＤ１をユーザーにチケットとして配布して、その音源テンプレートＤ１を用いて認証に利用するものである。このサービスで利用される「音源テンプレート」としては、例えば、会社訪問時には会社のテーマソングとなり、スポーツ観戦時には、そのチームの応援ソングとなり、コンサート鑑賞の際には、そのアーティストの楽曲が音源テンプレートとなる。また、発生するイベントとは、チケットの発行となっている。

【0186】

そして、ここでは、入口等において特定音響信号を含む音楽を流すことで、音源テンプレートＤ１をダウンロードしたユーザー端末１にのみ、イベントが発生して、画面上にチケットを表示させることができるため、入場を許可することができる。

【0187】

さらに、このサービスをコンサートチケットとして実施する場合、異なるパート部分を音源テンプレートＤ１１〜Ｄ１３として生成し、それぞれの音源テンプレートＤ１に対して、異なる内容のイベント情報（チケット内容）を関連づけしてもよい。

【0188】

これにより、例えば、ユーザーごとに異なるイベントを発生できるため、例えば、コンサート会場の座席情報をユーザーに配信させることができる。また、上記道案内サービスと同様に、音レーダー機能及び会場内の地図情報を用いることで、座席や、会場内の施設（トイレ、売店等）までの道のりを案内することもできる。

【0189】

また、所定のパートから生成した音源テンプレートＤ１１〜Ｄ１３に対してプレゼント当選のイベントを関連づけることで、コンサート中にアーティストがそのパート部分を演奏した際、所定のユーザーにプレゼント当選を通知させるサービスを実施できる。

【0190】

なお、アーティストの楽曲を音源テンプレートＤ１として配布した際、当該楽曲を着信メロディーとして利用可能とすることもできる。これにより、ユーザーにとっては、通常利用時に好きなアーティストの楽曲を着信メロディーとして取得することができるため有益となる。なお、この場合には、コンサートチケットとして使用後には、イベント識別子の関連づけを解除するものとする。また、音源テンプレートＤ１自体には、コピーガードなどの処理を行い、セキュリティを高める。

【0191】

（乗り過ごし防止サービス）
次いで、上述した各実施形態に係る音響信号検出システム及び方法を道乗り過ごし防止サービスに適用した場合を例に説明する。

【0192】

乗り過ごし防止サービスは、例えば、電車に乗っているユーザーに対して目的の駅に到着したことを通知するものである。このサービスで利用される「音源テンプレート」としては、駅名や、発車時の音、扉が開いた音、車内のアナウンス音が含まれる。なお、この際、各駅で異なる音を用いている場合には、例えば、一駅前の音を認識して次の駅が目的地であることを通知するようにしてもよい。また、駅名を認識する場合には、音声認識ではなく、あくまでイントネーション音楽としてその音から音源テンプレートＤ１を作成するものとする。

【0193】

この場合には、例えば、電車やバスに乗っている場合、目的地で出力される音を認識して、ユーザーに目的地に到着したことを通知できるので、乗り過ごしを防止することができる。

【0194】

［変更例］
なお、上述した各実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。以下に、本発明の変更例について説明する。

【0195】

（変更例１）
上述したテンプレートの比較では、二値化された音響信号が分布したテンプレートを比較して適合率を算出する手法を用いたが、本発明は、これに限定するものではなく、種々の比較方法を用いることができる。例えば、音源テンプレートＤ１において、最大音量からの差分データを利用してもよい。具体的には、先ず、音源テンプレートＤ１の各ブロックにおいて、最大音量からの差分データを算出して保存する。この際、その差分データを正規化して保存しておく。次に、テンプレートマッチングを行う。なお、テンプレートマッチングの際には、相互相関係数を計算するものとする。

【0196】

そいて、最もマッチング率の高い領域において、テンプレートと同じ周波数領域の音量（Ａｍｐｌｉｔｕｄｅ）差分データを抜き出し、音量（Ａｍｐｌｉｔｕｄｅ）差分データの正規化を行う。次いで、音源テンプレートと比較先テンプレートとを比較する。この際、差分データが大きく異なる部分（しきい値）は、ノイズとして処理をする。テンプレートマッチング率と音量（Ａｍｐｌｉｔｕｄｅ）差分マッチング率とを加算して、しきい値と比較することで比較結果を判断する。

【0197】

また、上述した実施形態に対してテンプレートのパラメータを自動で調整する機能を持たせてもよい。すなわち、この自動調節機能を有することで、信号量（ｓｉｇｎａｌ）と雑音量（ｎｏｉｓｅ）の比であるＳＮ比が異なる環境下で、最適なパラメータを自動的に動的に変更することができるので、例えば、外の環境と家の中の環境の異なる雑音レベルに対して、最適なパラメータに適応することが可能である。また、リアルタイムに動的に最適なパラメータ調整を行うことができる。

【0198】

以下に、このパラメータ自動調整について説明する。ここでは、機能学習を用いた場合と、動的パラメータを用いた場合について説明する。

【0199】

・機械学習を用いたパラメータ調整
先ず、 テンプレートを作成後、学習用データを準備する。学習用データは、テンプレート音源と雑音とが混合したものと、テンプレート音源が入っていない、任意の音源を用意する。ここで音が混合したデータは、雑音レベルが異なる複数のデータを用意するものとする。

【0200】

そして、先ず、教師あり機械学習機能を用いて、窓幅（ｂｌｏｃｋサイズ）、テンプレートの音量（Ａｍｐｌｉｔｕｄｅ）個数、比較される音源の音量（Ａｍｐｌｉｔｕｄｅ）数を学習する。この際、雑音レベルが高いものと低いものに対して、学習が収束しない場合は、個別に学習結果を保持する。また、全ての学習データに対して、機械学習が収束しない場合は、学習用データをＳＮ比で分類し、分類ごとに学習を行う。

【0201】

このように、分類ごとに学習したデータを用いて、全ての学習データに対して、マッチング率を保持する。このデータは、動的パラメータ調整の際に用いてもよい。全ての教師信号に対して、学習が収束した場合は、学習結果を学習した音源テンプレート全てに適用する。そして、生成された学習データは、ユーザー端末、又はサーバーのいずれかに保持される。

【0202】

また、保持されるデータは、音源テンプレート、ＳＮ比、平均音量（Ａｍｐｌｉｔｕｄｅ）、ブロックサイズ、比較に使うテンプレートの音量（Ａｍｐｌｉｔｕｄｅ）の個数、比較される音源の音量（Ａｍｐｌｉｔｕｄｅ）の個数である。

【0203】

このように学習機能を用いる場合には、１つのテンプレートに対して、複数の属性情報を持つことがある。また、適用する機械学習は、人工ニューラルネットワーク、遺伝的アルゴリズム、教科学習等教師あり学習など種々の機能を用いることができる。

【0204】

次いで、動的パラメータの適用について説明する。動的パラメータを適用する場合には、先ず、アプリケーションを起動した後、マイクから入ってくる音の強さを、ある一定時間（ｔ＿ａｍｐ）の平均値で持つようにする（ステップ１）。そして、テンプレートの属性情報である、音量（Ａｍｐｌｉｔｕｄｅ）の平均値からパラメータの候補を抽出して（ステップ２）、候補になった全てのパラメータに対して、マッチング率を計算する。そして、適合率としきい値とを比較する（ステップ３）。

【0205】

ここで、しきい値を超えて適合したと判定された場合（ステップ３におけるＹｅｓ）、候補になっていないパラメータを用いて適合率を計算する（ステップ４）。この候補になっていないパラメータは、全てを用いてもよいし、１つでもよいし、ランダムに抽出してもよい（ステップ５）。

【0206】

候補になっていないパラメータを用いた適合率が、保持されている適合率とかけ離れていない場合は適合したと判定する（ステップ６）。反対に、候補になっていないパラメータを用いた適合率が、かけ離れている場合は、適合しなかったと判定する（ステップ７）。

【0207】

一方、しきい値を超えずに、適合しなかったと判定した場合は（ステップ３におけるＮｏ）、パラメータの候補を抽出しなおす（ステップ８）。なお、パラメータの候補は、ＳＮ比をもとにしてもいいし、全てのパラメータに対して行ってもよい。このパラメータの候補の抽出では、上記ステップ４で適合したと判定された音源を保持しておき、学習済みパラメータの中で、最も近い振る舞いを行うものを選定する（ステップ９）。

【0208】

そして、選定されたパラメータをもとに、マッチング率を計算して（ステップ１０）、上記ステップ７のように適合しないと判断されるまで処理を繰り返す。その後、ステップ７のように適合しないと判断された場合には、ステップ８の処理を行う。

【0209】

（変更例２）
上述した各実施形態では、特定音響信号から生成された音源テンプレートＤ１をユーザー端末若しくはサーバーに蓄積しておき、音再生手段４から出力された評価音響信号（比較先テンプレートＤ３）を読み取って比較する構成とした。しかしながら、本発明は、これに限定するものではなく、例えば、音源テンプレートからなる音データをユーザー端末１、１Ａのスピーカー等から出力し、外部の装置によって読み取らせて比較する構成としてもよい。すなわち、本変更例では、ユーザー端末１、１Ａが音再生手段４として機能し、外部の装置がユーザー端末１、１Ａとして機能することとなる。

【0210】

この場合、外部の装置によって保持され、比較先となるテンプレートについても、特定音響信号から生成されたテンプレートとなる。また、イベント情報は、サーバー側に蓄積しておき、当該テンプレートの識別子に関連づけられることとなる。

【0211】

そして、ユーザー端末１のメモリには、出力すべき音源テンプレートをサーバーから取得して保持しておき、外部の装置に対して読み取り可能なように出力させることで、外部装置で両テンプレートが一致するか否かを判断し、一致する場合には、テンプレート識別子に関連づけられたイベントを発生させることができる。

【0212】

このような本変更例２に係る構成を用いることで、コンサートチケットの認証サービスを実行することができる。すなわち、この認証サービスでは、ユーザー端末１、１Ａにチケットとして特定音響信号から生成したテンプレートを配布する。一方、会場の入場口には、音響信号を読み取り可能なマイクを備えた認証装置を設置する。この認証装置には、内部メモリに比較先となるテンプレートを記憶させてもよく、また、通信処理可能であれば、通信ネットワーク５上に配置されたサーバーに比較先となるテンプレートを記憶させてもよい。

【0213】

そして、入場口に設置された認証装置にユーザー端末１を近づかせた状態で、スピーカーからテンプレートに基づいた音響を出力させることで、認証側に記憶されたテンプレートと比較して完全一致か否かを判断することで認証処理を行う。

【0214】

このような認証サービスを用いることで、この際、音源テンプレートを生成する場合に、周波数がカットされているので、本来の音とは異なる音になっているため、単純に音を切り出して認証情報としてもセキュリティを高めることができる。また、バーコードやＱＲコード（登録商標）のような静的データではなく、動的データであるため、真意が難しく、セキュリティレベルが高くなる。

【0215】

なお、本変更例では、ユーザー端末１、１Ａのスピーカーからテンプレートに基づいた音響を出力したが、例えば、図１０（ａ）及び（ｂ）に示すように、表示部１３ａにテンプレートに基づいた表示画面を表示させるとともに、認証装置にカメラなど撮像手段を設けて、画像によって認証処理を行ってもよい。この場合には、無音で処理が行えるため、外部に音を出力させることができない状況下においても、認証処理を実行することができる。

【0216】

（その他の変更例）
なお、第２実施形態では、複数のサーバー装置に音響信号検出に係る各機能を分散させて配置したが、本発明はこれに限定されるものではなく、サーバー装置を単体として、これに全ての機能を備えさせてもよく、各モジュールの機能に特化したより多くのサーバー装置を分散配置させて、各装置を通信によって協動させるようにしてもよい。

【符号の説明】

【0217】

Ａ…エリア
Ｄ１，Ｄ１１〜Ｄ１３…音源テンプレート
Ｄ２…イベント情報
Ｄ３…比較先テンプレート
１，１Ａ…ユーザー端末
２…管理サーバー
３…無線基地局
４…音再生手段
５…通信ネットワーク
６…制御管理サーバー
７…テンプレート比較サーバー
１１…無線インターフェース
１２…入力インターフェース
１２ａ…マイク
１３…出力インターフェース
１３ａ…表示部
１４…音源テンプレート受信部
１５…メモリ
１６…音響取得部
１７，１８…アプリケーション実行部
２１…通信部
２２…制御部
２３…ユーザー情報データベース
２４…イベントデータベース
２５…音源テンプレートデータベース
４１…制御部
４２…スピーカー
４３ａ，４３ｂ…バッファ
６１…通信部
６２…ユーザー登録部
６３…評価対象変換部
６４…イベント発生管理部
６４ａ…適合率表示制御部
６５…イベント生成部
６６…イベントデータベース
６７…ユーザー情報データベース
６８…音源テンプレート生成部
６９…配信管理部
６９ａ…音源テンプレート配信部
７１…通信部
７２…音源テンプレート取得部
７３…音源テンプレートデータベース
７４…テンプレート比較部
７５…適合率出力部
１５１…イベントデータベース
１７１…評価対象変換部
１７２…テンプレート比較部
１７３…適合率出力部
１７４…イベント発生管理部
１７４ａ…適合率表示部
１７５…音源テンプレート生成部
１７６…受信管理部
１８１…音響送信部
１８２…イベント実行部
２２１…音源データ取得部
２２２…音源テンプレート生成部
２２３…イベント生成部
２２４…配信管理部
２２４ａ…音源テンプレート配信部
２２５…ユーザー登録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】