(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0018】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
【0019】
<<第1の実施形態>>
まず、本発明の第1の実施形態について説明する。
【0020】
<構成>
図1は、第1の実施形態の情報発信装置および処理装置が適用される信号処理システム1の全体構成を示すブロック図である。
【0021】
信号処理システム1は、情報発信装置11、処理装置21、および録音機30、を含む。
【0022】
===録音機30===
録音機30は、ユーザが音響イベントを収集したい場所に設置され、周囲の音を収集する。録音機30は、たとえば、内蔵されたマイクロフォンに対して入力された音響信号を、音の時系列データとして、記録可能な領域に記録する。録音機30は、アナログテープレコーダのような、アナログ形式で音を記録する機械でもよい。以下、録音機30が周囲の音を収集してデータにすることを「録音」と称す。以下、録音機30が、録音によって作成したデータを、「音響データ」と称す。
【0023】
録音機30が何らかの標準的な時刻系に同期している必要はない。しかし、録音機30は、予め定義された一定の記録速度のもとで音を継時的に記録する。たとえば、録音機30の記録方法がディジタル記録の場合は、録音機30は、所定の時間間隔で音波の振幅を取得し記録する。録音機30の記録方法がアナログテープレコーダによるアナログ記録である場合は、録音機30は所定の速度で移動するテープに音を固定(記録)する。したがって、作成された音響データにおける任意の音響信号と、録音を開始した時刻からの経過時間とは、互いに関連づけられうる。すなわち、音響データ中の信号の録音された時刻は、たとえばその音響データの開始時点を基準として相対的に特定可能である。
【0024】
録音機30は、内部に記憶領域を有していてもよいし、記憶装置と通信可能に接続されていてもよい。記憶装置と通信可能に接続されている場合は、録音機30は、音響データをその記憶装置に記録してもよい。また、録音機30は、音響データを処理装置21に送信してもよい。
【0025】
===情報発信装置11===
情報発信装置11は、時計110、制御部111、タイミング記憶部112、時刻情報生成部113、タイムコード記憶部114、および発信部115を備える。
【0026】
時計110は、制御部111に時刻を提供する。時計110が提供する時刻は、たとえば、信号処理システム1が実施される国の標準時である。時計110は、標準時を正しく得るため、GPS(Global Positioning System)等によって外部の正確な時刻源に随時同期してもよい。時計110が提供する時刻は、人により設定されてもよい。
【0027】
時計110の精度は厳密でなくともよい。時計110が提供する時刻は、本システムが目的を達成するために十分に正しい時刻であればよい。例えば、時計110の一週間の計時における誤差の最大値が、0.5秒でもよい。
【0028】
時計110は、計時している時刻を表す情報を、たとえば水晶発振器を用いて一定の周期で、制御部111に出力する。
【0029】
タイミング記憶部112は、発信部115に時刻情報を発信させるタイミングを指定した情報を記憶する。時刻情報については後述する。タイミングを指定した情報は、たとえば、ユーザによって予め設定される。たとえば、0:00、7:00、12:30、18:00、および21:00が、時刻情報を発信させるタイミングとして設定され、設定された時刻がタイミング記憶部112に記憶される。
【0030】
なお、タイミングの設定は、「毎時0分00秒」などのような形式で記憶されていてもよい。また、音響の記録が複数の日に跨る場合には、日ごとに異なる時刻が設定されてもよい。
【0031】
制御部111は、時計110が提供する時刻を監視する。制御部111は、時計110が提供する時刻がタイミング記憶部112の示す時刻に一致した時に、時刻情報生成部113を呼び出す。制御部111は、タイミング記憶部112が示す時刻に一致した時計110が提供する時刻を示す情報を、時刻情報生成部113に送信してもよい。
【0032】
時刻情報生成部113は、時刻情報を生成する。時刻情報とは、時刻を示す情報であって、音により示され(signified)うる情報である。
【0033】
時刻情報は、たとえば、それ自身が時刻を示す情報であることを示す情報と、時刻を示す情報とを含む。以下、時刻を示す情報であることを示す情報を「指示情報」と称す。時刻を示す情報を「タイムコード」と称す。指示情報とタイムコードとは、別々でなく、一つの信号により表されてもよい。
【0034】
指示情報は、後述の処理装置21の特定部212が、時刻情報が示されていることを検出できる特徴を有していればよい。たとえば、指示情報は、録音機30が記録する周囲の音からは通常検出されない周波数や音量その他の特徴を有していればよい。
【0035】
タイムコードは、たとえば、音による情報に変換された時刻の情報である。時刻情報生成部113は、制御部111から受信した時刻の情報を変換してもよいし、予め用意されたタイムコードを用いてもよい。たとえば、タイムコード記憶部114がタイムコードを記憶し、時刻情報生成部113がそのタイムコードを受け取ってもよい。
【0036】
時刻の情報を音響に変換する方法としては、既知の様々な技術がある。たとえば、タイムコードは、モデムと音響カプラーで用いられる情報の音響化の方法によって生成されてもよい。タイムコードは、音響透かしの技術によって音響に埋め込まれた時刻情報等であってもよい。タイムコードは、モールス符号のように音響の時系列的なパタンによって表されてもよいし、鳩時計のように音響出現回数で表されてもよい。また、タイムコードは、時刻そのものを表していなくともよい。たとえば、2000Hzの音波が0.5秒間流れることが7時を表す、のようなルールによって、時刻の情報が符号化されてもよい。すなわち、時刻情報生成部113は、処理装置21との間で予め定義された信号によって、時刻を間接的に表現してもよい。
【0037】
発信部115は、たとえば、スピーカーである。発信部115は、時刻情報生成部113が生成した時刻情報を、空気の振動としての音響に変換して発信する。
【0038】
発信部115は、その発信された音が録音機30によって取得される位置に設置される。
【0039】
以上のような構成により、録音機30には、時刻を特定できる音響が記録される。すなわち、録音機30によって時刻情報を含む音響データが作成される。
【0040】
なお、制御部111による時刻情報生成部113の呼び出しと発信部115による時刻情報の発信との間に、無視できないタイムラグがある場合は、そのタイムラグを調整する工夫がされていてもよい。たとえば、制御部111は、時計110が示す時刻とタイミング記憶部112の示す時刻との差が一定の値未満になったときに時刻情報生成部113を呼び出してもよい。あるいは、たとえば、時刻情報生成部113は、受け取った時刻にタイムラグを加味した時刻を加算した時刻を、タイムコードに変換してもよい。
【0041】
===処理装置21===
処理装置21の制御構造について説明する。
【0042】
処理装置21は、取得部211、特定部212、検出部214、および出力部215を備える。
【0043】
取得部211は、録音機30から音響データを取得する。たとえば、音響データが録音機30の内部の記録媒体に記録されている場合は、人がその記録媒体を取得部211に接続し、取得部211がその音響データを読み出す。この場合、取得部211は、たとえば、記録媒体に記録されている情報を読み取り可能なドライブである。取得部211は、録音機30または音響データを記録した記録媒体から、通信によって音響データを受信してもよい。この場合、取得部211は、たとえば通信インタフェースである。なお、音響データはリアルタイムで取得される必要はない。
【0044】
取得部211は、取得されたデータを、特定部212に送る。
【0045】
特定部212は、音響データに含まれる時刻情報に基づき、音響データが記録された時刻を特定する。具体的には、特定部212は、たとえば以下の処理を行う。
【0046】
まず、特定部212は、音響データに含まれる時刻情報を検出する。特定部212は、まず音響データから指示情報を検出し、指示情報を基にタイムコードを検出すればよい。
【0047】
特定部212は、音響データに含まれる指示情報を探索することにより、指示情報を検出する。指示情報の特徴が現れる周波数がわかっている場合は、音響データのその周波数の成分のデータを探索してもよい。特定部212は、指示情報を検出することにより、タイムコードを特定する。
【0048】
特定部212は、タイムコードを解釈(デコード)する。タイムコードのデコードの方法は、タイムコードを生成する時刻情報生成部113(またはタイムコード記憶部114)との間で整合するように予め設定がされていればよい。特定部212は、タイムコードをデコードすることによって、タイムコードが示す時刻の情報を取得する。タイムコードが示す時刻は、そのタイムコードを含む時刻情報が発せられた時刻であるから、特定部212は、タイムコードをデコードすることによって、時刻情報が発せられた時刻を特定できる。たとえば、タイムコードが、指示情報が鳴り始めたタイミングの時刻を示すよう情報発信装置11側で設定されている場合、特定部212は、音響データ中の、検出された指示情報の開始時点が、タイムコードが示す時刻であることを特定する。
【0049】
音響データ中のある時点における時刻が特定できるため、特定部212は、音響データ中の任意の時点における時刻が特定できる。たとえば、時刻t
0を示すタイムコードが、音響データが表す音の開始から30秒後の時点において検出された場合、音響データの作成が開始された時刻が、時刻t
0の30秒前であることがわかる。このように、特定部212は、音響データと時刻とを関連づけることができる。なお、本実施形態における時刻とは、情報発信装置11の時計110の時刻である。時計110が国の標準時と同期しているならば、特定部212により特定される時刻は国の標準時における時刻である。
【0050】
検出部214は、音響データに含まれる音響イベントを検出する。音響イベントは、所定の特徴を有する音である。たとえば、音響イベントは、ユーザが検出したいイベント(事象)として予め検出部214に指定したイベント(事象)を示す音である。
【0051】
なお、音響イベントの検出や分析に関する文献として、たとえば、下記の文献1や文献2がある。
文献1:大石康智、「あらゆる音の検出・識別を目指して:音響イベント検出研究の現在と未来」、日本音響学会講演論文集、日本音響学会、2014年、p.1521−1524
文献2:越仲孝文、外4名、「音声・音響分析技術とパブリックソリューションへの応用」、NEC技報、日本電気株式会社、2014年11月、第67巻、第1号、p.86−89
音響イベントは、たとえば、ユーザによって予め定義された条件を満たす音である。たとえば、検出部214は、指示された音響イベントの特徴量と、その特徴量への類似性に関する特定の基準とを記憶する。そして、検出部214は、指示された音響イベントの特徴量への類似性がその特定の基準に適合する特徴量を有する音を、音響イベントとして抽出する。
【0052】
予め定義される条件は、特定のイベントに関する条件でなくてもよい。たとえば、音量が所定値を超える音が、ユーザが検出したい音響イベントとして指定されてもよい。
【0053】
音響イベントは、複数種類あってもよい。たとえば、音響イベントは、金属板を叩く音、ガラス板を叩く音、および、悲鳴の3種類が設定されてもよい。さらに、音響イベントのそれぞれは、複数のクラスのいずれかに分類されてもよい。たとえば、金属板を叩く音とガラス板を叩く音は似ているので、この2種類の音には同じクラスに分類されてもよい。音響イベントが分類された場合は、音響イベントの分類を示す情報として、たとえば検出部214によって、音響イベントとクラスとを関連付けた情報が記憶されればよい。
【0054】
検出部214は、音響イベントを、その音響イベントが発生した時刻とともに検出する。あるいは、特定部212が、検出部214により検出された音響イベントが発生した時刻を特定し、特定した時刻を検出された音響イベントに関連づけてもよい。
【0055】
出力部215は、検出された音響イベントと、その音響イベントが発生した時刻とを関連づける情報を出力する。
【0056】
たとえば、出力部215は、音響イベントと、その音響イベントが発生した時刻とを示すリストを画面に表示してもよい。1つの音響イベントの検出が指示されていた場合は、出力部215は、その音響イベントが発生した時刻のみを画面に表示してもよい。
【0057】
<動作>
第1の実施形態に係る信号処理システム1の各部の動作の流れを、
図2のフローチャートに沿って説明する。
【0058】
まず、録音機30が、周囲の音の録音を開始する(ステップS41)。たとえば、人が録音機を作動させてもよい。
【0059】
その後、情報発信装置11において、時計110の時刻がタイミング記憶部112の記憶する時刻になると、制御部111の呼び出しにより時刻情報生成部113が時刻情報を生成する(ステップS42)。
【0060】
なお、時刻情報を発信するタイミングとして、検知したい音響イベントが発生する確率の低い、または発生しないと推測される時刻が設定されてもよい。たとえば、ユーザが、検知したい音響イベントが発生する確率の低い、または発生しない時刻を推測し、その推測された時刻を、時刻情報を発信するタイミングとして設定してもよい。または、情報発信装置11が、過去の音響イベントのデータ等に基づいて、音響イベントが発生する確率の低い時刻を推定し、推定した時刻を、時刻情報を発信するタイミングとして設定してもよい。このような設定によれば、特定部212による時刻情報の検出が容易になり、また、検出したい音響イベントの検出が時刻情報によって妨害されにくくなる。
【0061】
また、音響イベントが検知される必要がないとユーザが判断するタイミングがある場合は、ユーザは、そのタイミングを時刻情報を発信するタイミングとして設定してもよい。
【0062】
時刻情報生成部113は、対象とする音響イベントや環境音と無関係な(すなわち、時刻情報の検出において他の信号による干渉や妨害を受けない)周波数帯域があれば、時刻情報の周波数がその周波数帯域におさまるように、時刻情報を設定してもよい。そのように構成することで、時刻情報と環境音(ひいては音響イベント)とが混同されず、特定部212による時刻情報の検出および検出部214による音響イベントの検出の正確性を上げることができる。
【0063】
時刻情報が生成されると、発信部115が時刻情報を発信する(ステップS43)。これにより、録音機30には、周囲の音だけでなく、発信部115から発せられた時刻情報も(同じチャネルに)記録される。
【0064】
音響データの収集を完了する時刻になると、録音機30は、録音を終了する(ステップS44)。人が録音機30の動作を停止させてもよいし、録音機30が録音の開始後に所定時間を経過した後に録音を終了する機構を有していてもよい。なお、本実施形態では録音の終了後に以後のステップの処理を行うことを説明するが、実施の形態によっては、以後のステップの処理は必ずしも録音の終了を要件としない。
【0065】
その後、処理装置21において、取得部211は、録音機30が取得した音響データを取得する(ステップS45)。特定部212は、音響データに含まれる時刻情報に基づき、音響データが記録された時刻を特定する(ステップS46)。
【0066】
一方、検出部214は、音響データ中の音響イベントを検出する(ステップS47)。特定部212は、検出された音響イベントに時刻を関連づける(ステップS48)。
【0067】
最後に、出力部215が、音響イベントと時刻とを関連づけた情報を出力する(ステップS49)。
【0068】
<効果>
第1の実施形態に係る信号処理システム1によれば、音響データが作成された時刻、および、音響データ中の任意の信号(特に、音響イベント)が発生した時刻を特定することができる。その理由は、情報発信装置11により発信される時刻を示す時刻情報が音響データに含まれ、処理装置21がその時刻情報を検出するからである。このシステムにおいて、時刻を示す情報は電気的な信号等ではなく音であるため、録音機30は録音機能を持っていさえすればよい。すなわち、録音機30は、特別なチャネルや回路を備える必要が無く、市販の安価な録音機でもよい。
【0069】
以上の通り、本実施形態によれば、録音機能のみを持つ録音機によって作成されたデータから、そのデータが作成された時刻、および、そのデータ中の任意の信号の発生時刻を特定することができる。
【0070】
(変形例)
上述の説明では、時計110は、標準時等に合わせられているが、時計110は、標準時等に合わせられていなくてもよい。時計110は、内部時刻を有していればよい。この場合、検知された音響イベントは、情報発信装置11の内部時刻と関連づけられることができる。たとえば、音響データ中に「7時」を示す時刻情報が含まれていた場合、特定部212は、その時刻情報が、情報発信装置11の内部時刻における7時(時計110が7時と認識する時刻)に発せられたことを認識する。
【0071】
このような場合において、処理装置21は、時計110の提供する時刻の情報を取得可能な構成であってもよい。たとえば、処理装置21は、時計110と通信可能に接続されていてもよいし、発信部115により発信される音を直接検知できるよう構成されていてもよい。処理装置21は、時計110の提供する時刻と、時計110の時刻系とは別の時刻系(例えば、国の標準時)に基づく時刻とを比較することにより、時計110の有する時刻系とその別の時刻系との間のずれを特定できる。そうすれば、特定部212は、検知された音響イベントとその別の時刻系における時刻とを関連づけることができる。
【0072】
(変形例)
発信部115が録音機30に時刻情報を記録させる方法は、必ずしも音の発信による方法でなくともよい。発信部115は、録音機30の内部のマイクアンプや電源へ回り込むことのできる電磁ノイズを発生させてもよい。発信部115は、録音機に対する物理的な打撃や振動を与えてもよい。
【0073】
すなわち、発信部115が発信する情報は、録音機30の音響データに反映される情報形態のものであればよい。
【0074】
<<第2の実施形態>>
第2の実施形態に係る信号処理システム2について説明する。
【0075】
<構成>
図3は、信号処理システム2の構成を示すブロック図である。信号処理システム2は、複数の情報発信装置11と、複数の録音機30と、処理装置22とを含む。
【0076】
録音機30は、第1の実施形態の録音機30と同じ物でよい。
図3において、録音機30は3つあり、それぞれ30A、30B、30Cの符号が付されている。ただし、録音機30の数は3つに限られない。以下、録音機の個々を区別する場合には30A、30B、30Cのようにアルファベットを添えた符号を付し、録音機を総称する場合や特定しない場合には符号「30」を付す。
【0077】
本実施形態では、複数の録音機30はそれぞれ異なる場所に設置される。録音機30Aが設置されるエリアを観測地8A、録音機30Bが設置されるエリアを観測地8B、録音機30Cが設置されるエリアを観測地8Cとする。
【0078】
録音機30は、第1の実施形態と同様、一定の期間(例えば1日間)、周囲の音を収集する。録音機30は、収集した音を時系列の音響データとして、たとえば内部の記録媒体に記録する。
【0079】
情報発信装置11は、録音機30のそれぞれに対し、少なくとも1つの情報発信装置11が発信する音が検知されるように設置される。
図3の例においては、録音機30のそれぞれの近傍(発信される時刻情報が録音され得る位置)に1つずつの情報発信装置11が設置される。説明のため、以下、それぞれの情報発信装置11を、その情報発信装置11と同じ観測地に設置される録音機30の符号に添えられたアルファベット(A,B,C)と同一のアルファベットを添えて記述することがある。また、説明のため、以下、それぞれの情報発信装置11の内部の構成を、その構成を含む情報発信装置11に添えられたアルファベットと同一のアルファベットをその構成の符号に添えて記述することがある。
【0080】
なお、同一の情報発信装置11が発信する時刻情報が複数の録音機30によって録音できる場合、情報発信装置11の数は、録音機30と同数でなくともよい。
【0081】
情報発信装置11の構成は、第1の実施形態で説明された構成と同様でよい。なお、本実施形態においては、それぞれの情報発信装置11の時計110は、共通の時刻系(たとえば、国の標準時)に校正される。
【0082】
情報発信装置11のそれぞれの、タイミング記憶部112が記憶するタイミングの情報は、いずれも同一でもよいし、異なっていてもよい。タイミング記憶部112は、観測地ごとに、その観測地において収集されるべき音の収集が妨げられにくい時刻を記憶してもよい。そうすることにより、それぞれの観測地における音響イベントの検知が時刻情報によって妨害される可能性を減らすことができる。
【0083】
時刻情報生成部113A〜113Cが生成する時刻情報のタイムコードは、それぞれ異なっていてもよいし、同一でもよい。例えば、タイムコードは、時刻情報生成部113Aにおいて音響モデムにより音響化された信号であり、時刻情報生成部113Bにおいてモールス符号であり、時刻情報生成部113Cにおいて音響出現回数で時刻を表現する信号であってもよい。
【0084】
また、時刻情報の音の周波数の範囲が、情報発信装置11ごとに異なっていてもよい。
【0085】
時刻情報は、後述の特定部222が、それぞれ正しく検出し発信元を特定することができるよう構成されればよい。
【0086】
処理装置22は、取得部221、特定部222、調整部223、検出部224、および出力部225を含む。取得部221、特定部222、検出部224、および出力部225は、それぞれ、第1の実施形態における取得部211、特定部212、検出部214、および出力部215の機能と同様の機能を有してよい。
【0087】
取得部221は、それぞれの録音機30が記録した音響データを取得する。
【0088】
特定部222は、それぞれの音響データから、時刻情報を検出する。特定部222は、タイムコードをデコードし、デコードによって取得した時刻を、時刻情報が発せられた時刻として特定する。これにより、特定部222は、音響データのそれぞれに対して、その音響データが収集された観測地の情報発信装置11の時計110が提供する時刻を関連づけることができる。
【0089】
調整部223は、それぞれの音響データに、共通の時間軸を関連づける。すなわち、調整部223は、それぞれの音響データの時間軸を統一された時間軸に調整する。
【0090】
例として、録音機30Aおよび録音機30Bによりそれぞれ取得された音響データの時間軸を調整する方法を説明する。たとえば、録音機30Aおよび録音機30Bによりそれぞれ取得された音響データが、
図4に示すような時系列データであるとする(
図4では、それぞれの音響データが、横軸を時間、縦軸を振幅とした波形で示されている)。
図4において、シグナルSa1、Sa2は、録音機30Aによる音響データ中で特定された、時刻情報のシグナルである。シグナルSb1、Sb2は、録音機30Bによる音響データ中で特定された、時刻情報のシグナルである。
【0091】
このような音響データに対して、まず調整部223は、録音機30Aが作成した音響データに時間軸Tを関連づける。具体的には、調整部223は、たとえば、時間軸TにおけるシグナルSa1が示す時刻(Ta1とする)が、シグナルSa1が検出された時点に対応するように、音響データの時間軸と時間軸Tとを合わせる。
【0092】
図5は、時間軸の調整の概念を示す図である。
図5では、時間軸Tの点Ta1と、シグナルSa1が検出された時点とが、紙面の上下方向に並んだ図が示されている。そして、調整部223は同様に、シグナルSb1が検出された時点に、基準となる時間軸TにおけるシグナルSb1が示す時刻(Tb1とする)を関連づける。Ta1とTb1が等しい場合は、
図5のように、シグナルSa1とシグナルSb1とは時間軸T上で同じ位置になる。また、調整部223は、シグナルSa2またはシグナルSb2に基づいて、音響データの時間軸を合わせてもよい。
【0093】
2つの音響データの時刻の単位(すなわち、1フレームの大きさ)が異なる場合は、調整部223は、シグナルSa1、Sa2、Sb1、およびSb2に基づいて、片方の音響データの時間軸を伸縮させてもよい。調整部223は、録音機30で定義された記録速度に基づき、時間軸を調整してもよい。記録速度は、録音機30の記録方法がディジタル記録の場合はサンプル毎秒など、録音機30の記録方法がアナログテープレコーダによるアナログ記録である場合はミリメーター毎秒など、で表される。
【0094】
同様に、調整部223は、録音機30Cによる音響データの時間軸も、基準となる時間軸に関連づける。
【0095】
以上により、複数の音響データの時間軸は統一される。すなわち、処理装置22は、それぞれの音響データを統一された時間軸で扱うことができる。
【0096】
検出部224は、指定された音響イベントを検出する。そして、検出部224は、複数の音響データにおいて同時刻に検出された音響イベントを検出する。なお、検出部224が音響イベントを検出する範囲は、音響データの全体でもよいし、一部でもよい。たとえば、検出部224が音響イベントを検出する時刻の範囲をユーザが指定してもよい。
【0097】
具体的には、検出部224は、複数の音響データにおいて、種類が同一で、かつ統一された時間軸における時刻が等しい音響イベントを、同一のイベントに由来する音響イベントであるとして抽出する。
【0098】
例として、指定された音響イベントが、悲鳴、ガラス破砕音、および土壁を叩く音、の3種類であるとする。
【0099】
例えば、録音機30Aによる音響データのある時刻において悲鳴が検出され、録音機30Bによる音響データのその時刻においても悲鳴が検出された場合、この2つの音響イベントは同一の悲鳴に由来する音響イベントである。
【0100】
例えば、録音機30Aによる音響データのある時刻において悲鳴が検出され、録音機30Bによる音響データのその時刻において検出された音響イベントがガラス破砕音であった場合、この2つの音響イベントは同一ではない。
【0101】
なお、「時刻が等しい」とは、厳密な一致ではなく、等しいと見なすことができる程度に時刻が近接していることである。どの程度近接していることを「等しい」と見なすかを定義するにあたっては、内部時刻の精度や、各情報発信装置11の処理の速さの違いや、録音機30への音の到達までにかかる時間の違いが考慮されてよい。例えば、検出部224は、時刻の差が1秒以内である複数の音響イベントを、同一のイベントに由来する音響イベントであると見なしてもよい。
【0102】
検出部224は、同一のイベントに由来する音響イベントと見なされた音響イベントの種類と時刻とを、出力部225に渡す。
【0103】
出力部225は、同一のイベントに由来する音響イベントと見なされた音響イベントに関する情報を出力する。たとえば、出力部225は、同一のイベントに由来する音響イベントと見なした音響イベントの種類と、収録された観測地および時刻とを、画面に表示してもよい。出力部225は、広い範囲にわたって音響イベントが検知されたことを音等によって報知してもよい。出力部225は、その音響イベントを記録した録音機30があった観測地を地図上に表示してもよい。出力部225は、その音響イベントを記録した録音機30があった観測地を監視可能に設置された監視カメラを、その観測地を含む範囲を撮影するように制御してもよい。
【0104】
<動作>
第2の実施形態に係る処理装置22の動作の流れを、
図6のフローチャートに沿って説明する。
【0105】
まず、取得部221は、録音機30A〜30Cが取得した音響データを取得する(ステップS71)。次に、特定部222は、それぞれの音響データに含まれる時刻情報を特定する(ステップS72)。
【0106】
そして、調整部223は、特定された時刻情報に基づいて、それぞれの音響データの時間軸を調整する(ステップS73)。
【0107】
一方、検出部224は、各音響データから音響イベントを検出する(ステップS74)。そして、検出部224は、複数の音響データの同じ時刻において検出された音響イベントがあるかを判定する(ステップS75)。該当する音響イベントがあった場合(ステップS75においてYES)、その同じ時刻に発生した音響イベントの種類が同じであるかを判定する(ステップS76)。その音響イベントの種類が同じであった場合(ステップS76においてYES)、その音響イベントに関する情報を出力する(ステップS77)。なお、ステップS75またはステップS76においてNOと判定された場合は、処理装置22の動作は終了する。
【0108】
ステップS74の処理は、ステップS72の処理およびステップS73の処理の前に行われてもよい。また、検出部224は、種類が同じ音響イベントを抽出してから、その音響イベントの発生時刻が同じであるかを判定してもよい。
【0109】
<効果>
第2の実施形態に係る信号処理システムによれば、2つ以上の録音機30に収録された同一のイベントを検出することができる。その理由は、調整部223が、それぞれの音響データに含まれる時刻情報に基づいて音響データに共通の時間軸を関連づけ、検出部224が、その時間軸において同じ時刻に複数の録音機30に収録された同一の種類の音響イベントを検出するからである。
【0110】
言い換えれば、処理装置22は、特定部222と調整部223とによって、複数の音響データを同期させることができる。
【0111】
(変形例)
各情報発信装置11の時計110が提供する時刻を、処理装置22が取得できる構成であれば、時計110は共通の時刻系に校正されている必要はない。情報発信装置11は、内部時刻を有していればよい。
【0112】
たとえば、時計110Aおよび110Bが、共通の時刻系に対して校正されていない場合でも、時計110Bの提供する時刻が時計110Aの提供する時刻に対してどれだけずれているかがわかれば、調整部223は、2つの音響データの時間軸を統一することができる。調整部223は、たとえば、時計110Aの時間軸を共通の時間軸Tとして採用してもよい。時計110Bの時計110Aに対する遅れをtdとすると、調整部223は、
図7に示すように、録音機30Bによる音響データの時間軸を、仮に時計110Bが時計110Aと一致するとした場合の時間軸からtdだけずらせばよい。なお、tdの値は、たとえば調整部223が、時計110Aが提供する時刻および時計110Bが提供する時刻をそれぞれ任意のタイミングで取得することにより算出できる。
【0113】
各々の時計110の計時機能の精度が悪い場合、または不明な場合には、調整部223は、各時計110が提供する時刻を複数回取得してもよい。調整部223は、複数回取得された時刻に基づいて、時計110が提供する時刻の、標準的な時刻系に対するずれ方の傾向や特徴を分析することにより、時刻情報が示す時刻を尤もらしい時刻に補正してもよい。これにより、調整部223は、より高精度で各音響データの時間軸を調整することができる。
【0114】
上述の変形例によっても、第2の実施形態と同様の効果が得られる。
【0115】
<<第3の実施形態>>
本発明の第3の実施形態に係る信号処理システム3について説明する。信号処理システム3は、第2の実施形態に係る信号処理システム2の変形例である。第2の実施形態と第3の実施形態とで同一の名称および符号が付された構成要素は、特に説明がない限り同等の機能を有している。
【0116】
本実施形態では、少なくとも1つの録音機30に、異なる情報発信装置11から発信された時刻情報が記録される場合が想定される。この場合、その異なる情報発信装置11の時計110は、共通の時刻系に校正されていなくてよい。
【0117】
図8は、本発明の第3の実施形態に係る信号処理システム3の構成を示すブロック図である。
図8で示されるように、情報発信装置11Bが発信した時刻情報が、録音機30Aでも記録されたとする。
【0118】
この場合、録音機30Aが作成した音響データは、
図9のようになる。すなわち、特定部222は、録音機30Aの音響データにおいて、情報発信装置11Aが発信した時刻情報のシグナルSa3,Sa5と、情報発信装置11Bが発信した時刻情報のシグナルSa4,Sa6とを検出する。
【0119】
2つの時刻情報が識別できる(たとえば、周波数範囲が異なる、または示される時刻が異なる等)ように構成されている場合は、特定部222は、それぞれの音響データにおいて、それぞれの時刻情報がどちらの情報発信装置11から発せられたものであるかを特定できる。特定部222は、録音機30Aの位置および向きと、検出された時刻情報の音量とに基づいて、時刻情報の発信源を特定してもよい。
【0120】
そして、特定部222は、特定されたシグナルに基づき、それぞれの情報発信装置11の時計110の間のずれを特定する。
【0121】
たとえば、シグナルSa3は情報発信装置11Aにおいて(時計110Aのもとで)7時に発信された音のシグナルであり、シグナルSa4は情報発信装置11Bにおいて(時計110Bのもとで)7時に発信された音のシグナルであるとする。この場合、シグナルSa3に対するシグナルSa4の遅れが、時計110Aに対する時計110Bの遅れ、すなわち時計110Aと時計110Bとの間のずれである。
【0122】
なお、上記の説明および以下の説明において、録音機30Aとそれぞれの情報発信装置11との間の距離の違いによる、音の到達時刻の遅れの差は、無視できるくらい小さいとする。実施において上記到達時刻の遅れの差が無視できない場合は、その差は特定部222等によって適宜補正されてよい。
【0123】
シグナルが発信されるタイミングは、情報発信装置11ごとに異なっていてもよい。上述の例で、シグナルSa3は情報発信装置11Aにおいて(時計110Aのもとで)7時に発信された音のシグナルであり、シグナルSa4は情報発信装置11Bにおいて(時計110Bのもとで)8時に発信された音のシグナルであったとする。そのような構成において、シグナルSa4とシグナルSa3との間の発信時刻の差が実際には61分であった場合は、時計110Bは時計110Aに対して1分遅いということがわかる。
【0124】
調整部223は、特定されたずれに基づき、録音機30Aが作成した音響データの時間軸と、録音機30Cが作成した音響データの時間軸とを統一することができる。たとえば、時計110Bが時計110Aに対して1分遅いのであれば、上記2つの音響データを共通の時間軸に関連づけた後、録音機30Bが作成した音響データの時間軸を共通の時間軸に対して1分ぶん進めればよい。
【0125】
第3の実施形態に係る信号処理システムによれば、時計110A〜110Cの時刻が共通の時刻系に校正されておらず、それぞれの時計110A〜110Cが提供する時刻系がまちまちであっても、録音機30A〜30Cのそれぞれの音響データを同期することができる。したがって、検出部224は、第2の実施形態と同様、2つ以上の録音機に収録された同一の音響イベントを検出することができる。
【0126】
(発信源を特定する方法の別の例)
録音機30Aが少なくとも1つの情報発信装置11からの時刻情報を少なくとも2回録音するよう構成することによっても、時刻情報の発信源である情報発信装置11が特定できる。たとえば、音響データにおいて、時刻を直接示さない3つのシグナルが検出されたとする。時系列上で最も早く記録されたシグナルから順に、3つのシグナルの検出時刻をt1、t2、t3とする。タイミング記憶部112Aにおいて時刻A1、A2が記憶され、タイミング記憶部112Bにおいて時刻B1が記憶されるとする。特定部222は、t1〜t3と、A1、A2、B1とを比較することにより、それぞれのシグナルの発信源を特定する。たとえば、A1とA2との差がt1とt3との差に等しい場合は、時刻t1とt3に発信された音のシグナルが、情報発信装置11Aから発せられた音のシグナルであると特定できる。さらに、残るt2に発信された音のシグナルが、情報発信装置11Bから発せられた音のシグナルであると特定できる。A1、A2およびB1の情報を有していれば、特定部222は、2つの情報発信装置11の時計110のずれを特定できる。ただし、A1とA2との差がt1とt2との差に等しく、さらにt2とt3との差にも等しい場合は、発信元の特定ができない。そのような問題を回避したい場合は、情報発信装置11が発する時刻情報の数を増やせばよい。
【0127】
<<第4の実施形態>>
本発明の第4の実施形態に係る信号処理システム4について説明する。信号処理システム4は、第2の実施形態に係る信号処理システム2の変形例である。第2の実施形態と第4の実施形態とで同一の名称および符号が付された構成要素は、特に説明がない限り同等の機能を有している。
【0128】
図10は、本発明の第4の実施形態の信号処理システム4の構成を示すブロック図である。本実施形態では、情報発信装置11Aが発信する時刻情報は録音機30Aおよび録音機30Bに録音され、情報発信装置11Bが発信する時刻情報は録音機30Bおよび録音機30Cに録音されるとする。なお、
図10では、それぞれの情報発信装置11が発信する音が録音機30によって検知される範囲が、破線で示されている。
【0129】
このような場合、特定部222は、録音機30Aの音響データおよび録音機30Bの音響データに、情報発信装置11Aの時計110Aが提供する時刻を関連づけることができる。また、特定部222は、録音機30Bの音響データおよび録音機30Cの音響データに、情報発信装置11Bの時計110Bが提供する時刻を関連づけることができる。
【0130】
録音機30Bの音響データには、情報発信装置11Aが発信する時刻情報だけでなく、情報発信装置11Bが発信する時刻情報も含まれるので、特定部222は、時計110Aと時計110Bとの間の時刻のずれが特定できる。
【0131】
これによれば、調整部223は、時計110Bに基づく時刻が関連づけられた録音機30Cの音響データを、情報発信装置11Aの時計110Aに基づく時刻に関連づけることができる。
【0132】
したがって、このような構成によれば、情報発信装置11のそれぞれが標準時に校正されていない場合であって、録音機30Aおよび30Cの音響データに複数の情報発信装置11による時刻情報が録音されない場合であっても、調整部223は、録音機30Aおよび30Cのそれぞれの音響データに同一の時間軸を関連づけることができる。
【0133】
<<第5の実施形態>>
本発明の第5の実施形態として、本発明の主要な構成を含む処理装置20について説明する。
【0134】
図11は、第5の実施形態に係る処理装置20の構成を示すブロック図である。処理装置20は、取得部201と、特定部202とを備える。
【0135】
処理装置20の動作を、
図12のフローチャートに沿って説明する。
【0136】
まず、取得部201が、音響が録音された音響データを取得する(ステップS121)。
【0137】
そして、特定部202が、音響データに含まれる信号であって、当該信号が録音された時刻を特定できる信号を、検出する(ステップS122)。上記時刻とは、何らかの時刻系における時刻である。たとえば、上記時刻とは、その信号を発生させた装置の内部時刻である。その装置の内部時刻が標準時に校正されている場合は、その信号が発生した時刻は、標準時に関連づけることができる。その装置の内部時刻と、他の装置の内部時刻とのずれがわかっている場合は、その信号が発生した時刻は、その他の装置の内部時刻とも関連づけることができる。
【0138】
そして、特定部202は、検出した信号に基づいて、音響データに含まれる他の信号が録音された時刻を特定する(ステップS123)。
【0139】
図13は、処理装置20を含む信号処理システム5の構成を示すブロック図である。信号処理システム5は、処理装置20の他、情報発信装置10を含む。
【0140】
情報発信装置10は、信号であって基準時刻における当該信号が発生した時刻を特定できる信号を、たとえば環境音を継続的に録音する録音機(不図示)に録音されるように発信する。このような構成により、録音機が、情報発信装置が発信した信号を含む音響データを作成する。
【0141】
処理装置20は、録音機30によって作成された音響データに基づいて、その音響データが作成された時刻に関する情報を得ることができる。その理由は、音響データに含まれる信号が、その信号が発せられた時刻を示すからである。
【0142】
(ハードウェアについて)
以上、説明した本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部または全部は、例えば
図14に示すようなコンピュータ1400とプログラムとの可能な組み合わせにより実現される。コンピュータ1400は、一例として、以下のような構成を含む。
【0143】
・CPU(Central Processing Unit)1401
・ROM(Read Only Memory)1402
・RAM(Random Access Memory)1403
・RAM1403にロードされるプログラム1404Aおよび記憶情報1404B
・プログラム1404Aおよび記憶情報1404Bを格納する記憶装置1405
・記録媒体1406の読み書きを行うドライブ装置1407
・通信ネットワーク1409と接続する通信インタフェース1408
・データの入出力を行う入出力インタフェース1410
・各構成要素を接続するバス1411
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム1404AをCPU1401がRAM1403にロードして実行することで実現される。各装置の各構成要素の機能を実現するプログラム1404Aは、例えば、予め記憶装置1405やROM1402に格納されており、必要に応じてCPU1401が読み出す。なお、プログラム1404Aは、通信ネットワーク1409を介してCPU1401に供給されてもよいし、予め記録媒体1406に格納されており、ドライブ装置1407が当該プログラムを読み出してCPU1401に供給してもよい。
【0144】
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個のコンピュータ1400とプログラムとの可能な組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータ1400とプログラムとの可能な組み合わせにより実現されてもよい。
【0145】
また、各装置の各構成要素の一部または全部は、その他の汎用または専用の回路、コンピュータ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【0146】
各装置の各構成要素の一部または全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【0147】
本願発明は以上に説明した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0148】
本出願は、2016年6月22日に出願された日本出願特願2016−123771を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0149】
上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
【0150】
<<付記>>
[付記1]
録音された音響データを取得する取得手段と、
前記音響データに含まれる、情報発信装置により発せられた音の信号であって、当該信号が録音された時刻を特定できる前記信号を検出し、前記信号に基づいて、前記音響データに含まれる他の信号が録音された時刻を特定する特定手段と、
を備える処理装置。
[付記2]
所定の種類の音である音響イベントを前記他の信号として検出する検出手段と、
前記特定手段により前記音響イベントが録音された時刻を特定した結果に基づく情報を出力する出力手段と、
をさらに備える、付記1に記載の処理装置。
[付記3]
前記取得手段は、前記信号を含む第1の音響データおよび前記信号を含む第2の音響データを取得し、
前記検出手段は、前記第1の音響データおよび前記第2の音響データにおいて同じ時刻に発生した前記音響イベントを検出する、
付記2に記載の処理装置。
[付記4]
前記情報発信装置は、所定の前記音響イベントが発生し得る時刻と異なる時刻として設定された時刻に前記信号を発信する、
付記2または3に記載の処理装置。
[付記5]
前記信号の周波数は、所定の前記音響イベントの周波数帯域と異なる周波数帯域の周波数である、
付記2から4のいずれか一項に記載の処理装置。
[付記6]
前記取得手段は、異なる前記情報発信装置による前記信号を含む2つ以上の前記音響データを取得し、
前記処理装置は、
前記異なる情報発信装置間の内部時刻のずれを取得し、前記ずれに基づいて、前記2つ以上の音響データに共通の時間軸を関連づける調整手段
を備える、
付記1から5のいずれか一項に記載の処理装置。
[付記7]
前記調整手段は、2つ以上の前記情報発信装置による前記信号を含む前記音響データに基づいて、前記2つ以上の情報発信装置の内部時刻のずれを特定し、前記ずれに基づき、当該情報発信装置のいずれか一方による前記信号を含む他の前記音響データのそれぞれに、共通の時間軸を関連づける、
付記6に記載の処理装置。
[付記8]
付記1から7のいずれか一項に記載の処理装置と、
前記信号を、前記音響データを録音する録音機に録音されるように発信する前記情報発信装置と、
を含む信号処理システム。
[付記9]
録音された音響データを取得し、
前記音響データに含まれる、情報発信装置により発せられた音の信号であって、当該信号が録音された時刻を特定できる前記信号を検出し、前記信号に基づいて、前記音響データに含まれる他の信号が録音された時刻を特定する、
処理方法。
[付記10]
所定の種類の音である音響イベントを前記他の信号として検出し、
前記音響イベントが録音された時刻を特定した結果に基づく情報を出力する、
付記9に記載の処理方法。
[付記11]
前記信号を含む第1の音響データおよび前記信号を含む第2の音響データを取得し、
前記第1の音響データおよび前記第2の音響データにおいて同じ時刻に発生した前記音響イベントを検出する、
付記10に記載の処理方法。
[付記12]
前記情報発信装置は、所定の前記音響イベントが発生し得る時刻と異なる時刻として設定された時刻に前記信号を発信する、
付記10または11に記載の処理方法。
[付記13]
前記信号の周波数は、所定の前記音響イベントの周波数帯域と異なる周波数帯域の周波数である、
付記10から12のいずれか一項に記載の処理方法。
[付記14]
異なる前記情報発信装置による前記信号を含む2つ以上の前記音響データを取得し、
前記異なる情報発信装置間の内部時刻のずれを取得し、前記ずれに基づいて、前記2つ以上の音響データに共通の時間軸を関連づける、
付記9から13のいずれか一項に記載の処理方法。
[付記15]
2つ以上の前記情報発信装置による前記信号を含む前記音響データに基づいて、前記2つ以上の情報発信装置の内部時刻のずれを特定し、前記ずれに基づき、当該情報発信装置のいずれか一方による前記信号を含む他の前記音響データのそれぞれに、共通の時間軸を関連づける、
付記14に記載の処理方法。
[付記16]
コンピュータに、
録音された音響データを取得する取得処理と、
前記音響データに含まれる、情報発信装置により発せられた音の信号であって、当該信号が録音された時刻を特定できる前記信号を検出し、前記信号に基づいて、前記音響データに含まれる他の信号が録音された時刻を特定する特定処理と、
を実行させるプログラム。
[付記17]
コンピュータに、
所定の種類の音である音響イベントを前記他の信号として検出する検出処理と、
前記特定処理により前記音響イベントが録音された時刻を特定した結果に基づく情報を出力する出力処理と、
をさらに実行させる、付記16に記載のプログラム。
[付記18]
前記取得処理は、前記信号を含む第1の音響データおよび前記信号を含む第2の音響データを取得し、
前記検出処理は、前記第1の音響データおよび前記第2の音響データにおいて同じ時刻に発生した前記音響イベントを検出する、
付記17に記載のプログラム。
[付記19]
前記情報発信装置は、所定の前記音響イベントが発生し得る時刻と異なる時刻として設定された時刻に前記信号を発信する、
付記17または18に記載のプログラム。
[付記20]
前記信号の周波数は、所定の前記音響イベントの周波数帯域と異なる周波数帯域の周波数である、
付記17から19のいずれか一項に記載のプログラム。
[付記21]
前記取得処理は、異なる前記情報発信装置による前記信号を含む2つ以上の前記音響データを取得し、
コンピュータに、
前記異なる情報発信装置間の内部時刻のずれを取得し、前記ずれに基づいて、前記2つ以上の音響データに共通の時間軸を関連づける調整処理を実行させる、
付記16から20のいずれか一項に記載のプログラム。
[付記22]
前記調整処理は、2つ以上の前記情報発信装置による前記信号を含む前記音響データに基づいて、前記2つ以上の情報発信装置の内部時刻のずれを特定し、前記ずれに基づき、当該情報発信装置のいずれか一方による前記信号を含む他の前記音響データのそれぞれに、共通の時間軸を関連づける、
付記21に記載のプログラム。