(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023067317
(43)【公開日】2023-05-16
(54)【発明の名称】システム、及び、方法
(51)【国際特許分類】
H04N 5/92 20060101AFI20230509BHJP
H04N 5/765 20060101ALI20230509BHJP
G08G 1/00 20060101ALI20230509BHJP
【ＦＩ】
H04N5/92 010
H04N5/765
G08G1/00 A
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2021178422
(22)【出願日】2021-11-01
(71)【出願人】
【識別番号】720009479
【氏名又は名称】オンキヨー株式会社
(72)【発明者】
【氏名】大黒 智貴
(72)【発明者】
【氏名】日月 伸也
(72)【発明者】
【氏名】吉田 誠
(72)【発明者】
【氏名】森山 由美子
【テーマコード（参考）】
5C053
5H181
【Ｆターム（参考）】
5C053GB06
5C053JA21
5H181AA01
5H181CC04
5H181CC27
(57)【要約】
【課題】異なる手段で作成された２つのデータの同期ずれを防止すること。
【解決手段】システム１（ＰＣ２）は、車両（移動体）が基準位置を通過した基準位置通過時間を含むラベリングデータ（第１データ）と、車両（移動体）の測定データであるオーディオデータ（第２データ）と、を同期させる。システム１は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。システム１は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にない場合、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを時間的に進める、又は、遅らせる。
【選択図】図６
【解決手段】システム１（ＰＣ２）は、車両（移動体）が基準位置を通過した基準位置通過時間を含むラベリングデータ（第１データ）と、車両（移動体）の測定データであるオーディオデータ（第２データ）と、を同期させる。システム１は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。システム１は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にない場合、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを時間的に進める、又は、遅らせる。
【選択図】図６
【特許請求の範囲】
【請求項1】
移動体が基準位置を通過した基準位置通過時間を含む第１データと、前記移動体の測定データである第２データと、を同期させ、
同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とするシステム。
同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とするシステム。
【請求項2】
前記第２データからピークを抽出し、抽出したピークが発生したピーク時間を前記第２データに付加することを特徴とする請求項１に記載のシステム。
【請求項3】
前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にない場合、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする請求項２に記載のシステム。
【請求項4】
前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にない場合、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進めた、又は、遅らせた後、
前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にあるか否かを判断することを特徴とする請求項２又は３に記載のシステム。
前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にあるか否かを判断することを特徴とする請求項２又は３に記載のシステム。
【請求項5】
前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にない場合、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内に含まれるまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする請求項２～４のいずれか１項に記載のシステム。
【請求項6】
前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする請求項２～４のいずれか１項に記載のシステム。
【請求項7】
前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定時間内にない場合、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする請求項２に記載のシステム。
【請求項8】
前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれるまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする請求項２又は７に記載のシステム。
【請求項9】
前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする請求項２、７、８のいずれか１項に記載のシステム。
【請求項10】
同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、時間的に進めた、又は、遅らせた時間を、補正値として記録することを特徴とする請求項１～９のいずれか１項に記載のシステム。
【請求項11】
前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせ、 前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれず、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進めた、又は、遅らせた場合、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内に含まれない数が最も少ない、遅らせた秒数、又は、進めた秒数を、補正値として記録することを特徴とする請求項２、７、８のいずれか１項に記載のシステム。
【請求項12】
記録した補正値に基づいて、前記第１データと前記第２データとの同期を補正することを特徴とする請求項１０又は１１に記載のシステム。
【請求項13】
同期させた前記第１データ、及び、前記第２データにおいて、前記第１データにおける基準位置通過時間から所定時間内にある、前記第２データにおけるピーク時間を、移動体の通過によるピークである旨のラベル付けを行うことを特徴とする請求項１～１２のいずれか１項に記載のシステム。
【請求項14】
前記第１データは、移動体が撮影された映像データであることを特徴とする請求項１～１３のいずれか１項に記載のシステム。
【請求項15】
前記第２データは、移動体による振動が検出された振動データであることを特徴とする請求項１～１４のいずれか１項に記載のシステム。
【請求項16】
前記移動体は、車両であることを特徴とする請求項１～１５のいずれか１項に記載のシステム。
【請求項17】
移動体が基準位置を通過した基準位置通過時間を含む第１データと、前記移動体の測定データである第２データと、を同期させ、
同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする方法。
同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、２つのデータを同期させるシステム、及び、方法に関する。
【背景技術】
【0002】
出願人は、振動センサーによって検出された振動データに基づいて、移動体（例えば、車両）の移動を検出し、検出した移動体の数を計数（カウント）するシステムに係る発明を出願している（特願２０２０－１１７４２９）。移動を検出した車両を、例えば、大型車、小型車等に分類（車種判別）する場合、予め、特徴量と特徴量に対応する正解データとを与え、特徴量から分類可能な状態にする必要がある。この場合、正解データとして、移動する車両を撮影し、撮影した映像から、いつ、どのような車種が通過したかを示すラベリングデータを作成する必要がある。
【0003】
ラベリングデータの作成に関し、例えば、移動する車両を撮影したビデオデータに対して、動画認識を用いて、車両の通行時間を認識し、車両の通行時間を記録したラベリングデータを作成する。そのうえで、オーディオデータから抽出した振動ピークに対して、上記したラベリングデータを基に、ラベル付けを行うことが考えられる。
【0004】
しかしながら、上述の手法において、長時間のデータ取得が行われた場合、ビデオデータの録画デバイス（例えば、ビデオカメラ）とオーディオデータの録音デバイス（例えば、ＩＣレコーダー）との間で、録画・録音のサンプルレートが異なるため、ビデオデータ・オーディオデータ間に同期ずれが発生し、振動ピークに対して、正しいラベル付けができない場合がある。
【0005】
なお、特許文献１には、複数の撮像装置により撮像された複数の画像を取得し、取得した複数の画像の中から、機械学習のための学習用データを選択する発明が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２０－０２１３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述したように、移動する車両を撮影したビデオデータに基づいて作成されたラベリングデータと、移動する車両の振動（測定）データと、において、同期ずれが発生する場合がある。すなわち、異なる手段で作成された２つのデータを同期させた場合、時間的なずれが生じる場合がある。
【0008】
本発明の目的は、異なる手段で作成された２つのデータの同期ずれを防止することである。
【課題を解決するための手段】
【0009】
第１の発明のシステムは、移動体が基準位置を通過した基準位置通過時間を含む第１データと、前記移動体の測定データである第２データと、を同期させ、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする。
【0010】
本発明では、システムは、同期させた第１データ、及び、第２データにおいて、第１データ、又は、第２データを時間的に進める、又は、遅らせる。このため、第１データ、第２データの２つのデータが、異なる手段で作成されていても、データの同期ずれを防止することができる。
【0011】
第２の発明のシステムは、第１の発明のシステムにおいて、前記第２データからピークを抽出し、抽出したピークが発生したピーク時間を前記第２データに付加することを特徴とする。
【0012】
第３の発明のシステムは、第２の発明のシステムにおいて、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にない場合、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする。
【0013】
第４の発明のシステムは、第２又は第３の発明のシステムにおいて、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にない場合、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進めた、又は、遅らせた後、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にあるか否かを判断することを特徴とする。
【0014】
第５の発明のシステムは、第２～第４のいずれかの発明のシステムにおいて、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内にない場合、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内に含まれるまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする。
【0015】
第６の発明のシステムは、第２～第４のいずれかの発明のシステムにおいて、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする。
【0016】
第７の発明のシステムは、第２の発明のシステムにおいて、前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定時間内にない場合、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする。
【0017】
第８の発明のシステムは、第２又は第７の発明のシステムにおいて、前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれるまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする。
【0018】
第９の発明のシステムは、第２、第７、第８のいずれかの発明のシステムにおいて、前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせることを繰り返すことを特徴とする。
【0019】
第１０の発明のシステムは、第１～第９のいずれかの発明のシステムにおいて、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、時間的に進めた、又は、遅らせた時間を、補正値として記録することを特徴とする。
【0020】
第１１の発明のシステムは、第２、第７、第８のいずれかの発明のシステムにおいて、前記第２データにおける複数のピーク時間のうち、少なくとも１つが、前記第１データにおける基準位置通過時間から所定範囲内にない場合、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進める、又は、遅らせ、前記第２データにおけるピーク時間が、すべて、前記第１データにおける基準位置通過時間から所定時間内に含まれず、所定回数に達するまで、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを、所定時間、時間的に進めた、又は、遅らせた場合、前記第２データにおけるピーク時間が、前記第１データにおける基準位置通過時間から所定時間内に含まれない数が最も少ない、遅らせた秒数、又は、進めた秒数を、補正値として記録することを特徴とする。
【0021】
第１２の発明のシステムは、第１０又は第１１の発明のシステムにおいて、記録した補正値に基づいて、前記第１データと前記第２データとの同期を補正することを特徴とする。
【0022】
第１３の発明のシステムは、第１～第１２のいずれかの発明のシステムにおいて、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データにおける基準位置通過時間から所定時間内にある、前記第２データにおけるピーク時間を、移動体の通過によるピークである旨のラベル付けを行うことを特徴とする。
【0023】
第１４の発明のシステムは、第１～第１３のいずれかの発明のシステムにおいて、前記第１データは、移動体が撮影された映像データであることを特徴とする。
【0024】
第１５の発明のシステムは、第１～第１４のいずれかの発明のシステムにおいて、前記第２データは、移動体による振動が検出された振動データであることを特徴とする。
【0025】
第１６の発明のシステムは、第１～第１５のいずれかの発明のシステムにおいて、前記移動体は、車両であることを特徴とする。
【0026】
第１７の発明の方法は、移動体が基準位置を通過した基準位置通過時間を含む第１データと、前記移動体の測定データである第２データと、を同期させ、同期させた前記第１データ、及び、前記第２データにおいて、前記第１データ、又は、前記第２データを時間的に進める、又は、遅らせることを特徴とする。
【発明の効果】
【0027】
本発明によれば、第１データ、第２データの２つのデータが、異なる手段で作成されていても、データの同期ずれを防止することができる。
【図面の簡単な説明】
【0028】
【図1】本発明の実施形態に係るシステムの構成例を示す図である。
【図2】ビデオカメラによって撮影されたビデオデータに基づく映像の一場面を示す図である。
【図3】従来技術による、振動ピークに対するラベル付けを説明するための模式図である。
【図4】ラベリングデータとオーディオデータとの同期ずれが修正される前の、ラベリングデータ及びオーディオデータを示す模式図である。
【図7】同期ずれを修正する場合の処理動作を示すフローチャートである。
【発明を実施するための形態】
【0029】
以下、本発明の実施形態について説明する。図１は、本発明の実施形態に係るシステム１の構成例を示す図である。システム１は、例えば、パーソナルコンピューター（以下、「ＰＣ」という。）２、振動センサー３、ビデオカメラ４等から構成される。ＰＣ２は、ラベリングデータの作成、ラベリングデータとオーディオデータとの同期等を行う。ＰＣ２が行う処理は、後述する。なお、図１では、１つのＰＣ２により、振動センサー３から出力される情報と、ビデオカメラ４から出力される情報と、が処理される例を示している。これに限らず、振動センサー３から出力される情報と、ビデオカメラ４から出力される情報と、が別のＰＣによって処理されるようになっていてもよいことは言うまでもない。
【0030】
振動センサー３は、例えば、道路等に設置されている。振動センサー３は、振動センサー３の前を通過した車両から道路に伝わる振動を検出し、振動データ（第２データ）を出力する。振動データは、言い換えれば、車両による道路の振動が測定された測定データである。また、振動データは、言い換えれば、振動センサー３により検出された振動が録音されたオーディオデータである。
【0031】
ビデオカメラ４は、例えば、道路等の近傍に設置されている。ビデオカメラ４は、道路を走行する車両を撮影し、ビデオ（映像）データを出力する。図２は、ビデオカメラ４によって撮影されたビデオデータに基づく映像の一場面を示す図である。図２に示すように、道路上を走行する車両の様子が撮影されている。また、図２の右下隅には、時間が表示されている。さらに、図２の左側には、基準線が示されている。ＰＣ２は、ビデオデータに基づいて、車両が基準線（基準位置）を通過した時間を含むラベリングデータ（第１データ）を作成する。なお、図２では、基準線が示されており、ラベリングデータは、車両が基準線（基準位置）を通過した時間を含んでいてもよいが、本実施形態では、ラベリングデータは、基準位置として、画面の中央を通過した時間を含む。
【0032】
また、ＰＣ２は、オーディオデータに基づいて、振動ピークを抽出する。ＰＣ２は、以下の処理を行うことによって、振動ピークを抽出する。
（１）ＰＣ２は、振動センサー３から得られた長時間の波形データ（オーディオデータ）に対して、短時間フーリエ変換（STFFT: Short Time Fast Fourier Transform）を行う。なお、振動センサーによって検出される振動データ（波形データ）は、例えば、４４．１ｋＨｚ、１６ビットのデータである。
（２）ＰＣ２は、短時間フーリエ変換を行った振動データの３００Ｈｚ以上の周波数成分を抽出するハイパスフィルター処理（HPF: High-pass Filter）を行う。
（３）ＰＣ２は、３００Ｈｚ以上の周波数のパワーを足し合わせることで、エネルギートレンドデータ（Trend data integrating energy）を作成する。
（４）ＰＣ２は、閾値を設定し、エネルギートレンドデータにおいて、閾値を超えるピーク値にマーク（目印）を打つ。このとき、ＰＣ２は、マークの重複（１台の通過車両につき、２つ以上のマークがついてしまう）を避けるために、所定時間（例えば、０．５秒）以内に２つ以上のマークがある場合、最もピーク値が高いものを採用する。
（１）ＰＣ２は、振動センサー３から得られた長時間の波形データ（オーディオデータ）に対して、短時間フーリエ変換（STFFT: Short Time Fast Fourier Transform）を行う。なお、振動センサーによって検出される振動データ（波形データ）は、例えば、４４．１ｋＨｚ、１６ビットのデータである。
（２）ＰＣ２は、短時間フーリエ変換を行った振動データの３００Ｈｚ以上の周波数成分を抽出するハイパスフィルター処理（HPF: High-pass Filter）を行う。
（３）ＰＣ２は、３００Ｈｚ以上の周波数のパワーを足し合わせることで、エネルギートレンドデータ（Trend data integrating energy）を作成する。
（４）ＰＣ２は、閾値を設定し、エネルギートレンドデータにおいて、閾値を超えるピーク値にマーク（目印）を打つ。このとき、ＰＣ２は、マークの重複（１台の通過車両につき、２つ以上のマークがついてしまう）を避けるために、所定時間（例えば、０．５秒）以内に２つ以上のマークがある場合、最もピーク値が高いものを採用する。
【0033】
なお、振動ピークの抽出の詳細については、特願２０２０－１１７４２９を参照されたい。ＰＣ２は、抽出した振動ピークが発生したピーク時間を、オーディオデータに付加する。すなわち、オーディオデータは、振動ピークが発生したピーク時間を含む。
【0034】
ＰＣ２は、ラベリングデータと、ピーク時間を含むオーディオデータと、を同期させる。ここで、従来技術における、ラベリングデータと、オーディオデータと、の同期について説明する。図３は、従来技術による、振動ピークに対するラベル付けを説明するための模式図である。「振動ピークに対するラベル付け」とは、オーディオデータに含まれる振動ピークが、車両による振動であるか、雑音であるか、のラベリングを行うことである。車両が画面中央を通過した時間（以下、「基準位置通過時間」ともいう。）を記録しているラベリングデータを参照し、振動ピークが、基準位置通過時間から±０．５秒の範囲内に存在する場合、振動ピークに対して、ラベルとして、「車両」を付与する。一方で、振動ピークが、基準位置通過時刻から±０．５秒の範囲外に存在する場合、振動ピークに対して、ラベルとして、「雑音」を付与する
【0035】
しかしながら、ビデオデータから生成されたラベリングデータとオーディオデータとの間に時間的なずれが生じた場合、振動ピークに対して、正しいラベル付けができない場合が存在する。
【0036】
上記問題を解決するため、例えば、オーディオデータにおけるピーク時間が、ラベリングにおける基準位置通過時間から所定範囲（例えば、±０．５秒の範囲）内にない場合、ラベリングデータ、又は、オーディオデータを時間的に進める、又は、遅らせる。そして、ラベリングデータと、オーディオデータに含まれる振動ピークと、の合致状況を確認する。すなわち、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定範囲内にあるか否かを判断する。車両が通過した場合、振動ピークが必ず発生するという前提のうえ、車両と関係しない振動ピークの数を最小化するように、このような処理を繰り返すことで、振動ピークに対して、正しいラベル付けを実施する。本実施形態では、オーディオデータを、ラベリングデータに対して、時間的に遅らせる。なお、もちろん、（１）オーディオデータをラベリングデータに対して時間的に進める、（２）ラベリングデータをオーディオデータに対して時間的に進める、（３）ラベリングデータをオーディオデータに対して時間的に遅らせる、態様であってもよい。
【0037】
図４は、ラベリングデータとオーディオデータとの同期ずれが修正される前の、ラベリングデータ及びオーディオデータを示す模式図である。図５は、図４に示す状態から、オーディオデータをラベリングデータに対して０．２秒遅らせた場合のラベリングデータ及びオーディオデータを示す模式図である。図６は、図４に示す状態から、オーディオデータをラベリングデータに対して０．５秒遅らせた場合のラベリングデータ及びオーディオデータを示す模式図である。
【0038】
車両と関係しない振動ピークの数を、「未検出車両」と定義する。すなわち、「未検出車両」とは、基準位置通過時間から、±０．５秒の範囲内にない振動ピークである。本実施形態では、オーディオデータをラベリングデータに対して、一定間隔で遅らせ、その都度、未検出車両を確認する。未検出車両が最小となるまで、データの遅延、未検出車両の確認を繰り返すことで、同期ずれを修正する。
【0039】
車両が通過した場合、振動ピークが必ず発生するという前提を考慮すると、図４では、車両が通過しているにも関わらず、車両に関係している振動ピークは、０であり、未検出車両は、３台である。図５に示されているように、図４に示す状態から、オーディオデータを０．２秒遅らせた場合も、同様に、未検出車両は、３台存在する。図６に示されているように、図４に示す状態から、オーディオデータを０．５秒遅らせた場合、未検出車両が０台となっており、同期ずれが修正されていることがわかる。
【0040】
録画デバイスとして、一般的なビデオカメラ、録音デバイスとして、一般的なＩＣレコーダーを用いた予備検証において、例えば、８時間２０分のデータ取得で、ラベリングデータがオーディオデータに対し、２．３秒遅延していた。このため、オーディオデータをラベリングデータに対して、０．１秒間隔で遅延させ、最大で２．５秒遅延するまで（以下、最大で遅延させる時間を、「最大修正閾値」ともいう。）遅延させるという処理で、同期ずれ修正を実施する。なお、最大修正閾値は、言い換えれば、データの遅延、未検出車両の確認の繰り返し処理を終了するための閾値である。最大修正閾値を超えるまで、未検出車両が０台にならなかった場合、最大修正閾値内で、未検出車両が最も少ない秒数を、同期ずれ補正値として記録する。言い換えれば、本実施形態では、オーディオデータを０．１秒間隔で遅延させる処理を、２５回（＝２．５秒／０．１秒）（所定回数）に達するまで、繰り返し実行する。
【0041】
図７は、同期ずれを修正する場合の処理動作を示すフローチャートである。ＰＣ２は、ラベリングデータとオーディオデータとを同期させた後、未検出車両を計測する（Ｓ１）。次に、ＰＣ２は、計測した未検出車両が、１台以上、存在するか否かを判断する（Ｓ２）。ＰＣ２は、計測した未検出車両が、１台以上、存在すると判断した場合（Ｓ２：Ｙｅｓ）、最大修正閾値（２．５秒）の範囲内であるか否かを判断する（Ｓ３）。ＰＣ２は、最大修正閾値内であると判断した場合（Ｓ３：Ｙｅｓ）、オーディオデータ、又は、ラベリングデータを、遅らせる、又は、進ませる（Ｓ４）。
【0042】
ＰＣ２は、Ｓ４の処理の後、Ｓ１の処理を行う。また、ＰＣ２は、計測した未検出車両が、１台以上、存在しないと判断した場合（Ｓ２：Ｎｏ）、最大修正閾値の範囲内でないと判断した場合（Ｓ３：Ｎｏ）、未検出車両が最も少ない秒数を、同期ずれ補正値として記録する（Ｓ５）。
【0043】
すなわち、ＰＣ２は、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定範囲内にない場合、オーディオデータにおけるピーク時間が、すべて、ラベリングデータにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させたオーディオデータ、及び、ラベリングデータにおいて、オーディオデータ、又は、ラベリングデータを、所定時間、時間的に進める、又は、遅らせ、オーディオデータにおけるピーク時間が、すべて、ラベリングデータにおける基準位置通過時間から所定時間内に含まれず、所定回数に達するまで、オーディオデータ、及び、ラベリングデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進めた、又は、遅らせた場合、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内に含まれない数が最も少ない、遅らせた秒数、又は、進めた秒数を、補正値として記録する。
【0044】
本実施形態による処理をまとめると、以下のとおりである。
（１）ＰＣ２は、基準位置通過時間を含むラベリングデータと、ピーク時間を含むオーディオデータと、を同期させる。
（２）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（３）ＰＣ２は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせる。
（４）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進めた、又は、遅らせた後、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（５）ＰＣ２は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせることを繰り返す。
（６）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、時間的に進めた、又は、遅らせた時間を、同期ずれを修正するための補正値として記録する。
（７）ＰＣ２は、記録した補正値に基づいて、ラベリングデータとオーディオデータとの同期を補正（修正）する。
（８）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータにおける基準位置通過時間から所定時間内にある、オーディオデータにおけるピーク時間を、車両（移動体）の通過によるピークである旨のラベル付けを行う。また、ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータにおける基準位置通過時間から所定時間内にない、オーディオデータにおけるピーク時間を、雑音によるピークである旨のラベル付けを行う。
（１）ＰＣ２は、基準位置通過時間を含むラベリングデータと、ピーク時間を含むオーディオデータと、を同期させる。
（２）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（３）ＰＣ２は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせる。
（４）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進めた、又は、遅らせた後、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（５）ＰＣ２は、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、オーディオデータにおけるピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせることを繰り返す。
（６）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、時間的に進めた、又は、遅らせた時間を、同期ずれを修正するための補正値として記録する。
（７）ＰＣ２は、記録した補正値に基づいて、ラベリングデータとオーディオデータとの同期を補正（修正）する。
（８）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータにおける基準位置通過時間から所定時間内にある、オーディオデータにおけるピーク時間を、車両（移動体）の通過によるピークである旨のラベル付けを行う。また、ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータにおける基準位置通過時間から所定時間内にない、オーディオデータにおけるピーク時間を、雑音によるピークである旨のラベル付けを行う。
【0045】
（２）において、ピーク時間は、複数あることが通常であるので、
（２´）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、オーディオデータにおける複数のピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（３´）ＰＣ２は、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせる。
（４´）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進めた、又は、遅らせた後、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（５´）ＰＣ２は、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、オーディオデータにおけるピーク時間が、すべて、ラベリングデータにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせることを繰り返す。
（２´）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、オーディオデータにおける複数のピーク時間が、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（３´）ＰＣ２は、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせる。
（４´）ＰＣ２は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進めた、又は、遅らせた後、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定時間内にあるか否かを判断する。
（５´）ＰＣ２は、オーディオデータにおける複数のピーク時間のうち、少なくとも１つが、ラベリングデータにおける基準位置通過時間から所定時間内にない（と判断した）場合、オーディオデータにおけるピーク時間が、すべて、ラベリングデータにおける基準位置通過時間から所定時間内に含まれるか、又は、所定回数に達するまで、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを、所定時間、時間的に進める、又は、遅らせることを繰り返す。
【0046】
以上説明したように、本実施形態では、システム１（ＰＣ２）は、同期させたラベリングデータ、及び、オーディオデータにおいて、ラベリングデータ、又は、オーディオデータを時間的に進める、又は、遅らせる。このため、ラベリングデータ、オーディオデータの２つのデータが、異なる手段で作成されていても、データの同期ずれを防止することができる。
【0047】
これにより、振動ピークに対して、正確なラベルを付与することができる。また、振動ピークに対して、正確なラベルが付与されるため、振動ピークから車両の通過、車種を分類する場合において、分類精度の向上を期待することができる。
【0048】
以上、本発明の実施形態について説明したが、本発明を適用可能な形態は、上述の実施形態には限られるものではなく、以下に例示するように、本発明の趣旨を逸脱しない範囲で適宜変更を加えることが可能である。
【0049】
上述の実施形態においては、移動体として、車両を例示したが、移動体は、車両に限られない。また、測定データとして、振動センサー３によって検出される振動データを例示したが、測定データは、振動データに限られない。
【産業上の利用可能性】
【0050】
本発明は、２つのデータを同期させるシステム、及び、方法に好適に採用され得る。
【符号の説明】
【0051】
１ システム
２ ＰＣ
３ 振動センサー
４ ビデオカメラ
２ ＰＣ
３ 振動センサー
４ ビデオカメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】