特許 7752114 データ計測システムおよび計測データの提示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-10-01

(45)【発行日】2025-10-09

(54)【発明の名称】データ計測システムおよび計測データの提示方法

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20251002BHJP

   G01D 9/00 20060101ALI20251002BHJP

   G08C 15/00 20060101ALI20251002BHJP

   G08C 15/06 20060101ALI20251002BHJP

   H04L 67/125 20220101ALI20251002BHJP

【ＦＩ】

H04Q9/00 311J

G01D9/00 A

G08C15/00 E

G08C15/06 H

H04L67/125

【請求項の数】 12

(21)【出願番号】P 2022534922

(86)(22)【出願日】2021-05-11

(86)【国際出願番号】 JP2021017850

(87)【国際公開番号】W WO2022009515

(87)【国際公開日】2022-01-13

【審査請求日】2022-12-19

【審判番号】

【審判請求日】2024-10-29

(31)【優先権主張番号】P 2020116405

(32)【優先日】2020-07-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】古田 雅史

(72)【発明者】

【氏名】村田 耕一

(72)【発明者】

【氏名】吉田 康紀

(72)【発明者】

【氏名】浦岡 泰之

(72)【発明者】

【氏名】木瀬 香保利

【合議体】

【審判長】丸山 高政

【審判官】寺谷 大亮

【審判官】松原 徳久

(56)【参考文献】

【文献】国際公開第２０１７／２２１９６８（ＷＯ，Ａ１）

【文献】特開２０１９－４１１５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

第１装置および第２装置を含む複数の計測装置と、
前記複数の計測装置に対して第１信号を送信する送信機と、
前記複数の計測装置から取得したデータを処理するデータ処理装置とを備え、
各計測装置は、
前記第１信号を受信した時刻の前後にわたる計測データを取得し、
取得した前記計測データとともに前記第１信号を独立して、または前記計測データに重畳させる形で記憶し、
前記データ処理装置は、
前記複数の計測装置の各々から、第１時刻に送信された前記第１信号に対応する開始信号と、前記第１時刻よりも時間的に遅延した第２時刻に送信された前記第１信号に対応する終了信号との間に計測された計測データを取得し、
当該取得したデータにおける開始信号同士および終了信号同士を、前記第１装置における開始信号から終了信号までの第１間隔と、前記第２装置における開始信号から終了信号までの第２間隔とが一致するように時間的に合致させて、前記複数の計測装置の計測データをユーザに提示し、
前記複数の計測装置の各々は、環境情報を計測する環境センサ、生体情報を計測する生体センサ、および、画像を撮影する画像センサのいずれかのセンサを含み、
前記複数の計測装置から取得した計測データは、前記環境センサ、前記生体センサおよび前記画像センサによって検出されるデータのうち、少なくとも２種類のデータを含む、データ計測システム。

【請求項2】

前記複数の計測装置の計測データをユーザに表示するための表示装置をさらに備える、請求項１に記載のデータ計測システム。

【請求項3】

前記第１装置における開始信号から終了信号までの第１間隔が、前記第２装置における開始信号から終了信号までの第２間隔と異なる場合には、前記データ処理装置は、前記第２間隔が前記第１間隔となるように、前記第２装置の計測データを補正する、請求項１に記載のデータ計測システム。

【請求項4】

前記送信機は、前記複数の計測装置のうちのいずれかの計測装置、または前記データ処理装置に含まれる、請求項１に記載のデータ計測システム。

【請求項5】

前記複数の計測装置の各々は、当該計測装置で計測された計測データを記憶するための記憶装置を含み、前記センサから前記記憶装置までの信号伝達手段を有線で行なう、請求項１に記載のデータ計測システム。

【請求項6】

前記複数の計測装置の各々において、前記第１信号のサンプリングレートは、前記計測データのサンプリングレート以上である、請求項１に記載のデータ計測システム。

【請求項7】

前記第１信号は、前記計測データに統合されて記憶される、請求項１に記載のデータ計測システム。

【請求項8】

前記送信機から送信された前記第１信号を受信したことに応答して、前記複数の計測装置のうちの対応する計測装置に第２信号を送信する少なくとも１つの受信機をさらに備え、
前記開始信号は、前記第１時刻に送信された前記第１信号に対応する前記第２信号であり、
前記終了信号は、前記第２時刻に送信された前記第１信号に対応する前記第２信号であり、
前記複数の計測装置は、ビデオカメラを含み、
前記ビデオカメラに対応する受信機は、発光装置または音声出力装置である、請求項１に記載のデータ計測システム。

【請求項9】

各計測装置は、前記第２信号を受信した時刻の前後にわたる計測データを取得する、請求項８に記載のデータ計測システム。

【請求項10】

請求項８に記載のデータ計測システムに用いられる、受信機。

【請求項11】

請求項１に記載のデータ計測システムに用いられる、データ処理装置。

【請求項12】

第１装置および第２装置を含む複数の計測装置を含むデータ計測システムにおいて、計測データを処理する方法であって、
前記データ計測システムは、送信機と、データ処理装置とを備え、
前記方法は、
前記送信機によって、前記複数の計測装置に対して第１信号を送信するステップと、
各計測装置により、前記第１信号を受信した時刻の前後にわたる計測データを取得するステップと、
取得した前記計測データとともに前記第１信号を独立して、または前記計測データに重畳させる形で記憶するステップと、
前記データ処理装置において、前記複数の計測装置の各々から、第１時刻に送信された前記第１信号に対応する開始信号と、前記第１時刻よりも時間的に遅延した第２時刻に送信された前記第１信号に対応する終了信号との間に計測された計測データを取得するステップと、
前記データ処理装置において、取得したデータにおける開始信号同士および終了信号同士を、前記第１装置における開始信号から終了信号までの第１間隔と、前記第２装置における開始信号から終了信号までの第２間隔とが一致するように時間的に合致させて、前記複数の計測装置の計測データをユーザに提示するステップとを含み、
前記複数の計測装置の各々は、環境情報を計測する環境センサ、生体情報を計測する生体センサ、および、画像を撮影する画像センサのいずれかのセンサを含み、
前記複数の計測装置から取得した前記計測データは、前記環境センサ、前記生体センサおよび前記画像センサによって検出されるデータのうち、少なくとも２種類のデータを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ計測システムおよび計測データの提示方法に関し、より特定的には、複数の計測装置によって計測されたデータを時系列的に同期させて提示する技術に関する。

【背景技術】

【0002】

近年、人の動作解析に関する研究が進められている。たとえば、以下の非特許文献１には、作業者に取り付けた複数のモーションセンサおよび生体センサと、作業者の作業中の画像とに基づいて作業姿勢を可視化するシステムが紹介されている。非特許文献１に示されるシステムは、作業中に作業者に加わる負荷を認識および解析して作業環境を改善することによって、生産性の向上を図ることを目的としている。

【0003】

また、非特許文献２には、上記のようなシステムに適用可能な生体センサの一例である視線計測装置が開示されている。非特許文献２に開示されている視線計測装置においては、計測の開始および終了させるための外部信号の入力端子が備えられている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Creact社 CAPTIV-L7000ソリューション，https://www.creact.co.jp/item/measure/ergonomics/captiv-l7000/l7000-top

【文献】Tobii社 Tobii Pro Glasses 2 User's Manual，https://www.tobiipro.com/siteassets/tobii-pro/user-manuals/tobii-pro-glasses-2-user-manual.pdf/?v=1.1.3

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような動作解析においては、被験者の動作を記録するための画像情報、体温および脈拍などの被験者の状態を示す生体情報、ならびに、気温および騒音などの被験者が置かれた環境の状態を示す環境情報との時系列的な関係を把握することが重要となる。一方で、これらの情報はカメラ、生体センサおよび温湿度センサなど個別の計測装置で取得される場合が多い。

【0006】

複数の計測装置によって取得された計測データを時系列的に同期させる手法として、たとえば、各計測装置が有する計時機能によるタイムスタンプを参照し、取得した計測データを、当該タイムスタンプが同時刻であることを根拠に同期させる場合がある。この場合、独立して動作しているすべての計測装置の時刻が一致していることは稀であり、各計測装置における時刻は、実際の時刻に対して少なからず時間的なオフセットが生じ得る。

【0007】

また、各計測装置において計時機能を行なうためのクロック信号のクロック周波数についても、クロック信号を生成するための発振器のクロック周波数に少なからず誤差が生じ得る。そのため、仮に計測装置間での開始時刻のオフセットがない場合であっても、同じクロック数で示される時間が、計測装置ごとにずれてしまう可能性がある。そうすると、各計測装置の開始時刻が一致していた場合であっても、特に計測期間が長くなるほど計測データ間の時刻のずれが大きくなり、データ間の関連度合いが低下し得る。

【0008】

このような課題に対して、システムに用いられるセンサおよびカメラのすべてを、共通の制御装置を用いて集中制御することによって計測データの同時性を担保することが考えられる。しかしながら、このようなシステムにおいては、制御装置およびセンサ／カメラを専用機器とすることが必要となる。そのため、市販のセンサ等を用いることができず汎用性が劣ってしまい、さらにシステム自体が大規模かつ高額になってしまう可能性がある。

【0009】

本発明は、上記のような課題を解決するためになされたものであって、その目的は、複数の計測装置から取得した計測データを収集して提示するシステムにおいて、比較的に簡便な手法で、取得した計測データを時系列的に同期させることである。

【課題を解決するための手段】

【0010】

本発明のある局面に従うデータ計測システムは、複数の計測装置と、送信機と、データ処理装置とを備える。送信機は、複数の計測装置に対して第１信号を送信する。データ処理装置は、複数の計測装置から取得したデータをユーザに提示する。データ処理装置は、複数の計測装置の各々から、第１時刻に送信された前記第１信号に対応する開始信号と、前記第１時刻よりも時間的に遅延した第２時刻に送信された前記第１信号に対応する終了信号との間に計測された計測データを取得し、当該取得したデータにおける開始信号同士および終了信号同士を時間的に合致させて、複数の計測装置の計測データをユーザに提示する。

【0011】

本発明の他の局面に従う方法は、複数の計測装置を含むデータ計測システムにおいて、計測データをユーザに提示する方法に関する。データ計測システムは、送信機と、データ処理装置とを備える。方法は、ｉ）送信機によって、複数の計測装置に対して第１信号を送信するステップと、ｉｉ）データ処理装置において、複数の計測装置の各々から、第１時刻に送信された第１信号に対応する開始信号と、第１時刻よりも時間的に遅延した第２時刻に送信された第１信号に対応する終了信号との間に計測された計測データを取得するステップと、ｉｉｉ）データ処理装置において、取得したデータにおける開始信号同士および終了信号同士を時間的に合致させて、複数の計測装置の計測データをユーザに提示するステップとを含む。

【発明の効果】

【0012】

本発明に係るデータ計測システムによれば、共通の送信機から送信された第１信号（トリガ信号）に基づく開始信号から終了信号までの間の計測データが複数の計測装置の各々から取得され、取得された計測データは開始信号同士および終了信号同士を時間的に合致させてユーザに提示される。このように、各計測装置において開始信号および終了信号を基準として計測データを合致させて複数の計測データを時系列的に同期させることによって、計測データの同期精度を高めることができる。さらに、共通のトリガ信号を用いることで、外部入力を有する計測装置であれば、市販されているセンサ等を用いることができるため、比較的簡便にシステムを構築することができる。

【図面の簡単な説明】

【0013】

【図1】実施の形態に係るデータ計測システムの全体ブロック図である。

【図2】計測装置における計測データとマーカ信号との関係を説明するための図である。

【図3】複数の計測装置の場合における、各計測データとマーカ信号との関係を説明するための図である。

【図4】計測データにマーカ信号を重畳させた場合の波形の例を示す図である。

【図5】カメラ画像におけるマーカ信号を説明するための図である。

【図6】データ計測システムにおける表示の一例である。

【図7】２つの計測データにおけるマーカ信号のタイミングが不一致の場合の補正処理を説明するための図である。

【図8】データ計測システムにおける各機器の処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

【0015】

［データ計測システムの構成］
図１は実施の形態に係るデータ計測システム１０の全体ブロック図である。図１を参照して、データ計測システム１０は、信号送信機１１０と、複数の信号受信機１２０Ａ，１２０Ｂ，１２０Ｘ（以下、包括的に「信号受信機１２０」とも称する。）と、計測装置１３０Ａ，１３０Ｂと、ビデオカメラ１３０Ｘ，１３０Ｙと、データ処理装置１５０と、表示装置１６０とを備える。なお、以下の説明において、計測装置１３０Ａ，１３０Ｂおよびビデオカメラ１３０Ｘ，１３０Ｙを、包括的に「計測装置１３０」とも称する。データ計測システム１０は、複数の計測装置１３０から取得される、画像データを含む計測データを時系列的に同期させて表示する。データ計測システムは、たとえば、被験者あるいは観察対象物が受けるイベントと、当該イベントに起因して当該被験者あるいは対象物に生じる状態変化との関連を観察および解析するために用いられる。

【0016】

信号送信機１１０は、複数の計測装置１３０における計測データを同期させるために用いられるトリガ信号（第１信号）を送信する。信号送信機１１０は、たとえば、無線通信および／または有線通信を用いて、パルス状のトリガ信号を一斉送信（ブロードキャスト）する。本実施の形態においては、トリガ信号は、各計測装置の起動信号および計測開始信号ではなく、各計測装置における計測対象期間を特定するための信号であり、計測対象期間の開始時と終了時に送信される。基本的には、トリガ信号は、各計測装置１３０が起動され計測を実行している間に発信される。なお、トリガ信号は、必ずしもパルス信号に限られず、正弦波のような特定のパターンを有する信号、あるいは識別用のＩＤデータを含んだパケット信号などであってもよい。

【0017】

信号受信機１２０は、信号送信機１１０から送信されたトリガ信号を受信することが可能に構成されている。信号受信機１２０は、トリガ信号を受信したことに応答して、トリガ信号に対応したマーカ信号（第２信号）を計測装置１３０に送信する。

【0018】

図１の例においては、信号受信機１２０Ａは計測装置１３０Ａに接続されており、信号受信機１２０Ｂは計測装置１３０Ｂに接続されている。この場合、信号受信機１２０Ａ，１２０Ｂは、受信したトリガ信号を計測装置１３０Ａ，１３０Ｂにそれぞれ送信する。なお、トリガ信号がパルス信号である場合には、信号受信機１２０から計測装置１３０には、受信したトリガ信号がそのまま転送される。トリガ信号がパルス信号以外の形態の信号の場合には、信号受信機１２０によってトリガ信号がパルス信号に変換されて計測装置１３０へ送信される。

【0019】

なお、信号受信機は計測装置ごとに個別に配置されていなくてもよく、１つの信号受信機からの信号が２つ以上の計測装置に送信されていてもよい。後述するように、計測装置１３０Ａ，１３０Ｂにおいては、信号受信機１２０Ａ，１２０Ｂから送信された信号が、計測データとともに時系列的に記憶装置１３３に記憶される。

【0020】

信号受信機１２０Ｘは発光装置であり、ＬＥＤなどの発光部（図示せず）を有している。信号受信機１２０Ｘは、トリガ信号を受信したことに応答して発光部を点灯あるいは消灯させる。計測装置がビデオカメラの場合、上記のようなパルス信号を画像データと独立した信号として記憶することができない。ビデオカメラの視野範囲内に信号受信機１２０Ｘを配置しておくことで、連続した画像フレーム内に発光部の変化（点灯／消灯）が記録される。そのため、発光部の変化タイミングを用いて、計測データを同期させることができる。

【0021】

計測装置１３０Ａ，１３０Ｂは、たとえば、気温、気圧、湿度および騒音などの被験者あるいは対象物が置かれた環境の状態を検出するための環境センサ、および／または、体温、脈拍、呼吸、心拍数、脳波、視線、脳血流および加速度などの被験者の状態を検出するための生体センサである。計測装置１３０Ａ，１３０Ｂの各々には、ＣＰＵ１３１、検出部１３２、および記憶装置１３３が含まれる。ＣＰＵ１３１は、計測装置１３０を統括的に制御するための制御装置である。計測装置１３０Ａ，１３０Ｂにおいては、検出部１３２で検出されたデータが記憶装置１３３に記憶される。また、計測装置１３０Ａ，１３０Ｂにおいては、信号受信機１２０Ａ，１２０Ｂから送信されたマーカ信号が、計測データとともに記憶装置１３３に記憶される。

【0022】

計測装置１３０Ａ，１３０Ｂは、データ処理装置１５０との間で通信することが可能である。図１の例においては、計測装置１３０Ａは、記憶された計測データおよびマーカ信号を有線通信を用いてデータ処理装置１５０へ送信する。また、計測装置１３０Ｂの場合には、無線通信を用いて計測データおよびマーカ信号をデータ処理装置１５０へ送信する。

【0023】

ビデオカメラ１３０Ｘ，１３０Ｙは、撮像部（画像センサ）１３５および記憶装置１３６を含む。ビデオカメラ１３０Ｘ，１３０Ｙは、撮像部１３５によって取得した被験者あるいは観察対象物の動作の画像データを記憶装置１３６に記憶する。ビデオカメラ１３０Ｘ，１３０Ｙにおいては、たとえば、被験者の作業シーンを複数の角度から撮影した画像、被験者の顔の表情を撮影した画像、および被験者の瞳孔の変化を撮影した画像などが取得される。

【0024】

記憶装置１３６に記憶された画像データは、メモリカードのような取り外し可能な外部記憶媒体１４０によって取り出されて、データ処理装置１５０に読み込まれる。なお、ビデオカメラからデータ処理装置１５０への計測データの転送は、上述の計測装置１３０Ａ，１３０Ｂと同様に、有線通信あるいは無線通信で実行されてもよい。

【0025】

各計測装置１３０においては、機器内部に記憶装置１３３，１３６が設けられており、データを取得する検出部１３２および撮像部１３５とこれらの記憶装置１３３，１３６との間の信号伝達手段は有線で行なわれる。無線方式によるデータ伝送においてはデータ欠陥となる可能性が高くなる。そのため、データ取得部と記憶装置との間のデータ伝送を有線方式とすることで、計測データおよびマーカ信号のデータ欠損を抑制することができる。

【0026】

データ処理装置１５０は、ＣＰＵ１５１と、記憶装置１５２とを含む。データ処理装置１５０は、各計測装置１３０からの計測データを、通信あるいは外部記憶媒体を介して取得する。データ処理装置１５０は、各計測データとともに送信されたマーカ信号に基づいて、各計測データの取得期間が一致するように同期処理を行ない、処理後の計測データを表示装置１６０に表示する。当該データ計測システム１０のユーザは、表示装置１６０に表示されたデータを用いて、発生したイベントに対して、被験者の状態がどのように変化するかを解析することができる。

【0027】

なお、図１においては、信号受信機１２０が計測装置１３０と独立した機器として記載されているが、計測装置１３０に信号受信機１２０の機能が含まれていてもよい。計測装置１３０が、本実施の形態のシステムに適応した専用機器である場合には、信号受信機と計測装置とが一体となった構成とすることがより好ましい。一方で、汎用の計測装置の場合には、別体の信号受信機を用いることで、簡便に本システムへの適用が可能となる。

【0028】

また、計測装置１３０のいずれかに、信号送信機１１０の機能が含まれていてもよい。この場合、信号送信機の機能を含む当該計測装置において計測開始（終了）の操作をすることで、それに応答して他の計測装置における計測およびデータの記憶を開始（終了）することができる。

【0029】

このような、複数の計測装置によって取得された計測データを時系列的に同期させる手法として、たとえば、各計測装置が有する計時機能によるタイムスタンプを参照し、当該タイムスタンプが同時刻となるように計測データを同期させる場合がある。この場合、すべての計測装置の時刻が一致していることは稀であり、各計測装置における時刻は、実際の時刻に対して少なからず時間的なオフセットが生じ得る。

【0030】

また、各計測装置において計時機能を行なうためのクロック信号のクロック周波数についても、クロック信号を生成するための発振器のクロック周波数に少なからず誤差が生じ得る。そのため、仮に計測装置間での開始時刻のオフセットがない場合であっても、同じクロック数で示される時間が、計測装置ごとにずれてしまう可能性がある。そうすると、各計測装置の開始時刻が一致していた場合であっても、特に計測期間が長くなるほど計測データ間の時刻のずれが大きくなり、データ間の関連度合い（同期精度）が低下し得る。

【0031】

本実施の形態に係るデータ計測システム１０においては、各計測装置において、信号送信機１１０から一斉送信されるトリガ信号に基づくマーカ信号を計測データとともに記憶し、データ処理装置１５０において、計測対象期間の開始時のマーカ信号（開始信号）と終了時のマーカ信号（終了信号）とに基づいて各計測データを同期させる手法を採用する。このような構成とすることで、仮に各計測装置におけるタイムスタンプあるいはクロック周期に誤差がある場合であっても、各計測装置において認識される２つのマーカ信号の間の相対時間の差は、少なくとも各計測装置における制御周期の１周期以下となる。したがって、本実施の形態のような同期処理を用いることで、計測対象期間内のデータ間の同期精度を高めることができる。

【0032】

［同期処理の説明］
図２は、計測装置１３０における計測データとマーカ信号との関係を説明するための図である。図２の上段には検出部１３２で検出された計測値が示されており、下段にはマーカ信号が示されている。

【0033】

図２を参照して、時刻ｔ１において開始時のマーカ信号が受信され、時刻ｔ２において終了時のマーカ信号が受信されている（線ＬＮ１１）。すなわち、計測対象期間は時刻ｔ１～ｔ２の間である。計測装置１３０においては、線ＬＮ１０のように変化する計測データを所定のサンプリングレートでサンプリングし、記憶装置１３３に記憶する。このとき、機器内の計時機能におけるタイムスタンプ（時刻）に関連付けて、計測データおよびマーカ信号が記憶される。

【0034】

図３は、複数の計測装置の場合における、各計測データとマーカ信号との関係を説明するための図である。図３において、たとえば、（ａ）は図１における計測装置１３０Ａにおけるデータであり、（ｂ）は図１における計測装置１３０Ｂにおけるデータである。図３の例では、計測装置１３０Ａにおけるタイムスタンプにおいては、計測対象期間の開始時刻はｔ１０であり、終了時刻はｔ１１である。一方、計測装置１３０Ｂにおけるタイムスタンプにおいては、計測対象期間の開始時刻はｔ１０Ａ（≠ｔ１０）であり、終了時刻はｔ１１Ａ（≠ｔ１１）である。なお、計測対象期間の長さ、すなわち時刻ｔ１０～ｔ１１の長さと、時刻ｔ１０Ａ～ｔ１１Ａの長さは同じである。

【0035】

このように各計測装置のタイムスタンプにずれがある場合、各計測装置のタイムスタンプで示された時刻を一致させても、計測装置１３０Ａの計測値１（図３の実線ＬＮ２０）と計測装置１３０Ｂの計測値２（図３の破線ＬＮ２６）との関連性は正しいものではない。本実施の形態の同期処理においては、開始のマーカ信号（開始信号）同士および終了のマーカ信号（終了信号）同士を一致させる（図３の実線ＬＮ２５）。これにより、計測対象期間の計測データの同期精度を高めることができる。

【0036】

なお、図２および図３は、計測装置１３０が、信号受信機１２０からのマーカ信号を計測データとは異なる個別のチャンネルで記憶することが可能な構成である場合の例について説明したが、計測装置１３０によっては、外部信号が入力できない仕様である場合がある。そのような場合には、図４の線ＬＮ３０で示されるように、計測データにマーカ信号を重畳させることによって、計測対象期間の開始／終了を記憶するようにしてもよい。

【0037】

次に、図５において計測装置がビデオカメラ１３０Ｘである場合の同期処理について説明する。ビデオカメラの場合、一般的には、図２のようにマーカ信号を別チャンネルで記憶させることはできない。そのため、上述のように、カメラの撮像範囲内に発光機能を有する信号受信機１２０Ｘを配置し、信号受信機１２０Ｘの発光状態に基づいて同期処理が行なわれる。

【0038】

図５を参照して、一般的に、ビデオカメラにおいては、動画は、所定のフレームレートで連続して撮影された一連の静止画像として記録される。図５においては、フレーム１からフレーム（Ｎ＋１）までの画像が時系列的に示されている。記録された各画像においては、撮像範囲内に信号受信機１２０Ｘが配置されており、信号受信機１２０Ｘの発光部の発光状態が認識できるようになっている。

【0039】

図５の例においては、フレーム２およびフレームＮにおいて信号受信機１２０Ｘが発光状態となっている。すなわち、フレーム２が撮影された時刻において開始のトリガ信号が受信され、フレームＮが撮影された時刻において終了のトリガ信号が受信されている。したがって、フレーム２からフレームＮまでの期間が計測対象期間となる。そして、データ処理装置１５０において、フレーム２が他の計測装置の開始信号（たとえば、図３の時刻ｔ１０）に紐付けられ、フレームＮが終了信号（図３の時刻ｔ１１）に紐付けられる。これにより、ビデオカメラ１３０Ｘで取得された計測対象期間内の画像データ（フレーム２～フレームＮ）を、計測装置１３０Ａの計測データと同期させることができる。

【0040】

なお、図５の例においては、画像内における発光部の発光状態によってトリガ信号を認識する構成であったが、ビデオカメラにおいては画像データとともに音声データも記録することが可能であるため、トリガ信号を音声信号によって認識するようにしてもよい。この場合、ビープ音のような特定の音声信号を出力できる信号受信機を用い、トリガ信号の受信に応答して当該音声信号が出力されるようにする。そして、音声データにおいて当該音声信号が記録されたタイミングを用いて、データ処理装置１５０において計測対象期間の開始および終了を判断して他の計測データとの同期を行なう。このように、音声信号を用いて同期処理を行なってもよい。このような、ビデオカメラにおける発光部の状態および／または音声信号の記録を用いた同期処理も、計測データ（画像データ）にマーカ信号（発光部の状態，音声信号）を重畳させることに対応する。

【0041】

図６は、本実施の形態のデータ計測システム１０の表示装置１６０における表示の一例を示す図である。図６においては、上段に３つのビデオカメラで撮影された画像データ１６１，１６２，１６３が示されており、下段には計測装置（環境センサ／生体センサ）で検出された計測データ（ａ）～（ｅ）が示されている。

【0042】

図６の例では、画像データ１６１は、作業者（被験者）の作業状態を撮影するカメラ１の画像である。画像データ１６２は、作業者の顔の表情を撮影するカメラ２の画像である。画像データ１６３は、作業者の瞳孔の状態を撮影するためのカメラ３の画像である。

【0043】

また、計測データとしては、（ａ）室温、（ｂ）湿度、（ｃ）体温、（ｄ）心拍数、（ｅ）呼吸数が示されている。各画像データおよび計測データは、図３および図５で説明した同期処理によって対応付けられている。図６においては、カーソル１６５によって示される時刻ｔ５０の場合のデータが示されている。表示装置１６０の図示しない操作部（たとえば、キーボードあるいはマウス）によってカーソル１６５を動かすことによって、当該カーソル１６５が示す時刻に対応する画像および各計測データの値が表示される。このような表示によって、作業者に生じたイベントと、そのときの環境状態および生体状態を関連付けて解析することができる。

【0044】

（変形例）
上述の実施の形態においては、計測装置において認識される開始のマーカ信号と終了のマーカ信号との間の間隔、すなわち計測対象期間が各計測装置について一致する場合について説明した。この場合、各計測装置におけるサンプリングレートが多少異なっていたとしても、当該計測対象期間における計測値であることが担保され得る。

【0045】

しかしながら、計測装置間のサンプリングレートの差によっては、マーカ信号の認識タイミングにずれが生じてしまい、計測装置ごとに計測対象期間が異なる状態となる場合が生じ得る。そうすると、各計測値間の対応が適切にとれない状態となる可能性がある。

【0046】

そこで、本変形例においては、上記のようにマーカ信号の認識のずれに起因して計測対象期間に差が生じる場合に、記憶された計測値のタイムスタンプ間隔を補正することによって、計測値同士を適切に対応させる構成について説明する。

【0047】

図７は、２つの計測データにおけるマーカ信号のタイミングが不一致の場合の補正処理を説明するための図である。図７において、上段の図７（ａ）には計測装置１３０Ａで計測された計測値およびマーカ信号が示されており、中段の図７（ｂ）には計測装置１３０Ｂで計測された計測値およびマーカ信号が示されている。また、下段の図７（ｃ）には、補正処理後の計測装置１３０Ｂの計測値およびマーカ信号が示されている。なお、図７（ａ）～図７（ｃ）においては、開始信号のタイミング（時刻ｔ３０，ｔ３０Ａ，ｔ３０Ｂ）が一致するように記載されている。

【0048】

図７を参照して、計測装置１３０Ａは、サンプリングレートＳＴ１で計測値をサンプリングしており、開始信号（時刻ｔ３０）から終了信号（時刻ｔ３１）までの計測対象期間はＴ１となっている（図７（ａ）の線ＬＮ４１）。

【0049】

一方、計測装置１３０Ｂにおいては、計測装置１３０Ａよりも長いサンプリングレートＳＴ２（＞ＳＴ１）で計測値がサンプリングされている。すなわち、特定の期間における計測値のサンプリング数は、計測装置１３０Ｂのほうが計測装置１３０Ａよりも少ない。この場合、計測装置１３０Ｂにおいては、開始信号の検出後、Ｔ１の期間が到来する前の時刻ｔ３１Ａのサンプリングタイミングにおいて、終了信号が検出される状態となり得る（図７（ｂ）の線ＬＮ５１）。この場合の計測対象期間Ｔ２は計測装置１３０Ａで認識される計測対象期間Ｔ１よりも短くなる（Ｔ２＜Ｔ１）。

【0050】

このような状態においては、各計測装置で計測された計測値間の時系列的な対応が適切にとれない場合が生じるため、データ処理装置１５０は、各計測装置で認識された計測対象期間における計測値のサンプリング数が最も多い計測装置（すなわち、サンプリングレートの最も高い計測装置）の計測対象期間に一致するように、他の計測装置における計測対象期間および各計測値のサンプリング間隔を補正する処理を行なう。

【0051】

図７の場合には、計測装置１３０Ｂの計測データの計測対象期間Ｔ２が、計測装置１３０Ａの計測対象期間Ｔ１に一致するように（図７（ｃ）の線ＬＮ５１Ａ）、各計測値のサンプリング間隔を補正する（図７（ｃ）の線ＬＮ５０Ａ）。これにより、サンプリングレートの異なる計測装置を使用する場合においても、計測データを同期させることが可能となる。

【0052】

図７の例においては、計測装置１３０Ｂで認識される計測対象期間Ｔ２が、計測装置１３０Ａで認識される計測対象期間Ｔ１よりも短くなる場合について説明したが、マーカ信号の発信タイミングによっては、計測装置１３０Ｂにおける終了のマーカ信号の検出が計測装置１３０Ａよりも遅くなる（すなわち、Ｔ２＞Ｔ１）場合が生じ得る。この場合においても、認識される計測対象期間内のサンプリング数が計測装置１３０Ｂよりも計測装置１３０Ａの方が多い場合には、計測装置１３０Ｂにおける計測対象期間Ｔ２を計測対象期間Ｔ１に短縮するように、計測装置１３０Ｂの計測データのサンプリング間隔が修正される。

【0053】

なお、上記の説明においては、各計測装置において、計測データを検出するためのサンプリングレートと、マーカ信号を検出するためのサンプリングレートが同じである場合について説明した。一方で、計測データのサンプリングレートが遅い計測装置については、マーカ信号を検出するためのサンプリングレートを、計測データを検出するためのサンプリングレートよりも高くしてマーカ信号の検出精度を向上させることによって、他の計測装置との計測対象期間のずれを低減するようにしてもよい。

【0054】

［データ計測システムの制御］
図８は、本実施の形態に係るデータ計測システムにおける各機器の処理を説明するためのフローチャートである。なお、図８のフローチャートにおいては、上記の変形例の補正処理を含めた処理となっている。

【0055】

図８を参照して、信号送信機１１０は、ステップ（以下、ステップをＳと略す。）１０において、ユーザによる操作のタイミング、あるいは、信号送信機１１０に予め登録された所定のタイミングにおいて、計測対象期間の開始を示すトリガ信号（開始トリガ信号）をブロードキャストする。

【0056】

信号送信機１１０は、ユーザによる操作のタイミング、あるいは、当該開始信号から予め定められた期間が経過したタイミングにおいて、計測対象期間の終了を示すトリガ信号（終了トリガ信号）をブロードキャストする（Ｓ１２）。

【0057】

計測装置１３０においては、Ｓ２０にて、ユーザからの操作によって計測処理が開始され、記憶装置１３３への計測データの記憶が開始される。なお、計測装置１３０における計測処理の開始は、信号受信機１２０からのマーカ信号の受信に先立って行なわれることが好ましいが、Ｓ２２におけるマーカ信号の受信に応答して開始されてもよい。

【0058】

計測装置１３０は、Ｓ２２にて、信号送信機１１０からのトリガ信号に応答して信号受信機１２０から送信されるマーカ信号（開始信号）を受信したか否かを判定する。マーカ信号（開始信号）を受信していない場合（Ｓ２２にてＮＯ）は、計測装置１３０は、処理がＳ２２に戻されて、計測処理を継続しつつ、マーカ信号が受信されるのを待つ。

【0059】

マーカ信号（開始信号）が受信された場合（Ｓ２２にてＹＥＳ）は、処理がＳ２４に進められて、計測装置１３０は、受信したマーカ信号を計測データと関連付けて記憶装置１３３に記憶する。そして、計測装置１３０は、Ｓ２６にて、計測の終了を示すマーカ信号（終了信号）を信号受信機１２０から受信したか否かを判定する。信号受信機１２０からマーカ信号（終了信号）を受信していない場合（Ｓ２６にてＮＯ）、処理がＳ２４に進められて、計測装置１３０は、所定のサンプリングレートで計測データの記憶を継続する。

【0060】

一方、信号受信機１２０からマーカ信号（終了信号）を受信した場合（Ｓ２６にてＹＥＳ）は、処理がＳ２８に進められて、計測装置１３０は、開始信号から終了信号までの計測対象期間における計測データおよびマーカ信号のデータをデータ処理装置１５０へ出力する。その後、計測装置１３０は、ユーザによる操作等により、計測処理を停止する（Ｓ３０）。

【0061】

なお、計測装置１３０に記憶されたデータを、外部記憶装置を用いてデータ処理装置１５０に読み込ませる場合には、Ｓ２８のステップは省略される。また、計測装置がビデオカメラ１３０Ｘ，１３０Ｙの場合には、マーカ信号は画像データ内に発光信号として記録されるため、Ｓ２２およびＳ２６のようなマーカ信号の受信判定ができない場合がある。そのような場合には、計測期間中の画像データ全体をデータ処理装置１５０に読み込ませて、データ処理装置１５０において、ユーザの操作あるいは自動で同期処理が行なわれる。

【0062】

また、計測処理が長期間にわたって行なわれる場合、各計測装置１３０間のサンプリングレートの差による影響が計測時間とともに大きくなる。このような場合には、全体の計測期間内のデータをより短い期間に分割してデータ処理装置１５０に送信することによって、サンプリングレートの差による影響を小さくすることが好ましい。この場合、計測装置１３０においては、図７のＳ２８において計測データをデータ処理装置１５０に送信することと並行して、Ｓ２４における計測データおよびマーカ信号の記憶が継続され、信号受信機１２０からマーカ信号が送信される度に、前回のマーカ信号の受信以降に記憶された計測データおよびマーカ信号のデータがデータ処理装置１５０に送信される。

【0063】

このように、計測データを分割してデータ処理装置１５０に送信して処理することで、送信された計測データのブロック単位で、各計測装置１３０の計測データの同期処理が実行されるため、長期間にわたる計測の場合であってもデータの同期精度を維持することが可能となる。

【0064】

次に、データ処理装置１５０における処理について説明する。データ処理装置１５０は、Ｓ４０にて、各計測装置１３０からの計測データおよび画像データを取得する。データ処理装置１５０は、Ｓ４２にて、取得されたデータに含まれるマーカ信号から、隣接するマーカ信号間の計測期間を算出する。そして、データ処理装置１５０は、Ｓ４４にて、各計測装置１３０の計測データに対して算出された計測期間の長さが一致するか否かを判定する。

【0065】

各計測装置１３０における計測期間の長さが一致する場合（Ｓ４４にてＹＥＳ）は、処理がＳ４８に進められて、データ処理装置１５０は、各計測装置１３０の計測データについて、開始信号同士、および終了信号同士を合致させて、図６で示したように表示装置１６０に表示する。当該表示を用いて、ユーザは被験者についての動作解析を行なう。

【0066】

一方、計測期間の長さが不一致である計測装置がある場合（Ｓ４４にてＮＯ）は、処理がＳ４６に進められて、データ処理装置１５０は、図７で説明したような補正処理を実行する。その後、Ｓ４８に処理が進められて、上述のように、各計測データが同期された状態で表示装置１６０に表示される。

【0067】

以上のような処理に従って各機器において制御が行なわれることによって、複数の計測装置を用いたデータ計測システムにおいて、計測されたデータを適切に同期させて提示することができる。これによって、複数の計測データ間の同期精度を向上することができ、これらの因果関係の分析精度を向上させることができる。

【0068】

［態様］
（第１項）一態様に係るデータ計測システムは、複数の計測装置と、送信機と、データ処理装置とを備える。送信機は、複数の計測装置に対して第１信号を送信する。データ処理装置は、複数の計測装置から取得したデータをユーザに提示する。データ処理装置は、複数の計測装置の各々から、第１時刻に送信された第１信号に対応する開始信号と、第１時刻よりも時間的に遅延した第２時刻に送信された第１信号に対応する終了信号との間に計測された計測データを取得し、当該取得したデータにおける開始信号同士および終了信号同士を時間的に合致させて、複数の計測装置の計測データをユーザに提示する。

【0069】

第１項に記載のデータ計測システムによれば、共通の送信機からの第１信号に基づく開始信号から終了信号までの間の計測データが各計測装置から取得され、取得された計測データは開始信号同士および終了信号同士を時間的に合致させてユーザに提示される。このように、各計測装置において開始信号および終了信号を基準として計測データを合致させて複数の計測データを時系列的に同期させることによって、計測データの同時性を確保することができる。また、特に長時間の計測を行なう場合には、第１信号を適切な間隔で送信することによって、同期処理が逐次実行されるため、サンプリングレートのずれ、あるいは、クロック信号のずれの影響を低減することが可能となる。さらに、共通の第１信号を用いることで、外部入力を有する計測装置であれば、市販されているセンサ等を用いることができるため、比較的簡便にシステムを構築することができる。

【0070】

（第２項）第１項に記載のデータ計測システムにおいて、複数の計測装置の計測データをユーザに表示するための表示装置をさらに備える。

【0071】

第２項に記載のデータ計測システムによれば、ユーザは、表示装置に表示された計測データを用いて、観察および解析することができる。

【0072】

（第３項）第１項または第２項に記載のデータ計測システムおいて、複数の計測装置は、第１装置および第２装置を含む。第１装置における開始信号から終了信号までの第１間隔が、第２装置における開始信号から終了信号までの第２間隔と異なる場合には、データ処理装置は、第２間隔が第１間隔となるように、第２装置の計測データを補正する。

【0073】

第３項に記載のデータ計測システムによれば、各計測装置のサンプリングレートのずれ等によって開始信号と終了信号との間隔が異なる場合には、当該間隔が短い計測データを補正して計測データの同期処理が実行される。これによって、計測データ間の同期精度を高めることができる。

【0074】

（第４項）第１項～第３項のいずれか１項に記載のデータ計測システムにおいて、送信機は、複数の計測装置のうちのいずれかの計測装置に含まれる。

【0075】

第４項に記載のデータ計測システムによれば、複数の計測装置のうちの１つに送信機の機能が含まれる。そのため、送信機を別途準備することなくシステムを構築することが可能となる。

【0076】

（第５項）第１項～第３項のいずれか１項に記載のデータ計測システムにおいて、送信機は、データ処理装置に含まれる。

【0077】

第５項に記載のデータ計測システムによれば、データ処理装置に送信機の機能が含まれる。そのため、送信機を別途準備することなくシステムを構築することが可能となる。

【0078】

（第６項）第１項～第５項のいずれか１項に記載のデータ計測システムにおいて、複数の計測装置の各々は、環境情報を計測する環境センサ、生体情報を計測する生体センサ、および、画像を撮影する画像センサのいずれかのセンサを含む。

【0079】

第６項に記載のデータ計測システムによれば、計測装置として、環境センサ、生体センサ、および画像センサ（カメラ）を用いることができる。

【0080】

（第７項）第６項に記載のデータ計測システムにおいて、複数の計測装置の各々は、当該計測装置で計測された計測データを記憶するための記憶装置を含み、センサから記憶装置までの信号伝達手段を有線で行なう。

【0081】

第７項に記載のデータ計測システムによれば、各計測装置において、センサから記憶装置までの信号伝達手段に無線が用いられない。無線通信を行なった場合、少なからずデータの欠損が生じる危険性があるが、有線通信を用いて記憶装置内に計測データを記憶することで、データ欠損を低減することができる。

【0082】

（第８項）第１項～第７項のいずれか１項に記載のデータ計測システムにおいて、複数の計測装置の各々において、第２信号のサンプリングレートは、計測データのサンプリングレート以上である。

【0083】

第８項に記載のデータ計測システムによれば、他の計測データとの同期処理に用いられる第２信号のサンプリングレートが、計測データのサンプリングレート以上に設定される。計測装置によっては、計測データのサンプリングレートが比較的遅い場合があり、当該サンプリングレートで第２信号をサンプリングすると、他の計測装置における第２信号とのずれが大きくなって同期精度が低下するおそれがある。そのため、計測データのサンプリングレートが比較的遅い場合には、第２信号のサンプリングレートを計測データのサンプリングレートよりも高くすることで、同期精度の低下を抑制することができる。

【0084】

（第９項）第１項～第８項のいずれか１項に記載のデータ計測システムにおいて、送信機は、無線通信により第１信号を送信する。

【0085】

第９項に記載のデータ計測システムによれば、送信機によって無線通信を用いて第１信号がブロードキャストされる。これにより、送信機と受信機との間を接続する配線が不要となるので、システムの構築が容易になる。

【0086】

（第１０項）第１項～第９項のいずれか１項に記載のデータ計測システムにおいて、第１信号は、計測データに統合されて記憶される。

【0087】

第１０項に記載のデータ計測システムによれば、計測装置において計測データと第１信号とを独立の信号として記憶できない場合には、計測データに第１信号を重畳させたり、カメラの場合には撮影データ内に第１信号を記録したりすることで、第１信号を記憶させることができる。

【0088】

（第１１項）第１項に記載のデータ計測システムにおいて、送信機から送信された第１信号を受信したことに応答して、複数の計測装置のうちの対応する計測装置に第２信号を送信する少なくとも１つの受信機をさらに備える。開始信号は、第１時刻に送信された第１信号に対応する第２信号である。終了信号は、第２時刻に送信された第１信号に対応する第２信号である。

【0089】

第１１項に記載のデータ計測システムによれば、送信機からの第１信号を第２信号に変換する受信機を用いることによって、外部入力を有する計測装置であれば、市販されているセンサ等を当該データ計測システムに利用することが可能となる。したがって、比較的簡便にシステムを構築することができる。

【0090】

（第１２項）他の態様に係る計測装置は、第１項に記載のデータ計測システムに用いられる。計測装置は、送信機を含む。

【0091】

（第１３項）他の態様に係る送信機は、第１項～第１２項のいずれか１項に記載のデータ計測システムに用いられる。

【0092】

（第１４項）他の態様に係る受信機は、第１項～第１２項のいずれか１項に記載のデータ計測システムに用いられる。

【0093】

（第１５項）他の態様に係るデータ処理装置は、第１項～第１２項のいずれか１項に記載のデータ計測システムに用いられる。

【0094】

（第１６項）他の態様に係る方法は、複数の計測装置を含むデータ計測システムにおいて、計測データをユーザに提示する方法に関する。データ計測システムは、送信機と、データ処理装置とを備える。方法は、ｉ）送信機によって、複数の計測装置に対して第１信号を送信するステップと、ｉｉ）データ処理装置において、複数の計測装置の各々から、第１時刻に送信された第１信号に対応する開始信号と、第１時刻よりも時間的に遅延した第２時刻に送信された第１信号に対応する終了信号との間に計測された計測データを取得するステップと、ｉｉｉ）データ処理装置において、取得したデータにおける開始信号同士および終了信号同士を時間的に合致させて、複数の計測装置の計測データをユーザに提示するステップとを含む。

【0095】

第１６項に記載の方法によれば、共通の送信機からの第１信号に基づく開始信号から終了信号までの間の計測データが各計測装置から取得され、取得された計測データは開始信号同士および終了信号同士を時間的に合致させてユーザに提示される。このように、各計測装置において開始信号および終了信号を基準として計測データを合致させて複数の計測データを時系列的に同期させることによって、計測データの同時性を確保することができる。また、特に長時間の計測を行なう場合には、第１信号を適切な間隔で送信することによって、同期処理が逐次実行されるため、サンプリングレートのずれ、あるいは、クロック信号のずれの影響を低減することが可能となる。さらに、共通の第１信号を用いることで、外部入力を有する計測装置であれば、市販されているセンサ等を用いることができるため、比較的簡便にシステムを構築することができる。

【0096】

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0097】

１０ データ計測システム、１１０ 信号送信機、１２０，１２０Ａ，１２０Ｂ，１２０Ｘ 信号受信機、１３０，１３０Ａ，１３０Ｂ 計測装置、１３０Ｘ，１３０Ｙ ビデオカメラ、１３１，１５１ ＣＰＵ、１３２ 検出部、１３３，１３６，１５２ 記憶装置、１３５ 撮像部、１４０ 外部記憶媒体、１５０ データ処理装置、１６０ 表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】