特開 2023-170111 センシング装置、センシング情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170111

(43)【公開日】2023-12-01

(54)【発明の名称】センシング装置、センシング情報処理装置

(51)【国際特許分類】

   G06F 16/907 20190101AFI20231124BHJP

   G08C 15/06 20060101ALI20231124BHJP

   G06F 16/58 20190101ALI20231124BHJP

   G06F 16/587 20190101ALI20231124BHJP

   G06F 16/909 20190101ALI20231124BHJP

   H04N 7/18 20060101ALI20231124BHJP

【ＦＩ】

G06F16/907

G08C15/06 H

G06F16/58

G06F16/587

G06F16/909

H04N7/18 D

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022081596

(22)【出願日】2022-05-18

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】中道 拓也

【テーマコード（参考）】

2F073

5B175

5C054

【Ｆターム（参考）】

2F073AA01

2F073AB01

2F073BB01

2F073BB04

2F073BB07

2F073BC01

2F073BC02

2F073CC03

2F073CC09

2F073CC12

2F073CD11

2F073FF01

2F073FG01

2F073FG02

2F073FG11

2F073GG01

2F073GG08

5B175DA02

5B175DA10

5B175FB02

5B175GA04

5C054CA04

5C054CA05

5C054CC02

5C054DA07

5C054DA09

5C054EA01

5C054EA07

5C054FC12

5C054GB02

5C054GB04

5C054GB05

5C054GD03

5C054HA19

(57)【要約】      （修正有）

【課題】２つ以上のセンサそれぞれのセンサデータから同一人物に関するセンサデータを特定し、これにより、同一人物に関するさまざまな種類のセンサデータを収集するこセンシング装置及びセンシング情報処理装置を提供する。
【解決手段】センシング装置は、複数のセンサ部から得たセンサデータそれぞれに対して独立して特徴量を算出し、更に、センサ部の内部時刻とセンシング装置の内部時刻との間の時刻差異を予測し、その予測結果を用いてタイムスタンプを補正し、位置検出部が検出した移動体の特徴量を算出し、特徴量の相関が高いセンサデータを同一人物に関するセンサデータとして特定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

空間内の移動体または前記移動体の周辺の物理環境のうち少なくもいずれかについての情報を取得してその結果を記述したセンサデータを出力する２つ以上のセンサ部、
前記センサデータが記述している前記移動体の特徴量を算出する特徴量算出部、
２つの前記センサデータそれぞれの前記特徴量を比較する特徴量比較部、
前記２つのセンサデータの前記特徴量間の相関度の絶対値が閾値以上である場合は前記２つのセンサデータが記述している前記移動体が同一の移動体であることを示すグローバルＩＤ情報を前記２つのセンサデータに対して付与するグローバルＩＤ付与部、
を備えることを特徴とするセンシング装置。

【請求項2】

前記センシング装置はさらに、前記センサデータのタイムスタンプを補正する時刻補正部を備え、
前記時刻補正部は、前記センサ部の内部時刻と前記センシング装置の内部時刻との間の時刻差異を予測し、その予測結果を用いて前記タイムスタンプを補正し、
前記時刻補正部は、前記センサ部と前記時刻補正部との間の通信時間を予測し、その予測結果を用いて前記タイムスタンプを補正し、
前記時刻補正部は、前記センサ部が前記センサデータを処理するために要する処理時間を用いて前記タイムスタンプを補正する
ことを特徴とする請求項１記載のセンシング装置。

【請求項3】

前記センシング装置はさらに、前記センサデータ内における前記移動体の位置を検出する位置検出部を備え、
前記特徴量比較部は、前記位置検出部が検出した前記移動体の前記特徴量を算出する
ことを特徴とする請求項１記載のセンシング装置。

【請求項4】

前記センシング装置はさらに、２つ以上の前記センサデータが同一の前記移動体についての情報を記述しているか否かを推定するローカルＩＤ付与部を備え、
前記ローカルＩＤ付与部は、前記２つ以上のセンサデータが空間型センサによって取得されたものであり、かつ、同一の前記センサ部によって取得された前記２つ以上の前記センサデータが同一の前記移動体についての情報を記述していると推定する場合は、前記２つ以上のセンサデータに対して、前記移動体が同一の移動体であることを示すローカルＩＤ情報を付与し、
前記ローカルＩＤ付与部は、前記２つ以上のセンサデータが携帯型センサによって取得されたものであり、かつ、前記２つ以上の前記センサデータが同一の前記移動体についての情報を記述していると推定する場合は、前記２つ以上のセンサデータに対して、前記移動体が同一の移動体であることを示すローカルＩＤ情報を付与する
ことを特徴とする請求項１記載のセンシング装置。

【請求項5】

前記センシング装置はさらに、前記センサデータを蓄積する記憶部を備え、
前記ローカルＩＤ付与部は、前記記憶部が格納しているセンサデータのうち、第１センサデータが記述している前記移動体の第１位置と、前記第１センサデータとは異なる時点において取得された第２センサデータが記述している前記移動体の第２位置とを比較し、
前記ローカルＩＤ付与部は、前記第１位置と前記第２位置との間の距離が閾値以下である場合は、前記第１センサデータと前記第２センサデータが同一の前記移動体についての情報を記述していると推定する
ことを特徴とする請求項４記載のセンシング装置。

【請求項6】

前記センシング装置はさらに、前記センサデータ内における前記移動体の位置を検出する位置検出部を備え、
前記ローカルＩＤ付与部は、前記２つ以上のセンサデータが空間型センサによって取得されたものである場合は、前記位置検出部が検出した前記移動体について前記推定を実施し、
前記ローカルＩＤ付与部は、前記２つ以上のセンサデータが携帯型センサによって取得されたものである場合は、前記センサデータが記述している前記移動体の情報そのものに対して前記推定を実施する
ことを特徴とする請求項４記載のセンシング装置。

【請求項7】

前記特徴量算出部は、前記移動体の動きの激しさを表す行動強度を前記センサデータから算出し、
前記特徴量算出部は、前記行動強度を前記特徴量として用いる
ことを特徴とする請求項１記載のセンシング装置。

【請求項8】

前記移動体は人間であり、
前記特徴量算出部は、前記移動体の心理状態を表す心理状態値を前記センサデータから算出し、
前記特徴量算出部は、前記心理状態値を前記特徴量として用いる
ことを特徴とする請求項１記載のセンシング装置。

【請求項9】

前記特徴量算出部は、前記空間の環境条件に応じて、前記特徴量を算出する方法を変更し、
前記特徴量算出部は、前記移動体が有する部位ごとに前記特徴量を算出する
ことを特徴とする請求項１記載のセンシング装置。

【請求項10】

前記特徴量算出部は、前記センサ部の種類によって検出時刻が異なる事象について、前記特徴量を算出し、
前記特徴量比較部は、前記センサ部のうち第１センサが第１時刻において検出した第１事象と、前記センサ部のうち第２センサが第２時刻において検出した第２事象とが同一の事象である場合、前記第１事象の前記特徴量と前記第２事象の前記特徴量を比較することにより、前記移動体が同一の移動体であるか否かを判定する
ことを特徴とする請求項１記載のセンシング装置。

【請求項11】

前記特徴量比較部は、異なる前記ローカルＩＤ情報が付与されている２つの前記センサデータについて、前記特徴量を比較し、
前記グローバルＩＤ付与部は、前記異なるローカルＩＤ情報が付与されている前記２つのセンサデータについて、前記相関度の絶対値が閾値以上である場合は、前記ローカルＩＤ情報が異なる場合であっても、前記移動体が同一の移動体であることを示す前記グローバルＩＤ情報を付与する
ことを特徴とする請求項４記載のセンシング装置。

【請求項12】

前記特徴量比較部は、前記センサ部のうち第１種類の第１センサが検出した情報の第１特徴量を算出し、
前記特徴量比較部は、前記センサ部のうち前記第１種類とは異なる第２種類の第２センサが検出した情報の第２特徴量を算出し、
前記特徴量は、前記第１センサと前記第２センサが同一の前記移動体についての情報を検出した場合は、前記第１特徴量と前記第２特徴量との間の差分が閾値未満となる方法を用いて、前記第１特徴量と前記第２特徴量をそれぞれ算出する
ことを特徴とする請求項１記載のセンシング装置。

【請求項13】

前記移動体は人間であり、
前記センシング装置はさらに、前記移動体が特定の行動を起こすことを促す行動変容コンテンツを生成する行動変容コンテンツ生成部を備え、
前記センシング装置はさらに、前記行動変容コンテンツを前記移動体に対して提示する提示部を備え、
前記特徴量算出部は、前記行動変容コンテンツを提示された前記移動体の前記特徴量を算出する
ことを特徴とする請求項１記載のセンシング装置。

【請求項14】

前記特徴量算出部は、前記移動体の心理状態を表す心理状態値を前記センサデータから算出し、
前記特徴量算出部は、前記心理状態値を前記特徴量として用い、
前記行動変容コンテンツ生成部は、前記行動変容コンテンツを提示される前における前記心理状態値が行動変容閾値未満である場合は、前記行動変容閾値以上となることを促す前記行動変容コンテンツを生成し、
前記行動変容コンテンツ生成部は、前記行動変容コンテンツを提示される前における前記心理状態値が前記行動変容閾値以上である場合は、前記行動変容閾値未満となることを促す前記行動変容コンテンツを生成する
ことを特徴とする請求項１３記載のセンシング装置。

【請求項15】

空間内の移動体または前記移動体の周辺の物理環境のうち少なくもいずれかについての情報を取得してその結果を記述したセンサデータを出力する２つ以上のセンサ部から前記センサデータを取得するセンサ入力部、
前記センサデータが記述している前記移動体の特徴量を算出する特徴量算出部、
２つの前記センサデータそれぞれの前記特徴量を比較する特徴量比較部、
前記２つのセンサデータの前記特徴量間の相関度の絶対値が閾値以上である場合は前記２つのセンサデータが記述している前記移動体が同一の移動体であることを示すグローバルＩＤ情報を前記２つのセンサデータに対して付与するグローバルＩＤ付与部、
を備えることを特徴とするセンシング情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体を検出するセンシング装置に関する。

【背景技術】

【0002】

近年、空間の快適性や利便性を向上する試みが多くなされている。空間の快適性や利便性を向上するためには、人に関する様々なセンサデータが必要となる。様々なセンサを配置し、各センサから同一人物に関するセンサデータを抽出することにより、センサデータを有効に活用することができる。このとき使用されるセンサとしては、検知した人の絶対位置を取得可能なセンサと、検知した人の絶対位置を取得不可能なセンサがある。

【0003】

同一人物に関するセンサデータを抽出するためには、どのデータが同一人物のセンサデータなのか識別する必要がある。例えば、特許文献１に記載の情報処理装置は、複数の絶対位置を取得可能なセンサを備え、各センサが検知した人の絶対位置が近い人同士のセンサデータを同一人物に関するのセンサデータだと特定する。特許文献２に記載の情報処理装置は、人が使用している物体のセンサの周波数スペクトルと人に装着したセンサの周波数スペクトルの類似度から、物体を使用している人を特定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ２０２０／１７９７３０

【特許文献2】特開２０１９－０６１３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術は、絶対位置を取得可能なセンサのセンサデータから同一人物に関するセンサデータを特定することはできるが、絶対位置を取得不可能なセンサのセンサデータから同一人物に関するセンサデータを特定することはできない。特許文献２に記載の技術は、絶対位置を取得可能なセンサと絶対位置を取得不可能なセンサの両方のセンサデータから同一人物に関するセンサデータを特定することはできるが、すべてのセンサが同一種類のセンサデータを出力する必要がある。例えば、全てのセンサが３軸加速度センサであれば技術を適用できるが、３軸加速度センサと３軸角速度センサとの間では同技術を適用できない。

【0006】

本発明は上記課題に鑑みなされたものであり、２つ以上のセンサそれぞれのセンサデータから同一人物に関するセンサデータを特定することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係るセンシング装置は、各センサから得たセンサデータそれぞれに対して独立して特徴量を算出し、特徴量の相関が高いセンサデータを同一人物に関するセンサデータとして特定する。

【発明の効果】

【0008】

本発明に係るセンシング装置によれば、２つ以上のセンサそれぞれのセンサデータから同一人物に関するセンサデータを特定することができる。これにより、同一人物に関するさまざまな種類のセンサデータを収集することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係るセンシング装置１のハードウェア構成図である。

【図2】センサ部１２および測定対象となる人の位置関係例を示す。

【図3】センシング装置１とその周辺の機能構成を示すブロック図である。

【図4】ローカルＩＤ付与部１０３がセンサデータ内の同じ人物を識別する手順を説明するフローチャートである。

【図5】実施形態２に係るセンシング装置１とその周辺の機能構成を示すブロック図である。

【発明を実施するための形態】

【0010】

＜実施の形態１＞
図１は、本発明の実施形態１に係るセンシング装置１のハードウェア構成図である。センシング装置１は、コントローラ１１およびセンサ部１２を備える。コントローラ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１Ｈ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２Ｈ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３Ｈ、センサ入力部１１４Ｈ、出力部１１５Ｈ、などを備える。

【0011】

センサ部１２は、現実空間の物理情報をセンシングし、その結果を記述したセンシングデータをセンサ入力部１１４Ｈに出力する。センサ部１２は、複数備えることができる。センサ部１２を複数備える場合は、それぞれのセンサで独立してセンシングを実施してもよいし、複数のセンサを組み合わせてセンシングを実施してもよい。センサ部１２は、複数の測定対象のデータを同時に取得可能な空間型センサと、ある特定の測定対象のデータのみを取得可能な携帯型センサに大別される。

【0012】

センサ部１２は、センシングした情報から、測定対象に関する情報を抜き出して出力する。例えば、センサ部１２は、天井や壁等に設置され、測定範囲内の人間の情報を出力する。別の例では、センサ部１２は、道路上の電柱等に設置され、測定範囲内の車両の情報を出力する。設置場所や測定対象はこれらに限られず、さまざま考えられる。本実施形態では、測定範囲内の人間の情報を出力する例を用いて説明する。

【0013】

センサ部１２として、空間型センサの場合、カメラ、ステレオカメラ、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ＬｉＤＥＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、レーザパターン深度センサ、マイクアレイなどを用いることができる。携帯型センサの場合、加速度センサ、角速度センサ、心拍計、アイトラッキングセンサなどが使用可能である。センサ部１２はセンシングしたアナログデータをデジタルデータ化する。例えば、ＴＯＦカメラの場合は、赤外光の発光と赤外線カメラの露光タイミングを変更した複数フレームの画像から、赤外光の到達時間を計算することによって、３次元情報を撮像することができる。

【0014】

ＣＰＵ１１１Ｈは、ＲＯＭ１１２ＨまたはＲＡＭ１１３Ｈに格納されているプログラムを実行する。具体的には、ＣＰＵ１１１Ｈがプログラムを実行することにより、センシング装置１の各部の機能が実現される。ＲＯＭ１１２Ｈは、ＣＰＵ１１１Ｈが実行するプログラムおよび実行に必要な各種パラメータを格納するための記憶媒体である。ＲＡＭ１１３Ｈは、一時的に使用する各種情報を格納するための記憶媒体である。また、ＲＡＭ１１３Ｈは、ＣＰＵ１１１Ｈが使用するデータの一時保管領域としても機能する。センシング装置１は、ＣＰＵ１１１ＨとＲＯＭ１１２ＨとＲＡＭ１１３Ｈをそれぞれ複数有する構成でもよい。

【0015】

センサ入力部１１４Ｈは、センサ部１２からセンシングデータを受け取る。センサ入力部１１４Ｈとセンサ部１２との間は、有線もしくは無線の少なくともいずれか一方でデータ送受信することができる。通信手段は限定されるものではなく、さまざまな形態が考えられ、複数の手段を組み合わせたものも考えられる。例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ＬＡＮ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、Ｉ２Ｓ（Ｉｎｔｅｒ－ＩＣ Ｓｏｕｎｄ）、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ＵＡＲＴ（Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ Ｔｒａｎｓｍｉｔｔｅｒ）などの通信手段や、各種の公衆回線を介した通信手段などでデータを送受信することができる。

【0016】

出力部１１５Ｈは、ＣＰＵ１１１Ｈによって処理された結果を外部装置等に出力する。出力部１１５Ｈは、例えばディスプレイやスピーカなどである。ＣＰＵ１１１Ｈによって処理された結果はＲＯＭ１１２ＨまたはＲＡＭ１１３Ｈに保存されている。

【0017】

センシング装置１のハードウェア構成は、図１に示す構成に限定されない。例えばＣＰＵ１１１Ｈ、ＲＯＭ１１２Ｈ、ＲＡＭ１１３Ｈをセンシング装置１とは別体として設けるようにしてもよい。その場合、センシング装置１は汎用のコンピュータ（例えばサーバコンピュータやパーソナルコンピュータ、スマートフォン等）を用いて実現するようにしてもよい。また、複数のコンピュータをネットワークで接続して、センシング装置１の各部の機能を各コンピュータが分担することもできる。一方で、センシング装置１の機能の１つ以上を、専用のハードウェアを用いて実現することもできる。

【0018】

図２は、センサ部１２および測定対象となる人の位置関係例を示す。以下ではセンサ部１２として、センサＡ、センサＢ、センサＣの３つを有する例を説明する。センサＡは空間型センサであり、センサＢとＣは人が装着するセンサ（携帯型センサ）である。測定対象の人は人Ａと人Ｂとする。人ＡはセンサＡを左腕に装着しており、人ＢはセンサＢを左腕に装着している。センサＡは天井に取り付けられており、測定範囲Ａ内の人をセンシングする。

【0019】

図３は、センシング装置１とその周辺の機能構成を示すブロック図である。センシング装置１は、通信部１０７と外部通信部２１を介して、外部機器２に対して接続することができる。

【0020】

センシング装置１は、センサ部１２、時刻補正部１０１、人位置検出部１０２、ローカルＩＤ付与部１０３、特徴量算出部１０４、特徴量比較部１０５、グローバルＩＤ付与部１０６、通信部１０７、データ格納部１０８を備える。

【0021】

センシング装置１が外部機器２と通信する場合、外部通信部２１を設けてもよい。センシング装置１によって取得したセンサデータを使用する場合、外部機器２を使用することができる。通信部１０７は外部通信部２１と無線もしくは有線で通信する。通信手段は例えばＷｉＦｉやＢｌｕｅｔｏｏｔｈを用いる。外部通信部２１は通信部１０７から受信したデータを外部機器２に対して送信する。

【0022】

センサ部１２は、センサデータに対してセンサデータの取得時刻を付加して時刻補正部１０１へ出力する。センサデータの取得時刻は、物理量を取得した時刻とし、センサ部１２の内部時刻とする。センサ部１２と時刻補正部１０１それぞれの内部時刻間において許容できない差異がある場合、センサ部１２は、センサ部１２と時刻補正部１０１との間の内部時刻の差異を予測し、予測した時刻差異（予測時刻差異）をセンサデータに対して付加することもできる。センサ部１２は、時刻補正部１０１の内部時刻を通信などを介して取得し、時刻補正部１０１の内部時刻からセンサ部１２の内部時刻を減算することにより時刻差異を予測することができる。また、センサ部１２と時刻補正部１０１がネットワークで接続されている場合などにおいて、センサ部１２と時刻補正部１０１間の通信のために許容できない時間がかかる場合、センサ部１２はセンサ部１２と時刻補正部１０１との間の通信にかかる時間を予測し、予測時刻差異から予測通信時間を減算して予測時刻差異とし、センサデータに対して予測通信時間を付加してもよい。例えば、センサ部１２から時刻補正部１０１宛にＰｉｎｇを送信してラウンドトリップタイムを測定することにより、送信にかかる時間を予測することができる。センサ部１２から時刻補正部１０１へのセンサデータの通信がＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）通信など双方向通信ではない場合、センサ部１２は予測通信時間をラウンドトリップタイムの半分としてもよい。センサ部１２は、上記予測を複数回実施して平均値を予測通信時間としてもよい。また、センサ部１２は、センサデータの取得時刻後に処理を実施する場合などにおいて、センサデータの取得時刻とセンサデータの送信開始時刻との間に差がある場合、前処理時間をセンサデータに対して付加して送信することができる。

【0023】

センサ部１２は、予測時刻差異、予測通信時間、および前処理時間を、センサデータのすべてに付加してもよいし、最初のセンサデータだけや複数データ毎など特定のセンサデータのみに付加してもよい。

【0024】

時刻補正部１０１は、センサ部１２から出力されたセンサデータに補正後取得時刻を付加して人位置検出部１０２またはローカルＩＤ付与部１０３へ出力する。補正後取得時刻は、時刻補正部１０１の内部時刻基準のセンサデータ取得時刻である。時刻補正部１０１は、入力したセンサデータが空間型センサのセンサデータである場合には補正後取得時刻を付加したセンサデータを人位置検出部１０２に出力し、携帯型センサのセンサデータの場合には補正後取得時刻を付加したセンサデータをローカルＩＤ付与部１０３に出力する。本実施形態においては、前述したとおりセンサ部１２としてセンサＡ、センサＢ、センサＣを有する。時刻補正部１０１は、空間型センサであるセンサＡの場合には補正後取得時刻を付加したセンサデータを人位置検出部１０２に出力し、携帯型センサであるセンサＢおよびセンサＣのセンサデータの場合には補正後取得時刻を付加したセンサデータをローカルＩＤ付与部１０３に出力する。

【0025】

センサ部１２と時刻補正部１０１との間の内部時刻の差異を許容できる場合、時刻補正部１０１は、センサ部１２から入力したセンサデータに付加されたセンサデータの取得時刻を、補正後取得時刻として用いる。センサ部１２と時刻補正部１０１との間の内部時刻の差異を許容できない場合、時刻補正部１０１は、センサデータに付加されたセンサデータの取得時刻に対して予測時刻差異を加算した時刻を補正後取得時刻として用いることができる。センサデータに前処理時間が付加されている場合は、前処理時間をさらに加算した時刻を補正後取得時刻とすることができる。

【0026】

人位置検出部１０２は、時刻補正部１０１から入力したセンサデータから人に関する情報を抜き出して人単位に分割し、ローカルＩＤ付与部１０３へ出力する。例えば、カメラの場合には、センサデータであるカメラ画像から人の位置を検出し、検出された人の部分画像をローカルＩＤ付与部１０３に出力する。検出された人の部分とは、例えば検出した人の身体を含むピクセルの集合、検出した人を含む矩形を切り出した画像、などである。図２の例の場合、センサＡは人Ａおよび人Ｂの情報を含んだセンサデータを出力し、人位置検出部１０２はセンサＡのセンサデータから人を２人検出し、ローカルＩＤ付与部１０３に出力する。人の位置検出手法としては、パターンマッチングやニューラルネットワークなどを用いることができる。

【0027】

ローカルＩＤ付与部１０３は、時刻補正部１０１もしくは人位置検出部１０２から入力したセンサデータにローカルＩＤを付与してデータ格納部１０８に出力する。空間型センサのセンサデータの場合には、ローカルＩＤ付与部１０３は、同一センサで取得されたセンサデータの同じ人に関する情報だと推定されるセンサデータに一意のローカルＩＤを付与するようにする。携帯型センサのセンサデータの場合には、ローカルＩＤ付与部１０３は、同一センサのセンサデータに一意のローカルＩＤを付与する。ローカルＩＤは、同じセンサから取得したセンサデータが同じ人物を含んでいることを示すために付与するものである。これに対して後述するグローバルＩＤは、異なるセンサから取得したセンサデータが同じ人物を含んでいることを示すために付与するものである。

【0028】

携帯型センサの場合は、後述するようにユーザがセンサを携帯する時点においてそのユーザとセンサが関連付けられているので、同じセンサから取得したセンサデータは必ず同じ人物を表しているとみなすことができる。空間型センサはそのような前提条件がないので、同じ空間型センサが同じ人物を検出したか否かを、何らかの手段によって推定する必要がある。以下ではその手順を説明する。

【0029】

図４は、ローカルＩＤ付与部１０３がセンサデータ内の同じ人物を識別する手順を説明するフローチャートである。空間型センサのセンサデータの場合、ローカルＩＤ付与部１０３は、以前のセンサデータをデータ格納部１０８から受け取り、以前のセンサデータと最も距離的に近い人を同じ人に関する情報だと推定することができる。ローカルＩＤ付与部１０３は、人位置検出部１０２が検出したセンサデータ内の人位置を用いて、以下のステップを実施する。

【0030】

ステップＳ３０１：ローカルＩＤ付与部１０３は、同じセンサから取得した以前のセンサデータがデータ格納部１０８に存在するか確認する。存在する場合はステップＳ３０２に遷移し、存在しない場合はステップＳ３０７に遷移する。

【0031】

ステップＳ３０２：ローカルＩＤ付与部１０３は、同じセンサから取得した以前のセンサデータをデータ格納部１０８から取得する。このとき取得する以前のセンサデータは、現在より前のすべてのセンサデータでもよいし、ある一定期間のセンサデータでもよい。同じセンサで複数人分のセンサデータを取得している場合には、複数人分のセンサデータをデータ格納部１０８から取得する。

【0032】

ステップＳ３０３：ローカルＩＤ付与部１０３は、現在のセンサデータの人位置と以前のセンサデータの人位置を比較する。比較結果は、例えばセンサがカメラの場合には、人位置検出部１０２によって検出された人の部分画像の重心位置の距離とすることができる。以前のセンサデータが複数人分ある場合には、現在のセンサデータと以前のセンサデータの比較を複数人分実施する。

【0033】

ステップＳ３０４：ローカルＩＤ付与部１０３は、Ｓ３０２で取得した以前のセンサデータのうち、比較結果が最も近いセンサデータを取得する。例えば、比較結果が部分画像の重心位置の距離の場合は、距離が最も近いセンサデータを取得する。

【0034】

ステップＳ３０５：ローカルＩＤ付与部１０３は、比較結果が最も近いセンサデータの比較結果が閾値Ｄ以下であるか否かを確認する。閾値Ｄ以下である場合にはステップＳ３０６に遷移し、そうでない場合はステップＳ３０７に遷移する。

【0035】

ステップＳ３０６：ローカルＩＤ付与部１０３は、比較結果が最も近いセンサデータと同じローカルＩＤを現在のセンサデータに付与して、データ格納部１０８に格納する。

【0036】

ステップＳ３０７：これまでに使用されていないローカルＩＤを現在のセンサデータに付与して、データ格納部１０８に格納する。

【0037】

本フローチャートにおいて、ローカルＩＤ付与部１０３は、２つのセンサデータが記述している人位置が互いに近い場合は、その２つのセンサデータが同じ人物を表しているものと判断する。これに代えてまたはこれと併用して、その他の人認識技術を用いることもできる。例えば顔認識技術を用いて、カメラデータ内の人物を個別に識別すれば、同じ人物を表しているセンサデータを特定できる。

【0038】

特徴量算出部１０４は、データ格納部１０８に格納されているセンサデータのうち、まだ特徴量を算出していないセンサデータの特徴量を算出し、算出した特徴量をデータ格納部１０８に格納する。特徴量とは、センサデータの人に関する情報から算出される個人を特定するためのデータである。特徴量は個人を特定するためのデータであるが、この特徴量は別のセンサデータの特徴量と比較しグローバルＩＤを付与するためのものであるので、短期的に個人を特定できればよく、必ずしも永続的に個人を特定できる必要はない。また、この特徴量は特徴量比較部１０５が特徴量を比較したときに、同じ人物に関する同一時刻の特徴量が少なくとも２つのセンサ間において近しい値になるような特徴量にする必要がある。

【0039】

例えば、特徴量として行動強度を用いる例を説明する。行動強度は、ある単位時間における動きの強さを示す値である。例えば、センサが加速度や角速度を取得可能なセンサの場合、時刻ｔにおけるローカルＩＤがＤの行動強度Ｓ_ｔ，Ｄは式１により求められる。

【0040】

【数1】

【0041】

式１において、ｎは行動強度の算出に使用するサンプリング数、ｘ_ｔ，Ｄ、ｙ_ｔ，Ｄ、ｚ_ｔ，ＤはそれぞれローカルＩＤがＤである時刻ｔにおけるＸ軸、Ｙ軸、Ｚ軸の加速度もしくは角速度の大きさを表す。式１により、時刻ｔ以前のｎサンプル分のセンサデータの大きさの平均値を求めることができる。センサのサンプリング間隔が一定ではない場合にはｎは可変として、一定時間分のデータとなるようにしてもよい。また、行動強度はすべてのセンサデータから算出してもよいし、複数データ毎など特定のセンサデータのみで算出してもよい。

【0042】

特徴量として行動強度を用いることによって、加速度センサ、角速度センサ、カメラなどの測定対象の運動量の強弱を測ることができる複数種類のセンサ間において、同一人物の同一時間の特徴量の相関が強くなる。

【0043】

別の例として、特徴量として心理状態を用いることもできる。心理状態とは、怒り、悲しみ、焦り、戸惑いなどを含むことができる。また、複数の心理状態を用いて心理状態ベクトルを特徴量とすることもできる。例えば、焦りの場合には、平常状態よりも行動強度が強くなることが予想される。例えば、センサが加速度や角速度を取得可能なセンサの場合、時刻ｔにおけるローカルＩＤがＤの焦り度Ｉ_ｔ，Ｄは式２により求められる。

【0044】

【数2】

【0045】

式２は、時刻ｔより前の行動強度の平均値を平常状態の行動強度として、平常状態の行動強度から時刻ｔの行動強度を引いたものである。別の方法として、時刻ｔより前だけでなく時刻ｔより後の行動強度の平均値を平常状態の行動強度として焦り度を算出することもできる。また、時刻ｔより前の行動強度および時刻ｔより後の行動強度の平均値を平常状態の行動強度とすることもできる。

【0046】

焦り度は、生体センサからも取得することができる。例えば、平常状態の生体信号と時刻ｔの生体信号との間の差を焦り度とすることができる。

【0047】

特徴量算出部１０４は、複数の特徴量を特徴量ベクトルとしてデータ格納部１０８に格納することもできる。例えば、行動強度と焦り度の両方を１つのベクトルにしてデータ格納部１０８に格納する。

【0048】

特徴量算出部１０４は、環境条件に応じて特徴量の算出方法を変更してもよい。例えば、歩行者が多い空間においては行動強度に個人間で差が出にくい。この場合は、行動強度に代えて例えば歩様を特徴量とすることにより、個人間で差を出すことができる。

【0049】

特徴量算出部１０４は、可能である場合は、複数のパーツの特徴量をそれぞれ算出してもよい。例えば、センサがカメラの場合、左腕の特徴量、右腕の特徴量、頭部の特徴などを算出してもよい。

【0050】

特徴量比較部１０５は、データ格納部１０８に格納されたセンサデータの特徴量を比較し、比較結果をグローバルＩＤ付与部１０６に出力する。本実施形態では、時系列特徴量の相関係数を比較結果とする例を説明する。特徴量比較部１０５は、データ格納部１０８に格納されたセンサデータのうち、グローバルＩＤが付与されていないセンサデータを取得する。さらに、取得したセンサデータと異なるローカルＩＤをもつセンサデータを取得する。このとき、同一時刻のセンサデータを取得するようにし、各センサデータは連続した時系列となるように取得する。特徴量比較部１０５は、取得した２つの時系列センサデータの特徴量の相関係数を算出する。相関係数として、例えば、ピアソンの積率相関係数や、スピアマンの順位相関係数、ケンドールの順位相関係数などを使用することができる。

【0051】

特徴量比較部１０５は、時刻をずらして特徴量を比較することもできる。例えば、特徴量として焦り度を用いる場合、加速度センサや角速度センサなどの運動量を測ることができるセンサで算出した焦り度に対して、生体センサのセンサデータから算出した焦り度は遅れて反応することが予想される。この場合は、生体センサのセンサデータ全体を時間軸上でシフトさせ、同じ焦り反応が同じ時刻において現れるようにした上で、特徴量を互いに比較する。時刻をずらして比較することによって、遅れて反応する特徴量でも正しく比較することができる。

【0052】

特徴量比較部１０５は、特徴量算出部１０４が複数のパーツの特徴量を算出した場合、部位ごとに特徴量を比較してもよい。例えば、センサがカメラとスマートウォッチの場合、カメラのセンサデータから算出した左腕の特徴量とスマートウォッチのセンサデータから算出した特徴量を比較する。

【0053】

グローバルＩＤ付与部１０６は、特徴量比較部１０５から入力した２つのセンサデータ間の相関度が閾値ｔ_＋以上もしくは閾値ｔ_－以下ならば同一のグローバルＩＤを付与してデータ格納部１０８に格納する。すなわち、相関度の絶対値が閾値以上であれば、その２つのセンサデータは、ローカルＩＤが異なっているとしても、同じ人物を表しているものとみなして、同じグローバルＩＤを付与する。２つのセンサデータのうち、片方に既にグローバルＩＤが付与されている場合は、他方に同一のグローバルＩＤを付与する。両方のセンサデータにグローバルＩＤが付与されていない場合は、まだ使用されていないグローバルＩＤを両方に付与する。例えば、最初は２つの携帯型センサからのセンサデータ間において同じグローバルＩＤを付与し、後の時刻においてその携帯型センサを装着した人物が空間型センサの検出範囲内に入った場合、改めて同じグローバルＩＤをその空間型センサのセンサデータに対して付与する。

【0054】

グローバルＩＤ付与部１０６は、相関度を比較した結果の有意水準が一定以上である場合には、グローバルＩＤを付与しなくてもよい。

【0055】

＜実施の形態１：まとめ＞
本実施形態１に係るセンシング装置１によれば、同一人物に関するデータに対して同一のグローバルＩＤを付与することができる。同一のグローバルＩＤを付与する条件として、同じ人ならば多種のセンサであっても同様の値となる（すなわち、同じ人物についての特徴量間の差分が閾値未満となるような算出方法によって算出した）特徴量を用いることによって、多種のセンサから取得したセンサデータであっても同一のグローバルＩＤを付与することができる。

【0056】

＜実施の形態２＞
本発明の実施形態２では、実施形態１のセンシング装置１に加えて、センシング対象者へ行動変容を促す機能を付加した例を説明する。実施形態１と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

【0057】

図５は、実施形態２に係るセンシング装置１とその周辺の機能構成を示すブロック図である。実施形態１で説明したセンシング装置１の構成に加えて、新たに行動変容コンテンツ生成部１０９と表示部１１０を備る。その他の構成は実施形態１と同様である。

【0058】

グローバルＩＤ付与部１０６は、特徴量比較部１０５から入力した２つのセンサデータ間の相関度の絶対値が閾値以上である場合には、２つのセンサデータのうちグローバルＩＤが付与されていないセンサデータのローカルＩＤを行動変容コンテンツ生成部１０９に対して出力する。あるいはこれに代えて、２つのセンサデータのうちグローバルＩＤが付与されていないセンサデータのローカルＩＤをグローバルＩＤ付与部１０６内で記憶しておくこともできる。一定時間以上、グローバルＩＤが付与されない場合にのみ、その付与されないセンサデータのローカルＩＤを行動変容コンテンツ生成部１０９に対して出力することもできる。

【0059】

行動変容コンテンツ生成部１０９は、入力されたローカルＩＤを持つセンサ用の行動変容コンテンツを生成する。行動変容コンテンツ生成部１０９は、生成した行動変容コンテンツを表示部１１０に出力する。行動変容コンテンツとは、測定対象に特殊な行動を起こさせるためのコンテンツである。例えば、測定対象が人である場合には、人を焦らせるようなコンテンツや驚かせるコンテンツなどである。

【0060】

行動変容コンテンツ生成部１０９は、条件によって別の行動変容コンテンツを生成してもよい。例えば、センシング装置１がセンシング中の複数の測定対象の焦り度の平均を算出し、焦り度の平均が閾値未満なら焦らせる行動変容コンテンツを生成し、焦り度の平均が閾値以上なら落ち着かせる行動変容コンテンツを生成することができる。

【0061】

表示部１１０は、行動変容コンテンツ生成部１０９から入力した行動変容コンテンツを表示する。表示部１１０は、具体的には例えば携帯型センサが備えるディスプレイやスピーカなどである。例えば、センサ部１２はスマートフォンであり、表示部１１０はスマートフォンの画面である。

【0062】

＜実施の形態２：まとめ＞
本実施形態２に係るセンシング装置１によれば、ある特定の測定対象に特殊な行動を起こさせることによって、特殊な特徴量を算出することができる。特殊な特徴量を算出することによって、間違ったグローバルＩＤを付与する可能性を低減することができる。

【0063】

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0064】

以上の実施形態において、ローカルＩＤまたはグローバルＩＤをセンサデータに対して付与する例を説明したが、少なくともセンサデータとこれらのＩＤが関連付けられていれば、以上の実施形態と同様の効果を発揮できる。したがってこれらのＩＤは、センサデータそのものに対して必ずしもデータ上で追加する必要はなく、これらの関連を記述したデータをデータ格納部１０８へ格納するような態様も可能である。このような態様も含めて『ＩＤを付与する』ことを意味する。

【0065】

以上の実施形態において、携帯型センサの例としては、スマートグラス、スマートウォッチ、スマートフォン、などが人の特徴量を検出可能なセンサを備えたデバイスが考えられる。これらの携帯型デバイスは、あらかじめそのデバイスのユーザと関連付けておくことができる。例えば携帯型デバイスが出力するセンサデータ内にデバイス固有のＩＤを含めておき、そのＩＤとユーザＩＤをあらかじめ関連付けてデータ格納部１０８内にその関連づけを記憶しておけばよい。

【0066】

以上の実施形態において、特徴量間の相関度は、絶対値が大きいほど相関が高いことを想定したが、相関度の定義によっては必ずしもこれに限るものではない。その場合は以上の説明において、相関度の定義にしたがって、グローバルＩＤを付与する条件を適宜読み替えればよい。

【0067】

以上の実施形態において、心理状態を特徴量として用いる例として、焦り度を計算することを説明した。センサの種類によっては、その他の心理状態または心理状態を導出することができるパラメータを取得できる場合もあるので、その場合は焦り度以外の心理状態を特徴量として用いてもよい。

【0068】

以上の実施形態において、複数種類のセンサが人を検出する例を説明したが、人以外の移動体についても本発明を適用可能である。すなわち、移動体の特徴量がセンサの種類によらず相関関係を有する場合において、その移動体について本発明を適用することができる。この場合は、人位置検出部１０２に代えて、その移動体を検出する位置検出部を設ければよい。検出手法は、例えば形態認識技術などのような任意の公知技術を用いることができる。

【符号の説明】

【0069】

１：センシング装置
２：外部機器
１１：コントローラ
１１１Ｈ：ＣＰＵ
１１２Ｈ：ＲＯＭ
１１３Ｈ：ＲＡＭ
１１４Ｈ：センサ入力部
１１５Ｈ：出力部
１２：センサ部
１０１：時刻補正部
１０２：人位置検出部
１０３：ローカルＩＤ付与部
１０４：特徴量算出部
１０５：特徴量比較部
１０６：グローバルＩＤ付与部
１０７：通信部
１０９：行動変容コンテンツ生成部
１１０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】