特許 7098972 行動認識装置、行動認識システム、行動認識方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-04

(45)【発行日】2022-07-12

(54)【発明の名称】行動認識装置、行動認識システム、行動認識方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220705BHJP

   G06F 16/73 20190101ALI20220705BHJP

   G06F 16/903 20190101ALI20220705BHJP

【ＦＩ】

G06T7/20 300Z

G06F16/73

G06F16/903

【請求項の数】 11

(21)【出願番号】P 2018044782

(22)【出願日】2018-03-12

(65)【公開番号】P2019159726

(43)【公開日】2019-09-19

【審査請求日】2021-02-08

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】牧 隆史

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１７－２２８１００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ －７／９０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ １６／７３

Ｇ０６Ｆ １６／９０３

(57)【特許請求の範囲】

【請求項1】

対象物の動きを検出する複数の動き検出部と、
前記動き検出部の各検出結果に基づいて、検出結果の種類に応じた固定的な信頼度を付与する信頼度算出部と、
前記動き検出部の各検出結果と前記信頼度とに基づいて、前記対象物の行動を認識する行動認識部と、
を備える行動認識装置。

【請求項2】

前記動き検出部は、前記対象物を撮像する少なくとも１つの第１のセンサと、
当該第１のセンサが撮像した画像を分析することによって前記対象物の動きを分析する画像分析部と、を含む、
ことを特徴とする請求項１に記載の行動認識装置。

【請求項3】

前記動き検出部は、前記対象物に装着された、少なくとも加速度センサを備えて、当該対象物の動きに応じた検出結果を出力する第２のセンサと、
当該第２のセンサの出力を分析することによって、前記対象物の動きを分析するセンサデータ分析部と、を含む、
ことを特徴とする請求項２に記載の行動認識装置。

【請求項4】

前記行動認識部は、前記第１のセンサ及び前記第２のセンサによる前記対象物の動きの検出結果に対する信頼度のうち、同一時刻において、より高い信頼度を有する検出結果に基づく行動を、当該対象物の行動として認識する、
ことを特徴とする請求項３に記載の行動認識装置。

【請求項5】

前記信頼度算出部は、前記画像分析部の分析結果に対して、動的に算出した信頼度を付与する、
ことを特徴とする請求項２に記載の行動認識装置。

【請求項6】

前記信頼度算出部は、前記画像分析部の分析結果に対して、前記対象物の観測サイズに応じて、当該観測サイズが大きいほど高い信頼度を付与する、
ことを特徴とする請求項５に記載の行動認識装置。

【請求項7】

前記信頼度算出部は、前記動き検出部の各検出結果と前記対象物の標準動作との類似度に応じて、当該類似度が高いほど高い信頼度を付与する、
ことを特徴とする請求項５に記載の行動認識装置。

【請求項8】

前記信頼度算出部は、前記信頼度を、予め設定した値の範囲内で算出する、
ことを特徴とする請求項５から請求項７のいずれか１項に記載の行動認識装置。

【請求項9】

対象物の動きを検出する複数の動き検出装置と、前記動き検出装置の各検出結果に基づいて前記対象物の行動を認識するサーバ装置と、を備える行動認識システムであって、
前記サーバ装置は、
前記動き検出装置の各検出結果に基づいて、検出結果の種類に応じた固定的な信頼度を付与する信頼度算出部と、
前記動き検出装置の各検出結果と前記信頼度とに基づいて、前記対象物の行動を認識する行動認識部と、
を備える行動認識システム。

【請求項10】

複数の動き検出部によって対象物の動きを検出する動き検出ステップと、
前記動き検出ステップの各検出結果に基づいて、検出結果の種類に応じた固定的な信頼度を付与する信頼度算出ステップと、
前記動き検出ステップの各検出結果と前記信頼度とに基づいて、前記対象物の行動を認識する行動認識ステップと、
を含む行動認識方法。

【請求項11】

コンピュータに、
対象物の動きを検出する複数の動き検出部と、
前記動き検出部の各検出結果に基づいて、検出結果の種類に応じた固定的な信頼度を付与する信頼度算出部と、
前記動き検出部の各検出結果と前記信頼度とに基づいて、前記対象物の行動を認識する行動認識部と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動認識装置、行動認識システム、行動認識方法およびプログラムに関する。

【背景技術】

【0002】

人の行動を分析するための手段として、画像認識技術を用いる方法が知られている。特に、画像認識と被験者に装着したセンサが検出した加速度等の情報との組み合わせによって、行動分析の精度を向上させる行動認識システムが知られている（例えば、特許文献１）。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、このような従来の行動認識システムでは、人の行動を検出するための検出手段として、センサとカメラを備えて、センサの検出結果と、カメラで撮像した画像からの検出結果と、を単に補完する目的で組み合わせていた。したがって、それぞれの検出手段によって認識された人の行動の種類に齟齬が生じた場合についての扱いが明確でないという問題があった。例えば、行動検出対象の人が歩行状態、或いは静止状態にあることは、センサと画像認識のどちらでも認識することが可能である。ところが、センサは歩行状態を検出しているにも関わらず、画像認識では静止状態と認識される場合、どちらの検出結果を採用すべきかを判断するための基準を設けることが望まれていた。

【0004】

例えば、特許文献１には、複数のセンサで検出した情報を統合して活用しているが、どのセンサの検出結果を採用するかは、ユーザが入力したテキスト情報に基づいて決定している。そのため、ユーザが介在しない状態であっても、行動の認識精度を高めることが望まれる。

【0005】

本発明は、上記に鑑みてなされたものであり、ユーザの介在なしに、複数の検出手段の検出結果に基づく、対象物の行動の推定精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

前記した課題を解決し、目的を達成するために、本発明の行動認識装置は、対象物の動きを検出する複数の動き検出部と、前記動き検出部の各検出結果に基づいて、検出結果の種類に応じた固定的な信頼度を付与する信頼度算出部と、前記動き検出部の各検出結果と前記信頼度とに基づいて、前記対象物の行動を認識する行動認識部と、を備える。

【発明の効果】

【0007】

本発明によれば、ユーザの介在なしに、対象物の行動の認識精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る行動認識装置のシステム構成を示すブロック図である。

【図2】図２は、行動認識装置のハードウェア構成の一例を示すハードウェアブロック図である。

【図3】図３は、行動認識装置の機能構成の一例を示す機能ブロック図である。

【図4】図４は、センサタグの出力に基づく分析結果の一例を示す図である。

【図5】図５は、カメラが撮像した画像の分析結果の一例を示す図である。

【図6】図６は、２台のカメラで同一時刻に撮像される画像の一例を示す図である。

【図7】図７は、行動認識装置が行う処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明の実施形態について説明する。

【0010】

（行動認識装置の構成の説明）
図１は、本実施形態の行動認識装置１のシステム構成を示すブロック図である。行動認識装置１は、行動を認識される検出対象である人１０に装着されたセンサタグ２と、無線ＡＰ（アクセスポイント）３と、複数のカメラ４ａ、４ｂ、４ｃと、サーバ５とを備える。なお、カメラの台数は３台に限定されるものではない。また、検出対象である人１０は１人とは限らない。したがって、人１０に装着されるセンサタグ２は、検出対象となる人１０の人数分が使用される。なお、行動認識装置１は、サーバ装置の一例としてのサーバ５と、動き検出装置としての動き検出部２０（図３参照）と、を備える行動認識システムの一例である。

【0011】

センサタグ２は、検出対象である人１０の動きを検出する。そして、センサタグ２は、検出したデータを、所定の時間間隔で無線ＡＰ３に送信する。なお、センサタグ２は、少なくとも、加速度検出機能と、角速度検出機能と、気圧計測機能と、地磁気検出機能と、無線通信機能と、を備える。なお、センサタグ２は第２のセンサの一例である。

【0012】

無線ＡＰ３は、無線ＬＡＮとしてのＷｉ－Ｆｉ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格を用いてセンサタグ２と接続されている。無線ＡＰ３は、センサタグ２が検出したデータを受信する。また、無線ＡＰ３は、センサタグ２から受信したデータをサーバ５に送信する。

【0013】

カメラ４ａ、４ｂ、４ｃは、いずれも、人１０を含む画像Ｉａ、Ｉｂ、Ｉｃを、例えば、サーバ５の指示により、所定の時間間隔で、略同時刻に撮像する（外部同期による撮像動作）。なお、画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）はカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）で撮像された画像であるとする。そして、カメラ４ａ、４ｂ、４ｃは、撮像した画像Ｉａ、Ｉｂ、Ｉｃをサーバ５に送信する。なお、カメラ４ａ、４ｂ、４ｃは、第１のセンサの一例である。ここで、カメラ４ａ、４ｂ、４ｃは、例えば、カメラ４ａの指示により、所定の時間間隔で、略同時刻に画像Ｉａ、Ｉｂ、Ｉｃを撮像する構成であってもよい（内部同期による撮像動作）。

【0014】

サーバ５は、画像Ｉａ、Ｉｂ、Ｉｃと、無線ＡＰ３から送信されたデータと、を受信する。また、サーバ５は、画像Ｉａ、Ｉｂ、Ｉｃと、無線ＡＰ３から送られてきたデータと、を分析する処理を行う。そして、サーバ５は、分析結果を時系列で記録する。なお、センサタグ２が検出したデータの分析は、サーバ５が行う代わりに、センサタグ２が備えるＣＰＵ（Central Processing Unit）２ａ（図２参照）が行ってもよい。

【0015】

（行動認識装置のハードウェア構成の説明）
図２は、行動認識装置１のハードウェア構成の一例を示すハードウェアブロック図である。

【0016】

センサタグ２は、ＣＰＵ２ａと、ＲＡＭ（Random Access Memory）２ｂと、ＲＯＭ（Read Only Memory）２ｃと、加速度センサ２ｄと、角速度センサ２ｅと、気圧センサ２ｆと、地磁気センサ２ｇと、無線通信Ｉ／Ｆ（Interface）２ｈとを備える。

【0017】

ＣＰＵ２ａは、ＲＯＭ２ｃに記憶された制御プログラムＰ１を読み出して、ＲＡＭ２ｂに展開して実行する。これによって、ＣＰＵ２ａは、センサタグ２の動作を制御して、加速度センサ２ｄと、角速度センサ２ｅと、気圧センサ２ｆと、地磁気センサ２ｇと、の出力を、略同時刻に取得する。このように、センサタグ２は、一般のコンピュータの構成を有する。

【0018】

加速度センサ２ｄは、例えば、ｘｙｚ３軸方向に沿う梁を備えて、各梁に貼り付けられた歪ゲージの撓み量に基づいて、当該加速度センサ２ｄが装着された人１０の３軸各方向の加速度、すなわち、直線運動の大きさと向きを検出する。なお、加速度を検出する方法としては、その他にも、圧電素子を用いる方法、静電容量を用いる方法等が提案されており、加速度センサ２ｄは、そのいずれの方法に基づくセンサであってもよい。

【0019】

角速度センサ２ｅは、例えばジャイロセンサで構成されて、当該角速度センサ２ｅが装着された人１０の角速度、すなわち、回転運動の大きさと向きを検出する。

【0020】

気圧センサ２ｆは、例えば大気圧に応じて変化する静電容量の大きさ、または大気圧に応じて変化する抵抗値の大きさを計測することによって、当該気圧センサ２ｆが装着された人１０に作用する大気圧の大きさを検出する。

【0021】

地磁気センサ２ｇは、例えば、磁界の変化に応じて出力電圧値が変化する、いわゆるホール効果を有する素子（ホール素子）を用いて、当該地磁気センサ２ｇが装着された人１０に作用する地磁気の大きさを検出する。

【0022】

なお、センサタグ２が備えるセンサの種類は、図２に記載したものに限定されない。すなわち、センサタグ２には、行動認識装置１の認識対象となる人１０がとる行動の種類に対応する出力を得ることができるセンサが、適宜備えられる。例えば、センサタグ２は、ＧＰＳ衛星からの電波を受信することによって、受信者の現在位置を検出するＧＰＳ（Global Positioning Sensor）受信機等を備えていてもよい。

【0023】

無線通信Ｉ／Ｆ２ｈは、無線ＡＰ３との間で無線通信を確立させる。無線通信Ｉ／Ｆ２ｈは、センサタグ２が備える各センサ（加速度センサ２ｄ、角速度センサ２ｅ、気圧センサ２ｆ、地磁気センサ２ｇ）の出力を、無線ＡＰ３に送信する。

【0024】

無線ＡＰ３は、無線通信Ｉ／Ｆ３ａを備える。無線通信Ｉ／Ｆ３ａは、センサタグ２から、前記した各センサの出力を受信する。また、無線ＡＰ３は、受信した各センサの出力を、サーバ５に送信する。

【0025】

カメラ４ａ、４ｂ、４ｃは、予め設定された範囲の画像を撮像して、撮像した画像Ｉａ、Ｉｂ、Ｉｃを、それぞれ、サーバ５に送信する。カメラ４ａ、４ｂ、４ｃは、一般的に使用されている、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを受光素子とするカメラである。

【0026】

サーバ５は、ＣＰＵ５ａと、ＲＡＭ５ｂと、ＲＯＭ５ｃと、ＨＤＤ５ｄと、キーボード５ｅと、モニタ５ｆと、を備える。

【0027】

ＣＰＵ５ａは、ＲＯＭ５ｃに記憶された制御プログラムＰ２を読み出して、ＲＡＭ５ｂに展開して実行する。これによって、ＣＰＵ５ａは、サーバ５の動作を制御して、センサタグ２の出力を無線ＡＰ３の無線通信Ｉ／Ｆ３ａから受信する。また、ＣＰＵ５ａは、サーバ５の動作を制御して、カメラ４ａ、４ｂ、４ｃが撮像した画像Ｉａ、Ｉｂ、Ｉｃを受信する。そして、ＣＰＵ５ａは、センサタグ２の出力、および画像Ｉａ、Ｉｂ、Ｉｃを用いて、人１０の行動認識を行い、さらに、認識された行動に対する信頼度を算出する。なお、信頼度について詳しくは後述する。

【0028】

さらに、ＣＰＵ５ａは、センサタグ２の出力に基づいて認識された人１０の行動および信頼度を、センサタグ２の出力を受信した日付および時刻とともに、ＨＤＤ５ｄに記憶する。また、ＣＰＵ５ａは、画像Ｉａ、Ｉｂ、Ｉｃに基づいて認識された人１０の行動および信頼度を、画像Ｉａ、Ｉｂ、Ｉｃを受信した日付および時刻とともに、ＨＤＤ５ｄに記憶する。なお、センサタグ２の出力を受信した日付および時刻と、画像Ｉａ、Ｉｂ、Ｉｃを受信した日付および時刻とは、ＣＰＵ５ａが備える計時手段としてのタイマの出力を参照することによって取得される。このように、サーバ５は、一般のコンピュータの構成を有する。

【0029】

ＨＤＤ５ｄは、認識された人１０の行動を、データベースＤＢに記憶する。なお、ＨＤＤ５ｄは、さらに、センサタグ２の出力および画像Ｉａ、Ｉｂ、Ｉｃを記憶してもよい。

【0030】

キーボード５ｅは、ユーザの操作を受け付けて、受け付けた操作情報をＣＰＵ５ａに伝達する。

【0031】

モニタ５ｆは、キーボード５ｅの操作に応じた情報を表示する。

【0032】

（行動認識装置の機能構成の説明）
図３は、行動認識装置１の機能構成の一例を示す機能ブロック図である。

【0033】

サーバ５のＣＰＵ５ａは、ＲＯＭ５ｃに記憶された制御プログラムＰ２を読み出して、ＲＡＭ５ｂに展開する。そして、ＣＰＵ５ａは、ＲＡＭ５ｂに展開された制御プログラムＰ２を実行することによって、図３に示す動き検出部２０と、信頼度算出部３０と、行動認識部４０と、を機能部として実現する。

【0034】

動き検出部２０は、人１０の動きを検出する。なお、人１０は、対象物の一例である。動き検出部２０は、人１０を含む画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）を撮像する複数のカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）と、人１０の動きに伴って発生する信号を検出する、人１０に装着されたセンサタグ２と、を備える。センサタグ２は、前記した異なる複数のセンサ（例えば、加速度センサ２ｄ、角速度センサ２ｅ、気圧センサ２ｆ、地磁気センサ２ｇ等）を備える（図２参照）。なお、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）は第１のセンサの一例である。また、センサタグ２は、第２のセンサの一例である。

【0035】

また、動き検出部２０は、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）の出力である画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づいて、人１０の動きに伴って発生する挙動を分析する画像分析部２４と、センサタグ２の出力に基づいて、人１０の動きに伴って発生する信号を分析するセンサデータ分析部２２と、を備える。

【0036】

信頼度算出部３０は、センサデータ分析部２２の分析結果に対する信頼度３２ａを算出する。また、信頼度算出部３０は、画像分析部２４の分析結果に対する信頼度３２ｂを算出する。

【0037】

行動認識部４０は、センサデータ分析部２２の分析結果と、当該分析結果に対する信頼度３２ａと、画像分析部２４の分析結果と、当該分析結果に対する信頼度３２ｂと、に基づいて、人１０の行動を認識する。

【0038】

（信頼度の説明）
次に、図４、図５を用いて、本実施形態の行動認識装置１で利用する信頼度３２ａ、３２ｂについて説明する。図４は、センサタグ２の出力に基づく分析結果の一例を示す図である。なお、図４に示すデータは、ＨＤＤ５ｄ（図２参照）に記憶される。また、図５は、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）の分析結果の一例を示す図である。なお、図５に示すデータも、ＨＤＤ５ｄに記憶される。ここで、図４、図５は、フォークリフトを用いて作業を行っている人１０の行動分析に、行動認識装置１を適用した例を示すものである。

【0039】

図４において、センサタグ２の出力に基づく分析結果は、センサタグ２の出力を取得した日付Ｄ１と、センサタグ２の出力を取得した時刻Ｔ１と、認識された人１０の行動Ｂ１と、信頼度３２ａとを含む。

【0040】

行動認識装置１は、センサタグ２の出力を分析することによって、「歩行状態」、「停止状態」、「フォーリフトに乗車した状態」、「フォークリフトで移動している状態」等の人１０の行動Ｂ１を認識する。

【0041】

信頼度３２ａは、行動Ｂ１をどの程度の確からしさで認識したかを示す値である。より具体的には、信頼度３２ａは、行動Ｂ１を最も信頼できる状態で認識した状態を１００、全く信頼できない状態で認識した状態を０として、１００段階で数値化した値である。図４の例では、例えば、歩行の信頼度が７０、停止の信頼度が９０であることを示している。

【0042】

例えば、人１０が「停止状態」であることは、センサタグ２が備える加速度センサ２ｄの出力がゼロに近い所定値以下の状態が継続していることを検出することによって認識することができる。

【0043】

また、人１０が「歩行状態」であることは、人１０の歩行に起因する所定の時間間隔毎の加速度の推移パターンをモデルとして、加速度センサ２ｄの出力と、加速度の推移パターンのモデルとの相関を取ることによって認識することができる。しかしながら、「歩行状態」において発生する加速度には個人差が存在する。すなわち、歩行行動自体のぶれ（急いでいるかゆっくり歩いているか）が存在するため、信頼度３２ａは、一般には高くない。そのため、行動認識装置１は、画像Ｉｉから分析した人１０の行動Ｂ２の信頼度３２ｂと、センサタグ２の出力から分析した人１０の行動Ｂ１の信頼度３２ａと、の両者に基づいて、人１０の行動を認識する。

【0044】

なお、図４に示す、「フォークリフトに乗車」する行動は、例えば、人１０が上方へ移動していることに基づいて検出することができる。すなわち、上方に移動する加速度を検出することによって、フォークリフトに乗車したことを検出することができる。また、「フォークリフトで移動」する行動は、例えば、人１０の存在位置が、時間の経過とともに、歩行動作を超える速度で移動していることに基づいて検出することができる。

【0045】

図５において、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づく分析結果は、画像Ｉｉを取得した日付Ｄ２と、画像Ｉｉを取得した時刻Ｔ２と、認識された人１０の行動Ｂ２と、信頼度３２ｂとを含む。

【0046】

画像認識に基づく行動検出では、センサタグ２によると識別が困難な細かい手の動き等を検出することが可能である。認識の手段としては、例えば、画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）から抽出した特徴量の時間変化と、モデルとなる行動の特徴量の時間変化と、を比較する方法を用いる。この方法は、センサタグ２による「歩行状態」の検出と同様、モデルとなる加速度の推移パターンとの比較によるため、モデルとの類似度によって検出結果の信頼度３２ｂは変動する。

【0047】

次に、図６を用いて、複数のカメラで同一時刻に撮像される画像の違いについて説明する。図６は、２台のカメラ４ａ、４ｂで同一時刻に撮像される画像Ｉａ、Ｉｂの一例を示す図である。図６に示すように、カメラ４ａ、４ｂの設置位置と人１０との位置関係に応じて、画像Ｉａ、Ｉｂに映る人１０の大きさや向きが変化する。例えば、図６の例では、人１０とカメラ４ａとの距離ｄ１は、人１０とカメラ４ｂとの距離ｄ２よりも大きくなっている。したがって、人１０は、画像Ｉａよりも画像Ｉｂにおいて大きく観測される。

【0048】

図６の状態にあっては、人１０が異なる大きさで観測されるため、一般に、画像Ｉａから検出した特徴量に基づく人１０の動きに伴う挙動（標準動作）の信頼度は、画像Ｉｂから検出した同じ挙動の信頼度よりも小さくなる。そのため、行動認識を行う過程で算出した、人１０の動きに伴う挙動と当該挙動のモデルとの類似度を信頼度３２ｂに反映させる際に、人１０の大きさを考慮するのが望ましい。具体的には、人１０がより大きく観測された画像Ｉｂから算出した挙動とモデルとの類似度には、より高い信頼度を与える。すなわち、信頼度３２ｂの値を、人１０の観測サイズに応じて動的に決定する。

【0049】

具体的には、撮像された画像（図６の例では、画像Ｉａ、Ｉｂ）の中から、人１０の動きを特徴付ける特徴量を検出する際に、まず、画像Ｉａ、Ｉｂの中に人１０がどの位の大きさで観測されているかを見積もる。そして、人１０が大きく観測された画像ほど、当該画像から検出した人１０の動きを特徴付ける特徴量（例えば類似度）に高い信頼度３２ｂを付与する。なお、単にモデルとの類似度に応じて、類似度が高いほど高い信頼度３２ｂを付与するようにしてもよい。

【0050】

そして、同一被写体に対して複数のカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）、すなわち同種の検出原理に基づく複数のカメラ４ｉ（第１のセンサ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づく検出結果の中から、信頼度３２ｂが最も高い検出結果を採用することで、総合的に高い信頼度３２ｂの検出結果を得ることができる。

【0051】

ここで、加速度センサ２ｄ（センサタグ２）とカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）とは、ともに、人１０の同一の行動を検出することができる。例えば、図４、図５に示すように、「歩行状態」は、加速度センサ２ｄとカメラ４ａ、４ｂ、４ｃのいずれでも検出可能である。しかしながら、加速度センサ２ｄとカメラ４ｉでは検出原理が異なるため、検出結果に対する信頼度３２ａ、３２ｂは異なる。「歩行状態」の検出については、一般に、加速度センサ２ｄの出力に基づく検出結果の方が高い信頼度が得られることが知られている。このため、信頼度３２ａ、３２ｂとして、予め評価した結果に基づく固定値を割り当てるのが望ましい。

【0052】

例えば、図４の例では、加速度センサ２ｄの出力に基づく「歩行状態」との検出結果には、信頼度３２ａとして、一律に７０を割り当てている。一方、図５に示すように、画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づく「歩行状態」との検出結果には、信頼度３２ｂとして、７０よりも低い４０を一律に割り当てている。

【0053】

なお、同一時刻におけるカメラ４ｉ（第１のセンサ）が撮像した画像Ｉｉに基づく分析結果と、センサタグ２（第２のセンサ）の出力に基づく分析結果と、が等しい場合は、いずれのセンサの出力に基づく分析結果を採用しても問題ない。しかし、両者が異なる分析結果であった場合には、例えば、信頼度３２ａ、３２ｂの高い方の分析結果を採用するものとする。具体的には、図５において、時刻「１５：３３：３７」のとき、画像Ｉｉに基づく分析結果は「歩行状態」であるが、図４において、同一時刻における加速度センサ２ｄの出力に基づく分析結果は「停止状態」を示している。このときの信頼度３２ａ、３２ｂを比較すると、画像Ｉｉに基づく信頼度３２ｂが４０、加速度センサ２ｄに基づく信頼度３２ａが９０であるため、時刻「１５：３３：３７」における人１０の行動Ｂ２として、加速度センサ２ｄに基づく検出結果である「停止状態」を採用するのが望ましい。

【0054】

（行動認識装置が行う処理の流れの説明）
次に、図７を用いて、行動認識装置１が行う処理の流れについて説明する。図７は、行動認識装置１が行う処理の流れの一例を示すフローチャートである。

【0055】

まず、センサタグ２は、人１０に装着された各センサ（加速度センサ２ｄ、角速度センサ２ｅ、気圧センサ２ｆ、地磁気センサ２ｇ）の出力を取得する（ステップＳ１０）。

【0056】

次に、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）（第１のセンサ）は、人１０を含む画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）を撮像する（ステップＳ１２）。

【0057】

サーバ５は、無線ＡＰ３を介して、センサタグ２の出力を受信する（ステップＳ１４）。

【0058】

また、サーバ５は、カメラ４ｉが撮像した画像Ｉｉを受信する（ステップＳ１６）。

【0059】

センサデータ分析部２２は、センサタグ２の出力を分析する（ステップＳ１８）。

【0060】

信頼度算出部３０は、センサタグ２の出力の分析結果に信頼度３２ａを付与する（ステップＳ２０）。

【0061】

画像分析部２４は、画像Ｉｉを分析する（ステップＳ２２）。

【0062】

信頼度算出部３０は、画像Ｉｉの分析結果に信頼度３２ｂを付与する（ステップＳ２４）。

【0063】

行動認識部４０は、センサタグ２の出力の分析結果と、画像Ｉｉの分析結果と、に基づいて、人１０の行動を認識する（ステップＳ２６）。

【0064】

行動認識部４０は、人１０の行動の認識結果を、データベースＤＢに蓄積する（ステップＳ２８）。

【0065】

行動認識部４０は、処理を終了するかを判定する。処理を終了すると判定される（Ｓ３０：Ｙｅｓ）と、図７の処理を終了する。一方、処理を終了すると判定されない（Ｓ３０：Ｎｏ）と、ステップＳ１０に戻って、前記した一連の処理を繰り返す。なお、処理の終了の判定は、例えば、予め設定した所定時間が経過したことを条件として処理を終了すると判定してもよいし、画像Ｉｉの中から人１０が検出できなくなったら処理を終了すると判定してもよい。

【0066】

以上説明したように、本実施の形態に係る行動認識装置１によれば、動き検出部２０が、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）（第１のセンサ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）を分析して、人１０（対象物）の動きを検出する。また、動き検出部２０が、センサタグ２（第２のセンサ）の出力を分析して、人１０の動きを検出する。そして、信頼度算出部３０が、センサタグ２の出力に基づく人１０の動きの検出結果に対して信頼度３２ａを付与する。また、信頼度算出部３０が、画像Ｉｉに基づく人１０の動きの検出結果に対して信頼度３２ｂを付与する。さらに、行動認識部４０が、動き検出部２０が検出した人１０の動きの検出結果と当該検出結果の信頼度３２ａ、３２ｂとに基づいて、ユーザの介在なしに、人１０の行動を認識する。したがって、ユーザの介在なしに、複数の検出手段の検出結果に基づく、人１０の行動の認識精度を向上させることができる。

【0067】

また、本実施の形態に係る行動認識装置１によれば、動き検出部２０は、人１０（対象物）を撮像する少なくとも１つのカメラ４ｉ（ｉ＝ａ、ｂ、ｃ、…）（第１のセンサ）と、カメラ４ｉが撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ、…）を分析することによって人１０の動きを検出する画像分析部２４と、を含む。したがって、人１０の、例えば手の動きのような細かい動作を検出することができる。

【0068】

また、本実施の形態に係る行動認識装置１によれば、複数の動き検出部２０は、人１０（対象物）に装着された、少なくとも加速度センサ２ｄを備えて、人１０の動きに応じた検出結果を出力するセンサタグ２（第２のセンサ）と、センサタグ２の出力を分析することによって、人１０の動きを分析するセンサデータ分析部２２と、を含む。したがって、人１０の歩行状態、停止状態、フォークリフトへの乗車状態等のおおまかな行動を精度よく検出することができる。

【0069】

また、本実施の形態に係る行動認識装置１によれば、行動認識部４０は、カメラ４ｉ（第１のセンサ）による人１０（対象物）の動きの検出結果に対する信頼度３２ｂと、センサタグ２（第２のセンサ）による人１０の動きの検出結果に対する信頼度３２ａと、のうち、同一時刻において、より高い信頼度を有する検出結果に基づく行動を、人１０の行動として認識する。したがって、カメラ４ｉとセンサタグ２とが、人１０の行動を互いに異なる行動として認識した場合であっても、信頼度３２ａ、３２ｂの大小に応じて人１０の正しい行動を容易に認識することができる。

【0070】

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、動き検出部２０の各検出結果に対して、該検出結果の種類に応じた固定的な信頼度３２ａ、３２ｂを付与する。したがって、認識された人１０の行動種別に応じて、信頼度３２ａ、３２ｂを即座に付与することができるため、行動認識の結果を素早く出力することができる。

【0071】

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、画像分析部２４の分析結果に対して、人１０の観測サイズが大きいほど高い（観測サイズが小さいほど低い）信頼度３２ｂを付与する。したがって、画像分析部２４の分析結果に基づいて、適応的に（動的に）信頼度３２ｂを付与することにより、信頼度３２ｂに人１０の状態を反映することができる。これにより、人１０の行動推定の精度を高めることができる。

【0072】

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、動き検出部２０の各検出結果と人１０の標準動作との類似度に応じて、類似度が高いほど高い信頼度３２ａ、３２ｂを付与する。したがって、信頼度３２ａ、３２ｂを定量的に算出することができる。

【0073】

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、予め設定した値の範囲内で信頼度３２ａ、３２ｂを算出する。したがって、動き検出部２０の各検出結果に突発的な変動が発生した場合に、それに伴って信頼度３２ａ、３２ｂが突発的に変動するのを抑止することができる。

【0074】

以上、本発明の実施の形態について説明したが、前記した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0075】

例えば、本実施の形態の例では、行動認識装置１は、ＣＰＵ５ａ（２ａ）が、各種処理を制御プログラムＰ２（Ｐ１）で実現することとしたが、その一部または全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。また、制御プログラムＰ２（Ｐ１）は、インストール可能な形式、または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disc」の略記である。また、制御プログラムＰ２（Ｐ１）は、インターネット等のネットワーク経由でインストールする形態で提供してもよい。また、制御プログラムＰ２（Ｐ１）は、機器内のＲＯＭ等に予め組み込んで提供してもよい。

【符号の説明】

【0076】

１ 行動認識装置（行動認識システム）
２ センサタグ（第２のセンサ）
２ｄ 加速度センサ
２ｅ 角速度センサ
２ｆ 気圧センサ
２ｇ 地磁気センサ
３ 無線ＡＰ
４ａ、４ｂ、４ｃ、４ｉ カメラ（第１のセンサ）
５ サーバ（サーバ装置）
１０ 人（対象物）
２０ 動き検出部（動き検出装置）
２２ センサデータ分析部
２４ 画像分析部
３０ 信頼度算出部
３２ａ、３２ｂ 信頼度
４０ 行動認識部
Ｉａ、Ｉｂ、Ｉｃ、Ｉｉ 画像

【先行技術文献】

【特許文献】

【0077】

【文献】特許第５９０４０２１号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】