特開 2023-90067 行動認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023090067

(43)【公開日】2023-06-29

(54)【発明の名称】行動認識システム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20230622BHJP

   G06Q 50/10 20120101ALI20230622BHJP

【ＦＩ】

G08B25/04 K

G06Q50/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021204814

(22)【出願日】2021-12-17

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】小谷 正直

【テーマコード（参考）】

5C087

5L049

【Ｆターム（参考）】

5C087AA04

5C087BB74

5C087DD03

5C087EE08

5C087EE18

5C087FF01

5C087FF02

5C087FF04

5C087GG08

5C087GG10

5C087GG83

5L049CC11

(57)【要約】      （修正有）

【課題】複数人が居住する住空間内の個々人の行動情報を精度良く検知・分類する行動認識システムを提供する。
【解決手段】行動認識システム１０００は、人を検知する複数の人感センサ１００と、人を検知するとともに人を特定可能な複数の人認識センサ２００とを含むセンサ群と、センサ群から受信した検知情報に基づいて、特定された人の行動を認識する行動推定装置３００と、を有する。行動推定装置３００は、センサ群のうち少なくとも１つが設置された領域からセンサ群のうち他の少なくとも１つが設置された他の領域まで人が移動する経路に関する移動情報を記憶する記憶部３５０と、センサ群が検知した情報を時系列解析し、解析の結果と移動情報とに基づいて、認識対象の人が移動し得る移動経路候補情報を作成し、移動経路候補情報と複数の人認識センサが検知した情報とに基づいて、複数の人認識センサが特定した人の行動を推定する演算部３４０と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

人の行動を認識する行動認識システムであって、
人を検知する複数の人感センサと、人を検知するとともに、該人を特定する複数の人認識センサと、を含むセンサ群と、
前記センサ群から受信した検知情報に基づいて、前記人認識センサによって特定された人の行動を認識する行動推定装置と、を有し、
前記行動推定装置は、
前記センサ群のうち少なくとも１つが設置された領域から前記センサ群のうち他の少なくとも１つが設置された他の領域まで人が移動する経路に関する移動情報を少なくとも記憶する記憶部と、
前記センサ群が検知した情報を時系列解析し、該解析の結果と、前記移動情報と、に基づいて、認識対象の人が移動し得る移動経路候補情報を作成し、前記移動経路候補情報と、前記複数の人認識センサが検知した情報と、に基づいて、前記複数の人認識センサが特定した人の行動を認識する演算部と、を有する、
ことを特徴とする行動認識システム。

【請求項2】

請求項１に記載の行動認識システムであって、
前記行動推定装置は、前記人の行動に関する情報を、ネットワークを介して前記センサ群が設置された領域外に伝達する外部通信部をさらに有する、
ことを特徴とする行動認識システム。

【請求項3】

請求項１に記載の行動認識システムであって、
前記記憶部には、検知対象の人を特定するための特徴量に関する人物情報がさらに記憶されており、
前記人認識センサは、検知内容と、前記人物情報とを比較することで、前記人を特定する、
ことを特徴とする行動認識システム。

【請求項4】

請求項１に記載の行動認識システムであって、
前記記憶部には、検知対象の人の、前記センサ群が設置された領域内での行動記録がさらに記憶されており、
前記演算部は、前記複数の人認識センサが検知した情報と、前記移動経路候補情報と、に加えて、前記行動記録に基づいて、前記人の行動を認識する、
ことを特徴とする行動認識システム。

【請求項5】

請求項４に記載の行動認識システムであって、
前記演算部は、前記行動記録を参照する前に、前記複数の人認識センサが検知した情報を参照して前記人の行動を認識する、
ことを特徴とする行動認識システム。

【請求項6】

請求項５に記載の行動認識システムであって、
前記演算部は、前記複数の人認識センサが検知した情報を参照して前記人の行動を認識できた場合には正の重みづけを行い前記行動記録を参照せず、前記複数の人認識センサが検知した情報を参照して前記人の行動を認識できなかった場合に、重みづけを行わずに前記行動記録を参照して前記人の行動を認識する、
ことを特徴とする行動認識システム。

【請求項7】

請求項６に記載の行動認識システムであって、
前記演算部は、前記行動記録を参照して前記人の行動を認識できた場合には正の重みづけを行い、前記人の行動を認識できなかった場合には負の重みづけを行う、
ことを特徴とする行動認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、住環境に設けた家電製品や人感センサ等のセンサの検知情報と、人を検知し特定するセンサとを組み合わせることによって住環境内に住む人の行動を認識するシステムに関する技術である。

【背景技術】

【0002】

住環境内に居住するユーザの状態に応じた機器制御や、ユーザの活動状態を把握するために家電の稼働情報やセンサ情報を活用する従来技術には、例えば特許文献１がある。特許文献１には、一般家庭用に用いられる白物家電を用いて、遠隔介護を実施・運用する集合住宅向け遠隔介護システムとして、集合住宅を構成する居住空間内に設置した家電に居住空間に存在する住人の行動を検知する検知部を備えさせ、家電に設けた検知部の検知情報に基づいて、複数の居住空間内に設置された家電を遠隔制御したり検知情報に基づいて遠隔監視する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－０１１６９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔地から住人の安否を確認するシステムにおいては、通常の一般家庭においては、複数人の住民が生活空間を共有するので、住人の安否を判別するための行動情報には、住人の個別の行動を検知・識別することが求められる。一方で、住人の行動情報を個別化するには複数台の画像、音声等のセンサを居住空間内の各所に設けなければならなくなるため、住人のプライバシー性の確保、導入コスト、運営コスト等で課題を生じる。

【0005】

例えば、二世帯住宅においては、人感センサや家電の稼働情報のみで行動情報を識別する安否確認システムを導入した場合、複数の住人が食堂やリビング等の共用空間で行動を共有した後、一人が共用空間に留まり、残りの人が別の居住空間へ移動したときに、人感センサの検知情報が、どの住民の行動に由来した値かを判別・識別できなくなる。このため、二人世帯以上の人数で住環境を共有するような住空間に人感センサや家電の稼働情報のみで行動情報を識別するような安否確認システムを導入した場合、住人の個別の行動を検知・識別することができなくなる。一方で、上記の問題を解決するために、住環境内に複数台の画像や音声等のセンサ等を設けた場合、プライバシー性の確保や導入コストや運営コスト等と言った観点で課題が生じる。

【0006】

本発明は、上記のような課題に対してなされるものであり、プライバシー性を配慮するために、人認識センサの設置数を制限した場合においても、複数人が居住する住空間内の個々人の行動情報を精度良く検知・分類することができる行動認識システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の行動認識システムは、人を検知する複数の人感センサと、人を検知するとともに、該人を特定する複数の人認識センサと、を含むセンサ群と、センサ群から受信した検知情報に基づいて、人認識センサによって特定された人の行動を認識する行動推定装置と、を有し、行動推定装置は、センサ群のうち少なくとも１つが設置された領域からセンサ群のうち他の少なくとも１つが設置された他の領域まで人が移動する経路に関する移動情報を少なくとも記憶する記憶部と、センサ群が検知した情報を時系列解析し、解析の結果と、移動情報と、に基づいて、認識対象の人が移動し得る移動経路候補情報を作成し、移動経路候補情報と、複数の人認識センサが検知した情報と、に基づいて、複数の人認識センサが特定した人の行動を認識する演算部と、を有する。

【発明の効果】

【0008】

本発明によれば、住環境内に設けた複数の人感センサ及び人認識センサと、住環境内に備えた行動推定装置とを接続することで対象の住環境に住む個々の住人の行動を推定する推定部によって住人の行動を判別することが可能になる。さらに、人感センサや家電の検知情報を活用して人の行動情報を作成するために、人を認識するセンサの設置する数を抑制することができるため、利用者のプライバシー性を配慮した人の行動認識システムを提供することができる。
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本発明の行動認識システムの構成を示す概略図。

【図2】複数のセンサを住環境に設置する設置例を表す図。

【図3】本発明の行動認識システムにおいて用いる各種の情報を説明するための図。

【図4】本発明の行動認識システムにおいてセンサが検知した情報を処理する手順を示すフロー図。

【図5】本発明の行動認識システムにおいて用いる行動検知情報及び個人行動検知情報を説明するための図。

【図6】本発明の行動認識システムにおいてセンサが検知した情報を基に個人の移動情報を特定する処理を示すフロー図。

【図7】移動経路候補情報について説明するための図。

【発明を実施するための形態】

【0010】

以下に、本発明の一実施例について図面を用いて説明する。図１は、本発明の行動認識システムの構成の概略を示している。本発明の行動認識システム１０００は、人を検知する複数の人感センサ１００（安価、簡易な人感センサや家電）と、人を検知し特定する複数の人認識センサ２００（画像、音声、ＴｏＦ、加速度センサなど、人を検知すると共に人の特定ができるセンサ）を含むセンサ群と、センサ群の検知情報に基づいて人及びその行動を特定・認識する行動推定装置３００と、を有する。また、本実施例においては、行動認識システム１０００は、行動推定装置３００の情報を受信して、検知対象の住人の安否や状態を遠隔から確認することができる遠隔管理部４００をさらに有している。

【0011】

複数の人感センサ１００は、人感センサ１００を起動するための電源部１１０、人感センサ１００の検知情報及び人感センサ１００の固有ＩＤを行動推定装置３００へ送信する通信部１２０、人感センサ１００の固有情報を記憶するための記憶部１３０、人を検知する検知部１４０、及び人感センサ１００の動作を制御する制御部１５０を有する。

【0012】

また、複数の人認識センサ２００も同様に、人認識センサ２００を起動するための電源部２１０、人認識センサ２００の検知情報及びセンサの固有ＩＤを行動推定装置３００へ送信する通信部２２０、人認識センサ２００の固有情報を記憶するための記憶部２３０、人を検知・特定する検知部２４０、及び人認識センサ２００の動作を制御する制御部２５０を有する。

【0013】

さらに、行動推定装置３００は、通信部３１０、外部通信部３２０、制御部３３０、演算部３４０、記憶部３５０、タイマ３６０、及び外部電源３７０を有する。なお、行動推定装置３００はサーバ、あるいはＰＣ等で構成される。

【0014】

通信部３１０は、複数の人感センサ１００及び複数の人認識センサ２００から発信された検知情報及びセンサ固有ＩＤを受信する。外部通信部３２０は、複数の人感センサ１００及び複数の人認識センサ２００と行動推定装置３００によって構築されるセンサネットワーク以外の外部のネットワークへ検知情報や分析情報を受発信する。制御部３３０は、センサネットワーク、外部ネットワーク等からの情報を分析し、分析結果に基づいて機器の制御を行う。演算部３４０は、外部通信部３２０からの入力情報や制御部３３０、複数の人感センサ１００及び複数の人認識センサ２００の検知情報と後述の空間移動情報、居住情報等に基づいて、住人個々人の行動を分別し、住人の安否を判別する。記憶部３５０は、演算部３４０で判別した住人の個々人の行動を判別した移動経路情報を記憶する。タイマ３６０は、複数の人感センサ１００及び複数の人認識センサ２００の検知情報を受信した際の時刻を評価する。また、遠隔管理部４００は、外部通信部３２０を介して行動推定装置３００で分析した住人の安否に関する情報を受発信することができる。

【0015】

以上のような構成で行動認識システムを構築することによって、住環境内に設置した複数の人感センサ１００及び複数の人認識センサ２００が検知した住人の検知情報とセンサの固有ＩＤを行動推定装置３００へ送信することができる。検知情報とセンサＩＤを受信した、行動推定装置３００の演算部３４０は、タイマ３６０によって受信時刻を管理し、検知情報を発信したセンサが人感センサ１００であった場合は、センサＩＤとセンサ設置情報から、センサが反応した部屋（行動が生じた場所）と時刻を演算部３４０で判別し、行動検知情報として記憶部３５０に保存することができる。

【0016】

同様に、演算部３４０は、センサの固有ＩＤよりセンサの種類を認識し、検知情報を発信したセンサが人認識センサ２００であった場合、演算部３４０で住人情報と比較することによって検知対象の住人を特定し、記憶部３５０に個人検知情報として保存できる。

【0017】

演算部３４０は、記憶部３５０に保存された個人検知情報及び行動検知情報と、居住情報及び空間移動情報とを用いて個人の移動経路を分析することによって個人の移動情報を同定する。そして、記憶部３５０は、同定した個々人の移動経路を保存することができる。保存したこの移動経路を監視することによって、個々人の日常の移動情報と乖離する検知情報が検知された場合、検知対象の個人に何らかの異常が発生したと判断することができ、異常情報を外部通信部３２０を通じて遠隔管理部４００へ伝達することができる。

【0018】

図２は、図１に示すような構成の行動認識システム１０００を、居住空間２０００を含む住環境に導入した際の概略を示す図である。人感センサ１００は、人の有無を検知する人感センサ、ドアの開閉を検知するドア開閉センサ、部屋の明るさを検知する照度センサ等で構成されている。これらのセンサは、単に人の存在の有無等を検知し、個人情報の特定を行わない。したがって、検知対象に住む住人のプライバシーを侵さないため、居住空間２０００内であれば、設置場所の制限はない。図２においては、人感センサ１００はリビングＬやダイニングＤに設置されている。

【0019】

一方、人認識センサ２００は、画像、音声、ＴｏＦ、等の個人情報を取得し、個人を特定するセンサや、ドアの開閉の加速度を計測するセンサ等を含む。これらのセンサは、住人のプライバシーを含んだ情報を検知するため、設置する際にはプライバシー性に配慮する必要がある。例えば、玄関や廊下等の、共有性の比較的高い場所に設置することが好ましい。図２においては、人認識センサ２００は玄関Ｅ等に設置されている。

【0020】

なお、図２には家電の代表としてロボット掃除機５００を図示したが、家電品は、ロボット掃除機等のような画像情報を扱うものであれば人認識センサ２００として活用できる。また、冷蔵庫や洗濯機、空調機等のセンサや稼働情報をセンサの検知情報として用いる場合は、これらの家電を人感センサ１００として活用することができる。行動推定装置３００及び遠隔管理部４００は、図には示さない。

【0021】

なお、図２は本発明における居住空間２０００への人感センサ１００及び人認識センサ２００の設置方法の概略を示した一例であり、本発明における人感センサ１００及び人認識センサ２００の設置方法は図２に限定されるものではない。

【0022】

以上のように構成された行動認識システム１０００において検知対象の住人の個々人の行動情報を検知・認識する処理の手順を図３～図７を用いて説明する。

【0023】

まず、本発明に係る行動認識システム１０００において利用する各種の情報について説明する。検知対象の居住空間２０００に複数の人感センサ１００及び複数の人認識センサ２００を設置し、住人や住宅、及びセンサの基本情報等を行動推定装置３００の記憶部３５０へ予め登録する。登録する情報としては、例えば、住人情報、部屋情報、センサ設置情報、居住情報、空間移動情報等である。これらの情報の一例について図３を用いて説明する。

【0024】

図３に示すように、住人情報は、住人名、住人同士を区別するための個人ＩＤ、人認識センサ２００で個人を特定するための住人の特徴量に関する特徴データより構築される。個人を特定するための特徴量とは、例えば身長、体格、姿勢、歩き方、利き手、画像や音声等各種センサで検知可能な情報である。部屋情報は、部屋名と部屋ＩＤより構築される。センサ設置情報は、人感センサ１００及び人認識センサ２００を設置した設置情報を管理する情報であり、センサＩＤと設置した部屋ＩＤ及び、センサの種類（０：人認識センサ、１：非人認識センサ）によって構築される。

【0025】

居住情報は、検知対象の住人が日常に在／不在になる空間をデータベース化した情報であり、個人ＩＤ、特徴日時情報（例えば、曜日や週末等、本実施の形態ではＷＤ（ウィークデー）／ＷＥ（週末）で場合分けしているが、場合分けは本実施の形態に限らない）、時間帯（例えば、本実施の形態では、０：朝（４時～１０時）、１：昼（１０時～１６時）、２：夜（１６時～２２時）、３：深夜（２２時～４時）と分割するが、分割方法は本実施の形態に限らない）、空間の活用状況（０：在／１：不在／－：不明で場合分けしているが、場合分けは本実施の形態に限らない）によって構成される。

【0026】

空間移動情報（移動情報）は、ある部屋からある部屋へ人が移動した際に反応する複数のセンサの、ＯＮとＯＦＦのセンサＩＤ列の一覧を示す情報であり、後述するように空間移動情報とセンサの検知情報を比較することによって移動経路を推定することができる。

【0027】

以上のような基本情報を行動推定装置３００の記憶部３５０へ登録し、行動認識システム１０００を稼働させる。図４は、行動認識システム１０００が、人感センサ１００または人認識センサ２００から検知信号を受信した後、行動検知情報または個人検知情報として記憶部３５０に記憶させるまでの処理を示すフロー図である。

【0028】

行動認識システム１０００が稼働すると、まず動作ステップＳ１００へ移行する。動作ステップＳ１００へ移行した行動認識システム１０００は、人感センサ１００及び、人認識センサ２００の何れかが住人の行動を検知したかどうかを判別する。人感センサ１００及び、人認識センサ２００のいずれかが住人の行動を検知し、センサが応答した場合、動作ステップをＳ１１０へ移行し、センサ情報を選別／識別する処理へ移行する。

【0029】

センサが応答しない場合、動作ステップをＳ２００へ移行し、センサの応答の検知を開始してからの稼働時間（Ｔ）が所定の経過時間（Ｔａｎ）以上になったかを判別する。なお、所定の経過時間（Ｔａｎ）は例えば６時間として設定できる。動作ステップＳ２００にて稼働時間（Ｔ）≧経過時間（Ｔａｎ）になった場合、動作ステップを図６のＳ２１０へ移動させ、移動人物の推定を行う処理へ移行する。この処理については後述する。稼働時間（Ｔ）＜経過時間（Ｔａｎ）の場合、経過時間をＴ＋ΔＴ加えた後、動作ステップをＳ１００へ戻す。

【0030】

動作ステップＳ１１０へ移動した行動認識システム１０００は、センサ情報を選別し、センサ情報に応じて検知データを蓄積する処理へ動作ステップを移動する。動作ステップＳ１１０において行動認識システム１０００はセンサ設置情報を読み込んだ後、動作ステップをＳ１２０へ移行する。

【0031】

動作ステップＳ１２０において行動認識システム１０００は、人感センサ１００または人認識センサ２００から受信した検知情報から得た検知センサＩＤと、センサ設置情報とを比較し、検知情報を発信したセンサが人認識センサ２００であるか、否（人感センサ１００）かを判別する。動作ステップＳ１２０において、検知情報を発信しているセンサが人認識センサ２００でない場合、すなわち人感センサ１００であったと判定された場合には、行動認識システム１０００は動作ステップをＳ１２１へ移行し、行動検知情報を作成し、動作ステップをＳ１６０へ移行させ、行動推定装置３００の記憶部３５０に行動検知情報を保存する。

【0032】

ここで、行動検知情報とは、図５に示すような、部屋ＩＤと検知時刻から構成させるデータ列である。すなわち、行動検知情報とは、人物を特定できる情報は有していないものの、センサが反応した場所及び時刻に関する情報を有するものである。動作ステップＳ１２０において、検知情報を発信しているセンサが人認識センサ２００であると判定された場合、行動認識システム１０００は、動作ステップをＳ１３０へ移行する。

【0033】

動作ステップＳ１３０へ処理を移行した行動認識システム１０００は、行動推定装置３００の記憶部３５０より住人情報を読み込んだ後、動作ステップをＳ１４０へ移行させる。

【0034】

動作ステップＳ１４０へ移行した行動認識システム１０００は、人認識センサ２００から受信した検知情報と住人情報に登録されている個人の特徴データとを比較する。検知情報と合致する個人の特徴データが存在しない場合、行動認識システムは動作ステップをＳ１２１へ移行させ、行動検知情報として記憶部３５０に格納する。検知情報と合致する個人の特徴データが存在する場合、行動認識システム１０００は動作ステップをＳ１５０へ移行する。

【0035】

動作ステップをＳ１５０へ移行させた行動認識システム１０００は、検知情報が個人の動作情報であると判断し、個人検知情報と行動検知情報を作成する。図５に示す通り、個人検知情報は部屋ＩＤ、個人ＩＤ、検知時刻から構成されるデータ列として構成される。すなわち、個人検知情報とは、行動検知情報に加えて、特定された個人に関する情報を含むものである。

【0036】

行動認識システム１０００は、動作ステップＳ１５０において個人検知情報と行動検知情報とを作成し、または動作ステップＳ１２１において行動検知情報を作成した後は、動作ステップをＳ１６０へ移行させる。そして、行動検知情報と個人検知情報を行動推定装置３００の記憶部３５０に保存した後、再び動作ステップをＳ２００に移行させ、稼働時間（Ｔ）≧経過時間（Ｔａｎ）になった場合、動作ステップをＳ２１０へ移行し、図６に示す移動情報の推定と移動情報が保持する個人を特定する処理である移動人物推定の処理へと移行する。

【0037】

動作ステップＳ２１０では、行動認識システム１０００は、記憶部３５０から空間移動情報を読み込んだ後、分析時間幅ｗで分割した行動検知情報と空間移動情報とを比較して、部屋間移動情報を作成する。ここで、部屋間移動情報とは、行動検知情報に含まれるある時刻間において人が移動した部屋（反応したセンサが設置された部屋）に関する情報である。具体的には、例えば図５の行動検知情報を例に示すと、時刻ｔ１から時刻ｔ２の間に人が部屋Ｒ１からＲ２に移動している。これと、図３の空間移動情報とを参照すると、部屋Ｒ１から部屋Ｒ２の移動は反応センサ列としてＳ１→Ｓ２、及びＳ１→Ｓ６→Ｓ５→Ｓ２の２ルートあることがわかる。すなわち、部屋間移動情報とはこの２ルートに関する情報のことである。この部屋間移動情報を、行動検知情報に含まれる検知時刻に沿って算出する。

【0038】

作成した部屋間移動情報を組合わせて移動経路候補情報を作成し、動作ステップをＳ２２０へ移動させる。なお、図７に示す通り、移動経路候補情報は、経過時間（Ｔａｎ）内で生じた部屋間移動情報を繋いだ情報であり、各移動経路候補情報は移動した部屋ＩＤと移動が完了した時刻の組で時間順に並べられた情報である。

【0039】

動作ステップＳ２２０へ移動した行動認識システムは、記憶部３５０から居住情報を読み込んだ後、個人検知情報及び居住情報に含まれる個人ＩＤ毎の、各部屋ＩＤにおける在／不在／不明情報を用いて、各移動経路候補情報が示す部屋ＩＤと時刻の重み係数（ｗ）を動作ステップＳ２３５～Ｓ２６５において決定する。

【0040】

ここで、重み係数（ｗ）とは、その移動経路候補が、個人ＩＤで特定されるある人物が辿った移動経路候補がどうかの確からしさを表す指標であり、下記のフローによって算出される。

【0041】

動作ステップＳ２３０へ移行した行動認識システム１０００は、移動経路候補情報中に示されている部屋ＩＤと部屋間移動時間に合致する部屋ＩＤ及び検知時刻を含む個人検知情報が存在するか否かを判断する。ここで、部屋間移動時間とは、例えば図７中の移動経路候補情報の＃１のＲ５→Ｒ２への移動に対する時間ｔ１－ｔ２間のことを指す。これと個人検知情報とを比較し、時刻ｔ１－ｔ２の間に部屋Ｒ２に存在したことを示す検知情報が存在するかどうか判定する。この処理を、全ての経路候補に対して行う。

【0042】

Ｓ２３０において移動経路候補情報に合致する個人検知情報が存在すると判定された場合、行動認識システム１０００は動作ステップＳ２３５へ移行し、重み係数を＋１に設定し、動作ステップＳ２７０へ移行する。Ｓ２３０において合致する個人検知情報が存在しない場合、行動認識システムは動作ステップＳ２４０へ移行する。

【0043】

動作ステップＳ２４０へ移行した行動認識システム１０００は、移動経路候補情報中に示されている部屋ＩＤと部屋間移動時間に合致する情報が、居住情報中の「在室」に合致する部屋ＩＤが存在するか否かを判別する。居住情報ＤＢの在室に合致する部屋ＩＤが存在する場合、行動認識システム１０００は、動作ステップをＳ２４５へ移動し、重み係数を＋１に設定し、動作ステップをＳ２７０へ移行する。これは、例えば図７の移動経路候補情報の＃１において、時刻ｔ２における部屋Ｒ２が候補として挙げられている。図３の居住情報を参照して、例えばこの時刻ｔ２がＤａｙ：ＷＤにおけるＴｉｍｅＺｏｎｅ：２であった場合、個人ＩＤ：Ｐ１で特定される人物が該当することになるので、この人物の行動の候補として＋１の重みづけを行う。動作ステップＳ２４０において居住情報の在室に合致する部屋ＩＤが存在しない場合、行動認識システムは動作ステップＳ２５０へ移行する。

【0044】

動作ステップＳ２５０へ移行した行動認識システム１０００は、移動経路候補情報中に示されている部屋ＩＤと部屋間移動時間に合致する情報が居住情報ＤＢの「不在」に合致する部屋ＩＤが存在するか否かを判別する。居住情報ＤＢの不在に合致する部屋ＩＤが存在する場合、行動認識システム１０００は、動作ステップをＳ２５５へ移動し、重み係数を－１に設定し、動作ステップをＳ２７０へ移行する。これは例えば、図３の居住情報において、Ｄａｙ：ＷＤ、ＴｉｍｅＺｏｎｅ：１において部屋ＩＤ：Ｒ１におけるセンサ検知情報があったとすると、個人ＩＤ：Ｐ１で特定される人物が「不在」とされている時間帯であり、ゆえに、この人物の経路候補としての可能性が低くなるため、－１の重みづけを行う、ということである。居住情報ＤＢの不在に合致する部屋ＩＤが存在しない場合、行動認識システム１０００は、動作ステップをＳ２６５へ移行し、重み係数を０に設定し、動作ステップをＳ２７０へ移行する。

【0045】

動作ステップＳ２７０へ移行した行動認識システム１０００は、各移動経路候補の各部屋ＩＤにおける在室時間と重み係数を用いて在室スコアを計算し、動作ステップをＳ２８０へ移動させる。なお、在室スコアＳ_ｉは、部屋毎の重み係数ｗ（ＲＩＤ_ｋ）と当該部屋に在室していた時間（Ｔ_ｋ＋１－Ｔ_ｋ）とを乗算して得られた値を、測定開始時刻から測定終了時刻まで加算させることで得られる。

【0046】

動作ステップをＳ２８０へ移行した行動認識システム１０００は、移動経路候補全てに対して計算を行ったか否かを判別し、全ての在室スコアの計算を終了した場合、動作ステップをＳ２９０へ移行し、全ての在室スコアの計算が終了していない場合、動作ステップをＳ２２０へ移行させる。

【0047】

動作ステップをＳ２９０へ移行した行動認識システム１０００は、計算対象の個人ＩＤにおいて、移動経路候補毎の上記重みづけ計算の結果のうち最も在室スコアが高い移動経路候補をその個人の移動経路として判別し、動作ステップをＳ３００へ移行する。動作ステップをＳ３００へ移行した行動認識システム１０００は、検知対象の住環境の全住人の移動経路を決定したのか否かを判断し、全住人の移動経路を決定した場合、動作ステップをＳ３１０へ移行する。

【0048】

全住人の移動経路を決定していない場合、動作ステップをＳ２２０へ移行する。動作ステップをＳ３１０へ移行した行動認識システム１０００は検知対象の個人の移動情報を行動推定装置３００の記憶部３５０へ保存し、稼働時間（Ｔ）を０へリセットした後、動作ステップをＳ１００へ移行する。

【0049】

以上で説明した本発明の実施例によれば、以下の作用効果を奏する。
（１）本発明の一実施例に係る行動認識システムは、人を検知する複数の人感センサと、人を検知するとともに、該人を特定する複数の人認識センサと、を含むセンサ群と、センサ群から受信した検知情報に基づいて、人認識センサによって特定された人の行動を認識する行動推定装置と、を有し、行動推定装置は、センサ群のうち少なくとも１つが設置された領域からセンサ群のうち他の少なくとも１つが設置された他の領域まで人が移動する経路に関する移動情報を少なくとも記憶する記憶部と、センサ群が検知した情報を時系列解析し、解析の結果と、移動情報と、に基づいて、認識対象の人が移動し得る移動経路候補情報を作成し、移動経路候補情報と、複数の人認識センサが検知した情報と、に基づいて、複数の人認識センサが特定した人の行動を認識する演算部と、を有する。

【0050】

上記構成により、住環境内に設けた複数のセンサ及び人感センサと、住環境内に備えた行動推定装置とを接続することで対象の住環境に住む個々の住人の行動を推定する推定部によって住人の行動を判別しすることが可能になる。さらに、人感センサや家電の検知情報を活用して人の行動情報を作成するために、人を認識するセンサの設置する数を抑制することができるため、利用者のプライバシー性を配慮した人の行動認識システムを提供することができる。

【0051】

（２）行動推定装置は、人の行動に関する情報を、ネットワークを介してセンサ群が設置された領域外に伝達する外部通信部をさらに有する。これにより、住人の移動情報に異常があると判断された場合、外部の監視装置へ住人の異常を発報することが可能になる。

【0052】

（３）記憶部には、検知対象の人を特定するための特徴量に関する人物情報がさらに記憶されており、人認識センサは、検知内容と、人物情報とを比較することで、人を特定する。これにより、身長、体格、姿勢、歩き方、利き手、画像や音声等各種センサで検知可能な情報を利用できるため、様々な角度から個人を特定できることになり、特定の精度が向上する。

【0053】

（４）記憶部には、検知対象の人の、センサ群が設置された領域内での行動記録がさらに記憶されており、演算部は、複数の人認識センサが検知した情報と、移動経路候補情報と、に加えて、行動記録に基づいて、人の行動を認識する。これにより、人物に関する特徴量に基づいて人を特定できなかった場合であっても、予め記憶された行動記録（例えばどの部屋が誰の部屋か、等）に基づいて人の行動を認識することが可能になる。

【0054】

（５）演算部は、行動記録を参照する前に、複数の人認識センサが検知した情報を参照して人の行動を認識する。これにより、行う処理が優先順位付けされることになるため、演算処理の負荷軽減及び高速化が期待できる。

【0055】

（６）演算部は、複数の人認識センサが検知した情報を参照して人の行動を認識できた場合には正の重みづけを行い行動記録を参照せず、複数の人認識センサが検知した情報を参照して人の行動を認識できなかった場合に、重みづけを行わずに行動記録を参照して人の行動を認識する。これにより、検知した情報に基づいて計量的に人の行動を認識することが可能となり、認識精度が向上する。

【0056】

（７）演算部は、行動記録を参照して人の行動を認識できた場合には正の重みづけを行い、人の行動を認識できなかった場合には負の重みづけを行う。これにより、（６）と同様に行動の認識を計量的に行うことが可能になり、さらに、負の重みづけを行うことにより、センサの誤検知による情報を排除することが可能になる。

【0057】

なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。

【符号の説明】

【0058】

１００ 人感センサ、２００ 人認識センサ、３００ 行動推定装置、３２０ 外部通信部、３４０ 演算部、３５０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】