特許 7183788 行動判定装置及び行動判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】行動判定装置及び行動判定方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221129BHJP

   G08B 25/04 20060101ALI20221129BHJP

   G08B 25/00 20060101ALI20221129BHJP

【ＦＩ】

G06T7/20 300Z

G08B25/04 K

G08B25/00 510M

【請求項の数】 3

(21)【出願番号】P 2018527582

(86)(22)【出願日】2017-07-07

(86)【国際出願番号】 JP2017024999

(87)【国際公開番号】W WO2018012432

(87)【国際公開日】2018-01-18

【審査請求日】2020-06-24

(31)【優先権主張番号】P 2016137422

(32)【優先日】2016-07-12

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】保理江 大作

【審査官】松浦 功

(56)【参考文献】

【文献】特開２０１５－１３９５５０（ＪＰ，Ａ）

【文献】特開２０１２－１７０４８３（ＪＰ，Ａ）

【文献】国際公開第２０１５／１１４９０２（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１１８９５３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０１４００６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｂ ２５／００ －２５／１０

Ｇ０６Ｔ １／００

Ａ６１Ｂ ５／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

天井に配置され、監視対象となる被監視者を含む所定の範囲の第１の画像及び第２の画像を取得する取得部と、
前記第１の画像及び前記第２の画像から人体領域を抽出する抽出部と、
予め定められた第１の行動をしたか否かの判定に用いられる複数の第１の注目領域を、距離間隔をあけて前記第１の画像に設定する第１の設定をし、複数の前記第１の注目領域及び前記人体領域を基にして、前記被監視者が前記第１の行動をしたか否かを判定し、予め定められた第２の行動をしたか否かの判定に用いられる第２の注目領域を、前記第２の画像に設定する第２の設定をし、前記第２の注目領域及び前記人体領域を基にして、前記被監視者が前記第２の行動をしたか否かを判定する判定部と、を備え、
前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が所定の行動をしたと判定し、
前記第１の画像及び前記第２の画像は、寝床を示す領域である寝床領域を含み、
前記第１の行動は、前記被監視者が前記寝床で寝ている姿勢をとることであり、
前記第２の行動は、前記被監視者が前記寝床から体の一部分を出すことであり、
前記判定部は、前記第１の設定として、複数の前記第１の注目領域を、前記寝床領域の長手方向に沿って距離間隔をあけて前記寝床領域に並べる設定をし、複数の前記第１の注目領域のそれぞれに前記人体領域が存在するとき、前記被監視者が前記第１の行動をしたと判定し、
前記判定部は、前記第２の設定として、前記第２の注目領域を、前記寝床領域を規定する線に沿って設定をし、前記第２の注目領域外に位置する前記人体領域の面積を基にして、前記被監視者が前記第２の行動をしたか否かを判定し、
前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が起床したと判定する行動判定装置。

【請求項2】

監視対象となる被監視者を含む所定の範囲の第１の画像及び第２の画像を取得する取得部と、
前記第１の画像及び前記第２の画像から人体領域を抽出する抽出部と、
予め定められた第１の行動をしたか否かの判定に用いられる複数の第１の注目領域を、距離間隔をあけて前記第１の画像に設定する第１の設定をし、複数の前記第１の注目領域及び前記人体領域を基にして、前記被監視者が前記第１の行動をしたか否かを判定し、予め定められた第２の行動をしたか否かの判定に用いられる第２の注目領域を、前記第２の画像に設定する第２の設定をし、前記第２の注目領域及び前記人体領域を基にして、前記被監視者が前記第２の行動をしたか否かを判定する判定部と、を備え、
前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が所定の行動をしたと判定し、
前記第１の画像及び前記第２の画像は、寝床を示す領域である寝床領域を含み、
前記第１の画像及び前記第２の画像を撮像する撮像部は、前記寝床の斜め上側に配置されており、
前記第１の行動は、前記被監視者が前記寝床に入る動作であり、
前記第２の行動は、前記被監視者が離床したと推定される動作であり、
複数の前記第１の注目領域は、前記第１の画像において前記寝床領域と重なる中間注目領域、前記画像において前記中間注目領域の下に位置する下側注目領域、前記画像において前記中間注目領域の上に位置する上側注目領域により構成されており、
前記判定部は、前記第１の設定として、前記下側注目領域、前記中間注目領域、及び、前記上側注目領域を設定し、前記下側注目領域及び前記中間注目領域に前記人体領域が存在し、かつ、前記上側注目領域に前記人体領域が存在しない第１の状態と、前記中間注目領域及び前記上側注目領域に前記人体領域が存在し、かつ、前記下側注目領域に前記人体領域が存在しない第２の状態と、前記中間注目領域に前記人体領域が存在し、かつ、前記下側注目領域及び前記上側注目領域に前記人体領域が存在しない第３の状態とが、前記第１の状態、前記第２の状態、前記第３の状態の順で発生したと判断したとき、前記被監視者が前記第１の行動をしたと判定し、
前記判定部は、前記第２の設定として、前記第２の注目領域を、前記寝床領域を規定する線に沿って設定をし、前記第２の注目領域外に位置する前記人体領域の面積を基にして、前記被監視者が前記第２の行動をしたか否かを判定し、
前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が離床したと判定する行動判定装置。

【請求項3】

天井に配置されたカメラによって、監視対象となる被監視者を含む所定の範囲の第１の画像及び第２の画像を取得する取得ステップと、
前記第１の画像及び前記第２の画像から人体領域を抽出する抽出ステップと、
予め定められた第１の行動をしたか否かの判定に用いられる複数の第１の注目領域を、距離間隔をあけて前記第１の画像に設定する第１の設定をし、複数の前記第１の注目領域及び前記人体領域を基にして、前記被監視者が前記第１の行動をしたか否かを判定し、予め定められた第２の行動をしたか否かの判定に用いられる第２の注目領域を、前記第２の画像に設定する第２の設定をし、前記第２の注目領域及び前記人体領域を基にして、前記被監視者が前記第２の行動をしたか否かを判定する判定ステップと、を備え、
前記第１の画像及び前記第２の画像は、寝床を示す領域である寝床領域を含み、
前記第１の行動は、前記被監視者が前記寝床で寝ている姿勢をとることであり、
前記第２の行動は、前記被監視者が前記寝床から体の一部分を出すことであり、
前記判定ステップは、前記第１の設定として、複数の前記第１の注目領域を、前記寝床領域の長手方向に沿って距離間隔をあけて前記寝床領域に並べる設定をし、複数の前記第１の注目領域のそれぞれに前記人体領域が存在するとき、前記被監視者が前記第１の行動をしたと判定し、
前記判定ステップは、前記第２の設定として、前記第２の注目領域を、前記寝床領域を規定する線に沿って設定をし、前記第２の注目領域外に位置する前記人体領域の面積を基にして、前記被監視者が前記第２の行動をしたか否かを判定し、
前記判定ステップは、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が起床したと判定する行動判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、看護を必要とする者や介護を必要とする者（以下、要看護者等）の行動を判定する技術に関する。

【背景技術】

【0002】

近年の我が国（日本）のような高齢化社会では、病気や怪我や高齢等による要看護者等の数の増加が、今後さらに見込まれる。

【0003】

このような要看護者等は、病院や、老人福祉施設等の施設に入所し、その看護や介護を受ける。このような病院や老人福祉施設等の施設では、要看護者等の看護や介護をする者（以下、看護師等）が、定期的に巡視することによってその安否を確認している。しかしながら、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師等の人数が減り、一人当たりの業務負荷が増大するので、業務負荷の軽減が要請される。このため、近年では、要看護者等を、被監視者として監視（モニタ）する被監視者監視装置が研究、開発されている。

【0004】

被監視者監視に関する技術の１つとして、被監視者の行動を判定する技術がある。例えば、特許文献１は、ベッド領域、床面領域、及び、これらの領域の境界辺を、画像に設定し、境界辺を通過して、床面領域からベッド領域へ人体の移動を検知したとき、入床事象と判断し、境界辺を通過して、ベッド領域から床面領域へ人体の移動を検知したとき、離床事象と判断する装置を開示している。

【0005】

この技術によれば、被監視者の行動のうち、入床と離床とを判定することができる。

【0006】

被監視者が離床する動作には、ベッドの側部に座って床に足をつき、立ち上がる動作が含まれる。被監視者の中には、ベッドからの離床に長い時間をかける者もおり、このような者による一連の離床動作の最中に、ベッドに手をついたり、体を捻ったりする動作によって、ベッドから出たり入ったりを何度が繰り返すように見える場合がある。被監視者がこのような動作をした場合、上記特許文献１の技術によれば、入床と離床の判定を繰り返す可能性がある（すなわち、誤判定が発生する可能性がある）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００２－２３０５３３号公報

【発明の概要】

【0008】

本発明の目的は、誤判定を少なくすることができる行動判定装置及び行動判定方法を提供することである。

【0009】

本発明の第１の局面に係る行動判定装置は、取得部と、抽出部と、判定部と、を備える。取得部は、監視対象となる被監視者を含む所定の範囲の第１の画像及び第２の画像を取得する。抽出部は、前記第１の画像及び前記第２の画像から人体領域を抽出する。判定部は、予め定められた第１の行動をしたか否かの判定に用いられる複数の第１の注目領域を、距離間隔をあけて前記第１の画像に設定する第１の設定をし、複数の前記第１の注目領域及び前記人体領域を基にして、前記被監視者が前記第１の行動をしたか否かを判定し、予め定められた第２の行動をしたか否かの判定に用いられる第２の注目領域を、前記第２の画像に設定する第２の設定をし、前記第２の注目領域及び前記人体領域を基にして、前記被監視者が前記第２の行動をしたか否かを判定する。

【0010】

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る被監視者監視システムの構成を説明する説明図である。

【図2】センサ装置が配置された居室を示す模式図である。

【図3】センサ装置の構成を示すブロック図である。

【図4】被監視者が部屋にいない状態で、撮像部が撮像した画像を説明する説明図である。

【図5】注目領域が設定された画像を説明する説明図である。

【図6】第１の行動をしたか否かの判定に用いられる注目領域の平面図である。

【図7】第２の行動をしたか否かの判定に用いられる注目領域の平面図である。

【図8】被監視者が第１の行動をしている状態の画像を説明する説明図である。

【図9】被監視者が第２の行動をしている状態の画像を説明する説明図である。

【図10】第１の行動の判定に用いる３つの注目領域が設定された態様を説明する説明図である。

【図11】センサ装置が行動判定装置として動作するとき、この動作を説明するフローチャートである。

【図12】寝床の斜め上側に配置された撮像部によって撮像された画像を説明する説明図である。

【図13】注目領域が設定された画像を説明する説明図である。

【図14】被監視者が寝床の手前に立っているときに、撮像部によって撮像されたフレーム（画像）を説明する説明図である。

【図15】被監視者が寝床の側部に座ったときに、撮像部によって撮像されたフレーム（画像）を説明する説明図である。

【図16】被監視者が寝床に脚部を入れたときに、撮像部によって撮像されたフレーム（画像）を説明する説明図である。

【図17】被監視者が離床したと推定される動作をしているときに、撮像部によって撮像されたフレーム（画像）を説明する説明図である。

【発明を実施するための形態】

【0012】

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0013】

実施形態に係る被監視者監視システムは、監視すべき監視対象である被監視者（言い換えれば、見守るべき見守り対象である見守り対象者）を複数の装置を用いて監視するシステムであり、端末装置と、前記端末装置と通信可能に接続され、被監視者に関わる所定のイベント（事象）を検知して前記イベントを前記端末装置へ通知する被監視者監視装置と、を備える。前記被監視者監視装置は、１個の装置で一体に構成されて良いが、本明細書では、被監視者監視装置は、センサ装置と、前記センサ装置及び前記端末装置それぞれと通信可能に接続される管理サーバ装置とを備えることで、２種類の各装置で別体に構成される。前記センサ装置は、被監視者に関わる前記所定のイベントを検知して前記管理サーバ装置へ通知（報知、送信）する。前記管理サーバ装置は、前記センサ装置から前記通知を受けると、前記通知を受けた前記イベントを管理するとともに前記イベントを前記センサ装置に対応付けられた所定の端末装置へ再通知（再報知、再送信）する。前記端末装置は、１種類の装置であって良いが、本明細書では、前記端末装置は、固定端末装置と携帯端末装置との２種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用され、携帯端末装置が例えば看護師や介護士等の監視者（ユーザ）に携行されて運用される点である。これら固定端末装置と携帯端末装置とは、略同様であるので、以下では、携帯端末装置を主に説明する。

【0014】

図１は、実施形態に係る被監視者監視システムＭＳの構成を説明する説明図である。被監視者監視システムＭＳは、より具体的には、例えば、１または複数のセンサ装置ＳＵ（ＳＵ－１～ＳＵ－４）と、管理サーバ装置ＳＶと、固定端末装置ＳＰと、１または複数の携帯端末装置ＴＡ（ＴＡ－１、ＴＡ－２）と、構内交換機（ＰＢＸ、Ｐｒｉｖａｔｅ Ｂｒａｎｃｈ ｅＸｃｈａｎｇｅ）ＣＸとを備え、これらは、有線や無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の網（ネットワーク、通信回線）ＮＷを介して通信可能に接続される。ネットワークＮＷには、通信信号を中継する例えばリピーター、ブリッジ及びルーター等の中継機が備えられても良い。図１に示す例では、これら複数のセンサ装置ＳＵ－１～ＳＵ－４、管理サーバ装置ＳＶ、固定端末装置ＳＰ、複数の携帯端末装置ＴＡ－１、ＴＡ－２及び構内交換機ＣＸは、Ｌ２スイッチの集線装置（ハブ、ＨＵＢ）ＬＳ及びアクセスポイントＡＰを含む有線及び無線の混在したＬＡＮ（例えばＩＥＥＥ８０２．１１規格に従ったＬＡＮ等）ＮＷによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置ＳＵ－１～ＳＵ－４、管理サーバ装置ＳＶ、固定端末装置ＳＰ及び構内交換機ＣＸは、集線装置ＬＳに接続され、複数の携帯端末装置ＴＡ－１、ＴＡ－２は、アクセスポイントＡＰを介して集線装置ＬＳに接続されている。そして、ネットワークＮＷは、ＴＣＰ（Ｔｒａｎｓｉｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）及びＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。構内交換機ＣＸは、公衆電話網ＰＮによって電話ＴＬと接続されている。

【0015】

被監視者監視システムＭＳは、被監視者Ｏｂに応じて適宜な場所に配設される。被監視者Ｏｂは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Ｏｂは、例えば異常状態等の所定の不都合なイベントがその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムＭＳは、被監視者Ｏｂの種類に応じて、病院、老人福祉施設及び住戸等の建物に好適に配設される。図１に示す例では、被監視者監視システムＭＳは、複数の被監視者Ｏｂが入居する複数の居室ＲＭや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。

【0016】

センサ装置ＳＵは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡと通信する通信機能等を備え、被監視者Ｏｂに関わる所定のイベントを検知してこの検知した前記イベントを管理サーバ装置ＳＶへ通知し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置ＳＰ、ＴＡへ動画を配信する装置である。前記所定のイベントは、好ましくは、対処が必要なイベントを含む。

【0017】

図１には、一例として、４個の第１ないし第４センサ装置ＳＵ－１～ＳＵ－４が示されており、第１センサ装置ＳＵ－１は、被監視者Ｏｂの一人であるＡさんＯｂ－１の居室ＲＭ－１（不図示）に配設され、第２センサ装置ＳＵ－２は、被監視者Ｏｂの一人であるＢさんＯｂ－２の居室ＲＭ－２（不図示）に配設され、第３センサ装置ＳＵ－３は、被監視者Ｏｂの一人であるＣさんＯｂ－３の居室ＲＭ－３（不図示）に配設され、そして、第４センサ装置ＳＵ－４は、被監視者Ｏｂの一人であるＤさんＯｂ－４の居室ＲＭ－４（不図示）に配設されている。

【0018】

管理サーバ装置ＳＶは、ネットワークＮＷを介して他の装置ＳＵ、ＳＰ、ＴＡと通信する通信機能等を備え、センサ装置ＳＵから、被監視者Ｏｂに関わる所定のイベントの通知を受信すると被監視者Ｏｂに対する監視に関する情報（監視情報）を管理する装置である。管理サーバ装置ＳＶは、センサ装置ＳＵから前記イベントの通知として第１イベント通知通信信号を受信すると、前記第１イベント通知通信信号に収容された各情報に基づいて、被監視者Ｏｂに対する監視に関する前記監視情報を記憶（記録）し、そして、被監視者Ｏｂに対する監視に関する前記監視情報を収容した通信信号（第２イベント通知通信信号）を、前記センサ装置ＳＵに予め対応付けられた所定の端末装置ＳＰ、ＴＡに送信する。このために、管理サーバ装置ＳＶは、センサ装置ＳＵから送信された第１イベント通知通信信号等の通知先（再通知先、再報知先、送信先）を示す、送信元であるセンサＩＤと通知先（再通知先）である端末ＩＤとの対応関係（通知先対応関係）、及び、その通信アドレスを記憶する。端末ＩＤ（端末装置識別子）は、端末装置ＳＰ、ＴＡを特定し識別するための識別子である。そして、管理サーバ装置ＳＶは、クライアント（本実施形態では固定端末装置ＳＰ及び携帯端末装置ＴＡ等）の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置ＳＶは、例えば、通信機能付きのコンピュータによって構成可能である。

【0019】

固定端末装置ＳＰは、被監視者監視システムＭＳのユーザインターフェース（ＵＩ）として機能する装置である。この機能を達成するために、固定端末装置ＳＰは、ネットワークＮＷを介して他の装置ＳＵ、ＳＶ、ＴＡと通信する通信機能、所定の情報を表示する表示機能、及び、所定の指示及びデータを入力する入力機能等を備え、管理サーバ装置ＳＶ及び携帯端末装置ＴＡに与える所定の指示及びデータが入力されたり、センサ装置ＳＵで得られた監視情報を表示したりする。このような固定端末装置ＳＰは、例えば、通信機能付きのコンピュータによって構成可能である。

【0020】

携帯端末装置ＴＡは、監視者ＮＳが携帯している。携帯端末装置ＴＡは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＳＵと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、及び、音声通話を行う通話機能等を備え、管理サーバ装置ＳＶ及びセンサ装置ＳＵに与える所定の指示及びデータを入力したり、管理サーバ装置ＳＶからの通知によってセンサ装置ＳＵで得られた監視情報（動画を含む）を表示したり、センサ装置ＳＵとの間で音声通話によってナースコールの応答や声かけしたり等をするための機器である。

【0021】

センサ装置ＳＵは、上述した機能（例えば、被監視者Ｏｂの動画を撮像する機能、端末装置ＳＰ、ＴＡとの間で音声通話をする機能）に加えて、被監視者Ｏｂの行動を判定する装置（行動判定装置）の機能を有する。この機能の観点からセンサ装置ＳＵについて詳しく説明する。図２は、センサ装置ＳＵが配置された居室ＲＭを示す模式図である。居室ＲＭには、被監視者Ｏｂの寝床１が設けられている。寝床１は、ベッド３に敷かれた布団５である。寝床１は、これに限らず、例えば、畳みに敷かれた布団５でもよいし、床に敷かれた布団５でもよい。図２は、被監視者Ｏｂが、寝床１で寝ている状態を示しており、被監視者Ｏｂの身体のうち、被監視者Ｏｂの頭部のみが表れている。居室ＲＭの天井７には、センサ装置ＳＵが取り付けられている。

【0022】

図３は、センサ装置ＳＵ（行動判定装置）の構成を示すブロック図である。センサ装置ＳＵは、撮像部１０、抽出部１１、判定部１２、センサ側制御処理部（ＳＵ制御処理部）１３、及び、センサ側通信インターフェース部（ＳＵ通信ＩＦ部）１４を備える。図２では、センサ装置ＳＵを構成するブロックのうち、撮像部１０が示され、他のブロックは省略されている。

【0023】

図２及び図３を参照して、撮像部１０は、撮像対象を撮像し、撮像対象の画像を生成する装置である。画像には、静止画及び動画が含まれる。撮像部１０は、被監視者Ｏｂが所在を予定している空間（所在空間、図１に示す例では配設場所の居室ＲＭ）を監視可能に配置され、所在空間を撮像対象としてその上方から撮像し、撮像対象を俯瞰した画像を生成する。好ましくは、被監視者Ｏｂ全体を撮像できる蓋然性が高いことから、撮像部１０は、被監視者Ｏｂが横臥する寝具（例えばベッド等）における、被監視者Ｏｂの頭部が位置すると予定されている予め設定された頭部予定位置（通常、枕の配設位置）の直上から撮像対象を撮像できるように配設される。センサ装置ＳＵは、この撮像部１０によって、被監視者Ｏｂを、被監視者Ｏｂの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。

【0024】

このような撮像部１０は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Ｏｂを監視できるように、実施形態では、赤外線の画像を生成する装置である。このような撮像部１０は、例えば、実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、及び、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部１０の前記結像光学系は、実施形態では、その配設された居室ＲＭ全体を撮像できる画角を持つ広角な光学系（いわゆる広角レンズ（魚眼レンズを含む））であることが好ましい。

【0025】

撮像部１０は、赤外線カメラのようなカメラに限定されず、例えば、サーモグラフィ、３次元センサでもよい。

【0026】

撮像部１０は、被監視者Ｏｂを含む所定の範囲の第１の画像及び第２の画像を取得する取得部として機能する。撮像部１０で撮像された画像が動画ＭＩを例にして、実施形態を説明するが、動画ＭＩに限らず、時系列に並べられた複数の画像でもよい。

【0027】

抽出部１１は、撮像部１０で撮像された動画ＭＩを構成する各フレーム（画像）に対して、動体領域を抽出し、抽出した動体領域を人体領域とする。動体領域は、例えば、背景差分、オプティカルフロー等の手法によって、フレームから抽出される。

【0028】

抽出部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等のハードウェア、並びに、抽出部１１の機能を実行するためのプログラムおよびデータ等によって実現される。抽出部１１の機能について、各機能の一部又は全部は、ＣＰＵによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、抽出部１１の機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。以上説明したことは、後述する判定部１２及びＳＵ制御処理部１３についても同様である。

【0029】

判定部１２は、被監視者Ｏｂが第１の行動をしたか否かを判定する機能、及び、被監視者Ｏｂが第２の行動をしたか否かを判定する機能を有する。判定部１２の詳細は、後で説明する。

【0030】

ＳＵ通信ＩＦ部１４は、ＳＵ制御処理部１３に接続され、ＳＵ制御処理部１３の制御に従って通信を行うための通信回路である。ＳＵ通信ＩＦ部１４は、ＳＵ制御処理部１３から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムＭＳのネットワークＮＷで用いられる通信プロトコルに従って生成し、この生成した通信信号を、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡへ送信する。ＳＵ通信ＩＦ部１４は、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをＳＵ制御処理部１３が処理可能な形式のデータに変換してＳＵ制御処理部１３へ出力する。ＳＵ通信ＩＦ部１４は、例えば、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。

【0031】

ＳＵ制御処理部１３は、センサ装置ＳＵの各部（撮像部１０、抽出部１１、判定部１２、ＳＵ通信ＩＦ部１４）を当該各部の機能に応じてそれぞれ制御し、被監視者Ｏｂに関わる所定のイベントを検知してこの検知した前記イベントを管理サーバ装置ＳＶへ通知し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、そして、動画を含む画像を端末装置ＳＰ、ＴＡへ動画を配信するための装置である。

【0032】

図４は、図２に示す被監視者Ｏｂが部屋ＲＭにいない状態で、撮像部１０が撮像した画像３０－１を説明する説明図である。撮像部１０は、寝床１（図２）の真上に位置している。撮像部１０は、部屋ＲＭの全体を写している。画像３０－１は、寝床１を示す領域（以下、寝床領域２２）を含む。寝床領域２２は、矩形形状を有する。

【0033】

画像３０－１に注目領域が設定される。図５は、注目領域２４が設定された画像３０－１を説明する説明図である。判定部１２は、寝床領域２２上での注目領域２４（注目領域２４－１～２４－３）の位置情報を予め記憶している。設定者（被監視者監視装置ＭＳのユーザ、販売者等）は、寝床領域２２（ベッドの像）を含む居室ＲＭの画像３０－１を見て、寝床領域２２の位置を指定する。これにより、判定部１２は、画像３０－１上での注目領域２４の位置を自動的に設定し、その位置情報を記憶する。判定部１２は、その位置情報を利用して、撮像部１０が撮像した動画を構成する各フレーム（画像）に注目領域２４を自動的に設定する。なお、設定者が画像３０－１を見て、注目領域２４の位置を指定することにより、画像３０－１上での注目領域２４の位置を設定してもよいし、設定者が画像３０－１を見て、判定部１２が自動的に設定した注目領域２４の位置を修正することにより、画像３０－１上での注目領域２４の位置を修正する設定をしてもよい。判定部１２は、その位置情報を記憶する。判定部１２は、その位置情報を利用して、撮像部１０が撮像した動画を構成する各フレーム（画像）に注目領域２４を自動的に設定する。

【0034】

２つの注目領域２４（注目領域２４－１，２４－２）が、画像３０－１に設定されている。図６は、注目領域２４－１，２４－２の平面図である。図５及び図６を参照して、注目領域２４－１，２４－２は、複数の第１の注目領域の一例であり、第１の行動をしたか否かの判定に用いられる。第１の行動として、被監視者Ｏｂが寝床１で寝ている姿勢をとることを例に説明するが、第１の行動は、これに限定されない。被監視者Ｏｂが寝床１で寝ているとは、被監視者Ｏｂが睡眠の状態でもよいし、覚醒の状態でもよい。

【0035】

注目領域２４－１，２４－２は、矩形形状を有しており、寝床領域２２の長手方向に沿って距離間隔をあけて設定される。注目領域２４－１，２４－２の長辺は、寝床領域２２の短辺と平行である。注目領域２４－１，２４－２の短辺は、寝床領域２２の長辺と平行であり、寝床領域２２の長辺上に位置する。注目領域２４－１は、被監視者Ｏｂの頭部（言い換えれば、枕）が位置する部分を含む領域である。注目領域２４－２は、布団５（図２）のうち、被監視者Ｏｂの脚部を覆う部分を含む領域である。

【0036】

注目領域２４－３が、画像３０－１に設定されている。図７は、注目領域２４－３の平面図である。図５及び図７を参照して、注目領域２４－３は、第２の注目領域の一例であり、第２の行動をしたか否かの判定に用いられる。第２の行動として、被監視者Ｏｂが寝床１から体の一部分（脚部）を出したことを例にして説明するが、第２の行動は、これに限定されない。

【0037】

注目領域２４－３は、矩形形状を有しており、寝床領域２２と重なる。図５では、寝床領域２２を規定する線上に、注目領域２４－３を規定する線が位置している。しかしながら、これに限定されず、寝床領域２２を規定する線に対して、注目領域２４－３を規定する線が多少ずれていてもよい。例えば、寝床領域２２の多少内側に注目領域２４－３が位置してもよいし、寝床領域２２の多少外側に注目領域２４－３が位置してもよい。

【0038】

複数の第１の注目領域（注目領域２４－１，２４－２）と、第２の注目領域（注目領域２４－３）とが、同じ画像３０－１に設定されている例を説明したが、異なる画像に設定してもよい。

【0039】

図３及び図５を参照して、判定部１２は、画像３０－１上において、注目領域２４－１，２４－２，２４－３のそれぞれの位置を示す位置情報を予め記憶している。撮像部１０で撮像された動画ＭＩを構成する各フレームの寝床領域２２の位置は、画像３０－１の寝床領域２２の位置と同じである。従って、判定部１２が、各フレームに対して、注目領域２４－１，２４－２，２４－３を設定したとき、図５に示す設定と同様となる。

【0040】

判定部１２は、撮像部１０が撮像した動画ＭＩの各フレームに対して、注目領域２４－１，２４－２，２４－３を設定し、これらの注目領域２４、及び、抽出部１１によって抽出された人体領域を用いて、被監視者Ｏｂが第１の行動（被監視者Ｏｂが寝床１で寝ている姿勢をとる）をしたか否かを判定し、被監視者Ｏｂが第２の行動（被監視者Ｏｂが寝床１から体の一部分を出す）をしたか否かを判定する。図８は、被監視者Ｏｂが第１の行動をしている状態の画像３０－２を説明する説明図である。図９は、被監視者Ｏｂが第２の行動をしている状態の画像３０－３を説明する説明図である。図８及び図９において、被監視者Ｏｂを示す領域を被監視者領域２６とする。図８に示す被監視者領域２６－１は、被監視者Ｏｂの頭部の像に対応する。図９に示す被監視者領域２６－２は、被監視者Ｏｂがベッド３（図２）の側部に座り、片脚がベッド３から出ている像に対応する。被監視者領域２６－２は、注目領域２４－３内に位置する被監視者領域２６－２１と、注目領域２４－３外に位置する被監視者領域２６－２２とにより構成される。

【0041】

第１の行動の判定アルゴリズムについて説明する。図３及び図８を参照して、注目領域２４－１に、被監視者Ｏｂの頭部（すなわち、被監視者領域２６－１）が位置した状態で、被監視者Ｏｂの頭部が動いたとき、抽出部１１は、これにより動いた領域を人体領域として抽出する。この場合、被監視者領域２６－１が人体領域として抽出される。

【0042】

注目領域２４－２に、被監視者Ｏｂの脚が位置した状態で（脚は、図２に示す布団５の下にある）、被監視者Ｏｂの脚が動いたとき、抽出部１１は、これにより動いた領域を人体領域として抽出する。この場合、脚部を示す領域でなく、布団５のうち、被監視者Ｏｂの脚部が動くことにより動いた部分が、人体領域として抽出される。

【0043】

なお、人体領域の面積が小さければ、ノイズの可能性がある。そこで、判定部１２は、以下の手法を用いて、人体領域を確定してもよい。判定部１２は、抽出部１１によって抽出された人体領域を人体領域候補とする。判定部１２は、注目領域２４－１に位置する人体領域候補について、注目領域２４－１の面積に対する人体領域候補の面積の割合（人体領域候補の画素数÷注目領域２４－１の画素数）が、所定の第１の閾値を超えているか否かを判定する。判定部１２は、この割合が第１の閾値を超えているとき、人体領域候補を人体領域と確定する。注目領域２４－２に位置する人体領域候補についても同様の処理をする。なお、注目領域２４－１に対して適用される第１の閾値と注目領域２４－２に対して適用される第１の閾値とは、同じでもよし、異なっていてもよい。最適な第１の閾値が、注目領域２４－１の場合と注目領域２４－２の場合とで同じであれば、前者となり、異なれば、後者となる。

【0044】

人が寝床１で寝る姿勢をとるとき、注目領域２４－１，２４－２のそれぞれに（すなわち、注目領域２４－１，２４－２の全てに）人体領域が存在する。そこで、判定部１２は、注目領域２４－１，２４－２のそれぞれに人体領域が存在するとき、被監視者Ｏｂが第１の行動をしたと判定する。

【0045】

なお、通常、人が寝床１に入り、寝床１で寝ている姿勢をとるとき、頭及び脚部を同時に寝床１につけるのではなく、先に、脚部を寝床１につけ、後で、頭部を寝床１につける。よって、判定部１２は、脚部に対応する注目領域２４－２に人体領域（脚部）が存在する判定をした後、頭部に対応する注目領域２４－１に人体領域（頭部）が存在すると判定する。以上を考慮すると、判定部１２は、所定期間（例えば、１０秒）内に、注目領域２４－１，２４－２のそれぞれに人体領域が存在する判定をしたとき、被監視者Ｏｂが第１の行動をしたと判定する。言い換えれば、判定部１２は、注目領域２４－１，２４－２の一方に人体領域があると判定し、このときから所定の期間（例えば、１０秒）内に、注目領域２４－１，２４－２の他方に人体領域があると判定したとき、注目領域２４－１，２４－２のそれぞれに人体領域が存在するとし、被監視者Ｏｂが第１の行動をしたと判定する。

【0046】

注目領域２４－１が被監視者Ｏｂの頭部を含む領域に位置し、注目領域２４－２が被監視者Ｏｂの脚部を含む領域に位置する例で説明しているが、被監視者Ｏｂが寝ている姿勢をとっていることを判定できれば、これらの位置に限定されない。例えば、注目領域２４－１が被監視者Ｏｂの頭部を含む領域に位置し、注目領域２４－２が被監視者Ｏｂの腹部を含む領域に位置する態様でもよいし、注目領域２４－１が被監視者Ｏｂの複部を含む領域に位置し、注目領域２４－２が被監視者Ｏｂの脚部を含む領域に位置する態様でもよい。

【0047】

注目領域２４－１，２４－２の形状が矩形を例にしているが、被監視者Ｏｂが寝ている姿勢をとっていることを判定できれば、矩形に限定されない。例えば、注目領域２４－１，２４－２の形状が正方形でもよい。

【0048】

注目領域２４－１，２４－２の面積が同じ場合を例にしているが、被監視者Ｏｂが寝ている姿勢をとっていることを判定できれば、これに限定されない。

【0049】

第１の行動の判定に用いる注目領域２４が、２つの場合（注目領域２４－１，２４－２）を例にしているが、複数であればよい。被監視者Ｏｂが寝ている姿勢をとっていることを判定できれば、２つに限定されない。注目領域２４が３つの態様を例にして説明する。図１０は、第１の行動の判定に用いる３つの注目領域２４が設定された態様を説明する説明図である。寝床領域２２の長手方向に沿って、距離間隔をあけて、注目領域２４－１、注目領域２４－４、注目領域２４－２が設定されている。注目領域２４－４は、被監視者Ｏｂの腹部を含む領域である。注目領域２４－４に、被監視者Ｏｂの腹部が位置した状態で（腹部は、図２に示す布団５の下にある）、被監視者Ｏｂの腹部が動いたとき、抽出部１１（図３）は、これにより動いた領域を人体領域として抽出する。

【0050】

判定部１２は、注目領域２４－１，２４－２，２４－４のいずれか１つに人体領域があると判定し、このときから所定の期間（例えば、１０秒）内に、残りの注目領域２４に人体領域があると判定したとき、被監視者Ｏｂが第１の行動をしたと判定する。

【0051】

第２の行動の判定アルゴリズムを説明する。図３及び図９を参照して、判定部１２は、注目領域２４－３内に人体領域があり、かつ、この人体領域と連続する人体領域が注目領域２４－３外にあるか否かを判定する。被監視者領域２６－２１は、注目領域２４－３内に位置する人体領域であり、被監視者領域２６－２２は、注目領域２４－３外に位置する人体領域である。

【0052】

判定部１２は、例えば、被監視者領域２６－２２の画素数÷（被監視者領域２６－２１の画素数＋被監視者領域２６－２２の画素数）が、所定の第２の閾値を超えたとき、第２の行動をしたと判定する。第２の行動をしたか否かの判定の手法は、これに限定されず、例えば、被監視者領域２６－２２の画素数が所定の第３の閾値を超えたとき、第２の行動をしたと判定してもよい。

【0053】

センサ装置ＳＵは、行動判定装置として機能する。このときのセンサ装置ＳＵの動作を説明する。図１１は、この動作を説明するフローチャートである。図３及び図１１を参照して、判定部１２は、「ｉ」を「１」に設定する（ステップＳ１）。「ｉ」は、撮像部１０によって撮像されている動画ＭＩを構成するフレームの順番を示す。「１」は、１番目のフレームを意味する。

【0054】

判定部１２は、１番目のフレームに対して第１の行動判定アルゴリズムの処理をする。これにより、判定部１２は、１番目のフレームが撮像された時点で、被監視者Ｏｂが第１の行動をしたか否かを判定する（ステップＳ２）。被監視者Ｏｂが寝床１（図２）に入り、寝床１に寝ている姿勢をとったとき、判定部１２は、被監視者Ｏｂが第１の行動をしたと判定する。

【0055】

判定部１２が、１番目のフレームが撮像された時点で、被監視者Ｏｂが第１の行動をしていないと判定したとき（ステップＳ２でＮｏ）、判定部１２は、「ｉ＋１」を「ｉ」に設定する（ステップＳ３）。ここでは、「ｉ」が「２」に設定される。

【0056】

判定部１２は、２番目のフレームに対して第１の行動判定アルゴリズムの処理をする。これにより、判定部１２は、２番目のフレームが撮像された時点で、被監視者Ｏｂが第１の行動をしたか否かを判定する（ステップＳ２）。

【0057】

判定部１２が、２番目のフレームが撮像された時点で、被監視者Ｏｂが第１の行動をしていないと判定したとき（ステップＳ２でＮｏ）、判定部１２は、「ｉ＋１」を「ｉ」に設定する（ステップＳ３）。ここでは、「ｉ」が「３」に設定される。以下、被監視者Ｏｂが第１の行動をするまで、判定部１２は、ステップＳ２及びステップＳ３の処理を繰り返す。

【0058】

判定部１２が、例えば、ｊ番目のフレームが撮像された時点で、被監視者Ｏｂが第１の行動をしたと判定したとき（ステップＳ２でＹｅｓ）、判定部１２は、「ｉ＋１」を「ｉ」に設定する（ステップＳ４）。ここでは、「ｉ」が「ｊ＋１」に設定される。

【0059】

判定部１２は、ｉ番目（ｊ＋１番目）のフレームに対して第２の行動判定アルゴリズムの処理をする。これにより、判定部１２は、ｉ番目（ｊ＋１番目）のフレームが撮像された時点で、被監視者Ｏｂが第２の行動をしたか否かを判定する（ステップＳ５）。

【0060】

判定部１２が、ｉ番目（ｊ＋１番目）のフレームが撮像された時点で、被監視者Ｏｂが第２の行動をしていないと判定したとき（ステップＳ５でＮｏ）、判定部１２は、「ｉ＋１」を「ｉ」に設定する（ステップＳ６）。ここでは、「ｉ」が「ｊ＋２」に設定される。以下、被監視者Ｏｂが第２の行動をするまで、判定部１２は、ステップＳ５及びステップＳ６の処理を繰り返す。

【0061】

判定部１２が、例えば、ｋ番目のフレームが撮像された時点で、被監視者Ｏｂが第２の行動をしたと判定したとき（ステップＳ５でＹｅｓ）、判定部１２は、被監視者Ｏｂが起床したと判定する（ステップＳ７）。

【0062】

実施形態の主な効果を説明する。実施形態は、人が起床するとき、この前提として寝床１（図２）で寝ている姿勢をとっていることに着目する。図３及び図１１を参照して、判定部１２は、被監視者Ｏｂが寝床１で寝ている姿勢をとっている判定（第１の行動をした判定）をし（ステップＳ２でＹｅｓ）、次に、被監視者Ｏｂが寝床１から体の一部分（例えば、脚部）を出す判定（第２の行動をした判定）をしたとき（ステップＳ５でＹｅｓ）、被監視者Ｏｂが起床したと判定する（ステップＳ７）。

【0063】

寝床１に寝ている被監視者Ｏｂが起床するとき、被監視者Ｏｂは、一連の動作として、上半身を起こす動作をし、寝床１の側部に座って床に足をつく動作をし、そして、立ち上がる動作をする。寝床１の側部に座って床に足をつく動作が、実施形態の第２の行動に対応する。被監視者Ｏｂが第２の行動をした判定のみで起床と判定する手法を考える。被監視者Ｏｂの中には、筋力が弱いので、寝床１の側部に座って床に足をつき、立ち上がる動作をスムーズにできない者がある。このような者は、寝床１の側部に座った状態で体を揺らし、この反動を利用して、立ち上がる。被監視者Ｏｂがこのような行動をした場合、第２の行動の判定アルゴリズムだけでは、起床の判定を繰り返す可能性がある（すなわち、誤判定が発生する可能性がある）。図１を参照して、センサ装置ＳＵが、被監視者Ｏｂの起床を判定する毎に、携帯端末装置ＴＡに報知すれば、起床の報知が繰り返され、そのたびに、監視者ＮＳは携帯端末装置ＴＡを確認しなければならず、監視者ＮＳの負担が大きくなる。

【0064】

これに対して、実施形態は、上述したように、被監視者Ｏｂが寝床１で寝ている姿勢をとっている判定（第１の行動をした判定）をした後、被監視者Ｏｂが寝床１から体の一部分を出す判定（第２の行動をした判定）をしたとき、被監視者Ｏｂが起床したと判定する。実施形態によれば、被監視者Ｏｂが第２の行動をした判定のみで、起床と判定する手法と比較して、起床の誤判定を少なくすることができる。

【0065】

実施形態には、変形例１及び変形例２がある。変形例１から説明する。実施形態は、被監視者Ｏｂが第１の行動をした後、第２の行動をしたとき、被監視者Ｏｂが起床したと判定する。変形例１は、被監視者Ｏｂが第１の行動をした後、第２の行動をしたとき、被監視者Ｏｂが離床したと判定する。

【0066】

変形例１では、図２に示す撮像部１０が寝床１の斜め上に配置されている。図１２は、寝床１の斜め上側に配置された撮像部１０によって撮像された画像３０－４を説明する説明図である。画像３０－４には、寝床領域２２が含まれる。寝床領域２２は、立体的に写されている。図４に示す画像３０－１は、画像３０－１を規定する線が示されているが、図１２に示す画像３０－４は、画像３０－４を規定する線を省略している。

【0067】

画像３０－４に注目領域が設定される。図１３は、注目領域２４が設定された画像３０－４を説明する説明図である。注目領域２４－３が、画像３０－４に設定されている。注目領域２４－３は、図５に示す注目領域２４－３と同じである。注目領域２４－３は、第２の行動をしたか否かの判定に用いられる。変形例１において、第２の行動は、被監視者Ｏｂが離床したと推定される動作である。

【0068】

３つの注目領域２４（注目領域２４－５，２４－６，２４－７）が、画像３０－４に設定されている。注目領域２４－５，２４－６，２４－７は、複数の第１の注目領域の一例であり、第１の行動をしたか否かの判定に用いられる。変形例１において、第１の行動は、被監視者Ｏｂが寝床１に入る動作である。

【0069】

注目領域２４－５，２４－６，２４－７は、矩形形状を有しており、注目領域２４－５，２４－６，２４－７の長手方向は、寝床領域２２の長手方向と同じである。注目領域２４－５，２４－６，２４－７は、これらの長手方向と直交する方向に沿って、距離間隔をあけて設定される。注目領域２４－５と注目領域２４－７との間に、注目領域２４－６が設定される。

【0070】

注目領域２４－６は、画像３０－４において寝床領域２２と重なる中間注目領域である。注目領域２４－６は、寝床領域２２の側部において、注目領域２４－３と重なっている。注目領域２４－６は、被監視者Ｏｂが寝床１の側部に座る場所と対応する。注目領域２４－５は、画像３０－４において中間注目領域の下に位置する下側注目領域である。注目領域２４－７は、画像３０－４において中間注目領域の上に位置する上側注目領域である。

【0071】

図１４は、被監視者Ｏｂが寝床１の手前に立っているときに、撮像部１０によって撮像されたフレーム（画像３０－５）を説明する説明図である。図１５は、被監視者Ｏｂが寝床１の側部に座ったときに、撮像部１０によって撮像されたフレーム（画像３０－６）を説明する説明図である。図１６は、被監視者Ｏｂが寝床１に脚部を入れたときに、撮像部１０によって撮像されたフレーム（画像３０－７）を説明する説明図である。これらの画像は、図１２に示す画像３０－４と同様に、画像を規定する線を省略している。図１４～図１６において、被監視者領域２６－３は、被監視者Ｏｂの全身の像に対応する。

【0072】

図１４を参照して、注目領域２４－５（下側注目領域）及び注目領域２４－６（中間注目領域）は、被監視者Ｏｂが寝床１の手前に立っているときに、被監視者Ｏｂの体の一部分を含む領域である。ここでは、注目領域２４－５は、被監視者Ｏｂの脚部の一部分を含む領域である。この領域と注目領域２４－５とが重なる領域が、被監視者領域２６－３１である。注目領域２４－６は、被監視者Ｏｂの腕部の一部分及び背中の一部分を含む領域である。この領域と注目領域２４－６とが重なる領域が、被監視者領域２６－３２である。

【0073】

図１５を参照して、注目領域２４－６（中間注目領域）及び注目領域２４－７（上側注目領域）は、被監視者Ｏｂが寝床１の側部に座ったときに、被監視者Ｏｂの体の一部分を含む領域である。ここでは、注目領域２４－６は、被監視者Ｏｂの脚部の一部分及び腰部を含む領域である。この領域と注目領域２４－６とが重なる領域が、被監視者領域２６－３３である。注目領域２４－７は、被監視者Ｏｂの頭部の一部分を含む領域である。この領域と注目領域２４－７とが重なる領域が、被監視者領域２６－３４である。

【0074】

図１６を参照して、注目領域２４－６（中間注目領域）は、被監視者Ｏｂが寝床１に脚部を入れるときに、被監視者Ｏｂの体の一部分を含む領域である。ここでは、注目領域２４－６は、被監視者Ｏｂの腕部の一部分及び脚部の一部分を含む領域である。この領域と注目領域２４－６とが重なる領域が、被監視者領域２６－３５である。

【0075】

第１の行動の判定アルゴリズムについて説明する。図３及び図１４を参照して、被監視者Ｏｂが寝床１に近づく動作をしたとき、抽出部１１は、注目領域２４－５に位置する被監視者領域２６－３１を人体領域として抽出し、注目領域２４－６に位置する被監視者領域２６－３２を人体領域として抽出する。

【0076】

図３及び図１５を参照して、被監視者Ｏｂが寝床１の側部に座る動作をしたとき、抽出部１１は、注目領域２４－６に位置する被監視者領域２６－３３を人体領域として抽出し、注目領域２４－７に位置する被監視者領域２６－３４を人体領域として抽出する。

【0077】

図３及び図１６を参照して、被監視者Ｏｂが寝床１に脚部を入れる動作をしたとき、抽出部１１は、注目領域２４－６に位置する被監視者領域２６－３５を人体領域として抽出する。

【0078】

図１４～図１６で説明した人体領域の抽出の手法は、実施形態と同じである。

【0079】

判定部１２が、最初に、注目領域２４－５，２４－６に人体領域がある判定をし、かつ、注目領域２４－７に人体領域がない判定をし（図１４）、次に、注目領域２４－６，２４－７に人体領域がある判定をし、かつ、注目領域２４－５に人体領域がない判定をし（図１５）、最後に、注目領域２４－６に人体領域がある判定をし、かつ、注目領域２４－５，２４－７に人体領域がない判定をしたとする（図１６）。判定部１２が、これら３つの判定を所定の期間（例えば、６０秒）内にしたとき、判定部１２は、被監視者Ｏｂが寝床１に入る動作（第１の行動）をしたことを判定する。

【0080】

第２の行動の判定アルゴリズムを説明する。図１７は、被監視者Ｏｂが離床したと推定される動作をしているときに、撮像部１０によって撮像されたフレーム（画像３０－８）を説明する説明図である。注目領域２４－３外の領域と被監視者Ｏｂとが重なる領域が、被監視者領域２６－３６となる（斜線で示す領域）。判定部１２は、例えば、被監視者領域２６－３６の面積（画素数）が所定の第４の閾値を超えたとき、被監視者Ｏｂが第２の行動（離床したと推定される動作）をしたことを判定する。

【0081】

変形例１の主な効果を説明する。変形例１は、人が離床するとき、この前提として寝床１に入る動作をすることに着目する。変形例１は、被監視者Ｏｂが寝床１に入る動作（第１の行動）をした判定をし、次に、被監視者Ｏｂが離床したと推定される動作（第２の行動）をした判定をしたとき、被監視者Ｏｂが離床したと判定する。変形例１によれば、被監視者Ｏｂが第２の行動をした判定のみで、離床と判定する手法と比較して、離床の誤判定を少なくすることができる。

【0082】

変形例２を説明する。図３を参照して、実施形態において、抽出部１１及び判定部１２が、センサ装置ＳＵに備えられる。これに対して、変形例２において、これらは、図１に示す管理サーバ装置ＳＶに備えられる。変形例に備えられるＳＵ制御処理部１３は、ＳＵ通信ＩＦ部１４に対して、撮像部１０が撮像した動画ＭＩを、管理サーバ装置ＳＶに送信する命令をする。ＳＵ通信ＩＦ部１４は、その動画ＭＩを、管理サーバ装置ＳＶの通信部（不図示）と通信可能な通信信号に変更して、管理サーバ装置ＳＶに送信する。

【0083】

実施形態では、撮像部１０が、被監視者Ｏｂを含む所定の範囲の第１の画像及び第２の画像を取得する取得部として機能する。これに対して、変形例２では、管理サーバ装置ＳＶの上記通信部が取得部の機能を有する。

【0084】

（実施形態の纏め）
実施形態の第１の局面に係る行動判定装置は、監視対象となる被監視者を含む所定の範囲の第１の画像及び第２の画像を取得する取得部と、前記第１の画像及び前記第２の画像から人体領域を抽出する抽出部と、予め定められた第１の行動をしたか否かの判定に用いられる複数の第１の注目領域を、距離間隔をあけて前記第１の画像に設定する第１の設定をし、複数の前記第１の注目領域及び前記人体領域を基にして、前記被監視者が前記第１の行動をしたか否かを判定し、予め定められた第２の行動をしたか否かの判定に用いられる第２の注目領域を、前記第２の画像に設定する第２の設定をし、前記第２の注目領域及び前記人体領域を基にして、前記被監視者が前記第２の行動をしたか否かを判定する判定部と、を備える。

【0085】

実施形態の第１の局面に係る行動判定装置では、第１の行動の判定に用いる注目領域（距離間隔をあけて設定された複数の第１の注目領域）と第２の行動の判定に用いる注目領域（第２の注目領域）とを別々にしている。従って、判定したい行動に応じて、画像に設定する注目領域を変えることができる。例えば、第１の行動の判定に最適な注目領域を、第１の行動の判定に用いる注目領域にすることができ、第２の行動の判定に最適な注目領域を、第２の行動の判定に用いる注目領域にすることができる。よって、実施形態の第１の局面に係る行動判定装置によれば、誤判定を少なくすることができる。

【0086】

第１の画像と第２の画像とは、同じ画像でもよいし、異なる画像でもよい。

【0087】

上記構成において、前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が所定の行動をしたと判定する。

【0088】

この構成は、第１の行動と第２行動とを組み合わせて、所定の行動を判定する。この構成には、以下の第１の態様及び第２の態様がある。

【0089】

第１の態様において、前記第１の画像及び前記第２の画像は、寝床を示す領域である寝床領域を含み、前記第１の行動は、前記被監視者が前記寝床で寝ている姿勢をとることであり、前記第２の行動は、前記被監視者が前記寝床から体の一部分を出すことであり、前記判定部は、前記第１の設定として、複数の前記第１の注目領域を、前記寝床領域の長手方向に沿って距離間隔をあけて前記寝床領域に並べる設定をし、複数の前記第１の注目領域のそれぞれに前記人体領域が存在するとき、前記被監視者が前記第１の行動をしたと判定し、前記判定部は、前記第２の設定として、前記第２の注目領域を、前記寝床領域を規定する線に沿って設定をし、前記第２の注目領域外に位置する前記人体領域の面積を基にして、前記被監視者が前記第２の行動をしたか否かを判定し、前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が起床したと判定する。

【0090】

第１の態様は、人が起床するとき、この前提として寝床で寝ている姿勢をとっていることに着目する。判定部は、被監視者が寝床で寝ている姿勢をとっている判定（第１の行動をした判定）をし、次に、被監視者が寝床から体の一部分（例えば、脚部）を出す判定（第２の行動をした判定）をしたとき、被監視者が起床したと判定する。第１の態様によれば、被監視者が第２の行動をした判定のみで、起床と判定する手法と比較して、起床の誤判定を少なくすることができる。

【0091】

人が寝床で寝る姿勢をとるとき、複数の第１の注目領域のそれぞれに（すなわち、複数の第１の注目領域の全てに）人体領域が存在する。そこで、判定部は、複数の第１の注目領域のそれぞれに人体領域が存在するとき、被監視者が第１の行動をしたと判定する。なお、通常、人が寝床に入り、寝床で寝ている姿勢をとるとき、頭及び脚部を同時に寝床につけるのではなく、いずれかを順番に、あるいは、少しずつ交互に動かしながら寝て、最終的に頭及び脚部の両方を寝床につける。よって、判定部は、第１の注目領域の少なくともいずれかに人体領域が存在する判定をした後、残りの注目領域についても人体領域が存在することを判定する。以上を考慮すると、好ましくは、判定部は、所定期間（例えば、１０秒）内に、複数の第１の注目領域のそれぞれに人体領域が存在する判定をしたとき、被監視者が第１の行動をしたと判定する。

【0092】

第２の注目領域外に位置する人体領域の面積（画素数）を基にして、被監視者が第２の行動をしたか否かを判定する手法としては、様々あるが、一例は、以下の通りである。判定部は、第２の注目領域外に位置する人体領域の画素数÷（第２の注目領域内に位置する人体領域の画素数＋第２の注目領域外に位置する人体領域の画素数）が、所定の閾値を超えたとき、第２の行動をしたと判定する。

【0093】

第２の態様において、前記第１の画像及び前記第２の画像は、寝床を示す領域である寝床領域を含み、前記第１の画像及び前記第２の画像を撮像する撮像部は、前記寝床の斜め上側に配置されており、前記第１の行動は、前記被監視者が前記寝床に入る動作であり、前記第２の行動は、前記被監視者が離床したと推定される動作であり、複数の前記第１の注目領域は、前記第１の画像において前記寝床領域と重なる中間注目領域、前記画像において前記中間注目領域の下に位置する下側注目領域、前記画像において前記中間注目領域の上に位置する上側注目領域により構成されており、前記判定部は、前記第１の設定として、前記下側注目領域、前記中間注目領域、及び、前記上側注目領域を設定し、前記下側注目領域及び前記中間注目領域に前記人体領域が存在し、かつ、前記上側注目領域に前記人体領域が存在しない第１の状態と、前記中間注目領域及び前記上側注目領域に前記人体領域が存在し、かつ、前記下側注目領域に前記人体領域が存在しない第２の状態と、前記中間注目領域に前記人体領域が存在し、かつ、前記下側注目領域及び前記上側注目領域に前記人体領域が存在しない第３の状態とが、前記第１の状態、前記第２の状態、前記第３の状態の順で発生したと判断したとき、前記被監視者が前記第１の行動をしたと判定し、前記判定部は、前記第２の設定として、前記第２の注目領域を、前記寝床領域を規定する線に沿って設定をし、前記第２の注目領域外に位置する前記人体領域の面積を基にして、前記被監視者が前記第２の行動をしたか否かを判定し、前記判定部は、前記被監視者が前記第１の行動をした判定をした後、前記被監視者が前記第２の行動をした判定をしたとき、前記被監視者が離床したと判定する。

【0094】

第２の態様は、人が離床するとき、この前提として寝床に入る動作をすることに着目する。第２の態様は、被監視者が寝床に入る動作（第１の行動）をした判定をし、次に、被監視者が離床したと推定される動作（第２の行動）をした判定をしたとき、被監視者が離床したと判定する。第２の態様によれば、被監視者が第２の行動をした判定のみで、離床と判定する手法と比較して、離床の誤判定を少なくすることができる。

【0095】

第２の注目領域外に位置する人体領域の面積（画素数）を基にして、被監視者が第２の行動をしたか否かを判定する手法としては、様々あるが、一例は、以下の通りである。判定部は、第２の注目領域外に位置する人体領域の画素数が、所定の閾値を超えたとき、第２の行動をしたと判定する。

【0096】

実施形態の第２の局面に係る行動判定方法は、監視対象となる被監視者を含む所定の範囲の第１の画像及び第２の画像を取得する取得ステップと、前記第１の画像及び前記第２の画像から人体領域を抽出する抽出ステップと、予め定められた第１の行動をしたか否かの判定に用いられる複数の第１の注目領域を、距離間隔をあけて前記第１の画像に設定する第１の設定をし、複数の前記第１の注目領域及び前記人体領域を基にして、前記被監視者が前記第１の行動をしたか否かを判定し、予め定められた第２の行動をしたか否かの判定に用いられる第２の注目領域を、前記第２の画像に設定する第２の設定をし、前記第２の注目領域及び前記人体領域を基にして、前記被監視者が前記第２の行動をしたか否かを判定する判定ステップと、を備える。

【0097】

実施形態の第２の局面に係る行動判定方法は、実施形態の第１の局面にかかる行動判定装置を方法の観点から規定しており、実施形態の第１の局面にかかる行動判定装置と同様の作用効果を有する。

【0098】

この出願は、２０１６年７月１２日に出願された日本国特許出願特願２０１６－１３７４２２を基礎とするものであり、その内容は、本願に含まれるものである。

【0099】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【産業上の利用可能性】

【0100】

本発明によれば、行動判定装置及び行動判定方法を提供することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】