特開 2024-49442 見守りシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049442

(43)【公開日】2024-04-10

(54)【発明の名称】見守りシステム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20240403BHJP

   G08B 21/02 20060101ALI20240403BHJP

【ＦＩ】

G08B25/04 K

G08B21/02

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022155670

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】390037154

【氏名又は名称】大和ハウス工業株式会社

(74)【代理人】

【識別番号】100162031

【弁理士】

【氏名又は名称】長田 豊彦

(74)【代理人】

【識別番号】100175721

【弁理士】

【氏名又は名称】高木 秀文

(72)【発明者】

【氏名】小田原 健雄

(72)【発明者】

【氏名】西田 竜太

【テーマコード（参考）】

5C086

5C087

【Ｆターム（参考）】

5C086AA22

5C086BA01

5C086CA09

5C086CA28

5C086CB26

5C086CB36

5C086DA14

5C086FA01

5C087AA02

5C087AA03

5C087AA32

5C087DD03

5C087DD24

5C087EE18

5C087FF01

5C087FF02

5C087FF04

5C087GG02

(57)【要約】

【課題】利用者の行動を好適に見守ることができる見守りシステムを提供する。
【解決手段】子供の行動に関する情報を取得するカメラ１０と、親の行動に関する情報を取得するカメラ１０及びマイク２０と、親が子供の行動に対するケアを行う制止行動をとったことを検出するケア行動検出部（制御装置４０）と、ケア行動検出部（制御装置４０）により検出された制止行動の情報と、制止行動の対象となった子供の行動に関する情報と、の組み合わせを記憶すると共に、当該子供の行動に関する情報を危険行動のデータとして学習する学習部（制御装置４０）と、子供の行動の情報が、危険行動のデータと一致した場合に、当該子供の行動が見守り危険行動であることを検出する見守り対象行動検出部（制御装置４０）と、を具備する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第一の利用者の行動に関する情報を取得する第一情報取得部と、
前記第一の利用者と異なる第二の利用者の行動に関する情報を取得する第二情報取得部と、
前記第二の利用者が、前記第一の利用者の行動に対するケアを行うケア行動をとったことを検出するケア行動検出部と、
前記ケア行動検出部により検出された前記ケア行動の情報と、前記ケア行動の対象となった前記第一の利用者の行動に関する情報と、の組み合わせを記憶すると共に、当該第一の利用者の行動に関する情報を見守り対象情報として学習する学習部と、
前記第一の利用者の行動の情報が、前記見守り対象情報と一致した場合に、当該第一の利用者の行動が見守り対象行動であることを検出する見守り対象行動検出部と、
を具備する、
見守りシステム。

【請求項2】

前記第一の利用者の行動の情報には、
前記第一の利用者の行動を細分化した複数の細分化行動情報が含まれ、
前記学習部は、
前記複数の細分化行動情報の組み合わせに基づいて、前記見守り対象情報の学習を行う、
請求項１に記載の見守りシステム。

【請求項3】

前記複数の細分化行動情報には、
前記第一の利用者の姿勢に関する第一行動情報と、
前記第一の利用者の移動に関する第二行動情報と、
前記第一の利用者の行為に関する第三行動情報と、が含まれる、
請求項２に記載の見守りシステム。

【請求項4】

前記第一行動情報には、
前記第一の利用者の姿勢の変化が含まれる、
請求項３に記載の見守りシステム。

【請求項5】

前記第二行動情報には、
前記第一の利用者の高さの変化と、前記第一の利用者の速度と、が含まれる、
請求項３に記載の見守りシステム。

【請求項6】

前記見守り対象行動検出部が前記見守り対象行動を検出した場合であって、前記見守り対象行動に対して前記ケア行動が所定回数以上とられなかった場合、
前記ケア行動が所定回数以上とられなかった前記見守り対象情報を、前記学習部の学習結果から除外する再学習部を具備する、
請求項１から請求項５までのいずれか一項に記載の見守りシステム。

【請求項7】

前記見守り対象行動検出部が前記見守り対象行動を検出した場合に、報知を行う報知部を具備する、
請求項１に記載の見守りシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、見守りシステムの技術に関する。

【背景技術】

【0002】

従来、利用者の行動を見守るシステムの技術は公知となっている。例えば、特許文献１に記載の如くである。

【0003】

特許文献１には、家屋内での人（子供等）に関連する危険を判定する危険判定装置が記載されている。上記危険判定装置は、家屋内の子供等や物品のＩＤ及び位置情報を検出することができる。また、危険判定装置は、子供等のＩＤと、放置された物品のＩＤと、の組み合わせが危険であることを判定し、かつ、子供等が放置された物品の位置にアクセス可能なことを判定した場合に、危険と判定する。

【0004】

しかしながら、上記子供と物品との組み合わせが危険であると判定され、かつ子供が物品にアクセス可能であったとしても、状況によっては危険ではない（安全である）場合も想定される。このような場合、上記特許文献１に記載された発明では、実際には安全な場合でも危険と判定してしまうおそれがあり、更なる改善が望まれる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４１１３９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は以上の如き状況に鑑みてなされたものであり、その解決しようとする課題は、利用者の行動を好適に見守ることができる見守りシステムを提供することである。

【課題を解決するための手段】

【0007】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

【0008】

即ち、請求項１においては、第一の利用者の行動に関する情報を取得する第一情報取得部と、前記第一の利用者と異なる第二の利用者の行動に関する情報を取得する第二情報取得部と、前記第二の利用者が、前記第一の利用者の行動に対するケアを行うケア行動をとったことを検出するケア行動検出部と、前記ケア行動検出部により検出された前記ケア行動の情報と、前記ケア行動の対象となった前記第一の利用者の行動に関する情報と、の組み合わせを記憶すると共に、当該第一の利用者の行動に関する情報を見守り対象情報として学習する学習部と、前記第一の利用者の行動の情報が、前記見守り対象情報と一致した場合に、当該第一の利用者の行動が見守り対象行動であることを検出する見守り対象行動検出部と、を具備するものである。

【0009】

請求項２においては、前記第一の利用者の行動の情報には、前記第一の利用者の行動を細分化した複数の細分化行動情報が含まれ、前記学習部は、前記複数の細分化行動情報の組み合わせに基づいて、前記見守り対象情報の学習を行うものである。

【0010】

請求項３においては、前記複数の細分化行動情報には、前記第一の利用者の姿勢に関する第一行動情報と、前記第一の利用者の移動に関する第二行動情報と、前記第一の利用者の行為に関する第三行動情報と、が含まれるものである。

【0011】

請求項４においては、前記第一行動情報には、前記第一の利用者の姿勢の変化が含まれるものである。

【0012】

請求項５においては、前記第二行動情報には、前記第一の利用者の高さの変化と、前記第一の利用者の速度と、が含まれるものである。

【0013】

請求項６においては、前記見守り対象行動検出部が前記見守り対象行動を検出した場合であって、前記見守り対象行動に対して前記ケア行動が所定回数以上とられなかった場合、前記ケア行動が所定回数以上とられなかった前記見守り対象情報を、前記学習部の学習結果から除外する再学習部を具備するものである。

【0014】

請求項７においては、前記見守り対象行動検出部が前記見守り対象行動を検出した場合に、報知を行う報知部を具備するものである。

【発明の効果】

【0015】

本発明の効果として、以下に示すような効果を奏する。

【0016】

請求項１においては、利用者の行動を好適に見守ることができる。

【0017】

請求項２においては、見守り対象情報の学習を好適に行うことができる。

【0018】

請求項３においては、見守り対象情報の学習をより好適に行うことができる。

【0019】

請求項４においては、第一の利用者の姿勢の変化に基づいて、見守り対象情報の学習を行うことができる。

【0020】

請求項５においては、第一の利用者の高さの変化及び速度に基づいて、見守り対象情報の学習を行うことができる。

【0021】

請求項６においては、状況の変化に応じて、不要な見守り対象情報を自動で除外することができる。

【0022】

請求項７においては、第一の利用者が見守り対象行動を行ったことを報知することができる。

【図面の簡単な説明】

【0023】

【図1】（ａ）本発明の一実施形態に係る見守りシステムの構成を示したブロック図。（ｂ）子供及び親の行動検出の態様を示す図。

【図2】見守り処理を示したフローチャート。

【図3】学習処理を示したフローチャート。

【図4】学習処理の続きを示したフローチャート。

【図5】再学習処理を示したフローチャート。

【発明を実施するための形態】

【0024】

以下では、図１（ａ）を用いて、本発明の一実施形態に係る見守りシステム１の構成について説明する。

【0025】

見守りシステム１は、住宅に居住する利用者の行動を検出し、上記利用者がケアを要する行動（本実施形態では危険な行動）をした場合に報知を行うものである。本実施形態では、一例として、危険な行動の検出の対象となる利用者が、子供である場合を想定している。また、本実施形態では、子供の親（保護者）に対して報知を行う場合を想定している。見守りシステム１は、カメラ１０、マイク２０、報知部３０及び制御装置４０を具備する。

【0026】

カメラ１０は、所定のレンズ部を介して撮影した映像データを取得するものである。カメラ１０は、居室内において対象者（子供及び親）を撮影可能な場所（例えば天井等）に設置される。

【0027】

マイク２０は、居宅内の音を取得可能なものである。マイク２０は、対象者（本実施形態では親）の音声を取得可能である。マイク２０は、居室内において音声を取得可能な場所（例えば天井等）に設置される。

【0028】

報知部３０は、対象者（本実施形態では親）に対して報知を行うものである。報知部３０は、例えば音により報知を行う。報知部３０としては、例えばブザー等の装置を採用可能である。また、報知部３０としては、所定の操作（例えばボタン操作）により報知の停止が可能な構成を採用可能である。報知部３０は、居室内において報知を実行可能な場所（例えば壁等）に設置される。

【0029】

上述の如きカメラ１０、マイク２０及び報知部３０は、それぞれ別体の装置であってもよく、各部のうちのいずれか（例えばカメラ１０及びマイク２０）を一体化した装置であってもよい。上記カメラ１０、マイク２０及び報知部３０は、子供の行動の見守りの観点から必要な台数を設置可能である。

【0030】

制御装置４０は、各種の情報の処理を実行可能なものである。制御装置４０としては、例えばコンピュータ（サーバ等）を採用可能である。制御装置４０は、ＣＰＵ等の演算処理装置、並びにＲＡＭやＲＯＭ等の記憶装置等を具備する。制御装置４０は、インターネット回線を利用して他の機器（カメラ１０、マイク２０及び報知部３０）との通信が可能である。制御装置４０としては、パーソナルコンピュータやスマートフォン、タブレット型端末等を採用可能である。また、制御装置４０は、住宅内に設置されたものでもよく、住宅の外部に設置されたもの（例えば外部サーバ、クラウドサーバ等）でもよい。

【0031】

制御装置４０は、カメラ１０が撮影した映像のデータ（映像データ）や、マイクが取得した音声のデータ（音声データ）をリアルタイムで取得することができる。また、制御装置４０は、取得した映像データ等を用いて、対象者（子供及び親）の行動を検出することができる。以下では、図１（ｂ）を用いて、子供及び親の行動検出の態様について説明する。

【0032】

まず、子供に対しての行動検出について説明する。制御装置４０は、映像データを解析して子供の行動検出を実行する。本実施形態では、制御装置４０は、映像データに基づいて、子供の「姿勢」、「移動」及び「行為」の３つのパターンの行動を検出し、各検出結果に基づいて行動検出を行う。すなわち、本実施形態では、映像データに基づいて検出された子供の行動を細分化した情報を用いて行動検出を行う。

【0033】

具体的には、制御装置４０は、映像データにおける子供が、寝ている（臥居）か、立っている（立位）か、四つん這い（はいはい）か、を判定することで、子供の「姿勢」（どういう姿勢か）を検出する。

【0034】

また、制御装置４０は、映像データにおける子供の高さの変化（上昇又は下降）と、速度の変化（速いか遅いか）と、を判定することで、子供の「移動」（どう動いているか）を検出する。

【0035】

また、制御装置４０は、映像データにおける子供が、モノを持った場合に、単に持っただけ（所持）か、モノが手から離れた（投げた）か、モノを口に含んだ（食べた）か、を判定することで、子供の「行為」（何をしているか）を検出する。

【0036】

制御装置４０は、例えばモーションキャプチャ等の技術を用いて上記各行動の検出を行うことができる。また、制御装置４０は、映像データの人物が、子供であるか親（大人）であるかを判別することができる。

【0037】

制御装置４０は、上記「姿勢」、「移動」及び「行為」の検出結果の組み合わせに基づいて、子供の行動（例えば、モノを口に含んだまま走っている等）を検出することができる。また、子供の行動検出において、制御装置４０が行う具体的な処理としては、後述する学習処理（図３及び図４）と概ね同様な処理を採用可能である。

【0038】

次に、親に対しての行動検出について説明する。制御装置４０は、映像データ及び音声データを解析して親の行動検出を実行する。本実施形態では、制御装置４０は、映像データに基づく親の「動作」と、音声データに基づく親の「声量」と、を検出し、各検出結果に基づいて行動検出を行う。

【0039】

具体的には、制御装置４０は、映像データにおける親が、子供の危険行動を制止する「制止動作」を検出する。制御装置４０は、上述した子供の行動検出と同様な技術（例えばモーションキャプチャ）で、親の「制止動作」を検出可能である。

【0040】

制御装置４０は、例えば映像データにおいて、親がフレーム外から速い速度でフレームインした場合、親が駆けつけたという「制止動作」を検出する。また、制御装置４０は、子供の姿勢が変化した場合（例えば転倒した場合等）に、子供の姿勢を元の位置に戻した場合、子供を抱き上げたという「制止動作」を検出する。また、制御装置４０は、親が子供の腕を掴んだ場合、子供の行為を止めたという「制止動作」を検出する。なお、上述した「制止動作」の検出態様は一例であり、「制止動作」の検出態様としては、上述した例に限定されず、種々の態様を採用可能である。

【0041】

また、制御装置４０は、音声データに基づいて、親が子を叱ったことを示す「制止声量」を検出する。制御装置４０は、子供の声と親の声とを判別して「制止声量」の検出を実行可能である。制御装置４０は、例えば音声データに含まれる親の声の大きさが、予め設定された通常の声の大きさ以上であれば、親が子を叱ったと判定する。また、上記態様に代えて、親が子を叱ったことを示す所定のパターンが音声データ含まれていれば、子を叱ったと判定するようにしてもよい。また、音声入力（音声認識）等の技術を用いて音声データを解析して、子を叱ったと判定するようにしてもよい。

【0042】

制御装置４０は、上記「制止動作」及び「制止声量」の検出結果に基づいて、親の行動（例えば、駆けつけた等）を検出することができる。以下では、検出された親の行動のうち、「制止動作」又は「制止声量」である行動を、「制止行動」と称する。

【0043】

上述の如き見守りシステム１（制御装置４０）は、子供の行動検出の結果と、親の行動検出の結果と、を用いて子供の危険行動を学習すると共に、子供の行動検出の結果を用いて危険行動を検出する見守り処理を実行可能である。見守り処理は、見守りシステム１が起動している間、常時実行される。見守りシステム１の起動及び停止の切り替えは、操作者（例えば親）の操作により切り替え可能である。上記操作は、制御装置４０を介して実行可能である。

【0044】

以下では、図２から図５までを用いて、見守り処理について説明する。

【0045】

ステップＳ１０１において、制御装置４０は、カメラ１０及びマイク２０をＯＮにする（動作させる）。制御装置４０は、ステップＳ１０１の処理を行った後、ステップＳ１０２からステップＳ１０６までの処理と、ステップＳ１０７からステップＳ１１１までの処理と、へ移行する。

【0046】

ステップＳ１０２からステップＳ１０６までの処理において、制御装置４０は、子供の行動検出に関する処理を実行する。具体的には、制御装置４０は、取得した映像データに基づいて、子供の行動検出を行う（図１（ｂ）を参照）と共に、上記検出した子供の行動が「危険行動」であるか否かを判定する（ステップＳ１０２、ステップＳ１０３）。

【0047】

ここで「危険行動」とは、検出された子供の行動のうち、親の「制止行動」により制止された行動を指す。なお、「危険行動」は、後述する学習処理（ステップＳ１１１）での学習結果にもと基づいて設定され、制御装置４０に記憶されている。ステップＳ１０３においては、すでに記憶された「危険行動」と、ステップＳ１０２において検出された子供の行動と、を照合して「危険行動」の判定を行う。

【0048】

制御装置４０は、子供の行動が「危険行動」であると判定した場合、報知部３０を動作させてアラートを出す（ステップＳ１０３：ＹＥＳ、ステップＳ１０４）。これにより、親に向けて、子供の危険行動に対する報知を行うことができる。また、制御装置４０は、子供の行動が「危険行動」でないと判定した場合（ステップＳ１０３：ＮＯ）、ステップＳ１０２の処理へ移行する。

【0049】

制御装置４０は、アラートを出した後（ステップＳ１０４）、ステップＳ１０７における親の行動検出の結果に基づいて、「制止行動」が検出されたか否かを判定する（ステップＳ１０５）。なお、ステップＳ１０７における「親の行動検出」の説明は後述する。

【0050】

制御装置４０は、「制止行動」が検出されたと判定した場合は、見守り処理を終了する（ステップＳ１０５：ＹＥＳ）。また、制御装置４０は、「制止行動」が検出されていないと判定した場合は、再学習処理（図５を参照）に移行する（ステップＳ１０５：ＮＯ、ステップＳ１０６）。なお、再学習処理の説明は後述する。

【0051】

また、ステップＳ１０７からステップＳ１１１までの処理において、制御装置４０は、親の行動検出に関する処理を実行する。具体的には、制御装置４０は、取得した映像データや音声データに基づいて、親の行動検出を行う（図１（ｂ）を参照）と共に、「制止行動」が検出されたか否かを判定する（ステップＳ１０７、ステップＳ１０８）。

【0052】

制御装置４０は、「制止行動」が検出されたと判定した場合、子供の行動の組み合わせを確認する（ステップＳ１０８：ＹＥＳ、ステップＳ１０９）。ここで、「行動の組み合わせ」とは、後述する学習処理において判定される行動パターン（第一～第三行動）の組み合せである。制御装置４０は、親の制止行動（ステップＳ１０７）により制止された子供の行動（ステップＳ１０２）の組み合わせが、後述する学習処理においてすでに学習された危険行動の組み合せであるか否かを確認する。また、制御装置４０は、「制止行動」が検出されていないと判定した場合（ステップＳ１０８：ＮＯ）、ステップＳ１０７の処理へ移行する。

【0053】

制御装置４０は、上記行動の組み合せを確認した後（ステップＳ１０９）、上記組み合わせが、新しい組み合せであるか否かを判定する（ステップＳ１１０）。すなわち、制御装置４０は、ステップＳ１０９で確認した各行動の組み合わせが、学習処理においてまだ記憶されていない組み合わせであるか（すでに記憶された危険行動の組み合せでないか）否かを判定する。

【0054】

制御装置４０は、ステップＳ１０９で確認した各行動の組み合わせが、新しい組み合せであると判定した場合は、学習処理（図３及び図４を参照）に移行する（ステップＳ１１０：ＹＥＳ、ステップＳ１１１）。また、制御装置４０は、ステップＳ１０９で確認した各行動の組み合わせが、新しい組み合せでないと判定した場合は、見守り処理を終了する（ステップＳ１１０：ＮＯ）。

【0055】

以下では、図３及び図４を用いて、学習処理について説明する。学習処理は、親の制止行動により制止された子供の行動を、危険行動として学習する処理である。学習処理は、ステップＳ１０２における子供の行動検出の結果と、ステップＳ１０７における親の行動検出の結果と、に基づいて実行される。

【0056】

学習処理において、制御装置４０は、子供の行動検出の結果（映像データ）に基づいて、子供の姿勢（第一行動）、移動（第二行動）及び行為（第三行動）の３つのパターンに細分化された情報をそれぞれ判定（解析）すると共に、判定結果に基づく行動の各フラグ（臥位フラグ等）をＯＮにし、上記フラグの組み合わせに基づいて危険行動の学習を行う。ここで、「フラグをＯＮ」とは、後の処理（ステップＳ２２５）において、ある行動をとっている（例えば寝た姿勢である）と判定するための条件が満たされていることを示す。

【0057】

まず、制御装置４０は、子供の第一行動に関する処理を行う（ステップＳ２０１～ステップＳ２０４）。ここで、「第一行動」とは、子供の姿勢に関する行動である。

【0058】

ステップＳ２０１において、制御装置４０は、映像データのうち子供の姿勢に関する情報を読み出し、子供の姿勢の判定を行う（ステップＳ２０１）。本実施形態では、制御装置４０は、上記読み出した情報に基づいて、子供の姿勢が「寝ている」か、「立っている」か、「四つん這いである」か、の判定を行う。

【0059】

制御装置４０は、子供が「寝ている」と判定した場合に移行するステップＳ２０２において、「臥位フラグ」をＯＮにする。また、制御装置４０は、子供が「立っている」と判定した場合に移行するステップＳ２０３において、「立位フラグ」をＯＮにする。また、制御装置４０は、子供が「四つん這いである」と判定した場合に移行するステップＳ２０４において、「はいはいフラグ」をＯＮにする。

【0060】

制御装置４０は、上記第一行動に関する処理（ステップＳ２０１～ステップＳ２０４）を実行した後、子供の第二行動に関する処理を行う（ステップＳ２０５～ステップＳ２１３）。ここで、「第二行動」とは、子供の移動に関する行動である。本実施形態では、制御装置４０は、映像データのうち子供の移動に関する情報を読み出し（ステップＳ２０５）、第二行動に関する処理として、子供の「高さの変化」及び「速度」の判定を行う。

【0061】

まず、「高さの変化」の判定（ステップＳ２０６～ステップＳ２０９）について説明する。本実施形態では、制御装置４０は、ステップＳ２０５で読み出した情報に基づいて、子供のｙ方向（高さ方向）の位置の変化についての判定を行う（ステップＳ２０６）。具体的には、制御装置４０は、子供のｙ方向の位置が「変化なし」か、「上昇した（＋ｙ方向）」か、「下降した（－ｙ方向）」か、の判定を行う。

【0062】

制御装置４０は、子供のｙ方向の位置が「変化なし」と判定した場合に移行するステップＳ２０７において、「フラグ無し」とする（フラグをＯＮにしない）。また、制御装置４０は、子供のｙ方向の位置が「上昇した（＋ｙ方向）」と判定した場合に移行するステップＳ２０８において、「上昇フラグ」をＯＮにする。また、制御装置４０は、子供のｙ方向の位置が「下降した（－ｙ方向）」と判定した場合に移行するステップＳ２０９において、「下降フラグ」をＯＮにする。

【0063】

次に、「速度」の判定（ステップＳ２１０～ステップＳ２１３）について説明する。本実施形態では、制御装置４０は、ステップＳ２０５で読み出した情報に基づいて、子供の移動（水平方向）の速度の変化についての判定を行う（ステップＳ２１０）。具体的には、制御装置４０は、子供の移動速度が、「無し（移動無し）又は普段通りの速度」か、「普段より速い」か、「普段より遅い」か、の判定を行う。なお、子供の普段の速度は、予め設定されている。

【0064】

制御装置４０は、子供の移動速度が「無し（移動無し）又は普段通りの速度」と判定した場合に移行するステップＳ２１１において、「フラグ無し」とする（フラグをＯＮにしない）。また、制御装置４０は、子供の移動速度が「普段より速い」と判定した場合に移行するステップＳ２１２において、「高速フラグ」をＯＮにする。また、制御装置４０は、子供の移動速度が「普段より遅い」と判定した場合に移行するステップＳ２１３において、「低速フラグ」をＯＮにする。

【0065】

制御装置４０は、上記第二行動に関する処理（ステップＳ２０５～ステップＳ２１３）を実行した後、子供の第三行動に関する処理を行う（ステップＳ２１４～ステップＳ２１９）。ここで、「第三行動」とは、子供の行為に関する行動である。

【0066】

本実施形態では、制御装置４０は、映像データのうち子供の行為に関する情報を読み出し（ステップＳ２１４）、上記読み出した情報に基づいて、子供がモノを持ったか否かの判定を行う（ステップＳ２１５）。

【0067】

また、制御装置４０は、子供がモノを持っていると判定した場合（ステップＳ２１５：ＹＥＳ）、子供の行為についての判定を行う（ステップＳ２１６～ステップＳ２１９）。具体的には、制御装置４０は、子供が「モノを持っただけ」か、「モノが手から離れた」か、「モノを口に含んだ」か、の判定を行う。

【0068】

制御装置４０は、子供が「モノを持っただけ」と判定した場合に移行するステップＳ２１７において、子供がモノを所持しただけと推定し、「所持フラグ」をＯＮにする。また、制御装置４０は、「モノが手から離れた」と判定した場合に移行するステップＳ２１８において、子供がモノを投げたと推定し、「投げたフラグ」をＯＮにする。また、制御装置４０は、「モノを口に含んだ」と判定した場合に移行するステップＳ２１９において、子供がモノを食べたと推定し、「食べたフラグ」をＯＮにする。

【0069】

また、制御装置４０は、ステップＳ２１５において子供がモノを持っていないと判定した場合（ステップＳ２１５：ＮＯ）、子供の行為についての判定を行なわず、ステップＳ２２０の処理に移行する。

【0070】

制御装置４０は、上記第三行動に関する処理（ステップＳ２１４～ステップＳ２１９）を実行した後、子供の姿勢の変化に関する処理を行う（ステップＳ２２０～ステップＳ２２４）。ここで、「姿勢の変化」とは、第一行動の判定（ステップＳ２０１）を行った後における子供の姿勢の変化である。

【0071】

制御装置４０は、第一行動の判定（ステップＳ２０１）を行った後のタイミングで、映像データのうち子供の姿勢に関する情報を読み出し、第一行動の判定（ステップＳ２０１）と同様な方法で子供の姿勢の判定を行うと共に、姿勢に変化があったか否かを判定する（ステップＳ２２０）。

【0072】

また、制御装置４０は、姿勢に変化があったと判定した場合（ステップＳ２２０：ＹＥＳ）、子供の姿勢の変化についての判定を行う（ステップＳ２２１～ステップＳ２２４）。具体的には、制御装置４０は、子供の姿勢の変化が「臥位から座位又は立位」か、「座位又は立位から臥位」か、「臥位又は座位から立位」か、の判定を行う。

【0073】

制御装置４０は、子供の姿勢の変化が「臥位から座位又は立位」と判定した場合に移行するステップＳ２２２において、子供が起き上がったと推定し、「起き上がりフラグ」をＯＮにする。また、制御装置４０は、子供の姿勢の変化が「座位又は立位から臥位」と判定した場合に移行するステップＳ２２３において、子供が転倒したと推定し、「転倒フラグ」をＯＮにする。また、制御装置４０は、子供の姿勢の変化が「臥位又は座位から立位」と判定した場合に移行するステップＳ２２４において、子供が起立したと推定し、「起立フラグ」をＯＮにする。

【0074】

また、制御装置４０は、ステップＳ２２０において姿勢に変化がないと判定した場合（ステップＳ２２０：ＮＯ）、子供の姿勢の変化についての判定を行なわず、ステップＳ２２５の処理に移行する。

【0075】

制御装置４０は、上記姿勢の変化に関する処理（ステップＳ２２１～ステップＳ２２４）を実行した後、上述した各処理で判定されたフラグの組み合わせ（行動パターンの組み合せ）を、危険行動であると学習する。制御装置４０は、例えば子供がモノを口に含みながら走っている場合、「高速フラグ」及び「食べたフラグ」を含む各フラグの判定結果の組み合せを危険行動であると学習する。制御装置４０は、上記学習結果を記憶する。このような学習が繰り返されることで、危険行動のデータが蓄積される。

【0076】

制御装置４０は、ステップＳ２２５の処理を実行した後、各処理でＯＮにされたフラグを解除する（ＯＦＦにする）。制御装置４０は、ステップＳ２２５の処理を実行した後、学習処理を終了する。

【0077】

また以下では、図５を用いて、再学習処理について説明する。再学習処理は、危険行動が検出されたにも関わらず、制止行動が検出されなかった場合において（ステップＳ１０３：ＹＥＳ、ステップＳ１０５：ＮＯ）、この危険行動（以下では「本危険行動」と称する）の設定を見直す処理である。

【0078】

ステップＳ３０１において、制御装置４０は、対応記録を確認する。ここで、「対応記録」とは、ある危険行動に対してすでに再学習処理が行われていることの記録（具体的には、後述するステップＳ３０３で行われる記録）である。すなわち、ステップＳ３０１において制御装置４０は、本危険行動に対して、すでに再学習処理が行われていることの記録を確認する。制御装置４０は、ステップＳ３０１の処理を実行した後、ステップＳ３０２の処理へ移行する。

【0079】

ステップＳ３０２において、制御装置４０は、対応記録が無いか否かを判定する。制御装置４０は、対応記録が無いと判定した場合（ステップＳ３０２：ＹＥＳ）、ステップＳ３０３の処理へ移行する。また、制御装置４０は、対応記録があると判定した場合（ステップＳ３０２：ＮＯ）、ステップＳ３０４の処理へ移行する。

【0080】

ステップＳ３０３において、制御装置４０は、対応１回目を記録する。すなわち、制御装置４０は、本危険行動について、再学習処理が行われるのが１回目であることを記録する。制御装置４０は、ステップＳ３０３の処理を実行した後、再学習処理を終了する。

【0081】

また、ステップＳ３０４において、制御装置４０は、本危険行動を、学習処理による危険行動の学習結果から除外する。すなわち、本実施形態では、再学習処理が２回目となった場合に、再学習処理の対象となった危険行動（本危険行動）を除外する。制御装置４０は、ステップＳ３０４の処理を実行した後、再学習処理を終了する。

【0082】

以上、見守り処理について説明した。なお、本実施形態に係る処理は一例であり、見守り処理は上述した例に限定されるものではなく、任意の処理を追加又は変更してもよい。また、上記説明で例示した具体的な数値は一例であり、任意に変更することが可能である。

【0083】

上述の如き見守り処理を実行することで、親の制止行動の検出結果に基づいて子供の危険行動を学習し、当該学習結果に基づいて子供の危険行動を検出することができる。すなわち、子供の行動ではなく、親の制止行動を危険行動の判定のトリガー（きっかけ）として、間接的に子供の危険行動を検出することができる。これにより、環境に応じた危険行動の検出を行うことができる。具体的には、子供が同じ行動（例えば転倒等）をした場合でも、環境によっては（例えばその場所にクッションが敷いているか否か等で）、上記行動が危険であったりなかったりする。本実施形態では、実際に親が行った制止行動を用いて危険行動の学習を行うことで、実際には危険でない状況で危険行動の検出を行うようなことを抑制することができる。

【0084】

また、本実施形態では、上述のような学習処理を実行することで、親の制止行動により制止された子供の行動を、姿勢、移動（高さ及び速度）、行為の判定結果の組み合せに基づいて細かく特定し、危険行動の学習を行うことができる。これにより、危険行為を細かく判定することができる。例えば、子供の高さが同じでも、座位なら危険ではないが、立位なら危険である場合や、座位でモノを口に含むのは危険ではないが、立位では危険である場合に対応するように危険行為を設定することができる。

【0085】

また、本実施形態では、予めＩＤ等が設定された人や物品の情報を利用するものとは異なり、ＩＤ等が設定されていない第三者や、住宅設備、建具に対する危険行為を検出することができる。

【0086】

また、本実施形態においては、再学習処理を実行することで、状況の変化に応じて、不要な危険行動を自動で除外することができる。すなわち、見守りシステム１を設置してから所定期間が経過した場合において、例えば子供が成長したり、住宅内の環境が変化したことにより、以前は危険であった行動が、危険でなくなることが想定される。

【0087】

本実施形態に係る見守りシステム１によれば、再学習処理を行うことで、危険行動が検出されたにも関わらず、親による制止行動が行われない状況を所定回数（本実施形態では２回）以上検出した場合、当該行為は危険ではないと推定し、危険行動のデータを学習結果から自動で除外除することができる。これにより、不要な報知が行われることを抑制することができる。

【0088】

上記再学習処理によれば、例えば利用者（例えば親）が、危険行動が不要である旨の情報を入力し、当該情報を反映させる制御（フィードバック）を行うものや、手動で危険行動の学習結果を再登録するようなものとは異なり、自動で不要な危険行動の除外を行うことができる。

【0089】

本実施形態では、上記所定回数を複数回（２回）に設定したことで、親が危険行動を見ていなかった場合や、制止行動が間に合わなかった場合に、１回制止行動が行われなかっただけでは、危険行動のデータを除外しないようにしている。なお、上記所定回数は、２回に限定されず、種々の値を設定可能である。

【0090】

以上の如く、本実施形態に係る見守りシステム１は、
第一の利用者（子供）の行動に関する情報を取得する第一情報取得部（カメラ１０）と、
前記第一の利用者（子供）と異なる第二の利用者（親）の行動に関する情報を取得する第二情報取得部（カメラ１０、マイク２０）と、
前記第二の利用者（親）が、前記第一の利用者（子供）の行動に対するケアを行うケア行動（制止行動）をとったことを検出するケア行動検出部（制御装置４０）と、
前記ケア行動検出部（制御装置４０）により検出された前記ケア行動（制止行動）の情報と、前記ケア行動（制止行動）の対象となった前記第一の利用者（子供）の行動に関する情報と、の組み合わせを記憶すると共に、当該第一の利用者（子供）の行動に関する情報を見守り対象情報（危険行動のデータ）として学習する学習部（制御装置４０）と、
前記第一の利用者（子供）の行動の情報が、前記見守り対象情報（危険行動のデータ）と一致した場合に、当該第一の利用者（子供）の行動が見守り対象行動（危険行動）であることを検出する見守り対象行動検出部（制御装置４０）と、
を具備するものである。

【0091】

このように構成することにより、利用者の行動を好適に見守ることができる。すなわち、同じ第一の利用者（子供）の行動でも、環境によりケア行動（制止行動）の必要性の有無が異なる場合がある。本実施形態に係る見守りシステム１においては、第一の利用者（子供）の行動ではなく、第二の利用者（親）のケア行動（制止行動）を見守り対象行動（危険行動）の検出のトリガー（きっかけ）としているので、環境に応じた見守り対象行動（危険行動）の検出を行うことができる。これにより、実際にはケア行動（制止行動）が必要ない状況で、見守り対象行動（危険行動）を検出するようなことを抑制することができる。

【0092】

また、本実施形態に係る見守りシステム１は、
前記第一の利用者（子供）の行動の情報には、
前記第一の利用者の行動を細分化した複数の細分化行動情報（第一行動情報、第二行動情報及び第三行動情報）が含まれ、
前記学習部（制御装置４０）は、
前記複数の細分化行動情報（第一行動情報、第二行動情報及び第三行動情報）の組み合わせに基づいて、前記見守り対象情報（危険行動のデータ）の学習を行うものである。

【0093】

このように構成することにより、見守り対象情報（危険行動のデータ）の学習を好適に行うことができる。すなわち、第一の利用者（子供）の行動を細かく特定して、見守り対象情報（危険行動のデータ）の学習を行うことができる。

【0094】

また、前記複数の細分化行動情報には、
前記第一の利用者（子供）の姿勢に関する第一行動情報と、
前記第一の利用者（子供）の移動に関する第二行動情報と、
前記第一の利用者（子供）の行為に関する第三行動情報と、が含まれるものである。

【0095】

このように構成することにより、見守り対象情報（危険行動のデータ）の学習をより好適に行うことができる。すなわち、第一の利用者（子供）の行動を、姿勢、移動及び行為に関する情報の組み合わせに基づいて細かく特定して、見守り対象情報（危険行動のデータ）の学習を行うことができる。

【0096】

また、前記第一行動情報には、
前記第一の利用者（子供）の姿勢の変化が含まれるものである。

【0097】

このように構成することにより、第一の利用者（子供）の姿勢の変化に基づいて、見守り対象情報（危険行動のデータ）の学習を行うことができる。これにより、例えば第一の利用者（子供）の転倒等の行動を、見守り対象行動（危険行動）として学習することができる。

【0098】

また、前記第二行動情報には、
前記第一の利用者（子供）の高さの変化と、前記第一の利用者（子供）の速度と、が含まれるものである。

【0099】

このように構成することにより、第一の利用者（子供）の高さの変化及び速度に基づいて、見守り対象情報（危険行動のデータ）の学習を行うことができる。これにより、例えば第一の利用者（子供）が走っている行動等を、見守り対象行動（危険行動）として学習することができる。

【0100】

また、本実施形態に係る見守りシステム１は、
前記見守り対象行動検出部（制御装置４０）が前記見守り対象行動（危険行動）を検出した場合であって、前記見守り対象行動（危険行動）に対して前記ケア行動（制止行動）が所定回数以上とられなかった場合、
前記ケア行動（制止行動）が所定回数以上とられなかった前記見守り対象情報（危険行動のデータ）を、前記学習部（制御装置４０）の学習結果から除外する再学習部（制御装置４０）を具備するものである。

【0101】

このように構成することにより、状況の変化に応じて、不要な見守り対象情報（危険行動のデータ）を自動で除外することができる。すなわち、見守りシステム１を設置してから所定期間が経過した場合、例えば第一の利用者（子供）が成長したり、環境が変化したことにより、以前はケア行動（制止行動）が必要であった行動について、ケア行動（制止行動）が不要になることが想定される。本実施形態に係る見守りシステム１においては、見守り対象行動（危険行動）が検出されたにも関わらず、ケア行動（制止行動）が行われない状況が所定回数以上あった場合に、ケア行動（制止行動）が不要であると推定し、上記見守り対象情報（危険行動のデータ）を、学習部（制御装置４０）の学習結果から自動で除外することができる。これにより、不要な見守り対象行動（危険行動）の検出が行われることを抑制することができる。

【0102】

また、本実施形態に係る見守りシステム１は、
前記見守り対象行動検出部（制御装置４０）が前記見守り対象行動（危険行動）を検出した場合に、報知を行う報知部３０を具備するものである。

【0103】

このように構成することにより、第一の利用者（子供）が見守り対象行動（危険行動）を行ったことを報知することができる。

【0104】

なお、本実施形態に係る子供は、本発明に係る第一の利用者の実施の一形態である。
また、本実施形態に係る親は、本発明に係る第二の利用者の実施の一形態である。
また、本実施形態に係るカメラ１０は、本発明に係る第一情報取得部、第二情報取得部の実施の一形態である。
また、本実施形態に係るマイク２０は、本発明に係る第二情報取得部の実施の一形態である。
また、本実施形態に係る制御装置４０は、本発明に係るケア行動検出部、学習部、見守り対象行動検出部、再学習部の実施の一形態である。
また、本実施形態に係る制止行動は、本発明に係るケア行動の実施の一形態である。
また、本実施形態に係る危険行動は、本発明に係る見守り対象行動の実施の一形態である。

【0105】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載された発明の技術的思想の範囲内で適宜の変更が可能である。

【0106】

例えば、本実施形態では、カメラ１０、マイク２０及び報知部３０を、住宅内の天井や壁等に設置した例を示したが、このような態様に限定されない。例えば、カメラ１０、マイク２０、報知部３０及び制御装置４０の一部、又は全部を、親が所有するスマートフォン等の端末で実現するようにしてもよい。この場合は、親は、端末を操作することで、見守りシステム１の各部の操作（例えば報知部３０による報知を停止する操作）を行うことができる。

【0107】

また、本実施形態では、親の行動に「制止動作」又は「制止声量」のいずれかが含まれていれば、「制止行動」を検出する例を示したが、このような態様に限定されない。例えば、「制止動作」及び「制止声量」が含まれている場合に「制止行動」を検出するようにしてもよい。

【0108】

また、本実施形態では、再学習処理を実行することで、危険行動の検出結果のフィードバックや、危険行動の学習結果を再登録等を行わない例を示したが、このような態様に限定されない。例えば、再学習処理に代えて、又は加えて、上記フィードバックや再登録等を実行可能な構成を採用してもよい。

【0109】

また、本実施形態では、見守りシステム１を住宅に適用した例を示したが、このような例に限定されない。例えば、見守りシステム１は、幼稚園や保育園、学校等の施設に適用可能である。この場合は、見守りシステム１は、施設のスタッフの制止行動を検出する。また、この場合は、見守りシステム１を、複数の子供を識別し、識別された子供の危険行動を検出可能に形成してもよい。

【0110】

また、本実施形態では、見守り対象行動を「危険行動」とし、ケア行動を「制止行動」とした例を示したが、このような例に限定されない。例えば、ケア行動を、介助（介護）等のための行動とし、見守り対象行動を、介助等を要する行動としてもよい。

【0111】

また、本実施形態では、見守りの対象を子供としたが、このような例に限定されない。例えば、見守りシステム１を、高齢者施設や養護施設、病院等の施設に適用し、見守りの対象を高齢者等としてもよい。この場合は、見守りシステム１は、施設のスタッフのケア行動を検出する。

【符号の説明】

【0112】

１ 見守りシステム
１０ カメラ
２０ マイク
３０ 報知部
４０ 制御装置

【図1】

【図2】

【図3】

【図4】

【図5】