特開 2022-139196 監視端末及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022139196

(43)【公開日】2022-09-26

(54)【発明の名称】監視端末及び監視方法

(51)【国際特許分類】

   G08B 25/04 20060101AFI20220915BHJP

   G08B 25/00 20060101ALI20220915BHJP

   G08B 21/02 20060101ALI20220915BHJP

   H04N 7/18 20060101ALI20220915BHJP

   G06T 7/00 20170101ALI20220915BHJP

   G06T 7/70 20170101ALI20220915BHJP

【ＦＩ】

G08B25/04 K

G08B25/00 510M

G08B21/02

H04N7/18 D

G06T7/00 350B

G06T7/70 Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021039465

(22)【出願日】2021-03-11

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】竹葉 良太郎

(72)【発明者】

【氏名】宮原 拓磨

(72)【発明者】

【氏名】秋葉 陽一

【テーマコード（参考）】

5C054

5C086

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA09

5C054FC12

5C054HA19

5C086AA22

5C086CA28

5C086CB36

5C086DA14

5C086FA06

5C086FA17

5C086FA18

5C086GA06

5C087AA02

5C087AA03

5C087AA09

5C087AA10

5C087AA25

5C087AA37

5C087BB74

5C087CC22

5C087DD03

5C087DD24

5C087DD30

5C087EE18

5C087FF01

5C087FF02

5C087GG02

5C087GG06

5C087GG83

5L096BA02

5L096DA02

5L096FA67

5L096FA69

5L096KA04

(57)【要約】      （修正有）

【課題】監視対象のプライバシーを守りつつ、監視を行う監視端末及び監視方法を提供する。
【解決手段】監視対象施設９に設置される監視端末と、制御装置と、ユーザー端末とが、ネットワークを介して通信可能に接続される監視システムにおいて、監視端末１０は、監視対象を撮像した画像から監視対象の位置する領域を示す対象領域情報を推定する対象領域推定部１６１と、監視対象について異常が生じているか否か判定する異常判定部１６３と、異常判定部１６３によって異常が生じていると判定された場合に、領域情報を示す画像である対象領域画像を含み且つ監視対象そのものの画像を含まない通知画像を生成し、通知画像を他の装置に送信する通知部１６５と、を備える制御部を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

監視対象を撮像した画像から前記監視対象の位置する領域を示す対象領域情報を推定する対象領域推定部と、
前記監視対象について異常が生じているか否か判定する異常判定部と、
前記異常判定部によって異常が生じていると判定された場合に、前記対象領域情報を示す画像である対象領域画像を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知部と、
を備える監視端末。

【請求項2】

前記監視対象が活動する施設である監視対象施設に設置される、請求項１に記載の監視端末。

【請求項3】

前記監視対象の姿勢を推定する姿勢推定部をさらに備え、
前記対象領域推定部は、前記監視対象が撮影された教師画像と前記監視対象が撮影されていない教師画像とを含む第１学習データセットを用いた機械学習によって得られた学習済みモデルを用いて前記領域を推定し、
前記姿勢推定部は、前記監視対象が撮影されていない教師画像の全体に占める割合が相対的に前記第１学習データセットよりも少ない第２学習データセットを用いた機械学習によって得られた学習済みモデルを用いて姿勢を推定する、請求項１又は２に記載の監視端末。

【請求項4】

前記監視対象に対して安全な状態であるか否かの返答を促す内容の音声を音声出力部から出力し、その後に音声入力部から入力される音声に基づいて確認結果の情報を生成する安否確認部をさらに備え、
前記通知部は、前記確認結果も他の装置に送信する、請求項１から３のいずれか一項に記載の監視端末。

【請求項5】

監視対象を撮像した画像から前記監視対象の位置する領域を示す対象領域情報を推定する対象領域推定ステップと、
前記監視対象について異常が生じているか否か判定する異常判定ステップと、
前記異常判定ステップにおいて異常が生じていると判定された場合に、前記対象領域情報を示す画像である対象領域画像を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知ステップと、
を有する監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視するための技術に関する。

【背景技術】

【0002】

高齢化社会といわれる日本の人口は、現在約３割が６５歳以上となっている。高齢者の増加に伴い、単身世帯の高齢者（いわゆる独居老人）も増加傾向にあり、２０１５年時点で６００万人を超えている。このような独居老人は、一人暮らしであるため、病気や事故等のトラブルが起きた際に適切な対応を取ることが難しいことが多く、怪我や病気を重篤化させてしまうおそれもある。このような問題は一人暮らしの老人に限った問題ではなく、高齢者施設等のように一人の空間で居住することを前提とした施設においても生じうる問題であるし、親族などの同居者がいる場合であっても一日の一部の時間帯で一人になることがある老人にとっても生じうる問題である。

【0003】

怪我や病気の重症化は、要介護老人を増加させることにつながる。そのため、国の社会保障費の増加や働き盛り世代の介護離職増加につながるなど、社会に与える損失が大きい。このように、社会の課題の一つとして、高齢者を中心とした社会的弱者の見守りは今後ますます重要となっている。このような問題に対し、老人の居住空間に対してカメラを設置することにより見守りを行う技術が提案されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－２０６０１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、撮像された映像などを介して、老人の行動や表情などの状況が常に監視されていると、怪我や病気の観点からは問題を解決できるかもしれないが、プライバシーの問題が生じてしまう。このような問題が解決されておらず、十分な整備は進んでいない。結果として、病気やケガの発見が遅れ、重症化や孤独死に繋がってしまうケースもある。このような問題は、老人に限った問題ではなく、監視される者（以下「監視対象」という。）にとって共通の問題である。

【0006】

上記事情に鑑み、本発明は、監視対象のプライバシーを守りつつ、監視を行うことを可能とする技術の提供を目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、監視対象を撮像した画像から前記監視対象の位置する領域を示す対象領域情報を推定する対象領域推定部と、前記監視対象について異常が生じているか否か判定する異常判定部と、前記異常判定部によって異常が生じていると判定された場合に、前記対象領域情報を示す画像である対象領域画像を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知部と、を備える監視端末である。

【0008】

本発明の一態様は、上記の監視端末であって、前記監視対象が活動する施設である監視対象施設に設置される。

【0009】

本発明の一態様は、上記の監視端末であって、前記監視対象の姿勢を推定する姿勢推定部をさらに備え、前記対象領域推定部は、前記監視対象が撮影された教師画像と前記監視対象が撮影されていない教師画像とを含む第１学習データセットを用いた機械学習によって得られた学習済みモデルを用いて前記領域を推定し、前記姿勢推定部は、前記監視対象が撮影されていない教師画像の全体に占める割合が相対的に前記第１学習データセットよりも少ない第２学習データセットを用いた機械学習によって得られた学習済みモデルを用いて姿勢を推定する。

【0010】

本発明の一態様は、上記の監視端末であって、前記監視対象に対して安全な状態であるか否かの返答を促す内容の音声を音声出力部から出力し、その後に音声入力部から入力される音声に基づいて確認結果の情報を生成する安否確認部をさらに備え、前記通知部は、前記確認結果も他の装置に送信する。

【0011】

本発明の一態様は、監視対象を撮像した画像から前記監視対象の位置する領域を示す対象領域情報を推定する対象領域推定ステップと、前記監視対象について異常が生じているか否か判定する異常判定ステップと、前記異常判定ステップにおいて異常が生じていると判定された場合に、前記対象領域情報を示す画像である対象領域画像を含み且つ前記監視対象そのものの画像を含まない通知画像を生成し、前記通知画像を他の装置に送信する通知ステップと、を有する監視方法である。

【発明の効果】

【0012】

本発明により、監視対象のプライバシーを守りつつ、監視を行うことを可能とする技術の提供を目的としている。

【図面の簡単な説明】

【0013】

【図1】本発明の監視システム１００のシステム構成を示す概略ブロック図である。

【図2】監視端末１０の機能構成の具体例を示す概略ブロック図である。

【図3】背景画像の具体例を示す図である。

【図4】撮像部１２によって撮影された画像の具体例を示す図である。

【図5】対象領域推定部１６１の処理の具体例を示す図である。

【図6】通知画像の第一の具体例を示す図である。

【図7】通知画像の第二の具体例を示す図である。

【図8】制御装置２０の機能構成の具体例を示す概略ブロック図である。

【図9】監視システム１００の動作の流れの具体例を示すシーケンスチャートである。

【図10】監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。

【図11】監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の監視システム１００のシステム構成を示す概略ブロック図である。監視システム１００は、監視対象施設９０にて活動する監視対象を監視するためのシステムである。監視対象施設９０は、例えば監視対象が住む住居であってもよいし、複数の監視対象が住む集合住宅や施設（例えば老人ホームなど）であってもよいし、１又は複数の監視対象が行動する施設（例えば保育園、幼稚園、学校）であってもよいし、１又は複数の監視対象が生活する施設（例えば刑務所など）であってもよい。監視システム１００は、監視端末１０、制御装置２０及びユーザー端末３０を含む。監視端末１０、制御装置２０及びユーザー端末３０は、ネットワーク４０を介して通信可能に接続される。ネットワーク４０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク４０は、複数のネットワークが組み合わされて構成されてもよい。

【0015】

監視端末１０は、監視対象施設９０に設置される。監視端末１０は、監視対象施設９０内の監視対象の映像を撮像し、監視対象の画像を対象領域画像に変換する。対象領域画像は、監視対象の全体又は一部が位置している領域（以下「対象領域」という。）を示す画像である。監視端末１０は、監視対象の画像を含まずに、対象領域画像を含む通知画像を生成する。監視端末１０によって生成された通知画像は、制御装置２０やユーザー端末３０に送信される。通知画像には監視対象の画像が含まれないため、監視対象のプライバシーを守ることができる。また、通知画像には対象領域画像が含まれる。そのため、通知画像に基づいて監視対象の状態を監視することができる。ユーザー端末３０は、監視対象に異常が生じた際に異常に対応する予定の者によって操作される。例えば、ユーザー端末３０は、監視対象の親族や知人によって使用されてもよいし、監視対象を監視（見守り）する業務を行う者によって使用されてもよいし、他の者によって使用されてもよい。このような仕組みにより、監視システム１００では監視対象のプライバシーを守りつつ監視を行うことが可能となる。以下、監視システム１００の詳細について説明する。

【0016】

図２は、監視端末１０の機能構成の具体例を示す概略ブロック図である。監視端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。監視端末１０は、通信部１１、撮像部１２、音声入力部１３、音声出力部１４、表示部１５、制御部１６及び記憶部１７を備える。

【0017】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１６の制御に応じて、ネットワーク４０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0018】

撮像部１２は、カメラを用いて構成される。撮像部１２は、カメラそのものとして構成されてもよいし、外部機器としてカメラを監視端末１０に接続するためのインターフェースとして構成されてもよい。カメラは、監視対象施設９０内の所定の空間を撮像する。カメラによる撮像は、可視光を受光することで画像形成する処理として実現されてもよいし、レーダーを用いて画像形成する処理として実現されてもよいし、他の実装方法で実現されてもよい。カメラによって撮像される所定の空間は、監視対象が位置する可能性のある空間であることが望ましい。例えば、監視対象が老人である場合には、その老人が普段生活している空間（例えばリビング、居間、廊下、寝室など）であってもよい。例えば、監視対象が乳児や幼児である場合には、その乳児や幼児が活動する範囲内の空間（例えばリビング、居間、ベビーベッド上など）であってもよい。カメラは１台設けられてもよいし、複数台設けられてもよい。例えば、監視対象が動物である場合には、その動物が活動する範囲内の空間（例えばケージ、リビング、小屋、トイレなど）であってもよい。撮像部１２は、カメラによって撮像された画像のデータを制御部１６に出力する。

【0019】

音声入力部１３は、マイクを用いて構成される。音声入力部１３は、マイクそのものとして構成されてもよいし、外部機器としてマイクを監視端末１０に接続するためのインターフェースとして構成されてもよい。マイクは、監視対象施設９０内の所定の空間の音声を取得する。マイクによって音声取得される所定の空間は、監視対象が位置する可能性のある空間であることが望ましい。例えば、上述したカメラが撮像対象としている空間であることが望ましい。音声入力部１３は、マイクによって取得された音声のデータを制御部１６に出力する。

【0020】

音声出力部１４は、スピーカーを用いて構成される。音声出力部１４は、スピーカーそのものとして構成されてもよいし、外部機器としてスピーカーを監視端末１０に接続するためのインターフェースとして構成されてもよい。スピーカーは、監視対象施設９０内の所定の空間に音声を出力する。スピーカーによって音声出力される所定の空間は、監視対象が位置する可能性のある空間であることが望ましい。例えば、上述したカメラが撮像対象としている空間であることが望ましい。音声出力部１４は、制御部１６によって出力される音声信号に応じた音声を出力する。

【0021】

表示部１５は、制御部１６の制御に応じて監視対象に対して画像を表示する。表示部１５は、例えば監視対象に対して反応を促すための画像を表示してもよい。例えば、「大丈夫ですか？」といった文字列や、「大丈夫である場合には以下のボタンを押して下さい」という文字列と「大丈夫」等の問題が生じていないことを示す文字や画像を含むボタン等の操作対象と、を表示してもよい。

【0022】

制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１６は、プロセッサーがプログラムを実行することによって、対象領域推定部１６１、姿勢推定部１６２、異常判定部１６３、通知画像生成部１６４、通知部１６５、安否確認部１６６、データ取得部１６７及び情報管理部１６８として機能する。なお、制御部１６の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0023】

対象領域推定部１６１は、撮像部１２から得られた画像において監視対象の全体又は一部が位置している領域（対象領域）を示す情報（以下「対象領域情報」という。）を推定する。対象領域は、例えば監視対象の全体又は一部が位置している領域を含む矩形であってもよい。この場合、対象領域情報は、矩形の四隅の座標を示す情報であってもよい。対象領域は、矩形に限らず他の幾何学形状（例えば円形、楕円形、三角形、四角形、五角形など）であってもよい。対象領域は、監視対象の形状に沿った複数の直線や曲線で示される形状であってもよい。

【0024】

対象領域推定部１６１は、例えば予め教師画像（第１学習データセット）を用いて機械学習処理を行うことによって得られた学習済みモデルを用いることで対象領域を推定する処理（以下「対象領域推定」という。）を行ってもよい。この場合、教師画像の正解の画像として、監視対象と同種の生物の全体が撮影された画像や同種の生物の一部（例えば頭部のみ、頭部を含む上半身のみ、頭部を含まない上半身、左右どちらかの腕のみ、下半身のみ、脚及び足のみ）が撮影された画像が用いられてもよい。この場合、教師画像の正解の画像に対し、正解であることを示すラベルと、監視対象と同種の生物の全体又は一部が位置する領域を示す情報（対象領域情報）と、が与えられていることが望ましい。ただし、対象領域情報として、教師画像の外枠そのものが用いられてもよい。この場合には、教師画像に対して必ずしも対象領域情報が対応付けられていなくてもよい。

【0025】

また、正解の各画像として、監視対象と同種の生物の全体及び一部のそれぞれについて、表面の画像、側面の画像、背面の画像が用いられてもよい。監視対象の属性（例えば年代、性別、人種など）が定まっている場合には、監視対象と属性が一致している生物の画像が正解の画像として用いられてもよい。このような正解の画像が用いられることで、対象領域推定の精度を向上させることができる。

【0026】

さらに、教師画像の不正解の画像として、監視対象と同種の生物の全体及び一部のいずれもが含まれていない画像が用いられてもよい。例えば、教師画像の不正解の画像として、生物の像が含まれていない画像が用いられてもよいし、監視対象とは異なる種類の生物の全体が撮影された画像や異なる種類の生物の一部が撮影された画像が用いられてもよい。この場合、教師画像の不正解の画像に対し、不正解であることを示すラベルが与えられてもよい。正解の画像の教師画像と、不正解の画像の教師画像と、を含む第１学習データセットが、対象領域推定部１６１で用いられる学習済みモデルの生成に用いられてもよい。なお、対象領域推定部１６１の実装に用いられる技術は、上述した教師有り学習に限定される必要は無く、どのようなものであってもよい。

【0027】

姿勢推定部１６２は、撮像部１２から得られた画像において監視対象の姿勢情報を推定する。姿勢情報は、監視対象の姿勢を示す情報である。姿勢情報は、例えば予め定められた複数の姿勢候補の中から選択される情報であってもよい。このような姿勢候補には、正常な姿勢を示す情報と、異常な姿勢を示す情報とが含まれてもよい。姿勢候補の具体例として、起立状態、着席状態、床座り状態、寝た状態、転んだ状態、うずくまった状態、倒れた状態、などがある。姿勢候補の具体例として、倒れている状態（FALL）と、倒れていない状態（NOT FALL）と、の２つの状態が定義されてもよい。

【0028】

姿勢情報は、例えば監視対象について得られた監視対象領域に基づいて推定されてもよい。姿勢推定部１６２は、例えば予め教師画像（第２学習データセット）を用いて機械学習処理を行うことによって得られた学習済みモデルを用いることで姿勢情報を推定する処理（以下「姿勢推定」という。）を行ってもよい。この場合、機械学習に用いられる教師画像のデータセット（第２学習データセット）に含まれる教師画像のうち、監視対象と同種の生物の全体及び一部のいずれもが含まれていない画像が占める割合は、第１学習データセットに比べて低くてもよい。この割合は、ゼロであってもよい。すなわち、教師画像のデータとして、監視対象が撮影されていない画像は用いられないように構成されてもよい。対象領域推定部１６１の処理において推定された対象領域には、監視対象が含まれていることが明らかになっているため、その後の処理として姿勢推定が実行される場合には、監視対象と異なる種類の生物の画像が用いられる必要が無い。むしろ、監視対象と同種の生物の画像のみが用いられることによって、姿勢推定の精度を向上させることが可能である。

【0029】

教師画像のデータとして、各画像にはその画像に撮影されている生物の状態を示す情報がラベルとして与えられてもよい。この場合、各ラベルの内容は、予め定義されている状態候補の中から選択されることが望ましい。なお、姿勢推定部１６２の実装に用いられる技術は、上述したような教師有り学習を用いた処理に限定される必要は無く、どのようなものであってもよい。

【0030】

異常判定部１６３は、監視対象に異常が生じているか否か判定する。異常判定部１６３は、例えば対象領域推定部１６１の推定結果である対象領域情報に基づいて異常を判定してもよい。異常判定部１６３は、例えば姿勢推定部１６２の推定結果である姿勢情報に基づいて異常を判定してもよい。より具体的には、異常が生じている可能性が高い姿勢情報（例えば“FALL”）と、異常が生じていない可能性が高い姿勢情報（例えば“NOT FALL”）とが予め定義されており、推定された姿勢情報に基づいて異常が生じているか否かが判定されてもよい。異常判定部１６３は、例えば対象領域推定部１６１の推定結果である対象領域情報と、姿勢推定部１６２の推定結果である姿勢情報と、に基づいて異常を判定してもよい。異常判定部１６３は、例えば、記憶部１７に予め記憶されている異常判定条件に基づいて異常を判定してもよい。すなわち、異常判定部１６３は、異常判定に用いられる情報（例えば、対象領域情報や姿勢情報や他の情報）が、異常判定条件を満たす場合に異常が生じていると判定してもよい。

【0031】

異常判定条件として、例えば監視対象の身に怪我や発作などが生じている可能性が高いことを示す対象領域情報や姿勢情報が予め登録されていてもよい。異常判定条件として、所定の深夜を示す時間帯（例えば０時～４時）であっても所定の時間にわたって照明がついていることを示す条件が定義されてもよい。照明がついているか否かは、例えば撮像部１２によって撮影された画像の明度に基づいて得られてもよいし、監視端末１０に接続されている不図示の明度センサーの出力に基づいて得られてもよいし、監視対象施設９０内の電気機器の状態や消費電力を示す情報をＨＥＭＳ等のシステムから取得して判定されてもよい。異常判定条件として、撮像部１２によって撮像された映像において、所定の時間以上にわたって監視対象を検出できないことが定義されてもよい。例えば対象領域推定部１６１によって対象領域情報が推定されたことにしたがって監視対象が検出されたと判定されてもよいし、姿勢推定部１６２によって姿勢を判定できた場合に監視対象が検出されたと判定されてもよいし、他の人体検知アルゴリズム（例えば人の顔の検出、人の全体像のシルエットの検出、人体検知センサーの使用など）を用いて監視対象の検出が行われてもよい。異常判定条件として、普段の撮影画像に基づいて教師無し学習によって得られる学習済みモデルを用いて普段と有意差をもった現象が検出されたことが定義されてもよい。

【0032】

通知画像生成部１６４は、撮像部１２によって予め撮影された画像（以下「背景画像」という。）に対して、対象領域推定部１６１によって推定された対象領域情報を示す画像（対象領域画像）を重畳することによって、通知画像を生成する。図３は、背景画像の具体例を示す図である。背景画像は、撮像部１２に用いられるカメラの撮像範囲を予め撮像することによって得られる画像である。背景画像には、監視対象そのものの画像や、監視対象を示す画像が含まれていない。背景画像は、例えば所定のタイミングで更新されてもよい。例えば、毎日所定の時刻（一般的に監視対象が活動しない可能性が高い時刻）に撮影された画像が背景画像として用いられてもよい。例えば、所定の時間（例えば２４時間）が経過する度に、監視対象領域が推定されていない状態の画像が背景画像として記録されてもよい。対象領域画像は、対象領域を示す枠を示す画像であってもよいし、監視対象の輪郭を示す画像であってもよいし、監視対象の形状を模したイラスト等の画像であってもよい。

【0033】

図４は、撮像部１２によって撮影された画像の具体例を示す図である。図５は、対象領域推定部１６１によって推定された対象領域の具体例を示す図である。図４の画像では、ドアの前に監視対象の人物が横に倒れている。対象領域推定部１６１によって、ドアの前に倒れている監視対象の人物を囲む矩形５１が、対象領域として推定されている。

【0034】

図６は、通知画像の第一の具体例を示す図である。図６の通知画像では、図５の画像において推定された対象領域を示す枠の画像（矩形５１）が、図３の背景画像に重畳されている。

【0035】

図７は、通知画像の第二の具体例を示す図である。図７の通知画像では、図５の画像において推定された対象領域そのものではなく、推定された対象領域に応じたイラストの画像５２が、図３の背景画像に重畳されている。このようなイラストの画像は、予め複数種類用意されて記憶部１７に記録されていてもよい。例えば、推定された対象領域の形状や、推定された姿勢情報等に基づいて、それらに予め対応付けて記憶されているイラストの画像が選択されてもよい。例えば、対象領域推定部１６１又は姿勢推定部１６２が監視対象の向きを推定できる場合には、その推定結果にもさらに基づいてイラストの画像が選択されてもよい。

【0036】

図６及び図７の通知画像の例から明らかなように、通知画像では、監視対象の位置がわかり、おおよその状態もわかる。この場合は、横に倒れている状態であることがわかる。その一方で、監視対象そのもののテクスチャーや細かい動作が不明であるためプライバシーが守られている。例えば、監視対象が裸であったり、監視対象が鼻水やよだれを垂らしていたとしても、そのような情報は通知画像には含まれない。また、通知画像には予め撮像された背景画像が用いられるため、監視対象が誤って失禁している場合や、吐瀉していたとしても、汚物を示す情報は通知画像に含まれない。このように、監視対象にとって記録には残されたくないような情報は、通知画像には含まれない。

【0037】

通知部１６５は、通知条件が満たされると、通知画像を含む通知情報を、通信部１１を介して他の装置に送信する。通知条件は、例えば異常判定部１６３において異常と判定されることであってもよい。通知条件は、例えば異常判定部１６３において異常と判定され且つ後述する安否確認部１６６において安全が確認されなかったことであってもよい。通知条件は、他の条件として定義されてもよい。通知部１６５は、安否確認部１６６による確認結果を取得した場合には、確認結果に関する情報を含む通知情報を生成する。確認結果に関する情報とは、例えば確認結果の内容を示す文字列や画像や識別情報であってもよい。確認結果の内容を示す文字列とは、例えば“安否確認の結果、大丈夫という受け答えがありました。”という文字列や、“安否確認の結果、助けて欲しいという受け答えがありました。”という文字列や、“安否確認の結果、応答がありません。”という文字列などがある。

【0038】

安否確認部１６６は、安否確認条件が満たされると、音声出力部１４から所定の音声を出力することによって、監視対象に対して安否を確認する。安否確認条件は、例えば異常判定部１６３において異常と判定されることであってもよい。安否確認部１６６によって出力される所定の音声は、監視対象に対して安全な状態であるか否かの返答を促す内容の音声であってもよい。例えば、「大丈夫ですか？」といった音声や、「助けが必要ですか？」といった音声であってもよい。安否確認部１６６は、音声を出力した後に、確認結果を通知部１６５に出力する。

【0039】

安否確認部１６６は、例えば以下のような処理によって確認結果を生成してもよい。安否確認部１６６は、音声を出力した後に監視対象から発せられた音声のデータを、音声入力部１３から取得する。安否確認部１６６は、所定の時間内に監視対象から発生られた音声のデータを取得できない場合には、回答が得られないことを確認結果として通知部１６５に出力してもよい。安否確認部１６６は、取得された音声について音声認識を行い、危険を知らせる所定の内容である場合には、危険であることを示す確認結果を通知部１６５に出力してもよい。安否確認部１６６は、取得された音声について音声認識を行い、安全を知らせる所定の内容である場合には、安全であることを示す確認結果を通知部１６５に出力してもよい。安否確認部１６６は、取得された音声について音声認識を行い、その音声認識の結果である文字列を確認結果として通知部１６５に出力してもよい。これらの場合、通知部１６５は、安否確認部１６６によって出力された確認結果を含む通知情報を生成してもよい。

【0040】

データ取得部１６７は、監視対象や監視対象施設９０内の状況などについて種々のデータを取得する。データ取得部１６７は、例えば撮像部１２によって撮像された画像から物体を検出することによって、カメラの撮影範囲となっている空間に設置された家具などの形状や設置位置を示す情報を取得してもよい。データ取得部１６７は、例えば撮像部１２によって撮像された時系列の映像に基づいて、監視対象の移動の経路（動線）を示す情報を取得してもよい。データ取得部１６７は、取得されたデータを、定期的に通信部１１を介して制御装置２０へ送信する。

【0041】

記憶部１７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１７は、制御部１６によって使用されるデータを記憶する。記憶部１７は、例えば監視端末１０に対して割り当てられた端末ＩＤや、監視端末１０が対象としている監視対象の属性情報（氏名、住所、性別、年齢、識別情報等の情報）を記憶してもよい。

【0042】

図８は、制御装置２０の機能構成の具体例を示す概略ブロック図である。制御装置２０は、例えばパーソナルコンピューター、サーバー装置などの情報機器を用いて構成される。制御装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0043】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク４０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0044】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。例えば、記憶部２２は、送信先情報テーブルを記憶してもよい。送信先情報テーブルは、監視端末１０に割り当てられている識別情報（以下「監視識別情報」という。）と、その監視端末１０から送信された通知情報に基づいて生成されるユーザー通知情報の送信先の情報（以下「通知先情報」という。）と、を対応付けたテーブルである。

【0045】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、通知制御部２３１及びデータ制御部２３２として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0046】

通知制御部２３１は、監視端末１０から通知情報を受信すると、受信された通知情報に基づいてユーザー通知情報を生成する。ユーザー通知情報は、例えば、監視対象に異常が生じていることを示す文字列（例えば、“異常が生じています。ご確認下さい。”）と、通知画像が記憶されている記憶領域を示す通知アドレス情報と、を含む。ユーザー通知情報に含まれる文字列は、例えば監視端末１０やユーザー端末３０にかかわらずに予め定められた固定の文字列であってもよい。ユーザー通知情報に含まれる文字列は、監視端末１０やユーザー端末３０に対応付けて定義された文字列であってもよい。これらの文字列は、記憶部２２に記憶されていてもよい。

【0047】

通知アドレス情報は、通知制御部２３１によって生成されてもよいし、通知画像を公開する他のサーバーによって生成されてもよい。例えば、通知制御部２３１は、他の情報機器からアクセス可能な記憶領域に通知画像をアップロードしてもよい。この場合、アップロード先の記憶領域を示すアドレス情報（例えばＵＲＬ）が、通知アドレス情報として用いられてもよい。

【0048】

通知制御部２３１は、受信された通知情報に含まれる識別情報に基づいて通知先を判定する。通知制御部２３１は、例えば記憶部２２に記憶されている送信先情報テーブルに基づいて、通知情報の送信元である監視識別情報に対応付けられている通知先情報を、通知先として判定してもよい。通知制御部２３１は、判定された通知先に対して、ユーザー通知情報を送信する。

【0049】

データ制御部２３２は、監視端末１０から送信されるデータを、送信元である監視端末１０の監視識別情報に対応付けて記憶部２２に登録する。上述したように、監視端末１０から送信されるデータには、監視対象そのものの画像が含まれない。そのため、データ制御部２３２によって登録されるデータには、プライバシーを侵害するような情報は含まれにくい。データ制御部２３２は、監視端末１０から送信されるデータを、送信元である監視端末１０の識別情報（例えば端末ＩＤ）と対応付けて記憶部２２に登録してもよい。

【0050】

図９は、監視システム１００の動作の流れの具体例を示すシーケンスチャートである。監視端末１０の撮像部１２が撮像すると、制御部１６は撮像部１２によって撮像された画像データを取得する（ステップＳ１０１）。対象領域推定部１６１は、撮像された画像において監視対象の対象領域を推定する（ステップＳ１０２）。姿勢推定部１６２は、撮像された画像において監視対象の姿勢を推定する（ステップＳ１０３）。異常判定部１６３は、異常判定を行う（ステップＳ１０４）。異常と判定されなかった場合、すなわち正常であると判定された場合（ステップＳ１０５－ＮＯ）、制御部１６の処理はステップＳ１０１の処理に戻る。一方、異常と判定された場合、すなわち正常と判定されなかった場合（ステップＳ１０５－ＹＥＳ）、通知部１６５は通知画像を生成する（ステップＳ１０６）。通知部１６５は、通知画像を含む通知情報を生成し、制御装置２０に通知情報を送信する（ステップＳ１０７）。

【0051】

制御装置２０の通知制御部２３１は、通知情報を受信すると、通知情報に応じたユーザー通知情報を生成する。また、通知制御部２３１は、受信された通知情報に応じてユーザー通知情報の送信先を判定する。そして、通知制御部２３１は、ユーザー端末３０に対してユーザー通知情報を送信する（ステップＳ１０８）。また、通知制御部２３１は、通知情報を記憶部２２に記録する（ステップＳ１０９）。

【0052】

ユーザー端末３０は、ユーザー通知情報を受信すると、ユーザー通知情報が受信されたことを示す出力を行う。例えば、ユーザー端末３０の画面の所定の領域に、ユーザー通知情報が受信されたことを示す画像や文字を表示してもよいし、ユーザー端末３０に予め設定されている通知方法に応じて音声出力やバイブレーターの駆動を行ってもよい。ユーザーがユーザー端末３０を操作することでユーザー通知情報の出力を指示すると、ユーザー端末３０はユーザー通知情報の内容を出力する。例えば、ユーザー端末３０は、監視対象に異常が生じていることを示す文字列と、通知アドレス情報を示す文字列とを画面に表示してもよい（ステップＳ１１０）。ユーザーがユーザー端末３０を操作して通知画像の表示を指示すると、ユーザー端末３０は通知アドレス情報にアクセスして通知画像の送信を要求する（ステップＳ１１１）。

【0053】

制御装置２０は、通知アドレス情報宛に通知画像の送信の要求を受けると、要求に応じた通知画像をユーザー端末３０に送信する（ステップＳ１１２）。ユーザー端末３０は、通知画像を受信すると、受信された通知画像を画面に表示する（ステップＳ１１３）。

【0054】

図１０は、監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。図１０に示されるシーケンスチャートでは、監視端末１０によって安否確認が行われる。以下、図９に示されるシーケンスチャートとの相違点についてのみ説明する。なお、図９と図１０とでは、同じ処理には同じ符号が付されている。

【0055】

監視端末１０の安否確認部１６６は、通知部１６５によって通知が行われると、音声出力部１４を介して安否確認音声を出力する（ステップＳ２０１）。安否確認部１６６は、その後に発せられた音声の入力を受け付ける（ステップＳ２０２）。安否確認部１６６は、入力された音声に基づいて確認通知情報を生成する。例えば、所定の音圧以上の音声が入力された場合には、監視対象が反応したということであるため、安否の確認がとれたことを示す確認情報を生成してもよい。例えば、所定の音圧以上の音声が入力されなかった場合には、監視対象が反応していないということであるため、安否の確認がとれなかったことを示す確認情報を生成してもよい。安否確認部１６６は、生成された確認情報を制御装置２０に送信する（ステップＳ２０３）。制御装置２０の通知制御部２３１は、受信された確認情報をユーザー端末３０に送信する（ステップＳ２０４）。ユーザー端末３０は、確認情報を受信すると、受信された確認情報を出力する（ステップＳ２０５）。確認情報の出力は、音声の出力によって行われてもよいし、画面への文字や画像の表示によって行われてもよいし、他の態様で行われてもよい。なお、ステップＳ１０１～ステップＳ１１３までの処理は、図９と同様である。

【0056】

図１１は、監視システム１００の動作の流れの他の具体例を示すシーケンスチャートである。図１１に示されるシーケンスチャートでは、監視端末１０によって生成されたデータが制御装置２０において蓄積される。以下、図９に示されるシーケンスチャートとの相違点についてのみ説明する。なお、図９と図１１とでは、同じ処理には同じ符号が付されている。

【0057】

監視端末１０のデータ取得部１６７は、撮像部１２によって撮像された画像の時系列データに基づいて、監視対象の移動の経路を示す動線を検出し、記憶部１７に記録する（ステップＳ３０１）。データ取得部１６７は、ステップＳ１０４において異常と判定されない場合には、所定の閾値よりも過去において検出された動線の情報を破棄する。一方、ステップＳ１０４において異常と判定された場合には、データ取得部１６７は、記憶部１７に記録されている所定期間の動線の情報を含む蓄積データを生成する（ステップＳ３０２）。所定の期間とは、例えば異常が検出されたタイミングから遡って所定の秒数（例えば５秒や１０秒など）の期間である。データ取得部１６７は、生成された蓄積データを制御装置２０へ送信する（ステップＳ３０３）。制御装置２０のデータ制御部２３２は、蓄積データを受信すると、受信された蓄積データを記憶部２２に記録する（ステップＳ３０４）。

【0058】

このように構成された監視システム１００では、監視対象に関して外部に通知が行われる際に使用される通知画像には、監視対象そのものの画像が含まれず、対象領域を示す画像が含まれる。このように、通知画像には監視対象そのものの画像が含まれないため、監視対象のプライバシーを守ることができる。また、通知画像には監視対象の位置を示す画像が含まれるため、通知画像に基づいて監視対象の状態を監視することができる。このような仕組みにより、監視システム１００では監視対象のプライバシーを守りつつ監視を行うことが可能となる。

【0059】

また、監視対象の位置する領域（対象領域）の推定の処理では、監視対象と同種の生物の一部のみが撮影された画像も教師画像の正解の画像として使用される。そのため、撮影された画像において、家具などの陰に監視対象の一部が隠れてしまっていたとしても、撮影されている残りの一部分のみに基づいてより精度良く監視対象の位置を推定することが可能となる。同様の理由により、監視対象の状態の推定や異常であるか否かの判定をより精度良く実現することが可能となる。

【0060】

また、監視システム１００では、家具の配置や監視対象の動線を示す情報などが蓄積データとして制御装置２０に蓄積される。これらのデータにも、監視対象そのものの画像は含まれない。そのため、これらのデータを解析などに用いる際にも、監視対象のプライバシーを守ることが可能となる。また、図１１のシーケンスチャートにも示されるように、動線の情報は、異常が生じたタイミングから遡って所定の期間のデータが蓄積される。そのため、どのような動線で動いた際に異常が生じやすいか、どのような家具の配置により異常が生じやすい動線になってしまったのか、等の観点の分析に対し有用なデータを効率よく取得することが可能となる。

【0061】

（変形例）
対象領域推定部１６１と姿勢推定部１６２とは、一つの機能として実装されてもよい。すなわち、対象領域推定と姿勢推定とが同時に行われてもよい。このような処理は、例えば対象領域推定に用いられる学習済みモデルを生成する際に、姿勢情報を示すラベルが予め付与された教師画像のデータを用いることによって実現されてもよい。

【0062】

姿勢推定部１６２と異常判定部１６３は、一つの機能として実装されてもよい。すなわち、姿勢推定と異常判定とが同時に行われてもよい。このような処理は、例えば姿勢推定に用いられる学習済みモデルを生成する際に、異常か否かを示すラベルが予め付与された教師画像のデータを用いることによって実現されてもよい。

【0063】

制御部１６が姿勢推定部１６２として処理を行わないように構成されてもよい。この場合、異常判定部１６３は、姿勢推定部１６２で用いられる学習済みモデルとして上述したものを学習する際に、姿勢情報ではなく異常か否かを示すラベルを教師画像のデータに与えることによって実装されてもよい。この場合、姿勢情報を推定することなく、単に異常か否かを判定することができる。詳細は以下の通りである。

【0064】

異常判定部１６３は、例えば予め教師画像を用いて機械学習処理を行うことによって得られた学習済みモデルを用いることで異常判定を行ってもよい。この場合、教師画像のデータとして、監視対象と同種の生物の画像のみが用いられてもよい。すなわち、対象領域推定部１６１の処理において推定された対象領域には、監視対象が含まれていることが明らかになっているため、その後の処理として異常判定が実行される場合には、監視対象と異なる種類の生物の画像が用いられる必要が無い。むしろ、監視対象と同種の生物の画像のみが用いられることによって、異常判定の精度を向上させることが可能である。教師画像のデータとして、各画像にはその画像に撮影されている生物の状態が異常か否かを示す情報がラベルとして与えられる。

【0065】

ユーザー通知情報は、通知アドレス情報に代えて、通知画像のデータを含んでもよい。この場合、ユーザー端末３０は、よりスムーズに通知画像を表示することが可能となる。また、ユーザー端末３０は、通知画像のデータを受信した場合、ユーザーの操作を受ける事無く、画面に通知画像のデータを表示してもよい。このように構成されることにより、より早く監視対象の異常をユーザーに通知することが可能となる。

【0066】

通知部１６５は、安否結果が所定の緊急条件を満たす場合には、通知先としてユーザー端末３０ではなく、予め定められた緊急通報先を選択し、緊急通報先に通知を行ってもよい。所定の緊急条件とは、例えば安否結果に含まれる文字列に、“助けて”や“死ぬ”などの緊急性が高いことを示す所定のキーワードが含まれていることであってもよい。

【0067】

監視端末１０は、監視対象の操作を受け付けるための入力装置を備えてもよい。例えば、監視端末１０がスマートフォン等の端末装置を用いて構成される場合には、予めこのような入力装置を備えている。監視端末１０は、監視対象から所定の操作を受け付ける事に応じて、一時的に撮像部１２における撮像を中断するように構成されてもよい。このように構成されることによって、監視対象のプライバシーをより強固に守ることが可能となる。

【0068】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0069】

１００…監視システム， １０…監視端末， ２０…制御装置， ３０…ユーザー端末， ４０…ネットワーク， ９０…監視対象施設， １１…通信部， １２…撮像部， １３…音声入力部， １４…音声出力部， １５…表示部， １６…制御部， １６１…対象領域推定部， １６２…姿勢推定部， １６３…異常判定部， １６４…通知画像生成部， １６５…通知部， １６６…安否確認部， １６７…データ取得部， １７…記憶部， ２１…通信部， ２２…記憶部， ２３…制御部， ２３１…通知制御部， ２３２…データ制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】