特開 2024-162612 見守り装置、および見守りシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162612

(43)【公開日】2024-11-21

(54)【発明の名称】見守り装置、および見守りシステム

(51)【国際特許分類】

   H04N 23/55 20230101AFI20241114BHJP

   G08B 25/04 20060101ALI20241114BHJP

   G08B 21/02 20060101ALI20241114BHJP

   G08B 25/00 20060101ALI20241114BHJP

   G03B 15/00 20210101ALI20241114BHJP

   G03B 17/56 20210101ALI20241114BHJP

   H04N 23/695 20230101ALI20241114BHJP

   G03B 11/04 20210101ALI20241114BHJP

【ＦＩ】

H04N23/55

G08B25/04 K

G08B21/02

G08B25/00 510M

G03B15/00 S

G03B15/00 P

G03B17/56 A

H04N23/695

G03B11/04 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023078303

(22)【出願日】2023-05-11

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】ＩＢＣ一番町弁理士法人

(72)【発明者】

【氏名】一谷 修司

(72)【発明者】

【氏名】新田 和馬

【テーマコード（参考）】

2H083

2H105

5C086

5C087

5C122

【Ｆターム（参考）】

2H083CC01

2H083DD04

2H083DD12

2H083DD31

2H105AA13

5C086AA22

5C086CA28

5C086CB36

5C086DA40

5C086FA18

5C087BB74

5C087DD03

5C087DD29

5C087DD30

5C087EE20

5C087FF01

5C087FF04

5C087GG02

5C087GG30

5C087GG80

5C122DA11

5C122DA16

5C122EA07

5C122EA66

5C122FB01

5C122FH11

5C122FH14

5C122GC52

5C122GD06

5C122GE23

5C122GG04

5C122HA75

5C122HA82

5C122HB01

5C122HB05

(57)【要約】

【課題】被介護者等の映り込みを防止して、映り込みによる被介護者等の不安等を抑制できる、見守り装置を提供する。
【解決手段】看介護施設においてベッド上方に設置されて被看介護者の見守りに用いられる見守り装置であって、赤外光を用いて被看介護者の画像を撮像する撮像部と、人感センサーと、人感センサーの検知情報に基づき撮像部の撮像方向を変更する駆動部と、撮像部および駆動部を覆うカバー部材とを含み、カバー部材は、カバー部材への映り込み防止機能を備える、見守り装置。
【選択図】図３

【特許請求の範囲】

【請求項1】

看介護施設においてベッド上方に設置されて被看介護者の見守りに用いられる見守り装置であって、
赤外光を用いて前記被看介護者の画像を撮像する撮像部と、
人感センサーと、
前記人感センサーの検知情報に基づき、前記撮像部の撮像方向を変更する駆動部と、
前記撮像部および前記駆動部を覆うカバー部材と、有し、
前記カバー部材は、前記カバー部材への映り込み防止機能を備える、
見守り装置。

【請求項2】

前記カバー部材は、凹凸形状を有することによる前記映り込み防止機能、または拡散反射による前記映り込み防止機能の少なくともいずれか一方を備える、請求項１に記載の見守り装置。

【請求項3】

前記撮像部により撮像される前記画像に基づき、前記被看介護者の行動を判定する行動判定部を有する、請求項１に記載の見守り装置。

【請求項4】

前記被看介護者の３次元画像を取得する３次元画像取得部を有し、
前記行動判定部は、前記撮像部により撮像される前記画像と、取得される前記３次元画像とに基づき、前記被看介護者の行動を判定する、請求項３に記載の見守り装置。

【請求項5】

前記被看介護者の３次元画像を取得する３次元画像取得部を有し、
前記撮像部により撮像される前記画像と、取得される前記３次元画像とを出力する出力部を有する、請求項１に記載の見守り装置。

【請求項6】

前記カバー部材は、１０％以下の透過率で可視光を透過させる、請求項１に記載の見守り装置。

【請求項7】

前記駆動部は、設定された時間の情報に基づき、前記撮像部の前記撮像方向を変更する速度を遅くする、請求項１に記載の見守り装置。

【請求項8】

前記見守り装置の全体が、前記カバー部材と同一色である、請求項１に記載の見守り装置。

【請求項9】

前記行動判定部は、学習済みのニューラルネットワークを用いて、前記画像に基づいて、前記被看介護者の骨格を認識し、認識される前記骨格に基づき、前記被看介護者の行動を判定する、請求項３に記載の見守り装置。

【請求項10】

請求項５に記載の前記見守り装置と、
前記出力部により出力される前記画像と、前記３次元画像とを受信する受信部と、
前記受信部により受信される、前記画像と、前記３次元画像とに基づき、前記被看介護者の行動を判定する行動判定部と、
を有する、見守りシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、見守り装置、および見守りシステムに関する。

【背景技術】

【0002】

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。

【0003】

要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、要介護者等の行動等に応じて介護者や看護師等のスタッフがすぐに駆けつけられるようにするためのシステムの開発が進められている。

【0004】

下記特許文献１には、次の先行技術が開示されている。多目的ポールに内蔵される撮像モジュールを所定の回転軸を中心として回転させる駆動をすることで３６０度の範囲を撮像可能とする。撮像モジュールを覆い包む、黒や茶等の濃い色のカバー体を設ける。人感センサにより訪問者等を検知すると、人感センサによる訪問者等の検知位置に対応する位置で撮像モジュールの回転を停止し、訪問者等の撮像を開始する。カバー体を設けることで、カメラの存在が外部から確認できなくなり、訪問者が不快になったり、侵入者がカメラを避けることを防止できる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００２－２９０９６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上記先行技術を看介護施設における被介護者等の見守り装置に適用すると次のような問題がある。看介護施設では、被介護者等の入居者の見守りをする観点から居室のベッドの上方の天井等に見守り用のカメラを設置する必要がある。このため、カメラを覆うカバーの反射によりベッドで寝ている入居者の顔がカバーに写り込む。これにより、入居者が監視されているという不安や不快を感じる。

【0007】

本発明は、上述の問題を解決するためになされたものである。すなわち、被介護者等の映り込みを防止して、映り込みによる被介護者等の不安等を抑制できる、見守り装置、および見守りシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の上記課題は、以下の手段によって解決される。

【0009】

（１）看介護施設においてベッド上方に設置されて被看介護者の見守りに用いられる見守り装置であって、赤外光を用いて前記被看介護者の画像を撮像する撮像部と、人感センサーと、前記人感センサーの検知情報に基づき、前記撮像部の撮像方向を変更する駆動部と、前記撮像部および前記駆動部を覆うカバー部材と、有し、前記カバー部材は、前記カバー部材への映り込み防止機能を備える、見守り装置。

【0010】

（２）前記カバー部材は、凹凸形状を有することによる前記映り込み防止機能、または拡散反射による前記映り込み防止機能の少なくともいずれか一方を備える、上記（１）に記載の見守り装置。

【0011】

（３）前記撮像部により撮像される前記画像に基づき、前記被看介護者の行動を判定する行動判定部を有する、上記（１）に記載の見守り装置。

【0012】

（４）前記被看介護者の３次元画像を取得する３次元画像取得部を有し、前記行動判定部は、前記撮像部により撮像される前記画像と、取得される前記３次元画像とに基づき、前記被看介護者の行動を判定する、上記（３）に記載の見守り装置。

【0013】

（５）前記被看介護者の３次元画像を取得する３次元画像取得部を有し、前記撮像部により撮像される前記画像と、取得される前記３次元画像とを出力する出力部を有する、上記（１）に記載の見守り装置。

【0014】

（６）前記カバー部材は、１０％以下の透過率で可視光を透過させる、上記（１）に記載の見守り装置。

【0015】

（７）前記駆動部は、設定された時間の情報に基づき、前記撮像部の前記撮像方向を変更する速度を遅くする、上記（１）に記載の見守り装置。

【0016】

（８）前記見守り装置の全体が、前記カバー部材と同一色である、上記（１）に記載の見守り装置。

【0017】

（９）前記行動判定部は、学習済みのニューラルネットワークを用いて、前記画像に基づいて、前記被看介護者の骨格を認識し、認識される前記骨格に基づき、前記被看介護者の行動を判定する、上記（３）に記載の見守り装置。

【0018】

（１０）請求項５に記載の前記見守り装置と、前記出力部により出力される前記画像と、前記３次元画像とを受信する受信部と、前記受信部により受信される、前記画像と、前記３次元画像とに基づき、前記被看介護者の行動を判定する行動判定部と、を有する、見守りシステム。

【発明の効果】

【0019】

看介護施設においてベッド上方に設置される見守り装置に、赤外光を用いて看介護者の画像を撮像する撮像部と、人感センサーとを設ける。そして、当該撮像部、および人感センサーの検知情報に基づき撮像部の撮像方向を変更する駆動部を覆うカバー部材に映り込み防止機能を備える。これにより、被介護者等の映り込みを防止して、映り込みによる被介護者等の不安等を抑制できる。

【図面の簡単な説明】

【0020】

【図1】見守りシステムの概略構成を示す図である。

【図2】情報処理装置のハードウェア構成を示すブロック図である。

【図3】情報処理装置の概略構成を示す説明図である。

【図4】情報処理装置の概略構成の他の例を示す説明図である。

【図5】制御部の機能を示すブロック図である。

【図6】距離画像を示す図である。

【図7】撮像画像において検知された人矩形を示す図である。

【図8】関節点を示す模式図である。

【図9】人矩形に基づいて検知された関節点を示す模式図である。

【図10】見守りシステムの動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本発明の実施形態に係る見守り装置、および見守りシステムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0022】

図１は、見守りシステム１０の概略構成を示す図である。

【0023】

見守りシステム１０は、情報処理装置１００、通信ネットワーク２００、および携帯端末３００を含む。情報処理装置１００は、見守り装置を構成する。情報処理装置１００の一部、または見守りシステム１０の一部または全部が見守り装置を構成してもよい。

【0024】

情報処理装置１００は、通信ネットワーク２００によりアクセスポイント２１０を介して携帯端末３００と相互に通信可能に接続される。情報処理装置１００は、１つの一体化された装置であり得る。情報処理装置１００は、分離配置される複数の装置であってもよい。なお、通信ネットワーク２００を介して情報処理装置１００および携帯端末３００と相互に通信可能なサーバー（図示せず）を設けてもよい。そして、情報処理装置１００の機能の一部をサーバーが実施するようにしてもよい。また、通信ネットワーク２００を介して情報処理装置１００および携帯端末３００と相互に通信可能な固定端末（図示せず）を設けてもよい。そして、携帯端末３００の一部または全部の機能を固定端末が実施するようにしてもよい。

【0025】

情報処理装置１００は、対象者５００の各居室の天井または壁の高い位置等にそれぞれ配設され得る。対象者５００は、例えば、介護または看護を必要とする者である。対象者５００は、被看介護者を構成する。携帯端末３００は、対象者５００の介護または看護をする各スタッフに携帯される。携帯端末３００には、スマートフォンやタブレット端末が含まれる。

【0026】

図２は、情報処理装置１００のハードウェア構成を示すブロック図である。情報処理装置１００は、制御部１１０、通信部１２０、記憶部１３０、およびカメラユニット１４０を備え、これらはバスによって、相互に接続されている。

【0027】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って情報処理装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

【0028】

通信部１２０は、通信ネットワーク２００を介して、携帯端末３００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

【0029】

記憶部１３０は各種プログラムおよび各種データを記憶する。記憶部１３０は、例えば、ＳＤＤまたはＨＤＤにより構成される。

【0030】

カメラユニット１４０は、カメラ１４１、駆動機構１４２、および人感センサー１４３を含む。カメラ１４１は対象者５００の画像を撮像する撮像部を構成する。駆動機構１４２は駆動部を構成する。人感センサー１４３は、３次元画像取得部を構成する。

【0031】

カメラユニット１４０は、情報処理装置１００と一体化されて、ベッド７０の上方に設置される。具体的には、例えば、カメラユニット１４０は、情報処理装置１００とともに、対象者５００の居室の天井、または壁（側面）の高い位置（ベッドよりも少なくとも高い位置）等に配置される。

【0032】

カメラ１４１は、２次元の撮像画像７００（図８を参照。以下、単に「撮像画像７００」とも称する）を撮像する。撮像画像７００には動画および静止画が含まれる。撮像画像７００は、複数のフレーム（静止画）で構成される動画であってもよい。カメラ１４１は赤外線カメラであるが、これに換えて可視光カメラを用いてもよく、これらを併用してもよい。以下、説明を簡単にするために、撮像画像７００は、赤外線カメラによる、複数のフレームから構成される動画である場合を例に説明する。赤外線カメラは、レンズ等の光学系と、撮像センサーとを含んで構成され得る。

【0033】

カメラ１４１により、ベッド７０で寝ている対象者５００を俯瞰する撮像画像７００が撮像され得る。

【0034】

図３は、情報処理装置１００の概略構成を示す説明図である。駆動機構１４２は、カメラ１４１の撮像方向を変更する。駆動機構１４２は、モーター、ギア、およびカメラ１４１との接合部材を含んで構成され得る。カメラ１４１は、例えば、図３において矢印で示す方向に、所定の軸に対して回動することにより、撮像方向が変更され得る。

【0035】

図３に示すように、カメラユニット１４０は、カメラ１４１および駆動機構１４２を覆うカバー部材１４４を備える。カバー部材１４４は、図３においてグレー色が付されている。

【0036】

仮に、駆動機構１４２が情報処理装置１００の外部から視認できない位置にある場合等においては、カバー部材１４４は、カメラ１４１のみを覆ってもよい。

【0037】

カバー部材１４４は、凹凸形状１４４ａをもつことにより、カバー部材１４４への映り込み防止機能を備え得る。映り込み防止機能により、カバー部材１４４の反射によりベッド７０で寝ている対象者５００の顔がカバー部材１４４に写り込むことを防止できる。凹凸形状１４４ａには、単純なふくらみやへこみの他、線状のくぼみ、または線状のふくらみによる模様等が含まれる。

【0038】

カバー部材１４４は、拡散反射による映り込み防止機能を備えてもよい。例えば、カバー部材１４４の母材に適当な粒状物を埋め込むことにより拡散反射を実現してもよい。

【0039】

カバー部材１４４は、凹凸形状１４４ａおよび拡散反射により映り込み防止機能を実現してもよい。

【0040】

映り込み防止機能とは、例えば、カバー部材１４４から３ｍ離れた位置で、カバー部材１４４に顔が認識できない状態にする機能である。当該映り込み防止機能により、平均的な天井高さの居室の天井に情報処理装置１００が設置される場合に、カバー部材１４４に顔が認識できない状態にすることができる。映り込み防止機能は、カバー部材１４４から２ｍ離れた位置で、カバー部材１４４に顔が認識できない状態であることが好ましい。映り込み防止機能は、カバー部材１４４から１ｍ離れた位置で、カバー部材１４４に顔が認識できない状態であることがより好ましい。

【0041】

カバー部材１４４は、１０％以下の透過率で可視光を透過させるように構成され得る。このために、カバー部材１４４は、例えば、近赤外線透過ブラック分散液と、一般的なカーボンブラック分散液を用いて製造されてもよい。１０％以下の可視光透過率のカバー部材１４４で覆われた、カメラ１４１および駆動機構１４２は、カバー部材１４４を通して肉眼では視認できない。一方、１０％以下の可視光透過率のカバー部材１４４を透過した可視光を、カメラ１４１の撮像センサーは検知できる。従って、カバー部材１４４を１０％以下の可視光透過率とする。これにより、カメラ１４１および駆動機構１４２を対象者５００により視認できなくできる。これとともに、カバー部材１４４を透過した可視光でカラーの撮像画像７００を撮像できる。カラーの撮像画像７００とは、例えば、ＲＧＢ値の３値のうち少なくともいずれか１つが０でない画像である。

【0042】

情報処理装置１００の全体が、カバー部材１４４と同一色とすることが好ましい。これにより、情報処理装置１００におけるカメラ１４１の実装箇所を対象者５００が意識することを抑制できる。このため、カメラ１４１等をより目立たなくすることができる。

【0043】

人感センサー１４３は、対象者５００の位置を検知するためのセンサーである。人感センサー１４３は、例えば、ステレオカメラ、またはＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサーにより構成される。人感センサー１４３は、所定の検知範囲について、画素ごとの深度情報を検知することで距離画像８００（図７を参照。以下、単に「距離画像８００」とも称する）を生成する。深度情報は、物体（例えば、人、床、壁、ベッド、および家具）までの、カメラユニット１４０からの距離の情報である。深度情報は、撮像画像７００に垂直な方向（法線方向）における距離の情報であり得る。距離画像８００は、画素ごとの深度情報である。従って、距離画像８００は、３次元の画像とも言える。距離画像８００は、人感センサー１４３の検知情報を構成する。

【0044】

人感センサー１４３による深度情報の検知方向および検知範囲は固定とされ得る。人感センサー１４３による深度情報の検知範囲は、カメラ１４１による撮像画像７００の各フレームの撮像範囲より広くされ得る。なお、カメラ１４１の撮像方向が変更させることにより、カメラ１４１による撮像範囲は拡大される。人感センサー１４３の固定の検知範囲に、カメラ１４１による、撮像方向の変更前後の複数の撮像範囲が包含され得る。なお、距離画像８００においては、模様や色等を含むテクスチャー情報は含まれていない。

【0045】

人感センサー１４３は、人の位置を検知する他の装置により置換され得る。他の装置には、例えばビーコンが含まれる。

【0046】

図４は、情報処理装置１００の概略構成のさらに他の例を示す説明図である。図４においては、人感センサー１４３等は図示を省略している。図４の情報処理装置１００では、カメラ１４１の撮像方向が変更される際に動く部分の割合が比較的大きくなっている。この場合、カメラ１４１のレンズをカバー部材１４４で覆っても、カメラ１４１の撮像方向の変更に伴う動きが対象者５００により認識される可能性が高い。この場合、情報処理装置１００の、天井等への設置部分を除く全体を覆うカバー部材１４４とし得る。これにより、カメラ１４１の撮像方向の変更に伴う動きの、対象者５００による認識可能性を低減できる。

【0047】

制御部１１０の機能について説明する。

【0048】

図５は、制御部１１０の機能を示すブロック図である。制御部１１０は、位置検知部１１１、駆動制御部１１２、認識部１１３、推定部１１４、および行動認識部１１５として機能する。行動認識部１１６は行動判定部を構成する。

【0049】

位置検知部１１１は、人感センサー１４３から距離画像８００を取得し、距離画像８００から対象者５００の位置を検知する。

【0050】

図６は、距離画像８００を示す図である。図６の距離画像８００においては、深度情報（カメラユニット１４０から物体までの距離）が、色のトーンにより示されている。なお、図６に示す距離画像８００は、色の違いにより深度情報が示された距離画像８００をグレー色に変換した画像である。このため、図６に示す距離画像８００は、トーンの濃度が深度情報を正確に反映しているとは限らない。図６の例では、距離画像８００において対象者５００（人）が検知されている。

【0051】

位置検知部１１１は、時間差分法（フレーム差分法）または背景差分法といった公知の技術により対象者５００の位置を検知し得る。位置検知部１１１は、距離画像８００から人を検知するための学習がされた、ニューラルネットワークの学習済みモデルを用いて、対象者５００の位置を検知してもよい。

【0052】

駆動制御部１１２は、位置検知部１１１により検知された対象者５００がカメラ１４１の撮像範囲に入るように駆動機構１４２によりカメラ１４１を回動させる。これにより、位置検知部１１１により検知された対象者５００が撮像画像７００に含まれるようにカメラ１４１の撮像方向が変更される。距離画像８００において複数の人が検知される場合、少なくとも１人が撮像画像７００に含まれるようにカメラ１４１の撮像方向が変更され得る。距離画像８００と撮像画像７００は互いの各画素が対応付けされるキャリブレーションがなされる。

【0053】

認識部１１３は、撮像画像７００から対象者５００を認識（検知）する。

【0054】

図７は、撮像画像７００において検知された人矩形７１０を示す図である。認識部１１３は、撮像画像７００に含まれる対象者５００を、対象者５００を含む領域である人矩形７１０として検知し得る。具体的には、認識部１１３は、撮像画像７００上で物体（オブジェクト）が存在する領域を検知する。そして、認識部１１３は、検知した領域に含まれる物体のカテゴリーを推定することで、対象者５００を検知する。物体が存在する領域は、撮像画像上で物体が含まれる候補矩形として検知される。検知された候補矩形のうち、物体のカテゴリーが人であると推定された候補矩形を、人矩形７１０として検知することで、対象者５００を検知する。認識部１１３は、撮像画像７００から人矩形７１０を検知するための辞書（パラメーター）が反映されたニューラルネットワークの学習済みモデルを用い得る。そして、認識部１１３は、当該学習済みモデルにより、撮像画像７００から人矩形７１０を検知し得る。学習済みモデルとして、例えば、公知のモデルであるＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ（ＲＰＮ）を用い得る。認識部１１３は、人矩形７１０を、撮像画像７００と、当該人矩形７１０の対向する２つの頂点ｅ１、ｅ２の座標との組合せとして出力し得る。

【0055】

なお、認識部１１３は、時間差分法（フレーム差分法）または背景差分法といった公知の技術により、撮像画像７００からシルエットとして対象者５００を検知してもよい。

【0056】

推定部１１４は、認識部１１３により認識される対象者５００の関節点７２０を推定する。具体的には、推定部１１４は、人矩形７１０から関節点７２０を認識する。関節点７２０は、骨格を構成する。

【0057】

図８は、関節点７２０を示す模式図である。

【0058】

図８の例においては、関節点７２０には、頭部の関節点７２０ａ、肩部の関節点７２０ｂ、腰部の関節点７２０ｃ、および体幹を構成する関節点７２０ｄが含まれる。

【0059】

図９は、人矩形７１０に基づいて検知された関節点７２０を示す模式図である。

【0060】

図９の例においては、椅子上で座位の姿勢の対象者５００の関節点７２０が示されている。推定部１１４は、人矩形７１０から関節点７２０を検知するための学習がされた、ニューラルネットワークの学習済みモデルを用いて、関節点７２０を推定してもよい。学習済みモデルとしては、Ｄｅｅｐ Ｐｏｓｅ等の公知のモデルを用い得る。ＤｅｅｐＰｏｓｅについては、公知の文献（Alexander Toshev, et al. “DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014）に詳細が記載されている。

【0061】

行動認識部１１５は、推定部１１４により推定される関節点７２０に基づいて、対象者５００の行動を認識（判定）する。行動認識部１１５は、例えば、関節点７２０から対象者５００の立位の姿勢が検知された状態から短時間に臥位の姿勢が検知された場合、「転倒」の行動を認識し得る。対象者５００の行動は、ニューラルネットワークの学習済みモデルを用いて認識されてもよい。当該学習済みモデルは、時系列で隣接する複数の撮像画像からそれぞれ推定される、複数の関節点７２０に基づいて行動が推定されるように学習されたモデルである。対象者５００の行動は、関節点７２０と物体（例えば、ベッド７０）との相対的位置関係を用いて認識されてもよい。例えば、撮像画像７００にベッド７０の外で、かつベッド７０から比較的近い範囲の関節点７２０から臥位の姿勢が検知された場合、「転落」の行動が認識され得る。ベッド７０の位置および範囲は、関節点７２０の座標の座標系において予め設定され得る。

【0062】

制御部１１０は、行動認識部１１５により認識される、対象者５００の行動から、対象者５００に関するイベントを検知し得る。イベントとは、対象者５００に関する状態や状況の変化であって、例えば、起床、離床、転倒、および転落等の介助者等に発報（報知）を行うべき事象である。制御部１１０は、イベントを検知した場合は、イベントの内容を通知するイベント通知を携帯端末３００や、管理者の固定端末（図示せず）等の外部装置へ送信してもよい。

【0063】

見守りシステム１０の動作について説明する。

【0064】

図１０は、見守りシステム１０の動作を示すフローチャートである。本フローチャートは、情報処理装置１００の制御部１１０によりプログラムに従い実行され得る。

【0065】

制御部１１０は、人感センサー１４３により距離画像８００を取得する（Ｓ１０１）。

【0066】

制御部１１０は、距離画像８００から対象者５００を検知する（Ｓ１０２）。

【0067】

制御部１１０は、検知した対象者５００がカメラ１４１の撮像範囲に入るようにカメラ１４１の撮像方向を変更する（Ｓ１０３）。

【0068】

制御部１１０は、カメラ１４１による撮像画像７００から対象者５００を検知する（Ｓ１０４）。

【0069】

制御部１１０は、撮像画像７００から検知された対象者５００の関節点７２０を推定（認識）する（Ｓ１０５）。

【0070】

制御部１１０は、推定された関節点７２０等に基づいて、対象者５００の行動を判定する（Ｓ１０６）。

【0071】

ステップＳ１０１～ステップＳ１０６は繰り返し実行される。すなわち、距離画像８００から検知しされる対象者５００が、カメラ１４１の撮像方向が変更されることで継続的に追従される。そして、撮像画像７００に含まれる対象者５００の画像から推定される関節点７２０に基づいて対象者５００の行動が継続的に判定される。

【0072】

（第２実施形態）
本発明の第２実施形態について説明する。本実施形態が第１実施形態と異なる点は次の点である。第１実施形態においては、２次元の撮像画像７００に基づいて２次元の関節点７２０を推定する。一方、本実施形態においては、２次元の撮像画像７００と距離画像８００に基づいて、３次元の関節点７２０Ｔを推定する。これ以外の点においては、本実施形態は第１実施形態と同様であるため、重複する説明は省略する。

【0073】

制御部１１０の機能を、図５を参照して説明する。

【0074】

推定部１１４は、人矩形７１０および距離画像８００に基づいて３次元の関節点７２０Ｔを推定する。３次元の関節点７２０Ｔとは、３次元の座標により表現される関節点７２０である。

【0075】

推定部１１４は、具体的には、例えば、次のように３次元の関節点７２０Ｔを推定する。第１実施形態と同様に、人矩形７１０から２次元の関節点７２０を推定する。２次元の関節点７２０の画素に対応する深度情報を、２次元の関節点７２０ごとに距離画像８００から抽出する。抽出した深度情報を、対応する２次元の関節点７２０にそれぞれ関連付ける。２次元の関節点７２０を、当該関節点７２０にそれぞれ関連付けられた深度情報を用いて、所定の３次元座標系における３次元の関節点７２０Ｔに変換する。所定の３次元座標系とは、対象者５００の居室において、ベッド７０の位置および範囲等が予め設定された３次元座標系であり得る。

【0076】

行動認識部１１６は、３次元の関節点７２０Ｔに基づいて、対象者５００の行動を認識する。３次元の関節点７２０Ｔに基づいて行動を認識することで、行動の検知精度を向上できる。

【0077】

なお、距離画像８００を生成する人感センサー１４３は、赤外線カメラと赤外線プロジェクタとにより構成されてもよい。この場合、赤外線カメラはカメラ１４１と兼用されてもよい。赤外線プロジェクタは、赤外線による所定のドットパターンを所定範囲内へ照射する。赤外線カメラは、対象者５００を含む対象物体に照射されたドットパターンを撮像した赤外線画像を撮像する。撮像されたドットパターンの幾何学的な形状が対象物体までの距離によって変化することを利用して、対象物体までの距離（深度情報）を算出する。これにより、距離画像８００が生成される。

【0078】

また、推定部１１４および行動認識部１１６の機能は、情報処理装置１００および携帯端末３００と通信可能に接続されたサーバー（図示せず）により実行されてもよい。この場合、情報処理装置１００からサーバーへ撮像画像７００と距離画像８００が送信（出力）される。サーバーは撮像画像７００および距離画像８００を受信部により受信する。通信部１２０は出力部を構成する。

【0079】

（第３実施形態）
本発明の第３実施形態について説明する。本実施形態においては、時間に応じて、カメラ１４１の撮像方向を変更する速度を遅くする。

【0080】

カメラ１４１の撮像方向を変更する駆動機構１４２には、モーター、およびギア等の動力伝達機構が含まれ得る。そして、カメラ１４１の撮像方向を変更する速度が速いほど、モーターや動力伝達機構が発生する音が大きくかつ高くなる。そこで、本実施形態では、設定された時間の情報に基づき、カメラ１４１の撮像方向を変更する速度を遅くする。設定された時間の情報は予め記憶部１３０に記憶され得る。制御部１１０は、設定された時間において、駆動機構１４２を制御することにより、カメラ１４１の撮像方向を変更する速度を遅くする。設定された時間は、例えば、対象者５００の睡眠時間等に応じて適当に設定され得る。設定された時間は、例えば、夜間とされ得る。これにより、環境音が比較的小さくなることで駆動機構１４２の発生音に敏感になり得る時間において、当該発生音を小さくできる。従って、駆動機構１４２の発生音が対象者５００の睡眠に与える影響等を抑制できる。

【0081】

実施形態は、以下の効果を奏する。

【0082】

看介護施設においてベッド上方に設置される見守り装置に、赤外光を用いて看介護者の画像を撮像する撮像部と、人感センサーとを設ける。そして、当該撮像部、および人感センサーの検知情報に基づき撮像部の撮像方向を変更する駆動部を覆うカバー部材に映り込み防止機能を備える。これにより、被介護者等の映り込みを防止して、映り込みによる被介護者等の不安等を抑制できる。

【0083】

また、カバー部材は、凹凸形状を有することによる前記映り込み防止機能、または拡散反射による前記映り込み防止機能の少なくともいずれか一方を備える。これにより、簡単かつ効果的に、カバー部材に映り込み防止機能をもたせることができる。

【0084】

また、撮像部により撮像される画像に基づき、被看介護者の行動を判定する。これにより、映り込みによる被介護者等の不安等を抑制しつつ被看護者等の行動を判定できる。

【0085】

また、被看介護者の３次元画像を取得し、撮像部により撮像される画像と３次元画像とに基づき、被看介護者の行動を判定する。これにより、被看介護者の行動の判定精度を向上できる。

【0086】

また、被看介護者の３次元画像を取得し、撮像部により撮像される画像と、取得される３次元画像とを出力する。これにより、画像および３次元画像を用いた被看介護者の行動を、外部の装置に実行させることができる。そして、より柔軟に、被看介護者の行動の判定精度を向上できる。

【0087】

また、カバー部材を、１０％以下の透過率で可視光を透過させる構成とする。これにより、カメラ等を被介護者により視認できなくすることができるとともに、カラーの撮像画像を撮像できる。

【0088】

また、設定された時間の情報に基づき、撮像部の撮像方向を変更する速度を遅くする。これにより、駆動部の発生音が被介護者の睡眠に与える影響等を抑制できる。

【0089】

また、見守り装置の全体を、カバー部材と同一色とする。これにより、見守り装置における撮像部が実装されている箇所を被介護者が意識することを抑制できる。

【0090】

また、学習済みのニューラルネットワークを用いて、画像に基づいて、被看介護者の骨格を認識し、認識される骨格に基づき、被看介護者の行動を判定する。これにより、より簡単な構成で、被看介護者の行動を高精度で判定できる。

【0091】

以上に説明した、見守り装置、および見守りシステムの構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのである。従って、見守り装置、および見守りシステムは、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な見守り装置、および見守りシステムの構成を排除するものではない。

【0092】

例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

【0093】

また、上述したシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路よっても実現することが可能である。上述したシステムにおける各種処理を行う手段および方法は、プログラムされたコンピューターによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその情報処理装置等の装置のソフトウエアに組み込まれてもよい。

【符号の説明】

【0094】

１０ 見守りシステム、
７０ ベッド、
１００ 情報処理装置、
１１０ 制御部、
１１１ 位置検知部、
１１２ 駆動制御部、
１１３ 認識部、
１１４ 推定部、
１１５ 行動認識部、
１２０ 通信部、
１３０ 記憶部、
１４０ カメラユニット、
１４１ カメラ、
１４２ 駆動機構、
１４３ 人感センサー、
２００ 通信ネットワーク、
２１０ アクセスポイント、
３００ 携帯端末、
５００ 対象者、
７００ 撮像画像、
７１０ 人矩形、
７２０ 関節点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】