特開 2024-42780 状態推定システムと、これに用いる状態学習方法及び状態学習プログラムや状態推定方法及び状態推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042780

(43)【公開日】2024-03-29

(54)【発明の名称】状態推定システムと、これに用いる状態学習方法及び状態学習プログラムや状態推定方法及び状態推定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240322BHJP

   G06V 10/70 20220101ALI20240322BHJP

   G06V 20/52 20220101ALI20240322BHJP

   H04N 23/60 20230101ALI20240322BHJP

【ＦＩ】

G06T7/00 660B

G06V10/70

G06V20/52

H04N5/232 290

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022147605

(22)【出願日】2022-09-16

(71)【出願人】

【識別番号】504237050

【氏名又は名称】独立行政法人国立高等専門学校機構

(71)【出願人】

【識別番号】522369027

【氏名又は名称】柏原 悠人

(71)【出願人】

【識別番号】522369038

【氏名又は名称】山田 斉

(74)【代理人】

【識別番号】110003085

【氏名又は名称】弁理士法人森特許事務所

(72)【発明者】

【氏名】三崎 幸典

(72)【発明者】

【氏名】岩本 直也

(72)【発明者】

【氏名】柏原 悠人

(72)【発明者】

【氏名】山田 斉

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122EA55

5C122FA18

5C122FH11

5C122FH18

5C122FK41

5C122GC75

5C122HA13

5C122HA48

5C122HB01

5L096AA06

5L096BA02

5L096CA05

5L096DA02

5L096HA09

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】情報処理装置にそれほど高い処理能力を求めることなく、機械学習による状態推定の精度を向上させる状態学習方法、状態推定方法及びプログラムを提供する。
【解決手段】状態推定システム１は、人物のいる同じ撮影範囲を撮影する第１カメラ１１及び第２カメラ１２と、撮影範囲にいる人物の状態推定モデルを構築し、第１カメラ及び第２カメラ夫々が撮影した撮影範囲にいる人物の状態を状態推定モデルにより推定するエッジコンピュータ１３とを、有線又は無線により信号接続している。エッジコンピュータは、人物のいる撮影画像を第１カメラ及び第２カメラから取得し、撮影画像夫々から生成された人物の骨格モデルのみの複数のモデル画像を一体としてモデルデータ４６ａ～４６ｄとし、該モデルデータに撮影時の人物の状態のラベル４ａ～４ｄを付けた教師データ５ａ～５ｄを機械学習させることにより、状態推定モデル６を構築する。
【選択図】図２

【特許請求の範囲】

【請求項1】

人物のいる同じ撮影範囲を撮影する複数のカメラと、
撮影範囲にいる人物の状態推定モデルを構築し、複数のカメラそれぞれが撮影した撮影範囲にいる人物の状態を前記状態推定モデルにより推定する情報処理装置とが、
有線又は無線により信号接続されて構成され、
情報処理装置は、人物のいる撮影画像をそれぞれのカメラから取得し、前記撮影画像それぞれから生成された人物の骨格モデルのみの複数のモデル画像を一体としてモデルデータとし、モデルデータに撮影時の人物の状態をラベル付けした教師データを機械学習させることにより、状態推定モデルを構築する状態推定システム。

【請求項2】

撮影範囲は、壁面、床面及び天井面で囲まれた閉鎖空間であり、
カメラは、光軸が固定された状態で、情報処理装置は、カメラそれぞれと有線又は無線により信号接続された状態で、閉鎖空間内に配置された請求項１記載の状態推定システム。

【請求項3】

カメラは、第１カメラ及び第２カメラの２つあり、
第１カメラは、第１光軸を水平方向に向け、
第２カメラは、第１カメラの上方に配置され、第２光軸を斜め下方に向けた請求項２記載の状態推定システム。

【請求項4】

情報処理装置において、
人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させ、取得させた撮影画像それぞれから生成される骨格モデルのみを表示した複数のモデル画像を一体のモデルデータとし、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを機械学習させて、
人物の状態推定モデルを情報処理装置に構築させる状態学習方法。

【請求項5】

情報処理装置に対して、
人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させる学習用第１ステップ、
取得させた撮影画像から生成させる骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを作り出す学習用第２ステップ、
撮影時の人物の状態を前記モデルデータにラベル付けした教師データを情報処理装置に機械学習させる学習用第３ステップを順に実行させて、
人物の状態推定モデルを情報処理装置に構築させる状態学習プログラム。

【請求項6】

人物のいる同じ撮影範囲を撮影させた複数の撮影画像から生成される骨格モデルのみを表示した複数のモデル画像を一体のモデルデータとし、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを機械学習させた状態推定モデルが予め構築された情報処理装置において、
人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させ、取得させた撮影画像それぞれから生成される骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを前記状態推定モデルに入力させて、
人物の状態を情報処理装置に推定させる状態推定方法。

【請求項7】

人物のいる同じ撮影範囲を撮影させた複数の撮影画像から生成される骨格モデルのみを表示した複数のモデル画像を一体のモデルデータとし、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを機械学習させた状態推定モデルが予め構築された情報処理装置に対して、
人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させる推定用第１ステップ、
取得させた撮影画像から生成させる骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを作り出す推定用第２ステップ、
情報処理装置に構築された状態推定モデルに前記モデルデータを入力させる推定用第３ステップを順に実行させて、
人物の状態を情報処理装置に推定させる状態推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、見守り対象となる人物の状態を推定する状態推定システムと、これに用いる状態学習方法及び状態学習プログラムや状態推定方法及び状態推定プログラムに関する。

【背景技術】

【0002】

高齢者は、転倒等の状態異常にいち早く気づけるように「見守り」が重要である。例えば高齢者等が自宅にいれば家族が高齢者を見守り、高齢者が施設にいれば施設従業者が高齢者を見守る。ところが、高齢者が家族と別居していたり、施設従業者が十分な人員を確保できなかったりすれば、十分な見守りが難しい。また、同居家族が付き纏ったり、施設従事者が四六時中監視したりすることは、高齢者のプライバシーを害しかねない。こうした事情から、従前より様々なシステムが提案されている（特許文献１）。

【0003】

特許文献１は、カメラに撮影された画像における人物全体の人領域と人物の頭部領域とを検出し、人領域における頭部領域の方向を揃えるように回転させた画像を教師データとして機械学習させて推定モデルを構築する状態推定システム（姿勢推定システム）を開示する（特許文献１・［請求項１］）。特許文献１が開示する状態推定システムは、頭部領域が特定方向に揃えられた画像を用いた機械学習により、少ない教師データで精度の高い状態推定ができる（特許文献１・［0022］）。機械学習による状態推定には、画像から得られる骨格モデルが利用されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2019-121045号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１が開示する状態推定システムは、機械学習による状態推定の精度を向上させるため、人物の頭部領域の方向を揃えるために画像を回転させたり、人体及び頭部のサイズ比や人領域及び頭部領域のアスペクト比を算出したりしている。しかし、画像を回転させて頭部領域の向きを揃えたり、サイズ比やアスペクト比を算出したりしても、単一の骨格モデルが有する情報量が変化するわけではないので、状態推定の精度が大きく向上するわけではない。

【0006】

また、画像を回転させて頭部領域の向きを揃えたり、サイズ比やアスペクト比を算出したりするためには、高い処理能力を有する情報処理装置を必要とする。高い処理能力を有する情報処理装置は、システム全体の大型化や高コスト化を招く。そこで、情報処理装置にそれほど高い処理能力を求めることなく、機械学習による状態推定の精度を向上させるため、検討した。

【課題を解決するための手段】

【0007】

検討の結果開発したものが、人物のいる同じ撮影範囲を撮影する複数のカメラと、撮影範囲にいる人物の状態推定モデルを構築し、複数のカメラそれぞれが撮影した撮影範囲にいる人物の状態を前記状態推定モデルにより推定する情報処理装置とが、有線又は無線により信号接続されて構成され、情報処理装置は、人物のいる撮影画像をそれぞれのカメラから取得し、前記撮影画像それぞれから生成された人物の骨格モデルのみの複数のモデル画像を一体としてモデルデータとし、モデルデータに撮影時の人物の状態をラベル付けした教師データを機械学習させることにより、状態推定モデルを構築する状態推定システムである。

【0008】

複数のカメラが撮影する同じ撮影範囲は、複数のカメラが撮影する対象となる範囲が同じであることを意味し、カメラそれぞれの撮影範囲の大きさ及び形状がほぼ同じであればよい。カメラは、動画カメラ又は静止画カメラのいずれでもよい。動画カメラの場合、情報処理装置の能力に応じて、全フレーム又はサンプリングされたフレームを撮影画像とする。サンプリングされたフレームは、複数のカメラで同期したタイミングのフレームである。静止画カメラの場合、一定時間間隔で撮影し、情報処理装置へ撮影画像を送る。一定時間間隔で撮影される撮影画像は、同期したタイミングの撮影画像である。

【0009】

情報処理装置は、状態推定システムのための専用処理装置のほか、汎用のコンピュータを利用できる。カメラと情報処理装置とは、直接的に有線又は無線により信号接続されるほか、例えばインターネットを介して接続されてもよい。機械学習に際する撮影画像の取得は、カメラの記憶媒体に記憶させた大量の撮影画像を記憶媒体から読み取らせるようにしてもよい。状態推定モデルの構築は、新規に構築するほか、機械学習の追加による更新を含む。状態推定モデルは、情報処理装置に内蔵又は外付けの記憶装置に記憶させたり、ネットワーク上のクラウドサーバに記憶させたりする。

【0010】

骨格モデルは、従来知られている手法を用いて、例えば撮影範囲にいる人物を検出し、検出した人物から生成される。モデル画像を一体としたモデルデータは、骨格モデルのみを表示した複数のモデル画像を一体に取り扱う意味で、複数のモデル画像は独立した画像データのままでもよいし、縦方向又は横方向に並べた１枚の画像データとしてもよい。モデルデータに付すラベルは、人物の状態を表すものであればよく、数を問わない。例えば人物の転倒を判別する目的であれば、基本状態の高姿勢である「立つ」に加え、低姿勢を区別する「座る」、「転倒」、「うずくまる」からなる４種類のラベルが用いられる。

【0011】

見守り対象が状態推定される人物の場合、人物は自室等の閉鎖空間にいることが多いことから、撮影範囲は、壁面、床面及び天井面で囲まれた閉鎖空間であり、カメラは、光軸が固定された状態で、情報処理装置は、カメラそれぞれと有線又は無線により信号接続された状態で、閉鎖空間内に配置された構成とする。カメラは、壁面又は天井面に直接取り付けたり、床面に位置固定されるスタンドに取り付けたりする。情報処理装置は、家族や施設従事者に状態異常を連絡するため、更に報知手段又は通知手段と有線又は無線により信号接続し、例えば転倒が推定されると報知手段又は通知手段を作動させる起動信号を前記報知手段又は通知手段に送信させる。

【0012】

カメラが閉鎖空間に配置される場合、カメラは、第１カメラ及び第２カメラの２つあり、第１カメラは、第１光軸を水平方向に向け、第２カメラは、第１カメラの上方に配置され、第２光軸を斜め下方に向けた構成にする。第１カメラ及び第２カメラは、床面に立てた同じスタンドに取り付けるか、同じ壁面に取り付けるとよい。第１カメラ及び第２カメラを同じ壁面に取り付ける場合、第１カメラ及び第２カメラをステーで繋いで一体の装置にするとよい。この場合、第１カメラ又は第２カメラに情報処理装置となるコンピュータを付設してもよい。

【0013】

本発明の状態推定システムは、カメラの数及び配置が同じであれば、状態推定モデルを構築するための撮影範囲と、人物の状態推定される撮影範囲とが別でもよい。状態推定モデルの構築は、情報処理装置において、人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させ、取得させた撮影画像それぞれから生成される骨格モデルのみを表示した複数のモデル画像を一体のモデルデータとし、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを機械学習させて、人物の状態推定モデルを情報処理装置に構築させる状態学習方法を用いる。

【0014】

状態学習方法は、情報処理装置に対して、人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させる学習用第１ステップ、取得させた撮影画像から生成させる骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを作り出す学習用第２ステップ、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを情報処理装置に機械学習させる学習用第３ステップを順に実行させて、人物の状態推定モデルを情報処理装置に構築させる状態学習プログラムにより実施する。

【0015】

学習用第２ステップは、最終的に複数の骨格モデルを有するモデルデータが作り出されればよい。例えば撮影画像の大きさに等しいモノトーン画像中に骨格モデルを作り出したモデル画像を生成し、前記複数のモデル画像を関連のあるデータ群として、一体のモデルデータとする。また、前述同様に生成されたモデル画像を縦並び又は横並びにして合成された１枚の画像を、一体のモデルデータとしてもよい。

【0016】

また、人物の状態推定は、人物のいる同じ撮影範囲を撮影させた複数の撮影画像から生成される骨格モデルのみを表示した複数のモデル画像を一体のモデルデータとし、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを機械学習させた状態推定モデルが予め構築された情報処理装置において、人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させ、取得させた撮影画像それぞれから生成される骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを前記状態推定モデルに入力させて、人物の状態を情報処理装置に推定させる状態推定方法を用いる。

【0017】

状態推定方法は、人物のいる同じ撮影範囲を撮影させた複数の撮影画像から生成される骨格モデルのみを表示した複数のモデル画像を一体のモデルデータとし、撮影時の人物の状態を前記モデルデータにラベル付けした教師データを機械学習させた状態推定モデルが予め構築された情報処理装置に対して、人物のいる同じ撮影範囲を撮影させた複数の撮影画像を取得させる推定用第１ステップ、取得させた撮影画像から生成させる骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを作り出す推定用第２ステップ、情報処理装置に構築された状態推定モデルに前記モデルデータを入力させる推定用第３ステップを順に実行させて、人物の状態を情報処理装置に推定させる状態推定プログラムにより実施する。

【発明の効果】

【0018】

本発明の状態推定システムは、機械学習による状態推定の精度を向上させる。これは、複数の骨格モデルを一体としたモデルデータにラベル付けした教師データを機械学習させ、状態推定モデルが構築されることによる効果である。モデルデータは、人物の同じ状態を捉えた異なる骨格モデルを複数有するために情報量が多い。これにより、状態推定モデルの状態推定の精度が向上する。しかし、モデルデータは、骨格モデルのみが表示されていているためにデータ量が少ない。これにより、本発明の状態推定システムは、情報処理能力が低い廉価な情報処理装置を用いて構成できる利点がある。

【0019】

本発明の状態推定システムは、壁面、床面及び天井面で囲まれた閉鎖空間を撮影範囲とすれば、壁面、床面及び天井面を利用してカメラが容易に配置できるほか、カメラの光軸を固定しやすくなり、撮影画像のブレが抑制できる。これは、より精度の高い状態推定モデルの構築を可能とし、結果として人物の状態推定の精度も高められる。また、カメラや情報処理装置が同じ閉鎖空間に配置できれば、カメラと情報処理装置との有線による信号接続が容易であり、また無線による信号接続も切断されにくくなる利点も得られる。

【0020】

第１カメラ及び第２カメラからなる本発明の状態推定システムは、第１光軸を水平方向に向けた第１カメラの撮影画像から主に高さ方向の位置情報を含んだ骨格モデルが、第２カメラの撮影画像から主に平面方向の位置情報を含む骨格モデルが得られ、両骨格モデルを一体としたモデルデータにラベル付けして機械学習して構築される状態推定モデルによる推定精度をより向上させる。このほか、第１カメラ及び第２カメラからなる本発明の状態推定システムは、第１カメラ及び第２カメラを繋ぎ、更に情報処理装置となるコンピュータを付設すると、全体を一体の装置として取り扱いが容易になる。

【0021】

本発明は、状態学習方法により情報処理装置に状態推定モデルのみを構築したり、状態推定方法により情報処理装置に状態推定モデルを適用して状態推定したりできる。本発明は、人物の個性を排除した骨格モデルから状態推定モデルを構築しており、使用するカメラの数及び配置が同じであれば、状態推定モデルを構築した撮影範囲と状態推定される撮影範囲とが別であっても問題がない。このため、例えば基本の撮影範囲で構築した状態推定モデルや、多数の状態推定システムからモデルデータを独立した情報処理装置に収集して構築した状態推定モデルを、同じ撮影範囲で、カメラの数及び配置が同じ多数の状態推定システムに提供できる。

【0022】

状態推定モデルは、状態学習プログラムを実行させる情報処理装置により構築できる。状態学習プログラムを実行させる情報処理装置は、状態推定システムの一部であってもよいし、別に設けてもよい。モデルデータを生成するための撮影画像は、例えば基本の撮影範囲で撮影された撮影画像や、多数の状態推定システムから収集された撮影画像が利用される。状態学習プログラムを実行させる情報処理装置が状態推定システムと別にある構成では、例えば両者がインターネットで繋がれていれば、それぞれが遠く離れていても、撮影画像や状態推定モデルをやりとりできる。

【0023】

状態推定システムは、情報処理装置に状態推定プログラムを実行させて構成する。この場合、情報処理装置は、状態推定モデルを構築させた情報処理装置でも、別に用意された情報処理装置でもよい。状態推定プログラムを実行させる情報処理装置は、状態学習プログラムを実行させて状態推定モデルを構築することにより、自己完結した状態推定システムを構成する。また、状態推定プログラムを実行させる情報処理装置は、別に構築された状態推定モデルの提供を受けて、撮影画像だけを取得し、人物の状態推定だけをする状態推定システムを構成してもよい。

【図面の簡単な説明】

【0024】

【図1】本発明の状態推定システムの一例を設置した部屋を表す斜視図である。

【図2】本例の状態推定システムを表す斜視図である。

【図3】本例の状態推定システムにおける状態学習プログラムの手順を表すフローチャートである。

【図4】ラベル「立つ」の教師データを生成する手順を表す概念図である。

【図5】ラベル「座る」の教師データを生成する手順を表す概念図である。

【図6】ラベル「寝る」の教師データを生成する手順を表す概念図である。

【図7】ラベル「うずくまる」の教師データを生成する手順を表す概念図である。

【図8】本例の状態推定システムにおける状態学習プログラムの手順を表すフローチャートである。

【図9】本発明の状態推定システムの別例１を設置した部屋を表す斜視図である。

【図10】本発明の状態推定システムの別例２を設置した部屋を表す斜視図である。

【図11】推定モデルの構築と状態推定とを別の部屋で実施するシステム構成の別例３を表すブロック図である。

【図12】推定モデルの構築と状態推定とを別の部屋で実施するシステム構成の別例４を表すブロック図である。

【発明を実施するための形態】

【0025】

以下、本発明を実施するための形態について図を参照しながら説明する。本発明の状態推定システム１は、例えば図１に見られるように、見守りシステムとして、見守り対象となる人物がいる部屋２に設置される。部屋２は、壁面22、床面23及び天井面21で囲まれた直方体形状の閉鎖空間である。状態推定システム１は、部屋２の出入り口25を有する壁面22に直行する壁面22（図１中右側の壁面22）の左右中央に配置している。本例の部屋２は、床面23の縦及び横が約５m、天井面21までの高さが約2.5mで、出入り口25の正面位置に壁面22から少し離してベッド24を置いた閉鎖空間である。

【0026】

本例の状態推定システム１は、図２に見られるように、情報処理装置であるエッジコンピュータ13と一体化した第１カメラ11と、エッジコンピュータ13から直上に延びる連結ステー14に支持される第２カメラ12とから構成される。これにより、第１カメラ11、第２カメラ12及びエッジコンピュータ13は、装置として一体化されており、連結ステー14を壁面22に固定することにより、全体が一度に壁面22に取り付けられる。

【0027】

第１カメラ11及び第２カメラ12は、連結ステー14を介して位置関係（両者の水平位置や両者の高さ方向間隔）が固定され、またそれぞれの第１光軸111及び第２光軸112も固定されている。本例の第１カメラ11は、床面23から約1.3m（見守り対象となる高齢者の目線高さ）で、取り付けた壁面22に直交して水平方向に第１光軸111を向けている。本例の第２カメラ12は、第１カメラ11から約１m直上にあり、取り付けた壁面22に直交しながら、約45度の下方斜め方向に第２光軸121を向けている。

【0028】

第１カメラ11及び第２カメラ12とエッジコンピュータ13とは、信号線（有線）により信号接続され、第１カメラ11及び第２カメラ12の動画の全フレーム又はサンプリングされたフレームが撮影画像としてエッジコンピュータ13に取り込まれる。第２カメラ12とエッジコンピュータ13とを繋ぐ信号線は、連結ステー14を通している。また、エッジコンピュータ13が給電線により部屋２のコンセント（図示略）から給電され、エッジコンピュータ13から信号線に沿って延びる給電線により第１カメラ11及び第２カメラ12が給電される。

【0029】

エッジコンピュータ13は、第１カメラ11及び第２カメラ12から撮影画像を取り込み、学習段階では状態推定モデル６を構築し、状態推定段階では状態推定モデル６により状態推定する。状態推定モデル６の構築は、内部記憶装置又は外部記憶装置（図示略）にインストールされた状態学習プログラムを実行するエッジコンピュータ13の状態学習方法による。状態推定モデル６は、内部記憶装置又は外部記憶装置に保存される。また、人物の状態推定は、内部記憶装置又は外部記憶装置にインストールされた状態推定プログラムを実行しての状態推定方法による。

【0030】

本例のエッジコンピュータ13は、外部への通知手段（図示略）を内蔵し、状態推定の結果、状態異常と判断された場合、見守り対象の人物（例えば高齢者）の家族又は施設従業者の送受信装置（例えばスマートフォン）３に、通知手段から状態異常が通知される。このとき、自動又は通知を契機とした家族又は施設従業者の操作により、送受信装置３から通知手段を介してエッジコンピュータ13を操作し、第１カメラ11又は第２カメラ12の撮影画像をそのまま閲覧できるようにするとよい。これにより、常態として監視対象である人物の撮影画像を閲覧不可としてはプライバシーの保護を図りつつ、状態異常があれば家族又は施設従業者が撮影画像を直接閲覧して状態異常を確認できる。

【0031】

状態推定モデル６は、多数のモデルデータ46a,46b,46c,46dそれぞれに「立つ」、「座る」、「寝る」、「うずくまる」いずれかのラベル4a,4b,4c,4dを付した教師データ5a,5b,5c,5dを機械学習させて構築される（図２中の状態推定モデル６は、あくまでもイメージ）。機械学習自体は、従来公知の各種学習モデル（例えばEfficientNet-B0）が利用できる。使用する撮影画像の枚数は、教師データを分類するラベルの種類の数による。例えば本例のように４種類のラベルの場合、それぞれ均等割合で総数3600枚ぐらいあればよい。

【0032】

本例の状態推定システム１による状態学習方法は、例えば図３に見られるフローチャートに従って、モデルデータ46a,46b,46c,46dにラベル4a,4b,4c,4dを付した教師データ5a,5b,5c,5dを機械学習により、状態推定モデル６を構築させる。学習用第１ステップLS1は、エッジコンピュータ13に第１カメラ11及び第２カメラ12の撮影画像を取り込ませる。撮影画像は、既述したように、動画の全フレーム又はサンプリングされたフレームである。

【0033】

学習用第２ステップLS2は、取得させた撮影画像から骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを作り出す。ここで、撮影画像から骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータが作り出されれば、画像処理の手順は限定されない。本例の学習用第２ステップLS2は、モデル画像の生成ステップLS21、モデルデータの生成ステップLS22の順に実行される。

【0034】

「立つ」ラベル4aが付されるモデルデータ45aは、図４に見られる手順により生成される。学習用第１ステップLS1は、例えば部屋２の中央付近に立った状態の人物を含めて撮影された第１カメラ11の第１撮影画像41aと第２カメラ12の第２撮影画像42aとをエッジコンピュータ13に取得させる。モデル画像の生成ステップLS21は、第１撮影画像41a及び第２撮影画像42aから、撮影画像に同じ大きさの白色画像中に第１骨格モデル431a及び第２骨格モデル441aと第１ベッド輪郭432a及び第２ベッド輪郭442aとが表示された第１モデル画像43a及び第２モデル画像44aを生成する。

【0035】

第１モデル画像43a及び第２モデル画像44aは、第１撮影画像41a及び第２撮影画像42a中の人物411a,421aを含め、画像が背景として削除され、第１骨格モデル431a及び第２骨格モデル441aと後述する第１ベッド輪郭432a及び第２ベッド輪郭442aのみが表示される画像データで、第１撮影画像41a及び第２撮影画像42aに比べるとデータ量が低減されている。

【0036】

本例のモデル画像の生成ステップLS21は、第１撮影画像41a及び第撮影画像41bの物体を検出し、人物と評価される物体から第１骨格モデル431a及び第２骨格モデル441aを生成する。物体の検出や骨格モデルの生成は、従来公知の各種手段（例えば物体検出にYOLOv5、骨格モデルの生成にevopose2d）が利用できる。本例は、モデル画像の生成ステップLS21において、物体検出を利用して、第１ベッド輪郭432a及び第２ベッド輪郭442aを検出している。本例の場合、第１ベッド輪郭432a及び第２ベッド輪郭442aは状態推定の状態異常を判別する際に用いるため、状態推定モデル６の構築に際して第１ベッド輪郭432a及び第２ベッド輪郭442aを検出しなくてもよい。

【0037】

モデルデータの生成ステップLS22は、第１モデル画像43a及び第２モデル画像44aを横並びに合成し、１枚の画像データ中に第１骨格モデル451a及び第２骨格モデル453a、第１ベッド輪郭452a及び第２ベッド輪郭454aのみが表示されたモデルデータ46aを生成する。本例のモデルデータ46aは、向かって右側に第１カメラ11から得られた骨格モデル451a及びベッド輪郭452aが表示され、向かって左側に第２カメラ12から得られた骨格モデル453a及びベッド輪郭454aが表示されているが、左右が逆でもよい。

【0038】

既述したように、第１モデル画像43a及び第２モデル画像44aはデータ量が低減されているから、生成されたモデルデータ45aのデータ量も少ない。しかし、モデルデータ45aは、同じ状態の人物を違う位置及び方向から撮影された骨格モデル451a,453aを含んでおり、単数の骨格モデルのみの場合と比べ、人物の位置情報や高さ情報をより多く含む。図４に見られる第１撮影画像41a及び第撮影画像42aは、人物411a,421aの単純な立ち姿勢の例である。実際の機械学習では、人物の位置や立ち姿勢を変えて撮影され、「立つ」ラベル4aが付された多数のモデルデータ46aが生成される。

【0039】

「座る」ラベル4bを付すモデルデータ46bは、図５に見られる手順により生成される。学習用第１ステップLS1は、例えば部屋２の中央付近で椅子に座った状態の人物を含めて撮影された第１カメラ11の第１撮影画像41bと第カメラ12の第２撮影画像42bとをエッジコンピュータ13に取得させる。モデル画像の生成ステップLS21は、第１撮影画像41b及び第撮影画像42bから、撮影画像に同じ大きさの白色画像中に第１骨格モデル431b及び第２骨格モデル441bと第１ベッド輪郭432b及び第２ベッド輪郭442bとが表示された第１モデル画像43b及び第２モデル画像44bを生成する。

【0040】

本例のモデル画像の生成ステップLS21は、従来公知の物体の検出手段や骨格モデルの生成手段を利用して、第１撮影画像41b及び第２撮影画像42bの物体を検出し、人物と評価される物体から第１骨格モデル431b及び第２骨格モデル441bを生成し、またベッドと評価される物体の第１ベッド輪郭432b及び第２ベッド輪郭442bを検出している。本例の場合、第１ベッド輪郭432b及び第２ベッド輪郭442bは状態推定の状態異常を判別する際に用いるため、状態推定モデル６の構築に際して第１ベッド輪郭432b及び第２ベッド輪郭442bを検出しなくてもよい。

【0041】

モデルデータの生成ステップLS22は、第１モデル画像43b及び第２モデル画像44bを横並びに合成し、第１骨格モデル451b及び第２骨格モデル453b、第１ベッド輪郭452b及び第２ベッド輪郭454bのみが表示されたモデルデータ46bを生成する。モデルデータ46bはデータ量が少ないが、人物の位置情報や高さ情報をより多く含む。図５に見られる第１撮影画像41b及び第撮影画像42bは、人物411b,421bが椅子に座った姿勢の一例である。実際の機械学習では、人物の位置や椅子を変えて複数撮影され、「座る」ラベル4bが付された多数のモデルデータ46bが生成される。

【0042】

「寝る」ラベル4cを付すモデルデータ46cは、図６に見られる手順により生成される。学習用第１ステップLS1は、例えば部屋２の隅のベッドに寝た状態の人物を含めて撮影された第１カメラ11の第１撮影画像41cと第２カメラ12の第２撮影画像42cをエッジコンピュータ13に取得させる。モデル画像の生成ステップLS21は、第１撮影画像41c及び第撮影画像42cから、撮影画像に同じ大きさの白色画像中に第１骨格モデル431c及び第２骨格モデル441cと第１ベッド輪郭432c及び第２ベッド輪郭442cとが表示された第１モデル画像43c及び第２モデル画像44cを生成する。

【0043】

本例のモデル画像の生成ステップLS21は、従来公知の物体の検出手段や骨格モデルの生成手段を利用して、第１撮影画像41c及び第２撮影画像42cの物体を検出し、人物と評価される物体から第１骨格モデル431c及び第２骨格モデル441cを生成し、またベッドと評価される物体の第１ベッド輪郭432c及び第２ベッド輪郭442cを検出している。本例の場合、第１ベッド輪郭432c及び第２ベッド輪郭442cは状態推定の状態異常を判別する際に用いるため、状態推定モデル６の構築に際して第１ベッド輪郭432c及び第２ベッド輪郭442cを検出しなくてもよい。

【0044】

モデルデータの生成ステップLS22は、第１モデル画像43c及び第２モデル画像44cを横並びに合成し、第１骨格モデル451c及び第２骨格モデル453c、第１ベッド輪郭452c及び第２ベッド輪郭454cのみが表示されたモデルデータ46cを生成する。モデルデータ46cはデータ量が少ないが、人物の位置情報や高さ情報をより多く含む。図６に見られる第１撮影画像41c及び第撮影画像42cは、人物411c,421cがベッドに横たわった姿勢の一例である。実際の機械学習では、人物の位置をベッド内外に変えたり、横たわり姿勢を変えたりして複数撮影され、「寝る」ラベル4cが付された多数のモデルデータ46cが生成される。

【0045】

「うずくまる」ラベル4dを付すモデルデータ46dは、図７に見られる手順で生成される。学習用第１ステップLS1は、例えば部屋２の中央付近にうずくまった状態の人物を含めて撮影された第１カメラ11の第１撮影画像41dと第２カメラ12の第２撮影画像42dをエッジコンピュータ13に取得させる。モデル画像の生成ステップLS21は、第１撮影画像41d及び第撮影画像42dから、撮影画像に同じ大きさの白色画像中に第１骨格モデル431d及び第２骨格モデル441dと第１ベッド輪郭432d及び第２ベッド輪郭442dとが表示された第１モデル画像43d及び第２モデル画像44dを生成する。

【0046】

本例のモデル画像の生成ステップLS21は、従来公知の物体の検出手段や骨格モデルの生成手段を利用して、第１撮影画像41d及び第２撮影画像42dの物体を検出し、人物と評価される物体から第１骨格モデル431d及び第２骨格モデル441dを生成し、またベッドと評価される物体の第１ベッド輪郭432d及び第２ベッド輪郭442dを検出している。本例の場合、第１ベッド輪郭432d及び第２ベッド輪郭442dは状態推定の状態異常を判別する際に用いるため、状態推定モデル６の構築に際して第１ベッド輪郭432d及び第２ベッド輪郭442dを検出しなくてもよい。

【0047】

モデルデータの生成ステップLS22は、第１モデル画像43d及び第２モデル画像44dを横並びに合成し、第１骨格モデル451d及び第２骨格モデル453d、第１ベッド輪郭452d及び第２ベッド輪郭454dのみが表示されたモデルデータ46cを生成する。モデルデータ46dはデータ量が少ないが、人物の位置情報や高さ情報をより多く含む。図７に見られる第１撮影画像41d及び第撮影画像42dは、人物411d,421dが膝を抱えてうずくまった姿勢の一例である。実際の機械学習では、人物の位置を変えたり、横たわり、うずくまり方を変えたりして複数撮影され、「うずくまる」ラベル4dが付された多数のモデルデータ46dが生成される。

【0048】

状態推定モデル６は、機械学習のために撮影された撮影画像41a～41d,42a～42dから生成されるモデルデータ4a,4b,4c,4dそれぞれにラベル4a,4b,4c,4dを付して得られる多数の教師データ5a,5b,5c,5dを機械学習させて構築される。状態推定モデル６は、状態推定のために取得された撮影画像から生成されるモデルデータ4a,4b,4c,4dを入力させて状態推定する一方、推定結果が正しければ、推定されたラベル4a,4b,4c,4dを前記モデルデータ4a,4b,4c,4dに付して教師データ5a,5b,5c,5dとし、機械学習させて更新させるようにしてもよい。

【0049】

本例の状態推定システム１による状態推定方法は、例えば図８に見られるフローチャートに従って、撮影画像から得られたモデルデータ46a,46b,46c,46dを状態推定モデル６に入力し、推定された状態から状態異常を判別する。状態異常が判別されれば外部の送受信装置２に状態異常を通知する。推定用第１ステップES1は、エッジコンピュータ13に第１カメラ11及び第２カメラ12の撮影画像を取り込ませる。撮影画像は、既述したように、動画の全フレーム又はサンプリングされたフレームである。

【0050】

推定用第２ステップES2は、取得させた撮影画像から骨格モデルのみを表示した複数のモデル画像を一体としたモデルデータを作り出す。本例の推定用第２ステップES2は、学習用第２ステップLS2同様、モデル画像の生成ステップES21、モデルデータの生成ステップES22の順に実行する。「立つ」ラベル4aが付されるモデルデータ45aは図４に見られる手順により、「座る」ラベル4bを付すモデルデータ46bは図５に見られる手順により、「寝る」ラベル4cを付すモデルデータ46cは図６に見られる手順により、そして「うずくまる」ラベル4dを付すモデルデータ46d、図７に見られる手順により、それぞれ生成される。このほか、モデルデータ46a～46dは、第１ベッド輪郭452a～452d及び第２ベッド輪郭454a～454dを含んでいる。

【0051】

状態推定は、得られたモデルデータ46a～46dを状態推定モデル６に入力して実行される。本例の場合、判別１：「立つ」及び「座る」を正常、判別２：ベッドでの「寝る」を正常、ベッド以外での「寝る」を状態異常、そして判別３：「うずくまる」を状態異常と判別する。例えばモデルデータ46a～46dから人物が「立つ」及び「座る」と推定されれば、判別１により正常と判別される。また、モデルデータ46a～46dからから人物が「うずくまる」と推定されれば、判別３により状態異常と判別される。そして、モデルデータ46a～46dから人物が「寝る」と推定され、かつ骨格モデル451a～451d,453a～453dとベッド輪郭452a～452d,454a～454dとが重なれば判別２により正常、重なっていなければ判別２により状態異常と判別される。

【0052】

本例の状態推定システム１は、状態推定により人物の状態が正常と判別されれば、状態推定を繰り返し、人物の見守りを続ける。しかし、本例の状態推定システム１は、状態推定により人物の状態が状態異常と判別されれば、通知手段を用いて外部の送受信装置へ状態異常を通知する。送受信装置３に状態異常の通知を受けた家族又は施設従事者は、送受信装置３からエッジコンピュータ13を操作し、第１カメラ11又は第２カメラ12の撮影画像をそのまま閲覧し、具体的な状態異常を確認できる。このほか、状態異常を判別した際の対応は、従来公知の見守りシステムに用いられている各種手段が利用できる。

【0053】

本発明の状態推定システム１は、同じ撮影範囲を撮影する複数のカメラがあればよく、カメラの配置や数に制限がない。例えば別例１の状態推定システム１は、図９に見られるように、第１カメラ11はエッジコンピュータ13と一体化された本例（図１参照）と同じであるが、第２カメラ12は天井面21の中央に配置し、第２光軸121を鉛直方向に向けている。第１光軸111及び第２光軸121は、部屋２の中央で交差している。第２カメラ12とエッジコンピュータ13とは、無線により信号接続するとよい。天井面21に設置した第２カメラ12は、高さ位置情報が少なくなる代わり、水平位置情報を多く含む撮影画像を撮影する。天井面21に設置した第２カメラ12は、水平方向に遮蔽物が多い場合に有効である。

【0054】

また、別例２の状態推定システム１は、図10に見られるように、別例１の第１カメラ11及び第２カメラ12に加えて、第１カメラ11と直交する壁面22に第３カメラ15を配置している。第３カメラ15は、壁面22の左右中央に、第１カメラ11と同じ高さで固定され、第３光軸151を壁面22に直行させて水平方向を向けている。これにより、第１光軸111、第２光軸121及び第３光軸151は、部屋２の中央で交差している。別例２の状態推定システム１は、第１カメラ11及び第３カメラ15が互いの死角を補って、撮影画像に含まれる人物の水平位置情報の低減又は欠落を防ぎ、結果として状態推定の精度を向上させる。

【0055】

本発明の状態推定システム１は、状態推定モデル６を構築する撮影範囲と、状態推定を実行する撮影範囲とが、それぞれに配置するカメラの数と位置関係が同じであれば、別に存在しても構わない。例えば図11に見られるシステム構成の別例３では、同じ大きさの部屋2a,2bを用意し、同じ位置関係で状態推定システム１を設置している。部屋2bでは、ベッドを置かず、状態推定システム１を利用して状態推定モデル６を構築させる。構築された状態推定モデル６は、人物を見守る部屋2aの状態推定システム１にインターネット７を介して提供され、部屋2aで見守られている人物の状態推定が実行される。

【0056】

別例３のシステム構成では、状態推定モデル６の構築に用いる部屋2bからベッドをはじめとした調度品をなくし、純粋に人物の状態だけで撮影画像を取得することにより、骨格モデルの欠落がなく、状態推定しやすい状態推定モデル６が構築できる。ここで、見守る人物のいる部屋2aにベッド24があるが、状態推定から状態異常を判別する際、ベッド24の存在を検出し、骨格モデルとの重なり具合から状態異常を判別するようにすれば、状態推定モデル６の構築に際するベッドの有無は関係なくなる。

【0057】

また、別例３のシステム構成は、ベッドのない部屋2bの状態推定システム１で撮影画像だけを取得し、インターネット７上に配置したサーバ装置８に撮影画像を集めて状態推定モデル６を構築させることもできる。この場合、見守り対象の人物のいる部屋2aの状態推定システム１は、サーバ装置８から提供された状態推定モデル６を用いて状態推定させたり、サーバ装置８へ撮影画像を送り、サーバ装置８で状態推定させて状態異常の結果だけをサーバ装置８から受信したりできる。

【0058】

このように、本発明の状態推定システム１は、状態推定モデル６の構築や状態推定のいずれかを実行させたり、更には状態推定モデル６の構築と状態推定を分散させて実行させたりできる。例えば図12に見られる別例４のシステム構成は、見守り対象の人物がいる部屋2c～2fそれぞれに状態推定システム１を配置し、それぞれから取得した撮影画像を、インターネット７を通じてサーバ装置８に集約させて状態推定モデル６を構築及び更新させながら、状態推定モデル６を各部屋2c～2fの状態推定システム１に提供して個々に状態推定させたり、サーバ装置８で状態推定させた結果を各部屋2c～2fの状態推定システム１に送信したりできる。

【符号の説明】

【0059】

１ 状態推定システム
11 第１カメラ
111 第１光軸
12 第２カメラ
112 第２光軸
13 エッジコンピュータ
14 連結ステー
15 第３カメラ
151 第３光軸
２ 部屋（閉鎖空間）
２a～２f 別の部屋
３ 送受信装置
４a ラベル「立つ」
41a 第１撮影画像
42a 第２撮影画像
43a 第１モデル画像
44a 第２モデル画像
45a モデルデータ
４b ラベル「座る」
41b 第１撮影画像
42b 第２撮影画像
43b 骨格モデルを加えた第１モデル画像
44b 骨格モデルを加えた第２モデル画像
45b モデルデータ
４c ラベル「寝る」
41c 第１撮影画像
42c 第２撮影画像
43c 骨格モデルを加えた第１モデル画像
44c 骨格モデルを加えた第２モデル画像
45c モデルデータ
４d ラベル「うずくまる」
41d 第１撮影画像
42d 第２撮影画像
43d 骨格モデルを加えた第１モデル画像
44d 骨格モデルを加えた第２モデル画像
45d モデルデータ
5a 教師データ（ラベル「立つ」）
5b 教師データ（ラベル「座る」）
5c 教師データ（ラベル「寝る」）
5d 教師データ（ラベル「うずくまる」）
６ 状態推定モデル
７ インターネット
８ サーバ装置
LS1 学習用第１ステップ
LS2 学習用第２ステップ
LS21 モデル画像作成ステップ
LS22 モデルデータ作成ステップ
LS３ 学習用第３ステップ
ES1 推定用第１ステップ
ES2 推定用第２ステップ
ES21 モデル画像作成ステップ
ES22 モデルデータ作成ステップ
ES３ 推定用第３ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】