特開 2023-182469 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182469

(43)【公開日】2023-12-26

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231219BHJP

【ＦＩ】

G06T7/00 660B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022096091

(22)【出願日】2022-06-14

(71)【出願人】

【識別番号】522091841

【氏名又は名称】リケナリシス株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】大関 敏之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA01

5L096FA09

5L096FA18

5L096FA62

5L096FA67

5L096FA69

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】対象者を管理する管理者の手間を増やすことなく寝転がった対象者それぞれを正確に識別する情報処理システムを提供する。
【解決手段】情報処理システム１０において、サーバ１００は、画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得する取得部と、人情報に基づいて、複数の寝転がった人それぞれを取り囲む画像上の範囲に関する情報である範囲情報を設定する範囲設定部と、範囲情報と、範囲に存する寝転がった人の人情報を識別可能な識別情報と、を関連付ける関連部と、画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、所定の範囲に寝転がった人の人情報に、所定の範囲に関する前記範囲情報に関連付けられている識別情報を設定する識別情報設定部と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得する取得部と、
前記人情報に基づいて、前記複数の寝転がった人それぞれを取り囲む前記画像上の範囲に関する情報である範囲情報を設定する範囲設定部と、
前記範囲情報と、前記範囲に存する前記寝転がった人の前記人情報を識別可能な識別情報と、を関連付ける関連部と、
前記画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、前記所定の範囲に寝転がった人の人情報に、前記所定の範囲に関する前記範囲情報に関連付けられている前記識別情報を設定する識別情報設定部と、
を含む情報処理システム。

【請求項2】

前記範囲設定部は、前記人情報に基づいて、前記範囲が前記画像上に固定されるよう前記範囲情報を設定する、
請求項１に記載の情報処理システム。

【請求項3】

前記範囲設定部は、前記所定の範囲に寝転がっている人が寝転がっていると認識されなくなったタイミングにおいて、当該タイミングにおける前記所定の範囲に寝転がっている人の人情報が示す位置に基づいて、前記所定の範囲が前記画像上に固定されるよう前記範囲情報を設定する、
請求項１に記載の情報処理システム。

【請求項4】

前記取得部は、ユーザの操作入力に基づき設定される、前記所定の範囲に寝転がった人の名称を示す情報である名称情報を取得し、
前記関連部は、前記識別情報と、前記名称情報と、を関連付け、
前記情報処理システムは、
前記識別情報に関連付けられた前記名称情報を、前記所定の範囲に寝転がった人に関連付けて表示部に表示させる表示処理部をさらに備える、
請求項１から請求項３のいずれか一項に記載の情報処理システム。

【請求項5】

前記表示処理部は、前記関連部において前記識別情報と前記名称情報とが関連付けられていない場合、前記所定の範囲内に寝転がった人に前記名称情報が関連付けられていないことを示すオブジェクトを表示部に表示させる、
請求項４に記載の情報処理システム。

【請求項6】

前記取得部は、前記所定の範囲に寝転がる人の人情報に基づき特定される、前記所定の範囲に寝転がった人が向いている方向に関する情報を取得し、
前記表示処理部は、前記名称情報と、前記所定の範囲に寝転がった人が向いている方向と、を関連付けて表示部に表示させる、
請求項５に記載の情報処理システム。

【請求項7】

コンピュータが、
画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得することと、
前記人情報に基づいて、前記複数の寝転がった人それぞれを取り囲む前記画像上の範囲に関する情報である範囲情報を設定することと、
前記範囲情報と、前記範囲に存する前記寝転がった人の前記人情報を識別可能な識別情報と、を関連付けることと、
前記画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、前記所定の範囲に寝転がった人の人情報に、前記所定の範囲に関する前記範囲情報に関連付けられている前記識別情報を設定することと、
を実行する情報処理方法。

【請求項8】

コンピュータに、
画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得することと、
前記人情報に基づいて、前記複数の寝転がった人それぞれを取り囲む前記画像上の範囲に関する情報である範囲情報を設定することと、
前記範囲情報と、前記範囲に存する前記寝転がった人の前記人情報を識別可能な識別情報と、を関連付けることと、
前記画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、前記所定の範囲に寝転がった人の人情報に、前記所定の範囲に関する前記範囲情報に関連付けられている前記識別情報を設定することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

複数の対象者の睡眠時の身体の姿勢データを収集して、時系列に姿勢データを出力するシステムが開示されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１０５２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の睡眠チェックシステムは、複数の対象者それぞれに取り付けられた姿勢を検知するセンサによって身体の向きを示す姿勢データを収集して、複数の対象者それぞれの時系列の姿勢データを表示する。

【0005】

すなわち、当該睡眠チェックシステムでは、対象者に対してセンサを取り付けることによって対象者を識別して対象者それぞれの姿勢データを収集するため、対象者それぞれに所定のセンサを取り付けるという手間を増やすという問題が生じる。さらには、例えば対象者が動きの活発な園児である場合、対象者それぞれにセンサを取り付けることは保育士にとって多大な手間となる。

【0006】

そこで、本発明は、対象者を管理する管理者の手間を増やすことなく寝転がった対象者それぞれを正確に識別する情報処理システムを提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係る情報処理システムは、画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得する取得部と、前記人情報に基づいて、前記複数の寝転がった人それぞれを取り囲む前記画像上の範囲に関する情報である範囲情報を設定する範囲設定部と、前記範囲情報と、前記範囲に存する前記寝転がった人の前記人情報を識別可能な識別情報と、を関連付ける関連部と、前記画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、前記所定の範囲に寝転がった人の人情報に、前記所定の範囲に関する前記範囲情報に関連付けられている前記識別情報を設定する識別情報設定部と、を含む。

【0008】

本発明の一態様に係る情報処理方法は、コンピュータが、画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得することと、前記人情報に基づいて、前記複数の寝転がった人それぞれを取り囲む前記画像上の範囲に関する情報である範囲情報を設定することと、前記範囲情報と、前記範囲に存する前記寝転がった人の前記人情報を識別可能な識別情報と、を関連付けることと、前記画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、前記所定の範囲に寝転がった人の人情報に、前記所定の範囲に関する前記範囲情報に関連付けられている前記識別情報を設定することと、を実行する。

【0009】

本発明の一態様に係るプログラムは、コンピュータに、画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得することと、前記人情報に基づいて、前記複数の寝転がった人それぞれを取り囲む前記画像上の範囲に関する情報である範囲情報を設定することと、前記範囲情報と、前記範囲に存する前記寝転がった人の前記人情報を識別可能な識別情報と、を関連付けることと、前記画像上の範囲のうち所定の範囲に寝転がっている人が寝転がっていると認識されなくなった後、前記所定の範囲に寝転がった人の人情報に、前記所定の範囲に関する前記範囲情報に関連付けられている前記識別情報を設定することと、を実行させる。

【発明の効果】

【0010】

本発明によれば、対象者を管理する管理者の手間を増やすことなく寝転がった対象者それぞれを正確に識別する情報処理システムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】情報処理システムの構成を示す図である。

【図2】情報処理システムを構成する各種装置の機能構成の一例を示す構成図である。

【図3】関連情報Ｄ１１１を示す図である。

【図4】姿勢情報Ｄ１１２を示す図である。

【図5】部屋で寝転んでいる園児が映る画面Ｔ１の画面例である。

【図6】午睡チャートを示す画面Ｔ２の画面例である。

【図7】情報処理システムの処理手順を示すフローチャートである。

【図8】コンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0013】

＝＝＝情報処理システム１０＝＝＝
＜＜概要＞＞
図１を参照して、第１実施形態に係る情報処理システム１０の構成について説明する。図１は、情報処理システム１０の構成を示す図である。

【0014】

情報処理システム１０は、例えば、画像から取得される複数の寝転がった人それぞれに関する情報（以下、「人情報」という。）に基づき、寝転がった人それぞれに適切に識別情報を付与する。

【0015】

具体的には、情報処理システム１０は、例えば、画像上の所定の範囲に寝転がった人に識別情報を設定し、その後、当該所定の範囲に寝転がった人には同一の識別情報を再度設定する。換言すると、情報処理システム１０は、画像上から一端外れて当初と同じ範囲に戻ってきた画像に映る寝転がった人に対しては当初と同じ識別情報を再設定する。これまで、画像上から一端外れた人が戻ってきた場合、当該人には新しい識別情報が設定されるため、管理者はその都度、当該人に対して当初と同じ識別情報を再設定する必要があった。これに対して、情報処理システム１０では、同じ範囲に寝転がった人に同一の識別情報を自動的に設定するため、管理者が識別情報を再設定する作業を縮減できる。

【0016】

寝転がった人とは、例えば、保育園で寝ている（午睡している）園児や、養老施設で寝ている老人などを含む。以下、一例として、寝転がった人を保育園で寝ている園児として説明する。

【0017】

人情報とは、例えば、画像から取得される人における、目の位置などの顔のパーツを示す情報、手や肩などの関節を示す情報、重心や中心点を示す情報などである。すなわち、人情報は、画像から取得し得る情報であって、人であることを判別し得る情報であればよい。具体的には、人情報は、例えば、顔のパーツそれぞれの座標、関節の座標、重心や中心点の座標であることが好適である。

【0018】

また、情報処理システム１０は、例えば、園児の体の向きやその経時変化を、自治体に提出する所定の様式にしたがって記録する機能を有する。以下、一例として、所定の様式を園児の「午睡チャート」として説明する。「午睡チャート」については後述する。

【0019】

情報処理システム１０は、例えば、これまでは保育士による手入力によって作成していた午睡チャートを自動的に作成するため、保育士の手間を縮減できる。

【0020】

図１に示すように、情報処理システム１０は、例えば、サーバ１００と、管理端末２００と、カメラ装置３００とを含み、これらがネットワークＮを介して接続される。サーバ１００は、ネットワークＮを介して、管理端末２００及びカメラ装置３００から各種情報を取得する。なお、ネットワークＮに接続されるサーバ１００、管理端末２００及びカメラ装置３００の数は限定されない。

【0021】

ネットワークＮは、管理端末２００がサーバ１００に接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。ネットワークＮのうちの１つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよい。

【0022】

サーバ１００は、例えば、人情報に基づき午睡チャートを適切に生成する装置である。サーバ１００は、限定でなく例として、サーバコンピュータ、パーソナルコンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ（Personal Digital Assistant）、電子メールクライアントなど）、あるいは他種のコンピュータ、またはコミュニケーションプラットホームを含む。

【0023】

管理端末２００は、例えば、管理者である保育士が操作する端末である。管理端末２００は、例えば、保育士の操作入力を受け付けて、午睡チャートを表示部に表示させる。管理端末２００は、各実施形態において記載する機能を実現できる情報処理装置（コンピュータ）であればどのような情報処理装置であってもよい。管理端末２００は、限定ではなく例として、スマートフォン、携帯電話（フィーチャーフォン）、パーソナルコンピュータ（例えば、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ、電子メールクライアントなど）、ウェアラブル端末（メガネ型デバイス、時計型デバイスなど）、他種のコンピュータ、またはコミュニケーションプラットホームを含む。

【0024】

カメラ装置３００は、例えば、保育園の室内に設置され、室内を映した画像をサーバ１００に随時送信する。カメラ装置３００は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（不図示）、撮像素子において電気的に取得した画像を処理する機能を有する装置であればよい。また、カメラ装置３００は、該画像を記録、他の装置と通信する機能を有する。

【0025】

＜＜サーバ１００＞＞
図２を参照して、情報処理システム１０の機能構成について説明する。図２は、情報処理システム１０を構成する各種装置の機能構成の一例を示す構成図である。

【0026】

図２に示すように、サーバ１００は、例えば、記憶部１１０、取得部１２０、推論部１３０、第１識別情報設定部１４０、範囲設定部１５０、関連部１６０、第２識別情報設定部１８０、表示処理部１９０の機能部を備える。

【0027】

記憶部１１０は、例えば、関連情報Ｄ１１１と、姿勢情報Ｄ１１２とを含む。記憶部１１０に格納される情報は、例えば後述する各機能部から取得される情報である。

【0028】

図３を参照して、関連情報Ｄ１１１について説明する。図３は、関連情報Ｄ１１１を示す図である。図３に示すように、関連情報Ｄ１１１は、例えば、［園児ＩＤ］、［人情報］、［固有範囲］、［名称］の項目を含んでいてもよい。［園児ＩＤ］には画像に映る各園児を一意に特定可能な園児ＩＤが格納される。［人情報］には、所定の時間間隔で取得される人情報の座標であって、少なくとも現在の人情報の座標が格納される。なお、例えば、［人情報］に格納される人情報の座標は、時間（例えば時刻）とともに所定の時間間隔で追加して格納されてもよい。［固有範囲］には例えば固有範囲を形成し得る４つの座標（例えば固有範囲の四隅の座標）が記憶される。なお、例えば、固有範囲が円形である場合、［固有範囲］には円の中心の座標と半径が記憶されてもよい。［名称］には園児の名前が記憶される。

【0029】

図４を参照して、姿勢情報Ｄ１１２について説明する。図４は、姿勢情報Ｄ１１２を示す図である。図４に示すように、姿勢情報Ｄ１１２は、例えば、［園児ＩＤ］、［名称］、［姿勢］の項目を含んでいてもよい。［園児ＩＤ］及び［名称］は、関連情報Ｄ１１１の［園児ＩＤ］及び［名称］と同じ内容であってそれぞれが関連付けられている。［姿勢］は、例えば、時刻と、それぞれの時刻における園児の体の向きに関する情報（以下、「姿勢情報」という。）が格納されている。

【0030】

取得部１２０は、例えば、他装置から各種情報を取得する。取得部１２０は、例えば、保育士の操作入力に基づき送信される情報を管理端末２００から取得する。また、取得部１２０は、寝ている園児が映る画像をカメラ装置３００から取得する。

【0031】

推論部１３０は、例えば、寝ている園児が映る画像に基づいて、園児の人情報を生成する。具体的には、推論部１３０は、例えば画像に映る園児の顔のパーツや関節などの複数個所に対応する画像上の座標を生成する。また、推論部１３０は、例えば画像に映る園児の顔のパーツや関節などの座標に基づき園児の重心や中心点を示す画像上の座標を特定してもよい。中心点とは、例えば、園児の顔のパーツや関節の座標の中心となる座標であって、重心から統計学的に導き出される座標である。

【0032】

推論部１３０は、例えば、人情報に基づき寝転がった人の体の向きを特定する。具体的には、推論部１３０は、画像に映る園児の顔が検出できない場合、園児の体の向きが下側（うつぶせ寝）であると特定する。また、推論部１３０は、画像から園児の顔パーツ（関節であってもよい）を検出して、鼻、目、耳、口など顔パーツぞれぞれの座標に基づき園児の体も向きを特定してもよい。例えば、推論部１３０は、右目および左目が画像上で見えない場合（例えば、右目および左目に対応する画像上の座標が検出されない場合）、園児がうつ伏せであると判定してもよい。また、推論部１３０は、顔パーツそれぞれのスコアから園児の体の向き判定してもよい。なお、推論部１３０における寝転がった人の体の向きの特定方法は上記に限定されない。

【0033】

推論部１３０は、人情報及び特定された人の体の向きに関する姿勢情報を、後述する人情報に設定される識別情報に関係付けて記憶部１１０の関連情報Ｄ１１１及び姿勢情報Ｄ１１２に格納する。

【0034】

なお、推論部１３０は、例えば、寝転がった人が映る画像に基づき人情報を出力するように学習された学習済みモデルを含んでいてもよい。また、推論部１３０は、例えば、人情報に基づき寝転がった人の体の向きを特定するように学習された学習済みモデルを含んでいてもよい。

【0035】

なお、推論部１３０によって人情報が生成される例を説明したが、人情報が生成される態様はこれに限定されない。例えば、サーバ１００は、管理端末２００などの他の装置で生成される人情報を、当該他の装置から取得してもよい。

【0036】

また、推論部１３０がサーバ１００の機能部である例を説明したが、推論部１３０の態様はこれに限定されない。例えば、推論部１３０は、サーバ１００と異なる装置で実現される機能部であってもよい。この場合、サーバ１００は、当該異なる装置から人情報や体の向きに関する情報を取得する。

【0037】

第１識別情報設定部１４０は、例えば、推論部１３０で特定される人情報に、当該人情報に対応する寝転がった人を識別する識別情報を設定する。第１識別情報設定部１４０は、識別情報を記憶部１１０の関連情報Ｄ１１１に格納する。なお、第１識別情報設定部１４０は、例えば、寝転がった人に識別情報を設置するとともに、推論部１３０に替えて人情報に基づき寝転がった人の体の向きを特定してもよい。

【0038】

範囲設定部１５０は、例えば、人情報に基づき、複数の寝転がった人それぞれを取り囲む画像上の範囲（以下、「固有範囲」という。）に関する情報（以下、「範囲情報」という。）を設定する。

【0039】

固有範囲は、例えば、画像内で寝転がった人を取り囲む範囲であって、ソフトウェア上の仮想の線によって形成される範囲である。固有範囲は、例えば、画像上で占める面積が予め設定されていてもよい。具体的には、固有範囲は、例えば、広げられた一つの布団の面積よりも少し大きい範囲の面積を示すよう設定されてもよい。固有範囲は、仮想の線によって多角形や円形の範囲であり、例えば矩形の範囲であることが好適である。

【0040】

範囲情報は、例えば、固有範囲を仮想線で形成し得る情報である。具体的には、範囲情報は、例えば、固有範囲の四隅の画像上の座標を示す情報である。また、範囲情報は、例えば、固有範囲を仮想的に形成するための複数の点の座標を示す情報であってもよい。また、範囲情報は、例えば、寝転がった人における、頭の平面上側のスペースと、足の平面下側のスペースとのそれぞれが予め定められた基準を満たす固有範囲を示す情報であってもよい。

【0041】

以下では、一例として、範囲情報で示される４つの座標を仮想的に結んで矩形の固有範囲を仮想的に設定することとして説明する。以下において、単に「固有範囲」というときは範囲情報に基づき仮想的に設定され得る範囲をいう。また、以下において、「固有範囲に存する」というときは固有範囲内に相当する座標に対象物の位置を示す座標が存することをいう。

【0042】

すなわち、範囲設定部１５０は、例えば、寝転がった人それぞれの中心点の座標を基準として、寝転がった人それぞれを取り囲む仮想的な固有範囲を形成し得る四隅の座標を設定する。

【0043】

また、範囲設定部１５０は、例えば、固有範囲が画像上に固定されるよう範囲情報を設定してもよい。これにより、情報処理システム１０は、園児に対して固定された固有範囲を設定できるため、後述の第２識別情報設定部１８０において識別情報を再設定することができる。

【0044】

具体的には、範囲設定部１５０は、例えば、第１識別情報設定部１４０において人情報に識別情報を設定するときに、そのときの人情報に基づき固有範囲を固定して設定してもよい。

【0045】

また、範囲設定部１５０は、例えば、所定の固有範囲に寝転がっている人が寝転がっていると認識されなくなったタイミングにおいて、当該タイミングにおける所定の固有範囲に寝転がっている人の人情報に基づき、画像上に固定されるよう所定の固有範囲を設定してもよい。これにより、情報処理システム１０は、寝ているときに動きが活発な人（園児など）に対して適切な位置に固有範囲を設定できるため、後述の第２識別情報設定部１８０において識別情報を正確に再設定することができる。

【0046】

具体的には、範囲設定部１５０は、固有範囲に寝転がっている人が寝転がっていると認識されなくなった場合、画像上の所定の位置に固定される固有範囲を設定する。寝転がっていると認識されなくなった場合とは、固有範囲に寝転がっていた人が立ち上がった場合、固有範囲に寝転がっていた人が当該固有範囲の外に出た場合、又は固有範囲に寝転がっていた人が画像上において他人によって隠れた場合などである。

【0047】

なお、範囲設定部１５０は、例えば、管理者が園児における午睡チャート作成を開始して終了するまでの間、固有範囲を固定して設定してもよい。この点、範囲設定部１５０は、例えば、管理者によって予め設定された時間であって、例えば園児の午睡の時間（例えば１３時００分～１５時００分）、固有範囲を固定して設定してもよい。

【0048】

また、範囲設定部１５０は、例えば、固有範囲に寝転がっている人が寝転がっていると認識されなくなるまで、寝転がっている人の動きに応じて移動させるように固有範囲を設定してもよい。これにより、情報処理システム１０は、寝ているときに動きが活発な人（園児など）に対して適切な位置に固有範囲を設定できるため、後述の第２識別情報設定部１８０において識別情報を正確に再設定することができる。

【0049】

具体的には、範囲設定部１５０は、例えば、第１の時間における人情報（例えば中心点）が示す位置と、第１の時間よりも遅い第２の時間における人情報が示す位置とを比較して、所定の閾値を超える位置の変化があったか否かを判定する。範囲設定部１５０は、所定の閾値を超える位置の変化があったと判定された場合、第２の時間における人情報に基づき固有範囲を設定する。また、範囲設定部１５０は、所定の時間間隔で取得される人情報に基づき固有範囲を設定してもよい。

【0050】

関連部１６０は、例えば、固有範囲（範囲情報）と、第１識別情報設定部１４０において固有範囲に存する寝転がった人に設定された識別情報とを関連付ける。なお、関連部１６０は、固有範囲に、所定のユニークな識別符号又は園児が寝る布団に付される識別符号を関連付けてもよい。

【0051】

具体的には、関連部１６０は、例えば、固有範囲における四隅の座標を、寝転がった人に設定された識別情報に関連付けて、記憶部１１０の関連情報Ｄ１１１に格納する。

【0052】

また、関連部１６０は、例えば、管理端末２００に対する管理者の操作入力に基づいて管理端末２００から取得される園児の名称に関する情報（以下、「名称情報」という。）を、寝転がった人の識別情報に関連付けて関連情報Ｄ１１１に格納する。これにより、園児における、識別情報と、範囲情報と、名称情報とが関連付けられる。

【0053】

判定部１７０は、例えば、画像内に新たに検出された園児（人情報）が既に設定された固有範囲に寝転がったか否かを判定する。

【0054】

具体的には、判定部１７０は、園児が寝転がった位置の座標（例えば推論部１３０で生成された人情報が示す座標）が、範囲情報が示す固有範囲に存する場合、既に設定済みの固有範囲に園児が寝転がったと判定する。

【0055】

また、判定部１７０は、例えば、画像内の全ての園児（人情報）に名称情報が関連付けられているか否かを判定してもよい。これにより、情報処理システム１０は、名称が設定されていない園児がいることを迅速に管理者に通知できるため、情報漏れのない午睡チャートを生成することができる。

【0056】

具体的には、判定部１７０は、関連情報Ｄ１１１を参照して、「園児ＩＤ」項目の園児ＩＤ（例えば「０１」）に対応する「名称」項目に名称情報（例えば「Ａ君」）が格納されている場合、園児に名称情報が関連付けされていると判定する。

【0057】

第２識別情報設定部１８０は、例えば、画像上の所定の固有範囲に寝転がっている人が寝転がっていると認識されなくなった後、当該固有範囲に寝転がった人の人情報に、当該固有範囲（範囲情報）に関連付けられている識別情報を設定する。

【0058】

具体的には、第２識別情報設定部１８０は、関連部１６０において固有範囲の四隅の座標と識別情報（例えば「０１」）とが関連付けられた後、園児が立ち上がることによって人情報と固有範囲との関連付けが解除された後に園児が戻り、判定部１７０において当該固有範囲に園児が寝転がったと判定された場合、園児の人情報に当初に関連付けされた識別情報（ここでは「０１」）を設定する。

【0059】

なお、第２識別情報設定部１８０は、例えば、関連部１６０において関連付けがされた後、園児が所定の固有範囲から一度も出ていない場合、第１識別情報設定部１４０で設定された識別情報を、当該園児の人情報に設定されている状態を維持（設定）してもよい。

【0060】

ここで、上記の機能部を備える情報処理システム１０における従来の技術と比較した有利な効果について説明する。

【0061】

これまでは、園児が画像から外れて戻ってきた場合（又は園児が一時的に画像に映らなくなった後に再度映った場合）、園児の人情報に、当初設定された識別情報とは異なる識別情報が設定されるという問題を生じていた。そのため、管理者（例えば保育士）が当初の識別情報（又は名称情報）を手動で園児に再設定する必要があり、管理者の作業効率を低下させていた。

【0062】

これに対して、情報処理システム１０では、例えば、園児が画像から外れた後、園児が同じ布団（固有範囲）に戻ってきた場合、園児の人情報に、当初設定された識別情報及び名称情報と同一の識別情報及び名称情報を設定することができる。これは、関連部１６０において、固有範囲（範囲情報）と園児に設定された識別情報及び名称情報とを関連付けているため実現できる。これにより、園児が画像から一時的に画像上から見えなくなったとしても、管理者（例えば保育士）が識別情報を手動で園児に再設定する必要がなくなる。そのため、管理者の作業効率が向上される。

【0063】

表示処理部１９０は、例えば、上述した各機能部で生成される各種情報を、カメラ装置３００から取得される画像とともに、管理端末２００の表示部に表示させる。

【0064】

図５、図６を参照して、表示処理部１９０において生成される画面例について説明する。図５は、部屋で寝転んでいる園児が映る画面Ｔ１の画面例である。図６は、午睡チャートを示す画面Ｔ２の画面例である。なお、図５において、破線を画面上に表現しているものの、実際の画面には表れていなくてもよい。以下では一例として画面上に表現されていないものとして説明する。

【0065】

表示処理部１９０は、例えば、園児が寝転がっている部屋の様子を映す画面Ｔ１と、午睡チャートを示す画面Ｔ２とを生成する。

【0066】

図５に示すように、画面Ｔ１は、例えば、基準オブジェクトＧ１～Ｇ３と、名称オブジェクトＮ１～Ｎ３と、通知オブジェクトＷとを含む。

【0067】

基準オブジェクトＧ１～Ｇ３は、例えば園児Ｅ１～Ｅ３それぞれの重心や中心点など（人情報）を示す。基準オブジェクトＧ１～Ｇ３は、固有範囲を設定するための基準となる。なお、基準オブジェクトＧ１～Ｇ３は、重心や中心点を示すオブジェクトに限らず、顔のパーツや関節などの複数のポイントを示すオブジェクトであってもよい。

【0068】

名称オブジェクトＮ１～Ｎ３は、例えば園児Ｅ１～Ｅ３の名称を示す。それぞれの名称オブジェクトＮ１～Ｎ３は、関連情報Ｄ１１１に基づき、対応する基準オブジェクトＧ１～Ｇ３（人情報の座標）それぞれの近くに表示されるオブジェクトである。

【0069】

通知オブジェクトＷは、例えば固有範囲に寝転がった人に名称情報が関連付けられていないことを示すオブジェクトである。表示処理部１９０は、関連情報Ｄ１１１を参照して、園児ＩＤに対応する名称項目に名称が設定されていないと特定した場合、当該園児ＩＤに対応する基準オブジェクトの近くに通知オブジェクトＷを表示する。通知オブジェクトＷは、園児に名称が設定されていないことを管理者が視覚的に理解できるものであればよく、例えばクエスチョンマークや注意マークなどである。情報処理システム１０は、通知オブジェクトＷを管理者に対して表示することによって、管理者による作業ミスを抑制できる。これにより、園児に適切に名称が設定された午睡チャートが自動的に作成される。

【0070】

図６に示すように、画面Ｔ２は、例えば、記録日時表示領域Ｔ２１と、名称表示領域Ｔ２２と、寝姿勢表示領域Ｔ２３と、保育士表示領域Ｔ２４とを含む。記録日時表示領域Ｔ２１は、例えば記録日時を表示する領域である。名称表示領域Ｔ２２は、例えば、関連情報Ｄ１１１に基づき、姿勢情報Ｄ１１２の園児ＩＤに対応する名称情報（園児の名前）を表示する領域である。寝姿勢表示領域Ｔ２３は、例えば、姿勢情報Ｄ１１２に基づき、園児それぞれの体の向きを示す情報に相当するオブジェクト（例えば矢印）を表示する領域である。保育士表示領域Ｔ２４は、例えば所定の時刻において園児の寝姿勢の記録を担当する保育士の名前を表示する領域である。

【0071】

なお、サーバ１００における機能部の少なくとも一部は、１以上のコンピュータ（例えば、１以上のコンピュータにより構成されるクラウドコンピューティング）により実現されていてもよいし、そうでなくてもよい。また、図２で示す機能の構成は一例であり、サーバ１００はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。また、サーバ１００の一部の機能を、管理端末２００またはカメラ装置３００で実現されてもよい。

【0072】

＜＜変形例＞＞
判定部１７０は、例えば、姿勢情報が所定の条件を充たすか否かを判定してもよい。判定部１７０は、姿勢情報が所定の条件を充たす場合、所定のアラームを示すアラーム情報を生成してもよい。所定の条件とは、例えば、うつ伏せ状態が所定の時間継続しているという条件などである。判定部１７０は、例えば、アラーム情報として音声情報を生成してもよいし、画面上に表示される警告オブジェクトを生成してもよい。サーバ１００は、生成されたアラーム情報を管理端末２００に送信する。これにより、情報処理システム１０は、園児の異常な姿勢を迅速に保育士に知らせることができるため、事故を未然に防ぐことができる。

【0073】

＜＜管理端末２００＞＞
図２に戻り、管理端末２００の機能構成について説明する。管理端末２００は、例えば、サーバ１００から取得した各種情報を表示部２２０に表示させる。管理端末２００は、例えば、取得部２１０と、表示部２２０と、送信部２３０との機能部を含む。取得部２１０は、例えばサーバ１００から送信される各種情報を取得する。表示部２２０は、例えばサーバ１００から送信される各種画面を表示する。ここで、管理端末２００は、園児の名称の入力を受け付ける名称入力画面（不図示）を表示部２２０に表示する。名称入力画面は、例えば、園児の名称を入力するための入力領域と、入力内容を確定するための確定ボタンとを含む。送信部２３０は、例えば管理者の操作入力に基づき生成される各種情報（例えば名称情報）をサーバ１００に送信する。ここで、管理端末２００は、例えば、名称入力画面の確定ボタンが押下された場合、園児の名称情報をサーバ１００に送信する。

【0074】

＜カメラ装置３００＞
図２を参照して、カメラ装置３００の機能構成について説明する。カメラ装置３００は、例えば、制御部３１０と、送信部３２０とを含む。制御部３１０は、動画像を撮影する機能と、撮影のＯＮ／ＯＦＦを制御する機能とを含む。送信部３２０は、例えば、有線又は無線の通信によって、撮像した画像を送信する。

【0075】

＜＜処理手順＞＞
図７を参照して、情報処理システム１０の処理手順について説明する。図７は、情報処理システム１０の処理手順を示すフローチャートである。図７では、一例として、Ａ君、Ｂ君、Ｃ君が午睡しているところに、途中でＤ君が遅れて部屋に入り午睡を開始し、さらに途中でＡ君が部屋から出た後に戻ってくる状況における処理フローを示す。以下、図５、図６を適宜参照しながら説明する。

【0076】

まず、ステップＳ１００において、カメラ装置３００は、例えば画像を連続的にサーバ１００に送信する。

【0077】

ステップＳ１０１において、サーバ１００は、例えば画像に基づき寝転がった園児についての人情報（例えば、目や重心の座標）を生成する。人情報は、図５に示すように、基準オブジェクトＧ１～Ｇ３として画面に表示されてもよい。

【0078】

ステップＳ１０２において、サーバ１００は、例えば人情報に識別情報（関連情報Ｄ１１１の「園児ＩＤ」）を設定する。

【0079】

ステップＳ１０３において、サーバ１００は、例えば人情報に基づき固有範囲（関連情報Ｄ１１１の「固有範囲」）を設定する。このとき、サーバ１００は、例えば固有範囲の位置が固定されるように設定する。

【0080】

ステップＳ１０４において、サーバ１００は、例えば、固有範囲に識別情報を関連付けて、記憶部１１０の関連情報Ｄ１１１に記憶する。固有範囲は、例えば図３の「固有範囲」項目に示される座標であって、図５に示すように、画面上には表示されないものの、仮想的に園児の周囲を取り囲む範囲を形成し得る（図５の破線）。これにより、サーバ１００は、仮想的な固有範囲内に入る園児が画面から外れて戻ってきたときに同じ識別情報を付与することができる。

【0081】

ステップＳ１０５において、管理端末２００は、例えば管理者の操作入力に基づき生成される、園児それぞれの「Ａ君」、「Ｂ君」、「Ｃ君」を示す名称を示す名称情報をサーバ１００に送信する。

【0082】

ステップＳ１０６において、サーバ１００は、名称情報を識別情報に関連付けて、記憶部１１０の関連情報Ｄ１１１に記憶する。名称情報は、図５に示すように、名称オブジェクトＮ１～Ｎ３として画面に表示される。また、名称情報は、図６に示すように、園児の名前として名称表示領域Ｔ２２に表示される。

【0083】

ステップＳ１０７において、サーバ１００は、画面上の寝転がっている全ての園児に名称が設定されているか否かを判定する。

【0084】

名称が設定されていないと判定された場合（ステップＳ１０７：ＮＯ）、サーバ１００は、通知オブジェクトＷを含む通知画面を管理端末２００に送信する。

【0085】

ステップＳ１０８において、管理端末２００は、通知画面を表示部に表示させる。管理端末２００は、管理者による名称情報に関する操作入力を受け付ける。この場合、情報処理システム１０は、ステップＳ１０５から処理を繰り返す。

【0086】

ステップ１０９において、名称が設定されていると判定された場合（ステップＳ１０７：ＹＥＳ）、サーバ１００は、園児それぞれの姿勢情報を記録する。なお、サーバ１００は、ステップＳ１０２において園児それぞれに識別情報を設定したときに、園児それぞれの姿勢情報の記録を開始してもよい。

【0087】

ステップＳ１１０において、サーバ１００は、画像内に新たに寝転がった園児（人情報）が検出された場合、当該園児が既存の固有範囲に寝転がったか否か判定する。

【0088】

園児（ここでは園児Ｄ）が既存の固有範囲に寝転がっていないと判定された場合（ステップＳ１１０：ＮＯ）、サーバ１００は、ステップＳ１０２に処理を移行する。この場合、サーバ１００は、例えば、ステップＳ１０４を実行した後、新たに寝転がった園児に通知オブジェクトＷを付した画面（図５の画面）を管理端末２００に送信する。

【0089】

ステップＳ１１１において、園児（ここでは園児Ａ）が既存の固有範囲に寝転がったと判定された場合（ステップＳ１１０：ＹＥＳ）、サーバ１００は、関連情報Ｄ１１１を参照して、園児（ここでは園児Ａ）に既存の固有範囲の範囲情報に関連付けられている識別情報（ここでは園児ＩＤ「０１」）及び名称情報（ここでは名称「Ａ君」）を設定する。

【0090】

これによって、サーバ１００は、一度画面から外れた園児（又は一度画面上において何かに隠れた園児）に対しても、画面から外れる前の識別情報と同じ識別情報（及び名称情報）を設定することができる。そのため、情報処理システム１０は、識別情報や名称情報を管理者に再設定させることなく、識別情報や名称情報を自動的に再設定する。

【0091】

なお、ステップＳ１１０において、画像内に新たに寝転がった園児が検出された場合、当該園児が既存の固有範囲内に寝転がったか否かにかかわらず、当該園児に一旦は新たな識別情報を設定してもよい。この場合であっても、ステップＳ１１１において、当該園児には、既存の固有範囲の範囲情報に関連付けられている識別情報及び名称情報が設定される。

【0092】

ステップＳ１１２において、サーバ１００は、関連情報Ｄ１１１及び姿勢情報Ｄ１１２に基づき、図６に示す午睡チャートを生成する。サーバ１００は、管理端末２００に午睡チャートを示す情報を送信する。なお、午睡チャート示す情報は、例えばブラウザに画像を表示させるためのコードであってもよい。

【0093】

ステップＤ１１３において、管理端末２００は、午睡チャートを表示部に表示する。管理端末２００は、管理者の操作入力に基づき午睡チャートを印刷出力してもよい。

【0094】

なお、サーバ１００は、管理者端末２００に対して、ステップＳ１０２以降に、図５及び図６に示す画面を随時送信してもよい。これにより、管理者は、乳幼児の寝姿勢の識別結果を表示部で随時確認できる。

【0095】

＝＝＝ハードウェア構成＝＝＝
図８を参照して、サーバ１００、管理端末２００、カメラ装置３００をコンピュータ１０００により実現する場合のハードウェア構成の一例について説明する。なお、サーバ１００、管理端末２００およびカメラ装置３００の各種機能は、複数台の装置に分けて実現できる。

【0096】

図８は、コンピュータのハードウェア構成の一例を示す図である。図８に示すように、コンピュータ１０００は、例えば、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、入力Ｉ／Ｆ部１００４と、データＩ／Ｆ部１００５と、通信Ｉ／Ｆ部１００６および表示部１００７を含む。

【0097】

プロセッサ１００１は、メモリ１００２に記憶されているプログラムを実行することによりコンピュータ１０００における各種の処理を制御する制御部である。

【0098】

メモリ１００２は、例えばＲＡＭ（Random Access Memory）等の記憶媒体である。メモリ１００２は、プロセッサ１００１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。

【0099】

記憶装置１００３は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置１００３は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。

【0100】

入力Ｉ／Ｆ部１００４は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部１００４の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等である。入力Ｉ／Ｆ部１００４は、例えばＵＳＢ（Universal Serial Bus）等のインタフェースを介してコンピュータ１０００に接続されてもよい。

【0101】

データＩ／Ｆ部１００５は、コンピュータ１０００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部１００５の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部１００５は、コンピュータ１０００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部１００５は、例えばＵＳＢ等のインタフェースを介してコンピュータ１０００へと接続される。

【0102】

通信Ｉ／Ｆ部１００６は、コンピュータ１０００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部１００６は、コンピュータ１０００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部１００６は、例えばＵＳＢ等のインタフェースを介してコンピュータ１０００に接続される。

【0103】

表示部１００７は、各種情報を表示するためのデバイスである。表示部１００７の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Electro－Luminescence）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示部１００７は、コンピュータ１０００の外部に設けられてもよい。その場合、表示部１００７は、例えばディスプレイケーブル等を介してコンピュータ１０００に接続される。また、入力Ｉ／Ｆ部１００４としてタッチパネルが採用される場合には、表示部１００７は、入力Ｉ／Ｆ部１００４と一体化して構成することが可能である。

【0104】

＝＝＝まとめ＝＝＝
情報処理システム１０は、画像から取得される複数の寝転がった人それぞれに関する情報である人情報を取得する取得部１２０と、人情報に基づいて、複数の寝転がった人それぞれを取り囲む画像上の固有範囲（範囲）に関する情報である範囲情報を設定する範囲設定部１５０と、範囲情報と、固有範囲（範囲）に存する寝転がった人の人情報を識別可能な識別情報と、を関連付ける関連部１６０と、画像上の固有範囲（範囲）のうち所定の固有範囲（範囲）に寝転がっている人が寝転がっていると認識されなくなった後、所定の固有範囲（範囲）に寝転がった人の人情報に、所定の固有範囲（範囲）に関する範囲情報に関連付けられている識別情報を設定する第２識別情報設定部１８０（識別情報設定部）と、を含む。これにより、情報処理システム１０は、簡易なシステム構成によって寝転がった対象者それぞれを正確に識別することができる。また、情報処理システム１０は、園児が画像から一時的に画像上から見えなくなったとしても、管理者（例えば保育士）が識別情報を手動で園児に再設定する必要がなくなり、管理者の作業効率を向上できる。

【0105】

また、情報処理システム１０の範囲設定部１５０は、人情報に基づいて、固有範囲（範囲）が画像上に固定されるよう範囲情報を設定する。これにより、情報処理システム１０は、園児に対して固定された固有の範囲を設定できるため、適切に識別情報を再設定することができる。

【0106】

また、情報処理システム１０の範囲設定部１５０は、所定の固有範囲（範囲）に寝転がっている人が寝転がっていると認識されなくなったタイミングにおいて、当該タイミングにおける所定の固有範囲（範囲）に寝転がっている人の人情報が示す位置に基づいて、所定の固有範囲（範囲）が画像上に固定されるよう範囲情報を設定する。これにより、情報処理システム１０は、園児などの寝ているときに動きが活発な人に対して適切な位置に固有範囲を設定できるため、識別情報をより正確に再設定することができる。

【0107】

また、情報処理システム１０の取得部１２０は、ユーザの操作入力に基づき設定される、所定の固有範囲（範囲）に寝転がった人の名称を示す情報である名称情報を取得し、関連部１６０は、識別情報と、名称情報と、を関連付ける。また、情報処理システム１０は、識別情報に関連付けられた名称情報を、所定の固有範囲（範囲）に寝転がった人に関連付けて表示部に表示させる表示処理部１９０をさらに備える。これにより、情報処理システム１０は、園児の名前を自動的に再設定することができる。

【0108】

また、情報処理システム１０の表示処理部１９０は、関連部１６０において識別情報と名称情報とが関連付けられていない場合、所定の固有範囲（範囲）に寝転がった人に名称情報が関連付けられていないことを示す通知オブジェクトＷ（オブジェクト）を、例えば管理端末２００の表示部に表示させる。これにより、情報処理システム１０は、名称が設定されていない園児がいることを迅速に管理者に通知できるため、情報漏れのない午睡チャートを生成することができる。

【0109】

また、情報処理システム１０の取得部１２０は、所定の固有範囲（範囲）に寝転がる人の人情報に基づき特定される、固有範囲（範囲）に寝転がった人が向いている方向に関する情報を取得し、表示処理部１９０は、名称情報と、固有範囲（範囲）に寝転がった人が向いている方向と、を関連付けて、例えば管理端末２００の表示部に表示させる。これにより、情報処理システム１０は、正確に識別情報及び名前が設定されている午睡チャートを自動的に生成することができるため、管理者の作業効率を向上できる。

【0110】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0111】

１０…情報処理システム、１００…サーバ、１１０…記憶部、１２０…取得部、１３０…推論部、１４０…第１識別情報設定部、１５０…範囲設定部、１６０…関連部、１７０…判定部、１８０…第２識別情報設定部、１９０…表示処理部、２００…管理端末、３００…カメラ装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】