特許 7162369 情報処理方法、プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-10-20

(45)【発行日】2022-10-28

(54)【発明の名称】情報処理方法、プログラム及び情報処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221021BHJP

   G08B 25/00 20060101ALI20221021BHJP

   G08B 21/00 20060101ALI20221021BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 R

G08B25/00 510M

G08B21/00 E

【請求項の数】 15

(21)【出願番号】P 2021174103

(22)【出願日】2021-10-25

【審査請求日】2022-07-07

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 ３年 ３月 ８日に、ＧＹＭＤＸのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｇｙｍｄｘ．ｃｏｍ／） 令和 ３年 ３月 ８日に、株式会社Ｏｐｔ Ｆｉｔのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｏｐｔｆｉｔ．ｊｐ／） 令和 ３年 ３月３０日に、ＰＲＴＩＭＥＳのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００１１．００００５５４０４．ｈｔｍｌ） 令和 ３年 ３月３１日に、ＴＥＣＨＡＢＬＥのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｔｅｃｈａｂｌｅ．ｊｐ／ａｒｃｈｉｖｅｓ／１５１５１６） 令和 ３年 ４月 ７日に、日本経済新聞の令和３年４月７日付朝刊の紙面にて公開 令和 ３年 ４月 ７日に、日本経済新聞のウェブサイトにて公開 （ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＸＺＱＯＦＤ０５０Ｅ７０Ｖ００Ｃ２１Ａ４００００００／） 令和 ３年 ４月２１日に、ＰＲＴＩＭＥＳのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００１２．００００５５４０４．ｈｔｍｌ） 令和 ３年 ４月２６日に、月刊ＮＥＸＴ，５月号，Ｎｏ．１６９，第５頁にて公開 令和 ３年 ５月２０日に、日刊工業新聞の令和３年５月２０日付朝刊の紙面にて公開 令和 ３年 ５月２０日に、日刊工業新聞のウェブサイトにて公開 （ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋａｎ．ｃｏ．ｊｐ／ａｒｔｉｃｌｅｓ／ｖｉｅｗ／００５９８９０５） 令和 ３年 ５月３１日に、ＰＲ ＴＩＭＥＳのウェブサイトにて公開 （ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００１３．００００５５４０４．ｈｔｍｌ） 令和 ３年 ８月 ９日に、中部経済新聞の令和３年８月９日付朝刊の第３面にて公開 令和 ３年 ８月 ９日に、中部経済新聞のウェブサイトにて公開 （ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｕｋｅｉ－ｎｅｗｓ．ｃｏ．ｊｐ／ｎｅｗｓ／２０２１／０８／０９／ＯＫ０００２１０８０９０３０１＿０１／）

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 ３年１０月 ８日に、読売新聞の令和３年１０月８日付朝刊の第１０面にて公開 令和 ３年１０月 ８日に、読売新聞のウェブサイトにて公開 （ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｍｉｕｒｉ．ｃｏ．ｊｐ／ｌｏｃａｌ／ｃｈｕｂｕ／ｆｅａｔｕｒｅ／ＣＯ０３７４５１／２０２１１００７－ＯＹＴＡＴ５００５８／）

【早期審査対象出願】

(73)【特許権者】

【識別番号】520378757

【氏名又は名称】株式会社Ｏｐｔ Ｆｉｔ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】渡邉 昂希

(72)【発明者】

【氏名】加藤 尚也

(72)【発明者】

【氏名】荒川 準也

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２０－２７３２０（ＪＰ，Ａ）

【文献】特開２０２１－１０３８５０（ＪＰ，Ａ）

【文献】国際公開第２０２０／２４１０５７（ＷＯ，Ａ１）

【文献】特開２０２０－８００９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

施設に設置された運動設備の種類を特定し、
特定した前記運動設備を利用する利用者の状態を取得し、
特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、
前記利用者が危険状態にあると判定した場合に判定結果を出力し、
前記運動設備の種類に応じて、利用者の姿勢及び継続時間を含む利用者の状態を記憶した判定テーブルを参照し、特定した前記運動設備を利用する前記利用者の姿勢が前記継続時間を超えて継続している場合に前記利用者が危険状態にあると判定する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記施設には複数の撮像装置が設けられており、
各撮像装置により撮像された画像を取得し、
前記利用者が危険状態にあると判定した日時、前記利用者における危険状態のレベル、前記撮像装置の設置位置に関する情報、及び画像へのリンク情報を出力し、
前記画像へのリンクが選択された場合に、前記利用者が危険状態にあると判定した日時に対応する画像を表示する
請求項１に記載の情報処理方法。

【請求項3】

施設に設置された運動設備の種類を特定し、
特定した前記運動設備を利用する利用者の状態を取得し、
特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、
前記利用者が危険状態にあると判定した場合に判定結果を出力し、
前記施設には複数の撮像装置が設けられており、
各撮像装置により撮像された画像を取得し、
前記利用者が危険状態にあると判定した日時、前記利用者における危険状態のレベル、前記撮像装置の設置位置に関する情報、及び画像へのリンク情報を出力し、
前記画像へのリンクが選択された場合に、前記利用者が危険状態にあると判定した日時に対応する画像を表示する
処理をコンピュータが実行する情報処理方法。

【請求項4】

前記運動設備の種類に応じて、利用者の姿勢及び継続時間を含む利用者の状態を記憶した判定テーブルを参照し、特定した前記運動設備を利用する前記利用者の姿勢が前記継続時間を超えて継続している場合に前記利用者が危険状態にあると判定する
請求項３に記載の情報処理方法。

【請求項5】

前記運動設備を利用する前記利用者の画像を取得し、
運動設備を利用する利用者の画像を入力した場合に前記利用者の姿勢を認識するよう学習済みの学習モデルに、取得した前記利用者の画像を入力することにより、前記利用者の姿勢を取得する
請求項１から請求項４のいずれか１項に記載の情報処理方法。

【請求項6】

前記利用者の姿勢の継続時間に応じて前記利用者における危険状態のレベルを特定する
請求項１から請求項５のいずれか１項に記載の情報処理方法。

【請求項7】

前記利用者が危険状態にあると判定した場合に、前記利用者と前記利用者が危険状態にあることを示すオブジェクトとを対応付けて表示する画像を出力する
請求項１から請求項６のいずれか１項に記載の情報処理方法。

【請求項8】

前記利用者が危険状態にあると判定した場合に、前記利用者と前記利用者の利用者情報とを対応付けて表示する画像を出力する
請求項１から請求項７のいずれか１項に記載の情報処理方法。

【請求項9】

前記利用者が運動状態である場合、前記利用者の利用する前記運動設備の種類及び前記利用者が現在運動状態であることを識別可能に表示する画像を出力する
請求項１から請求項８のいずれか１項に記載の情報処理方法。

【請求項10】

前記利用者における危険状態のレベルに応じて前記判定結果の出力先が異なり、
前記出力先は前記施設の管理者端末及び前記施設内に設けられる従業員端末を含み、
前記従業員端末に対する危険状態のレベルよりも広いレベル範囲に係る前記判定結果を前記管理者端末へ出力する
請求項１から請求項９のいずれか１項に記載の情報処理方法。

【請求項11】

前記施設における前記利用者の位置情報に基づき、前記利用者が利用する前記運動設備の種類を特定する
請求項１から請求項１０のいずれか１項に記載の情報処理方法。

【請求項12】

施設に設置された運動設備の種類を特定し、
特定した前記運動設備を利用する利用者の状態を取得し、
特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、
前記利用者が危険状態にあると判定した場合に判定結果を出力し、
前記運動設備の種類に応じて、利用者の姿勢及び継続時間を含む利用者の状態を記憶した判定テーブルを参照し、特定した前記運動設備を利用する前記利用者の姿勢が前記継続時間を超えて継続している場合に前記利用者が危険状態にあると判定する
処理をコンピュータに実行させるためのプログラム。

【請求項13】

施設に設置された運動設備の種類を特定し、
特定した前記運動設備を利用する利用者の状態を取得し、
特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、
前記利用者が危険状態にあると判定した場合に判定結果を出力し、
前記施設には複数の撮像装置が設けられており、
各撮像装置により撮像された画像を取得し、
前記利用者が危険状態にあると判定した日時、前記利用者における危険状態のレベル、前記撮像装置の設置位置に関する情報、及び画像へのリンク情報を出力し、
前記画像へのリンクが選択された場合に、前記利用者が危険状態にあると判定した日時に対応する画像を表示する
処理をコンピュータに実行させるためのプログラム。

【請求項14】

施設に設置された運動設備の種類を特定し、
特定した前記運動設備を利用する利用者の状態を取得し、
特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、
前記利用者が危険状態にあると判定した場合に判定結果を出力し、
前記運動設備の種類に応じて、利用者の姿勢及び継続時間を含む利用者の状態を記憶した判定テーブルを参照し、特定した前記運動設備を利用する前記利用者の姿勢が前記継続時間を超えて継続している場合に前記利用者が危険状態にあると判定する
処理を実行する制御部を備える
情報処理装置。

【請求項15】

施設に設置された運動設備の種類を特定し、
特定した前記運動設備を利用する利用者の状態を取得し、
特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、
前記利用者が危険状態にあると判定した場合に判定結果を出力し、
前記施設には複数の撮像装置が設けられており、
各撮像装置により撮像された画像を取得し、
前記利用者が危険状態にあると判定した日時、前記利用者における危険状態のレベル、前記撮像装置の設置位置に関する情報、及び画像へのリンク情報を出力し、
前記画像へのリンクが選択された場合に、前記利用者が危険状態にあると判定した日時に対応する画像を表示する
処理を実行する制御部を備える
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

健康志向の高まりを背景に、スポーツクラブ、フィットネスクラブ等の運動施設の利用者が増えている。運動施設には、各種マシンが設置されており、利用者は、好みのマシンを用いてトレーニングを行う。このような運動施設の運営を支援するための技術が提案されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－９１３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運動施設においては、マシン利用時における転倒のように利用者が危険状態となる可能性がある。このような危険状態に対し早期に対応することが好ましいが、限られた従業員で全ての利用者を監視し危険状態を検知することは、負担が大きく困難である。従業員数を増やすと人的コストが増大する。このため、利用者の危険状態を検知するための技術が望まれる。

【0005】

本開示の目的は、利用者の危険状態を検知することができる情報処理方法等を提供することである。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理方法は、施設に設置された運動設備の種類を特定し、特定した前記運動設備を利用する利用者の状態を取得し、特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、前記利用者が危険状態にあると判定した場合に判定結果を出力する処理をコンピュータが実行する。

【0007】

本開示の一態様に係るプログラムは、施設に設置された運動設備の種類を特定し、特定した前記運動設備を利用する利用者の状態を取得し、特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、前記利用者が危険状態にあると判定した場合に判定結果を出力する処理をコンピュータに実行させる。

【0008】

本開示の一態様に係る情報処理装置は、施設に設置された運動設備の種類を特定し、特定した前記運動設備を利用する利用者の状態を取得し、特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、前記利用者が危険状態にあると判定した場合に判定結果を出力する処理を実行する制御部を備える。

【発明の効果】

【0009】

本開示によれば、利用者の危険状態を検知することができる。

【図面の簡単な説明】

【0010】

【図1】情報処理システムの構成例を示す説明図である。

【図2】情報処理装置の構成例を示すブロック図である。

【図3】施設ＤＢに記憶される情報の内容例を示す図である。

【図4】判定テーブルに記憶される詳細情報の内容例を示す図である。

【図5】従業員端末の構成例を示すブロック図である。

【図6】管理者端末の構成例を示すブロック図である。

【図7】情報処理システムで実行される処理手順の一例を示すフローチャートである。

【図8】情報処理システムで実行される処理手順の一例を示すフローチャートである。

【図9】利用者の状態取得処理の詳細な手順の一例を示すフローチャートである。

【図10】判定結果画面の一例を示す模式図である。

【図11】画像表示画面の一例を示す模式図である。

【図12】第２実施形態の情報処理装置１の構成例を示すブロック図である。

【図13】学習モデルの概要を示す説明図である。

【図14】第２実施形態における利用者の状態取得処理の詳細な手順の一例を示すフローチャートである。

【図15】第３実施形態の情報処理システムで実行される処理手順の一例を示すフローチャートである。

【図16】運動状態を示す画面の一例を示す模式図である。

【発明を実施するための形態】

【0011】

本発明の実施形態に係る情報処理方法、プログラム及び情報処理装置の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
なお、以下に記載する実施形態に示すシーケンスは限定されるものではなく、矛盾の無い範囲で、各処理手順はその順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。各処理の処理主体は限定されるものではなく、矛盾の無い範囲で、各装置の処理を他の装置が実行してもよい。

【0012】

（第１実施形態）
図１は、情報処理システム１００の構成例を示す説明図である。情報処理システム１００は、情報処理装置１、従業員端末２及び管理者端末３を備える。情報処理装置１と従業員端末２及び管理者端末３それぞれとは、インターネット等のネットワークＮに通信接続され、ネットワークＮを介してデータの送受信が可能である。

【0013】

情報処理装置１は、例えばサーバコンピュータ、パーソナルコンピュータ、量子コンピュータ等であり、種々の情報処理、情報の送受信を行う。情報処理装置１は、例えば、ジムサポートサービスの提供者によって管理される。

【0014】

従業員端末２は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の情報処理端末装置である。従業員端末２は、例えばフィットネスジム、スポーツクラブ等の運動施設内に設けられ、当該運動施設の従業員が使用する情報端末装置である。従業員は、例えば運動施設の営業時間内又は営業時間内における一部時間内において、運動施設に常駐するものであってよい。

【0015】

運動施設は、例えばスポーツクラブ、フィットネスクラブ等、利用者に運動のための環境を提供する施設である。運動施設は、各種施設内に設置されるトレーニング室等であってもよい。以下では、運動施設を単に施設とも称する。施設内には、例えばベンチプレス、パワーラック、ランニングマシン、ダンベル等の各種運動設備が設けられている。なお、運動設備は、上述のような運動器具（マシン）のみならず、例えばストレッチマット、ヨガマット等の運動に使用する各種用具が含まれてよい。

【0016】

施設内には、複数の撮像装置４が設けられている。撮像装置４は、例えばカメラである。撮像装置４は、運動設備を利用する利用者を含む撮像対象領域の動画又は静止画を撮像する。撮像装置４は、ＣＣＤ(Charge Coupled Device)イメージセンサ等の撮像素子及びレンズ等を有し、レンズを介して入射した光を撮像素子にて光電変換し、画像データとして出力する。撮像装置４は、複数の撮像素子からなるステレオカメラであってもよい。各撮像装置４は、運動設備の設置されるトレーニング室等の監視空間において、互いに死角を補うように設置されている。撮像装置４により撮像された画像データは、従業員端末２を介して情報処理装置１へ送信される。撮像装置４は通信機能を有し、画像データを直接情報処理装置１へ送信するものであってもよい。撮像装置４は、上述のカメラを用いるものに限定されず、例えば超音波センサ、マイクロ波センサ、ミリ波センサ、レーザレーダセンサ等であってもよい。

【0017】

管理者端末３は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の情報処理端末装置である。管理者端末３は、例えば施設とは離れた本社施設内に設けられ、施設の管理者が使用する情報端末装置である。管理者端末３は、施設内に設けられてもよい。従業員端末２及び管理者端末３は、共通する１台の情報処理端末であり、使用者の権限により表示する情報内容等が異なる構成であってもよい。管理者端末３は、例えば施設の警備を請け負う警備会社等の担当者が使用する情報端末装置であってもよい。なお、情報処理システム１００は、従業員端末２及び管理者端末３のいずれか一方を備える構成であってもよい。

【0018】

施設では、利用者に怪我や体調の急変等の危険が発生するおそれがある。このような利用者に危険又はそのおそれが発生した場合には、利用者に危険状態が発生したとして、可能な限り早急に対応することが望ましい。本実施形態の情報処理システム１００では、施設内における健康設備を利用する利用者の画像データを用いて、情報処理装置１により利用者の状態を取得し、当該利用者における危険状態の有無を判定する。利用者の状態とは、例えば利用者の姿勢に関する状態及び当該姿勢の継続状態を含む。利用者が危険状態にあると判定した場合には、情報処理装置１から従業員端末２又は管理者端末３へ判定結果を送信することで、利用者における危険状態の検知を支援する。

【0019】

なお図１では、１つの従業員端末２及び管理者端末３を図示しているが、従業員端末２及び管理者端末３はそれぞれ複数備えられていてよい。すなわち、情報処理装置１は、複数の施設に対しジムサポートサービスを提供するものであってよい。

【0020】

図２は、情報処理装置１の構成例を示すブロック図である。情報処理装置１は、制御部１１、記憶部１２及び通信部１３を備える。情報処理装置１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0021】

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いたプロセッサを備える。制御部１１は、内蔵するＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。

【0022】

通信部１３は、ネットワークＮを介した外部装置との通信に関する処理を行うための通信モジュールを備える。制御部１１は、通信部１３を介し、従業員端末２及び管理者端末３との間でデータを送受信する。

【0023】

記憶部１２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを備える。記憶部１２は、制御部１１が参照するプログラム及びデータを記憶する。記憶部１２は、複数の記憶装置により構成されていてもよく、情報処理装置１に接続された外部記憶装置であってもよい。記憶部１２に記憶されるプログラムには、利用者の危険状態を判定するための処理をコンピュータに実行させるためのプログラム１Ｐが含まれる。記憶部１２に記憶されるデータには、施設ＤＢ１２１（Data Base ：データベース）が含まれる。

【0024】

記憶部１２に記憶されるプログラム（プログラム製品）は、記録媒体にコンピュータ読み取り可能に記録されている態様であってもよい。記憶部１２は、図示しない読出装置によって記録媒体１Ａから読み出されたプログラムを記憶する。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムをダウンロードし、記憶部１２に記憶させたものであってもよい。プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0025】

図３は、施設ＤＢ１２１に記憶される情報の内容例を示す図である。施設ＤＢ１２１は、ジムサポートサービスを利用する施設に関する情報を格納するデータベースである。施設ＤＢ１２１には、例えば、施設情報１２１ａ、会員情報１２１ｂ、画像履歴１２１ｃ、運動設備情報１２１ｄ及び判定テーブル１２１ｅ等が記憶されている。

【0026】

施設情報１２１ａは、施設に関する情報を含み、例えば施設名称、住所、撮像装置情報、従業員端末情報、及び管理者端末情報等を関連付けて格納する。撮像装置情報は、施設内に設置される各撮像装置の識別情報（例えば機器ＩＤ）を含む。従業員端末情報は、施設の従業員が使用する従業員端末２の識別情報（例えば機器ＩＤ、ＩＰアドレス等）と、当該従業員端末２に対応付けられる危険状態レベルとを含む。管理者端末情報は、施設の管理者が使用する管理者端末３の識別情報と、当該管理者端末３に対応付けられる危険状態レベルとを含む。

【0027】

危険状態レベルとは、施設における利用者の危険状態の程度を示す情報である。危険状態レベルは、例えば１から６の６段階に分類され、数値が大きい程危険度が高いことを示す。本実施形態では、危険状態レベルの数値に応じて危険状態の判定結果の出力先が異なる。従業員端末２には、検知した全ての危険状態のうち、所定レベル以上の危険状態に関する判定結果のみが出力される。管理者端末３には、従業員端末２よりも広いレベル範囲、例えば全レベルの危険状態に関する判定結果が出力される。施設情報１２１ａは、判定結果の出力対象となる装置情報と、出力対象レベルとを対応付けて記憶する。

【0028】

会員情報１２１ｂは、施設の利用者に関する情報を含み、例えば利用者の会員番号、画像データ、氏名、年齢、及び性別等を関連付けて格納する。画像データは、例えば利用者の顔画像を含む。

【0029】

画像履歴１２１ｃは、例えば施設内における各撮像装置の撮像装置情報、及び当該撮像装置により撮像された静止画像データ又は動画像データを関連付けて格納する。画像データは、メタデータに撮像時刻を含み、時系列的に記憶されている。画像データには後述する危険状態の判定結果等が関連付けられていてもよい。

【0030】

運動設備情報１２１ｄは、施設内に設置される運動設備に関する情報を含む。図３の例にて、運動設備情報１２１ｄはＭＡＰ形式で運動設備の情報を記憶する。図３に示すように、例えば、施設内に設置される各運動設備は、運動設備の識別情報（設備ＩＤ）、種類（例えばベンチプレス、ランニングマシン、ストレッチマット等）、及び設置位置（位置座標）を対応付けたＭＡＰ形式で記憶される。ＭＡＰデータにはまた、図３中の番号付き丸印で示すように、施設内に設置される各撮像装置の撮像装置情報及び設置位置が含まれてよい。ＭＡＰデータにはさらに、施設内に設置される運動設備に応じて区切られる領域の情報が含まれてよい。施設内は、例えばベンチプレスを含むフリーウエイトエリア、ランニングマシンを含むランニングマシンエリア、ストレッチマットを含むストレッチエリア、及び他の運動設備を含む有酸素エリア等の複数領域に区分される。

【0031】

判定テーブル１２１ｅは、利用者における危険状態の有無を判定するための判定ルールに関する情報を含む。情報処理装置１は、判定テーブル１２１ｅを用いて利用者における危険状態の有無を判定する。図４は、判定テーブル１２１ｅに記憶される詳細情報の内容例を示す図である。

【0032】

図４に示すように、判定テーブル１２１ｅは、例えば運動設備種類と、姿勢及び継続時間を含む利用者の状態と、危険状態レベルとを関連付けて格納する。運動設備種類とは、運動設備の種類を識別する情報であり、例えば各運動設備の名称や、全ての設備に共通であることを示す「共通」を含む。姿勢とは、運動設備を利用する利用者の姿勢である。姿勢は、例えば「立っている」「床以外に座っている」「床に座っている」「横たわっている」の４種類に分類される。すなわち、利用者の姿勢は、例えば「立っている」「床以外に座っている」「床に座っている」「横たわっている」の４つの姿勢の全部又は一部を含む。継続時間とは、同じ分類の姿勢又は同じ若しくは類似の姿勢を継続している時間である。レベルとは、危険状態のレベルであり、例えば１から６の６段階を示す数値が含まれる。

【0033】

本実施形態では、運動設備を利用する利用者の姿勢の継続時間に基づいて、利用者の姿勢が、当該姿勢に対応付けられる継続時間を超えて継続している場合、利用者が危険状態にあると判定する。すなわち、利用者の所定の姿勢における静止状態が所定時間以上経過した場合、利用者が危険状態にあると判定する。例えば、利用者がベンチプレスを利用している場合において、横たわっている姿勢状態が５秒以上継続しているときには、危険状態のレベル１であると判定される。あるいは、利用者がランニングマシンを利用している場合において、立っている以外の姿勢状態が１００秒以上継続しているときには、危険状態のレベル１であると判定される。このように、運動設備毎に利用者の姿勢及び継続時間が設定される。

【0034】

図４に示す例では、運動設備の種類に対応付けて判定ルールが記憶されているが、判定ルールは、運動設備を含む領域の種類に対応付けて記憶されてもよい。運動設備を含む領域とは、例えば上述のフリーウエイトエリア、ランニングマシンエリア、ストレッチエリア及び有酸素エリア等を含んでよい。判定テーブル１２１ｅは、このような領域の種類毎に、姿勢及び継続時間を含む利用者の状態と、危険状態のレベルとを関連付けて記憶する。なお、各運動設備又は領域の種類に対応付けられるレベルは全てのレベルを含むものに限定されず、例えばレベル１～３までなど一部のレベルのみが設定されてもよい。また、判定ルールにおける利用者の状態にはさらに、運動設備の利用中（運動状態）又は運動設備の非利用中（非運動状態）の区別が含まれてもよい。なお判定テーブル１２１ｅは一例であり、記憶内容は限定されるものではないことは勿論である。

【0035】

施設ＤＢ１２１の情報は、例えば、施設が初めて本情報処理システム１００を利用する際に、情報処理装置１にて提供される登録用の画面を介し、施設担当者等の登録操作を受け付けることによって収集される。施設ＤＢ１２１の内容は、随時更新される。記憶部１２は、複数の施設のそれぞれについて施設ＤＢ１２１を記憶している。

【0036】

図５は、従業員端末２の構成例を示すブロック図である。従業員端末２は、制御部２１、記憶部２２、通信部２３、表示部２４及び操作部２５を備える。

【0037】

制御部２１は、一又は複数のＣＰＵ、ＧＰＵ等を用いたプロセッサを備える。制御部２１は、内蔵するＲＯＭ又はＲＡＭ等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。記憶部２２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ等の不揮発性メモリを備える。記憶部２２は、制御部２１が参照するプログラム２Ｐを含むプログラム及びデータを記憶する。

【0038】

通信部２３は、ネットワークＮを介した外部装置との通信に関する処理を行うための通信モジュールを備える。制御部２１は、通信部２３を介して情報処理装置１との間でデータを送受信する。

【0039】

表示部２４は、例えば液晶ディスプレイ又は有機ＥＬ（electroluminescence ）ディスプレイ等のディスプレイ装置を備える。表示部２４は、制御部２１からの指示に従って各種の情報を表示する。操作部２５は、ユーザの操作を受け付けるインタフェースである。操作部２５は、例えばキーボード、ディスプレイ内蔵のタッチパネルデバイス、スピーカ及びマイクロフォン等を備える。操作部２５は、ユーザからの操作入力を受け付け、操作内容に応じた制御信号を制御部２１へ送出する。

【0040】

図６は、管理者端末３の構成例を示すブロック図である。管理者端末３は、制御部３１、記憶部３２、通信部３３、表示部３４及び操作部３５を備える。記憶部３２は、不揮発性メモリを備え、制御部３１が参照するプログラム３Ｐを含むプログラム及びデータを記憶する。管理者端末３のハードウェア構成は従業員端末２と同様であるため、詳細な説明を省略する。

【0041】

図７及び図８は、情報処理システム１００で実行される処理手順の一例を示すフローチャートである。以下の処理は、情報処理装置１の記憶部１２に記憶されるプログラム１Ｐに従って制御部１１により実行されるとともに、従業員端末２の記憶部２２に記憶されるプログラム２Ｐに従って制御部２１により実行される。情報処理システム１００は、例えば所定の又は適宜の時間間隔で以下の処理を繰り返し実行するものであってよい。

【0042】

従業員端末２の制御部２１は、施設内を撮像した画像を各撮像装置４を介して取得し、取得した画像を情報処理装置１へ送信する（ステップＳ１１）。制御部２１は、取得した画像に対し、当該画像を撮像した撮像装置情報を関連付けて送信する。

【0043】

情報処理装置１の制御部１１は、画像を受信し、受信した画像を画像履歴１２１ｃに記憶する（ステップＳ１２）。制御部１１は、撮像装置４から直接画像を受信してもよい。画像の送信は、プッシュ型でもよく、情報処理装置１からの要求に対する応答として送信されるプル型でもよい。制御部１１は、取得した画像から利用者を検出したか否かを判定する（ステップＳ１３）。制御部１１は、例えば取得した画像に対しパターンマッチングを行い、画像から人が検出されるか否かを判定する。

【0044】

上述のステップＳ１３において、制御部１１は、検出した利用者の利用者ＩＤをさらに判定してもよい。制御部１１は、予め施設ＤＢ１２１の会員情報１２１ｂに記憶する各会員の顔画像の顔特徴量を抽出しておく。制御部１１は、ステップＳ１３において取得した画像データから利用者の顔特徴量を抽出し、予め登録されている各会員の顔特徴量とのパターンマッチングを行うことで、画像に含まれる利用者（会員）を特定する。

【0045】

画像から利用者を検出していないと判定した場合（ステップＳ１３：ＮＯ）、制御部１１は処理を終了する。

【0046】

画像から利用者を検出したと判定した場合（ステップＳ１３：ＹＥＳ）、制御部１１は、画像に含まれる利用者の位置情報を取得する（ステップＳ１４）。具体的には制御部１１は、利用者の検出結果に基づいて、画像中における利用者の位置座標を取得する。制御部１１は、施設ＤＢ１２１に記憶される情報と、取得した画像に関連付けられる撮像装置情報とに基づいて、取得した画像を撮像した撮像装置４の設置位置を特定する。制御部１１は、特定した撮像装置４の設置位置と、画像中における利用者の位置座標とに基づいて、施設内における利用者の位置情報を取得する。

【0047】

利用者の位置情報は、画像に基づき特定されるものに限定されない。利用者の位置情報は、例えばＵＷＢ（Ultra Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を用いて特定してもよい。ＵＷＢの場合、施設内にＵＷＢ通信のための通信装置が設置されており、各利用者に保持又は装着等される送信機から送信されるＵＷＢ信号を通信装置が受信することにより、利用者の位置を推定する。この場合、各利用者に対応付けられる各送信機の識別情報に基づいて、利用者の位置及び利用者ＩＤを特定することができる。

【0048】

制御部１１は、取得した利用者の位置情報に基づいて、利用者の利用する運動設備の種類を特定する（ステップＳ１５）。制御部１１は、施設ＤＢ１２１の運動設備情報１２１ｄを参照して、利用者の位置情報に対応する位置に設置される運動設備の種類を特定することにより、利用者の利用する運動設備の種類を特定してよい。なお制御部１１は、取得した画像に対するパターンマッチング等の画像解析処理により、利用者の近傍における運動設備の種類を特定してもよい。制御部１１は、取得した利用者の位置情報に基づいて、利用者の利用する領域の種類を特定してもよい。制御部１１は、取得した利用者の位置情報及び運動設備の種類を画像に対応付けて記憶する。

【0049】

制御部１１は、取得した利用者の画像に基づいて、利用者の状態を取得する（ステップＳ１６）。図９は、利用者の状態取得処理の詳細な手順の一例を示すフローチャートである。図９のフローチャートに示す処理手順は、図７のフローチャートにおけるステップＳ１６の詳細に対応する。

【0050】

情報処理装置１の制御部１１は、利用者が運動状態であるか否かを判定する（ステップＳ３１）。利用者が運動状態であるか否かの判定方法は限定されるものではないが、例えば、取得した利用者の画像におけるパターンマッチングを行うことで特定してもよい。制御部１１は、画像解析を行うことにより、利用者の姿勢を特定するための頭、手足、関節などの人体の部位を特徴点として検出する。制御部１１は、予め記憶される運動状態（運動時の姿勢）の特徴点とのパターンマッチングにより、運動状態であるか否の判定を行う。運動状態であるか否はその他機械学習等の手法を用いて判定されてもよい。なお運動状態であるか否の判定は省略されてもよい。

【0051】

制御部１１は、利用者の姿勢を判定する（ステップＳ３２）。利用者の姿勢の判定方法は限定されるものではないが、例えば制御部１１は、運動状態の判定と同様に、取得した利用者の画像における特徴点と、予め記憶される各姿勢の特徴点とのパターンマッチングにより利用者の姿勢の特定を行ってもよい。

【0052】

制御部１１は、時系列での利用者の画像に基づいて、特定した姿勢の継続時間を判定する（ステップＳ３３）。制御部１１は、時系列で連続する過去の画像の撮像時刻及び当該画像に対する利用者の姿勢の判定結果に基づいて、同一姿勢の継続時間を特定する。制御部１１は、上述の処理により、利用者における運動状態、姿勢、及び継続時間を含む利用者の状態に関する情報を取得し、図７のフローチャートにおけるステップＳ１７へ処理を戻す。

【0053】

制御部１１は、特定した運動設備の種類及び取得した利用者の状態に基づいて、利用者が危険状態にあるか否かを判定する（ステップＳ１７）。詳細には制御部１１は、利用者における危険状態の有無及び危険状態にある場合における危険状態のレベルを併せて判定する。制御部１１は、上記で特定した運動設備の種類及び利用者の状態に関する情報に基づいて、判定テーブル１２１ｅを用いて、危険状態の有無及びレベルを特定する。なお制御部１１は、特定した領域の種類及び取得した利用者の状態に基づいて、領域の種類毎に危険状態レベルを対応付けた判定テーブル１２１ｅを用いて、利用者が危険状態にあるか否かを判定してもよい。

【0054】

制御部１１は、上記で特定した姿勢及び継続時間と、判定テーブル１２１ｅに規定される姿勢及び各レベルの継続時間とを比較し、上記で特定した姿勢に係る継続時間が、予め判定テーブル１２１ｅに規定される継続期間を超えているか否かを判定する。上記で特定した継続時間が、判定テーブル１２１ｅに規定される継続期間を超えている場合、危険状態にあると判定し、該当する危険状態レベルを特定する。上記で特定した継続時間が、判定テーブル１２１ｅに規定される継続期間を超えていない場合、危険状態にないと判定する。

【0055】

利用者が危険状態にないと判定した場合（ステップＳ１７：ＮＯ）、制御部１１は処理を終了する。

【0056】

利用者が危険状態にあると判定した場合（ステップＳ１７：ＹＥＳ）、制御部１１は、利用者における危険状態のレベルが、判定結果の出力対象レベルであるか否かを判定する（ステップＳ１８）。以下では、判定結果の送信先が従業員端末２である場合の処理を説明するが、送信先が管理者端末３の場合には、管理者端末３側で以下の従業員端末２と同様の処理が実行される。

【0057】

制御部１１は、施設ＤＢ１２１の施設情報１２１ａに記憶する情報に基づいて、従業員端末２に対応付けられる判定結果の出力対象レベルを取得する。例えば、従業員端末２に対する出力対象レベルは４～６であり、管理者端末３に対する出力対象レベルは１～６である。特定した危険状態のレベルが出力対象レベルに含まれないことにより、判定結果の出力対象レベルでないと判定した場合（ステップＳ１８：ＮＯ）、制御部１１は処理を終了する。

【0058】

特定した危険状態のレベルが出力対象レベルに含まれることにより、判定結果の出力対象レベルであると判定した場合（ステップＳ１８：ＹＥＳ）、制御部１１は、判定結果を含む判定結果画面を生成する（ステップＳ１９）。制御部１１は、生成した判定結果画面を、判定結果の出力先となる従業員端末２へ送信する（ステップＳ２０）。

【0059】

従業員端末２の制御部２１は、判定結果画面を受信する（ステップＳ２１）。制御部２１は、受信した判定結果画面を表示部２４に表示する（ステップＳ２２）。

【0060】

図１０は、判定結果画面２４１の一例を示す模式図である。判定結果画面２４１は、例えば危険状態レベル欄２４２及び判定結果欄２４３を含む。危険状態レベル欄２４２は、表示対象となる危険状態のレベルを示すオブジェクト種類及び各レベルに対する判定基準を表示する。危険状態が検出されると、後述する画像表示画面２４５において、危険状態を示す画像上に、危険状態のレベルを認識可能に示すオブジェクトが重畳表示される。オブジェクトは、例えばレベル毎に異なる表示色が規定されたバウンデイングボックスである。危険状態レベル欄２４２は、各レベルに対応付けてバウンデイングボックスの表示態様を識別可能に表示する。

【0061】

判定結果欄２４３は、危険状態の判定結果を一覧で表示する。判定結果欄２４３には、例えば危険状態であると判定した判定日時、危険状態の内容、判定結果に対する操作を受け付けるための受付ボタン２４４等が含まれる。情報処理装置１は、危険状態にあると判定した場合、当該判定日時、危険状態のレベル及び危険状態の検出領域を含む危険状態の内容、及び受付ボタン２４４を対応付けて判定結果欄２４３に表示する。この場合において、情報処理装置１は、危険状態を検出した画像を撮像した撮像装置４の設置位置に応じて危険状態の検出領域を特定する。判定結果欄２４３は、所定期間又は所定数の判定結果を時系列で表示する。

【0062】

なお、判定結果画面２４１を管理者端末３に出力する場合、情報処理装置１は、例えば危険状態レベル欄２４２において、出力対象レベルとして１～６の全レベルを表示し、判定結果欄２４３において、全ての危険状態の検知結果を表示してもよい。

【0063】

受付ボタン２４４は、判定結果に対する確認を入力するため確認済みボタン２４４ａ、検知結果に関する映像（画像）表示を要求するための映像表示ボタン２４４ｂ、及び検知結果の確認者一覧の表示を要求するための確認者一覧ボタン２４４ｃ等が含まれる。映像表示ボタン２４４ｂには、危険状態の画像へのリンク情報が含まれる。情報処理装置１は、施設ＤＢ１２１の画像履歴１２１ｃに記憶する情報に基づいて、危険状態の判定日時に対応する画像へのリンク情報を含む映像表示ボタン２４４ｂを生成する。

【0064】

判定結果画面２４１において危険状態の検知結果を確認した場合、従業員は、確認済みボタン２４４ａを押下する。従業員端末２を介して、確認済みボタン２４４ａのタップ操作を受け付けた場合、情報処理装置１は、確認者の履歴を記憶部１２に記憶する。確認者は、例えば判定結果画面２４１の表示に際し受け付けたログインアカウントにより特定されてよい。情報処理装置１は、確認者一覧ボタン２４４ｃのタップ操作を受け付けた場合、確認者の履歴を一覧で表示する。確認履歴を表示することにより、検知結果の確認漏れを効果的に防止できる。

【0065】

図８に戻り説明を続ける。制御部２１は、図１０に示す判定結果画面２４１が表示されている状態において、操作部２５を介していずれかの映像表示ボタン２４４ｂのタップ操作を受け付けることにより、画面要求を受け付ける。制御部２１は、受け付けた画面要求を情報処理装置１へ送信する（ステップＳ２３）。

【0066】

情報処理装置１の制御部１１は、画面要求を受信する（ステップＳ２４）。制御部１１は、画面要求のリンク先情報に対応する応答画面（画像表示画面）を生成する（ステップＳ２５）。制御部１１は、生成した画像表示画面を、画面の要求元である従業員端末２へ送信する（ステップＳ２６）。

【0067】

従業員端末２の制御部２１は、画像表示画面を受信する（ステップＳ２７）。制御部２１は、受信した画像表示画面を表示部２４に表示し（ステップＳ２８）、一連の処理を終了する。

【0068】

図１１は、画像表示画面２４５の一例を示す模式図である。画像表示画面２４５は、選択された映像表示ボタン２４４ｂに対応する危険状態の検知結果に係る画像を表示する画像表示欄２４６を含む。画像には、利用者が危険状態にあることを識別可能に示すバウンデイングボックス２４７が重畳表示されている。バウンデイングボックス２４７は、画像上において危険状態にある利用者を囲むように表示される。

【0069】

情報処理装置１は、映像表示ボタン２４４ｂの選択を受け付け、受け付けた映像表示ボタン２４４ｂに対応する危険状態の画像を表示させる。画像表示に際し、情報処理装置１は、画像に対応付けて記憶する利用者の位置座標に基づいて、利用者の位置座標に対応するよう、画像上にバウンデイングボックス２４７を重畳表示する。この場合において、情報処理装置１は、バウンデイングボックス２４７の表示色を危険状態のレベルに応じて変更するなど、各バウンデイングボックス２４７の表示態様を危険状態のレベルに応じて異ならせる。なお、利用者の危険状態を示すオブジェクトはバウンデイングボックス２４７に限定されず、利用者が危険状態にあることを識別可能に示すものであればよい。

【0070】

情報処理装置１は、危険状態を検知したときの画像のみならず、危険状態を検知した時刻の前後数秒から数分間に亘る画像を連続的に取得し、画像表示画面２４５に表示することが好ましい。危険状態に関する前後の状態を併せて表示することで、例えば利用者の危険状態の原因の把握が容易となる。

【0071】

画像表示画面２４５は、利用者情報欄２４８を含んでもよい。情報処理装置１は、ステップＳ１３において利用者を特定した場合、会員情報１２１ｂを参照して、特定した利用者の氏名、年齢、性別等を取得する。情報処理装置１は、取得した利用者情報を利用者情報欄２４８に表示させる。利用者に関する情報が表示されることにより、従業員は、高齢者を優先的に対応するなど、より的確な対応が可能となる。

【0072】

本実施形態によれば、施設内に設置される複数の撮像装置により撮像された画像を用いて、利用者の危険状態を効率的に検知することができる。施設内に従業員の存在していない場合であっても、施設内における危険状態を検知することができる。従業員の負担を低減し、人的コストを削減できる。

【0073】

危険状態を検知するための判定ルールは、施設内の運動設備に応じて異なる判定基準が設定される。運動設備における基本の利用姿勢、利用者の転倒などに対する緊急性の高さなどに応じて、適正に判定ルールや危険状態のレベルを設定することができる。多数の利用者が多様な運動設備を利用する場合であっても、各利用者の危険状態を好適に検知することができる。

【0074】

危険状態は複数段階のレベルに分類され、各レベルに応じて判定結果の通知態様が異なる。現場の従業員には、比較的高いレベルの危険状態のみを通知することで、緊急性の高い危険状態に対する早急な対応を支援する。また、施設の管理者には、全てのレベルの危険状態を通知することで、施設内の状況の総合的な把握を支援する。

【0075】

（第２実施形態）
第２実施形態では、学習モデルを用いて利用者の状態を判定する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0076】

図１２は、第２実施形態の情報処理装置１の構成例を示すブロック図である。情報処理装置１は、記憶部１２に学習モデル１２１ｆを記憶している。学習モデル１２１ｆは、訓練データを学習済みの機械学習モデルである。学習モデル１２１ｆは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。第２実施形態の情報処理装置１は、学習モデル１２１ｆを用いて利用者の姿勢を認識する。

【0077】

図１３は、学習モデル１２１ｆの概要を示す説明図である。学習モデル１２１ｆは、ニューラルネットワークにより構成される学習モデルであり、例えばＣＮＮ（Convolutional Neural Network）である。学習モデル１２１ｆは撮像装置４により撮像された画像を入力として、当該画像における利用者の姿勢を示す情報を出力する。学習モデル１２１ｆは、画像が入力される入力層と、画像の特徴量を抽出する中間層（隠れ層）と、利用者の姿勢を示す情報を出力する出力層とを有する。中間層は、画像の特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。入力層に画像が入力された場合、学習済みパラメータによって中間層で演算が行なわれ、出力層から利用者の姿勢に関する出力情報が出力される。

【0078】

学習モデル１２１ｆの入力層へ入力される入力情報は利用者の画像データである。本実施形態において、学習モデル１２１ｆに入力される画像は、撮像装置４により得られた画像に対し、例えばパターンマッチング又は骨格推定モデル等の機械学習等の手法を用いて、利用者の頭、手足、関節などの人体の部位を特徴点として抽出した特徴点抽出画像である。なお、画像データは、撮像装置４により得られた画像そのものであってもよい。

【0079】

学習モデル１２１ｆの出力層は、利用者の姿勢を夫々出力する複数の出力層を備える。利用者の姿勢は、例えば「立っている」「床以外に座っている」「床に座っている」「横たわっている」の４つの姿勢の全部又は一部を含む。出力層は、設定されている姿勢に各々対応するノードを含み、各姿勢に対する確度をスコアとして出力する。情報処理装置１は、スコアが最も高いレベル、あるいはスコアが閾値以上であるレベルを出力層の出力値とすることができる。なお出力層は、それぞれの姿勢の確度を出力する複数の出力ノードを有する代わりに、最も確度の高い姿勢を出力する１個の出力ノードを有してもよい。なお学習モデル１２１ｆの出力層は、利用者の姿勢に加え利用者の位置座標を出力するものであってもよい。学習モデル１２１ｆは、利用者の状態として、利用者の姿勢に加えて利用者が運動状態であるか否かを識別してもよい。

【0080】

学習モデル１２１ｆは、利用者の画像と、画像に含まれる利用者における姿勢を示すラベルとが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。

【0081】

情報処理装置１は、利用者を含む画像に対し、利用者の姿勢を示すラベルが付与された情報群を訓練データとして取得する。情報処理装置１は、取得した訓練データを用いて学習モデル１２１ｆを学習する。情報処理装置１は、画像に応じた利用者の姿勢を出力するよう、例えば誤差逆伝播法を用いて、学習モデル１２１ｆを構成する各種パラメータを最適化する。

【0082】

本実施形態では、学習モデル１２１ｆは、時系列で連続する複数フレームの画像を入力として受け付け、各フレームの画像に対し利用者の姿勢を推定する。具体的には、学習モデル１２１ｆは、連続する複数フレームの画像を入力として受け付ける。学習モデル１２１ｆは、時間軸ｔに沿って連続する各フレームの画像における利用者の姿勢を推定する。

【0083】

情報処理装置１は、各フレーム画像を学習モデル１２１ｆに一枚ずつ入力して処理してもよいが、連続する複数のフレーム画像を同時に入力して、複数のフレーム画像における利用者の姿勢を同時に推定できるようにすると好適である。例えば情報処理装置１は、学習モデル１２１ｆを、３次元の入力データを取り扱う３Ｄ－ＣＮＮとする。そして情報処理装置１は、２次元のフレーム画像の座標を２軸とし、各フレーム画像を取得した時間（生成時点）ｔを１軸とする３次元データとして取り扱う。情報処理装置１は、所定の単位時間分の複数フレーム画像を一セットとして学習モデル１２１ｆに入力し、複数のフレーム画像それぞれに対する利用者の姿勢の推定結果を同時に出力する。これにより、時系列で連続する前後のフレーム画像も考慮して利用者の姿勢を推定することができ、推定精度を向上させることができる。

【0084】

学習モデル１２１ｆは、画像を入力として、利用者の姿勢及び当該姿勢の継続時間を示す情報を出力するものであってもよい。学習モデル１２１ｆは、例えば、時系列で連続する所定の単位時間分の複数フレーム画像又は複数フレームからなる所定の単位時間分の動画像と、画像に含まれる利用者における姿勢及び同一姿勢の継続時間を示すラベルとが対応付けられた訓練データを用いて学習を行う。情報処理装置１は、所定の単位時間分の複数フレーム画像を一セットとして学習モデル１２１ｆに入力し、一セットの画像に対する利用者の姿勢及び継続時間の推定結果を出力する。

【0085】

上記では、学習モデル１２１ｆがＣＮＮである例を説明したが、学習モデル１２１ｆの構成は限定されるものではなく、画像中における利用者の姿勢を識別可能であればよい。学習モデル１２１ｆは、例えばＲＮＮ（Recurrent Neural Network）、ＳＶＭ（Support Vector Machine）、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。

【0086】

図１４は、第２実施形態における利用者の状態取得処理の詳細な手順の一例を示すフローチャートである。図１４のフローチャートに示す処理手順は、図７のフローチャートにおけるステップＳ１６の詳細に対応する。

【0087】

情報処理装置１の制御部１１は、図９のステップＳ３１と同様の処理を実行し、利用者が運動状態であるか否かを判定する（ステップＳ４１）。

【0088】

制御部１１は、利用者の画像を学習モデル１２１ｆに入力する（ステップＳ４２）。詳細には制御部１１は、図７のステップＳ１２にて取得した利用者の画像から特徴点を抽出した特徴点抽出画像を生成し、生成した特徴点抽出画像を学習モデル１２１ｆに入力する。制御部１１は、学習モデル１２１ｆから出力される利用者の姿勢の認識結果を取得する（ステップＳ４３）。

【0089】

制御部１１は、図９のステップＳ３３と同様の処理を実行し、利用者の姿勢の継続時間を判定する（ステップＳ４４）。なお制御部１１は、特徴点抽出画像を学習モデル１２１ｆに入力することにより、学習モデル１２１ｆから出力される利用者の姿勢及び当該姿勢の継続時間の認識結果を取得してもよい。制御部１１は、図７のフローチャートにおけるステップＳ１７へ処理を戻す。以降、情報処理システム１００は第１実施形態と同様の処理を実行し、危険状態判定及び判定結果の出力を行う。

【0090】

本実施形態によれば、学習モデル１２１ｆを用いて利用者の姿勢を精度よく推定することができるため、より容易かつ精度よく危険状態を検知することができる。

【0091】

（第３実施形態）
第３実施形態では、利用者の運動状態に関する情報を出力する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0092】

情報処理装置１は、利用者が運動状態であると判定した場合、当該利用者の現在の運動状態の詳細を示す情報を対応付けた画像をリアルタイムで表示する。運動状態の詳細は、例えば利用者の利用中である運動設備の種類、当該運動設備を用いた運動動作の状況等を含む。運動動作の状況は、例えばレッグカール１０回目、腹筋１０回目等の計測データであってもよい。

【0093】

図１５は、第３実施形態の情報処理システム１００で実行される処理手順の一例を示すフローチャートである。

【0094】

従業員端末２の制御部２１及び情報処理装置１の制御部１１は、図７に示したステップＳ１１からステップＳ１６と同様の処理を実行することにより、利用者の画像を取得し、運動設備の種類を特定し、利用者の状態を取得する。

【0095】

情報処理装置１の制御部１１は、取得した利用者の状態に基づいて、利用者が運動状態であるか否かを判定する（ステップＳ５１）。運動状態でないと判定した場合（ステップＳ５１：ＮＯ）、制御部１１は、ステップＳ５２の処理をスキップする。

【0096】

運動状態であると判定した場合（ステップＳ５１：ＹＥＳ）、制御部１１は、さらに運動状態の詳細を取得する（ステップＳ５２）。具体的には、制御部１１は、時系列の画像データにおける利用者の人体の部位を示す特徴点の変化に基づいて、上半身、足、腕等の所定部位の移動回数を特定することにより、運動動作の状況（現在何回目等）を算出する。

【0097】

制御部１１は、リアルタイム画像を表示するための画面を生成する（ステップＳ５３）。利用者が運動状態である場合には、制御部１１は、特定した運動状態を示す情報を含む画面を生成する。制御部１１は、運動状態にある利用者の位置座標を囲むバウンデイングボックス等のオブジェクトと、得られた運動状況を示すテキストとを生成する。制御部１１は、生成したオブジェクト及びテキストを重畳した画像を含む画面を生成する。利用者が運動状態でない場合には、制御部１１は、得られた画像をそのまま表示する画面を生成してよい。

【0098】

制御部１１は、生成した画面を従業員端末２へ送信する（ステップＳ５４）。制御部１１は、生成した画面を管理者端末３へ送信してもよい。

【0099】

従業員端末２の制御部２１は、画面を受信する（ステップＳ５５）。制御部２１は、受信した画面を表示部２４に表示する（ステップＳ５６）。以降、情報処理システム１００は、図７に示したステップＳ１７以降の処理を実行することにより危険状態の判定を行う。なお、ステップＳ５１からステップＳ５６の処理は、ステップＳ１７以降の処理と並行して実行されてもよい。

【0100】

図１６は、運動状態を示す画面２４９の一例を示す模式図である。画面２４９は、施設内における各撮像装置４により撮像された画像をリアルタイムで表示する。各画像には、当該画像に係る撮像装置４の撮像装置情報や設置領域が対応付けて表示される。

【0101】

画像には、運動状態にある利用者を囲むバウンデイングボックスと、運動状況を示すテキストとが重畳表示されている。情報処理装置１は、取得した画像中において、運動状態である利用者の含まれる領域にバウンデイングボックスを表示させる。情報処理装置１は、運動設備の種類及び運動状況を示すテキストデータを生成し、バウンデイングボックスの近傍に表示させる。

【0102】

本実施形態によれば、施設内における利用者の状態をより好適に把握することができる。

【0103】

上述の各実施形態では、危険状態の判定等に関する処理を主に情報処理装置１が実行する例を説明したが、各処理の処理主体は限定されるものではない。情報処理装置１が実行する処理は、例えば従業員端末２、管理者端末３又は撮像装置４により実行されるものであってもよい。

【符号の説明】

【0104】

１ 情報処理装置
２ 従業員端末
３ 管理者端末
４ 撮像装置
１１，２１，３１ 制御部
１２，２２，３２ 記憶部
１３，２３，３３ 通信部
２４，３４ 表示部
１Ｐ，２Ｐ，３Ｐ プログラム
１Ａ 記録媒体
１２１ｅ 判定テーブル
１２１ｆ 学習モデル

【要約】

【課題】利用者の危険状態を検知することができる情報処理方法等を提供する。
【解決手段】情報処理方法は、施設に設置された運動設備の種類を特定し、特定した前記運動設備を利用する利用者の状態を取得し、特定した前記運動設備の種類及び取得した前記利用者の状態に基づき、前記利用者が危険状態にあるか否かを判定し、前記利用者が危険状態にあると判定した場合に判定結果を出力する処理をコンピュータが実行する。
【選択図】図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】