特許 7508958 情報処理装置、情報処理システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】情報処理装置、情報処理システム、及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240625BHJP

   G09G 5/373 20060101ALI20240625BHJP

   H04N 7/18 20060101ALI20240625BHJP

   A61G 7/043 20060101ALN20240625BHJP

   A61G 7/05 20060101ALN20240625BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 510D

G09G5/00 530T

G09G5/00 550X

G09G5/373

G09G5/373 100

H04N7/18 U

A61G7/043

A61G7/05

【請求項の数】 10

(21)【出願番号】P 2020153040

(22)【出願日】2020-09-11

(65)【公開番号】P2022047237

(43)【公開日】2022-03-24

【審査請求日】2023-02-24

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】大野 莉沙

(72)【発明者】

【氏名】飯田 貴広

(72)【発明者】

【氏名】津和野 文子

(72)【発明者】

【氏名】黒田 裕芳

(72)【発明者】

【氏名】梶原 勝

【審査官】村上 遼太

(56)【参考文献】

【文献】特開２００７－１２２０２１（ＪＰ，Ａ）

【文献】国際公開第２０１６／１２９３２０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０２０３６９４（ＵＳ，Ａ１）

【文献】特開２０１５－１８８５６６（ＪＰ，Ａ）

【文献】特開２０２０－０５７３５１（ＪＰ，Ａ）

【文献】特開２０１４－１９１６６８（ＪＰ，Ａ）

【文献】特開２００８－２８９０９１（ＪＰ，Ａ）

【文献】特開２０１９－０３０６２８（ＪＰ，Ａ）

【文献】特開２０２０－０５２８２６（ＪＰ，Ａ）

【文献】特開２０１９－１７５４０６（ＪＰ，Ａ）

【文献】特開平０４－０６６８２２（ＪＰ，Ａ）

【文献】特開２０２１－１４５７９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｇ７／００－７／１６

Ｇ０１Ｊ５／００－５／９０

Ｇ０９Ｇ５／００－５／４２

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

利用者が利用する所定の設備を撮影した第１の画像と、前記第１の画像と解像度が異なる、前記所定の設備の温度を表す第２の画像とを取得する取得部と、
前記第１の画像の解像度及び前記第２の画像の解像度を、前記第１の画像又は前記第２の画像を表示する表示領域の解像度に変換する変換部と、
前記表示領域の解像度に変換した前記第１の画像又は前記第２の画像を選択的に表示させる前記表示領域を含む設定画面であって、所定の温度を検知する検知領域の範囲の設定および、前記検知領域の温度範囲設定を受け付ける設定画面を表示する表示制御部と、
前記設定画面を介して、前記検知領域および前記温度範囲設定の設定操作をユーザから受け付ける設定受付部と、
を有する、情報処理装置。

【請求項2】

前記変換部は、前記第１の画像及び前記第２の画像のうち、前記表示領域に表示させる表示画像の縦横比を維持したまま、前記表示画像の全体が前記表示領域に表示されるように、前記表示画像を拡大する、請求項１に記載の情報処理装置。

【請求項3】

前記変換部は、前記表示画像の縦横比が前記表示領域の縦横比と異なる場合、前記表示画像の解像度と前記表示領域の解像度との縦方向の比、及び横方向の比のうち、小さい方の比を用いて前記表示画像を拡大する、請求項２に記載の情報処理装置。

【請求項4】

前記設定受付部は、前記表示制御部が、前記表示領域に前記第１の画像を表示させているときに、前記第１の画像上で、前記所定の温度を検知する検知領域の設定を受け付ける、請求項１乃至３のいずれか一項に記載の情報処理装置。

【請求項5】

前記表示制御部は、前記表示領域に前記第２の画像を表示させているときに、前記第１の画像上で設定された前記検知領域を前記第２の画像上に表示する、請求項４に記載の情報処理装置。

【請求項6】

前記第２の画像において、前記検知領域内に、予め設定された温度範囲内の画素が閾値以上含まれているか否かを検知する検知部と、
前記検知部による検知結果に基づいて、前記利用者の状態を判定する判定部と、
を有する、請求項５に記載の情報処理装置。

【請求項7】

前記検知部による１つ以上の検知結果と、当該検知結果に対応する前記利用者の状態との対応関係を予め記憶した記憶部を有し、
前記判定部は、前記検知部による１つ以上の検知結果と前記対応関係とを用いて、前記利用者の状態を判定する、請求項６に記載の情報処理装置。

【請求項8】

前記表示制御部は、前記利用者の状態を示す情報と、前記第２の画像とを表示する表示画面を表示部に表示させる、請求項５乃至７のいずれか一項に記載の情報処理装置。

【請求項9】

利用者が利用する所定の設備を撮影した第１の画像と、前記第１の画像と解像度が異なる、前記所定の設備の温度を表す第２の画像とを取得する取得部と、
前記第１の画像の解像度及び前記第２の画像の解像度を、前記第１の画像又は前記第２の画像を表示する表示領域の解像度に変換する変換部と、
前記表示領域の解像度に変換した前記第１の画像又は前記第２の画像を選択的に表示させる前記表示領域を含む設定画面であって、所定の温度を検知する検知領域の範囲の設定および、前記検知領域の温度範囲設定をする設定画面を表示する表示制御部と、
前記設定画面を介して、前記検知領域および前記温度範囲設定の設定操作をユーザから受け付ける設定受付部と、
を有する、情報処理システム。

【請求項10】

コンピュータに、
利用者が利用する所定の設備を撮影した第１の画像と、前記第１の画像と解像度が異なる、前記所定の設備の温度を表す第２の画像とを取得する処理と、
前記第１の画像の解像度及び前記第２の画像の解像度を、前記第１の画像又は前記第２の画像を表示する表示領域の解像度に変換する処理と、
前記表示領域の解像度に変換した前記第１の画像又は前記第２の画像を選択的に表示させる前記表示領域を含む設定画面であって、所定の温度を検知する検知領域の範囲の設定および、前記検知領域の温度範囲設定をする設定画面を表示する処理と、
前記設定画面を介して、前記検知領域および前記温度範囲設定の設定操作をユーザから受け付ける処理と、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、及びプログラムに関する。

【背景技術】

【0002】

医療施設や介護施設等の施設において、施設に設置されたベッドを利用する利用者の状態（例えば、ベッドに寝ていること、起き上がったこと、ベッドから離れたこと等）を示す利用者の情報を提供する情報処理システムがある。

【0003】

例えば、施設に備えられたベッドを利用する利用者の温度画像データを用いて、利用者の状態を検知し、利用者の状態を示す情報を所定の通知先に通知する情報処理システムが知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術では、利用者が利用するベッド及びベッドの周辺を撮影した温度画像を取得して、表示画面の所定の表示領域に取得した温度画像を表示させている。しかし、温度画像では、所定の設備（例えば、ベッド又は枕等）の位置を把握し難いので、例えば、管理者等が表示画面を見ながらシステムの設定又は変更を行うことには困難を伴っていた。

【0005】

本発明の実施の形態は上記の問題点に鑑みてなされたものであって、所定の設備を利用する利用者の温度画像を表示画面に表示する情報処理システムにおいて、管理者等が、表示画面を見ながらシステムの設定又は変更を行うことを容易にする。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、本発明の一実施形態に係る情報処理装置は、利用者が利用する所定の設備を撮影した第１の画像と、前記第１の画像と解像度が異なる、前記所定の設備の温度を表す第２の画像とを取得する取得部と、前記第１の画像の解像度及び前記第２の画像の解像度を、前記第１の画像又は前記第２の画像を表示する表示領域の解像度に変換する変換部と、前記表示領域の解像度に変換した前記第１の画像又は前記第２の画像を選択的に表示させる前記表示領域を含む設定画面であって、所定の温度を検知する検知領域の範囲の設定および、前記検知領域の温度範囲設定をする設定画面を表示する表示制御部と、前記設定画面を介して、前記検知領域および前記温度範囲設定の設定操作をユーザから受け付ける設定受付部と、を有する。

【発明の効果】

【0007】

本発明の一実施の形態によれば、所定の設備を利用する利用者の温度画像を表示画面に表示する情報処理システムにおいて、管理者等が、表示画面を見ながらシステムの設定又は変更を行うことが容易になる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る情報処理システムのシステム構成の例を示す図（１）である。

【図2】一実施形態に係る情報処理システムのシステム構成の例を示す図（２）である。

【図3】一実施形態に係る撮影装置の配置の一例を示す図である。

【図4】一実施形態に係る検知領域の例を示す図である。

【図5】一実施形態に係る判定条件、及び判定内容の例について説明するための図である。

【図6】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図7】一実施形態に係る撮影装置のハードウェア構成の例を示す図である。

【図8】一実施形態に係る情報処理システムの機能構成の例を示す図である。

【図9】一実施形態に係る情報処理装置が管理する情報の例を示す図である。

【図10】第１の実施形態に係る表示画像の選択処理の例を示すフローチャートである。

【図11】第１の実施形態に係る表示画像の拡大処理について説明するための図である。

【図12】第１の実施形態に係る表示画面の例を示す図である。

【図13】第２の実施形態に係る設定画面の例を示す図である。

【図14】第２の実施形態に係る検知領域の設定処理の例を示すフローチャートである。

【図15】第２の実施形態に係る撮影画像上の検知領域のイメージを示す図である。

【図16】第２の実施形態に係る表示画像、及び検知領域の表示処理の例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

【0010】

＜システム構成＞
図１、２は、一実施形態に係る情報処理システムのシステム構成の例を示す図である。図１の例では、情報処理システム１００は、例えば、医療施設や介護施設等に設置されたベッド、及びベッドの周辺を撮影する1つ以上の撮影装置１０２と、通信ネットワーク１０を介して、1つ以上の撮影装置と通信可能に接続される情報処理装置１０１とを含む。なお、ベッドは、利用者が利用する所定の設備の一例である。

【0011】

撮影装置１０２は、例えば、ベッド、及びベッドの周辺の温度を示す画像（以下、温度画像と呼ぶ）を撮影するサーマルカメラ１１２と、ベッド及びベッドの周辺を撮影した通常の画像（以下、撮影画像と呼ぶ）を撮影するカメラ１２２とを含む。

【0012】

サーマルカメラ１１２は、例えば、一般的な赤外線サーモグラフィカメラ等を適用することができる。サーマルカメラ１１２は、測定対象物からの赤外線放射を画像化して温度に換算し、温度の分布を色等によって可視化する装置である。なお、サーマルカメラ１１２は、サーモグラフィ、サーモビジョン、サーモビューワ等と呼ばれる場合もある。

【0013】

カメラ１２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサ等を備える一般的な撮影画像を撮影するカメラである。

【0014】

撮影装置１０２は、例えば、医療施設又は介護施設等において、利用者（患者、又は要介護者等）が利用するベッド、及びベッドの周辺の温度画像と撮影画像を撮影できるように、壁又は天井等に設置される。

【0015】

また、撮影装置１０２は、ベッド、及びベッドの周辺を、所定のフレームレートで撮影した温度画像、及び撮影画像を、通信ネットワーク１０を介して情報処理装置１０１に送信する。このとき、撮影装置１０２は、例えば、情報処理装置１０１からの制御情報に従って、温度画像、及び撮影画像のいずれか一方を、情報処理装置１０１に送信しても良い。

【0016】

このとき、撮影装置１０２が送信する画像（温度画像、及び撮影画像）には、撮影装置１０２、ベッド、又は利用者を識別するための識別情報（例えば、ＩＰアドレス、カメラＩＤ、ベッドＩＤ等）、或いは表示名等の情報が含まれる。

【0017】

情報処理装置１０１は、例えば、ＰＣ（Personal Computer）等のコンピュータ、又は複数のコンピュータを含むシステムである。情報処理装置１０１は、撮影装置１０２から送信される温度画像、及び撮影画像を取得し、取得した温度画像を用いて、ベッド及びベッドの周辺に予め設定された１つ以上の検知領域における所定の温度を検知する。また、情報処理装置１０１は、１つ以上の検知領域において検出された所定の温度に基づいて、ベッドを利用する利用者の状態を検知する。

【0018】

ここで、利用者には、例えば、医療施設に入院している患者、介護施設に入居している入居者等が含まれる。ここでは、一例として、利用者が医療施設に入院している患者であるものとして、以下の説明を行う。

【0019】

また、情報処理システム１００は、例えば、図２に示すように、複数の情報処理装置１０１を有していても良い。例えば、情報処理システム１００は、医療施設のフロアごと、診療科ごと、病棟ごとに異なる情報処理装置１０１を有していても良い。この場合、情報処理システム１００は、複数の情報処理装置１０１と通信ネットワーク１０を介して通信可能に接続される情報処理サーバ２０１を有し、情報処理サーバ２０１で、医療施設内の全部又は一部のベッドを利用する利用者の情報を管理しても良い。

【0020】

さらに、情報処理サーバ２０１は、通信ネットワーク１０を介して、医療施設に設けられたナースコールシステム２０２と通信可能に接続されるものであっても良い。例えば、情報処理サーバ２０１は、ベッドを利用する利用者の検知結果をナースコールシステム２０２に通知して、ナースステーションに設置された表示装置２０３、及び医療スタッフが所持する情報端末２０４等に、検知結果を表示させるものであっても良い。

【0021】

なお、図１、２に示した情報処理システム１００のシステム構成は一例である。例えば、図２に示すような情報処理システム１００において、情報処理サーバ２０１の機能は、複数の情報処理装置１０１のうちの１台が有していても良い。また、情報処理サーバ２０１の機能の一部又は全部は、ナースコールシステム２０２が有していても良い。

【0022】

（撮影装置の配置の一例）
図３は、一実施形態に係る撮影装置の配置の一例を示す図である。撮影装置１０２は、例えば、図３（Ａ）に示すように、ベッド３０１、及びベッド３０１の周辺の画像（温度画像、及び撮影画像）を撮影することができるように、病室３００の壁面等に設置される。なお、撮影装置１０２は、病室３００の天井に設置されるものであっても良い。

【0023】

図３（Ｂ）は、病室３００を上方から見た状態を示している。撮影装置１０２は、撮影装置１０２に対応するベッド３０１、及びベッド３０１の周辺を含む所定の範囲（以下、検知範囲３０２と呼ぶ）の画像を撮影することができるように設置される。

【0024】

（検知領域の例）
図４は、一実施形態に係る検知領域の例を示す図である。情報処理装置１０１は、撮影装置１０２の検知範囲３０２内に予め設定された、１つ以上の検知領域の情報である領域情報を管理している。撮影装置１０２の検知範囲３０２内には、例えば、図４に示されるように、複数の検知領域が設定されている。図４の例では、検知範囲３０２内には、検知領域Ａ４０１、検知領域Ｂ４０２、検知領域Ｃ４０３、検知領域Ｄ４０４、検知領域Ｅ４０５、及び検知領域Ｆ４０６が設定されている。

【0025】

図４の例では、検知領域Ａ４０１は、利用者が利用する枕が配置される領域を含むように設定されている。また、ベッド３０１の中央付近には、検知領域Ｂ４０２が設定され、ベッド３０１の両側に検知領域Ｃ４０３、及び検知領域Ｄ４０４が設定されている。さらにまた、ベッド３０１の横に隣接する領域（床等）には、検知領域Ｅ４０５、及び検知領域Ｆ４０６が設定されている。情報処理装置１０１は、一例として、複数の検知領域の左上、右上、左下、右下の４点を示す座標情報等を用いて、複数の検知領域の範囲を管理する。ただし、これは一例であり、情報処理装置１０１は、３つ以上の任意の数の点で囲まれた範囲を、検知領域として管理しても良い。

【0026】

（判定条件、及び判定内容について）
情報処理装置１０１は、撮影装置１０２から取得した温度画像を用いて、複数の検知領域で所定の温度を検知し、所定の温度が検知された検知領域、又は検知領域の変化に基づいて、利用者の状態を判定する機能を有している。

【0027】

例えば、情報処理装置１０１は、取得した温度画像を解析して、検知領域内に、予め設定された温度範囲内の画素が閾値以上含まれている場合、当該検知領域で所定の温度が検知されたと判断する。

【0028】

また、情報処理装置１０１は、所定の温度が検知された１つ以上の検知領域と、利用者の状態との対応関係を記憶部に予め記憶しておき、所定の温度が検知された１つ以上の検知領域と、上述した対応関係とを用いて、利用者の状態を判定する。

【0029】

図５は、一実施形態に係る判定条件、及び判定内容の例について説明するための図である。図５（Ａ）は、ベッド３０１に利用者５０１が横たわっている場合における、利用者５０１の温度画像のイメージを示している。図５（Ａ）の例では、利用者５０１は、パジャマや部屋着等の衣服を身に付けており、頭５０２、手５０３、足５０４等が、利用者５０１の体温に相当する温度範囲の色で表示されているものとする。

【0030】

このように、検知領域Ａ４０１で、利用者５０１の体温に相当する所定の温度（例えば、３５℃～３９℃等）が検知された場合、情報処理装置１０１は、例えば、利用者５０１の状態を、ベッドに横たわった状態である「就寝」と判定する。これは、一般的に、利用者５０１の枕の位置に、利用者５０１の足５０４や手５０３のみがあるケースは少ないと考えられるためである。

【0031】

この方法であれば、例えば、利用者５０１が、布団や毛布等を被っていて、利用者５０１の手５０３、足５０４等の温度が検知できない場合等でも、情報処理装置１０１は、利用者５０１の状態が「就寝」であると判定することができる。なお、本実施形態では、「就寝」には、利用者５０１の目が覚めていて、ベッド３０１に横たわっている状態等も含まれる。

【0032】

図５（Ｂ）は、利用者５０１が、「就寝」状態から起き上がった場合における、利用者５０１の温度画像のイメージを示している。このように、検知領域Ａ４０１で、利用者５０１の体温に相当する所定の温度が検知されなくなり、かつ検知領域Ｂ４０２で、所定の温度が検知された場合、情報処理装置１０１は、利用者５０１の状態が「起き上がり」であると判定する。

【0033】

図５（Ｃ）は、利用者５０１が、ベッド３０１の端に座っている「端座位」状態を検知する場合における利用者５０１の温度画像のイメージを示している。例えば、図５（Ｃ）に示すように、検知領域Ｃ４０３で、利用者５０１に対応する所定の温度が、所定の時間以上検知された場合、情報処理装置１０１は、利用者５０１の状態が「端座位」であると判定する。

【0034】

このように、情報処理装置１０１は、複数の検知領域のうち、利用者に対応する所定の温度が検知された検知領域、又は検知領域の変化によって、利用者５０１の状態を判定する。

【0035】

なお、図４に示す検知領域、及び図５で説明した判定条件、及び判定内容は一例である。本実施形態に係る情報処理装置１０１は、取得した温度画像と、予め設定された１つ以上の検知領域とを用いて、利用者の状態を判定するものであれば良い。

【0036】

＜ハードウェア構成＞
（情報処理装置、及び情報処理サーバのハードウェア構成）
続いて、情報処理装置１０１、及び情報処理サーバ２０１のハードウェア構成の例について説明する。情報処理装置１０１、及び情報処理サーバ２０１は、例えば、図６に示すようなコンピュータ６００のハードウェア構成を有している。或いは、情報処理装置１０１、及び情報処理サーバ２０１は、複数のコンピュータ６００によって構成される。

【0037】

図６は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ６００は、例えば、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３、ＨＤ（Hard Disk）６０４、ＨＤＤ（Hard Disk Drive）コントローラ６０５、ディスプレイ６０６、外部機器接続Ｉ／Ｆ（Interface）６０７、ネットワークＩ／Ｆ６０８、キーボード６０９、ポインティングデバイス６１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ６１２、メディアＩ／Ｆ６１４、及びバスライン６１５等を備えている。

【0038】

これらのうち、ＣＰＵ６０１は、コンピュータ６００の全体の動作を制御する。ＲＯＭ６０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ６００の起動に用いられるプログラムを記憶する。ＲＡＭ６０３は、例えば、ＣＰＵ６０１のワークエリア等として使用される。ＨＤ６０４は、例えば、プログラム等の各種データを記憶する。ＨＤＤコントローラ６０５は、ＣＰＵ６０１の制御に従ってＨＤ６０４に対する各種データの読み出し又は書き込みを制御する。

【0039】

ディスプレイ６０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種の情報を表示する。外部機器接続Ｉ／Ｆ６０７は、各種の外部機器を接続するためのインタフェースである。ネットワークＩ／Ｆ６０８は、通信ネットワーク１０を利用してデータ通信をするためのインタフェースである。

【0040】

キーボード６０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス６１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ６１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ６１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ６１１は、ＤＶＤ－ＲＷ６１１に限らず、他の記録媒体であっても良い。メディアＩ／Ｆ６１４は、例えば、フラッシュメモリやメモリカード等のメディア６１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン６１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。

【0041】

（撮影装置のハードウェア構成）
図７は、一実施形態に係る撮影装置のハードウェア構成の例を示す図である。撮影装置１０２は、例えば、制御部７１０、通信Ｉ／Ｆ７２０、サーマルカメラ１１２、カメラ１２２、及びバス７３０等を有する。

【0042】

制御部７１０は、例えば、ＣＰＵ７１１、メモリ７１２、及びストレージデバイス７１３等を含み、所定のプログラムを実行することにより、撮影装置１０２が有する各機能を実現する。なお、ＣＰＵ７１１は、所定のプログラムを実行する演算装置である。メモリ７１２には、例えば、ＣＰＵ７１１のワークエリアとして用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、ＣＰＵ７１１の起動用のプログラム等を予め記憶したＲＯＭ（Read Only Memory）等が含まれる。ストレージデバイス７１３は、ＣＰＵ７１１が実行する所定のプログラム、及び各種のデータ等を記憶する大容量の記憶デバイスであり、例えば、ＳＳＤ（Solid State Drive）等によって実現される。

【0043】

通信Ｉ／Ｆ７２０は、撮影装置１０２を通信ネットワーク１０に接続するための有線ＬＡＮ、又は無線ＬＡＮ等の通信インタフェースである。サーマルカメラ１１２、及びカメラ１２２は、図１で説明したサーマルカメラ１１２、及びカメラ１２２に対応している。バス７３０は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0044】

＜機能構成＞
図８は、一実施形態に係る情報処理システムの機能構成の例を示す図である。

【0045】

（情報処理装置の機能構成）
情報処理装置１０１は、例えば、図６のＣＰＵ６０１で所定のプログラムを実行することにより、通信部８０１、取得部８０２、変換部８０３、表示制御部８０４、検知部８０５、判定部８０６、設定受付部８０７、及び記憶部８０８等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

【0046】

通信部８０１は、例えば、図６のネットワークＩ／Ｆ６０８等を用いて、情報処理装置１０１を通信ネットワーク１０に接続し、撮影装置１０２、及び情報処理サーバ２０１等と通信する通信処理を実行する。

【0047】

取得部８０２は、撮影装置１０２が送信する、検知範囲３０２を撮影した撮影画像（第１の画像）と、撮影画像と解像度が異なる当該検知範囲３０２の温度を表す温度画像（第２の画像）とを、通信部８０１を介して取得する取得処理を実行する。

【0048】

変換部８０３は、取得部８０２が取得した撮影画像及び温度画像の解像度を、撮影画像または温度画像を表示する表示領域の解像度に変換する変換処理を実行する。例えば、変換部８０３は、取得部８０２が取得した撮影画像及び温度画像のうち、表示領域に表示させる画像（以下、表示画像と呼ぶ）の縦横比を維持したまま、表示画像の全体が表示領域に表示されるように、表示画像を拡大する。

【0049】

表示制御部８０４は、表示領域の解像度で、取得部８０２が取得した撮影画像又は温度画像を選択的に表示領域に表示させる表示制御処理を実行する。また、表示制御部８０４は、当該表示領域を含む様々な表示画面を、例えば、図６のディスプレイ６０６等の表示部に表示させる。

【0050】

検知部８０５は、取得部８０２が取得した温度画像において、例えば、図４に示すような、各検知領域で所定の温度を検知する検知処理を実行する。

【0051】

例えば、情報処理装置１０１の記憶部８０８には、図９（Ａ）に示すような領域情報８１１が記憶されている。図９（Ａ）の例では、領域情報８１１には、項目として、「検知領域」、「座標範囲」、「温度範囲」、及び閾値（画素数）等の情報が含まれる。

【0052】

「検知領域」は、図４で説明した検知領域Ａ４０１、検知領域Ｂ４０２、検知領域Ｃ４０３、・・・に対応しており、例えば、検知領域「Ａ」は、検知領域Ａ４０１に対応している。「座標範囲」は、各検知領域の座標範囲を示す情報であり、例えば、各検知領域の左上、右上、左下、及び右下の各点の座標等によって表される。「温度範囲」は、各検知領域で検知する所定の温度の温度範囲を示す情報である。「閾値（画素数）」は、各「検知領域」内で、「温度範囲」内の温度が検出されたか否かを判断するための閾値であり、例えば、画素数等で表される。

【0053】

検知部８０５は、例えば、取得部８０２が取得した温度画像において、「検知領域」内に、予め設定された「温度範囲」内の画素が「閾値（画素数）」以上含まれている場合、当該「検知領域」内で、所定の温度が検知されたことを示す検知結果を出力する。

【0054】

判定部８０６は、検知部８０５による検知結果に基づいて、ベッドを利用する利用者の状態を判定する判定処理を実行する。

【0055】

例えば、情報処理装置１０１の記憶部８０８には、図９（Ｂ）に示すような判定情報８１２が記憶されている。図９（Ｂ）の例では、判定情報８１２には、項目として、「判定内容」、「判定条件」、及び「通知内容」等の情報が含まれている。「判定内容」は、検知部８０５による検知結果が、「判定条件」を満たしたときの利用者の状態を示す判定内容を示している。「判定条件」は、「判定内容」ごとの判定条件を示しており、例えば、所定の温度が検知された１つ以上の検知領域、又は当該検知領域の変化等によって表される。「通知内容」は、検知部８０５による検知結果が「判定条件」を満たしたときに、所定の通知先（例えば、情報処理サーバ２０１、又はナースコールシステム２０２等）に通知する通知内容を示している。このように、判定情報８１２には、「判定条件」（検知部８０５による１つ以上の検知結果）と、利用者の状態を示す「判定内容」との対応関係が記憶されている。

【0056】

判定部８０６は、例えば、検知部８０５による１つ以上の検知結果と、上述した対応関係とから、ベッド３０１を利用する利用者の状態を判定する。

【0057】

設定受付部８０７は、例えば、管理者等による領域情報８１１、判定情報８１２、及び様々な設定情報８１３等の設定操作を受け付ける。

【0058】

記憶部８０８は、例えば、図６のＣＰＵ６０１で実行されるプログラム、ＨＤ６０４、及びＨＤＤコントローラ６０５等によって実現され、例えば、領域情報８１１、判定情報８１２、及び設定情報８１３等の様々な情報及びデータを記憶する。

【0059】

（撮影装置の機能構成）
撮影装置１０２は、例えば、図７の制御部７１０で所定のプログラムを実行することにより、通信部８２１、温度画像送信部８２２、撮影画像送信部８２３、及び記憶部８２４等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

【0060】

通信部８２１は、例えば、図７の通信Ｉ／Ｆ７２０等を用いて、撮影装置１０２を通信ネットワーク１０に接続して、情報処理装置１０１等と通信する通信処理を実行する。

【0061】

温度画像送信部８２２は、例えば、図７のサーマルカメラ１１２を用いて、ベッド３０１、及びベッド３０１の周辺の検知範囲３０２内の温度画像を撮影し、撮影した温度画像を所定のフレームレートで、情報処理装置１０１へ送信する。

【0062】

撮影画像送信部８２３は、例えば、図７のカメラ１２２を用いて、ベッド３０１、及びベッド３０１の周辺の検知範囲３０２内の撮影画像を撮影し、撮影した撮影画像を所定のフレームレートで、情報処理装置１０１へ送信する。

【0063】

記憶部８２４は、例えば、図７のＣＰＵ７１１で実行されるプログラム、及びストレージデバイス７１３等によって実現され、例えば、撮影装置１０２の識別情報又は表示名と、情報処理装置１０１のＩＰアドレス等の様々な情報及びデータを記憶する。

【0064】

なお、図８に示す情報処理システム１００の機能構成は一例である。例えば、情報処理装置１０１が有する各機能構成の一部又は全部は、情報処理サーバ２０１が有していても良い。また、情報処理装置１０１が有する各機能構成の一部は、撮影装置１０２が有していても良い。

【0065】

＜処理の流れ＞
続いて、本実施形態に係る情報処理方法の処理の流れについて説明する。

【0066】

［第１の実施形態］
（表示画像の選択処理）
図１０は、第１の実施形態に係る表示画像の選択処理の例を示すフローチャートである。この処理は、情報処理装置１０１が、ディスプレイ６０６等の表示部に表示している表示画面に含まれる表示領域に、温度画像、又は撮影画像を選択的に表示させる処理の例を示している。

【0067】

なお、図１０に示す処理の開始時点において、情報処理装置１０１の取得部８０２は、撮影装置１０２から送信される温度画像及び撮影画像を取得しており、表示制御部８０４は、例えば、図１２に示すような表示画面１２００を表示部に表示させているものとする。

【0068】

ステップＳ１００１において、情報処理装置１０１の設定受付部８０７は、情報処理装置１０１が表示している表示画面１２００において、所定の表示領域に、温度画像を表示するか、撮影画像を表示するかを選択する選択操作を受け付けるものとする。

【0069】

ステップＳ１００２において、情報処理装置１０１の表示制御部８０４は、表示画面１２００に表示している表示領域１２０５の高さ及び幅を取得する。

【0070】

ステップＳ１００３において、情報処理装置１０１の変換部８０３は、ステップＳ１００１で、温度画像が選択されたか、撮影画像が選択されたかによって処理を分岐させる。温度画像が選択された場合、変換部８０３は、処理をステップＳ１００４に移行させる。一方、撮影画像が選択された場合（温度画像が選択されていない場合）、変換部８０３は、処理をステップＳ１００５に移行させる。

【0071】

ステップＳ１００４に移行すると、変換部８０３は、温度画像の高さ及び幅を、例えば、設定情報８１３等から取得し、温度画像を表示領域１２０５に合わせて拡大する。

【0072】

一方、ステップＳ１００５に移行すると、変換部８０３は、撮影画像の高さ及び幅を、例えば、設定情報８１３等から取得し、撮影画像を表示領域１２０５に合わせて拡大する。

【0073】

ステップＳ１００６において、情報処理装置１０１の表示制御部８０４は、ステップＳ１００４、又はステップＳ１００５で変換部８０３が拡大した画像を表示領域１２０５に表示する。

【0074】

図１１は、第１の実施形態に係る表示画像の拡大処理について説明するための図である。例えば、図１１に示すように、表示領域１２０５の解像度（幅、及び高さ）が６４０ｐｘ（ピクセル）×４８０ｐｘ、温度画像１１０１の解像度が１６０ｐｘ×１２０ｐｘ、撮影画像１１０２の解像度が６４０ｐｘ×４８０ｐｘであるものとする。

【0075】

この場合、表示領域１２０５の解像度と、温度画像１１０１の解像度との横方向の比は、６４０ｐｘ／１６０ｐｘ＝４（倍）であり、縦方向の比は、４８０ｐｘ×１２０ｐｘ＝４（倍）である。このように、表示領域の縦横比と表示画像の縦横比とが等しい場合、変換部８０３は、温度画像１１０１を横方向に４倍、縦方向に４倍拡大する。これにより、表示制御部８０４は、温度画像１１０１の縦横比を維持したまま、温度画像１１０１の全体が表示領域１２０５に表示されるように、温度画像１１０１を拡大することができる。

【0076】

また、表示領域１２０５の解像度と、撮影画像１１０２の解像度との横方向の比は、６４０ｐｘ／６４０ｐｘ＝１（倍）であり、縦方向の比は、４８０ｐｘ／４８０ｐｘ＝１（倍）である。このように、撮影画像１１０２と表示領域１２０５の解像度が等しい場合、変換部８０３は、撮影画像１１０２を１倍に拡大する、或いは、撮影画像１１０２の拡大（又は縮小）を行わない。

【0077】

なお、表示領域１２０５の縦横比と、撮影画像１１０２の縦横比とが異なる場合、変換部８０３は、より小さい方の比を用いて、撮影画像１１０２の縦横比を維持したまま、撮影画像１１０２を表示領域１２０５の大きさに拡大（又は縮小）する。

【0078】

例えば、撮影画像１１０２の解像度が、２８０ｐｘ×１６０ｐｘであるものとする。この場合、撮影画像１１０２の解像度と、表示領域１２０５の解像度との横方向の比は、６４０ｐｘ／２８０ｐｘ＝２．２８（倍）であり、縦方向の比は、４８０ｐｘ．１６０ｐｘ＝３（倍）である。このように、表示領域の縦横比と表示画像の縦横比とが異なる場合、変換部８０３は、より小さい方の比（２．２８倍）を用いて、撮影画像１１０２の縦横比を維持したまま、撮影画像１１０２を縦方向に２．２８倍、横方向に２．２８倍拡大する。これにより、表示制御部８０４は、撮影画像１１０２の縦横比を維持したまま、撮影画像１１０２の全体が表示領域１２０５に表示されるように、撮影画像１１０２を拡大することができる。

【0079】

（表示画面の例）
図１２は、第１の実施形態に係る表示画面の例を示す図である。この図は、情報処理装置１０１の表示制御部８０４が、例えば、ディスプレイ６０６等の表示部に表示させる表示画面１２００の一例を示している。

【0080】

図１２の例では、表示画面１２００には、判定部８０６によって判定された利用者の状態を示す判定内容１２０１、及び利用者の名前、病室、ベッド名等を含む利用者の情報１２０２が表示され、表示領域１２０５には温度画像が表示されている。

【0081】

利用者の情報１２０２には、一例として、利用者５０１が利用している病室、ベッド、氏名等の情報が表示されている。この情報は、例えば、表示制御部８０４が、記憶部８０８に記憶した設定情報８１３から取得しても良いし、情報処理サーバ２０１、又はナースコールシステム２０２等から取得しても良い。

【0082】

「温度画像」ボタン１２０３が選択されている場合、表示制御部８０４は、例えば、図１０の処理により、表示領域１２０５に、撮影装置１０２から取得した利用者５０１の温度画像を、表示領域１２０５の大きさに拡大して表示する。このとき、表示制御部８０４は、表示領域１２０５に表示する温度画像に、利用者５０１の位置関係の把握を容易にするために、ベッド３０１の位置を示す表示要素１２０７等を表示させても良い。さらに、表示制御部８０４は、表示領域１２０５に表示する温度画像に、所定の温度が検知された検知領域を示す表示要素１２０６等を表示させても良い。

【0083】

また、表示画面１２００において、「撮影画像」ボタン１２０４が選択されると、表示制御部８０４は、例えば、図１０の処理により、表示領域１２０５に、撮影装置１０２から取得した利用者５０１の撮影画像を、表示領域１２０５の大きさに拡大して表示する。

【0084】

［第２の実施形態］
例えば、図１２に示す表示画面１２００において、情報処理装置１０１を利用する管理者等は、「詳細設定」ボタン１２０８を選択することより、１つ以上の検知領域、領域情報８１１、判定情報８１２等の設定を行う設定画面を表示することができる。

【0085】

図１３は、第２の実施形態に係る設定画面の例を示す図である。図１３の例では、設定画面１３００には、１つ以上の検知領域の範囲を設定する設定欄１３１０、領域情報８１１を設定する設定欄１３２０、及び判定情報を設定する設定欄１３３０等が表示されている。

【0086】

設定欄１３１０において、「撮影画像」ボタン１３１１が選択された場合、情報処理装置１０１の表示制御部８０４は、例えば、図１０の処理により、表示領域１３１３に撮影画像を表示する。これにより、管理者等は、表示領域１３１３に表示した撮影画像上で、例えば、ドラッグ操作等により、検知領域の作成、移動、及びサイズの変更等を行うことができる。

【0087】

また、設定欄１３１０において、「温度画像」ボタン１３１２が選択された場合、情報処理装置１０１の表示制御部８０４は、例えば、図１０の処理により、表示領域１３１３に温度画像を表示する。これにより、管理者等は、表示領域１３１３に表示した、利用者５０１の温度画像を見ながら、領域情報８１１の温度範囲、及び閾値（画素数）等の設定を行うことができる。

【0088】

このように、第２の実施形態によれば、所定の設備（ベッド３０１）を利用する利用者の温度画像に基づいて利用者の情報を検知する情報処理システム１００において、管理者等が、表示画面を見ながらシステムの設定又は変更を行うことが容易になる。

【0089】

＜処理の流れ＞
（検知領域の設定処理）
図１４は、第２の実施形態に係る検知領域の設定処理の例を示すフローチャートである。なお、ここでは、撮影装置１０２は、サーマルカメラ１１２が撮影する温度画像の縦横比と、カメラ１２２が撮影する撮影画像の縦横比とが同じであり、かつ同じ検知範囲３０２を撮影するように予め設定されているものとする。

【0090】

ステップＳ１４０１において、情報処理システム１００は、例えば、図１０の処理により、設定画面１３００の表示領域１３１３に、取得部８０２が取得した撮影画像を表示しているものとする。

【0091】

ステップＳ１４０２において、情報処理装置１０１の設定受付部８０７は、表示領域１３１３に表示した撮影画面上で、検知領域の設定操作を受け付ける。

【0092】

ステップＳ１４０３において、設定受付部８０７は、表示領域１３１３の幅と高さを、例えば、表示制御部８０４等から取得する。

【0093】

ステップＳ１４０４において、設定受付部８０７は、撮影画像の幅と高さを、例えば、記憶部８０８に記憶した設定情報８１３等から取得する。

【0094】

ステップＳ１４０５において、変換部８０３は、表示領域１３１３と撮影画像との解像度の倍率を算出する。例えば、図１５に示すように、表示領域１３１３の解像度が、６４０ｐｘ×４８０ｐｘであり、撮影画像１５１０の解像度が１６０ｐｘ×１２０ｐｘである場合、表示領域１３１３と撮影画像との解像度の倍率は４倍になる。

【0095】

ステップＳ１４０６において、変換部８０３は、ステップＳ１４０２で設定された検知領域の座標と、ステップＳ１４０５で算出した倍率とから、撮影画像上の検知領域の座標を算出する。例えば、図１５に示すように、表示領域１３１３上の検知領域が４つの座標（０，０）、（０，Ｙ）、（Ｘ，０）、（Ｘ，Ｙ）で表され、表示領域１３１３と撮影画像との解像度の倍率が４倍であるものとする。この場合、設定受付部８０７は、４つの座標をそれぞれ１／４倍して、撮影画像１５１０上の検知領域の座標（０，０）、（０，Ｙ／４）、（Ｘ／４、０）、（Ｘ／４、Ｙ／４）を算出する。

【0096】

ステップＳ１４０７において、変換部８０３は、算出した撮影画像１５１０上の検知領域の座標を、例えば、図９（Ａ）に示すような領域情報８１１の「座標範囲」に記憶する。

【0097】

（表示画像、及び検知領域の表示処理）
図１６は、第２の実施形態に係る表示画像、及び検知領域の表示処理の例を示すフローチャートである。

【0098】

ステップＳ１６０１において、情報処理装置１０１の設定受付部８０７が、図１３に示すような設定画面１３００において、「撮影画像」ボタン１３１１、又は「温度画像」ボタン１３１２の選択操作を受け付けるものとする。

【0099】

ステップＳ１６０２において、情報処理装置１０１の表示制御部８０４は、例えば、図１４のステップＳ１４０７で領域情報８１１に記憶した、撮影画像上の検知領域の座標を取得する。

【0100】

ステップＳ１６０３において、表示制御部８０４は、表示制御部８０４が、設定画面１３００に表示させている表示領域１３１３の幅と高さを取得する。

【0101】

ステップＳ１６０４において、表示制御部８０４は、例えば、記憶部８０８に記憶した設定情報８１３等から、撮影画像の幅と高さを取得する。

【0102】

ステップＳ１６０５において、変換部８０３は、表示領域１３１３と撮影画像との解像度の倍率を算出する。

【0103】

ステップＳ１６０６において、変換部８０３は、算出した倍率に基づいて、表示領域１３１３上の検知領域の座標を算出する。例えば、変換部８０３は、撮影画像上の検知領域の座標と、算出した倍率とを乗算して、表示領域１３１３上の検知領域の座標を算出する。

【0104】

ステップＳ１６０７において、表示制御部８０４は、算出した座標を用いて、設定画面１３００の表示領域１３１３に、検知領域を描画する。

【0105】

ステップＳ１６０８において、表示制御部８０４は、ステップＳ１６０１で選択された表示画像（温度画像、又は撮影画像）を、例えば、図１０の処理により、表示領域１３１３に表示する。

【0106】

なお、上記の処理では、設定受付部８０７は、「撮影画像上の検知領域」の座標を、領域情報８１１の「座標範囲」に記憶しているが、設定受付部８０７は、「温度画像上の検知領域の座標」を、領域情報８１１の「座標範囲」に記憶しても良い。

【0107】

この場合、設定受付部８０７は、例えば、図１４のステップＳ１４０４、Ｓ１４０５において、温度画像の幅と高さを取得して、表示領域１３１３と、温度画像との解像度の倍率を算出する。また、設定受付部８０７は、ステップ１４０６、Ｓ１４０７において、温度画像上の検知領域の座標を算出し、温度画像上の検知領域の座標を、領域情報８１１の「座標範囲」に記憶すれば良い。

【0108】

以上、本発明の各実施形態によれば、ベッド３０１を利用する利用者の温度画像を表示画面に表示する情報処理システムにおいて、管理者等が、表示画面を見ながらシステムの設定又は変更を行うことが容易になる。

【0109】

例えば、管理者等は、図１３に示すような設定画面１３００の表示領域１３１３に撮影画像を表示させることにより、実際のベッド３０１の位置、又は枕の位置等を確認しながら、検知領域の位置を設定することができるようになる。

【0110】

また、管理者等は、図１３に示すような設定画面１３００の表示領域１３１３に温度画像を表示することにより、ベッド３０１を利用する利用者の体温を確認しながら、領域情報８１１の「温度範囲」、又は「閾値（画素数）」等を設定することができるようになる。

【0111】

なお、上記の各実施形態におけるベッド３０１は、所定の設備の一例である。ベッド３０１は、例えば、医療施設や介護施設等の施設に備えられたストレッチャー、手術台、診察台等、ベッドと同様に利用者５０１が横たわる様々な設備であって良い。

【0112】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0113】

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものに過ぎない。ある実施形態では、情報処理装置１０１は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、情報処理サーバ２０１は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

【0114】

さらに、情報処理装置１０１、及び情報処理サーバ２０１は、開示された処理ステップ、例えば図１０、１４、１６等を様々な組み合せで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理装置１０１によって実行され得る。同様に、所定のユニットの機能は、情報処理サーバ２０１によって実行することができる。また、情報処理装置１０１、及び情報処理サーバ２０１の機能は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

【符号の説明】

【0115】

１００ 情報処理システム
１０１ 情報処理装置
２０１ 情報処理サーバ
８０２ 取得部
８０３ 変換部
８０４ 表示制御部
８０５ 検知部
８０６ 判定部
８０７ 設定受付部

【先行技術文献】

【特許文献】

【0116】

【文献】特開２０１９－０３０６２８号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】