▶ 新東工業株式会社の特許一覧 ▶ 国立大学法人豊橋技術科学大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-10
(45)【発行日】2023-10-18
(54)【発明の名称】ロボット
(51)【国際特許分類】
A61B 5/01 20060101AFI20231011BHJP
B25J 13/08 20060101ALI20231011BHJP
A61B 5/00 20060101ALI20231011BHJP
【ＦＩ】
A61B5/01 100
B25J13/08 A
A61B5/00 102C
【請求項の数】
12
(21)【出願番号】P 2019013590
(22)【出願日】2019-01-29
(65)【公開番号】P2020120829
(43)【公開日】2020-08-13
【審査請求日】2021-09-13
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度から３０年度、知の拠点あいち重点研究プロジェクト「次世代ロボット社会形成技術開発プロジェクト」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(73)【特許権者】
【識別番号】304027349
【氏名又は名称】国立大学法人豊橋技術科学大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】三枝 亮
(72)【発明者】
【氏名】伊藤 寛和
(72)【発明者】
【氏名】鈴木 薪雄
【審査官】佐藤 秀樹
(56)【参考文献】
【文献】国際公開第２０１６／１６３０１９（ＷＯ，Ａ１）
【文献】特開２００１－３１２７１８（ＪＰ，Ａ）
【文献】特開２０００－１８２０３３（ＪＰ，Ａ）
【文献】特開２０１８－０２５５５１（ＪＰ，Ａ）
【文献】特開２０１６－０６７７７３（ＪＰ，Ａ）
【文献】特開２００３－２５６０４２（ＪＰ，Ａ）
【文献】国際公開第２０１６／１９０３４８（ＷＯ，Ａ１）
【文献】特開２０１７－２２４３５６（ＪＰ，Ａ）
【文献】特表昭６３－５０２２２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００－ ５／０１
Ａ６１Ｂ ５／０８－ ５／０９７
Ｇ０８Ｂ ２１／０２－２１／０４
(57)【特許請求の範囲】
【請求項1】
画像を出力する少なくとも１つのセンサと、上記画像を参照して、人のバイタルサインを表すバイタルデータを生成する制御部と、を備えているロボットであって、上記センサは、異なる方向を向いた複数の遠赤外線カメラを含み、
上記制御部は、上記複数の遠赤外線カメラの各々により撮像されたサーモグラフ画像から、３次元温度分布を表す温度分布データを生成する温度分布データ生成部と、上記温度分布データから、上記人のバイタルサインを表すバイタルデータを生成するバイタルデータ生成部と、を含んでおり、
上記複数の遠赤外線カメラは、互いに隣接する遠赤外線カメラの視野の重なりが予め定められた半径を有し、且つ、当該ロボットを中心とする全方位に対応する撮像対象円全体を覆うように配置されており、
上記温度分布データは、上記撮像対象円全体に対する３次元温度分布を表す、
ことを特徴とするロボット。
【請求項2】
上記センサは、深度カメラを更に含み、上記制御部は、上記複数の遠赤外線カメラにより撮像されたサーモグラフ画像と、上記深度カメラにより撮像された深度画像とから、３次元温度分布を表す温度分布データを生成する温度分布データ生成部と、上記温度分布データから、上記人のバイタルサインを表すバイタルデータを生成するバイタルデータ生成部と、を含んでいる、
ことを特徴とする請求項１に記載のロボット。
【請求項3】
上記３次元温度分布に、倒れている人を示す所定のパターンが含まれているときに、その旨を予め定められた外部装置に通報する通報部を更に備えている、ことを特徴とする請求項１又は２に記載のロボット。
【請求項4】
上記３次元温度分布に、倒れている人を示す所定のパターンが含まれているときに、上記温度分布データを予め定められた外部装置に送信する温度分布データ送信部を更に備えている、ことを特徴とする請求項１～３の何れか１項に記載のロボット。
【請求項5】
上記３次元温度分布に、倒れている人を示す所定のパターンが含まれているときに、上記バイタルデータを予め定められた外部装置に送信するバイタルデータ送信部と、を更に備えている、ことを特徴とする請求項１～４の何れか１項に記載のロボット。
【請求項6】
上記画像は、動画像であり、上記バイタルデータ生成部は、時間的に変動する上記温度分布データを用いて上記バイタルデータを生成する、
ことを特徴とする請求項１～５の何れか１項に記載のロボット。
【請求項7】
上記バイタルデータ生成部は、上記温度分布データを用いて、上記人の胸郭の変位量の時間依存性を測定する変位量測定部と、上記変位量の時間依存性をフーリエ変換することにより上記変位量のパワースペクトルを得るフーリエ変換部とを含み、且つ、該パワースペクトルをバイタルデータとして生成する、ことを特徴とする請求項６に記載のロボット。
【請求項8】
上記バイタルデータ生成部は、上記パワースペクトルにおいてパワーが最大値となる周波数であるピーク周波数を含む第１の帯域と、当該第１の帯域以外の帯域である第２の帯域とに上記パワースペクトルを分割するスペクトル分割部と、上記第２の帯域の平均パワー値に対する上記最大値の比を算出する算出部と、上記比に応じて、上記人が呼吸しているか否かを判定する判定部と、を更に含み、且つ、上記判定部の判定結果をバイタルデータに含める、ことを特徴とする請求項７に記載のロボット。
【請求項9】
上記制御部は、上記画像に人が被写体として含まれているときに、上記画像において当該人の特定の部位に対応する領域を特定する学習済みモデルと、上記画像における上記特定の領域を参照して、上記人のバイタルサインを表すバイタルデータを生成するバイタルデータ生成部と、を含んでいる、ことを特徴とする請求項１に記載のロボット。
【請求項10】
上記センサは、深度カメラを含む、ことを特徴とする請求項９に記載のロボット。
【請求項11】
上記センサは、可視光カメラを含む、ことを特徴とする請求項９に記載のロボット。
【請求項12】
自走式である、ことを特徴とする請求項１～１１の何れか１項に記載のロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットに関する。
【背景技術】
【0002】
医療施設や介護施設などに代表される施設においては、施設内の所定の位置にカメラを設置し、該カメラが撮像した画像（静止画像又は動画像）を職員が待機している居室に転送することによって、職員が実際に施設内を移動することなく施設内を見回るシステムが採用されている。
【0003】
このシステムにおいては、職員がカメラから転送されてくる画像を職員が常時監視することによって、その職員は、施設内のうちカメラにより撮像可能な範囲内に人（例えば患者や利用者など）がいるか否かに関する情報を得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述したシステムにおいて、職員は、画像において目視可能な人の状態（例えば、姿勢や挙動など）から、その人が正常であるか否かを推測するしかない。そして、職員は、その人が正常でない可能性があるときには、施設内の該当する場所に赴いて、その人のバイタルサイン（例えば、呼吸や脈拍など）を測定し、改めてその人が正常であるか否かを確認する必要があった。
【0005】
本発明の一態様は、このような問題に鑑みなされたものであり、その目的は、周囲に存在する人のバイタルサインを表すバイタルデータを生成可能なロボットを実現することにある。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係るロボットは、画像を出力する少なくとも１つのセンサと、上記画像を参照して、上記人のバイタルサインを表すバイタルデータを生成する制御部と、を備えている。
【発明の効果】
【0007】
本発明の一態様によれば、周囲に存在する人のバイタルサインを表すバイタルデータを生成可能なロボットを実現することができる。
【図面の簡単な説明】
【0008】
【図1】（ａ）及び（ｂ）は、それぞれ、本発明の一実施形態に係るロボットが備えているカメラの視野を示す断面図及び平面図である。
【図5】（ａ）及び（ｃ）は、図１に示したロボットが備えている温度分布データ生成部が生成した温度分布データにおける変位量の時間依存性を示すグラフである。（ｂ）及び（ｄ）は、それぞれ、（ａ）及び（ｃ）に示した変位量の時間依存性をフーリエ変換することによって得られた変位量のスペクトルを示すグラフである。
【図6】（ａ）は、図１に示したロボットが備えている温度分布データ生成部が生成した温度分布データにおける変位量の時間依存性を示すグラフである。（ｂ）は、（ａ）に示した変位量の時間依存性をフーリエ変換することによって得られた変位量のスペクトルを示すグラフである。
【図7】（ａ）～（ｄ）の各々は、図１に示したロボットが備えている温度分布データ生成部が生成した温度分布データであって、それぞれ、人が仰向け、うつ伏せ、横向き（副部側）、及び、横向き（背中側）である状態の温度分布データの分布図である。
【発明を実施するための形態】
【0009】
〔第１の実施形態〕
本発明の一実施形態に係るロボット１０について、図１～図７及び図１０を参照して説明する。ロボット１０は、介護施設の職員に代わって施設内の見回りを実施する介護医療用のロボットであって、徘徊している施設利用者や、動けない状態になっている施設利用者（すなわち倒れている施設利用者）を検出可能なセンサを備えた自走式のロボットである。
本発明の一実施形態に係るロボット１０について、図１～図７及び図１０を参照して説明する。ロボット１０は、介護施設の職員に代わって施設内の見回りを実施する介護医療用のロボットであって、徘徊している施設利用者や、動けない状態になっている施設利用者（すなわち倒れている施設利用者）を検出可能なセンサを備えた自走式のロボットである。
【0010】
図１の（ａ）は、ロボット１０が備えているカメラＣ１，Ｃ５の視野を示す断面図である。なお、図１の（ａ）には、ロボット１０が備えているカメラＣ２，Ｃ３，Ｃ４も図示している。図１の（ｂ）は、ロボット１０が備えているカメラＣ１～Ｃ８の視野を示す平面図である。図２は、ロボット１０が備えている制御部の機能ブロックを示すブロック図である。図３の（ａ）は、ロボット１０が介護施設の施設内を見回っている様子を示す斜視図である。図３の（ｂ）は、ロボット１０が備えている温度分布データ生成部が生成した温度分布データの分布図である。図４は、ロボット１０が備えているバイタルデータ生成部１１５（図２を参照して後述する）が実行する呼吸周波数測定方法Ｍ１のフローチャートである。図５の（ａ）及び（ｃ）は、ロボット１０が備えている温度分布データ生成部１１１（図２を参照して後述する）が生成した温度分布データにおける変位量の時間依存性を示すグラフである。図５の（ｂ）及び（ｄ）は、それぞれ、図５の（ａ）及び（ｃ）に示した変位量の時間依存性をフーリエ変換することによって得られた変位量のスペクトルを示すグラフである。図６の（ａ）は、温度分布データ生成部１１１が生成した温度分布データにおける変位量の時間依存性を示すグラフである。図６の（ｂ）は、図６の（ａ）に示した変位量の時間依存性をフーリエ変換することによって得られた変位量のスペクトルを示すグラフである。図７の（ａ）～（ｄ）の各々は、温度分布データ生成部１１１が生成した温度分布データであって、それぞれ、人Ｐが仰向け、うつ伏せ、横向き（副部側）、及び、横向き（背中側）である状態の温度分布データの分布図である。図１０は、ロボット１０のハードウェアブロック図である。
【0011】
図１０に示すように、ロボット１０は、コンピュータ９１０と、カメラ群Ｃを含む入力装置９２０と、駆動機構ＤＳを含む出力装置９３０とを備えている。コンピュータ９１０は、ロボット１０を制御する制御部１１として機能する。なお、制御部１１については、図２を参照して後述する。
【0012】
カメラ群Ｃは、例えばタッチパッドやマイクなどとともに、入力装置９２０を構成する。図１の（ｂ）に示すように、カメラ群Ｃは、８個の遠赤外線カメラＣ１～Ｃ８からなる。遠赤外線カメラＣ１～Ｃ８は、サーモグラフィカメラとも呼ばれる。
各遠赤外線カメラＣｉ（ｉは、１以上８以下の整数）は、施設利用者を検出可能なセンサである。なお、以下では、遠赤外線カメラＣｉのことを単にカメラＣｉと表記する。
各遠赤外線カメラＣｉ（ｉは、１以上８以下の整数）は、施設利用者を検出可能なセンサである。なお、以下では、遠赤外線カメラＣｉのことを単にカメラＣｉと表記する。
【0013】
駆動機構ＤＳは、液晶表示装置やスピーカなどとともに、出力装置９３０を構成する。駆動機構ＤＳは、ロボット１０を自走させるための駆動機構である。駆動機構ＤＳは、既存の技術を用いて構成することができる。
【0014】
また、コンピュータ９１０の構成については後述する。
【0015】
図１の（ａ）に示すように、ロボット１０は、介護施設の床Ｆのうえに載置されている。ロボット１０は、駆動機構ＤＳを用いて施設内を自走することができる。
【0016】
図１の（ａ）において、床Ｆの表面に沿った平面をｘｙ平面と定め、床Ｆの表面の法線方向のうち当該表面から天頂へ向かう方向をｚ軸正方向と定める。また、ｘｙ平面に含まれる方向のうちカメラＣ５からカメラＣ１へ向かう方向をｘ軸正方向と定める。また、ｘｙ平面に含まれる方向のうち、上述したｘ軸正方向及びｚ軸正方向とともに右手系の直交座標系を構成する方向をｙ軸正方向と定める。
【0017】
ロボット１０は、図１の（ａ）及び（ｂ）に示すように、その上端部が半球状に丸められた円柱状の形状を有する。ロボット１０の筐体は、コンピュータ９１０と、カメラ群Ｃを含む入力装置９２０と、駆動機構ＤＳを含む出力装置９３０とを収容している。なお、図１には、コンピュータ９１０、入力装置９２０、及び出力装置９３０を構成するハードウェアのうちカメラ群Ｃのみを図示し、それ以外のハードウェアの図示は省略している。また、ロボット１０の筐体の内部構造についても、その図示を省略している。
【0018】
（各カメラＣｉの配置）
各カメラＣｉは、それぞれ、ロボット１０の筐体の表面に露出した状態で、当該筐体の下端からの高さＨが等しい位置に配置されている。各カメラＣｉは、各々の視野である各視野Ｖｉがそれぞれ異なる方向を向くように、蜘蛛の目状に配置されている。
各カメラＣｉは、それぞれ、ロボット１０の筐体の表面に露出した状態で、当該筐体の下端からの高さＨが等しい位置に配置されている。各カメラＣｉは、各々の視野である各視野Ｖｉがそれぞれ異なる方向を向くように、蜘蛛の目状に配置されている。
【0019】
ロボット１０を縦断面に沿って断面視した場合、図１の（ａ）に示すように、各カメラＣｉは、各視野Ｖｉが俯角を有するように、配置されている。換言すれば、各視野Ｖｉは、各カメラＣｉと同じ高さに位置する水平面（図１の（ａ）に図示した直線ＬＨ）より下方（床Ｆの方向）を向いている。本実施形態では、各視野Ｖｉの俯角のうち、最大のものを最大俯角θｄｍａｘとし、最小のものを最小俯角θｄｍｉｎとする。
【0020】
また、ロボット１０をその上方から平面視した場合、図１の（ｂ）に示すように、各カメラＣｉは、ロボット１０を中心として、各カメラＣｉの受光面の法線が放射状になるように配置されている。上述したように、本実施形態において、カメラの数は８個である。そのため、カメラＣｉの受光面の法線と、カメラＣｉに隣接するカメラＣｉ＋１の受光面の法線とのなす角が４５°となるように、各カメラＣｉは配置されている。
【0021】
以上のように、（１）各視野Ｖｉが俯角を有し、且つ、（２）各カメラＣｉの受光面の法線が放射状になるように各カメラＣｉが配置されているため、カメラ群Ｃにより撮像可能な領域は、平面視した場合、ロボット１０の外縁を表す円と同心円状になる。したがって、カメラ群Ｃにより撮像可能な領域は、ロボット１０を中心とするドーナツ形状を有する。この撮像可能な領域の内縁である最小撮像対象円Ｃｏｍｉｎは、最大俯角θｄｍａｘにより規定され、この撮像可能な領域の外縁である最大撮像対象円Ｃｏｍａｘは、最小俯角θｄｍｉｎにより規定される。したがって、平面視した場合の最小撮像対象円Ｃｏｍｉｎの半径は、図１の（ａ）に示すように、最大俯角θｄｍａｘと、各カメラＣｉが配置されている高さＨとにより決定される。なお、図１の（ｂ）には、最小撮像対象円Ｃｏｍｉｎを二点鎖線で図示しており、最大撮像対象円Ｃｏｍａｘについてはその図示を省略している。
【0022】
各カメラＣｉは、互いに隣接するカメラＣｉ，Ｃｉ＋１の視野Ｖｉ，Ｖｉ＋１の重なりが、最小撮像対象円Ｃｏｍｉｎの全体を覆うように配置されている。本実施形態では、図１の（ｂ）に示すように、（１）視野Ｖ１の半分と視野Ｖ２の半分とが重なり、（２）視野Ｖ２の残りの半分と視野Ｖ３の半分とが重なり、（３）視野Ｖ３の残りの半分と視野Ｖ４の半分とが重なり、（４）視野Ｖ４の残りの半分と視野Ｖ５の半分とが重なり、（５）視野Ｖ５の残りの半分と視野Ｖ６の半分とが重なり、（６）視野Ｖ６の残りの半分と視野Ｖ７の半分とが重なり、（７）視野Ｖ７の残りの半分と視野Ｖ８の半分とが重なり、（８）視野Ｖ８の残りの半分と視野Ｖ１の残りの半分とが重なるように、各カメラＣｉは、配置されている。
【0023】
視野Ｖｉ，Ｖｉ＋１の重なりが最小撮像対象円Ｃｏｍｉｎの全体を覆うように各カメラＣｉが配置されていることによって、視野Ｖｉ，Ｖｉ＋１の重なりは、最大撮像対象円Ｃｏｍａｘの全体をも覆う。すなわち、視野Ｖｉ，Ｖｉ＋１の重なりは、カメラ群Ｃにより撮像可能な領域の全体を覆う。
【0024】
以上のように、視野Ｖｉと、視野Ｖｉ＋１とが重なっていることによって、図２を参照して後述する温度分布データ生成部１１１は、カメラＣｉにより撮像された視野Ｖｉのサーモグラフ画像と、カメラＣｉ＋１により撮像された視野Ｖｉ＋１のサーモグラフ画像とから、視野Ｖｉと、視野Ｖｉ＋１とが重なっている領域における３次元温度分布を表す温度分布データを生成することができる。
【0025】
そのうえで、視野Ｖｉ，Ｖｉ＋１の重なりが最小撮像対象円Ｃｏｍｉｎの全体を覆うように各カメラＣｉが配置されていることによって、温度分布データ生成部１１１は、カメラ群Ｃにより撮像可能な領域の全体（撮像対象円全体）における３次元温度分布を表す温度分布データを生成することができる。
【0026】
（制御部１１）
図２に示すように、ロボット１０を制御する制御部１１は、温度分布データ生成部１１１と、パターン判定部１１２と、通報部１１３と、温度分布データ送信部１１４と、バイタルデータ生成部１１５と、バイタルデータ送信部１１６とを備えている。
図２に示すように、ロボット１０を制御する制御部１１は、温度分布データ生成部１１１と、パターン判定部１１２と、通報部１１３と、温度分布データ送信部１１４と、バイタルデータ生成部１１５と、バイタルデータ送信部１１６とを備えている。
【0027】
温度分布データ生成部１１１は、各カメラＣｉにより撮像された各視野Ｖｉにおけるサーモグラフ画像から、３次元温度分布を表す温度分布データを生成する。視野Ｖ１の半分と視野Ｖ２の半分とが重なっている領域を例にすれば、この領域のサーモグラフ画像は、互いに隣接するカメラＣ１とカメラＣ２とにより撮像されている。カメラＣ１とカメラＣ２とは、隣接しているものの異なる位置に配置されている。そのため、カメラＣ１が撮像したこの領域のサーモグラフ画像と、カメラＣ２が撮像したこの領域のサーモグラフ画像との間には、異なる位置（視点）から撮像したことに起因する視差が生じる。温度分布データ生成部１１１は、この視差を利用することによって、視野Ｖ１及び視野Ｖ２の各々におけるサーモグラフ画像から、視野Ｖ１と視野Ｖ２とが重なっている領域の３次元温度分布を表す温度分布データを生成することができる。なお、カメラＣ１が撮像したこの領域のサーモグラフ画像と、カメラＣ２が撮像したこの領域のサーモグラフ画像とを用いて３次元温度分布を生成する技術としては、可視光を用いたステレオビジョンの技術を応用することができる。
【0028】
また、温度分布データ生成部１１１は、カメラ群Ｃにより撮像可能な領域のうち、視野Ｖ１と視野Ｖ２とが重なっている領域以外の領域についても同様に、３次元温度分布を表す温度分布データを生成する。
【0029】
以上のように、温度分布データ生成部１１１は、カメラ群Ｃにより撮像可能な全領域の温度分布データに対して奥行きの情報を含めることができるので、奥行きを含めて被写体の位置を特定することができる。
【0030】
パターン判定部１１２は、温度分布データ生成部１１１が生成した温度分布データの表す３次元温度分布に、倒れている人を示す所定のパターンが含まれているか否かを判定する。
【0031】
図３の（ａ）には、施設内を見回っている最中に、倒れている人Ｐと思われる判定対象物の近傍に位置するロボット１０を図示している。図３の（ｂ）には、温度分布データ生成部１１１が生成した温度分布データが表す３次元温度分布の一部（主に視野Ｖ１と視野Ｖ２とが重なっている領域及び視野Ｖ２と視野Ｖ３とが重なっている領域）を図示している。
【0032】
パターン判定部１１２は、図３の（ｂ）に示した３次元温度分布の画像に対して画像処理（例えば、大津の二値化アルゴリズムを用いた二値化処理や、エッジ検出処理など）を施すことによって、３次元温度分布に含まれる温度が高い領域（例えば温度が３０℃以上である領域）と、それ以外の領域との境界を表す輪郭線ＯＬを取得する。
【0033】
ロボット１０の補助記憶装置９１４（例えばハードディスクドライブ）には、倒れている人を示す複数のパターンが予め格納されている。パターン判定部１１２は、輪郭線ＯＬをこれらの倒れている人を示す所定のパターンの各々と比較し、輪郭線ＯＬが上記所定のパターンの何れかと一致すると見做した場合には、３次元温度分布の画像内に倒れている人が含まれていると認定し、それ以外の場合には、３次元温度分布の画像内に倒れている人が含まれていないと認定する。
【0034】
また、制御部１１は、パターン判定部１１２に代えてオプティカルフロー検出部（図２に不図示）を備えていてもよい。ここで、オプティカルフローとは、動きの有無を意味する。
【0035】
この場合、カメラ群Ｃは、サーモグラフ動画像を温度分布データ生成部１１１に提供する。温度分布データ生成部１１１は、各カメラＣｉにより撮像されたサーモグラフ動画像から、３次元温度分布を表す温度分布データを生成する。
【0036】
オプティカルフロー検出部は、サーモグラフ動画像のなかから周囲と異なるオプティカルフローを有する領域の有無を判定し、サーモグラフ動画像のなかに周囲と異なるオプティカルフローを有する領域があった場合（すなわち、周囲と異なるオプティカルフローを有する領域を検出した場合）には、その周囲と異なるオプティカルフローを有する領域に倒れている人が含まれていると認定する。一方、サーモグラフ動画像のなかに周囲と異なるオプティカルフローを有する領域がなかった場合には、オプティカルフロー検出部は、サーモグラフ動画像のなかに倒れている人が含まれていないと判定する。
【0037】
制御部１１がオプティカルフロー検出部を備えている場合には、サーモグラフ動画像のなかに倒れている人が含まれているか否かを制御部１１が判定している期間中において、カメラ群Ｃの各カメラＣｉの位置は、静止していることが好ましい。すなわち、上記期間中において、ロボット１０は、静止していることが好ましい。この構成によれば、サーモグラフ動画像のなかから周囲と異なるオプティカルフローを有する領域を検出することが容易になる。ただし、上記期間中にロボット１０が静止していない場合であっても、座標変換を行うことによって、サーモグラフ動画像のなかから周囲と異なるオプティカルフローを有する領域を検出することは、可能である。
【0038】
なお、ここでは、カメラ群Ｃが温度分布データ生成部１１１にサーモグラフ動画像を提供するものとして説明した。しかし、カメラ群Ｃは、サーモグラフ動画像に代えて所定の時間間隔で測定した複数のサーモグラフ画像を提供してもよい。この場合であっても、オプティカルフロー検出部は、複数のサーモグラフ画像のなかに倒れている人が含まれているか否かを判定することができる。
【0039】
また、ここでは、制御部１１がパターン判定部１１２に代えてオプティカルフロー検出部を備えているものとして説明した。しかし、制御部１１は、パターン判定部１１２およびオプティカルフロー検出部の双方を備えていてもよい。
【0040】
この場合、例えば、制御部１１は、（１）輪郭線ＯＬが上記所定のパターンの何れかと一致するとパターン判定部１１２が見做し、かつ、（２）サーモグラフ動画像のなかに周囲と異なるオプティカルフローを有する領域をオプティカルフロー検出部が検出し、かつ、（３）輪郭線ＯＬのパターンと、オプティカルフローを有する領域のパターンとが一致すると見做せる場合に、サーモグラフ動画像のなかに倒れている人が含まれていると判定すればよい。この構成によれば、パターン判定部１１２およびオプティカルフロー検出部の何れか一方を用いる場合と比較して、倒れている人を認定するときの精度を向上させることができる。
【0041】
通報部１１３は、パターン判定部１１２が３次元温度分布の画像内に倒れている人が含まれていると認定したときに、その旨を予め定められた外部装置に通報する。ここで、予め定められた外部装置は、特に限定されるものではない。その一例としては、介護施設の職員室に配置され、ローカルエリアネットワーク網を用いてロボット１０とネットワーク接続されたパソコンが挙げられる。また、介護施設の各職員がタブレット端末を所持している場合には、これらのタブレット端末を予め定められた外部装置として利用することもできる。
【0042】
温度分布データ送信部１１４は、パターン判定部１１２が３次元温度分布の画像内に倒れている人が含まれていると認定したときに、３次元温度分布を表す温度分布データを予め定められた外部装置に送信する。ここで、予め定められた外部装置は、特に限定されるものではないが、通報部１１３が、３次元温度分布の画像内に倒れている人が含まれていることを通知する外部装置と同じであることが好ましい。
【0043】
バイタルデータ生成部１１５は、主軸算出部１１５１と、移動制御部１１５２と、変位量測定部１１５３と、フーリエ変換部１１５４と、スペクトル分割部１１５５と、算出部１１５６と、判定部１１５７とを含んでいる（図４の（ｂ）参照）。各部が実施する処理は、後述する。
【0044】
バイタルデータ生成部１１５は、パターン判定部１１２が３次元温度分布の画像内に倒れている人（本実施形態においては図３の（ｂ）に示した人Ｐ）が含まれていると認定したときに、上述した温度分布データから、人Ｐのバイタルサインを表すバイタルデータを生成する。バイタルサインの例としては、体温（単位は℃）及び呼吸周波数（すなわち１秒間あたり呼吸回数、単位はＨｚ）が挙げられる。
【0045】
バイタルサインの一例として体温を用いる場合、バイタルデータ生成部１１５は、人Ｐの温度分布データから人Ｐの体温を取得することができる。
【0046】
バイタルサインの一例として、呼吸を用いる場合、カメラ群Ｃが撮像するサーモグラフ画像は、動画像である。以下、図４を参照して、バイタルデータ生成部１１５が実行する呼吸周波数測定方法Ｍ１について説明する。
【0047】
図４の（ａ）に示すように、呼吸周波数測定方法Ｍ１は、主軸算出工程Ｓ１１と、移動工程Ｓ１２と、変位量測定工程Ｓ１３と、フーリエ変換工程Ｓ１４と、スペクトル分割工程Ｓ１５と、比算出工程Ｓ１６と、判定工程Ｓ１７とを含む。なお、主軸算出工程Ｓ１１、移動工程Ｓ１２、変位量測定工程Ｓ１３、フーリエ変換工程Ｓ１４、スペクトル分割工程Ｓ１５、比算出工程Ｓ１６、及び判定工程Ｓ１７の各工程は、それぞれ、バイタルデータ生成部１１５に含まれる主軸算出部１１５１、移動制御部１１５２、変位量測定部１１５３、フーリエ変換部１１５４、スペクトル分割部１１５５、算出部１１５６、及び判定部１１５７の各部により実行される。
【0048】
主軸算出工程Ｓ１１は、図３の（ｂ）に示した３次元温度分布に含まれる温度が高い領域（換言すれば輪郭線ＯＬにより取り囲まれている領域）の主軸Ａ１（図３の（ｂ）参照）を算出する工程である。主軸Ａ１は、輪郭線ＯＬにより取り囲まれている領域の重心を通る軸であって、その長さが最も長い軸である。なお、主軸算出部１１５１は、既存の画像処理技術を適宜用いることによって、上記重心及び主軸Ａ１を算出することができる。
【0049】
移動工程Ｓ１２は、呼吸周波数を測定するために好適な位置である測定位置へ、駆動機構ＤＳを制御することによってロボット１０が移動する（自走する）工程である。人Ｐの周囲に椅子や、ベッドや、便器や、壁などの障害物がない場合、移動制御部１１５２は、主軸Ａ１の垂直二等分線上であって、人Ｐからの距離がおよそ１ｍである位置（以下では理想位置と称する）を測定位置として、その測定位置へ移動するように駆動機構ＤＳを制御する。このような測定位置に移動することによって、カメラＣｉの俯角は、およそ４０°になる。一方、人Ｐの周囲に障害物がある場合、移動制御部１１５２は、上述した理想位置にできるだけ近い位置であって、カメラＣｉの視野内において人Ｐが障害物により妨げられない位置を測定位置として、その位置へ移動するように駆動機構ＤＳを制御する。
【0050】
なお、移動工程Ｓ１２において、移動制御部１１５２は、測定位置へ移動した後に、人Ｐを含む領域の３次元温度分布を表す温度分布データを生成し、その３次元温度分布内に周期的に動いている領域Ｒ１が含まれているか否かを判定し、その３次元温度分布内に領域Ｒ１が含まれている場合には、領域Ｒ１を撮像しやすい位置へ測定位置を修正するように駆動機構ＤＳを制御してもよい。このように、移動制御部１１５２が測定位置を修正することによって、ロボット１０は、呼吸周波数を測定するときの精度を高めることができる。すなわち、ロボット１０は、バイタルサインを表すバイタルデータを生成するときの精度を高めることができる。
【0051】
変位量測定工程Ｓ１３は、領域Ｒ１の変位量の時間依存性を測定する工程である。領域Ｒ１の変位量は、人Ｐの呼吸に起因する胸郭の変位を表す量であるため、多くの場合には、周期的である。本実施形態において、人Ｐは、図３の（ｂ）に示すように仰向けの状態で床Ｆの表面上に倒れている。したがって、変位量測定部１１５３は、ｚ軸方向（床Ｆの表面の法線方向に沿った方向）の変位量の時間依存性を測定する。ただし、変位量測定部１１５３が測定する変位の方向は、人Ｐの倒れかたなどに依存して様々に代わる。変位量測定部１１５３は、３次元温度分布の動画像を用いて変位の方向を検出することができるので、変位の方向が何れの方向である場合であっても、変位量を測定することができる。この変位の方向については、図７を参照して後述する。
【0052】
図５の（ａ）のプロットＰ１は、領域Ｒ１におけるｚ軸方向の変位量の時間依存性（以下において変位量パターンと称す）を示す。なお、変位量測定工程Ｓ１３において、変位量測定部１１５３は、（１）領域Ｒ１に含まれる点の中から変位量が最も大きな点を抽出し、該変位量が最も大きな点をトラッキングすることによって変位量を測定するように構成されていてもよいし、（２）領域Ｒ１に含まれる輪郭線ＯＬ上の点（すなわち領域Ｒ１の輪郭を構成する点）のうち任意の点を抽出し、該変位量が最も大きな点をトラッキングすることによって変位量を測定するように構成されていてもよいし、（３）領域Ｒ１に含まれる輪郭線ＯＬ上の点（すなわち領域Ｒ１の輪郭を構成する点）のうち変位量が最も大きな点をトラッキングすることによって変位量を測定するように構成されていてもよい。
【0053】
フーリエ変換工程Ｓ１４は、図５の（ａ）に示した変位量パターンをフーリエ変換することによって、領域Ｒ１におけるｚ軸方向の変位量のパワースペクトル（図５の（ｂ）のプロットＰ１参照）を得る工程である。このパワースペクトルは、人Ｐのバイタルサインの一例である呼吸周波数を表す呼吸周波数データである。このように、バイタルデータ生成部１１５は、呼吸周波数測定方法Ｍ１を実行することにより測定した呼吸周波数を表す呼吸周波数データを生成する。図５の（ｂ）のプロットＰ１によれば、人Ｐは、正常に呼吸しており、その呼吸周波数は、０．２７５Ｈｚであることが分かった。
【0054】
スペクトル分割工程Ｓ１５は、フーリエ変換工程Ｓ１４において得られたパワースペクトルにおいて、パワーが最大値Ｐｍａｘとなる周波数であるピーク周波数ｆｍａｘを含む第１の帯域Ｂ１と、第１の帯域Ｂ１以外の帯域である第２の帯域Ｂ２とにパワースペクトルを分割する。
【0055】
スペクトル分割工程Ｓ１５において、第１の帯域Ｂ１の帯域幅、及び、第１の帯域Ｂ１の下限周波数および上限周波数は、適宜定めることができる。本実施形態では、上記下限周波数を０Ｈｚとし、上記上限周波数を０．５Ｈｚとしている。すなわち、上記帯域幅を０．５Ｈｚとしている。このように、第１の帯域Ｂ１は、予め定められていてもよい。
【0056】
また、パワースペクトルに応じて第１の帯域Ｂ１を定める場合には、例えば、（１）パワースペクトルを参照したうえで、ピーク周波数ｆｍａｘを中心周波数として、且つ、予め定めた帯域幅（例えば０．３Ｈｚ）を有する帯域を第１の帯域Ｂ１としてもよいし、（２）最大値Ｐｍａｘに対して予め定められた割合となるパワーに対応する周波数を下限周波数及び上限周波数とする帯域を第１の帯域Ｂ１としてもよい。
【0057】
比算出工程Ｓ１６は、第２の帯域Ｂ２におけるパワーの平均値である平均パワー値Ｐｍｅａｎ（図５の（ｂ）参照）に対する最大値Ｐｍａｘの比ｋ（ｋ＝Ｐｍａｘ／Ｐｍｅａｎ）を算出する。
【0058】
判定工程Ｓ１７は、比ｋに応じて、人Ｐが呼吸しているか否かを判定する。本実施形態では、比ｋを以下の（１）式で表されるシグモイド関数に代入し、得られた関数値Ｐｒ（ｋ）に応じて、人Ｐが呼吸しているか否かを判定する。
【0059】
【数1】
【0060】
シグモイド関数に含まれるａ，ｂは、例えば予備実験を通して予め定めることができ、各々の値は、限定されるものではない。ａ，ｂの一例としては、ａ＝３，ｂ＝５が挙げられる。本実施形態では、ａ＝３，ｂ＝５を採用し、関数値Ｐｒ（ｋ）が予め定められた閾値以上である場合に、人Ｐが呼吸していると判定する。
【0061】
また、以上のように、スペクトル分割工程Ｓ１５、比算出工程Ｓ１６、及び、判定工程Ｓ１７を用いて人Ｐが呼吸しているか否かを判定した場合、バイタルデータ生成部１１５は、比算出工程Ｓ１６の判定結果（すなわち、判定部１１５７の判定結果）を含めたバイタルデータを生成する。
【0062】
なお、本実施形態において、変位量測定部１１５３は、３次元温度分布の画像から領域Ｒ１したうえで、領域Ｒ１を用いて上記変位量を測定するように構成されている。しかし、変位量測定部１１５３は、領域Ｒ１を抽出することなしに３次元温度分布の画像をそのまま用い、人Ｐの胸郭の変位量を測定するように構成されていてもよい。このとき、変位量測定部１１５３は、（１）３次元温度分布の画像に含まれる点の中から変位量が最も大きな点を抽出し、該変位量が最も大きな点をトラッキングすることによって変位量を測定するように構成されていてもよいし、（２）３次元温度分布の画像に含まれる輪郭線ＯＬ上の点（すなわち領域Ｒ１の輪郭を構成する点）のうち任意の点を抽出し、該変位量が最も大きな点をトラッキングすることによって変位量を測定するように構成されていてもよいし、（３）３次元温度分布の画像に含まれる輪郭線ＯＬ上の点（すなわち領域Ｒ１の輪郭を構成する点）のうち変位量が最も大きな点をトラッキングすることによって変位量を測定するように構成されていてもよい。
【0063】
図５の（ａ）のプロットＰ２は、３次元温度分布の画像におけるｚ軸方向の変位量の時間依存性（以下において変位量パターンと称す）を示す。図５の（ｂ）のプロットＰ２は、図５の（ａ）に示した変位量パターン（プロットＰ２）をフーリエ変換することによって得られた、３次元温度分布の画像におけるｚ軸方向の変位量のパワースペクトルである。
【0064】
図５の（ｂ）に示したプロットＰ１とプロットＰ２とを比較すると、３次元温度分布の画像を用いても呼吸周波数を計測可能であるが、領域Ｒ１を用いた場合と比較して、そのパワースペクトルの値がおよそ４０％程度に低下していることが分かった。したがって、得られたパワースペクトルのＳ／Ｎ比を高めるために、変位量測定部１１５３は、領域Ｒ１を用いて変位量を測定することが好ましい。
【0065】
図５の（ｃ）は、領域Ｒ１におけるｚ軸方向の変位量パターンであって、前半においては人Ｐが通常どおり呼吸しており、後半においては人Ｐが呼吸を停止した場合の変位量パターンを示す。
【0066】
図５の（ｄ）のプロットＰ１は、図５の（ｃ）に示した変位量パターンのうち前半の部分をフーリエ変換することによって得られたパワースペクトルである。図５の（ｄ）のプロットＰ２は、図５の（ｃ）に示した変位量パターンのうち後半の部分をフーリエ変換することによって得られたパワースペクトルである。図５の（ｄ）に示したプロットＰ１，Ｐ２によれば、呼吸をしている場合には、パワースペクトルにピークが観測され、呼吸を停止している場合には、パワースペクトルにピークが観測されないことが分かった。以上のように、ロボット１０は、人Ｐが呼吸をしているか否かを自動判定することができることが分かった。
【0067】
図６の（ａ）は、領域Ｒ１におけるｚ軸方向の変位量パターンであって、前半においては人Ｐが通常どおり呼吸しており、後半においては人Ｐが多呼吸状態を模した場合の変位量パターンを示す。
【0068】
図６の（ｂ）のプロットＰ１は、図６の（ａ）に示した変位量パターンのうち前半の部分をフーリエ変換することによって得られたパワースペクトルである。図６の（ｂ）のプロットＰ２は、図６の（ａ）に示した変位量パターンのうち後半の部分をフーリエ変換することによって得られたパワースペクトルである。図６の（ｂ）に示したプロットＰ１，Ｐ２によれば、人Ｐが通常の呼吸から多呼吸状態を模した呼吸に遷移した場合に、呼吸周波数がおよそ０．２７５Ｈｚからおよそ０．８Ｈｚに高まることが分かった。
【0069】
なお、人Ｐは、図３の（ｂ）及び図７の（ａ）に示すように仰向けの状態で倒れているとは限らない。例えば、人Ｐは、図７の（ｂ）に示すようにうつ伏せの状態で倒れているかもしれないし、図７の（ｃ）及び（ｄ）に示すように横向きの状態で倒れているかもしれない。図７の（ｃ）は、横向きの状態で倒れている人Ｐの腹部側の理想位置を測定位置として撮像した３次元温度分布の画像であり、図７の（ｄ）は、横向きの状態で倒れている人Ｐの背中側の理想位置を測定位置として撮像した３次元温度分布の画像である。
【0070】
上述したように、人Ｐが仰向けの状態で倒れている場合（図７の（ａ）参照）には、変位量測定部１１５３は、領域Ｒ１の変位量のうちｚ軸方向（床Ｆの表面の法線方向に沿った方向）の変位量を測定することによって、呼吸周波数を測定することができる。人Ｐがうつ伏せの状態で倒れている場合（図７の（ｂ）参照）も同様である。一方、人Ｐが横向きの状態で倒れている場合（図７の（ｃ）及び（ｄ）参照）には、変位量測定部１１５３は、領域Ｒ１の変位量のうちｘ軸方向又はｙ軸方向（床Ｆの表面に沿った方向）の変位量を測定することによって、呼吸周波数を測定することができる。
【0071】
なお、本実施形態では、人Ｐが床Ｆに倒れている場合を例に、ロボット１０が呼吸周波数を測定する場合について説明した。しかし、ロボット１０は、人Ｐが床Ｆに倒れている場合のみならず、人Ｐが壁やベッドなどに寄りかかりながら床Ｆに座り込んでいる場合のように上半身を起こしている状態においても呼吸周波数を測定することができる。
【0072】
バイタルデータ送信部１１６は、バイタルデータ生成部１１５が生成したバイタルデータを予め定められた外部装置に送信する。ここで、予め定められた外部装置は、特に限定されるものではないが、（１）通報部１１３が３次元温度分布の画像内に倒れている人が含まれていることを通知する外部装置、及び、（２）温度分布データ送信部１１４が温度分布データを送信する外部装置と同じであることが好ましい。
【0073】
本実施形態では、ロボット１０が通報部１１３、温度分布データ送信部１１４、バイタルデータ生成部１１５、及びバイタルデータ送信部１１６を備えているものとして説明した。しかし、ロボット１０においては、介護施設における要望に応じて、これらの各部のうち１又は複数の機能ブロックを省略することもできる。
【0074】
また、本実施形態では、８個の遠赤外線カメラであるカメラＣ１～Ｃ８からなるカメラ群Ｃをロボット１０（あるいは測定装置）が備えているものとして説明した。しかし、カメラ群Ｃは、少なくとも２つの遠赤外線カメラ（例えばカメラＣ１，Ｃ２）を備えていればよい。
【0075】
例えば、カメラ群Ｃが２つのカメラＣ１，Ｃ２からなる場合、ロボット１０は、撮像対象円全体のサーモグラフ画像を、８コマに分割して撮像するように構成されていればよい。図１の（ｂ）に示した状態において、カメラＣ１の視野Ｖ１と、カメラＣ２の視野Ｖ２とは、ｘ軸正方向を０°として、０°以上４５°以下の範囲において重なっている。したがって、カメラＣ１，Ｃ２を備えたロボット１０は、４５°ごとに回転しながら８コマのサーモグラフ画像を撮像することによって、カメラＣ１～Ｃ８を備えたロボット１０と同様に、撮像対象円全体のサーモグラフ画像を撮像することができる。
【0076】
ロボット１０は、図３の（ａ）に示したように、倒れている人を主な撮像対象（被写体）としている。倒れている人の動きは遅いため、撮像対象円全体のサーモグラフ画像を撮像するために多少の時間を要する場合であっても、ロボット１０は、倒れている人の奥行きを含めた位置を特定することができる。
【0077】
なお、バイタルデータ生成部１１５が動画像のサーモグラフ画像を用いて人Ｐの呼吸周波数を測定する場合であっても、ロボット１０が自身の位置を調整することによって、図３の（ｂ）に示した胸郭に対応する領域Ｒ１を視野Ｖ１と視野Ｖ２とが重なる領域内に収めることができる。したがって、カメラ群Ｃを構成するカメラの数が２つである場合であっても、バイタルデータ生成部１１５は、動画像を用いて人Ｐのバイタルデータを取得することができる。
【0078】
カメラ群Ｃを構成するカメラＣｉの数は、ロボット１０の使用に応じて適宜定めることができる。
【0079】
なお、ロボット１０が備えている構成のうち、カメラ群Ｃと、温度分布データ生成部１１１とは、３次元温度分布を測定するための測定装置として機能する。カメラ群Ｃと、温度分布データ生成部１１１とを備えた測定装置は、特許請求の範囲に記載の測定装置の一例である。
【0080】
（制御方法）
制御部１１が実行する処理に対応したロボット１０の制御方法も、本発明の範疇に含まれる。この制御方法は、温度分布データ生成工程Ｓ２１と、パターン判定工程Ｓ２２と、通報工程Ｓ２３と、温度分布データ送信工程Ｓ２４と、バイタルデータ生成工程Ｓ２５と、バイタルデータ送信工程Ｓ２６とを含む。
制御部１１が実行する処理に対応したロボット１０の制御方法も、本発明の範疇に含まれる。この制御方法は、温度分布データ生成工程Ｓ２１と、パターン判定工程Ｓ２２と、通報工程Ｓ２３と、温度分布データ送信工程Ｓ２４と、バイタルデータ生成工程Ｓ２５と、バイタルデータ送信工程Ｓ２６とを含む。
【0081】
温度分布データ生成工程Ｓ２１、パターン判定工程Ｓ２２、通報工程Ｓ２３、温度分布データ送信工程Ｓ２４、バイタルデータ生成工程Ｓ２５、及び、バイタルデータ送信工程Ｓ２６の各々は、それぞれ、制御部１１が備えている温度分布データ生成部１１１、パターン判定部１１２、通報部１１３、温度分布データ送信部１１４、バイタルデータ生成部１１５、及びバイタルデータ送信部１１６の各々が実行する処理に対応する。したがって、ここでは、制御方法の詳細な説明を省略する。
【0082】
（カメラ群Ｃの変形例）
上述したように、カメラ群Ｃは、複数のカメラＣｉ（ｉは、１以上８以下の整数）により構成されている。後述する温度分布データ生成部１１１は、ステレオビジョンの技術を用いて、２つの隣接するカメラＣｉの視野Ｖｉと、カメラＣｉ＋１の視野Ｖｉ＋１とが重なっている領域の３次元温度分布を表す温度分布データを生成する。すなわち、温度分布データ生成部１１１は、ステレオ深度を用いて３次元温度分布を表す温度分布データを生成する。
上述したように、カメラ群Ｃは、複数のカメラＣｉ（ｉは、１以上８以下の整数）により構成されている。後述する温度分布データ生成部１１１は、ステレオビジョンの技術を用いて、２つの隣接するカメラＣｉの視野Ｖｉと、カメラＣｉ＋１の視野Ｖｉ＋１とが重なっている領域の３次元温度分布を表す温度分布データを生成する。すなわち、温度分布データ生成部１１１は、ステレオ深度を用いて３次元温度分布を表す温度分布データを生成する。
【0083】
しかし、カメラ群Ｃを構成する複数の遠赤外線カメラは、１つのサーモグラフィカメラＣｃと、１つの深度カメラＣｄとにより構成することもできる。図８の（ａ）は、サーモグラフィカメラＣｃと深度カメラＣｄとの座標変換モデルを示す概略図である。図８の（ｂ）は、サーモグラフィカメラＣｃを用いたピンホールモデルの概略図である。
【0084】
温度分布データ生成部１１１は、以下の処理を行うことによって、赤外深度を用いて３次元温度分布を表す温度分布データを生成する。
【0085】
図８の（ａ）に示すように、ロボット１０の本体中心の床Ｆに接する位置、サーモグラフィカメラＣｃの位置、および、深度カメラＣｄの位置の各々における座標系を、それぞれ、座標系ΣＷ、座標系ΣＣ、および、座標系Σｄと定める。
【0086】
深度カメラＣｄにより得られる３次元座標点Ｄｐは、同時変換行列ＣＴＤを用いて、（２）式のように書ける（図８の（ａ）参照）。
【0087】
【数2】
【0088】
座標系ΣＣにおける３次元座標Ｃｐに対して、（３）式に示すピンホールカメラモデルを用い、得られたピクセル座標ハットｑ（ハットｑのことを、以下の文章中では単にｑと記載し、（３）式中ではｑの上に＾を付して記載する）の温度Ｔ（ｑ）を統合することによって、３次元位置と温度とを有する３次元温度分布（Ｃｐ＝［ＸＹＺ］Ｔ）を表す温度分布データを生成することができる（図８の（ｂ）参照）。
【0089】
【数3】
【0090】
この場合、後述する温度分布データ生成部１１１は、サーモグラフィカメラと深度カメラとのカメラ座標変換と、ピンホールカメラモデルを用いた情報統合を行うことによって、視野内の３次元温度分布を表す温度分布データを生成する。
【0091】
精度が高い深度カメラを用いることによって、赤外深度を用いて３次元温度分布を表す温度分布データを生成する場合であっても、ステレオ深度を用いて３次元温度分布を表す温度分布データを生成する場合と同等の３次元温度分布を表す温度分布データを得ることができる。
【0092】
なお、サーモグラフィカメラと深度カメラとのカメラ対を用いてカメラ群Ｃを構成する場合であっても、カメラ対の数を増やせば、３次元温度分布を表す温度分布データを生成可能な視野を広げることができ、ロボット１０を中心とする全方位についての３次元温度分布を表す温度分布データを生成することも可能である。
【0093】
（制御部の変形例）
図１に示したロボット１０の変形例であるロボット２０について、図９を参照して説明する。ロボット２０は、上述したカメラ群Ｃの変形例、すなわち、サーモグラフィカメラＣｃと深度カメラＣｄとを備えている。図９は、ロボット２０が備えている制御部２１の機能ブロック図である。
図１に示したロボット１０の変形例であるロボット２０について、図９を参照して説明する。ロボット２０は、上述したカメラ群Ｃの変形例、すなわち、サーモグラフィカメラＣｃと深度カメラＣｄとを備えている。図９は、ロボット２０が備えている制御部２１の機能ブロック図である。
【0094】
図９に示すように、ロボット２０は、センサの一例である深度カメラＣｄと、ロボット２０を制御する制御部２１とを備えている。
【0095】
制御部２１は、部位特定部２１１と、通報部２１３と、バイタルデータ生成部２１５と、バイタルデータ送信部２１６とを備えている。
【0096】
通報部２１３は、図２に示した制御部１１の通報部１１３と同様に構成されている。バイタルデータ送信部２１６は、制御部１１のバイタルデータ送信部１１６と同様に構成されている。したがって、本変形例では、通報部２１３及びバイタルデータ送信部２１６に関する説明を省略し、部位特定部２１１及びバイタルデータ生成部２１５について説明する。
【0097】
深度カメラＣｄは、部位特定部２１１に深度画像を供給する。部位特定部２１１は、深度カメラＣｄから供給された深度画像に人が被写体として含まれているときに、学習済みモデルを用いて、深度画像において当該人の特定の部位に対応する領域を特定する。この学習済みモデルは、例えば、深度画像を入力とし、特定の部位に対応する領域を表す領域情報を出力とするように、機械学習されたニューラルネットワークである。
【0098】
本変形例において、上記特定の部位は、深度画像に被写体として含まれる人の胸郭である。特定の部位に対応する領域は、図３の（ｂ）に示す領域Ｒ１に対応する。
【0099】
バイタルデータ生成部２１５は、深度画像における胸郭に対応する領域を参照して、上記人のバイタルサインを表すバイタルデータを生成する。バイタルデータ生成部２１５は、例えば、図４の（ｂ）に示したフーリエ変換部１１５４、スペクトル分割部１１５５、算出部１１５６、及び判定部１１５７を含んでいる。したがって、バイタルデータ生成部２１５は、深度画像における胸郭に対応する領域を参照して、上記人のバイタルサインを表すバイタルデータを生成することができる。
【0100】
なお、本変形例では、センサとして深度カメラＣｄを採用しているが、深度カメラＣｄの代わりに可視光を用いて撮像する可視光カメラを採用してもよい。また、センサとして深度カメラと可視光カメラを採用してもよい。
【0101】
〔ソフトウェアによる実現例〕
ロボット１０が備えている制御部１１の各ブロック（図２及び図４の（ｂ）参照）、及び、ロボット２０が備えている制御部２１の各ブロック（図９参照）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、制御部１１及び制御部２１の各々を、図１０に示すようなコンピュータ（電子計算機）を用いて構成することができる。以下では、制御部１１を例にして、コンピュータを用いて制御部１１を構成する場合について説明するが、コンピュータを用いて制御部２１を構成する場合についても同様であり、以下の記載の制御部１１を制御部２１に読み替えればよい。
ロボット１０が備えている制御部１１の各ブロック（図２及び図４の（ｂ）参照）、及び、ロボット２０が備えている制御部２１の各ブロック（図９参照）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、制御部１１及び制御部２１の各々を、図１０に示すようなコンピュータ（電子計算機）を用いて構成することができる。以下では、制御部１１を例にして、コンピュータを用いて制御部１１を構成する場合について説明するが、コンピュータを用いて制御部２１を構成する場合についても同様であり、以下の記載の制御部１１を制御部２１に読み替えればよい。
【0102】
図１０は、制御部１１として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、上述したようにカメラ群Ｃを含んでおり、その他のハードウェアとしてタッチセンサ、キーボード、マウスなどを更に含んでいてもよい。また、例えば、出力装置９３０は、上述したように駆動機構ＤＳを含んでおり、その他のハードウェアとしてディスプレイ、プリンタ、スピーカなどを更に含んでいてもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。ディスプレイ又はタッチパネルを用いてロボット１０，２０の顔部を構成することによって、ロボット１０，２０のそのときの状態を、ロボット１０，２０の表情を模した画像を用いて表現することができる。したがって、介護施設の利用者及び職員は、ディスプレイ又はタッチパネルを参照することによってロボット１０，２０の状態を容易に把握することができる。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。
【0103】
補助記憶装置９１４には、コンピュータ９１０を制御部１１として動作させるための各種プログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記各プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、制御部１１が備える各部として機能させる。なお、補助記憶装置９１４がプログラム等の情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
【0104】
また、コンピュータ９１０の外部の記録媒体に記録されているプログラム、あるいは任意の伝送媒体（通信ネットワークや放送波等）を介してコンピュータ９１０に供給されたプログラムを用いてコンピュータ９１０を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0105】
〔まとめ〕
本発明の態様１に係るロボットは、画像を出力する少なくとも１つのセンサと、上記画像を参照して、人のバイタルサインを表すバイタルデータを生成する制御部と、を備えている。
本発明の態様１に係るロボットは、画像を出力する少なくとも１つのセンサと、上記画像を参照して、人のバイタルサインを表すバイタルデータを生成する制御部と、を備えている。
【0106】
上記の構成によれば、周囲に存在する人のバイタルサインを表すバイタルデータを生成可能なロボットを実現することができる。
【0107】
また、本発明の態様２に係るロボットは、上記態様１に係るロボットにおいて、上記センサは、異なる方向を向いた複数の遠赤外線カメラを含み、上記制御部は、上記複数の遠赤外線カメラの各々により撮像されたサーモグラフ画像から、３次元温度分布を表す温度分布データを生成する温度分布データ生成部と、上記温度分布データから、上記人のバイタルサインを表すバイタルデータを生成するバイタルデータ生成部と、を含んでいる。
【0108】
上記の構成によれば、周囲に存在する人のバイタルサインを表す、精度の良いバイタルデータを生成可能なロボットを実現することができる。
【0109】
また、本発明の態様３に係るロボットは、上記態様２に係るロボットにおいて、上記複数の遠赤外線カメラは、互いに隣接する遠赤外線カメラの視野の重なりが予め定められた半径を有する撮像対象円全体を覆うように配置されており、上記温度分布データは、上記撮像対象円全体に対する３次元温度分布を表す。
【0110】
上記の構成によれば、互いに隣接する遠赤外線カメラの視野の重なりが予め定められた半径を有する撮像対象円（最小撮像対象円Ｃｏｍｉｎ）全体を覆っているため、ロボットを中心とする全方位についての３次元温度分布を表す温度分布データを生成することができる。すなわち、ロボットは、人がどの方向に存在するときでも、その人のバイタルサインを表すバイタルデータを生成することができる。
【0111】
また、本発明の態様４に係るロボットは、上記態様１に係るロボットにおいて、上記センサは、遠赤外線カメラと深度カメラとを含み、上記制御部は、上記遠赤外線カメラにより撮像されたサーモグラフ画像と、上記深度カメラにより撮像された深度画像とから、３次元温度分布を表す温度分布データを生成する温度分布データ生成部と、上記温度分布データから、上記人のバイタルサインを表すバイタルデータを生成するバイタルデータ生成部と、を含んでいる。
【0112】
上記の構成によれば、周囲に存在する人のバイタルサインを表す、精度の良いバイタルデータを生成可能なロボットを実現することができる。
【0113】
また、本発明の態様５に係るロボットは、上記態様２～４の何れか一態様に係るロボットにおいて、上記温度分布データの表す３次元温度分布に、倒れている人を示す所定のパターンが含まれているときに、その旨を予め定められた外部装置に通報する通報部を更に備えている。
【0114】
上記温度分布データの表す３次元温度分布に、倒れている人を示す所定のパターンが含まれているということは、ロボットの周囲に倒れている人がいるということを意味する。上記の構成によれば、ロボットは、倒れている人を検出したことを外部装置に通報することができる。
【0115】
また、本発明の態様６に係るロボットは、上記態様２～５の何れか一態様に係るロボットにおいて、上記温度分布データの表す３次元温度分布に、倒れている人を示す所定のパターンが含まれているときに、上記温度分布データを予め定められた外部装置に送信する温度分布データ送信部を更に備えている。
【0116】
上記の構成によれば、ロボットは、人が倒れている現場のより詳しい状況を外部装置に送信することができる。したがって、例えばその外部装置から倒れている人に関する情報を得た介護施設の職員は、現場の状況をより正確に把握することができる。
【0117】
また、本発明の態様７に係るロボットは、上記態様２～６の何れか一態様に係るロボットにおいて、上記温度分布データの表す３次元温度分布に、倒れている人を示す所定のパターンが含まれているときに、上記バイタルデータを予め定められた外部装置に送信するバイタルデータ送信部と、を更に備えている。
【0118】
上記の構成によれば、ロボットは、人が倒れている現場のより詳しい状況を外部装置に送信することができる。したがって、例えばその外部装置から倒れている人に関する情報を得た介護施設の職員は、現場の状況をより正確に把握することができる。
【0119】
また、本発明の態様８に係るロボットは、上記態様２～７の何れか一態様に係るロボットにおいて、上記画像は、動画像であり、上記バイタルデータ生成部は、時間的に変動する上記温度分布データを用いて上記バイタルデータを生成する。
【0120】
上記の構成によれば、周囲に存在する人のバイタルサイン、特に呼吸などのバイタルサインを表す、精度の良いバイタルデータを生成可能なロボットを実現することができる。
【0121】
また、本発明の態様９に係るロボットは、上記態様８に係るロボットにおいて、上記バイタルデータ生成部は、上記温度分布データを用いて、上記人の胸郭の変位量の時間依存性を測定する変位量測定部と、上記変位量の時間依存性をフーリエ変換することにより上記変位量のパワースペクトルを得るフーリエ変換部とを含み、且つ、該パワースペクトルをバイタルデータとして生成する。
【0122】
上記の構成によれば、ロボットは、バイタルデータの一例として、倒れている人の胸郭の変位量のパワースペクトルを外部装置に送信することができる。該パワースペクトルは、人の呼吸周波数を表しているため、該パワースペクトルを参照した介護施設の職員は、倒れている人が呼吸しているか否か、また、呼吸している場合に、その呼吸が正常であるか否かを把握することができる。したがって、介護施設の職員は、人が倒れている状況の緊急性を、より高い精度で判断することができる。
【0123】
また、本発明の態様１０に係るロボットは、上記態様９に係るロボットにおいて、上記バイタルデータ生成部は、上記パワースペクトルにおいてパワーが最大値となる周波数であるピーク周波数を含む第１の帯域と、当該第１の帯域以外の帯域である第２の帯域とに上記パワースペクトルを分割するスペクトル分割部と、上記第２の帯域の平均パワー値に対する上記最大値の比を算出する算出部と、上記比に応じて、上記人が呼吸しているか否かを判定する判定部と、を更に含み、且つ、上記判定部の判定結果をバイタルデータに含める。
【0124】
上記の構成によれば、ロボットは、倒れている人が呼吸しているか否かを判定することができ、その判定結果を含めたバイタルデータを外部装置に送信することができる。したがって、介護施設の職員は、バイタルデータを見たときに、即座に人が呼吸をしているか否かを把握することができ、人が倒れている状況の緊急性を、更に高い精度で判断することができる。
【0125】
また、本発明の態様１１に係るロボットは、上記態様１に係るロボットにおいて、上記制御部は、上記画像に人が被写体として含まれているときに、上記画像において当該人の特定の部位に対応する領域を特定する学習済みモデルと、上記画像における上記特定の領域を参照して、上記人のバイタルサインを表すバイタルデータを生成するバイタルデータ生成部と、を含んでいる。
【0126】
上記の構成によれば、周囲に存在する人のバイタルサインを表す、精度の良いバイタルデータを生成可能なロボットを実現することができる。
【0127】
なお、上記センサは、深度カメラであってもよいし、可視光カメラであってもよい。何れの場合であっても、周囲に存在する人のバイタルサインを表す、精度の良いバイタルデータを生成可能なロボットを実現することができる。
【0128】
また、本発明の態様１４に係るロボットは、上記態様１～１３の何れか一態様に係るロボットにおいて、自走式である。
【0129】
上記の構成によれば、ロボットがバイタルサインを測定するべき人の側まで移動して、その人のバイタルサインを表すバイタルデータを生成することができる。
【0130】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0131】
１０ ロボット
１１ 制御部
１１１ 温度分布データ生成部
１１２ パターン判定部
１１３ 通報部
１１４ 温度分布データ送信部
１１５ バイタルデータ生成部
１１５３ 変位量測定部
１１５４ フーリエ変換部
１１６ バイタルデータ送信部
Ｃ カメラ群
Ｃ１～Ｃ８ 遠赤外線カメラ
Ｖ１～Ｖ８ 視野
Ｃｏｍｉｎ 撮像対象円
Ｐ 人
Ｒ１ 領域（胸郭に対応する領域）
ＯＬ 輪郭線
１１ 制御部
１１１ 温度分布データ生成部
１１２ パターン判定部
１１３ 通報部
１１４ 温度分布データ送信部
１１５ バイタルデータ生成部
１１５３ 変位量測定部
１１５４ フーリエ変換部
１１６ バイタルデータ送信部
Ｃ カメラ群
Ｃ１～Ｃ８ 遠赤外線カメラ
Ｖ１～Ｖ８ 視野
Ｃｏｍｉｎ 撮像対象円
Ｐ 人
Ｒ１ 領域（胸郭に対応する領域）
ＯＬ 輪郭線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】