IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラ株式会社の特許一覧

特許7515358システム、電子機器、電子機器の制御方法、及びプログラム
<>
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図1
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図2
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図3
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図4
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図5
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図6
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図7
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図8
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図9
  • 特許-システム、電子機器、電子機器の制御方法、及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-04
(45)【発行日】2024-07-12
(54)【発明の名称】システム、電子機器、電子機器の制御方法、及びプログラム
(51)【国際特許分類】
   G06T 7/20 20170101AFI20240705BHJP
   A61B 5/107 20060101ALI20240705BHJP
   G08B 21/00 20060101ALI20240705BHJP
   G08B 21/02 20060101ALI20240705BHJP
   G08B 25/00 20060101ALI20240705BHJP
   G08B 25/04 20060101ALI20240705BHJP
【FI】
G06T7/20 300Z
A61B5/107 300
G08B21/00 E
G08B21/02
G08B25/00 510M
G08B25/04 K
【請求項の数】 11
(21)【出願番号】P 2020162744
(22)【出願日】2020-09-28
(65)【公開番号】P2022055254
(43)【公開日】2022-04-07
【審査請求日】2023-04-17
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(72)【発明者】
【氏名】馬渕 健宏
(72)【発明者】
【氏名】浅野 智子
(72)【発明者】
【氏名】香島 裕
(72)【発明者】
【氏名】小林 賢也
(72)【発明者】
【氏名】高 永勲
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開2018-042270(JP,A)
【文献】特開2016-163328(JP,A)
【文献】国際公開第02/056251(WO,A1)
【文献】特開2004-213323(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/20
A61B 5/107
G08B 21/00
G08B 21/02
G08B 25/00
G08B 25/04
(57)【特許請求の範囲】
【請求項1】
画像を撮像する撮像部と、
前記撮像部によって撮像された画像において被監視対象、及び前記被監視対象が使用している、又は使用していた車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備えるシステム。
【請求項2】
前記認識部は、前記被監視対象が使用していると認識した前記車椅子から前記被監視対象が離れた場合に、当該車椅子を前記被監視対象が使用していた前記車椅子であると認識する、請求項1に記載のシステム。
【請求項3】
前記コントローラは、前記所定時間が経過する前に前記被監視対象が前記車椅子を使用している状態に戻った場合に、前記警告信号を出力しない、請求項1又は2に記載のシステム。
【請求項4】
前記コントローラは、前記被監視対象のつま先と前記車椅子の車輪との距離を、前記被監視対象と前記車椅子との距離とする、請求項1から3のいずれかに記載のシステム。
【請求項5】
前記認識部は、前記撮像部によって撮像された単位時間当たり所定数のフレームの画像から前記被監視対象及び前記車椅子を認識する、請求項1から4のいずれかに記載のシステム。
【請求項6】
前記認識部は、前記撮像部によって撮像された秒間所定数のフレームの各画像ごとに、前記被監視対象及び前記車椅子の位置を2次元的に画像認識する、請求項1から5のいずれかに記載のシステム。
【請求項7】
前記コントローラは、前記所定の警告信号の出力の妥当性が所定以上になるように、前記フレームの数を決定する、請求項5又は6に記載のシステム。
【請求項8】
撮像された画像において被監視対象、及び前記被監視対象が使用している、又は使用していた車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備える電子機器。
【請求項9】
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象、及び前記被監視対象が使用している、又は使用していた車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、を含む、電子機器の制御方法。
【請求項10】
コンピュータに、
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象、及び前記被監視対象が使用している、又は使用していた車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を実行させる、プログラム。
【請求項11】
画像を撮像する撮像部と、
前記撮像部によって撮像された画像において被監視対象、及び前記被監視対象が使用している、又は使用していた物体を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記物体との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。
【背景技術】
【0002】
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献1は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献2は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献3は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献4は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-91552号公報
【文献】特開2017-221502号公報
【文献】特開2014-106636号公報
【文献】特開2003-91790号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。
【0005】
本開示の目的は、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
一実施形態に係るシステムは、
画像を撮像する撮像部と、
前記撮像部によって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備える。
【0007】
一実施形態に係る電子機器は、
撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識部と、
前記認識部によって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力するコントローラと、
を備える。
【0008】
一実施形態に係る電子機器の制御方法は、
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を含む。
【0009】
一実施形態に係るプログラムは、
コンピュータに、
画像を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像において被監視対象及び前記被監視対象に関連する車椅子を認識する認識ステップと、
前記認識ステップによって認識された前記被監視対象と前記車椅子との距離が所定の閾値以上になった状態が所定時間継続したら、所定の警告信号を出力する出力ステップと、
を実行させる。
【発明の効果】
【0010】
一実施形態によれば、被監視対象の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0011】
図1】一実施形態に係るシステムの概略構成を示す機能ブロック図である。
図2】一実施形態に係るシステムによる動作を説明するフローチャートである。
図3】一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。
図4】一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。
図5】一実施形態に係るシステムによって認識される画像の例を示す図である。
図6】一実施形態に係るシステムによって認識される画像の例を示す図である。
図7】一実施形態に係るシステムによる画像の認識及び座標の判定について説明する図である。
図8】一実施形態に係るシステムによるコントローラの動作を説明する概念図である。
図9】一実施形態に係るシステムによるコントローラの動作を説明する概念図である。
図10】一実施形態に係るシステムによる判定について説明する図である。
【発明を実施するための形態】
【0012】
本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び/又は電子機器を使用する者(典型的には人間)としてよい。ユーザは、一実施形態に係るシステム及び/又は電子機器を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係るシステム及び/又は電子機器によって監視される対象となる者(例えば人間又は動物)としてよい。さらに、ユーザは、被監視対象を含んでもよい。
【0013】
一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び/又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び/又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び/又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。
【0014】
一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が着座して使用している車椅子から立ち上がって車椅子を放置する動作を監視することができる。
【0015】
特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視者が車椅子に着座している場合に、被監視者が車椅子を放置する動作が完了する前、又は車椅子を放置する動作が完了した後に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が車椅子を放置する前に、車椅子が放置されようとしていることを認識し得る。また、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が車椅子を放置した後に、車椅子が放置されたことを認識し得る。
【0016】
以下、一実施形態に係るシステムについて、図面を参照して詳細に説明する。
【0017】
図1は、一実施形態に係るシステムの概略構成を示す図である。図1に示すように、一実施形態に係るシステム1は、電子機器10及び撮像部20を含んで構成されてよい。電子機器10と撮像部20とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム1は、図1に示す機能部の一部を含まなくてもよいし、図1に示す以外の機能部を含んでもよい。例えば、一実施形態に係るシステム1は、警告部17及び通信部19の少なくとも一方を備えなくてもよい。また、例えば、一実施形態に係るシステム1は、画像を表示可能なディスプレイ及び/又はメモリカードなどのストレージを挿入可能なスロットなどを備えてもよい。
【0018】
図1に示す撮像部20は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部20は、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部20は、例えば図1に示すように、被監視対象Tを撮像してよい。ここで、被監視対象Tは、例えば人間としてよい。撮像部20は、撮像した画像を信号に変換して、電子機器10に送信してよい。例えば、撮像部20は、撮像した画像に基づく信号を、電子機器10の認識部11、記憶部13、及び/又は、コントローラ15などに送信してよい。撮像部20は、被監視対象Tを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。
【0019】
一実施形態において、撮像部20は、例えば被監視対象Tを所定時間ごと(例えば秒間15フレーム)の静止画として撮像してもよい。また、一実施形態において、撮像部20は、例えば被監視対象Tを連続した動画として撮像してもよい。このように、一実施形態において、撮像部20は、画像を撮像する。
【0020】
図1に示すように、一実施形態に係る電子機器10は、認識部11、記憶部13、コントローラ15、警告部17、及び通信部19を備えてよい。一実施形態に係る電子機器10は、図1に示す機能部の一部を備えなくてもよいし、図1に示す以外の機能部を備えてもよい。
【0021】
認識部11は、撮像部20によって撮像された画像から、所定の物体を認識する機能を有してよい。例えば、認識部11は、撮像部20によって撮像された画像から、被監視対象Tを認識してもよい。また、例えば、認識部11は、撮像部20によって撮像された画像から、車椅子を認識してもよい。さらに、例えば、認識部11は、撮像部20によって撮像された画像から、被監視対象Tに関連する車椅子を認識してもよい。ここで、被監視対象Tに関連する車椅子とは、例えば、被監視対象Tが使用している車椅子としてもよいし、被監視対象Tが使用していた車椅子などとしてもよい。認識部11は、例えば既存の画像認識の技術を用いて、撮像部20によって撮像された画像から、被監視対象T及び/又は車椅子を認識してよい。一実施形態において、認識部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの頭部、体幹、四肢、及び/又は各関節などの各部の位置を認識してもよい。認識部11は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、認識部11は、撮像部20によって撮像された画像において、被監視対象T及び被監視対象Tに関連する車椅子を認識してよい。
【0022】
記憶部13は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部13は、例えばコントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などを記憶してよい。一実施形態において、記憶部13は、被監視対象Tが着座していた車椅子を放置する動作を開始したか否かをコントローラ15が判定するための基準となる所定の条件を記憶してもよい。所定の条件については、さらに後述する。また、記憶部13は、コントローラ15のワークメモリとして機能してよい。記憶部13は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部13は、一実施形態に係る電子機器10に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部13は、後述のコントローラ15として用いられるCPUの内部メモリであってもよいし、コントローラ15に別体として接続されるものとしてもよい。
【0023】
コントローラ15は、電子機器10を構成する各機能部をはじめとして、電子機器10の全体を制御及び/又は管理する。コントローラ15は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)のような、少なくとも1つのプロセッサを含んでよい。コントローラ15は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
【0024】
一実施形態において、コントローラ15は、例えばCPU及び当該CPUで実行されるプログラムとして構成されてよい。コントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などは、例えば記憶部13に記憶されてよい。コントローラ15は、コントローラ15の動作に必要なメモリを適宜含んでもよい。
【0025】
特に、一実施形態において、コントローラ15は、被監視対象Tが被監視対象Tに関連する車椅子を放置する動作を開始したか否かを判定する処理を行ってよい。以下、被監視対象Tが被監視対象Tに関連する車椅子を放置する動作を、単に「放置動作」と記すことがある。コントローラ15は、放置動作の開始を判定するために、所定の条件が満たされたか否かを判定してよい。コントローラ15は、放置動作の開始を判定するために、認識部11によって認識された被監視対象T及び車椅子の所定部位の位置(又は座標)に基づいて、所定の条件が満たされたか否かを判定してよい。また、コントローラ15は、所定の条件が満たされることによって、放置動作の開始を判定したら、所定の警告信号を出力してよい。所定の条件については、さらに後述する。また、一実施形態に係る電子機器10のコントローラ15の動作についても、さらに後述する。
【0026】
警告部17は、コントローラ15から出力される所定の警告信号に基づいて、システム1又は電子機器10のユーザなどに注意を促すための所定の警告を発してよい。警告部17は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部17は、例えばブザー又はスピーカのような音声出力部、LEDのような発光部、LCDのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部17は、コントローラ15から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部17は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。
【0027】
一実施形態において、警告部17は、例えば被監視対象Tが放置動作を開始した時点で、被監視対象Tが放置動作を行うリスクがある旨の警告を発してよい。また、一実施形態において、警告部17は、被監視対象Tが放置動作を完了する前に、被監視対象Tが放置動作を行うリスクがある旨の警告を発してもよい。さらに、警告部17は、被監視対象Tが放置動作を完了した後に、被監視対象Tが放置動作を行った旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部17は、被監視対象Tが放置動作を行うリスクがある旨又は放置動作を行った旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部17は、被監視対象Tが放置動作を行うリスクがある旨又は放置動作を行った旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。
【0028】
図1に示す電子機器10は、警告部17を内蔵している。しかしながら、一実施形態にシステム1において、警告部17は、電子機器10の外部に設けられてもよい。この場合、警告部17と電子機器10とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
【0029】
通信部19は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部19によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は2G、3G、4G、及び5G等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、及びPHS(Personal Handy-phone System)等を含む。例えば、無線通信規格は、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、WiFi、Bluetooth(登録商標)、IrDA(Infrared Data Association)、及びNFC(Near Field Communication)等を含む。通信部19は、上記の通信規格の1つ又は複数をサポートすることができる。通信部19は、例えば電波を送受信するアンテナ及び適当なRF部などを含めて構成してよい。また、通信部19は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部19は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。
【0030】
通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に供給されてよい。通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に内蔵されたメモリに記憶してもよい。また、通信部19は、例えばコントローラ15による処理結果、認識部11による認識結果、及び/又は、記憶部13に記憶された情報などを外部に送信してもよい。
【0031】
図1に示すような、一実施形態に係る電子機器10を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
【0032】
次に、一実施形態に係るシステム1の動作について説明する。
【0033】
一実施形態に係るシステム1は、被監視対象T及び車椅子の位置(座標)から、被監視対象Tによる放置動作の開始を判定する動作を行ってよい。以下、上述の動作について、より詳細に説明する。
【0034】
図2は、一実施形態に係るシステム1の動作の一例を示すフローチャートである。図2は、一実施形態に係るシステム1に含まれる電子機器10の動作に焦点を当てたフローチャートとしてもよい。
【0035】
例えば認知症の発症が疑われる者など(例えば要看護者又は要介護者など)は、車椅子に乗って移動している最中に、その車椅子から立ち上がって歩き出してしまうことがある。このような場合、その者は、車椅子の存在を思い出せなくなり、その車椅子を放置してしまうリスクがある。車椅子が放置されると、もともと車椅子を使用していた者は、行方不明になるリスクがある。また、車椅子が放置されると、もともと車椅子を使用していた者は、安全でない場所に向かってしまうリスクもある。さらに、車椅子が放置されると、環境によっては、放置された車椅子が他人の邪魔になるのみならず、危険な状況を形成してしまうこともあり得る。したがって、車椅子が放置されようとしていること、又は、車椅子が放置されたことを他者に警告することは、車椅子を使用していた者(被監視対象)の安全に供し得るのみならず、車椅子の周囲環境の安全にも供し得る。一実施形態に係るシステム1においては、上述のようにして被監視対象Tのような人間が車椅子を放置する動作における被監視対象T及び車椅子の位置(座標)から、放置動作の開始を判定してよい。以下、このような動作について、より詳細に説明する。
【0036】
図2に示す動作が開始する時点において、システム1の撮像部20は、例えば被監視対象Tのような人間及び/又は当該人間に関連する車椅子の撮像を開始していてよい。図2に示す動作が開始する時点は、撮像部20が例えば被監視対象Tのような人間及び/又は当該人間に関連する車椅子の撮像を開始した時点としてもよい。また、図2に示す動作が開始する時点は、撮像部20が撮像を開始してから、例えば被監視対象Tのような人間及び/又は当該人間に関連する車椅子が撮像部20の撮像範囲に入った時点としてもよい。
【0037】
図2に示す動作が開始すると、電子機器10のコントローラ15は、撮像部20によって撮像された画像を取得する(ステップS11)。
【0038】
図3は、図2に示したステップS11においてコントローラ15が取得した画像、すなわち撮像部20によって撮像された画像の例を示す図である。
【0039】
図3に示すように、撮像部20は、例えば被監視対象Tのような人間が車椅子Wに着座している状態を撮像してよい。図3は、被監視対象Tが車椅子Wに着座している様子を模式的に示している。図3において、被監視対象T及び/又は車椅子Wは、移動していてもよいし、静止していてもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間が車椅子Wに着座している画像を取得する。撮像部20は、被監視対象Tのような人間が車椅子Wに着座している状態以外の状態の画像を撮像してもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間が車椅子Wに着座している状態以外の状態の画像を取得してもよい。
【0040】
撮像部20は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部20が撮像する画像は、連続するフレームの静止画としてもよいし、動画としてもよい。例えば、撮像部20は、秒間15フレームの画像を撮像するものとしてよい。ステップS11において、コントローラ15は、撮像部20によって撮像された秒間所定数のフレームの画像を取得してよい。
【0041】
図4は、図2に示したステップS11においてコントローラ15が取得した画像、すなわち撮像部20によって撮像された画像の他の例を示す図である。
【0042】
図4に示すように、撮像部20は、例えば被監視対象Tのような人間が車椅子Wから立ち上がって歩き出している状態を撮像してよい。図4は、被監視対象Tが車椅子Wから立ち上がって歩き出している様子を模式的に示している。図4において、被監視対象T及び/又は車椅子Wは、移動していてもよいし、静止していてもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間及び車椅子Wを含む画像を取得する。撮像部20は、被監視対象Tのような人間が車椅子Wから立ち上がって歩き出している状態以外の状態の画像を撮像してもよい。この場合、ステップS11において、コントローラ15は、被監視対象Tのような人間が車椅子Wから立ち上がって歩き出している状態以外の状態の画像を取得してもよい。
【0043】
図2に示すように、ステップS11において撮像された画像を取得すると、認識部11は、被監視対象T及び被監視対象Tに関連する車椅子Wを画像認識する(ステップS12)。ステップS12における動作は、認識部11ではなく、コントローラ15が行ってもよい。
【0044】
図5は、ステップS12において認識される被監視対象T及び車椅子Wの例を示す図である。図5は、図3に示した画像において、認識部11が被監視対象T及び車椅子Wを認識した様子を示している。
【0045】
ステップS12において、認識部11は、例えば図5に示すような被監視対象T及び車椅子Wを認識してよい。図5においては、範囲Tcにおいて被監視対象Tが認識され、範囲Wcにおいて車椅子Wが認識されている。認識部11は、例えば画像認識などの任意の技術によって、被監視対象T及び車椅子Wを認識してよい。撮像された画像において所定の物体を検出及び/又は認識する技術は種々知られているため、より詳細な説明は省略する。
【0046】
図6は、ステップS12において認識される被監視対象T及び車椅子Wの他の例を示す図である。図6は、図4に示した画像において、認識部11が被監視対象T及び車椅子Wを認識した様子を示している。
【0047】
ステップS12において、認識部11は、例えば図6に示すような被監視対象T及び車椅子Wを認識してもよい。図6においても、図5と同様に、範囲Tcにおいて被監視対象Tが認識され、範囲Wcにおいて車椅子Wが認識されている。
【0048】
ステップS12において、認識部11は、図5及び図6に示すような被監視対象T及び車椅子Wにおける所定の特徴点を認識してもよい。また、認識部11は、図5及び図6に示す座標軸に従って、図5及び図6に示す被監視対象T及び車椅子Wを、2次元的に認識してもよい。また、認識部11は、被監視対象T及び車椅子Wを認識する際に、画像における被監視対象T及び車椅子Wの位置(例えば座標)を抽出してもよい。
【0049】
ここで、撮像部20が秒間所定数のフレームの各画像を撮像する場合、図7に示すように、認識部11は、秒間所定数のフレームにおいて被監視対象T及び車椅子Wを認識してよい。また、コントローラ15が秒間所定数のフレームの画像を取得する場合も、認識部11は、秒間所定数のフレームにおいて被監視対象T及び車椅子Wを認識してよい。一例として、認識部11は、図7に示すように、被監視対象T及び車椅子Wを、秒間15のフレームにおいて認識してよい。また、例えば、認識部11は、図7に示すように、秒間所定数の各フレームにおいて、被監視対象T及び車椅子Wの位置(座標)を認識してもよい。
【0050】
このように、一実施形態において、認識部11は、撮像部20によって撮像された秒間所定数のフレームの各画像ごとに、被監視対象T及び車椅子Wの位置を2次元的に画像認識してもよい。
【0051】
ステップS12において被監視対象T及び車椅子Wが認識されたら、コントローラ15は、被監視対象T及び車椅子Wの座標を判定する(ステップS13)。
【0052】
ステップS13において、コントローラ15は、被監視対象Tとして認識された範囲の中心、及び、車椅子Wとして認識された範囲の中心を、それぞれの座標と判定してもよい。また、ステップS13において、コントローラ15は、被監視対象Tとして認識された範囲の重心、及び、車椅子Wとして認識された範囲の重心を、それぞれの座標と判定してもよい。また、コントローラ15は、被監視対象Tとして認識された範囲の接地部分、及び、車椅子Wとして認識された範囲の接地部分を、それぞれの座標と判定してもよい。また、コントローラ15は、被監視対象Tとして認識された範囲の下端部分、及び、車椅子Wとして認識された範囲の下端部分を、それぞれの座標と判定してもよい。また、コントローラ15は、被監視対象Tとして認識された範囲の下端部分の中央、及び、車椅子Wとして認識された範囲の下端部分の中央を、それぞれの座標と判定してもよい。また、コントローラ15は、被監視対象T及び車椅子Wの座標として、上記のものをいずれか任意に組み合わせてもよい。
【0053】
ステップS13において被監視対象T及び車椅子Wの座標が判定されたら、コントローラ15は、次のステップS14に示す動作を行う。すなわち、ステップS14において、コントローラ15は、ステップS13において判定された被監視対象T及び車椅子Wの座標に基づいて、放置動作の開始を判定してよい。一実施形態において、コントローラ15は、ステップS14において、被監視対象T及び車椅子Wの座標が所定の条件を満たした場合に、放置動作の開始と判定してよい。以下、ステップS14において、放置動作の開始と判定される場合について、さらに説明する。
【0054】
例えば、「放置動作の開始」と判定される場合とは、例えば図5に示すように車椅子Wに着座していた被監視対象Tが、例えば図6に示すような動きを開始して車椅子Wから所定以上に離れた状態を所定時間継続した時点としてよい。図5及び図6は、上述のように、ステップS12において被監視対象T及び車椅子Wが画像認識された様子を図示している。図5は、例えば被監視対象Tが車椅子Wに着座した状態であって、「放置動作の開始」と判定される前の状態を示すものとしてよい。
【0055】
一般的に、図5に示す状態から被監視対象Tが放置動作を開始する場合、図6に示すように、被監視対象Tと車椅子Wとの距離D2が増大して所定の閾値th以上になる傾向にある。ここで、所定の閾値thとは、例えば被監視対象Tの身長を155cmに換算した場合に、5mとするなど任意の値としてよい。また、所定の閾値thとは、被監視対象Tの身長によらずに同じ値を用いてもよい。このように、一実施形態において、コントローラ15は、被監視対象Tと車椅子Wとの距離D2が増大して所定の閾値th以上になったら、「放置動作の開始」と判定してよい。
【0056】
また、図6に示すように、被監視対象Tと車椅子Wとの距離D2が増大して所定の閾値th以上になった場合であっても、被監視対象Tがすぐに車椅子Wに戻って来れば、「放置動作の開始」ではないと判定してもよい。したがって、コントローラ15は、認識部11によって認識された被監視対象Tと車椅子Wとの距離D2が所定の閾値以上になった状態が所定時間Δt継続したら、「放置動作の開始」と判定してもよい。ここで、所定時間Δtは、例えば30秒とするなど任意の時間としてよい。また、コントローラ15は、認識部11によって認識された被監視対象Tと車椅子Wとの距離D2が増大して所定の閾値以上になった状態が所定時間Δt継続したら、「放置動作の開始」と判定してもよい。
【0057】
ステップS14において、コントローラ15は、ステップS13にて判定された被監視対象T及び車椅子Wの座標に基づいて、放置動作の開始を判定してよい。上述のように、ステップS13において、コントローラ15は、被監視対象T及び車椅子Wの座標として、種々の座標を判定してよい。したがって、ステップS13において、コントローラ15は、被監視対象Tと車椅子Wとの距離として、被監視対象T及び車椅子Wの種々の座標に基づく種々の距離に基づいて、放置動作の開始を判定してよい。すなわち、ステップS13において、コントローラ15が判定処理に用いる「被監視対象Tと車椅子Wとの距離」とは、種々のものを想定し得る。
【0058】
例えば、被監視対象Tと車椅子Wとの距離とは、被監視対象Tとして認識された範囲の重心と、車椅子Wとして認識された範囲の重心との距離としてもよい。また、被監視対象Tと車椅子Wとの距離とは、被監視対象Tとして認識された範囲の接地部分の任意の点と、車椅子Wとして認識された範囲の接地部分の任意の点との距離としてもよい。また、被監視対象Tと車椅子Wとの距離とは、被監視対象Tとして認識された範囲の下端部分の任意の点と、車椅子Wとして認識された範囲の下端部分の任意の点との距離としてもよい。また、被監視対象Tと車椅子Wとの距離とは、被監視対象Tとして認識された範囲の下端部分の中央と、車椅子Wとして認識された範囲の下端部分の中央との距離としてもよい。また、コントローラ15は、被監視対象T及び車椅子Wの座標として、上記のものをいずれか任意に組み合わせてもよい。
【0059】
また、被監視対象Tと車椅子Wとの距離とは、例えば、被監視対象Tが地面と接地してする部分の任意の点と、車椅子Wが地面と接地する部分の任意の点との距離としてもよい。ここで、被監視対象Tが地面と接地してする部分とは、例えば被監視対象Tのつま先部分としてもよい。この場合、被監視対象Tが地面と接地してする部分とは、例えば被監視対象Tの左右のつま先部分の一方としてもよいし、左右のつま先部分の中点としてもよい。また、車椅子Wが地面と接地する部分とは、例えば車椅子Wの車輪部分としてもよい。この場合、車椅子Wが地面と接地する部分とは、例えば車椅子Wの車輪のいずれか1つが接地する点としてもよいし、全ての車輪がそれぞれ接地する点の中点としてもよい。このように、コントローラ15は、被監視対象Tのつま先と車椅子Wの車輪との距離を、被監視対象Tと車椅子Wとの距離としてもよい。
【0060】
以上説明したような所定の閾値及び所定時間などは、予め記憶部13に記憶しておいてもよいし、ステップS14における判定までにコントローラ15が通信部19を介して取得してもよい。
【0061】
図5において、被監視対象Tとして認識された範囲Tcの下端部分の中央は、中心線Tmによって示されている。また、車椅子Wとして認識された範囲Wcの下端部分の中央は、中心線Wmによって示されている。この場合、コントローラ15は、例えば、被監視対象T及び車椅子Wの座標を、それぞれ中心線Tm及び中心線Wm上の任意の位置と判定してもよい。図5に示す場合、被監視対象Tは車椅子Wに着座している状態のため、被監視対象Tと車椅子Wとの距離D1は、非常に小さな値になる。ここで、被監視対象Tと車椅子Wとの距離D1は、例えば、被監視対象Tとして認識された範囲Tcの下端部分の中央と、車椅子Wとして認識された範囲Wcの下端部分の中央との距離としてよい。
【0062】
図6においても、図5と同様に、被監視対象Tとして認識された範囲Tcの下端部分の中央は、中心線Tmによって示されている。また、車椅子Wとして認識された範囲Wcの下端部分の中央は、中心線Wmによって示されている。この場合、コントローラ15は、例えば、被監視対象T及び車椅子Wとの座標を、それぞれ中心線Tm及び中心線Wm上の任意の位置と判定してもよい。図6に示す場合、被監視対象Tは車椅子Wから立ち上がって歩き出している状態のため、被監視対象Tと車椅子Wとの距離D2は、図5に示した距離D1に比べて大きな値になる。ここで、被監視対象Tと車椅子Wとの距離D2は、例えば、被監視対象Tとして認識された範囲Tcの下端部分の中央と、車椅子Wとして認識された範囲Wcの下端部分の中央との距離としてよい。
【0063】
一実施形態において、コントローラ15は、例えば被監視対象Tと車椅子Wとの距離を判定してもよい。コントローラ15により判定される被監視対象Tと車椅子Wとの距離は、例えば画像における距離を算出してもよいし、画像に基づいて現実の距離を推定してもよい。画像において被監視対象Tと車椅子Wとの距離を算出すると、その距離は、例えば撮像部20と被監視対象Tとの距離、及び、撮像部20から被監視対象Tに向く方向などにも起因してばらつくことが想定される。一方、画像に基づいて被監視対象Tと車椅子Wとの現実の距離を推定すると、撮像の環境に起因するばらつきを抑えることができる。
【0064】
ここで、コントローラ15の動作について、図8及び図9を参照して、さらに説明する。例えばカメラのような撮像部20によって画像が撮像される場合、実際の環境における現実の距離と、撮像される画像における距離とで、見え方が異なり得る。そこで、一実施形態において、コントローラ15は、実際の環境における現実の距離と、撮像される画像における距離との見え方の違いを、学習することにより解決するものとしてよい。
【0065】
例えば、図8に示すような実際の環境に設置された撮像部20によって、図9に示すような画像が撮像された例について説明する。
【0066】
図8に示すように、例えば部屋又は通路のような環境において、その天井部にカメラのような撮像部20が設置されているとする。この撮像部20は、図8に示す部屋又は通路の奥行方向に平行な方向に向けて設置されているものとする(以下、撮像部20の向く方向を「撮像方向」と記す)。このような環境において、図8に示すように、最初は手前側に存在した人間(被監視対象T1)が、撮像方向に沿って奥側に例えば5m移動したとする(被監視対象T1’)。ここで、図8に示すように、被監視対象T1の位置における所定の距離D1と、被監視対象T1’の位置における所定の距離D1’とは、同じ長さの距離を示すものとする。
【0067】
図9は、図8に示すような実際の環境を撮像部20によって撮像した画像の例を示している。すなわち、図8に示す実際の環境における被監視対象T1は、図9に示す撮像した画像における被監視対象T1を示している。同様に、図8に示す実際の環境における被監視対象T1’は、図9に示す撮像した画像における被監視対象T1’を示している。図9において、被監視対象T1の位置における所定の距離D1と、被監視対象T1’の位置における所定の距離D1’とは、現実には同じ長さの距離を示している。
【0068】
図8及び図9に示す被監視対象T1の位置のように、撮像部20から比較的近いところにおいては、例えば被監視対象T1が動く場合に、撮像部20によって撮像される画像における座標の移動(例えば1画素あたりの距離)は大きくなる。一方、図8及び図9に示す被監視対象T1’の位置のように、撮像部20から比較的遠いところにおいては、例えば撮像方向に沿って奥側に動く場合に、撮像部20によって撮像される画像における座標の移動(例えば1画素あたりの距離)も小さくなる。
【0069】
以上のような原理に基づいて、一実施形態において、コントローラ15は、実際の環境における現実の距離と、撮像される画像における距離との見え方の違いを、学習することにより解決することができる。また、実際の環境における現実の距離と、撮像される画像における距離との見え方の差異は、所定の環境において、所定の条件のもと、同じ結果になる。例えば、上述のような差異は、建物内など床面に傾斜がない環境において、カメラの画角、カメラの仰俯角、カメラの設置高、カメラの解像度、及び対象の座標が同じであれば、同じ結果になる。このため、上述のような差異は、予め実測しておくことにより解決してもよい。
【0070】
また、コントローラ15は、被監視対象T及び車椅子Wの座標を判定する場合、被監視対象T及び車椅子Wそれぞれにおける任意の箇所、又は特徴点などを抽出してもよい。コントローラ15は、被監視対象T及び車椅子Wのそれぞれを1点の座標(例えば中心又は重心など)として判定してもよい。また、コントローラ15は、被監視対象T及び車椅子Wのそれぞれを複数の点を含む点群として判定してもよい。コントローラ15は、被監視対象T及び車椅子Wのそれぞれを複数の点を含む点群として判定する場合、それぞれの点群の中心又は重心などを1点の座標として判定してもよい。
【0071】
ステップS14において放置動作の開始と判定された場合、すなわち、放置動作がこれから開始するリスクが高まった場合、又は放置動作が開始していると想定される場合、コントローラ15は、所定の警告信号を出力する(ステップS15)。ステップS15において、コントローラ15は、所定の警告信号を警告部17に出力してよい。これにより、警告部17は、所定の警告を発することができる。このように、コントローラ15は、放置動作の開始と判定したら、所定の警告信号を出力してよい。
【0072】
一方、ステップS14において放置動作の開始と判定されない場合、コントローラ15は、ステップS15の動作をスキップして、図2に示す動作を終了してよい。この場合、放置動作が開始していない、又は、放置動作がこれから開始するリスクが高まっていない、と想定され得る。図2に示す動作が終了すると、コントローラ15は、再び図2に示す動作を開始してよい。例えば、コントローラ15は、画像データから座標が認識されるごとに、図2に示す動作を繰り返してもよい。すなわち、例えば認識部11が秒間15フレームの画像データから被監視対象T及び車椅子Wを認識する場合、コントローラ15は、ステップS25における放置動作の開始の判定を秒間15回行ってもよい。
【0073】
このように、一実施形態において、コントローラ15は、認識部11によって認識された被監視対象T及び車椅子Wの位置(座標)に基づいて、放置動作の開始を判定してよい。また、認識部11は、撮像部20によって撮像された単位時間当たり所定数のフレームの画像から被監視対象T及び車椅子Wの位置を認識してもよい。この場合、コントローラ15は、認識部11によって認識された被監視対象T及び車椅子Wの位置から、放置動作の開始を判定してもよい。
【0074】
図2に示すように、コントローラ15は、ステップS14において放置動作の開始を判定したら直ちに、ステップS15において所定の警告信号を出力してよい。このため、コントローラ15は、実際の放置動作が完了する前に、所定の警告信号を出力してよい。このように、コントローラ15は、放置動作の開始を判定したら、放置動作の完了前に、所定の警告信号を出力してもよい。また、コントローラ15は、可能な場合には、実際の放置動作が開始する前に、所定の警告信号を出力してもよい。このように、コントローラ15は、放置動作の開始を判定したら、放置動作の開始前に、所定の警告信号を出力してもよい。
【0075】
一実施形態に係るシステム1によれば、例えば被監視対象Tのような人間が着座していた車椅子Wを放置する動作における人間及び車椅子Wの位置に基づいて、放置動作の開始を判定することができる。したがって、一実施形態に係るシステム1によれば、被監視対象Tが車椅子Wを放置しようとしている場合又は放置した場合に、その放置動作が終了する前又は終了した後に、所定の警告を発することができる。したがって、一実施形態に係るシステム1によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が車椅子を放置する前又は放置した後に、被監視者が車椅子を放置しようとしていること又は放置したことを認識し得る。このため、一実施形態に係るシステム1によれば、被監視対象Tの安全に供し得る。
【0076】
図10は、図2のステップS14において説明した判定処理をさらに説明する図である。図10は、左側の列において、例えば図2のステップS11において取得された画像データに撮像された被監視対象Tの状態を示している。図10に示すように、撮像された画像データにおいて、被監視対象Tは、撮像部20が設置された部屋に入室して車椅子Wに座っている状態の後、立っている状態となり、それから車椅子Wから離れている状態になったとする。車椅子Wから離れて放置動作が開始した瞬間から、コントローラ15は、図2に示したステップS11以降の動作を、秒間15フレームの処理として行うものとする。すなわち、システム1において、撮像部20は、秒間15フレームの画像を撮像するものとしてよい。また、システム1において、コントローラ15は、秒間15フレームの画像を取得するものとしてよい。また、システム1において、認識部11は、秒間15フレームの画像から、被監視対象T及び車椅子Wを画像認識するものとしてよい。また、システム1において、コントローラ15は、秒間15フレームの画像から認識された被監視対象T及び車椅子Wの座標を判定するものとしてよい。さらに、システム1において、コントローラ15は、秒間15フレームの被監視対象T及び車椅子Wの座標に基づいて、放置動作の開始を判定してよい。
【0077】
図10の中央の列において、コントローラ15が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから認識(又は抽出)された位置又は座標としてもよい。また、図10の中央の列において、ハッチングを付した画像データは、放置動作が開始してから1秒間のフレームを表しているものとしてよい。
【0078】
このような状況において、コントローラ15は、放置動作が開始してから1秒間のフレーム(フレーム1からフレーム15まで)に基づいて、その時点における放置動作の開始を判定してよい(図10に示す判定1)。次に、コントローラ15は、フレーム2からフレーム16までフレームに基づいて、その時点における放置動作の開始を判定してよい(図10に示す判定2)。以上のような動作を繰り返すことにより、コントローラ15は、放置動作の開始の判定を、秒間15回行うことになる。したがって、一実施形態に係るシステム1によれば、例えば図10に示す判定1及び判定2において何らかの原因により本来判定されるべき放置動作の開始が判定されなかったとしても、秒間15回の判定によって失報のリスクを低減することができる。
【0079】
上述した実施形態において、システム1は、秒間15フレームを処理する例について説明した。しかしながら、一実施形態において、システム1又はシステム1を構成する各機能部は、秒間15よりも多くのフレームを処理してもよいし、秒間15よりも少ないフレームを処理してもよい。一実施形態において、システム1が扱う関節点の数及び/又は処理するフレームの数は、放置動作の開始の判定が妥当な結果になるように調整してもよい。
【0080】
上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてもよい。
【0081】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
【0082】
上述した実施形態は、システム1としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム1に含まれる電子機器10として実施してもよい。また、上述した実施形態は、例えば、電子機器10のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器10のような機器又は情報処理装置(例えばコンピュータ)が実行するプログラムとして実施してもよい。また、本開示の技術において、図1に示される電子機器10の各構成要素の全てが1つの筐体又はサーバなどに存在しなくてもよい。例えば、電子機器10の構成要素のコントローラ及び/又は記憶部などの各部が、互いに有線若しくは無線又はこれらの組み合わせからなるネットワークにより接続されてもよい。この場合、電子機器10の構成要素の各部は、異なる筐体、サーバ、装置、部屋、ビル、地域、又は国などに任意に配置されているとしてもよい。
【符号の説明】
【0083】
1 システム
10 電子機器
11 認識部
13 記憶部
15 コントローラ
17 警告部
19 通信部
20 撮像部

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10