▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-08
(45)【発行日】2022-07-19
(54)【発明の名称】危険状況を感知する方法及びそのシステム
(51)【国際特許分類】
G08B 25/00 20060101AFI20220711BHJP
G08B 25/04 20060101ALI20220711BHJP
G08B 21/02 20060101ALI20220711BHJP
H04N 7/18 20060101ALI20220711BHJP
【ＦＩ】
G08B25/00 510M
G08B25/04 K
G08B21/02
H04N7/18 D
H04N7/18 K
【請求項の数】
18
(21)【出願番号】P 2020513299
(86)(22)【出願日】2018-06-20
(65)【公表番号】
(43)【公表日】2020-11-12
(86)【国際出願番号】 KR2018006981
(87)【国際公開番号】W WO2019050136
(87)【国際公開日】2019-03-14
【審査請求日】2020-03-04
(31)【優先権主張番号】10-2017-0113344
(32)【優先日】2017-09-05
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】キム，ジュヨン
(72)【発明者】
【氏名】キム，ジュンホ
(72)【発明者】
【氏名】ヤン，ドジュン
(72)【発明者】
【氏名】イ，ヒョンウ
(72)【発明者】
【氏名】ハン，ジョンヒ
【審査官】玉木 宏治
(56)【参考文献】
【文献】特開２０１７－０１６５８９（ＪＰ，Ａ）
【文献】国際公開第２０１６／０５３８８６（ＷＯ，Ａ１）
【文献】米国特許第０７１１０５６９（ＵＳ，Ｂ２）
【文献】国際公開第２０１２／００４９０７（ＷＯ，Ａ１）
【文献】特開２０１６－１８７１７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｂ １９／００－３１／００
Ｈ０４Ｎ ７／１８
Ｈ０４Ｍ １／００－ １／８２
Ｈ０４Ｍ ３／００
Ｈ０４Ｍ ３／１６－ ３／２０
Ｈ０４Ｍ ３／３８－ ３／５８
Ｈ０４Ｍ ７／００－ ７／１６
Ｈ０４Ｍ １１／００－１１／１０
Ｈ０４Ｑ ３／５８－ ３／６２
(57)【特許請求の範囲】
【請求項1】
動的ビジョンセンサ（ＤＶＳ）を利用し、動きが発生しうる第１客体を含む少なくとも１つの静止イメージを獲得する段階と、前記少なくとも１つの静止イメージを１つずつ外形モデルに入力する段階と、
前記外形モデルを通じて前記少なくとも１つの静止イメージのうちから、既定義姿勢の前記第１客体を含む第１イメージが検出されることにより、前記第１イメージを含む複数のイメージをモーションモデルに入力する段階と、
前記モーションモデルを通じて前記複数のイメージを分析した結果に基づいて前記第１客体の第１動き変化に係わる情報を獲得する段階と、
前記第１客体の第１動き変化に係わる情報に基づいて、前記第１客体の状況が危険状況であるか否かということを決定する段階と、を含む危険状況感知方法。
【請求項2】
前記第１イメージを検出する段階は、前記第１客体の動き発生が感知されることにより、前記外形モデルを利用し、前記少なくとも１つの静止イメージに含まれた前記第１客体の姿勢と、前記既定義姿勢とを比較する段階と、
前記比較結果に基づき、前記第１イメージを検出する段階と、を含むことを特徴とする請求項１に記載の危険状況感知方法。
【請求項3】
動的ビジョンセンサ（ＤＶＳ）を用いて、動きが発生可能な第１客体を含む少なくとも１つのイメージを獲得する段階と、前記少なくとも１つのイメージのうち、既定義姿勢の前記第１客体を含む第１イメージを検出する段階と、
前記第１イメージを分析し、前記第１客体の状況が危険状況であるか否かを決定する段階と、を含み、
前記第１客体の状況が危険状況であると決定されることにより、振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得する段階と、
前記少なくとも１つの詳細イメージを分析し、前記第１客体の危険度を決定する段階と、をさらに含むことを特徴とする危険状況感知方法。
【請求項4】
前記第１客体の危険度を決定する段階は、一定時間の間、前記第１客体の動きが臨界値より少ないと決定されることにより、前記第１客体の危険度レベルを上向き調整する段階を含むことを特徴とする請求項２に記載の危険状況感知方法。
【請求項5】
前記第１客体の状況が危険状況であるか否かということを決定する段階は、前記第１イメージ内の前記第１客体に係わる複数のイメージを分析し、前記第１客体の第１動き変化に係わる情報を獲得する段階と、
前記第１客体の第１動き変化に係わる情報に基づき、前記第１客体の状態が転倒事故状態であるか否かということを決定する段階と、を含むことを特徴とする請求項１に記載の危険状況感知方法。
【請求項6】
前記第１イメージを検出する段階は、前記動的ビジョンセンサ（ＤＶＳ）が設けられた角度及び位置のうち少なくとも一つを考慮し、前記少なくとも１つの静止イメージに含まれた前記第１客体の形状、または前記第１客体の大きさを補償する段階と、
前記形状または大きさが補償された前記第１客体の姿勢と、前記既定義姿勢とを比較する段階と、を含むことを特徴とする請求項１に記載の危険状況感知方法。
【請求項7】
動的ビジョンセンサ（ＤＶＳ）を用いて、動きが発生可能な第１客体を含む少なくとも１つのイメージを獲得する段階と、前記少なくとも１つのイメージのうち、既定義姿勢の前記第１客体を含む第１イメージを検出する段階と、
前記第１イメージを分析し、前記第１客体の状況が危険状況であるか否かを決定する段階と、を含み、
前記第１イメージを検出する段階は、
前記第１客体が他の客体によって一部隠されたと判断されることにより、振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得する段階と、
前記少なくとも１つの詳細イメージに基づき、前記少なくとも１つの詳細イメージ内の前記第１客体の一部を隠す第２客体を検出する段階と、
前記第２客体を考慮し、前記第２客体によって一部隠された前記第１客体の姿勢を推定する段階と、を含むことを特徴とする危険状況感知方法。
【請求項8】
前記少なくとも１つの静止イメージを獲得する段階は、前記動的ビジョンセンサ（ＤＶＳ）が設けられた空間の私生活レベルにより、前記少なくとも１つの静止イメージに含まれた前記第１客体の鮮明度を調節する段階を含むことを特徴とする請求項１に記載の危険状況感知方法。
【請求項9】
前記少なくとも１つの静止イメージを獲得する段階は、前記第１客体の動きが感知されることにより、高解像度モードで、前記少なくとも１つの静止イメージを獲得する段階と、
前記第１客体の動きが感知されないことにより、低解像度モードで、前記少なくとも１つの静止イメージを獲得する段階と、を含むことを特徴とする請求項１に記載の危険状況感知方法。
【請求項10】
動的ビジョンセンサ（ＤＶＳ）を利用し、動きが発生しうる第１客体を含む少なくとも１つのイメージを獲得する段階と、前記少なくとも１つのイメージのうちから、既定義姿勢の前記第１客体を含む第１イメージを検出する段階と、
前記第１イメージが検出されることにより、振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得する段階と、
前記少なくとも１つの詳細イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定する段階と、を含む危険状況感知方法。
【請求項11】
前記第１イメージを検出する段階、及び前記第１客体の状況が危険状況であるか否かということを決定する段階は、神経網モデルによって遂行されることを特徴とする請求項１０に記載の危険状況感知方法。
【請求項12】
動きが発生しうる第１客体を含む少なくとも１つの静止イメージを獲得する動的ビジョンセンサ（ＤＶＳ）と、前記少なくとも１つの静止イメージを１つずつ外形モデルに入力し、
前記外形モデルを通じて前記少なくとも１つの静止イメージのうちから、既定義姿勢の前記第１客体を含む第１イメージが検出されることにより、前記第１イメージを含む複数のイメージをモーションモデルに入力し、
前記モーションモデルを通じて前記複数のイメージを分析した結果に基づいて前記第１客体の第１動き変化に係わる情報を獲得し、
前記第１客体の第１動き変化に係わる情報に基づいて、前記第１客体の状況が危険状況であるか否かということを決定するプロセッサと、
を含む危険状況感知装置。
【請求項13】
動きが発生可能な第１客体を含む少なくとも１つのイメージを獲得する動的ビジョンセンサ（ＤＶＳ）と、前記少なくとも１つのイメージのうち、既定義姿勢の前記第１客体を含む第１イメージを検出し、前記第１イメージを分析し、前記第１客体の状況が危険状況であるか否かを決定するプロセッサと、を含み、
前記動的ビジョンセンサ（ＤＶＳ）を動かす振動器をさらに含み、
前記プロセッサは、
前記第１客体の状況が危険状況であると決定されることにより、前記動的ビジョンセンサ（ＤＶＳ）を動かすように、前記振動器を制御し、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得し、前記少なくとも１つの詳細イメージを分析し、前記第１客体の危険度を決定することを特徴とする危険状況感知装置。
【請求項14】
前記プロセッサは、一定時間の間、前記第１客体の動きが臨界値より少ないと決定されることにより、前記第１客体の危険度レベルを上向き調整することを特徴とする請求項１３に記載の危険状況感知装置。
【請求項15】
前記プロセッサは、前記動的ビジョンセンサ（ＤＶＳ）が設けられた角度及び位置のうち少なくとも一つを考慮し、前記少なくとも１つの静止イメージに含まれた前記第１客体の形状、または前記第１客体の大きさを補償し、前記形状または大きさが補償された前記第１客体の姿勢と、前記既定義姿勢とを比較し、前記第１イメージを検出することを特徴とする請求項１２に記載の危険状況感知装置。
【請求項16】
動きが発生可能な第１客体を含む少なくとも１つのイメージを獲得する動的ビジョンセンサ（ＤＶＳ）と、前記少なくとも１つのイメージのうち、既定義姿勢の前記第１客体を含む第１イメージを検出し、前記第１イメージを分析し、前記第１客体の状況が危険状況であるか否かを決定するプロセッサと、を含み、
前記動的ビジョンセンサ（ＤＶＳ）を動かす振動器をさらに含み、
前記プロセッサは、
前記少なくとも１つのイメージに基づき、前記第１客体が他の客体によって一部隠されたと判断されることにより、前記振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得し、前記少なくとも１つの詳細イメージに基づき、前記第１客体の一部を隠す第２客体を検出し、前記第２客体を考慮し、前記第２客体によって一部隠された前記第１客体の姿勢を推定することを特徴とする危険状況感知装置。
【請求項17】
動きが発生しうる第１客体を含む少なくとも１つのイメージを獲得する動的ビジョンセンサ（ＤＶＳ）と、前記動的ビジョンセンサ（ＤＶＳ）を動かす振動器と、
前記少なくとも１つのイメージのうちから、既定義姿勢の前記第１客体を含む第１イメージを検出し、前記第１イメージが検出されることにより、前記振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得し、前記少なくとも１つの詳細イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定するプロセッサと、を含む危険状況感知装置。
【請求項18】
動的ビジョンセンサ（ＤＶＳ）を利用し、動きが発生しうる第１客体を含む少なくとも１つの静止イメージを獲得する段階と、前記少なくとも１つの静止イメージを１つずつ外形モデルに入力する段階と、
前記外形モデルを通じて前記少なくとも１つの静止イメージのうちから、既定義姿勢の前記第１客体を含む第１イメージが検出されることにより、前記第１イメージを含む複数のイメージをモーションモデルに入力する段階と、
前記モーションモデルを通じて前記複数のイメージを分析した結果に基づいて前記第１客体の第１動き変化に係わる情報を獲得する段階と、
前記第１客体の第１動き変化に係わる情報に基づいて、前記第１客体の状況が危険状況であるか否かということを決定する段階とを、コンピュータをして遂行させる命令語を保存するコンピュータで読み取り可能な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動的ビジョンセンサ（ＤＶＳ）（ＤＶＳ：dynamic vision sensor）を利用し、危険状況（例えば、転倒事故）を感知する方法及びそのシステムに関する。
【背景技術】
【0002】
転倒事故は、倒れたり落ちたりして、負傷することであり、高齢者において主に発生するが、全ての年齢において発生しうる。特に、高齢者転倒事故の発生は、だんだんと増えており、深刻な損傷を伴ったり、転倒事故による合併症によって死亡したりもする。
【0003】
高齢者転倒事故は、転倒事故による死亡以外にも、重症の損傷により、生きていく上での質が顕著に低下するという問題をもたらす。転倒事故で病院を訪れる高齢者の２０～３０％は、打撲傷、尻骨骨折、及び／または転倒事故による頭損傷で苦労する。転倒事故は、高齢者外傷の最大要因であり、高齢者層の増加と共に、持続的に増加するものと予想される。
【0004】
転倒事故は、住居施設での発生が６１．５％と最も多く、その次は、道路（２０．０％）、商業施設（１８．５％）の順序である。住居施設で発生する転倒事故のうち９５％は、家庭で発生するが、家庭内での滑りやすい床や階段のような危険な環境的要因が２５～４５％を占める。特に、住居施設内転倒事故は、表面の水によって滑って発生する場合が２０．６％であり、トイレで発生した転倒事故の７４．３％が床の水と関連性がある。
【0005】
従って、転倒事故有無を正確に感知し、転倒事故による危険度を正確に予測することができるシステムが必要である。
【発明の概要】
【課題を解決するための手段】
【0006】
一実施形態は、動的ビジョンセンサ（ＤＶＳ）（ＤＶＳ：dynamic vision sensor）を介して獲得されたイメージを、複数の映像処理モデルを利用し、段階的に分析することにより、効率的に危険状況（例えば、転倒事故）を感知するシステムを提供する。
【0007】
一実施形態は、動的ビジョンセンサ（ＤＶＳ）及び振動器を利用し、正確に客体の危険状況（例えば、転倒事故）を感知し、客体の危険度を予測する危険状況感知方法及びそのシステムを提供する。
【0008】
追加の様態は、部分的には、以下の開示で説明され、部分的には、開示から明白であったり、実施形態を実施することによって学習されたりもする。
【発明の効果】
【0009】
一実施形態によれば、システムは、動的ビジョンセンサ（ＤＶＳ）及び振動器を利用し、客体の危険状況（例えば、転倒事故）を感知し、客体の危険度を予測することができる。
【図面の簡単な説明】
【0010】
以上のところ及び／または他の様態は、次の図面と共に、以下の実施形態の記載によってさらに明確になるであろう。
【図1】一実施形態による危険状況感知システムを図示した図面である。
【図2】一実施形態による転倒事故感知装置がブーティングされるとき、初期イメージを利用し、空間情報を獲得する方法を図示したフローチャートである。
【図3】一実施形態による、消失点分析を介して空間情報を獲得する動作を図示した図面である。
【図4】一実施形態による転倒事故感知装置が、設置ガイド情報を提供する動作を図示した図面である。
【図5】一実施形態による、転倒事故危険度マップを生成する方法を図示したフローチャートである。
【図6】一実施形態による転倒事故危険度マップを図示した図面である。
【図7】一実施形態による、転倒事故を感知する方法を図示したフローチャートである。
【図8A】一実施形態による、外形モデルとモーションモデルとを利用し、転倒事故を感知する方法を図示したフローチャートである。
【図8B】一実施形態による、客体の動き感知いかんによってイメージ獲得モードを調節する方法を図示したフローチャートである。
【図9】一実施形態による、客体の形状または大きさを補償する方法を図示したフローチャートである。
【図10】一実施形態によるＤＶＳの設置角度を考慮し、客体の形状を補償する動作を図示した図面である。
【図11】一実施形態による消失点分析を介し、客体の大きさを補償する動作を図示した図面である。
【図12】一実施形態による、第２客体によって一部隠された第１客体の姿勢を推定する方法を図示したフローチャートである。
【図13】一実施形態による、閉塞（occlusion）が感知される場合、客体の姿勢を推定する動作を図示した図面である。
【図14】一実施形態による、転倒事故状態の危険度を決定する方法を図示したフローチャートである。
【図15】一実施形態による、危険度レベルを決定する動作を図示した図面である。
【図16】一実施形態による、ウェアラブルデバイスで測定される生体情報を利用し、転倒事故状態の危険度を分析するシステムを図示した図面である。
【図17】一実施形態による、私生活レベルにより、客体の鮮明度を調節する方法を図示したフローチャートである。
【図18】一実施形態による、私生活レベルにより、客体の鮮明度を調節する動作を図示した図面である。
【図19】一実施形態による、動物の危険状況を感知する動作を図示した図面である。
【図20】一実施形態による、危険状況を感知する方法を図示したフローチャートである。
【図21】一実施形態による、詳細イメージを利用し、危険状況を感知する方法を図示したフローチャートである。
【図22】一実施形態による、転倒事故感知装置の構成を図示したブロック構成図である。
【図23】一実施形態によるプロセッサのブロック構成図である。
【図24】一実施形態によるデータ学習部のブロック構成図である。
【図25】一実施形態によるデータ認識部のブロック構成図である。
【図26】一実施形態による、転倒事故感知装置及びサーバが互いに連動することにより、データを学習して認識する例示を示す図面である。
【発明を実施するための形態】
【0011】
本開示の一実施形態は、動的ビジョンセンサ（ＤＶＳ）（ＤＶＳ：dynamic vision sensor）を利用し、動きが発生しうる第１客体を含む第１イメージを獲得する段階、前記第１イメージのうちから、既定義姿勢の前記第１客体を含む第２イメージを検出する段階、及び前記第２イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定する段階を含む危険状況感知方法を提供することができる。
【0012】
前記第２イメージを検出する段階、及び前記第１客体の状況が危険状況であるか否かということを決定する段階は、学習ネットワークモデルによって遂行される危険状況感知方法を提供することができる。
【0013】
前記第１イメージを検出する段階は、前記第１客体の動き発生が感知されることにより、前記学習ネットワークモデルを利用し、前記第１イメージに含まれた前記第１客体の姿勢と、前記既定義姿勢とを比較する段階、及び前記比較結果に基づき、前記第２イメージを検出する段階を含む危険状況感知方法を提供することができる。
【0014】
前記危険状況感知方法は、前記第１客体の状況が危険状況であると決定されることにより、振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた第３イメージを獲得する段階、及び前記第３イメージを分析し、前記第１客体の危険度を決定する段階をさらに含む危険状況感知方法を提供することができる。
【0015】
前記第１客体の危険度を決定する段階は、一定時間の間、前記第１客体の動きが臨界値より小さいと決定されることにより、前記第１客体の危険度レベルを上向き調整する段階を含む危険状況感知方法を提供することができる。
【0016】
前記第１客体の状況が危険状況であるか否かということを決定する段階は、前記第２イメージ内の前記第１客体に対する複数のイメージを分析し、前記第１客体の第１動き変化に係わる情報を獲得する段階、及び前記第１客体の第１動き変化に係わる情報に基づき、前記第１客体の状態が転倒事故（fall）状態であるか否かということを決定する段階を含む危険状況感知方法を提供することができる。
【0017】
前記第２イメージを検出する段階は、前記動的ビジョンセンサ（ＤＶＳ）が設けられた角度及び位置のうち少なくとも一つを考慮し、前記第１イメージに含まれた前記第１客体の形状、または前記第１客体の大きさを補償する段階、及び前記形状または大きさが補償された前記第１客体の姿勢と、前記既定義姿勢とを比較する段階を含む危険状況感知方法を提供することができる。
【0018】
前記第２イメージを検出する段階は、前記第１客体が、他の客体によって一部隠されたと判断されることにより、振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた第３イメージを獲得する段階、前記第３イメージに基づき、前記第３イメージ内の前記第１客体の一部を隠す第２客体を検出する段階、及び前記第２客体を考慮し、前記第２客体によって一部隠された前記第１客体の姿勢を推定する段階を含む危険状況感知方法を提供することができる。
【0019】
前記第１イメージを獲得する段階は、前記動的ビジョンセンサ（ＤＶＳ）が設けられた空間の私生活レベル（privacy level）により、前記第１イメージに含まれた前記第１客体の鮮明度を調節する段階を含む危険状況感知方法を提供することができる。
【0020】
前記第１イメージを獲得する段階は、前記第１客体の動きが感知されることにより、高解像度モードで、前記第１イメージを獲得する段階、及び前記第１客体の動きが感知されないことにより、低解像度モードで、前記第１イメージを獲得する段階を含む危険状況感知方法を提供することができる。
【0021】
本開示の一実施形態は、動的ビジョンセンサ（ＤＶＳ）を利用し、動きが発生しうる第１客体を含む第１イメージを獲得する段階、前記第１イメージのうちから、既定義姿勢の前記第１客体を含む第２イメージを検出する段階、前記第２イメージが検出されることにより、振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた第３イメージを獲得する段階、及び前記第３イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定する段階を含む危険状況感知方法を提供することができる。
【0022】
前記第２イメージを検出する段階、及び前記第１客体の状況が危険状況であるか否かということを決定する段階は、学習ネットワークモデルによって遂行される危険状況感知方法を提供することができる。
【0023】
動きが発生しうる第１客体を含む第１イメージを獲得する動的ビジョンセンサ（ＤＶＳ）、及び前記第１イメージのうちから、既定義姿勢の前記第１客体を含む第２イメージを検出し、前記第２イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定するプロセッサを含む危険状況感知装置を提供することができる。
【0024】
前記プロセッサは、学習ネットワークモデルを利用し、前記第２イメージを検出し、前記学習ネットワークモデルを利用し、前記第１客体の状況が危険な状況であるか否かということを決定する危険状況感知装置を提供することができる。
【0025】
前記危険状況感知装置は、前記動的ビジョンセンサ（ＤＶＳ）を動かす振動器をさらに含み、前記プロセッサは、前記第１客体の状況が危険状況であると決定されることにより、前記動的ビジョンセンサ（ＤＶＳ）を動かすように、前記振動器を制御し、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた第３イメージを獲得し、前記第３イメージを分析し、前記第１客体の危険度を決定する危険状況感知装置を提供することができる。
【0026】
前記プロセッサは、一定時間の間、前記第１客体の動きが臨界値より小さいと決定されることにより、前記第１客体の危険度レベルを上向き調整する危険状況感知装置を提供することができる。
【0027】
前記プロセッサは、前記動的ビジョンセンサ（ＤＶＳ）が設けられた角度及び位置のうち少なくとも一つを考慮し、前記第１イメージに含まれた前記第１客体の形状、または前記第１客体の大きさを補償し、前記形状または大きさが補償された前記第１客体の姿勢と、前記既定義姿勢とを比較し、前記第２イメージを検出する危険状況感知装置を提供することができる。
【0028】
前記危険状況感知装置は、前記動的ビジョンセンサ（ＤＶＳ）を動かす振動器をさらに含み、前記プロセッサは、前記少なくとも１つのイメージに基づき、前記第１客体が、他の客体によって一部隠されたと判断されることにより、前記振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた第３イメージを獲得し、前記第３イメージに基づき、前記第１客体の一部を隠す第２客体を検出し、前記第２客体を考慮し、前記第２客体によって一部隠された前記第１客体の姿勢を推定する危険状況感知装置を提供することができる。
【0029】
本開示の一実施形態は、動きが発生しうる第１客体を含む第１イメージを獲得する動的ビジョンセンサ（ＤＶＳ）、前記動的ビジョンセンサ（ＤＶＳ）を動かす振動器、及び前記第１イメージのうちから、既定義姿勢の前記第１客体を含む第２イメージを検出し、前記第２イメージを分析し、前記第２イメージが検出されることにより、前記振動器でもって、前記動的ビジョンセンサ（ＤＶＳ）を動かして生成された前記第１客体の周辺環境情報が含まれた第３イメージを獲得し、前記第３イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定するプロセッサを含む危険状況感知装置を提供することができる。
【0030】
本開示の一実施形態は、動的ビジョンセンサ（ＤＶＳ）を利用し、動きが発生しうる第１客体を含む第１イメージを獲得する段階、前記第１イメージのうちから、既定義姿勢の前記第１客体を含む第２イメージを検出する段階、及び前記第２イメージを分析し、前記第１客体の状況が危険状況であるか否かということを決定する段階を、コンピュータをして遂行させる命令語を保存するコンピュータで読み取り可能な非一時的記録媒体を提供することができる。
【0031】
本明細書で使用される用語について簡略に説明し、本発明の一実施形態について具体的に説明する。
【0032】
本明細書で使用される用語は、本発明での機能を考慮しながら、可能な限り現在汎用一般的な用語を選択したが、それは、当分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本明細書で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
【0033】
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現される。
【0034】
本明細書において、「転倒事故」は、特定対象が落ちたり倒れたりして負傷する現象を意味する。
【0035】
以下では、添付図面を参照し、実施形態について、本発明が属する技術分野で当業者であるならば、容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態にも具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は、省略し、明細書全体を通じて、類似部分については、類似図面符号を付した。
【0036】
図１は、一実施形態による危険状況感知システムを図示した図面である。図１を参照すれば、一実施形態による危険状況感知システムは、危険状況感知装置を含んでもよい。危険状況とは、動き発生が可能な客体（例えば、ヒト（person）または動物）が危険な状況に置かれることを意味する。例えば、危険な状況は、客体が転倒事故を起こした状況、客体のいる空間に火災が発生した状況、洪水が発生した状況、山崩れが発生した状況、ガス漏れが発生した状況のように、多様でもあるが、以下では、説明の便宜上、危険な状況は、客体が転倒事故を起こした状況である場合を例として挙げて説明する。
【0037】
一実施形態によれば、危険状況感知装置は、転倒事故感知装置１０００を含んでもよい。転倒事故感知装置１０００は、客体１０に対する少なくとも１つのイメージ（フレーム）を獲得し、獲得した少なくとも１つのイメージ（フレーム）を利用し、客体１０の転倒事故を感知する装置でもある。一実施形態によれば、客体１０は、移動可能なヒト、動物などにもなるが、それらに限定されるものではない。一実施形態によれば、転倒事故感知システムは、ユーザの入力に基づき、感知対象を特定客体と指定することができる。例えば、該転倒事故感知システムは、転倒事故感知の対象として、動物は除き、ヒトだけに特定することができる。また、該転倒事故感知システムは、特定人をモニタリング対象として指定することもできる。例えば、宅内に、母、父、祖父、子供が共にいる場合、転倒事故感知の対象として、祖父が指定されもする。
【0038】
一実施形態によれば、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００と振動器１２００とを含んでもよい。
【0039】
動的ビジョンセンサ（ＤＶＳ）１１００は、ヒトの虹彩が情報を受け入れる方式を採択したイメージセンサであり、動く客体に係わるイメージデータを獲得することができるセンサである。例えば、動的ビジョンセンサ（ＤＶＳ）１１００は、ピクセル単位において、動きによって局所的な変化があるときにのみ、イメージデータをプロセッサに伝送する。すなわち、動的ビジョンセンサ（ＤＶＳ）１１００は、動くイベントが発生するときにのみ、イメージデータをプロセッサに伝送することができる。従って、動的ビジョンセンサ（ＤＶＳ）１１００は、客体が止まっている場合、データ処理を行わず、客体が動く場合にのみ、動く客体を測定し、データをプロセッサに伝送することにより、一般的なイメージセンサがフレームをイメージプロセッサに続けて送って発生するデータの浪費を防ぐことができる。
【0040】
動的ビジョンセンサ（ＤＶＳ）１１００は、一般的な視覚認識システムが、迅速な動きに脆弱であるという問題点を解決することができる。動的ビジョンセンサ（ＤＶＳ）１１００は、フレーム単位でデータを受けるのではなく、個々のピクセル基準（per-pixel basis）でデータを受けるために、ブラー（blur）現象を克服することができる。
【0041】
また、動的ビジョンセンサ（ＤＶＳ）１１００は、マイクロ秒単位の解像度を有することができる。言い換えれば、動的ビジョンセンサ（ＤＶＳ）１１００は、１秒当たり数千フレームを撮る超高速カメラよりさらにすぐれた時間分解能を有することができる（例えば、超高速フレーム＞１Ｋ ＦＰＳ）。それだけではなく、動的ビジョンセンサ（ＤＶＳ）１１００は、電力消耗及びデータ保存要求条件も非常に減ったので、ダイナミックレンジ（センサが区分することができる明るさの範囲）も、画期的に広くなった。
【0042】
一方、動的ビジョンセンサ（ＤＶＳ）１１００によって獲得されるイメージは、動く客体１０の輪郭線ほどだけ表現されるので、モニタリングされる客体１０の私生活（privacy）保護にも有用である。また、動的ビジョンセンサ（ＤＶＳ）１１００は、暗いところでも、少しの光さえあれば、客体１０の動きを感知することができる。
【0043】
一実施形態によれば、動的ビジョンセンサ（ＤＶＳ）１１００は、周期的にイメージを獲得することができ、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００で周期的に獲得されるイメージを利用し、客体１０の転倒事故いかんをモニタリングすることができる。例えば、客体１０が寝台から落ちる場合、動的ビジョンセンサ（ＤＶＳ）１１００は、客体１０が寝台から落ちる動きを感知することができる。このとき、転倒事故感知装置１０００は、複数のディープラーニングモデルを段階的に利用し、効率的に、客体１０の転倒事故いかんを判断することができる。例えば、転倒事故感知装置１０００は、最初から動画を分析するのではなく、静止映像（static image）に、転倒事故と係わる姿勢の客体１０が含まれる場合にのみ、動画分析を行うことにより、計算リソース（computation resource）の消耗を減らすことができる。転倒事故感知装置１０００が、効率的に客体１０の転倒事故いかんを判断する動作については、図７及び図８Ａを参照し、追って詳細に説明する。
【0044】
振動器１２００は、振動を発生させるための装置でもある。例えば、振動器１２００は、振動信号を出力する振動モータでもある。
【0045】
一実施形態によれば、振動器１２００は、振動を発生させ、人為的に動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。動的ビジョンセンサ（ＤＶＳ）１１００は、動き変化感知に有用なイメージセンサであるが、動きがない場合には、情報を得ることができない。従って、客体の動きがない場合にも、動的ビジョンセンサ（ＤＶＳ）１１００が、客体のイメージを得ることができるように、振動器１２００は、動的ビジョンセンサ（ＤＶＳ）１１００を人為的に動かすことができる。
【0046】
振動器１２００は、動的ビジョンセンサ（ＤＶＳ）１１００に振動が伝達されるように、動的ビジョンセンサ（ＤＶＳ）１１００と近接して位置することができる。例えば、振動器１２００は、動的ビジョンセンサ（ＤＶＳ）１１００に付着される。振動器１２００は、動的ビジョンセンサ（ＤＶＳ）１１００と、１つのハウジング内に位置することもできる。
【0047】
一実施形態によれば、振動器１２００は、特定イベントが発生する場合、振動信号を出力することができる。例えば、振動器１２００は、転倒事故感知装置１０００がブーティングされるとき、閉塞（occlusion）が感知されるとき、または客体１０の状態が転倒事故状態であると判断されるとき、振動信号を出力することができる。該閉塞は、動く客体１０が、他の客体により、一部または全部が隠される現象を意味する。振動器１２００が振動信号を出力する動作については、図２を参照し、追ってさらに詳細に説明する。
【0048】
一実施形態によれば、該転倒事故感知システムは、サーバをさらに含んでもよい。その場合、該サーバは、転倒事故感知装置１０００から、客体１０の転倒事故感知情報を受信することができる。該サーバは、受信された転倒事故感知情報を検証したり、転倒事故感知情報により、警告メッセージを外部デバイスに伝送したりすることができる。
【0049】
一実施形態によれば、転倒事故感知装置１０００は、転倒事故いかんを確認するためのディープラーニングモデルを直接生成することもでき、サーバから受信することもできる。該ディープラーニングモデルは、指導学習（supervised learning）モデル、非指導学習（unsupervised learning）モデル、強化学習（reinforcement learning）モデルのうち一つでもあるが、それらに限定されるものではない。転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００で収集されたイメージをディープラーニングモデルに適用し、客体１０の転倒事故いかんを判断することができる。一方、一実施形態よれば、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して収集されたイメージをサーバに伝送しながら、客体１０の転倒事故いかんに係わる判断を、サーバに要請することもできる。説明の便宜上、該転倒事故感知システムがサーバを含まない場合をまず例として挙げて説明する。
【0050】
以下においては、図２を参照し、転倒事故感知装置１０００が設けられた初期、周辺の空間情報を獲得する動作について説明する。
【0051】
図２は、一実施形態による転倒事故感知装置がブーティングされるとき、初期イメージを利用し、空間情報を獲得する方法を図示したフローチャートである。
【0052】
段階Ｓ２１０において、動的ビジョンセンサ（ＤＶＳ）１１００が特定空間に設けられた後、転倒事故感知装置１０００は、ブーティングされる。一実施形態によれば、動的ビジョンセンサ（ＤＶＳ）１１００は、家庭にも設けられ、事務室にも設けられ、病院にも設けられるが、それらに限定されるものではない。転倒事故感知装置１０００は、野外にも設けられる。例えば、転倒事故感知装置１０００は、転倒事故事故が頻繁に発生する山にも設けられる。
【0053】
段階Ｓ２２０において、転倒事故感知装置１０００は、ブーティング時、振動器１２００を利用し、一定時間の間、振動を発生させることができる。このとき、振動器１２００で発生する振動は、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。動的ビジョンセンサ（ＤＶＳ）１１００が動く場合、客体に相対的な動きが発生するので、客体が動いているか否かということに係わりなく、客体のイメージがキャプチャされる。
【0054】
段階Ｓ２３０において、転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して、初期イメージを獲得することができる。例えば、動的ビジョンセンサ（ＤＶＳ）１１００が居間に設けられた場合、動的ビジョンセンサ（ＤＶＳ）１１００は、居間の初期イメージを獲得することができる。このとき、動く動的ビジョンセンサ（ＤＶＳ）１１００は、居間において、動かないたんす、机、椅子などに係わるイメージも獲得することができる。一実施形態によれば、該初期イメージは、静止映像でもあり、動画でもある。
【0055】
段階Ｓ２４０において、転倒事故感知装置１０００は、該初期イメージを利用し、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間（または、動的ビジョンセンサ（ＤＶＳ）１１００が認識する空間）を分析することができる。例えば、転倒事故感知装置１０００は、初期イメージの消失点を利用し、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた角度、位置、高さ、動的ビジョンセンサ（ＤＶＳ）１１００の認識範囲などを確認することができる。
【0056】
図３の３１０を参照すれば、転倒事故感知装置１０００は、消失点（vanishing point）分析を介し、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間を分析することができる。三次元空間にある平行なラインの集合は、動的ビジョンセンサ（ＤＶＳ）１１００で得られた二次元空間に投影されるとき、イメージ上で収斂して出合う点が発生する。この点を、消失点（例えば、消失点１、消失点２）と言う。転倒事故感知装置１０００は、消失点を分析した結果から、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた相対的高さ（例えば、上中下）、相対的位置（例えば、左右）、特定客体からの相対的距離などを知ることができる。
【0057】
例えば、図３の３２０を参照すれば、転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた居間のイメージ３００を獲得することができる。転倒事故感知装置１０００は、居間のイメージ３００上の平行なラインを利用し、消失点３０１を抽出することができる。消失点３０１に近い客体であればあるほど、動的ビジョンセンサ（ＤＶＳ）１１００から遠く離れた客体でもある。消失点３０１が居間のイメージ３００の中心から若干上側に存在するので、動的ビジョンセンサ（ＤＶＳ）１１００は、実際居間空間上において、若干下側に設けられているということが分かる。
【0058】
一実施形態によれば、転倒事故感知装置１０００は、初期イメージに対する映像処理を行い、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間上の客体の種類、位置、障害物の比率、床面の比率などの情報を獲得することもできる。
【0059】
段階Ｓ２５０において、転倒事故感知装置１０００は、初期イメージを利用して分析された空間情報に基づき、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するか否かということを判断することができる。
【0060】
例えば、転倒事故感知装置１０００は、初期イメージ内の床面比が臨界値（例えば、１０％）以下である場合、転倒事故を感知し難いので、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものではないと判断することができる。一方、転倒事故感知装置１０００は、初期イメージ内の床面比が臨界値（例えば、１０％）より大きい場合、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものであると判断することができる。
【0061】
また、転倒事故感知装置１０００は、初期イメージ内において、動かない障害物が占める面積の比率が臨界値（例えば、７０％）より大きい場合、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものではないと判断することができる。転倒事故感知装置１０００は、動く客体（例えば、ヒト）を障害物が隠す閉塞が発生する回数が臨界値より多い場合、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものではないと判断することができる。一方、転倒事故感知装置１０００は、動く客体（例えば、ヒト）を障害物が隠す閉塞が発生する回数が臨界値以下である場合、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものであると判断することができる。
【0062】
一実施形態によれば、転倒事故感知装置１０００は、設置位置を点数化（例えば、９０点、４０点、良、不良）することもできる。
【0063】
段階Ｓ２６０において、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものであると判断された場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介してイメージを獲得し、客体の転倒事故いかんをモニタリングすることができる。転倒事故感知装置１０００が客体の転倒事故いかんを判断する方法については、図７を参照し、追って詳細に説明する。
【0064】
段階Ｓ２７０において、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものではないと判断された場合、転倒事故感知装置１０００は、設置ガイド情報を提供することができる。一実施形態によれば、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００の設置が不適であるという情報、動的ビジョンセンサ（ＤＶＳ）１１００の再設置を要請する情報、または動的ビジョンセンサ（ＤＶＳ）１１００の設置位置をガイドする情報をユーザに提供することができる。
【0065】
【0066】
図４の４００－１を参照すれば、転倒事故感知装置１０００は、ブーティング時、振動器１２００を利用し、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことにより、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた寝室の初期イメージ４１０を獲得することができる。寝室の初期イメージ４１０を分析した結果、床の比率（例えば、８％）が臨界値（例えば、１０％）以下である場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００の設置が転倒事故感知に不適であると判断することができる。転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００の位置調整を誘導するメッセージ４１１（例えば、床の比率：８％、カメラの位置を調整してください）を出力することができる。
【0067】
ユーザは、メッセージ４１１により、動的ビジョンセンサ（ＤＶＳ）１１００のポーズを調整することができる。例えば、ユーザは、動的ビジョンセンサ（ＤＶＳ）１１００が認識する床の比率が上昇するように、動的ビジョンセンサ（ＤＶＳ）１１００の設置角度、動的ビジョンセンサ（ＤＶＳ）１１００が眺める方向、または動的ビジョンセンサ（ＤＶＳ）１１００の設置位置を調整することができる。ユーザが動的ビジョンセンサ（ＤＶＳ）１１００の位置を調整した場合、転倒事故感知装置１０００は、再ブーティングされる。
【0068】
図４の４００－２を参照すれば、転倒事故感知装置１０００は、再ブーティング時、動的ビジョンセンサ（ＤＶＳ）１１００を動かし、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた寝室の初期イメージ４２０をさらに獲得することができる。寝室の初期イメージ４２０を分析した結果、床の比率（例えば、３５％）が臨界値（例えば、１０％）より高い場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００の設置が転倒事故を感知するのに適するものであると判断することができる。転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００の設置が適するものであるというメッセージ４２１（例えば、床の比率：３５％、カメラの位置が適しています）を出力することができる。
【0069】
図５は、一実施形態による、転倒事故危険度マップを生成する方法を図示したフローチャートである。
【0070】
段階Ｓ５１０において、転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して、初期イメージを獲得することができる。例えば、転倒事故感知装置１０００は、ブーティング時、振動器１２００を利用し、振動信号を出力することにより、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。このとき、転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間の初期イメージを獲得することができる。段階Ｓ５１０は、図２のＳ２３０に対応するので、具体的な説明は、省略する。
【0071】
段階Ｓ５２０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された初期イメージを利用し、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間に係わる空間情報を獲得することができる。例えば、転倒事故感知装置１０００は、初期イメージの消失点を利用し、客体の相対的位置に係わる情報を獲得することができる。転倒事故感知装置１０００は、初期イメージに対する映像処理を行い、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間に存在する客体の種類、位置などの情報を獲得することもできる。例えば、転倒事故感知装置１０００は、イメージに含まれた客体の外郭線を、既定義テンプレート（template）と比較し、客体の種類、客体の名称などを検出することができる。または、転倒事故感知装置１０００は、ディープラーニングアルゴリズムを利用し、初期イメージに含まれた客体の種類、位置などの情報を獲得することもできる。
【0072】
段階Ｓ５３０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間に係わる空間情報により、転倒事故危険度マップを生成することができる。該転倒事故危険度マップは、転倒事故が発生する場合、相対的にさらに危険な地域と、あまり危険ではない地域とを示す地図でもある。
【0073】
一実施形態によれば、転倒事故感知装置１０００は、既定義転倒事故危険度加重値に係わる情報を利用し、転倒事故危険度マップを生成することができる。例えば、階段領域は、転倒事故危険度加重値が＋２でもあり、カーペットが敷かれている床は、転倒事故危険度加重値が－１でもあり、テーブルエッジ部分は、転倒事故危険度加重値が＋３でもあり、浴室床は、転倒事故危険度加重値が＋１でもある。
【0074】
一実施形態によれば、転倒事故感知装置１０００は、転倒事故危険領域に対し、強調表示したり、特定色相で表示したり、あるいは転倒事故危険領域に特定マークまたはテキストを追加した転倒事故危険度マップを生成することができる。例えば、転倒事故感知装置１０００は、階段領域、テーブルエッジ部分、浴室床領域を、特定色相（例えば、赤色）で表示した転倒事故危険度マップを生成することができる。図６を参照し、転倒事故危険度マップについてさらに説明する。
【0075】
図６は、一実施形態による転倒事故危険度マップを図示した図面である。図６を参照すれば、転倒事故感知装置１０００は、階段領域６１０の危険度レベルは、「danger」に指定し、居間床６１０の危険度レベルは、「normal」と指定した転倒事故危険度マップ６００を生成することができる。
【0076】
一実施形態によれば、転倒事故感知装置１０００は、転倒事故発生時、転倒事故危険度マップ６００を考慮し、転倒事故による危険度を迅速に決定することができる。例えば、転倒事故感知装置１０００は、階段領域６１０で転倒事故が発生した場合、転倒事故危険度を２段階上向き調整することができる。
【0077】
以下においては、転倒事故感知装置１０００が動的ビジョンセンサ（ＤＶＳ）１１００を介して収集される少なくとも１つのイメージを利用し、客体の転倒事故を感知する方法について、図７を参照して詳細に説明する。
【0078】
図７は、一実施形態による、転倒事故を感知する方法を図示したフローチャートである。
【0079】
段階Ｓ７１０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、移動可能な第１客体を含む少なくとも１つのイメージを獲得することができる。一実施形態によれば、移動可能な第１客体は、モニタリング対象になるヒトでもある。第１客体が移動する場合、動的ビジョンセンサ（ＤＶＳ）１１００は、第１客体のイメージをキャプチャすることができる。第１客体のイメージには、第１客体の輪郭、エッジ及び／またはシルエットが含まれてもよい。
【0080】
段階Ｓ７２０において、転倒事故感知装置１０００は、少なくとも１つのイメージのうちから、既定義姿勢の第１客体を含む第１イメージを検出することができる。このとき、少なくとも１つのイメージそれぞれは、静止映像でもある。
【0081】
一実施形態によれば、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得される少なくとも１つのイメージを、一つずつ第１ディープラーニングモデルを利用して分析することができる。該第１ディープラーニングモデルは、静止映像を分析し、既定義姿勢の客体を含むイメージを検出するために学習されたモデルでもある。
【0082】
既定義姿勢は、転倒事故と係わる姿勢でもある。一実施形態によれば、該既定義姿勢は、床（または、階段）に、特定身体一部（例えば、頭、背、胸、膝、かかと、手の平など）が接触した姿勢でもある。例えば、該既定義姿勢は、床に背中を付けて横になっている姿勢、床に腹を付けて伏せている姿勢、横になった姿勢、階段に寄り掛かった姿勢などでもあるが、それらに限定されるものではない。
【0083】
例えば、祖父が寝台の外に出ようとして倒れた場合、転倒事故感知装置１０００は、第１ディープラーニングモデルを利用し、イメージを一つずつ分析していて、床に横になっている姿勢の祖父が含まれたイメージを検出することができる。
【0084】
一方、一実施形態によれば、転倒事故感知装置１０００は、第１ディープラーニングモデルを利用し、静止映像を分析する前、静止映像に含まれた客体の形状または大きさを補償することができる。例えば、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも１つのイメージに含まれた第１客体の形状または大きさを補償し、形状または大きさが補償された第１客体の姿勢と、既定義姿勢とを比較することができる。転倒事故感知装置１０００が、客体の形状または大きさを補償する動作については、図９を参照し、追って詳細に説明する。
【0085】
一実施形態によれば、転倒事故感知装置１０００は、第１ディープラーニングモデルを利用し、静止映像を分析する前、閉塞を補償することもできる。転倒事故感知装置１０００が閉塞を補償する動作は、図１２を参照し、追って詳細に説明する。
【0086】
段階Ｓ７３０において、転倒事故感知装置１０００は、既定義姿勢の第１客体を含む第１イメージが検出された場合、第１イメージを含む第１客体に係わる複数のイメージを分析し、第１客体の第１動き変化に係わる情報を獲得することができる。一実施形態によれば、複数のイメージは、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、第１イメージより以前に獲得されたフレーム、及び第１イメージより以後に獲得されたフレームのうち少なくとも一つを含んでもよいが、それに限定されるものではない。
【0087】
一実施形態によれば、転倒事故と係わる姿勢の第１客体を含む第１イメージが検出された場合、転倒事故感知装置１０００は、第１客体の状態が転倒事故状態であるか否かということを正確に把握するために、一連のイメージ（例えば、一定期間累積されたフレーム）を分析し、第１客体の第１動き変化に係わる情報を獲得することができる。例えば、第１客体が寝台から落ちて床に横になっているイメージ（例えば、第ｎフレーム）が検出された場合、転倒事故感知装置１０００は、一定期間累積されたイメージ（例えば、第（ｎ－１０）フレーム～第（ｎ＋１０）フレーム）を分析し、第１客体が寝台から床まで落ちる動きの変化を検出することができる。また、転倒事故感知装置１０００は、床に体が接触した後の第１客体の動き変化を検出することもできる。
【0088】
段階Ｓ７４０において、転倒事故感知装置１０００は、第１客体の第１動き変化に係わる情報に基づき、第１客体の状態が転倒事故状態であるか否かということを決定することができる。
【0089】
一実施形態によれば、第１客体の第１動き変化と、既保存転倒事故を示す第２動き変化との類似度が臨界値（例えば、９０％）より大きい場合、転倒事故感知装置１０００は、第１客体の状態を転倒事故状態と決定することができる。一方、第１客体の第１動き変化と、既保存転倒事故を示す第２動き変化との類似度が臨界値（例えば、９０％）以下である場合、転倒事故感知装置１０００は、第１客体の状態を転倒事故状態ではないと決定することができる。
【0090】
例えば、第１客体の動き変化が転倒事故による動きパターンと類似している場合（例えば、第１客体が寝台から床に落ちた後、それ以上動くことができない場合）、転倒事故感知装置１０００は、第１客体の状態を転倒事故状態と決定することができる。しかし、第１客体の動き変化が転倒事故による動きパターンと異なる場合（例えば、第１客体が寝台から下るとき、滑りながら、床に尻と手の平とが接触したものの、直ちに起きて歩いて行った場合）、転倒事故感知装置１０００は、第１客体の状態を転倒事故状態ではないと決定することができる。図８Ａを参照し、転倒事故感知装置１０００が、客体の転倒事故を感知する方法について、さらに詳細に説明する。
【0091】
図８Ａは、一実施形態による、外形モデル（appearance model）とモーションモデル（motion model）とを利用し、転倒事故を感知する方法を図示したフローチャートである。
【0092】
段階Ｓ８１０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して、少なくとも１つのイメージを獲得することができる。このとき、少なくとも１つのイメージには、動きがある客体の輪郭が示されもし、動きがない客体の輪郭が示されもしない。例えば、第１客体が動き、第２客体、第３客体、第４客体は、動かない場合、第１客体の輪郭だけ少なくとも１つのイメージにも示される。
【0093】
段階Ｓ８２０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つのイメージを利用し、客体の動きを感知することができる。
【0094】
例えば、寝台と化粧台とがある部屋にヒトがいない場合、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つのイメージには、何らの輪郭も示されない。しかし、寝台と化粧台とがある部屋にヒトが入って来ることになる場合、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つのイメージには、動くヒトの輪郭が示されることになる。従って、転倒事故感知装置１０００は、少なくとも１つのイメージを分析することにより、客体（例えば、ヒト）の動きいかんを感知することができる。
【0095】
客体（例えば、ヒト）の動きが感知されない場合、転倒事故が発生する可能性がないので、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得されたイメージをそれ以上分析しない。もし客体（例えば、ヒト）の動きが感知される場合、転倒事故感知装置１０００は、客体（例えば、ヒト）の動きが転倒事故と係わる動きであるか否かということを判断するために、段階Ｓ８３０を遂行することができる。
【0096】
段階Ｓ８３０において、転倒事故感知装置１０００は、客体の動きが感知される場合、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得される少なくとも１つのイメージを、外形モデルを利用し、一つずつ分析することができる。例えば、転倒事故感知装置１０００は、外形モデルを利用し、転倒事故と係わる姿勢の客体を含むイメージ（例えば、床に横になっている姿勢のヒトを含むイメージ）を検出することができる。外形モデルは、静止映像を一つずつ分析し、静止映像に含まれた客体の形状（body shape）やポーズを検出し、検出された客体の形状やポーズが転倒事故と係わる姿勢と類似しているか否かということを判断するように学習されたモデルでもある。
【0097】
例えば、祖父が動的ビジョンセンサ（ＤＶＳ）１１００が設けられた浴室に入る場合、動的ビジョンセンサ（ＤＶＳ）１１００は、祖父の動きを感知することができる。動的ビジョンセンサ（ＤＶＳ）１１００は、祖父の動きが感知された時点から撮影されたイメージフレームを順次に転倒事故感知装置１０００のプロセッサに伝達し、該プロセッサは、外形モデルを利用し、順次に伝達されるイメージフレームを分析することができる。例えば、該プロセッサは、順次に伝達されるイメージフレームに含まれた祖父の姿勢を検出することができる。
【0098】
もし祖父が浴室床で倒れている場合、転倒事故検出装置１０００のプロセッサは、順次に伝達されるイメージフレームのうち、浴室床に背が接触した姿勢の祖父が含まれた第ｎフレーム８０１を検出することができる。
【0099】
段階Ｓ８４０において、転倒事故感知装置１０００のプロセッサは、順次に伝達されるイメージフレームで検出された客体の姿勢が、既定義姿勢（例えば、横になっている姿勢）と類似しているか否かということを判断することができる。
【0100】
もし検出される客体の姿勢が既定義姿勢と類似していない場合、転倒事故感知装置１０００は、段階Ｓ８１０に戻り、動的ビジョンセンサ（ＤＶＳ）１１００を介して、次のイメージフレームを獲得することができる。一方、検出された客体の姿勢が既定義姿勢と類似している場合、転倒事故感知装置１０００は、客体の転倒事故いかんを正確に判断するために、段階Ｓ８５０を遂行することができる。
【0101】
例えば、転倒事故感知装置１０００のプロセッサは、以前第（ｎ－３）フレーム８０４が入力される場合、第（ｎ－３）フレーム８０４に含まれた客体の姿勢が横になっている姿勢ではないので、段階Ｓ８１０に戻り、動的ビジョンセンサ（ＤＶＳ）１１００を介して、第（ｎ－２）フレーム８０３を獲得することができる。転倒事故感知装置１０００のプロセッサは、第（ｎ－２）フレーム８０３が入力された場合、第（ｎ－２）フレーム８０３に含まれた客体の姿勢が横になっている姿勢ではないので、段階Ｓ８１０に戻り、動的ビジョンセンサ（ＤＶＳ）１１００を介して、第（ｎ－１）フレーム８０２を獲得することができる。転倒事故感知装置１０００のプロセッサは、第（ｎ－１）フレーム８０２が入力された場合、第（ｎ－１）フレーム８０２に含まれた客体の姿勢が横になっている姿勢ではないので、段階Ｓ８１０に戻り、動的ビジョンセンサ（ＤＶＳ）１１００を介して、第ｎフレーム８０１を獲得することができる。
【0102】
転倒事故感知装置１０００のプロセッサは、第ｎフレーム８０１が入力される場合、第ｎフレーム８０１に含まれた客体の姿勢が横になっている姿勢であるので、転倒事故いかんを正確に判断するために、段階Ｓ８５０に進むことができる。
【0103】
段階Ｓ８５０において、転倒事故感知装置１０００は、モーションモデルを利用し、動き変化を検出し、検出された動き変化が転倒事故を示す動き変化と類似しているか否かということを判断することができる。
【0104】
一実施形態によれば、該モーションモデルは、複数のイメージ（例えば、動画）を分析して客体の動きパターンを検出し、検出された客体の動きパターンが転倒事故を示す動きパターンと類似しているか否かということを判断するように学習されたモデルでもある。
【0105】
一実施形態によれば、転倒事故感知装置１０００は、段階Ｓ８３０及び段階Ｓ８４０において、横になっている姿勢の客体が含まれた第ｎフレーム８０１が検出されたので、モーションモデルを利用し、第ｎフレーム８０１と係わる一連のイメージ（例えば、第（ｎ－３）フレーム８０４、第（ｎ－２）フレーム８０３、第（ｎ－１）フレーム８０２、第ｎフレーム８０１）を分析することができる。
【0106】
転倒事故感知装置１０００は、一連のイメージ（例えば、第（ｎ－３）フレーム８０４、第（ｎ－２）フレーム８０３、第（ｎ－１）フレーム８０２、第ｎフレーム８０１）を分析し、祖父が浴室床に立っていて（例えば、第（ｎ－３）フレーム８０４）、滑りながら（例えば、第（ｎ－２）フレーム８０３）、尻が床に接触した後（例えば、第（ｎ－１）フレーム８０２）、背と頭とが浴室床に接触する（第ｎフレーム８０１）動きパターンを検出することができる。このとき、転倒事故感知装置１０００は、検出された祖父の動きパターンが、既学習転倒事故を示す動きパターンと類似していると判断することができる。
【0107】
段階Ｓ８６０において、転倒事故感知装置１０００は、検出された動き変化が転倒事故を示す動き変化と類似していない場合、段階Ｓ８１０に戻り、動的ビジョンセンサ（ＤＶＳ）１１００を介して、次のイメージを獲得することができる。一方、転倒事故感知装置１０００は、検出された動き変化が転倒事故を示す動き変化と類似している場合、客体の状態を転倒事故状態と決定することができる。
【0108】
段階Ｓ８７０において、転倒事故感知装置１０００は、客体の状態が転倒事故状態と決定された場合、転倒事故状態の危険度を分析することができる。
【0109】
一実施形態によれば、転倒事故感知装置１０００は、客体がいかなる姿勢に倒れたか、倒れた後、続けて動きがないか否かというような情報を利用し、転倒事故状態の危険度を分析することができる。一実施形態によれば、転倒事故感知装置１０００は、客体が倒れた周辺環境情報（例えば、客体が倒れたところにいかなる物体があるか、床の材質がいかなるものであるかということ）を利用し、転倒事故状態の危険度を分析することができる。一実施形態によれば、転倒事故感知装置１０００は、既生成転倒事故危険度マップ６００を利用し、転倒事故状態の危険度を分析することもできる。転倒事故感知装置１０００が転倒事故状態の危険度を分析する動作については、図１４を参照し、追って詳細に説明する。
【0110】
一般的に、モーションモデルは、何枚ものイメージを累積（例えば、Ｎ images stacking）させて処理するために、イメージ１枚を処理する外形モデルに比べ、Ｎ倍時間が長くかかる。ところで、一実施形態による転倒事故感知装置１０００は、外形モデルにおいて、床に体を密着させた場面を認識したときだけ、モーションモデルを動作することになるので、転倒事故感知のための計算リソースを効率的に使うことができる。
【0111】
図８Ｂは、一実施形態による客体の動き感知いかんにより、イメージ獲得モードを調節する方法を図示したフローチャートである。
【0112】
段階Ｓ８０５において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、初期イメージを獲得することができる。
【0113】
一実施形態によれば、初期イメージは、システム設定値またはユーザ設定値により、解像度が変わりもする。例えば、該初期イメージは、高解像度イメージでもあり、低解像度イメージでもある。ここで、該高解像度イメージは、解像度が臨界値より高いイメージを意味し、該低解像度イメージは、解像度が臨界値より低いか、あるいはそれと同じイメージを意味する。
【0114】
段階Ｓ８１５において、転倒事故感知装置１０００は、初期イメージを利用し、客体の動きを感知することができる。
【0115】
例えば、厨房にヒトがいない場合、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された初期イメージには、輪郭線やエッジが全く示されない。しかし、厨房にヒトが入るような場合、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された初期イメージには、動くヒトの輪郭線またはエッジが示されることになる。従って、転倒事故感知装置１０００は、初期イメージを分析することにより、客体（例えば、ヒト）の動きいかんを感知することができる。
【0116】
段階Ｓ８２５で、転倒事故感知装置１０００は、客体の動きが感知されない場合、低解像度モードでイメージを獲得することができる。ここで、該低解像度モードとは、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、解像度が臨界値以下である低解像度イメージを獲得するモードを意味する。
【0117】
例えば、初期イメージ（ｎフレーム）において、 客体の輪郭線やエッジが検出されない場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、（ｎ＋１）フレームを低解像度モードで獲得することができる。また、（ｎ＋１）フレームにおいても、客体の輪郭線やエッジが検出されない場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、（ｎ＋２）フレームも、低解像度モードで獲得することができる。
【0118】
客体の動きが感知されない場合、転倒事故が発生する可能性が希薄であるので、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、低解像度イメージを獲得することにより、コンピュータリソースを節約することができる。
【0119】
段階Ｓ８３５において、転倒事故感知装置１０００は、客体の動きが感知される場合、高解像度モードでイメージを獲得することができる。ここで、該高解像度モードとは、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、解像度が臨界値より高い高解像度イメージを獲得するモードを意味する。一実施形態によれば、該高解像度モードは、最大解像度モード（full resolution mode）でもある。
【0120】
例えば、初期イメージ（ｎフレーム）において、客体の輪郭線やエッジが検出される場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、（ｎ＋１）フレームを高解像度モードで獲得することができる。また、初期イメージ（ｎフレーム）においては、客体の輪郭線やエッジが検出されなかったが、低解像度モードで獲得されたイメージ（（ｎ＋１）フレーム）において、客体の輪郭線やエッジが検出される場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、（ｎ＋２）フレームを高解像度モードで獲得することができる。
【0121】
段階Ｓ８４５において、転倒事故感知装置１０００は、高解像度イメージモードで獲得された高解像度イメージを、外形モデルを利用して分析することができる。例えば、転倒事故感知装置１０００は、外形モデルを利用し、転倒事故と係わる姿勢の客体を含む高解像度イメージ（例えば、床に横になっている姿勢のヒトを含む第（ｎ＋５）フレーム）を検出することができる。その場合、転倒事故感知装置１０００は、モーションモデルを利用し、第（ｎ＋５）フレームと係わる一連のイメージ（例えば、第ｎフレーム、第（ｎ＋１）フレーム、第（ｎ＋２）フレーム、（ｎ＋３）フレーム、（ｎ＋４）フレーム、（ｎ＋５）フレーム）を分析することができる。このとき、第ｎフレーム、第（ｎ＋１）フレーム、第（ｎ＋２）フレーム、（ｎ＋３）フレーム、（ｎ＋４）フレーム、（ｎ＋５）フレームは、いずれも高解像度モードで獲得された高解像度イメージでもある。
【0122】
転倒事故感知装置１０００は、分析結果に基づき、客体の動き変化を検出し、検出された動き変化が転倒事故を示す動き変化と類似しているか否かということを判断することができる。転倒事故感知装置１０００は、検出された動き変化が転倒事故を示す動き変化と類似している場合、客体の状態を、転倒事故状態と決定することができる。客体の状態が転倒事故状態と決定された場合、転倒事故感知装置１０００は、転倒事故状態の危険度を分析することができる。
【0123】
段階Ｓ８４５は、図８Ａの段階Ｓ８３０に対応するので、具体的な説明は、省略する。
【0124】
図９は、一実施形態による、客体の形状または大きさを補償する方法を図示したフローチャートである。
【0125】
段階Ｓ９１０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、移動可能な第１客体を含む少なくとも１つのイメージを獲得することができる。段階Ｓ９１０は、図７の段階Ｓ７１０に対応するので、具体的な説明は、省略する。
【0126】
段階Ｓ９２０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも１つのイメージに含まれた第１客体の形状または大きさを補償することができる。
【0127】
一実施形態によれば、図２で説明したように、転倒事故感知装置１０００は、ブーティング時、初期イメージを分析し、第１動的ビジョンセンサ（ＤＶＳ）が設けられた角度、位置などに係わる情報を獲得することができる。例えば、転倒事故感知装置１０００は、初期イメージの消失点を分析し、第１動的ビジョンセンサ（ＤＶＳ）が設けられた角度、位置、高さ、第１動的ビジョンセンサ（ＤＶＳ）の認識範囲などを確認することができる。その場合、転倒事故感知装置１０００は、外形モデルを生成するときに利用した第２動的ビジョンセンサ（ＤＶＳ）の設置角度、位置または高さと、実際空間に設けられた第１動的ビジョンセンサ（ＤＶＳ）の設置角度、位置または高さとを比較することができる。外形モデルを生成するときに利用した第２動的ビジョンセンサ（ＤＶＳ）の設置角度、位置または高さと、実際空間に設けられた第１動的ビジョンセンサ（ＤＶＳ）の設置角度、位置または高さとに多くの違いがある場合、データ認識の誤謬が大きくなってしまう。従って、転倒事故感知装置１０００は、外形モデルを動作する前、第１動的ビジョンセンサ（ＤＶＳ）を介して獲得されたイメージに含まれた客体の形状を補償することができる。図１０を参照し、客体の形状が補償される例についてさらに説明する。
【0128】
図１０を参照すれば、外形モデルを生成するときに利用した第２動的ビジョンセンサ（ＤＶＳ）１１００－２は、三脚台上に置かれていたが、実際空間に設けられた第１動的ビジョンセンサ（ＤＶＳ）１１００－１は、天井にも位置する。その場合、転倒事故感知装置１０００が、第１動的ビジョンセンサ（ＤＶＳ）を利用して獲得したイメージをそのまま外形モデルに入力する場合、該外形モデルは、客体の姿勢が、既学習転倒事故姿勢と類似しているか否かということを正確に判断し難くなる。従って、転倒事故感知装置１０００は、天井に設けられた第１動的ビジョンセンサ（ＤＶＳ）１１００－１を利用して獲得された第１イメージ１１０１に含まれたヒトの形状を、第２イメージ１１０２のような形状に補償することができる。
【0129】
一実施形態によれば、転倒事故感知装置１０００は、少なくとも１つのイメージの消失点を利用し、少なくとも１つのイメージに含まれた第１客体の大きさを補償することができる。例えば、図１１を参照すれば、第１客体１００１と第２客体１００２とが実在的に同一サイズであるとしても、消失点に近いほど小さく示され、消失点から遠いほど大きくも示される。従って、転倒事故感知装置１０００は、消失点に近い第１客体１１０１の大きさを大きく補償する（１１０１－１）。一方、転倒事故感知装置１０００は、消失点から遠い第２客体１１０２の大きさを小さく補償する（１１０２－１）。
【0130】
段階Ｓ９３０において、転倒事故感知装置１０００は、形状または大きさが補償された第１客体の姿勢と、既定義姿勢とを比較することができる。該既定義姿勢は、転倒事故と係わる姿勢でもある。例えば、該既定義姿勢は、ヒトの身体一部（例えば、腹、背、脇腹、頭など）が地面に接触する姿勢（例えば、横になった姿勢、伏せた姿勢など）でもある。段階Ｓ９３０は、図８Ａの段階Ｓ８４０に対応するので、具体的な説明は、省略する。
【0131】
図１２は、一実施形態による、第２客体によって一部隠された第１客体の姿勢を推定する方法を図示したフローチャートである。
【0132】
段階Ｓ１２１０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、第１客体を含む少なくとも１つのイメージを獲得することができる。段階Ｓ１２１０は、図７の段階Ｓ７１０に対応するので、具体的な説明は、省略する。
【0133】
段階Ｓ１２２０において、転倒事故感知装置１０００は、少なくとも１つのイメージを利用し、閉塞発生を感知することができる。該閉塞は、動く客体（例えば、ヒト）が他の客体（例えば、障害物）により、一部または全部隠される現象を意味する。
【0134】
例えば、少なくとも１つのイメージにおいて、ヒトの全体形状が検出されず、ヒトの一部形状（例えば、頭、上体など）が検出される場合、転倒事故感知装置１０００は、閉塞が発生したと判断することができる。
【0135】
段階Ｓ１２３０において、転倒事故感知装置１０００は、閉塞が感知された場合、振動器を利用し、振動を発生させることができる。このとき、振動器１２００で発生する振動は、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。
【0136】
段階Ｓ１２４０において、転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を利用して獲得されたイメージに基づき、第１客体の一部を隠す第２客体検出することができる。動的ビジョンセンサ（ＤＶＳ）１１００が動く場合、客体に相対的な動きが発生するので、客体が動いているか否かということに係わらず、客体のイメージがキャプチャされもする。従って、転倒事故感知装置１０００は、第１客体（例えば、ヒト）を隠している動かない第２客体（例えば、書棚、ソファ－、寝台など）を確認することができる。
【0137】
段階Ｓ１２５０において、転倒事故感知装置１０００は、第２客体を考慮し、第２客体によって一部隠された第１客体の姿勢を推定することができる。
【0138】
一実施形態によれば、転倒事故感知装置１０００は、学習モデルを利用し、第１客体の全体形状のうち、第２客体によって隠された部分に係わる仮想データを生成することができる。転倒事故感知装置１０００は、該仮想データを利用し、第１客体の姿勢を推定することができる。
【0139】
段階Ｓ１２６０において、転倒事故感知装置１０００は、推定された第１客体の姿勢と、既定義姿勢とを比較することができる。該既定義姿勢は、転倒事故と係わる姿勢でもある。例えば、該既定義姿勢は、ヒトの身体一部（例えば、腹、背、脇腹、頭など）が地面に接触する姿勢（例えば、横になった姿勢、伏せた姿勢など）でもあるが、それらに限定されるものではない。段階Ｓ１２６０は、図８Ａの段階Ｓ８４０に対応するので、具体的な説明は、省略する。
【0140】
以下においては、図１３を参照し、転倒事故感知装置１０００が閉塞を補償する動作についてさらに説明する。
【0141】
【0142】
図１３の１３００－１を参照すれば、ヒト１３０１が倒れる場合、動きが発生するので、動的ビジョンセンサ（ＤＶＳ）１１００は、ヒト１３０１を含むイメージ１３１を獲得することができる。このとき、動的ビジョンセンサ（ＤＶＳ）１１００は、たんす１３０２によって隠されていない上体部分の動きのみを感知することができ、たんす１３０２によって隠された下体部分の動きは、感知することができない。従って、イメージ１３１には、ヒト１３０１の下体は、示されず、ヒト１３０１の上体だけ示される。
【0143】
一般的に、ヒトが倒れるとき、上体だけ動く場合はないので、転倒事故感知装置１０００は、閉塞を感知することができる。すなわち、転倒事故感知装置１０００は、ヒト１３０１の一部が障害物によって隠されたと判断することができる。
【0144】
図１３の１３００－２を参照すれば、転倒事故感知装置１０００は、振動器１２００を利用し、振動信号を出力することにより、動的ビジョンセンサ（ＤＶＳ）１１００を動かる。動的ビジョンセンサ（ＤＶＳ）１１００が動く場合、動的ビジョンセンサ（ＤＶＳ）１１００は、たんす１３０２も検出することができる。従って、動く動的ビジョンセンサ（ＤＶＳ）１１００は、ヒト１３０１とたんす１３０２とを含むイメージ１３２を獲得することができる。
【0145】
図１３の１３００－３を参照すれば、転倒事故感知装置１０００は、たんす１３０２によって隠されるヒト１３０１の下体に係わる仮想データ１３０３を生成することができる。転倒事故感知装置１０００は、仮想データ１３０３を利用し、イメージ１３３内のヒト１３０１の姿勢を推定し、推定された姿勢が転倒事故と係わる既定義姿勢であるか否かということを判断することができる。
【0146】
図１４は、一実施形態による転倒事故状態の危険度を決定する方法を図示したフローチャートである。
【0147】
段階Ｓ１４１０において、転倒事故感知装置１０００は、第１客体の状態が転倒事故状態であると判断された場合、振動器１２００及び動的ビジョンセンサ（ＤＶＳ）１１００を利用し、周辺イメージを獲得することができる。一実施形態によれば、第１客体が転倒事故を起こしたと判断された場合、転倒事故感知装置１０００は、振動器１２００を利用し、動的ビジョンセンサ（ＤＶＳ）１１００を動かす。このとき、動く動的ビジョンセンサ（ＤＶＳ）１１００は、第１客体周辺の動かない客体（例えば、椅子、寝台、引き出し、洗面台など）を含む周辺イメージを獲得することができる。
【0148】
段階Ｓ１４２０において、転倒事故感知装置１０００は、周辺イメージを利用し、第１客体周辺の環境情報、第１客体の転倒事故形態（type）情報、または第１客体の動き情報を獲得することができる。
【0149】
一実施形態によれば、第１客体周辺の環境情報は、第１客体が転倒事故を起こしたところ周辺の客体に係わる情報（例えば、ユーザが倒れたところに存在する危険な物体に係わる情報、ユーザと共に倒れた品物に係わる情報など）、第１客体が転倒事故を起こした床の材質に係わる情報、第１客体が転倒事故を起こした場所が水と関連ある場所であるか否かということに係わる情報などを含んでもよいが、それらに限定されるものではない。
【0150】
一実施形態によれば、第１客体の転倒事故形態情報は、第１客体がいかなる姿勢に倒れたかということに係わる情報でもある。例えば、第１客体の転倒事故形態情報は、頭または顔が床に接触したか否かということに係わる情報、腕や足が折れたか否かということに係わる情報などを含んでもよいが、それらに限定されるものではない。
【0151】
第１客体の動き情報は、第１客体の状態が転倒事故状態と決定された後の第１客体の動きに係わる情報でもある。例えば、第１客体の動き情報は、動き変化値、動き変化値が臨界値未満に維持される全て時間情報などを含んでもよいが、それらに限定されるものではない。
【0152】
段階Ｓ１４３０において、転倒事故感知装置１０００は、周辺イメージから獲得された情報を利用し、転倒事故状態の危険度を決定することができる。転倒事故状態の危険度は、転倒事故による客体の危険の程度を意味する。
【0153】
一実施形態によれば、転倒事故感知装置１０００は、第１客体周辺の環境情報を利用し、転倒事故状態の危険度を決定することができる。例えば、第１客体が転倒事故を起こしたところに突起（protrusion）がある場合、転倒事故感知装置１０００は、転倒事故状態の危険度を高く決定するか、あるいは危険度レベルを上向き調整することができる。また、第１客体が転倒事故を起こしたところの床材質が水がある滑りやすい材質である場合、転倒事故感知装置１０００は、転倒事故状態の危険度を高く決定したり、か危険度レベルを上向き調整したりすることができる。
【0154】
一実施形態によれば、転倒事故感知装置１０００は、第１客体周辺の環境情報を、既生成転倒事故危険度マップ６００と比較し、転倒事故状態の危険度を決定することもできる。例えば、図６を参照すれば、既生成転倒事故危険度マップ６００において、「danger」と指定された階段領域６１０において、第１客体が転倒事故を起こした場合、転倒事故感知装置１０００は、転倒事故状態の危険度を高く決定することができる。
【0155】
一実施形態によれば、転倒事故感知装置１０００は、第１客体の転倒事故形態情報を利用し、転倒事故状態の危険度を決定することができる。例えば、第１客体が転倒事故を起こすとき、頭から床に接触した場合、転倒事故感知装置１０００は、転倒事故状態の危険度を高く決定することができる。または、第１客体が転倒事故を起こすとき、足を捻った場合、転倒事故感知装置１０００は、転倒事故状態の危険度を高く決定することができる。
【0156】
一実施形態によれば、転倒事故感知装置１０００は、第１客体の動き情報を利用し、転倒事故状態の危険度を決定することができる。一実施形態によれば、一定時間の間、第１客体の動きが臨界値より少ない場合、転倒事故感知装置１０００は、転倒事故状態の危険度レベルを上向き調整することができる。例えば、第１客体が転倒事故と判断された後、５分以上動きがほとんどない場合、転倒事故感知装置１０００は、転倒事故状態の危険度を３段階上向き調整することができる。
【0157】
一実施形態によれば、転倒事故感知装置１０００は、第１客体周辺の環境情報、第１客体の転倒事故形態情報、及び第１客体の動き情報のうち少なくとも２以上の情報を組み合わせ、転倒事故状態の危険度を決定することもできる。
【0158】
一方、一実施形態によれば、転倒事故感知装置１０００は、第１客体の個人的な情報（例えば、年齢、身体活動能力、疾患など）を考慮し、転倒事故状態の危険度を決定することもできる。例えば、第１客体が、１０歳の健康な生徒である場合、転倒事故感知装置１０００は、転倒事故状態の危険度加重値を「－３」に決定することができる。一方、第１客体の挙動がぎこちなく、高血圧を有する８０歳の祖父である場合、転倒事故感知装置１０００は、転倒事故状態の危険度加重値を「＋５」と決定することができる。
【0159】
段階Ｓ１４４０及び段階Ｓ１４５０において、転倒事故感知装置１０００は、転倒事故状態の危険度が臨界値より高い場合、警告メッセージを外部デバイスに伝送することができる。
【0160】
例えば、転倒事故感知装置１０００は、第１客体が転倒事故を起こした状態であるという情報、第１客体の周辺環境情報、第１客体の動きが臨界値未満に維持された時間情報などを含む警告メッセージ（例えば、第１ユーザが階段で倒れた状態であり、２分間動くことができない）を、既設定外部デバイス（例えば、家族のデバイス、医療機関サーバ、緊急構造要請サーバなど）に伝送することができる。
【0161】
以下においては、図１５を参照し、転倒事故感知装置１０００が転倒事故状態の危険度を決定する動作についてさらに説明する。
【0162】
【0163】
図１５の１５００－１を参照すれば、転倒事故感知装置１０００は、外形モデルとモーションモデルとを利用し、第１ユーザ１５０１が転倒事故を起こした状態であると判断することができる。このとき、転倒事故感知装置１０００は、振動器１２００を利用し、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つの第１イメージ１５１０を分析することができる。転倒事故感知装置１０００は、少なくとも１つの第１イメージ１５１０を分析した結果、第１ユーザ１５０１の動きがなく、第１ユーザ１５０１が転倒事故を起こした床の材質は、一般的な床材の材質であり、第１ユーザ１５０１が靴を履いており、第１ユーザ１５０１が机とは１ｍ以上離れており、机と椅子１５０２は、倒れていないと判断することができる。転倒事故感知装置１０００は、少なくとも１つのイメージ１５１０を分析した結果として獲得された情報を全体的に利用し、転倒事故状態の危険度レベルを「１０」と決定することができる。
【0164】
図１５の１５００－２を参照すれば、転倒事故感知装置１０００は、外形モデルとモーションモデルとを利用し、第１ユーザ１５０１が転倒事故を起こした状態であると判断することができる。このとき、転倒事故感知装置１０００は、振動器１２００を利用し、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。転倒事故感知装置１０００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つの第２イメージ１５２０を分析することができる。
【0165】
第１イメージ１５０１に比べ、第２イメージ１５２０においては、椅子１５０２が倒れている。転倒事故感知装置１０００は、第１ユーザ１５０１だけ倒れた場合に比べ、第１ユーザ１５０１と共に、椅子１５０２が倒れている場合、第１ユーザ１５０１の状態がさらに危険であると判断することができる。従って、転倒事故感知装置１０００は、転倒事故状態の危険度レベルを「２０」と決定することができる。
【0166】
一方、一実施形態によれば、転倒事故感知装置１０００は、転倒事故を起こした客体の生体情報をさらに考慮し、転倒事故状態の危険度を決定することもできる。転倒事故感知装置１０００が客体の生体情報を考慮し、転倒事故状態の危険度を決定する動作につき、図１６を参照して詳細に説明する。
【0167】
図１６は、一実施形態による、ウェアラブルデバイスで測定される生体情報を利用し、転倒事故状態の危険度を分析するシステムを図示した図面である。
【0168】
転倒事故状態の危険度を分析するシステムは、転倒事故感知装置１０００、サーバ２０００及びウェアラブルデバイス３０００を含んでもよいが、それらに限定されるものではない。転倒事故感知装置１０００がウェアラブルデバイス３０００と直接通信するとき、転倒事故状態の危険度を分析するシステムは、サーバ２０００を含まない。
【0169】
ウェアラブルデバイス３０００は、アクセサリ型装置（例えば、時計、指輪、腕輪、アンクレット、ネックレス、めがね、コンタクトレンズ）、頭部装着装置（ＨＭＤ：head-mounted-device）、織物または衣類との一体型装置（例：電子衣服）、身体付着型装置（例えば、スキンパッド（skin pad））または生体移植型装置（例：implantable circuit）のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。
【0170】
一実施形態によれば、転倒事故感知装置１０００は、第１客体の状態が転倒事故状態であると判断された場合、第１客体が着用したウェアラブルデバイス３０００で測定された第１客体の生体情報を獲得することができる。このとき、転倒事故感知装置１０００は、ウェアラブルデバイス３０００から直接生体情報を受信することもでき、サーバ２０００を介して、生体情報を受信することもできる。
【0171】
一実施形態によれば、転倒事故感知装置１０００は、第１客体の生体情報を考慮し、転倒事故状態の危険度を決定することができる。例えば、心臓拍動数が臨界値未満であったり、血圧が臨界値以上であったり、呼吸数が臨界値未満であったり、体温が臨界範囲を外れたりする場合、あるいは現在時間が夜である場合、転倒事故感知装置１０００は、転倒事故状態の危険度を高く決定することができる。
【0172】
一実施形態によれば、サーバ２０００は、転倒事故感知装置１０００から、第１客体の状態が転倒事故状態であるという転倒事故情報を受信し、ウェアラブルデバイス３０００から、第１客体の生体情報（例えば、血圧情報、血糖情報、心臓拍動数情報、体温情報など）を受信することができる。その場合、サーバ２０００は、転倒事故情報及び生体情報を利用し、第１客体の転倒事故状態の危険度を決定することができる。転倒事故状態の危険度が臨界値より高い場合、サーバ２０００は、外部デバイス（例えば、医療機関サーバ）に警告メッセージを送信することができる。一実施形態によれば、サーバ２０００は、転倒事故状態の危険度に係わる情報を、転倒事故感知装置１０００またはウェアラブルデバイス３０００に伝送することもできる。
【0173】
一実施形態によれば、ウェアラブルデバイス３０００は、転倒事故感知装置１０００またはサーバ２０００から、第１客体の状態が転倒事故状態であるという転倒事故情報を受信することができる。このとき、ウェアラブルデバイス３０００は、ウェアラブルデバイス３０００で測定された第１客体の生体情報を利用し、第１客体の転倒事故状態の危険度を決定することができる。転倒事故状態の危険度が臨界値より高い場合、ウェアラブルデバイス３０００は、外部デバイス（例えば、医療機関サーバ）に警告メッセージを送信することができる。また、一実施形態によれば、ウェアラブルデバイス３０００は、転倒事故状態の危険度に係わる情報を、転倒事故感知装置１０００またはサーバ２０００に伝送することもできる。
【0174】
図１７は、一実施形態による、私生活レベルにより、客体の鮮明度を調節する方法を図示したフローチャートである。
【0175】
段階Ｓ１７１０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、少なくとも１つのイメージを獲得することができる。段階Ｓ１７１０は、図７の段階Ｓ７１０に対応するので、具体的な説明は、省略する。
【0176】
段階Ｓ１７２０において、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間の私生活レベルに係わる情報を獲得することができる。
【0177】
一実施形態によれば、転倒事故感知装置１０００は、私生活レベルを動的ビジョンセンサ（ＤＶＳ）１１００が設けられるとき、ユーザから入力される。一実施形態によれば、転倒事故感知装置１０００は、サーバ２０００から既定義私生活レベルに係わる情報を獲得することもできる。
【0178】
例えば、該私生活レベルは、浴室やトイレの場合、非常に高くも設定され、ドレスルームや寝室の場合、相対的に高くも設定され、居間や台所、階段の場合、相対的に低くも設定される。
【0179】
段階Ｓ１７３０において、転倒事故感知装置１０００は、私生活レベルにより、少なくとも１つのイメージに含まれた第１客体の鮮明度を調節することができる。例えば、少なくとも１つのイメージが獲得された空間の私生活レベルが高いほど、第１客体の鮮明度は、低くも調節される。一方、少なくとも１つのイメージが獲得された空間の私生活レベルが低いほど、第１客体の鮮明度は、高くも調節される。
【0180】
図１８を参照し、転倒事故感知装置１０００が、第１客体の鮮明度を調節する動作についてさらに説明する。
【0181】
図１８は、一実施形態による、私生活レベルにより、客体の鮮明度を調節する動作を図示した図面である。
【0182】
図１８の１８１０を参照すれば、第１ユーザ１８０１は、台所で転倒事故を起こす。このとき、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、転倒事故を起こす第１ユーザ１８０１のイメージ１８１１を獲得することができる。転倒事故感知装置１０００は、第１ユーザ１８０１が位置した台所の私生活レベルを確認し、確認された私生活レベルに対応する鮮明度で、第１ユーザ１８０１の輪郭線を表現することができる。例えば、台所の私生活レベルは、一般的なレベルである「１」であるので、転倒事故感知装置１０００は、第１ユーザ１８０１の輪郭線を、一般的な鮮明度で表現することができる。
【0183】
図１８の１８２０を参照すれば、第２ユーザ１８０２は、トイレで転倒事故を起こす。このとき、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、転倒事故を起こす第２ユーザ１８０２のイメージ１８１２を獲得することができる。転倒事故感知装置１０００は、第２ユーザ１８０２が位置したトイレの私生活レベルを確認し、確認された私生活レベルに対応する鮮明度で、第２ユーザ１８０２の輪郭線を表現することができる。例えば、トイレの私生活レベルは、非常に高いレベルである「３」であるので、転倒事故感知装置１０００は、第２ユーザ１８０２の輪郭線を低い鮮明度で表現することができる。
【0184】
一実施形態によれば、転倒事故感知装置１０００は、ヒトの転倒事故以外、動物の危険状況を感知することもできる。以下においては、図１９を参照し、転倒事故感知装置１０００がペットの危険状況を感知する動作について詳細に説明する。
【0185】
図１９は、一実施形態による動物の危険状況を感知する動作を図示した図面である。図１９の１９１０を参照すれば、ペット１９１１が椅子の上に上がっていて、椅子が倒れながら、転倒事故を起こす。その場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、転倒事故を起こすペット１９１１のイメージを獲得することができる。転倒事故感知装置１０００は、外形モデルを利用し、床にペット１９１１が倒れているイメージを検出することができる。このとき、転倒事故感知装置１０００は、モーションモデルを介して、ペット１９１１の一連のイメージを分析し、ペット１９１１が実際に転倒事故を起こしたか否かということを判断することができる。ペット１９１１が転倒事故を起こしたと判断される場合、転倒事故感知装置１０００は、周辺環境情報、またはペット１９１１の転倒事故後の動きいかんに基づき、転倒事故状態の危険度を判断することもできる。転倒事故状態の危険度が臨界値より高い場合、転倒事故感知装置１０００は、警告メッセージを外部デバイス（例えば、ペット主人のモバイルフォン）に伝送することができる。
【0186】
図１９の１９２０を参照すれば、ペット１９１２は、ゴミ箱にある食べ物や異物を誤って食べて窒息して倒れる。その場合、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、倒れるペット１９１２のイメージを獲得することができる。転倒事故感知装置１０００は、外形モデルを利用し、床にペット１９１２が倒れているイメージを検出することができる。このとき、転倒事故感知装置１０００は、モーションモデルを介して、ペット１９１２の一連のイメージを分析し、ペット１９１２が危険な状態であるか否かということを判断することができる。一実施形態によれば、転倒事故感知装置１０００は、振動器１２００及び動的ビジョンセンサ（ＤＶＳ）１１００を利用し、周辺環境情報（例えば、ゴミ箱、寝台エッジなど）を獲得し、周辺環境情報を利用し、ペット１９１２の危険度を判断することもできる。
【0187】
図２０は、一実施形態による危険状況を感知する方法を図示したフローチャートである。
【0188】
段階Ｓ２０１０において、危険状況感知装置は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、動きが発生しうる第１客体を含む少なくとも１つのイメージ獲得することができる。
【0189】
一実施形態によれば、危険状況感知装置は、第１客体の動きが感知されない場合、低解像度モードでイメージを獲得し、第１客体の動きが感知される場合、高解像度モードでイメージを獲得することができる。
【0190】
一実施形態によれば、動きが発生しうる第１客体は、モニタリング対象になるヒトまたは動物でもある。第１客体が動く場合、動的ビジョンセンサ（ＤＶＳ）１１００は、第１客体のイメージをキャプチャすることができる。このとき、第１客体のイメージには、第１客体の輪郭、エッジまたはシルエットが含まれてもよい。
【0191】
一方、第１客体が動くとき、他の客体も共に動いた場合、第１イメージには、第１客体の輪郭だけではなく、他の客体の輪郭も示される。例えば、第１客体が車椅子に乗っていて、車椅子と共に倒れた場合、第１イメージには、第１客体の輪郭と車椅子との輪郭が共に示される。
【0192】
段階Ｓ２０２０において、危険状況感知装置は、少なくとも１つのイメージのうちから、既定義姿勢の第１客体を含む第１イメージを検出することができる。一実施形態によれば、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つのイメージそれぞれは、静止映像でもある。
【0193】
一実施形態によれば、危険状況感知装置は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得される少なくとも１つのイメージを、一つずつ第１学習ネットワークモデルを利用して分析することができる。例えば、第１イメージを検出する動作は、第１学習ネットワークモデルによっても遂行される。第１学習ネットワークモデルは、静止映像を分析し、既定義姿勢の客体を含むイメージを検出するために学習されたモデルでもある。第１学習ネットワークモデルは、人工知能（ＡＩ：artificial intelligence）エンジンによっても駆動される。
【0194】
一実施形態によれば、学習ネットワークモデル（ＡＩモデルとも表現される）が動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された少なくとも１つのイメージ（以下、ＤＶＳイメージとする）を学習データとして使用する場合、ＲＧＢイメージデータを学習データとして使用するところに比べ、入力値に対する前処理（pre-processing）過程が不要であるために、学習ネットワークモデルが軽量化自在であるという長所がある。例えば、ＲＧＢイメージデータが、学習ネットワークモデル（ＡＩモデル）に入力される入力値でもって使用される場合、２フレーム間の動き情報を抽出する前処理過程が必要である。すなわち、ＲＧＢイメージデータが危険状況判断に使用される場合、学習ネットワークモデル（ＡＩモデル）に入力するためのデータを生成するために、前処理過程（例えば、動き情報抽出）が必要になる。しかし、ＤＶＳイメージが学習ネットワークモデル（ＡＩモデル）に入力される入力値でもって使用される場合、ＤＶＳイメージには、動き情報が含まれているので、学習ネットワークモデル（ＡＩモデル）入力前、動き情報を抽出する前処理過程が必要ではない。
【0195】
既定義姿勢は、危険状況と係わる姿勢でもある。一実施形態によれば、該既定義姿勢は、床（または、階段）に、特定身体一部（例えば、頭、背、胸、膝、かかと、手の平など）が接触した姿勢でもある。例えば、既定義姿勢は、床に背中を付けて横になっている姿勢、床に腹を付けて伏している姿勢、横になった姿勢、階段に寄り掛かった姿勢などでもあるが、それらに限定されるものではない。例えば、該既定義姿勢は、防毒マスクを被った姿勢でもあり、消火器（fire extinguisher）を手にしている姿勢、非常ベルを押している姿勢でもある。
【0196】
一方、一実施形態によれば、危険状況感知装置は、学習ネットワークモデルを利用し、静止映像を分析する前、静止映像に含まれた客体の形状または大きさを補償することができる。例えば、危険状況感知装置は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも１つのイメージに含まれた第１客体の形状または大きさを補償し、形状または大きさが補償された第１客体の姿勢と、既定義姿勢とを比較することができる。
【0197】
一実施形態によれば、危険状況感知装置は、少なくとも１つのイメージに基づき、第１客体が、他の客体によって一部隠されたと判断される場合、振動器１２００で動的ビジョンセンサ（ＤＶＳ）１１００を動かすことにより、第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを、動的ビジョンセンサ（ＤＶＳ）１１００から獲得することができる。該詳細イメージには、動きが発生しない周辺客体（例えば、椅子、机、寝台、たんす、流し台など）の輪郭が含まれてもよい。
【0198】
一実施形態によれば、危険状況感知装置は、少なくとも１つの詳細イメージに基づき、第１客体の一部を隠す第２客体を検出することができる。該危険状況感知装置は、第２客体を考慮し、第２客体によって一部隠された第１客体の姿勢を推定することができる。このとき、該危険状況感知装置は、推定された第１客体の姿勢と、既定義姿勢とを比較することにより、第１イメージを検出することができる。
【0199】
段階Ｓ２０３０において、該危険状況感知装置は、第１イメージを分析し、第１客体の状況が危険状況であるか否かということを決定することができる。
【0200】
一実施形態によれば、第１客体の状況が危険状況であるか否かということを決定する動作は、第２学習ネットワークモデルによっても遂行される。一実施形態によれば、該第２学習ネットワークモデルは、第１イメージを検出する第１学習ネットワークモデルと同一ＡＩエンジンの同一学習モデルでもある。または、該第２学習ネットワークモデルは、第１学習ネットワークモデルと同一ＡＩエンジンの他の学習モデルでもある。または、該第２学習ネットワークモデルは、第１学習ネットワークモデルと異なるＡＩエンジンの学習モデルでもある。
【0201】
一実施形態によれば、第１客体が松葉杖を利用して歩いていて倒れた場合、第１イメージには、第１客体のイメージだけではなく、松葉杖のイメージが含まれてもよい。その場合、該危険状況感知装置は、第１イメージを分析し、第１客体が松葉杖と共に倒れたと判断し、第１客体の状況が危険状況であると決定することができる。
【0202】
一実施形態によれば、該危険状況感知装置は、第１イメージを含む第１客体に係わる複数のイメージを分析し、第１客体の第１動き変化に係わる情報を獲得することができる。該危険状況感知装置は、第１客体の第１動き変化に係わる情報に基づき、第１客体の状態が転倒事故状態であるか否かということを決定することができる。第１客体の状態が転倒事故状態であるか否かということを決定する動作については、図７で詳細に説明したので、ここでは具体的な説明を略する。
【0203】
一実施形態によれば、該危険状況感知装置は、第１客体の状況が危険状況であると決定された場合、振動器１２００で動的ビジョンセンサ（ＤＶＳ）１１００を動かすことにより、第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得することができる。その場合、該危険状況感知装置は、少なくとも１つの詳細イメージを分析し、第１客体の危険度を決定することができる。
【0204】
例えば、該危険状況感知装置は、詳細イメージを分析した結果、第１客体周辺に階段が存在したり、机コーナーが存在したり、床が粗雑な材質であったりする場合、第１客体の危険度を高く決定することができる。また、該危険状況感知装置は、少なくとも１つの詳細イメージを分析した結果、一定時間の間、第１客体の動きが臨界値よりも少ない場合、第１客体の危険度レベルを上向き調整することができる。
【0205】
図２１は、一実施形態による詳細イメージを利用し、危険状況を感知する方法を図示したフローチャートである。
【0206】
段階Ｓ２１１０において、該危険状況感知装置は、動的ビジョンセンサ（ＤＶＳ）１１００を利用し、動きが発生しうる第１客体を含む少なくとも１つのイメージ獲得することができる。段階Ｓ２１１０は、図２０の段階Ｓ２０１０に対応するので、具体的な説明は、省略する。
【0207】
段階Ｓ２１２０において、該危険状況感知装置は、少なくとも１つのイメージのうちから、既定義姿勢の第１客体を含む第１イメージを検出することができる。例えば、該危険状況感知装置は、床に倒れている状態の第１客体を含む第１イメージを検出することができる。一実施形態によれば、第１イメージを検出する動作は、第１学習ネットワークモデルによっても遂行される。段階Ｓ２１２０は、図２０の段階Ｓ２０２０に対応するので、具体的な説明は、省略する。
【0208】
段階Ｓ２１３０において、危険状況感知装置は、第１イメージが検出される場合、振動器１２００で動的ビジョンセンサ（ＤＶＳ）１１００を動かすことにより、第１客体の周辺環境情報が含まれた少なくとも１つの詳細イメージを獲得することができる。例えば、第１客体が床に倒れた姿勢の第１イメージが検出される場合、危険状況感知装置は、振動器１２００で動的ビジョンセンサ１１００を動かし、第１客体周辺の客体に係わる情報が含まれた詳細イメージを獲得することができる。
【0209】
一実施形態によれば、第１客体の周辺環境情報は、第１客体周辺の他の客体に係わる情報（例えば、第１客体周辺に他の客体が存在するか否かということに係わる情報、第１客体周辺に存在する他の客体の識別情報など）でもある。従って、少なくとも１つの詳細イメージは、第１客体の輪郭イメージ、及び第１客体の周辺に存在する他の客体の輪郭イメージを含んでもよい。もし第１客体周辺に他の客体が存在しない場合、詳細イメージには、第１客体の輪郭イメージのみ示す。
【0210】
段階Ｓ２１４０において、該危険状況感知装置は、少なくとも１つの詳細イメージを分析し、第１客体の状況が危険状況であるか否かということを決定することができる。
【0211】
一実施形態によれば、該危険状況感知装置は、第１客体が倒れた周辺環境情報（例えば、第１客体が倒れたところに、いかなる物体があるかということ、床の材質がいかなるものであるかということなど）を利用し、第１客体の状況が危険状況であるか否かということを決定することができる。例えば、該詳細イメージを分析した結果、第１客体が倒れたところが階段上であり、第１客体の頭が階段欄干にぶつかった状態でもある。その場合、該危険状況感知装置は、第１客体の状況が危険状況であると決定することができる。
【0212】
一実施形態によれば、第１客体の状況が危険状況であるか否かということを決定する動作は、第２学習ネットワークモデルによっても遂行される。このとき、該第２学習ネットワークモデルは、第１イメージを検出する第１学習ネットワークモデルと同一ＡＩエンジンの同一学習モデルでもある。または、該第２学習ネットワークモデルは、第１学習ネットワークモデルと同一ＡＩエンジンの他の学習モデルでもある。または、該第２学習ネットワークモデルは、第１学習ネットワークモデルと異なるＡＩエンジンの学習モデルでもある。
【0213】
一実施形態によれば、該危険状況感知装置は、既定義姿勢の第１客体（例えば、床に倒れた姿勢）を含むイメージが検出される場合、第１客体周辺の動かない事物に係わる情報を獲得するために、振動器を利用し、動的ビジョンセンサ（ＤＶＳ）を動かすことができる。その場合、動く動的ビジョンセンサ（ＤＶＳ）は、第１客体周辺の動かない事物の詳細イメージも感知することができるので、該危険状況感知装置は、第１客体周辺の詳細イメージを利用し、第１客体が危険状況であるか否かということをさらに正確で客観的に判断することができる。
【0214】
図２２は、一実施形態による転倒事故感知装置の構成を図示したブロック構成図である。図２２に図示されているように、一実施形態による転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００、振動器１２００、プロセッサ１３００を含んでもよい。しかし、図示された構成要素がいずれも必須構成要素であるものではない。図示された構成要素より多くの構成要素によって転倒事故感知装置１０００が具現されもし、それより少ない構成要素によっても、転倒事故感知装置１０００が具現されもする。例えば、転倒事故感知装置１０００は、振動器１２００を除き、動的ビジョンセンサ（ＤＶＳ）１１００及びプロセッサ１３００のみを含んでもよい。また、転倒事故感知装置１０００は、動的ビジョンセンサ（ＤＶＳ）１１００、振動器１２００、プロセッサ１３００以外に、ユーザインターフェース１４００、通信インターフェース１５００、出力部１６００、メモリ１７００をさらに含んでもよい。
【0215】
以下、前記構成要素について順に説明する。
【0216】
動的ビジョンセンサ（ＤＶＳ）１１００は、ヒトの虹彩が情報を受け入れる方式を採択したイメージセンサであり、動く客体に係わるイメージデータを獲得することができるセンサである。例えば、動的ビジョンセンサ（ＤＶＳ）１１００は、ピクセル単位で、動きによって局所的な変化があるときにのみ、イメージデータをプロセッサ１３００に伝送することになる。すなわち、動的ビジョンセンサ（ＤＶＳ）１１００は、動くイベントが発生するときにのみ、イメージデータをプロセッサ１３００に伝送することができる。従って、動的ビジョンセンサ（ＤＶＳ）１１００は、客体が止まっている場合、データ処理を行わず、客体が動く場合にのみ、動く客体をキャプチャし、データをプロセッサ１３００に伝送することができる。
【0217】
振動器１２００は、振動を発生させるための装置でもある。例えば、振動器１２００は、振動信号を出力する振動モータでもある。一実施形態によれば、振動器１２００は、振動を発生させ、人為的に、動的ビジョンセンサ（ＤＶＳ）１１００を動かすことができる。動的ビジョンセンサ（ＤＶＳ）１１００は、動き変化感知に有用なイメージセンサであるが、動きがない場合には、情報を得ることができない。従って、客体の動きがない場合にも、動的ビジョンセンサ（ＤＶＳ）１１００が、客体のイメージを得ることができるように、振動器１２００は、動的ビジョンセンサ（ＤＶＳ）１１００を人為的に動かすことができる。
【0218】
動的ビジョンセンサ（ＤＶＳ）１１００及び振動器１２００は、図１で説明されたので、具体的な説明は、省略する。
【0219】
プロセッサ１３００は、一般的に、転倒事故感知装置１０００の全般的な動作を制御することができる。例えば、プロセッサ１３００は、メモリ１７００に保存されたプログラムを実行することにより、動的ビジョンセンサ（ＤＶＳ）１１００、振動器１２００、ユーザインターフェース１４００、通信インターフェース１５００、出力部１６００を制御することができる。
【0220】
一実施形態によれば、プロセッサ１３００は、動的ビジョンセンサ（ＤＶＳ）１１００で獲得された少なくとも１つのイメージのうちから、既定義姿勢の第１客体を含む第１イメージを検出することができる。該既定義姿勢は、転倒事故と係わる姿勢でもある。例えば、該既定義姿勢は、身体の一部（例えば、背、腹、頭など）または全部が床に接触する姿勢でもある。例えば、プロセッサ１３００は、第１客体の動きが感知される場合、少なくとも１つのイメージに含まれた第１客体の姿勢と、既定義姿勢とを比較し、該既定義姿勢の第１客体を含む第１イメージを検出することができる。
【0221】
一実施形態によれば、プロセッサ１３００は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも１つのイメージに含まれた第１客体の形状または大きさを補償することができる。プロセッサ１３００は、形状または大きさが補償された第１客体の姿勢と、既定義姿勢とを比較し、既定義姿勢の第１客体を含む第１イメージを検出することができる。
【0222】
一実施形態によれば、プロセッサ１３００は、少なくとも１つのイメージに基づき、第１客体が他の客体によって一部隠されたと判断される場合、動的ビジョンセンサ（ＤＶＳ）１１００を動かすように、振動器１２００を制御することができる。プロセッサ１３００は、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された第５イメージに基づき、第１客体の一部を隠す第２客体を検出することができる。プロセッサ１３００は、第２客体を考慮し、第２客体によって一部隠された第１客体の姿勢を推定することができる。プロセッサ１３００は、推定された第１客体の姿勢と、既定義姿勢とを比較し、既定義姿勢の第１客体を含む第１イメージを検出することができる。
【0223】
プロセッサ１３００は、第１イメージを含む第１客体に係わる複数のイメージを分析し、第１客体の第１動き変化に係わる情報を獲得することができる。複数のイメージは、動的ビジョンセンサ（ＤＶＳ）１１００が第１イメージより以前に獲得した第２イメージ、及び第１イメージより以後に獲得した第３イメージのうちから、少なくとも一つを含んでもよい。
【0224】
プロセッサ１３００は、第１客体の第１動き変化に係わる情報に基づき、第１客体の状態が転倒事故状態であるか否かということを決定することができる。例えば、プロセッサ１３００は、第１客体の第１動き変化と、既保存転倒事故を示す第２動き変化との類似度が臨界値より高い場合、第１客体の状態を転倒事故状態と決定することができる。
【0225】
プロセッサ１３００は、第１客体の状態が転倒事故状態と決定された場合、動的ビジョンセンサ（ＤＶＳ）１１００を動かすように、振動器１２００を制御し、動く動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得された第４イメージを利用し、転倒事故状態の危険度を決定することもできる。例えば、プロセッサ１３００は、第４イメージを分析し、第１客体周辺の環境情報、または第１客体の転倒事故形態情報を獲得し、環境情報または転倒事故形態情報を利用し、転倒事故状態の危険度を決定することができる。一実施形態によれば、プロセッサ１３００は、転倒事故状態の危険度が臨界値より高い場合、通信インターフェース１５００を介して、警告メッセージを外部デバイスに伝送することができる。
【0226】
プロセッサ１３００は、第１客体の状態が転倒事故状態と決定された後、第１客体の動きを検出し、一定時間の間、第１客体の動きが臨界値より少ない場合、転倒事故状態の危険度レベルを上向き調整することができる。
【0227】
プロセッサ１３００は、メモリ１７００に、既保存ディープラーニングモデルを利用したり、外部から受信されたディープラーニングモデルを利用したりし、客体の転倒事故を感知することができる。また、プロセッサ１３００は、転倒事故を感知するためのディープラーニングモデルを直接生成することもできる。プロセッサ１３００が直接ディープラーニングモデルを生成する動作については、図２１ないし都２４を参照し、追って詳細に説明する。
【0228】
ユーザインターフェース１４００は、ユーザが転倒事故感知装置１０００を制御するためのデータを入力する手段を意味する。例えば、ユーザインターフェース１４００には、キーパッド（key pad）、ドームスイッチ（dome switch）、タッチパッド（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ジョグホイール、ジョグスイッチなどがあるが、それに限定されるものではない。
【0229】
ユーザインターフェース１４００は、動的ビジョンセンサ（ＤＶＳ）１１００が設けられた空間の私生活レベルを設定する入力を受信することができる。または、ユーザインターフェース１４００は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得されるイメージの鮮明度を設定する入力を受信することもできる。
【0230】
通信インターフェース１５００は、転倒事故感知装置１０００及びサーバ２０００、転倒事故感知装置１０００及びウェアラブルデバイス３０００、転倒事故感知装置１０００及びモバイル端末の間の通信を行わせる１以上の構成要素を含んでもよい。例えば、通信インターフェース１５００は、近距離通信部（short-range wireless communication unit）、移動通信部などを含んでもよい。
【0231】
該近距離通信部は、ブルートゥース（登録商標（Bluetooth））通信部、ＢＬＥ（Bluetooth low energy）通信部、近距離無線通信部（nearfield communication unit）、ＷＬＡＮ（wireless local area network）通信部、ジグビー（ZigBee）通信部、赤外線（ＩｒＤＡ；infrared data association）通信部、ＷＦＤ（Ｗｉ－Ｆｉ direct）通信部、ＵＷＢ（ultra wideband）通信部、Ａｎｔ＋通信部などを含んでもよいが、それらに限定されるものではない。
【0232】
該移動通信部は、移動通信網上において、基地局、外部端末、サーバのうち少なくとも一つと無線信号を送受信する。ここで、該無線信号は、音声コール信号、画像通話コール信号、または文字／マルチメディアメッセージ送受信による多様な形態のデータを含んでもよい。このとき、該移動通信部は、ＬＴＥ（long-term evolution）、ＬＴＥ－Ａ（ＬＴＥ Advance）、ＣＤＭＡ（code division multiple access）、ＷＣＤＭＡ（登録商標（wideband code division multiple access））、ＵＭＴＳ（universal mobiletelecom munications system）、ＷｉＢｒｏ（Wireless Broadband）、ＧＳＭ（登録商標（Global System for Mobile Communications））のうち少なくとも一つを使用することができる。
【0233】
出力部１６００は、ビデオ信号、オーディオ信号または振動信号の出力のためのものであり、それには、ディスプレ以部、音響出力部、振動モータなどが含まれてもよい。
【0234】
該ディスプレイ部は、転倒事故感知装置１０００で処理される情報を表示することができる。例えば、該ディスプレイ部は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得されるイメージ、プレビューイメージ、動画ファイルリスト、動画再生画面などを表示することができる。
【0235】
該ディスプレイ部とタッチパッドとがレイヤ構造をなし、タッチスクリーンとして構成される場合、該ディスプレイ部は、出力装置以外に、入力装置としても使用される。該ディスプレイ部は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode）、フレキシブルディスプレイ（flexible display）、三次元ディスプレイ（３Ｄ display）、電気泳動ディスプレイ（electrophoretic display）のうち少なくとも一つを含んでもよい。
【0236】
該音響出力部は、通信インターフェース１５００から受信されるか、あるいはメモリ１７００に保存されたオーディオデータを出力する。また、該音響出力部は、転倒事故感知装置１０００で遂行される機能（例えば、警告メッセージ生成）と係わる音響信号を出力する。該音響出力部には、スピーカ（speaker）、ブザー（buzzer）などが含まれてもよい。
【0237】
メモリ１７００は、プロセッサ１３００の処理及び制御のためのプログラムを保存することもでき、入出力されるデータ（例えば、静止映像、動画など）を保存することもできる。
【0238】
メモリ１７００は、例えば、内蔵メモリまたは外装メモリを含んでもよい。該内蔵メモリは、例えば、揮発性メモリ（例：ＤＲＡＭ（dynamic random access memory）、ＳＲＡＭ（static random access memory）またはＳＤＲＡＭ（synchronous dynamic random access memory）など）、不揮発性メモリ（non-volatile memory）（例：ＯＴＰＲＯＭ（one time programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、ＥＰＲＯＭ（electrically programmable read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、mask ＲＯＭ、flash ＲＯＭ、フラッシュメモリ（例：ＮＡＮＤ flashまたはＮＯＲ flashなど）、ハードドライブまたはソリッドステートドライブ（ＳＳＤ：solid state drive）のうち少なくとも一つを含んでもよい。
【0239】
該外装メモリは、フラッシュドライブ（flash drive）、例えば、ＣＦ（compact flash）、ＳＤ（secure digital）、Micro－ＳＤ（micro secure digital）、Mini－ＳＤ（mini secure digital）、ｘＤ（extreme digital）、ＭＭＣ（multi-media card）またはメモリスティック（memory stick）などを含んでもよい。該外装メモリは、多様なインターフェースを介して、転倒事故感知装置１０００と、機能的及び／または物理的にも連結される。
【0240】
また、転倒事故感知装置１０００は、インターネット上において、メモリ１７００の保存機能を遂行するウェブストレージ（web storage）を運用することもできる。
【0241】
メモリ１７００に保存されたプログラムは、その機能により、複数個のモジュールに分類することができるが、例えば、外形モデル１７１０、モーションモデル１７２０、補償モデル１７３０、転倒事故危険度マップ１７４０なども分類される。一実施形態によれば、メモリ１７００は、転倒事故危険度マップ６００を保存することもできる。
【0242】
外形モデル１７１０は、静止映像を一つずつ分析し、静止映像に含まれた客体の形状（body shape）やポーズを検出し、検出された客体の形状やポーズが転倒事故と係わり、既定義姿勢と類似しているか否かということを判断するように学習されたモデルでもある。
【0243】
モーションモデル１７２０は、複数のイメージ（例えば、動画）を分析し、客体の動きパターンを検出し、検出された客体の動きパターンが、転倒事故を示す動きパターンと類似しているか否かということを判断するように学習されたモデルでもある。一般的に、モーションモデル１７２０は、多数枚のイメージを累積（例えば、Ｎ images stacking）させて処理するために、イメージ１枚を処理する外形モデル１７１０に比べ、Ｎ倍時間が長くかかる。
【0244】
補償モデル１７３０は、動的ビジョンセンサ（ＤＶＳ）１１００を介して獲得されたイメージに含まれた客体の大きさ、形状または閉塞などを補償するために学習されたモデルでもある。
【0245】
転倒事故危険度マップ６００は、転倒事故が発生する場合、危険にもなる領域を表示した地図でもある。
【0246】
一方、以下においては、プロセッサ１３００が転倒事故を感知するための学習モデルとして、外形モデル、モーションモデル１７２０、補償モデル１７３０などを生成する動作について、図２３を参照して説明する。
【0247】
【0248】
データ学習部１３１０は、危険状況（例えば、転倒事故状況）判断のための基準を学習することができる。データ学習部１３１０は、転倒事故状況を判断するために、いかなるデータを利用するか、データを利用し、状況をいかに判断するかということに係わる基準を学習することができる。データ学習部１３１０は、学習に利用されるデータ（例えば、イメージ）を獲得し、獲得されたデータを、後述するデータ認識モデルに適用することにより、転倒事故状況判断のための基準を学習することができる。
【0249】
一実施形態によれば、データ学習部１３１０は、特定照度（例えば、一般照度または低照度）での客体（ヒトまたは動物）の日常行動または転倒事故行動を学習することができる。一実施形態によれば、データ学習部１３１０は、客体の身体特徴（例えば、年齢、性別など）による日常行動または転倒事故行動を学習することができる。例えば、データ学習部１３１０は、子供の転倒事故パターン、高齢者の転倒事故パターン、歩行器を使用中であるヒトの転倒事故パターン、松葉杖を使用中であるヒトの転倒事故パターン、物品運搬中の転倒事故パターンのような多様な状況での転倒事故パターンを学習することができる。
【0250】
一実施形態によれば、データ学習部１３１０は、客体を認識するための基準を学習することもできる。例えば、データ学習部１３１０は、ヒトの特徴、ペットの特徴、家具の特徴、事物の特徴などを学習することができる。
【0251】
一実施形態によれば、データ学習部１３１０は、場所を判断するための場所イメージを学習することができる。また、データ学習部１３１０は、場所イメージで検出された客体と場所との相関を学習することができる。例えば、データ学習部１３１０は、居間イメージで検出されたソファ－、テレビなどと、居間との相関を学習することができる。
【0252】
一実施形態によれば、データ学習部１３１０は、第１客体が第２客体で隠される場合において、第１客体の隠されるところを補償するための映像を学習することができる。例えば、データ学習部１３１０は、ヒトが家具によって隠される場合を補償するための映像を学習することができる。また、一実施形態によれば、データ学習部１３１０は、カメラレンズによる歪曲を補償するために、歪曲データを学習することができる。
【0253】
データ認識部１３２０は、データに基づいた転倒事故状況を判断することができる。データ認識部１３２０は、学習されたデータ認識モデルを利用し、検出されたデータから、転倒事故状況を認識することができる。データ認識部１３２０は、学習による既設定基準により、イメージデータを獲得し（例えば、動的ビジョンセンサ（ＤＶＳ）１１００からのイメージデータ獲得）、獲得されたイメージデータを入力値にし、データ認識モデルを利用することにより、イメージデータに基づいた転倒事故状況を判断することができる。また、獲得されたイメージデータを入力値にし、データ認識モデルによって出力された結果値は、データ認識モデル更新にも利用される。
【0254】
データ学習部１３１０及びデータ認識部１３２０のうち少なくとも一つは、少なくとも１つのハードウェアチップ状に作製され、転倒事故感知装置１０００にも搭載される。例えば、データ学習部１３１０及びデータ認識部１３２０のうち少なくとも一つは、人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製され、あるいは既存の汎用プロセッサ（例：ＣＰＵ（central processing unit）、ＡＰ（application processor）またはグラフィック専用プロセッサ（例：ＧＰＵ（graphics processing unit））の一部に作製され、転倒事故感知装置１０００にも搭載される。
【0255】
データ学習部１３１０及びデータ認識部１３２０は、１つの転倒事故感知装置１０００にも搭載され、または別個の転倒事故感知装置にもそれぞれ搭載される。例えば、データ学習部１３１０及びデータ認識部１３２０のうち一つは、転倒事故感知装置１０００に含まれ、残り一つは、サーバ２０００にも含まれる。また、データ学習部１３１０及びデータ認識部１３２０は、有線または無線を介し、データ学習部１３１０が構築したモデル情報を、データ認識部１３２０に提供することもでき、データ認識部１３２０に入力されたデータが、追加学習データとして、データ学習部１３１０にも提供される。
【0256】
一方、データ学習部１３１０及びデータ認識部１３２０のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ学習部１３１０及びデータ認識部１３２０のうち少なくとも一つがソフトウェアモジュール（または、インストラクション（instruction）含むプログラムモジュール）として具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体（non-transitory computer readable media）にも保存される。また、その場合、少なくとも１つのソフトウェアモジュールは、ＯＳ（operating system）によっても提供され、所定のアプリケーションによっても提供される。または、少なくとも１つのソフトウェアモジュールのうち一部は、ＯＳによって提供され、残り一部は、所定のアプリケーションによっても提供される。
【0257】
図２４は、一実施形態によるデータ学習部１３１０のブロック構成図である。
【0258】
図２４を参照すれば、一実施形態によるデータ学習部１３１０は、データ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５を含んでもよい。
【0259】
データ獲得部１３１０－１は、転倒事故状況判断に必要なデータを獲得することができる。データ獲得部１３１０－１は、転倒事故状況判断のための学習のために必要なデータ（例えば、イメージ）を獲得することができる。一実施形態によれば、データ獲得部１３１０－１は、転倒事故状況判断に必要なデータを直接生成することもでき、外部装置またはサーバから、転倒事故状況判断に必要なデータを受信することもできる。
【0260】
一実施形態によれば、転倒事故状況判断に必要なデータは、転倒事故と係わる既定義姿勢の客体を含むイメージデータ、転倒事故を示す動きパターンを含む動画データ、転倒事故の危険度を判断するための周辺環境に係わるコンテクスト情報などを含んでもよいが、それらに限定されるものではない。
【0261】
一実施形態によれば、データ獲得部１３１０－１は、動的ビジョンセンサ（ＤＶＳ）を介して、キャプチャされる静止映像または動画を入力される。該動画は、複数のイメージ（または、フレーム）によっても構成される。一例として、データ獲得部１３１０－１は、データ学習部１３１０を含む転倒事故感知装置１０００の動的ビジョンセンサ（ＤＶＳ）１１００、またはデータ学習部１３１０を含む転倒事故感知装置１０００と通信可能な外部の動的ビジョンセンサ（ＤＶＳ）１１００を介して、動画を入力される。
【0262】
一実施形態によれば、データ獲得部１３１０－１は、映像データ、音声データ、テキストデータまたは生体信号データなどを獲得することができる。一例として、データ獲得部１３１０－１は、転倒事故感知装置１０００の入力機器（例：マイクロフォン、カメラまたはセンサなど）を介して、データを入力されるまたは、データ獲得部１３１０－１は、転倒事故感知装置１０００と通信する外部装置を介して、データを獲得することができる。
【0263】
前処理部１３１０－２は、転倒事故状況判断のための学習に獲得されたデータが利用されるように、獲得されたデータを前処理することができる。前処理部１３１０－２は、後述するモデル学習部１３１０－４が、状況判断のための学習のために獲得されたデータを利用することができるように、獲得されたデータを既設定フォーマットに加工することができる。
【0264】
例えば、前処理部１３１０－２は、入力された動画の少なくとも一部を構成する複数のイメージ（または、フレーム）それぞれに含まれた共通領域を基に、複数のイメージの少なくとも一部を重畳させ、１つの合成イメージを生成することができる。その場合、１つの動画から複数個の合成イメージが生成されもする。該共通領域は、複数のイメージそれぞれにおいて、同一であるか、あるいは類似した共通客体（例：物体、動植物またはヒトなど）を含んだ領域にもなる。または、該共通領域は、複数のイメージそれぞれにおいて、色、陰影、ＲＧＢ値またはＣＭＹＫ値などが同一であるか、あるいは類似した領域にもなる。
【0265】
学習データ選択部１３１０－３は、前処理されたデータのうち、学習に必要なデータを選択することができる。選択されたデータは、モデル学習部１３１０－４にも提供される。学習データ選択部１３１０－３は、転倒事故状況判断のための既設定基準により、前処理されたデータのうち、学習に必要なデータを選択することができる。また、学習データ選択部１３１０－３は、後述するモデル学習部１３１０－４による学習により、既設定基準によってデータを選択することもできる。例えば、学習データ選択部１３１０－３は、転倒事故と係わる姿勢（例えば、ヒトの身体一部が地面に接触する姿勢（例：横になった姿勢、伏せた姿勢など））の客体を含むイメージデータを選択することができる。
【0266】
モデル学習部１３１０－４は、学習データに基づき、転倒事故状況をいかに判断するかということに係わる基準を学習することができる。また、モデル学習部１３１０－４は、転倒事故状況判断のために、いかなる学習データを利用しなければならないかということに係わる基準を学習することもできる。
【0267】
また、モデル学習部１３１０－４は、転倒事故状況判断に利用されるデータ認識モデルを、学習データを利用して学習させることができる。その場合、データ認識モデルは、あらかじめ構築されたモデルでもある。例えば、該データ認識モデルは、基本学習データ（例えば、サンプルイメージなど）を入力され、あらかじめ構築されたモデルでもある。
【0268】
該データ認識モデルは、認識モデルの適用分野、学習の目的、または装置のコンピュータ性能などを考慮しても構築される。該データ認識モデルは、例えば、神経網（neural network）を基とするモデルでもある。例えば、ＤＮＮ（deep neural network）、ＲＮＮ（recurrent neural network）、ＢＲＤＮＮ（bidirectional recurrent deep neural network）のようなモデルが、データ認識モデルとしても使用されるが、それらに限定されるものではない。
【0269】
多様な実施形態によれば、モデル学習部１３１０－４は、あらかじめ構築されたデータ認識モデルが複数個が存在する場合、入力された学習データと、基本学習データとの関連性が大きいデータ認識モデルを、学習するデータ認識モデルに決定することができる。その場合、該基本学習データは、データのタイプ別にあらかじめ分類されており、該データ認識モデルは、データのタイプ別にあらかじめ構築されてもいる。例えば、該基本学習データは、学習データが生成された地域、学習データが生成された時間、学習データの大きさ、学習データのジャンル、学習データの生成者、学習データ内オブジェクトの種類のような多様な基準であらかじめ分類されている。
【0270】
また、モデル学習部１３１０－４は、例えば、誤謬逆伝播法（error back-propagation）または傾斜下降法（gradient descent）を含む学習アルゴリズムなどを利用し、データ認識モデルを学習させることができる。
【0271】
また、モデル学習部１３１０－４は、例えば、学習データを入力値にする指導学習（supervised learning）を介して、データ認識モデルを学習させることができる。また、モデル学習部１３１０－４は、例えば、何の指導なしに、状況判断のために必要なデータの種類を自ら学習することにより、状況判断のための基準を見い出す非指導学習（unsupervised learning）を介して、データ認識モデルを学習させることができる。また、モデル学習部１３１０－４は、例えば、学習による状況判断の結果が正しいか否かということに係わるフィードバックを利用する強化学習（reinforcement learning）を介して、データ認識モデルを学習させることができる。
【0272】
また、データ認識モデルが学習されれば、モデル学習部１３１０－４は、学習されたデータ認識モデルを保存することができる。その場合、モデル学習部１３１０－４は、学習されたデータ認識モデルを、データ認識部１３２０を含む転倒事故感知装置１０００のメモリ１７００に保存することができる。または、モデル学習部１３１０－４は、学習されたデータ認識モデルを、後述するデータ認識部１３２０を含む転倒事故感知装置１０００のメモリ１７００に保存することができる。または、モデル学習部１３１０－４は、学習されたデータ認識モデルを、転倒事故感知装置１０００と有線または無線のネットワークで連結されるサーバ２０００のメモリに保存することもできる。
【0273】
その場合、学習されたデータ認識モデルが保存されるメモリは、例えば、転倒事故感知装置１０００の少なくとも１つの他の構成要素に係わる命令またはデータを、共に保存することもできる。また、該メモリは、ソフトウェア及び／またはプログラムを保存することもできる。該プログラムは、例えば、カーネル、ミドルウェア、アプリケーションプログラミングインターフェース（ＡＰＩ）及び／またはアプリケーションプログラム（または、アプリケーション）などを含んでもよい。
【0274】
モデル評価部１３１０－５は、データ認識モデルに評価データを入力し、評価データから出力される認識結果が所定基準を満足することができない場合、モデル学習部１３１０－４をして、再び学習させる。その場合、該評価データは、データ認識モデルを評価するための既設定データでもある。
【0275】
例えば、モデル評価部１３１０－５は、評価データに係わる学習されたデータ認識モデルの認識結果のうち、認識結果が正確ではない評価データの個数または比率が、既設定臨界値を超える場合、所定基準を満足することができていない評価することができる。例えば、所定基準が比率２％に定義される場合、学習されたデータ認識モデルが総１，０００個の評価データのうち２０個を超す評価データについて、誤った認識結果を出力する場合、モデル評価部１３１０－５は、学習されたデータ認識モデルが適するものではないと評価することができる。
【0276】
一方、学習されたデータ認識モデルが複数個が存在する場合、モデル評価部１３１０－５は、それぞれの学習された動画認識モデルについて、所定基準を満足するか否かということを評価し、所定基準を満足するモデルを最終データ認識モデルとして決定することができる。その場合、該所定基準を満足するモデルが複数個である場合、モデル評価部１３１０－５は、評価点数が高い順に、既設定のいずれか一つ、または所定の個数のモデルを、最終データ認識モデルとして決定することができる。
【0277】
一方、データ学習部１３１０内のデータ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５のうち少なくとも一つは、少なくとも１つのハードウェアチップ状に作製され、転倒事故感知装置１０００にも搭載される。例えば、データ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５のうち少なくとも一つは、人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製され、または既存の汎用プロセッサ（例：ＣＰＵまたはＡＰ（application processor））またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部にも作製され、転倒事故感知装置１０００にも搭載される。
【0278】
また、データ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５は、１つの転倒事故感知装置１０００にも搭載され、または別個の転倒事故感知装置にもそれぞれ搭載される。例えば、データ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５のうち一部は、転倒事故感知装置１０００に含まれ、残り一部は、サーバ２０００に含まれてもよい。
【0279】
また、データ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ獲得部１３１０－１、前処理部１３１０－２、学習データ選択部１３１０－３、モデル学習部１３１０－４及びモデル評価部１３１０－５のうち少なくとも一つがソフトウェアモジュール（または、インストラクションを含むプログラムモジュール）として具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体にも保存される。また、その場合、少なくとも１つのソフトウェアモジュールは、ＯＳによっても提供され、所定のアプリケーションによっても提供される。または、少なくとも１つのソフトウェアモジュールのうち一部は、ＯＳによっても提供され、残り一部は、所定のアプリケーションによっても提供される。
【0280】
図２５は、一実施形態によるデータ認識部１３２０のブロック構成図である。図２５を参照すれば、一実施形態によるデータ認識部１３２０は、データ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５を含んでもよい。
【0281】
データ獲得部１３２０－１は、転倒事故状況判断に必要なデータを獲得することができ、前処理部１３２０－２は、状況判断のために獲得されたデータが利用されるように、獲得されたデータを前処理することができる。前処理部１３２０－２は、後述する認識結果提供部１３２０－４が、状況判断のために獲得されたデータを利用することができるように、獲得されたデータを既設定フォーマットに加工することができる。
【0282】
認識データ選択部１３２０－３は、前処理されたデータのうち、転倒事故状況判断に必要なデータを選択することができる。該選択されたデータは、認識結果提供部１３２０－４にも提供される。認識データ選択部１３２０－３は、転倒事故状況判断のための既設定基準により、前処理されたデータのうち一部または全部を選択することができる。また、認識データ選択部１３２０－３は、後述するモデル学習部１３１０－４による学習により、既設定基準によってデータを選択することもできる。
【0283】
認識結果提供部１３２０－４は、選択されたデータをデータ認識モデルに適用し、状況を判断することができる。認識結果提供部１３２０－４は、データの認識目的による認識結果を提供することができる。認識結果提供部１３２０－４は、認識データ選択部１３２０－３によって選択されたデータを入力値として利用することにより、選択されたデータをデータ認識モデルに適用することができる。また、該認識結果は、データ認識モデルによっても決定される。
【0284】
例えば、少なくとも１つのイメージの認識結果は、テキスト、音声、動画、イメージまたは命令語（例：アプリケーション実行命令語、モジュール機能実行命令語など）などとしても提供される。一例として、認識結果提供部１３２０－４は、少なくとも１つのイメージに含まれた客体の認識結果を提供することができる。該認識結果は、例えば、少なくとも１つのイメージに含まれた客体の姿勢情報、客体の周辺状態情報、動画に含まれた客体の動き変化情報などにもなる。認識結果提供部１３２０－４は、客体の状態情報として、「転倒事故状態」をテキスト、音声、イメージまたは命令語などとしても提供することができる。
【0285】
モデル更新部１３２０－５は、認識結果提供部１３２０－４によって提供される認識結果に対する評価に基づき、データ認識モデルが更新されるようにする。例えば、モデル更新部１３２０－５は、認識結果提供部１３２０－４によって提供される認識結果をモデル学習部１３１０－４に提供することにより、モデル学習部１３１０－４がデータ認識モデルを更新するようにする。
【0286】
一方、データ認識部１３２０内のデータ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５のうち少なくとも一つは、少なくとも１つのハードウェアチップ状に作製され、転倒事故感知装置１０００にも搭載される。例えば、データ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５のうち少なくとも一つは、人工知能（ＡＩ）のための専用ハードウェアチップ状にも作製され、あるいは既存の汎用プロセッサ（例：ＣＰＵまたはＡＰ（application processor））またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部に作製され、転倒事故感知装置１０００にも搭載される。
【0287】
また、データ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５は、１つの転倒事故感知装置１０００にも搭載され、あるいは別個の転倒事故感知装置にもそれぞれ搭載される。例えば、データ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５のうち一部は、転倒事故感知装置１０００に含まれ、残り一部は、サーバ２０００に含まれてもよい。
【0288】
また、データ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ獲得部１３２０－１、前処理部１３２０－２、認識データ選択部１３２０－３、認識結果提供部１３２０－４及びモデル更新部１３２０－５のうち少なくとも一つがソフトウェアモジュール（または、インストラクションを含むプログラムモジュール）として具現される場合、ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体にも保存される。また、その場合、少なくとも１つのソフトウェアモジュールは、ＯＳによっても提供され、所定のアプリケーションによっても提供される。または、少なくとも１つのソフトウェアモジュールのうち一部は、ＯＳによっても提供され、残り一部は、所定のアプリケーションによっても提供される。
【0289】
図２６は、一実施形態による転倒事故感知装置１０００及びサーバ２０００が、互いに連動することにより、データを学習して認識する例示を示す図面である。図２６を参照すれば、サーバ２０００は、転倒事故状況判断のための基準を学習することができ、転倒事故感知装置１０００は、サーバ２０００による学習結果に基づき、転倒事故状況を判断することができる。
【0290】
サーバ２０００は、一実施形態によるデータ学習部２３００）を含んでもよく、データ学習部２３００は、データ獲得部２３１０、前処理部２３２０、学習データ選択部２３３０、モデル学習部２３４０及びモデル評価部２３５０を含んでもよい。
【0291】
サーバ２０００のモデル学習部２３４０は、図２４に図示されたデータ学習部１３１０の機能を遂行することができる。サーバ２０００のモデル学習部２３４０は、転倒事故状況を判断するために、いかなるデータを利用するか、データを利用し、転倒事故状況をいかに判断するかということに係わる基準を学習することができる。モデル学習部２３４０は、学習に利用されるデータを獲得し、獲得されたデータを、後述するデータ認識モデルに適用することにより、状況判断のための基準を学習することができる。
【0292】
また、転倒事故感知装置１０００の認識結果提供部１３２０－４は、認識データ選択部１３２０－３によって選択されたデータを、サーバ２０００によって生成されたデータ認識モデルに適用し、状況を判断することができる。例えば、認識結果提供部１３２０－４は、認識データ選択部１３２０－３によって選択されたデータを、サーバ２０００に伝送し、サーバ２０００が、認識データ選択部１３２０－３によって選択されたデータを認識モデルに適用し、状況を判断することを要請することができる。また、認識結果提供部１３２０－４は、サーバ２０００によって判断された状況に係わる情報を、サーバ２０００から受信することができる。
【0293】
または、転倒事故感知装置１０００の認識結果提供部１３２０－４は、サーバ２０００によって生成された認識モデルをサーバ２０００から受信し、受信された認識モデルを利用し、転倒事故状況を判断することができる。その場合、転倒事故感知装置１０００の認識結果提供部１３２０－４は、認識データ選択部１３２０－３によって選択されたデータを、サーバ２０００から受信されたデータ認識モデルに適用し、転倒事故状況を判断することができる。
【0294】
一実施形態による方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独または組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピィーディスク 及び磁気テープのような磁気媒体（magnetic media）：ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media：及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
【0295】
本実施形態は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態にも具現される。該コンピュータ可読媒体は、コンピュータによってアクセスされる任意の可用媒体でもあり、揮発性及び不揮発性の媒体、分離型及び非分離の型媒体をいずれも含む。また、該コンピュータ可読媒体は、コンピュータ記録媒体及び通信媒体をいずれも含んでもよい。該コンピュータ記録媒体は、コンピュータ可読命令語、データ構造、プログラムモジュール、またはその他データのような情報保存のための任意の方法または技術によって具現された揮発性及び不揮発性、分離型及び非分離型の媒体をいずれも含む。該通信媒体は、典型的に、コンピュータ可読命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他データ、またはその他伝送メカニズムを含み、任意の情報伝達媒体を含む。また、本実施形態は、コンピュータによって実行されるコンピュータプログラムのようなコンピュータによって実行可能な命令語を含むコンピュータプログラムまたはコンピュータプログラム製品（computer program product）によっても具現される。
【0296】
以上において、本発明の実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義されている本発明の基本概念を利用した当業者の多くの変形及び改良形態も、本発明の権利範囲に属するものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
