特表 2024-539403 映像基盤遠隔ホームケアシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】映像基盤遠隔ホームケアシステム

(51)【国際特許分類】

   H04N 21/24 20110101AFI20241018BHJP

   G06T 7/00 20170101ALI20241018BHJP

   G06T 7/20 20170101ALI20241018BHJP

   G06V 10/70 20220101ALI20241018BHJP

   G06V 40/20 20220101ALI20241018BHJP

【ＦＩ】

H04N21/24

G06T7/00 350B

G06T7/00 660Z

G06T7/20 300Z

G06V10/70

G06V40/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024526889

(86)(22)【出願日】2022-04-12

(85)【翻訳文提出日】2024-05-01

(86)【国際出願番号】 KR2022005261

(87)【国際公開番号】W WO2023090547

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】10-2021-0157231

(32)【優先日】2021-11-16

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】524166880

【氏名又は名称】クアンタム テックエヌセキュ カンパニー リミテッド

【氏名又は名称原語表記】ＱＵＡＮＴＵＭ ＴＥＣＨＮＳＥＣＵ．ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｇ４ｈｏ，２Ｆ，１１２，Ｄｏｇｏｋ－ｒｏ Ｇａｎｇｎａｍ－ｇｕ Ｓｅｏｕｌ ０６２５８，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】キム、ヒョン チョル

(72)【発明者】

【氏名】キム、スン チョル

【テーマコード（参考）】

5C164

5L096

【Ｆターム（参考）】

5C164FA07

5C164FA28

5C164SB41P

5C164YA12

5L096AA06

5L096BA02

5L096CA04

5L096CA05

5L096DA01

5L096DA03

5L096EA33

5L096FA69

5L096HA05

5L096HA11

5L096KA04

(57)【要約】

本発明はホームケアシステムを開示する。より詳細には、本発明は遠隔地でＩＰ－ＣＡＭを利用して撮影された被観察者の映像に基づいて、応急状況などの各種予期せぬイベントが発生することをリアルタイムでモニタリングする映像基盤遠隔ホームケアシステムに関する。本発明の実施例によると、独居老人など脆弱階層が居住する居住地に一つ以上のＩＰ－ＣＡＭを設置またはスマート端末を準備し、被保護者の現在の姿をリアルタイムで撮影して収集し、収集された映像の分析を通じて緊急状況発生の有無を判断および連係された緊急状況センターに申告して被保護者を保護できる効果がある。
【選択図】図１

【特許請求の範囲】

【請求項1】

被保護者が居住する居住地に設置されて被保護者のモーションをリアルタイムで撮影する一つ以上のＩＰ－ＣＡＭ；
前記ＩＰ－ＣＡＭと有線または無線で連結され、ＩＰ－ＣＡＭが撮影した被保護者映像を外部の情報通信網に伝送するゲートウェイ；および
情報通信網を通じて各居住地のゲートウェイと連結されて被保護者映像をリアルタイムで収集し、各被保護者別モーション分析を通じて被保護者の現在状態を判断し、緊急状況発生時に緊急状況センターに緊急出動を要請するメインサーバーを含み、
前記メインサーバーは、
多様な環境で撮影された多数の学習映像を数ヶ月以上機械学習した学習モデルを利用して収集された被保護者映像を分析するものである、映像基盤遠隔ホームケアシステム。

【請求項2】

前記ゲートウェイは、前記居住地に位置し、前記メインサーバーと連動するアプリケーションが設置された一つ以上のスマート端末とさらに連結され、
前記アプリケーションは、
前記スマート端末に搭載されたカメラを通じて前記ＩＰ－ＣＡＭと互いに異なる位置および角度で被保護者をリアルタイムで撮影し、前記ゲートウェイを通じて前記被保護者映像を前記メインサーバーに伝送するものである、請求項１に記載の映像基盤遠隔ホームケアシステム。

【請求項3】

前記メインサーバーは、
各居住地のゲートウェイから一つ以上の被保護者映像をリアルタイムで受信する映像収集部；
被保護者および保護者に対する会員加入手続きを提供し、会員加入した被保護者および保護者の情報を会員データベースに保存し、収集された映像の当事者である被保護者を識別する会員管理部；
識別された被保護者別に該当する被保護者映像を分類し、映像保存所に保存する映像分類部；
分類された被保護者映像内に登場する被保護者を抽出し、抽出された被保護者のモーションを分析して緊急状況発生の有無を判断する映像分析部；および
学習データベースに保存された多数の学習映像を利用して機械学習を遂行し、前記映像分析部の被保護者モーション分析時に学習された学習モデルを提供する学習部を含む、請求項１に記載の映像基盤遠隔ホームケアシステム。

【請求項4】

前記メインサーバーは、
前記映像分析部によって被保護者に対する緊急状況が発生したと判断されると、保護者および被保護者の情報を参照して該当被保護者の保護者を識別し、保護者端末に緊急状況に対する警告通知を提供する通知生成部を含む、請求項３に記載の映像基盤遠隔ホームケアシステム。

【請求項5】

前記被保護者映像は複数のＩＰ－ＣＡＭまたはスマート端末によって同一時点で撮影された互いに異なる特性を有する複数の映像に区分され、
前記映像分析部は、
前記複数の映像に含まれるメタ情報を参照して各映像のスケール、解像度およびフレームを含む属性を抽出する属性抽出部；
抽出された属性により前記複数の映像を一貫したフォーマットの映像データに変換し、映像内に登場する被保護者を追跡する映像処理部；および
学習モデルを利用して映像内に登場する被保護者のモーションを認識し、前記モーションが緊急状況に該当するモーションであるかどうかを判別するモーション判別部を含む、請求項３に記載の映像基盤遠隔ホームケアシステム。

【請求項6】

前記映像処理部は、
基準となる映像の属性に対応するように各映像のスケールおよび解像度を変換する変換部；
複数の映像のうち、基準フレーム以下の映像に対して補間フレームを生成して追加する補間部；および
撮影された方向および角度により各映像が撮影する領域を定義し、被保護者が同時に二以上の映像に登場すれば、該当映像の領域を整合する整合部を含む、請求項５に記載の映像基盤遠隔ホームケアシステム。

【請求項7】

前記メインサーバーは、情報通信網を通じて被保護者の保護者または社会福祉士が所有した一つ以上の保護者端末とさらに連結され、
前記保護者端末は、
関連した被保護者の身辺に応急状況発生時、前記メインサーバーから警告通知を受信し、保護者の操作により緊急状況センターに緊急出動を要請するものである、請求項１に記載の映像基盤遠隔ホームケアシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はホームケアシステムに関し、特に遠隔地でＩＰ－ＣＡＭを利用して撮影された被観察者の映像に基づいて、応急状況などの各種予期せぬイベントが発生することをリアルタイムでモニタリングする映像基盤遠隔ホームケアシステムに関する。

【背景技術】

【0002】

最近核家族化および老齢化の現象が目立っており、このような現象により普段の日常生活でも危険に露出される多様な形態の社会脆弱階層が増加している。特に、緊急状況で助けを与えることができる看病人なしに単独で独居する独居老人の数は高齢化によって毎年増加している趨勢である。

【0003】

このような独居老人は、ある日突然自身の身体に急変現象が発生した時、行動の制約により他人の助けを通じて緊急な救急がなされなければならないにも関わらず、家族等他人の助けを即刻に受けることができない状況に置かれている。

【0004】

高齢による病気、孤独、貧困、無職業などに対応する社会的、経済的対策は高齢化社会が当面している課題であって、誰かの助けを受け難い独居老人に対して突然に健康に異常が生じる危急状況が発生する場合に対応するための多様なモニタリングシステムが必要である状況である。

【0005】

このような独居老人のために提案されたシステムとして、登録特許公報第１０－１９２７３７３号は居住者モニタリング装置がカメラまたはモーション感知器から受信されたデータを利用して居住者の動きを捉えることを試み、指定時間の間動きが捉えられない場合には居住者モニタリング装置がアラーム信号を出力し、アラーム信号に後続して居住者モニタリング装置が居住者の動きを捉えることを試み、もし指定時間以内に動きが捉えられない場合、居住者モニタリング装置が広帯域通信網を通じて管理サーバーにアラームメッセージを伝送するとともに、近距離個人通信網を通じて居住者モニタリング装置に連結されたマイクがマイクグリル内に内蔵された生体信号センサを通じて生体データをセンシングするモニタリング方法を開示している。

【0006】

このような先行技術文献によると、遠隔で居住者の多様な状態をモニタリングし、モニタリング結果により居住者の管理が可能となる効果を期待することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】大韓民国登録特許公報第１０－１９２７３７３号（公告日：２０１８．１２．１２．）

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は前述した独居老人など社会脆弱階層を遠隔地で管理、監督するとともに、緊急状況発生時にゴールデンタイムを逃さずに即刻措置がなされ得るようにする遠隔ホームケアサービスを提供するのに課題がある。

【0009】

また、本発明は宅内に設置される複数のＩＰ－ＣＡＭおよび映像撮影が可能な一つ以上のスマート端末から互いに異なる形式の映像を獲得し、映像補正を通じて収集される被保護者を撮影した映像を均一化して正確な分析結果を導き出すシステムを提供するのに他の課題がある。

【課題を解決するための手段】

【0010】

前述した課題を解決するために、本発明の好ましい実施例に係る映像基盤遠隔ホームケアシステムは、被保護者が居住する居住地に設置されて被保護者のモーションをリアルタイムで撮影する一つ以上のＩＰ－ＣＡＭ、前記ＩＰ－ＣＡＭと有線または無線で連結され、ＩＰ－ＣＡＭが撮影した被保護者映像を外部の情報通信網に伝送するゲートウェイおよび、情報通信網を通じて各居住地のゲートウェイと連結されて被保護者映像をリアルタイムで収集し、各被保護者別モーション分析を通じて被保護者の現在状態を判断し、緊急状況発生時に緊急状況センターに緊急出動を要請するメインサーバーを含み、前記メインサーバーは、多様な環境で撮影された多数の学習映像を数ヶ月以上機械学習した学習モデルを利用して収集された被保護者映像を分析することができる。

【0011】

前記ゲートウェイは、前記居住地に位置し、前記メインサーバーと連動するアプリケーションが設置された一つ以上のスマート端末とさらに連結され、前記アプリケーションは、前記スマート端末に搭載されたカメラを通じて前記ＩＰ－ＣＡＭと互いに異なる位置および角度で被保護者をリアルタイムで撮影し、前記ゲートウェイを通じて前記被保護者映像を前記メインサーバーに伝送することができる。

【0012】

前記メインサーバーは、各居住地のゲートウェイから一つ以上の被保護者映像をリアルタイムで受信する映像収集部、被保護者および保護者に対する会員加入手続きを提供し、会員加入した被保護者および保護者の情報を会員データベースに保存し、収集された映像の当事者である被保護者を識別する会員管理部、識別された被保護者別に該当する被保護者映像を分類し、映像保存所に保存する映像分類部、分類された被保護者映像内に登場する被保護者を抽出し、抽出された被保護者のモーションを分析して緊急状況発生の有無を判断する映像分析部および、学習データベースに保存された多数の学習映像を利用して機械学習を遂行し、前記映像分析部の被保護者モーション分析時に学習された学習モデルを提供する学習部を含むことができる。

【0013】

前記メインサーバーは、前記映像分析部によって被保護者に対する緊急状況が発生したと判断されると、保護者および被保護者の情報を参照して該当被保護者の保護者を識別し、保護者端末に緊急状況に対する警告通知を提供する通知生成部を含むことができる。

【0014】

前記被保護者映像は複数のＩＰ－ＣＡＭまたはスマート端末によって同一時点で撮影された互いに異なる特性を有する複数の映像に区分され、前記映像分析部は、前記複数の映像に含まれるメタ情報を参照して各映像のスケール、解像度およびフレームを含む属性を抽出する属性抽出部、抽出された属性により前記複数の映像を一貫したフォーマットの映像データに変換し、映像内に登場する被保護者を追跡する映像処理部および、学習モデルを利用して映像内に登場する被保護者のモーションを認識し、前記モーションが緊急状況に該当するモーションであるかどうかを判別するモーション判別部を含むことができる。

【0015】

前記映像処理部は、基準となる映像の属性に対応するように各映像のスケールおよび解像度を変換する変換部、複数の映像のうち、基準フレーム以下の映像に対して補間フレームを生成して追加する補間部および、撮影された方向および角度により各映像が撮影する領域を定義し、被保護者が同時に二以上の映像に登場すれば、該当映像の領域を整合する整合部を含むことができる。

【0016】

前記メインサーバーは、情報通信網を通じて被保護者の保護者または社会福祉士が所有した一つ以上の保護者端末とさらに連結され、前記保護者端末は関連した被保護者の身辺に応急状況発生時、前記メインサーバーから警告通知を受信し、保護者の操作により緊急状況センターに緊急出動を要請することができる。

【発明の効果】

【0017】

本発明の実施例によると、独居老人など脆弱階層が居住する居住地に一つ以上のＩＰ－ＣＡＭを設置またはスマート端末を準備し、被保護者の現在の姿をリアルタイムで撮影して収集し、収集された映像の分析を通じて緊急状況発生の有無を判断および連係された緊急状況センターに申告して被保護者を保護できる効果がある。

【0018】

また、本発明の実施例によると、管理対象である居住地に設置される複数のＩＰ－ＣＡＭ、スマート端末から収集された映像を一定基準により均一化し、これを連係して分析することによってより正確な分析結果を提供できる効果がある。

【図面の簡単な説明】

【0019】

【図1】本発明の実施例に係る映像基盤遠隔ホームケアシステムの全体構造を概略的に示した図面である。

【図2】本発明の実施例に係る映像基盤遠隔ホームケアシステムのメインサーバーの構造を示した図面である。

【図3】本発明の実施例に係るメインサーバーに搭載される映像分析部の構造を示した図面である。

【図4】本発明の実施例に係る映像基盤遠隔ホームケアシステムの被保護者ホームケア方法を示した図面である。

【図5】本発明の実施例に係る映像基盤遠隔ホームケアシステムと連係するアプリケーションが提供する画面を例示した図面である。

【図6】本発明の実施例に係る映像基盤遠隔ホームケアシステムと連係するアプリケーションが提供する画面を例示した図面である。

【発明を実施するための形態】

【0020】

前記のような本発明を、添付された図面と実施例を通じて詳細に説明することにする。

【0021】

本発明で使われる技術的用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではないことに留意されたい。また、本発明で使われる技術的用語は本発明で特別に異なる意味で定義されない限り、本発明が属する技術分野で通常の知識を有する者によって一般的に理解される意味で解釈されるべきであり、過度に包括的な意味で解釈されたり、過度に縮小された意味で解釈されてはならない。また、本発明で使われる技術的な用語が本発明の思想を正確に表現できない誤った技術的用語である時には、当業者が正しく理解できる技術的用語で代替されて理解されるべきである。また、本発明で使われる一般的な用語は辞書に定義されているところに沿って、または前後の文脈上により解釈されるべきであり、過度に縮小された意味で解釈されてはならない。

【0022】

また、本発明で使われる単数の表現は文脈上明白に異なって意味しない限り複数の表現を含む。本発明で、「構成される」または「含む」等の用語は発明に記載された種々の構成要素、または種々の段階を必ずすべて含むと解釈されてはならず、そのうち一部の構成要素または一部の段階は含まれなくてもよく、または追加的な構成要素または段階をさらに含み得るものと解釈されるべきである。

【0023】

また、本発明で使われる第１、第２等のように序数を含む用語は構成要素の説明に使われ得るが、構成要素は用語によって限定されてはならない。用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。

【0024】

以下、添付された図面を参照して本発明に係る好ましい実施例を詳細に説明するものの、図面符号にかかわらず同一または類似する構成要素は同じ参照番号を付し、これに対する重複する説明は省略することにする。

【0025】

また、本発明の説明において関連した公知技術に対する具体的な説明が本発明の要旨を曖昧にさせ得る恐れがあると判断される場合、その詳細な説明を省略する。また、添付された図面は本発明の思想を容易に理解できるようにするためのものに過ぎず、添付された図面によって本発明の思想が制限されると解釈されてはならないことに留意されたい。

【0026】

そして、以下の説明で本発明の「映像基盤遠隔ホームケアシステム」の用語は、説明の便宜上「システム」と混用して記載され得る。

【0027】

図１は、本発明の実施例に係る映像基盤遠隔ホームケアシステムの全体構造を概略的に示した図面である。

【0028】

図１を参照すると、本発明の実施例に係る映像基盤遠隔ホームケアシステムは、管理、監督が必要なモニタリング対象である保護者が居住する居住地１に一つ以上のＩＰ－ＣＡＭ１０を設置して被保護者の姿を２４時間撮影し、その被保護者映像をゲートウェイ３０を通じて遠隔地の中央管理センター３のメインサーバー１００に提供し、メインサーバー１００は各地域の居住地１のゲートウェイ３０と連結されて被保護者映像をリアルタイムで収集し、収集された映像を被保護者別に分類および機械学習モデルを通じてモーション分析を遂行することによって、被保護者が普段と変わらない状態であるかあるいは緊急な状況であるかを判別することになる。もし、緊急状況が発生したものと判断される場合、メインサーバー１００は連係された消防署、警察署など、緊急状況センターに申告して被保護者に対する緊急の救急が速かになされるようにする。

【0029】

ここで、ＩＰ－ＣＡＭ１０は公知のＩＰ基盤データ通信を遂行するカメラ装置であり得、２４時間駆動して居住地内の被保護者の姿を撮影することができる。

【0030】

また、居住地１には固定設置式のＩＰ－ＣＡＭ１０以外にも、被保護者が意図した位置で自身を撮影できるカメラモジュールが搭載されたスマートフォン、タブレットＰＣなどのスマート端末２０がさらに配置されてゲートウェイ３０と無線で連結され得、ＩＰ－ＣＡＭ１０とともに被保護者を撮影して被保護者映像を追加で提供してもよい。

【0031】

また、メインサーバー１００には被保護者に関連した家族または社会福祉士などの保護者５が登録され得、緊急状況発生時に該当保護者を識別し、その保護者端末５０に警告通知をプッシュメッセージなどの形態で提供することができる。

【0032】

前述したゲートウェイ３０とメインサーバー１００を連結する情報通信網としては、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）のような有線電話網だけでなく、データ通信網の一例として、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの閉鎖型ネットワークであり得、インターネットのような開放型ネットワークが利用され得る。インターネットはＴＣＰ／ＩＰプロトコルおよびその上位階層に存在する種々のサービス、すなわちＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、Ｔｅｌｎｅｔ、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｙｓｔｅｍ）、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）、ＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｅｒｖｉｃｅ）、ＮＩＳ（Ｎｅｔｗｏｒｋ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｒｖｉｃｅ）を提供する全世界的な開放型コンピュータネットワーク構造を意味し得る。また、無線通信網の一例としては、移動通信のための技術標準または通信方式（例えば、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＬＴＥ（ｌｏｎｇ－ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）（登録商標）、ＬＴＥ－Ａ（ＬＴＥ Ａｄｖａｎｃｅ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）（ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＵＭＴＳ（ｕｎｉｖｅｒｓａｌ ｍｏｂｉｌｅ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｓｙｓｔｅｍ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）、またはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、５Ｇなどのうち、いずれか一つが利用され得るがこれに限定されるものではない。

【0033】

特に、本発明の実施例に係るメインサーバー１００は収集される被保護者映像に登場する被保護者のモーションの分析を通じて緊急状況発生の有無を判別することになり、このために、機械学習モジュールを搭載することができる。このような機械学習に関連した詳細な説明は後述することにする。

【0034】

前述した構造により、本発明の実施例に係る映像基盤遠隔ホームケアシステムは、各地域の居住地で一人で生活する独居老人など社会脆弱階層に対してＩＰ－ＣＡＭを利用してモニタリング対象者である被保護者をリアルタイムで撮影し、遠隔地で被保護者映像を分析して緊急状況発生の有無を判断および措置を取ることができる。

【0035】

以下、図面を参照して本発明の実施例に係る映像基盤遠隔ホームケアシステムのメインサーバーを詳細に説明する。

【0036】

図２は、本発明の実施例に係る映像基盤遠隔ホームケアシステムのメインサーバーの構造を示した図面である。以下の説明で、本発明のメインサーバー１００およびその構成部は公知のクラウドプラットフォーム上に設置および運営され得る。クラウドプラットフォームに基づいてサーバーを運営することは、大容量の映像を保存および分析するのに必要とされるコンピュータ資源の自由な拡張に有利であるという長所がある。

【0037】

図２を参照すると、本発明の実施例に係る映像基盤遠隔ホームケアシステムのメインサーバー１００は、各居住地のゲートウェイ３０から一つ以上の被保護者映像をリアルタイムで受信する映像収集部１１０、被保護者および保護者に対する会員加入手続きを提供し、会員加入した被保護者および保護者の情報を会員データベース１２５に保存し、収集された映像の当事者である被保護者を識別する会員管理部１２０、識別された被保護者別に該当する被保護者映像を分類し、映像保存所１３５に保存する映像分類部１３０、分類された被保護者映像内に登場する被保護者を抽出し、抽出された被保護者のモーションを分析して緊急状況発生の有無を判断する映像分析部１４０、学習データベース１５５に保存された多数の学習映像を利用して機械学習を遂行し、映像分析部１４０の被保護者モーション分析時に学習された学習モデルを提供する学習部１５０および、映像分析部１４０により被保護者に対する緊急状況が発生したと判断されると、保護者および被保護者の情報を参照して該当被保護者の保護者を識別し、保護者端末５０に緊急状況に対する警告通知を提供する通知生成部１６０を含むことができる。

【0038】

映像収集部１１０は各地域に位置した居住地に設置される一つ以上のＩＰ－ＣＡＭから撮影された被保護者映像をゲートウェイ３０から伝送を受けることができる。映像収集部１１０はゲートウェイのＩＰ情報を通じて各被保護者映像の出処を確認でき、そのＩＰ情報は以後映像分類時に活用され得る。

【0039】

会員管理部１２０は本発明の実施例に係る遠隔ホームケアサービスを利用しようとする保護者および被保護者に対する会員加入手続きおよび、ログイン手続きを処理でき、保護者および被保護者情報を会員データベース１２５に保存することができる。

【0040】

本発明のサービスを利用するためには会員加入が必須であり、会員加入手続きで獲得した保護者および被保護者情報は緊急の救急通知機能を具現するのに活用され得る。

【0041】

会員データベース１２５は会員加入した保護者および被保護者情報を保存することができる。このような会員データベース１２５には保護者および被保護者の説明、連絡先、住所、ＩＰ情報および、各居住地に設置されたＩＰ－ＣＡＭの使用などが含まれ得、このような情報はリアルタイムで収集される被保護者映像を被保護者別に分類し、緊急状況発生時、被保護者の居住地の住所および、該当被保護者に対する保護者の連絡先を確認するのに活用され得る。

【0042】

映像分類部１３０はゲートウェイ３０からリアルタイムで収集される被保護者映像を被保護者別に分類することができる。メインサーバー１００は各地域の多数の居住地に設置された多数のゲートウェイ３０からリアルタイムで被保護者映像を収集するため、分析のために分類が要求され、映像分類部１３０は各映像が伝送されたゲートウェイ３０のＩＰ情報を利用して被保護者を識別し、収集した映像を分類して映像保存所１３５に保存することができる。

【0043】

映像保存所１３５は被保護者別に分類された被保護者映像をファイル形態で保存することができる。映像保存所１３５にはアカウント別に保存空間が割り当てられ得、映像収集部１１０によりリアルタイムで収集された被保護者映像を保存することができ、一定時間が経過すると自動削除することによって、追加される被保護者に対する映像の保存のための一定量の余裕空間を持続的に維持できるようにする。

【0044】

また、本発明の一実施例によると、映像保存所１３５は保存された特定映像、特に被保護者のモーション分析により緊急状況と判別された時点の映像を学習データベース１５５に提供することによって、学習映像をアップデートするのに活用することができる。

【0045】

映像分析部１４０は分類された被保護者映像を映像処理を通じて映像内で被保護者を抽出および追跡し、抽出された被保護者のモーションを分析して異常モーションの有無を判別することができる。本発明は各地域の居住地に設置されたＩＰ－ＣＡＭから収集された映像を分析して被保護者の現在状態を判断し、緊急状況である場合、遠隔地で直ちに措置を取るようにすることを要旨とし、したがって、映像分析部１４０は準備された機械学習モデルを利用して被保護者別に被保護者映像を分析して映像内被保護者に該当する客体を抽出および追跡し、被保護者のモーションを分析して異常モーションを取っているかを判別することができる。

【0046】

学習部１５０は映像分析部１４０に被保護者の抽出およびモーション分析のための機械学習モデルを提供し、多数の学習映像を通じて学習モデルに対する機械学習を遂行できる。ここで、学習モデルは多様な背景に登場する人のモーションを含む多数の学習映像を６ヶ月以上の学習結果に基づいて異常モーションを判別することができる。

【0047】

学習データベース１５５は学習部１５０に多数の多様な形態の学習映像を提供することができる。前述した通り、学習映像は登場する人のモーションが緊急状況に対応する異常モーションであるかを判別するための映像であって、このような学習映像をビッグデータで予め準備され得る。また、学習データベース１５５はメインサーバー１００が収集した緊急状況に対応する、映像保存所１３５に保存された被保護者映像を学習映像に追加して学習モデルに提供することができる。

【0048】

通知生成部１６０は映像分析部１４０の分析結果、特定被保護者が異常モーションを取ることにより緊急状況が発生したと判断されると、該当被保護者に連係された保護者を識別して警告通知メッセージを保護者端末５０に伝送することができる。また、通知生成部１６０は連係された緊急状況センターのセンター端末６０に該当被保護者に対する緊急の救急を要請することができる。

【0049】

また、通知生成部１６０は保護者端末５０およびセンター端末６０に緊急状況が発生した被保護者の映像を警告通知メッセージとともに伝送することによって、保護者が現在状況を直ちに判断できるようにする機能を提供することができる。

【0050】

以下、図面を参照して本発明の実施例に係る、映像分析のためのメインサーバーに搭載される映像分析部を詳細に説明する。

【0051】

図３は，本発明の実施例に係るメインサーバーに搭載される映像分析部の構造を示した図面である。

【0052】

図３を参照すると、本発明の実施例に係る映像基盤遠隔ホームケアシステムのメインサーバーに搭載される映像分析部１４０は、複数の映像に含まれるメタ情報を参照して各映像のスケール、解像度およびフレームを含む属性を抽出する属性抽出部１４１、抽出された属性により複数の映像を一貫したフォーマットの映像データに変換し、映像内に登場する被保護者を追跡する映像処理部１４３および、学習モデルを利用して映像内に登場する被保護者のモーションを認識し、前記モーションが緊急状況に該当するモーションであるかどうかを判別するモーション判別部１４５を含むことができる。

【0053】

属性抽出部１４１は伝送される多様なフォーマットによる被保護者映像の属性を抽出することができる。本発明の一実施例に係るシステムは、多数の居住地に複数の互いに異なる方向、角度で映像を撮影し、互いに異なる仕様のＩＰ－ＣＡＭをはじめとして被保護者または保護者が追加したスマート端末から被保護者映像を収集、分析することにより、収集された映像のスケール、解像度などに差が発生する可能性があり、これは同一の居住地に対する映像の分析時に正確度を低くする原因となり得る。

【0054】

このような問題を改善し分析結果の正確度を高めるために、本発明の一実施例に係る映像分析部１４０は、一つの居住地から収集された互いに異なるフォーマットの第１～第ｎ（ｎは自然数）映像に対して、映像に含まれた属性に対応するメタ情報を抽出することができる。

【0055】

映像処理部１４３は属性が抽出された第１～第ｎ映像のフォーマットを、基準により変換、補間および整合して一貫した一つのフォーマットを有する映像として処理することができる。

【0056】

詳細には、映像処理部１４３は前述した機能を具現するための構成であって、基準となる映像の属性に対応するように各映像のスケールおよび解像度を変換する変換部１４３１、複数の映像のうち、基準フレーム以下の映像に対して補間フレームを生成して追加する補間部１４３３および、撮影された方向および角度により各映像が撮影する領域を定義し、被保護者が同時に二以上の映像に登場すれば、該当映像の領域を整合する整合部１４３５を含むことができる。

【0057】

変換部１４３１は第１～第ｎ映像に対して、メタ情報を参照して各映像のスケール（ｉｍａｇｅ ｓｃａｌｅ）、解像度（ｒｅｓｏｌｕｔｉｏｎ）等を判断し、基準となるいずれか一つの映像（ｅｘ．第１映像）または別途の固定された基準（ｅｘ．ｉｍａｇｅ ｓｃａｌｅ＝２．５ａｒｃｓｅｃｓ／ｐｉｘｅｌ、ｒｅｓｏｌｕｔｉｏｎ＝ＦＨＤ（１９２０×１０８０）等）により残りの映像（ｅｘ．第２～第ｎ映像）を変換することができる。

【0058】

補間部１４３３は各第１～第ｎ映像のフレームが一致するように映像に補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）フレームを追加することができる。一例として、第１、第３映像のフレームがそれぞれ６０ｆｐｓであり、第２映像が３０ｆｐｓであるとする時、補間部１４３３は第２映像の各フレームの間にフレーム間中間値を有する追加フレームを生成および挿入することによって、６０ｆｐｓに隣接するように映像を加工することができる。

【0059】

整合部１４３５は第１～第ｎ映像に共通して登場する客体を識別し、その位置およびモーションを共有するように処理することができる。第１～第ｎ映像はそれぞれ異なる方向および位置に設置されたＩＰ－ＣＡＭおよびスマート端末によって撮影された映像であることにより、その一部又は全部には客体である被保護者が登場し得、各映像に登場する客体が同一の被保護者を示すものであるかまたは他の客体（ｅｘ．外部の人、家具など）であるかを正確に判断するために、映像内で客体が登場する座標は互いに異なるものの、同一客体である場合には実質的に同一の領域を示すものであることにより、二以上の映像に登場する客体が被保護者である場合、これは同一客体の同一領域を示すものであるので二つの映像の領域を整合して被保護者が登場する時、その位置を追跡できるようにする。

【0060】

モーション判別部１４５は変換、補間および整合過程が完了した映像に対して、準備された学習モデルを利用して映像内に登場する被保護者のモーションに対する異常モーションの有無を判別し、その結果を出力することができる。

【0061】

前述した構造により、本発明の実施例に係る映像基盤遠隔ホームケアシステムは、収集した被保護者映像に対する変換、補間、整合などの映像処理過程を通じて高い正確度を有するようにして、被保護者の異常モーションを判別することができる。

【0062】

以下、図面を参照して本発明の実施例に係る映像基盤遠隔ホームケアシステムによる被保護者に対するホームケア方法を詳細に説明する。

【0063】

図４は、本発明の実施例に係る映像基盤遠隔ホームケアシステムの被保護者ホームケア方法を示した図面である。以下の説明で各段階別実行の主体は別途の記載がなくても、メインサーバーおよび本発明の映像基盤遠隔ホームケアシステムを構成する各構成部となる。

【0064】

図４を参照すると、本発明の実施例に係る映像基盤遠隔ホームケアシステムの被保護者モニタリング方法によると、被保護者が居住する居住地に設置されたＩＰ－ＣＡＭが被保護者のモーションをリアルタイムで撮影する段階（Ｓ１００）、ＩＰ－ＣＡＭと有線または無線で連結されるゲートウェイがＩＰ－ＣＡＭが撮影した被保護者映像を外部の情報通信網を通じてメインサーバーに伝送する段階（Ｓ１１０）、情報通信網を通じて各居住地のゲートウェイと連結されたメインサーバーが被保護者映像をリアルタイムで収集する段階（Ｓ１２０）、メインサーバーが収集された被保護者映像を被保護者別に分類する段階（Ｓ１３０）および、メインサーバーが各被保護者別モーション分析を通じて被保護者の現在状態を判断し、緊急状況発生時に緊急状況センターに緊急出動を要請する段階（Ｓ１４０）を含むことができる。

【0065】

まず、被保護者が居住する居住地に設置されたＩＰ－ＣＡＭが被保護者のモーションをリアルタイムで撮影する段階（Ｓ１００）として、本発明のホームケアサービスを利用しようとする保護者および被保護者はメインサーバーを通じての会員加入手続きを完了し、以後被保護者の居住地に一つ以上のＩＰ－ＣＡＭおよびゲートウェイを設置してＩＰ－ＣＡＭが被保護者のモーションをリアルタイムで撮影する。

【0066】

次に、ＩＰ－ＣＡＭと有線または無線で連結されるゲートウェイがＩＰ－ＣＡＭが撮影した被保護者映像を外部の情報通信網を通じてメインサーバーに伝送する段階（Ｓ１１０）では、リアルタイムでＩＰ－ＣＡＭが居住地内部を撮影することにより、これと連結されたゲートウェイが情報通信網を通じて撮影された被保護者映像をメインサーバーに伝送することになる。ここで、ＩＰ－ＣＡＭは有線ＬＡＮまたはブルートゥース（登録商標）、ＷｉＦｉプロトコルを通じてゲートウェイと連結され得、ＴＣＰ／ＩＰプロトコルでメインサーバーとデータ通信を遂行できる。このようなゲートウェイは居住地に設置されたルータ、ブロードバンドルータ等を通じて具現され得る。

【0067】

次に、情報通信網を通じて各居住地のゲートウェイと連結されたメインサーバーが被保護者映像をリアルタイムで収集する段階（Ｓ１２０）では、Ｓ１１０段階によりメインサーバーがサービスに登録した一つ以上の被保護者の居住地に設置されたゲートウェイから被保護者映像をリアルタイムで伝送を受けて収集することになる。

【0068】

次に、メインサーバーが収集された被保護者映像を被保護者別に分類する段階（Ｓ１３０）では、多数のゲートウェイから多様な被保護者に対する被保護者映像がリアルタイムで伝送されることにより、メインサーバーが収集された被保護者映像を被保護者別に分類し、これをデータベースに保存することになる。

【0069】

そして、メインサーバーが各被保護者別モーション分析を通じて被保護者の現在状態を判断し、緊急状況発生時に緊急状況センターに緊急出動を要請する段階（Ｓ１４０）では、メインサーバーが被保護者別に分類された被保護者映像に対して、メインサーバーに搭載される機械学習モデルを通じて映像内で被保護者を抽出し現在モーションが異常モーションであるかを判別することになり、異常モーションが判別された場合には緊急状況が発生したものと見なし、警告通知を保護者端末に提供することができる。また、メインサーバーは緊急状況センターに被保護者に対する緊急の救急を要請することができる。

【0070】

ここで、機械学習モデルは一つ以上のディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）技法が適用され得、多数の学習映像を通じて少なくとも６ヶ月以上の学習過程を経た後に分析過程に利用され得る。

【0071】

以下、本発明の実施例に係る映像基盤遠隔ホームケアシステムのアプリケーションが提供する画面の一例を通じて本発明の技術的思想を詳細に説明する。

【0072】

図５および図６は、本発明の実施例に係る映像基盤遠隔ホームケアシステムと連係するアプリケーションが提供する画面を例示した図面である。

【0073】

図５を参照すると、本発明の実施例に係る映像基盤遠隔ホームケアシステムのアプリケーションは、被保護者に関連した保護者のスマートフォンなどの保護者端末５０に設置、実行され得、保護者のモニタリングに関連した機能を提供したり、緊急状況発生時に警告通知メッセージを受信することができる。

【0074】

詳細には、保護者端末５０はアプリケーションの実行時、情報通信網を通じてメインサーバーに接続し、モニタリングに関連した機能である、リアルタイム映像を見る５１、被保護者連結５２および、緊急状況センター連結５３機能を提供することができる。このようなアプリケーションは普段には保護者端末５０のバックグラウンドで実行されてメインサーバーから警告通知メッセージをプッシュ（ｐｕｓｈ）メッセージの形態で受信することができる。

【0075】

まず、リアルタイム映像を見る５１機能は保護者が被保護者の現在状態を確認するために被保護者映像を受信および表示する機能であって、保護者が本機能を選択すれば、アプリケーションは現在被保護者映像をメインサーバーに要請することになり、これに伴いメインサーバーは保護者端末５０の識別手段、例えば、ＭＡＣ、電話番号などを確認して当事者を識別し、識別された保護者に連係された被保護者を確認して現在受信中の被保護者映像を保護者端末５０に伝送することによって、保護者端末５０の画面上で被保護者映像をリアルタイムで視聴できるようにする。

【0076】

被保護者連結５２機能は、一般の電話通話または映像通話機能を活性化するものであり、本機能が選択されるとアプリケーションは登録された電話番号を通じて被保護者が所持したスマート端末に電話連結を試みたり、メインサーバーに被保護者のスマート端末との映像通話を要請でき、スマート端末を通じて被保護者と音声または映像通話を遂行できる。

【0077】

緊急状況センター連結５３機能は、被保護者が被保護者映像確認または電話通話によって保護者に緊急状況が発生したことを認知することにより、消防署、警察署など、被保護者と隣接した地域に位置した緊急状況センターに連結を要請する機能であり、被保護者に対する緊急状況を確認した保護者が本機能を選択すれば緊急状況センターで運営中の端末に連結されて被保護者への出動を要請することができる。

【0078】

図６を参照すると、本発明の実施例に係る映像基盤遠隔ホームケアシステムが被保護者に対してモニタリング中、機械学習モデルを利用した被保護者映像分析時に異常モーションが現れたものと判別された場合、現在状況を保護者端末５０に提供する機能を例示している。

【0079】

被保護者に対して異常モーションが発生したと判断されると、メインサーバーは異常モーションと判断された時点を基準として前後１０秒程度の映像、総２０秒分量の被保護者映像を警告通知と共に該当保護者の保護者端末５０に伝送でき、これに伴い、アプリケーションは保護者端末５０上に警告通知メッセージとともに異常モーションが判別された前述した分量の被保護者映像５５を表示することができる。

【0080】

これによって、保護者は被保護者の現在状態および緊急状況発生の有無を直接確認でき、緊急状況であると判断時、緊急状況センター連結５３機能を選択して緊急状況センターに連結を試みおよび被保護者に対する出動を要請することができる。

【0081】

前記の説明に多くの事項が具体的に記載されているが、これは発明の範囲を限定するものというよりは好ましい実施例の例示として解釈されるべきである。したがって、発明は説明された実施例によって定められるものではなく特許請求の範囲と特許請求の範囲に均等なものによって定められるべきである。

【符号の説明】

【0082】

１：居住地 ３：中央管理センター
５：保護者 ７：緊急状況センター
１０：ＩＰ－ＣＡＭ ２０：スマート端末
３０：ゲートウェイ ５０：保護者端末
１００：メインサーバー １１０：映像収集部
１２０：会員管理部 １２５：会員データベース
１３０：映像分類部 １３５：映像保存所
１４０：映像分析部 １４１：属性抽出部
１４３：映像処理部 １４３１：変換部
１４３３：補間部 １４３５：整合部
１４５：モーション判別部 １５０：学習部
１５５：学習データベース １６０：通知生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】