特許 7327837 カメラモジュール及び無線通信装置を活用して事象の感知を行うウェアラブル機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-07

(45)【発行日】2023-08-16

(54)【発明の名称】カメラモジュール及び無線通信装置を活用して事象の感知を行うウェアラブル機器

(51)【国際特許分類】

   G16H 10/00 20180101AFI20230808BHJP

   G06T 7/20 20170101ALI20230808BHJP

   G06F 3/01 20060101ALI20230808BHJP

   G16H 20/10 20180101ALI20230808BHJP

【ＦＩ】

G16H10/00

G06T7/20 300Z

G06F3/01 510

G16H20/10

【請求項の数】 10

(21)【出願番号】P 2021565144

(86)(22)【出願日】2020-05-07

(65)【公表番号】

(43)【公表日】2022-06-29

(86)【国際出願番号】 KR2020006008

(87)【国際公開番号】W WO2020226431

(87)【国際公開日】2020-11-12

【審査請求日】2021-11-02

(31)【優先権主張番号】10-2019-0053276

(32)【優先日】2019-05-07

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】520420090

【氏名又は名称】インハンドプラス インコーポレーテッド

【氏名又は名称原語表記】ＩＮＨＡＮＤＰＬＵＳ ＩＮＣ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】イ、フィ ウォン

【審査官】森田 充功

(56)【参考文献】

【文献】特表２０１８－５０６４０４（ＪＰ，Ａ）

【文献】特開２０１５－０３３０５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３５４２８３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０３０６９３２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００５５３１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

医薬品を収めているオブジェクトに取り付けられるように構成され、モーションセンサーと、周辺光センサーと、第１の制御部とを備える、無線通信装置と、
ユーザーが着用するように構成され、カメラ及び第２の制御部を備える、ウェアラブル機器と、
を備え、
前記無線通信装置がスリープ状態で動作している間、前記モーションセンサーから動きデータを取得し、前記周辺光センサーから周辺光データを取得し、前記スリープ状態は、無線信号を送信できない状態であり、
前記動きデータまたは前記周辺光データの少なくとも一方が第１の所定の条件を満たす場合、前記スリープ状態が活性化された状態に変更されることにより、前記ウェアラブル機器の前記カメラの活性化に関連する無線信号を前記ウェアラブル機器に送信し、
前記活性化された状態は、前記無線信号が送信可能な状態であり、前記無線信号は、前記動きデータおよび前記周辺光データを含み、
前記動きデータが前記オブジェクトの動きに対応し、前記周辺光データは、前記オブジェクトの周囲環境内の周辺光に対応し、
前記無線通信装置のバッテリの電力消費量は、前記活性化された状態におけるよりも前記スリープ状態において少なく、
前記第２の制御部は、
前記無線通信装置により供給される前記無線信号を受信し、
前記動きデータ、前記周辺光データ、および前記無線通信装置と前記ウェアラブル機器との間の距離を示す無線信号のＲＳＳＩのそれぞれが第２の所定の条件を満たすか否かを特定したことに基づいて、前記カメラを活性化させるか否かを判断し、
前記無線信号に基づいて前記カメラを活性化させるか否かを判断し、
前記カメラを活性化させると判断する場合に前記カメラを用いて画像または動画を生成する、
ように構成される、
モニタリングシステム。

【請求項2】

前記動きデータが動き測定値を含み、
前記動きデータは、前記動き測定値が第１の特定の値に達する場合に前記第１の所定の条件を満たし、
前記周辺光データが周辺光測定値を含み、
前記周辺光データは、前記周辺光測定値が第２の特定の値に達する場合に前記第２の所定の条件を満たす、
請求項１に記載のモニタリングシステム。

【請求項3】

前記動きデータが動き測定値を含み、
前記動きデータは、前記動き測定値の変化率が第１の特定の値に達する場合に前記第１の所定の条件を満たし、
前記周辺光データが周辺光測定値を含み、
前記周辺光データは、前記周辺光測定値が第２の特定の値に達する場合に前記第２の所定の条件を満たす、
請求項１に記載のモニタリングシステム。

【請求項4】

前記第２の制御部は、信号の強さに基づいて前記カメラを活性化させるか否かを判断するようにさらに構成され、
前記信号の強さは、前記ウェアラブル機器と前記無線通信装置との間の距離にしたがって変化する、
請求項１に記載のモニタリングシステム。

【請求項5】

前記無線通信装置が第１の送受信機をさらに備え、前記第１の制御部は、前記第１の送受信機を用いて前記無線信号を供給し、
前記ウェアラブル機器が第２の送受信機をさらに備え、前記第２の制御部は、前記第２の送受信機を用いて前記無線通信装置から前記無線信号を取得する、
請求項１に記載のモニタリングシステム。

【請求項6】

前記ウェアラブル機器は、ユーザーの手首に着用できるスマートウォッチであり、
前記カメラは、前記スマートウォッチのバンドの一部に組み込まれ、前記カメラの少なくとも一部は、前記スマートウォッチの前記バンドのサイド面を介して露出される、
請求項１に記載のモニタリングシステム。

【請求項7】

前記ウェアラブル機器は、ユーザーの手首に着用できるバンドを含み、前記バンドは、上面、下面、及び、サイド面を含み、
前記カメラが前記バンドの前記上面に取り付けられ、
前記カメラのレンズの光軸が前記バンドの前記上面と平行でない、
請求項１に記載のモニタリングシステム。

【請求項8】

前記モニタリングシステムがサーバーをさらに備え、
前記ウェアラブル機器の前記第２の制御部は、画像または動画を前記サーバーに送るように構成され、
前記サーバーは、前記画像または動画に基づいてユーザーの服薬遵守を確かめるように構成される、
請求項１に記載のモニタリングシステム。

【請求項9】

前記サーバーは、前記オブジェクトまたは前記ユーザーと関連する特定の動作が感知されるかどうかを判断するようにさらに構成され、
前記特定の動作は、前記オブジェクトのカバーを開放すること、医薬品の露出、前記医薬品をユーザーの手に取ること、及び、前記医薬品をユーザーの口に近づけることを含む、
請求項８に記載のモニタリングシステム。

【請求項10】

前記ウェアラブル機器は、前記ウェアラブル機器が通信網に接続できていない状況下で前記カメラにより生成された画像または動画を一時的に格納するとともに、前記ウェアラブル機器が前記通信網にうまく接続する際に前記一時的に格納された画像または動画を前記サーバーに送る、請求項８に記載のモニタリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の様々な実施形態は、ユーザーが着用できるウェアラブル機器に組み込まれているカメラモジュール及び無線通信技術を活用してさらに手軽にオブジェクトの事象を感知する技術に関する。

【背景技術】

【0002】

日常生活を営む中で、ユーザーは、自分が知らず知らずのうちに数多くの身体活動を行うことを余儀なくされる。特に、このような身体活動は、特定のオブジェクトを動かす事象をかなり伴うことになるが、ユーザーの習慣的なパターンと無意識的な領域において生じる事象をユーザーが一々覚えることは決して容易ではない。

【0003】

しばしば、このようなオブジェクトの動きを伴うユーザーの身体活動は、色々な領域において大切な事象として決められたりもする。例えば、ヘルスケアなどといった分野においては、ユーザーがいつ、どのような薬をどれくらい飲んだかが大切な要素であることもあり、特定の疾病の場合には、薬をうっかり飲み忘れないことが非常に肝要な治療上のイシューとして取り上げられることもある。

【0004】

問題は、このような非常に肝要な事象をうっかり抜かしたときに、ユーザーは、日常生活を営む中でこれに気付かない場合がほとんどであり、たとえ後でこれに気付いたとしても、事象の発生に間に合わなかったことに伴うロスないしリスクを遡及させることができないという限界点がある。

【0005】

近年、カメラなどを用いてユーザーの活動を分析する技術が登場したとはいえ、固設型カメラにとどまる場合がほとんどであり、日常生活に当てはめることは困難であるという不都合がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の様々な実施形態は、ウェアラブル機器とその構成を通して日常生活を営む中でわりと簡単に特定のオブジェクトを捉えて予め定められた事象が生じるか否かを判断し、事象の発生時間を記して多種多様なサービスを提供するところにその目的がある。

【0007】

本発明において解決しようとする技術的課題は、上述した技術的課題に何ら制限されるものではなく、未言及の他の技術的課題は、次の記載から通常の技術者にとって明らかに理解できる筈である。

【課題を解決するための手段】

【0008】

上述した技術的課題を解決するための本発明の様々な実施形態の一つに係るウェアラブル機器は、ユーザーの身体に着用可能なウェアラブル機器であって、ユーザーの身体と所定の領域内に位置しているオブジェクトを捉える近距離通信モジュールと、前記ウェアラブル機器と隣り合う領域を撮影して、ユーザーの身体の動きまたは前記オブジェクトのうちの少なくとも一方と関わる画像または動画を生成するカメラモジュールと、前記近距離通信モジュールを用いて寄せ集められたオブジェクト情報に基づいて、カメラモジュールの活性化有無を決める制御部と、前記近距離通信モジュールを用いて捉えたオブジェクトに関する情報及び前記カメラモジュールを用いて生成された画像または動画を管理サーバーに送る通信モジュールと、を備え、前記近距離通信モジュールは、前記オブジェクトに取り付けられた無線通信装置において生じる信号を受信し、前記制御部は、前記近距離通信モジュールが前記無線通信装置から受信する信号を解析して特定の条件（第２の所定の条件）が満たされたか否かを判断し、これを基にカメラモジュールの活性化有無を決めることを特徴としてもよい。

【0009】

前記ウェアラブル機器は、ユーザーの手首に着用されるスマートウォッチまたはスマートバンドであることを特徴とし、前記カメラモジュールは、前記スマートウォッチのバンドの部分または前記スマートバンドの一部分に組み込まれ、前記カメラモジュールの少なくとも一部は、前記スマートウォッチのバンドまたはスマートバンドのうちのサイド面を介して露出されることを特徴としてもよい。

【0010】

前記無線通信装置は、スリープモードにて運用されていて、特定の条件（第１の所定の条件）が満たされたときに活性化されて無線信号を送出することを特徴としてもよい。

【0011】

前記無線通信装置は、活性化された状態で無線信号を送出し続け、特定の条件が満たされる場合に、送出する無線信号に特定の条件の充足と関わる情報を埋め込むことを特徴としてもよい。

【0012】

前記制御部が、前記近距離通信モジュールが前記無線通信装置から受信する信号を解析して特定の条件（第２の所定の条件）が満たされたか否かを判断する過程は、前記近距離通信モジュールが前記オブジェクトを捉えるときの信号の強さ、照度センサーの測定値またはモーションセンサーの測定値のうちの少なくともいずれか一つ以上に基づいて行われることを特徴としてもよい。

【0013】

前記制御部は、既に設定された任意の時間区間内においてしか前記近距離通信モジュールが作動しないように制御してもよい。

【0014】

前記通信モジュールは、通信網に接続できていない状況下で感知された無線信号情報及び前記カメラモジュールにより生成された画像または動画を一時的に格納し、今後の通信網へに接続の際に前記管理サーバーに送ってもよい。

【0015】

前記制御部は、複数枚の基準画像または動画から特定のオブジェクトまたは動作と関わるフィーチャー値を設定し、設定されたフィーチャー値に基づいて、前記カメラモジュールにより生成された画像または動画からフィーチャー値を取り出して特定のオブジェクトの捕捉確率または特定の動作の発生確率を計算してもよい。

【0016】

上述した技術的課題を解決するための本発明の様々な実施形態の一つに係る管理サーバーは、ユーザーの身体に着用可能なウェアラブル機器との通信を用いて情報を取得し、取得した情報を管理する管理サーバーであって、前記ウェアラブル機器の近距離通信モジュールを用いて自動的に寄せ集められたオブジェクトの情報を受信し、前記ウェアラブル機器を用いて生成された画像または動画を受信する通信部と、前記オブジェクトの情報に基づいて、前記画像または動画上において前記オブジェクトまたは前記ユーザーの身体と関わる予め設定された動作が感知されるか否かをマシンラーニングまたは人工知能に基づいて判断する動作判断部と、を備えていてもよい。

【0017】

前記管理サーバーの動作判断部は、前記画像または動画上において前記オブジェクトまたは前記ユーザーの身体と関わる予め設定された動作が感知されるか否かを判断するに当たって、複数枚の基準画像または動画から特定のオブジェクトまたは動作と関わるフィーチャー値を設定し、前記画像または動画上から取り出されたフィーチャー値に基づいて、特定のオブジェクトの捕捉確率または特定の動作の発生確率を計算することを特徴としてもよい。

【発明の効果】

【0018】

本発明の実施形態により、ウェアラブル機器により特定の事象の発生有無と発生時間が記されることにより、ヘルスケアなどといった日常生活の分野において抜かし易いユーザーの事象を感知してより効率よいガイドシステムを提供することができ、ユーザーのパターンなどを学習してデータの解析が行えるシステムを実現することができる。

【0019】

本発明の効果は、上述した効果に何ら制限されるものではなく、未言及の他の効果は、次の記載から通常の技術者にとって明らかに理解できる筈である。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る事象感知システムの概略図である。

【図2】本発明の一実施形態に係るウェアラブル機器のブロック構成図である。

【図3】本発明の一実施形態に係る管理サーバーのブロック構成図である。

【図4】本発明の一実施形態に係るウェアラブル機器において、オブジェクトを感知し、画像または動画を生成する動作の手順図である。

【図5】本発明の一実施形態に係る管理サーバーにおいて、ウェアラブル機器から受信される情報を管理し、これを通して最終的に特定の事象が生じたか否かを判断する動作に対する手順図である。

【図6】本発明の他の実施形態に係るウェアラブル機器において、オブジェクトの事象を感知する動作の手順図である。

【図7】本発明の他の実施形態に係るウェアラブル機器において、オブジェクトの事象を感知する動作の手順図である。

【図8】本発明の一実施形態に係るウェアラブル機器の構造を説明するための図である。

【図9】本発明の一実施形態に係るウェアラブル機器がスマートウォッチのタイプに構成される場合を示す図である。

【図10】本発明の一実施形態に係るウェアラブル機器がスマートウォッチのタイプに構成される場合を示す図である。

【図11】本発明の一実施形態に係るウェアラブル機器がスマートウォッチのタイプに構成される場合を示す図である。

【発明を実施するための形態】

【0021】

この明細書において用いられる用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。この明細書において、単数型の言い回しは、別に断りのない限り、複数型の意味を含んでもよい。この明細書において用いられる「備える」、「含む」などの用語は、言及された構成要素の他に一つ以上の他の構成要素の存在または追加を排除しない。明細書の全般に亘って、同一の図面符号は同一の構成要素を指し示し、「及び／又は」は、言及された構成要素のそれぞれ及び一つ以上のあらゆる組み合わせを含む。たとえ「第１の」、「第２の」などの言い回しは、様々な構成要素を説明するうえで使用可能であるが、これらの構成要素は、これらの言い回しによって何等限定されないということはいうまでもない。これらの言い回しは、単にある構成要素を他の構成要素から区別する目的でしか使えない。したがって、以下において言及される第１の構成要素は、本発明の技術的思想内において第２の構成要素であってもよいということはいうまでもない。

【0022】

この明細書において言及される「事象」は、オブジェクトがユーザーの身体と関わって特定の領域に位置したり動いたりする動作の意味合いであってもよい。例えば、事象は、薬や食べ物を食べる行為などを網羅してもよいが、これに何ら限定されるものではない。

【0023】

図１は、本発明の一実施形態に係る事象感知システム１０の概略図である。このような事象感知システム１０は、ウェアラブル機器２００がオブジェクトに取り付けられた無線通信装置１００から送られてくる信号を認識し、オブジェクトを撮影することにより、所定の有効事象が生じるか否かを感知して時間情報を記す機能を行う。

【0024】

一実施形態によれば、事象感知システム１０は、無線通信装置１００と、ウェアラブル機器２００と、管理サーバー３００及びユーザー端末４００を備えていてもよい。

【0025】

無線通信装置１００は、オブジェクトに取り付けられたり、オブジェクトと隣り合う領域に位置したりして、ウェアラブル機器２００により認識されることにより、ウェアラブル機器２００にオブジェクトを捉えさせる機能を行う。このような無線通信装置１００としては、例えば、セルラー通信モジュール、近距離無線通信モジュール、汎地球測位航法衛星システム（ＧＮＳＳ:ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）通信モジュールなどが挙げられる。近距離無線通信モジュールとしては、例えば、ビーコン、ブルーテゥース、ＷＩＦＩダイレクト、ジグビー、ＲＦモジュール、ＮＦＣ（近距離無線通信）などが挙げられるが、これらに何ら限定されるものではない。

【0026】

一実施形態によれば、無線通信装置１００は、無線信号（例えば、ブルーテゥース信号）を送ってもよく、特定の状況の下でのみ信号を送って無線通信装置のバッテリー電力の消耗を抑えることができる。

【0027】

様々な実施形態によれば、無線通信装置１００は、スリープ状態にて運用されていて無線信号を送出できない非活性の状態であり、特定の条件（第１の所定の条件）が満たされれば、活性化された状態に変更して無線信号を送出してもよい。この場合、第１の所定の条件は、照度センサーの測定値またはモーションセンサーの測定値のうちの少なくとも一方が特定の数値に達することであってもよく、各測定値または計算値の変化率が特定の数値に達することであってもよい。これにより、バッテリーの電力が余計に消耗されてしまうことを防ぐことができる。

【0028】

他の実施形態によれば、無線通信装置１００は、リアルタイムにて無線信号を送出してもよく、特定の条件が満たされる事象が生じると、当該特定の条件が満たされたという旨の情報を無線信号に埋め込んで送出してもよい。この場合であっても、特定の条件は、照度センサーの測定値またはモーションセンサーの測定値のうちの少なくとも一方の関わっていてもよい。このように、無線通信装置１００がスリープモードにて運用されず、常に作動しながらリアルタイムにて無線信号を送出すれば、特定の条件が生じた場合、無線通信装置１００がスリープモードにて活性化されるのにかかる時間が不要になり、無線通信装置１００がウェアラブル機器２００と常に無線にて通信することにより、特定の条件が生じた場合、ウェアラブル機器２００上のカメラモジュールが反応するのにかかる時間が短縮されることが可能になる。

【0029】

無線通信装置１００は、様々な全地球測位システム（ＧＰＳ）センサー、ジェスチャーセンサー、ジャイロセンサー、９軸センサー、照度センサー、モーションセンサーなどの様々なセンサーモジュールのうちの少なくとも一種以上を備えていてもよい。例えば、無線通信装置１００は、ビーコン、近距離無線通信装置、遠距離無線通信装置のうちの少なくとも一種を備えていてもよい。無線通信装置１００の動作方式の一つは、９軸センサーを活用して無線通信装置１００付きオブジェクトの動きを感知し、これにより無線信号を生成することであってもよい。一実施形態に係る９軸センサーは、３軸が加速度センサー、３軸がジャイロセンサー、３軸が磁界センサーから構成されてもよく、それにより、センサー付きオブジェクトの動きが計測されることが可能になる。無線通信装置１００は、オブジェクトに取り付けられてオブジェクトの動きをこのようなセンサーを用いて感知し、第１の所定の条件が満たされる場合にのみ無線通信装置信号を生じさせてもよい。前述したように、第１の所定の条件が生じた場合、無線通信装置１００がスリープ状態から活性化された状態に変更して無線信号を送出してもよく、これとは異なり、リアルタイムにて無線信号を送出していた無線通信装置１００が特定の条件が生じたという旨の情報を無線信号にさらに埋め込んで送出してもよい。

【0030】

本発明の実施形態において、無線信号がウェアラブル機器２００の近距離通信モジュールにより認識される場合、ウェアラブル機器２００は、無線通信装置１００を用いて寄せ集められた無線信号情報から第２の所定の条件に基づいて、カメラモジュールの活性化有無を決めてもよい。詳しくは、ウェアラブル機器２００が第１の所定の条件を満たしたときに送出される無線信号情報を受信する場合、第２の所定の条件に基づいてカメラモジュールが活性化されることが可能になる。

【0031】

ウェアラブル機器２００は、ユーザーの身体の少なくとも一部（例えば、手首など）に着用可能な電子装置であって、例えば、スマートウォッチ、スマート眼鏡、スマートヘルメットなどにより実現されてもよいが、これらに何ら限定されるものではない。本発明の実施形態において、ウェアラブル機器２００は、近距離通信モジュール、カメラモジュールまたはセンサーモジュールを用いてオブジェクトを捉え、ウェアラブル機器２００と隣り合う領域を撮影して管理サーバー３００に送る役割を果たす。このようなウェアラブル機器２００の具体的な構成については、図２に基づいて後述する。

【0032】

本発明の一実施形態によれば、ウェアラブル機器２００は、ユーザーの手首に着用可能なスマートウォッチから構成されてもよく、この場合、ウェアラブル機器２００に組み込まれるカメラモジュールまたはセンサーモジュールは、スマートウォッチのケースにつながるバンドの上に位置してもよい。例えば、スマートウォッチのケースが手の甲につながる手首のところに位置する場合に、カメラモジュールまたはセンサーモジュールは、手のひらにつながる手首のところに位置するバンドに位置付けされてもよい。このような構成を通して、ウェアラブル機器２００は、カメラモジュールまたはセンサーモジュールを用いて、ユーザーの手のひらの側において行われる動作または事象を感知したり撮影したりすることができ、ユーザーの手のひらの近くに位置していたり、ユーザーの手により掴まれたりする物体を感知したり撮影したりすることができる。

【0033】

ウェアラブル機器２００に組み込まれるカメラモジュールは、スマートウォッチのバンド内において一体型に形成されてもよい。この詳しい構成については後述する。

【0034】

管理サーバー３００は、ネットワークを介してユーザーのウェアラブル機器２００と結ばれてウェアラブル機器２００において寄せ集められる情報を与えられて、これを解析して特定の事象が生じたか否かを判断する機能を行う。また、管理サーバー３００は、寄せ集められたまたは加工された情報をネットワークを介してユーザー端末４００の上に受け渡しても良い。このような管理サーバー３００は、少なくとも一つのプロセッサーを有する制御部、通信モジュール、格納部（例えば、メモリー）などのようなハードウェア情報またはアルゴリズム演算のためのソフトウェア情報を含んでいてもよい。

【0035】

ユーザー端末４００は、ウェアラブル機器２００と接続されてウェアラブル機器２００の初期の設定値の生成、設定値の変更などの役割を果たしてもよく、このような動作は、ユーザーがユーザー端末４００上において行う操作に従って行われることが可能である。ユーザーは、ユーザー端末４００を介して管理サーバー３００に接続して自分が管理するウェアラブル機器２００から管理サーバー３００へと送られてきた情報と、このような情報を用いて管理サーバー３００において加工された情報と、を確かめることができる。

【0036】

本発明の一実施形態に係るユーザー端末４００は、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ポータブルマルチメディアプレイヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣなどといったようにネットワークを介してウェブサーバーと接続可能なあらゆる種類のハンドヘルド（Ｈａｎｄ ｈｅｌｄ）ベースの無線通信装置を網羅し、パソコン（例えば、デスクトップパソコン、ノート型パソコンなど）、ワークステーション、ＰＤＡ、ウェブパッドなどといったようにメモリー手段を備え、マイクロプロセッサ―を搭載して演算能力を備えたデジタル機器のうちの一つであってもよい。

【0037】

外部サーバーは、ネットワークを介して管理サーバー３００に必要な情報（例えば、無線信号に関する識別情報、無線信号に対応するオブジェクトの画像情報など）を送受信する装置またはプログラムである。

【0038】

図２は、本発明の一実施形態に係るウェアラブル機器２００のブロック構成図である。このようなウェアラブル機器２００は、通信モジュール２１０と、制御部２２０と、無線信号受信部２２１と、オブジェクト認識部２２３と、事象感知部２２５と、格納部２３０及びカメラモジュール２４０を備えていてもよい。

【0039】

通信モジュール２１０は、ウェアラブル機器２００において無線通信装置１００から発せられる無線信号を受信し、管理サーバー３００と、ユーザー端末４００または外部サーバーと通信してウェアラブル機器２００の動作に必要な情報を送受信する機能を行う。このような通信モジュール２１０は、ブルーテゥース、ジグビー、赤外線通信モジュール、ＮＦＣ、ＲＦモジュール、ＱＲコード（登録商標）モジュールまたはＷＩＦＩモジュールといった近距離通信モジュールにより実現されることが可能であるが、ネットワーク通信モジュール、基地局通信モジュールなどの遠距離方式によっても実現可能である。

【0040】

制御部２２０は、ウェアラブル機器２００の電源供給の制御などといった全般的な動作及びウェアラブル機器２００の内部構成要素間の信号の流れを制御し、データを処理するデータ処理機能を行ってもよい。制御部２２０は、少なくとも一つのプロセッサーまたはマイコン（ＭＣＵ）を備えていてもよい。

【0041】

制御部２２０は、カメラモジュール２４０の活性化有無を決め、それにより、カメラモジュール２４０の動作を制御してもよい。また、制御部２２０は、近距離通信モジュールの動作を制御してもよいが、一実施形態によれば、制御部２２０は、既に設定された任意の時間区間内においてしか近距離通信モジュールが作動しないように制御してもよい。

【0042】

一実施形態によれば、制御部２２０は、後述する管理サーバー３００の機能をいずれも含むような形態に実現されてもよい。この場合、ウェアラブル機器２００の制御部２２０は、管理サーバー３００の役割を自体的に果たすので、別途の管理サーバー３００なしにも動作することができる。

【0043】

無線信号受信部２２１は、オブジェクトに取り付けられた無線通信装置１００において生じる信号を寄せ集めてもよい。無線信号受信部２２１の無線信号の寄せ集め方式は、前述した通信モジュール２１０の通信方式と略同じであってもよい。なお、このような無線信号受信部２２１の少なくとも一部の構成要素は、通信モジュール２１０に組み込まれてもよい。

【0044】

格納部２３０は、制御部２２０と、無線通信装置１００と、ウェアラブル機器２００と、管理サーバー３００と、ユーザー端末４００または事象感知システム１０の他の構成要素から受信されたり生成されたりしたデータを格納してもよい。このような格納部２３０としては、例えば、メモリー（ｍｅｍｏｒｙ）、キャッシュ（ｃａｓｈ）、バッファー（ｂｕｆｆｅｒ）などが挙げられ、ソフトウェア、フォームウェア、ハードウェアまたはこれらのうちの少なくとも二つ以上の組み合わせから構成されてもよい。

【0045】

カメラモジュール２４０は、ウェアラブル機器２００と隣り合う領域を撮影してユーザーの身体の動きまたはオブジェクトのうちの少なくとも一方と関わる画像または動画を生成する。このようなカメラモジュール２４０は、２Ｄまたは３Ｄカメラ装置を備えていてもよく、カメラのレンズを回動させたり動かしたりする駆動手段（例えば、アクチュエーター）を備えていてもよい。

【0046】

一実施形態によれば、カメラモジュール２４０は、通信モジュール２１０を用いてウェアラブル機器２００がオブジェクトを捉えた場合に活性化されてもよく、ウェアラブル機器２００のセンサーモジュールを用いてユーザーの特定の行為が感知されたり、無線通信装置１００から受信した信号から特定の条件が満たされたという旨の情報を取得したりした場合に活性化されてもよいが、これに何ら限定されるものではなく、他の特殊の条件（例えば、ユーザーが任意に活性化機能を選択）により活性化されることもまた可能である。ウェアラブル機器２００がユーザーの特定の行為を感知する過程において、ウェアラブル機器２００は、近距離通信モジュールがオブジェクトを捉えるときの信号の強さを感知してもよい。ウェアラブル機器２００が無線通信装置１００において生じる信号を用いてオブジェクトを捉える場合を例にとると、ウェアラブル機器２００と無線通信装置１００との間の距離に応じて信号の強さが異なってくる場合があるため、信号の強さに基づいてウェアラブル機器２００とオブジェクトとの間の距離を計算してもよい。信号の強さは、 受信信号強度インジケータ（ＲＳＳＩ）を用いて計算されてもよい。

【0047】

このために、図２には示されていないが、ウェアラブル機器２００は、前述したように、ユーザーの特定の行為を認識できるセンサーモジュールをさらに備えていてもよい。センサーモジュールは、物理量を計測したり、ウェアラブル機器２００の作動状態を感知したりして、計測もしくは感知された情報を電気信号に変換し得る少なくとも一つのセンサーを備えていてもよい。このようなセンサーモジュールとしては、例えば、ＧＰＳセンサー、ジェスチャーセンサー、ジャイロセンサー、気圧センサー、マグネチックセンサー、加速度センサー、近接センサー、生体センサー（例えば、虹彩センサー、指紋センサーなど）、赤外線センサー、紫外線センサー、９軸センサーまたは照度センサーのうちの少なくとも一種が挙げられる。

【0048】

前述した図２において、ウェアラブル機器２００内においてそれぞれの役割を果たす主体を～部または～モジュールの形式で示しているが、それぞれの部分は、ウェアラブル機器２００内において動作するサブプログラムモジュールまたは制御部２２０を機能的に分類した構成要素であってもよい。このようなプログラムモジュールは、各動作を行ったり、特定の抽象データの類型を起動したりするルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを網羅する概念であるが、これらに何ら制限されない。

【0049】

図３は、本発明の一実施形態に係る管理サーバー３００のブロック構成図である。このような管理サーバー３００は、通信部３１０と、制御部３２０と、動作判断部３３０と、事象発生判断部３４０及び格納部３５０を備えていてもよい。

【0050】

通信部３１０は、管理サーバー３００がウェアラブル機器２００と、ユーザー端末４００または外部サーバーと通信して管理サーバー３００の動作に必要な情報を送受信する機能を行う。

【0051】

通信部３１０は、ウェアラブル機器２００が近距離通信モジュールを用いて寄せ集めたオブジェクトの情報と、カメラモジュール２４０を用いて生成した画像または動画をウェアラブル機器２００から受信してもよい。

【0052】

また、通信部３１０は、事象発生判断部３４０により判断された事象の発生有無に関する情報をユーザー端末４００に送ってもよい。

【0053】

本発明の一実施形態によれば、通信部３１０は、管理サーバー３００がウェアラブル機器２００とのリアルタイム通信を用いてウェアラブル機器２００の動作を制御してもよい。

【0054】

制御部３２０は、管理サーバー３００の電源供給の制御などといった全般的な動作及びウェアラブル機器２００の内部構成要素間の信号の流れを制御し、データを処理するデータ処理機能を行ってもよい。制御部３２０は、少なくとも一つのプロセッサーまたはＭＣＵを備えていてもよい。

【0055】

動作判断部３３０は、通信部３１０により受信されたオブジェクト情報と、画像または動画に基づいて予め設定された動作が感知されるか否かを判断してもよい。詳しく述べると、動作判断部３３０は、オブジェクト情報に基づいて、当該オブジェクトまたはユーザーの身体と関わる予め設定された動作が感知されるか否かを判断してもよく、このような判断は、マシンラーニングまたは人工知能に基づいて行われてもよい。

【0056】

動作判断部３３０は、ウェアラブル機器２００から受信した画像または動画上から予め設定されたオブジェクトまたは動作と関わるフィーチャー値を取り出してもよく、このようなフィーチャー値の取り出しは、複数のオブジェクトまたは動作に対して行われてもよい。

【0057】

動作判断部３３０は、特定のオブジェクトまたは動作に対して予め備えられた複数枚の画像または動画からフィーチャー値を設定し、この値に基づいて、ウェアラブル機器２００から受信した画像または動画内からフィーチャー値を取り出してもよい。この後、動作判断部３３０は、取り出されたフィーチャー値に基づいて、特定のオブジェクトの捕捉確率または特定の動作の発生確率を計算してもよい。

【0058】

本発明の一実施形態によれば、特定のあるオブジェクトまたはユーザーの身体と関わる予め設定された動作は、オブジェクトごとに異なるように設定されてもよい。例えば、第１のオブジェクトが捉えられた場合には、第１の動作及び第２の動作がユーザーの身体と関わって予め設定された動作になってもよく、第２のオブジェクトが捉えられた場合には第３の動作及び第４の動作がユーザーの身体と関わって予め設定された動作になってもよい。

【0059】

本発明の一実施形態によれば、本発明において無線信号を用いて捉えられるオブジェクトは、医薬品に関わるオブジェクトであってもよく、予め設定された動作は、医薬品または医薬品の摂取行為と関わる状況であってもよい。例えば、無線通信装置１００において生じる信号を用いて捉えられるオブジェクトは、医薬品を収めている容器であってもよく、この場合、予め設定された動作は、医薬品の露出、容器が開かれる状況、医薬品がユーザーの手に取られる状況、医薬品がユーザーの口に近づく状況などを含んでいてもよい。

【0060】

事象発生判断部３４０は、特定の事象の発生有無を判断する機能を行ってもよい。事象発生判断部３４０は、特定の事象の発生有無をフィーチャー値に基づいて計算された確率に基づいて判断するに当たって、動作判断部３３０により感知された予め設定された動作のそれぞれに対して設定された重み付け値をまとめて特定の事象の発生有無を判断してもよい。

【0061】

例えば、動作判断部３３０が捉えられた特定のオブジェクトに対して予め設定された動作である第１の動作、第２の動作及び第３の動作が感知されたと判断する場合、事象発生判断部３４０は、第１の動作、第２の動作及び第３の動作に予め設定されている重み付け値を適用して最終的な演算を用いて特定の事象の発生有無を判断してもよい。

【0062】

格納部３５０は、制御部３２０と、ウェアラブル機器２００と、ユーザー端末４００または事象感知システム１０の他の構成要素から受信されたり生成されたりしたデータを格納してもよい。このような格納部３５０としては、例えば、メモリー（ｍｅｍｏｒｙ）、キャッシュ（ｃａｓｈ）、バッファー（ｂｕｆｆｅｒ）などが挙げられ、ソフトウェア、フォームウェア、ハードウェアまたはこれらのうちの少なくとも二つ以上の組み合わせから構成されてもよい。

【0063】

格納部３５０は、動作判断部３３０が用いるマシンラーニングまたは人工知能に関わるデータを格納してもよく、事象発生判断部３４０が生成した特定の事象の発生有無に関わるデータもまた格納してもよい。なお、格納部３５０は、ウェアラブル機器２００とユーザー端末４００の情報を格納し、特定のウェアラブル機器２００がどのようなユーザー端末４００と関連している機器であるかを格納してもよい。

【0064】

一実施形態によれば、格納部３５０は、管理サーバー３００に組み込まれている格納部ではなく、オンライン上のサーバー（例えば、クラウドサーバー）に置き換えられてもよい。この場合、管理サーバー３００は、オンライン上のサーバーの上に各種の情報を格納しておいて用いることができる。

【0065】

以下の図４から図５においては、前記図１及び図２のような構成を通して、ウェアラブル機器２００においてオブジェクトを感知してカメラモジュールで画像または動画を生成すれば、管理サーバー３００において情報を受信して事象の発生有無を判断する動作について具体的に説明する。図４から図５の各ステップのうちの少なくとも一部は、省略されたり、互いに順番が変わったりしてもよい。

【0066】

図４は、本発明の一実施形態に係るウェアラブル機器２００においてオブジェクトを感知し、画像または動画を生成する動作の手順図である。

【0067】

ユーザーがオブジェクトと隣り合うと、ウェアラブル機器２００が無線通信装置１００において生じる無線信号を受信してもよく（Ｓ４１０）、ウェアラブル機器２００が受信する無線信号には、第２の所定の条件（例えば、照度センサーの測定値、モーションセンサーの測定値など）を判定するための情報が埋め込まれてもよい。

【0068】

ウェアラブル機器２００の制御部２２０は、次いで、受信された無線信号に埋め込まれた情報に基づいて、カメラモジュール２４０の活性化有無を決めてもよい（Ｓ４２０）。例えば、制御部２２０は、無線通信装置１００において生じる無線信号が寄せ集められた時刻、照度センサーの測定値、モーションセンサーの測定値、ＲＳＳＩ値などに基づいてカメラモジュール２４０の活性化有無を決めてもよい。特に、照度センサーの測定値、モーションセンサーの測定値、ＲＳＳＩ値のそれぞれが第２の所定の条件を満たすか否かに基づいてカメラを活性化させるか否かを判断してもよい。

【0069】

制御部２２０がカメラモジュール２４０を活性化させないと決めると、ウェアラブル機器２００は、無線信号の認識または特定の行為の感知を行う状態に戻ることができる。

【0070】

これとは異なり、制御部２２０がカメラモジュール２４０を活性化させると決める場合、制御部２２０は、カメラモジュール２４０を活性化させて撮影を通して画像または動画が生成されるようにしてもよい（Ｓ４３０）。

【0071】

次いで、制御部２２０は、既に定められた一定の時間が経ったか否かを判断してもよく（Ｓ４４０）、一定の時間が経った場合には、カメラモジュール２４０を非活性化状態に制御してもよい（Ｓ４５０）。本発明の一実施形態によれば、このような一定の時間は、カメラモジュール２４０が活性化される時刻から測定されてもよく、カメラモジュール２４０が活性化された状態でウェアラブル機器２００が無線信号を認識したり、ユーザーの特定の行為をさらに感知したりすると、測定されていた時間がリセットされてカメラモジュール２４０が活性化される時間が延びても良い。

【0072】

カメラモジュール２４０が非活性化されてからは、ウェアラブル機器２００は、カメラモジュール２４０により生成された画像または動画を管理サーバー３００に送ってもよい（Ｓ４６０）。また、ウェアラブル機器２００は、カメラモジュール２４０により生成された画像または動画を管理サーバー３００に送る過程で、どのような条件に従って画像または動画が生成されたか（例えば、照度センサーの測定値、モーションセンサーの測定値、ＲＳＳＩ値など）に関する情報を一緒に管理サーバー３００に送ってもよい。

【0073】

本発明の一実施形態によれば、ウェアラブル機器２００が通信網に接続できていない状況では、寄せ集められたオブジェクトの情報、感知された無線信号情報（特定の条件充足情報及びセンサー情報など）及びカメラモジュール２４０により生成された画像または動画は、一時的にウェアラブル機器２００内の格納部２３０に格納されてもよく、次いで、ウェアラブル機器２００が無線通信網に接続されれば、前記並べられた各種のデータが管理サーバー３００に送られてもよい。

【0074】

図５は、本発明の一実施形態に係る管理サーバー３００においてウェアラブル機器２００から受信される情報を管理し、これを通して最終的に特定の事象が生じたか否かを判断する動作に関する手順図である。図５もまた、図４の内容と同様に、少なくとも一部のステップが省略されたり互いに順番が変わったりしてもよい。

【0075】

管理サーバー３００は、図４のステップＳ４６０において、ウェアラブル機器２００がオブジェクト情報及びユーザーの特定の行為とともに、これと関わって生成された画像または動画を送れば、これを受信することができる（Ｓ５１０）。

【0076】

次いで、管理サーバー３００は、受信した画像または動画上から予め設定されたオブジェクトまたは動作と関わるフィーチャー値を取り出してもよい（Ｓ５２０）。このようなフィーチャー値の取り出しは、複数のオブジェクトまたは動作に対して行われてもよく、管理サーバー３００は、人工知能技術に基づいて、オブジェクトまたは動作に対するフィーチャー値の取り出しを行ってもよい。一実施形態によれば、ディープラーニング技術に基づいて、管理サーバー３００のデータの解析が行われることにより、データ内におけるフィーチャー値の取り出しが自動的に行われてもよく、フィーチャー値の取り出しと関わる能力が継続して向上することもできる。

【0077】

管理サーバー３００は、ステップＳ５２０の結果として導き出されたフィーチャー値をまとめて、特定の動作の発生確率または特定のオブジェクトの捕捉確率を計算してもよく（Ｓ５３０）、この値に基づいて、特定の動作が起きたり特定のオブジェクトが捕捉されたりしたと判断される場合、この値に基づいて、特定の事象の発生有無を判断してもよい（Ｓ５４０）。管理サーバー３００は、特定の事象が生じたと判断した場合に、ユーザー端末４００に生じた事象に関する情報を送ってもよい（Ｓ５６０）。

【0078】

以下の図６から図７においては、前記図１及び図２のような構成を通して管理サーバー３００上においてオブジェクトの事象を感知する動作について具体的に説明する。図６から図７に基づいて説明される実施形態においては、動作及び事象の検出と判断が管理サーバー３００において行われると説明されるが、本発明の他の実施形態においては、動作及び事象の検出と判断が管理サーバー３００ではなく、ウェアラブル機器２００上において行われてもよい。

【0079】

図６から図７の各ステップのうちの少なくとも一部は、省略されたり互いに順番が変わったりしてもよい。

【0080】

図６は、本発明の一実施形態に係る管理サーバー３００においてオブジェクトの事象を感知する動作の手順図である。

【0081】

ユーザーがオブジェクトと隣り合うと、ウェアラブル機器２００が無線信号を認識して（Ｓ６１０）、ウェアラブル機器２００のカメラモジュール２４０を介してオブジェクトの画像イメージが寄せ集められてもよい。このようなステップＳ６１０は、管理サーバー３００ではなく、ウェアラブル機器２００上において行われてもよい。

【0082】

例えば、特定の薬（ｍｅｄｉｃｉｎｅ）包装紙に無線通信装置１００が取り付けられており、ユーザーがウェアラブル機器２００を手首に取り付けたままで薬の包装紙を手に取ると、薬の包装紙の動きに伴って薬の包装紙に取り付けられた無線通信装置１００から信号が生じ、ウェアラブル機器２００の通信モジュールが無線信号をスキャンして「薬」というオブジェクトを捉えることになる。これにより、ウェアラブル機器２００のカメラモジュール２４０が活性化されて周りの画像イメージを寄せ集めることができる。ウェアラブル機器２００のカメラモジュール２４０により寄せ集められる画像イメージとしては、医薬品の露出、医薬品容器の開放、医薬品がユーザーの手に取られる状況、医薬品がユーザーの口に近づく状況などに関する画像が挙げられる。ウェアラブル機器２００のカメラモジュール２４０は、複数枚の画像イメージを撮影することができ、画像イメージの撮影は、一定の時間間の任意の時間ごとに行われてもよい。

【0083】

このように、ウェアラブル機器２００のカメラモジュール２４０により複数枚の画像イメージが生成されれば、管理サーバー３００は、ウェアラブル機器２００から画像イメージを受信して寄せ集めてもよい（Ｓ６２０）。

【0084】

しかる後、管理サーバー３００は、ローカルの格納部３５０またはオンラインのクラウドサーバーなどを用いて前記スキャンされたオブジェクト（例えば、薬）に対応するコンテンツ（例えば、当該薬の画像）を確かめることができ、確かめられたコンテンツとともに前記撮影または撮像を通して寄せ集められた画像を人口知能に基づいて比較して寄せ集められた画像イメージが服薬行為といった特定の行為または特定の薬を収めた容器などと関わる確率が基準値以上であるか否かを判断する（Ｓ６３０）。

【0085】

一実施形態によれば、このようなステップＳ６３０の判断動作は、画像類似度の判別技術を用いた第１の判別アルゴリズムにより行われてもよい。例えば、制御部３２０は、撮影を通して寄せ集められた画像とスキャンを通して確かめられた画像の色合いとテキスチャーなどの領域を分割し、位置情報と色合いテーブルまたはオブジェクトの類似性に基づくマッチング作業などを通して画像の類似度を判断することができる。このような第１の判別アルゴリズムは、様々な画像類似判断技術を含むことができ、特定の技術を限定するものではない。なお、このような第１の判別アルゴリズムは、人工知能が適用されたものであってもよい。すなわち、管理サーバー３００は、人工知能技術を活用して画像類似度の判別を行ってもよく、これにより、ディープラーニングなどのマシンラーニングを通して第１の判別アルゴリズムが導き出され且つ発展されることが可能になる。

【0086】

また、マッチングされるか否かを判断する方法としては、前記類似度作業を通して導き出された類似度の数値が所定のしきい値以上であるか否かで判断する方法が挙げられる。このような類似度数値は、前記画像類似度の判別過程において導き出されてもよい。類似度数値が所定のしきい値以上であれば、制御部３２０は、撮影された画像と無線信号の受信に伴い確かめられた画像とがマッチングされると判断することができ、このときの時間情報を第１の時間情報として記してもよい（Ｓ６４０）。このような画像のマッチングは、複数枚の撮影された画像の解析により行われてもよい。制御部３２０は、複数枚の画像イメージを用いて特定の事象が生じた確率を計算してもよい。ステップＳ６４０の第１の時間情報は、特定のオブジェクトが事象の発生をモニターリングするためのオブジェクトであるか否かを確かめた時刻情報であってもよい。

【0087】

本発明の管理サーバー３００により行われる類似度の判断による画像のマッチングは、特定の事象または画像を一対一の方式でのマッチングではなく、人工知能技術を用いた総合的な解析により行われるマッチングであってもよい。例えば、薬瓶という物体を判別する過程において、管理サーバー３００は、薬瓶という物体に対する複数枚の基準画像の共通点を捕捉してフィーチャー値を設定し、ウェアラブル機器２００を用いて寄せ集められた画像が当該フィーチャー値との関係において有する類似度を計算するような方式で類似度の判断を行ってもよい。

【0088】

一実施形態によれば、第１の時間情報は、例えば、事象の発生のデータの解析のためのメタデータとして使われてもよく、ユーザーのパターンを解析する情報として用いられてもよい。非制限的な例によれば、前記第１の時間情報と後述する第２の時間情報との時間差が所定の値以上に出る場合には、場合によって、第２の時間情報をエラーデータとして判別してもよい。例えば、ユーザーが薬を触ったものの、数時間が経ってから当該薬を口に持っていくと認識されたのであれば、前記認識された薬を飲んだと判断するにはエラーが生じる虞があるためである。但し、このような第１の時間情報の記録は省略されてもよい。

【0089】

また、制御部３２０は、前記類似度数値を第１の判別アルゴリズムの確率情報として算出してもよい。このような第１の判別アルゴリズムの確率情報は、後述する有効な事象であるか否かを確率的に判断して累積されたデータに対する信頼度を確保する上で利用可能である。

【0090】

一方、ステップＳ６３０におけるマッチング条件が満たされなければ、図３の動作は終了されてもよく、新たなオブジェクトに取り付けられた無線通信装置から発せられる信号を認識するように遊休状態で待ってもよい。

【0091】

次いで、制御部３２０は、さらに前記オブジェクトに対する画像を寄せ集め、寄せ集められた画像が事象条件を満たすか否かを判断してもよい（Ｓ６５０）。一実施形態によれば、事象条件は、前記オブジェクトに対してユーザーの身体と関わる予め設定された動作が感知されるか否かを確かめる条件であってもよい。例えば、制御部３２０は、ユーザーが取り出した薬がユーザーの身体のうちの一部である口に入るか否かを確かめてもよい。このような確認動作は、マシンラーニングまたはアルゴリズムに基づく第２の判別アルゴリズムを適用して導き出されてもよい。例えば、制御部３２０は、公知の人工知能技術を用いた画像解析技術などを用いてもよく、寄せ集められた画像から取り出されるフィーチャー値を他の画像から取り出されたフィーチャー値と比較して「服薬」といった行為が行われた確率を計算してもよい。他の画像は、画像の解析の基準となる画像であってもよく、服薬画像または非服薬画像から構成されてもよい。

【0092】

このような人工知能を活用した第１の判別アルゴリズム及び第２の判別アルゴリズムは、画像が累積され、それによる判別結果が更新されることにより、判別の正確度及び速度が向上することが可能になる。

【0093】

寄せ集められた画像が事象条件を満たすと、制御部３２０は、前記画像が寄せ集められた時点を第２の時間情報として記してもよい（Ｓ６６０）。例えば、制御部３２０は、前記薬がユーザーの口に入る時点またはこれと所定の誤差範囲内の時点を第２の時間情報として記してもよい。このような第２の時間情報は、直ちにオブジェクトの事象の発生時刻として決められてもよいが、特定の条件を満たすか否かを先に判断した後、有効な事象であるか否かをもって決められてもよい。有効な事象とは、ユーザーが当該オブジェクトにおいて生じた事象のうち、時間情報として記すために任意に選ばれた事象のことを意味してもよい。

【0094】

また、制御部３２０は、上記のような第２の判別アルゴリズムを用いて前記ユーザーの身体と関わる予め設定された動作が感知されたか否かを数値化された値として導き出してもよく、これを第２の判別アルゴリズムの確率情報として算出してもよい。このような第２の判別アルゴリズムの確率情報もまた、前述した第１の判別アルゴリズムの確率情報と同様に、当該オブジェクトにおいて生じた事象が有効な事象であるか否かを確率的に判断する上で利用可能である。

【0095】

次いで、制御部３２０は、確率情報に基づいて、有効な事象であるか否かを最終的に決めてもよい（Ｓ６７０）。具体的に、制御部３２０は、第１の判別アルゴリズムの確率情報と第２の判別アルゴリズムの確率情報とを合算して、所定の値以上になる場合に有効な事象が生じたと判断し、前記第２の時間情報を有効な事象の発生時間として決めてもよい。例えば、制御部３２０は、当該オブジェクトがモニターリングの対象となるオブジェクト（例えば、薬）であるか否かを数値的に換算し、当該オブジェクトが所定の事象（例えば、口）に近づく行為が起こるか否かを数値的に換算して、これらを合算した値が所定の値以上である場合にのみ、これを有効な事象であると判断してもよい。

【0096】

この場合、制御部３２０は、第２の判別アルゴリズムの確率情報に第１の判別アルゴリズムの判別情報よりもさらに高い重み付け値を与えてもよい。これは、事象の発生条件において、実際のオブジェクトであるか否かよりは、当該オブジェクトにどのような動きが生じたかがさらに重要な要素であってもよく、事象条件を満たすか否かを確かめる過程において当該オブジェクトに対する認識過程が伴われることもあるからである。但し、上記のようなステップＳ６７０は省略されて、単に前記第２の時間情報を有効な事象の発生時間として決めてもよい。

【0097】

図７は、本発明の他の実施形態に係る管理サーバー３００においてオブジェクトの事象を感知する動作の手順図である。このような図７の内容のうち、図６の内容と重複する内容は省略または簡略化されたもよい。図７もまた、図６の内容と同様に、少なくとも一部のステップが省略されたり互いに順番が変わったりしてもよい。

【0098】

図７においては、一部の実施形態に従って、前述した図６のステップＳ６１０の代わりに、ユーザーの特定の行為を認識することを条件としてウェアラブル機器２００のカメラモジュール２４０が活性化されてもよい。このために、管理サーバー３００の制御部３２０は、ウェアラブル機器２００のセンサーモジュール、カメラモジュール２４０または通信モジュール２１０を用いてユーザーの特定の行為を感知してもよい（Ｓ７１０）。ユーザーの特定の行為は、ユーザーの身体ならではの動きを含み、例えば、食べ物を食べるとき、ウェアラブル機器２００が着用された手が食べ物を口に持っていく動作などを感知してもよい。この場合、管理サーバー３００の制御部３２０は、センサーモジュールを用いてユーザーの特定の行為を認識できるように予め定められた値に相当するセンサー値が寄せ集められたり、寄せ集められたセンサー値を解析して特定のパターンに相当する場合に認識されると設定したりしてもよいが、これに何ら限定されるものではない。

【0099】

上記のように、ユーザーの特定の行為が感知されれば、管理サーバー３００の制御部３２０は、ウェアラブル機器２００のカメラモジュール２４０を活性化させて画像イメージを寄せ集め、これらをウェアラブル機器２００から受信してもよい（Ｓ７２０）。次いで、管理サーバー３００は、図６の内容と同様または類似に、特定の行為またはオブジェクトと関わる確率値の判断作業（Ｓ７３０）と事象条件の充足作業（Ｓ７４０）を経て時間情報を記してもよい（Ｓ７５０）。図６に示すように、時間情報を第１の時間情報と第２の時間情報とに分ける機能と、確率情報に基づいて有効な事象を決める機能は、図７において省略されてもよいが、これとは異なり、図６において上述した内容が同様に行われてもよい。

【0100】

図６及び図７において管理サーバー３００により行われると説明された各ステップは、ウェアラブル機器２００により行われてもよく、この場合、ウェアラブル機器２００は、前述した管理サーバー３００の機能をいずれも含めて管理サーバー３００の役割を自体的に果たしてもよい。

【0101】

前述した図１から図７の実施形態を通して、ウェアラブル機器２００により特定の事象の発生有無と発生時間が記されることにより、ヘルスケアなどの分野において抜かし易いユーザーの事象を感知してさらに効率よいガイドシステムを提供することが可能になり、ユーザーのパターンなどを学習してデータが解析可能なシステムを実現することができる。

【0102】

図８は、本発明の一実施形態に係るウェアラブル機器２００の構造を説明するための図である。

【0103】

図８の（ａ）を参照すると、ウェアラブル機器２００は、ユーザーの手首に着用可能なスマートウォッチから構成されてもよく、ウェアラブル機器２００に組み込まれるカメラモジュール２４０は、スマートウォッチのバンド内に組み込まれて一体型に形成されてもよい。

【0104】

カメラモジュール２４０がスマートウォッチのバンド内に組み込まれる場合、カメラモジュール２４０のうち、バンドの外部に露出されるべきレンズの部分は、バンドのサイド面に位置してもよい。このように、カメラモジュール２４０のレンズの部分がスマートウォッチのバンドのサイド面に露出されることにより、カメラモジュール２４０が撮影する領域は、ユーザーがスマートウォッチを着用したときの手のひらの方向に設定されることが可能になる。

【0105】

図８の（ｂ）を参照すると、ウェアラブル機器２００は、ユーザーの手首に着用可能なスマートウォッチから構成されてもよく、ウェアラブル機器２００に組み込まれるカメラモジュール２４０は、スマートウォッチのバンドに近づいて形成される別途のハウジング内に組み込まれてもよい。この場合にも、カメラモジュール２４０が撮影する領域は、ユーザーがスマートウォッチを着用したときの手のひらの方向に設定されるようにカメラモジュール２４０の位置が定められてもよい。

【0106】

図９から図１１は、本発明の一実施形態に係るウェアラブル機器２００がスマートウォッチのタイプに構成される場合を示す図である。

【0107】

図９から図１１を参照すると、スマートウォッチ内において、カメラモジュール２４０は、スマートウォッチのバンド内に組み込まれるタイプに形成されてもよい。

【0108】

図９の（ａ）及び（ｂ）はそれぞれ、スマートウォッチの斜視図及び正面図であり、図１０の（ａ）、（ｂ）及び（ｃ）はそれぞれ、スマートウォッチの背面図、平面図及び底面図であり、図１１の（ａ）及び（ｂ）はそれぞれ、スマートウォッチの左面図及び右面図である。

【0109】

本発明において開示されるウェアラブル機器２００は、図面に例示されているように、スマートウォッチのタイプに構成されてもよいが、これとは異なり、カメラモジュール付きスマートバンドのタイプに構成されてもよい。

【0110】

本発明の実施形態と結び付けて説明された方法またはアルゴリズムのステップは、ハードウェアにより直接的に実現されてもよく、ハードウェアにより起動されるソフトウェアモジュールにより実現されてもよく、あるいは、これらの組み合わせにより実現されてもよい。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリー（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱式ディスク、ＣＤ－ＲＯＭ、または本発明が属する技術分野においてよく知られている任意の形態のコンピューターにて読み取り可能な記録媒体に常駐してもよい。

【0111】

以上、添付図面に基づいて、本発明の実施形態について説明したが、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】