IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7384154情報処理装置、情報処理方法、情報処理プログラム、端末装置、端末装置の制御方法および制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム、端末装置、端末装置の制御方法および制御プログラム
(51)【国際特許分類】
   G08B 25/04 20060101AFI20231114BHJP
   G08B 21/02 20060101ALI20231114BHJP
   G06F 3/01 20060101ALI20231114BHJP
【FI】
G08B25/04 K
G08B21/02
G06F3/01 510
【請求項の数】 16
(21)【出願番号】P 2020519000
(86)(22)【出願日】2019-03-01
(86)【国際出願番号】 JP2019008144
(87)【国際公開番号】W WO2019220742
(87)【国際公開日】2019-11-21
【審査請求日】2022-01-07
(31)【優先権主張番号】P 2018094743
(32)【優先日】2018-05-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100082762
【弁理士】
【氏名又は名称】杉浦 正知
(74)【代理人】
【識別番号】100123973
【弁理士】
【氏名又は名称】杉浦 拓真
(72)【発明者】
【氏名】松澤 荘太
(72)【発明者】
【氏名】新田 尚史
(72)【発明者】
【氏名】竹内 太志
(72)【発明者】
【氏名】倉田 雅友
【審査官】山岸 登
(56)【参考文献】
【文献】特開2015-158708(JP,A)
【文献】国際公開第2017/145730(WO,A1)
【文献】特開2017-028562(JP,A)
【文献】特開2016-091265(JP,A)
【文献】特開2007-221327(JP,A)
【文献】特開2005-064885(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
3/048-3/04895
G08B19/00-31/00
H04M1/00
1/24-1/82
99/00
(57)【特許請求の範囲】
【請求項1】
ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続され、
前記ユーザが前記装着装置を装着する際にユーザ認証処理を行い、
前記ユーザ認証処理が成功すると前記装着装置が備えるカメラ機能とマイクロホン機能をオンにし、
前記装着装置が備えるセンサにより取得されたセンサ情報に基づき前記装着装置の異常な取り外しを検知すると、前記異常な取り外しを検知してからの所定時間において前記カメラ機能とマイクロホン機能により取得された前記装着装置の周囲の音声、映像、画像の少なくともいずれかを他の装置に送信する
情報処理装置。
【請求項2】
前記ユーザが前記装着装置を取り外す際に第2の認証処理を行う
請求項1に記載の情報処理装置。
【請求項3】
前記第2の認証処理が成功せずに前記装着装置が外された場合に前記異常な取り外しとして検知する
請求項に記載の情報処理装置。
【請求項4】
前記第2の認証処理は、生体認証により行う
請求項に記載の情報処理装置。
【請求項5】
前記第2の認証処理は、前記ユーザの動きの認証により行う
請求項に記載の情報処理装置。
【請求項6】
前記異常な取り外しが検知された場合、前記装着装置における警告実行処理を行う
請求項1に記載の情報処理装置。
【請求項7】
前記装着装置を装着した前記ユーザが所定の状態である場合に、前記第2の認証処理をスキップする
請求項に記載の情報処理装置。
【請求項8】
前記装着装置の位置情報に基づいて前記ユーザが所定の状態にあることを判断する
請求項に記載の情報処理装置。
【請求項9】
前記ユーザの状態の習慣性に基づいて前記ユーザが所定の状態にあることを判断する
請求項に記載の情報処理装置。
【請求項10】
ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続された情報処理装置が、
前記ユーザが前記装着装置を装着する際にユーザ認証処理を行い、
前記ユーザ認証処理が成功すると前記装着装置が備えるカメラ機能とマイクロホン機能をオンにし、
前記装着装置が備えるセンサにより取得されたセンサ情報に基づき前記装着装置の異常な取り外しを検知すると、前記異常な取り外しを検知してからの所定時間において前記カメラ機能とマイクロホン機能により取得された前記装着装置の周囲の音声、映像、画像の少なくともいずれかを他の装置に送信する
情報処理方法。
【請求項11】
ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続された情報処理装置が、
前記ユーザが前記装着装置を装着する際にユーザ認証処理を行い、
前記ユーザ認証処理が成功すると前記装着装置が備えるカメラ機能とマイクロホン機能をオンにし、
前記装着装置が備えるセンサにより取得されたセンサ情報に基づき前記装着装置の異常な取り外しを検知すると、前記異常な取り外しを検知してからの所定時間において前記カメラ機能とマイクロホン機能により取得された前記装着装置の周囲の音声、映像、画像の少なくともいずれかを他の装置に送信する
情報処理方法をコンピュータに実行させる情報処理プログラム。
【請求項12】
ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続され、
前記ユーザが前記装着装置を装着する際にユーザ認証処理を行い、
前記ユーザ認証処理が成功すると前記装着装置が備えるカメラ機能とマイクロホン機能をオンにし、
前記装着装置が備えるセンサにより取得されたセンサ情報に基づき前記装着装置の異常な取り外しを検知すると、前記異常な取り外しを検知してからの所定時間において前記カメラ機能とマイクロホン機能により取得された前記装着装置の周囲の音声、映像、画像の少なくともいずれかを送信する
情報処理装置
と接続され、前記情報処理装置から送信された前記音声、映像、画像の少なくともいずれかを受信する
端末装置。
【請求項13】
前記装着装置に関する情報は、さらに前記装着装置の位置情報を含む
請求項12に記載の端末装置。
【請求項14】
前記情報処理装置から、前記ユーザに装着された装着装置の異常な取り外しを示す検知結果を受信すると、前記装着装置に関する情報の送信を前記情報処理装置に要求する
請求項12に記載の端末装置。
【請求項15】
ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続され、
前記ユーザが前記装着装置を装着する際にユーザ認証処理を行い、
前記ユーザ認証処理が成功すると前記装着装置が備えるカメラ機能とマイクロホン機能をオンにし、
前記装着装置が備えるセンサにより取得されたセンサ情報に基づき前記装着装置の異常な取り外しを検知すると、前記異常な取り外しを検知してからの所定時間において前記カメラ機能とマイクロホン機能により取得された前記装着装置の周囲の音声、映像、画像の少なくともいずれかを送信する
情報処理装置
と接続され、前記情報処理装置から送信された前記音声、映像、画像の少なくともいずれかを受信する
端末装置の制御方法。
【請求項16】
ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続され、
前記ユーザが前記装着装置を装着する際にユーザ認証処理を行い、
前記ユーザ認証処理が成功すると前記装着装置が備えるカメラ機能とマイクロホン機能をオンにし、
前記装着装置が備えるセンサにより取得されたセンサ情報に基づき前記装着装置の異常な取り外しを検知すると、前記異常な取り外しを検知してからの所定時間において前記カメラ機能とマイクロホン機能により取得された前記装着装置の周囲の音声、映像、画像の少なくともいずれかを送信する
情報処理装置
と接続され、前記情報処理装置から送信された前記音声、映像、画像の少なくともいずれかを受信する
端末装置の制御方法をコンピュータに実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、情報処理プログラム、端末装置、端末装置の制御方法および制御プログラムに関する。
【背景技術】
【0002】
近年、モバイル端末の普及やネットワーク技術の高度化に伴い、ネットワークを介したコミュニケーションを行う機会が増加している。そこで、ネットワークを利用したより多様なコミュニケーションを実現するための技術が開発されている。
【0003】
その1つとして、より気軽で親密なコミュニケーションを実現することを目的として提案されたウェアラブルデバイスの1つとしてのいわゆるリストバンド型の装置がある(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【文献】WO2015/029573号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このようなウェアラブルデバイス(装着装置)は、子供を犯罪から守るためのいわゆる「見守り」の目的のために使用される機会も増えてきており、よりセキュリティ機能の強化が求められている。
【0006】
本技術はこのような点に鑑みなされたものであり、装着装置を装着するユーザの安全を確認できるとともに、ユーザが危険な状況である場合に他の装置に通知することができる情報処理装置、情報処理方法、情報処理プログラム、端末装置、端末装置の制御方法および制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、第1の技術は、ユーザに装着された装着装置において動作し、または、装着装置とネットワークを介して接続され、ユーザが装着装置を装着する際にユーザ認証処理を行い、ユーザ認証処理が成功すると装着装置が備えるカメラ機能とマイクロホン機能をオンにし、装着装置が備えるセンサにより取得されたセンサ情報に基づき装着装置の異常な取り外しを検知すると、異常な取り外しを検知してからの所定時間においてカメラ機能とマイクロホン機能により取得された装着装置の周囲の音声、映像、画像の少なくともいずれかを他の装置に送信する情報処理装置である。
【0008】
また、第2の技術は、ユーザに装着された装着装置において動作し、または、装着装置とネットワークを介して接続された情報処理装置が、ユーザが装着装置を装着する際にユーザ認証処理を行い、ユーザ認証処理が成功すると装着装置が備えるカメラ機能とマイクロホン機能をオンにし、装着装置が備えるセンサにより取得されたセンサ情報に基づき装着装置の異常な取り外しを検知すると、異常な取り外しを検知してからの所定時間においてカメラ機能とマイクロホン機能により取得された装着装置の周囲の音声、映像、画像の少なくともいずれかを他の装置に送信する情報処理方法である。
【0009】
さらに、第3の技術は、ユーザに装着された装着装置において動作し、または、装着装置とネットワークを介して接続された情報処理装置が、ユーザが装着装置を装着する際にユーザ認証処理を行い、ユーザ認証処理が成功すると装着装置が備えるカメラ機能とマイクロホン機能をオンにし、装着装置が備えるセンサにより取得されたセンサ情報に基づき装着装置の異常な取り外しを検知すると、異常な取り外しを検知してからの所定時間においてカメラ機能とマイクロホン機能により取得された装着装置の周囲の音声、映像、画像の少なくともいずれかを他の装置に送信する情報処理方法をコンピュータに実行させる情報処理プログラムである。
【0010】
さらに、第4の技術は、ユーザに装着された装着装置において動作し、または、装着装置とネットワークを介して接続され、ユーザが装着装置を装着する際にユーザ認証処理を行い、ユーザ認証処理が成功すると装着装置が備えるカメラ機能とマイクロホン機能をオンにし、装着装置が備えるセンサにより取得されたセンサ情報に基づき装着装置の異常な取り外しを検知すると、異常な取り外しを検知してからの所定時間においてカメラ機能とマイクロホン機能により取得された装着装置の周囲の音声、映像、画像の少なくともいずれかを送信する情報処理装置と接続され、情報処理装置から送信された音声、映像、画像の少なくともいずれかを受信する端末装置である。
【0011】
さらに、第5の技術は、ユーザに装着された装着装置において動作し、または、装着装置とネットワークを介して接続され、ユーザが装着装置を装着する際にユーザ認証処理を行い、ユーザ認証処理が成功すると装着装置が備えるカメラ機能とマイクロホン機能をオンにし、装着装置が備えるセンサにより取得されたセンサ情報に基づき装着装置の異常な取り外しを検知すると、異常な取り外しを検知してからの所定時間においてカメラ機能とマイクロホン機能により取得された装着装置の周囲の音声、映像、画像の少なくともいずれかを送信する情報処理装置と接続され、情報処理装置から送信された音声、映像、画像の少なくともいずれかを受信する端末装置の制御方法である。
【0012】
さらに、第6の技術は、ユーザに装着された装着装置において動作し、または、前記装着装置とネットワークを介して接続され、ユーザが装着装置を装着する際にユーザ認証処理を行い、ユーザ認証処理が成功すると装着装置が備えるカメラ機能とマイクロホン機能をオンにし、装着装置が備えるセンサにより取得されたセンサ情報に基づき装着装置の異常な取り外しを検知すると、異常な取り外しを検知してからの所定時間においてカメラ機能とマイクロホン機能により取得された装着装置の周囲の音声、映像、画像の少なくともいずれかを送信する情報処理装置と接続され、情報処理装置から送信された音声、映像、画像の少なくともいずれかを受信する端末装置の制御方法をコンピュータに実行させる制御プログラムである。
【発明の効果】
【0013】
本技術によれば、装着装置を装着するユーザの安全を確認できるとともに、ユーザが危険な状況である場合に他の装置に通知することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0014】
図1】本技術に係る情報処理装置を搭載するリストバンドの構成を示すブロック図である。
図2】リストバンドの外観斜視図である。
図3】情報処理装置の構成を示すブロック図である。
図4】リストバンドの装着における処理を示すフローチャートである。
図5】装着ロック状態を表す表示例を示す図である。
図6】装着判定処理を示すフローチャートである。
図7】リストバンドの取り外しにおける処理を示すフローチャートである。
図8】異常取り外し検知方法を示す図である。
図9】端末装置の構成を示すブロック図である。
図10】装着装置の異常取り外しを検知した場合の処理の第1の例を示す図である。
図11】装着装置の異常取り外しを検知した場合の処理の第2の例を示す図である。
図12】装着装置の異常取り外しを検知した場合の処理の第2の例を示す図である。
図13】装着装置の異常取り外しを検知した場合の処理の第2の例を示す図である。
図14】装着装置の異常取り外しを検知した場合の処理の第3の例を示す図である。
図15】装着装置の異常取り外しを検知した場合の処理の第4の例を示す図である。
図16】装着装置の異常取り外しを検知した場合の処理の第4の例を示す図である。
図17】装着装置の異常取り外しを検知した場合の処理の第5の例を示す図である。
図18】装着装置の異常取り外しを検知した場合の処理の第6の例を示す図である。
図19】装着装置の変形例を示す図である。
図20】サーバを用いた場合の処理を示すシーケン図である。
図21】サーバを用いた場合の処理を示すシーケン図である。
図22】サーバを用いた場合の処理を示すシーケン図である。
図23】サーバを用いた場合の処理を示すシーケン図である。
【発明を実施するための形態】
【0015】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1-1.装着装置の構成]
[1-2.情報処理装置の構成]
[1-3.装着における処理]
[1-4.取り外しにおける処理]
[1-5.認証スキップ]
[1-6.異常取り外しの判定]
[1-7.異常取り外しがあった場合の処理]
<2.変形例>
【0016】
<1.実施の形態>
[1-1.装着装置の構成]
まず、本技術に係る情報処理装置200が搭載される装着装置としてのリストバンド100(ウェアラブルデバイス)のハードウェア構成について説明する。リストバンド100は、MPU101(Micro Processing Unit)、ROM102(Read Only Memory)、RAM103(Random Access Memory)、記憶部104、通信部105、入出力インターフェース106、入力部107、表示部108、動き/姿勢センサ109、地磁気センサ110、測位センサ111、装着/取り外しセンサ112、生体センサ113、認証用センサ114、装着ロック部115、カメラ116、マイクロホン117、スピーカ118を備えて構成されている。
【0017】
図2の外観斜視図に示すように、リストバンド100は輪状のバンド部120を備え、入力部107、表示部108、認証用センサ114、装着ロック部115、カメラ116、マイクロホン117、スピーカ118はバンド部120の外面において視認可能に設けられている。また、装着/取り外しセンサ112、生体センサ113、装着ロック部115はバンド部120の内面において視認可能に設けられている。ユーザはバンド部120を腕にはめることによりリストバンド100を装着する。なお、以下の説明において所有者としてリストバンド100に登録され、リストバンド100を装着して使用する者をユーザと称する。
【0018】
MPU101は、ROM102に記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、リストバンド100の制御および各部の制御を行い、図3に示す各部の処理を行うものである。ROM102には、MPU101により読み込まれ動作されるプログラムなどが記憶されている。RAM103は、MPU101のワークメモリとして用いられる。
【0019】
記憶部104は、例えば、フラッシュメモリなどの記憶媒体である。記憶部104にはリストバンド100の使用に必要な認証情報、生体情報などが保存される。
【0020】
通信部105は、インターネット、他の装置、サーバなどとデータの送受信を行なうための通信モジュールである。通信は、無線LAN(Local Area Network)やWAN(Wide Area Network)、WiFi(Wireless Fidelity)、4G(第4世代移動通信システム)、ブロードバンドなどインターネットおよび他の装置などと接続できる方法であればどのようなものを用いてもよい。また、他の装置との接続は、Wi-Fiなどの無線LAN、Bluetooth(登録商標)、ZigBeeなどの無線通信などどの方法でもよい。
【0021】
入出力インターフェース106は入力部107、表示部108とバス間のデータ送受信を行うものである。
【0022】
入力部107は、リストバンド100に対してユーザが各種指示を入力するためのものである。入力部107に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて入出力インターフェース106を介してMPU101に供給される。そして、MPU101はその制御信号に対応した各種処理を行う。入力部107は物理ボタンの他、タッチパネル、表示部108と一体に構成されたタッチスクリーンなどでもよい。
【0023】
表示部108は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部108には、リストバンド100がユーザに提示する各種情報、リストバンド100を使用するためのユーザインターフェースなどが表示される。
【0024】
動き/姿勢センサ109は、2軸または3軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサ、慣性センサなどによりリストバンド100の動き、姿勢を検出するものである。
【0025】
地磁気センサ110は、地球の磁力を検出するセンサであり、方角を検出するものである。
【0026】
測位センサ111は、GPS(Global Positioning System)、GNSS(Global Navigation Satellite System)などによりリストバンド100の現在位置を検出するものである。
【0027】
装着/取り外しセンサ112は、ユーザの腕からリストバンド100が取り外されたことを検知するための情報を取得するセンサである。取り外されたことを検知ための情報とは例えば、ユーザの体温、脈波などである。体温、脈波などのユーザの生体情報が取得できなくなったら、生体センサ113からユーザの腕が離れた、すなわちリストバンド100がユーザの腕から取り外されたと検知することができる。
【0028】
また、装着/取り外しセンサ112は、リストバンド100装着時にユーザの腕により押下状態が継続するボタンであってもよい。そのボタンの押下状態が継続している間はリストバンド100が装着されており、押下状態が解除されたらユーザの腕からリストバンド100が取り外されたと検知することができる。
【0029】
さらに、装着/取り外しセンサ112は、装着および取外しにおいて動作する箇所に設けられた、磁石などの磁気を発生する磁性体と、その磁性体の磁気を検出する磁気センサであってもよい。磁気センサが磁性体の磁気を検出している間は装着状態である、磁気を検出しなくなったら取り外されたと検知することができる。なお、これらの方法に限られず、装着/取り外しセンサ112はリストバンド100の装着および取り外しを検知するための情報を取得できるものではあればどのようなものでもよい。
【0030】
生体センサ113は、リストバンド100を装着するユーザの体温、血圧、脈波などの生体情報を取得するセンサである。生体センサ113はリストバンド100の装着状態においてユーザに接触して生体情報を取得することができるように、リストバンド100の内面側に設けられるのが好ましい。認証用センサ114は、生体情報によりユーザ認証を行うためのセンサであり、ユーザ認証に用いることができる指紋、声紋、脈波などの生体情報を取得する。認証用センサ114は、取得する生体情報によってリストバンド100において設ける位置が異なるが、指紋を取得する場合には、ユーザが指を接触させやすいようにリストバンド100の外面側に設けるのが好ましい。また、声紋を取得する場合、ユーザの声を集音しやすいようにリストバンド100の外面側に設けるのが好ましい。なお、声紋を取得する場合、マイクロホン117が認証用センサ114としての役割を果たすようにしてもよい。また、脈波を取得する場合、生体センサ113が認証用センサ114としての役割を果たすようにしてもよい。
【0031】
装着ロック部115は、バンド部120内部に設けられた機械式のロック機構、電子式ロック機構などであり、リストバンド100をユーザの腕に嵌めた状態でロックするものである。リストバンド100が装着状態で不用意に外れないようにすることができればどのような機構でもよい。バンド部120が装着ロック部115によりロック状態になったことはMPU101に通知される。
【0032】
カメラ116は、レンズ、撮像素子、画像処理エンジンなどから構成され、画像および映像を撮影して取得することができるものである。カメラ116は半天球カメラ、全天球カメラなどであってもよい。
【0033】
マイクロホン117は、リストバンド100の周囲の音声を取得するためのものである。スピーカ118は音声を出力するものである。
【0034】
以上のようにしてリストバンド100が構成されている。
【0035】
[1-2.情報処理装置の構成]
次に、図3を参照してリストバンド100に搭載される情報処理装置200の構成について説明する。情報処理装置200は、全体制御部201、センサ制御部202、装着/取り外し検知部203、生体認証部204、認証情報保持部205、取り外しパターン認識部206、ユーザ情報認識部207、習慣性情報保持部208、周辺/対応情報保持部209を備えて構成されている。
【0036】
全体制御部201は、情報処理装置200およびリストバンド100の全体および各部の制御、各種処理を行うものである。各種センサからのデータ、認証情報などは全体制御部201に供給される。
【0037】
センサ制御部202にはリストバンド100が備える、動き/姿勢センサ109、地磁気センサ110、測位センサ111、装着/取り外しセンサ112、生体センサ113が接続されている。また、生体認証部204にはリストバンド100が備える認証用センサ114が接続されている。また、全体制御部201と生体認証部204にはリストバンド100が備える装着ロック部115が接続されている。
【0038】
センサ制御部202は、動き/姿勢センサ109、地磁気センサ110、測位センサ111、装着/取り外しセンサ112を制御し、センサ情報を全体制御部201に供給するものである。
【0039】
装着/取り外し検知部203は、装着/取り外しセンサ112からのセンサ情報に基づいてリストバンド100のユーザの腕への装着およびユーザの腕からの取り外しを検知するものである。
【0040】
生体認証部204は、認証用センサ114からのセンサ情報に基づいてリストバンド100を使用するユーザの認証処理を行うものである。
【0041】
認証情報保持部205は、生体認証に用いるユーザの生体認証情報を保持する記憶媒体である。ユーザの生体認証情報とは、生体認証が指紋認証である場合にはユーザの指紋情報、生体認証が声紋認証である場合にはユーザの声紋情報、生体認証が脈波認証である場合にはユーザの脈波情報である。これら以外にも生体認証に用いる生体情報であればどのような情報を保持していてもよい。ユーザはリストバンド100を初めて使用するときに、自身の認証情報を認証情報保持部205に保存し、ユーザがリストバンド100の所有者であり、対応付けられたユーザであること登録する。
【0042】
取り外しパターン認識部206は、リストバンド100の正常な取り外しおよび異常な取り外しを示すデータに基づいて、機械学習によりユーザのリストバンド100の取り外しのパターンを認識するものである。なお、ユーザ情報認識部207は、ユーザのリストバンド100の取り外しのパターンモデル(辞書)を保持している。
【0043】
機械学習は、k-NN(k-nearest neighbor)、SVM(support vector machine)、ニューラルネットワーク(DNN(Deep Neural Networks)を含む)など、種々の手法を適用可能であり、アルゴリズムは限定されない。また、簡易に実施するためにルールベースの手法で代替することもできる。
【0044】
ユーザ情報認識部207は、動き/姿勢センサ109、地磁気センサ110、測位センサ111、装着/取り外しセンサ112、生体センサ113からのセンサ情報に基づいて、機械学習によりコンテキスト、すなわち、ユーザの行動や状態を認識するものである。ユーザ情報認識部207は例えば、測位センサ111からの位置情報に基づいてユーザが頻繁に行く場所、頻繁に滞在する場所、家や学校の場所などを認識することができる。なお、ユーザ情報認識部207は、ユーザの行動や状態のパターンモデル(辞書)を保持している。
【0045】
習慣性情報保持部208は、自宅、学校、職場などユーザが日常的に滞在する位置、もしくは移動経路等のユーザの習慣性に基づく情報を保持するものである。
【0046】
周辺/対応情報保持部209は、リストバンド100の周辺の情報およびリストバンド100に予め対応付けられた他の装置や機器についての情報などを保持し、必要に応じて全体制御部201に供給するものである。
【0047】
以上のようにして情報処理装置200が構成されている。情報処理装置200はプログラムで構成され、そのプログラムは、予めMPU101などのプロセッサ内や信号処理を行うコンピュータにインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らリストバンド100にインストールするようにしてもよい。また、情報処理装置200は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【0048】
情報処理装置200は、サーバにおいて構成され、リストバンド100からのセンサ情報などをネットワークを介して受信し、サーバにおいて各種処理を行い、リストバンド100に制御情報を送信してリストバンド100を制御するようにしてもよい。また、情報処理装置200の一部の構成をリストバンド100内に設け、その他の構成をサーバに設けるようにしてもよい。
【0049】
[1-3.装着における処理]
次に図4のフローチャートを参照してリストバンド100の装着時における処理について説明する。まず、ユーザがリストバンド100を装着すると、ステップS11で装着判定処理が行われる。この装着判定処理は人がリストバンド100を装着したか否かを判定するものであり、その人がリストバンド100の所有者であるユーザであるかを問わない。詳細については後述する。人がリストバンド100を装着したと判定すると、処理はステップS12からステップS13に進む(ステップS12のYes)。
【0050】
次にステップS13でユーザ認証処理が行われる。ユーザ認証処理は、認証用センサ114のセンサ情報を用いて生体認証部204により行われる。例えば認証用センサ114で生体情報として指紋を取得する場合、ユーザが指を認証用センサ114に接触させることによりユーザ認証処理が行われる。この装着時における認証は特許請求の範囲における第1の認証処理である。
【0051】
そして、ユーザ認証に成功すると処理はステップS14からステップS15に進む(ステップS14のYes)。なお、ユーザ認証に失敗した場合、処理はステップS13に戻り再びユーザ認証処理が行われる。この際、ユーザ認証処理の失敗回数に対して閾値を設定し、失敗回数が閾値を超えた場合には生体認証処理を終了して認証用センサ114を非動作状態にして、その旨をユーザに通知するようにしてもよい。
【0052】
次にステップS15で、装着ロック部115によりリストバンド100が装着状態でロックされる。装着状態がロックされると、装着ロック解除処理を経なければユーザはリストバンド100を外すことはできない。なお、図5に示すように、装着ロック状態であることを示すアイコン130やメッセージなどを表示部108に表示するとよい。
【0053】
次にステップS16で、リストバンド100が備える各種機能(通信機能、測位機能、マイクロホン機能、カメラ機能など)をオン(アクティブ状態)にする。これにより、ユーザはリストバンド100の各種機能を使用することができる。
【0054】
以上のようにしてリストバンド100の装着時における処理が行われる。
【0055】
ここで図6のフローチャートを参照して、図4のフローチャートにおけるステップS11の装着判定処理の詳細について説明する。まず、ステップS21で装着/取り外し検知部203により一次検知が行われる。この一次検知は、リストバンド100がユーザに限らず人に装着されたことを検知するものである。
【0056】
一次検知は種々の方法により行うことができる。第1の方法はメカ機構とセンサの併用である。第1の方式ではリストバンド100がメカ機構としての留め具部と、電気の導通により接触を検知できる一対のセンサを備えている必要がある。リストバンド100の装着のために留め具部が嵌め合わされ、センサが電気の導通を検出すると、リストバンド100がユーザに装着されたと検知することができる。
【0057】
第2の方法もメカ機構とセンサの併用である。第2の方式ではリストバンド100がメカ機構としての留め具部と、磁性体と、磁気を検出する磁気センサとを備えている必要がある。リストバンド100の装着のために留め具部が嵌め合わされ、留め具が所定の位置に収まった際に磁性体が磁気センサに接近して磁気センサが磁気を検出すると、リストバンド100がユーザに装着されたと検知できる。
【0058】
第3の方法はセンサにより行うものである。第3の方式ではリストバンド100の内側に人の接近を検出する近接センサが設けられている必要がある。なお、近接センサによる人の接近を検出する方法は静電容量、赤外光、可視光、超音波、磁気などどのような方法でもよい。ユーザがリストバンド100を装着すると近接センサがユーザの腕の接近を検出してリストバンド100がユーザに装着されたと検知できる。
【0059】
一次検知でリストバンド100が装着されたことが検知された場合、処理はステップS22からステップS23に進む(ステップS22のYes)。
【0060】
次にステップS23で生体センサ113により生体信号が取得されたか否かが判定される。生体信号が取得された場合には処理はステップS23からステップS24に進み、装着状態と判定する。一方、生体信号が取得されない場合には処理はステップS23からステップS25に進み、非装着状態と判定する。この判定に用いる生体信号はユーザが生体情報を生体センサ113に読み取らせることを意識することなく、ユーザがリストバンド100の装着状態で何もすることなく取得できるものが望ましい。そのような生体信号としては例えば、体温、血圧、脈波などがある。
【0061】
このステップS23における生体信号取得による装着の判定は、生体信号が取得されれば、その生体信号でユーザ認証処理を行うことなくリストバンド100の装着状態と判定する。この一次検知により、例えばマネキンなどの非生物の物体にリストバンド100が装着された場合には非装着状態と判定される。これにより、リストバンド100が人以外の物体に装着されて使用されるのを防ぐことができる。
【0062】
なお、装着判定処理においては一次検知と生体信号の有無による判断の2段階は必須の構成ではない。ただし、上述のように2段階で行うことにより、一次検知でリストバンド100が装着されたことを検知するまでは生体センサ113をオフ状態(非動作状態)にしておき、リストバンド100が装着されたら生体センサ113をオン(動作状態)する、という構成が可能となる。これにより、一次検知でリストバンド100が装着されたことを検知した場合にのみ生体センサ113をオンにすれば、生体センサ113を常時動作状態にしておく必要がなく、リストバンド100の消費電力の削減を図ることができる。
【0063】
[1-4.取り外しにおける処理]
次に図7のフローチャートを参照してリストバンド100の取り外しにおける処理について説明する。まず、ユーザから入力部107に取り外しモードに遷移する指示の入力があるとステップS31で情報処理装置200はリストバンド100を取り外しモードに遷移させる。
【0064】
ユーザからの取り外しモードに遷移する指示は種々の方法で入力できる。例えば、リストバンド100の表示部108にメニュー画面を表示させ、取り外しモードに遷移する項目をボタン(入力部107)への入力で選択する。また、リストバンド100を音声入力モードにする音声入力用ボタン(入力部107)に入力を行っている状態(押下、接触など)でユーザが「取り外し」と発声するとそのユーザの声をマイクロホン117で集音し、音声認識により取り外しモードに遷移する。
【0065】
次にステップS32でユーザ認証処理が行われる。ユーザ認証処理は、認証用センサ114からのセンサ情報を用いて生体認証部204により行われる。例えば認証用センサ114が指紋センサである場合、ユーザが指を認証用センサ114に接触させることによりユーザ認証処理が行われる。このユーザ認証処理はリストバンド100を取り外そうとするのがリストバンド100を使用しているユーザ本人であるか否かを確認するためのものである。この取り外し時における認証は特許請求の範囲における第2の認証処理である。
【0066】
ユーザ認証処理が成功した場合、処理はステップS33からステップS34に進む(ステップS33のYes)。次にステップS34で、リストバンド100の装着ロック部115による装着ロック状態が解除される。
【0067】
次にステップS35でリストバンド100の各種機能をオフ状態(非アクティブ状態)にする。オフ状態とは、例えば、装着検知機能と測位通知機能以外の機能をオフにした省電力モードである。また、装着検知機能と測位通知機能も含めて全ての機能をオフにしてもよい。これにより、リストバンド100は外部との通信を切断し、さらに一切の操作を受け付けなくなり、他者に悪用されるのを防ぐことができる。
【0068】
次にステップS36で、装着/取り外しセンサ112からのセンサ情報を用いて装着/取り外し検知部203によりリストバンド100がユーザの腕から取り外されたことが検知する。リストバンド100がユーザの腕から取り外されたと検知した場合、処理はステップS36からステップS37に進む(ステップS36のYes)。
【0069】
次にステップS37で、表示部108にリストバンド100が正常に取り外されて、スリープ状態に移行することを示すユーザインターフェース表示を行う。
【0070】
そしてステップS38で、全体制御部201はリストバンド100をスリープ状態に移行させる。
【0071】
以上のようにしてリストバンド100の取り外し処理が行われる。なお、ステップS31乃至ステップS33の取り外しモードへ遷移とユーザ認証処理は、例えば、取り外しモードへの遷移を指示する入力を行うためのボタン(入力部107)に指紋認証機能を設けることにより、まとめて行うことができる。取り外しモードへの遷移を指示する入力を行った指の指紋を用いてユーザを認証することにより、より早い取り外し処理を実現することができる。
【0072】
なお、ユーザ認証は、指紋認証以外の生体認証でも行うことができる。例えば、声紋を用いてもユーザ認証を行うことができる。予め登録したキーワードの発声データから抽出した声紋の特徴データを認証情報保持部205に保存しておき、その声紋の特徴とマイクロホン117から入力された音声とを比較することによりユーザ認証を行うことができる。
【0073】
なお、ユーザ認証処理が声紋認証である場合、ステップS31における取り外しモードへの遷移を指示する音声を用いて声紋認証を行ってもよい。これによって、よりスムーズにユーザ認証処理を行うことができる。
【0074】
また、顔画像を用いてもユーザ認証を行うことができる。ユーザがリストバンド100を装着した際にカメラ116で顔を撮影し、顔画像データと顔画像データから抽出した特徴点情報を認証情報保持部205に保存する。そして、ユーザ認証時にユーザにカメラ116に顔を向けるように指示し、得られた顔画像と顔の特徴点情報とを比較することによりユーザ認証を行うことができる。
【0075】
さらに、眼球の前面、瞳にある膜である虹彩を用いてもユーザ認証を行うことができる。ユーザがリストバンド100を装着した際に赤外線LEDと赤外線カメラによりユーザの瞳を撮影し、瞳画像データと瞳画像データから抽出した虹彩特徴点情報を認証情報保持部205に保存する。そして、ユーザ認証時にユーザにカメラ116に顔を向けるように指示し、得られた顔画像と虹彩特徴点情報とを比較することによりユーザ認証を行うことができる。なお、虹彩認証ではリストバンド100に赤外線LEDを設ける必要がある。
【0076】
なお、生体認証以外の方法でユーザ認証を行うことも可能である。例えば、動き/姿勢センサ109で検出可能な動きのデータを予め認証情報保持部205に保存しておき、ユーザ認証時にユーザにその動きをするように指示する。そして、ユーザの動きを動き/姿勢センサ109で検出し、認証情報保持部205に保存してある動きデータと比較することにより、ユーザ認証を行うことができる。
【0077】
また、リストバンド100に回転操作可能なダイヤルを設け、ダイヤルを予め登録した角度、位置などまで回すことでユーザ認証を行うことができる。
【0078】
さらに、予め登録した文字列の入力をユーザに要求し、入力された文字列と登録された文字列とを比較することによりユーザ認証を行うことができる。
【0079】
[1-5.認証スキップ]
上述したリストバンド100の取り外しにおける処理の場合、リストバンド100を取り外す際に常に認証処理が必要となる。これはユーザに煩わしさを感じさせるおそれがある。そこで、全体制御部201は所定の条件を満たす場合に下記のように認証処理をスキップ、または認証の度合いを下げるようにしてもよい。
【0080】
第1の例として、リストバンド100を装着しているユーザが所定の場所(自宅、学校など)にいる場合にはリストバンド100を取り外す際の認証をスキップすることができる。これは、自宅、学校などの所定の場所は安全な場所であるため、そこにユーザがいる場合には認識スキップしても安全性を確保できるからである。なお、所定の場所はその位置情報を予め情報処理装置200に登録しておいてもよいし、測位センサ111で取得した位置情報からユーザ情報認識部207における機械学習により、習慣性によるPOI認識で決定してもよい。これは、ほぼ毎日ユーザが長時間滞在している場所である自宅や学校などは安全だと考えられるからである。なお、ユーザが自宅、学校などの所定の場所にいるかは測位センサ111で取得する位置情報から判断することができる。
【0081】
なお、ユーザが所定の場所に入った時点で取り外しの際の認証をスキップできるようにしてもよいし、所定の場所に所定時間滞在した場合に取り外しの際の認証をスキップできるようにしてもよい。これは、悪意ある第三者(以下、悪意者と称する。)がユーザを所定の場所に連れて行ってリストバンド100を外す、などの行為を防ぐためのものである。ユーザが所定の場所に所定時間滞在したかは、ユーザが所定の場所に入ったことを位置情報で確認した時点から計時することにより確認することができる。
【0082】
第2の例として、リストバンド100を装着しているユーザが自宅など所定の場所に滞在しており、かつ、生体センサ113で生体情報としての脈波を取得し、その脈波が予め定めた正常値の範囲にある場合に認証をスキップすることができる。所定の場所は第1の例と同様のものであり、そのような安全な所定の場所にユーザが滞在しており、脈波が正常値である場合とはユーザが不安や恐怖を感じていることがない、と考えられるからである。なお、生体情報は脈波に限られず、ユーザが不安や恐怖を感じているかを確認することができればどのような情報でもよい。
【0083】
第3の例として、リストバンド100を装着しているユーザ自身が所有している他の機器(例えば、自宅においてあるパーソナルコンピュータ、スマートスピーカ、コミュニケーションロボットなど)であり、かつ、予め登録してある機器から所定範囲内の距離にユーザがいる場合にはリストバンド100を取り外す際の認証をスキップすることができる。
【0084】
これは、ユーザ自身が所有している機器の近くにいる場合には、ユーザは安全な位置にいるといえるからである。ユーザが所有している他の機器から所定範囲内の位置にユーザがいるか否かはリストバンド100と他の機器間の無線通信技術による検出、環境音の相関による近接検出などにより行うことができる。なお、その他の機器はユーザの自宅、学校などユーザが習慣的に長時間滞在している場所にあるものであることが望ましい。
【0085】
第4の例として、ユーザが所定の人物(家族など)の近くにいる場合にはリストバンド100を取り外す際の認証をスキップすることができる。ユーザが家族などの所定の人物の近くにいるか否かは、リストバンド100と、予め登録した家族が所有している機器(家族が装着しているリストバンド、家族が所有しているパーソナルコンピュータなど)間の無線通信技術による検出、環境音の相関による近接検出などにより行うことができる。また、家族が所有している機器を用いずに、家族などの所定の人物の声をマイクロホン117で集音し、声紋照合で近くにいるかを判断してもよい。なお、この例は家族に限らず、学校の先生などユーザの安全が確認できる人物であればどのような人物でもよい。この所定の人物を特定するための情報(所定の人物が所有している機器の識別情報など)は、予め周辺/対応情報保持部209などに格納して登録しておく必要がある。
【0086】
第5の例として、所定の位置から別の所定の位置へ移動した際にリストバンド100を取り外す際の認証をスキップすることができる。これは例えば、学校から自宅に移動した場合、会社から自宅に移動した場合、などであり、習慣的に利用している安全な経路を通過したということはユーザの安全が確認できるからである。これは位置情報を用いてユーザ情報認識部207の機械学習で習慣性のある経路を認識することにより行うことができる。
【0087】
第6の例として、ユーザの歩容(体の動作・身体構造・筋肉活動などを分析して得られる歩行の状態)によりリストバンド100が正規のユーザに装着されていると確認した状態で、ユーザが自宅などの所定の位置に到着した場合にリストバンド100を取り外す際の認証をスキップすることができる。歩容から正規のユーザが装着していることが確認でき、自宅に帰宅した場合にはユーザが安全であることが確認できているといえるからである。ユーザが自宅に帰宅したかは位置情報から確認することができる。ユーザの歩容情報は、ユーザ情報認識部207の機械学習により生成し、ユーザ情報認識部207内の機械学習部に格納して登録しておく必要がある。
【0088】
第7の例として、ユーザが自宅など所定の位置に滞在している状態で、予め設定してあるジェスチャ動作を行った場合にはリストバンド100を取り外す際の認証をスキップすることができる。これはジェスチャ動作により生体認証を代替したものである。ユーザのジェスチャ動作が予め定められたジェスチャ動作であるかは動きセンサの検出結果により確認することができる。ジェスチャ動作は、予めユーザ情報認識部207内の機械学習部に格納して登録しておく必要がある。
【0089】
[1-6.異常取り外しの判定]
上述したリストバンド100の取り外し処理において、正常な取り外し処理が行われずにリストバンド100が取り外された場合、または、取り外そうとされた場合、それは異常な取り外しが起きた、または起ころうとしているといえる。リストバンド100の取り外しが異常な取り外しであるか否かの判定は、センサ情報を用いて以下の方法により行うことができる。
【0090】
第1の方法は、認証用センサ114からのセンサ情報を用いてユーザ認証が成功していない状態で装着/取り外しセンサ112によりリストバンド100が取り外されたことを検知した場合に異常な取り外しであると判定する。図8Aの例では、リストバンド100の取り外しにおいて動作する箇所に磁気を発生する磁性体140を設け、装着/取り外しセンサ112としての磁気センサでその磁性体140からの磁気を検出する。生体認証が成功していない状態で磁性体140からの磁気を検出できなくなった場合に異常な取り外しであると判定する。
【0091】
第2の方法は、図8Bに示すように、リストバンド100がバックル部150を備える場合において、静電容量センサなどにより、バックル部150において正常な取り外しでは作用しない方向に力が作用していることを検知した場合に異常な取り外しであると判定する。この方法では磁気センサなどを用いてもよい。
【0092】
第3の方法は、図8Cに示すように、動き/姿勢センサ109によりリストバンド100の動きを検出し、予め登録した動きパターンにはない動きを検出した場合、機械学習により動き/姿勢センサ109の検出結果から移動動作(異常振動)を検出した場合に異常な取り外しであると判定する。例えば、悪意ある第3者がリストバンド100を破壊して取り外そうと鈍器などで殴打した場合に、その殴打の振動を検出し、異常な取り外しであると判定することができる。
【0093】
第4の方法は、図8Dに示すように、リストバンド100のバンド部120が切断されたことを検知した場合に異常な取り外しであると判定する。例えば、バンド部120を一周するようにバンド部120の内部に導通する導体160を設け、導通が途切れた場合に導体160が切断された、すなわちバンド部120が切断されたと判断することができる。
【0094】
[1-7.異常取り外しがあった場合の処理]
次に、リストバンド100の取り外しが上述したような異常な取り外しであると判定された場合の処理について説明する。異常な取り外しによりリストバンド100が取り外された場合、または、取り外そうとされた場合、それはユーザが危険な状態である、または危険な状態である可能性が高い。よって、異常な取り外しを検知した場合には情報処理装置200はその検知結果を他の装置である端末装置に送信する。以下、検知結果の送信ともに行われる処理について説明する。
【0095】
なお、以下の説明においては、リストバンド100と対応付けて登録してある端末装置300が存在する、ユーザは、その端末装置300を特定するための情報(装置識別情報など)を周辺/対応情報保持部209に予め保存して、リストバンド100と対応付ける処理を行っておく必要がある。
【0096】
端末装置300は、図9のブロック図に示すように少なくとも、MPU301、ROM302、RAM303、記憶部304、通信部305、出力部306を備えるものとして構成されている。MPU301、RAM302、ROM303、記憶部304、通信部305は装着装置としてのリストバンド100において説明したものと同様のものである。出力部306は音声を出力するスピーカ、画像および映像を表示するディスプレイなどの表示デバイス、画像および映像を投影するプロジェクタなど、情報を出力するものであればどのようなものでもよく、それは端末装置300が具体的にどのような装置であるかによって決定されるものである。端末装置300としては、リストバンドなどのウェアラブルデバイス、スマートフォン、タブレット端末、パーソナルコンピュータ、スマートスピーカ、プロジェクタ、コミュニケーションロボットなどがある。
【0097】
端末装置300が実行する制御方法はプログラムで構成され、そのプログラムは、予めMPU301などのプロセッサ内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自ら端末装置300にインストールするようにしてもよい。また、端末装置300が実行する制御方法は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【0098】
第1の方法は、異常な取り外しを検知した場合にその検知結果を端末装置に送信するとともに、図10に示すように、スピーカ118からブザー音を鳴らすなどのアラートにより周囲に知らせる。このアラートは特許請求の範囲における警告実行処理である。これにより、リストバンド100が異常に取り外され、ユーザが危険な状態にあることを周囲に知らせることができると共に、悪意者を威嚇することができる。アラートは、ブザー音を鳴らすこと以外にも、フラッシュを点滅させるなどの方法でもよい。なお、アラートを停止させるには生体認証によるユーザ認証を必要とするとよい。これにより悪意者がアラートを停止してしまうことを防ぐことができる。
【0099】
第2の方法は、図11に示すように、予めユーザのリストバンド100と対応付けて登録してある端末装置300に異常取り外しがなされたという検知結果を通知する。図11においては、端末装置300としてリストバンド300A、スマートフォン300Bを示している。このリストバンド300A、スマートフォン300Bは例えばユーザの家族が所有している端末装置である。
【0100】
通知方法は、メール、各種SNSにおけるメッセージ、専用アプリケーション上の通知など、どのような方法でもよい。さらに図12に示すように、この通知の際にリストバンド100の位置情報も同時に送信してもよい。位置情報を受信したリストバンド300Aでは位置情報が住所を示す文字列として表示され、スマートフォン300Bでは住所を示す文字列に加え、地図として位置情報を表示することもできる。これにより異常取り外しが起こっているリストバンド100の位置も正確に知らせることができる。
【0101】
また、図13に示すように、予めユーザのリストバンド100と対応付けて登録してある端末装置300が大型のディスプレイを備える腕時計型装置300Cである場合、腕時計型装置300Cはメッセージ表示と地図形式による位置情報表示の両方を行ってもよい。さらに、予めユーザのリストバンド100と対応付けて登録してある端末装置300がプロジェクタ機能付きスマートスピーカ300Dである場合、音声でメッセージを出力し、さらにプロジェクタ表示で地図形式による位置情報表示を行うとよい。
【0102】
第3の方法は、図14に示すように、予め登録してある電話番号に電話を発信する。これにより、その登録してある電話番号に対応したスマートフォン300Bで音声メッセージが出力され、ユーザが話をすることができなくても音声によりユーザの周囲の状況を伝えることができる。電話番号は予め記憶部104に保存して登録しておく必要がある。
【0103】
なお、電話発信の際、リストバンド100の位置情報を自動音声により伝えるようにしてもよい。これにより、ユーザが話すことができない状態であってもユーザの位置を電話の相手に伝えることができる。
【0104】
この電話発信はリストバンド100から直接行ってもよいし、異常取り外しがあった旨をサーバなどの外部装置に通知し、その外部装置が予め登録してある電話番号に電話を発信してもよい。このようにサーバなどの外部装置を用いる方法によれば、異常取り外しの後にリストバンド100が破壊などされても電話発信を継続することができる。
【0105】
第4の方法は、図15に示すように、カメラ116により撮影したリストバンド100の周囲の画像および/または映像を予めユーザのリストバンド100と対応付けて登録してあるスマートフォン300Bにファイル単位で送信する。これにより、リストバンド100の周囲の状況を伝えることができる。
【0106】
画像の場合、異常取り外しを検知してからの所定時間を所定の時間間隔で撮影した複数の画像を送信するのが望ましい。また、映像の場合、異常取り外しを検知してからの所定時間を撮影した映像を送信するのが望ましい。画像、映像の送信に合わせて、マイクロホン117で取得した音声を送信してもよい。なお、画像および/または映像は一度リストバンド100の記憶部104に保存してから送信してもよいし、図16に示すようにリアルタイムで送信(ストリーミング)してもよいし、外部のサーバに送信してそのサーバから登録してある機器に送信するようにしてもよい。
【0107】
第5の方法は、図17に示すように、リストバンド100の測位センサ111により位置情報を定期的に取得して、予め登録してある端末装置300としてのスマートフォン300Bに送信する。そして、スマートフォン300Bではその定期的に受信する位置情報を地図表示上において受信時刻とともに表示する。これにより、リストバンド100を装着しているユーザが連れ去られたりしても、その現在位置および移動経路を確認することができる。
【0108】
第6の方法は、図18に示すように、リストバンド100の異常取り外しがユーザの自宅などの所定の場所で検知された場合、予めリストバンド100に対応付けて登録してあるカメラ機能を備える第1の端末装置(例えば、ホームカメラ300E)でその所定の場所の様子を撮影する。そして、ホームカメラ300Eは、撮影した画像および/または映像を予めリストバンド100に対応付けて登録してある第2の端末装置(例えば、スマートフォン300B)に送信する。これにより、リストバンド100がカメラ機能を備えていなくても、ユーザの状況を確認することができる。
【0109】
なお、上述した方法は、それぞれ独立して実行するだけでなく、組み合わせて実行してもよい。また、端末装置300は、情報処理装置200からリストバンド100における異常な取り外しを検知した旨の通知を受けた場合に、リストバンド100に関する情報の送信を情報処理装置200に要求するようにしてもよい。情報処理装置200は端末装置300からの要求を受けてからリストバンド100に関する情報を端末装置300に送信する。ただし、端末装置300からの要求の有無にかかわらず、情報処理装置200は異常取り外しを検知したら自動的にリストバンド100に関する情報を端末装置300に送信してもよい。リストバンド100に関する情報とは、上述の第1乃至第6の方法で説明した、リストバンド100の位置情報、リストバンド100の周囲を撮影した画像像、映像などである。
【0110】
以上のようにして本技術が構成されている。本技術によれば、装着装置としてのリストバンド100を装着するユーザの状況を家族などの特定の人物が把握して、その安全を確認することができる。例えば、リストバンド100を子供に装着させることにより、家族はその子供の登下校時の安全確認を行うことができ、迷子防止も実現することができる。
【0111】
また、悪意者が装着装置であるリストバンド100を装着しているユーザに危害を加えたり、リストバンド100を取り外して悪用したりすることを防止できる。また、ユーザが危険な状態になる、または危険な状態になろうとしている場合には特定の人物、例えばユーザの家族などにそのことを知らせることができる。
【0112】
<2.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【0113】
装着装置は図2に示したリストバンド100のようなバングル型の外観形状のものに限られず、図19Aに示すような時計型ウェアラブルデバイス6000でもよい。また、図19Bに示すようなベルト部7001に処理を行うコア7002を嵌め込むいわゆるコア型デバイス7000でもよい。
【0114】
装着装置は腕に嵌める輪状のものに限られず、体に貼るもの、頭に被るものなどユーザの身体に装着するものであればどのような形状、構成でもよい。
【0115】
また、リストバンド100取り外しの際のユーザ認証においては、ユーザ以外の人間であり、予め登録した特定の人物(家族など)による生体認証で取り外しを可能としてもよい。
【0116】
また、上述の異常取り外し検知において、ユーザ自身または予め登録した特定の人物(家族など)以外の人間の生体認証により取り外しが行われようとした場合にも異常取り外し検出としてもよい。
【0117】
また、一度異常取り外しが検知された場合、ユーザの家族などの所定の人物がユーザの近くにいる状態でなければユーザ自身であってもリストバンド100を外せないようにユーザ認証機能をロックしてもよい。これにより、例えば、ユーザ認証が指紋認証である場合で、悪意者が無理矢理ユーザの指を認証用センサ114に接触させてユーザ認証を成功させることを防ぐことができる。
【0118】
さらに、本技術は人以外の例えばペットしての動物用として用いることも可能である。例えば、装着装置としての犬、猫などのペット用の首輪に本技術の情報処理装置200を適用すれば、実施の形態におけるユーザと同様にペットの安全を確保することができる。なお、本技術の情報処理装置200を適用したペット用装着装置としての首輪においては、ペット自身が自らの意思でユーザ認証を行うことはないため、飼い主の生体情報で認証処理を行うようにするとよい。
【0119】
実施の形態では、リストバンド100から端末装置300に直接通知などを行うように説明を行ったが、サーバを用いてリストバンド100から端末装置300への通知などを行ってもよい。
【0120】
リストバンド100の利用にサーバ400を用いる場合の処理の流れを説明する。図20はリストバンド100の装着から通常待機状態(使用状態)における処理のシーケンス図である。まずユーザがリストバンド100を装着するとリストバンド100で装着検知がなされる。装着検知がなされるとリストバンド100の表示部108において認証待機を示す表示がなされる。
【0121】
ユーザが認証動作(例えば、認証用センサ114が指紋センサである場合には指をセンサに接触させる)を行うとユーザ認証処理がなされ、ユーザ認証に成功するとリストバンド100からサーバ400に認証状態の更新情報が送信される。そして、リストバンド100において装着状態がロックされ、使用状態となる。
【0122】
図21はリストバンド100の通常待機状態(使用状態)から正常な取り外しまでの処理のシーケンス図である。まずユーザが取り外しモードへの遷移を指示する入力をリストバンド100に対して行うと、リストバンド100は取り外しモードに遷移する。次にリストバンド100の表示部108において認証待機を示す表示がなされる。
【0123】
ユーザが認証動作を行うとユーザ認証処理がなされ、ユーザ認証に成功するとリストバンド100からサーバ400に認証状態の更新情報が送信される。そして、リストバンド100において装着ロック状態が解除され、表示部108において装着ロック解除を示す表示がなされる。次に、リストバンド機能がオフにされる。
【0124】
そしてユーザがリストバンド100を取り外すとリストバンド100で取り外し検知および取り外しパターンの認識がなされ、表示部108において装着ロック解除を示す表示がなされる。次に、リストバンド100の機能がオフにされスリープ状態となり、表示部108にスリープ状態である旨の表示がなされる。
【0125】
図22はリストバンド100に対して異常取り外しがなされ、サーバ400を介してユーザの家族の端末装置300に通知する処理のシーケンス図である。端末装置300は例えば、LTE(Long Term Evolution)でネットワークに接続されている。
【0126】
悪意者がユーザからリストバンド100を無理やり取り外そうとしてリストバンド100において異常取り外しが検知されると、リストバンド100において、コンテキスト認識、取り外しパターン認識、異常パターン検出、周辺の画像/映像および音声の取得がなされる。そして、リストバンド100からサーバ400に画像/映像データおよび音声データがアップロードされる。
【0127】
サーバ400は予め登録されているリストバンド100に対応する端末装置300を検索する。そしてサーバ400から端末装置300に異常取り外しの通知がなされ、端末装置300からサーバ400にデータリクエストがなされるとサーバ400は端末装置300に対して画像/映像データおよび音声データを送信する。リストバンド100からサーバ400は位置情報も送信されている場合には、サーバ400から端末装置300に位置情報も送信してもよい。
【0128】
そして端末装置300からサーバ400にアラート発動リクエストがなされるとサーバ400からリストバンド100にアラート出力指示がなされ、リストバンド100においてアラートが出力される。
【0129】
図23はリストバンド100に対して異常取り外しがなされ、サーバ400を介してユーザの家族の複数の端末装置310、320、330、340に通知する処理のシーケンス図である
【0130】
リストバンド100からサーバ400に画像/映像データおよび音声データがアップロードされる処理までは図22と同様である。サーバ400が予め登録されているリストバンド100に対応する端末装置を検索し、サーバ400から登録されている全ての端末装置に異常取り外しの通知がなされる。
【0131】
そして、登録されている複数の端末装置のうちのいずれか(図23においては端末装置300)からサーバ400にデータリクエストがなされるとサーバ400は端末装置300に対して画像/映像データおよび音声データを送信する。
【0132】
以上のようにしてリストバンド100、サーバ400、端末装置300間の処理が行われる。なお、図20乃至図23のシーケンス図の処理はあくまで一例であり、本技術がその範囲に限定されるものではない。
【0133】
本技術は以下のような構成も取ることができる。
(1)
ユーザに装着された装着装置の異常な取り外しが検知されると、検知結果を他の装置に送信する情報処理装置。
(2)
前記ユーザが前記装着装置を装着する際に第1の認証処理を行う(1)に記載の情報処理装置。
(3)
前記ユーザが前記装着装置を取り外す際に第2の認証処理を行う(1)または(2)に記載の情報処理装置。
(4)
前記装着装置が備えるセンサにより取得したセンサ情報に基づき前記異常な取り外しを検知する(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記第2の認証処理が成功せずに前記装着装置が外された場合に前記異常な取り外しとして検知する(3)に記載の情報処理装置。
(6)
前記第2の認証処理は、生体認証により行う(3)に記載の情報処理装置。
(7)
前記第2の認証処理は、前記ユーザの動きの認証により行う(3)に記載の情報処理装置。
(8)
前記異常な取り外しが検知された場合、前記装着装置における警告実行処理を行う(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記装着装置を装着した前記ユーザが所定の状態である場合に、前記第2の認証処理をスキップする(3)に記載の情報処理装置。
(10)
前記装着装置の位置情報に基づいて前記ユーザが所定の状態にあることを判断する(9)に記載の情報処理装置。
(11)
前記ユーザの状態の習慣性に基づいて前記ユーザが所定の状態にあることを判断する(9)に記載の情報処理装置。
(12)
ユーザに装着された装着装置の異常な取り外しが検知されると、検知結果を他の装置に送信する
情報処理方法。
(13)
ユーザに装着された装着装置の異常な取り外しが検知されると、検知結果を他の装置に送信する
情報処理方法をコンピュータに実行させる情報処理プログラム。
(14)
ユーザに装着された装着装置の異常な取り外しを検知した情報処理装置から前記装着装置に関する情報を受信する
端末装置。
(15)
前記装着装置に関する情報は、前記装着装置の位置情報である(14)に記載の端末装置。
(16)
前記装着装置に関する情報は、前記装着装置の周囲の音声である(14)または(15)に記載の端末装置。
(17)
前記装着装置に関する情報は、前記装着装置の周囲の映像および/または画像である(14)から(16)のいずれかに記載の端末装置。
(18)
前記情報処理装置から、前記ユーザに装着された装着装置の異常な取り外しを示す検知結果を受信すると、前記装着装置に関する情報の送信を前記情報処理装置に要求する(14)から(17)のいずれかに記載の端末装置。
(19)
ユーザに装着された装着装置の異常な取り外しを検知した情報処理装置から前記装着装置に関する情報を受信する
端末装置の制御方法。
(20)
ユーザに装着された装着装置の異常な取り外しを検知した情報処理装置から前記装着装置に関する情報を受信する
制御方法をコンピュータに実行させる制御プログラム。
【符号の説明】
【0134】
100・・・リストバンド
109・・・動き/姿勢センサ
110・・・地磁気センサ
111・・・測位センサ
113・・・生体センサ
114・・・認証用センサ
200・・・情報処理装置
300・・・端末装置
300A・・リストバンド
300B・・スマートフォン
300C・・腕時計型装置
300D・・スマートスピーカ
300E・・ホームカメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23