IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7585006メガネ型情報機器、その方法及びプログラム
<>
  • 特許-メガネ型情報機器、その方法及びプログラム 図1
  • 特許-メガネ型情報機器、その方法及びプログラム 図2
  • 特許-メガネ型情報機器、その方法及びプログラム 図3
  • 特許-メガネ型情報機器、その方法及びプログラム 図4
  • 特許-メガネ型情報機器、その方法及びプログラム 図5
  • 特許-メガネ型情報機器、その方法及びプログラム 図6
  • 特許-メガネ型情報機器、その方法及びプログラム 図7
  • 特許-メガネ型情報機器、その方法及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】メガネ型情報機器、その方法及びプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20241111BHJP
【FI】
G06F3/01 510
【請求項の数】 21
(21)【出願番号】P 2020192831
(22)【出願日】2020-11-19
(65)【公開番号】P2022081342
(43)【公開日】2022-05-31
【審査請求日】2023-10-18
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】金子 剛
【審査官】井上 香緒梨
(56)【参考文献】
【文献】国際公開第2019/246516(WO,A1)
【文献】特開2017-050810(JP,A)
【文献】特開2019-021088(JP,A)
【文献】国際公開第2016/001984(WO,A1)
【文献】特表2018-534642(JP,A)
【文献】米国特許出願公開第2017/0289329(US,A1)
【文献】米国特許出願公開第2017/0123744(US,A1)
【文献】米国特許出願公開第2015/0015459(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
G06F3/048-3/04895
G06F13/00-13/42
H04B7/24-7/26
H04W4/00-99/00
(57)【特許請求の範囲】
【請求項1】
メガネ型情報機器であって、
ユーザによる前記メガネ型情報機器の利用中に、前記メガネ型情報機器と連携する別の端末に対する通知の転送に関する設定が前記ユーザにより行える設定部を提供する提供手段と、
アプリケーションからの通知があった際に、前記メガネ型情報機器が前記ユーザに装着されて利用中であった場合には、当該通知に係る映像が前記ユーザの視界に投影されるよう表示を制御する制御手段と、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかった場合には、前記メガネ型情報機器と連携する別の端末に対して当該通知を転送する転送手段と、を有し、
前記設定部で別の端末に対して通知を転送する設定が有効に設定された場合に、前記転送手段による通知の転送が行われ、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかったために前記転送手段により当該通知が転送された場合には、前記制御手段による表示の制御が実行されない
ことを特徴とするメガネ型情報機器。
【請求項2】
前記メガネ型情報機器の動作モードが所定のモードであった場合には前記制御手段による前記通知に係る映像の表示の制御は実行されず、
前記制御手段は、前記メガネ型情報機器の動作モードが前記所定のモードでなかった場合には、前記通知に係る映像が前記ユーザの視界に投影されるよう表示を制御することを特徴とする請求項1に記載のメガネ型情報機器。
【請求項3】
前記所定のモードは、ユーザの指示または自動で遷移される動作モードであって、前記メガネ型情報機器にインストールされたアプリケーション、および、前記メガネ型情報機器とネットワークを介して連携するアプリケーションの少なくとも何れかを含む複数のアプリケーションの一部の利用が制限されるモードであることを特徴とする請求項2に記載のメガネ型情報機器。
【請求項4】
前記所定のモードとする動作モードは、前記メガネ型情報機器を介して、ユーザによって設定されることを特徴とする請求項2または3に記載のメガネ型情報機器。
【請求項5】
前記メガネ型情報機器がユーザに装着されて利用中であった際に、前記制御手段により前記通知に係る映像が前記ユーザの視界に投影されるよう表示の制御が行われた場合に、さらに、前記転送手段が、該通知を前記メガネ型情報機器と連携する別の端末に対して転送することを特徴とする請求項1乃至3の何れか1項に記載のメガネ型情報機器。
【請求項6】
前記提供手段により提供される前記設定部としての設定画面は、前記制御手段により前記メガネ型情報機器を介して前記ユーザの視界に投影されるよう表示され、
当該設定画面を介して、ユーザによって、前記メガネ型情報機器と連携する別の端末に対して通知を転送するか否かが設定されることを特徴とする請求項1乃至5の何れか1項に記載のメガネ型情報機器。
【請求項7】
前記アプリケーションは、前記メガネ型情報機器にインストールされたアプリケーション、および、前記メガネ型情報機器とネットワークを介して連携するアプリケーションの少なくとも何れかであることを特徴とする請求項1乃至6の何れか1項に記載のメガネ型情報機器。
【請求項8】
前記メガネ型情報機器は、内蔵モジュールまたはモバイルルーターを用いて接続されるモバイルネットワークを介して、インターネットに接続されることを特徴とする請求項1乃至7の何れか1項に記載のメガネ型情報機器。
【請求項9】
前記メガネ型情報機器は、さらに音声通話のための機能を備えることを特徴とする請求項1乃至8の何れか1項に記載のメガネ型情報機器。
【請求項10】
メガネ型情報機器における方法であって、
ユーザによる前記メガネ型情報機器の利用中に、前記メガネ型情報機器と連携する別の端末に対する通知の転送に関する設定が前記ユーザにより行える設定部を提供する提供する提供工程と、
アプリケーションからの通知があった際に、前記メガネ型情報機器が前記ユーザに装着されて利用中であった場合には、当該通知に係る映像が前記ユーザの視界に投影されるよう表示を制御する制御工程と、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかった場合には、前記メガネ型情報機器と連携する別のウェアラブル端末に対して当該通知を転送する転送工程と、を有し、
前記設定部で別の端末に対して通知を転送する設定が有効に設定された場合に、前記転送工程で通知の転送が行われ、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかったために当該通知が転送された場合には、前記制御工程での表示の制御が実行されないことを特徴とする方法。
【請求項11】
メガネ型情報機器に、
ユーザによる前記メガネ型情報機器の利用中に、前記メガネ型情報機器と連携する別の端末に対する通知の転送に関する設定が前記ユーザにより行える設定部を提供する提供する提供工程と、
アプリケーションからの通知があった際に、前記メガネ型情報機器が前記ユーザに装着されて利用中であった場合には、当該通知に係る映像が前記ユーザの視界に投影されるよう表示を制御する制御工程と、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかった場合には、前記メガネ型情報機器と連携する別のウェアラブル端末に対して当該通知を転送する転送工程と、を実行させるためのプログラムであって、
前記設定部で別の端末に対して通知を転送する設定が有効に設定された場合に、前記転送工程で通知の転送が行われ、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかったために当該通知が転送された場合には、前記制御工程での表示の制御が実行されない
ことを特徴とするプログラム。
【請求項12】
前記メガネ型情報機器の動作モードが所定のモードであった場合には前記制御工程での前記通知に係る映像の表示の制御は実行されず、
前記制御工程では、前記メガネ型情報機器の動作モードが前記所定のモードでなかった場合には、前記通知に係る映像が前記ユーザの視界に投影されるよう表示が制御されることを特徴とする請求項11に記載のプログラム。
【請求項13】
前記所定のモードは、ユーザの指示または自動で遷移される動作モードであって、前記メガネ型情報機器にインストールされたアプリケーション、および、前記メガネ型情報機器とネットワークを介して連携するアプリケーションの少なくとも何れかを含む複数のアプリケーションの一部の利用が制限されるモードであることを特徴とする請求項12に記載のプログラム。
【請求項14】
前記所定のモードとする動作モードは、前記メガネ型情報機器を介して、ユーザによって設定されることを特徴とする請求項12または13に記載のプログラム。
【請求項15】
前記メガネ型情報機器がユーザに装着されて利用中であった際に、前記制御工程で前記通知に係る映像が前記ユーザの視界に投影されるよう表示の制御が行われた場合に、さらに、前記転送工程で、該通知が前記メガネ型情報機器と連携する別の端末に対して転送することを特徴とする請求項11に記載のプログラム。
【請求項16】
前記設定部として提供される設定画面は、前記メガネ型情報機器を介して前記ユーザの視界に投影されるよう表示され、
当該設定画面を介して、ユーザによって、前記メガネ型情報機器と連携する別の端末に対して通知を転送するか否かが設定されることを特徴とする請求項11に記載のプログラム。
【請求項17】
前記アプリケーションは、前記メガネ型情報機器にインストールされたアプリケーション、および、前記メガネ型情報機器とネットワークを介して連携するアプリケーションの少なくとも何れかであることを特徴とする請求項11乃至16の何れか1項に記載のプログラム。
【請求項18】
メガネ型情報機器であって、
ユーザによる前記メガネ型情報機器の利用中に、前記メガネ型情報機器と連携する別の端末に対する通知の転送に関する設定が前記ユーザにより行える設定部を提供する提供手段と、
アプリケーションからの通知があった際に、前記メガネ型情報機器が前記ユーザに装着されて利用中であった場合には、当該通知に係る映像が前記ユーザの視界に投影されるよう表示を制御する制御手段と、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかった場合には、前記設定部における設定に従い前記メガネ型情報機器と連携する別の端末に対して当該通知を転送する転送手段と、を有し、
前記メガネ型情報機器の動作モードが、前記メガネ型情報機器の前記ユーザが乗り物の運転に際して設定されるモードであったことに基づき、前記制御手段による前記通知に係る映像の表示の制御は実行されないことを特徴とするメガネ型情報機器。
【請求項19】
前記メガネ型情報機器がユーザに装着されて利用中であった際に、前記制御手段により前記通知に係る映像が前記ユーザの視界に投影されるよう表示の制御が行われた場合に、さらに、前記転送手段が、該通知を前記メガネ型情報機器と連携する別の端末に対して転送することを特徴とする請求項18に記載のメガネ型情報機器。
【請求項20】
前記提供手段により提供される前記設定部としての設定画面は、前記制御手段により前記メガネ型情報機器を介して前記ユーザの視界に投影されるよう表示され、
当該設定画面を介して、ユーザによって、前記メガネ型情報機器と連携する別の端末に対して通知を転送するか否かが設定されることを特徴とする請求項18または19に記載のメガネ型情報機器。
【請求項21】
メガネ型情報機器に、
ユーザによる前記メガネ型情報機器の利用中に、前記メガネ型情報機器と連携する別の端末に対する通知の転送に関する設定が前記ユーザにより行える設定部を提供する提供工程と、
アプリケーションからの通知があった際に、前記メガネ型情報機器が前記ユーザに装着されて利用中であった場合には、当該通知に係る映像が前記ユーザの視界に投影されるよう表示を制御する制御工程と、
アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかった場合には、前記設定部における設定に従い前記メガネ型情報機器と連携する別の端末に対して当該通知を転送する転送工程と、を実行させるためのプログラムであって、
前記メガネ型情報機器の動作モードが、前記メガネ型情報機器の前記ユーザが乗り物の運転に際して設定されるモードであったことに基づき、前記制御工程での前記通知に係る映像の表示の制御が実行されないことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、通信機能や、視界に対して映像を提供する機能を備えるスマートグラスなどの片目または両目付近に装着されるメガネ型情報機器と、他の機器との通信制御などに係る技術に関する。
【背景技術】
【0002】
近年、ウェアラブル端末の1つとして、スマートグラス、HMD(ヘッドマウントディスプレイ)などと呼ばれるメガネ型情報機器が存在する。メガネ型情報機器には、通信機能に加え、VR(Virtual Reality/仮想現実)やAR(Augmented Reality/拡張現実)といった、人間のメガネを介した視野に対して映像を提供する機能を持つものもある。メガネ型情報機器は、他のウェアラブル端末と通信を行うことがある。
【0003】
また、一般的に普及しているスマートフォンでも、ウェアラブル端末と連携する機能がある。例えば、特許文献1は、携帯機器が、ローカルな無線接続(例えば、Bluetooth(登録商標)、WiFi)を経由して、装着型電子装置に対して少なくともいくつかの情報(例えば、連絡先情報)を直接的にプッシュするように構成されることを記載している。
【先行技術文献】
【特許文献】
【0004】
【文献】特表2017-509172公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
今後、メガネ型情報機器は、モバイルネットワーク(移動体通信網、インターネットなど)に接続し、スマートフォンなどに代わって利用されることが想定される。そのような場合には、メガネ型情報機器においても、スマートフォンが行っていた他のウェアラブル端末に対するプッシュ通知などの機能を代行することが考えられ得る。
【0006】
しかしながら、メガネ型情報機器の場合は、装着されている状態や、装着されていない、かつ、折りたたまれている状態、など、スマートフォンとは異なるような状態をとることがある。そういった場合には、メガネ型情報機器で受け取ったイベント(メール受信、アプリの通知、など)を、どのようにユーザーに提供すべきか、といった点については従来、十分に検討されていなかった。
【0007】
そこで、本発明は、メガネ型情報機器の状態(利用状態や動作モードなど)に即した、他のウェアラブル端末も含めた適切な通知の方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、メガネ型情報機器であって、ユーザによる前記メガネ型情報機器の利用中に、前記メガネ型情報機器と連携する別の端末に対する通知の転送に関する設定が前記ユーザにより行える設定部を提供する提供手段と、アプリケーションからの通知があった際に、前記メガネ型情報機器が前記ユーザに装着されて利用中であった場合には、当該通知に係る映像が前記ユーザの視界に投影されるよう表示を制御する制御手段と、アプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかった場合には、前記メガネ型情報機器と連携する別の端末に対して当該通知を転送する転送手段と、を有し、前記設定部で別の端末に対して通知を転送する設定が有効に設定された場合に、前記転送手段による通知の転送が行われるアプリケーションからの通知があった際に、前記メガネ型情報機器がユーザに装着されず、利用中ではなかったために前記転送手段により当該通知が転送された場合には、前記制御手段による表示の制御が実行されないことを特徴とする。
【発明の効果】
【0009】
本発明によれば、メガネ型情報機器の状態に即した、他のウェアラブル端末も含めた適切な通知の方法を提供する。
【図面の簡単な説明】
【0010】
図1】メガネ型情報機器とその他のウェアラブル端末を含むシステム構成図の例を示す図
図2】本発明に係る各機器のハードウェア構成の例を示す図
図3】本発明に係る各機器のソフトウェアのモジュール構成の例を示す図
図4】実施例1におけるメガネ型情報機器による通知制御の処理を説明するためのフローチャート
図5】本発明に係る各機器における表示制御の例
図6】実施例2におけるメガネ型情報機器と連携するウェアラブル端末による通知制御の処理を説明するためのフローチャート
図7】実施例3におけるメガネ型情報機器による通知制御の処理を説明するためのフローチャート
図8】メガネ型情報機器における通知設定の例を示す図
【発明を実施するための形態】
【0011】
以下、本発明を実施するための形態について図面を用いて説明する。
【0012】
(実施例1)
図1は、メガネ型情報機器とそれと連携するウェアラブル端末を含むシステム構成図の例を示す。メガネ型情報機器は、直接、もしくはモバイルルーター(不図示)を経由してモバイルネットワーク(移動体通信網)130、およびインターネット140と通信可能な機器であり、本発明ではその一例としてスマートグラス101を挙げている。メガネ型情報機器としては、単眼用のスマートメガネや、ヘッドマウントディスプレイなども適用可能である。また、ウェアラブル端末はディスプレイやバイブレーション機能などの通知機能と、メガネ型情報機器と通信できるBluetooth(登録商標)などの通信機能とを備えた情報機器であり、本発明ではその一例としてスマートウォッチ110を挙げている。
【0013】
スマートグラス101は、ユーザが目付近に装着する装着型情報端末であって、ユーザの視界を遮ることなく視界内に虚像である映像を表示部102にて表示する。このような表示方法は、いわゆるAR(拡張現実/Augmented Reality)やMR(複合現実/Mixed Reality)と呼ばれ、透過型のディスプレイ(レンズ105)やユーザの網膜(不図示)などに情報投影する機能により提供される。図示は、片目に対して映像を提供するものだが、本発明においては、両目の視界に対して映像を投影するスマートグラス101を適用することも可能である。
【0014】
また、表示部102には、ユーザの視線方向の被写体を撮影するためのカメラ部103が設けられている。104はフレームであると同時にタッチセンサーを備えており、端末を操作するための操作フレーム部である。フレーム104には、スピーカー機能が内蔵され、音をユーザに伝えることが可能である。
【0015】
スマートグラス101は、eSIM(embedded Subscriber Identity Module)といった内蔵モジュールを実装することが可能で、4Gや5G回線を利用するモバイルネットワーク130を経由して、インターネット140に接続可能である。また、ユーザが保有するモバイルルーターとWi-FiまたはUSBなどで接続し、モバイルルーター経由でモバイルネットワーク130に接続することも可能である。スマートグラス101は、モバイルネットワーク130を経由せずに、Wi-Fiなどを経由してインターネット140に接続することも可能である。
【0016】
スマートウォッチ110は、ユーザが手首に装着する腕時計型情報端末であって、表示部111は時刻などの情報を表示するだけでなく、タッチパネルとして機能し、端末を操作することが可能である。120はスマートグラス101とスマートウォッチ110がデータをやり取りするための無線通信を示しており、Bluetooth(登録商標)の規格の無線通信を想定するが、これに限るものではない。スマートウォッチ110は、表示以外にも、バイブレーション機能による通知機能を有している。
【0017】
図2は、本発明に係る各機器のハードウェア構成の例を示す図である。
【0018】
図2(A)は、スマートグラス101のハードウェア構成を示す図である。
【0019】
CPU201は、ROM203に格納されているプログラムにより、内部バス206を介してスマートグラス101の各種機能を総括的に制御する。CPU201によるプログラムの実行結果はディスプレイ202により、ユーザの視界に映像として投影表示することができる。本実施例では表示方式については、ユーザが透過型のレンズ105を介した視界にディスプレイ202が投影したものを見る方式を想定している。しかしながら、ディスプレイ202が網膜に直接投影する方式などを採用することも可能である。ROM203は、フラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。RAM204は、CPU201のメモリやワークエリアとして機能する。ネットワークI/F(インターフェース)205は、モバイルネットワーク130やWi-Fiに接続するためのハードウェアモジュールである。なお、モバイルルーターを利用する場合には、スマートグラス101のUSB I/F(不図示)を利用して、接続することも可能である。
【0020】
操作部207は、操作フレーム104でユーザからの入力を受け付け、該入力に対応する信号を操作部I/F208によって前述した各処理部へ伝える。センサー部209は、1以上のセンサーを簡易的に図示している。具体的には、スマートグラス101には、GPS、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス101には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。カメラ210は、撮影機能を備えており、撮影された画像データはROM203に格納される。レーザー211は、ディスプレイ202に各種コンテンツを投影、また、網膜投影方式の場合は網膜に直接コンテンツを投影する。ストレージ装置212は、記憶媒体であり、アプリケーションなどの各種データを格納する装置である。また、記憶媒体のデータを読み出す装置や、削除する装置なども含む。端末によっては、ストレージ装置212がなく、ROM203だけの場合もある。近距離通信I/F213は、スマートウォッチ110等との通信で利用するインターフェースであり、例えば、無線通信120を実現する。
【0021】
なお、図示されていないが、スマートグラス101は、現代のスマートフォンに代わって利用することが可能なように、ネットワークや電話回線を利用した音声通話を実現するための構成をさらに備えることができる。具体的には、スマートグラス101に、電話回線に接続するためのコンポーネントと、スピーカーとマイクと、音声制御チップなどを実装することになる。
【0022】
図2(B)は、スマートウォッチ110のハードウェア構成を示す図である。
【0023】
CPU221は、ROM223に格納されているプログラムにより、内部バス226を介してスマートウォッチ110の各種機能を総括的に制御する。CPU221によって実行されたアプリケーションプログラムの結果、スマートグラス101からの通知などは、ディスプレイ222に表示される。ROM223はフラッシュメモリ等であり、各種設定情報や、前述したようにアプリケーションプログラムなどが記憶されている。RAM224は、CPU221のメモリやワークエリアとして機能する。近距離通信I/F225は、スマートウォッチ110が無線通信120を介して、外部のネットワーク機器と片方向または双方向にデータをやり取りするための制御を行う。操作部227は、表示部111でユーザからの入力を受け付け、該入力に対応する信号を操作部I/F228によって前述した各処理部へ伝える。タッチパネルなどを利用し、ディスプレイ222と操作部227とが一体となっている形態も実現可能である。センサー部229は、1以上のセンサーを簡易的に図示している。具体的には、スマートウォッチ110には、GPS、ジャイロセンサー、加速度センサー、近接センサー、血圧・心拍数計測センサーなどの少なくとも何れかが実装される。また、スマートグラス101には、指紋認証、静脈認証、虹彩認証などを実現するための生体情報も検出するためのセンサーが実装されてもよい。
【0024】
なお、前述したが、スマートグラス101は、さらに、音声による通話機能を実現するためのソフトウェアを実行することができる。
【0025】
図3は、本発明に係る各機器のソフトウェアのモジュール構成の例を示す図である。
【0026】
図3(A)は、スマートグラス101のソフトウェアのモジュール構成を示している。
【0027】
通信部301はスマートウォッチ110への指示情報や、スマートグラス101のステータス情報をスマートウォッチ110へ送信する。また、スマートウォッチ110から送信される指示情報を受信するだけでなく、ネットワークI/F205を利用してネットワークを介して連携するアプリケーションサーバからの通知も受信する。ステータス情報とはスマートグラス101がユーザに利用されているのか否か、また、スマートグラス101のモード情報(スタンバイモード、省電力モードなど)を意味する。記憶部302はROM203、RAM204とその他処理部との情報のやり取りを行う。また、カメラ210で撮影された画像データなどを記憶する。
【0028】
表示部303は、AR/MR表示など、CPU201により実行された各種アプリケーションの結果を表示する。例えば、AR技術を利用して、実空間に対して仮想的なコンテンツが重畳するように、ディスプレイ202にコンテンツを表示(情報投影)する。なお、本発明は、網膜に直接投影する方式を採用することも可能である。ここで、情報投影においては、SLAM(simultaneous localization and mapping)といった技術に基づき、実空間における自身の位置及び姿勢を推定してもよい。推定結果は、仮想的なコンテンツの表示処理に利用される。
【0029】
操作部304は操作フレーム104でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ202への表示に対する操作の指示を受け付け、制御する。カメラ制御部305はカメラ210の起動、制止、撮影を制御し、撮影された画像データを記憶部302と連携してROM203に格納する。モード制御部306はスマートグラス101が備えている複数のモードへの切り替えを制御し、スマートグラス101をユーザが所望するモードへ切り替える。ステータス検知部307はセンサー部209により検知されたステータスの変化や利用状態などの情報を管理し、ROM203で保持する。ペアリング部308は無線通信120を介して、外部のネットワーク機器と双方向にデータ通信を可能とするようネットワークI/F205の制御を行う。アプリケーション管理部309は各種アプリケーションの実行状況、バージョン情報、サーバから受信した通知などを管理し、記憶部302を介してROM203とRAM204で管理する。
【0030】
図3(B)は、スマートウォッチ110のソフトウェアのモジュール構成を示している。
【0031】
時計部321はディスプレイ222に表示するための時刻情報を管理、制御する。時刻情報の管理、制御はROM223に格納されるアプリケーションプログラムでも構わない。通信部322はスマートグラス101への指示情報を送信、また、スマートグラス101のステータス情報を受信するだけでなく、アプリケーションサーバからの通知も受信する。記憶部323はROM223、RAM224とその他処理部との情報のやり取りを行う。表示部324は時計部321により管理されている時刻情報や、CPU221により実行された各種アプリケーションの結果を表示する。また、スマートグラス101から転送されたアプリケーション通知を表示する。操作部325は表示部111でユーザからの入力を受け付け、各種アプリケーションの操作、ディスプレイ222への表示を制御する。ステータス検知部326はセンサー部229により検知されたステータスの変化を情報として管理し、ROM223で保持する。ペアリング部327は無線通信120を介して、外部のネットワーク機器と双方向にデータ通信を可能とするよう近距離通信I/F225の制御を行う。アプリケーション管理部328は各種アプリケーションの実行状況、バージョン情報、サーバから受信した通知などを管理し、記憶部323を介してROM223とRAM224で管理する。
【0032】
スマートグラス101、スマートウォッチ110は共に、自装置内外で実行される各種アプリケーションからの通知を受信するか否かの設定を記憶部302、及び、324に持つ。表1は、スマートグラス101の記憶部302で管理される通知設定テーブルの例である。例えば、アプリケーションの識別情報(Application ID)が”0001”である「Application0001」は、通知設定(Notification)が有効(ON)になっている。アプリケーションの識別情報が”0003”である「Application0003」は、通知設定が無効(OFF)になっている。通知設定については、アプリケーションのインストールなどのタイミングで、アプリケーションの情報がスマートグラス101に登録される際に、ユーザによって通知の許可に同意されたことに応じて有効になる。
【0033】
【表1】
【0034】
各端末はアプリケーション通知設定テーブルの設定に従い、アプリケーション毎に通知を受信するか否か、または、受信した通知をユーザに対して提供するか否かを制御する。ユーザに対する提供方法は、前述の通り、ディスプレイ202、ディスプレイ222を用いた表示制御や、バイブレーション機能などを用いた通知が可能である。
【0035】
さらに、スマートグラス101とスマートウォッチ110は共に、自装置内外で実行されるアプリケーションからの通知を受信すると、自身が通知元となり、他の連携端末にそれを転送するか否かの設定を記憶部302、及び、324に持つ。本設定は、アプリ
ケーション毎に設定することが可能である。通知の転送先としては、ペアリングなどによる連携端末を指定することが可能である。連携端末間で、通知の転送の対象となるアプリケーションの情報を共有することが可能である。つまり、転送先となる端末側でも、今後通知が転送されてくるアプリケーションの情報を管理することが可能となる。
【0036】
表2は、スマートグラス101の記憶部302で管理される通知元管理テーブルの例である。例えば、アプリケーションの識別情報が”0001”である「Application0001」による通知は、転送先(TO)に設定された端末ID(watch_110)が示すスマートウォッチ110に転送されることになる。アプリケーションの識別情報が”0003”である「Application0003」による通知は、転送元(FROM)に設定された端末ID(watch_110)が示すスマートウォッチ110から転送されてくることになる。
【0037】
【表2】
【0038】
転送先に指定された端末とのペアリングが解除されたなど、通信ができない場合には、通知の転送は実行されない。また、表1,2で通知が有効、かつ、転送先が設定されている場合であっても、転送元である機器においても表示制御や、バイブレーション機能などを用いた通知が可能である。したがって、スマートグラス101とスマートウォッチ110の両方で、アプリケーションの識別情報が”0001”である「Application0001」による同じ通知を、ユーザに提供することも可能である。
【0039】
また、スマートグラス101は、いくつかの動作モードを持ち、ユーザの操作や事前設定された条件に従い、モード制御部306にてモード遷移が制御される。本実施例ではモードの定義を下記に定めているが、これに限るものではない。
・スタンバイモード:起動中のアプリを終了させずに低消費電力で待機している状態。操作、通知を受信すると瞬時に復帰する。
・集中モード:ユーザの指示により遷移する動作モード。ユーザが利用中だが、アプリケーションからの通知など、緊急性のない情報提供を受けないようにする動作モード。
・省電力モード:一部アプリケーションやネットワーク機能、サービスだけがバックグラウンドで動作している状態。ディスプレイ202を用いた表示が実行されていない。装着中も省電力モードに遷移可能。
・ドライブモード:ユーザが乗り物の運転中などに、ユーザ指示または自動で設定されるモード。通話アプリ、ナビゲーションアプリなどの一部アプリケーションが利用出来る動作モード。
【0040】
図8は、スマートグラス101における通知設定を行うための設定画面の仮想表示の例である。ディスプレイ202によってユーザの視界に投影された映像を想定している。スマートグラス101が提供するウェブサーバー(不図示)などのユーザーインターフェースに対して、PCなどの外部端末にアクセスして、同様の設定を行うことも可能である。
【0041】
801は、モード別の通知設定を行う設定領域を示す。スマートグラス101が各モードであった場合に、ディスプレイ202によってユーザの視界に対して通知を行うかを設定できる。図示では、集中モード、ドライブモードでは通知しない設定であり、ドライブモードでは通知を行う設定となっている。例えばメールアプリケーションからの通知を受け取った場合の表示態様の例を図5(A)で示している。また、スマートウォッチ110からの通知もこの設定に従い表示制御される。
【0042】
802は、ペアリングデバイスに通知を転送するか、否かを設定する領域を示す。設定802が有効(ON)の場合には、少なくとも一部のアプリケーションからの通知がペアリングされたスマートウォッチ110に転送されることになる。
【0043】
803は、設定802が有効の際に設定する項目で、スマートグラス101の利用状態がユーザによって利用されていない(非利用時)に、ディスプレイ202によるスマートグラス101での通知の表示制御を制限するかどうかを設定できる。設定803が有効(ON)の場合には、スマートグラス101が非利用時には、ディスプレイ202によるスマートグラス101での通知の表示が制限される。一方、設定803が無効(OFF)の場合には、スマートグラス101が非利用時であっても、通電状態など通知可能な条件が整っている場合は、スマートグラス101で通知のための表示制御の実行が試行される。設定803のデフォルト設定は有効である。
【0044】
804は、表1で管理されている通知設定が有効となっているすべてのアプリケーションからの通知をペアリングデバイスに転送するか否かを設定するための設定領域である。設定803が有効(ON)の場合には、すべてのアプリケーションからの通知が転送される。設定803が無効(OFF)の場合には、通知を転送するアプリケーションを、通知設定が有効となっているアプリケーションの一覧から選択する。設定が有効(ON)にされたアプリケーションからの通知は転送対象となる。この設定の結果は、前述の表2でも利用される。
【0045】
図4は、スマートグラス101における通知制御の処理を説明するためのフローチャートを示す。本処理は、CPU201が以下で説明する各ステップを含むプログラムを実行することで、実現される。
【0046】
S401で、スマートグラス101は通信部301を介してアプリケーションからの通知を受信する。本実施におけるアプリケーション通知の一例としては、スマートグラス101にインストールされたアプリケーションが、インターネット140等のネットワークを介して連携するアプリケーションサーバ(不図示)から受信する通知がある。通知の例には、他にも、スマートグラス101にインストールされたアプリケーションが、自動で生成した通知(アラームなど)、またはユーザ操作に応じて生成した通知も含まれる。
【0047】
S402で、スマートグラス101はアプリケーション通知設定テーブル(表1)を参照し、対象のアプリケーションの通知設定が有効(ON)であるか否かを判断する。S402で判断した結果、通知設定がOFFであった場合には本処理を終了する。S402で判断した結果、通知設定がONであった場合にはS403に進む。なお、S401とS402に代えて、通知設定が有効となっているアプリケーションの通知のみを要求して、受信するような制御を実現することも可能である。
【0048】
S403で、スマートグラス101は通知転送管理テーブル(表2)を参照し、通知の転送先(TO)の指定があるかどうかを判定する。S403で判断した結果、対象のアプリケーションについて転送先が指定されていなかった場合にはS409に進む。S403で判断した結果、転送先が指定されていた場合にはS404に進む。
【0049】
S404で、スマートグラス101は自身の利用状態がユーザによって利用されている(利用中)かどうかを判断する。本ステップは図8の設定803が無効な場合はスキップされる。S404で判断した結果、利用中であった場合にはS405に進み、利用中でなかった場合にはS406に進む。
【0050】
ここで、利用状態が“利用中”とは、スマートグラス101においてディスプレイ202を用いたAR/MRなどの表示が行われている、ユーザ操作を受けてその制御の実行中などを意味する。これらの状態は、ステータス検知部307によって検知され、管理される。また、スマートグラス101のフレームが閉じており、未装着のまま、省電力モードとなっている場合は、利用中ではない(非利用時)と判断されてもよい。スマートグラス101が、未装着で、充電などを行うなどの目的で、専用ケース内にセットされている場合も、利用中ではない(非利用時)と判断されてもよい。
【0051】
S405で、スマートグラス101の現在のモードが、設定801で無効に設定されたモード(所定モード)であるか否かが判断される。S405で判断した結果、現在のモードが所定のモードであった場合にはS406に進み、所定モードでなかった場合にはS407に進む。
【0052】
S406で、スマートグラス101はペアリングしているスマートウォッチ110へ、アプリケーションからの通知を転送する。スマートウォッチ110の表示部324は、通信部322を介して受信したスマートグラス101からの通知を、図5(B)に示すように、ディスプレイ222に表示する。
【0053】
S407で、スマートグラス101の表示部303は、アプリケーションからの通知を、ディスプレイ202を用いて、図5(A)に示すように表示制御する。図5(A)では、ユーザの視界に、501に示す通知アイコンの仮想表示が投影されている。S408で、S406と同様に、スマートグラス101はペアリングしているスマートウォッチ110へ、アプリケーションからの通知を転送する。
【0054】
S409で、S405と同様に、スマートグラス101の現在のモードが、所定モードであるか否かが判断される。S409で判断した結果、現在のモードが所定のモードであった場合には本処理を終了し、所定モードでなかった場合にはS410に進む。S410で、S407と同様に、スマートグラス101の表示部303は、アプリケーションからの通知を、ディスプレイ202を用いて表示制御する。
【0055】
なお、ユーザがスマートグラス101とペアリングされた端末を身に付けていないことが、該端末からの情報により検出できた場合には、S406およびS408の通知の転送処理を実行しないよう制御することも可能である。
【0056】
スマートグラス101は、スマートフォンとは異なり、メガネとして装着するため、ユーザによる利用のされ方が異なる。それだけではなく、スマートグラス101は、スマートフォンとは異なり、通知などをユーザの視界に投影することができるため、特定の作業中や乗り物の運転中などには、通知によって作業や運転に対する意識が途切れてしまい、危険などが伴う場合がある。
【0057】
本発明の実施例1によれば、スマートグラス101の利用状態や動作モードに応じた、スマートグラス101、および、ペアリングデバイスでの、柔軟な通知制御を実現できる。
【0058】
(実施例2)
本実施例では、スマートグラス101の利用状態や動作モードに従う、スマートウォッチ110による通知制御について説明する。説明を加えない限りは、システムや各機器の内部の構成などは実施例1と同様である。
【0059】
図6は、スマートウォッチ110のアプリケーション通知処理を示したフローチャートである。本処理は、CPU221が以下で説明する各ステップを含むプログラムを実行することで、実現される。本フローチャートは、スマートウォッチ110内のアラーム機能を持つ時計アプリケーションや血圧や歩数などの健康情報を提供するアプリケーションからの通知が発生した場合の処理を説明している。
【0060】
S601で、スマートウォッチ110はアプリケーションからの通知イベントを検出する。S602で、スマートウォッチ110は、自装置におけるアプリケーション通知設定テーブルを参照し、対象のアプリケーションの通知設定が有効(ON)であるか否か判断する。S602で判断した結果、対象のアプリケーションの通知設定が無効(OFF)であった場合には本処理を終了し、通知設定が有効であった場合にはS603に進む。
【0061】
S603で、スマートウォッチ110の表示部324は、対象のアプリケーションからの通知を、ディスプレイ222に表示する。
【0062】
S604で、スマートウォッチ110は、通知転送管理テーブルを参照し、対象のアプリケーションの転送先としてペアリングデバイスであるスマートグラス101が設定されているか否かを判定する。転送設定がある場合にはS605に進み、無い場合には本処理を終了する。
【0063】
S605で、スマートウォッチ110は、スマートグラス101の利用状態とモードを参照し、転送が許可される状態か否かを判断する。転送が許可される場合にはS606に進み、許可されない場合には本処理を終了する。ここでは、スマートグラス101がスマートウォッチ110の要求に応じて、利用状態とモードを応答する機能をサポートすることを想定している。なお、スマートグラス101がスマートウォッチ110に対して、利用状態とモードの変化イベントを通知する機能をサポートしてもよい。例えば、実施例1と同様に、スマートグラス101が利用中でない場合、または、集中モードとドライブモードのいずれかのモードであった場合には、S605ではNoと判断される。
【0064】
S606で、スマートウォッチ110は、スマートグラス101に対して、無線通信120を介して、アプリケーションからの通知を転送する。スマートグラス101の表示部303は、転送されてきたアプリケーションからの通知を、ディスプレイ202を用いて表示制御する。
【0065】
(実施例3)
本実施例では、アプリケーションからの通知内容が、特定の災害情報など、緊急性の高い通知を含む例外通知であった場合の処理について説明する。説明を加えない限りは、システムや各機器の内部の構成などは実施例1と同様であり、実施例1、2の制御に加えて、本制御を実現することが可能である。
【0066】
図7は、実施例3におけるメガネ型情報機器による通知制御の処理を説明するためのフローチャートである。ここでは、図4で示したフローチャートからの差分を説明する。
【0067】
S701で、S401でスマートグラス101は通信部301などを介したアプリケーションからの通知が、前述の例外通知であるか否かを判断する。例外通知とは、前述の通り、例えば自然災害、特別警報、国民保護情報などを含む、緊急性の高い通知が含まれる。S701で判断した結果、例外通知でなければS402に進み、例外通知であると判断した場合にはS407に進む。
【0068】
本実施例によれば、ユーザが、例外通知を、スマートグラス101とスマートウォッチ110の双方で例外的に確認できるといった効果が得られる。
【0069】
(他の実施例)
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。
【0070】
ここで、本発明は、上述した実施形態の機能を実現する1以上のソフトウェア(プログラム)を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の1以上のコンピュータ(CPUやMPU等)によりそのプログラムが1以上のメモリーに読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピュータにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路(例えば、ASIC)によっても、本発明は実現可能である。
【符号の説明】
【0071】
101 スマートグラス
110 スマートウォッチ
図1
図2
図3
図4
図5
図6
図7
図8