特許 5989725 電子機器及び情報表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5989725

(24)【登録日】2016年8月19日

(45)【発行日】2016年9月7日

(54)【発明の名称】電子機器及び情報表示プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160825BHJP

   G06F 13/00 20060101ALI20160825BHJP

   G06F 17/30 20060101ALI20160825BHJP

   G06F 3/0346 20130101ALI20160825BHJP

   H04M 1/247 20060101ALI20160825BHJP

【ＦＩ】

   G06F3/01 570

   G06F13/00 540E

   G06F17/30 310Z

   G06F3/0346 422

   H04M1/247

【請求項の数】8

【全頁数】12

(21)【出願番号】特願2014-175560(P2014-175560)

(22)【出願日】2014年8月29日

(65)【公開番号】特開2016-51276(P2016-51276A)

(43)【公開日】2016年4月11日

【審査請求日】2016年5月20日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】丹波 正登

(72)【発明者】

【氏名】結城 明

(72)【発明者】

【氏名】遠藤 航

(72)【発明者】

【氏名】池嶋 彩香

【審査官】 山崎 慎一

(56)【参考文献】

【文献】 特開２０１５−１５２９４０（ＪＰ，Ａ）

【文献】 特開２０１３−１２０２４（ＪＰ，Ａ）

【文献】 特表２０１４−５３１６６２（ＪＰ，Ａ）

【文献】 特開２０１１−３４４０２（ＪＰ，Ａ）

【文献】 特開２０１４−９３０３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ １７／３０

Ｈ０４Ｍ １／２４７

(57)【特許請求の範囲】

【請求項1】

身体に装着される電子機器であって、
ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する通信部と、
前記各種情報を表示する表示部と、
現実空間を撮像する撮像部と、
前記撮像部によって撮像された画像から被写体を認識する被写体認識部と、
前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う表示要求判断部とを備える
ことを特徴とする電子機器。

【請求項2】

ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する角度解析部を備え、
前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識する
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

位置情報を取得する位置情報取得部を備え、
前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含める
ことを特徴とする請求項１又は２に記載の電子機器。

【請求項4】

前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を備え、
前記表示要求判断部は、表示要求判断表を参照し、前記表示要求を判断する
ことを特徴とする請求項１〜３のいずれかに記載の電子機器。

【請求項5】

身体に装着される電子機器を制御するためのコンピューターで実行される情報表示プログラムであって、
通信部により、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する工程と、
表示部により前記各種情報を表示する工程と、
撮像部により現実空間を撮像する工程と、
被写体認識部により、前記撮像部によって撮像された画像から被写体を認識する工程と、
表示要求判断部により、前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う工程とを前記コンピューターに実行させる
ことを特徴とする情報表示プログラム。

【請求項6】

角度解析部により、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する工程を有し、
前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識する
ことを特徴とする請求項５に記載の情報表示プログラム。

【請求項7】

位置情報取得部により位置情報を取得する工程を有し、
前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含める
ことを特徴とする請求項５又は６に記載の情報表示プログラム。

【請求項8】

前記表示要求判断部は、前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を参照し、前記表示要求を判断することを特徴とする請求項５〜７のいずれかに記載の情報表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、身体に装着して利用できる電子機器により各種情報を表示する電子機器及び情報表示プログラムに関する。

【背景技術】

【0002】

近年、身体に装着して利用できる電子機器として、ｇｏｏｇｌｅグラスをはじめとするウェアラブル端末が開発されている。このウェアラブル端末は、常時、インターネットやコンピューターにアクセスできるようになっており、各種情報を常に表示させながら歩行することも可能となっている。

【0003】

ところで、このようなウェアラブル端末では、常に情報を表示させておくようにすると、その情報が視野に入ってしまうため、煩わしさを覚えてしまうことがある。このような場合、必要な情報が必要なときに表示されるような操作設定が必要となる。

【0004】

ちなみに、ｇｏｏｇｌｅグラスでは、耳掛け部分に装着されているタッチパッドの操作により、モニターに相当するグラスを起動させ、音声操作により必要な情報がグラスに表示されるようになっている。ところが、音声操作の場合、周囲の騒音により音声がかき消されると、誤操作を生じるおそれがある。また、音声操作の場合、操作に必要なワードを覚えるまでにかなりの時間がかかるものと予測されるばかりか、操作に不慣れな者にあってはなかなか使いこなせないものとも予測される。

【0005】

このような操作設定を確実かつ容易にするためには、たとえば特許文献１に示されている表示制御装置でのジェスチャーによる表示制御方法を適用することが考えられる。これは、指示取得部により認識対象とする使用者の手の動きを認識して操作指示を取得し、検出部により手で物を持ったことが検出されると、切替部により認識対象を物に切り替えようにしたものである。これにより、使用者が手に物を持った状態でジェスチャー入力してもジェスチャーでの表示制御が可能となる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４−００６６６１

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述した特許文献１でのジェスチャーでの表示制御方法では、手の動き又は手に持った物の動きから必要な情報の選択と表示が可能となっているため、操作に不慣れな者であっても確実かつ容易に操作を行うことができるものと考えられる。

【0008】

ところが、このようなジェスチャーでの表示制御方法では、大型ディスプレイなどに表示されているアイコンなどを選択させるために、手の動き又は手に持った物の動きに応じてカーソルを移動させるようにしている。すなわち、手の動き又は手に持った物の動きは、カーソルの移動によって大型ディスプレイなどに予め表示されているアイコンなどを選択するという要求を伝達するに止まってしまう。

【0009】

そのため、このようなジェスチャーでの表示制御方法を、上述したウェアラブル端末での操作設定に適用しようとすると、ユーザーの様々な要求を識別することができず、ユーザーの様々な要求に応じた情報を提供することができないという問題があった。

【0010】

本発明は、このような状況に鑑みてなされたものであり、上記問題点を解消することができる電子機器及び情報表示プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の電子機器は、身体に装着される電子機器であって、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する通信部と、前記各種情報を表示する表示部と、現実空間を撮像する撮像部と、前記撮像部によって撮像された画像から被写体を認識する被写体認識部と、前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う表示要求判断部とを備えることを特徴とする。
また、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する角度解析部を備え、前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識することを特徴とする。
また、位置情報を取得する位置情報取得部を備え、前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含めることを特徴とする。
また、前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を備え、前記表示要求判断部は、表示要求判断表を参照し、前記表示要求を判断することを特徴とする。
本発明の報表示プログラムは、身体に装着される電子機器を制御するためのコンピューターで実行される情報表示プログラムであって、通信部により、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する工程と、表示部により前記各種情報を表示する工程と、撮像部により現実空間を撮像する工程と、被写体認識部により、前記撮像部によって撮像された画像から被写体を認識する工程と、表示要求判断部により、前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う工程とを前記コンピューターに実行させることを特徴とする。
また、角度解析部により、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する工程を有し、前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識することを特徴とする。
また、位置情報取得部により位置情報を取得する工程を有し、前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含めることを特徴とする。
また、前記表示要求判断部は、前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を参照し、前記表示要求を判断することを特徴とする。
本発明の電子機器及び情報表示プログラムでは、被写体認識部により、撮像部によって撮像された画像から被写体が認識され、表示要求判断部により、被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求が判断され、各種情報データベースに対し、通信部を介して表示要求に応じた情報の送信要求が行われ、通信部により、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報が取得されると、表示部により各種情報が表示される。

【発明の効果】

【0012】

本発明の電子機器及び情報表示プログラムによれば、ユーザーのジェスチャーに応じた異なる被写体の組み合わせに基づき表示要求が判断されることで、ユーザーの様々な表示要求の識別が可能となり、ユーザーの様々な表示要求に応じた情報を提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の電子機器を眼鏡型のウェアラブル端末に適用した場合の一実施形態を示す斜視図である。

【図2】図１のウェアラブル端末の内部構成を示す図である。

【図3】図２の表示要求判断部が参照する表示要求判断表の一例を示す図である。

【図4】図１のウェアラブル端末による情報表示処理について説明するためのフローチャートである。

【発明を実施するための最良の形態】

【0014】

以下、本発明の電子機器の一実施形態を、図１〜図３を参照しながら説明する。なお、以下の説明においての電子機器の一例としては、たとえば眼鏡型のウェアラブル端末であるものとする。

【0015】

まず、図１に示すように、ウェアラブル端末１０は、各種情報を表示する左右の表示部１２０と、耳に掛けるためのつる部１１とを有している。表示部１２０は、たとえば光学シースルー方式を採用している。すなわち、表示部１２０は、可視光の透過が可能となるように構成されている。これにより、ウェアラブル端末１０を装着するユーザーは、眼前の表示部１２０を透過した現実空間の光景を直接見ることができるとともに、表示部１２０に表示された各種情報も見ることができる。なお、表示部１２０は、たとえばハーフミラーによって構成されていてもよい。

【0016】

一方のつる部１１には、カメラ１２１を内蔵した装置本体１００が配置されている。カメラ１２１による被写体の撮像方向は、ウェアラブル端末１０を装着するユーザーの視線方向となっている。これにより、ウェアラブル端末１０を装着するユーザーの頭の動きに追従し、カメラ１２１によってユーザーの視線方向の被写体が撮像される。なお、カメラ１２１は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーを撮像素子として用いた構成とされる。また、カメラ１２１は、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）で被写体を撮像可能なビデオカメラとすることができる。これにより、カメラ１２１は、ウェアラブル端末１０を装着したユーザーの視線方向の被写体を連続して撮像することができる。

【0017】

次に、図２を参照し、装置本体１００の内部構成について説明する。なお、以下に説明する装置本体１００は、常時、電源がオンされていてもよいし、上述したｇｏｏｇｌｅグラスのように、タッチパッドの操作により電源がオンされる構成にしてもよい。

【0018】

装置本体１００は、データ解析などを行う部分と、デバイス制御を行う部分とで構成されている。すなわち、データ解析などを行う部分は、Ｉ／Ｆ（インターフェース）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４、被写体認識部１０５、表示要求判断部１０５Ａ、角度解析部１０６、位置情報取得部１０７、ネットワーク接続部１０８を有している。なお、これらは、データ解析バス１０９に接続されている。

【0019】

一方、デバイス制御を行う部分は、表示制御部１１０、撮像制御部１１１、ジャイロセンサー制御部１１２、ＧＰＳセンサー制御部１１３を有している。なお、これらは、デバイス制御バス１１４に接続されている。また、データ解析バス１０９とデバイス制御バス１１４は、図示しないバスブリッジを介して接続されている。

【0020】

Ｉ／Ｆ１０１は、ネットワーク３００と接続するためのインターフェース部である。なお、ネットワーク３００としては、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）ネットワーク、ＷＢＡＮ（Ｗｉｒｅｌｅｓｓ Ｂｏｄｙ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを用いることができる。Ｉ／Ｆ１０１は、ネットワーク３００を介し、各種情報ＤＢ（ｄａｔａｂａｓｅ）２００と通信を行う。なお、各種情報ＤＢ２００には、たとえば天気情報、電車の時刻表、バスの時刻表などの様々な情報が管理されている。そして、各種情報ＤＢ２００は、ウェアラブル端末１０からの表示要求に応じた情報をウェアラブル端末１０に送信する。

【0021】

ＣＰＵ１０４は、ＲＯＭ１０２に記憶されている制御プログラムを実行する。ＲＡＭ１０３は、プログラムを実行するためのワークメモリである。ＣＰＵ１０４は、ＲＯＭ１０２に記憶された各種プログラムをＲＡＭ１０３に読み出し、解析し、各種処理を実行する。なお、ＲＯＭ１０２には、後述の表示要求判断表１０５ａが記憶されている。

【0022】

被写体認識部１０５は、カメラ１２１によって撮像された画像の解析を行い、被写体を認識する。表示要求判断部１０５Ａは、被写体認識部１０５によって認識された被写体の組み合わせに基づきユーザーによる表示要求を判断する。ユーザーによる表示要求を判断する際は、後述の表示要求判断表１０５ａを参照する。すなわち、表示要求判断部１０５Ａは、詳細は後述するが、たとえば最初の被写体（第１の被写体）が「空」で、次の被写体（第２の被写体）が「手」であれば、後述の表示要求判断表１０５ａを参照し、天気情報を知りたいための表示要求であると判断する。

【0023】

なお、これらの被写体は、ウェアラブル端末１０を装着したユーザーのジェスチャーによって得られるものである。すなわち、ユーザーが空を見上げると、カメラ１２１によって空が撮像される。続いて、手を空に向かってかざすと、カメラ１２１によって空にかざした手が撮像される。このようなジェスチャーは、天気を確認する際の自然な行為であり、天気情報を知りたいという表示要求との関連付けが極めて自然なものとなる。なお、ユーザーが空を見上げた状態で、手を空に向かってかざすと、空を背景とした手が撮像されることになるが、この場合、被写体認識部１０５は手のみが被写体であるとした解析による認識を行う。

【0024】

また、被写体が「空」のみである場合、表示要求判断部１０５Ａはユーザーによる表示要求の判断を行わない。また、最初の被写体（第１の被写体）が「空」であっても、次の被写体（第２の被写体）が「手」ではなく、「鳥」又は「飛行機」となる場合もある。この場合も表示要求判断部１０５Ａはユーザーによる表示要求の判断を行わない。すなわち、表示要求判断部１０５Ａは、第１の被写体と第２の被写体の組み合わせに基づき、ユーザーの表示要求の判断を行うが、後述の表示要求判断表１０５ａに、第１の被写体と第２の被写体の組み合わせに合致するものが無ければユーザーによる表示要求の判断を行わないことになる。これにより、ユーザーが要求しないときに表示部１２０に情報が表示されるという誤動作がなくなる。

【0025】

角度解析部１０６は、ジャイロセンサー１２２による検出信号からウェアラブル端末１０を装着したユーザーの頭部の動きに基づく傾きの角度を解析する。この角度解析部１０６による解析動作は、たとえば被写体認識部１０５による画像解析の開始トリガーとして用いられる。このように、角度解析部１０６による解析動作を、被写体認識部１０５による画像解析の開始トリガーとすることで、ユーザーによる表示要求がない場合での被写体認識部１０５などによる無駄な処理を無くすことができる。

【0026】

位置情報取得部１０７は、ＧＰＳセンサー１２３が受信したＧＰＳ衛生からのデータから位置情報を取得する。ネットワーク接続部１０８は、表示要求判断部１０５Ａからの要求に基づき、Ｉ／Ｆ１０１を介して各種情報ＤＢ２００にアクセスする。表示要求判断部１０５Ａにより判断された表示要求と、位置情報取得部１０７によって取得された位置情報とが各種情報ＤＢ２００に送信される。そして、各種情報ＤＢ２００から表示要求と位置情報に基づいた各種情報が得られる。

【0027】

表示制御部１１０は、表示部１２０の表示動作を制御する。すなわち、各種情報ＤＢ２００から位置情報に基づいた各種情報が取得された場合、その各種情報を表示部１２０に表示させる。なお、表示部１２０に対する各種情報の表示時間は任意に設定することができる。

【0028】

撮像制御部１１１は、カメラ１２１による撮像動作を制御する。ジャイロセンサー制御部１１２は、ジャイロセンサー１２２による検出動作を制御する。ＧＰＳセンサー制御部１１３は、ＧＰＳセンサー１２３によるＧＰＳ衛生からのデータの受信動作を制御する。

【0029】

次に、図３を参照し、表示要求判断部１０５Ａが参照する表示要求判断表１０５ａの一例について説明する。すなわち、図３は、表示要求判断部１０５Ａが被写体認識部１０５による画像の認識結果に基づき、ユーザーによる表示要求を判断する際に参照されるものである。まず、表示要求判断表１０５ａには、第１の被写体ａ、第２の被写体ｂ、ユーザー要求ｃが設けられている。ユーザー要求ｃは、第１の被写体ａと第２の被写体ｂとの組み合わせに対応させて設定されたものである。

【0030】

すなわち、第１の被写体ａが「空」で、第２の被写体ｂが「手」である場合、ユーザー要求ｃは「天気情報の表示要求」となっている。また、第１の被写体ａが「電車」で、第２の被写体ｂが「時計」である場合、ユーザー要求ｃは「電車の時刻表の表示要求」となっている。また、第１の被写体ａが「バス」で、第２の被写体ｂが「時計」である場合、ユーザー要求ｃは「バスの時刻表の表示要求」となっている。

【0031】

また、第１の被写体ａが「食品サンプル」で、第２の被写体ｂが「店名」である場合、ユーザー要求ｃは「レストランの表示要求」となっている。ここで、「食品サンプル」とは飲食店の店頭などに陳列されている料理の模型である。また、「店名」とは飲食店の入り口などに設けられている看板に付されている文字などである。この場合の「レストランの表示要求」は、たとえば「食品サンプル」と関連する店の表示要求とすることができる。すなわち、「食品サンプル」がたとえばラーメンであれば、複数のラーメン店の表示要求とすることができる。なお、「食品サンプル」としては、飲食店の店頭などに陳列されている料理の模型に限らず、本に掲載されている食品の画像であってもよい。

【0032】

また、第１の被写体ａが「服」で、第２の被写体ｂが「店名」である場合、ユーザー要求ｃは「洋服店の表示要求」となっている。ここで、「服」とはユーザーが身に付けているものであってもよいし、身近な人物が身に付けているものであってもよい。この場合の「洋服店の表示要求」は、たとえば第１の被写体ａの「服」と関連する店の表示要求とすることができる。すなわち、「服」がたとえばスーツであれば、スーツに関連する複数の用品店の表示要求とすることができる。また、「服」としては、人物が身に付けているものに限らず、本に掲載されている「服」の画像であってもよい。

【0033】

また、第１の被写体ａが「靴」で、第２の被写体ｂが「店名」である場合、ユーザー要求ｃは「靴店の表示要求」となっている。ここで、「靴」とはユーザーが身に付けているものであってもよいし、身近な人物が身に付けているものであってもよい。この場合の「靴店の表示要求」は、たとえば第１の被写体ａの「靴」と関連する店の表示要求とすることができる。すなわち、「靴」がたとえばスニーカーであれば、スニーカーに関連する複数の靴店の表示要求とすることができる。また、「靴」としては、人物が身に付けているものに限らず、本に掲載されている「靴」の画像であってもよい。

【0034】

なお、表示要求判断部１０５Ａによって判断されたユーザー要求ｃに基づくネットワーク接続部１０８による各種情報ＤＢ２００へのアクセスの際は、位置情報取得部１０７によって取得された位置情報も送信される。そのため、いずれもユーザーの周囲に限定された情報を得ることができる。なお、ユーザーの周囲に限定せずに、広域での情報を得たい場合は、たとえば位置情報取得部１０７によって取得された位置情報の送信を無くすようにすれせばよい。この場合、位置情報取得部１０７の動作を中断させるような処理が行われればよい。

【0035】

次に、図４を参照し、ウェアラブル端末１０による情報表示処理について説明する。なお、以下においては、説明の都合上、たとえば天気情報の表示要求が行われる場合として説明する。

【0036】

（ステップＳ１０１）
まず、角度解析部１０６は、ジャイロセンサー１２２により傾きが検出されたかどうかを判断する。角度解析部１０６は、ジャイロセンサー１２２により傾きが検出されないと判断すると（ステップＳ１０１：Ｎｏ）、ジャイロセンサー１２２による傾きの検出待ちとなる。これに対し、角度解析部１０６は、ジャイロセンサー１２２により傾きが検出されたと判断すると（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移る。すなわち、ウェアラブル端末１０を装着したユーザーが空を見上げると、ジャイロセンサー１２２からの検出信号が変化するため、角度解析部１０６がジャイロセンサー１２２により傾きが検出されたと判断することができる。

【0037】

（ステップＳ１０２）
被写体認識部１０５は、角度解析部１０６が傾きを検出したと判断すると、カメラ１２１によって撮像された画像を解析し、被写体の認識を行う。このとき、ユーザーが空を見上げるというジェスチャーによって、カメラ１２１により空が撮像されると、被写体認識部１０５はカメラ１２１により撮像された画像を解析し、被写体が空であると認識する。なお、カメラ１２１は、上述したように、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）で被写体を撮像可能なビデオカメラとすることができる。これにより、カメラ１２１はウェアラブル端末１０を装着したユーザーの視線方向の被写体を連続して撮像することになるため、被写体認識部１０５は被写体の認識を連続して行うことができる。

【0038】

（ステップＳ１０３）
また、被写体認識部１０５は、最初の被写体の認識を終了すると、カメラ１２１が撮像した画像を解析し、次の被写体の認識を行う。

【0039】

（ステップＳ１０４）
被写体認識部１０５は、認識した次の被写体が最初の被写体と異なるかどうか判断する。次の被写体が最初の被写体と異なっていなければ（ステップＳ１０４：Ｎｏ）、最初の被写体と最初の被写体とが同じであるため、ステップＳ１０３に戻る。これに対し、次の被写体が最初の被写体と異なっていれば（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移る。すなわち、ユーザーが空を見上げた状態での画像が次の被写体として認識されると、次の被写体が最初の被写体と同じであるため、ステップＳ１０３に戻り、再度、次の被写体の認識が行われる。これに対し、ユーザーが空を見上げた状態で、手を空に向かってかざすというジェスチャーがあると、カメラ１２１により空を背景とした手が撮像される。この場合、被写体認識部１０５は、画像の解析により背景を除いた手を次の被写体と認識する。

【0040】

（ステップＳ１０５）
被写体認識部１０５は、最初の認識結果である第１の被写体（空）と、次の認識結果である第２の被写体（手）とを表示要求判断部１０５Ａに送る。

【0041】

（ステップＳ１０６）
表示要求判断部１０５Ａは、被写体認識部１０５からの認識結果を受け取ると、上述した表示要求判断表１０５ａを参照し、ユーザーの表示要求を判断する。この場合、第１の被写体（空）と第２の被写体（手）の組み合わせから、ユーザー要求ｃは天気情報の表示要求であると判断する。

【0042】

（ステップＳ１０７）
表示要求判断部１０５Ａは、ＧＰＳセンサー１２３による位置情報の取得の有無を判断する。ＧＰＳセンサー１２３による位置情報の取得が無ければ（ステップＳ１０７：Ｎｏ）、ＧＰＳセンサー１２３による位置情報の取得待ちとなる。これに対し、ＧＰＳセンサー１２３による位置情報の取得が有れば（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に移る。

【0043】

（ステップＳ１０８）
表示要求判断部１０５Ａは、ネットワーク接続部１０８を介して位置情報を含む表示要求（天気情報の表示要求）を各種情報ＤＢ２００へ送信する。

【0044】

（ステップＳ１０９）
表示要求判断部１０５Ａは、ネットワーク接続部１０８を介して各種情報ＤＢ２００からの情報の受信の有無を判断する。各種情報ＤＢ２００からの情報の受信が無ければ、受信待ちとなる（ステップＳ１０９：Ｎｏ）。これに対し、各種情報ＤＢ２００からの情報の受信が有れば（ステップＳ１０９：Ｙｅｓ）、ステップＳ１１０に移る。

【0045】

（ステップＳ１１０）
表示要求判断部１０５Ａは、各種情報ＤＢ２００からの情報の受信が有ると、表示制御部１１０を介して表示部１２０に天気情報を表示させる。この天気情報は、位置情報取得部１０７によって取得された位置情報に基づくものであり、ユーザーの周囲の情報となる。

【0046】

なお、以上では、天気情報の表示要求について説明したが、上述した表示要求判断表１０５ａのユーザー要求ｃに示す、電車の時刻表の表示要求、バスの時刻表の表示要求、レストランの表示要求、洋服店の表示要求、靴店の表示要求なども、上述したユーザーのジェスチャーにより撮像されたそれぞれの画像の認識結果である、第１の被写体と第２の被写体の組み合わせに基づいて判断されることになる。

【0047】

このように、本実施形態において、被写体認識部１０５は、撮像部であるカメラ１２１によって撮像された画像から被写体を認識し、表示要求判断部１０５Ａは、被写体認識部１０５によって認識された異なる被写体の組み合わせに基づき、表示要求が判断され、各種情報データベース（各種情報ＤＢ２００）に対し、通信部であるＩ／Ｆ１０１及びネットワーク接続部１０８を介して表示要求に応じた情報の送信要求を行い、通信部であるＩ／Ｆ１０１及びネットワーク接続部１０８は、ネットワーク３００を介し、各種情報を格納している各種情報データベース（各種情報ＤＢ２００）から各種情報を取得すると、表示部１２０は各種情報を表示する。

【0048】

これにより、ユーザーのジェスチャーに応じた異なる被写体の組み合わせに基づき表示要求が判断されることで、ユーザーの様々な表示要求の識別が可能となり、ユーザーの様々な表示要求に応じた情報を提供することができる。

【0049】

また、本実施形態では、角度解析部１０６は、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析すると、被写体認識部１０５は、角度解析部１０６による解析動作に伴い、被写体を認識する。これにより、角度解析部１０６による解析動作を、被写体認識部１０５による画像解析の開始トリガーとすることができ、ユーザーによる表示要求がない場合での被写体認識部１０５などによる無駄な処理を無くすことができる。

【0050】

また、本実施形態では、表示要求判断部１０５Ａが表示要求に応じた情報の送信要求を行う際、送信要求に位置情報取得部１０７により取得された位置情報が含められるので、各種情報ＤＢ２００からの得られる情報をユーザーの周囲に限定されたものとすることができる。

【0051】

また、本実施形態では、表示要求判断部１０５Ａが異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表１０５ａを参照し、表示要求を判断する。そのため、表示要求判断表１０５ａに異なる被写体（第１の被写体と第２の被写体）の組み合わせに合致するものが無ければユーザーによる表示要求の判断が行われないことから、ユーザーが要求しないときに表示部１２０に情報が表示されるという誤動作を防止することができる。

【0052】

なお、本実施形態では、本発明の電子機器の一例として、たとえば眼鏡型のウェアラブル端末１０として説明したが、これに限らず、腕時計型、ブレスレット型などの他のウェアラブル端末にも適用可能である。

【符号の説明】

【0053】

１０ ウェアラブル端末
１１ つる部
１００ 装置本体
１０１ Ｉ／Ｆ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＣＰＵ
１０５ 被写体認識部
１０５Ａ 表示要求判断部
１０５ａ 表示要求判断表
１０６ 角度解析部
１０７ 位置情報取得部
１０８ ネットワーク接続部
１０９ データ解析バス
１１０ 表示制御部
１１１ 撮像制御部
１１２ ジャイロセンサー制御部
１１３ ＧＰＳセンサー制御部
１１４ デバイス制御バス
１２０ 表示部
１２１ カメラ
１２２ ジャイロセンサー
１２３ ＧＰＳセンサー
２００ 各種情報ＤＢ
３００ ネットワーク

【図1】

【図2】

【図3】

【図4】