特開 2023-168591 表示装置、および表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168591

(43)【公開日】2023-11-24

(54)【発明の名称】表示装置、および表示方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231116BHJP

【ＦＩ】

G06F3/01 510

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023173637

(22)【出願日】2023-10-05

(62)【分割の表示】P 2021555749の分割

【原出願日】2019-11-15

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】高見澤 尚久

(57)【要約】

【課題】スケジュール情報をより認識しやすい形式で出力する。
【解決手段】表示装置１００では、撮影部１２が、表示装置１００の周囲を撮影し、認識部１６が、当該撮影した結果から時計３００（時刻または日付に関する実物体）を認識する。認識部１６により、時計３００が認識されると、スケジュール取得部１１が、スケジュール情報を取得し、表示制御部１７が、時計３００の位置に合せて当該スケジュール情報を表示出力する。この場合、表示装置１００では、時計３００の位置に合せてスケジュール情報を表示するので、実環境と紐づけてスケジュール情報を表示することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザが装着可能な表示装置であって、
スケジュール情報を取得するスケジュール取得部と、
時刻または日付に関する実物体を認識する認識部と、
前記表示装置の位置に関する情報である位置情報を取得する位置情報取得部と、
制御部と、
を含み、
前記制御部は、
前記時刻または日付に関する実物体が認識された場合、前記位置情報取得部により取得された位置情報の変化に基づいた前記ユーザの詳細なスケジュール情報を、前記時刻または日付に関する実物体の位置に合せて表示する、
表示装置。

【請求項2】

請求項１に記載の表示装置であって、
前記実物体は、時計であり、
前記認識部は、前記時計の時刻を認識し、
前記制御部は、前記認識部により認識された時刻と、前記表示装置が管理する時刻とを比較し、前記比較した結果に基づいた情報を表示する、
表示装置。

【請求項3】

請求項１に記載の表示装置であって、
前記ユーザの視線を検出する視線検出部を含み、
前記制御部は、前記視線検出部により検出された視線が、前記認識部により認識された実物体の位置に対応する場合に、前記時刻または日付に関する実物体の位置に合せて、前記スケジュール取得部により取得されたスケジュール情報を表示出力する、
表示装置。

【請求項4】

ユーザが装着可能な表示装置で実行する表示方法であって、
スケジュール情報を取得するスケジュール取得ステップと、
時刻または日付に関する実物体を認識する認識ステップと、
前記表示装置の位置に関する情報である位置情報を取得する位置情報取得ステップと、
前記時刻または日付に関する実物体が認識された場合、前記位置情報取得ステップにより取得された位置情報の変化に基づいた前記ユーザの詳細なスケジュール情報を、前記時刻または日付に関する実物体の位置に合せて表示する表示制御ステップと、
を含む、表示方法。

【請求項5】

請求項４に記載の表示方法であって、
前記実物体は、時計であり、
前記認識ステップにおいて、前記時計の時刻を認識し、
前記表示制御ステップにおいて、前記認識ステップにより認識された時刻と、前記表示装置が管理する時刻とを比較し、前記比較した結果に基づいた情報を表示する、
表示方法。

【請求項6】

請求項４に記載の表示方法であって、
前記ユーザの視線を検出する視線検出ステップを含み、
前記表示制御ステップにおいて、前記視線検出ステップにより検出された視線が、前記認識ステップにより認識された実物体の位置に対応する場合に、前記時刻または日付に関する実物体の位置に合せて、前記スケジュール取得ステップにより取得されたスケジュール情報を表示出力する、
表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置および表示方法に関する。

【背景技術】

【0002】

従来から、拡張現実を利用したヘッドマウントディスプレイがあり、当該ヘッドマウントディスプレイを用いて、スケジュール情報を表示する技術がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７―１２０５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に開示されている技術においては、ヘッドマウントディスプレイを装着したユーザが、時計を見ると、これに応じて、ヘッドマウントディスプレイがスケジュール情報を表示するものである。このような、スケジュール情報は、実環境と紐づけて表示することが望ましい。すなわち、実体と融合して表示する方が、ユーザにとってより有益な情報を提供し得る。

【0005】

本発明の目的は、実環境と紐づけてスケジュール情報を表示することを目的とする。

【0006】

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0007】

前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。

【0008】

一例を挙げるならば、スケジュール情報を表示し、ユーザが装着可能な表示装置であって、スケジュール情報を取得するスケジュール取得部と、表示装置の周囲を撮影する撮影部と、撮影部により撮影された結果から、時刻または日付に関する実物体を認識する認識部と、認識部により、時刻または日付に関する実物体が認識された場合、時刻または日付に関する実物体の位置に合せて、スケジュール取得部により取得されたスケジュール情報を表示出力する表示制御部と、を含む。

【発明の効果】

【0009】

本発明の技術を用いることにより、実環境と紐づけてスケジュール情報を表示することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態による表示装置のハードウェア構成を説明する図である。

【図2】本実施形態による表示装置の機能ブロック図である。

【図3】表示装置を装着したユーザが、実物体の時計を参照した場合を説明する図である。

【図4】スケジュール情報の表示例を説明する図である。

【図5】時計の位置に合せてスケジュール情報を表示する処理手順を説明するフローチャートである。

【図6】ＡＲ表示した時計も含めた表示例を示す図である。

【図7】デジタルの腕時計の表示例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態の例を、図面を用いて説明する。

【0012】

まず、図１を用いて表示装置１００のハードウェア構成を説明する。図１は、表示装置１００のハードウェア構成を説明する図である。この表示装置１００は、ユーザが装着可能な装置であり、具体的には、ヘッドマウントディスプレイ装置である。このヘッドマウントディスプレイは、ユーザが頭部に装着した状態で、各種アプリケーション（例えば、スケジュール情報を出力するアプリケーション）をユーザに視認可能に表示し、実行する装置である。なお、表示装置１００は、眼鏡型のヘッドマウントディスプレイでもよい。

【0013】

表示装置１００は、主制御部１０１を有し、バス１０２を介して各部を制御する。この主制御部１０１は、ＣＰＵ（Central Processing Unit）等である。また、表示装置１００は、ＲＡＭ１０３、ストレージ１１０、操作入力部１２０、画像処理部１３０、センサ部１５０、通信処理部１６０、および拡張Ｉ／Ｆ部１７０を有する。

【0014】

操作入力部１２０は、操作キー１２１、タッチセンサ１２２およびタッチパネル１２３を有する。画像処理部１３０は、表示部１３１、画像信号処理部１３２、第１画像入力部１３３、および第２画像入力部１３４を有する。

【0015】

主制御部１０１は、ストレージ１１０に記憶されている各種情報処理プログラムを実行することにより、各種機能を実行させる演算処理装置である。ＲＡＭ１０３は、各種プログラム実行時のワークエリアとなる。ストレージ１１０は、主制御部１０１が第１画像入力部１３３や第２画像入力部１３４により撮像した画像や、各種情報を記憶する部分である。ストレージ１１０は、ＦｌａｓｈＲＯＭやＥＥＰＲＯＭ等の不揮発記憶媒体である。

【0016】

操作入力部１２０は、操作入力を受け付けるユーザ操作Ｉ／Ｆである。操作キー１２１は、表示装置１００の所定位置に設置される物理キー(例えば、電源キー、音量キー、ホームキー等)である。タッチセンサ１２２は、表示装置１００の筐体等に設置される入力用センサである。タッチパネル１２３は、表示装置１００が有するものである。

【0017】

画像処理部１３０は、イメージ（ビデオ）プロセッサなどにより実現するものである。表示部１３１は、シースルー型（透過型）の表示装置である場合、透過型で実映像にオブジェクトを重畳表示する。また、表示部１３１は、非透過の表示装置である場合、非透過でカメラスルー画像にオブジェクトを重畳表示する。

【0018】

画像信号処理部１３２は、イメージシグナルプロセッサであり、第１画像入力部１３３または第２画像入力部１３４による画像を解析して、当該解析結果を主制御部１０１等に出力する部分である。

【0019】

第１画像入力部１３３は、外界を撮像する部分である。第２画像入力部１３４は、ユーザの眼を撮像する部分である。

【0020】

センサ部１５０は、表示装置１００の位置および方向を特定するための情報を取得する部分である。センサ部１５０は、ＧＰＳ受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、加速度センサ１５４、および深度センサ１５５を有する。

【0021】

ＧＰＳ受信部１５１は、ＧＰＳ信号を受信して得られるＧＰＳ情報を取得する。ジャイロセンサ１５２は、表示装置１００の移動方位の検出を行う機能を有し、表示装置１００の方向変化に伴う角速度データを示すジャイロ情報を取得する。地磁気センサ１５３は、地磁気に基づいて表示装置１００の絶対方位を表す角度を検出する方位検出装置の一種である。このような角度としては、例えば方位角を挙げることができる。加速度センサ１５４は、表示装置１００の加速度および傾斜角の少なくとも一方を検出する機能を有する。センサ部１５０は、さらに近接センサや照度センサ等を有するようにしてもよい。深度センサ１５５は、いわゆる３Ｄセンサであり、面状に測距した距離情報を用いて、人や物などの対象物の形状を立体として捉えることができるセンサである。

【0022】

通信処理部１６０は、無線通信を制御するコミュニケーションプロセッサである。通信処理部１６０は、ＬＡＮ等により外部の装置と情報を送受信する。拡張Ｉ／Ｆ部１７０は、周辺機器と接続するためのインタフェースである。

【0023】

続いて、図２を用いて、表示装置１００の機能説明をする。図２は、表示装置１００の機能ブロック図である。表示装置１００は、スケジュール取得部１１と、撮影部１２と、位置情報取得部１３と、移動状態判断部１４と、視線検出部１５と、認識部１６と、表示制御部１７とを有する。なお、これらの機能は、ストレージ１１０で記憶されている各種プログラムを実行する等により実現する。また、表示装置１００は、図２に示した機能以外の機能も有する。

【0024】

スケジュール取得部１１は、スケジュール情報を取得する部分である。スケジュール取得部１１は、例えば、予めストレージ１１０に記憶されているスケジュール情報を所定のタイミングで取得する。当該タイミングとして、後述の認識部１６により、時計等の実物体が認識された場合がある。

【0025】

ここで、スケジュール情報とは、スケジュール内容（例えば、出張、予約に関する情報等）と、当該スケジュールを実行する時刻に関する情報（スケジュールの開始時刻、スケジュールの終了時刻等）とを少なくとも含む。また、当該スケジュール情報にカテゴリが、対応付けられていてもよい。ここで、カテゴリとは、当該スケジュール情報を表示する箇所（例えば、家、会議室等）を示す。

【0026】

スケジュール取得部１１は、表示装置１００の内蔵時計に基づいた現在時刻以降のスケジュール情報を取得するようにしてもよい。

【0027】

撮影部１２は、表示装置１００の周囲を撮影する部分である。撮影部１２は、所定のタイミングで撮影を開始する。撮影部１２は、例えば、第１画像入力部１３３等により実現する。撮影部１２は、所定のタイミングで表示装置１００の周囲を撮影し、撮影した結果（撮影結果）を認識部１６へ送出する。

【0028】

位置情報取得部１３は、表示装置１００の位置に関する情報である位置情報を取得する部分である。位置情報取得部１３は、例えば、ＧＰＳ受信部１５１等により実現する。位置情報取得部１３は、取得した信号を移動状態判断部１４や表示制御部１７へ送出する。

【0029】

移動状態判断部１４は、位置情報取得部１３により取得された位置情報の変化に基づいて、ユーザが移動中か否かを判断する部分である。移動状態判断部１４は、例えば、主制御部１０１等により実現する。移動状態判断部１４は、位置情報取得部１３から位置情報を取得し、取得した位置情報の変化が予め定められている基準を超えて変化している場合、移動していると判断する。また、移動状態判断部１４は、位置情報取得部１３による位置情報に基づいて、予め保持している地図情報に含まれる施設位置情報と突き合わせる等の公知技術により特定される施設に変化がある場合に、移動していると判断するようにしてもよい。

【0030】

移動状態判断部１４は、位置情報だけでなく、他の情報（例えば、センサ部１５０の他のセンサによる結果）に基づいた自律航法測位等の公知の技術により、ユーザが移動しているか否かを判断するようにしてもよい。

【0031】

視線検出部１５は、ユーザの視線を検出する部分である。視線検出部１５は、例えば、第２画像入力部１３４および画像信号処理部１３２等により実現する。具体的に、第２画像入力部１３４が撮影したユーザの目の状態に基づいて、画像信号処理部１３２が、角膜反射を利用したアイトラッキング等の公知技術によりユーザの視線の先を特定する。視線検出部１５は、特定したユーザの視線の先を示す情報を表示制御部１７へ送出する。

【0032】

認識部１６は、撮影部１２により撮影された結果から、時刻または日付に関する実物体を認識する部分である。認識部１６は、例えば、主制御部１０１により実現する。認識部１６は、撮影部１２から撮影結果を取得すると、当該撮影結果を画像解析して、画像認識の公知技術により時刻または日付に関する実物体が含まれるか否かを判断する。

【0033】

ここで、時刻または日付に関する実物体とは、部屋にある時計や、ユーザが装着している腕時計や、部屋にあるカレンダー等である。

【0034】

認識部１６は、撮影結果に時刻または日付に関する実物体が含まれる場合、当該撮影結果に基づいて実物体の位置も特定する。また、認識部１６は、当該実物体が時計である場合、画像認識の公知技術により、当該時計が示している時刻も認識する。また、認識部１６は、撮影結果に基づいて、実物体の位置（例えば、ユーザの正面に対する相対位置）も同様に画像認識の公知技術により認識する。

【0035】

認識部１６は、実物体が含まれる場合、当該実物体の位置および時刻（実物体が時計の場合）を表示制御部１７へ通知する。

【0036】

表示制御部１７は、認識部１６により、時刻または日付に関する実物体が認識された場合、時刻または日付に関する実物体の位置に合せて、スケジュール取得部１１により取得されたスケジュール情報を表示出力する。表示制御部１７は、例えば、主制御部１０１により実現する。

【0037】

表示制御部１７は、認識部１６から実物体の位置および時刻を取得し、スケジュール取得部１１からスケジュール情報を取得する。表示制御部１７は、認識部１６に認識された実物体の位置に合せて、スケジュール情報を表示出力する。ここで、図３および図４を用いて、表示制御例を説明する。

【0038】

図３は、表示装置１００を装着したユーザ５００が、実物体の時計３００を参照した場合を説明する図である。図３に示すように、表示装置１００を装着したユーザ５００が時計３００を見ると、時計３００が撮像範囲に入るため、認識部１６が時計３００を認識する。また、認識部１６は、当該時計３００の時刻も認識する。

【0039】

なお、表示制御部１７は、認識部１６により時計３００が認識されると、スケジュール取得部１１からスケジュール情報を取得する。表示制御部１７は、スケジュール取得部１１により取得されたスケジュール情報を、認識部１６により認識された時計３００の位置に合せて、表示する。

【0040】

図４は、スケジュール情報の表示例を説明する図である。図４に示すように、表示制御部１７は、時計３００の位置に合せて、スケジュール情報の内容４０１ａおよびスケジュール情報の内容４０１ｂを表示出力する。

【0041】

図４に示す例の場合、４時台前後に会議のスケジュールがあることを示し、５時台前後に打合せのスケジュールがあることを示している。

【0042】

なお、表示制御部１７は、表示装置１００で管理する時刻（いわゆる内蔵時計）と、認識部１６により認識された時刻とを比較し、比較した結果、相違がある場合、その旨を示す情報を出力するようにしてもよい。例えば、表示制御部１７は、認識部１６により認識された時刻と、表示装置１００で管理する時刻とを比較した結果、予め定められている許容誤差時間（例えば、１０分）以上相違する場合、相違する旨を示す情報を表示出力する。また、表示制御部１７は、相違する旨の情報として、どの程度相違するか（例えば、１５分遅れ等）を示すようにしてもよい。

【0043】

上記のように、表示装置１００で管理する時刻と、認識部１６により認識された時刻とを比較して、相違する場合に、その旨を表示することにより、ユーザに注意喚起することができる。これにより、表示装置１００は、時差のある現地時計、調整されていない時計などに合せてスケジュール情報を表示してしまい、ユーザにとって不都合な事態（遅刻してしまう等）が発生してしまうことを回避することができる。

【0044】

また、表示制御部１７は、位置情報取得部１３により取得された位置情報に対応するカテゴリ情報のスケジュール情報を表示出力するようにしてもよい。

【0045】

例えば、表示制御部１７は、位置情報取得部１３により取得された位置情報に基づいて、どの施設にいるかを予め保持している地図情報等を用いてデータベースによるマッチング等の公知技術を利用して判断する。表示制御部１７は、当該施設に対応するカテゴリに対応付けられているスケジュール情報を抽出して、抽出したスケジュール情報を表示する。

【0046】

例えば、表示制御部１７は、位置情報取得部１３により取得された位置情報に基づいて家にいると判断した場合、プライベート用のカテゴリのスケジュール情報を表示する。また、表示制御部１７は、会社等の会議室にいると判断した場合、当該会議室の時計を認識したとき、当該会議室の使用予定を示すスケジュール情報を表示する。このように、ユーザがいる位置によって、表示するスケジュールを変えることにより、ユーザが所望するスケジュールに絞って表示することができる。

【0047】

また、表示制御部１７は、視線検出部１５により検出された視線が、認識部１６により認識された実物体の位置に対応する場合に、認識部１６に認識された実物体の位置に合せて、スケジュール情報を表示出力するようにしてもよい。視線検出部１５により検出された視線が、認識部１６により認識された実物体の位置に対応するか否かを判断する方法は、例えば、角膜反射を利用したアイトラッキング等の公知技術により実現することができる。

【0048】

このように、表示装置１００は、ユーザが実物体に視線を合わせていることを検出したことを条件として、スケジュール情報を表示出力することにより、適したタイミングでスケジュール情報を表示することができる。

【0049】

また、表示制御部１７は、認識部１６により認識された実物体が示す時刻以降のスケジュール情報を抽出して、表示出力するようにしてもよい。これにより、表示装置１００は、ユーザにとって必要なスケジュール情報に絞って表示出力することができる。

【0050】

続いて、図５を用いて、時計の位置に合せてスケジュール情報を表示する処理手順を説明する。図５は、時計の位置に合せてスケジュール情報を表示する処理手順を説明するフローチャートである。

【0051】

まず、表示装置１００の撮影部１２は、所定のタイミングで表示装置１００の周囲を撮影する（ステップＳ１）。

【0052】

認識部１６は、撮影部１２により撮影された結果に対して画像処理をして、時計の有無を判断する（ステップＳ２）。認識部１６が、上記画像処理により、時計が無いと判断した場合（ステップＳ２：Ｎｏ）、ステップＳ１へ進む。

【0053】

認識部１６は、上記画像処理により、時計があると判断した場合（ステップＳ２：Ｙｅｓ）、スケジュール取得部１１は、スケジュール情報を取得する（ステップＳ３）。そして、表示制御部１７は、時計の位置に合せてスケジュール情報を表示出力する（ステップＳ４）。

【0054】

上述の実施例では、特に述べなかったが、スケジュール取得部１１は、外部のサーバ装置等と通信して、スケジュール情報を取得するようにしてもよい。

【0055】

上述の実施例では、特に述べなかったが、表示制御部１７は、時計にスケジュール情報を表示する際に、表示対象のスケジュールが１２時間以上ある場合、Ｚ軸方向（奥行き方向）に螺旋状に表示するようにしてもよい。また、表示制御部１７は、２４時間を超えて次の日のスケジュール情報を表示するようにしてもよい。また、表示制御部１７は、時間によって（例えば、内部時計が示す現在時刻）、午前部分または午後部分のスケジュール情報に絞って表示するようにしてもよい。

【0056】

上述の実施例では、特に述べなかったが、表示制御部１７は、時計にスケジュール情報を表示する際に、ＸＹ上に渦巻状に表示してもよい。

【0057】

また、上述の実施例では、実物体として、時計を認識する例について述べたが、カレンダーを認識するようにしてもよい。

【0058】

また、上述の実施例では、アナログの時計の形状に合わせて、円状にスケジュール情報を表示する例について述べたが、時計をＡＲ表示して、当該ＡＲ表示した時計にスケジュール情報を表示するようにしてもよい。

【0059】

ここで、図６を用いて、ＡＲ表示した時計も含めた表示例を説明する。図６は、ＡＲ表示した時計も含めた表示例を示す図である。

【0060】

図６に示すように、表示制御部１７は、時計３００の位置の直下に、現在時刻を開始時刻とするスケジュール情報の内容４０１ａを表示し、当該スケジュール情報の内容４０１ａの終了時刻を示すＡＲ時計４０２ａを表示する。また、表示制御部１７は、当該ＡＲ時計４０２ａの時刻を開始時刻とするスケジュール情報の内容４０１ｂと、当該スケジュール情報の内容４０１ｂの終了時刻を示すＡＲ時計４０２ｂを表示する。

【0061】

また、上述の実施例では、表示装置１００が、アナログの時計の周囲にスケジュール情報を表示する例について述べたが、ユーザのデジタルの腕時計の周囲にスケジュール情報を表示するようにしてもよい。ここで、図７を用いて、デジタルの腕時計の周囲にスケジュール情報を表示する例を説明する。図７は、デジタルの腕時計の表示例を示す図である。

【0062】

図７（ａ）は、表示制御部１７が、腕時計の時計部分３１０の周囲に、スケジュールの内容４０１ｃおよびスケジュールの内容４０１ｄを表示した例である。図７（ｂ）は、表示制御部１７が、腕時計の時計部分３１０の周囲に、スケジュールの内容４０１ｅおよびスケジュールの内容４０１ｆを表示した例である。スケジュールの内容４０１ｅおよびスケジュールの内容４０１ｆには、開始時刻の情報も含められている。

【0063】

表示制御部１７は、腕時計の時計部分３１０の周囲に、複数日のスケジュールを奥行方向に重ねて表示するようにしてもよい。また、当該腕時計の動作状態に応じて、表示するスケジュールを変えてもよい。例えば、表示制御部１７は、腕時計が手元に引き寄せられた場合、直近のスケジュール情報を優先して表示するようにしてもよい。

【0064】

上述の実施例では、特に述べなかったが、表示制御部１７は、ジャイロセンサ１５２、地磁気センサ１５３、及び加速度センサ１５４による計測結果に応じて、表示中のスケジュール情報の表示位置を変更するようにしてもよい。これにより、表示装置１００は、ユーザが姿勢を変えても、それに追随して実物体と表示するスケジュール情報との視線位置からの位置関係が変化しないように表示制御部１７が制御して、スケジュール情報を表示することができる。

【0065】

なお、表示制御部１７は、移動状態判断部１４によりユーザが移動中であると判断された場合、当該移動中に対応するスケジュールとして詳細なスケジュール情報に遷移させて表示出力するようにしてもよい。

【0066】

例えば、上位概念の「出張」というスケジュール情報と、下位概念の出張の詳細なスケジュール情報があるものとする。出張の詳細なスケジュール情報として、出張の移動中の経路の情報が含められているものとする。移動状態判断部１４が、位置情報取得部１３により取得された位置情報に基づいて、会社にいると判断した場合、表示制御部１７は、時計等の実物体が認識された場合、時計の位置に合せて、「出張」のスケジュール情報を表示する。また、移動状態判断部１４が、位置情報取得部１３により取得された位置情報に基づいて、会社を出たと判断した場合、表示制御部１７は、時計等の実物体が認識された場合、時計の位置に合せて、出張の詳細なスケジュール情報を表示する。

【0067】

このように、表示装置１００は、ユーザの移動状態に応じて、表示するスケジュール情報を切替えることによって、状況に応じたスケジュール情報を表示出力することができる。

【0068】

表示制御部１７は、日付に関する実物体がカレンダーである場合、当該カレンダーの内、注視した日付を特定して、当該日付の詳細のスケジュールを表示するようにしてもよい。また、表示制御部１７が、カレンダーに、スケジュール情報を表示している際に、ユーザが月名を一定時間（予め定められている基準時間であって、例えば、５秒）注視した後に、視線が横に移動したことを検知した場合に、前後の月のスケジュールを表示してもよい。表示制御部１７は、当該前後の月のスケジュールの表示先として、カレンダーの横や上下に表示するようにしてもよい。

【0069】

また、表示制御部１７が、カレンダーに、スケジュール情報を表示している際に、ユーザが年を一定時間（予め定められている基準時間であって、例えば、５秒）注視した後に、視線が横に移動したことを検知した場合に、前後の年の同月のスケジュールを表示してもよい。表示制御部１７は、当該後の年の同月のスケジュールの表示先として、カレンダーの横や上下に表示するようにしてもよい。

【0070】

上述のように、表示装置１００では、撮影部１２が、表示装置１００の周囲を撮影し、認識部１６が、当該撮影した結果から時計３００（時刻または日付に関する実物体）を認識する。認識部１６により、時計３００が認識されると、スケジュール取得部１１が、スケジュール情報を取得し、表示制御部１７が、時計３００の位置に合せて当該スケジュール情報を表示出力する。

【0071】

この場合、表示装置１００では、時計３００の位置に合せてスケジュール情報を表示するので、実環境と紐づけてスケジュール情報を表示することができ、よりスケジュール情報を認識しやすい形式で出力することができる。

【0072】

また、表示制御部１７は、認識部１６により認識された時計３００の時刻と、内蔵時計とを比較して、相違が著しい場合、その旨を示す情報を出力する。この場合、表示装置１００は、表示したスケジュール情報と時計３００の時刻にズレがあることについて注意を促すことができる。

【0073】

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。

【0074】

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0075】

１１…スケジュール取得部、１２…撮影部、１３…位置情報取得部、１４…移動状態判断部、１５…視線検出部、１６…認識部、１７…表示制御部、１００…表示装置、１０１…主制御部、１０２…バス、１０３…ＲＡＭ、１１０…ストレージ、１２０…操作入力部、１２１…操作キー、１２２…タッチセンサ、１２３…タッチパネル、１３０…画像処理部、１３１…表示部、１３２…画像信号処理部、１３３…第１画像入力部、１３４…第２画像入力部、１５０…センサ部、１５１…ＧＰＳ受信部、１５２…ジャイロセンサ、１５３…地磁気センサ、１５４…加速度センサ、１５５…深度センサ、１６０…通信処理部、１７０…拡張Ｉ／Ｆ部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】