特許 5981371 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5981371

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月31日

(54)【発明の名称】姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20160818BHJP

   G06F 3/0487 20130101ALI20160818BHJP

   G06F 17/30 20060101ALI20160818BHJP

【ＦＩ】

   G06F3/0481 150

   G06F3/0487

   G06F17/30 310Z

   G06F17/30 110G

   G06F17/30 380D

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2013-55376(P2013-55376)

(22)【出願日】2013年3月18日

(65)【公開番号】特開2014-182479(P2014-182479A)

(43)【公開日】2014年9月29日

【審査請求日】2015年8月4日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】土井 渉

(72)【発明者】

【氏名】井戸上 彰

(72)【発明者】

【氏名】野垣内 出

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２０１０−２３８０９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８７

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

現実空間を撮影するカメラと、姿勢情報を計測するセンサと、前記カメラによって撮影された現実空間映像を表示するディスプレイと、現在位置情報を取得する測位部とを有する情報端末において、
前記カメラは、当該情報端末に対して、その撮影方向と、当該情報端末を把持するユーザから見た視線方向とが一致するように固定的に搭載されており、
前記現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末の位置情報及び姿勢範囲情報を対応付けて蓄積するアノテーション蓄積手段と、
前記アノテーション蓄積手段を用いて、前記現在位置情報をキーとして、前記アノテーションを検索するアノテーション検索手段と、
検索された前記アノテーションの姿勢範囲情報に、前記センサによって取得された姿勢情報が含まれるか否かを判定する姿勢判定手段と、
前記姿勢判定手段によって真と判定された場合にのみ、前記ディスプレイに、前記現実空間映像に前記アノテーションを重畳表示するべく制御する表示制御手段と
を有することを特徴とする情報端末。

【請求項2】

前記センサは、３軸の加速度データを出力する加速度センサであり、
前記姿勢情報は、前記加速度センサによって取得される重力ベクトルに対する姿勢角であり、
前記アノテーションの前記姿勢範囲情報は、前記姿勢角の範囲である
ことを特徴とする請求項１に記載の情報端末。

【請求項3】

前記姿勢角は、前記重力ベクトルに対するピッチ角であることを特徴とする請求項２に記載の情報端末。

【請求項4】

前記センサは、３軸の地磁気データを出力する地磁気センサを更に含み、
前記姿勢情報は、前記地磁気センサによって取得される北に対する方位角を更に含み、
前記アノテーションの前記姿勢範囲情報に、前記方位角の範囲を更に含み、
前記姿勢判定手段は、検索されたアノテーションの方位角に、前記センサによって取得された方位角が含まれるか否かを更に判定する
ことを特徴とする請求項１から３のいずれか１項に記載の情報端末。

【請求項5】

前記方位角は、北に対するヨー角であることを特徴とする請求項４に記載の情報端末。

【請求項6】

前記表示制御手段は、前記センサによって取得された姿勢情報が、前記アノテーションの姿勢範囲情報に中央値から上限下限値へ近づくに従って当該アノテーションの表示色を透明に近づけるべく制御する
ことを特徴とする請求項１から５のいずれか１項に記載の情報端末。

【請求項7】

請求項１から６のいずれか１項に記載の情報端末から、ネットワークを介してアクセスさせるサーバとを有するシステムであって、
前記サーバは、
位置に応じて、情報端末に関する姿勢範囲情報を対応付けた前記アノテーションを蓄積するアノテーション蓄積手段と、
前記情報端末から現在位置情報を受信した際に、前記アノテーション及び前記姿勢範囲情報を返信するアノテーション検索手段と
を有し、
前記情報端末の前記アノテーション検索手段は、前記現在位置情報を前記サーバへ送信し、該サーバから、前記アノテーション及び前記姿勢範囲情報を取得する
を更に有することを特徴とするシステム。

【請求項8】

現実空間を撮影するカメラと、姿勢情報を計測するセンサと、前記カメラによって撮影された現実空間映像を表示するディスプレイと、現在位置情報を取得する測位部とを有する情報端末に搭載されたコンピュータを機能させるプログラムにおいて、
前記カメラは、当該情報端末に対して、その撮影方向と、当該情報端末を把持するユーザから見た視線方向とが一致するように固定的に搭載されており、
前記現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末の位置情報及び姿勢範囲情報を対応付けて蓄積するアノテーション蓄積手段と、
前記アノテーション蓄積手段を用いて、前記現在位置情報をキーとして、前記アノテーションを検索するアノテーション検索手段と、
検索されたアノテーションの姿勢範囲情報に、前記センサによって取得された姿勢情報が含まれるか否かを判定する姿勢判定手段と、
前記姿勢判定手段によって真と判定された場合にのみ、前記ディスプレイに、前記現実空間映像に前記アノテーションを重畳表示するべく制御する表示制御手段と
してコンピュータを機能させることを特徴とする情報端末用のプログラム。

【請求項9】

現実空間を撮影するカメラと、姿勢情報を計測するセンサと、前記カメラによって撮影された現実空間映像を表示するディスプレイと、現在位置情報を取得する測位部とを有する情報端末における拡張現実感表示方法において、
前記カメラは、当該情報端末に対して、その撮影方向と、当該情報端末を把持するユーザから見た視線方向とが一致するように固定的に搭載されており、
前記現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末の位置情報及び姿勢範囲情報を対応付けて蓄積するアノテーション蓄積部を有し、
前記アノテーション蓄積部を用いて、前記現在位置情報をキーとして、前記アノテーションを検索する第１のステップと、
検索されたアノテーションの姿勢範囲情報に、前記センサによって取得された姿勢情報が含まれるか否かを判定する第２のステップと、
第２のステップによって真と判定された場合にのみ、前記ディスプレイに、前記現実空間映像に前記アノテーションを重畳表示するべく制御する第３のステップと
を有することを特徴とする拡張現実感表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実感の技術に関する。

【背景技術】

【0002】

拡張現実感（又は強化現実感、Augmented Reality）とは、視覚的な現実空間映像に、仮想的なアノテーション(annotation)を重畳した映像を、ユーザに視認させる技術をいう。アノテーションとは、一般に、あるデータに、そのデータに関する注釈を付与するメタデータを付与することをいう。拡張現実感におけるアノテーションとは、ユーザが視認している対象物に関連する情報（例えば文字、画像、映像）をいう。この技術に適用される装置としては、例えばヘッドマウントディスプレイがある。ユーザは、この装置を目の前に装着することによって、オブジェクトが見える現実空間に、アノテーションの補足情報を視覚的に重畳して見ることができる。具体的な応用例としては、手術中の医師が、ヘッドマウントディスプレイを装着することによって、患者の現実の手術状態を視認すると共に、身体状態や患部の関連情報も視認することができる。

【0003】

近年、携帯電話機やスマートフォンに適用した拡張現実感（ＡＲ）ソフトウェアが提供されている。代表的には、頓智ドット株式会社によって提供されるセカイカメラ(Sekai Camera)（登録商標）がある（例えば非特許文献１参照）。この技術によれば、iPhone（登録商標）やAndroid（登録商標）のスマートフォンを用いて、ユーザが目の前の景色をディスプレイに映し出した際に、その場所・対象物（建物・看板など）に関連する「エアタグ」と称されるアノテーション（文字・画像・音声のような付加情報）を重畳的に表示する。スマートフォンは、現在位置を測位するＧＰＳ(Global Positioning System)機能と、カメラの向いている方位角を取得する電子コンパス（地磁気センサ）とを有する。そして、スマートフォンは、これら情報をサーバへ送信し、サーバから、メタデータを受信する。スマートフォンは、受信したメタデータに基づくエアタグコンテンツを、ディスプレイの現実空間に重畳して表示する。

【0004】

従来、撮像装置で取得した画像からオブジェクト（検索対象）を検出し、そのオブジェクトの姿勢に合わせて、アノテーションを重畳表示させる技術がある（例えば特許文献１参照）。この技術によれば、事前に登録されているオブジェクトの形状又は特徴点と、検出されたオブジェクトの形状又は特徴点とを比較し、撮像装置とオブジェクトとの位置関係に応じて、アノテーションを表示することができる。

【0005】

また、サーバが、位置情報に基づいたアノテーションを蓄積した技術がある（例えば特許文献２参照）。この技術によれば、情報端末が、ＧＰＳ機能によって取得された位置情報を、そのサーバへ送信する。これに対し、サーバは、その情報端末の位置周辺に登録されているアノテーションを検索し、そのアノテーションを情報端末へ送信する。これによって、情報端末は、そのアノテーションをディスプレイに表示することができる。また、サーバは、位置情報に基づいたオブジェクトの画像特徴データを蓄積したものものある。情報端末は、位置情報に基づいた画像特徴データをサーバから取得し、撮像装置に写る映像から当該画像特徴データに類似するオブジェクトを検出することもできる。

【0006】

尚、配信された情報に含まれるメタデータの緯度経度及び情報端末の姿勢に応じて、端末が、情報表示方法を計算する技術もある（例えば特許文献３参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９−１１０３０４号公報

【特許文献2】特開２０１０−１９１８１３号公報

【特許文献3】特開２０１０−２３８０９６号公報

【非特許文献】

【0008】

【非特許文献1】頓智ドット株式会社、「Sekai Camera Support Center」、[online]、［平成２４年３月１２日検索］、インターネット＜http://support.sekaicamera.com/ja/how-to＞

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来技術によれば、情報端末の現在位置及び方位角に基づいて、現実空間の映像にアノテーションを重畳して表示するものである。即ち、情報端末自体の姿勢については何ら注目していない。そのために、現在位置及び方位角が同じであれば、情報端末のカメラを上方に向けた場合であっても下方に向けた場合であっても（姿勢が異なる場合であっても）、同じアノテーションを表示することとなる。これは、ユーザは、情報端末のカメラを常に地上に対して水平方向に向けることを前提としている。

【0010】

しかしながら、情報端末のカメラを上方に向けた場合と下方に向けた場合とでは、即ち、姿勢が異なる場合には、現在位置及び方位角が同じであっても、表示すべきアノテーションも異なるべきである。情報端末のカメラが地上に対して水平方向に向けられている際に表示すべきアノテーションは、その情報端末が上方又は下方に向けられた際には表示すべきでない。一方で、現在位置及び方位角が同じであっても、その情報端末が上方又は下方に向けられた際には、情報端末のカメラが地上に対して水平方向に向けられている際に表示すべきアノテーションとは別のアノテーションを表示すべきである。

【0011】

そこで、本発明は、情報端末のカメラの写る現実空間の映像に、当該情報端末の姿勢に応じたアノテーションを重畳的に表示することができる情報端末、システム、プログラム及び拡張現実感表示方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明によれば、現実空間を撮影するカメラと、姿勢情報を計測するセンサと、カメラによって撮影された映像を表示するディスプレイと、現在位置情報を取得する測位部とを有する情報端末において、
カメラは、当該情報端末に対して、その撮影方向と、当該情報端末を把持するユーザから見た視線方向とが一致するように固定的に搭載されており、
現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末の位置情報及び姿勢範囲情報を対応付けて蓄積するアノテーション蓄積手段と、
アノテーション蓄積手段を用いて、現在位置情報をキーとして、アノテーションを検索するアノテーション検索手段と、
検索されたアノテーションの姿勢範囲情報に、センサによって取得された姿勢情報が含まれるか否かを判定する姿勢判定手段と、
姿勢判定手段によって真と判定された場合にのみ、ディスプレイに、現実空間映像にアノテーションを重畳表示するべく制御する表示制御手段と
を有することを特徴とする。

【0013】

本発明の情報端末における他の実施形態によれば、
センサは、３軸の加速度データを出力する加速度センサであり、
姿勢情報は、加速度センサによって取得される重力ベクトルに対する姿勢角であり、
アノテーションの姿勢範囲情報は、姿勢角の範囲であることも好ましい。

【0014】

本発明の情報端末における他の実施形態によれば、姿勢角は、重力ベクトルに対するピッチ角であることも好ましい。

【0015】

本発明の情報端末における他の実施形態によれば、
センサは、３軸の地磁気データを出力する地磁気センサを更に含み、
姿勢情報は、地磁気センサによって取得される北に対する方位角を更に含み、
アノテーションの姿勢範囲情報に、方位角の範囲を更に含み、
姿勢判定手段は、検索されたアノテーションの方位角に、センサによって取得された方位角が含まれるか否かを更に判定することも好ましい。

【0016】

本発明の情報端末における他の実施形態によれば、方位角は、北に対するヨー角であることも好ましい。

【0017】

本発明の情報端末における他の実施形態によれば、表示制御手段は、センサによって取得された姿勢情報が、アノテーションの姿勢範囲情報に中央値から上限下限値へ近づくに従って当該アノテーションの表示色を透明に近づけるべく制御することも好ましい。

【0019】

本発明によれば、前述した情報端末から、ネットワークを介してアクセスさせるサーバとを有するシステムであって、
サーバは、
位置に応じて、情報端末に関する姿勢範囲情報を対応付けたアノテーションを蓄積するアノテーション蓄積手段と、
情報端末から現在位置情報を受信した際に、アノテーション及び姿勢範囲情報を返信するアノテーション検索手段と
を有し、
情報端末のアノテーション検索手段は、現在位置情報をサーバへ送信し、該サーバから、アノテーション及び姿勢範囲情報を取得する
を更に有することを特徴とする。

【0020】

本発明によれば、現実空間を撮影するカメラと、姿勢情報を計測するセンサと、カメラによって撮影された映像を表示するディスプレイと、現在位置情報を取得する測位部とを有する情報端末に搭載されたコンピュータを機能させるプログラムにおいて、
カメラは、当該情報端末に対して、その撮影方向と、当該情報端末を把持するユーザから見た視線方向とが一致するように固定的に搭載されており、
現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末の位置情報及び姿勢範囲情報を対応付けて蓄積するアノテーション蓄積手段と、
アノテーション蓄積手段を用いて、現在位置情報をキーとして、アノテーションを検索するアノテーション検索手段と、
検索されたアノテーションの姿勢範囲情報に、センサによって取得された姿勢情報が含まれるか否かを判定する姿勢判定手段と、
姿勢判定手段によって真と判定された場合にのみ、ディスプレイに、現実空間映像にアノテーションを重畳表示するべく制御する表示制御手段と
してコンピュータを機能させることを特徴とする。

【0021】

本発明によれば、現実空間を撮影するカメラと、姿勢情報を計測するセンサと、カメラによって撮影された映像を表示するディスプレイと、現在位置情報を取得する測位部とを有する情報端末における拡張現実感表示方法において、
カメラは、当該情報端末に対して、その撮影方向と、当該情報端末を把持するユーザから見た視線方向とが一致するように固定的に搭載されており、
現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末の位置情報及び姿勢範囲情報を対応付けて蓄積するアノテーション蓄積部を有し、
アノテーション蓄積部を用いて、現在位置情報をキーとして、アノテーションを検索する第１のステップと、
検索されたアノテーションの姿勢範囲情報に、センサによって取得された姿勢情報が含まれるか否かを判定する第２のステップと、
第２のステップによって真と判定された場合にのみ、ディスプレイに、現実空間映像にアノテーションを重畳表示するべく制御する第３のステップと
を有することを特徴とする。

【発明の効果】

【0022】

本発明の情報端末、システム、プログラム及び拡張現実感表示方法によれば、情報端末のカメラの写る現実空間の映像に、当該情報端末の姿勢に応じたアノテーションを重畳的に表示することができる。

【図面の簡単な説明】

【0023】

【図1】本発明における情報端末の機能構成図である。

【図2】本発明における情報端末の向きを表す説明図である。

【図3】アノテーション蓄積部に蓄積されたテーブルを表す説明図である。

【図4】ピッチ角を表すユーザ座標系である。

【図5】ヨー角を表すユーザ座標系である。

【図6】アノテーションにおける第１の実施形態の表示形式を表す説明図である。

【図7】アノテーションにおける第２の実施形態の表示形式を表す説明図である。

【図8】情報端末及びＰＯＩサーバがネットワークを介して接続されたシステム構成図である。

【発明を実施するための形態】

【0024】

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。

【0025】

図１は、本発明における情報端末の機能構成図である。

【0026】

情報端末１は、ユーザに所持されるものであって、例えば携帯電話機又はスマートフォンのようなものである。図１によれば、情報端末１は、カメラ１０１と、ディスプレイ１０２と、加速度センサ１０３と、地磁気センサ１０４と、測位部１０５とを有する。

【0027】

カメラ１０１は、その撮影方向と、当該情報端末１を把持するユーザから見た視線方向とが一致するように固定的に搭載される。ここで、カメラ１０１のファインダが、ディスプレイ１０２である場合、カメラ１０１によって撮影された現実空間の映像は、ディスプレイ１０２に写像される。この場合、カメラ１０１とディスプレイ１０２とが、視認方向に対して逆向きに配置される。即ち、ユーザの視認の角度が、情報端末１の姿勢と一致することとなる。

【0028】

また、本発明におけるディスプレイ１０２には、カメラ１０１によって撮影された現実空間の映像に、アノテーションが重畳して表示される。アノテーションは、ユーザの興味を持つ位置に拡張現実感情報を重畳するオブジェクトであって、一般にＰＯＩ(Point Of Interest)とも称される。例えば、ユーザが、スマートフォンのカメラでコーヒー店の店頭を撮影した場合、その現実空間の店頭の映像に、その店のメッセージ（テキスト）が重畳的に浮かんで表示される。ユーザが、そのＰＯＩを指し示すことによって、その店のＵＲＬ(Uniform Resource Locator)に基づくＷｅｂサイトへアクセスすることができる。

【0029】

加速度センサ１０３は、加速度、即ち単位時間当たりの速度の変化を検出する。情報端末１の傾きを検出することができる３軸タイプの場合、３次元の加速度を検出でき、地球の重力（静的加速度）の計測にも対応できる。加速度センサ１０３は、姿勢情報として、重力ベクトルに対する姿勢角を出力する。その姿勢情報は、姿勢判定部１１３へ出力される。

【0030】

地磁気センサ１０４は、３軸方向（前後方向、左右方向及び上下方向）の地磁気の方向を測定する。地磁気センサ１０４は、ホール素子を分離し、分離したホール素子からそれぞれ検出された値を出力する。地磁気センサ１０４は、姿勢情報として、北に対する方位角を出力する。その姿勢情報は、姿勢判定部１１３へ出力される。

【0031】

測位部１０５は、現在位置情報を測位する。測位部１０５は、例えば、ＧＰＳ(Global Positioning System)衛星から配信された測位電波を受信し、絶対位置となる緯度経度情報を測位するものであってもよい。また、複数の周辺基地局からの通信電波を受信し、複数基地局測位機能によって現在位置情報を測位するものであってもよい。現在位置情報は、アノテーション検索部１１２へ出力される。

【0032】

図２は、本発明における情報端末の向きを表す説明図である。

【0033】

図２によれば、情報端末１について、前方となるカメラ１０１の向きと、後方となるディスプレイ１０２の向きとを結ぶ方向を、ｘ軸とする。また、情報端末１の加速度センサ１０３から得られた重力ベクトルの方向を、ｚ軸とする。更に、ｘ軸及びｚ軸から、情報端末１におけるｙ軸が決定される。尚、情報端末１のカメラの向きをｘ軸正方向、情報端末１の左手向きをｙ軸正方向、情報端末１の下向きをｚ軸正方向とする。

【0034】

また、図２よれば、地磁気が、南方位の上方から到来し、情報端末１の北方位の下方へ向かっている。角度は、北から時計回りで表される。

【0035】

ここで、ｙ軸回りの回転角は、「ピッチ角(pitch)」と称される。ピッチ角は、情報端末１のカメラ１０１の向きを斜め上又は斜め下に向けた場合の角度となる。例えば、ビルの下からビルの上階を見上げるように、情報端末１のカメラを向けた場合、ピッチ角が大きくなる。
カメラを水平方向へ向けた場合 ：ピッチ角＝０°（ｘ−ｚ平面と平行）
カメラを斜め上方へ向けた角度 ：ピッチ角＝正（０＜ピッチ角＜９０°）
カメラを斜め下方へ向けた角度 ：ピッチ角＝負（０＞ピッチ角＞−９０°）
重力ベクトル＝−９０°

【0036】

一方で、ｚ軸回りの回転角は、「ヨー角(yaw)」と称される。ヨー角は、情報端末１のカメラ１０１の向きを斜め左又は斜め右に向けた場合の角度となる。情報端末１のカメラ１０１が、北向きの場合にヨー角＝０°となる。ヨー角は、北向きを基準に、時計回りに大きくなる。
カメラを北向きへ向けた場合 ：ヨー角＝０°
カメラを北から時計回り向けた角度 ：ヨー角＝正
カメラを北から反時計回り向けた角度：ヨー角＝負

【0037】

図１に戻って、情報端末１は、アノテーション蓄積部１１１と、アノテーション検索部１１２と、姿勢判定部１１３と、表示制御部１１４とを有する。これら機能構成部は、情報端末１に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。尚、これら機能構成部の処理の流れは、拡張現実感表示方法としても理解できる。

【0038】

［アノテーション蓄積部１１１］
アノテーション蓄積部１１１は、現実空間映像に重畳表示すべきアノテーション毎に、当該情報端末に関する姿勢範囲情報を対応付けて蓄積する。

【0039】

図３は、アノテーション蓄積部に蓄積されたテーブルを表す説明図である。

【0040】

図３によれば、アノテーション(POI-ID)毎に、以下の情報が登録されている。
位置情報（緯度・経度）
テキスト
ＵＲＬ
姿勢範囲情報（ピッチ角の範囲、ヨー角の範囲）
特に、本発明によれば「姿勢範囲情報」を含むことに特徴がある。図３によれば、緯度経度情報が同じＰＯＩであっても、異なる姿勢範囲情報を登録することができる。

【0041】

［アノテーション検索部１１２］
アノテーション検索部１１２は、アノテーション蓄積部１１１を用いて、現在位置情報をキーとして、現実空間映像に重畳すべきアノテーションを検索する。例えば、現在位置情報を中心として、所定位置範囲に含まれる緯度経度情報を検索する。

【0042】

例えば、情報端末１が緯度39.91837及び経度139.7728に位置する場合、図３によれば、以下の３つのアノテーションが検索される。
POI-ID１：「ＩＴ企業Ａ」
POI-ID２：「お勧めコーヒー」
POI-ID３：「携帯基地局」
検索されたアノテーション毎の情報は、姿勢判定部１１３へ出力される。

【0043】

［姿勢判定部１１３］
姿勢判定部１１３は、検索されたアノテーションの姿勢範囲情報に、センサによって取得された姿勢方位情報が含まれるか否かを判定する。

【0044】

［表示制御部１１４］
表示制御部１１４は、姿勢判定部１１３によって真と判定された場合にのみ、ディスプレイに、現実空間映像にアノテーションを重畳表示するべく制御する。

【0045】

図４は、ピッチ角を表すユーザ座標系である。

【0046】

図４（ａ）は、情報端末のカメラが、ｙ軸の斜め上向きに向けられた場合のユーザ座標系である。このとき、加速度センサ１０３によってピッチ角＝５０°が検出されたとする。この場合、姿勢範囲情報のピッチ角が３０°〜６０°となっているPOI-ID１「ＩＴ企業Ａ」のみが、アノテーションとして表示される。

【0047】

図４（ｂ）は、情報端末のカメラが、図４（ａ）と同様に、ｙ軸の斜め上向きに向けられた場合のユーザ座標系である。このとき、ピッチ角＝３５°が検出されたとする。この場合、姿勢範囲情報のピッチ角が３０°〜６０°となっているPOI-ID１「ＩＴ企業Ａ」と、姿勢範囲情報のピッチ角が−５°〜４０°となっているPOI-ID２「お薦めコーヒー」とが、アノテーションとして表示される。

【0048】

図５は、ヨー角を表すユーザ座標系である。

【0049】

図５によれば、情報端末のカメラのｚ軸は、図４（ａ）と同様に、ピッチ角＝５０°であるとする。

【0050】

図５（ａ）は、情報端末のカメラが、ｚ軸の右向きに向けられた場合のユーザ座標系である。このとき、ヨー角＝１２０°が検出されたとする。この場合、姿勢範囲情報のヨー角が１００°〜１４０°となっているPOI-ID3「携帯基地局」のみが、アノテーションとして表示される。

【0051】

図５（ｂ）は、情報端末のカメラが、ｚ軸の左向きに向けられた場合のユーザ座標系である。このとき、ヨー角＝２０°が検出されたとする。この場合、姿勢範囲情報が０°〜４０°となっているPOI-ID1「ＩＴ企業Ａ」のみが、アノテーションとして表示される。

【0052】

図４及び図５によれば、緯度経度情報が同じＰＯＩであっても、当該情報端末１におけるピッチ角及びヨー角の姿勢角に応じて、異なるＰＯＩを、ディスプレイに重畳的に表示することとなる。

【0053】

図６は、アノテーションにおける第１の実施形態の表示形式を表す説明図である。

【0054】

図６によれば、表示制御部１１４は、センサによって取得された姿勢情報が、アノテーションの姿勢範囲情報に中央値から上限下限値へ近づくに従って当該アノテーションの表示色を透明に近づけるべく制御する。
情報端末１がピッチ角ａの状態に向けられている場合、アノテーションの姿勢範囲情報の上限値に近いために、「ＩＴ企業Ａ」のアノテーションが比較的薄く表示される。ディスプレイを視認するユーザにとっては、比較的注目度が低くなる。
情報端末１がピッチ角ｂの状態に向けられている場合、アノテーションの姿勢範囲情報の中央値に近いために、「ＩＴ企業Ａ」のアノテーションが濃く表示される。ディスプレイを視認するユーザにとっては、比較的注目度が高くなる。
情報端末１がピッチ角ｃの状態に向けられている場合、アノテーションの姿勢範囲情報の下限値に近いために、「ＩＴ企業Ａ」のアノテーションが比較的薄く表示される。ディスプレイを視認するユーザにとっては、比較的注目度が低くなる。

【0055】

図７は、アノテーションにおける第２の実施形態の表示形式を表す説明図である。

【0056】

図７によれば、表示制御部１１４は、姿勢判定部１１３によって真と判定されたアノテーションの位置情報と、測位部１０５によって取得された現在位置情報との間の距離を算出し、その距離に基づいてアノテーションの表示を制御する。
情報端末１と被写体との距離が遠い（位置ａ）場合、「ＩＴ企業Ａ」のアノテーションが比較的小さく表示される。ディスプレイを視認するユーザにとっては、比較的注目度が低くなる。
情報端末１と被写体との距離が中程度（位置ｂ）場合、「ＩＴ企業Ａ」のアノテーションが比較的中程度に表示される。ディスプレイを視認するユーザにとっては、比較的注目度が中程度となる。
情報端末１と被写体との距離が近い（位置ｃ）場合、「ＩＴ企業Ａ」のアノテーションが比較的大きく表示される。ディスプレイを視認するユーザにとっては、比較的注目度が高くなる。

【0057】

図８は、情報端末及びＰＯＩサーバがネットワークを介して接続されたシステム構成図である。

【0058】

図８によれば、情報端末１は、図１と比較して、通信インタフェース１０６を更に有する。また、図８によれば、図１と比較して、ＰＯＩ（アノテーション蓄積）サーバ２を更に有する。ＰＯＩサーバ２は、アノテーション蓄積部２０と、アノテーション提供部２１とを有する。

【0059】

情報端末１の通信インタフェース１０６は、無線を介してＰＯＩサーバ２と通信する。ＰＯＩサーバ２がインターネットに接続されている場合、通信インタフェース１０６は、無線を介してインターネットに接続する機能を有する。情報端末１のアノテーション検索部１１２は、現在位置情報をＰＯＩサーバ２へ送信する。

【0060】

ＰＯＩサーバ２のアノテーション蓄積部２０は、前述した図３と同様のＰＯＩテーブル（情報端末１のアノテーション蓄積部１１１と同様）を蓄積している。

【0061】

ＰＯＩサーバ２のアノテーション提供部２１は、情報端末１から現在位置情報を受信する。そして、アノテーション提供部２１は、アノテーション蓄積部２０を用いて、現在位置情報をキーとして、アノテーションを検索する（情報端末１のアノテーション検索部１１２と同様）。検索されたアノテーションの「位置情報」「テキスト」「姿勢範囲情報」「ＵＲＬ」は、情報端末１へ返信される。

【0062】

そして、情報端末１のアノテーション検索部１１２は、ＰＯＩサーバ２から通信インタフェース１０６を介して、アノテーション（位置情報、テキスト、ＵＲＬ及び姿勢範囲情報）を取得することができる。

【0063】

以上、詳細に説明したように、本発明の情報端末、システム、プログラム及び拡張現実感表示方法によれば、情報端末のカメラの写る現実空間の映像に、当該情報端末の姿勢に応じたアノテーションを重畳的に表示することができる。

【0064】

特に、本発明によれば、現実空間に、地面に鉛直に存在する人物やキャラクタのようなオブジェクトを重畳して表示する場合、現実空間におけるオブジェクトを撮影するカメラの姿勢を限定して表示することができる。また、ビルや看板のように固定されている現実空間の被写体に対して、情報端末のカメラが見る方向によって、重畳すべきオブジェクトを変更することもできる。更に、このようなＰＯＩ情報を、ＰＯＩサーバへ集中させることによって、ＰＯＩ情報の更新も容易になり、情報端末１がＰＯＩ情報を予め蓄積しておく必要もない。更に、情報端末のカメラが見る方向に応じて、落下や移動などの重力を意識させるオブジェクトを重畳的に表示することもでき、情報の表現力や現実感を向上させることもできる。

【0065】

また、本発明によれば、情報端末の位置（緯度経度）が全く同じであっても、その向き（上方、下方、方位）によって異なるアノテーションを表示することができる。逆に、不要なアノテーションを表示しないようにすることができる。特に、広告や標識等のアノテーションを、意図せぬ方向から見られるないようにすることができる。更に、他の実施形態として、特定の位置について、多くのユーザが見る角度と、逆にユーザがあまり見ない角度とによって、広告としてのアノテーションの表示を、オークション形式で切り替えることもできる。

【0066】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0067】

１ 情報端末
１０１ カメラ
１０２ ディスプレイ
１０３ 加速度センサ
１０４ 地磁気センサ
１０５ 測位部
１０６ 通信インタフェース
１１１ アノテーション蓄積部
１１２ アノテーション検索部
１１３ 姿勢判定部
１１４ 表示制御部
２ ＰＯＩサーバ
２０ アノテーション蓄積部
２１ アノテーション提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】