特許 5786411 情報処理システム、検索装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5786411

(24)【登録日】2015年8月7日

(45)【発行日】2015年9月30日

(54)【発明の名称】情報処理システム、検索装置、及びプログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20150910BHJP

   H04N 7/18 20060101ALI20150910BHJP

   G01C 21/00 20060101ALI20150910BHJP

   H04N 101/00 20060101ALN20150910BHJP

【ＦＩ】

   H04N5/225 F

   H04N5/225 A

   H04N7/18 V

   G01C21/00

   H04N101:00

【請求項の数】6

【全頁数】38

(21)【出願番号】特願2011-79760(P2011-79760)

(22)【出願日】2011年3月31日

(65)【公開番号】特開2012-216935(P2012-216935A)

(43)【公開日】2012年11月8日

【審査請求日】2013年10月1日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】小林 一英

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００９−０１７５４０（ＪＰ，Ａ）

【文献】 特開２００３−１４１５２３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０１Ｃ ２１／００ −２１／３６

Ｇ０１Ｃ ２３／００ −２５／００

Ｇ０３Ｂ １７／１８ −１７／２０ ，１７／３６

Ｈ０４Ｎ ５／７６５， ５／９１ − ５／９５６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置と検索装置とがネットワークを介して相互に通信する情報処理システムであり、
前記情報処理装置は、
被写体を撮像し撮像画像を取得する撮像部と、
前記撮像部による撮像の倍率を変更する撮像倍率変更部と
前記情報処理装置の位置を検出する位置検出部と、
前記撮像部の撮像方向を検出する方向検出部と、
前記撮像部による撮像の画角を算出する画角算出部と、
前記撮像倍率変更部により変更された撮像の倍率、前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向、及び前記画角算出部が算出した画角からなる情報を前記検索装置に送信する情報送信部と、
オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成部と、
前記オブジェクト表示画像生成部が使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信部と
前記撮像部が取得した撮像画像と前記オブジェクト表示画像生成部が生成したオブジェクト表示画像を合成して表示する表示部とを備え、
前記検索装置は、
前記情報処理装置が備える前記情報送信部が送信した前記情報を受信する情報受信部と、
複数のオブジェクト情報を記憶した記憶部と、
前記記憶部が記憶した前記複数のオブジェクト情報を前記情報受信部が受信した前記情報に基づいて検索し、前記記憶部から前記情報処理装置の前記オブジェクト表示画像生成部が使用する前記オブジェクト情報を特定する検索部と、
前記検索部が特定した前記オブジェクト情報を前記情報処理装置の備えるオブジェクト情報受信部に送信するオブジェクト情報送信部と
前記オブジェクト情報送信部による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶するオブジェクト取得禁止範囲記憶部と
前記情報受信部が受信した情報のうち前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、前記検索部は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置の前記オブジェクト表示画像生成部が使用する前記オブジェクト情報から除くオブジェクト取得禁止範囲特定部を備えることを特徴とする情報処理システム。

【請求項2】

前記情報処理装置はオブジェクト情報取得距離算出部をさらに備え、
前記オブジェクト情報取得距離算出部は、前記撮像倍率変更部により変更された撮像の倍率に基づきオブジェクト情報を取得する最短距離であるオブジェクト情報取得最短距離と、オブジェクト情報を取得する最長距離であるオブジェクト情報取得最長距離を算出し、
前記情報送信部は、前記オブジェクト情報取得最短距離、前記オブジェクト情報取得最長距離、前記方向検出部が検出した撮像方向、及び前記画角算出部が算出した画角からなるオブジェクト情報取得範囲情報を前記情報として前記検索装置に送信することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記情報処理装置は姿勢検出部をさらに備え、
前記姿勢検出部は前記情報処理装置の姿勢を検出し、
前記画角算出部は、前記姿勢検出部が検出する前記情報処理装置の姿勢に基づいて前記撮像部による撮像の画角を算出することを特徴とする請求項１又は２のいずれか１項に記載の情報処理システム。

【請求項4】

被写体を撮像し撮像画像を取得する撮像部、前記撮像部による撮像の倍率を変更する撮像倍率変更部、及び前記撮像画像とオブジェクト表示画像とを合成して表示する表示部とを備えた情報処理装置とネットワークを介して相互に通信する検索装置であって、
前記情報処理装置から、前記撮像倍率変更部により変更された撮像の倍率、前記情報処理装置の位置、前記撮像部の撮像方向、前記撮像部による撮像の画角に関する情報を受信
する情報受信部と、
前記オブジェクト表示画像を生成するためのオブジェクト情報を複数記憶した記憶部と、
前記記憶部が記憶した前記複数のオブジェクト情報を前記情報受信部が受信した前記情報に基づいて検索し、前記記憶部から所定のオブジェクト情報を特定する検索部と、
前記検索部が特定した所定のオブジェクト情報を前記情報処理装置に送信するオブジェクト情報送信部と
前記オブジェクト情報送信部による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶するオブジェクト取得禁止範囲記憶部と、
前記情報受信部が受信した情報のうち位置、撮像方向から、所定のオブジェクト取得禁止範囲を特定し、 前記検索部は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置に送信する前記オブジェクト情報から除くオブジェクト取得禁止範囲特定部
を備えた検索装置。

【請求項5】

前記情報処理装置はオブジェクト情報取得距離算出部をさらに備え、
前記オブジェクト情報取得距離算出部は、前記撮像倍率変更部により変更された撮像の倍率に基づきオブジェクト情報を取得する最短距離であるオブジェクト情報取得最短距離と、オブジェクト情報を取得する最長距離であるオブジェクト情報取得最長距離を算出し、
前記オブジェクト情報取得距離算出部が算出した前記オブジェクト情報取得最短距離及び前記オブジェクト情報取得最長距離、並びに前記撮像部の前記撮像方向、及び前記撮像部による撮像の前記画角からなるオブジェクト情報取得範囲情報を前記情報として前記情報処理装置から受信することを特徴とする請求項４に記載の検索装置。

【請求項6】

情報処理装置と検索装置とがネットワークを介して相互に通信する処理を実行するプログラムであり、
前記情報処理装置は、
被写体を撮像し撮像画像を取得する撮像処理と、
前記撮像処理による撮像の倍率を変更する撮像倍率変更処理と
前記情報処理装置の位置を検出する位置検出処理と、
前記撮像処理の撮像方向を検出する方向検出処理と、
前記撮像処理による撮像の画角を算出する画角算出処理と、
前記撮像倍率変更処理により変更された撮像の倍率、前記位置検出処理が検出した位置、前記方向検出処理が検出した撮像方向、及び前記画角算出処理が算出した画角からなる情報を前記検索装置に送信する情報送信処理と、
オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成処理と、
前記オブジェクト表示画像生成処理が使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信処理と
前記撮像処理が取得した撮像画像と前記オブジェクト表示画像生成処理が生成したオブジェクト表示画像を合成して表示する表示処理を実行し、
前記検索装置は、
前記情報処理装置が実行する前記情報送信処理が送信した前記情報を受信する情報受信処理と、
複数のオブジェクト情報を記憶する記憶処理と、
前記記憶処理が記憶した前記複数のオブジェクト情報を前記情報受信処理が受信した前記情報に基づいて検索し、前記記憶処理から前記情報処理装置の前記オブジェクト表示画像生成処理が使用する前記オブジェクト情報を特定する検索処理と、
前記検索処理が特定した前記オブジェクト情報を前記情報処理装置が実行するオブジェクト情報受信処理に送信するオブジェクト情報送信処理と
前記オブジェクト情報送信処理による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶するオブジェクト取得禁止範囲記憶処理と
前記情報受信処理が受信した情報のうち前記位置検出処理が検出した位置、前記方向検出処理が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、前記検索処理は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置の前記オブジェクト表示画像生成処理が使用する前記オブジェクト情報から除くオブジェクト取得禁止範囲特定処理を実行することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理システム、検索装置、及びプログラムに関し、より詳細には複数のタグ情報に基づき生成される複数のタグ表示画像の中から、所望のタグ表示画像をユーザが容易に視認することができる情報処理システム、検索装置、及びプログラムに関する。

【背景技術】

【0002】

近年、情報処理の分野において、現実空間の映像をコンピュータ処理し、その現実空間の映像に様々な情報を付加したり、画像を重畳したりする、いわゆる拡張現実感（ＡＲ；Augmented Reality）に関する技術の研究開発が盛んに行われている。この拡張現実感を利用したものとして、特に最近では、カメラ機能付きの携帯電話等において、カメラで撮像した現実空間の施設や人物等の被写体の撮像画像に、仮想現実空間上で生成した、それら施設等に関する情報を表す文字や図形等のオブジェクト表示画像を重畳してモニタ上に表示する機能が、施設案内や旅行ガイドといった様々な態様で取り入れられ始めている。

【0003】

例えば、特許文献１にはカメラの位置及び撮像姿勢を測定し、測定されたカメラの位置及び撮像姿勢に基づき、予め記録媒体に記録（登録）されている情報の中から所定の情報を取得し、その取得した情報に基づき生成したオブジェクト表示画像を撮像画像に重畳して表示する拡張現実感に関する技術が開示されている。

【0004】

ところで、拡張現実感に関する技術では、現実空間の撮像画像に重畳する各種オブジェクト表示画像を生成するための情報が多数取得されてしまい、撮像画像上に多数のオブジェクト表示画像が煩雑に重畳されてしまうことが多々ある。その結果、本来ユーザが所望したオブジェクト表示画像を、ユーザが容易に視認することができないという問題が生じている。

【0005】

この問題を解決するために、例えば特許文献２には、取得する情報を装置の位置と撮像方向から制限し、その制限範囲内に含まれる情報の取得と、その情報に基づくオブジェクト表示画像の生成とを行う技術が開示されている。
また、特許文献３には、装置の位置、撮像姿勢、撮像方向、及び視野角（画角）から撮像の視野を特定し、その特定された範囲内に含まれる情報を取得する技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第３７０００２１号公報

【特許文献2】特開２０１０−２３１７４１号公報

【特許文献3】特開２０１０−２３９５６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献２に記載の技術では、仮想現実空間における情報の取得範囲と、ユーザが現実に撮像している現実空間の範囲とが一致しないため、オブジェクト表示画像を現実空間における被写体の撮像画像に対応付けて重畳表示できないという問題が生じることが推察される。
また、特許文献３に記載の技術では、装置の備えるカメラの視野角（画角）に含まれる全ての情報が表示される。ここで、ユーザがカメラのズーム倍率を変更することで視野角（画角）を変更すると、視野角（画角）の変更に応じてオブジェクト画像の表示サイズも変更されてしまう。結果として、オブジェクト表示画像が不適切な大きさで表示されたり、オブジェクト表示画像同士が重なって表示されたりして、ユーザの遠方に位置するオブジェクト表示画像がモニタ上で視認しにくくなる問題が生じることが推察される。

【0008】

そこで、本発明は、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる情報処理装置を提供することを目的とする。

【0009】

また、本発明は、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

前記目的を達成するために、本発明は、情報処理装置と検索装置とがネットワークを介して相互に通信する情報処理システムであり、
前記情報処理装置は、 被写体を撮像し撮像画像を取得する撮像部と、 前記撮像部による撮像の倍率を変更する撮像倍率変更部と 前記情報処理装置の位置を検出する位置検出部と、 前記撮像部の撮像方向を検出する方向検出部と、 前記撮像部による撮像の画角を算出する画角算出部と、 前記撮像倍率変更部により変更された撮像の倍率、前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向、及び前記画角算出部が算出した画角からなる情報を前記検索装置に送信する情報送信部と、 オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成部と、 前記オブジェクト表示画像生成部が使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信部と 前記撮像部が取得した撮像画像と前記オブジェクト表示画像生成部が生成したオブジェクト表示画像を合成して表示する表示部とを備え、
前記検索装置は、 前記情報処理装置が備える前記情報送信部が送信した前記情報を受信する情報受信部と、 複数のオブジェクト情報を記憶した記憶部と、 前記記憶部が記憶した前記複数のオブジェクト情報を前記情報受信部が受信した前記情報に基づいて検索し、前記記憶部から前記情報処理装置の前記オブジェクト表示画像生成部が使用する前記オブジェクト情報を特定する検索部と、 前記検索部が特定した前記オブジェクト情報を前記情報処理装置の備えるオブジェクト情報受信部に送信するオブジェクト情報送信部と 前記オブジェクト情報送信部による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶するオブジェクト取得禁止範囲記憶部と 前記情報受信部が受信した情報のうち前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、前記検索部は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置の前記オブジェクト表示画像生成部が使用する前記オブジェクト情報から除くオブジェクト取得禁止範囲特定部を備えることを特徴とする情報処理システムを提供する。

【0014】

また、本発明は、
被写体を撮像し撮像画像を取得する撮像部、前記撮像部による撮像の倍率を変更する撮像倍率変更部、及び前記撮像画像とオブジェクト表示画像とを合成して表示する表示部とを備えた情報処理装置とネットワークを介して相互に通信する検索装置であって、
前記情報処理装置から、前記撮像倍率変更部により変更された撮像の倍率、前記情報処理装置の位置、前記撮像部の撮像方向、前記撮像部による撮像の画角に関する情報を受信
する情報受信部と、
前記オブジェクト表示画像を生成するためのオブジェクト情報を複数記憶した記憶部と、
前記記憶部が記憶した前記複数のオブジェクト情報を前記情報受信部が受信した前記情報に基づいて検索し、前記記憶部から所定のオブジェクト情報を特定する検索部と、
前記検索部が特定した所定のオブジェクト情報を前記情報処理装置に送信するオブジェクト情報送信部と
前記オブジェクト情報送信部による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶するオブジェクト取得禁止範囲記憶部と、
前記情報受信部が受信した情報のうち位置、撮像方向から、所定のオブジェクト取得禁止範囲を特定し、 前記検索部は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置に送信する前記オブジェクト情報から除くオブジェクト取得禁止範囲特定部
を備えた検索装置を提供することを目的とする。

【0017】

さらに、本発明は、情報処理装置と検索装置とがネットワークを介して相互に通信する処理を実行するプログラムであり、
前記情報処理装置は、
被写体を撮像し撮像画像を取得する撮像処理と、
前記撮像処理による撮像の倍率を変更する撮像倍率変更処理と
前記情報処理装置の位置を検出する位置検出処理と、
前記撮像処理の撮像方向を検出する方向検出処理と、
前記撮像処理による撮像の画角を算出する画角算出処理と、
前記撮像倍率変更処理により変更された撮像の倍率、前記位置検出処理が検出した位置、前記方向検出処理が検出した撮像方向、及び前記画角算出処理が算出した画角からなる情報を前記検索装置に送信する情報送信処理と、
オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成処理と、
前記オブジェクト表示画像生成処理が使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信処理と
前記撮像処理が取得した撮像画像と前記オブジェクト表示画像生成処理が生成したオブジェクト表示画像を合成して表示する表示処理を実行し、
前記検索装置は、
前記情報処理装置が実行する前記情報送信処理が送信した前記情報を受信する情報受信処理と、
複数のオブジェクト情報を記憶する記憶処理と、
前記記憶処理が記憶した前記複数のオブジェクト情報を前記情報受信処理が受信した前記情報に基づいて検索し、前記記憶処理から前記情報処理装置の前記オブジェクト表示画像生成処理が使用する前記オブジェクト情報を特定する検索処理と、
前記検索処理が特定した前記オブジェクト情報を前記情報処理装置が実行するオブジェクト情報受信処理に送信するオブジェクト情報送信処理と
前記オブジェクト情報送信処理による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶するオブジェクト取得禁止範囲記憶処理と
前記情報受信処理が受信した情報のうち前記位置検出処理が検出した位置、前記方向検出処理が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、前記検索処理は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置の前記オブジェクト表示画像生成処理が使用する前記オブジェクト情報から除くオブジェクト取得禁止範囲特定処理を実行することを特徴とするプログラムを提供することを目的とする。

【発明の効果】

【0018】

本発明に係る情報処理装置によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる。

【0019】

また、本発明に係る情報処理装置によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる。

【図面の簡単な説明】

【0020】

【図1】従来の情報処理装置の問題を説明する図である。

【図2】従来の情報処理装置の別の問題を説明するための図である。

【図3】本発明の実施形態に係る情報処理システム１の構成を示すブロック図である。

【図4】情報処理システム１によるタグ情報の取得とタグ表示画像の生成表示処理について説明するフローチャートである。

【図5】タグ情報取得最短距離及びタグ情報取得最長距離が算出される基準及び算出される理由を説明するための図である。

【図6】タグ情報取得最短距離及びタグ情報取得最長距離の算出方法について説明するための図である。

【図7】検索サーバ２００によるタグ情報の検索の処理について説明するためのフローチャートである。

【図8】タグ取得禁止範囲特定部２０５による取得を禁止するタグ情報の特定処理の例について説明するための図である。

【図9】タグ情報の詳細について説明するための図である。

【図10】タグ情報内に含まれる３種類のタグ画像のなかから表示されるタグ表示画像に使用するタグ画像を選択する処理について説明するための図である。

【図11】タグ表示画像の表示部１１０の表示画面上の表示位置を算出する処理を説明するための図である。

【図12】タグ表示画像を、情報処理装置１００を水平姿勢にして表示部１１０の表示画面に表示した場合の例について説明するための図である。

【図13】タグ表示画像を、情報処理装置１００を水平姿勢にして表示部１１０の表示画面に表示した場合の別の例について説明するための図である。

【図14】本発明の実施形態に係る情報処理装置３００の構成を示すブロック図である。

【発明を実施するための形態】

【0021】

以下に図面を参照しながら、本発明に係る情報処理装置の好適な実施形態を説明する。かかる実施形態に示す寸法、具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0022】

先ず図１及び図２を参照し、拡張現実感に関する機能を有する従来の情報処理装置等の問題点の詳細を述べる。
図１は、例えば上記特許文献２に記載の技術のように、仮想現実空間上に配置されたオブジェクト情報を取得する範囲を、情報処理装置が搭載したカメラの撮像範囲とは別に設定している場合の問題点について説明するための図である。ここで、オブジェクト情報の取得範囲は、情報処理装置の位置及び搭載されたカメラの撮像方向に基づき設定されるものとする。

【0023】

図１において、情報処理装置０１は、筺体の１面に、水平方向と垂直方向の辺の長さが異なるモニタ（例えば、水平方向が約７ｃｍで垂直方向が約５．２５ｃｍ）を搭載しており、レンズ等の撮像部が例えばモニタが搭載された面と反対側の面にモニタと略平行となるように搭載されているものとする。

【0024】

以下では説明及び理解の容易のため、モニタの水平方向の辺を下にした場合に、そのモニタに表示される撮像画像（つまり例えば横と縦の比率が１６：９の撮像画像）を撮像する情報処理装置の姿勢を「水平姿勢」とし、その水平姿勢の際の情報処理装置０１が備えるカメラの画角を「水平画角」とする。また、モニタの垂直方向の辺を下にした場合に、そのモニタに表示される撮像画像（つまり例えば横と縦の比率が９：１６の撮像画像）を撮像する情報処理装置の姿勢を「垂直姿勢」とし、その垂直姿勢の際の情報処理装置０１が備えるカメラの画角を「垂直画角」とする。図１の（ａ）及び（ｂ）では情報処理装置０１で水平姿勢での撮像を行った際の問題点を、（ｃ）では垂直姿勢での撮像を行った際の問題点を説明する。

【0025】

図１（ａ）の上段の図は、被写体Ａ０１（ａ）、被写体Ｂ０１（ａ）、被写体Ｃ０１（ａ）、及び情報処理装置０１、並びに情報処理装置０１がオブジェクト情報を取得する範囲ＶＳ０１（ａ）（図中、ハッチングで示した範囲）とその範囲ＶＳ０１（ａ）内に配置された、被写体Ａ０１（ａ）に対応するオブジェクト情報ＴＡ０１（ａ）、被写体Ｂ０１（ａ）に対応するオブジェクト情報ＴＢ０１（ａ）を上面視した概念図であり、下段の図はその際の情報処理装置の備えるモニタの表示画像ＭＧ０１（ａ）を示す図である。

【0026】

情報処理装置０１は、水平画角ＡＶ０１（ａ）で定められる撮像範囲に含まれる被写体を撮像画像として捉える。被写体Ｂ０１（ａ）及び被写体Ｃ０１（ａ）はこの撮像範囲に含まれることから、表示画面ＭＧ０１（ａ）には、被写体Ｂ０１（ａ）の画像ＢＧ０１（ａ）及び被写体Ｃ０１（ａ）の画像ＣＧ０１（ａ）が表示される。一方で、被写体Ａ０１（ａ）はこの撮像範囲の外にあるため、被写体Ａ０１（ａ）に対応する画像は表示画面ＭＧ０１（ａ）には表示されない。一方で、撮像範囲とは無関係に、撮像方向によってのみ規定されている範囲ＶＳ０１（ａ）には、被写体Ａ０１（ａ）に対応するオブジェクト情報ＴＡ０１（ａ）及び被写体Ｂ０１（ａ）に対応するオブジェクト情報ＴＢ０１（ａ）が含まれている。従って、表示画面ＭＧ０１（ａ）には、オブジェクト情報Ａ０１（ａ）に対応するオブジェクト表示画像ＴＧＡ０１（ａ）及びＴＧＢ０１（ａ）が表示される。

【0027】

この場合、ユーザは表示画面ＭＧ０１（ａ）に表示されているオブジェクト表示画像ＴＧＡ（ａ）が、どの被写体に対応づけられたものなのかをモニタを通じて把握することができないという問題が生じてしまう。

【0028】

一方で、この図１（ａ）では、情報処理装置Ｖ０１の撮像範囲の横方向の撮像幅と、オブジェクト情報を取得する範囲ＶＳ０１（ａ）の横方向の幅とが一致しているため、表示画面ＭＧ０１（ａ）内では、被写体Ｂ０１（ａ）に対応する画像ＢＧ０１（ａ）に、被写体Ｂ０１（ａ）に対応するオブジェクト表示画像ＴＧＢ０１（ａ）が重畳され、両者が対応づけられて表示される。従って、ユーザは表示画面ＭＧ０１（ａ）を通して被写体Ｂ０１（ａ）に関する情報を得ることができる。

【0029】

しかし、撮像範囲の横方向の撮像幅と、仮想空間のオブジェクト情報を取得する範囲の横方向の幅とが一致しない場合は、さらに別の問題がおきる。図１（ｂ）を参照して、この問題について詳述する。
図１（ｂ）の上段の図は、被写体Ｂ０１（ｂ）、被写体Ｃ０１（ｂ）、及びそれらを撮像する情報処理装置０１、並びにオブジェクト情報を取得する範囲ＶＳ０１（ｂ）内に存在する被写体Ｂ０１（ｂ）に対応するオブジェクト情報ＴＢ０１（ｂ）を上面視した概念図であり、下段の図はその際の情報処理装置０１の備えるモニタの表示画像ＭＧ０１（ｂ）を示す図である。

【0030】

情報処理装置０１は、水平画角ＡＶ０１（ｂ）で定められる撮像範囲に含まれる被写体を撮像画像として捉える。このとき、この撮像範囲の横方向の撮像幅と、オブジェクト情報を取得する範囲ＶＳ０１（ｂ）の横方向の幅とが一致していないことから、表示画面ＭＧ０１（ｂ）上では、被写体Ｂ０１（ｂ）に対応する被写体画像ＢＧ０１（ｂ）は画面やや中央よりに表示されているにも関わらず、被写体Ｂ０１（ｂ）に対応するオブジェクト表示画像ＴＧＢ０１（ｂ）は画面の端に表示され、両者の表示位置にずれが生じてしまう。

【0031】

この場合、ユーザはオブジェクト表示画像ＴＧＢ０１（ｂ）が現実空間のどの被写体に対応したものなのかを、表示画面ＭＧ０１（ｂ）を通しては認識できないという問題が生じる。

【0032】

加えて、情報処理装置の撮像姿勢を考慮していない場合は、さらに新たな問題が生じる、図１（ｃ）を参照して、この問題について詳述する。
図１（ｃ）の上段の図は、被写体Ｂ０１（ｃ）、被写体Ｃ０１（ｃ）、及びそれらを撮像するカメラを備えた情報処理装置０１、並びにオブジェクト情報を取得する範囲ＶＳ０１（ｃ）内に存在する被写体Ｂ０１（ｃ）に対応するオブジェクト情報ＴＢ０１（ｃ）を上面視した概念図であり、下段の図はその際の情報処理装置０１の備えるモニタの表示画像ＭＧ０１（ｃ）を示す図である。ここで、図１（ａ）又は（ｂ）の場合と異なり、情報処理装置０１は、垂直姿勢にて撮像を行っているものとする。

【0033】

情報処理装置０１は、垂直画角ＡＶ０１（ｃ）で定められる撮像範囲に含まれる被写体を撮像画像として捉える。このとき、被写体Ｂ０１（ｃ）はこの領域から外れるため、被写体Ｂ０１（ｃ）に対応する画像は表示画面ＭＧ０１（ｃ）には表示されない。

【0034】

一方で、情報処理装置０１は撮像姿勢とは無関係に仮想空間ＶＳ０１を範囲を設定する。従って、撮像画像が水平画角で取得されているのか、又は垂直画角で取得されているのかを区別していない。そのため、オブジェクト情報ＴＢ０１（ｃ）が取得され、表示画面ＭＧ０１（ｃ）にはオブジェクト表示画像ＴＧＢ０１（ｃ）が表示されてしまう。加えて、このオブジェクト表示画像ＴＧＢ０１（ｃ）は、情報処理装置の撮像姿勢を考慮せず予め定められた撮像姿勢に対応した表示位置に表示されることになる。従って、例えばユーザが情報処理装置を図１（ｂ）の水平姿勢から、右回りに９０度回転させて図１（ｃ）の垂直姿勢にしてしまった場合、ＴＧＢ０１（ｃ）が被写体画像ＣＧ０１（ｃ）に重畳され、被写体Ｂに関する情報が被写体Ｃの撮像画像のものであるかの様に表示されてしまう可能性もある。

【0035】

従って、上述の従来の情報処理装置０１では、撮像姿勢の変更によっても、上述の図１（ｂ）の場合と同様に、ユーザはオブジェクト表示画像ＴＧＢ０１（ｃ）が現実空間のどの被写体に対応したものなのかを、表示画面ＭＧ０１（ｃ）を通しては認識できないという問題が生じることになる。

【0036】

以上に述べた通り、従来の仮想現実間に関する技術を備えた情報処理装置では、仮想現実空間上に配置されたオブジェクト情報を取得する範囲を、情報処理装置が搭載したカメラの撮像範囲とは別に設定していること、及び情報処理装置の撮像姿勢を考慮していないことから、オブジェク表示画像を現実空間の被写体の撮像画像に適切に対応付けて表示することができなかった。

【0037】

次に、図２は、例えば上記特許文献３に記載の技術のように、撮像の水平方向の画角をオブジェクト情報の取得範囲とし、このオブジェクト情報の取得範囲に基づいてオブジェクト表示画像の表示画面内における表示位置を設定した場合の問題点について説明する。

【0038】

図２において、情報処理装置０２は、筺体の１面に、水平方向と垂直方向の辺の長さが異なるモニタ（例えば、水平方向が約７ｃｍで垂直方向が約５．２５ｃｍ）を搭載しており、レンズ等の撮像部が例えばモニタが搭載された面と反対側の面にモニタと略平行となるように搭載されている点は上述の従来の情報処理装置０１と同様とする。

【0039】

図２（ａ）の上段の図は、カメラを備えた情報処理装置０２と、仮想現実空間内に配置されたオブジェクト情報ＴＡ０２、ＴＢ０２、及びＴＣ０２との関係を上面視した概念図であり、下段はその際の情報処理装置０２の備えるモニタの表示画面ＭＧ０２（ａ）を示す図である。

【0040】

情報処理装置０２は、仮想現実空間から、撮像の水平画角ＡＶ０２（ａ）で定められる範囲にあるオブジェクト情報ＴＡ０２、ＴＢ０２、及びＴＣ０２を取得する。そして、各オブジェクト情報に基づき生成されたオブジェクト表示画像ＴＧＡ０２（ａ）、ＴＧＢ０２（ａ）、及びＴＧＣ０２（ａ）がモニタ上に表示される表示画面ＭＧ０２（ａ）内に表示される。

【0041】

ここで、従来の情報処理装置０２は、水平画角ＡＶ０２（ａ）で定められる撮像範囲に一致するオブジェクト情報の取得範囲に基づいて、各オブジェクト表示画像の表示画面内における表示位置を設定している。従って、撮像範囲に含まれる各被写体画像と同様に、オブジェクト情報の取得範囲に含まれる各オブジェクト表示画像の横方向の表示画面内での表示幅は情報処理装置０２の近傍では小さく、遠方になるほど大きくなる。従って、同じ大きさのオブジェクト表示画像として仮想空間上に配置されている画像であっても、表示画面内での大きさは情報処理装置０２からの距離に応じて変化することになる。図２（ａ）では、情報処理装置０２の最も近い位置にあるオブジェクト情報ＴＡ０２に基づくオブジェクト表示画像ＴＧＡ０２（ａ）が最も大きく、最も遠い位置にあるオブジェクト情報ＴＣ０２に基づくオブジェクト表示画像ＴＣＧ０２（ａ）が最も小さく表示される。

【0042】

従って、オブジェクト表示画像ＴＡＧ０２（ａ）はユーザから視認しやすいが、それより小さく表示されたオブジェクト表示画像ＴＢＧ０２（ａ）及びＴＣＧ０２（ａ）は視認しにくい。

【0043】

そこで、オブジェクト表示画像ＴＣＧ０２（ａ）に係る情報を欲したユーザがズーム倍率を変更し、すなわち水平方向の画角を変更し、オブジェクト表示画像ＴＣＧ０２（ａ）が現在表示されているオブジェクト表示画像ＴＡＧ０２（ａ）と同程度の大きさに表示した場合について、図２（ｂ）を参照して説明する。

【0044】

図２（ｂ）に示すように、ズーム倍率を変更し、すなわち水平方向の画角を水平画角ＡＶ０２（ａ）からより小さな水平画角ＡＶ０２（ｂ）に変更し、倍率の大きい画像を表示画面ＭＧ０２（ｂ）に表示した結果、オブジェクト情報ＴＣ０２に係るオブジェクト表示画像ＴＧＣ０２（ｂ）はユーザが視認できる程度に大きく表示されることになるが、同時にオブジェクト情報ＴＡ０２に係るオブジェクト表示画像ＴＧＡ０２（ｂ）もＴＧＡ０２（ａ）に比し大きく表示されてしまうことになる。情報を得ることを望んでいないオブジェクト表示画像ＴＧＡ０２（ｂ）が大きく表示されてしまうことは、表示画面が煩雑になること等からいってユーザの不利益となる。

【0045】

また、上述の例のように情報処理装置０２からみて、近いオブジェクト表示画像を手前に、遠いオブジェクト表示画像を奥に見えるように表示画面に生成した場合、ズーム倍率に関係なく別のオブジェクト表示画像と重なってしまって、ユーザが視認できないオブジェクト表示画像が生じてしまう。図２でいえば、オブジェクト情報ＴＢ０２に係るオブジェクト表示画像ＴＧＢ０２（ａ）又はＴＧＢ０２（ｂ）は、重畳されるオブジェクト表示画像ＴＧＡ０２（ａ）又はＴＧＡ０２（ｂ）により隠れてしまい、ユーザはそれらを視認することができない。

【0046】

以上、図２を参照して述べたように、従来の仮想現実間に関する技術を備えた情報処理装置では、撮像の水平方向の画角をオブジェクト情報の取得範囲とし、このオブジェクト情報の取得範囲に基づいてオブジェクト表示画像の表示画面内における表示位置を設定していたことから、オブジェクト表示画像がユーザには視認できないほど小さく表示されたり、逆に過度に大きく表示されたりする問題がある。また、遠くにあるかのように表示されるオブジェクト表示画像が、近くにあるかのように表示されるオブジェクト表示画像と重なってしまった場合に、その近くにあるかのように表示されるオブジェクト表示画像に隠れてしまって、完全には視認できないという問題がある。

【0047】

＜第一の実施形態：情報処理システム＞
そこで、上述の問題を解決するための本発明の第一の実施形態に係る情報処理システムについて、以下に説明する。
なお、以下の説明ではオブジェクト情報に含まれる位置、形状及び大きさ等の情報から、現実空間とリンクした仮想現実空間内にあたかもそのオブジェクト情報に係る仮想の物体（被写体）が存在するかのごとく想定した場合の、その仮想の物体を「オブジェクト」と呼ぶこととする。また、以下の各実施形態の説明においては、説明及び理解の容易のため、情報処理装置が垂直方向の傾きを有さず、オブジェクトが垂直方向の傾きを有さず、さらに情報処理装置の備える撮像部のレンズの中心（光軸）と同じ高さにオブジェクトの中心が位置している場合を想定して説明を行う。

【0048】

図３は、本発明の実施形態に係る情報処理システム１の構成を示すブロック図である。本実施形態に係る情報処理システム１は、オブジェクト情報を取得し、オブジェクト表示画像を表示する情報処理装置１００と、表示されるオブジェクト表示画像に係るオブジェクト情報を検索するための検索サーバ２００とから大きく構成され、情報処理装置１００と検索サーバ２００との間は、例えば無線通信等の手段を用いることにより接続されている。
なお、以下の説明においては、オブジェクト表示画像を「タグ表示画像」、オブジェクト情報を「タグ情報」、そしてオブジェクトを「タグ」と呼ぶこととする。

【0049】

情報処理装置１００は搭載された撮像部を通じて動画及び静止画を撮像することができる。
なお、本発明はデジタルスチルカメラやデジタルビデオカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮像が可能なその他の電子機器においても採用することができる。

【0050】

＜情報処理装置１００の構成＞
まず、情報処理装置１００の構成について、以下に詳述する。
撮像部１０１は、図示しないレンズ系に入来する撮像光を、同じく図示しない撮像素子により光電変換し、映像信号に変換することによって被写体の撮像画像を取得する撮像部としての機能を果たすともに、被写体にレンズ系の焦点を合わせる等の光学的な機能を果たす部材である。

【0051】

画像拡大部１０２は、図示しないレンズ系を同じく図示しないズームアクチュエータ等のレンズ駆動部材により光学的にズームしたり、図示しない撮像素子に保持された撮像画像等をトリミングすることで電子的にズームしたりして、撮像部１０１が撮像する撮像画像を拡大等する撮像画像倍率変更部としての機能を果たす部材である。

【0052】

姿勢検出部１０３は、情報処理装置１００の姿勢を検出する部材であり、重力加速度を検出する素子（加速度センサ）により重力に対する方向を検出する方法や、加速度センサ（ジャイロスコープ）を用いて各速度を積算することにより回転角度を求める方法等を用いることによって、情報処理装置１００の姿勢に関する情報、例えば水平姿勢からの情報処理装置１００の水平方向の傾きを検出する。姿勢検出部１０３が検出した姿勢に関する情報は、後述する画角算出部１０６による水平方向の画角の算出に用いられるほか、後述するタグ表示画像生成部１０８による生成されたタグ表示画像の撮像画像への重畳位置の算出に用いられる。

【0053】

位置検出部１０４は、ＧＰＳ衛星等を利用することにより、情報処理装置１００の現在位置を検出する部材である。方向検出部１０５は、電子コンパス等を用いることにより、情報処理装置１００がどの方向に向けられているかを検出する部材である。

【0054】

画角算出部１０６は、画像拡大部１０２が拡大するズーム倍率と、姿勢検出部１０３が検出する情報処理装置１００の姿勢に関する情報に基づいて、撮像部１０１の水平方向の画角を算出する部材である。画角算出部１０６は、画像拡大部１０２が拡大するズーム倍率に基づいて情報処理装置１００の撮像部１０１の水平画角と垂直画角を算出する。例えば、姿勢検出部１０３が検出する情報処理装置１００の姿勢が水平姿勢に対して４５度未満の場合は、水平画角を水平方向の画角とし、水平姿勢に対して４５度以上の場合は垂直画角を水平方向の画角とする。

【0055】

タグ情報取得距離算出部１０７は、詳細を後述する、画像拡大部１０２が撮像画像を拡大するズーム倍率に基づいてタグ情報を取得する最短距離であるタグ情報取得最短距離と、タグ情報を取得する最長距離であるタグ情報取得最長距離を算出する処理を行う部材である。

【0056】

タグ表示画像生成部１０８は、後述する検索サーバ２００のタグ検索部２０２が検索したタグ情報と、姿勢検出部１０３が検出する情報処理装置１００の姿勢と、位置検出部１０４が検出する情報処理装置１００の現在位置とに基づいてタグ表示画像を生成する部材である。タグ表示画像生成部１０８は、タグ情報に含まれる、タグの仮想空間内における位置、タグの水平及び垂直方向の大きさ、タグの仮想空間内における配置方向、及びタグの形状に関する情報と、姿勢検出部１０３が検出する情報処理装置１００の姿勢に関する情報からタグ表示画像の表示部１１０における表示位置や表示形状を算出する。

【0057】

また、タグ表示画像生成部１０８は、位置検出部１０４が検出した情報処理装置１００の位置と、タグの仮想空間内における位置とを結ぶ直線と、タグの配置方向がなす角度を算出し、この角度とタグの表示向きの関係に基づいてタグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の３種類のタグ画像のなかから表示に使用するタグ画像を選択する。

【0058】

画像合成部１０９は、タグ表示画像生成部１０８が生成したタグ表示画像と、撮像部１０１が撮像した撮像画像とを合成して出力し、表示部１１０は、その出力を受けて画像合成部１０９が合成した画像を表示する。

【0059】

操作部１１１は、図示しない操作ボタンや表示部１１０上に設けられたタッチパネル等で構成され、画像拡大部１０２へのズーム倍率の設定、撮像、画面表示に関する各種操作の入力を受付ける部材である。

【0060】

通信部１１２は、画角算出部１０６が算出した水平方向の画角と、位置検出部が検出した情報処理装置１００の位置と、方向検出部１０５が検出した情報処理装置１００の方向と、タグ情報取得距離算出部１０７が算出するタグ情報取得最短距離及びタグ情報取得最長距離とを、後述する検索サーバ２００の通信部２０３に対して送信したり、検索サーバ２００のタグ検索部２０２が検索したタグ情報を通信部２０３から受信したりする部材である。上述の通り、通信部１１２と通信部２０３は無線等の手段を用いて通信することにより、上記を含め複数の情報の送受信が可能である。

【0061】

制御部１１３は、情報処理装置１００の撮像や表示等の各種機能を統括的に制御する。例えば、操作部１１１から読取ったズーム倍率設定値に応じた光学ズーム倍率やデジタルズーム倍率の画像拡大部１０２への設定や、および、撮像部１０１への焦点調整や露光調整などの光学的な制御等を行う。或は、表示部１１０への表示に関する制御として、例えば表示／非表示の制御やバックライトの明るさに関する制御や、情報処理装置１００の電源供給制御等を行う。また、上述の各種部材の制御も統括的に実施する。

【0062】

ＲＯＭ１１４は、制御部１１３の動作のためのプログラムを格納している。ＲＡＭ１１５は、各種データの一時記憶領域として使用されたり、各種プログラムに係る演算時のワーク領域として使用されたりする。

【0063】

＜検索サーバ２００の構成＞
次に、情報処理システム１に係る検索サーバ２００の構成について、以下に詳述する。
タグ記憶部２０１は、各タグ毎に表面用、裏面用、及び側面用の３種類のタグ画像、各タグの仮想空間内における位置、各タグの仮想空間内における配置方向、並びに各タグの垂直方向の大きさ、形状、及び表示向きから構成されるタグ情報を記憶している。

【0064】

タグ検索部２０２は、後述する通信部２０３から得られる、情報処理装置１００の位置、情報処理装置１００の方向、水平方向の画角、タグ情報取得最短距離、タグ情報取得最長距離とからタグ情報取得範囲を算出し、タグ記憶部２０１に記憶されたタグ情報のうちこのタグ情報取得範囲内に含まれるタグ情報を検索する部分である。なお、後述するタグ取得禁止範囲特定部２０５が特定するタグ取得禁止範囲が、タグ情報取得範囲に含まれる場合、タグ検索部２０２はタグ情報取得範囲からタグ取得禁止範囲を除いた範囲に含まれるタグ情報を検索する。

【0065】

通信部２０３は、タグ検索部２０２が検索したタグ情報を通信部１１２に対して送信したり、画角算出部１０６が算出した水平方向の画角と、位置検出部１０４が検出した情報処理装置１００の位置と、方向検出部１０５が検出した情報処理装置１００の方向と、タグ情報取得距離算出部１０７が算出したタグ情報取得最短距離とタグ情報取得最長距離を通信部１１２から受信する部分である。上述の通り、通信部２０３と通信部１１２は無線等の手段を用いて通信することにより、上記を含め複数の情報の送受信が可能である。

【0066】

タグ取得禁止範囲記憶部２０４は、タグ情報の取得を禁止する設定が付加された範囲（以下、「タグ取得禁止設定範囲」という。）と、タグ情報の取得を禁止する範囲（以下、「タグ取得禁止範囲」という。）を関連付けて記憶する部材である。

【0067】

タグ取得禁止範囲特定部２０５は、通信部２０３を通じて受信した情報処理装置１００の位置が含まれるタグ取得禁止設定範囲をタグ取得禁止範囲記憶部２０４から特定し、取得を禁止するタグ情報を特定する部分である。

【0068】

制御部２０６は、通信部２０３を介した各種情報の送受信、上述の各種部材の制御、各種部材への電源供給の制御等を統括的に行う。

【0069】

ＲＯＭ２０７は、制御部２０６の動作のためのプログラムを格納する部材であり、ＲＡＭ２０８は、各種データの一時的な保存領域として使用されたり、各種プログラムに係る演算時のワーク領域として使用されたりする。

【0070】

＜情報処理装置１００によるタグ情報の取得とタグ表示画像の生成表示処理＞
次に本実施の形態に係る情報処理システム１によるタグ情報の取得とタグ表示画像の生成表示処理について、図４に示したフローチャートを参照して説明する。

【0071】

まず位置検出部１０４が情報処理装置１００の現在位置を、ＧＰＳ衛星等を利用することにより取得する（ステップＳ１０１）。次に方向検出部１０５が、撮像部１０１の撮像方向を検出する（ステップＳ１０２）。

【0072】

続いて画角算出部１０６が撮像部１０１の水平方向の画角を算出する（ステップＳ１０３）。一般的な他の撮像装置と同様に、情報処理装置１００においても、光学ズーム又はデジタルズームによるズーム倍率の変化に応じて撮像部１０１の水平画角及び垂直画角は変化する。また、上述した通り水平姿勢で撮像した場合の水平方向の画角と、垂直姿勢で撮像した場合の水平方向の画角の大きさは異なる。従って、画角算出部１０６は、画像拡大部１０２が撮像画像を拡大するズーム倍率と、姿勢検出部１０３が検出する情報処理装置１００の姿勢とから水平方向の画角の算出を行う。

【0073】

そして姿勢検出部１０３が情報処理装置１００の姿勢を検出する（ステップＳ１０４）。

【0074】

上記の各ステップで取得された情報処理装置１００の現在位置、撮像方向、水平方向の画角、姿勢に関する情報を、ＲＡＭ１１５が記憶する（ステップＳ１０５）。

【0075】

次に制御部１１３は、タグ表示画像の生成表示処理が第１回目のものであるかどうかを判定する（ステップＳ１０６）。制御部１１３が第１回目の処理ではない旨の判定をした場合は（ステップＳ１０６でＮＯ）、制御部１１３はステップＳ１０５でＲＡＭ１１５に記憶した情報処理装置１００の現在位置、撮像方向、水平方向の画角、姿勢に関する情報を読み出す（ステップＳ１０７）。

【0076】

次に、制御部１１３は、ステップＳ１０７で読み出した情報処理装置１００の現在位置、撮像方向、水平方向の画角及び姿勢と、前回のタグ表示画像の生成表示処理にて記憶し、読み出した情報処理装置１００の位置、撮像方向、水平方向の画角及び姿勢とを個々に比較し、これらの値に変化が生じたかどうかを判定する（ステップＳ１０８）具体的には、それぞれの値に所定の範囲を設け、ステップＳ１０７で記憶した値に対して、この所定範囲を超える変化が合った場合に、制御部１１３は変化が生じた旨の判断をする。

【0077】

情報処理装置１００の現在位置、撮像方向、水平方向の画角、姿勢のうちのいずれも変化しない場合（ステップＳ１０８におけるＮＯ）、制御部１１３は所定の時間が経過したかを判定する（ステップＳ１０９）。所定の時間が経過しない場合（ステップＳ１０９におけるＮＯ）は、ステップＳ１０９を繰り返し、所定の時間が経過した場合（ステップＳ１０９のおけるＹＥＳ）は、ステップＳ１０１に戻り前述の処理を繰り返す。

【0078】

ステップＳ１０６で制御部１１３がタグ表示画像の生成表示処理が第１回目のものであると判定した場合（ステップＳ１０６でＹＥＳ）、又はステップＳ１０８で制御部１１３が情報処理装置１００の現在位置、撮像方向、水平方向の画角、姿勢のうちのいずれかに変化が生じたと判定した場合（ステップＳ１０８でＹＥＳ）、タグ情報取得距離算出部１０７はタグ情報取得最短距離とタグ情報取得最長距離を算出する（ステップＳ１１０）。

【0079】

なお、上述の通り情報処理装置１００と検索サーバ２００は無線通信にて接続されていることから、情報処理装置１の消費電力を考慮した場合にはできるだけ無線通信を行わない方がよい。従って、上述のステップＳ１０６〜Ｓ１０９の工程を踏むことで、タグ表示画像の初回の表示処理を除き、情報処理装置１００の現在位置、撮像方向、水平方向の画角、姿勢を所定の時間間隔で取得し、これらの値に変化が生じた時のみタグ情報の検索処理やタグ表示画像の更新処理を行うことができる。

【0080】

＜タグ情報取得範囲＞
タグ情報取得距離算出部１０７は制御部１１３の指示に従い、タグ情報に含まれるタグの水平及び垂直方向の大きさとして標準的な大きさを有するものを、タグ表示画像として表示部１１０に適切な大きさで重畳表示することができるように、タグ情報取得最短距離とタグ情報取得最長距離を算出する（ステップＳ１１０）。この算出処理を説明するにあたり、これらタグ情報取得最短距離及びタグ情報取得最長距離が算出される基準及び算出される理由について、検索サーバ２００が算出するタグ情報取得範囲の説明を一部交えて以下に説明する。なお、検索サーバ２００によるタグ情報取得範囲については、後にさらに詳述する。

【0081】

図５は、情報処理装置１００と、仮想現実空間内に配置されたタグＴＡ０５、ＴＢ０５、及びＴＣ０５との関係を上面視した概念図であり、下段はその際の情報処理装置１００の備える表示部１１０の表示画面ＭＧ０５を示す図である。
ここで、タグＴＢ０５は、水平及び垂直方向の大きさとして標準的なものを有しており、表示部１１０に表示される表示画面ＭＧ０５には、このタグＴＢ０５に基づきタグ表示画像ＴＧＢ０５が適切な大きさで表示されている。タグ情報取得距離算出部１０７はこのタグＴＢ０５のような状態にあるタグを基準としてタグ情報取得最短距離及びタグ情報取得最長距離を算出する。すなわち、タグ情報取得距離算出部１０７は、位置検出部１０４が取得した情報処理装置１００の現在位置からタグＴＢ０５の仮想空間内における位置までの光軸上の距離Ｌｂを基準とし、この距離Ｌｂより距離Ｌｃだけ短い距離をタグ情報取得最短距離、距離Ｌｃだけ長い距離をタグ情報取得最長距離として算出する。

【0082】

そして、情報処理装置１００の位置を中心とするタグ情報取得最短距離を半径とする円弧、情報処理装置１００の位置を中心とするタグ情報取得最長距離を半径とする円弧、及び画角算出部１０６が算出した水平方向の画角とで囲まれた範囲（図５中にてハッチングで示した範囲）が情報処理装置１００におけるタグ情報取得範囲となる。

【0083】

上述のように、標準的な水平及び垂直方向の大きさを有するタグの仮想空間内における位置（以下、「基準位置」という。）を基準としたタグ情報取得最短距離及びタグ情報取得最長距離を算出し、これらに基づいてタグ情報取得範囲が設定されることで、このタグ情報取得範囲に含まれる各タグ情報に係るタグ表示画像は概ね適切な大きさで表示部１１０に表示されることになる。図５の例では、タグＴＢ０５及びＴＣ０５はタグ情報取得範囲に含まれるため、タグ表示画像ＴＧＢ０５及びＴＧＣ０５は表示画面ＭＧ０５に適切な大きさで表示されることになる。一方で、タグＴＡ０５はタグ情報取得範囲に含まれないため、タグＴＡ０５に基づくタグ表示画像は表示画面ＭＧ０５上には表示されないことになる。

【0084】

＜タグ情報取得距離算出部１０７のタグ情報取得最短距離とタグ情報取得最長距離の算出＞
さらにタグ情報取得最短距離及びタグ情報取得最長距離は画像拡大部１０２のズーム倍率に基づいて算出される。以下にこの算出方法について、図６を参照して詳述する。

【0085】

図６は、情報処理装置１００の位置を中心としタグ情報取得最短距離を半径とする円弧と、情報処理装置１００の位置を中心としタグ情報取得最長距離を半径とする円弧と、撮像部１０１の画角とで囲まれた範囲をタグ情報取得範囲（図６（ａ）、（ｂ）及び（ｃ）においてハッチングで示した範囲）とし、情報処理装置１００にて撮像しているところの上面視を示したものである。なお、情報処理装置１００が水平姿勢にある場合の基準位置での横方向の撮像幅をＷｂ１、情報処理装置１００が垂直姿勢にある場合の基準位置での横方向の撮像幅をＷｂ２として以下の説明を行う。

【0086】

まず、図５（ａ）を用いて基準位置からタグ情報取得最短距離までの距離（基準位置からタグ情報取得最長距離までの距離と等しい）Ｌcの算出方法について説明を行う。

【0087】

図５（ａ）は、画像拡大部１０２を最低ズーム倍率（本実施の形態では１倍とする）に設定し、情報処理装置１００を水平姿勢にして撮像しているところを示している。情報処理装置１００の直前にあるタグ情報に基づきタグ表示画像を表示画面に表示するためには、画像拡大部１０２を最低ズーム倍率に設定した場合のタグ情報取得最短距離Ｒｍｉｎ１をゼロにすれば良い。すなわち、距離Ｌｃは画像拡大部１０２を最低ズーム倍率に設定した場合の、情報処理装置１００から基準位置までの距離とすれば良い。この場合、タグ情報取得最長距離Ｒｍａｘ１は距離Ｌｃを２倍した距離として求まり、タグ情報取得範囲は情報処理装置１００の水平画角内の０〜２Ｌｃの範囲となる。例えば、水平方向の画角が６０度、標準的なタグが２００ｍｍ角の大きさを持つ四角形であり、このタグ表示画像の横方向の長さが表示画面の横方向の１／１０になるように表示する場合、基準位置での横方向の撮像幅Ｗｂ１は２ｍ、距離Ｌｃは約１．７３ｍと求まり、タグ情報取得範囲は情報処理装置１００の水平画角内の０ｍ〜３．４６ｍの範囲となる。

【0088】

次に、図６（ｂ）を用いて、画像拡大部１０２をｍ倍に設定した場合の、情報処理装置１００から基準位置までの距離について説明を行う。

【0089】

図６（ｂ）は、画像拡大部１０２をｍ倍（＞１倍）に設定し、情報処理装置１００を水平姿勢にして撮像しているところを示している。ズーム倍率を１倍からｍ倍に上げた時に、表示画面上に表示される被写体の長さがｍ倍になるように画面拡大部１０２が動作する場合、図６（ｂ）に示すように、画像拡大部１０２のズーム倍率をｍ倍に設定すると基準位置は情報処理装置１００から距離ｍＬｃの位置となる。この場合、タグ情報取得最短距離Ｒｍｉｎ２は（ｍＬｃ−Ｌｃ）、タグ情報取得最長距離Ｒｍａｘ２は（ｍＬｃ＋Ｌｃ）となり、タグ情報取得範囲は情報処理装置１００の水平画角内の（ｍＬｃ−Ｌｃ）〜（ｍＬｃ＋Ｌｃ）の範囲となる。例えば、画像拡大部１０２のズーム倍率を４倍に設定した場合、情報処理装置１００から基準位置までの距離は６．９２ｍとなり、タグ情報取得範囲は情報処理装置１００の水平画角内の５．１９ｍ〜８．６５ｍの範囲となる。

【0090】

次に、図６（ｃ）を用いて、垂直姿勢で撮像を行い、かつ画像拡大部１０２をｍ倍に設定した場合の、情報処理装置１００から基準位置までの距離について説明を行う。

【0091】

図６（ｃ）は、図６（ｂ）の情報処理装置１００をレンズの中心を軸に９０度回転して垂直姿勢で撮像しているところを示している。回転によって基準位置の位置は変化しないので、タグ情報取得最短距離Ｒｍｉｎ２とタグ情報取得最長距離Ｒｍａｘ２は図６（ｂ）の水平姿勢の場合と同じ値となる。この場合、水平方向の画角は情報処理装置１００の垂直画角となるので、タグ情報取得範囲は情報処理装置１００の垂直画角内の（ｍＬｃ−Ｌｃ）〜（ｍＬｃ＋Ｌｃ）の範囲となる。

【0092】

以上で説明したように、タグ情報取得距離算出部１０７はタグ情報取得最短距離およびタグ情報取得最長距離を画像拡大部１０２のズーム倍率に基づいて算出する。従って、タグ情報取得距離算出部１０７は、画像拡大部１０２から現在のズーム倍率に関する情報を受け取り、このズーム倍率に基づいてタグ情報取得最短距離とタグ情報取得最長距離を算出する。
なお、タグ情報取得最短距離およびタグ情報取得最長距離の算出に用いる距離Ｌｃは、情報処理装置１００の最低ズーム倍率時の水平画角の大きさ、タグの標準的な大きさ、表示画面上の表示サイズから求まるものであり、情報処理装置１００の製造時にタグ情報取得距離算出部１０７内に予め記憶されるものとする。

【0093】

図４に戻り、ステップＳ１１０でタグ情報取得最短距離及びタグ情報取得最長距離が算出されると、制御部１１３は通信部１１２を用いて、ステップＳ１０１〜ステップＳ１０３で取得した、情報処理装置１００の現在位置、撮像方向、及び水平方向の画角、並びにステップＳ１１０で取得した、タグ情報取得最短距離及びタグ情報取得最長距離を検索サーバ２００の通信部２０３へ送信する（ステップＳ１１１）。

【0094】

次に、検索サーバ２００はタグ情報の検索の処理を実施する（ステップＳ１１２）。この検索サーバ２００によるタグ情報の検索の処理の詳細について、図７に示したフローチャートを参照し、以下に詳述する。

【0095】

まず、制御部２０６は、情報処理装置１００の通信部１１２から送信された情報処理装置１００の現在位置、撮像方向、及び水平方向の画角、並びにステップＳ１１０で取得した、タグ情報取得最短距離及びタグ情報取得最長距離を通信部２０３が受信するのを待ち、この受信が完了した後に通信部２０３は制御部２０６の制御により受信した各種情報をタグ検索部２０２へ渡す（ステップＳ２０１）。

【0096】

次に、タグ検索部２０２は、上記ステップＳ２０１で受信した各種情報から上述のタグ情報取得範囲を算出する（ステップＳ２０２）。

【0097】

ステップＳ２０２でタグ情報取得範囲が算出されると、次にタグ取得禁止範囲特定部２０５は、取得を禁止するタグ情報を特定する（ステップＳ２０３）例えば、学校施設等の児童が集まる施設近辺に居酒屋等の飲食街があった場合、児童が学校施設等で使用する情報処理装置では、その居酒屋の広告等を表示するタグ表示画像は表示しないことが望ましい。このように表示装置が所定の範囲にある場合、特定のタグ表示画像を表示しないようにすることが望まれる場合がある。

【0098】

従って、タグ取得禁止範囲特定部２０５は制御部２０６の指示により、次のようにして取得を禁止するタグ情報を特定する。まず、タグ取得禁止範囲特定部２０５はステップＳ２０１で取得した情報処理装置１００の現在位置がタグ取得禁止設定範囲内にあるかどうかを判定する。タグ取得禁止範囲記憶部２０４はタグ情報の取得を禁止する設定が付加された範囲であるタグ取得禁止設定範囲と、タグ情報の取得を禁止する範囲であるタグ取得禁止範囲とを関連付けて記憶しており、情報処理装置１００の現在位置がタグ取得禁止設定範囲内にあると判定された場合には、関連するタグ取得禁止範囲内に含まれるタグ情報を、取得が禁止されたタグ情報として特定する。

【0099】

図８を参照して、このタグ取得禁止範囲特定部２０５による取得を禁止するタグ情報の特定処理の例を説明する。図８では、学校エリアＳＡ０８内に位置する情報処理装置１００を水平姿勢にして近辺を撮像しているところを上面視した図である。図８に示すように、タグ情報取得範囲ＴＡ０８には、飲食街エリアＰＡ０８が含まれている。従って、情報処理装置１００のモニタ１１０には、飲食街エリアＰＡ０８内に存在する居酒屋等の飲食施設の情報を示すタグ表示画像が表示されてしまう。

【0100】

そこで、タグ取得禁止範囲記憶部２０４は、タグ取得禁止設定範囲としての学校エリアＳＡ０８と、タグ取得禁止範囲としての飲食街エリアＰＡ０８とを関連付けて記憶しており、タグ取得禁止範囲特定部２０５は情報処理装置１００の現在位置が学校エリアＳＡ０８内にあると判定した場合は、飲食街エリアＰＡ０８に含まれるタグＴＡ０８及びＴＢ０８に係るタグ情報を禁止を取得するタグ情報として特定し、取得を禁止する。

【0101】

以上のようにタグ取得禁止範囲に含まれるタグ情報を、取得を禁止するタグ情報として特定し取得を禁止することで、学校エリアＳＡ０８内にいる児童の情報処理装置１００には、タグＴＣ０８に基づくタグ画像は表示されるが、タグＴＢ０８に基づくタグ画像は表示されないようにすることができる。

【0102】

図７に戻り、ステップＳ２０３で取得を禁止するタグ情報が特定されると、タグ検索部２０２はタグ記憶部２０１に記憶された全タグ情報の中から任意のタグ情報を読み出す（ステップＳ２０４）。

【0103】

＜タグ情報＞
ここで、タグ情報の詳細について、図９を参照して先に説明する。図９は、情報処理装置１００を水平姿勢にして点Ｐの位置から撮像を行ったところを上面視した図である。図９（ａ）は、ステップＳ２０４でタグ検索部２０２が、タグ記憶部２０１から任意のタグ情報として、情報処理装置１００が位置する点Ｐの近傍に位置するタグ情報ＴＡ０９、ＴＢ０９、ＴＣ０９、ＴＤ０９、及びＴＥ０９を読み出したところを概念的に示している。ここで、情報処理装置１００が位置する点Ｐの位置はタグ取得禁止設定範囲ＳＡ０９内にあり、このタグ取得禁止設定範囲に関連付けられたタグ取得禁止範囲ＰＡ０９にはタグ情報ＴＤ０９が含まれるものとして以下を説明する。

【0104】

上述の通り、各タグ情報には、表面用、裏面用、及び側面用の３種類のタグ画像、各タグの仮想空間内における位置、各タグの水平及び垂直方向の大きさ、各タグの仮想空間内における配置方向、各タグの形状、及び各タグの表示向きに関する情報が含まれている。図９（ａ）では、タグ情報ＴＡ０９は、仮想空間内における位置が（Ｘｓ１，Ｙｓ１）、水平方向の大きさがＨｔ１、垂直方向の大きさがＶｔ１、仮想空間内における配置方向がθｔ１、形状が矩形形状、及び表示向きが裏側向きである旨の情報を含んでいる。タグ情報ＴＢ０９は、仮想空間内における位置が（Ｘｓ２，Ｙｓ２）、水平方向の大きさがＨｔ２、垂直方向の大きさがＶｔ２、仮想空間内における配置方向がθｔ２、形状が矩形形状、及び表示向きが裏側向きである旨の情報を含んでいる。そして、タグ情報ＴＣ０９は、仮想空間内における位置が（Ｘｓ３，Ｙｓ３）、水平方向の大きさがＨｔ３、垂直方向の大きさがＶｔ３、仮想空間内における配置方向がθｔ３、形状が矩形形状、及び表示向きが表側向きである旨の情報を含んでいる。

【0105】

図９（ｂ）に、図９（ａ）に示したタグ情報をさらに詳細に説明するために、タグ情報に基づき仮想の物体（被写体）であるタグを仮想現実空間上に想定する考え方を説明するための概念図を示す。タグ情報に含まれる仮想空間内における位置は、タグの一端を示しており、この一端から、同じくタグ情報に含まれる水平方向及び垂直方向の大きさ及び形状に沿って仮想現実空間内のタグが構成される。以下、この一端としての仮想現実空間内における位置をタグの「開始位置」とも呼ぶこととする。配置方向はタグを現実空間に存在させたと仮定した場合の仮想現実空間内におけるタグのＸ軸方向からの方向を示しており、開始位置から水平方向の大きさだけ伸ばしたベクトルとＸ軸のベクトルとのなす角度を示している。以下、開始位置から水平方向の大きさだけ伸ばしたベクトルの他端を「終了位置」と呼ぶ。表示向きはタグを現実空間に存在させたと仮定した場合の仮想現実空間内におけるそのタグの表示向きを意味しており、開始位置を下、終了位置を上とするようにタグを配置した場合の右側の面の裏表を示している。
以上のような考え方で、タグを、現実空間とリンクした仮想現実空間の中に存在し、あたかも撮像部１０１で撮像される仮想の物体（被写体）であるかのように扱うことができる。

【0106】

図７に戻り、ステップＳ２０４で任意のタグ情報が読み出されると、以下の手順で取得されるタグ情報の検索が行われる。
まず、タグ検索部２０２は、情報処理装置１００の現在位置を中心として、半径をタグ情報取得最短距離とする円の外に、ステップＳ２０４で読み出した任意のタグ情報の仮想空間における位置、つまりタグの開始位置が位置するかどうかの判定を行う（ステップＳ２０５）。

【0107】

円の外にタグの開始位置が位置する場合（ステップＳ２０５でＹＥＳ）、タグ検索部２０２は、情報処理装置１００の現在位置を中心とし、半径をタグ情報取得最長距離とする円の内に、ステップＳ２０４で読み出した任意のタグ情報に係るタグの開始位置が位置するかどうかの判定を行う（ステップＳ２０６）。

【0108】

円の内にタグの開始位置が位置する場合（ステップＳ２０６でＹＥＳ）、タグ検索部２０２は、情報処理装置１００の現在位置、撮像方向、水平方向の画角から定まる画角内に、ステップＳ２０４で読み出した任意のタグ情報に係るタグの開始位置が位置するかどうかの判定を行う（ステップＳ２０７）。

【0109】

画角内に位置する場合（ステップＳ２０７でＹＥＳ）、ステップＳ２０４で読み出した任意のタグ情報がステップＳ２０３で特定した取得を禁止されているタグ情報かどうかの判定を行う（ステップＳ２０８）。

【0110】

取得を禁止されているタグ情報ではないとの判定をした場合（ステップＳ２０８でＮＯ）、この読み出したタグ情報をタグ検索部２０２の有する一時記憶領域に記憶する（ステップＳ２０９）。

【0111】

次に、タグ検索部２０２は、タグ記憶部２０１内に記憶された全タグ情報について上記ステップＳ２０５〜ステップＳ２０８の検索を行ったかについて判定を行う（ステップＳ２１０）。
なお、ステップＳ２０４で読み出された任意のタグ情報に係るタグの開始位置が、情報処理装置１００の現在位置を中心とし半径をタグ情報取得最短距離とする円外に位置しない場合（ステップＳ２０５におけるＮＯ）、情報処理装置１００の現在位置を中心とし、半径をタグ情報取得最長距離とする円内に位置しない場合（ステップＳ２０６におけるＮＯ）、情報処理装置１００の現在位置、撮像方向、水平方向の画角から求まる画角内に位置しない場合（ステップＳ２０７におけるＮＯ）、ステップＳ２０４で読み出した任意のタグ情報が取得を禁止されているタグ情報であると判定された場合（ステップＳ２０８におけるＹＥＳ）、も同様にタグ記憶部２０１内に記憶された全タグ情報について上記ステップＳ２０５〜ステップＳ２０８の検索を行ったかについて判定を行う（ステップＳ２１０）。

【0112】

タグ記憶部２０１内に記憶された全タグ情報についての検索が行われていない判定された場合（ステップＳ２１０におけるＮＯ）、ステップＳ２０４に戻り前述の処理を繰り返す。
タグ記憶部２０１内に記憶された全タグ情報について検索が行われたと判定された場合（ステップＳ２１０におけるＹＥＳ）、タグ検索部２０２は制御部２０６に対して検索が終了した旨の通知を行い、制御部２０６は、ステップＳ２０９で一時的に記憶したすべてのタグ情報を読み出す（ステップＳ２１１）。

【0113】

次に、制御部２０６は、タグ情報の検索処理に対する終了指示があったかどうかを判定し（ステップＳ２１３）、終了指示があった場合（ステップＳ２１３におけるＹＥＳ）、タグ情報の検索処理を終了し、指示がない場合（ステップＳ２１３におけるＮＯ）にはステップＳ２０１に戻り前述の処理を繰り返す。

【0114】

以上で説明したように、ステップＳ２０４〜ステップＳ２１１の処理を行うことにより、検索サーバ２００は情報処理装置１００から送信された情報に基づき、タグ情報取得範囲内に含まれ、かつ取得を禁止されていないタグ情報の検索を実施することが可能となる。

【0115】

図４のフローチャートに戻り、ステップＳ１１２で検索サーバ２００におけるタグ情報の検索処理が完了すると、検索サーバ２００は検索されたタグ情報を通信部２０３を介して情報処理装置１００に送信し、情報処理装置１００は通信部１１２を介して当該検索されたタグ情報を受信する（ステップＳ１１３）。

【0116】

次にタグ表示画像生成部１０８は、制御部１１３の指示に基づいて、ステップＳ１１３で受信したタグ情報から、ステップＳ１０１で取得した情報処理装置１００の現在位置とタグ情報に含まれるタグの仮想空間内における配置方向及びタグの表示向きに基づき、タグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の３種類のタグ画像のなかから表示されるタグ表示画像に使用するタグ画像を選択する（ステップＳ１１４）。この選択の処理について、図１０を参照して以下に詳述する。

【0117】

図１０は、情報処理装置１００を水平姿勢にして点Ｐの位置から撮像を行ったところを上面視した図である。図１０では、ステップＳ１１３でタグ情報ＴＡ１０、ＴＢ１０、及びＴＣ１０が受信されたものとする。

【0118】

タグ表示画像生成部１０８は、まず、位置検出部１０４が検出する情報処理装置１００の現在位置の情報を制御部１１３経由で取得し、この現在位置と各タグ情報に含まれるタグの開始位置とを結ぶ直線ＬＡ１０、ＬＢ１０、及びＬＣ１０を算出する。そしてタグ表示画像生成部１０８は、各直線と各タグ情報に含まれるタグの仮想空間における配置方向とがなす角度αｔ１、αｔ２、及びαｔ３を算出する。そして算出された各角度とタグ情報に含まれるタグの表示向きとの関係に基づいて、タグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の３種類のタグ画像のなかから表示されるタグ表示画像を選択する。

【0119】

具体的に、情報処理装置１００の現在位置とタグの開始位置を結ぶ直線とタグの配置方向がなす角度をαとすると、０度＜α＜１８０度の場合はタグの表示向きと反対面、１８０度＜α＜３６０度の場合はタグの表示向き、α＝０度、α＝１８０度の場合は側面のタグ画像をタグ表示画像生成部１０８は選択する。

【0120】

図１０において、タグ情報ＴＡ１０の角度αｔ１は０度＜αｔ１＜１８０度であるので、タグ情報ＴＡ１０に基づくタグ画像としてタグの表示向きと反対の面、つまり表面タグ画像が選択される。同様に、タグ情報ＴＢ１０に基づくタグ画像として表面タグ画像、タグ情報ＴＣ１０に基づくタグ画像として裏面タグ画像が選択される。

【0121】

ステップＳ１１４で、表面タグ画像、裏面タグ画像、又は側面タグ画像の別が選択されると、次にタグ表示画像生成部１０８は、制御部１１３の指示に基づき、タグ情報に含まれるタグの開始位置、タグの水平及び垂直方向の大きさ、タグの仮想空間における配置方向、タグの仮想空間における表示向き、タグの形状、及びステップＳ１０４で検出された情報処理装置１００の姿勢に関する情報から、タグ表示画像の表示部１１０の表示画面上の表示位置を算出する（ステップＳ１１４）。この表示位置の算出の処理について、図１１を参照して以下に詳述する。

【0122】

図１１は、図１０で示したタグ情報ＴＡ１０に基づいてタグ表示画像を生成する場合の算出方法について示したものである。
まず、最初に図１１（ａ）を用いてタグ表示画像の水平方向の表示位置の算出方法を説明する。タグ表示画像生成部１０８は、まず、姿勢検出部１０３が検出する情報処理装置１００の姿勢を制御部１１３経由で取得し、この姿勢に関する情報から表示部１１０の表示画面の水平方向の画素数Ｈｐと垂直方向の画素数Ｖｐを算出する。

【0123】

次に、タグ表示画像生成部１０８は、タグ情報ＴＡ１０に係るタグの開始位置である点Ｔｓ１の位置（Ｘｓ１，Ｙｓ１）に基づき、点Ｔｓ１の情報処理装置１００からの方向θｓを算出する。算出された方向θｓと、情報処理装置１００の撮像方向θｈとの間の差分から、情報処理装置１００から点Ｔｓ１での撮像幅の中心点Ｃｓまでの距離Ｌｓと、中心点Ｃｓから点Ｔｓ１までの距離Ｗｓを符号付きで算出する。

【0124】

次に、求めた距離Ｌｓと情報処理装置１００の水平方向の画角βｈとから、点Ｔｓ１での撮像幅Ｈｓを算出する。算出された撮像幅Ｈｓが表示画面の水平方向の画素数Ｈｐに対応することになるので、表示画面上の点Ｔｓ１の水平方向の表示位置は、表示画面の中心よりＨｐ×Ｗｓ／Ｈｓだけ右側の位置に表示されることになる。

【0125】

次に、タグ表示画像生成部１０８は、タグ情報内のタグの開始位置、タグの水平方向の大きさ、タグの配置方向からタグの終了位置となる点Ｔｅ１（Ｘｅ１，Ｙｅ１）を算出する。開始位置Ｔｓ１と同様にして、タグ表示画像生成部１０８は、点Ｔｅ１の情報処理装置１００からの方向θｅを求め、情報処理装置１００から点Ｔｅ１での撮像幅の中心点Ｃｅまでの距離Ｌｅと、中心点Ｃｅから開始点Ｔｅ１までの距離Ｗｅと、点Ｔｅ１での撮像幅Ｈｅを算出する。

【0126】

算出された撮像幅Ｈｅが表示画面の水平方向の画素数Ｈｐに対応することになるので、表示画面上の終了点Ｔｅ１の水平方向の表示位置は、表示画面の中心よりＨｐ×Ｗｅ／Ｈｅだけ左側の位置に表示されることになる。

【0127】

次に図１１（ｂ）を参照して、タグ表示画像の垂直方向の表示位置の算出方法を説明する。なお、本実施形態では、前述した通り、情報処理装置１００が垂直方向の傾きを持たず、タグ表示画像が垂直方向の傾きを持たず、さらに情報処理装置１００の撮像部１０１のレンズの中心（光軸）と同じ高さにタグ表示画像の中心が位置する場合について説明を行っているので、図１１（ｂ）において、タグ情報ＴＡ１０に基づくタグ表示画像は、開始位置Ｔｓ１と、開始位置Ｔｓ１からタグ画像の垂直方向の大きさＶｔ１だけ垂直方向に離れた位置にある点Ｔｓ１’と、終了位置Ｔｅ１と、終了位置Ｔｅ１からＶｔ１だけ垂直方向に離れた位置にある点Ｔｅ１’とからなる四角形（図１１（ｂ）にてクロスハッチングで示した四角形）とし、点Ｔｓ１と点Ｔｓ１’の中心点Ｃｓ’と、点Ｔｅ１と点Ｔｅ１’の中心点Ｃｅ’は情報処理装置１００の光軸と同じ高さに位置するものとして説明を行う。

【0128】

タグ表示画像生成部１０８は、まず、上述した情報処理装置１００から開始位置Ｔｓ１までの距離Ｌｓと垂直方向の画角βｖとから、開始位置Ｔｓ１での撮像幅Ｖｓを算出する。算出された撮像幅Ｖｓが表示画面の垂直方向の画素数Ｖｐに対応することになるので、表示画面上の開始位置Ｔｓ１の垂直方向の表示位置は表示画面の中心よりＶｐ×Ｖｔ１／（２×Ｖｓ）だけ上側の位置に表示されることになり、表示画面上の点Ｔｓ１’の垂直方向の表示位置は、表示画面の中心よりＶｐ×Ｖｔ１／（２×Ｖｓ）だけ下側の位置に表示されることになる。

【0129】

開始位置Ｔｓ１と点Ｔｓ１’と同様にして、タグ表示画像生成部１０８は、上述した情報処理装置１００から終了位置Ｔｅ１までの距離Ｌｅと垂直方向の画角βｖとから、終了位置Ｔｅ１での撮像幅Ｖｅを算出する。算出された撮像幅Ｖｅが表示画面の垂直方向の画素数Ｖｐに対応することになるので、表示画面上の終了位置Ｔｅ１の垂直方向の表示位置は表示画面の中心よりＶｐ×Ｖｔ１／（２×Ｖｅ）だけ上側の位置に表示されることになり、表示画面上の点Ｔｅ１’の垂直方向の表示位置は、表示画面の中心よりＶｐ×Ｖｔ１／（２×Ｖｅ）だけ下側の位置に表示されることになる。

【0130】

なお、図１１では、情報処理装置１００の姿勢が水平姿勢の場合について説明を行ったが、情報処理装置１００が垂直姿勢や水平方向から１８０度回転した姿勢である場合には、タグ画像生成部１０８は、姿勢検出部１０３から取得した表示装置１００の姿勢に基づいて表示画面上の表示位置を算出するように動作することができる。

【0131】

図４に戻り、ステップ１１５でタグ表示画像の表示位置が算出されると、タグ表示画像生成部１０８はステップＳ１１４で選択されたタグ画像を、ステップＳ１１５で算出された表示位置になるように加工し、画像合成部１０９に出力するタグ表示画像を生成する。そして、タグ表示画像生成部１０８は、この生成されたタグ表示画像を画像合成部１０９に出力し、画像合成部１０９はこのタグ表示画像と撮像部１０１から出力される撮像画像とを合成する（ステップＳ１１６）。

【0132】

そして、表示部１１０は制御部１１３の指示に基づき、ステップＳ１１６で合成された画像を表示部１１０の表示画面に表示する（ステップＳ１１７）。

【0133】

図１２は、ステップＳ１１６で表示位置を算出した図１０におけるタグ情報ＴＡ１０に基づくタグ表示画像ＴＧＡ１０を、情報処理装置１００を水平姿勢にして表示部１１０の表示画面ＭＧ１２に表示した場合について示したものである。表示部１１０の表示画面には、タグ表示画像生成部１０８が選択した表面のタグ画像から生成したタグ表示画像が表示され、撮像者はタグ表示画像から所望の情報を取得することができる。

【0134】

また、タグ情報ＴＡ１０の真正面に情報処理装置１００が位置しないため、タグ情報ＴＡ１０に基づくタグ表示画像ＴＧＡ１０は表示画面の右方向にいくにつれて縦方向の幅が狭くなるように表示される。このタグ表示画像の形状から、撮像者は情報処理装置１００の真正面にタグ情報ＴＡ１０が位置しないことを瞬時に把握することができる。

【0135】

また、図１３は図９のタグ情報ＴＡ０９、ＴＢ０９、及びＴＣ０９に基づくタグ表示画像ＴＧＡ０９、ＴＧＢ０９、及びＴＧＣ０９を、情報処理装置１００を水平姿勢にして表示部１１０の表示画面ＭＧ１３に示した場合について示したものである。各タグ表示画像は、それぞれのタグ情報に基づいた大きさ、形状、向きで表示画面に表示され、撮像者は各々のタグ情報の位置関係を瞬時に把握することができる。また、タグ情報ＴＣ０９のタグ表示画像は裏面のタグ画像から生成され、撮像者はこの画像からタグ情報ＴＣ０９に係るタグが反対向きであることを把握することができる。

【0136】

なお、図１３において、表面のタグ画像から生成されたタグ表示画像ＴＧＡ０９及びＴＧＢ０９と同様に、裏面のタグ画像から生成されたタグ表示画像ＴＧＣ０９も表示画面に表示されるとして説明を行ったが、裏面のタグ画像にいかなる情報も持たないように構成した場合には、裏面で表示されるタグ表示画像を非表示とすることもできる。具体的には、タグ画像生成部１０８が複数のタグ画像の中から対応するタグ画像を選択する時に、裏面のタグ画像が選択されたタグのタグ表示画像を表示しないように処理すれば良い。側面のタグ画像が選択された場合についても同様である。

【0137】

図４に戻り、制御部１１３は、タグ情報の取得とタグ表示画像の生成表示処理に対する終了指示があったかどうかを判定し（ステップＳ１１８）、終了指示があった場合は（ステップＳ１１８でＹＥＳ）、当該処理を終了し、終了指示がない場合は（ステップＳ１１８でＮＯ）、ステップＳ１０１に戻り上述の処理を繰り返す。

【0138】

以上のように、本発明の実施形態に係る情報処理システム１によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる。
また、本発明の実施形態に係る情報処理システム１によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる。

【0139】

なお、本実施形態では情報処理装置１００と検索サーバ２００とからなる情報処理システム１について説明したが、検索サーバ２００が備える構成部材の一部を情報処理装置が備える、又は情報処理装置１００が備える構成部材の一部を検索サーバが備えるように構成した情報処理システムにおいても本発明の効果を得られる。例えば、検索サーバがタグ表示画像生成部１０８と同様の役割を果たす部材を備え、検索サーバ側で生成したタグ表示画像を情報処理装置に送信する等の構成等が挙げられる。この構成によれば、情報処理装置側のタグ画像生成に係る処理の負担を軽減することができる。或は、情報処理装置がタグ取得禁止範囲記憶部２０４及びタグ取得禁止範囲特定部２０５と同様の役割を果たす部材を備える構成も可能である。本構成によれば、情報処理装置でタグ取得禁止範囲を特定した上で、検索サーバがタグ情報の検索を実施することが可能となる。

【0140】

＜第二の実施形態：情報処理システム＞
第一の実施形態では、タグ情報の取得とタグ表示画像の生成を行う情報処理装置１００とタグ情報の検索を行う検索サーバ２００とがとが無線通信で各種情報を授受する情報処理システム１を例にあげたが、ここではタグ情報の取得、タグ表示画像の生成、及びタグ情報の検索の全てを行う情報処理装置３００を例に挙げて説明する。

【0141】

図１４は、本発明の実施形態に係る情報処理装置３００の構成を示すブロック図である。本実施形態に係る情報処理装置３００は、搭載された撮像部を通じて動画及び静止画を撮像することができる。
なお、本発明はデジタルスチルカメラやデジタルビデオカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮像が可能なその他の電子機器においても採用することができる。以上は上述の情報処理システム１における情報処理装置１００と同様である。

【0142】

＜情報処理装置３００の構成＞
情報処理装置３００の構成について以下に述べる。情報処理装置３００は被写体の撮像画像の取得等や当該撮像画像のズーム等を行う撮像部３０１、タグ情報を検索するための情報を処理するタグ検索情報処理部３０２、タグ情報を検索するタグ検索処理部３０３、及びタグ情報に基づきタグ表示画像の生成や表示処理を行うタグ表示処理部３０４、並びに制御部３１３等から大きく構成されている。また、それらの各部を構成する部材に関し、上述の情報処理システム１が備える部材と実質的に同一の処理を司るものについては、当該情報処理システム１と同じ記号を付して以下を説明する。

【0143】

制御部３１３は、制御部１１３は、情報処理装置１００の撮像や表示等の各種機能を統括的に制御する。例えば、操作部１１１から読取ったズーム倍率設定値に応じた光学ズーム倍率やデジタルズーム倍率の画像拡大部１０２への設定や、および、撮像部１０１への焦点調整や露光調整などの光学的な制御等を行う。或は、表示部１１０への表示に関する制御として、例えば表示／非表示の制御やバックライトの明るさに関する制御や、情報処理装置１００の電源供給制御等を行う。また、上述の各種部材の制御も統括的に実施する。
また、制御部３１３はタグ検索情報処理部３０２によるタグ情報を検索するための情報の処理、タグ検索処理部３０３によるタグ情報の検索の処理、及びタグ表示処理部３０４によるタグ表示画像の生成や表示の処理を統括制御する。

【0144】

ＲＯＭ３１４は、制御部３１３の動作のためのプログラムを格納している。ＲＡＭ３１５は、各種データの一時記憶領域として使用されたり、各種プログラムに係る演算時のワーク領域として使用されたりする。

【0145】

＜撮像部３０１の構成＞
撮像部３０１は、図示しないレンズ系に入来する撮像光を、同じく図示しない撮像素子により光電変換し、映像信号に変換することによって被写体の撮像画像を取得する撮像画像取得部としての機能を果たすともに、被写体にレンズ系の焦点を合わせる等の光学的な機能を果たす部材である。

【0146】

画像拡大部１０２は、図示しないレンズ系を同じく図示しないズームアクチュエータ等のレンズ駆動部材により光学的にズームしたり、図示しない撮像素子に保持された撮像画像等をトリミングすることで電子的にズームしたりして、撮像部３０１が撮像する撮像画像を拡大等する撮像画像倍率変更部としての機能を果たす部材である。

【0147】

＜タグ検索情報処理部３０２の構成＞
姿勢検出部１０３は、情報処理装置３００の姿勢を検出する部材であり、重力加速度を検出する素子（加速度センサ）により重力に対する方向を検出する方法や、加速度センサ（ジャイロスコープ）を用いて各速度を積算することにより回転角度を求める方法等を用いることによって、情報処理装置３００の姿勢に関する情報、例えば水平姿勢からの情報処理装置３００の水平方向の傾きを検出する。姿勢検出部１０３が検出した姿勢に関する情報は、後述する画角算出部１０６による水平方向の画角の算出に用いられるほか、後述するタグ表示画像生成部１０８による生成されたタグ表示画像の撮像画像への重畳位置の算出に用いられる。

【0148】

位置検出部１０４は、ＧＰＳ衛星等を利用することにより、情報処理装置３００の現在位置を検出する部材である。方向検出部１０５は、電子コンパス等を用いることにより、情報処理装置３００がどの方向に向けられているかを検出する部材である。

【0149】

画角算出部１０６は、画像拡大部１０２が拡大するズーム倍率と、姿勢検出部１０３が検出する情報処理装置３００の姿勢に関する情報に基づいて、撮像部３０１の水平方向の画角を算出する部材である。画角算出部１０６は、画像拡大部１０２が拡大するズーム倍率に基づいて情報処理装置３００の撮像部３０１の水平画角と垂直画角を算出する。例えば、姿勢検出部１０３が検出する情報処理装置３００の姿勢が水平姿勢に対して４５度未満の場合は、水平画角を水平方向の画角とし、水平姿勢に対して４５度以上の場合は垂直画角を水平方向の画角とする。

【0150】

タグ情報取得距離算出部１０７は、画像拡大部１０２が撮像画像を拡大するズーム倍率に基づいてタグ情報を取得する最短距離であるタグ情報取得最短距離と、タグ情報を取得する最長距離であるタグ情報取得最長距離を上述の情報処理システム１と同様にして算出する処理を行う部材である。

【0151】

上述の如く構成されたタグ検索情報処理部３０２によってタグ情報取得範囲の特定に必要な情報処理装置３００の現在位置、撮像方向、及び水平方向の画角、並びにタグ情報取得最短距離及びタグ情報取得最長距離を、制御部３１３の指示に基づきタグ検索処理部３０３に引き渡す。

【0152】

＜タグ検索処理部３０３＞
タグ検索処理部３０３のタグ検索部２０２は、タグ検索情報処理部３０２から引き渡された情報処理装置３００の現在位置、撮像方向、及び水平方向の画角、並びにタグ情報取得最短距離及びタグ情報取得最長距離から、タグ情報取得範囲を算出する。このタグ情報取得範囲の算出は、上述の情報処理システム１における処理と同様にして行われる。

【0153】

タグ情報取得範囲が算出されると、次にタグ取得禁止範囲特定部２０５は、取得を禁止するタグ情報を特定する。そして、取得を禁止するタグ情報が特定されると、タグ検索部２０２はタグ記憶部２０１に記憶された全タグ情報の中から任意のタグ情報を読み出し、取得するタグ情報の検索を行う。これらの処理もまた、上述の情報処理システム１と同様に行われる。

【0154】

タグ検索処理部３０３による取得するタグ情報の検索が完了すると、それらのタグ情報は制御部３１３の指示により、タグ表示処理部３０４に引き渡される。

【0155】

タグ表示画像生成部１０８は、制御部３１３の指示に基づいて、引き渡されたタグ情報から、情報処理装置３００の現在位置とタグ情報に含まれるタグの仮想空間内における配置方向及びタグの表示向きに基づき、タグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の３種類のタグ画像のなかから表示されるタグ表示画像を選択する。

【0156】

次にタグ表示画像生成部１０８は、制御部３１３の指示に基づき、タグ情報に含まれるタグの開始位置、タグの水平及び垂直方向の大きさ、タグの仮想空間における配置方向、タグの仮想空間における表示向き、タグの形状、及び情報処理装置１００の姿勢に関する情報から、タグ表示画像の表示部１１０の表示画面上の表示位置を算出する。この表示位置の算出も上述の情報処理システム１と同様の方法で行われる。

【0157】

タグ表示画像の表示位置が算出されると、タグ表示画像生成部１０８は選択されたタグ画像を、算出された表示位置になるように加工し、画像合成部１０９に出力するタグ表示画像を生成する。そして、タグ表示画像生成部１０８は、この生成されたタグ表示画像を画像合成部１０９に出力し、画像合成部１０９はこのタグ表示画像と撮像部３０１から出力される撮像画像とを合成する。そして、表示部１１０は制御部３１３の指示に基づき、その合成された画像を表示部１１０の表示画面に表示する。

【0158】

以上のように、本発明の実施形態に係る情報処理装置３００によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる。
また、本発明の実施形態に係る情報処理装置３００によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる。

【0159】

上記の各実施形態の説明においては、説明及び理解の容易のため、を想定して説明を行ったが、これに限定されるものではない。

【0160】

例えば、第一の実施形態に係る情報処理システム１を例にあげると、姿勢検出部１０３が、情報処理装置１００の姿勢（水平方向の傾き）に加えて、新たに情報処理装置１００の垂直方向の傾きを検出し、位置検出部１０４が、ＧＰＳなどの水平方向の位置検出手段による情報処理装置１００の水平方向の現在位置の検出に加えて、高度計などの垂直方向の位置検出手段を用いることにより、新たに情報処理装置１００の垂直方向の現在位置（高さ）を検出する。

【0161】

次に、画角算出部１０６が、情報処理装置１００の水平方向の画角に加えて、新たに垂直方向の画角を算出し、通信部１１２が、画角算出部１０６が算出する水平方向の画角と垂直方向の画角、位置検出部１０４が検出する情報処理装置１００の水平方向の現在位置と垂直方向の現在位置（高さ）、方向検出部１０５が検出する情報処理装置１００の現在の撮像方向、及びタグ情報取得距離算出部１０７が算出するタグ情報取得最短距離とタグ情報取得最長距離とを、通信部２０３に対して送信する。

【0162】

タグ情報として、タグ画像、タグの位置、タグの大きさ、タグの表示向き、タグの配置方向（タグの水平方向の傾き）、タグの形状に加えて、新たにタグの垂直方向の傾きとタグの高さに関する情報がタグ記憶部２０１に記憶されており、タグ検索部２０２は、当該タグ記憶部２０１に記憶されている、タグの水平方向と垂直方向の位置、タグの大きさ、タグの配置方向、タグの表示向き、タグの水平方向と垂直方向の傾き、タグの形状に関する情報とからなるタグ情報を算出する。

【0163】

さらに、タグ検索部２０２は、姿勢検出部１０３が検出する情報処理装置１００の垂直方向の傾き、位置検出部１０４が検出する情報処理装置１００の水平方向と垂直方向の現在位置、方向検出部１０５が検出する情報表示装置１００の現在の撮像方向、
画角算出部１０６が算出する水平方向の画角と垂直方向の画角、及びタグ情報取得距離算出部１０７が算出するタグ情報取得最短距離とタグ情報取得最長距離と、からタグ表示範囲情報を算出する。

【0164】

以上のようにすれば、情報処理装置が垂直方向の傾きを有し、オブジェクト（タグ）が垂直方向の傾きをし、さらに情報処理装置の備える撮像部のレンズの中心（光軸）とオブジェクト（タグ）の中心が異なる場合においても、本発明の効果を達成することができることは明らかである。

【0165】

上述の各実施形態では、タグ情報取得距離算出部１０７が算出するタグ情報取得最短距離およびタグ情報取得最長距離は、どちらも情報処理装置１００又は３００の位置を中心とする円弧とし、タグ情報取得範囲は情報処理装置１００又は３００の画角とタグ情報取得最長距離の円弧が成す扇状の範囲から情報処理装置１００又は３００の画角とタグ情報取得最短距離の円弧が成す扇状の範囲を取り除いた範囲であるとして説明を行ったが、これに限定されるものではない。

【0166】

例えば、タグ情報取得最短距離とタグ情報取得最長距離を情報処理装置からの光軸上の位置までの距離として規定し、情報処理装置の画角とタグ情報取得最短距離が成す範囲を二等辺三角形状とし、情報処理装置とタグ情報取得最長距離が成す範囲を二等辺三角形状とし、後二等辺三角形状の範囲から前二等辺三角形状の範囲を取り除いた範囲、すなわち台形状の範囲をタグ情報取得範囲としても良い。

【0167】

また、上記各実施形態において、タグ画像生成部１０８は、タグの配置方向とタグの表示向きに基づいてタグ画像を選択するとして説明を行ったが、これに限定されるものではない。タグの表面が表示される方向は、タグの配置方向とタグの表示向きとから求められるので、この２つの情報をまとめてタグの表示方向としてタグ情報内に記憶し、タグ表示画像生成部１０８は、このタグの表示方向に基づいてタグ画像を選択するよう構成しても良い。

【0168】

さらに、上記各実施形態では、タグ記憶部２０１に記憶されているタグ情報には、タグ画像、タグの位置、タグの大きさ、タグの配置方向、タグの表示向き、タグの形状に関する情報が含まれるとして説明を行ったが、これに限定されるものではない。タグ情報にタグの大きさ、タグの配置方向、タグの表示向き、タグの形状に関する情報が含まれない場合、所定のタグの大きさ、タグの配置方向、タグの表示向き、タグの形状を用意し、タグ表示画像生成部１０８はこの所定の値を用いることによってタグ表示画像を生成するようにしても良い。

【符号の説明】

【0169】

情報処理システム １
情報処理装置 １００、３００
検索サーバ ２００
撮像部 １０１
画像拡大部 １０２
姿勢検出部 １０３
位置検出部 １０４
方向検出部 １０５
画角算出部 １０６
タグ情報取得距離算出部 １０７
タグ画像生成部 １０８
画像合成部 １０９
表示部 １１０
通信部 １１２
制御部 １１３、２０６
タグ記憶部 ２０１
タグ検索部 ２０２
通信部 ２０３
タグ取得禁止範囲記憶部 ２０４
タグ取得禁止範囲特定部 ２０５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】