特許 6248732 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法および拡張現実表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6248732

(24)【登録日】2017年12月1日

(45)【発行日】2017年12月20日

(54)【発明の名称】拡張現実表示装置、拡張現実表示システム、拡張現実表示方法および拡張現実表示プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20171211BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】15

【全頁数】34

(21)【出願番号】特願2014-58661(P2014-58661)

(22)【出願日】2014年3月20日

(65)【公開番号】特開2015-184777(P2015-184777A)

(43)【公開日】2015年10月22日

【審査請求日】2016年12月21日

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100108523

【弁理士】

【氏名又は名称】中川 雅博

(72)【発明者】

【氏名】高橋 健一

(72)【発明者】

【氏名】南 猛

(72)【発明者】

【氏名】田村 敦史

(72)【発明者】

【氏名】松原 賢士

(72)【発明者】

【氏名】小澤 開拓

(72)【発明者】

【氏名】谷口 陽介

(72)【発明者】

【氏名】澁田 義明

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１１−０８１５５７（ＪＰ，Ａ）

【文献】 特開２０１３−２１４１５８（ＪＰ，Ａ）

【文献】 特表２０１３−５３９８７２（ＪＰ，Ａ）

【文献】 特開２００２−２５９９７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

被写体を撮像し、第１の画像を出力する撮像手段と、
前記取得された第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報を取得する拡張現実情報取得手段と、
前記拡張現実情報は、前記第２の画像に加えて、前記第２の画像中の被写体に対して相対的な位置で定まる表示領域を示す領域情報と、前記被写体に関連する関連情報とを含み、
前記第１の画像中の被写体に対する相対位置が、前記第２の画像中の被写体と前記表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定手段と、
前記決定された現実表示領域に前記拡張現実情報に含まれる前記関連情報を表示する表示制御手段と、
前記第２の画像と前記第１の画像とで異なる相違部分を抽出する相違部分抽出手段と、
前記相違部分抽出手段により相違部分が抽出される場合、予め定められた処理を実行する処理実行手段と、を備えた拡張現実表示装置。

【請求項2】

前記処理実行手段は、前記拡張現実情報の前記第２の画像を前記第１の画像で更新する更新制御手段を含む、請求項１に記載の拡張現実表示装置。

【請求項3】

前記処理実行手段は、前記第２の画像と前記第１の画像とが異なることをユーザーに通知する通知手段を含む、請求項１または２に記載の拡張現実表示装置。

【請求項4】

前記相違部分抽出手段は、前記撮像手段が被写体を撮像して出力する第１の画像の一部を、前記取得された拡張現実情報に含まれる第２の画像の少なくとも一部と比較する比較手段を含む、請求項１〜３のいずれかに記載の拡張現実表示装置。

【請求項5】

前記相違部分抽出手段は、前記第１の画像を複数の部分画像に分割する分割手段と、
前記複数の部分画像それぞれを前記第２の画像の一部と比較する比較手段と、
前記複数の部分画像のうち前記第２の画像の一部と類似する複数の部分画像に囲まれた部分画像であって、前記第２の画像の一部と類似しない部分画像を相違部分に決定する相違部分決定手段と、を含む、請求項４に記載の拡張現実表示装置。

【請求項6】

前記拡張現実情報は、地理的な位置を示す位置情報を、さらに含み、
前記拡張現実表示装置が現実に存在する地理的な位置を現在位置として取得する位置取得手段をさらに備え、
前記拡張現実情報取得手段は、前記取得された現在位置に基づいて前記取得された現在位置から所定の範囲内の地理的な位置に関連付けられた拡張現実情報を取得する位置基準取得手段をさらに含む、請求項１〜５のいずれかに記載の拡張現実表示装置。

【請求項7】

前記拡張現実情報取得手段は、前記位置取得手段により現在位置が取得できない場合、前記撮像手段が出力する第１の画像に基づいて前記拡張現実情報を取得する、請求項６に記載の拡張現実表示装置。

【請求項8】

画像を表示する表示手段をさらに備え、
前記表示制御手段は、前記拡張現実情報に含まれる前記関連情報を前記第１の画像に重畳した合成画像を生成する合成画像生成手段を含み、
前記生成された合成画像を前記表示手段に表示する、請求項１〜７のいずれかに記載の拡張現実表示装置。

【請求項9】

前記撮像手段の光軸を基準に定まる位置に配置され、透過型の表示手段をさらに備え、
前記現実表示領域決定手段は、前記撮像手段が出力する前記第１の画像に基づいて、表示手段の表示面中で現実表示領域を決定し、
前記表示制御手段は、前記拡張現実情報に含まれる関連情報を、前記表示手段の表示面中の現実形態表示領域に表示する、請求項１〜７のいずれかに記載の拡張現実表示装置。

【請求項10】

前記拡張現実情報を記憶するサーバーと通信可能な通信制御手段を、さらに備え、
前記拡張現実情報取得手段は、前記サーバーから前記拡張現実情報を取得する、請求項１〜９のいずれかに記載の拡張現実表示装置。

【請求項11】

請求項１０に記載の拡張現実表示装置と、前記サーバーと通信可能な基本情報登録装置および拡張現実情報登録装置とを備えた拡張現実表示システムであって、
前記基本情報登録装置は、被写体を撮像し、画像を出力する基本撮像手段と、
前記基本情報登録装置が現実に存在する地理的な位置を現在位置として取得する基本位置取得手段と、
前記基本撮像手段が被写体を撮像して出力する画像を第２の画像とし、当該第２の画像と前記基本位置取得手段により取得された現在位置とを含む基本情報を前記サーバーに登録する基本情報登録手段を、備え、
前記拡張現実情報登録装置は、地理的な位置の指定を受け付ける位置受付手段と、
前記受け付けられた地理的な位置が所定の範囲内となる位置情報を含む基本情報を前記サーバーから取得する基本情報取得手段と、
前記取得された基本情報に含まれる第２の画像を表示する生成側表示手段と、
前記第２の画像中の表示領域の指定を受け付ける表示領域受付手段と、
関連情報を取得する関連情報取得手段と、
前記取得された関連情報と、前記表示領域受付手段により受け付けられた表示領域を示す領域情報とを前記基本情報に追加した拡張現実情報を生成する拡張現実情報生成手段と、
前記サーバーに前記生成された拡張現実情報を登録する登録手段と、を備えた拡張現実表示システム。

【請求項12】

前記拡張現実情報登録装置は、原稿を光学的に読み取って電子データに変換した画像データを出力する原稿読取手段をさらに備え、
前記関連情報取得手段は、前記原稿読取手段が出力する画像データを前記関連情報として取得する、請求項１１に記載の拡張現実表示システム。

【請求項13】

前記拡張現実情報登録装置は、データを記憶するデータ記憶手段をさらに備え、
前記関連情報取得手段は、前記データ記憶手段に記憶されたデータのうちからユーザーにより指定されたデータを前記関連情報として取得する、請求項１１または１２に記載の拡張現実表示システム。

【請求項14】

被写体を撮像した第１の画像を取得する撮像ステップと、
前記取得された第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報を取得する拡張現実情報取得ステップと、
前記拡張現実情報は、前記第２の画像に加えて、前記第２の画像中の被写体に対して相対的な位置で定まる表示領域を示す領域情報と、前記被写体に関連する関連情報とを含み、
前記第１の画像中の被写体に対する相対位置が、前記第２の画像中の被写体と前記表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定ステップと、
前記決定された現実表示領域に前記拡張現実情報に含まれる前記関連情報を表示する表示制御ステップと、
前記第２の画像と前記第１の画像とで異なる相違部分を抽出する相違部分抽出ステップと、
前記相違部分抽出ステップにおいて相違部分が抽出される場合、予め定められた処理を実行する処理実行ステップと、を含む拡張現実表示方法。

【請求項15】

被写体を撮像した第１の画像を取得する撮像ステップと、
前記取得された第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報を取得する拡張現実情報取得ステップと、
前記拡張現実情報は、前記第２の画像に加えて、前記第２の画像中の被写体に対して相対的な位置で定まる表示領域を示す領域情報と、前記被写体に関連する関連情報とを含み、
前記第１の画像中の被写体に対する相対位置が、前記第２の画像中の被写体と前記表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定ステップと、
前記決定された現実表示領域に前記拡張現実情報に含まれる前記関連情報を表示する表示制御ステップと、
前記第２の画像と前記第１の画像とで異なる相違部分を抽出する相違部分抽出ステップと、
前記相違部分抽出ステップにおいて相違部分が抽出される場合、予め定められた処理を実行する処理実行ステップと、をコンピューターに実行させる拡張現実表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、拡張現実表示装置、拡張現実表示システム、拡張現実表示方法および拡張現実表示プログラムに関し、特に、被写体に関連する情報を表示する拡張現実表示装置、その拡張現実表示装置を含む拡張現実表示システム、その拡張現実表示装置で実行される拡張現実表示方法および拡張現実表示プログラムに関する。

【背景技術】

【0002】

近年、拡張現実の技術が開発されている。例えば、特開平９−３３２７１号公報には、カメラあるいはカメラ一体型ＶＴＲ装置等の撮像手段と、該撮像手段により撮影した映像やデータを表示する表示手段と、各時刻の地球上における前記撮像手段の位置と方向を衛星測位により検出する検出手段と、地図データを記憶した記憶手段と、前記表示手段に表示された物体のうち所定の物体の地球上における３次元位置座標と当該物体の名称等の属性データを前記記憶手段から読み出し，当該３次元位置座標を前記表示手段における２次元位置座標に変換し，前記表示手段における前記２次元位置座標に前記属性データを表示する制御手段とを具備したことを特徴とする撮像装置が記載されている。

【0003】

しかしながら、従来の撮像装置においては、所定の物体の地球上における３次元位置座標を、その物体に関連して記憶しておかなければならない。また、３次元位置座標を表示手段における二次元位置座標に変換しなければならず、処理の負荷が大きいといった問題がある。

【特許文献1】特開平９−３３２７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、所定の被写体を撮像した時点で、所定の処理を実行することが可能な拡張現実表示装置を提供することである。

【0005】

この発明の他の目的は、任意のユーザーにより登録された関連情報を被写体と関連付けて表示することが可能な拡張現実表示システムを提供することである。

【0006】

この発明のさらに他の目的は、所定の被写体を撮像した時点で、所定の処理を実行することが可能な拡張現実表示方法を提供することである。

【0007】

この発明のさらに他の目的は、所定の被写体を撮像した時点で、所定の処理を実行することが可能な拡張現実表示プログラムを提供することである。

【課題を解決するための手段】

【0008】

上述した目的を達成するためにこの発明のある局面によれば、拡張現実表示装置は、被写体を撮像し、第１の画像を出力する撮像手段と、取得された第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報を取得する拡張現実情報取得手段と、拡張現実情報は、第２の画像に加えて、第２の画像中の被写体に対して相対的な位置で定まる表示領域を示す領域情報と、被写体に関連する関連情報とを含み、第１の画像中の被写体に対する相対位置が、第２の画像中の被写体と表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定手段と、決定された現実表示領域に拡張現実情報に含まれる関連情報を表示する表示制御手段と、第２の画像と第１の画像とで異なる相違部分を抽出する相違部分抽出手段と、相違部分抽出手段により相違部分が抽出される場合、予め定められた処理を実行する処理実行手段と、を備える。

【0009】

この局面に従えば、被写体を撮像した第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報が取得され、第１の画像中の被写体に対する相対位置が、第２の画像中の被写体と表示領域との相対位置と同じ関係となる現実表示領域が決定され、現実表示領域に関連情報が表示される。このため、被写体を撮像した第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報によって、第１の画像中の被写体に関連付けられた関連情報が、第１の画像中の被写体に対して定められた相対的な位置に、表示される。その結果、撮像した画像中の被写体に関連する情報を、その被写体に対して予め定められた位置に表示することができる。また、第２の画像と第１の画像とで異なる相違部分が抽出される場合、予め定められた処理を実行するので、所定の被写体を撮像した時点で、所定の処理を実行することが可能な拡張現実表示装置を提供することができる。

【0010】

好ましくは、処理実行手段は、拡張現実情報の第２の画像を第１の画像で更新する更新制御手段を含む。

【0011】

この局面に従えば、所定の被写体を撮像した時点で、拡張現実情報に含まれる第２の画像が撮像して得られる第１の画像で更新されるので、被写体とは異なる部分、例えば、背景等が変化した後に、拡張現実情報に含まれる画像を最新の状態に更新することができる。

【0012】

好ましくは、処理実行手段は、第２の画像と第１の画像とが異なることをユーザーに通知する通知手段を含む。

【0013】

この局面に従えば、被写体とは異なる部分、例えば、背景等が変化したことをユーザーに通知することができる。また、拡張現実情報に含まれる画像が最新の状態に更新されることをユーザーに通知することができる。

【0014】

好ましくは、相違部分抽出手段は、撮像手段が被写体を撮像して出力する第１の画像の一部を、取得された拡張現実情報に含まれる第２の画像の少なくとも一部と比較する比較手段を含む。

【0015】

この局面に従えば、第１の画像の一部を、拡張現実情報に含まれる第２の画像の少なくとも一部と比較するので、第１の画像および第２の画像それぞれの全体が一致しなくても、被写体が同一か否かを判断することができる。

【0016】

好ましくは、相違部分抽出手段は、第１の画像を複数の部分画像に分割する分割手段と、複数の部分画像それぞれを第２の画像の一部と比較する比較手段と、複数の部分画像のうち第２の画像の一部と類似する複数の部分画像に囲まれた部分画像であって、第２の画像の一部と類似しない部分画像を相違部分に決定する相違部分決定手段と、を含む。

【0017】

この局面に従えば、第１の画像を分割した複数の部分画像それぞれを第２の画像の一部と比較し、複数の部分画像のうち第２の画像の一部と類似する複数の部分画像に囲まれた部分画像であって、第２の画像の一部と類似しない部分画像を相違部分に決定する。このため、第１の画像と第２の画像とが、被写体が同一であるが、全体として異なることを判別することができる。

【0018】

好ましくは、拡張現実情報は、地理的な位置を示す位置情報を、さらに含み、拡張現実表示装置が現実に存在する地理的な位置を現在位置として取得する位置取得手段をさらに備え、拡張現実情報取得手段は、取得された現在位置に基づいて取得された現在位置から所定の範囲内の地理的な位置に関連付けられた拡張現実情報を取得する位置基準取得手段をさらに含む。

【0019】

この局面に従えば、第２の画像中の被写体の地理的な位置が、被写体を撮像する時点における地理的な位置から所定の範囲に存在する拡張現実情報を取得するので、拡張現実情報の取得が容易となる。

【0020】

好ましくは、拡張現実情報取得手段は、位置取得手段により現在位置が取得できない場合、撮像手段が出力する第１の画像に基づいて拡張現実情報を取得する。

【0021】

この局面に従えば、現在位置が取得できない場合であっても、拡張現実情報を取得することができる。

【0022】

好ましくは、画像を表示する表示手段をさらに備え、表示制御手段は、拡張現実情報に含まれる関連情報を第１の画像に重畳した合成画像を生成する合成画像生成手段を含み、生成された合成画像を表示手段に表示する。

【0023】

この局面に従えば、第１の画像に関連情報を重畳した合成画像が生成され、合成画像が表示される。このため、第１の画像中で被写体に関連情報を関連付けることができる。

【0024】

好ましくは、撮像手段の光軸を基準に定まる位置に配置され、透過型の表示手段をさらに備え、現実表示領域決定手段は、撮像手段が出力する第１の画像に基づいて、表示手段の表示面中で現実表示領域を決定し、表示制御手段は、拡張現実情報に含まれる関連情報を、表示手段の表示面中の現実形態表示領域に表示する。

【0025】

この局面に従えば、被写体を撮像した第１の画像に基づいて、表示手段の表示面中で現実表示領域が決定され、関連情報が、表示手段の表示面中の現実表示領域に表示する。このため、ユーザーが表示手段を透過して視認する被写体に関連付けて関連情報を表示することができる。

【0026】

好ましくは、拡張現実情報を記憶するサーバーと通信可能な通信制御手段を、さらに備え、拡張現実情報取得手段は、サーバーから拡張現実情報を取得する。

【0027】

この局面に従えば、拡張現実情報を記憶するサーバーから拡張現実情報を取得するので、拡張現実表示装置のユーザーとは別のユーザーにより登録された関連情報を表示することができる。

【0028】

この発明の他の局面によれば、拡張現実表示システムは、上述した拡張現実表示装置と、サーバーと通信可能な基本情報登録装置および拡張現実情報登録装置とを備えた拡張現実表示システムであって、基本情報登録装置は、被写体を撮像し、画像を出力する基本撮像手段と、基本情報登録装置が現実に存在する地理的な位置を現在位置として取得する基本位置取得手段と、基本撮像手段が被写体を撮像して出力する画像を第２の画像とし、当該第２の画像と基本位置取得手段により取得された現在位置とを含む基本情報をサーバーに登録する基本情報登録手段を、備え、拡張現実情報登録装置は、地理的な位置の指定を受け付ける位置受付手段と、受け付けられた地理的な位置が所定の範囲内となる位置情報を含む基本情報をサーバーから取得する基本情報取得手段と、取得された基本情報に含まれる第２の画像を表示する生成側表示手段と、第２の画像中の表示領域の指定を受け付ける表示領域受付手段と、関連情報を取得する関連情報取得手段と、取得された関連情報と、表示領域受付手段により受け付けられた表示領域を示す領域情報とを基本情報に追加した拡張現実情報を生成する拡張現実情報生成手段と、サーバーに生成された拡張現実情報を登録する登録手段と、を備える。

【0029】

この局面に従えば、基本情報登録装置によって基本情報が登録され、拡張現実情報登録装置によって基本情報に関連情報と領域情報とを追加した拡張現実情報が登録される。このため、拡張現実表示装置のユーザー本人または、そのユーザーとは別のユーザーにより登録された関連情報を表示することができる。その結果、任意のユーザーにより登録された関連情報を被写体と関連付けて表示することが可能な拡張現実表示システムを提供することができる。

【0030】

好ましくは、拡張現実情報登録装置は、原稿を光学的に読み取って電子データに変換した画像データを出力する原稿読取手段をさらに備え、関連情報取得手段は、原稿読取装置が出力する画像データを関連情報として取得する。

【0031】

この局面に従えば、原稿を読み取った画像データを関連情報とすることができる。

【0032】

好ましくは、拡張現実情報登録装置は、データを記憶するデータ記憶手段をさらに備え、関連情報取得手段は、データ記憶手段に記憶されたデータのうちからユーザーにより指定されたデータを関連情報として取得する。

【0033】

この局面に従えば、ユーザーにより指定されたデータを関連情報とすることができる。

【0034】

この発明のさらに他の局面によれば、拡張現実表示方法は、被写体を撮像した第１の画像を取得する撮像ステップと、取得された第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報を取得する拡張現実情報取得ステップと、拡張現実情報は、第２の画像に加えて、第２の画像中の被写体に対して相対的な位置で定まる表示領域を示す領域情報と、被写体に関連する関連情報とを含み、第１の画像中の被写体に対する相対位置が、第２の画像中の被写体と表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定ステップと、決定された現実表示領域に拡張現実情報に含まれる関連情報を表示する表示制御ステップと、第２の画像と第１の画像とで異なる相違部分を抽出する相違部分抽出ステップと、相違部分抽出ステップにおいて相違部分が抽出される場合、予め定められた処理を実行する処理実行ステップと、を含む。

【0035】

この局面に従えば、所定の被写体を撮像した時点で、所定の処理を実行することが可能な拡張現実表示方法を提供することができる。

【0036】

この発明のさらに他の局面によれば、拡張現実表示プログラムは、被写体を撮像した第１の画像を取得する撮像ステップと、取得された第１の画像中の被写体と同一の被写体を有する第２の画像を含む拡張現実情報を取得する拡張現実情報取得ステップと、拡張現実情報は、第２の画像に加えて、第２の画像中の被写体に対して相対的な位置で定まる表示領域を示す領域情報と、被写体に関連する関連情報とを含み、第１の画像中の被写体に対する相対位置が、第２の画像中の被写体と表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定ステップと、決定された現実表示領域に拡張現実情報に含まれる関連情報を表示する表示制御ステップと、第２の画像と第１の画像とで異なる相違部分を抽出する相違部分抽出ステップと、相違部分抽出ステップにおいて相違部分が抽出される場合、予め定められた処理を実行する処理実行ステップと、をコンピューターに実行させる。

【0037】

この局面に従えば、所定の被写体を撮像した時点で、所定の処理を実行することが可能な拡張現実表示プログラムを提供することができる。

【図面の簡単な説明】

【0038】

【図1】本発明の実施の形態における拡張現実表示システムの全体概要の一例を示す図である。

【図2】本実施の形態におけるＭＦＰの外観を示す斜視図である。

【図3】本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。

【図4】本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。

【図5】本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。

【図6】本実施の形態におけるサーバーのハードウェア構成の一例を示すブロック図である。

【図7】拡張現実情報のフォーマットの一例を示す図である。

【図8】拡張現実表示装置として機能する携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。

【図9】相違部分抽出部の詳細な機能の一例を示すブロック図である。

【図10】背景画像の一例を示す図である。

【図11】撮像画像の一例を示す図である。

【図12】合成画像の一例を示す図である。

【図13】基本情報のフォーマットの一例を示す図である。

【図14】基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１の機能の一例を示すブロック図である。

【図15】拡張現実情報登録装置として機能するＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。

【図16】サーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。

【図17】基本情報登録処理の流れの一例を示すフローチャートである。

【図18】拡張現実情報登録処理の流れの一例を示すフローチャートである。

【図19】拡張現実情報管理処理の流れの一例を示すフローチャートである。

【図20】拡張現実表示処理の流れの一例を示すフローチャートである。

【図21】相違部分判断処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0039】

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

【0040】

＜第１の実施の形態＞
図１は、本発明の実施の形態における拡張現実表示システムの全体概要の一例を示す図である。図１を参照して、拡張現実表示システム１は、それぞれがネットワーク２に接続された無線局３と、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００と、携帯情報装置２００，２００Ａ，２００Ｂと、パーソナルコンピューター（以下「ＰＣ」という）３００と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）４００と、サーバー５００と、を含む。

【0041】

ＭＦＰ１００は、画像処理装置として機能し、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能およびファクシミリデータを送受信するファクシミリ送受信機能を備えている。なお、第１の実施の形態においては画像処理装置の一例として、ＭＦＰ１００を例に説明するが、ＭＦＰ１００に代えて、画像を処理する機能を備えた装置であれば、例えば、ＰＣ３００、サーバー５００等であってもよい。

【0042】

ＰＣ３００は、一般的なコンピューターである。ＰＣ３００は、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされている。

【0043】

携帯情報装置２００，２００Ａ，２００Ｂは、情報処理装置の一例である。携帯情報装置２００，２００Ａ，２００Ｂは、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、スマートフォンなど、ユーザーに携帯して使用され、データを記憶する機能、無線ＬＡＮ機能を備えている。また、携帯情報装置２００，２００Ａ，２００Ｂは、ＰＣ３００と同様に、アプリケーションプログラムをインストールすることが可能である。携帯情報装置２００，２００Ａ，２００Ｂのハードウェア構成および機能は同じなので、ここでは、特に言及しない限り携帯情報装置２００を例に説明する。

【0044】

ＨＭＤ４００は、メガネの形状をしており、ユーザーにより装着されて使用される。ＨＭＦ４００は、被写体を撮像する撮像機能、メガネのレンズ部分に画像を表示する表示機能、無線ＬＡＮ機能を備えている。ＨＭＤ４００を装着するユーザーは、レンズを通して被写体を視認すると同時に、レンズに表示された画像を視認することができる。

【0045】

ネットワーク２は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク２は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク２は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。

【0046】

ＭＦＰ１００は、ネットワーク２を介して、無線局３、ＰＣ３００、およびサーバー５００と、データの送受信が可能である。無線局３は、ネットワーク２の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００と通信して、携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００をネットワーク２に接続する。このため、携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００各々は、無線局３およびネットワーク２を介してＭＦＰ１００、ＰＣ３００、サーバー５００とデータの送受信が可能である。

【0047】

図２は、本実施の形態におけるＭＦＰの外観を示す斜視図である。図３は、本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。

【0048】

後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。

【0049】

メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

【0050】

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。

【0051】

操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネルを１６５さらに含む。

【0052】

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク２に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００，２００Ａ，２００Ｂ、ＰＣ３００、ＨＭＤ４００、およびサーバー５００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク２を介してインターネットに接続されたコンピューターと通信が可能である。

【0053】

ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

【0054】

外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリーであってもよい。

【0055】

また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

【0056】

拡張現実表示システム１において、ＭＦＰ１００、携帯情報装置２００，２００Ａ，２００Ｂ、ＰＣ３００、ＨＤＭ４００、サーバー５００間で、データが送受信される。データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）等が用いられる。

【0057】

図４は、本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリー２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、位置検出部２０９と、方位検出部２１０と、外部記憶装置２１１と、を含む。

【0058】

無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、携帯情報装置２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクおよびスピーカを備え、無線通信部２０４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。

【0059】

カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

【0060】

表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。

【0061】

無線ＬＡＮＩ／Ｆ２０８は、無線局３と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００に、ＨＭＤ２００、サーバー５００、ＭＦＰ１００、ＰＣ３００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＨＭＤ４００、サーバー５００、ＭＦＰ１００、ＰＣ３００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置２００が無線ＬＡＮＩ／Ｆ２０８を用いて、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置２００、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、１対１で通信するようにしてもよい。また、携帯情報装置２００を、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の有線で接続するようにし、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、１対１で通信するようにしてもよい。

【0062】

フラッシュメモリー２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリー２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。

【0063】

位置検出部２０９は、携帯情報装置２００の現在位置を検出する。具体的には、位置検出部２０９は、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機であり、複数のＧＰＳ衛星からの電波を受信することにより、現在位置を測定する。位置検出部２０９は、測定した現在位置を示す値、たとえば、緯度と経度とをＣＰＵ２０１に出力する。

【0064】

方位検出部２１０は、携帯情報装置２００のカメラ２０２が向く方向の方位を検出する。具体的には、方位検出部２１０は、地磁気を計測する地磁気センサーである。方位検出部２１０は、検出した方位をＣＰＵ２０１に出力する。方位検出部２１０は、カメラ２０２の撮像方向、換言すれば、カメラ２０２のレンズの光軸が向く方向を検出可能なように携帯情報装置２００に設置される。なお、方位検出部２１０は、地磁気センサーに限らず、ジャイロセンサー等を用いるようにしてもよい。

【0065】

外部記憶装置２１１は、携帯情報装置２００に着脱自在であり、遠隔操作プログラムを記憶したＣＤ−ＲＯＭ２１１Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１１Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１１Ａに記録された遠隔操作プログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。

【0066】

なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリー２０３またはＣＤ−ＲＯＭ２１１Ａに記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、フラッシュメモリー２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置２００が、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

【0067】

なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリーであってもよい。

【0068】

図５は、本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。図５を参照して、本実施の形態におけるＨＭＤ４００は、ＨＭＤ４００の全体を制御するためのＣＰＵ４０１と、カメラ４０２と、データを不揮発的に記憶するフラッシュメモリー４０３と、情報を表示する表示部４０４と、無線ＬＡＮＩ／Ｆ４０５と、を含む。

【0069】

カメラ４０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ４０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

【0070】

表示部４０４は、透明な部材からなる液晶表示装置（ＬＣＤ）であり、ＨＭＤ４００のレンズ部分に埋め込まれている。表示部４０４の表示面は、カメラ４０２の光軸を基準に定まる位置に配置される。具体的には、カメラ４０２の撮像範囲は、ユーザーがＨＭＤ４００を装着した場合における視界と同じに設定される。このため、カメラ４０４において撮像して得られる画像は、ユーザーが実際に見る視界内の画像と同じになる。このため、カメラ４０２が出力する画像からユーザーの視界内の位置を特定することができる。表示部４０４の表示面は、レンズ部分においてユーザーがＨＭＤ４００を装着した場合における視界と同じに設定される。このため、ユーザーの視界内の任意の位置に画像を表示することができる。

【0071】

無線ＬＡＮＩ／Ｆ４０５は、無線局３と通信し、ＨＭＤ４００をネットワーク２に接続するためのインターフェースである。フラッシュメモリー４０３に、サーバー５００のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、ＨＭＤ４００は、サーバー５００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、ＨＭＤ４００が無線ＬＡＮＩ／Ｆ４０５を用いて、サーバー５００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、ＨＭＤ４００およびサーバー５００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、ＨＭＤ４００が、サーバー５００と、１対１で通信するようにしてもよい。

【0072】

フラッシュメモリー４０３は、ＣＰＵ４０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ４０１は、フラッシュメモリー４０３に記録されたプログラムを、ＣＰＵ４０１が備えるＲＡＭにロードして実行する。

【0073】

図６は、本実施の形態におけるサーバーのハードウェア構成の一例を示すブロック図である。図６を参照して、サーバー５００は、サーバー５００の全体を制御するためのＣＰＵ５０１と、ＣＰＵ５０１が実行するためのプログラムを記憶するＲＯＭ５０２と、ＣＰＵ５０１の作業領域として使用されるＲＡＭ５０３と、データを不揮発的に記憶するＨＤＤ５０４と、ＣＰＵ５０１をネットワーク２に接続する通信部５０５と、情報を表示する表示部５０６と、ユーザーの操作の入力を受け付ける操作部５０７と、を含む。

【0074】

本実施の形態における拡張現実表示システム１においては、サーバー５００に拡張現実情報を記憶し、拡張現実表示装置として機能する携帯情報装置２００が、サーバー５００から拡張現実情報をダウンロードして、表示する。

【0075】

図７は、拡張現実情報のフォーマットの一例を示す図である。図７を参照して、拡張現実情報は、位置情報の項目と、コンテンツの項目と、関連情報の項目と、領域情報の項目と、を含む。位置情報の項目には、地理的な位置を示す位置情報が設定される。コンテンツの項目には、コンテンツが設定される。ここでは、コンテンツを、位置情報の項目に設定された位置情報で特定される位置で被写体を撮像した撮像画像を背景画像として設定される場合を例に説明する。関連情報の項目は、コンテンツ中のオブジェクトに関連する関連情報が設定される。ここでは、コンテンツの項目に設定された背景画像中の被写体に関連する情報が設定される。領域情報の項目は、コンテンツ中のオブジェクトに対して相対位置で定まる表示領域を示す領域情報が設定される。ここでは、コンテンツの項目に設定された背景画像中の被写体に対して相対的な位置で定める領域の位置を示す領域情報が設定される。

【0076】

拡張現実情報をサーバー５００に記憶させる方法の具体例は後述するが、サーバー５００には、予め拡張現実情報が記憶されている。ここでは、会議室Ａにおいて、ホワイトボードを撮像する際に、その撮像時の会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された撮像画像がコンテンツの項目に設定され、会議の資料である画像が関連情報の項目に設定され、撮像画像中に被写体として含まれるホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００に登録されている場合を例に説明する。

【0077】

図８は、拡張現実表示装置として機能する携帯情報装置２００が備えるＣＰＵの機能の概要の一例を示すブロック図である。図８に示す機能は、拡張現実表示装置として機能する携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図８を参照して、ＣＰＵ２０１は、撮像制御部２５１と、携帯情報装置２００の現在の地理的な位置を取得する位置取得部２５３と、サーバー５００から拡張現実情報を取得する拡張現実情報取得部２５５と、表示部１６１を制御する表示制御部２５７と、相違部分抽出部２７１と、処理実行部２７３と、を含む。

【0078】

撮像制御部２５１は、カメラ２０２を制御する撮像制御部２５９を含む。撮像制御部２５９は、カメラ２０２を制御し、カメラ２０２が被写体を撮像して出力する撮像画像を取得し、取得された撮像画像を、表示制御部２５７、拡張現実情報取得部２５５および相違部分抽出部２７１に出力する。表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、表示部２０６を制御し、撮像画像を表示部２０６に表示させる。

【0079】

位置取得部２５３は、位置検出部２０９を制御し、位置検出部２０９に現在位置を測定させ、位置検出部２０９が出力する現在位置を示す位置情報を取得する。位置取得部２５３は、取得された位置情報を拡張現実情報取得部２５５に出力する。

【0080】

拡張現実情報取得部２５５は、サーバー５００から拡張現実情報を取得する。拡張現実情報取得部２５５は、位置基準取得部２６１と、被写体基準取得部２６３と、を含む。位置基準取得部２６１は、位置取得部２５３から入力される位置情報を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。携帯情報装置２００のフラッシュメモリー２０３に、サーバー５００のＩＰアドレスを予め記憶しておけばよい。拡張現実情報送信要求を受信するサーバー５００の動作の詳細は後述するが、拡張現実情報送信要求に含まれる位置情報で特定される位置から所定の範囲内に存在する位置を示す位置情報を含む拡張現実情報を抽出し、抽出された１以上の拡張現実情報を返信する。拡張現実情報取得部２５５は、無線ＬＡＮＩ／Ｆ４０８がサーバー５００から１以上の拡張現実情報を受信すると、１以上の拡張現実情報を被写体基準取得部２６３に出力する。

【0081】

被写体基準取得部２６３は、撮像制御部２５９から撮像画像が入力され、位置基準取得部２６１から１以上の拡張現実情報が入力される。被写体基準取得部２６３は、位置基準取得部２６１から入力される１以上の拡張現実情報のうちから、撮像制御部２５９から入力される撮像画像と被写体が同一の背景画像を含む拡張現実情報を抽出する。被写体基準取得部２６３は、撮像画像と拡張現実情報のコンテンツの項目に設定された背景画像とのそれぞれから特徴的な形状を抽出し、撮像画像の特徴的な形状と同一または相似の形状が背景画像の特徴的な形状に含まれていれば、その拡張現実情報を、撮像画像と被写体が同一の背景画像を含む拡張現実情報に決定する。被写体基準取得部２６３は、撮像制御部２５９から入力される撮像画像と被写体が同一の背景画像を含む拡張現実情報を表示制御部２５７および相違部分抽出部２７１に出力する。被写体基準取得部２６３は、位置基準取得部２６１から入力される１以上の拡張現実情報のうちに、撮像画像と被写体が同一の背景画像を含む拡張現実情報が存在しない場合は、表示制御部２５７および相違部分抽出部２７１に拡張現実情報を出力しない。

【0082】

例えば、画像を２値化した２値化画像または画像を微分したエッジ画像を生成することにより、画像中に含まれる被写体の輪郭を抽出することができる。抽出された輪郭の形状を特徴的な形状として抽出すればよい。特徴的な形状が同一か否かは、サイズが異なる場合があるので、相似の場合を含む。エッジ画像は、隣接する画素間で濃度の差が所定のしきい値以上の画素の値を「１」とし、所定のしきい値より小さい画素の値を「０」とした画像である。例えば、背景画像および撮像画像に被写体としてホワイトボードを含む場合には、それぞれの画像は、ホワイトボードの輪郭を特徴的な形状として含む。

【0083】

なお、位置検出部２０９が現在位置を測定できない場合、位置取得部２５３は位置情報を取得することができない。この場合には、位置基準取得部２６１は、サーバー５００からそれに記憶されている拡張現実情報の全てを受信し、被写体基準取得部２６３に出力する。また、被写体基準取得部２６３が撮像制御部２５９から入力される撮像画像を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信し、サーバー５００が、拡張現実情報送信要求に含まれる撮像画像と被写体が同一の拡張現実情報を抽出し、返信するようにしてもよい。この場合には、被写体基準取得部２６３は、サーバー５００から返信される拡張現実情報を受信し、表示制御部２５７に出力する。

【0084】

表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、撮像画像を表示部２０６に表示する。表示制御部２５７は、拡張現実情報取得部２５５から拡張現実情報が入力される場合、拡張現実情報に含まれる関連情報の項目に設定された関連情報を表示部２０６に表示する。

【0085】

表示制御部２５７は、現実表示領域決定部２５８を含む。現実表示領域決定部２５８は、拡張現実情報の領域情報の項目に設定された領域情報に基づいて、拡張現実情報のコンテンツの項目に設定された背景画像中の被写体に対する相対位置を特定し、撮像画像中の被写体を基準にして、特定された相対位置に存在する領域を現実表示領域に決定する。また、現実表示領域決定部２５８は、撮像画像中で関連情報を表示するための現実表示領域を後述する更新制御部２７７に出力する。

【0086】

表示制御部２５７は、撮像画像中で決定された現実表示領域に拡張現実情報の関連情報の項目に設定された関連情報を表示する。具体的には、表示制御部２５７は、撮像画像中で、現実表示領域に、関連情報の画像を合成した合成画像を生成し、生成された合成画像を表示部２０６に表示する。

【0087】

なお、現実表示領域決定部２５８は、拡張現実情報に含まれるコンテンツの項目に設定された背景画像中で、領域情報の項目に設定された領域情報で特定される領域を特定し、撮像画像中で、背景画像中で特定された領域と類似する領域を、関連情報を表示するための領域に決定するようにしてもよい。

【0088】

ここで、ユーザーが会議室Ａにおいて携帯情報装置２００のカメラ２０２で、ホワイトボードを被写体にして撮像する場合、会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された背景画像がコンテンツの項目に設定され、会議の資料である画像が関連情報に設定され、背景画像中のホワイトボードの描画面の全体を含む表示領域が領域情報の項目に設定された拡張現実情報がサーバー５００から受信される場合を例に説明する。この場合、撮像画像中のホワイトボードの描画面に関連情報である会議の資料の画像を合成した合成画像を表示部２０６に表示する。実際には、ホワイトボードの描画面には文字などが記載されていなくても、また、画像が投影されていなくても、携帯情報装置２００の表示部２０６には、撮像画像中のホワイトボードの描画面の領域に会議の資料の画像を合成した合成画像が表示される。

【0089】

相違部分抽出部２７１は、撮像制御部２５１から撮像画像が入力され、拡張現実情報取得部２５５から拡張現実情報が入力される。相違部分抽出部２７１は、拡張現実情報に含まれる背景画像と撮像画像とが部分的に相違するか否かを判断する。相違部分抽出部２７１は、背景画像と撮像画像とが部分的に相違すると判断する場合、処理実行部２７３に撮像画像と拡張現実情報とを含む更新指示を出力する。

【0090】

処理実行部２７３は、相違部分抽出部２７１から更新指示が入力される場合、予め定められた処理を実行する。処理実行部２７３は、通知部２７５と、更新制御部２７７と、を含む。通知部２７５は、相違部分抽出部２７１から更新指示が入力されることに応じて、ユーザーに、拡張現実情報を更新する必要があることを通知する。例えば、「この画像で拡張現実情報を更新しますか？」のメッセージを表示部２０６に表示されている画像に重畳して表示する。通知部２７５は、ユーザーが操作部２０７に拡張現実情報を更新する指示を入力すれば、撮像画像と拡張現実情報とを含む更新指示を更新制御部２７７に出力する。

【0091】

更新制御部２７７は、通知部２７５から撮像画像と拡張現実情報とを含む更新指示が入力され、表示制御部２５７から撮像画像中で関連情報を表示する領域が入力される。更新制御部２７７は、拡張現実情報のコンテンツの項目を撮像画像で更新し、拡張現実情報の領域情報の項目を現実表示領域に更新し、更新後の拡張現実情報を含む拡張現実情報更新要求を無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。

【0092】

図９は、相違部分抽出部２７１の詳細な機能の一例を示すブロック図である。図９を参照して、相違部分抽出部２７１は、分割部２８１と、比較部２８３と、相違部分決定部２８５と、を含む。

【0093】

分割部２８１は、撮像制御部２５９から入力される撮像画像を複数の部分画像に分割する。分割数は限定するものではないが、例えば、縦および横それぞれで複数に等分するのが好ましい。

【0094】

比較部２８３は、複数の部分画像ごとに、拡張現実情報のコンテンツの項目に設定された背景画像の少なくとも一部と比較する。比較部２８３は、部分画像と背景画像の少なくとも一部を、パターンマッチングすることにより、比較する。比較部２８３は、部分画像が背景画像の少なくとも一部と類似または同一であれば、その部分画像を類似部分に決定し、類似部分を識別するための部分画像番号を相違部分決定部２８５に出力し、背景画像が部分画像と同一または類似の部分を含まなければ、非類似部分に決定し、非類似部分の部分画像番号を相違部分決定部２８５に出力する。

【0095】

相違部分決定部２８５は、複数の部分画像のうちに類似部分に囲まれる非類似部分が存在する場合に、非類似部分を相違部分に決定する。相違部分決定部２８５は、相違部分を決定する場合、通知部２７５に通知指示を出力する。

【0096】

図１０は、背景画像の一例を示す図である。図１０に示す背景画像は、サーバー５００に登録された拡張現実情報のコンテンツの項目に設定された背景画像を示し、会議室Ａにおいて、ホワイトボードを被写体として撮像した背景画像である。図１０を参照して、背景画像６００は、ホワイトボード６０１、時計６０３、ＭＦＰ６０５を被写体として含む。ホワイトボード６０１は、描画面６０１を含む。

【0097】

図１１は、撮像画像の一例を示す図である。図１１に示す撮像画像は、会議室Ａにおいて携帯情報装置２００でホワイトボード６０１を被写体として撮像して得られる画像である。図１１を参照して、撮像画像７００は、ホワイトボード６０１、時計６０３、ＭＦＰ６０５およびポスター６０７を被写体として含む。ホワイトボード６０１は、描画面６０１を含む。

【0098】

図１１に示す撮像画像は、会議室Ａにおいて撮像して得られる画像であり、撮像した位置が、会議室Ａである。また、撮像画像７００は、被写体としてホワイトボード６０１を含む。

【0099】

図１２は、合成画像の一例を示す図である。図１２に示す合成画像は、携帯情報装置２００において、図１１に示す撮像画像が取得され、図１０に示す背景画像を含む拡張現実情報がサーバー５００から取得された場合に生成され、表示部２０６に表示される合成画像を示す。図１２を参照して、図１１に示した撮像画像中のホワイトボード６０１の描画面６０１Ａの領域に関連情報６１０を含む。

【0100】

このように、携帯情報装置２００を携帯するユーザーが、会議室Ａにおいてホワイトボード６０１を被写体として撮像すると、図１０に示した背景画像６００を含む拡張現実情報をサーバー５００から取得し、図１２に示す合成画像を携帯情報装置２００の表示部２０６に表示する。このため、実際には、ホワイトボード６０１の描画面６０１Ａに何も描画されていなくても、予め準備した拡張現実情報の関連情報の項目に設定された関連情報の画像を描画面６０１Ａに合成した合成画像が、携帯情報装置２００の表示部２０６に表示させることができる。

【0101】

また、背景画像７００は、被写体としてポスター６０７を含むが、撮像画像６００は、それを含まない。このため、サーバー５００から取得された拡張現実情報のコンテンツの項目に設定された背景画像が、図１１に示した撮像画像７００で更新され、領域情報の項目に設定された表示領域が、撮像画像７００における描画面６０１Ａの領域を示す領域情報で更新され、更新された拡張現実情報がサーバー５００に登録される。したがって、サーバー５００に登録された拡張現実情報において、コンテンツの項目に設定された背景画像を撮像した時点と、その場所の状態が変化した場合であっても、背景画像が、状態が変化した後に撮像された撮像画像で更新されるので、サーバー５００に登録された拡張現実情報を、最新の状態に維持することができる。

【0102】

サーバー５００に拡張現実情報を登録する方法には、種々の方法があるが、ここでは、携帯情報装置２００が拡張現実情報の一部である基本情報をサーバー５００に登録し、ＭＦＰ１００がその基本情報を用いて拡張現実情報をサーバー５００に登録する場合を例に説明する。なお、この場合、携帯情報装置２００は、基本情報をサーバー５００に登録する基本情報登録装置として機能し、ＭＦＰ１００は、拡張現実情報をサーバー５００に登録する拡張現実情報登録装置として機能する。

【0103】

図１３は、基本情報のフォーマットの一例を示す図である。図１３を参照して、基本情報は、拡張現実情報の一部である位置情報の項目と、コンテンツの項目と、を含む。

【0104】

図１４は、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１の機能の一例を示すブロック図である。図１４に示す機能は、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された基本情報登録プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。なお、図８に示した機能と同じ機能には同じ符号を付し、重複する説明は繰り返さない。

【0105】

図１４を参照して、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１は、位置取得部２５３と、撮像制御部２５１、基本情報登録部２８７と、を含む。撮像制御部２５１は、カメラ２０２が被写体を撮像して出力する撮像画像を取得し、取得された撮像画像を、基本情報登録部２８７に出力する。位置取得部２５３は、カメラ２０２が被写体を撮像した時点に位置検出部２０９が出力する現在位置を示す位置情報を取得し、取得された位置情報を基本情報登録部２８７に出力する。

【0106】

基本情報登録部２８７は、位置取得部２５３から入力される位置情報を位置情報の項目に設定し。撮像制御部２５９から入力される撮像画像をコンテンツの項目に設定することにより基本情報を生成し、生成された基本情報を含む基本情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。

【0107】

例えば、ユーザーが携帯情報装置２００を携帯し、会議室Ａで、会議室Ａに存在するホワイトボードを被写体として撮像すれば、会議室Ａの位置情報とを含む基本情報と、そのホワイトボードを被写体とした撮像画像と、がサーバー５００に登録される。

【0108】

図１５は、拡張現実情報登録装置として機能するＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図１５に示す機能は、拡張現実情報登録装置として機能するＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された拡張現実情報登録プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図１５を参照して、ＣＰＵ１１１は、生成側コンテンツ取得部５１と、領域決定部５３と、関連情報取得部５５と、拡張現実情報生成部５７と、登録部５９と、を含む。

【0109】

生成側コンテンツ取得部５１は、位置受付部６１と、基本情報取得部６３と、を含む。
位置受付部６１は、ユーザーにより指示される地理的な位置を受け付ける。位置受付部６１は、表示部１６１に二次元の地図を表示し、表示された地図でユーザーにより指示された位置を、受け付ける。例えば、表示された地図で、会議室Ａの場所が指示されると、会議室Ａの地理的な位置を受け付ける。位置受付部６１は、受け付けられた地理的な位置を示す位置情報を基本情報取得部６３に出力する。会議室Ａの地理的な位置を示す位置情報は、会議室Ａの緯度と経度とで示される。

【0110】

基本情報取得部６３は、位置受付部６１から位置情報が入力されることに応じて、サーバー５００から基本情報を取得し、取得された基本情報を領域決定部５３および拡張現実情報生成部５７に出力する。基本情報取得部６３は、位置受付部６１から入力される位置情報を含む基本情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。基本情報送信要求を受信するサーバー５００の詳細は後述するが、登録されている基本情報のうち、基本情報送信要求に含まれる位置情報で特定される位置から所定の範囲内の位置を示す位置情報を含む基本情報を返信する。基本情報取得部６３は、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から受信する基本情報を取得する。例えば、ユーザーが会議室Ａの場を指示する場合、会議室Ａの地理的な位置を示す位置情報を含み、ホワイトボードを被写体として撮像された背景画像を含む基本情報を取得する。

【0111】

領域決定部５３は、生成側コンテンツ表示部６５と、表示領域受付部６７と、プレビュー部６９と、を含む。生成側コンテンツ表示部６５は、基本情報取得部６３から基本情報が入力されることに応じて、基本情報のコンテンツの項目に設定された背景画像を表示部１６１に表示する。ここでは、ユーザーが地図中で会議室Ａの場所を指示し、ホワイトボードを被写体として撮像された背景画像が表示部１６１に表示される場合を例に説明する。生成側コンテンツ表示部６５は、背景画像を表示領域受付部６７およびプレビュー部６９に出力する。

【0112】

表示領域受付部６７は、ユーザーにより指示される表示領域を受け付ける。表示領域は、背景画像中の領域である。表示領域受付部６７は、ユーザーが操作部１６３を操作して、表示部１６１に表示された背景画像中の一部を指示すれば、ユーザーにより指示された領域を、表示領域として受け付ける。表示領域は、例えば、点であってもよいし、任意の形状で囲まれた領域であってもよい。ここでは、表示領域を矩形の領域としている。表示領域は、後述する関連情報を表示するための領域である。関連情報は、背景画像中に含まれる被写体に関連する情報である。このため、表示領域は、背景画像中に含まれる被写体を含む領域、または、背景画像中に含まれる被写体から所定の範囲内にある領域である。このため、ユーザーが背景画像内の被写体の一部を指示すれば、被写体を含む矩形の領域を表示領域として受け付けるようにしてもよい。表示領域受付部６７は、受け付けられた表示領域を、プレビュー部６９および拡張現実情報生成部５７に出力する。表示領域は、例えば、背景画像中の矩形の領域とする場合、矩形の領域の２つの対角の頂点の座標とすればよい。

【0113】

プレビュー部６９は、生成側コンテンツ表示部６５から背景画像が入力され、表示領域受付部６７から表示領域が入力され、次に説明する関連情報取得部５５から関連情報が入力される。プレビュー部６９は、背景画像の表示領域に、関連情報の画像を合成した合成画像を生成し、生成された合成画像を表示部１６１に表示する。ユーザーは、背景画像に重畳して表示される関連情報を見ることで、背景画像中で関連情報が表示される位置を確認することができる。関連情報が表示される位置を、変更する場合には、操作部１６３を操作して、表示領域を変更する指示を入力すればよい。これにより、表示領域受付部６７によって、変更後の表示領域が受け付けられる。

【0114】

関連情報取得部５５は、関連情報を取得し、取得された関連情報をプレビュー部６９および拡張現実情報生成部５７に出力する。関連情報は、ユーザーにより定められた情報であり、文字、記号、図形または写真、またはそれらの組み合わせである。

【0115】

関連情報取得部５５は、入力受付部７１と、原稿読取制御部７３と、データ取得部７５と、を含む。入力受付部７１は、ユーザーが操作部１６３に入力する文字または記号を関連情報として受け付ける。原稿読取制御部７３は、原稿読取部１３０が原稿を読み取って出力する画像を関連情報として受け付ける。データ取得部７５は、ＨＤＤ１１５に記憶されたデータのうちユーザーにより指定されたデータを関連情報として受け付ける。ＨＤＤ１１５に記憶されるデータは、別のコンピューターで作成された文書または図形等のデータ、デジタルカメラで撮像して得られる写真等のデータ、インターネットに接続されたサーバーからダウンロードされたデータを含む。ここでは、ユーザーが、会議で使用するために発表用のデータの画像が形成された用紙を原稿とし、原稿読取部１３０に読み取らせ、原稿読取部１３０が出力する画像を関連情報とする場合を例に説明する。

【0116】

拡張現実情報生成部５７は、基本情報取得部６３から基本情報が入力され、表示領域受付部６７から表示領域が入力され、関連情報取得部５５から関連情報が入力される。拡張現実情報生成部５７は、基本情報に含まれる位置情報を位置情報の項目に設定し、基本情報に含まれる背景画像をコンテンツの項目に設定し、関連情報取得部５５から入力される関連情報を関連情報の項目に設定し、表示領域受付部６７から入力される領域情報を領域情報の項目に設定した拡張現実情報を生成する。拡張現実情報生成部５７は、生成された拡張現実情報を含む拡張現実情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。

【0117】

図１６は、サーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。図１６に示す機能は、サーバー５００が備えるＣＰＵ５０１が、ＲＯＭ５０２またはＨＤＤ５０４に記憶された拡張現実情報管理プログラムを実行することにより、ＣＰＵ５０１に形成される機能である。図１６を参照して、ＣＰＵ５０１は、基本情報登録要求受信部５５１と、基本情報登録部５５３と、基本情報送信要求受信部５５５と、基本情報抽出部５５７と、基本情報送信部５５９と、拡張現実情報登録要求受信部５６１と、拡張現実情報登録部５６３と、拡張現実情報送信要求受信部５６５と、拡張現実情報抽出部５６７と、拡張現実情報送信部５６９と、拡張現実情報更新要求受信部５７１と、拡張現実情報更新部５７３と、
を含む。

【0118】

基本情報登録要求受信部５５１は、通信部５０５が基本情報登録装置として機能する携帯情報装置２００が送信する基本情報登録要求を受信することに応じて、基本情報登録要求に含まれる基本情報を基本情報登録部５５３に出力する。基本情報登録部５５３は、基本情報をＨＤＤ５０４に記憶することにより基本情報を登録する。

【0119】

基本情報送信要求受信部５５５は、通信部５０５が拡張現実情報登録装置として機能するＭＦＰ１００が送信する基本情報送信要求を受信することに応じて、基本情報送信要求に含まれる位置情報を基本情報抽出部５５７に出力する。基本情報抽出部５５７は、位置情報が入力されることに応じて、ＨＤＤ５０４に記憶されている基本情報のうちから、基本情報送信要求に含まれる位置情報から所定の範囲内の位置を示す位置情報を含む基本情報を抽出する。基本情報抽出部５５７は、抽出された基本情報を基本情報送信部５５９に出力する。基本情報送信部５５９は、基本情報抽出部５５７によって抽出された基本情報を、基本情報送信要求を送信してきたＭＦＰ１００に、通信部５０５を介して送信する。

【0120】

拡張現実情報登録要求受信部５６１は、通信部５０５が拡張現実情報登録装置として機能するＭＦＰ１００が送信する拡張現実情報登録要求を受信することに応じて、拡張現実情報登録要求に含まれる拡張現実情報を拡張現実情報登録部５６３に出力する。拡張現実情報登録部５６３は、拡張現実情報をＨＤＤ５０４に記憶することにより拡張現実情報を登録する。

【0121】

拡張現実情報送信要求受信部５６５は、通信部５０５が拡張現実表示装置として機能する携帯情報装置２００が送信する拡張現実情報送信要求を受信することに応じて、拡張現実情報送信要求に含まれる位置情報を拡張現実情報抽出部５６７に出力する。拡張現実情報抽出部５６７は、位置情報が入力されることに応じて、ＨＤＤ５０４に記憶されている拡張現実情報のうちから、拡張現実情報送信要求に含まれる位置情報から所定の範囲内の位置を示す位置情報を含む拡張現実情報を抽出する。拡張現実情報抽出部５６７は、抽出された拡張現実情報を拡張現実情報送信部５６９に出力する。拡張現実情報送信部５６９は、拡張現実情報抽出部５６７によって抽出された拡張現実情報を、拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信する。

【0122】

拡張現実情報更新要求受信部５７１は、通信部５０５が拡張現実表示装置として機能する携帯情報装置２００が送信する拡張現実情報更新要求を受信することに応じて、ＨＤＤ５０４に記憶されている拡張現実情報のうち拡張現実情報更新要求に含まれる拡張現現実情報と位置情報および関連情報が同じ拡張現実情報を、拡張現実情報更新要求に含まれる拡張現現実情報で更新する。具体的には、ＨＤＤ５０４に記憶されている拡張現実情報のうち拡張現実情報更新要求に含まれる拡張現現実情報と位置情報および関連情報が同じ拡張現実情報を、拡張現実情報更新要求に含まれる拡張現現実情報で更新する。

【0123】

図１７は、基本情報登録処理の流れの一例を示すフローチャートである。基本情報登録処理は、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された基本情報登録プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図１７を参照して、ＣＰＵ２０１は、カメラ２０２を制御して被写体を撮像する（ステップＳ０１）。ユーザーが操作部２０７の備えるシャッターキーを指示すれば、ＣＰＵ２０１はカメラ２０２に被写体を撮像させる。次のステップＳ０２においては、カメラ２０２が出力する撮像画像を取得し、処理をステップＳ０３に進める。ステップＳ０３においては、カメラ２０２が被写体を撮像した時点に位置検出部２０９が出力する現在位置を示す位置情報を取得する。

【0124】

そして、基本情報を生成する（ステップＳ０４）。ステップＳ０２において取得された撮像画像を基本情報のコンテンツの項目に設定し、ステップＳ０３において取得された位置情報を位置情報の項目に設定することにより、基本情報を生成する。

【0125】

次のステップＳ０５においては、生成された基本情報をサーバー５００に登録する。具体的には、基本情報を含む基本情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。

【0126】

例えば、ユーザーが携帯情報装置２００を携帯し、会議室Ａで、会議室Ａに存在するホワイトボードを被写体として撮像すれば、そのホワイトボードを被写体とした撮像画像と、会議室Ａの位置情報とを含む基本情報がサーバー５００に登録される。

【0127】

図１８は、拡張現実情報登録処理の流れの一例を示すフローチャートである。拡張現実情報登録処理は、拡張現実情報登録装置として機能するＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された拡張現実情報登録プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１８を参照して、ＣＰＵ１１１は、表示部１６１に二次元の地図を表示する（ステップＳ１１）。インターネットに接続されたコンピューターからダウンロードした地図を表示する。また、ＨＤＤ１１５に予め地図を記憶している場合には、その地図を表示するようにしてもよい。

【0128】

次のステップＳ１２においては、位置の指定を受け付ける。位置を受け付けるまで待機状態となり（ステップＳ１２でＮＯ）、位置を受け付けると（ステップＳ１２でＹＥＳ）、処理をステップＳ１３に進める。地図中でユーザーが操作部１６３を用いて指示する位置を、受け付ける。

【0129】

ステップＳ１３においては、受け付けられた位置を示す位置情報を取得し、処理をステップＳ１４に進める。ここでは、表示された地図中で、会議室Ａの場所が指示される場合を例に説明する。この場合、会議室Ａの地理的な位置を示す位置情報として、会議室Ａの緯度と経度とを取得する。

【0130】

ステップＳ１４においては、ステップＳ１３において取得された位置情報に対応する基本情報を取得する。具体的には、位置情報を含む基本情報送信要求を、通信Ｉ／Ｆ部１１２を介してサーバー５００に送信する。基本情報送信要求を受信するサーバー５００においては、サーバー５００に登録されている基本情報のうち、基本情報送信要求に含まれる位置情報で特定される位置から所定の範囲内の位置を示す位置情報を含む基本情報を返信する。次のステップＳ１５においては、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から受信する基本情報を取得する。例えば、基本情報登録装置として機能する携帯情報装置２００によってサーバー５００に登録された基本情報であって、会議室Ａの地理的な位置を示す位置情報を含み、ホワイトボードを被写体として撮像された背景画像を含む基本情報を取得する。

【0131】

ステップＳ１６においては、基本情報のコンテンツの項目に設定された背景画像を表示部１６１に表示する。これにより、ホワイトボードを被写体として撮像された背景画像が表示部１６１に表示される。そして、ユーザーにより指示される表示領域を受け付ける（ステップＳ１７）。表示領域は、背景画像中の領域である。ユーザーが操作部１６３を操作して、表示部１６１に表示された背景画像中の一部を指示すれば、ユーザーにより指示された領域を、表示領域として受け付ける。表示領域は、点であってもよいし、任意の形状で囲まれた領域であってもよい。ここでは、表示領域を矩形の領域としている。ユーザーが背景画像内の被写体の一部を指示すれば、被写体を含む矩形の領域を表示領域として受け付けるようにしてもよい。

【0132】

ステップＳ１８においては、原稿読取指示を受け付けたか否かを判断する。操作部１６３が、ユーザーにより入力される原稿読取指示を検出すると、原稿読取指示を受け付ける。原稿読取指示を受け付けたならば処理をステップＳ１９に進めるが、そうでなければ処理をステップＳ２１に進める。ステップＳ１９においては、原稿読取部１３０に原稿を読み取らせる。そして、原稿を読み取って得られる画像を関連情報に設定し（ステップＳ２０、処理をステップＳ２５に進める。

【0133】

ステップＳ２１においては、文字が入力されたか否かを判断する。操作部１６３が、ユーザーにより入力される文字を検出すると、文字が入力されたと判断する。文字が入力されたならば処理をステップＳ２２に進めるが、そうでなければ処理をステップＳ２３に進める。ステップＳ２２においては、操作部１６３が検出する文字列を関連情報に設定し、処理をステップＳ２５に進める。

【0134】

ステップＳ２３においては、データの指定を受け付けたか否かを判断する。操作部１６３が、ユーザーにより入力されるデータを指定する操作を検出すると、データの指定を受け付ける。データの指定を受け付けたならば処理をステップＳ２４に進めるが、そうでなければ処理をステップＳ１９に戻す。ステップＳ２４においては、ＨＤＤ１１５に記憶されたデータのうちユーザーにより指定されたデータを関連情報偽ってし、処理をステップＳ２５に進める。ＨＤＤ１１５に記憶されるデータは、別のコンピューターで作成された文書または図形等のデータ、デジタルカメラで撮像して得られる写真等のデータ、インターネットに接続されたサーバーからダウンロードされたデータを含む。ここでは、ユーザーが、会議で使用するために発表用のデータの画像が形成された用紙を原稿とし、原稿読取部１３０に読み取らせ、原稿読取部１３０が出力する画像を関連情報とする場合を例に説明する。

【0135】

ステップＳ２５においては、関連情報をプレビュー表示する。具体的には、ステップＳ１６において表示部１６１に表示された背景画像中のステップＳ１７において受け付けられた表示領域に、ステップＳ２０、ステップＳ２２およびステップＳ２４のいずれかで設定された関連情報の画像を表示する。ステップＳ２６においては、ユーザーによる許可を受け付けたか否かを判断する。許可を受け付けたならば（ステップＳ２６でＹＥＳ）、処理をステップＳ２８に進めるが、そうでなければ（ステップＳ２６でＮＯ）、処理をステップＳ２７に進める。ステップＳ２７においては、表示領域の修正を受け付け、処理をステップＳ２５に戻す。処理がステップＳ２７からステップＳ２５に進む場合、ステップＳ２５においては、ステップＳ２７において修正された後の表示領域に、関連情報の画像を表示する。

【0136】

ステップＳ２８においては、拡張現実情報を生成し、処理をステップＳ２９に進める。ステップＳ１４において取得された基本情報に含まれる位置情報および背景画像それぞれを位置情報の項目およびコンテンツの項目に設定し、ステップＳ２０、ステップＳ２２およびステップＳ２４のずれかで設定された関連情報を関連情報の項目に設定し、ステップＳ１７において受け付けられた表示領域を領域情報の項目に設定することによって、拡張現実情報を生成する。

【0137】

次のステップＳ２９においては、生成された拡張現実情報をサーバー５００に登録し、処理を終了する。具体的には、拡張現実情報を含む拡張現実情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。

【0138】

図１９は、拡張現実情報管理処理の流れの一例を示すフローチャートである。拡張現実情報管理処理は、サーバー５００が備えるＣＰＵ５０１が、ＲＯＭ５０２またはＨＤＤ５０４に記憶された拡張現実情報管理プログラムを実行することにより、ＣＰＵ５０１により実行される処理である。図１９を参照して、ＣＰＵ５０１は、基本情報登録要求を受信したか否かを判断する（ステップＳ７１）。通信部５０５が基本情報登録装置として機能する携帯情報装置２００から基本情報登録要求を受信したならば処理をステップＳ７２に進めるが、そうでなければ処理をステップＳ７３に進める。ステップＳ７２においては、受信された基本情報登録要求に含まれる基本情報をＨＤＤ５０４に記憶することにより基本情報を登録し、処理をステップＳ７３に進める。

【0139】

ステップＳ７３においては、基本情報送信要求を受信したか否かを判断する。通信部５０５が拡張現実情報生成装置として機能するＭＦＰ１００から基本情報送信要求を受信したならば処理をステップＳ７４に進めるが、そうでなければ処理をステップＳ７７に進める。ステップＳ７４においては、受信された基本情報送信要求に含まれる位置情報を取得する。そして、ＨＤＤ５０４に記憶されている基本情報のうちから、取得された位置情報で定まる位置から所定の範囲内の位置を示す位置情報を含む基本情報を抽出する（ステップＳ７５）。ステップＳ７６においては、抽出された基本情報を基本情報送信要求を送信してきたＭＦＰ１００に、通信部５０５を介して送信し、処理をステップＳ７７に進める。

【0140】

ステップＳ７７においては、拡張現実情報登録要求を受信したか否かを判断する。通信部５０５が拡張現実情報生成装置として機能するＭＦＰ１００から拡張現実情報登録要求を受信したならば処理をステップＳ７８に進めるが、そうでなければ処理をステップＳ７９に進める。ステップＳ７８においては、受信された拡張現実情報登録要求に含まれる拡張現実情報をＨＤＤ５０４に記憶することにより拡張現実情報を登録し、処理をステップＳ７９に進める。

【0141】

ステップＳ７９においては、拡張現実情報送信要求を受信したか否かを判断する。通信部５０５が拡張現実表示装置として機能する携帯情報装置２００から拡張現実情報送信要求を受信したならば処理をステップＳ８０に進めるが、そうでなければ処理をステップＳ８３に進める。

【0142】

ステップＳ８０においては、受信された拡張現実情報送信要求に含まれる拡張現実情報の位置情報の項目に設定された位置情報を取得する。そして、ＨＤＤ５０４に記憶されている拡張現実情報のうちから、取得された位置情報で定まる位置から所定の範囲内の位置を示す位置情報を含む拡張現実情報を抽出する（ステップＳ８１）。

【0143】

次のステップＳ８２においては、抽出された拡張現実情報を拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信し、処理をステップＳ８３に進める。

【0144】

ステップＳ８３においては、拡張現実情報更新要求を受信したか否かを判断する。通信部５０５が拡張現実表示装置として機能する携帯情報装置２００から拡張現実情報更新要求を受信したならば処理をステップＳ８４に進めるが、そうでなければ処理を終了する。ステップＳ８４においては、拡張現実情報更新要求で特定される拡張現実情報を更新し、処理を終了する。具体的には、ＨＤＤ５０４に記憶されている拡張現実情報のうち拡張現実情報更新要求に含まれる拡張現現実情報と位置情報および関連情報が同じ拡張現実情報を、拡張現実情報更新要求に含まれる拡張現現実情報で更新する。

【0145】

図２０は、拡張現実表示処理の流れの一例を示すフローチャートである。拡張現実表示処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図２０を参照して、ＣＰＵ２０１は、カメラ２０２を制御して被写体を撮像する（ステップＳ３１）。ユーザーが操作部２０７の備えるシャッターキーを指示すれば、ＣＰＵ２０１はカメラ２０２に被写体を撮像させる。被写体を撮像するまで待機状態となり（ステップＳ３１でＮＯ）、被写体を撮像したならば（ステップＳ３１でＹＥＳ）、処理をステップＳ３２に進める。ステップＳ３２においては、カメラ２０２が出力する撮像画像を取得し、処理をステップＳ３３に進める。ステップＳ３３においては、撮像方向を取得する。方位検出部２１０を制御して、方位検出部２１０にカメラ２０２の撮像方向を検出させる。次のステップＳ３４においては、位置検出部２０９を制御して、カメラ２０２が被写体を撮像した時点に位置検出部２０９が出力する現在位置を示す位置情報を取得する。

【0146】

そして、拡張現実情報を取得する（ステップＳ３５）。ステップＳ３４において取得された位置情報を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信し、サーバー５００が返信する拡張現実情報を取得する。

【0147】

なお、拡張現実情報送信要求に、現在位置を示す位置情報に加えてカメラ２０２の撮像方向を含めるようにし、サーバー５００において、現在位置および取得された方位で定まる範囲内の位置を示す位置情報が定められた拡張現実情報を抽出するようにしてもよい。カメラ２０２の撮像方向は、方位検出部２１０を制御し、方位検出部２１０にカメラ２０２の撮像方向を検出させ、方位検出部２１０がカメラ２０２が撮像した時点で出力する方位を取得する。また、ステップＳ３５において複数の拡張現実情報を取得する場合、複数の拡張現実情報を取得した後に、携帯情報装置２００のカメラ２０２の撮像方向を変更することによって、ステップＳ３５において取得された複数の拡張現実情報のうちから、現在位置および取得された方位で定まる範囲内の位置を示す位置情報が定められた拡張現実情報を抽出するようにしてもよい。

【0148】

次のステップＳ３６においては、ステップＳ３１において撮像され、ステップＳ３２において取得された撮像画像の被写体と、拡張現実情報に含まれる背景画像の被写体とが一致するか否かを判断する。撮像画像と背景画像とのそれぞれから特徴的な形状を抽出し、撮像画像の特徴的な形状と同一または相似の形状が背景画像の特徴的な形状に含まれていれば、撮像画像と拡張現実情報の被写体が同一と判断する。例えば、画像を２値化した２値化画像または画像を微分したエッジ画像を生成することにより、画像中に含まれる被写体の輪郭を抽出することができる。抽出された輪郭の形状を特徴的な形状として抽出すればよい。特徴的な形状が同一か否かは、サイズが異なる場合があるので、相似の場合を含む。

【0149】

ステップＳ３６において、被写体を同一と判断する場合は処理をステップＳ３７に進め、そうでなければ処理をステップＳ４４に進める。ステップＳ４４においては、撮像画像を表示部１６１に表示し、処理をステップＳ４３に進める。

【0150】

ステップＳ３７においては、撮像画像中の現実表示領域を特定する。具体的には、拡張現実情報の領域情報の項目に設定された領域情報に基づいて、拡張現実情報のコンテンツの項目に設定された背景画像中の被写体に対する相対位置を特定し、撮像画像中の被写体を基準にして、特定された相対位置に存在する領域を現実表示領域に決定する。

【0151】

次のステップＳ３８においては、撮像画像に、特定された撮像画像中の現実表示領域に関連情報の画像を合成した合成画像を生成する。次のステップＳ３９においては、表示部１６１に、生成された合成画像を表示し、処理をステップＳ４０に進める。

【0152】

ステップＳ４０においては、相違部分判断処理を実行する。相違部分判断処理の詳細は後述するが、撮像画像と背景画像とで相違する部分が存在するか否かを判断する処理である。次のステップＳ４１においては、相違部分判断処理の結果によって処理を分岐させる。相違部分が存在すると判断された場合には処理をステップＳ４２に進めるが、そうでなければ処理をステップＳ４３に進める。

【0153】

ステップＳ４２においては、拡張現実情報を更新し、処理をステップＳ４３に進める。具体的には、ステップＳ３５において取得された拡張現実情報のコンテンツの項目を、ステップＳ３２において取得された撮像画像で更新し、領域情報の項目をステップＳ３７において特定された現実表示領域で更新し、更新後の拡張現実情報を含む拡張現実情報更新要求を無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。

【0154】

ステップＳ４３においては、拡張現実表示処理を終了する指示を受け付けたか否かを判断する。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ３１に戻す。

【0155】

また、ステップＳ３６において、被写体が同一と判断される拡張現実情報が複数存在する場合は、ステップＳ３７において、複数の拡張現実情報それぞれの関連情報の画像を、合成した合成画像を表示し、ユーザーが複数の関連情報の画像のうちから選択する場合に、選択された１つの関連情報の画像のみを合成した合成画像を表示するようにすればよい。また、ステップＳ４２においては、複数の拡張現実情報それぞれに対する拡張現実情報更新要求を、サーバー５００に送信するようにすればよい。

【0156】

図２１は、相違部分判断処理の流れの一例を示すフローチャートである。相違部分判断処理は、図２０のステップＳ４０で実行される処理である。図２１を参照して、ＣＰＵ２０１は、撮像画像を複数の部分画像に分割する（ステップＳ５１）。分割数は限定するものではないが、縦および横それぞれで複数に等分するのが好ましい。

【0157】

そして、複数の部分画像の１つを処理対象に選択する（ステップＳ５２）。次のステップＳ５３においては、処理対象の部分画像を背景画像の少なくとも一部と比較する。例えば、部分画像と背景画像の少なくとも一部を、パターンマッチングすることにより、比較する。そして、比較の結果によって処理を分岐させる（ステップＳ５４）。背景画像が部分画像と同一または類似する部分を含む場合、処理をステップＳ５５に進めるが、そうでなければ処理をステップＳ５６に進める。ステップＳ５５においては、処理対象の部分画像に「類似」を設定し、処理をステップＳ５７に進め、ステップＳ５６においては、処理対象の部分画像に「非類似」を設定し、処理をステップＳ５７に進める。ステップＳ５７においては、処理対象に選択されていない部分画像が存在するか否かを判断する。未処理の部分画像が存在すれば処理をステップＳ５２に戻すが、そうでなければ処理をステップＳ５８に進める。以下、「類似」に設定された部分画像を類似部分といい、「非類似」に設定された部分画像を非類似部分という。

【0158】

ステップＳ５８においては、相違部分が存在するか否かを判断する。具体的には、複数の部分画像のうちに類似部分に囲まれる非類似部分が存在する場合に、その非類似部分を相違部分と判断する。相違部分が存在すると判断する場合は処理をＳ５９に進め、そうでなければ処理をステップＳ６０に進める。ステップＳ５９においては、相違部分有に決定し、処理を拡張現実表示処理に戻し、ステップＳ６０においては、相違部分無しに決定し、処理を拡張現実表示処理に戻す。

【0159】

＜変形例＞
上述した実施の形態においては、拡張現実表示装置の一例として携帯情報装置２００を例に説明したが、ＨＭＤ４００を拡張現実表示装置として機能させるようにしてもよい。この場合、ＨＭＤ４００が備えるＣＰＵ４０１は、図８に示した携帯情報装置２００が備えるＣＰＵ２０１が有する機能と同様の機能を有するが、表示制御部２５７が異なる。

【0160】

ＨＭＤ４００が備えるＣＰＵ４０１が有する表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、撮像画像を表示部２０６に表示することなく、拡張現実情報取得部２５５から入力される拡張現実情報に基づいて、拡張現実情報に含まれる関連情報の項目に設定された関連情報を表示部４０４に表示する。ＨＭＤ４００を装着するユーザーは、撮像画像と同じ画像を、表示部４０４の表示面を通して実際に見ている。このため、現実表示領域決定部２５８によって撮像画像中で決定された現実表示領域に対応する領域を表示部４０４の表示面中で特定し、表示部４０４の表示面中で特定した領域に関連情報の画像を表示する。

【0161】

ここで、ＨＭＤ４００を装着するユーザーが、会議室Ａにおいてホワイトボードを目視すれば、ホワイトボードがカメラ４０２の被写体となる。この場合、会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された背景画像がコンテンツの項目に設定され、会議の資料である画像が関連情報に設定され、背景画像中のホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００から受信される。そして、表示部４０４に関連情報である会議の資料の画像が表示されると、ユーザーは、表示部４０４の表示面を透過して見るホワイトボードの描画面に、表示部４０４の表示面に表示された会議の資料の画像を見ることになる。

【0162】

また、変形例においては、ＨＭＤ４００が備えるＣＰＵ４０１は、図２０に示した拡張現実表示処理を実行するが、ステップＳ３８、ステップＳ３９およびステップＳ４１が異なる。ＨＭＤ４００が備えるＣＰＵ４０１は、ステップＳ３８において、合成画像を生成することなく、ステップＳ３７において特定された撮像画像中の現実表示領域に対応する表示部４０４の表示面中の領域を特定する。そして、次のステップＳ３９において、特定された表示部４０４の表示面中の領域に、関連情報の画像を表示し、処理をステップＳ４０に進める。また、ステップＳ４４においては、何も表示することなく、処理をステップＳ４０に進める。

【0163】

以上説明したように、本実施の形態における携帯情報装置２００は、拡張現実表示装置として機能し、被写体を撮像して得られる撮像画像（第１の画像）中の被写体と同一の被写体を有する背景画像（第２の画像）を含む拡張現実情報を、サーバー５００から取得し、撮像画像中の被写体に対する相対位置が、背景画像中の被写体と表示領域との相対位置と同じ関係となる現実表示領域を決定し、現実表示領域に関連情報を表示する。このため、拡張現実情報によって撮像画像中の被写体に関連付けられた関連情報を、撮像画像中の被写体に対して定められた相対的な位置に、表示するので、撮像画像中の被写体に関連する情報を、その被写体に対して予め定められた位置に表示することができる。

【0164】

また、背景画像と撮像画像とで異なる相違部分を抽出する場合、拡張現実情報の背景画像を撮像画像で更新するので、ユーザーに通知するので、撮像画像中で被写体とは異なる部分、例えば、背景等が変化した後に、拡張現実情報に含まれる画像を最新の状態に更新することができる。

【0165】

また、背景画像と撮像画像とで異なる相違部分を抽出する場合、ユーザーに通知するので、被写体とは異なる部分、例えば、背景等が変化したことをユーザーに通知することができる。また、拡張現実情報に含まれる画像が最新の状態に更新されることをユーザーに通知することができる。

【0166】

さらに、撮像画像（第１の画像）の一部を、拡張現実情報に含まれる背景画像（第２の画像）の少なくとも一部と比較することによって、背景画像と撮像画像とで異なる相違部分を抽出するので、撮像画像および背景画像それぞれの全体が一致しなくても、被写体が同一か否かを判断することができる。

【0167】

さらに、撮像画像を分割した複数の部分画像それぞれを背景画像の一部と比較し、複数の部分画像のうち背景画像の一部と類似する複数の部分画像に囲まれた部分画像であって、背景画像の一部と類似しない部分画像を相違部分に決定するので、撮像画像と背景画像とが、被写体が同一であるが、全体として異なることを判別することができる。

【0168】

さらに、背景画像中の被写体の地理的な位置が、被写体を撮像する時点における地理的な位置から所定の範囲に存在する拡張現実情報を取得するので、複数の拡張現実情報のうちから処理対象となる拡張現実情報を絞り込むことができ、背景画像中の被写体と同一の被写体を有する背景画像を含む拡張現実情報の取得が容易となる。

【0169】

また、現在位置が取得できない場合であっても、撮像画像中の被写体と、背景画像中の被写体とを比較すれば、複数の拡張現実情報のうちから背景画像中の被写体と同一の被写体を有する背景画像を含む拡張現実情報を抽出することができる。このため、携帯情報装置が、ＧＰＳ衛星からの信号を受信できない場所に位置する場合であっても、拡張現実情報を取得することができる。

【0170】

また、撮像画像に関連情報を重畳した合成画像を生成し、表示するので、撮像画像中で被写体に関連情報を関連付けることができる。

【0171】

また、ＨＭＤ４００が拡張現実表示装置として機能する場合、カメラ４０２で被写体を撮像した撮像画像（第１の画像）に基づいて、表示部４０４の表示面中で現実表示領域が決定され、関連情報を、表示部４０４の表示面中の現実表示領域に表示するので、ユーザーが表示部４０４の表示面を透過して視認する被写体に関連付けて関連情報を表示することができる。

【0172】

さらに、本実施の形態におけるサーバー５００は、拡張現実情報を記憶し、拡張現実表示装置として機能する携帯情報装置２００は、サーバー５００から拡張現実情報を取得する。このため、携帯情報装置２００のユーザーは、そのユーザーとは別のユーザーによりサーバー５００に登録された拡張現実情報に含まれる関連情報を閲覧することができる。

【0173】

また、本実施の形態における拡張現実表示システム１においては、基本情報登録装置として機能する携帯情報装置２００によって基本情報がサーバー５００に登録され、拡張現実情報登録装置として機能するＭＦＰ１００によって基本情報に関連情報と領域情報とを追加した拡張現実情報が登録される。このため、拡張現実表示装置として機能する携帯情報装置２００は、それを使用するユーザー本人または、そのユーザーとは別のユーザーがＭＦＰ１００を操作して登録した関連情報を、表示することができる。したがって、任意のユーザーにより登録された関連情報を被写体と関連付けて表示することができる。

【0174】

ＭＦＰ１００は、原稿読取部１３０が原稿を読み取った画像データを関連情報とした拡張現実情報を登録することができる。

【0175】

さらに、ＭＦＰ１００は、ＨＤＤ１１５に記憶されたデータまたはネットワーク２に接続されたコンピューターに記憶されたデータのうちからユーザーにより指定されたデータを関連情報とした拡張現実情報を登録することができる。

【0176】

なお、上述した実施の形態においては、拡張現実情報表示装置の一例として携帯情報装置２００を例に説明したが、図２０および図２１に示した拡張現実表示処理を携帯情報装置２００に実行させる拡張現実情報表示方法、またはその拡張現実情報表示方法を携帯情報装置２００が備えるＣＰＵ２０１に実行させる拡張現実情報表示プログラムとして、発明を特定することができるのは言うまでもない。

【0177】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0178】

１ 拡張現実表示システム、２ ネットワーク、３ 無線局、１００ ＭＦＰ、２００，２００Ａ，２００Ｂ 携帯情報装置、３００ ＰＣ、４００ ＨＭＤ、５００ サーバー、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＨＤＤ１１５ ファクシミリ部、１１７ 外部記憶装置、１１８ ＣＤ−ＲＯＭ、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１５５ 後処理部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、２０１ ＣＰＵ、２０２ カメラ、２０３ フラッシュメモリー、２０４ 無線通信部、２０５ 通話部、２０６ 表示部、２０７ 操作部、２０８ 無線ＬＡＮＩ／Ｆ、２０９ 位置検出部、２１０ 方位検出部、２１１ 外部記憶装置、４０１ ＣＰＵ、４０２ カメラ、４０３ フラッシュメモリー、４０４ 表示部、４０５ 無線ＬＡＮＩ／Ｆ、５０１ ＣＰＵ、５０２ ＲＯＭ、５０３ ＲＡＭ、５０４ ＨＤＤ、５０５ 通信部、５０６ 表示部、５０７ 操作部、５１ 生成側コンテンツ取得部、５３ 領域決定部、５５ 関連情報取得部、５７ 拡張現実情報生成部、５９ 登録部、６１ 位置受付部、６３ 基本情報取得部、６５ 生成側コンテンツ表示部、６７ 表示領域受付部、６９ プレビュー部、７１ 入力受付部、７３ 原稿読取制御部、７５ データ取得部、２５１ 撮像制御部、２５３ 位置取得部、２５５ 拡張現実情報取得部、２５７ 表示制御部、２５８ 現実表示領域決定部、２５９ 撮像制御部、２６１ 位置基準取得部、２６３ 被写体基準取得部、２７１ 相違部分抽出部、２７３ 処理実行部、２７５ 通知部、２７７ 更新制御部、２８１ 分割部、２８３ 比較部、２８５ 相違部分決定部、２８７ 基本情報登録部、５５１ 基本情報登録要求受信部、５５３ 基本情報登録部、５５５ 基本情報送信要求受信部、５５７ 基本情報抽出部、５５９ 基本情報送信部、５６１ 拡張現実情報登録要求受信部、５６３ 拡張現実情報登録部、５６５ 拡張現実情報送信要求受信部、５６７ 拡張現実情報抽出部、５６９ 拡張現実情報送信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】