特許 6194346 モバイル機器及びモバイル機器と情報を送受信するサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6194346

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】モバイル機器及びモバイル機器と情報を送受信するサーバ

(51)【国際特許分類】

   G06F 17/30 20060101AFI20170828BHJP

   G01C 21/26 20060101ALI20170828BHJP

   G01C 21/28 20060101ALI20170828BHJP

【ＦＩ】

   G06F17/30 310Z

   G01C21/26 P

   G01C21/28

【請求項の数】6

【全頁数】28

(21)【出願番号】特願2015-218759(P2015-218759)

(22)【出願日】2015年11月6日

(62)【分割の表示】特願2012-526643(P2012-526643)の分割

【原出願日】2010年8月24日

(65)【公開番号】特開2016-103268(P2016-103268A)

(43)【公開日】2016年6月2日

【審査請求日】2015年11月18日

(31)【優先権主張番号】10-2009-0078252

(32)【優先日】2009年8月24日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2009-0104431

(32)【優先日】2009年10月30日

(33)【優先権主張国】KR

【前置審査】

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】スン−ドン・ユ

(72)【発明者】

【氏名】ウ−ヨン・チャン

(72)【発明者】

【氏名】セ−ジュン・パク

(72)【発明者】

【氏名】ミン−ジョン・ムン

(72)【発明者】

【氏名】ジュ−ユン・スン

(72)【発明者】

【氏名】へ−ジョン・チョ

(72)【発明者】

【氏名】サン−ウン・ファン

(72)【発明者】

【氏名】ジェ−スン・ヨン

(72)【発明者】

【氏名】ジ−ヨン・クァク

【審査官】 早川 学

(56)【参考文献】

【文献】 特開２００４−８０２３２（ＪＰ，Ａ）

【文献】 国際公開第２００７／１１６５００（ＷＯ，Ａ１）

【文献】 特表２００３−５１８６２５（ＪＰ，Ａ）

【文献】 特開２００８−３１０４４６（ＪＰ，Ａ）

【文献】 特開２００３−２６３１０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０１Ｃ ２１／２６

Ｇ０１Ｃ ２１／２８

(57)【特許請求の範囲】

【請求項1】

モバイル機器と情報を送受信するサーバにおいて、
前記モバイル機器と通信を行う通信部と、
前記情報が保存される保存部と、
前記通信部が、前記モバイル機器から前記モバイル機器の座標情報と前記モバイル機器によって撮影されたイメージとを受信すると、前記受信された座標情報と前記受信されたイメージ内のオブジェクトとに対する情報及び前記オブジェクトに対する前記モバイル機器の相対的な撮影位置に基づいて前記モバイル機器の位置を特定し、前記特定したモバイル機器の位置に対して得られる関連情報を前記保存部を参照して検索し、前記検索された関連情報を前記モバイル機器に伝送するように前記通信部を制御する制御部と
を含むサーバ。

【請求項2】

前記制御部は、前記モバイル機器から前記モバイル機器で撮影された映像に含まれた少なくとも一つの建物への方向情報及び前記モバイル機器で撮影された映像に含まれた少なくとも一つの建物までの距離情報を更に受信し、前記受信された座標情報、方向情報、距離情報及び前記受信されたイメージに基づいて獲得される前記モバイル機器の位置に対して得られる関連情報を前記保存部を参照して検索することを特徴とする請求項１に記載のサーバ。

【請求項3】

前記保存部は、マップ情報を保存し、
前記制御部は、前記受信された座標情報、方向情報及び距離情報を用いて前記少なくとも一つの建物がマップ上においてどの地点に位置しているかに対する情報である建物の位置を算出し、前記算出された位置に存在する建物に対する情報を前記保存されたマップ情報から抽出して前記モバイル機器に伝送することを特徴とする請求項２に記載されたサーバ。

【請求項4】

モバイル機器と情報を送受信するサーバの制御方法において、
前記モバイル機器から前記モバイル機器の座標情報と前記モバイル機器によって撮影されたイメージとを受信するステップと、
前記受信された座標情報と前記受信されたイメージ内のオブジェクトとに対する情報及び前記オブジェクトに対する前記モバイル機器の相対的な撮影位置に基づいて前記モバイル機器の位置を特定し、前記特定したモバイル機器の位置に対して得られる関連情報を予め保存された情報を参照して検索するステップと、
前記検索された関連情報を前記モバイル機器に伝送するステップと
を含む制御方法。

【請求項5】

前記受信するステップは、前記モバイル機器から前記モバイル機器で撮影された映像に含まれた少なくとも一つの建物への方向情報及び前記モバイル機器で撮影された映像に含まれた少なくとも一つの建物までの距離情報を更に受信し、
前記検索するステップは、前記受信された座標情報、方向情報、距離情報及び前記受信されたイメージに基づいて獲得される前記モバイル機器の位置に対して得られる関連情報を予め保存された情報を参照して検索することを特徴とする請求項４に記載の制御方法。

【請求項6】

前記検索するステップは、前記受信された座標情報、方向情報及び距離情報を用いて前記少なくとも一つの建物がマップ上においてどの地点に位置しているかに対する情報である建物の位置を算出するステップと、
前記算出された位置に存在する建物に対する情報を予め保存されたマップ情報から抽出するステップとを含み、
前記伝送するステップは、前記抽出された建物に対する情報を前記モバイル機器に伝送することを特徴とする請求項５に記載された制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイル機器及びモバイル機器と情報を送受信するサーバ及び前記サーバにおける情報提供方法に関し、より詳細には、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供可能なモバイル機器及びモバイル機器と情報を送受信するサーバに関する。

【背景技術】

【0002】

モバイル機器のユーザは位置情報を活用した位置情報サービス（Ｌａｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ：ＬＢＳ）の提供を受けることができる。前記位置情報サービスは、無線測位技術や、有無線移動通信ネットワークや、Ｕセンサネットワーク、プラットフォームなどが同時に適用され、ユビキタスの環境下において多用なアプリケーションを提供することができる。

【0003】

また、旅行に行ったり初めての場所を訪れた場合、人びとは現在位置の周辺の位置や地理に関する情報を調べるためにナビゲーションを使う。しかし、ナビゲーションは、ユーザの目指す目的地の名称を把握している場合、目的地の位置を検索する機能のみを提供している。従って、ナビゲーションユーザは、その場で目の前にある建物が何か、現在の位置場所がどこかについては把握することができない。

【0004】

ユーザは現在位置から見える周辺の建物が何かを知りたいと思う場合がある。このような場合、カメラを用いてユーザの周辺にある建物や場所の情報を提供するための方策への模索が求められている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００２−１０８８７３号公報

【特許文献2】特開平９−１３８１３７号公報

【特許文献3】特開２０００−９７７２２号公報

【特許文献4】特開２００８−２１０３０号公報

【特許文献5】特開２００４−１０２４１６号公報

【特許文献6】特開２００１−９１２５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供し、更にユーザに新しい経験を提供することにある。

【0007】

また、本発明のもう一つの目的は、撮影された映像に含まれている少なくとも一つの建物を抽出し、抽出された建物の位置を算出し、地図情報に基づいて算出された位置に存在する建物の情報を抽出し、抽出された建物の情報を撮影された映像とともに表示するモバイル機器を提供することにある。

【課題を解決するための手段】

【0008】

前記目的を達成するための本発明の一実施形態に係るモバイル機器は、前記モバイル機器の位置情報を獲得する位置情報獲得部と、前記モバイル機器の位置に関する付加情報が入力される付加情報獲得部と、前記位置情報と前記付加情報とに基づいて抽出された関連情報がディスプレイされるように制御する制御部とを含む。

【0009】

そして、サーバと通信を行う通信部と、前記通信部によって送受信される信号を処理する信号処理部と、前記信号処理部によって処理される信号に基づいて映像を表示する映像処理部とを更に含み、前記制御部は、前記位置情報と前記付加情報とを前記サーバに伝送し、前記サーバから前記位置情報と前記付加情報とに基づいて得られる関連情報を受信するように前記通信部を制御し、受信した前記関連情報を処理して出力するように前記信号処理部を制御することができる。

【0010】

また、前記関連情報は、前記モバイル機器の詳細位置情報を含むことができる。
そして、前記付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含んでよい。

【0011】

また、前記付加情報獲得部は、カメラと、録音機と、地磁気センサと、加速度センサと、角速度センサ及びジャイロセンサのうち、少なくとも一つを含むことができる。
そして、前記付加情報は、前記地磁気センサによって検知された前記モバイル機器の垂直軸上における位置であってよい。

【0012】

また、前記制御部は、前記関連情報を、映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力するように前記信号処理部を制御することができる。
そして、前記制御部は、前記関連情報を周辺装置に伝送するように前記通信部を制御してよい。

【0013】

また、前記位置情報獲得部は、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）を用いて前記位置情報を獲得することができる。
そして、前記付加情報獲得部は、映像を撮影する撮像素子と、前記撮影された映像に含まれている少なくとも一つの建物を抽出する映像処理部とを含み、前記制御部は、前記位置情報を用いて抽出された建物の位置を算出し、地図情報に基づいて前記算出された位置に存在する建物の情報を抽出し、前記建物の情報が前記撮影された映像とともに表示されるように制御することができる。

【0014】

また、前記位置情報獲得部は、現在位置の座標情報を検出する位置検出部と、前記建物の方向情報を検出する方向検出部と、前記建物の距離情報を検出する距離検出部とを含み、前記制御部は、前記座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出することができる。
そして、前記座標情報は、前記現在位置に対する緯度及び経度情報を含んでよい。

【0015】

また、前記方向情報は、前記建物が前記現在位置でどの方向に位置しているかを示す情報であってよい。
そして、前記距離情報は、前記建物が前記現在位置からどのくらいの距離に位置しているかを示す情報であってもよい。

【0016】

また、前記制御部は、前記地図情報が内部保存媒体に保存されている場合、前記地図情報に基づいて前記算出された位置に存在する建物の情報を抽出することができる。
そして、外部サーバと通信できるように接続される通信部を更に含み、前記制御部は、前記地図情報が内部保存媒体に保存されていない場合、前記座標情報と、方向情報及び距離情報が前記外部サーバに伝送され、前記建物に関する情報が前記外部サーバから受信されるように前記通信部を制御することができる。

【0017】

また、前記制御部は、建物の種類に対する特定カテゴリをユーザの操作で選択し、前記特定カテゴリに対応する建物に関する情報が別の建物に関する情報と区別できるように表示されるように制御してよい。
そして、前記制御部は、建物の種類に対する特定カテゴリをユーザの操作で選択し、前記特定カテゴリに対応する建物に関する情報が別の建物に関する情報と区別できるように表示されるように制御してよい。

【0018】

また、前記制御部は、前記撮影された映像が前記建物の情報が表示された状態で保存されるように制御することもできる。
一方、本発明の一実施形態に係るモバイル機器と情報を送受信するサーバは、前記モバイル機器と通信を行う通信部と、前記情報が保存されている保存部と、前記通信部が、前記モバイル機器から前記モバイル機器の位置情報と前記モバイル機器の位置に関する付加情報とを受信すると、前記位置情報と前記付加情報とに基づいて得られる関連情報を前記保存部を参照して検索し、検索された前記関連情報を前記モバイル機器に伝送するように前記通信部を制御する制御部とを含む。
そして、前記関連情報は、前記モバイル機器の詳細位置情報を含んでよい。

【0019】

また、前記付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含むことができる。
そして、前記付加情報は、地磁気センサによって検知された前記モバイル機器の垂直軸上における位置であってよい。

【発明の効果】

【0020】

以上説明したように、本発明の多様な実施形態によると、位置情報サービスにパーソナルデバイスを通じて獲得できる地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供してコンテンツ使用効果を向上させることができる。更に、従来に接したことのない新しいＵＩをユーザに提供することにより、新しく面白いＵＸ（Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ）を提供することができる。
また、撮影された映像に含まれている少なくとも一つの建物を抽出し、抽出された建物の位置を算出し、地図情報に基づいて算出された位置に存在する建物の情報を抽出し、抽出された建物の情報を撮影された映像とともに表示する位置情報提供方法及びそれを適用したカメラを提供できるようになり、ユーザはカメラで特定建物を撮影する操作のみで建物の情報を容易に確認できるようになる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係るモバイル機器とサーバとを含むネットワークの構成を示す図である。

【図2】本発明の一実施形態に係るモバイル機器の構成を示すブロック図である。

【図3】本発明の一実施形態に係るモバイル機器の情報を送受信するサーバの構成を示すブロック図である。

【図4】本発明の一実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。

【図5】本発明の別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。

【図6】本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。

【図7】本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。

【図8】本発明の一実施形態に係るモバイル機器における情報獲得過程を示す図である。

【図9】本発明の一実施形態に係るモバイル機器と情報を送受信するサーバにおける情報提供過程を示す図である。

【図10】本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。

【図11】本発明の一実施形態に係るカメラの構成を詳細に示すブロック図である。

【図12】本発明の一実施形態に係る撮影された映像に位置情報を表示する方法について説明するために提供されるフローチャートである。

【図13】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。

【図14】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。

【図15】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。

【図16】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。

【図17】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図18】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図19】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図20】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図21】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図22】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図23】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図24】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。

【図25】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図26】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図27】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図28】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図29】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図30】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図31】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図32】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【図33】本発明の一実施形態に係る関心カテゴリを設定する過程を示す図である。

【図34】本発明の一実施形態に係る関心カテゴリを設定する過程を示す図である。

【発明を実施するための形態】

【0022】

以下に添付図面を参照しながら、本発明の好適な実施形態について、本発明の属する技術分野において通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は、様々な形態で実現されてよく、ここで説明する実施形態に限定されない。本発明を明確に説明するために、説明とは無関係な箇所は省略し、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0023】

以下では、図１ないし図１０を参照しながら、モバイル機器２００を用いて現在位置に対する情報が提供される場合について説明する。そして、図１１ないし図１６を参照しながら、モバイル機器２００の一例に該当するカメラによって撮影された画面に含まれている建物情報が提供される場合について説明する。

【0024】

図１は、本発明の一実施形態に係るモバイル機器とサーバとを含むネットワークの構成を示す図である。
本発明において提示するアプリケーションの概略のシナリオは次のとおりである。
モバイル機器２００は、ネットワークレベルにおける位置情報１１５を獲得する。具体的に、ネットワークレベルにおける位置情報１１５はＧＰＳ衛星１１０によって測定された自分の位置情報であってよい。

【0025】

モバイル機器２００は、デバイスレベルにおける位置情報１２５を獲得する。これは、デバイスを通じて獲得可能な情報として、デバイスの周辺地域１２０に関する情報、ユーザがデバイスを通じて入力した情報などを含んでよい。
モバイル機器２００はサービスに接続する。この場合、モバイル機器２００は、位置情報サービスを提供するサーバ３００に、ネットワークレベルにおける位置情報１１５とデバイスレベルにおける位置情報１２５とを両方伝送する。

【0026】

サーバ３００は、モバイル機器２００から受信した両情報１１５、１２５に基づいて新しい情報１３５を獲得し、獲得した新しい情報１３５をモバイル機器２００に伝送する。
このように、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、モバイル機器２００のユーザは、有用かつ効果的な情報を得ることができる。

【0027】

図２は、本発明の一実施形態に係るモバイル機器の構成を示すブロック図である。
本発明の一実施形態に係るモバイル機器２００は、移動端末や、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）、ノートパソコンなどであってよい。更に、ユーザが携帯可能であり、サーバから自分の位置情報を受信可能な電子デバイスなら、本発明の一実施形態に係るモバイル機器２００になることができる。

【0028】

本発明の一実施形態に係るモバイル機器２００は、位置情報獲得部２１０と、通信部２２０と、信号処置部２３０と、映像処理部２４０と、付加情報獲得部２５０と、制御部２６０及びユーザ入力部２８０を含んでよい。
位置情報獲得部２１０は、モバイル機器２００の位置情報を獲得することができる。具体的に、位置情報獲得部２１０は、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）から自分の位置情報を受信したり、ＬＢＳサービスを提供するサーバから自分の位置情報を受信することができる。この場合、モバイル機器２００の位置情報はネットワークレベルにおける位置情報として、ＧＰＳ衛星又はＬＢＳサーバによって測定されてよい。

【0029】

通信部２２０は、サーバと通信を行うことができる。具体的に、通信部２２０はモバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報とをサーバに送信し、前記位置情報と前記付加情報とに基づいて得られる関連情報をサーバから受信する。この場合、モバイル機器２００の位置に関する付加情報は、デバイスレベルにおける位置情報として、モバイル機器２００によって獲得することができる。

【0030】

一方、通信部２２０は、サーバとインターネットプロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ：ＩＰ）による通信を行ってデータを送受信することができる。
信号処置部２３０は、通信部２２０によって送受信される信号を処理することができる。具体的に、信号処理部２３０は信号のエンコーディングやデコーディング、復調などを行うことができる。

【0031】

映像処理部２４０は、信号処理部２３０によって処理される信号に基づいて映像を表示することができる。そのために、映像処理部２４０は液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、有機電気発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ：ＯＬＥＤ）又はプラズマディスプレイ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）などの形式に実現されるディスプレイパネルを含んでもよい。

【0032】

付加情報獲得部２５０は、モバイル機器２００の位置に関する付加情報がを入力することができる。
モバイル機器２００の位置に関する付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含んでよい。具体的に、前記付加情報は、現在位置の周辺を撮像した映像、現在位置の場所の名称、現在位置の場所から聞こえるオーディオなどであってよい。また、前記付加情報は、地磁気センサによって測定されたモバイル機器２００の高さ又は加速度センサによって測定されたモバイル機器２００の速度などであってよい。
この場合、付加情報獲得部２５０は、カメラと、録音機と、地磁気センサと、加速度センサと、角速度センサ及びジャイロセンサのうち、少なくとも一つを含んでよい。

【0033】

ユーザ入力部２８０は、付加情報の入力に関連するユーザの制御を入力することができる。この場合、ユーザ入力部２８０は、モバイル機器２００のタッチスクリーンや、タッチパッド及びキーボタンなどを通じてユーザの制御が入力されてもよい。
制御部２６０は、モバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報とをサーバに伝送し、前記サーバから前記位置情報と前記付加情報とに基づいて得られる関連情報を受信するように、通信部２２０を制御することができる。前記関連情報は、モバイル機器２００の詳細位置情報を含んでよい。

【0034】

制御部２６０は、受信した関連情報を処理して出力するように信号処理部２３０を制御することができる。この場合、制御部２６０は関連情報を映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力するように信号処理部２３０を制御することができる。

【0035】

また、制御部２６０は、関連情報を周辺装置に伝送するように通信部２２０を制御することができる。具体的に、制御部２６０は、前記関連情報を周辺に位置するプリンタに伝送して文書形式に出力することができる。

【0036】

図３は、本発明の一実施形態に係るモバイル機器の情報を送受信するサーバの構成を示すブロック図である。
本発明の一実施形態に係るモバイル機器２００と情報を送受信するサーバ３００は、ＰＣ又は複数個のＰＣであってよい。更に、クライアントにネットワークを通じてサービスを提供できる電子デバイスなら、本発明の一実施形態に係るモバイル機器２００と情報を送受信するサーバ３００になりうることができる。

【0037】

本発明の一実施形態に係るモバイル機器と情報を送受信するサーバ３００は、通信部３１０と、保存部３２０及び制御部３３０を含んでよい。
通信部３１０は、モバイル機器２００との通信を行うことができる。具体的に、通信部３１０は、モバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報とをモバイル機器２００から受信し、前記位置情報と前記付加情報とに基づいて得られる関連情報をモバイル機器２００に送信してよい。この場合、付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含んでよい。また、付加情報は、地磁気センサによって検知されたモバイル機器２００の位置であってよい。

【0038】

保存部３２０には、情報が保存される。前記情報は、モバイル機器２００に提供可能なすべての情報を含んでよい。更に、保存部３２０には、モバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報も保存されてよい。

【0039】

制御部３３０は、通信部３１０がモバイル機器２００からモバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報とを受信すると、前記位置情報と前記付加情報とに基づいて得られる関連情報を保存部３２０を参照して検索する。この場合、制御部３３０は、検索された前記関連情報をモバイル機器２００に伝送するように、通信部３１０を制御することができる。前記関連情報は、モバイル機器２００の詳細位置情報を含んでよい。

【0040】

図４は、本発明の一実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の一実施形態に係るモバイル機器２００における情報獲得方法によると、ユーザはモバイル機器２００の位置情報とモバイル機器２００を介して得られる映像形式の地域情報とを連動して新しい情報を獲得することができる。

【0041】

現在、モバイル機器２００のユーザがルーヴル美術館内に展示されているモナリザの絵画を鑑賞している。この場合、モバイル機器２００は、ＧＰＳサーバなどからモバイル機器２００の位置情報を獲得する。図４でモバイル機器２００の位置情報は“ルーヴル美術館”である（４１０）。

【0042】

ユーザは所持するモバイル機器２００を使ってモバイル機器２００の位置に関する付加情報を入力する。この場合、モバイル機器２００の位置に関する付加情報は、映像形式の地域情報である。具体的に、ユーザは図４に示すように、自分が鑑賞しているモナリザの絵画をモバイル機器２００を用いて撮像する（４２０）。この場合、映像形式の地域情報は、“モナリザの絵画の前”である。

【0043】

モバイル機器２００は、モバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報とをサーバ３００に送信する。即ち、図４において、モバイル機器２００はルーヴル美術館に位置しているという情報とモナリザイメージとをサーバ３００に伝送する。

【0044】

サーバ３００は、前記位置情報と前記付加情報とに基づいて得られる関連情報を検索し、それをモバイル機器２００に伝送する。具体的に、サーバ３００はネットワークレベルで獲得したモバイル機器２００の位置情報と、デバイスレベルで獲得したモバイル機器２００の地域情報を用いて、モバイル機器２００の詳細位置を獲得することができる。即ち、サーバ３００は、“ルーヴル美術館”と“モナリザの絵画の前”という情報に基づいて、モバイル機器２００のユーザが現在ルーヴル美術館内のレオナルドダヴィンチ館に位置していることを特定することができる（４３０）。

【0045】

更に、ユーザの詳細位置に基づいて、サーバ３００は詳細位置に関する情報を提供することができる。即ち、サーバ３００はレオナルドダヴィンチ館に所蔵されている作品のリスト、レオナルドダヴィンチ館に所蔵されている作品の詳細情報、モナリザに対する作品説明などの情報をモバイル機器２００に提供できる（４４０）。

【0046】

ＧＰＳシステムによって獲得できる位置情報には限界がある。即ち、図４において、モバイル機器２００のユーザがルーヴル美術館内に位置していることは把握できるものの、ＧＰＳシステムによってもユーザがルーヴル美術館内のどの展示館に位置しているかを特定することができない。

【0047】

本実施形態によると、位置情報にユーザの位置する地域の情報を連動することにより、ユーザの詳細な位置及び詳細な位置に関する情報を提供することができる。従って、ユーザにより有用な情報を効率よく提供することができる。

【0048】

図５は、本発明の別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の別の実施形態に係るモバイル機器２００における情報獲得方法によると、ユーザはモバイル機器２００の位置情報とモバイル機器２００を介して得られるテキスト形式の地域情報とを連動して新しい情報を獲得することができる。

【0049】

現在、モバイル機器２００のユーザがルーヴル美術館内のエジプト展示館の前に立っている。この場合、モバイル機器２００は、モバイル機器２００の位置情報、即ち“ルーヴル美術館”を獲得する（５１０）。

【0050】

ユーザはモバイル機器２００の位置に関する付加情報を入力する。この場合、モバイル機器２００の位置に関する付加情報はテキスト形式の地域情報である。具体的に、ユーザは図５に示すように、自分の位置している展示館の名前をモバイル機器２００にテキスト形式に入力する（５２０）。この場合、テキスト形式の地域情報は“Ｅｇｙｐｔｉａｎ”である。

【0051】

モバイル機器２００は、ルーヴル美術館に位置しているという情報と、エジプト展示館の前に位置しているという情報とをサーバ３００に伝送する。
サーバ３００は、“ルーヴル美術館”と“エジプト展示館の前”という情報に基づいて、モバイル機器２００のユーザが現在ルーヴル美術館内のエジプト展示館に位置していることを特定する（５３０）。更に、サーバ３００はエジプト展示館に展示されている作品や、エジプト展示館の地図、エジプト展示館の周辺展示館の情報などの関連情報をモバイル機器２００に提供することができる（５４０）。

【0052】

本実施形態によると、位置情報にユーザの位置する地域の地名、場所の名称などを連動させることにより、ユーザの具体的かつ正確な位置を特定し、それに基づいてユーザにパーソナル化した情報を提供することができる。

【0053】

図６は、本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の更に別の実施形態に係るモバイル機器２００における情報獲得方法によると、モバイル機器２００の位置情報とモバイル機器２００を介して得られるオーディオ形式の地域情報を連動して新しい情報を獲得することができる。
現在、モバイル機器２００のユーザがルーヴル美術館内のモナリザの絵画の前に立ってガイドの説明を聴いている。この場合、モバイル機器２００は、モバイル機器２００の位置情報、即ち、“ルーヴル美術館”を獲得する（６１０）。

【0054】

ユーザは、モバイル機器２００の位置に関する付加情報を入力する。この場合、モバイル機器２００の位置に関する付加情報はオーディオ形式の位置情報である。具体的に、ユーザは図６に示すように、自分が聴いているガイドの説明をモバイル機器２００に録音する（６２０）。この場合、オーディオ形式の地域情報は、“モナリザの絵画に対するガイドの説明を聴く”である。

【0055】

モバイル機器２００は、ルーヴル美術館に位置しているという情報と、モナリザの絵画に対するガイドの説明を聴いているという情報をサーバ３００に伝送する。
サーバ３００は、“ルーヴル美術館”と“モナリザの絵画に対するガイドの説明を聴く”という情報を組み合わせ、モバイル機器２００のユーザが現在ルーブル美術館内のモナリザの絵画の前でガイド説明を聴いているということを特定する（６３０）。更に、サーバ３００は、モナリザに対するオーディオガイドをモバイル機器２００に提供することができる（６４０）。

【0056】

図７は、本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の更に別の実施形態に係るモバイル機器２００における情報獲得方法によると、モバイル機器２００の位置情報とモバイル機器２００を介して得られるモバイル機器２００の地域情報を連動して新しい情報を獲得することができる。この場合、モバイル機器２００の位置情報は、ネットワークレベルにおける位置情報として、ＧＰＳサーバなどによって獲得される。モバイル機器２００を介して得られるモバイル機器２００の地域情報は、デバイスレベルにおける位置情報として、モバイル機器２００自らによって獲得されてよい。具体的に、モバイル機器２００を介して得られるモバイル機器２００の地域情報は、地磁気センサなどによって獲得され得る高さ情報、加速度センサ又は角速度センサなどによって獲得され得る速度情報、ジャイロセンサなどによって獲得され得る動き情報を含んでよい。

【0057】

現在、モバイル機器２００のユーザがルーヴル美術館の２階に位置している。この場合、モバイル機器２００はモバイル機器の位置情報、即ち、“ルーヴル美術館”を獲得する（７１０）。

【0058】

ユーザは、モバイル機器２００を介して得られるモバイル機器２００の地域情報を検索する。具体的に、ユーザは図７に示すように、モバイル機器２００を用いて現在位置している階を測定する（７２０）。この場合、モバイル機器２００の内部に含まれている地磁気センサを用いて現在自分が何階に位置しているか測定する。具体的に、モバイル機器２００が地上からどのくらいの高さに位置しているか測定し、それに基づいてモバイル機器２００が位置している階数を計算することができる。図７の場合、モバイル機器２００は２階に位置するという情報を得る。

【0059】

モバイル機器２００は、ルーヴル美術館に位置しているという情報と、２階に位置しているという情報をサーバ３００に伝送する。
この場合、サーバ３００は、“ルーヴル美術館”と“２階”を組み合わせて、モバイル機器２００のユーザが現在ルーヴル美術館の２階に位置していることを特定する（７３０）。それにより、サーバ３００は、ルーヴル美術館の２階の地図、ルーヴル美術館の２階の展示館、ルーヴル美術館の２階に展示されている作品に対する情報をモバイル機器２００に提供することができる（７４０）。

【0060】

図８は、本発明の一実施形態に係るモバイル機器における情報獲得過程を示す図である。
モバイル機器２００は、モバイル機器２００の位置情報を獲得する（Ｓ８０１）。この場合、モバイル機器２００の位置情報は、ネットワークレベルにおける位置情報として、ＧＰＳ衛星又はＬＢＳサーバによって測定することができる。
モバイル機器２００は、ユーザの入力に基づいて前記モバイル機器２００の位置に関する付加情報が入力される（Ｓ８０２）。この場合、モバイル機器２００の位置に関する付加情報は、デバイスレベルにおける位置情報として、モバイル機器２００によって獲得することができる。

【0061】

モバイル機器２００は、前記位置情報と前記付加情報とをサーバ３００に伝送する（Ｓ８０３）。
モバイル機器２００は、前記位置情報と前記付加情報とに基づいて得られる関連情報をサーバ３００から受信する（Ｓ８０４）。
モバイル機器２００は、受信した前記関連情報を処理して出力する（Ｓ８０５）。この場合、モバイル機器２００は、関連情報を映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力することができる。

【0062】

図９は、本発明の一実施形態に係るモバイル機器と情報を送受信するサーバにおける情報提供過程を示す図である。
サーバ３００は、モバイル機器２００から、モバイル機器２００の位置情報とモバイル機器２００の位置に関する付加情報とを受信する（Ｓ９０１）。
サーバ３００は、前記位置情報と前記付加情報とに基づいて得られる関連情報を検索する（Ｓ９０２）。
サーバ３００は、検索された前記関連情報をモバイル機器２００に伝送する（Ｓ９０３）。

【0063】

図１０は、本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
仮に、現在ユーザ１０００がフランスパリを旅行しようとしている。この場合、ユーザ１０００は旅行関連アプリケーションを購入する。具体的に、ユーザ１０００は回ろうと考える観光地に対するアプリケーションを購入することができる。図７の場合、ユーザはベルサイユ宮殿１０２０と、エッフェル塔１０３０と、シャンゼリゼ通り１４１０と、オルセー美術館１０５０に対するアプリケーションを購入する。前記ユーザ１０００は、自分が所持するモバイル機器１０１０を介して前記アプロケーションを使用してよい。

【0064】

各観光地１０２０、１０３０、１０４０、１０５０毎にユーザの位置を報知するための標識ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋが存在する。例えば、ベルサイユ宮殿１０２０には標識ａ、ｂが存在している。この場合、標識ａはベルサイユ宮殿１０２０の本館に存在し、標識ｂはベルサイユ宮殿１０２０の別館に存在すると仮定する。

【0065】

仮に、ユーザがベルサイユ宮殿１０２０の本館の位置で標識ａを入力すると、ユーザにはベルサイユ宮殿１０２０の本館の地図、観覧ガイド、歴史の説明などの情報が表示される。その後、ユーザがベルサイユ宮殿１０２０の別館に移動して標識ｂを入力すると、別館の地図、観覧ガイド、歴史の説明などの情報が提供される。

【0066】

このように、本実施形態によると、リアルタイムで移動中のユーザが現在位置に存在する標識をモバイル機器２００に入力することにより、モバイル機器２００を介して現在位置に符合する正確な情報をリアルタイムで提供されることができる。

【0067】

以下では、図１１ないし図１６を参照しながら、モバイル機器２００の一例に該当するカメラによって撮影された画面に含まれている建物情報が提供される場合について説明する。

【0068】

図１１は、本発明の一実施形態に係るカメラ１１００の構成を詳細に示すブロック図である。図１１に示すように、カメラ１１００は、レンズ部１１１０と、撮像素子１１２０と、映像処理部１１３０と、制御部１１４０と、操作部１１５０と、映像出力部１１６０と、ディスプレイ１１７０と、コーデック１１８０と、保存部１１９０と、通信部１１９５及び検出部１１９６を備える。

【0069】

レンズ部１１１０は、被写体の光を集めて撮像領域に光学像が結像する。
撮像素子１１２０は、レンズを通じて入射する光を電気信号に光電変換し、電気信号に対して所定の信号処理を行う。このような機能を担う撮像素子１１２０は、画素及びＡＤコンバータを備える。各画素はアナログ型の映像信号を出力し、ＡＤコンバータはそれをデジタル型の映像信号に変換して出力する。

【0070】

映像処理部１１３０は、撮像素子１１２０から入力される映像に対する信号処理を行い、撮影された映像をディスプレイするために処理された映像信号を映像出力部１１６０に伝送する。また、映像処理部１１３０は、撮影された映像を保存するためにコーデック１１８０で処理された映像信号を出力する。

【0071】

具体的に、映像処理部１１３０は、撮像素子１１２０から出力される映像信号に対してフォーマット変換と映像スケールとを調整するためのデジタルズームや、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）や、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）などを行う。
また、映像処理部１１３０は、撮影された映像から建物を抽出する。ここで、撮影された映像とは、撮影素子１１２０から検知されてディスプレイ１１７０の画面に表示される映像のことを意味する。即ち、撮影された映像は、撮影済みの映像だけでなく、撮影待ち受け状態でディスプレイ１１７０の画面に表示される映像も含む。

【0072】

具体的に、映像処理部１１３０は撮影された映像に含まれているオブジェクトの境界を認識する。そして、映像処理部１１３０はオブジェクトの境界の形態を把握してオブジェクトが建物であるか否かを判断するようになる。即ち、映像処理部１１３０は撮影された映像から建物が検出できるようになる。

【0073】

また、映像処理部１１３０は、保存部１１９０に保存されているコンテンツの映像をコーデック１１８０を介して受信して処理する。そして、処理されたコンテンツの映像を映像出力部１１６０に出力する。

【0074】

映像出力部１１６０は、映像処理部１１３０から受信された映像信号を内部ディスプレイ１１７０又は外部出力端子に出力する。
ディスプレイ１１７０は、撮影された映像を画面に表示する。また、ディスプレイ１１７０は撮影された映像に建物に関する情報を同時に表示することもできる。

【0075】

コーデック１１８０は、映像処理部１１３０から受信した映像信号をエンコーディングする。そして、コーデック１３０は、エンコーディングされている映像信号を保存部１１９０に伝送する。また、コーデック１１８０は、保存部１１９０に保存されているコンテンツのエンコーディングされた映像信号をデコーディングする。そして、コーデック１１８０は、デコーディングされている映像信号を映像処理部１１３０に伝送する。

【0076】

即ち、コーデック１１８０は、撮影された映像を保存する場合にエンコーディングし、保存されているコンテンツ映像を映像処理部１１３０に出力する場合にデコーディングする。

【0077】

保存部１１９０は、多様なマルチメディアコンテンツが保存される。また、保存部１１９０は、撮像素子１１２０で撮影された映像を圧縮した形で保存する。また、保存部１１９０には、多様な地域に対する地図情報が保存される。地図情報は、一般的な地図に含まれている情報を含む。また、地図情報は、各位置の座標情報、建物情報、道路情報、場所情報などを含めている。

【0078】

座標情報とは、各地点に対して固有の座標のことを意味する。例えば、座標情報は、緯度及び経度に対する情報を含む。建物情報とは、各建物に対する情報のことを意味する。建物情報は、建物名、電話番号、階数及び建物内の施設などに対する情報を含む。道路情報は、当該道路の名称、道路の種類及び車線数などの情報を含む。場所情報は、当該場所の行政区域名称、主要名称などが含まれる。

【0079】

保存部１１９０は、フラッシュメモリや、ハードディスク、ＤＶＤなどを用いて実現されてよい。
操作部１１５０は、ユーザの操作により命令が入力される。操作部１１５０は、カメラ１１００の表面にボタンの形で設けられてよく、ディスプレイ１１７０上でタッチスクリーンの形で設けられてよい。

【0080】

通信部１１９５は、インターネットなどの多様なネットワークを通じて外部サーバに通信できるように接続される。通信部１１９５は、有線ＬＡＮなどの有線ネットワークを用いて外部サーバに接続されてよく、無線ＬＡＮ又はブルートゥースなどの無線ネットワークを用いて外部サーバに接続されてよい。

【0081】

検出部１１９６は、カメラ１１００の座標情報を検出し、撮影された映像に含まれている建物の方向情報及び距離情報を検出する。検出部１１９６は、カメラ１１００の座標情報を検出する位置検出部１１９７と、撮影された映像に含まれている建物の方向情報を検出する方向検出部１１９８及び撮影された映像に含まれている建物の距離情報を検出する距離検出部１１９９を含む。

【0082】

位置検出部１１９７は、カメラ１１００が現在位置している地点の固有の座標情報を検出する。例えば、位置検出部１１９７は、現在カメラ１１００が位置している地点の緯度と経度を検出することもできる。位置検出部１１９７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を含む。

【0083】

方向検出部１１９８は、カメラ１１００から建物への方向情報を検出する。即ち、方向検出部１１９８は、ユーザの現在位置で撮影された写真に含まれている建物への方向情報を検出するようになる。方向検出部１１９８は、羅針盤センサ又は地磁気センサを含む。

【0084】

距離検出部１１９９は、カメラ１１００から建物までの距離情報を検出する。即ち、距離検出部１１９９は、ユーザの現在位置で撮影された写真に含まれている建物までの距離情報を検出するようになる。距離検出部１１９９は、赤外線距離センサと、レーザ距離センサ及びダブルカメラを用いた距離センサのうち、少なくとも一つが含まれてよい。
このように、検出部１１９６は、カメラ１１００の座標情報を検出し、撮影された映像に含まれている建物の方向情報及び距離情報を検出するようになる。

【0085】

制御部１１４０は、カメラ１１００の作動全般を制御する。具体的に、制御部１１４０は抽出された建物の位置を算出し、地図情報に基づいて算出された位置に存在する建物の情報を抽出する。そして、制御部１１４０は、抽出された建物の情報が撮影された映像とともに表示されるように制御する。

【0086】

制御部１１４０は、保存部１１９０に地図情報が存在するか否かを確認する。仮に、保存部１１９０に地図情報が存在する場合、制御部１１４０は検出された座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出する。

【0087】

具体的に、制御部１１４０は検出された座標情報を参考にして地図上から現在カメラ１１００が位置する地点を検出する。そして、制御部１１４０は、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているか把握する。その後に、制御部１１４０は、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握するようになる。このような過程を経ると、制御部１１４０は撮影された映像に含まれている建物が地図上でどの地点に位置するかに対する情報である建物の位置情報を算出できるようになる。

【0088】

その後に、制御部１１４０は、算出された位置に存在する建物に対する情報を保存された地図情報から抽出する。ここで、建物情報は、建物名と、電話番号と、階数及び建物内の施設などに関する情報を含む。

【0089】

一方、保存部１１９０に地図情報が存在していない場合、制御部１１４０は検出された座標情報と、方向情報及び距離情報を外部のサーバに伝送する。ここで、サーバは、地図情報を保存しており、座標情報と、方向情報及び距離情報を用いて建物に対する情報を抽出する機能を担う。

【0090】

具体的に、サーバは検出された座標情報を参考にして地図上で現在カメラ１１００が位置している地点を検出する。そして、サーバは、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているかを把握する。その後に、サーバは、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握するようになる。このような過程を経ることで、サーバは撮影された映像に含まれている建物が地図上でどの地点に位置しているかに対する情報である建物の位置情報を算出できるようになる。そして、サーバは、算出された位置に存在する建物に対する情報をサーバに保存されている地図情報又はインターネット上の地図情報から抽出する。

【0091】

従って、制御部１１４０は、サーバから建物に関する情報が受信されるように制御する。
そして、制御部１１４０は、検索された建物情報の撮影された映像に同時に表示されるように制御する。例えば、制御部１１４０は、撮影された映像をディスプレイ１１７０の画面に表示する際、図１６のように建物の名称が画面に同時に表示されるように制御することもできる。

【0092】

このような過程を経て、制御部１１４０は撮影された映像に建物情報が同時に表示されるように制御できる。これにより、ユーザはカメラ１１００で建物を撮影する操作を行うだけで、その建物がどんな建物であるかに対する情報を確認できるようになる。

【0093】

図１２は、本発明の一実施形態に係る撮影された映像に位置情報を表示する方法について説明するために提供されるフローチャートである。
まず、カメラ１１００は、ユーザの操作に応じて位置情報表示モードを開始する（Ｓ２０１０）。ここで、位置情報表示モードは撮影された映像に含まれている建物と、道路及び場所に関する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている場合、カメラ１１００は撮影された映像をディスプレイ１１７０に表示する際、座標情報や、建物情報や、道路情報、場所情報などを同時に表示するようになる。

【0094】

ここで、座標情報とは、各地点に対して固有の座標のことを意味する。例えば、座標情報は、緯度及び経度に対する情報を含む。建物情報とは、各建物に対する情報のことを意味する。建物情報は、建物名、電話番号、階数及び建物内の施設などに対する情報を含む。道路情報は、当該道路の名称、道路の種類及び車線数などの情報を含む。場所情報は、当該場所の行政区域名称、主要名称などが含まれる。

【0095】

例えば、位置情報表示モードが活性化されている状態である場合、カメラ１１００は撮影された映像をディスプレイ１１７０の画面に表示する際、図１６のように建物の名称を画面に同時に表示することもできる。
その後に、カメラ１１００は、ユーザの操作によって特定位置を撮影する（Ｓ１２２０）。ここで、撮影はカメラ１１００が撮像素子１１２０によって検知された映像を保存する状態だけでなく、カメラ１１００が撮像素子１１２０によって検知された映像をディスプレイ１１７０に表示する状態（即ち、撮影待ち受け状態）も含む。

【0096】

そして、カメラ１１００は、撮影された映像に含まれている建物を抽出する（Ｓ１２３０）。具体的に、カメラ１１００は、撮影された映像に含まれているオブジェクトの境界を認識する。そして、カメラ１１００は、オブジェクトの境界の形態を把握してオブジェクトが建物であるか否かを判断する。これを通じて、カメラ１１００は撮影された映像から建物を抽出できる。

【0097】

その後に、カメラ１１００は、カメラの現在位置の座標情報を検出する（Ｓ１２４０）。カメラ１１００は、位置検出部１１９７を介して現在位置している地点の固有の座標情報を検出する。例えば、位置検出部１１９７は、現在カメラ１１００が位置している地点の緯度と経度を検出することもできる。位置検出部１１９７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を含む。

【0098】

そして、カメラ１１００は撮影された映像に含まれている建物の方向情報及び距離情報を検出する（Ｓ１２５０）。カメラ１１００は、方向検出部１１９８を介して建物への方向情報を検出する。即ち、方向検出部１１９８は、ユーザの現在位置で撮影された写真に含まれている建物への方向情報を検出する。方向検出部１１９８は、羅針盤センサ又は地磁気センサを含む。

【0099】

また、カメラ１１００は、距離検出部１１９９を介して建物までの距離情報を検出する。即ち、距離検出部１１９９は、ユーザの現在位置で撮影された写真に含まれている建物までの距離情報を検出する。距離検出部１１９９は、赤外線距離センサ、レーザ距離センサ及びダブルカメラを用いた距離センサのうち、少なくとも一つが含まれてよい。

【0100】

その後に、カメラ１１００は、保存部１１９０に地図情報が存在するか否かを確認する（Ｓ１２６０）。仮に、保存部１１９０に地図情報が存在する場合、カメラ１１００は検出された座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出する（Ｓ１２６３）。

【0101】

具体的に、カメラ１１００は検出された座標情報を参考にして地図上から現在カメラ１１００が位置する地点を検出する。そして、カメラ１１００は、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているか把握する。その後に、カメラ１１００は、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握するようになる。このような過程を経ると、カメラ１１００は撮影された映像に含まれている建物が地図上でどの地点に位置するかに対する情報である建物の位置情報を算出できるようになる。

【0102】

その後に、カメラ１１００は、算出された位置に存在する建物に対する情報を保存された地図情報から抽出する（Ｓ１２６６）。ここで、建物情報は、建物名と、電話番号と、階数及び建物内の施設などに関する情報を含む。

【0103】

一方、保存部１１９０に地図情報が存在していない場合、カメラ１１００は検出された座標情報と、方向情報及び距離情報を外部のサーバに伝送する（Ｓ１２７０）。ここで、サーバは、地図情報を保存しており、座標情報と、方向情報及び距離情報を用いて建物に対する情報を抽出する機能を担う。

【0104】

具体的に、サーバは検出された座標情報を参考にして地図上で現在カメラ１１００が位置している地点を検出する。そして、サーバは、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているかを把握する。その後に、サーバは、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握する。このような過程を経ることで、サーバは撮影された映像に含まれている建物が地図上でどの地点に位置しているかに対する情報である建物の位置情報を算出できるようになる。そして、サーバは、算出された位置に存在する建物に対する情報をサーバに保存されている地図情報又はインターネット上の地図情報から抽出する。

【0105】

従って、カメラ１１００は、サーバから建物に関する情報が受信する（Ｓ１２７５）。
そして、カメラ１１００は、検索された建物情報を撮影された映像と同時に表示する（Ｓ１２８０）。例えば、カメラ１１００は、撮影された映像をディスプレイ１１７０の画面に表示する際、図１６のように建物の名称を画面に同時に表示することもできる。

【0106】

このような過程を経て、カメラ１１００は撮影された映像に建物情報を同時に表示するように制御できるようになる。これにより、ユーザはカメラ１１００で建物を撮影する操作を行うだけで、その建物がどんな建物であるかに対する情報を確認できるようになる。

【0107】

一方、本実施形態では、カメラ１１００が撮影された映像に建物情報を表示するものとして説明したが、その他にも、道路情報、場所情報も同時に表示できる。ここで、道路情報は、当該道路の名称、道路の種類及び車線数などの情報を含む。そして、場所情報は、当該場所の行政区域名称、主要名称などが含まれる。

【0108】

例えば、この場合、カメラ１１００は撮影された映像に道路が含まれている場合、道路の名称を撮影された映像に同時に表示するように実現することもできる。また、カメラ１１００は、撮影された映像に特定場所（例えば、遺跡地や、運動場など）が含まれている場合、特定場所の名称を撮影された映像に同時に表示するように実現することもできる。

【0109】

以下では、図１３ないし図１６を参照しながら、カメラ１１００が撮影された映像に建物情報を表示する過程を説明する。図１３ないし図１６は、本発明の一実施形態に係るカメラ１１００が撮影された映像に建物情報を表示する過程を示す図である。

【0110】

図１３は、カメラ１１００が特定地域を撮影した画面を示している。図１３に示すように、現在撮影中の映像には、第１建物１３１０と、第２建物１３２０及び第３建物１３３０が含まれている。従って、カメラ１１００は現在撮影中の映像に第１建物１３１０と、第２建物１３２０及び第３建物１３３０が含まれていることを認識する。

【0111】

その後に、図１４に示すように、カメラ１１００は、画面に「Ｓｃｏｕｔｅｒ」アイコン１３４０を表示する。ここで、「Ｓｃｏｕｔｅｒ」アイコン１３４０とは、位置情報表示モードの実行命令が入力されるアイコンである。従って、図１４に示すように、ユーザが「Ｓｃｏｕｔｅｒ」アイコン１３４０を選択すると、カメラ１１００は位置情報表示モードを行うようになる。

【0112】

ここで、位置情報表示モードは、撮影された映像に含まれている建物や、道路、場所に関する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている状態である場合、カメラ１１００は撮影された映像を画面に表示する際、座標情報や、建物情報、道路情報、場所情報などを同時に表示する。

【0113】

図１５は、現在位置１３５０の周辺に対する地図情報を示す図である。位置情報表示モードが行われると、カメラ１１００は地図情報上から現在位置１３５０の座標情報を検出する。そして、カメラ１１００は、撮影された映像に含まれている建物の方向情報及び距離情報を検出する。

【0114】

図１５に示すように、地図情報を参考にすると、現在位置１３５０から北の方面にＣｉｔｙ Ｈａｌｌ、Ｓｔａｒ Ｈｏｔｅｌ、ＣＧＶの順に位置していることが確認できる。また、方向情報を参考にした際、現在カメラ１１００が撮影している方向が北側であり、距離情報を参考にした際、第１建物１３１０と、第２建物１３２０及び第３建物１３３０の距離が、それぞれ現在位置からＣｉｔｙ Ｈａｌｌ、Ｓｔａｒ Ｈｏｔｅｌ及びＣＧＶの距離と同様であると仮定する。すると、カメラ１１００は、第１建物１３１０と、第２建物１３２０及び第３建物１３３０がそれぞれＣｉｔｙ Ｈａｌｌ、Ｓｔａｒ Ｈｏｔｅｌ及びＣＧＶを示すものであることを検出できるようになる。

【0115】

従って、図１６に示すように、カメラ１１００は、第１建物１３１０の建物情報１３６０として“Ｃｉｔｙ Ｈａｌｌ”を表示し、第２建物１３２０の建物情報１３７０として“Ｓｔａｒ Ｈｏｔｅｌ”を表示し、第３建物１３３０の建物情報１３８０として“ＣＧＶ”を表示するようになる。

【0116】

このように、カメラ１１００は、撮影された映像に建物の名称を同時に表示できるようになる。従って、ユーザはカメラ１１００で特定建物を撮影する操作のみで当該建物の建物情報を確認できるようになる。

【0117】

以下では、図１７ないし図２４を参照しながら、カメラ１１００がデジタルカメラである場合について説明する。図１７ないし図２４は、本発明の一実施形態に係るカメラ１１００がデジタルカメラである場合に、撮影された映像に建物情報を表示する過程を示す図である。

【0118】

図１７は、デジタルカメラの作動モードを選択するためのダイヤル１４００を示す図である。図１７に示すように、ダイヤル１４００をＳｃｏｕｔｅｒに設定すると、図１８はに示すように、デジタルカメラはＳｃｏｕｔｅｒモードに設定される。ここで、Ｓｃｏｕｔｅｒモードは位置情報表示モードを示す。位置情報表示モードとは、撮影された映像に含まれている建物や、道路、場所に対する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている状態である場合、デジタルカメラは撮影された映像を画面に表示する際、座標情報や、建物情報や、道路情報、場所情報などを同時に表示するようになる。

【0119】

その後に、図１９に示すように、デジタルカメラは、第１建物１４１０と、第２建物１４２０及び第３建物１４３０が含まれている映像を撮影する。すると、Ｓｃｏｕｔｅｒモードに設定されている状態であるため、図２０に示すように、デジタルカメラは、第１建物１４１０の建物情報１４６０として“Ｃｉｔｙ Ｈａｌｌ”を示し、第２建物１４２０の建物情報１４７０として“Ｓｔａｒ Ｈｏｔｅｌ”を示し、第３建物１４３０の建物情報１４８０として“ＣＧＶ”を示すようになる。

【0120】

この状態で、図２１に示すように、ユーザが第２建物１４２０の建物１４７０を選択すると、図２２のように、デジタルカメラは選択された第２建物１４２０に対する詳細情報１４７５を画面に表示するようになる。図２２に示すように、第２建物１４２０に対する詳細情報１４７５は、住所や、電話番号、テナントショップ情報を含むことが確認できる。

【0121】

このとき、図２３に示すように、電話番号１４７６をユーザが選択すると、デジタルカメラは選択された電話番号１４７６に電話をかける命令が入力される。しかし、電話機能をサポートしないため、デジタルカメラは通信できるように接続されている別の携帯電話に選択された電話番号１４７６に電話をかけるか否かに対する確認メッセージを表示させる。図２４は、「ＨＨＰ１」というＩＤの携帯電話を用いて選択された電話番号１４７６に電話をかけるか否かに対する確認メッセージを表示した図である。

【0122】

このように、デジタルカメラは撮影された映像に建物の名称を同時に示し、示された建物の名称が選択されると、選択された建物に電話がかかるようにする。これにより、ユーザは簡単な操作を行うだけで、目の前の建物が何かを確認することができる。

【0123】

以下では、図２５ないし図３２を参照しながら、カメラ１１００が携帯電話である場合について説明する。図２５ないし図３２は、本発明の一実施形態に係るカメラ１１００が携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。

【0124】

図２５は、携帯電話のメインメニューを示す図である。図２５に示すように、ユーザがカメラアイコン１５００を選択すると、図２６に示すように、携帯電話は写真撮影モードを行う。

【0125】

この状態で、撮影モード選択メニュー１５４０の表示命令が入力されると、図２７に示すように、携帯電話は撮影モード選択メニュー１５４０を画面に示す。そして、図２７に示すように、Ｓｃｏｕｔｅｒ１５４５をユーザが選択すると、携帯電話はＳｃｏｕｔｅｒモードに設定される。ここで、Ｓｃｏｕｔｅｒモードは位置情報表示モードを示す。位置情報表示モードとは、撮影された映像に含まれている建物や、道路、場所に対する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている状態である場合、携帯電話は撮影された映像を画面に表示する際、座標情報や、建物情報や、道路情報、場所情報などを同時に表示するようになる。

【0126】

このように、Ｓｃｏｕｔｅｒモードに設定されると、図２８に示すように、携帯電話は、第１建物１５１０の建物情報１５６０として“Ｃｉｔｙ Ｈａｌｌ”を示し、第２建物１５２０の建物情報１５７０として“Ｓｔａｒ Ｈｏｔｅｌ”を示し、第３建物１５３０の建物情報１５８０として“ＣＧＶ”を示すようになる。

【0127】

この状態で、図２９に示すように、ユーザが第２建物１５２０の建物１５７０を選択すると、図３０のように、携帯電話は選択された第２建物１５２０に対する詳細情報１５７５を画面に表示するようになる。図３０に示すように、第２建物１５２０に対する詳細情報１５７５は、住所や、電話番号、テナントショップ情報を含むことが確認できる。

【0128】

このとき、図３１に示すように、電話番号１５７６をユーザが選択すると、携帯電話は選択された電話番号１５７６に電話をかける命令が入力される。従って、図３２に示すように、携帯電話は選択された電話番号１５７６に直ちに電話をかけるようになる。

【0129】

このように、携帯電話は撮影された映像に建物の名称を同時に示し、示された建物の名称が選択されると、選択された建物に電話がかかるようにする。これにより、ユーザは簡単な操作を行うだけで、目の前の建物が何かを確認することができる。
以下では、図３３及び図３４を参照しながら、関心カテゴリを設定する方法について説明する。図３３及び図３４は、本発明の一実施形態に係る関心カテゴリを設定する過程を示す図である。

【0130】

図３３のように、カメラ１１００は関心カテゴリ設定メニュー１６００を画面に表示することができる。ここで、関心カテゴリとは、ユーザの好む建物の種類を示すものである。関心カテゴリは建物が使われる用途種類に対するカテゴリとして、例えば、レストランや、映画館、宿泊、役所、デパートなどを含む。

【0131】

図３３に示すように、ユーザは映画館１６０５を関心カテゴリとして選択することができる。すると、カメラ１１００は映画館に対する建物情報を別の建物の建物情報と区別できるように表示するようになる。即ち、カメラ１１００は関心カテゴリに設定れた建物の建物情報は別の建物と区別できるように表示するようになる。例えば、カメラ１１００は関心カテゴリに設定された建物の建物情報はハイライトされるように表示する。

【0132】

従って、ユーザが図３３のように映画館１６０５を関心カテゴリに設定した場合、図３４のように、カメラ１１００は映画館である第３建物１６３０の建物情報１６８０をハイライトするように表示する。これにより、第３建物１６３０の建物情報１６８０は、第１建物１６１０の建物情報１６６０及び第２建物１６２０の建物情報１６７０とがはっきり区別できることを確認することができる。

【0133】

この場合、カメラ１１００は建物の種類に対する関心カテゴリをユーザの操作によって選択する。そして、カメラ１１００は関心カテゴリに対応する建物に対する情報を別の建物に対する情報と区別できるように表示する。

【0134】

このような方法で、カメラ１１００はユーザによって設定された関心カテゴリに該当する建物の建物情報を別の建物と区別できるように表示できるようになる。従って、ユーザは所望のカテゴリの建物を簡単に確認することができるようになる。

【0135】

また、本実施形態において、カメラ１１００は撮影された映像と抽出された建物情報とを同時に保存することもできる。具体的に、カメラ１１００は撮影された映像を抽出された建物の情報が表示された状態で保存することもできる。
また、カメラ１１００は撮影された映像と抽出された建物の情報を別々のファイルで保存することもできる。このとき、カメラ１１００は撮影された映像に建物情報ファイルに対するタグを記録しておくこともできる。従って、カメラ１１００は今後撮影された映像をディスプレイする際、タグを参考にして建物情報ファイルを同時に読み込むことにより、撮影された映像に建物の情報を同時に表示できるようになる。

【0136】

このように、カメラ１１００は撮影された映像と建物情報を同時に保存し、ディスプレイする際にも、撮影された映像と建物情報を同時にディスプレイできるようになる。

【0137】

一方、本実施形態において、抽出の対象になるオブジェクトが建物であるものとして説明してきたが、これは一実施形態に過ぎず、建物以外にも抽出可能なオブジェクトなら如何なるものでも適用されてよい。即ち、カメラ１１００が増強実現の技術を通じて抽出できるオブジェクトなら如何なるものであっても適用でき、例えば、建物以外にも遺跡地や公園、橋などにも本実施形態が適用できる。

【0138】

本実施形態において、モバイル機器がカメラ１１００であるものとして説明してきたが、これは説明の便宜上のためのものである。従って、モバイル機器は映像を撮影して位置情報を検出可能な機器であれば、如何なる機器であっても適用されてよい。例えば、カメラ１１００は、携帯電話やＭＰ３プレーヤや、ＰＤＡ、ノートパソコンなどであってよい。

【0139】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0140】

２１０ 位置情報獲得部
２２０ 通信部
２６０ 制御部
２３０ 信号処理部
２４０ 映像処理部
２５０ 付加情報獲得部
２８０ ユーザ入力部
２００ モバイル機器
３２０ 保存部
３１０ 通信部
３３０ 制御部
３００ サーバ
１１１０ レンズ部
１１２０ 撮像素子
１１３０ 映像処理部
１１６０ 映像出力部
１１７０ ディスプレイ
１１９７ 位置検出部
１１９８ 方向検出部
１１９９ 距離検出部
１１４０ 制御部
１１８０ コーデック
１１９５ 通信部
１１５０ 操作部
１１９０ 保存部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】