(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022107744
(43)【公開日】2022-07-22
(54)【発明の名称】建造物情報検索システム
(51)【国際特許分類】
G06F 16/532 20190101AFI20220714BHJP
G06F 16/587 20190101ALI20220714BHJP
【FI】
G06F16/532
G06F16/587
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022089757
(22)【出願日】2022-06-01
(62)【分割の表示】P 2019072608の分割
【原出願日】2010-02-17
(31)【優先権主張番号】P 2009038303
(32)【優先日】2009-02-20
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】井上 英也
(72)【発明者】
【氏名】岩岡 徹
(72)【発明者】
【氏名】登坂 道子
(72)【発明者】
【氏名】羽鳥 正之
(72)【発明者】
【氏名】浜田 智秀
(57)【要約】
【課題】本発明の態様は、ユーザの活動を充実させることが可能な携帯型端末を提供する。
【解決手段】携帯型端末は、対象物を撮像する画像センサと、位置情報を取得する位置情報取得部と、方位情報を取得する方位センサと、仰角を示す仰角情報又は前記対象物までの距離を示す測距情報を取得するセンサと、前記対象物を撮像している間に、前記位置情報と前記方位情報と前記仰角情報又は前記測距情報とに基づいてサーバから受信した前記対象物の関連情報と前記対象物の画像とを表示部に表示させる制御部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象物を撮像する画像センサと、
位置情報を取得する位置情報取得部と、
方位情報を取得する方位センサと、
仰角を示す仰角情報又は前記対象物までの距離を示す測距情報を取得するセンサと、
前記対象物を撮像している間に、前記位置情報と前記方位情報と前記仰角情報又は前記測距情報とに基づいてサーバから受信した前記対象物の関連情報と前記対象物の画像とを表示部に表示させる制御部と
を備える携帯型端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯型端末に関する。
本願は、2009年2月20日に出願された特願2009-038303号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
従来より、撮像機能を有する撮像装置(例えば、デジタルカメラ)などの携帯情報機器などにおいて、当該携帯情報機器の位置する位置情報を検出し、検出した位置情報に対応させて撮像した画像データを処理する機能を有するものがある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の態様は、ユーザの活動を充実させることが可能な携帯型端末、情報取得システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の態様に従えば、対象物を撮像する画像センサと、位置情報を取得する位置情報取得部と、方位情報を取得する方位センサと、仰角を示す仰角情報又は前記対象物までの距離を示す測距情報を取得するセンサと、前記対象物を撮像している間に、前記位置情報と前記方位情報と前記仰角情報又は前記測距情報とに基づいてサーバから受信した前記対象物の関連情報と前記対象物の画像とを表示部に表示させる制御部と、を備える携帯型端末が提供される。
【0006】
本発明の別の態様に従えば、対象物を撮像する画像センサと、方位情報を取得する方位センサと、仰角を示す仰角情報又は前記対象物までの距離を示す測距情報を取得するセンサと、前記対象物を撮像している間に、前記方位情報と前記仰角情報又は前記測距情報と画像認識された前記対象物の画像認識結果とに基づいてサーバから受信した前記対象物の関連情報と前記対象物の画像とを表示部に表示させる制御部と、を備える携帯型端末が提供される。
【0007】
本発明の別の態様に従えば、前記携帯型端末と、前記サーバと、を備える情報取得システムが提供される。
【0008】
本発明の別の態様に従えば、対象物を撮像する画像センサと、位置情報を取得する位置情報取得部と、方位情報を取得する方位センサと、仰角を示す仰角情報又は前記対象物までの距離を示す測距情報を取得するセンサと、を備える携帯型端末のコンピュータに、前記対象物を撮像している間に、前記位置情報と前記方位情報と前記仰角情報又は前記測距情報とを取得するステップと、前記対象物を撮像している間に、前記位置情報と前記方位情報と前記仰角情報又は前記測距情報とに基づいてサーバから受信した前記対象物の関連情報と前記対象物の画像とを表示部に表示させるステップと、を実行させるためのプログラムが提供される。
【0009】
本発明の別の態様に従えば、対象物を撮像する画像センサと、方位情報を取得する方位センサと、仰角を示す仰角情報又は前記対象物までの距離を示す測距情報を取得するセンサと、を備える携帯型端末のコンピュータに、前記対象物を撮像している間に、前記方位情報と前記仰角情報又は前記測距情報とを取得するステップと、前記対象物を撮像している間に、前記方位情報と前記仰角情報又は前記測距情報と画像認識された前記対象物の画像認識結果とに基づいてサーバから受信した前記対象物の関連情報と前記対象物の画像とを表示部に表示させるステップと、を実行させるためのプログラムが提供される。
【発明の効果】
【0010】
本発明の態様によれば、ユーザの活動を充実させることが可能な携帯型端末が提供される。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施形態による情報取得システムの構成例を示すブロック図である。
【
図2】
図1におけるデータベースに記憶されている建造物テーブルの構成例を示す概念図である。
【
図3】本実施形態におけるデジタルカメラで撮像している画像の情報検索の処理の流れを示すフローチャートである。
【
図4】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図5】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図6】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図7】本実施形態におけるデジタルカメラで撮像した後における画像の情報検索の処理の流れを示すフローチャートである。
【
図8】本実施形態におけるデジタルカメラに入力した店舗情報からの情報検索の処理の流れを示すフローチャートである。
【
図9】本発明の他の実施形態による情報取得システムの構成例を示すブロック図である。
【
図10】本実施形態におけるデジタルカメラに入力した目的地情報からの情報検索の処理の流れを示すフローチャートである。
【
図11】第2の実施形態において画像表示欄に表示される画像の構成例を示す概念図である。
【
図12】本実施形態におけるデータベースに記憶されているスケジュール管理の予定テーブルの構成例を示す概念図である。
【
図13】本実施形態におけるデータベースに記憶されているスケジュール管理の予約テーブルの構成例を示す概念図である。
【
図14】本実施形態におけるデータベースに記憶されている履歴テーブルの構成例を示す概念図である。
【
図15】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図16】
図9のデータベースに記憶されている寄り道テーブルの構成を示す概念図である。
【
図17】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図18】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【発明を実施するための形態】
【0012】
[第1の実施形態]
以下、本発明の一実施形態について図面を参照して説明する。
図1は同実施形態による携帯情報機器、撮像装置及び情報取得システムの構成例を示すブロック図である。
図1において、情報取得システムは、撮像装置の一例であるデジタルカメラ1と、情報検索システム2とを備える。デジタルカメラ1は無線通信により無線基地局3とデータ通信を行うことにより、この無線基地局3及びインターネットなどの情報通信網4を介して、情報検索システム2(或いは、後述する情報検索サーバ21)とデータの送受信を行う。なお、本実施形態における撮像装置とは、上述のデジタルカメラ1やカメラ付携帯電話などのような撮像機能付の携帯型端末である。
デジタルカメラ1は、ブラウザ機能を有しており、制御部11、送受信部12、撮像部13、GPS(Global Positioning System)(位置情報取得部、測位器)14、記憶部15、方位センサ16、表示部17及びタイマ18を有している。ここで、本実施形態における無線通信とは、伝送路として線を使わなく、電波、光や音波などによる通信を含むものである。
【0013】
撮像部13は、CCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサと、レンズと等を有しており、被写体(撮像する対象物)を撮像して画像データを、上記制御部11に対して出力する。以下の説明において、本実施形態においては被写体は建造物(店舗を含む商用ビル、学校及び病院を含む公共の建物、工場、マンションを含む住宅、鉄塔、橋、ダム、遊園地、銅像等の人工的に建造された物、など)を示している。
GPS14は、ユーザからの撮像を指示する制御信号(例えば、撮像ボタンB1押下を検出した図示しない周辺回路が出力する制御信号)、あるいは情報検索を指示する制御信号(例えば、ユーザによって検索などを示すアイコン(標識)がタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号)が入力されると、デジタルカメラ1の緯度・経度にて示される位置情報を取得し、制御部11に対して出力する。
【0014】
方位センサ16は、電子コンパス、電磁コンパス、地磁気センサなどで構成され、ユーザからの撮像を指示する制御信号(例えば、撮像ボタンB1押下を検出した図示しない周辺回路が出力する制御信号)、あるいは情報検索を指示する制御信号(例えば、ユーザによって検索などを示すアイコン(標識)が指あるいはタッチペンなどによりタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号)が入力されると、撮像部13において例えば直列に配置されたCCD及びレンズにおいて、この直列方向の方位を検出し、方位情報として制御部11に出力する。なお、方位センサ16は、ユーザから見た被写体の方向(すなわち撮像方向)の方位を検出し、方位情報として制御部11に出力してもよい。ここで、方位情報として方位角を採用する場合、例えば、上記位置情報の緯度経度を中心点とし、北を基準(0度)として、時計廻りに東(90度)、南(180度)、西(270度)として、度・分・秒の単位で方位角を表現する。
【0015】
制御部11は、ユーザが撮像ボタンB1を押下する等の撮像を指示する制御信号が図示しない周辺回路から入力されると、撮像した画像データに画像識別情報を付し、この画像識別情報毎に撮像した画像データと、タイマ18から取得した時刻データ、位置情報及び方位情報とを対応させて記憶部15に撮像順に書き込む。
表示部17は、撮像部13が撮像している画像データ、またはユーザにより表示する画像として選択されて制御部11が記憶部15から読み出した画像データを表示する。
また、表示部17は、後述するように、情報検索システム2から受信した画像データ、あるいはユーザが入力した文字データなどの表示を、上記制御部11の制御により行う。
送受信部12は、無線通信により無線基地局3と送受信を行い、情報通信網4を介して、情報検索システム2との間にて、画像データ、文字データあるいは制御信号などのデータの送受信を行う。
【0016】
次に、情報検索システム2は、
図1に示すように情報検索サーバ21と、データベース22とを有している。なお、データベース22は、情報検索サーバ21内の記憶媒体(例えば、メモリやHDDなど)に設けられてもよいし、外付けの記憶媒体あるいは別の端末の記憶媒体に設けられてもよい。
データベース22には、
図2に示す建造物テーブルのように、建造物を識別するための建造物識別情報(例えば、建造物の緯度経度から作成される情報など)と、建造物の名称である建造物名称と、建造物情報(住所、電話番号、種別、建造物を中心とした周辺画像データなどの情報)と、建造物の緯度経度などによる位置情報と、建造物の説明(店舗であれば店が記載する情報)と、投稿情報(訪れたユーザの評価などのコメント、及びユーザの投稿した画像データ等)とが記憶されている。
【0017】
また、データベース22には、緯度経度を2次元平面の座標軸とし、登録されている各建造物が配置された地図データを記憶している。ここで、この地図データにおいては、各建造物が上記建造物識別情報により対応する緯度経度の位置に示されている。
情報検索サーバ21は、入力される上記位置情報及び上記方位情報を用い、位置情報の示した緯度経度の位置から、方位情報の示す方向において、最も近い距離にある建造物を探索し、探索された建造物の建造物識別情報を取得する。
また、情報検索サーバ21は、探索して取得した建造物の建造物識別情報に対応する建造物を、上記建造物テーブルから検索し、検索された建造物の各情報(建造物名称、建造物情報、など)をデジタルカメラ1に送信する。なお、情報検索サーバ21は、デジタルカメラ1に送信する上記の建造物の各情報を、例えば送受信データ容量などの必要に応じて、選択的に送信するようにしてもよい。その場合、情報検索サーバ21は、上記の建造物の各情報のうち残りの情報を、所定の操作(例えば、デジタルカメラ1からの要求など)などによって再度デジタルカメラ1に送信するようにしてもよい。
【0018】
<デジタルカメラ1で撮像している画像の情報検索>
次に、
図1及び
図3、並びに
図4から
図6を用いて本実施形態の動作を説明する。
図3はデジタルカメラ1を建造物に向けて撮像している状態で情報検索を行いたい場合の本実施形態における情報検索処理の動作例を示すフローチャートである。
図4から
図6は、デジタルカメラ1の表示部17に表示される画面及びデジタルカメラの撮像ボタンB1の配置を示した図である。
以下の説明において、例えば、ユーザが繁華街を歩きながら、夕食を食べるレストランを探索している状態にて説明する。
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対し、デジタルカメラ1のレンズを向け(ステップS1)、情報を得たい外観のレストランを見つけた場合、
図4に示されるように、デジタルカメラ1の画像表示欄MPに設けられているブラウズアイコンI1をタッチする(押下する)ことによりブラウズアイコンI1が選択される(ステップS2)。
このとき、制御部11は、上記撮像状態において、撮像部13から入力される、撮像部13が撮像している画像データを、
図4に示すように、画像表示欄MPに撮像しているレストランの画像データを表示部17を介して表示する。なお、本実施形態における画像表示欄MP(画像表示部)は、タッチパネル(例えば、感圧タイプ、静電タイプや音波タイプなどを含む)で構成されている。
なお、上述のステップS2は、デジタルカメラ1の撮像ボタンB1を押下した後に、撮像された上記レストランの画像が表示される画像表示欄MPを見ながらブラウズアイコンI1をタッチして選択するようにしてもよい。
【0019】
ブラウズアイコンI1がタッチされることにより、図示しない周辺回路から制御部11に対してブラウズアイコンI1が選択されたことを示す信号が出力される。
そして、制御部11は、入力されるブラウズアイコンI1が選択されたことを示す信号により、ブラウズアイコンI1が選択されたことを検出し、撮像部13の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部15に対して書き込み、この画像データを記憶させる(ステップS3)。
【0020】
また、制御部11は、ブラウズアイコンI1がタッチされた際、GPS14が取得した位置情報と、方位センサ16が取得した方位情報とを、関連情報として上記画像識別情報に対応させ、記憶部15に書き込み、記憶させる(ステップS4)。
そして、制御部11は、画像データ及び上記関連情報を記憶部15に書き込んだ後、デジタルカメラ1を識別するためのカメラ識別情報(ユーザに付与されたユーザの識別情報あるいはデジタルカメラ1に付与された識別情報)と、上記位置情報と、上記方位情報とを含む検索依頼信号を、送受信部12を介して情報検索システム2へ送信する(ステップS5)。なお、制御部11は、上述のステップS3~ステップS5において、上記画像データ及び上記関連情報などを記憶部15に書き込まずに送受信部12を介して上記検索依頼信号を情報検索システム2へ送信するようにしてもよい。
【0021】
次に、情報検索システム2において、情報検索サーバ21は、デジタルカメラ1から上記検索依頼信号を受信すると、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース22の地図データから検索対象の建造物を抽出する。そして、情報検索サーバ21は、抽出された建造物の建造物識別情報により
図2の建造物テーブルから、当該建造物のテーブルにおける各情報を、建造物識別情報を含めて検索結果情報としてデジタルカメラ1に対して送信する(ステップS7)。このとき、一例として、情報検索サーバ21は、検索依頼信号が送受信部12を介してデジタルカメラ1から送信される場合に付加されるデジタルカメラ1のネットワーク上のアドレスを読み出し、このアドレスに対して検索結果情報を送信する。なお、上述のステップS7においては、情報検索サーバ21は、データベース22に記憶されるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていることが検出された場合のみ、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース22の地図データから検索対象の建造物を抽出するようにしてもよい。この場合、情報検索サーバ21は、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていないことを検出した場合、例えば、カメラ識別情報に基づくユーザ登録が必要であることの情報をデジタルカメラ1に対して送信するようにすればよい。
【0022】
そして、デジタルカメラ1において、制御部11は、送受信部12を介して上記検索結果情報を情報検索システム2から受信すると、
図5に示すように、表示部17を介して情報表示欄SPに建物情報(関連情報)を表示する(ステップS8)。例えば、建造物がレストランの場合、どのような種類(中華、和風、フレンチ、イタリアンなど)のレストランかの情報と、レストランの電話番号と、住所となどが表示される。なお、
図5に示す情報表示欄SPは、本実施形態における一例であって、上記レストランの画像に情報表示欄SPの一部が重なるように表示してもよい。また、情報表示欄SPは、上記の画像表示欄MPの一部であって、例えば上述のブラウズアイコンI1や後述のCMアイコンI2などがタッチされて選択されることにより表示される。
また、ユーザがCMアイコンI2をタッチすると、上記周辺回路はCMアイコンI2が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、CMアイコンI2が選択されたことを、上記CMアイコンI2が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれるレストランのコマーシャル情報(メニューや、席数や、店内画像や、シェフの今日のおすすめ料理など)を、表示部17を介して情報表示欄SPに表示する。また、このコマーシャル情報(関連情報)に店内画像などの画像データが含まれている場合、制御部11は、その画像データを情報表示欄SPに表示する。
【0023】
また、ユーザが投稿閲覧アイコンI3をタッチすると、上記周辺回路は投稿閲覧アイコンI3が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、投稿閲覧アイコンI3が選択されたことを、上記投稿閲覧アイコンI3が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報(コメント)を、情報表示欄SPに表示部17を介して表示する。
そして、上記の投稿情報(関連情報)が複数ある場合、制御部11は、例えば、投稿された日付順に複数の投稿情報を情報表示欄SPに表示する。
【0024】
この投稿情報には画像データも含まれ、他のユーザの撮像した各料理の写真や店の内部の画像データが含まれている場合、制御部11は、この画像データを表示部17を介して情報表示欄SPに表示する。
そして、例えば、制御部11は、
図5において、情報表示欄SPの左端から右方向にスライドするようにタッチされたことを示す信号を検出した場合、情報表示欄SPの表示を終了して、
図4のように画像表示欄MPに上記レストランの画像を表示部17を介して表示する。なお、例えば、制御部11は、情報表示欄SPに投稿情報を表示中で、投稿閲覧アイコンI3が選択されたことを示す信号を検出した場合に、情報表示欄SPの表示又は投稿情報の表示を終了するようにしてもよい。
【0025】
また、例えば、制御部11は、情報表示欄SPに建物情報を表示した後にコマーシャル情報(又は投稿情報)を表示させる際に、建物情報と一緒にコマーシャル情報を表示してもよいし、建物情報を情報表示欄SPから消した後にコマーシャル情報を表示するようにしてもよい。
なお、制御部11は、情報表示欄SPに表示されたその店内画像などをタッチされたことを示す信号を検出すると、その店内画像の拡大画像又は縮小画像を情報表示欄SP(又は画像表示欄MP)に表示する。
【0026】
また、ユーザがメールアイコンI4をタッチすると、上記周辺回路はメールアイコンI4が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、メールアイコンI4が選択されたことを、上記メールアイコンI4が選択されたことを示す信号が入力されることにより検出し、
図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。ここで、入力欄IPは、ユーザが情報などを入力するテキスト欄Tと、タッチ画面型キーボード部Kと、で構成されている。この入力欄IPは、ユーザが、後述する投稿情報、店舗名や年度を入力する際などに使用される。
【0027】
ユーザは入力欄IPのテキスト欄Tに自身の食べた料理や、店内の雰囲気、あるいは店員のサービスの質などの投稿情報をタッチ画面型キーボード部Kを用いて記入する。そして、ユーザが、再度メールアイコンI4をタッチすることにより、制御部11は、メールアイコンI4が選択されたことを検出し、テキスト欄Tに記載されている文字情報及び画像表示欄Pに表示されている画像データを、カメラ識別情報及び建造物識別情報とともに投稿情報とし、その投稿情報を含む検索依頼信号を送受信部12を介して情報検索システム2に送信する。
【0028】
そして、情報検索サーバ21は、デジタルカメラ1から上記検索依頼信号を受信すると、データベース22の建造物テーブルの投稿欄に対して、建造物識別情報に対応させて入力された新たな投稿情報を書き込む。なお、情報検索サーバ21は、投稿記入欄G3に記入された投稿情報をデータベース22の建造物テーブルの投稿欄に書き込む前に、データベース22におけるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報の有無を検出し、カメラ識別情報が登録されていることが検出された場合にのみ、上述の投稿情報をデータベース22の建造物テーブルの投稿欄に書き込むようにしてもよい。
【0029】
次に、制御部11は、終了アイコンEが選択されたか否かの検出を行う(ステップS9)。ここで、ユーザが上記終了アイコンEをタッチすると、上記周辺回路は終了アイコンEが選択されたことを示す信号を制御部11に出力する。
そして、制御部11は、終了アイコンEが選択されたことを示す信号が入力されることにより、終了アイコンEが選択されたことを検出した場合、情報検索の処理を終了する。
一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されず、終了アイコンEが選択されたことを検出しない場合、処理をステップS1に戻し、デジタルカメラ1の撮像処理及び情報検索処理を継続する。
【0030】
また、制御部11は、ブラウズアイコンI1が選択された際に、情報検索システム2に送信する検索依頼信号に対して、撮像した画像データを含めるようにしても良い。
そして、情報検索サーバ21は、位置情報及び方位情報をもとに地図データから抽出された建造物の建造物識別情報を用いて、建造物テーブルから建造物情報の周辺画像データを検索する。情報検索サーバ21は、建造物テーブルから検索された建造物情報の周辺画像データと、送信される画像データとを、画像認識により比較し、画像データから特徴量(色、テキスチャー、形等を多次元ベクトルで表したデータ)を抽出し、記憶されている周辺画像データの特徴量と比較し、類似度が設定された数値以上であるか否かの検出により、撮像した建造物に対応しているか否かの判定を行うように構成しても良い。
この際、比較結果として周辺画像データの建造物と、画像データの建造物とが同様でないと判定した場合、情報検索サーバ21は、位置情報及び方位情報により次に距離的に近い建造物を地図データから抽出し、再度特徴量の比較を行い、新たに抽出された建造物の周辺画像データが撮像している画像データと類似性の評価を行うようにしても良い。
【0031】
なお、本実施形態におけるブラウズアイコンI1は、上述の撮像ボタンB1と同様に、ブラウズボタン(不図示)として撮像装置1に設けられてもよい。この場合、上記ブラウズボタンの機能は、上述のブラウズアイコンI1の機能と同様である。また、本実施形態における撮像ボタンB1は、不図示のスイッチ部を操作することによって、ブラウズボタンとして機能するようにしてもよい。この場合、ブラウズアイコンI1又はブラウズボタンは不要である。
【0032】
上述したように、画像データ、位置情報、及び方位情報から、検索したい被写体を特定する画像処理を行う際、撮像した画像データに複数の被写体が存在する場合、これらの複数の被写体のうちいずれを検索対象とするかの設定方法の一例として以下の2つが考えられる。
・画像の中心部分(又は中心の位置を占める領域)にある被写体を優先的(検索対象とする順番の1番目)に検索対象とする。
すなわち、情報検索サーバ21は、位置情報及び方位情報とともに、画像データがデジタルカメラ1から入力されると、この画像データの各被写体の輪郭抽出の処理を行い、抽出された輪郭が上記画像データの中心部分と一致する又は類似する被写体を選択する。
そして、情報検索サーバ21は、選択された被写体の画像データと周辺画像データとの比較を、それぞれの画像の特徴量により行う。
【0033】
・検索対象の被写体を、画像表示欄にてユーザにタッチさせることで選択させる。
すなわち、情報検索サーバ21は、位置情報及び方位情報とともに、画像データがデジタルカメラ1から入力されると、この画像データの各被写体の輪郭抽出の処理を行い、画像データにおける各被写体を特定し、それぞれの被写体に対して被写体識別情報を付与する。
そして、情報検索サーバ21は、輪郭抽出した画像データと、この画像データにおける被写体毎に被写体識別情報を対応付けたデータとを、デジタルカメラ1へ送信する。
【0034】
上記輪郭抽出された画像データが入力されると、制御部11は、画像表示欄MPに入力された画像データを表示し、「被写体を選択してください」などの被写体の選択を促す文字データを、テキスト欄Tに表示する。
ユーザが画像表示欄MPにおける被写体をタッチすることにより選択すると、制御部11は、画像表示欄MPにおけるタッチされた位置に対し、対応する位置の被写体を検出し、この被写体の被写体識別情報を送受信部12を介して情報検索サーバ21に送信する。
上記被写体識別情報が入力されると、情報検索サーバ21は、入力された被写体識別情報に対応する被写体の画像データと、周辺画像データとの比較を、それぞれの画像の特徴量により行う。
【0035】
次に、ズームを用いて任意の倍率にて撮像した被写体の特定について説明する。ズームにて撮像された画像データにおける被写体の特定を行う場合、情報検索サーバ21は、入力された位置情報及び方位情報をもとに地図データから抽出された建造物の建造物識別情報を用いて、建造物テーブルから建造物情報の周辺画像データを検索する。情報検索サーバ21は、建造物テーブルから検索された建造物情報の周辺画像データと、送信される画像データとを、画像認識により比較する。例えば、ユーザは、画像表示欄MPのズームアイコンをタッチしてズームにして撮像し、ブラウズアイコンI1をタッチする。このとき、制御部11は、撮像した画像データを情報検索サーバ21に送信するとき、ユーザがズームアイコンをタッチしたことを検出し、撮像した画像データに対して、ズームして撮像したことを示すズーム情報を付加して送受信部12を介して情報検索サーバ21に送信する。
また、情報検索サーバ21は、周辺画像データにおいて画像データの被写体に対応する画像が検出されない場合、ズームで撮像したズーム情報が付加されていると、予め設定した方位情報における方位角に対して、ズーム情報におけるズームの倍率に対応して(ズームイン及びズームアウトの倍率に対応して)予め設定された+側及び-側のそれぞれに所定の角度αの検索範囲を設け、この検索範囲内にある建造物に対応した周辺画像データと画像データとを画像認識により比較する。
【0036】
なお、ズームを用いて任意の倍率にて被写体を撮像した際の他の被写体の特定方法として、位置情報、方位情報に加えて、デジタルカメラ1に設けられている、撮像装置1と被写体との距離を測定する、レンジファインダー等の測距装置101(測距離部)により計測したデジタルカメラ1と検索対象の建造物との距離を示す距離情報を用い、地図データにおける建造物の大体の場所を特定してその範囲内を検索するようにしても良い。
この場合、制御部11は、撮像した画像データを情報検索サーバ21に送信するとき、撮像した画像データに対して、ズームして被写体を撮像したことを示すズーム情報と上記距離情報とを付加して送受信部12を介して情報検索サーバ21に送信する。
そして、情報検索サーバ21は、入力される位置情報及び方位情報と、上記距離情報とにより、地図データ上における建造物の場所を特定してその場所を中心とする所定の範囲を検索範囲とし、建造物の検索を行い、検索された建造物の周辺画像データと、デジタルカメラ1から入力した画像データとの比較を行っても良い。
【0037】
また、上述の抽出された建造物が複数階のビルであり、そのビルに複数の店が入居している場合、情報検索サーバ21は、ビル内に入居している全ての店の店名と、それぞれの店に対応した店識別情報とを対応付けて一覧表データとして、デジタルカメラ1へ送信する。
上記一覧表データが入力されると、制御部11は、その一覧表データにおける店名の一覧を画像表示欄MPに表示し、「気になる店名を選択してください」などの店名の選択を促す文字データを、テキスト欄Tに表示する。
そして、制御部11は、ユーザが画像表示欄MPをタッチした位置により、ユーザが選択した店名を検出し、その検出した店名の店識別情報を、送受信部12を介して情報検索サーバ21へ送信する。
【0038】
情報検索サーバ21は、デジタルカメラ1から入力された店識別情報に対応した店の情報を、建造物テーブルから読み出し、読み出した検索結果情報をデジタルカメラ1へ送信する。
制御部11は、情報検索サーバ21からの上記検索結果情報が入力されると、すでに説明したステップS8に記載したように、情報表示欄SPに検索結果情報を表示する。
この場合、データベース22の建造物テーブルには、建造物識別情報の下位情報として、店を識別するための店を識別情報が設けられており、この店を識別するための店識別情報に対応して、店の名称である店名と、店情報(住所、電話番号、種別、店の入り口あるいは内部の画像データなどの情報)と、建造物の緯度経度などによる位置情報と、店の説明(店が記載する情報)と、投稿情報(訪れたユーザの評価などのコメント、及びユーザの投稿した画像データ等)とが記憶されている。なお、
図2にて説明した各データは、建造物識別情報に対応付けられて建造物テーブルに記憶されている。
【0039】
また、上述したように検索対象として抽出された建造物が複数階の商業ビルである場合の店の他の選択方法を以下に説明する。上記他の選択方法として、本実施形態は、デジタルカメラ1に角度情報取得部102(例、仰角センサ)を設け、位置情報、方位情報とともに仰角を示す仰角情報(角度情報)を、画像データとともに情報検索サーバ21へ送信するようにしても良い。
情報検索サーバ21は、位置情報、方位情報により地図データから抽出された建造物の建造物識別情報により建造物テーブルを検索する。そして、情報検索サーバ21は、検索された建造物情報における建造物の階数を読み込み、かつデジタルカメラ1の位置情報と、建造物の位置情報とに基づき建造物からデジタルカメラ1(又は、撮像位置)までの距離を求める。
【0040】
情報検索サーバ21は、この求めた距離と仰角情報とから、デジタルカメラ1が撮像した高さ(地上からの距離)を示す高さデータを算出し、建造物の各階数の高さを示す情報(建造物テーブルにおいて建造物毎に記憶されている)から、算出した高さデータに対応する階数を検出する。
そして、情報検索サーバ21は、すでに述べたように、上記一覧表データを作成する際、上記高さデータに近い階に入居している店名をこの一覧表の上位に記述し、高さデータに遠く成るに従い、徐々に一覧表の下位方向に記述し、作成された一覧表をデジタルカメラ1に送信する。
【0041】
上記一覧表データが入力されると、デジタルカメラ1の制御部11は、画像表示欄MPに入力された一覧表データにおける店名の一覧を表示し、「気になる店名を選択してください」などの店名の選択を促す文字データを、テキスト欄Tに表示する。
そして、制御部11は、ユーザが画像表示欄MPをタッチした位置より、ユーザが選択した店名を検出し、ユーザが検出した店名の店識別情報を、情報検索サーバ21へ送受信部12を介して送信する。
上記店識別情報が入力されると、情報検索サーバ21は、入力された店識別情報に対応した店の情報を、建造物テーブルから読み出し、読み出した検索結果情報をデジタルカメラ1へ送信する。
検索結果情報が入力されると、制御部11は、すでに説明したステップS8に記載したように、情報表示欄SPに検索結果情報(関連情報)を表示する。
【0042】
<デジタルカメラ1で撮像した後における画像の情報検索>
次に、
図1及び
図7、並びに
図4から
図6を用いて本実施形態の動作を説明する。
図7はデジタルカメラ1により、建造物を撮像した後、記憶部15に記憶されている画像データを読み出し、その画像データに対する情報検索を行う場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、ユーザが新宿の繁華街を徘徊しつつ、夕食を食べるレストランを探索し、いくつかのレストランの画像データを撮像してから、そのなかから食事をするレストランを探す状態を示す例を示す。
【0043】
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対してデジタルカメラ1を向け(ステップS11)、後に情報検索を行いたい外観のレストランを見つけると、デジタルカメラ1に設けられている撮像ボタンB1(シャッター)を押下する(ステップS12)。ここで、制御部11は、撮像部13の撮像している画像データを、
図4に示すように表示部17の画像表示欄MPに撮像しているレストランの画像データを表示する。
【0044】
次に、ユーザにより撮像ボタンB1が押下されることにより、周辺回路は撮像ボタンが押下されたことを示す信号を制御部11に対して出力する。
そして、制御部11は、撮像ボタンB1が押下されたことを示す信号が入力されることにより、撮像ボタンB1が押下されたことを検出し、撮像部13の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部15に対して書き込んで記憶させる(ステップS13)。
そして、制御部11は、撮像ボタンB1が押下された時点において、GPS14が取得した位置情報と、方位センサ16が取得した方位情報とを、上記画像識別情報に対応させ、記憶部15に書き込み、記憶させる(ステップS14)。
【0045】
次に、ユーザが撮像したレストランの情報収集を行う場合、ユーザは、撮像した画像の読み出しアイコンRをタッチする。これにより、周辺回路は、読み出しアイコンRが選択されたことを示す信号を制御部11に対して出力する。
ここで、制御部11は、読み出しアイコンRが選択されたことを示す信号が入力されるか否かにより、記憶部15に画像が記憶されているか否かの判定を行う(ステップS15)。
このとき、読み出しアイコンRが選択されたことを示す信号が入力されると、制御部11は、読み出しアイコンRが選択されたことを検出し、情報の探索を開始するため、処理をステップA16へ進める。なお、読み出しアイコンRは、読み出しボタン(不図示)としてもよい。その場合、読み出しボタンは、撮像ボタンB1のようにデジタルカメラ1本体に設ければよい。
一方、読み出しアイコンRが選択されたことを示す信号が入力されない場合又は記憶部15に画像が記憶されていない場合、制御部11は、新たな撮像処理を行うため、処理をステップS11の状態に戻す。
【0046】
そして、制御部11は、ユーザが読み出しアイコンRをタッチして、周辺回路から読み出しアイコンRが選択されたこと示す信号が入力されると、記憶部15から時系列に撮像した順番に、画像データを順次読み出し(ステップS16)、画像データをサムネイル画像として予め設定した枚数毎に(又は画像データを1枚ずつ)、表示部17を介して画像表示欄MPに表示する。
また、1ページにサムネイル画像が入りきらない場合(或いは1枚ずつ表示する場合)、ユーザが画像表示欄MPに表示された画像を所定の方向にスライドさせるようにタッチすると、前ページ又は次ページのサムネイル画像を画像表示欄MPに表示する。この時、制御部11は、画像表示欄MPに表示された画像が所定の方向にスライドさせるようにタッチされたことを示す信号を検出することで、前ページ又は次ページのサムネイル画像を画像表示欄MPに表示部17を介して表示する。
【0047】
次に、ユーザが例えばサムネイル画像のなかから興味あるレストランの画像をタッチにより選択し、さらに、ブラウズアイコンI1をタッチすると、周辺回路は選択された画像識別信号とともに、ブラウズアイコンI1が選択されたことを示す信号を制御部11に対して出力する。
これにより、制御部11は、ブラウズアイコンI1が押下されたことを示す信号が入力されると、選択された画像データの画像識別情報により、記憶部15からこの画像識別情報に対応する位置情報及び方位情報を読み出し、カメラ識別情報、位置情報及び方位情報とを含む検索依頼信号を、送受信部12を介して情報検索システム2へ送信する(ステップS5)。
【0048】
以下の、ステップS6~ステップS8の処理については、
図3におけるステップS6~ステップS8の処理と同様のため、説明を省略する。
次に、制御部11は、終了アイコンEが選択されたか否かの検出を行う(ステップS18)。このとき、制御部11は、ユーザにより終了アイコンEがタッチされて、周辺回路から終了アイコンEが選択されたことを示す信号が入力された場合、ブラウズの処理を終了する。一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されない場合、処理をステップS16に戻し、サムネイル画像からの画像の選択処理を継続する。
【0049】
<デジタルカメラ1に入力した店舗情報からの情報検索>
次に、
図1及び
図8、並びに
図4から
図6を用いて本実施形態の動作を説明する。
図8はデジタルカメラ1に対して、ユーザが店舗名を入力することにより、データベース22に記憶されている対応する店舗名の
図2の建造物テーブルから、入力した店舗名のレストランなどの情報検索を行いたい場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、原宿にて夕食を行う場合、知人から聞いたレストランの情報を確認する状態を示す。
ユーザが検索アイコンI5をタッチにより選択すると、上記周辺回路は検索アイコンI5が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、検索アイコンI5が選択されたことを、上記検索アイコンI5が選択されたことを示す信号が入力されることにより検出し、
図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。
そして、ユーザが入力欄IPのテキスト欄Tに対し、タッチ画面型キーボード部Kを用いて検索を行いたいレストランの店舗名を書き込み(ステップS21)、ユーザが検索アイコンI5を再度タッチする(ステップS22)。
【0050】
これにより、周辺回路は検索アイコンI5が選択されたことを示す信号とともに、テキスト欄Tに入力された店舗名の文字データを制御部11に対して出力する。
そして、制御部11は、検索アイコンI5が選択されたことを示す信号の入力により、検索アイコンI5が選択されたことを検出し、上記テキスト欄Tに入力された店舗名の文字データを読み込み、自身のカメラ識別情報とともに、検索依頼信号として、情報検索システム2に対して、この検索依頼信号を送受信部12を介して送信する(ステップS23)。
次に、情報検索サーバ21は、上記検索依頼信号を入力すると、データベース22における建造物テーブルから、上記店舗名に対応する建造物(店舗)の情報(店舗情報、
図2のテーブルにおける各情報)を読み出す(ステップS24)。
【0051】
上記店舗情報を読み込んだ後、情報検索サーバ21は、この取得した上記店舗情報をデジタルカメラ1へ送信する(ステップS25)。
店舗情報が送受信部12を介して受信されると、制御部11は、表示部17を介して、
図5の画像表示欄MPに建造物情報に含まれる店舗周辺の画像データを表示するとともに、情報表示欄SPに建物情報を表示する(ステップS26)。例えば、レストランが、どのような種類(中華、和風、フレンチ、イタリアンなど)であるかの情報と、電話番号となどが表示される。
また、ユーザがCMアイコンI2をタッチにより選択すると、制御部11は、CMアイコンI2が選択されたことを検出し、検索結果情報に含まれるレストランのコマーシャル情報(メニューや、シェフの今日のおすすめ料理など)を、情報表示欄SPに表示部17を介して表示する。
【0052】
また、ユーザが投稿閲覧アイコンI3をタッチにより選択すると、周辺回路は投稿閲覧アイコンI3が選択されたことを示す信号を制御部11に対して出力する。
制御部11は、投稿閲覧アイコンI3が選択されたことを示す信号が入力されることにより、投稿閲覧アイコンI3が選択されたことを検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報を、情報表示欄SPに表示部17を介して表示する。
【0053】
なお、制御部11は、複数の投稿情報がある場合、その複数の投稿情報を順次、情報表示欄SPに表示部17を介して表示する。また、制御部11は、投稿情報に画像データも含まれる場合、この画像データを情報表示欄SPに表示部17を介して表示する。
【0054】
そして、制御部11は、終了アイコンEが選択されたか否かの検出を行う(ステップS27)。この終了アイコンEの選択の検出は、<デジタルカメラ1で撮像している画像の情報検索>におけるステップS9の処理と同様であるため、説明を省略する。
このとき、制御部11は、ユーザが終了アイコンEをタッチにより終了アイコンEが選択されたこと示す信号が周辺回路から入力された場合、ブラウズの処理を終了する。一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されない場合、処理をステップS21に戻し、店舗の情報の検索を継続する。
【0055】
<データベース22の更新処理>
店のエクステリア変更、あるいは建造物の建て替えなどにより、データベース22の建造物テーブルに記憶されている建造物情報が古い場合、以下のように対応する建造物のデータの更新が行われる。
すでに説明したように、デジタルカメラ1から位置情報、方位情報及び画像データが入力されると、情報検索サーバ21は、位置情報及び方位情報に基づいて、地図データから対応する建造物識別情報を抽出し、この建物識別情報により建造物テーブルから建造物の周辺画像データと、入力された画像データとの画像の特徴量を比較し、画像認識処理を行う。
しかしながら、情報検索サーバ21は、周辺画像データにおけるいずれの建造物と、画像データの建造物とに類似性が無い場合、例えば「対応する建造物が検索できませんでした。他の画像データを入力してください」の文字データを、デジタルカメラ1へ送信する。
これにより、制御部11は、入力される上記文字データを情報表示欄SPに表示する。
【0056】
また、情報検索サーバ21は、建造物テーブルにおける同一の位置情報を示す位置に、ユーザから送信された画像データと異なる建造物の画像データが登録されていた場合、建造物テーブルにおける同一の位置情報の示す位置に記載されていたため、建造物テーブルに建造物毎に設けられている修正フラグ項目に、画像データの修正が必要なことを示す修正フラグ情報(例えば、数字の1など)を登録する。
そして、情報検索サーバ21は、予め設定されている建造物テーブルの修正周期毎に、建造物テーブルに登録されている修正フラグ情報に対応する建造物の位置情報により、地図データ(地図データ内にある緯度経度の位置情報と住所との対応テーブル)から住所を抽出する。その住所が抽出されると、情報検索サーバ21は、この住所に対応する最新の建造物の情報を、ウェブの住所-建造物の検索システムなどから建造物に出店している店舗情報を入手し、建造物テーブルの更新を行う。この作業は、建造テーブルの管理者がウェブの検索システムを利用して、地図データから得た上記住所から、その住所の建造物を検索し、その建造物に出店している店を探索し、探索結果により建造物データを更新するようにしても良い。なお、建造物の画像データは、ユーザから送信された画像データを用いて更新してもよい。
上述した構成により、建造物テーブルにおける建造物の各情報(建造物名称、建造物情報、現像物の画像データなど)を、常に最新の情報に更新させることが可能となる。
【0057】
<ブラウズした情報の有効利用1>
情報検索サーバ21は、検索された建造物テーブルにおける各店舗の店舗情報に対し、その店舗の近傍(例えば、半径1kmの円内の領域)に位置する類似店(同様な商品を販売、あるいは同様なジャンルのレストラン)に関する類似情報を建造物テーブルから検索するようにしてもよい。この場合、情報検索サーバ21は、検索された店舗に対応する類似店の店舗名と、検索された店舗からの距離とに、類似店の店舗の建造物識別情報を対応させ、デジタルカメラ1へ送信する。
これにより、制御部11は、情報検索サーバ21から入力された類似点の店舗名と店舗からの距離との一覧表のコンボボックスを、表示部17を介して画像表示欄MPに表示する。
【0058】
そして、制御部11は、上記一覧表のコンボボックスからユーザがタッチして選択した店舗の建造物識別情報を情報検索サーバ21へ送信する。
ユーザの選択した店舗の建造物識別情報が入力されると、情報検索サーバ21は、建造物テーブルから、入力された建造物識別情報に対応する建造物の情報を読み出し、読み出した情報を検索結果情報としてデジタルカメラ1へ送信する。
上記建造物の情報が入力されると、制御部11は、すでに説明した<デジタルカメラ1で撮像している画像の情報検索>における表示と同様に、入力された類似店舗の建造物情報を、表示部17を介して情報表示欄SPに表示する。
【0059】
<ブラウズした情報の有効利用2>
情報検索サーバ21は、ユーザがデジタルカメラ1から検索を依頼した店舗識別情報の履歴をカメラ識別情報に対応させ、データベース22のユーザ登録テーブルにカメラ識別情報毎(ユーザ毎)に登録する。
この場合、情報検索サーバ21は、店舗識別情報に対応して、建造物テーブルから店舗のジャンル(この場合建造物テーブルには各店舗のジャンルが記憶されている)を検出し、ユーザ登録テーブルのカメラ識別情報に対応させて、検出されたジャンルの回数情報とともに、そのジャンルをユーザ登録テーブルに登録する。なお、検索されたジャンルの回数が多いジャンルは、ユーザの興味が高い嗜好情報とする。
また、述べた<ブラウズした情報の有効利用1>にて、類似店の店舗情報(類似情報)をデジタルカメラ1に送信する際、情報検索サーバ21は、検索依頼を送信したデジタルカメラ1のカメラ識別情報に対応するユーザ履歴として設定した順位、例えば検索されたジャンルの回数が多い順に5番目までのジャンルを嗜好情報として読み出す。そして、情報検索サーバ21は、類似店の店舗を店舗情報から検索する際に、この嗜好情報に対応するジャンルの類似の店舗を検索するようにしても良い。これにより、本実施形態では、<ブラウズした情報の有効利用1>において、よりユーザの嗜好に対して精度の高い類似する店舗の提供を行うことができる。
【0060】
<データベース22に登録してある店舗に対する課金処理>
データベース22の建造物テーブルは、上述した建造物が店舗(レストランや会社も含む)である場合、この店舗毎に割引クーポンのデータが記憶されている構成としてもよい。
そして、情報検索サーバ21は、検索結果情報に割引クーポン情報を付加し、デジタルカメラ1へ送信する。
ユーザが上記割引クーポン情報を用いて、食事をしたり、買い物をしたりすると、情報検索サーバ21は、割引クーポン情報の使用の有無からユーザが食事あるいは買い物をしたかの有無を検出する。例えば、上記割引クーポン情報がデジタルカメラ1の情報表示欄SPに表示されるバーコード(2次元バーコードを含む)などの場合、店舗の読み取り機がそのバーコードを読み取り、デジタルカメラ1から送信されるカメラ識別情報、及び買い物(または食事)の料金ととともに、割引クーポン情報が使用されたことを示す利用情報を情報検索システム2へ送信する。
【0061】
これにより、情報検索サーバ21は、上記利用情報を受信すると、この利用情報に付加されたカメラ識別情報に対応する履歴情報を、データベース22から読み出し、情報検索をして店舗を利用したのか、また店舗の提供する情報を見て店舗を利用したのか、あるいは投稿情報をみて店舗を利用したのかの情報の利用段階において、すなわち、データベース22の情報をどの程度利用したかに応じた情報提供料として、ユーザが利用した店舗に対して異なる課金を行う。また、情報検索サーバ21は、カメラ識別情報毎に、情報検索を行った段階、及び割引クーポン情報を利用した履歴を、データベース22に記憶される履歴テーブルに書き込む。
【0062】
このバーコードには店舗を示す建造物識別情報が含まれている。データベース22には、この建造物識別情報に対応させた、各店舗に対応する課金の履歴と、課金の積算値とを記憶する課金テーブルが設けられている。
そして、情報検索サーバ21は、建造物識別情報に対応して、利用した金額及び上記情報の利用段階とに対応する課金を、上記課金テーブルに履歴として書き込み、積算値に新たな課金を加算して積算値の更新を行う。
【0063】
<ユーザに対するポイントの付加処理>
情報検索サーバ21は、ユーザが割引クーポン情報を店舗で利用する毎に、割引クーポン情報を用いた際の利用金額に応じた(例えば、利用金額にポイント係数を乗じて計算した)ポイントを求め、データベース22におけるユーザ登録テーブルにおいて、求めたポイントを、カメラ識別情報に対応して積算する。
また、情報検索サーバ21は、投稿情報を送信してきたユーザに対し、予め設定された値のポイントを、上記ユーザ登録テーブルに、カメラ識別情報に対応して積算する。
上記ポイントはお金の代わりに、代金支払いにおいて割引クーポン情報とともに使用することができる。
【0064】
<投稿情報の表示順番>
ここで、情報検索サーバ21は、デジタルカメラ1に対して、最初の段階において投稿情報として、ニックネームと表題とを、投稿識別情報とともに送信するようにしてもよい。
そして、制御部11は、最初に情報表示欄SPにニックネームと表題のみを複数表示する。そして、ユーザは、その複数表示されたなかから、気になる投稿情報のニックネームと表題とをタッチして選択する。これにより、周辺回路は、ニックネームと表題とが選択されたことを示す信号と、選択された投稿情報の投稿識別情報を制御部11に対して送信する。
これにより、制御部11は、情報検索システム2に対して、投稿識別情報とともに投稿情報送信依頼を送信する。
【0065】
これにより、情報検索サーバ21は、送信された投稿識別情報に対応する文字データ及び画像データ(投稿情報の全体)をデジタルカメラ1に対して送信する。
ここで、情報検索サーバ21は、各投稿情報に対して、識別のための投稿識別情報を付与し、カメラ識別情報と対応させて、ユーザ登録テーブルに書き込んで記憶させている。
なお、本実施形態においては、制御部11は、情報検索システム2からの文字データ及び画像データを、送受信部12を介して受信すると、情報表示欄SPに文字データを表示し、画像データを画像表示欄MPに表示してもよい。
【0066】
また、情報検索サーバ21は、ユーザ登録テーブルにおいて、参照された投稿情報に対応する投稿識別情報をユーザ登録テーブルから検索し、この投稿識別情報に対応したカメラ識別情報の参照回数をインクリメントする。
そして、情報検索サーバ21は、ユーザに投稿情報を選択させる、最初のニックネーム及び表題の表示段階において、投稿情報の選択された回数の多い順に、すなわち参照回数の多いユーザのニックネームと表題とを、情報表示欄SPに表示する順位を上位とした表示リストを、デジタルカメラ1へ送信する。
これにより、制御部11は、上記表示リストに従い、情報表示欄SPにニックネームと表題を順次表示する。
【0067】
<過去の画像データの表示処理>
また、本実施形態においては、データベース22は、各緯度経度における建物及び風景が年度ごとに撮影された画像データが、緯度経度毎に対応して記憶された過去画像テーブルを有するようにしてもよい。
ユーザが過去画像アイコンI6をタッチにより選択すると、上記周辺回路は過去画像アイコンI6が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、過去画像アイコンI6が選択されたことを、上記過去画像アイコンI6が選択されたことを示す信号が入力されることにより検出し、
図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。
そして、ユーザは、テキスト欄Tにタッチ画面型キーボード部Kを用いて年度(例えば、西暦)を記入した後、過去画像アイコンI6(又はブラウズアイコンI1)をタッチする。
【0068】
これにより、周辺回路は、過去画像アイコンI6が選択されたことを示す信号とともに、上記年度の文字データを制御部11へ送信する。
制御部11は、過去画像アイコンI6が選択されたことを示す信号を検出すると、テキスト欄Tに記入された年度を示す文字データを読み込む。
年度のデータを読み込んだ後、制御部11は、過去画像検索要求を、読み込んだ年度と、位置情報と、方位情報と、カメラ識別情報とともに、情報検索システム2へ送信する。
【0069】
次に、情報検索システム2において、情報検索サーバ21は、画像表示欄Pに表示されているデジタルカメラ1から受信した建造物の位置情報に基づく緯度経度に対応する過去画像テーブルを選択する。そして、情報検索サーバ21は、この選択された過去画像テーブルにおける方位情報及び年度に対応する画像データを読み込み、読み出した画像データをデジタルカメラ1に送信する。デジタルカメラ1は、情報検索サーバ21から受信した上記年度に対応する画像データを画像表示欄MPに表示部17を介して表示する。なお、情報検索サーバ21は、上記読み出した画像に対する情報などを付加されている場合には、読み出し画像データとともに、その情報もデジタルカメラ1に送信する。
これにより、ユーザは、過去の各年度にどのような建造物があったのか、あるいは何もなく風景のみであったのかなどの情報を得ることができる。
【0070】
ここで、情報検索サーバ21は、対応する緯度経度の過去画像テーブルが検索できない場合、方位情報の方向にある緯度経度であり、かつ最も近い緯度経度の過去画像テーブルを検索し、これから画像データの抽出を行う。
また、写真が無い時代であれば、その時代にかかれた風景画、あるいは想像して作成されたCG(Computer Graphics)の画像データを、写真の画像データに代えて、年度に対応して、記憶部15の上記過去画像テーブルに記憶させておいても良い。
【0071】
[第2の実施形態]
図9は
図1の情報取得システムにスケジュール管理機能を持たせた本発明の他の実施形態である。第1の実施形態と同一又は同等な構成については同一の符合を付し、以下、第1の実施形態と異なる構成及び動作について説明する。第2の実施形態は、第1の実施形態に対して以下に説明する機能が付加されたものである。
ナビゲーション部19は、ユーザが入力した出発地、目的地、出発時刻(あるいは到着時刻)、目的地でのスケジュールなどに基づいて、情報検索サーバ21を介して、経路検索を行い、この経路に従って交通機関あるいは宿泊施設の予約処理を行う。
スケジュール管理部20は、ユーザが入力した会議や会食の時刻、あるいはナビゲーション部19が予約した交通機関の出発時刻及び到着時刻に対応し、それぞれの時刻をユーザブザーや(又はバイブレーション)音声(又は音楽)により通知する。
【0072】
<スケジュール管理機能>
以下、
図9及び
図10を参照し、第2の実施形態による情報取得システムのスケジュール管理機能の動作を説明する。
図10は、上記情報取得システムのスケジュール管理処理の動作例を示すフローチャートである。
ユーザが交通機関の経路探索及び予約を行うため、デジタルカメラ1を起動すると、制御部11は、
図11に示す入力画面の画像データを、表示部17を介して画像表示欄MPに表示する。
ユーザが経路検索アイコンBをタッチすると、制御部11は、経路検索アイコンBがタッチされたことを検出し、ナビゲーション部19に対して、ナビゲーション処理を開始させる制御信号を出力する。
これにより、ナビゲーション部19は、ユーザに対し、テキスト欄Tに出発地を入力することを促す通知を、画像表示欄MPに表示させる。
そして、ユーザは、タッチ画面型キーボード部Kを用いて出発地の地名の入力を行い、確定する(ステップS1)。確定とは、例えば、タッチ画面型キーボード部Kにおける確定キーをタッチして入力を決定することを示している。
【0073】
また、このとき、予めユーザが出発地として会社または自宅などを予め設定しておくことにより、ナビゲーション部19が出発地の候補を記憶部15の出発地テーブルから読み出し、コンボボックスとして画像表示欄MPに表示し、ユーザが画面上の複数の出発地のいずれかを選択する構成としても良い。
ここで、出発地の登録処理としては、ユーザが登録アイコンPをタッチすると、制御部11は、登録するデータの種類を確認するコンボボックスを画像表示欄MPに表示する。
そして、ユーザが上記コンボボックスから出発地を選択すると、制御部11は、テキスト欄Tに地名を入力することを促す通知を画像表示欄MPに表示する。ユーザがタッチ画面型キーボード部Kにより、テキスト欄Tに地名を入力して確定することにより、制御部11は、テキスト欄Tに入力された地名を、記憶部15の出発地テーブルに格納する。
【0074】
出発地が入力されると、ナビゲーション部19は、この出発地と自身のカメラ識別情報とともに検索依頼を情報検索サーバ21へ送信する。
そして、情報検索サーバ21は、目的地を選択するための世界地図の画像データをデータベース22から読み出し、この世界地図の国の領域に対応する国識別情報とともに、デジタルカメラ1に対して、目的地検索用データとして送信する。
この世界地図の画像データが入力されると、ナビゲーション部19は、ユーザに対し、目的地を入力することを促す通知とともに、入力された世界地図を画像表示欄MPに表示させる。
【0075】
ユーザが上記世界地図における目的地のある国をタッチすると、ナビゲーション部19は、タッチされた世界地図の領域を検出し、この領域に対応する国の国識別情報を情報検索サーバ21へ送信する。
国識別情報が入力されると、情報検索サーバ21は、国識別情報に対応する国内地図、例えばユーザが日本を選択した場合、日本地図の画像データをデータベース22から読み出し、単位となる各地域(例えば、日本であれば都道府県、アメリカであれば州、中国であれば省など)を示す地域識別情報とともにデジタルカメラ1へ送信する。
国内地図の画像データが入力されると、ナビゲーション部19は、ユーザに対し、目的地を入力することを促す通知とともに、入力された国内地図、例えば日本地図を画像表示欄MPに表示させる。
【0076】
ユーザが上記日本地図における目的地のある地域をタッチすると、ナビゲーション部19は、タッチされた国内地図の領域を検出し、この地域に対応する都道府県の地域別情報を情報検索サーバ21へ送信する。
地域識別情報が入力されると、情報検索サーバ21は、地域識別情報に対応する国内地図、例えばユーザが日本地図における宮城県を選択した場合、宮城県び地域識別情報に基づいて、地域地図として宮城県地図の画像データをデータベース22から読み出し、各最小単位(例えば、日本であれば市町村、アメリカであれば群、市、中国であれば県、市など)を示す最小単位識別情報と、出発時刻あるいは到着時刻の何れかの時刻(日付)の入力を促すデータとともにデジタルカメラ1へ送信する。ここで、上記地域識別情報は、画像表示欄MPに表示されている日本地図の画像データにおける各地域に対応して設定されている。ユーザがその地域をタッチすることにより、ナビゲーション部19は、タッチされた画像データの地域に対応して設定されている地域識別情報を読み込んでいる。
【0077】
地域地図の画像データが入力されると、ナビゲーション部19は、ユーザに対し、目的地を入力することを促す通知とともに、入力された地域地図、例えば宮城県地図を画像表示欄MPに表示させる。
ユーザが上記宮城県地図における目的地のある最小単位をタッチすると、ナビゲーション部19は、タッチされた最小単位の宮城県地図における領域を検出し、この領域の最小単位識別情報を検出する。
そして、ユーザがテキスト欄Tに対して、タッチ画面型キーボード部Kにより、日付を含めて出発時刻あるいは到着時刻(例えば、出発時刻の場合Fromを書き込み、到着時刻の場合Toを記載して区別する)を書き込んで確定すると、ナビゲーション部19は、少なくともユーザの選択した市町村の最小単位識別情報と、出発又は到着の日時を示す時刻情報とを含む経路情報を情報検索サーバ21へ、送信する(ステップS2)。
【0078】
目的地として、上記最小単位識別情報が入力されると、情報検索サーバ21は、この最小単位、例えば最小単位識別情報が仙台市を示す場合、この目的地である仙台市の地図データをデジタルカメラ1の制御部11へ送信する。
上記地図データが入力されると、制御部11は、入力される地図データを画像表示欄MPに表示させる。
そして、ユーザが目的とする目的地(建物など)をタッチすると、制御部11は、ユーザがタッチした場所の位置情報を地図データから読み取り、この読み取った位置情報をカメラ識別情報とともに情報検索サーバ21へ送信する。このとき、制御部11は、GPSにより位置情報を取得し、このユーザの位置情報も、上記地図データから読み取った位置情報及びカメラ識別情報とともに情報検索サーバ21へ送信する。
【0079】
情報検索サーバ21は、入力される地図データから読み取った上記位置情報から、このユーザの目的地近傍の駅を検索し、同様に、ユーザの現在位置に対し予め設定された範囲内にある出発地近傍にある駅とをデータベース22に記憶されている地図データから検索する。 そして、情報検索サーバ21は、目的地である仙台市にある目的駅(例えば、目的地に最も近い駅など)と、出発地として設定された出発駅との間の交通機関(飛行機、電車、バス、タクシー、船など)の経路検索を行う(ステップS3)。
情報検索サーバ21は、出発駅と目的駅との間の上記経路検索を、日付及び出発時刻(あるいは到着時刻)に基づいて、経路に関する情報が記憶されたデータベース22又は該交通機関の経路検索システムに対して行う。
【0080】
情報検索サーバ21は、経路検索のシステムから得られた出発駅と目的駅との間の経路(交通機関における出発時刻及び到着時刻と、料金の情報とを含み、経路としては単数あるいは複数の場合があるが、以下複数として説明する)を、各経路に経路識別情報を付して経路に関する情報として、デジタルカメラ1へ送信する。
経路の検索結果が入力されると、ナビゲーション部19は、画像表示欄MPに表示部17を介し、経路毎に出発駅と目的駅と出発時刻と到着時刻と料金とを表示させる。
例えば、ユーザに都合の良い時間の経路をタッチして選択する(ステップS4)と、ナビゲーション部19は、ユーザがタッチした経路を検出し、検出した経路の表示の色を変化させ、選択した経路が正しいか否かを確認させる通知を画像表示欄MPに表示させる(ステップS5)。
【0081】
ナビゲーション部19は、ユーザの経路選択の確認のために、例えば、選択した経路で良いかどうかについてのYESとNOとの文字情報を表示し、選択した経路で良い場合はYES、選択した経路で悪い場合(違う経路を選択したい場合)はNOをタッチさせる通知を画像表示欄MPへ表示させる。
ここで、ナビゲーション部19は、ユーザがYESをタッチしたことを検出すると、処理をステップS6へ進め、一方、ユーザがNOをタッチしたことを検出すると、処理をステップS4へ戻す。
【0082】
ユーザがYESをタッチしたことを検出すると、ナビゲーション部19は、その経路の交通機関の予約を行うか否かの確認を行う(ステップS6)。
ここで、ナビゲーション部19は、例えば、YESとNOとの文字情報を表示し、予約を行うのであればYES、一方予約を行わないのであればNOをタッチさせる通知を画像表示欄MPへ表示させ、ユーザの予約の有無を確認する。
ここで、ナビゲーション部19は、ユーザがYESをタッチしたことを検出すると、ユーザの選択した経路の経路識別情報を情報検索サーバ21へ送信するとともに処理をステップS7へ進め、一方、ユーザがNOをタッチしたことを検出すると、処理をステップS8へ進める。
【0083】
ユーザの選択した経路の経路識別情報(経路に関する情報)が入力されると、情報検索サーバ21は、経路識別情報の示す経路における各交通機関の予約処理を行う(ステップS7)。
経路に関する情報には、出発駅を出発する交通機関の出発時刻(日付を含む)と、目的駅に到着する到着時刻(日付を含む)と、が情報として含まれている。また、経路情報に乗り換えがある場合、経路に関する情報には、乗り換え駅における乗り換える交通機関の出発時刻(日付を含む)も情報として含まれている。
ここで、情報検索サーバ21は、喫煙車両あるいは禁煙車両のいずれか、また窓側あるいは通路側のいずれかの座席に対する嗜好情報を確認する画像データをデジタルカメラ1に対して送信する。このとき、情報検索サーバ21は、喫煙車両、禁煙車両、窓側、通路側の4通りの組合せに対してそれぞれ組合せ識別情報を付与し、この組合せ識別情報を上記画像データとともにデジタルカメラ1へ送信する。
【0084】
画像データと組合せ識別情報とが入力されると、ナビゲーション部19は、喫煙車両、禁煙車両、窓側、通路側の4通りの組合せのコンボボックスを画像表示欄MPに表示させ、ユーザにいずれかを選択することを促す通知を画像表示欄MPに表示させる。
ユーザが4通りの組合せの何れかを選択すると、ナビゲーション部19は、ユーザの選択した組合せを検出し、その組合せに対応する組合せ識別信号を情報検索サーバ21に対して送信する。
上記組合せ識別情報が入力されると、情報検索サーバ21は、各交通機関のホームページにおける予約システムを用いて予約処理を行う。また、情報検索サーバ21は、上記予約システムにおいてチケットレス(例えば、切符無しにて例えば携帯電話などによりチェックインあるいは改札が可能)にて予約できる場合はチケットレスとして予約処理を行う。このとき、情報検索サーバ21は、予約金の支払いをどのようにするかをユーザに確認する画像データをデジタルカメラ1へ送信する。
【0085】
そして、予約金の支払いをどのようにするかを確認する上記画像データが入力されると、ナビゲーション部19は、例えば、クレジット支払、銀行振り込み、代引きなどの料金支払いの方法を選択させるコンボボックスを、画像表示欄MPに表示させる。
ユーザが上記コンボボックスからクレジットカードをタッチし、クレジットカードによる支払を選択すると、ナビゲーション部19は、ユーザがクレジットカードの支払を選択したことを検出し、ユーザに対してテキスト欄Tに対してタッチ画面型キーボード部Kによりクレジットカード番号の入力を促す通知を画像表示欄MPに表示させる。
そして、ナビゲーション部19は、テキスト欄Tにクレジットカード番号が入力されて確定されたことを検出すると、テキスト欄Tに記入されたクレジットカード番号にデジタルカメラ1のカメラ識別情報御を付加し、情報検索サーバ21へ送信する。
クレジットカード番号及びカメラ識別情報が入力されると、情報検索サーバ21は、各交通機関の予約システムに対してこのクレジットカード番号を送信し、料金の決済処理を行う。
なお、本実施形態において、情報検索サーバ21は、各交通機関のホームページにおける予約システムを用いて予約処理を行っているが、これに限定はされない。例えば、情報検索サーバ21は、各交通機関における予約システム(例、各交通機関における予約システムのサーバなど)に対して、予約に必要な項目(例えば、経路情報やクレジットカード番号など)を送信して予約処理を行うようにしてもよい。
【0086】
また、本実施形態においては、上述のステップS4又はステップS5において経路が選択された後、ステップS6を省略してステップS7へ進むようにしてもよい。この場合、情報検索サーバ21は、ステップS4又はステップS5において、経路が選択された後、その経路に基づく各交通機関の予約を、該交通機関の予約システムに対して自動で行う(ステップS7)。
【0087】
また、本実施形態においては、上述のステップS2においてデジタルカメラ1から経路情報が入力された後、上述のステップS4~ステップS7を以下のように変更してステップS8へ進むようにしてもよい。上述のステップS2においてデジタルカメラ1から経路情報が入力された後、情報検索サーバ21は、入力された経路情報に基づき、該当する交通機関の経路検索をデータベース22又は該交通機関の経路検索システムに対して行う。
次に、情報検索サーバ21は、検索結果としての経路に関する情報と、データベース22にカメラ識別情報ごとに記憶された交通機関の嗜好情報と、をもとに、該当経路における交通機関の予約処理を行う。そして、情報検索サーバ21は、上記の経路に関する情報と、該交通機関の予約情報(例、交通機関名、時刻情報、金額など)とをデジタルカメラ1に送信する。ここで、上記の交通機関の嗜好情報とは、交通機関の予約に対して、時間を優先するのか、金額を優先するのか、指定席か自由席か、喫煙か禁煙か、などの情報を含むものである。なお、情報検索サーバ21は、上述の経路に関する情報と交通機関の予約情報とをデジタルカメラ1に送信する際に、該交通機関の予約料金に対する決済処理などを行うよう通知を行ってもよい。
【0088】
次に、情報検索サーバ21は、例えば、ウェブにおける宿泊施設の検索システム又は宿泊施設情報が記憶されたデータベース22から、目的駅を含む目的地周辺にある宿泊施設を抽出する。
そして、情報検索サーバ21は、宿泊施設毎に宿泊施設識別番号を付与し、それぞれに宿泊施設名と、住所と、駅からの距離と、料金と、周辺情報と、電話番号との情報を付加し、宿泊施設情報としてデジタルカメラ1へ送信する。
上記宿泊施設情報が入力されると、ナビゲーション部19は、画像表示欄MPに対して、宿泊施設毎に、上記宿泊施設情報を表示したコンボボックスを表示する。
ユーザが都合の良い宿泊施設をタッチして選択する(ステップS8)と、ナビゲーション部19は、ユーザがタッチした宿泊施設を検出し、検出した宿泊施設の表示の色を変化させ、選択した宿泊施設が正しいか否かを確認させる通知を画像表示欄MPに表示させる(ステップS9)。
【0089】
ナビゲーション部19は、ユーザの選択した宿泊施設の確認を行うために、例えば、選択した宿泊施設で良いかどうかについてのYESとNOとの文字情報を表示し、選択した宿泊施設で良い場合はYES、一方ユーザの選択した宿泊施設で悪い(例えば、ユーザが気に入らない)場合(例えば、違う宿泊施設を選択したい場合)は、NOをタッチさせる通知を画像表示欄MPへ表示させる。
ここで、ナビゲーション部19は、ユーザがYESをタッチしたことを検出すると、ユーザの選択した宿泊施設の予約のため、処理をステップS10へ進め、一方、ユーザがNOをタッチしたことを検出すると、処理をステップS8へ戻す。
ユーザの選択した宿泊施設の宿泊施設識別番号などを付加した宿泊施設識別情報が入力されると、情報検索サーバ21は、入力された宿泊施設識別情報の示す宿泊施設の予約処理を行う(ステップS10)。
すなわち、情報検索サーバ21は、各宿泊施設のホームページにおける予約システムを用いて予約処理を行うとともに、料金の支払いをどのようにするかをユーザに確認する画像データをデジタルカメラ1へ送信する。
【0090】
確認する上記画像データが入力されると、ナビゲーション部19は、例えば、クレジット支払、銀行振り込み、代引きなどの料金支払いの方法を選択させるコンボボックスを、画像表示欄MPに表示させる。
ユーザが上記コンボボックスからクレジットカードをタッチし、クレジットカードによる支払を選択すると、ナビゲーション部19は、ユーザがクレジットカードの支払を選択したことを検出し、テキスト欄Tにタッチ画面型キーボード部Kによりクレジットカード番号の入力を促す通知を画像表示欄MPに表示させる。
そして、ナビゲーション部19は、テキスト欄Tにクレジットカード番号が入力されて確定されたことを検出すると、テキスト欄Tに記入されたクレジットカード番号にデジタルカメラ1のカメラ識別情報御を付加して、情報検索サーバ21へ送信する。
クレジットカード番号及びカメラ識別情報が入力されると、情報検索サーバ21は、各宿泊施設の予約システムに対してこのクレジットカード番号を送信し、料金の決済処理を行う。
なお、本実施形態において、情報検索サーバ21は、入力された宿泊施設識別情報の示す宿泊施設のホームページにおける予約システムを用いて予約処理を行っているが、これに限定はされない。例えば、情報検索サーバ21は、入力された宿泊施設識別情報の示す宿泊施設における予約システム(例、宿泊施設における予約システムのサーバなど)に対して、予約に必要な項目(例えば、クレジットカード番号など)を送信して予約処理を行うようにしてもよい。
【0091】
次に、会議や会食の時間を設定するため、ユーザがスケジュールアイコンSをタッチすると、制御部11はスケジュールアイコンSがタッチされたことを検出し、スケジュール管理部20に対して、スケジュール設定処理を開始させる制御信号を出力する。
スケジュール管理部20は、スケジュール管理の依頼情報を情報検索サーバ21へ送信する。
上記依頼情報が入力されると、情報検索サーバ21は、スケジュール管理の入力を行うコンボボックスを表示する画像データをデジタルカメラ1へ送信する。
上記画像データが入力されると、スケジュール管理部20は、画像表示欄MPに
図12に示すテーブル(予定テーブル)構成の予定毎に予定項目、場所(住所も含む)、開始日時、終了予定日時を入力するコンボボックスを表示するとともに、予定をタッチ画面型キーボード部Kにより、コンボボックスに入力することを促す通知を表示させる。
【0092】
ユーザが
図12に示すようなテーブル構成のコンボボックスに対し、予定毎に予定項目、場所(住所も含む)、開始日時、開始日時のアラーム時間1、終了予定日時、終了予定日時のアラーム時間2を書き込んで確定すると、スケジュール管理部20は、デジタルカメラ1のカメラ識別情報を付加し、上記コンボボックスに記入されたスケジュール情報を情報検索サーバ21へ送信する。上記アラーム時間については後述する。
上記スケジュール情報が入力されると、情報検索サーバ21は、データベース22の予定テーブル(
図12)に対し、カメラ識別情報に対応させて上記スケジュール情報を記憶させる。
【0093】
次に、情報検索サーバ21は、予定テーブルのデータベース22の予定テーブルへの登録が終了すると、スケジュール管理の入力を行う
図13に示すテーブル形式のコンボボックスを表示する画像データをデジタルカメラ1へ送信する。
上記画像データが入力されると、スケジュール管理部20は、
図13に示すテーブル構成の交通機関の経路における飛行機、電車やバスの種類と、種別毎の出発時刻、出発時刻に対するアラーム時間3、到着時刻、到着時刻に対するアラーム時間4を入力するコンボボックスを、画像表示欄MPに表示させるとともに、予定をタッチ画面型キーボード部Kにより、コンボボックスに入力することを促す通知を表示させる。
ユーザが、
図13に示すようなテーブル構成のコンボボックスに対し、交通機関毎に交通機関の種類、この種類毎の出発時刻、出発時刻に対するアラーム時間3、到着時刻、到着時刻に対するアラーム時間4を書き込んで確定すると、スケジュール管理部20は、デジタルカメラ1のカメラ識別情報を付加して、コンボボックスに記入された交通機関情報を情報検索サーバ21へ送信する。
上記交通機関情報が入力されると、情報検索サーバ21は、データベース22の予約テーブル(
図13)に対し、カメラ識別情報に対応させて上記交通機関情報を記憶させる。
【0094】
次に、交通機関を予約した日、(例えば、出張や旅行の当日)におけるユーザ及び本実施形態の情報取得システムの動作について説明する。ユーザが経路の案内を依頼するため、デジタルカメラ1を起動し、表示された
図11に示す画面においてナビゲーションアイコンNをタッチすると、制御部11はナビゲーションアイコンNがタッチされたことを検出し、ナビゲーション部19に対して、ナビゲーション処理を開始させる制御信号を出力する。このとき、
図12に示す予定テーブルに基づき、スケジュール管理部20も動作を開始する。
【0095】
そして、スケジュール管理部20は、予定テーブルにおいてその日付に対応した予定の開始日時が記載された予定データ(予定レコード)の有無と、予約テーブルにおいてその日付に対応した出発時刻が記載された予約データ(予約レコード)の有無とを検索依頼する依頼情報を、その日付とカメラ識別情報とを付して情報検索サーバ21へ送信する。
上記依頼信号が入力されると、情報検索サーバ21は、入力されるカメラ識別情報に対応する予定データ及び予約データを、データベース22の予定テーブル及び予約テーブルから抽出する。情報検索サーバ21は、抽出された予定データ及び予約データをデジタルカメラ1へ送信する。
そして、スケジュール管理部20は、情報検索サーバ21から入力される予定データ及び予約データを記憶部15に記憶させる。
【0096】
ここで、ユーザの位置(デジタルカメラ1の位置)は、ナビゲーション部19がデジタルカメラ1に設けられているGPS14により検出している。本実施形態においては、ナビゲーション部19は、このGPS14により検出されるユーザの位置と、上記予定テーブル及び予約テーブルとを用いて、ユーザの目的地までの経路を案内することになる。
【0097】
ナビゲーション部19は、駅などにおいて異なるプラットホームホーム間の乗り継ぎ、あるいは異なる鉄道の離れた駅間における電車の乗り継ぎ、電車などの交通機関の乗り継ぎ、等がある場合、予約テーブルから電車が乗り換えの駅に到着する到着時刻を読み出し、プラットホーム間の移動の経路、あるいは異なる駅間の移動の経路の動画データをデータベース22から読み出し、記憶部15に一旦記憶する。各駅間などの移動の経路の動画データは、予めデータベース22において、出発駅と到着駅との駅名の組合せに対応して記憶されている。
【0098】
そして、ユーザが乗り換えの駅に到着すると、ナビゲーション部19は、記憶部15に記憶されている移動の経路の動画データを読み出し、動画データのフレーム毎に記憶されている緯度経度情報と、GPS14からのユーザの位置を示す緯度経度情報とが一致するように動画データの再生を行う。動画データは、店の看板や駅名などが視認できる程度の分解能とする。なお、本実施例においては、上記経路のナビゲーションに、動画データを使用しているが、静止動画データ、又は複数の静止動画データを繋いだデータなどを使用してもよい。上記動画データ又は上記静止動画データは、実際に撮影された実写データでもよいし、CGであってもよい。
【0099】
また、スケジュール管理部20は、交通機関(例、電車、飛行機、バス、船など)の出発時間に対して、一定周期にて予定テーブル及び予約テーブルを参照し、予め設定したアラーム時間前となると、アラーム(音声、振動など)によりユーザに通知する。例えば、スケジュール管理部20は、予定テーブル(予定データ)に記載された開始日時、あるいは予約テーブル(予約データ)に記載された出発時刻、あるいは予約テーブル(予約データ)における到着時刻のそれぞれのアラーム時間にアラームによりユーザに通知する。このアラーム時間は、各予約の開示日時や各交通機関の出発時刻及び到着時刻のそれぞれ独自に設定するようにしても良いし、各予約及び各交通機関により形成されるグループ毎あるいは一括して設定しても良い。
【0100】
また、ナビゲーション部19は、現在のユーザの位置をGPS14により計測した緯度経度情報を情報検索サーバ21へカメラ識別情報を付加して送信し、ユーザ(デジタルカメラ1)の地図上の位置を検出している。すなわち、情報検索サーバ21は、データベース22に記憶されている緯度経度と地図とが対応付けられた地図データにおいて、デジタルカメラ1から入力される緯度経度情報により、ユーザが建物の中にいるか否か、あるいは上記緯度経度情報と経過時間とから算出した移動速度から予め設定された速度以上であるか否かを検出する。例えば、情報検索サーバ21は、検出した移動速度に基づき、設定された速度以上にて移動している場合に交通機関に乗って移動していると判定する。
【0101】
そして、情報検索サーバ21は、ユーザが建物の中にいるか、あるいは交通機関に乗って移動しているかの位置情報(建物の中にいる場合、住所)を、デジタルカメラ1へ送信する。
スケジュール管理部20は、アラームを通知する場合、打合せあるいは会議を行っている建物(住所)にいる場合、あるいは交通機関に乗っている場合、デジタルカメラ1における振動機構を駆動して、これをアラームとしてアラーム時間となったことをユーザに通知する。
【0102】
目的地の他の入力方法としては、デジタルカメラ1により、ユーザが目的地を中心部分として、この目的地を含む領域の地図を撮像する。これにより、制御部11は、撮像された該地図の画像データを検索依頼情報に付加して、送受信部12を介して情報検索サーバ21に送信する。このとき、該画像データには、撮像した該地図上の基準距離と、実際の距離との対応関係が、予め上記地図に載っているか、あるいはユーザが該対応関係を入力するか等によって、属性データとして付加されている。
情報検索サーバ21は、上記検索依頼情報を受信すると、世界の地図データにおいて、入力された画像データと同一又は類似する場所の画像データを検索する。このとき、情報検索サーバ21は、上記基準距離と実際の距離との対応関係により、画像データと地図データとの倍率を合わせる。また、出発地の入力に関しても、上述した画像データを用いた入力方法を用いても良い。
【0103】
また、上記目的地の他の入力方法を用いる際、上記目的地の画像データは、ユーザが過去に検索(又はブラウズ)した画像データ(過去画像データ)、あるいは過去に出張に行って撮像した画像データ(過去画像データ)、等であってもよい。なお、これらの画像データは、デジタルカメラ1の記憶部15に記憶されていてもよいし、データベース22に記憶されていてもよい。
スケジュール管理部20は、ユーザに目的地を入力させる際、データベース22あるいは記憶部15に記憶されている履歴テーブルから画像データを読み込み、サムネイル画像により画像表示欄MPに表示させる。
【0104】
ユーザが上記サムネイル画像をタッチすると、スケジュール管理部20は、選択された画像データの識別情報により、前記履歴テーブルから出張先の場所を抽出し、その場所を目的地として設定する。
データベース22には、ユーザがブラウズした履歴やユーザが出張に行った履歴が、各カメラ識別情報に対応して記憶されている。例えば、出張先に対するスケジュール管理に必要な情報の検索順に、出張した出張日の日付(複数日出張した場合出張初日の日付)、出張先(場所)、その際に検索に用いた画像データA、及び出張先で撮像した風景の写真である画像データBを有する
図14に示すような履歴情報がデータベース22の履歴テーブル(
図14)に記憶されている。
【0105】
スケジュール管理部20は、記憶部15に記憶された過去に用いた画像データ、あるいは出張先にて撮像した画像データを記憶部15から読み出して、その画像データを目的地の検索に用いる場合、過去に履歴テーブルに格納した画像データであることを示す履歴情報を添付して、検索依頼信号を情報検索サーバ21へ送信する。
そして、スケジュール管理部20は、検索を依頼するために用いた画像データと履歴情報とを記憶部15に記憶する。
また、ユーザが出張先あるいは出張から帰ってきた際、ユーザは出張先にて撮像した画像データをデータベース22の履歴テーブルに登録する。このとき、この出張前に検索した出張先に対応して画像データをデータベース22に記憶させるため、ユーザが登録アイコンPをタッチすると、スケジュール管理部20は、登録アイコンPがタッチされたことを検出し、出張日の入力欄を表示欄MPに表示させる。ユーザが入力欄に出張した日付を入力すると、スケジュール管理部20は、記憶部15から出張した日付に対応して記録されている画像データの一覧を、サムネイル画像として画像表示欄MPに表示させる。
【0106】
そして、ユーザが、画像表示欄MPに表示されたサムネイル画像のなかのいずれかを選択してタッチすることにより、スケジュール管理部20は、ユーザが選択したサムネイル画像に対応する画像データを記憶部15から読み出し、自身のカメラ識別情報と、出張日の日付と、読み出した画像データとを登録依頼情報に付加して、情報検索サーバ21へ送信する。このとき、スケジュール管理部20は、サムネイル画像にて選択された画像データに対し、記憶部15において登録したことを示す登録履歴情報をこの画像データに付与し、記憶部15において画像データにこの登録履歴情報を対応させて記憶させる。ここで、データベース22の履歴テーブルに記憶する画像データは単数でも複数でもよい。
情報検索サーバ21は、デジタルカメラ1からデータベース22の履歴テーブルに登録する画像データを受信すると、添付されたカメラ識別情報に対応した履歴テーブルにおいて、登録依頼情報に添付されている日付と同一の日付に対応し、画像データを出張先で撮像した画像データBとして登録する。
【0107】
<寄り道検索機能>
次に、本実施形態における寄り道検索機能について説明する。
スケジュール管理部20は、情報検索サーバ21から受信し記憶部15に記憶されている予定データ及び予約データに基づいて、寄り道検索機能を起動させる。例えば、スケジュール管理部20は、予め設定された昼食や夕食の時間範囲内において予定データや予約データがない場合、寄り道検索機能を起動させる。また、例えば、スケジュール管理部20は、予定データに基づいて算出される予定時間においてユーザがいる予定の場所の情報(予定位置の経度緯度情報)と、GPS14より計測したユーザの位置を示す経度緯度情報とから算出された互いの位置間の距離を検出距離とし、その検出距離が予め設定した距離より大きい場合、現在ナビゲーション管理している経路と異なる経路のナビゲーションを行う寄り道検索機能を起動させる。
【0108】
また、例えば、スケジュール管理部20は、上記の予定位置の経度緯度情報とGPS14より計測したユーザの位置を示す経度緯度情報とが一致しない場合、又は、ユーザの位置を示す経度緯度情報が予定位置の経度緯度情報を中心に予め設定された距離の範囲内にない場合、寄り道検索機能を起動させる。
スケジュール管理部20は、寄り道検索機能が起動されたことを示す情報を、自身のカメラ識別情報とともに、情報検索サーバ21へ送信する。
これにより、情報検索サーバ21は、余った時間をどのように過ごすか等を示す寄り道目的の設定を行う入力画面(後述する寄り道の目的となる項目、この項目における商品の種類をユーザに設定させる画像データの情報)をデジタルカメラ1へ送信する。
【0109】
情報検索サーバ21から寄り道目的の設定を行う入力画面が入力されると、制御部11は、入力された寄り道目的の項目の設定を行う入力画面を、
図15に示すように、画像表示欄MPに表示させる。
ここで、制御部11は、寄り道する目的の項目として、例えば、お土産の購入アイコンIIP10、忘れ物の購入アイコンIIP11、食事アイコンII12を画像表示欄MPに表示させる。
例えば、ユーザがお土産の購入アイコンII10を選択すると、制御部11は、お土産を買うことを目的の項目における商品の種類として、表示選択欄IP10に、お菓子、おもちゃ、漬け物などのお土産としての商品の種類を選択するコンボボックスを表示させる。
【0110】
また、ユーザが忘れ物の購入アイコンII11を選択すると、制御部11は、忘れ物を買うことを目的の項目における商品の種類として、表示選択欄IP11に、服飾品、雑貨、文房具、医薬品などの忘れ物として購買する商品の種類を選択するコンボボックスを表示させる。
また、ユーザが食事アイコンII12を選択すると、制御部11は、寄り道として食事をすることを目的の項目の種類として、表示選択欄IP12に、和食、中華、洋食、居酒屋、郷土料理などの食事の種類を選択するコンボボックスを表示させる。
【0111】
ユーザが上記コンボボックス内の種類を選択すると、制御部11は、ユーザの入力確認のため、選択した項目の種類を項目表示欄PP0に表示させる。
ユーザが選択した項目の種類を確認し、確定アイコンEP0を選択すると、制御部11は、確定アイコンEP0が選択されたことを検出し、現在の時刻と予定データに記載された次の予定の時刻との差時刻を求める。なお、制御部11は、予定データに次の予定がない場合、又は予約データにおける次の予約の時刻の方が次の予定の時刻より早い場合には、予約データにおける次の予約の時刻との差を差時刻として算出してもよい。
そして、制御部11は、選択された項目の項目識別情報及び選択された種類の種類識別情報とともに、自身のカメラ識別情報とを情報検索サーバ21へ送信する。
【0112】
上記項目識別情報、差時刻及びカメラ識別情報が入力されると、情報検索サーバ21は、データベース22における予め記憶されている
図16に示す寄り道テーブルを選択する。ここで、例えば、情報検索サーバ21は、上記差時刻より、少ない時間(例えば、食事であれば往復にかかる時間と平均的な食事の時間を加算した時間、買い物であれば往復の時間と買い物にかかる平均的な時間を加算した時間、など)にて用事を完了することが可能な店を寄り道テーブルから選択する。
情報検索サーバ21は、寄り道テーブルにおいて、項目識別情報に対応した項目を選択し、この項目における種類を種類識別情報に対応して検索する。
例えば、お土産の項目が選択された場合、情報検索サーバ21は、寄り道テーブルから項目識別情報及と種類識別情報とに対応する商品を選択し、選択した商品毎の商品名、商品情報(商品の価格、商品の画像データ)、商品識別情報、販売している店名、その店の店識別情報、ホームページのアドレス及び店の住所(緯度経度情報を含む)を読み出し、店選択を行う画像データ(地図の画像データも含む、この地図の画像データは、情報検索サーバ21により、送信する店の位置が全て表示可能な範囲が選択される)の情報とともにデジタルカメラ1へ送信する。
【0113】
情報検索サーバ21から店選択を行う画像データの情報が入力されると、制御部11は、画像表示欄MPに
図17に示す店選択を行う画像を表示させる。
すなわち、制御部11は、店情報表示選択欄IP20に対し、入力された単数あるいは複数の商品毎に、商品名、商品の画像及び価格と、店の住所を表示させる。
また、制御部11は、店位置情報表示欄IP50に対し、地図の画像データを表示させ、店の緯度経度の情報に基づいて、送信された店の位置を、この地図の画像データ上に表示させる。
そして、ユーザが店情報表示選択欄IP20に表示された店を選択すると、制御部11は、地図の画像上の店の位置を示すマークの大きさを他の店に対してより大きく表示させたり、マークの色を他の店と異なる色に変更して表示させたりする。これにより、ユーザは、選択した店の位置が分かる。
また、制御部11は、選択した店の店名を店名表示欄PP1に表示させる。
【0114】
ユーザが店名表示欄PP1に表示した店を確認し、確定アイコンEP1を選択すると、制御部11は、店を選択したことを示す選択情報とともに、デジタルカメラ1の緯度経度情報と、選択された店の店識別情報とを情報検索サーバ21へ送信する。
上記選択情報、ユーザの位置である緯度経度情報及び店識別情報が入力されると、情報検索サーバ21は、選択された店を示す店識別情報から店の位置を示す緯度経度情報を上記寄り道テーブルから読みだす。
また、すでに述べたように、ナビゲーション部19は、選択された店の緯度経度情報と、ユーザの緯度経度情報と、現在の時刻を出発時刻とから、経路検索を行い、この経路に従い、現在位置から目的地である店までの経路案内するための処理を行う。すなわち、ナビゲーション部19は、表示部17に表示された店位置情報表示欄IP50の地図において、現在のユーザの位置から選択された店の位置までに最短ルートの経路を表示し、移動するユーザの位置をその経路上に、GPS情報に基づき表示することにより、店まで案内するための処理を行う。
【0115】
なお、データベース22は、
図16の寄り道テーブルをユーザのカメラ識別情報毎に設けるようにしてもよい。そして、データベース22は、ユーザの嗜好情報(例えば、好みの順番を示す情報など)を、カメラ識別情報毎に設けられた寄り道テーブルの商品毎に設けるようにしても良い。この嗜好情報としては、例えば、ユーザが、対応する商品をブラウズした回数、対応する商品を販売している店に行った回数、対応する商品を買った回数、上記寄り道機能においてユーザに選択された回数、などを情報検索サーバ21がカウントした情報における回数の多い順番、あるいは予めユーザが設定した嗜好の順番が用いられる。ここで、嗜好情報は、上記回数が多いほど順位が高くなり嗜好度が高いことになる。なお、嗜好情報としては、商品や店などに対応する項目に基づき、ユーザに選択された項目の回数などを用いてもよい。
【0116】
例えば、ユーザが
図15における食事アイコンII12を選択すると、制御部11は、食事における項目の種類として、和食、中華、洋食、居酒屋、郷土料理などを選択するコンボボックスを表示選択欄IP12に表示させる。
ユーザが和食の項目を選択すると、制御部11は、和食の項目に対応する項目識別情報とカメラ識別情報とを、情報検索システム2の情報検索サーバ21へ送信する。
デジタルカメラ1から上記項目識別情報が入力されると、情報検索サーバ21は、入力されたカメラ識別情報に対応する寄り道テーブルをデータベース22において検索する。
情報検索サーバ21は、ユーザの嗜好情報における嗜好度の高い商品(この場合、和食の料理メニュー)から順番に、予め設定された数だけ、商品名の商品識別情報と、その商品を出している店の店名の店識別情報と、この店識別情報に対応する店の住所とを検索結果として抽出する。
抽出が終了すると、情報検索サーバ21は、抽出された複数の商品(和食の料理)名及び商品識別情報と、店名及び店識別情報と、店識別情報に対応する住所と、各商品に付加された表示順番とを、デジタルカメラ1へ送信する。
【0117】
次に、デジタルカメラ1の制御部11は、情報検索サーバ21から入力された複数の商品名及び商品識別情報と、店名及び店識別情報と、店識別情報に対応する住所とを、各商品に付加された表示順番に基づいて、店名表示選択欄IP20に表示させる。
ユーザが店名表示選択欄IP20に表示された商品をタッチすることにより選択すると、制御部11は選択された商品の店名を店名表示欄PP1に表示させる。
ユーザが確定アイコンEP1をタッチして選択すると、制御部11は、店名表示欄PP1に表示した店に対応する店識別情報とともに、デジタルカメラ1の緯度経度情報及びカメラ識別情報とを、情報検索システム2の情報検索サーバ21に対して送信する。
【0118】
上記店識別情報と、ユーザの位置である緯度経度情報と、店識別情報とが入力されると、情報検索サーバ21は、入力された店識別情報から店の位置を示す緯度経度情報を上記寄り道テーブルから検索する。
そして、情報検索サーバ21は、入力された店識別情報に対応する店の店名と、この店の店識別情報と、この店の緯度経度情報とを、カメラ識別情報に対応するデジタルカメラ1のナビゲーション部19に送受信部12を介して送信する。
店の店識別情報と、この店の緯度経度情報とが入力されると、すでに述べたように、ナビゲーション部19は、ユーザに選択された店の緯度経度情報と、ユーザの緯度経度情報とから、現在位置から目的地である店までの経路を案内するための処理を行う。
【0119】
また、本実施形態においては、交通機関の使用時間の変更に伴い、スケジュールが変更となった際に、以下に述べるようにスケジュール変更の処理が行われる。
ユーザがデータベース22の予約テーブルに登録されている出発時間の交通機関(電車、飛行機、バスなど)に乗り遅れた場合、あるいは逆に、ユーザが予約テーブルに登録されている出発時間より早い時間の交通機関に乗った場合、ユーザは
図11の経路検索アイコンBをタッチして、すでに述べた
図10に示すナビゲーション処理を行い、自身の予定を変更する。また、ユーザがデータベース22の予約テーブルに登録されている出発時間の交通機関(電車、飛行機、バスなど)に乗り遅れた場合、あるいは逆に、ユーザが予約テーブルに登録されている出発時間より早い時間の交通機関に乗った場合、ユーザは
図11のスケジュールアイコンSをタッチし、すでに述べたスケジュール管理の再設定を行うことにより自身の予定を変更する。なお、ユーザがデータベース22の予約テーブルに登録されている出発時間の交通機関(電車、飛行機、バスなど)に乗り遅れた場合、あるいは逆に、ユーザが予約テーブルに登録されている出発時間より早い時間の交通機関に乗った場合、上述した経路検索アイコンBやスケジュールアイコンSにユーザがタッチする操作は省いてもよい。例えば、本実施形態におけるデジタルカメラ1は、データベース22の予約テーブルに登録されている出発時間とは異なる出発時間の交通機関でユーザ(この場合、デジタルカメラ1)が移動していることを、GPS14の緯度経度情報に基づいて、制御部11又は情報検索サーバ21が検知して、スケジュール管理部20がユーザに対してスケジュールの変更が必要なことをユーザブザー(又はバイブレーション)や音声(又は音楽)によって知らせるようにしてもよいし、制御部11が
図11に示す入力画面の画像データを表示部17を介して画像表示欄MPに表示させるようにしてもよい。
ここで、本実施形態におけるスケジュール管理部20は、ユーザがスケジュールアイコンSをタッチすることにより、会議や会食等の時間を新たに追加又は変更することも可能である。スケジュール管理部20は、予定テーブルの追加又は変更(新しいスケジュールへの編集)を行うため、スケジュール管理の依頼情報を、情報検索サーバ21に対して出力する。これにより、すでに記載したように、スケジュール管理部20及び情報検索サーバ21により予定テーブル及び予約テーブルにおけるデータの追加又は変更が行われることになる。
【0120】
また、スケジュール管理部20は、GPS14からの緯度経度情報に基づき、予定テーブルに登録された終了日時から予め設定された時間を超えても、同一場所から移動しない場合、あるいはGPS14に基づくユーザの現在位置とナビゲーションする経路に基づくユーザの予定位置との距離が予め設定した距離(例えば、2kmなど)を超えた場合、異常信号を制御部11に対して出力する。
例えば、会議の終了後、所定時間が経っても同一場所を動かない場合は、ユーザがデジタルカメラ1を置き忘れた可能性が高いことが考えられる。また、GPS14に基づくユーザの現在位置とナビゲーションする経路に基づくユーザの予定位置との距離が予め設定した距離を超えた場合は、盗難に遭った可能性が高いことが考えられる。
【0121】
そして、制御部11は、上記異常信号が入力されると、
図11の画像表示欄MPにパスワード入力欄を表示し、予めユーザが登録したパスワードと、同一のパスワードを上記パスワード入力欄に入力するまで、デジタルカメラ1に対してパスワードロックをかける。
このように、本実施形態におけるデジタルカメラ1は、上記のようなセキュリティ機能を有する。
【0122】
なお、本実施形態における寄り道検索機能は、ユーザの選択によって起動させるようにしてもよい。また、本実施形態における寄り道検索機能は、スケジュール管理部20ではなく、情報検索サーバ21によって起動させるようにしてもよい。
【0123】
<予約機能>
次に、ブラウズした店(店舗)あるいは寄り道機能により選択した店に対して、ユーザが行う予約の処理について説明する。以下、レストランなどの飲食店の場合を一例に説明する。
情報検索システム2のデータベース22は、寄り道テーブルにおける店識別情報あるいは建造物テーブルにおける店識別情報に対応し、店毎の店内画像データ(例えば、動画あるいは静止画またはCGにより店内を説明する画像データ、など)が記憶されている店内画像記憶テーブルが設けられている。
例えば、
図17に示す店名表示欄PP1に、ユーザが店名表示選択欄IP20において選択した店名が表示されている状態にて、ユーザが予約アイコンEP1をタッチすることにより、デジタルカメラ1の制御部11は、上記選択した店名の店識別情報と、予約依頼信号と、カメラ識別情報とを情報検索サーバ21へ送信する。
【0124】
上記予約依頼信号がデジタルカメラ1から入力されると、情報検索サーバ21は、入力された店識別情報に対応した店内画像データをデータベース22の店内画像記憶テーブルから検索し、検索された店内画像データを、デジタルカメラ1に送信する。
情報検索サーバ21から上記店内画像データが入力されると、デジタルカメラ1の制御部11は、
図18に示すように、店内画像データを表示枠部SPPに表示させる。
なお、動画データ(CGを含む)の場合において、ユーザが
図18の再生アイコンEP3をタッチすることにより、制御部11は、再生アイコンEP3がタッチされたことを検出し、上記店内画像データの再生を開始する。
【0125】
また、ユーザが再生時に一時停止アイコンEP5をタッチすることにより、制御部11は、一時停止アイコンEP5が再生時においてタッチされたことを検出し、店内画像データの再生を一次停止する。
一次停止時において、ユーザが再生アイコンEP3又は一時停止アイコンEP5をタッチすることにより、制御部11は、再生アイコンEP3又は一時停止アイコンEPが一時停止時おいてタッチされたことを検出し、店内画像データの再生を開始する。
ユーザが再生時に巻き戻し再生アイコンEP4をタッチすることにより、制御部11は、巻き戻し再生アイコンEP4がタッチされたことを検出し、店内画像データの巻き戻し再生を開始する。
【0126】
ここで、一次停止アイコンEP5により、店内画像データの再生を一時停止している状態において、枠部500、501及び502で囲まれたテーブル席のいずれかをユーザがタッチすることにより、制御部11は、ユーザが選択したテーブル席の枠内に記載されたテーブル番号をテーブル席表示欄PP2に表示させる。例えば、ユーザが枠部500のテーブル席をタッチして選択すると、制御部11は、枠部500のテーブル席が選択されたことを検出し、枠部500内に記載されているテーブル席番号T-1を、テーブル席表示欄PP2に表示させる。
また、ユーザは、予約日時記入欄PP3-1に予約の日時、予約人数記入欄PP3-2に予約人数、を入力する。なお、予約日時記入欄PP3-1は、ユーザが日時を選択しやすいように、カレンダを表示し、そのカレンダからユーザが日時を選択できるようにしてもよい。
【0127】
そして、ユーザがテーブル席表示欄PP2に表示されているテーブル席番号T-1にて予約をするため、確定アイコンEP6をタッチする。
確定アイコンEP6がタッチされると、制御部11は確定アイコンEP6がタッチされたことを検出し、店識別情報と、テーブル席表示欄PP2に表示されているテーブル席番号T-1と、予約日時記入欄PP3-1に入力されている日時データと、予約人数記入欄PP3-2に入力されている予約人数データとを読み込み、予約データとしてスケジュール管理部20へ出力する。
上記予約データが入力されると、スケジュール管理部20は、入力された上記予約データ及び自身のカメラ識別情報を含む予約依頼情報を、情報検索サーバ21へ送信する。
上記予約依頼情報が入力されると、情報検索サーバ21は、上記予約データに含まれる店識別情報に対応する店のホームページの予約システムにアクセスし、この予約システムの予約フォーマットに対して、入力されたテーブル席番号及び予約日時を入力することで予約処理を行う。
【0128】
そして、情報検索サーバ21は、対応する店の上記予約システムにおいて、予約出来たことあるいは予約できなかったことを示す結果情報を、デジタルカメラ1の制御部11へ送信する。
結果情報が入力されると、制御部11は、入力された結果情報を結果表示欄PP4に表示させる。
予約処理が終了、あるいは再度予約処理を行う場合、ユーザは戻るアイコンEP7をタッチする。
戻るアイコンEP7がタッチされると、制御部11は、戻るアイコンEP7がタッチされたことを検出し、画像表示欄MPに
図17に示す画像を表示させる。
なお、本実施形態において、情報検索サーバ21は、上記予約データに含まれる店識別情報に対応する店のホームページの予約システムにアクセスして予約処理を行っているが、これに限定はされない。例えば、情報検索サーバ21は、上記予約データに含まれる店識別情報に対応する店における予約システム(例、店における予約システムのサーバなど)に対して、予約に必要な項目(例えば、テーブル席番号T-1、日時データや予約人数データなど)を送信して予約処理を行うようにしてもよい。また、本実施形態において、予約処理は、情報検索サーバ21に限定はされず、例えば、デジタルカメラ1の制御部11が予約処理を行うようにしてもよい。
【0129】
また、上述した予約処理は、動画データ(動画像のCGを含む)により説明したが、静止画(静止画像データのCGを含む)でも、表示枠SPPに静止画を表示させ、同様の処理を行うようにしても良い。
【0130】
また、
図17にてユーザが選択した店がお土産などの商品を購入する店舗である場合、制御部11は、表示枠部SPPに上記店舗の販売している複数の商品をサムネイル画像により表示させる。
そして、静止画(静止画像のCGを含む)の場合、ユーザが再生アイコンEP3をタッチすることにより、制御部11は、再生アイコンEP3がタッチされたことを検出し、店舗で販売している他の商品のサムネイル画像を表示枠部SPPに表示させる。
表示枠部SPPに表示されている商品のサムネイル画像のいずれかをユーザがタッチすることにより、制御部11は、ユーザが選択したサムネイル画像の商品の名称をテーブル席表示欄PP2に表示させる。次に、この商品の送付先(住所など)をユーザが予約日時記入欄PP3-1に入力する。
【0131】
そして、ユーザがテーブル席表示欄PP2に表示されている商品を購入するため、確定アイコンEP6をタッチする。
確定アイコンEP6がタッチされると、制御部11は確定アイコンEP6がタッチされたことを検出し、店識別情報と、テーブル席表示欄PP2に表示されている商品の商品識別情報と、予約日時記入欄PP3-1に入力されている送付先とを読み込み、購入データとしてスケジュール管理部20へ出力する。
上記購入データが入力されると、スケジュール管理部20は、入力された購入データ及びカメラ識別情報を含む購入依頼情報を、情報検索サーバ21へ送信する。
【0132】
上記購入依頼情報が入力されると、情報検索サーバ21は、店識別情報に対応する店のホームページの購入システムにアクセスし、この購入システムの予約フォーマットに対して、入力された商品識別情報及び送付先を入力することで購入処理を行う。
この際、店舗がクレジットカードにて決済を行うことを要求する場合、この要求を受けると情報検索サーバ21は、デジタルカメラ1に対してクレジット番号の入力を促す情報を送信する。
この入力を促す情報が入力されると、制御部11は、このクレジットカード番号を予約日時記入欄PP3に対して入力することをユーザに通知する文字データを結果表示欄PP4に表示させる。
【0133】
ユーザは、上記通知に対応して自身のクレジットカード番号を予約日時記入欄PP3に入力し、確定アイコンEP6をタッチする。
確定アイコンEP6がタッチされると、制御部11は、確定アイコンがタッチされたことを検出し、予約日時記入欄PP3に表示されているクレジットカード番号を読み込み、このクレジットカード番号及びカメラ識別情報を情報検索サーバ21へ送信する。
クレジットカード番号及びカメラ識別情報が入力されると、情報検索サーバ21は、カメラ識別情報に対応して、支払を行う店舗の購入システムのクレジットカード番号の記入欄に対し、入力されたクレジットカード番号を書き込み、ユーザが購入した商品に対する決済を終了する。
【0134】
そして、店舗の購入システムから購入処理が無事終了したことを示す情報及び商品の届け日時を含む終了情報が入力されると、情報検索サーバ21は、この終了情報をデジタルカメラ1へ送信する。
上記終了情報が入力されると、制御部11は、無事終了したことを示す情報及び商品の届け日時を、結果表示欄PP4に表示させる。
なお、本実施形態において、情報検索サーバ21は、上記店識別情報に対応する店のホームページの購入システムにアクセスして購入処理を行っているが、これに限定はされない。例えば、情報検索サーバ21は、上記店識別情報に対応する店における購入システム(例、店における購入システムのサーバなど)に対して、購入に必要な項目(例えば、商品、送付先やクレジットカード番号など)を送信して購入処理を行うようにしてもよい。
また、本実施形態において、購入処理は、情報検索サーバ21に限定はされず、例えば、デジタルカメラ1の制御部11が購入処理を行うようにしてもよい。
【0135】
また、ユーザは、上述したレストランに行く経路をナビゲーションしてもらいたい場合、店名表示欄PP1にレストラン名が表示された状態にて、ユーザはナビゲーションアイコンNAVIをタッチする。
ナビゲーションアイコンNAVIがタッチされると、制御部11は、ナビゲーションアイコンがタッチされたことを検出し、店名表示欄PP1に記入されている店の店識別情報を読み込み、ナビゲーション要求信号とともにナビゲーション部19へ出力する。
【0136】
上記ナビゲーション要求信号が入力されると、ナビゲーション部19は、入力された店識別情報と、デジタルカメラ1が位置する位置情報と、カメラ識別情報とを含む、経路検索情報を情報検索サーバ21へ送信する。
上記経路検索情報が入力されると、情報検索サーバ21は、店識別情報に対応した店の位置情報を寄り道テーブルから検索する。
そして、情報検索サーバ21は、店の位置情報により、店の最寄りの駅と、ユーザの現在位置に近傍の駅から上記最寄りの駅へ行く経路と、最寄りの駅からの店までの経路を表示した領域の地図データとをデータベース22から読み込み、経路情報としてデジタルカメラ1へ送信する。
【0137】
デジタルカメラ1のナビゲーション部19は、
図18に示すような画面を表示させ、ユーザの現在位置から近傍の駅までの経路を表示枠部SPPに表示する。
そして、ナビゲーション部19は、GPSの位置情報と近傍の駅の位置情報とを比較して、ユーザが近傍の駅に到着したことを検出すると、近傍の駅から最寄りの駅までの経路の表示画面に、表示枠部SPPの表示画面を切り換える。
ナビゲーション部19は、GPSの位置情報と最寄りの駅の位置情報とを比較して、ユーザが最寄りの駅に到着したことを検出し、最寄りの駅から店までの経路の表示画面に、表示枠部SPPの表示画面を切り換える。そして、ナビゲーション部19は、GPS14による位置情報に基づき、ユーザの現在位置を上記最寄りの駅から店までの経路上に表示させることにより、ユーザがその経路のいずれの場所にいるかをユーザに視認させる。
【0138】
また、
図17において、ユーザがMAPアイコンをタッチすると、ナビゲーション部19は、GPS14により位置情報を取得し、この位置情報にカメラ識別情報及びマップ依頼信号を付加したマップ依頼情報を情報検索サーバ21へ送信する。
上記マップ依頼情報が入力されると、情報検索サーバ21は、データベース22から、予め設定された範囲の領域の地図データを読み込み、マップ依頼情報に含まれる位置情報から該地図データの範囲の店の情報(例えば、位置情報、店の種類、店識別情報など)を寄り道テーブルから検索し、地図データ及び店の情報をデジタルカメラ1へ送信する。
【0139】
上記店の情報及び地図データが入力されると、制御部11は、この地図データを店名表示選択欄IP20に表示させるとともに、この地図データ上において、各店の位置情報に基づいて各店の存在する位置に各店の店名をそれぞれ表示させる。
ユーザが店名表示選択欄IP20における地図上の店名をタッチした信号を検出すると、制御部11は店名表示欄PP1にタッチした店の店名を表示させる。
これ以降の処理については、予約処理、及び購入処理、およびナビゲーションの処理を、すでに説明した上記実施形態と同様に行うことが可能である。
【0140】
上述したように、本実施形態によれば、ユーザの出発地から目的地までの経路検索、この経路における交通機関の予約、ホテルの予約、さらに出発地から目的地までのナビゲーションが行えるため、出張あるいは旅行のスケジュールを容易に計画し、実行することができる。
また、本実施形態においては、出張あるいは旅行において、目的地に到着した後、出発前にスケジュールしたタイムテーブルに従い、スケジュールに対応した行動を行うことができ、目的地などにおけるナビゲーション、レストランへの予約及び商品の購入を容易に行うことができる。
【0141】
なお、
図1及び
図9におけるデジタルカメラ1(送受信部12の電波の送受信におけるハード処理を除く)の機能を実現するための機能を実現するためのプログラム、また情報検索サーバ21との機能を実現するためのプログラム各々をコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報検索やナビゲーションの検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0142】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0143】
一実施形態は、被写体を撮像する際に、被写体を撮像する位置の情報を取得し、被写体と位置の情報とを対応付ける機能を有する携帯情報機器、撮像装置、及びその情報を用いて被写体の情報を取得する情報取得システムに関する。
一実施形態において、ユーザが撮影位置からいずれの方向にある被写体を撮影したかを知るための方位情報(例えば、方位角)を得ることができる。
一実施形態において、ユーザが撮影している被写体、例えば建造物がどのようなものであるかの情報を、容易に得ることができる。
一実施形態において、入力される経路情報をもとに検索された経路に関する情報に基づいて、該経路における交通機関の予約処理を行うことができる。
一実施形態は、現在位置を示す位置情報を取得する位置情報取得部と、表示部と、出発地から目的地までの経路のうち出発地から出発駅までの第1経路と出発地から目的地までの経路のうち出発駅から目的駅までの第2経路と出発地から目的地までの経路のうち目的駅から目的地までの第3経路とを案内するナビゲーション部と、を備え、位置情報と経路の経路情報とを送信する携帯型端末と、データベースと、経路の経路情報をもとに経路に関する情報をデータベースから取得する経路探索処理と取得した経路に関する情報をもとに第2経路における交通機関のチケットを含む予約情報を予約する予約処理とを行う情報検索サーバと、を含む情報検索システムとを備える情報取得システムに関する。
一実施形態は、現在位置を示す位置情報を取得する位置情報取得部と、表示部と、出発地から目的地までの経路のうち出発地から出発駅までの第1経路と出発地から目的地までの経路のうち出発駅から目的駅までの第2経路と出発地から目的地までの経路のうち目的駅から目的地までの第3経路とを案内するナビゲーション部と、位置情報と経路の経路情報とを送信して、経路の経路情報に基づく経路に関する情報と第2経路における交通機関のチケットを含む予約情報とを受信する制御部と、を備え、制御部は、第1経路、第2経路及び第3経路のうち少なくとも1つを位置情報に基づいて表示部に表示させる携帯型端末に関する。
一実施形態は、現在位置を示す位置情報を取得する位置情報取得部と、表示部とを備える携帯型端末のコンピュータに、出発地から目的地までの経路のうち出発地から出発駅までの第1経路と出発地から目的地までの経路のうち出発駅から目的駅までの第2経路と出発地から目的地までの経路のうち目的駅から目的地までの第3経路とを案内するステップと、位置情報と経路の経路情報とを送信して、経路の経路情報に基づく経路に関する情報と第2経路における交通機関のチケットを含む予約情報とを受信するステップと、第1経路、第2経路及び第3経路のうち少なくとも1つを位置情報に基づいて表示部に表示させるステップと、を実行させるプログラムに関する。
【符号の説明】
【0144】
1…デジタルカメラ
2…情報検索システム
3…無線基地局
4…情報通信網、
11…制御部
12…送受信部
13…撮像部
14…GPS
15…記憶部
16…方位センサ
17…表示部
18…タイマ
19…ナビゲーション部
20…スケジュール管理部
21…情報検索サーバ
22…データベース
【手続補正書】
【提出日】2022-06-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
検索対象としての建造物を撮像する画像センサと、位置情報を取得する位置情報取得部と、前記画像センサから前記建造物に対する方位を示す情報である方位情報を取得する方位センサと、画像情報と文字情報を表示する表示部とを有する携帯情報端末と、
前記携帯情報端末と交信し、前記携帯情報端末から発信された前記位置情報と前記方位情報に基づいて抽出された建造物の画像データと前記画像センサにより撮像された検索対象建造物の画像との特徴量比較による画像認識処理に基づいて前記検索対象建造物に関連する情報の検索を行なって検索結果を前記携帯情報端末に送信し、前記検索結果を前記検索対象建造物の画像とともに前記携帯情報端末の前記表示部で表示させるサーバとを有し、
前記サーバは、前記特徴量比較で類似性が無い場合、前記建造物の画像データの修正が必要であることを示す情報を登録する
建造物情報検索システム。
【請求項2】
前記サーバは、
建造物を識別するための情報と、建造物の位置情報と、建造物の画像データとが少なくとも対応付けられた建造物テーブルを更に有し、
前記携帯情報端末から発信された前記位置情報と前記方位情報に基づいて、前記建造物テーブルから前記建造物の画像データを抽出し、
登録された前記建造物の画像データの修正が必要であることを示す情報に基づいて、所定の周期毎に、前記建造物テーブルを更新する
請求項1に記載の建造物情報検索システム。
【請求項3】
前記サーバは、
建造物の位置情報と、当該建造物の住所とが少なくとも対応付けられた地図データを更に有し、
前記建造物の位置情報に基づき、前記地図データから住所を抽出し、
抽出された住所に基づき建造物の情報を取得し、
取得した建造物の情報に基づき、前記建造物テーブルを更新する
請求項2に記載の建造物情報検索システム。
【請求項4】
前記サーバは、抽出された住所に基づき、建造物に出店している店舗情報を建造物の情報として取得する
請求項3に記載の建造物情報検索システム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本発明は、建造物情報検索システムに関する。
本願は、2009年2月20日に出願された特願2009-038303号に基づき優先権を主張し、その内容をここに援用する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0004
【補正方法】変更
【補正の内容】
【0004】
本発明の態様は、ユーザの活動を充実させることが可能な建造物情報検索システムを提供することを目的とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0005
【補正方法】変更
【補正の内容】
【0005】
本発明の態様に従えば、検索対象としての建造物を撮像する画像センサと、位置情報を取得する位置情報取得部と、前記画像センサから前記建造物に対する方位を示す情報である方位情報を取得する方位センサと、画像情報と文字情報を表示する表示部とを有する携帯情報端末と、前記携帯情報端末と交信し、前記携帯情報端末から発信された前記位置情報と前記方位情報に基づいて抽出された建造物の画像データと前記画像センサにより撮像された検索対象建造物の画像との特徴量比較による画像認識処理に基づいて前記検索対象建造物に関連する情報の検索を行なって検索結果を前記携帯情報端末に送信し、前記検索結果を前記検索対象建造物の画像とともに前記携帯情報端末の前記表示部で表示させるサーバとを有し、前記サーバは、前記特徴量比較で類似性が無い場合、前記建造物の画像データの修正が必要であることを示す情報を登録する建造物情報検索システムが提供される。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】削除
【補正の内容】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】削除
【補正の内容】
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】削除
【補正の内容】
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】削除
【補正の内容】
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
本発明の態様によれば、ユーザの活動を充実させることが可能な建造物情報検索システムが提供される。