(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】情報検索サーバ
(51)【国際特許分類】
H04N 23/60 20230101AFI20240814BHJP
【FI】
H04N23/60 300
(21)【出願番号】P 2023010727
(22)【出願日】2023-01-27
(62)【分割の表示】P 2021165469の分割
【原出願日】2009-08-07
【審査請求日】2023-01-27
(31)【優先権主張番号】P 2008205729
(32)【優先日】2008-08-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】井上 英也
(72)【発明者】
【氏名】岩岡 徹
(72)【発明者】
【氏名】登坂 道子
(72)【発明者】
【氏名】羽鳥 正之
(72)【発明者】
【氏名】浜田 智秀
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2004-272592(JP,A)
【文献】特開2002-245071(JP,A)
【文献】特開2004-356718(JP,A)
【文献】特開平11-211993(JP,A)
【文献】特開2004-021548(JP,A)
【文献】特開2004-070598(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
無線通信により情報通信網を介して携帯情報機器と情報の送受信を行う情報検索サーバであって、
撮像された検索対象としての建造物の画像情報と、前記検索対象としての建造物の撮像時の位置を示す位置情報と
、前記検索対象としての建造物の撮像時の撮像方向を示す撮像方向情報とを前記携帯情報機器から受信し、前記位置情報と、前記検索対象の画像認識による特徴量と、データベースに格納された建造物画像の画像認識による特徴量との比較に基づいて、
前記建造物画像の建造物が前記検索対象であるか否かを判定し、前記建造物画像の建造物が前記検索対象ではないと判定した場合、前記位置情報と前記撮像方向情報とにより次に距離的に近い建造物を前記データベースから抽出し、再度特徴量の比較を行うことにより前記検索対象の建造物を特定し、前記検索対象の建造物に関連する情報を検索した結果を示す検索結果情報を前記携帯情報機器に送信する、
情報検索サーバ。
【請求項2】
特定した前記検索対象の建造物が店舗の場合、前記検索結果情報は、前記店舗に関するコマーシャル情報を含み、
前記コマーシャル情報は、前記店舗の店内画像と、前記店舗で販売されている商品に関する情報との少なくとも一方を含む、
請求項
1に記載の情報検索サーバ。
【請求項3】
前記検索結果情報は、前記店舗に関する投稿情報を含む、
請求項
2に記載の情報検索サーバ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報検索サーバに関する。
【背景技術】
【0002】
従来より、撮像機能を有する撮像装置(例えば、デジタルカメラ)などの携帯情報機器などにおいて、当該携帯情報機器の位置する位置情報を検出し、検出した位置情報に対応させて撮像した画像データを処理する機能を有するものがある(例えば、特開2004-15187号公報参照)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の態様は、ユーザの活動を充実させることが可能な情報検索サーバを提供することを目的とする。
【課題を解決するための手段】
【0004】
本発明の態様に従えば、無線通信により情報通信網を介して携帯情報機器と情報の送受信を行う情報検索サーバであって、撮像された検索対象としての建造物の画像情報と、前記検索対象としての建造物の撮像時の位置を示す位置情報と、前記検索対象としての建造物の撮像時の撮像方向を示す撮像方向情報とを前記携帯情報機器から受信し、前記位置情報と、前記検索対象の画像認識による特徴量と、データベースに格納された建造物画像の画像認識による特徴量との比較に基づいて、前記建造物画像の建造物が前記検索対象であるか否かを判定し、前記建造物画像の建造物が前記検索対象ではないと判定した場合、前記位置情報と前記撮像方向情報とにより次に距離的に近い建造物を前記データベースから抽出し、再度特徴量の比較を行うことにより前記検索対象の建造物を特定し、前記検索対象の建造物に関連する情報を検索した結果を示す検索結果情報を前記携帯情報機器に送信する、情報検索サーバが提供される。
【発明の効果】
【0005】
本発明の態様によれば、ユーザの活動を充実させることが可能な情報検索サーバが提供される。
【図面の簡単な説明】
【0006】
【
図1】本発明の一実施形態による情報取得システムの構成例を示すブロック図である。
【
図2】
図1におけるデータベースに記憶されている建造物テーブルの構成例を示す概念図である。
【
図3】本実施形態におけるデジタルカメラで撮像している画像の情報検索の処理の流れを示すフローチャートである。
【
図4】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図5】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図6】本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。
【
図7】本実施形態におけるデジタルカメラで撮像した後における画像の情報検索の処理の流れを示すフローチャートである。
【
図8】本実施形態におけるデジタルカメラに入力した店舗情報からの情報検索の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0007】
以下、本発明の一実施形態について図面を参照して説明する。
図1は同実施形態による携帯情報機器(撮像装置)及び情報取得システムの構成例を示すブロック図である。
図1において、情報取得システムは、撮像装置の一例であるデジタルカメラ1と、情報検索システム2とを備える。デジタルカメラ1は無線通信により無線基地局3とデータ通信を行うことにより、この無線基地局3及びインターネットなどの情報通信網4を介して、情報検索システム2(或いは、後述する情報検索サーバ21)とデータの送受信を行う。なお、本実施形態における撮像装置とは、上述のデジタルカメラ1やカメラ付携帯電話などのような撮像機能付の携帯型端末である。
デジタルカメラ1は、ブラウザ機能を有しており、制御部11、送受信部12、撮像部13、GPS(Global Positioning System)(位置情報取得部)14、記憶部15、方位センサ16、表示部17及びタイマ18を有している。ここで、本実施形態における無線通信とは、伝送路として線を使わなく、電波、光や音波などによる通信を含むものである。
【0008】
撮像部13は、CCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサと、レンズと等を有しており、被写体(撮像する対象物)を撮像して画像データを、上記制御部11に対して出力する。以下の説明において、本実施形態においては被写体は建造物(店舗を含む商用ビル、学校及び病院を含む公共の建物、工場、マンションを含む住宅、鉄塔、橋、ダム、遊園地、銅像等の人工的に建造された物、など)を示している。
GPS14は、ユーザからの撮像を指示する制御信号(例えば、撮像ボタンB1押下を検出した図示しない周辺回路が出力する制御信号)、あるいは情報検索を指示する制御信号(例えば、ユーザによって検索などを示すアイコン(標識)がタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号)が入力されると、デジタルカメラ1の緯度・経度の情報を取得し、制御部11に対して出力する。
【0009】
方位センサ16は、電子コンパス(地磁気センサ)などで構成され、ユーザからの撮像を指示する制御信号(例えば、撮像ボタンB1押下を検出した図示しない周辺回路が出力する制御信号)、あるいは情報検索を指示する制御信号(例えば、ユーザによって検索などを示すアイコン(標識)がタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号)が入力されると、撮像部13において例えば直列に配置されたCCD及びレンズにおいて、この直列方向の方位を検出し、方位情報として制御部11に出力する。なお、方位センサ16は、ユーザから見た被写体の方向(すなわち撮像方向)の方位を検出し、方位情報として制御部11に出力してもよい。ここで、方位情報として方位角を採用する場合、例えば、位置情報の緯度経度を中心点とし、北を基準(0度)として、時計廻りに東(90度)、南(180度)、西(270度)として、度・分・秒の単位で方位角を表現する。
【0010】
制御部11は、ユーザが撮像ボタンB1を押下する等の撮像を指示する制御信号が図示しない周辺回路から入力されると、撮像した画像データに画像識別情報を付し、この画像識別情報毎に撮像した画像データと、タイマ18から取得した時刻データ、位置情報及び方位情報とを対応させて記憶部15に撮像順に書き込む。
表示部17は、撮像部13が撮像している画像データ、またはユーザにより表示する画像として選択されて制御部11が記憶部15から読み出した画像データを表示する。
また、表示部17は、後述するように、情報検索システム2から受信した画像データ、あるいはユーザが入力した文字データなどの表示を、上記制御部11の制御により行う。
送受信部12は、無線通信により無線基地局3と送受信を行い、情報通信網4を介して、情報検索システム2との間にて、画像データ、文字データあるいは制御信号などのデータの送受信を行う。
【0011】
次に、情報検索システム2は、
図1に示すように情報検索サーバ21と、データベース22とを有している。なお、データベース22は、情報検索サーバ21内の記憶媒体(例えば、メモリやHDDなど)に設けられてもよいし、外付けの記憶媒体あるいは別の端末の記憶媒体に設けられてもよい。
データベース22には、
図2に示す建造物テーブルのように、建造物を識別するための建造物識別情報と、建造物の名称である建造物名称と、建造物情報(住所、電話番号、種別、建造物を中心とした周辺画像データなどの情報)と、建造物の緯度経度などによる位置情報と、建造物の説明(店舗であれば店が記載する情報)と、投稿情報(訪れたユーザの評価などのコメント、及びユーザの投稿した画像データ等)とが記憶されている。
【0012】
また、データベース22には、緯度経度を2次元平面の座標軸とし、登録されている各建造物が配置された地図データを記憶している。ここで、この地図データにおいては、各建造物が上記建造物識別情報により対応する緯度経度の位置に示されている。
情報検索サーバ21は、入力される上記位置情報及び上記方位情報を用い、位置情報の示した緯度経度の位置から、方位情報の示す方向において、最も近い距離にある建造物を探索し、探索された建造物の建造物識別情報を取得する。
また、情報検索サーバ21は、探索して取得した建造物の建造物識別情報に対応する建造物を、上記建造物テーブルから検索し、検索された建造物の各情報(建造物名称、建造物情報、など)をデジタルカメラ1に送信する。なお、情報検索サーバ21は、デジタルカメラ1に送信する上記の建造物の各情報を、例えば送受信データ容量などの必要に応じて、選択的に送信するようにしてもよい。その場合、情報検索サーバ21は、上記の建造物の各情報のうち残りの情報を、所定の操作(例えば、デジタルカメラ1からの要求など)などによって再度デジタルカメラ1に送信するようにしてもよい。
【0013】
<デジタルカメラ1で撮像している画像の情報検索>
次に、
図1及び
図3、並びに
図4から
図6を用いて本実施形態の動作を説明する。
図3はデジタルカメラ1を建造物に向けて撮像している状態で情報検索を行いたい場合の本実施形態における情報検索処理の動作例を示すフローチャートである。
図4から
図6は、デジタルカメラ1の表示部17に表示される画面及びデジタルカメラの撮像ボタンB1の配置を示した図である。
以下の説明において、例えば、ユーザが繁華街を歩きながら、夕食を食べるレストランを探索している状態にて説明する。
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対し、デジタルカメラ1のレンズを向け(ステップS1)、情報を得たい外観のレストランを見つけた場合、
図4に示されるように、デジタルカメラ1の画像表示欄MPに設けられているブラウズアイコンI1をタッチする(押下する)ことによりブラウズアイコンI1が選択される(ステップS2)。
このとき、制御部11は、上記撮像状態において、撮像部13から入力される、撮像部13が撮像している画像データを、
図4に示すように、画像表示欄MPに撮像しているレストランの画像データを表示部17を介して表示する。なお、本実施形態における画像表示欄MP(画像表示部)は、タッチパネル(例えば、感圧タイプ、静電タイプや音波タイプなどを含む)で構成されている。
なお、上述のステップS2は、デジタルカメラ1の撮像ボタンB1を押下した後に、撮像された上記レストランの画像が表示される画像表示欄MPを見ながらブラウズアイコンI1をタッチして選択するようにしてもよい。
【0014】
ブラウズアイコンI1がタッチされることにより、図示しない周辺回路から制御部11に対してブラウズアイコンI1が選択されたことを示す信号が出力される。
そして、制御部11は、入力されるブラウズアイコンI1が選択されたことを示す信号により、ブラウズアイコンI1が選択されたことを検出し、撮像部13の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部15に対して書き込み、この画像データを記憶させる(ステップS3)。
【0015】
また、制御部11は、ブラウズアイコンI1がタッチされた際、GPS14が取得した位置情報と、方位センサ16が取得した方位情報とを、関連情報として上記画像識別情報に対応させ、記憶部15に書き込み、記憶させる(ステップS4)。
そして、制御部11は、画像データ及び上記関連情報を記憶部15に書き込んだ後、デジタルカメラ1を識別するためのカメラ識別情報(ユーザに付与されたユーザの識別情報あるいはデジタルカメラ1に付与された識別情報)と、上記位置情報と、上記方位情報とを含む検索依頼信号を、送受信部12を介して情報検索システム2へ送信する(ステップS5)。なお、制御部11は、上述のステップS3~ステップS5において、上記画像データ及び上記関連情報などを記憶部15に書き込まずに送受信部12を介して上記検索依頼信号を情報検索システム2へ送信するようにしてもよい。
【0016】
次に、情報検索システム2において、サーバ21は、デジタルカメラ1から上記検索依頼信号を受信すると、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース22の地図データから検索対象の建造物を抽出する。そして、サーバ21は、この建造物識別情報により
図2の建造物テーブルから、当該建造物のテーブルにおける各情報を、建造物識別情報を含めて検索結果情報としてデジタルカメラ1に対して送信する(ステップS7)。このとき、一例として、サーバ21は、検索依頼信号が送受信部12を介してデジタルカメラ1から送信される場合に付加されるデジタルカメラ1のネットワーク上のアドレスを読み出し、このアドレスに対して検索結果情報を送信する。なお、上述のステップS7においては、サーバ21は、データベース22に記憶されるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていることが検出された場合のみ、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース22の地図データから検索対象の建造物を抽出するようにしてもよい。この場合、サーバ21は、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていないことを検出した場合、例えば、カメラ識別情報に基づくユーザ登録が必要であることの情報をデジタルカメラ1に対して送信するようにすればよい。
【0017】
そして、デジタルカメラ1において、制御部11は、送受信部12を介して上記検索結果情報を情報検索システム2から受信すると、
図5に示すように、表示部17を介して情報表示欄SPに建物情報(対象物に関する情報)を表示する(ステップS8)。例えば、建造物がレストランの場合、どのような種類(中華、和風、フレンチ、イタリアンなど)のレストランかの情報と、レストランの電話番号と、住所となどが表示される。なお、
図5に示す情報表示欄SPは、本実施形態における一例であって、上記レストランの画像に情報表示欄SPの一部が重なるように表示してもよい。また、情報表示欄SPは、上記の画像表示欄MPの一部であって、例えば上述のブラウズアイコンI1や後述のCMアイコンI2などがタッチされて選択されることにより表示される。
また、ユーザがCMアイコンI2をタッチすると、上記周辺回路はCMアイコンI2が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、CMアイコンI2が選択されたことを、上記CMアイコンI2が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれるレストランのコマーシャル情報(メニューや、席数や、店内画像や、シェフの今日のおすすめ料理など)を、表示部17を介して情報表示欄SPに表示する。また、このコマーシャル情報に店内画像などの画像データが含まれている場合、制御部11は、その画像データを情報表示欄SPに表示する。
【0018】
また、ユーザが投稿閲覧アイコンI3をタッチすると、上記周辺回路は投稿閲覧アイコンI3が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、投稿閲覧アイコンI3が選択されたことを、上記投稿閲覧アイコンI3が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報(コメント)を、情報表示欄SPに表示部17を介して表示する。
そして、上記の投稿情報が複数ある場合、制御部11は、例えば、投稿された日付順に複数の投稿情報を情報表示欄SPに表示する。
【0019】
この投稿情報には画像データも含まれ、他のユーザの撮像した各料理の写真や店の内部の画像データが含まれている場合、制御部11は、この画像データを表示部17を介して情報表示欄SPに表示する。
そして、例えば、制御部11は、
図5において、情報表示欄SPの左端から右方向にスライドするようにタッチされたことを示す信号を検出した場合、情報表示欄SPの表示を終了して、
図4のように画像表示欄MPに上記レストランの画像を表示部17を介して表示する。なお、例えば、制御部11は、情報表示欄SPに投稿情報を表示中で、投稿閲覧アイコンI3が選択されたことを示す信号を検出した場合に、情報表示欄SPの表示又は投稿情報の表示を終了するようにしてもよい。
【0020】
また、例えば、制御部11は、情報表示欄SPに建物情報を表示した後にコマーシャル情報(又は投稿情報)を表示させる際に、建物情報と一緒にコマーシャル情報を表示してもよいし、建物情報を情報表示欄SPから消した後にコマーシャル情報を表示するようにしてもよい。
なお、制御部11は、情報表示欄SPに表示されたその店内画像などをタッチされたことを示す信号を検出すると、その店内画像の拡大画像又は縮小画像を情報表示欄SP(又は画像表示欄MP)に表示する。
【0021】
また、ユーザがメールアイコンI4をタッチすると、上記周辺回路はメールアイコンI4が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、メールアイコンI4が選択されたことを、上記メールアイコンI4が選択されたことを示す信号が入力されることにより検出し、
図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。ここで、入力欄IPは、ユーザが情報などを入力するテキスト欄Tと、タッチ画面型キーボード部Kと、で構成されている。この入力欄IPは、ユーザが、後述する投稿情報、店舗名や年度を入力する際などに使用される。
ユーザは入力欄IPのテキスト欄Tに自身の食べた料理や、店内の雰囲気、あるいは店員のサービスの質などの投稿情報をタッチ画面型キーボード部Kを用いて記入する。そして、ユーザが、再度メールアイコンI4をタッチすることにより、制御部11は、メールアイコンI4が選択されたことを検出し、テキスト欄Tに記載されている文字情報及び画像表示欄Pに表示されている画像データを、カメラ識別情報及び建造物識別情報とともに投稿情報とし、その投稿情報を含む検索依頼信号を送受信部12を介して情報検索システム2に送信する。
そして、サーバ21は、デジタルカメラ1から上記検索依頼信号を受信すると、データベース22の建造物テーブルの投稿欄に対して、建造物識別情報に対応させて入力された新たな投稿情報を書き込む。なお、サーバ21は、投稿記入欄G3に記入された投稿情報をデータベース22の建造物テーブルの投稿欄に書き込む前に、データベース22におけるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報の有無を検出し、カメラ識別情報が登録されていることが検出された場合にのみ、上述の投稿情報をデータベース22の建造物テーブルの投稿欄に書き込むようにしてもよい。
【0022】
次に、制御部11は、終了アイコンEが選択されたか否かの検出を行う(ステップS9)。ここで、ユーザが上記終了アイコンEをタッチすると、上記周辺回路は終了アイコンEが選択されたことを示す信号を制御部11に出力する。
そして、制御部11は、終了アイコンEが選択されたことを示す信号が入力されることにより、終了アイコンEが選択されたことを検出した場合、情報検索の処理を終了する。
一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されず、終了アイコンEが選択されたことを検出しない場合、処理をステップS1に戻し、デジタルカメラ1の撮像処理及び情報検索処理を継続する。
【0023】
また、制御部11は、ブラウズアイコンI1が選択された際に、情報検索システム2に送信する検索依頼信号に対して、撮像した画像データを含めるようにしても良い。
そして、サーバ21は、地図データから抽出された建造物の建造物識別情報により、建造物テーブルから検索された建造物情報の周辺画像データと、送信される画像データとを、画像認識により比較し、画像データから特徴量を抽出し、記憶されている周辺画像データの特徴量と比較し、類似度が設定された数値以上であるか否かの検出により、撮像した建造物に対応しているか否かの判定を行うように構成しても良い。
この際、比較結果として周辺画像データの建造物と、画像データの建造物とが同様でないと判定した場合、サーバ21は、位置情報及び方位情報により次に距離的に近い建造物を地図データから抽出し、再度特徴量の比較を行い、新たに抽出された建造物の周辺画像データが撮像している画像データと類似性の評価を行うようにしても良い。
【0024】
なお、本実施形態におけるブラウズアイコンI1は、上述の撮像ボタンB1と同様に、ブラウズボタン(不図示)として撮像装置1に設けられてもよい。この場合、上記ブラウズボタンの機能は、上述のブラウズアイコンI1の機能と同様である。また、本実施形態における撮像ボタンB1は、不図示のスイッチ部を操作することによって、ブラウズボタンとして機能するようにしてもよい。この場合、ブラウズアイコンI1又はブラウズボタンは不要である。
【0025】
<デジタルカメラ1で撮像した後における画像の情報検索>
次に、
図1及び
図7、並びに
図4から
図6を用いて本実施形態の動作を説明する。
図7はデジタルカメラ1により、建造物を撮像した後、記憶部15に記憶されている画像データを読み出し、その画像データに対する情報検索を行う場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、ユーザが新宿の繁華街を徘徊しつつ、夕食を食べるレストランを探索し、いくつかのレストランの画像データを撮像してから、そのなかから食事をするレストランを探す状態を示す例を示す。
【0026】
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対してデジタルカメラ1を向け(ステップS11)、後に情報検索を行いたい外観のレストランを見つけると、デジタルカメラ1に設けられている撮像ボタンB1(シャッター)を押下する(ステップS12)。ここで、制御部11は、撮像部13の撮像している画像データを、
図4に示すように表示部17の画像表示欄Pに撮像しているレストランの画像データを表示する。
【0027】
次に、ユーザにより撮像ボタンB1が押下されることにより、周辺回路は撮像ボタンが押下されたことを示す信号を制御部11に対して出力する。
そして、制御部11は、撮像ボタンB1が押下されたことを示す信号が入力されることにより、撮像ボタンB1が押下されたことを検出し、撮像部13の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部15に対して書き込んで記憶させる(ステップS13)。
そして、制御部11は、撮像ボタンB1が押下された時点において、GPS14が取得した位置情報と、方位センサ16が取得した方位情報とを、上記画像識別情報に対応させ、記憶部15に書き込み、記憶させる(ステップS14)。
【0028】
次に、ユーザが撮像したレストランの情報収集を行う場合、ユーザは、撮像した画像の読み出しアイコンRをタッチする。これにより、周辺回路は、読み出しアイコンRが選択されたことを示す信号を制御部11に対して出力する。
ここで、制御部11は、読み出しアイコンRが選択されたことを示す信号が入力されるか否かにより、記憶部15に画像が記憶されているか否かの判定を行う(ステップS15)。
このとき、読み出しアイコンRが選択されたことを示す信号が入力されると、制御部11は、読み出しアイコンRが選択されたことを検出し、情報の探索を開始するため、処理をステップA16へ進める。なお、読み出しアイコンRは、読み出しボタン(不図示)としてもよい。その場合、読み出しボタンは、撮像ボタンB1のようにデジタルカメラ1本体に設ければよい。
一方、読み出しアイコンRが選択されたことを示す信号が入力されない場合又は記憶部15に画像が記憶されていない場合、制御部11は、新たな撮像処理を行うため、処理をステップS11の状態に戻す。
【0029】
そして、制御部11は、ユーザが読み出しアイコンRをタッチして、周辺回路から読み出しアイコンRが選択されたこと示す信号が入力されると、記憶部15から時系列に撮像した順番に、画像データを順次読み出し(ステップS16)、画像データをサムネイル画像として予め設定した枚数毎に(又は画像データを1枚ずつ)、表示部17を介して画像表示欄MPに表示する。
また、1ページにサムネイル画像が入りきらない場合(或いは1枚ずつ表示する場合)、ユーザが画像表示欄MPに表示された画像を所定の方向にスライドさせるようにタッチすると、前ページ又は次ページのサムネイル画像を画像表示欄MPに表示する。この時、制御部11は、画像表示欄MPに表示された画像が所定の方向にスライドさせるようにタッチされたことを示す信号を検出することで、前ページ又は次ページのサムネイル画像を画像表示欄MPに表示部17を介して表示する。
【0030】
次に、ユーザが例えばサムネイル画像のなかから興味あるレストランの画像をタッチにより選択し、さらに、ブラウズアイコンI1をタッチすると、周辺回路は選択された画像識別信号とともに、ブラウズアイコンI1が選択されたことを示す信号を制御部11に対して出力する。
これにより、制御部11は、ブラウズアイコンI1が押下されたことを示す信号が入力されると、選択された画像データの画像識別情報により、記憶部15からこの画像識別情報に対応する位置情報及び方位情報を読み出し、カメラ識別情報、位置情報及び方位情報とを含む検索依頼信号を、送受信部12を介して情報検索システム2へ送信する(ステップS5)。
【0031】
以下の、ステップS6~ステップS8の処理については、
図3におけるステップS6~ステップS8の処理と同様のため、説明を省略する。
次に、制御部11は、終了アイコンEが選択されたか否かの検出を行う(ステップS18)。このとき、制御部11は、ユーザにより終了アイコンEがタッチされて、周辺回路から終了アイコンEが選択されたことを示す信号が入力された場合、ブラウズの処理を終了する。一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されない場合、処理をステップS16に戻し、サムネイル画像からの画像の選択処理を継続する。
【0032】
<デジタルカメラ1に入力した店舗情報からの情報検索>
次に、
図1及び
図8、並びに
図4から
図6を用いて本実施形態の動作を説明する。
図8はデジタルカメラ1に対して、ユーザが店舗名を入力することにより、データベース22に記憶されている対応する店舗名の
図2の建造物テーブルから、入力した店舗名のレストランなどの情報検索を行いたい場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、原宿にて夕食を行う場合、知人から聞いたレストランの情報を確認する状態を示す。
ユーザが検索アイコンI5をタッチにより選択すると、上記周辺回路は検索アイコンI5が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、検索アイコンI5が選択されたことを、上記検索アイコンI5が選択されたことを示す信号が入力されることにより検出し、
図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。
そして、ユーザが入力欄IPのテキスト欄Tに対し、タッチ画面型キーボード部Kを用いて検索を行いたいレストランの店舗名を書き込み(ステップS21)、ユーザが検索アイコンI5を再度タッチする(ステップS22)。
【0033】
これにより、周辺回路は検索アイコンI5が選択されたことを示す信号とともに、テキスト欄Tに入力された店舗名の文字データを制御部11に対して出力する。
そして、制御部11は、検索アイコンI5が選択されたことを示す信号の入力により、検索アイコンI5が選択されたことを検出し、上記テキスト欄Tに入力された店舗名の文字データを読み込み、自身のカメラ識別情報とともに、検索依頼信号として、情報検索システム2に対して、この検索依頼信号を送受信部12を介して送信する(ステップS23)。
次に、サーバ21は、上記検索依頼信号を入力すると、データベース22における建造物テーブルから、上記店舗名に対応する建造物(店舗)の情報(店舗情報、
図2のテーブルにおける各情報)を読み出す(ステップS24)。
【0034】
上記店舗情報を読み込んだ後、サーバ21は、この取得した上記店舗情報をデジタルカメラ1へ送信する(ステップS25)。
店舗情報が送受信部12を介して受信されると、制御部11は、表示部17を介して、
図5の画像表示欄MPに建造物情報に含まれる店舗周辺の画像データを表示するとともに、情報表示欄SPに建物情報を表示する(ステップS26)。例えば、レストランが、どのような種類(中華、和風、フレンチ、イタリアンなど)であるかの情報と、電話番号となどが表示される。
また、ユーザがCMアイコンI2をタッチにより選択すると、制御部11は、CMアイコンI2が選択されたことを検出し、検索結果情報に含まれるレストランのコマーシャル情報(メニューや、シェフの今日のおすすめ料理など)を、情報表示欄SPに表示部17を介して表示する。
【0035】
また、ユーザが投稿閲覧アイコンI3をタッチにより選択すると、周辺回路は投稿閲覧アイコンI3が選択されたことを示す信号を制御部11に対して出力する。
制御部11は、投稿閲覧アイコンI3が選択されたことを示す信号が入力されることにより、投稿閲覧アイコンI3が選択されたことを検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報を、情報表示欄SPに表示部17を介して表示する。
【0036】
なお、制御部11は、複数の投稿情報がある場合、その複数の投稿情報を順次、情報表示欄SPに表示部17を介して表示する。また、制御部11は、投稿情報に画像データも含まれる場合、この画像データを情報表示欄SPに表示部17を介して表示する。
【0037】
そして、制御部11は、終了アイコンEが選択されたか否かの検出を行う(ステップS27)。この終了アイコンEの選択の検出は、<デジタルカメラ1で撮像している画像の情報検索>におけるステップS9の処理と同様であるため、説明を省略する。
このとき、制御部11は、ユーザが終了アイコンEをタッチにより終了アイコンEが選択されたこと示す信号が周辺回路から入力された場合、ブラウズの処理を終了する。一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されない場合、処理をステップS21に戻し、店舗の情報の検索を継続する。
【0038】
<データベース22に登録してある店舗に対する課金処理>
データベース22の建造物テーブルは、上述した建造物が店舗(レストランや会社も含む)である場合、この店舗毎に割引クーポンのデータが記憶されている構成としてもよい。
そして、サーバ21は、検索結果情報に割引クーポン情報を付加し、デジタルカメラ1へ送信する。
ユーザが上記割引クーポン情報を用いて、食事をしたり、買い物をしたりすると、サーバ21は、割引クーポン情報の使用の有無からユーザが食事あるいは買い物をしたかの有無を検出する。例えば、上記割引クーポン情報がデジタルカメラ1の情報表示欄SPに表示されるバーコード(2次元バーコードを含む)などの場合、店舗の読み取り機がそのバーコードを読み取り、デジタルカメラ1から送信されるカメラ識別情報、及び買い物(または食事)の料金ととともに、割引クーポン情報が使用されたことを示す利用情報を情報検索システム2へ送信する。
【0039】
これにより、サーバ21は、上記利用情報を受信すると、この利用情報に付加されたカメラ識別情報に対応する履歴情報を、データベース22から読み出し、情報検索をして店舗を利用したのか、また店舗の提供する情報を見て店舗を利用したのか、あるいは投稿情報をみて店舗を利用したのかの情報の利用段階において、すなわち、データベース22の情報をどの程度利用したかに応じた情報提供料として、ユーザが利用した店舗に対して異なる課金を行う。また、サーバ21は、カメラ識別情報毎に、情報検索を行った段階、及び割引クーポン情報を利用した履歴を、データベース22に記憶される履歴テーブルに書き込む。
【0040】
このバーコードには店舗を示す建造物識別情報が含まれている。データベース22には、この建造物識別情報に対応させた、各店舗に対応する課金の履歴と、課金の積算値とを記憶する課金テーブルが設けられている。
そして、サーバ21は、建造物識別情報に対応して、利用した金額及び上記情報の利用段階とに対応する課金を、上記課金テーブルに履歴として書き込み、積算値に新たな課金を加算して積算値の更新を行う。
【0041】
<ユーザに対するポイントの付加処理>
サーバ21は、ユーザが割引クーポン情報を店舗で利用する毎に、割引クーポン情報を用いた際の利用金額に応じた(例えば、利用金額にポイント係数を乗して計算した)ポイントを求め、データベース22におけるユーザ登録テーブルにおいて、求めたポイントを、カメラ識別情報に対応して積算する。
また、サーバ21は、投稿情報を送信してきたユーザに対し、予め設定された値のポイントを、上記ユーザ登録テーブルに、カメラ識別情報に対応して積算する。
上記ポイントはお金の代わりに、代金支払いにおいて割引クーポン情報とともに使用することができる。
【0042】
<投稿情報の表示順番>
ここで、サーバ21は、デジタルカメラ1に対して、最初の段階において投稿情報として、ニックネームと表題とを、投稿識別情報とともに送信するようにしてもよい。
そして、制御部11は、最初に情報表示欄SPにニックネームと表題のみを複数表示する。そして、ユーザは、その複数表示されたなかから、気になる投稿情報のニックネームと表題とをタッチして選択する。これにより、周辺回路は、ニックネームと表題とが選択されたことを示す信号と、選択された投稿情報の投稿識別情報を制御部11に対して送信する。
これにより、制御部11は、情報検索システム2に対して、投稿識別情報とともに投稿情報送信依頼を送信する。
【0043】
これにより、サーバ21は、送信された投稿識別情報に対応する文字データ及び画像データ(投稿情報の全体)をデジタルカメラ1に対して送信する。
ここで、サーバ21は、各投稿情報に対して、識別のための投稿識別情報を付与し、カメラ識別情報と対応させて、ユーザ登録テーブルに書き込んで記憶させている。
なお、本実施形態においては、制御部11は、情報検索システム2からの文字データ及び画像データを、送受信部12を介して受信すると、情報表示欄SPに文字データを表示し、画像データを画像表示欄MPに表示してもよい。
【0044】
また、サーバ21は、ユーザ登録テーブルにおいて、参照された投稿情報に対応する投稿識別情報をユーザ登録テーブルから検索し、この投稿識別情報に対応したカメラ識別情報の参照回数をインクリメントする。
そして、サーバ21は、ユーザに投稿情報を選択させる、最初のニックネーム及び表題の表示段階において、投稿情報の選択された回数の多い順に、すなわち参照回数の多いユーザのニックネームと表題とを、情報表示欄SPに表示する順位を上位とした表示リストを、デジタルカメラ1へ送信する。
これにより、制御部11は、上記表示リストに従い、情報表示欄SPにニックネームと表題を順次表示する。
【0045】
<過去の画像データの表示処理>
また、本実施形態においては、データベース22は、各緯度経度における建物及び風景が年度ごとに撮影された画像データが、緯度経度毎に対応して記憶された過去画像テーブルを有するようにしてもよい。
ユーザが過去画像アイコンI6をタッチにより選択すると、上記周辺回路は過去画像アイコンI6が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、過去画像アイコンI6が選択されたことを、上記過去画像アイコンI6が選択されたことを示す信号が入力されることにより検出し、
図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。
そして、ユーザは、テキスト欄Tにタッチ画面型キーボード部Kを用いて年度(例えば、西暦)を記入した後、過去画像アイコンI6(又はブラウズアイコンI1)をタッチする。
【0046】
これにより、周辺回路は、過去画像アイコンI6が選択されたことを示す信号とともに、上記年度の文字データを制御部11へ送信する。
制御部11は、過去画像アイコンI6が選択されたことを示す信号を検出すると、テキスト欄Tに記入された年度を示す文字データを読み込む。
年度のデータを読み込んだ後、制御部11は、過去画像検索要求を、読み込んだ年度と、位置情報と、方位情報と、カメラ識別情報とともに、情報検索システム2へ送信する。
【0047】
次に、情報検索システム2において、サーバ21は、画像表示欄Pに表示されているデジタルカメラ1から受信した建造物の位置情報に基づく緯度経度に対応する過去画像テーブルを選択する。そして、サーバ21は、この選択された過去画像テーブルにおける方位情報及び年度に対応する画像データを読み込み、読み出した画像データをデジタルカメラ1に送信する。デジタルカメラ1は、サーバ21から受信した上記年度に対応する画像データを画像表示欄MPに表示部17を介して表示する。なお、サーバ21は、上記読み出した画像に対する情報などを付加されている場合には、読み出し画像データとともに、その情報もデジタルカメラ1に送信する。
これにより、ユーザは、過去の各年度にどのような建造物があったのか、あるいは何もなく風景のみであったのかなどの情報を得ることができる。
【0048】
ここで、サーバ21は、対応する緯度経度の過去画像テーブルが検索できない場合、方位情報の方向にある緯度経度であり、かつ最も近い緯度経度の過去画像テーブルを検索し、これから画像データの抽出を行う。
また、写真が無い時代であれば、その時代にかかれた風景画、あるいは想像して作成されたCG(Computer Graphics)の画像データを、写真の画像データに代えて、年度に対応して、記憶部15の上記過去画像テーブルに記憶させておいても良い。
【0049】
一実施形態は、被写体を撮像する際に、被写体を撮像する位置の情報を取得し、被写体と位置の情報とを対応付ける機能を有する携帯情報機器、撮像装置、及びその情報を用いて被写体の情報を取得する情報取得システムに関する。
一実施形態において、ユーザが撮影位置からいずれの方向にある被写体を撮影したかを知るための方位情報(例えば、方位角)を得ることができる。
一実施形態において、ユーザが撮影している被写体、例えば建造物がどのようなものであるかの情報を、容易に得ることができる。
一実施形態において、ユーザが被写体を撮影した撮影位置の位置情報だけではなく、上記位置情報取得部の取得した位置情報の示す位置からいずれの方向を向いて撮像しているかを示す方位情報を得ることができるため、撮像した被写体の方角、すなわちユーザが撮像装置を、向けている方向を特定することが可能となる。
一実施形態において、被写体を撮像した位置情報と、方位情報とを得ることができるため、ユーザが撮像装置により撮像した被写体としての建造物の情報を、撮像した位置情報及び方位情報からデータベースを検索することにより容易に得ることが可能となる。
【符号の説明】
【0050】
1…デジタルカメラ
2…情報検索システム
3…無線基地局
4…情報通信網
11…制御部
12…送受信部
13…撮像部
14…GPS
15…記憶部
16…方位センサ
17…表示部
18…タイマ
21…サーバ
22…データベース