特許 5687995 被写体検索装置、被写体検索方法、被写体検索情報提供プログラム及び被写体検索プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5687995

(24)【登録日】2015年1月30日

(45)【発行日】2015年3月25日

(54)【発明の名称】被写体検索装置、被写体検索方法、被写体検索情報提供プログラム及び被写体検索プログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20150305BHJP

【ＦＩ】

   G06F17/30 380D

   G06F17/30 170B

   G06F17/30 320Z

【請求項の数】6

【全頁数】25

(21)【出願番号】特願2011-240759(P2011-240759)

(22)【出願日】2011年11月2日

(65)【公開番号】特開2013-97632(P2013-97632A)

(43)【公開日】2013年5月20日

【審査請求日】2013年2月8日

(73)【特許権者】

【識別番号】500578216

【氏名又は名称】株式会社ゼンリンデータコム

(74)【代理人】

【識別番号】100091546

【弁理士】

【氏名又は名称】佐藤 正美

(72)【発明者】

【氏名】小関 光昭

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２００６−１５５５９２（ＪＰ，Ａ）

【文献】 特開２００６−３０９６００（ＪＰ，Ａ）

【文献】 特開２００８−０１５５９９（ＪＰ，Ａ）

【文献】 特開２００６−１０１１６６（ＪＰ，Ａ）

【文献】 特開２００７−１７９１２９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

検索対象の被写体の画像を撮影し、当該被写体の画像データを取得する撮影手段と、
前記撮影手段を通じて取得した前記画像データについての少なくとも撮影位置、撮影日時を含む前記画像データについての関連情報を取得する取得手段と、
被写体となる可能性のある複数の対象毎に、当該対象の１以上の画像を形成する１以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段と、
取得された前記画像データと前記関連情報とに基づいて、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を検索する検索手段と、
検索対象の前記被写体に関する情報が検索できなかった場合に、第１の追加情報を要求する第１の追加要求手段と、
前記第１の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第１の追加情報を取得するように制御する第１の制御手段と、
前記第１の制御手段の制御に応じて取得された前記第１の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第１の再検索手段と、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第２の追加情報として要求する第２の追加要求手段と、
前記第２の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第２の追加情報を取得するように制御する第２の制御手段と、
前記第２の制御手段の制御に応じて取得された前記第２の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第２の再検索手段と
を備えることを特徴とする被写体検索装置。

【請求項2】

請求項１に記載の被写体検索装置であって、
前記検索手段で検索対象の前記被写体に関する情報を検索できた場合に、検索の結果得られた当該情報に基づいて、第１の回答情報を生成する第１の回答情報生成手段と、
前記第１の再検索手段または前記第２の再検索手段での検索結果に基づいて、第２の回答情報を生成する第２の回答情報生成手段と、
を備えることを特徴とする被写体検索装置。

【請求項3】

請求項２に記載の被写体検索装置であって、
当該被写体検索装置は、端末装置と情報処理装置とからなり、
前記端末装置は、
前記撮影手段と、前記取得手段と、
ユーザからの指示入力を受け付ける受付手段と、前記第１、第２の制御手段とを備えると共に、
前記撮影手段で取得された前記画像データと前記取得手段で取得された前記関連情報と
を含む検索要求を形成する第１の形成手段と、
前記検索要求を前記情報処理装置に送信する第１の送信手段と、
前記第１の追加情報の要求を受信する第１の受信手段と、
前記第１の制御手段の制御に応じて、前記撮影手段と前記取得手段との一方または両方で取得された情報を含む第１の再検索要求を形成する第２の形成手段と、
前記第１の再検索要求を前記情報処理装置に送信する第２の送信手段と、
前記第２の追加情報の要求を受信する第２の受信手段と、
前記第２の制御手段の制御に応じて、前記撮影手段と前記取得手段との一方または両方で取得された情報を含む第２の再検索要求を形成する第３の形成手段と、
前記第２の再検索要求を前記情報処理装置に送信する第３の送信手段と、
前記第１の回答情報を受信する第１の回答情報受信手段と、
前記第２の回答情報を受信する第２の回答情報受信手段と
を備え、
前記情報処理装置は、
前記記憶手段と、前記検索手段と、前記第１、第２の追加要求手段と、前記第１、第２の再検索手段と、前記第１、第２の回答情報生成手段とを備え、
前記端末装置からの前記検索要求を受信する第１の受信手段と、
前記第１の追加情報の要求を前記端末装置に送信する第１の追加要求送信手段と、
前記端末装置からの前記第１の再検索要求を受信する第２の受信手段と、
前記第２の追加情報の要求を前記端末装置に送信する第２の追加要求送信手段と、
前記端末装置からの前記第２の再検索要求を受信する第３の受信手段と、
前記第１の回答情報を前記端末装置に送信する第１の回答情報送信手段と、
前記第２の回答情報を前記端末装置に送信する第２の回答情報送信手段と、
を備えることを特徴とする被写体検索装置。

【請求項4】

請求項３に記載の被写体検索装置であって、
前記端末装置と前記情報処理装置とはネットワークを通じて接続されることを特徴とする被写体検索装置。

【請求項5】

撮影手段を通じて、検索対象の被写体の画像を撮影し、画像データを取得する撮影工程と、
前記撮影手段を通じて取得した前記画像データについての少なくとも撮影位置、撮影日時を含む前記画像データについての関連情報を、取得手段を通じて取得する取得工程と、
検索手段が、取得された前記画像データと前記関連情報とに基づいて、被写体となる複数の対象毎に当該対象の外観の１以上の画像を形成する１以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段の情報を参照し、検索対象の被写体に関する情報を検索する検索工程と、
前記被写体に関する情報を検索できなかった場合に、第１の追加要求形成手段が第１の追加情報を要求する第１の追加要求工程と、
受付手段を通じて、前記第１の追加情報の要求に応じた情報の第１の取得指示をユーザから受け付ける第１の受付工程と、
前記第１の取得指示に応じて、第１の制御手段が、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第１の追加情報を取得するように制御する第１の制御工程と、
前記第１の制御手段の制御に応じて新たに取得された前記第１の追加情報をも考慮して、第１の再検索手段が、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第１の再検索工程と、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第２の追加情報として要求する第２の追加要求工程と、
受付手段を通じて、前記第２の追加情報の要求に応じた情報の第２の取得指示をユーザから受け付ける第２の受付工程と、
前記第２の取得指示に応じて、第２の制御手段が、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第２の追加情報を取得するように制御する第２の制御工程と、
前記第２の制御手段の制御に応じて新たに取得された前記第２の追加情報をも考慮して、第２の再検索手段が、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第２の再検索工程と
を有することを特徴とする被写体検索方法。

【請求項6】

被写体となる複数の対象毎に、当該対象の外観の１以上の画像を形成する１以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段を備えた情報処理装置に搭載されたコンピュータによって実行されるプログラムであって、
検索要求元からの検索対象の被写体を撮影することにより得られる画像データと、当該画像データについての少なくとも撮影位置、撮影日時を含む関連情報とが含まれる検索要求を、受信手段を通じて受信した場合に、前記検索要求に含まれる前記画像データと前記関連情報とに基づいて、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を検索する検索ステップと、
前記被写体に関する情報を検索できなかった場合に、第１の追加情報の提供を要求する第１の追加要求を形成する第１の追加要求形成ステップと、
前記第１の追加要求を、送信手段を通じて前記検索要求元に送信する第１の送信ステップと、
前記検索要求元からの前記第１の追加情報を含む第１の再検索要求を、受信手段を通じて受信した場合に、前記第１の再検索要求に含まれる前記第１の追加情報をも考慮して、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第１の再検索ステップと、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第２の追加情報として要求する第２の追加要求を形成する第２の追加要求形成ステップと、
前記第２の追加要求を、送信手段を通じて前記検索要求元に送信する第２の送信ステップと、
前記検索要求元からの前記第２の追加情報を含む第２の再検索要求を、受信手段を通じて受信した場合に、前記第２の再検索要求に含まれる前記第２の追加情報をも考慮して、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第２の再検索ステップと、 を実行することを特徴とする被写体検索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報検索技術の分野に属し、撮影された被写体に関する正確な情報を確実に検索できるようにする装置、方法、プログラムに関する。

【背景技術】

【0002】

山歩きや里山の散策、あるいは、海辺や湖沼周辺等の水辺の散策など、自然と親しむことを趣味にしている人は多い。これに伴い、食用となる自生植物（野草、山菜、茸、果実、木の実など）や食用となる魚介類等の採取を趣味にする人も増えてきている。しかし、自生植物や魚介類等の中には毒性を有するものもあり、知識や経験がなければむやみに食することはできない。

【0003】

このため、自生植物や魚介類等の採取対象について知識や経験のないユーザの場合、多くは写真付きの図鑑を用いて、採取対象の自生植物や魚介類等が毒性はなく食べられるものか否かをユーザ自身が判別している。これに関連し、後に記す特許文献１には、動植物等の画像を撮影し、撮影することにより得た画像データと撮影時の撮影状況（撮影時間や撮影場所）とに基づいて、データベースを検索し、被写体に関する説明文を得る発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１０−０９１６３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した図鑑を用いる方法の場合、図鑑の記載内容と、採取対象の自生植物や魚介類等とが同じものか否かは、ユーザがページをめくって見て合わせるため、手間や時間がかかり面倒である。また、自生植物や魚介類等においては、特徴のある部分はそれぞれに異なるため、１枚の画像データや撮影状況だけでは、被写体に関する正確な情報を検索できない場合も多い。このため、上述した特許文献１に記載の発明を用いても、自生植物や魚介類等の採取対象についての適切な情報を確実に提供できない場合があると考えられる。

【0006】

以上のことに鑑み、この発明は、ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、請求項１に記載の発明の被写体検索装置は、
検索対象の被写体の画像を撮影し、当該被写体の画像データを取得する撮影手段と、
前記撮影手段を通じて取得した前記画像データについての少なくとも撮影位置、撮影日時を含む前記画像データについての関連情報を取得する取得手段と、
被写体となる可能性のある複数の対象毎に、当該対象の１以上の画像を形成する１以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段と、
取得された前記画像データと前記関連情報とに基づいて、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を検索する検索手段と、
検索対象の前記被写体に関する情報が検索できなかった場合に、第１の追加情報を要求する第１の追加要求手段と、
前記第１の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第１の追加情報を取得するように制御する第１の制御手段と、
前記第１の制御手段の制御に応じて取得された前記第１の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第１の再検索手段と、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第２の追加情報として要求する第２の追加要求手段と、
前記第２の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第２の追加情報を取得するように制御する第２の制御手段と、
前記第２の制御手段の制御に応じて取得された前記第２の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第２の再検索手段と
を備えることを特徴とする。

【0008】

この請求項１に記載の発明の被写体検索装置によれば、撮影手段で取得した検索対象の被写体の画像データと、取得手段で取得した、当該画像データについての撮影位置、撮影日時を含む関連情報とに基づいて、検索手段が、記憶手段の蓄積情報から検索対象の被写体に関する情報を検索する。検索手段が、検索対象の被写体に関する情報を検索できなかった場合には、第１の追加要求手段が、第１の追加情報を要求し、これに応じて、第１の制御手段が撮影手段や取得手段を制御して、第１の追加情報を取得する。そして、第１の再検索手段が、新たに取得された第１の追加情報をも考慮して、記憶手段の蓄積情報から検索対象の被写体に関する情報を再検索する。また、検索対象の候補となる被写体に関する情報を検索できた場合には、第２の追加要求手段が、第２の追加情報を要求し、これに応じて、第２の制御手段が撮影手段や取得手段を制御して、第２の追加情報を取得する。そして、第２の再検索手段が、新たに取得された第２の追加情報をも考慮して、記憶手段の蓄積情報から検索対象の被写体に関する情報を再検索する。

【0009】

このように、最初の検索によって、検索対象の被写体に関する情報が検索できなくても、当該被写体に関する情報を検索するために必要となる当該被写体についての追加情報（画像データや関連情報）を得て、これをも考慮して再検索が行われる。これにより、検索対象の被写体に関する正確な情報を確実に検索できるようになる。しかも、ユーザの手を煩わせることもない。

【発明の効果】

【0010】

この発明によれば、ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できる。

【図面の簡単な説明】

【0011】

【図1】この発明の被写体検索装置の一実施の形態を実現する被写体検索システムの概略構成を説明するための図である。

【図2】実施の形態の携帯電話端末４の構成例を説明するためのブロック図である。

【図3】画像データファイルのフォーマットの一例の概要を説明するための図である。

【図4】実施の形態のサーバ装置１の構成例を説明するためのブロック図である。

【図5】被写体ＤＢ１０５の登録データの例を説明するための図である。

【図6】被写体検索を行う場合の携帯電話端末４での処理について説明するためのフローチャートである。

【図7】図６に続くフローチャートである。

【図8】図７に続くフローチャートである。

【図9】被写体検索を行う場合に携帯電話端末４の表示画面に表示される画面の例について説明するための図である。

【図10】被写体検索を行う場合のサーバ装置１での処理について説明するためのフローチャートである。

【図11】図１０に続くフローチャートである。

【発明を実施するための形態】

【0012】

以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。この発明は、カメラ機能を備えた情報処理装置単体で実現することもできるし、カメラ機能を備えた端末装置と情報処理装置とを組み合わせて実現することもできる。また、この発明は、カメラ機能を備えた端末装置とサーバ装置とを、ネットワークを通じて接続することにより形成されるシステムとして実現することもできる。

【0013】

以下においては、野外活動中に利用することも考慮し、カメラ機能を備えた端末装置とサーバ装置とがネットワークを通じて接続されて形成されるシステムとして、この発明を実現する場合を例にして説明する。また、カメラ機能を備えた端末装置は、携帯電話端末やタブレット型端末やパッド型端末と呼ばれる情報端末など種々のものが存在する。しかし、以下に説明する実施の形態において、カメラ機能を備えた端末装置は、現在広く普及しているカメラ付きの携帯電話端末を用いるものとする。

【0014】

［システムの全体構成］
図１は、この発明の被写体検索装置の一実施の形態を実現する被写体検索システムの概略構成を説明するための図である。すなわち、この実施の形態においては、サーバ装置１と携帯電話端末４（１）、４（２）、…とが、ネットワーク２を通じて接続されることにより、この発明の被写体検索装置の一実施の形態を実現している。

【0015】

サーバ装置１は、詳しくは後述もするが、被写体となる可能性のある種々の植物や種々の魚介類のそれぞれ毎に、それらの１以上の画像を形成する１以上の画像データと、それらの詳細情報とを蓄積して形成した被写体データベースを備えている。そして、サーバ装置１は、当該被写体データベースを用いて、被写体検索サービスを提供することができるものである。なお、ここで、「被写体となる可能性のあるもの」とは、検索の対象となるものを意味する。

【0016】

また、図１において、ネットワーク２は、主にインターネットを意味する。インターネットは、全世界規模で構築されている、インターネット・プロトコルによるネットワークを相互接続して構築されたネットワークである。なお、ネットワーク２は、インターネットへの接続経路を提供する公衆交換電話網（ＰＳＴＮ（Public Switched Telephone Network））、デジタル回線網（ＩＳＤＮ（Integrated Services Digital Network））、光通信網などをも含む。また、ネットワーク２は、携帯電話網や、ｗｉｆｉなどと呼ばれる無線ＬＡＮ（Local Area Network）、ｗｉｍａｘなどと呼ばれる高速無線通信規格に準じた無線通信網などをも含む。したがって、図１に示すように、携帯電話端末４（１）、４（２）、…のそれぞれは、携帯電話網の近隣の基地局３（１）、３（２）、３（３）、…を通じてネットワーク２に接続される。

【0017】

携帯電話端末４（１）、４（２）、…のそれぞれは、携帯電話網を通じての通話機能やインターネットを通じてのデータ通信機能を実現する通信機能の他、カメラ機能、ＧＰＳ（Global Positioning System）機能、時計回路、方位センサ（地磁気センサ）等を備えたものである。そして、携帯電話端末４（１）、４（２）、…のそれぞれは、カメラ機能を用いて撮影を行うことにより、被写体の画像を形成する画像データを取得できる。

【0018】

また、携帯電話端末４（１）、４（２）、…のそれぞれは、撮影を行うと、ＧＰＳ機能を用いて撮影位置を取得し、時計回路を用いて撮影日時を取得し、方位センサを用いて撮影方向を取得するなど、画像データに関する種々の関連情報（メタデータ）を取得する。すなわち、携帯電話端末４（１）、４（２）、…においては、撮影を行うことにより、被写体の画像データを取得するだけでなく、当該画像データについての種々の関連情報（メタデータ）を取得して、これらを関連付けて記憶保持できる。

【0019】

なお、携帯電話端末４（１）、４（２）、…が備えるＧＰＳ機能は、少なくとも３個以上の人工衛星からの信号を受信して演算処理を行うことにより、自機の現在位置を測位することができるものである。また、携帯電話端末４（１）、４（２）、…のそれぞれのＧＰＳ機能は、いわゆるディファレンシャルＧＰＳと呼ばれる技術を用い、高精度に自機の現在位置を測位することができるものである。図１において、ＧＰＳ衛星５（１）、５（２）、…は、地上におけるＧＰＳ機能を実現するため、地球周回軌道上に配備され、現在位置測位のためのいわゆるＧＰＳ信号を送信する約３０基の人工衛星の一部を示している。

【0020】

そして、例えば、携帯電話端末４（１）のユーザが、茸採りに出かけ、茸を見つけたが、その茸は見たことがなく食べられるものかどうか分からないものであったとする。この場合、ユーザは、携帯電話端末４（１）を用いて、サーバ装置１にアクセスし、被写体検索アプリケーション等の提供を受けて、サーバ装置１との間で被写体検索を行える環境を整える。そして、携帯電話端末４（１）は、ユーザの指示に応じて、カメラ機能を用い、ユーザが見つけた茸の画像を撮影して画像データを取得する。同時に、携帯電話端末４（１）は、自機の機能を用いて、撮影場所、撮影日時、撮影方向等の関連情報を取得する。そして、携帯電話端末４（１）は、当該画像データや関連情報を含む、検索要求を形成し、サーバ装置１に送信する。

【0021】

サーバ装置１は、上述もしたように、被写体データベースを備えている。サーバ装置１は、携帯電話端末４（１）からの検索要求を受信すると、これに含まれる画像データと関連情報とを用いて、当該被写体データベースから、画像データが形成する画像の被写体に関する情報を検索する。そして、サーバ装置１は、検索結果を検索要求元の携帯電話端末４（１）に返信する。しかし、当該検索要求に含まれる画像データと関連情報だけだと、該当データが見つからなかったり、該当データが絞り込めなかったりする場合もある。

【0022】

そこで、サーバ装置１は、最初の検索処理で検索対象の被写体に関する情報が検索できなかった場合（特定できなかった場合）には、検索要求元の携帯電話端末４（１）に対して、追加情報の提供を要求する。この場合の追加情報は、茸の傘上部と茸の傘裏部の写真（画像データ）を要求したり、茸の傘の直径、茎の長さ、茎部の粘性の有無、茸の発する匂いなどの情報を要求したり、当該茸の周囲に存在する樹木の種類の情報を要求したりするなど、具体的なものである。すなわち、サーバ装置１は、最初の検索処理により、被写体に対応する可能性のある蓄積データを絞り込むことができる。そこで、サーバ装置１は、最初の検索処理で得られる情報を基にして、判別処理に必要な追加情報を特定し、問い合わせ要求元の携帯電話端末４（１）に当該追加情報の提供を具体的に要求する。

【0023】

追加情報の提供が要求された携帯電話端末４（１）においては、サーバ装置１からの要求に応じた追加情報を、ユーザの指示に応じて取得し、これをサーバ装置に送信する。サーバ装置１では、携帯電話端末４（１）からの追加情報をも考慮して、被写体データベースを参照し、検索対象の被写体に関する情報の再検索を行う。これにより、より確実に、携帯電話端末４（１）からの画像データや関連情報に基づいて、画像データが形成する画像の被写体（この例の場合には茸）に関する情報を検索することができる。具体的には、茸の名称（名前）、毒性の有無、食用に適するか否か、食用に適する場合にはどのような料理方法があるかなどを知ることができる。なお、ここでは、携帯電話端末４（１）を用いる場合を例にして説明したが、カメラ機能を備えた携帯電話端末４（２）等の他の携帯電話端末を用いた場合にも、同様に、被写体の検索を行うことができる。

【0024】

このように、この実施の形態のサーバ装置１は、最初の検索処理において、検索対象の被写体に関する情報が検索できない場合には、検索のために必要となる追加情報の提供を、検索要求元の携帯電話端末４（１）、４（２）、…等に要求する。そして、サーバ装置１は、検索要求元からの追加情報を用いて、再検索処理を行うことにより、検索対象の被写体に関する正確な情報を確実に検索することができる。

【0025】

なお、この実施の形態において、携帯通信端末４（１）、４（２）、…のそれぞれは、基本的な構成は同じである。このため、以下においては特に区別して示す場合を除き、携帯通信端末４（１）、４（２）、…を総称して、携帯通信端末４という。そして、以下では、まず、この実施の形態の被写体検索装置（被写体検索システム）を構成する携帯電話端末４とサーバ装置１とのそれぞれの構成例について説明する。この後、携帯電話端末４とサーバ装置１で行われる処理について具体的に説明する。

【0026】

［携帯通信端末４の構成例］
図２は、この実施の形態の携帯電話端末４の構成例を説明するためのブロック図である。図２に示すように、この実施の形態の携帯電話端末４は、ネットワーク２を通じて通信を行う部分として、送受信アンテナ４０１、送受信処理部４０２、受話器（スピーカ）４０３、送話器（マイクロホン）４０４を備える。また、ユーザインターフェースを提供する部分として、キー操作部４１１、表示制御部４１２、表示部４１３、音声処理部４１４、スピーカ４１５を備える。また、携帯電話端末４は、カメラ機能を実現するカメラ部４１６を備える。

【0027】

キー操作部４１１は、数字キー、各種機能キー等が設けられ、ユーザからの指示入力（操作入力）を受け付ける。また、キー操作部４１１には、カメラ機能を用いるためのシャッターキー等も設けられている。表示制御部４１２と表示部４１３とは、種々の画像や表示メッセージなどの表示情報を表示するためのものである。表示部４１３は、例えば、有機ＥＬディスプレイ（organic electroluminescence display）やＬＣＤ（Liquid Crystal Display）等のいわゆる薄型の表示素子が用いられている。また、音声処理部４１４とスピーカ４１５とは、着信音や警告音、その他の音声メッセージを出力するものである。また、カメラ部４１６は、撮像レンズ、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子、カメラ信号処理回路などからなるものである。

【0028】

また、携帯通信端末４は、各部を制御する制御部４２０を備える。制御部４２０は、ＣＰＵ（Central Processing Unit）４２１、ＲＯＭ（Read Only Memory）４２２、ＲＡＭ（Random Access Memory）４２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）４２４が、ＣＰＵバス４２５を通じて接続されて形成されたコンピュータ装置である。ＣＰＵ４２１は、ＲＯＭ４２２やＥＥＰＲＯＭ４２４に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給したり、各部から送信されてくるデータを受け付けて、これに応じた処理を実行したりする。ＲＯＭ４２２は、ＣＰＵ４２１において実行されるプログラムや処理に必要になる種々のデータが予め記録されたものである。

【0029】

また、ＲＡＭ４２３は、処理の途中結果を一時記憶するなど、主に作業領域として用いられる。また、ＥＥＰＲＯＭ４２４は、いわゆる不揮発性メモリであり、携帯通信端末４の電源を落としても保持しておくべきデータ等が記憶保持される。ＥＥＰＲＯＭ４２４には、例えば、機能追加のための新たなプログラム、種々の設定パラメータ、電話帳データ、アプリケーションプログラムや機能アップのための追加プログラムなどが記憶保持される。

【0030】

さらに、携帯通信端末４は、現在年月日、現在曜日、現在時刻を提供する時計回路４３１を備えると共に、メモリスロット部４３２、外部入出力端子４３３、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）４３４を備える。メモリスロット部４３２は、いわゆるメモリーカードの装着部と、これに装着されたメモリーカードに対するデータの書き込み／読み出し部とからなる。メモリスロット部４３２は、規格の異なる複数種類のメモリーカードに対応することができるものである。また、外部入出力端子４３３及び外部Ｉ／Ｆ４３４は、この実施の形態においては、例えば、ＵＳＢ（Universal Serial Bus）規格に準拠したデジタルインターフェースである。

【0031】

また、携帯通信端末４は、ＧＰＳ部４３５とＧＰＳアンテナ４３６とを備える。これらＧＰＳ部４３５とＧＰＳアンテナ４３６とにより、上述もしたように、複数のＧＰＳ衛星からのＧＰＳ信号（測位情報）を受信して演算処理することにより、自機の現在位置を正確に検出（測位）することができる。また、図２には図示しないが、携帯電話端末４は方位センサなどの画像データについての関連情報（メタデータ）に含まれる情報を取得するための種々のセンサや回路等を備えている。

【0032】

このような構成を有する携帯通信端末４は、制御部４２０の制御により、送受信処理部４０２、送受信アンテナ４０１を通じて、ネットワーク２に情報を送出したり、ネットワーク２を通じて送信されてくる自機宛の情報を受信したりする。これにより、携帯電話端末４は、種々の通信処理を行うことができる。

【0033】

また、携帯通信端末４は、実行可能な種々のアプリケーションプログラムなどを登録するようにしたメニューを備えている。当該メニューは、例えば、キー操作部４１１に設けられているメニューキーを押下操作するなどの所定の操作を行うことにより、制御部４２０が表示制御部４１２を通じて表示部４１３の表示画面に表示することができる。そして、制御部４２０は、キー操作部４１１を通じてユーザからの当該メニューに含まれる項目の選択入力を受け付け、ユーザによって選択された項目に対応するプログラムを実行することができる。

【0034】

そして、この実施の形態の携帯電話端末４は、カメラ部４１６を通じて撮影することにより得た被写体の画像データを、メモリスロット部４２３に装着されたメモリーカード４５０に蓄積することができる。この場合、画像データと共に、撮影時において取得する画像データについての関連情報（メタデータ）も蓄積する。また、携帯電話端末４を通じてサーバ装置１が提供する被写体検索サービスを利用する場合には、検索対象の被写体を撮影することにより得た画像データを含む検索要求を形成し、これをサーバ装置１に送信する。この場合、当該検索要求には、撮影時において取得する画像データについての関連情報（メタデータ）やキー操作部４１１を通じて受け付けた被写体や撮影場所等に関するテキスト情報も含められる。すなわち、被写体検索時において、キー操作部４１１を通じて入力されるテキスト情報もまた、検索対象の被写体の画像データについての関連情報（メタデータ）である。

【0035】

図３は、この実施の形態の携帯電話端末４において形成される検索要求のフォーマット例を説明するための図である。図３に示すように、当該検索要求には、端末ＩＤ、ヘッダ情報、関連情報（メタデータ）、１以上の画像データ、入力情報（テキスト情報）が含められる。端末ＩＤは、当該検索要求の提供元（検索要求元）の携帯電話端末４を特定するための情報である。ヘッダ情報は、当該情報が検索要求であることや、詳しくは後述する再検索要求であることを示す情報、当該検索要求にどのような情報が含まれているのかを示す情報等、当該検索要求に応じた処理を行う場合に必要となる情報である。

【0036】

また、関連情報（メタデータ）は、当該検索要求に格納されている画像データに関する種々の情報である。この実施の形態で用いられる画像データに関する関連情報には、撮影日時、撮影方向、焦点距離、ＧＰＳ情報が含まれる。これらの情報は、携帯電話端末４が備える機能によって取得可能な情報である。この他にも、撮影機器メーカー名などの撮影機器に関する情報や解像度やシャッタースピードなどの種々の撮影パラメータなどもメタデータとして検索要求に含められる。

【0037】

また、図３に示すように、当該検索要求には、検索対象の被写体の複数の画像データを含めることができるようになっている。このようにするのは、詳しくは後述もするが、被写体検索サービスの利用時において、サーバ装置１から追加情報として、被写体の異なる複数の部分の画像データが要求された場合に対応できるようにするためである。もちろん、必ず複数の画像データが必要になるものではなく、最初の検索要求の場合などにおいては、検索対象の被写体の１つの画像データだけが当該検索要求に含められる。また、追加情報が要求された場合であっても、追加の画像データが要求されない場合には、検索要求に画像データが含められない場合もある。また、図３において、入力情報は、上述もしたように、キー操作部４１１を通じて入力された被写体や撮影場所等に関するテキスト情報である。

【0038】

このように、この実施の形態の携帯電話端末４は、カメラ部４１６を通じて被写体を撮影し、図３を用いて説明した内容の検索要求を形成して、これをサーバ装置１に送信することによって、検索対象の被写体に関する情報を検索することができる。すなわち、携帯電話端末４は、サーバ装置１へのアクセス機能を実現し、携帯電話端末４を用いることによって、サーバ装置１が提供する被写体検索サービスを利用できるようになっている。

【0039】

［サーバ装置１の構成例］
図４は、この実施の形態のサーバ装置１の構成例を説明するためのブロック図である。図４に示すように、サーバ装置１は、ネットワーク２への接続端子１０１、通信Ｉ／Ｆ１０２を備える。また、携帯電話端末４からの検索要求を格納する検索要求保存ファイル１０３、ハードディスクドライブ（以下、ＨＤＤと略称する。）１０４、被写体データベース（以下、被写体ＤＢと略称する）１０５、地図データベース（以下、地図ＤＢと略称する。）１０６を備える。また、被写体検索サービスを提供する主な部分として、検索処理部１１１、回答情報生成部１１２、追加情報要求部１１３を備える。また、サーバ装置１は、制御部１２０を備える。

【0040】

制御部１２０は、サーバ装置１の各部を制御するものであり、図４に示すように、ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３が、ＣＰＵバス１２４を通じて接続されて構成されたコンピュータ装置である。そして、当該コンピュータ装置においては、ＣＰＵ１２１が機能し、ＲＯＭ１２２に記憶されているＢＩＯＳなどのいわゆるファームウェアや後述するＨＤＤ１０４のハードディスクに記憶されているアプリケーションソフトウェアを読み出して実行する。そして、ＣＰＵ１２１は、各部への制御信号を形成し、これを関係する各部に供給し、また、各部からのデータを受信してこれを処理する。

【0041】

接続端子１０１は、ネットワーク２との接続端部を形成するものである。この接続端子１０１に対して、ネットワーク２からの通信線路が接続される。通信Ｉ／Ｆ１０２は、ネットワーク２を通じて送信されてくる自機宛の種々の情報を受信し、これを自機において処理可能な形式の情報に変換して制御部１２０に供給する。また、通信Ｉ／Ｆ１０２は、制御部１２０を通じて供給される送信用の種々の情報を、ネットワーク２に送出する形式の信号に変換して、これをネットワーク２に送出する。

【0042】

検索要求保存ファイル１０３は、携帯電話端末４から送信されてくる検索要求を一時記憶するためのものである。この検索要求保存ファイルには、接続端子１０１及び通信Ｉ／Ｆ１０２を通じて受信された検索要求が、制御部１２０を通じて格納される。ＨＤＤ１０４は、記録媒体としてハードディスクを備え、制御部１２０の制御に応じて、当該ハードディスクに対して、書き込み／読み出しを行う。ＨＤＤ１０４のハードディスクは、例えば、種々のアプリケーションプログラムや種々の処理により得られたデータ等を記憶保持する。

【0043】

被写体ＤＢ１０５は、上述もしたが、検索対象である種々の植物や種々の魚介類のそれぞれ毎に、それらの１以上の画像を形成する１以上の画像データと、それらについての詳細情報とからなる情報が蓄積されて形成されたものである。この実施の形態においては、植物については、例えば、「菌茸類」、「草・花」、「樹木」、「果実」の４つに大きく分類され、それぞれ毎にデータが登録されている。また、魚介類については、例えば、「魚類」、「貝類」、「海藻類」、「その他の水生生物」の４つに分類され、それぞれ毎にデータが登録されている。

【0044】

図５は、被写体ＤＢ１０５の登録データの例を説明するための図であり、菌茸類の登録データの一例を示している。図５に示すように、被写体ＤＢ１０５の登録データは、ヘッダ情報として、当該登録データの識別ＩＤと被写体種別（被写体の分類）とを有している。そして、登録データは、被写体についての、名称、科目、学名、生息地、生育時期、生育場所、毒性等に関する情報、外観特徴、料理情報、１以上の画像データを備えている。この実施の形態においては、料理情報以外の各情報が、携帯電話端末４からの検索要求に含まれる画像データや関連情報（メタデータ）に基づく検索対象となる。なお、料理情報は、毒性が無く、食用に適したものである場合に、どのように料理すればよいのか等の情報を含む。

【0045】

そして、図５に示すように、当該登録データに含まれる被写体の画像データは、当該被写体の特徴部分を含む複数の画像についての画像データが含まれる。図５に示した例の場合には、画像データ１（全形１）、画像データ２（傘上部）、画像データ３（傘裏部）、画像データ４（茎部）、画像データ５（断面）、画像データ６（全形２）、画像データ７（全形３）、画像データ８（全形４）を有する。このように、１つの被写体について、複数の画像データを備えるようにしているのは、種々の角度からの比較を可能し、検索対象の被写体に関する正確な情報を確実に検索することができるようにするためである。なお、図５は、菌茸類についての登録データの例について説明したが、他の植物や魚介類についても、同様の登録データが形成され、被写体ＤＢ１０５に蓄積される。

【0046】

地図ＤＢ１０６は、この実施の形態においては、詳細な地図情報を記憶保持するものである。当該地図情報は、山、川、街、道路、鉄道路線、各種店舗、病院、医院、学校、警察署、消防署、神社仏閣、行政界などの種々のランドマーク、施設、行政区域などの位置や大きさなどを正確に表すことができるものである。そして、地図ＤＢ１０６は、地図を描画するための例えばベクトルデータやラスタデータ等の地図データ（地図用の描画データ）を緯度・経度情報に対応付けて記憶保持する。地図ＤＢ１０６の情報は、例えば、撮影場所がどのような場所なのかを判別するなどの場合に用いることができる。

【0047】

そして、サーバ装置１において、検索処理部１１１、回答情報生成部１１２、追加情報要求部１１３が、被写体検索サービスを提供するための主要部である。ここでも、菌茸類についての被写体の検索を行う場合を例にして説明する。検索処理部１１１は、検索要求保存ファイル１０３に格納された検索要求に含まれる画像データと関連情報とを用いて、制御部１２０を通じて被写体ＤＢ１０５の蓄積情報を参照し、被写体ＤＢ１０５の蓄積情報から検索対象の被写体に関する情報を検索する。

【0048】

この実施の形態において、図５を用いて説明した被写体ＤＢ１０５の登録データにおいて、画像データ１（全形１）は、当該被写体の代表画像を形成するものであるとする。このため、検索処理部１１１は、携帯電話端末４からの検索要求に含まれる画像データと被写体ＤＢ１０５の全形１の画像データ（画像データ１）とを対比して類似度を判別する。同時に、検索処理部１１１は、携帯電話端末４からの検索要求に含まれる関連情報と被写体ＤＢ１０５の登録情報との対比を行う。

【0049】

ここで、携帯電話端末４からの検索要求に含まれる関連情報と被写体ＤＢ１０５の登録情報との対比は、以下の点について行うことができる。すなわち、関連情報に含まれる撮影位置と被写体ＤＢ１０５の生息地域との対比、関連情報に含まれる撮影日時と被写体ＤＢ１０５の生育時期との対比が行える。また、関連情報として、ユーザ入力による被写体の外観に関するテキスト情報が存在する場合には、当該テキスト情報と被写体ＤＢ１０５の外観特徴の情報とを対比できる。また、関連情報として、ユーザ入力による撮影場所に関するテキスト情報が存在する場合には、当該テキスト情報と被写体ＤＢ１０５の生育場所の情報とを対比できる。

【0050】

そして、検索要求に含まれる画像データと被写体ＤＢ１０５の全形１の画像データ（画像データ１）との類似度が所定の閾値より高く、当該検索要求に含まれる関連情報と被写体ＤＢ１０５の登録情報と一致していたとする。この場合には、検索処理部１１１は、検索要求に含まれる画像データが形成する画像の被写体は、当該被写体ＤＢ１０５の当該登録データが示す被写体と一致すると判別することができる。すなわち、検索対象の被写体に関する情報が被写体ＤＢ１０５の蓄積データから検索できたことになる。

【0051】

この場合、検索処理部１１１は、検索できた被写体ＤＢ１０５の登録データの識別ＩＤを回答情報生成部１１２に通知して、回答情報の生成を依頼する。回答情報生成部１１２は、通知された識別ＩＤに基づいて、制御部１２０を通じて被写体ＤＢ１０５から該当する登録データを読み出し、これに基づいて名称、毒性等、料理情報等からなる検索要求元への回答情報を生成する。そして、回答情報生成部１１２は、生成した回答情報を、制御部１２０、通信Ｉ／Ｆ１０２、接続端子１０１を通じてネットワーク２に送出し、要求元の携帯電話端末４に送信する。

【0052】

また、検索処理部１１１において、検索対象の被写体に関する情報が被写体ＤＢ１０５の蓄積データから検索できなかったとする。この場合、検索処理部１１１は、今回の検索結果に基づいて、検索要求元に提供を要求する追加情報を特定し、これを追加情報要求部１１３に通知する。この場合、検索処理部１１１は、該当する登録データが全く検索できなかったときには、予め決められた条件にしたがって、１以上の新たな画像データ、より詳しい被写体の外観に関するテキスト情報、より詳しい撮影場所に関するテキスト情報等を追加情報とする。また、検索処理部１１１は、ある程度候補となる登録データが検索できたときには、それらとの対比を適切に行うことが可能な情報、例えば、被写体の特定部分に特徴がある場合には、その特定部分の画像データ、その特定部分に関するテキスト情報等を追加情報とする。

【0053】

追加情報要求部１１３は、検索処理部１１１からの通知に基づいて、検索要求元に送信する追加情報の提供要求を形成し、これを制御部１２０、通信Ｉ／Ｆ１０２、接続端子１０１を通じてネットワーク２に送出し、要求元の携帯電話端末４に送信する。これにより、検索要求元の携帯電話端末４は、サーバ装置１からどのような追加情報が要求されたかを把握できる。そして、検索要求元の携帯電話端末４は、サーバ装置１からの要求に応じた追加情報を取得し、これを含む再検索要求を生成して、サーバ装置１に送信する。当該再検索要求は、サーバ装置１において、接続端子１０１、通信Ｉ／Ｆ１０２を通じて受信され、検索要求保存ファイル１０３に格納される。

【0054】

そして、当該再検索要求に含まれる画像データや関連情報をも用いて、検索処理部１１１が再検索処理を行う。なお、上述したように、検索処理部１１の最初の検索処理により、ある程度検索対象が絞りこまれている場合には、その情報を検索処理部１１１や制御部１２０において管理しておく。これにより、検索処理部１１１は、検索対象となる被写体ＤＢ１０５の登録データの範囲を狭めて再検索処理を行うことができる。

【0055】

そして、検索処理部１１１における再検索処理の結果、検索対象の被写体に関する情報が被写体ＤＢ１０５の蓄積データから検索できたとする。この場合、検索処理部１１１は、上述したように、検索できた被写体ＤＢ１０５の登録データの識別ＩＤを回答情報生成部１１２に通知して、回答情報の生成を依頼する。そして、回答情報生成部１１２は、生成した回答情報を、上述もしたようにネットワーク２を通じて要求元の携帯電話端末４に送信する。

【0056】

また、検索処理部１１１において、検索対象の被写体に関する情報が被写体ＤＢ１０５の蓄積データから検索できなかったとする。この場合、検索処理部１１１は、回答情報生成部１１２に対して、検索できなかった旨の回答情報（検索不成功を示す情報）を形成するように依頼する。この場合、回答情報生成部１１２は、予め決められたテンプレートにしたがって、検索不成功メッセージを形成し、これを検索要求元に送信する。

【0057】

当該検索不成功メッセージとしては、例えば、「該当データが見つかりません。毒性を有する可能性もあります。採取することはお奨めできません。」、「該当データが見つかりません。採取する場合には、知識のある方に毒性の有無を確認し、毒性のないことを確認してから食べるようにしてください。」といったものとなる。この他にも、茸の毒性の有無を問い合わせることのできる問い合わせ先を紹介したり、茸の毒性の有無の検査が可能な検索機関を紹介したりすることもできる。また、採取して持ち帰った場合には、綺麗に洗った後に、再度の検索を行うことを勧めるなどのこともできる。

【0058】

このように、この実施の形態のサーバ装置１は、携帯電話端末４に対して、被写体検索サービスを提供することができるものである。

【0059】

［携帯電話端末４の処理とサーバ装置１の処理］
次に、図２、図３を用いて説明した構成を有する携帯電話端末４での被写体検索を行う場合の処理と、図４、図５を用いて説明した構成を有するサーバ装置１での被写体検索を行う場合の処理とについて、フローチャートを参照しながら説明する。

【0060】

［携帯電話端末４での被写体検索を行う場合の処理］
図６〜図８は、携帯電話端末４での被写体検索を行う場合の処理について説明するためのフローチャートであり、図９は、当該処理において、携帯電話端末４の表示部４１３の表示画面４１３Ｇに表示される画面の例について説明するための図である。

【0061】

携帯電話端末４の制御部４２０は、キー操作部４１１を通じて、サーバ装置１が提供する被写体検索サービスを利用するための所定の操作入力を受け付けると、図６〜図８に示す処理実行する。ここで、当該所定の操作入力は、例えば、当該処理に対応付けられたアイコンやメニュー項目等を選択するものである。そして、制御部４２０は、サーバ装置１の被写体検索サービスを提供するサイトのＵＲＬ（Uniform Resource Locator）を用いて、当該サイトにアクセスし、被写体検索アプリケーション等を取得し、これを実行する（ステップＳ１０１）。

【0062】

なお、被写体検索アプリケーション等には、必要となる画面情報等も含まれる。このステップＳ１０１の処理により、携帯電話端末４とサーバ装置１との間で所定の情報の送受を行って被写体検索を行う準備が整えられ、以降の処理が行われる。なお、サーバ装置１の被写体検索サービスを提供するサイトのＵＲＬは、予めＥＥＰＲＯＭ４２４に登録されているものとする。もちろん、ブラウザの検索機能を用いて検索して、当該サイトにアクセスすることもできる。また、取得した被写体検索アプリケーション等は、例えばＥＥＰＲＯＭ４２４に格納されて実行される。

【0063】

そして、制御部４２０は、被写体種別の選択画面（図９Ａ）を、表示制御部４１２を通じて表示部４１３の表示画面４１３Ｇに表示し（ステップＳ１０２）、キー操作部４１１を通じてユーザからの操作入力を受け付ける（ステップＳ１０３）。被写体種別の選択画面は、図９Ａに示したように、携帯電話端末４のユーザが、これから検索しようとしている被写体の種別を選択するためのものである。ステップＳ１０３においては、ユーザは、キー操作部４１１の上矢印キーや下矢印キーを用いて、目的とする被写体の種別を選択することができる。

【0064】

そして、制御部４２０は、ステップＳ１０３で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し（ステップＳ１０４）、「終了」ボタンの選択ではないときには、「ＯＫ」ボタンの選択操作か否かを判別する（ステップＳ１０５）。ステップＳ１０５の判別処理において、「ＯＫ」ボタンの選択であると判別したときには、被写体種別の選択画面（図９Ａ）においてカーソルＣＳが位置付けられた被写体の種別が、ユーザにより選択された被写体の種別として特定される（ステップＳ１０６）。ここで特定された被写体の種別は、サーバ装置１に送信される検索要求に含められる。これにより、サーバ装置１において、特定された被写体の種別に属する登録データだけを検索対象とすることができる。

【0065】

次に、携帯電話端末４の制御部４２０は、撮影ガイド画面（図９Ｂ）を表示部４１３の表示画面４１３Ｇに表示し（ステップＳ１０７）、キー操作部４１１を通じてユーザからの操作入力を受け付ける（ステップＳ１０８）。撮影ガイド画面は、図９Ｂに示したように、携帯電話端末４のユーザが、これから撮影しようとしている被写体をどのように撮影すればよいかを案内する情報からなる。

【0066】

そして、制御部４２０は、ステップＳ１０８で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し（ステップＳ１０９）、「終了」ボタンの選択ではないときには、「ＯＫ」ボタンの選択操作か否かを判別する（ステップＳ１１０）。ステップＳ１１０の判別処理において、「ＯＫ」ボタンの選択であると判別したときには、制御部４２０は、被写体の撮影及び関連情報（メタデータ）の取得を行う（ステップＳ１１１）。

【0067】

具体的に、ステップＳ１１１において、制御部４２０は、カメラ部４１６を機能させ、ユーザからのシャッター操作に応じて被写体の撮影を行う。また、制御部４２０は、撮影が行われた場合に、ＧＰＳ部４３５や時計回路４３１などから関連情報を取得する。そして、制御部４２０は、撮影することにより得られた被写体の画像を形成する画像データと、当該画像データについての関連情報とをＲＡＭ４２３に一時記憶する。このステップＳ１１１の処理の後、携帯電話端末４の制御部４２０は、図７に示すステップＳ１１２の処理に進む。

【0068】

そして、制御部４２０は、図６のステップＳ１１１において撮影することにより得られた画像データによる撮影画像の表示画面（図９Ｃ）を、制御部４２０、表示制御部４１２を通じて表示部４１３の表示画面４１３Ｇに表示する（ステップＳ１１２）。撮影画像の表示画面は、図９Ｃに示したように、ステップＳ１１１の撮影処理によって得られた画像データによる画像を表示するものである。当該撮影画像の表示画面は、ユーザが目的する被写体の画像の撮り直しを行うか否かを判断するために参照するものである。この後、制御部４２０は、キー操作部４１１を通じてユーザからの操作入力を受け付ける（ステップＳ１１３）。

【0069】

そして、制御部４２０は、ステップＳ１１３で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し（ステップＳ１１４）、「終了」ボタンの選択ではないときには、「撮り直し」ボタンの選択操作か否かを判別する（ステップＳ１１５）。ステップＳ１１５の判別処理において、「撮り直し」ボタンの選択であると判別したときには、制御部４２０は、図６のステップＳ１１１からの処理を繰り返し、目的とする被写体の再度の撮影と関連情報の取得とを行う。すなわち、目的とする被写体の画像の撮影し直し（撮り直し）を行うことができる。

【0070】

また、ステップＳ１１５の判別処理において、「撮り直し」ボタンの選択ではないと判別したときには、制御部４２０は、受け付けた操作入力が「ＯＫ」ボタンの選択操作か否かを判別する（ステップＳ１１６）。ステップＳ１１６の判別処理において、「ＯＫ」ボタンの選択であると判別したときには、制御部４２０は、撮影メモ画面（図９Ｄ）を表示部４１３の表示画面４１３Ｇに表示する（ステップＳ１１７）。

【0071】

撮影メモ画面は、図９Ｄに示したように、撮影した被写体の特徴や撮影場所の特徴の入力欄を有するものである。当該入力欄には、キー操作部４１１を通じてテキスト情報を入力することができる。なお、撮影メモ画面は、図９Ｄに示しものに限るものではない。例えば、被写体が、茸の例に従えば、撮影した被写体の特徴として、「傘の直径」、「傘の上部の色」、「傘の裏側の色」などというように、詳しく項目を分けて情報の入力を求めることもできる。また、撮影場所の特徴として、「周囲にある樹木の種類」、「周囲にある草花の種類」、「日当たりの程度」などというように、詳しく項目を分けて情報の入力を求めることもできる。

【0072】

そして、制御部４２０は、キー操作部４１１を通じてユーザからの操作入力を受け付け（ステップＳ１１８）、ステップＳ１１８で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別する（ステップＳ１１９）。ステップＳ１１９の判別処理において、「終了」ボタンの選択ではないと判別したときには、「ＯＫ」ボタンの選択操作か否かを判別する（ステップＳ１２０）。ステップＳ１２０の判別処理において、「ＯＫ」ボタンの選択であると判別したときには、制御部４２０は、ステップＳ１１１の処理により取得し、ＲＡＭ４２３に一時記憶している画像データと関連情報、および、ステップＳ１１８において受け付けた撮影メモ画面に対する入力情報（テキストデータ）とから、図３を用いて説明した検索要求を生成する（ステップＳ１２１）。なお、当該検索要求のヘッダ部には、ステップＳ１０６で特定した被写体の種別や当該検索要求が最初の検索要求であることを示す情報等も含まれる。

【0073】

そして、制御部４２０は、ステップＳ１２１で生成した検索要求を、通信Ｉ／Ｆ１０２及ぶ接続端子１０１を通じてネットワーク２に送出し、サーバ装置１の被写体検索サービスを提供するサイトに送信する（ステップＳ１２２）。この後、図８に示すステップＳ１２３の処理に進む。すなわち、制御部４２０は、自機から送信した検索要求に対するサーバ装置１の当該サイトからの返信を受信するようにし（ステップＳ１２３）、当該サイトからの返信の受信待ちとなる（ステップＳ１２４）。ステップＳ１２４の判別処理において、当該サイトからの返信を受信したと判別したときには、制御部４２０は、受信した返信が追加情報の提供を要求するものか否かを判別する（ステップＳ１２５）。

【0074】

ステップＳ１２５の判別処理において、追加情報の提供を要求するものであると判別した時には、制御部４２０は、追加情報の要求画面（図９Ｅ）を表示部４１３の表示画面４１３Ｇに表示する（ステップＳ１２６）。追加情報の要求画面は、図９Ｅに示したように、検索が不成功に終わったことの表示と、どのような追加情報が必要かを示す情報を含むものである。この後、制御部４２０は、キー操作部４１１を通じてユーザからの操作入力を受け付ける（ステップＳ１２７）。

【0075】

そして、制御部４２０は、ステップＳ１２７で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し（ステップＳ１２８）、「終了」ボタンの選択ではないときには、「ＯＫ」ボタンの選択操作か否かを判別する（ステップＳ１２９）。ステップＳ１２９の判別処理において、「ＯＫ」ボタンの選択であると判別したときには、制御部４２０は、追加情報の提供要求に応じて、被写体の画像の再撮影を行ったり、追加のメモ情報の入力を行ったりする（ステップＳ１３０）。

【0076】

このステップＳ１３０においては、追加情報の提供要求に応じて、被写体の複数の異なる部分の撮影を行ったり、要求された被写体や撮影場所に関するテキスト情報の入力を行ったりする。具体的には、図９Ｂに示した態様で被写体のどの部分のどのような画像が必要なのかを示す撮影ガイド画面を表示し、これに応じて撮影を行えるようにし、また、図９Ｄに示した態様で撮影メモ画面を表示して必要なテキスト情報の入力を行えるようにする。この後、制御部４２０は、図７に示したステップＳ１２１からの処理を繰り返し、図３を用いて説明した内容の再検索要求を形成して（ステップＳ１２１）、サーバ装置１のサイトに送信する（ステップＳ１２２）。なお、この場合、ステップＳ１２１で形成される再検索要求は、当該要求が再検索要求であることを示す情報やどのような追加情報を含んでいるのかを示す情報等も含むようにされる。

【0077】

一方、ステップＳ１２５の判別処理において、追加情報の提供を要求するものではないと判別した時には、制御部４２０は、検索結果画面（図９Ｆ）を、表示制御部４１２を通じて表示部４１３の表示画面４１３Ｇに表示する（ステップＳ１３１）。検索結果画面は、図９Ｆに示したように、検索が成功した時には、検索対象の被写体の名称、毒性の有無、食用に適するか否か、食用に適する場合には、料理情報等からなるものである。また、図示しないが、検索が不成功の場合には、上述もしたように、検索は不成功であり、被写体は毒性がある可能性があるので、採取しないことを奨めるメッセージなどが含まれるものとなる。

【0078】

この後、制御部４２０は、キー操作部４１１を通じてユーザからの操作入力を受け付け（ステップＳ１３２）、ステップＳ１３２で受け付けた操作入力が、「戻る」ボタンの選択操作であるか否かを判別する（ステップＳ１３３）。ステップＳ１３３の判別処理において、「戻る」ボタンの選択であると判別した時には、制御部４２０は、サーバ装置１のサイトに被写体検索サービスの利用を継続することを通知する（ステップＳ１３４）。この後、制御部４２０は、図６に示したステップＳ１０２からの処理を繰り返し、例えば、新たな被体についての検索を続けて行うことができるようにされる。

【0079】

また、ステップＳ１３３の判別処理において、「戻る」ボタンの選択を受け付けていないと判別した時には、制御部４２０は、「終了」ボタンの選択操作を受け付けたか否かを判別する（ステップＳ１３５）。ステップＳ１３５の判別処理において、「終了」ボタンの選択を受け付けていない判別したときには、制御部４２０は、ステップＳ１３２からの処理を繰り返す。また、ステップＳ１３５の判別処理において、「終了」ボタンの選択を受け付けたと判別したときには、制御部４２０は、表示画面を被写体検索サービスを利用する前の状態に戻すなどの所定の終了処理を行う（ステップＳ１３６）。そして、この図６〜図８に示す被写体の検索処理を終了する。

【0080】

なお、図６のステップＳ１０４、ステップＳ１０９、図７のステップＳ１１４、ステップＳ１１９、図８のステップＳ１２８において、受け付けた操作入力が「終了」ボタンの選択操作であると判別したとする。この場合には、図８のステップＳ１３６の処理に進み、所定の終了処理を行って（ステップＳ１３６）、この図６〜図８に示す処理を終了する。また、図６のステップＳ１０５、ステップＳ１１０、図７のステップＳ１１６、ステップＳ１２０、図８のステップＳ１２９において、受け付けた操作入力が「ＯＫ」ボタンの選択操作ではないと判別したとする。この場合には、直前の操作入力受付処理に戻り、ユーザからの操作入力の受け付けを継続する。

【0081】

このように、この実施の形態の携帯電話端末４においては、被写体の画像データや関連情報を含む最初の検索要求に応じた検索処理により、該当データが検索できなかった場合には、サーバ装置１からの追加情報の提供要求を受けることができる。そして、当該追加情報の提供要求に応じて、追加情報を含む再検索要求をサーバ装置１に送信し、追加情報をも用いた再検索処理を行うように指示することができる。これにより、より確実に検索対象の被写体に関する情報の検索を行うことができる。

【0082】

［サーバ装置１での被写体検索を行う場合の処理］
図１０、図１１は、サーバ装置１での被写体検索を行う場合の処理について説明するためのフローチャートである。この図１０、図１１に示す処理は、サーバ装置１の主に制御部１２０が関係する各部と協働し、常時、実行している処理である。

【0083】

サーバ装置１の制御部１２０は、携帯電話端末４からのアクセスを受け付けるようにし（ステップＳ２０１）、携帯電話端末４からのアクセスを受け付けるまで待ち状態となる（ステップＳ２０２）。ステップＳ２０２の判別処理において、携帯電話端末４からのアクセスを受け付けたと判別したときには、制御部１２０は、被写体の検索処理を行うためのアプリケーション等をアクセス元の携帯電話端末４に提供する（ステップＳ２０３）。これによって、アクセス元の携帯電話端末４に対して被写体検索サービスを提供できる環境を整える。

【0084】

この後、サーバ装置１の制御部１２０は、アクセス元の携帯電話端末４からの要求等を受け付け（ステップＳ２０４）、受け付けた要求等は、当該検索処理の終了を指示するものか否かを判別する（ステップＳ２０５）。ステップＳ２０５の判別処理において、受け付けた要求等は、当該検索処理の終了を指示するものではないと判別したとする。この場合、受け付けた当該要求等は、検索要求であるので、制御部１２０は当該検索要求を検索要求保存ファイル１０３に格納し、検索処理部１１１に対して、検索処理を行うことを指示する（ステップＳ２０６）。

【0085】

そして、検索処理部１１１は、制御部１２０の制御の下、検索要求保存ファイル１０３に保存された検索要求を読み出し、画像データと関連情報とを分離して、そのそれぞれを利用できるようにする（ステップＳ２０７）。そして、検索処理部１１１は、分離した画像データや関連情報に基づいて、検索対象の被写体に関する情報を被写体ＤＢ１０５の登録データから検索する処理を行う（ステップＳ２０８）。

【0086】

この後、検索処理部１１１は、検索処理は成功したか否か、すなわち、検索対象の被写体に関する情報が検索できたか否かを判別する（ステップＳ２０９）。ステップＳ２０９の判別処理において、検索は成功していないと判別したときには、検索処理部１１１は、追加情報要求部１１３を制御し、追加情報の提供要求を生成する（ステップＳ２１０）。また、ステップＳ２０９の判別処理において、検索は成功したと判別したときには、検索処理部１１１は、回答情報生成部１１２を制御し、検索処理により得られた検索対象の被写体に関する情報等に基づいて、回答情報を生成する（ステップＳ２１１）。

【0087】

そして、ステップＳ２１０で生成した追加情報の提供要求やステップＳ２１１で生成した回答情報を、追加情報要求部１１３や回答情報生成部１１２が、要求元の携帯電話端末４に返信する（ステップＳ２１２）。この後、サーバ装置１の制御部１２０は、図１１のステップＳ２１３の処理に進む。

【0088】

制御部１２０は、アクセス元（検索要求元）の携帯電話端末４からの指示等を受け付け（ステップＳ２１３）、受け付けた指示等は、被写体の検索処理の継続を指示するものか否かを判別する（ステップＳ２１４）。ステップＳ２１４の判別処理において、受け付けた指示等は、被写体の検索処理の継続を指示するものであると判別したときには、図１０に示したステップＳ２０４からの処理を繰り返し、被写体検索サービス（被写体の検索処理）を継続させる。

【0089】

ステップＳ２１４の判別処理において、受け付けた指示等は、被写体の検索処理の継続を指示するものであると判別したときには、受け付けた指示等は、被写体の検索処理の終了指示か否かを判別する（ステップＳ２１５）。ステップＳ２１５の判別処理において、受け付けた指示等は、被写体の検索処理の終了を指示するものであると判別したときには、検索要求元の携帯電話端末４との間での被写体検索サービスを利用できる関係（環境）を終了させる所定の終了処理を実行する（ステップＳ２１６）。この後、図１０に示したステップＳ２０１からの処理を繰り返し、新たなアクセス元に対して、被写体検索サービスを提供できるようにする。

【0090】

なお、図１０のステップＳ２０５において、受け付けた要求等が終了指示であると判別したときには、図１１のステップＳ２１６の処理に進み、また、ステップＳ２１５において、受け付けた指示等が終了指示ではないと判別したときには、ステップＳ２１３からの処理を繰り返すことになる。

【0091】

このように、サーバ装置１は、携帯電話端末４からの検索要求に応じて被写体検索サービスを提供し、検索対象の被写体に関する情報が検索できなかったときには、検索要求元の携帯電話端末４に対して、追加情報の提供を要求する。そして、当該追加情報の提供を要求に応じて、検索要求元の携帯電話端末４から追加情報を含む再検索要求が提供されたときには、これに応じて、検索対象の被写体についての再検索処理を実行することができる。

【0092】

［実施の形態の効果］
このように、この実施の形態においては、携帯電話端末４とサーバ装置１とによって、被写体検索装置が実現される。そして、サーバ装置１は、携帯電話端末４からの最初の検索要求に応じた検索処理で目的する情報が検索できなくても、追加情報の提供を携帯電話端末４に要求し、これに応じて提供される追加情報をも考慮して再検索処理を実行できる。これにより、より確実に検索対象の被写体に関する正確な情報を検索して取得することができる。

【0093】

［変形例等］
なお、上述した実施の形態においては、再検索は１回しか行うようにしていないが、新たな追加情報があれば、複数回、新たな追加情報の提供を要求し、これに応じて複数回の再検索を行うことも可能である。

【0094】

また、画像データの関連情報に含まれる撮影位置に基づいて地図ＤＢ１０６を参照し、携帯電話端末４の位置が、被写体の採取場所か、採取場所以外の自宅などかを判別し、これに応じて、要求する追加情報を変えるようにすることもできる。例えば、撮影場所が、採取場所以外の自宅などである場合には、被写体を切り分けることも容易に行うことができるので、被写体の断面の画像データを要求するなどしてもよい。

【0095】

また、上述もしたが、追加情報を要求する場合に、検索対象の被写体の全体や所定部分の大きさを計測し、これを追加情報として送信することを要求することもできる。また、追加情報を要求する場合に、検索対象の被写体の撮影場所の周囲の状況に関する情報（例えば、赤松の根元、岩場の潮溜まり等）の詳細情報を追加情報として要求することもできる。

【0096】

また、図９を用いて説明したように、被写体ＤＢ１０５には、被写体となる対象について、種々の角度から撮影していた画像データが含まれる。このため、被写体ＤＢ１０５の蓄積データに含まれる画像データに対応する検索対象の画像データの提供を要求し、３Ｄ画像（３次元立体画像）を用いた認識処理を行うこともできる。すなわち、３Ｄ認識を行うために、検索対象の被写体を多方面から撮影し、当該撮影した画像データを送信することを要求することもできる。

【0097】

また、上述した実施の形態の携帯電話端末４では、被写体に関するテキスト情報や撮影場所に関するテキスト情報は、キー操作部４１１を通じて手入力するものとしたが、これに限るものではない。被写体に関する情報や撮影場所に関する情報を、音声入力により受け付け、これを音声認識してテキスト情報に変換して保持したり、また、音声データのまま保持したりすることもできる。なお、被写体に関する情報や撮影場所に関する情報を音声データのまま保持した場合には、サーバ装置１側で音声認識してテキスト情報に変換して利用するようにすればよい。携帯電話端末４は、マイクロホン４０４を備えているので、当該マイクロホン４０４を通じて、音声データの入力を受け付けるようにすることで対応することができる。

【0098】

また、上述した実施の形態においては、出かけた先で被写体の検索を行うものとして説明したが、これに限るものではない。例えば、茸などの場合、群生して自生し、そのままの状態を撮影しても、検索に適した画像データを取得できるとは限らない。このため、茸などの場合には、採取して持ち帰り、自宅などにおいて、単体（１本分）に分けて、これを撮影し、検索を行うようにしてもよい。

【0099】

また、検索対象の被写体について検索処理を行った結果、似たものの登録データが被写体ＤＢ１０５に存在し、毒性があると疑わしい場合には、相似形アルゴリズムを用いたチェックを行う。これにより、被写体に関する情報をより正確に検索することができる。

【0100】

また、検索対象の被写体についての調理情報は、テキストデータだけでなく、静止画で調理例を示したり、動画と音声との一方または両方を用いて、調理の仕方（調理方法）を通知したりしてもよい。このようにする場合には、被写体ＤＢ１０５には、テキスト情報だけでなく、必要となる静止画データ、動画データ、音声データを登録データに含めるようにしておけばよい。

【0101】

また、上述した実施の形態の携帯電話端末４の機能とサーバ装置１の機能とを、例えばタブレット型端末やノートパソコンなどに搭載することにより、いわゆるスタンドアロン型の被写体検索装置を実現することもできる。

【0102】

また、上述したサーバ装置１の機能を、自宅などに設置されるパーソナルコンピュータなど搭載することもできる。この場合、当該パーソナルコンピュータは、いわゆるローカルな被写体ＤＢを備えた構成となる。そして、携帯電話端末４を有線あるいは無線のデジタルインターフェースを通じて当該パーソナルコンピュータに接続し、上述した実施の形態の携帯電話端末４とサーバ装置１とでやり取りしたように、所定の情報のやり取りを行うようにすることによって、検索対象に被写体についての検索処理を、上述した実施の形態の場合とほぼ同様に行うことができる。

【0103】

また、上述した実施の形態では、検索対象となる被写体は、植物や魚介類の他、昆虫や動物、更には鉱石などの無生物についても応用することができる。

【0104】

［その他］
なお、図４に示したサーバ装置１において、検索処理部１１１、回答情報生成部１１２、追加情報要求部１１３の各機能は、制御部１２０において実行されるプログラムによって、制御部１２０の機能として実現することもできる。

【0105】

また、上述した実施の形態の説明から分かるように、撮影手段としての機能は、携帯電話端末４のカメラ部４１６が実現している。また、取得手段としての機能は、携帯電話端末４のＧＰＳ部４３５、時計回路４３１、キー操作部４１１、図示しない方位センサ等の種々の情報取得機能が実現している。また、記憶手段の機能は、サーバ装置１の被写体ＤＢ１０５が実現し、検索手段、第１、第２の再検索手段の機能は、サーバ装置１の検索処理部１１１が実現し、第１、第２の追加要求手段の機能は、サーバ装置１の追加情報要求部１１３が実現している。また、第１、第２の制御手段の機能は、携帯電話端末４の制御部４２０が実現している。

【0106】

また、第１、第２の回答情報生成手段の機能は、サーバ装置１の回答情報生成部１１２が実現している。また、端末装置側の第１、第２、第３の形成手段は、携帯電話端末４の制御部４２０が実現し、端末装置側の第１、第２、第３の送信手段、第１、第２の受信手段、第１、第２の回答情報受信手段の機能は、携帯電話端末４の主に送受信アンテナ４０１及び送受信処理部４０２が実現している。また、情報処理装置側の第１、第２、第３の受信手段、第１、第２の追加要求送信手段、第１、第２の回答情報送信手段の機能は、サーバ装置１の主に接続端子１０１及び通信Ｉ／Ｆ１０２が実現している。

【0107】

また、図６〜図８のフローチャート及び図１０、図１１に示した処理は、この発明の方法に対応するものである。また、図６〜図８に示したフローチャートに応じた処理を実行するプログラムが、この発明の被写体検索情報提供プログラムに対応する。また、図１０、図１１に示したフローチャートに応じた処理を実行するプログラムが、この発明の被写体検索プログラムに対応する。したがって、図６〜図８に示した処理を実行するプログラムを形成し、これを携帯電話端末などの端末装置等に搭載して、当該装置において実行可能にしておく。また、図１０、図１１に示した処理を実行するプログラムを形成し、これをサーバ装置やパーソナルコンピュータ等の情報処理装置に搭載して、当該装置において実行可能にしておく。これにより、当該端末装置と当該情報処理装置とにより、この発明の被写体検索装置を容易に実現することができる。

【符号の説明】

【0108】

１…サーバ装置、１０１…接続端子、１０２…通信Ｉ／Ｆ、１０３…検索要求保存ファイル、１０４…ＨＤＤ、１０５…被写体ＤＢ、１０６…地図ＤＢ、１１１…検索処理部、１１２…回答情報生成部、１１３…追加情報要求部、１２０…制御部、２…ネットワーク、３…基地局、４…携帯電話端末、４０１…送受信アンテナ、４０２…送受信処理部、４０３…受話器（スピーカ）、４０４…送話器（マイクロホン）、４１１…キー操作部、４１２…表示制御部、４１３…表示部、４１４…音声処理部、４１５…スピーカ、４１６…カメラ部、４２０…制御部、４３１…時計回路、４３２…メモリスロット部、４３３…外部入出力端子、４３４…外部Ｉ／Ｆ、４３５…ＧＰＳ部、４３６…ＧＰＳアンテナ、５…ＧＰＳ衛星

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】