特許 6721301 画像情報検索サーバ、画像情報検索方法、及び利用者端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6721301

(24)【登録日】2020年6月22日

(45)【発行日】2020年7月15日

(54)【発明の名称】画像情報検索サーバ、画像情報検索方法、及び利用者端末

(51)【国際特許分類】

   G06F 16/58 20190101AFI20200706BHJP

   G06T 1/00 20060101ALI20200706BHJP

【ＦＩ】

   G06F16/58

   G06T1/00 200A

【請求項の数】11

【全頁数】22

(21)【出願番号】特願2015-154046(P2015-154046)

(22)【出願日】2015年8月4日

(65)【公開番号】特開2017-33382(P2017-33382A)

(43)【公開日】2017年2月9日

【審査請求日】2018年6月21日

【前置審査】

(73)【特許権者】

【識別番号】302064762

【氏名又は名称】株式会社日本総合研究所

(74)【代理人】

【識別番号】110002871

【氏名又は名称】特許業務法人サカモト・アンド・パートナーズ

(72)【発明者】

【氏名】木通 秀樹

【審査官】 齊藤 貴孝

(56)【参考文献】

【文献】 特開２００２−３２９２０１（ＪＰ，Ａ）

【文献】 特開２００４−１５８９５０（ＪＰ，Ａ）

【文献】 特開２０１２−１３７９０２（ＪＰ，Ａ）

【文献】 特開２０１０−１１８８５１（ＪＰ，Ａ）

【文献】 特開２０１０−０６１２６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

撮影手段を有する撮像端末とネットワークで接続される画像情報検索サーバであって、
前記画像情報検索サーバは、
前記撮像端末から前記撮影手段により撮影された撮影画像のうち利用者が過去にとった行動を確認するために役立つ画像を選別する撮影画像選別手段と、
前記選別された画像を、前記利用者に関連する識別情報とともに前記利用者からの検索の対象である検索対象画像として記憶する画像記憶手段と、
前記利用者の利用者端末から、前記利用者に関連する識別情報と検索語を含む画像検索要求を受信する手段と、
前記画像記憶手段を参照して、前記利用者に関連する識別情報によって前記検索語に関連する画像を前記検索対象画像から抽出する画像抽出手段と、
前記画像抽出手段によって抽出した画像を前記利用者端末に送信する手段と、
を備え、
前記撮影画像選別手段は、利用者が撮影時に注視していた画像（注視画像）であるか、あるいは無意識に撮影した画像（無意識画像）かを判定することを特徴とする画像情報検索サーバ。

【請求項2】

前記利用者が撮影した画像を検索用画像として登録する検索用画像登録手段を更に備え、
前記画像抽出手段は、
前記利用者端末から前記検索用画像を用いた画像検索要求を受信すると、前記検索用画像に関連した画像を前記検索対象画像から抽出することを特徴とする請求項１に記載の画像情報検索サーバ。

【請求項3】

前記画像記憶手段は、注目する画像要素が前記撮影画像に含まれる場合は、前記撮影画像の全体を記憶し、前記注目する画像要素が前記撮影画像に含まれない場合は、前回記憶した画像との差分の画像を記憶することを特徴とする請求項１又は２に記載の画像情報検索サーバ。

【請求項4】

前記画像抽出手段は、
前記利用者端末から送信された前記検索語及び／又は前記検索用画像に基づき目的の画像又は当該画像に付加された画像キーワードを抽出することを特徴とする請求項２に記載の画像情報検索サーバ。

【請求項5】

前記画像検索要求の際に、前記登録した検索用画像を前記利用者端末から選択させる手段を有することを特徴とする請求項２又は４に記載の画像情報検索サーバ。

【請求項6】

前記撮像端末は、
カメラ付メガネ、カメラ付帽子、カメラ内蔵のアクセサリ類、その他カメラ機能を備えたウエアラブル端末であることを特徴とする請求項１から５のいずれか１項に記載の画像情報検索サーバ。

【請求項7】

前記利用者端末からの消去要求又は前記利用者の検索実績により、前記撮影画像又は前記検索対象画像の少なくとも一部を消去する撮影画像選別手段を有することを特徴とする請求項１から６のいずれか１項に記載の画像情報検索サーバ。

【請求項8】

前記撮影画像選別手段は、
前記撮影画像のうち、画面変化がない画像を除いて前記検索対象画像として記憶することを特徴とする請求項１から７のいずれか１項に記載の画像情報検索サーバ。

【請求項9】

撮影手段を有する撮像端末と、画像情報検索サーバとがネットワークで接続された画像情報検索方法であって、
前記画像情報検索サーバが、
前記撮像端末から前記撮影手段により撮影された撮影画像を受信するステップと、
前記撮影画像のうち利用者が過去にとった行動を確認するために役立つ画像を選別するステップと、
前記選別された画像を、前記利用者に関連する識別情報とともに前記利用者からの検索の対象となる検索対象画像として記憶するステップと、
利用者端末から、前記利用者に関連する識別情報と検索語に基づく検索要求を受信するステップと、
前記利用者端末から、前記利用者に関連する識別情報と前記検索語を含む画像検索要求を受信すると、前記記憶した利用者の忘却防止用の画像を検索して、前記利用者に関連する識別情報と前記検索語に関連する画像を前記検索対象画像から抽出し、前記抽出した画像を前記利用者端末に送信するステップと、
を有し、前記役立つ画像を選別するステップは、利用者が撮影時に注視していた画像（注視画像）であるか、あるいは無意識に撮影した画像（無意識画像）かを判定することを含むことを特徴とする画像情報検索方法。

【請求項10】

撮影手段を有する撮像端末とネットワークで接続される利用者端末であって、
前記撮像端末から前記撮影手段により撮影された撮影画像のうち利用者が過去にとった行動を確認するために役立つ画像を選別する撮影画像選別手段と、
前記選別された画像を、利用者に関連する識別情報とともに前記利用者からの検索の対象である検索対象画像として記憶する画像記憶手段と、
前記利用者に関連する識別情報と検索語を含む画像検索要求を取得する手段と、
前記画像記憶手段を参照して、前記利用者に関連する識別情報によって前記検索語に関連する画像を前記検索対象画像から抽出する画像抽出手段と、
前記画像抽出手段によって抽出した画像を表示する手段と、
を備え、前記撮影画像選別手段は、利用者が撮影時に注視していた画像（注視画像）であるか、あるいは無意識に撮影した画像（無意識画像）かを判定することを特徴とする利用者端末。

【請求項11】

撮影手段を有する利用者端末であって、
前記撮影手段により撮影された撮影画像のうち利用者が過去にとった行動を確認するために役立つ画像を選別する撮影画像選別手段と、
前記選別された画像を、利用者に関連する識別情報とともに前記利用者からの検索の対象である検索対象画像として記憶する画像記憶手段と、
前記利用者に関連する識別情報と検索語を含む画像検索要求を取得する手段と、
前記画像記憶手段を参照して、前記利用者に関連する識別情報によって前記検索語に関連する画像を前記検索対象画像から抽出する画像抽出手段と、
前記画像抽出手段によって抽出した画像を表示する手段と、
を備え、前記撮影画像選別手段は、利用者が撮影時に注視していた画像（注視画像）であるか、あるいは無意識に撮影した画像（無意識画像）かを判定することを特徴とする利用者端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像情報検索サーバ、画像情報検索方法、及び画像情報検索用の利用者端末に関する。

【背景技術】

【0002】

人間は、過去の自分の行動を忘れてしまうことが多々ある。例えば、外出時に自宅の玄関の鍵を閉め忘れていないか、台所のガスの元栓を閉めたか否か、携帯電話をどこに置いたか、車を駐車場のどの位置に駐車したか、以前に会ったことがある人物の名前が思い出せない、約束の時間や場所を忘れてしまうなどである。特に、高齢になるほど物忘れが激しくなる傾向にある。

【0003】

これらのうち、物品の置き忘れに関しては、携帯電話などの電子機器において、電子機器の置き忘れと判断された場合（所有者とその機器が所定の距離から離れた時）にアラームを発したり登録した連絡先に位置情報などを連絡したりする方法が知られている。

【0004】

しかしながら、上記の方法によれば、対象となる電子機器に、所有者と該当する電子機器との間の距離を測定する機能を要し、又はそのような機器を設置しなければならないため、コスト高になるという欠点がある。

【0005】

そこで、例えば、特許文献１には、対象物に上記の機能を付加することなく、人が置き忘れた対象物を認知する紛失物検索装置が提案されている。ここでは、人の視覚領域を撮像するカメラ部と、テンプレートを記憶する画像記憶部と、カメラ部により撮像された画像データの中に画像記憶部に記憶されたテンプレートがあるか否かを逐次検知する制御回路と、画像データを出力するモニタとを含む物検索装置に関する技術が開示されている。

【0006】

特許文献１に開示された技術を適用すれば、所在の分からなくなる可能性のある対象物に特別な機能を付加することなく、人が置き忘れた対象物を認知することができる。しかしながら、あらかじめ登録した画像のみが検索対象となり、登録されていない画像には適用できない。また、当然のことながら、物品の置き忘れ以外の物忘れには対処できない。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００２−３２９２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

そこで、本発明では、上記のような課題にかんがみ、利用者が過去にとった行動の記憶を画像によって呼び起こすことが可能な画像情報検索サーバ、画像情報検索方法、及び利用者端末を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、本発明は、以下のような解決手段を提供する。

【0010】

（１）撮影手段を有する撮像端末とネットワークで接続される画像情報検索サーバであって、前記画像情報検索サーバは、前記撮像端末から前記撮影手段により撮影された撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別する撮影画像選別手段と、前記選別された画像を、前記利用者に関連する識別情報とともに前記利用者からの検索の対象である検索対象画像として記憶する画像記憶手段と、前記利用者の利用者端末から、前記利用者に関連する識別情報と検索語を含む画像検索要求を受信する手段と、前記画像記憶手段を参照して、前記利用者に関連する識別情報によって前記検索語に関連する画像を前記検索対象画像から抽出する画像抽出手段と、前記画像抽出手段によって抽出した画像を前記利用者端末に送信する手段と、を備えることを特徴とする。

【0011】

（２）また、（１）に記載の画像情報検索サーバにおいて、前記利用者が撮影した画像を検索用画像として登録する検索用画像登録手段を更に備え、前記画像抽出手段は、前記利用者端末から前記検索用画像を用いた画像検索要求を受信すると、前記検索用画像に関連した画像を前記検索対象画像から抽出するようにしてもよい。

【0012】

（３）また、（１）又は（２）に記載の画像情報検索サーバにおいて、前記画像記憶手段は、注目する画像要素が前記撮影画像に含まれる場合は、前記撮影画像の全体を記憶し、前記注目する画像要素が前記撮影画像に含まれない場合は、前回記憶した画像との差分の画像を記憶するようにしてもよい。

【0013】

（４）また、（２）に記載の画像情報検索サーバにおいて、前記利用者端末から送信された前記検索語及び／又は前記検索用画像に基づき目的の画像又は当該画像に付加された画像キーワードを抽出するようにしてもよい。

【0014】

（５）また、（２）又は（４）に記載の画像情報検索サーバにおいて、前記画像検索要求の際に、前記登録した検索用画像を前記利用者端末から選択させる手段を有するようにしてもよい。

【0015】

（６）また、（１）〜（５）のいずれかに記載の画像情報検索サーバにおいて、前記撮像端末は、カメラ付メガネ、カメラ付帽子、カメラ内蔵のアクセサリ類、その他カメラ機能を備えたウエアラブル端末としてもよい。

【0016】

（７）また、（１）〜（６）のいずれかに記載の画像情報検索サーバにおいて、前記利用者端末からの消去要求又は前記利用者の検索実績により、前記撮影画像又は前記検索対象画像の少なくとも一部を消去する撮影画像選別手段を有するようにしてもよい。

【0017】

（８）また、（１）〜（７）のいずれかに記載の画像情報検索サーバにおいて、前記撮影画像選別手段は、前記撮影画像のうち、画面変化がない画像を除いて前記検索対象画像として記憶するようにしてもよい。

【0018】

（９）また、本発明に係る第２の態様は、撮影手段を有する撮像端末と、画像情報検索サーバとがネットワークで接続された画像情報検索方法であって、前記画像情報検索サーバが、前記撮像端末から前記撮影手段により撮影された撮影画像を受信するステップと、前記撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別するステップと、前記選別された画像を、前記利用者に関連する識別情報とともに前記利用者からの検索の対象となる検索対象画像として記憶するステップと、利用者端末から、前記利用者に関連する識別情報と検索語に基づく検索要求を受信するステップと、前記利用者端末から、前記利用者に関連する識別情報と前記検索語を含む画像検索要求を受信すると、前記記憶した利用者の忘却防止用の画像を検索して、前記利用者に関連する識別情報と前記検索語に関連する画像を前記検索対象画像から抽出し、前記抽出した画像を前記利用者端末に送信するステップと、を有することを特徴とする。

【0019】

（１０）また、本発明に係る第３の態様は、撮影手段を有する撮像端末とネットワークで接続される利用者端末であって、前記撮像端末から前記撮影手段により撮影された撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別する撮影画像選別手段と、前記選別された画像を、利用者に関連する識別情報とともに前記利用者からの検索の対象である検索対象画像として記憶する画像記憶手段と、前記利用者に関連する識別情報と検索語を含む画像検索要求を取得する手段と、前記画像記憶手段を参照して、前記利用者に関連する識別情報によって前記検索語に関連する画像を前記検索対象画像から抽出する画像抽出手段と、前記画像抽出手段によって抽出した画像を表示する手段と、を備えることを特徴とする。

【0020】

（１１）また、本発明に係る第４の態様は、撮影手段を有する利用者端末であって、前記撮影手段により撮影された撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別する撮影画像選別手段と、前記選別された画像を、利用者に関連する識別情報とともに前記利用者からの検索の対象である検索対象画像として記憶する画像記憶手段と、前記利用者に関連する識別情報と検索語を含む画像検索要求を取得する手段と、前記画像記憶手段を参照して、前記利用者に関連する識別情報によって前記検索語に関連する画像を前記検索対象画像から抽出する画像抽出手段と、前記画像抽出手段によって抽出した画像を表示する手段と、を備えることを特徴とする。

【発明の効果】

【0021】

本発明によれば、利用者が過去にとった行動の記憶を画像によって呼び起こすことが可能な、画像情報検索サーバ、画像情報検索方法、及び利用者端末を提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の第１の実施の形態に係る画像情報検索サーバを含むシステムのイメージ図である。

【図2】本発明の第１の実施の形態に係る画像情報検索サーバを含むシステムの別の形態を示すイメージ図である。

【図3】本発明の第１の実施の形態に係る画像情報検索サーバの機能構成を示す図である。

【図4】図３の撮影画像ＤＢ及び検索対象画像ＤＢに記憶されるデータ構造の一例を示す図である。

【図5】図３の索引情報記憶ＤＢに記憶されるデータ構造の一例を示す図である。

【図6】索引情報を生成する画像情報検索サーバの処理動作を示すフローチャートである。

【図7】撮影画像を記憶する動作の詳細を示すフローチャートである。

【図8】検索用画像と画像キーワードを登録する画像情報検索サーバの処理動作を示すフローチャートである。

【図9】本発明の実施の形態に係る画像情報検索サーバの画像検索処理動作を示すフローチャートである。

【図10】検索撮像画面を表示する一例を示す図である。

【図11】複合キーワードを利用した場合の検索撮像画面を表示する一例を示す図である。

【図12】利用者が画像で画像検索要求をした場合の本実施形態に係る画像情報検索サーバの処理動作を示すフローチャートである。

【図13】検索撮像画面を表示する一例を示す図である。

【図14】本発明の第２の実施形態に係る利用者端末の機能構成を示す図である。

【発明を実施するための形態】

【0023】

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。また、機能ブロック間の矢印は、データの流れ方向、又は処理の流れ方向を表す。

【0024】

（第１の実施形態）
図１は、本発明の第１の実施の形態に係る画像情報検索サーバを含むシステムのイメージ図である。以下では上記のシステムを「本システム」と呼ぶことにする。

【0025】

本システムは、撮像機能を有する撮像端末と、画像を表示する利用者端末と、撮像端末と利用者端末とネットワークで接続され、利用者端末から要求される画像を検索する画像情報検索サーバ（以下、単に検索サーバと呼ぶ）を備える。

【0026】

以下の説明では、利用者が玄関の鍵を閉め忘れたか否かを検索サーバに問い合わせる場面を想定している。利用者は、撮像端末、例えば撮影機能を有するウエアラブル端末（カメラ付メガネなど）を装着して、利用者の過去の行動とリンクしてその視野領域を撮影し、撮影により取得した撮影画像を検索サーバに送信する。撮影画像は、動画（音声を含む）であってもよいし、所定間隔ごとに撮られる静止画の連写であってもよい。なお、利用者は、あらかじめ検索サーバに自身の識別情報を登録しておくものとする。ここで「識別情報」とは、例えば、固有アドレスなど、利用者が利用する撮像端末や利用者端末を特定する情報である。具体的に、利用者は検索サーバに本サービスを登録することで、撮像端末の識別番号と画像を閲覧する利用者端末（例えば、パソコン（ＰＣ）若しくはスマートフォン又は携帯電話（ガラケー）などの携帯端末）の識別番号を紐付けて登録しておく。このようにすることで、第三者からの画像の閲覧をロックすることができ、プライバシーの保護につながる。

【0027】

検索サーバは、受信した撮影画像を利用者ごとに管理されているデータベースに記憶し、更に撮影された撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別し、選別された画像を利用者からの検索の対象である検索対象画像として、データベースに記憶する。検索対象画像は、「玄関の鍵を閉め忘れ」を例にあげると、ドアの開け閉めが撮像された玄関ドアなどの画像を意味する。また、検索サーバは、動画の場合は撮影画像のシーン（場面）ごとに索引情報を生成し、記憶する。撮影画像のシーンは、その撮影画像のコントラストの変化、動きの変化を検出することで、１つのシーンとして記憶する。シーン変化の検出方法については、例えば、特表２０００−５１３８４８号公報などにより公知であるため、詳細な説明は省略する。

【0028】

利用者は、外出時に玄関の鍵の閉め忘れの記憶を呼び起こすために、検索サーバに、「玄関」、「鍵」などの検索語を入力の上、問い合わせを行う。入力方法は、携帯電話やＰＣなどからのキー入力、あるいはウエアラブル端末に搭載されている音声入力機能を用いて行う。なお、携帯電話やＰＣなどに記憶されている画像を用いて検索要求を行ってもよい。図１では、検索語から目的の画像を検索する場合を想定して説明する。ここで、「目的の画像」とは、検索語又は検索用画像に関連した画像のことをいう。また、「検索用画像」とは、利用者が撮影した画像又は所持する画像であって、目的の画像を検索（抽出）するための画像である。

【0029】

利用者は、目的の画像を検索するための検索語として、例えば、「玄関」、「鍵」を入力する。検索対象画像には、その画像に付加する画像キーワードが登録される。画像キーワードは、検索サーバの画像解析機能によって生成されるか、又は、利用者が直接入力を行う。

【0030】

これを受け、検索サーバは、検索語及び／又は検索対象画像から目的の画像を抽出して利用者に送信する。複数の目的の画像が検出された場合は、通常は、最新の検索対象画像を抽出する。なお、利用者の設定に応じて、最も古い検索対象画像を抽出することも可能である。このようにすることで、自分が見た最後の状態又は自分が見た最初の状態は、「このようだった。」と確認することができる。

【0031】

利用者は、目的の画像を受信し、それを閲覧することで利用者が過去にとった行動の記憶をその画像によって呼び起こすことが可能になる。なお、上記の説明は、撮影画像を取得するウエアラブル端末としてカメラ付メガネを用いた例を説明したが、視覚領域付近に装着できるものであれば他の器具でも代替可能であり、例えば、カメラ付帽子、カメラ内蔵のアクセサリ類、その他カメラ機能を備えたものであってもよい。

【0032】

また、図２に示すように、利用者の視野領域を撮影範囲とするウエアラブル端末を用いずに、既に設置されている固定カメラ（監視カメラや定点観測カメラなど）を利用することも可能である。例えば、家の複数の場所に防犯用や見守用の固定カメラを設置していれば、それらの固定カメラが撮影した画像を検索サーバに送信するようにしてもよい。検索方法については、図１の場合と同様であり、利用者は、過去の画像を検索したい場合は、利用者端末から検索語をキー入力することによって、検索結果の画像が利用者端末に送信される。

【0033】

（画像情報検索システムの構成）
図３は、本発明の第１の実施形態に係る画像情報検索サーバを含むシステムの機能構成を示す図である。図３に示すように本システムは、撮影機能（録音機能を含んでもよい）を有する撮像端末１０と、撮影された画像を検索して閲覧するための利用者端末３０と、撮像端末１０及び利用者端末３０とネットワークで接続される画像情報検索サーバ２０とを備える。なお、撮像端末１０と利用者端末３０とは一体化していてもよい。

【0034】

（画像情報検索サーバの構成）
図３に示すように、画像情報検索サーバ２０は、例えば、一構成例として、通信手段２１と、索引情報生成手段２２と、画像抽出手段２３と、シーン変化検出手段２４と、撮影画像選別手段２５と、検索用画像登録手段２６と、制御手段２７と、画像記憶手段２８と、を備える。索引情報生成手段２２、シーン変化検出手段２４、撮影画像選別手段２５、検索用画像登録手段２６、制御手段２７は、検索のための検索対象画像をＤＢに記憶させるための様々な手段であり、これらの手段をまとめて、広い意味で画像記憶手段と考えてもよい。

【0035】

通信手段２１は、撮像端末１０及び利用者端末３０と通信を行う際の通信インタフェースとして機能する。また、通信手段２１は、利用者の利用者端末３０から利用者に関連する識別情報と検索語を含む画像検索要求を受信する機能を有する。ここでいう「利用者に関連する識別情報」とは、利用者自身が所持又は所有する撮像端末の他、利用者が居住する共同住宅又は利用者の勤務先などの玄関ドア付近や室内に設置されている固定カメラ、利用者の家族や友人が所持する撮像端末の識別情報をいう。したがって、撮影範囲をより広げることができる。なお、他人が所持する撮像端末の場合、その利用者の承諾をあらかじめ取得し、閲覧が許可されるものとする。

【0036】

索引情報生成手段２２は、撮影画像が動画の場合、撮影画像のシーンごとに索引情報を生成する機能を有する。索引情報生成手段２２は、例えば、シーン変化検出手段２４が検出した所定値以上のコントラストや動きが発生したフレームの番号を索引項目として紐付けて、その開始時間とともに画像記憶手段２８の索引情報記憶ＤＢ３００に記憶する。

【0037】

画像抽出手段２３は、詳しくは後述するが、利用者端末３０から検索用画像を用いた画像検索要求を受信すると、その検索語に基づいて画像記憶手段２８を参照して、目的の（記憶を呼び起こさせることが可能な）画像を、抽出する機能を有する。また、画像抽出手段２３は、利用者端末３０から検索用画像を用いた画像検索要求を受信すると、その検索用画像に関連した画像を検索対象画像から抽出する機能も有する。具体的には、画像抽出手段２３は、画像解析技術により、あらかじめ登録された検索用画像に基づき、検索用画像に関連した（マッチングした）画像を抽出する。

【0038】

目的の画像を検索する際に、検索語を用いるか検索用画像を用いるかは利用者の選択によるが、検索語と検索用画像を併用してもよい。また、検索の目的は画像だけに限らず、その画像に付加され、その画像のキーワードや内容を示すテキスト情報（「画像キーワード」と呼ぶ）の抽出が可能である。

【0039】

なお、画像抽出手段２３は、設定により、利用者が確認をしたくなる画像をあらかじめ抽出しておき、利用者からのリクエストがある前に利用者端末に送信しておいてもよい。

【0040】

シーン変化検出手段２４は、撮像端末１０から受信された撮影画像が動画の場合、撮影画像をフレーム単位で比較し、現フレームと直前のフレームとの間で所定値以上のコントラストや動きを検出し、索引情報生成手段２２にその情報を送信する。

【0041】

撮影画像選別手段２５は、撮像端末１０からの撮影画像（撮影画像ＤＢ１００に格納された画像）のうち利用者の記憶を呼び起こすのに役立つ画像を選別して、後の検索のための検索対象画像として検索対象画像ＤＢ２００に記憶する。このとき、画像の検索をし易くするため、前述の画像キーワードが検索用画像に付加される。もちろん、検索対象画像にも画像キーワードが付加されていてもよい。また、撮影画像選別手段２５は、撮影された画像が既に登録されている検索対象画像ＤＢ２００の検索用画像と類似度を判定し、類似度が所定の閾値より低い画像（実質的に重複した画像ではないと考えられる画像）を、利用者の記憶を呼び起こすのに役立つ画像であると判定して検索対象画像ＤＢ２００に記憶する。

【0042】

また、撮影画像選別手段２５は、撮影画像のうち明らかに利用者の記憶を呼び起こすのには役立たないと判定される画像は、検索対象画像ＤＢ２２に記憶しないようにする。例えば、極端に不鮮明な画像、撮影ミスと判断される画像（地面、空、壁しか映っていないような画像、真夜中など利用者の生活時間帯以外の時間帯に撮られた画像など）は記憶しないようにする。上記の画像の選別は、公知の画像解析技術を用いて自動的に行なってもよい。また、撮影画像選別手段２５が自動で選別ができない場合は記憶するかどうかの判断を利用者に仰ぐようにしてもよい。

【0043】

また、撮影画像選別手段２５は、利用者が撮影時に注視していた画像（注視画像）であるか、あるいは無意識に撮影した画像（無意識画像）かを判定するようにしてもよい。このとき、撮影画像選別手段２５は、撮影された画像の中心付近に存在する被写体を利用者が注視している注視画像と判定し、その他の被写体を無意識画像と判定してもよい。また、撮影された画像が人物の場合は、例えば、正面を向いて写っている人物全てを注視画像と判定し、その他の画像を無意識画像と判定してもよい。無意識画像には、利用者から画像キーワードが付加されることが期待できないので、画像解析によってその被写体が何であるのかを解析し、画像キーワードを自動生成し、付加するようにしてもよい。

【0044】

また、注視画像か無意識画像であるか否かを利用者に判断を委ねることも可能である。その場合、撮影画像選別手段２５は、利用者端末３０に撮影した画像を元に注視画像か無意識画像であるか否かの問合せを送信する。そして、利用者がその画像を注視画像であると回答した場合は、検索用画像として検索対象画像ＤＢ２００に登録する。一方、利用者が無意識画像であると回答した場合は、別途、無意識に撮影した画像として検索対象画像ＤＢ２００に登録する。

【0045】

以後、撮影された画像が無意識画像とほぼ同一である重複画像（類似度の高い画像）であれば、撮影画像選別手段２５は利用者の記憶を呼び起こすのに役立つ画像ではないと判定し、その重複画像は削除する。このように、無意識画像を検索対象画像ＤＢ２００に記憶しておくことにしたのは、無意識画像は、利用者の潜在意識に残るものであるためであり、利用者が探したい画像は、注視画像とは限らないからである。潜在意識に残ったもの（視界のどこかに入っていた程度のもの）が探したい対象である場合もある。例えば、知りたい人が、ある日の打合せで先方が５人いた中の一人であり、説明していた人でなかったような場合や、知りたいものが、いつかどこかで見たようなお店である場合などである。もちろん、無意識画像を全て登録しておくことは、画像記憶手段２８のメモリ不足の要因になるため、重複画像は削除するものとする。

【0046】

また、撮影画像選別手段２５は、利用者端末３０からの消去要求又は利用者の検索実績により、撮影画像又は検索対象画像の少なくとも一部を消去する。また、撮影画像選別手段２５は、撮影画像のうち、画面変化がない画像を除いて検索対象画像として記憶する。すなわち、動画でフレームの変化がない場合は最初のフレームだけを記憶する。

【0047】

また、撮影画像選別手段２５は、同じ静止画が連続する場合は最初の静止画のみを記憶する。同じ画像を記憶しても無意味だからである。なお、利用者自身が利用者端末３０から撮影画像又は検索対象画像を選別してもよいし、設定によって、所定期間経過（例えば３年）後に自動的に消去されるようにしてもよい。撮影画像選別手段２５により、有限の記憶容量を持つ画像記憶手段２８のメモリ資源の有効利用が可能になる。

【0048】

また、撮影画像選別手段２５は、制御手段２７の制御の下、利用者の指示の下又は定期的に、いったん保存した画像を再度チェックして、不要と考えられる画像を検索対象画像ＤＢ２００から随時削除していく（これを「画像の棚卸」と呼ぶ）。このとき、撮影画像選別手段２５は、画像を検索対象画像ＤＢ２００に登録する際に、物忘れしやすい対象物（例えば、玄関ドアと鍵、ガスの元栓など）を注目する要素とし、注目する要素を含む画像は、原則として、画像全体を保存する制御を行う。一方、注目する要素を含まない画像は、前の画像との差分のみを保存して画像記憶手段２８のメモリ資源の有効利用をはかるようにしてもよい。この処理については詳しくは後述する。

【0049】

また、同じ要素を含む画像は、所定時間経過ごとに類似度を再度判定し、類似度の高いものを優先的にその画像を削減する。この結果、例えば、３日経過すると画像が５０％削減され、更に１週間経過すると、更に５０％、１ヵ月経過後に更に５０％、１年ごとに５０％削減され、このような方法を用いて、画像を１０年間保存する。なお、撮影画像ＤＢ１００内の処理が終わった画像は、不要なので削除されるものとする。このことにより、画像記憶手段２８のメモリ資源の更なる有効利用が可能になる。

【0050】

検索用画像登録手段２６は、利用者端末３０から入力又は選択された検索語と検索用画像に基づいて、検索語に関連する検索用画像を登録する機能を有する。ここで「検索語」とは、利用者が画像の検索時に入力したキーワードであり、前述の画像に付加される画像キーワードとは異なる。検索語は、検索対象物の名称であってもよいし、検索対象の場所と時間（位置情報及び時間情報）であってもよい。また、利用者が指定する画像をその画像キーワードとともに、検索用画像として登録する。画像キーワードと検索用画像との関連付けは、検索用画像を自動解析して行うか、あらかじめ利用者が検索用画像と検索語とを関連づけて登録する操作を行うことにより実行される。また、検索用画像登録手段２６は、１つのキーワードに対して、複数の検索画像を登録する複合キーワードを定義することができるが、これについての詳細は後述する。

【0051】

制御手段２７は、撮像端末１０から受信した撮影画像を利用者の忘却防止用の画像として画像記憶手段２８に記憶し、利用者端末３０から検索語を含む画像検索要求を受信すると、画像記憶手段２８を参照して検索語に関連する撮影画像を抽出し、当該抽出した撮影画像を利用者端末３０に送信する画像情報検索サーバ２０としての機能実現のために、上記した各機能ブロックを制御する役割を担う。画像記憶手段２８は、撮影画像ＤＢ１００と、検索対象画像ＤＢ２００と、索引情報記憶ＤＢ３００と、を備える。

【0052】

画像記憶手段２８は、撮影画像選別手段２５によって、選別された画像を利用者に関連する識別情報とともに利用者からの検索の対象である検索対象画像として記憶する。

【0053】

また、検索対象画像ＤＢ２００に記憶されている画像は、画像の棚卸の一環として、画像を整理するようにしてもよい。例えば、人物の画像と人物以外の画像を分け、その画像が人物以外の画像であるときは、同じキーワードに関連する画像のうち最新のものだけを残すようにしてもよい。「玄関の鍵の閉め忘れ」を例にとると、最新の玄関ドア付近の画像以外を利用する可能性が低いためである。しかし、画像が人物像であれば、同じキーワードに関連する画像のうち最古のものを含むその時々の画像を残すようにしてもよい。人物は、顔つきが変わることがあり、最新の画像を残すだけでは不十分だからである。画像の整理の設定については、利用者が手動で設定を行ってもよく、また、あらかじめ利用者の設定に従い、自動で整理を行ってもよい。

【0054】

図４（ａ）にそのデータ構造の一例が示されているように、撮影画像ＤＢ１００には、少なくとも利用者ごとに採番される「利用者ＩＤ」、撮影画像ごとに採番される「撮影情報Ｎｏ」、「撮影画像」、「撮影日時」、撮影した場所の「位置情報」が登録される。

【0055】

図４（ａ）によれば、利用者ＩＤ「００１００」の撮影情報Ｎｏ「１」の撮影画像には、撮影した玄関の画像と、撮影日時「２０１５／０５／０５ １３：０５：３０」であり、位置情報「３５°３０’７．１６” １３９°８’８．１２”」が登録されている。

【0056】

図４（ｂ）にそのデータ構造の一例が示されているように、検索対象画像ＤＢ２００には、少なくとも利用者ごとに採番される「利用者ＩＤ」、検索サーバによって自動認識若しくは利用者によって登録された「キーワード」、キーワードと関連付けがされた「検索用画像」、「登録日」がデータ項目として登録される。

【0057】

図４（ｂ）によれば、利用者ＩＤ「００１００」の最初の画像には、画像キーワード「ドアノブ」、「玄関」、「鍵」が登録されており、その画像キーワードに紐づけられた検索用画像が「２０１５／０５／０６」に登録されている。また、図４（ｂ）の４番目の画像には「車」、「自動車」などの画像キーワードが登録されている。ナンバープレートの番号も登録しておけば、画像検索時に自分の車が写った画像を検索するのに役立つ。

【0058】

図５にそのデータ構造の一例が示されているように、索引情報記憶ＤＢ３００には、少なくとも利用者ごとに採番される「利用者ＩＤ」、撮影画像ごとに採番される「撮影情報Ｎｏ」、その撮影情報のシーンごとに生成される「索引情報」、「シーン開始日時」、シ−ンの撮影開始時にＧＰＳなどから取得した「位置情報」が登録されている。図示は省略するが、シーンの終了時間、シーンの長さなども登録してもよい。

【0059】

図５によれば、利用者ＩＤ「００１００」には、撮影情報Ｎｏ「１」が登録されている。撮影情報Ｎｏ「１」には、索引情報がＡ〜Ｄまで登録されており、例えば、索引項目「Ａ」は、シーン開始日時「２０１５／０５／０５ １３：０５：３０」、位置情報「３５°３０’７．１６” １３９°８’８．１２”」の撮影画像が登録されている。

【0060】

上記の本システムの機能構成は、あくまで一例であり、一つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて一つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置に内蔵されたＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＳＤ(Solid State Drive)、ハードディスクなどの記憶装置に格納されたコンピュータ・プログラムを読み出し、ＣＰＵにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース（ＤＢ;Data Base)やメモリ上の記憶領域からテーブルなどの必要なデータを読み書きし、場合によっては、関連するハードウェア（例えば、入出力装置、表示装置、通信インタフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベース（ＤＢ）は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。

【0061】

図６は、撮像端末１０から受信された撮影画像に基づいて、索引情報を生成する画像情報検索サーバの処理動作を示すフローチャートである。なお、以下に説明する処理は、必ずしもこのフローチャートで示した順で処理される必要はなく、各処理ブロックの入力データと出力データの関係が損なわれない限り、処理順序を変更してもよい。

【0062】

図６に示すように、本実施形態に係る画像情報検索サーバ２０の制御手段２７は、撮像端末１０から撮影画像を受信すると（ステップＳ１１）、その撮影画像を時系列順に画像記憶手段２８の撮影画像ＤＢ１００に記憶する（ステップＳ１２）。この処理の詳細については更に図７で説明する。

【0063】

撮影画像ＤＢ１００に所定量の撮影画像が記憶されると、撮影画像選別手段２５は、撮像端末１０から撮影手段により撮影された撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別し、検索対象画像として検索対象画像ＤＢ２００に記憶する（ステップＳ１３）。なお、ステップＳ１３は、後述するステップＳ１７の索引情報を記憶する後に処理を行ってもよい。

【0064】

次に、制御手段２７は、記憶した撮影画像が静止画であるか動画であるかを判定する（ステップＳ１４）。記憶した撮影画像が動画である場合（ステップＳ１４“動画”）、シーン変化検出手段２４は、検索対象画像ＤＢ２００に記憶された時系列の撮影画像に基づいて、撮影画像をフレーム単位で比較する。具体的には、逐次、現フレームと直前のフレームとの間で所定値以上のコントラストの変化、あるいは動きベクトルの変化（シーン変化）を検出し、所定値以上のコントラストや動きが発生した現フレームを抽出する（ステップＳ１５）。なお、静止画と動画を特に区別せず、静止画はフレームの撮影間隔が極端に長い動画と考えてもよい。例えば、通常の動画の場合は３０フレーム／秒の撮影速度であるが、それが数分〜数時間ごとに１フレーム程度となったものが静止画であると考えてもよい。

【0065】

続いて、索引情報生成手段２２は、シーン変化検出手段２４が検出した所定値以上のコントラストや動きが発生したフレームの番号を索引項目として紐付けて、索引情報を生成し（ステップＳ１６）、タイムスタンプを付して画像記憶手段２８の索引情報記憶ＤＢ３００に記憶する（ステップＳ１７）。一方、ステップＳ１２で記憶した撮影画像が静止画である場合（ステップＳ１４“静止画”）、制御手段２７は、索引情報を生成する指示を送らずに処理を終了する。

【0066】

図７は、前図のステップＳ１２における撮影画像を記憶するときの詳細を示すフローチャートである。制御手段２７は、まずステップＳ１２１において、撮像端末１０から送信された撮影画像を解析する。ここでの画像解析は、画像に撮影されている物体が何であるか解析するものであり、公知の技術を利用する（例えば、特開２０１５−０５７６８７号公報など）。画像解析が完了するとステップＳ１２２において、撮影画像が注目している要素を含んでいるか否かを判定する。注目している要素とは、利用者の物忘れする可能性がある対象物である。具体的には、利用者が物忘れしたときに、その画像を検索するためにあらかじめ登録された検索用画像であり、玄関ドア、ガスの元栓、風呂の蛇口、部屋の窓、エアコンやストーブのスイッチ、金庫、自分の車、知人の顔などの画像である（以後、「画像要素」とも呼ぶ）。例えば、利用者が自宅の玄関の鍵を閉めたかどうかを思い出すためには、自宅の玄関ドアの画像をあらかじめ登録しておけば、その後撮影した画像中に自宅玄関ドアの画像が含まれるかどうかを判定することができる。

【0067】

ステップＳ１２２で、撮影画像が注目する画像要素を含んでいると判定された場合には、受信した撮影画像の全部（ただし、同一の画像が連続する場合はそのシーンの最初の画像だけとしてもよい）を撮影画像ＤＢ１００に記憶する（ステップＳ１２４）。また、撮影画像が注目する画像要素を含んでいないと判定された場合には、ステップＳ１２３で更に前回記憶した画像（背景又は前画像とよぶ）からの変化があるかどうかを判定する。変化が有る場合は、ステップＳ１２５において、前画像との差分の画像のみを記憶する。例えば、撮影画像が家の前の通りを映している映像だったとすると、前画像（背景）は「家の前のビル」であり、そこに猫が通りがかった場合には、その猫の画像だけを新たに差分として記憶する。

【0068】

次にステップＳ１２６において、一度差分と判定した画像であっても所定時間以上（例えば、数週間から数か月程度以上）背景と一体化しているかどうかを判定する。そして、背景と一体化している場合は、先ほど差分と判定した画像も含めて新たな前画像（背景）として画像全体を記憶する（ステップＳ１２８）。また、例えば、誰かが「家の前のビル」の前に看板を立て掛けたとすると、いったんは差分として記憶されるが、その後看板は動かないので新たな前画像（背景）として記憶する。

【0069】

ステップＳ１２３に戻り、今回の撮影画像が前画像から変化がない場合は、ステップＳ１２７に進み、撮影画像が撮影開始（同じ風景が最初に撮影された日時）から所定時間経過しているかを判定する。ここで「変化がない」とは、画像全体がまったく変化していないという状態だけでなく、実質的な変化がない状態も含むものとする。例えば、アナログ時計の針やデジタル時計の表示、太陽の動きに応じて変化する影などは、上記でいう変化とは見なさないようにしてもよい。所定時間経過していなければ何もしないが、指定時間経過していれば、その時点の撮影画像全体を前画像（背景）として記憶する（ステップＳ１２８）。前画像から変化がないと判定された場合であっても、ある程度時間が経過していれば、前画像を現時点の画像に更新するほうが好ましいからである。

【0070】

以上のステップを、今回受信した撮影画像全体に対し処理が終了するまで繰り返す（ステップＳ１２９）。このような処理を撮影画像ＤＢ１００に画像を保存する前に行うことで、撮像端末１０から受信した画像をそのまま保存する場合に比べ、ＤＢに保存する画像データを、大幅に削減することができる。なお、上記の処理は、撮影画像を選別して検索対象画像として記憶するステップ（前図のステップＳ１３）の前処理として行ってもよいし、ステップＳ１３の中で行ってもよい。

【0071】

次に、図８のフローチャートを参照して検索用画像を登録する画像情報検索サーバの処理動作について説明する。図８に示すように、画像情報検索サーバ２０は、利用者端末３０から検索用画像の登録要求を受信する（ステップＳ２１）と、検索用画像登録手段２６が、利用者端末３０に検索用の画像データの送信を促す画面情報を送信し、利用者端末３０によって入力された検索用画像を登録する（ステップＳ２２）。

【0072】

続いて、画像情報検索サーバ２０は、利用者端末３０から画像キーワードの登録要求を受信する（ステップＳ２３）と、検索用画像登録手段２６が、利用者端末３０に該当する検索用画像の画像キーワードを入力させる画面情報を送信し、利用者端末３０によって入力された画像キーワードを登録する（ステップＳ２４）。画像キーワードとは、既に述べたように、画像を検索し易くするために画像に付加されるキーワードであり、利用者が検索時に入力する検索語とは異なる。なお、ステップＳ２３とステップＳ２４の処理は、画像情報検索サーバ２０による自動認識機能を用いることで、利用者端末３０から受信した検索用画像に関連する画像キーワードを抽出するようにしてもよい。そして、検索用画像登録手段２６は検索用画像と画像キーワードを紐付けて、検索対象画像ＤＢ２００に記憶する（ステップＳ２５）。

【0073】

次に、図９を用いて、本発明の実施形態に係る画像情報検索サーバの画像検索処理動作を説明する。図９に示すように、本実施形態に係る画像情報検索サーバ２０の制御手段２７は、利用者端末３０から画像検索要求を受信すると（ステップＳ３１“ＹＥＳ”）、利用者端末３０宛に検索条件（例えば、場所、日時、その他のキーワード）の入力を促す情報を送信する（ステップＳ３２）。

【0074】

利用者端末３０から検索条件として「その他のキーワード」が送信された場合（ステップＳ３３“その他のキーワード”）、画像抽出手段２３は、画像記憶手段２８の索引情報記憶ＤＢ３００を参照して、受信されたその他のキーワードに関連する検索用画像の抽出を行う（ステップＳ３４）。そして、画像抽出手段２３は、抽出した検索用画像と、検索対象画像とのマッチング処理（照合操作）を行い、検索対象画像から目的の画像を抽出する（ステップＳ３５）。

【0075】

また、画像抽出手段２３は、検索対象画像として、静止画、動画の両者が保存されている場合、利用者端末３０にどちらの画像を取得するかを促す情報を送信してもよい。このようにすることで、ガスの元栓を閉めたか否かを画像で確認したい場面を例示すると、静止画である場合は、複数の画像を閲覧しなければならないのに対して、動画の場合は、１つの索引情報（音声付）を閲覧することでガスの元栓の確認をとることが可能になる。また、必要に応じて、両者を取得するようにしてもよい。

【0076】

一方、利用者端末３０から検索条件として「場所」が送信された場合（ステップＳ３３“場所”）、画像抽出手段２３は、受信した場所の位置情報を算出し（ステップＳ３６）、画像記憶手段２８の索引情報記憶ＤＢ３００を参照して、特定した位置情報と索引情報記憶ＤＢ３００に登録されている位置情報とを比較して、近傍に位置する画像を抽出する（ステップＳ３７）。

【0077】

他方、利用者端末３０から検索条件として「日時」が送信された場合（ステップＳ３３“日時”）、画像抽出手段２３は、画像記憶手段２８の索引情報記憶ＤＢ３００を参照し、索引情報記憶ＤＢ３００に登録されている日時の時間帯が含まれる画像と該当する日時とを比較して、該当する日時付近の画像を抽出する（ステップＳ３８）。このように「場所」、「日時」だけでも検索ができるので自分のとった行動に対する検索語（「その他の検索語」）が思い浮かばなくても、場所か日時を覚えていれば、目的の画像を検索することができる。例えば、音声入力の場合、「今日の９時から１０時頃の間の画像を表示して！」と入力するだけでよい。

【0078】

そして、画像抽出手段２３は、利用者端末３０からの検索要求の検索条件に該当する画像を要求のあった利用者端末３０に送信する（ステップＳ３９）。

【0079】

上記した画像検索要求処理により、例えば、図１０に示すように、利用者端末３０には、検索条件選択欄が表示され、利用者は選択条件の種類を選択する。一例として、選択条件に「その他キーワード」を選択すると、キーワードを入力する欄が表示される。利用者はキーワードを入力し、検索開始ボタンを押下すると、その画面に、登録されている検索対象画像から検索条件に該当する画像のヒット件数が表示され、そのうちの最新の画像が表示される。また、画面に位置情報（地名など）を表示することで、どこで撮影されていたものかが明確になるため、例えば、図１０を例にあげると、自宅の玄関だということが確認できる。なお、利用者端末３０からの設定（設定ボタン押下）により、例えば、検索条件に位置情報や日時などを付加することで、最新の画像のみではなく、該当する場所、時間帯にヒットした画像を検索することも可能である。

【0080】

また、１つのキーワードに対して、複数の検索用画像を登録する複合キーワードを定義することも可能である。具体的には、例えば、「おでかけ」というキーワードに対して、外出する前に確認する項目である「玄関の鍵の閉め忘れ」、「ガスの元栓の閉め忘れ」、「室内の照明の消し忘れ」、「エアコンの消し忘れ」などを紐付けて複合キーワードとして登録する。このようにすることで、利用者端末３０は、画像情報検索サーバ２０に「おでかけ」の検索語を入力して検索することで、図１１に示すように、紐付けられた項目の全てが表示される。

【0081】

次に、利用者端末が所持する画像で画像検索要求をする場合の本実施形態に係る画像情報検索サーバの処理動作を図１２に示すフローチャートを参照して説明する。図１２に示すように、制御手段２７は、利用者端末３０から画像を含む画像検索要求を受信すると（ステップＳ４１“ＹＥＳ”）、画像抽出手段２３は、その画像と紐付けられた検索用画像と索引情報記憶ＤＢ３００に登録されている索引情報とのマッチング処理を行う（ステップＳ４２）。なお、画像どうしのマッチング処理については、例えば、特開２００４−３４１９４０号公報などにより公知であるため、詳細な説明は省略する。

【0082】

マッチング処理の結果、検索用画像と索引情報が一致した場合（ステップＳ４２“一致”）、画像抽出手段２３は、検索対象画像から目的の画像が含まれる索引情報を抽出し、抽出した画像を要求のあった利用者端末３０に送信する（ステップＳ４７）。

【0083】

上記した画像検索要求処理により、例えば、図１３に示すように、利用者端末３０には、検索条件選択欄が表示され、利用者は選択条件を入力する。選択条件に「人物画像」を選択し、参照ボタンを押下することによって、利用者端末３０に記憶されている人物画像一覧が表示される。利用者は、該当する画像を選択し、検索開始ボタンを押下すると、その画面に、登録されている検索対象画像から検索条件に該当する画像のヒット件数が表示され、そのうちの最新の画像が表示される。なお、図１０の場合と同様に、利用者端末３０からの設定（設定ボタン押下）により、例えば、検索条件に位置情報や日時などを付加することで、最新の画像のみではなく、該当する場所、時間帯にヒットした画像を検索することも可能である。

【0084】

一方、検索用画像と索引情報とが不一致の場合（ステップＳ４２“不一致”）、画像抽出手段２３は、利用者端末３０から画像検索要求に付属の検索語を取得する（ステップＳ４３）。そして、取得した検索語を条件に検索対象画像ＤＢ２００を参照し、検索語に該当する画像キーワードが登録されているか否かを判定する（ステップＳ４４）。該当する画像キーワードが登録されていない場合（ステップＳ４４“ＮＯ”）、画像抽出手段２３は、利用者端末３０に画像情報検索サーバ２０の中に該当する検索語が存在しないことを示すエラー通知を送信する（ステップＳ４６）。

【0085】

一方、該当する検索語が登録されている場合（ステップＳ４４“ＹＥＳ”）、画像抽出手段２３は、その検索語と紐付けられた検索用画像と索引情報記憶ＤＢ３００に登録されている索引情報とのマッチング処理を行い（ステップＳ４５）、検索対象画像から目的の画像が含まれる索引情報を抽出し、抽出した画像を要求のあった利用者端末３０に送信する（ステップＳ４７）。

【0086】

（第２の実施形態）
図１４は、本発明の第２の実施の形態に係る利用者端末の機能構成を示す図である。第２の実施形態では、第１の実施形態に係る画像情報検索サーバ２０が有する機能を利用者端末３０が単独で有する形態である。以下では、利用者端末３０の各種機能ついては、第１の実施形態と同様のものは説明を省略する。

【0087】

第２の実施形態に係る利用者端末３０の撮影画像メモリ１００’と、検索対象画像メモリ２００’、索引情報記憶メモリ３００’は、第１の実施形態に係る画像情報検索サーバ２０の画像記憶手段２８の、撮影画像ＤＢ１００と、検索対象画像ＤＢ２００と、索引情報記憶ＤＢ３００と同様の機能を有する。そのため、第２の実施形態では、各ＤＢに保存されるデータは、利用者端末３０の各メモリに保存されることになる。利用者端末３０の各メモリは、サーバの各ＤＢに比較して記憶容量が制限される分、メモリに記憶する画像の選別、整理、削減がより重要となる。

【0088】

利用者端末３０の通信手段３１は、撮像端末１０と通信を行う際の通信インタフェースとして機能する。

【0089】

画像抽出手段３３は、利用者から検索用画像を用いた画像検索要求を取得すると、検索用画像に関連した画像を検索対象画像から抽出する。

【0090】

撮影画像選別手段３５は、利用者からの消去要求又は利用者の検索実績により、保存すべき画像を選別し、撮影画像又は検索対象画像の少なくとも一部を消去する。

【0091】

制御手段３７は、撮像端末１０から受信した撮影画像を利用者の忘却防止用の画像として画像記憶手段３８に記憶し、利用者から検索語を含む画像検索要求を取得すると、画像記憶手段３８を参照して検索語に関連する撮影画像を抽出し、当該抽出した撮影画像を利用者端末３０に送信する画像情報検索サーバ２０としての機能実現のために、上記した各機能ブロックを制御する役割を担う。

【0092】

なお、図１４に示す利用者端末３０は、図３に示す画像情報検索サーバ２０が持つ機能の全てを代替するものとして説明したが、一部のみを代替することも可能である。この場合でも画像情報検索サーバ２０の処理負荷を軽減することができる。

【0093】

なお、第２の実施形態は、その変形例として、撮像端末１０を利用者端末３０に統合（一体化）した形態も可能である。ただし、この場合は、固定カメラは撮像端末としてはサポート外とする。

【0094】

（実施形態の効果）
以上の説明のように本実施形態に係る画像情報検索サーバ２０によれば、撮像端末から撮影された撮影画像のうち利用者の記憶を呼び起こすのに役立つ画像を選別し、利用者からの検索の対象である検索対象画像として記憶し、利用者の利用者端末から検索語を含む画像検索要求を受信する。そして、検索語に関連する画像を検索対象画像から抽出し、抽出した画像を利用者端末に送信することで、事前の登録の有無にかかわらず利用者が過去にとった行動の記憶を画像によって呼び起こすことが可能となる。すなわち、画像情報検索サーバ２０を自分の行為の記憶し、いつでも取り出せる、いわば「自分専用の行動メモリ」として利用することができる。

【0095】

また、利用者が撮像した画像を検索用画像として登録し、利用者端末から検索用画像を用いた画像検索要求を受信すると、検索用画像に関連した画像を検索対象画像から抽出する。すなわち、画像から画像を検索することができる。

【0096】

また、注目する画像要素が撮影画像に含まれる場合は、撮影画像の全体を記憶し、注目する画像要素が撮影画像に含まれない場合は、前回記憶した画像（背景）との差分の画像のみを記憶するので、不要な画像が蓄積されることを避け、メモリ資源の有効利用ができる。

【0097】

また、検索語及び／又は検索用画像に基づき、目的の画像又は画像に付加された画像キーワードを抽出することで、検索語と検索用画像を組み合わせて検索を行うことが可能であり、目的によって検索方法を使い分けすることができる。また、逆に、ある画像からその画像に関連した画像のキーワードを抽出することもできる。例えば、最近会った人物の名前が思い出せないときなどは、その人物の画像があれば、その画像からその人物の名前や属性などを検索することが可能となる。

【0098】

また、利用者端末からの消去要求又は利用者の検索実績により、撮影画像又は検索対象画像の一部を消去することで、画像記憶手段のメモリ資源の有効利用となる。

【0099】

また、撮影画像のうち、画面変化がない画像を除いて検索対象画像として記憶することで、画像記憶手段のメモリ資源の有効利用となる。

【0100】

なお、本発明は、画像情報検索サーバとしてだけでなく、画像情報検索方法の発明としても捉えることができる。また、画像情報検索サーバを必要とせずに、利用者端末と撮像端末との組合せ、又は撮像端末と一体化した利用者端末の発明と捉えることもできる。この場合、サーバとの交信が不要なので、利用者端末をウエアラブル端末とすることで、その機動性、操作性をより生かすことができる。

【0101】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲に限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0102】

１０ 撮像端末
２０ 画像情報検索サーバ
２１ 通信手段
２２ 索引情報生成手段
２３ 画像抽出手段
２４ シーン変化検出手段
２５ 撮影画像選別手段
２６ 検索用画像登録手段
２７ 制御手段
２８ 画像記憶手段
３０ 利用者端末
１００ 撮影画像ＤＢ
２００ 検索対象画像ＤＢ
３００ 索引情報記憶ＤＢ
１００’ 撮影画像メモリ
２００’ 検索対象画像メモリ
３００’ 索引情報記憶メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】