特許 6604413 画像検索装置、画像検索システム、画像検索方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6604413

(24)【登録日】2019年10月25日

(45)【発行日】2019年11月13日

(54)【発明の名称】画像検索装置、画像検索システム、画像検索方法及びプログラム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20191031BHJP

   G06F 16/587 20190101ALI20191031BHJP

   G06F 16/783 20190101ALI20191031BHJP

   G06F 16/787 20190101ALI20191031BHJP

   G06T 7/90 20170101ALI20191031BHJP

【ＦＩ】

   G06F16/583

   G06F16/587

   G06F16/783

   G06F16/787

   G06T7/90 A

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2018-191292(P2018-191292)

(22)【出願日】2018年10月9日

【審査請求日】2018年10月9日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】中川 英文

【審査官】 後藤 彰

(56)【参考文献】

【文献】 特開２００３−０６７７６４（ＪＰ，Ａ）

【文献】 特開２００７−０１１６９６（ＪＰ，Ａ）

【文献】 特開平１０−２０７８９７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／５８３

Ｇ０６Ｆ １６／５８７

Ｇ０６Ｆ １６／７８３

Ｇ０６Ｆ １６／７８７

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出する抽出部と、
指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索する情報格納部と、
検索結果を出力するインタフェースと
を備え、
前記全体画像は、動画像のフレーム画像であり、
前記抽出部は、複数の前記フレーム画像の間の色の差分が閾値以上である前記領域画像を、前記フレーム画像から抽出する、
画像検索装置。

【請求項2】

対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出する抽出部と、
指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索する情報格納部と、
検索結果を出力するインタフェースと
を備え、
前記全体画像は、静止画像であり、
前記抽出部は、閾値以上の面積の前記領域画像を、色ごとに前記静止画像から抽出する、
画像検索装置。

【請求項3】

前記属性情報は、前記領域画像の撮影時刻の情報と、前記領域画像の撮影場所の情報と、前記領域画像の識別子と、前記領域画像の色の情報とのうちの少なくとも一つである、
請求項１又は請求項２に記載の画像検索装置。

【請求項4】

前記インタフェースは、追加される前記属性情報を取得し、
前記情報格納部は、追加される前記属性情報を、選択された前記領域画像の前記組み合わせに追加する、
請求項１から請求項３のいずれか一項に記載の画像検索装置。

【請求項5】

前記インタフェースは、指定された場所から前記対象物までの距離を時間ごとに表示する、
請求項１から請求項４のいずれか一項に記載の画像検索装置。

【請求項6】

対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出する抽出部と、
指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索する情報格納部と、
検索結果を出力するインタフェースとを有する画像検索装置と、
前記領域画像及び前記属性情報の組み合わせに基づいてパラメータを生成する生成装置と、
前記パラメータに基づいて前記領域画像を前記全体画像から抽出する抽出装置と
を備える画像検索システム。

【請求項7】

前記インタフェースは、追加される前記属性情報を、前記対象物ごとに取得し、
前記生成装置は、前記属性情報が追加された前記組み合わせに基づいて前記パラメータを生成する、
前記抽出装置は、前記パラメータに基づいて前記領域画像を分類する、
請求項６に記載の画像検索システム。

【請求項8】

画像検索装置が実行する画像検索方法であって、
対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出するステップと、
指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索するステップと、
検索結果を出力するステップと
を有し、
前記全体画像は、動画像のフレーム画像であり、
前記抽出するステップでは、複数の前記フレーム画像の間の色の差分が閾値以上である前記領域画像を、前記フレーム画像から抽出する、
画像検索方法。

【請求項9】

画像検索装置が実行する画像検索方法であって、
対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出するステップと、
指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索するステップと、
検索結果を出力するステップと
を有し、
前記全体画像は、静止画像であり、
前記抽出するステップでは、閾値以上の面積の前記領域画像を、色ごとに前記静止画像から抽出する、
画像検索方法。

【請求項10】

請求項１から請求項５のいずれか一項に記載の画像検索装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検索装置、画像検索システム、画像検索方法及びプログラムに関する。

【背景技術】

【0002】

画像検索装置は、全体画像に含まれている領域画像を、その全体画像から検索する場合がある。例えば、画像検索装置は、監視カメラによって撮影された車両の領域画像を、その監視カメラから出力された全体画像から検索する場合がある。

【0003】

画像検索装置は、時系列の全体画像と対象物の領域画像とを情報格納部に記録する。画像検索装置は、特定の対象物の領域画像に属性情報を対応付ける。画像検索装置は、記録された時系列の全体画像から、特定の対象物の領域画像を検索する。画像検索装置は、特定の対象物の外観に応じて予め定められた検出アルゴリズムやパラメータを用いて、その特定の対象物の領域画像を全体画像から検索する。

【0004】

特定の対象物の領域画像を全体画像から検索することを目的として、検索に使用される対象物の属性情報を増やす方法が提案されている（特許文献１〜４参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−２４４０４３号公報

【特許文献2】特開２０１０−０１５２８６号公報

【特許文献3】特開２００８−０４６８３２号公報

【特許文献4】特開２００３−２５６８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１〜４では、検索される対象物と属性情報とは事前に対応付けられている必要がある。検索される対象物と属性情報とが事前に対応付けられていない場合、関連するの画像検索装置は、撮影された時系列の大量の全体画像から、対象物の属性情報を用いずに対象物の領域画像を検索する必要があるので、現実的な時間内では対象物の領域画像を検索することができない場合がある。

【0007】

撮影される対象物の種類が撮影環境に応じて大きく変化する場合、複数の対象物の領域画像と属性情報とを事前に対応付けておくことは難しいため、領域画像の検出アルゴリズムは対象物ごとに必要となる。この場合、検出処理に必要な演算量が増えてしまう。このように、関連する画像検索装置は、撮影された不特定の対象物の領域画像を全体画像から検索する効率を向上させることが難しい場合がある。

【0008】

上記事情に鑑み、本発明は、上述の課題を解決する画像検索装置、画像検索システム、画像検索方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0009】

本発明の第１の態様によれば、画像検索装置は、対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出する抽出部と、指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索する情報格納部と、検索結果を出力するインタフェースとを備える。

【0010】

本発明の第２の態様によれば、画像検索システムは、対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出する抽出部と、指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索する情報格納部と、検索結果を出力するインタフェースとを有する画像検索装置と、前記領域画像及び前記属性情報の組み合わせに基づいてパラメータを生成する生成装置と、前記パラメータに基づいて前記領域画像を前記全体画像から抽出する抽出装置とを備える。

【0011】

本発明の第３の態様によれば、画像検索方法は、対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出するステップと、指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索するステップと、検索結果を出力するステップとを有する。

【0012】

本発明の第４の態様によれば、プログラムは、コンピュータに、対象物の画像である領域画像を含む全体画像を取得し、前記領域画像及び属性情報の１以上の組み合わせを色に基づいて前記全体画像から抽出する手順と、指定された前記属性情報に組み合わされた前記領域画像を、抽出された前記領域画像及び前記属性情報の１以上の組み合わせから検索する手順と、検索結果を出力する手順とを実行させる。

【発明の効果】

【0013】

本発明により、撮影された不特定の対象物の領域画像を全体画像から検索する効率を向上させることが可能である。

【図面の簡単な説明】

【0014】

【図1】第１実施形態における、画像検索システムの構成の例を示す図である。

【図2】第１実施形態における、抽出部の構成の例を示す図である。

【図3】第１実施形態における、フレーム抽出部及び色差分領域抽出部の動作の例を示すフローチャートである。

【図4】第１実施形態における、色領域抽出部の動作の例を示すフローチャートである。

【図5】第１実施形態における、静止画像の例を示す図である。

【図6】第１実施形態における、画像属性情報テーブルの例を示す図である。

【図7】第１実施形態における、インタフェースの構成の例を示す図である。

【図8】第１実施形態における、検索結果等の表示画像の例を示す図である。

【図9】第１実施形態における、追加属性情報を入力するための表示画像の例を示す図である。

【図10】第１実施形態における、画像検索システムの動作の例を示すフローチャートである。

【図11】第２実施形態における、画像検索システムの構成の例を示す図である。

【図12】第３実施形態における、画像検索システムの動作の例を示す図である。

【図13】各実施形態における、画像検索システムの最小構成の例を示す図である。

【発明を実施するための形態】

【0015】

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、画像検索システム１ａの構成の例を示す図である。画像検索システム１ａは、撮影された不特定の対象物（被写体）の画像を、動画像又は静止画像から検索するシステムである。画像検索システム１ａは、動画カメラ２と、静止画カメラ３と、画像検索装置４とを備える。

【0016】

動画カメラ２は、対象物の画像である領域画像と背景の画像とを含む動画像（時系列）の全体画像を、画像検索装置４に出力する。静止画カメラ３は、対象物の画像である領域画像と背景の画像とを含む静止画像の全体画像を、画像検索装置４に出力する。

【0017】

画像検索装置４は、撮影された不特定の対象物の領域画像を、動画像又は静止画像から検索する情報処理装置であり、例えば、パーソナルコンピュータである。画像検索装置４は、抽出部４０と、情報格納部４１と、インタフェース４２とを備える。

【0018】

抽出部４０、情報格納部４１及びインタフェース４２の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。抽出部４０、情報格納部４１及びインタフェース４２のうち一部又は全部は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

【0019】

抽出部４０は、動画カメラ２から出力された時系列の全体画像と、静止画像カメラ１−２から出力された静止画像の全体画像とのうちの少なくとも一方を取得する。抽出部４０は、取得された全体画像から、対象物の領域画像及び属性情報の１以上の組み合わせを色に基づいて抽出する。属性情報は、領域画像の属性の情報であり、例えば、撮影時刻及び撮影場所等の撮影に関する情報、領域画像と属性情報とを対応付ける識別子である画像識別子、領域画像における代表的な色（代表色）の情報である。代表色は、例えば、光の三原色である赤青緑の形式（ＲＧＢ）、色の三原色であるシアン、マゼンタ及びイエローとキー・プレートとの形式（ＣＭＹＫ）、色の名称の形式のいずれで表現されてもよい。

【0020】

図２は、抽出部４０の構成の例を示す図である。抽出部４０は、フレーム抽出部４００と、色差分領域抽出部４０１と、色領域抽出部４０２と、切替部４０３とを備える。フレーム抽出部４００は、時系列の全体画像から、フレーム単位の画像（全体画像）であるフレーム画像を生成する。

【0021】

色差分領域抽出部４０１は、対象物の領域画像とその対象物の属性情報とを、フレーム画像から抽出する。色差分領域抽出部４０１は、閾値の調整によって任意の大きさ及び個数の対象物の領域画像を、フレーム画像から抽出することが可能である。

【0022】

図３は、フレーム抽出部４００及び色差分領域抽出部４０１の動作の例を示すフローチャートである。フレーム抽出部４００は、フレーム画像を動画カメラ２から取得する（ステップＳ１０１）。フレーム抽出部４００は、過去（前回）のフレーム画像が記憶部に記録されているか否かを判定する（ステップＳ１０２）。過去のフレーム画像が記憶部に記録されている場合（ステップＳ１０２：ＹＥＳ）、色差分領域抽出部４０１は、今回のフレーム画像と過去（前回）のフレーム画像との色（色値）の差分を、画素ごとに抽出する（ステップＳ１０３）。

【0023】

色差分領域抽出部４０１は、色の差分が閾値以上である領域画像を、今回のフレーム画像から抽出する（ステップＳ１０４）。色差分領域抽出部４０１は、抽出された領域画像及び属性情報を、切替部４０３に出力する（ステップＳ１０５）。色差分領域抽出部４０１は、抽出された領域画像を、抽出対象から除外する（ステップＳ１０６）。

【0024】

色差分領域抽出部４０１は、今回のフレーム画像において色の差分が閾値以上である領域が存在するか否かを判定する（ステップＳ１０７）。今回のフレーム画像において色の差分が閾値以上である領域が存在する場合（ステップＳ１０７：ＹＥＳ）、色差分領域抽出部４０１は、ステップＳ１０４に処理を戻す。今回のフレーム画像において色の差分が閾値以上である領域が存在しない場合、すなわち、対象物の領域画像が今回のフレーム画像から十分に抽出された場合（ステップＳ１０７：ＮＯ）、色差分領域抽出部４０１は、ステップＳ１０１に処理を戻す。

【0025】

ステップＳ１０２において、過去（前回）のフレーム画像が記録されていない場合（ステップＳ１０２：ＮＯ）、色差分領域抽出部４０１は、今回のフレーム画像を、前回のフレーム画像として情報格納部４１に記録する（ステップＳ１０８）。

【0026】

色領域抽出部４０２は、対象物の領域画像とその対象物の属性情報とを、静止画像から抽出する。色領域抽出部４０２は、閾値の調整によって任意の大きさ及び個数の対象物の領域画像を、静止画像から抽出することが可能である。

【0027】

図４は、色領域抽出部４０２の動作の例を示すフローチャートである。色領域抽出部４０２は、静止画像を静止画カメラ３から取得する（ステップＳ２０１）。色領域抽出部４０２は、閾値以上の面積の領域画像を、色ごとに静止画像から抽出する（ステップＳ２０２）。

【0028】

図５は、静止画像１００の例を示す図である。静止画像１００は、静止画カメラ３から取得された画像である。静止画像１００は、動画カメラ２から取得されたフレーム画像でもよい。図５では、色領域抽出部４０２は、領域画像２００と、領域画像２０１と、領域画像２０２と、領域画像２０３とを、静止画像１００から抽出する。

【0029】

図４に戻り、色領域抽出部４０２の動作の例の説明を続ける。色領域抽出部４０２は、抽出された領域画像及び属性情報を、切替部４０３に出力する（ステップＳ２０３）。色領域抽出部４０２は、抽出された領域画像を抽出対象から除外する（ステップＳ２０４）。

【0030】

色領域抽出部４０２は、抽出されていない領域画像の面積の割合が静止画像の面積に対して閾値以上であるか否かを判定する（ステップＳ２０５）。抽出されていない領域画像の面積の割合が静止画像の面積に対して閾値以上である場合（ステップＳ２０５：ＹＥＳ）、色領域抽出部４０２は、ステップＳ２０２に処理を戻す。抽出されていない領域画像の面積の割合が静止画像の面積に対して閾値未満である場合（ステップＳ２０５：ＮＯ）、色領域抽出部４０２は、図４に示された処理を終了する。

【0031】

これによって、抽出部４０は、対象物の領域画像を検出するためのアルゴリズムを対象物の種類ごとに用意することが不要であるので、対象物の領域画像を抽出することが可能である。抽出部４０は、監視カメラの出力、定点カメラの出力、写真を利用したオンライン地図等の時間的又は空間的に広範囲にわたる大量の動画像や静止画像に対する前処理として、対象物の領域画像を、フレーム画像又は静止画像から抽出することが可能である。

【0032】

図２に示された切替部４０３は、例えばユーザの指示に基づいて、フレーム画像（動画像）又は静止画像を選択する。切替部４０３は、選択された全体画像から抽出された領域画像と、その領域画像の属性情報とを、情報格納部４１に記録する。なお、切替部４０３は、選択された全体画像であるフレーム画像（動画像）又は静止画像を、情報格納部４１に記録してもよい。

【0033】

図１に示された情報格納部４１は、情報処理装置である。情報格納部４１は、不揮発性記録媒体（非一時的な記録媒体）を備える。情報格納部４１は、動画像、静止画像、データテーブル及びプログラムを記憶する。情報格納部４１は、ＲＡＭ（Random Access Memory）などの揮発性記録媒体を備えてもよい。

【0034】

情報格納部４１は、画像属性情報テーブルを記憶する。情報格納部４１は、切替部４０３から出力された領域画像及び属性情報を、画像属性情報テーブルに記録する。

【0035】

情報格納部４１は、対象物の検索条件（抽出条件）であるクエリとして、対象物の領域画像及び属性情報をインタフェース４２から取得する。情報格納部４１は、ユーザから与えられたクエリに含まれている属性情報を、追加属性情報として、対象物の領域画像に対応付けて画像属性情報テーブルに記録してもよい。

【0036】

情報格納部４１は、ユーザから指定された代表色、撮影時刻及び撮影場所等に基づいて、対象物の領域画像を全体画像から検索する。情報格納部４１は、画像属性情報テーブルにおける領域画像及び属性情報に組み合わせのうちから、クエリに該当する１以上の領域画像及び属性情報の１以上の組み合わせを選択する。すなわち、情報格納部４１は、指定された属性情報に組み合わされた領域画像を、画像属性情報テーブルから検索する。

【0037】

図６は、画像属性情報テーブルの例を示す図である。図６では、画像属性情報テーブルは、静止画像１００から抽出された領域画像２００から領域画像２０３までと、各属性情報とを含む。

【0038】

領域画像における代表的な色の個数は、対象物に応じて変化する。色に基づいて対象物の領域画像が全体画像から抽出されるので、画像属性情報テーブルは、対象物の種類（対象物が何であるか）を表す情報を、属性情報として含んでいなくてもよい。すなわち、動画像や静止画像に含まれている領域画像の対象物の種類（対象物が何であるか）は、対象物の領域画像が抽出される時点で確定している必要がない。そのため、対象物の種類ごとの複雑な抽出アルゴリズムは不要である。

【0039】

これによって、情報格納部４１は、抽出できる対象物の領域画像が限られていた方法とは比較にならないほど多くの対象物の領域画像を、フレーム画像又は静止画像から抽出することが可能である。情報格納部４１は、フレーム画像及び静止画像から領域画像を検索する能力を大幅に高めることが可能である。

【0040】

インタフェース４２は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスと、ボタン、タッチパネル等の操作デバイスとを備える。インタフェース４２は、クエリをユーザが指定するためのインタフェース画像を表示する。ユーザは、対象物の領域画像の代表色、撮影時刻及び撮影場所を、クエリとしてインタフェース４２に指定する。インタフェース４２は、ユーザから与えられたクエリとして、対象物の領域画像及び属性情報を取得する。インタフェース４２は、検索結果を情報格納部４１から取得する。インタフェース４２は、検索結果を出力する。すなわち、インタフェース４２は、検索結果を表す画像を表示する。

【0041】

ユーザは、画像属性情報テーブルに追加される追加属性情報を、インタフェース４２に入力してもよい。インタフェース４２は、対象物の領域画像の代表色、撮影時刻及び撮影場所を、対象物の追加属性情報として情報格納部４１に出力する。

【0042】

図７は、インタフェース４２の構成の例を示す図である。インタフェース４２は、検索条件（クエリ）に合った対象物の領域画像及び属性情報を、検索結果を表す画像として表示する。インタフェース４２は、クエリ取得部４２０と、クエリ送信部４２１と、結果取得部４２２と、整形部４２３と、出力部４２４と、属性取得部４２５と、属性送信部４２６とを備える。

【0043】

クエリ取得部４２０は、ユーザによって指定された検索条件（抽出条件）として、クエリを取得する。検索条件とは、属性情報に基づいて複数の領域画像から領域画像を絞り込む条件である。クエリ送信部４２１は、クエリを情報格納部４１に送信する。

【0044】

結果取得部４２２は、領域画像及び属性情報を、検索結果として情報格納部４１から取得する。整形部４２３は、領域画像及び属性情報を結果取得部４２２から取得する。整形部４２３は、インタフェース４２によって表示される画像に対して整形処理を実行する。例えば、整形部４２３は、画面上での領域画像の大きさや配置と、属性情報の画像の大きさや配置とを調整する。整形部４２３は、大きさ等が調整された領域画像及び属性情報を、出力部４２４に出力する。

【0045】

出力部４２４は、クエリに対する検索結果として、画面上での大きさ等が調整された領域画像及び属性情報を表示する。属性取得部４２５は、ユーザによる操作入力に応じて、追加属性情報を取得する。属性送信部４２６は、追加属性情報を属性取得部４２５から取得する。属性送信部４２６は、追加属性情報を情報格納部４１に送信する。

【0046】

図８は、検索結果等の表示画像１１０の例を示す図である。表示画像１１０は、一例として、色入力領域２１０と、時間入力領域２１１と、場所入力領域２１２と、キーワード入力領域２１３と、検索操作キー２１４と、結果表示領域２１５と、時間表示領域２１６と、距離表示領域２１７と、対象指定領域２１８と、追加操作キー２１９とを含む。

【0047】

色入力領域２１０は、検索される対象物の色の情報をクエリとしてユーザが入力するための領域である。時間入力領域２１１は、検索される対象物の撮影時間帯をクエリとしてユーザが入力するための領域である。場所入力領域２１２は、検索される対象物の撮影場所をクエリとしてユーザが入力するための領域である。

【0048】

キーワード入力領域２１３は、属性情報のうちから検索されるキーワード（文字列等）をユーザが入力するための領域である。クエリは、例えば、キーワード、対象物の色の情報、対象物の撮影時間帯の情報、対象物の撮影場所の情報を含む。検索操作キー２１４は、検索の開始又は停止を操作するためのキー（操作ボタン）である。ユーザは、入力領域にクエリを記載した上で、検索操作キー２１４を操作する。

【0049】

結果表示領域２１５は、検索結果である領域画像及び属性情報の表示領域である。結果表示領域２１５には、出力部４２４から出力された領域画像及び属性情報が表示される。結果表示領域２１５には、指定された場所から対象物までの距離が、時間ごとに表示される。図８では、ユーザが緑色を指定したことによって情報格納部４１が緑色の領域画像を画像属性情報テーブルにおいて検索した結果が、結果表示領域２１５に表示されている。すなわち、結果表示領域２１５には、色入力領域２１０に入力された色の情報と、時間入力領域２１１に入力された撮影時間の情報と、時間入力領域２１１に入力された撮影場所７−３の情報とに基づいて、緑色の各領域画像が表示されている。結果表示領域２１５には、ピーマン以外の領域画像も含まれている。

【0050】

時間表示領域２１６は、属性情報に含まれている時間情報のラベルの表示領域である。距離表示領域２１７は、属性情報に含まれている場所情報が示す場所（場所入力領域２１２が示す場所）から対象物までの距離のラベルの表示領域である。

【0051】

対象指定領域２１８は、追加属性情報が入力される対象物の１以上の領域画像が選択された領域である。ユーザは、マウス操作等によって画面上で範囲指定することによって、領域画像を選択することができる。図８では、ユーザは、追加属性情報が入力される対象物であるピーマンの３個の領域画像を選択する。図８では、時刻ごとの対象物の領域画像である３個のピーマンの領域画像が選択されている。

【0052】

追加操作キー２１９は、追加属性情報をユーザが入力するための表示画像をインタフェース４２に表示させるための操作キーである。ユーザは、追加操作キー２１９を押下操作する。

【0053】

図９は、追加属性情報を入力するための表示画像１２０の例を示す図である。インタフェース４２は、追加操作キー２１９が押下操作された場合、表示画像１２０を表示する。表示画像１２０は、選択領域画像２２０と、属性入力領域２２１と、追加操作キー２２２とを含む。

【0054】

選択領域画像２２０は、図８に示された対象指定領域２１８において選択された各領域画像を含む。属性入力領域２２１は、追加属性情報を入力するための領域である。追加操作キー２２２は、追加属性情報を画像属性情報テーブルに記録する処理の開始をユーザが指示するための操作キーである。

【0055】

ユーザは、属性入力領域２２１に追加属性情報を入力し、追加操作キー２２２を押下操作することで、選択領域画像２２０の各領域画像に対して追加属性情報を付与することができる。追加属性情報は、選択領域画像２２０の各領域画像の検索に使用される。図９では、一例として、ユーザは、緑のピーマンの各領域画像に対して、「ピーマン」及び「野菜」という追加属性情報を画像属性情報テーブルに記録する処理の開始を指示する。これによって、画像属性情報テーブルにおいて、領域画像に追加属性情報が対応付けられる。

【0056】

次に、画像検索システム１ａの動作の例を説明する。
図１０は、画像検索システムの動作の例を示すフローチャートである。抽出部４０は、領域画像を含む全体画像を取得する（ステップＳ３０１）。抽出部４０は、領域画像及び属性情報の１以上の組み合わせを、色に基づいて全体画像から抽出する（ステップＳ３０２）。情報格納部４０は、指定された属性情報に組み合わされた領域画像を、抽出された領域画像及び属性情報の１以上の組み合わせから検索する（ステップＳ３０３）。インタフェース４２は、検索結果を出力する（ステップＳ３０４）。

【0057】

以上のように、第１実施形態の画像検索装置４は、抽出部４０と、情報格納部４１と、インタフェース４２とを備える。抽出部４０は、対象物の画像である領域画像を含む全体画像を取得する。抽出部４０は、領域画像及び属性情報の１以上の組み合わせを、色に基づいて全体画像から抽出する。情報格納部４１は、指定された属性情報に組み合わされた領域画像を、抽出された領域画像及び属性情報の１以上の組み合わせから検索する。インタフェース４２は、検索結果を出力する。

【0058】

これによって、第１実施形態の画像検索装置４は、撮影された不特定の対象物の領域画像を全体画像から検索する効率を向上させることが可能である。

【0059】

画像検索装置４は、全体画像における色の変化に基づいて、対象物の領域画像及び属性情報を全体画像から抽出する。画像検索装置４は、抽出された領域画像及び属性情報を、データテーブルとして記憶する。これによって、画像検索装置４は、検索結果を速やかに出力するので、検索結果の妥当性をユーザが速やかに判断できるようにすることが可能である。画像検索装置４は、得られた領域画像やその類似画像の属性情報に、名称等の追加属性情報を付与してもよい。画像検索装置４は、追加属性情報を用いて、検索の対象を広げることが可能である。

【0060】

画像検索装置４は、対象物の領域画像を動画像や静止画像から抽出する場合、対象物の種類に応じたアルゴリズムが不要である。すなわち、画像検索装置４は、対象物に応じたアルゴリズムが導入されなくても、対象物の領域画像を静止画像や動画像から抽出することが可能である。

【0061】

画像検索装置４は、対象物の領域画像が全体画像に含まれていないために属性情報が領域画像に予め対応付けられていない場合でも、対象物の領域画像を静止画像又は動画像からの抽出することが可能である。すなわち、画像検索装置４では、不特定の対象物（新しい対象物）の領域画像を全体画像から抽出するための前処理が不要である。このため、画像検索装置４は、対象物の領域画像を短時間で静止画像又は動画像から抽出することが可能である。

【0062】

画像検索装置４は、色等の特徴的な変化が動画像又は静止画像にあれば、対象物の種類に関係なく、対象物の領域画像に属性情報が付与される。このため、抽出処理が軽量となり、画像検索装置４は、より多くの属性情報を対象物の領域画像に短時間で与えることが可能である。

【0063】

画像検索装置４は、対象物の種類が何であるを表す情報を記憶部に記録しておく必要がないので、多くの対象物の領域画像を記憶部に記録しておくことが可能である。画像検索装置４は、時間を遡って対象物の領域画像を大量の全体画像から検索する必要がないので、対象物の領域画像をより多くリストアップすることが可能である。画像検索装置４は、全体画像に含まれている領域画像を短時間で抽出することが可能である。

【0064】

画像検索装置４は、対象物の種類が何であるを表す情報を検索に使用しないので、対象物の領域画像の抽出に必要な計算量を大幅に低減することが可能である。画像検索装置４は、多くの対象物の領域画像を短時間で抽出することが可能である。画像検索装置４は、対象物の領域画像を追加属性情報に基づいて検索してもよい。

【0065】

（第２実施形態）
第２実施形態では、対象物の領域画像の検出に適したパラメータを画像検索システムが生成する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。

【0066】

図１１は、画像検索システム１ｂの構成の例を示す図である。画像検索システム１ｂは、動画カメラ２と、静止画カメラ３と、画像検索装置４と、生成装置５と、抽出装置６とを備える。画像検索装置４は、生成装置５と、抽出装置６とを含んでもよい。

【0067】

生成装置５は、情報処理装置であり、例えば、パーソナルコンピュータである。生成装置５は、検出対象としてユーザから指定された対象物の領域画像及び属性情報を、インタフェース４２から取得する。生成装置５は、対象物の領域画像を検索するためのアルゴリズムで用いられるパラメータを生成する。生成装置５は、検出対象としてユーザから指定された対象物の１以上の領域画像及び属性情報に基づいて、パラメータを生成する。生成装置５によって実行されるパラメータ生成のアルゴリズムは、パラメータ生成の公知のアルゴリズムでもよい。生成装置５は、実際の領域画像及び属性情報に基づいてパラメータを生成するので、パラメータ生成の公知のアルゴリズムを使用してもパラメータの精度を高くすることができる。

【0068】

抽出装置６は、対象物の領域画像を検索するためのアルゴリズムで使用されるパラメータを、対象物の領域画像の検出に適したパラメータとして生成装置５から取得する。抽出装置６は、対象物の領域画像と背景の画像とを含む動画像（時系列）の全体画像を、動画カメラ２から取得する。抽出装置６は、対象物の領域画像と背景の画像とを含む静止画像の全体画像を、静止画カメラ３から取得する。

【0069】

抽出装置６は、動画像（時系列）の全体画像と静止画像の全体画像とのうちの少なくとも一方に対して、対象物の領域画像を検出するアルゴリズムを実行する。抽出装置６は、生成装置５によって生成されたパラメータを用いて、アルゴリズムを実行する。すなわち、抽出装置６は、対象物の領域画像の検出に適したパラメータを用いて、アルゴリズムを実行する。

【0070】

以上のように、第２実施形態の画像検索システム１ｂは、画像検索装置４と、生成装置５と、抽出装置６とを備える。画像検索装置４は、抽出部４０と、情報格納部４１と、インタフェース４２とを備える。生成装置５は、実際の領域画像及び属性情報の組み合わせに基づいて、パラメータを生成する。抽出装置６は、パラメータに基づいて、領域画像を全体画像から抽出する。

【0071】

これによって、第２実施形態の画像検索装置４は、撮影された不特定の対象物の領域画像を全体画像から検索する効率を更に向上させることが可能である。

【0072】

生成装置５は、カメラの性能、撮影場所及び撮影時刻等に応じて撮影条件が変更された場合でも、対象物の領域画像及び属性情報を画像検索装置４から取得し、対象物の領域画像及び属性情報に基づいてパラメータを生成することが可能である。

【0073】

（第３実施形態）
第３実施形態では、良品の対象物の領域画像と不良品の対象物の領域画像とを抽出装置６が分類する点が、第２実施形態と相違する。第３実施形態では、第２実施形態との相違点を説明する。

【0074】

図１２は、画像検索システム１ｂの動作の例を示す図である。図１２では、対象物は、一例としてピーマンである。静止画カメラ３は、良品の２個のピーマンと不良品の１個のピーマンとを、一例として撮影する（ステップＳ４０１）。静止画カメラ３は、良品の２個のピーマンの領域画像と不良品のピーマンの領域画像とが含まれている静止画像を、画像検索装置４に出力する（ステップＳ４０２）。

【0075】

画像検索装置４は、ユーザによって指定された検索条件として、緑色を表す情報をクエリとして取得する。画像検索装置４は、指定された緑色の領域画像を、静止画像から検索する（ステップＳ４０３）。画像検索装置４は、指定された緑色の各領域画像、すなわち、緑色のピーマンの領域画像を表示する（ステップＳ４０４）。

【0076】

画像検索装置４は、ユーザによる操作入力に応じて、追加属性情報を取得する。この追加属性情報は、良品の２個のピーマンの領域画像に対応付けられた属性情報「良ピーマン」と、良品の２個のピーマンの領域画像に対応付けられた属性情報「不良ピーマン」とを含む（ステップＳ４０５）。画像検索装置４は、追加属性情報を生成装置５に送信する（ステップＳ４０６）。

【0077】

生成装置５は、良品の２個のピーマンの領域画像及び属性情報と、不良品の１個のピーマンの領域画像及び属性情報とに基づいて、パラメータを生成する。パラメータ生成のアルゴリズムは、パラメータ生成の公知のアルゴリズムでもよい。生成装置５は、生成されたパラメータを抽出装置６に出力する（ステップＳ４０７）。抽出装置６は、良品のピーマンの領域画像と不良品のピーマンの領域画像とを、検出アルゴリズム及びパラメータを用いて分類する。すなわち、抽出装置６は、対象物の領域画像を、良品又は不良品の領域画像に分類する。この分類に使用される検出アルゴリズムは、分類に使用される公知の検出アルゴリズムでもよい（ステップＳ４０８）。

【0078】

以上のように、第３実施形態の画像検索システム１ｂは、画像検索装置４と、生成装置５と、抽出装置６とを備える。画像検索装置４は、抽出部４０と、情報格納部４１と、インタフェース４２とを備える。インタフェース４２は、追加属性情報を、対象物ごとに取得する。生成装置５は、追加属性情報が追加された組み合わせに基づいて、パラメータを生成する。追加属性情報は、例えば、対象物が良品又は不良品のいずれであるかを表す情報である。抽出装置６は、パラメータに基づいて領域画像を分類する。

【0079】

これによって、第３実施形態の画像検索装置４は、撮影された不特定の対象物の領域画像を全体画像から検索する効率を向上させることが可能である。画像検索装置４は、対象物の良品及び不良品を見極める精度を向上させることが可能である。

【0080】

図１３は、画像検索システム１ｃの最小構成の例を示す図である。画像検索システム１ｃは、画像検索装置４を備える。画像検索装置４は、抽出部４０と、情報格納部４１と、インタフェース４２とを備える。これによって、画像検索装置４は、撮影された不特定の対象物の領域画像を全体画像から検索する効率を向上させることが可能である。

【0081】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0082】

例えば、実施形態における画像検索装置は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。すなわち、画像検索装置が備える各機能部は、クラウドサービスを提供する複数の情報処理装置に分散して実装されてもよい。

【0083】

例えば、実施形態における抽出部４０は、例えば、深層学習等の機械学習によって対象物の属性情報を抽出してもよい。

【0084】

画像検索装置４は、以下の各分野（１）（２）（３）に適用可能されてもよい。なお、これらの分野は、適用の一例である。

【0085】

（１）画像データベースから出力された全体画像における領域画像の検索サービス
インターネット上の地図サービスには指定した地点から見た景色を提供するものがある。そのようなサービスで検索できるのは、地図上に配置された地名や施設名等の地図データに基づくものである。画像検索装置４は、画像に含まれている任意の対象物の領域画像に属性情報を継続的に追加する。これによって、画像検索装置４は、地図データでは指定できない対象物（例えば、飛行機、魚）の領域画像を検索できる。

【0086】

（２）業務用の監視カメラ（防犯カメラ）から出力された全体画像における領域画像の検索サービス
何らかの事件や事故が発生した場合、施設や街中に設置された監視カメラが撮影した映像が事実の解明や犯人等の対象物の捜索に役立つことがある。画像検索装置４は、ある時間帯に撮像された動画像又は静止画像に含まれている対象物の領域画像の一覧を表示すｔることが可能である。画像検索装置４は、一定の条件で対象物の複数の領域画像から領域画像を選択することが可能である。ユーザは、対象物の領域画像の検索を即座に始めることが可能である。

【0087】

（３）民生用の監視カメラから出力された全体画像における領域画像の検索サービス
近年、遠隔地に住んでいる家族の安否確認や、不在時のペットの様子を見るなど、民生用の監視カメラの利用が進んでいる。民生用の監視カメラには、顔や姿形を認識する技術が採用されている場合がある。画像における指定された人物又はペットの領域画像のトラッキングが可能になっている場合もある。このような民生用の監視カメラをより効果的に活用するためには、画像における不特定の対象物の認識技術が必要になるが、家庭で撮影される対象物は、家庭ごとに異なる。このため、共通の検出アルゴリズムで対象物の認識を実現することは難しい。画像検索装置４は、民生用の監視カメラから出力された画像内で色等が変化する領域画像を主な対象物の領域画像とすることによって、認識可能な対象物の種類を段階的に増やすことができる。画像検索装置４は、家庭ごとに異なる対象物の領域画像の検出アルゴリズムのパラメータを家庭ごとに最適化し、対象物の領域画像を認識させることが可能である。

【産業上の利用可能性】

【0088】

本発明は、画像データベース、監視カメラ等から出力された全体画像から領域画像を検索する画像検索システムに適用可能である。

【符号の説明】

【0089】

１ａ，１ｂ，１ｃ…画像検索システム、２…動画カメラ、３…静止画カメラ、４…画像検索装置、５…生成装置、６…抽出装置、４０…抽出部、４１…情報格納部、４２…インタフェース、１００…静止画像、１１０…表示画像、１２０…表示画像、２００…領域画像、２０１…領域画像、２０２…領域画像、２０３…領域画像、２１０…色入力領域、２１１…時間入力領域、２１２…場所入力領域、２１３…キーワード入力領域、２１４…検索操作キー、２１５…結果表示領域、２１６…時間表示領域、２１７…距離表示領域、２１８…対象指定領域、２１９…追加操作キー、２２０…選択領域画像、２２１…属性入力領域、２２２…追加操作キー、４００…フレーム抽出部、４０１…色差分領域抽出部、４０２…色領域抽出部、４０３…切替部、４２０…クエリ取得部、４２１…クエリ送信部、４２２…結果取得部、４２３…整形部、４２４…出力部、４２５…属性取得部、４２６…属性送信部

【要約】

【課題】撮影された不特定の対象物の領域画像を全体画像から検索する効率を向上させることが可能である画像検索装置、画像検索システム、画像検索方法及びプログラムを提供する。
【解決手段】画像検索装置は、対象物の画像である領域画像を含む全体画像を取得し、領域画像及び属性情報の１以上の組み合わせを色に基づいて全体画像から抽出する抽出部と、指定された属性情報に組み合わされた領域画像を、抽出された領域画像及び属性情報の１以上の組み合わせから検索する情報格納部と、検索結果を出力するインタフェースとを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】