2022-131194 情報処理装置及び画像検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022131194

(43)【公開日】2022-09-07

(54)【発明の名称】情報処理装置及び画像検出方法

(51)【国際特許分類】

   G06F 16/587 20190101AFI20220831BHJP

   G06F 16/55 20190101ALI20220831BHJP

   G06F 16/583 20190101ALI20220831BHJP

【ＦＩ】

G06F16/587

G06F16/55

G06F16/583

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021030014

(22)【出願日】2021-02-26

(71)【出願人】

【識別番号】311012169

【氏名又は名称】ＮＥＣパーソナルコンピュータ株式会社

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】新野 薫

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FA01

5B175FA03

5B175FB03

5B175HA01

5B175HB03

(57)【要約】

【課題】検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることを目的とする。
【解決手段】情報処理装置は、検出目的物との類似度が第１閾値以上の対象物が含まれる画像を検出する第１認識部２２と、検出目的物との類似度が第１閾値よりも高い第２閾値以上の対象物が含まれる画像を検出する第２認識部２３と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の画像を分類する分類部２４と、分類部２４で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得部２５と、第１認識部２２の検出結果と第２認識部２３の検出結果と特徴情報とを用いて、検出目的物とみなせる対象物が撮像された画像を検出する検出部２６とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための情報処理装置であって、
前記検出目的物との類似度が第１閾値以上の対象物が含まれる画像を検出する第１認識手段と、
前記検出目的物との類似度が前記第１閾値よりも高い第２閾値以上の対象物が含まれる画像を検出する第２認識手段と、
撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類手段と、
前記分類手段で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得手段と、
前記第１認識手段の検出結果と、前記第２認識手段の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出手段と、
を具備する情報処理装置。

【請求項2】

前記検出手段は、前記第２認識手段で検出された画像の前記特徴情報と一致する前記特徴情報を有するとともに前記第１認識手段で検出された画像と、前記第２認識手段で検出された画像と、を前記検出目的物とみなせる対象物が撮像された画像として検出する請求項１に記載の情報処理装置。

【請求項3】

前記第１認識手段で検出された画像の前記特徴情報を用いて、前記第２認識手段による処理の対象となる再認識画像を抽出する再認識画像抽出手段をさらに備え、
前記検出手段は、前記再認識画像の中で前記第２認識手段によって検出された画像と、前記第１認識手段で検出された画像のうち前記再認識画像として抽出されなかった画像と、を前記検出目的物とみなせる対象物が撮像された画像として検出する請求項１に記載の情報処理装置。

【請求項4】

前記再認識画像抽出手段は、前記特徴情報に基づいて前記第１認識手段で検出された複数の画像を分類し、各分類に属する画像の枚数に基づいて前記再認識画像を抽出する請求項３に記載の情報処理装置。

【請求項5】

前記特徴情報は、前記対象物の少なくとも一部の色、前記対象物の少なくとも一部の形状、前記対象物に付随して撮影されている物品の色、および前記対象物に付随して撮影されている物品の形状のいずれか一つを含む請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための画像検出方法であって、
前記検出目的物との類似度が第１閾値以上の対象物が含まれる画像を検出する第１認識工程と、
前記検出目的物との類似度が前記第１閾値よりも高い第２閾値以上の対象物が含まれる画像を検出する第２認識工程と、
撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類工程と、
前記分類工程で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得工程と、
前記第１認識工程の検出結果と、前記第２認識工程の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出工程と、
をコンピュータが実行する画像検出方法。

【請求項7】

コンピュータを請求項１から５のいずれかに記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び画像検出方法に関するものである。

【背景技術】

【0002】

従来、カメラ等の撮像装置によって取得された多数の画像データを被写体の特徴に基づいて分類する技術が提案されている。
例えば、特許文献１には、画像データ内の人物の顔に注目し、顔の特徴に基づいて画像データを自動的に分類する画像分類装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－１０７８８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像内の人物の顔に注目して画像データを分類する場合、もともと顔の造形が似ていたり、画像内の写りによって似ている別人同士を同一人物であると誤って認識してしまう可能性がある。
また、同一人物であると判定するために用いられる類似度の閾値を高く設定すれば、同一人物の判別精度を高めることは可能である。しかしながら、単純に閾値を上げるだけでは、同一人物であるのに別人物であると判定される可能性が高くなり、同一人物が撮像されている画像の抽出漏れ（取りこぼし）が増加する可能性がある。被写体を撮影する撮影環境は多岐にわたるため、単にマッチングの類似度の閾値を調整するだけでは、同一人物の抽出を十分に行えないおそれがある。
また、上記のような問題は、人物を特定する場合にとどまらず、工業品や農作物等のように、人物以外を目標検出物とする場合にも同様に生じる問題である。

【0005】

本発明は、このような事情に鑑みてなされたものであって、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることのできる情報処理装置及び画像検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１態様は、撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための情報処理装置であって、前記検出目的物との類似度が第１閾値以上の対象物が含まれる画像を検出する第１認識手段と、前記検出目的物との類似度が前記第１閾値よりも高い第２閾値以上の対象物が含まれる画像を検出する第２認識手段と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類手段と、前記分類手段で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得手段と、前記第１認識手段の検出結果と、前記第２認識手段の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出手段と、を具備する情報処理装置である。

【0007】

ここで、上記「類似度」は、検出目的物と対象物との一致率を示す評価値であり、「一致度」とも表現される。
また、「類似度」は、例えば、検出目的物に固有の情報、例えば、検出目的物が人物である場合には、人物の顔における目鼻口の位置、目の色、顔の輪郭等に基づいて類似度を取得する。また、「特徴情報」は、検出目的物に固有の特徴ではない特徴、例えば、日にちや状況に応じて変化する特徴を用いるとよい。このように、「特徴情報」には、類似度を得る際に利用しなかった特徴の情報を用いるとよい。

【0008】

本発明の第２態様は、撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための画像検出方法であって、前記検出目的物との類似度が第１閾値以上の対象物が含まれる画像を検出する第１認識工程と、前記検出目的物との類似度が前記第１閾値よりも高い第２閾値以上の対象物が含まれる画像を検出する第２認識工程と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類工程と、前記分類工程で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得工程と、前記第１認識工程の検出結果と、前記第２認識工程の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出工程と、をコンピュータが実行する画像検出方法である。

【0009】

本発明の第３態様は、コンピュータを上記情報処理装置として機能させるためのプログラムである。

【発明の効果】

【0010】

本発明によれば、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係る情報処理装置のハードウェア構成の一例を示した概略構成図である。

【図2】本発明の第１実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。

【図3】本発明の第１実施形態に係る画像検出方法の手順の一例を示したフローチャートである。

【図4】本発明の第１実施形態に係る画像検出方法について説明するための図である。

【図5】本発明の第１実施形態に係る画像検出方法について説明するための図である。

【図6】本発明の第１実施形態に係る画像検出方法について説明するための図である。

【図7】本発明の第１実施形態に係る画像検出方法について説明するための図である。

【図8】本発明の第２実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。

【図9】本発明の第２実施形態に係る画像検出方法の手順の一例を示したフローチャートである。

【図10】本発明の第２実施形態に係る画像検出方法について説明するための図である。

【図11】本発明の第２実施形態に係る画像検出方法について説明するための図である。

【発明を実施するための形態】

【0012】

〔第１実施形態〕
以下に、本発明の第１実施形態に係る情報処理装置及び画像検出方法について、図面を参照して説明する。情報処理装置の一例として、ノートＰＣ、デスクトップ型ＰＣ、タブレット端末、スマートフォン、デジタルカメラ等が挙げられる。

【0013】

図１は、本発明の第１実施形態に係る情報処理装置１のハードウェア構成の一例を示した概略構成図である。図１に示すように、情報処理装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、メインメモリ１２、記憶部１３、外部インターフェース１４、通信インターフェース１５、入力部１６、表示部１７等を備えている。これら各部は直接的にまたはバス１８を介して間接的に相互に接続されており互いに連携して各種処理を実行する。また、情報処理装置１は、カメラ等の撮像装置を備えていてもよい。

【0014】

ＣＰＵ１１は、例えば、バス１８を介して接続された記憶部１３に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により情報処理装置１全体の制御を行うとともに、記憶部１３に格納された各種プログラムを実行することにより各種処理を実行する。

【0015】

メインメモリ１２は、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ１１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。

【0016】

記憶部１３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等であり、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の情報処理装置１全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、記憶部１３には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。

【0017】

外部インターフェース１４は、外部機器と接続するためのインターフェースである。外部機器の一例として、外部モニタ、ＵＳＢメモリ、外付けＨＤＤ等が挙げられる。なお、図１に示した例では、外部インターフェースは、１つしか図示されていないが、複数の外部インターフェースを備えていてもよい。

【0018】

通信インターフェース１５は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。
入力部１６は、例えば、キーボード、マウス、タッチパネル等、ユーザが情報処理装置１に対して指示を与えるためのユーザインタフェースである。
表示部１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等で構成される表示画面を有し、情報処理装置１によって実行されたアプリケーション等の結果等を表示するものである。

【0019】

図２は、本実施形態に係る情報処理装置１が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。図２に示すように、情報処理装置１は、画像検出部（画像検出機能）２０を備えている。画像検出部２０は、例えば、カメラ等の撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための機能を備えている。ここで、検出目的物は、特に限定されないが、一例として、人物、農作物、工業品等が挙げられる。

【0020】

後述する各種機能を実現するための一連の処理は、一例として、プログラム（例えば、画像検出プログラム）の形式で記憶部１３に記憶されており、このプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部１３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0021】

図２に示されるように、画像検出部２０は、例えば、記憶部２１、第１認識部２２、第２認識部２３、分類部２４、特徴情報取得部２５、検出部２６を備えている。

【0022】

記憶部２１には、カメラ等の撮像装置によって撮像された複数の画像（画像データ）が格納されている。

【0023】

第１認識部２２は、例えば、記憶部２１に格納されている複数の画像の中から検出目的物との類似度が第１閾値以上の対象物が含まれる画像を検出する。
ここで、複数の画像に含まれている物体と検出目的物との類似度を得る具体的手法は、画像マッチングのように、様々な公知の技術が提案されているため、それらの技術を適宜採用すればよい。例えば、検出目的物が人物である場合には、例えば、顔の特徴量に基づいて人物を判別する公知の顔認識技術を採用し、検出目的物である目的人物と各画像に含まれている人物画像との類似度を取得してもよい。

【0024】

第２認識部２３は、例えば、記憶部２１に格納されている複数の画像の中から検出目的物との類似度が第２閾値以上の対象物が含まれる画像を検出する。ここで、第２閾値は、第１閾値よりも高い値に設定されている。
例えば、第２認識部２３は、第１認識部２２によって検出された画像の中から、類似度が第２閾値以上の対象物が含まれる画像を検出することとしてもよい。

【0025】

分類部２４は、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の画像を分類する。例えば、分類部２４は、第１認識部２２によって検出された画像を日時情報及び位置情報の少なくともいずれか一つに基づいて分類する。

【0026】

日時情報に基づいて分類する場合、日付毎に分類してもよいし、時間帯に基づいて分類してもよいし、２日以上の時間幅で分類してもよい。また、日付等に基づいて分類した場合に、同じ分類に属する画像の数が所定数以上である場合には、その分類に属する画像を更に時間情報に基づいて細分類することとしてもよい。また、この細分類の際に、位置情報を用いて分類することとしてもよい。このように、位置情報については、時間情報に比べて補助的に用いる情報としてもよい。

【0027】

また、日時情報に基づいて分類を行う場合には、例えば、後述する特徴情報取得部２５によって取得される特徴情報に応じて、時間幅を決定することとしてもよい。例えば、着衣の特徴は一日毎あるいは時間帯に応じて変化する可能性が高いのに対し、体形や髪の色は、着衣等の特徴に比べて長い間変化しない。このため、特徴情報としてどのような情報を取得するのかに応じて、分類部２４による時間幅を変化させることとしてもよい。

【0028】

更に、カレンダーに関するアプリケーションがインストールされている場合には、カレンダー情報と連携させ、カレンダー情報に基づいて上記時間幅を動的に変更することとしてもよい。例えば、ウェディングやパーティ等のイベントがカレンダーに登録されている場合、着衣が時間単位で変化したりする可能性がある。このように、カレンダーに登録されている情報を用いて分類の時間幅を動的に変化させることで、効果的に画像を分類することが可能となる。

【0029】

また、位置情報に基づいて分類する場合には、例えば、所定の距離範囲内にある画像同士を一つの分類として分類してもよい。

【0030】

特徴情報取得部２５は、分類部２４で同じ分類に分類された画像群であって、検出目的物との類似度が第１閾値以上である画像から特徴情報を取得する。特徴情報は、対象物の少なくとも一部の色、対象物の少なくとも一部の形状、対象物に付随して撮影されている物品の色、および対象物に付随して撮影されている物品の形状のいずれか一つを含む。例えば、検出目的物及び対象物が人物である場合には、着衣の色、着衣の形状、髪型、髪の色、装飾品の色、装飾品の形、体形等が挙げられる。

【0031】

検出部２６は、第１認識部２２の検出結果、第２認識部２３の検出結果、及び特徴情報取得部２５によって取得された特徴情報を用いて、検出目的物とみなせる対象物が撮像された画像を検出する。

【0032】

検出部２６は、例えば、第２認識部２３で検出された画像を検出目的物とみなせる対象物が撮像された画像として検出する。更に、検出部２６は、第１認識部２２によって検出された画像のうち第２認識部２３で検出されなかった画像、換言すると、類似度が第１閾値以上第２閾値未満の対象物が含まれる画像から、第２認識部２３によって検出された画像に含まれる対象物の特徴情報と一致する特徴情報を有する対象物を含む画像を、検出目的物とみなせる対象物が撮像された画像として検出する。

【0033】

次に、本実施形態に係る画像検出方法の一例について図面を参照して説明する。図３は、本実施形態に係る画像検出方法の手順の一例を示したフローチャートである。また、以下の説明においては、説明の便宜上、検出目的物として人物を例示して説明する。

【0034】

また、後述する一連の処理は、一例として、プログラム（例えば、画像検出プログラム）の形式で記憶部１３に記憶されており、このプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより実現される。

【0035】

まず、記憶部１３に格納されている複数の画像を日時情報に基づいて分類する（ＳＡ１）。このとき、位置情報に基づいて分類してもよいし、日時情報と位置情報とに基づいて分類してもよい。なお、分類の詳細については上述した通りであるため、ここでの詳細な説明は省略する。

【0036】

次に、同じ分類に分類された画像群を対象として画像認識処理等を行い、目的人物と各画像に含まれる人物との類似度を得る（ＳＡ２）。例えば、同じ分類に属する画像群から人物の画像（以下「人物画像」という。）を抽出し、各人物画像と目的人物との類似度を画像マッチング等の画像認識処理を行うことにより得る。また、類似度は、例えば、人物画像又はその人物画像を含む画像の情報と関連付けられて記憶部１３に格納される。
例えば、図４に例示するように、同じ分類に属する画像群から人物画像ａ～ｇが抽出された場合、各人物画像ａ～ｇと目的人物との類似度を得る。

【0037】

次に、同じ分類に属する人物画像群から目的人物との類似度が第１閾値以上の人物画像を検出する（ＳＡ３）。

【0038】

続いて、同じ分類に分類された人物画像群を対象として、目的人物との類似度が第２閾値以上の人物画像を検出する（ＳＡ４）。例えば、ステップＳＡ２において検出された人物画像のうち、更に、目的人物との類似度が第２閾値以上の人物画像を検出する。

【0039】

なお、以下の説明において、目的人物との類似度が第１閾値以上第２閾値未満の人物画像群を第１人物画像群、目的人物との類似度が第２閾値以上の人物画像群を第２人物画像群という。

【0040】

続いて、目的人物との類似度が第１閾値以上である人物画像から特徴情報を取得する（ＳＡ５）。すなわち、第１画像群及び第２画像群の人物画像から特徴情報を取得する。
例えば、図５に示すように、目的人物との類似度が第１閾値以上第２閾値未満の人物画像として人物画像ｃ～ｅが検出され、目的人物との類似度が第２閾値以上の人物画像として人物画像ａ、ｂが検出された場合を想定する。この場合、人物画像ａ～ｅからそれぞれ特徴情報を取得する。

【0041】

次に、第２人物画像群の人物画像を目的人物が撮像された画像であると特定する（ＳＡ６）。更に、第１人物画像群の人物画像のうち、第２人物画像群の人物画像の特徴と同じ特徴を有する人物画像を特定する（ＳＡ７）。

【0042】

例えば、各人物画像の着衣の色を特徴情報として抽出する場合であって、図６に示すように、人物画像ａ、ｃが特徴Ａ（例えば、黒色）を有しており、人物画像ｂ、ｄが特徴Ｂ（例えば、青色）を有しており、人物画像ｅが特徴Ｃ（例えば、赤色）を有している場合を想定する。

【0043】

この場合、まず、ステップＳＡ６では、第２人物画像群である人物画像ａ、ｂが特定される。また、ステップＳＡ７では、第１人物画像群の人物画像ｃ～ｅのうち、第２人物画像群の人物画像ａの特徴Ａと同じ特徴を有する人物画像ｃと、人物画像ｂの特徴Ｂと同じ特徴を有する人物画像ｄとが特定される。一方、人物画像ｃについては、第２人物画像群に同じ特徴Ｃを有する人物画像がないことから、除外される。

【0044】

続いて、ステップＳＡ６、ＳＡ７で特定された人物画像が含まれる画像、すなわち、特定された人物画像の抽出元の画像を、目的人物と同じ人物が撮像された画像として検出する（ＳＡ８）。これにより、例えば、最終結果として得られた人物画像ａ～ｄ（図７参照）の抽出元である画像が検出される。

【0045】

そして、上記ステップＳＡ２～ＳＡ８までの処理を分類毎に行うことにより、記憶部１３に格納されている複数の画像の中から目的人物と同じ人物が撮像された画像を検出することが可能となる。

【0046】

なお、上述した画像検出方法の処理手順は一例であり、処理順序を入れ替えたり、新たな処理を追加したりしてもよい。
例えば、上記処理手順では、最初に画像の分類を行い（ＳＡ１）、その後、分類毎に目的人物との類似度が第１閾値以上の人物画像等を検出していたが（ＳＡ２～ＳＡ４）、これらの処理の順序を入れかえることも可能である。例えば、先に類似度の取得処理と画像の検出処理（ＳＡ２～ＳＡ４）を行い、その後に、画像の分類（ＳＡ１）を行うこととしてもよい。また、先に、目的人物との類似度の取得処理及び類似度が第１閾値以上の人物画像を検出し（ＳＡ２、ＳＡ３）、その後、検出した人物画像を対象に分類を行い（ＳＡ１）、更に、分類毎に、目的人物との類似度が第２閾値以上の人物画像を検出することとしてもよい（ＳＡ４）。また、ステップＳＡ６とＳＡ７の処理手順も入れ替えることが可能である。

【0047】

以上説明してきたように、本実施形態に係る情報処理装置１及び画像検出方法によれば、日時情報及び位置情報の少なくともいずれか一つに基づいて複数の画像を分類し、同じ分類に分類された画像に含まれる特徴情報を用いて画像が特定される。このように、検出目的物との類似度だけではなく、類似度の取得に考慮されなかった特徴情報を用いて、検出目的物が撮像された画像を検出するので、検出目的物の判別精度を維持しながら抽出漏れの防止向上を図ることが可能となる。

【0048】

より具体的には、本実施形態に係る情報処理装置１及び画像検出方法によれば、検出目的物との類似度が第２閾値以上である画像については、検出目的物と一致する対象物が撮像された画像として特定し、更に、検出目的物との類似度が第１閾値以上第２閾値未満の画像から、該特定した対象物と同じ特徴を有する画像を特定する。そして特定したこれら画像を検出目的物と一致する対象物が撮像された画像として特定する。このように、類似度が第２閾値以上の画像だけでなく、第２閾値よりも低い第１閾値以上の類似度を有する画像の中からも検出目的物と一致する対象物が撮像された画像を特定するので、抽出漏れの確率を低下させることが可能となる。

【0049】

〔第２実施形態〕
次に、本発明の第２実施形態に係る情報処理装置及び画像検出方法について図面を参照して説明する。なお、以下の説明において、上述した第１実施形態と同一の構成については、同一の符号を付し説明を省略し、主に、異なる点について説明する。

【0050】

図８は、本実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。図８に示すように、本実施形態に係る情報処理装置は、画像検出部２０´を備えている。画像検出部２０´は、記憶部２１、第１認識部２２、第２認識部２３、分類部２４、特徴情報取得部２５、検出部２６、及び再認識画像抽出部２７を備えている。このように、本実施形態に係る画像検出部２０´は、再認識画像抽出部２７を更に備える点が機能構成上において異なる。

【0051】

再認識画像抽出部２７は、第１認識部２２で検出された画像の特徴情報を用いて再認識画像を抽出する。例えば、再認識画像抽出部２７は、特徴情報に基づいて第１認識部２２で検出された複数の画像を分類し、各分類に属する画像の枚数に基づいて再認識画像を抽出する。

【0052】

第２認識部２３は、再認識画像として抽出された画像の中から検出目的物との類似度が第１閾値よりも高い第２閾値以上の画像を検出する。

【0053】

検出部２６は、再認識画像の中で第２認識部２３によって検出された画像を特定するとともに、第１認識部２２で検出された画像のうち再認識画像として抽出されなかった画像とを特定し、特定した画像を検出目的物とみなせる対象物が撮像された画像として検出する。

【0054】

以下、本実施形態に係る画像検出方法の一例について図面を参照して説明する。図９は、本実施形態に係る画像検出方法の手順の一例を示したフローチャートである。また、以下の説明においては、説明の便宜上、検出目的物として人物を例示して説明する。

【0055】

まず、記憶部２１に格納されている複数の画像を日時情報に基づいて分類する（ＳＢ１）。このとき、位置情報に基づいて分類してもよいし、日時情報と位置情報とに基づいて分類してもよい。なお、分類の詳細については上述した第１実施形態と同様であり、ここでの詳細な説明は省略する。

【0056】

次に、同じ分類に分類された画像群を対象として、画像認識処理等を行い、目的人物との類似度を得（ＳＢ２）、更に、類似度が第１閾値以上の人物を含む画像を検出する（ＳＢ３）。例えば、上述した第１実施形態と同様に、図４に示すように、同じ分類に属する画像群において、各画像に含まれる人物画像ａ～ｇを抽出し、各人物画像ａ～ｇと、目的人物との類似度を得る。そして、目的人物との類似度が第１閾値以上の人物画像を検出する。

【0057】

続いて、目的人物との類似度が第１閾値以上である人物画像から特徴情報を取得する（ＳＢ４）。例えば、図１０に示すように、ステップＳＢ３において、目的人物との類似度が第１閾値以上の人物画像として人物画像ａ～ｅが検出された場合を想定する。この場合、人物画像ａ～ｅからそれぞれ特徴情報を取得する。ここでは、説明の便宜上、各人物の着衣の色を特徴情報として抽出する場合を例示して説明する。

【0058】

この結果、例えば、図１１に示すように、人物画像ａ、ｃが特徴Ａ（例えば、黒色）を有しており、人物画像ｂ、ｄが特徴Ｂ（例えば、青色）を有しており、人物画像ｅが特徴Ｃ（例えば、赤色）を有している場合を想定する。

【0059】

続いて、人物画像の特徴情報を用いて再認識画像を抽出する（ＳＢ５）。例えば、類似度が第１閾値以上の各人物画像の特徴情報に基づいて、類似度が第１閾値以上の人物画像を分類する。そして、各分類に属する画像の枚数に基づいて再認識画像を抽出する。例えば、各分類に属する画像の枚数を比較し、枚数が他の分類に比べて少ない分類に属する画像を再認識画像として抽出する。より具体的には、各分類に属する人物画像の枚数から所定の統計的処理を行うことにより、閾値を決定する。そして、各分類に属する人物画像の枚数と閾値との関係によって再認識画像を抽出する。例えば、閾値を各分類に属する枚数の平均値とした場合には、各分類に属する人物画像の枚数が閾値以下の分類の人物画像を再認識画像として抽出する。

【0060】

例えば、図１１に示した例では、特徴Ａに分類される画像数は「２」、特徴Ｂに分類される画像数は「２」、特徴Ｃに分類される画像数は「１」であり、閾値を各分類に属する人物画像の枚数の平均値（約１．７）とした場合、特徴Ｃに属する人物画像の枚数は閾値以下となる。したがって、この場合、特徴Ｃの分類に属する人物画像ｅが再認識画像として抽出される。

【0061】

続いて、再認識画像の中から目的人物との類似度が第２閾値以上の画像を検出する（ＳＢ６）。

【0062】

続いて、再認識画像の中で類似度が第２閾値以上である人物画像を特定し（ＳＢ７）、更に、類似度が第１閾値以上の人物画像のうち、再認識画像として抽出されなかった画像を特定する（ＳＢ８）。これにより、図１１に示した人物画像ａ～ｅのうち、再認識画像として抽出されなかった人物画像ａ～ｄが特定される。また、再認識画像として抽出された人物画像ｅについては、目的人物との類似度が第２閾値以上であるか否かに応じて特定されるか否かが決定される。

【0063】

そして、ステップＳＢ７、ＳＢ８で特定された人物画像を抽出した抽出元の画像を目的人物と同じ人物が撮像された画像として検出する（ＳＢ９）。

【0064】

そして、上記ステップＳＢ２～ＳＢ９までの処理を分類毎に行うことにより、記憶部１３に格納されている複数の画像の中から目的人物と同じ人物が撮像された画像を検出することが可能となる。

【0065】

なお、上述した画像検出方法の処理手順は一例であり、処理順序を入れ替えたり、新たな処理を追加したりしてもよい。
例えば、上記処理手順では、最初に画像の分類を行い（ＳＢ１）、その後、分類毎に目的人物との類似度を取得し、類似度が第１閾値以上の人物画像を検出していたが（ＳＢ２、ＳＢ３）、これらの処理の順序を入れかえることも可能である。例えば、先にステップＳＢ２、ＳＢ３の処理を行い、その後に、画像の分類（ＳＢ１）を行うこととしてもよい。

【0066】

以上説明してきたように、本実施形態に係る情報処理装置及び画像検出方法によれば、検出目的物との類似度だけではなく、日時情報及び位置情報の少なくともいずれか一つに基づいて複数の画像を分類し、同じ分類に分類された画像に含まれる特徴情報を用いて検出目的物と同じものが撮像されている画像を検出する。

【0067】

より具体的には、検出目的物との類似度が第１閾値以上である対象物の画像をその特徴情報に基づいて分類し、各分類に属する画像の枚数に基づいて再認識画像を抽出する。そして、再認識画像の中から類似度が第２閾値以上である画像を特定するとともに、類似度が第１閾値以上である画像のうち、再認識画像として抽出されなかった画像を特定する。そして、特定したこれら画像を検出目的物と一致する対象物が撮像された画像として検出する。

【0068】

これにより、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることが可能となる。

【0069】

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

【符号の説明】

【0070】

１ ：情報処理装置
１１ ：ＣＰＵ
１２ ：メインメモリ
１３ ：記憶部
１４ ：外部インターフェース
１５ ：通信インターフェース
１６ ：入力部
１７ ：表示部
１８ ：バス
２０、２０´ ：画像検出部
２１ ：記憶部
２２ ：第１認識部
２３ ：第２認識部
２４ ：分類部
２５ ：特徴情報取得部
２６ ：検出部
２７ ：再認識画像抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】