IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -情報処理装置及び画像検出方法 図1
  • -情報処理装置及び画像検出方法 図2
  • -情報処理装置及び画像検出方法 図3
  • -情報処理装置及び画像検出方法 図4
  • -情報処理装置及び画像検出方法 図5
  • -情報処理装置及び画像検出方法 図6
  • -情報処理装置及び画像検出方法 図7
  • -情報処理装置及び画像検出方法 図8
  • -情報処理装置及び画像検出方法 図9
  • -情報処理装置及び画像検出方法 図10
  • -情報処理装置及び画像検出方法 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022131194
(43)【公開日】2022-09-07
(54)【発明の名称】情報処理装置及び画像検出方法
(51)【国際特許分類】
   G06F 16/587 20190101AFI20220831BHJP
   G06F 16/55 20190101ALI20220831BHJP
   G06F 16/583 20190101ALI20220831BHJP
【FI】
G06F16/587
G06F16/55
G06F16/583
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021030014
(22)【出願日】2021-02-26
(71)【出願人】
【識別番号】311012169
【氏名又は名称】NECパーソナルコンピュータ株式会社
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(74)【代理人】
【識別番号】100140914
【弁理士】
【氏名又は名称】三苫 貴織
(74)【代理人】
【識別番号】100136168
【弁理士】
【氏名又は名称】川上 美紀
(74)【代理人】
【識別番号】100172524
【弁理士】
【氏名又は名称】長田 大輔
(72)【発明者】
【氏名】新野 薫
【テーマコード(参考)】
5B175
【Fターム(参考)】
5B175DA02
5B175FA01
5B175FA03
5B175FB03
5B175HA01
5B175HB03
(57)【要約】
【課題】検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることを目的とする。
【解決手段】情報処理装置は、検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識部22と、検出目的物との類似度が第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識部23と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の画像を分類する分類部24と、分類部24で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得部25と、第1認識部22の検出結果と第2認識部23の検出結果と特徴情報とを用いて、検出目的物とみなせる対象物が撮像された画像を検出する検出部26とを備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための情報処理装置であって、
前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識手段と、
前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識手段と、
撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類手段と、
前記分類手段で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得手段と、
前記第1認識手段の検出結果と、前記第2認識手段の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出手段と、
を具備する情報処理装置。
【請求項2】
前記検出手段は、前記第2認識手段で検出された画像の前記特徴情報と一致する前記特徴情報を有するとともに前記第1認識手段で検出された画像と、前記第2認識手段で検出された画像と、を前記検出目的物とみなせる対象物が撮像された画像として検出する請求項1に記載の情報処理装置。
【請求項3】
前記第1認識手段で検出された画像の前記特徴情報を用いて、前記第2認識手段による処理の対象となる再認識画像を抽出する再認識画像抽出手段をさらに備え、
前記検出手段は、前記再認識画像の中で前記第2認識手段によって検出された画像と、前記第1認識手段で検出された画像のうち前記再認識画像として抽出されなかった画像と、を前記検出目的物とみなせる対象物が撮像された画像として検出する請求項1に記載の情報処理装置。
【請求項4】
前記再認識画像抽出手段は、前記特徴情報に基づいて前記第1認識手段で検出された複数の画像を分類し、各分類に属する画像の枚数に基づいて前記再認識画像を抽出する請求項3に記載の情報処理装置。
【請求項5】
前記特徴情報は、前記対象物の少なくとも一部の色、前記対象物の少なくとも一部の形状、前記対象物に付随して撮影されている物品の色、および前記対象物に付随して撮影されている物品の形状のいずれか一つを含む請求項1から4のいずれかに記載の情報処理装置。
【請求項6】
撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための画像検出方法であって、
前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識工程と、
前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識工程と、
撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類工程と、
前記分類工程で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得工程と、
前記第1認識工程の検出結果と、前記第2認識工程の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出工程と、
をコンピュータが実行する画像検出方法。
【請求項7】
コンピュータを請求項1から5のいずれかに記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び画像検出方法に関するものである。
【背景技術】
【0002】
従来、カメラ等の撮像装置によって取得された多数の画像データを被写体の特徴に基づいて分類する技術が提案されている。
例えば、特許文献1には、画像データ内の人物の顔に注目し、顔の特徴に基づいて画像データを自動的に分類する画像分類装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005-107885号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像内の人物の顔に注目して画像データを分類する場合、もともと顔の造形が似ていたり、画像内の写りによって似ている別人同士を同一人物であると誤って認識してしまう可能性がある。
また、同一人物であると判定するために用いられる類似度の閾値を高く設定すれば、同一人物の判別精度を高めることは可能である。しかしながら、単純に閾値を上げるだけでは、同一人物であるのに別人物であると判定される可能性が高くなり、同一人物が撮像されている画像の抽出漏れ(取りこぼし)が増加する可能性がある。被写体を撮影する撮影環境は多岐にわたるため、単にマッチングの類似度の閾値を調整するだけでは、同一人物の抽出を十分に行えないおそれがある。
また、上記のような問題は、人物を特定する場合にとどまらず、工業品や農作物等のように、人物以外を目標検出物とする場合にも同様に生じる問題である。
【0005】
本発明は、このような事情に鑑みてなされたものであって、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることのできる情報処理装置及び画像検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1態様は、撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための情報処理装置であって、前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識手段と、前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識手段と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類手段と、前記分類手段で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得手段と、前記第1認識手段の検出結果と、前記第2認識手段の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出手段と、を具備する情報処理装置である。
【0007】
ここで、上記「類似度」は、検出目的物と対象物との一致率を示す評価値であり、「一致度」とも表現される。
また、「類似度」は、例えば、検出目的物に固有の情報、例えば、検出目的物が人物である場合には、人物の顔における目鼻口の位置、目の色、顔の輪郭等に基づいて類似度を取得する。また、「特徴情報」は、検出目的物に固有の特徴ではない特徴、例えば、日にちや状況に応じて変化する特徴を用いるとよい。このように、「特徴情報」には、類似度を得る際に利用しなかった特徴の情報を用いるとよい。
【0008】
本発明の第2態様は、撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための画像検出方法であって、前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識工程と、前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識工程と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類工程と、前記分類工程で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得工程と、前記第1認識工程の検出結果と、前記第2認識工程の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出工程と、をコンピュータが実行する画像検出方法である。
【0009】
本発明の第3態様は、コンピュータを上記情報処理装置として機能させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることができるという効果を奏する。
【図面の簡単な説明】
【0011】
図1】本発明の第1実施形態に係る情報処理装置のハードウェア構成の一例を示した概略構成図である。
図2】本発明の第1実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。
図3】本発明の第1実施形態に係る画像検出方法の手順の一例を示したフローチャートである。
図4】本発明の第1実施形態に係る画像検出方法について説明するための図である。
図5】本発明の第1実施形態に係る画像検出方法について説明するための図である。
図6】本発明の第1実施形態に係る画像検出方法について説明するための図である。
図7】本発明の第1実施形態に係る画像検出方法について説明するための図である。
図8】本発明の第2実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。
図9】本発明の第2実施形態に係る画像検出方法の手順の一例を示したフローチャートである。
図10】本発明の第2実施形態に係る画像検出方法について説明するための図である。
図11】本発明の第2実施形態に係る画像検出方法について説明するための図である。
【発明を実施するための形態】
【0012】
〔第1実施形態〕
以下に、本発明の第1実施形態に係る情報処理装置及び画像検出方法について、図面を参照して説明する。情報処理装置の一例として、ノートPC、デスクトップ型PC、タブレット端末、スマートフォン、デジタルカメラ等が挙げられる。
【0013】
図1は、本発明の第1実施形態に係る情報処理装置1のハードウェア構成の一例を示した概略構成図である。図1に示すように、情報処理装置1は、例えば、CPU(Central Processing Unit)11、メインメモリ12、記憶部13、外部インターフェース14、通信インターフェース15、入力部16、表示部17等を備えている。これら各部は直接的にまたはバス18を介して間接的に相互に接続されており互いに連携して各種処理を実行する。また、情報処理装置1は、カメラ等の撮像装置を備えていてもよい。
【0014】
CPU11は、例えば、バス18を介して接続された記憶部13に格納されたOS(Operating System)により情報処理装置1全体の制御を行うとともに、記憶部13に格納された各種プログラムを実行することにより各種処理を実行する。
【0015】
メインメモリ12は、キャッシュメモリ、RAM(Random Access Memory)等の書き込み可能なメモリで構成され、CPU11の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。
【0016】
記憶部13は、例えば、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等であり、例えば、Windows(登録商標)、iOS(登録商標)、Android(登録商標)等の情報処理装置1全体の制御を行うためのOS、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、記憶部13には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。
【0017】
外部インターフェース14は、外部機器と接続するためのインターフェースである。外部機器の一例として、外部モニタ、USBメモリ、外付けHDD等が挙げられる。なお、図1に示した例では、外部インターフェースは、1つしか図示されていないが、複数の外部インターフェースを備えていてもよい。
【0018】
通信インターフェース15は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。
入力部16は、例えば、キーボード、マウス、タッチパネル等、ユーザが情報処理装置1に対して指示を与えるためのユーザインタフェースである。
表示部17は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)等で構成される表示画面を有し、情報処理装置1によって実行されたアプリケーション等の結果等を表示するものである。
【0019】
図2は、本実施形態に係る情報処理装置1が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。図2に示すように、情報処理装置1は、画像検出部(画像検出機能)20を備えている。画像検出部20は、例えば、カメラ等の撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための機能を備えている。ここで、検出目的物は、特に限定されないが、一例として、人物、農作物、工業品等が挙げられる。
【0020】
後述する各種機能を実現するための一連の処理は、一例として、プログラム(例えば、画像検出プログラム)の形式で記憶部13に記憶されており、このプログラムをCPU11がメインメモリ12に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部13に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。
【0021】
図2に示されるように、画像検出部20は、例えば、記憶部21、第1認識部22、第2認識部23、分類部24、特徴情報取得部25、検出部26を備えている。
【0022】
記憶部21には、カメラ等の撮像装置によって撮像された複数の画像(画像データ)が格納されている。
【0023】
第1認識部22は、例えば、記憶部21に格納されている複数の画像の中から検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する。
ここで、複数の画像に含まれている物体と検出目的物との類似度を得る具体的手法は、画像マッチングのように、様々な公知の技術が提案されているため、それらの技術を適宜採用すればよい。例えば、検出目的物が人物である場合には、例えば、顔の特徴量に基づいて人物を判別する公知の顔認識技術を採用し、検出目的物である目的人物と各画像に含まれている人物画像との類似度を取得してもよい。
【0024】
第2認識部23は、例えば、記憶部21に格納されている複数の画像の中から検出目的物との類似度が第2閾値以上の対象物が含まれる画像を検出する。ここで、第2閾値は、第1閾値よりも高い値に設定されている。
例えば、第2認識部23は、第1認識部22によって検出された画像の中から、類似度が第2閾値以上の対象物が含まれる画像を検出することとしてもよい。
【0025】
分類部24は、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の画像を分類する。例えば、分類部24は、第1認識部22によって検出された画像を日時情報及び位置情報の少なくともいずれか一つに基づいて分類する。
【0026】
日時情報に基づいて分類する場合、日付毎に分類してもよいし、時間帯に基づいて分類してもよいし、2日以上の時間幅で分類してもよい。また、日付等に基づいて分類した場合に、同じ分類に属する画像の数が所定数以上である場合には、その分類に属する画像を更に時間情報に基づいて細分類することとしてもよい。また、この細分類の際に、位置情報を用いて分類することとしてもよい。このように、位置情報については、時間情報に比べて補助的に用いる情報としてもよい。
【0027】
また、日時情報に基づいて分類を行う場合には、例えば、後述する特徴情報取得部25によって取得される特徴情報に応じて、時間幅を決定することとしてもよい。例えば、着衣の特徴は一日毎あるいは時間帯に応じて変化する可能性が高いのに対し、体形や髪の色は、着衣等の特徴に比べて長い間変化しない。このため、特徴情報としてどのような情報を取得するのかに応じて、分類部24による時間幅を変化させることとしてもよい。
【0028】
更に、カレンダーに関するアプリケーションがインストールされている場合には、カレンダー情報と連携させ、カレンダー情報に基づいて上記時間幅を動的に変更することとしてもよい。例えば、ウェディングやパーティ等のイベントがカレンダーに登録されている場合、着衣が時間単位で変化したりする可能性がある。このように、カレンダーに登録されている情報を用いて分類の時間幅を動的に変化させることで、効果的に画像を分類することが可能となる。
【0029】
また、位置情報に基づいて分類する場合には、例えば、所定の距離範囲内にある画像同士を一つの分類として分類してもよい。
【0030】
特徴情報取得部25は、分類部24で同じ分類に分類された画像群であって、検出目的物との類似度が第1閾値以上である画像から特徴情報を取得する。特徴情報は、対象物の少なくとも一部の色、対象物の少なくとも一部の形状、対象物に付随して撮影されている物品の色、および対象物に付随して撮影されている物品の形状のいずれか一つを含む。例えば、検出目的物及び対象物が人物である場合には、着衣の色、着衣の形状、髪型、髪の色、装飾品の色、装飾品の形、体形等が挙げられる。
【0031】
検出部26は、第1認識部22の検出結果、第2認識部23の検出結果、及び特徴情報取得部25によって取得された特徴情報を用いて、検出目的物とみなせる対象物が撮像された画像を検出する。
【0032】
検出部26は、例えば、第2認識部23で検出された画像を検出目的物とみなせる対象物が撮像された画像として検出する。更に、検出部26は、第1認識部22によって検出された画像のうち第2認識部23で検出されなかった画像、換言すると、類似度が第1閾値以上第2閾値未満の対象物が含まれる画像から、第2認識部23によって検出された画像に含まれる対象物の特徴情報と一致する特徴情報を有する対象物を含む画像を、検出目的物とみなせる対象物が撮像された画像として検出する。
【0033】
次に、本実施形態に係る画像検出方法の一例について図面を参照して説明する。図3は、本実施形態に係る画像検出方法の手順の一例を示したフローチャートである。また、以下の説明においては、説明の便宜上、検出目的物として人物を例示して説明する。
【0034】
また、後述する一連の処理は、一例として、プログラム(例えば、画像検出プログラム)の形式で記憶部13に記憶されており、このプログラムをCPU11がメインメモリ12に読み出して、情報の加工・演算処理を実行することにより実現される。
【0035】
まず、記憶部13に格納されている複数の画像を日時情報に基づいて分類する(SA1)。このとき、位置情報に基づいて分類してもよいし、日時情報と位置情報とに基づいて分類してもよい。なお、分類の詳細については上述した通りであるため、ここでの詳細な説明は省略する。
【0036】
次に、同じ分類に分類された画像群を対象として画像認識処理等を行い、目的人物と各画像に含まれる人物との類似度を得る(SA2)。例えば、同じ分類に属する画像群から人物の画像(以下「人物画像」という。)を抽出し、各人物画像と目的人物との類似度を画像マッチング等の画像認識処理を行うことにより得る。また、類似度は、例えば、人物画像又はその人物画像を含む画像の情報と関連付けられて記憶部13に格納される。
例えば、図4に例示するように、同じ分類に属する画像群から人物画像a~gが抽出された場合、各人物画像a~gと目的人物との類似度を得る。
【0037】
次に、同じ分類に属する人物画像群から目的人物との類似度が第1閾値以上の人物画像を検出する(SA3)。
【0038】
続いて、同じ分類に分類された人物画像群を対象として、目的人物との類似度が第2閾値以上の人物画像を検出する(SA4)。例えば、ステップSA2において検出された人物画像のうち、更に、目的人物との類似度が第2閾値以上の人物画像を検出する。
【0039】
なお、以下の説明において、目的人物との類似度が第1閾値以上第2閾値未満の人物画像群を第1人物画像群、目的人物との類似度が第2閾値以上の人物画像群を第2人物画像群という。
【0040】
続いて、目的人物との類似度が第1閾値以上である人物画像から特徴情報を取得する(SA5)。すなわち、第1画像群及び第2画像群の人物画像から特徴情報を取得する。
例えば、図5に示すように、目的人物との類似度が第1閾値以上第2閾値未満の人物画像として人物画像c~eが検出され、目的人物との類似度が第2閾値以上の人物画像として人物画像a、bが検出された場合を想定する。この場合、人物画像a~eからそれぞれ特徴情報を取得する。
【0041】
次に、第2人物画像群の人物画像を目的人物が撮像された画像であると特定する(SA6)。更に、第1人物画像群の人物画像のうち、第2人物画像群の人物画像の特徴と同じ特徴を有する人物画像を特定する(SA7)。
【0042】
例えば、各人物画像の着衣の色を特徴情報として抽出する場合であって、図6に示すように、人物画像a、cが特徴A(例えば、黒色)を有しており、人物画像b、dが特徴B(例えば、青色)を有しており、人物画像eが特徴C(例えば、赤色)を有している場合を想定する。
【0043】
この場合、まず、ステップSA6では、第2人物画像群である人物画像a、bが特定される。また、ステップSA7では、第1人物画像群の人物画像c~eのうち、第2人物画像群の人物画像aの特徴Aと同じ特徴を有する人物画像cと、人物画像bの特徴Bと同じ特徴を有する人物画像dとが特定される。一方、人物画像cについては、第2人物画像群に同じ特徴Cを有する人物画像がないことから、除外される。
【0044】
続いて、ステップSA6、SA7で特定された人物画像が含まれる画像、すなわち、特定された人物画像の抽出元の画像を、目的人物と同じ人物が撮像された画像として検出する(SA8)。これにより、例えば、最終結果として得られた人物画像a~d(図7参照)の抽出元である画像が検出される。
【0045】
そして、上記ステップSA2~SA8までの処理を分類毎に行うことにより、記憶部13に格納されている複数の画像の中から目的人物と同じ人物が撮像された画像を検出することが可能となる。
【0046】
なお、上述した画像検出方法の処理手順は一例であり、処理順序を入れ替えたり、新たな処理を追加したりしてもよい。
例えば、上記処理手順では、最初に画像の分類を行い(SA1)、その後、分類毎に目的人物との類似度が第1閾値以上の人物画像等を検出していたが(SA2~SA4)、これらの処理の順序を入れかえることも可能である。例えば、先に類似度の取得処理と画像の検出処理(SA2~SA4)を行い、その後に、画像の分類(SA1)を行うこととしてもよい。また、先に、目的人物との類似度の取得処理及び類似度が第1閾値以上の人物画像を検出し(SA2、SA3)、その後、検出した人物画像を対象に分類を行い(SA1)、更に、分類毎に、目的人物との類似度が第2閾値以上の人物画像を検出することとしてもよい(SA4)。また、ステップSA6とSA7の処理手順も入れ替えることが可能である。
【0047】
以上説明してきたように、本実施形態に係る情報処理装置1及び画像検出方法によれば、日時情報及び位置情報の少なくともいずれか一つに基づいて複数の画像を分類し、同じ分類に分類された画像に含まれる特徴情報を用いて画像が特定される。このように、検出目的物との類似度だけではなく、類似度の取得に考慮されなかった特徴情報を用いて、検出目的物が撮像された画像を検出するので、検出目的物の判別精度を維持しながら抽出漏れの防止向上を図ることが可能となる。
【0048】
より具体的には、本実施形態に係る情報処理装置1及び画像検出方法によれば、検出目的物との類似度が第2閾値以上である画像については、検出目的物と一致する対象物が撮像された画像として特定し、更に、検出目的物との類似度が第1閾値以上第2閾値未満の画像から、該特定した対象物と同じ特徴を有する画像を特定する。そして特定したこれら画像を検出目的物と一致する対象物が撮像された画像として特定する。このように、類似度が第2閾値以上の画像だけでなく、第2閾値よりも低い第1閾値以上の類似度を有する画像の中からも検出目的物と一致する対象物が撮像された画像を特定するので、抽出漏れの確率を低下させることが可能となる。
【0049】
〔第2実施形態〕
次に、本発明の第2実施形態に係る情報処理装置及び画像検出方法について図面を参照して説明する。なお、以下の説明において、上述した第1実施形態と同一の構成については、同一の符号を付し説明を省略し、主に、異なる点について説明する。
【0050】
図8は、本実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。図8に示すように、本実施形態に係る情報処理装置は、画像検出部20´を備えている。画像検出部20´は、記憶部21、第1認識部22、第2認識部23、分類部24、特徴情報取得部25、検出部26、及び再認識画像抽出部27を備えている。このように、本実施形態に係る画像検出部20´は、再認識画像抽出部27を更に備える点が機能構成上において異なる。
【0051】
再認識画像抽出部27は、第1認識部22で検出された画像の特徴情報を用いて再認識画像を抽出する。例えば、再認識画像抽出部27は、特徴情報に基づいて第1認識部22で検出された複数の画像を分類し、各分類に属する画像の枚数に基づいて再認識画像を抽出する。
【0052】
第2認識部23は、再認識画像として抽出された画像の中から検出目的物との類似度が第1閾値よりも高い第2閾値以上の画像を検出する。
【0053】
検出部26は、再認識画像の中で第2認識部23によって検出された画像を特定するとともに、第1認識部22で検出された画像のうち再認識画像として抽出されなかった画像とを特定し、特定した画像を検出目的物とみなせる対象物が撮像された画像として検出する。
【0054】
以下、本実施形態に係る画像検出方法の一例について図面を参照して説明する。図9は、本実施形態に係る画像検出方法の手順の一例を示したフローチャートである。また、以下の説明においては、説明の便宜上、検出目的物として人物を例示して説明する。
【0055】
まず、記憶部21に格納されている複数の画像を日時情報に基づいて分類する(SB1)。このとき、位置情報に基づいて分類してもよいし、日時情報と位置情報とに基づいて分類してもよい。なお、分類の詳細については上述した第1実施形態と同様であり、ここでの詳細な説明は省略する。
【0056】
次に、同じ分類に分類された画像群を対象として、画像認識処理等を行い、目的人物との類似度を得(SB2)、更に、類似度が第1閾値以上の人物を含む画像を検出する(SB3)。例えば、上述した第1実施形態と同様に、図4に示すように、同じ分類に属する画像群において、各画像に含まれる人物画像a~gを抽出し、各人物画像a~gと、目的人物との類似度を得る。そして、目的人物との類似度が第1閾値以上の人物画像を検出する。
【0057】
続いて、目的人物との類似度が第1閾値以上である人物画像から特徴情報を取得する(SB4)。例えば、図10に示すように、ステップSB3において、目的人物との類似度が第1閾値以上の人物画像として人物画像a~eが検出された場合を想定する。この場合、人物画像a~eからそれぞれ特徴情報を取得する。ここでは、説明の便宜上、各人物の着衣の色を特徴情報として抽出する場合を例示して説明する。
【0058】
この結果、例えば、図11に示すように、人物画像a、cが特徴A(例えば、黒色)を有しており、人物画像b、dが特徴B(例えば、青色)を有しており、人物画像eが特徴C(例えば、赤色)を有している場合を想定する。
【0059】
続いて、人物画像の特徴情報を用いて再認識画像を抽出する(SB5)。例えば、類似度が第1閾値以上の各人物画像の特徴情報に基づいて、類似度が第1閾値以上の人物画像を分類する。そして、各分類に属する画像の枚数に基づいて再認識画像を抽出する。例えば、各分類に属する画像の枚数を比較し、枚数が他の分類に比べて少ない分類に属する画像を再認識画像として抽出する。より具体的には、各分類に属する人物画像の枚数から所定の統計的処理を行うことにより、閾値を決定する。そして、各分類に属する人物画像の枚数と閾値との関係によって再認識画像を抽出する。例えば、閾値を各分類に属する枚数の平均値とした場合には、各分類に属する人物画像の枚数が閾値以下の分類の人物画像を再認識画像として抽出する。
【0060】
例えば、図11に示した例では、特徴Aに分類される画像数は「2」、特徴Bに分類される画像数は「2」、特徴Cに分類される画像数は「1」であり、閾値を各分類に属する人物画像の枚数の平均値(約1.7)とした場合、特徴Cに属する人物画像の枚数は閾値以下となる。したがって、この場合、特徴Cの分類に属する人物画像eが再認識画像として抽出される。
【0061】
続いて、再認識画像の中から目的人物との類似度が第2閾値以上の画像を検出する(SB6)。
【0062】
続いて、再認識画像の中で類似度が第2閾値以上である人物画像を特定し(SB7)、更に、類似度が第1閾値以上の人物画像のうち、再認識画像として抽出されなかった画像を特定する(SB8)。これにより、図11に示した人物画像a~eのうち、再認識画像として抽出されなかった人物画像a~dが特定される。また、再認識画像として抽出された人物画像eについては、目的人物との類似度が第2閾値以上であるか否かに応じて特定されるか否かが決定される。
【0063】
そして、ステップSB7、SB8で特定された人物画像を抽出した抽出元の画像を目的人物と同じ人物が撮像された画像として検出する(SB9)。
【0064】
そして、上記ステップSB2~SB9までの処理を分類毎に行うことにより、記憶部13に格納されている複数の画像の中から目的人物と同じ人物が撮像された画像を検出することが可能となる。
【0065】
なお、上述した画像検出方法の処理手順は一例であり、処理順序を入れ替えたり、新たな処理を追加したりしてもよい。
例えば、上記処理手順では、最初に画像の分類を行い(SB1)、その後、分類毎に目的人物との類似度を取得し、類似度が第1閾値以上の人物画像を検出していたが(SB2、SB3)、これらの処理の順序を入れかえることも可能である。例えば、先にステップSB2、SB3の処理を行い、その後に、画像の分類(SB1)を行うこととしてもよい。
【0066】
以上説明してきたように、本実施形態に係る情報処理装置及び画像検出方法によれば、検出目的物との類似度だけではなく、日時情報及び位置情報の少なくともいずれか一つに基づいて複数の画像を分類し、同じ分類に分類された画像に含まれる特徴情報を用いて検出目的物と同じものが撮像されている画像を検出する。
【0067】
より具体的には、検出目的物との類似度が第1閾値以上である対象物の画像をその特徴情報に基づいて分類し、各分類に属する画像の枚数に基づいて再認識画像を抽出する。そして、再認識画像の中から類似度が第2閾値以上である画像を特定するとともに、類似度が第1閾値以上である画像のうち、再認識画像として抽出されなかった画像を特定する。そして、特定したこれら画像を検出目的物と一致する対象物が撮像された画像として検出する。
【0068】
これにより、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることが可能となる。
【0069】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。
【符号の説明】
【0070】
1 :情報処理装置
11 :CPU
12 :メインメモリ
13 :記憶部
14 :外部インターフェース
15 :通信インターフェース
16 :入力部
17 :表示部
18 :バス
20、20´ :画像検出部
21 :記憶部
22 :第1認識部
23 :第2認識部
24 :分類部
25 :特徴情報取得部
26 :検出部
27 :再認識画像抽出部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11