特許第6241533号(P6241533)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社バッファローの特許一覧

<>
  • 特許6241533-画像処理装置及びプログラム 図000002
  • 特許6241533-画像処理装置及びプログラム 図000003
  • 特許6241533-画像処理装置及びプログラム 図000004
  • 特許6241533-画像処理装置及びプログラム 図000005
  • 特許6241533-画像処理装置及びプログラム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6241533
(24)【登録日】2017年11月17日
(45)【発行日】2017年12月6日
(54)【発明の名称】画像処理装置及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20171127BHJP
【FI】
   G06T7/00 510B
【請求項の数】4
【全頁数】17
(21)【出願番号】特願2016-217315(P2016-217315)
(22)【出願日】2016年11月7日
(62)【分割の表示】特願2012-188295(P2012-188295)の分割
【原出願日】2012年8月29日
(65)【公開番号】特開2017-27628(P2017-27628A)
(43)【公開日】2017年2月2日
【審査請求日】2016年11月17日
(73)【特許権者】
【識別番号】390040187
【氏名又は名称】株式会社バッファロー
(74)【代理人】
【識別番号】100122275
【弁理士】
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】加藤 勇人
(72)【発明者】
【氏名】▲高▼橋 賢治
【審査官】 佐藤 卓馬
(56)【参考文献】
【文献】 特開2011−034133(JP,A)
【文献】 特開2010−218060(JP,A)
【文献】 特開2007−280291(JP,A)
【文献】 特開2009−271885(JP,A)
【文献】 特開2005−148880(JP,A)
【文献】 特開2006−236255(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、
前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、
前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、
当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、
前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、
前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、
前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、
前記人物認識処理による認識結果が誤っているか否かを判定し、誤っている場合に、注目人物の認識結果の情報を削除して、再認識の処理を実行する手段と、
を含み、
前記生成された年齢補正情報が、前記人物認識処理による認識結果の正否判断に利用される画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記年齢補正情報を生成する処理では、
前記抽出した画像データのそれぞれから推定された注目人物の推定年齢情報のうち、外れ値と判断される推定年齢情報を除いた推定年齢情報と、前記抽出した画像データごとに演算された実年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する画像処理装置。
【請求項3】
コンピュータを用い、
蓄積手段が、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する工程と、
人物データベース保持手段が、前記画像データに撮像されている人物の生年月日を記憶する工程と、
抽出手段が、前記画像データに対して撮像された人物を認識させる人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する工程と、
取得手段が、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する工程と、
演算手段が、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る工程と、
推定手段が、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る工程と、
補正情報生成手段が、前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する工程と、
実行手段が、前記人物認識処理による認識結果が誤っているか否かを判定し、誤っている場合に、注目人物の認識結果の情報を削除して、再認識の処理を実行させる工程と、
を含み、
前記生成された年齢補正情報が、前記人物認識処理による認識結果の正否判断に利用される画像処理方法。
【請求項4】
コンピュータを、
人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、
前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、
前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、
当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、
前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、
前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、
前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、
前記人物認識処理による認識結果が誤っているか否かを判定し、誤っている場合に、注目人物の認識結果の情報を削除して、再認識の処理を実行する手段と、
として機能させ、
前記生成された年齢補正情報を、前記人物認識処理による認識結果の正否判断に利用させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物が撮像された画像データを処理する画像処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラで撮像された画像データに係る処理の一つとして、当該画像データに撮像された人物を認識する処理が広く知られるようになっている。
【0003】
例えば、デジタルカメラで撮像された画像データに対して、顔認識の処理を実行する。ここで画像データから人物が認識されたならば、その人物の名前を当該画像データに関連付けて蓄積する。これにより、人物の名前から画像データを検索できるようになる。
【0004】
特許文献1には、複数時点の基準顔画像を保持し、撮影時点の年齢に適した基準顔画像を選択的に認識に使用して、認識精度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−218059号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記従来の技術では、例えば顔のよく似た兄弟姉妹がいる家庭で撮影された写真では、兄弟姉妹の間で認識誤りが多発することが考えられる。具体的には2003年に兄が3才であったときに撮影された画像データがあり、その翌年の2004年に弟が産まれて、2007年にこの弟が3才になったときに撮影された画像データがあるとする。このとき、この兄弟の顔が同じ3才のときに互いに似ていると、コンピュータ上で実行される顔認識処理の誤りにより、弟の顔が兄として認識されたり、2003年に兄を撮影した画像データであるのに(弟は産まれていないのに)、写されている兄を弟として認識したりする場合が考えられる。
【0007】
本発明は上記実情に鑑みて為されたもので、画像データに基づく人物の認識誤りの発生を低減できる画像処理装置及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【0008】
上記従来例の問題点を解決するための本発明は、画像処理装置であって、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、を含み、前記生成された年齢補正情報が、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断に利用されることとしたものである。
【0009】
また本発明の一態様に係る画像処理装置は、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、前記抽出した画像データの数が予め定めた条件を満足するか否かにより、(1)前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成し、当該生成した年齢補正情報を、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断に用いる第1の認識正否判断処理を実行するか、(2)前記演算された実年齢情報を用いて、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断を行う第2の認識正否判断処理を実行するか、を決定する手段と、を含むこととしたものである。
【0010】
またここで前記年齢補正情報を生成する処理では、前記抽出した画像データのそれぞれから推定された注目人物の推定年齢情報のうち、外れ値と判断される推定年齢情報を除いた推定年齢情報と、前記抽出した画像データごとに演算された実年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成することとしてもよい。
【0011】
さらに本発明の一態様に係るプログラムは、コンピュータを、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、として機能させ、前記生成された年齢補正情報を、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断に利用させることとしたものである。
【発明の効果】
【0012】
本発明によると、画像データに基づく人物の認識誤りの発生を低減できる。
【図面の簡単な説明】
【0013】
図1】本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。
図2】本発明の実施の形態に係る画像処理装置が保持するデータの内容例を表す説明図である。
図3】本発明の実施の形態に係る画像処理装置の一例を表す機能ブロック図である。
図4】本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。
図5】本発明の実施の形態に係る画像処理装置における動作の例を表すもう一つのフローチャート図である。
【発明を実施するための形態】
【0014】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置1は、図1に例示するように、制御部11、記憶部12、操作部13、表示部14、通信部15、及び入出力インタフェース16を含んで構成されている。ここで制御部11は、CPUなどのプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。
【0015】
具体的に本実施の形態では制御部11は、処理の対象となる画像データを入出力インタフェース16を介して受け入れて、記憶部12に蓄積して格納する。本実施の形態で処理の対象となる画像データは、デジタルカメラ等で撮像された画像を表す画像データであり、撮影日の情報や撮影したカメラを特定するカメラ特定情報等を含んだ、いわゆるExif(Exchangeable Image File Format)情報が含まれる。
【0016】
本実施の形態の制御部11は、この記憶部12に蓄積された画像データに対して、撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像されている画像データを抽出する。制御部11は、抽出した画像データごとに、その撮影日の情報を取得するとともに、注目人物の生年月日を取得する(後に説明する人物データベースとして保持されているものとする)。
【0017】
制御部11は、抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差を演算して、抽出した画像データごとの注目人物の実年齢情報を得る。また、制御部11は、抽出した画像データの各々に対する認識処理により、各画像データに撮像されている注目人物の年齢を推定して、推定年齢情報を得る。
【0018】
制御部11は、さらに、抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算を行い、この統計演算の結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する。そしてこの年齢補正情報を用いて、画像データに対して実行した人物認識処理の認識結果の正否を判断する処理を実行する。この制御部11の詳しい動作の内容については、後に述べる。
【0019】
記憶部12は、制御部11によって実行されるプログラムを格納している。このプログラムは、DVD−ROM(Digital Versatile Disc Read Only Memory)等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部12に格納されたものであってもよい。また、このプログラムは、ネットワーク等を介して配信され、この記憶部12に格納されたものであってもよい。
【0020】
本実施の形態ではこの記憶部12には、図2(a)に例示するように、画像データがタグ情報に関連付けられて蓄積して格納される。なお、画像データにはExifデータが含まれてもよい。またこの記憶部12には、人物認識処理のために、図2(b)に例示するように、人物の顔に係る、予め定めた特徴量の情報(P)と、識別情報(ID)とを関連付けたエントリーを含む顔データベースが格納される。ここで識別情報(ID)は、人物の名前等、人物を識別する情報である。さらにこの記憶部12には、図2(c)に示すような、識別情報(ID)と、当該識別情報で識別される人物の生年月日の情報(B)とを関連付けたエントリーを含む人物データベースが保持されている。
【0021】
操作部13は、例えばマウスやキーボード等であってもよいし、赤外線入力インタフェースであってもよい。本実施の形態のある例では、この操作部13は、赤外線入力インタフェースであり、利用者の指示操作を受けたリモートコントローラが発信する、利用者の指示操作の内容を表す情報を受信する。そしてこの操作部13は、当該受信した指示操作の内容を表す情報を制御部11に出力する。
【0022】
表示部14は、制御部11から入力される指示に従い、内蔵ディスプレイや家庭用テレビジョン装置等の外部ディスプレイに画像を出力するインタフェースである。通信部15は、例えばネットワークインタフェースであり、有線または無線にてネットワークに接続され、ネットワークを介して受信される情報を制御部11に出力する。またこの通信部15は、ネットワークを介して送信するべき情報の入力を制御部11から受けて、当該情報をネットワークを介して送信する。
【0023】
入出力インタフェース16は、例えばSDカードスロットやUSB(Universal Serial Bus)インタフェース等である。この入出力インタフェース16は、例えば制御部11から入力される指示に従い、ここへ接続されたSDカードや、USBメモリ、USBハードディスクドライブ等から画像データを読み出して制御部11に出力する。
【0024】
次に本実施の形態の制御部11の処理の内容について述べる。本実施の形態の制御部11は、画像データの蓄積処理と、画像データの表示処理と、画像データの管理処理とを実行する。また、この管理処理の前提として、人物認識処理と、人物認識処理の認識結果の正否を判断する処理とを実行する。
【0025】
具体的に、本実施の形態の制御部11は、機能的には図3に例示するように、蓄積処理部21と、表示処理部22と、管理処理部23とを含み、この管理処理部23はさらに、人物認識処理部31と、抽出部32と、取得部33と、実年齢演算部34と、年齢推定部35と、処理選択部36と、年齢補正情報生成部37と、第1認識正否判断処理部38と、第2認識正否判断処理部39とを含んで構成される。
【0026】
蓄積処理部21は、操作部13から画像データの取込み指示を受けて、入出力インタフェース16に対して画像データの読出しを指示する。そしてこの蓄積処理部21は、入出力インタフェース16から読み出された画像データを記憶部12に蓄積して格納する。
【0027】
表示処理部22は、操作部13から入力される指示に従って、記憶部12に格納されている画像データを読み出して、表示部14に出力し、内蔵ディスプレイや家庭用テレビジョン装置等の外部ディスプレイに、当該画像データが表す画像を出力させる。この表示処理部22は、また、記憶部12に格納されている画像データのうち、利用者から指示された情報をExif情報に含む画像データを選択的に表示出力する処理を行ってもよい。
【0028】
管理処理部23の人物認識処理部31は、記憶部12に蓄積された画像データのうち、未だ人物認識処理の対象となっていないものを選択する。そして人物認識処理部31は、選択した画像データについて人物認識処理を実行する。この人物認識処理は、選択した画像データから人物の顔としての特徴を有する領域を特定する。
【0029】
そして特定した領域のそれぞれについて人物を特定する処理を実行する。すなわち、各領域を順次注目領域として選択し、注目領域に含まれる、人物の顔に係る予め定めた特徴量(目と目との間の間隔等、顔の特徴を表す情報)を抽出する。人物認識処理部31は、記憶部12に格納されている顔データベースを参照し、この顔データベースに格納されている各エントリーの特徴量の情報と、抽出した特徴量の情報とを比較する。
【0030】
人物認識処理部31は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、人物認識処理部31はさらに、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。この推定は、撮影日や生年月日の情報に関わらず画像データに基づいて行われるものであり、例えば、Y. H. Kwon and N. da Vitoria Lobo (1999). ‘Age Classification from Facial Images’, Computer Vision and Image Understanding Journal 74(1), pp. 1-21などに開示の方法を用いることができる。
【0031】
人物認識処理部31は、このように抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報と、注目領域を特定する領域情報と、上記推定した人物の年齢を表す情報(推定年齢情報)とをタグ情報の一つとして、選択した画像データに関連付けて、記憶部12に保持させる。ここで注目領域を特定する領域特定情報は、例えば注目領域が矩形領域である場合は、その対角線上の2頂点の座標情報とすればよい。
【0032】
また、この人物認識処理部31は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない場合は、利用者に対して人物の名前等、識別情報に相当する情報の入力をするよう求めてもよい。利用者が、この、一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない特徴量の情報に関連付けるべき識別情報を入力すると、人物認識処理部31は、当該特徴量の情報と、識別情報とを関連付けたエントリーを、顔データベースに追記して格納する。またこのときには、当該特徴量の情報の抽出元となった画像データに対して、利用者が入力した識別情報と注目領域を特定する領域情報とを、タグ情報の一つとして関連付けて、記憶部12に保持させる。
【0033】
抽出部32は、利用者の指定、または予め定めた条件等により定められた注目人物の識別情報の入力を受け入れる。抽出部32は、当該注目人物の識別情報をタグ情報として含む画像データを、記憶部12から抽出する。抽出部32は、ここで画像データがひとつも抽出できなかったとき(注目人物の識別情報に関連付けられた画像データがなかった場合など)には、エラーを報知して処理を中断してもよい。
【0034】
取得部33は、抽出部32にて抽出された画像データ(複数ある場合はその各々)の撮影日の情報Tt[i](iは、画像データごとのインデックスであり、i=1,2,…)を取得する。また、注目人物の識別情報に関連付けられた生年月日の情報Tbを、記憶部12に保持されている人物データベースから取得する。
【0035】
実年齢演算部34は、取得部33が取得した撮影日の情報Tt[i](i=1,2,…)のそれぞれと、生年月日の情報Tbとを用いて、抽出部32が抽出した画像データごとに、各画像データが撮像された時点での注目人物の実年齢情報を演算する。具体的には撮影日がTt[i]であるi番目の画像データについて、注目人物の実年齢情報At[i]=Tt[i]−Tbを演算して得る。
【0036】
年齢推定部35は、抽出部32が抽出した画像データごとに、各画像データに撮像されている注目人物の年齢を画像データから推定した結果を取得する。具体的にこの年齢推定部35は、i番目の画像データ(i=1,2,…)に関連付けられたタグ情報のうち、注目人物の識別情報に関連付けられた年齢の推定結果の情報Ae[i]を記憶部12から取得する。
【0037】
処理選択部36は、抽出部32が抽出した画像データの数Nを参照し、この数Nが、予め定めたしきい値nthを越えるか否かを調べる。Nがしきい値nthを越えるか否かにより、第1認識正否判断処理部38または第2認識正否判断処理部39のいずれかを選択する。そして処理選択部36は選択した第1認識正否判断処理部38または第2認識正否判断処理部39に対して人物認識処理による注目人物の認識結果の正否判断を行うよう指示する。一例としてこの処理選択部36は、Nがしきい値nthを越える場合に第1認識正否判断処理部38を選択し、この選択した第1認識正否判断処理部38に対して人物認識処理による注目人物の認識結果の正否判断を行うよう指示する。また、Nがしきい値nthを越えない場合は、第2認識正否判断処理部39を選択し、この選択した第2認識正否判断処理部39に対して人物認識処理による注目人物の認識結果の正否判断を行うよう指示する。
【0038】
年齢補正情報生成部37は、第1認識正否判断処理部38から入力される指示に従って、年齢補正情報を生成する。具体的にこの年齢補正情報生成部37は、i番目の画像データ(i=1,2,…)について演算された注目人物の実年齢情報At[i]と、年齢の推定結果の情報Ae[i]とを記憶部12から読み出す。そして年齢補正情報生成部37はこれら実年齢情報At[i]と画像データからの年齢の推定結果の情報Ae[i]との統計演算結果に基づいて、実年齢と見掛けの年齢差を表す年齢補正情報を生成する。
【0039】
一例として年齢補正情報生成部37は、画像データごとの実年齢情報At[i]と画像データからの年齢の推定結果の情報Ae[i]との組から、これらの相関係数を年齢補正情報として演算する。ここで年齢補正情報としての相関係数は例えば実年齢情報Atに対して、推定の結果Aeが、一次式、Ae=α・At+βで表されると仮定したときのα,βであり、具体的にはこれらを最小二乗法によって求めることとすればよい。年齢補正情報生成部37は、こうして求めた年齢補正情報を第1認識正否判断処理部38に出力する。
【0040】
第1認識正否判断処理部38は、処理選択部36から人物認識処理による注目人物の認識結果の正否判断を行うよう指示を受けると、年齢補正情報生成部37に対して年齢補正情報を生成するべき旨の指示を行う。そして第1認識正否判断処理部38は、年齢補正情報生成部37から年齢補正情報の入力を受け入れる。
【0041】
ここでは説明のため、一例として、実年齢情報Atと推定の結果Aeとの間に一次式Ae=α・At+βで表される関係があると仮定したときの相関係数α,βが、年齢補正情報であるとする。
【0042】
第1認識正否判断処理部38は、実年齢情報At[i]が与えられたときに、これら相関係数を用いて演算されるα・At[i]+βを仮定推定値Aee[i]とする。つまり、Aee[i]=α・At[i]+β。そして第1認識正否判断処理部38は、この仮定推定値Aee[i]と、実年齢情報At[i]に対応する年齢の推定結果の情報Ae[i]との差の絶対値|Ae[i]−Aee[i]|=|Ae[i]−α・At[i]+β|を求める。なお、|*|は、*の絶対値を演算することを意味する。
【0043】
第1認識正否判断処理部38は、ここで求めた絶対値|Ae[i]−α・At[i]+β|が予め定めたしきい値を超える場合、i番目の画像データについての注目人物の認識結果が誤りであると判定する。さらに第1認識正否判断処理部38は、At[i]が負である場合にも、i番目の画像データについての注目人物の認識結果が誤りであると判定する。第1認識正否判断処理部38は、At[i]が負でなく、かつ、絶対値|Ae[i]−α・At[i]+β|が予め定めたしきい値を超えない場合は、i番目の画像データについての注目人物の認識結果が誤りでないと判断する。
【0044】
第1認識正否判断処理部38は、さらに、ここでi番目の画像データについての注目人物の認識結果が誤りであると判定したときには、このi番目の画像データに関連付けて記憶部12に記録されているタグ情報のうち、注目人物の識別情報を含むタグ情報を処理対象タグ情報として見出す。第1認識正否判断処理部38は、この処理対象タグ情報から領域特定情報を取りだして記憶し、当該処理対象タグ情報を削除する。
【0045】
そして第1認識正否判断処理部38は、人物認識処理部31に対して、領域特定情報を出力し、この領域特定情報で特定される領域を注目領域として、注目領域に含まれる人物の認識を行わせる。ここで第1認識正否判断処理部38は、人物認識処理部31に対し、注目人物の識別情報を併せて出力し、注目人物ではない旨の指示を行う。
【0046】
人物認識処理部31は、注目領域内の人物の顔に係る予め定めた特徴量(目と目との間の間隔等、顔の特徴を表す情報)を抽出する。人物認識処理部31は、記憶部12に格納されている顔データベースのうち、第1認識正否判断処理部38から入力される識別情報を含まないエントリーを参照し、参照した各エントリーの特徴量の情報と、抽出した特徴量の情報とを比較する。
【0047】
人物認識処理部31は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報をタグ情報の一つとして、選択した画像データに関連付けて、記憶部12に保持させる。このとき、人物認識処理部31は、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。
【0048】
そして人物認識処理部31は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報と、注目領域を特定する領域情報と、上記推定した人物の年齢を表す情報(推定年齢情報)とをタグ情報の一つとして、選択した画像データに関連付けて、記憶部12に保持させる。
【0049】
また、このとき人物認識処理部31は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない場合は、利用者に対して人物の名前等、識別情報に相当する情報の入力をするよう求めてもよい。利用者が、この、一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない特徴量の情報に関連付けるべき識別情報を入力すると、人物認識処理部31は、当該特徴量の情報と、識別情報とを関連付けたエントリーを、顔データベースに追記して格納する。またこのときには、当該特徴量の情報の抽出元となった画像データに対して、利用者が入力した識別情報と、注目領域を特定する領域情報とを、タグ情報の一つとして関連付けて、記憶部12に保持させる。
【0050】
第2認識正否判断処理部39は、処理選択部36から人物認識処理による注目人物の認識結果の正否判断を行うよう指示を受けると、負であるようなAt[i](i=1,2,…)があるか否かを調べる。そして例えばAt[j]が負である場合は、j番目の画像データについての注目人物の認識結果が誤りであると判定する。
【0051】
第2認識正否判断処理部39は、さらに、ここでこのj番目の画像データについての注目人物の認識結果が誤りであると判定したときには、当該j番目の画像データに関連付けて記憶部12に記録されているタグ情報のうち、注目人物の識別情報を含むタグ情報を処理対象タグ情報として見出す。第2認識正否判断処理部39は、この処理対象タグ情報から領域特定情報を取りだして記憶し、当該処理対象タグ情報を削除する。
【0052】
そして第2認識正否判断処理部39は、人物認識処理部31に対して、領域特定情報を出力し、この領域特定情報で特定される領域を注目領域として、注目領域に含まれる人物の認識を行わせる。ここで第2認識正否判断処理部39は、人物認識処理部31に対し、注目人物の識別情報を併せて出力し、注目人物ではない旨の指示を行う。
【0053】
人物認識処理部31は、第1認識正否判断処理部38から同じ指示を受けた場合と同様に動作する。つまり、人物認識処理部31は、注目領域内の人物の顔に係る予め定めた特徴量(目と目との間の間隔等、顔の特徴を表す情報)を抽出する。人物認識処理部31は、記憶部12に格納されている顔データベースのうち、第2認識正否判断処理部39から入力される、注目人物の識別情報を含まないエントリーを参照し、参照した各エントリーの特徴量の情報と、抽出した特徴量の情報とを比較する。
【0054】
人物認識処理部31は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報をタグ情報の一つとして、選択した画像データに関連付けて、記憶部12に保持させる。このとき、人物認識処理部31は、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。
【0055】
そして人物認識処理部31は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報と、注目領域を特定する領域情報と、上記推定した人物の年齢を表す情報(推定年齢情報)とをタグ情報の一つとして、選択した画像データに関連付けて、記憶部12に保持させる。
【0056】
また、このとき人物認識処理部31は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない場合は、利用者に対して人物の名前等、識別情報に相当する情報の入力をするよう求めてもよい。利用者が、この、一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない特徴量の情報に関連付けるべき識別情報を入力すると、人物認識処理部31は、当該特徴量の情報と、識別情報とを関連付けたエントリーを、顔データベースに追記して格納する。またこのときには、当該特徴量の情報の抽出元となった画像データに対して、利用者が入力した識別情報と、注目領域を特定する領域情報とを、タグ情報の一つとして関連付けて、記憶部12に保持させる。
【0057】
本発明の実施の形態は、基本的に以上の構成を備えてなり、次のように動作する。以下の例では、顔のよく似た兄弟がいる家庭で撮影された写真の画像データが蓄積されるものとする。またここでは兄が2000年生まれであり、弟が2004年生まれであるものとする。
【0058】
ここで利用者が、2000年から2012年までに撮影された写真の画像データを記録した記録媒体を入出力インタフェース16に接続し、読込み指示を行うと、本実施の形態の画像処理装置1は、入出力インタフェース16が読み出した画像データを記憶部12に蓄積して格納する。この画像データには撮影日の情報等、Exif情報が含まれている。
【0059】
画像処理装置1は、記憶部12に蓄積された画像データのうち、未だ人物認識処理の対象となっていないものを選択し、選択した画像データについて人物認識処理を実行する。ここでは例えば兄弟のそれぞれについて2007年頃の顔の特徴量が、それぞれの識別情報に関連付けて顔データベースに記録されているものとする。つまり兄については7才頃の、弟については3才頃の顔の特徴量が顔データベースに記録されているものとする。
【0060】
この場合、画像処理装置1は、例えば2003年に兄が3才だった頃の画像データについて、その顔の特徴量から弟として誤認することがあり得る。つまり画像処理装置1は、撮影日が2003年で、兄が撮影されている画像データについて、弟を特定する識別情報をタグ情報として関連付けることがあり得る。また例えば2005年に兄が5才だった頃の画像データについて、その顔の特徴量から弟として誤認することもあり得る。つまり画像処理装置1は、撮影日が2005年で、兄が撮影されている画像データについて、弟を特定する識別情報をタグ情報として関連付けることもあり得る。なお、このときこの兄の顔の画像について年齢を推定する処理が行われ、画像処理装置1は兄が3才の時点での顔を5才の人物の顔であると推定し、兄が5才の時点での顔を6才の人物の顔であると推定したとする。すると、これらの画像データについて弟を特定する識別情報と、推定年齢情報として「5才」,「6才」であることを表す情報とをそれぞれ含んだタグ情報が関連付けられる。
【0061】
画像処理装置1は、また、例えば新たに蓄積された画像データから認識された人物を注目人物として定める。この場合は、弟が注目人物として定められる。そして画像処理装置1は、図4に例示するように、注目人物の識別情報をタグ情報として含む画像データを抽出する(S1)。ここではN枚の写真のそれぞれに対応する画像データDi(i=1,2,…,N)が見出されたものとする。
【0062】
画像処理装置1は、画像データDiのそれぞれについて撮影日の情報Tt[i]を取得する(S2)。また、注目人物の識別情報に関連付けて記録されている生年月日の情報Tbを取得する(S3)。そして画像処理装置1は、画像データDiのそれぞれについて各画像データが撮像された時点での注目人物の実年齢情報At[i]=Tt[i]−Tbを演算する(S4)。先に例示した2003年に兄が3才だった頃の画像データ(i=1とする)であって、弟と誤認された画像データについては、実年齢情報At[1]=2003−2004=−1(ここでは撮影日や生年月日の情報は年のみ用いるものとする。もっとも本実施の形態はこの限りでなく、例えば過去の所定の日時からの経過日を用いて撮影日と生年月日とを表し、この演算を行ってもよい)となる。また2005年に兄が5才だった頃の画像データ(i=2とする)であって、弟と誤認された画像データについては、実年齢情報At[2]=2005−2004=1となる。
【0063】
また画像処理装置1は、画像データDiのそれぞれに関連付けられたタグ情報のうち、注目人物の識別情報に関連付けられた年齢の推定結果の情報Ae[i]を取得する(S5)。上記の例ではAe[1]=5、Ae[2]=6となっている。
【0064】
ここで画像処理装置1は、画像データDiの数Nが予め定めたしきい値nthを越えるか否かを判断する(S6)。ここで画像データDiの数Nが予め定めたしきい値nthを越えるならば、画像処理装置1は、第1認識正否判断処理を実行する(S7)。また、処理S6において画像データDiの数Nが予め定めたしきい値nthを越えないならば、画像処理装置1は、第2認識正否判断処理を実行する(S8)。
【0065】
具体的に処理S7の第1認識正否判断処理では、まず、図5に例示するように年齢補正情報が生成される。具体的に画像処理装置1は、処理S1にて抽出した画像データDi(i=1,2,…)のそれぞれについて、処理S4にて演算された注目人物の実年齢情報At[i]と、処理S5で取得した年齢の推定結果の情報Ae[i]とを取得する(S12)。
【0066】
画像処理装置1は、画像データDiごとの実年齢情報At[i]と画像データからの年齢の推定結果の情報Ae[i]との組から、これらの相関係数を年齢補正情報として演算する(S13)。この年齢補正情報の例は、既に例示したように、年齢の推定結果の情報Aeが、実年齢情報を用いてα・At+βで表されると仮定したときのα,βであり、具体的にはこれらを最小二乗法によって求める。つまりこれにより実年齢情報と年齢の推定結果との関係が推定されることとなる。一例として先の弟については実年齢よりも常に1才ほど年上と認められる場合、αは概ね「1」であり、βは+1となる。
【0067】
画像処理装置1は、変数kを「1」にリセットし(S14)、画像データDkの実年齢情報At[k]と、処理S13で演算した年齢補正情報とを用いて、仮定の推定値を得る(S15)。具体的には先のα,βを用いて仮定推定値Aee[k]=α・At[k]+βとする。画像処理装置1は、この仮定推定値Aee[k]と、実年齢情報At[k]に対応する年齢の推定結果の情報Ae[k]との差の絶対値|Ae[k]−Aee[k]|=|Ae[k]−α・At[k]+β|を求める(残差の演算:S16)。
【0068】
また画像処理装置1は、実年齢情報At[k]が負であるか否かを調べる(S17)。ここで実年齢情報At[k]が負であれば(Yesならば)、画像処理装置1は、画像データDkの注目人物「弟」について、その認識結果が誤っていると判定し、人物認識処理を再実行する(S18)。この処理S18においては、画像データDkにおいて「弟」と認識されている人物が「弟」でないと判断されているので、当該人物の再認識により「弟」以外の人物として認識が行われることとなる。この人物(「弟」以外の人物)については、別途、図4の処理を実行してもよい。
【0069】
一方、処理S17において実年齢情報At[k]が負でなければ、処理S16で求めた差の絶対値|Ae[i]−α・At[i]+β|が予め定めたしきい値θを超えるか否かを判断する(S19)。
【0070】
先の兄弟の例において、2003年に兄が3才だった頃の画像データ及び2005年に兄が5才であった頃の画像データ(i=1,2)に対しては、Aee[1]=α・At[1]+β=1・(−1)+1=0、Aee[2]=α・At[2]+β=1・1+1=2となる(α,βはいずれも1とし、実年齢については弟と誤認されているため負の値となるなど、実際の兄の年齢とは異なるものとなっている)。
【0071】
またAt[1]は負であるので、画像処理装置1は画像データD1について「弟」との認識結果が誤っていると判定し、人物認識処理を再実行する。
【0072】
一方、At[2]は負でなく、Ae[2]は上記の例では「6」と推定されているため、これらの差の絶対値|Ae[2]−Aee[2]|は「4」となる。ここで例えばしきい値θを「3」と定めておくと、処理S19においては、上記差の絶対値はいずれもしきい値θを超えると判断される。
【0073】
画像処理装置1は、処理S19において差の絶対値がしきい値θを超えるならば(Yesならば)、画像処理装置1は、画像データDkの注目人物「弟」について、その認識結果が誤っていると判定し、処理S18に移行して人物認識処理を再実行する。
【0074】
また画像処理装置1は、処理S19において差の絶対値がしきい値θを超えないならば、kを「1」だけインクリメントし(S20)、kがN以下であれば処理S15から処理を繰り返す(ループ)。またここでkがNより大きいならば、処理を終了する。
【0075】
この例で、例えば2007年に弟を撮影した画像データ(D3とする)については、At[3]=3となる。また画像データからの年齢の推定結果が「5」である(Ae[3]=5)とすると、先のα,βを用いた仮定推定値Aee[k]=α・At[k]+βは、Aee[3]=α・At[3]+β=1・3+1=4となる。従って、上記差の絶対値|Ae[3]−Aee[3]|は「1」となり、しきい値θを「3」としている場合は、処理S19において認識結果が誤っていると判定されることはない(なお、At[3]も負でないので、処理S17においても認識結果が誤っていると判定されることはない)。なお、このしきい値θは、注目人物の生年月日から処理の対象としている画像データの撮影日までの経過日時に応じて変化させてもよい。例えば、生年月日からの経過日数が大きくなるほどθを大きくすることとしてもよい。また経過日数が所定値を超えるとθが一定となるようにしてもよい。
【0076】
一方、図4の処理S8において第2認識正否判断処理を実行する画像処理装置1は、処理S4で演算した実年齢情報At[i]のうち、負であるようなAt[i](i=1,2,…)があるか否かを調べる。そして例えばAt[j]が負である場合は、j番目の画像データについての注目人物の認識結果が誤りであると判定する。上述の場合、2003年に兄が3才だった頃の画像データD1についてはAt[1]は負であるので、認識結果が誤りであると判定されることとなる。この処理においても画像処理装置1は、認識結果が誤っていると判定した画像データについては、人物認識処理を再実行することとしてもよい(上記処理S18と同様)。
【0077】
具体的にi番目の画像データDiについて人物認識処理を再実行する場合、画像処理装置1は、次のように動作する。すなわち、画像処理装置1は、このi番目の画像データDiに関連付けて記憶部12に記録されているタグ情報のうち、注目人物と誤認した識別情報を含むタグ情報を削除する。また画像処理装置1は、i番目の画像データDiのうちから注目人物と誤認した顔の撮像されている領域(再認識の対象となる領域)について、この領域内の人物を認識する処理を行う。この際に、注目人物を特定する識別情報を用い、当該領域内の人物の顔に係る予め定めた特徴量と、記憶部12に格納されている顔データベースのうち、注目人物の識別情報を含まないエントリー内の特徴量の情報とを比較する。
【0078】
画像処理装置1は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報であって、注目人物の識別情報に関連付けられていないエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報をタグ情報の一つとして、選択した画像データに関連付けて、記憶部12に保持させる。このとき、人物認識処理部31は、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。
【0079】
先の兄弟の例であれば、兄弟間の顔の特徴量は類似している。従って注目人物である弟以外では、兄の識別情報に関連付けられた特徴量が、再認識の対象となる領域内の顔の特徴量と類似していると判断される。つまり、2003年に兄が3才だった頃の画像データ及び2005年に兄が5才であった頃の画像データ(i=1,2)に対しては、この人物認識処理の再実行により兄の識別情報が関連付けられる可能性が高い。
【0080】
画像処理装置1は、こうして画像データに撮影されている人物を特定する識別情報を含んだタグ情報を設定する。そして操作部13から入力される指示に従って、例えば弟が撮影されている写真の画像データ(弟を特定する識別情報を含むタグ情報が関連付けられた画像データ)を選択して読み出し、外部のディスプレイや家庭用テレビジョン装置に、当該画像データが表す画像を出力させる。
【0081】
また年齢補正情報生成部37における処理は、ここまでに説明したものに限られない。例えば年齢補正情報生成部37は、抽出した画像データのそれぞれから推定された注目人物の推定年齢情報のうち、外れ値と判断される推定年齢情報を除いた推定年齢情報と、抽出した画像データごとに演算された実年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成することとしてもよい。
【0082】
具体的にこの年齢補正情報生成部37は、i番目の画像データ(i=1,2,…)について演算された注目人物の実年齢情報At[i]と、年齢の推定結果の情報Ae[i]とを記憶部12から読み出す。そしてこれら画像データごとの実年齢情報At[i]と画像データからの年齢の推定結果の情報Ae[i]との組から、仮の相関係数を演算する。ここで仮の相関係数は例えば実年齢情報Atに対して、推定の結果Aeが、一次式、Ae=αp・At+βpで表されると仮定したときのαp,βpであり、具体的にはこれらを最小二乗法によって求めることとすればよい。
【0083】
年齢補正情報生成部37は、実年齢情報At[i]が与えられたときに、これら仮の相関係数を用いて演算されるαp・At[i]+βpを仮の推定値Ap[i]とする。つまり、Ap[i]=αp・At[i]+βpとする。そして年齢補正情報生成部は、この仮の推定値Ap[i]と、実年齢情報At[i]に対応する年齢の推定結果の情報Ae[i]との差(残差)R[i]=Ae[i]−Ap[i]を求める。また、この残差R[i]の標準偏差σを算出する。
【0084】
年齢補正情報生成部37は、年齢の推定結果の情報Ae[i]のうち、当該年齢の推定結果の情報Ae[i]を残差の標準偏差σで除した値が予め定めた閾値を超えるものを外れ値と判断する。ここで閾値は例えば「2」ないし「3」としてもよい。年齢補正情報生成部37は、外れ値と判断した年齢の推定結果の情報Ae[i]を除いた年齢の推定結果の情報Ae[i]と、注目人物の実年齢情報At[i]との統計演算結果に基づいて、実年齢と見掛けの年齢差を表す年齢補正情報を生成する。
【0085】
一例として、年齢補正情報生成部37は、外れ値と判断した年齢の推定結果の情報Ae[j]と、それに対応する(画像データDjに対応する)実年齢情報At[j]とを除き、実年齢情報Atに対して、推定の結果Aeが、一次式、Ae=α・At+βで表されると仮定したときのα,βを、最小二乗法によって求める。
【0086】
例えばi=1,2,…5番目までの画像データが抽出されているとき、i=1,3の画像データに対応する年齢の推定結果の情報Ae[1],Ae[3]が外れ値であると判断すると、年齢補正情報生成部37は、これらとこれらに対応する実年齢情報At[1],At[3]とを除き、残る実年齢情報At[2],At[4],At[5]と、これらに対応する年齢の推定結果の情報Ae[2],Ae[4],Ae[5]との回帰分析から、推定の結果Aeが、一次式、Ae=α・At+βで表されると仮定したときのα,βを求める。
【0087】
また、ここでは年齢補正情報生成部37は、年齢補正情報を生成する際に回帰分析を用いることとしたが、これに限られるものではない。例えば年齢補正情報生成部37は、実年齢情報At[i]に対する年齢推定結果Ae[i]の散布図を考え、この散布図における主成分解析などによって年齢補正情報を生成してもよい。
【0088】
さらに、ここまでの説明では、撮影日の情報がExifデータ等、画像データに関連付けられた情報から取得できる場合について説明したが、写真のスキャンデータのように撮影日の情報が直ちに取得できない場合であっても、何らかの処理により撮影日の情報が取得できれば、本実施の形態の情報処理装置1による処理を実行できる。
【0089】
例えば、日付情報を写し込んでいる場合(写真に画像として日付情報が写し込まれている場合)は、この日付情報をOCR(光学的文字認識)により読取って利用してもよい。また、APS(Advanced Photo System)規格の写真では、写真裏面に日付情報が記述されるので、この日付情報をOCRで読取って利用してもよい。また、利用者から写真の撮影日の情報の入力を受け入れることができれば、当該撮影日の情報を利用してもよい。
【0090】
本実施の形態の画像処理装置によれば、画像データに基づく人物の認識誤りの発生を低減できる。
【符号の説明】
【0091】
1 情報処理装置、11 制御部、12 記憶部、13 操作部、14 表示部、15 通信部、16 入出力インタフェース、21 蓄積処理部、22 表示処理部、23 管理処理部、31 人物認識処理部、32 抽出部、33 取得部、34 実年齢演算部、35 年齢推定部、36 処理選択部、37 年齢補正情報生成部、38 第1認識正否判断処理部、39 第2認識正否判断処理部。

図1
図2
図3
図4
図5