特許 6255296 対象識別装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6255296

(24)【登録日】2017年12月8日

(45)【発行日】2017年12月27日

(54)【発明の名称】対象識別装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20171218BHJP

【ＦＩ】

   G06T7/00 350B

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2014-72837(P2014-72837)

(22)【出願日】2014年3月31日

(65)【公開番号】特開2015-194927(P2015-194927A)

(43)【公開日】2015年11月5日

【審査請求日】2016年9月6日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】徳見 修

(72)【発明者】

【氏名】黒川 高晴

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−４４０６４（ＪＰ，Ａ）

【文献】 特開２０１０−１７０２０１（ＪＰ，Ａ）

【文献】 特開２００９−２８２６６０（ＪＰ，Ａ）

【文献】 特開２００９−１４０２８５（ＪＰ，Ａ）

【文献】 特開２００６−１８９９１５（ＪＰ，Ａ）

【文献】 特開２００５−１９８９７０（ＪＰ，Ａ）

【文献】 特開２００４−３４１９５９（ＪＰ，Ａ）

【文献】 特開２００３−２０８５９５（ＪＰ，Ａ）

【文献】 特開２００３−１６８１１３（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１８６９０６（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０３２８８９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

入力データが所定の対象を含むか否かを識別する対象識別装置であって、
予め前記対象を含むか否かが識別された複数の標本データを記憶している標本データ記憶手段と、
前記各標本データと前記入力データとの相違度を算出し、前記相違度が疎隔値を超えない標本データを除外して前記相違度が疎隔値を超える標本データの一部または全部を学習用データとして選出する学習用データ選出手段と、
前記学習用データを用いた学習により、前記入力データについての識別器を生成する識別器生成手段と、
前記識別器により前記入力データが前記対象を含むか否かを識別させる入力データ識別手段と、
を備えたことを特徴とする対象識別装置。

【請求項2】

さらに、予めの学習にて定められた、前記標本データを表すベクトルの各成分の信頼度を予め記憶した信頼度記憶手段を有し、
前記学習用データ選出手段は、前記標本データと前記入力データとの前記相違度として、当該両データを表す２つのベクトルについて前記信頼度で重み付けした相違度を算出すること、
を特徴とする請求項１に記載の対象識別装置。

【請求項3】

さらに、予めの学習により定められた、前記対象を含む標本データ及び前記対象を含まない標本データを分ける識別境界と、前記各標本データとの間の第１距離値を予め記憶した距離値記憶手段を有し、
前記学習用データ選出手段は、前記識別境界と前記入力データとの間の第２距離値を算出して、前記標本データと前記入力データとの前記相違度として前記第１距離値と前記第２距離値との差を算出すること、
を特徴とする請求項１に記載の対象識別装置。

【請求項4】

前記学習用データ選出手段は、前記入力データと前記対象を含むと識別された標本データとの前記相違度に基づいて前記対象を含むと識別された標本データのうちの複数の標本データを前記学習用データとして選出可能な前記疎隔値を決定すること、を特徴とする請求項１から請求項３のいずれか１つに記載の対象識別装置。

【請求項5】

前記学習用データは前記対象を含む標本データと前記対象を含まない標本データとを予め定めた同じ数ずつ含むこと、を特徴とする請求項１から請求項４のいずれか１つに記載の対象識別装置。

【請求項6】

入力データが所定の対象を含むか否かを識別する対象識別装置であって、
前記入力データがとり得る範囲内の複数の特徴データそれぞれに付与したインデックスと、当該インデックスを付与した特徴データの識別に適した識別器の構成情報とを対応付けたテーブルを予め記憶した識別器テーブル記憶手段と、
前記入力データと対応する特徴データから前記インデックスを特定し、当該インデックスに対応する前記識別器の構成情報を用いて識別器を生成する識別器生成手段と、を有し、
前記識別器生成手段が生成した識別器にて前記入力データに所定の対象を含むか否かを識別し、
前記識別器テーブル記憶手段に記憶する前記構成情報は、前記対象を含むか否かが予め識別された複数の標本データの中から前記特徴データとの相違度が疎隔値を超えない標本データを除外した残余の標本データの一部又は全部を用いた学習により生成された構成情報であること、
を特徴とする対象識別装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力データが所定の対象を含むか否かを識別する対象識別装置に関する。

【背景技術】

【0002】

監視カメラの画像やデジタルスチルカメラの画像から人や顔などの対象物を検知する技術として識別器を用いたものが知られている。識別器は、対象物である人が撮された対象物画像、及び対象物が撮されていない非対象物画像からなる多数の学習用画像を用いた学習により生成される。従来は、一群の学習用画像から生成された同じ識別器を用いて、複数の入力画像について識別を行っている。また、学習用画像の数を増やすこと、特に識別境界付近の学習用画像を増やすことが識別精度の向上に効果があると言われており、できる限り多数の画像を収集して識別器を学習させるための研究が行われてきた。

【0003】

例えば、特許文献１には、装置の設置環境の特性にあわせて識別器を学習させる物体検出装置が提案されている。この物体検出装置は、監視カメラを設置した時に監視カメラからの画像を用いて識別器を学習させることで、識別境界付近の学習用画像を増やしている。この物体検出装置が学習した識別器は、各監視カメラが撮影する画像の全てに共通して用いられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−１７０２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、実際に学習用画像を増やしても識別精度は飽和する傾向にあり、効果的に識別精度を向上させることが困難であった。精度飽和の要因の１つに、全ての入力画像に対して共通の識別器を学習させていることが考えられる。つまり、識別器の精度を全ての入力画像に対して平均的に高くしても、統計的に見て少数派となる一定割合の入力画像に対しては精度が平均値より大きく下回ることが考えられる。また、識別境界付近では、学習用画像が有限個数であり離散的である以上、入力画像に近い学習用画像を用いて学習したか否かの次第で性能が左右される偶発性が存在する。この偶発性によって性能が安定せず、近い学習用画像を用意できなかった一定割合の入力画像に対して精度が低くなることも精度飽和の要因と考えられる。そして、識別境界付近の全ての入力画像について、それに近い対象物画像と非対象物画像とを実際に用意しておくことはほぼ不可能である。

【0006】

本発明は上記問題を鑑みてなされたものであり、入力データ付近における学習データの収集状態に依存せずに高い識別精度を実現可能な対象識別装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る対象識別装置は、入力データが所定の対象を含むか否かを識別する対象識別装置であって、予め前記対象を含むか否かが識別された複数の標本データを記憶している標本データ記憶手段と、前記各標本データと前記入力データとの相違度を算出し、前記相違度が疎隔値を超えない標本データを除外して前記相違度が疎隔値を超える標本データの一部または全部を学習用データとして選出する学習用データ選出手段と、前記学習用データを用いた学習により、前記入力データについての識別器を生成する識別器生成手段と、前記識別器により前記入力データが前記対象を含むか否かを識別させる入力データ識別手段と、を備える。

【0008】

本発明に係る対象識別装置において、さらに、予めの学習にて定められた、前記標本データを表すベクトルの各成分の信頼度を予め記憶した信頼度記憶手段を有し、前記学習用データ選出手段は、前記標本データと前記入力データとの前記相違度として、当該両データを表す２つのベクトルについて前記信頼度で重み付けした相違度を算出する構成とすることができる。

【0009】

また本発明に係る対象識別装置において、さらに、予めの学習により定められた、前記対象を含む標本データ及び前記対象を含まない標本データを分ける識別境界と、前記各標本データとの間の第１距離値を予め記憶した距離値記憶手段を有し、前記学習用データ選出手段は、前記識別境界と前記入力データとの間の第２距離値を算出して、前記標本データと前記入力データとの前記相違度として前記第１距離値と前記第２距離値との差を算出する構成とすることができる。

【0010】

他の本発明に係る対象識別装置においては、前記学習用データ選出手段は、前記入力データと前記対象を含むと識別された標本データとの前記相違度に基づいて前記対象を含むと識別された標本データのうちの複数の標本データを前記学習用データとして選出可能な前記疎隔値を決定する構成とすることができる。

【0011】

別の本発明に係る対象識別装置においては、前記学習用データは前記対象を含む標本データと前記対象を含まない標本データとを予め定めた同じ数ずつ含む構成とすることができる。

【0012】

他の本発明に係る対象識別装置は、入力データが所定の対象を含むか否かを識別する対象識別装置であって、前記入力データがとり得る範囲内の複数の特徴データそれぞれに付与したインデックスと、当該インデックスを付与した特徴データの識別に適した識別器の構成情報とを対応付けたテーブルを予め記憶した識別器テーブル記憶手段と、前記入力データと対応する特徴データから前記インデックスを特定し、当該インデックスに対応する前記識別器の構成情報を用いて識別器を生成する識別器生成手段と、を有し、前記識別器生成手段が生成した識別器にて前記入力データに所定の対象を含むか否かを識別する。

【0013】

本発明に係る対象識別装置においては、前記識別器テーブル記憶手段に記憶する前記構成情報は、前記対象を含むか否かが予め識別された複数の標本データの中から前記特徴データとの相違度が疎隔値を超えない標本データを除外した残余の標本データの一部又は全部を用いた学習により生成された構成情報である構成とすることができる。

【発明の効果】

【0014】

本発明によれば、入力データごとに、当該入力データ付近を除いて選出した学習用データを用いた学習により識別器を生成して当該入力データを識別するので、個々の入力データに対する識別精度を高めることが容易となり、また入力データの近傍に存在する学習データに識別精度を左右されにくくなる。そのため、学習用標本データの収集状態に依存せずに高精度な識別が可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る画像センサーの概略の構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る画像センサーの概略の機能ブロック図である。

【図3】学習用データの選出の仕方の例を説明する模式図である。

【図4】本発明の実施形態に係る画像センサーの概略の動作を示すフロー図である。

【図5】本発明の第１の実施形態に係る画像センサーの識別処理の概略のフロー図である。

【図6】学習用データの選出の仕方の他の例を説明する模式図である。

【図7】学習用データの選出の仕方の他の例を説明する模式図である。

【図8】学習用データの選出の仕方の他の例を説明する模式図である。

【図9】本発明の第２の実施形態に係る画像センサーの概略の機能ブロック図である。

【発明を実施するための形態】

【0016】

本発明の実施の形態（以下実施形態という）である画像センサー１は監視空間を撮影して侵入者を検知する。画像センサー１は本発明に係る対象識別装置を備える。当該対象識別装置は撮影した画像、又は当該画像から抽出した特徴量を入力データとし、入力データに所定の対象が含まれているか否かを識別する。対象識別装置の基本構成における原理では、予め用意した複数クラスの標本データのうちの比較的少数であって入力データの識別に有効なものを学習用データとして選択し、これら選択した学習用データで識別境界を生成し入力データの識別を行う。以下、標本データ全てを用いて生成され各入力データに共通に適用される従来の識別器、識別境界をグローバル識別器、グローバル識別境界と呼び、一方、用意した標本データから各入力データに対応して選択したものを用いて生成される識別器、識別境界をローカル識別器、ローカル識別境界と呼ぶことにする。本発明の発明者は、入力データに対して一定以下の相違度を有する標本データを選択対象から除外し、相違度が一定より大きな標本データだけを用いてローカル識別器、ローカル識別境界を生成すると、入力データの識別精度が格段に向上するとの知見を得た。本発明は上記知見に基づいてなされたものである。以下、本発明の実施形態である画像センサー１を図面に基づいて説明する。

【0017】

《第１の実施形態》
［画像センサー１の構成］
画像センサー１は監視空間を撮影して侵入者を検知する。そのため画像センサー１は人の像を識別対象とした対象識別装置を備える。図１は画像センサー１の概略の構成を示すブロック図である。画像センサー１は撮影部２、記憶部３、画像処理部４及び出力部５を含んで構成される。画像処理部４は撮影部２、記憶部３及び出力部５と接続される。

【0018】

撮影部２は例えば、ＣＣＤイメージセンサまたはＣ−ＭＯＳイメージセンサなどの撮像素子を用いて、監視空間から受光した光をグレースケールまたはカラーの画像信号に変換するカメラである。撮影部２は監視空間を所定時間おきに撮影し、撮影した画像を順次、画像処理部４に入力する。

【0019】

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部３は画像処理部４を後述する各手段として動作させるためのプログラム、学習データや各手段が生成したデータなどの各種データを記憶し、画像処理部４との間でこれらのプログラムやデータを入出力する。

【0020】

画像処理部４はＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の少なくとも１つのプロセッサ、及びその周辺回路を用いて構成される。画像処理部４は記憶部３からプログラムを読み出して実行することで、後述する各手段として動作し、撮影部２から入力された画像に人の像が含まれているか否かを識別し、人の像が含まれていた場合、侵入者を検知したとして出力部５に検知信号を出力する。

【0021】

出力部５は検知信号を入力されると外部出力を行うインターフェース機器であり、例えば、ネットワークに接続されて警備センターに通報を行う。また例えば、ブザー等に接続されてブザー鳴動による報知を行わせる。

【0022】

図２は第１の実施形態である画像センサー１の概略の機能ブロック図である。画像処理部４は、切り出し手段１０、特徴抽出手段１１、学習用データ選出手段１３、ローカル識別器生成手段１４及び入力データ識別手段１５として適宜動作する。記憶部３は標本データ記憶手段１２、信頼度記憶手段、及び距離値記憶手段として機能する。対象識別装置は、少なくとも標本データ記憶手段１２、学習用データ選出手段１３、ローカル識別器生成手段１４及び入力データ識別手段１５を含む。

【0023】

切り出し手段１０は撮影部２から入力された画像（入力画像）から一部の領域を切り出して、切り出した部分画像を特徴抽出手段１１に入力する。切り出し手段１０は入力画像全体の各所から切り出しを行う。また切り出しは、入力画像中で検出したい人サイズの範囲に応じて画像または切り出す領域を拡大及び縮小して行われる。部分画像のサイズ（幅及び高さ）は標本データの基となった画像と同サイズに規格化する。切り出し手段１０は、例えば、入力画像を予め定めた範囲で複数通りに拡大及び縮小し、入力画像、並びにその拡大画像及び縮小画像それぞれの画像上にて、標本データを抽出した画像のサイズと同一サイズの窓領域を垂直方向及び水平方向に所定画素ずつずらして順次配置し、各配置における窓領域内の画像を部分画像として順次出力する。

【0024】

特徴抽出手段１１は切り出し手段１０が切り出した部分画像から予め定めた種類の特徴量を抽出し、抽出した特徴量を学習用データ選出手段１３へ出力する。特徴量として輝度勾配方向分布に関するヒストグラム・オブ・オリエンティッド・グラディエント（Histograms of Oriented Gradients：ＨｏＧ）を用いることができる。または、ハール（Haar）特徴量、ローカル・バイナリー・パターン（Local Binary Pattern：ＬＢＰ)、スパースコーディング（Sparse Coding）係数、部分画像そのもの、エッジ画像など、対象の識別に適した特徴量を用いることができる。いずれの特徴量も複数の要素からなる特徴ベクトルで表現される。この部分画像から抽出した特徴量が本実施形態における入力データである。

【0025】

標本データ記憶手段１２は予め対象を含むことが識別された複数の対象データと予め対象を含まないことが識別された複数の非対象データとを標本データとして予め記憶している。標本データは、ローカル識別器の学習用データとして学習用データ選出手段１３により読み出され、ローカル識別器生成手段１４によるローカル識別器の学習・生成に用いられる。

【0026】

具体的には、対象データは、人の全身が写っているＮ_Ｇ枚の画像それぞれから特徴抽出手段１１が事前に抽出したＮ_Ｇ個の特徴量と、それらが対象データであることを示す符号（例えば値“１”）とを対応付けたデータである。また、非対象データは、人が写っていないＭ_Ｇ枚の画像それぞれから特徴抽出手段１１が事前に抽出したＭ_Ｇ個の特徴量と、それらが対象データでないことを示す符号（例えば値“０”）とを対応付けたデータである。

【0027】

標本データを抽出する画像のサイズは規格化され、全て一定サイズであり、例えば、幅６４×高さ１２８画素である。また、標本データは抽出元の画像の特徴量（特徴ベクトル）であり、その種類は特徴抽出手段１１が抽出する特徴量と同種である。

【0028】

ここで、標本データ記憶手段１２に格納される全ての対象データと全ての非対象データ、つまり全ての標本データを用いて予め機械学習を行い、入力データが対象データと非対象データとのいずれのクラスであるかを識別するグローバル識別器を生成することができる。例えば、グローバル識別器はサポートベクターマシーン（ＳＶＭ）で構成することができる。また、サポートベクターマシーンに代えて、全ての対象データと全ての非対象データにフィッシャー（Fisher）判別分析法あるいはアダブースト（AdaBoost）法などを適用することによって生成したグローバル識別器を用いることもできる。グローバル識別器の構成情報は予め記憶部３に記憶される。

【0029】

グローバル識別器を用いてグローバル識別境界と各標本データとの間の距離値（第１距離値）を予め求めることができる。グローバル識別境界は、全ての標本データを用いた予めの学習により定められた、これらの標本データを対象データと非対象データとに分ける識別境界であり、グローバル識別器の構成情報として記憶部３に記憶される。ちなみに、当該距離値はグローバル識別器に各標本データを入力したときの出力値として得られる。記憶部３は、予め算出された当該距離値、すなわちグローバル識別境界から対象データそれぞれまでの距離値及びグローバル識別境界から非対象データそれぞれまでの距離値を記憶する（距離値記憶手段）。

【0030】

なお、識別器の種類によっては、尤度をその出力値とするものもあるが、尤度も距離値と同質のものとして扱うことができる。

【0031】

また、記憶部３は標本データを表す特徴ベクトルの各成分が有する識別の信頼度を予め記憶する（信頼度記憶手段）。当該信頼度は、グローバル識別器における特徴ベクトルの各成分の重みであり、グローバル識別器の構成情報として予め記憶部３に記憶される。

【0032】

学習用データ選出手段１３は、対象を含む標本データである対象データＮ_Ｌ個と、対象を含まない標本データである非対象データＭ_Ｌ個との両方を学習用データとして選出する。特に、学習用データ選出手段１３は、標本データのうち入力データの近傍のものを除外して当該入力データに対する相違度が疎隔値を超えるものの一部または全部を学習用データとして選出する。

【0033】

疎隔値は、入力データ近傍の標本データとそれ以外の標本データとを弁別するための閾値であり、相違度と比較される。疎隔値は事前の実験に基づいて予め設定される、或いは入力データと標本データとの関係に基づいて入力データごとに設定される。

【0034】

例えば、学習用データ選出手段１３は、標本データのうち当該入力データとの相違度が予め定めた疎隔値未満のものを除いた残存標本データから学習用データを選出する。つまり、学習用データ選出手段１３は標本データ記憶手段１２に記憶されている標本データの中から、少なくとも入力データとの相違度が疎隔値Ｔ_Ｄ以上であるものを学習用データとして選出し、当該学習用データをローカル識別器生成手段１４へ出力する。これにより、ローカル識別器の学習に用いる学習用データは、特徴空間において入力データの近傍に存在する標本データを含まないデータ集合となる。

【0035】

具体的にはこの選出方法では、学習用データ選出手段１３は標本データ記憶手段１２に記憶されている対象データの中から入力データとの相違度が疎隔値Ｔ_Ｄ以上であるＮ_Ｌ個の対象データを選出すると共に、標本データ記憶手段１２に記憶されている非対象データの中から入力データとの相違度が疎隔値Ｔ_Ｄ以上であるＭ_Ｌ個の非対象データを選出する。但し、Ｎ_Ｌ＜Ｎ_Ｇ、Ｍ_Ｌ＜Ｍ_Ｇであり、Ｎ_Ｌ及びＭ_Ｌは予め定めておく。

【0036】

ここで、選出する対象データの数Ｎ_Ｌと非対象データの数Ｍ_Ｌは同数とし、ローカル識別器の学習用データが対象データと非対象データとのいずれかに偏らないようにするのが好適である。このようにすることでローカル識別器が対象データ側、又は非対象データ側に偏ることが防げ、識別精度が向上する。

【0037】

また、ローカル識別器生成手段１４における学習が確実に収束するよう、特徴量の次元数Ｐと比べて、Ｎ_Ｌ＋Ｍ_Ｌを十分小さくするのが望ましい。例えば、Ｐ＝５０００のときにＮ_Ｌ＝Ｍ_Ｌ＝１００とする。

【0038】

学習用データ選出手段１３における学習用データの選出の仕方についてはさらに後述する。

【0039】

ローカル識別器生成手段１４は学習用データ選出手段１３にて選出した学習用データを用いた機械学習によりローカル識別器を生成する。すなわち、ローカル識別器生成手段１４は、選出されたＮ_Ｌ個の対象データ及びＭ_Ｌ個の非対象データを用い、当該対象データ及び当該非対象データによって形成される特徴空間において、当該対象データが帰属する対象領域と当該非対象データが帰属する非対象領域とを分けるローカル識別境界を学習し、入力データ識別手段１５へ出力する。

【0040】

例えば、ローカル識別器はサポートベクターマシーンで構成される。また、フィッシャー判別分析法、アダブースト法などを用いた機械学習により生成することもできる。なお、ローカル識別器はグローバル識別器と同種の識別器である必要はない。

【0041】

入力データ識別手段１５は入力データをローカル識別器生成手段１４により生成されたローカル識別器に入力して、入力データに対象が含まれているか否かを識別する。対象が含まれていると識別した場合、入力データ識別手段１５は検知信号を生成して出力部５へ出力する。すなわち、入力データ識別手段１５は入力データをローカル識別器に入力することでローカル識別境界から入力データまでの距離値を算出し、当該距離値が正であれば入力データが対象を含むと識別し、距離値が０又は負であれば入力データが対象を含まないと識別する。

【0042】

［学習用データの選出方法］
学習用データ選出手段１３による学習用データの選出方法を説明する。Ｎ_Ｌ，Ｎ_Ｇ，Ｍ_Ｌ，Ｍ_Ｇ，Ｔ_Ｄ等の記号は上述した選出方法と共通とする。なお、Ｔ_Ｄは入力データの近傍にて学習用データが選出されない領域（空白領域）を規定する相違度の上限値であり、上述した選出方法では学習用データの選出範囲の下限閾値として選出に利用している。

【0043】

以下に説明する選出方法は、入力データと標本データとの相違度として入力データから標本データまでの距離値を直接算出するのではなく、グローバル識別境界から入力データまでの距離値（第２距離値）とグローバル識別境界から標本データまでの距離値（第１距離値）との差を相違度として算出する。

【0044】

グローバル識別境界から入力データまでの距離値は、入力データを記憶部３に記憶しているグローバル識別器に入力したときの出力値として得られる。一方、グローバル識別境界から各標本データまでの距離値は記憶部３に予め記憶されており、これを読み出して利用することができる。

【0045】

なお、グローバル識別器に入力して得られる距離値は、特徴ベクトルにて識別性の高い要素（成分）ほど高く重み付けた重み付け距離値となっている。ここで、重み付けを行わない場合、入力データと標本データとの間の識別性の低い要素における違いによって相違度が不当に高くなり、特徴空間において入力データの近傍に存在する標本データが学習用データとして選出されてしまう可能性が高まってしまうが、重み付け距離値を相違度とすることでその可能性を低減できる。

【0046】

また、グローバル識別境界から各標本データまでの距離値は予め算出しておくことができるため、入力データごとに相違度を算出するための負荷を減じることができる。標本データの数が多いほど当該効果は大きくなる。

【0047】

空白領域の疎隔値Ｔ_Ｄは上述した選出方法のように予め定めて選出範囲の閾値として利用することができるが、対象データを基準にして動的に定まるような選出方法もある。図３はこのＴ_Ｄが動的に定まる学習用データの選出の仕方を説明する模式図である。同図において横軸はグローバル識別器の出力値（スコアＳ）であり、Ｓ＝０がグローバル識別境界の位置であり、対象データのスコアは主に正の領域（境界から右側）に分布し、非対象データのスコアは主に負の領域（境界から左側）に分布する。

【0048】

学習用データ選出手段１３はまず、学習用データの選出範囲の基準位置として、入力データと対象データとの相違度の最大値Ｄ_ＭＡＸを求める。そして対象データの中から相違度が当該最大値Ｄ_ＭＡＸに近い順、つまり入力データとの相違度が大きい順にＮ_Ｌ個の対象データを学習用データとして選出する。例えば、入力データのスコアＳ_Ｉを０．３、標本データのうちの対象データのスコア最大値Ｓ_{Ｐ−ＭＡＸ}を０．８とすると、Ｄ_ＭＡＸ＝０．５となる。学習用データの対象データはＳ_{Ｐ−ＭＡＸ}を起点にＳが大きい順にＮ_Ｌ個選出される。選出された対象データのスコアの範囲（選出範囲）を［Ｓ_Ｐ−Ｌ，Ｓ_Ｐ−Ｈ］とする。ここでＳ_Ｐ−Ｈ＝Ｓ_{Ｐ−ＭＡＸ}であり、対象データについての選出範囲はＤ_ＭＡＸを基準にして入力データ側に設定される。

【0049】

標本データのうちの学習用データとして選出する非対象データのスコア最小値Ｓ_Ｎ−Ｌを入力データとの相違度がＤ_ＭＡＸとなる値に定める。具体的にはＳ_Ｎ−Ｌ＝Ｓ_Ｉ−Ｄ_ＭＡＸであり、図３の例ではＳ_Ｎ−Ｌは−０．２となる。学習用データとしての非対象データはＳ_Ｎ−Ｌを起点にＳが小さい順（入力データとの相違度が大きい順）にＭ_Ｌ個選出される。選出された対象データのスコアの範囲を［Ｓ_Ｎ−Ｌ，Ｓ_Ｎ−Ｈ］とする。非対象データについての選出範囲は入力データに対して相違度がＤ_ＭＡＸ異なるＳ_Ｎ−Ｌを基準にして入力データ側に設定される。

【0050】

この学習用データの選出では、選出した対象データに対する相違度の最小値（Ｓ_Ｐ−Ｌ−Ｓ_Ｉ）と、選出した非対象データに対する相違度の最小値（Ｓ_Ｉ−Ｓ_Ｎ−Ｈ）とのいずれか小さい方が上述したＴ_Ｄに相当する。すなわち、或る入力データについて選出した学習用データは、当該入力データとの相違度がＴ_Ｄ未満のものを除いた標本データから選出されている。

【0051】

識別対象が人である本実施形態のように対象データ数よりも非対象データ数が多い場合は（Ｓ_Ｉ−Ｓ_Ｎ−Ｈ）＞（Ｓ_Ｐ−Ｌ−Ｓ_Ｉ）となる。よって、Ｄ_ＭＡＸとＮ_Ｌとによって疎隔値Ｔ_Ｄが定まり、相違度がＴ_Ｄ未満の標本データを除外した残存標本データの中から学習用データを選出したことになる。

【0052】

別の選出方法として、標本データの対象データの中から入力データとの相違度が大きい順にＮ_Ｌ個を学習用データの対象データとして選出すると共に選出した対象データの相違度の最小値（Ｓ_Ｐ−Ｌ−Ｓ_Ｉ）を疎隔値Ｔ_Ｄとし、これを非対象データの選出に際して閾値として用い、標本データの非対象データのうち入力データとの相違度が疎隔値Ｔ_Ｄ以上であるものの中から相違度が小さい順にＭ_Ｌ個の非対象データを選出する方法がある。この選出方法においてもＤ_ＭＡＸとＮ_Ｌとによって疎隔値Ｔ_Ｄが定まり、相違度がＴ_Ｄ未満の標本データを除外した残存標本データの中から学習用データを選出したことになる。

【0053】

ここで説明した入力データと対象データとの相違度の最大値Ｄ_ＭＡＸを用いた選出方法では、対象データの中から入力データとの相違度ができるだけ大きなものを選出できる。このようにすれば、識別対象を人とした場合のように標本データにおいて非対象データよりも対象データの分布範囲の方が狭いデータを識別する場合に、特徴空間において入力データの近傍に存在する標本データが学習用データに選出される可能性を好適に排除できる。

【0054】

Ｄ_ＭＡＸを用いたこれらの選出方法によって、学習用データ選出手段１３は入力データと対象データとの相違度に基づいて複数の対象データを選出可能な疎隔値を決定している。これにより、複数の対象データ及び複数の非対象データを確実に含んだ学習用データを選出できる。

【0055】

［画像センサー１の動作］
図４は画像センサー１の概略の動作を示すフロー図である。例えば、装置の管理者が電源を投入すると画像センサー１の各部が動作を始める。撮影部２は所定の時間間隔で監視空間を撮像し、撮像した画像を画像処理部４に入力する。画像処理部４は画像が入力されるたびにＳ１〜Ｓ７の処理を繰り返す。

【0056】

画像処理部４は、撮影部２から順次、画像を取得する（ステップＳ１）。画像処理部４は切り出し手段１０として機能し、例えば、０ ．７５倍〜１．５倍まで０．１２５刻みの７段階で監視画像を順次、拡大または縮小し、各倍率の画像の各所から６４×１２８画素の部分画像を順次切り出す（ステップＳ２）。次に、画像処理部４は特徴抽出手段１１として機能し、ステップＳ２にて切り出した部分画像から特徴量を抽出する（ステップＳ３）。ここでは、この部分画像から抽出された特徴量が上述した入力データに当たる。当該特徴量は画像センサー１の対象識別装置に入力され、当該特徴量に人の情報が含まれるかを識別する識別処理が行われる（ステップＳ４）。

【0057】

図５は識別処理Ｓ４の概略のフロー図である。画像処理部４は本発明の対象識別装置を構成する学習用データ選出手段１３として機能し、標本データ記憶手段１２から標本データである対象データ及び非対象データを読み出すと共に、記憶部３の信頼度記憶手段から信頼度を、記憶部３の距離値記憶手段から距離値をそれぞれ読み出し、上述した相違度を算出する（Ｓ１０）。具体的には、部分画像から抽出した特徴量と各対象データとの間で信頼度にて重み付けた相違度を算出し、相違度で対象データをソートする。また部分画像から抽出した特徴量と各非対象データとの間で信頼度にて重み付けた相違度を算出し、相違度で非対象データをソートする。そして、学習用データ選出手段１３は、対象データの相違度の最大値Ｄ_ＭＡＸを求め（ステップＳ１１）、対象データの中から相違度が上位のＮ_Ｌ個を学習用データとして選出する（ステップＳ１２）。また、非対象データのうち相違度がＤ_ＭＡＸ以下のものの中から相違度が上位のＭ_Ｌ個を学習用データとして選出する（ステップＳ１３）。

【0058】

次に、画像処理部４は本発明の対象識別装置を構成するローカル識別器生成手段１４として機能し、特徴量に対応してステップＳ１２及びＳ１３にて選出した（Ｎ_Ｌ＋Ｍ_Ｌ）個の学習用データを用いて当該特徴量に対応したローカル識別器を生成する（ステップＳ１４）。

【0059】

ローカル識別器が得られると、画像処理部４は本発明の対象識別装置を構成する入力データ識別手段１５として機能し、ステップＳ１４にて生成したローカル識別器に部分画像から抽出した特徴量を入力し、ローカル識別器の出力を識別結果として得る（ステップＳ１５）。人の情報が含まれていることを示す識別結果が得られた場合、例えば、人を検知したことと、当該部分画像の切り出し位置及び倍率を記憶部３に記録する（ステップＳ１６）。なお、侵入者を検知する画像センサー１においては、人の情報が含まれていないことを示す識別結果が得られた場合の記録は省略してもよい。

【0060】

図４に戻り説明を続ける。監視画像から切り出される全ての部分画像についてステップＳ２〜Ｓ４の処理が繰り返され（ステップＳ５）、それが完了すると、画像処理部４はステップＳ４にて記録した識別結果に、人の情報が含まれていたことを示すものがあるかを調べる（ステップＳ６）。人の情報が含まれていたことを示す識別結果があれば、画像処理部４は侵入者を検知した旨を表す検知信号を出力部５に送出して、ステップＳ１に戻り次の監視画像の処理を開始する。一方、人の情報が含まれていたことを示す識別結果がなければ、画像処理部４は侵入者を検知しないとしてステップＳ１に戻り次の監視画像の処理を開始する。

【0061】

［学習用データの選出方法の変形例］
（１）図３を用いて説明した上述の選出方法では、入力データに対する対象データの相違度の最大値Ｄ_ＭＡＸを基準に学習用データとする対象データ及び非対象データをそれぞれ選出したが、基準とする値はＤ_ＭＡＸに代えて、入力データに対する対象データの相違度の平均値Ｄ_ＡＶＥとしてもよい。

【0062】

図６は平均値Ｄ_ＡＶＥを基準にした学習用データの選出の仕方を説明する模式図であり、図３と同様、横軸はグローバル識別器のスコアＳである。学習用データ選出手段１３は、学習用データとする対象データを、標本データにおける対象データのスコアの平均値Ｓ_{Ｐ−ＡＶＥ}又は、入力データと対象データとの相違度の平均値Ｄ_ＡＶＥを求める。なお、Ｓ_{Ｐ−ＡＶＥ}とＤ_ＡＶＥとはＳ_{Ｐ−ＡＶＥ}＝Ｓ_Ｉ＋Ｄ_ＡＶＥなる関係にある。

【0063】

学習用データとするＮ_Ｌ個の対象データとして、スコアＳ_{Ｐ−ＡＶＥ}の両側からそれぞれＮ_Ｌ／２個選出する。つまり、Ｄ_ＡＶＥより相違度が大きい（つまりスコアがＳ_{Ｐ−ＡＶＥ}より大きい）対象データとＤ_ＡＶＥより相違度が小さい（つまりスコアがＳ_{Ｐ−ＡＶＥ}より小さい）対象データとをそれぞれＮ_Ｌ／２個選出する。

【0064】

非対象データに関しては、対象データに基づいて求めたＤ_ＡＶＥを用いてＳ_Ｎ−Ｍ＝Ｓ_Ｉ−Ｄ_ＡＶＥで与えられる基準点を定め、学習用データとするＭ_Ｌ個の非対象データとして、当該基準点Ｓ_Ｎ−Ｍの両側からそれぞれＭ_Ｌ／２個選出する。つまり、Ｄ_ＡＶＥより相違度が大きい（つまりスコアがＳ_Ｎ−Ｍより小さい）対象データとＤ_ＡＶＥより相違度が小さい（つまりスコアがＳ_Ｎ−Ｍより大きい）対象データとをそれぞれＭ_Ｌ／２個選出する。

【0065】

たとえば、図６の例では、標本データにおける対象データの分布に応じてＳ_{Ｐ−ＡＶＥ}＝０．７またはスコアＳ_Ｉ＝０．３なる入力データに対してＤ_ＡＶＥ＝０．４が定まり、その結果、非対象データの選出基準点Ｓ_Ｎ−ＭはＳ_Ｎ−Ｍ＝−０．１に設定される。

【0066】

なお、この選出方法を実行すると、Ｄ_ＡＶＥとＮ_Ｌとによって疎隔値Ｔ_Ｄが定まり、相違度がＴ_Ｄ未満の標本データを除外した残存標本データの中から学習用データを選出したことになる。

【0067】

この方法によっても、学習用データ選出手段１３は入力データと対象データとの相違度に基づいて複数の対象データを選出可能な疎隔値を決定している。これにより、複数の対象データ及び複数の非対象データを確実に含んだ学習用データを選出できる。

【0068】

（２）図３や図６で説明した選出方法では入力データ及び標本データそれぞれのグローバル識別境界からの距離値の差を相違度として求めたが、入力データから各標本データまでの距離値を直接求めて相違度とすることもできる。その際、特徴ベクトルで表現された入力データ及び標本データそれぞれの各要素（ベクトル成分）を、全ての対象データと全ての非対象データを用いて機械学習した識別の信頼度にて重み付けた重み付け距離値（重み付けユークリッド距離）とするのがよい。なお、各要素に対する識別の信頼度は、グローバル識別器における当該要素に対する重みとして標本データ記憶手段１２に記憶されている。

【0069】

重み付け距離値を用いることで、識別性の低い要素が入力データと偶然に相違している標本データの相違度が不当に高くなることを防止でき、特徴空間において入力データの近傍に存在する標本データが学習用データに含まれてしまう可能性を減じることができる。

【0070】

図７はこの選出方法の一例を示す特徴空間の模式図であり、▲印は入力データ、標本データのうち対象データを●及び○印で、また非対象データを■及び□印で示している。このうち●及び■印は本手法で学習用データとして選出され得る候補であり、○及び□印は選出されないデータである。

【0071】

図７に示す選出方法では、空白領域の上限相違度として予め設定された疎隔値Ｔ_Ｄを用い、相違度が疎隔値Ｔ_Ｄ以上の対象データの中からＮ_Ｌ個をランダムに選出し、相違度が疎隔値Ｔ_Ｄ以上の非対象データの中からＭ_Ｌ個をランダムに選出する。この方法では簡単な方法でローカルデータにおける対象データ及び非対象データのそれぞれが偏りなく選出でき、ローカル識別器の識別精度が向上する。なお、距離値の代わりに正規化相関値の逆数を相違度としてもよい。

【0072】

図８は他の例を示す特徴空間の模式図であり、図に示す記号は図７と共通である。図８に示す選出方法では、相違度が疎隔値Ｔ_Ｄ以上の対象データと相違度が疎隔値Ｔ_Ｄより大きな非対象データとを比較して、Ｎ_Ｌ個の対象データ及びＭ_Ｌ個の非対象データを確保可能な相違度の範囲［Ｔ_ＭＩＮ，Ｔ_ＭＡＸ］を決定し、当該範囲の中からＮ_Ｌ個の対象データ及びＭ_Ｌ個の非対象データをランダムに選出する。この方法では規定数の学習用データを確実に確保でき、ローカル識別器の識別精度が向上する。

【0073】

なお、相違度が疎隔値Ｔ_Ｄ以上の対象データの中から相違度の分散を最大化するＮ_Ｌ個を選出し、相違度が疎隔値Ｔ_Ｄ以上の非対象データの中から相違度の分散を最大化するＭ_Ｌ個を選出してもよい。具体的には、選出するＮ_Ｌ個の対象データを変えながらこれらＮ_Ｌ個の相違度の分散を求め、先に求めた分散と比較することを繰り返すことで、相違度の分散を最大化するＮ_Ｌ個を選出する。非対象データについても同様にして分散の最大化を図る。

【0074】

《第２の実施形態》
本発明の第２の実施形態に係る画像センサー１では、本発明の特徴である、学習用データの選出及びそれに基づくローカル識別器の生成の中核処理が予め行われ、生成されたローカル識別器の構成情報を記憶部から読み出して各入力データに対応したローカル識別器を生成する。この点で第１の実施形態の画像センサー１と基本的に相違する。

【0075】

以下、第１の実施形態と同一の構成要素には同一の符号を付して第１の実施形態での説明を援用しここでの説明の簡素化を図ることとし、主に、第２の実施形態の画像センサー１が第１の実施形態と異なる点について説明する。

【0076】

図９は第２の実施形態である画像センサー１の概略の機能ブロック図である。画像処理部４は、切り出し手段１０、特徴抽出手段１１、ローカル識別器生成手段１７及び入力データ識別手段１５として適宜動作する。記憶部３は識別器テーブル記憶手段１６として動作する。対象識別装置は、少なくとも識別器テーブル記憶手段１６、ローカル識別器生成手段１７及び入力データ識別手段１５を含む。

【0077】

識別器テーブル記憶手段１６は、入力データがとり得る範囲内の特徴データそれぞれに付与したインデックスと、当該インデックスを付与した特徴データの識別に適したローカル識別器の構成情報とを対応付けるテーブルである。各特徴データの識別に適したローカル識別器は、特徴空間における各点で表される特徴データ（特徴ベクトル）を仮想的な入力データとして第１の実施形態で説明した方法を適用して予め生成することができる。すなわち、識別器テーブル記憶手段１６に記載する構成情報は、対象を含むか否かが予め識別された複数の標本データの中から、インデックスを介して当該構成情報と対応付けられた特徴データとの相違度が疎隔値を超えない標本データを除外した残余の標本データの一部又は全部を用いた学習により生成された構成情報である。

【0078】

ローカル識別器は線形結合された識別関数で与えられ、その線形式の各項の係数のセットを識別器の構成情報とすることができる。なお、係数の個数は基本的には特徴量の次元数で定まるが、スパースコーディングや、主成分分析、独立成分分析などの手法を用いることで、実質的な係数の個数を減らすことができ、そのような手法により、識別器テーブル記憶手段１６に格納するテーブルのサイズを小さくすることができる。

【0079】

例えば、入力データがとり得る範囲は、特徴空間における標本データの分布範囲とすることができ、この範囲において、特徴空間の各次元を予め定めた間隔で離散化して得られる微小空間ごとに、当該微小空間を代表する特徴ベクトル定め、これに対応するローカル識別器の構成情報を求める。

【0080】

微小空間にはそれらを代表するインデックスを付与し、識別器テーブル記憶手段１６には当該インデックスとローカル識別器の構成情報とを対応付けたテーブルが格納される。

【0081】

ローカル識別器生成手段１７は、特徴抽出手段１１から入力データが入力されると、入力データと対応する特徴データを求め、求めた特徴データからそのインデックスを特定する。例えば、入力データとの距離が最も近い特徴データのインデックスを求める。そして、これをキーとして識別器テーブル記憶手段１６のテーブルを検索して当該インデックスに対応するローカル識別器の構成情報を読み出し、ローカル識別器を作る。

【0082】

入力データ識別手段１５は入力データをローカル識別器生成手段１７により生成されたローカル識別器に入力して、ローカル識別器により入力データが対象をが含むか否かを識別させる。対象が含まれていると識別された場合、入力データ識別手段１５は検知信号を生成して出力部５へ出力する。

【0083】

このテーブルに予めローカル識別器の構成情報を格納しておく構成は、入力データごとに学習用データの選出、及びローカル識別器の生成のための演算処理を省略することができ、画像センサー１の処理負荷が軽減され、処理速度が向上する効果がある。

【0084】

特に当該効果は、テーブルがグローバル識別器の出力値（スコア）をローカル識別器の構成情報に対応付けた場合に顕著となる。この場合には、テーブルは離散化されたスコアごとにローカル識別器の構成情報を格納する。対象識別装置は予め用意した標本データから予め生成されたグローバル識別器を有し、ローカル識別器生成手段１７は入力データに対してグローバル識別器のスコアを算出し、それに対応するインデックスを求めテーブルを検索する。

【0085】

この構成では、インデックスは１次元であるスコア軸を離散化して設定され、インデックスの数は多次元の空間を離散化する場合よりはるかに少なくなる。つまり、テーブルのサイズを小さくでき、記憶部３の容量を少なくできると共に画像処理部４におけるテーブルの検索処理時間を短縮できる。

【0086】

なお、グローバル識別器は例えば、その構成情報を識別器テーブル記憶手段１６に格納しておき、ローカル識別器生成手段１７が読み出して利用する構成とすることができる。

【0087】

［その他の変形例］
（１）入力データは、入力画像そのもの、入力画像の全体から特徴抽出手段１１により抽出した特徴量または切り出し手段１０が切り出した部分画像とすることもできる。

【0088】

撮影部２に代えて画像ファイルを格納している録画装置やコンピューターを接続し、過去に撮影された画像又はその特徴量を対象識別装置への入力データとしてもよい。

【0089】

さらに、入力データは画像に限らない。音響信号、マイクロ波センサー等のセンサー信号又はそれらの特徴量などとしてもよい。

【0090】

（２）上記実施形態では人の像と人以外の像を識別する例を示したが、対象はこれに限らない。例えば、入力データが画像又はその特徴量の場合は対象を人の顔、性別または車両などとすることができ、入力データが音響信号又はその特徴量の場合は対象を悲鳴などとすることができる。

【0091】

（３）上記実施形態では対象と非対象を識別する２クラス問題を例示したが、車種判定、文字認識、顔による個人識別などの多クラス問題にも適用できる。この場合、クラスのペアごとに学習データを選出して該ペア間のローカル識別境界を学習すればよい。

【0092】

（４）上記第１の実施形態では、標本データ記憶手段１２が記憶している全ての標本データを用いてグローバル識別器、グローバル識別境界及び信頼度を学習しておくとしたが、記憶している標本データ数と学習に用いた標本データ数とは異なっていてもよく、Ｎ_Ｌ個より十分多い個数の対象データ及びＭ_Ｌ個より十分多い個数の非対象データを用いて学習しておけばよい。例えば、グローバル識別器、グローバル識別境界及び信頼度の学習後に、標本データ記憶手段１２に新たな標本データを追記してローカル識別器の生成に利用可能なデータを増やす運用などが考えられる。要するにグローバル識別器、グローバル識別境界及び信頼度は入力データの近傍の標本データを除外した学習によって生成できない代わりに、ローカル識別器の学習用データよりも多くの標本データを用いて予めの学習により生成しておける点が重要である。

【0093】

なお、この場合、標本データの追記と共に当該標本データの第１距離値を算出して距離値記憶手段に追記しておく。

【0094】

（５）上記実施形態では、対象識別装置が入力データの全てに対してローカル識別器を生成または読み出し、当該ローカル識別器により入力データを識別したが、別の実施形態において対象識別装置はグローバル識別境界付近の入力データに限定してローカル識別器を用い、その他の入力データに対してはグローバル識別器により入力データを識別することで識別精度を維持しつつ計算量を削減する。

【0095】

すなわち、対象識別装置はまずグローバル識別器に入力データを入力して、出力値であるスコア（グローバル・スコア）の絶対値｜Ｓ_Ｇ｜を予め定めた閾値Ｔ_Ｓと比較する。｜Ｓ_Ｇ｜＞Ｔ_Ｓの場合、対象識別装置はＳ_Ｇに基づき入力データが対象を含むか否かを識別する。例えばＳ_Ｇ＞０であれば対象を含み、Ｓ_Ｇ≦０であれば対象を含まないと識別する。他方、｜Ｓ_Ｇ｜≦Ｔ_Ｓの場合、対象識別装置は上述したように入力データに対応してローカル識別器を生成または読み出して、当該ローカル識別器により入力データを識別する。

【符号の説明】

【0096】

１ 画像センサー、２ 撮影部、３ 記憶部、４ 画像処理部、５ 出力部、１０ 切り出し手段、１１ 特徴抽出手段、１２ 標本データ記憶手段、１３ 学習用データ選出手段、１４，１７ ローカル識別器生成手段、１５ 入力データ識別手段、１６ 識別器テーブル記憶手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】