特開 2015-88168 学習サンプル生成装置、学習サンプル生成プログラム、及び自動認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-88168(P2015-88168A)

(43)【公開日】2015年5月7日

(54)【発明の名称】学習サンプル生成装置、学習サンプル生成プログラム、及び自動認識装置

(51)【国際特許分類】

   G06T 7/00 20060101AFI20150410BHJP

【ＦＩ】

   G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【全頁数】19

(21)【出願番号】特願2014-133657(P2014-133657)

(22)【出願日】2014年6月30日

(31)【優先権主張番号】特願2013-197750(P2013-197750)

(32)【優先日】2013年9月25日

(33)【優先権主張国】JP

(71)【出願人】

【識別番号】390023249

【氏名又は名称】国際航業株式会社

(74)【代理人】

【識別番号】100158883

【弁理士】

【氏名又は名称】甲斐 哲平

(72)【発明者】

【氏名】武田 浩志

(72)【発明者】

【氏名】藤吉 弘亘

(72)【発明者】

【氏名】山内 悠嗣

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA24

5L096FA66

5L096JA22

5L096KA04

(57)【要約】

【課題】本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち多大な労力を伴うことなく従来よりも高い確度で抽出結果を得ることができ、しかもポジティブサンプル／ネガティブサンプルの判断を必要とすることなく、学習サンプルを作成する技術を提供することであり、具体的には、一つの学習サンプルを作成するだけでその周辺に多くの学習サンプルを自動生成することのできる学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムを提供することである。
【解決手段】本願発明の学習サンプル生成装置は、画像を表示する表示手段と、特定点入力手段、主学習サンプル生成手段、従学習サンプル生成手段、記憶手段を備えたものである。このうち主学習サンプル生成手段は、特定点に基づいてオブジェクトを含む主領域を設定し、その領域を構成する画素の集合を主学習サンプルとして生成する手段である。
【選択図】図２

【特許請求の範囲】

【請求項1】

任意の画像から所定の対象物を自動認識するために用いられる学習サンプルを生成する装置において、
画像を表示する表示手段と、
前記表示手段で表示された画像から、前記対象物を特定する特定点を入力する特定点入力手段と、
前記特定点に基づいて、前記対象物を含む領域である主領域を設定し、該主領域を構成する画素の集合を主学習サンプルとして生成する主学習サンプル生成手段と、
前記主学習サンプルの周囲に、複数の従学習サンプルを生成する従学習サンプル生成手段と、
前記主学習サンプル及び前記従学習サンプルを、前記対象物のポジティブサンプルとして記憶するポジティブサンプル記憶手段と、を備え、
前記従学習サンプル生成手段は、前記主領域を所定距離だけ移動させた従領域を設定するとともに、該従領域を構成する画素の集合を前記従学習サンプルとして生成する、ことを特徴とする学習サンプル生成装置。

【請求項2】

前記従学習サンプルの周囲に複数のネガティブサンプルを生成するネガティブサンプル生成手段と、
前記ネガティブサンプルを、前記対象物のネガティブサンプルとして記憶するネガティブサンプル記憶手段と、を備え、
前記ネガティブサンプル生成手段は、前記主領域を所定距離だけ移動させたネガティブサンプル領域を設定するとともに、該ネガティブサンプル領域を構成する画素の集合を前記ネガティブサンプルとして生成し、
前記ネガティブサンプル領域と前記主領域との離隔は、前記従領域と前記主領域との離隔よりも大きく設定された、ことを特徴とする請求項１記載の学習サンプル生成装置。

【請求項3】

前記対象物のネガティブサンプルを生成するネガティブサンプル生成手段と、該ネガティブサンプルを記憶するネガティブサンプル記憶手段と、を備え、
前記ネガティブサンプル生成手段は、前記対象物の一部又は全部を含む近傍ネガティブサンプルを生成する近傍ネガティブサンプル生成手段と、前記対象物を含まない背景ネガティブサンプルを生成する背景ネガティブサンプル生成手段を有し、
前記近傍ネガティブサンプル生成手段は、前記主領域を所定距離だけ２以上の方向に移動させて、前記主領域の周辺に２以上の近傍ネガティブサンプル領域を設定し、
さらに前記近傍ネガティブサンプル生成手段は、前記２以上の近傍ネガティブサンプル領域に、それぞれ異なる領域として分類する分類識別子を付与するとともに、該近傍ネガティブサンプル領域を構成する画素の集合をそれぞれ前記近傍ネガティブサンプルとして生成し、
前記ネガティブサンプル記憶手段は、前記近傍ネガティブサンプルと前記背景ネガティブサンプルをそれぞれ別のネガティブサンプルとして記憶するとともに、異なる分類識別子を具備する前記近傍ネガティブサンプルはそれぞれ別のネガティブサンプルとして記憶し、
前記近傍ネガティブサンプル領域と前記主領域との離隔は、前記従領域と前記主領域との離隔よりも大きく設定された、ことを特徴とする請求項１又は請求項２記載の学習サンプル生成装置。

【請求項4】

前記近傍ネガティブサンプル生成手段は、生成された前記近傍ネガティブサンプルを左右反転させて、新たに反転した近傍ネガティブサンプルを生成し、
さらに前記近傍ネガティブサンプル生成手段は、前記反転した近傍ネガティブサンプルに対応する前記近傍ネガティブサンプル領域が設定されているときは、該近傍ネガティブサンプル領域が具備する前記分類識別子を、当該反転した近傍ネガティブサンプルに付与する、ことを特徴とする請求項３記載の学習サンプル生成装置。

【請求項5】

コンピュータで実行されることにより、複数の画像から所定の対象物を自動認識するために用いられる学習サンプルを生成するプログラムにおいて、
表示手段で表示された画像に基づいて入力された、前記対象物を特定する特定点を記憶させる特定点記憶処理と、
前記特定点に基づいて、前記対象物を含む領域である主領域を設定し、該主領域を構成する画素の集合を主学習サンプルとして生成する主学習サンプル生成処理と、
前記主学習サンプルの周囲に、複数の従学習サンプルを生成する従学習サンプル生成処理と、
前記主学習サンプル及び前記従学習サンプルを、前記対象物のポジティブサンプルとして記憶させるポジティブサンプル記憶処理と、を前記コンピュータに実行させる機能を備え、
前記主学習サンプル生成処理は、前記主領域を所定距離だけ移動させた従領域を設定するとともに、該従領域を構成する画素の集合を前記従学習サンプルとして生成する、ことを特徴とする学習サンプル生成プログラム。

【請求項6】

前記従学習サンプルの周囲に複数のネガティブサンプルを生成するネガティブサンプル生成処理と、
前記ネガティブサンプルを、前記対象物のネガティブサンプルとして記憶させるネガティブサンプル記憶処理と、を前記コンピュータに実行させる機能を備え、
前記ネガティブサンプル生成処理は、前記主領域を所定距離だけ移動させたネガティブサンプル領域を設定するとともに、該ネガティブサンプル領域を構成する画素の集合を前記ネガティブサンプルとして生成し、
前記ネガティブサンプル領域と前記主領域との離隔は、前記従領域と前記主領域との離隔よりも大きく設定された、ことを特徴とする請求項５記載の学習サンプル生成プログラム。

【請求項7】

前記対象物のネガティブサンプルを生成するネガティブサンプル生成処理と、該ネガティブサンプルを記憶させるネガティブサンプル記憶処理と、を前記コンピュータに実行させる機能を備え、
前記ネガティブサンプル生成処理は、前記対象物の一部又は全部を含む近傍ネガティブサンプルを生成する近傍ネガティブサンプル生成処理と、前記対象物を含まない背景ネガティブサンプルを生成する背景ネガティブサンプル生成処理を含み、
前記近傍ネガティブサンプル生成処理は、前記主領域を所定距離だけ２以上の方向に移動させて、前記主領域の周辺に２以上の近傍ネガティブサンプル領域を設定し、
さらに前記近傍ネガティブサンプル生成処理は、前記２以上の近傍ネガティブサンプル領域に、それぞれ異なる領域として分類する分類識別子を付与するとともに、該近傍ネガティブサンプル領域を構成する画素の集合をそれぞれ前記近傍ネガティブサンプルとして生成し、
前記ネガティブサンプル記憶処理は、前記近傍ネガティブサンプルと前記背景ネガティブサンプルをそれぞれ別のネガティブサンプルとして記憶させるとともに、異なる分類識別子を具備する前記近傍ネガティブサンプルはそれぞれ別のネガティブサンプルとして記憶させ、
前記近傍ネガティブサンプル領域と前記主領域との離隔は、前記従領域と前記主領域との離隔よりも大きく設定された、ことを特徴とする請求項５又は請求項６記載の学習サンプル生成プログラム。

【請求項8】

前記近傍ネガティブサンプル生成処理は、生成された前記近傍ネガティブサンプルを左右反転させて、新たに反転した近傍ネガティブサンプルを生成し、
さらに前記近傍ネガティブサンプル生成処理は、前記反転した近傍ネガティブサンプルに対応する前記近傍ネガティブサンプル領域が設定されているときは、該近傍ネガティブサンプル領域が具備する前記分類識別子を、当該反転した近傍ネガティブサンプルに、付与する、ことを特徴とする請求項７記載の学習サンプル生成プログラム。

【請求項9】

任意の画像から所定の対象物を自動認識する自動認識装置において、
前記対象物のポジティブサンプル、及び前記対象物のネガティブサンプルを処理することによって、該ポジティブサンプルと該ネガティブサンプルの識別境界を設定するサンプル学習手段と、
前記識別境界に基づいて、任意の画像から前記対象物を識別する識別手段と、を備え、
前記ポジティブサンプルは、主学習サンプルと従学習サンプルからなり、
前記ネガティブサンプルは、前記対象物の一部又は全部を含む近傍ネガティブサンプルと、前記対象物を含まない背景ネガティブサンプルからなり、
前記主学習サンプルは、前記対象物を含む領域である主領域を構成する画素の集合であり、
前記従学習サンプルは、前記主領域を所定距離だけ移動させた従領域を構成する画素の集合であり、
前記近傍ネガティブサンプルは、前記主領域を所定距離だけ移動させた近傍ネガティブサンプル領域を構成する画素の集合であり、
前記主領域からの移動方向が異なる前記近傍ネガティブサンプは、それぞれ異なる領域として異なる分類識別子を具備し、
前記サンプル学習手段は、前記近傍ネガティブサンプルと前記背景ネガティブサンプルとの識別境界を設定するととともに、異なる分類識別子を具備する前記近傍ネガティブサンプルどうしの識別境界を設定し、
前記近傍ネガティブサンプル領域と前記主領域との離隔は、前記従領域と前記主領域との離隔よりも大きく設定された、ことを特徴とする自動認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、画像認識の技術に関するものであり、より具体的には、人や自動車、自転車、電柱、ポストなどある特定の対象を画像から自動認識するために用いられる学習サンプルを生成することのできる学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムに関するものである。

【背景技術】

【0002】

近年、計測技術の発達に伴い、例えば沿道状況を写した画像を位置情報とともに扱うことができる仕組みが提供されている。モバイルマッピングシステム（以下、「ＭＭＳ」という。）もその一つで、全方位カメラや、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位計、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの慣性計測装置を装備した移動車で計測を行う仕組みである。具体的にはこの移動車で移動しながら、沿道状況の写真（例えば、パノラマ写真）を一定間隔で撮影し、しかも撮影時における撮影位置（座標）や撮影方向も同時に取得する。ＭＭＳで取得される多数の写真は球座標系に展開されることもあり、これを利用すれば移動車から見る沿道状況をディスプレイで再現することができる。

【0003】

ＭＭＳで取得されるパノラマ画像は位置座標も備えていることから、様々な場面で利用されており、閲覧される機会も増えてきた。ところで不特定の人が閲覧する場合、所定の対象物（以下、「オブジェクト」ともいう。）は隠すか、あるいは不鮮明な状態で閲覧させたいケースがある。例えば、個人を特定できる人の画像を閲覧させると、その個人がその時間その場所に居たことを図らずも証明することになり、プライバシー保護の観点から不都合なこともある。このような場合、人の画像は不鮮明とした状態で提供するよう要望されることが多い。

【0004】

ところが、ＭＭＳでは１〜３ｍ進むたびに（又は数秒間ごとに）撮影することから大量の画像が取得され、しかも取得したパノラマ画像には沿道に居る全ての人が収められる。つまり、人の画像を不鮮明にする処理を行うためには、大量のパノラマ画像に写る全ての人を漏れなく抽出する必要があり、これを人手によって処理する場合、著しく多大な労力が必要とされるうえ、いわゆるヒューマンエラーによる抽出漏れが生ずるおそれもある。

【0005】

昨今では、このように大量の画像から特定のオブジェクトを抽出する場合、コンピュータを利用した自動認識技術の利用が主流となっている。あらかじめ、オブジェクトを含む種々の画像から、そのオブジェクトの特徴量（色や形状などを定量化したもの）を記憶し、この記憶した特徴量に基づいて特定のオブジェクトを抽出する。換言すれば、オブジェクトの画像パターンを学習し、その学習結果によって目的のオブジェクトを自動的に認識する訳である。

【0006】

オブジェクトを自動認識するために記憶するデータは「学習サンプル」と言われ、より精度良く、つまり高い確度で（高いロバスト性で）オブジェクトを自動認識するためには多くの学習サンプルを記憶する必要がある。例えば、画像中の人を自動認識する場合、１，０００人を超える学習サンプルが必要であると言われている。また、そのオブジェクトの画像（「正事例」と言われることもあるが、ここでは、「ポジティブサンプル」という。）を記憶するだけでなく、そのオブジェクトではない画像（「負事例」と言われることもあるが、ここでは、「ネガティブサンプル」という。）を記憶すると、さらに認識精度が上がる。特に、ポジティブサンプルの周辺にあるネガティブサンプルを用意すると、より良い結果が得られるとされている。なお、「ポジティブサンプル」や「ネガティブサンプル」という用語は、非特許文献１にも示すように、本願発明の技術分野において現在一般的に使用されている。

【0007】

いずれにしろ、高い確度でオブジェクトを自動認識するためには膨大な量の学習サンプルを用意する必要がある。この学習サンプルは、自動認識するための基礎データであるから、当然人の手によって作成することになる。画像から適当なオブジェクトを探し、これを抽出し、ポジティブサンプルとして記憶させる、という一連の作業を相当数（例えば１，０００人以上）繰り返す。そのうえ、高い確度で自動抽出しようとすれば、ポジティブサンプルに加えてさらに数多くのネガティブサンプル（特にポジティブサンプルの周辺にあるもの）を用意しなければならない。つまり、自動認識技術は著しく多大な労力を避けるために採用される訳であるが、高い確度で結果を得るためには、結局、学習サンプル作成のため多大な労力が必要になる。このような背景のもと、多大な労力を伴うことなく高い確度で抽出結果を得ることができる技術が望まれてきた。

【0008】

そこで特許文献１では、ウェブ上で収集した任意の画像から自動的に学習サンプルを作成する技術について提案している。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１２−０２２４１９号公報

【0010】

【非特許文献1】「統計的学習手法による物体検出の高精度化と効率化 −人検出の実用化に向けて−」 （情報処理学会研究報告 Ｖｏｌ．２０１３−ＣＶＩＭ−１８６ Ｎｏ．２６ ２０１３／３／１５）

【発明の概要】

【発明が解決しようとする課題】

【0011】

特許文献１は、ウェブ上でテキスト検索した結果得られる画像から、適切な学習サンプルを選出する技術であり、いわば選別する手法であって自ら積極的に学習サンプルを作成するものではない。ましてや、自動的にポジティブサンプルとネガティブサンプルを分類して学習サンプルを作成することはない。したがって、例えばＭＭＳで取得されるパノラマ画像から自発的に多くの学習サンプルを作成する場合、特許文献１を利用することはできず、多大な労力を必要とするうえに、ポジティブサンプルかネガティブサンプルの分類は人によって判断しなければならないため誤りも生じやすい。

【0012】

本願発明の課題は、上記問題を解決することであり、すなわち多大な労力を伴うことなく従来よりも高い確度で抽出結果を得ることができ、しかもポジティブサンプル／ネガティブサンプルの判断を必要とすることなく、学習サンプルを作成する技術を提供することであり、具体的には、一つの学習サンプルを作成するだけでその周辺に多くの学習サンプルを自動生成することのできる学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムを提供することである。

【課題を解決するための手段】

【0013】

本願発明は、ポジティブサンプルの学習サンプルを短い距離だけ移動させた画像もやはりポジティブサンプルとして利用でき、ある程度長い距離だけ移動させた画像はネガティブサンプルとして利用できるという点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

【0014】

本願発明の学習サンプル生成装置は、画像を表示する表示手段と、特定点入力手段、主学習サンプル生成手段、従学習サンプル生成手段、ポジティブサンプル記憶手段を備えたものである。このうち特定点入力手段は、表示手段で表示された画像から所定オブジェクトを特定する特定点を入力する手段であり、主学習サンプル生成手段は、特定点に基づいてオブジェクトを含む主領域を設定し、その領域を構成する画素の集合を主学習サンプルとして生成する手段である。また従学習サンプル生成手段は、主学習サンプルの周囲に複数の従学習サンプルを生成する手段で、ポジティブサンプル記憶手段は、学習サンプル及び従学習サンプルをオブジェクトのポジティブサンプルとして記憶する。なお、従学習サンプル生成手段は、主領域を所定距離だけ移動させた従領域を設定するとともに、この領域を構成する画素の集合を従学習サンプルとして生成する。

【0015】

本願発明の学習サンプル生成装置は、ネガティブサンプル生成手段とネガティブサンプル記憶手段を備えたものとすることもできる。このネガティブサンプル生成手段は、従学習サンプルの周囲に複数のネガティブサンプルを生成するものであり、ネガティブサンプル記憶手段は、ネガティブサンプルをオブジェクトのネガティブサンプルとして記憶する。なお、ネガティブサンプル生成手段は、主領域を所定距離だけ移動させたネガティブサンプル領域を設定するとともに、この領域を構成する画素の集合をネガティブサンプルとして生成する。ただし、ネガティブサンプル領域と主領域との離隔は、従領域と主領域との離隔よりも大きく設定される。

【0016】

本願発明の学習サンプル生成装置は、オブジェクトのネガティブサンプルを生成するネガティブサンプル生成手段と、このネガティブサンプルを記憶するネガティブサンプル記憶手段を備えたものとすることもできる。ネガティブサンプル生成手段は、近傍ネガティブサンプル（オブジェクトの一部又は全部を含む）を生成する近傍ネガティブサンプル生成手段と、背景ネガティブサンプル（オブジェクトを含まない）を生成する背景ネガティブサンプル生成手段を有している。近傍ネガティブサンプル生成手段は、主領域を所定距離だけ２以上の方向に移動させて、主領域の周辺に２以上の近傍ネガティブサンプル領域を設定する。そして、これら２以上の近傍ネガティブサンプル領域に、それぞれ異なる領域として分類する分類識別子を付与し、近傍ネガティブサンプル領域を構成する画素の集合をそれぞれ近傍ネガティブサンプルとして生成する。ネガティブサンプル記憶手段は、近傍ネガティブサンプルと背景ネガティブサンプルをそれぞれ別のネガティブサンプルとして記憶するとともに、異なる分類識別子を具備する近傍ネガティブサンプルはそれぞれ別のネガティブサンプルとして記憶する。ただし、近傍ネガティブサンプル領域と主領域との離隔は、従領域と主領域との離隔よりも大きく設定される。

【0017】

本願発明の学習サンプル生成装置は、近傍ネガティブサンプルを左右反転させて、新たに反転した近傍ネガティブサンプルを生成する、近傍ネガティブサンプル生成手段を備えたものとすることもできる。この場合の近傍ネガティブサンプル生成手段は、反転した近傍ネガティブサンプルに対応する近傍ネガティブサンプル領域が設定されているときは、この近傍ネガティブサンプル領域が具備する分類識別子を、反転した近傍ネガティブサンプルに付与する。

【0018】

本願発明の学習サンプル生成プログラムは、特定点記憶処理と、主学習サンプル生成処理、従学習サンプル生成処理、ポジティブサンプル記憶処理をコンピュータに実行させる機能を備えたものである。このうち特定点記憶処理は、表示手段で表示された画像に基づいて入力された、オブジェクトを特定する特定点を記憶させ、主学習サンプル生成処理は、特定点に基づいてオブジェクトを含む主領域を設定し、この領域を構成する画素の集合を主学習サンプルとして生成する。従学習サンプル生成処理は、主学習サンプルの周囲に複数の従学習サンプルを生成し、ポジティブサンプル記憶処理は、主学習サンプル及び従学習サンプルをオブジェクトのポジティブサンプルとして記憶させる。なお、主学習サンプル生成処理は、主領域を所定距離だけ移動させた従領域を設定するとともに、この領域を構成する画素の集合を従学習サンプルとして生成する。

【0019】

本願発明の学習サンプル生成プログラムは、ネガティブサンプル生成処理とネガティブサンプル記憶処理をコンピュータに実行させる機能を備えたものとすることもできる。このネガティブサンプル生成処理は、従学習サンプルの周囲に複数のネガティブサンプルを生成するものであり、ネガティブサンプル記憶処理は、ネガティブサンプルをオブジェクトのネガティブサンプルとして記憶させる。なお、ネガティブサンプル生成処理は、主領域を所定距離だけ移動させたネガティブサンプル領域を設定するとともに、この領域を構成する画素の集合をネガティブサンプルとして生成する。ただし、ネガティブサンプル領域と主領域との離隔は、従領域と主領域との離隔よりも大きく設定される。

【0020】

本願発明の学習サンプル生成プログラムは、オブジェクトのネガティブサンプルを生成するネガティブサンプル生成処理と、このネガティブサンプルを記憶させるネガティブサンプル記憶処理をコンピュータに実行させる機能を備えたものとすることもできる。ネガティブサンプル生成処理は、近傍ネガティブサンプル（オブジェクトの一部又は全部を含む）を生成する近傍ネガティブサンプル生成処理と、背景ネガティブサンプル（オブジェクトを含まない）を生成する背景ネガティブサンプル生成処理を含む。近傍ネガティブサンプル生成処理は、主領域を所定距離だけ２以上の方向に移動させて、主領域の周辺に２以上の近傍ネガティブサンプル領域を設定する。そして、これら２以上の近傍ネガティブサンプル領域に、それぞれ異なる領域として分類する分類識別子を付与し、近傍ネガティブサンプル領域を構成する画素の集合をそれぞれ近傍ネガティブサンプルとして生成する。ネガティブサンプル記憶処理は、近傍ネガティブサンプルと背景ネガティブサンプルをそれぞれ別のネガティブサンプルとして記憶させるとともに、異なる分類識別子を具備する近傍ネガティブサンプルはそれぞれ別のネガティブサンプルとして記憶させる。ただし、近傍ネガティブサンプル領域と主領域との離隔は、従領域と主領域との離隔よりも大きく設定される。

【0021】

本願発明の学習サンプル生成プログラムは、近傍ネガティブサンプルを左右反転させて、新たに反転した近傍ネガティブサンプルを生成する、近傍ネガティブサンプル生成処理を備えたものとすることもできる。この場合の近傍ネガティブサンプル生成処理は、反転した近傍ネガティブサンプルに対応する近傍ネガティブサンプル領域が設定されているときは、この近傍ネガティブサンプル領域が具備する分類識別子を、反転した近傍ネガティブサンプルに付与する。

【0022】

本願発明の自動認識装置は、任意の画像から所定のオブジェクトを自動認識するものであり、サンプル学習手段と、識別手段を備えたものである。このうちサンプル学習手段は、オブジェクトのポジティブサンプル、及びオブジェクトのネガティブサンプルを数多く処理することによって、ポジティブサンプルとネガティブサンプルの識別境界を設定する。また識別手段は、設定された識別境界に基づいて、任意の画像から目的のオブジェクトを識別する。なお、ポジティブサンプルは、主学習サンプルと従学習サンプルからなり、ネガティブサンプルは、近傍ネガティブサンプル（オブジェクトの一部又は全部を含む）と背景ネガティブサンプル（オブジェクトを含まない）からなる。また主学習サンプルは、オブジェクトを含む領域である主領域を構成する画素の集合であり、従学習サンプルは、主領域を所定距離だけ移動させた従領域を構成する画素の集合である。さらに近傍ネガティブサンプルは、主領域を所定距離だけ移動させた近傍ネガティブサンプル領域を構成する画素の集合である。主領域からの移動方向が異なる近傍ネガティブサンプは、それぞれ異なる領域として扱われ、それぞれ異なる分類識別子を具備する。この場合のサンプル学習手段は、近傍ネガティブサンプルと背景ネガティブサンプルとの識別境界を設定するととともに、異なる分類識別子を具備する近傍ネガティブサンプルどうしの識別境界を設定する。ただし、近傍ネガティブサンプル領域と主領域との離隔は、従領域と主領域との離隔よりも大きく設定される。

【発明の効果】

【0023】

本願発明の学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムには、次のような効果がある。
（１）画像中に目的のオブジェクトを探し出す必要はあるものの、オブジェクトのうち特定の点を指定するだけで一つの学習サンプルが自動生成され、さらにその周辺に多数の学習サンプルが自動生成される。したがって、学習サンプル作成にかかる労力が従来に比べると飛躍的に軽減される。
（２）特定点を指定することで一つの学習サンプルが自動生成されると、自動的に複数のポジティブサンプルが作成されるとともに、自動的に複数のネガティブサンプルが作成される。つまり、人がポジティブサンプルとネガティブサンプルを分類する必要がなく、この点でも労力軽減が図られる。
（３）自動的に多数の学習サンプルが作成できるうえ、ポジティブサンプルとネガティブサンプルの両方が相当数用意される結果、目的のオブジェクトをより高い確度で自動抽出することができる。

【0024】

本願発明の学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムは、複数のオブジェクトを扱うことも可能であり、この場合、上記効果がより顕著に表れる。通常、画像に含まれるオブジェクトには種別の多様性（人，車・・・，背景）があり、しかもそれぞれの種別を細分する多様性（例えば、人に関しては服装，色，体格，性別など、車に関しては車種，色，大きさ，見た目の角度など）もある。そこで、例えば人と車の複数の種別を選択するとともに、同一種別内の多様なサンプルを選択し、それぞれのサンプルに対して本願発明を適用すると、上記効果は極めて顕著に表れる。

【図面の簡単な説明】

【0025】

【図1】本願発明の主な処理の流れを示すフロー図。

【図2】本願発明の学習サンプル生成装置を説明するブロック図。

【図3】ＭＭＳで取得した画像に含まれる「人」に対して特定点を指定し、その特定点に基づいて主学習サンプルが生成される状況を説明するモデル図。

【図4】主領域を基準に従領域が設定される状況を示すモデル図で、（ａ）は主領域に対して左下にシフトして設定された従領域を示すモデル図、（ｂ）は主領域に対して右上にシフトして設定された従領域を示すモデル図。

【図5】主領域中心点を基準に許容範囲を定め、この許容範囲内に中心をもつ従領域を示すモデル図。

【図6】主領域を基準にネガティブサンプル領域が設定される状況を示すモデル図。

【図7】ネガティブサンプルから生成された近傍ネガティブサンプルと背景ネガティブサンプルを、ネガティブサンプル記憶手段に記憶することを示すモデル図。

【図8】主領域の周辺に生成された、複数の近傍ネガティブサンプルを示すモデル図。

【図9】（ａ）は反転前の近傍ネガティブサンプルを示すモデル図、（ｂ）は反転後の近傍ネガティブサンプルを示すモデル図。

【発明を実施するための形態】

【0026】

本願発明の学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムの実施形態の一例を、図に基づいて説明する。

【0027】

１．全体概要
図１は、本願発明の主な処理の流れを示すフロー図である。まずはこのフロー図を参考に、本願発明の全体概要について説明する。

【0028】

はじめに、学習サンプルを作成しようとする目的のオブジェクトを含む複数の画像を用意する。なお、ここでは目的のオブジェクトを「人」の場合で説明するが、もちろん本願発明では人以外（例えば、自動車や自転車、電柱、ポストなど）のオブジェクトを選択することもできる。用意した画像をディスプレイ等の表示手段で表示し（Ｓｔｅｐ１０）、表示された画像から人を抽出する（Ｓｔｅｐ２０）。このとき、画像中にある任意の人を選出できるが、例えば全身が写された人といった具合に一つの規則のもと選出するとよい。

【0029】

画像中の人を抽出できると、その人の画像のうち特定の点（以下、「特定点」という。）を指定する（Ｓｔｅｐ３０）。特定点は、一人の人に対して１点とすることもできるし、頭部と足元の２点など複数の特定点を指定することもできる。また、特定点の指定は、ディスプレイ上の画像を確認しながら、マウス等のポインティングデバイスで入力するとよい。

【0030】

ここまでの処理は、オペレータの操作によって行われるが、以降はコンピュータでプログラムを実行することによって処理される。Ｓｔｅｐ４０では主学習サンプルが作成される。具体的には、指定された特定点を基準として所定の領域（以下、「主領域」という。）を設定する（Ｓｔｅｐ４１）。この主領域は、画像中の人を含み、しかも所定の余裕（バッファ）を有する範囲であって、あらかじめ定められた形状である。その形状は、例えば事前に設定した縦横比の長方形とすることができる。主領域が設定できると、その中に含まれる画素を抽出し、その集合を主学習サンプルとする（Ｓｔｅｐ４２）。

【0031】

次のＳｔｅｐ５０では従学習サンプルが作成される。具体的には、Ｓｔｅｐ４１で設定した対象物領域を所定量だけ移動させた領域（以下、「従領域」という。）を設定する（Ｓｔｅｐ５１）。この従領域は、主領域と同じ大きさ・形状の領域であるが、主領域とは位置が異なるものである。つまり、主領域と従領域の間には、所定の移動量分の離れ（以下、「離隔」という。）が生じている。ここで所定の移動量（つまり離隔）とは、あらかじめ定められるもので、例えば「右に５画素分と上方に５画素分」など画素単位で設定するとよい。従領域が設定できると、その中に含まれる画素を抽出し、その集合を従学習サンプルとする（Ｓｔｅｐ５２）。

【0032】

なお、一つの主学習サンプルに対して複数の従学習サンプルを生成することができる。この場合、従領域は主領域の周辺に複数設定され、例えば離隔を５画素単位とした場合は主領域の周辺に４つの従領域が設定され、離隔を５画素単位及び１０画単位とした場合は主領域の周辺に８つの従領域が設定される。そして、すべての従領域に対して従学習サンプルが生成される。図１のフローではＮ個の従学習サンプルが生成される例を示している。

【0033】

一つの画像に対して一連の処理（Ｓｔｅｐ１０〜Ｓｔｅｐ５０）が行われ、主学習サンプルと従学習サンプルが生成できると、異なる画像に対して再度一連の処理を行う。これを必要な画像の数だけ繰り返し、それぞれの画像に対して主学習サンプルと従学習サンプルを得る。なお、一つの画像内に選出すべき人が複数含まれる場合は、Ｓｔｅｐ２０〜Ｓｔｅｐ５０が繰り返されることになる。また、人に加えて人以外の物（例えば車など）をオブジェクトとする場合、やはり同じ画像に対して一連の処理（Ｓｔｅｐ２０〜Ｓｔｅｐ５０）を繰り返し行い、学習サンプル（主学習サンプル及び従学習サンプル）を生成する。

【0034】

必要数の主学習サンプルと従学習サンプルが得られると、これらをまとめてポジティブサンプルとして記憶する（Ｓｔｅｐ６０）。

【0035】

次に、本願発明の学習サンプル生成装置の主な構成について説明する。図２は、本願発明の学習サンプル生成装置１００を説明するブロック図である。画像記憶手段１０１は、例えばＭＭＳで取得した沿道状況の画像を記憶する。ここで記憶した画像の中から選択した画像を表示するのが表示手段１０２である。特定点入力手段１０３は、オブジェクト（ここでは人）の特徴となる特定点を指定するもので、既述のとおりマウス等のポインティングデバイスが利用される。ここで指定された特定点の情報（特に画像中の座標）は一時的に記憶され、主学習サンプル生成手段１０４に引き渡される。主学習サンプル生成手段１０４は、既述した処理（主領域の設定〜主領域内の画素抽出）によって主学習サンプルを生成するものである。ここで設定された主領域は、従学習サンプル生成手段１０５に引き渡され、既述した処理（従領域の設定〜従領域内の画素抽出）によって従学習サンプルが生成される。生成された主学習サンプルと従学習サンプルは、ポジティブサンプルとしてポジティブサンプル記憶手段１０６に記憶される。

【0036】

ネガティブサンプル生成手段１０７は、ネガティブサンプルを生成するものである。後述するように、ネガティブサンプルとは「オブジェクトではない」データであり、従学習サンプルと同様、主領域を基に生成される。ネガティブサンプルを生成するときの移動量（つまり離隔）は、従学習サンプルの離隔より大きく設定される。つまり、主学習サンプルから大きく離れた位置にある画像は、たとえオブジェクトの一部を含んでいたとしても、もはやオブジェクトを表す画像ではないと考える訳である。ネガティブサンプル生成手段１０７で生成されたネガティブサンプルは、ネガティブサンプル記憶手段１０８に記憶される。

【0037】

ポジティブサンプル記憶手段１０６に記憶されたポジティブサンプルと、ネガティブサンプル記憶手段１０８に記憶されたネガティブサンプルは、自動認識装置２００で利用される。自動認識装置２００は、ポジティブサンプル及びネガティブサンプルから人の特徴量を記憶し、これに基づいて所定の画像から人のみを自動的に検出していく。ここで検出された人の画像は、オブジェクト画像記憶手段で記憶される。なお自動認識装置２００は、本願発明の学習サンプル生成装置１００とは別の装置として構築することもできるし、学習サンプル生成装置１００の一部として構築することもできる。

【0038】

以下、学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムを構成する主な要素ごとに詳述する。

【0039】

２．主学習サンプル
図３は、ＭＭＳで取得した画像に含まれる「人」に対して特定点３００を指定し、その特定点３００に基づいて主学習サンプル４００が生成される状況を説明するモデル図である。図３のうち上方に示す図は、ＭＭＳによって取得された沿道状況を表す画像であり、この中には学習サンプル４００として適切なオブジェクト（人）が写されている。この画像を表示手段１０２で表示し、人に対して特定点３００を指定する。既述のとおり、一つのオブジェクトに対して１点の特定点３００を指定してもよいし、この図のように頭部と足元に１点ずつ特定点３００を指定してもよい。なお図３では、便宜上特定点を三角形の頂点で示しているが、画像に表示される目印はこれに限らず種々のものを用いることができる。

【0040】

特定点３００が指定できると、この特定点３００の画像上の座標を基準に主領域４１０が設定される。図３では、人の頭部で指定した特定点３００と、足元で指定した特定点３００によって上下方向の長さ（縦長さ）が決定され、その縦長さにあらかじめ定めた縦横比を乗じて横長さが決定される。なお、縦長さを決定する際、上下の特定点３００から求められる実寸法に所定の余裕長が上下ともに加えられ、いわゆるバッファが設けられる。また、縦横比は任意に設計することができるが、いくつかのサンプル画像を基に適切な値を採用するとよい。

【0041】

特定点３００を１点だけ指定した場合、主領域４１０の縦長さ、横長さ、特定点からのオフセットなどをあらかじめ定めておく。また、特定点３００を４点指定する場合は、その４点で構成される領域（４点を通過する４直線で形成される長方形）の周囲にバッファを設けて主領域４１０を設定する。いずれにしろ主領域４１０が設定されると、その中に含まれるすべての画素を抽出し、これら画素で構成される主学習サンプル４００を生成する。

【0042】

３．従学習サンプル
主学習サンプルは、一つのオブジェクト（人）に対して一つだけ生成される。一方の従学習サンプルは、一つのオブジェクトに対して複数生成される。図４は、主領域４１０を基準に従領域５１０が設定される状況を示すモデル図で、（ａ）は主領域４１０に対して左下にシフトした従領域５１０を示すモデル図、（ｂ）は主領域４１０に対して右上にシフトした従領域５１０を示すモデル図である。

【0043】

図４に示すように従領域５１０（図では太枠で示す）は、主領域４１０（図では網がけで示す）の一部を含みつつ、主領域４１０の周辺に設定される。具体的には、主領域４１０に対して離隔δｐ（横離隔δｐｘ、及び縦離隔δｐｙ）を設け、主領域４１０と同様の形状・寸法の領域（以下、定型領域）という。）で設定される。図４（ａ）では、主領域４１０から左方向に横離隔δｐｘ、下方向に縦離隔δｐｙを設けて従領域５１０が設定され、図４（ｂ）では、主領域４１０から右方向に横離隔δｐｘ、上方向に縦離隔δｐｙを設けて従領域５１０が設定されている。さらに、主領域４１０に対して左上にシフトした従領域５１０と、主領域４１０に対して右下にシフトした従領域５１０を設定することができ、つまり一つの（一組の）離隔δｐに対して４つの従領域５１０を設定することができる。

【0044】

離隔δｐは、既述のとおり画素単位で設定される。また、一つの主領域４１０に対して複数の離隔δｐを設定することもできる。例えば、第１の離隔δｐを横離隔δｐｘ＝５画素，縦離隔δｐｙ＝５画素とし、第２の離隔δｐを横離隔δｐｘ＝５画素，縦離隔δｐｙ＝１０画素とし、さらに第３の離隔δｐを横離隔δｐｘ＝１０画素，縦離隔δｐｙ＝５画素とすれば、一つの主領域４１０に対して１２の従領域５１０を設定することができる。なお、離隔δｐの大きさは定型領域の大きさに応じて設定することもでき、例えば、定型領域の画像サイズが横１００×縦２００画素であれば、その１０％を離隔δｐサイズ（つまり重複長さが９０％）とし、横離隔δｐｘ＝１０画素，縦離隔δｐｙ＝２０画素と設定することもできる。

【0045】

いずれにしろ従領域５１０は、その一部が主領域４１０と重複（オーバーラップ）するものであり、換言すれば主領域４１０と一部でも重複すれば（つまり重複率が０％でなければ）従領域５１０として扱うことができる。この重複率が大きい従学習サンプル５００ほど高い確度で抽出結果を得ることができるという点で好適であり、重複率が８０％以上であって離隔δｐサイズ（つまり、主領域４１０から従領域５１０を「ずらす」距離）が５％程度（より望ましくは１％以下）であれば、より好適な従学習サンプル５００となることが事前の試算により確認された。ただし、離隔δｐサイズを小さく（重複率を大きく）設定し、その離隔δｐサイズ刻みで数多くの従学習サンプル５００を作成すると、機会学習に係る処理速度に影響を及ぼすこととなる。したがって、離隔δｐサイズは状況に応じて適宜設計することが望ましい。

【0046】

従領域５１０は、主領域４１０の中心（図心）を基準に定められる許容範囲４２０に基づいて設定することもできる。図５は、主領域中心点４１０ａを基準に許容範囲４２０を定め、この許容範囲４２０内に中心（図心）をもつ従領域５１０を示すモデル図である。

【0047】

具体的には、図５に示すように、主領域４１０の中心である主領域中心点４１０ａを基準に所定の許容範囲４２０を定め、中心が許容範囲４２０内にある定型領域すべてを従領域５１０とする。図では、主領域中心点４１０ａを中心として楕円形の許容範囲４２０を定め、この楕円内に中心点をもつ定型領域すべてを従領域５１０とする。図５では、従領域中心点５１１ａが許容範囲４２０内にある従領域５１１と、従領域中心点５１２ａが許容範囲４２０内にある従領域５１２を例示している。つまりこの場合の離隔δｐは、主領域中心点４１０ａと従領域中心点５１２ａとの「中心間距離」と考えることができる。なお、許容範囲４２０の大きさは状況に応じて適宜設計することができるし、許容範囲４２０の形状も楕円形に限らず、矩形やひし形、円形など種々の形状とすることができる。

【0048】

従領域５１０が設定されると、その中に含まれるすべての画素を抽出し、これら画素で構成される従学習サンプル５００を生成する。

【0049】

４．ネガティブサンプル
図６は、主領域４１０を基準にネガティブサンプル領域６１０が設定される状況を示すモデル図である。この図に示すように、従領域５１０（図では破線で示す）と同様、ネガティブサンプル領域６１０（図では太枠で示す）は、主領域４１０（図では網がけで示す）の一部を含みつつ、主領域４１０の周辺に設定される。具体的には、主領域４１０に対してネガティブサンプル離隔δｎ（ネガティブサンプル横離隔δｎｘ、及びネガティブサンプル縦離隔δｎｙ）を設けて定型領域で設定される。この図では、主領域４１０から左方向にネガティブサンプル横離隔δｎｘ、下方向にネガティブサンプル縦離隔δｎｙを設けてネガティブサンプル領域６１０が設定されているが、従領域５１０と同様、一つの（一組の）ネガティブサンプル離隔δｎに対して４つのネガティブサンプル領域６１０を設定することができる。

【0050】

ネガティブサンプル離隔δｎは、従領域５１０の離隔δｐと同様に画素単位で設定される。ただし、主領域４１０から大きく離れた位置にネガティブサンプル領域６１０は設定されるため、ネガティブサンプル離隔δｎは従領域５１０の離隔δｐよりも大きな値が採用される。また、従領域５１０の設定と同様、一つの主領域４１０に対して複数の（複数組の）ネガティブサンプル離隔δｎを設定することもできる。

【0051】

さらに従領域５１０の設定と同様、主領域中心点４１０ａを基準に定めた許容範囲４２０に基づいてネガティブサンプル領域６１０を設定することもできる。ネガティブサンプル領域６１０を設定するための許容範囲４２０は、従領域５１０を設定するための許容範囲４２０より広い範囲であって、しかも従領域５１０における許容範囲４２０は除かれる。既述のとおりこの場合の離隔δｐは、主領域中心点４１０ａと従領域中心点５１２ａとの「中心間距離」と考えることができ、ネガティブサンプル離隔δｎ（すなわち、ネガティブサンプル領域６１０の中心間距離）は、従領域５１０の離隔δｐ（すなわち、従領域５１０の中心間距離）よりも大きな値が採用される。ただし、このときの距離の大小判断は、２点間の直線距離（ユークリッド距離）を基準としたり、所定の「矩形」領域の内外を指標とするマンハッタン距離を基準としたり、所定の「ひし形」領域の内外を指標とするチェビシェフ距離を基準としたり、その他、所定の領域の内外を指標とする種々の手法による距離を基準とすることができる。

【0052】

ネガティブサンプル領域６１０が設定されると、その中に含まれるすべての画素を抽出し、これら画素で構成されるネガティブサンプル６００を生成する。

【0053】

５．近傍ネガティブサンプルと背景ネガティブサンプル
ネガティブサンプル６００を「近傍ネガティブサンプル」と「背景ネガティブサンプル」に分類した上で、利用することもできる。背景ネガティブサンプルは、主領域４１０から大きく離れた位置にある画像であって、オブジェクトを含まない背景画像である。したがって、この背景ネガティブサンプルは、明らかにポジティブサンプルと相違することが分かるサンプルといえる。

【0054】

一方、近傍ネガティブサンプルは、主領域４１０に比較的近い位置の画像であって、オブジェクトの一部又は全部を含む画像である。また、近傍ネガティブサンプルは、ポジティブサンプルと背景ネガティブサンプルの識別境界の周辺にあるサンプルといえる。ポジティブサンプルと背景ネガティブサンプルの識別境界の周辺に多くの学習データ（つまり、近傍ネガティブサンプル）を配置することで、識別境界の確度を高めることができ、ひいては目的とするオブジェクトの識別確度を高めることができる訳である。なお、ポジティブサンプルと背景ネガティブサンプルの識別境界は、例えば、ポジティブサンプルから特徴量（例えば、ＨＯＧ特徴量：Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を求め、さらに背景ネガティブサンプルからも特徴量を求め、それぞれの特徴量に基づき分類アルゴリズム（例えば、サポートベクターマシン（ＳＶＭ）や、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、など）で処理することによって設定することができる。

【0055】

図７は、ネガティブサンプル６００から生成された近傍ネガティブサンプルと背景ネガティブサンプルを、ネガティブサンプル記憶手段に記憶することを示すモデル図である。この図に示すように、ネガティブサンプル６００を生成するネガティブサンプル生成手段１０７は、近傍ネガティブサンプル生成手段１０７Ｓと、背景ネガティブサンプル生成手段１０７Ｂを有している。

【0056】

近傍ネガティブサンプル生成手段１０７Ｓは、主領域４１０の周辺に複数の近傍ネガティブサンプルを生成するもので、これらの近傍ネガティブサンプルは近傍ネガティブサンプル記憶手段１０８Ｓに記憶される。また、複数の近傍ネガティブサンプルは、それぞれ異なるサンプルとして扱うべく分類識別子が付与される。例えば図７では、第１の近傍ネガティブサンプルに「Ｃｌａｓｓ−１」という分類識別子が、第２の近傍ネガティブサンプルに「Ｃｌａｓｓ−２」という分類識別子が、第Ｎの近傍ネガティブサンプルに「Ｃｌａｓｓ−ｎ」という分類識別子が、それぞれ付与されている。そして、これら異なる分類識別子を具備する近傍ネガティブサンプルは、それぞれ別の近傍ネガティブサンプルとして記憶される。なお図７では、分類識別子Ｃｌａｓｓ−１を具備する第１の近傍ネガティブサンプルが、近傍ネガティブサンプル記憶手段１０８＿Ｓ１に記憶され、分類識別子Ｃｌａｓｓ−２を具備する第２の近傍ネガティブサンプルが、近傍ネガティブサンプル記憶手段１０８＿Ｓ２に記憶され、分類識別子Ｃｌａｓｓ−ｎを具備する第Ｎの近傍ネガティブサンプルが、近傍ネガティブサンプル記憶手段１０８＿Ｓｎに記憶されているが、必ずしも別の記憶手段を用意する必要はなく、それぞれ異なる近傍ネガティブサンプルとして記憶することができればひとつの記憶手段に記憶させることもできる。

【0057】

背景ネガティブサンプル生成手段１０７Ｂは、主領域４１０から離れた位置に複数の背景ネガティブサンプルを生成するもので、これらの背景ネガティブサンプルは背景ネガティブサンプル記憶手段１０８＿Ｂに記憶される。なお図７では、近傍ネガティブサンプルが近傍ネガティブサンプル記憶手段１０８＿Ｓに記憶され、背景ネガティブサンプルが背景ネガティブサンプル記憶手段１０８＿Ｂに記憶されているが、必ずしも別の記憶手段を用意する必要はなく、それぞれ異なるものとして記憶することができればひとつの記憶手段に記憶させることもできる。

【0058】

図８は、主領域４１０の周辺に生成された、複数の近傍ネガティブサンプルを示すモデル図である。記述のとおりネガティブサンプル６００は、主領域４１０を所定距離だけ移動させたネガティブサンプル領域６１０を設定し、このネガティブサンプル領域６１０内にある画像を集合することで生成される。近傍ネガティブサンプルも同様に、主領域４１０を所定距離だけ移動させた近傍ネガティブサンプル領域を設定し、この近傍ネガティブサンプル領域内にある画像を集合することで生成される。図８では、中央にある主領域４１０を８方向に移動させて近傍ネガティブサンプル領域を設定している。具体的には、主領域４１０を右方向に所定距離だけ移動したもの、左方向に所定距離だけ移動したもの、上方向に所定距離だけ移動したもの、下方向に所定距離だけ移動したもの、右上方向に所定距離だけ移動したもの、右下方向に所定距離だけ移動したもの、左上方向に所定距離だけ移動したもの、左下方向に所定距離だけ移動したものである。

【0059】

異なる方向あるいは異なる距離で移動させた近傍ネガティブサンプル領域（つまり、位置が相違する近傍ネガティブサンプル領域）は、それぞれ異なる領域として扱うため、それぞれ異なる分類識別子が付与される。例えば図８では、主領域４１０が左上方向に移動した近傍ネガティブサンプル領域（オブジェクトが右下方向に移動したように見える領域）には分類識別子Ｃｌａｓｓ−１が、左方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−２が、左下方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−３が、下方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−４が、右下方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−５が、右方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−６が、右上方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−７が、上方向に移動した近傍ネガティブサンプル領域には分類識別子Ｃｌａｓｓ−８が、それぞれ付与されている。なお、この図では中央の主領域４１０には分類識別子Ｃｌａｓｓ−０を付与している。図中の破線枠は、オブジェクトの位置を明確にするため便宜上設けたものである。これら異なる分類識別子を具備する近傍ネガティブサンプル領域に基づいて、異なる分類識別子を具備する「近傍ネガティブサンプル」が生成され、これらの近傍ネガティブサンプルは、ネガティブサンプル記憶手段１０８（近傍ネガティブサンプル記憶手段１０８＿Ｓ）に記憶される。

【0060】

図８では、主領域４１０の周辺に８個の近傍ネガティブサンプルを生成する例を示したが、これに限らず左右（あるいは上下）に２個の近傍ネガティブサンプルを生成することも、主領域４１０の周囲に１２個の近傍ネガティブサンプルを生成することも、あるいはさらに多数の近傍ネガティブサンプルを生成することもできる。また、近傍ネガティブサンプルは、必ずしも主領域４１０に対して対称形で生成される必要はなく、任意の配置で任意の数の近傍ネガティブサンプルを生成することができる。

【0061】

近傍ネガティブサンプルの数を増やすため、近傍ネガティブサンプルを反転させて新たな近傍ネガティブサンプルを生成することもできる。図９は、図８に示す近傍ネガティブサンプルのうち分類識別子Ｃｌａｓｓ−２を具備するものを反転させた図であり、（ａ）は反転前の近傍ネガティブサンプルを示すモデル図、（ｂ）は反転後の近傍ネガティブサンプルを示すモデル図である。この図に示すように、近傍ネガティブサンプル（Ｃｌａｓｓ−２）を反転させると、異なる近傍ネガティブサンプルが生成される。しかしながら、反転前と反転後で比較すると、近傍ネガティブサンプル領域は相違していることが分かる。例えば図９では、反転前は主領域４１０を左方向に移動した近傍ネガティブサンプル領域であるが、反転後は主領域４１０を右方向に移動した近傍ネガティブサンプル領域となっている。したがって、この場合は反転して生成された新たな近傍ネガティブサンプルは、図８で分類識別子Ｃｌａｓｓ−６を具備する近傍ネガティブサンプル領域に対応し、すなわち、この反転した近傍ネガティブサンプルには分類識別子Ｃｌａｓｓ−６が付与される。なお、反転した近傍ネガティブサンプルに対応する近傍ネガティブサンプル領域が存在しない場合は、新たな分類識別子（例えば、図８ではＣｌａｓｓ−１０など）を付与して利用することもできる。

【0062】

図２に示す自動認識装置２００が近傍ネガティブサンプルを利用する場合について、ＨＯＧ特徴量に基づくＳＶＭ処理の例で説明する。まず、複数のポジティブサンプル（主学習サンプル、従学習サンプル）と、複数の近傍ネガティブサンプルと、複数のブ背景ネガティブサンプルからもＨＯＧ特徴量を求める。このとき、異なる分類識別子を具備する近傍ネガティブサンプルは、それぞれ別の近傍ネガティブサンプルとしてＨＯＧ特徴量を求める。そして、ＨＯＧ特徴量を基にＳＶＭで処理することによって、識別境界を設定する。この識別境界は、当然ながら、ポジティブサンプルと近傍ネガティブサンプルとの間で設定され、ポジティブサンプルと背景ネガティブサンプルとの間で設定される。また、近傍ネガティブサンプルと背景ネガティブサンプルとの間でも識別境界は設定され、さらに、異なる分類識別子を具備する近傍ネガティブサンプどうし（例えば、分類識別子Ｃｌａｓｓ−２を具備する近傍ネガティブサンプルと、分類識別子Ｃｌａｓｓ−３を具備する近傍ネガティブサンプルとの間）でも識別境界は設定される。このように識別境界が設定されると、自動認識装置２００はこれら識別境界を基礎として、任意の画像から目的のオブジェクトを自動認識する。なお本願発明を実施するに当たって、ＨＯＧ特徴量に限らず他の特徴量（物理量）を利用することもできるし、ＳＶＭに限らず他の分類アルゴリズムを利用することもできる。

【産業上の利用可能性】

【0063】

本願発明の学習サンプル生成装置、自動認識装置、及び学習サンプル生成プログラムは、ＭＭＳで取得した画像中に写る顔をぼかす場合や、沿道にある標識や看板等をぼかす場合などに、好適に利用することができる。また、画像中に写る人を数えるなど、目的のオブジェクトの数量計上にも応用することができる。

【符号の説明】

【0064】

１００ 学習サンプル生成装置
１０１ 画像記憶手段
１０２ 表示手段
１０３ 特定点入力手段
１０４ 主学習サンプル生成手段
１０５ 従学習サンプル生成手段
１０６ ポジティブサンプル記憶手段
１０７ ネガティブサンプル生成手段
１０８ ネガティブサンプル記憶手段
２００ 自動認識装置
３００ 特定点
４００ 主学習サンプル
４１０ 主領域
４１０ａ 主領域中心点
４２０ 許容範囲
５００ 主学習サンプル
５１０ 従領域
５１０ａ 従領域中心点
６００ ネガティブサンプル
６１０ ネガティブサンプル領域
δｐ （従領域と主領域との）離隔
δｐｘ （従領域の）横離隔
δｐｙ （従領域の）縦離隔
δｎ （ネガティブサンプル領域と主領域との）離隔
δｎｘ ネガティブサンプル横離隔
δｎｙ ネガティブサンプル縦離隔

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】