特許 7104611 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-12

(45)【発行日】2022-07-21

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220713BHJP

   G06N 3/04 20060101ALI20220713BHJP

【ＦＩ】

G06T7/00 300F

G06T7/00 350C

G06N3/04

【請求項の数】 10

(21)【出願番号】P 2018219341

(22)【出願日】2018-11-22

(65)【公開番号】P2020086836

(43)【公開日】2020-06-04

【審査請求日】2021-06-18

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】原 孝介

(72)【発明者】

【氏名】石川 康太

【審査官】佐藤 実

(56)【参考文献】

【文献】特表２０１７－５３０４６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

イベントベースドカメラから出力された、イベントが起きた座標、極性および時刻のデータをイベントデータとして入力する入力部と、
前記入力部に入力されたイベントデータの座標および極性を高次元写像し、高次元写像により得られた特徴ベクトルを、当該イベントの時刻のデータに基づく位相変換および減衰によりコーディングし、コーディングにより得られた特徴ベクトルと、前回のイベントデータが入力されたときまでに得られた特徴ベクトルのｍａｘ値とを比較することにより、入力されたイベントデータの特徴ベクトルのｍａｘ値を再帰的に求めることにより、前記イベントデータの特徴ベクトルを求める特徴ベクトル計算部と、
前記特徴ベクトルに基づいて、前記イベントデータに含まれる物体または物体の動きを認識する推論部と、
を備える情報処理装置。

【請求項2】

前記特徴ベクトル計算部にて行うコーディングにおいて、前記時刻による減衰は、所定時間が経過したイベントデータの影響が０になるように設定される請求項１に記載の情報処理装置。

【請求項3】

イベントデータの座標および極性と、多層パーセプトロンによる高次元写像の結果とを対応付けて記憶したルックアップテーブルを備え、
前記特徴ベクトル計算部は、前記ルックアップテーブルを参照して、入力されたイベントデータの座標および極性の高次元写像を行う請求項１または２に記載の情報処理装置。

【請求項4】

前記特徴ベクトル計算部は、前記イベントデータで構成される画像を分割した領域ごとに特徴ベクトルを計算し、
前記分割した領域ごとに求めた特徴ベクトルを物体の認識を行うためのモデルに適用して物体の認識を行う請求項１乃至３のいずれかに記載の情報処理装置。

【請求項5】

前記推論部を線形演算可能なモデルにより構成する請求項１乃至４のいずれかに記載の情報処理装置。

【請求項6】

前記ｍａｘ値が変化することに対するコストを追加することにより、ｍａｘ値の変化を抑制する請求項５に記載の情報処理装置。

【請求項7】

前記推論部は、前記特徴ベクトルの第１の部分を適用する第１のモデルと、前記特徴ベクトルの第２の部分を適用する第２のモデルとを有し、
前記特徴ベクトル計算部は、前記特徴ベクトルのコーディングをする際に、前記第１の部分と前記第２の部分の減衰の率を変える請求項１乃至６のいずれかに記載の情報処理装置。

【請求項8】

前記特徴ベクトル計算部は、前記イベントベースドカメラからイベントが入力されるたびに特徴ベクトルのｍａｘ値の計算を行い、
前記推論部は、推論結果を出力するタイミングで推論を行う請求項１乃至７のいずれかに記載の情報処理装置。

【請求項9】

イベントベースドカメラから出力されたイベントデータを情報処理装置によって処理する情報処理方法であって、
前記情報処理装置は、前記イベントベースドカメラから出力された、イベントが起きた座標、極性および時刻のデータをイベントデータとして入力するステップと、
前記情報処理装置は、入力されたイベントデータの座標および極性を高次元写像するステップと、
前記情報処理装置は、高次元写像により得られた特徴ベクトルを、当該イベントの時刻のデータに基づく位相変換および減衰によりコーディングするステップと、
前記情報処理装置は、コーディングにより得られた特徴ベクトルと、前回のイベントデータが入力されたときまでに得られた特徴ベクトルのｍａｘ値とを比較することにより、入力されたイベントデータの特徴ベクトルのｍａｘ値を再帰的に求めることにより、前記イベントデータの特徴ベクトルを求めるステップと、
前記情報処理装置は、前記特徴ベクトルに基づいて、前記イベントデータに含まれる物体または物体の動きを認識するステップと、
を備える情報処理方法。

【請求項10】

イベントベースドカメラから出力されたイベントデータを情報処理するためのプログラムであって、コンピュータに、
前記イベントベースドカメラから出力された、イベントが起きた座標、極性および時刻のデータをイベントデータとして入力するステップと、
入力されたイベントデータの座標および極性を高次元写像するステップと、
高次元写像により得られた特徴ベクトルを、当該イベントの時刻のデータに基づく位相変換および減衰によりコーディングするステップと、
コーディングにより得られた特徴ベクトルと、前回のイベントデータが入力されたときまでに得られた特徴ベクトルのｍａｘ値とを比較することにより、入力されたイベントデータの特徴ベクトルのｍａｘ値を再帰的に求めることにより、前記イベントデータの特徴ベクトルを求めるステップと、
前記特徴ベクトルに基づいて、前記イベントデータに含まれる物体または物体の動きを認識するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

歩行者や他の車両の状態、及びその変化を速やかに把握することは、より安全な先進運転システム（Advanced Driver Assistance System）の実現に欠かせない。画像から歩行者や車両などを把握するために、機械学習を用いた推論が知られている（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】L. Zhang, L. Lin，X. Liang and K. He「Is faster r-cnn doing well for pedestrian detection?」in European Conference on Computer Vision, pages 443-457. Springer, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0004】

既存のカメラで撮影した画像を用いて歩行者や車両等の検出を行う場合、推論のレートが画像のフレームレートに依存するため、高速な応答が困難である。また、カメラ画像の場合にはフレーム間で変化していない画素も多く、変化のない画素についてまで処理を行うことが必要になるため、無駄が多い。

【0005】

近年、センサーごとに独立に輝度変化を観測するイベントベースドカメラが着目されている。イベントベースドカメラは、画素に変化があったときだけ、その画素の位置、変化、及び時刻を送信するカメラであり、「Dynamic and Active-pixel Vision Sensor」とも呼ばれる。イベントベースドカメラは、データがスパース、高速応答、高ダイナミックレンジという特徴がある。

【0006】

本発明は、データのスパース性を活かした効率の良い処理を行える情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理装置は、イベントベースドカメラから出力された、イベントが起きた座標、極性および時刻のデータをイベントデータとして入力する入力部と、前記入力部に入力されたイベントデータの座標および極性を高次元写像し、高次元写像により得られた特徴ベクトルを、当該イベントの時刻のデータに基づく位相変換および減衰によりコーディングし、コーディングにより得られた特徴ベクトルと、前回のイベントデータが入力されたときまでに得られた特徴ベクトルのｍａｘ値とを比較することにより、入力されたイベントデータの特徴ベクトルのｍａｘ値を再帰的に求めることにより、前記イベントデータの特徴ベクトルを求める特徴ベクトル計算部と、前記特徴ベクトルに基づいて、前記イベントデータに含まれる物体または物体の動きを認識する推論部とを備える。

【0008】

このように高次元写像により得られた特徴ベクトルを、イベントデータの時刻のデータに基づく位相変換および減衰によりコーディングを行うことにより、前回までに得られたｍａｘ値と、新たに得られたｍａｘ値とに基づいて、所定時間内におけるイベントデータのｍａｘ値を再帰的に計算ができるようにした。これにより、ｍａｘ値の計算処理を大幅に軽減できる。

【0009】

本発明の情報処理装置は、前記特徴ベクトル計算部にて行うコーディングにおいて、前記時刻による減衰は、所定時間が経過したイベントデータの影響が０になるように設定されてもよい。この構成により、所定時間以前のイベントデータの影響がなくなるので、ｍａｘ値の再帰計算を適切に行える。

【0010】

本発明の情報処理装置は、イベントデータの座標および極性と、多層パーセプトロンによる高次元写像の結果とを対応付けて記憶したルックアップテーブルを備え、前記特徴ベクトル計算部は、前記ルックアップテーブルを参照して、入力されたイベントデータの座標および極性の高次元写像を行ってもよい。

【0011】

イベントカメラからの出力は画像次元しかないことから、あらかじめ用意したルックアップテーブルを参照することにより、高次元写像化を行う計算処理を大幅に軽減できる。なお、ルックアップテーブルは、イベントデータを高次元写像するための多層パーセプトロンを学習により求め、求めた多層パーセプトロンにイベントカメラからの画像次元数分のすべての入力を適用して、対応する高次元写像の値を求めておくことにより生成できる。

【0012】

本発明の情報処理装置において、前記特徴ベクトル計算部は、前記イベントデータで構成される画像を分割した領域ごとに特徴ベクトルを計算し、前記分割した領域ごとに求めた特徴ベクトルを物体の認識を行うためのモデルに適用して物体の認識を行ってもよい。イベントデータが集まって構成される画像を構成する領域ごとに特徴ベクトルを計算することで、イベントデータが発生していない領域については計算を省略できる。

【0013】

本発明の情報処理装置は、前記推論部を線形演算可能なモデルにより構成してもよい。これにより、ｍａｘ値の変化があった特徴ベクトルのみ計算をすればよいので、計算処理を軽減できる。

【0014】

本発明の情報処理装置は、前記ｍａｘ値が変化することに対するコストを追加することにより、ｍａｘ値の変化を抑制してもよい。ｍａｘ値の変化を押さえることにより、計算を行うべき特徴ベクトルを減らすことができる。

【0015】

本発明の情報処理装置において、前記推論部は、前記特徴ベクトルの第１の部分を適用する第１のモデルと、前記特徴ベクトルの第２の部分を適用する第２のモデルとを有し、前記特徴ベクトル計算部は、前記特徴ベクトルのコーディングをする際に、前記第１の部分と前記第２の部分の減衰の率を変えてもよい。この構成により、特徴ベクトルの部分ごとに異なる速度の変化を捉え、変化の緩やかな特徴ベクトルの処理を低減できる。

【0016】

本発明の情報処理装置において、前記特徴ベクトル計算部は、前記イベントベースドカメラからイベントが入力されるたびに特徴ベクトルのｍａｘ値の計算を行い、前記推論部は、推論結果を出力するタイミングで推論を行ってもよい。これにより、出力先で必要とされるレートに合わせて推論結果を出力できる。

【0017】

本発明の情報処理方法は、イベントベースドカメラから出力されたイベントデータを情報処理装置によって処理する情報処理方法であって、前記情報処理装置は、前記イベントベースドカメラから出力された、イベントが起きた座標、極性および時刻のデータをイベントデータとして入力するステップと、前記情報処理装置は、入力されたイベントデータの座標および極性を高次元写像するステップと、前記情報処理装置は、高次元写像により得られた特徴ベクトルを、当該イベントの時刻のデータに基づく位相変換および減衰によりコーディングするステップと、前記情報処理装置は、コーディングにより得られた特徴ベクトルと、前回のイベントデータが入力されたときまでに得られた特徴ベクトルのｍａｘ値とを比較することにより、入力されたイベントデータの特徴ベクトルのｍａｘ値を再帰的に求めることにより、前記イベントデータの特徴ベクトルを求めるステップと、前記情報処理装置は、前記特徴ベクトルに基づいて、前記イベントデータに含まれる物体または物体の動きを認識するステップとを備える。

【0018】

本発明のプログラムは、イベントベースドカメラから出力されたイベントデータを情報処理するためのプログラムであって、コンピュータに、前記イベントベースドカメラから出力された、イベントが起きた座標、極性および時刻のデータをイベントデータとして入力するステップと、入力されたイベントデータの座標および極性を高次元写像するステップと、高次元写像により得られた特徴ベクトルを、当該イベントの時刻のデータに基づく位相変換および減衰によりコーディングするステップと、コーディングにより得られた特徴ベクトルと、前回のイベントデータが入力されたときまでに得られた特徴ベクトルのｍａｘ値とを比較することにより、入力されたイベントデータの特徴ベクトルのｍａｘ値を再帰的に求めることにより、前記イベントデータの特徴ベクトルを求めるステップと、前記特徴ベクトルに基づいて、前記イベントデータに含まれる物体または物体の動きを認識するステップとを実行させる。

【発明の効果】

【0019】

本発明によれば、イベントデータの特徴ベクトルを再帰的に計算可能とし、計算処理を大幅に軽減することができる。

【図面の簡単な説明】

【0020】

【図1】第１の実施の形態の情報処理装置の構成を示すブロック図である。

【図2】（ａ）情報処理装置の特徴ベクトル計算部にて行う計算処理を示す模式図である。（ｂ）情報処理装置で用いる多層パーセプトロンの学習を行うときの処理を示す模式図である。

【図3】情報処理装置の学習を行う動作を示すフローチャートである。

【図4】ｍａｘ値の計算について説明する図である。

【図5】情報処理装置によって推論を行う動作を示すフローチャートである。

【図6】第２の実施の形態の情報処理装置の構成を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態の情報処理装置、情報処理方法およびプログラムについて、図面を参照しながら説明する。

【0022】

（第１の実施の形態）
図１は、第１の実施の形態の情報処理装置１の構成を示すブロック図である。情報処理装置１は、イベントベースドカメラから出力されたイベントデータを入力する入力部１０と、入力されたイベントデータから特徴ベクトルを計算する特徴ベクトル計算部１２と、特徴ベクトルに基づいてイベントデータに含まれる物体の動きを推論する推論部１４と、推論結果を出力する出力部１６とを有している。

【0023】

特徴ベクトル計算部１２は、イベントデータが入力されるたびに特徴ベクトルの計算を行うイベントドリブン型の処理部である。これに対し、推論部１４は、推論結果を利用するアプリケーションからの要求を受けて駆動するオンデマンド型の処理部である。つまり、特徴ベクトル計算部１２は、イベントカメラからイベントデータが入力されるたびに特徴ベクトルの計算を行って、一定期間、その計算結果を記憶しておき、推論部１４は要求があったときに、記憶されている特徴ベクトルを用いて、イベントデータで検出された物体およびその動きの認識を行う。

【0024】

イベントデータは、イベントが起きた座標（ｘ，ｙ）、極性ｐおよび時刻ｔのデータを有している。極性ｐは、当該画素の値がイベントが起きる前に比べて増えたか減ったかの二値のデータである。イベントデータは、画素値に所定値以上の変化があったときに出力されるデータであり、画素値に所定値以上の変化がなければ出力されないので、フレームデータに比べて極めてスパースなデータである。

【0025】

図２（ａ）は、情報処理装置１の特徴ベクトル計算部１２にて行う計算処理を示す模式図である。図２（ｂ）は、情報処理装置１で用いる多層パーセプトロンの学習を行うときの処理を示す模式図である。

【0026】

先に、図２（ｂ）を参照して学習時の処理を説明する。学習の対象は、多層パーセプトロンｍｌｐ１，ｍｌｐ２，ｍｌｐ３である。教師データとしては、既知の物体の動きをイベントカメラで撮影して得られたイベントデータを用いる。所定時間帯τに得られたイベントデータ（ｘ，ｙ，ｐ，ｔ）を情報処理装置１に入力し、その推論結果が教師データの物体の動きになるように、逆誤差伝播法によって、多層パーセプトロンｍｌｐ１，ｍｌｐ２，ｍｌｐ３の学習を行う。

【0027】

ここで、情報処理装置１が入力されたイベントデータ（ｘ，ｙ，ｐ，ｔ）に基づいて推論結果を計算する処理を例として説明する。学習時には、所定時間帯τに得られたｎ個のイベントデータを一括して処理する。

【0028】

図３は、情報処理装置１の学習を行う動作を示すフローチャートである。情報処理装置１は、イベントデータ（ｘ，ｙ，ｐ，ｔ）が入力されると（Ｓ１０）、入力されたイベントデータから時刻ｔを除いたデータ（ｘ，ｙ，ｔ）を多層パーセプトロンｍｌｐ１によって６４次元の特徴データに写像する（Ｓ１１）。

【0029】

図２（ｂ）において、ｍｌｐ１の後段に記載された「ｎ×６４」は、ｎ個のイベントデータが６４次元の特徴データに写像されたことを示す。続いて、情報処理装置１は、多層パーセプトロンｍｌｐ２によって、さらに、１０２４次元の特徴データに高次元写像する（Ｓ１１）。

【0030】

次に、情報処理装置１は、得られたｎ個の１０２４次元の特徴データを時間コーディング（temporal coding）する（Ｓ１２）。ｎ個のイベントデータは、それぞれいつ得られたかを示す時間ｔの情報を有しているので、これを用いる。時間コーディングにおいては、イベントデータが得られた時刻ｔから現在時刻までの時間差Δｔを用い、次式によって行う。

【数1】

【0031】

本実施の形態において時間コーディングを行うのは、古い時刻に得られたイベントデータの影響を小さくするためである。本実施の形態では、所定時間帯τ以前のイベントデータの影響が０となるように、特徴ベクトルが０となるように線形に減衰させている。

【0032】

続いて、情報処理装置１は、時間コーディングされた特徴ベクトルの次元ごとのｍａｘ値を計算し、所定時間帯τのイベントデータを表す特徴ベクトルを計算する（Ｓ１３）。

【0033】

図４は、ｍａｘ値の計算について説明する図である。図４の上段に時間コーディングされたｎ個の特徴ベクトルを示している。本実施の形態において、特徴ベクトルは１０２４次元である。ｍａｘ値の計算では、ｎ個の特徴ベクトルの各次元での最大値を求める。図４の下段はｍａｘ値の演算結果の例を示す図である。１次元目では、３番目のデータが最大であり、２次元目では、１番目のデータが最大である。このようにして、次元ごとの最大値を求めることで、所定時間帯τにおける特徴ベクトルを計算することができる。

【0034】

次に、情報処理装置１は、求めた特徴ベクトルを多層パーセプトロンｍｌｐ３に適用して推論を行う（Ｓ１４）。この推論結果がイベントデータに対応する物体の動きとなるように、逆誤差伝播法を使って、多層パーセプトロンｍｌｐ１，ｍｌｐ２，ｍｌｐ３の学習を行う（Ｓ１５）。

【0035】

図２（ａ）に戻って、情報処理装置１によって推論を行う処理について説明する。先に説明したとおり、特徴ベクトル計算部１２は、イベントドリブン型の処理部である。学習時には、所定時間帯τにおけるｎ個のイベントデータを一括して処理したが、推論時は所定時間帯τにおける全イベントの入力を待つことなく、イベントデータが入力されるたびに処理を行う。

【0036】

図５は、情報処理装置１によって推論を行う動作を示すフローチャートである。情報処理装置１にイベントデータが入力されると（Ｓ２０）、ルックアップテーブル１８を参照して入力されたイベントデータを高次元写像する（Ｓ２１）。ルックアップテーブル１８は、学習によって得られた多層パーセプトロンｍｌｐ１，ｍｌｐ２によって高次元写像を行った結果を記憶したテーブルである。イベントデータに含まれる座標および極性のデータは、高々、Ｗ（幅）×Ｈ（高）×２（極性）しかないので、高次元写像の結果をテーブルに記憶しておくことができる。これにより、ルックアップテーブル１８から高次元写像の結果を読み出すことにより、多層パーセプトロンを用いた計算をいちいち行わなくてもよいので、計算負荷を軽減できる。

【0037】

次に、情報処理装置１は、高次元写像により得られた特徴ベクトルを時間コーディングする（Ｓ２２）。時間コーディングの方法は、学習時と同じである。情報処理装置１は、所定時間帯τにおけるｍａｘ値を求めるが、本実施の形態では、所定時間帯τの複数のイベントを一括して処理するのではなく、前イベントまでに求められているｍａｘ値と最新のイベントデータから求められた特徴ベクトルとを比較することにより、ｍａｘ値を求める。

【0038】

具体的には、最新のイベントデータの処理に合わせて、前イベントまでのｍａｘ値に対して位相変換と減衰を行う（Ｓ２３）。図４で説明したように、各次元のｍａｘ値はどのイベントデータから得られた値か分かっている。ｍａｘ値が得られたイベントデータの時刻ｔと現在時刻との差Δｔに応じて位相と減衰を与えて、前イベントまでのｍａｘ値を再計算する。そして、情報処理装置１は、前イベントまでのｍａｘ値と最新イベントの特徴ベクトルとを比較して新たなｍａｘ値を求める（Ｓ２４）。

【0039】

次に、情報処理装置１は、推論部１４から特徴ベクトルの取得要求があったか否かを判定し（Ｓ２５）、推論部１４から特徴ベクトルの取得要求がない場合には（Ｓ２５でＮＯ）、次のイベントデータの入力を待ち、イベントデータが入力されると（Ｓ２０）、上記した処理によって特徴ベクトルを計算する。

【0040】

推論部１４から特徴ベクトルの取得要求があった場合には（Ｓ２５でＹＥＳ）、推論部１４が要求する時間帯における特徴ベクトルを推論部１４に入力する（Ｓ２６）。推論部１４は入力された特徴ベクトルを用いて、物体の動きを推論し（Ｓ２７）、その推論結果を出力する（Ｓ２８）。なお、図５では、説明の便宜上、推論部１４から特徴ベクトルの取得要求があった場合に（Ｓ２５でＹＥＳ）、推論部１４の処理へ移行しているが、実際には、特徴ベクトル計算部１２と推論部１４は独立なので、推論部１４に対して特徴ベクトルを入力した後も、情報処理装置１にイベントデータが入力されると、特徴ベクトル計算部１２は、特徴ベクトルの計算を行う（Ｓ２０～Ｓ２４）。

【0041】

以上、第１の実施の形態の情報処理装置１の構成について説明したが、上記した情報処理装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した情報処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0042】

第１の実施の形態の情報処理装置１は、特徴ベクトルに対して時間コーディングを行うことによって、ｍａｘ値の再帰計算を可能にした。経時的なデータのどれがｍａｘ値であるかを求めるには、計算対象となるウィンドウが無限大でなければ計算ができない。本実施の形態で行うイベントデータから物体の動きを認識するというタスクにおいては、過去のデータの重要性は低いことに着目し、時間コーディングを行うことで過去のデータの影響を減衰させることでｍａｘ値の再帰計算を可能にし、計算負荷を大幅に軽減した。次式は、左辺がｍａｘ値の通常の計算方法を示し、右辺が、それまでに求まっているａ_１，・・・，ａ_ｎ－１のｍａｘ値と、ａ_ｎのｍａｘ値を求める再帰計算を示す。

【数2】

【0043】

左辺では、特徴次元の数（本実施形態では１０２４次元）だけ、ｎ次元のｍａｘ演算を行う必要があるのに対し、右辺では、２次元のｍａｘ演算を行えばよいので、計算負荷を大幅に軽減できる。特徴ベクトル計算部１２は、イベントデータをフレームデータに変換することなく、スパースなデータのまま扱うことができ、計算負荷を軽減できる。

【0044】

（第２の実施の形態）
図６は、第２の実施の形態の情報処理装置の構成を示す図である。第２の実施の形態の情報処理装置は、推論部１４が多層パーセプトロンｍｌｐ４を備える。多層パーセプトロンｍｌｐ４は、物体が何であるかを推論する機能を有している。図６では、多層パーセプトロンｍｌｐ１，ｍｌｐ２を模式的に示しているが、推論時に、多層パーセプトロンｍｌｐ１，ｍｌｐ２による高次元写像の結果を記憶したルックアップテーブルを参照して処理を行うのは、第１の実施の形態と同じである。

【0045】

第２の実施の形態において、多層パーセプトロンｍｌｐ４に対しては、ｍａｘ値を計算することによって求めた特徴ベクトルと多層パーセプトロンｍｌｐ１による写像結果とを連結したベクトルが入力される。多層パーセプトロンｍｌｐ１からのデータには、物体の位置の情報が残っており、多層パーセプトロンｍｌｐ１からの特徴ベクトルを用いることにより、物体を識別することができる。

【0046】

なお、多層パーセプトロンｍｌｐ４は、多層パーセプトロンｍｌｐ３と同様に、物体が既知のイベントデータを教師データとして学習を行うことができる。

【0047】

第２の実施の形態の情報処理装置は、第１の実施の形態の情報処理装置と同様に、ｍａｘ値を再帰的に計算することにより、計算負荷を大幅に軽減できるとともに、イベントデータを用いて、物体を識別することができる。

【0048】

上記した実施の形態において、イベントデータで構成される画像を分割した領域ごとに特徴ベクトルを計算することとしてもよい。例えば、イベントデータで構成される画像データを上下左右に４分割し、それぞれの領域の単位で特徴ベクトルを求めてもよい。このような処理を行うためには、各イベントデータから特徴データを生成する際に、どの領域から得られたイベントデータかを記録しておく。同じ領域の特徴ベクトルのｍａｘ値を求めることで、当該領域の特徴ベクトルを求める。また、推論部１４は、各領域で得られた特徴データを処理する複数の多層パーセプトロンｍｌｐ４を備える。この構成により、イベントデータが入力されなかった領域について特徴ベクトルを求める計算、及び、物体の認識の推論は不要であり、計算負荷を軽減できる。

【0049】

以上、本発明の情報処理装置について、実施の形態を用いて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

【0050】

上記した実施の形態では、推論部１４は多層パーセプトロンを備え、多層パーセプトロンによって特徴ベクトルから物体の動き、または物体の識別を推論する例を挙げたが、推論部１４は、線形演算可能なモデルによって構成してもよい。これにより、ｍａｘ値の変化があった特徴ベクトルのみ計算をすればよいので、計算処理を軽減できる。

【0051】

さらに、このような構成を採用する際に、ｍａｘ値の変化を抑制するように、特徴ベクトルの計算過程において、ｍａｘ値が変化することに対するコストを追加することとしてもよい。多層パーセプトロンｍｌｐ２から出力される値のｍａｘ値の変化を抑制する構成としては、連続するイベントデータから求められた特徴ベクトルの差分を誤差として、多層パーセプトロンｍｌｐ２の学習を行う。これにより、ｍａｘ値の変化を抑制する多層パーセプトロンｍｌｐ２を構成できる。

【0052】

上記した実施の形態において、時間コーディングを行う際に、減衰率を変えた特徴ベクトルを生成し、それらを連結した特徴ベクトルとしてもよい。一例として、１０２４次元の特徴ベクトルのうち、前半の５１２次元について減衰率を小さく、後半の５１２次元について減衰率を大きくしてそれぞれ特徴ベクトルを求め、それらを連結して１０２４次元の特徴ベクトルとしてもよい。この場合、推論部１４は、前半の特徴ベクトルを処理する多層パーセプトロンと後半の特徴ベクトルを処理する多層パーセプトロンをそれぞれ準備し、これらの多層パーセプトロンを学習しておく。

【0053】

この構成により、減衰率が大きい方の特徴ベクトルは急な変化を捉え、減衰率の小さい方の特徴ベクトルは緩やかな変化を捉える。このように特徴次元ごとに違う速度の変化を捉えるようにすることにより、減衰率の大きい方の特徴ベクトルは、緩やかな変化によっては特徴ベクトルが変化しない場合があり、対応する推論処理を行わなくてもよくなるので、推論の計算負荷を軽減できる。

【産業上の利用可能性】

【0054】

本発明は、歩行者や車両等を検出する装置として有用である。

【符号の説明】

【0055】

１ 情報処理装置、１０ 入力部、１２ 特徴ベクトル計算部、
１４ 推論部、１６ 出力部、１８ ルックアップテーブル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】