特許 7315918 画像処理装置、画像処理プログラムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-19

(45)【発行日】2023-07-27

(54)【発明の名称】画像処理装置、画像処理プログラムおよび画像処理方法

(51)【国際特許分類】

   G06K 7/14 20060101AFI20230720BHJP

   G06K 7/10 20060101ALI20230720BHJP

【ＦＩ】

G06K7/14 017

G06K7/10 428

G06K7/14 039

【請求項の数】 6

(21)【出願番号】P 2019105297

(22)【出願日】2019-06-05

(65)【公開番号】P2020198035

(43)【公開日】2020-12-10

【審査請求日】2021-12-24

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(73)【特許権者】

【識別番号】598121341

【氏名又は名称】慶應義塾

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】関川 雄介

(72)【発明者】

【氏名】鈴木 哲平

(72)【発明者】

【氏名】長田 惇

(72)【発明者】

【氏名】青木 義満

【審査官】田名網 忠雄

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０１７５２３８（ＵＳ，Ａ１）

【文献】特表２０１７－５２１７４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｋ ７／１４

Ｇ０６Ｋ ７／１０

(57)【特許請求の範囲】

【請求項1】

移動している二次元コードを撮影するイベントカメラと、
前記二次元コードを構成するパターンの最小単位を基底として前記二次元コードの内容に応じた各前記基底の２値化データを表す第１のパラメータと、前記二次元コードを画像平面上の二次元コード画像にアフィン変換する変換係数を表す第２のパラメータと、前記二次元コードの移動ベクトルを表す第３のパラメータとを用いて前記二次元コードを撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求める演算部と、
前記演算部にて求めた前記第１のパラメータに基づいて、前記二次元コードの内容を読み取る読取部と、
を備える画像処理装置。

【請求項2】

前記演算部は、次のコスト関数を最小にする第１のパラメータｑ、第２のパラメータＷ、第３のパラメータｍを演算する請求項１に記載の画像処理装置。

【数1】

【請求項3】

前記演算部は、前記イベントカメラにて所定の時間内に得られたイベントデータから、前記二次元コードの位置を検出するために設けられた特定のパターンに対応する箇所をマッチングによって探索し、該当箇所の位置及び傾きから前記第２のパラメータを求めると共に主成分分析により求めた軸を画像平面に射影して前記第３のパラメータを求める処理と、
前処理によって求められた前記第２のパラメータと前記第３のパラメータを固定値として、前記イベントカメラにて取得したイベントデータと整合するように、前記第１のパラメータを演算する処理と、
を行う請求項１に記載の画像処理装置。

【請求項4】

移動している二次元コードを撮影するイベントカメラと、
前記イベントカメラにて所定の時間内に得られたイベントデータから、前記二次元コードの位置を検出するために設けられた特定のパターンに対応する箇所をマッチングによって探索し、該当箇所の位置及び傾きから前記二次元コードを画像平面上にアフィン変換する変換係数を求めると共に、主成分分析により求めた軸を画像平面に射影して前記二次元コードの移動ベクトルを求め、前記変換係数と前記移動ベクトルを利用して、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記二次元コードの２値化データを求める演算部と、
を備える画像処理装置。

【請求項5】

イベントカメラで取得したデータに基づいて画像処理を行うためのプログラムであって、コンピュータに、
前記イベントカメラから二次元コードを撮影して得られるイベントデータを取得するステップと、
前記二次元コードを構成するパターンの最小単位を基底として前記二次元コードの内容に応じた各前記基底の２値化データを表す第１のパラメータと、前記二次元コードを画像平面上の二次元コード画像にアフィン変換する変換係数を表す第２のパラメータと、前記二次元コードの移動ベクトルを表す第３のパラメータとを用いて前記二次元コードを撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求めるステップと、
求めた前記第１のパラメータに基づいて、前記二次元コードの内容を読み取るステップと、
を実行させるプログラム。

【請求項6】

イベントカメラで取得したデータに基づいて、画像処理装置が画像処理を行う方法であって、
前記画像処理装置が、前記イベントカメラから二次元コードを撮影して得られるイベントデータを取得するステップと、
前記画像処理装置が前記二次元コードを構成するパターンの最小単位を基底として前記二次元コードの内容に応じた各前記基底の２値化データを表す第１のパラメータと、前記二次元コードを画像平面上の二次元コード画像にアフィン変換する変換係数を表す第２のパラメータと、前記二次元コードの移動ベクトルを表す第３のパラメータとを用いて前記二次元コードを撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求めるステップと、
前記画像処理装置が、前記第１のパラメータに基づいて、前記二次元コードの内容を読み取るステップと、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントカメラで取得したデータに基づいて画像処理を行う画像処理技術に関する。

【背景技術】

【0002】

従来、高速応答、高ダイナミックレンジという特徴を有するイベントカメラが知られている（非特許文献１）。イベントカメラは、画素に一定以上の輝度の変化が起こった時のみ、その時刻と画素の座標と極性を含むイベントというデータ形式で出力するカメラである。イベントカメラは、「Dynamic and Active-pixel Vision Sensor」とも呼ばれる。イベントカメラを用いると、標準のカメラではブレが生じてしまうような高速なシーンにおいても、適切にデータを取得することができる。

【0003】

ＱＲコード（登録商標）等の二次元コードは、工場での生産管理にも利用されるが、このような二次元コードの読取りにイベントカメラを用いることができる。高速応答のイベントカメラを用いることで、照明環境の悪い中で対象の物体が高速に移動しても、画像のブレを低減することができる。

【先行技術文献】

【非特許文献】

【0004】

【文献】Patrick Lichtsteiner, Christoph Posch, Tobi Delbruck, and Senior Member.「A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor.」Work, 43(2):566-576, 2008.

【文献】Patrick Bardow, Andrew J. Davison, and Stefan Leutenegger.「Simultaneous Optical Flow and Intensity Estimation from an Event Camera.」2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 884-892, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0005】

イベントデータは輝度の変化の情報であることから、ＱＲコードの認識には、イベントデータから輝度画像を復元する必要がある。イベントデータのみから輝度画像を復元する代表的な手法の一つに、Bardowらの方法がある（非特許文献２）。この手法は、イベントのみの入力から輝度画像とオプティカルフローを同時に推定する方法である。この手法のポイントは、複数の画像とオプティカルフローを含むタイムウィンドウを用意し、時空間的な滑らかさの正則化を用いることで良設定問題としていることである。しかし、イベントカメラのデータでは、ノイズが多く含まれ、ノイズの影響でコードの境界が明確に推定されないといった問題がある。また、上述したＱＲコードのシーンでは、エッジ部分以外でイベントが発生しにくく、滑らかさの正則化だけでは不十分である。

【0006】

本発明は、イベントデータから効率的かつロバストに輝度画像を復元させる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の画像処理装置は、移動している二次元コードを撮影するイベントカメラと、前記二次元コードを構成するパターンの最小単位を基底として前記二次元コードの内容に応じた各前記基底の２値化データを表す第１のパラメータと、前記二次元コードを画像平面上の二次元コード画像にアフィン変換する変換係数を表す第２のパラメータと、前記二次元コードの移動ベクトルを表す第３のパラメータとを用いて、前記二次元コードを撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求める演算部と、前記演算部にて求めた前記第１のパラメータに基づいて、前記二次元コードの内容を読み取る読取部とを備える。

【0008】

本発明の画像処理装置において、前記演算部は、次のコスト関数を最小にする第１のパラメータｑ、第２のパラメータＷ、第３のパラメータｍを演算してもよい。

【0009】

【数1】

【0010】

このようにイベントデータに対応する輝度画像を表すのに、二次元コードの基底という制約がある第１のパラメータを用いることで、イベントカメラにて取得したイベントデータと整合するパラメータを求める最適化演算をロバストかつ高速に行うことができる。

【0011】

本発明の画像処理装置において、前記演算部は、前記イベントカメラにて所定の時間内に得られたイベントデータから、前記二次元コードの位置を検出するために設けられた特定のパターンに対応する箇所を探索し、当該箇所を事前情報として用いて前記イベントカメラにて取得したイベントデータと整合するように、前記第２のパラメータと前記第３のパラメータを最適化する処理と、前処理にて求められた前記第２のパラメータと前記第３のパラメータを固定値として、前記イベントカメラにて取得したイベントデータと整合するように、前記第１のパラメータを演算する処理とを行ってもよい。

【0012】

二次元コードにおいて既知の特定のパターンを初期値として利用した最適化により第２のパラメータと第３のパラメータを確定させ、その後に二次元コードの内容を表す第１のパラメータを求めることにより、パラメータ最適化の演算処理負荷を軽減できる。

【0013】

本発明の別の態様の画像処理装置は、移動している二次元コードを撮影するイベントカメラと、前記イベントカメラにて所定の時間内に得られたイベントデータから、前記二次元コードの位置を検出するために設けられた特定のパターンに対応する箇所を探索し、前記二次元コードを画像平面上にアフィン変換する変換係数と前記二次元コードの移動ベクトルとを求め、前記変換係数と前記移動ベクトルを利用して、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記二次元コードの２値化データを求める演算部とを備える。

【0014】

本発明の別の態様の画像処理装置は、移動している対象物を撮影するイベントカメラと、前記対象物を複数の基底に対する係数で表したときの当該係数を表す第１のパラメータと、前記対象物を画像平面上にアフィン変換する変換係数を表す第２のパラメータと、前記対象物の移動ベクトルを表す第３のパラメータとを用いて、前記対象物を撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求める演算部と、前記演算部にて求めたパラメータに基づいて、前記対象物の輝度画像を生成する輝度画像生成部とを備える。

【0015】

このようにイベントデータに対応する輝度画像を表すのに、対象物の基底という制約がある第１のパラメータを用いることで、イベントカメラにて取得したイベントデータと整合するパラメータを求める最適化演算をロバストかつ高速に行うことができる。

【0016】

本発明の画像処理装置において、前記演算部は、前記対象物が既知である場合には、前記第１のパラメータを固定値として、前記前記第２のパラメータおよび前記第３のパラメータを求めてもよい。

【0017】

このように対象物が既知である場合には、第１のパラメータを既知の対象物の外形によって決まる固定値とすることにより、第２のパラメータおよび第３のパラメータを精度良く計算できる。これにより、対象物の移動速度が分かるので、例えば、対象物をピックアップするタスクにイベントカメラを適用することができる。

【0018】

本発明のプログラムは、イベントカメラで取得したデータに基づいて画像処理を行うためのプログラムであって、コンピュータに、前記イベントカメラから二次元コードを撮影して得られるイベントデータを取得するステップと、前記二次元コードを構成するパターンの最小単位を基底として前記二次元コードの内容に応じた各前記基底の２値化データを表す第１のパラメータと、前記二次元コードを画像平面上の二次元コード画像にアフィン変換する変換係数を表す第２のパラメータと、前記二次元コードの移動ベクトルを表す第３のパラメータとを用いて前記二次元コードを撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求めるステップと、前記演算部にて求めた前記第１のパラメータに基づいて、前記二次元コードの内容を読み取るステップとを実行させる。

【0019】

本発明の別の態様のプログラムは、イベントカメラで取得したデータに基づいて画像処理を行うためのプログラムであって、コンピュータに、前記イベントカメラから対象物を撮影して得られるイベントデータを取得するステップと、前記対象物を基底とその係数で表したときの当該係数を表す第１のパラメータと、前記対象物を画像平面上にアフィン変換する変換係数を表す第２のパラメータと、前記対象物の移動ベクトルを表す第３のパラメータとを用いて、前記対象物を撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求めるステップと、求めたパラメータに基づいて、前記対象物の輝度画像を生成するステップとを実行させる。

【0020】

本発明の画像処理方法は、イベントカメラで取得したデータに基づいて、画像処理装置が画像処理を行う方法であって、前記画像処理装置が、前記イベントカメラから二次元コードを撮影して得られるイベントデータを取得するステップと、前記画像処理装置が前記二次元コードを構成するパターンの最小単位を基底として前記二次元コードの内容に応じた各前記基底の２値化データを表す第１のパラメータと、前記二次元コードを画像平面上の二次元コード画像にアフィン変換する変換係数を表す第２のパラメータと、前記二次元コードの移動ベクトルを表す第３のパラメータとを用いて前記二次元コードを撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて所定の時間内に取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求めるステップと、前記画像処理装置が、前記第１のパラメータに基づいて、前記二次元コードの内容を読み取るステップとを備える。

【0021】

本発明の別の態様の画像処理方法は、イベントカメラで取得したデータに基づいて、画像処理装置が画像処理を行う方法であって、前記画像処理装置が、前記イベントカメラから対象物を撮影して得られるイベントデータを取得するステップと、前記画像処理装置が、前記対象物を基底とその係数で表したときの当該係数を表す第１のパラメータと、前記対象物を画像平面上にアフィン変換する変換係数を表す第２のパラメータと、前記対象物の移動ベクトルを表す第３のパラメータとを用いて、前記対象物を撮影したときに得られるイベントデータに対応する輝度画像を表し、前記イベントカメラにて取得したイベントデータと整合するように、前記第１のパラメータ、前記第２のパラメータおよび前記第３のパラメータを求めるステップと、前記画像処理装置が、求めたパラメータに基づいて前記対象物の輝度画像を生成するステップとを備える。

【発明の効果】

【0022】

本発明によれば、二次元コードの基底という制約がある第１のパラメータを用いてイベントデータを表すことで、最適化演算をロバストかつ高速に行うことができる。

【図面の簡単な説明】

【0023】

【図1】第１の実施の形態の画像処理装置の構成を示す図である。

【図2】（ａ）イベントカメラによるイベント検出の原理を示す図である。（ｂ）イベントカメラによってＱＲコードを撮影したときのデータの例を示す図である。

【図3】パラメータの定義を示す図である。

【図4】時間座標空間上におけるＱＲコードのエッジの動きを示している。

【図5】（ａ）ＱＲコードの一例を示す図である。（ｂ）位置検出コードのイベント間の距離を示す図である。

【図6】第１の実施の形態の画像処理装置の動作を示す図である。

【図7】第２の実施の形態の画像処理装置の構成を示す図である。

【図8】第２の実施の形態の画像処理装置の動作を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施の形態にかかる画像処理装置について、図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の画像処理装置１の構成を示す図である。第１の実施の形態の画像処理装置１は、二次元コードの一つであるＱＲコードを読み取る画像処理装置１である。画像処理装置１は、イベントカメラ１０と、演算部１１と、読取部１２と、出力部１３とを備えている。

【0025】

図２（ａ）は、イベントカメラ１０によるイベント検出の原理を示す図であり、図２（ｂ）はイベントカメラ１０によってＱＲコードを撮影したときのデータの例を示す図である。イベントカメラ１０は、図２（ａ）に示すように、ある画素に一定の閾値以上の輝度の変化が起こったときのみに、そのときの時間ｔ_ｉと画素の座標ｘ_ｉ、極性ρ_ｉ（－１又は＋１）を含むイベントｅ_ｉ＝｛ｔ_ｉ，ｘ_ｉ，ρ_ｉ｝というデータ形式で出力するカメラである。データの出力は、画素毎に非同期に行われるため、図２（ｂ）に示すように点群のような時系列データになっている。

【0026】

イベントカメラ１０は、上記したような仕組みによって、μｓ単位の高時間分解能や１３０ｄＢ程度のハイダイナミックレンジを実現している。イベントカメラ１０は、例えば、工場等で高速で移動する対象物に付与されたＱＲコードを読み取るが、照明条件が悪い工場内の生産ラインの高速に動くシーンであってもぶれずにデータを取得することが可能である。

【0027】

イベントデータは輝度の変化の情報なので、ＱＲコードを認識するには輝度画像を復元する必要がある。演算部１１は、イベントデータから輝度画像を復元する処理を行う。演算部１１は、輝度画像をＱＲコードとアフィン変換で表現し、画像空間ではなくＱＲコード空間で最適化を行う。

【0028】

ＱＲコードは、パターンの最小単位であるセルに白または黒の２値データを埋めることによって構成されている。パターンの最小単位であるセルは、ＱＲコードの基底である。画像空間上の二次元コードを構成する画素数（ｈ×ｗ）に対して、ＱＲコードの基底の数（ｒ×ｒ）は非常に少ないので、ＱＲコードの基底の２値データを使って最適化することで、イベントデータの最適化を高速に行える。

【0029】

図３は、パラメータの定義を示す図である。ＱＲコード空間の基底のデータを第１のパラメータｑとする。ＱＲコードを画像空間上に変換するアフィン変換の変換係数を第２のパラメータＷとする。そして、画像空間上でのＱＲコードの移動ベクトルを第３のパラメータｍとする。

【0030】

コスト関数記憶部１４には、第１～第３のパラメータを用いて表現したイベントデータに対応する輝度画像と、イベントカメラ１０から取得されたイベントデータとの差分を最小化する最適化を行うためのコスト関数が記憶されている。次式は、コスト関数を表す式である。

【数2】

【0031】

式（１）の第１項は、ＱＲコードの基底である第１のパラメータｑを用いて、輝度画像を表す式である。Ｌ（ｘ）は式（３）に示すように、ＱＲコードの基底ｑをアフィン変換したデータである。イベントデータは、輝度勾配∇Ｌ（ｘ）と移動ベクトルｍの内積で表されるから、式（１）の第１項は所定時間ΔｔにおけるイベントデータをＱＲコードの基底ｑで表したものである。ここで、第１のパラメータｑ、第２のパラメータＷ、第３のパラメータｍは未知である。なお、所定時間Δｔは、等速直線運動を仮定できる程度に短い時間間隔である。これにより、あるエッジが等速直線運動をするとき、イベントの軌跡は直線になる。

【0032】

式（１）の第２項は、イベントカメラ１０にて得られたイベントデータを表している。デルタ関数において、ｘ´_ｉを減算しているのは、所定時間に起きたイベントを時間方向に足し合わせるためである。図４を用いて説明する。

【0033】

図４は、時間座標空間上におけるＱＲコードのエッジＥの動きを示している。基準時刻ｔ_refにおいてＱＲコードのエッジＥがｘ_ｉ方向に移動すると、時間座標空間上では、エッジＥは斜めに移動する。ｘ´_ｉは上述した式（２）で表される。このイベントを基準時間ｔ_refにおける位置での時間方向に足し合わせるために、ｘ´_ｉを減算している。

【0034】

演算部１１は、コスト関数記憶部１４からコスト関数を読み出し、所定時間Δｔ内に取得したイベントデータで、コスト関数を最小にする第１のパラメータｑ、第２のパラメータＷ、第３のパラメータｍを求める。つまり、イベントデータとの整合性が最も高いパラメータを求める。３つのパラメータを同時に最適化してもよいが、本実施の形態の画像処理装置１は、２段階の処理によって最適化を行う。

【0035】

最初に、第２のパラメータＷと第３のパラメータｍの最適化を行う。図５（ａ）は、ＱＲコードの一例を示す図である。ＱＲコードは、３つの頂点に、位置や向きを認識させるための位置検出コードを有している。位置検出コードは、黒い四角形の周りを白い四角枠が取り囲み、さらに黒い四角枠が取り囲んだ形状を有している。位置検出コードは、図５（ｂ）に示すように黒：白：黒：白：黒＝１：１：３：１：１の幅を有している。したがって、これをイベントカメラ１０で読み取ると、イベント間の距離が、１：１：３：１：１となる。なお、図５（ｂ）は一つの移動方向のみ示しているが、イベントカメラに対してＱＲコードが移動する方向にかかわらず、同じ比率の幅となる。

【0036】

まず、マッチングによって、イベントデータから、イベント間の距離が１：１：３：１：１の比になっている部分を検出し、その位置および傾きからアフィン変換パラメータＷを求め、初期値とする。また、イベントデータを時空間の３次元点群とみなし、主成分分析により求めた軸を画像平面に射影したものを移動ベクトルｍの初期値とする。このように第２のパラメータＷと第３のパラメータｍに初期値を設定し、ＱＲコードの位置検出シンボル以外の部分にマスクを設定して、第２のパラメータＷおよび第３のパラメータｍの最適化を行う。

【0037】

続いて、演算部１１は、前処理で求めた第２のパラメータＷ、第３のパラメータｍの最適値を固定値として、式（１）に示すコスト関数の第１のパラメータｑを最適化する。このようにして最適化された第１のパラメータｑは、ＱＲコードの基底（セル）に対する２値データを示しており、第１のパラメータｑがそのままＱＲコードの白黒のパターンを表すことになる。

【0038】

読取部１２は、ＱＲコード仕様データ記憶部１５からＱＲコードの仕様のデータを読み出し、第１のパラメータｑが表すパターンが何のデータを表したものかを読み取る。出力部１３は、読み取ったデータを外部の機器等に対して出力する。

【0039】

以上、本実施の形態の画像処理装置１の構成について説明したが、上記した画像処理装置１のハードウェアの例は、イベントカメラを備えたコンピュータである。コンピュータは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えている。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した画像処理装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0040】

図６は、第１の実施の形態の画像処理装置１の動作を示すフローチャートである。第１の実施の形態の画像処理装置１は、イベントカメラ１０にて、ＱＲコードを読み取り、イベントデータを取得する（Ｓ１０）。続いて、画像処理装置１の演算部１１は、コスト関数記憶部１４からコスト関数を読み出す（Ｓ１１）。演算部１１は、イベントデータからパターンマッチングによってＱＲコードの位置検出コードを検出し、ＱＲコードの位置および向きを求める（Ｓ１２）。次に、イベントデータの主成分分析により、二次元コード画像の移動ベクトルを算出する（Ｓ１３）。演算部１１は、位置検出コードによって求めたＱＲコードの位置および向きから求めたアフィン変換係数と、ＱＲコードの移動ベクトルを初期値として、第２のパラメータＷと第３のパラメータｍの最適化を行う（Ｓ１４）。

【0041】

次に、第１の実施の形態の画像処理装置１は、最適化された第２のパラメータＷと第３のパラメータｍを固定値として、第１のパラメータｑの最適化を行う（Ｓ１５）。そして、画像処理装置１は、第１のパラメータｑをＱＲコード仕様データ記憶部１５から読み出したＱＲコード仕様を参照して、ＱＲコードの内容を読み取る（Ｓ１６）。

【0042】

以上、第１の実施の形態の画像処理装置１の構成および動作について説明した。第１の実施の形態の画像処理装置１は、ＱＲコードの基底という制約がある第１のパラメータｑを用いてイベントデータを表すことで、イベントデータと整合するパラメータを求める最適化演算をロバストかつ高速に行うことができる。また、ＱＲコードの位置検出コードを事前情報として用いることで、ＱＲコードの位置および姿勢の初期値を設定し、適切な最適化を行える。

【0043】

（第２の実施の形態）
図７は、第２の実施の形態の画像処理装置２の構成を示す図である。第２の実施の形態の画像処理装置２は、一般の対象物をイベントカメラ１０で読み取り、イベントデータから輝度画像を生成する機能を有する。ただし、画像処理装置２で扱う対象物の画像は、基底とその係数によって表すことができる画像である。画像処理装置２は、イベントカメラ１０と、演算部１６と、輝度画像生成部１７と、出力部１３とを備えている。

【0044】

コスト関数記憶部１８には、対象物の基底に対するデータを第１のパラメータ、対象物を画像空間上にアフィン変換する変換係数を第２のパラメータ、対象物の移動ベクトルを第３のパラメータとし、これらの第１～第３のパラメータを用いて表現されたイベントデータに対応する輝度画像と、イベントカメラ１０で実際に取得されたイベントデータとの違いをコストとして表した関数が記憶されている。

【0045】

演算部１６は、コスト関数記憶部１８から読み出したコスト関数を最小にする第１のパラメータ、第２のパラメータ、第３のパラメータを求める。輝度画像生成部１７は、第１のパラメータと対象物の基底とに基づいて、対象物の輝度画像を生成する機能を有する。出力部１３は、輝度画像を出力する。

【0046】

図８は、第２の実施の形態の画像処理装置２の動作を示す図である。第２の実施の形態の画像処理装置２は、イベントカメラ１０にて、対象物を読み取り、イベントデータを取得する（Ｓ２０）。続いて、画像処理装置２の演算部１６は、コスト関数記憶部１８からコスト関数を読み出す（Ｓ２１）。次に、第２の実施の形態の画像処理装置２は、第１のパラメータ、第２のパラメータおよび第３のパラメータの最適化を行う（Ｓ２２）。そして、画像処理装置２は、第１のパラメータと対象物の基底を用いて、対象物の輝度画像を生成する（Ｓ２３）。

【0047】

以上、第２の実施の形態の画像処理装置２の構成および動作について説明した。第２の実施の形態の画像処理装置２は、対象物を基底とその係数で表し、対象物の基底を画像平面へアフィン変換することで、基底という制約がかかった対象物の画像空間でコスト関数の最適化を行うことで、ロバストで高速な輝度画像の推定を行える。

【0048】

以上、本発明の実施の形態の画像処理装置について説明したが、本発明は上記した実施の形態に限定されるものではない。上記した第１の実施の形態では、二次元コードとしてＱＲコードの読み取りを行う例を挙げたが、本発明の画像処理装置は、例えば、ＤａｔａＭａｔｒｉｘ，ＰＤＦ４１７等の二次元コードの読み取りにも使用することができる。ＤａｔａＭａｔｒｉｘの場合には、２辺にアライメントパターンがあるので、これを検出した位置及び向きからアフィン変換係数を求めて初期値に用いることができる。ＰＤＦ４１７の場合には、両端にスタートパターンとストップパターンがあるので、これを検出した位置及び向きからアフィン変換係数を求めて初期値に用いることができる。

【0049】

上記した第２の実施の形態では、対象物の形状が未知の場合について説明をしたが、対象物が既知である場合には、対象物の基底に対応する係数を予め固定値として用いて、アフィン変換に係る第２のパラメータと、移動ベクトルに係る第３のパラメータを最適化によって求めても良い。これは例えば工場などで、物のピッキングを行う場面に適用できる。ピッキングすべき物として形状が既知の同一物がたくさんあるときに、その物体を基底とその係数で表すことで、イベントデータから物体の姿勢や移動ベクトルを高速かつロバストに求めることができ、物体をピックアップできる。

【産業上の利用可能性】

【0050】

本発明は、イベントカメラで取得したデータに基づいて画像処理を行う画像処理技術として有用である。

【符号の説明】

【0051】

１，２ 画像処理装置
１０ イベントカメラ
１１ 演算部
１２ 読取部
１３ 出力部
１４ コスト関数記憶部
１５ ＱＲコード仕様データ記憶部
１６ 演算部
１７ 輝度画像生成部
１８ コスト関数記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】