特表 2024-512452 イベントベースカメラを用いて移動中の粒子の形状を決定するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-19

(54)【発明の名称】イベントベースカメラを用いて移動中の粒子の形状を決定するためのシステム

(51)【国際特許分類】

   G01N 15/1434 20240101AFI20240312BHJP

   G01N 15/1429 20240101ALI20240312BHJP

【ＦＩ】

G01N15/1434

G01N15/1429

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023556762

(86)(22)【出願日】2022-03-10

(85)【翻訳文提出日】2023-10-13

(86)【国際出願番号】 EP2022056236

(87)【国際公開番号】W WO2022194676

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】21162651.0

(32)【優先日】2021-03-15

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】520207608

【氏名又は名称】プロフェシー

【氏名又は名称原語表記】ＰＲＯＰＨＥＳＥＥ

【住所又は居所原語表記】７４ ｒｕｅ ｄｕ Ｆａｕｂｏｕｒｇ Ｓａｉｎｔ Ａｎｔｏｉｎｅ， ７５０１２ ＰＡＲＩＳ， ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】110002723

【氏名又は名称】高法弁理士法人

(72)【発明者】

【氏名】ベハラノ，カミロ

(72)【発明者】

【氏名】ルーシュ，トーマス

(57)【要約】

移動中の粒子の属性を測定するための方法は、そのセンサの画素アレイの線が関心領域を通る粒子（Ｐ）の期待される軌道を横切って位置するように配向されたイベントベースセンサにより関心領域を観察する工程と、空間的距離（Ｄ）だけ分離された画素の２本の基準線（Ｒ１，Ｒ２）を定める工程と、２本の基準線の第１の線によって生成された第１のイベント群をサンプリングする工程と、２本の基準線の第２の線によって生成された第２のイベント群をサンプリングする工程と、第２および第１のイベント群間の時間的距離（Ｔ）を決定する工程と、空間的距離および時間的距離に基づいて粒子の縦方向速度係数（ｖｙ）を提供する工程とを含む。粒子は線の中の複数の隣接する画素を跨ぐサイズを有し、かつ本方法は、線の中のイベントトリガされた画素の位置に基づく空間的成分および時間ステップに基づく時間的成分を含む時空座標（ｘ，ｔ）において粒子の輪郭を生成するために複数の時間ステップにわたって第１および第２のイベント群の１つを分析する工程と、時空座標の時間ステップ（ｔ）に縦方向速度係数（ｖｙ）を掛けることにより、輪郭の時空座標（ｘ’，ｙ’）を空間座標に変換する工程とをさらに含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動中の粒子の属性を測定するための方法であって、
・そのセンサの画素アレイの線が関心領域を通る粒子（Ｐ）の期待される軌道を横切って位置するように配向されたイベントベースセンサにより前記関心領域を観察する工程と、
・空間的距離（Ｄ）だけ分離された画素の２本の基準線（Ｒ１，Ｒ２）を定める工程と、
・前記２本の基準線の第１の線によって生成された第１のイベント群をサンプリングする工程と、
・前記２本の基準線の第２の線によって生成された第２のイベント群をサンプリングする工程と、
・前記第２および第１のイベント群間の時間的距離（Ｔ）を決定する工程と、
・前記空間的距離および前記時間的距離に基づいて前記粒子の縦方向速度係数（ｖｙ）を提供する工程と
を含み、
前記粒子は線の中の複数の隣接する画素を跨ぐサイズを有することを特徴とし、前記方法は以下のさらなる工程：
前記線の中のイベントトリガされた画素の位置に基づく空間的成分および複数の時間ステップに基づく時間的成分を含む時空座標（ｘ，ｔ）において前記粒子の輪郭を生成するために、前記複数の時間ステップにわたって前記第１および第２のイベント群の１つを分析する工程と、
・前記時空座標の前記時間ステップ（ｔ）に前記縦方向速度係数（ｖｙ）を掛けることにより、前記輪郭の前記時空座標（ｘ’，ｙ’）を空間座標に変換する工程と
を含む、方法。

【請求項2】

・複数の時間ステップにわたって前記２本の基準線によって生成されたそれぞれのイベントレート（ＥＲ）を測定する工程と、
・前記第１のイベント群のために測定された前記イベントレートが閾値（ＥＲｔｈ）を超えた場合に第１の時間ステップを記憶する工程と、
・前記第２のイベント群のために測定された前記イベントレートが前記閾値（ＥＲｔｈ）を超えた場合に第２の時間ステップを記憶する工程と、
・前記第２および第１の時間ステップ間の差として前記時間的距離（Ｔ）を提供する工程と
を含む、請求項１に記載の方法。

【請求項3】

前記対応する基準線を含む複数の隣接する線の群によって生成されたイベントを集約することにより各イベントレートを測定する工程を含む、請求項２に記載の方法。

【請求項4】

・時空座標（ｘ，ｔ）において前記粒子のそれぞれの第１および第２の輪郭を生成するために、複数の時間ステップにわたって前記第１および第２のイベント群を分析する工程と、
・前記第１および第２の輪郭を相互相関させて、前記縦方向速度係数（ｖｙ）を決定するために使用される前記時間的距離（Ｔ）を決定する工程と
を含む、請求項１に記載の方法。

【請求項5】

・前記輪郭を相互相関させる際に前記線の方向（ｘ）への前記輪郭間の横方向空間変位も決定する工程と、
・前記横方向空間変位を前記時間的距離で割ることにより横方向速度係数（ｖｘ）を提供する工程と、
・前記時空座標を空間座標に変換する際に、前記時間ステップおよび前記横方向速度係数（ｖｘ）に基づいて前記時空座標の前記空間的成分を補正する工程と
を含む、請求項４に記載の方法。

【請求項6】

空間座標における前記輪郭に基づいて前記粒子のサイズ属性を決定する工程を含む、請求項１に記載の方法。

【請求項7】

空間座標における前記輪郭および前記輪郭の最長軸に垂直な粒子の断面に関する仮定に基づいて前記粒子の体積を決定する工程を含む、請求項１に記載の方法。

【請求項8】

・複数の閾値を使用して複数の対応する時間的距離を決定する工程と、
・前記時間的距離を平均化する工程と
を含む、請求項２に記載の方法。

【請求項9】

液滴属性分析装置であって、
・液滴を表面（２２）に放出するように構成されたノズル（２０）と、
・前記ノズルに固定的に取り付けられたイベントベースカメラ（２４）と、
・前記カメラが前記ノズルと前記表面との間の関心領域を観察するのを可能にするように配向された、前記ノズルに取り付けられた光学装置（２６）と
を備え、
前記カメラは、
・前記センサの画素アレイの線が前記関心領域を通る粒子（Ｐ）の期待される軌道を横切って位置するように配向されたイベントベースセンサにより前記関心領域を観察し、
・空間的距離（Ｄ）だけ分離された画素の２本の基準線（Ｒ１，Ｒ２）を定め、
・前記２本の基準線の第１の線によって生成された第１のイベント群をサンプリングし、
・前記２本の基準線の第２の線によって生成された第２のイベント群をサンプリングし、
・前記第２および第１のイベント群間の時間的距離（Ｔ）を決定し、かつ
・前記空間的距離および前記時間的距離に基づいて前記粒子の縦方向速度係数（ｖｙ）を提供する
ようにプログラムされたプロセッサを備えることを特徴とする、液滴属性分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、光学システムを用いた速度およびサイズなどの粒子の属性の測定に関する。

【背景技術】

【0002】

濃度およびサイズなどの様々な粒子の属性を測定するための様々な種類のシステムが存在する。

【0003】

特定のいわゆるダイレクトイメージングシステムでは、ハロゲンライトによりチャンバ内の後ろから粒子を照らすが、高解像度・高倍率カメラは通過している粒子を記録する。次いで記録されたビデオをコンピュータソフトウェアにより分析して粒子の属性を測定する。

【0004】

そのようなシステムは、画像処理の複雑性およびカメラの比較的低いフレームレートが原因でいくつかの用途に適していない。

【0005】

米国特許出願公開第２０１９０３９１０６７号は、チャネル内の関心領域を横切る分析物を計数し、かつその速度を測定するためのシステムを開示している。関心領域は、チャネルに垂直なイメージャ画素の２つの離間された行によって画定される。このシステムは分析物の形状を決定することはできない。

【発明の概要】

【0006】

そのセンサの画素アレイの線が関心領域を通る粒子の期待される軌道を横切って位置するように配向されたイベントベースセンサにより関心領域を観察する工程と、空間的距離だけ分離された画素の２本の基準線を定める工程と、２本の基準線の第１の線によって生成された第１のイベント群をサンプリングする工程と、２本の基準線の第２の線によって生成された第２のイベント群をサンプリングする工程と、第２および第１のイベント群間の時間的距離を決定する工程と、空間的距離および時間的距離に基づいて粒子の縦方向速度係数を提供する工程とを含む、移動中の粒子の属性を測定するための方法が一般に提供される。粒子は線の中の複数の隣接する画素を跨ぐサイズを有し、本方法は、線の中のイベントトリガされた画素の位置に基づく空間的成分および時間ステップに基づく時間的成分を含む時空座標において粒子の輪郭を生成するために、複数の時間ステップにわたって第１および第２のイベント群の１つを分析する工程と、時空座標の時間ステップに縦方向速度係数を掛けることにより輪郭の時空座標を空間座標に変換する工程とをさらに含む。

【0007】

本方法は、複数の時間ステップにわたって２本の基準線によって生成されたそれぞれのイベントレートを測定する工程と、第１のイベント群のために測定されたイベントレートが閾値を超えた場合に第１の時間ステップを記憶する工程と、第２のイベント群のために測定されたイベントレートが閾値を超えた場合に第２の時間ステップを記憶する工程と、第２および第１の時間ステップ間の差として時間的距離を提供する工程とをさらに含んでいてもよい。

【0008】

本方法は、対応する基準線を含む複数の隣接する線の群によって生成されたイベントを集約することにより各イベントレートを測定する工程をさらに含んでいてもよい。

【0009】

本方法は、時空座標において粒子のそれぞれの第１および第２の輪郭を生成するために、複数の時間ステップにわたって第１および第２のイベント群を分析する工程と、第１および第２の輪郭を相互相関させて、縦方向速度係数を決定するために使用される時間的距離を決定する工程とをさらに含んでいてもよい。

【0010】

本方法は、輪郭を相互相関させる際に線の方向への輪郭間の横方向空間変位も決定する工程と、横方向空間変位を時間的距離で割ることにより横方向速度係数を提供する工程と、時空座標を空間座標に変換する際に時間ステップおよび横方向速度係数に基づいて時空座標の空間的成分を補正する工程とをさらに含んでいてもよい。

【0011】

本方法は、空間座標における輪郭に基づいて粒子のサイズ属性を決定する工程をさらに含んでいてもよい。

【0012】

本方法は、空間座標における輪郭およびその輪郭の最長軸に垂直な粒子の断面に関する仮定に基づいて粒子の体積を決定する工程をさらに含んでいてもよい。

【0013】

本方法は、複数の閾値を使用して複数の対応する時間的距離を決定する工程と、時間的距離を平均化する工程とをさらに含んでいてもよい。

【0014】

表面に液滴を放出するように構成されたノズルと、ノズルに固定的に取り付けられたイベントベースカメラと、カメラがノズルと表面との間の関心領域を観察するのを可能にするように配向された、ノズルに取り付けられた光学装置とを備え、カメラは、そのセンサの画素アレイの線が関心領域を通る粒子（Ｐ）の期待される軌道を横切って位置するように配向されたイベントベースセンサにより関心領域を観察し、空間的距離だけ分離された画素の２本の基準線を定め、２本の基準線の第１の線によって生成された第１のイベント群をサンプリングし、２本の基準線の第２の線によって生成された第２のイベント群をサンプリングし、第２および第１のイベント群間の時間的距離を決定し、かつ空間的距離および時間的距離に基づいて粒子の縦方向速度係数を提供するようにプログラムされたプロセッサを備える、液滴属性分析装置も提供される。

【0015】

他の利点および特徴は、例示のためにのみ提供されており、添付の図面に表されている本発明の特定の実施形態の以下の説明からより明確に明らかになるであろう。

【図面の簡単な説明】

【0016】

【図1】イベントベースセンサアレイの構成を概略的に示し、ここでは２つの選択された画素の行が、それらの行に垂直にセンサの視野を横切る粒子の属性を測定するために使用される。

【図2】粒子によって横切られる行の例示的かつ理想的なイベントレートの漸進的変化を示す。

【図3】粒子が順次に２つの行を横切る場合の２つの行の例示的なイベントレートの漸進的変化を示す。

【図4】２つの隣接する行の群を含むイベントベースセンサアレイの他の構成を示す。

【図5】粒子が順次に２つの行の群を横切る場合の図４のセンサ構成における例示的なイベントレートの漸進的変化を示す。

【図6】移動しているノズルによって生成された液滴の属性を測定するように構成された例示的なイベントベースカメラ構成を概略的に示す。

【図7】複数の粒子が同時に２つの行を横切るのを見ている図１のイベントベースアレイ構成を示す。

【図8】図８Ａおよび図８Ｂは、行を横切っている複数の粒子の属性を測定するためのプロセスにおける２つの工程を示す。

【発明を実施するための形態】

【0017】

ダイレクトイメージング粒子分析器は、それらが実行する複雑な画像処理が原因で粒子の流れのリアルタイム分析を可能にせず、例えば連続的なプロセス監視システムに適していない。さらにカメラの典型的なフレームレートは、数ミリメートルのみ離れた表面に流体を放出するノズルの場合などに、小さい体積内での粒子の速い流れには適していない。例えばインクジェットプリンタの場合、インク液滴を滅多に５ｍｍを超えない距離にわたって１０ｍ／ｓで放出させる場合があり、それにより液滴は０．５ｍｓ未満の間のみカメラで観察すればよい。

【0018】

本開示は、イベントベースカメラおよびそのようなカメラが生成するデータの特定の特徴を使用することにより、そのような限界を克服する。イベントベースカメラは、そのような状況において十分に速く反応することができ、インク噴射ノズルと放出面との間などの狭い関心領域を分析するのに十分な程に小型である。またイベントベースカメラによって生成されたデータの特定の性質を操作して、得られる粒子分析器をリアルタイムで使用することができる程度まで処理複雑性を低減させてもよい。

【0019】

特にイベントベースカメラは、例えばＶＧＡ規格に準拠している多くの行および列の画素を有するセンサアレイを備えている場合があるが、このアレイは、画像をフレームベースカメラにより従来通りに処理することができる方法での処理のために、２Ｄ画像をキャプチャするために使用されることはない。代わりに、そのアレイ中に分散されている数個の基準行が粒子の期待される軌道に垂直に方向づけられたスキャナモードで使用される。速度およびサイズなどの粒子の属性の測定を行うためには、たった２つの基準行で十分であり得る。

【0020】

図１は、関心領域を通って移動している粒子Ｐが行に垂直にカメラの視野を横切るように配置されたイベントベースカメラのセンサアレイ１０を概略的に示す。

【0021】

イベントベースセンサアレイの各画素は、その測定された輝度が閾値を超えて変化するたびに同期して「イベント」を生成するように設計されている。イベントは通常、方向指示すなわち輝度の上昇のために正の方向と輝度の低下のために負の方向とを伝える。イベントは典型的に、調停および読み出し回路１２のところに来た場合に信号が送られる。調停回路は信号が送られたイベントの読み出しを組織化する。読み出されたイベントは、例えば読み出された時間に対応するタイムスタンプおよびアレイ中の画素のアドレスに対応する位置と共に完成する。

【0022】

図１では、センサアレイ上で距離Ｄだけ分離された２つの基準行Ｒ１，Ｒ２が分析プロセスのために選択されている。この２つの行は、例えばアレイ高さの１／３および２／３に位置している。

【0023】

視野を横切って移動する際に、粒子Ｐは行Ｒ１およびＲ２を次々に横切る。粒子Ｐの２つの位置は、それぞれ実線および点線で異なる時間に示されている。

【0024】

第１の位置では、粒子は行Ｒ１のほぼ中間にあり、粒子の縁は粒子のいずれかの側で×印が付けられている２つの画素のみにおいて行と交差している。この状況では、粒子の本体が背景とコントラストをなしている均一な濃淡を有するものと仮定すると、行の非常に少ない画素、すなわち粒子の縁を見ている画素のみがイベントを生成する。実際に、粒子の縁が行と垂直である場合にイベントは生成され得ない。

【0025】

第２の位置では、粒子は行Ｒ２からまさに離れるところであり、その後縁に×印が付けられている４つの隣接する画素において行Ｒ２と交差している。行と交差している縁が行とほぼ平行であるこの状況では、多くの画素がイベントを生成することができる。

【0026】

図２は、図１の粒子などの楕円状の粒子によって横切られた行の例示的かつほぼ理想的なイベントレートＥＲの漸進的変化を示す。イベントレートは、例えばタイムスタンプを割り当てるために使用されるクロックによって定められるような、単位時間当たりのイベント読み出し数である。単位時間は５μｓほどの短さであってもよい。

【0027】

粒子の前縁が行に当たった場合に、その行の多くの画素において変化が見られ、イベントレートが急激に上昇する。イベントは正として示され、すなわち当該画素は輝度の上昇を感知し、粒子の本体は前方から照明されている関心領域に対応する背景よりも明るい濃淡を有するとみなす。

【0028】

その前縁が行を横切った場合、粒子の縁が行に垂直になる傾向があるため、正のイベントレートは徐々に減少する。イベントレートは、粒子が行の途中を横切っている場合に最小となる。

【0029】

粒子が中間位置から外れるにつれて、その縁はそれらの垂直なスタンスから外れ、反対の極性イベントすなわち負のイベントの生成を引き起こす。

【0030】

粒子の後縁が行に到達する頃に負のイベントレートはピークに到達する。その後に負のイベントレートは急激にゼロに向かって減少する。

【0031】

図３は、粒子が順次に２つの行を横切る場合の２つの行Ｒ１，Ｒ２の例示的なイベントレートの漸進的変化を示す。本状況では１種類のイベント、例えば最初に到達する正のイベントのみを分析してもよい。図示のように、行のそれぞれが値Ｔだけ時間において分離された同様のイベントレート曲線を生成する。値Ｔは、関心領域において行Ｒ１に対応する位置から行Ｒ２に対応する位置まで移動するために粒子によって要される時間である。

【0032】

時間Ｔを決定することにより、縦方向速度ｖｙ（図１に示されている）をＤ／Ｔとして計算してもよく、式中、Ｄは２つの行Ｒ１，Ｒ２間のセンサアレイ上での距離であり、すなわちＤは画像平面距離であり、よってｖｙは画像平面速度である。画像平面距離Ｄに対応する物体平面距離Ｄ’が分かっており、かつ粒子が垂直に移動すると仮定すると、粒子の垂直物体平面速度Ｖｙは、Ｖｙ＝ｖｙ・Ｄ’／Ｄ＝Ｄ’／Ｔとして計算される。

【0033】

物体平面距離Ｄ’は、カメラのレンズの焦点からの粒子およびセンサアレイの距離に基づいて決定してもよい。

【0034】

値Ｔは、２つの行Ｒ１，Ｒ２によって生成されたイベントレート曲線間の時間的距離である。それは従来通りに２つの曲線を相互相関させることによって決定してもよい。本状況では、正のイベントレート曲線の特徴的な急激な立ち上がりエッジにより、より単純な方法を使用することが可能になり、すなわちイベントレートを閾値ＥＲｔｈと比較するものであり、時間Ｔは図示のとおり行Ｒ１およびＲ２のイベントレートがそれぞれ閾値を超える時間の差である。

【0035】

この構成を用いて、複雑性の低い処理により高い粒子速度を制約された関心領域において測定することができる。

【0036】

イベントからの残りの情報を使用して粒子径を決定してもよい。実際にはイベントのアドレスは粒子の縁の位置、すなわち粒子の輪郭を決定する。より具体的には、粒子の前縁は第１のイベント群（粒子本体が背景よりも明るい濃淡を有する場合の正のイベント）によって輪郭が描かれ、次いで後縁は第２のイベント群（負のイベント）によって輪郭が描かれる。行の１つのために複数の時間ステップにわたってイベント位置を記録することにより粒子の輪郭が時空座標（ｘ，ｔ）において生成され、ここでは空間的成分ｘは行におけるイベントの位置であり、時間的成分ｔは時間ステップである。

【0037】

そのような座標を用いた場合、短くゆっくりと移動する粒子および長く素早く移動する粒子のために同様の輪郭が生成されるため、輪郭は実際には粒子の空間形状を表さない。

【0038】

空間座標において輪郭を生成するために、時空座標における輪郭の時間的成分ｔを計算された速度（Ｖｙまたはｖｙ）に単に掛ける。

【0039】

輪郭を空間座標において定めたら、輪郭の最小および最大軸からの幅および長さなどの様々な属性を輪郭から計算してもよい。輪郭の最長軸に垂直な粒子の断面に関する仮定に基づいて、輪郭から体積も計算してもよい。例えば放出された液滴は典型的にはそれらの最長軸の周りに回転形状を有し、それは通常では液滴軌道に沿っている。

【0040】

上に例示されているように閾値検出に基づいて時間的距離Ｔを決定する場合、単一の行のみを使用することにより実際には特に粒子が幅狭である場合、すなわち数画素の行しか跨っていない場合に、ノイズおよび比較的小さい数のイベントの生成が原因で誤りの発生を招く場合がある。

【0041】

図４は、閾値検出と共に使用するためのセンサアレイのよりロバストな構成を示す。行のそれぞれは隣接する行の群Ｒ１’，Ｒ２’によって置き換えられている。各群の行によって生成されたイベントを集約して当該群のイベントレートを生成する。従ってイベントレートに各群中の行の数を掛ける。さらにイベントレート曲線を広げる平均化効果が生じる。

【0042】

図５は、粒子が順次に２つの行を横切る場合の図４のセンサ構成における例示的な正のイベントレートの漸進的変化を示す。図３の曲線と比較して、図５の曲線はより広げられており、立ち上がりエッジはそれほど急減ではない。また点線で示されている第２の曲線は第１の曲線よりも低い位置にあるものとして例示されており、これは粒子の形状のばらつき、例えば２つの行の群の間の細長くより幅狭である液滴を示す。

【0043】

粒子形状が異なっているとしても、２つの曲線の上昇している速度は、群中のイベントの数に関わらず本システムによってイベント群が処理される最大速度に対応しているため同様に見える。そのような特徴により、閾値検出方法は曲線間の時間的距離Ｔを決定するために有効なままである。ロバスト性を高めるために、図示のように複数の閾値ＥＲｔｈ、ＥＲｔｈ１、ＥＲｔｈ２を同様に使用してもよく、複数の閾値から得られる時間的距離Ｔにわたって平均を生成する。

【0044】

上に説明されているように、時間的距離Ｔを決定するためのこのよりロバストな方法は、粒子輪郭を決定するために１つの行の使用と組み合わせてもよい。

【0045】

図６は、インクジェットプリンタによって放出されるインク液滴などの移動しているディスペンサーノズルによって生成される液滴の属性を測定するように構成された例示的なイベントベースカメラ構成を概略的に示す。ノズル２０は一定の距離、典型的には数ミリメートルで表面２２をスキャンし、かつ正確な位置で正確な体積の液滴を放出するように構成されていてもよい。その放出速度もそのような装置では重要な品質因子である。

【0046】

上述の原理に従って動作するイベントベースカメラ２４は、表面２２を観察するために方向づけられたノズルに取り付けられていてもよい。ノズルとその表面の間の関心領域がカメラレンズにフィードバックされるように、鏡、プリズムまたは光ファイバーなどの光学装置２６をカメラレンズの前に配置してもよい。図示されてないＬＥＤなどの小型の光源を鏡の横に取り付けて関心領域を照らしてもよい。カメラ、鏡および光源をプレート２８に取り付けてもよく、次いでそれをノズルの側面に取り付ける。

【0047】

イベントベースカメラは、粒子分析の必要性のために必要とされる速度および解像度を提供しながらもノズルの適切な動作を妨害しないように十分に小型かつ軽量にすることができるため、そのような構成に十分に適している。

【0048】

これまで考察した粒子分析器の構成は、一度に１つずつ行を横切る粒子、すなわち単一の供給源から順次に生成される粒子または複数の供給源から同時に生成されない粒子の分析に十分に適している。

【0049】

以下に開示されている分析器の構成は対照的に、複数の粒子が同時に行を横切ることができる状況に適している。

【0050】

図７では、図１の構成と同様のイベントベースセンサアレイ構成により、一例として２つの粒子Ｐ１およびＰ２が関心領域を実質的に同時に横切る。特に、粒子Ｐ１およびＰ２が行Ｒ１と同時に交差する場合に重なり合う時間、および行Ｒ２と同時に交差する時間の重なり合いが存在する。粒子Ｐ１およびＰ２はそれぞれの異なる速度Ｖ（Ｐ１）およびＶ（Ｐ２）を有し、粒子Ｐ１は垂直の代わりに斜めに粒子Ｐ２よりも素早く移動する。従って速度Ｖ（Ｐ１）は、垂直もしくは縦方向速度成分ｖｙおよび横方向速度成分ｖｘを有するベクトルである。また速度Ｖ（Ｐ２）は、ゼロの横方向速度成分を有するベクトルとみなしてもよい。

【0051】

そのような状況では、２つ以上の粒子が同時に行と交差することができるため、イベントレートのみに基づく基準は個々の粒子を区別するのに適していない。

【0052】

粒子を区別するために、次にイベントの位置を使用して各行のための時空座標において輪郭を生成する。従って行のためのイベント読み出しにより複数の閉鎖された輪郭を定めてもよく、ここでは各閉鎖された輪郭は個々の粒子に対応している。

【0053】

図８Ａは、連続的な時間ステップｔ０～ｔ７にわたって行Ｒ１が図７の例において生じ得るものを示す。

【0054】

時間ステップｔ０では、粒子Ｐ２の前縁が行Ｒ１に当たり、例えば２つの隣接する画素と交差する。粒子本体の濃淡が背景よりも明るい場合に、これらの２つの画素によって生成される例えば正の極性のイベントは、粒子Ｐ２の輪郭の開始の２つの点を定める。

【0055】

時間ステップｔ１では、粒子Ｐ２の前縁は２つの分離された画素対において行と交差する。これらの画素によって生成されるイベントは、粒子Ｐ２の輪郭の４つの新しい点を定める。

【0056】

時間ステップｔ２では、粒子Ｐ１の前縁は行に当たって例えば４つの隣接する画素と交差し、粒子Ｐ２の前縁は２つの新しい分離された画素と交差する。次に正のイベントの３つの分離された群が行において生成され、粒子Ｐ２の輪郭に属する点、および新しい粒子に属することができる点に関して決定を行う必要がある。

【0057】

明らかに中間の画素は変化しておらず、かつステップｔ０およびｔ１においてそれらが取得した値を取るため、２つの最も右側の点は粒子Ｐ２の輪郭に属している。

【0058】

実際には、ノイズ、不鮮明な縁または濃淡のばらつきにより、粒子本体の中またはその近くの画素は見せかけで変化する場合があり、少なくとも現在の行およびその即時履歴のみを観察している場合、粒子およびその粒子に属している画素の数に関する決定はそれほど明確ではない。そのような状況では、それらがフレームベースのイメージャで実行された場合であっても、公知の物体分離アルゴリズムを使用してもよい。例えば、２００９年ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｄｖａｎｃｅ Ｃｏｍｐｕｔｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ（ＩＡＣＣ２００９）におけるＳｕｂｒａｍａｎｉａｎ Ｓ．ら，「リアルタイム物体カウントのためのメモリ効率のよいアルゴリズム（Ａ Ｍｅｍｏｒｙ Ｅｆｆｉｃｉｅｎｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｒｅａｌ Ｔｉｍｅ Ｏｂｊｅｃｔ Ｃｏｕｎｔｉｎｇ）」は、フレームベースのスキャナの２つの隣接する行の分析に基づく単純なアルゴリズムを開示している。２つの隣接する行はフレームベースのモードにおいて現在の行およびその即時履歴を表し、これは本状況では、２つの連続した時間ステップにおいて観察される同じイベントベースの行に類似している。

【0059】

時間ステップｔ３では、粒子Ｐ１の輪郭のために２つの新しい点が定められているが、粒子Ｐ２の縁は行に垂直であるため粒子Ｐ２では変化は生じない。この場合、輪郭のために見つけられた前の２つの点は点線で示されているように重なり合っている。

【0060】

時間ステップｔ４では、粒子Ｐ１およびＰ２の後縁は２つの別個の画素においてそれぞれ行と交差している。この時、交差された画素は輪郭画素としてもカウントされる負の極性のイベントを生成する。

【0061】

時間ステップｔ５では粒子Ｐ１の後縁は行から離れ、粒子Ｐ２の後縁はなお行と交差している。

【0062】

時間ステップｔ６では粒子Ｐ２の後縁は行から離れる。

【0063】

この段階では２つの輪郭は、２つの異なる粒子に属している行Ｒ１のための時空座標において生成される。輪郭は後縁が行から離れる時間ステップなどの基準タイムスタンプ、すなわち粒子Ｐ１のためのｔ５および粒子Ｐ２のためのｔ６と共に、行Ｒ１によって「検出された」粒子の実行リストに個々に記憶してもよい。

【0064】

時間軸に沿った粒子輪郭の寸法は図７に示されている空間寸法に一致していないことに気づくことができる。さらに粒子Ｐ１の斜めの軌道により輪郭は歪められている。先に言及したように、時空座標におけるそのような輪郭は粒子径を評価するために直接使用することができない。その目的のために輪郭を粒子速度を用いて空間座標に変換し、例えば以下のように速度を決定する。

【0065】

行Ｒ２を行Ｒ１と同様に処理して、時空座標において行Ｒ２を横切る各粒子の輪郭を追跡する。次いで粒子が行から離れる度に、例えば相互相関を用いてそれを実行リストに記憶されている粒子と比較する。原則として速度および回転が関心領域の非常に短い距離にわたって変化しないと仮定すると、対応する輪郭はぴったりと一致するはずである。

【0066】

一致が見つかった場合、空間的成分ｄが一致している輪郭の横方向成分間の差に等しく、かつ時間的成分Ｔが輪郭の基準タイムスタンプ間の差に等しい状態で、変位ベクトルが形成される。

【0067】

横方向成分ｖｘ＝ｄ／Ｔおよび縦方向成分ｖｙ＝Ｄ／Ｔを有する速度ベクトルＶ（Ｐ）（式中、ｄおよびＤは画像平面における距離である）を決定し、それを物体平面における距離に変換して物体平面における速度ベクトルを生成することもできる。

【0068】

図８Ａに示すように、最終的に実行リストからの一致している輪郭を空間座標（ｘ’，ｙ’）に変換し、かつベクトルＶ（Ｐ）を時空座標（ｘ，ｔ）に当てはめること、すなわち
ｘ’＝ｘ－ｖｘ・（ｔ－ｔｒｅｆ）
ｙ’＝ｖｙ・（ｔ－ｔｒｅｆ）
（式中、ｔｒｅｆは実行リスト中に輪郭と共に記憶されている基準タイムスタンプである）
により修正する。

【0069】

次いで、行Ｒ２を離れる次の粒子を処理するために必要な比較数を減らすために、一致している輪郭を実行リストから除去してもよい。

【0070】

従って本粒子分析方法は、異なる速度およびさらには異なる角度で移動している複数の粒子に適用可能である。但し移動角度が異なる場合、特に行Ｒ１，Ｒ２の１つを横切る場合に粒子が一時的に重なり合うようになることがあり得る。そのような場合、行の１つを分析することにより粒子は分離可能でなく、それにより行Ｒ２における照合作業は、２つの重なり合っている粒子の少なくとも１つを見落とすことにより失敗する。

【0071】

この状況を克服するために、３つ以上の基準行をセンサアレイにわたって分散させてもよい。そのような場合、２つの粒子が１つの行において重なり合っている場合に、少なくとも２つの他の行が分離されている粒子を見て、上で説明されているように使用することができる。

【0072】

言い換えると、最後の行以外の各行のために輪郭の実行リストが維持されている。第２の行から離れる粒子が第１の実行リストにおいて一致を見つけなければ、その輪郭は第２の実行リストに記憶される。次いで粒子が第３の行から離れる場合、その輪郭は第２の実行リストにおいて検索され、一致はそこで見つけられ、原則としてこれは第１の行を横切っている場合に粒子は別の粒子によって隠されていることを意味する。

【0073】

粒子が第２の行を横切っている場合に隠されているのであれば、照合作業は粒子によってトリガされないが、第１の実行リストは粒子が第１の行を横切った場合に一致している輪郭を含む。粒子が第３の行を横切る場合に照合作業がトリガされ、次いで第２のリスト中で一致が見つからず、第１のリストにより照合作業が試みられ、次いでこれが続く。

【0074】

このようにして基準行の数を増やすことにより、重なり合っている粒子の難しさを克服するだけではなく、本システムをノイズに対してよりロバストにもさせる。

【0075】

センサアレイは典型的には行ごとに処理されるので、上記実施形態はセンサアレイの画素の行を参照しながら説明してきた。従って移動している粒子を分析するために行を使用することは簡単である。しかし状況に応じて、列、対角線またはさらには画素の湾曲状もしくは弓状の線などの他の画素位置合わせを使用してもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【手続補正書】

【提出日】2023-11-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

移動中の粒子の属性を測定するための方法であって、
・そのセンサの画素アレイの線が関心領域を通る粒子の期待される軌道を横切って位置するように配向されたイベントベースセンサにより前記関心領域を観察する工程と、
・空間的距離だけ分離された画素の２本の基準線を定める工程と、
・前記２本の基準線の第１の線によって生成された第１のイベント群をサンプリングする工程と、
・前記２本の基準線の第２の線によって生成された第２のイベント群をサンプリングする工程と、
・前記第２および第１のイベント群間の時間的距離を決定する工程と、
・前記空間的距離および前記時間的距離に基づいて前記粒子の縦方向速度係数を提供する工程と
を含み、
前記粒子は線の中の複数の隣接する画素を跨ぐサイズを有することを特徴とし、前記方法は以下のさらなる工程：
前記線の中のイベントトリガされた画素の位置に基づく空間的成分および複数の時間ステップに基づく時間的成分を含む時空座標（ｘ，ｔ）において前記粒子の輪郭を生成するために、前記複数の時間ステップにわたって前記第１および第２のイベント群の１つを分析する工程と、
・前記時空座標の前記時間ステップに前記縦方向速度係数を掛けることにより、前記輪郭の前記時空座標（ｘ’，ｙ’）を空間座標に変換する工程と
を含む、方法。

【請求項2】

・複数の時間ステップにわたって前記２本の基準線によって生成されたそれぞれのイベントレートを測定する工程と、
・前記第１のイベント群のために測定された前記イベントレートが閾値を超えた場合に第１の時間ステップを記憶する工程と、
・前記第２のイベント群のために測定された前記イベントレートが前記閾値を超えた場合に第２の時間ステップを記憶する工程と、
・前記第２および第１の時間ステップ間の差として前記時間的距離を提供する工程と
を含む、請求項１に記載の方法。

【請求項3】

前記対応する基準線を含む複数の隣接する線の群によって生成されたイベントを集約することにより各イベントレートを測定する工程を含む、請求項２に記載の方法。

【請求項4】

・時空座標（ｘ，ｔ）において前記粒子のそれぞれの第１および第２の輪郭を生成するために、複数の時間ステップにわたって前記第１および第２のイベント群を分析する工程と、
・前記第１および第２の輪郭を相互相関させて、前記縦方向速度係数を決定するために使用される前記時間的距離を決定する工程と
を含む、請求項１に記載の方法。

【請求項5】

・前記輪郭を相互相関させる際に前記線の方向への前記輪郭間の横方向空間変位も決定する工程と、
・前記横方向空間変位を前記時間的距離で割ることにより横方向速度係数を提供する工程と、
・前記時空座標を空間座標に変換する際に、前記時間ステップおよび前記横方向速度係数に基づいて前記時空座標の前記空間的成分を補正する工程と
を含む、請求項４に記載の方法。

【請求項6】

空間座標における前記輪郭に基づいて前記粒子のサイズ属性を決定する工程を含む、請求項１に記載の方法。

【請求項7】

空間座標における前記輪郭および前記輪郭の最長軸に垂直な粒子の断面に関する仮定に基づいて前記粒子の体積を決定する工程を含む、請求項１に記載の方法。

【請求項8】

・複数の閾値を使用して複数の対応する時間的距離を決定する工程と、
・前記時間的距離を平均化する工程と
を含む、請求項２に記載の方法。

【請求項9】

液滴属性分析装置であって、
・液滴を表面に放出するように構成されたノズルと、
・前記ノズルに固定的に取り付けられたイベントベースカメラと、
・前記カメラが前記ノズルと前記表面との間の関心領域を観察するのを可能にするように配向された、前記ノズルに取り付けられた光学装置と
を備え、
前記カメラは、
・前記センサの画素アレイの線が前記関心領域を通る粒子の期待される軌道を横切って位置するように配向されたイベントベースセンサにより前記関心領域を観察し、
・空間的距離だけ分離された画素の２本の基準線を定め、
・前記２本の基準線の第１の線によって生成された第１のイベント群をサンプリングし、
・前記２本の基準線の第２の線によって生成された第２のイベント群をサンプリングし、
・前記第２および第１のイベント群間の時間的距離を決定し、かつ
・前記空間的距離および前記時間的距離に基づいて前記粒子の縦方向速度係数を提供する
ようにプログラムされたプロセッサを備えることを特徴とする、液滴属性分析装置。

【国際調査報告】