▶ エイエムエス センサーズ シンガポール プライヴェット リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-01
(54)【発明の名称】オプティカルフローセンサ
(51)【国際特許分類】
G01P 3/36 20060101AFI20240725BHJP
G06F 3/041 20060101ALI20240725BHJP
G06F 3/042 20060101ALI20240725BHJP
G01B 11/00 20060101ALI20240725BHJP
【ＦＩ】
G01P3/36 Z
G06F3/041 595
G06F3/042 473
G01B11/00 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024501865
(86)(22)【出願日】2022-07-19
(85)【翻訳文提出日】2024-03-05
(86)【国際出願番号】 SG2022050513
(87)【国際公開番号】W WO2023009068
(87)【国際公開日】2023-02-02
(31)【優先権主張番号】2110716.4
(32)【優先日】2021-07-26
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】522211759
【氏名又は名称】エイエムエス－オスラム エイジア パシフィック プライヴェット リミテッド
【氏名又は名称原語表記】ａｍｓ－ＯＳＲＡＭ Ａｓｉａ Ｐａｃｉｆｉｃ Ｐｔｅ． Ｌｔｄ．
【住所又は居所原語表記】７０００ Ａｎｇ Ｍｏ Ｋｉｏ Ａｖｅｎｕｅ ５， ＃０２－００， Ｓｉｎｇａｐｏｒｅ ５６９８７７， Ｓｉｎｇａｐｏｒｅ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ダレオ フランチェスコ パオロ
(72)【発明者】
【氏名】ガイガー イエンス
(72)【発明者】
【氏名】ロッシ マルクス
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA02
2F065AA07
2F065AA09
2F065FF04
2F065JJ02
2F065JJ03
2F065LL21
2F065MM02
2F065QQ31
(57)【要約】
光学デバイス（１）は、センサ（３）と、センサ（３）の少なくとも一部を覆う第１のマスク（４、１１ａ）と、センサ（３）の少なくとも一部を覆う第２のマスク（５、１１ｂ）とを提供するように構成されたマスク構造（１０）と、を備える。第２のマスク（５、１１ｂ）は、第１のマスク（４、１１ａ）のアンチマスクであり、センサ（３）は、第１のマスク（４、１１ａ）を透過した光に対する第１の出力信号と、第２のマスク（５、１１ｂ）を透過した光に対する第２の出力信号とを提供するように構成される。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
センサ（３）と、前記センサ（３）の少なくとも一部を覆う第１のマスク（４、１１ａ）と、前記センサ（３）の少なくとも一部を覆う第２のマスク（５、１１ｂ）とを提供するように構成されたマスク構造（１０）であって、前記第２のマスク（５、１１ｂ）は、前記第１のマスク（４、１１ａ）のアンチマスクである、前記マスク構造（１０）と、を備え、
前記センサ（３）は、前記第１のマスク（４、１１ａ）を透過した光に対する第１の出力信号と、前記第２のマスク（５、１１ｂ）を透過した光に対する第２の出力信号とを提供するように構成される、光学デバイス（１）。
【請求項2】
前記第１のマスク（４、１１ａ）は、前記センサ（３）の領域の実質的に第１の半分を覆い、前記第２のマスク（５、１１ｂ）は、前記領域の実質的に第２の半分を覆う、請求項１に記載の光学デバイス（１）。
【請求項3】
前記第１のマスク（４、１１ａ）及び前記第２のマスク（５、１１ｂ）のそれぞれは、バイナリマスクである、請求項１に記載の光学デバイス（１）。
【請求項4】
前記第１のマスク（４、１１ａ）は、複数の正方形を含む市松模様パターンを含む、請求項１に記載の光学デバイス（１）。
【請求項5】
前記第２のマスク（５、１１ｂ）は、奇数個の正方形の分だけ垂直または水平にシフトされた同じ市松模様パターンを含む、請求項４に記載の光学デバイス（１）。
【請求項6】
前記第１のマスク（４、１１ａ）及び前記第２のマスク（５、１１ｂ）のそれぞれは、均一冗長アレイ（ＵＲＡ）パターンを含む、請求項１に記載の光学デバイス（１）。
【請求項7】
前記第１のマスク（４、１１ａ）は、ランダムパターンまたは擬似ランダムパターンを含む、請求項１に記載の光学デバイス（１）。
【請求項8】
前記第１のマスク（４）及び前記第２のマスク（５）は、少なくとも９００ｎｍ～１２００ｎｍの範囲の波長を有する光を遮断するパターン形成されたポリマー層を含む、請求項１に記載の光学デバイス（１）。
【請求項9】
前記マスク構造（１０）は、液晶ディスプレイ（ＬＣＤ）を含み、前記第１のマスク（４、１１ａ）及び前記第２のマスク（５、１１ｂ）は、前記第１のマスク（４、１１ａ）と前記第２のマスク（５、１１ｂ）とが時間的に分離されるように、前記ＬＣＤのセルを活性化または非活性化することによって提供される、請求項１に記載の光学デバイス（１）。
【請求項10】
前記マスク構造（１０）は、トランジスタの層を含む、請求項１に記載の光学デバイス（１）。
【請求項11】
前記マスク構造（１０）は、エミッタの層を含む、請求項１に記載の光学デバイス（１）。
【請求項12】
前記マスク構造（１０）は、前記光学デバイス（１）のアプリケーションに応じて前記第１のマスク（４、１１ａ）及び前記第２のマスク（５、１１ｂ）を変更するために再構成可能である、請求項１に記載の光学デバイス（１）。
【請求項13】
前記センサ（３）からの出力信号を処理するための処理ユニット（８）をさらに備え、前記処理ユニット（８）は、前記第１の出力信号から時間についての第１の微分係数を計算することと、
前記第２の出力信号から時間についての第２の微分係数を計算することと、
前記第１の微分係数と前記第２の微分係数とを合計して、合計された導関数を形成することと、
を行うように構成されている、請求項１に記載の光学デバイス（１）。
【請求項14】
前記処理ユニット（８）は、前記合計された導関数に基づいて被写体（７）の速度及び／または軌道を決定するようにさらに構成される、請求項１３に記載の光学デバイス（１）。
【請求項15】
オプティカルフロー検知用の光学デバイス（１）であって、センサ（３）と、
センサ（３）を覆うマスク（１３）を提供するように構成されたマスク構造（１０）と、を備え、
前記マスク（１３）は、前記センサ（３）の２０％～９０％を覆う単一開口部（１４）を備え、前記センサ（３）は、前記マスク（１３）を透過した光に対する出力信号を提供するように構成されている、光学デバイス（１）。
【請求項16】
被写体（７）の移動を決定する方法であって、センサ（３）を用いて、第１のマスク（４、１１ａ）を透過した前記被写体（７）からの光を受光して、第１の出力信号を提供することと、
前記センサ（３）を用いて、第２のマスク（５、１１ｂ）を透過した前記被写体（７）からの光を受光して、第２の出力信号を提供することであって、前記第２のマスク（５、１１ｂ）は、前記第１のマスク（４、１１ａ）のアンチマスクである、前記提供することと、
前記第１の出力信号及び前記第２の出力信号から前記被写体（７）の速度及び／または軌道を決定することと、
を含む、前記方法。
【請求項17】
前記決定することのステップが、第１の出力信号の第１の導関数を計算することと、
第２の出力信号の第２の導関数を計算することと、
前記第１の導関数と前記第２の導関数とを合計して、合計された導関数を提供することと、
前記合計された導関数から、前記速度及び／または前記軌道を決定することと、
を含む、請求項１６に記載の方法。
【請求項18】
前記決定することのステップが、人工知能を訓練し、使用して、合計された導関数を解析することを含む、請求項１６または請求項１７に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ジェスチャ認識用のオプティカルフローセンサなどの光学デバイス、及びオプティカルフロー検知の方法に関する。
【背景技術】
【0002】
オプティカルフローまたはオプティックフローは、観測者／センサとシーンとの間の相対運動によって引き起こされる被写体の見かけの運動のパターンである。オプティカルフローはまた、一連の画像における輝度パターンの移動の見かけの速度の分布としても定義され得る。
【0003】
オプティカルフローは、画像シーケンスを解析することによって取得される。レンズレスシステムにおいては、中間相が存在するが、それは、取得される画像が観測シーンを直接表現せずに再構成段階を必要とするからである。再構成アルゴリズムには、かなりの計算能力が必要となる場合があり、そのため検知が遅れることになる。
【0004】
双方向ディスプレイを用いたジェスチャ認識の分野では、観測される被写体（例えば、指）の移動を識別するが、被写体自体を識別しないことが重要である。表示情報を妨げないフラットなデバイスとするために、マスクパターンが用いられ得る。そして、光学マスクによって符号化された画像がセンサ面上に投影される。
【0005】
投影されたパターンから被写体の移動を取り出すには、画像シーケンスの解析が必要であり、画像は特定のパターンによって決まる。この手法の問題は、再構成が被写体放射照度の変動及び特定のマスクに依存し、そのため移動の抽出／決定を複雑にする可能性があることである。
【発明の概要】
【0006】
この問題を解決するために、本開示は、パターン形成された開口部に基づく解決策を提案する。この解決策は、別個の画像再構成ステップを必要とせずに、かつパターンを提供するのに使用される光学マスクとは無関係に、直接的な被写体移動再構成を提供することができる。
【0007】
このさらなる問題を解決するために、２つの光学マスクを使用することが提案されており、一方のマスクは、他方のマスクのアンチマスクである。アンチマスクは、本明細書では「相補マスク」とも呼ばれる。これらのマスクは、１つのマスクの透明（または非ゼロ強度）領域が、もう１つのマスクの不透明（またはゼロ強度）領域に対応するという点で相補的である。マスクパターンは、代表的には、可視光に対しては透明であるが、赤外線（ＩＲ）放射は遮断する。バイナリマスクＡに対して、アンチマスクはＡ’＝（１－Ａ）である。これにより、マスクからの依存性が打ち消され、被写体移動の直接情報が取得されるようになる。
【0008】
本開示の第１の態様によれば、センサとマスク構造とを備える光学デバイスが提供される。マスク構造は、センサの少なくとも一部を覆う第１のマスクと、センサの少なくとも一部を覆う第２のマスクとを提供するように構成される（第１のマスクによって覆われる部分と同じ部分であってもよく、または異なる部分であってもよい）。第２のマスクは、第１のマスクのアンチマスクであり、センサは、第１のマスクを透過した光（例えば、赤外光）に対する第１の出力信号と、第２のマスクを透過した光に対する第２の出力信号とを提供するように構成される。
【0009】
したがって、本光学デバイスは、第１のマスクによってセンサ上に投影された画像のシーケンスと、第２のマスクによってセンサ上に投影された画像の第２のシーケンスとを取り込み、これらの２つの画像シーケンスを使用して、センサの前を移動する被写体の速度及び／または軌道を決定するために使用することができる。画像再構成は必要ない。２つのシーケンスの時間導関数を合計することによって、特定のマスク構造の知識を必要とせずに、被写体の移動を推定することができる画像（本明細書では「ボックスブラー画像」と呼ばれる）が得られる。
【0010】
相補マスクは、独立した光検出器測定を可能にするために、交互に投影される（時間的に分離される）か、または空間的に分離される。後者の場合、同じ画像セルからの測定値の減算を一致させるために、遅延線メモリを使用することができる。
【0011】
一実施形態では、第１のマスクは、センサの領域の実質的に第１の半分を覆い、第２のマスクは、この領域の実質的に第２の半分を覆う。好ましくは、センサがより短い寸法を有する場合、この領域は、このより短い寸法に沿って分割される。
【0012】
代表的には、第１のマスク及び第２のマスクのそれぞれは、バイナリマスクである。すなわち、マスクは、目標範囲内の波長を有する光（例えば、ＩＲ光）に対して、実質的に透明である特性と、実質的に不透明である特性とを有するパターンを含む。あるいは、勾配マスクを用いることができる。個々のマスクの形状構成（代表的には正方形）は、目標波長及び対象アプリケーションに応じて、１６μｍ～４８μｍの範囲のサイズを有し得る。例えば、波長８５０ｎｍの赤外光の場合は、約３２μｍの幅を有する正方形が用いられ得る。第１のマスクは、複数の正方形を含む市松模様パターンを含む場合がある。第２のマスクは、同じ市松模様パターンを含む場合があるが、センサに対して垂直または水平に奇数個の正方形の分だけシフトされる。例えば、第１のマスク及び第２のマスクが下にあるセンサ領域のほぼ同じ部分を覆うように、第２のマスクは、第１のマスクに対して、市松模様パターンの単一の行または単一の列の分だけシフトされ得る。
【0013】
第１のマスク及び第２のマスクのそれぞれは、均一冗長アレイ（ＵＲＡ）パターンを含む場合がある。ＵＲＡパターンを使用することにより、被写体の画像をセンサ出力から再構成することも可能になる。あるいは、第１のマスクは、ランダムパターンまたは擬似ランダムパターンを含む場合がある。これは、任意のデバイス形状を覆うのに有利であり得る。また、被写体の画像を再構成するために必要な画像フィルタは、第１のマスクと同じである。
【0014】
第１のマスク及び第２のマスクは、少なくとも９００ｎｍ～１２００ｎｍの範囲の波長を有する光を遮断するパターン形成されたポリマー層を含むことができる。ポリマー層は、範囲外の波長を有する更なる光を遮断してもよい。好ましくは、ポリマー層は、可視光に対して透明である。ポリマー層は、リソグラフィによってパターン形成され得る。ポリマー層を含むマスク構造は、交互の高屈折率及び低屈折率に基づくマスクと比較して、それら屈折率が光路、したがって入射角に依存するので、有利であり得る。ポリマー層マスクはまた、比較的、より安価に、より薄く、より設計を容易にすることができる。
【0015】
マスク構造は、光学デバイスのアプリケーションに応じて第１のマスク及び第２のマスクを変更するために再構成可能であり得る。マスク構造は、相補マスクを切り替える切り替えユニットを含むことができる。マスク構造は、液晶ディスプレイ（ＬＣＤ）などの調整可能なマスクを含み得る。その場合、第１のマスク及び第２のマスクは、第１のマスクと第２のマスクとが時間的に分離されるように、ＬＣＤのセルを活性化または非活性化することによって提供される。このようにして、視差は生じないが、時間分解能は半分に低減され得る。
【0016】
あるいは、マスク構造は、トランジスタの層を含み得る。例えば、二酸化バナジウムをベースとするトランジスタは、可視光放射が通過することを可能にしながら、制御された方法で赤外線放射を遮断するように構成され得る。それらトランジスタを、平坦な表面上に組織化して格子を形成し得、その格子を変調してマスクパターンを作成し得る。異なるタイプのコード化された開口部が生成され得、その後、マスク変位を伴わずに、アプリケーションに関連するマスクの動的適応（例えば、シーンまたは移動の再構成）を伴って、マスク－アンチマスクペアが生成され得る。
【0017】
他の実施形態では、埋め込みエミッタの層を遮断マスクとして使用してもよい。例えば、ＬＥＤ（例えば、マイクロＬＥＤまたはＯＬＥＤ）が、より暗い領域に設置され、被写体を照明するために使用され得る。反射光は、透明領域を通過してセンサ上に進む。
【0018】
光学デバイスは、センサからの出力信号を受信して処理するための処理ユニットをさらに備え得る。処理ユニットは、第１の出力信号から時間についての第１の微分係数を計算し、第２の出力信号から時間についての第２の微分係数を計算し、第１の微分係数と第２の微分係数とを合計して、合計された導関数を形成するように構成され得る。処理ユニットは、合計された導関数（ボックスブラー画像）を、統合デバイスのアプリケーションなどの外部デバイス／ユニットに出力するように構成され得る。次いで、外部デバイス／ユニットは、出力を使用して、被写体移動を決定し得る。他の実施形態では、処理ユニットは、合計された導関数に基づいて被写体の速度及び／または軌道を決定するようにさらに構成され得る。
【0019】
本開示の第２の態様によれば、オプティカルフロー検知用の光学デバイスが提供される。本デバイスは、センサと、センサを覆うマスクを提供するように構成されたマスク構造（１０）とを備える。マスクは、センサの２０％～９０％を覆う単一開口部を備え、センサ（３）は、マスクを透過した光に対する出力信号を提供するように構成される。
【0020】
単一開口部は、比較的大きいがセンサ領域よりも小さく、マスクとそのアンチマスクとの組み合わせである。したがって、第１の態様にあるようなマスク及びアンチマスクを提供するために２つのマスクを使用する代わりに、２つのマスクの組み合わせである単一のマスクが使用される。これにより、オプティカルフロー検知に対する複雑性の低い解決策を提供することができる。また、センサ信号を取得して、一次導関数を求めることのみが必要とされる。有利なことに、視差及びミスアライメントは生じない。マスク構造のほかに、第２の態様の光学デバイスは、第１の態様の光学デバイスに含まれる任意の適切な特徴を含み得る。
【0021】
本開示の第３の態様によれば、被写体の移動を決定する方法（すなわち、オプティカルフロー検知の方法）が提供される。本方法は、第１の態様に係る光学デバイスを用いることができる。本方法は、センサを用いて、第１のマスクを透過した被写体からの光を受光して、第１の出力信号を提供することと、センサを用いて、第２のマスクを透過した被写体からの光を受光して、第２の出力信号を提供することであって、第２のマスクは、第１のマスクのアンチマスクである、提供することと、を含む。本方法は、第１の出力信号及び第２の出力信号から被写体の速度及び／または軌道を決定することをさらに含む。
【0022】
決定することのステップは、第１の出力信号の第１の導関数を計算することと、第２の出力信号の第２の導関数を計算することと、第１の導関数と第２の導関数とを合計して、合計された導関数を提供することとを含み得る。次いで、合計された導関数から速度及び／または軌道を決定する。例えば、決定することのステップは、人工知能を訓練し、使用して、合計された導関数を解析することを含み得る。
【0023】
以下、添付の図面を参照しながら本開示の具体的な実施形態について説明する。
【図面の簡単な説明】
【0024】
【図1】実施形態に係る光学デバイスを含む統合デバイスの概略図を示す。
【図2a】第１のマスクを提供する場合のマスク構造を備える別の実施形態による光学デバイスを示す。
【図2b】マスク構造が第２の相補マスクを提供する場合の光学デバイスを示す。
【図3】センサに対する軌跡ｒ（ｔ）に従う放射照度Ｏ（ｔ）及び速度Ｖ（ｔ）を有する被写体を示す。
【図4】センサに対して円内を移動する被写体の放射照度、合計された導関数、ならびに垂直プロファイル及び水平プロファイルを示す。
【図5】センサ平面に平行に移動する三角形の被写体の放射照度、合計された導関数、ならびに垂直プロファイル及び水平プロファイルを示す。
【図7】センサ平面に対して垂直に移動する被写体の放射照度、合計された導関数、ならびに垂直プロファイル及び水平プロファイルを示す。
【図8】実施形態に係るオプティカルフロー検知用のアルゴリズムの概略図を示す。
【図9】２つのマスクを含み、それぞれがセンサ領域の半分を覆うマスク構造を示す。
【図10】マスクが細分された別のマスク構造の実施形態を示す。
【図11】市松模様パターンマスクパターンを含むマスク構造を示す。
【図12】単一の大きな開口部を備えたマスク構造を有する別の実施形態に係るオプティカルフロー検知用の光学デバイスを示す。
【図13】単一の大きな開口部を有するマスク構造を示す。
【発明を実施するための形態】
【0025】
図１は、実施形態に係る統合デバイス２（例えば、スマートフォン）における光学デバイス１の概略図を示す。デバイス１は、入射光を検知するためのセンサ３を備える。センサ３は、フォトダイオードまたは他の感光要素のアレイを含み得る。デバイスは、センサ３の前に２つの光学マスク４及び５を含むマスク構造１０をさらに含む。第１の光学マスク４は、第２のマスク５の相補マスクである（すなわち、第１のマスク４のパターンが不透明である場合、第２のマスク５のパターンは透明であり、逆の場合も同様である）。各マスク４及び５は、センサ３の半分を覆う。センサ３に入射した移動被写体７からの光６は、光学マスク４及び５を透過し、光学マスク４及び５は光６を変調してセンサ３上に画像を投影する。センサ３は、第１の光学マスク４を透過した光に応答して第１の出力信号を提供し、第２の光学マスク５を透過した光に応答して第２の出力信号を提供する。処理ユニット８は、センサ３からの出力信号を受信して処理するように構成される。例えば、処理ユニット８は、被写体７の移動（例えば、速度及び／または軌道）を決定することができる第１の出力信号及び第２の出力信号の合計された導関数を計算するように構成することができる。
【0026】
マスク構造１０は、入射角とは無関係に赤外線放射を遮断する染料をベースとする透明ポリマー（可視域において透明なポリマー）を含むことができる。マスク４及び５は、リソグラフィでパターン形成され、センサ３の前に配置される。
【0027】
被写体７は、例えば、光学デバイス１が組み込まれたスマートフォンまたはコンピュータタブレットのディスプレイなど、統合デバイス２のディスプレイの前を移動する指であってもよい。そして、光学デバイス１は、ディスプレイの前の被写体７の移動を決定するために使用可能であり、この移動は、例えば、ジェスチャ認識のために統合デバイスのアプリケーション９によって使用され得る。
【0028】
２つの空間的に分離されたマスクを有する代わりに、単一の調整可能なマスクを使用することができる。例えば、液晶ディスプレイ（ＬＣＤ）が、アプリケーションの要求に応じて動的パターンを生成するように使用されてもよい。ＬＣＤは、直接マスクＡを生成し、続いて相補マスクＡ’を生成することもできる。このように、時間分解能を低減させることを犠牲にして、視差を除去すること、または低減させることができる。あるいは、例えば二酸化バナジウムをベースとしたトランジスタを、可視光放射が通過することを可能にしながら、制御された方法で赤外線放射を遮断するように使用することができる。トランジスタを、平坦な表面上に組織化して格子を形成することができ、この格子は、所望のマスクパターンを提供するように変調することができる。この実施形態は、マスク生成に柔軟性を提供し得る。異なるタイプのコード化された開口部が生成され得、その後、マスク変位を伴わずに、アプリケーションに関連するマスクの動的適応を伴って、マスク－アンチマスクペアが生成され得る。
【0029】
図２ａ及び図２ｂは、一方のマスク１１ａが他方のマスク１１ｂのアンチマスクである２つの相補的なマスク１１ａ及び１１ｂを提供するためのマスク構造１０を有する実施形態による光学デバイス１の概略図を示す。マスク構造１０は、第１のマスク１１ａと第２のマスク１１ｂとを切り替える切り替えユニット１２を備える。例えば、マスク構造１０は、液晶ディスプレイまたはトランジスタアレイを含むことができ、マスク構造の個々の要素は、異なるマスクを提供するように切り替えユニット１２によって制御することができる。その後、２つのマスク１１ａ及び１１ｂが時間内に続いてサンプリングされる。光学デバイス１は、第１のマスク１１ａを備えており、第１のマスク１１ａを透過した光をセンサ３で受光するように構成されている。次いで、切り替えユニットは、マスク構造１０が第２のマスク１１ｂを提供するように切り替えるように構成されており、センサ３は、第２のマスク１１ｂを透過した光を受光するように構成されている。センサ３からの出力を処理するために、処理ユニット８がセンサ３に接続されている。処理ユニット８は、センサ３からの出力に基づいて、センサ３の前の被写体の運動を決定するように構成され得る。
【0030】
図３は、光学系（例えば、マスク及びセンサ）から距離ｒだけ離れた被写体の観測された放射照度Ｏ（ｔ）及び速度Ｖ（ｔ）を示す。期間Ｔ（Ｔ＝ｔ２－ｔ１）にわたってセンサ上に写し込まれた画像
は、軌道ｒ（ｔ）に沿った被写体放射照度の線積分で表すことができる。
この光学系は、マスクＡと相補（アンチ）マスクＡ’＝１－Ａとを含むマスク構造を含む。「１」が完全透過を示し、「０」が放射線遮断を示す場合、Ａ’はＡの反転バージョンである。
【数1】
【数2】
【0031】
マスクＡに関連するマスク投影においてセンサによって知覚される画像は、次のとおりである。
ここで、
は、畳み込み積分を表す。
【数3】
【数4】
【0032】
アンチマスクＡ’に関連するマスク投影においてセンサによって知覚される画像は、次のとおりである。
式２及び式３を時間について微分して、畳み込み微分特性を考慮に入れることによって、以下が得られる。
式４と式５とを合計すると、以下が得られる。
式（６）から分かるように、マスクＡへの依存は打ち消されている。Ａは、センサ上へのマスク投影を表し、放射線源が移動している場合、Ａは時間と共に変化する。したがって、Ａの導関数を経時的に無視することは、他の方法では不可能であり得ることから、こうすることで、提案された解決策の別の利点を提供し得る。
【数5】
【数6】
【数7】
【数8】
【0033】
式１と式６とを組み合わせると、以下が得られる。
式７から、被写体再構成（通常はレンズレスシステムに必要とされる）をすることなく、被写体速度Ｖ（ｔ）を取り出すことができることを理解できよう。被写体速度Ｖ（ｔ）はまた、マスク及びアンチマスクが記載のように使用される限り、使用されるマスクとも無関係である。さらに、被写体速度Ｖ（ｔ）は、いわゆる「ボックスブラー」として作用する行列
との畳み込み積分によって処理される被写体放射照度に依存する。
【数9】
【数10】
【0034】
ボックスブラーは、カーネルが１のみで構成された空間ローパスフィルタと見なすことができる。式３に出現する「１」は、１をゼロに変換し、逆の場合も同様であるため、「１」はマスクＡ自体と同じ次元を有する行列である。
【0035】
被写体形状が比較的単純である、または先験的に既知であるアプリケーションの場合、動作は簡略化される。例えば、指の移動を認識する分野では、指先は既知であり、典型的な移動、したがって生成されるパターンを、前々からシミュレートし、予測することができる。ボックスブラー画像の境界は、被写体の変動に依存する。
【0036】
図４は、円形に移動するガウス形スポットの被写体放射照度と、結果として生じるボックスブラー画像と、ボックスブラー画像の対応する水平プロファイル及び垂直プロファイルとを示す。ボックスブラー画像中の矢印は移動方向を示す。被写体の速度は、ボックスブラー画像から求めることができ、軌道は、複数の連続したボックスブラー画像から求めることができる。例えば、垂直プロファイル及び水平プロファイル、具体的にはプロファイルの最大値及び／または最小値を用いて、（平面運動における）センサ平面に平行な被写体の速度を決定することができる。被写体速度は、ピーク値に比例する。ピーク間の距離を用いて、被写体の中心座標を決定することができる。
【0037】
図５は、２つの異なる時間（ｔ１及びｔ２）における被写体放射照度と、投影されたマスク画像の時間導関数と、それらの和とを示す。図に示すように、導関数を合計することによって、高域情報はフィルタ除去され、低域ボックスブラー画像のみが残る。このボックスブラー画像から被写体の速度を求めることができる。例えば、垂直プロファイルでは、最小ピークが「最初に」生じ、その後に最大ピークが続くので、被写体の移動方向は垂直下向きである。
【0038】
図６は、図５のボックスブラー画像の正規化された垂直プロファイルのプロットを示す。被写体（すなわち、三角形）は、時間ｔ１と時間ｔ２との間に垂直方向へ５ピクセル移動し、これは垂直プロファイルのピークの勾配に反映される。
【0039】
図７は、時間ｔ１及びｔ２においてスクリーンから遠ざかる、またはスクリーンに向かって移動する被写体の放射照度Ｏ（ｔ）と、結果として得られるボックスブラー画像と、垂直プロファイル及び水平プロファイルとを示す。図に示すように、被写体の垂直（面外）移動もまた、提案された解決策によって検出される。図の最初の２つの行は、それぞれ（センサ平面に垂直なｚ－方向において）被写体がセンサに接近する状況、及び被写体がセンサから遠ざかる状況を示す。第３の行は、センサに沿った移動とセンサに対して垂直な移動との両方が存在する場合の状況を示す。ピーク間の水平プロファイル及び垂直プロファイルのレベルは、センサに垂直な速度の情報を提供する。
【0040】
図８は、フロー検知の実施形態を実施するためのアルゴリズムの概略図を示す。アルゴリズムは、一連の画像の有限差分に基づく。画像は、マスク及びアンチマスクに関連するセンサ信号の読み出し値を表すセットで編成される。画像データの４つのセットＲｎ、Ｒ’ｎ、Ｒｎ＋１及びＲ’ｎ＋１が取得される。画像データの第１のＲｎ及び第２のＲｎ＋１セットが第１のマスクに関連付けられ、画像データの第３のＲ’ｎ及び第４のＲ’ｎ＋１セットが第２のマスクに関連付けられ、第２のマスクは第１のマスクのアンチマスクである。画像データの第１のセットが画像データの第２のセットから減算されて、第１のマスクに関連する画像データの第１の差ΔＲが得られる。同様に、画像データの第３のセットが画像データの第４のセットから減算されて、第２のマスクに関連する画像データの第２の差ΔＲ’が得られる。画像データの第１の差と第２の差とを合計して移動データ
が得られる。
【数11】
【0041】
図９は、第１のマスク４及び第２のマスク５を含むマスク構造１０であって、第２のマスク５が第１のマスク４のアンチマスクである、マスク構造１０の実施形態の概略図を示す。マスク構造１０は、より短い寸法に沿って分割される。アクティブ領域（センサ領域）が一方向により拡張されている場合、この分割が図示のように直交方向に沿っていると、マスク－アンチマスクペア間の視差は小さくなる。
【0042】
図１０は、第１のマスク４及び第２のマスク５がより小さい領域に細分される別のマスク構造１０の実施形態を示す。この構成は、図９の構成と同様の特性を有するが、この場合、Ａ－Ａ’はＡ’－Ａのアンチマスクであるので、他の方向も使用することができる。したがって、この構成は、得られた情報を操作する異なる方法を提供する。例えば、センサ平面の部分の導関数をリアルタイムで比較して、被写体軌道をより良く評価することができる。
【0043】
マスク構造によって提供される各マスクは、パターンを含む。任意の既知のパターンを、提案された解決策に対して使用することができるが、いくつかのパターンは、提案された解決策に特に適している場合がある。
【0044】
図１１は、市松模様パターンを有するマスクを提供するためのマスク構造１０を示す。市松模様の小領域を、マスク－アンチマスクペアとして使用することができる。そのため、センサの選択された部分に本技法を適用して繰り返すことにより、被写体軌道をより正確に再構成してマスク変位差を低減させることができる。マスクパターンを単一のマスク形状構成（市松模様の単一の正方形）の分だけ任意の方向にシフトすることにより、結果として得られるマスクは相補的なものとなる。市松模様の領域をシフトされたマスクパターンと共に解析することによって、マスク－アンチマスクペアからの画像が取得される。これにより、マスク変位を、マスク解像度に対応する単一のマスク形状構成のみに低減させることができる。
【0045】
別のパターンファミリーが、有利に使用され得、これは均一冗長アレイ（ＵＲＡ）である。これらのパターンは、被写体再構成に有利であり、高い信号対雑音比（マスク自体によって導入されたノイズに由来する）を達成し得、理論上、完全な撮像システムである。したがって、ＵＲＡには、移動を再構成するとともに被写体を再構成するという二重の関数を提供するさらなる利益があり得る。このタイプのマスクの場合、相補マスクもＵＲＡである。整合フィルタＧ’（再構成を得るために必要とされるフィルタ）は－Ｇに等しく、ここでＧは直接マスクＡに関連する。マスク－アンチマスクをセンサ領域上で変位させることによって、異なる被写体視点（３次元的視界、レンジングなど）を取り出すことが可能である。
【0046】
ランダムパターンも使用され得るが、それらは完全なイメージャではない。信号対雑音比は、マスク形状構成の量に依存する。それらは設計が容易であり、ＵＲＡのように特定の素数に束縛されず、任意の形状が考案され得る。また、整合フィルタはマスクそのものである（Ａ＝Ｇ）。マスクによって導入されたノイズが許容可能である場合、被写体さえも再構成され得る。
【0047】
マスク（Ａ）及びアンチマスク（Ａ’）を提供するために２つの別個のマスクを使用する代わりに、組み合わせ（Ａ＋Ａ’）である単一のマスクが、オプティカルフロー検知用に使用されてもよい。例えば、単一の大きな開口部を使用することができる。開口部（実質的に１００％の透明度の領域）は、概念的には、マスクとそのアンチマスクとの組み合わせ、すなわちＡ＋（１－Ａ）＝１として考えることができる。
【0048】
したがって、センサ信号は、Ｒ＋Ｒ’＝Ｏ＊Ａ＋Ｏ＊（１－Ａ）＝Ｏ＊１＝＞ボックスブラー被写体、である。
【0049】
これにより、マスク構造は、説明したボックスブラー技法を実装する簡単な方法を提供することができる。この場合、センサ信号を取得して一次導関数を求めればよい（視差またはミスアライメントが生じない）。
【0050】
図１２は、マスク構造１０がセンサ３を覆うセンサ３（例えば、ＣＭＯＳ画像センサ）を備えたオプティカルフロー検知用（であるが画像再構成用ではない）光学デバイス１の概略図を示す。マスク構造１０は、単一の大きな開口部１４を有するマスク１３を提供する。開口部１４は、センサ３よりも小さい必要があるが、例えば、センサ３の８０％を覆ってもよい。光学デバイス１は、被写体７の運動を決定するために、センサからの出力を処理するためのプロセッサ８をさらに備える。
【0051】
図１３は、単一の開口部１４を含むマスク構造１０の正面図の概略図を示す。
【0052】
以上、具体的な実施形態について説明したが、特許請求の範囲はこれらの実施形態に限定されない。開示された各特徴は、単独で、または本明細書に開示されている他の特徴と適切に組み合わせて、記載された実施形態のいずれかに組み込むことができる。
【符号の説明】
【0053】
１ 光学デバイス
２ 統合デバイス
３ センサ
４ 第１のマスク
５ 第２のマスク
６ 光
７ 被写体
８ 処理ユニット
９ アプリケーション
１０ マスク構造
１１ａ 第１のマスク
１１ｂ 第２のマスク
１２ 切り替えユニット
１３ マスク
１４ 開口部
２ 統合デバイス
３ センサ
４ 第１のマスク
５ 第２のマスク
６ 光
７ 被写体
８ 処理ユニット
９ アプリケーション
１０ マスク構造
１１ａ 第１のマスク
１１ｂ 第２のマスク
１２ 切り替えユニット
１３ マスク
１４ 開口部
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】