特許 7562840 感知システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】感知システムおよび方法

(51)【国際特許分類】

   H04N 25/70 20230101AFI20240930BHJP

   H04N 23/55 20230101ALI20240930BHJP

【ＦＩ】

H04N25/70

H04N23/55

【請求項の数】 14

(21)【出願番号】P 2023513182

(86)(22)【出願日】2021-08-19

(65)【公表番号】

(43)【公表日】2023-09-14

(86)【国際出願番号】 SG2021050486

(87)【国際公開番号】W WO2022045969

(87)【国際公開日】2022-03-03

【審査請求日】2023-02-22

(31)【優先権主張番号】2013472.2

(32)【優先日】2020-08-27

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】522211759

【氏名又は名称】エイエムエス－オスラム エイジア パシフィック プライヴェット リミテッド

【氏名又は名称原語表記】ａｍｓ－ＯＳＲＡＭ Ａｓｉａ Ｐａｃｉｆｉｃ Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】７０００ Ａｎｇ Ｍｏ Ｋｉｏ Ａｖｅｎｕｅ ５， ＃０２－００， Ｓｉｎｇａｐｏｒｅ ５６９８７７， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ダレオ，フランチェスコ・パオロ

(72)【発明者】

【氏名】レントゲン，ペーテル

(72)【発明者】

【氏名】石▲崎▼ 幸太郎

(72)【発明者】

【氏名】スプリング，ニコラ

【審査官】鈴木 明

(56)【参考文献】

【文献】米国特許出願公開第２００５／００３０６２５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００－２５／７９

(57)【特許請求の範囲】

【請求項1】

感知システムであって、
入射光を受光して符号化画像を送信するように構成された第１の符号化開口と、
前記符号化画像を検出して、複製された符号化画像を放出するように構成された光複製コンポーネントと、
前記複製された符号化画像を受信して復号画像を送信するように構成された第２の符号化開口と、
前記復号画像を検出するように構成されたセンサとを備える、感知システム。

【請求項2】

前記第２の符号化開口の光符号化パターンは、前記第１の符号化開口の光符号化パターンの逆のパターンである、請求項１に記載の感知システム。

【請求項3】

前記第１の符号化開口および／または前記第２の符号化開口は、ランダムな光符号化パターンを備える、請求項１に記載の感知システム。

【請求項4】

前記第１の符号化開口および／または前記第２の符号化開口は、均一冗長アレイまたは修正均一冗長アレイを備える、請求項１に記載の感知システム。

【請求項5】

前記第１の符号化開口および前記第２の符号化開口は、実質的に同一のパターンを備える、請求項１に記載の感知システム。

【請求項6】

前記第１の符号化開口および／または前記第２の符号化開口は、制御可能なディスプレイを備える、請求項１に記載の感知システム。

【請求項7】

前記第２の符号化開口は、前記センサに搭載される、請求項１に記載の感知システム。

【請求項8】

前記光複製コンポーネントは、入射光受光面と、対向する発光面とを備える、請求項１に記載の感知システム。

【請求項9】

前記光複製コンポーネントは、
実質的に透明な平面基板と、
前記基板上に設けられた１つまたは複数のバイポーラ接合トランジスタとを備え、前記バイポーラ接合トランジスタまたは各バイポーラ接合トランジスタは、前記受光面に隣接したコレクタ領域と、前記発光面に隣接したエミッタ領域と、前記コレクタ領域と前記エミッタ領域との間のベース領域とを備え、前記光複製コンポーネントはさらに、
使用時に前記バイポーラ接合トランジスタまたは各バイポーラ接合トランジスタを付勢するための回路を備え、
前記バイポーラ接合トランジスタまたは各バイポーラ接合トランジスタは、前記バイポーラ接合トランジスタの前記コレクタおよびベース領域がフォトダイオードとして動作し、前記ベースおよびエミッタ領域が発光ダイオードとして動作するように構成されて使用時に付勢される、請求項８に記載の感知システム。

【請求項10】

前記光複製コンポーネントは、有機フォトダイオード、有機フォトトランジスタまたは有機発光ダイオードを備える、請求項１に記載の感知システム。

【請求項11】

請求項１から１０のいずれか１項に記載の感知システムを備える電子デバイス。

【請求項12】

光を感知する方法であって、
入射光を受光して符号化画像を送信するように構成された第１の符号化開口を使用して、入射光を受光して符号化画像を送信するステップと、
前記符号化画像を検出して、複製された符号化画像を放出するように構成された光複製コンポーネントを使用して、前記符号化画像を検出するステップと、
前記光複製コンポーネントを使用して、複製された符号化画像を放出するステップと、
前記複製された符号化画像を受信して復号画像を送信するように構成された第２の符号化開口を使用して、前記複製された符号化画像を受信して復号画像を送信するステップと、
復号画像を検出するように構成されたセンサを使用して、前記復号画像を検出するステップとを備える、方法。

【請求項13】

請求項１２に記載の方法をコンピュータに実行させるように構成されたコンピュータ読取可能な命令を備えるコンピュータプログラム。

【請求項14】

請求項１３に記載のコンピュータプログラムを記録したコンピュータ読取可能な媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術分野
本開示は、感知システムおよび方法に関するものであり、特に、画像を検出するための符号化開口感知システムに関するものであるが、これらに限定されるものではない。この感知システムは、携帯電話またはタブレットコンピュータなどの電子デバイスに組み込むことができる。

【背景技術】

【0002】

本開示の背景
本開示は、画像を検出することに適した感知システムに関するものである。画像を検出するための単純な感知システムの周知の例は、ピンホールカメラである。ピンホールカメラは、単一の開口（すなわち、ピンホール）を備える。ピンホールは、入射光を受光して、目またはセンサによって検出され得る単一の反転画像を送信する。ピンホールによって透過される光の量は、少なくとも部分的に、ピンホールカメラの信号対雑音比を決定する。ピンホールのサイズを大きくすると、ピンホールカメラの解像度が減少する（たとえば、検出された画像の端縁の近くでぼけが生じる）。ピンホールのサイズを小さくすると、信号が減少して（すなわち、より少ない光がより小さなピンホールを透過して）、ピンホールカメラの解像度が最終的に回折限界になる。

【0003】

ピンホールカメラの制約のうちの少なくとも一部を克服するために、ピンホールを符号化開口と置き換えることができる。符号化開口は、実質的に不透明なエリアと実質的に透明なエリアとの光符号化パターンを備える基板である。符号化開口は、ピンホールよりも多くの量の光を透過する。なぜなら、符号化開口に入射する画像は、実質的に透明なエリアの各々によって透過されることによって、複数回（実質的に透明なエリアの数に対応する）複製されるからである。より多くの光が複数の開口を透過するため、符号化開口は、ピンホールカメラよりも大きな信号対雑音比を可能にする。しかし、センサは、さまざまな角度からセンサ表面に到達する複数の重なり合った反転画像を受信する。すなわち、センサは、符号化開口の光符号化パターンおよび検出対象の画像の畳み込みである符号化画像を受信する。感知された符号化画像を理解して検出対象の画像を再構築するために、符号化画像は、符号化開口の光符号化パターンの知識を使用して復号される。

【0004】

公知の感知システム１００の一例が図１に概略的に示されている。公知の感知システム１００は、入射光を受光して符号化画像を送信するように構成された符号化開口１１０を備える。符号化開口１１０は、実質的に透過性のエリアと実質的に不透明なエリアとの光符号化パターンを備える。実質的に透過性のエリアを通過する光が符号化画像を形成する。符号化画像は、入射光によって照明される物体１３０の複数の重なり合った反転画像を備え得る。公知の感知システム１００は、符号化画像を検出するように構成されたセンサ１２０をさらに備える。符号化画像は、物体１３０の画像および符号化開口１１０のパターンの畳み込みを備える。センサ１２０は、プロセッサ１４０と通信する。プロセッサ１４０は、検出された符号化画像を示す信号をセンサ１２０から受信するように構成されている。プロセッサ１４０は、符号化画像を数学的に復号して物体１３０の再構築画像を生成するように構成された計算アルゴリズムを備える。

【0005】

このような公知の感知システム１００に関連付けられたいくつかの問題は、プロセッサ１４０が符号化画像を復号しなければならない（すなわち、符号化開口１１０のパターンおよび物体１３０の画像の複雑な逆畳み込みを実行しなければならない）というものである。復号アルゴリズムは、複雑であり、計算負荷が非常に高く、実行するのに大量の処理時間および大量のエネルギを必要とする。

【0006】

したがって、本開示の目的は、上記の問題のうちの１つまたは複数に対処するか、または少なくとも有用な代替案を提供する感知システムを提供することである。

【発明の概要】

【課題を解決するための手段】

【0007】

概要
一般に、本開示は、光複製コンポーネントおよび第２の符号化開口を使用して符号化画像を光学的に復号することによって上記の問題を克服することを提案する。この構成は、有利なことに、複雑な計算アルゴリズムの必要性を低減または無くす。なぜなら、復号が第２の符号化開口を使用して光学的に実行されるからである。光複製コンポーネントは、有利なことに、光学的な復号を使用した場合に起こるであろう情報の消失を低減または回避する。

【0008】

本開示の一局面に従って、感知システムが提供され、上記感知システムは、入射光を受光して符号化画像を送信するように構成された第１の符号化開口を備える。上記感知システムは、上記符号化画像を検出して、複製された符号化画像を放出するように構成された光複製コンポーネントを備える。上記感知システムは、上記複製された符号化画像を受信して復号画像を送信するように構成された第２の符号化開口を備える。上記感知システムは、上記復号画像を検出するように構成されたセンサを備える。

【0009】

上記感知システムは、計算的にではなく光学的に符号化画像を復号する。符号化画像は、カメラ／ディスプレイ対（すなわち、光複製コンポーネント）によって受信され、符号化画像の複製画像は、第１のフィルタマスク（すなわち、第１の符号化開口）に基づいて設計された逆フィルタマスク（すなわち、第２の符号化開口）に提供される。上記第２の符号化開口は、符号化画像の逆畳み込みを提供して、復号画像をさらなるカメラ（すなわち、センサ）に送信する。このように、復号は、複雑なアルゴリズムを伴う計算プロセスに頼ることなく光学的に実行される。

【0010】

これまでは、符号化画像の光学的な復号は、符号化開口感知システムの技術分野では、さまざまな理由から回避されていたかもしれない。これらの理由は、たとえば、上記第１および第２の符号化開口を作製することの難しさが認識されていること、さまざまにスケーリングされた負の復号係数を使用することの難しさが認識されていること、および計算的な復号のためのデータ保存が容易であることを含み得る。したがって、公知の感知システムは、計算資源を利用して画像を再構築するために複雑なアルゴリズムを使用する。

【0011】

公知の感知システムで使用される非常に複雑で数値計算的な画像処理は、この感知システムにおける光学的処理と置き換えられる。上記感知システムは、有利なことに、符号化画像を復号するための複雑な計算アルゴリズムを作成、保存および実行する必要性を低減または除去する。感知システムの計算負荷を減少させることは、有利なことに、感知システムを備えるデバイス（たとえば、携帯電話）が他のタスクに集中することを可能にし、それによって、データ空間を空ける。さらに、光学的な復号は、計算的な復号よりも使用するエネルギが少なく、それによって、感知システムの効率を向上させる。エネルギ使用量が減ることにより、感知システムは、計算的な復号の要求に奮闘する（struggle）であろう携帯型エネルギ源（たとえば、バッテリ）を使用するモバイルデバイスでの使用に適したものになる。

【0012】

上記光複製コンポーネントは、符号化および復号プロセス中に失われる光が実質的にないように、複製された符号化画像を上記第２の符号化開口の方に放出し得る。すなわち、入射光によって搬送される全ての情報が物体の画像を再構築するのに使用される。したがって、上記光複製コンポーネントは、有利なことに、情報の消失を回避し、それによって、感知システムの信号対雑音比を向上させる。

【0013】

上記感知システムは、計算的な復号に関与する計算負荷が高いという主な欠点を回避しながら、符号化開口の全てのメリット（信号対雑音比の向上など）を実現する。上記感知システムは、公知の感知システムよりも小さくすることができ、集積回路チップに実装することができる。

【0014】

上記第２の符号化開口の光符号化パターンは、上記第１の符号化開口の光符号化パターンの逆のパターンであり得る。

【0015】

上記第１の符号化開口および／または上記第２の符号化開口は、ランダムな光符号化パターンを備え得る。

【0016】

ランダムに生成された光符号化パターンを使用することは、有利なことに、第１および／または第２の符号化開口の設計柔軟性の向上を可能にする。

【0017】

上記第１の符号化開口および／または上記第２の符号化開口は、均一冗長アレイまたは修正均一冗長アレイを備え得る。

【0018】

均一冗長アレイ（ＵＲＡ：Uniformly Redundant Array）および修正均一冗長アレイ（ＭＵＲＡ：Modified Uniformly Redundant Array）は、素数に対応する一群のマスクパターンである。ＵＲＡおよびＭＵＲＡは、ランダムに生成されたパターンよりも設計柔軟性が少ないが、ランダムに生成されたパターンよりも測定ノイズが少ない。

【0019】

上記第１の符号化開口および／または上記第２の符号化開口は、フレネルゾーンプレート、最適化ランダムパターン、均一冗長アレイ、六角形均一冗長アレイ、修正均一冗長アレイなどを備え得る。

【0020】

上記第１の符号化開口および上記第２の符号化開口は、実質的に同一のパターンを備え得る。

【0021】

実質的に同一の第１および第２の符号化開口を使用することは、有利なことに、上記感知システムを簡略化して、大きく異なるパターンを有する符号化開口を生成する必要性を無くす。上記第１の符号化開口のグリッドパターンは、上記第２の符号化開口のグリッドパターンとは１つのグリッドだけ異なっているが、依然として実質的に同一であると考えることができる。

【0022】

上記第１の符号化開口および／または上記第２の符号化開口は、制御可能なディスプレイを備え得る。

【0023】

上記制御可能なディスプレイは、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）を備え得る。

【0024】

符号化されたディスプレイを有する符号化開口を使用することは、有利なことに、符号化開口を所与のシナリオに適合させることを可能にする。たとえば、上記第１および／または第２の符号化開口の実質的に透明な部分および／または実質的に不透明な部分のサイズは、制御可能なディスプレイを使用して大きくしたり小さくしたりすることができる。別の例として、制御可能なディスプレイを使用して上記第１の符号化開口および／または上記第２の符号化開口のパターンを複数回複製することは、入射放射束の全ての方向が上記第１および／または第２の符号化開口によって完全に変調される完全に符号化された視野を実現するために使用することができる。さらなる例として、制御可能なディスプレイを使用して、上記第１の符号化開口および／または上記第２の符号化開口上に異なる量のぼけを有する複数のパターンを適用することは、物体の深度マップが感知システムによって再構築され得る速度を上げることができる。

【0025】

上記第２の符号化開口は、上記センサに搭載され得る。
上記第２の符号化開口を上記センサに搭載することは、有利なことに、上記感知システムのサイズを小さくする。

【0026】

上記光複製コンポーネントは、入射光受光面と、対向する発光面とを備え得る。
上記光複製コンポーネントは、実質的に透明な平面基板を備え得る。上記光複製コンポーネントは、上記基板上に設けられた１つまたは複数のバイポーラ接合トランジスタを備え得て、上記または各トランジスタは、上記受光面に隣接したコレクタ領域と、上記発光面に隣接したエミッタ領域と、上記コレクタ領域と上記エミッタ領域との間のベース領域とを備える。上記光複製コンポーネントは、使用時に上記バイポーラトランジスタを付勢するための回路を備え得る。上記または各トランジスタは、上記トランジスタの上記コレクタおよびベース領域がフォトダイオードとして動作し、上記ベースおよびエミッタ領域が発光ダイオードとして動作するように構成されて使用時に付勢され得る。

【0027】

上記または各トランジスタは、入射光に対して出射光の強度を増幅するように構成されて付勢され得る。上記光複製コンポーネントは、上記平面基板にわたって二次元アレイとして配置された複数の上記バイポーラ接合トランジスタを備え得る。複数のバイポーラトランジスタは、隆起した個別の構造として上記平面基板上に設けられ得る。上記コレクタ領域は、上記平面基板に隣接して配置され得て、上記平面基板は、上記入射光受光面を提供する。上記受光面および上記発光面のうちの１つまたは両方は、反射防止コーティングを備え得る。上記透明な平面基板は、サファイアを備え得る。上記トランジスタは、ヒ化ガリウムまたはリン化インジウム素子を備え得る。上記光複製コンポーネントは、ランバート面を備え得る。

【0028】

上記光複製コンポーネントは、有機フォトダイオード、有機フォトトランジスタまたは有機発光ダイオードを備え得る。

【0029】

有機フォトダイオード、有機フォトトランジスタまたは有機発光ダイオードを使用することは、有利なことに、上記光複製コンポーネントの柔軟性を向上させることができる。

【0030】

本開示の別の局面に従って、上記感知システムを備える電子デバイスが提供される。上記電子デバイスは、携帯電話、タブレットコンピュータ、対話型ディスプレイなどであり得る。

【0031】

本開示の別の局面に従って、光を感知する方法が提供され、上記方法は、第１の符号化開口を使用して、入射光を受光して符号化画像を送信するステップを備える。上記方法は、上記符号化画像を検出するステップと、複製された符号化画像を放出するステップとを備える。上記方法は、第２の符号化開口を使用して、上記複製された符号化画像を受信して復号画像を送信するステップを備える。上記方法は、上記復号画像を検出するステップを備える。

【0032】

本開示の別の局面に従って、上記の方法をコンピュータに実行させるように構成されたコンピュータ読取可能な命令を備えるコンピュータプログラムが提供される。

【0033】

本開示の別の局面に従って、上記のコンピュータプログラムを記録したコンピュータ読取可能な媒体が提供される。

【0034】

さまざまな局面のさまざまな特徴は、さまざまに組み合わせることができる。
ここで、添付の図面を参照して、単に例示の目的で本開示のいくつかの実施形態について説明する。

【図面の簡単な説明】

【0035】

【図1】公知の感知システムを概略的に示す図である。

【図2】本開示に係る感知システムを概略的に示す図である。

【図3】図３Ａ～図３Ｃで構成されており、本開示に係る光複製コンポーネントの３つの異なる図を概略的に示す。

【図4】図４Ａおよび図４Ｂで構成されており、光複製コンポーネントを使用した場合に実現される光学的情報の保持を証明する２つの光学的構成を概略的に示す図である。

【図5】図５Ａおよび図５Ｂで構成されており、本開示に係る第１の符号化開口の光符号化パターンおよび第２の符号化開口の光符号化パターンを概略的に示す図である。

【図6】本開示に係る感知システムを備える電子デバイスを概略的に示す図である。

【図7】本開示に係る、光を感知する方法のフローチャートを示す図である。

【発明を実施するための形態】

【0036】

好ましい実施形態の詳細な説明
一般的に言って、本開示は、第１および第２の符号化開口を利用してシーンおよび／または検出対象の物体の画像を光学的に符号化および光学的に復号する感知システムを提供する。この画像は、最初に、光複製コンポーネントのセンサコンポーネントによって取得され、この画像は、物体画像および第１の符号化開口の公知のパターンの畳み込みを表す。次いで、符号化画像は、光複製コンポーネントの発光コンポーネントによって、第２の符号化開口（たとえば、第１の符号化開口とは逆のパターンを有する）を通して再照射される。第２の符号化開口は、符号化画像の逆畳み込みを実行するように構成されている。このように、最後のセンサは、物体の再構築された復号画像を受信して検出する。

【0037】

この解決策のいくつかの例が添付の図面に提供されている。
図２は、本開示に係る感知システム２００を概略的に示す図である。感知システム２００は、第１の符号化開口２１０を備える。第１の符号化開口２１０は、入射光を受光して符号化画像を送信するように構成されている。第１の符号化開口２１０は、実質的に透過性のエリア２１２と実質的に不透明なエリア２１４とのパターンを備える。実質的に透過性のエリア２１２を通過する光が符号化画像を形成する。符号化画像は、物体２３０の画像および第１の符号化開口２３０の光符号化パターン（たとえば、強度点拡がり関数）の畳み込みを備える。符号化画像は、ある範囲の角度にわたって伝搬する物体２３０の複数の重なり合った反転画像を備え得る。

【0038】

感知システム２００は、符号化画像を受信および検出して、複製された符号化画像を放出するように構成された光複製コンポーネント２５０を備える。光複製コンポーネント２５０は、入射光受光面２５２と、対向する発光面２５４とを備える。受光面２５２は、第１の符号化開口２１０によって送信された符号化画像を受信する。受光面２５２は、符号化画像を検出するように構成された中間センサを備え得る。この中間センサは、たとえばフォトダイオード、電荷結合素子（ＣＣＤ：Charge Couple Device）および／または相補型金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-Oxide-Semiconductor）ベースのセンサなどの複数の感知要素を備え得る。これら複数の感知要素は、アレイ、たとえばグリッドアレイを形成するように配置され得る。符号化画像は、物体２３０の画像および第１の符号化開口２１０の光符号化パターンの畳み込みを備える。

【0039】

発光面２５４は、複製された符号化画像を放出するように構成された発光体を備え得る。すなわち、発光面２５４は、受光面２５２によって検出された符号化画像を示す情報を受信し、この情報を使用して、複製された符号化画像を再構築して放出し得る。発光体は、発光ダイオード（ＬＥＤ：Light Emitting Diode）、発光トランジスタ（ＬＥＴ：Light Emitting Transistor）などの複数の発光要素を備え得る。複数の発光要素は、アレイ、たとえばグリッドアレイを形成するように配置され得る。光複製コンポーネント２５０の一例については、図３を参照してより詳細に説明する。

【0040】

感知システム２００は、第２の符号化開口２６０を備える。第２の符号化開口２６０は、光複製コンポーネント２５０によって放出された複製された符号化画像を受信して復号画像を送信するように構成されている。第２の符号化開口２６０は、実質的に透過性のエリア２６２と実質的に不透明なエリア２６４との光符号化パターンを備える。実質的に透過性のエリア２６２を通過する光が復号画像を形成する。復号画像は、物体２３０の画像の再構築されたものを備え得る。符号化画像の復号は、たとえば逆畳み込み、相関および／またはフレネル回折などのさまざまな方法を使用して実行され得る。

【0041】

逆畳み込みは、一般に、第１の符号化開口２１０の配置にかかわらず画像の復号に適用可能であり得る。逆畳み込みは、第１の符号化開口２１０のフーリエ変換および／または逆フーリエ変換を実行することを備え得る。逆畳み込みは、符号化画像に影響を及ぼす測定ノイズの少なくとも一部の知識を前提とするウィーナーフィルタを適用することを備え得る。逆畳み込みは、第１の符号化開口２１０の配置の少なくとも一部の知識を前提とする整合フィルタ技術を使用することを備え得る。相関は、符号化画像および第１の符号化開口２１０の光符号化パターンを含む相互相関関数を実行することを含み得る。相関は、第１の符号化開口２１０が均一冗長アレイ（ＵＲＡ）または修正均一冗長アレイ（ＭＵＲＡ）を備える場合に特に有効であろう。このような符号化開口は、それら自体（すなわち、整合フィルタリングプロセス）によって畳み込み（または、相互相関）が行われるとディラックのデルタ関数を生成し得る。フレネル回折近似は、入射光線が実質的に平行であると考えることができるほどに物体２３０が感知システム２００から遠く離れているファー・フィールド近似として使用され得る。

【0042】

物体２３０の元画像の再構築されたものは、符号化画像および第１の符号化開口２１０を含む逆畳み込みによって取得され得る。数学的には、光複製コンポーネント２５０の受光面２５２によって検出される符号化画像Ｒは、以下の形式をとり得る。

【0043】

【数1】

【0044】

式中、Ｏは物体２３０の画像を表し、Ａは第１の符号化開口２１０の光符号化パターンを表す。第１の符号化開口２１０は、以下の式を満たすように（たとえば、ＵＲＡまたはＭＵＲＡ符号化開口として）設計され得る。

【0045】

【数2】

【0046】

式中、δはディラックのデルタ関数である。式２を満たす第１の符号化開口２１０を設計し、第１の符号化開口２１０と実質的に同一であるように第２の符号化開口２６０を設計することによって（すなわち、両方とも同一の変数Ａによって表すことができる）、第２の符号化開口２６０による符号化画像の畳み込みは、以下の関係によって表すことができる。

【0047】

【数3】

【0048】

式中、Ｏ^＊は物体２３０の復号画像（すなわち、再構築された画像）である。すなわち、第１および第２の符号化開口２１０，２６０の自己相関は、符号化画像を復号するように作用し、それによって、センサ２２０において物体２３０の画像を再構築する。

【0049】

再構築された画像（すなわち、復号画像）は、物体２３０の畳み込みならびに第１および第２の符号化開口２１０，２６０の自己相関を備え得る。物体２３０の再構築された画像は、自己相関がディラックのデルタ関数（すなわち、第１の符号化開口２１０の実質的に完全な逆数）をもたらさない限り、アーチファクトを含み得る。したがって、第２の符号化開口２６０の光符号化パターンは、少なくとも部分的に、第１の符号化パターン２１０の光符号化パターンに左右され得る。すなわち、第２の符号化開口２６０のパターンは、第１の符号化開口２１０のパターンによって実行される物体２３０の画像の畳み込みを反転させるように構成され得る。

【0050】

感知システム２００は、センサ２２０を備える。センサ２２０は、第２の符号化開口２６０によって送信された復号画像を検出するように構成されている。センサ２２０は、たとえばフォトダイオード、ＣＣＤおよび／またはＣＭＯＳベースのセンサなどの複数の感知要素を備え得る。これら複数の感知要素は、アレイ、たとえばグリッドアレイを形成するように配置され得る。センサ２２０は、第１の符号化開口２１０によって光学的に符号化され、その後、第２の符号化開口２６０によって光学的に復号された物体２３０の画像を受信するので、複雑な復号アルゴリズムの必要性を無くす。

【0051】

感知システム２００のサイズ（すなわち、第１の符号化開口２１０、光複製コンポーネント２５０、第２の符号化開口２６０およびセンサ２２０のサイズ）は、感知システム２００を所与の電子デバイス（たとえば、携帯電話）に組み込むように選択され得る。

【0052】

図３は、図３Ａ～図３Ｃで構成されており、本開示に係る光複製コンポーネント３００の３つの異なる図を概略的に示す。図３Ａは、光複製コンポーネント３００の受光面３１０の図を概略的に示す。図３Ｂは、光複製コンポーネント３００の側面からの図を概略的に示す。図３Ｃは、光複製コンポーネント３００の発光面３３０の図を概略的に示す。

【0053】

図３の例では、光複製コンポーネント３００は、平面基板３２０を備える。基板３２０は、実質的に透明であり得る。基板３２０上には複数のバイポーラ接合トランジスタ３４０が設けられている。各トランジスタ３４０は、受光面３１０に隣接したコレクタ領域３４２を備える。各トランジスタ３４０は、発光面３３０に隣接したエミッタ領域３４４をさらに備える。各トランジスタ３４０は、コレクタ領域３４２とエミッタ領域３４４との間に位置するベース領域３４６をさらに備える。光複製コンポーネント３００は、光複製コンポーネント３００が使用される際にバイポーラトランジスタ３４０を付勢するように構成された回路（図示せず）を備える。各トランジスタ３４０は、トランジスタ３４０のコレクタ領域３４２およびベース領域３４６がフォトダイオードとして動作し、ベース領域３４６およびエミッタ領域３４４が発光ダイオードとして動作するように構成されて使用時に付勢され得る。エミッタ領域３４４のアレイは、符号化画像（すなわち、第１の符号化開口および撮像対象の物体の畳み込み）を再現して感知システムの第２の符号化開口の方に放出するように構成されている。

【0054】

光複製コンポーネント３００は、代替的な要素を備えていてもよい。たとえば、光複製コンポーネント３００は、ＬＥＤのアレイと対になったフォトトランジスタのアレイを備えていてもよい。発光面３３０上のＬＥＤは、受光面３１０上のフォトトランジスタによって感知された光によって駆動（たとえば、線形駆動）され得る。代替的に、光複製コンポーネント３００は、有機バージョンの光複製コンポーネント３００を提供するために、有機ＬＥＤ（ＯＬＥＤ：Organic LED）のアレイと対になった有機フォトダイオードまたはフォトトランジスタのアレイを備えていてもよい。

【0055】

図４は、図４Ａおよび図４Ｂで構成されており、光複製コンポーネントによって提供される情報の保持を証明する２つの光学的構成を概略的に示す図である。図４Ａは、光複製コンポーネントを含まない光学的構成４００を概略的に示す図である。図４Ｂは、光複製コンポーネント４８０を含む光学的構成４５０を概略的に示す図である。図４Ａを参照して、光は、物体４１０を照明して、第１の符号化開口４２０の第１および第２の透過性の部分４１２，４１４を通過する。第１の光線４２２は、物体４１０の第１の端部から第１の透過性の部分４１２を通って伝搬し、第２の光線４２４は、物体４１０の第１の端部から第２の透過性の部分４１４を通って伝搬する。第３の光線４２６は、物体４１０の第２の端部から第１の透過性の部分４１２を通って伝搬し、第４の光線４２８は、物体４１０の第２の端部から第２の透過性の部分４１４を通って伝搬する。第２の符号化開口４３０は、第１の符号化開口４２０によって透過された光を受光するように構成されている。しかし、第１～第４の光線４２２～４２８は、第２の符号化開口４３０の第１および第２の透過性の部分４３２，４３４に到達しない。したがって、第１～第４の光線４２２～４２８によって搬送される光学的情報は失われ、それによって、システム４００の信号対雑音比が減少する。すなわち、光のかなりの部分は、第２の符号化開口４３０の後ろに位置するセンサに到達しないであろう。

【0056】

図４Ｂを参照して、光は、物体４６０を照明して、第１の符号化開口４７０の第１および第２の透過性の部分４７２，４７４を通過する。第１の光線４５２は、物体４６０の第１の端部から第１の透過性の部分４７２を通って伝搬し、第２の光線４５４は、物体４６０の第１の端部から第２の透過性の部分４７４を通って伝搬する。第３の光線４５６は、物体４６０の第２の端部から第１の透過性の部分４７２を通って伝搬し、第４の光線４５８は、物体４６０の第２の端部から第２の透過性の部分４７４を通って伝搬する。光複製コンポーネント４８０は、第１の符号化開口４７０によって透過された光を受光する。第１の符号化開口４７０によって送信された符号化画像は、光複製コンポーネント４８０によって検出される。光複製コンポーネント４８０は、光線４５２～４５８がいずれもシステム４５０から失われないように、複製された符号化画像を第２の符号化開口４９０の第１および第２の透過性の部分４９２，４９４の方に放出する。すなわち、光４５２～４５８によって搬送される光学的情報は全て、物体４６０の画像を再構築するのに使用される。したがって、光複製コンポーネント４８０は、有利なことに、情報の消失を回避し、それによって、システム４５０の信号対雑音比を向上させる。

【0057】

図５は、図５Ａおよび図５Ｂで構成されており、本開示に係る第１の符号化開口の光符号化パターン５００の一例および第２の符号化開口の光符号化パターン５５０の一例を概略的に示す図である。第１および第２の符号化開口５００，５５０は、グリッド軸がゼロから始まって１０で終わって１１×１１のグリッドパターンを形成するように示されている。第１および第２の符号化開口５００，５５０は、実質的に透明な領域５１０（白色のエリアによって表されている）と、実質的に不透明な領域５２０（黒色のエリアによって表されている）とを備える。図５の例では、これらの領域は、正方形またはグリッドの形状をしている。図５の例では、第１の符号化開口５００も第２の符号化開口５５０も、修正均一冗長アレイ（ＭＵＲＡ）を備える。ＭＵＲＡは、素数に対応する一群のマスクパターンである。ＭＵＲＡは、有利なことに、他のタイプの符号化開口と比較して、符号化画像の畳み込みおよび／または逆畳み込みに導入されるノイズが少ないであろう。

【0058】

図５の例では、第１の符号化開口５００は、第２の符号化開口５５０と実質的に同一である。第１の符号化開口５００と第２の符号化開口５５０との間の唯一の違いは、第１の画素（すなわち、（０，０）領域）５３０である。第１の符号化開口５００では、第１の画素５３０は実質的に不透明である。第２の符号化開口５５０では、第１の画素５３０は実質的に透明である。第１の符号化開口５００は、ルジャンドル係数を使用してＭＵＲＡパターンに従って設計され得る。第２の符号化開口５５０は、第１の符号化開口５００の実質的に理想的な逆畳み込み（すなわち、ディラックのデルタ関数）を提供するように設計され得る。図５の例では、第１の画素５３０の状態を第１の符号化開口５００と第２の符号化開口５５０との間で切り換えることがディラックのデルタ関数（すなわち、符号化画像の実質的に理想的な逆畳み込み）を実現する。

【0059】

代替的なパターンが使用されてもよい。たとえば、第１の符号化開口５００および／または第２の符号化開口５５０は、ランダムなパターンまたはランダムなアレイ（たとえば、最適化されたランダムなパターン（ＯＲＡ：Optimized RAndom pattern））を備えていてもよい。

【0060】

第１の符号化開口５００および／または第２の符号化開口５５０は、制御可能なディスプレイを備え得る。制御可能なディスプレイは、たとえば、液晶ディスプレイ（ＬＣＤ）を備え得る。制御可能なディスプレイは、任意の所望の符号化開口パターンを提供するために使用され得る。第１の符号化開口２１０および／または第２の符号化開口２６０は、所与のシナリオに適合され得る。たとえば、第１および／または第２の符号化開口２１０，２６０の実質的に透明な領域および／または実質的に不透明な領域のサイズは、制御可能なディスプレイを使用して大きくしたり小さくしたりすることができる。別の例として、制御可能なディスプレイを使用して第１の符号化開口２１０および／または第２の符号化開口２６０のパターンを複数回複製することは、入射放射束の全ての方向が第１および／または第２の符号化開口２１０，２６０によって符号化される完全に符号化された視野を実現するために使用することができる。すなわち、ほんの少しの光が失われる（すなわち、部分的に符号化された視野と同様）代わりに、光複製コンポーネント２５０の受光面２５２および／またはセンサ２２０の方に向けられる実質的に全ての光が第１の符号化開口２１０および／または第２の符号化開口２６０によって変調される。さらなる例として、制御可能なディスプレイを使用して、第１の符号化開口２１０および／または第２の符号化開口２６０上に異なる量のぼけを有する複数のパターンを適用することは、感知システム２００によって実行される測定を使用して物体２３０の深度マップが再構築され得る速度を上げることができる。

【0061】

図６は、本開示に係る感知システム６１０を備える電子デバイス６００を概略的に示す図である。図６の例では、電子デバイス６００は携帯電話である。携帯電話６００は、感知システム６１０を利用して、携帯電話６００の電子ディスプレイ６２０上に表示され得る写真および／または映像を取得し得る。携帯電話６００は、感知システム６１０を利用して、動作またはジェスチャ認識および／または制御機能を提供し得る。符号化画像を復号するための複雑な計算アルゴリズムの必要性を低減または無くすことによって、感知システム６１０は、有利なことに、携帯電話６００のエネルギ消費量を減少させることができ、それによって、携帯電話６００のバッテリ寿命を長くする。

【0062】

図７は、本開示に係る、光を感知する方法のフローチャートを示す図である。この方法の第１のステップ７００は、第１の符号化開口を使用して、入射光を受光して符号化画像を送信するステップを備える。この方法の第２のステップ７１０は、符号化画像を検出するステップを備える。この方法の第３のステップ７２０は、複製された符号化画像を放出するステップを備える。この方法の第４のステップ７３０は、第２の符号化開口を使用して、複製された符号化画像を受信して復号画像を送信するステップを備える。この方法の第５のステップ７４０は、復号画像を検出するステップを備える。

【0063】

本開示の感知システムは、コンパクトなシステムの一部を形成し得る（たとえば、第２の符号化開口は、センサに搭載され得る）。感知システムは、波長制約を受けない。感知システムは、湾曲した面および／または可撓性の面に実装されてもよい。本開示の実施形態は、たとえばカメラシステム、携帯電話、省エネが主要な要因であり得るウェアラブル技術などのフレキシブル電子システムを含む多くの異なる電子デバイスで利用することができる。中央処理装置（ＣＰＵ）を複雑な画像復号アルゴリズムから解放できる場合、より多くのアプリケーションは、高速顔認識、高速ジェスチャ認識、拡張現実、仮想現実を含む。物体および／もしくはシーンの画像、深度マップ、ダイナミックビデオ、ならびに／または、四次元ライトフィールドは、感知システムを使用して実行される測定から取得され得る。圧縮センシング原理を使用した符号化開口ベースのシステムは、超解像撮像、スペクトル撮像および／またはビデオキャプチャで使用され得る。

【0064】

参照番号の一覧
１００ 公知の感知システム、
１１０ 符号化開口、
１２０ センサ、
１３０ 物体、
１４０ プロセッサ
２００ 感知システム、
２１０ 第１の符号化開口、
２１２ 透過性のエリア、
２１４ 不透明なエリア、
２２０ センサ、
２３０ 物体、
２５０ 光複製コンポーネント、
２５２ 受光面、
２５４ 発光面、
２６０ 第２の符号化開口、
２６２ 透過性のエリア、
２６４ 不透明なエリア
３００ 光複製コンポーネント、
３１０ 受光面、
３２０ 基板、
３３０ 発光面、
３４０ バイポーラ接合トランジスタ、
３４２ コレクタ領域、
３４４ エミッタ領域、
３４６ ベース領域
４００ 光複製コンポーネントを含まない光学的構成、
４１０ 物体、
４１２ 第１の透過性の部分、
４１４ 第２の透過性の部分、
４２０ 第１の符号化開口、
４２２ 第１の光線、
４２４ 第２の光線、
４２６ 第３の光線、
４２８ 第４の光線、
４３０ 第２の符号化開口、
４３２ 第１の透過性の部分、
４３４ 第２の透過性の部分
４５０ 光複製コンポーネントを含む光学的構成、
４５２ 第１の光線、
４５４ 第２の光線、
４５６ 第３の光線、
４５８ 第４の光線、
４６０ 物体、
４７０ 第１の符号化開口、
４７２ 第１の透過性の部分、
４７４ 第２の透過性の部分、
４８０ 光複製コンポーネント、
４９０ 第２の符号化開口、
４９２ 第１の透過性の部分、
４９４ 第２の透過性の部分
５００ 第１の符号化開口の光符号化パターン、
５１０ 透過性の領域、
５２０ 不透明な領域、
５３０ 第１の画素、
５５０ 第２の符号化開口の光符号化パターン
６００ 電子デバイス、
６１０ 感知システム、
６２０ 電子ディスプレイ
７００ 方法の第１のステップ、
７１０ 方法の第２のステップ、
７２０ 方法の第３のステップ、
７３０ 方法の第４のステップ、
７４０ 方法の第５のステップ
上記の説明および添付の特許請求の範囲では、「の上方の」、「に沿って」、「側」などの位置を表す用語は、添付の図面に示されているような概念図を参照する、ということを当業者は理解するであろう。これらの用語は、参照を容易にするために使用されており、限定的な性質を有するよう意図されるものではない。したがって、これらの用語は、添付の図面に示されるような向きにある物体を参照するものとして理解されるべきである。

【0065】

本開示は、上記の好ましい実施形態の観点から記載されているが、これらの実施形態は例示に過ぎず、特許請求の範囲はそれらの実施形態に限定されるものではない、ということが理解されるべきである。当業者は、添付の特許請求の範囲の範囲内に含まれると考えられる修正案および代替案を本開示に鑑みて提示することができるであろう。本明細書に開示または記載されている各特徴は、単独で、または本明細書に開示または記載されているその他の特徴との任意の適切な組み合わせで、任意の実施形態に組み込まれてもよい。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】