特許 6918390 撮像素子、撮像機器及び画像情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6918390

(24)【登録日】2021年7月27日

(45)【発行日】2021年8月11日

(54)【発明の名称】撮像素子、撮像機器及び画像情報処理方法

(51)【国際特許分類】

   H04N 5/369 20110101AFI20210729BHJP

【ＦＩ】

   H04N5/369

【請求項の数】15

【全頁数】16

(21)【出願番号】特願2020-522333(P2020-522333)

(86)(22)【出願日】2018年11月13日

(65)【公表番号】特表2020-537456(P2020-537456A)

(43)【公表日】2020年12月17日

(86)【国際出願番号】CN2018115225

(87)【国際公開番号】WO2019144678

(87)【国際公開日】20190801

【審査請求日】2020年4月15日

(31)【優先権主張番号】201810079401.9

(32)【優先日】2018年1月26日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】520133101

【氏名又は名称】北京靈汐科技有限公司

【氏名又は名称原語表記】ＬＹＮＸＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100205936

【弁理士】

【氏名又は名称】崔 海龍

(74)【代理人】

【識別番号】100132805

【弁理士】

【氏名又は名称】河合 貴之

(72)【発明者】

【氏名】馮 杰

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１１−２２３３７６（ＪＰ，Ａ）

【文献】 特開平１１−２２５２８９（ＪＰ，Ａ）

【文献】 特開平０８−２７５０５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

(57)【特許請求の範囲】

【請求項1】

ピクセルとして配置され、撮像対象からの光を受光して、前記光を変換電流に変換するための複数の感光性デバイスと、
ピクセル処理電流を取得するように、前記変換電流をスケーリングする電流スケーリングユニットと、
差電流を取得するように、各ピクセルのピクセル処理電流から前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くための差電流取得ユニットと、
前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換を実行するためのアナログ−デジタル変換ユニットと、
を含む撮像素子。

【請求項2】

前記感光性デバイスは光電変換を直接実現するための感光性デバイス、又は間接的に光電変換を実現するための感光性デバイスである請求項１に記載の撮像素子。

【請求項3】

前記撮像対象からの光は、前記撮像対象から放射される光、又は前記撮像対象から反射される光である請求項１に記載の撮像素子。

【請求項4】

レンズユニット及びフィルタユニット中の少なくとも１つをさらに含み、
前記複数の感光性デバイスは、前記レンズユニット及びフィルタユニット少なくとも一方を透過した、撮像対象からの光を受光する請求項１に記載の撮像素子。

【請求項5】

前記変換電流は漏れ電流及びバイアス電流の少なくとも１つを含む請求項１に記載の撮像素子。

【請求項6】

前記電流スケーリングユニットは、
ピクセル処理電流を取得するように、前記変換電流をスケーリングするためのカレントミラー、
ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングするための変換回路、
及び、ピクセル処理電流を取得するように、前記変換電流を直接スケーリングするための直接スケーリング回路のうちの１つを含む請求項１に記載の撮像素子。

【請求項7】

前記変換回路は、
前記変換電流を電圧に変換し、及び、
前記ピクセル処理電流を取得するように、前記電圧で増幅電流を生成する請求項６に記載の撮像素子。

【請求項8】

前記変換回路はアクティブデバイスのみを含むか、又は、アクティブデバイスとパッシブデバイスの両方を含む請求項７に記載の撮像素子。

【請求項9】

前記ピクセル処理電流は、前記電流スケーリングユニットによって生成される漏れ電流及び誤差電流並びに追加されたバイアス電流を含む請求項１に記載の撮像素子。

【請求項10】

前記差電流取得ユニットは、以下の方法のいずれかで前記差電流を取得し、
前記ピクセルの周囲ピクセルのピクセル処理電流を加算して、前記周囲ピクセルの数Ｍで除算し、次にＮを乗算し、
前記ピクセルの周囲ピクセルのピクセル処理電流の１／Ｍ倍を加算してＮを乗算し、
前記ピクセルの周囲ピクセルのピクセル処理電流のＮ／Ｍ倍を加算する請求項１に記載の撮像素子。

【請求項11】

前記Ｎは整数又は小数である請求項１に記載の撮像素子。

【請求項12】

スケーリングされた後の差電流を取得するように、前記差電流をスケーリングするための差電流スケーリングユニットと、
前記撮像対象のエッジ情報を取得するように、前記スケーリングされた後の差電流をアナログ−デジタル変換するためのアナログ−デジタル変換ユニットと、をさらに含む請求項１に記載の撮像素子。

【請求項13】

前記複数の感光性デバイスは、生体網膜の光受容体に類似した配置形態で配置されている請求項１に記載の撮像素子。

【請求項14】

請求項１〜１３のいずれか一項に記載の撮像素子、及び
前記撮像対象のエッジ情報に基づいて、画像処理を行うための処理ユニットを備える撮像機器。

【請求項15】

撮像対象からの光を受光することと、
ピクセルとして配置された複数の感光性デバイスによって、前記光を変換電流に変換することと、
ピクセル処理電流を取得するように、前記変換電流をスケーリングすることと、
差電流を取得するように、各ピクセルのピクセル処理電流から、前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くことと、
前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換を実行することと、を含む画像情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願はイメージング分野に関し、より具体的には、物体のエッジ情報を取得するための撮像素子、撮像機器及び画像情報処理方法に関する。

【背景技術】

【0002】

今日の時代、人工知能の急速な発展は、あらゆる面から人々の生産と生活に影響を与えるとともに、世界の発展と進歩も促進している。

【0003】

人工知能には、重要なこととして、画像又はビデオの自動認識がある。センサーの分野では、ニューラルネットワークによる自動認識のために、正確で洗練された画像又はビデオデータを迅速に取得する方法が大きな課題である。

【0004】

したがって、画像情報を取得するための改良された撮像素子、撮像機器及び画像情報処理方法が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の技術的問題を解決するために、本願を提案する。本願の実施例は、物体のエッジ情報を直接、迅速、かつ正確に取得可能な撮像素子、撮像機器及び画像情報処理方法を提供する。

【0006】

本願の一態様によれば、撮像素子を提供し、
ピクセルとして配置され、撮像対象からの光を受光して、前記光を変換電流に変換するための複数の感光性デバイスと、
ピクセル処理電流を取得するように、前記変換電流をスケーリングする電流スケーリングユニットと、
差電流を取得するように、各ピクセルのピクセル処理電流から前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くための差電流取得ユニットと、
前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換するためのアナログ−デジタル変換ユニットと、を含む。

【0007】

上記撮像素子において、前記感光性デバイスは光電変換を直接実現するための感光性デバイス、又は間接的に光電変換を実現するための感光性デバイスである。

【0008】

上記撮像素子において、前記撮像対象からの光は、前記撮像対象から放射される光、又は前記撮像対象から反射される光である。

【0009】

上記撮像素子において、レンズユニット及びフィルタユニットの少なくとも１つをさらに含み、前記複数の感光性デバイスは、前記レンズユニット及びフィルタユニットの少なくとも一方を透過した、撮像対象からの光を受光する。

【0010】

上記撮像素子において、前記変換電流は漏れ電流及びバイアス電流の少なくとも１つを含む。

【0011】

上記撮像素子において、前記電流変換ユニットは、ピクセル処理電流を取得するように、前記変換電流をスケーリングするためのカレントミラーと、ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングするための変換回路、及び、ピクセル処理電流を取得するように、前記変換電流を直接スケーリングするための直接スケーリング回路の１つを含む。

【0012】

上記撮像素子において、前記変換回路は、前記変換電流を電圧に変換し、及び、前記ピクセル処理電流を取得するように、前記電圧で増幅電流を生成する。

【0013】

上記撮像素子において、前記変換回路はアクティブデバイスのみを含むか、又は、アクティブデバイスとパッシブデバイスの両方を含む。

【0014】

上記撮像素子において、前記ピクセル処理電流は、前記電流スケーリングユニットにより生成される漏れ電流及び誤差電流並びに追加されたバイアス電流を含む。

【0015】

上記撮像素子において、前記差電流取得ユニットは、以下の方法のいずれかで前記差電流を取得する。前記ピクセルの周囲ピクセルのピクセル処理電流を加算し、前記周囲ピクセルの数Ｍで除算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流の１／Ｍ倍を加算してＮを乗算し、及び前記ピクセルの周囲ピクセルのピクセル処理電流のＮ／Ｍ倍を加算する。

【0016】

上記撮像素子において、前記Ｎは整数又は小数である。

【0017】

上記撮像素子において、スケーリングされた後の差電流を取得するように、前記差電流をスケーリングするための差電流スケーリングユニットと、前記撮像対象のエッジ情報を取得するように、前記スケーリングされた差電流をアナログ−デジタル変換するためのアナログ−デジタル変換ユニットと、をさらに含む。

【0018】

上記撮像素子において、前記複数の感光性デバイスは、生体網膜の光受容体に類似した配置形態で配置されている。

【0019】

本願の別の態様によれば、撮像機器を提供する、上述した撮像素子、及び、前記撮像対象のエッジ情報に基づいて、画像処理を行うための処理ユニットを備える。

【0020】

本願のさらに別の態様によれば、画像情報処理方法を提供し、該方法は、撮像対象からの光を受光することと、ピクセルとして配置された複数の感光性デバイスによって、前記光を変換電流に変換することと、ピクセル処理電流を取得するように、前記変換電流をスケーリングすることと、差電流を取得するように、各ピクセルのピクセル処理電流から前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くことと、前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換を実行することと、を含む。

【0021】

上記の画像情報処理方法では、前記感光性デバイスは、光電変換を直接実現するための感光性デバイス、又は間接的に光電変換を実現するための感光性デバイスである。

【0022】

上記の画像情報処理方法では、撮像対象からの前記光は、前記撮像対象から放射される光、又は前記撮像対象から反射される光である。

【0023】

上記の画像情報処理方法では、撮像対象からの光を受光することは、レンズユニット及びフィルタユニットの少なくとも一方を透過して、撮像対象からの光を受光することを含む。

【0024】

上記の画像情報処理方法では、前記変換電流は漏れ電流及びバイアス電流の少なくとも１つを含む。

【0025】

上記の画像情報処理方法では、ピクセル処理電流を取得するように、前記変換電流をスケーリングすることは、ピクセル処理電流を取得するように、カレントミラーによって前記変換電流をスケーリングすること、ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングすること、及び、ピクセル処理電流を取得するように、前記変換電流を直接スケーリングすることの１つを含む。

【0026】

上記の画像情報処理方法では、ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングすることは、変換回路によって前記変換電流を電圧に変換することと、前記ピクセル処理電流を取得するように、前記電圧で増幅電流を生成することとを含む。

【0027】

上記の画像情報処理方法では、前記変換回路はアクティブデバイスのみを含むか、又はアクティブデバイスとパッシブデバイスの両方を含む。

【0028】

上記の画像情報処理方法では、前記ピクセル処理電流は、前記変換電流をスケーリングして生成された漏れ電流及び誤差電流並びに追加されたバイアス電流を含む。

【0029】

上記の画像情報処理方法では、以下の方法のいずれかで前記差電流を取得する。前記ピクセルの周囲ピクセルのピクセル処理電流を加算し、前記周囲ピクセルの数Ｍで除算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流の１／Ｍ倍を加算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流のＮ／Ｍ倍を加算する。

【0030】

上記の画像情報処理方法では、前記Ｎは整数又は小数である。

【0031】

上記の画像情報処理方法では、前記差電流を取得した後、スケーリングされた後の差電流を取得するように、前記差電流をスケーリングすることをさらに含み、前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換することは、前記撮像対象のエッジ情報を取得するように、前記スケーリングされた後の差電流をアナログ−デジタル変換することを含む。

【0032】

上記の画像情報処理方法では、前記複数の感光性デバイスは、生体網膜の光受容体に類似した配置形態で配置されている。

【0033】

従来の技術と比較して、本願の実施例に係る撮像素子、撮像機器及び画像情報処理方法を用いることにより、物体のエッジ情報を直接的に、迅速かつ正確に取得することができる。

【図面の簡単な説明】

【0034】

以下の好ましい実施形態の詳細な説明を読むと、本願の様々な他の利点及び利益が当業者に明らかになるであろう。本明細書の図面は、好ましい実施形態を例示する目的のためだけのものであり、本願を限定するものと見なされるべきではない。当然ながら、以下に説明する図面は本願のいくつかの実施例に過ぎず、当業者にとっては、創造的な努力なしにこれらの図面に基づいて他の図面を得ることができる。さらに、同じ部材は、図面を通して同じ符号によって示される。

【0035】

図１は、本願の実施例に係る撮像素子の概略ブロック図を示す。
図２は、人間の網膜の知覚モードと人工網膜回路モデルの比較の概略図を示す。
図３は、本願の実施例に係る撮像素子の各ピクセルユニットの回路概略図を示す。
図４は、本願の実施例に係る撮像機器の概略ブロック図を示す。
図５は、本願の実施例に係る画像情報処理方法の概略的なフローチャートを示す。

【発明を実施するための形態】

【0036】

以下、添付図面を参照しながら本願に係る例示的な実施例を詳細に説明する。明らかに、説明される実施例は、本願のすべての実施例ではなく、本願の実施例の一部に過ぎない。本願は、本明細書に記載される例示的な実施例によって限定されないことを理解されたい。

【0037】

（本願の概要）
上述したように、画像又はビデオの認識では、物体を撮像して、対応する画像情報を取得する必要がある。

【0038】

イメージセンサーは、一般に、電荷結合素子（ＣＣＤ）センサーと相補型金属酸化膜半導体（ＣＭＯＳ）センサーに分けられる。ここで、ＣＣＤセンサーには、消費電力が高く、不良率が高く、処理回路との統合が難しいという欠点がある。ＣＭＯＳセンサーは、低消費電力で、処理回路と統合しやすいという利点を有するため、ますます普及している。

【0039】

ＣＭＯＳセンサーの基本的な動作原理は次のとおりである。フォトダイオードを特定の電圧Ｖｒｓｔにリセットして、露光を開始し、フォトダイオードは受光した光を電流に変換し、それ自体の寄生容量を放電し、露光が終了すると、フォトダイオードの電圧がＶｏ になり、ΔＶ＝Ｖｒｓｔ−Ｖｏで計算し、ΔＶを量子化して、ピクセルの輝度を取得する。

【0040】

しかし、上記のＣＭＯＳセンサーにはまだ欠陥がある。１つ目は画像情報が冗長でデータ量が多いこと、２つ目は強い光の下で飽和しやすいこと、３つ目は撮影速度が光の強度に大きく影響されること、４つ目はラインスキャンサンプリングを使用して量子化するため、撮影速度を上げることが難しいことである。

【0041】

上記の技術的課題に鑑み、本願の実施例の基本的な考え方は、物体の輝度空間勾配信号のみを抽出し、感光素子のアナログ電流を直接操作できる撮像素子、撮像機器及び画像情報処理方法を提案することである。したがって、物体の輝度空間勾配信号のみを抽出することにより、データの冗長性を大幅に削減することができ、認識率などの性能を低下させることなく、必要なデータ送信帯域幅をそれに応じて削減させ、システムの作業効率を向上させる。さらに、感光素子のアナログ電流を直接操作することにより、途中で電圧に変換するステップが省略され、光強度の制限がなくなる。また、サンプリング速度は光強度とは関係ないため、強い光と弱い光の下でも高速撮影を維持できる。さらに、アナログ回路でアナログ電流の和と差の計算を直接実行することにより、その後の複雑なデジタル回路設計を回避し、撮像素子の消費電力と面積を削減する。

【0042】

ここで、本願の実施例に係る撮像素子、撮像機器及び画像情報処理方法は、画像の撮影及びビデオ記録に使用することができるため、画像認識、ビデオ認識、自動運転、及び無人機制御などの人工知能分野で広く使用することができる。

【0043】

本願の基本原理を紹介した後、本願の様々な非限定的な実施例を、図面を参照しながら以下に具体的に説明する。

【0044】

（例示的な撮像素子）
図１は、本願の実施例に係る撮像素子の概略ブロック図を示す。

【0045】

図１に示すように、本願の実施例に係る撮像素子１００は、ピクセルとして配置され、撮像対象からの光を受光して、前記光を変換電流に変換するための複数の感光性デバイス１１０と、ピクセル処理電流を取得するように、前記感光性デバイス１１０によって生成される前記変換電流をスケーリングするための電流スケーリングユニット１２０と、差電流を取得するように、前記電流スケーリングユニット１２０による各ピクセルのピクセル処理電流から、前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くための差電流取得ユニット１３０と、前記撮像対象のエッジ情報を取得するように、差電流取得ユニット１３０によって取得された前記差電流に基づいて、アナログ−デジタル変換するためのアナログ−デジタル変換ユニット１４０と、を含む。

【0046】

したがって、本願の実施例に係る撮像素子１００は、物体の輝度空間勾配信号のみを抽出することができ、データの冗長性を大幅に削減することができる。画像又はビデオの認識では、物体のエッジ情報は、画像の重要な構造特性を保持しながら、無関係な情報を削除する。したがって、物体のエッジ情報を取得することにより、認識率などの性能を低下せずに、必要なデータ伝送帯域幅を削減でき、システムの動作効率を向上させることができる。

【0047】

さらに、本願の実施例に係る撮像素子１００は、電圧に変換してから動作することの代わりに、感光素子のアナログ電流を直接動作させるので、光の強度によって制限されない。さらに、サンプリング速度は光の強度とは関係がないため、強い光と弱い光の下で高速撮影を維持できる。

【0048】

本願の実施例に係る撮像素子１００において、前記差電流取得ユニット１３０はアナログ回路によって、具体的には、アナログ電流加算器及びアナログ電流減算器によって、アナログ電流の和と差の計算を直接実現することができる。このようにして、その後の複雑なデジタル回路設計を回避し、それに応じて、撮像素子の消費電力と面積を削減する。

【0049】

また、本願の実施例に係る撮像素子１００において、画素として配置された複数の感光性デバイス１１０は、すべてのピクセルの並列同期サンプリングを実現し、フレーム数を大幅に増やすことができる。

【0050】

ここで、感光性デバイス１１０は、フォトダイオード又はフォトトランジスタなどの、光電変換を直接実現するための感光性デバイスであってもよい。あるいは、感光性デバイス１１０は、フォトレジスタなどの、光電変換を間接的に実現するための感光性デバイスであってもよい。当業者は、本願の実施例に係る撮像素子１００の実装プロセスにおいて、実際のプロセス要件などの特定の要件に従って適切なタイプの感光性デバイスを選択できることを理解できる。

【0051】

本願の実施例に係る撮像素子１００において、感光性デバイス１１０は撮像対象からの光を受光し、ここで、前記撮像対象からの光は前記撮像対象から放射される光であってもよく、又は前記撮像対象から反射される光であってもよい。

【0052】

また、前記撮像対象からの光は、撮像対象から感光性デバイス１１０に直接照射される光であってもよく、レンズやフィルターなどの他の光学デバイスを介して感光性デバイス１１０に照射される光であってもよい。加えて、ここで、前記撮像対象からの光は、可視光、赤外線又は紫外線などの非可視光、又は他の射線であってもよい。

【0053】

したがって、本願の実施例に係る撮像素子１００において、レンズユニット及びフィルタユニットの少なくとも１つをさらに含んでもよく、及び、前記複数の感光性デバイス１１０は、前記レンズユニット及びフィルタユニットの少なくとも一方を透過した、撮像対象からの光を受光する。

【0054】

前記感光性デバイス１１０は、前記光を変換電流に変換するプロセスにおいて、前記光から変換された電流自体に加えて、いくつかの他の漏れ電流を導入する可能性がある。さらに、いくつかのバイアス電流を変換電流に追加してもよく、コンポーネントを適切な動作範囲で動作させて、回路設計の難度とプロセスによって生じる誤差を減らすことができる。

【0055】

したがって、本願の実施例に係る撮像素子１００において、前記感光性デバイス１１０によって生成される変換電流は、漏れ電流及び／又はバイアス電流を含む。

【0056】

ピクセル処理電流を取得するように、前記電流スケーリングユニット１２０は前記感光性デバイス１１０によって生成される前記変換電流をスケーリングし、本願の実施例に係る撮像素子１００において、前記電流スケーリングユニット１２０は複数の実装形態を持ってもよい。

【0057】

具体的には、前記電流スケーリングユニット１２０は、ピクセル処理電流を取得するように、前記変換電流をスケーリングするためのカレントミラーを含んでもよい。また、前記電流スケーリングユニット１２０は、ピクセル処理電流を取得するように、前記変換電流を電圧に変換し、前記電圧をスケーリングし、次いでスケーリングされた電圧を電流に変換するための変換回路を含んでもよい。もちろん、前記電流スケーリングユニット１２０は、ピクセル処理電流を取得するように、前記変換電流を直接スケーリングするための直接スケーリング回路を含んでもよい。

【0058】

変換回路を用いて前記変換電流を電圧に変換する場合、まず前記変換電流を電圧に変換し、次に変換により取得した電圧で増幅電流を生成し、最後に前記ピクセル処理電流を取得する。さらに、前記変換回路はアクティブデバイスのみを含んでもよく、アクティブデバイス及びパッシブデバイスの両方を含んでもよい。

【0059】

照度条件が異なると、感光性デバイス１１０の電流変動範囲が非常に大きいため、本願の実施例に係る撮像素子１００では、感光性デバイス１１０によって生成される変換電流をスケーリングする電流スケーリングユニット１２０が必要である。具体的には、照度が非常に弱い場合、感光性デバイス１１０によって生成される変換電流は効果的な処理に直接使用するには小さすぎるため、このとき、後続の処理回路の難しさと複雑さを減らすために電流を増幅する必要がある。また、照度が非常に強い場合、感光性デバイス１１０によって生成される変換電流が大きすぎるため、このとき、消費電量などを削減するために、収集した電流を減少する必要がある。

【0060】

したがって、前記電流スケーリングユニット１２０により、光の照度からの影響を最小化することができる。

【0061】

さらに、前記ピクセル処理電流を取得するように、前記変換電流を増幅又は減少する過程で、前記電流スケーリングユニット１２０はまた、漏れ電流及び誤差電流を導入する場合がある。それに応じて、回路設計の難しさ及びプロセスによって生じる誤差を減らすために、取得した前記ピクセル処理電流に、バイアス電流又は電圧を追加してもよい。

【0062】

したがって、本願の実施例に係る撮像素子１００において、前記ピクセル処理電流は、前記電流スケーリングユニット１２０によって生成される漏れ電流及び誤差電流並びに追加されたバイアス電流を含む。

【0063】

前記差電流取得ユニット１３０は各ピクセルに対して、そのピクセル処理電流から、前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引いて差電流を取得する。つまり、前記差電流取得ユニット１３０は、各ピクセルに対応する感光性デバイス１１０のピクセル処理電流（即ち、前記感光性デバイス１１０が光変換による変換電流を、スケーリングして取得された）及び前記ピクセルの周囲ピクセルに対応する感光性デバイス１１０のピクセル処理電流間の差電流を取得する。また、前記差電流は、前記感光性デバイス１１０のピクセル処理電流からその周囲の感光性デバイスのピクセル処理電流の平均値のＮ倍を引いたものであり、それは物体の輝度空間勾配情報の電流表示である。

【0064】

本願の実施例に係る撮像素子１００において、感光性デバイス１１０の配置形状を、必要に応じて、三角形、四角形、五角形、六角形などに設定してもよく、上下又は左右に隣接する１つ又は２つの感光デバイスのみを含むことさえできる。さらに、特定のピクセルの隣接ピクセルは、直接隣接するピクセルであっても、他のピクセルが間隔を空けた間接隣接ピクセルであってもよく、これは回路の複雑さとエッジの細さによって定義できる。具体的には、Ｍは１〜１０，０００の任意の数値であってもよい。

【0065】

ここで、前記Ｎは整数又は小数である。ここで、Ｎの値をピクセルサイズとプロセス特性によって決定し、それにより、後続の回路の複雑さを軽減させ、画質を向上させる。具体的には、Ｍは０．０１〜１０，０００の任意の数値であってもよい。

【0066】

具体的には、前記差電流取得ユニット１３０は、様々な方法で前記差電流を取得することができる。例えば、前記差電流取得ユニット１３０は、前記ピクセルの周囲ピクセルのピクセル処理電流を加算し、前記周囲ピクセルの数Ｍで除算して前記平均値を取得し、次にＮを乗算して前記差電流を取得する。また、前記差電流取得ユニット１３０は、前記ピクセルの周囲ピクセルのピクセル処理電流の１／Ｍ倍を加算して前記平均値を取得し、次にＮを乗算して前記差電流を取得する。さらに、前記差電流取得ユニット１３０は、前記ピクセルの周囲ピクセルのピクセル処理電流のＮ／Ｍ倍を直接加算して、前記差電流を取得する。特定の実装プロセスでは、対応するアナログ回路を設計の実際のニーズに応じて選択でき、それにより、アナログ電流を直接計算できる。

【0067】

前記アナログ−デジタル変換ユニット１４０は、前記撮像対象のエッジ情報を取得するように、前記差電流に対して、電流モードのアナログ−デジタル変換を直接行い、物体のエッジ情報のデジタル化を実現した。

【0068】

また、必要に応じて、本願の実施例に係る撮像素子１００において、スケーリングされた後の差電流を取得するように、前記差電流をスケーリングするための差電流スケーリングユニットをさらに含む。さらに、前記アナログ−デジタル変換ユニット１４０は、前記撮像対象のエッジ情報を取得するように、前記スケーリングされた後の差電流をアナログ−デジタル変換する。

【0069】

上記の変換電流と同様に、差電流が小さすぎると、効果的な処理に直接使用するには容易ではないが、このとき、後続の処理回路の難しさと複雑さを軽減するために、差電流を増幅する必要があり、差電流が大きすぎると、不要な電力消費が発生する可能性があり、このとき、減少処理を行う。

【0070】

上述したように、本願の実施例に係る撮像素子１００は、画像及びビデオを認識する人工知能分野に適用することができる。したがって、一例では、本願の実施例に係る撮像素子１００は、人間の網膜モデルを模倣するように設定することができる。

【0071】

図２は、人間の網膜の知覚モードと人工網膜回路モデルの比較の概略図を示す。図２に示すように、人工網膜回路モデルにおけるフォトダイオード、アナログ電流加算器、電流スケーリング素子及びアナログ電流減算器は、それぞれ人間の目の光受容体、神経節細胞、双極細胞及び水平細胞に対応する。

【0072】

さらに、当業者は、本願の実施例に係る撮像素子１００が人間の網膜を模倣するためだけでなく、他の生物の網膜を模倣するためにも使用できることを理解できる。

【0073】

したがって、本願の実施例に係る撮像素子１００において、前記複数の感光性デバイス１１０は、生体網膜の光受容体に類似した配置形態で配置されている。

【0074】

上述したように、物体のエッジ情報を直接、迅速かつ正確に取得するために、本願の実施例に係る撮像素子１００はアナログ回路で実装されている。図３は、本願の実施例に係る撮像素子の各ピクセルユニットの回路概略図を示す。

【0075】

図３に示すように、あるピクセルに対応する感光素子ＰＤ_０及びその周囲ピクセルに対応する感光素子ＰＤ_１、ＰＤ_２、…、ＰＤ_ｎは、それぞれ変換電流Ｉ_ｄ０、Ｉ_ｄ１、Ｉ_ｄ２、…、Ｉ_ｄｎを取得する。ここで、変換電流Ｉ_ｄ１、Ｉ_ｄ２、…、Ｉ_ｄｎは電流増幅回路Ａｍｐによって変換されて、アナログ電流加算器によって加算され、例えば、

【数1】

を取得し、アナログ電流減算器によって電流Ｉ_ｄ０と減算され、物体の輝度空間勾配信号の電流表示としての差電流ΔＩを取得する。そして、電流モードのアナログ−デジタル変換器ＡＤＣによってデジタル化され、図像のエッジ情報Ｄ_０を取得する。

【0076】

（例示的な撮像機器）
図４は、本願の実施例に係る撮像機器の概略ブロック図を示す。

【0077】

図４に示すように、本願の実施例に係る撮像機器２００は、撮像対象からの光を受光して前記光を電流に変換し、前記撮像対象のエッジ情報を取得するための撮像素子２１０と、前記撮像素子２１０によって取得された前記撮像対象のエッジ情報に基づいて、画像処理を行うための処理ユニット２２０とを備える。

【0078】

ここで、本願の実施例に係る撮像機器２００の処理ユニット２２０は、前記撮像対象のエッジ情報に基づいて画像処理を行うことができ、対象検出、対象認識、対象追跡などを含むがこれらに限定されない。

【0079】

具体的には、前記撮像素子２１０は、ピクセルとして配置され、撮像対象からの光を受光して前記光を変換電流に変換するための複数の感光性デバイスと、ピクセル処理電流を取得するように、前記変換電流をスケーリングする電流スケーリングユニットと、差電流を取得するために、各ピクセルのピクセル処理電流から前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くための差電流取得ユニットと、前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換を実行するためのアナログ−デジタル変換ユニットと、を含む。

【0080】

一例では、上記撮像機器２００において、前記感光性デバイスは光電変換を直接実現するための感光性デバイス、又は間接的に光電変換を実現するための感光性デバイスである。

【0081】

一例では、上記撮像機器２００において、前記撮像対象からの光は、前記撮像対象から放射される光、又は前記撮像対象から反射される光である。

【0082】

一例では、上記撮像機器２００において、前記撮像素子２１０は、レンズユニット及びフィルタユニットの少なくとも１つをさらに含み、前記複数の感光性デバイスは、前記レンズユニット及びフィルタユニットの少なくとも一方を透過した、撮像対象からの光を受光する。

【0083】

一例では、上記撮像機器２００において、前記変換電流は漏れ電流及びバイアス電流の少なくとも１つを含む。

【0084】

一例では、上記撮像機器２００において、前記電流変換ユニットは、ピクセル処理電流を取得するように、前記変換電流をスケーリングするためのカレントミラー、ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングするための変換回路、及び、ピクセル処理電流を取得するように、前記変換電流を直接スケーリングするための直接スケーリング回路の１つを含む。

【0085】

一例では、上記撮像機器２００において、前記変換回路は、前記変換電流を電圧に変換し、及び、前記ピクセル処理電流を取得するように、前記電圧で増幅電流を生成する。

【0086】

一例では、上記撮像機器２００において、前記変換回路はアクティブデバイスのみを含むか、又は、アクティブデバイスとパッシブデバイスの両方を含む。

【0087】

一例では、上記撮像機器２００において、前記ピクセル処理電流は前記電流スケーリングユニットによって生成される漏れ電流及び誤差電流並びに追加されたバイアス電流を含む。

【0088】

一例では、上記撮像機器２００において、前記差電流取得ユニットは、以下の方法のいずれかで、前記差電流を取得する。前記ピクセルの周囲ピクセルのピクセル処理電流を加算し、前記周囲ピクセルの数Ｍで除算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流の１／Ｍ倍を加算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流のＮ／Ｍ倍を加算する。

【0089】

一例では、上記撮像機器２００において、前記Ｎは整数又は小数である。

【0090】

一例では、上記撮像機器２００において、前記撮像素子２１０は、スケーリングされた差電流を取得するように、前記差電流をスケーリングするための差電流スケーリングユニットと、前記撮像対象のエッジ情報を取得するように、前記スケーリングされた差電流をアナログ−デジタル変換するためのアナログ−デジタル変換ユニットと、をさらに含む。

【0091】

一例では、上記撮像機器２００において、前記複数の感光性デバイスは、生体網膜の光受容体に類似した配置形態で配置されている。

【0092】

ここで、当業者は、本願の実施例に係る撮像機器の他の詳細は、本願の実施例に係る撮像素子に関して先に説明した対応する詳細と全く同じであり、冗長性を避けるためにここでは繰り返さないことを理解できる。

【0093】

（例示的な画像情報処理方法）
図５は、本願の実施例に係る画像情報処理方法の概略的なフローチャートを示す。

【0094】

図５に示すように、本願の実施例に係る画像情報処理方法は、Ｓ３１０、撮像対象からの光を受光することと、Ｓ３２０、ピクセルとして配置された複数の感光性デバイスによって、前記光を変換電流に変換することと、Ｓ３３０、ピクセル処理電流を取得するように、前記変換電流をスケーリングすることと、Ｓ３４０、差電流を取得するように、各ピクセルのピクセル処理電流から、前記ピクセルの周囲ピクセルのピクセル処理電流の平均値のＮ倍を引くことと、Ｓ３５０、前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換を実行することと、を含む。

【0095】

上記の画像情報処理方法では、前記感光性デバイスは光電変換を直接実現するための感光性デバイス、又は間接的に光電変換を実現するための感光性デバイスである。

【0096】

上記の画像情報処理方法では、前記撮像対象からの光は、前記撮像対象から放射される光、又は前記撮像対象から反射される光である。

【0097】

上記の画像情報処理方法では、撮像対象からの光を受光することは、レンズユニット及びフィルタユニットの少なくとも一方を透過した、撮像対象からの光を受光することを含む。

【0098】

上記の画像情報処理方法では、前記変換電流は漏れ電流及びバイアス電流の少なくとも１つを含む。

【0099】

上記の画像情報処理方法では、ピクセル処理電流を取得するように、前記変換電流をスケーリングすることは、ピクセル処理電流を取得するように、カレントミラーによって前記変換電流をスケーリングすること、ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングすること、及び、ピクセル処理電流を取得するように、前記変換電流を直接スケーリングすることの１つを含む。

【0100】

上記の画像情報処理方法では、ピクセル処理電流を取得するように、前記変換電流を電圧に変換してスケーリングすることは、変換回路によって前記変換電流を電圧に変換することと、前記ピクセル処理電流を取得するように、前記電圧で増幅電流を生成することとを含む。

【0101】

上記の画像情報処理方法では、前記変換回路はアクティブデバイスのみを含むか、又は、アクティブデバイスとパッシブデバイスの両方を含む。

【0102】

上記の画像情報処理方法では、前記ピクセル処理電流は、前記変換電流をスケーリングして生成される漏れ電流及び誤差電流並びに追加されたバイアス電流を含む。

【0103】

上記の画像情報処理方法では、以下の方法のいずれかで前記差電流を取得する。前記ピクセルの周囲ピクセルのピクセル処理電流を加算し、前記周囲ピクセルの数Ｍで除算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流の１／Ｍ倍を加算してＮを乗算し、前記ピクセルの周囲ピクセルのピクセル処理電流のＮ／Ｍ倍を加算する。

【0104】

上記の画像情報処理方法では、前記Ｎは整数又は小数である。

【0105】

上記の画像情報処理方法では、前記差電流を取得した後、スケーリングされた後の差電流を取得するように、前記差電流をスケーリングすることをさらに含み、前記撮像対象のエッジ情報を取得するように、前記差電流に基づいて、アナログ−デジタル変換を実行することは、前記撮像対象のエッジ情報を取得するように、前記スケーリングされた後の差電流をアナログ−デジタル変換することを含む。

【0106】

上記の画像情報処理方法では、前記複数の感光性デバイスは、生体網膜の光受容体に類似した配置形態で配置されている。

【0107】

ここで、当業者は、本願の実施例に係る画像情報処理方法の他の詳細は、本願の実施例に係る撮像素子に関して先に説明した対応する詳細と全く同じであり、冗長性を避けるためにここでは繰り返さないことを理解できる。

【0108】

本願に係る撮像素子、撮像機器及び画像情報処理方法は、物体の輝度空間勾配信号のみを抽出可能で、データの冗長性を大幅に削減することができる。したがって、認識率などの性能を低下せずに、必要なデータ送信帯域幅を削減させ、システムの作業効率を向上させる。

【0109】

本願に係る撮像素子、撮像機器及び画像情報処理方法は、電圧に変換してから操作することではなく、感光素子のアナログ電流を直接操作することにより、光強度に制限されない。また、サンプリング速度は光強度とは関係ないため、強い光と弱い光の下でも高速撮影を維持することができる。

【0110】

本願に係る撮像素子、撮像機器及び画像情報処理方法は、アナログ回路によって、アナログ電流の和と差の計算を直接実行することができる。このようにして、その後の複雑なデジタル回路設計を回避し、撮像素子の消費電力と面積を削減する。

【0111】

本願に係る撮像素子、撮像機器及び画像情報処理方法は、ピクセルとして配置された複数の感光性デバイスによって、すべてのピクセルの並列同期サンプリングを実現し、フレーム数を大幅に増やすことができる。

【0112】

以上、本願の基本原理を特定の実施例に関連して説明していたが、本願で言及される利点、効果などは単なる例であり、限定ではないことに留意すべきであり、これらの利点、効果などが、本願の各実施例によって所有されなければならないことは考えられない。さらに、上記で開示された特定の詳細は、単に例示と理解しやすいためだけであり、限定するものではなく、上記の詳細は、上記の特定の詳細を実装に使用しなければならないという事実に本願を限定するものではない。

【0113】

本願に関連するデバイス、装置、機器、及びシステムのブロック図は、単なる例示であり、ブロック図に示されている方法で接続、配置、及び構成する必要があることを要求又は暗示するものではない。当業者によって認識されるように、これらのデバイス、装置、機器、システムを、任意の方法で接続、配置、及び構成することができる。「含む」、「含有」、「備える」などの単語は、「含むが、これらに限定されない」を指す一般的な単語であり、それらと交換可能に使用できる。本明細書で使用される「又は」と「及び」という用語は、「及び／又は」という用語を指し、文脈がそうでないことを明確に示さない限り、それと交換可能に使用することができる。 本明細書で使用される「〜など」という用語は、「〜などであるがこれに限定されない」という語句を指し、それと交換可能に使用することができる。

【0114】

なお、本願の装置、機器及び方法において、各部材又は各ステップは分解及び／又は再結合可能である。これらの分解及び／又は再結合は、本願の同等のソリューションと見なされるべきである。

【0115】

開示された態様の上記の説明は、当業者が本願を作成又は使用することを可能にするために提供される。これらの態様への様々な修正は当業者には容易に明らかであり、本明細書で定義される一般原理は、本願の範囲から逸脱せずに、他の態様に適用されてもよい。したがって、本願は、本明細書に示された態様に限定されることを意図するものではなく、本明細書に開示された原理及び新規の特徴と一致する最も広い範囲に限定される。

【0116】

上記の説明は、例示及び説明の目的で与えられたものである。さらに、この説明は、本願の実施例を本明細書に開示された形態に限定することを意図していない。複数の例示的な態様及び実施例が上記で議論されたが、当業者はそれらの特定の変形、修正、変更、追加、及びサブコンビネーションを認識するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】