特表 2023-507363 バイモーダル生体模倣視覚センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-22

(54)【発明の名称】バイモーダル生体模倣視覚センサ

(51)【国際特許分類】

   H04N 25/77 20230101AFI20230215BHJP

   H04N 25/70 20230101ALI20230215BHJP

【ＦＩ】

H04N5/3745

H04N5/369

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022536912

(86)(22)【出願日】2020-01-21

(85)【翻訳文提出日】2022-06-16

(86)【国際出願番号】 CN2020073523

(87)【国際公開番号】W WO2021128533

(87)【国際公開日】2021-07-01

(31)【優先権主張番号】201911348653.8

(32)【優先日】2019-12-24

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】506259634

【氏名又は名称】清華大学

【氏名又は名称原語表記】ＴＳＩＮＧＨＵＡ ＵＮＩＶＥＲＳＩＴＹ

【住所又は居所原語表記】Ｑｉｎｇｈｕａｙｕａｎ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８４，Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】施 路平

(72)【発明者】

【氏名】楊 哲宇

(72)【発明者】

【氏名】趙 蓉

(72)【発明者】

【氏名】▲ヒ▼ 京

(72)【発明者】

【氏名】徐 海▲ソウ▼

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CY37

5C024GX03

5C024GX15

5C024GX16

5C024GX18

5C024GY39

5C024GY41

5C024HX17

5C024HX23

5C024HX29

5C024HX48

(57)【要約】

本発明の実施例は、バイモーダル生体模倣視覚センサを提供し、第１タイプの電流モードのアクティブピクセルセンサ回路により興奮性桿体細胞の作用を模擬して、目標光信号における光強度勾配情報を感知する役割を実現し、さらに生体模倣視覚センサの画像のダイナミックレンジを拡大し、撮影速度を向上させる。また、各非目標の第１タイプの感光デバイスに１つの第１タイプの制御スイッチを導入して、得られた光強度勾配情報を制御でき、生体模倣視覚センサの画像のダイナミックレンジの調整を実現し、さらに撮影速度の調整を実現し、再構成できる効果を実現する。電圧モードのアクティブピクセルセンサにより錐体細胞の作用を模擬して、目標光信号における光強度情報を表す目標電圧信号を出力でき、目標光信号における光強度情報を感知する役割を実現し、得られた目標電圧信号が光強度情報を表す精度が高くなり、得られた画像の品質を確保することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

バイモーダル生体模倣視覚センサであって、
第１タイプの電流モードのアクティブピクセルセンサ回路と、
電圧モードのアクティブピクセルセンサ回路とを含み、
前記第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号を取得して、第１タイプの電流信号に変換するための１つの目標の第１タイプの感光デバイスを含み、前記第１タイプの電流信号と、前記目標の第１タイプの感光デバイスの周囲に位置する第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられ、
前記電圧モードのアクティブピクセルセンサ回路は、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、第３タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記第３タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される、
ことを特徴とするバイモーダル生体模倣視覚センサ。

【請求項2】

前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記目標の第１タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記加算器の入力端子は、それぞれ前記第１タイプの制御スイッチに接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、
前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記目標光信号における光強度勾配情報を表すための前記指定デジタル信号を出力する、
ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。

【請求項3】

前記第１タイプの電流モードのアクティブピクセルセンサ回路は、トライステートゲート回路をさらに含み、
前記トライステートゲート回路は、それぞれ前記比較器の出力端子及び前記デジタルアナログ変換器の入力端子に接続され、
前記トライステートゲート回路は、前記比較器の出力端子が前記イベントパルス信号を出力する場合、前記指定デジタル信号を出力することに用いられる、
ことを特徴とする請求項２に記載のバイモーダル生体模倣視覚センサ。

【請求項4】

前記電圧モードのアクティブピクセルセンサ回路は、前記目標の第１タイプの感光デバイスの周囲に位置する第２所定数の前記第２タイプの感光デバイスを含み、各前記第２タイプの感光デバイスは、それぞれ１つの第２タイプの制御スイッチに直列接続され、同じ時刻に１つの第２タイプの制御スイッチのみがオン状態となり、
前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
各前記第２タイプの感光デバイス及び直列接続された第２タイプの制御スイッチは、デバイス分岐路を形成し、すべてのデバイス分岐路は、並列接続され、前記電流積分器、前記シャッター及び前記アナログデジタル変換器を共有し、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる、
ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。

【請求項5】

第２タイプの電流モードのアクティブピクセルセンサ回路をさらに含み、
前記第２タイプの電流モードのアクティブピクセルセンサ回路は、前記非目標の第１タイプの感光デバイスと、第２所定数のカレントミラーとを含み、
各カレントミラーは、それぞれ前記非目標の第１タイプの感光デバイスの周囲に位置する１つの前記目標の第１タイプの感光デバイスに直列接続される、
ことを特徴とする請求項４に記載のバイモーダル生体模倣視覚センサ。

【請求項6】

前記バイモーダル生体模倣視覚センサのピクセルアレイは、前記目標の第１タイプの感光デバイス、前記非目標の第１タイプの感光デバイス及び前記第２タイプの感光デバイスを配列することにより形成され、
前記ピクセルアレイの各行には、前記第２タイプの感光デバイスと前記目標の第１タイプの感光デバイスとが交互に配列され、又は前記第２タイプの感光デバイスと前記非目標の第１タイプの感光デバイスとが交互に配列される、
ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。

【請求項7】

前記第２タイプの感光デバイスは、光学フィルタと、フォトダイオードとを含み、
前記光学フィルタは、前記目標光信号を取得し、前記目標光信号から指定周波数帯域の光信号を抽出することに用いられ、
前記フォトダイオードは、前記指定周波数帯域の光信号を前記第３タイプの電流信号に変換することに用いられる、
ことを特徴とする請求項１に記載のバイモーダル生体模倣視覚センサ。

【請求項8】

前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
前記第２電流増幅器は、前記目標の第２タイプの感光デバイスと前記第１電流増幅器との間に接続される、
ことを特徴とする請求項２に記載のバイモーダル生体模倣視覚センサ。

【請求項9】

前記目標電圧信号と前記指定デジタル信号とは、画像を共同で形成する、
ことを特徴とする請求項１～８のいずれか１項に記載のバイモーダル生体模倣視覚センサ。

【請求項10】

２つの記憶ユニットをさらに含み、
２つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる、
ことを特徴とする請求項１～８のいずれか１項に記載のバイモーダル生体模倣視覚センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、集積回路の技術分野に関し、より具体的には、バイモーダル生体模倣視覚センサに関する。

【背景技術】

【0002】

画像センサと画像処理認識アルゴリズムの研究が深くなるにつれ、生体模倣視覚センサは、工業製造、知能交通、知能ロボットなどの複数の応用分野でますます重要な役割を果たしている。

【0003】

生体模倣視覚センサは、主に人間の目の網膜のモーダルをシミュレートし、人間の目の網膜には、主にそれぞれ２種類の異なるモーダルに対応する２種類の視覚感知細胞、すなわち錐体細胞及び桿体細胞が含まれる。錐体細胞のモーダルは、主に絶対光強度情報と色情報に敏感であり、画像の復元精度が高いが、復元速度が遅い一方、桿体細胞は、主に光強度情報の変化量を感知し、感知速度が速く、感知のダイナミックレンジが広いが、絶対光強度情報と色情報を感知することができない。

【0004】

しかしながら、従来技術に存在する生体模倣視覚センサはいずれも人間の目の網膜のモーダルの１つのみをシミュレートして、単一の感知モードを形成し、さらにあるタイプの情報しか感知できない。例えば、従来のカメラは、錐体細胞と同様であり、主に色情報を感知する。例えば、動的視覚センサ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ、ＤＶＳ）は、桿体細胞と同様であり、主に光強度情報の変化量を感知する。シングルモーダルの視覚センサの応用シナリオが限られている。例えば、錐体細胞と同様の生体模倣視覚センサについては、光強度情報の変化量ではなく絶対光強度情報を撮影するため、家庭用娯楽電子機器で非常に広く応用されているが、産業用制御の分野では、速度が不十分でダイナミックレンジが小さすぎるなどの課題に直面する場合が多く、従って応用が困難である。桿体細胞と同様の生体模倣視覚センサについては、感知速度が速いが、運動目標にしか敏感ではないため、画像を撮影することが困難になったり、撮影された画像の品質が低くなったりして、娯楽電子機器のニーズを満たすことは困難である。また、生体模倣視覚センサが単一の感知モードしか含まないため、この感知モードが無効になると生体模倣視覚センサが無効になり、安定性に対する要件が高い無人運転、無人機などのロボットには大きな制限がある。また、現在、生体模倣視覚センサの性能を評価する主な指標は、画質、ダイナミックレンジ及び撮影速度である。上記内容から分かるように、従来の生体模倣視覚センサの構造では、これら３つの指標は相互に排他的である場合が多く、例えば、撮影速度が向上すると、生体模倣視覚センサのダイナミックレンジが小さくなり、画質が向上すると、撮影速度が一般的に低下し、同時に考慮することは困難である。

【0005】

従って、現在、バイモーダル生体模倣視覚センサを提供する緊急の必要性がある。

【発明の概要】

【0006】

上記課題を解消し又は上記課題を少なくとも部分的に解決するために、本発明の実施例は、バイモーダル生体模倣視覚センサを提供する。

【0007】

本発明の実施例は、第１タイプの電流モードのアクティブピクセルセンサ回路と、電圧モードのアクティブピクセルセンサ回路とを含み、
前記第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号を取得して、第１タイプの電流信号に変換するための目標の第１タイプの感光デバイスを含み、前記第１タイプの電流信号と、前記目標の第１タイプの感光デバイスの周囲での第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられ、
前記電圧モードのアクティブピクセルセンサ回路は、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、第３タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記第３タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される、ことを特徴とするバイモーダル生体模倣視覚センサを提供する。

【0008】

好ましくは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記目標の第１タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記加算器の入力端子は、それぞれ前記第１タイプの制御スイッチに接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記目標光信号における光強度勾配情報を表すための前記指定デジタル信号を出力する。

【0009】

好ましくは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、トライステートゲート回路をさらに含み、
前記トライステートゲート回路は、それぞれ前記比較器の出力端子及び前記デジタルアナログ変換器の入力端子に接続され、
前記トライステートゲート回路は、前記比較器の出力端子が前記イベントパルス信号を出力する場合、前記指定デジタル信号を出力することに用いられる。

【0010】

好ましくは、前記電圧モードのアクティブピクセルセンサ回路は、具体的には、前記目標の第１タイプの感光デバイスの周囲に位置する第２所定数の前記第２タイプの感光デバイスを含み、各前記第２タイプの感光デバイスは、それぞれ１つの第２タイプの制御スイッチに直列接続され、同じ時刻に１つの第２タイプの制御スイッチのみがオン状態となり、
前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、各前記第２タイプの感光デバイス及び直列接続された第２タイプの制御スイッチは、デバイス分岐路を形成し、すべてのデバイス分岐路は、並列接続され、前記電流積分器、前記シャッター及び前記アナログデジタル変換器を共有し、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。

【0011】

好ましくは、前記バイモーダル生体模倣視覚センサは、第２タイプの電流モードのアクティブピクセルセンサ回路をさらに含み、
前記第２タイプの電流モードのアクティブピクセルセンサ回路は、１つの前記非目標の第１タイプの感光デバイスと、前記第２所定数のカレントミラーとを含み、
各カレントミラーは、それぞれ前記非目標の第１タイプの感光デバイスの周囲に位置する１つの前記目標の第１タイプの感光デバイスに直列接続される。

【0012】

好ましくは、前記バイモーダル生体模倣視覚センサのピクセルアレイは、前記目標の第１タイプの感光デバイス、前記非目標の第１タイプの感光デバイス及び前記第２タイプの感光デバイスを配列することにより形成され、
前記ピクセルアレイの各行には、前記第２タイプの感光デバイスと前記目標の第１タイプの感光デバイスとが交互に配列され、又は前記第２タイプの感光デバイスと前記非目標の第１タイプの感光デバイスとが交互に配列される。

【0013】

好ましくは、前記第２タイプの感光デバイスは、具体的には、光学フィルタと、フォトダイオードとを含み、
前記光学フィルタは、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出することに用いられ、前記フォトダイオードは、前記指定周波数帯域の光信号を前記第３タイプの電流信号に変換することに用いられる。

【0014】

好ましくは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、前記第２電流増幅器は、前記目標の第２タイプの感光デバイスと前記第１電流増幅器との間に接続される。

【0015】

好ましくは、前記目標電圧信号と前記指定デジタル信号とは、画像を共同で形成する。

【0016】

好ましくは、前記バイモーダル生体模倣視覚センサは、２つの記憶ユニットをさらに含み、２つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる。

【0017】

本発明の実施例に係るバイモーダル生体模倣視覚センサは、一方では、第１タイプの電流モードのアクティブピクセルセンサ回路により興奮性桿体細胞の作用を模擬して、目標光信号における光強度勾配情報を感知する役割を実現し、さらに生体模倣視覚センサの画像のダイナミックレンジを拡大し、撮影速度を向上させる。また、各非目標の第１タイプの感光デバイスに１つの第１タイプの制御スイッチを導入して、得られた光強度勾配情報を制御でき、生体模倣視覚センサの画像のダイナミックレンジの調整を実現し、さらに撮影速度の調整を実現し、再構成できる効果を実現する。他方では、電圧モードのアクティブピクセルセンサにより錐体細胞の作用を模擬して、目標光信号における光強度情報を表す目標電圧信号を出力でき、目標光信号における光強度情報を感知する役割を実現し、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を得ることができ、すなわち、画像の画像信号対雑音比が高くなる。

【図面の簡単な説明】

【0018】

本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明において使用される必要がある図面について簡単に説明し、明らかに、以下に説明される図面は、本発明のいくつかの実施例であり、当業者であれば、創造的労働を行わずに、これらの図面に基づいて他の図面を得ることができる。

【図1】本発明の実施例に係るバイモーダル生体模倣視覚センサの構造模式図である。

【図2】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路の構造模式図である。

【図3】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路内の、デジタルアナログ変換器に入力された指定デジタル信号の変化形態の模式図である。

【図4】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路の構造模式図である。

【図5】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第１タイプの電流モードのアクティブピクセルセンサ回路の具体的な構造模式図である。

【図6】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサの構造模式図である。

【図7】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサの具体的な構造模式図である。

【図8】本発明の実施例に係るバイモーダル生体模倣視覚センサにおける第２タイプの電流モードのアクティブピクセルセンサ回路の具体的な構造模式図である。

【図9】本発明の実施例に係るバイモーダル生体模倣視覚センサにおけるピクセルアレイの配置方式の構造模式図である。

【図10】本発明の実施例に係るバイモーダル生体模倣視覚センサにおけるピクセルアレイの配置方式の構造模式図である。

【図11】本発明の実施例に係るバイモーダル生体模倣視覚センサにより最終的に出力された画像の模式図である。

【発明を実施するための形態】

【0019】

本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確、かつ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部であり、実施例の全部ではない。本発明における実施例に基づき、当業者が創造的な労働を行わずに得たすべての他の実施例は、いずれも本発明の保護範囲に属する。

【0020】

本発明の実施例の説明では、なお、「中心」、「上」、「下」、「左」、「右」、「垂直」、「水平」、「内」、「外」などの用語が示した方位又は位置関係は、図面に基づいて示されている方位又は位置関係であり、本発明の実施例を容易に説明し及び説明を簡素化するためのものに過ぎず、示した装置又は素子が必ず特定の方位を有し、特定の方位で構築及び操作されることを指示又は暗示しないため、本発明の実施例を限定するものとして理解できない。また、「第１」、「第２」、「第３」という用語は、説明するためのものに過ぎず、相対的な重要性を指示又は暗示するものとして理解できない。

【0021】

本発明の実施例の説明では、なお、特に明確な規定と限定がない限り、「取り付け」、「接続」、「連結」という用語は、広い意味で理解されるべきであり、例えば、固定接続であってもよく、取り外し可能な接続又は一体的な接続であってもよく、機械的接続であってもよく、電気的接続であってもよく、直接接続であってもよく、中間媒体を介した間接的接続であってもよく、２つの素子内部の連通であってもよい。当業者であれば、具体的な状況に応じて上記用語の本発明の実施例での具体的な意味を理解することができる。

【0022】

本発明の実施例は、バイモーダル生体模倣視覚センサを提供し、第１タイプの電流モードのアクティブピクセルセンサ回路と、電圧モードのアクティブピクセルセンサ回路とを含み、
前記第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号を取得して、第１タイプの電流信号に変換するための１つの目標の第１タイプの感光デバイスを含み、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記第１タイプの電流信号と、前記目標の第１タイプの感光デバイスの周囲での第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられ、
前記電圧モードのアクティブピクセルセンサ回路は、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、第３タイプの電流信号に変換するための第２タイプの感光デバイスを含み、前記電圧モードのアクティブピクセルセンサ回路は、前記第３タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される。

【0023】

具体的には、本発明の実施例では、バイモーダル生体模倣視覚センサが提供されており、そのピクセルアレイは、感光デバイスで構成され、感光デバイスは、それぞれ制御回路により制御される。図１に示すように、制御回路は、電流モードのアクティブピクセルセンサ回路１と、電圧モードのアクティブピクセルセンサ回路２とを含む。生体模倣視覚センサにおける感光デバイスは、異なるカテゴリの光を感知することにより第１タイプの感光デバイス及び第２タイプの感光デバイスに分けることができ、第１タイプの感光デバイスは、目標光信号を直接感知することに用いられ、第２タイプの感光デバイスは、目標光信号におけるカラー成分を感知することに用いられる。本発明の実施例では、目標光信号におけるカラー成分は、指定周波数帯域の光信号と表記され、すなわち、第１タイプの感光デバイスは、目標光信号を取得して、電流信号に変換することに用いられ、第２タイプの感光デバイスは、目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出して、電流信号に変換することに用いられる。

【0024】

目標光信号とは、目標物体の表面で反射した光信号を指し、目標光信号は、第１タイプの感光デバイス又は第２タイプの感光デバイスに直接照射されてもよく、コリメートレンズを介して第１タイプの感光デバイス又は第２タイプの感光デバイスに照射されてもよく、被覆物を透過して第１タイプの感光デバイス又は第２タイプの感光デバイスに照射されてもよい。目標光信号の波長帯域は、可視光波長帯域であってもよく、すなわち、目標光信号は可視光信号であってもよい。目標物体とは、人間の目で観察する必要がある物体を指し、実物であってもよく、画像又は他の形態であってもよく、本発明では目標物体の具体的な形態を限定しない。

【0025】

第１タイプの感光デバイスと第２タイプの感光デバイスの数は、必要に応じて設定されてもよい。第１タイプの感光デバイス及びその制御回路は、桿体細胞を模擬することができ、第２タイプの感光デバイス及びその制御回路は、錐体細胞を模擬することができる。第１タイプの感光デバイスは、具体的には、目標の第１タイプの感光デバイスと、目標の第１タイプの感光デバイス以外の非目標の第１タイプの感光デバイスとを含んでもよく、目標の第１タイプの感光デバイス及びその制御回路は、興奮性桿体細胞を模擬することができ、非目標の第１タイプの感光デバイス及びその制御回路は、抑制性桿体細胞を模擬することができる。本発明の実施例では、第１タイプの感光デバイス、第２タイプの感光デバイスにより変換された電流信号を区別するために、目標の第１タイプの感光デバイスにより変換された電流信号は、第１タイプの電流信号と表記され、非目標の第１タイプの感光デバイスにより変換された電流信号は、第２タイプの電流信号と表記され、第２タイプの感光デバイスにより変換された電流信号は、第３タイプの回路信号と表記される。

【0026】

バイモーダル生体模倣視覚センサにおける第１タイプの感光デバイスは、電流モードのアクティブピクセルセンサ回路により制御され、電流モードのアクティブピクセルセンサ回路の数は、目標の第１タイプの感光デバイスの数に応じて決定されてもよい。本発明の実施例では、目標の第１タイプの感光デバイスと非目標の第１タイプの感光デバイスの制御回路を区別するために、目標の第１タイプの感光デバイスの制御回路は、第１タイプの電流モードのアクティブピクセルセンサ回路と表記され、非目標の第１タイプの感光デバイスの制御回路は、第２タイプの電流モードのアクティブピクセルセンサ回路と表記される。各目標の第１タイプの感光デバイスは、１つの第１タイプの電流モードのアクティブピクセルセンサ回路に対応し、各非目標の第１タイプの感光デバイスは、１つの第２タイプの電流モードのアクティブピクセルセンサ回路に対応する。第２タイプの感光デバイスは、電圧モードのアクティブピクセルセンサ回路により制御され、電圧モードのアクティブピクセルセンサ回路の数は、第２タイプの感光デバイスの数以下であってもよく、具体的には、第２タイプの感光デバイスの数及び再利用状況に応じて決定されてもよく、本発明の実施例ではこれを具体的に限定しない。

【0027】

電流モードのアクティブピクセルセンサ回路とは、動作モードが電流モードであるアクティブピクセルセンサ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ、ＡＰＳ）回路を指し、すなわち、そのうちの目標の第１タイプの感光デバイスが変換して第１タイプの電流信号を得た後、第１タイプの電流信号を直接積分する必要がなく、第１タイプの電流信号と、目標の第１タイプの感光デバイスの周囲での所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計との差に基づいて、目標光信号における光強度勾配情報を表す指定デジタル信号を出力する。各非目標の第１タイプの感光デバイスは、それぞれ１つの第１タイプの制御スイッチに直列接続される。第１タイプの制御スイッチは、具体的には、ＭＯＳトランジスタであってもよく、すべての第１タイプの制御スイッチは、同時にオンにされてもよく、同時にオフにされてもよく、部分的にオンにされ、部分的にオフにされてもよく、具体的には、必要に応じて設定されてもよく、本発明の実施例ではこれを具体的に限定しない。

【0028】

第１タイプの制御スイッチのオン及びオフは、必要に応じて設定されてもよいため、第１タイプの制御スイッチは、配置可能な第１タイプの制御スイッチである。第１タイプの制御スイッチが実現するのは、目標の第１タイプの感光デバイスの周囲での非目標の第１タイプの感光デバイスが有効であるか否かを制御することであるため、第１タイプの制御スイッチがパラメータ設定可能な１ｂｉｔ畳み込みカーネルとして、第１タイプの感光デバイスにより変換された電流信号に対して畳み込み演算を行うことができ、完了速度が速く、ピクセル内の１ｂｉｔ畳み込み演算を完了し、高速の特徴抽出を実現することができると理解できる。

【0029】

電圧モードのアクティブピクセルセンサ回路とは、動作モードが電圧モードであるＡＰＳ回路を指し、すなわち、そのうちの第２タイプの感光デバイスが変換して第３タイプの電流信号を得た後、第３タイプの電流信号を積分して、目標電圧信号を得る必要があり、目標光信号における光強度情報が目標電圧信号で表され、この光強度情報は、１種の絶対光強度情報であり、色情報をさらに含む。

【0030】

本発明の実施例では、バイモーダル生体模倣視覚センサが提供されており、一方では、第１タイプの電流モードのアクティブピクセルセンサ回路により興奮性桿体細胞の作用を模擬して、目標光信号における光強度勾配情報を感知する役割を実現し、さらに生体模倣視覚センサの画像のダイナミックレンジを拡大し、撮影速度を向上させる。また、各非目標の第１タイプの感光デバイスに１つの第１タイプの制御スイッチを導入して、得られた光強度勾配情報を制御でき、生体模倣視覚センサの画像のダイナミックレンジの調整を実現し、さらに撮影速度の調整を実現し、再構成できる効果を実現する。他方では、電圧モードのアクティブピクセルセンサにより錐体細胞の作用を模擬して、目標光信号における光強度情報を表す目標電圧信号を出力でき、目標光信号における光強度情報を感知する役割を実現し、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を得ることができ、すなわち、画像の画像信号対雑音比が高くなる。

【0031】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記目標光信号の照度が第１プリセット値よりも大きい場合、すべての前記第１タイプの制御スイッチは同時にオンにされ、前記目標光信号の強度が第２プリセット値よりも小さい場合、すべての前記第１タイプの制御スイッチは同時にオフにされる。

【0032】

具体的には、すべての第１タイプの制御スイッチは互いに独立しており、１つの第１タイプの制御スイッチは、他の第１タイプの制御スイッチに影響せずにオン及びオフにされ、必要に応じてオンの数及びオフの数を選択してもよく、すべてオン又はすべてオフにされてもよい。本発明の実施例では、より良好な効果を取得するために、目標光信号の照度が第１プリセット値よりも大きい場合、すべての第１タイプの制御スイッチを同時にオンにし、目標光信号の強度が第２プリセット値よりも小さい場合、すべての第１タイプの制御スイッチを同時にオフにすることができる。第１プリセット値、第２プリセット値は、感光デバイスのタイプ、パラメータ及び周囲光強度に応じて決定されてもよい。例えば、第１プリセット値は１０ｋｌｕｘであってもよく、第２プリセット値は５０ｌｕｘであってもよい。すなわち、目標光信号の照度が第１プリセット値よりも大きい場合、強い照度であることが示され、このとき、第１タイプの電流モードのアクティブピクセルセンサ回路内のＤＡＣと比較器の飽和を防止するために、すべての第１タイプの制御スイッチが同時にオンにされ、このとき、すべての非目標の第１タイプの感光デバイスが有効になり、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号が差分信号であり、生体模倣視覚センサが画像のエッジ情報を得ることができる。目標光信号の強度が第２プリセット値よりも小さい場合、弱い照度であることが示され、このとき、目標の第１タイプの感光デバイスにより変換された第１タイプの電流信号Ｉ_１が小さい。従って、すべての第１タイプの制御スイッチが同時にオフにされ、このとき、すべての非目標の第１タイプの感光デバイスが無効になり、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号がコモンモード信号であり、生体模倣視覚センサが画像の元の情報を得ることができる。本発明の実施例に係る第１タイプの電流モードのアクティブピクセルセンサ回路は、人間の目のＧａｐ Ｊｕｎｃｔｉｏｎ接続をより良好にシミュレートし、それにより生体模倣視覚センサの画像ダイナミックレンジの拡大を実現する。

【0033】

なお、目標光信号の照度が、第１プリセット値よりも大きく、第２プリセット値よりも小さい場合、照度が適切であることが示され、このとき、すべての第１タイプの制御スイッチは、部分的にオンにされ、部分的にオフにされてもよい。少なくとも１つの第１タイプの制御スイッチがオンにされる場合、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号はいずれも差分信号であり、すべての第１タイプの制御スイッチがオフにされる場合、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号はコモンモード信号である。

【0034】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第１電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記目標の第１タイプの感光デバイスは、前記第１電流増幅器に接続され、前記第１電流増幅器は、前記比較器の一方の入力端子に接続され、
前記加算器の入力端子は、それぞれ前記第１タイプの制御スイッチに接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第１電流増幅器又は前記加算器に出力し、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、前記目標光信号における光強度勾配情報を表すための前記指定デジタル信号を出力する。

【0035】

具体的には、図２は、本発明の実施例に係る目標の第１タイプの感光デバイスを制御するための第１タイプの電流モードのアクティブピクセルセンサ回路である。図２では、第１タイプの電流モードのアクティブピクセルセンサ回路は、目標の第１タイプの感光デバイス１１と、第１電流増幅器１２と、比較器１３と、加算器１４と、デジタルアナログ変換器（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ、ＤＡＣ）１５とを含み、目標の第１タイプの感光デバイス１１は、第１電流増幅器１２に接続され、第１電流増幅器１２は、目標の第１タイプの感光デバイス１１により変換された第１タイプの電流信号Ｉ_０を増幅することに用いられ、増幅倍数は第１所定数であり、すなわち、増幅倍数は、目標の第１タイプの感光デバイス１１の周囲での非目標の第１タイプの感光デバイスの数に等しく、増幅された第１タイプの電流信号と、目標の第１タイプの感光デバイス１１の周囲での第１所定数の非目標の第１タイプの感光デバイスにより変換された第２タイプの電流信号の合計とが同じオーダーにあることを確保する。なお、本発明の実施例に係る第１タイプの感光デバイスにはカラーフィルタ（Ｃｏｌｏｒｆｉｌｔｅｒ、ＣＦ）がないため、第１タイプの感光デバイスの応答波長帯域はそれ自体に関係している。

【0036】

第１電流増幅器１２は、比較器１３の一方の入力端子に接続され、増幅された第１タイプの電流信号を比較器１３に入力する。目標の第１タイプの感光デバイス１１の周囲での４つの非目標の第１タイプの感光デバイスは、それぞれ加算器１４の入力端子に接続される。各非目標の第１タイプの感光デバイスはいずれも１つの第１タイプの制御スイッチに直列接続されるため、本発明の実施例では、各非目標の第１タイプの感光デバイスに直列接続された第１タイプの制御スイッチＭ_１、Ｍ_２、Ｍ_３、Ｍ_４のみが示されている。

【0037】

加算器１４の出力端子は、比較器１３の他方の入力端子に接続される。４つの非目標の第１タイプの感光デバイスにより変換された電流信号Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４がそれぞれ加算器１４に入力され、加算器１４によりＩ_１、Ｉ_２、Ｉ_３、Ｉ_４を合計し、合計結果を比較器１３に入力する。比較器１３により、増幅された第１タイプの電流信号と加算器１４の合計結果とを比較する。前の時刻と現在の時刻の比較結果が一致する場合、出力せず、ＤＡＣ１５により、入力された指定デジタル信号を指定アナログ信号に変換して、第１電流増幅器１２又は加算器１４に出力し、第１電流増幅器１２に出力された指定アナログ信号はＩ_ＤＡ２と表記され、加算器１４に出力された指定アナログ信号記はＩ_ＤＡ１と表記される。出力後、比較器１３により比較し、前の時刻と後の時刻の比較結果が逆である場合、比較器１３の出力端子によりイベントパルス信号を出力し、すなわち比較器１３はエッジトリガー状態にあり、このとき、第１タイプの電流モードのアクティブピクセルセンサ回路は、目標光信号における光強度勾配情報を表すための指定デジタル信号を出力する。第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号は、０及び１で表されるデジタル信号である。

【0038】

ＤＡＣ１５に入力された指定デジタル信号は、人為的に入力された周期的に増加する指定デジタル信号であってもよく、指定デジタル信号の変化形態は、具体的に図３に示されており、指定デジタル信号は、具体的に時間とともに段階的に逓増し、ある時刻でＮ＊ｓｔｅｐの場合、指定デジタル信号の値はΔＩであり、比較器１３はイベントパルス信号を出力し、すなわち比較器１３はエッジトリガー状態にあり、このときのΔＩは、第１タイプの電流モードのアクティブピクセルセンサ回路の出力として機能する。Ｎは、これ以前に通過したステップの数であり、ｓｔｅｐは、各ステップの通過時間である。

【0039】

なお、本発明の実施例における加算器は、実際のデバイスであってもよく、加算機能を実現する機能モジュールであってもよく、例えば、電流信号Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４がある回線を１つの回線に合併することにより実現され得る。また、第１電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。

【0040】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、トライステートゲート回路をさらに含み、
前記トライステートゲート回路は、それぞれ前記比較器の出力端子及び前記デジタルアナログ変換器の入力端子に接続され、
前記トライステートゲート回路は、前記比較器の出力端子が前記イベントパルス信号を出力する場合、前記指定デジタル信号を出力することに用いられる。

【0041】

具体的には、図４に示すように、本発明の実施例では、第１タイプの電流モードのアクティブピクセルセンサ回路には、トライステートゲート回路４１がさらに含まれる。トライステートゲート回路４１は、それぞれ比較器１３の出力端子及びＤＡＣ１５の入力端子に接続され、トライステートゲート回路４１は、比較器１３の出力端子がイベントパルス信号を出力し、すなわち比較器１３がエッジトリガー状態にある場合、指定デジタル信号を出力することに用いられる。

【0042】

図５は、本発明の実施例に係る第１タイプの電流モードのアクティブピクセルセンサ回路の具体的な構造模式図である。図５では、回路構造５１は、桿体細胞を模擬する回路であり、回路構造５２は、神経節細胞と双極細胞を模擬する。Ｖｃｃは、制御回路の電源であり、目標の第１タイプの感光デバイス５３は、Ｖｃｃに接続され、目標の第１タイプの感光デバイス５３により変換された第１タイプの電流信号Ｉ_０は、カレントミラー５４により４倍増幅されて比較器（Ｃｏｍｐａｒｅｒ、ＣＰ）５６の入力端子に接続され、目標の第１タイプの感光デバイス５３の周囲での４つの非目標の第１タイプの感光デバイスにより変換された電流信号は、それぞれＩ_１、Ｉ_２、Ｉ_３、Ｉ_４である。

【0043】

なお、図５におけるカレントミラー５４は、第１電流増幅器である。図５では、目標の第１タイプの感光デバイス５３の周囲での４つの非目標の第１タイプの感光デバイスが示されておらず、各非目標の第１タイプの感光デバイスに直列接続された第１タイプの制御スイッチＭ_１、Ｍ_２、Ｍ_３、Ｍ_４のみが示されている。Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４がある回線は１つの回線に合併されて、加算器の役割を実現する。合併された回線は、ＣＰ５６の入力端子に接続される。ＣＰ５６により、増幅された第１タイプの電流信号とＩ_１、Ｉ_２、Ｉ_３、Ｉ_４の合計とを比較する。前の時刻と現在の時刻の比較結果が一致する場合、出力せず、ＤＡＣ５５により、入力された指定デジタル信号を指定アナログ信号に変換して、目標の第１タイプの感光デバイス５３又はある非目標の第１タイプの感光デバイスに出力する。出力後、ＣＰ５６により比較し、前の時刻と後の時刻の比較結果が逆である場合、ＣＰ５６の出力端子によりイベントパルス信号を出力し、すなわちＣＰ５６はエッジトリガー状態にあり、このとき、トライステートゲート回路５７により、指定デジタル信号を出力する。

【0044】

図５では、ＣＰ５６とグランドとの間にコンデンサ５８がさらに接続され、コンデンサ５８は、実際のコンデンサであってもよく、第１タイプの電流モードのアクティブピクセルセンサ回路で仮想化された寄生コンデンサであってもよく、本発明の実施例ではこれを具体的に限定しない。

【0045】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、第１タイプの電流モードのアクティブピクセルセンサ回路は、記憶ユニットをさらに含む。記憶ユニットは、トライステートゲート回路の出力端子に接続され、第１タイプの電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号を記憶することに用いられる。記憶ユニットは、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＤＡＣの精度に応じて選択されてもよく、本発明の実施例では、ここで４ビットレジスタが選択されてもよい。

【0046】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記電圧モードのアクティブピクセルセンサ回路は、具体的には、前記目標の第１タイプの感光デバイスの周囲での第２所定数の前記第２タイプの感光デバイスを含み、各前記第２タイプの感光デバイスは、それぞれ１つの第２タイプの制御スイッチに直列接続され、同じ時刻に１つの第２タイプの制御スイッチしかオン状態ではなく、
前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、各前記第２タイプの感光デバイス及び直列接続された第２タイプの制御スイッチは、デバイス分岐路を形成し、すべてのデバイス分岐路は、並列接続され、前記電流積分器、前記シャッター及び前記アナログデジタル変換器を共有し、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。

【0047】

具体的には、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、複数の第２タイプの感光デバイスは、１つの電圧モードのアクティブピクセルセンサを共有してもよく、すなわち、各電圧モードのアクティブピクセルセンサ回路には、目標の第１タイプの感光デバイスの周囲での第２所定数の第２タイプの感光デバイスが含まれる。目標の第１タイプの感光デバイスと周囲の第２所定数の第２タイプの感光デバイスとは、１つのグループを形成し、該グループ内の目標の第１タイプの感光デバイスは、１つの電流モードのアクティブピクセルセンサにより制御され、該グループ内のすべての非目標の第１タイプの感光デバイスは、１つの電圧モードのアクティブピクセルセンサにより制御されることが理解できる。

【0048】

図６は、本発明の実施例に係る電圧モードのアクティブピクセルセンサの構造模式図である。図６では、４つの第２タイプの感光デバイス６１と、電流積分器（Ｃｕｒｒｅｎｔ Ｉｎｔｅｇｒａｔｏｒ、ＣＩ）６２と、シャッター６４と、アナログデジタル変換器（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、ＡＤＣ）６３とが含まれる。各第２タイプの感光デバイス６１は、それぞれ１つの第２タイプの制御スイッチ６５に直列接続され、同じ時刻に１つの第２タイプの制御スイッチ６５しかオン状態ではない。第２タイプの感光デバイス６１及び直列接続された第２タイプの制御スイッチ６５は、１つのデバイス分岐路を形成し、４つのデバイス分岐路は、並列接続続され、ＣＩ６２、シャッター６４及びＡＤＣ６３を共有する。第２タイプの制御スイッチ６５は、具体的には、ＭＯＳトランジスタであってもよい。

【0049】

ＣＩ６２は、電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、ＡＤＣ６３は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。シャッター６４は、ＣＩ６２の積分時間を制御することに用いられる。例えば、シャッター６４は、ＣＩ６２の積分時間を３３ｍｓに制御し、３３ｍｓ後、シャッター６４が閉じられ、ＣＩ６２が目標コンデンサの電圧アナログ信号を得て、ＡＤＣ６３により読み出す。本発明の実施例では、さらにＡＤＣ６３の後に記憶ユニットが接続されてもよく、ＡＤＣ６３により読み出された目標コンデンサの電圧アナログ信号を記憶ユニットに記憶する。記憶ユニット４１３は、具体的には、レジスタ、ラッチ、ＳＲＡＭ、ＤＲＡＭ、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ＡＤＣ６３の精度に応じて選択されてもよく、本発明の実施例では、ここで、目標コンデンサの電圧アナログ信号を記憶するために８ビットレジスタが選択されてもよい。ＡＤＣ６３による読み出し動作が完了すると、さらにシャッター６４をオフにして、ＣＩ６２に目標コンデンサの電流を積分し続けることができる。上記ステップを繰り返してビデオ信号の取得を完了することができる。

【0050】

図７は、本発明の実施例に係る電圧モードのアクティブピクセルセンサ回路の具体的な構造模式図である。図７では、合計で４つの第２タイプの感光デバイスが含まれ、それぞれ７１、７２、７３、７４であり、第２タイプの感光デバイス７１は、第２タイプの制御スイッチ７５に直列接続されて第１デバイス分岐路を形成し、第２タイプの感光デバイス７２は、第２タイプの制御スイッチ７６に直列接続されて第２デバイス分岐路を形成し、第２タイプの感光デバイス７３は、第２タイプの制御スイッチ７８に直列接続されて第３デバイス分岐路を形成し、第２タイプの感光デバイス７４は、第２タイプの制御スイッチ７７に直列接続されて第４デバイス分岐路を形成する。第１デバイス分岐路、第２デバイス分岐路、第３デバイス分岐路及び第４デバイス分岐路は、並列接続続されてＭＯＳトランジスタ７９、７１０に接続され、ＭＯＳトランジスタ７１０は、ＭＯＳトランジスタ７１１に接続される。ＭＯＳトランジスタ７９は、バイアスに用いられ、ＭＯＳトランジスタ７１０は、スイッチングに用いられ、ＭＯＳトランジスタ７１１は、あるデバイス分岐路の第２タイプの感光デバイスにより変換された第３タイプの電流信号に対して電流積分を行って、目標光信号における光強度情報を表す目標電圧信号を得ることに用いられる。

【0051】

本発明の実施例に係る電圧モードのアクティブピクセルセンサ回路は、各第２タイプの感光デバイスに直列接続された第２タイプの制御スイッチによりデバイス分岐路に対する制御を実現し、さらに１つの電圧モードのアクティブピクセルセンサ回路が複数の第２タイプの感光デバイスを制御する機能を実現し、バイモーダル生体模倣視覚センサの集積度を向上させる。

【0052】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサは、第２タイプの電流モードのアクティブピクセルセンサ回路をさらに含み、
前記第２タイプの電流モードのアクティブピクセルセンサ回路は、１つの前記非目標の第１タイプの感光デバイスと、前記第２所定数のカレントミラーとを含み、
各カレントミラーは、それぞれ前記非目標の第１タイプの感光デバイスの周囲での１つの前記第２タイプの感光デバイスに直列接続される。

【0053】

具体的には、本発明の実施例では、非目標の第１タイプの感光デバイスを制御するための第２タイプの電流モードのアクティブピクセルセンサ回路は、具体的には、非目標の第１タイプの感光デバイスと、第２所定数のカレントミラーとを含み、各カレントミラーは、それぞれ非目標の第１タイプの感光デバイスの周囲での１つの目標の第１タイプの感光デバイスに直列接続される。すなわち、本発明の実施例では、各第２タイプの電流モードのアクティブピクセルセンサ回路はいずれも１つの非目標の第１タイプの感光デバイスを制御する。

【0054】

図８に示すように、第２タイプの電流モードのアクティブピクセルセンサ回路は、１つの非目標の第１タイプの感光デバイス８１と、４つの第１タイプのカレントミラー８２、８３、８４、８５とを含む。各第１タイプのカレントミラーは、それぞれ非目標の第１タイプの感光デバイス８１の周囲での１つの目標の第１タイプの感光デバイスに直列接続され、すなわち、非目標の第１タイプの感光デバイス８１により変換された電流信号Ｉ_１は、４つのＩ_１に複製されて、それぞれ非目標の第１タイプの感光デバイス８１の周囲での各目標の第１タイプの感光デバイスを含む第１タイプの電流モードのアクティブピクセルセンサ回路が目標光信号における光強度勾配情報を取得して、非目標の第１タイプの感光デバイスの再利用を実現し、バイモーダル生体模倣視覚センサのピクセルフィルファクタを増加させることに用いられる。

【0055】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの感光デバイスは、具体的には、フォトダイオード（Ｐｈｏｔｏ－Ｄｉｏｄｅ、ＰＤ）であり、光信号を電流信号に変換できる他のデバイスであってもよく、本発明の実施例ではこれを具体的に限定しない。なお、第１タイプの感光デバイスには光学フィルタが含まれない。

【0056】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第２タイプの感光デバイスは、具体的には、光学フィルタと、フォトダイオードとを含み、
前記光学フィルタは、前記目標光信号を取得し、前記目標光信号の中から指定周波数帯域の光信号を抽出することに用いられ、前記フォトダイオードは、前記指定周波数帯域の光信号を前記第３タイプの電流信号に変換することに用いられる。

【0057】

具体的には、本発明の実施例では、第２タイプの感光デバイスは、目標光信号におけるカラー成分を感知することに用いられ、第２タイプの感光デバイスは、具体的には、ＰＤと、ＰＤに設置されたカラーフィルタ（Ｃｏｌｏｕｒ Ｆｉｌｔｅｒ、ＣＦ）とを含んでもよく、最終的に生体模倣視覚センサにより得られた画像はカラー画像である。ＣＦは、目標光信号を取得し、目標光信号の中から指定周波数帯域の光信号を抽出することに用いられ、ＰＤは、指定周波数帯域の光信号を第３タイプの電流信号に変換する。カラーフィルタは、具体的には、指定された波長の光信号を透過するためのフィルタ又はレンズであってもよい。カラーフィルタがレンズである場合、具体的には、バイロンレンズを選択してもよく、他のタイプのレンズを選択してもよい。カラーフィルタは、透過した光信号の波長の大きさに応じて、赤色カラーフィルタ、青色カラーフィルタ及び緑色カラーフィルタに分けられてもよく、透過した光信号は、それぞれ赤色光信号、青色光信号及び緑色光信号である。

【0058】

なお、第２タイプの感光デバイスはさらに、フォトダイオードで直接構成されてもよく、応答曲線の異なるフォトダイオードを選択することにより、目標光信号を取得し、目標光信号の中から指定された波長帯域の光信号を抽出して、第３タイプの電流信号に変換する役割を実現する。

【0059】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記バイモーダル生体模倣視覚センサのピクセルアレイは、前記目標の第１タイプの感光デバイス、前記非目標の第１タイプの感光デバイス及び前記第２タイプの感光デバイスを配列することにより形成され、
前記ピクセルアレイの各行には、前記第２タイプの感光デバイスは、前記目標の第１タイプの感光デバイスと交互に配列されるか、又は前記非目標の第１タイプの感光デバイスと交互に配列される。

【0060】

具体的には、ピクセルアレイの配置方式の構造模式図は、図９に示されてもよく、第１タイプの感光デバイス９１と、第２タイプの感光デバイス９２とが含まれ、各第１タイプの感光デバイスと各第２タイプの感光デバイスは、それぞれ１つのピクセルを形成する。第１タイプの感光デバイス９１のうちの目標の第１タイプの感光デバイスは「＋」とマークされ、非目標の第１タイプの感光デバイスは「－」とマークされる。赤色カラーフィルタを含む第２タイプの感光デバイス９２は「Ｒ」とマークされ、青色カラーフィルタを含む第２タイプの感光デバイス９２は「Ｂ」とマークされ、緑色カラーフィルタを含む第２タイプの感光デバイス９２は「Ｇ」とマークされる。各目標の第１タイプの感光デバイスの周囲には、４つの非目標の第１タイプの感光デバイス及び４つの第２タイプの感光デバイスがあり、各非目標の第１タイプの感光デバイスの周囲には、４つの目標の第１タイプの感光デバイス及び４つの第２タイプの感光デバイスがある。

【0061】

ピクセルアレイの配置方式の構造模式図は、図１０に示されてもよく、第１タイプの感光デバイス１０１と、第２タイプの感光デバイス１０２とが含まれ、第１タイプの感光デバイス１０１のうちの目標の第１タイプの感光デバイスは「＋」とマークされ、非目標の第１タイプの感光デバイスは「－」とマークされる。赤色カラーフィルタを含む第２タイプの感光デバイス１０２は「Ｒ」とマークされ、青色カラーフィルタを含む第２タイプの感光デバイス１０２は「Ｂ」とマークされ、緑色カラーフィルタを含む第２タイプの感光デバイス１０２は「Ｇ」とマークされる。各目標の第１タイプの感光デバイスの周囲には、６つの非目標の第１タイプの感光デバイス及び２つの第２タイプの感光デバイスがあり、各非目標の第１タイプの感光デバイスの周囲には、２つの目標の第１タイプの感光デバイス及び４つの第２タイプの感光デバイスがあり、又は各非目標の第１タイプの感光デバイスの周囲には、４つの目標の第１タイプの感光デバイス及び２つの第２タイプの感光デバイスがある。ピクセルアレイの配置方式は、他の形態であってもよく、本発明の実施例ではこれを具体的に限定しない。

【0062】

これに対応して、図９に示されるピクセルアレイについて、対応する第１所定数と第２所定数はいずれも４であり、図１０に示されるピクセルアレイについて、対応する第１所定数は６であり、第２所定数は２又は４である。本発明の実施例では、いずれも図９に示されるピクセルアレイを例として説明する。例えば、図７における第２タイプの感光デバイス７１は、「Ｇ」とマークされた第２タイプの感光デバイスであってもよく、第２タイプの感光デバイス７２、７３は、「Ｒ」とマークされた第２タイプの感光デバイスであってもよく、第２タイプの感光デバイス７４は、「Ｂ」とマークされた第２タイプの感光デバイスであってもよい。

【0063】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記第１タイプの電流モードのアクティブピクセルセンサ回路は、第２電流増幅器をさらに含み、
前記第２電流増幅器は、前記目標の第２タイプの感光デバイスと前記第１電流増幅器との間に接続される。

【0064】

具体的には、本発明の実施例では、第１タイプの感光デバイスにより変換された電流信号が小さいため、第１電流増幅器と目標の第１タイプの感光デバイスとの間に第２電流増幅器が接続されてもよく、目標の第１タイプの感光デバイスにより変換された第１タイプの電流信号を予備的に増幅することに用いられる。第２電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。これに対応して、目標の第１タイプの感光デバイスの周囲での非目標の第１タイプの感光デバイスと加算器との間にも第２電流増幅器が設けられ、加算器の前の各非目標の第１タイプの感光デバイスがある分岐の電流信号と、目標の第１タイプの感光デバイスがある分岐の電流信号とが同じオーダーにあるようにする。

【0065】

上記実施例に基づき、本発明の実施例に係るバイモーダル生体模倣視覚センサでは、前記目標電圧信号と前記指定デジタル信号は、画像を共同で形成する。

【0066】

具体的には、本発明の実施例では、目標電圧信号と指定デジタル信号は、画像を共同で形成する。なお、目標電圧信号は、指定デジタル信号の出力形態及び速度とは異なる。目標電圧信号の出力速度は約３０ｍｓである。第１タイプの電流モードのアクティブピクセルセンサ回路におけるデジタルアナログ変換器の走査速度は約１ｍｓであるため、その後、非同期イベントアドレスの表示方式で出力され、具体的には（Ｘ、Ｙ、Ｐ、Ｔ）である。「Ｘ、Ｙ」はイベントアドレスであり、「Ｐ」は４値のイベント出力（第１の符号ビットを含む）であり、「Ｔ」はイベントが発生した時間である。

【0067】

最終的に出力された画像は、図１１に示されており、２フレームのピクチャがカラーピクチャであり、順番に出力された目標電圧信号で形成されるが、２フレームのピクチャの間のエッジポイントが出力された指定デジタル信号で形成される。

【0068】

最後に、なお、以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、上記実施例を参照して本発明を詳細に説明したが、当業者であれば理解されるように、依然として上記各実施例に記載の技術的解決手段を修正し、又はそのうちの一部の技術的特徴に対して等価置換を行うことができるが、これらの修正や置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の精神及び範囲から逸脱させるものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】