(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-21
(45)【発行日】2023-08-29
(54)【発明の名称】錐体及び桿体のバイモーダル生体模倣視覚センサ
(51)【国際特許分類】
H04N 25/77 20230101AFI20230822BHJP
H04N 25/70 20230101ALI20230822BHJP
【FI】
H04N25/77
H04N25/70
(21)【出願番号】P 2022536954
(86)(22)【出願日】2020-01-21
(86)【国際出願番号】 CN2020073505
(87)【国際公開番号】W WO2021128531
(87)【国際公開日】2021-07-01
【審査請求日】2022-06-16
(31)【優先権主張番号】201911350683.2
(32)【優先日】2019-12-24
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】506259634
【氏名又は名称】清華大学
【氏名又は名称原語表記】TSINGHUA UNIVERSITY
【住所又は居所原語表記】Qinghuayuan,Haidian District,Beijing 100084,China
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】施 路平
(72)【発明者】
【氏名】楊 哲宇
(72)【発明者】
【氏名】趙 蓉
(72)【発明者】
【氏名】▲ヒ▼ 京
(72)【発明者】
【氏名】徐 海▲ソウ▼
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2006-279324(JP,A)
【文献】特開2002-026304(JP,A)
【文献】特開2011-120202(JP,A)
【文献】米国特許出願公開第2006/0249659(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/00-25/79
(57)【特許請求の範囲】
【請求項1】
錐体及び桿体のバイモーダル生体模倣視覚センサであって、
第1所定数の電圧モードのアクティブピクセルセンサ回路と、
第2所定数の電流モードのアクティブピクセルセンサ回路とを含み、
前記電圧モードのアクティブピクセルセンサ回路は、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第1タイプの電流信号に変換するための第1タイプの感光デバイスを含み、前記第1タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
前記電流モードのアクティブピクセルセンサ回路は、前記目標光信号を取得して、第2タイプの電流信号に変換するための第2タイプの感光デバイスを含み、前記第2タイプの電流信号に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる、
ことを特徴とする錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項2】
前記第1タイプの感光デバイスは、フォトダイオードと、前記フォトダイオードに設けられたカラーフィルタとを含む、
ことを特徴とする請求項1に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項3】
前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる、
ことを特徴とする請求項2に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項4】
前記目標コンデンサは、前記電圧モードのアクティブピクセルセンサ回路内に設けられた独立コンデンサであり、又は前記電圧モードのアクティブピクセルセンサ回路の寄生コンデンサである、
ことを特徴とする請求項3に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項5】
前記電流モードのアクティブピクセルセンサ回路は、第1電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記第2タイプの感光デバイスは、前記第1電流増幅器に接続され、前記第1電流増幅器は、前記比較器の一方の入力端子に接続され、
前記第2タイプの感光デバイスの周囲に位置する第3所定数の他の第2タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第1電流増幅器又は前記加算器に出力し、
前記電流モードのアクティブピクセルセンサ回路は、前記指定デジタル信号を出力する、
ことを特徴とする請求項1に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項6】
前記電流モードのアクティブピクセルセンサ回路は、第1電流増幅器と、加算器と、差分回路と、電圧比較器とをさらに含み、
前記第2タイプの感光デバイスは、前記第1電流増幅器に接続され、前記第1電流増幅器は、前記差分回路に接続され、
前記第2タイプの感光デバイスの周囲に位置する第3所定数の他の第2タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記差分回路に接続され、前記差分回路は、前記第1電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられ、
前記差分回路は、前記電圧比較器に接続され、前記電圧比較器は、前記差分電圧信号に基づいて、前記指定デジタル信号を出力することに用いられる、
ことを特徴とする請求項1に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項7】
前記差分回路は、差分サブ回路と、積分サンプリングサブ回路とを含み、
前記第1電流増幅器及び前記加算器の出力端子は、それぞれ前記差分サブ回路に接続され、前記差分サブ回路は、第1電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電流信号を取得することに用いられ、前記差分サブ回路は、前記積分サンプリングサブ回路に接続され、前記積分サンプリングサブ回路は、前記差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得することに用いられる、
ことを特徴とする請求項6に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項8】
前記電流モードのアクティブピクセルセンサ回路は、第2電流増幅器をさらに含み、
前記第2電流増幅器は、前記第2タイプの感光デバイスと前記第1電流増幅器との間に接続される、ことを特徴とする請求項5に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項9】
すべての前記目標電圧信号とすべての前記指定デジタル信号は、画像を共同で形成する、
ことを特徴とする請求項1~8のいずれか1項に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【請求項10】
2つの記憶ユニットをさらに含み、
2つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる、
ことを特徴とする請求項1~8のいずれか1項に記載の錐体及び桿体のバイモーダル生体模倣視覚センサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、集積回路の技術分野に関し、より具体的には、錐体及び桿体のバイモーダル生体模倣視覚センサに関する。
【背景技術】
【0002】
画像センサと画像処理認識アルゴリズムの研究が深くなるにつれ、生体模倣視覚センサは、工業製造、知能交通、知能ロボットなどの複数の応用分野でますます重要な役割を果たしている。
【0003】
生体模倣視覚センサは、主に人間の目の網膜のモーダルをシミュレートし、人間の目の網膜には、主にそれぞれ2種類の異なるモーダルに対応する2種類の視覚感知細胞、すなわち錐体細胞及び桿体細胞が含まれる。錐体細胞のモーダルは、主に絶対光強度情報と色情報に敏感であり、画像の復元精度が高いが、復元速度が遅い一方、桿体細胞は、主に光強度情報の変化量を感知し、感知速度が速く、感知のダイナミックレンジが広いが、絶対光強度情報と色情報を感知することができない。
【0004】
しかしながら、従来技術に存在する生体模倣視覚センサはいずれも人間の目の網膜のモーダルの1つのみをシミュレートして、単一の感知モードを形成し、さらにあるタイプの情報しか感知できない。例えば、従来のカメラは、錐体細胞と同様であり、主に色情報を感知する。例えば、動的視覚センサ(Dynamic Vision Sensor、DVS)は、桿体細胞と同様であり、主に光強度情報の変化量を感知する。シングルモーダルの視覚センサの応用シナリオが限られている。例えば、錐体細胞と同様の生体模倣視覚センサについては、光強度情報の変化量ではなく絶対光強度情報を撮影するため、家庭用娯楽電子機器で非常に広く応用されているが、産業用制御の分野では、速度が不十分でダイナミックレンジが小さすぎるなどの課題に直面する場合が多く、従って応用が困難である。桿体細胞と同様の生体模倣視覚センサについては、感知速度が速いが、運動目標にしか敏感ではないため、画像を撮影することが困難になったり、撮影された画像の品質が低くなったりして、娯楽電子機器のニーズを満たすことは困難である。また、生体模倣視覚センサが単一の感知モードしか含まないため、この感知モードが無効になると生体模倣視覚センサが無効になり、安定性に対する要件が高い無人運転、無人機などのロボットには大きな制限がある。また、現在、生体模倣視覚センサの性能を評価する主な指標は、画質、ダイナミックレンジ及び撮影速度である。上記内容から分かるように、従来の生体模倣視覚センサの構造では、これら3つの指標は相互に排他的である場合が多く、例えば、撮影速度が向上すると、生体模倣視覚センサのダイナミックレンジが小さくなり、画質が向上すると、撮影速度が一般的に低下し、同時に考慮することは困難である。
【0005】
従って、現在、錐体及び桿体のバイモーダル生体模倣視覚センサを提供する緊急の必要性がある。
【発明の概要】
【0006】
上記課題を解消し又は上記課題を少なくとも部分的に解決するために、本発明の実施例は、錐体及び桿体のバイモーダル生体模倣視覚センサを提供する。
【0007】
本発明の実施例は、第1所定数の電圧モードのアクティブピクセルセンサ回路と、第2所定数の電流モードのアクティブピクセルセンサ回路とを含み、
前記電圧モードのアクティブピクセルセンサ回路は、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第1タイプの電流信号に変換するための第1タイプの感光デバイスを含み、前記第1タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
前記電流モードのアクティブピクセルセンサ回路は、前記目標光信号を取得して、第2タイプの電流信号に変換するための第2タイプの感光デバイスを含み、前記第2タイプの電流信号に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる錐体及び桿体のバイモーダル生体模倣視覚センサを提供する。
【0008】
好ましくは、前記第1タイプの感光デバイスは、フォトダイオードと、前記フォトダイオードに設けられたカラーフィルタとを含む。
【0009】
好ましくは、前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。
【0010】
好ましくは、前記目標コンデンサは、前記電圧モードのアクティブピクセルセンサ回路内に設けられた独立コンデンサであり、又は前記電圧モードのアクティブピクセルセンサ回路の寄生コンデンサである。
【0011】
好ましくは、前記電流モードのアクティブピクセルセンサ回路は、第1電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記第2タイプの感光デバイスは、前記第1電流増幅器に接続され、前記第1電流増幅器は、前記比較器の一方の入力端子に接続され、
前記第2タイプの感光デバイスの周囲に位置する第3所定数の他の第2タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第1電流増幅器又は前記加算器に出力し、前記電流モードのアクティブピクセルセンサ回路は、前記指定デジタル信号を出力する。
【0012】
好ましくは、前記電流モードのアクティブピクセルセンサ回路は、第1電流増幅器と、加算器と、差分回路と、電圧比較器とをさらに含み、
前記第2タイプの感光デバイスは、前記第1電流増幅器に接続され、前記第1電流増幅器は、前記差分回路に接続され、
前記第2タイプの感光デバイスの周囲に位置する第3所定数の他の第2タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記差分回路に接続され、前記差分回路は、前記第1電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられ、
前記差分回路は、前記電圧比較器に接続され、前記電圧比較器は、前記差分電圧信号に基づいて、前記指定デジタル信号を出力することに用いられる。
【0013】
好ましくは、前記差分回路は、具体的には、差分サブ回路と、積分サンプリングサブ回路とを含み、
前記第1電流増幅器及び前記加算器の出力端子は、それぞれ前記差分サブ回路に接続され、前記差分サブ回路は、第1電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電流信号を取得することに用いられ、前記差分サブ回路は、前記積分サンプリングサブ回路に接続され、前記積分サンプリングサブ回路は、前記差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得することに用いられる。
【0014】
好ましくは、前記電流モードのアクティブピクセルセンサ回路は、第2電流増幅器をさらに含み、
前記第2電流増幅器は、前記第2タイプの感光デバイスと前記第1電流増幅器との間に接続される。
【0015】
好ましくは、すべての前記目標電圧信号とすべての前記指定デジタル信号は、画像を共同で形成する。
【0016】
好ましくは、本発明の実施例における錐体及び桿体のバイモーダル生体模倣視覚センサは、2つの記憶ユニットをさらに含み、2つの前記記憶ユニットは、それぞれ前記目標電圧信号及び前記指定デジタル信号を記憶することに用いられる。
【0017】
本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサは、第1所定数の電圧モードのアクティブピクセルセンサ回路と、第2所定数の電流モードのアクティブピクセルセンサ回路とを含み、各電圧モードのアクティブピクセルセンサ回路はいずれも第1タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路はいずれも第2タイプの感光デバイスを含む。電圧モードのアクティブピクセルセンサにより、目標光信号における光強度情報を表す目標電圧信号を出力でき、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を取得することができ、すなわち、画像の画像信号対雑音比が高くなる。また、電流モードのアクティブピクセルセンサにより、目標光信号における光強度勾配情報を表す指定デジタル信号を出力でき、一方では、指定デジタル信号を高速に取得して、画像をより高速に取得することができ、他方では、指定デジタル信号が光強度勾配情報を表すため、画像のダイナミックレンジを拡大することができる。このように、錐体及び桿体のバイモーダル生体模倣視覚センサのバイモーダル出力モードを実現できるとともに、錐体及び桿体のバイモーダル生体模倣視覚センサの画質、ダイナミックレンジ及び撮影速度などの性能指標が確保され、錐体及び桿体のバイモーダル生体模倣視覚センサの安定性及びロバスト性が高くなり、異なる撮影シナリオに適応でき、応用範囲が広くなる。
【図面の簡単な説明】
【0018】
本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明において使用される必要がある図面について簡単に説明し、明らかに、以下に説明される図面は、本発明のいくつかの実施例であり、当業者であれば、創造的労働を行わずに、これらの図面に基づいて他の図面を取得することができる。
【
図1】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路の構造模式図である。
【
図2】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図である。
【
図3】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける、ある電流モードのアクティブピクセルセンサ回路と他の電流モードのアクティブピクセルセンサ回路とを関連付けるための回路構造の模式図である。
【
図4】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路内の、デジタルアナログ変換器に入力された指定デジタル信号の変化形態の模式図である。
【
図5】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける、すべての第1タイプの感光デバイスとすべての第2タイプの感光デバイスに対応するピクセルアレイの構造模式図である。
【
図6】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける、すべての第1タイプの感光デバイスとすべての第2タイプの感光デバイスに対応するピクセルアレイの構造模式図である。
【
図7】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路の構造模式図である。
【
図8】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図である。
【
図9】本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図である。
【発明を実施するための形態】
【0019】
本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確、かつ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部であり、実施例の全部ではない。本発明における実施例に基づき、当業者が創造的な労働を行わずに得たすべての他の実施例は、いずれも本発明の保護範囲に属する。
【0020】
本発明の実施例は、錐体及び桿体のバイモーダル生体模倣視覚センサを提供し、第1所定数の電圧モードのアクティブピクセルセンサ回路と、第2所定数の電流モードのアクティブピクセルセンサ回路とを含み、
前記電圧モードのアクティブピクセルセンサ回路は、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第1タイプの電流信号に変換するための1つの第1タイプの感光デバイスを含み、前記電圧モードのアクティブピクセルセンサ回路は、前記第1タイプの電流信号に基づいて、前記目標光信号における光強度情報を表す目標電圧信号を出力することに用いられ、
前記電流モードのアクティブピクセルセンサ回路は、前記目標光信号を取得して、第2タイプの電流信号に変換するための1つの第2タイプの感光デバイスを含み、前記電流モードのアクティブピクセルセンサ回路は、前記第2タイプの電流信号に基づいて、前記目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる。
【0021】
具体的には、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサには複数の感光デバイスが含まれ、錐体及び桿体のバイモーダル生体模倣視覚センサにおける感光デバイスは、異なるカテゴリの光を感知することにより第1所定数の第1タイプの感光デバイス及び第2所定数の第2タイプの感光デバイスに分けることができ、第1タイプの感光デバイスは、目標光信号におけるカラー成分を感知することに用いられ、第2タイプの感光デバイスは、目標光信号を直接感知することに用いられる。本発明の実施例では、目標光信号におけるカラー成分は、指定された周波数帯域の光信号と表記され、すなわち、第1タイプの感光デバイスは、目標光信号を取得し、前記目標光信号の中から指定された周波数帯域の光信号を抽出して、第1タイプの電流信号に変換することに用いられ、第2タイプの感光デバイスは、目標光信号を取得して、第2タイプの電流信号に変換することに用いられる。なお、第1所定数と第2所定数との合計は、錐体及び桿体のバイモーダル生体模倣視覚センサに含まれる感光デバイスの総数に等しく、第1所定数と第2所定数の大きさは、必要に応じて設定されてもよい。
【0022】
目標光信号とは、目標物体の表面で反射した光信号を指し、目標光信号は、第1タイプの感光デバイス又は第2タイプの感光デバイスに直接照射されてもよく、コリメートレンズを介して第1タイプの感光デバイス又は第2タイプの感光デバイスに照射されてもよく、被覆物を透過して第1タイプの感光デバイス又は第2タイプの感光デバイスに照射されてもよい。目標光信号の波長帯域は、可視光波長帯域であってもよく、すなわち、目標光信号は可視光信号であってもよい。目標物体とは、人間の目で観察する必要がある物体を指し、実物であってもよく、画像又は他の形態であってもよく、本発明では目標物体の具体的な形態を限定しない。
【0023】
本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける各感光デバイスは、1つの制御回路に対応し、すなわち、錐体及び桿体のバイモーダル生体模倣視覚センサには、第1所定数の電圧モードのアクティブピクセルセンサ回路と、第2所定数の電流モードのアクティブピクセルセンサ回路とが含まれる。各電圧モードのアクティブピクセルセンサ回路はいずれも1つの第1タイプの感光デバイスを含み、各電圧モードのアクティブピクセルセンサ回路は、含まれる第1タイプの感光デバイスにより変換された第1タイプの電流信号に基づいて、目標光信号における光強度情報を表す目標電圧信号を出力することに用いられる。各電流モードのアクティブピクセルセンサ回路はいずれも1つの第2タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路は、含まれる第2タイプの感光デバイスにより変換された第2タイプの電流信号に基づいて、目標光信号における光強度勾配情報を表す指定デジタル信号を出力することに用いられる。
【0024】
なお、電圧モードのアクティブピクセルセンサ回路とは、動作モードが電圧モードであるアクティブピクセルセンサ(Active Pixel Sensor、APS)回路を指し、すなわち、そのうちの第1タイプの感光デバイスが変換して第1タイプの電流信号を得た後、第1タイプの電流信号を積分して、目標電圧信号を取得する必要がある。電流モードのアクティブピクセルセンサ回路とは、動作モードが電流モードであるAPS回路を指し、すなわち、そのうちの第2タイプの感光デバイスが変換して第2タイプの電流信号を得た後、第2タイプの電流信号を直接積分する必要がなく、他の処理を行う。
【0025】
図1は、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路の構造模式図であり、これは人間の目の網膜の錐体細胞と同等である。
図1では、Vcc1は、電圧モードのアクティブピクセルセンサ回路の電源であり、Vcc1は、具体的に3.3Vであってもよい。第1タイプの感光デバイス11は、それぞれMOSトランジスタ12、13に接続され、MOSトランジスタ13は、MOSトランジスタ14に接続される。MOSトランジスタ12は、バイアスに用いられ、MOSトランジスタ13は、スイッチングに用いられ、MOSトランジスタ14は、第1タイプの感光デバイス11により変換された第1タイプの電流信号に対して電流積分を行って、目標光信号における光強度情報を表す目標電圧信号を取得することに用いられる。
【0026】
図2は、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電流モードのアクティブピクセルセンサ回路の構造模式図であり、これは人間の目の網膜の桿体細胞と同等である。
図2では、Vcc2は、電流モードのアクティブピクセルセンサ回路の電源であり、Vcc2は、具体的に3.3Vであってもよい。第2タイプの感光デバイス21は、MOSトランジスタ22に接続され、MOSトランジスタ22は、MOSトランジスタ23に接続され、カレントミラーを形成し、MOSトランジスタ23のチャネル幅を変更することにより、第2タイプの感光デバイス21により変換された電流信号I
cと、MOSトランジスタ23の第2タイプの感光デバイス21の鏡像に対応する端の電流信号の大きさが、P倍の関係にあるようにすることができ、すなわち、MOSトランジスタ23の第2タイプの感光デバイス21の鏡像に対応する端の電流はP*I
cである。
【0027】
ある電流モードのアクティブピクセルセンサ回路と他の電流モードのアクティブピクセルセンサ回路との間は、
図3に示される回路を介して関連付けられ、
図3に示される回路は、人間の目の網膜神経節細胞及び双極細胞と同等である。
図3では、1つの第2タイプの感光デバイスを例として説明し、該第2タイプの感光デバイスの周囲での他の第2タイプの感光デバイスは4つがある。Vcc3は、回路の電源であり、Vcc3は、具体的に3.3Vであってもよい。デジタルアナログ変換器(Digital to Analog Converter、DAC)31は、比較器32に接続され、第2タイプの感光デバイスにより変換された第2タイプの電流信号はI
cであり、第2タイプの感光デバイスの周囲での4つの他の第2タイプの感光デバイスにより変換された第2タイプの電流信号は、それぞれI
1、I
2、I
3、I
4であり、P=4倍縮小した後にそれぞれI
1/4、I
2/4、I
3/4、I
4/4である。比較器32は、アドレス指定ユニット33に接続され、アドレス指定ユニット33は、それぞれDAC31及び記憶ユニット34に接続される。なお、DAC31の入力は、人為的に入力された1つの周期的に増加する指定デジタル信号であってもよく、具体的に段階的に逓増することができる。アドレス指定ユニット33は、比較器32の出力端子がイベントパルス信号を出力し、すなわち比較器32がエッジトリガー状態にある場合、記憶ユニット34をアドレス指定して電流モードのアクティブピクセルセンサ回路の出力結果を記憶することに用いられる。本発明の実施例では、比較器32により電流モードのアクティブピクセルセンサ回路の出力動作の制御を実現し、比較器32の出力端子がイベントパルス信号を出力し、すなわち比較器32がエッジトリガー状態にある場合、電流モードのアクティブピクセルセンサ回路は、このとき、目標光信号における光強度勾配情報を表すための指定デジタル信号を出力する。記憶ユニット34は、具体的には、レジスタ、ラッチ、SRAM、DRAM、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、DAC31の精度に関係しており、本発明の実施例では、4ビットレジスタが選択されてもよい。
【0028】
DAC31に入力された指定デジタル信号の変化形態は、具体的に
図4に示されており、指定デジタル信号は、具体的に時間とともに段階的に逓増し、ある時刻でN*stepの場合、指定デジタル信号の値はΔIであり、比較器32はイベントパルス信号を出力し、すなわち比較器32はエッジトリガー状態にあり、このときのΔIは、電流モードのアクティブピクセルセンサ回路の出力として機能する。Nは、これ以前に通過したステップの数であり、stepは、各ステップの通過時間である。
【0029】
本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサは、第1所定数の電圧モードのアクティブピクセルセンサ回路と、第2所定数の電流モードのアクティブピクセルセンサ回路とを含み、各電圧モードのアクティブピクセルセンサ回路はいずれも1つの第1タイプの感光デバイスを含み、各電流モードのアクティブピクセルセンサ回路はいずれも1つの第2タイプの感光デバイスを含む。電圧モードのアクティブピクセルセンサにより、目標光信号における光強度情報を表す目標電圧信号を出力でき、得られた目標電圧信号が光強度情報を表す精度が高くなり、より高品質の画像を取得することができ、すなわち、画像の画像信号対雑音比が高くなる。また、電流モードのアクティブピクセルセンサにより、目標光信号における光強度勾配情報を表す指定デジタル信号を出力でき、一方では、指定デジタル信号を高速に取得して、画像をより高速に取得することができ、他方では、指定デジタル信号が光強度勾配情報を表すため、画像のダイナミックレンジを拡大することができる。このように、錐体及び桿体のバイモーダル生体模倣視覚センサのバイモーダル出力モードを実現できるとともに、錐体及び桿体のバイモーダル生体模倣視覚センサの画質、ダイナミックレンジ及び撮影速度などの性能指標が確保され、錐体及び桿体のバイモーダル生体模倣視覚センサの安定性及びロバスト性が高くなり、異なる撮影シナリオに適応でき、応用範囲が広くなる。
【0030】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記第1タイプの感光デバイスは、フォトダイオードと、前記フォトダイオードに設けられたカラーフィルタとを含む。
【0031】
具体的には、本発明の実施例では、第1タイプの感光デバイスは、フォトダイオード(Photo-Diode、PD)及びPDに設けられたカラーフィルタ(Colour Filter、CF)で構成されてもよく、最終的に錐体及び桿体のバイモーダル生体模倣視覚センサにより得られた画像はカラー画像である。CFは、目標光信号を取得し、目標光信号の中から指定された周波数帯域の光信号を抽出することに用いられ、PDは、前記指定された周波数帯域の光信号を第1タイプの電流信号に変換する。カラーフィルタは、具体的には、指定された周波数帯域の光信号を透過するためのフィルタ又はレンズであってもよい。カラーフィルタがレンズである場合、具体的には、バイロンレンズを選択してもよく、他のタイプのレンズを選択してもよい。カラーフィルタは、透過した光信号の波長の大きさに応じて、赤色カラーフィルタ、青色カラーフィルタ及び緑色カラーフィルタに分けられてもよく、透過した光信号は、それぞれ赤色光信号、青色光信号及び緑色光信号である。
【0032】
なお、第1タイプの感光デバイスはさらに、フォトダイオードで直接構成されてもよく、応答曲線の異なるフォトダイオードを選択することにより、目標光信号を取得し、目標光信号の中から指定された波長帯域の光信号を抽出して、第1タイプの電流信号に変換する役割を実現する。
【0033】
一般的には、錐体及び桿体のバイモーダル生体模倣視覚センサにおける1つの第1タイプの感光デバイス又は1つの第2タイプの感光デバイスはいずれも1つのピクセルに対応し、錐体及び桿体のバイモーダル生体模倣視覚センサにおけるすべての第1タイプの感光デバイスとすべての第2タイプの感光デバイスは、ピクセルアレイに対応する。すなわち、錐体及び桿体のバイモーダル生体模倣視覚センサにおける各第1タイプの感光デバイスと各第2タイプの感光デバイスは、ピクセルアレイ内の対応するピクセルと1対1で対応する。
【0034】
本発明の実施例では、すべての第1タイプの感光デバイスとすべての第2タイプの感光デバイスに対応するピクセルアレイは、具体的に
図5及び
図6に示されてもよく、
図5及び
図6における各マスはいずれも1つのピクセルを表し、マークされていないピクセルは、錐体及び桿体のバイモーダル生体模倣視覚センサにおける1つの第2タイプの感光デバイスに対応し、マークされたピクセルは、錐体及び桿体のバイモーダル生体模倣視覚センサにおける1つの第1タイプの感光デバイスに対応し、「R」とマークされた各ピクセルは、赤色カラーフィルタを含む第1タイプの感光デバイスに対応し、「G」とマークされた各ピクセルは、緑色カラーフィルタを含む第1タイプの感光デバイスに対応し、「B」とマークされた各ピクセルは、青色カラーフィルタを含む第1タイプの感光デバイスに対応する。
図5では、各第1タイプの感光デバイスに対応するピクセルの周囲での、上、下、左、右の4つの方向におけるピクセルはいずれも第2タイプの感光デバイスに対応し、且つ各行には、1色の光のカラーフィルタを有する第1タイプの感光デバイスに対応するピクセルが含まれる。
図6では、各第1タイプの感光デバイスに対応するピクセルの周囲での、左上、上、右上、左、右、左下、下、右下の8つの方向におけるピクセルはいずれも第2タイプの感光デバイスに対応し、且つ各行には、3色の光のカラーフィルタを有する第1タイプの感光デバイスに対応するピクセルが含まれる。
【0035】
本発明の実施例では、
図5及び
図6に示されるピクセルアレイの配列方式が用いられ、画像の色の還元を確保するだけでなく、さらに画像取得の速度及び画像のダイナミックレンジを確保する。
【0036】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電圧モードのアクティブピクセルセンサ回路は、電流積分器と、シャッターと、アナログデジタル変換器とをさらに含み、
前記電流積分器は、前記電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、
前記シャッターは、前記電流積分器の積分時間を制御することに用いられ、
前記アナログデジタル変換器は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。
【0037】
具体的には、
図7に示すように、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサにおける電圧モードのアクティブピクセルセンサ回路は、第1タイプの感光デバイス61だけでなく、さらに電流積分器(Current Integrator、CI)62、シャッター64及びアナログデジタル変換器(Analog-to-Digital Converter、ADC)63を含む。CI62は、電圧モードのアクティブピクセルセンサ回路における目標コンデンサの電圧アナログ信号を取得することに用いられ、ADC63は、前記目標コンデンサの電圧アナログ信号を前記目標電圧信号に変換することに用いられる。シャッター64は、CI62の積分時間を制御することに用いられる。例えば、シャッター64は、CI62の積分時間を33msに制御し、33ms後、シャッター64が閉じられ、CI62が目標コンデンサの電圧アナログ信号を取得して、ADC63により読み出す。本発明の実施例では、さらにADC63の後に記憶ユニットが接続されてもよく、ADC63により読み出された目標コンデンサの電圧アナログ信号を記憶ユニットに記憶する。ADC63の後に接続された記憶ユニットは、具体的には、レジスタ、ラッチ、SRAM、DRAM、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、ADC63の精度に応じて選択されてもよく、本発明の実施例では、ここで、目標コンデンサの電圧アナログ信号を記憶するために8ビットレジスタが選択されてもよい。ADC63による読み出し動作が完了すると、さらにシャッター64をオフにして、CI62に目標コンデンサの電流を積分し続けることができる。上記ステップを繰り返してビデオ信号の取得を完了することができる。
【0038】
なお、
図7に示される回路は、
図1に示される回路の変形であり、実質的に同じである。
【0039】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記目標コンデンサは、具体的には、前記電圧モードのアクティブピクセルセンサ回路内に設けられた独立コンデンサであるか、又は前記電圧モードのアクティブピクセルセンサ回路の寄生コンデンサである。
【0040】
具体的には、本発明の実施例で言及される目標コンデンサは、具体的には、電圧モードのアクティブピクセルセンサ回路の寄生コンデンサであってもよく、電圧モードのアクティブピクセルセンサ回路内に追加導入された1つの独立コンデンサであってもよく、該独立コンデンサは、フォトダイオードに直列接続される。
【0041】
本発明の実施例では、電圧モードのアクティブピクセルセンサ回路の寄生コンデンサが目標コンデンサとして機能し、1つの独立コンデンサを追加導入するコストを節約することができる。
【0042】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記第2タイプの感光デバイスはフォトダイオードを含み、すなわち、第2タイプの感光デバイスはフォトダイオードで構成され、カラーフィルタが含まれず、階調信号を感知することができる。
【0043】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電流モードのアクティブピクセルセンサ回路は、第1電流増幅器と、比較器と、加算器と、デジタルアナログ変換器とをさらに含み、
前記第2タイプの感光デバイスは、前記第1電流増幅器に接続され、前記第1電流増幅器は、前記比較器の一方の入力端子に接続され、
前記第2タイプの感光デバイスの周囲での第3所定数の他の第2タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記比較器の他方の入力端子に接続され、
前記比較器の出力端子は、前記デジタルアナログ変換器に接続され、前記デジタルアナログ変換器は、前記比較器の出力端子がイベントパルス信号を出力するまで、入力された指定デジタル信号を指定アナログ信号に変換して、前記第1電流増幅器又は前記加算器に出力し、電流モードのアクティブピクセルセンサ回路は、前記指定デジタル信号を出力する。
【0044】
具体的には、
図8に示すように、電流モードのアクティブピクセルセンサ回路には第2タイプの感光デバイス71が含まれ、
図8における第2タイプの感光デバイス71は、具体的にPDである。電流モードのアクティブピクセルセンサ回路には、第1電流増幅器72、比較器73、加算器74及びDAC75がさらに含まれる。第2タイプの感光デバイス71は、第1電流増幅器72に接続され、第1電流増幅器72は、第2タイプの感光デバイス71により変換された第2タイプの電流信号I
cを増幅することに用いられ、増幅倍数は第3所定数であり、すなわち、増幅倍数は、第2タイプの感光デバイス71の周囲での他の第2タイプの感光デバイスの数に等しく、増幅された第2タイプの電流信号と、第2タイプの感光デバイス71の周囲での第3所定数の他の第2タイプの感光デバイスにより変換された電流信号の合計とが同じオーダーにあることを確保する。
図5に示されるピクセルアレイについて、対応する第3所定数は4であり、
図6に示されるピクセルアレイについて、対応する第3所定数は4又は6である。本発明の実施例では、第3所定数が4に等しいことを例として説明する。
【0045】
第1電流増幅器72は、比較器73の一方の入力端子に接続され、増幅された第2タイプの電流信号を比較器73に入力する。第2タイプの感光デバイス71の周囲での4つの他の第2タイプの感光デバイスは、それぞれ加算器74の入力端子に接続され、加算器74の出力端子は、比較器73の他方の入力端子に接続される。4つの他の第2タイプの感光デバイスにより変換された第2タイプの電流信号I1、I2、I3、I4がそれぞれ加算器74に入力され、加算器74によりI1、I2、I3、I4を合計し、合計結果を比較器73に入力する。比較器73により、増幅された第2タイプの電流信号と加算器74の合計結果とを比較する。前の時刻と現在の時刻の比較結果が一致する場合、出力せず、DAC75により、入力された指定デジタル信号を指定アナログ信号に変換して、第1電流増幅器72又は加算器74に出力し、第1電流増幅器72に出力された指定アナログ信号はIDA2と表記され、加算器74に出力された指定アナログ信号はIDA1と表記される。出力後、比較器73により比較し、前の時刻と後の時刻の比較結果が逆である場合、比較器73の出力端子によりイベントパルス信号を出力し、すなわち比較器73はエッジトリガー状態にあり、このとき、電流モードのアクティブピクセルセンサ回路は、目標光信号における光強度勾配情報を表すための指定デジタル信号を出力する。電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号は、0及び1で表されるデジタル信号である。
【0046】
なお、本発明の実施例における加算器は、実際のデバイスであってもよく、加算機能を実現する機能モジュールであってもよく、例えば、第2タイプの電流信号I1、I2、I3、I4がある回線を1つの回線に合併することにより実現され取得する。また、第1電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。
【0047】
本発明の実施例では、さらにDAC75に記憶ユニットが接続されてもよく、電流モードのアクティブピクセルセンサ回路により出力された指定デジタル信号を記憶ユニットに記憶する。DAC75に接続された記憶ユニットは、具体的には、レジスタ、ラッチ、SRAM、DRAM、メモリスタなどであってもよい。レジスタを例として、レジスタのビット数は、DAC75の精度に応じて選択されてもよく、本発明の実施例では、ここで4ビットレジスタが選択されてもよい。
【0048】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電流モードのアクティブピクセルセンサ回路は、第1電流増幅器と、加算器と、差分回路と、電圧比較器とをさらに含み、
前記第2タイプの感光デバイスは、前記第1電流増幅器に接続され、前記第1電流増幅器は、前記差分回路に接続され、
前記第2タイプの感光デバイスの周囲での第3所定数の他の第2タイプの感光デバイスは、それぞれ前記加算器の入力端子に接続され、前記加算器の出力端子は、前記差分回路に接続され、前記差分回路は、前記第1電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられ、
前記差分回路は、前記電圧比較器に接続され、前記電圧比較器は、前記差分電圧信号に基づいて、前記指定デジタル信号を出力することに用いられる。
【0049】
具体的には、本発明の実施例では、目標光信号における光強度勾配情報を表すための指定デジタル信号が出力される場合、さらに
図9に示される電流モードのアクティブピクセルセンサ回路構造が用いられてもよい。
図9では、電流モードのアクティブピクセルセンサ回路は、第2タイプの感光デバイス81だけでなく、さらに第1電流増幅器82、加算器83、差分回路84及び電圧比較器85を含み、第2タイプの感光デバイス81は、第1電流増幅器82に接続され、第1電流増幅器82は、差分回路84に接続される。第1電流増幅器82は、第2タイプの感光デバイス81により変換された第2タイプの電流信号を増幅することに用いられ、増幅倍数は第3所定数であり、すなわち、増幅倍数は、第2タイプの感光デバイス81の周囲での他の第2タイプの感光デバイスの数に等しく、増幅された第2タイプの電流信号と、第2タイプの感光デバイス81の周囲での第3所定数の他の第2タイプの感光デバイスにより変換された電流信号の合計とが同じオーダーにあることを確保する。本発明の実施例では、第3所定数が4に等しいことを例として説明する。
【0050】
第2タイプの感光デバイス81の周囲での4つの他の第2タイプの感光デバイス86、87、88、89は、それぞれ加算器83の入力端子に接続され、加算器83の出力端子は、差分回路84に接続され、差分回路84は、第1電流増幅器82の出力結果と加算器83の出力結果に対して差分演算を行って、差分電圧信号を取得することに用いられる。差分回路84は、電圧比較器85に接続され、電圧比較器85は、差分回路84により得られた差分電圧信号に基づいて、指定デジタル信号を出力することに用いられる。
【0051】
なお、電圧比較器は、入力された差分電圧信号を判別して比較する回路であり、非正弦波発生回路を形成する基本ユニット回路である。本発明の実施例で使用できる電圧比較器は、シングルリミット比較器、ヒステリシス比較器、ウィンドウ比較器、トライステート電圧比較器などである。電圧比較器85は、入力された差分電圧信号に基づいて、差分電圧信号を選択し、通常、電圧比較器には2つの閾値が設定され、閾値1は上限閾値であり、閾値2は下限閾値であり、差分電圧信号のパルス値がこれら2つの閾値のいずれかを超える場合にのみ、指定デジタル信号が出力される。
【0052】
上記実施例に基づき、本発明の実施例に係る錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記差分回路は、具体的には、差分サブ回路と、積分サンプリングサブ回路とを含み、
前記第1電流増幅器及び前記加算器の出力端子は、それぞれ前記差分サブ回路に接続され、前記差分サブ回路は、第1電流増幅器の出力結果と前記加算器の出力結果に対して差分演算を行って、差分電流信号を取得することに用いられ、前記差分サブ回路は、前記積分サンプリングサブ回路に接続され、前記積分サンプリングサブ回路は、前記差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得することに用いられる。
【0053】
具体的には、本発明の実施例で用いられる電圧比較器は、電圧信号を比較するため、差分回路は、差分サブ回路及び積分サンプリングサブ回路の2つのサブ回路を含む必要があり、且つ差分サブ回路は、積分サンプリングサブ回路に接続される。先ず、差分サブ回路により第1電流増幅器の出力結果と加算器の出力結果に対して差分演算を行って、差分電流信号を取得して、次に、前記積分サンプリングサブ回路により差分電流信号に対して積分サンプリングを行って、差分電圧信号を取得する。
【0054】
上記実施例に基づき、本発明の実施例における錐体及び桿体のバイモーダル生体模倣視覚センサでは、前記電流モードのアクティブピクセルセンサ回路は、第2電流増幅器をさらに含み、
前記第2電流増幅器は、前記第2タイプの感光デバイスと前記第1電流増幅器との間に接続される。
【0055】
具体的には、本発明の実施例では、第2タイプの感光デバイスにより変換された第2タイプの電流信号が小さく、第1電流増幅器により増幅されたり、合計計算されたりしても、依然として小さいため、後続の操作で使用されるデバイスの精度に対する要件が高くなる。従って、後続の操作で使用されるデバイスの精度に対する要件を低減させ、第2タイプの感光デバイスと第1電流増幅器との間に第2電流増幅器が接続されて、第2タイプの感光デバイスにより変換された第2タイプの電流信号を予備的に増幅する。第2電流増幅器は、実際のデバイスであってもよく、電流増幅機能を実現する機能モジュールであってもよく、本発明の実施例ではこれを具体的に限定しない。
【0056】
上記実施例に基づき、本発明の実施例における錐体及び桿体のバイモーダル生体模倣視覚センサでは、すべての前記目標電圧信号とすべての前記指定デジタル信号は、画像を共同で形成する。
【0057】
以上より、現在、錐体細胞と桿体細胞の視覚感知信号を同時に取得できる錐体及び桿体のバイモーダル生体模倣視覚センサがないため、本発明の実施例では、錐体細胞と桿体細胞のバイモーダルに基づく錐体及び桿体のバイモーダル生体模倣視覚センサが提案されており、人間の目の網膜と同様に、低速の光強度信号(錐体細胞に相当)と高速の空間勾配信号(桿体細胞に相当)の取得を同時に実現し、従来技術の技術的空白を埋めることができる。
【0058】
最後に、なお、以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、上記実施例を参照して本発明を詳細に説明したが、当業者であれば理解されるように、依然として上記各実施例に記載の技術的解決手段を修正し、又はそのうちの一部の技術的特徴に対して等価置換を行うことができるが、これらの修正や置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の精神及び範囲から逸脱させるものではない。