知財求人 - 知財ポータルサイト「IP Force」
▶ 新日本無線株式会社の特許一覧 ▶ 学校法人立命館の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024115386
(43)【公開日】2024-08-26
(54)【発明の名称】固体撮像装置及び画像処理システム
(51)【国際特許分類】
H04N 25/77 20230101AFI20240819BHJP
H01L 27/146 20060101ALI20240819BHJP
【ＦＩ】
H04N25/77
H01L27/146 A
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023021056
(22)【出願日】2023-02-14
(71)【出願人】
【識別番号】000191238
【氏名又は名称】日清紡マイクロデバイス株式会社
(71)【出願人】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】大倉 俊介
(72)【発明者】
【氏名】吉田 康太
(72)【発明者】
【氏名】氏家 隆一
(72)【発明者】
【氏名】森川 大輔
【テーマコード（参考）】
4M118
5C024
【Ｆターム（参考）】
4M118BA14
4M118CA02
4M118CA22
4M118DD04
4M118FA38
4M118GC08
4M118GC14
5C024CY25
5C024EX52
5C024GX03
5C024GX16
5C024GX18
5C024GY31
5C024GY39
5C024HX23
5C024HX28
5C024HX50
5C024HX51
(57)【要約】
【課題】従来技術に比較して演算コストを小さくすることで、消費電力を低減できる固体撮像装置を提供する。
【解決手段】固体撮像装置は、それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、を備える。ここで、前記特徴量は水平エッジ量である。前記複数の光電変換素子は、赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、を含み、前記固体撮像装置は、例えば輝度変換式がＹ＝２Ｇ＋Ｒ＋Ｂである画素輝度信号を出力する。
【選択図】図３
【解決手段】固体撮像装置は、それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、を備える。ここで、前記特徴量は水平エッジ量である。前記複数の光電変換素子は、赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、を含み、前記固体撮像装置は、例えば輝度変換式がＹ＝２Ｇ＋Ｒ＋Ｂである画素輝度信号を出力する。
【選択図】図３
【特許請求の範囲】
【請求項1】
それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、
前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、
を備える固体撮像装置。
前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、
を備える固体撮像装置。
【請求項2】
前記特徴量は水平エッジ量である、
請求項１に記載の固体撮像装置。
請求項１に記載の固体撮像装置。
【請求項3】
前記複数の光電変換素子は、
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝２Ｇ＋Ｒ＋Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝２Ｇ＋Ｒ＋Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
【請求項4】
前記複数の光電変換素子は、
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝Ｇ＋２Ｒ＋Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝Ｇ＋２Ｒ＋Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
【請求項5】
前記複数の光電変換素子は、
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝Ｇ＋Ｒ＋２Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
赤色の信号レベルＲを有する光信号を光電変換して画素信号を出力する光電変換素子と、
緑色の信号レベルＧを有する光信号を光電変換して画素信号を出力する光電変換素子と、
青色の信号レベルＢを有する光信号を光電変換して画素信号を出力する２個の光電変換素子と、
を含み、
前記固体撮像装置は、輝度変換式がＹ＝Ｇ＋Ｒ＋２Ｂである画素輝度信号を出力する、
請求項１に記載の固体撮像装置。
【請求項6】
前記固体撮像装置からの画素輝度信号を、隣接する列の画素輝度信号をしきい値として用いて、２値化して出力する２値化器をさらに備える、
請求項１～５のうちのいずれか１つに記載の固体撮像装置。
請求項１～５のうちのいずれか１つに記載の固体撮像装置。
【請求項7】
前記２値化器は、前記複数の光電変換素子をそれぞれ含む各列の画素回路の後段に設けられる、
請求項６に記載の固体撮像装置。
請求項６に記載の固体撮像装置。
【請求項8】
前記２値化器は、前記複数の光電変換素子をそれぞれ各列の画素回路からの画素輝度信号を読み出す読み出し回路に設けられる、
請求項６に記載の固体撮像装置。
請求項６に記載の固体撮像装置。
【請求項9】
請求項１～５のうちのいずれか１つに記載の固体撮像装置と、
前記固体撮像装置からの画素輝度信号に基づいてクラスタリング処理を実行するニューラルネットワークとを備える画像処理システムであって、
前記ニューラルネットワークは、正解ラベル付き公開データセットから抽出された特徴量を含む正解ラベル付き特徴量データセットに基づいて学習された、
画像処理システム。
前記固体撮像装置からの画素輝度信号に基づいてクラスタリング処理を実行するニューラルネットワークとを備える画像処理システムであって、
前記ニューラルネットワークは、正解ラベル付き公開データセットから抽出された特徴量を含む正解ラベル付き特徴量データセットに基づいて学習された、
画像処理システム。
【請求項10】
請求項１～５のうちのいずれか１つに記載の固体撮像装置と、
前記固体撮像装置からの画素輝度信号に基づいて画像認識処理を実行する画像認識装置と、
を備える画像処理システム。
前記固体撮像装置からの画素輝度信号に基づいて画像認識処理を実行する画像認識装置と、
を備える画像処理システム。
【請求項11】
前記画像認識装置は、正解ラベル付き公開データセットに基づいて学習された、
請求項１０に記載の画像処理システム。
請求項１０に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばイメージセンサなどの固体撮像装置と、前記固体撮像装置を備える画像処理システムに関する。
【背景技術】
【0002】
画像認識システムにおいて、画像の特徴量抽出がなされる。画像認識には、例えば、機械学習モデルを用いる方式がある。機械学習モデルを用いた画像認識の場合、一例として、入力画像としての高解像度画像の特徴量が抽出され、特徴量に基づいて画像のクラス分け（クラスタリング）がなされる。
【0003】
例えば非特許文献１は、チップ内部で特徴量演算（畳み込み演算）を行うイメージセンサを開示している。イメージセンサは、複数の画素を備える。各画素は、光電変換素子であるフォトダイオード及び読み出し回路を備える。各画素の読み出し回路は、受光強度に応じた電気信号である画素信号を出力する。非特許文献１に開示されたイメージセンサは、畳み込み演算を行うための光電変換素子の蓄積及び乗算のために、特殊な製造プロセス（ＩＧＺＯ）を必要とする。
【0004】
チップ内部での特徴量演算を大規模集積回路の適したＣＭＯＳプロセスで実現するためのイメージセンサが例えば特許文献１において開示されている。このイメージセンサは、画像認識のための特徴量を出力するイメージセンサであって、複数の画素回路と、前記複数の画素回路を制御する第１モード制御を実行するよう構成されたコントローラと、を備え、前記複数の画素回路それぞれは、光電変換素子と、前記光電変換素子から電荷の転送を受ける電荷蓄積部と、を備えており、前記電荷蓄積部に蓄積された電荷量に応じた画素信号を出力するよう構成され、前記第１モード制御は、前記特徴量を求める演算のために、前記光電変換素子と前記電荷蓄積部との間における前記電荷の転送を制御することを含む。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２２－１０２６０４号公報
【非特許文献】
【0006】
【非特許文献1】Seiichi Yoneda et al., "Image Sensor Capable of Analog Convolution for Real-time Image Recognition System Using Crystalline Oxide Semiconductor FET", International Image Sensor Workshop(IISW), 2019, pp.322-325.
【非特許文献2】山本航平ほか，「特徴量抽出可能なＣＭＯＳイメージセンサのためのニューラルネットワークを用いた画像分類」，映像情報メディア学会研究技術報告，Ｖｏｌ．４６，Ｎｏ．２９，ｐｐ．２１－２４，２０２２年９月１５日発行
【非特許文献3】奥村周平ほか，「特徴量抽出可能な低コストＣＭＯＳカラーイメージセンサに関する検討」，電子情報通信学会集積回路研究会（ＩＣＤ），学生・若手研究会，２０２２年３月２２日発表
【非特許文献4】大須賀裕宇ほか，「ＣＭＯＳイメージセンサ内で抽出可能な特徴量が画像認識に与える影響の解析」，電子情報通信学会集積回路研究会（ＩＣＤ），学生・若手研究会，２０２２年３月２２日発表
【非特許文献5】江上典文，「画像入力デバイスの基礎（第１回）光電変換の基礎」、映像情報メディア学会誌，Ｖｏｌ．６８，Ｎｏ．１，２０１４年
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記のような従来例に係る特徴量抽出可能なイメージセンサは、特徴量演算のみをチップ内で行い、それ以外の処理は画像認識器で行うため、固体撮像装置の出力データ量が大きいので、演算コストが比較的大きく、消費電力を低減することが難しいという課題があった。
【0008】
本発明の目的は以上の課題を解決し、従来技術に比較して演算コストを小さくすることで、消費電力を低減できる固体撮像装置、及び固体撮像装置を備える画像処理システムを提供することにある。
【課題を解決するための手段】
【0009】
本開示の一態様に係る固体撮像装置は、
それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、
前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、
を備える。
それぞれ所定の画素色を有する光信号を光電変換して画素信号を出力する複数の光電変換素子と、
前記複数の光電変換素子からの各画素信号を同時に出力端子に転送するように制御することで、所定の特徴量を有する画素輝度信号を出力する制御回路と、
を備える。
【発明の効果】
【0010】
従って、本開示の一態様に係る固体撮像装置によれば、従来技術に比較して演算コストを小さくすることで、消費電力を低減できる。
【図面の簡単な説明】
【0011】
【図1】実施形態１に係る固体撮像装置であるイメージセンサの構成例を示すブロック図である。
【図4】従来例の画素回路とその周辺回路の動作例を示すタイミングチャートである。
【図7】一般的なイメージセンサにおける光が侵入する深さに対する光強度の特性を示すグラフである。
【図8】実施形態２に係る画素回路とその周辺回路の構成例を示す回路図である。
【図10A】一般的な水平エッジ信号の確率密度分布を示すグラフである。
【図11】実施形態３に係る画素回路とその周辺回路の構成例を示す回路図である。
【発明を実施するための形態】
【0012】
以下、本発明に係る実施形態及び変形例について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。
【0013】
【0014】
図１において、イメージセンサ１００は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１００は、撮像部としての画素部１１０及びコントローラ１２０を備える。イメージセンサ１００は、さらに、読み出し回路１３０、垂直走査回路１４０、及び水平走査回路１５０を備える。読み出し回路１３０は、画素部１１０からの画素信号の読み出しを制御する。垂直走査回路１４０は、画素部１１０に含まれる画素回路１１１（画素）のうち、画素信号が読みされる対象画素回路（対象画素）を選択するための信号を画素部１１０に与える。水平走査回路１５０は，読み出し回路１３０のうち，画素信号が出力される対象画素列を選択するためのコラム選択信号を与える。これにより、読み出し回路１３０は、画素部１１０からの特徴量画素信号を含む特徴量画像データを出力する。ここで、特徴量画像データは、後述するように例えば水平エッジ輝度信号を含む画像データである。
【0015】
コントローラ１２０は、垂直走査回路１４０及び水平走査回路１５０を介して画素部１１０及び読み出し回路１３０の動作を制御する制御回路である。なお、コントローラは、前述のコントローラ１２０だけでなく、垂直走査回路１４０及び水平走査回路１５０をも含む概念であってもよい。
【0016】
図２は図１の画素部１１０の構成例を示すブロック図である。図２において、画素部１１０は、２次元アレイ状に配置された複数の画素回路１１１，１１１Ａ，１１１Ｂ，１１１Ｃを備える。なお、画素回路は、単に、画素とも呼ばれる。
【0017】
図３は図１の画素回路１１１Ａ，１１１Ｃとその周辺回路の構成例を示す回路図である。図３において、Ｊ行目の１つの画素回路１１１Ａ、及びＪ＋１行目の一つの画素回路１１１Ｃが示されている。画素部１１０に含まれる複数の画素回路１１１，１１１Ａ，１１１Ｃは、共通の構造を有している。なお、図３では、画素回路１１１Ｃは、便宜的に、画素回路１１１Ａに比べて簡略化されて描かれているが、実際には、画素回路１１１Ａと同様の構造を有する。
【0018】
ここで、画素回路の構造について、Ｊ行目の画素回路１１１Ａを例にして説明する。画素回路１１１Ａは、４個の光電変換素子ＰＤ１～ＰＤ４を備える。光電変換素子ＰＤ１～ＰＤ４は、例えばフォトダイオードである。光電変換素子ＰＤ１～ＰＤ４は、光量に応じた量の電子の電荷を蓄積する。ここで、光電変換によって発生した電荷を、光電変換電荷といい、光電変換によって発生した電子を光電変換電子という。
【0019】
画素回路１１１Ａは、光電変換素子ＰＤ１～ＰＤ４にそれぞれ接続された転送ゲートＴＧ１～ＴＧ４を備える。転送ゲートＴＧ１～ＴＧ４はそれぞれ、光電変換素子ＰＤ１～ＰＤ４に蓄積された電荷を転送する。なお、以下の各ゲートは例えばＭＯＳトランジスタで構成され、ゲート・ソース間にＨレベル信号が与えられると、ドレイン・ソース間が導通状態になってＭＯＳトランジスタがオンされ、ゲート・ソース間にＬレベル信号が印加されると、ドレイン・ソース間が非導通状態になりＭＯＳトランジスタがオフされる。各転送ゲートＴＧ１～ＴＧ４は、オンされると、光電変換素子ＰＤ１～ＰＤ４に蓄積された電荷を、後述する電荷蓄積部へ転送する。転送ゲートＴＧは、オフされると、光電変換素子ＰＤ１～ＰＤ４に蓄積された電荷の転送が阻止される。
【0020】
画素回路１１１Ａは、光電変換素子ＰＤ１～ＰＤ４から、転送ゲートＴＧを介して、電荷の転送を受ける電荷蓄積部を備える。実施形態において、電荷蓄積部は、少なくとも、転送ゲートＴＧ１～ＴＧ４に接続されたキャパシタであるフローティングディフュージョンＦＤ（浮遊拡散層）を有する。ここで、フローティングディフュージョンＦＤは、光電変換素子ＰＤ１～ＰＤ４からの電荷の転送を受けられるようにそれぞれ転送ゲートＴＧ１～ＴＧ４に接続される。
【0021】
画素回路１１１Ａは、電荷蓄積部に接続されたリセットゲートＲＳＴを備える。電荷蓄積部は、フローティングディフュージョンＦＤ及びスイッチングゲートＳＧに接続されている。リセットゲートＲＳＴは、フローティングディフュージョンＦＤと電源電圧ＶＤＤの間に接続され、電荷蓄積部に蓄積された電荷を排出する。ここで、リセットゲートＲＳＴは、オンされると、電荷蓄積部であるフローティングディフュージョンＦＤ又はスイッチングゲートＳＧに蓄積された電荷を電源へ排出する。このような電荷の排出をリセットという。リセットにより、電荷蓄積部の電位は、電源電圧ＶＤＤになる。リセットゲートＲＳＴはオフされると、電荷の排出が阻止される。
【0022】
画素回路１１１Ａは、後述の定電流源ＣＳとともにソースフォロワ回路２０を構成するソースフォロワトランジスタＳＦを備える。ソースフォロワトランジスタＳＦは、増幅トランジスタとも呼ばれる。ソースフォロワトランジスタＳＦは、ゲート端子がフローティングディフュージョンＦＤ（電荷蓄積部）に接続され、ドレイン端子が電源電圧ＶＤＤに接続される。ソースフォロワトランジスタＳＦは、電荷蓄積部に蓄積された電荷量（及び電荷蓄積部のキャパシタ）に応じた電圧ｖｘ（画素信号）を、ソース端子に生じさせる。ソースフォロワトランジスタＳＦのソース端子に生じる電圧ｖｘ（画素信号）は、フローティングディフュージョンＦＤにおける電圧ＶＦＤからソースフォロワトランジスタＳＦのドレイン・ソース間電圧ＶＧＳ分、低下した電圧（ＶＦＤ－ＶＧＳ）である。
【0023】
画素回路１１１Ａはさらに、選択ゲートＳＥＬを備える。選択ゲートＳＥＬは、オンされると、ソースフォロワトランジスタＳＦのソース端子と画素信号の読み出しのための信号線２１とを接続する。選択ゲートＳＥＬは、複数の画素回路１１１Ａ，１１１Ｃ，１１１のうち、電荷蓄積部における電圧の読み出しの対象となる対象画素回路（対象画素）の選択のための素子である。対象画素回路が備える電荷蓄積部における電圧が、読み出し回路１３０によって読み出される。選択ゲートＳＥＬがオフされると、ソースフォロワトランジスタＳＦと信号線１３５との間を非接続にする。
【0024】
画素回路１１１Ａはさらに、スイッチングゲートＳＧを備える。スイッチングゲートＳＧはオンされると、画素回路１１１Ａの電荷蓄積部と、他の画素回路１１１Ｃの電荷蓄積部と、を接続する。スイッチングゲートＳＧはオフされると、画素回路１１１Ａの電荷蓄積部と、他の画素回路１１１Ｃの電荷蓄積部とを非接続にする。すなわち、スイッチングゲートＳＧは、そのスイッチングゲートＳＧが設けられている画素回路１１１Ａに設けられた電荷蓄積部と、画素回路１１１Ａに隣接する他の画素回路１１１Ｃに設けられた電荷蓄積部と、の接続／非接続とを切り替えるための素子である。また、画素回路１１１ＡのスイッチングゲートＳＧがオンされると、画素回路１１１Ａの電荷蓄積部（フローティングディフュージョンＦＤ）と、画素回路１１１Ｃの電荷蓄積部（フローティングディフュージョンＦＤ）とが接続される。
【0025】
読み出し回路１３０は、前述のソースフォロワトランジスタＳＦとともにソースフォロワ回路２０を構成する定電流源ＣＳを備える。定電流源ＣＳは、信号線１３５に接続される。読み出し回路１３０は、定電流源ＣＳに対して並列に、信号線１３５の中途に介在して設けられたＣＤＳキャパシタＣＣＤＳを備える。ＣＤＳキャパシタＣＣＤＳは、後述の相関二重サンプリングに用いられる。読み出し回路１３０はさらに、クリップゲートＣＬＰを備える。クリップゲートＣＬＰは、オンされると、信号線１３５とグランドＧＮＤとを接続する。クリップゲートＣＬＰは、オフされると、信号線１３５とグランドＧＮＤとを非接続にする。なお、前述の各ゲートは、コントローラ１２０によって、駆動制御される。
【0026】
以上のように構成されたイメージセンサ１００では、一般的にベイヤー配列などの画素配置が用いられ、４画素（光電変換素子ＰＤ１～ＰＤ４）がひとつのセルを構成する。これらの４画素には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）などのカラーフィルタが割当てられ、それぞれ、以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという。例えば、光電変換素子ＰＤ１にＲフィルタを、光電変換素子ＰＤ２，ＰＤ３にＧフィルタを、光電変換素子ＰＤ４にＢフィルタを配置する（後述する図６参照）。それぞれの画素には、カラーフィルタを通過した特定波長の光が入射され、光電変換電子が各光電変換素子ＰＤ１～ＰＤ４に蓄積される。各光電変換素子ＰＤ１～ＰＤ４に蓄積した電子をフローティングディフュージョンＦＤのノードに読み出すために、転送ゲートＴＧ１～ＴＧ４が接続される。フローティングディフュージョンＦＤのノードに転送された電子を読み出すためのソースフォロワトランジスタＳＦ、特定画素を選択するための選択ゲートＳＥＬ、フローティングディフュージョンＦＤをリセットするためのリセットゲートＲＳＴは各ＰＤ１～ＰＤ４で共有される。また、画素セル間を接続するスイッチングゲートＳＧも各ＰＤ１～ＰＤで共有される。
【0027】
【0028】
図４の従来例のタイミングチャートに示すように、特徴量画像を出力するためには、まずＪ行目のスイッチングゲートＳＧをオンした後、Ｊ行目のリセットゲートＲＳＴをオンしてフローティングディフュージョンＦＤをリセットする。次に、Ｊ行目の転送ゲートＴＧ１をオンして、Ｒ画素の蓄積電荷をフローティングディフュージョンＦＤに転送する。ここで、ソースフォロワトランジスタＳＦを介して画素アレイ（光電変換素子ＰＤ１）から出力された信号はクリップゲートＣＬＰをオフすると、ＣＤＳキャパシタＣＣＤＳに保持される。
【0029】
再度Ｊ行目のリセットゲートＲＳＴをオンしてフローティングディフュージョンＦＤをリセットする。次に、Ｊ＋１行目の転送ゲートＴＧ１をオンして、Ｒ画素の蓄積電荷をフローティングディフュージョンＦＤに転送する。ソースフォロワトランジスタＳＦを介して画素アレイ（光電変換素子ＰＤ１）から出力された信号と、ＣＤＳキャパシタＣＣＤＳに保持された信号から、出力信号ｖｏｕｔはＪ＋１行目とＪ行目のＲ画素（光電変換素子ＰＤ１）の差分信号（＝水平エッジ信号）になる。
【0030】
同様に、光電変換素子ＰＤ２、ＰＤ３、ＰＤ４画素の差分信号を得る。各色の差分信号は、例えば画像認識装置（図１３の４０、図１４の４０Ａ）にて次式を用いて輝度信号に変換した後、例えば深層機械学習の人工知能（ＡＩ）による画像認識を行う。
【0031】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （１）
【0032】
一方、本実施形態に係る図５のタイミングチャートに示すように、転送ゲートＴＧ１，ＴＧ２，ＴＧ３，ＴＧ４を同時にオンすることで、フローティングディフュージョンＦＤで４個の光電変換素子ＰＤ１～ＰＤ４の蓄積電荷を、簡易的に次式を用いて画素輝度信号Ｙに変換することができる。
【0033】
Ｙ＝Ｒ＋２Ｇ＋Ｂ （２）
【0034】
ここで、Ｒ，Ｇ，Ｂはそれぞれ各色の信号レベルを表す。
【0035】
以上説明したように、従来例では、光電変換素子ＰＤ１～ＰＤ４の４画素の水平エッジ信号を順次出力するために、合計４回水平エッジ信号を出力する必要がある。これに対して、本実施形態では、水平エッジ信号を１回出力するのみであり、信号量を１／４に減らすことができる。また、４個の光電変換素子ＰＤ１～ＰＤ４の蓄積をフローティングディフュージョンＦＤで合算するため、従来例と同等の信号量を得るための露光時間は１／４に短縮することが可能であり、感度を向上することができる。露光時間が一定の場合は信号量が４倍になるため、フローティングディフュージョンＦＤのリセットノイズに対するＳＮ比は４倍に向上することができる。
【0036】
図６Ａは図３の４個のフォトダイオードに対するベイヤー配列のカラーフィルタの配置例を示す図である。図６Ａは上述の実施形態１で説明したカラーフィルタの配置である。このベイヤー配列以外にも、Ｒフィルタの数を多くする図６ＢのＲＧＢＲ配列、あるいは、Ｂフィルタの数を多くする図６ＣのＲＢＢＧ配列を用いることができる。
【0037】
図７は一般的なイメージセンサにおける光が侵入する深さに対する光強度の特性を示すグラフである（例えば、非特許文献５参照）。
【0038】
人間は緑の輝度変化に感度が高いため、Ｇフィルタの数を多くすることで、視覚的な解像度が高めることができる。しかし、機械学習による画像分類を考慮した場合、ＲＧＢＲ配列やＲＢＢＧ配列を採用することができる。これは、イメージセンサにおける光が侵入する深さと光強度の関係に基づいている。一般的なイメージセンサでは光電変換素子ＰＤの深さは２μｍ程度であり、波長の短い青色光は十分に吸収されるが、波長の長い赤色光は６０％以上も透過する。これは、青色光は１００％近く光電変換されるが、赤色光は４０％程度しか光電変換されないことを意味する。
【0039】
したがって、ＲＧＢＲ配列を採用した場合、輝度変換式がＹ＝２Ｒ＋Ｇ＋Ｂとなり、赤色光の感度不足を補うことができる。また、ＲＧＧＢ配列を採用した場合、輝度変換式がＹ＝Ｒ＋Ｇ＋２Ｂとなり、感度の高い青色光を強調して高い輝度信号を得ることができる。
【0040】
以上説明したように、本実施形態によれば、例えば水平エッジ信号（水平エッジの特徴量を含む）を含む特徴量画像データを生成して出力することができ、ＲＧＢＲ配列により赤色光の感度不足を補うことができ、また、ＲＧＧＢ配列により高い輝度信号を得ることにより、アプリケーションや画像分類対象に応じて分類（クラスタリング）精度を向上することができる。すなわち、輝度変換式がＹ＝２Ｒ＋Ｇ＋Ｂ又はＹ＝Ｒ＋Ｇ＋２Ｂなどの特徴量を抽出可能なイメージセンサを構成できる。
【0041】
（実施形態２）
図８は実施形態２に係る画素回路１１１とその周辺回路の構成例を示す回路図であり、図９は図８の画素回路１１１とその周辺回路の動作例を示すタイミングチャートである。図８の回路は、図３の回路に比較して以下の相違点を有する。
（１）各列の画素回路１１１の出力端子と信号線２２との間に、ＡＤ変換器（ＡＤＣ）１１及びコラムスイッチＣＯＬを備える。ここで、コラムスイッチＣＯＬは前記コントローラにより制御される例えばＭＯＳトランジスタで構成される。
（２）信号線２２と、読み出し回路１３０の出力端子２５との間に、フリップフロップ１３の帰還回路（しきい値設定回路）を有するヒステリシス特性（図１０Ｂ）のコンパレータ１２を備える。すなわち、コンパレータ１２は読み出し回路１３０に設けられる。
以下、相違点について説明する。
図８は実施形態２に係る画素回路１１１とその周辺回路の構成例を示す回路図であり、図９は図８の画素回路１１１とその周辺回路の動作例を示すタイミングチャートである。図８の回路は、図３の回路に比較して以下の相違点を有する。
（１）各列の画素回路１１１の出力端子と信号線２２との間に、ＡＤ変換器（ＡＤＣ）１１及びコラムスイッチＣＯＬを備える。ここで、コラムスイッチＣＯＬは前記コントローラにより制御される例えばＭＯＳトランジスタで構成される。
（２）信号線２２と、読み出し回路１３０の出力端子２５との間に、フリップフロップ１３の帰還回路（しきい値設定回路）を有するヒステリシス特性（図１０Ｂ）のコンパレータ１２を備える。すなわち、コンパレータ１２は読み出し回路１３０に設けられる。
以下、相違点について説明する。
【0042】
図８において、各列の画素回路１１１からの水平エッジ信号は、各列に備えるＡＤ変換器１１によりアナログ／デジタル変換される。例えばＡＤ変換分解能を１０ビットとする。各列の画素回路１１１からのデジタル出力信号は、図９のタイミングチャートに示すように、各列のコラムスイッチＣＯＬを順次オンして信号線２２に選択的に読み出される。読み出された１０ビットのデジタル信号はコンパレータ１２で１ビットのデジタル信号に二値化変換された後、出力端子２５を介して出力信号（画素信号）として出力される。すなわち、コンパレータ１２はバイナライザ（２値化器）として機能する。ここで、フリップフロップ１３は、Ｉ＋１行目の信号を二値化する際には、既に二値化して格納されたＩ列目の信号を、二値化のしきい値として設定する。
【0043】
【0044】
前記水平エッジ信号は、図１０Ａに示すように、その値がエッジのない０を中心に分布する。しかし、０付近には微小なエッジの他に、ノイズが含まれる。そのため、単純に０以上／以下で二値化すると、ノイズを増幅してしまい水平エッジ信号が劣化する。そこで、Ｉ＋１行目を二値化する際には、Ｉ行目の信号の値が０の場合はしきい値を高く設定して０（Ｌレベル）と判定する確率を上げる。逆に、Ｉ行目の信号の値が１の場合はしきい値を高く設定して１（Ｈレベル）と判定する確率を上げる。
【0045】
以上説明したように、実施形態２によれば、隣接画素の水平エッジ信号をもとに二値化することで、同じコードが連続しやすくなり、高周波ノイズを低減する。ノイズを低減することで、画像分類の精度を向上する。また、二値化することで、データ量を１／１０に削減することができる。
【0046】
（実施形態３）
図１１は実施形態３に係る画素回路１１１とその周辺回路の構成例を示す回路図である。図１１の回路は、図８の回路に比較して以下の相違点を有する。
（１）出力端子２５の直前に設けたコンパレータ１２及びフリップフロップ１３に代えて、各列のＡＤ変換器１１と出力端子２５との間に、コンパレータ１２とコラムスイッチＣＯＬを挿入するように備える。ここで、例えばＩ列目のコンパレータ１２の出力信号を、隣接する（Ｉ＋１）列目のコンパレータ１２のしきい値として用いることで、図８のフリップフロップ１３と同様の機能を実現する。隣接するコンパレータ１２は同様に前方向に隣接する列のコンパレータ１２からしきい値を入力するように構成される。
図１１は実施形態３に係る画素回路１１１とその周辺回路の構成例を示す回路図である。図１１の回路は、図８の回路に比較して以下の相違点を有する。
（１）出力端子２５の直前に設けたコンパレータ１２及びフリップフロップ１３に代えて、各列のＡＤ変換器１１と出力端子２５との間に、コンパレータ１２とコラムスイッチＣＯＬを挿入するように備える。ここで、例えばＩ列目のコンパレータ１２の出力信号を、隣接する（Ｉ＋１）列目のコンパレータ１２のしきい値として用いることで、図８のフリップフロップ１３と同様の機能を実現する。隣接するコンパレータ１２は同様に前方向に隣接する列のコンパレータ１２からしきい値を入力するように構成される。
【0047】
以上説明したように、実施形態３によれば、隣接画素の水平エッジ信号をもとに二値化することで、同じコードが連続しやすくなり、高周波ノイズを低減する。ノイズを低減することで、画像分類の精度を向上する。また、二値化することで、データ量を１／１０に削減することができる。さらに、水平転送信号のビット数を１０ビットから１ビットに低減することで、水平転送に必要な消費電力を低減する。
【0048】
（実施形態４）
図１２は実施形態４に係る図１のイメージセンサ１００を用いた画像分類システムの構成例を示すブロック図である。図１２の画像分類システムは、特徴量を抽出可能な図１のイメージセンサ１００と、畳み込みニューラルネットワーク（ＣＮＮ）３０と、特徴量抽出回路３１と、ラベル付き公開データセットメモリ３２と、ラベル付き特徴量データセットメモリ３３とを備える。
図１２は実施形態４に係る図１のイメージセンサ１００を用いた画像分類システムの構成例を示すブロック図である。図１２の画像分類システムは、特徴量を抽出可能な図１のイメージセンサ１００と、畳み込みニューラルネットワーク（ＣＮＮ）３０と、特徴量抽出回路３１と、ラベル付き公開データセットメモリ３２と、ラベル付き特徴量データセットメモリ３３とを備える。
【0049】
図１２において、ラベル付き公開データセットメモリ３２は、一般的なカラー画像データからなるラベル付公開データセット（クラスタリングのための正解ラベルと、カラー画像データとが対となったデータセットをいう）を格納する。特徴量抽出回路３１は、ラベル付公開データセットに基づいて、所定の特徴量を計算して抽出してラベル付き特徴量データセットメモリ３３に格納する。すなわち、ラベル付き特徴量データセットメモリ３３は、クラスタリングのための正解ラベルと、カラー画像データと、特徴量とが対となったデータセットを格納する。
【0050】
畳み込みニューラルネットワーク（ＣＮＮ）３０は公知のＣＮＮであって、学習時に、ラベル付き特徴量データセットメモリ３３に格納された複数のデータセットを用いて学習された後、分類時には、例えば水平エッジなどの特徴量を抽出可能な図１のイメージセンサ１００からのカラー画像データに基づいてクラスタリング処理を実行することで、分類結果データを得て出力する。
【0051】
本実施形態では、ラベル付き特徴量データセットから特徴量を抽出することで、低コストで画像分類装置であるＣＮＮ３０を学習させるための特徴量学習データセットを生成する。この特徴量学習データセットを用いてＣＮＮ３０を学習させることで、特徴量抽出可能なＣＭＯＳイメージセンサを用いた画像分類の精度を向上させる。
【0052】
以上説明したように、本実施形態によれば、深層学習による画像分類器であるＣＮＮ３０の学習のためには、多量の画像の収集および熟練者による画像への正解ラベル付作業が必要であり、大きなコストが必要となる。しかし、カラー画像データを含むラベル付公開データセットに基づいて特徴量学習データセットを生成することで、大幅に人的コストを削減し、低コストで高精度な特徴量に係る画像分類システムを実現することができる。
【0053】
以上の実施形態において、ＣＮＮ３０を備えているが、本発明はこれに限らず、公知の深層学習モデルで構成されたディープニューラルネットワーク（ＤＮＮ）を備えてもよい。
【0054】
（実施形態５）
図１３は実施形態５に係る図１のイメージセンサ１００を用いた画像認識システムの構成例を示すブロック図である。図１３の画像認識システムは、例えば水平エッジなどの特徴量を抽出可能な図１のイメージセンサ１００と、認識検知回路４１を有する画像認識装置４０とを備えて構成される。
図１３は実施形態５に係る図１のイメージセンサ１００を用いた画像認識システムの構成例を示すブロック図である。図１３の画像認識システムは、例えば水平エッジなどの特徴量を抽出可能な図１のイメージセンサ１００と、認識検知回路４１を有する画像認識装置４０とを備えて構成される。
【0055】
図１３において、イメージセンサ１００は、例えばエッジ抽出で使用されるようなエッジ（微分）を含む画像フィルタ処理された特徴量画像データを画像認識装置４０の認識検知回路４１に出力する。認識検知回路４１は例えば機械学習モデルを用いて構成され、入力された特徴量画像データから画像データの認識結果を出力する。
【0056】
以上説明したように、本実施形態によれば、イメージセンサ１００内で完結して画素フィルタを構成でき、画像認識装置４０等の画像処理回路で必要なフィルタ処理を軽減できる。フィルタ機能と同時にデータ量を圧縮することでイメージセンサ１００の固体撮像素子と画像認識装置４０間のインターフェイス速度を落とすことで消費電流を低減できる。
【0057】
（実施形態６）
図１４は実施形態６に係る図１のイメージセンサ１００を用いた画像認識システムの構成例を示すブロック図である。図１４の画像認識システムは図１３の画像認識システムに比較して以下の点が異なる。
（１）画像認識装置４０に代えて、学習結果メモリ４２と認識検知回路４１Ａとを備える画像認識装置４０Ａを備える。
以下、相違点について説明する。
図１４は実施形態６に係る図１のイメージセンサ１００を用いた画像認識システムの構成例を示すブロック図である。図１４の画像認識システムは図１３の画像認識システムに比較して以下の点が異なる。
（１）画像認識装置４０に代えて、学習結果メモリ４２と認識検知回路４１Ａとを備える画像認識装置４０Ａを備える。
以下、相違点について説明する。
【0058】
図１４において、学習結果メモリ４２は例えば水平エッジなどの特徴量抽出後のラベル付きデータセットを格納する。認識検知回路４１Ａは例えば機械学習モデルを用いて構成され、学習時に、学習結果メモリ４２内のデータセットに基づいて学習された後、認識時に、イメージセンサ１００から入力された特徴量画像データに基づいて画像データの認識結果を出力する。
【0059】
以上説明したように、本実施形態によれば、特徴量抽出後のラベル付きデータセットを用いた学習された認識検知回路４１Ａを使用することで、認識検知回路４１Ａは、イメージセンサ１００に最適な学習モデルを備え、高精度に認識／検知をすることができる。
【0060】
（変形例）
実施形態４に係る画像分類システムと、実施形態５又は６に係る画像認識システムとは、例えば画像処理システムの一例である。
実施形態４に係る画像分類システムと、実施形態５又は６に係る画像認識システムとは、例えば画像処理システムの一例である。
【産業上の利用可能性】
【0061】
以上詳述したように、本発明に係る固体撮像装置によれば、固体撮像装置における画素の制御タイミングを変更するだけで簡易的な輝度信号変換ができ、簡単な回路により低ノイズで二値化を行うことができる。これにより、画素制御方法の変更と小規模な回路追加によって、従来技術に比較して大幅にデータ量を削減でき、演算コストを小さくすることで、消費電力を低減できる。特に、固体撮像装置のイメージセンサ内での特徴量演算に加えて、輝度信号変換と二値化処理を行うことで、イメージセンサと画像認識器の間のデータ通信量を削減し、画像認識システムの消費電力を大幅に低減できる。
【符号の説明】
【0062】
１１ ＡＤ変換器（ＡＤＣ）
１２ コンパレータ
１３ フリップフロップ
２０ ソースフォロワ回路
２１，２２，２３ 信号線
２５ 出力端子
３０ 畳み込みニューラルネットワーク（ＣＮＮ）
３１ 特徴量抽出回路
３２ ラベル付き公開データセットメモリ
３３ ラベル付き特徴量データセットメモリ
４０，４０Ａ 画像認識装置
４１，４１Ａ 認識検知回路
４２ 学習結果メモリ
１００ イメージセンサ（固体撮像装置）
１１０ 画素部
１１１，１１１Ａ，１１１Ｂ，１１１Ｃ 画素回路
１２０ コントローラ
１３０ 読み出し回路
１４０ 垂直走査回路
１５０ 水平走査回路
ＣＣＤＳ ＣＤＳキャパシタ
ＣＯＬ コラムスイッチ
ＣＬＰ クリップゲート
ＣＳ 定電流源
ＦＤ フローティングディフュージョン
ＰＤ１～ＰＤ４ 光電変換素子
Ｑ１～Ｑ１５ ＭＯＳトランジスタ
ＲＳＴ リセットゲート
ＳＦ ソースフォロワトランジスタ
ＳＥＬ 選択ゲート
ＳＧ スイッチングゲート
ＴＧ，ＴＧ１～ＴＧ４ 転送ゲート
ｖｏｕｔ 出力信号（画素信号）
ｖｘ 画素信号
１２ コンパレータ
１３ フリップフロップ
２０ ソースフォロワ回路
２１，２２，２３ 信号線
２５ 出力端子
３０ 畳み込みニューラルネットワーク（ＣＮＮ）
３１ 特徴量抽出回路
３２ ラベル付き公開データセットメモリ
３３ ラベル付き特徴量データセットメモリ
４０，４０Ａ 画像認識装置
４１，４１Ａ 認識検知回路
４２ 学習結果メモリ
１００ イメージセンサ（固体撮像装置）
１１０ 画素部
１１１，１１１Ａ，１１１Ｂ，１１１Ｃ 画素回路
１２０ コントローラ
１３０ 読み出し回路
１４０ 垂直走査回路
１５０ 水平走査回路
ＣＣＤＳ ＣＤＳキャパシタ
ＣＯＬ コラムスイッチ
ＣＬＰ クリップゲート
ＣＳ 定電流源
ＦＤ フローティングディフュージョン
ＰＤ１～ＰＤ４ 光電変換素子
Ｑ１～Ｑ１５ ＭＯＳトランジスタ
ＲＳＴ リセットゲート
ＳＦ ソースフォロワトランジスタ
ＳＥＬ 選択ゲート
ＳＧ スイッチングゲート
ＴＧ，ＴＧ１～ＴＧ４ 転送ゲート
ｖｏｕｔ 出力信号（画素信号）
ｖｘ 画素信号
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】