(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】撮像装置および電子機器
(51)【国際特許分類】
H04N 25/70 20230101AFI20240729BHJP
H04N 25/46 20230101ALI20240729BHJP
H04N 25/76 20230101ALI20240729BHJP
H04N 25/77 20230101ALI20240729BHJP
H04N 25/78 20230101ALI20240729BHJP
H04N 25/79 20230101ALI20240729BHJP
H01L 27/146 20060101ALI20240729BHJP
【FI】
H04N25/70
H04N25/46
H04N25/76
H04N25/77
H04N25/78
H04N25/79
H01L27/146 C
(21)【出願番号】P 2021517125
(86)(22)【出願日】2020-04-14
(86)【国際出願番号】 IB2020053483
(87)【国際公開番号】W WO2020222059
(87)【国際公開日】2020-11-05
【審査請求日】2023-03-28
(31)【優先権主張番号】P 2019087002
(32)【優先日】2019-04-29
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019088854
(32)【優先日】2019-05-09
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019102209
(32)【優先日】2019-05-31
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019107367
(32)【優先日】2019-06-07
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019137469
(32)【優先日】2019-07-26
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019159378
(32)【優先日】2019-09-02
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】米田 誠一
(72)【発明者】
【氏名】根来 雄介
(72)【発明者】
【氏名】小林 英智
【審査官】鈴木 明
(56)【参考文献】
【文献】国際公開第2018/215882(WO,A1)
【文献】国際公開第2019/012370(WO,A1)
【文献】特開2016-123087(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/00-25/79
H01L 27/146
(57)【特許請求の範囲】
【請求項1】
画素ブロックと、第1の回路と、第2の回路と、を有する撮像装置であって、
前記画素ブロックは、マトリクス状に配置された複数の画素を有し、
前記複数の画素と前記第2の回路とは電気的に接続され、
前記第1の回路は、1つの行に配置された前記複数の画素を選択する機能を有し、
前記第1の回路は、連続する複数の行に配置された前記複数の画素を選択する機能を有し、
前記画素は、第1のデータを生成する機能を有し、
前記画素は、前記第1のデータに任意の電位を加算して第2のデータを生成する機能を有し、
前記第2の回路は、前記複数の画素のそれぞれが生成する前記第1のデータの和に相当する第3のデータを生成する機能を有し、
前記第2の回路は、前記第3のデータに前記複数の画素のそれぞれが生成する前記第2のデータの和に相当する電位を加算して第4のデータを生成する機能を有し、
前記第1の回路は、第1の論理回路と、第2の論理回路と、第12のトランジスタと、第13のトランジスタと、第14のトランジスタと、第15のトランジスタと、を有するシフトレジスタ回路であり、
前記第1の論理回路の出力端子は、前記第12のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2の論理回路の出力端子は、前記第13のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第14のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第14のトランジスタのソースまたはドレインの他方は、前記第13のトランジスタのソースまたはドレインの他方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第15のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第15のトランジスタのソースまたはドレインの他方は、電源線と電気的に接続される撮像装置。
【請求項2】
画素ブロックと、第1の回路と、第2の回路と、を有する撮像装置であって、
前記画素ブロックは、マトリクス状に配置された複数の画素を有し、
前記複数の画素と前記第2の回路とは電気的に接続され、
前記第1の回路は、1つの行に配置された前記複数の画素を選択する機能を有し、
前記第1の回路は、連続する複数の行に配置された前記複数の画素を選択する機能を有し、
前記画素は、第1のデータを生成する機能を有し、
前記画素は、前記第1のデータに任意の電位を加算して第2のデータを生成する機能を有し、
前記第2の回路は、前記複数の画素のそれぞれが生成する前記第1のデータの和に相当する第3のデータを生成する機能を有し、
前記第2の回路は、前記第3のデータに前記複数の画素のそれぞれが生成する前記第2のデータの和に相当する電位を加算して第4のデータを生成する機能を有し、
前記画素は、光電変換デバイスと、第1のトランジスタと、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第5のトランジスタと、第1のキャパシタと、を有し、
前記光電変換デバイスの一方の電極は、前記第1のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第1のトランジスタのソースまたはドレインの他方は、前記第2のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2のトランジスタのソースまたはドレインの一方は、前記第3のトランジスタのゲートと電気的に接続され、
前記第3のトランジスタのゲートは、前記第1のキャパシタの一方の電極と電気的に接続され、
前記第1のキャパシタの他方の電極は、前記第4のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第3のトランジスタのソースまたはドレインの一方は、前記第5のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第5のトランジスタのソースまたはドレインの他方は、前記第2の回路と電気的に接続され、
前記第5のトランジスタのゲートは、前記第1の回路と電気的に接続され、
前記第1の回路は、第1の論理回路と、第2の論理回路と、第12のトランジスタと、第13のトランジスタと、第14のトランジスタと、第15のトランジスタと、を有するシフトレジスタ回路であり、
前記第1の論理回路の出力端子は、前記第12のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2の論理回路の出力端子は、前記第13のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第14のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第14のトランジスタのソースまたはドレインの他方は、前記第13のトランジスタのソースまたはドレインの他方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第15のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第15のトランジスタのソースまたはドレインの他方は、電源線と電気的に接続される撮像装置。
【請求項3】
画素ブロックと、第1の回路と、第2の回路と、を有する撮像装置であって、
前記画素ブロックは、マトリクス状に配置された複数の画素を有し、
前記複数の画素と前記第2の回路とは電気的に接続され、
前記第1の回路は、1つの行に配置された前記複数の画素を選択する機能を有し、
前記第1の回路は、連続する複数の行に配置された前記複数の画素を選択する機能を有し、
前記画素は、第1のデータを生成する機能を有し、
前記画素は、前記第1のデータに任意の電位を加算して第2のデータを生成する機能を有し、
前記第2の回路は、前記複数の画素のそれぞれが生成する前記第1のデータの和に相当する第3のデータを生成する機能を有し、
前記第2の回路は、前記第3のデータに前記複数の画素のそれぞれが生成する前記第2のデータの和に相当する電位を加算して第4のデータを生成する機能を有し、
前記第2の回路は、第6のトランジスタと、第7のトランジスタと、第8のトランジスタと、第9のトランジスタと、第2のキャパシタと、抵抗と、を有し、
前記第2のキャパシタの一方の電極は、前記複数の画素と電気的に接続され、
前記第2のキャパシタの一方の電極は、前記抵抗と電気的に接続され、
前記第2のキャパシタの他方の電極は、前記第6のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第6のトランジスタのソースまたはドレインの一方は、前記第7のトランジスタのゲートと電気的に接続され、
前記第7のトランジスタのソースまたはドレインの一方は、前記第8のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第8のトランジスタのソースまたはドレインの一方は、前記第9のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第1の回路は、第1の論理回路と、第2の論理回路と、第12のトランジスタと、第13のトランジスタと、第14のトランジスタと、第15のトランジスタと、を有するシフトレジスタ回路であり、
前記第1の論理回路の出力端子は、前記第12のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2の論理回路の出力端子は、前記第13のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第14のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第14のトランジスタのソースまたはドレインの他方は、前記第13のトランジスタのソースまたはドレインの他方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第15のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第15のトランジスタのソースまたはドレインの他方は、電源線と電気的に接続される撮像装置。
【請求項4】
画素ブロックと、第1の回路と、第2の回路と、を有する撮像装置であって、
前記画素ブロックは、マトリクス状に配置された複数の画素を有し、
前記複数の画素と前記第2の回路とは電気的に接続され、
前記第1の回路は、1つの行に配置された前記複数の画素を選択する機能を有し、
前記第1の回路は、連続する複数の行に配置された前記複数の画素を選択する機能を有し、
前記画素は、第1のデータを生成する機能を有し、
前記画素は、前記第1のデータに任意の電位を加算して第2のデータを生成する機能を有し、
前記第2の回路は、前記複数の画素のそれぞれが生成する前記第1のデータの和に相当する第3のデータを生成する機能を有し、
前記第2の回路は、前記第3のデータに前記複数の画素のそれぞれが生成する前記第2のデータの和に相当する電位を加算して第4のデータを生成する機能を有し、
前記画素は、光電変換デバイスと、第1のトランジスタと、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第5のトランジスタと、第1のキャパシタと、を有し、
前記光電変換デバイスの一方の電極は、前記第1のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第1のトランジスタのソースまたはドレインの他方は、前記第2のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2のトランジスタのソースまたはドレインの一方は、前記第3のトランジスタのゲートと電気的に接続され、
前記第3のトランジスタのゲートは、前記第1のキャパシタの一方の電極と電気的に接続され、
前記第1のキャパシタの他方の電極は、前記第4のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第3のトランジスタのソースまたはドレインの一方は、前記第5のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第5のトランジスタのソースまたはドレインの他方は、前記第2の回路と電気的に接続され、
前記第5のトランジスタのゲートは、前記第1の回路と電気的に接続され、
前記第2の回路は、第6のトランジスタと、第7のトランジスタと、第8のトランジスタと、第9のトランジスタと、第2のキャパシタと、抵抗と、を有し、
前記第2のキャパシタの一方の電極は、前記複数の画素と電気的に接続され、
前記第2のキャパシタの一方の電極は、前記抵抗と電気的に接続され、
前記第2のキャパシタの他方の電極は、前記第6のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第6のトランジスタのソースまたはドレインの一方は、前記第7のトランジスタのゲートと電気的に接続され、
前記第7のトランジスタのソースまたはドレインの一方は、前記第8のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第8のトランジスタのソースまたはドレインの一方は、前記第9のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第1の回路は、第1の論理回路と、第2の論理回路と、第12のトランジスタと、第13のトランジスタと、第14のトランジスタと、第15のトランジスタと、を有するシフトレジスタ回路であり、
前記第1の論理回路の出力端子は、前記第12のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第2の論理回路の出力端子は、前記第13のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第14のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第14のトランジスタのソースまたはドレインの他方は、前記第13のトランジスタのソースまたはドレインの他方と電気的に接続され、
前記第12のトランジスタのソースまたはドレインの他方は、前記第15のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第15のトランジスタのソースまたはドレインの他方は、電源線と電気的に接続される撮像装置。
【請求項5】
請求項
2または4において、
さらに第3の回路を有し、
前記画素は、さらに第10のトランジスタと、第11のトランジスタと、を有し、
前記第3の回路は、前記第2の回路と同等の構成および機能を有し、
前記第10のトランジスタのゲートは、前記第3のトランジスタのゲートと電気的に接続され、
前記第10のトランジスタのソースまたはドレインの一方は、前記第11のトランジスタのソースまたはドレインの一方と電気的に接続され、
前記第11のトランジスタのソースまたはドレインの他方は、前記第3の回路と電気的に接続され、
前記第11のトランジスタのゲートは、前記第1の回路と電気的に接続されている撮像装置。
【請求項6】
請求項1乃至5のいずれか一項において、
前記画素ブロックおよび前記第1の回路が有するトランジスタは、チャネル形成領域に金属酸化物を有し、前記金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、NdまたはHfの一つまたは複数)と、を有する撮像装置。
【請求項7】
請求項1乃至5のいずれか一項において、
前記画素ブロック、前記第1の回路および前記第2の回路が有するトランジスタは、チャネル形成領域にシリコンを有する撮像装置。
【請求項8】
請求項
2、4、5のいずれか一項において、
前記光電変換デバイスは
、第1の層に設けられ、
前記画素ブロックおよび前記第1の回路が有するトランジスタは
、第2の層に設けられ、
前記第2の回路が有するトランジスタは、第3の層に設けられ、
前記第2の層は、前記第1の層と前記第3の層との間に設けられ、
前記第1の層乃至前記第3の層は、互いに重なる領域を有し、
前記第1の層と前記第2の層、または前記第2の層と前記第3の層の少なくとも一方は、貼り合わせ工程で接合されている撮像装置。
【請求項9】
請求項8において、
さらに第4の層を有し、
前記第4の層は、前記第3の層が有する回路の構成要素であるトランジスタを有し、
前記第4の層は、前記第2の層と前記第3の層との間に設けられ、
前記第1の層乃至前記第4の層は、互いに重なる領域を有し、
前記第2の層と前記第4の層は、貼り合わせ工程で接合されている撮像装置。
【請求項10】
請求項9において、
前記第4の層が有するトランジスタは、チャネル形成領域に金属酸化物を有し、前記金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、NdまたはHfの一つまたは複数)と、を有する撮像装置。
【請求項11】
請求項1乃至10のいずれか一項に記載の撮像装置と、表示装置と、を有する電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、撮像装置に関する。
【0002】
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの動作方法、または、それらの製造方法、を一例として挙げることができる。
【0003】
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。
【背景技術】
【0004】
基板上に形成された酸化物半導体薄膜を用いてトランジスタを構成する技術が注目されている。例えば、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路に用いる構成の撮像装置が特許文献1に開示されている。
【0005】
また、撮像装置に演算機能を付加する技術が特許文献2に開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2011-119711号公報
【文献】特開2016-123087号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
CMOSイメージセンサなどの固体撮像素子を備える撮像装置では、技術発展により高画質な画像が容易に撮影できるようになっている。次世代においては、撮像装置にさらに知的な機能を搭載することが求められている。
【0008】
画像データの圧縮や画像認識などは、現状では撮像装置で画像データ(アナログデータ)をデジタルデータ変換した後、撮像装置の外部に取り出されて処理が行われる。当該処理を撮像装置内で行うことができれば、外部の機器との連携がより高速となり、使用者の利便性が向上する。また、周辺装置などの負荷や消費電力も低減することができる。また、アナログデータの状態で複雑なデータ処理が行えれば、データ変換に要する時間も短縮することができる。
【0009】
したがって、本発明の一態様では、画像処理を行うことができる撮像装置を提供することを目的の一つとする。または、低消費電力の撮像装置を提供することを目的の一つとする。または、信頼性の高い撮像装置を提供することを目的の一つとする。または、新規な撮像装置などを提供することを目的の一つとする。または、上記撮像装置の動作方法を提供することを目的の一つとする。または、新規な半導体装置などを提供することを目的の一つとする。
【0010】
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
【課題を解決するための手段】
【0011】
本発明の一態様は、画素内にデータを保持しつつ、当該データを演算処理することのできる撮像装置に関する。
【0012】
本発明の一態様は、画素ブロックと、第1の回路と、第2の回路と、を有する撮像装置であって、画素ブロックは、マトリクス状に配置された複数の画素を有し、複数の画素と第2の回路とは電気的に接続され、第1の回路は、1つの行に配置された複数の画素を選択する機能を有し、第1の回路は、連続する複数の行に配置された複数の画素を選択する機能を有し、画素は、第1のデータを生成する機能を有し、画素は、第1のデータに任意の電位を加算して第2のデータを生成する機能を有し、第2の回路は、複数の画素のそれぞれが生成する第1のデータの和に相当する第3のデータを生成する機能を有し、第2の回路は、第3のデータに複数の画素のそれぞれが生成する第2のデータの和に相当する電位を加算して第4のデータを生成する撮像装置である。
【0013】
画素は、光電変換デバイスと、第1のトランジスタと、第2のトランジスタと、第3のトランジスタと、第4のトランジスタと、第5のトランジスタと、第1のキャパシタと、を有し、光電変換デバイスの一方の電極は、第1のトランジスタのソースまたはドレインの一方と電気的に接続され、第1のトランジスタのソースまたはドレインの他方は、第2のトランジスタのソースまたはドレインの一方と電気的に接続され、第2のトランジスタのソースまたはドレインの一方は、第3のトランジスタのゲートと電気的に接続され、第3のトランジスタのゲートは、第1のキャパシタの一方の電極と電気的に接続され、第1のキャパシタの他方の電極は、第4のトランジスタのソースまたはドレインの一方と電気的に接続され、第3のトランジスタのソースまたはドレインの一方は、第5のトランジスタのソースまたはドレインの一方と電気的に接続され、第5のトランジスタのソースまたはドレインの他方は、第2の回路と電気的に接続され、第5のトランジスタのゲートは、第1の回路と電気的に接続することができる。
【0014】
第2の回路は、第6のトランジスタと、第7のトランジスタと、第8のトランジスタと、第9のトランジスタと、第2のキャパシタと、抵抗と、を有し、第2のキャパシタの一方の電極は、複数の画素と電気的に接続され、第2のキャパシタの一方の電極は、抵抗と電気的に接続され、第2のキャパシタの他方の電極は、第6のトランジスタのソースまたはドレインの一方と電気的に接続され、第6のトランジスタのソースまたはドレインの一方は、第7のトランジスタのゲートと電気的に接続され、第7のトランジスタのソースまたはドレインの一方は、第8のトランジスタのソースまたはドレインの一方と電気的に接続され、第8のトランジスタのソースまたはドレインの一方は、第9のトランジスタのソースまたはドレインの一方と電気的に接続することができる。
【0015】
さらに第3の回路を有し、画素は、さらに第10のトランジスタと、第11のトランジスタと、を有し、第3の回路は、第2の回路と同等の構成および機能を有し、第10のトランジスタのゲートは、第3のトランジスタのゲートと電気的に接続され、第10のトランジスタのソースまたはドレインの一方は、第11のトランジスタのソースまたはドレインの一方と電気的に接続され、第11のトランジスタのソースまたはドレインの他方は、第3の回路と電気的に接続され、第11のトランジスタのゲートは、第1の回路と電気的に接続されていてもよい。
【0016】
第1の回路は、第1の論理回路と、第2の論理回路と、第12のトランジスタと、第13のトランジスタと、第14のトランジスタと、第15のトランジスタと、を有するシフトレジスタ回路であり、第1の論理回路の出力端子は、第12のトランジスタのソースまたはドレインの一方と電気的に接続され、第2の論理回路の出力端子は、第13のトランジスタのソースまたはドレインの一方と電気的に接続され、第12のトランジスタのソースまたはドレインの他方は、第14のトランジスタのソースまたはドレインの一方と電気的に接続され、第14のトランジスタのソースまたはドレインの他方は、第13のトランジスタのソースまたはドレインの他方と電気的に接続され、第12のトランジスタのソースまたはドレインの他方は、第15のトランジスタのソースまたはドレインの一方と電気的に接続され、第15のトランジスタのソースまたはドレインの他方は、電源線と電気的に接続することができる。
【0017】
画素ブロックおよび第1の回路が有するトランジスタは、チャネル形成領域に金属酸化物を有し、金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、NdまたはHfの一つまたは複数)と、を有することができる。
【0018】
または、画素ブロック、第1の回路および第2の回路が有するトランジスタは、チャネル形成領域にシリコンを有していてもよい。
【0019】
光電変換デバイスは第1の層に設けられ、画素ブロックおよび第1の回路が有するトランジスタは第2の層に設けられ、第2の回路が有するトランジスタは、第3の層に設けられ、第2の層は、第1の層と第3の層との間に設けられ、第1の層乃至第3の層は、互いに重なる領域を有し、第1の層と第2の層、または第2の層と第3の層の少なくとも一方は、貼り合わせ工程で接合することができる。
【0020】
さらに第4の層を有し、第4の層は、第3の層が有する回路の構成要素であるトランジスタを有し、第4の層は、第2の層と第3の層との間に設けられ、第1の層乃至第4の層は、互いに重なる領域を有し、第2の層と第4の層は、貼り合わせ工程で接合されていてもよい。
【0021】
第4の層が有するトランジスタは、チャネル形成領域に金属酸化物を有し、金属酸化物は、Inと、Znと、M(MはAl、Ti、Ga、Ge、Sn、Y、Zr、La、Ce、NdまたはHfの一つまたは複数)と、を有することができる。
【0022】
また、本発明の他の一態様は、第1の撮像データに相当する電位を第1の電位に初期化する第1のステップと、第1の撮像データに第2の電位を加算した電位と第1の電位との差分である第3の電位を生成する第2のステップと、第2の撮像データに相当する電位を第4の電位に初期化する第3のステップと、第2の撮像データに第5の電位を加算した電位と第4の電位との差分である第6の電位を生成する第4のステップと、第3の電位と第6の電位との差分である第7の電位を取得する第5のステップと、第7の電位をニューラルネットワークに出力する第6のステップと、を有する撮像装置の動作方法である。
【0023】
第1の撮像データは、画素の電荷蓄積部の電位がリセット電位からの変化を伴う動作で取得し、第2の撮像データは、画素の電荷蓄積部の電位がリセット電位からの変化を伴わない動作で取得することができる。
【0024】
第1の電位と第4の電位は、同じ値の電位を用いることができる。または、第1の電位と第4の電位は、異なる値の電位であってもよい。
【0025】
第2の電位と第5の電位は、同じ値の電位を用いることができる。または、第2の電位と第5の電位は、異なる値の電位であってもよい。
【発明の効果】
【0026】
本発明の一態様を用いることで、画像処理を行うことができる撮像装置を提供することができる。または、低消費電力の撮像装置を提供することができる。または、信頼性の高い撮像装置を提供することができる。または、新規な撮像装置などを提供することができる。または、上記撮像装置の駆動方法を提供することができる。または、新規な半導体装置などを提供することができる。
【図面の簡単な説明】
【0027】
図1は、撮像装置を説明するブロック図である。
図2は、画素ブロック200および回路201を説明する図である。
図3A、
図3Bは、画素100を説明する図である。
図4A、
図4Bは、画素ブロック200および回路201の動作を説明するタイミングチャートである。
図5Aは、画素100を説明する図である。
図5Bは、画素ブロック200a、200bを説明する図である。
図6は、回路304を説明する図である。
図7は、回路304の動作を説明するタイミングチャートである。
図8は、回路304の動作を説明するタイミングチャートである。
図9は、画素100を説明する図である。
図10は、画素100と回路201の接続関係を説明する図である。
図11Aは、画素100の選択動作を説明するタイミングチャートである。
図11B、
図11Cは、画素ブロックに適用する畳み込みフィルタを説明する図である。
図12は、画素100の選択動作を説明する図である。
図13は、画素100の選択動作を説明する図である。
図14Aは、画素ブロック200および回路201が出力する信号を説明する図である。
図14Bは、回路302が出力する信号を説明する図である。
図15は、回路302(ニューラルネットワーク)を説明する図である。
図16は、回路302が有する画素を説明する図である。
図17A、
図17Bは、ニューラルネットワークの構成例を示す図である。
図18A、
図18Bは、撮像装置の画素の構成を説明する図である。
図18C乃至
図18Eは、光電変換デバイスを説明する図である。
図19A、
図19Bは、撮像装置の画素の構成を説明する図である。
図20A乃至
図20Cは、トランジスタを説明する図である。
図21A、
図21Bは、撮像装置の画素の構成を説明する図である。
図22A乃至
図22Dは、トランジスタを説明する図である。
図23は、撮像装置の画素の構成を説明する図である。
図24A、
図24Bは、撮像装置の画素の構成を説明する図である。
図25A乃至
図25Cは、撮像装置の画素の構成を説明する斜視図である。
図26A1乃至
図26B3は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図27A乃至
図27Fは、電子機器を説明する図である。
図28は、撮像装置を説明する図である。
図29は、撮像装置を説明する図である。
図30A、
図30Bは、撮像装置の動作を説明するタイミングチャートである。
図31Aは、撮像装置の動作を説明するタイミングチャートである。
図31Bは、フィルタの位置を説明する図である。
図32は、OSトランジスタの構造を説明する図である。
図33は、OSトランジスタのId-Vd特性を説明する図である。
図34は、試作した撮像装置の上面写真である。
図35は、光電変換デバイスの光電流特性を説明する図である。
図36Aは、積和演算の結果を説明する図である。
図36Bは、積分非線形性を説明する図である。
図37は、演算の対象としたシマウマの画像である。
図38Aは、横ストライプを抽出するためのフィルタデータを説明する図である。
図38Bは、横ストライプを抽出するためのフィルタデータにより抽出された画像である。
図39Aは、縦ストライプを抽出するためのフィルタデータを説明する図である。
図39Bは、縦ストライプを抽出するためのフィルタデータにより抽出された画像である。
図40Aは、回転する画像を説明する図である。
図40Bは特徴量の求め方を説明する図である。
図40Cは、特徴量の抽出結果を示す図である。
図41Aは、実施例2で用いた実験装置の外観写真図である。
図41Bは、撮像データが処理される様子を示す模式図である。
【発明を実施するための形態】
【0028】
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略することがある。なお、図を構成する同じ要素のハッチングを異なる図面間で適宜省略または変更する場合もある。
【0029】
また、回路図上では単一の要素として図示されている場合であっても、機能的に不都合がなければ、当該要素が複数で構成されてもよい。例えば、スイッチとして動作するトランジスタは、複数が直列または並列に接続されてもよい場合がある。また、キャパシタを分割して複数の位置に配置する場合もある。
【0030】
また、一つの導電体が、配線、電極および端子のような複数の機能を併せ持っている場合があり、本明細書においては、同一の要素に対して複数の呼称を用いる場合がある。また、回路図上で要素間が直接接続されているように図示されている場合であっても、実際には当該要素間が一つまたは複数の導電体を介して接続されている場合があり、本明細書ではこのような構成でも直接接続の範疇に含める。
【0031】
(実施の形態1)
本実施の形態では、本発明の一態様である撮像装置について、図面を参照して説明する。
【0032】
本発明の一態様は、画像認識などの付加機能を備えた撮像装置である。当該撮像装置は、撮像動作で取得したアナログデータ(画像データ)を画素に保持し、当該アナログデータと任意の重み係数とを乗じたデータを取り出すことができる。
【0033】
さらに、画素から取り出した当該データをニューラルネットワークなどに取り込むことで、画像認識などの処理を行うことができる。本発明の一態様では、膨大な画像データをアナログデータの状態で画素に保持し、かつ画素内で演算することができるため、効率良く処理を行うことができる。
【0034】
図1は、本発明の一態様の撮像装置を説明するブロック図である。撮像装置は、画素アレイ300と、回路201と、回路301と、回路302と、回路303と、回路304と、回路305と、を有する。なお、回路201および回路301乃至回路305は、単一の回路構成に限らず、複数の回路で構成される場合がある。または、上記いずれか複数の回路が統合されていてもよい。画素アレイ300は、撮像機能および演算機能を有する。回路201、301は、演算機能を有する。回路302は、演算機能またはデータ変換機能を有する。回路303、304は、選択機能を有する。回路305は、画素に電位を供給する機能を有する。
【0035】
画素アレイ300は、複数の画素ブロック200を有する。画素ブロック200は、
図2に示すように、マトリクス状に配置された複数の画素100を有し、それぞれの画素100は、回路201と電気的に接続される。なお、回路201は画素ブロック200内に設けることもできる。
【0036】
画素100では画像データを取得することができる。なお、
図2においては、一例として画素数を2×2としているが、これに限らない。例えば、3×3、4×4などとすることができる。または、水平方向と垂直方向の画素数が異なっていてもよい。また、一部の画素を隣り合う画素ブロックで共有してもよい。
【0037】
画素ブロック200および回路201は、積和演算回路として動作する。また、回路201は、相関二重サンプリング回路(CDS回路)としての機能も有する。
【0038】
画素100は、
図3Aに示すように、光電変換デバイス101と、トランジスタ102と、トランジスタ103と、キャパシタ104と、トランジスタ105と、トランジスタ106と、トランジスタ108を有することができる。なお、光電変換デバイスは、光電変換素子と言い換えることができる。また、キャパシタは、容量または容量素子と言い換えることができる。
【0039】
光電変換デバイス101の一方の電極は、トランジスタ102のソースまたはドレインの一方と電気的に接続される。トランジスタ102のソースまたはドレインの他方は、トランジスタ103のソースまたはドレインの一方と電気的に接続される。トランジスタ103のソースまたはドレインの一方は、キャパシタ104の一方の電極と電気的に接続される。キャパシタ104の一方の電極は、トランジスタ105のゲートと電気的に接続される。トランジスタ105のソースまたはドレインの一方は、トランジスタ108のソースまたはドレインの一方と電気的に接続される。キャパシタ104の他方の電極は、トランジスタ106のソースまたはドレインの一方と電気的に接続される。
【0040】
光電変換デバイス101の他方の電極は、配線114と電気的に接続される。トランジスタ102のゲートは、配線116と電気的に接続される。トランジスタ103のソースまたはドレインの他方は、配線115に電気的に接続される。トランジスタ103のゲートは、配線117と電気的に接続される。トランジスタ105のソースまたはドレインの他方は、GND配線などと電気的に接続される。トランジスタ108のソースまたはドレインの他方は、配線113と電気的に接続される。トランジスタ106のソースまたはドレインの他方は、配線111と電気的に接続される。トランジスタ106のゲートは、配線112と電気的に接続される。トランジスタ108のゲートは、配線122と電気的に接続される。
【0041】
ここで、トランジスタ102のソースまたはドレインの他方と、トランジスタ103のソースまたはドレインの一方と、キャパシタ104の一方の電極と、トランジスタ105のゲートとが電気的に接続する部位をノードNとする。
【0042】
配線114、115は、電源線としての機能を有することができる。例えば、配線114は高電位電源線、配線115は低電位電源線として機能させることができる。配線112、116、117、122は、各トランジスタの導通を制御する信号線として機能させることができる。配線111は、画素100に重み係数に相当する電位を供給する配線として機能させることができる。配線113は、画素100と回路201とを電気的に接続する配線として機能させることができる。
【0043】
なお、配線113には、増幅回路やゲイン調整回路が電気的に接続されていてもよい。
【0044】
光電変換デバイス101としては、フォトダイオードを用いることができる。低照度時の光検出感度を高めたい場合は、アバランシェフォトダイオードを用いることが好ましい。
【0045】
トランジスタ102は、ノードNの電位を制御する機能を有することができる。トランジスタ103は、ノードNの電位を初期化する機能を有することができる。トランジスタ105は、ノードNの電位に応じて回路201が流す電流を制御する機能を有することができる。トランジスタ108は、画素を選択する機能を有することができる。トランジスタ106は、ノードNに重み係数に相当する電位を供給する機能を有することができる。
【0046】
なお、トランジスタ105およびトランジスタ108は、
図3Bに示すように、トランジスタ105のソースまたはドレインの一方とトランジスタ108のソースまたはドレインの一方を電気的に接続し、トランジスタ105のソースまたはドレインの他方を配線113に接続し、トランジスタ108のソースまたはドレインの他方をGND配線などと電気的に接続する構成としてもよい。
【0047】
光電変換デバイス101にアバランシェフォトダイオードを用いる場合は、高電圧を印加することがあり、光電変換デバイス101と接続されるトランジスタには高耐圧のトランジスタを用いることが好ましい。高耐圧のトランジスタには、例えば、チャネル形成領域に金属酸化物を用いたトランジスタ(以下、OSトランジスタ)などを用いることができる。具体的には、トランジスタ102にOSトランジスタを適用することが好ましい。
【0048】
また、OSトランジスタは、オフ電流が極めて低い特性も有する。トランジスタ102、103、106にOSトランジスタを用いることによって、ノードNで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。また、ノードNに画像データを保持させつつ、当該画像データを用いた複数回の演算を行うこともできる。
【0049】
一方、トランジスタ105は、増幅特性が優れていることが望まれる。また、トランジスタ106、108は頻繁にオンオフが繰り返されることがあるため、高速動作が可能な移動度が高いトランジスタであることが好ましい。したがって、トランジスタ105、106、108には、シリコンをチャネル形成領域に用いたトランジスタ(以下、Siトランジスタ)を用いてもよい。
【0050】
なお、上記に限らず、OSトランジスタおよびSiトランジスタを任意に組み合わせて適用してもよい。また、全てのトランジスタをOSトランジスタとしてもよい。または、全てのトランジスタをSiトランジスタとしてもよい。Siトランジスタとしては、アモルファスシリコンを有するトランジスタ、結晶性のシリコン(微結晶シリコン、低温ポリシリコン、単結晶シリコン)を有するトランジスタなどが挙げられる。
【0051】
画素100におけるノードNの電位は、配線115から供給されるリセット電位および光電変換デバイス101による光電変換で生成される電位(画像データ)が加算された電位と、配線111から供給される重み係数に相当する電位との容量結合で確定される。すなわち、トランジスタ105には、画像データに任意の重み係数が加わったデータに応じた電流が流れる。
【0052】
図2に示すように、各画素100は、配線113で互いに電気的に接続される。回路201は、各画素100のトランジスタ105に流れる電流の和を用いて演算を行うことができる。
【0053】
回路201は、キャパシタ202と、トランジスタ203と、トランジスタ204と、トランジスタ205と、トランジスタ206と、抵抗207を有する。
【0054】
キャパシタ202の一方の電極は、トランジスタ203のソースまたはドレインの一方と電気的に接続される。トランジスタ203のソースまたはドレインの一方は、トランジスタ204のゲートと電気的に接続される。トランジスタ204のソースまたはドレインの一方は、トランジスタ205のソースまたはドレインの一方と電気的に接続される。トランジスタ205のソースまたはドレインの一方は、トランジスタ206のソースまたはドレインの一方と電気的に接続される。抵抗207の一方の電極は、キャパシタ202の他方の電極と電気的に接続される。
【0055】
キャパシタ202の他方の電極は、配線113と電気的に接続される。トランジスタ203のソースまたはドレインの他方は、配線218と電気的に接続される。トランジスタ204のソースまたはドレインの他方は、配線219と電気的に接続される。トランジスタ205のソースまたはドレインの他方は、GND配線などの基準電源線と電気的に接続される。トランジスタ206のソースまたはドレインの他方は、配線212と電気的に接続される。抵抗207の他方の電極は、配線217と電気的に接続される。
【0056】
配線217、218、219は、電源線としての機能を有することができる。例えば、配線218は、読み出し用のリセット電位を供給する配線としての機能を有することができる。配線217、219は、高電位電源線として機能させることができる。配線213、215、216は、各トランジスタの導通を制御する信号線として機能させることができる。配線212は出力線であり、例えば、
図1に示す回路302と電気的に接続することができる。
【0057】
トランジスタ203は、配線211の電位を配線218の電位にリセットする機能を有することができる。トランジスタ204、205は、ソースフォロア回路としての機能を有することができる。トランジスタ206は、読み出しを制御する機能を有することができる。なお、回路201は、CDS回路として動作する機能を有すれば、他の構成であってもよい。
【0058】
本発明の一態様では、画像データ(電位X)と重み係数(電位W)との積以外のオフセット成分を除去し、目的のWXを抽出する。WXは、同じ画素に対して、撮像あり、なしのデータと、そのそれぞれに対して、重みを与えたときのデータを利用して算出することができる。
【0059】
撮像ありのときに画素100に流れる電流(Ip)の合計はkΣ(X-Vth)2、重みを与えたときに画素100に流れる電流(Ip)の合計はkΣ(W+X-Vth)2となる。また、撮像なしのときに画素100に流れる電流(Iref)の合計はkΣ(0-Vth)2、重みを与えたときに画素100に流れる電流(Iref)の合計はkΣ(W-Vth)2となる。ここで、kは定数、Vthはトランジスタ105のしきい値電圧である。
【0060】
まず、撮像ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する。kΣ((X-Vth)2-(W+X-Vth)2)=kΣ(-W2-2W・X+2W・Vth)となる。
【0061】
次に、撮像なしのデータと、当該データに重みを与えたデータとの差分(データB)を算出する。kΣ((0-Vth)2-(W-Vth)2)=kΣ(-W2+2W・Vth)となる。
【0062】
そして、データAとデータBとの差分をとる。kΣ(-W2-2W・X+2W・Vth-(-W2+2W・Vth))=kΣ(-2W・X)となる。すなわち、画像データ(X)と重み係数(W)との積以外のオフセット成分を除去することができる。
【0063】
回路201では、データAおよびデータBを読み出すことができる。なお、データAとデータBとの差分演算は回路301で行うことができる。
【0064】
図4Aは、画素ブロック200および回路201において、撮像ありのデータと、当該データに重みを与えたデータとの差分(データA)を算出する動作を説明するタイミングチャートである。なお、便宜的に各信号が変換するタイミングをあわせて図示しているが、実際には回路内部の遅延を考慮してずらすことが好ましい。
【0065】
まず、期間T1に配線117の電位を“H”、配線116の電位を“H”とし、画素100のノードNをリセット電位とする。また、配線111の電位を“L”、配線112、1および112_2(1および2行目の配線112)を“H”とし、重み係数0を書き込む。
【0066】
期間T2まで配線116の電位を“H”に維持し、配線117の電位を”L”とすることで光電変換デバイス101の光電変換によりノードNに電位X(画像データ)を書き込む。
【0067】
期間T3に配線122_1、122_2の電位を“H”として画素ブロック内のすべての画素100を選択する。このとき、各画素100のトランジスタ105には、電位Xに応じた電流が流れる。また、配線216を“H”とすることで、配線211に配線218の電位Vrを書き込む。期間T1乃至T3の動作は撮像ありのデータの取得に相当し、当該データは、配線211の電位Vrに初期化される。
【0068】
期間T4において、配線111の電位を重み係数W111(1行目の画素に加える重み)に相当する電位とし、配線112_1の電位を“H”とすることで、1行目の画素100のノードNにキャパシタ104の容量結合で重み係数W111を加算する。
【0069】
期間T5において、配線111の電位を重み係数W112(2行目の画素に加える重み)に相当する電位とし、配線112_2の電位を“H”とすることで、2行目の画素100のノードNにキャパシタ104の容量結合で重み係数W112を加算する。期間T4およびT5の動作は、撮像ありのデータに重みを与えたデータの生成に相当する。
【0070】
期間T6に配線122_1、122_2の電位を“H”として画素ブロック内のすべての画素100を選択する。このとき、1行目の画素100のトランジスタ105には、電位W111+Xに応じた電流が流れる。また、2行目の画素100のトランジスタ105には、電位W112+Xに応じた電流が流れる。ここで、配線113に流れる電流に従ってキャパシタ202の他方の電極の電位が変化し、その変化分Yが容量結合によって配線211の電位Vrに加算される。したがって、配線211の電位は、“Vr+Y”になる。ここで、Vr=0と考えると、Yは差分そのものであり、データAが算出されたことになる。
【0071】
また、配線213の電位を“H”、配線215の電位を“Vbias”などの適切なアナログ電位とすることで、回路201はソースフォロア動作により1行目の画素ブロック200のデータAに応じた信号電位を出力することができる。
【0072】
図4Bは、画素ブロック200および回路201において、撮像なしのデータと、当該データに重みを与えたデータとの差分(データB)を算出する動作を説明するタイミングチャートである。なお、ここでは、画素ブロック200からデータBを連続して取得する動作を説明するが、データBの取得は、
図4に示したデータAの取得と交互に行ってもよい。また、データBを先に取得したのちにデータAを取得してもよい。
【0073】
まず、期間T1乃至T2に配線117の電位を“H”、配線116の電位を“H”とし、画素100のノードNをリセット電位(0)とする。期間T2の終わりには、配線117の電位を“L”、配線116の電位を“L”とする。すなわち、当該期間中において、ノードNの電位は、光電変換デバイス101の動作にかかわらずリセット電位である。
【0074】
また、期間T1では、配線111の電位を“L”、配線112_1、112_2を“H”とし、重み係数0を書き込む。当該動作は、ノードNの電位がリセット電位である期間中に行えばよい。
【0075】
期間T3に配線122_1、122_2の電位を“H”として画素ブロック内のすべての画素100を選択する。このとき、各画素100のトランジスタ105には、リセット電位に応じた電流が流れる。また、配線216を“H”とすることで、配線211に配線218の電位Vrを書き込む。期間T1乃至T3の動作は撮像なしのデータの取得に相当し、当該データは、配線211の電位Vrに初期化される。
【0076】
期間T4において、配線111の電位を重み係数W111(1行目の画素に加える重み)に相当する電位とし、配線112_1の電位を“H”とすることで、1行目の画素100のノードNにキャパシタ104の容量結合で重み係数W111を加算する。
【0077】
期間T5において、配線111の電位を重み係数W112(2行目の画素に加える重み)に相当する電位とし、配線112_2の電位を“H”とすることで、2行目の画素100のノードNにキャパシタ104の容量結合で重み係数W112を加算する。期間T4およびT5の動作は、撮像なしのデータに重みを与えたデータの生成に相当する。
【0078】
期間T6に配線122_1、122_2の電位を“H”として画素ブロック内のすべての画素100を選択する。このとき、1行目の画素100のトランジスタ105には、電位W111+0に応じた電流が流れる。また、1行目の画素100のトランジスタ105には、電位W112+0に応じた電流が流れる。ここで、配線113に流れる電流に従ってキャパシタ202の他方の電極の電位が変化し、その変化分Yが配線211の電位Vrに加算される。したがって、配線211の電位は、“Vr+Z”になる。ここで、Vr=0と考えると、Zは差分そのものであり、データBが算出されたことになる。
【0079】
また、配線213の電位を“H”、配線215の電位を“Vbias”などの適切なアナログ電位とすることで、回路201はソースフォロア動作により1行目の画素ブロック200のデータBに応じた信号電位を出力することができる。
【0080】
上記動作によって回路201から出力されるデータAおよびデータBは、回路301に入力される。回路301では、データAとデータBの差分をとる演算が行われ、画像データ(電位X)と重み係数(電位W)との積以外の不要なオフセット成分を除去することができる。回路301としては、回路201のような演算回路を有する構成のほか、メモリ回路およびソフトウェア処理を利用して差分をとる構成としてもよい。
【0081】
なお、上記動作において、回路201の配線211の電位は、データAの取得動作およびデータBの取得動作ともに同じ電位“Vr”に初期化している。そして、その後の差分演算で、“(Vr+Y)-(Vr+Z)”=“Y-Z”となり、電位“Vr”の成分は除去される。また、前述したように、その他の不要なオフセット成分も除去されるため、画像データ(電位X)と重み係数(電位W)との積を抽出することができる。
【0082】
当該動作は、推論などを行うニューラルネットワークの始めの動作に相当する。したがって、膨大な画像データを外部に取り出す前に撮像装置内で少なくとも一つの演算を行うことができ、外部での演算やデータの入出力などの負荷の低減、処理の高速化、および消費電力を低減させることができる。
【0083】
また、上記とは異なる動作として、データAの取得動作とデータBの取得動作で、回路201の配線211の電位を異なる電位に初期化してもよい。例えば、データAの取得動作時に電位“Vr1”に初期化し、データBに取得動作時に電位“Vr2”に初期化したとする。この場合、その後の差分演算では、“(Vr1+Y)-(Vr2+Z)”=“(Vr1-Vr2)+(Y-Z)”となる。“Y-Z”は前述の動作と同様に画像データ(電位X)と重み係数(電位W)との積として抽出され、さらに、“Vr1-Vr2”が加わる。ここで、“Vr1-Vr2”は、ニューラルネットワークの中間層の演算でしきい値調整として用いられるバイアスに相当する。
【0084】
また、重みは、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)のフィルタの役割を有するが、それ以外にデータの増幅または減衰を行う役割を有していてもよい。例えば、データAの取得動作時の重み係数(W)をフィルタ処理分と増幅分の積とすれば、画像データとフィルタ処理分の重み係数との積を増幅し、明るい画像に補正されたデータを抽出することができる。また、データBは撮像無しのデータであり、黒レベルのデータであるということもできる。したがって、データAとデータBの差分をとる動作は、暗所で撮像した画像の可視化を助長するための動作といえる。すなわち、ニューラルネットワークを用いた輝度補正が可能となる。
【0085】
上述したように、本発明の一態様では、撮像装置内の動作でバイアスの生成が可能である。また、撮像装置内で機能的な重みを付加することもできる。したがって、外部での演算などの負荷を低減できるとともに、様々な用途に用いることができる。例えば、被写体の推論のほか、画像データの解像度補正、輝度補正、モノクロ画像からのカラー画像の生成、2次元画像からの3次元画像の生成、欠損情報の復元、静止画から動画の生成、ピンボケ画像の修正などの処理において、その一部の処理を撮像装置内で行うことができる。
【0086】
画素ブロック200では、隣り合う画素ブロック200同士で画素100を共有してもよい。例えば、画素100においては、
図5Aに示すように、トランジスタ105と同様の出力が可能なトランジスタ107を設ける。トランジスタ107のゲートはトランジスタ105のゲートと電気的に接続され、ソースまたはドレインの一方はトランジスタ109を介して配線118と電気的に接続される。トランジスタ109のゲートは、配線122と電気的に接続することができる。
【0087】
配線118は、隣り合う画素ブロックと接続される回路201との電気的な接続に利用される。
図5Bは、隣り合う画素ブロック200(画素ブロック200a、200b)における画素100(画素100a、100b、100c、100d、100e、100f、100g、100h)および当該画素ブロック200と接続される回路201(回路201a、201b)との接続の形態を示す図である。
【0088】
画素ブロック200aにおいて、画素100a、100b、100c、100dは、配線113を介して回路201aと電気的に接続される。また、画素100eおよび100gは、配線118を介して回路201aと電気的に接続される。
【0089】
画素ブロック200bにおいて、画素100e、100f、100g、100hは、配線113を介して回路201bと電気的に接続される。また、画素100bおよび100dは、配線118を介して回路201bと電気的に接続される。
【0090】
つまり、画素ブロック200aおよび画素ブロック200bにおいては、画素100b、100d、100e、100gを共有しているといえる。このような形態とすることで、画素ブロック200間のネットワークを密にすることができ、画像解析などの精度を向上させることができる。
【0091】
重み係数は、
図1に示す回路305から配線111に出力することができ、フレーム期間内に1回以上重み係数を書き換えることが好ましい。回路305としてはデコーダを用いることができる。また、回路305は、D/AコンバータやSRAMを有していてもよい。
【0092】
また、重み係数を入力する画素100を選択する配線112には、回路303から信号電位を出力することができる。回路303には、デコーダまたはシフトレジスタを用いることができる。
【0093】
また、画素100のトランジスタ108のゲートに接続される配線122等には、回路304から信号電位を出力することができる。回路304には、デコーダまたはシフトレジスタを用いることができる。
【0094】
上記では、撮像した画像データの加工処理について説明したが、本発明の一態様の撮像装置では、画像データを加工せずに取り出すこともできる。
【0095】
積和演算では、複数の行の画素を同時に選択できることが好ましい。一方で、撮像データのみを取り出す場合は、一つの行の画素からデータを取り出すことが望ましい。本発明の一態様では、画素100を選択するための回路304に、選択する行数を切り替える機能が設けられている。
【0096】
図6は、回路304に用いることのできる回路の一例である。当該回路はシフトレジスタ回路であり、複数の論理回路(SR)が電気的に接続されている。それぞれの論理回路(SR)には、配線RES、配線VSS_RDRS、配線RPWC_SE[0:3]、配線RCLK[0:3]、配線RSPなどの信号線が接続され、それぞれの信号線に適切な信号電位を入力することで、当該論理回路(SR)から選択信号電位の出力を順次行うことができる。
【0097】
また、論理回路(SR)には、回路170が電気的に接続されている。回路170には複数のトランジスタが設けられ、配線SE_SW[0:2]、配線SX[0:2]などの信号線が接続され、それぞれの信号線に適切な信号電位を入力することでトランジスタの導通が制御される。回路170の制御により、選択する画素の行数を切り替えることができる。
【0098】
一つの論理回路(SR)の出力端子には、一つのトランジスタのソースまたはドレインの一方が電気的に接続され、当該トランジスタのソースまたはドレインの他方には配線SEが接続される。配線SEは、画素100を選択する配線122と電気的に接続される。
【0099】
配線SE[0]に接続されるトランジスタのゲートには、配線SE_SW[0]から供給される信号電位を入力することができる。配線SE[1]に接続されるトランジスタのゲートには、配線SE_SW[1]から供給される信号電位を入力することができる。配線SE[2]に接続されるトランジスタのゲートには、配線SE_SW[2]から供給される信号電位を入力することができる。配線SE[3]以降に接続されるトランジスタのゲートには、同様の順で配線SE_SW[0:2]のいずれかから供給される信号電位を入力することができる。
【0100】
また、隣接する配線SE間は、一つのトランジスタを介して電気的に接続され、配線SE[0]は、一つのトランジスタを介して電源線(VSS)と電気的に接続される。
【0101】
電源線(VSS)と配線SE[0]とを電気的に接続するトランジスタのゲートには、配線SX[0]から供給される信号電位を入力することができる。配線SE[0]と配線SE[1]とを電気的に接続するトランジスタのゲートには、配線SX[1]から供給される信号電位を入力することができる。配線SE[1]と配線SE[2]とを電気的に接続するトランジスタのゲートには、配線SX[2]から供給される信号電位を入力することができる。それ以降の配線SE間を電気的に接続するトランジスタのゲートには、同様の順で配線SX[0:2]から供給される信号電位のいずれかを入力することができる。
【0102】
図7は、
図6に示す回路により、複数の行(3行)を同時選択する動作を説明するタイミングチャートである。(0)乃至(161)は、論理回路(SR)が配線SEに信号電位を出力するタイミングに相当する。
【0103】
タイミング(0)において、配線SX[0]の電位が“L”、配線SX[1]の電位が“H”、配線SX[2]の電位が“H”、配線SE_SW[0]の電位が“H”、配線SE_SW[1]の電位が“L”、配線SE_SW[2]の電位が“L”になると、各トランジスタの導通が制御され、配線SE[0]に“H”、配線SE[1]に“H”、配線SE[2]に“H”が出力される。その他の配線SEには“L”が出力される。
【0104】
したがって、3行を同時選択することでき、例えば3行3列の画素の積和演算を行うことができる。
【0105】
タイミング(1)において、配線SX[0]の電位が“H”、配線SX[1]の電位が“L”、配線SX[2]の電位が“H”、配線SE_SW[0]の電位が“L”、配線SE_SW[1]の電位が“H”、配線SE_SW[2]の電位が“L”になると、各トランジスタの導通が制御され、配線SE[0]に“L”、配線SE[1]に“H”、配線SE[2]に“H”、配線SE[3]に“H”が出力される。その他の配線SEには“L”が出力される。
【0106】
つまり、タイミング(1)では、タイミング(0)から1行分ずらしたストライド1の積和演算が可能となる。
【0107】
図8は、
図6に示す回路により、1つの行を選択する動作を説明するタイミングチャートである。
【0108】
当該タイミングチャートに従った動作では、配線SE_SW[0:2]の電位が常時“H”であり、配線SX[0:2]の電位が常時“L”である。したがって、論理回路(SR)の出力がそのまま各配線SEに現れることから、1行毎の選択が可能となる。
【0109】
なお、
図2に示す構成では、重みの演算(フィルタ処理)などを行う画素ブロック200を一つずつ回路201で読み出す動作を行うため、ストライド1の積和演算などでは多くの読み出し時間が必要になる。換言すると、
図2に示す構成では、列方向の画素ブロック200に対して、フィルタ処理を並列化することができない。
【0110】
そこで、
図9に示すように、画素100にトランジスタ131およびトランジスタ132を設けて並列読み出しができる構成としてもよい。
【0111】
トランジスタ131のゲートは、トランジスタ105のゲートと電気的に接続される。トランジスタ132のゲートは、配線123と電気的に接続される。トランジスタ131のソースまたはドレインの一方は、トランジスタ132とソースまたはドレインの一方と電気的に接続され、トランジスタ131のソースまたはドレインの他方は、GND配線などの基準電位線と電気的に接続される。
【0112】
また、トランジスタ108のソースまたはドレインの他方は、配線113aと電気的に接続される。トランジスタ132のソースまたはドレインの他方は、配線113bと電気的に接続される。
【0113】
図10に、垂直方向に連続する5行に接続される複数の画素100(画素100a乃至画素100j)と、当該画素と電気的に接続する配線122(配線122_n-2乃至配線122_n+2、nは自然数)と、当該画素と電気的に接続する配線123(配線123_n-2乃至配線123_n+2、nは自然数)と、当該画素と電気的に接続される回路201(回路201aおよび回路201b)との接続関係を示す。
【0114】
図10に示す構成では、回路201を二つ有する。配線113aは回路201aと電気的に接続され、配線113bは、回路201bと電気的に接続される。
【0115】
図10に示す構成で並列読み出しを行う動作を
図11Aに示すタイミングチャート、ならびに
図12および
図13を用いて説明する。なお、ここでは、
図11B、
図11Cに示す4画素単位の画素ブロックに適用する畳み込みフィルタを用い、当該フィルタが適用された画素ブロックをストライド1で順次読み出す動作を説明する。F1乃至F4、F5乃至F8は、それぞれの画素100に加算する重みに相当する。
【0116】
なお、ここでは、並列読み出し動作に関する画素100の選択動作のみを説明する。画素100および回路201の詳細な動作の説明は
図4A、
図4Bの説明を参照することができる。
【0117】
期間T1では、
図12に示す画素100a乃至画素100dからなる画素ブロックと、画素100e乃至画素100hからなる画素ブロックを並列に同時に読み出す動作を行う。前者の画素ブロックには、
図11Bに示すフィルタが適用される。後者の画素ブロックには、
図11Cに示すフィルタが適用される。
【0118】
期間T1に、配線122_n-2、配線122_n-1、配線123_n、配線123_n+1を“H”とすると、画素100a乃至画素100dではトランジスタ108が導通し、回路201aから画素100a乃至画素100dの積和演算結果が出力される。また、画素100e乃至画素100hではトランジスタ109が導通し、回路201bから画素100e乃至画素100hの積和演算結果が出力される。
【0119】
期間T2では、
図13に示す画素100c乃至画素100fからなる画素ブロックと、画素100g乃至画素100jからなる画素ブロックを並列に同時に読み出す動作を行う。前者の画素ブロックには、
図11Bに示すフィルタが適用される。後者の画素ブロックには、
図11Cに示すフィルタが適用される。
【0120】
期間T2に、配線122_n-1、配線122_n、配線123_n+1、配線123_n+2を“H”とすると、画素100c乃至画素100fではトランジスタ108が導通し、回路201aから画素100c乃至画素100fの積和演算結果が出力される。また、画素100g乃至画素100jではトランジスタ109が導通し、回路201bから画素100g乃至画素100jの積和演算結果が出力される。
【0121】
期間T3では、
図13に示す画素100e乃至画素100hからなる画素ブロックと、画素100i、画素100hおよび
図13に示さない二つの画素なる画素ブロックを並列に同時に読み出す動作を行う。
【0122】
以上の動作により、積和演算結果の並列読み出しを行うことができ、フィルタ処理を高速化することができる。なお、ここでは、画素ブロックの単位を2×2としたが、3×3またはそれ以上としても同様に並列読み出しを行うことができる。また、各画素が選択的に出力できる配線を増やし、当該配線に回路201を接続することで、3またはそれ以上の画素ブロックの積和演算結果を並列に読み出すことができる。
【0123】
なお、上記動作は画素の選択を2行単位で行う例であるが、例えば
図6に示したような、複数の選択配線を同時にアクティブにできるシフトレジスタ回路を2つ設けることで動作させることができる。または、期間T1で配線122_n-2および配線122_n-1と、配線123_nおよび配線123_n+1を同時にアクティブにでき、期間T2で配線122_n-1および配線122_nと、配線123_n+1および配線123_n+2を同時にアクティブにできるロジック回路を用いればシフトレジスタ回路は1つであってもよい。
【0124】
図14Aは、画素ブロック200から出力される信号電位を説明する図である。なお、
図14Aでは説明を簡潔にするため、画素アレイ300が4つの画素ブロック200(画素ブロック200c、画素ブロック200d、画素ブロック200e、画素ブロック200f)からなり、それぞれの画素ブロック200が4つの画素100を有する例とする。
【0125】
信号電位の生成については画素ブロック200cを一例として説明するが、画素ブロック200d、200e、200fも同様の動作をともなって信号電位を出力することができる。
【0126】
画素ブロック200cにおいて、各画素100には、それぞれp11、p12、p21、p22の画像データがノードNに保持されている。各画素100にはそれぞれ重み係数(W111、W112、W121、W122)が入力され、配線113_1(1列目の配線113)、回路201、および配線212_1(1列目の配線212)を介して積和演算の結果であるh111が出力される。ここで、h111=p11×W111+p12×W112+p21×W121+p22×W122である。なお、重み係数は全て異なるとは限らず、複数の画素100に同じ値が入力される場合もある。
【0127】
並行して上記同様の過程を経て、画素ブロック200dから配線113_2(2列目の配線113)、回路201、および配線212_2(2列目の配線212)を介して積和演算の結果であるh121が出力され、画素ブロック200の1行目の出力が完了する。なお、図中の矢印は時間(Time)の軸を表している。
【0128】
続いて、画素ブロック200の2行目において上記同様の過程を経て、画素ブロック200eから配線113_1および回路201を介して積和演算の結果であるh112が出力される。また、並行して、画素ブロック200fから配線113_2および回路201を介して積和演算の結果であるh122が出力され、画素ブロック200の2行目の出力が完了する。
【0129】
さらに、画素ブロック200の1行目において重み係数を変化させ、上記同様の過程を経ることで、h211、h221を出力することができる。また、画素ブロック200の2行目において重み係数を変化させ、上記同様の過程を経ることで、h212、h222を出力することができる。以上の動作を必要に応じて繰り返す。
【0130】
回路201から出力される積和演算結果のデータは、
図14Bに示すように回路301に順次入力される。回路301には、前述したデータAとデータBとの差分を演算する機能のほかに、様々な演算機能を有していてもよい。
【0131】
例えば、回路301は活性化関数の演算を行う回路を有していてもよい。当該回路には、例えばコンパレータ回路を用いることができる。コンパレータ回路では、入力されたデータと、設定されたしきい値とを比較した結果を2値データとして出力する。すなわち、画素ブロック200および回路301はニューラルネットワークの一部の要素として作用することができる。
【0132】
また、画素ブロック200が出力するデータは複数ビットの画像データに相当するが、回路301で2値化できる場合は、画像データを圧縮しているともいえる。
【0133】
回路301から出力されたデータ(h111’、h121’、h112’、h122’、h211’、h221’、h212’、h222’)は、回路302に順次入力される。
【0134】
回路302は、例えばラッチ回路およびシフトレジスタなどを有する構成とすることができる。当該構成によって、パラレルシリアル変換を行うことができ、
図14Bに示すように並行して入力されたデータを配線311にシリアルデータとして出力することができる。配線311の接続先は限定されない。例えば、ニューラルネットワーク、記憶装置、通信装置などと接続することができる。
【0135】
また、
図15に示すように、回路302はニューラルネットワークを有していてもよい。当該ニューラルネットワークは、マトリクス状に配置されたメモリセルを有し、各メモリセルには重み係数が保持されている。回路301から出力されたデータは行方向のセルにそれぞれ入力され、列方向に積和演算を行うことができる。なお、
図15に示すメモリセルの数は一例であり、限定されない。
【0136】
図15に示すニューラルネットワークは、マトリクス状に設置されたメモリセル320および参照メモリセル325と、回路340と、回路350と、回路360と、回路370を有する。
【0137】
図16にメモリセル320および参照メモリセル325の一例を示す。参照メモリセル325は、任意の一列に設けられる。メモリセル320および参照メモリセル325は同様の構成を有し、トランジスタ161と、トランジスタ162と、キャパシタ163と、を有する。
【0138】
トランジスタ161のソースまたはドレインの一方は、トランジスタ162のゲートと電気的に接続される。トランジスタ162のゲートは、キャパシタ163の一方の電極と電気的に接続される。ここで、トランジスタ161のソースまたはドレインの一方、トランジスタ162のゲート、キャパシタ163の一方の電極が接続される点をノードNMとする。
【0139】
トランジスタ161のゲートは、配線WLと電気的に接続される。キャパシタ163の他方の電極は、配線RWと電気的に接続される。トランジスタ162のソースまたはドレインの一方は、GND配線等の基準電位配線と電気的に接続される。
【0140】
メモリセル320において、トランジスタ161のソースまたはドレインの他方は、配線WDと電気的に接続される。トランジスタ162のソースまたはドレインの他方は、配線BLと電気的に接続される。
【0141】
参照メモリセル325において、トランジスタ161のソースまたはドレインの他方は、配線WDrefと電気的に接続される。トランジスタ162のソースまたはドレインの他方は、配線BLrefと電気的に接続される。
【0142】
配線WLは、回路330と電気的に接続される。回路330にはデコーダまたはシフトレジスタなどを用いることができる。
【0143】
配線RWは、回路301と電気的に接続される。各メモリセルには、回路301から配線311_1および配線311_2に出力された2値のデータが書き込まれる。
【0144】
配線WDおよび配線WDrefは、回路340と電気的に接続される。回路340には、デコーダまたはシフトレジスタなどを用いることができる。また、回路340は、D/AコンバータやSRAMを有していてもよい。回路340は、ノードNMに書き込まれる重み係数を出力することができる。
【0145】
配線BLおよび配線BLrefは、回路350および回路360と電気的に接続される。回路350は電流源回路であり、回路360は、回路201と同等の構成とすることができる。回路350および回路360により、積和演算結果からオフセット成分を除いた信号電位を得ることができる。
【0146】
回路360は、回路370と電気的に接続される。回路370は、活性化関数回路とも換言できる。活性化関数回路は、回路360から入力された信号電位を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、tanh関数、softmax関数、ReLU関数、しきい値関数などを用いることができる。活性化関数回路によって変換された信号電位は、出力データとして外部に出力される。
【0147】
図17Aに示すように、ニューラルネットワークNNは、入力層IL、出力層OL、中間層(隠れ層)HLによって構成することができる。入力層IL、出力層OL、中間層HLは、それぞれ1または複数のニューロン(ユニット)を有する。なお、中間層HLは1層であってもよいし2層以上であってもよい。2層以上の中間層HLを有するニューラルネットワークはDNN(ディープニューラルネットワーク)と呼ぶこともできる。また、ディープニューラルネットワークを用いた学習は、深層学習と呼ぶこともできる。
【0148】
入力層ILの各ニューロンには、入力データが入力される。中間層HLの各ニューロンには、前層または後層のニューロンの出力信号が入力される。出力層OLの各ニューロンには、前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし(全結合)、一部のニューロンと結合されていてもよい。
【0149】
図17Bに、ニューロンによる演算の例を示す。ここでは、ニューロンNと、ニューロンNに信号を出力する前層の2つのニューロンを示している。ニューロンNには、前層のニューロンの出力x
1と、前層のニューロンの出力x
2が入力される。そして、ニューロンNにおいて、出力x
1と重みw
1の乗算結果(x
1w
1)と出力x
2と重みw
2の乗算結果(x
2w
2)の総和x
1w
1+x
2w
2が計算された後、必要に応じてバイアスbが加算され、値a=x
1w
1+x
2w
2+bが得られる。そして、値aは活性化関数hによって変換され、ニューロンNから出力信号y=ahが出力される。
【0150】
このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる(上記のx1w1+x2w2)。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。
【0151】
本発明の一態様では、ハードウェアとしてアナログ回路を用いて積和演算を行う。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。
【0152】
積和演算回路は、OSトランジスタを有する構成とすることが好ましい。OSトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、SiトランジスタとOSトランジスタの両方を用いて積和演算回路を構成してもよい。
【0153】
本実施の形態は、他の実施の形態または実施例の記載と適宜組み合わせることができる。
【0154】
(実施の形態2)
本実施の形態では、本発明の一態様の撮像装置の構造例などについて説明する。
【0155】
図18A、
図18Bに、撮像装置が有する画素の構造を例示する。
図18Aに示す画素は、層561および層562の積層構造である例である。
【0156】
層561は、光電変換デバイス101を有する。光電変換デバイス101は、
図18Cに示すように層565aと、層565bと、層565cとの積層とすることができる。
【0157】
図18Cに示す光電変換デバイス101はpn接合型フォトダイオードであり、例えば、層565aにp
+型半導体、層565bにn型半導体、層565cにn
+型半導体を用いることができる。または、層565aにn
+型半導体、層565bにp型半導体、層565cにp
+型半導体を用いてもよい。または、層565bをi型半導体としたpin接合型フォトダイオードであってもよい。
【0158】
上記pn接合型フォトダイオードまたはpin接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。また、pin接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコンなどの薄膜を用いて形成することもできる。
【0159】
また、層561が有する光電変換デバイス101は、
図18Dに示すように、層566aと、層566bと、層566cと、層566dとの積層としてもよい。
図18Dに示す光電変換デバイス101はアバランシェフォトダイオードの一例であり、層566a、層566dは電極に相当し、層566b、566cは光電変換部に相当する。
【0160】
層566aは、低抵抗の金属層などとすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。
【0161】
層566dは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム-錫酸化物、ガリウム-亜鉛酸化物、インジウム-ガリウム-亜鉛酸化物、またはグラフェンなどを用いることができる。なお、層566dを省く構成とすることもできる。
【0162】
光電変換部の層566b、566cは、例えばセレン系材料を光電変換層としたpn接合型フォトダイオードの構成とすることができる。層566bとしてはp型半導体であるセレン系材料を用い、層566cとしてはn型半導体であるガリウム酸化物などを用いることが好ましい。
【0163】
セレン系材料を用いた光電変換デバイスは、可視光に対する外部量子効率が高い特性を有する。当該光電変換デバイスでは、アバランシェ増倍を利用することにより、入射される光(Light)の量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法などを用いて形成することができる。
【0164】
セレン系材料としては、単結晶セレンや多結晶セレンなどの結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物(CIS)、または、銅、インジウム、ガリウム、セレンの化合物(CIGS)などを用いることができる。
【0165】
n型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
【0166】
また、層561が有する光電変換デバイス101は、
図18Eに示すように、層567aと、層567bと、層567cと、層567dと、層567eとの積層としてもよい。
図18Eに示す光電変換デバイス101は有機光導電膜の一例であり、層567a、層567eは電極に相当し、層567b、567c、567dは光電変換部に相当する。
【0167】
光電変換部の層567b、567dのいずれか一方はホール輸送層、他方は電子輸送層とすることができる。また、層567cは光電変換層とすることができる。
【0168】
ホール輸送層としては、例えば酸化モリブデンなどを用いることができる。電子輸送層としては、例えば、C60、C70などのフラーレン、またはそれらの誘導体などを用いることができる。
【0169】
光電変換層としては、n型有機半導体およびp型有機半導体の混合層(バルクヘテロ接合構造)を用いることができる。
【0170】
図18Aに示す層562としては、例えばシリコン基板を用いることができる。当該シリコン基板は、Siトランジスタ等を有する。当該Siトランジスタを用いて、画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路、記憶回路等を設けることができる。具体的には、実施の形態1で説明した画素回路および周辺回路(画素100、回路201、301、302、303、304、305など)が有する一部または全てのトランジスタを層562に設けることができる。
【0171】
また、画素は、
図18Bに示すように層561、層563および層562の積層構造を有していてもよい。
【0172】
層563は、OSトランジスタを有することができる。このとき、層562は、Siトランジスタを有していてもよい。また、実施の形態1で説明した周辺回路が有する一部のトランジスタを層563に設けてもよい。
【0173】
当該構成とすることで、画素回路を構成する要素および周辺回路を複数の層に分散させ、当該要素同士または当該要素と当該周辺回路を重ねて設けることができるため、撮像装置の面積を小さくすることができる。なお、
図18Bの構成において、層562を支持基板とし、層561および層563に画素100および周辺回路を設けてもよい。
【0174】
OSトランジスタに用いる半導体材料としては、エネルギーギャップが2eV以上、好ましくは2.5eV以上、より好ましくは3eV以上である金属酸化物を用いることができる。代表的には、インジウムを含む酸化物半導体などであり、例えば、後述するCAAC-OS(C-Axis Aligned Crystalline Oxide Semiconductor)またはCAC(Cloud-Aligned Composite)-OSなどを用いることができる。CAAC-OSは結晶を構成する原子が安定であり、信頼性を重視するトランジスタなどに適する。また、CAC-OSは、高移動度特性を示すため、高速駆動を行うトランジスタなどに適する。
【0175】
OSトランジスタは半導体層のエネルギーギャップが大きいため、数yA/μm(チャネル幅1μmあたりの電流値)という極めて低いオフ電流特性を示す。また、OSトランジスタは、インパクトイオン化、アバランシェ降伏、および短チャネル効果などが生じないなどSiトランジスタとは異なる特徴を有し、高耐圧で信頼性の高い回路を形成することができる。また、Siトランジスタでは問題となる結晶性の不均一性に起因する電気特性のばらつきもOSトランジスタでは生じにくい。
【0176】
OSトランジスタが有する半導体層は、例えばインジウム、亜鉛およびM(アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の一つまたは複数の金属)を含むIn-M-Zn系酸化物で表記される膜とすることができる。In-M-Zn系酸化物は、代表的には、スパッタリング法で形成することができる。または、ALD(Atomic layer deposition)法を用いて形成してもよい。
【0177】
In-M-Zn系酸化物をスパッタリング法で形成するために用いるスパッタリングターゲットの金属元素の原子数比は、In≧M、Zn≧Mを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、In:M:Zn=1:1:1、In:M:Zn=1:1:1.2、In:M:Zn=3:1:2、In:M:Zn=4:2:3、In:M:Zn=4:2:4.1、In:M:Zn=5:1:6、In:M:Zn=5:1:7、In:M:Zn=5:1:8等が好ましい。なお、成膜される半導体層の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス40%の変動を含む。
【0178】
半導体層としては、キャリア密度の低い酸化物半導体を用いる。例えば、半導体層は、キャリア密度が1×1017/cm3以下、好ましくは1×1015/cm3以下、さらに好ましくは1×1013/cm3以下、より好ましくは1×1011/cm3以下、さらに好ましくは1×1010/cm3未満であり、1×10-9/cm3以上の酸化物半導体を用いることができる。そのような酸化物半導体を、高純度真性または実質的に高純度真性な酸化物半導体と呼ぶ。当該酸化物半導体は欠陥準位密度が低く、安定な特性を有する酸化物半導体であるといえる。
【0179】
なお、これらに限られず、必要とするトランジスタの半導体特性および電気特性(電界効果移動度、しきい値電圧等)に応じて適切な組成のものを用いればよい。また、必要とするトランジスタの半導体特性を得るために、半導体層のキャリア密度や不純物濃度、欠陥密度、金属元素と酸素の原子数比、原子間距離、密度等を適切なものとすることが好ましい。
【0180】
半導体層を構成する酸化物半導体において、第14族元素の一つであるシリコンや炭素が含まれると、酸素欠損が増加し、n型化してしまう。このため、半導体層におけるシリコンや炭素の濃度(二次イオン質量分析法により得られる濃度)を、2×1018atoms/cm3以下、好ましくは2×1017atoms/cm3以下とする。
【0181】
また、アルカリ金属およびアルカリ土類金属は、酸化物半導体と結合するとキャリアを生成する場合があり、トランジスタのオフ電流が増大してしまうことがある。このため、半導体層におけるアルカリ金属またはアルカリ土類金属の濃度(二次イオン質量分析法により得られる濃度)を、1×1018atoms/cm3以下、好ましくは2×1016atoms/cm3以下にする。
【0182】
また、半導体層を構成する酸化物半導体に窒素が含まれていると、キャリアである電子が生じてキャリア密度が増加し、n型化しやすい。この結果、窒素が含まれている酸化物半導体を用いたトランジスタはノーマリーオン特性となりやすい。このため半導体層における窒素濃度(二次イオン質量分析法により得られる濃度)は、5×1018atoms/cm3以下にすることが好ましい。
【0183】
また、半導体層を構成する酸化物半導体に水素が含まれていると、金属原子と結合する酸素と反応して水になるため、酸化物半導体中に酸素欠損を形成する場合がある。酸化物半導体中のチャネル形成領域に酸素欠損が含まれていると、トランジスタはノーマリーオン特性となる場合がある。さらに、酸素欠損に水素が入った欠陥はドナーとして機能し、キャリアである電子が生成されることがある。また、水素の一部が金属原子と結合する酸素と結合して、キャリアである電子を生成する場合がある。したがって、水素が多く含まれている酸化物半導体を用いたトランジスタは、ノーマリーオン特性となりやすい。
【0184】
酸素欠損に水素が入った欠陥は、酸化物半導体のドナーとして機能しうる。しかしながら、当該欠陥を定量的に評価することは困難である。そこで、酸化物半導体においては、ドナー濃度ではなく、キャリア濃度で評価される場合がある。よって、本明細書等では、酸化物半導体のパラメータとして、ドナー濃度ではなく、電界が印加されない状態を想定したキャリア濃度を用いる場合がある。つまり、本明細書等に記載の「キャリア濃度」は、「ドナー濃度」と言い換えることができる場合がある。
【0185】
よって、酸化物半導体中の水素はできる限り低減されていることが好ましい。具体的には、酸化物半導体において、二次イオン質量分析法(SIMS:Secondary Ion Mass Spectrometry)により得られる水素濃度を、1×1020atoms/cm3未満、好ましくは1×1019atoms/cm3未満、より好ましくは5×1018atoms/cm3未満、さらに好ましくは1×1018atoms/cm3未満とする。水素などの不純物が十分に低減された酸化物半導体をトランジスタのチャネル形成領域に用いることで、安定した電気特性を付与することができる。
【0186】
また、半導体層は、例えば非単結晶構造でもよい。非単結晶構造は、例えば、c軸に配向した結晶を有するCAAC-OS(C-Axis Aligned Crystalline Oxide Semiconductor)、多結晶構造、微結晶構造、または非晶質構造を含む。非単結晶構造において、非晶質構造は最も欠陥準位密度が高く、CAAC-OSは最も欠陥準位密度が低い。
【0187】
非晶質構造の酸化物半導体膜は、例えば、原子配列が無秩序であり、結晶成分を有さない。または、非晶質構造の酸化物半導体膜は、例えば、完全な非晶質構造であり、結晶部を有さない。
【0188】
なお、半導体層が、非晶質構造の領域、微結晶構造の領域、多結晶構造の領域、CAAC-OSの領域、単結晶構造の領域のうち、二種以上を有する混合膜であってもよい。混合膜は、例えば上述した領域のうち、いずれか二種以上の領域を含む単層構造、または積層構造を有する場合がある。
【0189】
以下では、非単結晶の半導体層の一態様であるCAC(Cloud-Aligned Composite)-OSの構成について説明する。
【0190】
CAC-OSとは、例えば、酸化物半導体を構成する元素が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
【0191】
なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれていてもよい。
【0192】
例えば、In-Ga-Zn酸化物におけるCAC-OS(CAC-OSの中でもIn-Ga-Zn酸化物を、特にCAC-IGZOと呼称してもよい。)とは、インジウム酸化物(以下、InOX1(X1は0よりも大きい実数)とする。)、またはインジウム亜鉛酸化物(以下、InX2ZnY2OZ2(X2、Y2、およびZ2は0よりも大きい実数)とする。)と、ガリウム酸化物(以下、GaOX3(X3は0よりも大きい実数)とする。)、またはガリウム亜鉛酸化物(以下、GaX4ZnY4OZ4(X4、Y4、およびZ4は0よりも大きい実数)とする。)などと、に材料が分離することでモザイク状となり、モザイク状のInOX1、またはInX2ZnY2OZ2が、膜中に均一に分布した構成(以下、クラウド状ともいう。)である。
【0193】
つまり、CAC-OSは、GaOX3が主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書において、例えば、第1の領域の元素Mに対するInの原子数比が、第2の領域の元素Mに対するInの原子数比よりも大きいことを、第1の領域は、第2の領域と比較して、Inの濃度が高いとする。
【0194】
なお、IGZOは通称であり、In、Ga、Zn、およびOによる1つの化合物をいう場合がある。代表例として、InGaO3(ZnO)m1(m1は自然数)、またはIn(1+x0)Ga(1-x0)O3(ZnO)m0(-1≦x0≦1、m0は任意数)で表される結晶性の化合物が挙げられる。
【0195】
上記結晶性の化合物は、単結晶構造、多結晶構造、またはCAAC構造を有する。なお、CAAC構造とは、複数のIGZOのナノ結晶がc軸配向を有し、かつa-b面においては配向せずに連結した結晶構造である。
【0196】
一方、CAC-OSは、酸化物半導体の材料構成に関する。CAC-OSとは、In、Ga、Zn、およびOを含む材料構成において、一部にGaを主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。したがって、CAC-OSにおいて、結晶構造は副次的な要素である。
【0197】
なお、CAC-OSは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Inを主成分とする膜と、Gaを主成分とする膜との2層からなる構造は、含まない。
【0198】
なお、GaOX3が主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域とは、明確な境界が観察できない場合がある。
【0199】
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、CAC-OSは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
【0200】
CAC-OSは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、CAC-OSをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス(代表的にはアルゴン)、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を0%以上30%未満、好ましくは0%以上10%以下とすることが好ましい。
【0201】
CAC-OSは、X線回折(XRD:X-ray diffraction)測定法のひとつであるOut-of-plane法によるθ/2θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、X線回折測定から、測定領域のa-b面方向、およびc軸方向の配向は見られないことが分かる。
【0202】
また、CAC-OSは、プローブ径が1nmの電子線(ナノビーム電子線ともいう。)を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域(リング領域)と、該リング領域に複数の輝点が観測される。したがって、電子線回折パターンから、CAC-OSの結晶構造が、平面方向、および断面方向において、配向性を有さないnc(nano-crystal)構造を有することがわかる。
【0203】
また、例えば、In-Ga-Zn酸化物におけるCAC-OSでは、エネルギー分散型X線分光法(EDX:Energy Dispersive X-ray spectroscopy)を用いて取得したEDXマッピングにより、GaOX3が主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
【0204】
CAC-OSは、金属元素が均一に分布したIGZO化合物とは異なる構造であり、IGZO化合物と異なる性質を有する。つまり、CAC-OSは、GaOX3などが主成分である領域と、InX2ZnY2OZ2、またはInOX1が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
【0205】
ここで、InX2ZnY2OZ2、またはInOX1が主成分である領域は、GaOX3などが主成分である領域と比較して、導電性が高い領域である。つまり、InX2ZnY2OZ2、またはInOX1が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。したがって、InX2ZnY2OZ2、またはInOX1が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度(μ)が実現できる。
【0206】
一方、GaOX3などが主成分である領域は、InX2ZnY2OZ2、またはInOX1が主成分である領域と比較して、絶縁性が高い領域である。つまり、GaOX3などが主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
【0207】
したがって、CAC-OSを半導体素子に用いた場合、GaOX3などに起因する絶縁性と、InX2ZnY2OZ2、またはInOX1に起因する導電性とが、相補的に作用することにより、高いオン電流(Ion)、および高い電界効果移動度(μ)を実現することができる。
【0208】
また、CAC-OSを用いた半導体素子は、信頼性が高い。したがって、CAC-OSは、様々な半導体装置の構成材料として適している。
【0209】
なお、層563は、Siトランジスタを有する構成としてもよい。例えば、層563には、画素回路を構成する要素を設けることができる。また、層562には、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路、記憶回路等を設けることができる。
【0210】
このとき、層562および層563は、Siトランジスタを有する層のスタック構造となる。また、層561にシリコンを光電変換層とするpn接合型フォトダイオードを用いれば、すべてをSiデバイスで形成することができる。
【0211】
図19Aは、
図18Aに示す画素の断面の一例を説明する図である。層561は光電変換デバイス101として、シリコンを光電変換層とするpn接合型フォトダイオードを有する。層562はSiトランジスタを有し、
図19Aでは、画素回路を構成するトランジスタ102、105を例示する。
【0212】
光電変換デバイス101において、層565aはp+型領域、層565bはn型領域、層565cはn+型領域とすることができる。また、層565bには、電源線と層565cとを接続するための領域539が設けられる。例えば、領域539はp+型領域とすることができる。
【0213】
図19Aに示すSiトランジスタはシリコン基板540にチャネル形成領域を有するフィン型であり、チャネル幅方向の断面(
図19Aに示すA1-A2断面)を
図20Aに示す。Siトランジスタは、
図20Bに示すようにプレーナー型であってもよい。
【0214】
または、
図20Cに示すように、シリコン薄膜の半導体層545を有するトランジスタであってもよい。半導体層545は、例えば、シリコン基板540上の絶縁層546上に形成された単結晶シリコン(SOI(Silicon on Insulator))とすることができる。
【0215】
図19Aでは、層561が有する要素と層562が有する要素との電気的な接続を貼り合わせ技術で得る構成例を示している。
【0216】
層561には、絶縁層542、導電層533および導電層534が設けられる。導電層533および導電層534は、絶縁層542に埋設された領域を有する。導電層533は、層565aと電気的に接続される。導電層534は、領域539と電気的に接続される。また、絶縁層542、導電層533および導電層534の表面は、それぞれ高さが一致するように平坦化されている。
【0217】
層562には、絶縁層541、導電層531および導電層532が設けられる。導電層531および導電層532は、絶縁層541に埋設された領域を有する。導電層531は、電源線と電気的に接続される。導電層531は、トランジスタ102のソースまたはドレインと電気的に接続される。また、絶縁層541、導電層531および導電層532の表面は、それぞれ高さが一致するように平坦化されている。
【0218】
ここで、導電層531および導電層533は、主成分が同一の金属元素であることが好ましい。導電層532および導電層534は、主成分が同一の金属元素であることが好ましい。また、絶縁層541および絶縁層542は、同一の成分で構成されていることが好ましい。
【0219】
例えば、導電層531、532、533、534には、Cu、Al、Sn、Zn、W、Ag、PtまたはAuなどを用いることができる。接合のしやすさから、好ましくはCu、Al、W、またはAuを用いる。また、絶縁層541、542には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタンなどを用いることができる。
【0220】
つまり、導電層531および導電層533の組み合わせと、導電層532および導電層534の組み合わせのそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層541および絶縁層542のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層561と層562の境を接合位置とする、貼り合わせを行うことができる。
【0221】
当該貼り合わせによって、導電層531および導電層533の組み合わせと、導電層532および導電層534の組み合わせのそれぞれの電気的な接続を得ることができる。また、絶縁層541および絶縁層542の機械的な強度を有する接続を得ることができる。
【0222】
金属層同士の接合には、表面の酸化膜および不純物の吸着層などをスパッタリング処理などで除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法などを用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
【0223】
また、絶縁層同士の接合には、研磨などによって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法などを用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
【0224】
層561と、層562を貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。
【0225】
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法などを用いることができる。また、金属層の表面をAuなどの難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
【0226】
図19Bは、
図18Aに示す画素の層561にセレン系材料を光電変換層とするpn接合型フォトダイオードを用いた場合の断面図である。一方の電極として層566aと、光電変換層として層566b、566cと、他方の電極として層566dを有する。
【0227】
この場合、層561は、層562上に直接形成することができる。層566aは、トランジスタ102のソースまたはドレインと電気的に接続される。層566dは、導電層536を介して電源線と電気的に接続される。なお、層561に有機光導電膜を用いた場合もトランジスタとの接続形態は同様となる。
【0228】
図21Aは、
図18Bに示す画素の断面の一例を説明する図である。層561は光電変換デバイス101として、シリコンを光電変換層とするpn接合型フォトダイオードを有する。層562はSiトランジスタを有し、
図21Aでは、画素回路を構成するトランジスタ105、108を例示する。層563はOSトランジスタを有し、画素回路を構成するトランジスタ102、103を例示する。層561と層563とは、貼り合わせで電気的な接続を得る構成例を示している。
【0229】
図22AにOSトランジスタの詳細を示す。
図22Aに示すOSトランジスタは、酸化物半導体層および導電層の積層上に絶縁層を設け、当該半導体層に達する開口部を設けることでソース電極705およびドレイン電極706を形成するセルフアライン型の構成である。
【0230】
OSトランジスタは、酸化物半導体層に形成されるチャネル形成領域、ソース領域703およびドレイン領域704のほか、ゲート電極701、ゲート絶縁膜702を有する構成とすることができる。当該開口部には少なくともゲート絶縁膜702およびゲート電極701が設けられる。当該開口部には、さらに酸化物半導体層707が設けられていてもよい。
【0231】
OSトランジスタは、
図22Bに示すように、ゲート電極701をマスクとして半導体層にソース領域およびドレイン領域を形成するセルフアライン型の構成としてもよい。
【0232】
または、
図22Cに示すように、ソース電極705またはドレイン電極706とゲート電極701とが重なる領域を有するノンセルフアライン型のトップゲート型トランジスタであってもよい。
【0233】
トランジスタ102,103はバックゲート535を有する構造を示しているが、バックゲートを有さない構造であってもよい。バックゲート535は、
図22Dに示すトランジスタのチャネル幅方向の断面図のように、対向して設けられるトランジスタのフロントゲートと電気的に接続してもよい。なお、
図22Dは
図22AのトランジスタB1-B2断面の例であるが、その他の構造のトランジスタも同様である。また、バックゲート535にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
【0234】
OSトランジスタが形成される領域とSiトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層543が設けられる。トランジスタ105、108のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ102、103のチャネル形成領域の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。
【0235】
絶縁層543により、一方の層に水素を閉じ込めることでトランジスタ105、108の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ102、103の信頼性も向上させることができる。
【0236】
絶縁層543としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア(YSZ)等を用いることができる。
【0237】
図21Bは、
図18Bに示す画素の層561にセレン系材料を光電変換層とするpn接合型フォトダイオードを用いた場合の断面図である。層561は、層563上に直接形成することができる。層561、562、563の詳細は、前述の説明を参照できる。なお、層561に有機光導電膜を用いた場合もトランジスタとの接続形態は同様となる。
【0238】
図23は、
図18Bに示す画素について、
図21Aとは異なる例を説明する図である。
図23に示す構成では、層561、層563および層562のすべてにSiデバイスが設けられ、それぞれが貼り合わせで接合された構成を有する。
【0239】
層561は光電変換デバイス101として、シリコンを光電変換層とするpn接合型フォトダイオードを有する。
【0240】
層563は、シリコン基板540に設けられたSiトランジスタを有する。
図23に例示するトランジスタ102、103は、画素回路の構成要素の一部である。
【0241】
層562は、シリコン基板550に設けられたSiトランジスタを有する。
図23に例示するトランジスタ141、142は、画素回路と電気的に接続する回路の構成要素の一部である。
【0242】
層563に設けられた絶縁層541には、導電層531b、導電層532bおよび導電層554が埋設されている。導電層531b、導電層532bおよび導電層554は、絶縁層541と高さが一致するように平坦化されている。
【0243】
導電層531bは、導電層531aと電気的に接続される。導電層531aおよび導電層531bは、
図19Aの構成における導電層531と同等の機能を有する。また、導電層531aおよび導電層531bは、導電層531と同じ材料を用いて形成することができる。導電層531bは、層561が有する導電層533と貼り合わせによって電気的に接続される。
【0244】
導電層532bは、導電層532aと電気的に接続される。導電層532aおよび導電層532bは、
図19Aの構成における導電層532と同等の機能を有する。また、導電層532aおよび導電層532bは、導電層532と同じ材料を用いて形成することができる。導電層532bは、層561が有する導電層534と貼り合わせによって電気的に接続される。
【0245】
導電層554は、導電層551および導電層552と電気的に接続される。導電層552は、層563が有する画素回路と接続する配線と電気的に接続される。導電層551は、層562が有する回路と電気的に接続される。導電層554、導電層551および導電層552は、導電層531と同じ材料を用いて形成することができる。
【0246】
導電層551はシリコン基板540および絶縁層548に埋設された領域を有し、絶縁層548と高さが一致するように平坦化されている。また、導電層551は、シリコン基板540と絶縁するため、絶縁層560で覆われた領域を有する。
【0247】
導電層553は、層562に設けられた絶縁層547に埋設された領域を有し、絶縁層547と高さが一致するように平坦化されている。導電層553は、層562が有する回路と電気的に接続される。導電層553は、導電層531と同じ材料を用いて形成することができる。
【0248】
層563が有する絶縁層548と、層562が有する絶縁層547の貼り合わせによって、層563と層562は機械的な強度を有するように接合される。また、層563が有する導電層551と、層562が有する導電層553の貼り合わせによって、層563と層562は、電気的に接続される。
【0249】
なお、
図23においては、導電層554と、導電層553とは、シリコン基板540を貫通する導電層551を介して接続する構成について説明したが、これに限定されない。例えば、シリコン基板540を貫通する導電層551を設けずに、導電層554と、導電層553とを、シリコン基板540の外側で接続する構成としてもよい。
【0250】
層562には、画素回路の駆動回路のほか、例えば、DRAM(Dynamic Random Access Memory)などの記憶回路、ニューラルネットワーク、通信回路などを設けてもよい。これらの回路を画素回路と重ねて配置することで遅延を緩和することができ、撮像、画像認識などを高速に行うことができる。
【0251】
また、本発明の一態様の画素は、
図24Aに示すように、層561、層563、層562および層564の積層構造を有していてもよい。
図24Bは、当該積層構造の一例を示す断面図である。
【0252】
層561は光電変換デバイス101として、シリコンを光電変換層とするpn接合型フォトダイオードを有する。層563および層562は、OSトランジスタを有する。層564は、シリコン基板590に設けられたSiトランジスタ143、144を有する。
【0253】
層563が有するOSトランジスタは、層561上に形成することができる。層563に設けられた絶縁層572には、トランジスタ102およびトランジスタ103と接続する導電層538が埋設されている。導電層538は、絶縁層572と高さが一致するように平坦化されている。
【0254】
層562が有するOSトランジスタは、層564上に形成することができる。層562に設けられた絶縁層571には、トランジスタ105およびトランジスタ108と接続する導電層537が埋設されている。導電層537は、絶縁層571と高さが一致するように平坦化されている。
【0255】
導電層537および導電層538は、導電層531と同じ材料を用いて形成することができる。絶縁層571および絶縁層572は、絶縁層541と同じ材料を用いて形成することができる。
【0256】
層563が有する絶縁層572と、層562が有する絶縁層571の貼り合わせによって、層563と層562は機械的な強度を有するように接合される。また、層563が有する導電層538と、層562が有する導電層537の貼り合わせによって、層563と層562は、電気的に接続される。
【0257】
図24A、
図24Bに示す構成は、4層(Siフォトダイオードを有する層\OSトランジスタを有する層\OSトランジスタを有する層\Siトランジスタを有する層)の構成であるが、1回の貼り合わせ工程で形成することができる。OSトランジスタは、デバイスが形成されたシリコン基板上に積層して形成することができるため、貼り合わせ工程を削減することができる。
【0258】
なお、
図24Bでは、層562および層563の両方に画素回路が有するトランジスタを例示したが、これに限らず、一方に画素回路、他方に記憶回路などが設けられていてもよい。また、層564には、画素回路の駆動回路のほか、例えば、DRAM(Dynamic Random Access Memory)などの記憶回路、ニューラルネットワーク、通信回路、CPUなどを設けてもよい。
【0259】
さらに、層564が有する回路の一部を層563に設けるOSトランジスタで構成してもよい。OSトランジスタはオフ電流が極めて小さいため、データ保持部と接続されるトランジスタに用いることで回路のデータ保持機能を高めることができる。したがって、記憶回路のリフレッシュ動作の頻度を少なくすることができ、消費電力を低減させることができる。
【0260】
また、OSトランジスタを用いて、ノーマリーオフCPU(「Noff-CPU」ともいう)を実現することができる。なお、Noff-CPUとは、ゲート電圧が0Vであっても非導通状態(オフ状態ともいう)であるノーマリーオフ型のトランジスタを含む集積回路である。
【0261】
Noff-CPUは、Noff-CPU内の動作不要な回路への電力供給を停止し、当該回路を待機状態にすることができる。電力供給が停止され、待機状態になった回路では電力が消費されない。よって、Noff-CPUは、電力使用量を最小限にすることができる。また、Noff-CPUは、電力供給が停止されても設定条件などの動作に必要な情報を長期間保持することができる。待機状態からの復帰は当該回路への電力供給を再開するだけでよく、設定条件などの再書き込みが不要である。すなわち、待機状態からの高速復帰が可能である。このように、Noff-CPUは、動作速度を大きく落とすことなく消費電力を低減できる。
【0262】
図25Aは、本発明の一態様の撮像装置の画素にカラーフィルタ等を付加した例を示す斜視図である。当該斜視図では、複数の画素の断面もあわせて図示している。光電変換デバイス101が形成される層561上には、絶縁層580が形成される。絶縁層580は可視光に対して透光性の高い酸化シリコン膜などを用いることができる。また、パッシベーション膜として窒化シリコン膜を積層してもよい。また、反射防止膜として、酸化ハフニウムなどの誘電体膜を積層してもよい。
【0263】
絶縁層580上には、遮光層581が形成されてもよい。遮光層581は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層581には、アルミニウム、タングステンなどの金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
【0264】
絶縁層580および遮光層581上には、平坦化膜として有機樹脂層582を設けることができる。また、画素別にカラーフィルタ583(カラーフィルタ583a、583b、583c)が形成される。例えば、カラーフィルタ583a、583b、583cに、R(赤)、G(緑)、B(青)、Y(黄)、C(シアン)、M(マゼンタ)などの色を割り当てることにより、カラー画像を得ることができる。
【0265】
カラーフィルタ583上には、可視光に対して透光性を有する絶縁層586などを設けることができる。
【0266】
また、
図25Bに示すように、カラーフィルタ583の代わりに光学変換層585を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像装置とすることができる。
【0267】
例えば、光学変換層585に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層585に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層585に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。
【0268】
また、光学変換層585にシンチレータを用いれば、X線撮像装置などに用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したX線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線などの光(蛍光)に変換される。そして、当該光を光電変換デバイス101で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像装置を用いてもよい。
【0269】
シンチレータは、X線やガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Gd2O2S:Tb、Gd2O2S:Pr、Gd2O2S:Eu、BaFCl:Eu、NaI、CsI、CaF2、BaF2、CeF3、LiF、LiI、ZnOなどを樹脂やセラミクスに分散させたものを用いることができる。
【0270】
なお、セレン系材料を用いた光電変換デバイス101においては、X線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。
【0271】
また、
図25Cに示すように、カラーフィルタ583上にマイクロレンズアレイ584を設けてもよい。マイクロレンズアレイ584が有する個々のレンズを通る光が直下のカラーフィルタ583を通り、光電変換デバイス101に照射されるようになる。また、
図25Bに示す光学変換層585上にマイクロレンズアレイ584を設けてもよい。
【0272】
以下では、イメージセンサチップを収めたパッケージおよびカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像装置の構成を用いることができる。
【0273】
図26A1は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ450(
図26A3参照)を固定するパッケージ基板410、カバーガラス420および両者を接着する接着剤430等を有する。
【0274】
図26A2は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ440としたBGA(Ball grid array)を有する。なお、BGAに限らず、LGA(Land grid array)やPGA(Pin Grid Array)などを有していてもよい。
【0275】
図26A3は、カバーガラス420および接着剤430の一部を省いて図示したパッケージの斜視図である。パッケージ基板410上には電極パッド460が形成され、電極パッド460およびバンプ440はスルーホールを介して電気的に接続されている。電極パッド460は、イメージセンサチップ450とワイヤ470によって電気的に接続されている。
【0276】
また、
図26B1は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ451を固定するパッケージ基板411、レンズカバー421、およびレンズ435等を有する。また、パッケージ基板411およびイメージセンサチップ451(
図26B3参照)の間には撮像装置の駆動回路および信号変換回路などの機能を有するICチップ490(
図26B3参照)も設けられており、SiP(System in package)としての構成を有している。
【0277】
図26B2は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板411の下面および側面には、実装用のランド441が設けられたQFN(Quad flat no-lead package)の構成を有する。なお、当該構成は一例であり、QFP(Quad flat package)や前述したBGAが設けられていてもよい。
【0278】
図26B3は、レンズカバー421およびレンズ435の一部を省いて図示したモジュールの斜視図である。ランド441は電極パッド461と電気的に接続され、電極パッド461はイメージセンサチップ451またはICチップ490とワイヤ471によって電気的に接続されている。
【0279】
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
【0280】
本実施の形態は、他の実施の形態または実施例の記載と適宜組み合わせることができる。
【0281】
(実施の形態3)
本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ(ヘッドマウントディスプレイ)、ナビゲーションシステム、音響再生装置(カーオーディオ、デジタルオーディオプレイヤー等)、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機(ATM)、自動販売機などが挙げられる。これら電子機器の具体例を
図27A乃至
図27Fに示す。
【0282】
図27Aは携帯電話機の一例であり、筐体981、表示部982、操作ボタン983、外部接続ポート984、スピーカ985、マイク986、カメラ987等を有する。当該携帯電話機は、表示部982にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指やスタイラスなどで表示部982に触れることで行うことができる。当該携帯電話機における画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。
【0283】
図27Bは携帯データ端末であり、筐体911、表示部912、スピーカ913、カメラ919等を有する。表示部912が有するタッチパネル機能により情報の入出力を行うことができる。また、カメラ919で取得した画像から文字等を認識し、スピーカ913で当該文字を音声出力することができる。当該携帯データ端末における画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。
【0284】
図27Cは監視カメラであり、支持台951、カメラユニット952、保護カバー953等を有する。カメラユニット952には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
【0285】
図27Dはビデオカメラであり、第1筐体971、第2筐体972、表示部973、操作キー974、レンズ975、接続部976、スピーカ977、マイク978等を有する。操作キー974およびレンズ975は第1筐体971に設けられており、表示部973は第2筐体972に設けられている。当該ビデオカメラにおける画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。
【0286】
図27Eはデジタルカメラであり、筐体961、シャッターボタン962、マイク963、発光部967、レンズ965等を有する。当該デジタルカメラにおける画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。
【0287】
図27Fは腕時計型の情報端末であり、表示部932、筐体兼リストバンド933、カメラ939等を有する。表示部932は、情報端末の操作を行うためのタッチパネルを備える。表示部932および筐体兼リストバンド933は可撓性を有し、身体への装着性が優れている。当該情報端末における画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。
【0288】
本実施の形態は、他の実施の形態または実施例の記載と適宜組み合わせることができる。
【実施例1】
【0289】
本実施例では、実施の形態1で説明した本発明の一態様の構成を有する撮像装置を試作し、撮像装置内で画像処理を行った結果について説明する。
【0290】
試作した撮像装置のブロック図を
図28に示す。撮像装置の要素(画素、ロードライバ、CDS回路、I-Vコンバータ、カラムセレクタなど)を構成するトランジスタにはOSトランジスタを用いた。カラムセレクタは、アナログ出力AOUT[15:0]を有する。
【0291】
当該撮像装置におけるアナログ積和演算の原理を
図29、
図30A、
図30Bを用いて説明する。画素のトランジスタTr1がONのとき、トランジスタTr2のドレイン電流は飽和領域の条件を満たすとし、Id=β(V
gs-V
th)
2/2であるとする。また、I-VコンバータのトランジスタTr5には定電圧VBIASが供給され、読み出し線WXの電圧にかかわらず一定の抵抗値Rであるとする。フォトダイオードPDの光電荷を転送することにより各画素の電荷蓄積部FDに生じる電圧変動量をX
i、配線W[8:0]から供給されるフィルタデータの電圧をW
iとする。
【0292】
図30A、
図30Bは、撮像装置の動作を説明するタイミングチャートである。TXは、画素が有するトランジスタTr4のゲートと接続される配線TXに供給される電圧である。RSは、画素が有するトランジスタTr3のゲートと接続される配線RSに供給される電圧である。SEは、画素が有するトランジスタTr1のゲートと接続される配線SEに供給される電圧である。CLは、CDS回路が有するトランジスタTr6のゲートに接続される配線CLに供給される電圧である。Wは、フィルタデータを供給する配線Wの電圧である。FDは、画素の電荷蓄積部FDの電圧である。WXは、読み出し線として機能する配線WXの電圧である。CDSOUTは、CDS回路の出力配線CDSOUTから出力される電圧である。
【0293】
図30Aに従った動作では、画素の電荷蓄積部FDを電位VRSにリセットした直後にフィルタデータWiを与える場合と、ブランクフィルタデータ(すべて0Vのフィルタデータ)を与える場合の2条件に対応した読み出し電圧を得ることができる。これら2つの電圧の差分をCDS回路で生成すると、電圧V1が得られる。
【0294】
ここで、
図30Aに示される電圧Va1は、Va1=VIV-Σ
iβ(VRS+W
i-V
th)
2R/6で表すことができる。また、電圧Vb1は、Vb1=VIV-Σ
iβ(VRS-V
th)
2R/6で表すことができる。また、電圧V1は、V1=VCL+Vb1-Va1=VCL+Σ
iβ(2(VRS-V
th)W
i+W
i
2)R/6で表すことができる。なお、VIVは、I-VコンバータのトランジスタTr5に供給される電圧である。βは定数である。VCLは、CDS回路のトランジスタTr6に供給される電圧である。V
thは、トランジスタTr2のしきい値電圧である。
【0295】
一方、
図30Bに従った動作では、電荷蓄積部FDをリセットし、光電荷を電荷蓄積部FDに転送した後において同様の処理を行うことで電圧V2が得られる。
【0296】
ここで、
図30Bに示される電圧Va2は、Va2=VIV-Σ
iβ(VRS+X
i+W
i-V
th)
2R/6で表すことができる。また、電圧Vb2は、Vb2=VIV-Σ
iβ(VRS+X
i-V
th)
2R/6で表すことができる。また、電圧V2は、V2=VCL+Vb2-Va2=VCL+Σ
iβ(2(VRS+X
i-V
th)W
i+W
i
2)R/6で表すことができる。
【0297】
得られた2つの電圧(V1、V2)について外部回路で差分を計算すると、V2-V1=ΣiβXiWiR/3という電圧が得られる。このようにして、撮像データとフィルタデータとの積和演算を行うことができる。
【0298】
上記のアナログ積和演算を利用して、
図30に示す撮像装置で撮像データの取得とフィルタデータの畳み込み演算を行う動作を
図31Aのタイミングチャートを用いて説明する。なお、
図31Bは、4つのユニット(1ユニットは3×3の画素)上における3×3のフィルタのポジションを説明する図である。
【0299】
全画素の電荷蓄積部FDをリセットした後において、積和演算の対象になる3x3画素の選択をロードライバと配線SYから供給されるスイッチ制御信号電位により行う。ロードライバは、一度に隣接する3行分の配線SEに選択信号電位を供給し、配線SYから供給されるスイッチ制御信号電位により、すべての配線WXに対して、隣接する3列をショートさせる。
【0300】
これにより、80組の3x3画素が一度に選択され、80種類の電圧がCDS回路に入力される。なお、CDS回路に入力される読み出し線は240本あるが、配線SYから供給されるスイッチ制御信号電位によるショートで隣接する3本は同じ電圧となる。
【0301】
このとき、フィルタデータWiを与え、CDS回路をリセットし、続けてブランクフィルタデータを与えると、CDS回路において前述の電圧V1に相当する80種類の電圧が生成される。ロードライバと配線SYから供給されるスイッチ制御信号電位による3x3画素の選択を順次シフトさせつつ、生成される80種類の電圧V1を順次外部に読み出す。
【0302】
次に、画素をリセットしてから撮像動作を行ったのち、上記と同様の動作を行うことで前述の電圧V2に相当する電圧を外部に読み出す。最後に、外部回路において、読み出したすべてのV1とV2との差を計算することで、シフト動作における全ての組み合わせに対する積和演算、すなわち畳み込み演算を行うことができる。
【0303】
なお、撮像装置は、通常の撮像動作も行うことができる。そのためには、I-Vコンバータのトランジスタがソースフォロワのバイアストランジスタとして機能するように電圧VIV、電圧VBIASを調整し、ロードライバが配線SEを1行ずつ順次アクティブにするよう駆動すればよい。これらは、通常の撮像装置に別の素子を追加することなく、畳み込み演算機能を追加できることを意味し、撮像装置の実装面積的にも有利といえる。
【0304】
上記撮像装置は、チャネル長が0.5μmのOSトランジスタを用いて試作した。
図32は、OSトランジスタの構造を説明する図である。OSトランジスタは、ダブルゲート構造であり、半導体層(CAAC-IGZO)601、ゲート絶縁膜602、ゲート電極603、ソース電極またはドレイン電極604、バッファ層605、バックゲート側のゲート絶縁膜606、バックゲート側のゲート電極607を有する。
図33は、当該OSトランジスタ(W/L=0.5μm/0.5μm)のId-Vd特性(V
g=1、3、5、7V)である。
【0305】
図34に試作した撮像装置の上面写真を示す。また、表1に仕様を示す。
【0306】
【0307】
光電変換デバイスPDに用いる光電変換層としては、OSトランジスタプロセスとの親和性がよい結晶性セレンを用いた。
図35は、結晶性セレンを用いた光電変換デバイスの光電流特性である。
【0308】
画素をリセットする電圧VRSを変化させることで、光電荷による光電変換デバイスPDの電圧変動量Xを模して、複数の電圧変動量(X)に対してフィルタデータ(W)をスイープし、乗算特性を測定した。
図36Aは積和演算の理論値および測定値結果を示しており、
図36Bは積分非線形性を示している。評価対象は1組の3x3画素であり、すべての画素に対して電圧変動量(X)およびフィルタデータ(W)の電圧値は同一とした。X≦0.5Vの電圧範囲で、4bit精度の乗算特性が得られることが確認できた。
【0309】
次に、自然画像を撮像し、2種類のフィルタデータとの畳み込み演算を行うことで、画像の特徴量を抽出した。
図37は、演算の対象とした画像であり、シマウマの写真画像である。
図38Aは、横ストライプを抽出するためのフィルタデータであり、
図38Bは当該フィルタデータにより抽出された画像である。また、
図39Aは、縦ストライプを抽出するためのフィルタデータであり、
図39Bは当該フィルタデータにより抽出された画像である。
【0310】
横ストライプまたは縦ストライプのフィルタデータとの畳み込み演算を行うことで、シマウマの体表模様の横方向成分または縦方向成分がそれぞれ抽出できることがわかった。
【0311】
次に、
図38Aの横ストライプを抽出するためのフィルタを用い、
図40Aに示す1本の直線を境界として白黒に塗り分けられた画像を回転させたときの特徴量抽出特性を評価した。
図40Bは特徴量の求め方を説明する図である。特徴量は、境界上の回転中心において、縦方向に隣接する2画素を中心とする3x3画素の積和演算結果の差と定義した。
【0312】
図40Cは、特徴量抽出の理論値と測定値の結果を示す図である。規格化した特徴量と、回転角度との関係性から、0°のときに最もはっきりと抽出され、40°程度まで抽出できていることが確認できた。以上により、本発明の撮像装置における畳み込み演算が実証することができた。
【0313】
本実施例は、他の実施の形態と適宜組み合わせることができる。
【実施例2】
【0314】
近年、AI(Artificial Intelligence)システムを利用する様々な研究が多くなされている。乗用車などの自動運転に利用するため、画像中の物体と背景とを別々に抽出し、物体の動きを検出する動態認識の実用化が望まれている。
【0315】
本実施例では、実施の形態1に示した撮像装置を物体認識に用いるため、画像中の物体と背景とを別々に抽出する実験を行った一例を示す。
【0316】
図41Aは、実験に用いた表示装置、撮像装置800および撮像装置800の撮像データが入力される1台のPC(ノート型パーソナルコンピュータ)810が配置されている写真図である。
【0317】
図41Aでは、表示装置の表示面に映像として映した画像を撮像装置800で読み取った後、セグメンテーションモジュールによって、画像中の物体を検出した結果をモノクロ画像として表示している。
図41Aでは、物体を白、背景を黒として出力された結果を1台のPC810の表示画面の一部(画面左側)に示している。
【0318】
セグメンテーションモジュールは、画像解析における使用のための複数の画像セグメントを生成するソフトウェアを含む。本実施例では、画像処理および畳み込みニューラルネットワークの一種であるU-netを用いて、学習させた内容を基にセグメンテーションを行うことが可能な1台のPC810を用いている。
【0319】
なお、セグメンテーションとは、入力画像の各画素が何の物体を示しているかを識別する処理のことを指す。セマンティックセグメンテーションとも呼ばれる。
【0320】
また、
図41Bは、データが処理される様子を示す模式図である。
【0321】
最初の画像801は、模式的に示した撮像データであり、その次に撮像装置800で得られた複数のマップ情報802を示している。撮像装置800は、画素内で特徴量を抽出、いわゆる畳み込みができ、複数のマップ情報802を得ることができる。すなわち、U-netの1層目の畳み込みの計算が行われたことになる。
【0322】
また、マップ情報802を用いて、U-netの2層目以降の計算をPC810で行う。その結果、U-netの出力として、各画素が何の物体を示しているかの確率が出力される。本実施例では、背景である確率が一番高い画素には黒、そうでない画素には白で画像を生成している。すなわち、入力画像中の物体の領域803aを白、背景の領域803bを黒として、PC810の画面に出力された画像データを得ている。
【0323】
このように、撮像装置とセグメンテーションモジュールを用いることによって、撮像したデータから背景の領域と、物体の領域とを識別することができた。実施の形態1に示した撮像装置は、画素内で特徴量を抽出でき、複数のマップ情報を得るため、従来と比べて演算処理が少なくでき、短時間で結果を得ることができる。
【0324】
CNNモデルでは大量の畳み込み(Convolution)処理が必要になる。畳み込み処理は積和演算を使用するため、省電力な積和演算回路を構成できるLSIチップ、特に酸化物半導体材料を用いるトランジスタを用いたICチップ(例えばNoffCPU)にとってはメリットの大きいモデルとなる。例えば、AIシステムを組み込んだIC(推論チップとも呼ぶ)を用いることが好ましい。
【0325】
本実施例に示したセグメンテーションは、乗用車などの自動運転に応用することができる。
【0326】
本実施例は、他の実施の形態と適宜組み合わせることができる。
【符号の説明】
【0327】
100:画素、100a:画素、100b:画素、100c:画素、100d:画素、100e:画素、100f:画素、100g:画素、100h:画素、100i:画素、100j:画素、101:光電変換デバイス、102:トランジスタ、103:トランジスタ、104:キャパシタ、105:トランジスタ、106:トランジスタ、107:トランジスタ、108:トランジスタ、109:トランジスタ、111:配線、112:配線、112_1:配線、112_2:配線、113:配線、113_1:配線、113_2:配線、113a:配線、113b:配線、114:配線、115:配線、116:配線、117:配線、118:配線、122:配線、122_n:配線、122_n-1:配線、122_n-2:配線、122_1:配線、122_2:配線、123:配線、123_n:配線、123_n-2:配線、131:トランジスタ、132:トランジスタ、141:トランジスタ、142:トランジスタ、161:トランジスタ、162:トランジスタ、163:キャパシタ、170:回路、200:画素ブロック、200a:画素ブロック、200b:画素ブロック、200c:画素ブロック、200d:画素ブロック、200e:画素ブロック、200f:画素ブロック、201:回路、201a:回路、201b:回路、202:キャパシタ、203:トランジスタ、204:トランジスタ、205:トランジスタ、206:トランジスタ、207:抵抗、211:配線、212:配線、213:配線、215:配線、216:配線、217:配線、218:配線、219:配線、300:画素アレイ、301:回路、302:回路、303:回路、304:回路、305:回路、311:配線、311_1:配線、311_2:配線、320:メモリセル、325:参照メモリセル、330:回路、340:回路、350:回路、360:回路、370:回路、410:パッケージ基板、411:パッケージ基板、420:カバーガラス、421:レンズカバー、430:接着剤、435:レンズ、440:バンプ、441:ランド、450:イメージセンサチップ、451:イメージセンサチップ、460:電極パッド、461:電極パッド、470:ワイヤ、471:ワイヤ、490:ICチップ、531:導電層、531a:導電層、531b:導電層、532:導電層、532a:導電層、532b:導電層、533:導電層、534:導電層、535:バックゲート、536:導電層、537:導電層、538:導電層、540:シリコン基板、541:絶縁層、542:絶縁層、543:絶縁層、545:半導体層、546:絶縁層、547:絶縁層、548:絶縁層、550:シリコン基板、551:導電層、552:導電層、553:導電層、554:導電層、560:絶縁層、561:層、562:層、563:層、564:層、565a:層、565b:層、565c:層、566a:層、566b:層、566c:層、566d:層、567a:層、567b:層、567c:層、567d:層、567e:層、571:絶縁層、572:絶縁層、580:絶縁層、581:遮光層、582:有機樹脂層、583:カラーフィルタ、583a:カラーフィルタ、583b:カラーフィルタ、583c:カラーフィルタ、584:マイクロレンズアレイ、585:光学変換層、586:絶縁層、590:シリコン基板、602:ゲート絶縁膜、603:ゲート電極、604:ドレイン電極、605:バッファ層、606:ゲート絶縁膜、607:ゲート電極、701:ゲート電極、702:ゲート絶縁膜、703:ソース領域、704:ドレイン領域、705:ソース電極、706:ドレイン電極、707:酸化物半導体層、800:撮像装置、801:画像、802:マップ情報、803a:物体の領域、803b:背景の領域、810:PC、911:筐体、912:表示部、913:スピーカ、919:カメラ、932:表示部、933:筐体兼リストバンド、939:カメラ、951:支持台、952:カメラユニット、953:保護カバー、961:筐体、962:シャッターボタン、963:マイク、965:レンズ、967:発光部、971:筐体、972:筐体、973:表示部、974:操作キー、975:レンズ、976:接続部、977:スピーカ、978:マイク、981:筐体、982:表示部、983:操作ボタン、984:外部接続ポート、985:スピーカ、986:マイク、987:カメラ