知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】撮像システム
(51)【国際特許分類】
H04N 23/12 20230101AFI20241202BHJP
G06T 7/00 20170101ALI20241202BHJP
G06V 10/82 20220101ALI20241202BHJP
【ＦＩ】
H04N23/12
G06T7/00 350C
G06V10/82
【請求項の数】
4
(21)【出願番号】P 2021566374
(86)(22)【出願日】2020-12-14
(86)【国際出願番号】 IB2020061874
(87)【国際公開番号】W WO2021130593
(87)【国際公開日】2021-07-01
【審査請求日】2023-12-05
(31)【優先権主張番号】P 2019237860
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】秋元 健吾
(72)【発明者】
【氏名】井上 聖子
(72)【発明者】
【氏名】三嶋 大地
【審査官】櫃本 研太郎
(56)【参考文献】
【文献】特開２０１９－１２８８８９（ＪＰ，Ａ）
【文献】特開２０１９－１１７５５９（ＪＰ，Ａ）
【文献】特開２００６－８０７４６（ＪＰ，Ａ）
【文献】特開２００７－２０８４８１（ＪＰ，Ａ）
【文献】国際公開第２０１８／１９７９８４（ＷＯ，Ａ１）
【文献】特開２０１９－１１８０９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８，９／０１－９／１１，
２３／１０，２３／１２－２３／１７，
２５／１０－２５／１７，２５／６１１
Ｇ０６Ｔ １／００－７／９０
Ｇ０６Ｖ １０／８２
(57)【特許請求の範囲】
【請求項1】
白黒画像データを取得する機能を有する固体撮像素子と、
第１の記憶装置と、
教師データを記憶する機能を有する第２の記憶装置と、
学習装置と、
を有する撮像システムであって、
前記固体撮像素子において前記白黒画像データを取得する第１のステップと、
前記固体撮像素子で取得された前記白黒画像データを前記第１の記憶装置に保存する第２のステップと、
前記第１の記憶装置からの前記白黒画像データを推論用プログラムが必要とする信号フォーマットに変換する第３のステップと、
前記学習装置において、前記信号フォーマットに変換された前記白黒画像データに対し超解像化処理を複数回行うことで、前記信号フォーマットに変換された前記白黒画像データの輪郭を推論するステップと、
前記超解像化処理を複数回行った後の前記白黒画像データに対し、前記教師データを用いて色を推論し、カラー化画像データを生成するステップと、
を有し、
前記教師データは、ＨＳＶ色空間に変換し、さらに彩度のヒストグラムの中央値とした第１の集合の統計に基づいて間引かれた第２の集合である、
撮像システム。
【請求項2】
請求項１において、前記固体撮像素子は裏面照射型のＣＭＯＳイメージセンサチップである、
撮像システム。
【請求項3】
請求項１または請求項２において、前記彩度のヒストグラムの中央値とした集合を２５６階調にクラス分けし、１７５階調以上のデータは前記教師データとして使用しない、
撮像システム。
【請求項4】
請求項１乃至３のいずれか一において、前記第２の集合は、前記第１の集合の２５０分の一以下である、
撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、ニューラルネットワーク、及びそれを用いた撮像システムに関する。また、本発明の一態様は、ニューラルネットワークを用いた電子機器に関する。また、本発明の一態様は、ニューラルネットワークを用いた車両に関する。本発明の一態様は、固体撮像素子で得られた白黒画像から、画像処理技術を用いてカラー画像を得る撮像システムに関する。該撮像システムを用いた映像監視システムまたは警備システムまたは安全情報提供システムまたは走行支援システムに関する。
【0002】
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様は、物、方法、又は、製造方法に関する。本発明の一態様は、プロセス、マシン、マニュファクチャ、又は、組成物（コンポジション・オブ・マター）に関する。そのため、より具体的に本明細書等で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、又は、それらの製造方法、を一例として挙げることができる。
【0003】
なお、本明細書中において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指し、電気光学装置、半導体回路および電子機器は全て半導体装置である。
【背景技術】
【0004】
従来、イメージセンサを使って撮像した画像をカラーフィルタを用いてカラー化する技術が知られている。イメージセンサは、デジタルカメラまたはビデオカメラなど撮像のための部品として広く使われている。また、イメージセンサは防犯カメラなど防犯機器の一部としても使われているため、そのような機器においては日中の明るい場所だけでなく、夜間または、照明が少なく光の乏しい暗い場所においても正確な撮像を行う必要があり、ダイナミックレンジの広いイメージセンサが必要である。
【0005】
また、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を使った技術の進歩が目覚ましく、例えば昔の写真フィルムを用いた白黒写真をＡＩによってカラー化する自動着色技術の開発も盛んに行われている。ＡＩによるカラー化には、大量の画像データによる学習を行い、モデルを生成し、得られた生成モデルを用いた推論によってカラー化を実現する手法などが知られている。なお、機械学習（マシンラーニング）はＡＩの一部である。
【0006】
カラー化は、画像データの量を多くして学習すれば、最適なカラー画像になるわけでなく、学習する画像データが多ければ多いほどセピア色または灰色になり、色付けが不十分になる傾向がある。
【0007】
基板上に形成された酸化物半導体薄膜を用いてトランジスタを構成する技術が注目されている。例えば、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路に用いる構成の撮像装置が特許文献１に開示されている。
【0008】
また、撮像装置に演算機能を付加する技術が特許文献２に開示されている。また、超解像化処理に関する技術が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【0009】
【文献】特開２０１１－１１９７１１号公報
【文献】特開２０１６－１２３０８７号公報
【文献】特開２０１０－２６２２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
従来のイメージセンサなどの撮像装置によるカラー画像は、カラーフィルタを用いている。撮像素子にはカラーフィルタがつけられた状態で販売され、その撮像素子とレンズなどを適宜組み合わせて電子機器に搭載している。カラーフィルタは、イメージセンサの受光領域に重ねて設置するだけで受光領域に到達する光量を低減してしまう。従って、カラーフィルタによる受光光量の減衰が避けられない。撮像素子と組み合わせるカラーフィルタは各社様々であり、最適化を図っているが、通過させる光の波長をピンポイントで取得するわけではなく、ある程度の波長域でのブロードな光を受光している。
【0011】
例えば、車両に搭載するカメラにおいて、薄暗い夕方、夜間、または悪天候の場合、光量が足りず、遠くの対象物を認識することが困難である。暗い映像では運転者が対象物を認識しにくいため、対象物をカラー化することで、結果として強調された画像となり、好ましい。
【0012】
例えば、監視システムなどに用いられる防犯カメラにおいて、薄暗い中での撮影では、光量が足りないため、顔を認識できるほどの画像が得られないという課題もある。防犯カメラの設置者にとっては赤外線カメラによる白黒画像よりもカラー画像が好まれている。
【0013】
例えば、海中での撮影においては、光量が足りない場所が多く、水深の深い場所では光源を必要とするが、魚を撮影したい場合にはその光源によって魚が逃げてしまう場合もある。また、海中においては光が届きにくいため、光源があっても遠くの魚を撮像することは困難である。
【0014】
カラーフィルタを用いることなく、視認性が高く、実際の色に忠実な画像を得る撮像方法及び撮像システムを提供することを課題の一つとしている。
【0015】
特に、夕方、夜間などの照明の少ない暗い場所の撮像においては、光の受光量が少ないため、鮮明な画像の撮像を行うのが難しいといった課題がある。そのため、暗い場所で撮像した画像は明るい場所に比べ、視認性の面で劣ってしまう。
【0016】
波長領域の狭い光環境下に置かれた防犯カメラは、事件または事故などにつながる手掛かりとして撮像した画像に映っている状況を正確に把握する必要があるため、映っている対象物の特徴を正確に捉える必要がある。そのため、例えば暗視カメラの場合、暗い場所でも、対象物に焦点を合わせ、対象物の視認性の良い画像を撮像することが重要となる。
【0017】
暗視カメラにおいては、赤外線光源を用いて特殊カラーフィルタで色分離することによりカラー映像を取得するカメラもある。しかしながら赤外線の反射光を用いているため、被写体によっては色が反映されない、もしくは異なった色に表現される問題がある。この問題は、被写体が赤外線を吸収する材料である場合に生じることが多い。例えば、人の肌は実際よりも白く撮像されやすく、黄色などの暖色は青く撮像される場合がある。
【0018】
夜間または暗い場所の撮像においても視認性が高く、外光があった場合と同じ色に忠実な画像を得る撮像方法及び撮像システムを提供することを課題の一つとしている。
【課題を解決するための手段】
【0019】
本発明の撮像システムは、カラーフィルタを有していない固体撮像素子と、記憶装置と、学習装置とを備える。カラーフィルタを用いないため、光の減衰を回避でき、少ない光量でも感度の高い撮像を行うことができる。
【0020】
カラーフィルタを有していないため、得られた白黒画像データ（アナログデータ）には、カラー化を行うが、ＡＩシステムを用いて色付けを行う。ＡＩシステム、即ち、記憶装置に記憶された教師データを用いる学習装置により、抽出された特徴量を使って、推論を行なって焦点を調節し、夜間または暗い場所の撮像においても視認性の高いカラー画像（カラー化された画像データ（デジタルデータ））を得ることができる。なお、学習装置は、少なくともニューラルネットワーク部を含み、学習だけでなく推論を行い、データ出力ができる。また、学習装置は、予め学習済みの特徴量を用いた推論を行う場合もある。その場合には、記憶装置に学習済みの特徴量を保存しておき、演算を行うことで、予め学習済みの特徴量を用いない場合と同程度のレベルでのデータ出力ができる。
【0021】
また、被写体への光量が少ないことが原因で被写体の輪郭の一部が不明瞭になる場合に、境界が判別できず、その箇所への色付けが不完全となる恐れがある。
【0022】
そこで、カラーフィルタを用いないイメージセンサを用い、ダイナミックレンジの広い白黒画像データを取得し、超解像化処理を複数回繰り返した後、色の境界を判別し、色付けすることが好ましい。また、教師データに対して少なくとも１回の超解像化処理を行ってもよい。なお、超解像化処理とは、低解像度画像から高解像度画像を生成する画像処理を指している。
【0023】
また、複数種類のニューラルネットワークを用いる画像処理を行う場合、行う順序も重要であり、白黒画像データを用いて演算を行い、最後の画像処理としてカラー化を行うことが好ましい。白黒画像データは、色情報をもつ画像データに比べてデータ量が少なく、演算装置の処理能力への負担が軽減できる。
【0024】
また、予め、学習モデルを用意しておけば、光量が足りない状況でフラッシュ光源を使用することなく、比較的明るい白黒画像データを撮像により取得し、その白黒画像データを基にしてカラー化することにより、鮮やかにカラー化された画像データを得ることができる。
【0025】
本明細書で開示する発明の構成は、カラーフィルタを有していない固体撮像素子と、記憶装置と、学習装置とを有する撮像システムであり、固体撮像素子は白黒画像データを取得し、学習装置で用いる教師データは、ＨＳＶ色空間に変換し、さらに彩度のヒストグラムの中央値とした第１の集合の統計に基づいて間引かれた第２の集合であり、記憶装置に記憶された教師データを用いて学習装置が白黒画像データのカラー化を行い、カラー化された画像データを作成する撮像システムである。
【0026】
上記構成において、固体撮像素子は裏面照射型のＣＭＯＳイメージセンサチップである。
【0027】
また、車両に搭載する撮像システムの場合、ある程度限られた電力しか使用できないため、車両に搭載したＣＰＵなどにより比較的大規模な演算などを行うことが困難である。特に学習データが膨大であれば、その学習データの学習に要する時間または、手間がかかることとなる場合がある。
【0028】
本明細書においてカラー化の学習には、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：敵対的生成ネットワーク）として知られた学習アルゴリズムを用いる。
【0029】
例えば、カラー化のための学習用データセット（ＩＬＳＶＲＣ２０１２（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ ２０１２））があるが、このデータセットは、２６６４６枚のカラー画像となっており、車両に搭載する際の学習に膨大な時間がかかる恐れがある。
【0030】
また、この学習用データを用いてニューラルネットワークによるカラー化を行うと、自然の色合いとは異なる画像になる場合が多い。
【0031】
そこで、ＩＬＳＶＲＣ２０１２のデータセットを用いる場合、学習用データとして２６６４６枚全部を用いるのではなく、選別して用いることで自然の色合いに近い画像を得る。選別方法としては、ＨＳＶ色空間のうち、Ｓ（彩度、ｓａｔｕａｔｉｏｎ）のヒストグラムを用いる。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度、明度（Ｖａｌｕｅ）の３つのパラメータで表現したものである。ＨＳＶ色空間は一般的な色の表現方法であるため、詳細はここでは省略することとする。
【0032】
ＨＳＶ色空間において、彩度は、色相環の中心点からの距離で示され、その値は、０から１．０で示される。なお、彩度が１．０である場合には純色になり、彩度が０であると、鮮やかさが失われ、全体的に灰色になる。
【0033】
ＩＬＳＶＲＣ２０１２のデータセットを用いる場合、画像の彩度を基にクラス分類をし、統計的に望ましい範囲に限定することで学習用データを減らし、且つ、自然な色合いに近い鮮やかな画像を出力することができる。
【0034】
学習データを減らす選別の基準として、ＨＳＶ色空間のうち、彩度を用い、最適な分布の彩度となるよう選別することが特徴である。データセットを彩度の基準で変換し、ある基準を用いて学習データを選別し、学習に用いるデータ量（写真枚数）を減らすことで短時間で学習することができ、且つ、白黒画像をカラー画像とするカラー化において全部の学習データを用いる場合に比べて鮮やかな画像を得ることができる。
【0035】
なお、本明細書では、１枚の画像の全画素を彩度でヒストグラム化したときの中央値を画像の彩度とする。画像の彩度は、２５６階調に規格化する。
【0036】
比較として、彩度の範囲を限定し、偏りのある学習データのみ、例えば彩度の中央値１７５以上２５６以下の学習データのみを用いてカラー化した場合、出力されたカラー画像も偏り、不自然な色合いになる結果となる。単純に彩度の高く、鮮やかな画像データのみを学習データに用いても鮮やかなカラー化を行うことは困難であった。
【0037】
本明細書で開示する他の発明の構成は、車両にカメラを備えた走行支援システムであり、前記カメラは、カラーフィルタを有していない固体撮像素子、学習装置、及び記憶装置を有し、固体撮像素子が撮像し、学習装置で用いる教師データは、ＨＳＶ色空間に変換し、さらに彩度のヒストグラムの中央値とした第１の集合の統計に基づいて間引かれた第２の集合であり、記憶装置の教師データを用いて学習装置の推論によりカラー化された画像データを作成するソフトウェアプログラムを実行する走行支援システムである。
【0038】
また、上記各構成において、彩度のヒストグラムの中央値とした集合を２５６階調にクラス分けし、１７５階調以上のデータは教師データとして使用しない。また、上記各構成において第２の集合は、第１の集合の２５０分の一以下とすることができる。
【0039】
上記撮像システムを用いた映像監視システムまたは警備システムまたは安全情報提供システムは、比較的暗い場所での撮像を明確に実現することができる。
【0040】
具体的には、防犯カメラを備えた監視システムであり、防犯カメラは、カラーフィルタを有していない固体撮像素子、学習装置、及び記憶装置を有し、防犯カメラが人物を検知している間に、固体撮像素子が撮像し、記憶装置の教師データを用いて学習装置の推論によりカラー化された画像データを作成するソフトウェアプログラムを実行する。
【0041】
また、車両に搭載したカメラ、いわゆる車載カメラを用いた走行支援システムであり、車載カメラは、カラーフィルタを有していない固体撮像素子、学習装置、及び記憶装置を有し、車載カメラが進行方向の遠くにある対象物を検知している間に、固体撮像素子が撮像し、予め選別された学習データを用いて学習装置の推論によりカラー化された画像データを作成するソフトウェアプログラムを実行する。走行支援システムにおいては、車載カメラで得られる画像が自然な色合いよりも鮮やかなカラー化がされたほうが、運転者の認識度があがるため、好ましい。従って、本明細書に開示するカラー化を行うことで、カラー化だけでなく、対象物の強調処理も同時に行うことができる。
【0042】
また、白黒画像のカラー化をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムがハードウェアに組み込まれているコンピュータ、またはネットワークまたは記録媒体からプログラムなどをインストールしてもよい。コンピュータで読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような記録媒体に記録されたプログラムをインストールし、白黒画像のカラー化のためのプログラムを実行する。プログラムで行われる処理は、順序に沿って処理を行うことに限定されず、時系列的でなくてもよく、例えば、並列的に行われてもよい。
【発明の効果】
【0043】
本明細書で開示する撮像システムにより、光量が少なく、薄暗い状況の撮影であっても、はっきりしたカラー化画像または鮮やかなカラー化画像を得ることができる。
【0044】
従って、防犯カメラであれば、得られたカラー化画像を基に、人物の特定（顔など）または、服装の特徴を識別することが比較的容易に行うことができる。防犯用カメラに本撮像システムを適用することにより、暗い場所の人物の顔を白黒画像データで撮像し、推定してカラー化して表示装置に出力することでカラー表示することもできる。
【0045】
特に、撮像精度を上げるため、８Ｋサイズの入力画像データを固体撮像素子で得る場合、一つ一つの画素に配置された固体撮像素子の受光領域面積が狭くなってしまうため、得られる光量が少なくなる。しかしながら、本明細書で開示する撮像システムでは、固体撮像素子にカラーフィルタを用いないので、カラーフィルタによる光量の低減がない。これにより、８Ｋサイズの画像データを感度良く、撮像することができる。
【0046】
また、車載カメラであれば、本明細書で開示する撮像システムにより、カラー化と同時に強調表示が可能となる。
【図面の簡単な説明】
【0047】
図１は、本発明の一態様を示すブロック図である。
図２Ａは、画像データの一例を示し、図２Ｂは、彩度中央値を５８とするカラー画像に対して、縦軸を頻度、横軸を２５６階調に規格化した彩度を示すグラフであり、図２Ｃは彩度中央値を９０とするカラー画像に対して、縦軸を頻度、横軸を２５６階調に規格化した彩度を示す図である。
図３は、縦軸を枚数、横軸をクラス分けした階調数を示すグラフと近似曲線を示す図である。
図４は、本発明の一態様を示すフロー図の一例である。
図５は、本発明の一態様を示すフロー図の一例である。
図６は、撮像部の構成例を示すブロック図である。
図７は、画素ブロック２００及び回路２０１の構成例を示す図である。
図８は、画素の構成例を示す図である。
図９Ａ乃至図９Ｃは、フィルタを示す図である。
図１０Ａは、画素の構成例を示す図である。図１０Ｂ乃至図１０Ｄは、光電変換デバイスの構成例を示す図である。
図１１は、撮像装置の構成例を示す断面図である。
図１２Ａ乃至図１２Ｃは、トランジスタの構成例を示す断面図である。
図１３は、撮像装置の構成例を示す断面図である。
図１４は、撮像装置の構成例を示す断面図である。
図１５Ａ１～図１５Ａ３、図１５Ｂ１～図１５Ｂ３は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図１６Ａは、車両の外観を示す図であり、図１６Ｂは車両の内側から前方のフロントガラスの方向をみた場合の模式図である。
図１７は、本発明の一態様を示す応用製品の一例である。
図２Ａは、画像データの一例を示し、図２Ｂは、彩度中央値を５８とするカラー画像に対して、縦軸を頻度、横軸を２５６階調に規格化した彩度を示すグラフであり、図２Ｃは彩度中央値を９０とするカラー画像に対して、縦軸を頻度、横軸を２５６階調に規格化した彩度を示す図である。
図３は、縦軸を枚数、横軸をクラス分けした階調数を示すグラフと近似曲線を示す図である。
図４は、本発明の一態様を示すフロー図の一例である。
図５は、本発明の一態様を示すフロー図の一例である。
図６は、撮像部の構成例を示すブロック図である。
図７は、画素ブロック２００及び回路２０１の構成例を示す図である。
図８は、画素の構成例を示す図である。
図９Ａ乃至図９Ｃは、フィルタを示す図である。
図１０Ａは、画素の構成例を示す図である。図１０Ｂ乃至図１０Ｄは、光電変換デバイスの構成例を示す図である。
図１１は、撮像装置の構成例を示す断面図である。
図１２Ａ乃至図１２Ｃは、トランジスタの構成例を示す断面図である。
図１３は、撮像装置の構成例を示す断面図である。
図１４は、撮像装置の構成例を示す断面図である。
図１５Ａ１～図１５Ａ３、図１５Ｂ１～図１５Ｂ３は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図１６Ａは、車両の外観を示す図であり、図１６Ｂは車両の内側から前方のフロントガラスの方向をみた場合の模式図である。
図１７は、本発明の一態様を示す応用製品の一例である。
【発明を実施するための形態】
【0048】
以下では、本発明の実施の形態について図面を用いて詳細に説明する
。ただし、本発明は以下の説明に限定されず、その形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。また、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
。ただし、本発明は以下の説明に限定されず、その形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。また、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【0049】
（実施の形態１）
映像監視システム、警備システムまたは走行支援システムに用いる撮像システム２１の構成の一例を図１に示すブロック図を参照して説明する。
映像監視システム、警備システムまたは走行支援システムに用いる撮像システム２１の構成の一例を図１に示すブロック図を参照して説明する。
【0050】
データ取得装置１０は、固体撮像素子１１とメモリ部１４を含む半導体チップであり、カラーフィルタを有していない。データ取得装置１０は、レンズなどの光学系は有している。なお、光学系は結像特性が既知であれば、どのような構成のものでもよく、特に限定されない。
【0051】
例えば、データ取得装置１０は、裏面照射型のＣＭＯＳイメージセンサチップと、ＤＲＡＭチップと、論理回路チップとを積層し、一つの半導体チップとしたものを用いてもよい。また、裏面照射型のＣＭＯＳイメージセンサチップと、アナログデジタル変換回路を含む論理回路チップとを積層し、一つの半導体チップとしてものを用いてもよく、その場合、メモリ部１４はＳＲＡＭである。また、積層するチップ同士は、貼り合わせの公知技術を用いて積層させて電気的な接続を行えばよい。
【0052】
メモリ部１４は、変換後のデジタルデータを記憶する回路であり、ニューラルネットワーク部１６に入力する前にデータを記憶させる構成としているが、特に本構成に限定されない。
【0053】
画像処理装置２０は、データ取得装置１０で得られる白黒画像に対応する輪郭または色を推定するための装置である。画像処理装置２０は、学習を行う第１の段階と、推定を行う第２の段階とに区別されて実行される。本実施の形態では、データ取得装置１０と画像処理装置２０を別々の装置として構成するようにしたが、データ取得装置１０と画像処理装置２０を一体的に構成することも可能である。一体的に構成する場合、ニューラルネットワーク部で得られる特徴量をリアルタイムで更新させるようにすることも可能である。
【0054】
ニューラルネットワーク部１６は、マイクロコントローラによるソフトウェア演算により実現される。マイクロコントローラは、コンピュータシステムを一つの集積回路（ＩＣ）に組み込んだものである。演算規模または扱うデータが大きい場合には複数のＩＣを組み合わせてニューラルネットワーク部１６を構成してもよい。これら複数のＩＣを学習装置は少なくとも含む。また、Ｌｉｎｕｘ（登録商標）を搭載したマイクロコントローラであればフリーのソフトウェアを用いることができるため、ニューラルネットワーク部１６を構成するためのトータルのコストを低減することができるため好ましい。また、Ｌｉｎｕｘ（登録商標）に限定されず、他のＯＳ（オペレーティングシステム）を用いてもよい。
【0055】
図１に示すニューラルネットワーク部１６の学習について以下に示す。本実施の形態では、予め学習させておき、重みを利用してニューラルネットワークによる処理を行う。学習用の教師データは、少なくすることができるため、記憶部１８に保存して、適宜、学習させることもできる。
【0056】
学習用のデータは、フリーの学習用セット（学習データセットとも呼ばれる）を用いればトータルのコストを低減することができるため好ましい。
【0057】
本実施の形態では、ＩＬＳＶＲＣ２０１２のデータのうち、選別して量を少なくしたものを用いることができる。
【0058】
データの選別方法は、ＨＳＶ色空間を用いる。ＨＳＶ色空間は人間の視覚に近い状態で数値化できるため好ましい。１枚の画像の全画素を彩度でヒストグラム化したときの中央値を画像の彩度とし、画像の彩度は、２５６階調に規格化する。
【0059】
ここで規格化したデータの一例を示す。図２Ａに１枚の白黒画像を示す。ある第１の条件で図２Ａの白黒画像に色付けした図２Ａの画像をヒストグラム化した結果が図２Ｂである。また、第１の条件と異なる第２の条件で色付けした図２Ａの画像をヒストグラム化した結果が図２Ｃである。
【0060】
なお、第２の条件のほうが人間の目で鮮やかな画像とみなすことができ、ヒストグラムの中央値が高い方が鮮やかな画像と数値化できる。
【0061】
図３に上記方法にて規格化し、ＩＬＳＶＲＣ２０１２のデータを画像の彩度で分類した結果を示す。彩度の中央値を２５ごとにわけていき、クラス分類を行っている。また、表１にも示す。
【0062】
【表1】
【0063】
また、上記クラス分類を行うことで、これらのデータから近似曲線を求めることができる。図３には近似曲線を示しており、この近似曲線に基づいて各階調数範囲（クラス）のそれぞれを選別することで学習に用いる画像枚数を間引き、減らすことができる。トータルの学習で用いる画像枚数の一例として表２に示す。
【0064】
【表2】
【0065】
表２に示すように、１７５以上２５６以下のデータを削除し、それ以外のクラス分けを近似曲線で求めている。例えば、トータル枚数を１万枚とする場合には、それぞれのクラスで選別すればよい。トータル枚数を１００枚（約２５０分の１）とする場合、階調数０以上２５未満を１７枚、２５以上５０未満を２２枚、５０以上７５未満を２１枚、７５以上１００未満を１７枚、１００以上１２５未満を１２枚、１２５以上１５０未満を７枚、１５０以上１７５未満を５枚とすればよい。また、トータル枚数を１００枚とする場合の数値に基づき、百分率で割合を選別することもできる。また、これらの枚数は基準であり、各クラスの０．５倍または２倍の範囲の枚数とする。
【0066】
これら学習用の教師データを用いて学習装置が推論を行う。学習装置は、白黒画像データに基づき、記憶部１８の教師データを用いて推論を行ってカラー化された画像データを出力できるのであれば、どのような構成をとっても構わない。予め学習済の特徴量を用いる場合、データ量及び演算量が軽減されるため、小規模な構成、例えば１つまたは２つのＩＣで学習装置を構成できるメリットがある。
【0067】
カラー化は、以下の畳み込みニューラルネットワーク（人工ニューラルネットワークとも呼ぶ）を用いることができる。
【0068】
Ｌｉｎｕｘ（登録商標）の動作環境下にてｐｙｔｈｏｎを用いてプログラムを作成する。ニューラルネットワークをＧｅｎｅｒａｔｏｒとしたＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を用いる。
【0069】
ニューラルネットワーク部１６の出力データと、時刻情報取得装置１７の時刻データとを結びつけて大規模記憶装置１５に保存する。大規模記憶装置１５には、撮像開始から得られたデータを累積して保存する。なお、大規模記憶装置１５と記載しているが、大型サーバーを指しているのではなく、例えば、防犯カメラの監視装置または、車両に搭載することが可能である小型の大容量記憶装置（例えば、ＳＳＤ、またはハードディスク）を指している。時刻情報取得装置１７はＧＰＳにより時刻情報を取得する装置を用いてもよい。
【0070】
表示部１９には、タッチパネルなどの操作入力部を備えてもよく、使用者が、大規模記憶装置１５に記憶されたデータの中から選択して、適宜観察することができる。撮像システム２１は、映像監視システムまたは警備システムまたは走行支援システムに用いることができる。
【0071】
また、使用者の携帯情報端末（スマートフォンなど）の表示部を表示部１９とすることもできる。携帯情報端末の表示部から大規模記憶装置１５にアクセスすることで使用者の居場所を問わず監視することもできる。
【0072】
撮像システム２１の設置は、部屋の壁に限定されず、撮像システム２１の構成全部または一部を、回転翼を備える無人航空機（ドローンとも呼ばれる）に搭載することで、空中からの映像監視をすることもできる。特に夕方または夜間の街灯点灯の少ない光量の環境下での撮像ができる。
【0073】
また、本実施の形態では、映像監視システムまたは警備システムに関して説明したが、特に限定されず、車両周辺を撮像するカメラまたはレーダと画像処理などを行うＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と組み合わせることで、半自動運転を行える車両、或いは全自動運転を行える車両に適用することもできる。電動モータを用いる車両は、複数のＥＣＵを有し、ＥＣＵによってモータ制御などを行う。ＥＣＵは、マイクロコンピュータを含む。ＥＣＵは、電動車両に設けられたＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続される。ＣＡＮは、車内ＬＡＮとして用いられるシリアル通信規格の一つである。ＥＣＵは、ＣＰＵまたはＧＰＵを用いる。例えば、電動車両に搭載する複数のカメラ（ドライブレコーダー用カメラ、リアカメラなど）の一つとして、カラーフィルタのない固体撮像素子を用い、得られた白黒画像をＣＡＮを介してＥＣＵにて推論を行い、カラー化画像を作成し、車内の表示装置または携帯情報端末の表示部に表示できるように構成してもよい。
【0074】
（実施の形態２）
本実施の形態では、実施の形態１に示したブロック図を用いて、固体撮像素子１１で得られる白黒映像に対してカラー化を行うフローの一例を図４に示す。
本実施の形態では、実施の形態１に示したブロック図を用いて、固体撮像素子１１で得られる白黒映像に対してカラー化を行うフローの一例を図４に示す。
【0075】
監視する領域を撮影できる場所（車両のボンネット、車両の天井など）にカラーフィルタを有していない固体撮像素子を設け、実施の形態１に示す撮像システム２１を設置し、起動し、連続撮影を開始する。
【0076】
まず、データを取得する準備を開始し、取得開始する（Ｓ１）。
【0077】
カラーフィルタなしの固体撮像素子を用いて白黒画像データを取得する（Ｓ２）。
【0078】
次いで、白黒画像データをメモリ部１４（デジタルメモリ部）に保存する（Ｓ５ａ）。カラー画像をそのまま保存するデータ量に比べ、白黒画像データで保存する方が容量を小さくすることができる。
【0079】
次いで、デジタルデータ（白黒画像データ）を後段の推論用プログラムが必要とする信号フォーマット（ＪＰＥＧ（登録商標）など）に変換する（Ｓ６）。
【0080】
次いで、変換後のデジタルデータを、ＣＰＵなどを用いて畳み込み処理を行い、輪郭、色などを推論し、カラー化する（Ｓ７）。ＣＰＵに代えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＭＵ（Ｐｏｗｅｒ Ｍａｎａｇｅｍｅｎｔ Ｕｎｉｔ）など）と統合した一つのＩＣチップを用いてもよい。そしてカラー化画像データを出力する（Ｓ８）。そして日時などの時刻データとともにカラー化画像データを保存する（Ｓ９）。保存は大規模記憶装置１５、いわゆる大容量記憶装置（ハードディスクなど）またはデータベースに蓄積する。
【0081】
カラー化のための学習データは、実施の形態１に示したように学習データセットを選別したものを用いる。実施の形態１に示した選別方法により、学習データを学習するために要する時間を大幅に短くすることができる。また、少ない学習データであっても、カラー化により鮮やかな画像を得ることができ、それが強調表示にもなる。従来のカラーフィルタがある撮像素子を用いるとダイナミックレンジが狭くなり暗くなる撮像画像に比べて、本実施の形態で得られる画像は、従来よりも強調表示されることになり、走行支援システムとして適した表示とすることができる。
【0082】
上記カラー化画像データの取得を繰り返し行う。繰り返し行うことでリアルタイムにカラー化を行うこともできる。
【0083】
こうして得られるカラー化画像データは、カラーフィルタのない撮像素子を用い、ダイナミックレンジの広い白黒画像を基にしているため、従来のカラーフィルタ有りの撮像素子では光量が少なく識別不能な場合においても、識別可能なカラー化画像データを得ることができる。本実施の形態で示した撮像システムは、上述した各ステップ（Ｓ１～Ｓ９）を１または複数のコンピュータに実現させることができる。
【0084】
（実施の形態３）
本実施の形態では、実施の形態２で得られるカラー化画像データと比べて、さらにスムーズな画像処理または細かい色付け処理を可能とする例を示す。
本実施の形態では、実施の形態２で得られるカラー化画像データと比べて、さらにスムーズな画像処理または細かい色付け処理を可能とする例を示す。
【0085】
【0086】
図５に示すようにステップＳ６の後に、変換後のデジタルデータに対して、超解像化処理を第１の学習モデルを用いて複数回行い、輪郭を推論する（Ｓ７ａ）。
【0087】
そして、超解像化処理後のデジタルデータを第２の学習モデルを用いて、色などを推論し、カラー化する（Ｓ７ｂ）。以降のステップは、実施の形態２と同じである。
【0088】
実施の形態１に示した方法により、ある一定の基準に到達できるカラー画像を得るための教師データのデータ量を少なくし、機械学習に要する時間を短縮し、ニューラルネットワーク部の構成を簡略化できる。なお、ニューラルネットワーク部は、機械学習の一部である。また、深層学習は、ニューラルネットワーク部の一部である。
【0089】
本実施の形態で得られるカラー化画像データは、実施の形態２の画像データよりも輪郭がスムーズになり、最適なカラー化が行われる。
【0090】
本実施の形態は実施の形態１または実施の形態２と自由に組み合わせることができる。
【0091】
（実施の形態４）
本実施の形態では、データ取得装置１０として、撮像部となる構成例を以下に説明する。図６は撮像部を説明するブロック図である。
本実施の形態では、データ取得装置１０として、撮像部となる構成例を以下に説明する。図６は撮像部を説明するブロック図である。
【0092】
撮像部は、画素アレイ３００と、回路２０１と、回路３０１と、回路３０２と、回路３０３と、回路３０４と、回路３０５と、回路３０６を有する。なお、回路２０１及び回路３０１乃至回路３０６のそれぞれは、単一の回路構成に限らず、複数の回路の組み合わせで構成される場合がある。又は、上記いずれか複数の回路が統合されていてもよい。また、上記以外の回路が接続されてもよい。
【0093】
画素アレイ３００は、撮像機能及び演算機能を有する。回路２０１、及び回路３０１は、演算機能を有する。回路３０２は、演算機能又はデータ変換機能を有する。回路３０３、回路３０４、及び回路３０６は、選択機能を有する。回路３０３は配線４２４を介して画素ブロック２００に電気的に接続されている。回路３０４は配線４２３を介して画素ブロック２００に電気的に接続されている。回路３０５は、画素に積和演算用の電位を供給する機能を有する。選択機能を有する回路には、シフトレジスタ又はデコーダ等を用いることができる。回路３０６は配線４１３を介して画素ブロック２００に電気的に接続されている。なお、回路３０１、及び回路３０２は、外部に設けられていてもよい。
【0094】
画素アレイ３００は、複数の画素ブロック２００を有する。画素ブロック２００は、図７に示すように、マトリクス状に配置された複数の画素４００を有し、それぞれの画素４００は、配線４１２を介して回路２０１と電気的に接続される。なお、回路２０１は画素ブロック２００内に設けることもできる。
【0095】
また、画素４００は、隣接する画素４００とトランジスタ４５０（トランジスタ４５０ａ乃至トランジスタ４５０ｆ）を介して電気的に接続される。トランジスタ４５０の機能は後述する。
【0096】
画素４００では、画像データの取得及び画像データと重み係数とを加算したデータを生成することができる。なお、図７においては、一例として画素ブロック２００が有する画素数を３×３としているが、これに限らない。例えば、２×２、４×４等とすることができる。又は、水平方向と垂直方向の画素数が異なっていてもよい。また、一部の画素を隣り合う画素ブロックで共有してもよい。図７では、画素４００間に１０個のトランジスタ４５０（トランジスタ４５０ａ乃至４５０ｊ）を設けた例を示したが、さらにトランジスタ４５０の数を増やしてもよい。また、トランジスタ４５０ｇ乃至４５０ｊにおいては、並列のパスを解消するようにいくつかのトランジスタを省いてもよい。トランジスタ４５０ｇ乃至４５０ｊにはそれぞれ配線４１３ｇ乃至４１３ｊがゲートとして接続されている。
【0097】
画素ブロック２００及び回路２０１は、積和演算回路として動作させることができる。
【0098】
画素４００は、図８に示すように、光電変換デバイス４０１と、トランジスタ４０２と、トランジスタ４０３と、トランジスタ４０４と、トランジスタ４０５と、トランジスタ４０６と、キャパシタ４０７を有することができる。
【0099】
光電変換デバイス４０１の一方の電極は、トランジスタ４０２のソース又はドレインの一方と電気的に接続される。トランジスタ４０２のソース又はドレインの他方は、トランジスタ４０３のソース又はドレインの一方、トランジスタ４０４のゲート及びキャパシタ４０７の一方の電極と電気的に接続される。トランジスタ４０４のソース又はドレインの一方は、トランジスタ４０５のソース又はドレインの一方と電気的に接続される。キャパシタ４０７の他方の電極は、トランジスタ４０６のソース又はドレインの一方と電気的に接続される。
【0100】
光電変換デバイス４０１の他方の電極は、配線４１４と電気的に接続される。トランジスタ４０３のソース又はドレインの他方は、配線４１５と電気的に接続される。トランジスタ４０５のソース又はドレインの他方は、配線４１２と電気的に接続される。トランジスタ４０４のソース又はドレインの他方は、ＧＮＤ配線等と電気的に接続される。トランジスタ４０６のソース又はドレインの他方は、配線４１１と電気的に接続される。キャパシタ４０７の他方の電極は、配線４１７と電気的に接続される。
【0101】
トランジスタ４０２のゲートは、配線４２１と電気的に接続される。トランジスタ４０３のゲートは、配線４２２と電気的に接続される。トランジスタ４０５のゲートは、配線４２３と電気的に接続される。トランジスタ４０６のゲートは、配線４２４と電気的に接続される。
【0102】
ここで、トランジスタ４０２のソース又はドレインの他方と、トランジスタ４０３のソース又はドレインの一方と、キャパシタ４０７の一方の電極と、トランジスタ４０４のゲートとの電気的な接続点をノードＦＤとする。また、キャパシタ４０７の他方の電極と、トランジスタ４０６のソース又はドレインの一方との電気的な接続点をノードＦＤＷとする。
【0103】
配線４１４、及び配線４１５は、電源線としての機能を有することができる。例えば、配線４１４、は高電位電源線、配線４１５は低電位電源線として機能させることができる。配線４２１、配線４２２、配線４２３、及び配線４２４は、各トランジスタの導通を制御する信号線として機能させることができる。配線４１１は、画素４００に重み係数に相当する電位を供給する配線として機能させることができる。配線４１２は、画素４００と回路２０１とを電気的に接続する配線として機能させることができる。配線４１７は、当該画素のキャパシタ４０７の他方の電極と、別の画素のキャパシタ４０７の他方の電極とをトランジスタ４５０を介して電気的に接続する配線として機能することができる（図７参照）。
【0104】
なお、配線４１２には、増幅回路またはゲイン調整回路が電気的に接続されていてもよい。
【0105】
光電変換デバイス４０１としては、フォトダイオードを用いることができる。フォトダイオードの種類は問わず、シリコンを光電変換層に有するＳｉフォトダイオード、有機光導電膜を光電変換層に有する有機フォトダイオード等を用いることができる。なお、低照度時の光検出感度を高めたい場合は、アバランシェフォトダイオードを用いることが好ましい。
【0106】
トランジスタ４０２は、ノードＦＤの電位を制御する機能を有することができる。トランジスタ４０３は、ノードＦＤの電位を初期化する機能を有することができる。トランジスタ４０４は、ノードＦＤの電位に応じて回路２０１が流す電流を制御する機能を有することができる。トランジスタ４０５は、画素を選択する機能を有することができる。トランジスタ４０６は、ノードＦＤＷに重み係数に相当する電位を供給する機能を有することができる。
【0107】
光電変換デバイス４０１にアバランシェフォトダイオードを用いる場合は、高電圧を印加することがあり、光電変換デバイス４０１と接続されるトランジスタには高耐圧のトランジスタを用いることが好ましい。高耐圧のトランジスタには、例えば、チャネル形成領域に金属酸化物を用いたトランジスタ（以下、ＯＳトランジスタ）等を用いることができる。具体的には、トランジスタ４０２にＯＳトランジスタを適用することが好ましい。
【0108】
また、ＯＳトランジスタは、オフ電流が極めて低い特性も有する。トランジスタ４０２、トランジスタ４０３、及びトランジスタ４０６にＯＳトランジスタを用いることによって、ノードＦＤ及びノードＦＤＷで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成または動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。また、ノードＦＤに画像データを保持させつつ、当該画像データを用いた複数回の演算を行うこともできる。
【0109】
一方、トランジスタ４０４は、増幅特性が優れていることが望まれる場合がある。また、トランジスタ４０６は、高速動作が可能な移動度が高いトランジスタを用いることが好ましい場合がある。したがって、トランジスタ４０４、及びトランジスタ４０６には、シリコンをチャネル形成領域に用いたトランジスタ（以下、Ｓｉトランジスタ）を適用してもよい。
【0110】
なお、上記に限らず、ＯＳトランジスタ及びＳｉトランジスタを任意に組み合わせて適用してもよい。また、全てのトランジスタをＯＳトランジスタとしてもよい。又は、全てのトランジスタをＳｉトランジスタとしてもよい。Ｓｉトランジスタとしては、アモルファスシリコンを有するトランジスタ、結晶性のシリコン（微結晶シリコン、低温ポリシリコン、単結晶シリコン）を有するトランジスタ等が挙げられる。
【0111】
画素４００におけるノードＦＤの電位は、配線４１５から供給されるリセット電位及び光電変換デバイス４０１による光電変換で生成される電位（画像データ）が加算された電位で確定される。又は、さらに配線４１１から供給される重み係数に相当する電位が容量結合されて確定される。したがって、トランジスタ４０５には、画像データに任意の重み係数が加わったデータに応じた電流を流すことができる。
【0112】
なお、上記は画素４００の回路構成の一例であり、光電変換動作に関しては他の回路構成で行うこともできる。
【0113】
図７に示すように、各画素４００は、配線４１２で互いに電気的に接続される。回路２０１は、各画素４００のトランジスタ４０４に流れる電流の和を用いて演算を行うことができる。
【0114】
回路２０１は、キャパシタ２０２と、トランジスタ２０３と、トランジスタ２０４と、トランジスタ２０５と、トランジスタ２０６と、抵抗２０７を有する。
【0115】
キャパシタ２０２の一方の電極は、トランジスタ２０３のソース又はドレインの一方と電気的に接続される。トランジスタ２０３のソース又はドレインの一方は、トランジスタ２０４のゲートと電気的に接続される。トランジスタ２０４のソース又はドレインの一方は、トランジスタ２０５のソース又はドレインの一方と電気的に接続される。トランジスタ２０５のソース又はドレインの一方は、トランジスタ２０６のソース又はドレインの一方と電気的に接続される。抵抗２０７の一方の電極は、キャパシタ２０２の他方の電極と電気的に接続される。
【0116】
キャパシタ２０２の他方の電極は、配線４１２と電気的に接続される。トランジスタ２０３のソース又はドレインの他方は、配線２１８と電気的に接続される。トランジスタ２０４のソース又はドレインの他方は、配線２１９と電気的に接続される。トランジスタ２０５のソース又はドレインの他方は、ＧＮＤ配線等の基準電源線と電気的に接続される。トランジスタ２０６のソース又はドレインの他方は、配線２１２と電気的に接続される。抵抗２０７の他方の電極は、配線２１７と電気的に接続される。
【0117】
配線２１７、配線２１８、及び配線２１９は、電源線としての機能を有することができる。例えば、配線２１８は、読み出し用の専用電位を供給する配線としての機能を有することができる。配線２１７、及び配線２１９は、高電位電源線として機能させることができる。配線２１３、配線２１５、及び配線２１６は、各トランジスタの導通を制御する信号線として機能させることができる。配線２１２は出力線であり、例えば、図６に示す回路３０１と電気的に接続することができる。
【0118】
トランジスタ２０３は、配線２１１の電位を配線２１８の電位にリセットする機能を有することができる。配線２１１はキャパシタ２０２の一方の電極と、トランジスタ２０３のソースまたはドレインの一方と、トランジスタ２０４のゲートと接続される配線である。トランジスタ２０４、及びトランジスタ２０５は、ソースフォロア回路としての機能を有することができる。トランジスタ２０６は、読み出しを制御する機能を有することができる。なお、回路２０１は、相関二重サンプリング回路（ＣＤＳ回路）としての機能を有し、当該機能を有する他の構成の回路に置き換えることもできる。
【0119】
本発明の一態様では、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去し、目的のＷＸを抽出する。ＷＸは、同じ画素に対して、撮像あり、なしのデータと、そのそれぞれに対して、重みを加えたときのデータを利用して算出することができる。
【0120】
撮像ありのときに画素４００に流れる電流（Ｉｐ）の合計はｋΣ（Ｘ－Ｖｔｈ）２、重みを加えたときに画素４００に流れる電流（Ｉｐ）の合計はｋΣ（Ｗ＋Ｘ－Ｖｔｈ）２となる。また、撮像なしのときに画素４００に流れる電流（Ｉｒｅｆ）の合計はｋΣ（０－Ｖｔｈ）２、重みを加えたときに画素４００に流れる電流（Ｉｒｅｆ）の合計はｋΣ（Ｗ－Ｖｔｈ）２となる。ここで、ｋは定数、Ｖｔｈはトランジスタ４０５のしきい値電圧である。
【0121】
まず、撮像ありのデータと、当該データに重みを加えたデータとの差分（データＡ）を算出する。ｋΣ（（Ｘ－Ｖｔｈ）２－（Ｗ＋Ｘ－Ｖｔｈ）２）＝ｋΣ（－Ｗ２－２Ｗ・Ｘ＋２Ｗ・Ｖｔｈ）となる。
【0122】
次に、撮像なしのデータと、当該データに重みを加えたデータとの差分（データＢ）を算出する。ｋΣ（（０－Ｖｔｈ）２－（Ｗ－Ｖｔｈ）２）＝ｋΣ（－Ｗ２＋２Ｗ・Ｖｔｈ）となる。
【0123】
そして、データＡとデータＢとの差分をとる。ｋΣ（－Ｗ２－２Ｗ・Ｘ＋２Ｗ・Ｖｔｈ－（－Ｗ２＋２Ｗ・Ｖｔｈ））＝ｋΣ（－２Ｗ・Ｘ）となる。すなわち、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去することができる。
【0124】
回路２０１では、データＡ及びデータＢを読み出すことができる。なお、データＡとデータＢとの差分演算は、例えば回路３０１で行うことができる。
【0125】
ここで、画素ブロック２００全体に供給される重みはフィルタとして機能する。当該フィルタとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）の畳み込みフィルタを用いることができる。又は、エッジ抽出フィルタ等の画像処理フィルタを用いることができる。エッジ抽出フィルタとしては、例えば、図９Ａに示すラプラシアンフィルタ、図９Ｂに示すプレウィットフィルタ、図９Ｃに示すソーベルフィルタ等を一例として挙げることができる。
【0126】
画素ブロック２００が有する画素４００の数が３×３の場合、上記エッジ抽出フィルタの要素を重みとして各画素４００に割り振って供給することができる。前述したように、データＡ及びデータＢを算出するためには、撮像あり、なしのデータと、そのそれぞれに対して、重みを加えたときのデータを利用して算出することができる。ここで、撮像あり、なしのデータは、重みを加えないデータであり、全ての画素４００に重み０を加えたデータと換言することもできる。
【0127】
図９Ａ乃至図９Ｃに例示したエッジ抽出フィルタは、フィルタの要素（重み：ΔＷ）の和（ΣΔＷ／Ｎ、Ｎは要素の数）が０となるフィルタである。したがって、新たに他の回路からΔＷ＝０を供給する動作を行わなくても、ΣΔＷ／Ｎを取得する動作を行えば、全ての画素４００にΔＷ＝０相当を加えたデータを取得することができる。
【0128】
当該動作は、画素４００間に設けたトランジスタ４５０（トランジスタ４５０ａ乃至トランジスタ４５０ｆ）を導通させることに相当する（図７参照）。トランジスタ４５０を導通させることで、各画素４００のノードＦＤＷは、配線４１７を介してすべて短絡する。このとき、各画素４００のノードＦＤＷに蓄積されていた電荷は再分配され、図９Ａ乃至図９Ｃに例示したエッジ抽出フィルタを用いた場合には、ノードＦＤＷの電位（ΔＷ）は０又は略０となる。したがって、ΔＷ＝０相当を加えたデータを取得することができる。
【0129】
なお、画素アレイ３００の外側にある回路から電荷を供給して重み（ΔＷ）を書き換える場合は、距離の長い配線４１１の容量等が起因し、書き換え完了までに時間を要する。一方で、画素ブロック２００は微小な領域であり、配線４１７の距離も短く容量も小さい。したがって、画素ブロック２００内のノードＦＤＷに蓄積されていた電荷の再分配を行う動作では、高速に重み（ΔＷ）を書き換えることができる。
【0130】
図７に示す画素ブロック２００では、トランジスタ４５０ａ乃至トランジスタ４５０ｆがそれぞれ異なるゲート線（配線４１３ａ乃至配線４１３ｆ）と電気的に接続された構成を示している。当該構成では、トランジスタ４５０ａ乃至トランジスタ４５０ｆの導通を独立して制御することができ、ΣΔＷ／Ｎを取得する動作を選択的に行うことができる。
【0131】
例えば、図９Ｂ、又は図９Ｃ等に示すフィルタを用いた場合は、初期にΔＷ＝０が供給されている画素がある。ΣΔＷ／Ｎ＝０であることを前提とする場合、ΔＷ＝０が供給されている画素は和の対象となる画素から除外してもよい。当該画素を除外することで、トランジスタ４５０ａ乃至トランジスタ４５０ｆの一部を動作させるための電位の供給が不要となるため、消費電力を抑えることができる。
【0132】
回路２０１から出力される積和演算結果のデータは、回路３０１に順次入力される。回路３０１には、前述したデータＡとデータＢとの差分を演算する機能のほかに、様々な演算機能を有していてもよい。例えば、回路３０１は、回路２０１と同等の構成とすることができる。又は、回路３０１の機能をソフトウェア処理で代替えしてもよい。
【0133】
また、回路３０１は、活性化関数の演算を行う回路を有していてもよい。当該回路には、例えばコンパレータ回路を用いることができる。コンパレータ回路では、入力されたデータと、設定されたしきい値とを比較した結果を２値データとして出力する。すなわち、画素ブロック２００及び回路３０１はニューラルネットワークの一部の要素として作用することができる。
【0134】
回路３０１から出力されたデータは、回路３０２に順次入力される。回路３０２は、例えばラッチ回路及びシフトレジスタ等を有する構成とすることができる。当該構成によって、パラレルシリアル変換を行うことができ、並行して入力されたデータを配線３１１にシリアルデータとして出力することができる。
【0135】
［画素の構成例］
図１０Ａは、画素４００の構成例を示す図である。画素４００は、層５６１と層５６３の積層構造とすることができる。
図１０Ａは、画素４００の構成例を示す図である。画素４００は、層５６１と層５６３の積層構造とすることができる。
【0136】
層５６１は、光電変換デバイス４０１を有する。光電変換デバイス４０１は、図１０Ｂに示すように層５６５ａと、層５６５ｂを有することができる。なお、場合によって、層を領域と言い換えてもよい。
【0137】
図１０Ｂに示す光電変換デバイス４０１はｐｎ接合型フォトダイオードであり、例えば、層５６５ａにｐ型半導体、層５６５ｂにｎ型半導体を用いることができる。又は、層５６５ａにｎ型半導体、層５６５ｂにｐ型半導体用いてもよい。
【0138】
上記ｐｎ接合型フォトダイオードは、代表的には単結晶シリコンを用いて形成することができる。
【0139】
また、層５６１が有する光電変換デバイス４０１は、図１０Ｃに示すように、層５６６ａと、層５６６ｂと、層５６６ｃと、層５６６ｄとの積層としてもよい。図１０Ｃに示す光電変換デバイス４０１はアバランシェフォトダイオードの一例であり、層５６６ａ、及び層５６６ｄは電極に相当し、層５６６ｂ、及び層５６６ｃは光電変換部に相当する。
【0140】
層５６６ａは、低抵抗の金属層等とすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀、又はそれらの積層を用いることができる。
【0141】
層５６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム－錫酸化物、ガリウム－亜鉛酸化物、インジウム－ガリウム－亜鉛酸化物、又はグラフェン等を用いることができる。なお、層５６６ｄを省く構成とすることもできる。
【0142】
光電変換部の層５６６ｂ、及び層５６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とすることができる。層５６６ｂとしてはｐ型半導体であるセレン系材料を用い、層５６６ｃとしてはｎ型半導体であるガリウム酸化物等を用いることが好ましい。
【0143】
セレン系材料を用いた光電変換デバイスは、可視光に対する外部量子効率が高い特性を有する。当該光電変換デバイスでは、アバランシェ増倍を利用することにより、入射される光の量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できる等の生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法又はスパッタ法等を用いて形成することができる。
【0144】
セレン系材料としては、単結晶セレンまたは多結晶セレン等の結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、又は、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）等を用いることができる。
【0145】
ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、又はそれらが混在した酸化物等を用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
【0146】
また、層５６１が有する光電変換デバイス４０１は、図１０Ｄに示すように、層５６７ａと、層５６７ｂと、層５６７ｃと、層５６７ｄと、層５６７ｅとの積層としてもよい。図１０Ｄに示す光電変換デバイス４０１は有機光導電膜の一例であり、層５６７ａは下部電極、層５６７ｅは透光性を有する上部電極であり、層５６７ｂ、層５６７ｃ、及び層５６７ｄは光電変換部に相当する。
【0147】
光電変換部の層５６７ｂ又は層５６７ｄの一方はホール輸送層とすることができる。また、層５６７ｂ又は層５６７ｄの他方は電子輸送層とすることができる。また、層５６７ｃは光電変換層とすることができる。
【0148】
ホール輸送層としては、例えば酸化モリブデン等を用いることができる。電子輸送層としては、例えば、Ｃ６０、Ｃ７０等のフラーレン、又はそれらの誘導体等を用いることができる。
【0149】
光電変換層としては、ｎ型有機半導体及びｐ型有機半導体の混合層（バルクヘテロ接合構造）を用いることができる。
【0150】
図１０Ａに示す層５６３には、例えばシリコン基板が含まれる。当該シリコン基板上には、Ｓｉトランジスタ等が設けられる。当該Ｓｉトランジスタを用いて、画素４００を形成することができる。また、図６に示す回路２０１、及び回路３０１乃至回路３０６を形成することができる。
【0151】
次に、撮像装置の積層構造について、断面図を用いて説明する。なお、以下に示す絶縁層及び導電層等の要素は一例であり、さらに他の要素が含まれていてもよい。又は、以下に示す要素の一部が省かれていてもよい。また、以下に示す積層構造は、必要に応じて、貼り合わせ工程、研磨工程等を用いて形成することができる。
【0152】
図１１に示す構成の撮像装置は、層５６０、層５６１、及び層５６３を有する。図１１では、層５６３に設けられている要素として、トランジスタ４０２、及びトランジスタ４０３を示しているが、トランジスタ４０４乃至トランジスタ４０６等、他の要素も層５６３に設けることができる。
【0153】
層５６３には、シリコン基板６３２、絶縁層６３３、絶縁層６３４、絶縁層６３５、及び絶縁層６３７が設けられる。また、導電層６３６が設けられる。
【0154】
絶縁層６３４、絶縁層６３５、及び絶縁層６３７は、層間絶縁膜及び平坦化膜としての機能を有する。絶縁層６３３は、保護膜としての機能を有する。導電層６３６は、図８に示す配線４１４と電気的に接続される。
【0155】
層間絶縁膜及び平坦化膜としては、例えば、酸化シリコン膜等の無機絶縁膜、アクリル樹脂、ポリイミド樹脂等の有機絶縁膜を用いることができる。保護膜としては、例えば、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜等を用いることができる。
【0156】
導電層としては、アルミニウム、クロム、銅、銀、金、白金、タンタル、ニッケル、チタン、モリブデン、タングステン、ハフニウム、バナジウム、ニオブ、マンガン、マグネシウム、ジルコニウム、ベリリウム、インジウム、ルテニウム、イリジウム、ストロンチウム、ランタン等から選ばれた金属元素、又は上述した金属元素を成分とする合金か、上述した金属元素を組み合わせた合金等を適宜選択して用いればよい。当該導電体は単層に限らず、異なる材料で構成された複数の層であってもよい。
【0157】
図１１に示すＳｉトランジスタはシリコン基板にチャネル形成領域を有するフィン型である。チャネル幅方向の断面（図１１の層５６３に示すＡ１－Ａ２の断面）を図１２Ａに示す。なお、Ｓｉトランジスタは、図１２Ｂに示すようにプレーナー型であってもよい。
【0158】
又は、図１２Ｃに示すように、シリコン薄膜の半導体層５４５を有するトランジスタであってもよい。半導体層５４５は、例えば、シリコン基板６３２上の絶縁層５４６上に形成された単結晶シリコン（ＳＯＩ：Ｓｉｌｉｃｏｎ ｏｎ Ｉｎｓｕｌａｔｏｒ）とすることができる。
【0159】
層５６１には、光電変換デバイス４０１が設けられる。光電変換デバイス４０１は、層５６３上に形成することができる。図１１では、光電変換デバイス４０１として、図１０Ｄに示す有機光導電膜を光電変換層に用いた構成を示している。なお、ここでは、層５６７ａをカソード、層５６７ｅをアノードとする。
【0160】
層５６１には、絶縁層６５１、絶縁層６５２、絶縁層６５３、絶縁層６５４、及び導電層６５５が設けられる。
【0161】
絶縁層６５１、絶縁層６５３、及び絶縁層６５４は、層間絶縁膜及び平坦化膜としての機能を有する。また、絶縁層６５４は光電変換デバイス４０１の端部を覆って設けられ、層５６７ｅと層５６７ａとの短絡を防止する機能も有する。絶縁層６５２は、素子分離層としての機能を有する。素子分離層としては、有機絶縁膜等を用いることが好ましい。
【0162】
光電変換デバイス４０１のカソードに相当する層５６７ａは、層５６３が有するトランジスタ４０２のソース又はドレインの一方と電気的に接続される。光電変換デバイス４０１のアノードに相当する層５６７ｅは、導電層６５５を介して、層５６３に設けられる導電層６３６と電気的に接続される。
【0163】
層５６０は、層５６１上に形成される。層５６０は、遮光層６７１、及びマイクロレンズアレイ６７３を有する。
【0164】
遮光層６７１は、隣接する画素への光の流入を抑えることができる。遮光層６７１には、アルミニウム、タングステン等の金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
【0165】
光電変換デバイス４０１上にはマイクロレンズアレイ６７３が設けられる。マイクロレンズアレイ６７３が有する個々のレンズを通る光が直下の光電変換デバイス４０１に照射されるようになる。マイクロレンズアレイ６７３を設けることにより、集光した光を光電変換デバイス４０１に入射することができるため、効率よく光電変換を行うことができる。マイクロレンズアレイ６７３は、撮像の対象の波長の光に対して透光性の高い樹脂又はガラス等で形成することが好ましい。
【0166】
【0167】
層５６１は、光電変換デバイス４０１、絶縁層６６１、絶縁層６６２、絶縁層６６４、及び絶縁層６６５、並びに導電層６８５、及び導電層６８６を有する。
【0168】
光電変換デバイス４０１は、シリコン基板に形成されたｐｎ接合型のフォトダイオードであり、ｐ型領域に相当する層５６５ｂ及びｎ型領域に相当する層５６５ａを有する。光電変換デバイス４０１は埋め込み型フォトダイオードであり、層５６５ａの表面側（電流の取り出し側）に設けられた薄いｐ型の領域（層５６５ｂの一部）によって暗電流を抑えノイズを低減させることができる。
【0169】
絶縁層６６１、並びに導電層６８５及び導電層６８６は、貼り合わせ層としての機能を有する。絶縁層６６２は、層間絶縁膜及び平坦化膜としての機能を有する。絶縁層６６４は、素子分離層としての機能を有する。絶縁層６６５は、キャリアの流出を抑制する機能を有する。
【0170】
シリコン基板には画素を分離する溝が設けられ、絶縁層６６５はシリコン基板上面及び当該溝に設けられる。絶縁層６６５が設けられることにより、光電変換デバイス４０１内で発生したキャリアが隣接する画素に流出することを抑えることができる。また、絶縁層６６５は、迷光の侵入を抑制する機能も有する。したがって、絶縁層６６５により、混色を抑制することができる。なお、シリコン基板の上面と絶縁層６６５との間に反射防止膜が設けられていてもよい。
【0171】
素子分離層は、ＬＯＣＯＳ（ＬＯＣａｌ Ｏｘｉｄａｔｉｏｎ ｏｆ Ｓｉｌｉｃｏｎ）法を用いて形成することができる。又は、ＳＴＩ（Ｓｈａｌｌｏｗ Ｔｒｅｎｃｈ Ｉｓｏｌａｔｉｏｎ）法等を用いて形成してもよい。絶縁層６６５としては、例えば、酸化シリコン、窒化シリコン等の無機絶縁膜、ポリイミド樹脂、アクリル樹脂等の有機絶縁膜を用いることができる。なお、絶縁層６６５は多層構成であってもよい。なお、素子分離層を設けない構成とすることもできる。
【0172】
光電変換デバイス４０１の層５６５ａ（ｎ型領域、カソードに相当）は、導電層６８５と電気的に接続される。層５６５ｂ（ｐ型領域、アノードに相当）は、導電層６８６と電気的に接続される。導電層６８５、及び導電層６８６は、絶縁層６６１に埋設された領域を有する。また、絶縁層６６１、並びに導電層６８５及び導電層６８６の表面は、それぞれ高さが一致するように平坦化されている。
【0173】
層５６３において、絶縁層６３７上には、絶縁層６３８が形成される。また、トランジスタ４０２のソース又はドレインの一方と電気的に接続される導電層６８３、及び導電層６３６と電気的に接続される導電層６８４が形成される。
【0174】
絶縁層６３８、並びに導電層６８３及び導電層６８４は、貼り合わせ層としての機能を有する。導電層６８３、及び導電層６８４は、絶縁層６３８に埋設された領域を有する。また、絶縁層６３８、並びに導電層６８３、及び導電層６８４の表面は、それぞれ高さが一致するように平坦化されている。
【0175】
ここで、導電層６８３と導電層６８５は、主成分が互いに同一の金属元素により構成されることが好ましく、導電層６８４と導電層６８６は、主成分が互いに同一の金属元素により構成されることが好ましい。また、絶縁層６３８と絶縁層６６１は、主成分が互いに同一であることが好ましい。
【0176】
例えば、導電層６８３乃至導電層６８６には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、Ｐｔ又はＡｕ等を用いることができる。接合のしやすさから、特にＣｕ、Ａｌ、Ｗ、又はＡｕを用いることが好ましい。また、絶縁層６３８、及び絶縁層６６１には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタン等を用いることができる。
【0177】
つまり、導電層６８３乃至導電層６８６のそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層６３８及び絶縁層６６１のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層５６３と層５６１の境を接合位置とする、貼り合わせを行うことができる。
【0178】
なお、導電層６８３乃至導電層６８６は複数の層からなる多層構造であってもよく、その場合は、表層（接合面）が同一の金属材料であればよい。また、絶縁層６３８及び絶縁層６６１も複数の層の多層構造であってもよく、その場合は、表層（接合面）が同一の絶縁材料であればよい。
【0179】
当該貼り合わせによって、導電層６８３と導電層６８５を互いに電気的に接続することができ、導電層６８４と導電層６８６を互いに電気的に接続することができる。また、絶縁層６６１と絶縁層６３８の、機械的な強度を有する接続を得ることができる。
【0180】
金属層同士の接合には、表面の酸化膜及び不純物の吸着層等をスパッタリング処理等で除去し、清浄化及び活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。又は、温度と圧力を併用して表面同士を接合する拡散接合法等を用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
【0181】
また、絶縁層同士の接合には、研磨等によって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法等を用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
【0182】
層５６３と層５６１を貼り合わせる場合、それぞれの接合面には金属層と絶縁層が混在するため、例えば、表面活性化接合法と親水性接合法を組み合わせて行えばよい。
【0183】
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法等を用いることができる。また、金属層の表面をＡｕ等の難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
【0184】
上記の貼り合わせにより、層５６３が有する要素と、層５６１が有する要素を電気的に接続することができる。
【0185】
【0186】
当該変形例は、画素４００が有するトランジスタ４０２を層５６１に設けた構成である。層５６１において、絶縁層６６３で覆われたトランジスタ４０２は、Ｓｉトランジスタで形成される。トランジスタ４０２のソース又はドレインの一方は、光電変換デバイス４０１の一方の電極と直結される。また、トランジスタ４０２のソース又はドレインの他方は、ノードＦＤと電気的に接続される。
【0187】
図１４に示す撮像装置では、層５６３には、撮像装置を構成するトランジスタのうち、少なくともトランジスタ４０２を除いたトランジスタが設けられる。図１４では、層５６３に設けられている要素として、トランジスタ４０４、及びトランジスタ４０５を示しているが、トランジスタ４０３、及びトランジスタ４０６等、他の要素も層５６３に設けることができる。また、図１４に示す撮像装置の層５６３には、絶縁層６３５と絶縁層６３７の間に絶縁層６４７が設けられる。絶縁層６４７は、層間絶縁膜及び平坦化膜としての機能を有する。
【0188】
（実施の形態５）
本実施の形態では、撮像部、いわゆるイメージセンサチップを収めたパッケージの説明を以下に行う。
本実施の形態では、撮像部、いわゆるイメージセンサチップを収めたパッケージの説明を以下に行う。
【0189】
図１５Ａ１は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５２（図１５Ａ３参照）を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。
【0190】
図１５Ａ２は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ ｇｒｉｄ ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ ｇｒｉｄ ａｒｒａｙ）またはＰＧＡ（Ｐｉｎ Ｇｒｉｄ Ａｒｒａｙ）などを有していてもよい。
【0191】
図１５Ａ３は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５２とワイヤ４７０によって電気的に接続されている。
【0192】
また、図１５Ｂ１は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１（図１５Ｂ３を固定するパッケージ基板４３１、レンズカバー４３２、およびレンズ４３５等を有する。また、パッケージ基板４３１およびイメージセンサチップ４５１の間には撮像装置の駆動回路および信号変換回路などの機能を有するＩＣチップ４９０（図１５Ｂ３も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）としての構成を有している。
【0193】
図１５Ｂ２は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４３１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ ｆｌａｔ ｎｏ－ｌｅａｄ ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ ｆｌａｔ ｐａｃｋａｇｅ）または前述したＢＧＡが設けられていてもよい。
【0194】
図１５Ｂ３は、レンズカバー４３２およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
【0195】
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
【0196】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【0197】
（実施の形態６）
上述した実施の形態を用いた撮像装置を用いて、半自動運転を行う車両に適した撮像装置を提供する。
上述した実施の形態を用いた撮像装置を用いて、半自動運転を行う車両に適した撮像装置を提供する。
【0198】
国内においては、自動車等の車両の走行システムについて、自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は加速、操舵、制動のいずれかを自動化することを言い、安全運転支援システムと呼ばれている。レベル２は加速、操舵、制動のうち、複数の操作を同時に自動化し、準自動走行システム（半自動運転とも呼ぶ）と呼ばれている。レベル３は、加速、操舵、及び制動をすべて自動化し、緊急時のみ運転者が対応する場合であり、これも準自動走行システム（半自動運転とも呼ぶ）と呼ぶ。レベル４は加速、操舵、及び制動をすべて自動化し、運転者がほとんど関与しない完全自動運転と呼ばれる。
【0199】
本明細書においては、レベル２またはレベル３において、半自動運転を主に前提として、新規の構成または新規のシステムを提案する。
【0200】
各種カメラまたはセンサから得られる状況に応じて、運転者に危険を警告する表示を行うためには、それぞれのカメラの数またはセンサの数に見合う表示領域の面積が必要となる。
【0201】
また、図１６Ａは車両１２０の外観図を示している。図１６Ａでは、前方用イメージセンサ１１４ａ、左側方用イメージセンサ１１４Ｌの設置個所の一例を示している。また、図１６Ｂは車両の車内から前方の運転者の視野を映した模式図である。運転者の視野の上部はフロントガラス１１０であり、視野の下部は表示画面を有する表示装置１１１を設置している。
【0202】
運転者の視野の上部はフロントガラス１１０であり、フロントガラス１１０はピラー１１２に挟まれている。図１６Ａでは、前方用イメージセンサ１１４ａを運転手の視線に近い位置に設置する例を示したが、特に限定されず、フロントグリルまたは、フロントバンパーに設置してもよい。また、本実施の形態では右ハンドルの車両を例に示しているが特に限定されず、左ハンドルであれば、運転者の位置に合わせて設置すればよい。
【0203】
これらのイメージセンサのうち、少なくとも一つを実施の形態５に示したイメージセンサチップを用いることが好ましい。
【0204】
運転者は、表示装置１１１を主に見ながら加速、操舵、制動を行い、補助的にフロントガラスから車外を確認する。表示装置１１１は、液晶表示装置、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、マイクロＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示装置のいずれか一を用いればよい。ここで、ＬＥＤチップの一辺の寸法が１ｍｍを超えるものをマクロＬＥＤ、１００μｍより大きく１ｍｍ以下のものをミニＬＥＤ、１００μｍ以下のものをマイクロＬＥＤと呼ぶ。画素に適用するＬＥＤ素子として、特にマイクロＬＥＤを用いることが好ましい。マイクロＬＥＤを用いることで、極めて高精細な表示装置を実現できる。表示装置１１１は、精細度が高いほど好ましい。表示装置１１１の画素密度は、１００ｐｐｉ以上５０００ｐｐｉ以下、好ましくは２００ｐｐｉ以上２０００ｐｐｉ以下の画素密度とすることができる。
【0205】
例えば、表示装置の表示画面の中央部１１１ａは、車外の前方に設置した撮像装置から取得した画像を表示する。また、表示画面の一部１１１ｂ、１１１ｃには速度、走行可能予測距離、異常警告表示などのメータ表示を行う。また、表示画面の左下部１１１Ｌには、車外の左側方の映像を表示し、表示画面の右下部１１１Ｒには、車外の右側方の映像を表示する。
【0206】
表示画面の左下部１１１Ｌ、表示画面の右下部１１１Ｒは、サイドミラー（ドアミラーとも呼ぶ）を電子化し、車外に大きく突出しているサイドミラー突出部をなくすこともできる。
【0207】
表示装置１１１の表示画面をタッチ入力操作可能とすることで映像の一部を拡大、縮小または表示位置の変更、表示領域の面積拡大などを行う構成としてもよい。
【0208】
表示装置１１１の表示画面の画像は、複数の撮像装置またはセンサからのデータを合成することになるため、ＧＰＵなどの画像信号処理装置を用いて作成される。
【0209】
実施の形態１に示す撮像システムを用いることで、ダイナミックレンジの広い白黒画像データを取得し、画像信号処理装置などにより推論を行ってカラー化することで強調表示された画像を表示装置１１１に出力することができる。例えば、トンネル内においても暗い人影に色を付け、人影が強調された画像を出力することもできる。
【0210】
ＡＩを適宜用いることで、運転者は、主として表示装置の表示画像、即ちイメージセンサおよびＡＩを利用した画像を見て車両を操作し、フロントガラス前面を見ることは補助とすることができる。運転者の目のみによる運転よりもＡＩを利用した画像を見て車両を操作することが安全運転となりうる。また、運転者は安心感を得ながら、車両を操作することができる。
【0211】
なお、表示装置１１１を大型車両、中型車両、小型車両をはじめ、さまざまな種類の車両の運転席周り（コクピット部とも呼ぶ）に応用することができる。また、航空機、船舶などの乗り物の運転席周りにも応用することができる。
【0212】
また、本実施の形態では、前方用イメージセンサ１１４ａをフロントガラス下方に設置している例を示しているが特に限定されず、図１７に示す撮像カメラをボンネットの上または車内のバックミラー周辺に設置してもよい。
【0213】
図１７の撮像カメラはドライブレコーダーとも呼ぶことができ、筐体９６１、レンズ９６２、支持部９６３等を有する。支持部９６３に両面テープなどを貼ることによって、フロントガラス、ボンネットまたは、バックミラー支持部などに設置することができる。
【0214】
図１７の撮像カメラにイメージセンサが配置され、撮像カメラ内部または車載された記憶装置に走行映像を記録保存することができる。また、カラーフィルタを用いない場合には、白黒画像データによるダイナミックレンジが拡大された画像を記憶装置に保存することができ、カラー画像を取り込む場合に比べて記憶装置を占める容量を軽減できる。また、記憶装置に記憶された白黒画像データは、リアルタイムでなく、走行後に使用者がカラーで見たい場合のみに、本実施の形態１で示した手法によりカラー化させ表示させるといった使用方法としてもよい。
【0215】
本実施の形態は、他の実施の形態と自由に組み合わせることができる。
【符号の説明】
【0216】
１０：データ取得装置、１１：固体撮像素子、１４：メモリ部、１５：大規模記憶装置、１６：ニューラルネットワーク部、１７：時刻情報取得装置、１８：記憶部、１９：表示部、２０：画像処理装置、２１：撮像システム、１１０：フロントガラス、１１１：表示装置、１１１ａ：中央部、１１１ｂ：一部、１１１ｃ：一部、１１１Ｌ：左下部、１１１Ｒ：右下部、１１２：ピラー、１１４ａ：前方用イメージセンサ、１１４Ｌ：左側方用イメージセンサ、１２０：車両、２００：画素ブロック、２０１：回路、２０２：キャパシタ、２０３：トランジスタ、２０４：トランジスタ、２０５：トランジスタ、２０６：トランジスタ、２０７：抵抗、２１１：配線、２１２：配線、２１３：配線、２１５：配線、２１６：配線、２１７：配線、２１８：配線、２１９：配線、３００：画素アレイ、３０１：回路、３０２：回路、３０３：回路、３０４：回路、３０５：回路、３０６：回路、３１１：配線、４００：画素、４０１：光電変換デバイス、４０２：トランジスタ、４０３：トランジスタ、４０４：トランジスタ、４０５：トランジスタ、４０６：トランジスタ、４０７：キャパシタ、４１０：パッケージ基板、４１１：配線、４１２：配線、４１３：配線、４１３ａ～４１３ｆ：配線、４１３ｇ～４１３ｊ：配線、４１４：配線、４１５：配線、４１７：配線、４２０：カバーガラス、４２１：配線、４２２：配線、４２３：配線、４２４：配線、４３０：接着剤、４３１：パッケージ基板、４３２：レンズカバー、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：トランジスタ、４５０ａ～４５０ｇ：トランジスタ、４５０ｆ～４５０ｊ：トランジスタ、４５１：イメージセンサチップ、４５２：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５４５：半導体層、５４６：絶縁層、５６０：層、５６１：層、５６３：層、５６５ａ：層、５６５ｂ：層、５６６ａ：層、５６６ｂ：層、５６６ｃ：層、５６６ｄ：層、５６７ａ：層、５６７ｂ：層、５６７ｃ：層、５６７ｄ：層、５６７ｅ：層、６３２：シリコン基板、６３３：絶縁層、６３４：絶縁層、６３５：絶縁層、６３６：導電層、６３７：絶縁層、６３８：絶縁層、６４７：絶縁層、６５１：絶縁層、６５２：絶縁層、６５３：絶縁層、６５４：絶縁層、６５５：導電層、６６１：絶縁層、６６２：絶縁層、６６４：絶縁層、６６５：絶縁層、６７１：遮光層、６７３：マイクロレンズアレイ、６８３：導電層、６８４：導電層、６８５：導電層、６８６：導電層、９６１：筐体、９６２：レンズ、９６３：支持部
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図10D】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15A1】
【図15A2】
【図15A3】
【図15B1】
【図15B2】
【図15B3】
【図16A】
【図16B】
【図17】