(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-01
(45)【発行日】2023-12-11
(54)【発明の名称】半導体装置
(51)【国際特許分類】
H04N 7/01 20060101AFI20231204BHJP
G06T 3/40 20060101ALI20231204BHJP
【ＦＩ】
H04N7/01 170
H04N7/01 350
G06T3/40 725
G06T3/40 730
【請求項の数】
1
(21)【出願番号】P 2022132378
(22)【出願日】2022-08-23
(62)【分割の表示】P 2019538750の分割
【原出願日】2018-08-23
(65)【公開番号】P2022173189
(43)【公開日】2022-11-18
【審査請求日】2022-09-02
(31)【優先権主張番号】P 2017169609
(32)【優先日】2017-09-04
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】塩川 将隆
(72)【発明者】
【氏名】玉造 祐樹
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】米国特許出願公開第２０１４／００７２２４２（ＵＳ，Ａ１）
【文献】特開２００７－０６６２５８（ＪＰ，Ａ）
【文献】国際公開第２０１７／１２５９８０（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０３４２０４４（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０６１２７６８４（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／０１
Ｇ０６Ｔ ３／４０
Ｈ０４Ｎ １／３８７
Ｇ０９Ｇ ３／００－５／００
(57)【特許請求の範囲】
【請求項1】
第１の画像データを受信して、前記第１の画像データの解像度を高めた、高解像度の画像データを生成する半導体装置であって、前記半導体装置は、第１の回路と、第２の回路と、第３の回路と、を有し、
前記第１の回路は、前記第１の画像データを保持する機能を有し、
前記第１の回路は、保持した前記第１の画像データを、前記第２の回路に出力する機能を有し、
前記第２の回路は、前記第１の画像データの解像度を低下させることで、第２の画像データを生成した後、前記第２の画像データを前記第３の回路に入力する機能を有し、
前記第３の回路は、前記第２の画像データの解像度を高めることにより、第３の画像データを生成する機能を有し、
前記第２の回路は、前記第１の画像データと、前記第３の画像データと、を比較することにより、前記第３の画像データの、前記第１の画像データに対する誤差を算出する機能を有し、
前記第３の回路は、前記誤差を基にして、前記第３の回路のパラメータを修正する機能を有し、
前記第３の回路は、前記パラメータの修正を規定の回数行った後に、前記第１の画像データの解像度を高めることにより、前記高解像度の画像データを生成する機能を有し、
前記第３の回路は、ニューラルネットワークを有し、
前記パラメータは、前記ニューラルネットワークの重み係数であり、
前記第３の回路は、前記重み係数に対応する第１のデータと、第２のデータとの積和演算を行う積和演算回路を有し、
前記第１のデータ及び前記第２のデータは、アナログデータである半導体装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、画像処理方法、および当該画像処理方法により動作する半導体装置、ならびに当該半導体装置を有する電子機器に関する。
【0002】
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。表示装置、発光装置、記憶装置、電気光学装置、蓄電装置、半導体回路および電子機器は、半導体装置を有する場合がある。
【0003】
なお本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、蓄電装置、撮像装置、記憶装置、プロセッサ、電子機器、それらの駆動方法、それらの製造方法、それらの検査方法、またはそれらのシステムを一例として挙げることができる。
【背景技術】
【0004】
テレビジョン（ＴＶ）は、大画面化に伴い、高解像度の画像を視聴できることが望まれている。日本国では、２０１５年に通信衛星（ＣＳ）およびケーブルテレビ等による４Ｋ実用放送が開始され、２０１６年に放送衛星（ＢＳ）による４Ｋ・８Ｋ試験放送が開始されている。今後、８Ｋ実用放送の開始が予定されている。そのため、８Ｋ放送に対応するための各種の電子機器が開発されている（非特許文献１）。８Ｋの実用放送では、４Ｋ放送、２Ｋ放送（フルハイビジョン放送）も併用される予定である。
【0005】
８Ｋ放送の画像の解像度（水平・垂直の画素数）は７６８０×４３２０であり、４Ｋ放送（３８４０×２１６０）の４倍、２Ｋ放送（１９２０×１０８０）の１６倍である。したがって、８Ｋ放送の画像を見る者は、２Ｋ放送の画像、または４Ｋ放送の画像等を見る者より高い臨場感を感じることができると期待される。
【0006】
また、アップコンバートを行うことにより、低解像度の画像から高解像度の画像を生成する技術が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１１－１８０７９８号公報
【非特許文献】
【0008】
【文献】Ｓ．Ｋａｗａｓｈｉｍａ， ｅｔ ａｌ．， ”１３．３－Ｉｎ． ８Ｋ Ｘ ４Ｋ ６６４－ｐｐｉ ＯＬＥＤ Ｄｉｓｐｌａｙ Ｕｓｉｎｇ ＣＡＡＣ－ＯＳ ＦＥＴｓ，” ＳＩＤ ２０１４ ＤＩＧＥＳＴ，ｐｐ．６２７―６３０．
【発明の概要】
【発明が解決しようとする課題】
【0009】
アップコンバートは、例えばニューラルネットワークを用いて行うことができる。例えば、教師データを用意して、それを用いてニューラルネットワークが学習を行うことにより、ニューラルネットワークにアップコンバートを行う機能を持たせることができる。しかし、従来の技術では、大量の学習データを用意しなければ、アップコンバートにより生成された高解像度の画像の画質が高くならないという問題がある。
【0010】
そこで、本発明の一態様は、大量の学習データを用いずにアップコンバートを行う画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、アップコンバートにより生成された高解像度の画像の画質が高くなる画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、小規模な回路によりアップコンバートを行う画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、高速で行うことができる画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、新規な画像処理方法を提供することを課題の１つとする。
【0011】
または、本発明の一態様は、大量の学習データを用いずにアップコンバートを行うことができる半導体装置を提供することを課題の１つとする。または、本発明の一態様は、生成された高解像度の画像の画質が高くなるようにアップコンバートを行うことができる半導体装置を提供することを課題の１つとする。または、本発明の一態様は、小規模な回路によりアップコンバートを行うことができる半導体装置を提供することを課題の１つとする。または、本発明の一態様は、高速に動作する半導体装置を提供することを課題の１つとする。または、本発明の一態様は、新規な半導体装置を提供することを課題の１つとする。
【0012】
なお本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した記載、および他の課題のうち、少なくとも一つの課題を解決するものである。なお、本発明の一態様は、上記列挙した記載、および他の課題の全てを解決する必要はない。
【課題を解決するための手段】
【0013】
本発明の一態様は、第１の画像データの解像度を高めて、高解像度の画像データを生成する画像処理方法であって、第１の画像データの解像度を低下させることで、第２の画像データを生成する第１のステップと、ニューラルネットワークに第２の画像データを入力することにより、第２の画像データより解像度が高い第３の画像データを生成する第２のステップと、第１の画像データと、第３の画像データと、を比較することにより、第３の画像データの、第１の画像データに対する誤差を算出する第３のステップと、誤差を基にして、ニューラルネットワークの重み係数を修正する第４のステップと、を有し、第２乃至第４のステップを規定の回数行った後、ニューラルネットワークに第１の画像データを入力することにより、高解像度の画像データを生成する画像処理方法である。
【0014】
また、上記態様において、第３の画像データの解像度は、第１の画像データの解像度以下であってもよい。
【0015】
また、上記態様において、第２の画像データの解像度は、第１の画像データの解像度の１／ｍ２（ｍは２以上の整数）であり、高解像度の画像データの解像度は、第１の画像データの解像度のｎ２倍（ｎは２以上の整数）であってもよい。
【0016】
また、上記態様において、ｍの値と、ｎの値と、が等しくてもよい。
【0017】
また、本発明の一態様は、第１の画像データを受信して、第１の画像データの解像度を高めた、高解像度の画像データを生成する半導体装置であって、半導体装置は、第１の回路と、第２の回路と、第３の回路と、を有し、第１の回路は、第１の画像データを保持する機能を有し、第１の回路は、保持した第１の画像データを、第２の回路に出力する機能を有し、第２の回路は、第１の画像データの解像度を低下させることで、第２の画像データを生成した後、第２の画像データを第３の回路に入力する機能を有し、第３の回路は、第２の画像データの解像度を高めることにより、第３の画像データを生成する機能を有し、第２の回路は、第１の画像データと、第３の画像データと、を比較することにより、第３の画像データの、第１の画像データに対する誤差を算出する機能を有し、第３の回路は、誤差を基にして、第３の回路のパラメータを修正する機能を有し、第３の回路は、パラメータの修正を規定の回数行った後に、第１の画像データの解像度を高めることにより、高解像度の画像データを生成する機能を有する半導体装置である。
【0018】
また、上記態様において、第３の回路は、ニューラルネットワークを有し、パラメータは、ニューラルネットワークの重み係数であってもよい。
【0019】
また、上記態様において、第３の画像データの解像度は、第１の画像データの解像度以下であってもよい。
【0020】
また、上記態様において、第２の画像データの解像度は、第１の画像データの解像度の１／ｍ２（ｍは２以上の整数）であり、高解像度の画像データの解像度は、第１の画像データの解像度のｎ２倍（ｎは２以上の整数）であってもよい。
【0021】
また、上記態様において、ｍの値と、ｎの値と、が等しくてもよい。
【0022】
また、本発明の一態様の半導体装置と、表示部と、を有する電子機器も、本発明の一態様である。
【発明の効果】
【0023】
本発明の一態様により、大量の学習データを用いずにアップコンバートを行う画像処理方法を提供することができる。または、本発明の一態様により、アップコンバートにより生成された高解像度の画像の画質が高くなる画像処理方法を提供することができる。または、本発明の一態様により、小規模な回路によりアップコンバートを行う画像処理方法を提供することができる。または、本発明の一態様により、高速で行うことができる画像処理方法を提供することができる。または、本発明の一態様により、新規な画像処理方法を提供することができる。
【0024】
または、本発明の一態様により、大量の学習データを用いずにアップコンバートを行うことができる半導体装置を提供することができる。または、本発明の一態様により、生成された高解像度の画像の画質が高くなるようにアップコンバートを行うことができる半導体装置を提供することができる。または、本発明の一態様により、小規模な回路によりアップコンバートを行うことができる半導体装置を提供することができる。または、本発明の一態様により、高速に動作する半導体装置を提供することができる。または、本発明の一態様により、新規な半導体装置を提供することができる。
【0025】
なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、および他の効果のうち、少なくとも一つの効果を有するものである。従って本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
【図面の簡単な説明】
【0026】
【図1】画像処理方法の一例を示す図。
【図2】画像処理方法の一例を示すフローチャート。
【図3】階層型のニューラルネットワークの一例を示す図。
【図4】階層型のニューラルネットワークの一例を示す図。
【図5】階層型のニューラルネットワークの一例を示す図。
【図6】画像処理方法の一例を示すフローチャート。
【図7】画像処理方法の一例を示す図。
【図8】画像処理方法の一例を示す図。
【図9】画像処理方法の一例を示す図。
【図10】送信装置および受信装置の構成例を示すブロック図。
【図11】送信装置および受信装置の構成例を示すブロック図。
【図12】半導体装置の構成例を示す図。
【図13】メモリセルの構成例を示す図。
【図14】オフセット回路の構成例を示す図。
【図15】半導体装置の動作方法の一例を示すタイミングチャート。
【図16】画素の構成例を説明する図。
【図17】画素回路の構成例を説明する図。
【図18】表示装置の構成例を説明する図。
【図19】表示装置の構成例を説明する図。
【図20】表示装置の構成例を説明する図。
【図21】表示装置の構成例を説明する図。
【図22】トランジスタの構成例を説明する図。
【図23】トランジスタの構成例を説明する図。
【図24】トランジスタの構成例を説明する図。
【図25】電子機器の一例を示す図。
【図26】表示結果を示す図。
【発明を実施するための形態】
【0027】
本明細書等において、人工ニューラルネットワーク（ＡＮＮ、以後、ニューラルネットワークと呼称する。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
【0028】
シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化させることができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」と呼ぶ場合がある。
【0029】
また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」と呼ぶ場合がある。
【0030】
ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。なお、ＤＮＮには、全結合ニューラルネットワーク（ＦＣ－ＮＮ：Ｆｕｌｌ Ｃｏｎｎｅｃｔｅｄ － Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、再帰ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等が含まれる。
【0031】
本明細書等において、金属酸化物（ｍｅｔａｌ ｏｘｉｄｅ）とは、広い意味での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）等に分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも１つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳと呼ぶことができる。また、ＯＳ ＦＥＴ（またはＯＳトランジスタ）と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
【0032】
半導体の不純物とは、例えば、半導体層を構成する主成分以外をいう。例えば、濃度が０．１原子％未満の元素は不純物である。不純物が含まれることにより、例えば、半導体にＤＯＳ（Ｄｅｎｓｉｔｙ ｏｆ Ｓｔａｔｅｓ）が形成されることや、キャリア移動度が低下することや、結晶性が低下すること等が起こる場合がある。半導体が酸化物半導体である場合、半導体の特性を変化させる不純物としては、例えば、第１族元素、第２族元素、第１３族元素、第１４族元素、第１５族元素、主成分以外の遷移金属等があり、特に、例えば、水素（水にも含まれる）、リチウム、ナトリウム、シリコン、ホウ素、リン、炭素、窒素等がある。酸化物半導体の場合、例えば水素等の不純物の混入によって酸素欠損を形成する場合がある。また、半導体がシリコンである場合、半導体の特性を変化させる不純物としては、例えば、酸素、水素を除く第１族元素、第２族元素、第１３族元素、第１５族元素等がある。
【0033】
本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものである。従って、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素が、他の実施の形態、あるいは特許請求の範囲において「第２」に言及された構成要素とすることもありうる。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素を、他の実施の形態、あるいは特許請求の範囲において省略することもありうる。
【0034】
実施の形態について図面を参照しながら説明している。但し、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなく、その形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態の発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
【0035】
また、本明細書等において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている。構成同士の位置関係は、各構成を描写する方向に応じて適宜変化する。そのため、配置を示す語句は、明細書で説明した記載に限定されず、状況に応じて適切に言い換えることができる。
【0036】
また、「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層Ａ上の電極Ｂ」の表現であれば、絶縁層Ａの上に電極Ｂが直接接して形成されている必要はなく、絶縁層Ａと電極Ｂとの間に他の構成要素を含むものを除外しない。
【0037】
また、図面において、大きさ、層の厚さ、または領域は、説明の便宜上任意の大きさに示したものである。よって、必ずしもそのスケールに限定されない。なお図面は明確性を期すために模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。
【0038】
また、図面において、図面の明確性を期すために、一部の構成要素の記載を省略している場合がある。
【0039】
また、図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
【0040】
本明細書等において、トランジスタの接続関係を説明する際、「ソースまたはドレインの一方」（または第１電極、または第１の端子）、「ソースまたはドレインの他方」（または第２電極、または第２の端子）という表記を用いる。これは、トランジスタのソースとドレインは、トランジスタの構造または動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況に応じて適切に言い換えることができる。また、本明細書等では、ゲート以外の２つの端子を第１の端子、第２の端子と呼ぶ場合や、第３端子、第４端子と呼ぶ場合がある。また、本明細書等に記載するトランジスタが２つ以上のゲートを有するとき（この構成をデュアルゲート構造という場合がある）、それらのゲートを第１ゲート、第２ゲートと呼ぶ場合や、フロントゲート、バックゲートと呼ぶ場合がある。特に、「フロントゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。また、「バックゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。なお、ボトムゲートとは、トランジスタの作製時において、チャネル形成領域よりも先に形成される端子のことをいい、「トップゲート」とは、トランジスタの作製時において、チャネル形成領域よりも後に形成される端子のことをいう。
【0041】
トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御端子として機能する端子である。ソースまたはドレインとして機能する２つの入出力端子は、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
【0042】
また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合等も含む。
【0043】
また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
【0044】
なお本明細書等において、「膜」、「層」等の語句は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。または、場合によっては、または、状況に応じて、「膜」、「層」等の語句を使わずに、別の用語に入れ替えることが可能である。例えば、「導電層」または「導電膜」という用語を、「導電体」という用語に変更することが可能な場合がある。または、例えば、「絶縁層」「絶縁膜」という用語を、「絶縁体」という用語に変更することが可能な場合がある。
【0045】
なお本明細書等において、「配線」、「信号線」、「電源線」等の用語は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「配線」という用語を、「信号線」という用語に変更することが可能な場合がある。また、例えば、「配線」という用語を、「電源線」等の用語に変更することが可能な場合がある。また、その逆も同様で、「信号線」「電源線」等の用語を、「配線」という用語に変更することが可能な場合がある。「電源線」等の用語は、「信号線」等の用語に変更することが可能な場合がある。また、その逆も同様で「信号線」等の用語は、「電源線」等の用語に変更することが可能な場合がある。また、配線に印加されている「電位」という用語を、場合によっては、または、状況に応じて、「信号」等という用語に変更することが可能な場合がある。また、その逆も同様で、「信号」等の用語は、「電位」という用語に変更することが可能な場合がある。
【0046】
各実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて、本発明の一態様とすることができる。また、１つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
【0047】
なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形態で述べる別の内容（一部の内容でもよい）と、一つ若しくは複数の別の実施の形態で述べる内容（一部の内容でもよい）との少なくとも一つの内容に対して、適用、組み合わせ、または置き換え等を行うことができる。
【0048】
なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、または明細書に記載される文章を用いて述べる内容のことである。
【0049】
なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、その実施の形態において述べる別の図（一部でもよい）と、一つ若しくは複数の別の実施の形態において述べる図（一部でもよい）との少なくとも一つの図に対して、組み合わせることにより、さらに多くの図を構成させることができる。
【0050】
（実施の形態１）
本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
【0051】
＜画像処理方法の一例＞
本発明の一態様は、第１の画像データの解像度を高めて、つまり第１の画像データをアップコンバートして、高解像度の画像データを生成する画像処理方法に関する。当該画像処理は、解像度拡張回路を用いて行われ、解像度拡張回路が学習を行った後、第１の画像データをアップコンバートする。
本発明の一態様は、第１の画像データの解像度を高めて、つまり第１の画像データをアップコンバートして、高解像度の画像データを生成する画像処理方法に関する。当該画像処理は、解像度拡張回路を用いて行われ、解像度拡張回路が学習を行った後、第１の画像データをアップコンバートする。
【0052】
学習動作を行う場合は、まず、第１の画像データの解像度を低下させることにより、第２の画像データを生成する。次に、第２の画像データを解像度拡張回路に入力して、解像度を例えば第１の画像データと同程度まで高めた画像データを生成する。その後、第１の画像データと、解像度拡張回路が生成した画像データとを比較することにより、解像度拡張回路が生成した画像データの、第１の画像データに対する誤差を算出する。次に、当該誤差を基にして、解像度拡張回路のパラメータを修正する。以上が学習動作である。
【0053】
解像度を例えば第１の画像データと同程度まで高めた画像データの、解像度拡張回路による生成から、解像度拡張回路のパラメータの修正までの動作を規定の回数行った後、解像度拡張回路に第１の画像データを入力することにより第１の画像データをアップコンバートして、高解像度の画像データを生成する。アップコンバートの完了後、再び上記学習動作を行う。
【0054】
なお、解像度拡張回路は、例えばニューラルネットワークを有する構成とすることができる。この場合、解像度拡張回路のパラメータは、ニューラルネットワークの重み係数とすることができる。
【0055】
また、解像度を例えば第１の画像データと同程度まで高めた画像データの、解像度拡張回路による生成から、解像度拡張回路のパラメータの修正までの動作を、例えば解像度拡張回路が生成した画像データの、第１の画像データに対する誤差が一定値未満となるまで行ってもよい。
【0056】
上記画像処理方法では、アップコンバートされる画像データである、第１の画像データを学習データとして用いるので、大量の学習データを用意しなくても、解像度拡張回路が高解像度かつ高画質の画像を生成することができる。また、例えば過学習が発生しても、過学習が発生していない場合よりアップコンバート後の画像の画質が低下することを抑制することができる。さらに、解像度拡張回路を小規模とすることができる。
【0057】
図１（Ａ）、（Ｂ）および図２を用いて、本発明の一態様の画像処理方法である、画像データの解像度を高める方法の一例を説明する。図１（Ａ）、（Ｂ）は、４Ｋ（３８４０×２１６０）に対応する解像度の画像データＩＭＧをアップコンバートして、８Ｋ（７６８０×４３２０）に対応する解像度の画像データＵＣＩＭＧを生成する方法を示す図である。図２は、画像データの解像度を高める方法の一例を示すフローチャートである。
【0058】
本発明の一態様の画像処理方法では、まず、画像データＩＭＧの解像度を低下させることにより、画像データＤＣＩＭＧを生成する（ステップＳ０１）。図１（Ａ）では、画像データＤＣＩＭＧの解像度を、１９２０×１０８０とする場合を示している。
【0059】
次に、変数ｉを用意し、変数ｉを１とする（ステップＳ０２）。その後、画像データＤＣＩＭＧを、入力された画像データに対してアップコンバートを行う機能を有する解像度拡張回路ＤＥに入力する。これにより、解像度拡張回路ＤＥが、画像データＤＣＩＭＧの解像度を高めて、画像データＯＩＭＧ［ｉ］を生成する（ステップＳ０３）。ここでは変数ｉは１であるので、解像度拡張回路ＤＥが、画像データＤＣＩＭＧの解像度を高めて、画像データＯＩＭＧ［１］を生成する。ここで、解像度拡張回路ＤＥは、入力された画像データに対して本来存在しないデータを補間することにより、アップコンバートを行うことができる。なお、画像データＯＩＭＧ［ｉ］の解像度は、画像データＩＭＧの解像度と等しいことが好ましいが、等しくなくてもよい。例えば、画像データＯＩＭＧ［ｉ］の解像度が、画像データＩＭＧの解像度未満であってもよい。図１（Ａ）では、画像データＯＩＭＧ［ｉ］の解像度を、画像データＩＭＧの解像度と同じく３８４０×２１６０とする場合を示している。
【0060】
解像度拡張回路ＤＥは、例えばニューラルネットワークを有する回路とすることができる。当該ニューラルネットワークとして、例えば階層型のニューラルネットワークを適用することができる。
【0061】
図３は、階層型のニューラルネットワークの一例を示した図である。第（ｋ－１）層（ここでのｋは２以上の整数である。）は、ニューロンをＰ個（ここでのＰは１以上の整数である。）有し、第ｋ層は、ニューロンをＱ個（ここでのＱは１以上の整数である。）有し、第（ｋ＋１）層は、ニューロンをＲ個（ここでのＲは１以上の整数である。）有する。
【0062】
第（ｋ－１）層の第ｐニューロン（ここでのｐは１以上Ｐ以下の整数である。）の出力信号ｚｐ
（ｋ－１）と重み係数ｗｑｐ
（ｋ）と、の積が第ｋ層の第ｑニューロン（ここでのｑは１以上Ｑ以下の整数である。）に入力されるものとし、第ｋ層の第ｑニューロンの出力信号ｚｑ
（ｋ）と重み係数ｗｒｑ
（ｋ＋１）と、の積が第（ｋ＋１）層の第ｒニューロン（ここでのｒは１以上Ｒ以下の整数である。）に入力されるものとし、第（ｋ＋１）層の第ｒニューロンの出力信号をｚｒ
（ｋ＋１）とする。
【0063】
このとき、第ｋ層の第ｑニューロンへ入力される信号の総和ｕｑ
（ｋ）は、次の式で表される。
【0064】
【数1】
【0065】
また、第ｋ層の第ｑニューロンからの出力信号ｚｑ
（ｋ）を次の式で定義する。
【0066】
【数2】
【0067】
関数ｆ（ｕｑ
（ｋ））は、活性化関数であり、ステップ関数、線形ランプ関数、またはシグモイド関数等を用いることができる。なお、活性化関数は、全てのニューロンにおいて同一でもよいし、または異なっていてもよい。加えて、活性化関数は、層毎において、同一でもよいし、異なっていてもよい。
【0068】
ここで、図４に示す、全Ｌ層（ここでのＬは３以上の整数とする。）からなる階層型のニューラルネットワークを考える。つまり、ここでのｋは２以上（Ｌ－１）以下の整数とする。第１層は、階層型のニューラルネットワークの入力層となり、第Ｌ層は、階層型のニューラルネットワークの出力層となり、第２層乃至第（Ｌ－１）層は、階層型のニューラルネットワークの隠れ層となる。
【0069】
第１層（入力層）は、ニューロンをＰ個有し、第ｋ層（隠れ層）は、ニューロンをＱ［ｋ］個（Ｑ［ｋ］は１以上の整数である。）有し、第Ｌ層（出力層）は、ニューロンをＲ個有する。
【0070】
ところで、第１層に入力データが入力されることにより、第１層は当該入力データをそのまま出力することができる。つまり、第１層はバッファ回路として機能してもよい。
【0071】
第１層の第ｓ［１］ニューロン（ｓ［１］は１以上Ｐ以下の整数である。）の出力信号をｚｓ［１］
（１）とし、第ｋ層の第ｓ［ｋ］ニューロン（ｓ［ｋ］は１以上Ｑ［ｋ］以下の整数である。）の出力信号をｚｓ［ｋ］
（ｋ）とし、第Ｌ層の第ｓ［Ｌ］ニューロン（ｓ［Ｌ］は１以上Ｒ以下の整数である。）の出力信号をｚｓ［Ｌ］
（Ｌ）とする。
【0072】
また、第（ｋ－１）層の第ｓ［ｋ－１］ニューロン（ｓ［ｋ－１］は１以上Ｑ［ｋ－１］以下の整数である。）の出力信号ｚｓ［ｋ－１］
（ｋ－１）と重み係数ｗｓ［ｋ］ｓ［ｋ－１］
（ｋ）と、の積ｕｓ［ｋ］
（ｋ）が第ｋ層の第ｓ［ｋ］ニューロンに入力されるものとし、第（Ｌ－１）層の第ｓ［Ｌ－１］ニューロン（ｓ［Ｌ－１］は１以上Ｑ［Ｌ－１］以下の整数である。）の出力信号ｚｓ［Ｌ－１］
（Ｌ－１）と重み係数ｗｓ［Ｌ］ｓ［Ｌ－１］
（Ｌ）と、の積ｕｓ［Ｌ］
（Ｌ）が第Ｌ層の第ｓ［Ｌ］ニューロンに入力されるものとする。
【0073】
次に学習について説明する。上述の階層型のニューラルネットワークの機能において、出力した結果と、所望の結果（学習データという場合がある。）と、が異なったときに、階層型のニューラルネットワークの全ての重み係数を、出力した結果と所望の結果とに基づいて更新する動作を学習という。ここで、学習データを、画像データＩＭＧとすることができる。
【0074】
上記学習の具体例として、誤差逆伝播方式について説明する。図５は、誤差逆伝播方式による学習方法を説明する図である。誤差逆伝播方式は、階層型のニューラルネットワークの出力と学習データとの誤差が小さくなるように、重み係数を修正する方式である。
【0075】
例えば、第１層の第ｓ［１］ニューロンに入力データを入力し、第Ｌ層の第ｓ［Ｌ］ニューロンから出力データｚｓ［Ｌ］
（Ｌ）を出力したとする。ここで、出力データｚｓ［Ｌ］
（Ｌ）に対する学習データをｔｓ［Ｌ］
（Ｌ）としたとき、誤差エネルギーＥは、出力データｚｓ［Ｌ］
（Ｌ）および学習データｔｓ［Ｌ］
（Ｌ）によって表すことができる。
【0076】
誤差エネルギーＥに対して、第ｋ層の第ｓ［ｋ］ニューロンの重み係数ｗｓ［ｋ］ｓ［ｋ－１］
（ｋ）の更新量を∂Ｅ／∂ｗｓ［ｋ］ｓ［ｋ－１］
（ｋ）とすることで、新たに重み係数を変更することができる。ここで、第ｋ層の第ｓ［ｋ］ニューロンの出力値ｚｓ［ｋ］
（ｋ）の誤差δｓ［ｋ］
（ｋ）を∂Ｅ／∂ｕｓ［ｋ］
（ｋ）と定義すると、δｓ［ｋ］
（ｋ）および∂Ｅ／∂ｗｓ［ｋ］ｓ［ｋ－１］
（ｋ）は、それぞれ次の式で表すことができる。なお、ｆ’（ｕｓ［ｋ］
（ｋ））は、活性化関数の導関数である。
【0077】
【数3】
【0078】
【数4】
【0079】
ここで、第（ｋ＋１）層が出力層のとき、すなわち、第（ｋ＋１）層が第Ｌ層であるとき、δｓ［Ｌ］
（Ｌ）および∂Ｅ／∂ｗｓ［Ｌ］ｓ［Ｌ－１］
（Ｌ）は、それぞれ次の式で表すことができる。
【0080】
【数5】
【0081】
【数6】
【0082】
つまり、式（１）乃至式（６）により、全てのニューロンの誤差δｓ［ｋ］
（ｋ）およびδｓ［Ｌ］
（Ｌ）を求めることができる。なお、重み係数の更新量は、誤差δｓ［ｋ］
（ｋ）、δｓ［Ｌ］
（Ｌ）および所望のパラメータ等に基づいて、設定される。
【0083】
図１（Ａ）および図２に示すステップＳ０３の終了後、画像データＩＭＧと、解像度拡張回路ＤＥが生成した画像データＯＩＭＧ［ｉ］とを比較することにより、画像データＯＩＭＧ［ｉ］の、画像データＩＭＧに対する誤差を算出する（ステップＳ０４）。ここでは変数ｉは１であるので、画像データＩＭＧと、解像度拡張回路ＤＥが生成した画像データＯＩＭＧ［１］とを比較することにより、画像データＯＩＭＧ［１］の、画像データＩＭＧに対する誤差を算出する。算出した誤差が小さくなるように、解像度拡張回路ＤＥのパラメータを修正する（ステップＳ０５）。当該パラメータとして、例えば重み係数を用いることができる。例えば、解像度拡張回路ＤＥがニューラルネットワークを有し、誤差逆伝播方式により学習を行う場合、解像度拡張回路ＤＥから出力される画像データＯＩＭＧ［ｉ］と、学習データである画像データＩＭＧとの誤差が小さくなるように、重み係数を修正する。
【0084】
次に、学習回数、つまりステップＳ０３乃至ステップＳ０５を行った回数が規定値に達したか否かを判定する（ステップＳ０６）。規定値に達していない場合は、変数ｉを１増加させた後（ステップＳ０７）、ステップＳ０３に戻る。規定値に達した場合は、画像データＩＭＧを解像度拡張回路ＤＥに入力する。これにより、画像データＩＭＧをアップコンバートした画像データＵＣＩＭＧを生成する（ステップＳ０８）。その後、ステップＳ０１に戻る。以上が本発明の一態様の画像処理方法である。
【0085】
本発明の一態様の画像処理方法では、画像データＩＭＧを学習データとして用いて、図１（Ａ）、および図２のステップＳ０１乃至ステップＳ０７に示す手順で解像度拡張回路ＤＥが学習を行う。学習完了後、つまり学習回数が規定値に達したら、図１（Ｂ）、および図２のステップＳ０８に示す手順で、解像度拡張回路ＤＥが画像データＩＭＧをアップコンバートする。アップコンバートの完了後、再び図１（Ａ）、および図２のステップＳ０１乃至ステップＳ０７に示す手順で解像度拡張回路ＤＥが学習を行う。
【0086】
本発明の一態様の学習方法では、アップコンバートされる画像データである、画像データＩＭＧを学習データとして用いるので、大量の学習データを用意しなくても、アップコンバート後の画像データである画像データＵＣＩＭＧに対応する画像を高画質とすることができる。また、例えば過学習が発生しても、過学習が発生していない場合より画像データＵＣＩＭＧに対応する画像の画質が低下することを抑制することができる。さらに、解像度拡張回路ＤＥを小規模とすることができる。例えば、解像度拡張回路ＤＥがニューラルネットワークを有する場合、ニューロンの数、および隠れ層の数を減らすことができる。
【0087】
なお、図１（Ａ）では、画像データＤＣＩＭＧの解像度を画像データＩＭＧの解像度の１／４としているが、本発明の一態様の画像処理方法ではこれに限らない。例えば、画像データＤＣＩＭＧの解像度を画像データＩＭＧの解像度の１／１６としてもよいし、１／６４としてもよい。または、画像データＤＣＩＭＧの解像度を画像データＩＭＧの解像度の１／ｍ２（ｍは２以上の整数）としてもよい。
【0088】
また、図１（Ｂ）では、画像データＵＣＩＭＧの解像度を画像データＩＭＧの解像度の４倍としているが、本発明の一態様の画像処理方法ではこれに限らない。例えば、画像データＵＣＩＭＧの解像度を画像データＩＭＧの解像度の１６倍としてもよいし、６４倍としてもよい。または、画像データＵＣＩＭＧの解像度を画像データＩＭＧの解像度のｎ２（ｎは２以上の整数）としてもよい。ここで、ｎの値がｍの値と等しいと、画像データＩＭＧを学習結果に基づいて正確にアップコンバートすることができるため、画像データＵＣＩＭＧに対応する画像を高画質とすることができ好ましい。
【0089】
図２では、学習回数が規定値に達した後に、画像データＩＭＧをアップコンバートして画像データＵＣＩＭＧを生成する場合を示したが、本発明の一態様はこれに限らない。図６は、ステップＳ０６において、学習回数が規定値に達したか否かを判定する代わりに、画像データＯＩＭＧ［ｉ］の、画像データＩＭＧに対する誤差が一定値未満となったか否かを判定する場合を示している（ステップＳ０６´）。誤差が一定値以上である場合は、ステップＳ０７を行い、誤差が一定値未満である場合は、ステップＳ０８を行う。図６に示す方法では、誤差が大きい状態で画像データＩＭＧをアップコンバートすることを抑制することができる。
【0090】
ステップＳ０６´において、誤差とは、例えば図５に示す第ｋ層（ここでのｋは２以上Ｌ－１以下の整数である。）に設けられたすべてのニューロンの誤差δｓ［ｋ］
（ｋ）の合計と、図５に示す第Ｌ層に設けられたすべてのニューロンの誤差δｓ［Ｌ］
（Ｌ）の合計と、の和とすることができる。または、誤差とは、図５に示す第Ｌ層に設けられたすべてのニューロンの誤差δｓ［Ｌ］
（Ｌ）の合計とすることができる。
【0091】
図７（Ａ）は、解像度拡張回路ＤＥの学習の方法について説明する図であり、図１（Ａ）の変形例である。図７（Ｂ）は、画像データＩＭＧのアップコンバートの方法について説明する図であり、図１（Ｂ）の変形例である。
【0092】
図１（Ａ）、（Ｂ）では、１枚分の画像に対応する画像データＩＭＧを学習データとして学習を行った後、１枚分の画像に対応する画像データＩＭＧをアップコンバートして、１枚分の画像に対応する画像データＵＣＩＭＧを生成する場合を示している。一方、図７（Ａ）、（Ｂ）では、２枚分の画像に対応する画像データＩＭＧを学習データとして学習を行った後、２枚分の画像に対応する画像データＩＭＧをアップコンバートして、２枚分の画像に対応する画像データＵＣＩＭＧを生成する場合を示している。なお、３枚分以上の画像に対応する画像データＩＭＧを学習データとして学習を行った後、３枚分以上の画像に対応する画像データＩＭＧをアップコンバートして、３枚分以上の画像に対応する画像データＵＣＩＭＧを生成してもよい。
【0093】
本明細書等において、１枚分の画像、２枚分の画像等と言う場合において、「枚」という言葉は「フレーム」と言い換えることができる場合がある。また、「画像」という言葉は「静止画」と言い換えることができる場合がある。
【0094】
図７（Ａ）、（Ｂ）に示す画像処理方法では、解像度拡張回路ＤＥが学習を行う頻度を減らすことができる。これにより、特に動画をアップコンバートする場合等、大量の画像をアップコンバートする場合において、本発明の一態様の画像処理方法を高速で行うことができる。
【0095】
図８（Ａ）は、解像度拡張回路ＤＥの学習の方法について説明する図であり、図８（Ｂ）は、画像データＩＭＧのアップコンバートの方法について説明する図である。図８（Ａ）、（Ｂ）は、図１（Ａ）、（Ｂ）の変形例である。
【0096】
図８（Ａ）では、図１（Ａ）と同様に、１枚分の画像に対応する画像データＩＭＧを学習データとして学習を行う場合を示している。図８（Ｂ）では、学習データとして用いた画像データＩＭＧの他、学習データとしていない画像データＩＭＧａをアップコンバートする場合を示している。ここで、画像データＩＭＧをアップコンバートして生成された画像データを画像データＵＣＩＭＧとし、画像データＩＭＧａをアップコンバートして生成された画像データを画像データＵＣＩＭＧａとする。
【0097】
なお、図８（Ａ）、（Ｂ）では、学習データとして用いる画像データＩＭＧ、および学習データとしていない画像データＩＭＧａのいずれも１枚分の画像に対応する画像データとしているが、本発明の一態様の画像処理方法ではこれに限らない。学習データとして用いる画像データＩＭＧを２枚分以上の画像に対応する画像データとしてもよいし、学習データとしていない画像データＩＭＧａを２枚分以上の画像に対応する画像データとしてもよい。
【0098】
図８（Ａ）、（Ｂ）に示す画像処理方法では、学習データの数を増やすことなく、解像度拡張回路ＤＥが学習を行う頻度を減らすことができる。これにより、大量の画像をアップコンバートする場合において、本発明の一態様の画像処理方法を高速で行うことができる。
【0099】
ここで、画像データＩＭＧと画像データＩＭＧａは、できる限り差分が小さい、つまり似た画像データであることが好ましい。したがって、図８（Ａ）、（Ｂ）に示す画像処理方法は、例えば動画をアップコンバートする際に適用することが好ましい。動画をアップコンバートする場合、画像データＩＭＧａは、例えば画像データＩＭＧの次のフレームの画像データとすることができる。
【0100】
また、画像データＩＭＧａをアップコンバートした後、画像データＩＭＧと、アップコンバートの対象となった画像データＩＭＧａと、を比較して、両者の差分を検出してもよい。例えば、両者の差分が一定値未満である場合は、再度の学習を行わずに引き続きアップコンバートを行い、両者の差分が一定値以上である場合は、再度の学習を行うとすることができる。これにより、例えば動画をアップコンバートする場合、場面が大きく変わった場合にのみ再度の学習を行うとすることができる。したがって、アップコンバートされて生成された画像の劣化を抑制しつつ、本発明の一態様の画像処理方法を高速で行うことができる。
【0101】
図９（Ａ）は、解像度拡張回路ＤＥの学習の方法について説明する図であり、図１（Ａ）の変形例である。図９（Ｂ）は、画像データＩＭＧのアップコンバートの方法について説明する図であり、図１（Ｂ）の変形例である。
【0102】
図９（Ａ）、（Ｂ）は、１枚分の画像を分割し、分割した画像に対応する画像データを画像データＩＭＧとする場合を示している。つまり、分割した画像に対応する画像データを学習データとして解像度拡張回路ＤＥが学習を行った後、当該分割した画像に対応する画像データをアップコンバートする。
【0103】
図９（Ａ）、（Ｂ）に示す画像処理方法では、画像データＩＭＧ、およびアップコンバート後の画像データである画像データＵＣＩＭＧの解像度を小さくすることができる。これにより、学習およびアップコンバートを行う際に要する計算量を少なくすることができる。これにより、本発明の一態様の画像処理方法を高速で行うことができる。
【0104】
なお、図９（Ａ）、（Ｂ）に示す画像処理方法では、画像データＩＭＧを２×２の画像データに分割しているが、本発明の一態様はこれに限らない。例えば、画像データＩＭＧを３×３の画像データに分割してもよいし、４×４の画像データに分割してもよいし、１０×１０の画像データに分割してもよいし、１０×１０より多くの画像データに分割してもよい。また、水平方向の分割数と、垂直方向の分割数とが異なってもよい。例えば、画像データＩＭＧを４×３の画像データ、つまり水平方向に４つの画像データ、かつ垂直方向に３つの画像データに分割してもよい。
【0105】
＜送信装置および受信装置の構成例＞
本発明の一態様の画像処理方法は、送信装置と、受信装置と、を有するシステムである、表示システムに適用することができる。図１０は、当該表示システムが有する送信装置ＴＤおよび受信装置ＤＤの構成例を示すブロック図である。
本発明の一態様の画像処理方法は、送信装置と、受信装置と、を有するシステムである、表示システムに適用することができる。図１０は、当該表示システムが有する送信装置ＴＤおよび受信装置ＤＤの構成例を示すブロック図である。
【0106】
本明細書等において、送信装置または受信装置を、半導体装置と呼ぶ場合がある。
【0107】
送信装置ＴＤは、記憶回路ＭＥＭ１、画像処理回路ＩＰ１、解像度拡張回路ＤＥ、およびエンコーダＥＮＣを有する。受信装置ＤＤは、デコーダＤＥＣ、記憶回路ＭＥＭ２、画像処理回路ＩＰ２、ゲートドライバＧＤ、ソースドライバＳＤ、および表示パネルＤＰを有する。表示パネルＤＰには、画素ＰＩＸがマトリクス状に配列されている。画素ＰＩＸは、ソース線によりソースドライバＳＤと電気的に接続され、ゲート線によりゲートドライバＧＤと電気的に接続されている。
【0108】
【0109】
記憶回路ＭＥＭ１は、画像データを保持する機能を有する。例えば、画像データＩＭＧ、およびアップコンバート後の画像データである画像データＵＣＩＭＧを保持する機能を有する。また、記憶回路ＭＥＭ１は、保持した画像データを、画像処理回路ＩＰ１、又はエンコーダＥＮＣ等に出力する機能を有する。
【0110】
記憶回路ＭＥＭ１として、例えば書き換え可能な不揮発性の記憶素子が適用された記憶装置を用いることができる。例えば、フラッシュメモリや、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ）、ＮＯＳＲＡＭ（登録商標）等を用いることができる。
【0111】
なお、ＮＯＳＲＡＭとは「Ｎｏｎｖｏｌａｔｉｌｅ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ＲＡＭ」の略称であり、ゲインセル型（２Ｔ型、３Ｔ型）のメモリセルを有するＲＡＭを指す。ＮＯＳＲＡＭは、オフ電流が低いという特徴を有するＯＳトランジスタを利用したメモリの一種である。ＮＯＳＲＡＭは、フラッシュメモリと異なり、書き換え可能回数に制限が無く、データを書き込む際の消費電力が小さい。そのため、信頼性が高く消費電力の小さい不揮発性メモリを提供することができる。
【0112】
また、記憶回路ＭＥＭ１として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を用いることができる。ＲＯＭとしては、マスクＲＯＭや、ＯＴＰＲＯＭ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を用いることができる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ－ＥＰＲＯＭ（Ｕｌｔｒａ－Ｖｉｏｌｅｔ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等が挙げられる。
【0113】
また、記憶回路ＭＥＭ１として、取り外し可能な記憶装置を用いることができる。例えばストレージデバイスとして機能するハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等の記録メディアドライブ、フラッシュメモリ、ブルーレイディスク、ＤＶＤ等を用いることができる。
【0114】
画像処理回路ＩＰ１は、画像データに対して、画像処理を行う機能を有する。例えば、放送局等から供給された画像データＩＭＧ、または記憶回路ＭＥＭ１に保持された画像データＩＭＧに対して、画像処理を行う機能を有する。また、画像処理回路ＩＰ１は、画像データＵＣＩＭＧ等、解像度拡張回路ＤＥから出力された画像データに対して画像処理を行う機能を有する。
【0115】
画像処理としては、例えばノイズ除去処理を行うことができる。例えば、文字等の輪郭の周辺に生じるモスキートノイズ、高速の動画で生じるブロックノイズ、ちらつきを生じるランダムノイズ、解像度のアップコンバートにより生じるドットノイズ等のさまざまなノイズを除去することができる。
【0116】
また、画像処理回路ＩＰ１は、画像データの解像度を低下させる機能を有する。例えば、画像データＩＭＧの解像度を低下させることにより、画像データＤＣＩＭＧを生成することができる。つまり、図１（Ａ）および図２等に示す、ステップＳ０１を行うことができる。
【0117】
また、画像処理回路ＩＰ１は、画像データ同士を比較して、誤差を算出する機能を有する。例えば、画像データＩＭＧと画像データＯＩＭＧ［ｉ］を比較して両者の誤差を算出する機能を有する。つまり、図１（Ａ）および図２等に示す、ステップＳ０４を行うことができる。
【0118】
さらに、画像処理回路ＩＰ１は、学習回数が規定値に達したか否かを判定する機能を有することができる。つまり、図２に示すステップＳ０６を行うことができる。なお、学習回数が規定値に達したか否かの判定は、画像処理回路ＩＰ１にカウンタ回路を設け、当該カウント回路により行うことができる。
【0119】
また、画像処理回路ＩＰ１は、誤差が一定値未満となったか否かを判定する機能を有することができる。例えば、画像データＯＩＭＧ［ｉ］の、画像データＩＭＧに対する誤差が一定値未満となったか否かを判定する機能を有することができる。つまり、図６に示すステップＳ０６´を行うことができる。
【0120】
エンコーダＥＮＣは、画像データを符号化する機能を有する。例えば、画像データＵＣＩＭＧを符号化する機能を有する。符号化のための処理には、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）および離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の直交変換、フレーム間予測処理、動き補償予測処理等がある。また、エンコーダＥＮＣは、符号化前の画像データに放送制御用データ（例えば認証用のデータ）を付加する処理、暗号化処理、スクランブル処理（スペクトラム拡散のためのデータ並び替え処理）等を行う機能を有してもよい。
【0121】
デコーダＤＥＣは、符号化された画像データを復号化する機能を有する。復号化のための処理には、符号化のための処理と同様に、ＤＣＴおよびＤＳＴ等の直交変換、フレーム間予測処理、動き補償予測処理等がある。また、デコーダＤＥＣは、復号化後の画像データにフレーム分離、ＬＤＰＣ（Ｌｏｗ Ｄｅｎｓｉｔｙ Ｐａｒｉｔｙ Ｃｈｅｃｋ）符号の復号、放送制御用データの分離、デスクランブル処理等を行う機能を有してもよい。
【0122】
記憶回路ＭＥＭ２は、画像データを保持する機能を有する。例えば、デコーダＤＥＣにより復号化された画像データを保持する機能を有する。また、記憶回路ＭＥＭ２は、保持した画像データを、画像処理回路ＩＰ２等に出力する機能を有する。記憶回路ＭＥＭ２として、記憶回路ＭＥＭ１に用いることができる記憶装置と同様の記憶装置を用いることができる。
【0123】
画像処理回路ＩＰ２は、画像データに対して、画像処理を行う機能を有する。例えば、記憶回路ＭＥＭ２に保持された画像データ、またはデコーダＤＥＣから出力された画像データに対して、画像処理を行う機能を有する。
【0124】
画像処理としては、例えばノイズ除去処理、階調変換処理、色調補正処理、輝度補正処理等を行うことができる。色調補正処理や輝度補正処理としては、例えばガンマ補正等がある。ノイズ除去処理としては、前述の画像処理回路ＩＰ１が行うことができる処理と同様の処理を行うことができる。
【0125】
階調変換処理は、画像の階調を表示パネルＤＰの出力特性に対応した階調へ変換する処理である。例えば、画像処理回路ＩＰ２に入力された画像データが表現している階調数より多くの階調数を表現する画像データを生成することができる。この場合、画像処理回路ＩＰ２に入力された画像データに対して、各画素に対応する階調値を補間して割り当てることで、ヒストグラムを平滑化する処理を行うことができる。また、ダイナミックレンジを広げる、ハイダイナミックレンジ（ＨＤＲ）処理も、階調変換処理に含まれる。
【0126】
また、色調補正処理は、画像の色調を補正する処理である。また輝度補正処理は、画像の明るさ（輝度コントラスト）を補正する処理である。例えば、受信装置ＤＤが設けられる空間に配置された照明の種類や輝度、または色純度等を検知し、それに応じて表示パネルＤＰに表示する画像の輝度や色調が最適となるように補正する。または、表示する画像と、あらかじめ保存してある画像リスト内の様々な場面の画像と、を照合し、最も近い場面の画像に適した輝度や色調に表示する画像を補正する機能を有していてもよい。
【0127】
ゲートドライバＧＤは、画素ＰＩＸを選択する機能を有する。ソースドライバＳＤは、画像データを基にして、画素ＰＩＸを駆動する機能を有する。例えば、画像処理回路ＩＰ２が出力した画像データを基にして、画素ＰＩＸを駆動する機能を有する。ソースドライバＳＤが画素ＰＩＸを駆動することにより、画像データＵＣＩＭＧに対応する画像が表示パネルＤＰに表示される。また、ソースドライバＳＤは、画像データに対してＤ／Ａ変換を行う機能を有してもよい。
【0128】
図１１は、送信装置ＴＤおよび受信装置ＤＤの構成例を示すブロック図であり、図１０に示すブロック図の変形例である。送信装置ＴＤは、記憶回路ＭＥＭ１、画像処理回路ＩＰ３、およびエンコーダＥＮＣを有する。受信装置ＤＤは、デコーダＤＥＣ、記憶回路ＭＥＭ２、画像処理回路ＩＰ４、解像度拡張回路ＤＥ、画像処理回路ＩＰ５、ソースドライバＳＤ、ゲートドライバＧＤ、および表示パネルＤＰを有する。図１０に示す構成の受信装置ＤＤと同様に、表示パネルＤＰには、画素ＰＩＸがマトリクス状に配列されている。画素ＰＩＸは、ソース線によりソースドライバＳＤと電気的に接続されており、ゲート線によりゲートドライバＧＤと電気的に接続されている。
【0129】
【0130】
図１１に示す構成の表示システムでは、記憶回路ＭＥＭ１は、画像データＩＭＧを保持することができる。また、記憶回路ＭＥＭ１は、保持した画像データを、画像処理回路ＩＰ３等に出力することができる。
【0131】
画像処理回路ＩＰ３は、図１０に示す画像処理回路ＩＰ１と同様に、例えば放送局等から供給された画像データＩＭＧ、または記憶回路ＭＥＭ１に保持された画像データＩＭＧに対して、ノイズ除去処理等の画像処理を行う機能を有する。なお、送信装置ＴＤは画像処理回路ＩＰ３を有していなくてもよい。
【0132】
また、エンコーダＥＮＣは、画像処理回路ＩＰ３から出力された画像データを符号化することができる。デコーダＤＥＣは、エンコーダＥＮＣにより符号化された画像データを復号化することができる。記憶回路ＭＥＭ２は、デコーダＤＥＣにより復号化された画像データＩＭＧ、およびアップコンバート後の画像データである画像データＵＣＩＭＧを保持することができる。また、記憶回路ＭＥＭ２は、保持した画像データを画像処理回路ＩＰ４、又は画像処理回路ＩＰ５等に出力することができる。
【0133】
画像処理回路ＩＰ４は、画像処理回路ＩＰ１と同様に、画像データの解像度を低下させる機能、および画像データ同士を比較して誤差を算出する機能を有する。また、画像処理回路ＩＰ４は、画像処理回路ＩＰ１と同様に、学習回数が規定値に達したか否かを判定する機能、および／または誤差が一定値未満となったか否かを判定する機能を有してもよい。さらに、画像処理回路ＩＰ４は、図１０に示す画像処理回路ＩＰ２が行うことができる画像処理と同様の画像処理を行う機能を有していてもよい。
【0134】
画像処理回路ＩＰ５は、画像データに対して、画像処理を行う機能を有する。例えば、記憶回路ＭＥＭ２に保持された画像データＵＣＩＭＧに対して、画像処理を行う機能を有する。画像処理としては、図１０に示す画像処理回路ＩＰ２と同様に、例えばノイズ除去処理、階調変換処理、色調補正処理、輝度補正処理等を行うことができる。
【0135】
なお、図１０および図１１に示す表示システムには、レジスタ、キャッシュメモリ、およびメインメモリ等の記憶装置を設けてもよい。当該記憶装置は、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）またはＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）を有する構成とすることができる。当該記憶装置は、例えば送信装置ＴＤが有する各種回路、および受信装置ＤＤが有する各種回路に設けることができる。また、当該記憶装置は、送信装置ＴＤおよび受信装置ＤＤが有する各種回路とは別の回路として、送信装置ＴＤおよび受信装置ＤＤに設けることができる。
【0136】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【0137】
（実施の形態２）
本実施の形態では、ニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
本実施の形態では、ニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
【0138】
＜半導体装置の構成例＞
図１２に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。解像度拡張回路ＤＥは、半導体装置ＭＡＣを有する構成とすることができる。半導体装置ＭＡＣは、ニューロンの重み係数に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータおよび第２のデータはそれぞれ、アナログデータまたは多値のデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
図１２に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。解像度拡張回路ＤＥは、半導体装置ＭＡＣを有する構成とすることができる。半導体装置ＭＡＣは、ニューロンの重み係数に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータおよび第２のデータはそれぞれ、アナログデータまたは多値のデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
【0139】
半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、および活性化関数回路ＡＣＴＶを有する。
【0140】
セルアレイＣＡは、複数のメモリセルＭＣおよび複数のメモリセルＭＣｒｅｆを有する。図１２には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（ＭＣ［１，１］乃至ＭＣ［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至ＭＣｒｅｆ［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータまたは多値のデジタルデータとすることができる。
【0141】
メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、および配線ＢＬ［ｊ］と接続されている。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線ＢＬ［ｊ］間を流れる電流をＩＭＣ［ｉ，ｊ］と表記し、メモリセルＭＣｒｅｆ［ｉ］と配線ＢＬｒｅｆ間を流れる電流をＩＭＣｒｅｆ［ｉ］と表記する。
【0142】
メモリセルＭＣおよびメモリセルＭＣｒｅｆの具体的な構成例を、図１３に示す。図１３には代表例としてメモリセルＭＣ［１，１］、ＭＣ［２，１］およびメモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］を示しているが、他のメモリセルＭＣおよびメモリセルＭＣｒｅｆにも同様の構成を用いることができる。メモリセルＭＣおよびメモリセルＭＣｒｅｆはそれぞれ、トランジスタＴｒ１１、Ｔｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１およびトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。
【0143】
メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、トランジスタＴｒ１１のソースまたはドレインの一方はトランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続され、トランジスタＴｒ１１のソースまたはドレインの他方は配線ＷＤと接続されている。トランジスタＴｒ１２のソースまたはドレインの一方は配線ＢＬと接続され、トランジスタＴｒ１２のソースまたはドレインの他方は配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線ＶＲから低電源電位（接地電位等）が供給される場合について説明する。
【0144】
トランジスタＴｒ１１のソースまたはドレインの一方、トランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモリセルＭＣ［１，１］、ＭＣ［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、ＮＭ［２，１］と表記する。
【0145】
メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセルＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線ＢＬｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］において、トランジスタＴｒ１１のソースまたはドレインの一方、トランジスタＴｒ１２のゲート、および容量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、ＮＭｒｅｆ［２］と表記する。
【0146】
ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆには参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、ＭＣ［２，１］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣ［１，１］、ＩＭＣ［２，１］が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣｒｅｆ［１］、ＩＭＣｒｅｆ［２］が流れる。
【0147】
トランジスタＴｒ１１は、ノードＮＭまたはノードＮＭｒｅｆの電位を保持する機能を有するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トランジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい。これにより、ノードＮＭまたはノードＮＭｒｅｆの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードＮＭまたはノードＮＭｒｅｆの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
【0148】
トランジスタＴｒ１２は特に限定されず、例えばチャネル形成領域にシリコンを有するトランジスタ（以下、Ｓｉトランジスタという）またはＯＳトランジスタ等を用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャネル型であってもｐチャネル型であってもよい。
【0149】
電流源回路ＣＳは、配線ＢＬ［１］乃至ＢＬ［ｎ］および配線ＢＬｒｅｆと接続されている。電流源回路ＣＳは、配線ＢＬ［１］乃至ＢＬ［ｎ］および配線ＢＬｒｅｆに電流を供給する機能を有する。なお、配線ＢＬ［１］乃至ＢＬ［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至ＢＬ［ｎ］に供給される電流をＩＣ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆと表記する。
【0150】
カレントミラー回路ＣＭは、配線ＩＬ［１］乃至ＩＬ［ｎ］および配線ＩＬｒｅｆを有する。配線ＩＬ［１］乃至ＩＬ［ｎ］はそれぞれ配線ＢＬ［１］乃至ＢＬ［ｎ］と接続され、配線ＩＬｒｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至ＩＬ［ｎ］と配線ＢＬ［１］乃至ＢＬ［ｎ］の接続箇所をノードＮＰ［１］乃至ＮＰ［ｎ］と表記する。また、配線ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。
【0151】
カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流ＩＣＭを配線ＩＬｒｅｆに流す機能と、この電流ＩＣＭを配線ＩＬ［１］乃至ＩＬ［ｎ］にも流す機能を有する。図１２には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流ＩＣＭが排出され、配線ＢＬ［１］乃至ＢＬ［ｎ］から配線ＩＬ［１］乃至ＩＬ［ｎ］に電流ＩＣＭが排出される例を示している。また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至ＢＬ［ｎ］を介してセルアレイＣＡに流れる電流を、ＩＢ［１］乃至ＩＢ［ｎ］と表記する。また、カレントミラー回路ＣＭから配線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、ＩＢｒｅｆと表記する。
【0152】
回路ＷＤＤは、配線ＷＤ［１］乃至ＷＤ［ｎ］および配線ＷＤｒｅｆと接続されている。回路ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］乃至ＷＤ［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬＤは、配線ＷＬ［１］乃至ＷＬ［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを行うメモリセルＭＣまたはメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］乃至ＷＬ［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至ＲＷ［ｍ］と接続されている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至ＲＷ［ｍ］に供給する機能を有する。
【0153】
オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至ＢＬ［ｎ］および配線ＯＬ［１］乃至ＯＬ［ｎ］と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至ＢＬ［ｎ］からオフセット回路ＯＦＳＴに流れる電流量、および／または、配線ＢＬ［１］乃至ＢＬ［ｎ］からオフセット回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦＳＴは、検出結果を配線ＯＬ［１］乃至ＯＬ［ｎ］に出力する機能を有する。なお、オフセット回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット回路ＯＦＳＴの間を流れる電流を、Ｉα［１］乃至Ｉα［ｎ］と表記する。
【0154】
オフセット回路ＯＦＳＴの構成例を図１４に示す。図１４に示すオフセット回路ＯＦＳＴは、回路ＯＣ［１］乃至ＯＣ［ｎ］を有する。また、回路ＯＣ［１］乃至ＯＣ［ｎ］はそれぞれ、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２１、および抵抗素子Ｒ１を有する。各素子の接続関係は図１４に示す通りである。なお、容量素子Ｃ２１の第１の電極および抵抗素子Ｒ１の第１の端子と接続されたノードを、ノードＮａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソースまたはドレインの一方、およびトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂとする。
【0155】
配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給する機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。ここでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、配線ＶＳＳＬ、および配線ＶｂＬによって、ソースフォロワ回路が構成される。
【0156】
次に、回路ＯＣ［１］乃至ＯＣ［ｎ］の動作例を説明する。なお、ここでは代表例として回路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至ＯＣ［ｎ］も同様に動作させることができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１はオフ状態となる。
【0157】
次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化量をΔＶＮａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶＮａとなる。そして、トランジスタＴｒ２２のしきい値電圧をＶｔｈとすると、配線ＯＬ［１］から電位Ｖａ＋ΔＶＮａ－Ｖｔｈが出力される。ここで、Ｖａ＝Ｖｔｈとすることにより、配線ＯＬ［１］から電位ΔＶＮａを出力することができる。
【0158】
電位ΔＶＮａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１の抵抗値、および電位Ｖｒｅｆに応じて定まる。ここで、抵抗素子Ｒ１の抵抗値と電位Ｖｒｅｆは既知であるため、電位ΔＶＮａから配線ＢＬに流れる電流の変化量を求めることができる。
【0159】
上記のようにオフセット回路ＯＦＳＴによって検出された電流量、および／または電流の変化量に対応する信号は、配線ＯＬ［１］乃至ＯＬ［ｎ］を介して活性化関数回路ＡＣＴＶに入力される。
【0160】
活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至ＯＬ［ｎ］、および、配線ＮＩＬ［１］乃至ＮＩＬ［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数等を用いることができる。活性化関数回路ＡＣＴＶによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至ＮＩＬ［ｎ］に出力される。
【0161】
＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
【0162】
図１５に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図１５には、図１３における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮＭ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２］、配線ＲＷ［１］、および配線ＲＷ［２］の電位の推移と、電流ＩＢ［１］－Ｉα［１］、および電流ＩＢｒｅｆの値の推移を示している。電流ＩＢ［１］－Ｉα［１］は、配線ＢＬ［１］からメモリセルＭＣ［１，１］、ＭＣ［２，１］に流れる電流の総和に相当する。
【0163】
なお、ここでは代表例として図１３に示すメモリセルＭＣ［１，１］、ＭＣ［２，１］およびメモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］に着目して動作を説明するが、他のメモリセルＭＣおよびメモリセルＭＣｒｅｆも同様に動作させることができる。
【0164】
［第１のデータの格納］
まず、時刻Ｔ０１－Ｔ０２の期間において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ－ＶＷ［１，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１］、および配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ－ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
まず、時刻Ｔ０１－Ｔ０２の期間において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ－ＶＷ［１，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１］、および配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ－ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
【0165】
このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，０は、次の式で表すことができる。ここで、ｋはトランジスタＴｒ１２のチャネル長、チャネル幅、移動度、およびゲート絶縁膜の容量等で決まる定数である。また、ＶｔｈはトランジスタＴｒ１２のしきい値電圧である。
【0166】
［数７］
ＩＭＣ［１，１］，０＝ｋ（ＶＰＲ－ＶＷ［１，１］－Ｖｔｈ）２ （７）
ＩＭＣ［１，１］，０＝ｋ（ＶＰＲ－ＶＷ［１，１］－Ｖｔｈ）２ （７）
【0167】
また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，０は、次の式で表すことができる。
【0168】
［数８］
ＩＭＣｒｅｆ［１］，０＝ｋ（ＶＰＲ－Ｖｔｈ）２ （８）
ＩＭＣｒｅｆ［１］，０＝ｋ（ＶＰＲ－Ｖｔｈ）２ （８）
【0169】
次に、時刻Ｔ０２－Ｔ０３の期間において、配線ＷＬ［１］の電位がローレベルとなる。これにより、メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位が保持される。
【0170】
なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ましい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位を正確に保持することができる。
【0171】
次に、時刻Ｔ０３－Ｔ０４の期間において、配線ＷＬ［２］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位よりもＶＰＲ－ＶＷ［２，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。なお、電位ＶＷ［２，１］はメモリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、メモリセルＭＣ［２，１］およびメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［２，１］の電位がＶＰＲ－ＶＷ［２，１］、ノードＮＭｒｅｆ［２］の電位がＶＰＲとなる。
【0172】
このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，０は、次の式で表すことができる。
【0173】
［数９］
ＩＭＣ［２，１］，０＝ｋ（ＶＰＲ－ＶＷ［２，１］－Ｖｔｈ）２ （９）
ＩＭＣ［２，１］，０＝ｋ（ＶＰＲ－ＶＷ［２，１］－Ｖｔｈ）２ （９）
【0174】
また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，０は、次の式で表すことができる。
【0175】
［数１０］
ＩＭＣｒｅｆ［２］，０＝ｋ（ＶＰＲ－Ｖｔｈ）２ （１０）
ＩＭＣｒｅｆ［２］，０＝ｋ（ＶＰＲ－Ｖｔｈ）２ （１０）
【0176】
次に、時刻Ｔ０４－Ｔ０５の期間において、配線ＷＬ［２］の電位がローレベルとなる。これにより、メモリセルＭＣ［２，１］およびメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［２，１］およびノードＮＭｒｅｆ［２］の電位が保持される。
【0177】
以上の動作により、メモリセルＭＣ［１，１］、ＭＣ［２，１］に第１のデータが格納され、メモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］に参照データが格納される。
【0178】
ここで、時刻Ｔ０４－Ｔ０５の期間において、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆ、配線ＢＬｒｅｆからカレントミラー回路ＣＭによって配線ＩＬｒｅｆへ排出される電流をＩＣＭ，０とすると、次の式が成り立つ。
【0179】
［数１１］
ＩＣｒｅｆ－ＩＣＭ，０＝ＩＭＣｒｅｆ［１］，０＋ＩＭＣｒｅｆ［２］，０ （１１）
ＩＣｒｅｆ－ＩＣＭ，０＝ＩＭＣｒｅｆ［１］，０＋ＩＭＣｒｅｆ［２］，０ （１１）
【0180】
配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、ＭＣ［２，１］へ排出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回路ＣＳから配線ＢＬ［１］に供給される電流をＩＣ，０、配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，０とすると、次の式が成り立つ。
【0181】
［数１２］
ＩＣ－ＩＣＭ，０＝ＩＭＣ［１，１］，０＋ＩＭＣ［２，１］，０＋Ｉα，０ （１２）
ＩＣ－ＩＣＭ，０＝ＩＭＣ［１，１］，０＋ＩＭＣ［２，１］，０＋Ｉα，０ （１２）
【0182】
［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５－Ｔ０６の期間において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位ＶＸ［１］はメモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。
次に、時刻Ｔ０５－Ｔ０６の期間において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位ＶＸ［１］はメモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。
【0183】
トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ１１の容量、トランジスタＴｒ１２のゲート容量、および寄生容量等によって算出される。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数を考慮して電位ＶＸを決定すればよい。
【0184】
メモリセルＭＣ［１，１］およびメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位ＶＸ［１］が供給されると、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。
【0185】
ここで、時刻Ｔ０５－Ｔ０６の期間において、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，１は、次の式で表すことができる。
【0186】
［数１３］
ＩＭＣ［１，１］，１＝ｋ（ＶＰＲ－ＶＷ［１，１］＋ＶＸ［１］－Ｖｔｈ）２（１３）
ＩＭＣ［１，１］，１＝ｋ（ＶＰＲ－ＶＷ［１，１］＋ＶＸ［１］－Ｖｔｈ）２（１３）
【0187】
すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［１，１］＝ＩＭＣ［１，１］，１－ＩＭＣ［１，１］，０増加する。
【0188】
また、時刻Ｔ０５－Ｔ０６の期間において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，１は、次の式で表すことができる。
【0189】
［数１４］
ＩＭＣｒｅｆ［１］，１＝ｋ（ＶＰＲ＋ＶＸ［１］－Ｖｔｈ）２ （１４）
ＩＭＣｒｅｆ［１］，１＝ｋ（ＶＰＲ＋ＶＸ［１］－Ｖｔｈ）２ （１４）
【0190】
すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［１］＝ＩＭＣｒｅｆ［１］，１－ＩＭＣｒｅｆ［１］，０増加する。
【0191】
また、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，１とすると、次の式が成り立つ。
【0192】
［数１５］
ＩＣｒｅｆ－ＩＣＭ，１＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，１ （１５）
ＩＣｒｅｆ－ＩＣＭ，１＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，１ （１５）
【0193】
配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、ＭＣ［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，１とすると、次の式が成り立つ。
【0194】
［数１６］
ＩＣ－ＩＣＭ，１＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，１（１６）
ＩＣ－ＩＣＭ，１＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，１（１６）
【0195】
そして、式（７）乃至式（１６）から、電流Ｉα，０と電流Ｉα，１の差（差分電流ΔＩα）は次の式で表すことができる。
【0196】
［数１７］
ΔＩα＝Ｉα，１－Ｉα，０＝２ｋＶＷ［１，１］ＶＸ［１］ （１７）
ΔＩα＝Ｉα，１－Ｉα，０＝２ｋＶＷ［１，１］ＶＸ［１］ （１７）
【0197】
このように、差分電流ΔＩαは、電位ＶＷ［１，１］とＶＸ［１］の積に応じた値となる。
【0198】
その後、時刻Ｔ０６－Ｔ０７の期間において、配線ＲＷ［１］の電位は基準電位となり、ノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４－Ｔ０５の期間における電位と同様になる。
【0199】
次に、時刻Ｔ０７－Ｔ０８の期間において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶＸ［２］大きい電位となる。これにより、メモリセルＭＣ［１，１］、およびメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１に電位ＶＸ［１］が供給され、容量結合によりノードＮＭ［１，１］およびノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。また、メモリセルＭＣ［２，１］、およびメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位ＶＸ［２］が供給され、容量結合によりノードＮＭ［２，１］およびノードＮＭｒｅｆ［２］の電位がそれぞれＶＸ［２］上昇する。
【0200】
ここで、時刻Ｔ０７－Ｔ０８の期間において、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，１は、次の式で表すことができる。
【0201】
［数１８］
ＩＭＣ［２，１］，１＝ｋ（ＶＰＲ－ＶＷ［２，１］＋ＶＸ［２］－Ｖｔｈ）２（１８）
ＩＭＣ［２，１］，１＝ｋ（ＶＰＲ－ＶＷ［２，１］＋ＶＸ［２］－Ｖｔｈ）２（１８）
【0202】
すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［２，１］＝ＩＭＣ［２，１］，１－ＩＭＣ［２，１］，０増加する。
【0203】
また、時刻Ｔ０７－Ｔ０８の期間において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，１は、次の式で表すことができる。
【0204】
［数１９］
ＩＭＣｒｅｆ［２］，１＝ｋ（ＶＰＲ＋ＶＸ［２］－Ｖｔｈ）２ （１９）
ＩＭＣｒｅｆ［２］，１＝ｋ（ＶＰＲ＋ＶＸ［２］－Ｖｔｈ）２ （１９）
【0205】
すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［２］＝ＩＭＣｒｅｆ［２］，１－ＩＭＣｒｅｆ［２］，０増加する。
【0206】
また、配線ＢＬ［１］および配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，２とすると、次の式が成り立つ。
【0207】
［数２０］
ＩＣｒｅｆ－ＩＣＭ，２＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，１ （２０）
ＩＣｒｅｆ－ＩＣＭ，２＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，１ （２０）
【0208】
配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、ＭＣ［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，２とすると、次の式が成り立つ。
【0209】
［数２１］
ＩＣ－ＩＣＭ，２＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，２ （２１）
ＩＣ－ＩＣＭ，２＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，２ （２１）
【0210】
そして、式（７）乃至式（１４）、および、式（１８）乃至式（２１）から、電流Ｉα，０と電流Ｉα，２の差（差分電流ΔＩα）は次の式で表すことができる。
【0211】
［数２２］
ΔＩα＝Ｉα，２－Ｉα，０＝２ｋ（ＶＷ［１，１］ＶＸ［１］＋ＶＷ［２，１］ＶＸ［２］）
（２２）
ΔＩα＝Ｉα，２－Ｉα，０＝２ｋ（ＶＷ［１，１］ＶＸ［１］＋ＶＷ［２，１］ＶＸ［２］）
（２２）
【0212】
このように、差分電流ΔＩαは、電位ＶＷ［１，１］と電位ＶＸ［１］の積と、電位ＶＷ［２，１］と電位ＶＸ［２］の積と、を足し合わせた結果に応じた値となる。
【0213】
その後、時刻Ｔ０８－Ｔ０９の期間において、配線ＲＷ［１］、ＲＷ［２］の電位は基準電位となり、ノードＮＭ［１，１］、ＮＭ［２，１］およびノードＮＭｒｅｆ［１］、ＮＭｒｅｆ［２］の電位は時刻Ｔ０４－Ｔ０５の期間における電位と同様になる。
【0214】
式（１７）および式（２２）に示されるように、オフセット回路ＯＦＳＴに入力される差分電流ΔＩαは、第１のデータ（重み）に対応する電位ＶＷと、第２のデータ（入力データ）に対応する電位ＶＸの積の項を有する式から算出することができる。すなわち、差分電流ΔＩαをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータの積和演算の結果を得ることができる。
【0215】
なお、上記では特にメモリセルＭＣ［１，１］、ＭＣ［２，１］およびメモリセルＭＣｒｅｆ［１］、ＭＣｒｅｆ［２］に着目したが、メモリセルＭＣおよびメモリセルＭＣｒｅｆの数は任意に設定することができる。メモリセルＭＣおよびメモリセルＭＣｒｅｆの行数ｍを任意の数ｉとした場合の差分電流ΔＩαは、次の式で表すことができる。
【0216】
［数２３］
ΔＩα＝２ｋΣｉＶＷ［ｉ，１］ＶＸ［ｉ］ （２３）
ΔＩα＝２ｋΣｉＶＷ［ｉ，１］ＶＸ［ｉ］ （２３）
【0217】
また、メモリセルＭＣおよびメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列して実行される積和演算の数を増やすことができる。
【0218】
以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの積和演算を行うことができる。なお、メモリセルＭＣおよびメモリセルＭＣｒｅｆとして図１３に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。
【0219】
半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭＣの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの列数ｎはニューロンの数に対応させることができる。
【0220】
なお、半導体装置ＭＡＣを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置ＭＡＣは、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、オートエンコーダ、ボルツマンマシン（制限ボルツマンマシンを含む）等に用いることもできる。
【0221】
以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイＣＡに図１３に示すメモリセルＭＣおよびメモリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、または回路規模の縮小を図ることが可能な集積回路を提供することができる。
【0222】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【0223】
（実施の形態３）
本実施の形態では、本発明の一態様の画像処理方法により動作する半導体装置に用いることができる表示パネルについて説明する。
本実施の形態では、本発明の一態様の画像処理方法により動作する半導体装置に用いることができる表示パネルについて説明する。
【0224】
＜画素の構成例＞
まず、図１６（Ａ）乃至（Ｅ）を用いて、画素ＰＩＸの構成例を説明する。
まず、図１６（Ａ）乃至（Ｅ）を用いて、画素ＰＩＸの構成例を説明する。
【0225】
画素ＰＩＸは、複数の画素１１５を有する。複数の画素１１５は、それぞれ、副画素として機能する。それぞれ異なる色を呈する複数の画素１１５によって１つの画素ＰＩＸが構成されることで、表示部では、フルカラーの表示を行うことができる。
【0226】
図１６（Ａ）、（Ｂ）に示す画素ＰＩＸは、それぞれ、３つの副画素を有する。図１６（Ａ）に示す画素ＰＩＸが有する画素１１５の組み合わせは、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）である。図１６（Ｂ）に示す画素ＰＩＸが有する画素１１５の組み合わせは、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）である。
【0227】
図１６（Ｃ）乃至（Ｅ）に示す画素ＰＩＸは、それぞれ、４つの副画素を有する。図１６（Ｃ）に示す画素ＰＩＸが有する画素１１５の組み合わせは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、白（Ｗ）である。白色を呈する副画素を用いることで、表示部の輝度を高めることができる。図１６（Ｄ）に示す画素ＰＩＸが有する画素１１５の組み合わせは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）である。図１６（Ｅ）に示す画素ＰＩＸが有する画素１１５の組み合わせは、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）、白（Ｗ）である。
【0228】
１つの画素として機能させる副画素の数を増やし、赤、緑、青、シアン、マゼンタ、および黄等の色を呈する副画素を適宜組み合わせることにより、中間調の再現性を高めることができる。よって、表示品位を高めることができる。
【0229】
また、本発明の一態様の表示装置は、さまざまな規格の色域を再現することができる。例えば、テレビ放送で使われるＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）規格およびＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）規格、パーソナルコンピュータ、デジタルカメラ、プリンタ等の電子機器に用いる表示装置で広く使われているｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）規格およびＡｄｏｂｅ ＲＧＢ規格、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ、ハイビジョンともいう）で使われるＩＴＵ－Ｒ ＢＴ．７０９（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ Ｂｒｏａｄｃａｓｔｉｎｇ Ｓｅｒｖｉｃｅ（Ｔｅｌｅｖｉｓｉｏｎ） ７０９）規格、デジタルシネマ映写で使われるＤＣＩ－Ｐ３（Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ Ｉｎｉｔｉａｔｉｖｅｓ Ｐ３）規格、ＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ、スーパーハイビジョンともいう）で使われるＩＴＵ－Ｒ ＢＴ．２０２０（ＲＥＣ．２０２０（Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ２０２０））規格等の色域を再現することができる。
【0230】
また、画素ＰＩＸを１９２０×１０８０のマトリクス状に配置すると、２Ｋの解像度でフルカラー表示可能な表示装置を実現することができる。また、例えば、画素ＰＩＸを３８４０×２１６０のマトリクス状に配置すると、４Ｋの解像度でフルカラー表示可能な表示装置を実現することができる。また、例えば、画素ＰＩＸを７６８０×４３２０のマトリクス状に配置すると、８Ｋの解像度でフルカラー表示可能な表示装置を実現することができる。画素ＰＩＸを増やすことで、１６Ｋや３２Ｋの解像度でフルカラー表示可能な表示装置を実現することも可能である。
【0231】
＜画素回路の構成例＞
本発明の一態様の表示装置が有する表示素子としては、無機ＥＬ素子、有機ＥＬ素子、ＬＥＤ等の発光素子、液晶素子、電気泳動素子、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）を用いた表示素子等が挙げられる。
本発明の一態様の表示装置が有する表示素子としては、無機ＥＬ素子、有機ＥＬ素子、ＬＥＤ等の発光素子、液晶素子、電気泳動素子、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）を用いた表示素子等が挙げられる。
【0232】
【0233】
図１７（Ａ）に示す画素回路４３８は、トランジスタ４４６と、容量素子４３３と、トランジスタ２５１と、トランジスタ４４４と、を有する。また、画素回路４３８は、表示素子４４２として機能する発光素子１７０と電気的に接続されている。
【0234】
トランジスタ４４６のソース電極およびドレイン電極の一方は、画像信号が与えられる信号線ＳＬ＿ｊに電気的に接続される。さらに、トランジスタ４４６のゲート電極は、選択信号が与えられる走査線ＧＬ＿ｉに電気的に接続される。
【0235】
トランジスタ４４６は、画像信号のノード４４５への書き込みを制御する機能を有する。
【0236】
容量素子４３３の一対の電極の一方は、ノード４４５に電気的に接続され、他方は、ノード４４７に電気的に接続される。また、トランジスタ４４６のソース電極およびドレイン電極の他方は、ノード４４５に電気的に接続される。
【0237】
容量素子４３３は、ノード４４５に書き込まれたデータを保持する保持容量としての機能を有する。
【0238】
トランジスタ２５１のソース電極およびドレイン電極の一方は、電位供給線ＶＬ＿ａに電気的に接続され、他方はノード４４７に電気的に接続される。さらに、トランジスタ２５１のゲート電極は、ノード４４５に電気的に接続される。
【0239】
トランジスタ４４４のソース電極およびドレイン電極の一方は、電位供給線Ｖ０に電気的に接続され、他方はノード４４７に電気的に接続される。さらに、トランジスタ４４４のゲート電極は、走査線ＧＬ＿ｉに電気的に接続される。
【0240】
発光素子１７０のアノードまたはカソードの一方は、電位供給線ＶＬ＿ｂに電気的に接続され、他方は、ノード４４７に電気的に接続される。
【0241】
なお、電源電位としては、例えば相対的に高電位側の電位または低電位側の電位を用いることができる。高電位側の電源電位を高電源電位（「ＶＤＤ」ともいう）といい、低電位側の電源電位を低電源電位（「ＶＳＳ」ともいう）という。また、接地電位を高電源電位または低電源電位として用いることもできる。例えば高電源電位が接地電位の場合には、低電源電位は接地電位より低い電位であり、低電源電位が接地電位の場合には、高電源電位は接地電位より高い電位である。
【0242】
例えば、電位供給線ＶＬ＿ａおよび電位供給線ＶＬ＿ｂの一方には高電源電位ＶＤＤが与えられ、他方には低電源電位ＶＳＳが与えられる。
【0243】
図１７（Ａ）の画素回路４３８を有する表示装置では、走査線駆動回路によって各行の画素回路４３８を順次選択し、トランジスタ４４６およびトランジスタ４４４をオン状態にして画像信号をノード４４５に書き込む。
【0244】
ノード４４５にデータが書き込まれた画素回路４３８は、トランジスタ４４６およびトランジスタ４４４がオフ状態になることで保持状態になる。さらに、ノード４４５に書き込まれたデータの電位に応じてトランジスタ２５１のソース電極とドレイン電極の間に流れる電流量が制御され、発光素子１７０は、流れる電流量に応じた輝度で発光する。これを行毎に順次行うことにより、画像を表示できる。
【0245】
図１７（Ｂ）に示す画素回路４３８は、トランジスタ４４６と、容量素子４３３と、を有する。また、画素回路４３８は、表示素子４４２として機能する液晶素子１８０と電気的に接続されている。
【0246】
液晶素子１８０の一対の電極の一方の電位は、画素回路４３８の仕様に応じて適宜設定される。液晶素子１８０は、ノード４４５に書き込まれるデータにより配向状態が設定される。なお、複数の画素回路４３８のそれぞれが有する液晶素子１８０の一対の電極の一方に、共通の電位（コモン電位）を与えてもよい。また、画素回路４３８に接続される液晶素子１８０の一対の電極の一方に与えられる電位は、行毎に異なっていてもよい。。
【0247】
ｉ行ｊ列目の画素回路４３８において、トランジスタ４４６のソース電極およびドレイン電極の一方は、信号線ＳＬ＿ｊに電気的に接続され、他方はノード４４５に電気的に接続される。トランジスタ４４６のゲート電極は、走査線ＧＬ＿ｉに電気的に接続される。トランジスタ４４６は、ノード４４５への画像信号の書き込みを制御する機能を有する。
【0248】
容量素子４３３の一対の電極の一方は、特定の電位が供給される配線（以下、容量線ＣＬ）に電気的に接続され、他方は、ノード４４５に電気的に接続される。また、液晶素子１８０の一対の電極の他方はノード４４５に電気的に接続される。なお、容量線ＣＬの電位の値は、画素回路４３８の仕様に応じて適宜設定される。容量素子４３３は、ノード４４５に書き込まれたデータを保持する保持容量としての機能を有する。
【0249】
図１７（Ｂ）の画素回路４３８を有する表示装置では、走査線駆動回路によって各行の画素回路４３８を順次選択し、トランジスタ４４６をオン状態にしてノード４４５に画像信号を書き込む。
【0250】
ノード４４５に画像信号が書き込まれた画素回路４３８は、トランジスタ４４６がオフ状態になることで保持状態になる。これを行毎に順次行うことにより、表示領域２３５に画像を表示できる。
【0251】
【0252】
図１８に、カラーフィルタ方式が適用されたトップエミッション構造の発光表示装置の断面図を示す。
【0253】
図１８に示す表示装置は、表示部５６２および走査線駆動回路５６４を有する。
【0254】
表示部５６２において、基板１１１上には、トランジスタ２５１ａ、トランジスタ４４６ａ、および発光素子１７０等が設けられている。走査線駆動回路５６４において、基板１１１上には、トランジスタ２０１ａ等が設けられている。
【0255】
トランジスタ２５１ａは、第１のゲート電極として機能する導電層２２１と、第１のゲート絶縁層として機能する絶縁層２１１と、半導体層２３１と、ソース電極およびドレイン電極として機能する導電層２２２ａおよび導電層２２２ｂと、第２のゲート電極として機能する導電層２２３と、第２のゲート絶縁層として機能する絶縁層２２５と、を有する。半導体層２３１は、チャネル形成領域と低抵抗領域とを有する。チャネル形成領域は、絶縁層２２５を介して導電層２２３と重なる。低抵抗領域は、導電層２２２ａと接続される部分、および、導電層２２２ｂと接続される部分を有する。
【0256】
トランジスタ２５１ａは、チャネルの上下にゲートを有する。２つのゲートは、電気的に接続されていることが好ましい。２つのゲートが電気的に接続されている構成のトランジスタは、他のトランジスタと比較して電界効果移動度を高めることが可能であり、オン電流を増大させることができる。その結果、高速動作が可能な回路を作製することができる。さらには回路部の占有面積を縮小することが可能となる。オン電流の大きなトランジスタを適用することで、表示装置を大型化、または高精細化して配線数が増大したとしても、各配線における信号遅延を低減することが可能であり、表示ムラを抑制することが可能である。また、回路部の占有面積を縮小できるため、表示装置の狭額縁化が可能である。また、このような構成を適用することで、信頼性の高いトランジスタを実現することができる。
【0257】
導電層２２３上には絶縁層２１２および絶縁層２１３が設けられており、その上に、導電層２２２ａおよび導電層２２２ｂが設けられている。トランジスタ２５１ａの構造は、導電層２２１と導電層２２２ａまたは導電層２２２ｂとの物理的な距離を離すことが容易なため、これらの間の寄生容量を低減することが可能である。
【0258】
表示装置が有するトランジスタの構造は特に限定されない。例えば、プレーナ型のトランジスタとしてもよいし、スタガ型のトランジスタとしてもよいし、逆スタガ型のトランジスタとしてもよい。また、トップゲート構造またはボトムゲート構造のいずれのトランジスタ構造としてもよい。または、チャネルの上下にゲート電極が設けられていてもよい。
【0259】
トランジスタ２５１ａは、半導体層２３１に、金属酸化物を有する。金属酸化物は、酸化物半導体として機能することができる。
【0260】
トランジスタ４４６ａおよびトランジスタ２０１ａは、トランジスタ２５１ａと同様の構成を有する。本発明の一態様において、これらのトランジスタの構成が異なっていてもよい。走査線駆動回路５６４が有するトランジスタと表示部５６２が有するトランジスタは、同じ構造であってもよく、異なる構造であってもよい。走査線駆動回路５６４が有するトランジスタは、全て同じ構造であってもよく、２種類以上の構造が組み合わせて用いられていてもよい。同様に、表示部５６２が有するトランジスタは、全て同じ構造であってもよく、２種類以上の構造が組み合わせて用いられていてもよい。
【0261】
トランジスタ４４６ａは、絶縁層２１５を介して、発光素子１７０と重なる。トランジスタ、容量素子、および配線等を、発光素子１７０の発光領域と重ねて配置することで、表示部５６２の開口率を高めることができる。
【0262】
発光素子１７０は、画素電極１７１、ＥＬ層１７２、および共通電極１７３を有する。発光素子１７０は、着色層１３１側に光を射出する。
【0263】
画素電極１７１および共通電極１７３のうち、一方は、陽極として機能し、他方は、陰極として機能する。画素電極１７１および共通電極１７３の間に、発光素子１７０の閾値電圧より高い電圧を印加すると、ＥＬ層１７２に陽極側から正孔が注入され、陰極側から電子が注入される。注入された電子と正孔はＥＬ層１７２において再結合し、ＥＬ層１７２に含まれる発光物質が発光する。
【0264】
画素電極１７１は、トランジスタ２５１ａが有する導電層２２２ｂと電気的に接続される。これらは、直接接続されてもよいし、他の導電層を介して接続されてもよい。画素電極１７１は、画素電極として機能し、発光素子１７０ごとに設けられている。隣り合う２つの画素電極１７１は、絶縁層２１６によって電気的に絶縁されている。
【0265】
ＥＬ層１７２は、発光性の物質を含む層である。
【0266】
共通電極１７３は、共通電極として機能し、複数の発光素子１７０にわたって設けられている。共通電極１７３には、定電位が供給される。
【0267】
発光素子１７０は、接着層１７４を介して着色層１３１と重なる。絶縁層２１６は、接着層１７４を介して遮光層１３２と重なる。
【0268】
発光素子１７０には、マイクロキャビティ構造を採用してもよい。カラーフィルタ（着色層１３１）とマイクロキャビティ構造との組み合わせにより、表示装置からは、色純度の高い光を取り出すことができる。
【0269】
着色層１３１は特定の波長域の光を透過する有色層である。例えば、赤色、緑色、青色、または黄色の波長域の光を透過するカラーフィルタ等を用いることができる。着色層１３１に用いることのできる材料としては、金属材料、樹脂材料、顔料または染料が含まれた樹脂材料等が挙げられる。
【0270】
なお、本発明の一態様は、カラーフィルタ方式に限られず、塗り分け方式、色変換方式、または量子ドット方式等を適用してもよい。
【0271】
遮光層１３２は、隣接する着色層１３１の間に設けられている。遮光層１３２は隣接する発光素子１７０からの光を遮光し、隣接する発光素子１７０間における混色を抑制する。ここで、着色層１３１の端部を、遮光層１３２と重なるように設けることにより、光漏れを抑制することができる。遮光層１３２としては、発光素子１７０からの発光を遮る材料を用いることができ、例えば、金属材料、または、顔料もしくは染料を含む樹脂材料等を用いてブラックマトリクスを形成することができる。なお、遮光層１３２は、走査線駆動回路５６４等の表示部５６２以外の領域に設けると、導波光等による意図しない光漏れを抑制できるため好ましい。
【0272】
基板１１１と基板１１３は、接着層１７４によって貼り合わされている。
【0273】
導電層５６５は、導電層２５５および接続体２４２を介して、ＦＰＣ１６２と電気的に接続される。導電層５６５は、トランジスタが有する導電層と同一の材料および同一の工程で形成されることが好ましい。本実施の形態では、導電層５６５が、ソースおよびドレインとして機能する導電層と同一の材料および同一の工程で形成される例を示す。
【0274】
接続体２４２としては、様々な異方性導電フィルム（ＡＣＦ：Ａｎｉｓｏｔｒｏｐｉｃ Ｃｏｎｄｕｃｔｉｖｅ Ｆｉｌｍ）および異方性導電ペースト（ＡＣＰ：Ａｎｉｓｏｔｒｏｐｉｃ Ｃｏｎｄｕｃｔｉｖｅ Ｐａｓｔｅ）等を用いることができる。
【0275】
図１９に、塗り分け方式が適用されたボトムエミッション構造の発光表示装置の断面図を示す。
【0276】
図１９に示す表示装置は、表示部５６２および走査線駆動回路５６４を有する。
【0277】
表示部５６２において、基板１１１上には、トランジスタ２５１ｂ、および発光素子１７０等が設けられている。走査線駆動回路５６４において、基板１１１上には、トランジスタ２０１ｂ等が設けられている。
【0278】
トランジスタ２５１ｂは、ゲート電極として機能する導電層２２１と、ゲート絶縁層として機能する絶縁層２１１と、半導体層２３１と、ソース電極およびドレイン電極として機能する導電層２２２ａおよび導電層２２２ｂと、を有する。絶縁層２１６は、下地膜として機能する。
【0279】
トランジスタ２５１ｂは、半導体層２３１に、低温ポリシリコン（ＬＴＰＳ（Ｌｏｗ Ｔｅｍｐｅｒａｔｕｒｅ Ｐｏｌｙ－Ｓｉｌｉｃｏｎ））を有する。
【0280】
発光素子１７０は、画素電極１７１、ＥＬ層１７２、および共通電極１７３を有する。発光素子１７０は、基板１１１側に光を射出する。画素電極１７１は、絶縁層２１５に設けられた開口を介して、トランジスタ２５１ｂが有する導電層２２２ｂと電気的に接続される。ＥＬ層１７２は、発光素子１７０ごとに分離して設けられている。共通電極１７３は、複数の発光素子１７０にわたって設けられている。
【0281】
発光素子１７０は、絶縁層１７５によって封止されている。絶縁層１７５は、発光素子１７０に水等の不純物が拡散することを抑制する保護層として機能する。
【0282】
基板１１１と基板１１３は、接着層１７４によって貼り合わされている。
【0283】
導電層５６５は、導電層２５５および接続体２４２を介して、ＦＰＣ１６２と電気的に接続される。
【0284】
図２０に、横電界方式が適用された透過型液晶表示装置の断面図を示す。
【0285】
図２０に示す表示装置は、表示部５６２および走査線駆動回路５６４を有する。
【0286】
表示部５６２において、基板１１１上には、トランジスタ４４６ｃ、および液晶素子１８０等が設けられている。走査線駆動回路５６４において、基板１１１上には、トランジスタ２０１ｃ等が設けられている。
【0287】
トランジスタ４４６ｃは、ゲート電極として機能する導電層２２１と、ゲート絶縁層として機能する絶縁層２１１と、半導体層２３１と、不純物半導体層２３２と、ソース電極およびドレイン電極として機能する導電層２２２ａおよび導電層２２２ｂと、を有する。トランジスタ４４６ｃは、絶縁層２１２に覆われている。
【0288】
トランジスタ４４６ｃは、半導体層２３１に、アモルファスシリコンを有する。
【0289】
液晶素子１８０は、ＦＦＳ（Ｆｒｉｎｇｅ Ｆｉｅｌｄ Ｓｗｉｔｃｈｉｎｇ）モードが適用された液晶素子である。液晶素子１８０は、画素電極１８１、共通電極１８２、および液晶層１８３を有する。画素電極１８１と共通電極１８２との間に生じる電界により、液晶層１８３の配向を制御することができる。液晶層１８３は、配向膜１３３ａと配向膜１３３ｂの間に位置する。画素電極１８１は、絶縁層２１５に設けられた開口を介して、トランジスタ４４６ｃが有する導電層２２２ｂと電気的に接続される。共通電極１８２は、櫛歯状の上面形状（平面形状ともいう）、またはスリットが設けられた上面形状を有していてもよい。共通電極１８２には、１つまたは複数の開口を設けることができる。
【0290】
画素電極１８１と共通電極１８２の間には、絶縁層２２０が設けられている。画素電極１８１は、絶縁層２２０を介して共通電極１８２と重なる部分を有する。また、画素電極１８１と着色層１３１とが重なる領域において、画素電極１８１上に共通電極１８２が配置されていない部分を有する。
【0291】
液晶層１８３と接する配向膜を設けることが好ましい。配向膜は、液晶層１８３の配向を制御することができる。
【0292】
バックライトユニット５５２からの光は、基板１１１、画素電極１８１、共通電極１８２、液晶層１８３、着色層１３１、および基板１１３を介して、表示装置の外部に射出される。バックライトユニット５５２の光が透過するこれらの層の材料には、可視光を透過する材料を用いる。
【0293】
着色層１３１および遮光層１３２と、液晶層１８３と、の間には、オーバーコート１２１を設けることが好ましい。オーバーコート１２１は、着色層１３１および遮光層１３２等に含まれる不純物が液晶層１８３に拡散することを抑制できる。
【0294】
基板１１１と基板１１３は、接着層１４１によって貼り合わされている。基板１１１、基板１１３、接着層１４１に囲まれた領域に、液晶層１８３が封止されている。
【0295】
表示装置の表示部５６２を挟むように、偏光板１２５ａおよび偏光板１２５ｂが配置されている。偏光板１２５ａよりも外側に配置されたバックライトユニット５５２からの光は偏光板１２５ａを介して表示装置に入射する。このとき、画素電極１８１と共通電極１８２の間に与える電圧によって液晶層１８３の配向を制御し、光の光学変調を制御することができる。すなわち、偏光板１２５ｂを介して射出される光の強度を制御することができる。また、入射光は着色層１３１によって特定の波長領域以外の光が吸収されるため、射出される光は例えば赤色、青色、または緑色を呈する光となる。
【0296】
導電層５６５は、導電層２５５および接続体２４２を介して、ＦＰＣ１６２と電気的に接続される。
【0297】
図２１に、縦電界方式が適用された透過型液晶表示装置の断面図を示す。
【0298】
図２１に示す表示装置は、表示部５６２および走査線駆動回路５６４を有する。
【0299】
表示部５６２において、基板１１１上には、トランジスタ４４６ｄ、および液晶素子１８０等が設けられている。走査線駆動回路５６４において、基板１１１上には、トランジスタ２０１ｄ等が設けられている。図２１に示す表示装置では、着色層１３１が基板１１１側に設けられている。これにより、基板１１３側の構成を簡略化できる。
【0300】
トランジスタ４４６ｄは、ゲート電極として機能する導電層２２１と、ゲート絶縁層として機能する絶縁層２１１と、半導体層２３１と、ソース電極およびドレイン電極として機能する導電層２２２ａおよび導電層２２２ｂと、を有する。トランジスタ４４６ｄは、絶縁層２１７および絶縁層２１８に覆われている。
【0301】
トランジスタ４４６ｄは、半導体層２３１に、金属酸化物を有する。
【0302】
液晶素子１８０は、画素電極１８１、共通電極１８２、および液晶層１８３を有する。液晶層１８３は、画素電極１８１と共通電極１８２との間に位置する。配向膜１３３ａは画素電極１８１に接して設けられている。配向膜１３３ｂは共通電極１８２に接して設けられている。画素電極１８１は、絶縁層２１５に設けられた開口を介して、トランジスタ４４６ｄが有する導電層２２２ｂと電気的に接続される。
【0303】
バックライトユニット５５２からの光は、基板１１１、着色層１３１、画素電極１８１、液晶層１８３、共通電極１８２、および基板１１３を介して、表示装置の外部に射出される。バックライトユニット５５２の光が透過するこれらの層の材料には、可視光を透過する材料を用いる。
【0304】
遮光層１３２と、共通電極１８２と、の間には、オーバーコート１２１が設けられている。
【0305】
基板１１１と基板１１３は、接着層１４１によって貼り合わされている。基板１１１、基板１１３、接着層１４１に囲まれた領域に、液晶層１８３が封止されている。
【0306】
表示装置の表示部５６２を挟むように、偏光板１２５ａおよび偏光板１２５ｂが配置されている。
【0307】
導電層５６５は、導電層２５５および接続体２４２を介して、ＦＰＣ１６２と電気的に接続される。
【0308】
【0309】
図２２（Ａ）乃至（Ｃ）および図２３（Ａ）乃至（Ｄ）に、半導体層４３２に金属酸化物を有するトランジスタを示す。半導体層４３２に金属酸化物を用いることにより、画像に変化がない期間、または変化が一定以下である期間において、画像信号の更新の頻度を極めて低く設定することができ、消費電力の削減を図ることができる。
【0310】
各トランジスタは、絶縁表面４１１上に設けられている。各トランジスタは、ゲート電極として機能する導電層４３１と、ゲート絶縁層として機能する絶縁層４３４と、半導体層４３２と、ソース電極およびドレイン電極として機能する一対の導電層４３３ａおよび導電層４３３ｂと、を有する。半導体層４３２の、導電層４３１と重畳する部分は、チャネル形成領域として機能する。半導体層４３２と導電層４３３ａまたは導電層４３３ｂとは接して設けられる。
【0311】
図２２（Ａ）に示すトランジスタは、半導体層４３２のチャネル形成領域上に、絶縁層４８４を有する。絶縁層４８４は、導電層４３３ａおよび導電層４３３ｂのエッチングの際のエッチングストッパーとして機能する。
【0312】
図２２（Ｂ）に示すトランジスタは、絶縁層４８４が、半導体層４３２を覆って絶縁層４３４上に延在している構成を有する。この場合、導電層４３３ａおよび導電層４３３ｂは、絶縁層４８４に設けられた開口を介して、半導体層４３２と接続される。
【0313】
図２２（Ｃ）に示すトランジスタは、絶縁層４８５および導電層４８６を有する。絶縁層４８５は、半導体層４３２、導電層４３３ａ、導電層４３３ｂを覆って設けられている。また、導電層４８６は絶縁層４８５上に設けられ、半導体層４３２と重なる領域を有する。
【0314】
導電層４８６は、半導体層４３２を挟んで導電層４３１とは反対側に位置している。導電層４３１を第１のゲート電極とした場合、導電層４８６は、第２のゲート電極として機能することができる。導電層４３１と導電層４８６に同じ電位を与えることで、トランジスタのオン電流を高めることができる。また、導電層４３１と導電層４８６の一方にしきい値電圧を制御するための電位を与え、他方に駆動のための電位を与えることで、トランジスタのしきい値電圧を制御することができる。
【0315】
【0316】
トランジスタ２００ａは、図２１に示すトランジスタ２０１ｄの変形例である。
【0317】
トランジスタ２００ａは、トランジスタ２０１ｄと比較して、半導体層４３２が異なる。
【0318】
トランジスタ２００ａにおいて、半導体層４３２は、絶縁層４３４上の半導体層４３２＿１と、半導体層４３２＿１上の半導体層４３２＿２と、を有する。
【0319】
半導体層４３２＿１および半導体層４３２＿２は同じ元素を有することが好ましい。半導体層４３２＿１および半導体層４３２＿２はそれぞれＩｎと、Ｍ（ＭはＧａ、Ａｌ、Ｙ、またはＳｎ）と、Ｚｎと、を有すると好ましい。
【0320】
半導体層４３２＿１および半導体層４３２＿２は、それぞれ、Ｉｎの原子数比がＭの原子数比より多い領域を有すると好ましい。一例としては、半導体層４３２＿１および半導体層４３２＿２のＩｎ、Ｍ、およびＺｎの原子数の比を、Ｉｎ：Ｍ：Ｚｎ＝４：２：３またはその近傍とすると好ましい。ここで、近傍とは、Ｉｎが４の場合、Ｍが１．５以上２．５以下であり、かつＺｎが２以上４以下を含む。または、半導体層４３２＿１および半導体層４３２＿２のＩｎ、Ｍ、およびＺｎの原子数の比を、Ｉｎ：Ｍ：Ｚｎ＝５：１：６またはその近傍とすると好ましい。このように、半導体層４３２＿１および半導体層４３２＿２を概略同じ組成とすることで、同じスパッタリングターゲットを用いて形成できるため、製造コストを抑制することが可能である。また、同じスパッタリングターゲットを用いる場合、同一チャンバーにて真空中で連続して半導体層４３２＿１および半導体層４３２＿２を成膜することができるため、半導体層４３２＿１と半導体層４３２＿２との界面に不純物が取り込まれるのを抑制することができる。
【0321】
半導体層４３２＿１は、半導体層４３２＿２よりも結晶性が低い領域を有していてもよい。なお、半導体層４３２＿１および半導体層４３２＿２の結晶性は、例えば、Ｘ線回折（ＸＲＤ：Ｘ－Ｒａｙ Ｄｉｆｆｒａｃｔｉｏｎ）を用いて分析する、あるいは、透過型電子顕微鏡（ＴＥＭ：Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を用いて分析することで解析できる。
【0322】
半導体層４３２＿１の結晶性が低い領域が過剰酸素の拡散経路となり、半導体層４３２＿１よりも結晶性の高い半導体層４３２＿２にも過剰酸素を拡散させることができる。このように、結晶構造が異なる半導体層の積層構造とし、結晶性の低い領域を過剰酸素の拡散経路とすることで、信頼性の高いトランジスタを提供することができる。
【0323】
また、半導体層４３２＿２が、半導体層４３２＿１より結晶性が高い領域を有することにより、半導体層４３２に混入しうる不純物を抑制することができる。特に、半導体層４３２＿２の結晶性を高めることで、導電層４３３ａおよび導電層４３３ｂを形成する際のダメージを抑制することができる。半導体層４３２の表面、すなわち半導体層４３２＿２の表面は、導電層４３３ａおよび導電層４３３ｂをエッチングにより形成する際に、エッチャントまたはエッチングガスに曝される。しかしながら、半導体層４３２＿２は、結晶性が高い領域を有する場合、結晶性が低い半導体層４３２＿１と比較してエッチング耐性に優れる。したがって、半導体層４３２＿２は、エッチングストッパーとしての機能を有する。
【0324】
半導体層４３２＿１は、半導体層４３２＿２よりも結晶性が低い領域を有することで、キャリア密度が高くなる場合がある。
【0325】
半導体層４３２＿１のキャリア密度が高くなると、半導体層４３２＿１の伝導帯に対してフェルミ準位が相対的に高くなる場合がある。これにより、半導体層４３２＿１の伝導帯の下端が低くなり、半導体層４３２＿１の伝導帯下端と、ゲート絶縁層（ここでは、絶縁層４３４）中に形成されうるトラップ準位とのエネルギー差が大きくなる場合がある。該エネルギー差が大きくなることにより、ゲート絶縁層中にトラップされる電荷が少なくなり、トランジスタのしきい値電圧の変動を小さくできる場合がある。また、半導体層４３２＿１のキャリア密度が高くなると、半導体層４３２の電界効果移動度を高めることができる。
【0326】
なお、トランジスタ２００ａにおいては、半導体層４３２を２層の積層構造にする例を示したが、これに限定されず、３層以上積層する構成にしてもよい。
【0327】
また、導電層４３３ａおよび導電層４３３ｂ上に設けられた絶縁層４３６の構成について説明する。
【0328】
トランジスタ２００ａにおいて、絶縁層４３６は、絶縁層４３６ａと、絶縁層４３６ａ上の絶縁層４３６ｂとを有する。絶縁層４３６ａは、半導体層４３２に酸素を供給する機能と、不純物（代表的には、水、水素等）の入り込みを抑制する機能と、を有する。絶縁層４３６ａとしては、酸化アルミニウム膜、酸化窒化アルミニウム膜、または窒化酸化アルミニウム膜を用いることができる。特に、絶縁層４３６ａは、反応性スパッタリング法によって形成される酸化アルミニウム膜であることが好ましい。なお、反応性スパッタリング法で酸化アルミニウム膜を形成する方法の一例としては、以下に示す方法が挙げられる。
【0329】
まず、スパッタリングチャンバー内に、不活性ガス（代表的にはＡｒガス）と、酸素ガスと、を混合したガスを導入する。続けて、スパッタリングチャンバーに配置されたアルミニウムターゲットに電圧を印加することで、酸化アルミニウム膜を成膜することができる。なお、アルミニウムターゲットに電圧を印加する電源としては、ＤＣ電源、ＡＣ電源、またはＲＦ電源が挙げられる。特に、ＤＣ電源を用いると生産性が向上するため好ましい。
【0330】
絶縁層４３６ｂは、不純物（代表的には水、水素等）の入り込みを抑制する機能を有する。絶縁層４３６ｂとしては、窒化シリコン膜、窒化酸化シリコン膜、酸化窒化シリコン膜を用いることができる。特に、絶縁層４３６ｂとしては、ＰＥＣＶＤ法によって形成される窒化シリコン膜が好ましい。ＰＥＣＶＤ法によって形成される窒化シリコン膜は、高い膜密度を得られやすいため好ましい。なお、ＰＥＣＶＤ法によって形成される窒化シリコン膜は、膜中の水素濃度が高い場合がある。
【0331】
トランジスタ２００ａにおいては、絶縁層４３６ｂの下層には絶縁層４３６ａが配置されているため、絶縁層４３６ｂに含まれる水素は、半導体層４３２側に拡散しない、または拡散し難い。
【0332】
なお、トランジスタ２００ａは、シングルゲートのトランジスタである。シングルゲートのトランジスタとすることで、マスク枚数を低減できるため、生産性を高めることができる。
【0333】
【0334】
トランジスタ２００ｂは、図２２（Ｂ）に示すトランジスタの変形例である。
【0335】
トランジスタ２００ｂは、図２２（Ｂ）に示すトランジスタと比較し、半導体層４３２および絶縁層４８４の構成が異なる。具体的には、トランジスタ２００ｂは、半導体層４３２が２層構造であり、絶縁層４８４の代わりに絶縁層４８４ａを有する。さらに、トランジスタ２００ｂは、絶縁層４３６ｂおよび導電層４８６を有する。
【0336】
絶縁層４８４ａは、上記絶縁層４３６ａと同様の機能を有する。
【0337】
開口部４５３では、絶縁層４３４、絶縁層４８４ａ、および絶縁層４３６ｂに開口が設けられている。導電層４８６は、開口部４５３を介して、導電層４３１と電気的に接続される。
【0338】
トランジスタ２００ａおよびトランジスタ２００ｂを図２３に示す構造とすることで、大きな設備投資を行わずに、既存の生産ラインを用いて製造することができる。例えば、水素化アモルファスシリコンの製造工場を、酸化物半導体の製造工場に簡易的に置き換えることが可能となる。
【0339】
図２４（Ａ）乃至（Ｆ）に、半導体層にシリコンを有するトランジスタを示す。
【0340】
各トランジスタは、絶縁表面４１１上に設けられている。各トランジスタは、ゲート電極として機能する導電層４３１と、ゲート絶縁層として機能する絶縁層４３４と、半導体層４３２および半導体層４３２ｐの一方または双方と、ソース電極およびドレイン電極として機能する一対の導電層４３３ａおよび導電層４３３ｂと、不純物半導体層４３５と、を有する。半導体層の、導電層４３１と重畳する部分は、チャネル形成領域として機能する。半導体層と導電層４３３ａまたは導電層４３３ｂとは接して設けられる。
【0341】
図２４（Ａ）に示すトランジスタは、ボトムゲート・チャネルエッチ構造のトランジスタである。半導体層４３２と導電層４３３ａおよび導電層４３３ｂとの間に、不純物半導体層４３５を有する。
【0342】
図２４（Ａ）に示すトランジスタは、半導体層４３２と不純物半導体層４３５の間に、半導体層４３７を有する。
【0343】
半導体層４３７は、半導体層４３２と同様の半導体膜により形成されていてもよい。半導体層４３７は、不純物半導体層４３５のエッチングの際に、半導体層４３２がエッチングにより消失することを防ぐためのエッチングストッパーとして機能させることができる。なお、図２４（Ａ）において、半導体層４３７が左右に分離している例を示しているが、半導体層４３７の一部が半導体層４３２のチャネル形成領域を覆っていてもよい。
【0344】
また、半導体層４３７は、不純物半導体層４３５よりも低濃度の不純物が含まれていてもよい。これにより、半導体層４３７をＬＤＤ（Ｌｉｇｈｔｌｙ Ｄｏｐｅｄ Ｄｒａｉｎ）領域として機能させることができ、トランジスタを駆動させたときのホットキャリア劣化を抑制することができる。
【0345】
図２４（Ｂ）に示すトランジスタは、半導体層４３２のチャネル形成領域上に、絶縁層４８４が設けられている。絶縁層４８４は、不純物半導体層４３５のエッチングの際のエッチングストッパーとして機能する。
【0346】
図２４（Ｃ）に示すトランジスタは、半導体層４３２に代えて、半導体層４３２ｐを有する。半導体層４３２ｐは、結晶性の高い半導体膜を含む。例えば半導体層４３２ｐは、多結晶半導体または単結晶半導体を含む。これにより、電界効果移動度の高いトランジスタとすることができる。
【0347】
図２４（Ｄ）に示すトランジスタは、半導体層４３２のチャネル形成領域に半導体層４３２ｐを有する。例えば図２４（Ｄ）に示すトランジスタは、半導体層４３２となる半導体膜に対してレーザ光等を照射し、当該半導体膜を局所的に結晶化することにより形成することができる。これにより、電界効果移動度の高いトランジスタを実現できる。
【0348】
【0349】
【0350】
［半導体層について］
本発明の一態様で開示されるトランジスタに用いる半導体材料の結晶性は特に限定されず、非晶質半導体、結晶性を有する半導体（微結晶半導体、多結晶半導体、単結晶半導体、または一部に結晶領域を有する半導体）のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
本発明の一態様で開示されるトランジスタに用いる半導体材料の結晶性は特に限定されず、非晶質半導体、結晶性を有する半導体（微結晶半導体、多結晶半導体、単結晶半導体、または一部に結晶領域を有する半導体）のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
【0351】
トランジスタに用いる半導体材料としては、エネルギーギャップが２ｅＶ以上、好ましくは２．５ｅＶ以上、より好ましくは３ｅＶ以上である金属酸化物を用いることができる。代表的には、インジウムを含む金属酸化物等であり、例えば、後述するＣＡＣ－ＯＳ等を用いることができる。
【0352】
シリコンよりもバンドギャップが広く、且つキャリア密度の小さい金属酸化物を用いたトランジスタは、その低いオフ電流により、トランジスタと直列に接続された容量素子に蓄積した電荷を長期間に亘って保持することが可能である。
【0353】
半導体層は、例えばインジウム、亜鉛、およびＭ（アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属）を含むＩｎ－Ｍ－Ｚｎ系酸化物で表記される膜とすることができる。
【0354】
半導体層を構成する金属酸化物がＩｎ－Ｍ－Ｚｎ系酸化物の場合、Ｉｎ－Ｍ－Ｚｎ酸化物を成膜するために用いるスパッタリングターゲットの金属元素の原子数比は、Ｉｎ≧Ｍ、Ｚｎ≧Ｍを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、Ｉｎ：Ｍ：Ｚｎ＝１：１：１、Ｉｎ：Ｍ：Ｚｎ＝１：１：１．２、Ｉｎ：Ｍ：Ｚｎ＝３：１：２、Ｉｎ：Ｍ：Ｚｎ＝４：２：３、Ｉｎ：Ｍ：Ｚｎ＝４：２：４．１、Ｉｎ：Ｍ：Ｚｎ＝５：１：６、Ｉｎ：Ｍ：Ｚｎ＝５：１：７、Ｉｎ：Ｍ：Ｚｎ＝５：１：８等が好ましい。なお、成膜される半導体層の金属元素の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス４０％の変動を含む。
【0355】
また、トランジスタに用いる半導体材料としては、例えばシリコンを用いることができる。シリコンとして、特にアモルファスシリコンを用いることが好ましい。アモルファスシリコンを用いることで、大型の基板上に歩留り良くトランジスタを形成でき、量産性を高めることができる。
【0356】
また、微結晶シリコン、多結晶シリコン、単結晶シリコン等の結晶性を有するシリコンを用いることもできる。特に、多結晶シリコンは、単結晶シリコンに比べて低温で形成でき、且つアモルファスシリコンに比べて高い電界効果移動度と高い信頼性を備える。
【0357】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【0358】
（実施の形態４）
＜ＣＡＣ－ＯＳの構成＞
以下では、本発明の一態様で開示されるトランジスタに用いることができるＣＡＣ（Ｃｌｏｕｄ－Ａｌｉｇｎｅｄ Ｃｏｍｐｏｓｉｔｅ）－ＯＳの構成について説明する。
＜ＣＡＣ－ＯＳの構成＞
以下では、本発明の一態様で開示されるトランジスタに用いることができるＣＡＣ（Ｃｌｏｕｄ－Ａｌｉｇｎｅｄ Ｃｏｍｐｏｓｉｔｅ）－ＯＳの構成について説明する。
【0359】
ＣＡＣ－ＯＳとは、例えば、酸化物半導体を構成する元素が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
【0360】
なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種の元素が含まれていてもよい。
【0361】
例えば、Ｉｎ－Ｇａ－Ｚｎ酸化物におけるＣＡＣ－ＯＳ（ＣＡＣ－ＯＳの中でもＩｎ－Ｇａ－Ｚｎ酸化物を、特にＣＡＣ－ＩＧＺＯと呼称してもよい。）とは、インジウム酸化物（以下、ＩｎＯＸ１（Ｘ１は０よりも大きい実数）とする。）、またはインジウム亜鉛酸化物（以下、ＩｎＸ２ＺｎＹ２ＯＺ２（Ｘ２、Ｙ２、およびＺ２は０よりも大きい実数）とする。）などと、ガリウム酸化物（以下、ＧａＯＸ３（Ｘ３は０よりも大きい実数）とする。）、またはガリウム亜鉛酸化物（以下、ＧａＸ４ＺｎＹ４ＯＺ４（Ｘ４、Ｙ４、およびＺ４は０よりも大きい実数）とする。）などと、に材料が分離することでモザイク状となり、モザイク状のＩｎＯＸ１、またはＩｎＸ２ＺｎＹ２ＯＺ２が、膜中に均一に分布した構成（以下、クラウド状ともいう。）である。
【0362】
つまり、ＣＡＣ－ＯＳは、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書において、例えば、第１の領域の元素Ｍに対するＩｎの原子数比が、第２の領域の元素Ｍに対するＩｎの原子数比よりも大きいことを、第１の領域は、第２の領域と比較して、Ｉｎの濃度が高いとする。
【0363】
なお、ＩＧＺＯは通称であり、Ｉｎ、Ｇａ、Ｚｎ、およびＯによる１つの化合物をいう場合がある。代表例として、ＩｎＧａＯ３（ＺｎＯ）ｍ１（ｍ１は自然数）で表される結晶性の化合物、またはＩｎ（１＋ｘ０）Ｇａ（１－ｘ０）Ｏ３（ＺｎＯ）ｍ０（－１≦ｘ０≦１、ｍ０は任意数）で表される結晶性の化合物が挙げられる。
【0364】
上記結晶性の化合物は、単結晶構造、多結晶構造、またはＣＡＡＣ（Ｃ Ａｘｉｓ Ａｌｉｇｎｅｄ Ｃｒｙｓｔａｌｌｉｎｅ）構造を有する。なお、ＣＡＡＣ構造とは、複数のＩＧＺＯのナノ結晶がｃ軸配向を有し、かつａ－ｂ面においては配向せずに連結した結晶構造である。
【0365】
一方、ＣＡＣ－ＯＳは、酸化物半導体の材料構成に関する。ＣＡＣ－ＯＳとは、Ｉｎ、Ｇａ、Ｚｎ、およびＯを含む材料構成において、一部にＧａを主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。従って、ＣＡＣ－ＯＳにおいて、結晶構造は副次的な要素である。
【0366】
なお、ＣＡＣ－ＯＳは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Ｉｎを主成分とする膜と、Ｇａを主成分とする膜との２層からなる構造は、含まない。
【0367】
なお、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とは、明確な境界が観察できない場合がある。
【0368】
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、ＣＡＣ－ＯＳは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
【0369】
ＣＡＣ－ＯＳは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、ＣＡＣ－ＯＳをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス（代表的にはアルゴン）、酸素ガス、及び窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を０％以上３０％未満、好ましくは０％以上１０％以下とすることが好ましい。
【0370】
ＣＡＣ－ＯＳは、Ｘ線回折（ＸＲＤ：Ｘ－ｒａｙ ｄｉｆｆｒａｃｔｉｏｎ）測定法のひとつであるＯｕｔ－ｏｆ－ｐｌａｎｅ法によるθ／２θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、Ｘ線回折から、測定領域のａ－ｂ面方向、およびｃ軸方向の配向は見られないことが分かる。
【0371】
またＣＡＣ－ＯＳは、プローブ径が１ｎｍの電子線（ナノビーム電子線ともいう。）を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域と、該リング領域に複数の輝点が観測される。従って、電子線回折パターンから、ＣＡＣ－ＯＳの結晶構造が、平面方向、および断面方向において、配向性を有さないｎｃ（ｎａｎｏ－ｃｒｙｓｔａｌ）構造を有することがわかる。
【0372】
また例えば、Ｉｎ－Ｇａ－Ｚｎ酸化物におけるＣＡＣ－ＯＳでは、エネルギー分散型Ｘ線分光法（ＥＤＸ：Ｅｎｅｒｇｙ Ｄｉｓｐｅｒｓｉｖｅ Ｘ－ｒａｙ ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて取得したＥＤＸマッピングにより、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
【0373】
ＣＡＣ－ＯＳは、金属元素が均一に分布したＩＧＺＯ化合物とは異なる構造であり、ＩＧＺＯ化合物と異なる性質を有する。つまり、ＣＡＣ－ＯＳは、ＧａＯＸ３などが主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
【0374】
ここで、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域は、ＧａＯＸ３などが主成分である領域と比較して、導電性が高い領域である。つまり、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。従って、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度（μ）が実現できる。
【0375】
一方、ＧａＯＸ３などが主成分である領域は、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と比較して、絶縁性が高い領域である。つまり、ＧａＯＸ３などが主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
【0376】
従って、ＣＡＣ－ＯＳを半導体素子に用いた場合、ＧａＯＸ３などに起因する絶縁性と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１に起因する導電性とが、相補的に作用することにより、高いオン電流（Ｉｏｎ）、および高い電界効果移動度（μ）を実現することができる。
【0377】
また、ＣＡＣ－ＯＳを用いた半導体素子は、信頼性が高い。従って、ＣＡＣ－ＯＳは、ディスプレイをはじめとするさまざまな半導体装置に最適である。
【0378】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【0379】
（実施の形態５）
本実施の形態では、本発明の一態様の電子機器について図２５を用いて説明する。
本実施の形態では、本発明の一態様の電子機器について図２５を用いて説明する。
【0380】
本実施の形態の電子機器は、本発明の一態様の画像処理方法により動作する半導体装置を有する。これにより、電子機器の表示部は、高画質な画像を表示することができる。
【0381】
本実施の形態の電子機器の表示部には、例えばフルハイビジョン、２Ｋ、４Ｋ、８Ｋ、１６Ｋ、またはそれ以上の解像度を有する画像を表示させることができる。また、表示部の画面サイズは、対角２０インチ以上、対角３０インチ以上、対角５０インチ以上、対角６０インチ以上、または対角７０インチ以上とすることができる。
【0382】
電子機器としては、例えば、テレビジョン装置、デスクトップ型もしくはノート型のパーソナルコンピュータ、コンピュータ用等のモニタ、デジタルサイネージ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ：電子看板）、パチンコ機等の大型ゲーム機等の比較的大きな画面を備える電子機器の他、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話機、携帯型ゲーム機、携帯情報端末、音響再生装置、等が挙げられる。
【0383】
本発明の一態様の電子機器は、アンテナを有していてもよい。アンテナで信号を受信することで、表示部で画像や情報等の表示を行うことができる。また、電子機器がアンテナおよび二次電池を有する場合、アンテナを、非接触電力伝送に用いてもよい。
【0384】
本発明の一態様の電子機器は、センサ（力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、においまたは赤外線を測定する機能を含むもの）を有していてもよい。
【0385】
本発明の一態様の電子機器は、様々な機能を有することができる。例えば、様々な情報（静止画、動画、テキスト画像等）を表示部に表示する機能、タッチパネル機能、カレンダー、日付または時刻等を表示する機能、様々なソフトウェア（プログラム）を実行する機能、無線通信機能、記録媒体に記録されているプログラムまたはデータを読み出す機能等を有することができる。
【0386】
図２５（Ａ）にテレビジョン装置の一例を示す。テレビジョン装置７１００は、筐体７１０１に表示部７０００が組み込まれている。ここでは、スタンド７１０３により筐体７１０１を支持した構成を示している。
【0387】
テレビジョン装置７１００に、本発明の一態様の画像処理方法により動作する半導体装置を適用することにより、表示部７０００は、高画質な画像を表示することができる。
【0388】
図２５（Ａ）に示すテレビジョン装置７１００の操作は、筐体７１０１が備える操作スイッチや、別体のリモコン操作機７１１１により行うことができる。または、表示部７０００にタッチセンサを備えていてもよく、指等で表示部７０００に触れることで操作してもよい。リモコン操作機７１１１は、当該リモコン操作機７１１１から出力する情報を表示する表示部を有していてもよい。リモコン操作機７１１１が備える操作キーまたはタッチパネルにより、チャンネルおよび音量の操作を行うことができ、表示部７０００に表示される画像を操作することができる。
【0389】
なお、テレビジョン装置７１００は、受信機およびモデム等を備えた構成とする。受信機により一般のテレビ放送の受信を行うことができる。また、モデムを介して有線または無線による通信ネットワークに接続することにより、一方向（送信者から受信者）または双方向（送信者と受信者間、あるいは受信者間同士等）の情報通信を行うことも可能である。
【0390】
また、テレビジョン装置７１００は、ブルーレイプレーヤーまたはＤＶＤプレーヤー等のプレーヤー７１２０を備えた構成としてもよい。プレーヤー７１２０は、トレイ７１２１および操作スイッチ７１２２を有する。トレイ７１２１には、ブルーレイディスクまたはＤＶＤディスク等のディスク７１２３を格納することができる。トレイ７１２１にディスク７１２３を格納することで、ディスク７１２３に記憶された画像を表示部７０００に表示することができる。また、テレビジョン装置７１００に内蔵された記憶装置に記憶された画像データを本発明の一態様の画像処理方法により動作する半導体装置によりアップコンバートし、アップコンバートされた画像データをディスク７１２３に書き込むことができる。
【0391】
図２５（Ｂ）に、ノート型パーソナルコンピュータの一例を示す。ノート型パーソナルコンピュータ７２００は、筐体７２１１、キーボード７２１２、ポインティングデバイス７２１３、外部接続ポート７２１４等を有する。筐体７２１１に、表示部７０００が組み込まれている。
【0392】
ノート型パーソナルコンピュータ７２００に、本発明の一態様の画像処理方法により動作する半導体装置を適用することにより、表示部７０００は、高画質な画像を表示することができる。
【0393】
図２５（Ｃ）に、デジタルサイネージの一例を示す。
【0394】
図２５（Ｃ）に示すデジタルサイネージ７３００は、筐体７３０１、表示部７０００、およびスピーカ７３０３等を有する。さらに、ＬＥＤランプ、操作キー（電源スイッチ、または操作スイッチを含む）、接続端子、各種センサ、マイクロフォン等を有することができる。
【0395】
デジタルサイネージ７３００に、本発明の一態様の画像処理方法により動作する半導体装置を適用することにより、表示部７０００は、高画質な画像を表示することができる。
【0396】
表示部７０００が広いほど、一度に提供できる情報量を増やすことができる。また、表示部７０００が広いほど、人の目につきやすく、例えば、広告の宣伝効果を高めることができる。
【0397】
表示部７０００にタッチパネルを適用することで、表示部７０００に静止画または動画を表示するだけでなく、使用者が直感的に操作することができ、好ましい。また、路線情報もしくは交通情報等の情報を提供するための用途に用いる場合には、直感的な操作によりユーザビリティを高めることができる。
【0398】
また、図２５（Ｃ）に示すように、デジタルサイネージ７３００は、ユーザーが所持するスマートフォン等の情報端末機７３１１と無線通信により連携可能であることが好ましい。例えば、表示部７０００に表示される広告の情報を、情報端末機７３１１の画面に表示させることができる。また、情報端末機７３１１を操作することで、表示部７０００の表示を切り替えることができる。
【0399】
また、デジタルサイネージ７３００に、情報端末機７３１１の画面を操作手段（コントローラ）としたゲームを実行させることもできる。これにより、不特定多数のユーザーが同時にゲームに参加し、楽しむことができる。
【0400】
本発明の一態様の表示システムは、家屋もしくはビルの内壁もしくは外壁、または、車両の内装もしくは外装の曲面に沿って組み込むことができる。
【0401】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【実施例1】
【0402】
本実施例では、実施の形態１で示す方法でアップコンバートを行い、当該アップコンバートを行った画像データに対応する画像を表示した場合の表示結果について説明する。
【0403】
本実施例では、図１および図２に示す手順で画像データのアップコンバートを行った。学習回数は、２０００回とした。つまり、図２に示すｉが２０００となるまで学習を行った。画像データＩＭＧの解像度は９６×９６、画像データＤＣＩＭＧの解像度は４８×４８とした。また、画像データＵＣＩＭＧの解像度は１９２×１９２とした。
【0404】
図２６（Ａ１）は、アップコンバート後の画像データＵＣＩＭＧに対応する画像の表示結果であり、図２６（Ｂ１）は、アップコンバート前の画像データＩＭＧに対応する画像の表示結果である。また、図２６（Ａ２）は、図２６（Ａ１）において実線で囲った部分の拡大図であり、図２６（Ｂ２）は、図２６（Ｂ１）において実線で囲った部分の拡大図である。
【0405】
図２６（Ａ１）、（Ａ２）に示す画像は、図２６（Ｂ１）、（Ｂ２）に示す画像より高画質の画像である。例えば、図２６（Ａ２）示すように、アップコンバート後の画像は、図２６（Ｂ２）に示すアップコンバート前の画像より、鹿の顔の輪郭等がぼやけずはっきりと表現できていることが確認された。また、アップコンバート後の画像は、アップコンバート前の画像より、鹿の鼻の形等が精緻に表現できていることが確認された。以上より、図１および図２に示す手順で画像データのアップコンバートを行うことができることが確認された。
【符号の説明】
【0406】
１１１：基板、１１３：基板、１１５：画素、１２１：オーバーコート、１２５ａ：偏光板、１２５ｂ：偏光板、１３１：着色層、１３２：遮光層、１３３ａ：配向膜、１３３ｂ：配向膜、１４１：接着層、１６２：ＦＰＣ、１７０：発光素子、１７１：画素電極、１７２：ＥＬ層、１７３：共通電極、１７４：接着層、１７５：絶縁層、１８０：液晶素子、１８１：画素電極、１８２：共通電極、１８３：液晶層、２００ａ：トランジスタ、２００ｂ：トランジスタ、２０１ａ：トランジスタ、２０１ｂ：トランジスタ、２０１ｃ：トランジスタ、２０１ｄ：トランジスタ、２１１：絶縁層、２１２：絶縁層、２１３：絶縁層、２１５：絶縁層、２１６：絶縁層、２１７：絶縁層、２１８：絶縁層、２２０：絶縁層、２２１：導電層、２２２ａ：導電層、２２２ｂ：導電層、２２３：導電層、２２５：絶縁層、２３１：半導体層、２３２：不純物半導体層、２３５：表示領域、２４２：接続体、２５１：トランジスタ、２５１ａ：トランジスタ、２５１ｂ：トランジスタ、２５５：導電層、４１１：絶縁表面、４３１：導電層、４３２：半導体層、４３２＿１：半導体層、４３２＿２：半導体層、４３２ｐ：半導体層、４３３：容量素子、４３３ａ：導電層、４３３ｂ：導電層、４３４：絶縁層、４３５：不純物半導体層、４３６：絶縁層、４３６ａ：絶縁層、４３６ｂ：絶縁層、４３７：半導体層、４３８：画素回路、４４２：表示素子、４４４：トランジスタ、４４５：ノード、４４６：トランジスタ、４４６ａ：トランジスタ、４４６ｃ：トランジスタ、４４６ｄ：トランジスタ、４４７：ノード、４５３：開口部、４８４：絶縁層、４８４ａ：絶縁層、４８５：絶縁層、４８６：導電層、５５２：バックライトユニット、５６２：表示部、５６４：走査線駆動回路、５６５：導電層、７０００：表示部、７１００：テレビジョン装置、７１０１：筐体、７１０３：スタンド、７１１１：リモコン操作機、７１２０：プレーヤー、７１２１：トレイ、７１２２：操作スイッチ、７１２３：ディスク、７２００：ノート型パーソナルコンピュータ、７２１１：筐体、７２１２：キーボード、７２１３：ポインティングデバイス、７２１４：外部接続ポート、７３００：デジタルサイネージ、７３０１：筐体、７３０３：スピーカ、７３１１：情報端末機
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
