知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-28
(45)【発行日】2022-12-06
(54)【発明の名称】画像処理方法および受像装置
(51)【国際特許分類】
H04N 7/01 20060101AFI20221129BHJP
G06T 3/40 20060101ALI20221129BHJP
【ＦＩ】
H04N7/01 170
H04N7/01 350
G06T3/40 725
【請求項の数】
4
(21)【出願番号】P 2019513502
(86)(22)【出願日】2018-04-09
(86)【国際出願番号】 IB2018052435
(87)【国際公開番号】W WO2018193333
(87)【国際公開日】2018-10-25
【審査請求日】2021-04-08
(31)【優先権主張番号】P 2017084603
(32)【優先日】2017-04-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】塩川 将隆
(72)【発明者】
【氏名】高橋 圭
(72)【発明者】
【氏名】岩城 裕司
(72)【発明者】
【氏名】郷戸 宏充
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２００５－３４６６３９（ＪＰ，Ａ）
【文献】国際公開第２００９／１３０８２０（ＷＯ，Ａ１）
【文献】特開２０１３－１３１０４２（ＪＰ，Ａ）
【文献】大谷真也 他４名，４並列の畳み込みニューラルネットワークを用いた超解像，電子情報通信学会論文誌Ｄ 早期公開論文，日本，電子情報通信学会，2016年01月15日，DOI:10.14923/transinfj.2015JDL8032，pp.1-6
【文献】台明 他３名，超解像処理を施した自然画像の視覚的質感改善の基礎検討，IMPS IMAGE MEDIA PROCESSING SYMPOSIUM 2015，2015年11月18日，pp.130-131
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／０１
Ｇ０６Ｔ ３／４０
(57)【特許請求の範囲】
【請求項1】
低解像度の画像データを分割することで、複数の第１画像データを生成し、前記複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、
前記第２画像データの周囲を０のデータおよび隣接する前記第３画像データで補うことで第４画像データを生成し、
前記第３画像データの周囲を０のデータおよび隣接する前記第２画像データで補うことで第５画像データを生成し、
前記第４画像データを入力とする畳み込みニューラルネットワークを行い、前記第４画像データをアップコンバートして第６画像データを出力し、
前記第５画像データを入力とする畳み込みニューラルネットワークを行い、前記第５画像データをアップコンバートして第７画像データを出力し、
第６画像データと第７画像データを結合することで、高解像度の画像データを生成する、画像処理方法。
【請求項2】
請求項１において、前記第６画像データおよび前記第７画像データの解像度が、前記第１画像データの解像度のｎ２倍（ｎは２以上の整数）である、画像処理方法。
【請求項3】
低解像度の画像データを受信して高解像度の画像を表示する受像装置であって、低解像度の画像データを分割することで、複数の第１画像データを生成し、
前記複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、
前記第２画像データの周囲を０のデータおよび隣接する前記第３画像データで補うことで第４画像データを生成し、
前記第３画像データの周囲を０のデータおよび隣接する前記第２画像データで補うことで第５画像データを生成し、
前記第４画像データを入力とする畳み込みニューラルネットワークを行い、前記第４画像データをアップコンバートして第６画像データを出力し、
前記第５画像データを入力とする畳み込みニューラルネットワークを行い、前記第５画像データをアップコンバートして第７画像データを出力し、
第６画像データと第７画像データを結合することで、前記高解像度の画像を表示する、受像装置。
【請求項4】
請求項３において、前記第６画像データおよび前記第７画像データの解像度が、前記第１画像データの解像度のｎ２倍（ｎは２以上の整数）である、受像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、画像処理方法、および当該画像処理方法により動作する受像装置に関する。
【0002】
また、本発明の一態様は、半導体装置に関する。なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。表示装置、発光装置、記憶装置、電気光学装置、蓄電装置、半導体回路および電子機器は、半導体装置を有する場合がある。
【0003】
なお本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、蓄電装置、撮像装置、記憶装置、プロセッサ、電子機器、それらの駆動方法、それらの製造方法、それらの検査方法、またはそれらのシステムを一例として挙げることができる。
【背景技術】
【0004】
テレビジョン（ＴＶ）は、大画面化に伴い、高精細度の映像を視聴できることが望まれている。日本国では、２０１５年に通信衛星（ＣＳ）およびケーブルテレビ等による４Ｋ実用放送が開始され、２０１６年に放送衛星（ＢＳ）による４Ｋ・８Ｋ試験放送が開始されている。今後、８Ｋ実用放送の開始が予定されている。そのため、８Ｋ放送に対応するための各種の電子機器が開発されている（非特許文献１）。８Ｋの実用放送では、４Ｋ放送、２Ｋ放送（フルハイビジョン放送）も併用される予定である。
【0005】
８Ｋ放送の映像の解像度（水平・垂直の画素数）は７６８０×４３２０であり、４Ｋ（３８４０×２１６０）の４倍、２Ｋ（１９２０×１０８０）の１６倍である。したがって、８Ｋ放送の映像を見る者は、２Ｋ放送の映像、または４Ｋ放送の映像等を見る者より高い臨場感を感じることができると期待される。
【0006】
また、テレビジョンに限らず様々な電子機器に対して人工ニューラルネットワーク等を利用した人工知能を付する開発が進められている。人工ニューラルネットワークを利用することで、従来のノイマン型コンピュータよりも高性能なコンピュータが実現できると期待されており、近年、電子回路上で人工ニューラルネットワークを構築する種々の研究が進められている。非特許文献２には、人工ニューラルネットワークによる自己学習機能を備えたチップに関する技術が記載されている。
【0007】
さらに、特許文献１には、チャネル形成領域に酸化物半導体を有するトランジスタを用いた記憶装置によって、人工ニューラルネットワークを用いた計算に必要な重みデータを保持する発明が開示されている。
【先行技術文献】
【特許文献】
【0008】
【文献】米国特許公開第２０１６／０３４３４５２号公報
【非特許文献】
【0009】
【文献】Ｓ．Ｋａｗａｓｈｉｍａ，ｅｔ ａｌ．，”１３．３－Ｉｎ．８Ｋ Ｘ ４Ｋ ６６４－ｐｐｉ ＯＬＥＤ Ｄｉｓｐｌａｙ Ｕｓｉｎｇ ＣＡＡＣ－ＯＳ ＦＥＴｓ，”ＳＩＤ ２０１４ ＤＩＧＥＳＴ，ｐｐ．６２７―６３０．
【文献】Ｙｕｔａｋａ Ａｒｉｍａ ｅｔ ａｌ，”Ａ Ｓｅｌｆ－Ｌｅａｒｎｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｃｈｉｐ ｗｉｔｈ １２５ Ｎｅｕｒｏｎｓ ａｎｄ １０Ｋ Ｓｅｌｆ－Ｏｒｇａｎｉｚａｔｉｏｎ Ｓｙｎａｐｓｅｓ”，ＩＥＥＥ ＪＯＵＲＮＡＬ ＯＦ ＳＯＬＩＤ－ＳＴＡＴＥ ＣＩＲＣＵＩＴＳ，ＶＯＬ．２６，ＮＯ．４，ＡＰＲＩＬ １９９１，ｐｐ．６０７－６１１
【発明の概要】
【発明が解決しようとする課題】
【0010】
８Ｋのような高解像度の映像は、データ量が多いため、放送局から受信機へデータの送信を行う際の通信負荷が大きい。通信負荷を減らすために、放送局が低解像度の映像を放送し、当該放送を受信した受信機側で解像度を高める技術が必要とされている。
【0011】
本発明の一態様は、低解像の画像データから高解像度の画像データを生成する画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、計算量の少ない画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、高画質の画像を表示することが可能な受像装置を提供することを課題の１つとする。または、本発明の一態様は、信頼性の高い受像装置を提供することを課題の１つとする。または、本発明の一態様は、消費電力の小さい受像装置を提供することを課題の１つとする。または、本発明の一態様は、高速に動作する受像装置を提供することを課題の１つとする。または、本発明の一態様は、新規な画像処理方法、新規な受像装置、および新規な半導体装置を提供することを課題の１つとする。
【0012】
なお本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した記載、および他の課題のうち、少なくとも一つの課題を解決するものである。なお、本発明の一態様は、上記列挙した記載、および他の課題の全てを解決する必要はない。
【課題を解決するための手段】
【0013】
本発明の一態様は、低解像度の画像データから高解像度の画像データを生成する画像処理方法であって、低解像の画像データを分割することで、複数の第１画像データを生成し、複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、第２画像データの周囲を画素データで補うことで第４画像データを生成し、画素データは、第３画像データの一部を含み、第４画像データを入力とする畳み込みニューラルネットワークを行い、畳み込みニューラルネットワークは第５画像データを出力し、複数の第５画像データを結合することで、高解像度の画像データを生成する画像処理方法である。
【0014】
また、上記態様において、第５画像データの解像度が、第１画像データの解像度のｎ２倍（ｎは２以上の整数）であってもよい。
【0015】
また、本発明の一態様は、低解像度の画像データを受信して高解像度の画像を表示する受像装置であって、低解像の画像データを分割することで、複数の第１画像データを生成し、複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、第２画像データの周囲を画素データで補うことで第４画像データを生成し、画素データは、第３画像データの一部を含み、第４画像データを入力とする畳み込みニューラルネットワークを行い、畳み込みニューラルネットワークは第５画像データを出力し、複数の第５画像データを結合することで、高解像度の画像を表示する受像装置である。
【0016】
また、上記態様において、第５画像データの解像度が、第１画像データの解像度のｎ２倍（ｎは２以上の整数）であってもよい。
【0017】
また、本発明の一態様は、低解像度の画像データを受信して、高解像度の画像を表示する受像装置であって、複数の回路と、表示パネルを有し、低解像度の画像データを、複数の第１画像データに分割し、複数の回路は、それぞれ、複数の第１画像データの１つを、畳み込みニューラルネットワークを用いて、第２画像データに変換し、第２画像データは第１画像データよりも解像度が高く、表示パネルは、複数の第２画像データを結合することで、高解像度の画像を表示する受像装置である。
【0018】
また、上記態様において、複数の回路は第１乃至第Ｎの回路（Ｎは２以上の整数）からなり、低解像度の画像データは、Ｍ×Ｎ（Ｍは１以上の整数）の第１画像データに分割されてもよい。
【発明の効果】
【0019】
本発明の一態様により、低解像度の画像データから高解像度の画像データを生成する画像処理方法を提供することができる。または、本発明の一態様により、計算量の少ない画像処理方法を提供することができる。または、本発明の一態様により、高画質の画像を表示することが可能な受像装置を提供することができる。または、本発明の一態様により、信頼性の高い受像装置を提供することができる。または、本発明の一態様により、消費電力の小さい受像装置を提供することができる。または、本発明の一態様により、高速に動作する受像装置を提供することができる。または、本発明の一態様により、新規な画像処理方法、新規な受像装置、および新規な半導体装置を提供することができる。
【0020】
なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、および他の効果のうち、少なくとも一つの効果を有するものである。従って本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
【図面の簡単な説明】
【0021】
【図1】画像処理方法の一例を示す図。
【図2】画像処理方法の一例を示す図。
【図3】ＣＮＮの構成例を示すブロック図。
【図4】テレビジョン装置の構成例を示す外観図およびブロック図。
【図5】表示パネルの構成例を示すブロック図。
【図6】表示パネルの構成例を示すブロック図。
【図7】表示パネルの構成例を示すブロック図。
【図8】表示パネルの構成例を示すブロック図。
【図9】画素の構成例を示す回路図。
【図10】表示パネルの構成例を示す断面図。
【図11】表示パネルの構成例を示す断面図。
【図12】半導体装置の構成例を示す回路図。
【図13】積和演算素子の構成例を示すブロック図。
【図14】プログラマブルスイッチの構成例を示す回路図。
【図15】電子機器の例を示す図。
【図16】画像処理方法の一例を示す図。
【図17】画像処理方法の一例を示す図。
【図18】表示結果を示す図。
【発明を実施するための形態】
【0022】
本明細書等において、人工ニューラルネットワーク（ＡＮＮ、以後、ニューラルネットワークと呼称する。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
【0023】
シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化させることができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」と呼ぶ場合がある。
【0024】
また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」と呼ぶ場合がある。
【0025】
ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。なお、ＤＮＮには、全結合ニューラルネットワーク（ＦＣ－ＮＮ：Ｆｕｌｌ Ｃｏｎｎｅｃｔｅｄ －Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、再帰ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等が含まれる。
【0026】
本明細書等において、金属酸化物（ｍｅｔａｌ ｏｘｉｄｅ）とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）等に分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも１つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳと呼ぶことができる。また、ＯＳ ＦＥＴ（またはＯＳトランジスタ）と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
【0027】
半導体の不純物とは、例えば、半導体層を構成する主成分以外をいう。例えば、濃度が０．１原子％未満の元素は不純物である。不純物が含まれることにより、例えば、半導体にＤＯＳ（Ｄｅｎｓｉｔｙ ｏｆ Ｓｔａｔｅｓ）が形成されることや、キャリア移動度が低下することや、結晶性が低下すること等が起こる場合がある。半導体が酸化物半導体である場合、半導体の特性を変化させる不純物としては、例えば、第１族元素、第２族元素、第１３族元素、第１４族元素、第１５族元素、主成分以外の遷移金属等があり、特に、例えば、水素（水にも含まれる）、リチウム、ナトリウム、シリコン、ホウ素、リン、炭素、窒素等がある。酸化物半導体の場合、例えば水素等の不純物の混入によって酸素欠損を形成する場合がある。また、半導体がシリコン層である場合、半導体の特性を変化させる不純物としては、例えば、酸素、水素を除く第１族元素、第２族元素、第１３族元素、第１５族元素等がある。
【0028】
本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものである。従って、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素が、他の実施の形態、あるいは特許請求の範囲において「第２」に言及された構成要素とすることもありうる。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素を、他の実施の形態、あるいは特許請求の範囲において省略することもありうる。
【0029】
実施の形態について図面を参照しながら説明している。但し、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなく、その形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態の発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
【0030】
また、本明細書等において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている。構成同士の位置関係は、各構成を描写する方向に応じて適宜変化する。そのため、配置を示す語句は、明細書で説明した記載に限定されず、状況に応じて適切に言い換えることができる。
【0031】
また、「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層Ａ上の電極Ｂ」の表現であれば、絶縁層Ａの上に電極Ｂが直接接して形成されている必要はなく、絶縁層Ａと電極Ｂとの間に他の構成要素を含むものを除外しない。
【0032】
また、図面において、大きさ、層の厚さ、または領域は、説明の便宜上任意の大きさに示したものである。よって、必ずしもそのスケールに限定されない。なお図面は明確性を期すために模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。
【0033】
また、図面において、明確性を期すために一部の構成要素の記載を省略している場合がある。
【0034】
また、図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
【0035】
本明細書等において、トランジスタの接続関係を説明する際、ソースとドレインとの一方を、「ソースまたはドレインの一方」と表記し、ソースとドレインとの他方を「ソースまたはドレインの他方」と表記している。これは、トランジスタのソースとドレインは、トランジスタの構造または動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況に応じて適切に言い換えることができる。また、本明細書等に記載するトランジスタが２つ以上のゲートを有するとき、それらのゲートをフロントゲート、バックゲートと呼ぶ場合がある。特に、「フロントゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。また、「バックゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。なお、ボトムゲートとは、トランジスタの作製時において、チャネル形成領域よりも先に形成される端子のことをいい、「トップゲート」とは、トランジスタの作製時において、チャネル形成領域よりも後に形成される端子のことをいう。
【0036】
トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御端子として機能する端子である。ソースまたはドレインとして機能する２つの入出力端子は、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
【0037】
また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合等も含む。
【0038】
また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
【0039】
なお本明細書等において、「膜」、「層」等の語句は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。または、場合によっては、または、状況に応じて、「膜」、「層」等の語句を使わずに、別の用語に入れ替えることが可能である。例えば、「導電層」または「導電膜」という用語を、「導電体」という用語に変更することが可能な場合がある。または、例えば、「絶縁層」「絶縁膜」という用語を、「絶縁体」という用語に変更することが可能な場合がある。
【0040】
なお本明細書等において、「配線」、「信号線」、「電源線」等の用語は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「配線」という用語を、「信号線」という用語に変更することが可能な場合がある。また、例えば、「配線」という用語を、「電源線」等の用語に変更することが可能な場合がある。また、その逆も同様で、「信号線」「電源線」等の用語を、「配線」という用語に変更することが可能な場合がある。「電源線」等の用語は、「信号線」等の用語に変更することが可能な場合がある。また、その逆も同様で「信号線」等の用語は、「電源線」等の用語に変更することが可能な場合がある。また、配線に印加されている「電位」という用語を、場合によっては、または、状況に応じて、「信号」等という用語に変更することが可能な場合がある。また、その逆も同様で、「信号」等の用語は、「電位」という用語に変更することが可能な場合がある。
【0041】
各実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて、本発明の一態様とすることができる。また、１つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
【0042】
なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形態で述べる別の内容（一部の内容でもよい）と、一つ若しくは複数の別の実施の形態で述べる内容（一部の内容でもよい）との少なくとも一つの内容に対して、適用、組み合わせ、または置き換え等を行うことができる。
【0043】
なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、または明細書に記載される文章を用いて述べる内容のことである。
【0044】
なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、その実施の形態において述べる別の図（一部でもよい）と、一つ若しくは複数の別の実施の形態において述べる図（一部でもよい）との少なくとも一つの図に対して、組み合わせることにより、さらに多くの図を構成させることができる。
【0045】
（実施の形態１）
本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
【0046】
＜画像処理の方法例＞
本発明の一態様は、例えば画像データの解像度を高める、画像処理方法に関する。例えば、衛星放送または電波塔からの放送電波により送信される画像データを、テレビジョン等の受像装置が受信し、受信した画像データの解像度を、例えばニューラルネットワーク、特にＣＮＮを用いて高める。本発明の一態様の画像処理方法に対応する受像装置により、解像度を高めた画像データに対応する画像を表示することができる。例えば、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）に対応する解像度の画像データ（３２０×２４０）を、ＶＧＡに対応する解像度の画像データ（６４０×４８０）に変換することができる。例えば、ＶＧＡに対応する解像度の画像データを、Ｑｕａｄ－ＶＧＡ（１２８０×９６０）に対応する解像度の画像データに変換することができる。例えば、２Ｋ（１９２０×１０８０）に対応する解像度の画像データを、４Ｋ（３８４０×２１６０）に対応する解像度の画像データに変換することができる。例えば、４Ｋに対応する解像度の画像データを、８Ｋ（７６８０×４３２０）に対応する解像度の画像データに変換することができる。例えば、２Ｋに対応する解像度の画像データを、８Ｋに対応する解像度の画像データに変換することができる。
本発明の一態様は、例えば画像データの解像度を高める、画像処理方法に関する。例えば、衛星放送または電波塔からの放送電波により送信される画像データを、テレビジョン等の受像装置が受信し、受信した画像データの解像度を、例えばニューラルネットワーク、特にＣＮＮを用いて高める。本発明の一態様の画像処理方法に対応する受像装置により、解像度を高めた画像データに対応する画像を表示することができる。例えば、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）に対応する解像度の画像データ（３２０×２４０）を、ＶＧＡに対応する解像度の画像データ（６４０×４８０）に変換することができる。例えば、ＶＧＡに対応する解像度の画像データを、Ｑｕａｄ－ＶＧＡ（１２８０×９６０）に対応する解像度の画像データに変換することができる。例えば、２Ｋ（１９２０×１０８０）に対応する解像度の画像データを、４Ｋ（３８４０×２１６０）に対応する解像度の画像データに変換することができる。例えば、４Ｋに対応する解像度の画像データを、８Ｋ（７６８０×４３２０）に対応する解像度の画像データに変換することができる。例えば、２Ｋに対応する解像度の画像データを、８Ｋに対応する解像度の画像データに変換することができる。
【0047】
本発明の一態様の画像処理方法では、受像装置が受信した画像データを分割し、分割した画像データのそれぞれに対し、隣接する画像データに対応するデータを補填する。その後、画像データの解像度を高め、解像度を高めた各画像データを結合する。画像データを分割してから解像度を高める処理を行うことにより、受像装置が受信した画像データの容量を大きくしても、当該画像データの解像度を高める処理を行う際に要する計算量が大幅に増加することを抑制することができる。また、隣接する画像データに対応するデータを補填することにより、分割した画像データを結合した際の結合部を見えにくくすることができる。以上、本発明の一態様の画像処理方法により、高画質の画像データを生成することができる。
【0048】
図１（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）は、本発明の一態様の画像処理方法である、画像データの解像度を高める方法を示す図である。具体的には、ＱＶＧＡに対応する解像度の画像データ（３２０×２４０）を、ＶＧＡに対応する解像度の画像データ（６４０×４８０）に変換する方法を示す図である。
【0049】
図１（Ａ）に示す画像データｉｍｇ１は、解像度を高める前の画像データを表し、解像度は３２０×２４０とする。画像データｉｍｇ１として、例えば、衛星放送または電波塔からの放送電波により送信された画像データとすることができる。
【0050】
本発明の一態様の画像処理方法では、まず、受像装置が画像データｉｍｇ１を受信し、受信した画像データｉｍｇ１をマトリクス状に分割する。図１（Ｂ）では、画像データｉｍｇ１を２×２に分割する場合について示している。図１（Ｂ）では、左上の画像データを画像データａ［１，１］と表記し、右上の画像データを画像データａ［２，１］と表記し、左下の画像データを画像データａ［１，２］と表記し、右下の画像データを画像データａ［２，２］と表記している。なお、本明細書等において、他の画像データにおいても、同様の表記を用いて区別する場合がある。画像データａ［１，１］乃至画像データａ［２，２］の解像度は、それぞれ１６０×１２０（解像度３２０×２４０の１／４）とする。
【0051】
図１（Ｃ）に、分割後の画像データｉｍｇ１を示す。本発明の一態様の画像処理方法では、画像データａ［１，１］乃至画像データａ［２，２］のそれぞれに、隣接する画像データａの一部を補填するように、画像データｉｍｇ１を分割する。図１（Ｃ）において、破線部は、画像データａ［１，１］乃至画像データａ［２，２］に補填された画像データを示している。
【0052】
図１（Ｂ）、（Ｃ）に示すように、例えば分割後の画像データｉｍｇ１［１，１］は、画像データａ［１，１］の境界の外側に、画像データａ［１，１］と隣接する画像データである画像データａ［２，１］の一部、画像データａ［１，２］の一部、および画像データａ［２，２］の一部が補填された画像データｉｍｇ１［１，１］である。つまり、画像データｉｍｇ１［１，１］の解像度は、画像データａ［１，１］の解像度である１６０×１２０より大きくなる。なお、画像データｉｍｇ１［２，１］、画像データｉｍｇ１［１，２］、および画像データｉｍｇ１［２，２］も、同様の方法により生成される。以上により、画像データｉｍｇ１が画像データｉｍｇ１［１，１］、画像データｉｍｇ１［２，１］、画像データｉｍｇ１［１，２］、および画像データｉｍｇ１［２，２］に分割される。
【0053】
次に、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］のそれぞれに対して、解像度を高める処理（アップコンバート）を行う。図１（Ｄ）に、アップコンバート後の画像データである画像データｉｍｇ２［１，１］、画像データｉｍｇ２［２，１］、画像データｉｍｇ２［１，２］、および画像データｉｍｇ２［２，２］を示す。図１（Ｄ）には、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］の解像度を、それぞれ画像データａ［１，１］乃至画像データａ［２，２］の解像度の４倍とするようにアップコンバートを行った場合について示している。つまり、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］の解像度が、それぞれ３２０×２４０となる場合を示している。
【0054】
アップコンバートは、ニューラルネットワーク、特にＣＮＮを用いて行うことができる。ニューラルネットワークを用いてアップコンバートを行う場合、ニューラルネットワークが繰り返し学習を行うことにより、正確にアップコンバートを行うことができる。これにより、本発明の一態様の画像処理方法により動作する受像装置は、高画質の画像データを生成することができる。
【0055】
その後、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］を結合する。図１（Ｅ）に、結合後の画像データである画像データｉｍｇ２を示す。図１（Ｅ）に示すように、画像データｉｍｇ２の解像度は、６４０×４８０となる。以上に示す方法により、解像度３２０×２４０の画像データが、解像度６４０×４８０の画像データにアップコンバートされる。
【0056】
以上示したように、本発明の一態様の画像処理方法では、受像装置が受信した画像データを分割した後にアップコンバートを行う。これにより、受像装置が受信する画像データの容量を大きくしても、当該画像データに対してアップコンバートを行う際に要する計算量が大幅に増加することを抑制することができる。
【0057】
また、本発明の一態様の画像処理方法では、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］等、アップコンバートを行う前の分割した画像データが、それぞれ隣接する画像データの一部を有する。これにより、分割した画像データに、隣接する画像データが補填されず、例えばエッジパディングまたはゼロパディングを行う場合と比較して、アップコンバート後の画像データを結合した際の、各結合部（境界）における画像データのずれを抑制することができる。これにより、アップコンバート後の画像データに対応する画像を表示した場合に、各結合部を見えにくくすることができる。したがって、本発明の一態様の画像処理方法により、高画質の画像データを生成することができる。
【0058】
図１（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）では、画像データｉｍｇ１の解像度を３２０×２４０、画像データｉｍｇ２の解像度を６４０×４８０としたが、本発明の一態様の画像処理方法ではこれに限らない。画像データｉｍｇ１は、任意の解像度とすることができる。また、画像データｉｍｇ２の解像度は、画像データｉｍｇ１の解像度よりも大きければよい。例えば、２×２倍としてもよいし、３×３倍としてもよいし、４×４倍としてもよいし、５×５倍以上としてもよい。
【0059】
また、図１（Ｂ）、（Ｃ）では、画像データｉｍｇ１を２×２に分割したが、本発明の一態様はこれに限らない。例えば、画像データｉｍｇ１を３×３に分割してもよいし、４×４に分割してもよいし、１０×１０に分割してもよいし、１０×１０より多くの画像データに分割してもよい。また、水平方向の分割数と、垂直方向の分割数とが異なってもよい。例えば、画像データｉｍｇ１を４×３、つまり水平方向に４つ、かつ垂直方向に３つに分割してもよい。この場合、画像データｉｍｇ１は、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［４，３］に分割される。
【0060】
なお、本発明の一態様の画像処理方法により動作する受像装置が有するニューラルネットワークは、画像データをアップコンバートする機能を、例えば教師あり学習により得ることができる。
【0061】
次に、本発明の一態様の画像処理方法により動作する受像装置が有するニューラルネットワークが行う学習方法の一例として、２×２に分割した画像データｉｍｇ１を画像データｉｍｇ２にアップコンバートする機能を得るための学習方法を説明する。まず、画像データｉｍｇ２に対応する画像、つまり画像データｉｍｇ２と同じ解像度の画像を用意する。次に、当該画像データを分割して、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］に対応する画像データを生成する。次に、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］に対応する画像データの解像度を低下させ、図１（Ｃ）等に示すと同様の方法で画像データを補填することにより、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを生成する。例えば、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］に対応する画像データの解像度が３２０×２４０である場合、当該画像データの解像度を１６０×１２０に低下させた後、隣接する画像データを補填することにより、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを生成する。
【0062】
その後、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを入力データとし、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを教師データして、学習を行う。例えば、画像データｉｍｇ１［１，１］から推論した画像データが画像データｉｍｇ２［１，１］と一致するように、ニューラルネットワークの重み係数の更新等を行う。以上が学習方法の一例である。
【0063】
次に、画像データｉｍｇ１を、ＣＮＮを用いて画像データｉｍｇ２にアップコンバートする場合における、画像データｉｍｇ１および画像データｉｍｇ２の構成例について詳細に説明する。
【0064】
図２（Ａ）では、図１（Ｂ）に示す場合と同様に、画像データｉｍｇ１が画像データａ［１，１］、画像データａ［２，１］、画像データａ［１，２］、および画像データａ［２，２］から構成される場合を示している。図２（Ａ）に示す場合において、画像データａ［１，１］は、画素データＤａ１１、画素データＤａ２１、画素データＤａ１２、および画素データＤａ２２を有する。また、画像データａ［２，１］は、画素データＤｂ１１、画素データＤｂ２１、画素データＤｂ１２、および画素データＤｂ２２を有する。また、画像データａ［１，２］は、画素データＤｃ１１、画素データＤｃ２１、画素データＤｃ１２、および画素データＤｃ２２を有する。また、画像データａ［２，２］は、画素データＤｄ１１、画素データＤｄ２１、画素データＤｄ１２、および画素データＤｄ２２を有する。つまり、図２（Ａ）に示す場合において、画像データａ［１，１］乃至画像データａ［２，２］は、それぞれ２×２の画素データを有する。なお、各画像データａは、画素データをそれぞれ３×３以上有してもよい。また、前述のように、画像データｉｍｇ１は、画像データａを３×３以上有してもよい。
【0065】
本明細書等において、画素データとは、例えば、画素が表現する階調に対応するデータを意味する。画素データ１個は、例えば１個の画素が表現する階調に対応するデータとすることができる。例えば、図１（Ｂ）に示す場合と同様に、画像データａ［１，１］の解像度が１６０×１２０である場合、画像データａ［１，１］は画素データを１６０×１２０個有するとすることができる。
【0066】
図２（Ｂ）は、図２（Ａ）に示す画像データａ［１，１］を基に生成された、画像データｉｍｇ１［１，１］の構成例を示している。図２（Ｂ）に示す場合において、画像データａ［１，１］の周囲に、画像データａ［１，１］と隣接する画素データである画素データＤｂ１１、画素データＤｂ１２、画素データＤｃ１１、画素データＤｃ２１、および画素データＤｄ１１を補填している。また、画像データａ［１，１］の上隣および左隣には画像データａが存在しないため、“０”のデータを補填している。
【0067】
なお、図２（Ｂ）に示す場合において、画像データａ［１，１］の下隣に１行分の画素データを補填し、右隣に１列分の画素データを補填しているが、２行分以上および２列分以上の画素データを補填してもよい。例えば、２行分および２列分の画素データを補填する場合、画素データＤｂ１１、画素データＤｂ１２、画素データＤｃ１１、画素データＤｃ２１、および画素データＤｄ１１の他、画素データＤｂ２１、画素データＤｂ２２、画素データＤｃ１２、画素データＤｃ２２、画素データＤｄ２１、画素データＤｄ１２、および画素データＤｄ２２を画像データａ［１，１］に補填する。
【0068】
また、図２（Ｂ）に示す場合において、画像データａ［１，１］の左隣に１列分のデータ“０”を、上隣に１行分のデータ“０”を補填しているが、例えば画像データａ［１，１］の左隣に２行分以上のデータ“０”を補填し、画像データａ［１，１］の上隣に２列分以上のデータ“０”を補填してもよい。また、データ“０”の代わりに、“０”以外の特定のデータを補填してもよいし、画像データａ［１，１］が有する画素データ（画素データＤａ１１、画素データＤａ２１、画素データＤａ１２、画素データＤａ２２）のうちいずれかを補填してもよい。なお、画像データｉｍｇ１の左隣および上隣にデータ“０”を補填しなくてもよい。
【0069】
図２（Ｃ）は、図２（Ｂ）に示す画像データｉｍｇ１［１，１］を基に生成された、画像データｉｍｇ２［１，１］の構成例を示している。図２（Ｃ）に示す場合において、画像データｉｍｇ２［１，１］は、４×４の画素データを有する。具体的には、画素データＵＰ＿Ｄａ１１、画素データＵＰ＿Ｄａ２１、画素データＵＰ＿Ｄａ３１、画素データＵＰ＿Ｄａ４１、画素データＵＰ＿Ｄａ１２、画素データＵＰ＿Ｄａ２２、画素データＵＰ＿Ｄａ３２、画素データＵＰ＿Ｄａ４２、画素データＵＰ＿Ｄａ１３、画素データＵＰ＿Ｄａ２３、画素データＵＰ＿Ｄａ３３、画素データＵＰ＿Ｄａ４３、画素データＵＰ＿Ｄａ１４、画素データＵＰ＿Ｄａ２４、画素データＵＰ＿Ｄａ３４、および画素データＵＰ＿Ｄａ４４を有する。
【0070】
ここで、図２（Ｂ）、（Ｃ）においてハッチングで示すように、画素データＵＰ＿Ｄａ１１、画素データＵＰ＿Ｄａ２１、画素データＵＰ＿Ｄａ１２、および画素データＵＰ＿Ｄａ２２は、画素データＤａ１１を基に生成された画素データということができる。また、画素データＵＰ＿Ｄａ３１、画素データＵＰ＿Ｄａ４１、画素データＵＰ＿Ｄａ３２、および画素データＵＰ＿Ｄａ４２は、画素データＤａ２１を基に生成された画素データということができる。また、画素データＵＰ＿Ｄａ１３、画素データＵＰ＿Ｄａ２３、画素データＵＰ＿Ｄａ１４、および画素データＵＰ＿Ｄａ２４は、画素データＤａ１２を基に生成された画素データということができる。また、画素データＵＰ＿Ｄａ３３、画素データＵＰ＿Ｄａ４３、画素データＵＰ＿Ｄａ３４、および画素データＵＰ＿Ｄａ４４は、画素データＤａ２２を基に生成された画素データということができる。
【0071】
以上により、２×２の画素データを有する画像データａ［１，１］が、４×４の画素データを有する画像データｉｍｇ２［１，１］にアップコンバートされる。つまり、図２（Ａ）に示す構成の画像データａ［１，１］を、４倍の解像度となるようにアップコンバートすることにより、図２（Ｃ）に示す構成の画像データｉｍｇ２［１，１］が生成される。
【0072】
【0073】
＜畳み込みニューラルネットワーク＞
次に、本発明の一態様の画像処理方法で用いる、ＣＮＮについて説明する。図３は、ＣＮＮの構成例を示す図である。ＣＮＮは、分割後の画像データｉｍｇ１が入力され、特徴抽出を行うことにより、当該画像データｉｍｇ１をアップコンバートした画像データｉｍｇ２が出力される。図３は、画像データｉｍｇ１［１，１］が入力され、画像データｉｍｇ２［１，１］が出力される場合を示している。
次に、本発明の一態様の画像処理方法で用いる、ＣＮＮについて説明する。図３は、ＣＮＮの構成例を示す図である。ＣＮＮは、分割後の画像データｉｍｇ１が入力され、特徴抽出を行うことにより、当該画像データｉｍｇ１をアップコンバートした画像データｉｍｇ２が出力される。図３は、画像データｉｍｇ１［１，１］が入力され、画像データｉｍｇ２［１，１］が出力される場合を示している。
【0074】
畳み込み層ＣＬは、画像データに対して畳み込みを行う機能を有する。畳み込みは、画像データの一部と重みフィルタのフィルタ値との積和演算を繰り返すことにより行われる。畳み込み層ＣＬにおける畳み込みにより、画像の特徴が抽出される。
【0075】
畳み込みには、重みフィルタを用いることができる。畳み込み層ＣＬに入力された画像データには、フィルタｆｉｌを用いたフィルタ処理が施され、データＤが生成される。
【0076】
畳み込みが施されたデータＤは、活性化関数によって変換された後、プーリング層ＰＬに出力される。活性化関数としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）等を用いることができる。ＲｅＬＵは、入力値が負である場合は“０”を出力し、入力値が“０”以上である場合は入力値をそのまま出力する関数である。また、活性化関数として、シグモイド関数、ｔａｎｈ関数等を用いることもできる。
【0077】
プーリング層ＰＬは、畳み込み層ＣＬから入力された画像データに対してプーリングを行う機能を有する。プーリングは、画像データを複数の領域に分割し、当該領域ごとに所定のデータを抽出してマトリクス状に配置する処理である。プーリングにより、畳み込み層ＣＬによって抽出された特徴を残しつつ、画像データが縮小される。なお、プーリングとしては、最大プーリング、平均プーリング、Ｌｐプーリング等を用いることができる。
【0078】
ＣＮＮは、上記の畳み込み処理およびプーリング処理により特徴抽出を行う。なお、ＣＮＮは、複数の畳み込み層ＣＬおよびプーリング層ＰＬによって構成することができる。図３には、畳み込み層ＣＬおよびプーリング層ＰＬによって構成される層Ｌがｚ層（ここでのｚは１以上の整数である。）設けられ（Ｌ１乃至Ｌｚ）、畳み込み処理およびプーリング処理がｚ回行われる構成を示している。この場合、各層Ｌにおいて特徴抽出が行うことができ、より高度な特徴抽出が可能となる。
【0079】
全結合層ＦＣＬは、畳み込みおよびプーリングが行われた画像データを用いて、画像の判定を行う機能を有する。全結合層ＦＣＬは、ある層の全てのノードが、次の層の全てのノードと接続された構成を有する。畳み込み層ＣＬまたはプーリング層ＰＬから出力された画像データは２次元の特徴マップであり、全結合層ＦＣＬに入力されると１次元に展開される。そして、全結合層ＦＣＬによる推論によって得られた画像データが出力される。
【0080】
なお、ＣＮＮの構成は図３の構成に限定されない。例えば、プーリング層ＰＬが複数の畳み込み層ＣＬごとに設けられていてもよい。また、抽出された特徴の位置情報を極力残したい場合は、プーリング層ＰＬが省略されていてもよい。
【0081】
また、全結合層ＦＣＬの出力データから画像の分類を行う場合は、全結合層ＦＣＬと電気的に接続された出力層が設けられていてもよい。出力層は、尤度関数としでソフトマックス関数等を用い、分類クラスを出力することができる。
【0082】
また、ＣＮＮは、画像データを学習データおよび教師データとして用いた教師あり学習を行うことができる。教師あり学習には、例えば誤差逆伝播法を用いることができる。ＣＮＮの学習により、重みフィルタのフィルタ値、全結合層の重み係数等を最適化することができる。
【0083】
本実施の形態は、本明細書等で示す他の実施の形態と適宜組み合わせることができる。
【0084】
（実施の形態２）
本実施の形態では、実施の形態１に示す画像処理方法を備えた受像装置について説明を行う。なお、本実施の形態では受像装置の例としてテレビジョン装置について説明を行う。
本実施の形態では、実施の形態１に示す画像処理方法を備えた受像装置について説明を行う。なお、本実施の形態では受像装置の例としてテレビジョン装置について説明を行う。
【0085】
＜受像装置の構成例＞
図４（Ａ）は、受像装置１０の外観図である。受像装置１０はアンテナ１２が受信した放送信号から画像データを生成し、画像を表示する機能を有する。図４（Ａ）に示す受像装置１０は、例として、サッカーの試合中継を表示している。
図４（Ａ）は、受像装置１０の外観図である。受像装置１０はアンテナ１２が受信した放送信号から画像データを生成し、画像を表示する機能を有する。図４（Ａ）に示す受像装置１０は、例として、サッカーの試合中継を表示している。
【0086】
また、受像装置１０はコンピュータネットワーク１１を経由して、サーバー１３と通信することができる。
【0087】
アンテナ１２が受信できる放送電波としては、地上波、または衛星から送信される電波などが挙げられる。またアンテナ１２により受信できる放送電波として、アナログ放送、デジタル放送などがあり、また映像および音声、または音声のみの放送などがある。例えばＵＨＦ帯またはＶＨＦ帯のうちの特定の周波数帯域で送信される放送電波を受信することができる。また例えば、複数の周波数帯域で受信した複数のデータを用いることで、転送レートを高くすることができ、より多くの情報を得ることができる。これによりフルハイビジョン（画素数１９２０×１０８０）を超える解像度を有する映像を、表示パネル３０に表示させることができる。例えば、４Ｋ２Ｋ（画素数３８４０×２１６０）、８Ｋ４Ｋ（画素数７６８０×４３２０）、１６Ｋ８Ｋ、またはそれ以上の解像度を有する画像を表示させることができる。
【0088】
コンピュータネットワーク１１として、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が挙げられる。
【0089】
図４（Ｂ）は、受像装置１０の構成例を示すブロック図である。受像装置１０は、制御部２０、記憶部２２、通信制御部２３、画像処理回路２４、デコーダ回路２５、映像信号受信部２６、タイミングコントローラ２７、ＳＤ（ソースドライバ）２８、ＧＤ（ゲートドライバ）２９、表示パネル３０等を有する。ＳＤ２８およびＧＤ２９を表示パネル３０の駆動回路と呼ぶ。
【0090】
表示パネル３０の駆動回路が有するトランジスタは、表示パネル３０の画素を構成するトランジスタと同時に形成することができる。
【0091】
また、駆動回路部の一部または全部を他の基板上に形成して、表示パネル３０と電気的に接続してもよい。例えば、駆動回路部の一部または全部を、単結晶基板を用いたＩＣチップで形成し、表示パネル３０と電気的に接続してもよい。例えば、ＣＯＧ（Ｃｈｉｐ ｏｎ ｇｌａｓｓ）法またはＣＯＦ（Ｃｈｉｐ ｏｎ Ｆｉｌｍ）法を用いて、上記ＩＣチップを表示パネル３０に設けることができる。
【0092】
制御部２０は、例えばＣＰＵとして機能することができる。例えば制御部２０は、システムバス２１を介して記憶部２２、通信制御部２３、画像処理回路２４、デコーダ回路２５、および映像信号受信部２６等のコンポーネントを制御する機能を有する。
【0093】
制御部２０と各コンポーネントとは、システムバス２１を介して信号の伝達が行われる。また制御部２０は、システムバス２１を介して接続された各コンポーネントから入力される信号を処理する機能、各コンポーネントへ出力する信号を生成する機能等を有し、これによりシステムバス２１に接続された各コンポーネントを統括的に制御することができる。
【0094】
記憶部２２は、制御部２０および画像処理回路２４がアクセス可能なレジスタ、キャッシュメモリ、メインメモリ、二次メモリなどとして機能する。
【0095】
二次メモリとして用いることのできる記憶装置としては、例えば書き換え可能な不揮発性の記憶素子が適用された記憶装置を用いることができる。例えば、フラッシュメモリや、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ）、ＮＯＳＲＡＭなどを用いることができる。
【0096】
なお、ＮＯＳＲＡＭ（登録商標）とは「Ｎｏｎｖｏｌａｔｉｌｅ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ＲＡＭ」の略称であり、ゲインセル型（２Ｔ型、３Ｔ型）のメモリセルを有するＲＡＭを指す。ＮＯＳＲＡＭは、ＯＳトランジスタのオフ電流が低いことを利用したＯＳメモリの一種である。ＮＯＳＲＡＭは、フラッシュメモリのように書き換え可能回数に制限が無く、データを書き込む際の消費電力が小さい。そのため、信頼性が高く消費電力の小さい不揮発性メモリを提供することができる。
【0097】
また、レジスタ、キャッシュメモリ、メインメモリなどの一時メモリとして用いることのできる記憶装置としては、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）や、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＯＳＲＡＭなどの揮発性の記憶素子を用いてもよい。
【0098】
ＤＯＳＲＡＭ（登録商標）とは、「Ｄｙｎａｍｉｃ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ＲＡＭ」の略称であり、１Ｔ（トランジスタ）１Ｃ（容量）型のメモリセルを有するＲＡＭを指す。ＤＯＳＲＡＭはＯＳトランジスタのオフ電流が低いことを利用したＯＳメモリの一種である。ＤＯＳＲＡＭは、ＤＲＡＭと比べて、データのリフレッシュ回数が少ない。また、周辺回路の上にメモリセルを作製することができるため、占有面積を小さくすることができる。そのため、消費電力が小さく集積度の高い揮発性メモリを提供することができる。
【0099】
メインメモリに設けられるＲＡＭとしては、例えばＤＲＡＭが用いられ、制御部２０の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部２２に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータやプログラム、プログラムモジュールは、制御部２０に直接アクセスされ、操作される。
【0100】
一方、ＲＯＭには書き換えを必要としないＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭや、ＯＴＰＲＯＭ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を用いることができる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ－ＥＰＲＯＭ（Ｕｌｔｒａ－Ｖｉｏｌｅｔ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどが挙げられる。
【0101】
また、記憶部２２の他に、取り外し可能な記憶装置を接続可能な構成としてもよい。例えばストレージデバイスとして機能するハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）などの記録メディアドライブ、フラッシュメモリ、ブルーレイディスク、ＤＶＤなどの記録媒体と接続する端子を有することが好ましい。これにより、映像を記録することができる。
【0102】
通信制御部２３は、コンピュータネットワーク１１を介して行われる通信を制御する機能を有する。例えば、制御部２０からの命令に応じてコンピュータネットワーク１１に接続するための制御信号を制御し、当該信号をコンピュータネットワーク１１に発信する。これによって、コンピュータネットワーク１１と接続し、サーバー１３と通信を行うことができる。
【0103】
また、通信制御部２３は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等の通信規格を用いてコンピュータネットワーク１１または他の電子機器と通信する機能を有していてもよい。
【0104】
映像信号受信部２６は、例えば、復調回路、およびＡ－Ｄ変換回路（アナログ－デジタル変換回路）等を有する。復調回路は、アンテナ１２から入力した信号を復調する機能を有する。またＡ－Ｄ変換回路は、復調されたアナログ信号をデジタル信号に変換する機能を有する。映像信号受信部２６で処理された信号は、デコーダ回路２５に送られる。
【0105】
デコーダ回路２５は、映像信号受信部２６から入力されるデジタル信号に含まれる映像データを、送信される放送規格の仕様に従ってデコードし、画像処理回路に送信する信号を生成する機能を有する。例えば８Ｋ放送における放送規格としては、Ｈ．２６５ ｜ ＭＰＥＧ－Ｈ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（略称：ＨＥＶＣ）などがある。
【0106】
また、映像信号受信部２６およびデコーダ回路２５は、コンピュータネットワーク１１を介したデータ伝送技術により送信された放送のデータを用いて、画像処理回路２４に送信する信号を生成する構成としてもよい。このとき、受信する信号がデジタル信号の場合には、映像信号受信部２６は復調回路およびＡ－Ｄ変換回路等を有していなくてもよい。
【0107】
画像処理回路２４は、デコーダ回路２５から入力される映像信号に基づいて、タイミングコントローラ２７に出力する映像信号を生成する機能を有する。
【0108】
またタイミングコントローラ２７は、画像処理回路２４が処理を施した映像信号等に含まれる同期信号を基に、ＧＤ２９およびＳＤ２８に出力する信号（クロック信号、スタートパルス信号などの信号）を生成する機能を有する。また、タイミングコントローラ２７は、上記信号に加え、ＳＤ２８に映像信号を出力する機能を有する。
【0109】
表示パネル３０は、複数の画素を有する。各画素は、ＧＤ２９およびＳＤ２８から供給される信号により駆動される。表示パネル３０の解像度は、フルハイビジョン、４Ｋ２Ｋ、８Ｋ４Ｋ等の規格に応じた解像度を用いればよい。
【0110】
図４（Ｂ）に示す制御部２０や画像処理回路２４としては、例えばプロセッサを有する構成とすることができる。例えば、制御部２０は、ＣＰＵとして機能するプロセッサを用いることができる。また、画像処理回路２４として、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ等の他のプロセッサを用いることができる。また制御部２０や画像処理回路２４に、上記プロセッサをＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＦＰＡＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｎａｌｏｇ Ａｒｒａｙ）といったＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現した構成としてもよい。
【0111】
プロセッサは、種々のプログラムからの命令を解釈し実行することで、各種のデータ処理やプログラム制御を行う。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域に格納されていてもよいし、別途設けられる記憶装置に格納されていてもよい。
【0112】
また、制御部２０、記憶部２２、通信制御部２３、画像処理回路２４、デコーダ回路２５、映像信号受信部２６、およびタイミングコントローラ２７のそれぞれが有する機能のうち、２つ以上の機能を１つのＩＣチップに集約させ、システムＬＳＩを構成してもよい。例えば、プロセッサ、デコーダ回路、チューナ回路、Ａ－Ｄ変換回路、ＤＲＡＭ、およびＳＲＡＭ等を有するシステムＬＳＩとしてもよい。
【0113】
なお、制御部２０や他のコンポーネントが有するＩＣ等に、ＯＳトランジスタを利用することもできる。ＯＳトランジスタは、オフ電流が極めて低いため、ＯＳトランジスタを記憶素子として機能する容量素子に流入した電荷（データ）を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を制御部２０等のレジスタやキャッシュメモリに用いることで、必要なときだけ制御部２０を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより、ノーマリーオフコンピューティングが可能となる。これにより、受像装置１０の低消費電力化を図ることができる。
【0114】
受像装置１０は、図４（Ｂ）に示す構成のほか、外部インターフェース、音声出力部、タッチパネルユニット、センサユニット、カメラユニットなどを有していてもよい。外部インターフェースとしては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続用端子、電源受給用端子、音声出力用端子、音声入力用端子、映像出力用端子、映像入力用端子などの外部接続端子、赤外線、可視光、紫外線などを用いた光通信用の送受信機、筐体に設けられた物理ボタンなどがある。また、例えば音声入出力部としては、サウンドコントローラ、マイクロフォン、スピーカなどがある。
【0115】
以下では、画像処理回路２４についてより詳細な説明を行う。
【0116】
画像処理回路２４は、デコーダ回路２５から入力される映像信号に基づいて、画像処理を実行する機能を有することが好ましい。
【0117】
画像処理としては、例えばノイズ除去処理、階調変換処理、色調補正処理、輝度補正処理などが挙げられる。色調補正処理や輝度補正処理としては、例えばガンマ補正などがある。
【0118】
例えば、ノイズ除去処理としては、文字などの輪郭の周辺に生じるモスキートノイズ、高速の動画で生じるブロックノイズ、ちらつきを生じるランダムノイズ、解像度のアップコンバートにより生じるドットノイズなどのさまざまなノイズを除去する。
【0119】
階調変換処理は、画像の階調を表示パネル３０の出力特性に対応した階調へ変換する処理である。例えば階調数を大きくする場合、小さい階調数で入力された画像に対して、各画素に対応する階調値を補間して割り当てることで、ヒストグラムを平滑化する処理を行うことができる。また、ダイナミックレンジを広げる、ハイダイナミックレンジ（ＨＤＲ）処理も、階調変換処理に含まれる。
【0120】
また、色調補正処理は、画像の色調を補正する処理である。また輝度補正処理は、画像の明るさ（輝度コントラスト）を補正する処理である。例えば、受像装置１０が設けられる空間に配置された照明の種類や輝度、または色純度などを検知し、それに応じて表示パネル３０に表示する画像の輝度や色調が最適となるように補正する。または、表示する画像と、あらかじめ保存してある画像リスト内の様々な場面の画像と、を照合し、最も近い場面の画像に適した輝度や色調に表示する画像を補正する機能を有していてもよい。
【0121】
また、画像処理回路２４は、解像度のアップコンバートに伴う画素間補間処理や、フレーム周波数のアップコンバートに伴うフレーム間補間などの処理を実行する機能を有していることが好ましい。
【0122】
画素間補間処理では、解像度をアップコンバートした際に、本来存在しないデータを補間する。
【0123】
フレーム間補間は、表示する映像のフレーム周波数を増大させる場合に、本来存在しないフレーム（補間フレーム）の画像を生成する。
【0124】
画像処理回路２４はニューラルネットワークの計算を行う回路（以下、ＮＮ回路）を有することが好ましい。ＮＮ回路は、実施の形態１に示す画像処理方法を用いて、上記画素間補間処理を行うことが好ましい。そうすることで、受像装置１０は低解像度の映像信号を受信し、高解像度の画像を表示することができる。
【0125】
また、ニューラルネットワークに用いる重み係数のデータは、データテーブルとして記憶部２２に格納される。当該重み係数を含むデータテーブルは、例えばコンピュータネットワーク１１を介して、サーバー１３から最新のものをダウンロードすることができる。または、画像処理回路２４が学習機能を有し、重み係数を含むデータテーブルを更新可能な構成としてもよい。
【0126】
＜表示パネルの構成例１＞
図５は、表示パネル３０とその周辺回路の構成例を説明するためのブロック図である。図５は、表示パネル３０と、ＧＤ２９と、ＳＤ２８＿１乃至２８＿ｎ（ｎは２以上の整数）と、画像処理回路２４を示している。また、表示パネル３０はマトリクス状に配置された複数の画素３１を有し、画像処理回路２４は、ＮＮ回路３２＿１乃至３２＿ｎを有する。図５において、ＧＤ２９は、表示パネル３０の左右にそれぞれ設けられている。
図５は、表示パネル３０とその周辺回路の構成例を説明するためのブロック図である。図５は、表示パネル３０と、ＧＤ２９と、ＳＤ２８＿１乃至２８＿ｎ（ｎは２以上の整数）と、画像処理回路２４を示している。また、表示パネル３０はマトリクス状に配置された複数の画素３１を有し、画像処理回路２４は、ＮＮ回路３２＿１乃至３２＿ｎを有する。図５において、ＧＤ２９は、表示パネル３０の左右にそれぞれ設けられている。
【0127】
表示パネル３０は、各々が略平行に配設され、且つ、ＧＤ２９にて電位が制御される複数の走査線ＧＬと、各々が略平行に配設され、且つ、ＳＤ２８＿１乃至２８＿ｎによって電位が制御される複数の信号線ＳＬと、を有する。
【0128】
各走査線ＧＬは、画素３１のうち、いずれかの行に配設された複数の画素３１と電気的に接続される。また、各信号線ＳＬは、画素３１のうち、いずれかの列に配設された複数の画素３１に電気的に接続される。
【0129】
ＮＮ回路３２＿１乃至３２＿ｎは、それぞれ、実施の形態１に示す画像処理方法で、画像データのアップコンバートを行うことができる。
【0130】
例えば、図１に示すように画像データｉｍｇ１を２×２の画像データに分割し、分割されたそれぞれの画像データに対してアップコンバートを行う場合、図５においてｎ＝２とし、ｉｍｇ１［１、１］はＮＮ回路３２＿１でアップコンバートを行い、ｉｍｇ１［２、１］はＮＮ回路３２＿２でアップコンバートを行うことが好ましい。同様に、ｉｍｇ１［１、２］はＮＮ回路３２＿１でアップコンバートを行い、ｉｍｇ１［２、２］はＮＮ回路３２＿２でアップコンバートを行うことが好ましい。アップコンバートされたそれぞれの画像は、最終的に結合された状態で表示パネル３０に表示される。
【0131】
例えば、画像データｉｍｇ１を１０×１０の画像データに分割し、分割されたそれぞれの画像データに対してアップコンバートを行う場合、図５においてｎ＝１０とし、ｉｍｇ１［１、１］、［２、１］、［３、１］、［４、１］、［５、１］、［６、１］、［７、１］、［８、１］、［９、１］、［１０、１］は、それぞれ、ＮＮ回路３２＿１、３２＿２、３２＿３、３２＿４、３２＿５、３２＿６、３２＿７、３２＿８、３２＿９、３２＿１０でアップコンバートを行うことが好ましい。
【0132】
このように、ｉｍｇ１の分割数に応じてＮＮ回路を設けることで、受像装置１０は、並列的に画像データをアップコンバードすることができる。すなわち、受像装置１０は、アンテナ１２から受信した映像信号を、少ないタイムラグで表示パネル３０に表示できる。
【0133】
＜表示パネルの構成例２＞
図６は、図５の表示パネル３０を、表示パネル３０＿Ａ、３０＿Ｂ、３０＿Ｃ、３０＿Ｄの４つに分割した例である。なお、表示パネル３０＿Ａ乃至３０＿Ｄをまとめて表示パネル３０と呼称する。表示パネル３０に表示される画像データは４つに分割され、それぞれ表示パネル３０＿Ａ乃至３０＿Ｄで表示される。
図６は、図５の表示パネル３０を、表示パネル３０＿Ａ、３０＿Ｂ、３０＿Ｃ、３０＿Ｄの４つに分割した例である。なお、表示パネル３０＿Ａ乃至３０＿Ｄをまとめて表示パネル３０と呼称する。表示パネル３０に表示される画像データは４つに分割され、それぞれ表示パネル３０＿Ａ乃至３０＿Ｄで表示される。
【0134】
表示パネル３０＿Ａに対して、ＮＮ回路３２＿Ａ１乃至３２＿Ａｍ（ｍは２以上の整数）が、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ａ１乃至２８＿Ａｍが、信号線ＳＬ＿Ａを介して、表示パネル３０＿Ａに画像データを供給する。
【0135】
表示パネル３０＿Ｂに対して、ＮＮ回路３２＿Ｂ１乃至３２＿Ｂｍが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｂ１乃至２８＿Ｂｍが、信号線ＳＬ＿Ｂを介して、表示パネル３０＿Ｂに画像データを供給する。
【0136】
表示パネル３０＿Ｃに対して、ＮＮ回路３２＿Ｃ１乃至３２＿Ｃｍが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｃ１乃至２８＿Ｃｍが、信号線ＳＬ＿Ｃを介して、表示パネル３０＿Ｃに画像データを供給する。
【0137】
表示パネル３０＿Ｄに対して、ＮＮ回路３２＿Ｄ１乃至３２＿Ｄｍが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｄ１乃至２８＿Ｄｍが、信号線ＳＬ＿Ｄを介して、表示パネル３０＿Ｄに画像データを供給する。
【0138】
図５と同様に、表示パネル３０＿Ａに表示される画像データは、分割され、アップコンバードされる。上記分割の数に応じて、ＮＮ回路３２＿Ａ１乃至３２＿Ａｍを設けることが好ましい。例えば、表示パネル３０＿Ａに表示される画像データを１０×１０に分割して、アップコンバードする場合、ＮＮ回路３２＿Ａ１乃至３２＿Ａ１０（ｍ＝１０）を設けることが好ましい。表示パネル３０＿Ｂ、３０＿Ｃ、３０＿Ｄに対しても同様である。
【0139】
図６に示す構成は、１本の信号線に接続される画素３１の数を少なくすることができる。すなわち、１本の信号線に接続される容量を小さくすることができる。その結果、表示パネルは信号線に画像データを書き込む時間を短縮することができる。図６に示す構成は、特に８Ｋなど、高精細な表示パネルに適用することが好ましい。例えば、４Ｋの画素数をもつ表示パネルを、表示パネル３０＿Ａ乃至３０＿Ｄにそれぞれ適用することで、受像装置１０は、８Ｋの画素数をもつ表示パネルを備えることができる。
【0140】
＜表示パネルの構成例３＞
図７は、図５の表示パネル３０を、表示パネル４１＿１乃至４１＿ｎ、表示パネル４２＿１乃至４２＿ｎ、表示パネル４３＿１乃至４３＿ｎ、および表示パネル４４＿１乃至４４＿ｎに分割した例である。これら分割された表示パネルをまとめて表示パネル３０と呼称する。表示パネル３０に表示される画像データは４×ｎに分割され、それぞれの表示パネルで表示される。なお、表示パネル３０の分割数はこれに限定されず、自由に設定することができる。
図７は、図５の表示パネル３０を、表示パネル４１＿１乃至４１＿ｎ、表示パネル４２＿１乃至４２＿ｎ、表示パネル４３＿１乃至４３＿ｎ、および表示パネル４４＿１乃至４４＿ｎに分割した例である。これら分割された表示パネルをまとめて表示パネル３０と呼称する。表示パネル３０に表示される画像データは４×ｎに分割され、それぞれの表示パネルで表示される。なお、表示パネル３０の分割数はこれに限定されず、自由に設定することができる。
【0141】
表示パネル４１＿１、４２＿１に対して、ＮＮ回路３２＿Ｕ１が、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｕ１が、信号線ＳＬ＿Ｕ１を介して、表示パネル４１＿１、４２＿１に画像データを供給する。
【0142】
表示パネル４１＿ｎ、４２＿ｎに対して、ＮＮ回路３２＿Ｕｎが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｕｎが、信号線ＳＬ＿Ｕｎを介して、表示パネル４１＿ｎ、４２＿ｎに画像データを供給する。
【0143】
表示パネル４３＿１、４４＿１に対して、ＮＮ回路３２＿Ｂ１が、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｂ１が、信号線ＳＬ＿Ｂ１を介して、表示パネル４３＿１、４４＿１に画像データを供給する。
【0144】
表示パネル４３＿ｎ、４４＿ｎに対して、ＮＮ回路３２＿Ｂｎが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｂｎが、信号線ＳＬ＿Ｂｎを介して、表示パネル４３＿ｎ、４４＿ｎに画像データを供給する。
【0145】
【0146】
＜表示パネルの構成例４＞
図８は、図５の信号線ＳＬを、信号線ＳＬ１、ＳＬ２の２本に分割した例を示している。同じ列に配置された複数の画素３１は、信号線ＳＬ１または信号線ＳＬ２と、交互に、電気的に接続される。
図８は、図５の信号線ＳＬを、信号線ＳＬ１、ＳＬ２の２本に分割した例を示している。同じ列に配置された複数の画素３１は、信号線ＳＬ１または信号線ＳＬ２と、交互に、電気的に接続される。
【0147】
図８に示す構成は、１本の信号線に接続される画素３１の数を少なくすることができる。その結果、表示パネル３０は、信号線に画像データを書き込む時間を短縮することができ、高速に画像データを切り替えることができる。
【0148】
また、図６、図７に示す構成は、表示パネルと表示パネルの間に繋ぎ目が生じ、その影響が表示画像に表れてしまうが、図８に示す構成は繋ぎ目が存在しないため、上述の問題を回避することができる。その結果、表示パネル３０は、繋ぎ目のない滑らかな画像を表示することができる。
【0149】
＜画素回路の構成例＞
次に、上述の画素３１に用いることができる回路構成について、図９を用いて説明を行う。
次に、上述の画素３１に用いることができる回路構成について、図９を用いて説明を行う。
【0150】
図９（Ａ）に示す画素３１は、トランジスタ３４３１と、容量素子３２３３と、液晶素子３４３２と、を有する。
【0151】
トランジスタ３４３１のソースまたはドレインの一方は、信号線ＳＬに電気的に接続され、他方はノード３４３６に電気的に接続される。トランジスタ３４３１のゲートは走査線ＧＬに電気的に接続される。トランジスタ３４３１は、ノード３４３６へのデータ信号の書き込みを制御する機能を有する。
【0152】
容量素子３２３３の一対の電極の一方は、特定の電位が供給される配線（以下、「容量線ＣＬ」ともいう。）に電気的に接続され、他方は、ノード３４３６に電気的に接続される。容量線ＣＬの電位は、画素３１の仕様に応じて適宜設定される。容量素子３２３３は、ノード３４３６に書き込まれたデータを保持する機能を有する。
【0153】
液晶素子３４３２の一対の電極の一方は共通の電位（コモン電位）が与えられ、他方はノード３４３６に電気的に接続される。液晶素子３４３２に含まれる液晶は、ノード３４３６に書き込まれる電位により配向状態が決定される。
【0154】
液晶素子３４３２のモードとしては、例えば、ＴＮモード、ＳＴＮモード、ＶＡモード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅｔｒｉｃ Ａｌｉｇｎｅｄ Ｍｉｃｒｏ－ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌｌｙ Ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＭＶＡモード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モード、ＩＰＳモード、ＦＦＳモード、またはＴＢＡ（Ｔｒａｎｓｖｅｒｓｅ Ｂｅｎｄ Ａｌｉｇｎｍｅｎｔ）モードなどを用いてもよい。また、他の例として、ＥＣＢ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｃｏｎｔｒｏｌｌｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＰＤＬＣ（Ｐｏｌｙｍｅｒ Ｄｉｓｐｅｒｓｅｄ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＰＮＬＣ（Ｐｏｌｙｍｅｒ Ｎｅｔｗｏｒｋ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ゲストホストモードなどがある。ただし、これに限定されず、様々なモードを用いることができる。
【0155】
図９（Ｂ）に示す画素３１は、トランジスタ３４３１と、容量素子３２３３と、トランジスタ３２３２と、発光素子３１２５と、を有する。
【0156】
トランジスタ３４３１のソースまたはドレインの一方はデータ信号が与えられる信号線ＳＬに電気的に接続され、他方はノード３４３５に電気的に接続される。トランジスタ３４３１のゲートはゲート信号が与えられる走査線ＧＬに電気的に接続される。トランジスタ３４３１はデータ信号のノード３４３５への書き込みを制御する機能を有する。
【0157】
容量素子３２３３の一対の電極の一方はノード３４３５に電気的に接続され、他方はノード３４３７に電気的に接続される。容量素子３２３３はノード３４３５に書き込まれたデータを保持する保持容量としての機能を有する。
【0158】
トランジスタ３２３２のソースまたはドレインの一方は電位供給線ＶＬ＿ａに電気的に接続され、他方はノード３４３７に電気的に接続される。トランジスタ３２３２のゲートはノード３４３５に電気的に接続される。トランジスタ３２３２は、発光素子３１２５に流れる電流を制御する機能を有する。
【0159】
発光素子３１２５のアノードまたはカソードの一方は電位供給線ＶＬ＿ｂに電気的に接続され、他方はノード３４３７に電気的に接続される。
【0160】
発光素子３１２５としては、例えば有機エレクトロルミネセンス素子（有機ＥＬ素子ともいう）などを用いることができる。ただし、これに限定されず、例えば無機材料からなる無機ＥＬ素子を用いても良い。
【0161】
例えば、電位供給線ＶＬ＿ａはＶＤＤを供給する機能を有する。また、電位供給線ＶＬ＿ｂはＶＳＳを供給する機能を有する。
【0162】
【0163】
図１０（Ａ）、（Ｂ）に示す表示パネル３０は電極４０１５を有しており、電極４０１５はＦＰＣ４０１８が有する端子と異方性導電層４０１９を介して、電気的に接続されている。また、電極４０１５は、絶縁層４１１２、絶縁層４１１１、および絶縁層４１１０に形成された開口において配線４０１４と電気的に接続されている。電極４０１５は、第１の電極層４０３０と同じ導電層から形成されている。
【0164】
また第１の基板４００１上に設けられた画素３１は、トランジスタを有しており、図１０（Ａ）では、画素３１に含まれるトランジスタ３４３１を例示し、図１０（Ｂ）では、画素３１に含まれるトランジスタ３２３２を例示している。
【0165】
また、トランジスタ３４３１、３２３２は、絶縁層４１０２上に設けられている。また、トランジスタ３４３１、３２３２は、絶縁層４１０２上に形成された電極５１７を有し、電極５１７上に絶縁層４１０３が形成されている。絶縁層４１０３上に半導体層５１２が形成されている。半導体層５１２上に電極５１０および電極５１１が形成され、電極５１０および電極５１１上に絶縁層４１１０および絶縁層４１１１が形成され、絶縁層４１１０および絶縁層４１１１上に電極５１６が形成されている。電極５１０および電極５１１は、配線４０１４と同じ導電層で形成されている。
【0166】
トランジスタ３４３１、３２３２において、電極５１７はゲートとしての機能を有し、電極５１０はソースまたはドレインの一方としての機能を有し、電極５１１はソースまたはドレインの他方としての機能を有し、電極５１６はバックゲートとしての機能を有する。
【0167】
トランジスタ３４３１、３２３２はボトムゲート構造であり、かつ、バックゲートを有することで、オン電流を増大させることができる。また、トランジスタの閾値を制御することができる。なお、電極５１６は、製造工程を簡略化するため、場合によっては省略してもよい。
【0168】
トランジスタ３４３１、３２３２において、半導体層５１２はチャネル形成領域としての機能を有する。半導体層５１２として、結晶シリコン、多結晶シリコン、非晶質シリコン、金属酸化物、有機半導体などを用いればよい。また、必要に応じて、半導体層５１２の導電率を高めるため、または、トランジスタの閾値を制御するために、半導体層５１２に不純物を導入してもよい。
【0169】
半導体層５１２として金属酸化物を用いた場合、半導体層５１２はインジウム（Ｉｎ）を含むことが好ましい。半導体層５１２がインジウムを含む金属酸化物の場合、半導体層５１２はキャリア移動度（電子移動度）が高くなる。また、半導体層５１２は、元素Ｍを含む酸化物半導体であると好ましい。元素Ｍは、好ましくは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）またはスズ（Ｓｎ）などとする。そのほかの元素Ｍに適用可能な元素としては、ホウ素（Ｂ）、シリコン（Ｓｉ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）などがある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、半導体層５１２は、亜鉛（Ｚｎ）を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。
【0170】
半導体層５１２は、インジウムを含む金属酸化物に限定されない。半導体層５１２は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物などの、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物などであっても構わない。
【0171】
また、図１０（Ａ）、（Ｂ）に示す表示パネル３０は、容量素子３２３３を有する。容量素子３２３３は、電極５１１と電極４０２１が絶縁層４１０３を介して重なる領域を有する。電極４０２１は、電極５１７と同じ導電層で形成されている。
【0172】
図１０（Ａ）は、表示素子として液晶素子を用いた液晶表示パネルの一例である。図１０（Ａ）において、表示素子である液晶素子３４３２は、第１の電極層４０３０、第２の電極層４０３１、および液晶層４００８を含む。なお、液晶層４００８を挟持するように配向膜として機能する絶縁層４０３２、絶縁層４０３３が設けられている。第２の電極層４０３１は第２の基板４００６側に設けられ、第１の電極層４０３０と第２の電極層４０３１は液晶層４００８を介して重畳する。
【0173】
またスペーサ４０３５は絶縁層を選択的にエッチングすることで得られる柱状のスペーサであり、第１の電極層４０３０と第２の電極層４０３１との間隔（セルギャップ）を制御するために設けられている。なお球状のスペーサを用いていても良い。
【0174】
表示素子として、液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
【0175】
また、液晶材料の固有抵抗は、１×１０９Ω・ｃｍ以上であり、好ましくは１×１０１１Ω・ｃｍ以上であり、さらに好ましくは１×１０１２Ω・ｃｍ以上である。なお、本明細書における固有抵抗の値は、２０℃で測定した値とする。
【0176】
トランジスタ３４３１にＯＳトランジスタを用いた場合、トランジスタ３４３１は、オフ状態における電流値（オフ電流値）を低くすることができる。よって、映像信号等の電気信号の保持時間を長くすることができ、電源オン状態では書き込み間隔も長く設定できる。よって、リフレッシュ動作の頻度を少なくすることができるため、消費電力を抑制する効果を奏する。
【0177】
また、表示パネルにおいて、ブラックマトリクス（遮光層）、偏光部材、位相差部材、反射防止部材などの光学部材（光学基板）などを適宜設けてもよい。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバックライト、サイドライトなどを用いてもよい。
【0178】
図１０（Ｂ）は、表示素子としてＥＬ素子などの発光素子を用いた表示パネルの一例である。ＥＬ素子は有機ＥＬ素子と無機ＥＬ素子に区別される。
【0179】
有機ＥＬ素子は、電圧を印加することにより、一方の電極から電子、他方の電極から正孔がそれぞれＥＬ層に注入される。そして、それらキャリア（電子および正孔）が再結合することにより、発光性の有機化合物が励起状態を形成し、その励起状態が基底状態に戻る際に発光する。このようなメカニズムから、有機ＥＬ素子は、電流励起型の発光素子と呼ばれる。なお、ＥＬ層は、発光性の化合物以外に、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質（電子輸送性および正孔輸送性が高い物質）などを有していてもよい。ＥＬ層は、蒸着法（真空蒸着法を含む）、転写法、印刷法、インクジェット法、塗布法などの方法で形成することができる。
【0180】
無機ＥＬ素子は、その素子構成により、分散型無機ＥＬ素子と薄膜型無機ＥＬ素子とに分類される。分散型無機ＥＬ素子は、発光材料の粒子をバインダ中に分散させた発光層を有するものであり、発光メカニズムはドナー準位とアクセプター準位を利用するドナー－アクセプター再結合型発光である。薄膜型無機ＥＬ素子は、発光層を誘電体層で挟み込み、さらにそれを電極で挟んだ構造であり、発光メカニズムは金属イオンの内殻電子遷移を利用する局在型発光である。
【0181】
図１０（Ｂ）は、発光素子３１２５として有機ＥＬ素子を用いた例を説明する。
【0182】
図１０（Ｂ）において、発光素子３１２５は、画素３１に設けられたトランジスタ３２３２と電気的に接続されている。なお発光素子３１２５の構成は、第１の電極層４０３０、発光層４５１１、第２の電極層４０３１の積層構造であるが、この構成に限定されない。発光素子３１２５から取り出す光の方向などに合わせて、発光素子３１２５の構成は適宜変えることができる。
【0183】
隔壁４５１０は、有機絶縁材料、または無機絶縁材料を用いて形成する。特に感光性の樹脂材料を用い、第１の電極層４０３０上に開口部を形成し、その開口部の側面が連続した曲率を持って形成される傾斜面となるように形成することが好ましい。
【0184】
発光層４５１１は、単数の層で構成されていても、複数の層が積層されるように構成されていてもどちらでも良い。
【0185】
発光素子３１２５に酸素、水素、水分、二酸化炭素等が侵入しないように、第２の電極層４０３１および隔壁４５１０上に保護層を形成してもよい。保護層としては、窒化シリコン、窒化酸化シリコン、酸化アルミニウム、窒化アルミニウム、酸化窒化アルミニウム、窒化酸化アルミニウム、ＤＬＣ（Ｄｉａｍｏｎｄ Ｌｉｋｅ Ｃａｒｂｏｎ）などを形成することができる。また、第１の基板４００１、第２の基板４００６、およびシール材４００５によって封止された空間には充填材４５１４が設けられ密封されている。このように、外気に曝されないように気密性が高く、脱ガスの少ない保護フィルム（貼り合わせフィルム、紫外線硬化樹脂フィルム等）やカバー材でパッケージング（封入）することが好ましい。
【0186】
充填材４５１４としては窒素やアルゴンなどの不活性な気体の他に、紫外線硬化樹脂または熱硬化樹脂を用いることができ、ＰＶＣ（ポリビニルクロライド）、アクリル樹脂、ポリイミド、エポキシ樹脂、シリコーン樹脂、ＰＶＢ（ポリビニルブチラル）またはＥＶＡ（エチレンビニルアセテート）などを用いることができる。また、充填材４５１４に乾燥剤が含まれていてもよい。
【0187】
シール材４００５には、ガラスフリットなどのガラス材料や、二液混合型の樹脂などの常温で硬化する硬化樹脂、光硬化性の樹脂、熱硬化性の樹脂などの樹脂材料を用いることができる。また、シール材４００５に乾燥剤が含まれていてもよい。
【0188】
また、必要であれば、発光素子の射出面に偏光板、または円偏光板（楕円偏光板を含む）、位相差板（λ／４板、λ／２板）、カラーフィルタなどの光学フィルムを適宜設けてもよい。また、偏光板または円偏光板に反射防止膜を設けてもよい。例えば、表面の凹凸により反射光を拡散し、映り込みを低減できるアンチグレア処理を施すことができる。
【0189】
また、発光素子をマイクロキャビティ構造とすることで、色純度の高い光を取り出すことができる。また、マイクロキャビティ構造とカラーフィルタを組み合わせることで、映り込みが低減し、表示画像の視認性を高めることができる。
【0190】
第１の電極層４０３０、第２の電極層４０３１は、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、インジウム錫酸化物、酸化チタンを含むインジウム錫酸化物、インジウム亜鉛酸化物、酸化ケイ素を添加したインジウム錫酸化物などの透光性を有する導電性材料を用いることができる。
【0191】
また、第１の電極層４０３０、第２の電極層４０３１はタングステン（Ｗ）、モリブデン（Ｍｏ）、ジルコニウム（Ｚｒ）、ハフニウム（Ｈｆ）、バナジウム（Ｖ）、ニオブ（Ｎｂ）、タンタル（Ｔａ）、クロム（Ｃｒ）、コバルト（Ｃｏ）、ニッケル（Ｎｉ）、チタン（Ｔｉ）、白金（Ｐｔ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、銀（Ａｇ）などの金属、またはその合金、もしくはその金属窒化物から一種以上を用いて形成することができる。
【0192】
また、第１の電極層４０３０、第２の電極層４０３１として、導電性高分子（導電性ポリマーともいう）を含む導電性組成物を用いて形成することができる。導電性高分子としては、いわゆるπ電子共役系導電性高分子を用いることができる。例えば、ポリアニリンまたはその誘導体、ポリピロールまたはその誘導体、ポリチオフェンまたはその誘導体、もしくは、アニリン、ピロールおよびチオフェンの２種以上からなる共重合体またはその誘導体等が挙げられる。
【0193】
発光素子３１２５が光を外部に取り出すため、少なくとも第１の電極層４０３０または第２の電極層４０３１の一方が透明であればよい。表示パネルは、光の取り出し方によって、上面射出（トップエミッション）構造と、下面射出（ボトムエミッション）構造と、両面射出（デュアルエミッション）構造に分類される。上面射出構造は、基板４００６から光を取り出す場合をいう。下面射出構造は、基板４００１から光を取り出す場合をいう。両面射出構造は、基板４００６と基板４００１の両方から光を取り出す場合をいう。例えば、上面射出構造の場合、第２の電極層４０３１を透明にすればよい。例えば、下面射出構造の場合、第１の電極層４０３０を透明にすればよい。例えば、両面射出構造の場合、第１の電極層４０３０および第２の電極層４０３１を透明にすればよい。
【0194】
（基板４００１）
作製工程中の熱処理に耐えうる程度の耐熱性を有する材料を基板４００１等に用いることができる。例えば、厚さ０．７ｍｍ以下厚さ０．１ｍｍ以上の材料を基板４００１に用いることができる。具体的には、厚さ０．１ｍｍ程度まで研磨した材料を用いることができる。
作製工程中の熱処理に耐えうる程度の耐熱性を有する材料を基板４００１等に用いることができる。例えば、厚さ０．７ｍｍ以下厚さ０．１ｍｍ以上の材料を基板４００１に用いることができる。具体的には、厚さ０．１ｍｍ程度まで研磨した材料を用いることができる。
【0195】
例えば、第６世代（１５００ｍｍ×１８５０ｍｍ）、第７世代（１８７０ｍｍ×２２００ｍｍ）、第８世代（２２００ｍｍ×２４００ｍｍ）、第９世代（２４００ｍｍ×２８００ｍｍ）、第１０世代（２９５０ｍｍ×３４００ｍｍ）等の面積が大きなガラス基板を基板４００１等に用いることができる。これにより、大型の表示装置を作製することができる。
【0196】
有機材料、無機材料または有機材料と無機材料等の複合材料等を基板４００１等に用いることができる。例えば、ガラス、セラミックス、金属等の無機材料を基板４００１等に用いることができる。
【0197】
具体的には、無アルカリガラス、ソーダ石灰ガラス、カリガラス、クリスタルガラス、アルミノ珪酸ガラス、強化ガラス、化学強化ガラス、石英またはサファイア等を、基板４００１等に用いることができる。具体的には、無機酸化物膜、無機窒化物膜または無機酸窒化物膜等を、基板４００１等に用いることができる。例えば、酸化シリコン膜、窒化シリコン膜、酸化窒化シリコン膜、酸化アルミニウム膜等を、基板４００１等に用いることができる。ステンレス・スチールまたはアルミニウム等を、基板４００１等に用いることができる。
【0198】
例えば、シリコンや炭化シリコンからなる単結晶半導体基板、多結晶半導体基板、シリコンゲルマニウム等の化合物半導体基板、ＳＯＩ基板等を基板４００１等に用いることができる。これにより、半導体素子を基板４００１等に形成することができる。
【0199】
例えば、樹脂、樹脂フィルムまたはプラスチック等の有機材料を基板４００１等に用いることができる。具体的には、ポリエステル、ポリオレフィン、ポリアミド、ポリイミド、ポリカーボネートまたはアクリル樹脂等の樹脂フィルムまたは樹脂板を、基板４００１等に用いることができる。
【0200】
例えば、金属板、薄板状のガラス板または無機材料等の膜を樹脂フィルム等に貼り合わせた複合材料を基板４００１等に用いることができる。例えば、繊維状または粒子状の金属、ガラスもしくは無機材料等を樹脂フィルムに分散した複合材料を、基板４００１等に用いることができる。例えば、繊維状または粒子状の樹脂もしくは有機材料等を無機材料に分散した複合材料を、基板４００１等に用いることができる。
【0201】
また、単層の材料または複数の層が積層された材料を、基板４００１等に用いることができる。例えば、基材と基材に含まれる不純物の拡散を防ぐ絶縁膜等が積層された材料を、基板４００１等に用いることができる。具体的には、ガラスとガラスに含まれる不純物の拡散を防ぐ酸化シリコン層、窒化シリコン層または酸化窒化シリコン層等から選ばれた一または複数の膜が積層された材料を、基板４００１等に用いることができる。または、樹脂と樹脂を透過する不純物の拡散を防ぐ酸化シリコン膜、窒化シリコン膜または酸化窒化シリコン膜等が積層された材料を、基板４００１等に用いることができる。
【0202】
具体的には、ポリエステル、ポリオレフィン、ポリアミド、ポリイミド、ポリカーボネート若しくはアクリル樹脂等の樹脂フィルム、樹脂板または積層材料等を基板４００１等に用いることができる。
【0203】
具体的には、ポリエステル、ポリオレフィン、ポリアミド（ナイロン、アラミド等）、ポリイミド、ポリカーボネート、ポリウレタン、アクリル樹脂、エポキシ樹脂もしくはシリコーン等のシロキサン結合を有する樹脂を含む材料を基板４００１等に用いることができる。
【0204】
具体的には、ポリエチレンテレフタレート（ＰＥＴ）、ポリエチレンナフタレート（ＰＥＮ）、ポリエーテルサルフォン（ＰＥＳ）またはアクリル等を基板４００１等に用いることができる。または、シクロオレフィンポリマー（ＣＯＰ）、シクロオレフィンコポリマー（ＣＯＣ）等を用いることができる。
【0205】
また、紙または木材などを基板４００１等に用いることができる。
【0206】
例えば、可撓性を有する基板を基板４００１等に用いることができる。
【0207】
なお、トランジスタまたは容量素子等を基板に直接形成する方法を用いることができる。また、例えば作製工程中に加わる熱に耐熱性を有する工程用の基板にトランジスタまたは容量素子等を形成し、形成されたトランジスタまたは容量素子等を基板４００１等に転置する方法を用いることができる。これにより、例えば可撓性を有する基板にトランジスタまたは容量素子等を形成できる。
【0208】
（基板４００６）
例えば、基板４００１に用いることができる材料を基板４００６に用いることができる。例えば、基板４００１に用いることができる材料から選択された透光性を備える材料を、基板４００６に用いることができる。または、片側の表面に、例えば１μｍ以下の反射防止膜が形成された材料を基板４００６に用いることができる。具体的には、誘電体を３層以上、好ましくは５層以上、より好ましくは１５層以上積層した材料を基板４００６に用いることができる。これにより、反射率を０．５％以下好ましくは０．０８％以下に抑制することができる。または、基板４００１に用いることができる材料から選択された複屈折が抑制された材料を、基板４００６に用いることができる。
例えば、基板４００１に用いることができる材料を基板４００６に用いることができる。例えば、基板４００１に用いることができる材料から選択された透光性を備える材料を、基板４００６に用いることができる。または、片側の表面に、例えば１μｍ以下の反射防止膜が形成された材料を基板４００６に用いることができる。具体的には、誘電体を３層以上、好ましくは５層以上、より好ましくは１５層以上積層した材料を基板４００６に用いることができる。これにより、反射率を０．５％以下好ましくは０．０８％以下に抑制することができる。または、基板４００１に用いることができる材料から選択された複屈折が抑制された材料を、基板４００６に用いることができる。
【0209】
例えば、アルミノ珪酸ガラス、強化ガラス、化学強化ガラスまたはサファイア等を、表示パネルの使用者に近い側に配置される基板４００６に好適に用いることができる。これにより、使用に伴う表示パネルの破損や傷付きを防止することができる。
【0210】
例えば、シクロオレフィンポリマー（ＣＯＰ）、シクロオレフィンコポリマー（ＣＯＣ）、トリアセチルセルロース（ＴＡＣ）等の樹脂フィルムを、基板４００６に好適に用いることができる。これにより、重量を低減することができる。または、例えば、落下に伴う破損等の発生頻度を低減することができる。
【0211】
また、例えば、厚さ０．７ｍｍ以下厚さ０．１ｍｍ以上の材料を基板４００６に用いることができる。具体的には、厚さを薄くするために研磨した基板を用いることができる。
【0212】
図１１（Ａ）は、図１０（Ａ）に示すトランジスタ３４３１に、トップゲート型のトランジスタを設けた場合の断面図を示している。同様に、図１１（Ｂ）は、図１０（Ｂ）に示すトランジスタ３２３２に、トップゲート型のトランジスタを設けた場合の断面図を示している。
【0213】
図１１（Ａ）、（Ｂ）のトランジスタ３４３１、３２３２において、電極５１７はゲートとしての機能を有し、電極５１０はソースまたはドレインの一方としての機能を有し、電極５１１はソースまたはドレインの他方としての機能を有する。
【0214】
【0215】
以上、本実施の形態に示す受像装置を用いることで、効率的に低解像度の画像データをアップコンバートし、高解像度の画像を表示することができる。
【0216】
（実施の形態３）
本実施の形態では、上記実施の形態に示すＮＮ（ニューラルネットワーク）回路に用いることが可能な半導体装置について説明を行う。
本実施の形態では、上記実施の形態に示すＮＮ（ニューラルネットワーク）回路に用いることが可能な半導体装置について説明を行う。
【0217】
《半導体装置》
図１２は、各種ニューラルネットワークを実現することのできる半導体装置１００の構成を示している。
図１２は、各種ニューラルネットワークを実現することのできる半導体装置１００の構成を示している。
【0218】
半導体装置１００は、演算層１４１［１］乃至１４１［Ｎ］およびスイッチ層１４２［１］乃至１４２［Ｎ－１］から成る階層構造を有する。なお、Ｎは２以上の整数とする。
【0219】
演算層１４１［１］は積和演算素子１３０［１］乃至１３０［Ｓ１］を有し、演算層１４１［Ｎ］は積和演算素子１３０［１］乃至１３０［ＳＮ］を有する。スイッチ層１４２［１］はプログラマブルスイッチ１４０［１］乃至１４０［Ｓ２］を有し、スイッチ層１４２［Ｎ－１］はプログラマブルスイッチ１４０［１］乃至１４０［ＳＮ］を有する。なお、Ｓ１乃至ＳＮはそれぞれ１以上の整数とする。スイッチ層１４２は、異なる２つの演算層１４１どうしの接続を制御する機能を有する。
【0220】
プログラマブルスイッチ１４０は、第１の演算層１４１に含まれる複数の積和演算素子１３０と、第２の演算層１４１に含まれる積和演算素子１３０との接続を制御する機能を有する。例えば、図１２において、プログラマブルスイッチ１４０［Ｓ２］は、演算層１４１［１］が有する積和演算素子１３０［１］乃至１３０［Ｓ１］のいずれかと、演算層１４１［２］が有する積和演算素子１３０［Ｓ２］との接続を制御する機能を有する。
【0221】
【0222】
《積和演算素子》
図１３は積和演算素子１３０の構成例を示すブロック図である。積和演算素子１３０は、入力信号ＩＮ［１］乃至ＩＮ［Ｓ］のそれぞれに対応した乗算素子１３１［１］乃至１３１［Ｓ］と、加算素子１３３と、活性化関数素子１３４と、ＣＭ（コンフィギュレーションメモリ）１３２［１］乃至１３２［Ｓ］と、ＣＭ１３５から構成される。なお、Ｓは１以上の整数とする。
図１３は積和演算素子１３０の構成例を示すブロック図である。積和演算素子１３０は、入力信号ＩＮ［１］乃至ＩＮ［Ｓ］のそれぞれに対応した乗算素子１３１［１］乃至１３１［Ｓ］と、加算素子１３３と、活性化関数素子１３４と、ＣＭ（コンフィギュレーションメモリ）１３２［１］乃至１３２［Ｓ］と、ＣＭ１３５から構成される。なお、Ｓは１以上の整数とする。
【0223】
乗算素子１３１は、ＣＭ１３２に格納されているデータと入力信号ＩＮを掛け合わせる機能を有する。ＣＭ１３２には重み係数が格納されている。
【0224】
加算素子１３３は乗算素子１３１［１］乃至１３１［Ｓ］の出力（乗算結果）を全て足し合わせる機能を有する。
【0225】
活性化関数素子１３４は、加算素子１３３の出力（積和演算結果）を、ＣＭ１３５に保存されているデータで定義される関数に従って演算を実行し、出力信号ＯＵＴを出力する。当該関数は、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、閾値関数などとすることができる。これら関数を、テーブル方式または折れ線近似などにより実装し、対応するデータをコンフィギュレーションデータとして、ＣＭ１３５に格納する。
【0226】
なお、ＣＭ１３２［１：Ｓ］とＣＭ１３５とは、それぞれ個別の書き込み回路を有することが好ましい。その結果、ＣＭ１３２［１：Ｓ］のデータ更新と、ＣＭ１３５のデータ更新とは、それぞれ独立に行うことができる。つまり、ＣＭ１３５のデータ更新をすることなく、ＣＭ１３２［１：Ｓ］のデータ更新を何度も繰り返すことができる。こうすることで、ニューラルネットワークの学習の際に、重み係数の更新のみを何度も繰り返すことができ、効率的に学習ができる。
【0227】
《プログラマブルスイッチ》
図１４（Ａ）はプログラマブルスイッチ１４０の構成を示す回路図である。プログラマブルスイッチ１４０はスイッチ１６０を有する。
図１４（Ａ）はプログラマブルスイッチ１４０の構成を示す回路図である。プログラマブルスイッチ１４０はスイッチ１６０を有する。
【0228】
プログラマブルスイッチ１４０は、出力信号ＯＵＴ［１］乃至ＯＵＴ［Ｓ］を、入力信号ＩＮ［１］乃至ＩＮ［Ｓ］と接続させる機能を有する。例えば、図１２において、プログラマブルスイッチ１４０［Ｓ２］は、演算層１４１［１］の出力信号ＯＵＴ［１］乃至ＯＵＴ［Ｓ１］のいずれかと、演算層１４１［２］が有する積和演算素子１３０［Ｓ２］の入力信号ＩＮ［１：Ｓ２］との接続を制御する機能を有する。
【0229】
また、プログラマブルスイッチ１４０は、信号“０”と、積和演算素子１３０の入力信号ＩＮ［１］乃至ＩＮ［Ｓ］との接続を制御する機能を有する。
【0230】
《スイッチ》
図１４（Ｂ）はスイッチ１６０の構成例を示す回路図である。スイッチ１６０は、ＣＭ１６１とスイッチ１６２を有する。スイッチ１６２は、ＯＵＴ［ｉ］とＩＮ［ｉ］（ｉは１以上Ｓ以下の整数）との導通を制御する機能を有する。また、スイッチ１６２は、“０”とＩＮ［ｉ］との導通を制御する機能を有する。ＣＭ１６１に格納するコンフィギュレーションデータにより、スイッチ１６２のオン／オフが制御される。スイッチ１６２として、トランジスタを用いることができる。
図１４（Ｂ）はスイッチ１６０の構成例を示す回路図である。スイッチ１６０は、ＣＭ１６１とスイッチ１６２を有する。スイッチ１６２は、ＯＵＴ［ｉ］とＩＮ［ｉ］（ｉは１以上Ｓ以下の整数）との導通を制御する機能を有する。また、スイッチ１６２は、“０”とＩＮ［ｉ］との導通を制御する機能を有する。ＣＭ１６１に格納するコンフィギュレーションデータにより、スイッチ１６２のオン／オフが制御される。スイッチ１６２として、トランジスタを用いることができる。
【0231】
なお、積和演算素子１３０が直前の演算層１４１からのＯＵＴ［ｉ］を入力として使用しない場合、当該積和演算素子１３０はＩＮ［ｉ］を“０”に接続する。このとき、ＩＮ［ｉ］に対応する乗算素子１３１［ｉ］は、電力の供給を停止する（パワーゲーティングを行う）ことにより、消費電力を低減することができる。例えば、図１２において、演算層１４１［２］が有する積和演算素子１３０［Ｓ２］が、演算層１４１［１］からのＯＵＴ［１］を入力として使用しない場合、積和演算素子１３０［Ｓ２］は、そのＩＮ［１］を“０”に接続し、乗算素子１３１［１］への電力の供給を停止する。
【0232】
また、ある演算層１４１が有する積和演算素子１３０のＯＵＴ［ｉ］が、他の演算層１４１が有するどの積和演算素子１３０とも接続しない場合、ＯＵＴ［ｉ］を出力する積和演算素子１３０全体の電力供給を停止し、消費電力を低減することができる。例えば、図１２において、演算層１４１［１］が有する積和演算素子１３０［Ｓ１］が、他の演算層１４１が有するどの積和演算素子１３０とも接続しない場合、積和演算素子１３０［Ｓ１］全体の電力供給を停止する。
【0233】
上記構成において、コンフィギュレーションメモリは、フラッシュメモリ、ＲｅＲＡＭ、ＭＲＡＭ、ＰＲＡＭ、ＦｅＲＡＭ等を用いて構成することが可能である。また、コンフィギュレーションメモリはＯＳメモリで構成することも可能である。コンフィギュレーションメモリにＯＳメモリを用いることで、半導体装置１００の消費電力を大幅に低減することができる。
【0234】
例えば、図１３に示すＣＭ１３２［１］乃至１３２［Ｓ］およびＣＭ１３５をＯＳメモリで構成することで、半導体装置１００は、少ない素子数で低消費電力のネットワークを構成することができる。
【0235】
例えば、図１４（Ｂ）に示すＣＭ１６１をＯＳメモリで構成することで、半導体装置１００は、少ない素子数で低消費電力のネットワークを構成することができる。
【0236】
また、乗算素子１３１および加算素子１３３をアナログ積和演算素子とすることで、積和演算素子１３０を構成するトランジスタの数を削減することができる。
【0237】
さらに、積和演算素子１３０の入出力信号をアナログ信号とすることで、ネットワークを構成する配線数を低減することができる。
【0238】
図１２における半導体装置１００は、所望のネットワーク構成となるプログラマブルスイッチ１４０のコンフィギュレーションデータを生成し、当該コンフィギュレーションデータにしたがって、学習を行うことが可能である。学習により重み係数を更新する場合は、プログラマブルスイッチ１４０のコンフィギュレーションデータを変更せずに、重み係数のコンフィギュレーションデータのみを繰り返し変更する構成が有効である。そのため、積和演算素子１３０が有するＣＭ１３２［１：Ｓ］と、プログラマブルスイッチ１４０が有するＣＭ１３５とは、異なる回路によって、コンフィギュレーションデータが書き込まれることが好ましい。
【0239】
（実施の形態４）
本実施の形態では、実施の形態１に示す画像処理方法を適用することができる電子機器について、図１５を用いて説明を行う。以下に示す電子機器は、実施の形態１に示す画像処理方法を用いることで、低解像度の画像データをアップコンバートし、表示部に表示させることができる。
本実施の形態では、実施の形態１に示す画像処理方法を適用することができる電子機器について、図１５を用いて説明を行う。以下に示す電子機器は、実施の形態１に示す画像処理方法を用いることで、低解像度の画像データをアップコンバートし、表示部に表示させることができる。
【0240】
図１５（Ａ）に示す携帯電話機７４００は、筐体７４０１に組み込まれた表示部７４０２のほか、操作ボタン７４０３、外部接続ポート７４０４、スピーカ７４０５、マイクロフォン７４０６などを備えている。携帯電話機７４００は、指などで表示部７４０２に触れることで、情報を入力することができる。また、電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指などで表示部７４０２に触れることにより行うことができる。また、操作ボタン７４０３の操作により、電源のＯＮ、ＯＦＦ動作や、表示部７４０２に表示される画像の種類を切り替えることができる。例えば、メール作成画面から、メインメニュー画面に切り替えることができる。
【0241】
図１５（Ｂ）は、腕時計型の携帯情報端末の一例を示している。図１５（Ｂ）に示す携帯情報端末７１００は、筐体７１０１、表示部７１０２、バンド７１０３、バックル７１０４、操作ボタン７１０５、入出力端子７１０６などを備える。携帯情報端末７１００は、移動電話、電子メール、文章閲覧および作成、音楽再生、インターネット通信、コンピュータゲームなどの種々のアプリケーションを実行することができる。表示部７１０２はその表示面が湾曲して設けられ、湾曲した表示面に沿って表示を行うことができる。また、表示部７１０２はタッチセンサを備え、指やスタイラスなどで画面に触れることで操作することができる。例えば、表示部７１０２に表示されたアイコン７１０７に触れることで、アプリケーションを起動することができる。
【0242】
操作ボタン７１０５は、時刻設定のほか、電源のオン、オフ動作、無線通信のオン、オフ動作、マナーモードの実行および解除、省電力モードの実行および解除など、様々な機能を持たせることができる。例えば、携帯情報端末７１００に組み込まれたオペレーティングシステムにより、操作ボタン７１０５の機能を自由に設定することもできる。携帯情報端末７１００は、通信規格された近距離無線通信を実行することが可能である。例えば無線通信可能なヘッドセットと相互通信することによって、ハンズフリーで通話することもできる。また、携帯情報端末７１００は入出力端子７１０６を備え、他の情報端末とコネクターを介して直接データのやりとりを行うことができる。また入出力端子７１０６を介して充電を行うこともできる。なお、充電動作は入出力端子７１０６を介さずに無線給電により行ってもよい。
【0243】
【0244】
図１５（Ｄ）はビデオカメラ７６００であり、第１筐体７６４１、第２筐体７６４２、表示部７６４３、操作キー７６４４、レンズ７６４５、接続部７６４６等を有する。
【実施例1】
【0245】
本実施例では、実施の形態１で示す方法でアップコンバートを行い、当該アップコンバートを行った画像データに対応する画像を表示した場合の表示結果について説明する。
【0246】
図１６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、本実施例で実行した動作を示す図である。本実施例では、まず、図１６（Ａ）に示すように、ＶＧＡに対応する解像度（６４０×４８０）の画像データｉｍｇ１を用意した。次に、図１６（Ｂ）に示すように、画像データｉｍｇ１を、１０×１０に分割した。つまり、画像データｉｍｇ１を、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］に分割した。なお、後述する方法１又は方法２により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度は図１６（Ｂ）に示すように７２×５６とし、６４×４８より大きくした。
【0247】
その後、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］のそれぞれについて、ＣＮＮを用いてアップコンバートを行った。これにより、図１６（Ｃ）に示すように、解像度が１２８×９６の画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［１０，１０］を生成した。なお、ＣＮＮにおいて、重みフィルタのフィルタサイズを３×３、畳み込み層の層数を８とし、活性化関数としてＲｅＬＵを用いた。画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［１０，１０］を結合することにより、図１６（Ｄ）に示すように、Ｑｕａｄ－ＶＧＡに対応する解像度（１２８０×９６０）の画像データｉｍｇ２を生成し、当該画像データｉｍｇ２に対応する画像を表示した。以上に示す方法により、解像度６４０×４８０の画像データｉｍｇ１を、解像度１２８０×９６０の画像データｉｍｇ２にアップコンバートした。
【0248】
本実施例では、方法１又は方法２により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度をそれぞれ７２×５６、つまり６４×４８より大きくした。方法１では、図１（Ｂ）、（Ｃ）および図２（Ａ）、（Ｂ）に示す方法により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度をそれぞれ７２×５６とした。方法２では、図１７（Ａ）、（Ｂ）に示す方法により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度をそれぞれ７２×５６とした。
【0249】
図１７（Ａ）、（Ｂ）は、画像データｉｍｇ１［１，１］の解像度を７２×５６とする、つまり６４×４８より大きくする方法の一例を示す図である。図１７（Ａ）には、画像データｉｍｇ１を構成する画像データａのうち、画像データａ［１，１］の構成例を示す。図１７（Ａ）に示す場合において、画像データａ［１，１］は、画素データＤｅ１１、画素データＤｅ２１、画素データＤｅ３１、画素データＤｅ４１、画素データＤｅ１２、画素データＤｅ２２、画素データＤｅ３２、画素データＤｅ４２、画素データＤｅ１３、画素データＤｅ２３、画素データＤｅ３３、画素データＤｅ４３、画素データＤｅ１４、画素データＤｅ２４、画素データＤｅ３４、および画素データＤｅ４４を有する。
【0250】
図１７（Ｂ）は、図１７（Ａ）に示す構成の画像データａ［１，１］を基に生成された、画像データｉｍｇ１［１，１］の構成例を示している。画像データａ［１，１］の境界部に設けられた画素データを、画像データａ［１，１］の外側に補填することにより、画像データｉｍｇ１［１，１］の解像度を画像データａ［１，１］の解像度より大きくすることができる。つまり、画像データａ［１，１］に対してエッジパディングを行うことにより、画像データｉｍｇ１［１，１］の解像度を画像データａ［１，１］の解像度より大きくすることができる。
【0251】
なお、図１７（Ａ）では、画像データａ［１，１］が４×４の画素データを有する場合を示しているが、実際には６４×４８の画素データを有する。また、図１７（Ｂ）では、画像データａ［１，１］の上隣および下隣にそれぞれ１行分の画素データを補填し、左隣および右隣にそれぞれ１列分の画素データを補填する場合を示しているが、実際には画像データａ［１，１］の上隣および下隣にはそれぞれ４行分の画素データを補填し、左隣および右隣にはそれぞれ４列分の画素データを補填する。以上により、解像度６４×４８の画像データａ［１，１］から、解像度７２×５６の画像データｉｍｇ１［１，１］を生成することができる。
【0252】
前述のように、本実施例では画像データｉｍｇ１を画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］に分割する。画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］のうち、画像データｉｍｇ１［１，１］以外の画像データも、画像データｉｍｇ１［１，１］と同様の方法で生成することができる。
【0253】
【0254】
図１８（Ａ）では、画像のずれは確認されなかった。一方、図１８（Ｂ）では、矢印で示した部分において、画像のずれが確認された。これは、画像データの結合部において、画素データのずれが発生したことに起因する。
【符号の説明】
【0255】
１０：受像装置、１１：コンピュータネットワーク、１２：アンテナ、１３：サーバー、２０：制御部、２１：システムバス、２２：記憶部、２３：通信制御部、２４：画像処理回路、２５：デコーダ回路、２６：映像信号受信部、２７：タイミングコントローラ、２８：ＳＤ、２８＿Ａ１：ＳＤ、２８＿Ａｍ：ＳＤ、２８＿Ｂ１：ＳＤ、２８＿Ｂｍ：ＳＤ、２８＿Ｂｎ：ＳＤ、２８＿Ｃ１：ＳＤ、２８＿Ｃｍ：ＳＤ、２８＿Ｄ１：ＳＤ、２８＿Ｄｍ：ＳＤ、２８＿ｎ：ＳＤ、２８＿Ｕ１：ＳＤ、２８＿Ｕｎ：ＳＤ、２８＿１：ＳＤ、２９：ＧＤ、３０：表示パネル、３０＿Ａ：表示パネル、３０＿Ｂ：表示パネル、３０＿Ｃ：表示パネル、３０＿Ｄ：表示パネル、３１：画素、３２＿Ａ１：ＮＮ回路、３２＿Ａ１０：ＮＮ回路、３２＿Ａｍ：ＮＮ回路、３２＿Ｂ１：ＮＮ回路、３２＿Ｂｍ：ＮＮ回路、３２＿Ｂｎ：ＮＮ回路、３２＿Ｃ１：ＮＮ回路、３２＿Ｃｍ：ＮＮ回路、３２＿Ｄ１：ＮＮ回路、３２＿Ｄｍ：ＮＮ回路、３２＿ｎ：ＮＮ回路、３２＿Ｕ１：ＮＮ回路、３２＿Ｕｎ：ＮＮ回路、３２＿１：ＮＮ回路、３２＿２：ＮＮ回路、３２＿３：ＮＮ回路、３２＿４：ＮＮ回路、３２＿５：ＮＮ回路、３２＿６：ＮＮ回路、３２＿７：ＮＮ回路、３２＿８：ＮＮ回路、３２＿９：ＮＮ回路、３２＿１０：ＮＮ回路、４１＿ｎ：表示パネル、４１＿１：表示パネル、４１＿２：表示パネル、４２＿ｎ：表示パネル、４２＿１：表示パネル、４３＿ｎ：表示パネル、４３＿１：表示パネル、４４＿ｎ：表示パネル、４４＿１：表示パネル、１００：半導体装置、１３０：積和演算素子、１３１：乗算素子、１３２：ＣＭ、１３３：加算素子、１３４：活性化関数素子、１３５：ＣＭ、１４０：プログラマブルスイッチ、１４１：演算層、１４２：スイッチ層、１６０：スイッチ、１６１：ＣＭ、１６２：スイッチ、５１０：電極、５１１：電極、５１２：半導体層、５１６：電極、５１７：電極、３１２５：発光素子、３２３２：トランジスタ、３２３３：容量素子、３４３１：トランジスタ、３４３２：液晶素子、３４３５：ノード、３４３６：ノード、３４３７：ノード、４００１：基板、４００５：シール材、４００６：基板、４００８：液晶層、４０１４：配線、４０１５：電極、４０１８：ＦＰＣ、４０１９：異方性導電層、４０２１：電極、４０３０：電極層、４０３１：電極層、４０３２：絶縁層、４０３３：絶縁層、４０３５：スペーサ、４１０２：絶縁層、４１０３：絶縁層、４１１０：絶縁層、４１１１：絶縁層、４１１２：絶縁層、４５１０：隔壁、４５１１：発光層、４５１４：充填材、７１００：携帯情報端末、７１０１：筐体、７１０２：表示部、７１０３：バンド、７１０４：バックル、７１０５：操作ボタン、７１０６：入出力端子、７１０７：アイコン、７２００：ＰＣ、７２２１：筐体、７２２２：表示部、７２２３：キーボード、７２２４：ポインティングデバイス、７４００：携帯電話機、７４０１：筐体、７４０２：表示部、７４０３：操作ボタン、７４０４：外部接続ポート、７４０５：スピーカ、７４０６：マイクロフォン、７６００：ビデオカメラ、７６４１：筐体、７６４２：筐体、７６４３：表示部、７６４４：操作キー、７６４５：レンズ、７６４６：接続部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】