(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116154
(43)【公開日】2024-08-27
(54)【発明の名称】移動体
(51)【国際特許分類】
H04N 7/18 20060101AFI20240820BHJP
G09G 5/00 20060101ALI20240820BHJP
G06T 1/00 20060101ALI20240820BHJP
B60R 1/20 20220101ALI20240820BHJP
【ＦＩ】
H04N7/18 J
G09G5/00 550C
G09G5/00 550H
G06T1/00 500A
B60R1/20 100
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2024081459
(22)【出願日】2024-05-20
(62)【分割の表示】P 2022182480の分割
【原出願日】2018-04-16
(31)【優先権主張番号】P 2017089495
(32)【優先日】2017-04-28
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2017125394
(32)【優先日】2017-06-27
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】山崎 舜平
(72)【発明者】
【氏名】宮口 厚
(57)【要約】
【課題】新規な構成の表示システム、および移動体を提供すること。
【解決手段】撮像装置、表示装置、特徴量出力回路、画像処理回路およびサーバを有する
表示システムとする。撮像装置は、撮像データを取得する機能を有する。特徴量出力回路
は、撮像データの特徴量データを取得する機能を有する。データベースは、補正用データ
と、検出用データと、を有する。データベースは、特徴量データに応じて補正用データを
画像処理回路に出力する機能を有する。データベースは、機械学習あるいは特徴量データ
の一致または類似に応じて、補正用データを選び出す。画像処理回路は、補正用データを
もとに撮像データを補正することで画像データを生成する機能を有する。表示装置は、画
像データに応じた表示を行う機能を有する。
【選択図】図３
【解決手段】撮像装置、表示装置、特徴量出力回路、画像処理回路およびサーバを有する
表示システムとする。撮像装置は、撮像データを取得する機能を有する。特徴量出力回路
は、撮像データの特徴量データを取得する機能を有する。データベースは、補正用データ
と、検出用データと、を有する。データベースは、特徴量データに応じて補正用データを
画像処理回路に出力する機能を有する。データベースは、機械学習あるいは特徴量データ
の一致または類似に応じて、補正用データを選び出す。画像処理回路は、補正用データを
もとに撮像データを補正することで画像データを生成する機能を有する。表示装置は、画
像データに応じた表示を行う機能を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
撮像装置、表示装置、特徴量出力回路、画像処理回路、およびデータベースを有し、
前記撮像装置は、撮像データを出力する機能を有し、
前記特徴量出力回路は、前記撮像データの特徴量データを出力する機能を有し、
前記データベースは、補正用データと、検出用データと、を有し、前記特徴量データに応じて前記補正用データを前記画像処理回路に出力する機能を有し、
前記画像処理回路は、前記補正用データをもとに前記撮像データを補正することで画像データを生成する機能を有し、
前記表示装置は、前記画像データに応じた表示を行う機能を有することを特徴とする表示システム。
前記撮像装置は、撮像データを出力する機能を有し、
前記特徴量出力回路は、前記撮像データの特徴量データを出力する機能を有し、
前記データベースは、補正用データと、検出用データと、を有し、前記特徴量データに応じて前記補正用データを前記画像処理回路に出力する機能を有し、
前記画像処理回路は、前記補正用データをもとに前記撮像データを補正することで画像データを生成する機能を有し、
前記表示装置は、前記画像データに応じた表示を行う機能を有することを特徴とする表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、表示システムおよび移動体に関する。
【背景技術】
【0002】
車両周辺の情報を撮像するための撮像装置、および撮像で得られた情報を表示するため
の表示装置を備えた車両が普及している（例えば特許文献１）。
の表示装置を備えた車両が普及している（例えば特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－５６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
夜間走行中に車両周辺を撮像するような状況で、車両のヘッドライト（前照灯）などに
よる高照度の光源（眩光）が近付くことになる。そのため得られる撮像データは光源周辺
で過剰な露光となり、光源周辺に対応する領域の表示が白くなるといった問題がある。一
方露光を抑えることで、光源周辺の露光が調節可能となるものの表示する画像が暗くなっ
てしまい、車両全体の大きさや形状の把握が困難となる。つまり、得られる情報が限定的
となる。
よる高照度の光源（眩光）が近付くことになる。そのため得られる撮像データは光源周辺
で過剰な露光となり、光源周辺に対応する領域の表示が白くなるといった問題がある。一
方露光を抑えることで、光源周辺の露光が調節可能となるものの表示する画像が暗くなっ
てしまい、車両全体の大きさや形状の把握が困難となる。つまり、得られる情報が限定的
となる。
【0005】
本発明の一態様は、新規な表示システムおよび移動体等を提供することを課題の一とす
る。
る。
【0006】
または本発明の一態様は、撮像環境に起因して、取得した撮像データに欠損（不鮮明な
）部分が生じても正常な表示を行うことができる、新規な表示システムおよび移動体等を
提供することを課題の一とする。または本発明の一態様は、視認性の向上を図ることがで
きる、新規な表示システムおよび移動体等を提供することを課題の一とする。
）部分が生じても正常な表示を行うことができる、新規な表示システムおよび移動体等を
提供することを課題の一とする。または本発明の一態様は、視認性の向上を図ることがで
きる、新規な表示システムおよび移動体等を提供することを課題の一とする。
【課題を解決するための手段】
【0007】
本発明の一態様の表示システムは、撮像装置で得られる撮像データにおいて、鮮明に撮
像された被写体の一部の情報から特徴量を抽出し、データベースにおいて照合することで
対応する補正用データを選び出して、この補正用データをもとに撮像データの不鮮明な領
域を補正することを要旨とする。
像された被写体の一部の情報から特徴量を抽出し、データベースにおいて照合することで
対応する補正用データを選び出して、この補正用データをもとに撮像データの不鮮明な領
域を補正することを要旨とする。
【0008】
本発明の一態様は、撮像装置、表示装置、特徴量出力回路、画像処理回路、およびデー
タベースを有し、撮像装置は、撮像データを出力する機能を有し、特徴量出力回路は、撮
像データの特徴量データを出力する機能を有し、データベースは、補正用データと、検出
用データと、を有し、特徴量データに応じて補正用データを画像処理回路に出力する機能
を有し、画像処理回路は、補正用データをもとに撮像データを補正することで画像データ
を生成する機能を有し、表示装置は、画像データに応じた表示を行う機能を有する表示シ
ステムである。
タベースを有し、撮像装置は、撮像データを出力する機能を有し、特徴量出力回路は、撮
像データの特徴量データを出力する機能を有し、データベースは、補正用データと、検出
用データと、を有し、特徴量データに応じて補正用データを画像処理回路に出力する機能
を有し、画像処理回路は、補正用データをもとに撮像データを補正することで画像データ
を生成する機能を有し、表示装置は、画像データに応じた表示を行う機能を有する表示シ
ステムである。
【0009】
本発明の一態様において、データベースは、特徴量データに一致または類似する検出用
データを選び出して検出用データに対応する補正用データを画像処理回路に出力する機能
を有する表示システムが好ましい。
データを選び出して検出用データに対応する補正用データを画像処理回路に出力する機能
を有する表示システムが好ましい。
【0010】
本発明の一態様において、データベースは、特徴量データを学習用データとした機械学
習により重みパラメータとなる検出用データを更新し、特徴量データに一致または類似す
る補正用データを推論することができる機能を有する表示システムが好ましい。
習により重みパラメータとなる検出用データを更新し、特徴量データに一致または類似す
る補正用データを推論することができる機能を有する表示システムが好ましい。
【0011】
本発明の一態様は、撮像装置、表示装置、特徴量出力回路、画像処理回路、および送受
信回路と、を有し、撮像装置は、撮像データを取得する機能を有し、特徴量出力回路は、
撮像データの特徴量データを取得する機能を有し、特徴量データは、送受信回路を介して
、補正用データと、検出用データとを有するデータベースに送信される機能を有し、画像
処理回路は、送受信回路を介して、データベースから補正用データを受信し、補正用デー
タをもとに撮像データを補正することで画像データを生成する機能を有し、表示装置は、
画像データに応じた表示を行う機能を有する移動体である。
信回路と、を有し、撮像装置は、撮像データを取得する機能を有し、特徴量出力回路は、
撮像データの特徴量データを取得する機能を有し、特徴量データは、送受信回路を介して
、補正用データと、検出用データとを有するデータベースに送信される機能を有し、画像
処理回路は、送受信回路を介して、データベースから補正用データを受信し、補正用デー
タをもとに撮像データを補正することで画像データを生成する機能を有し、表示装置は、
画像データに応じた表示を行う機能を有する移動体である。
【0012】
本発明の一態様において、補正用データは、検出用データに対応するデータであり、検
出用データは、特徴量データに一致または類似するデータである移動体が好ましい。
出用データは、特徴量データに一致または類似するデータである移動体が好ましい。
【0013】
本発明の一態様において、補正用データは、特徴量データを学習用データとした機械学
習により重みパラメータとなる検出用データを更新したデータベースにおいて、特徴量デ
ータを入力することで推論して得られるデータである移動体が好ましい。
習により重みパラメータとなる検出用データを更新したデータベースにおいて、特徴量デ
ータを入力することで推論して得られるデータである移動体が好ましい。
【0014】
なおその他の本発明の一態様については、以下で述べる「発明を実施するための形態」
、および「図面」に記載されている。
、および「図面」に記載されている。
【発明の効果】
【0015】
本発明の一態様は、新規な表示システム、および当該表示システムを備えた移動体等を
提供することができる。
提供することができる。
【0016】
または本発明の一態様は、撮像環境に起因して、取得した撮像データに欠損（不鮮明な
）部分が生じても正常な表示を行うことができる、新規な表示システムおよび移動体等を
提供することができる。または本発明の一態様は、視認性の向上を図ることができる、新
規な表示システムおよび移動体等を提供することができる。
）部分が生じても正常な表示を行うことができる、新規な表示システムおよび移動体等を
提供することができる。または本発明の一態様は、視認性の向上を図ることができる、新
規な表示システムおよび移動体等を提供することができる。
【図面の簡単な説明】
【0017】
【図1】表示システムを説明するためのブロック図。
【図2】表示システムを説明するためのブロック図。
【図3】表示システムを説明するための概念図。
【図4】表示システムを説明するためのブロック図。
【図5】表示システムを説明するためのブロック図。
【図6】表示システムを説明するためのフローチャート。
【図7】表示システムを説明するためのフローチャート。
【図8】表示システムを説明するためのブロック図。
【図9】表示システムを説明するための図。
【図10】表示システムを説明するための図。
【図11】表示システムの動作の具体例を説明するための図。
【図12】表示システムの動作の具体例を説明するための図。
【図13】表示システムの動作の具体例を説明するための図。
【図14】表示システムの動作の具体例を説明するための図。
【図15】表示システムの動作の具体例を説明するための図。
【図16】半導体装置の構成例を示す図。
【図17】メモリセルの構成例を示す図。
【図18】オフセット回路の構成例を示す図。
【図19】タイミングチャート。
【図20】積差演算回路の応用例を示す図。
【図21】表示装置の一態様を示す上面図。
【図22】表示装置の一態様を示す断面図。
【図23】表示装置の一態様を示す断面図。
【図24】移動体における表示装置を説明するための図。
【図25】移動体の一例を説明する図。
【発明を実施するための形態】
【0018】
以下、本発明の一態様について図面を参照しながら説明する。但し、本発明の一態様は
多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することな
くその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従っ
て、本発明は、以下の記載内容に限定して解釈されるものではない。
多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することな
くその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従っ
て、本発明は、以下の記載内容に限定して解釈されるものではない。
【0019】
（実施の形態１）
＜表示システムの構成＞
本発明の一態様の表示システムについて説明する。
＜表示システムの構成＞
本発明の一態様の表示システムについて説明する。
【0020】
図１は、本発明の一態様である表示システムの一例を説明するためのブロック図である
。図１に示す表示システム１０は、撮像装置１１、特徴量出力回路１２、データベース１
３、画像処理回路１４および表示装置１５を有する。
。図１に示す表示システム１０は、撮像装置１１、特徴量出力回路１２、データベース１
３、画像処理回路１４および表示装置１５を有する。
【0021】
撮像装置１１は、具体的には、自動車などの移動体に取り付けられるカメラモジュール
である。撮像装置１１は、撮像データ１６を出力する機能を有する。撮像データ１６は、
特徴量出力回路１２および画像処理回路１４に出力される。
である。撮像装置１１は、撮像データ１６を出力する機能を有する。撮像データ１６は、
特徴量出力回路１２および画像処理回路１４に出力される。
【0022】
撮像装置１１はダイナミックレンジの広い撮像素子を有することが好適である。例えば
、セレンを有する撮像素子を備えた撮像装置１１とすることで、明暗差の大きい被写体を
撮像する際に、撮像データの不鮮明な部分を減らすことができる。
、セレンを有する撮像素子を備えた撮像装置１１とすることで、明暗差の大きい被写体を
撮像する際に、撮像データの不鮮明な部分を減らすことができる。
【0023】
特徴量出力回路１２は、撮像データ１６における特徴量を抽出し、特徴量データとして
出力する。特徴量の抽出は、撮像装置１１で得られる撮像データと、被写体の相対速度や
相対位置を検出するのに用いるセンサなどから取得できるデータと、を組み合わせて行う
ことが有効である。
出力する。特徴量の抽出は、撮像装置１１で得られる撮像データと、被写体の相対速度や
相対位置を検出するのに用いるセンサなどから取得できるデータと、を組み合わせて行う
ことが有効である。
【0024】
特徴量としては、外観の特徴量（外観特徴量）がある。例えば、自動車における外観特
徴量は、一例として、自車の車体色、ナンバープレートのナンバー、車種、車幅、車高、
ウインカーランプ、ヘッドライトなどがある。これらの特徴量の特徴量データは、符号化
されたデータ、あるいは元の撮像データから切り出されたデータとして、データベース１
３に出力される。
徴量は、一例として、自車の車体色、ナンバープレートのナンバー、車種、車幅、車高、
ウインカーランプ、ヘッドライトなどがある。これらの特徴量の特徴量データは、符号化
されたデータ、あるいは元の撮像データから切り出されたデータとして、データベース１
３に出力される。
【0025】
特徴量の設定は、デフォルトでは、画像認識による検出が容易なものを設定しておくこ
とで、画像認識処理の負荷を低減することができる。なおウインカーランプやブレーキラ
ンプは、点灯または点滅が状況により変化するため、画像認識の対象から除外することも
有効である。
とで、画像認識処理の負荷を低減することができる。なおウインカーランプやブレーキラ
ンプは、点灯または点滅が状況により変化するため、画像認識の対象から除外することも
有効である。
【0026】
撮像データ１６の不鮮明な領域は、明暗のコントラスト比が小さいなどのために、特徴
量の抽出が困難な領域である。そのため特徴量出力回路１２は、特徴量を抽出することで
撮像データの不鮮明な領域のデータを削減することができる。
量の抽出が困難な領域である。そのため特徴量出力回路１２は、特徴量を抽出することで
撮像データの不鮮明な領域のデータを削減することができる。
【0027】
また特徴量出力回路１２は、例えば、Ｈａａｒ－ｌｉｋｅ特徴、ＨＯＧ（Ｈｉｓｔｏｇ
ｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴、ＳＩＦＴ（Ｓｃａｌｄ
Ｉｎｖａｒｉａｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴、またはＳＵＲＦ
（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）を抽出する局所勾配特徴抽
出技術などを組みあわせて所望箇所の特徴量データを抽出して出力することも有効である
。また撮像データ１６をガウシアンフィルタで平滑化し、特徴的な領域の情報を選別する
ことも有効である。
ｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴、ＳＩＦＴ（Ｓｃａｌｄ
Ｉｎｖａｒｉａｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴、またはＳＵＲＦ
（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）を抽出する局所勾配特徴抽
出技術などを組みあわせて所望箇所の特徴量データを抽出して出力することも有効である
。また撮像データ１６をガウシアンフィルタで平滑化し、特徴的な領域の情報を選別する
ことも有効である。
【0028】
また局所勾配特徴抽出技術とＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ
）学習とを組み合わせた物体検出を行ない、所望箇所の特徴量データを抽出して出力する
ことも有効である。特徴量出力回路１２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａ
ｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）学習によって自動算出された特徴量を特徴量データ
として出力してもよい。
）学習とを組み合わせた物体検出を行ない、所望箇所の特徴量データを抽出して出力する
ことも有効である。特徴量出力回路１２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａ
ｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）学習によって自動算出された特徴量を特徴量データ
として出力してもよい。
【0029】
特徴量出力回路１２は、主にマイクロコンピュータとして構成され、プロセッサ、メモ
リ、Ｉ／Ｏ、及びこれらを接続するバスによって構成される。特徴量出力回路１２では、
撮像装置１１の他、各種センサの情報に基づき、プロセッサがメモリに予め記憶されてい
るプログラムを実行することによって各種機能を実現することができる。
リ、Ｉ／Ｏ、及びこれらを接続するバスによって構成される。特徴量出力回路１２では、
撮像装置１１の他、各種センサの情報に基づき、プロセッサがメモリに予め記憶されてい
るプログラムを実行することによって各種機能を実現することができる。
【0030】
データベース１３は、特徴量データ１７、補正用データ１８および検出用データ１９を
記憶する。補正用データ１８は、撮像データ１６を補正するためのデータである。検出用
データ１９は、特徴量データをもとに補正用データ１８を選び出すためのデータである。
記憶する。補正用データ１８は、撮像データ１６を補正するためのデータである。検出用
データ１９は、特徴量データをもとに補正用データ１８を選び出すためのデータである。
【0031】
補正用データ１８は、画像処理回路１４において、撮像データ１６を補正するためのデ
ータである。補正用データ１８は、撮像データ１６より解像度が高い表示が可能なデータ
とすることが好ましい。当該構成とすることで、撮像データ１６の補正によって得られる
画像の解像度を高めることができ、表示装置１５における表示の視認性を高めることがで
きる。
ータである。補正用データ１８は、撮像データ１６より解像度が高い表示が可能なデータ
とすることが好ましい。当該構成とすることで、撮像データ１６の補正によって得られる
画像の解像度を高めることができ、表示装置１５における表示の視認性を高めることがで
きる。
【0032】
なお補正用データ１８を用いた撮像データの補正によって得られる画像データは、実際
に目視して得られる像とは異なる場合がある。例えば、車種、車体の形状などが部分的に
異なる画像データとなる場合がある。あるいは、同じ特徴量データを有する被写体から補
正用データを選び出す場合がある。このような場合でも、補正のない画像データと比べて
被写体の全体の情報をおぎなうことができるため、映し出された画像によってより効率的
に状況を把握することができる。
に目視して得られる像とは異なる場合がある。例えば、車種、車体の形状などが部分的に
異なる画像データとなる場合がある。あるいは、同じ特徴量データを有する被写体から補
正用データを選び出す場合がある。このような場合でも、補正のない画像データと比べて
被写体の全体の情報をおぎなうことができるため、映し出された画像によってより効率的
に状況を把握することができる。
【0033】
検出用データ１９は、特徴量出力回路１２より入力される特徴量データ１７をもとに、
補正用データ１８を選び出すことができるデータである。例えば検出用データは、補正用
データ１８をもとに抽出された外観特徴量などの特徴量データとすることができる。当該
構成により、特徴量データ１７と一致または類似する検出用データ１９を選び出すことに
よって、所望の補正用データ１８を選択することができる。
補正用データ１８を選び出すことができるデータである。例えば検出用データは、補正用
データ１８をもとに抽出された外観特徴量などの特徴量データとすることができる。当該
構成により、特徴量データ１７と一致または類似する検出用データ１９を選び出すことに
よって、所望の補正用データ１８を選択することができる。
【0034】
あるいは検出用データ１９は、ＣＮＮ学習における重みパラメータとなるデータでもよ
い。この場合、データベース１３におけるＣＮＮ学習は、予め収集した特徴量出力回路１
２より入力される特徴量データ１７に補正用データ１８に対応する正解ラベルを付与した
データを学習データとして重みパラメータである検出用データ１９を更新して行う。ＣＮ
Ｎ学習を繰り返すことで検出用データ１９が更新される。更新を繰り返すことで、精度を
向上させることができる。更新された検出用データ１９を重みパラメータとしたＣＮＮを
用いることで、特徴量データ１７の入力に応じた補正用データ１８を精度よく選択するこ
とができる。
い。この場合、データベース１３におけるＣＮＮ学習は、予め収集した特徴量出力回路１
２より入力される特徴量データ１７に補正用データ１８に対応する正解ラベルを付与した
データを学習データとして重みパラメータである検出用データ１９を更新して行う。ＣＮ
Ｎ学習を繰り返すことで検出用データ１９が更新される。更新を繰り返すことで、精度を
向上させることができる。更新された検出用データ１９を重みパラメータとしたＣＮＮを
用いることで、特徴量データ１７の入力に応じた補正用データ１８を精度よく選択するこ
とができる。
【0035】
データベース１３は、補正用データ１８および検出用データ１９を記憶する機能の他、
特徴量データ１７に応じた補正用データ１８を選び出すためのプログラムを記憶するメモ
リと、当該プログラムを実行するためのプロセッサとを備えたコンピュータとしての機能
を有する。データベース１３では、コンピュータに予め記憶されているプログラムを実行
することによって各種機能を実現することができる。
特徴量データ１７に応じた補正用データ１８を選び出すためのプログラムを記憶するメモ
リと、当該プログラムを実行するためのプロセッサとを備えたコンピュータとしての機能
を有する。データベース１３では、コンピュータに予め記憶されているプログラムを実行
することによって各種機能を実現することができる。
【0036】
画像処理回路１４は、補正用データ１８をもとに撮像データ１６の不鮮明な領域のデー
タを補正し、補正された撮像データを画像データとして出力する機能を有する回路である
。なお撮像データ１６の不鮮明な領域は、明暗のコントラスト比が小さい領域などの、特
徴量の抽出が困難な領域に対応する。そのため、特徴量の抽出が困難な領域を補正用デー
タ１８をもとに補正する構成を一例として挙げることができる。補正用データ１８は、撮
像データ１６での被写体の全体の輪郭を補正する際に特に有効である。
タを補正し、補正された撮像データを画像データとして出力する機能を有する回路である
。なお撮像データ１６の不鮮明な領域は、明暗のコントラスト比が小さい領域などの、特
徴量の抽出が困難な領域に対応する。そのため、特徴量の抽出が困難な領域を補正用デー
タ１８をもとに補正する構成を一例として挙げることができる。補正用データ１８は、撮
像データ１６での被写体の全体の輪郭を補正する際に特に有効である。
【0037】
画像処理回路１４は、一旦取得した補正用データを保持する構成が好ましい。当該構成
とすることで一旦補正用データ１８を保持しておけば、繰り返して撮像データの補正に用
いることができる。
とすることで一旦補正用データ１８を保持しておけば、繰り返して撮像データの補正に用
いることができる。
【0038】
なお補正用データ１８は、撮像データ１６より解像度が高いことが好適である。撮像装
置１１で得られる撮像データの解像度がディスプレイの解像度に比べて小さい場合、補正
用データ１８を撮像データの超解像処理に用いることができ、補正されて表示される画像
をより鮮明にすることができる。
置１１で得られる撮像データの解像度がディスプレイの解像度に比べて小さい場合、補正
用データ１８を撮像データの超解像処理に用いることができ、補正されて表示される画像
をより鮮明にすることができる。
【0039】
表示装置１５は、画像処理回路で生成された画像データに基づく表示を行う。表示装置
１５は、自動車の場合、ルームミラーの代わりとして用いることができる。表示装置１５
としては、液晶表示装置の他、エレクトロルミネッセンス素子を有する自発光型表示装置
などを用いることができる。
１５は、自動車の場合、ルームミラーの代わりとして用いることができる。表示装置１５
としては、液晶表示装置の他、エレクトロルミネッセンス素子を有する自発光型表示装置
などを用いることができる。
【0040】
表示システム１０は、撮像装置１１および表示装置１５を有する。表示システム１０は
、撮像装置１１で得られる撮像データ１６において、被写体の一部の情報から特徴量を抽
出し、データベース１３において照合することで補正用データ１８を選び出して、この補
正用データ１８をもとに撮像データ１６の不鮮明な領域を補正する。
、撮像装置１１で得られる撮像データ１６において、被写体の一部の情報から特徴量を抽
出し、データベース１３において照合することで補正用データ１８を選び出して、この補
正用データ１８をもとに撮像データ１６の不鮮明な領域を補正する。
【0041】
表示システム１０は、自動車などの移動体への適用が好適である。具体的には、自動車
周辺をカメラなどの撮像装置で撮像し、その様子を表示装置で視認する状況で特に好適で
ある。なお移動体とは、自動車のように移動する車両のことである。したがって移動体は
自動車に限らず、バス、電車、飛行機などを含む。
周辺をカメラなどの撮像装置で撮像し、その様子を表示装置で視認する状況で特に好適で
ある。なお移動体とは、自動車のように移動する車両のことである。したがって移動体は
自動車に限らず、バス、電車、飛行機などを含む。
【0042】
上述のように撮像装置および表示装置を搭載した自動車では、昼夜、晴雨等の状況の変
化に応じて、撮像装置で得られる撮像データに不鮮明な領域が生じる場合がある。例えば
、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等が、不鮮明な領域を
生じさせる原因となる。このように得られる撮像データに不鮮明な領域が存在する場合、
被写体全体の大きさや形状の把握が困難となり、得られる情報が限定的となる。上述した
ように本発明の一態様の表示システム１０では、この被写体の一部の情報から特徴量を抽
出し、データベース１３において照合することで補正用データ１８を選び出して、撮像デ
ータ１６の不鮮明な領域を補正する。そのため、視認性の向上に有効である。
化に応じて、撮像装置で得られる撮像データに不鮮明な領域が生じる場合がある。例えば
、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等が、不鮮明な領域を
生じさせる原因となる。このように得られる撮像データに不鮮明な領域が存在する場合、
被写体全体の大きさや形状の把握が困難となり、得られる情報が限定的となる。上述した
ように本発明の一態様の表示システム１０では、この被写体の一部の情報から特徴量を抽
出し、データベース１３において照合することで補正用データ１８を選び出して、撮像デ
ータ１６の不鮮明な領域を補正する。そのため、視認性の向上に有効である。
【0043】
本発明の表示システム１０の適用は、移動体に限らない。撮像装置で撮像した撮像デー
タを表示装置に表示する際に有効である。例えば、防犯用カメラやスマートフォンなどの
撮像装置で得られる撮像データの不鮮明な部分を補正する場合に有効である。
タを表示装置に表示する際に有効である。例えば、防犯用カメラやスマートフォンなどの
撮像装置で得られる撮像データの不鮮明な部分を補正する場合に有効である。
【0044】
なおデータベース１３は、自動車と離れた遠隔地に設ける場合、図２に示す表示システ
ムのブロック図のようにすればよい。図２に示す表示システム１０Ａは、図１の表示シス
テム１０の構成に送受信回路２０およびネットワーク２１を追加した構成である。つまり
、特徴量出力回路１２からデータベース１３に出力されるデータ、およびデータベースか
ら画像処理回路１４に出力されるデータは、送受信回路２０およびネットワーク２１を介
して行われる。
ムのブロック図のようにすればよい。図２に示す表示システム１０Ａは、図１の表示シス
テム１０の構成に送受信回路２０およびネットワーク２１を追加した構成である。つまり
、特徴量出力回路１２からデータベース１３に出力されるデータ、およびデータベースか
ら画像処理回路１４に出力されるデータは、送受信回路２０およびネットワーク２１を介
して行われる。
【0045】
図２の表示システム１０Ａの構成は、図３（Ａ）に図示する概念図で説明することがで
きる。すなわち、表示システム１０Ａは、送受信回路２０が取り付けられた自動車２２Ａ
から中継局２４を介してデータベース１３とのデータの送受信を行う構成となる。
きる。すなわち、表示システム１０Ａは、送受信回路２０が取り付けられた自動車２２Ａ
から中継局２４を介してデータベース１３とのデータの送受信を行う構成となる。
【0046】
なお図１の表示システム１０の構成は、図３（Ｂ）に図示する概念図で説明することが
できる。すなわち、表示システム１０を構成する撮像装置１１、特徴量出力回路１２、デ
ータベース１３、画像処理回路１４および表示装置１５は、自動車２２内に有する構成と
なる。特徴量出力回路１２、データベース１３および画像処理回路１４は、データ処理回
路２３として図示している。
できる。すなわち、表示システム１０を構成する撮像装置１１、特徴量出力回路１２、デ
ータベース１３、画像処理回路１４および表示装置１５は、自動車２２内に有する構成と
なる。特徴量出力回路１２、データベース１３および画像処理回路１４は、データ処理回
路２３として図示している。
【0047】
また図１の表示システム１０の構成において、各構成を複数設ける構成としてもよい。
例えば図４には、複数の撮像装置１１＿１－１１＿ｎ（ｎは自然数）および表示装置１５
＿１－１５＿ｎを備えた表示システム１０Ｂのブロック図について図示している。なお図
４の構成では、撮像装置１１＿１－１１＿ｎが出力する複数の撮像データ１６の他、特徴
量出力回路１２、データベース１３および画像処理回路１４が出力するデータについても
複数となる。なお表示装置１５は、大型の表示部を有することで、複数の撮像装置１１＿
１－１１＿ｎで撮像して得られる画像データを並べて表示する構成とすることも可能であ
る。
例えば図４には、複数の撮像装置１１＿１－１１＿ｎ（ｎは自然数）および表示装置１５
＿１－１５＿ｎを備えた表示システム１０Ｂのブロック図について図示している。なお図
４の構成では、撮像装置１１＿１－１１＿ｎが出力する複数の撮像データ１６の他、特徴
量出力回路１２、データベース１３および画像処理回路１４が出力するデータについても
複数となる。なお表示装置１５は、大型の表示部を有することで、複数の撮像装置１１＿
１－１１＿ｎで撮像して得られる画像データを並べて表示する構成とすることも可能であ
る。
【0048】
また図１の表示システム１０の構成において、周辺の照度に応じて補正の有無を切り替
える構成としてもよい。例えば図５には、図１の表示システム１０の構成にセンサ２５を
追加した表示システム１０Ｃのブロック図について図示している。
える構成としてもよい。例えば図５には、図１の表示システム１０の構成にセンサ２５を
追加した表示システム１０Ｃのブロック図について図示している。
【0049】
図５の表示システム１０Ｃの構成において、センサ２５は、その出力に応じて、特徴量
出力回路１２の機能を停止するか否かを制御することができる。例えばセンサ２５が照度
センサの場合、照度が大きいと特徴量出力回路１２からの特徴量データの出力を停止し、
照度が小さいと特徴量出力回路１２からの特徴量データの出力を開始する構成とすること
ができる。
出力回路１２の機能を停止するか否かを制御することができる。例えばセンサ２５が照度
センサの場合、照度が大きいと特徴量出力回路１２からの特徴量データの出力を停止し、
照度が小さいと特徴量出力回路１２からの特徴量データの出力を開始する構成とすること
ができる。
【0050】
特徴量出力回路１２からの特徴量データの出力の切り替えは、ユーザによる切り替え機
能のオンとオフによって行う構成としてもよい。この場合、タッチセンサなどによる入力
に応じて、機能の開始と停止を切り替えることができる構成とすればよい。
能のオンとオフによって行う構成としてもよい。この場合、タッチセンサなどによる入力
に応じて、機能の開始と停止を切り替えることができる構成とすればよい。
【0051】
センサ２５として、被写体の相対速度や相対位置を検出するのに用いることができるミ
リ波レーダ等の他のセンサなどと組み合わせて用いる構成としてもよい。
リ波レーダ等の他のセンサなどと組み合わせて用いる構成としてもよい。
【0052】
以上説明した本発明の一態様の表示システムでは、撮像環境に起因して、取得した撮像
データに欠損（不鮮明）部分が生じても、補正用データをもとに撮像データを補正し、正
常な表示を行うための画像データを生成することができる。そのため、表示装置に表示さ
れた画像の視認性の向上を図ることができる。
データに欠損（不鮮明）部分が生じても、補正用データをもとに撮像データを補正し、正
常な表示を行うための画像データを生成することができる。そのため、表示装置に表示さ
れた画像の視認性の向上を図ることができる。
【0053】
【0054】
図６で説明する表示システムの動作では、撮像データ１６の特徴量を抽出することで特
徴量データをデータベース１３に入力し、特徴量データ１７に一致または類似する検出用
データ１９を比較することで補正用データ１８を選び出す。そして、選び出された補正用
データ１８を画像処理回路１４で撮像データ１６の補正に用いる。
徴量データをデータベース１３に入力し、特徴量データ１７に一致または類似する検出用
データ１９を比較することで補正用データ１８を選び出す。そして、選び出された補正用
データ１８を画像処理回路１４で撮像データ１６の補正に用いる。
【0055】
まずステップＳ１１は、撮像装置１１で撮像データ１６を取得するステップである。撮
像データ１６は、特徴量出力回路１２に出力される。同じ撮像データ１６は、画像処理回
路１４にも出力される。
像データ１６は、特徴量出力回路１２に出力される。同じ撮像データ１６は、画像処理回
路１４にも出力される。
【0056】
ステップＳ１２は、入力された撮像データ１６に表示異常があるか否かを判定するステ
ップである。ステップＳ１２は、ステップＳ１３の特徴量の抽出とともにおこなってもよ
い。表示異常がある場合、外観特徴量などの特徴量の抽出が部分的に困難となる。そのた
め、特徴量データの変化に基づく、表示異常の判定を行うことが有効である。あるいは、
照度センサなどのセンサの出力に応じて表示異常を判定する構成でもよい。ユーザが撮像
データ１６に基づく表示を見て表示異常を判定し、センサ等による切り替えを行ってもよ
い。表示異常がない（Ｎｏ）と判定すればステップＳ１７での表示装置１５による表示を
行うステップに進む。表示異常がある（Ｙｅｓ）と判定すれば、ステップＳ１３に進む。
ップである。ステップＳ１２は、ステップＳ１３の特徴量の抽出とともにおこなってもよ
い。表示異常がある場合、外観特徴量などの特徴量の抽出が部分的に困難となる。そのた
め、特徴量データの変化に基づく、表示異常の判定を行うことが有効である。あるいは、
照度センサなどのセンサの出力に応じて表示異常を判定する構成でもよい。ユーザが撮像
データ１６に基づく表示を見て表示異常を判定し、センサ等による切り替えを行ってもよ
い。表示異常がない（Ｎｏ）と判定すればステップＳ１７での表示装置１５による表示を
行うステップに進む。表示異常がある（Ｙｅｓ）と判定すれば、ステップＳ１３に進む。
【0057】
ステップＳ１３は、特徴量出力回路１２で特徴量抽出を行うステップである。得られた
特徴量は、特徴量データ１７としてデータベース１３に出力される。特徴量データ１７は
、画像認識処理に基づく外観特徴量と、特徴的な領域の局所勾配特徴抽出技術で得られる
特徴量と、を組み合わせて得られるデータである。
特徴量は、特徴量データ１７としてデータベース１３に出力される。特徴量データ１７は
、画像認識処理に基づく外観特徴量と、特徴的な領域の局所勾配特徴抽出技術で得られる
特徴量と、を組み合わせて得られるデータである。
【0058】
ステップＳ１４は、ステップＳ１３で得られた特徴量データに対応する、データベース
１３に記憶された検出用データ１９を選び出す（サーチする）ステップである。検出用デ
ータ１９は、上述したように、特徴量データ１７をもとに補正用データ１８を選び出すた
めのデータである。
１３に記憶された検出用データ１９を選び出す（サーチする）ステップである。検出用デ
ータ１９は、上述したように、特徴量データ１７をもとに補正用データ１８を選び出すた
めのデータである。
【0059】
ステップＳ１５は、ステップＳ１４でのサーチによって特徴量データ１７に一致または
類似した（ヒットした）検出用データ１９に対応する補正用データ１８を画像処理回路１
４に出力させるステップである。補正用データ１８は、上述したように、撮像データ１６
の欠損（不鮮明）領域を補正するためのデータである。
類似した（ヒットした）検出用データ１９に対応する補正用データ１８を画像処理回路１
４に出力させるステップである。補正用データ１８は、上述したように、撮像データ１６
の欠損（不鮮明）領域を補正するためのデータである。
【0060】
ステップＳ１６は、撮像データ１６を補正して画像データを生成するステップである。
補正された撮像データ１６をもとに得られる画像データは、光源周辺で過剰な露光や、被
写体全体の大きさや形状の情報が補正されたデータである。つまり補正用データ１８によ
って、得られる情報を補完することができる。
補正された撮像データ１６をもとに得られる画像データは、光源周辺で過剰な露光や、被
写体全体の大きさや形状の情報が補正されたデータである。つまり補正用データ１８によ
って、得られる情報を補完することができる。
【0061】
ステップＳ１７は、表示装置１５での画像データに基づく表示を行うステップである。
【0062】
図６で説明した表示システムの一連の動作では、特徴量データ１７に一致または類似す
る検出用データ１９を比較し、補正用データ１８を選び出すことができる。選び出された
補正用データ１８を画像処理回路１４で撮像データ１６の補正に用いることで、取得した
撮像データに欠損（不鮮明）部分が生じた際に正常な表示を行うための画像データを生成
することができる。そのため、表示装置に表示された画像の視認性の向上を図ることがで
きる。
る検出用データ１９を比較し、補正用データ１８を選び出すことができる。選び出された
補正用データ１８を画像処理回路１４で撮像データ１６の補正に用いることで、取得した
撮像データに欠損（不鮮明）部分が生じた際に正常な表示を行うための画像データを生成
することができる。そのため、表示装置に表示された画像の視認性の向上を図ることがで
きる。
【0063】
また表示システムの動作では、撮像データ１６の特徴量をデータベース１３に抽出させ
て特徴量データから補正用データ１８を選び出すことができる。なおデータベース１３は
、検出用データ１９をＣＮＮ学習における重みパラメータとして特徴量データに応じた補
正用データ１８を推論するように学習をさせておく。そして、選び出された補正用データ
１８を画像処理回路１４で撮像データ１６の補正に用いることができる。
て特徴量データから補正用データ１８を選び出すことができる。なおデータベース１３は
、検出用データ１９をＣＮＮ学習における重みパラメータとして特徴量データに応じた補
正用データ１８を推論するように学習をさせておく。そして、選び出された補正用データ
１８を画像処理回路１４で撮像データ１６の補正に用いることができる。
【0064】
図７では、検出用データ１９をＣＮＮ学習における重みパラメータとする場合の表示シ
ステム１０の学習の例を説明するためのフローチャートを示す。
ステム１０の学習の例を説明するためのフローチャートを示す。
【0065】
ステップＳ２１は、上記ステップＳ１３と同じ特徴量抽出を行う。つまりステップＳ１
２で表示異常のある撮像データ１６の特徴量抽出を行う。ステップＳ２１で得られる特徴
量データは訓練用のデータおよびテスト用のデータであり、元になる撮像データは異なる
データであることが好ましく、大量の特徴量データを生成して用意することが好ましい。
２で表示異常のある撮像データ１６の特徴量抽出を行う。ステップＳ２１で得られる特徴
量データは訓練用のデータおよびテスト用のデータであり、元になる撮像データは異なる
データであることが好ましく、大量の特徴量データを生成して用意することが好ましい。
【0066】
ステップＳ２２は、特徴量データに正解ラベルを付与するステップである。正解ラベル
は、特徴量データに対応する撮像データ１６の補正に最適な補正用データ１８に相当する
。
は、特徴量データに対応する撮像データ１６の補正に最適な補正用データ１８に相当する
。
【0067】
ステップＳ２３は、訓練用の特徴量データを与えて、重みパラメータとなる検出用デー
タ１９の更新を行うステップである。重みパラメータの更新は、誤差逆伝播法など既知の
学習方法を用いて行うことが有効である。
タ１９の更新を行うステップである。重みパラメータの更新は、誤差逆伝播法など既知の
学習方法を用いて行うことが有効である。
【0068】
ステップＳ２４は、特徴量データの入力を行うステップである。ステップＳ２４で入力
する特徴量データは、正解ラベルを付したテスト用のデータである。
する特徴量データは、正解ラベルを付したテスト用のデータである。
【0069】
ステップＳ２５は、ステップＳ２４によって得られた出力信号が先に付した正解ラベル
に対応するか否かの判定（Ｙｅｓ又はＮｏ）を行う。対応しなければ、ステップＳ２３で
のパラメータの更新を繰り返す。
に対応するか否かの判定（Ｙｅｓ又はＮｏ）を行う。対応しなければ、ステップＳ２３で
のパラメータの更新を繰り返す。
【0070】
ステップＳ２６は、特徴量データ１７に一致または類似する補正用データ１８が得られ
るかの精度が設定値以下であるかの判定（Ｙｅｓ又はＮｏ）である。精度が設定値以下で
あれば、ステップＳ２３でのパラメータの更新を繰り返す。
るかの精度が設定値以下であるかの判定（Ｙｅｓ又はＮｏ）である。精度が設定値以下で
あれば、ステップＳ２３でのパラメータの更新を繰り返す。
【0071】
ＣＮＮ学習を繰り返すことで検出用データ１９が更新される。更新を繰り返すことで、
特徴量データ１７の入力に対応する補正用データ１８の精度を向上させることができる。
更新された検出用データ１９を重みパラメータとしたＣＮＮを用いることで、未知の特徴
量データ１７の入力に応じた補正用データ１８を精度よく選択することができる。
特徴量データ１７の入力に対応する補正用データ１８の精度を向上させることができる。
更新された検出用データ１９を重みパラメータとしたＣＮＮを用いることで、未知の特徴
量データ１７の入力に応じた補正用データ１８を精度よく選択することができる。
【0072】
【0073】
図８に示す畳み込みニューラルネットワーク３０は、入力層３１、中間層３２および出
力層３３で構成される。
力層３３で構成される。
【0074】
図８では、入力層３１において、入力データである特徴量データ１７を図示している。
【0075】
また図８では、中間層３２において、フィルタ３４、畳み込みデータ３５、プーリング
データ３６、フィルタ３７、畳み込みデータ３８およびプーリングデータ３９を図示して
いる。なお中間層３２の構成は一例であり、プーリング処理、およびフィルタ３４、３７
による畳み込み演算処理をさらに多層で行う構成や、パディングやストライドといった演
算処理を介して行う構成としてもよい。
データ３６、フィルタ３７、畳み込みデータ３８およびプーリングデータ３９を図示して
いる。なお中間層３２の構成は一例であり、プーリング処理、およびフィルタ３４、３７
による畳み込み演算処理をさらに多層で行う構成や、パディングやストライドといった演
算処理を介して行う構成としてもよい。
【0076】
また図８では、出力層３３において、全結合データ４０および出力データ４１を図示し
ている。出力データ４１は、得られた全結合データ４０（図中、ｙ１－ｙｍ）をソフトマ
ックス関数で処理し、正解ラベルに対応する出力が得られる。
ている。出力データ４１は、得られた全結合データ４０（図中、ｙ１－ｙｍ）をソフトマ
ックス関数で処理し、正解ラベルに対応する出力が得られる。
【0077】
図７で説明したフローチャートにおけるＣＮＮ学習では、フィルタ３４、３７のパラメ
ータ（重みデータ）を更新して、ラベルを付与した出力データ４１（図中、Ｏ（ｙ１）－
Ｏ（ｙｍ））が得られるように学習させ、推論できるようにする。特徴量データ１７を畳
み込みニューラルネットワーク３０に入力することで、対応する補正用データ１８を画像
処理回路１４に出力する構成とすることができる。
ータ（重みデータ）を更新して、ラベルを付与した出力データ４１（図中、Ｏ（ｙ１）－
Ｏ（ｙｍ））が得られるように学習させ、推論できるようにする。特徴量データ１７を畳
み込みニューラルネットワーク３０に入力することで、対応する補正用データ１８を画像
処理回路１４に出力する構成とすることができる。
【0078】
【0079】
【0080】
図９（Ｂ）では、自動車２２と、その後方にある別の自動車４２を図示している。自動
車４２は光源４３であるヘッドライトを照射方向４４にある自動車２２に向けて照射する
様子を図示している。また図９（Ｂ）では自動車２２の撮像装置１１を撮像方向４５にあ
る自動車４２に向けて撮像している様子を図示している。
車４２は光源４３であるヘッドライトを照射方向４４にある自動車２２に向けて照射する
様子を図示している。また図９（Ｂ）では自動車２２の撮像装置１１を撮像方向４５にあ
る自動車４２に向けて撮像している様子を図示している。
【0081】
なお図９（Ｂ）の例では、撮像装置１１で撮像する被写体として自動車４２を例示して
いるが、被写体は自動車に限らない。例えば被写体は、歩行者、自転車、街灯、標識など
、撮像データの中から特徴量の抽出によって補正用データを選び出すことができる対象で
あればよい。歩行者であれば、足や手などの部位の特徴から特徴量を抽出して、頭や上半
身の部位を補正用データで補正する構成とすることも有効である。歩行者全身の画像デー
タを表示装置に表示させることで、視認性を高めることができる。
いるが、被写体は自動車に限らない。例えば被写体は、歩行者、自転車、街灯、標識など
、撮像データの中から特徴量の抽出によって補正用データを選び出すことができる対象で
あればよい。歩行者であれば、足や手などの部位の特徴から特徴量を抽出して、頭や上半
身の部位を補正用データで補正する構成とすることも有効である。歩行者全身の画像デー
タを表示装置に表示させることで、視認性を高めることができる。
【0082】
図９（Ｂ）の場合、撮像装置１１で得られる撮像データ１６は、図９（Ｃ）のように表
すことができる。つまり図９（Ｃ）に図示するように、光源４３の照度が高くなる。露光
を抑えることで光源４３周辺の領域の形状は認識されるものの、自動車４２全体の形状は
認識することが困難になる。そのため、図９（Ｄ）に図示するように、夜間走行時などで
高照度の光源を有する自動車を撮像する場合、撮像データ内に鮮明領域４８と不鮮明領域
４９とが混在することになる。
すことができる。つまり図９（Ｃ）に図示するように、光源４３の照度が高くなる。露光
を抑えることで光源４３周辺の領域の形状は認識されるものの、自動車４２全体の形状は
認識することが困難になる。そのため、図９（Ｄ）に図示するように、夜間走行時などで
高照度の光源を有する自動車を撮像する場合、撮像データ内に鮮明領域４８と不鮮明領域
４９とが混在することになる。
【0083】
また別の例として図１０（Ａ）は、自動車２２Ａの後方から見た模式図である。図１０
（Ａ）では、撮像装置１１Ａであるカメラ、表示装置１５であるルームミラーを図示して
いる。また図１０（Ａ）では撮像装置１１Ａを拡大した模式図を図示しており、レンズ４
６および水滴４７を図示している。雨天などの場合、レンズ４６の表面に水滴４７などが
付着し、得られる撮像データが不鮮明になる場合がある。なお図１０（Ａ）では、表示装
置１５をルームミラーの位置に配置する構成を図示しているが、サイドミラー、あるいは
ダッシュボードの位置の表示装置を配置する構成などにも有効である。
（Ａ）では、撮像装置１１Ａであるカメラ、表示装置１５であるルームミラーを図示して
いる。また図１０（Ａ）では撮像装置１１Ａを拡大した模式図を図示しており、レンズ４
６および水滴４７を図示している。雨天などの場合、レンズ４６の表面に水滴４７などが
付着し、得られる撮像データが不鮮明になる場合がある。なお図１０（Ａ）では、表示装
置１５をルームミラーの位置に配置する構成を図示しているが、サイドミラー、あるいは
ダッシュボードの位置の表示装置を配置する構成などにも有効である。
【0084】
【0085】
図１０（Ｂ）の場合、撮像装置１１で得られる撮像データ１６は、図１０（Ｃ）のよう
に表すことができる。つまり図１０（Ｃ）に図示するように、水滴４７が撮像されること
により自動車４２の像が不鮮明となり、自動車４２全体の形状は認識することが困難にな
る。そのため、図１０（Ｄ）に図示するように、雨天走行時などで自動車を撮像する場合
、撮像データ内に鮮明領域４８と不鮮明領域４９とが混在することになる。
に表すことができる。つまり図１０（Ｃ）に図示するように、水滴４７が撮像されること
により自動車４２の像が不鮮明となり、自動車４２全体の形状は認識することが困難にな
る。そのため、図１０（Ｄ）に図示するように、雨天走行時などで自動車を撮像する場合
、撮像データ内に鮮明領域４８と不鮮明領域４９とが混在することになる。
【0086】
上述した本発明の一態様の表示システム１０では、撮像データ１６の鮮明領域４８にあ
る自動車４２の一部の情報から特徴量を抽出し、特徴量データ１７をデータベース１３に
おいて照合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を
補正することができる。
る自動車４２の一部の情報から特徴量を抽出し、特徴量データ１７をデータベース１３に
おいて照合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を
補正することができる。
【0087】
そのため表示システム１０を搭載した自動車では、昼夜、晴雨等の状況の変化に応じて
、撮像装置で得られる撮像データに不鮮明な領域が生じても補正された画像を視認するこ
とができる。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等
が、不鮮明な領域を生じさせても特徴量データに応じた補正用データを選び出して撮像デ
ータを補正することができる。そのため、被写体全体の大きさや形状の把握が容易になる
。また得られる情報を増やすことができるため、視認性の向上に有効である。
、撮像装置で得られる撮像データに不鮮明な領域が生じても補正された画像を視認するこ
とができる。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等
が、不鮮明な領域を生じさせても特徴量データに応じた補正用データを選び出して撮像デ
ータを補正することができる。そのため、被写体全体の大きさや形状の把握が容易になる
。また得られる情報を増やすことができるため、視認性の向上に有効である。
【0088】
＜表示システムの動作を説明するための具体例＞
図１１は、表示システムの動作のより具体的な例を説明するためのフローチャートであ
る。図１１では、図１で説明した表示システム１０における撮像装置１１、特徴量出力回
路１２、データベース１３、画像処理回路１４、および表示装置１５でのデータの流れに
ついて図示している。
図１１は、表示システムの動作のより具体的な例を説明するためのフローチャートであ
る。図１１では、図１で説明した表示システム１０における撮像装置１１、特徴量出力回
路１２、データベース１３、画像処理回路１４、および表示装置１５でのデータの流れに
ついて図示している。
【0089】
図１１に示すステップＳ３１は、撮像装置１１での撮像データの取得、特徴量出力回路
１２への撮像データの出力を行う。また図１１に示すステップＳ３１は、データベース１
３で、補正用データ、検出用データの保存を行う。データベース１３における補正用デー
タ１８、検出用データ１９の保存は、予め行っておいてもよい。
１２への撮像データの出力を行う。また図１１に示すステップＳ３１は、データベース１
３で、補正用データ、検出用データの保存を行う。データベース１３における補正用デー
タ１８、検出用データ１９の保存は、予め行っておいてもよい。
【0090】
図１１に示すステップＳ３１は、図１２に示すブロック図のように図示することができ
る。図１２では、理解を容易にするために、図９（Ｃ）で図示した撮像データ１６を図示
している。また図１２では、理解を容易にするために、補正用データ１８として複数の自
動車の画像１８Ａを図示している。また、図１２では、理解を容易にするために、検出用
データとして自動車の画像の一部であるヘッドライトの画像１９Ａを図示している。
る。図１２では、理解を容易にするために、図９（Ｃ）で図示した撮像データ１６を図示
している。また図１２では、理解を容易にするために、補正用データ１８として複数の自
動車の画像１８Ａを図示している。また、図１２では、理解を容易にするために、検出用
データとして自動車の画像の一部であるヘッドライトの画像１９Ａを図示している。
【0091】
図１１に示すステップＳ３２は、特徴量出力回路１２での特徴量データの演算、および
特徴量出力回路１２からデータベース１３への特徴量データ出力を行う。
特徴量出力回路１２からデータベース１３への特徴量データ出力を行う。
【0092】
図１１に示すステップＳ３２は、図１３に示すブロック図のように図示することができ
る。図１３では、理解を容易にするために、特徴量データ１７として外観特徴量である、
自動車の画像の一部としてヘッドライトの画像１７Ａを図示している。
る。図１３では、理解を容易にするために、特徴量データ１７として外観特徴量である、
自動車の画像の一部としてヘッドライトの画像１７Ａを図示している。
【0093】
図１１に示すステップＳ３３は、特徴量出力回路１２からデータベース１３への特徴量
データ１７の入力、ヘッドライトの画像１７Ａを用いた特徴量データに一致または類似す
る検出用データ１９のサーチによる検出用データ１９の選択、および検出用データ１９に
応じた補正用データ１８の画像処理回路１４への出力を行う。
データ１７の入力、ヘッドライトの画像１７Ａを用いた特徴量データに一致または類似す
る検出用データ１９のサーチによる検出用データ１９の選択、および検出用データ１９に
応じた補正用データ１８の画像処理回路１４への出力を行う。
【0094】
図１１に示すステップＳ３３は、図１４に示すブロック図のように図示することができ
る。図１４では、理解を容易にするために、ヘッドライトの画像１７Ａの特徴量データと
ヘッドライトの画像１９Ａの特徴量データとが一致するとして、画像処理回路１４に出力
される補正用データ１８である画像１８Ａを図示している。
る。図１４では、理解を容易にするために、ヘッドライトの画像１７Ａの特徴量データと
ヘッドライトの画像１９Ａの特徴量データとが一致するとして、画像処理回路１４に出力
される補正用データ１８である画像１８Ａを図示している。
【0095】
図１１に示すステップＳ３４は、画像処理回路１４に対して補正元のデータである撮像
装置１１からの撮像データ１６と補正用のデータであるデータベース１３からの補正用デ
ータ１８とが入力され、撮像データ１６が補正される。補正された撮像データは、画像デ
ータとして画像処理回路１４から表示装置１５に出力される。表示装置１５では画像処理
回路１４から画像データが入力され、鮮明な表示を行うことができる。
装置１１からの撮像データ１６と補正用のデータであるデータベース１３からの補正用デ
ータ１８とが入力され、撮像データ１６が補正される。補正された撮像データは、画像デ
ータとして画像処理回路１４から表示装置１５に出力される。表示装置１５では画像処理
回路１４から画像データが入力され、鮮明な表示を行うことができる。
【0096】
図１１に示すステップＳ３４は、図１５に示すブロック図のように図示することができ
る。図１５では、理解を容易にするために、図９（Ｃ）で図示した撮像データ１６を図示
している。また図１５では、理解を容易にするために、画像処理回路１４に出力される補
正用データ１８として画像１８Ａを図示している。また図１５では、理解を容易にするた
めに、表示装置１５に出力される画像データに対応する画像データ５１を図示している。
る。図１５では、理解を容易にするために、図９（Ｃ）で図示した撮像データ１６を図示
している。また図１５では、理解を容易にするために、画像処理回路１４に出力される補
正用データ１８として画像１８Ａを図示している。また図１５では、理解を容易にするた
めに、表示装置１５に出力される画像データに対応する画像データ５１を図示している。
【0097】
上述した本発明の一態様の表示システム１０では、図１１に図示したように撮像データ
１６の一部の情報から特徴量を抽出し、データベース１３において特徴量データ１７を照
合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を補正する
。そのため、視認性の向上に有効である。
１６の一部の情報から特徴量を抽出し、データベース１３において特徴量データ１７を照
合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を補正する
。そのため、視認性の向上に有効である。
【0098】
そのため表示システム１０を搭載した自動車では、昼夜、晴雨等の状況の変化に応じて
、撮像装置で得られる撮像データに不鮮明な領域が生じても補正された画像を視認するこ
とができる。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等
が、不鮮明な領域を生じさせても特徴量データに応じた補正用データを選び出して撮像デ
ータを補正することができる。そのため、被写体全体の大きさや形状の把握が容易になる
。また得られる情報を増やすことができるため、視認性の向上に有効である。
、撮像装置で得られる撮像データに不鮮明な領域が生じても補正された画像を視認するこ
とができる。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等
が、不鮮明な領域を生じさせても特徴量データに応じた補正用データを選び出して撮像デ
ータを補正することができる。そのため、被写体全体の大きさや形状の把握が容易になる
。また得られる情報を増やすことができるため、視認性の向上に有効である。
【0099】
（実施の形態２）
本実施の形態では、上記の実施の形態で説明したニューラルネットワーク３０に用いる
ことが可能な半導体装置の構成例について説明する。特に、中間層３２や出力層３３など
の積和演算回路に用いることができる。
本実施の形態では、上記の実施の形態で説明したニューラルネットワーク３０に用いる
ことが可能な半導体装置の構成例について説明する。特に、中間層３２や出力層３３など
の積和演算回路に用いることができる。
【0100】
＜半導体装置の構成例＞
図１６に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成
例を示す。半導体装置ＭＡＣは、上記の実施の形態で説明したニューラルネットワーク３
０の少なくとも一部に用いることができる。半導体装置ＭＡＣは、ニューロン間の結合強
度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を
行う機能を有する。なお、第１のデータ及び第２のデータはそれぞれ、アナログデータ又
は多値のデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積
和演算によって得られたデータを活性化関数によって変換する機能を有する。
図１６に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成
例を示す。半導体装置ＭＡＣは、上記の実施の形態で説明したニューラルネットワーク３
０の少なくとも一部に用いることができる。半導体装置ＭＡＣは、ニューロン間の結合強
度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を
行う機能を有する。なお、第１のデータ及び第２のデータはそれぞれ、アナログデータ又
は多値のデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積
和演算によって得られたデータを活性化関数によって変換する機能を有する。
【0101】
半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回
路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、及び活性化関数回路ＡＣ
ＴＶを有する。
路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、及び活性化関数回路ＡＣ
ＴＶを有する。
【0102】
セルアレイＣＡは、複数のメモリセルＭＣ及び複数のメモリセルＭＣｒｅｆを有する。
図１６には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（Ｍ
Ｃ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至
［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能
を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する
機能を有する。なお、参照データはアナログデータ又は多値のデータとすることができる
。
図１６には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（Ｍ
Ｃ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至
［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能
を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する
機能を有する。なお、参照データはアナログデータ又は多値のデータとすることができる
。
【0103】
メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、
配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、及び配線ＢＬ［ｊ］と接続されてい
る。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ
ｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線Ｂ
Ｌ［ｊ］間を流れる電流をＩＭＣ［ｉ，ｊ］と表記し、メモリセルＭＣｒｅｆ［ｉ］と配
線ＢＬｒｅｆ間を流れる電流をＩＭＣｒｅｆ［ｉ］と表記する。
配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、及び配線ＢＬ［ｊ］と接続されてい
る。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ
ｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線Ｂ
Ｌ［ｊ］間を流れる電流をＩＭＣ［ｉ，ｊ］と表記し、メモリセルＭＣｒｅｆ［ｉ］と配
線ＢＬｒｅｆ間を流れる電流をＩＭＣｒｅｆ［ｉ］と表記する。
【0104】
メモリセルＭＣ及びメモリセルＭＣｒｅｆの具体的な構成例を、図１７に示す。図１７
には代表例としてメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１
］、［２］を示しているが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆにも同様の構
成を用いることができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆはそれぞれ、トラン
ジスタＴｒ１１、Ｔｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１
及びトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。
には代表例としてメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１
］、［２］を示しているが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆにも同様の構
成を用いることができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆはそれぞれ、トラン
ジスタＴｒ１１、Ｔｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１
及びトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。
【0105】
メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、ソー
ス又はドレインの一方はトランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電
極と接続され、ソース又はドレインの他方は配線ＷＤと接続されている。トランジスタＴ
ｒ１２のソース又はドレインの一方は配線ＢＬと接続され、ソース又はドレインの他方は
配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている
。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配
線ＶＲから低電源電位（接地電位など）が供給される場合について説明する。
ス又はドレインの一方はトランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電
極と接続され、ソース又はドレインの他方は配線ＷＤと接続されている。トランジスタＴ
ｒ１２のソース又はドレインの一方は配線ＢＬと接続され、ソース又はドレインの他方は
配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている
。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配
線ＶＲから低電源電位（接地電位など）が供給される場合について説明する。
【0106】
トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、
及び容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモ
リセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［
２，１］と表記する。
及び容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモ
リセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［
２，１］と表記する。
【0107】
メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセル
ＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線Ｂ
Ｌｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トラ
ンジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容
量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［
２］と表記する。
ＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線Ｂ
Ｌｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トラ
ンジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容
量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［
２］と表記する。
【0108】
ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの
保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆ
には参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［
２，１］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣ［１，１］、ＩＭＣ［２，１
］が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジ
スタＴｒ１２には、それぞれ電流ＩＭＣｒｅｆ［１］、ＩＭＣｒｅｆ［２］が流れる。
保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆ
には参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［
２，１］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣ［１，１］、ＩＭＣ［２，１
］が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジ
スタＴｒ１２には、それぞれ電流ＩＭＣｒｅｆ［１］、ＩＭＣｒｅｆ［２］が流れる。
【0109】
トランジスタＴｒ１１は、ノードＮＭ又はノードＮＭｒｅｆの電位を保持する機能を有
するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トラン
ジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい
。これにより、ノードＮＭ又はノードＮＭｒｅｆの電位の変動を抑えることができ、演算
精度の向上を図ることができる。また、ノードＮＭ又はノードＮＭｒｅｆの電位をリフレ
ッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる
。
するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トラン
ジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい
。これにより、ノードＮＭ又はノードＮＭｒｅｆの電位の変動を抑えることができ、演算
精度の向上を図ることができる。また、ノードＮＭ又はノードＮＭｒｅｆの電位をリフレ
ッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる
。
【0110】
トランジスタＴｒ１２は特に限定されず、例えばＳｉトランジスタ又はＯＳトランジス
タなどを用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、
トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが
可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャ
ネル型であってもｐチャネル型であってもよい。
タなどを用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、
トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが
可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャ
ネル型であってもｐチャネル型であってもよい。
【0111】
電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆと接続されている。
電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆに電流を供給する機能
を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給
される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至
［ｎ］に供給される電流をＩＣ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流を
ＩＣｒｅｆと表記する。
電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆに電流を供給する機能
を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給
される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至
［ｎ］に供給される電流をＩＣ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流を
ＩＣｒｅｆと表記する。
【0112】
カレントミラー回路ＣＭは、配線ＩＬ［１］乃至［ｎ］及び配線ＩＬｒｅｆを有する。
配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒ
ｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線
ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線
ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。
配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒ
ｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線
ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線
ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。
【0113】
カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流ＩＣＭを配線ＩＬｒ
ｅｆに流す機能と、この電流ＩＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。
図１６には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流ＩＣＭが排出され、配線ＢＬ［１
］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流ＩＣＭが排出される例を示している。
また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに
流れる電流を、ＩＢ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配
線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、ＩＢｒｅｆと表記する。
ｅｆに流す機能と、この電流ＩＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。
図１６には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流ＩＣＭが排出され、配線ＢＬ［１
］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流ＩＣＭが排出される例を示している。
また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに
流れる電流を、ＩＢ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配
線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、ＩＢｒｅｆと表記する。
【0114】
回路ＷＤＤは、配線ＷＤ［１］乃至［ｎ］及び配線ＷＤｒｅｆと接続されている。回路
ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］
乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納
される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬ
Ｄは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを
行うメモリセルＭＣ又はメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］
乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続さ
れている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に
供給する機能を有する。
ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］
乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納
される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬ
Ｄは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを
行うメモリセルＭＣ又はメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］
乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続さ
れている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に
供給する機能を有する。
【0115】
オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］及び配線ＯＬ［１］乃至［ｎ］
と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセッ
ト回路ＯＦＳＴに流れる電流量、及び／又は、配線ＢＬ［１］乃至［ｎ］からオフセット
回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦ
ＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセッ
ト回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に
対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット
回路ＯＦＳＴの間を流れる電流を、Ｉα［１］乃至［ｎ］と表記する。
と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセッ
ト回路ＯＦＳＴに流れる電流量、及び／又は、配線ＢＬ［１］乃至［ｎ］からオフセット
回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦ
ＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセッ
ト回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に
対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット
回路ＯＦＳＴの間を流れる電流を、Ｉα［１］乃至［ｎ］と表記する。
【0116】
オフセット回路ＯＦＳＴの構成例を図１８に示す。図１８に示すオフセット回路ＯＦＳ
Ｔは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ
、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２
１、及び抵抗素子Ｒ１を有する。各素子の接続関係は図１８に示す通りである。なお、容
量素子Ｃ２１の第１の電極及び抵抗素子Ｒ１の第１の端子と接続されたノードを、ノード
Ｎａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソース又はド
レインの一方、及びトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂと
する。
Ｔは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ
、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２
１、及び抵抗素子Ｒ１を有する。各素子の接続関係は図１８に示す通りである。なお、容
量素子Ｃ２１の第１の電極及び抵抗素子Ｒ１の第１の端子と接続されたノードを、ノード
Ｎａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソース又はド
レインの一方、及びトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂと
する。
【0117】
配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給す
る機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電
位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。こ
こでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説
明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を
供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、
配線ＶＳＳＬ、及び配線ＶｂＬによって、ソースフォロワ回路が構成される。
る機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電
位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。こ
こでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説
明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を
供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、
配線ＶＳＳＬ、及び配線ＶｂＬによって、ソースフォロワ回路が構成される。
【0118】
次に、回路ＯＣ［１］乃至［ｎ］の動作例を説明する。なお、ここでは代表例として回
路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させること
ができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の
電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１
はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１
はオフ状態となる。
路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させること
ができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の
電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１
はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１
はオフ状態となる。
【0119】
次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵
抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態
であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に
伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化を
ΔＶＮａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶＮａとなる。
そして、トランジスタＴｒ２２のしきい値電圧をＶｔｈとすると、配線ＯＬ［１］から電
位Ｖａ＋ΔＶＮａ－Ｖｔｈが出力される。ここで、Ｖａ＝Ｖｔｈとすることにより、配線
ＯＬ［１］から電位ΔＶＮａを出力することができる。
抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態
であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に
伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化を
ΔＶＮａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶＮａとなる。
そして、トランジスタＴｒ２２のしきい値電圧をＶｔｈとすると、配線ＯＬ［１］から電
位Ｖａ＋ΔＶＮａ－Ｖｔｈが出力される。ここで、Ｖａ＝Ｖｔｈとすることにより、配線
ＯＬ［１］から電位ΔＶＮａを出力することができる。
【0120】
電位ΔＶＮａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１、及び電位Ｖｒ
ｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶ
Ｎａから配線ＢＬに流れる電流の変化量を求めることができる。
ｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶ
Ｎａから配線ＢＬに流れる電流の変化量を求めることができる。
【0121】
上記のようにオフセット回路ＯＦＳＴによって検出された電流量、及び／又は電流の変
化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入
力される。
化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入
力される。
【0122】
活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至［ｎ］、及び、配線ＮＩＬ［１］乃至
［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力
された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能
を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａ
ｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路ＡＣＴ
Ｖによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力され
る。
［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力
された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能
を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａ
ｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路ＡＣＴ
Ｖによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力され
る。
【0123】
＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うこと
ができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うこと
ができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
【0124】
図１９に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図１９には、図１７
における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮ
Ｍ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２
］、配線ＲＷ［１］、及び配線ＲＷ［２］の電位の推移と、電流ＩＢ［１］－Ｉα［１］
、及び電流ＩＢｒｅｆの値の推移を示している。電流ＩＢ［１］－Ｉα［１］は、配線Ｂ
Ｌ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。
における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮ
Ｍ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２
］、配線ＲＷ［１］、及び配線ＲＷ［２］の電位の推移と、電流ＩＢ［１］－Ｉα［１］
、及び電流ＩＢｒｅｆの値の推移を示している。電流ＩＢ［１］－Ｉα［１］は、配線Ｂ
Ｌ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。
【0125】
なお、ここでは代表例として図１７に示すメモリセルＭＣ［１，１］、［２，１］及び
メモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣ
及びメモリセルＭＣｒｅｆも同様に動作させることができる。
メモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣ
及びメモリセルＭＣｒｅｆも同様に動作させることができる。
【0126】
［第１のデータの格納］
まず、時刻Ｔ０１－Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線
ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ－ＶＷ［１，１］大きい電位となり
、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１
］、及び配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１
］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、
電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］
及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノー
ドＮＭ［１，１］の電位がＶＰＲ－ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶ
ＰＲとなる。
まず、時刻Ｔ０１－Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線
ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ－ＶＷ［１，１］大きい電位となり
、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１
］、及び配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１
］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、
電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］
及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノー
ドＮＭ［１，１］の電位がＶＰＲ－ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶ
ＰＲとなる。
【0127】
このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流
れる電流ＩＭＣ［１，１］，０は、次の式で表すことができる。ここで、ｋはトランジス
タＴｒ１２のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定
数である。また、ＶｔｈはトランジスタＴｒ１２のしきい値電圧である。
れる電流ＩＭＣ［１，１］，０は、次の式で表すことができる。ここで、ｋはトランジス
タＴｒ１２のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定
数である。また、ＶｔｈはトランジスタＴｒ１２のしきい値電圧である。
【0128】
ＩＭＣ［１，１］，０＝ｋ（ＶＰＲ－ＶＷ［１，１］－Ｖｔｈ）２ （Ｅ１）
【0129】
また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れ
る電流ＩＭＣｒｅｆ［１］，０は、次の式で表すことができる。
る電流ＩＭＣｒｅｆ［１］，０は、次の式で表すことができる。
【0130】
ＩＭＣｒｅｆ［１］，０＝ｋ（ＶＰＲ－Ｖｔｈ）２ （Ｅ２）
【0131】
次に、時刻Ｔ０２－Ｔ０３において、配線ＷＬ［１］の電位がローレベルとなる。これ
により、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジス
タＴｒ１１がオフ状態となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位
が保持される。
により、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジス
タＴｒ１１がオフ状態となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位
が保持される。
【0132】
なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ま
しい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ
［１，１］及びノードＮＭｒｅｆ［１］の電位を正確に保持することができる。
しい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ
［１，１］及びノードＮＭｒｅｆ［１］の電位を正確に保持することができる。
【0133】
次に、時刻Ｔ０３－Ｔ０４において、配線ＷＬ［２］の電位がハイレベルとなり、配線
ＷＤ［１］の電位が接地電位よりもＶＰＲ－ＶＷ［２，１］大きい電位となり、配線ＷＤ
ｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。なお、電位ＶＷ［２，１］はメ
モリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、
メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１
１がオン状態となり、ノードＮＭ［２，１］の電位がＶＰＲ－ＶＷ［２，１］、ノードＮ
Ｍｒｅｆ［２］の電位がＶＰＲとなる。
ＷＤ［１］の電位が接地電位よりもＶＰＲ－ＶＷ［２，１］大きい電位となり、配線ＷＤ
ｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。なお、電位ＶＷ［２，１］はメ
モリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、
メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１
１がオン状態となり、ノードＮＭ［２，１］の電位がＶＰＲ－ＶＷ［２，１］、ノードＮ
Ｍｒｅｆ［２］の電位がＶＰＲとなる。
【0134】
このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流
れる電流ＩＭＣ［２，１］，０は、次の式で表すことができる。
れる電流ＩＭＣ［２，１］，０は、次の式で表すことができる。
【0135】
ＩＭＣ［２，１］，０＝ｋ（ＶＰＲ－ＶＷ［２，１］－Ｖｔｈ）２ （Ｅ３）
【0136】
また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れ
る電流ＩＭＣｒｅｆ［２］，０は、次の式で表すことができる。
る電流ＩＭＣｒｅｆ［２］，０は、次の式で表すことができる。
【0137】
ＩＭＣｒｅｆ［２］，０＝ｋ（ＶＰＲ－Ｖｔｈ）２ （Ｅ４）
【0138】
次に、時刻Ｔ０４－Ｔ０５において、配線ＷＬ［２］の電位がローレベルとなる。これ
により、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジス
タＴｒ１１がオフ状態となり、ノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位
が保持される。
により、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジス
タＴｒ１１がオフ状態となり、ノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位
が保持される。
【0139】
以上の動作により、メモリセルＭＣ［１，１］、［２，１］に第１のデータが格納され
、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。
、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。
【0140】
ここで、時刻Ｔ０４－Ｔ０５において、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電
流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線Ｂ
Ｌｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２
］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆ、配
線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，０とすると、次の
式が成り立つ。
流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線Ｂ
Ｌｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２
］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆ、配
線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，０とすると、次の
式が成り立つ。
【0141】
ＩＣｒｅｆ－ＩＣＭ，０＝ＩＭＣｒｅｆ［１］，０＋ＩＭＣｒｅｆ［２］，０
（Ｅ５）
（Ｅ５）
【0142】
配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］
を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排
出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回
路ＣＳから配線ＢＬ［１］に供給される電流をＩＣ，０、配線ＢＬ［１］からオフセット
回路ＯＦＳＴに流れる電流をＩα，０とすると、次の式が成り立つ。
を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排
出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回
路ＣＳから配線ＢＬ［１］に供給される電流をＩＣ，０、配線ＢＬ［１］からオフセット
回路ＯＦＳＴに流れる電流をＩα，０とすると、次の式が成り立つ。
【0143】
ＩＣ－ＩＣＭ，０＝ＩＭＣ［１，１］，０＋ＩＭＣ［２，１］，０＋Ｉα，０
（Ｅ６）
（Ｅ６）
【0144】
［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５－Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１
］大きい電位となる。このとき、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ
［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトラ
ンジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖｘ［１］はメモリセルＭＣ［
１，１］及びメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位であ
る。
次に、時刻Ｔ０５－Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１
］大きい電位となる。このとき、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ
［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトラ
ンジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖｘ［１］はメモリセルＭＣ［
１，１］及びメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位であ
る。
【0145】
トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリ
セルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ
１１の容量、トランジスタＴｒ１２のゲート容量、及び寄生容量などによって算出される
。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変
化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数
を考慮して電位Ｖｘを決定すればよい。
セルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ
１１の容量、トランジスタＴｒ１２のゲート容量、及び寄生容量などによって算出される
。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変
化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数
を考慮して電位Ｖｘを決定すればよい。
【0146】
メモリセルＭＣ［１］及びメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位ＶＸ［
１］が供給されると、ノードＮＮ［１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶ
Ｘ［１］上昇する。
１］が供給されると、ノードＮＮ［１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶ
Ｘ［１］上昇する。
【0147】
ここで、時刻Ｔ０５－Ｔ０６において、配線ＢＬ［１］からメモリセルＭＣ［１，１］
のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，１は、次の式で表すことができ
る。
のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，１は、次の式で表すことができ
る。
【0148】
ＩＭＣ［１，１］，１＝ｋ（ＶＰＲ－ＶＷ［１，１］＋ＶＸ［１］－Ｖｔｈ）２
（Ｅ７）
（Ｅ７）
【0149】
すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬ［１］か
らメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［１，１
］＝ＩＭＣ［１，１］，１－ＩＭＣ［１，１］，０増加する。
らメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［１，１
］＝ＩＭＣ［１，１］，１－ＩＭＣ［１，１］，０増加する。
【0150】
また、時刻Ｔ０５－Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］
のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，１は、次の式で表すことがで
きる。
のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，１は、次の式で表すことがで
きる。
【0151】
ＩＭＣｒｅｆ［１］，１＝ｋ（ＶＰＲ＋ＶＸ［１］－Ｖｔｈ）２ （Ｅ８）
【0152】
すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬｒｅｆか
らメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ
［１］＝ＩＭＣｒｅｆ［１］，１－ＩＭＣｒｅｆ［１］，０増加する。
らメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ
［１］＝ＩＭＣｒｅｆ［１］，１－ＩＭＣｒｅｆ［１］，０増加する。
【0153】
また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅ
ｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れ
る電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される
。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，１とすると、
次の式が成り立つ。
ｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れ
る電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される
。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，１とすると、
次の式が成り立つ。
【0154】
ＩＣｒｅｆ－ＩＣＭ，１＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，０
（Ｅ９）
（Ｅ９）
【0155】
配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１
］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ
排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配
線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，１とすると、次の式が成
り立つ。
］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ
排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配
線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，１とすると、次の式が成
り立つ。
【0156】
ＩＣ－ＩＣＭ，１＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，１
（Ｅ１０）
（Ｅ１０）
【0157】
そして、式（Ｅ１）乃至式（Ｅ１０）から、電流Ｉα，０と電流Ｉα，１の差（差分電
流ΔＩα）は次の式で表すことができる。
流ΔＩα）は次の式で表すことができる。
【0158】
ΔＩα＝Ｉα，１－Ｉα，０＝２ｋＶＷ［１，１］ＶＸ［１］ （Ｅ１１）
【0159】
このように、差分電流ΔＩαは、電位ＶＷ［１，１］とＶＸ［１］の積に応じた値とな
る。
る。
【0160】
その後、時刻Ｔ０６－Ｔ０７において、配線ＲＷ［１］の電位は接地電位となり、ノー
ドＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４－Ｔ０５と同様になる
。
ドＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４－Ｔ０５と同様になる
。
【0161】
次に、時刻Ｔ０７－Ｔ０８において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１
］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶＸ［２］大きい電位とな
る。これにより、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞ
れの容量素子Ｃ１１に電位ＶＸ［１］が供給され、容量結合によりノードＮＭ［１，１］
及びノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。また、メモリセルＭ
Ｃ［２，１］、及びメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位ＶＸ
［２］が供給され、容量結合によりノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の
電位がそれぞれＶＸ［２］上昇する。
］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶＸ［２］大きい電位とな
る。これにより、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞ
れの容量素子Ｃ１１に電位ＶＸ［１］が供給され、容量結合によりノードＮＭ［１，１］
及びノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。また、メモリセルＭ
Ｃ［２，１］、及びメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位ＶＸ
［２］が供給され、容量結合によりノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の
電位がそれぞれＶＸ［２］上昇する。
【0162】
ここで、時刻Ｔ０７－Ｔ０８において、配線ＢＬ［１］からメモリセルＭＣ［２，１］
のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，１は、次の式で表すことができ
る。
のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，１は、次の式で表すことができ
る。
【0163】
ＩＭＣ［２，１］，１＝ｋ（ＶＰＲ－ＶＷ［２，１］＋ＶＸ［２］－Ｖｔｈ）２
（Ｅ１２）
（Ｅ１２）
【0164】
すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬ［１］か
らメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［２，１
］＝ＩＭＣ［２，１］，１－ＩＭＣ［２，１］，０増加する。
らメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［２，１
］＝ＩＭＣ［２，１］，１－ＩＭＣ［２，１］，０増加する。
【0165】
また、時刻Ｔ０５－Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］
のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，１は、次の式で表すことがで
きる。
のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，１は、次の式で表すことがで
きる。
【0166】
ＩＭＣｒｅｆ［２］，１＝ｋ（ＶＰＲ＋ＶＸ［２］－Ｖｔｈ）２ （Ｅ１３）
【0167】
すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬｒｅｆか
らメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ
［２］＝ＩＭＣｒｅｆ［２］，１－ＩＭＣｒｅｆ［２］，０増加する。
らメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ
［２］＝ＩＭＣｒｅｆ［２］，１－ＩＭＣｒｅｆ［２］，０増加する。
【0168】
また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅ
ｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れ
る電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される
。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，２とすると、
次の式が成り立つ。
ｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れ
る電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される
。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，２とすると、
次の式が成り立つ。
【0169】
ＩＣｒｅｆ－ＩＣＭ，２＝ＩＭＣｒｅｆ［１］，１＋ＩＭＣｒｅｆ［２］，１
（Ｅ１４）
（Ｅ１４）
【0170】
配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１
］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ
排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配
線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，２とすると、次の式が成
り立つ。
］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ
排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配
線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，２とすると、次の式が成
り立つ。
【0171】
ＩＣ－ＩＣＭ，２＝ＩＭＣ［１，１］，１＋ＩＭＣ［２，１］，１＋Ｉα，２
（Ｅ１５）
（Ｅ１５）
【0172】
そして、式（Ｅ１）乃至式（Ｅ８）、及び、式（Ｅ１２）乃至式（Ｅ１５）から、電流
Ｉα，０と電流Ｉα，２の差（差分電流ΔＩα）は次の式で表すことができる。
Ｉα，０と電流Ｉα，２の差（差分電流ΔＩα）は次の式で表すことができる。
【0173】
ΔＩα＝Ｉα，２－Ｉα，０＝２ｋ（ＶＷ［１，１］ＶＸ［１］＋ＶＷ［２，１］ＶＸ
［２］） （Ｅ１６）
［２］） （Ｅ１６）
【0174】
このように、差分電流ΔＩαは、電位ＶＷ［１，１］と電位ＶＸ［１］の積と、電位Ｖ
Ｗ［２，１］と電位ＶＸ［２］の積と、を足し合わせた結果に応じた値となる。
Ｗ［２，１］と電位ＶＸ［２］の積と、を足し合わせた結果に応じた値となる。
【0175】
その後、時刻Ｔ０８－Ｔ０９において、配線ＲＷ［１］、［２］の電位は接地電位とな
り、ノードＮＭ［１，１］、［２，１］及びノードＮＭｒｅｆ［１］、［２］の電位は時
刻Ｔ０４－Ｔ０５と同様になる。
り、ノードＮＭ［１，１］、［２，１］及びノードＮＭｒｅｆ［１］、［２］の電位は時
刻Ｔ０４－Ｔ０５と同様になる。
【0176】
式（Ｅ９）及び式（Ｅ１６）に示されるように、オフセット回路ＯＦＳＴに入力される
差分電流ΔＩαは、第１のデータ（重み）に対応する電位ＶＸと、第２のデータ（入力デ
ータ）に対応する電位ＶＷの積を足し合わせた結果に応じた値となる。すなわち、差分電
流ΔＩαをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータ
の積和演算の結果を得ることができる。
差分電流ΔＩαは、第１のデータ（重み）に対応する電位ＶＸと、第２のデータ（入力デ
ータ）に対応する電位ＶＷの積を足し合わせた結果に応じた値となる。すなわち、差分電
流ΔＩαをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータ
の積和演算の結果を得ることができる。
【0177】
なお、上記では特にメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ
［１］、［２］に着目したが、メモリセルＭＣ及びメモリセルＭＣｒｅｆの数は任意に設
定することができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆの行数ｍを任意の数とし
た場合の差分電流ΔＩαは、次の式で表すことができる。
［１］、［２］に着目したが、メモリセルＭＣ及びメモリセルＭＣｒｅｆの数は任意に設
定することができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆの行数ｍを任意の数とし
た場合の差分電流ΔＩαは、次の式で表すことができる。
【0178】
ΔＩα＝２ｋΣｉＶＷ［ｉ，１］ＶＸ［ｉ］ （Ｅ１７）
【0179】
また、メモリセルＭＣ及びメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列し
て実行される積和演算の数を増やすことができる。
て実行される積和演算の数を増やすことができる。
【0180】
以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの
積和演算を行うことができる。なお、メモリセルＭＣ及びメモリセルＭＣｒｅｆとして図
１７に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成するこ
とができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。
積和演算を行うことができる。なお、メモリセルＭＣ及びメモリセルＭＣｒｅｆとして図
１７に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成するこ
とができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。
【0181】
半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭ
Ｃの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの
列数ｎはニューロンの数に対応させることができる。例えば、中間層において半導体装置
ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入
力層から供給される入力データの数（入力層のニューロンの数）に設定し、メモリセルＭ
Ｃの列数ｎは、中間層のニューロンの数に設定することができる。
Ｃの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの
列数ｎはニューロンの数に対応させることができる。例えば、中間層において半導体装置
ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入
力層から供給される入力データの数（入力層のニューロンの数）に設定し、メモリセルＭ
Ｃの列数ｎは、中間層のニューロンの数に設定することができる。
【0182】
以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和
演算を行うことができる。さらに、セルアレイＣＡに図１７に示すメモリセルＭＣ及びメ
モリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、又は回路規
模の縮小を図ることが可能な集積回路を提供することができる。
演算を行うことができる。さらに、セルアレイＣＡに図１７に示すメモリセルＭＣ及びメ
モリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、又は回路規
模の縮小を図ることが可能な集積回路を提供することができる。
【0183】
なお、第１のデータ（重み）に対応する電位ＶＸが任意の基準電位以上である場合を「
正」、小さい場合を「負」とすることにより、積差演算を行なうことができる。よって、
半導体装置ＭＡＣは積差演算回路として機能することができる。
正」、小さい場合を「負」とすることにより、積差演算を行なうことができる。よって、
半導体装置ＭＡＣは積差演算回路として機能することができる。
【0184】
積差演算回路を用いて、突発的に生じたノイズの除去などを行なうことができる。一例
として、図２０（Ａ）および（Ｂ）を示す。図２０（Ａ）および（Ｂ）は、トンネル内な
どの暗所を走行中の車両を示す画像である。図２０（Ａ）は、急に点灯した車両１００の
前照灯１０５の影響により、トンネル外に位置する車両１１０は視認できるものの、トン
ネル内にいる歩行者１２０および歩行者１３０の視認性が低下した状態を示している。
として、図２０（Ａ）および（Ｂ）を示す。図２０（Ａ）および（Ｂ）は、トンネル内な
どの暗所を走行中の車両を示す画像である。図２０（Ａ）は、急に点灯した車両１００の
前照灯１０５の影響により、トンネル外に位置する車両１１０は視認できるものの、トン
ネル内にいる歩行者１２０および歩行者１３０の視認性が低下した状態を示している。
【0185】
図２０（Ｂ）は、積差演算回路を用いた画像処理により、急に点灯した前照灯１０５の
影響を軽減し、トンネル外に位置する車両１１０のみでなく、トンネル内にいる歩行者１
２０および歩行者１３０の視認性も高めた状態を示している。なお、積差演算回路によっ
て現在のフレーム画像と直前のフレーム画像の差分情報を取得し、該差分情報を用いて画
像処理を行うこともできる。
影響を軽減し、トンネル外に位置する車両１１０のみでなく、トンネル内にいる歩行者１
２０および歩行者１３０の視認性も高めた状態を示している。なお、積差演算回路によっ
て現在のフレーム画像と直前のフレーム画像の差分情報を取得し、該差分情報を用いて画
像処理を行うこともできる。
【0186】
近年、自動運転向けや、サイドミラーおよびバックミラーとして車載イメージセンサが
期待されている。本発明の一態様と、画素毎に感度を調整する仕組みと、を組み合わせる
ことにより、他車のライトなどがまぶしい状況でも障害物や人を正確に検出することがで
きる。
期待されている。本発明の一態様と、画素毎に感度を調整する仕組みと、を組み合わせる
ことにより、他車のライトなどがまぶしい状況でも障害物や人を正確に検出することがで
きる。
【0187】
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【0188】
【0189】
図２１は、先の実施の形態で例示した表示装置１５に適用可能な表示装置７００を示す
上面図である。図２１に示す表示装置７００は、第１の基板７０１上に設けられた画素部
７０２と、第１の基板７０１に設けられたデマルチプレクサ７０３、ソースドライバ７０
４およびゲートドライバ７０６と、画素部７０２、デマルチプレクサ７０３、およびゲー
トドライバ７０６を囲むように配置されるシール材７１２と、第１の基板７０１に対向す
るように設けられる第２の基板７０５と、を有する。なお、第１の基板７０１と第２の基
板７０５は、シール材７１２によって封止されている。すなわち、画素部７０２、デマル
チプレクサ７０３、およびゲートドライバ７０６は、第１の基板７０１とシール材７１２
と第２の基板７０５によって封止されている。なお、図２１には図示しないが、第１の基
板７０１と第２の基板７０５の間には表示素子が設けられる。
上面図である。図２１に示す表示装置７００は、第１の基板７０１上に設けられた画素部
７０２と、第１の基板７０１に設けられたデマルチプレクサ７０３、ソースドライバ７０
４およびゲートドライバ７０６と、画素部７０２、デマルチプレクサ７０３、およびゲー
トドライバ７０６を囲むように配置されるシール材７１２と、第１の基板７０１に対向す
るように設けられる第２の基板７０５と、を有する。なお、第１の基板７０１と第２の基
板７０５は、シール材７１２によって封止されている。すなわち、画素部７０２、デマル
チプレクサ７０３、およびゲートドライバ７０６は、第１の基板７０１とシール材７１２
と第２の基板７０５によって封止されている。なお、図２１には図示しないが、第１の基
板７０１と第２の基板７０５の間には表示素子が設けられる。
【0190】
また、表示装置７００は、第１の基板７０１上のシール材７１２によって囲まれている
領域とは異なる領域に、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４
、およびゲートドライバ７０６と、それぞれ電気的に接続されるＦＰＣ端子部７０８（Ｆ
ＰＣ：Ｆｌｅｘｉｂｌｅ ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ）が設けられる。また、ＦＰ
Ｃ端子部７０８には、ＦＰＣ７１６が接続され、ＦＰＣ７１６によって画素部７０２、デ
マルチプレクサ７０３、ソースドライバ７０４、およびゲートドライバ７０６に各種信号
等が供給される。また、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４
、ゲートドライバ７０６、およびＦＰＣ端子部７０８には、信号線７１０が各々接続され
ている。ＦＰＣ７１６により供給される各種信号等は、信号線７１０を介して、画素部７
０２、デマルチプレクサ７０３、ソースドライバ７０４、ゲートドライバ７０６、および
ＦＰＣ端子部７０８に与えられる。
領域とは異なる領域に、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４
、およびゲートドライバ７０６と、それぞれ電気的に接続されるＦＰＣ端子部７０８（Ｆ
ＰＣ：Ｆｌｅｘｉｂｌｅ ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ）が設けられる。また、ＦＰ
Ｃ端子部７０８には、ＦＰＣ７１６が接続され、ＦＰＣ７１６によって画素部７０２、デ
マルチプレクサ７０３、ソースドライバ７０４、およびゲートドライバ７０６に各種信号
等が供給される。また、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４
、ゲートドライバ７０６、およびＦＰＣ端子部７０８には、信号線７１０が各々接続され
ている。ＦＰＣ７１６により供給される各種信号等は、信号線７１０を介して、画素部７
０２、デマルチプレクサ７０３、ソースドライバ７０４、ゲートドライバ７０６、および
ＦＰＣ端子部７０８に与えられる。
【0191】
また、表示装置７００にゲートドライバ７０６を複数設けてもよい。また、表示装置７
００としては、ゲートドライバ７０６を画素部７０２と同じ第１の基板７０１に形成し、
ソースドライバ７０４をソースドライバＩＣとしている例を示しているが、この構成に限
定されない。例えば、ソースドライバ７０４を第１の基板７０１に形成しても良い。なお
ソースドライバＩＣは、ＣＯＧ（Ｃｈｉｐ Ｏｎ Ｇｌａｓｓ）方法、ワイヤボンディン
グ方法などで設けることができる。またデマルチプレクサ７０３は、省略することも可能
である。
００としては、ゲートドライバ７０６を画素部７０２と同じ第１の基板７０１に形成し、
ソースドライバ７０４をソースドライバＩＣとしている例を示しているが、この構成に限
定されない。例えば、ソースドライバ７０４を第１の基板７０１に形成しても良い。なお
ソースドライバＩＣは、ＣＯＧ（Ｃｈｉｐ Ｏｎ Ｇｌａｓｓ）方法、ワイヤボンディン
グ方法などで設けることができる。またデマルチプレクサ７０３は、省略することも可能
である。
【0192】
また、表示装置７００は、様々な素子を有することが出来る。該素子の一例としては、
例えば、エレクトロルミネッセンス（ＥＬ）素子（有機物および無機物を含むＥＬ素子、
有機ＥＬ素子、無機ＥＬ素子、ＬＥＤなど）、発光トランジスタ（電流に応じて発光する
トランジスタ）、電子放出素子、液晶素子、電子インク素子、電気泳動素子、エレクトロ
ウェッティング素子、プラズマディスプレイパネル（ＰＤＰ）、ＭＥＭＳ（マイクロ・エ
レクトロ・メカニカル・システム）ディスプレイ（例えば、グレーティングライトバルブ
（ＧＬＶ）、デジタルマイクロミラーデバイス（ＤＭＤ）、デジタル・マイクロ・シャッ
ター（ＤＭＳ）素子、インターフェロメトリック・モジュレーション（ＩＭＯＤ）素子な
ど）、圧電セラミックディスプレイなどが挙げられる。
例えば、エレクトロルミネッセンス（ＥＬ）素子（有機物および無機物を含むＥＬ素子、
有機ＥＬ素子、無機ＥＬ素子、ＬＥＤなど）、発光トランジスタ（電流に応じて発光する
トランジスタ）、電子放出素子、液晶素子、電子インク素子、電気泳動素子、エレクトロ
ウェッティング素子、プラズマディスプレイパネル（ＰＤＰ）、ＭＥＭＳ（マイクロ・エ
レクトロ・メカニカル・システム）ディスプレイ（例えば、グレーティングライトバルブ
（ＧＬＶ）、デジタルマイクロミラーデバイス（ＤＭＤ）、デジタル・マイクロ・シャッ
ター（ＤＭＳ）素子、インターフェロメトリック・モジュレーション（ＩＭＯＤ）素子な
ど）、圧電セラミックディスプレイなどが挙げられる。
【0193】
また、ＥＬ素子を用いた表示装置の一例としては、ＥＬディスプレイなどがある。電子
放出素子を用いた表示装置の一例としては、フィールドエミッションディスプレイ（ＦＥ
Ｄ）またはＳＥＤ方式平面型ディスプレイ（ＳＥＤ：Ｓｕｒｆａｃｅ－ｃｏｎｄｕｃｔｉ
ｏｎ Ｅｌｅｃｔｒｏｎ－ｅｍｉｔｔｅｒ Ｄｉｓｐｌａｙ）などがある。液晶素子を用
いた表示装置の一例としては、液晶ディスプレイ（透過型液晶ディスプレイ、半透過型液
晶ディスプレイ、反射型液晶ディスプレイ、直視型液晶ディスプレイ、投射型液晶ディス
プレイ）などがある。電子インク素子または電気泳動素子を用いた表示装置の一例として
は、電子ペーパーなどがある。なお、半透過型液晶ディスプレイや反射型液晶ディスプレ
イを実現する場合には、画素電極の一部、または、全部が、反射電極としての機能を有す
るようにすればよい。例えば、画素電極の一部、または、全部が、アルミニウム、銀、な
どを有するようにすればよい。さらに、その場合、反射電極の下に、ＳＲＡＭなどの記憶
回路を設けることも可能である。これにより、さらに、消費電力を低減することができる
。
放出素子を用いた表示装置の一例としては、フィールドエミッションディスプレイ（ＦＥ
Ｄ）またはＳＥＤ方式平面型ディスプレイ（ＳＥＤ：Ｓｕｒｆａｃｅ－ｃｏｎｄｕｃｔｉ
ｏｎ Ｅｌｅｃｔｒｏｎ－ｅｍｉｔｔｅｒ Ｄｉｓｐｌａｙ）などがある。液晶素子を用
いた表示装置の一例としては、液晶ディスプレイ（透過型液晶ディスプレイ、半透過型液
晶ディスプレイ、反射型液晶ディスプレイ、直視型液晶ディスプレイ、投射型液晶ディス
プレイ）などがある。電子インク素子または電気泳動素子を用いた表示装置の一例として
は、電子ペーパーなどがある。なお、半透過型液晶ディスプレイや反射型液晶ディスプレ
イを実現する場合には、画素電極の一部、または、全部が、反射電極としての機能を有す
るようにすればよい。例えば、画素電極の一部、または、全部が、アルミニウム、銀、な
どを有するようにすればよい。さらに、その場合、反射電極の下に、ＳＲＡＭなどの記憶
回路を設けることも可能である。これにより、さらに、消費電力を低減することができる
。
【0194】
なお、表示装置７００における表示方式は、プログレッシブ方式やインターレース方式
等を用いることができる。また、カラー表示する際に画素で制御する色要素としては、Ｒ
ＧＢ（Ｒは赤、Ｇは緑、Ｂは青を表す）の三色に限定されない。例えば、Ｒの画素とＧの
画素とＢの画素とＷ（白）の画素の四画素から構成されてもよい。または、ペンタイル配
列のように、ＲＧＢのうちの２色分で一つの色要素を構成し、色要素によって、異なる２
色を選択して構成してもよい。またはＲＧＢに、イエロー、シアン、マゼンタ等を一色以
上追加してもよい。なお、色要素のドット毎にその表示領域の大きさが異なっていてもよ
い。ただし、開示する発明はカラー表示の表示装置に限定されるものではなく、モノクロ
表示の表示装置に適用することもできる。
等を用いることができる。また、カラー表示する際に画素で制御する色要素としては、Ｒ
ＧＢ（Ｒは赤、Ｇは緑、Ｂは青を表す）の三色に限定されない。例えば、Ｒの画素とＧの
画素とＢの画素とＷ（白）の画素の四画素から構成されてもよい。または、ペンタイル配
列のように、ＲＧＢのうちの２色分で一つの色要素を構成し、色要素によって、異なる２
色を選択して構成してもよい。またはＲＧＢに、イエロー、シアン、マゼンタ等を一色以
上追加してもよい。なお、色要素のドット毎にその表示領域の大きさが異なっていてもよ
い。ただし、開示する発明はカラー表示の表示装置に限定されるものではなく、モノクロ
表示の表示装置に適用することもできる。
【0195】
また、バックライト（有機ＥＬ素子、無機ＥＬ素子、ＬＥＤ、蛍光灯など）に白色発光
（Ｗ）を用いて表示装置をフルカラー表示させるために、着色層（カラーフィルタともい
う。）を用いてもよい。着色層は、例えば、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ
）、イエロー（Ｙ）などを適宜組み合わせて用いることができる。着色層を用いることで
、着色層を用いない場合と比べて色の再現性を高くすることができる。このとき、着色層
を有する領域と、着色層を有さない領域と、を配置することによって、着色層を有さない
領域における白色光を直接表示に利用しても構わない。一部に着色層を有さない領域を配
置することで、明るい表示の際に、着色層による輝度の低下を少なくでき、消費電力を２
割から３割程度低減できる場合がある。ただし、有機ＥＬ素子や無機ＥＬ素子などの自発
光素子を用いてフルカラー表示する場合、Ｒ、Ｇ、Ｂ、Ｙ、Ｗを、それぞれの発光色を有
する素子から発光させても構わない。自発光素子を用いることで、着色層を用いた場合よ
りも、さらに消費電力を低減できる場合がある。
（Ｗ）を用いて表示装置をフルカラー表示させるために、着色層（カラーフィルタともい
う。）を用いてもよい。着色層は、例えば、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ
）、イエロー（Ｙ）などを適宜組み合わせて用いることができる。着色層を用いることで
、着色層を用いない場合と比べて色の再現性を高くすることができる。このとき、着色層
を有する領域と、着色層を有さない領域と、を配置することによって、着色層を有さない
領域における白色光を直接表示に利用しても構わない。一部に着色層を有さない領域を配
置することで、明るい表示の際に、着色層による輝度の低下を少なくでき、消費電力を２
割から３割程度低減できる場合がある。ただし、有機ＥＬ素子や無機ＥＬ素子などの自発
光素子を用いてフルカラー表示する場合、Ｒ、Ｇ、Ｂ、Ｙ、Ｗを、それぞれの発光色を有
する素子から発光させても構わない。自発光素子を用いることで、着色層を用いた場合よ
りも、さらに消費電力を低減できる場合がある。
【0196】
また、カラー化方式としては、上述の白色発光からの発光の一部をカラーフィルタを通
すことで赤色、緑色、青色に変換する方式（カラーフィルタ方式）の他、赤色、緑色、青
色の発光をそれぞれ用いる方式（３色方式）、または青色発光からの発光の一部を赤色や
緑色に変換する方式（色変換方式、量子ドット方式）を適用してもよい。
すことで赤色、緑色、青色に変換する方式（カラーフィルタ方式）の他、赤色、緑色、青
色の発光をそれぞれ用いる方式（３色方式）、または青色発光からの発光の一部を赤色や
緑色に変換する方式（色変換方式、量子ドット方式）を適用してもよい。
【0197】
本実施の形態においては、表示素子として液晶素子およびＥＬ素子を用いる構成につい
て、図２２および図２３を用いて説明する。なお、図２２は、図２１に示す一点鎖線Ｑ－
Ｒにおける断面図であり、表示素子として液晶素子を用いた構成である。また、図２３は
、図２１に示す一点鎖線Ｑ－Ｒにおける断面図であり、表示素子としてＥＬ素子を用いた
構成である。
て、図２２および図２３を用いて説明する。なお、図２２は、図２１に示す一点鎖線Ｑ－
Ｒにおける断面図であり、表示素子として液晶素子を用いた構成である。また、図２３は
、図２１に示す一点鎖線Ｑ－Ｒにおける断面図であり、表示素子としてＥＬ素子を用いた
構成である。
【0198】
【0199】
＜表示装置の共通部分に関する説明＞
図２２および図２３に示す表示装置７００は、引き回し配線部７１１と、画素部７０２
と、デマルチプレクサ７０３と、ＦＰＣ端子部７０８と、を有する。また、引き回し配線
部７１１は、信号線７１０を有する。また、画素部７０２は、トランジスタ７５０および
容量素子７９０を有する。また、デマルチプレクサ７０３は、トランジスタ７５２を有す
る。
図２２および図２３に示す表示装置７００は、引き回し配線部７１１と、画素部７０２
と、デマルチプレクサ７０３と、ＦＰＣ端子部７０８と、を有する。また、引き回し配線
部７１１は、信号線７１０を有する。また、画素部７０２は、トランジスタ７５０および
容量素子７９０を有する。また、デマルチプレクサ７０３は、トランジスタ７５２を有す
る。
【0200】
トランジスタ７５０およびトランジスタ７５２は、トップゲート型、ボトムゲート型、
チャネルエッチ型、チャネル保護型、いずれでも良い。図２２および図２３はトップゲー
ト型を図示している。トランジスタ７５０およびトランジスタ７５２の半導体層には、シ
リコン系半導体（アモルファスシリコン、多結晶シリコン等）、酸化物半導体（酸化亜鉛
、酸化インジウム等）等を用いることができる。図２２および図２３は酸化物半導体を用
いた場合を説明する。
チャネルエッチ型、チャネル保護型、いずれでも良い。図２２および図２３はトップゲー
ト型を図示している。トランジスタ７５０およびトランジスタ７５２の半導体層には、シ
リコン系半導体（アモルファスシリコン、多結晶シリコン等）、酸化物半導体（酸化亜鉛
、酸化インジウム等）等を用いることができる。図２２および図２３は酸化物半導体を用
いた場合を説明する。
【0201】
容量素子７９０は、トランジスタ７５０が有する第１の酸化物半導体膜と、同一の酸化
物半導体膜を加工する工程を経て形成される下部電極と、トランジスタ７５０が有するソ
ース電極およびドレイン電極として機能する導電膜と、同一の導電膜を加工する工程を経
て形成される上部電極と、を有する。また、下部電極と上部電極との間には、トランジス
タ７５０が有する第２の絶縁膜として機能する絶縁膜、および第３の絶縁膜として機能す
る絶縁膜と、同一の絶縁膜を形成する工程を経て形成される絶縁膜が設けられる。すなわ
ち、容量素子７９０は、一対の電極間に誘電体として機能する絶縁膜が挟持された積層型
の構造である。
物半導体膜を加工する工程を経て形成される下部電極と、トランジスタ７５０が有するソ
ース電極およびドレイン電極として機能する導電膜と、同一の導電膜を加工する工程を経
て形成される上部電極と、を有する。また、下部電極と上部電極との間には、トランジス
タ７５０が有する第２の絶縁膜として機能する絶縁膜、および第３の絶縁膜として機能す
る絶縁膜と、同一の絶縁膜を形成する工程を経て形成される絶縁膜が設けられる。すなわ
ち、容量素子７９０は、一対の電極間に誘電体として機能する絶縁膜が挟持された積層型
の構造である。
【0202】
【0203】
平坦化絶縁膜７７０としては、ポリイミド樹脂、アクリル樹脂、ポリイミドアミド樹脂
、ベンゾシクロブテン樹脂、ポリアミド樹脂、エポキシ樹脂等の耐熱性を有する有機材料
を用いることができる。なお、これらの材料で形成される絶縁膜を複数積層させることで
、平坦化絶縁膜７７０を形成してもよい。また、平坦化絶縁膜７７０を設けない構成とし
てもよい。
、ベンゾシクロブテン樹脂、ポリアミド樹脂、エポキシ樹脂等の耐熱性を有する有機材料
を用いることができる。なお、これらの材料で形成される絶縁膜を複数積層させることで
、平坦化絶縁膜７７０を形成してもよい。また、平坦化絶縁膜７７０を設けない構成とし
てもよい。
【0204】
また、信号線７１０は、トランジスタ７５０、７５２のソース電極およびドレイン電極
として機能する導電膜と同じ工程を経て形成される。なお、信号線７１０は、トランジス
タ７５０、７５２のソース電極およびドレイン電極と異なる工程を経て形成された導電膜
、例えば、ゲート電極として機能する酸化物半導体膜と同じ工程を経て形成される酸化物
半導体膜を用いてもよい。信号線７１０として、例えば、銅元素を含む材料を用いた場合
、配線抵抗に起因する信号遅延等が少なく、大画面での表示が可能となる。
として機能する導電膜と同じ工程を経て形成される。なお、信号線７１０は、トランジス
タ７５０、７５２のソース電極およびドレイン電極と異なる工程を経て形成された導電膜
、例えば、ゲート電極として機能する酸化物半導体膜と同じ工程を経て形成される酸化物
半導体膜を用いてもよい。信号線７１０として、例えば、銅元素を含む材料を用いた場合
、配線抵抗に起因する信号遅延等が少なく、大画面での表示が可能となる。
【0205】
また、ＦＰＣ端子部７０８は、接続電極７６０、異方性導電膜７８０、およびＦＰＣ７
１６を有する。なお、接続電極７６０は、トランジスタ７５０、７５２のソース電極およ
びドレイン電極として機能する導電膜と同じ工程を経て形成される。また、接続電極７６
０は、ＦＰＣ７１６が有する端子と異方性導電膜７８０を介して、電気的に接続される。
１６を有する。なお、接続電極７６０は、トランジスタ７５０、７５２のソース電極およ
びドレイン電極として機能する導電膜と同じ工程を経て形成される。また、接続電極７６
０は、ＦＰＣ７１６が有する端子と異方性導電膜７８０を介して、電気的に接続される。
【0206】
また、第１の基板７０１および第２の基板７０５としては、例えばガラス基板を用いる
ことができる。また、第１の基板７０１および第２の基板７０５として、可撓性を有する
基板を用いてもよい。該可撓性を有する基板としては、例えばプラスチック基板等が挙げ
られる。
ことができる。また、第１の基板７０１および第２の基板７０５として、可撓性を有する
基板を用いてもよい。該可撓性を有する基板としては、例えばプラスチック基板等が挙げ
られる。
【0207】
また、第１の基板７０１と第２の基板７０５の間には、構造体７７８が設けられる。構
造体７７８は、絶縁膜を選択的にエッチングすることで得られる柱状のスペーサであり、
第１の基板７０１と第２の基板７０５の間の距離（セルギャップ）を制御するために設け
られる。なお、構造体７７８として、球状のスペーサを用いていても良い。
造体７７８は、絶縁膜を選択的にエッチングすることで得られる柱状のスペーサであり、
第１の基板７０１と第２の基板７０５の間の距離（セルギャップ）を制御するために設け
られる。なお、構造体７７８として、球状のスペーサを用いていても良い。
【0208】
また、第２の基板７０５側には、ブラックマトリクスとして機能する遮光膜７３８と、
カラーフィルタとして機能する着色膜７３６と、遮光膜７３８および着色膜７３６に接す
る絶縁膜７３４が設けられる。
カラーフィルタとして機能する着色膜７３６と、遮光膜７３８および着色膜７３６に接す
る絶縁膜７３４が設けられる。
【0209】
＜液晶素子を用いる表示装置の構成例＞
図２２に示す表示装置７００は、液晶素子７７５を有する。液晶素子７７５は、導電膜
７７２、導電膜７７４、および液晶層７７６を有する。導電膜７７４は、第２の基板７０
５側に設けられ、対向電極としての機能を有する。図２２に示す表示装置７００は、導電
膜７７２と導電膜７７４に印加される電圧によって、液晶層７７６の配向状態が変わるこ
とによって光の透過、非透過が制御され画像を表示することができる。
図２２に示す表示装置７００は、液晶素子７７５を有する。液晶素子７７５は、導電膜
７７２、導電膜７７４、および液晶層７７６を有する。導電膜７７４は、第２の基板７０
５側に設けられ、対向電極としての機能を有する。図２２に示す表示装置７００は、導電
膜７７２と導電膜７７４に印加される電圧によって、液晶層７７６の配向状態が変わるこ
とによって光の透過、非透過が制御され画像を表示することができる。
【0210】
また、導電膜７７２は、トランジスタ７５０が有するソース電極およびドレイン電極と
して機能する導電膜に接続される。導電膜７７２は、平坦化絶縁膜７７０上に形成され画
素電極、すなわち表示素子の一方の電極として機能する。また、導電膜７７２は、透明電
極としての機能を有する。図２２に示す表示装置７００は、液晶層７７６でバックライト
の光を透過して着色膜７３６を介して表示する、所謂透過型のカラー液晶表示装置である
。
して機能する導電膜に接続される。導電膜７７２は、平坦化絶縁膜７７０上に形成され画
素電極、すなわち表示素子の一方の電極として機能する。また、導電膜７７２は、透明電
極としての機能を有する。図２２に示す表示装置７００は、液晶層７７６でバックライト
の光を透過して着色膜７３６を介して表示する、所謂透過型のカラー液晶表示装置である
。
【0211】
導電膜７７２としては、可視光において透光性のある導電膜、または可視光において反
射性のある導電膜を用いることができる。可視光において透光性のある導電膜としては、
例えば、インジウム（Ｉｎ）、亜鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材
料を用いるとよい。可視光において反射性のある導電膜としては、例えば、アルミニウム
、または銀を含む材料を用いるとよい。
射性のある導電膜を用いることができる。可視光において透光性のある導電膜としては、
例えば、インジウム（Ｉｎ）、亜鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材
料を用いるとよい。可視光において反射性のある導電膜としては、例えば、アルミニウム
、または銀を含む材料を用いるとよい。
【0212】
なお、図２２において図示しないが、導電膜７７２、７７４の液晶層７７６と接する側
に、それぞれ配向膜を設ける構成としてもよい。また、図２２において図示しないが、偏
光部材、位相差部材、反射防止部材などの光学部材（光学基板）などは適宜設けてもよい
。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバ
ックライト、サイドライトなどを用いてもよい。
に、それぞれ配向膜を設ける構成としてもよい。また、図２２において図示しないが、偏
光部材、位相差部材、反射防止部材などの光学部材（光学基板）などは適宜設けてもよい
。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバ
ックライト、サイドライトなどを用いてもよい。
【0213】
表示素子として液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液
晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これら
の液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイ
ラルネマチック相、等方相等を示す。
晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これら
の液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイ
ラルネマチック相、等方相等を示す。
【0214】
また、横電界方式を採用する場合、配向膜を用いないブルー相を示す液晶を用いてもよ
い。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリ
ック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発
現しないため、温度範囲を改善するために数重量％以上のカイラル剤を混合させた液晶組
成物を液晶層に用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速
度が短く、光学的等方性であるため配向処理が不要である。また配向膜を設けなくてもよ
いのでラビング処理も不要となるため、ラビング処理によって引き起こされる静電破壊を
防止することができ、作製工程中の液晶表示装置の不良や破損を軽減することができる。
また、ブルー相を示す液晶材料は、視野角依存性が小さい。
い。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリ
ック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発
現しないため、温度範囲を改善するために数重量％以上のカイラル剤を混合させた液晶組
成物を液晶層に用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速
度が短く、光学的等方性であるため配向処理が不要である。また配向膜を設けなくてもよ
いのでラビング処理も不要となるため、ラビング処理によって引き起こされる静電破壊を
防止することができ、作製工程中の液晶表示装置の不良や破損を軽減することができる。
また、ブルー相を示す液晶材料は、視野角依存性が小さい。
【0215】
また、表示素子として液晶素子を用いる場合、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ
）モード、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ－Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎ
ｇｅ Ｆｉｅｌｄ Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅ
ｔｒｉｃ ａｌｉｇｎｅｄ Ｍｉｃｒｏ－ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌ
Ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅ
ｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒ
ｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モードなどを用いることができる
。
）モード、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ－Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎ
ｇｅ Ｆｉｅｌｄ Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅ
ｔｒｉｃ ａｌｉｇｎｅｄ Ｍｉｃｒｏ－ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌ
Ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅ
ｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒ
ｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モードなどを用いることができる
。
【0216】
また、ノーマリーブラック型の液晶表示装置、例えば垂直配向（ＶＡ）モードを採用し
た透過型の液晶表示装置としてもよい。垂直配向モードとしては、いくつか挙げられるが
、例えば、ＭＶＡ（Ｍｕｌｔｉ－Ｄｏｍａｉｎ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ
）モード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モー
ド、ＡＳＶモードなどを用いることができる。
た透過型の液晶表示装置としてもよい。垂直配向モードとしては、いくつか挙げられるが
、例えば、ＭＶＡ（Ｍｕｌｔｉ－Ｄｏｍａｉｎ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ
）モード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モー
ド、ＡＳＶモードなどを用いることができる。
【0217】
＜発光素子を用いる表示装置＞
図２３に示す表示装置７００は、発光素子７８２を有する。発光素子７８２は、導電膜
７８４、ＥＬ層７８６、および導電膜７８８を有する。図２３に示す表示装置７００は、
発光素子７８２が有するＥＬ層７８６が発光することによって、画像を表示することがで
きる。
図２３に示す表示装置７００は、発光素子７８２を有する。発光素子７８２は、導電膜
７８４、ＥＬ層７８６、および導電膜７８８を有する。図２３に示す表示装置７００は、
発光素子７８２が有するＥＬ層７８６が発光することによって、画像を表示することがで
きる。
【0218】
また、導電膜７８４は、トランジスタ７５０が有するソース電極およびドレイン電極と
して機能する導電膜に接続される。導電膜７８４は、平坦化絶縁膜７７０上に形成され画
素電極、すなわち表示素子の一方の電極として機能する。導電膜７８４としては、可視光
において透光性のある導電膜、または可視光において反射性のある導電膜を用いることが
できる。可視光において透光性のある導電膜としては、例えば、インジウム（Ｉｎ）、亜
鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材料を用いるとよい。可視光におい
て反射性のある導電膜としては、例えば、アルミニウム、または銀を含む材料を用いると
よい。
して機能する導電膜に接続される。導電膜７８４は、平坦化絶縁膜７７０上に形成され画
素電極、すなわち表示素子の一方の電極として機能する。導電膜７８４としては、可視光
において透光性のある導電膜、または可視光において反射性のある導電膜を用いることが
できる。可視光において透光性のある導電膜としては、例えば、インジウム（Ｉｎ）、亜
鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材料を用いるとよい。可視光におい
て反射性のある導電膜としては、例えば、アルミニウム、または銀を含む材料を用いると
よい。
【0219】
また、図２３に示す表示装置７００には、平坦化絶縁膜７７０および導電膜７８４上に
絶縁膜７３０が設けられる。絶縁膜７３０は、導電膜７８４の一部を覆う。なお、発光素
子７８２はトップエミッション構造である。したがって、導電膜７８８は透光性を有し、
ＥＬ層７８６が発する光を透過する。なお、本実施の形態においては、トップエミッショ
ン構造について、例示するが、これに限定されない。例えば、導電膜７８４側に光を射出
するボトムエミッション構造や、導電膜７８４および導電膜７８８の双方に光を射出する
デュアルエミッション構造にも適用することができる。
絶縁膜７３０が設けられる。絶縁膜７３０は、導電膜７８４の一部を覆う。なお、発光素
子７８２はトップエミッション構造である。したがって、導電膜７８８は透光性を有し、
ＥＬ層７８６が発する光を透過する。なお、本実施の形態においては、トップエミッショ
ン構造について、例示するが、これに限定されない。例えば、導電膜７８４側に光を射出
するボトムエミッション構造や、導電膜７８４および導電膜７８８の双方に光を射出する
デュアルエミッション構造にも適用することができる。
【0220】
また、発光素子７８２と重なる位置に、着色膜７３６が設けられ、絶縁膜７３０と重な
る位置、引き回し配線部７１１、およびソースドライバ７０４に遮光膜７３８が設けられ
ている。また、着色膜７３６および遮光膜７３８は、絶縁膜７３４で覆われている。また
、発光素子７８２と絶縁膜７３４の間は封止膜７３２で充填されている。なお、図２３に
示す表示装置７００においては、着色膜７３６を設ける構成について例示したが、これに
限定されない。例えば、ＥＬ層７８６を塗り分けにより形成する場合においては、着色膜
７３６を設けない構成としてもよい。
る位置、引き回し配線部７１１、およびソースドライバ７０４に遮光膜７３８が設けられ
ている。また、着色膜７３６および遮光膜７３８は、絶縁膜７３４で覆われている。また
、発光素子７８２と絶縁膜７３４の間は封止膜７３２で充填されている。なお、図２３に
示す表示装置７００においては、着色膜７３６を設ける構成について例示したが、これに
限定されない。例えば、ＥＬ層７８６を塗り分けにより形成する場合においては、着色膜
７３６を設けない構成としてもよい。
【0221】
本実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて用いること
ができる。
ができる。
【0222】
【0223】
＜表示システムの移動体への適用例＞
上述した表示システムが有する表示装置について、移動体である自動車の運転席周辺に
設ける場合の例について説明する。
上述した表示システムが有する表示装置について、移動体である自動車の運転席周辺に
設ける場合の例について説明する。
【0224】
例えば図２４（Ａ）は、運転席と助手席にベンチシートを採用した自動車の室内を示し
ている。図２４（Ａ）では、ドア部に設けられた表示装置５２Ａ、ハンドルに設けられた
表示装置５２Ｂ、ベンチシートの座面の中央部に設けられた表示装置５２Ｃを図示してい
る。
ている。図２４（Ａ）では、ドア部に設けられた表示装置５２Ａ、ハンドルに設けられた
表示装置５２Ｂ、ベンチシートの座面の中央部に設けられた表示装置５２Ｃを図示してい
る。
【0225】
表示装置５２Ａには、例えば、車体に設けられた撮像装置からの画像を表示部に映し出
すことによって、ドアで遮られた視界を補完することができる。
すことによって、ドアで遮られた視界を補完することができる。
【0226】
表示装置５２Ｂおよび５２Ｃは、車体に設けられた撮像装置からの画像の他、ナビゲー
ション情報、スピードメーターやタコメーター等のメーター、走行距離、給油量、ギア状
態、エアコンの設定など、その他様々な情報を提供することができる。また、表示装置に
表示される表示項目やレイアウトなどは、ユーザの好みに合わせて適宜変更することがで
きる。表示装置５２Ｂおよび５２Ｃは、照明装置として用いることも可能である。
ション情報、スピードメーターやタコメーター等のメーター、走行距離、給油量、ギア状
態、エアコンの設定など、その他様々な情報を提供することができる。また、表示装置に
表示される表示項目やレイアウトなどは、ユーザの好みに合わせて適宜変更することがで
きる。表示装置５２Ｂおよび５２Ｃは、照明装置として用いることも可能である。
【0227】
【0228】
表示装置５３Ａは、ナビゲーション情報、スピードメーターやタコメーター、走行距離
、給油量、ギア状態、エアコンの設定など、その他様々な情報を提供することができる。
また、表示装置に表示される表示項目やレイアウトなどは、ユーザの好みに合わせて適宜
変更することができ、デザイン性を高めることが可能である。表示装置５３Ａは、照明装
置として用いることも可能である。
、給油量、ギア状態、エアコンの設定など、その他様々な情報を提供することができる。
また、表示装置に表示される表示項目やレイアウトなどは、ユーザの好みに合わせて適宜
変更することができ、デザイン性を高めることが可能である。表示装置５３Ａは、照明装
置として用いることも可能である。
【0229】
また表示装置５３Ａには、車体に設けられた撮像手段からの映像を映し出すことによっ
て、車体に遮られた視界（死角）を補完することができる。すなわち、自動車の外側に設
けられた撮像手段からの画像を表示することによって、死角を補い、安全性を高めること
ができる。また、見えない部分を補完する映像を映すことによって、より自然に違和感な
く安全確認を行うことができる。表示装置５３Ａは、照明装置として用いることも可能で
ある。
て、車体に遮られた視界（死角）を補完することができる。すなわち、自動車の外側に設
けられた撮像手段からの画像を表示することによって、死角を補い、安全性を高めること
ができる。また、見えない部分を補完する映像を映すことによって、より自然に違和感な
く安全確認を行うことができる。表示装置５３Ａは、照明装置として用いることも可能で
ある。
【0230】
＜移動体の例＞
移動体の例について説明する。
移動体の例について説明する。
【0231】
本発明の一態様に係る表示システムは、自動車に限らず様々な移動体に用いることがで
きる。これら移動体の具体例を図２５（Ａ）乃至（Ｃ）に示す。
きる。これら移動体の具体例を図２５（Ａ）乃至（Ｃ）に示す。
【0232】
図２５（Ａ）はバス３０２である。本発明の一態様に係る移動体は、バス３０２に用い
ることができる。表示システムはバス３０２の外部の画像を撮像し、視認する際の画像の
視認性を高めることができる。そのため、安全性が高められたバス３０２とすることがで
きる。
ることができる。表示システムはバス３０２の外部の画像を撮像し、視認する際の画像の
視認性を高めることができる。そのため、安全性が高められたバス３０２とすることがで
きる。
【0233】
図２５（Ｂ）は電車３０３である。本発明の一態様に係る移動体は、電車３０３に用い
ることができる。表示システムは電車３０３の外部の画像を撮像し、視認する際の画像の
視認性を高めることができる。そのため、安全性が高められた電車３０３とすることがで
きる。
ることができる。表示システムは電車３０３の外部の画像を撮像し、視認する際の画像の
視認性を高めることができる。そのため、安全性が高められた電車３０３とすることがで
きる。
【0234】
図２５（Ｃ）は飛行機３０４である。本発明の一態様に係る移動体は、飛行機３０４に
用いることができる。表示システムは飛行機３０４の外部の画像を撮像し、視認する際の
画像の視認性を高めることができる。そのため、安全性が高められた飛行機３０４とする
ことができる。
用いることができる。表示システムは飛行機３０４の外部の画像を撮像し、視認する際の
画像の視認性を高めることができる。そのため、安全性が高められた飛行機３０４とする
ことができる。
【0235】
＜本明細書等の記載に関する付記＞
本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同
を避けるために付したものである。従って、構成要素の数を限定するものではない。また
、構成要素の順序を限定するものではない。
本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同
を避けるために付したものである。従って、構成要素の数を限定するものではない。また
、構成要素の順序を限定するものではない。
【0236】
本明細書等において、ブロック図では、構成要素を機能毎に分類し、互いに独立したブ
ロックとして示している。しかしながら実際の回路等においては、構成要素を機能毎に切
り分けることが難しく、一つの回路に複数の機能が係わる場合や、複数の回路にわたって
一つの機能が関わる場合があり得る。そのため、ブロック図のブロックは、明細書で説明
した構成要素に限定されず、状況に応じて適切に言い換えることができる。
ロックとして示している。しかしながら実際の回路等においては、構成要素を機能毎に切
り分けることが難しく、一つの回路に複数の機能が係わる場合や、複数の回路にわたって
一つの機能が関わる場合があり得る。そのため、ブロック図のブロックは、明細書で説明
した構成要素に限定されず、状況に応じて適切に言い換えることができる。
【0237】
なお図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あ
るいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は
省略する場合がある。
るいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は
省略する場合がある。
【0238】
本明細書等において、トランジスタの接続関係を説明する際、「ソース又はドレインの
一方」（又は第１電極、又は第１端子）、「ソース又はドレインの他方」（又は第２電極
、又は第２端子）と表記している。これは、トランジスタのソースとドレインは、トラン
ジスタの構造又は動作条件等によって変わるためである。なおトランジスタのソースとド
レインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況
に応じて適切に言い換えることができる。
一方」（又は第１電極、又は第１端子）、「ソース又はドレインの他方」（又は第２電極
、又は第２端子）と表記している。これは、トランジスタのソースとドレインは、トラン
ジスタの構造又は動作条件等によって変わるためである。なおトランジスタのソースとド
レインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況
に応じて適切に言い換えることができる。
【0239】
また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基
準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地
電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖ
を意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、
配線等に与える電位を変化させる場合がある。
準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地
電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖ
を意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、
配線等に与える電位を変化させる場合がある。
【0240】
本明細書等において、スイッチとは、導通状態（オン状態）、または、非導通状態（オ
フ状態）になり、電流を流すか流さないかを制御する機能を有するものをいう。または、
スイッチとは、電流を流す経路を選択して切り替える機能を有するものをいう。
フ状態）になり、電流を流すか流さないかを制御する機能を有するものをいう。または、
スイッチとは、電流を流す経路を選択して切り替える機能を有するものをいう。
【0241】
一例としては、電気的スイッチ又は機械的なスイッチなどを用いることができる。つま
り、スイッチは、電流を制御できるものであればよく、特定のものに限定されない。
り、スイッチは、電流を制御できるものであればよく、特定のものに限定されない。
【0242】
なお、スイッチとしてトランジスタを用いる場合、トランジスタの「導通状態」とは、
トランジスタのソースとドレインが電気的に短絡されているとみなせる状態をいう。また
、トランジスタの「非導通状態」とは、トランジスタのソースとドレインが電気的に遮断
されているとみなせる状態をいう。なおトランジスタを単なるスイッチとして動作させる
場合には、トランジスタの極性（導電型）は特に限定されない。
トランジスタのソースとドレインが電気的に短絡されているとみなせる状態をいう。また
、トランジスタの「非導通状態」とは、トランジスタのソースとドレインが電気的に遮断
されているとみなせる状態をいう。なおトランジスタを単なるスイッチとして動作させる
場合には、トランジスタの極性（導電型）は特に限定されない。
【0243】
本明細書等において、ＡとＢとが接続されている、とは、ＡとＢとが直接接続されてい
るものの他、電気的に接続されているものを含むものとする。ここで、ＡとＢとが電気的
に接続されているとは、ＡとＢとの間で、何らかの電気的作用を有する対象物が存在する
とき、ＡとＢとの電気信号の授受を可能とするものをいう。
るものの他、電気的に接続されているものを含むものとする。ここで、ＡとＢとが電気的
に接続されているとは、ＡとＢとの間で、何らかの電気的作用を有する対象物が存在する
とき、ＡとＢとの電気信号の授受を可能とするものをいう。
【符号の説明】
【0244】
１０：表示システム、１０Ａ：表示システム、１０Ｂ：表示システム、１０Ｃ：表示シ
ステム、１１：撮像装置、１１Ａ：撮像装置、１２：特徴量出力回路、１３：データベー
ス、１４：画像処理回路、１５：表示装置、１６：撮像データ、１７：特徴量データ、１
８：補正用データ、１９：検出用データ、２０：送受信回路、２１：ネットワーク、２２
：自動車、２２Ａ：自動車、２３：データ処理回路、２４：中継局、２５：センサ、Ｓ１
１－Ｓ１７：ステップ、Ｓ２１－Ｓ２６：ステップ、３０：ニューラルネットワーク、３
１：入力層、３２：中間層、３３：出力層、３４：フィルタ、３５：畳み込みデータ、３
６：プーリングデータ、３７：フィルタ、３８：畳み込みデータ、３９：プーリングデー
タ、４０：全結合データ、４１：出力データ、４２：自動車、４３：光源、４４：照射方
向、４５：撮像方向、４６：レンズ、４７：水滴、４８：鮮明領域、４９：不鮮明領域、
１１＿１－１１＿ｎ：撮像装置、１５＿１－１５＿ｎ：表示装置、Ｓ３１－Ｓ３４：ステ
ップ、１８Ａ：画像、１９Ａ：画像、１７Ａ：特徴量データ、５１：画像データ、７００
：表示装置、７０１：基板、７０２：画素部、７０３：デマルチプレクサ、７０４：ソー
スドライバ、７０５：基板、７０６：ゲートドライバ、７０８：ＦＰＣ端子部、７１０：
信号線、７１１：配線部、７１２：シール材、７１６：ＦＰＣ、７３０：絶縁膜、７３２
：封止膜、７３４：絶縁膜、７３６：着色膜、７３８：遮光膜、７５０：トランジスタ、
７５２：トランジスタ、７６０：接続電極、７７０：平坦化絶縁膜、７７２：導電膜、７
７４：導電膜、７７５：液晶素子、７７６：液晶層、７７８：構造体、７８０：異方性導
電膜、７８２：発光素子、７８４：導電膜、７８６：ＥＬ層、７８８：導電膜、７９０：
容量素子、５２Ａ－５２Ｃ：表示装置、５３Ａ：表示装置、３０２：バス、３０３：電車
、３０４：飛行機
ステム、１１：撮像装置、１１Ａ：撮像装置、１２：特徴量出力回路、１３：データベー
ス、１４：画像処理回路、１５：表示装置、１６：撮像データ、１７：特徴量データ、１
８：補正用データ、１９：検出用データ、２０：送受信回路、２１：ネットワーク、２２
：自動車、２２Ａ：自動車、２３：データ処理回路、２４：中継局、２５：センサ、Ｓ１
１－Ｓ１７：ステップ、Ｓ２１－Ｓ２６：ステップ、３０：ニューラルネットワーク、３
１：入力層、３２：中間層、３３：出力層、３４：フィルタ、３５：畳み込みデータ、３
６：プーリングデータ、３７：フィルタ、３８：畳み込みデータ、３９：プーリングデー
タ、４０：全結合データ、４１：出力データ、４２：自動車、４３：光源、４４：照射方
向、４５：撮像方向、４６：レンズ、４７：水滴、４８：鮮明領域、４９：不鮮明領域、
１１＿１－１１＿ｎ：撮像装置、１５＿１－１５＿ｎ：表示装置、Ｓ３１－Ｓ３４：ステ
ップ、１８Ａ：画像、１９Ａ：画像、１７Ａ：特徴量データ、５１：画像データ、７００
：表示装置、７０１：基板、７０２：画素部、７０３：デマルチプレクサ、７０４：ソー
スドライバ、７０５：基板、７０６：ゲートドライバ、７０８：ＦＰＣ端子部、７１０：
信号線、７１１：配線部、７１２：シール材、７１６：ＦＰＣ、７３０：絶縁膜、７３２
：封止膜、７３４：絶縁膜、７３６：着色膜、７３８：遮光膜、７５０：トランジスタ、
７５２：トランジスタ、７６０：接続電極、７７０：平坦化絶縁膜、７７２：導電膜、７
７４：導電膜、７７５：液晶素子、７７６：液晶層、７７８：構造体、７８０：異方性導
電膜、７８２：発光素子、７８４：導電膜、７８６：ＥＬ層、７８８：導電膜、７９０：
容量素子、５２Ａ－５２Ｃ：表示装置、５３Ａ：表示装置、３０２：バス、３０３：電車
、３０４：飛行機
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【手続補正書】
【提出日】2024-06-14
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
表示システムを有する移動体であって、
前記表示システムは、
撮像装置、特徴量出力回路、送受信回路と、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記送受信回路は、前記移動体とは異なる場所に設けられたデータベースへ、前記特徴量データを送信する機能と、前記データベースから、前記特徴量データに対応する補正用データを受信する機能と、を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
前記表示システムは、
撮像装置、特徴量出力回路、送受信回路と、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記送受信回路は、前記移動体とは異なる場所に設けられたデータベースへ、前記特徴量データを送信する機能と、前記データベースから、前記特徴量データに対応する補正用データを受信する機能と、を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
【請求項2】
表示システムを有する移動体であって、
前記表示システムは、
撮像装置、特徴量出力回路、データベースと、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記データベースは、前記特徴量データに対応する補正用データを出力する機能を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
前記表示システムは、
撮像装置、特徴量出力回路、データベースと、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記データベースは、前記特徴量データに対応する補正用データを出力する機能を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
【請求項3】
請求項１又は請求項２において、
前記表示部は、ルームミラーとしての機能を有する移動体。
前記表示部は、ルームミラーとしての機能を有する移動体。
【手続補正書】
【提出日】2024-07-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
表示システムを有する移動体であって、
前記表示システムは、
撮像装置、特徴量出力回路、送受信回路と、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記送受信回路は、前記移動体とは異なる場所に設けられたデータベースへ、前記特徴量データを送信する機能と、前記データベースから、前記特徴量データに対応する補正用データを受信する機能と、を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
前記表示システムは、
撮像装置、特徴量出力回路、送受信回路と、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記送受信回路は、前記移動体とは異なる場所に設けられたデータベースへ、前記特徴量データを送信する機能と、前記データベースから、前記特徴量データに対応する補正用データを受信する機能と、を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
【請求項2】
表示システムを有する移動体であって、
前記表示システムは、
撮像装置、特徴量出力回路、データベースと、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記データベースは、前記特徴量データに対応する補正用データを出力する機能を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
前記表示システムは、
撮像装置、特徴量出力回路、データベースと、画像処理回路及び表示装置、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データから特徴量データを取得する機能を有し、
前記データベースは、前記特徴量データに対応する補正用データを出力する機能を有し、
前記画像処理回路は、前記撮像データのうち特徴量の抽出が困難な領域を前記補正用データをもとに補正して画像データとして出力する機能を有し、
前記表示装置は、前記画像データを表示部に表示する機能を有する移動体。
【請求項3】
請求項１又は請求項２において、
前記表示部は、ルームミラーとしての機能を有する移動体。
前記表示部は、ルームミラーとしての機能を有する移動体。
【請求項4】
請求項１乃至請求項３のいずれか一において、
前記表示装置は、発光素子と、トランジスタとを有し、
前記トランジスタは、チャネル形成領域に酸化物半導体を有し、
前記酸化物半導体は、酸化インジウムを有する移動体。
前記表示装置は、発光素子と、トランジスタとを有し、
前記トランジスタは、チャネル形成領域に酸化物半導体を有し、
前記酸化物半導体は、酸化インジウムを有する移動体。