特許 6228295 多機能ピクセルおよびディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6228295

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】多機能ピクセルおよびディスプレイ

(51)【国際特許分類】

   G06F 3/041 20060101AFI20171030BHJP

   G02F 1/1333 20060101ALI20171030BHJP

   G02F 1/1343 20060101ALI20171030BHJP

【ＦＩ】

   G06F3/041 412

   G06F3/041 420

   G06F3/041 600

   G02F1/1333

   G02F1/1343

【請求項の数】20

【全頁数】37

(21)【出願番号】特願2016-516772(P2016-516772)

(86)(22)【出願日】2014年5月28日

(65)【公表番号】特表2016-524755(P2016-524755A)

(43)【公表日】2016年8月18日

(86)【国際出願番号】US2014039747

(87)【国際公開番号】WO2014197252

(87)【国際公開日】20141211

【審査請求日】2017年4月14日

(31)【優先権主張番号】61/830,548

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

(31)【優先権主張番号】61/830,601

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

(31)【優先権主張番号】61/830,606

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

(31)【優先権主張番号】14/137,489

(32)【優先日】2013年12月20日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ジャック・コンウェイ・キッチンズ・ザ・セカンド

(72)【発明者】

【氏名】ジョン・キース・シュナイダー

(72)【発明者】

【氏名】ディヴィッド・ウィリアム・バーンズ

(72)【発明者】

【氏名】スールヤプラカーシュ・ガンティ

【審査官】 萩島 豪

(56)【参考文献】

【文献】 特開２００９−２７１３０８（ＪＰ，Ａ）

【文献】 特開２００６−０３０８８９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１２７１３６（ＵＳ，Ａ１）

【文献】 特開２０１１−１２８６２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４１ − ３／０４４

Ｇ０２Ｆ １／１３３３

Ｇ０２Ｆ １／１３４３

(57)【特許請求の範囲】

【請求項1】

複数の多機能ピクセルであって、それぞれの多機能ピクセルが、
複数の赤サブピクセル、複数の緑サブピクセル、および複数の青サブピクセルと、
レシーババイアス電極と、
以下のセンサーの種類、すなわち、超音波センサー、赤外線センサー、光電センサー、および静電容量センサーから選択された少なくとも１つのセンサーとを含む、複数の多機能ピクセルを含み、
前記少なくとも１つのセンサーが、圧電層を含み、
前記レシーババイアス電極が、前記圧電層のバイアスのレベルを制御し、
前記複数の青サブピクセルに割り振られる青ディスプレイ領域が、前記複数の赤サブピクセルに割り振られる赤ディスプレイ領域及び前記複数の緑サブピクセルに割り振られる緑ディスプレイ領域の１つまたは両方より小さく、
前記複数の多機能ピクセルの少なくともいくつかにおいて、少なくとも１つのセンサーが、前記青サブピクセルの少なくとも１つを置き換える、ディスプレイアレイ。

【請求項2】

前記青サブピクセルよりも多い数の前記赤サブピクセルが存在するか、または前記青サブピクセルよりも多い数の前記緑サブピクセルが存在する、請求項１に記載のディスプレイアレイ。

【請求項3】

前記赤サブピクセルの各々および前記緑サブピクセルの各々が、ほぼ等しい表面面積を有する、請求項１に記載のディスプレイアレイ。

【請求項4】

前記青サブピクセルの各々が、前記赤サブピクセルの各々または前記緑サブピクセルの各々よりも小さい、請求項１に記載のディスプレイアレイ。

【請求項5】

それぞれの多機能ピクセルが、順番に互いに隣接して構成された赤サブピクセル、緑サブピクセル、および青サブピクセルを有する少なくとも１つの行または列を含む、請求項１に記載のディスプレイアレイ。

【請求項6】

それぞれの多機能ピクセルが、繰り返すパターンに構成された赤サブピクセル、緑サブピクセル、および前記少なくとも１つのセンサーのセンサーの種類を有する少なくとも１つの第２の行または第２の列を含む、請求項５に記載のディスプレイアレイ。

【請求項7】

前記少なくとも１つのセンサーが、以下、すなわち、超音波センサー、赤外線センサー、光電センサー、および静電容量センサーから選択された複数の異なるセンサーの種類を含む、請求項１に記載のディスプレイアレイ。

【請求項8】

前記少なくとも１つのセンサーが圧電層を含み、前記レシーババイアス電極が、透明導電性薄膜を含む、請求項１に記載のディスプレイアレイ。

【請求項9】

前記多機能ピクセルの各々に、前記少なくとも１つのセンサーよりも多い数の前記赤サブピクセルが存在するか、または前記少なくとも１つのセンサーよりも多い数の前記緑サブピクセルが存在する、請求項１に記載のディスプレイアレイ。

【請求項10】

前記少なくとも１つのセンサーが、少なくとも１つの超音波センサーおよび少なくとも１つの赤外線センサーを含む、請求項１に記載のディスプレイアレイ。

【請求項11】

それぞれの多機能ピクセルが、前記少なくとも１つの赤外線センサーよりも多い数の前記少なくとも１つの超音波センサーを含む、請求項１０に記載のディスプレイアレイ。

【請求項12】

前記赤ディスプレイ領域、前記緑ディスプレイ領域、前記青ディスプレイ領域、および前記少なくとも１つのセンサーが、前記ディスプレイアレイの行に沿った繰返しのシーケンスにおいて離間される、請求項１に記載のディスプレイアレイ。

【請求項13】

前記赤ディスプレイ領域、前記緑ディスプレイ領域、前記青ディスプレイ領域、および前記少なくとも１つのセンサーが、繰返しのシーケンスにおいて離間される、請求項１に記載のディスプレイアレイ。

【請求項14】

前記赤ディスプレイ領域、前記緑ディスプレイ領域、前記青ディスプレイ領域、および前記少なくとも１つのセンサーが、前記複数の多機能ピクセルの各々において同じ位置に構成される、請求項１に記載のディスプレイアレイ。

【請求項15】

前記赤ディスプレイ領域、前記緑ディスプレイ領域、前記青ディスプレイ領域、および前記少なくとも１つのセンサーが、共通基板上に構成される、請求項１に記載のディスプレイアレイ。

【請求項16】

前記少なくとも１つのセンサーが、調整可能な解像度を有する、請求項１に記載のディスプレイアレイ。

【請求項17】

前記赤ディスプレイ領域、前記緑ディスプレイ領域、および前記青ディスプレイ領域が、調整可能な解像度を有する、請求項１に記載のディスプレイアレイ。

【請求項18】

前記少なくとも１つのセンサーが、前記赤ディスプレイ領域、前記緑ディスプレイ領域、および前記青ディスプレイ領域とは異なるフレームレートを有する、請求項１に記載のディスプレイアレイ。

【請求項19】

前記少なくとも１つのセンサーが、物体からの熱を検出するように構成された赤外線センサーを含む、請求項１に記載のディスプレイアレイ。

【請求項20】

複数の多機能ピクセルであって、それぞれの多機能ピクセルが、
赤ディスプレイ領域、緑ディスプレイ領域、および青ディスプレイ領域と、
以下のセンサーの種類、すなわち、超音波センサー、赤外線センサー、光電センサー、および静電容量センサーから選択された少なくとも１つのセンサーと、を含む、複数の多機能ピクセルを含み、
前記複数の多機能ピクセルの各々において、前記青ディスプレイ領域が、前記赤ディスプレイ領域よりも小さいかまたは前記緑ディスプレイ領域よりも小さく、
前記赤ディスプレイ領域、前記緑ディスプレイ領域、前記青ディスプレイ領域、及び前記少なくとも１つのセンサーが、繰返しのシーケンスにおいて離間され、
前記複数の多機能ピクセルの１つが、隣り合う多機能ピクセルに含まれるセンサーと異なる種類のセンサーを含む、ディスプレイアレイ。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年１２月２０日に出願した米国非仮出願第１４／１３７，４８９号、２０１３年６月３日に出願した米国仮出願第６１／８３０，５４８号、２０１３年６月３日に出願した米国仮出願第６１／８３０，６０１号、２０１３年６月３日に出願した米国仮出願第６１／８３０，６０６号の優先権の利益を主張するものであり、これらの出願の開示は、参照により本明細書に組み込まれている。

【0002】

本開示は、一般に、視覚的なディスプレイのピクセルに埋め込まれる１つまたは複数の種類の感知デバイスを有する視覚的なディスプレイに関する。

【背景技術】

【0003】

視覚的なディスプレイテクノロジーは、視覚的なディスプレイが概して高解像度で薄くて平らであるように進歩した。ディスプレイに基づくデバイスに関連するセンサーは、ディスプレイの前への配置がディスプレイ上に示される画像の視認を邪魔する可能性があるので、概して、ディスプレイデバイスの筐体の側面または裏面に、またはディスプレイの周辺に追いやられる。タッチセンサーおよび指紋センサーを含むセンサーアレイなどの一部の種類のセンサーに関しては、ディスプレイおよびセンサーアレイが同じ空間を占めることが望ましい。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、ディスプレイアレイを説明する。多機能ピクセルは、複数の多機能ピクセルを含み得る。それぞれの多機能ピクセルは、赤ディスプレイ領域、緑ディスプレイ領域、および青ディスプレイ領域と、以下のセンサーの種類、すなわち、超音波センサー、赤外線センサー、光電センサー、および静電容量センサーから選択された少なくとも１つのセンサーとを含み得る。複数の多機能ピクセルの各々において、青ディスプレイ領域は、赤ディスプレイ領域よりも小さいかまたは緑ディスプレイ領域よりも小さい可能性がある。

【0005】

赤ディスプレイ領域は、１つまたは複数の赤サブピクセルから構成でき、緑ディスプレイ領域は、１つまたは複数の緑サブピクセルから構成でき、青ディスプレイ領域は、１つまたは複数の青サブピクセルから構成できる。一実施形態においては、それぞれの多機能ピクセルに、青サブピクセルよりも多い数の赤サブピクセルが存在でき、または青サブピクセルよりも多い数の緑サブピクセルが存在できる。別の実施形態においては、青サブピクセルの各々が、赤サブピクセルの各々または緑サブピクセルの各々よりも小さくすることができる。

【0006】

本開示のより完全な理解のために、添付の図面および以降の説明が参照されるべきである。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施形態による多機能ピクセルの分解斜視図である。

【図2A】多機能ピクセルのその他の実施形態の分解斜視図である。

【図2B】多機能ピクセルのその他の実施形態の分解斜視図である。

【図2C】多機能ピクセルのその他の実施形態の分解斜視図である。

【図3A】多機能ピクセルまたはピクセルディスプレイアレイで使用され得る光および／または音響レンズを示す図である。

【図3B】多機能ピクセルまたはピクセルディスプレイアレイで使用され得る光および／または音響レンズを示す図である。

【図3C】多機能ピクセルまたはピクセルディスプレイアレイで使用され得る光および／または音響レンズを示す図である。

【図4A】多機能ピクセルデバイスと組み合わされたプラテンおよびレンズ構成を示す図である。

【図4B】多機能ピクセルデバイスと組み合わされたプラテンおよびレンズ構成を示す図である。

【図4C】多機能ピクセルデバイスと組み合わされたプラテンおよびレンズ構成を示す図である。

【図4D】多機能ピクセルデバイスと組み合わされたプラテンおよびレンズ構成を示す図である。

【図5】モバイルデバイスの例示的な実施形態のブロック図である。

【図6】多機能ピクセルディスプレイアレイを含むディスプレイデバイスで使用され得る超音波センサーアレイのブロック図である。

【図7】多機能ピクセルまたはピクセルアレイを利用し得るデバイスを示す図である。

【図8】一部が拡大された多機能ピクセルのアレイを含む視覚的なディスプレイを示す図である。

【図9】ディスプレイピクセルと交互に並んだ多機能ピクセルのアレイを含む別の視覚的なディスプレイを示す図である。

【図10】多機能ピクセルおよびディスプレイピクセルのアレイを含む別の視覚的なディスプレイを示す図である。

【図11A】多機能ピクセルの様々な構成を示す図である。

【図11B】多機能ピクセルの様々な構成を示す図である。

【図11C】多機能ピクセルの様々な構成を示す図である。

【図11D】多機能ピクセルの様々な構成を示す図である。

【図11E】多機能ピクセルの様々な構成を示す図である。

【図11F】多機能ピクセルの様々な構成を示す図である。

【図12】多機能ピクセルを動作させる方法を示す流れ図である。

【図13】多機能ピクセルを動作させる方法を示す流れ図である。

【図14A】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14B】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14C】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14D】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14E】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14F】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14G】多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す図である。

【図14H】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14I】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14J】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14K】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14L】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14M】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14N】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14O】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14P】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14Q】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14R】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14S】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14T】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14U】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14V】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14W】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14X】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14Y】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14Z】多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す図である。

【図14AA】多機能ピクセル内のセンサーのさらなる構成およびセンサーの種類を示す図である。

【図14AB】多機能ピクセル内のセンサーのさらなる構成およびセンサーの種類を示す図である。

【図14AC】多機能ピクセル内のセンサーのさらなる構成およびセンサーの種類を示す図である。

【図14AD】多機能ピクセル内のセンサーのさらなる構成およびセンサーの種類を示す図である。

【図14AE】多機能ピクセル内のセンサーのさらなる構成およびセンサーの種類を示す図である。

【図15A】多機能ピクセルに関連して使用され得る様々なセンサーを示す図である。

【図15B】多機能ピクセルに関連して使用され得る様々なセンサーを示す図である。

【図15C】多機能ピクセルに関連して使用され得る様々なセンサーを示す図である。

【図15D】多機能ピクセルに関連して使用され得る様々なセンサーを示す図である。

【発明を実施するための形態】

【0008】

本開示は、本明細書においてはセンサーと呼ばれる感知要素が本明細書においてはディスプレイピクセルまたはサブピクセルと呼ばれるディスプレイ要素の間に配置され、ディスプレイピクセルおよびセンサーが視覚的なディスプレイの一部を形成するインセルディスプレイデバイスを説明する。本明細書において使用されるとき、語句「インセル」は、視覚的なディスプレイデバイスのための多機能ピクセルを集合的に構成するディスプレイ要素と一緒に物理的に配置される１つまたは複数のセンサーを指す。そのような構成は、概して、色（たとえば、赤、緑、および青、または赤、緑、青、および黄色）を生成するための１つまたは複数のディスプレイサブピクセルと、光検出器もしくはフォトニックセンサーと呼ばれる可能性もある（可視光センサーもしくは赤外線光センサーである可能性がある）光電センサー、（音もしくは音響放射を検出するための音響センサーである可能性がある）超音波センサー、（超音波センサー、力センサー、圧力センサー、温度センサー、音響センサー、もしくは音響放射センサーである可能性がある）圧電センサー、（赤外線センサー、もしくは熱センサーと呼ばれることもある温度センサーである可能性がある）焦電センサー、または静電容量センサーなどの１つまたは複数のセンサーとを有する多機能ピクセルをもたらし、それらのセンサーのうちの１つまたは複数は、視覚的なディスプレイの近くのまたは視覚的なディスプレイに接触している物体を検出するために使用され得る。そのようなピクセルは、ディスプレイピクセルよりも多くの構成要素および機能を含むので、本明細書においては多機能ピクセルまたは「スーパーピクセル」と呼ばれる。可視光センサーは、実質的に約４００ｎｍ（ナノメートル）から約７００ｎｍまでの間の波長の帯域の可視光を検出し得る。赤外線光センサーは、実質的に約７００ｎｍから約１４００ｎｍまでの間の波長の帯域の近赤外光を検出し得る。本明細書においては赤外線センサーと呼ばれる焦電センサーは、赤外線、温度、または熱エネルギーを検出し得る。

【0009】

視覚的なディスプレイテクノロジーを１つまたは複数のセンサーと組み合わせることは、視覚的なディスプレイの上もしくは近くに配置された指、スタイラス、もしくはその他の物体の使用によってタッチスクリーン動作を行うか、またはディスプレイ上に置かれた指からの指紋情報もしくはその他の生体情報を獲得する能力などの利点を提供する。使用され得る特定の種類のセンサーは、超音波センサーである。超音波センサーによって、指紋の隆線および谷線を含む指紋などの生体の対象についての生体情報が取得され得る。超音波センサーは、ディスプレイのカバーガラスである可能性があるプラテンの表面に配置された指に向かって超音波パルスを放射し、プラテン表面から反射された超音波エネルギーを検出することによって指紋についての情報を取得することができる。

【0010】

超音波センサーと視覚的なディスプレイテクノロジーとの組合せは、視覚的なディスプレイの表面に対する直接的なタッチパッドまたはタッチスクリーン操作の利点を提供する。高解像度の指紋の撮像が、多機能ピクセルのアレイまたはサブアレイを有するディスプレイ（たとえば、プラテン）のすぐ上に指が配置されるようにして実行され得る。スタイラスまたはスタイラスの先端が、多機能ピクセルの上または近くに配置されるときに検出され得る。圧電センサー、焦電センサー、光電センサー、または静電容量センサーなどの様々な感知テクノロジーが、多機能ピクセルに含まれ得る。多機能ピクセルは、ディスプレイピクセルおよび静電容量センサーを含み得る。静電容量センサーは、たとえば、指またはその他の物体の存在を静電容量により検出し得る。光電センサーは、たとえば、ディスプレイデバイスに向けられるレーザーポインタからの可視光放射を検出し得る。光電センサーは、たとえば、赤外線遠隔操作デバイスからの信号を検出し得る。赤外線センサーは、たとえば、赤外線遠隔操作デバイス、または赤外線レーザーポインタなどの赤外線光源からの信号を検出し得る。

【0011】

超音波センサー、光電センサー、赤外線光センサー、焦電赤外線センサー、または静電容量センサーは、多機能ピクセルまたはディスプレイアレイの近くまたは上にある手またはその他の物体の様々なジェスチャを検出するために使用され得る。さらなる利点が、多機能ピクセルの一部またはすべてのセンサーの種類の組合せを用いることによって実現され得る。たとえば、センサーアレイの多機能ピクセルの一部は、超音波センサーを有する可能性があり、一部は、焦電センサーを有する可能性があり、一部は、光電センサーを有する可能性があり、一部は、赤外線センサーを有する可能性があり、一部は、静電容量センサーを有する可能性がある。あるいは、多機能ピクセルは、２種類以上のセンサーを有する可能性がある。たとえば、多機能ピクセルは、ディスプレイピクセル、可視光または赤外線光を検出するための光電センサー、赤外線または温度エネルギーを検出するための赤外線センサー、および超音波または音響エネルギーを検出するための超音波センサーを含み得る。多機能ピクセルは、ディスプレイピクセル、光電センサー、および赤外線センサーを含み得る。多機能ピクセルは、ディスプレイピクセル、光電センサー、および静電容量センサーを含み得る。多機能ピクセルは、ディスプレイピクセル、超音波センサー、および温度センサーを含み得る。ディスプレイピクセルおよび静電容量センサーが、光電センサー、超音波センサー、音響放射センサー、（超音波エネルギー、力、圧力、温度エネルギー、音響エネルギー、もしくは音響放射を検出するための）圧電センサー、または（赤外線もしくは温度エネルギーを検出するための）赤外線センサーなどの多機能ピクセル内の１つまたは複数のさらなるセンサーと組み合わされる可能性がある。ディスプレイピクセルおよび光電センサー（可視光または赤外線光）が、第２の光電センサー（可視もしくは赤外線）、超音波センサー、圧電センサー、赤外線センサー、または静電容量センサーなどの１つまたは複数のさらなるセンサーと組み合わされる可能性がある。ディスプレイピクセルおよび超音波センサーが、光電センサー、圧電センサー、赤外線センサー、または静電容量センサーなどの１つまたは複数のさらなるセンサーと組み合わされる可能性がある。ディスプレイピクセルおよび赤外線センサーが、超音波センサー、圧電センサー、または静電容量センサーなどの１つまたは複数のさらなるセンサーと組み合わされる可能性がある。上述のセンサーのその他の組合せが、多機能ピクセル内に配置される可能性がある。ディスプレイピクセル、光電センサー、および超音波センサー、または多機能ピクセルのディスプレイピクセルとセンサーとのその他の組合せが、共通の基板上に配置されるか、位置するか、またはその他の方法で置かれる可能性がある。ディスプレイピクセル、光電センサー、および超音波センサー、またはディスプレイピクセルとセンサーとのその他の組合せが、実質的に平面内にある可能性がある。一部の実施形態においては、圧電層を有する超音波センサーは、圧電層が赤外線エネルギーを吸収し、熱を検出するための焦電層としての役割も果たし得るので、赤外線センサーとしても働き得る。

【0012】

本明細書の文脈においては、圧電材料は焦電特性を呈する可能性もあることが認められる。したがって、「焦電」という用語が本明細書において使用されるときは、材料またはデバイスが焦電特性を呈する可能性もあることが示唆される。

【0013】

本開示は、（ａ）超音波、音響、圧電、力、圧力、光電、赤外線光、可視光、赤外線、焦電、温度、または静電容量センサーなどの少なくとも１つのセンサー、ならびに（ｂ）ＬＣＤまたはＯＬＥＤディスプレイピクセルの３つのサブピクセル（赤、緑、および青）などの光を発するまたは光を制御するディスプレイピクセルを有する多機能ピクセルデバイスを説明する。たとえば、そのようなデバイスは、結果として得られる多機能ピクセルがディスプレイピクセルおよび１つまたは複数のセンサーを有するように、超音波センサー、赤外線センサー、光電センサー、圧電センサー、焦電センサー、または静電容量センサーなどの１つまたは複数のセンサーによって増強される赤、緑、および青サブピクセルを有する視覚的なディスプレイピクセルであると考えられる。この構成は、ディスプレイに接触する可能性がある物体に関するタッチまたは接触の情報の収集も行いながら視覚的な情報を表示するために使用され得る。ディスプレイが携帯電話、スマートフォン、またはその他のモバイルデバイスの一部として使用される場合、センサーによって提供されるタッチまたは接触の情報は、指紋、耳紋、またはディスプレイに接触するユーザの顔の側面などの生体情報に関連する可能性がある。ディスプレイは、外側のディスプレイの表面から間隔をあけられている物体を検出することができる可能性がある。このようにして、ディスプレイの表面と接触していないが、センサーのうちの１つまたは複数によって検出されるのに十分なだけディスプレイに近い物体から情報が取得される可能性がある。多機能ピクセルディスプレイアレイは、ディスプレイアレイの上または近くにある手または指などの物体のジェスチャを検出することができる可能性がある。本明細書で与えられる例は、教示の限られた数のあり得る応用であるにすぎない。本明細書の教示は、様々な異なる方法で応用され得る。

【0014】

説明される実施形態は、画像がテキストであるか、グラフィックスであるか、または写真であるかにかかわらず、画像（たとえば、静止画）または複数の連続的な画像（たとえば、ビデオ）を表示するように構成されるデバイスにおいて実装される可能性がある。より詳細には、本明細書の教示は、モバイルデバイス、ディスプレイデバイス、電話、マルチメディアインターネット対応セルラー電話、モバイルテレビ受信機、ワイヤレスデバイス、スマートフォン、Ｂｌｕｅｔｏｏｔｈデバイス、携帯情報端末（ＰＤＡ）、ワイヤレス電子メール受信機、ハンドヘルドもしくはポータブルコンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、コピー機、スキャナ、ファクシミリデバイス、ＧＰＳ受信機／ナビゲータ、カメラ、ＭＰ３プレイヤー、カムコーダ、ゲームコンソール、医療デバイス、ウェアラブル電子デバイス、モバイル健康管理デバイス、腕時計、時計、計算機、テレビモニタ、フラットパネルディスプレイ、電子読書デバイス（たとえば、ｅリーダ）、コンピュータモニタ、自動車用ディスプレイ（たとえば、オドメータディスプレイなど）、コックピットの制御装置および／もしくはディスプレイ、カメラビューディスプレイ（たとえば、車両のリアビューカメラのディスプレイ）、または現金自動預け払い機などであるがこれらに限定されない様々な電子デバイスにおいて実装されるか、またはそのような電子デバイスに関連付けられる可能性がある。したがって、本明細書の教示は、当業者に容易に明らかであるように、単に図に示された実装に限定されるように意図されておらず、幅広い応用を有する。

【0015】

図１は、本開示の一実施形態による多機能ピクセルの分解斜視図である。多機能ピクセル１は、タッチ対応、スタイラス対応、または指紋対応液晶ディスプレイ（ＬＣＤ）を形成するために使用され得る。多機能ピクセル１は、２つの導電性電極の間に挟まれた圧電薄膜または層を有する圧電薄膜超音波トランスミッタ１２に取り付けられたエッジライト式バックライトパネル１０を含み得る。バックライトパネル１０の超音波トランスミッタ１２と反対側の表面上には、ガラスまたはプラスチック薄膜トランジスタ（ＴＦＴ）基板１６上のＴＦＴアレイ１４が取り付けられ得る。ＴＦＴアレイ１４は、１つまたは複数の回路およびサブ回路によって構築される可能性がある。多機能ピクセル１は、１つまたは複数のＬＣＤディスプレイサブピクセル１８ａ〜ｃおよび複数のセンサー２０を有するＬＣＤディスプレイピクセル１８を含み得る。ディスプレイサブピクセル１８ａ〜ｃは、それぞれ、赤、緑、青色サブピクセルに対応する可能性がある。一部の実装において、センサー２０ａは、超音波センサーである可能性があり、センサー２０ｂは、光電センサーである可能性があり、センサー２０ｃは、赤外線センサーである可能性がある。超音波センサー２０ａまたは赤外線センサー２０ｃを含むセンサー２０は、ＴＦＴアレイ１４上のピクセル入力電極として働く導電パッドに接着されるかまたはその他の方法で置かれ、たとえば、関連するセンサー回路の電界効果トランジスタ（ＦＥＴ）の入力に接着される圧電性高分子２２の層に関連付けられる。超音波センサー２０ａは、圧電性高分子２２とともに、赤外線または温度センサーとしても働く可能性がある。たとえば、圧電性高分子２２は、焦電特性を呈する場合、赤外線センサーの一部として使用され得る。このようにして、超音波センサー２０ａは、超音波および赤外線信号を検出するために使用され得る。

【0016】

センサー２０は、超音波センサー回路、音響センサー回路、圧電センサー回路、圧電力センサー回路、圧電圧力センサー回路、光電回路、光センサー回路、赤外線光センサー回路、焦電センサー回路、温度センサー回路、または静電容量センサー回路などの１つまたは複数のセンサー回路およびサブ回路を含み得る。光電センサー２０ｂなどのセンサー２０は、ＰＩＮダイオードを用いて可視または赤外線光を受光し、その可視または赤外線光を電荷に変換し得る。赤外線光を遮断する可視光フィルタ（図示せず）または可視光を遮断する赤外線フィルタ（図示せず）が、それぞれ、可視光または赤外線光を感知するためにＰＩＮダイオード上に配置される可能性がある。一部の実装において、圧電性高分子２２は、光を受光する光電センサー回路の能力に実質的に影響を与えずに光電センサー回路の上に配置され得る程度に十分に光を透過し得る。その他の実装において、圧電性高分子２２は、光電センサー回路を覆わないように置かれる可能性がある。たとえば、そのような構成においては、圧電性高分子２２が、光電センサー回路とプラテン３２との間に存在しない可能性がある。静電容量センサーは、たとえば、静電容量の値の検出のための電荷増幅器、積分器、またはその他の静電容量感知回路に電気的に接続されたセンサー入力電極を有する可能性がある。

【0017】

別の実施形態において、圧電性高分子２２は、静電容量センサーを覆う可能性がある。圧電層は、静電容量センサーへの入力のための誘電体層として働き得る。圧電層は、誘電破壊の可能性を最小化するために静電容量センサーの誘電絶縁層として働く可能性もある。ＴＣＦ電極層２１および／または２３は、静電容量センサーの上で省略される可能性がある。代替的に、ＴＣＦ電極層２１、２３は、電極を電気的に絶縁するように静電容量センサーの周辺にパターニングされ、エッチングされる可能性がある。一部の実装においては、圧電性高分子２２などの圧電層が、超音波センサー、圧電センサー、焦電（赤外線もしくは温度）センサー、および／または静電容量センサーの一部として含まれる可能性がある。一部の実装において、圧電層は、ポリフッ化ビニリデン（ＰＶＤＦ）またはポリビニリデン−トリフルオロエチレン（ＰＶＤＦ−ＴｒＦＥ）共重合体の層などの一部の圧電層が可視および赤外線スペクトル領域で実質的に透過的であるので、光電光センサー（可視光または赤外線光）を覆い得る。一部の実装において、ＰＶＤＦまたはＰＶＤＦ−ＴｒＦＥ層は、ＬＣＤまたはＯＬＥＤディスプレイ要素の上に含まれる可能性がある。図１に示されるように、ディスプレイピクセル１８およびセンサー２０の実質的な部分が、共通の基板上に配置されるかまたはそれ以外の方法で置かれる可能性がある。ディスプレイピクセル１８およびセンサー２０の実質的な部分は、実質的に同じ平面内にある可能性がある。

【0018】

図１は、ディスプレイピクセルおよびサブピクセルのための回路の上のＴＦＴアレイ１４上の液晶材料２４の層を示す。一部の実装において、液晶材料２４は、センサー回路の上に延びる可能性がある。液晶材料２４に印加される電圧を制御することによって、バックライトパネル１０からの光が、変化する量でディスプレイピクセルを通過することを可能にされ得る。圧電性高分子２２は、液晶材料２４の上および／または下で液晶材料によって境界を定められるかまたは部分的に境界を定められる可能性がある。たとえば、図１は、液晶材料２４の層の一部を圧電性高分子２２の上にあるものとして示し、液晶材料の別の一部を圧電性高分子２２の横にあるように示す。一部の実装においては、ポリイミドの薄層または被覆（図示せず）が、液晶材料の適切な配向を助けるために圧電性高分子２２と液晶材料２４との間に配置される可能性がある。

【0019】

図１は、液晶材料２４の上に配置された透明導電薄膜（ＴＣＦ： ｔｒａｎｓｐａｒｅｎｔ ｃｏｎｄｕｃｔｉｎｇ ｆｉｌｍ）電極２６も示す。ＴＣＦ電極２６は、ＩＴＯ（インジウムスズ酸化物）、ＩＺＯ（インジウム亜鉛酸化物）、ＦＴＯ（フッ化スズ酸化物）、ＧＺＯ（ガリウム亜鉛酸化物）、ＰＥＤＯＴもしくはポリ（３，４−エチレンジオキシチオフェン）、または実質的に透明であり、導電薄膜として使用され得るその他の導電材料などの材料から形成され得る。たとえば、ＩＴＯ層が、カラーフィルタアレイ２８の一部として含まれ、超音波センサー２０ａのためのＴＣＦ電極２６として働く可能性がある。超音波センサー２０ａのためのＴＣＦ電極２６は、レシーババイアス電極とも呼ばれる可能性がある。

【0020】

ＴＣＦ電極２６は、センサー２０およびディスプレイピクセル１８のための共通電極として使用される可能性がある。図１に示される例において、ＴＣＦ電極２６は、カラーフィルタアレイ２８に貼り付けられる可能性がある。カラーフィルタアレイ２８は、たとえば、それぞれのディスプレイピクセルのための赤、緑、および青色フィルタに対応する３つの個々のカラーフィルタ要素２８ａ、２８ｂ、および２８ｃを含み得る。カラーフィルタ要素２８ａ、２８ｂ、および２８ｃは、ガラスまたはプラスチック層などのカラーフィルタ基板２８ｄ上に形成されるかまたはその他の方法で置かれ得る。カラーフィルタアレイ２８の上にあるのは、偏光フィルタ３０である可能性がある。プラテン３２が、カバーグラスまたはカバーレンズとしても働き得る最も外側の保護層として設けられる可能性がある。プラテン３２は、耐摩耗ガラスまたはプラスチックの層から作られる可能性がある。

【0021】

そのようなディスプレイの視覚的な態様は、ほとんどのＬＣＤディスプレイと同様にして動作し得る。ＴＦＴアレイ１４とＴＣＦ電極２６との間の電圧が、各ディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃがオンまたはオフになることを可能にする。各ディスプレイピクセル１８は、個々のディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃの間の空間を通じて漏れる可能性があるバックライトパネル１０からの望ましくない光を排除するために個々のサブピクセル１８ａ、１８ｂ、および１８ｃを囲むブラックマスク（図示せず）としても知られるブラックマトリックスを有する可能性がある。ブラックマスクは、センサーを通過するバックライトパネル１０からの光の量を減らし、ディスプレイの暗状態の挙動を改善するために、超音波センサー２０ａまたはその他のセンサーの上または下などのセンサースタックの一部として配置される可能性がある。ブラックマスクは、ディスプレイのコントラスト比を高めるために発光型ディスプレイおよび反射型ディスプレイなどのその他のディスプレイの種類で使用される可能性がある。反射層（図示せず）が、バックライトパネル１０からの光の向きをバックライトに戻る方向に変え、照明の効率を高めるために超音波センサー２０ａまたはその他のセンサーの下に配置される可能性がある。

【0022】

図２Ａ〜図２Ｃは、多機能ピクセルのその他の実施形態の分解斜視図である。これらの実施形態において、ＯＬＥＤサブピクセルが、ディスプレイピクセル１８を形成するために組み合わされる。多機能ピクセル２は、複数のセンサー２０ならびに１つまたは複数のＯＬＥＤディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃを有するディスプレイピクセル１８を有する可能性がある。圧電薄膜超音波トランスミッタ１２が、ＴＦＴアレイ１４のＴＦＴ基板１６の背面に取り付けられる可能性がある。ＴＦＴアレイ１４は、１つまたは複数の発光ディスプレイピクセルまたはディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃを有するディスプレイピクセル１８を含み得る。図２Ａに示されるように、第１のＴＣＦ電極２１、圧電性高分子２２の層、および第２のＴＣＦ電極２３が、関連するセンサー回路の上に配置されるが、ただし、ディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃの上には配置されない可能性がある。図２Ｂに示される別の実施形態においては、第１のＴＣＦ電極２１ａが、センサー回路の上ならびにディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃの上に置かれる可能性がある。図２Ｃに示される第３の実施形態においては、第１のＴＣＦ電極２１ａおよび第２のＴＣＦ電極２３ａが、センサー回路の上ならびにディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃの上に置かれる可能性がある。

【0023】

図２Ａ〜図２Ｃにおいては、光を透過する絶縁材料２５が、３つのＯＬＥＤディスプレイサブピクセル１８ａ〜ｃの上に示される。図２Ａに示される実施形態において、絶縁材料２５は、ＯＬＥＤディスプレイサブピクセル１８ａ〜ｃをＴＣＦ電極２１および２３から絶縁する可能性がある。図２Ｂ〜図２Ｃに示される実施形態において、絶縁材料２５は、ＯＬＥＤディスプレイサブピクセル１８ａ〜ｃをＴＣＦ電極２３から絶縁する可能性がある。

【0024】

カラーフィルタアレイ２８が、赤−緑−青の視覚的な表示色を可能にするために設けられ得る。プラテン３２として働き得るカバーガラスが、物理的な摩耗および機械的な損傷からディスプレイデバイスを保護するために設けられ得る。各ディスプレイピクセル１８は、個々のディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃの間の任意の空間を通じて漏れる可能性がある隣接するＯＬＥＤサブピクセルからの望ましくない光を排除するために個々のサブピクセルを囲むブラックマトリックスまたはブラックマスク（図示せず）を有する可能性がある。

【0025】

センサー２０は、超音波センサー回路、音響センサー回路、圧電センサー回路、圧電力センサー回路、圧電圧力センサー回路、光電センサー回路、可視光センサー回路、赤外線光センサー回路、焦電赤外線センサー回路、温度センサー回路、または静電容量センサー回路などの１つまたは複数のセンサー回路およびサブ回路を含み得る。たとえば、センサー２０ａは、超音波センサー回路を含む超音波センサーである可能性があり、センサー２０ｂは、光電センサー回路を含む光電センサーである可能性があり、センサー２０ｃは、赤外線センサー回路を含む赤外線センサーである可能性がある。一部の実施形態において、圧電超音波センサー回路および焦電赤外線センサー回路は、ピーク検出器、バイアス回路、および圧電／焦電層の使用と多くの点で同様である可能性があるが、（図１４Ａおよび図１４Ｂに関連してより詳細に説明される）外部バイアスおよびタイミング回路は、超音波センサーに関する反射された超音波信号を検出するためにタイミングウィンドウを用いる可能性があり、温度または赤外線エネルギーを検出するためにタイミングウィンドウ（および超音波トランスミッタの活動）を使用しない可能性がある。光電センサー２０ｂの光電センサー回路は、超音波または赤外線センサーの一部の実装において使用されるピーク検出ダイオードおよびキャパシタをＰＩＮ型フォトダイオードによって置き換えることによって形成され得る。ＰＩＮ型フォトダイオードは、可視または赤外線光を電荷に直接変換することができる。電荷として利用可能になると、ＴＦＴアレイ回路が、ＴＦＴアレイに関連する行および列アドレス指定回路を介して信号を出力するために使用され得る。

【0026】

当業者は、センサー回路およびセンサーの一部を含む様々な層がディスプレイスタック内の異なる層上に据えられ、同じまたは同様の機能を引き続き実現し得ることを認識するであろう。したがって、本明細書において説明される特定の構成は、インセルテクノロジーが実装され得る唯一の構成であると見なされるべきでない。

【0027】

図３Ａ〜図３Ｃは、多機能ピクセルまたはピクセルディスプレイアレイで使用され得る屈折光および／または音響レンズを示す。上述の多機能ピクセル１、２は、ディスプレイ上の特定の位置からのまたはディスプレイから離れるエネルギーをセンサー２０のうちの１つまたは複数上に集めるように構成された１つまたは複数のレンズを含み得る。レンズは、赤外線もしくは可視エネルギーを集めるように構成された光学レンズである可能性があり、または超音波エネルギーを集めるように構成された超音波レンズである可能性がある。光学レンズが設けられる場合、超音波エネルギーを送るまたは受け取る圧電デバイスの能力に影響を与えずに赤外線エネルギーを集めることが可能である。しかし、圧電デバイスによって感知されている赤外線エネルギーを集めるための光学レンズを設けることは、視覚的なディスプレイによって生成されている画像を歪ませる可能性があることを認識されたい。

【0028】

図３Ａ〜図３Ｃは、多機能ピクセルで使用され得る屈折光および／または音響レンズを示す。上述の多機能ピクセル１、２は、ディスプレイ上の特定の位置からのまたはディスプレイから離れるエネルギーをセンサー２０のうちの１つまたは複数上に集めるように構成された１つまたは複数のレンズを含み得る。レンズは、赤外線もしくは可視エネルギーを集めるように構成された光学レンズである可能性があり、または超音波エネルギーを集めるように構成された超音波レンズである可能性がある。光学レンズが設けられる場合、超音波エネルギーを送るまたは受け取る圧電デバイスの能力に影響を与えずに赤外線エネルギーを集めることが可能である。しかし、圧電デバイスによって感知されている赤外線エネルギーを集めるための光学レンズを設けることは、視覚的なディスプレイによって生成されている画像を歪ませる可能性があることを認識されたい。

【0029】

レンズ５０の例が、図３Ａ〜図３Ｃに示される。たとえば、レンズ５０は、（図３Ａに示される）フレネルレンズ５０ａ、（図３Ｂに示される）平凸光学レンズ５０ｂ、または（図３Ｃに示される）マイクロレンズアレイ５０ｃである可能性がある。レンズ５０は、センサーの焦点を近似的に無限遠に合わせるために使用され得る。一例においては、およそ長さ１／２インチ×幅１／２インチであり、厚さ１／５０インチから１／１６インチまでの間の厚さを有する光学レンズが、設けられる可能性がある。しかし、その他のサイズのレンズは、本開示の範囲内にある。レンズ５０は、複数の光学的に位置合わせされたレンズ（図示せず）として具現化される可能性があることも想定される。そのような複数のレンズは、互いに対して固定的であるかまたは移動可能である可能性がある。

【0030】

図４Ａ〜図４Ｄは、多機能ピクセルデバイス３６と組み合わされたプラテンおよびレンズ構成を示す。光学または音響レンズ５０が、多機能ピクセルデバイス３６の多機能ピクセル１、２の１つまたは複数の層の内または上に組み込まれる可能性がある。たとえば、レンズ５０は、センサー２０とプラテン３２との間に配置される可能性がある。一部の実装においては、プラテン３２が、レンズを含むかまたはレンズとして働く可能性がある。図４Ａは、実質的に平坦なプラテン３２を有する構成を示し、この構成においては、多機能ピクセル１、２のセンサー２０が、プラテン３２の露出させられた表面上に配置された物体から放出するまたは反射されたエネルギーを検出し得る。図４Ｂおよび図４Ｃは、プラテン３２ａの最も外側の表面がレンズとして働き得る曲面を有する実施形態を示す。たとえば、図４Ｂは、可視光または赤外線レンズとして働き得る凸プラテン３２ａを有する。図４Ｂは、多機能ピクセル１、２によって指３４を感知するための凸プラテン３２ａに押し付けられた指３４を示す。そのような多機能ピクセル１、２が超音波センサー２０ａを含む場合、図４Ｂにおいて、指３４の超音波画像が、撮影され得る。図４Ｂに示される構成によって撮影された超音波画像は、図４Ａに示された実施形態によって撮影された超音波画像と実質的に同様である可能性がある。図４Ｃは、凸プラテン３２ａから離間された指３４を示す。この凸プラテン３２ａは、指３４が凸プラテン３２ａの外面から離れた、離間された位置にあるときに指３４の焦点を合わされた画像を得るために超音波エネルギーまたは赤外線エネルギーを１つまたは複数の多機能ピクセル１、２上に集めることができる。このようにして、指３４などの物体の画像が、多機能ピクセル１、２にさらなる層を追加することなく、可視光または赤外線センサーアレイによって撮影され得る。本開示の文脈で、「画像」という用語は、物体の画像を表す記憶されたデータおよび撮像センサーから導出された記憶されたデータとして具現化されたデータを含む。

【0031】

レンズは、多機能ピクセルデバイス３６とは別である可能性もある。たとえば、図４Ｄは、平坦なプラテンの上に配置されるかまたは平坦なプラテンに貼り付けられたフレネルレンズ５０ａをともなう多機能ピクセルデバイス３６を示す。代替的に、フレネルレンズ５０ａは、プラテンとモノリシックに形成される可能性がある。フレネルレンズ５０ａが示されるが、任意の好適なレンズが使用され得る。レンズ５０ａは、プラテンから離れた位置の指３４の焦点を合わされた画像を得るために赤外線または可視エネルギーを赤外線または光電センサー上に集めることができる。レンズ５０ａは、プラテンに固定される可能性があるが、多機能ピクセルデバイス３６に対して相対的にずらされ得る可能性がある。たとえば、レンズ５０ａは、所定の位置にスライドするようにまたは多機能ピクセルデバイス３６から取り外され得るように設けられる可能性がある。

【0032】

図４Ｂおよび図４Ｃに示される凸プラテン３２ａは、ボタンとして使用するのに有利である可能性がある。ボタンは、現金自動預け払い機、電話、タブレットコンピュータなどのコンピュータデバイスのための入力である可能性がある。ボタンは、ユーザからの入力を登録するために定位置に固定されるかまたはずらされ得る可能性がある。固定されたボタンの場合、ボタンは、圧力を感知するか、または多機能ピクセル１、２のセンサーによってユーザの入力を判定するように構成され得る。ボタンは、アレイに構成された複数の多機能ピクセル１、２を含み得る。平坦なプラテン３２が、上で説明された同じ方法でボタンとして使用され得る。一部の実装においては、凸プラテン３２ａの湾曲した形状が、その他のボタンを含むデバイスのその他の領域からボタンを区別するためにユーザに役立つ可能性がある。

【0033】

光学レンズが設けられない場合、プラテンから離間されている物体の詳細な画像を取得することが難しい可能性がある。たとえば、プラテンからおよそ６ｍｍを超えて意味のある生体情報を提供するための必要な詳細を有する可視または赤外線画像を得ることは、難しい可能性がある。しかし、光学レンズなしに撮影された可視または赤外線画像は、プラテンの表面から離間された物体の存在または物体の移動を判定するのに十分な情報を提供する可能性がある。たとえば、物体の動きは、レンズなしに約０．０１インチから約２．０インチまでの範囲内で感知され得る。その他の範囲は、多機能ピクセル１、２に設けられたセンサーまたは感知されている物体に依存して取得される可能性がある。

【0034】

上述の１つまたは複数の多機能ピクセル１、２は、医療デバイスなどのモバイルデバイスまたはモバイル電話などのコンシューマデバイスに含まれる可能性がある。図５は、全体的に１５００で示されるモバイルデバイスの例示的な実施形態のブロック図を示す。デバイス１５００は、メモリ１５３２に結合されたデジタル信号プロセッサ（ＤＳＰ）またはマイクロコントローラなどのマイクロプロセッサ１５１０を含み得る。例示的な例において、マイクロプロセッサ１５１０は、取得された画像または画像情報の特徴を特定するように構成された画像処理論理を含む。マイクロプロセッサ１５１０は、モバイルデバイスに割り当てられた様々なタスクを実行するように動作可能である可能性がある。特定の実施形態において、メモリ１５３２は、命令１５６０を含む非一時的コンピュータ可読媒体である可能性がある。マイクロプロセッサ１５１０は、モバイルデバイスに割り当てられたタスクを実行するためにメモリ１５３２に記憶された命令１５６０を実行するように構成され得る。別の例示的な例において、メモリ１５３２は、カメラ１５７０によって取得された可視画像を記憶する可能性がある。

【0035】

モバイルデバイス１５００は、マイクロプロセッサ１５１０およびディスプレイデバイス１５２８に結合されたディスプレイコントローラ１５２６も含み得る。ディスプレイデバイス１５２８は、１つまたは複数の多機能ピクセル１、２を有する図１または図２Ａ〜図２Ｃに示されたインセルディスプレイデバイスに対応する可能性がある。コーダ／デコーダ（コーデック）１５３４が、マイクロプロセッサ１５１０に結合される可能性がある。１つまたは複数のスピーカ１５３６およびマイクロフォン１５３８が、コーデック１５３４に結合される可能性がある。特定の実施形態において、マイクロフォン１５３８は、音声を取得するように構成され得る。カメラ１５７０がビデオを取得する間に、マイクロフォン１５３８が音声を取得するように構成され得る。

【0036】

ワイヤレスコントローラ１５４０が、マイクロプロセッサ１５１０およびアンテナ１５４２に結合され得る。特定の実施形態において、マイクロプロセッサ１５１０、ディスプレイコントローラ１５２６、メモリ１５３２、コーデック１５３４、およびワイヤレスコントローラ１５４０は、システムインパッケージまたはシステムオンチップ（ＳＯＣ）デバイス１５２２に含まれる。特定の実施形態においては、入力デバイス１５３０および電源１５４４が、システムオンチップデバイス１５２２に結合される可能性がある。モバイルデバイス１５００がタッチスクリーンを含む例示的な例において、ディスプレイデバイス１５２８および入力デバイス１５３０は、１つまたは複数の多機能ピクセル１、２を有するインセルシステムを用いて少なくとも部分的に統合され得る。特定の実施形態においては、図５に示されるように、ディスプレイデバイス１５２８、入力デバイス１５３０、スピーカ１５３６、マイクロフォン１５３８、アンテナ１５４２、電源１５４４、およびカメラ１５７０は、システムオンチップデバイス１５２２の外部にある。しかし、ディスプレイデバイス１５２８、入力デバイス１５３０、スピーカ１５３６、マイクロフォン１５３８、アンテナ１５４２、電源１５４４、およびカメラ１５７０の各々は、インターフェースまたは組み込まれたマイクロコントローラなどのシステムオンチップデバイス１５２２の構成要素に結合され得る。

【0037】

超音波センサーを備えるとき、１つまたは複数の多機能ピクセル１、２を含むディスプレイデバイス１５２８は、圧電薄膜超音波トランスミッタ１２を含み得る。動作中、超音波トランスミッタ１２は、プラテン３２に向かい、プラテン３２を通る、多機能ピクセル１、２の様々な層を抜けて進み得る超音波パルスを放出し得る。指３４などのプラテン３２上にある物体は、超音波エネルギーの一部を吸収する可能性があり、物体によって吸収されない超音波エネルギーの一部が、プラテン３２を抜けて超音波センサー２０ａに戻るように反射される可能性がある。超音波センサー２０ａが受信する信号に注目することによって、物体についての情報が判定され得る。たとえば、物体が指３４である場合、超音波センサーから導出される情報は、指紋の視覚的表現の生成を可能にし得る。導電トレースが、超音波センサー２０ａの超音波センサー回路を、超音波センサー２０ａによって生成された信号を読み出すことを可能にする電子部品と接続する可能性がある。

【0038】

図６は、多機能ピクセルディスプレイアレイを含むディスプレイデバイスで使用され得る超音波センサーシステムのブロック図を示す。図６は、超音波センサーアレイ１６０１に関連する回路１６００を示す。制御ユニット１６１０が、超音波トランスミッタ１６２０を介して超音波パルスを送るために超音波センサーアレイ１６０１に信号を送信する可能性がある。たとえば、制御ユニット１６１０は、超音波トランスミッタ１６２０を駆動するためにトランスミッタドライバ１６２４にトランスミッタ励起信号１６２２を送信する可能性がある。制御ユニット１６１０は、超音波センサーアレイ１６０１によって与えられた信号を読み出すための回路を作動させ得る。たとえば、制御ユニット１６１０は、超音波センサーアレイ１６０１のバイアスを制御するためにレシーババイアスドライバ１６２８にレベル選択入力１６２６を送信し得る。反射された超音波エネルギーが超音波センサーアレイ１６０１に到着すると予測される時間を知ることによって、制御ユニット１６１０は、指３４（またはスタイラスなどのその他の物体）があるプラテン３２から反射された超音波エネルギーに関連付けられるセンサー信号を読み出し得る。制御ユニット１６１０は、ゲートドライバ１６２７を介して超音波センサーアレイ１６０１を構成する多機能ピクセル１、２の読み出しを制御し得る。センサー信号が読み出されると、データプロセッサ１６３０が、センサー信号に対応するデジタル化されたデータセットを形成するために使用される可能性があり、このデータセットが、デジタル出力１６４０として提供される可能性がある。アナログデジタルコンバータなどのデジタイザ１６２９が、アナログである可能性があるピクセル出力をデジタル形式に変換するために設けられ得る。データプロセッサ１６３０は、デジタル信号プロセッサまたはその他の同様のプロセッサである可能性がある。

【0039】

（指３４などの）物体がプラテン３２上にある場合、物体に到達する超音波パルスまたは波はプラテン３２から物体まで続き、そこでエネルギーが吸収される。たとえば、プラテン３２に接触する指紋の隆線が、プラテン３２を介して指３４に送られた超音波エネルギーを実質的に吸収する。しかし、プラテン３２に接触しない指紋の谷線があるところでは、超音波は、プラテン３２を通って戻るように実質的に反射され、超音波センサーアレイ１６０１によって検出される。その他の電子部品が、超音波センサーアレイ１６０１から個々の行および列信号を読み出す可能性があり、データプロセッサ１６３０が、信号から導出されたデータを生成するために使用される可能性がある。そのデータは、物体の画像（たとえば、指紋の画像）を生成するために使用され得る。

【0040】

図７は、多機能ピクセルまたはピクセルディスプレイアレイを利用し得るデバイスを示す。多機能ピクセル１、２のアレイを有するディスプレイデバイスは、ラップトップコンピュータ１７００、携帯電話１７１０、タブレットコンピュータ１７２０（たとえば、ｉＰａｄ（登録商標））、ゲームコンソール１７３０、および医療デバイス１７４０を含む可能性がある。

【0041】

図８は、一部が拡大された多機能ピクセルのアレイを含む視覚的なディスプレイを示す。視覚的なディスプレイ１８００の拡大された部分１８００ａは、１６個の多機能ピクセル１、２のディスプレイサブアレイ３を含む。この実装において、ディスプレイサブアレイ３の各ピクセルは、多機能ピクセル１、２である。動作の一部のモードにおいては、センサー２０の１つまたは複数のセンサー回路が、オンにされる必要がない。このようにして、センサー解像度が、変更され得る。たとえば、多機能ピクセル１、２がディスプレイ１８００のあらゆるその他の行およびあらゆるその他の列においてオンにされる場合、センサー解像度は、ディスプレイ１８００の視覚解像度の４分の１になる。

【0042】

図９は、ディスプレイピクセルと交互に並んだ多機能ピクセルのアレイを含む別の視覚的なディスプレイを示す。この実装において、多機能ピクセル１、２は、感知機能を持たないかまたは感知機能を無効化したディスプレイピクセル４とのチェッカー盤パターンを有する２×２ディスプレイサブアレイ３に構成され、センサー解像度は、ディスプレイ１８００の視覚解像度の２分の１である。

【0043】

図１０は、多機能ピクセルおよびディスプレイピクセルのアレイを含む別の視覚的なディスプレイを示す。この実装においては、２つの多機能ピクセル１、２の２×２ディスプレイサブアレイ３が、感知機能を持たないかまたは感知機能を無効化するかもしくはそうでなければ考慮に入れない２つのディスプレイピクセル４の隣に置かれ、ディスプレイ解像度の半分であるセンサー解像度を有する。

【0044】

図１１Ａ〜図１１Ｇは、多機能ピクセルの様々な構成を示す。多機能ピクセルは、ディスプレイピクセル１８を、１つまたは複数の超音波センサー２０ａ、光電センサー２０ｂ、赤外線センサー２０ｃ、または静電容量センサー２０ｄの組合せとともに含み得る。明確にするために、図１１Ａ〜図１１Ｇには、多機能ピクセル１、２のすべての層が示されているわけではない。図１１Ａにおいては、赤、緑、および青ディスプレイサブピクセル１８ａ、１８ｂ、および１８ｃをそれぞれ有するディスプレイピクセル１８、超音波センサー２０ａ、ならびに赤外線センサー２０ｃを有するインセル多機能ピクセル１、２が示されている。図１１Ｂにおいては、赤、緑、および青ディスプレイサブピクセル１８ａ〜ｃを有するディスプレイピクセル１８、超音波センサー２０ａ、ならびに光電センサー２０ｂを有するインセル多機能ピクセル１、２が示されている。図１１Ｃにおいては、赤、緑、および青ディスプレイサブピクセル１８ａ〜ｃ、第１の超音波センサー２０ａ、ならびに第２の超音波センサー２０ａを有するインセル多機能ピクセル１、２が示されている。図１１Ｄにおいては、赤、緑、および青ディスプレイサブピクセル１８ａ〜ｃ、超音波センサー２０ａ、ならびに静電容量センサー２０ｄを有するインセル多機能ピクセル１、２が示されている。図１１Ｅにおいては、赤、緑、および青ディスプレイサブピクセル１８ａ〜１８ｃを有するディスプレイピクセル１８、光電センサー２０ｂ、ならびに静電容量センサー２０ｄを有する多機能ピクセル１、２が示されている。図１１Ｆにおいては、赤、緑、および青サブピクセル１８ａ〜ｃを有するディスプレイピクセル１８、光電センサー２０ｂ、ならびに赤外線センサー２０ｃを有する多機能ピクセル１、２が示されている。その他の実装（図示せず）は、ディスプレイピクセル、光電光センサー（可視光または赤外線光）、および静電容量センサー２０ｄを有する多機能ピクセル１、２を含み得る。その他の実装は、ディスプレイピクセルと１つまたは複数のセンサーとのその他の組合せを含み得る。

【0045】

インセル多機能ピクセル１、２は、ディスプレイデバイスのディスプレイおよびその他の構成要素への電力の制御を可能にする信号を与えることを可能にし得る赤外線センサー２０ｃを含み得る。たとえば、赤外線センサー２０ｃは赤外線エネルギーおよび熱を検出し得るので、ディスプレイの上または近くに配置された人の指、手、頭、または耳からの熱が、ディスプレイに組み込まれた赤外線センサー２０ｃによって検出され、ディスプレイデバイスの別の構成要素をオンまたはオフにする命令を与えるために解釈され得る。たとえば、超音波センサー２０ａの超音波センサー回路または光電センサー２０ｂの光電センサー回路が、ディスプレイに近づいている人の手、指、頭、または耳からの熱の検出に応じてオンにされ得る。このようにして、超音波センサー２０ａに関連する超音波トランスミッタ１２は、必要とされるまでオフのまま保たれ得る。一部の実装において、多機能ピクセル１、２は、多機能ピクセル１、２の近くまたは上の指またはその他の物体の存在を検出することができる可能性がある静電容量センサー２０ｄを含み得る。一部の実施形態において、静電容量センサー２０ｄによって検出された信号は、超音波トランスミッタ１２および超音波センサー２０ａまたはディスプレイデバイスのその他の構成要素をオンにするための根拠として使用され得る。代替的に、静電容量センサー２０ｄからの信号は、ディスプレイデバイスのためのタッチスクリーン入力を提供するために使用され得る。一部の実装においては、圧電材料の赤外線検出能力が、ディスプレイの表面上の指またはスタイラスなどのタッチする物体から最初のタッチイベントを検出するために使用される可能性があり、タッチする物体の詳細な位置を迅速に判定するためのタッチの近傍の様々なセンサーの適応的なスキャンがその後に続く。

【0046】

同様のメカニズムが、モバイルデバイスがユーザの命令を受け入れる準備ができていることを示すために視覚的なディスプレイを介してユーザに「ようこそメッセージ」またはその他のプロンプトを与えるようにプログラミングされるマイクロプロセッサに関連して使用され得る。マイクロプロセッサは、比較的アクティブでない状態に保たれ、ユーザがディスプレイを使用することを望むことをディスプレイのセンサーが示すときによりアクティブな状態にされ得る。たとえば、マイクロプロセッサは、電力を節約するために比較的アクティブでない状態に保たれている可能性があるが、必要とされるときには、プロンプトを提供するためによりアクティブな状態にされる可能性がある。このようにして、センサーアレイは、視覚的なディスプレイを介して届けられる応答を生成するために使用され得るイベントを検出し得る。

【0047】

図１２は、多機能ピクセルを動作させる方法の１つの実装を示す流れ図である。インセル多機能ピクセル１、２の赤外線センサー２０ｃは、熱を検出し、センサーによって感知される熱の量に比例する信号を送信し得る。信号は、閾値と比較される可能性があり、閾値が超えられる場合、超音波トランスミッタ１２が作動される可能性がある。閾値が超えられない場合、超音波トランスミッタ１２は、アクティブなままであるかまたは非アクティブ状態にされる可能性がある。同様にして、多機能ピクセル１、２の静電容量センサー２０ｄは、指、スタイラス、またはその他の物体の近接を検出し、超音波トランスミッタ１２を作動させるかまたは作動されたままにし得る。

【0048】

図１３は、多機能ピクセルを動作させる方法の別の実装を示す流れ図である。インセル多機能ピクセル１、２の赤外線センサー２０ｃは、熱を検出し、センサーによって感知される熱の量に比例する信号を送信し得る。信号は、閾値と比較される可能性があり、閾値が超えられる場合、超音波トランスミッタ１２が作動される可能性がある。超音波トランスミッタ１２を作動させることによって、超音波画像が、多機能ピクセル１、２の超音波センサー２０ａによって取得され得る。閾値が超えられない場合、超音波トランスミッタ１２は、アクティブなままであるかまたは非アクティブ状態にされる可能性がある。同様に、多機能ピクセル１、２の静電容量センサー２０ｄは、指、スタイラス、またはその他の物体の近接を検出し、超音波トランスミッタ１２を作動させ、超音波画像を取得させ得る。

【0049】

図１４Ａおよび図１４Ｂは、多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す。図１４Ａは、ＬＣＤディスプレイ構成要素を有する多機能ピクセルディスプレイアレイ２００１のための回路２０００を示す。図１４Ｂは、ＯＬＥＤディスプレイ構成要素を有する多機能ピクセルディスプレイアレイ２００２のための回路２０００を示す。回路２０００は、列ドライバ回路２０３０を有するピクセルディスプレイアレイドライバ２０２０に信号を与えるようにプログラミングされたマイクロプロセッサ２０１０を含み得る。加えて、マイクロプロセッサ２０１０は、センサーアレイ読み出し回路２０４０を動作させるための信号を与えるようにプログラミングされ得る。タイミングバイアスおよびパルス生成制御回路２０５０が、たとえば、ディスプレイ回路２０６０および／またはセンサー回路２０７０のタイミングおよびバイアスを制御するために設けられる可能性がある。バイアスおよびパルス生成制御回路２０５０は、多機能ピクセルディスプレイアレイ２００１、２００２の行または列を選択するように構成され得る。圧電センサー、光電センサー、および焦電センサーの３つの組が図１４Ａおよび図１４Ｂに示されているが、光電センサー、可視光線センサー、赤外線光センサー、赤外線センサー、超音波センサー、音響もしくは音響放射センサー、圧電力もしくは圧力センサー、温度センサー、または静電容量センサーを含む１つまたは複数のセンサーの種類が、ディスプレイアレイの１つまたは複数の多機能ピクセルに構成される可能性がある。

【0050】

多数の行選択線、列ドライバ線、およびセンサー読み出し線はディスプレイ要素を見ることを邪魔する可能性があるので、線の数を最小化する手法が有益である可能性がある。図１４Ｃは、それぞれ赤、緑、および青のための３つのサブピクセル１８ａ、１８ｂ、および１８ｃを有するＬＣＤまたはＯＬＥＤディスプレイピクセルと、それぞれ超音波センサー、光電センサー、および静電容量センサーを表す３つのセンサー２０ａ、２０ｂ、および２０ｄとによって構成された多機能ピクセル１、２のディスプレイアレイ２００１、２００２に関する独立した行アドレス指定を示す。ディスプレイサブピクセルのためのビデオまたはディスプレイ入力線と、センサーのためのセンサー出力信号線とが、分けられる。この構成は、センサーの特定の行または列を無効化すること、考慮に入れないこと、切断すること、無視すること、有効化しないこと、アクセスしないこと、アドレス指定しないこと、またはその他の方法で度外視することによってディスプレイピクセルおよびセンサーに関して独立したフレームレートを可能にし、さらに、異なるセンサー解像度を可能にする。一実施形態において、多機能ピクセルディスプレイアレイの光電センサー、第２のセンサー、またはその他のセンサーのフレームレート、フレームサイズ、および解像度は、センサーの行および列のサブセットを決定し、それにアクセスすることによって調整可能であるように構成され得る。異なる実施形態においては、行選択線の数が、図１４Ｄに示されるように、共通の行選択線を用いてディスプレイ要素の行およびセンサー要素の行にアドレスすることによって削減され得る。さらに別の実施形態には、センサーに給電するかまたはセンサーをリセットするためのさらなる線が含まれる可能性がある。

【0051】

さらなる実施形態においては、図１４Ｅに示されるように、ビデオ入力線およびセンサー出力線の数が、同じ列線を用いてディスプレイピクセルを駆動し、センサー出力信号を感知することによって削減され得る。この実施形態においては、共通の列線が、ディスプレイピクセルの行が選択されている間にビデオ入力のために使用され、センサーの行が選択されるときにセンサー出力のために使用され得る。ディスプレイ列ドライバに関する高出力インピーダンスモードが、感知モードであるときに列線上のセンサー出力信号の正確な検出を可能にするために含まれる可能性がある。図１４Ｆに示される別の実施形態は、共通のディスプレイ／センサー行選択線および共通のビデオ入力／センサー出力列線を有する可能性がある。図１４Ｇに示される別の実施形態は、赤、緑、および青サブピクセル１８ａ〜ｃ、いくつかの超音波センサー２０ａ、ならびに赤外線センサー２０ｃのいくつかの組を有する多機能ピクセル１、２を示す。行および列アドレス指定が、ディスプレイ要素のためのディスプレイデータを提供し、センサー要素からセンサーデータを読むために使用される。超音波センサー２０ａが、適度に高い解像度の超音波撮像のために使用され得る一方、赤外線センサー２０ｃは、粗い赤外線撮像のために使用され得る。粗い赤外線撮像は、たとえば、多機能ピクセル１、２の近くまたは上に配置された指からジェスチャを検出するかまたは熱を検出するために役立つ可能性がある。一部の実装において、粗い赤外線撮像は、超音波撮像のために超音波トランスミッタをオンにする前に物体の存在を検出するために使用され得る。図１４Ｃ〜図１４Ｇに示された実装などの一部の実装においては、行選択線および／または列駆動／感知線が、その他の制御線および電力線と一緒に、より少ない面積的なスペースを消費し、ディスプレイアレイを過度に遮ることを避けるために２つ以上の相互接続層に形成される可能性がある。たとえば、ディスプレイサブピクセルおよびセンサーの行のための第１の行選択線が、ディスプレイサブピクセルおよびセンサーの隣接する行のための第２の行選択線の真上に配置される可能性がある。

【0052】

図１４Ｈ〜図１４Ｕは、多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す。これらの構成においては、赤−緑−青ディスプレイピクセル１８の青サブピクセル１８ｃの一部が、多機能ピクセルディスプレイアレイ２００１、２００２の一部として形成されるときに多機能ピクセル１、２内の様々なセンサーの位置およびセンサーの種類を可能にするために縮小される。青サブピクセル１８ｃは、ＬＣＤ、ＯＬＥＤ、および反射型ディスプレイにおいて比較的効率的である可能性があり、したがって、青サブピクセルに割り振られる面積は赤サブピクセル１８ａまたは緑サブピクセル１８ｂなどのその他のディスプレイサブピクセルに比べて削減され、ディスプレイの性能に実質的に影響を与えない可能性がある。超音波センサー２０ａが、図１４Ｈに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａおよび光電センサー２０ｂが、図１４Ｉに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａおよび赤外線センサー２０ｃが、図１４Ｊに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａおよび静電容量センサー２０ｄが、図１４Ｋに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａ、光電センサー２０ｂ、および赤外線センサー２０ｃが、図１４Ｌに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａ、光電センサー２０ｂ、および静電容量センサー２０ｄが、図１４Ｍに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａ、赤外線センサー２０ｃ、および静電容量センサー２０ｄが、図１４Ｎに示されるように、多機能ピクセル１、２内に配置される可能性がある。超音波センサー２０ａ、光電センサー２０ｂ、赤外線センサー２０ｃ、および静電容量センサー２０ｄが、図１４Ｏに示されるように、多機能ピクセル１、２内に配置される可能性がある。さらなる構成においては、光電センサー２０ｂが、図１４Ｐに示されるように、多機能ピクセル１、２内に配置される可能性がある。光電センサー２０ｂおよび赤外線センサー２０ｃが、図１４Ｑに示されるように、多機能ピクセル１、２内に配置される可能性がある。光電センサー２０ｂおよび静電容量センサー２０ｄが、図１４Ｒに示されるように、多機能ピクセル１、２内に配置される可能性がある。光電センサー２０ｂ、赤外線センサー２０ｃ、および静電容量センサー２０ｄが、図１４Ｓに示されるように、多機能ピクセル１、２内に配置される可能性がある。さらなる構成においては、赤外線センサーが、図１４Ｔに示されるように、多機能ピクセル１、２内に配置される可能性がある。赤外線センサー２０ｃおよび静電容量センサー２０ｄが、図１４Ｕに示されるように、多機能ピクセル１、２内に配置される可能性がある。明確にするために、アドレス、データ、および感知線は、これらの図１４Ｈ〜図１４Ｕに示されていない。

【0053】

図１４Ｖ〜図１４Ｚは、青サブピクセル１８ｃがディスプレイアレイ内の様々な場所においてセンサーによって置き換えられる、多機能ピクセル内のセンサーの様々な構成およびセンサーの種類を示す。言い換えれば、多機能ピクセル１、２によって青サブピクセルよりも多くの赤サブピクセルまたは緑サブピクセルが存在する。青サブピクセルは赤サブピクセルまたは緑サブピクセルなどのその他のサブピクセルよりも効率的である可能性があるので、青サブピクセルを時折センサーによって置き換えることは、ディスプレイの性能の最小限の低下をもたらす可能性がある。図１４Ｖは、多機能ピクセルディスプレイアレイ２００１、２００２の一部である可能性がある多機能ピクセル１、２のディスプレイサブピクセル１８ａ〜ｃとともに超音波センサー２０ａを含む。図１４Ｗは、多機能ピクセル１、２の超音波センサー２０ａおよび光電センサー２０ｂを含む。図１４Ｘは、多機能ピクセル１、２の超音波センサー２０ａおよび赤外線センサー２０ｃを含む。図１４Ｙは、多機能ピクセル１、２の超音波センサー２０ａおよび静電容量センサー２０ｄを含む。図１４Ｚは、多機能ピクセル１、２の超音波センサー２０ａ、光電センサー２０ｂ、赤外線センサー２０ｃ、および静電容量センサー２０ｄを含む。明確にするために、アドレス、データ、および感知線は、これらの図１４Ｖ〜図１４Ｚに示されていない。その他の構成（図示せず）は、多機能ピクセル１、２の超音波センサー２０ａ、光電センサー２０ｂ、および赤外線センサー２０ｃ、または静電容量センサー２０ｄと、多機能ピクセル１、２の超音波センサー２０ａ、赤外線センサー２０ｃ、および静電容量センサー２０ｄと、多機能ピクセル１、２の光電センサー２０ｂと、多機能ピクセル１、２の光電センサー２０ｂ、および赤外線センサー２０ｃ、または静電容量センサー２０ｄと、多機能ピクセル１、２の光電センサー２０ｂ、赤外線センサー２０ｃ、および静電容量センサー２０ｄと、多機能ピクセル１、２の赤外線センサー２０ｃと、多機能ピクセル１、２の赤外線センサー２０ｃおよび静電容量センサー２０ｄとを含む。

【0054】

図１４ＡＡ〜図１４ＡＥは、多機能ピクセル内のセンサーのさらなる構成およびセンサーの種類を示す。これらの構成は、赤、緑、および青サブピクセルが、１つまたは複数のセンサーとともに、おおよそ２×２構成またはその倍数に構成される様々な４つ組み構成を表す。これらの構成においては、青サブピクセルを駆動する代わりにセンサーデータが収集される可能性がある。代替的に、別々の駆動および／または感知線が、センサーに関連付けられる可能性がある。図１４ＡＡは、４つの組の構成の超音波センサー２０ａおよびディスプレイサブピクセル１８ａ〜ｃを有する多機能ピクセル１、２を示す。図１４ＡＢは、超音波センサー２０ａ、光電センサー２０ｂ、およびディスプレイサブピクセル１８ａ〜ｃを有する多機能ピクセル１、２を示す。図１４ＡＣは、超音波センサー２０ａ、赤外線センサー２０ｃ、およびディスプレイサブピクセル１８ａ〜ｃを有する多機能ピクセル１、２を示す。図１４ＡＤは、超音波センサー２０ａ、静電容量センサー２０ｄ、およびディスプレイサブピクセル１８ａ〜ｃを有する多機能ピクセル１、２を示す。図１４ＡＥは、超音波センサー２０ａ、光電センサー２０ｂ、赤外線センサー２０ｃ、静電容量センサー２０ｄ、およびディスプレイサブピクセル１８ａ〜ｃを有する多機能ピクセル１、２を示す。その他の構成は、ディスプレイピクセルを、１つまたは複数の超音波センサー２０ａ、光電センサー２０ｂ、赤外線センサー２０ｃ、または静電容量センサー２０ｄ、およびこれらの組合せとともに含む。

【0055】

１つまたは複数のセンサーがそれぞれの多機能ピクセルにおいてディスプレイサブピクセルをちりばめられる実施形態、またはディスプレイサブピクセルおよびセンサー要素が示された量および位置以外の量および位置にある実施形態を有することもあり得る。

【0056】

多機能ピクセルディスプレイアレイのセンサー要素の解像度は、１つおきの行および１つおきの列にアクセスすること、行および列のサブセットをアドレス指定すること、または１つもしくは複数の行もしくは列のグループを飛ばすことによるなどして動作中に調整可能であるように構成され得るので、センサーからのデータ獲得のフレームレートも、調整可能であり得る。つまり、センサー要素に関するフレームレートは、ディスプレイ要素に関するフレームレートよりも高いか、同じか、または低い可能性がある。一例において、インセル静電容量センサーアレイのフレームレートは、ディスプレイ更新レートよりもずっと速い可能性があり、したがって、タッチまたはスタイラス入力データは、スタイラスの追跡のためなど、必要なときに高速なレートで獲得され得る。別の例においては、インセル超音波指紋センサーアレイのフレームレートが、指紋などの高解像度の生体情報の獲得を可能にするためにディスプレイ更新レートから下げられる可能性がある。センサーデータの獲得に関するフレームレートは、異なる応用によるセンサーデータの変化する必要性に基づき動的である可能性がある。フレームサイズは動的であり、たとえば、ディスプレイアレイの表面の上または近くのスタイラスまたはその他の物体のトラッキングを可能にするためにディスプレイアレイのより小さな部分からのセンサーデータの高速なアクセスを可能にし得る。動的なフレームサイズおよび動的なフレームレートが、ディスプレイアレイの上または近くの物体のジェスチャを検出するために使用され、ジェスチャの高速な追跡を可能にし得る。一部のモードにおいては、センサー要素の一部またはすべてが、少なくとも一時的に逆方向にアクセスされる可能性がある。動作の１つのモードにおいては、多機能ピクセルディスプレイアレイからのセンサーデータの獲得が、センサーデータが要求されず、一方、ディスプレイアレイのディスプレイ要素に対する更新が続くとき、一時的に中断される可能性がある。動作の異なるモードにおいては、ＬＣＤに基づくディスプレイアレイのバックライトが、ディスプレイアレイの光電センサーからのデータなどのセンサーデータが取得されることを可能にするためにオフにされるかまたは暗くされる可能性がある。

【0057】

ディスプレイ要素およびセンサー要素の独立したアクセスが提供される異なる実施形態においては、共通の行選択線または共通のビデオ入力およびセンサー出力線の使用が、ビデオまたはディスプレイ入力データを提供し、センサー出力データを獲得するタイミングおよび順序に制約を課す可能性があることもあり得る。たとえば、シーケンスは、第１にビデオデータを書き、第２にセンサー出力データを読み、それから繰り返すことである可能性がある。第２の例においては、ビデオまたはディスプレイデータが、複数の連続するフレームの間に書かれる可能性があり、１つまたは複数のセンサー獲得フレームが、必要とされるときに書込みフレームの間に挿入される。第３の例においては、ビデオまたはディスプレイデータが、ほぼ連続的に書かれる可能性があり、センサーデータは、ディスプレイデータが一時的に止むかまたはセンサーデータを獲得する必要性が生じるときに取得される。第４の例においては、ディスプレイアレイのセンサーが、非常に低いフレームレートで（たとえば、１秒、１分、１時間、またはそれよりも長い時間に１回）アクセスされる可能性があり、一方、ディスプレイは、ディスプレイがオンにされるかまたは何らかのその他のイベントが起こるまでオフである。

【0058】

図１５Ａは、図１４Ａおよび図１４Ｂに示された多機能ピクセルシステムの多機能ピクセル１、２に関連して使用され得る超音波（圧電）センサー２０ａを示す。圧電センサーは、たとえば、比較的高い周波数の超音波信号、中程度の周波数の音響信号、または低い周波数の加えられた圧力もしくは力の信号を測定するために使用され得る。圧電センサーは、たとえば、指またはスタイラスがディスプレイアレイの表面をこするかまたは叩くときに放射される可能性がある音響放射を検出し得る。図１５Ｂは、図１４Ａおよび図１４Ｂに示された多機能ピクセルシステムにおいて使用され得る赤外線（焦電）センサー２０ｃを示す。焦電センサーは、たとえば、赤外線エネルギー、温度エネルギー、または熱を検出するために使用され得る。図１５Ｃは、図１４Ａおよび図１４Ｂに示された多機能ピクセルシステムにおいて使用され得る光電センサー２０ｂを示す。光電センサーは、たとえば、可視光または赤外線光を検出するために使用され得る。図１５Ｄは、多機能ピクセル１、２において使用され得る静電容量センサー２０ｄを示す。静電容量センサー２０ｄは、たとえば、多機能ピクセル１、２の上または近くに置かれた指などの物体からの静電容量または静電容量の変化を検出するために使用され得る。

【0059】

説明された実施形態に関連して、転送されるメディアアイテム（ｍｅｄｉａ ｉｔｅｍ）のユーザの選択を受け取るためのシステムを含む装置が開示される。たとえば、メディアアイテムのユーザの選択を受け取るためのシステムは、図１および図２Ａ〜図２Ｃに示された多機能ピクセルなどの多機能ピクセル１、２を含むインセルシステムである可能性がある。メディアアイテムは、データがデジタルビデオ、音声、アート（ａｒｔ）などのデジタル形式で記憶されるデジタルメディアを含み得る。

【0060】

当業者は、本明細書において開示された実施形態に関連して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが、電子的なハードウェア、コンピュータソフトウェア、またはこれら両方の組合せとして実装され得ることをさらに理解するであろう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、概してそれらの機能の観点で上で説明された。そのような機能がハードウェアとして実装されるかまたはソフトウェアとして実装されるかは、システム全体に課された特定の用途および設計の制約による。当業者は、説明された機能をそれぞれの特定の用途のために様々な方法で実装し得るが、そのような実装の判断は、本開示の範囲からの逸脱をもたらすものと解釈されるべきでない。

【0061】

本開示が１つまたは複数の特定の実施形態に関連して説明されたが、本開示のその他の実施形態が本開示の精神および範囲から逸脱することなくなされ得ることは、理解されるであろう。したがって、本開示は、添付の特許請求の範囲およびその妥当な解釈によってのみ限定されると考えられる。

【符号の説明】

【0062】

１ 多機能ピクセル
２ 多機能ピクセル
３ ディスプレイサブアレイ
４ ディスプレイピクセル
１０ バックライトパネル
１２ 超音波トランスミッタ
１４ ＴＦＴアレイ
１６ ＴＦＴ基板
１８ ディスプレイピクセル
１８ａ ディスプレイサブピクセル
１８ｂ ディスプレイサブピクセル
１８ｃ ディスプレイサブピクセル
２０ センサー
２０ａ センサー
２０ｂ センサー
２０ｃ センサー
２０ｄ センサー
２１ ＴＣＦ電極層
２１ａ 第１のＴＣＦ電極
２２ 圧電性高分子
２３ ＴＣＦ電極層
２３ａ 第２のＴＣＦ電極
２４ 液晶材料
２６ ＴＣＦ電極
２８ カラーフィルタアレイ
２８ａ カラーフィルタ要素
２８ｂ カラーフィルタ要素
２８ｃ カラーフィルタ要素
２８ｄ カラーフィルタ基板
３２ プラテン
３２ａ 凸プラテン
３４ 指
３６ 多機能ピクセルデバイス
５０ レンズ
５０ａ フレネルレンズ
５０ｂ 平凸光学レンズ
５０ｃ マイクロレンズアレイ
１５００ デバイス
１５１０ マイクロプロセッサ
１５２２ システムオンチップデバイス
１５２６ ディスプレイコントローラ
１５２８ ディスプレイデバイス
１５３０ 入力デバイス
１５３２ メモリ
１５３４ コーデック
１５３６ スピーカ
１５３８ マイクロフォン
１５４０ ワイヤレスコントローラ
１５４２ アンテナ
１５４４ 電源
１５６０ 命令
１５７０ カメラ
１６００ 回路
１６０１ 超音波センサーアレイ
１６１０ 制御ユニット
１６２０ 超音波トランスミッタ
１６２２ トランスミッタ励起信号
１６２４ トランスミッタドライバ
１６２６ レベル選択入力
１６２７ ゲートドライバ
１６２８ レシーババイアスドライバ
１６２９ デジタイザ
１６３０ データプロセッサ
１６４０ デジタル出力
１７００ ラップトップコンピュータ
１７１０ 携帯電話
１７２０ タブレットコンピュータ
１７３０ ゲームコンソール
１７４０ 医療デバイス
１８００ ディスプレイ
１８００ａ 拡大された部分
２０００ 回路
２００１ ディスプレイアレイ
２００２ ディスプレイアレイ
２０１０ マイクロプロセッサ
２０２０ ピクセルディスプレイアレイドライバ
２０３０ 列ドライバ回路
２０４０ センサーアレイ読み出し回路
２０５０ タイミングバイアスおよびパルス生成制御回路
２０６０ ディスプレイ回路
２０７０ センサー回路

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図11E】

【図11F】

【図12】

【図13】

【図14A】

【図14AA】

【図14AB】

【図14AC】

【図14AD】

【図14AE】

【図14B】

【図14C】

【図14D】

【図14E】

【図14F】

【図14G】

【図14H】

【図14I】

【図14J】

【図14K】

【図14L】

【図14M】

【図14N】

【図14O】

【図14P】

【図14Q】

【図14R】

【図14S】

【図14T】

【図14U】

【図14V】

【図14W】

【図14X】

【図14Y】

【図14Z】

【図15A】

【図15B】

【図15C】

【図15D】