特許 6207726 感知のデバイスおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6207726

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】感知のデバイスおよび方法

(51)【国際特許分類】

   G06F 3/043 20060101AFI20170925BHJP

   G06F 3/041 20060101ALI20170925BHJP

   G06F 3/042 20060101ALI20170925BHJP

   G06F 3/0488 20130101ALI20170925BHJP

【ＦＩ】

   G06F3/043

   G06F3/041 412

   G06F3/042 471

   G06F3/041 600

   G06F3/0488

【請求項の数】25

【全頁数】35

(21)【出願番号】特願2016-516762(P2016-516762)

(86)(22)【出願日】2014年5月28日

(65)【公表番号】特表2016-520935(P2016-520935A)

(43)【公表日】2016年7月14日

(86)【国際出願番号】US2014039709

(87)【国際公開番号】WO2014197247

(87)【国際公開日】20141211

【審査請求日】2016年12月14日

(31)【優先権主張番号】61/830,548

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

(31)【優先権主張番号】61/830,601

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

(31)【優先権主張番号】61/830,606

(32)【優先日】2013年6月3日

(33)【優先権主張国】US

(31)【優先権主張番号】14/137,474

(32)【優先日】2013年12月20日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ジャック・コンウェイ・キッチンズ・セカンド

(72)【発明者】

【氏名】ジョン・キース・シュナイダー

(72)【発明者】

【氏名】デイヴィッド・ウィリアム・バーンズ

(72)【発明者】

【氏名】スールヤプラカーシュ・ガンティ

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開２００６−０３０８８９（ＪＰ，Ａ）

【文献】 特開２０１２−０７３７８５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００１７８７１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０１８１９３１（ＵＳ，Ａ１）

【文献】 国際公開第２０１２／１４９２２５（ＷＯ，Ａ２）

【文献】 米国特許出願公開第２０１１／０２６１０２１（ＵＳ，Ａ１）

【文献】 特開２００９−２２３３１７（ＪＰ，Ａ）

【文献】 特開２００８−０８３６７５（ＪＰ，Ａ）

【文献】 特開２０１１−００２９２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４１−３／０４３

Ｇ０６Ｆ ３／０４８８

(57)【特許請求の範囲】

【請求項1】

ディスプレイを制御する方法であって、
圧電デバイスのレシーバによって物体を表す信号を検出するステップと、
前記物体を表す前記信号に基づいてディスプレイをスリープモードから覚ますステップと、
前記圧電デバイスの超音波トランスミッタをスリープ状態からアクティブ状態にするステップと、
前記超音波トランスミッタによって超音波信号を送るステップと、
超音波画像を生成するために、前記圧電デバイスのレシーバによって前記ディスプレイの表面から反射された超音波信号を検出するステップとを含み、
前記圧電デバイスおよび前記ディスプレイが、TFTアレイ上に配置される、方法。

【請求項2】

前記ディスプレイが前記物体を表す前記信号の閾値との比較に基づいて覚まされる請求項1に記載の方法。

【請求項3】

前記閾値が、あらかじめ決められた値であるか、または前記圧電デバイスによって検出された前の信号に基づく請求項2に記載の方法。

【請求項4】

前記物体を表す前記信号が、赤外線信号または超音波信号である請求項1に記載の方法。

【請求項5】

前記超音波信号を送るステップの前に、前記超音波トランスミッタが、スリープ状態からアクティブ状態にされる請求項1に記載の方法。

【請求項6】

前記物体が、前記ディスプレイの表面上にまたは前記ディスプレイの表面から離れて位置付けられる請求項1に記載の方法。

【請求項7】

前記圧電デバイスが、複数の圧電センサにより構成されるセンサアレイを含み、前記圧電センサが超音波トランスミッタおよびレシーバを含み、前記物体を表す前記信号を検出するステップが、前記センサアレイによってスキャンを行うステップを含む請求項1に記載の方法。

【請求項8】

前記物体を表す前記信号に基づいて前記ディスプレイに対して相対的な前記物体の位置を判定するステップと、
前記物体の前記位置に基づいて前記センサアレイによって第2のスキャンを行うステップとをさらに含む請求項7に記載の方法。

【請求項9】

前記圧電デバイスが、複数の圧電センサにより構成されるセンサアレイを含み、前記圧電センサが超音波トランスミッタおよびレシーバを含み、前記物体を表す前記信号を検出するステップが、前記センサアレイによって部分的なスキャンを行うステップを含む請求項1に記載の方法。

【請求項10】

前記部分的なスキャンが、イベントに応答して前記センサアレイのセンサの一部を選択的にアドレス指定することを含む請求項9に記載の方法。

【請求項11】

前記イベントが、前記ディスプレイの表面にタッチする物体を検出することに対応する請求項10に記載の方法。

【請求項12】

センサの前記一部が、前記センサアレイのその他のセンサよりも前記イベントに近い請求項11に記載の方法。

【請求項13】

前記部分的なスキャンが、イベントに応答して前記センサアレイのセンサの一部からの情報を選択的に処理することを含む請求項9に記載の方法。

【請求項14】

前記情報が、前記センサアレイの実質的にすべてのセンサから画像情報を読み出し、センサの前記一部に対応する前記情報の一部を画像プロセッサに転送することによって選択的に処理される請求項13に記載の方法。

【請求項15】

前記イベントが、前記ディスプレイの表面にタッチする物体を検出することに対応する請求項14に記載の方法。

【請求項16】

センサの前記一部が、前記センサアレイのその他のセンサよりも前記イベントに近い請求項15に記載の方法。

【請求項17】

前記情報が、前記センサアレイの実質的にすべてのセンサから画像情報を読み出し、画像プロセッサに転送し、前記画像プロセッサによってセンサの前記一部からの情報を選択的に処理することによって選択的に処理される請求項13に記載の方法。

【請求項18】

センサの前記一部が、前記センサアレイのその他のセンサよりも前記イベントに近い請求項17に記載の方法。

【請求項19】

前記物体を表す前記信号が、音響放射である請求項1に記載の方法。

【請求項20】

前記音響放射が、以下、すなわち、ユーザが前記ディスプレイの表面をタップすること、およびユーザが前記ディスプレイの前記表面をこすることのうちの1つまたは複数に対応する請求項19に記載の方法。

【請求項21】

前記音響放射が、ユーザが前記ディスプレイの表面にタッチすることに対応する請求項19に記載の方法。

【請求項22】

前記物体を表す前記信号が、前記物体からの熱に対応する赤外線信号である請求項1に記載の方法。

【請求項23】

物体がディスプレイの表面にタッチするときに前記物体から放出された熱もしくは温度エネルギーからまたは音響放射から、圧電デバイスによって前記物体を表す信号を検出し、
前記信号に基づいて前記ディスプレイをスリープモードから覚ますように構成されたプロセッサを含み、
前記圧電デバイスが、センサアレイを含み、前記プロセッサが、前記センサアレイの実質的にすべてのセンサから画像情報を読み出し、前記センサアレイのセンサの一部に対応する情報の一部を画像プロセッサに転送することによって情報を選択的に処理するように構成され、
前記圧電デバイスおよび前記ディスプレイが、TFTアレイ上に配置される、装置。

【請求項24】

前記圧電デバイスが、センサアレイを含み、前記プロセッサが、イベントに応答して前記センサアレイのセンサの一部を選択的にアドレス指定するように構成される請求項23に記載の装置。

【請求項25】

物体がディスプレイの表面にタッチするときに前記物体から放出された熱もしくは温度エネルギーからまたは音響放射から、圧電デバイスによって前記物体を表す信号を検出するための手段と、
前記信号に基づいて前記ディスプレイをスリープモードから覚ますための手段と、
前記圧電デバイスの実質的にすべてのセンサから画像情報を読み出し、前記センサの一部に対応する情報の一部を画像プロセッサに転送することによって情報を選択的に処理するための手段とを含み、
前記圧電デバイスおよび前記ディスプレイが、TFTアレイ上に配置される、装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2013年12月20日に出願した米国非仮出願第14/137,474号、2013年6月3日に出願した米国仮出願第61/830,548号、2013年6月3日に出願した米国仮出願第61/830,601号、2013年6月3日に出願した米国仮出願第61/830,606号の優先権の利益を主張するものであり、これらの出願の開示は、参照により本明細書に組み込まれている。

【0002】

本開示は、感知のデバイスおよび方法に関する。

【背景技術】

【0003】

圧電気は、加えられた機械的な力に応じて(結晶、特定のセラミックス、ならびにキチン、骨、DNA、および様々なタンパク質などの生体物質などの)何らかの固体材料内に蓄積する電荷を示す。圧電気という用語は、圧力の結果として生じる電気を意味する。

【0004】

圧電効果は、反転対称性(inversion symmetry)を持たない結晶および多結晶誘電材料の機械的状態と電気的状態との間の電気機械的インタラクションとして理解される。圧電効果は、正圧電効果(direct piezoelectric effect)(加えられた機械的な力の結果として生じる電荷の生成)を呈する材料が逆圧電効果(reverse piezoelectric effect)(加えられた電界の結果として生じる機械的な力の生成)も呈するという点で可逆過程である。たとえば、ポリフッ化ビニリデン(PVDF)ポリマー結晶は、それらの結晶の静的な構造が変形されるときに測定可能な圧電気を生成し得る。反対に、それらの同じポリマー結晶は、外部電界が加えられるときにそれらの結晶の静的な寸法を変える。

【0005】

焦電気は、温度の変化に対する材料の電気的応答である。温度の変化は、材料の分極(polarization)が変化するように焦電材料の結晶構造内で原子の位置をわずかに修正する。この分極の変化が、材料の両端の電圧を上げる。温度が一定のままである場合、焦電電圧は、漏れ電流が原因で次第になくなる(漏れは、電子が材料を通じて移動すること、イオンが空気を通じて移動すること、電流が表面の汚れまたは材料に取り付けられた試験機器を通じて漏れることなどが原因である可能性がある)。(10^-6℃程の)温度の非常に小さな変化が、材料の焦電特性によって測定可能な電位を生じ得る。

【0006】

ポリマーおよび無機物内の焦電電荷は、非対称結晶の反対の面上に現れる。電荷の伝播が進む方向は、通常、焦電材料全体を通じて一定であるが、一部の材料においては、この方向が、近傍電界(nearby electric field)によって変えられ得る。これらの焦電材料は、強誘電性--電界の印加によって逆転され得る自発電気分極--を呈すると言われる。すべての焦電材料は、圧電性もある。しかし、一部の圧電材料は、焦電効果が現れることを許さない結晶の対称性を有する。

【0007】

圧電材料は、超音波センサのために使用され得る。超音波センサは、たとえば、指紋を検出するためにバイオメトリクスにおいて使用され得る。しかし、これらの超音波センサは、概して、圧電材料の焦電性の特徴を利用しない。

【発明の概要】

【課題を解決するための手段】

【0008】

本開示は、圧電デバイスによって物体を表す信号を検出するステップを含む方法を説明する。検出された信号に基づいて、ディスプレイがスリープモードから覚まされ得る。ディスプレイは、信号の閾値との比較に基づいて覚まされる可能性がある。閾値は、あらかじめ決められた値であるか、または圧電デバイスによって検出された前の信号に基づく可能性がある。

【0009】

本開示は、赤外線信号の表現を検出された超音波および赤外線信号の組み合わされた表現と比較するステップを含み得る方法も説明する。赤外線信号の表現は、検出された赤外線信号に基づく可能性がある。組み合わされた表現は、検出された組み合わされた超音波および赤外線信号に基づく可能性がある。出力表現が、赤外線信号の表現および組み合わされた表現から生成される可能性がある。一実施形態において、出力表現は、組み合わされた表現と赤外線信号の表現との間の比較から生成される可能性がある。比較は、組み合わされた表現と赤外線信号の表現との間の差に基づく可能性がある。赤外線信号および/または組み合わされた超音波および赤外線信号は、圧電デバイスによって検出され得る。赤外線信号の表現、組み合わされた表現、および/または出力表現は、画像を含む可能性がある。本開示の文脈で、「画像」という用語は、物体の画像を表す記憶されたデータおよび圧電デバイスから導出された記憶されたデータとして具現化されたデータを含む可能性がある。圧電デバイスは、超音波センサ、赤外線センサなどである可能性がある。

【0010】

本開示は、圧電デバイスによる赤外線信号(たとえば、赤外線エネルギー)の検出も説明する。赤外線信号の表現が、検出された赤外線信号から形成され得る。赤外線信号の表現は、メモリ、たとえば、非一時的コンピュータ可読メモリに記憶され得る。

【0011】

超音波信号(たとえば、超音波エネルギー)が、圧電デバイスによって送られ得る。送られた超音波信号は、物体が存在する可能性があるプラテンから反射される可能性があり、反射された信号が、圧電デバイスによって検出される可能性がある。組み合わされた超音波および赤外線の表現が、検出された超音波信号から形成され得る。赤外線信号の表現が、メモリから読まれる可能性がある。(a)赤外線画像と(b)組み合わされた超音波および赤外線画像との間の比較が、超音波画像を生成するために行われ得る。比較は、(a)赤外線画像と(b)組み合わされた超音波および赤外線画像との間の差である可能性がある。

【0012】

本開示は、雑音を取り除く方法も説明する。その方法は、赤外線基準画像を取得することを含む。赤外線基準画像は、圧電デバイスの視野に物体がない状態で取得された画像である可能性がある。組み合わされた赤外線および超音波基準画像が、取得され得る。組み合わされた基準画像は、圧電デバイスの視野に物体がない状態で取得された画像である可能性がある。赤外線対象画像が、取得され得る。物体の赤外線対象画像が、取得され得る。組み合わされた赤外線および超音波対象画像が、取得され得る。組み合わされた対象画像は、赤外線対象画像と同じ物体のものである可能性がある。赤外線基準画像が、修正された赤外線画像を生成するために赤外線対象画像から差し引かれ得る。組み合わされた基準画像が、修正された組み合わされた画像を生成するために組み合わされた対象画像から差し引かれ得る。修正された赤外線画像が、超音波画像を生成するために修正された組み合わされた画像から差し引かれ得る。

【0013】

本開示は、その他の方法も説明する。たとえば、赤外線信号が、ディスプレイに組み込まれた圧電デバイスによって検出され得る。超音波信号が、圧電デバイスによって送られ得る。組み合わされた超音波および赤外線信号が、圧電デバイスによって検出され得る。ディスプレイは、検出された赤外線信号、組み合わされた超音波および赤外線信号、または検出された赤外線信号と組み合わされた超音波および赤外線信号との両方に応答して制御され得る。

【0014】

本開示は、センサアレイから情報を読み出す方法も説明する。センサアレイは、複数の圧電センサにより構成される可能性がある。圧電センサは、超音波トランスミッタおよびレシーバを含み得る。圧電センサの情報は、電気回路によって(たとえば、アナログデジタルコンバータを用いて)行ごとまたは列ごとに読み出される可能性があり、コンピュータが、センサの情報からデータを生成するために使用される可能性がある。そのデータは、物体の視覚的な画像を生成するために使用され得る。方法は、超音波トランスミッタがオフにされる一方で、センサアレイからセンサの情報を読むことを含み得る。センサアレイからのセンサの情報は、メモリに記憶される可能性がある。センサアレイからのセンサの情報が、超音波トランスミッタがオンの状態で読まれ得る。センサの情報は、後で使用するために記憶される可能性がある。たとえば、超音波トランスミッタがオフの状態でセンサアレイから収集された記憶されたセンサの情報が、超音波トランスミッタがオンの状態でセンサアレイから収集された記憶されたセンサの情報から差し引かれる可能性があり、結果として得られるデータセットが、メモリに記憶される可能性がある。前のステップは、行ごとにまたは列ごとに実行される可能性がある。

【0015】

本開示のより完全な理解のために、添付の図面および以降の説明が参照されるべきである。

【図面の簡単な説明】

【0016】

【図1A】本開示による超音波システムを動作させるための方法の実施形態を示す図である。

【図1B】本開示による超音波システムを動作させるための方法の実施形態を示す図である。

【図2】本開示による方法の別の実施形態を示す図である。

【図3A(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3A(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3B(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3B(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3C(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3C(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3D(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3D(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3E(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3E(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3F(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3F(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3G(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3G(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3H(i)】本開示に従って取得される例示的な指紋画像を示す図である。

【図3H(ii)】本開示に従って取得される例示的な指紋画像を示す図である。

【図4】例示的な2重相関サンプリング(double correlated sampling)回路を示す図である。

【図5】雑音を取り除く方法を示す図である。

【図6】図5に示された方法に従って雑音を取り除くために使用され得る式を示す図である。

【図7A】本開示によるディスプレイを制御する方法を示す図である。

【図7B】本開示によるディスプレイを制御する方法を示す図である。

【図7C】本開示によるディスプレイを制御する方法を示す図である。

【図7D】本開示によるディスプレイを制御する方法を示す図である。

【図8】本開示による視覚的なディスプレイを動作させる方法を示す流れ図である。

【図9】視覚的なディスプレイを動作させる方法を示す別の流れ図である。

【図10A】本開示による圧電デバイスによって使用され得る光および/または音響レンズを示す図である。

【図10B】本開示による圧電デバイスによって使用され得る光および/または音響レンズを示す図である。

【図10C】本開示による圧電デバイスによって使用され得る光および/または音響レンズを示す図である。

【図11A】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。

【図11B】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。

【図11C】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。

【図11D】圧電センサと組み合わされたプラテンおよびレンズ構成を示す図である。

【図12A】圧電デバイスを動作させるために使用され得る回路を示す図である。

【図12B】圧電デバイスを動作させるために使用され得る回路を示す図である。

【図12C】圧電デバイスを動作させるために使用され得る回路を示す図である。

【図12D】圧電デバイスを動作させるために使用され得る回路を示す図である。

【図12E】圧電デバイスを動作させるために使用され得る回路を示す図である。

【図12F】圧電デバイスを動作させるために使用され得る回路を示す図である。

【図13A】圧電デバイスと併せて使用され得るセンサを示す図である。

【図13B】圧電デバイスと併せて使用され得るセンサを示す図である。

【図13C】圧電デバイスと併せて使用され得るセンサを示す図である。

【図13D】圧電デバイスと併せて使用され得るセンサを示す図である。

【図14】本開示によるセンサアレイから情報を読み出す方法を示す。

【図15】本開示の一実施形態による多機能ピクセルの分解斜視図である。

【図16A】多機能ピクセルのその他の実施形態の分解斜視図である。

【図16B】多機能ピクセルのその他の実施形態の分解斜視図である。

【図16C】多機能ピクセルのその他の実施形態の分解斜視図である。

【図17】モバイルデバイスの例示的な実施形態のブロック図である。

【図18】多機能ピクセルディスプレイアレイを含むディスプレイデバイスで使用され得る超音波センサアレイのブロック図である。

【図19】多機能ピクセルまたはピクセルアレイを利用し得るデバイスを示す図である。

【図20】一部が拡大された多機能ピクセルのアレイを含む視覚的なディスプレイを示す図である。

【図21】ディスプレイピクセルと交互に並んだ多機能ピクセルのアレイを含む別の視覚的なディスプレイを示す図である。

【図22】多機能ピクセルおよびディスプレイピクセルのアレイを含む別の視覚的なディスプレイを示す図である。

【図23A】多機能ピクセルの様々な構成を示す図である。

【図23B】多機能ピクセルの様々な構成を示す図である。

【図23C】多機能ピクセルの様々な構成を示す図である。

【図23D】多機能ピクセルの様々な構成を示す図である。

【図23E】多機能ピクセルの様々な構成を示す図である。

【図23F】多機能ピクセルの様々な構成を示す図である。

【発明を実施するための形態】

【0017】

本開示は、感知のデバイスおよび方法に関する。本明細書において説明される構成および方法は、視覚的なディスプレイ、たとえば、タッチスクリーンディスプレイに組み込まれ得る。モニタなどのタッチスクリーンディスプレイは、ディスプレイに接触するかまたはディスプレイの近くにある物体についての情報を取得するために使用され得る1つまたは複数の種類の感知デバイスを有する可能性がある。感知デバイスは、視覚的なディスプレイまたはディスプレイの構成要素に取り付けられる階層型アレイとして提供される可能性がある。感知デバイスは、ディスプレイピクセルおよび1つまたは複数の感知デバイスを含むインセル多機能ピクセルの一部である可能性がある。感知デバイスは、たとえば、感知デバイスの上もしくは近くに位置付けられた物体から出る、または感知デバイスの上に位置付けられたプラテンから反射された信号を検出し得る。感知デバイスは、超音波および/または焦電センサである可能性がある。デバイスおよび方法は、概して、視覚的なディスプレイ、たとえば、タッチスクリーンディスプレイに組み込まれるものとして説明されるが、センサの構成および方法は、視覚的なディスプレイなしに実装され得る。

【0018】

本明細書において説明されるデバイスおよび方法は、生体測定を行うために使用され得る。また、本明細書において説明されるデバイスおよび方法は、視覚的なディスプレイの表面に対してタッチパッド操作を直接的に行うために使用され得る。たとえば、本開示の教示は、指紋、掌紋、耳紋、または(顔の側面などの)フェイスプリント(face print)を検出するためにタッチスクリーンの能力を視覚的なディスプレイに与えるために使用され得る。また、教示は、静脈、血管、または組織の検出を含め、人の肌の表面の下など、物体の表面の下または中にある特徴を検出するために使用され得る。また、教示は、たとえば、物体の動きを判定するために経時的に物体についての情報をキャプチャするために使用され得る。一例においては、連続的な物体の画像情報が、カーソルを制御するため、または視覚的なディスプレイを駆動しているコンピュータのその他の制御を実行するために使用され得る。

【0019】

さらなる利点が、センサの種類の組合せを用いることによって実現され得る。たとえば、センサアレイが、圧電センサおよび焦電センサを有する可能性がある。圧電材料は焦電特性を呈する可能性もあることを認識されたい。結果として、同じデバイスを使用することによって、圧電材料を用いて超音波情報、焦電情報、またはこれら両方を集めることが可能である可能性がある。「圧電」という用語が本明細書において使用されるとき、材料またはデバイスは「焦電」特性も呈する可能性があり、したがって、赤外線センサを含め、焦電センサとして使用される可能性があることを理解されたい。本明細書において説明される焦電センサは、摂氏100万分の1度程の温度変化を感知することができる可能性がある。

【0020】

図1Aは、本開示による方法の実施形態を示す。方法100は、(a)組み合わされた表現と(b)赤外線信号の表現との間の差を取得すること(110)を含む可能性がある。組み合わされた表現は、検出された組み合わされた超音波および赤外線信号に基づく可能性がある。赤外線信号の表現は、検出された赤外線信号に基づく可能性がある。出力表現は、取得された差から生成される可能性がある(120)。赤外線信号の表現および/または組み合わされた表現は、圧電デバイスによってキャプチャされる可能性がある。圧電デバイスは、超音波レシーバおよび赤外線レシーバとして働くことができるレシーバを含み得る。超音波レシーバが、赤外線(IR)モード、すなわち、レシーバが赤外線レシーバとして動作させられるモードにおいて使用されるべきである場合、レシーバは、赤外線信号を感知するが、超音波信号を感知しないように構成され得る。

【0021】

図1Bは、本開示による別の実施形態を示す。方法150は、赤外線信号の表現および組み合わされた表現を取得すること(160)を含む可能性がある。赤外線信号の表現は、検出された赤外線信号に基づく可能性がある。組み合わされた表現は、検出された組み合わされた超音波および赤外線信号に基づく可能性がある。赤外線信号の表現と組み合わされた表現との間の差が、取得される可能性がある(170)。取得された差からの出力表現が、生成される可能性がある(180)。

【0022】

図2は、本開示による別の実施形態を示す。方法200は、圧電デバイスによって赤外線信号を検出すること(210)を含む可能性がある。圧電デバイスは、超音波レシーバおよび赤外線レシーバとして働き得るレシーバ、ならびに超音波トランスミッタを含み得る。赤外線信号の表現が、検出された赤外線信号から形成され得る(220)。赤外線信号の表現が、メモリ、たとえば、非一時的コンピュータ可読メモリに記憶され得る(230)。超音波信号が、圧電デバイスによって送られ得る(240)。超音波信号は、検出された赤外線信号に少なくとも部分的に基づいて送られ得る。送られた超音波信号は、物体が存在する可能性があるプラテンから反射される可能性があり、レシーバに到達する反射された信号が、検出される可能性がある(250)。検出される反射された信号は、レシーバが超音波および赤外線信号を感知し得るので、組み合わされた超音波および赤外線信号である可能性がある。組み合わされた表現が、組み合わされた超音波および赤外線信号から形成され得る(260)。赤外線信号の表現が、メモリから読まれる可能性がある(270)。(a)組み合わされた表現と(b)赤外線信号の表現との間の差が、出力表現を生成するために取得され得る(280)。組み合わされた表現、赤外線信号の表現、および/または出力表現は、画像、または画像を形成するために使用され得る情報である可能性がある。

【0023】

図3Aから図3Hは、本開示に従って取得された例示的な指紋画像(3A(i)、3A(ii)、3B(i)、3B(ii)、3C(i)、3C(ii)、3D(i)、3D(ii)、3E(i)、3E(ii)、3F(i)、3F(ii)、3G(i)、3G(ii)、3H(i)、3H(ii))を示す。画像のペアは、異なる温度においてキャプチャされた。画像の各ペア3A〜3Hにおいて、左の画像(3A(i)、3B(i)、3C(i)、3D(i)、3E(i)、3F(i)、3G(i)、3H(i))は、組み合わされた超音波および赤外線画像を示し、右の画像(3A(ii)、3B(ii)、3C(ii)、3D(ii)、3E(ii)、3F(ii)、3G(ii)、3H(ii))は、(a)赤外線画像と(b)組み合わされた超音波および赤外線画像との間の差を取得することによって生成された超音波画像を示す。表A(下)は、画像の各ペアが取得された温度を示す。本開示は表Aに挙げられたそれらの温度に限定されないことに留意されたい。たとえば、画像は、-40°Fから155°Fまでの温度の範囲で取得される可能性がある。しかし、画像はこの例示的な温度の範囲外で取得される可能性があることが想定される。

【0024】

【表1】

【0025】

図3A〜図3Hから、温度が上がるにつれて、赤外線(たとえば、赤外線エネルギー)のレベルの上昇が圧電デバイスによって検出され得ることが分かる。組み合わされた超音波および赤外線画像(3A(i)、3B(i)、3C(i)、3D(i)、3E(i)、3F(i)、3G(i)、3H(i))の詳細さのレベルは、概して、検出される赤外線のレベルの上昇が原因で、温度が上がるにつれて下がることに留意されたい。たとえば、図3A(i)および図3B(i)は、それぞれ、140°Fおよび110°Fにおいて取得された画像を示す。しかし、図3A(i)および図3B(i)に示された画像は、超音波レシーバによって検出される赤外線エネルギーの比較的高いレベルが原因で、その他の組み合わされた超音波および赤外線画像よりも暗い。同様に、周囲の温度が下がるにつれて、検出される赤外線のレベルが下がり得る。より少ない赤外線を検出することは、より高いレベルの詳細が得られる結果となる可能性がある。しかし、温度が水の凍結する温度に近づくかまたはそれを下回るとき、物体(たとえば、指)を囲む凍った水蒸気の光輪(halo)が画像内に存在する可能性がある。結果として、図3Gから図3Hまでに示される0°Fおよび-4°Fの画像は、プラテン上の薄い霜の層を通して撮像することによって引き起こされた超音波信号の損失(たとえば、超音波エネルギーの損失)が原因で比較的薄い。したがって、薄い霜の層は、明瞭な画像を受け取ることを妨げる可能性がある。

【0026】

概して、超音波画像(3A(ii)、3B(ii)、3C(ii)、3D(ii)、3E(ii)、3F(ii)、3G(ii)、3H(ii))は、組み合わされた超音波および赤外線画像(3A(i)、3B(i)、3C(i)、3D(i)、3E(i)、3F(i)、3G(i)、3H(i))と比較して詳細の改善を示す。示された例においては、赤外線のレベルが最も高い温度において、画像間の最も著しい改善が見られ得る(たとえば、3A(i)、3A(ii)および3B(i)、3B(ii))。

【0027】

また、本開示は、圧電デバイスによって検出される信号からの雑音を減らすための技術を使用し得る。たとえば、2重相関サンプリングと呼ばれる技術が、圧電デバイスによって取得される画像から雑音を取り除くために使用され得る。詳細には、方法は、電圧または電流などの電気的な値を測定する可能性がある。測定された値が、望ましくないオフセットを取り除くために使用され得る。特に、この技術は、圧電デバイスの出力を測定するときに使用され得る。圧電デバイスの出力は、2度、つまり、既知の条件において1度および未知の条件において1度測定される可能性がある。既知の条件から測定される値が、測定されている物理量と既知の関係がある値を生成するために未知の条件から差し引かれる可能性がある。技術は、雑音を減らすために使用される可能性があり、個々の圧電レシーバの基準電圧(たとえば、その圧電レシーバがリセットされた後のピクセルの電圧)が、各サンプリング期間の終わりの個々の圧電レシーバの信号電圧(たとえば、サンプリングの終わりのピクセルの電圧)から取り除かれる。図4は、例示的な2重相関サンプリング回路を示す。列バス線からの基準電圧レベルが、関連するパストランジスタがオンにされるときに基準キャパシタCRに記憶され得る。同様に、列バス線からの信号電圧レベルが、関連するパストランジスタがオンにされるときに信号キャパシタCSに記憶され得る。選択電圧が高くされるとき、信号電圧および基準電圧が、2つの出力端子において提供され得る。基準出力電圧が、非ゼロの基準信号を打ち消すまたは補償するために信号出力電圧から差し引かれる可能性がある。代替的に、2重相関サンプリングは、プログラミング可能なプロセッサシステム上で実行されるソフトウェアによって実現される可能性がある。

【0028】

図5は、本開示による雑音を取り除く方法300を示す。方法300は、赤外線基準画像を取得すること(310)を含む。赤外線基準画像は、圧電デバイスの視野に物体がない状態(たとえば、既知の条件)で取得された画像である可能性がある。組み合わされた赤外線および超音波基準画像が、取得され得る(320)。組み合わされた基準画像は、圧電デバイスの視野に物体がない状態(たとえば、既知の条件)で取得された画像である可能性がある。赤外線対象画像が、取得され得る(330)。赤外線対象画像が、圧電デバイスの視野に物体がある状態(たとえば、未知の条件)で取得され得る(330)。組み合わされた赤外線および超音波対象画像が、圧電デバイスの視野に物体がある状態(たとえば、未知の条件)で取得され得る(340)。組み合わされた対象画像は、赤外線対象画像と同じ物体のものである可能性がある。赤外線基準画像が、修正された赤外線画像を生成するために赤外線対象画像から差し引かれ得る(350)。組み合わされた基準画像が、修正された組み合わされた画像を生成するために組み合わされた対象画像から差し引かれ得る(360)。修正された赤外線画像が、超音波画像を生成するために修正された組み合わされた画像から差し引かれ得る(370)。

【0029】

図6は、上述の方法300に従って雑音を取り除くために使用され得る式を示す。式において、「df」は、赤外線基準画像(ステップ310)を表し、「bf」は、組み合わされた赤外線および超音波基準画像(ステップ320)を表し、「TC」は、赤外線対象画像(ステップ330)を表し、「FP」は、組み合わされた赤外線および超音波対象画像(ステップ340)を表す。「GB」および「GD」は、式においてグレースケールの限界を表す。「con」は、薄い画像を見ることがより容易であるようにグレースケールを改善するために使用され得るコントラスト値を表す。

【0030】

図7Aは、本開示によるディスプレイを制御する方法を示す。方法400は、ディスプレイに組み込まれた圧電デバイスによって赤外線信号を検出すること(410)を含む可能性がある。超音波信号が、圧電デバイスによって送られ得る(420)。組み合わされた超音波および赤外線信号が、圧電デバイスによって検出され得る(430)。組み合わされた超音波および赤外線信号は、プラテンから反射された超音波信号と圧電デバイスによって検出された赤外線エネルギーに対応する赤外線信号との組合せに対応する可能性がある。プラテンから反射された超音波信号は、圧電デバイスによって送られた(420)反射された超音波信号である可能性がある。ディスプレイは、検出された赤外線信号、検出された組み合わされた超音波および赤外線信号、または検出された赤外線信号と検出された組み合わされた超音波および赤外線信号との両方に応答して制御され得る(440)。

【0031】

検出された赤外線信号は、物体からの検出された熱に対応する可能性がある。赤外線信号は、ディスプレイまたは圧電デバイスに対して相対的な物体の位置または移動を判定するために使用され得る。一実施形態において、超音波信号は、物体からの熱が圧電デバイスによって検出され、検出された熱の量が閾値を超えるまで送られない可能性がある。また、検出された赤外線信号の量が閾値未満である量まで下がったと判定することによって、物体がディスプレイまたは圧電デバイスから離れて移動したと判定され得る。その状況において、超音波信号は、物体がディスプレイまたは圧電デバイスから離れて移動したことを検出することに応答して送られない可能性がある。さらなる物体の存在を示し得る第2の検出された赤外線信号に応答して、さらなる超音波信号が圧電デバイスによって送られる可能性がある。

【0032】

方法400は、圧電デバイス、および/または赤外線エネルギーを検出するように構成される組み込まれた圧電デバイスを有する視覚的なディスプレイの電力消費を制御するのに役立つ可能性がある。たとえば、圧電デバイスは、ディスプレイの近くに位置付けられた人の指、手、または耳からの熱を検出するように構成され得る。圧電デバイスは、ディスプレイに組み込まれ、ディスプレイ自体、またはディスプレイに組み込まれた圧電デバイスもしくはその他の圧電デバイスを含むディスプレイの別の構成要素にオンまたはオフになるように命令するように構成され得る。たとえば、圧電デバイスは、ディスプレイに近づいている人の手、指、または耳からの熱の検出に応答して超音波トランスミッタまたは超音波レシーバをオンにする可能性がある。このようにして、超音波トランスミッタまたは超音波レシーバは、必要とされるまでオフのまま保たれ得る。

【0033】

方法400は、ディスプレイを制御するのに役立つ可能性がある。一例においては、ディスプレイ、またはディスプレイと通信するマイクロプロセッサが、物体が圧電デバイスに近づくときに方法400に従って比較的アクティブでない状態から比較的アクティブな状態にされる可能性がある。これは、電力消費を減らす目的で役立ち、ユーザがディスプレイまたはディスプレイに関連するデバイスを使用することを望むことを示すために使用され得る。一実施形態において、ディスプレイは、モバイルデバイスがユーザの命令を受け入れる準備ができていることを示すために視覚的なディスプレイを介してユーザに「ようこそメッセージ」またはその他のプロンプトを与え得る。このようにして、方法400は、イベントを検出し、視覚的なディスプレイを介したユーザへの応答を生成するために使用され得る。

【0034】

図7Bは、本開示によるディスプレイデバイスを制御する方法を示す。概して、ディスプレイデバイスがスリープまたは低電力モードになることを可能にすることは、バッテリ寿命を節約し、ディスプレイデバイスのユーザビリティを広げる。電力が低いディスプレイデバイスをウェイクアップするユーザの望みを検出する方法も、バッテリ寿命を節約し得る。ディスプレイデバイスをウェイクアップするこの方法500においては、赤外線または超音波信号が、ディスプレイデバイスに関連するディスプレイの表面の近くまたは上に位置付けられた指または手などの物体から検出され得る(510)。信号は、たとえば、焦電または音響放射(acoustic emission)センサとして働き得るディスプレイに結合された圧電センサによって検出され得る。検出された信号は、ウェイクアップの閾値と比較され得る(520)。閾値は、あらかじめ決められた値であるか、または前に検出された信号に基づく可能性がある。検出された信号が閾値を超えている場合、ディスプレイデバイスは、スリープモードから覚まされ得る(530)。

【0035】

本明細書において説明される圧電センサは音響放射を検出し得るので、ディスプレイの表面をユーザがタップすること、タッチすること、こすること、またはその他の方法で接触することによる音響放射が、センサアレイの1回のスキャンまたは部分的なスキャンのみによっても検出され得る。ディスプレイデバイスがウェイクアップされるかまたはその他の方法で覚まされると、ディスプレイデバイスの表面から超音波画像を生成する必要がある可能性がある。方法400と同様に、超音波信号が、ディスプレイに結合された超音波トランスミッタから送られる可能性があり、ディスプレイの表面から反射される超音波信号が、ディスプレイデバイスが覚まされるときに検出される可能性がある。ディスプレイデバイスの超音波センサおよび様々なプロセッサは、たとえば、センサからのデータを収集し、処理するために完全に作動させられるとき、大量の電力を消費する可能性があるので、これらの構成要素を必要とされないときにスリープモードまたは非アクティブ状態にすることは、エネルギー消費を減らし、バッテリ寿命を延ばす可能性がある。

【0036】

ディスプレイの表面の近くのまたは上の指または手の検出は、ディスプレイに結合されたセンサアレイの部分的なスキャンのみを必要とする可能性がある。一部の実装においては、圧電材料の赤外線検出能力が、ディスプレイの表面上の指またはスタイラスなどのタッチする物体から最初のタッチイベントを検出するために使用される可能性があり、タッチする物体の詳細な位置を迅速に判定するためのタッチの近傍の様々なセンサの選択的なスキャンがその後に続く。図7Cは、本開示によるディスプレイデバイスを制御する方法を示す。方法600においては、ディスプレイデバイスの表面上の指またはスタイラスなどのタッチする物体が、超音波トランスミッタがオフである状態で検出され得る(610)。タッチする物体は、たとえば、物体がディスプレイデバイスの表面にタッチするときに物体から放出された熱もしくは温度エネルギーからまたは音響放射から検出され得る。超音波トランスミッタが、たとえば、送られ、ディスプレイの表面から反射される可能性がある超音波を生成するためにオンにされ得る(620)。検出されたタッチの近くの領域が、選択的にスキャンされ得る(630)。たとえば、タッチイベントの近傍の超音波センサが、ディスプレイの表面上の物体の画像情報を生成するために選択的にアドレス指定され、読み出される可能性がある。タッチする物体の詳細な位置が、たとえば、画像情報を処理することによって判定され得る(640)。

【0037】

部分的なスキャンの別の実施形態が、図7Dに示される。この方法650によれば、センサアレイを有するディスプレイデバイスの表面上の指またはスタイラスなどのタッチする物体が、超音波トランスミッタがオフである状態で検出され得る(660)。タッチする物体は、たとえば、物体がディスプレイデバイスの表面にタッチするときに物体から放出された熱もしくは温度エネルギーからまたは音響放射から検出され得る。超音波トランスミッタが、たとえば、送られ、ディスプレイの表面から反射される可能性がある超音波を生成するためにオンにされ得る(670)。超音波スキャンが、行われ得る(680)。超音波スキャンは、ディスプレイデバイス上の超音波センサのすべてを使用する可能性がある。各超音波センサは、ピクセルに対応する可能性がある。ピクセルの領域からのセンサデータが、選択的に処理され得る(690)。一例において、ピクセルの領域は、メモリに記憶される可能性があるディスプレイ上の超音波センサのすべてからのセンサデータを読むことによって選択的に処理され得る。ピクセルデータの領域が、画像処理のために画像プロセッサに選択的に転送され得る。ピクセルデータの領域は、検出されたタッチの近くの領域に対応する可能性がある。別の例において、ピクセルの領域は、すべてのピクセルデータをプロセッサに転送することによって選択的に処理され得る。そして、プロセッサは、検出されたタッチの近くの領域に対応するピクセルの領域を選択的に処理し得る。

【0038】

上述の様々な部分的なスキャン技術が様々な方法で組み合わされることを理解されたい。たとえば、センサのピクセルの領域が、選択的にアドレス指定され、メモリに読み出される可能性がある。そして、メモリに読み出されたデータが、上述のそれらの技術によって選択的に処理され得る。別の例においては、センサアレイからの実質的にすべてのピクセルデータが、ピクセルの領域に対応するデータを画像プロセッサに選択的に転送することによって選択的に処理される可能性がある。そして、画像プロセッサは、ピクセルの下位領域を選択的に処理する可能性がある。

【0039】

図8は、本開示による視覚的なディスプレイを動作させる方法を示す流れ図である。赤外線センサが、熱を検出し、センサによって感知される熱の量に比例する信号を送り得る。信号は、閾値と比較される可能性があり、閾値を超える場合、超音波トランスミッタ12が作動されるかまたはウェイクアップされる可能性がある。閾値を超えない場合、超音波トランスミッタは、非アクティブ状態のままであるかまたは非アクティブ状態にされる(たとえば、スリープもしくはオフ状態にされる)可能性がある。閾値は、値であるか、またはセンサによって検出された前の信号に基づく可能性がある。

【0040】

図9は、視覚的なディスプレイを動作させる方法を示す別の流れ図である。赤外線センサが、熱を検出し、センサによって感知される熱の量に比例する信号を送り得る。信号は、閾値と比較される可能性があり、閾値を超える場合、超音波トランスミッタが作動される可能性がある。超音波トランスミッタを作動させることによって、超音波画像が、圧電センサによってキャプチャされ得る。閾値を超えない場合、超音波トランスミッタは、非アクティブ状態のままであるかまたは非アクティブ状態にされる可能性がある。閾値は、値であるか、またはセンサによって検出された前の信号に基づく可能性がある。

【0041】

図10A〜図10Cは、本開示による圧電デバイスおよび/または組み込まれた圧電デバイスを有する視覚的なディスプレイで使用され得る屈折光および/または音響レンズを示す。本明細書において説明された圧電デバイスは、ディスプレイ上にあるかまたはディスプレイから離れている可能性がある特定位置からのエネルギーを1つまたは複数の圧電(焦電)センサ上に集めるように構成された1つまたは複数のレンズを含み得る。レンズは、赤外線もしくは可視エネルギーを集めるように構成された光学レンズ(optical lens)である可能性があり、または超音波エネルギーを集めるように構成された超音波レンズである可能性がある。光学レンズが設けられる場合、超音波エネルギーを送るまたは受け取る圧電デバイスの能力に影響を与えずに赤外線(たとえば、赤外線エネルギー)を集めることが可能である。しかし、圧電デバイスによって感知されている赤外線エネルギーを集めるための光学レンズを設けることは、視覚的なディスプレイによって生成されている画像を歪ませる可能性があることを認識されたい。

【0042】

レンズの例が、図10A〜図10Cに示される。たとえば、レンズ50は、(図10Aに示される)フレネルレンズ50a、(図10Bに示される)平凸光学レンズ50b、または(図10Cに示される)マイクロレンズアレイ50cである可能性がある。レンズ50は、センサの焦点を近似的に無限遠に合わせるために使用され得る。一例においては、およそ長さ1/2インチ×幅1/2であり、厚さ1/50インチから1/16インチまでの間の厚さを有する光学レンズが、設けられる可能性がある。しかし、その他のサイズのレンズは、本開示の範囲内にある。レンズ50は、複数の光学的に位置合わせされたレンズ(図示せず)として具現化される可能性があることも想定される。そのような複数のレンズは、互いに対して固定的であるかまたは移動可能である可能性がある。

【0043】

図11A〜図11Dは、圧電センサと組み合わされたプラテンおよびレンズ構成を示す。光学または音響レンズ50が、圧電デバイス36の1つまたは複数の層の内または上に組み込まれる可能性がある。たとえば、レンズ50は、センサ回路20とプラテン32との間に位置付けられる可能性がある。一部の実装においては、プラテン32が、レンズ50を含むかまたはレンズとして働く可能性がある。図11Aは、実質的に平坦なプラテン32を有する構成を示し、この構成においては、圧電デバイス36のセンサが、プラテン32の露出させられた表面上に位置付けられた物体から放出されたかまたは反射されたエネルギーを検出し得る。図11Bおよび図11Cは、プラテン32aの最も外側の表面がレンズとして働き得る曲面を有する実施形態を示す。たとえば、図11Bは、可視光または赤外線レンズとして働き得る凸プラテン32aを有する。図11Bは、指34を感知するための凸プラテン32aに押し付けられた指34を示す。たとえば、図11Bにおいて、指34の超音波画像が、撮影され得る。凸プラテン32aは、超音波信号を実質的に変更しない可能性があるので、図11Bに示される構成によって撮影された超音波画像は、図11Aに示される実施形態によって撮影された超音波画像と実質的に同様である可能性がある。しかし、凸プラテン32aの湾曲した外面に対応するために圧電デバイス36のレンジゲーティング(range gating)を調整することが必要である可能性がある。

【0044】

図11Cは、凸プラテン32aから離間された指34を示す。凸プラテン32aは、指34が凸プラテン32aの外面から離れた、離間された位置にあるときに指34の焦点を合わされた画像を得るために超音波または赤外線(たとえば、超音波エネルギーまたは赤外線エネルギー)を圧電デバイス36上に集めることができる。このようにして、指34などの物体の画像が、圧電デバイス36にさらなる層を追加することなく、可視光または赤外線センサアレイによって撮影され得る。

【0045】

レンズ50は、圧電デバイスとは別である可能性もある。たとえば、図11Dは、平坦なプラテン32の上に位置付けられるフレネルレンズ50aをともなう圧電デバイス36を示す。フレネルレンズ50aが示されるが、任意の好適なレンズが使用され得る。レンズ50aは、プラテン32から離れた位置の指34の焦点を合わされた画像を得るために赤外線センサの焦点を合わせることができる。代替的に、フレネルレンズ50aは、プラテンとモノリシックに形成される可能性がある。レンズ50aはプラテンに固定される可能性があるが、レンズ50aが圧電デバイス36に対して相対的にずらされ得ることもあり得る。たとえば、レンズ50aは、所定の位置にスライドするようにまたはディスプレイもしくは圧電センサから取り外され得るように設けられる可能性がある。

【0046】

図11Bおよび図11Cに示される凸プラテン32aは、ボタンとして使用するのに有利である可能性がある。ボタンは、現金自動預け払い機、電話、タブレットコンピュータなどのコンピュータデバイスのための入力である可能性がある。ボタンは、ユーザからの入力を登録するために定位置に固定されるかまたはずらされ得る可能性がある。固定されたボタンの場合、ボタンは、圧力を感知するか、または圧電デバイスに関連するセンサによってユーザの入力を判定するように構成され得る。平坦なプラテン32が、上で説明された同じ方法でボタンとして使用され得る。一部の実装においては、凸プラテン32aの湾曲した形状が、その他のボタンを含むデバイスのその他の領域からボタンを区別するためにユーザに役立つ可能性がある。

【0047】

光学レンズが設けられない場合、プラテンから離間されている物体の詳細な画像を取得することが難しい可能性がある。たとえば、プラテンから約6mmを超えて意味のある生体情報を提供するための必要な詳細を有する写真または赤外線画像を得ることは、難しい可能性がある。しかし、光学レンズなしに撮影された可視または赤外線画像は、プラテンの表面から離間される物体の存在または物体の移動を判定するのに十分な情報を提供する可能性がある。たとえば、物体の動きは、レンズなしに約0.01インチから約2.0インチまでの範囲内で感知され得る。その他の範囲は、圧電デバイスに設けられたセンサまたは感知されている物体に依存して取得される可能性がある。

【0048】

図12Aおよび図12Bは、多機能ピクセルディスプレイアレイを動作させるために使用され得る多機能ピクセルシステムの回路を示す。図12Aは、LCDディスプレイ構成要素を有する多機能ピクセルディスプレイアレイ2001のための回路2000を示す。図12Bは、OLEDディスプレイ構成要素を有する多機能ピクセルディスプレイアレイ2002のための回路2000を示す。回路2000は、列ドライバ回路2030を有するピクセルディスプレイアレイドライバ2020に信号を与えるようにプログラミングされたマイクロプロセッサ2010を含み得る。加えて、マイクロプロセッサ2010は、センサアレイ読み出し回路2040を動作させるための信号を与えるようにプログラミングされ得る。タイミングバイアスおよびパルス生成制御回路2050が、たとえば、ディスプレイ回路2060および/またはセンサ回路2070のタイミングおよびバイアスを制御するために設けられる可能性がある。バイアスおよびパルス生成制御回路2050は、多機能ピクセルディスプレイアレイ2001、2002の行または列を選択するように構成され得る。圧電センサ、光電センサ、および焦電センサの3つ組みが図12Aおよび図12Bに示されているが、光電センサ、可視光センサ、赤外線光センサ、赤外線センサ、超音波センサ、音響もしくは音響放射センサ、圧電力もしくは圧力センサ、温度センサ、または静電容量センサを含む1つまたは複数のセンサの種類が、ディスプレイアレイの1つまたは複数の多機能ピクセルに構成される可能性がある。

【0049】

多数の行選択線、列ドライバ線、およびセンサ読み出し線はディスプレイ要素を見ることを邪魔する可能性があるので、線の数を最小化する手法が有益である可能性がある。図12Cは、それぞれ赤、緑、および青のための3つのサブピクセル18a、18b、および18cを有するLCDまたはOLEDディスプレイピクセルと、それぞれ超音波センサ、光電センサ、および静電容量センサを表す3つのセンサ20a、20b、および20dとによって構成された多機能ピクセル1、2のディスプレイアレイ2001、2002に関する独立した行アドレス指定を示す。ディスプレイサブピクセルのためのビデオまたはディスプレイ入力線と、センサのためのセンサ出力信号線とが、分けられる。この構成は、センサの特定の行または列を無効化すること、考慮に入れないこと、切断すること、無視すること、有効化しないこと、アクセスしないこと、アドレス指定しないこと、またはその他の方法で度外視することによってディスプレイピクセルおよびセンサに関して独立したフレームレートを可能にし、さらに、異なるセンサ解像度を可能にする。一実施形態において、多機能ピクセルディスプレイアレイの光電センサ、第2のセンサ、またはその他のセンサのフレームレート、フレームサイズ、および解像度は、センサの行および列のサブセットを決定し、それにアクセスすることによって調整可能であるように構成され得る。異なる実施形態においては、行選択線の数が、図12Dに示されるように、共通の行選択線を用いてディスプレイ要素の行およびセンサ要素の行をアドレス指定することによって削減され得る。さらに別の実施形態には、センサに給電するかまたはセンサをリセットするためのさらなる線が含まれる可能性がある。

【0050】

さらなる実施形態においては、図12Eに示されるように、ビデオ入力線およびセンサ出力線の数が、同じ列線を用いてディスプレイピクセルを駆動し、センサ出力信号を感知することによって削減され得る。この実施形態においては、共通の列線が、ディスプレイピクセルの行が選択されている間にビデオ入力のために使用され、センサの行が選択されるときにセンサ出力のために使用され得る。ディスプレイ列ドライバに関する高出力インピーダンスモードが、感知モードであるときに列線上のセンサ出力信号の正確な検出を可能にするために含まれる可能性がある。図12Fに示される別の実施形態は、共通のディスプレイ/センサ行選択線および共通のビデオ入力/センサ出力列線を有する可能性がある。

【0051】

1つまたは複数のセンサがそれぞれの多機能ピクセルにおいてディスプレイサブピクセルをちりばめられる実施形態、またはディスプレイサブピクセルおよびセンサ要素が示された量および位置以外の量および位置にある実施形態を有することもあり得る。

【0052】

多機能ピクセルディスプレイアレイのセンサ要素の解像度は、1つおきの行および1つおきの列にアクセスすること、行および列のサブセットをアドレス指定すること、または1つもしくは複数の行もしくは列のグループをスキップすることによるなどして動作中に調整可能であるように構成され得るので、センサからのデータ獲得のフレームレートも、調整可能であり得る。つまり、センサ要素に関するフレームレートは、ディスプレイ要素に関するフレームレートよりも高いか、同じか、または低い可能性がある。一例において、インセル静電容量センサアレイのフレームレートは、ディスプレイ更新レートよりもずっと速い可能性があり、したがって、タッチまたはスタイラス入力データは、スタイラスの追跡のためなど、必要なときに高速なレートで獲得され得る。別の例においては、インセル超音波指紋センサアレイのフレームレートが、指紋などの高解像度の生体情報の獲得を可能にするためにディスプレイ更新レートから下げられる可能性がある。センサデータの獲得に関するフレームレートは、異なるアプリケーションによるセンサデータの変化する必要性に基づき動的である可能性がある。フレームサイズは動的であり、たとえば、ディスプレイアレイの表面の上または近くのスタイラスまたはその他の物体の追跡を可能にするためにディスプレイアレイのより小さな部分からのセンサデータの高速なアクセスを可能にし得る。動的なフレームサイズおよび動的なフレームレートが、ディスプレイアレイの上または近くの物体のジェスチャを検出するために使用され、ジェスチャの高速な追跡を可能にし得る。一部のモードにおいては、センサ要素の一部またはすべてが、少なくとも一時的に逆方向にアクセスされる可能性がある。動作の1つのモードにおいては、多機能ピクセルディスプレイアレイからのセンサデータの獲得が、センサデータが要求されず、一方、ディスプレイアレイのディスプレイ要素に対する更新が続くとき、一時的に中断される可能性がある。動作の異なるモードにおいては、LCDに基づくディスプレイアレイのバックライトが、ディスプレイアレイの光電センサからのデータなどのセンサデータが取得されることを可能にするためにオフにされるかまたは暗くされる可能性がある。

【0053】

ディスプレイ要素およびセンサ要素の独立したアクセスが提供される異なる実施形態においては、共通の行選択線または共通のビデオ入力およびセンサ出力線の使用が、ビデオまたはディスプレイ入力データを提供し、センサ出力データを獲得するタイミングおよび順序に制約を課す可能性があることもあり得る。たとえば、シーケンスは、第1にビデオデータを書き、第2にセンサ出力データを読み、それから繰り返すことである可能性がある。第2の例においては、ビデオまたはディスプレイデータが、複数の連続するフレームの間に書かれる可能性があり、1つまたは複数のセンサ獲得フレームが、必要とされるときに書込みフレームの間に挿入される。第3の例においては、ビデオまたはディスプレイデータが、ほぼ連続的に書かれる可能性があり、センサデータは、ディスプレイデータが一時的に止むかまたはセンサデータを獲得する必要性が生じるときに取得される。第4の例においては、ディスプレイアレイのセンサが、非常に低いフレームレートで(たとえば、1秒、1分、1時間、またはそれよりも長い時間に1回)アクセスされる可能性があり、一方、ディスプレイは、ディスプレイがオンにされるかまたは何らかのその他のイベントが起こるまでオフである。

【0054】

図13Aは、図12Aおよび図12Bに示されたディスプレイ2001、2002において使用され得る超音波(圧電)センサ20aを示す。圧電センサは、たとえば、比較的高い周波数の超音波信号、中程度の周波数の音響信号、または低い周波数の加えられた圧力もしくは力の信号を測定するために使用され得る。圧電センサは、たとえば、指またはスタイラスがディスプレイアレイの表面をこするかまたは叩くときに放射される可能性がある音響放射を検出し得る。図13Bは、図12Aおよび図12Bに示された多機能ピクセルシステムにおいて使用され得る赤外線(焦電)センサ20cを示す。焦電センサは、たとえば、赤外線エネルギー、温度エネルギー、または熱を検出するために使用され得る。図13Cは、図12Aおよび図12Bに示された多機能ピクセルシステムにおいて使用され得る光電センサ20bを示す。光電センサは、たとえば、可視光または赤外線光を検出するために使用され得る。図13Dは、図12Aおよび図12Bに示されたディスプレイ2001、2002において使用され得る静電容量センサ20dを示す。静電容量センサ20dは、たとえば、図12Aおよび図12Bに示されたディスプレイ2001、2002の上または近くに置かれた指などの物体からの静電容量または静電容量の変化を検出するために使用され得る。

【0055】

図14は、本開示によるセンサアレイから情報を読み出す方法700を示す。センサアレイは、複数の圧電センサにより構成される可能性がある。それぞれの圧電センサは、超音波トランスミッタおよび超音波レシーバを含み得る。超音波トランスミッタおよび超音波レシーバは、異なる要素である可能性があり、または単一の要素である可能性がある(たとえば、超音波トランスミッタは、超音波レシーバとしても働き得る)。レシーバによって取得された圧電センサの情報は、電子回路によって(たとえば、アナログデジタルコンバータを用いて)行ごとまたは列ごとに読み出される可能性があり、コンピュータが、その情報からデータを生成するために使用される可能性がある。そのデータは、物体の画像を生成するために使用され得る。一例として、方法700は、超音波トランスミッタがオフにされる一方で、センサアレイの1つまたは複数の行からセンサの情報を読むこと(710)を含み得る。読まれる行からの情報は、非一時的コンピュータ可読媒体などのメモリに記憶される可能性がある(720)。1つの特定の例においては、1つまたは2つの行からの情報が、一度に読まれ、記憶される。センサアレイの行からのセンサの情報が、超音波トランスミッタがオンの状態で読まれ得る(730)。メモリ内の記憶された情報が、超音波トランスミッタがオンの状態で読まれた行からの情報から差し引かれる可能性があり(740)、結果として得られるデータセットが、メモリに記憶される可能性がある(750)。センサアレイ内の電荷の減少が原因で、センサアレイがリフレッシュされなければならなくなる前に読まれる約4000個のセンサピクセルが存在する可能性がある。したがって、前のステップ710から750までが、所望の行からの情報が記憶されてしまうまで繰り返され得る(760)。代替的に、センサピクセルの1つまたは複数の行が、超音波トランスミッタがオンにされた後に読まれる可能性があり、超音波トランスミッタがオフの状態でのセンサピクセルの1つまたは複数の行のリセットと、センサピクセルの第2の読み取りとがそれに続く。方法700と同様の方法で、リセットされたセンサピクセルによる、超音波トランスミッタがオフの状態のセンサの情報が、超音波トランスミッタがオンの状態のセンサの情報から差し引かれる可能性がある。

【0056】

図15および図16A〜図16Cは、視覚的なディスプレイの一部を形成するディスプレイ要素の間に感知要素が位置付けられるインセルディスプレイデバイスを示す。これらのデバイスは、本開示に従って装置内でまたは方法を実行するために使用され得る。本明細書において使用されるとき、語句「インセル」は、視覚的なディスプレイのための多機能ピクセルを集合的に構成するディスプレイ要素と一緒に物理的に配置される1つまたは複数のセンサを指す。そのような構成は、概して、色(たとえば、赤、緑、および青、または赤、緑、青、および黄色)を生成するための1つまたは複数のディスプレイサブピクセルと、圧電センサ(たとえば、超音波センサ)、焦電センサ(たとえば、赤外線センサ)、光電センサ(たとえば、開口センサもしくは赤外線光センサ)、または静電容量センサなどの1つまたは複数の感知要素とを有する多機能ピクセルをもたらし、それらのセンサのうちの1つまたは複数は、視覚的なディスプレイの近くのまたは視覚的なディスプレイに接触している物体を検出するために使用され得る。そのようなピクセルは、従来のディスプレイピクセルよりも多くの構成要素および機能を含むので、本明細書においては多機能ピクセルまたは「スーパーピクセル」と呼ばれる。

【0057】

図15は、本開示の一実施形態による多機能ピクセル1の分解斜視図である。多機能ピクセル1は、タッチ対応、スタイラス対応、または指紋対応液晶ディスプレイ(LCD)を形成するために使用され得る。多機能ピクセル1は、2つの導電性電極の間に挟まれた圧電薄膜または層を有する圧電薄膜超音波トランスミッタ12に取り付けられたエッジライト式バックライトパネル10を含み得る。バックライトパネル10の超音波トランスミッタ12と反対側の表面上には、ガラスまたはプラスチック薄膜トランジスタ(TFT)基板16上のTFTアレイ14が取り付けられ得る。TFTアレイ14は、1つまたは複数の回路およびサブ回路によって構築される可能性がある。多機能ピクセル1は、1つまたは複数のLCDディスプレイサブピクセル18a〜cを有するLCDディスプレイピクセル18および複数のセンサ20を含み得る。ディスプレイサブピクセル18a〜cは、それぞれ、赤、緑、青色サブピクセルに対応する可能性がある。一部の実装において、センサ20aは、超音波センサである可能性があり、センサ20bは、光電センサである可能性があり、センサ20cは、赤外線センサである可能性がある。超音波センサ20aまたは赤外線センサ20cを含むセンサ20は、TFTアレイ14上のピクセル入力電極として働く導電パッドに接着されるかまたはその他の方法で置かれ、たとえば、関連するセンサ回路の電界効果トランジスタ(FET)に接着される圧電性高分子22の層に関連付けられる。超音波センサ20aは、圧電性高分子22とともに、赤外線または温度センサとしても働く可能性がある。たとえば、圧電性高分子22は、焦電特性を呈する場合、赤外線センサの一部として使用され得る。このようにして、超音波センサ20aは、超音波および赤外線信号を検出するために使用され得る。

【0058】

センサ20は、超音波センサ回路、音響センサ回路、圧電センサ回路、圧電力センサ回路、圧電圧力センサ回路、光電回路、光センサ回路、赤外線光センサ回路、焦電センサ回路、温度センサ回路、または静電容量センサ回路などの1つまたは複数のセンサ回路およびサブ回路を含み得る。光電センサ20bなどのセンサ20は、PINダイオードを用いて可視または赤外線光を受光し、その可視または赤外線光を電荷に変換し得る。赤外線光を遮断する可視光フィルタ(図示せず)または可視光を遮断する赤外線フィルタ(図示せず)が、それぞれ、可視光または赤外線光を感知するためにPINダイオード上に位置付けられる可能性がある。一部の実施形態において、圧電性高分子22は、光を受光する光電センサ回路の能力に実質的に影響を与えずに光電センサ回路の上に位置付けられ得るだけ十分に光を透過し得る。その他の実施形態において、圧電性高分子22は、光電センサ回路を覆わないように置かれる可能性がある。たとえば、そのような構成においては、圧電性高分子22が、光電センサ回路とプラテン32との間に存在しない可能性がある。静電容量センサは、たとえば、静電容量の値の検出のための電荷増幅器、積分器(integrator)、またはその他の静電容量感知回路に電気的に接続されたセンサ入力電極を有する可能性がある。

【0059】

別の実施形態において、圧電性高分子22は、静電容量センサを覆う可能性がある。圧電層は、静電容量センサへの入力のための誘電体層として働き得る。圧電層は、誘電破壊の可能性を最小化するために静電容量センサの誘電絶縁層として働く可能性もある。TCF電極層21および/または23は、静電容量センサの上で省略される可能性がある。代替的に、TCF電極層21、23は、電極を電気的に絶縁するように静電容量センサの周辺にパターニングされ、エッチングされる可能性がある。一実施形態において、圧電性高分子22などの圧電層が、超音波センサ、圧電センサ、焦電(赤外線もしくは温度)センサ、および/または静電容量センサの一部として含まれる可能性がある。他の実施形態において、圧電層は、ポリフッ化ビニリデン(PVDF)またはポリビニリデン-トリフルオロエチレン(PVDF-TrFE)共重合体の層などの一部の圧電層が可視および赤外線スペクトル領域で実質的に透過的であるので、光電光センサ(可視光または赤外線光)を覆い得る。さらに別の実施形態において、PVDFまたはPVDF-TrFE層は、LCDまたはOLEDディスプレイ要素の上に含まれる可能性がある。図15に示されるように、ディスプレイピクセル18およびセンサ20の実質的な部分が、共通の基板上に位置付けられるかまたはそれ以外の方法で置かれる可能性がある。ディスプレイピクセル18およびセンサ20の実質的な部分は、実質的に同じ平面内にある可能性がある。

【0060】

図15は、ディスプレイピクセルおよびサブピクセルのための回路の上のTFTアレイ14上の液晶材料24の層を示す。一部の実装において、液晶材料24は、センサ回路の上に延びる可能性がある。液晶材料24に印加される電圧を制御することによって、バックライトパネル10からの光が、変化する量でディスプレイピクセルを通過することを可能にされ得る。圧電性高分子22は、液晶材料24の上および/または下で液晶材料によって境界を定められるかまたは部分的に境界を定められる可能性がある。たとえば、図15は、液晶材料24の層の一部を圧電性高分子22の上にあるものとして示し、液晶材料の別の一部を圧電性高分子22の横にあるように示す。図15は、液晶材料24の上に位置付けられた透明導電薄膜(TCF: transparent conducting film)電極26も示す。TCF電極26は、ITO(インジウム錫酸化物)、IZO(インジウム亜鉛酸化物)、FTO(フッ化錫酸化物(fluorinated tin oxide))、GZO(ガリウム亜鉛酸化物(gallium zinc oxide))、PEDOTもしくはポリ(3,4-エチレンジオキシチオフェン)、または実質的に透明であり、導電薄膜として使用され得るその他の導電材料などの材料から形成され得る。

【0061】

TCF電極26は、センサ20およびディスプレイピクセル18のための共通電極として使用される可能性がある。図15に示される例において、TCF電極26は、カラーフィルタアレイ28に貼り付けられる可能性がある。カラーフィルタアレイ28は、たとえば、それぞれのディスプレイピクセルのための赤、緑、および青色フィルタに対応する3つの個々のカラーフィルタ要素28a、28b、および28cを含み得る。カラーフィルタ要素28a、28b、および28cは、ガラスまたはプラスチック層などのカラーフィルタ基板28d上に形成されるかまたはその他の方法で置かれ得る。カラーフィルタアレイ28の上にあるのは、偏光フィルタ30である可能性がある。プラテン32が、カバーグラスまたはカバーレンズとしても働き得る最も外側の保護層として設けられる可能性がある。プラテン32は、耐摩耗ガラスまたはプラスチックの層から作られる可能性がある。

【0062】

そのようなディスプレイの視覚的な態様は、ほとんどのLCDディスプレイと同様にして動作し得る。TFTアレイ14とTCF電極26との間の電圧が、各ディスプレイサブピクセル18a、18b、および18cがオンまたはオフになることを可能にする。各ディスプレイピクセル18は、個々のディスプレイサブピクセル18a、18b、および18cの間の空間を通じて漏れる可能性があるバックライトパネル10からの望ましくない光を排除するために個々のサブピクセル18a、18b、および18cを囲むブラックマトリックス(図示せず)を有する可能性がある。

【0063】

図16A〜図16Cは、多機能ピクセル2のその他の実施形態の分解斜視図である。これらの実施形態において、OLEDサブピクセルが、ディスプレイピクセル18を形成するために組み合わされる。多機能ピクセル2は、複数のセンサ20ならびに1つまたは複数のOLEDディスプレイサブピクセル18a、18b、および18cを有するディスプレイピクセル18を有する可能性がある。圧電薄膜超音波トランスミッタ12が、TFTアレイ14のTFT基板16の背面に取り付けられる可能性がある。TFTアレイ14は、1つまたは複数の発光ディスプレイピクセルまたはディスプレイサブピクセル18a、18b、および18cを有するディスプレイピクセル18を含み得る。図16Aに示されるように、第1のTCF電極21、圧電性高分子22の層、および第2のTCF電極23が、関連するセンサ回路の上に位置付けられるが、ただし、ディスプレイピクセル18a、18b、および18cの上には位置付けられない可能性がある。図16Bに示される別の実施形態においては、第1のTCF電極21aが、センサ回路の上ならびにディスプレイサブピクセル18a、18b、および18cの上に置かれる可能性がある。図16Cに示される第3の実施形態においては、第1のTCF電極21aおよび第2のTCF電極23aが、センサ回路の上ならびにディスプレイサブピクセル18a、18b、および18cの上に置かれる可能性がある。

【0064】

図16A〜図16Cにおいては、光を透過する絶縁材料25が、3つのOLEDディスプレイサブピクセル18a〜cの上に示される。図16Aに示される実施形態において、絶縁材料25は、OLEDディスプレイサブピクセル18a〜cをTCF電極21および23から絶縁する可能性がある。図16B〜図16Cに示される実施形態において、絶縁材料25は、OLEDディスプレイサブピクセル18a〜cをTCF電極23から絶縁する可能性がある。

【0065】

カラーフィルタアレイ28が、赤-緑-青の視覚的な表示色を可能にするために設けられ得る。プラテン32として働き得るカバーガラスが、物理的な摩耗および機械的な損傷からディスプレイデバイスを保護するために設けられ得る。各ディスプレイピクセル18は、個々のディスプレイサブピクセル18a、18b、および18cの間の任意の空間を通じて漏れる可能性がある隣接するOLEDサブピクセルからの望ましくない光を排除するために個々のサブピクセルを囲むブラックマトリックス(図示せず)を有する可能性がある。

【0066】

センサ20は、超音波センサ回路、音響センサ回路、圧電センサ回路、圧電力センサ回路、圧電圧力センサ回路、光電センサ回路、可視光センサ回路、赤外線光センサ回路、焦電赤外線センサ回路、温度センサ回路、または静電容量センサ回路などの1つまたは複数のセンサ回路およびサブ回路を含み得る。たとえば、センサ20aは、超音波センサ回路を含む超音波センサである可能性があり、センサ20bは、光電センサ回路を含む光電センサである可能性があり、センサ20cは、赤外線センサ回路を含む赤外線センサである可能性がある。一部の実施形態において、圧電超音波センサ回路および焦電赤外線センサ回路は、ピーク検出器、バイアス回路、および圧電/焦電層の使用と多くの点で同様である可能性があるが、外部バイアスおよびタイミング回路は、超音波センサに関する反射された超音波信号を検出するためにタイミングウィンドウ(timing window)を用いる可能性があり、温度または赤外線エネルギーを検出するためにタイミングウィンドウ(および超音波トランスミッタの活動)を使用しない可能性がある。光電センサ20bの光電センサ回路は、超音波または赤外線センサの一部の実装において使用されるピーク検出ダイオードおよびキャパシタをPIN型フォトダイオードによって置き換えることによって形成され得る。PIN型フォトダイオードは、可視または赤外線光を電荷に直接変換することができる。電荷として利用可能になると、TFTアレイ回路が、TFTアレイに関連する行および列アドレス指定回路を介して信号を出力するために使用され得る。

【0067】

当業者は、センサ回路およびセンサの一部を含む様々な層がディスプレイスタック内の異なる層上に据えられ、同じまたは同様の機能を引き続き実現し得ることを認識するであろう。したがって、本明細書において説明される特定の構成は、インセルテクノロジーが実装され得る唯一の構成であると見なされるべきでない。

【0068】

上述の1つまたは複数の多機能ピクセル1、2は、医療デバイスなどのモバイルデバイスまたはモバイル電話などのコンシューマデバイスに含まれる可能性がある。図17は、全体的に1500で示されるモバイルデバイスの例示的な実施形態のブロック図を示す。デバイス1500は、メモリ1532に結合されたデジタル信号プロセッサ(DSP)またはマイクロコントローラなどのマイクロプロセッサ1510を含み得る。例示的な例において、マイクロプロセッサ1510は、キャプチャされた画像または画像情報の特徴を特定するように構成された画像処理論理を含む。マイクロプロセッサ1510は、モバイルデバイスに割り当てられた様々なタスクを実行するように動作可能である可能性がある。特定の実施形態において、メモリ1532は、命令1560を含む非一時的コンピュータ可読媒体である可能性がある。マイクロプロセッサ1510は、モバイルデバイスに割り当てられたタスクを実行するためにメモリ1532に記憶された命令1560を実行するように構成され得る。別の例示的な例において、メモリ1532は、カメラ1570によってキャプチャされた可視画像を記憶する可能性がある。

【0069】

モバイルデバイス1500は、マイクロプロセッサ1510およびディスプレイデバイス1528に結合されたディスプレイコントローラ1526も含み得る。ディスプレイデバイス1528は、1つまたは複数の多機能ピクセル1、2を有する図15または図16A〜図16Cに示されたインセルディスプレイデバイスに対応する可能性がある。コーダ/デコーダ(コーデック)1534が、マイクロプロセッサ1510に結合される可能性がある。1つまたは複数のスピーカ1536およびマイクロフォン1538が、コーデック1534に結合される可能性がある。特定の実施形態において、マイクロフォン1538は、音声をキャプチャするように構成され得る。カメラ1570がビデオをキャプチャする間に、マイクロフォン1538が音声をキャプチャするように構成され得る。

【0070】

ワイヤレスコントローラ1540が、マイクロプロセッサ1510およびアンテナ1542に結合され得る。特定の実施形態において、マイクロプロセッサ1510、ディスプレイコントローラ1526、メモリ1532、コーデック1534、およびワイヤレスコントローラ1540は、システムインパッケージまたはシステムオンチップ(SOC)デバイス1522に含まれる。特定の実施形態においては、入力デバイス1530および電源1544が、システムオンチップデバイス1522に結合される可能性がある。モバイルデバイス1500がタッチスクリーンを含む例示的な例において、ディスプレイデバイス1528および入力デバイス1530は、1つまたは複数の多機能ピクセル1、2を有するインセルシステムを用いて少なくとも部分的に統合され得る。特定の実施形態においては、図17に示されるように、ディスプレイデバイス1528、入力デバイス1530、スピーカ1536、マイクロフォン1538、アンテナ1542、電源1544、およびカメラ1570は、システムオンチップデバイス1522の外部にある。しかし、ディスプレイデバイス1528、入力デバイス1530、スピーカ1536、マイクロフォン1538、アンテナ1542、電源1544、およびカメラ1570の各々は、インターフェースまたは組み込まれたマイクロコントローラなどのシステムオンチップデバイス1522の構成要素に結合され得る。

【0071】

超音波センサを備えるとき、1つまたは複数の多機能ピクセル1、2を含むディスプレイデバイス1528は、圧電薄膜超音波トランスミッタ12を含み得る。動作中、超音波トランスミッタ12は、プラテン32に向かい、プラテン32を通る、多機能ピクセル1、2の様々な層を抜けて進み得る超音波パルスを放出し得る。指34などのプラテン32上にある物体は、超音波エネルギーの一部を吸収する可能性があり、物体によって吸収されない超音波エネルギーの一部が、プラテン32を抜けて超音波センサ20aに戻るように反射される可能性がある。超音波センサ20aが受信する信号に注目することによって、物体についての情報が判定され得る。たとえば、物体が指34である場合、超音波センサから導出される情報は、指紋の視覚的表現の生成を可能にし得る。導電トレースが、超音波センサ20aの超音波センサ回路を、超音波センサ20aによって生成された信号を読み出すことを可能にする電子部品(electronics)と接続する可能性がある。

【0072】

図18は、多機能ピクセルディスプレイアレイを含むディスプレイデバイスで使用され得る超音波センサシステムのブロック図を示す。図18は、超音波センサアレイ1601に関連する回路1600を示す。制御ユニット1610が、超音波トランスミッタ1620を介して超音波パルスを送るために超音波センサアレイ1601に信号を送信する可能性がある。たとえば、制御ユニット1610は、超音波トランスミッタ1620を駆動するためにトランスミッタドライバ1624にトランスミッタ励起信号1622を送信する可能性がある。制御ユニット1610は、超音波センサアレイ1601によって与えられた信号を読み出すための回路を作動させ得る。たとえば、制御ユニット1610は、超音波センサアレイ1601のバイアスを制御するためにレシーババイアスドライバ1628にレベル選択入力1626を送信し得る。反射された超音波エネルギーが超音波センサアレイ1601に到着すると予測される時間を知ることによって、制御ユニット1610は、指34(またはスタイラスなどのその他の物体)があるプラテン32から反射された超音波エネルギーに関連付けられるセンサ信号を読み出し得る。制御ユニット1610は、ゲートドライバ1627を介して超音波センサアレイ1601を構成する多機能ピクセル1、2の読み出しを制御し得る。センサ信号が読み出されると、データプロセッサ1630が、センサ信号に対応するデジタル化されたデータセットを形成するために使用される可能性があり、このデータセットが、デジタル出力1640として提供される可能性がある。アナログデジタルコンバータなどのデジタイザ1629が、アナログである可能性があるピクセル出力をデジタル形式に変換するために設けられ得る。データプロセッサ1630は、デジタル信号プロセッサまたはその他の同様のプロセッサである可能性がある。

【0073】

(指34などの)物体がプラテン32上にある場合、物体に到達する超音波パルスまたは波はプラテン32から物体まで続き、そこでエネルギーが吸収される。たとえば、プラテン32に接触する指紋の隆線が、プラテン32を介して指34に送られた超音波エネルギーを実質的に吸収する。しかし、プラテン32に接触しない指紋の谷線があるところでは、超音波は、プラテン32を通って戻るように実質的に反射され、超音波センサアレイ1601によって検出される。その他の電子部品が、超音波センサアレイ1601から個々の行および列信号を読み出す可能性があり、データプロセッサ1630が、信号から導出されたデータを生成するために使用される可能性がある。そのデータは、物体の画像(たとえば、指紋の画像)を生成するために使用され得る。

【0074】

図19は、多機能ピクセルまたはピクセルディスプレイアレイを利用し得るデバイスを示す。多機能ピクセル1、2のアレイを有するディスプレイデバイスは、ラップトップコンピュータ1700、携帯電話1710、タブレットコンピュータ1720(たとえば、iPad(登録商標))、ゲームコンソール1730、および医療デバイス1740を含む可能性がある。

【0075】

図20は、一部が拡大された多機能ピクセルのアレイを含む視覚的なディスプレイを示す。視覚的なディスプレイ1800の拡大された部分1800aは、16個の多機能ピクセル1、2のディスプレイサブアレイ3を含む。この実装において、ディスプレイサブアレイ3の各ピクセルは、多機能ピクセル1、2である。動作の一部のモードにおいては、センサ20の1つまたは複数のセンサ回路が、オンにされる必要がない。このようにして、センサ解像度が、変更され得る。たとえば、多機能ピクセル1、2がディスプレイ1800のあらゆるその他の行およびあらゆるその他の列においてオンにされる場合、センサ解像度は、ディスプレイ1800の視覚解像度の4分の1になる。

【0076】

図21は、ディスプレイピクセルと交互に並んだ多機能ピクセルのアレイを含む別の視覚的なディスプレイを示す。この実装において、多機能ピクセル1、2は、感知機能を持たないかまたは感知機能を無効化したディスプレイピクセル4とのチェッカー盤パターンを有する2×2ディスプレイサブアレイ3に構成され、センサ解像度は、ディスプレイ1800の視覚解像度の2分の1である。

【0077】

図22は、多機能ピクセルおよびディスプレイピクセルのアレイを含む別の視覚的なディスプレイを示す。この実装においては、2つの多機能ピクセル1、2の2×2ディスプレイサブアレイ3が、感知機能を持たないかまたは感知機能を無効化するかもしくはそうでなければ考慮に入れない2つのディスプレイピクセル4の隣に置かれ、ディスプレイ解像度の半分であるセンサ解像度を有する。

【0078】

図23A〜図23Fは、多機能ピクセルの様々な構成を示す。多機能ピクセルは、ディスプレイピクセル18を、1つまたは複数の超音波センサ20a、光電センサ20b、赤外線センサ20c、または静電容量センサ20dの組合せとともに含み得る。明確にするために、図23A〜図23Fには、多機能ピクセル1、2のすべての層が示されているわけではない。図23Aにおいては、赤、緑、および青ディスプレイサブピクセル18a、18b、および18cをそれぞれ有するディスプレイピクセル18、超音波センサ20a、ならびに赤外線センサ20cを有するインセル多機能ピクセル1、2が示されている。図23Bにおいては、赤、緑、および青ディスプレイサブピクセル18a〜cを有するディスプレイピクセル18、超音波センサ20a、ならびに光電センサ20bを有するインセル多機能ピクセル1、2が示されている。図23Cにおいては、赤、緑、および青ディスプレイサブピクセル18a〜c、第1の超音波センサ20a、ならびに第2の超音波センサ20aを有するインセル多機能ピクセル1、2が示されている。図23Dにおいては、赤、緑、および青ディスプレイサブピクセル18a〜c、超音波センサ20a、ならびに静電容量センサ20dを有するインセル多機能ピクセル1、2が示されている。図23Eにおいては、赤、緑、および青ディスプレイサブピクセル18a〜18cを有するディスプレイピクセル18、光電センサ20b、ならびに静電容量センサ20dを有する多機能ピクセル1、2が示されている。図23Fにおいては、赤、緑、および青サブピクセル18a〜cを有するディスプレイピクセル18、光電センサ20b、ならびに赤外線センサ20cを有する多機能ピクセル1、2が示されている。その他の実装(図示せず)は、ディスプレイピクセル、光電光センサ(可視光または赤外線光)、および静電容量センサ20dを有する多機能ピクセル1、2を含み得る。その他の実装は、ディスプレイピクセルと1つまたは複数のセンサとのその他の組合せを含み得る。

【0079】

当業者は、本明細書において開示された実施形態に関連して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが、電子的なハードウェア、コンピュータソフトウェア、またはそれら両方の組合せとして実装され得ることをさらに理解するであろう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、概してそれらの機能の観点で上で説明された。そのような機能がハードウェアとして実装されるかまたはソフトウェアとして実装されるかは、システム全体に課された特定の用途および設計の制約による。当業者は、説明された機能をそれぞれの特定の用途のために様々な方法で実装し得るが、そのような実装の判断は、本開示の範囲からの逸脱をもたらすものと解釈されるべきでない。

【0080】

本開示が1つまたは複数の特定の実施形態に関連して説明されたが、本開示のその他の実施形態が本開示の精神および範囲から逸脱することなく作製され得ることは、理解されるであろう。したがって、本開示は、添付の特許請求の範囲およびその妥当な傾斜句によってのみ限定されると考えられる。

【符号の説明】

【0081】

1 多機能ピクセル
2 多機能ピクセル
3 ディスプレイサブアレイ
4 ディスプレイピクセル
10 バックライトパネル
12 超音波トランスミッタ
14 TFTアレイ
16 TFT基板
18 ディスプレイピクセル
18a ディスプレイサブピクセル
18b ディスプレイサブピクセル
18c ディスプレイサブピクセル
20 センサ回路
20a センサ
20b センサ
20c センサ
20d センサ
21 TCF電極層
21a 第1のTCF電極
22 圧電性高分子
23 TCF電極層
23a 第2のTCF電極
24 液晶材料
26 TCF電極
28 カラーフィルタアレイ
28a カラーフィルタ要素
28b カラーフィルタ要素
28c カラーフィルタ要素
28d カラーフィルタ基板
32 プラテン
32a プラテン
34 指
36 圧電デバイス
50 レンズ
50a フレネルレンズ
50b 平凸光学レンズ
50c マイクロレンズアレイ
100 方法
150 方法
200 方法
CR 基準キャパシタ
CS 信号キャパシタ
300 方法
400 方法
500 方法
600 方法
700 方法
1500 デバイス
1510 マイクロプロセッサ
1522 システムオンチップデバイス
1526 ディスプレイコントローラ
1528 ディスプレイデバイス
1530 入力デバイス
1532 メモリ
1534 コーデック
1536 スピーカ
1538 マイクロフォン
1540 ワイヤレスコントローラ
1542 アンテナ
1544 電源
1560 命令
1570 カメラ
1600 回路
1601 超音波センサアレイ
1610 制御ユニット
1620 超音波トランスミッタ
1622 トランスミッタ励起信号
1624 トランスミッタドライバ
1626 レベル選択入力
1627 ゲートドライバ
1628 レシーババイアスドライバ
1629 デジタイザ
1630 データプロセッサ
1640 デジタル出力
1700 ラップトップコンピュータ
1710 携帯電話
1720 タブレットコンピュータ
1730 ゲームコンソール
1740 医療デバイス
1800 ディスプレイ
1800a 拡大された部分
2000 回路
2001 ディスプレイアレイ
2002 ディスプレイアレイ
2010 マイクロプロセッサ
2020 ピクセルディスプレイアレイドライバ
2030 列ドライバ回路
2040 センサアレイ読み出し回路
2050 タイミングバイアスおよびパルス生成制御回路
2060 ディスプレイ回路
2070 センサ回路

【図1A】

【図1B】

【図2】

【図3A(i)-3H(ii)】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図11C】

【図11D】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図12F】

【図13A】

【図13B】

【図13C】

【図13D】

【図14】

【図15】

【図16A】

【図16B】

【図16C】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23A】

【図23B】

【図23C】

【図23D】

【図23E】

【図23F】