特許 6906892 ジェスチャー入力機能付きディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6906892

(24)【登録日】2021年7月2日

(45)【発行日】2021年7月21日

(54)【発明の名称】ジェスチャー入力機能付きディスプレイ

(51)【国際特許分類】

   G06F 3/042 20060101AFI20210708BHJP

   G06F 3/041 20060101ALI20210708BHJP

【ＦＩ】

   G06F3/042 472

   G06F3/041 410

   G06F3/041 580

   G06F3/041 595

【請求項の数】2

【全頁数】10

(21)【出願番号】特願2015-196466(P2015-196466)

(22)【出願日】2015年10月2日

(65)【公開番号】特開2017-68775(P2017-68775A)

(43)【公開日】2017年4月6日

【審査請求日】2018年10月2日

【審判番号】不服2020-5405(P2020-5405/J1)

【審判請求日】2020年4月21日

(73)【特許権者】

【識別番号】501426046

【氏名又は名称】エルジー ディスプレイ カンパニー リミテッド

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(72)【発明者】

【氏名】市川 勉

【合議体】

【審判長】 ▲吉▼田 耕一

【審判官】 北川 純次

【審判官】 小田 浩

(56)【参考文献】

【文献】 国際公開第２０１４／１９４１５１（ＷＯ，Ａ２）

【文献】 特開平９−２３６４０６（ＪＰ，Ａ）

【文献】 特開２０１５−１２７８８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F3/041

(57)【特許請求の範囲】

【請求項1】

光電変換領域を備え、前記光電変換領域での受光量に応じて光検出を行うとともに、受光面である前記光電変換領域の上方に、前記光検出に指向性を持たせる構造体をさらに備えた薄膜光センサが、任意の端辺領域に列状配置を有するように複数配置されたディスプレイであって、製造段階において、前記受光面と対向する平面内で、前記光電変換領域に対する前記構造体の相対的な位置関係を所望の位置に変位させることで、前記指向性を持たせた前記光検出の主検出方向が所望の方向に設定された前記複数配置された薄膜光センサを有するディスプレイと、
前記所望の方向に設定された各薄膜光センサのそれぞれの主検出方向によって前記ディスプレイの前方の空間内に規定された検出空間において、前記各薄膜光センサの組合せによる検出結果に基づいて前記検出空間内での検出対象の位置を特定することで、前記ディスプレイに非接触な状態でのジェスチャー入力を読み取る検出部と
を備え、
前記構造体は、光学的に凹レンズの特性を備え、
前記薄膜光センサは、１つの主薄膜光センサと、前記主薄膜光センサの光検出方向と異なる方向に光検出方向を有する複数の副薄膜光センサとで構成される基本ユニットを長手方向に複数配置した構成として、前記列状配置が形成されており、
前記基本ユニット内において、前記複数の副薄膜光センサのそれぞれは、前記複数の副薄膜光センサの光検出方向が前記主薄膜光センサの光検出方向と交差するように配置されており、
前記複数の副薄膜光センサは、前記主薄膜光センサからのずれ量が同じであり、光検出方向が異なる、ジェスチャー入力機能付きディスプレイ。

【請求項2】

前記検出部は、
それぞれの前記基本ユニット内の主薄膜光センサの出力値を解析し、反応のあった主薄膜光センサの特定を行う第１処理と、
前記第１処理の実行により、前記反応のあった主薄膜光センサが存在する基本ユニット内に存在する複数の副薄膜光センサに絞り込み、絞り込んだ前記複数の副薄膜光センサの出力値の解析を行う第２処理とによる多段階処理を実行する
請求項１に記載のジェスチャー入力機能付きディスプレイ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイ前方に規定した三次元空間内における検出対象物の位置検出機能により、非接触のジェスチャー入力機能を実現することのできるジェスチャー入力機能付きディスプレイに関する。

【背景技術】

【0002】

ディスプレイに操作情報を入力する機能を付加したものとして、タッチパネルがある。このようなタッチパネルには、静電容量、抵抗、光などのセンサが適用されているが、基本的には、ディスプレイ表面に指などが密着・圧着した状態で、その位置を検出するものである。

【0003】

一方、ディスプレイから離れた位置で検出するＨｏｖｅｒ入力の実施例もある。具体例としては、静電容量方式でディスプレイ表面から数ｍｍ〜１ｃｍ程度離れた位置での検出を行うもの、あるいはディスプレイを含む装置に超音波デバイスを取り付けてＨｏｖｅｒ入力を実施するものがある

【0004】

また、上述したような具体例とは別に、ディスプレイに薄膜光センサを付加する試みがある（例えば、非特許文献１、２参照）。図７は、非特許文献１において薄膜光センサをディスプレイに付加した具体例を示した図であり、図８は、非特許文献２において薄膜光センサをディスプレイに付加した具体例を示した図である。

【0005】

薄膜光センサをディスプレイに付加するに当たっては、全部または一部の表示画素内に、薄膜光センサを埋め込む、表示画素の一部を薄膜光センサ画素で置き換える、表示画素と薄膜光センサ画素とを混在させる、あるいは薄膜光センサのみを有する画素を別途設けるなどが試みられている。薄膜光センサは、密着型の画像スキャナや指紋センサタッチパネル、あるいは使用環境の明るさ測定といった機能を、ディスプレイに併せ持たせるために使用される。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｆｉｎｇｅｒｐｒｉｎｔ ｓｅｎｓｉｎｇ ｔｅｃｈｎｉｑｕｅｓ （Ｄｒ． Ｈｓｕ， Ｗｅｎ−Ｈｓｉｎｇ）、ｈｔｔｐ：／／ｆｉｎｇｅｒｃｈｉｐ．ｐａｇｅｓｐｅｒｓｏ−ｏｒａｎｇｅ．ｆｒ／ｂｉｏｍｅｔｒｉｃｓ／ｔｙｐｅｓ／ｆｉｎｇｅｒｐｒｉｎｔ＿ｓｅｎｓｏｒｓ＿ｐｈｙｓｉｃｓ．ｈｔｍ

【非特許文献2】電子情報通信学会２０１４年総会大会［Ｃ−９−５］、「周波数変調出力方式の薄膜フォトセンサ」

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来技術には、以下のような課題がある。
上述したように、ディスプレイに組み込まれた薄膜光センサは、指紋センサやタッチといったディスプレイに検出対象を密着させる場合の情報入力に対しては、適用されている。ただし、Ｈｏｖｅｒ入力のような非接触の情報入力には適用されていない。

【0008】

これに対して、静電容量方式のＨｏｖｅｒ入力の場合には、ディスプレイ表面から検出対象までの距離が、数ｍｍ〜１ｃｍ程度と短い。このため、使い勝手や操作性は、決して良好ではない。

【0009】

また、超音波デバイスを用いる場合には、部品点数の増加に伴う機器の大型化やコスト増加の問題がある。

【0010】

ここで、薄膜光センサをディスプレイに組み込む従来技術における問題点について説明する。従来技術において、薄膜光センサの上方は、より多くの入射光を得るために、広く開口させていた。そのため、１個の薄膜光センサに対して広範囲の方向からの光が混ざって入射していた。

【0011】

すなわち、薄膜光センサアレイにおいては、薄膜光センサアレイより離れた位置に物体がある場合、その物体の非常に広範囲の情報が１個の薄膜光センサに入射することによって、物体の像を結ぶのが困難であった。通常のカメラであれば、フォーカスが全く合っていない状態と同様である。

【0012】

通常のカメラとは異なって、ディスプレイの前面に集光レンズの設置が困難であることもまた、薄膜光センサアレイにおける精細な画像の撮影を妨げる大きな要因である。

【0013】

さらに、通常のカメラの場合であれば、撮影した高精細な画像を解析して、必要な情報を抽出するといった画像処理に基づく情報取得手法が適用される。しかしながら、ディスプレイに組み込んだ薄膜光センサの場合には、こういった従来の画像処理ベースの情報取得手法は、適用困難である。

【0014】

すなわち、薄膜光センサを用いた非接触の情報入力機能を実現するためには、薄膜光センサに光検出の指向性を付与し、さらに、薄膜光センサの特性に合った、従来の画像処理ベースの手法とは異なる入力情報取得手法を、併せて適用することが必要である。

【0015】

本発明は、前記のような課題を解決するためになされたものであり、薄膜光センサの集光特性を改善するとともに、改善された薄膜光センサが組み込まれたディスプレイを用いた機器において、ディスプレイに非接触な状態でのジェスチャー入力機能を実現することのできる、ジェスチャー入力機能付きディスプレイを得ることを目的とする。

【課題を解決するための手段】

【0016】

本発明に係るジェスチャー入力機能付きディスプレイは、光電変換領域を備え、光電変換領域での受光量に応じて光検出を行うとともに、受光面である光電変換領域の上方に、光検出に指向性を持たせる構造体をさらに備えた薄膜光センサが、任意の端辺領域に列状配置を有するように複数配置されたディスプレイであって、製造段階において、受光面と対向する平面内で、光電変換領域に対する構造体の相対的な位置関係を所望の位置に変位させることで、指向性を持たせた光検出の主検出方向が所望の方向に設定された複数配置された薄膜光センサを有するディスプレイと、所望の方向に設定された各薄膜光センサのそれぞれの主検出方向によってディスプレイの前方の空間内に規定された検出空間において、各薄膜光センサの組合せによる検出結果に基づいて検出空間内での検出対象の位置を特定することで、ディスプレイに非接触な状態でのジェスチャー入力を読み取る検出部とを備えるものである。

【発明の効果】

【0017】

本発明によれば、光検出に指向性を持たせる構造を備えた薄膜光センサを実現できるとともに、主薄膜光センサと複数の副薄膜光センサからなる基本ユニットをディスプレイ端辺に列状に複数配置する構造を備えることで、検出面内での位置検出機能を併せ持つディスプレイを実現できる。この結果、薄膜光センサの集光特性を改善するとともに、改善された薄膜光センサが組み込まれたディスプレイを用いた機器において、ディスプレイに非接触な状態でのジェスチャー入力機能を実現することのできる、ジェスチャー入力機能付きディスプレイを得ることができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施の形態１における、光検出の指向性を有する薄膜光センサの構造例を示した図である。

【図2】本発明の実施の形態１に係る薄膜光センサにおいて、微小孔の位置を変位させることで、光検出の指向性を所望の方向に設定する方法を示した説明図である。

【図3】本発明の実施の形態１において、ディスプレイへの薄膜光センサの埋め込みと、それによって実現されるジェスチャー入力機能の概要に関する説明図である。

【図4】本発明の実施の形態１における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性（１）を示した図である。

【図5】本発明の実施の形態１における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性（２）を示した図である。

【図6】本発明の実施の形態１における薄膜光センサの配置例を示す図である。

【図7】非特許文献１において薄膜光センサをディスプレイに付加した具体例を示した図である。

【図8】非特許文献２において薄膜光センサをディスプレイに付加した具体例を示した図である。

【発明を実施するための形態】

【0019】

以下、本発明のジェスチャー入力機能付きディスプレイの好適な実施の形態につき、図面を用いて説明する。
本発明は、ディスプレイに埋め込まれる薄膜光センサにおいて光検出の指向性を付与したこと、および、指向性が付与された薄膜光センサに基づいてディスプレイに非接触な状態でのジェスチャー入力機能を実現すること、を技術的特徴とするものである。

【0020】

実施の形態１．
図１は、本発明の実施の形態１における、光検出の指向性を有する薄膜光センサの構造例を示した図である。図１に示した薄膜光センサ素子１０は、Ｎ型領域などに相当する第１導電領域１１（斜めのハッチングで示された部分）と、Ｐ型領域などに相当する第２導電領域１２（縦のハッチングで示された部分）との間に、ＰＮ接合の空乏層などに相当する光電変換領域１３（白抜きで示された部分）を備えて構成されている。なお、図１（ｂ）中のｎ_Ａ、ｎ_Ｂは、屈折率を意味している。

【0021】

そして、指向性を持たせるために、本実施の形態１では、薄膜光センサ素子１０における光電変換領域１３の上方（ディスプレイ表面側）において、図１（ａ）に示すように、微小孔２１を有する遮光層２０を設ける、あるいは、図１（ｂ）に示すように、光学的に凹レンズのような特性（中央付近ではレンズの特性がなくてもよい）を有する構造３０（以下、凹レンズ構造３０と称す）を形成する、などの構成を備えている。

【0022】

光電変換領域の直上に、上述した構成を形成することにより、ディスプレイ表面と鉛直な方向（θ＝０°）の光は、従来どおり光電変換領域に入射して検出される。さらに、斜め方向（｜θ｜＞０°）の光は、光電変換領域に入射が困難で、検出され難く、よって、鉛直方向の指向性が付与されることとなる。

【0023】

また、鉛直方向（θ＝０°）だけではなく、微小孔２１あるいは凹レンズ構造３０の位置を水平（ディスプレイ表面と平行）に変位させることにより、光検出の方向を、鉛直からずれた斜め方向に制御できる。換言すると、ディスプレイの製造段階での作り込みにより、ディスプレイの任意の端辺領域に列状配置されるそれぞれの薄膜光センサの光検出方向を、所望の方向に設定することができる。

【0024】

図２は、本発明の実施の形態１に係る薄膜光センサにおいて、微小孔２１の位置を変位させることで、光検出の指向性を所望の方向に設定する方法を示した説明図である。図２（ａ）〜（ｃ）は、図２の紙面上で左右方向に相当するｘ方向に微小孔２１の位置を変位させることで、θｘに指向性を持たせることができる状態を示している。同様に、図２（ｄ）〜（ｆ）は、図２の紙面上で上下方向に相当するｙ方向に微小孔２１の位置を変位させることで、θｙに指向性を持たせることができる状態を示している。

【0025】

図３は、本発明の実施の形態１において、ディスプレイへの薄膜光センサの埋め込みと、それによって実現されるジェスチャー入力機能の概要に関する説明図である。ディスプレイ１の端辺１ａにおける１〜２画素程度の幅の画素列内で、薄膜光センサが適宜埋め込まれている。

【0026】

そして、この端辺１ａの前面に奥行き方向（ディスプレイ表面から離れる方向）を含む２次元の検出平面をＸ−Ｚ平面２として規定し、これと交差する物体（例えば、指）の位置を非接触で検出する。図３において、各薄膜光センサの光検出方向については、鉛直方向を０°として、検出平面に沿って各薄膜光センサにおける指向性の角度θが所望の方向に設定されることとなる。

【0027】

図４は、本発明の実施の形態１における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性（１）を示した図である。この図４では、ある薄膜光センサの位置を、基準点ｘ＝０（かつｚ＝０）として、その直上θ＝０°に、薄膜光センサからある距離ｚ離れた位置に検出対象がある場合に、画素列に沿って基準点から｜ｘ｜だけずれた位置における５通りの異なるθ（０°、ｓｍａｌｌ、ｍｉｄｄｌｅ、ｌａｒｇｅ、およびｌａｒｇｅｒ）での薄膜光センサによる検出値を、物理的シミュレーションによって検証したものである。なお、背景は、黒としている。

【0028】

さらに、図５は、本発明の実施の形態１における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性（２）を示した図である。より具体的には、先の図４より、以下の組合せＡによる薄膜光センサのデータを抽出したものが図５（ａ）であり、以下の組合せＢによる薄膜光センサのデータを抽出したものが図５（ｂ）である。
組合せＡ：｛θ＝０°、ｘ＝０｝、｛θ：ｍｉｄｄｌｅ、ｘ＝６｝、｛θ：ｍｉｄｄｌｅ、ｘ＝１０｝、｛θ：ｍｉｄｄｌｅ、ｘ＝１４｝。
組合せＢ：｛θ＝０°、ｘ＝０｝、｛θ：ｍｉｄｄｌｅ、ｘ＝１６｝、｛θ：ｌａｒｇｅ、ｘ＝１６｝、｛θ：ｌａｒｇｅｒ、ｘ＝１６｝。

【0029】

すなわち、適切な薄膜光センサの組合せにおいて、検出平面内の位置検出が可能であり、例えば、次のような組合せＡあるいは組合せＢを採用することで、図５のような特性に従って、適切に位置検出を行うことができる。
組合せＡ：θ＝０°の薄膜光センサ（主薄膜光センサ）と、そこから異なるずれ量ｘの位置にあって同一θの複数個の薄膜光センサ（副薄膜光センサ）とを組合せたもの。
組合せＢ：θ＝０°の薄膜光センサ（主薄膜光センサ）と、そこからほぼ同じずれ量ｘの位置にあって異なるθを有する複数個の薄膜光センサ（副薄膜光センサ）とを組合せたもの。

【0030】

なお、複数箇所の位置検出も可能である。また、位置検出は、次の手順に従って多段処理を行うことで、効率よく実行することができる。
ステップ１：θ＝０°の各薄膜光センサ（主薄膜光センサ）出力値より、上記画素列内における位置Ｘを特定する。
ステップ２：上記組合せＡあるいは組合せＢに基づいて、位置Ｘの近傍にあるθ＝０°の薄膜光センサとの組み合わせにある複数個の薄膜光センサ（副薄膜光センサ）の出力値より、あらかじめ求めておいた図５のような特性に従って、奥行き位置Ｚを算出する。

【0031】

このような手順を採用することで、ステップ２において出力値を調べるべき薄膜光センサの数を、ステップ１による前処理に基づいて大幅に絞り込んで減らすことができる。このため、全薄膜光センサの出力値を調べる場合よりも、演算量・演算時間が大きく削減できる。これにより、速い動きのあるジェスチャー入力にも対応可能である。

【0032】

図６は、本発明の実施の形態１における薄膜光センサの配置例を示す図である。具体的には、上述した組合せＡ、Ｂに沿った、上記画素列全体における薄膜光センサの配置例を示したものである。各矢印の始点に薄膜光センサが配置され、それぞれの薄膜光センサによる光検出の方向を矢印で示している。

【0033】

θ＝０°の薄膜光センサを挟んで左右両側から、θやｘの異なる薄膜光センサを配置した基本型を、上記画素列に沿って適度な間隔で配列させている。左右両側に配置することで、検出精度を高めることができる。ただし、上記画素列の端部付近では、全ての位置に配置できない場合もある。

【0034】

なお、図６中に○で示した場所のように、薄膜光センサの位置が互いに重なる場合には、その薄膜光センサあるいは基本型の位置を、上記画素列の幅方向も含めて１画素程度ずらしている。ただし、薄膜光センサは、上記画素列内の全画素に配置する必要はない。

【0035】

なお、θについて、上記画素列に平行な方向の成分と、上記画素列およびθ＝０°の鉛直方向と垂直な成分をそれぞれθｘ、θｙとした場合、上述の例では、簡単のためにθｙ＝０°で検出平面はディスプレイに対して垂直であるとして説明した。しかしながら、本発明はこのような場合に限定されず、上述におけるθをθｘに置き換えることで、｜θｙ｜＞０°、すなわち、検出平面がディスプレイに対して傾いている場合にも、鉛直方向の場合と同様に、実現可能である。なお、θｙをｘ方向に沿って変えることで、湾曲した検出面を規定することもできる。

【0036】

また、基本型についても、上記画素列内の位置に応じて、θｘ＝０°の条件を変えてもよい。例えば、上記画素列端部ほど｜θｘ｜を大きくする、あるいはその逆に、画素列端部ほど｜θｘ｜を小さくして、検出平面の有効範囲を変えることも可能である。その場合には、基本型内の他の薄膜光センサのθやｘについても、調整が必要である。

【0037】

さらに、薄膜光センサを埋め込む画素列について、上述ではディスプレイの４端辺のうちのいずれか１辺のみである場合について説明したが、これは１辺に限るものではない。

【0038】

上述した本実施の形態１に係る薄膜光センサを備えることによる、ジェスチャー入力機能付きディスプレイの効果を整理すると、以下のようになる。
・ディスプレイ前方に規定した検出面内における位置検出機能を併せ持つディスプレイが実現できる。この結果、これまでにはない非接触のジェスチャー入力機能が実現できる。
・本方式は、静電容量方式によるＨｏｖｅｒ入力の場合よりも、離れた位置での操作が可能である。さらに、本方式は。超音波デバイスを用いたＨｏｖｅｒ入力のように、部品点数が増加することがなく、複数箇所の検出にも対応可能である。
・このようなディスプレイは、例えば、モバイル機器用として好適であり、そのモバイル機器の使い勝手を大きく向上させることができる。さらに、超音波デバイスなどを付加した場合に発生する、機器の大型化やコスト増加といった問題も抑制できる。

【0039】

以上のように、実施の形態１によれば、光検出に指向性を持たせる構造を備えた薄膜光センサを実現できる。具体的には、光検出指向性の付与は、光電変換領域の上方に（ａ）微小孔を有する遮光層を設ける、あるいは（ｂ）凹レンズのような光学特性を有する構造を設ける、といった手法により実現している。さらに、このような構造の水平位置を変位させることで、光検出方向を、製造段階での作り込みにより、所望の方向に設定することが可能となる。

【0040】

さらに、本願の薄膜光センサによる列を、ディスプレイ端辺の画素列に埋め込むことで、ディスプレイ前方に規定した三次元空間内でのジェスチャー入力機能を併せ持つディスプレイを実現できる。具体的には、光検出方向と位置の異なる複数の薄膜光センサを、ディスプレイの１端辺あるいは複数の端辺に沿って配置し、あらかじめ組み合わせた複数の薄膜光センサの出力値に応じて、非接触でジェスチャー入力による位置検出を行うことができる。なお、このような位置検出を行う際には、各薄膜光センサの配置方法に合った多段処理による位置検出手法を適用することができる。

【0041】

この結果、本願の薄膜光センサをモバイル機器などのディスプレイに組み込むことで、ディスプレイに非接触な状態でのジェスチャー入力機能が実現でき、機器の大型化やコスト増加を抑制したジェスチャー入力機能付きディスプレイを得ることができる。

【符号の説明】

【0042】

１ ディスプレイ、１ａ 水平端辺、２ Ｘ−Ｚ平面（検出平面）、１０ 薄膜光センサ素子（薄膜光センサ）、１１ 第１導電領域、１２ 第２導電領域、１３ 光電変換領域、２０ 遮光層、２１ 微小孔、３０ 凹レンズ構造。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】