(58)【調査した分野】(Int.Cl.,DB名)
光電変換領域を備え、前記光電変換領域での受光量に応じて光検出を行うとともに、受光面である前記光電変換領域の上方に、前記光検出に指向性を持たせる構造体をさらに備えた薄膜光センサが、任意の端辺領域に列状配置を有するように複数配置されたディスプレイであって、製造段階において、前記受光面と対向する平面内で、前記光電変換領域に対する前記構造体の相対的な位置関係を所望の位置に変位させることで、前記指向性を持たせた前記光検出の主検出方向が所望の方向に設定された前記複数配置された薄膜光センサを有するディスプレイと、
前記所望の方向に設定された各薄膜光センサのそれぞれの主検出方向によって前記ディスプレイの前方の空間内に規定された三次元検出空間において、前記各薄膜光センサの組合せによる検出結果に基づいて、前記三次元検出空間内での検出対象の位置を特定する検出部と
を備え、
前記薄膜光センサは、前記列状配置として、少なくとも隣接して直交する2端辺に配置されており、
前記検出部は、
前記2端辺のうち一方の列の検出平面を第1の検出平面と規定し、
前記2端辺のうち他方の列の検出平面を第2の検出平面と規定し、
前記第1の検出平面と前記第2の検出平面との交線を前記ディスプレイと鉛直な光検出方向の線とする仮想の主薄膜光センサを前記ディスプレイ上に規定し、
実在する前記薄膜光センサを前記検出平面または前記光検出方向の線に対する副薄膜光センサと規定し、
前記検出平面のすべてを包含する前記三次元検出空間内の位置検出を行う三次元空間内位置検出機能付きディスプレイ。
【背景技術】
【0002】
特別な眼鏡を使用せずに、裸眼において立体表示を行うことができる裸眼3Dディスプレイ技術がある。この技術を適用する場合には、視聴位置によって最適表示のための画像データが異なる。このため、視聴位置を検出・トラッキングして、最適表示を実現する機能を表示装置側に設けることがある(例えば、非特許文献1参照)。
【0003】
図8は、非特許文献1における視聴位置の検出・トラッキング手法に関する説明図である。この非特許文献1では、表示装置に取り付けた小型カメラで表示画像の前面を画像撮影し、その画像を解析して、視聴者の頭部などを検出・トラッキングしている。
【0004】
また、上述したような小型カメラを用いる手法とは別に、ディスプレイに薄膜光センサを付加する試みがある(例えば、非特許文献2、3参照)。
図9は、非特許文献2において薄膜光センサをディスプレイに付加した具体例を示した図であり、
図10は、非特許文献3において薄膜光センサをディスプレイに付加した具体例を示した図である。
【0005】
薄膜光センサをディスプレイに付加するに当たっては、全部または一部の表示画素内に、薄膜光センサを埋め込む、表示画素の一部を薄膜光センサ画素で置き換える、表示画素と薄膜光センサ画素とを混在させる、あるいは薄膜光センサのみを有する画素を別途設けるなどが試みられている。薄膜光センサアレイは、密着型の画像スキャナや指紋センサなどへの適用例がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術には、以下のような課題がある。
上述したように、ディスプレイに組み込まれた薄膜光センサは、指紋センサやタッチといったディスプレイに検出対象を密着させる場合の情報入力に対しては、適用されている。ただし、Hover入力のような非接触の情報入力、または、通常のカメラにおけるCCDあるいはCMOSイメージセンサの場合とは異なり、離れた位置の被写体を撮影して、その画像を解析して入力情報を取得する目的では適用されていない。よって、裸眼3Dディスプレイにおける薄膜光センサの適用例もない。
【0008】
また、非特許文献1のように、表示装置に小型カメラを取り付けてディスプレイ前面を画像撮影する場合には、それに伴う機器の大型化やコスト増加の問題があった。
【0009】
ここで、薄膜光センサをディスプレイに組み込む従来技術における問題点について説明する。従来技術において、薄膜光センサの上方は、より多くの入射光を得るために、広く開口させていた。そのため、1個の薄膜光センサに対して広範囲の方向からの光が混ざって入射していた。
【0010】
すなわち、薄膜光センサアレイにおいては、薄膜光センサアレイより離れた位置に物体がある場合、その物体の非常に広範囲の情報が1個の薄膜光センサに入射することによって、物体の像を結ぶのが困難であった。通常のカメラであれば、フォーカスが全く合っていない状態と同様である。
【0011】
通常のカメラとは異なって、ディスプレイの前面に集光レンズの設置が困難であることもまた、薄膜光センサアレイにおける精細な画像の撮影を妨げる大きな要因である。
【0012】
さらに、通常のカメラの場合であれば、撮影した高精細な画像を解析して、必要な情報を抽出するといった画像処理に基づく情報取得手法が適用される。しかしながら、ディスプレイに組み込んだ薄膜光センサの場合には、こういった従来の画像処理ベースの情報取得手法は、適用困難である。
【0013】
すなわち、薄膜光センサを用いて三次元空間における位置検出機能を実現するためには、薄膜光センサに光検出の指向性を付与し、さらに、薄膜光センサの特性に合った、従来の画像処理ベースの手法とは異なる位置検出手法を、併せて適用することが必要である。
【0014】
本発明は、前記のような課題を解決するためになされたものであり、薄膜光センサの集光特性を改善するとともに、改善された薄膜光センサが組み込まれたディスプレイを用いた機器において、ディスプレイ前方に規定した三次元空間内での検出対象の位置検出を実現することのできる三次元空間内位置検出機能付きディスプレイを得ることを目的とする。
【課題を解決するための手段】
【0015】
本発明に係る三次元空間内位置検出機能付きディスプレイは、光電変換領域を備え、光電変換領域での受光量に応じて光検出を行うとともに、受光面である光電変換領域の上方に、光検出に指向性を持たせる構造体をさらに備えた薄膜光センサが、任意の端辺領域に列状配置を有するように複数配置されたディスプレイであって、製造段階において、受光面と対向する平面内で、光電変換領域に対する構造体の相対的な位置関係を所望の位置に変位させることで、指向性を持たせた光検出の主検出方向が所望の方向に設定された複数配置された薄膜光センサを有するディスプレイと、所望の方向に設定された各薄膜光センサのそれぞれの主検出方向によってディスプレイの前方の空間内に規定された三次元検出空間において、各薄膜光センサの組合せによる検出結果に基づいて、三次元検出空間内での検出対象の位置を特定する検出部とを備えるものである。
【発明の効果】
【0016】
本発明によれば、光検出に指向性を持たせる構造を備えた薄膜光センサを実現できるとともに、薄膜光センサによる列を、ディスプレイ端辺の画素列に埋め込むことで、ディスプレイ前方に規定した三次元空間内での位置検出機能を併せ持つディスプレイを実現できる。この結果、薄膜光センサの集光特性を改善するとともに、改善された薄膜光センサが組み込まれたディスプレイを用いた機器において、ディスプレイ前方に規定した三次元空間内での検出対象の位置検出を実現することのできる、薄膜光センサ、および三次元空間内位置検出機能付きディスプレイを得ることができる。
【発明を実施するための形態】
【0018】
以下、本発明の三次元空間内位置検出機能付きディスプレイの好適な実施の形態につき、図面を用いて説明する。
本発明は、ディスプレイに埋め込まれる薄膜光センサにおいて光検出の指向性を付与したこと、および、指向性が付与された薄膜光センサに基づいて、ディスプレイ前面の三次元空間における物体の位置検出機能を実現すること、を技術的特徴とするものである。
【0019】
実施の形態1.
図1は、本発明の実施の形態1における、光検出の指向性を有する薄膜光センサの構造例を示した図である。
図1に示した薄膜光センサ素子10は、N型領域などに相当する第1導電領域11(斜めのハッチングで示された部分)と、P型領域などに相当する第2導電領域12(縦のハッチングで示された部分)との間に、PN接合の空乏層などに相当する光電変換領域13(白抜きで示された部分)を備えて構成されている。
【0020】
そして、指向性を持たせるために、本実施の形態1では、薄膜光センサ素子10における光電変換領域13の上方(ディスプレイ表面側)において、
図1(a)に示すように、微小孔21を有する遮光層20を設ける、あるいは、
図1(b)に示すように、光学的に凹レンズのような特性(中央付近ではレンズの特性がなくてもよい)を有する構造30(以下、凹レンズ構造30と称す)を形成する、などの構成を備えている。なお、
図1(b)中のn
A、n
Bは、屈折率を意味している。
【0021】
光電変換領域の直上に、上述した構成を形成することにより、ディスプレイ表面と鉛直な方向(θ=0°)の光は、従来どおり光電変換領域に入射して検出される。さらに、斜め方向(|θ|>0°)の光は、光電変換領域に入射が困難で、検出され難く、よって、鉛直方向の指向性が付与されることとなる。
【0022】
また、鉛直方向(θ=0°)だけではなく、微小孔21あるいは凹レンズ構造30の位置を水平(ディスプレイ表面と平行)に変位させることにより、光検出の方向を、鉛直からずれた斜め方向に制御できる。換言すると、ディスプレイの製造段階での作り込みにより、ディスプレイの任意の端辺領域に列状配置されるそれぞれの薄膜光センサの光検出方向を、所望の方向に設定することができる。
【0023】
図2は、本発明の実施の形態1に係る薄膜光センサにおいて、微小孔21の位置を変位させることで、光検出の指向性を所望の方向に設定する方法を示した説明図である。
図2(a)〜(c)は、
図2の紙面上で左右方向に相当するx方向に微小孔21の位置を変位させることで、θxに指向性を持たせることができる状態を示している。同様に、
図2(d)〜(f)は、
図2の紙面上で上下方向に相当するy方向に微小孔21の位置を変位させることで、θyに指向性を持たせることができる状態を示している。
【0024】
図3は、本発明の実施の形態1における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性(1)を示した図である。この
図3では、ある位置を、基準点x=0(かつz=0)として、その直上θ=0°にある距離z離れた位置に検出対象がある場合に、基準点から|x|だけずれた位置における5通りの異なるθ(0°、small、middle、large、およびlarger)での薄膜光センサによる検出値を、物理的シミュレーションによって検証したものである。なお、背景は、黒としている。
【0025】
さらに、
図4は、本発明の実施の形態1における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性(2)を示した図である。より具体的には、先の
図3より、以下の組合せAによる薄膜光センサのデータを抽出したものが
図4(a)であり、以下の組合せBによる薄膜光センサのデータを抽出したものが
図4(b)である。
組合せA:{θ=0°、x=0}、{θ:middle、x=6}、{θ:middle、x=10}、{θ:middle、x=14}。
組合せB:{θ=0°、x=0}、{θ:middle、x=16}、{θ:large、x=16}、{θ:larger、x=16}。
【0026】
すなわち、θ=0°のメインの薄膜光センサと、次のように、組合せAあるいは組合せBとして組み合わせたサブの薄膜光センサを用いて、あるメインの薄膜光センサの出力値からその直上に検出対象があると検知した場合に、それと組み合わされたサブの薄膜光センサ群の各出力値から、zが導出できることとなる。
組合せA:異なる位置|x|(>0)にあって、同一のθを有する複数個のサブの薄膜光センサを用いたもの。
組合せB:|x|>0のほぼ同じ位置にあって、異なるθを有する複数個のサブの薄膜光センサを用いたもの。
【0027】
なお、メインの薄膜光センサのθは、鉛直方向θ=0°である必要はない。また、サブの薄膜光センサからそれらの光検出方向に引いた各線が、メインの薄膜光センサにおける同様の線と、検出空間内の複数箇所で交われば、各サブの薄膜光センサのθや位置もまた任意である。
【0028】
例えば、ディスプレイの長辺方向をXとして、短辺方向をYとすれば、(θ
X、θ
Y)および(変位
X、変位
Y)空間内で、メインおよび各サブの薄膜光センサのθおよび位置を設定可能である。
【0029】
図5は、本発明の実施の形態1に係る光検出指向性を有する薄膜光センサを組み込んだディスプレイにおける、ディスプレイ前方の三次元空間内における位置検出の第1の実施例を示した図である。この
図5に示す第1の実施例では、ディスプレイ1の上側の水平端辺1aにおける1〜2画素幅の画素列内に、薄膜光センサを組み込んでいる。
【0030】
ここで、メインの光薄膜センサの検出方向線と、サブの光薄膜センサの検出方向線との各交点が、検出対象空間内に分布するように、それぞれの光薄膜センサのθと位置とを、製造段階で作り込み、所望のθと位置に設定することとなる。
【0031】
より具体的には、例えば、上記画素列状のほぼ同じ位置xにある薄膜光センサによって、その前方にほぼ平面と見なせる検出面を形成する。
図5中には、各メインの薄膜光センサにおける検出方向線と、各サブの薄膜光センサの検出方向線との交点である検出点が、併せて示されている。
【0032】
そして、検出平面をなす薄膜光センサのセット(すなわち、検出平面をなすメインの薄膜光センサ、およびこのメインの薄膜光センサに付随するサブの薄膜光センサからなるセット)を、位置xおよび各向きθを少しずつ変えて配置し、位置や向きが少しずつ異なる検出平面群からなる三次元の検出空間を形成する。
【0033】
1個の薄膜光センサは、検出方向線を中心にして、その周りに検出感度が分布し、よって、検出点の周りにも、検出感度は分布する。また、検出対象物体(例えば、人の頭部)は、ある大きさを有する。従って、検出点の最小間隔は、これら感度分布と検出対象物体の大きさを考慮して定めることができる。
【0034】
図6は、本発明の実施の形態1に係る光検出指向性を有する薄膜光センサを組み込んだディスプレイにおける、ディスプレイ前方の三次元空間内における位置検出の第2の実施例を示した図である。この
図6に示す第2の実施例では、薄膜光センサを組み込む画素列を、以下の(a)〜(e)のように、5パターンで配置した状態を例示している。
(a)薄膜光センサを組み込む画素列を、下側の水平端辺とした場合。
(b)薄膜光センサを組み込む画素列を、一方の垂直端辺とした場合。
(c)薄膜光センサを組み込む画素列を、他方の垂直端辺とした場合。
(d)薄膜光センサを組み込む画素列を、上側と下側の一対の水平端辺とした場合。
(e)薄膜光センサを組み込む画素列を、右側と左側の一対の垂直端辺とした場合。
【0035】
図6(a)〜
図6(c)に示すように、先の
図5とは異なる配置として、薄膜光センサを下側の水平端辺に配置する、あるいは、垂直端辺の左右いずれかに配置することができる。
【0036】
また、
図6(d)、
図6(e)に示すように、水平あるいは垂直の端辺対を利用することも可能であり、この場合には、1検出平面を構成する薄膜光センサ群あるいは1検出点に対応するメインおよびサブの薄膜光センサは、必ずしも1端辺側にまとめて配置する必要はなく、端辺対間に分けて配置してもよい。
図6(a)〜
図6(c)の場合よりも、検出間隔を縮小することができ、検出精度の向上が図られる。
【0037】
上述した
図5,
図6のように薄膜光センサが配置されたディスプレイにおいては、次のような多段の処理を行うことで、調べるべき薄膜光センサの数を絞り込んで大幅に削減した上で、短時間で検出処理を行うことができる。
(処理1)各メインの薄膜光センサの出力を調べることにより、反応のあったメインの薄膜光センサの特定を行う。
(処理2)反応のあったメインの薄膜光センサと組み合わされたサブの薄膜光センサの出力値の解析を行う。
【0038】
さらに、
図7は、本発明の実施の形態1に係る光検出指向性を有する薄膜光センサを組み込んだディスプレイにおける、ディスプレイ前方の三次元空間内における位置検出の第3の実施例を示した図である。この
図7に示す第3の実施例では、水平端辺および垂直端辺それぞれの画素列に、薄膜光センサを組み込んでおり、このような配置を採用することもできる。
【0039】
水平端辺に組み込んだ薄膜光センサは、各垂直検出面の検出を担い、垂直端辺に組み込んだ薄膜光センサは、各略水平検出面の検出を担うこととなる。そして、垂直検出面と水平検出面との交線上に、検出対象物体が検出される。
【0040】
この交線は、上述したメインの薄膜光センサの検出方向線と同等の意味を有する。従って、
図7の構成の場合には、薄膜光センサにおけるメインおよびサブといった使い分けは、必ずしも必要ない。尤も、メイン/サブ方式も適用ではある。
【0041】
メイン/サブ方式を適用しない場合には、次の多段処理により、検出処理の総演算量を削減し、処理時間も短縮することができる。
(処理1)検出面毎の各検出値の単純合計による検出対象物体を含む検出面の特定を行う。
(処理2)検出面あるいは検出方向線を構成する薄膜光センサにおける出力値の解析を行う。
【0042】
上述した本実施の形態1に係る薄膜光センサを備えることによる、三次元空間内位置検出機能付きディスプレイの効果を整理すると、以下のようになる。
・ディスプレイ前方に規定した三次元空間内における位置検出機能を併せ持つディスプレイが実現できる。例えば、裸眼3Dテレビにおける視聴者頭部の検出のために好適であり、頭部位置に基づく裸眼3Dの最適表示に適用することができる。
【0043】
・2D表示のテレビにおいても、視聴距離を検出し、検出した視聴距離に合った表示を行うこともできる。
・また、薄膜光センサの数を多く用いる、あるいは、三次元空間を狭く規定する、などによって、検出の解像度を向上し、顔向き検出の実施も実現できる。
【0044】
・さらに、薄膜光センサの一部に色フィルタを適用した場合には、TV視聴時の照明の明るさや色を測定し、測定結果に応じて表示の明るさや色合いを適切に変えることも可能である。
【0045】
・その他として、例えば、ディスプレイと標準視聴距離にある頭部との間に検出対象となる三次元空間を規定し、その三次元空間内で手の検出を行うことができる。指を閉じているか開いているか、あるいは指の向きなど、手のおよその状態や動きの情報を用いた機器の操作情報入力(すなわち、ジェスチャー入力)などに適用可能である。
・また、モバイル機器においても、先端に明るい検出対領域を設けた専用ペンなどを用いることで、非接触のジェスチャー入力が可能となる。
【0046】
以上のように、実施の形態1によれば、光検出に指向性を持たせる構造を備えた薄膜光センサを実現できる。具体的には、光検出指向性の付与は、光電変換領域の上方に(a)微小孔を有する遮光層を設ける、あるいは(b)凹レンズのような光学特性を有する構造を設ける、といった手法により実現している。さらに、このような構造の水平位置を変位させることで、光検出方向を、製造段階での作り込みにより、所望の方向に設定することが可能となる。
【0047】
さらに、本願の薄膜光センサによる列を、ディスプレイ端辺の画素列に埋め込むことで、ディスプレイ前方に規定した三次元空間内での位置検出機能を併せ持つディスプレイを実現できる。具体的には、光検出方向と位置の異なる複数の薄膜光センサを、ディスプレイの1端辺あるいは複数の端辺に沿って配置し、あらかじめ組み合わせた複数の薄膜光センサの出力値に応じて位置検出を行うことができる。なお、このような位置検出を行う際には、各薄膜光センサの配置方法に合った多段処理による位置検出手法を適用することができる。
【0048】
この結果、本願の薄膜光センサを、裸眼3Dテレビをはじめ、モニタ機器、あるいはモバイル機器などのディスプレイに組み込むことで、三次元空間内の位置検出機能が、カメラなどのデバイスを別途付加することなく実現でき、機器の大型化やコスト増加を抑制した三次元空間内位置検出機能付きディスプレイを得ることができる。