(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同じ要素には、同じ符号を付しており、説明を省略する場合もある。また、図面は、理解し易くするために、それぞれの構成要素を主体に模式的に示している。
【0011】
本実施の形態の技術は、三次元液晶表示装置やプライバシーディスプレイとして用いることが出来る、出射方向を偏向可能な光照射装置と、それを用いた液晶表示装置に関する。
【0012】
(本発明の基礎となった知見)
まず、本発明の基礎となった知見について述べられる。つまり、画像表示装置の1つに、液晶表示装置がある。液晶表示装置は、空間変調素子として液晶パネルを用い、液晶パネルの背面から面状照明装置(バックライト)で照明し、透過する光を空間変調することにより、画像を形成する。
【0013】
近年、画像表示装置の臨場感をより向上させるために、3D画像を表示可能な3D画像表示装置の開発が進められている。この表示は、視認する人の左右の2つの目に互いに異なる2つの画像を見せて、視差を与えることにより達成できる。このような、3D画像の表示の方式としては、これまでにも、様々な方式が提案されている。
【0014】
例えば、特殊な光学作用をメガネに持たせた、メガネ式の3D画像表示装置が提案されており、既に各社から市販されている。
【0015】
しかし、視聴する際に、メガネをかける必要がある。このため、やはり、メガネを掛けずに、3D画像の視聴が可能な、裸眼3D表示装置のニーズが存在する。
【0016】
この裸眼3D表示装置として、例えば、導光板の両側面に光源を配置し、導光板の形状を工夫する装置がある。このことで、片側(例えばここでは「右側」と呼ぶ)の光源を点灯させた時には、導光板から出射した光が、右目に集光するようにし、もう一方の片側(ここでは「左側」と呼ぶ)の光源を点灯させた時には、導光板から出射した光が左目に集光するように構成する(例えば特許文献1)。
【0017】
また、光の向きを変える光偏向部を用いて、導光板からの光が集光する位置を動的に変更する方法もある。つまり、このことで、右目にのみ表示光が入射する状態と、左目にのみ表示光が入射する状態とを切り替えることで、裸眼立体視を可能にする方法も提案されている(例えば特許文献2)。
【0018】
図1は、光偏向部を用いる裸眼3D表示装置の例を示す図である。
【0019】
液晶表示装置100は、面状の照明光105を出射する光源101と、光偏向部102と、液晶パネル103とからなる。
【0020】
光偏向部102としては、電圧印加によって、屈折率を変更可能な素子や、MEMS(Micro Electro Mechanical Systems)ミラーによって構成される素子を用いることができる。
【0021】
光源101から出射した照明光105は、所定の時間の間、利用者104の右目104aの位置に入射する様に、光偏向部102により、光105aの方向に偏向される。一方で、所定の時間が経過した後には、利用者104の左目104bの位置に入射する様に、光偏向部102により、光105bの方向に偏向される。
【0022】
光偏向部102と、利用者104との間には、
図1の通り、液晶パネル103が配置されており、光偏向部102から出射した光で照明されることにより、表示像を形成する。
【0023】
この時、右目104aに向けて光105aが偏向されているタイミングで、液晶パネル103に、右目用画像を設定し、左目104bに向けて光105bが偏向されているタイミングで、液晶パネル103に、左目用画像を設定する。このことで、利用者104は、3D画像を認識することができる。
【0024】
こういった画像表示装置は、表示光が視認可能な範囲を限定することが可能である。ため、3D画像表示装置以外でも、プライバシーディスプレイ(第三者から表示画像を覗き見されることを防止可能な画像表示装置)としても応用可能である。
【0025】
しかしながら、上記で説明した技術においては、利用者の視点位置の検出や、複数の視点への対応が困難になる。
【0026】
例えば、光偏向部を用いる方式では、光の偏向方向を決定するために、利用者の視点位置を検出することが必要になる。
【0027】
一般に、視点の検出には、ステレオカメラなどが使用される。一方、暗所や、カメラの動作不良により、利用者の視点位置が撮影できない場合には、表示装置は、利用者の目に向けて表示光を正しく偏向できない場合が生じる。この場合、その利用者が、表示を見ることができないという課題が生じる。
【0028】
また、特許文献1の例では、視点位置が固定されていて、所定位置以外では、3D画像を視認できないという制約がある。そのため、複数の利用者が同時に3D画像を見ることが、困難になる。
【0029】
本発明者は、このような、光偏向部を用いる方式について、次のようなことに想い到った。つまり、この方式では、複数の視点に対して、順次、表示光を偏向させることで、それらの複数の利用者が、同時に3D画像を見ることが可能になる。この例として、
図2に示す例が考えられる。
【0030】
図2は、二人の利用者201および202が液晶表示装置200を使用しているケースを示す図である。
【0031】
この時、
図2の液晶表示装置200は、
図1の光偏向部と同様の光偏向部を備えるものの、次の動作をする点で相違する。つまり、
図2の液晶表示装置200は、
図1の液晶表示装置100とは違って、この液晶表示装置200の光偏向部を用いて、表示光の入射する位置を、位置201a、202a、201b、202bの順に、変更する。
【0032】
このような制御を行うことで、
図2の液晶表示装置200は、複数の利用者に対して、表示を実行することが可能になる。
【0033】
しかしながら、単なる、このような
図2の技術では、次の問題が生じてしまう。つまり、複数の利用者の視点に対して、無制限に光を偏向してしまうと、画面を覗き込んだ利用者全てに情報が表示されることになる。このため、プライバシーディスプレイとして利用することは困難になる。
【0034】
図2の例で、利用者201が、プライバシーディスプレイとして液晶表示装置200を使用している時に、利用者202が、液晶表示装置200を覗き込んだ場合が考えられる。この場合には、利用者202に対しても表示が行われてしまう。このような事態は、プライバシーディスプレイとしては好ましくない。
【0035】
本技術は、上記従来の問題を解決するものである。つまり、本技術により、簡便な方法で、利用者の視点位置を特定することができ、また、複数人での利用時の利便性を向上可能な液晶表示装置を提供できる。
【0036】
上記問題を解決するために、本発明の表示装置(情報表示装置、液晶表示装置)は、光(
図3の光305)を出力する光源(光源301)と、利用者(
図3の利用者304)の目の位置を認識する位置認識部(位置認識部402)と、出力された前記光の方向を、前記位置認識部が認識した前記目の位置の方向へ偏向する光偏向部(光偏向部302)と、前記利用者が、複数の人物(
図13のユーザ1、2を参照)のうちの何れの人物かを特定する特定部(ユーザ判定部502)と、特定された前記人物に応じて、前記光偏向部が前記光を偏向する方向を制御する制御部(偏向制御部403)と、前記光偏向部からの出射光を受けて画像を形成する表示部(液晶パネル303)とを備える表示装置(300)である。
【0037】
本構成により、表示内容や利用者のアクセス権などに応じて光の偏向方向を制御して、より適切に情報表示を行うことが可能になる。
【0038】
例えば、これにより、利用者が、画像が視認されるのが不適切な人物であるのが特定される場合には、その利用者の位置への、画像の光の偏向はされない。これにより、不適切な人物にまで、画像が表示されて、不適切な人物にまで、画像が視認されてしまうことが回避される。これにより、画像が視認される人物が、より確実に、適切な人物にできる。
【0039】
また、前記画像の少なくとも一部である表示情報(例えば
図6の画像612)に対して、それぞれの前記人物がアクセスする権限を所持するか否かを示す情報(テーブル502t、503t)を保持する表示情報管理部(表示情報管理部503)を備え、前記制御部は、前記特定部により特定された前記人物(例えば
図13の利用者2)が前記権限を所持しないと示される場合には、前記光(光305)の少なくとも一部である、前記表示情報(画像612)の光(
図15の光1303)を、前記利用者(利用者192)の前記目の位置に入射させないように、前記光偏向部の偏向方向を制御してもよい。
【0040】
本構成により、アクセス権のない利用者に対して情報を表示することを防止することができ、プライバシーをより向上させることが可能になる。
【0041】
また、前記利用者の画像を撮影する利用者撮影部(アイカメラ306a、306b)を備え、前記特定部は、前記利用者撮影部が撮影した前記画像により、前記人物が、前記複数の人物のうちの何れの人物かを特定してもよい。
【0042】
本構成により、利用者にパスワード入力などの負担を強いることなく簡便に利用者を特定することが可能になる。
【0043】
また、前記利用者撮影部が撮影した前記画像から、前記利用者の輪郭、瞳形状の少なくとも一つを認識する形状判定部(瞳形状判定部501)を備え、前記特定部(ユーザ判定部502)は、認識された前記少なくとも一つを用いて特定を行ってもよい。
【0044】
本構成により、利用者の特徴を利用し、より正確に利用者を特定することが可能になる。
【0045】
また、前記利用者は、前記特定部による特定のための情報を発信する発信装置を装着し、前記特定部は、前記発信装置が発信する前記情報を受信することにより、前記利用者が前記複数の人物の何れの人物かを特定してもよい。
【0046】
本構成により、暗所など利用者の撮影が困難な場合においても、より正確に利用者を特定することが可能になる。
【0047】
また、前記特定部は、二人以上の前記利用者のそれぞれを特定し、前記制御部は、二人以上の前記利用者に対して逐次、前記光源により出力される前記光を偏向させてもよい。
【0048】
本構成により、複数の利用者に対して同時にセキュリティの高い情報表示を行うことが可能になる。
【0049】
また、前記表示部はアクセス権限の互いに異なる前記表示情報を少なくとも二つ(画像611、612)同時に表示可能であり、保持される前記情報(テーブル502t、503t)は、それぞれの前記人物(ユーザ1、2…)が、それぞれの前記表示情報に対してアクセスする権限を所持するか否かを特定し、前記制御部は、特定される前記人物が、それぞれの前記表示情報(画像611、612)の前記権限を所持するか否かに応じて、前記光偏向
部の偏向方向を制御してもよい。
【0050】
本構成により、情報表示の自由度を向上させつつ、情報のセキュリティを向上させることが可能になる。
【0051】
また、前記表示部は、三次元表示を可能にするための右目用視差画像と左目用視差画像と(
図18の各画像)を交互表示可能であり、前記特定部は、それぞれの前記利用者(
図18のA、B)に対して、二次元表示と前記三次元表示とのいずれを行うかを決定するための情報を保持し、前記制御部は、前記情報に基づいて、前記二次元表示を行うと決定された前記利用者(
図18のB)の左右の目の位置に対しては、前記右目用視差画像もしくは前記左目用視差画像のいずれか一方(
図18の右視差画像)の光のみが入射するように、前記光偏向部の偏向方向を制御してもよい。
【0052】
本構成により、2D・3D表示の切り替えを容易に行うことが可能になる。
【0053】
また、本発明の液晶表示装置は、前記利用者が端末を保持する手の位置もしくは端末の傾きの少なくとも一つを示す端末情報(
図21の第4〜6列)を取得する端末状態取得部(端末状態取得部1702)を備え、前記位置認識部は、前記利用者の目の位置に関する情報(第2〜3列)と、前記端末情報(第4〜6列)とを関連付けて記録する偏向履歴蓄積部(偏向履歴蓄積部1803)を備え、取得された前記端末情報(第4〜6列)に関連付けられた前記情報(第2〜3列)を検索することにより、前記利用者の目の位置を推定してもよい。
【0054】
本構成により、アイカメラなどが使用できない状況下で、利用者の目の位置が撮影できない場合においても、利用者の目の位置を推定することが可能になる。
【0055】
また、本発明の液晶表示装置では、前記利用者の目の位置に関する前記情報(第2〜3列)は、前記光偏向部の動作履歴でもよい。
【0056】
本構成により、利用者の目に光を入射させるための光の偏向方向を容易に求めることが可能になる。つまり、例えば、
図21のそれぞれの行における右目角度等は、表示装置の過去の動作に際して記録された、その動作における右目角度等でもよい。
【0057】
また、本発明の液晶表示装置では、前記利用者が前記光偏向部の偏向方向を調節可能な手動偏向調節部を備えてもよい。
【0058】
本構成により、利用者が最適な光の偏向方向を自身で決定することを可能にする。なお、この手動偏向調節部は、例えば、ユーザによる操作がされるキー、ボタンなどである。上述の操作がされることにより、偏向方向が調節されたり、修正されたりしてもよい。
【0059】
また、本発明の液晶表示装置は、前記利用者の画像を撮影するための利用者撮影部(アイカメラ2102)を備え、前記位置認識部は、前記利用者が前記表示装置を視認する際の標準の視距離(
図26のL1)で利用者を撮影した基準画像(画像2401)を保持し、前記利用者撮影部で撮影された画像(画像2402)と、前記基準画像とを比較することにより利用者の視距離(L2)を推定して、前記利用者の目の位置を判定してもよい。
【0060】
本構成により、ステレオカメラを用いない場合においても、利用者の視距離を推定することが可能になり、端末のコストを削減する効果がある。
【0061】
また、本発明の液晶表示装置は、前記光源からの前記光の強さを判定する出力判定部(出力判定部2602)を備え、前記光偏向部は、前記出力判定部の判定結果が基準値を超えていた場合、前記出射光を前記利用者の目に入射させないように、前記光偏向部の偏向方向を決定してもよい。
【0062】
本構成により、より安全性の高い表示装置を利用者に提供することが可能になる。
【0063】
本発明の光照射装置及びそれを用いた液晶表示装置を用いると、利用者の視点位置を簡易に推定すること可能となり、かつ複数人で使用している場合でもプライバシー性の高いディスプレイを実現することが可能になる。
【0064】
より確実に、画像の光が、適切な位置に入射できる。
【0065】
また、前記特定部は、位置が認識された前記利用者が、前記表示装置の表示面の中心を通る直線(
図30の直線2903)に対してより近い方の人物2901か、より遠い方の人物2902かを特定し、前記制御部は、近い方の前記人物と特定される場合には、認識された前記位置に前記光を入射させ、遠い方の前記人物と特定される場合には入射させなくてもよい。
【0066】
これにより、光が入射される人物が、不適切な人物になってしまうのが回避されることが、比較的精度よくできる。
【0067】
また、前記特定部は、位置が認識された利用者が、前記表示装置までの距離である視距離が、予め定められた範囲3003(
図31)内の人物3001か、前記範囲3003内ではない人物3002かを特定し、前記制御部は、前記範囲内の前記人物と特定される場合には、認識された前記位置に前記光(
図3の305)を入射させ、前記範囲内でない前記人物と特定される場合には入射させなくてもよい。
【0068】
これにより、光が入射される人物が、不適切な人物になってしまうのが回避されることが、比較的精度よくできる。
【0069】
また、前記特定部は、位置が認識された前記利用者が、一方の目から、他方の目への方向が、所定の方向(
図32の方向3101d)と同じ方向である人物3101か、異なる方向である人物3102かを特定し、前記制御部は、前記同じ方向の人物と特定される場合には、認識された前記位置に前記光を入射させ、前記異なる方向の人物と特定される場合には入射させなくてもよい。
【0070】
これにより、光が入射される人物が、不適切な人物になってしまうのが回避されることが、比較的精度よくできる。
【0071】
また、前記特定部は、位置が認識された前記利用者が、前記表示装置の視野角3203(
図33)内の位置の人物3201か、前記視野角3203内でない位置の人物3202かを特定し、前記制御部は、前記視野角内の位置の前記人物3201と特定される場合には、認識された前記位置に前記光を入射させ、前記視野角内でない位置の前記人物3202と特定される場合には入射させなくてもよい。
【0072】
これにより、光が入射される人物が、不適切な人物になってしまうのが回避されることが、比較的精度よくできる。
【0073】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0074】
なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
【0075】
(実施の形態1:セキュリティ対策)
本実施の形態1では、光偏向素子によって複数の利用者に、同時に3D表示を行うことが可能な液晶表示装置において、表示される情報のセキュリティやプライバシーを確保するための構成について示す。
【0076】
図3は、本実施の形態の液晶表示装置300の模式図を示す図である。
【0077】
液晶表示装置300は、面状の光(照明光)305を出射する光源301と、光偏向部302と、液晶パネル303と、利用者304から見て右側にある右側アイカメラ306aと、利用者304から見て左側にある左側アイカメラ306bと、表示制御部307からなる。
【0078】
光源301は、液晶パネル303を照明し、利用者304に対する表示光を形成するために、面状の照明光305を射出する。
【0079】
なお、光源301は、例えば、白色LED(light-emitting diode)等を多数配列した光源でも構わないし、赤、青、緑のLEDを多数配置した光源を用いても良い。この場合、導光板を使用せずに、液晶表示装置を構成することが可能になる。また、光源301は、導光板の側面に配置したLEDや、CCFL(Cold Cathode Fluorescent Lamp)や、レーザ等の光源を点灯させた構成でも構わず、ここでは、それを限定するものではない。
【0080】
光偏向部302は、照明光305を、利用者に向けて偏向するための部分である。光偏向部302は、本実施の形態では、電圧印加によって、屈折率を変更可能な素子によって構成されている。屈折率を変更可能な素子を、光偏向部302として利用することで、光偏向部302に、可動部を備える必要がなくなる。このため、液晶表示装置300の信頼性や、耐久性を向上させることが可能になる。
【0081】
なお、光偏向部302と、液晶パネル303との間に、偏向角度を拡大するレンズを備えても構わない。なお、こうして、例えば、上述のレンズと、先述の光偏向部302とからなる光偏向部が設けられてもよい。この場合、液晶パネル303と利用者304との間の間隔が比較的狭くとも、適切に表示が見られる。このようになるので、3D液晶表示装置や、プライバシーディスプレイとして視認可能な範囲が広くなるという効果がある。
【0082】
なお、光偏向部302として、MEMS(Micro Electro Mechanical Systems)ミラーによって構成される素子を用いてもよい。この場合、照明光305を偏向する角度を比較的大きな角度にすることが可能であり、利用者304が、大きく頭を動かしても、表示を見続けることが可能になる。
【0083】
アイカメラ306aおよびアイカメラ307bのそれぞれは、利用者304の目を撮影し、撮影された画像の情報を、表示制御部307に通知する。
【0084】
表示制御部307は、通知された情報に基づいた、利用者304の目の位置の判定、および、光偏向部302による、照明光305が偏向される方向の決定を行う。
【0085】
図4は、本実施の形態における表示制御部307の機能ブロック図である。
【0086】
表示方法判定部401は、複数の利用者が存在する場合に、個々の利用者に対する表示方法を決定する。なお、表示方法判定部401の具体的な動作については、後に詳述する。
【0087】
位置認識部402は、アイカメラ306a、306bから通知された撮影像から、液晶表示装置303に対する、利用者304の右目304aおよび左目304bの位置を判定する。例えば、アイカメラ306aからの一方の撮影像と、アイカメラ306bからの他方の撮影像との2つの撮影像から、この判定がされる。
【0088】
偏向制御部403は、次の動作をする。つまり、上述された、位置認識部402が、2つのアイカメラ306a、306bからの撮影像から判定した、利用者304の2つの目の位置の情報がある。その動作では、この情報を用いる。その動作では、この情報を用いて、光源301(
図3)から出射した光305が、所定の時間の間、右目304aの位置に入射する様に、照明光305を、光偏向部302により、光305aの方向に偏向する。
【0089】
また、偏向制御部403は、所定の時間が経過した後には、光305が、左目304bの位置に入射する様に、光偏向部302により、照明光305を、光305bの方向に偏向する。
【0090】
液晶パネル303(
図3)は、光偏向部302と、利用者304との間に配置されており、光偏向部302から出射した光で照明されることにより、表示像を形成する。
【0091】
この時、液晶パネル303は、右目304aに向けて、光305aが偏向されているタイミングで、液晶パネル303に、右目用画像を設定する。また、液晶パネル303は、左目304bに向けて、光305bが偏向されているタイミングで、液晶パネル303に、左目用画像を設定する。このことで、利用者304は、3D画像を認識することができる。
【0092】
また、本実施の形態における液晶表示装置は、利用者が複数名いる場合であっても、検出された、それらの複数の利用者の多数の目のうちの全ての目に対して、光を偏向しながら集光する。つまり、それぞれのタイミングで、液晶パネルに、適切な画像を表示することで、複数の利用者が存在する場合でも、何れの利用者にも3D画像が認識される。これにより、一人の利用者だけが存在する場合と同様に、このディスプレイを、3Dディスプレイとして機能させることができる。この例を、
図5に示す。
【0094】
図5の上段、中段、下段のうちの下段により、時間軸が示される。この時間軸の最右端の矢印により示されるように、
図5では、より右側の位置において、より後の時刻での動作が示される。上段のそれぞれの位置では、その位置の時刻における、液晶パネル303により表示される画像が、右目用と、左目用とのうちの何れの画像であるかが示される。中段のそれぞれの位置では、その位置の時刻における、偏向される方向が、利用者A、Bのうちの何れの利用者の、左右のうちの何れの目への方向であるかが示される。
【0095】
図5の例では、図示される通り、液晶パネル303が、右目用の画像を表示している間に、光偏向部302が、照明光305を、二人の利用者A、Bの右目に交互に偏向する。また、液晶パネル303が、左目用の画像を表示している間に、光偏向部302が、照明光305を、二人の利用者A、Bの左目に交互に偏向する。これらの処理を行うことで、二人の利用者A、Bの何れに対しても、3D表示を行うことが可能になる。
【0096】
しかしながら、利用者が複数名いる場合において、液晶表示装置300に、秘密性の高い情報(例えば、後述の
図6の画像612)が表示されていると、問題が生じる可能性がある。
【0097】
図6は、秘情報を含む表示の例を示す。
【0098】
ここで、
図6に示される、「秘」および「一般」の文字は、それぞれ、情報のアクセスレベルを示す。
【0099】
本実施の形態では、秘情報は、閲覧できる利用者が制限されている情報であり、一般情報は、全ての利用者が閲覧可能な情報である。
【0100】
液晶表示装置300が、この
図6の表示を行っている時に、秘情報に対してアクセス可能な一方の利用者(例えば先述の利用者A)と、秘情報に対してアクセスできない他方の利用者(例えば利用者B)が、同時に画面を視認した場合がある。
【0101】
液晶表示装置300においては、この場合に、両方の利用者の目に対して、光偏向部302によって、表示光を偏向してしまうことにより、不適切なことが生じてしまうことが回避される。つまり、液晶表示装置300においては、秘情報に対してアクセス権限のない他方の利用者(利用者B)までも、秘情報(画像612)を視認してしまうことが回避される。
【0102】
本実施の形態1においては、このような問題に対処するために、表示制御部307は、複数の利用者が、同時に液晶表示装置300を視認している際に、表示される情報のセキュリティを向上させるための表示制御を行う。
【0103】
以下、表示制御部307が、表示される情報のセキュリティを向上させるための処理について、具体的な手順を示す。
【0104】
図7は、本実施の形態における、表示制御部307(
図3、
図4)に含まれる表示方法判定部401(
図4)が有する機能ブロック構成などを示す図である。
図7の各機能ブロックについての説明は、後に詳述する。
【0105】
図8は、表示制御部307により行われる処理の流れを示す図である。
【0106】
図9は、実施の形態1の液晶表示装置300と、二人の利用者191、192とを示す図である。
【0107】
また、表示制御部307は、
図8に示されるステップS61〜S65の処理を行うことで、表示される情報のセキュリティを向上させる。また、以下では簡単のため、
図9に示されるように、二人の利用者191、192が、同時に液晶表示装置300を使用しているケースを、処理の例として示す。
【0108】
<ステップS61 利用者像撮影>
本ステップS61においては、アイカメラ306a、306bのそれぞれが、利用者304(二人の利用者191、192)の目を撮影する。
【0109】
なお、先述のように、位置認識部402により、位置の認識がされるのに、利用者304の2つの撮影像が利用される。このS61では、例えば、位置認識部402により利用されるこれらの2つの撮影像が撮影される。
【0110】
図10は、本実施の形態における撮影像の例を示す図である。
【0111】
図10の撮影像は、アイカメラ306aによる撮影像である。この撮影像では、二人の利用者191、192の顔の顔画像(画像191a、192a)が同時に撮影されている。アイカメラ306a、306bのそれぞれは、撮影した撮影像(画像)を、瞳形状判定部501(
図7)に通知する。
【0112】
なお、本実施の形態では、
図10のように、複数の利用者を、一つの撮影像に、同時に撮影する例を示した。一方、利用者毎に、別々の撮影を行っても良い。例えば、アイカメラ306a、306bで、それぞれ、利用者191、192を個別に撮影するような処理を行っても良いし、アイカメラ306a、306bの撮影方向を変更可能に構成し、利用者191、192を撮影する際に、アイカメラの方向を変更して、撮影しても良い。この場合、一つの撮影像に、一人の利用者しか映らないため、以後の利用者の顔認識などが、簡単になる効果がある。
【0113】
<ステップS62 瞳形状認識(認証データ生成)>
本ステップS62においては、瞳形状判定部501が、前述のステップS61で取得した、利用者の撮影像から、各利用者を認証するために必要な認証データを生成する。なお、以下では、説明の便宜上、S61で取得される、位置認識部402により利用される2つの撮影像のうちの一方のみから、認証データが生成される例が詳しく説明される。なお、後で詳しく説明されるように、例えば、2つの撮影像の両方から、認証データが生成されてもよい。
【0114】
本実施の形態1では、各利用者を認証するために、利用者の瞳画像が使用される。そのため、瞳形状判定部501は、アイカメラによる撮影像(例えば、
図10に示される、アイカメラ306aの撮影像)から、利用者191、192の輪郭(後述の
図11の輪郭191b、192b)を抽出する処理を行う。瞳形状判定部501は、この処理を行った後、抽出された、それぞれの利用者の輪郭内にある瞳を認識し、利用者191の瞳画像データ、および、利用者192の瞳画像データ(後述の
図12を参照)をそれぞれ生成する。
【0115】
図11は、アイカメラから取得した撮影像から利用者の輪郭抽出をした結果を示す図である。
図11に示されるように、利用者191、192のそれぞれの輪郭形状が認識され、利用者の顔の部分(輪郭191b、192b)のデータが抽出されている。
【0116】
図12は、
図11に示す、利用者の輪郭から、更に、各利用者の瞳画像を抽出した例を示す図である。
【0117】
図12に示すように、利用者191、192のそれぞれに対して、瞳画像データ901、902(
図7の情報501I)が生成されている。
【0118】
瞳形状判定部501は、生成した認証データ(
図7の情報501I)を、ユーザ判定部502に通知する。
【0119】
<ステップS63 ユーザ判定>
本ステップS63では、ユーザ判定部502が、前のステップS62で生成した認証データを利用して、各利用者の認証判定を行い、各利用者が利用可能な情報の判定を行う。
【0120】
本実施の形態では、ユーザ判定部502は、瞳画像データから利用者を特定するための情報を、後述のユーザ管理テーブル(
図13など)に保持している。ユーザ判定部502は、このテーブルを用いることで、利用者の認証を行う。
【0121】
図13は、本実施の形態におけるユーザ管理テーブルの例(テーブル502t)を示す図である。
【0122】
図13では、液晶表示装置300に登録されている利用者のユーザ名(第1列)、そのユーザの情報に対するアクセスレベルを示す情報(第2列)、および認証のために用いられる認証データ(第3列)が記録されている。
【0123】
本実施の形態では、認証データとして、瞳画像データが用いられる。このため、
図13に示されるユーザ管理テーブルの、各利用者の認証データの欄(第3列)には、各利用者を認証するための画像ファイル名が格納されている(
図13のファイルA、ファイルB)。
【0124】
ユーザ判定部502は、瞳形状判定部501から通知された瞳画像データ(
図12)と、ユーザ管理テーブルに格納された上述の画像ファイル名(
図13の第3列)のファイルである瞳画像ファイルとを比較する。ユーザ判定部502は、この比較で一致する、瞳画像データおよび瞳画像ファイルの組み合わせがあれば、次の判定をする。その判定では、現在、液晶表示装置300を視認している利用者が、ユーザ管理テーブルに登録されている、その瞳画像ファイルのファイル名(
図13の第3列)に関連付けられたユーザ名(第1列)のユーザであると判定する。
【0125】
図12および
図13の例では、利用者191(
図9)の瞳画像データ901と、ファイルAに格納されている瞳画像データが一致する。このため、利用者191については、ユーザ名が、ユーザ1(
図13の第2行第1列)であり、秘情報にアクセスできるユーザである(第2行第2列)と判定される。同様に、利用者192については、ユーザ名がユーザ2(第3行第1列)であり、一般情報にアクセスできるユーザである(第3行第2列)と判定される。
【0126】
ユーザ判定部502は、各利用者に対して判定したアクセスレベルの情報(
図7の情報502I)を、偏向制御部403に対して通知する。
【0127】
なお、
図13に示す認証データ(第3列)は、上述のように、ファイル名であってもよい。つまり、このように認証データがファイル名であるなどにより、瞳画像データをテーブルに直接格納しない方法が用いられてもよい。一方、逆に、直接格納する方法を用いても良い。後者の、直接格納する場合、瞳画像データのファイルを検索する必要がなくなるため、より高速に、利用者の認証を行うことが可能になる。
【0128】
<ステップS64 表示情報判定>
本ステップS64では、表示情報管理部503(
図7)が、液晶パネル303に表示されている各情報(後述の
図14の各行を参照)を特定する。そして、S64では、表示情報管理部503が、特定された、表示されている各情報のアクセスレベル(第2列を参照)の判定を行う。
【0129】
本実施の形態においては、表示情報管理部503は、各情報について、その情報のアクセスレベルと、その情報の現在の表示範囲(
図6参照)とを管理する情報管理テーブル(
図14のテーブル503t)を保持する。
【0130】
図14は、本実施の形態における情報管理テーブルの例を示す図である。
【0131】
図14の例では、情報1(第2行)のアクセスレベル(第2行第2列)は、秘情報のアクセスレベルであることが示されている。
【0132】
また、
図14の例では、表示エリア(第3列)は、画面左下を原点とした座標系で表現されている。つまり、情報の表示エリアは、この座標系における、その表示エリアの左下の座標と、右上の座標との組で表現されている。また、それぞれの座標の数値は、液晶パネルの1ピクセル分の長さを1として表現している。また、現在表示されていない情報については、情報3の行(第4行)で示されているように、その情報の表示エリアの情報は存在せず、空欄(第4行第3列)である。
【0133】
表示情報管理部503は、情報管理テーブル503tから、現在の表示情報に関するデータ(
図7のデータ503d)を抽出し、偏向制御部403に通知する。例えば、
図14のテーブル503tから、
図6の画像612(例えば情報1)に関連付けられた情報(第2行第2、第3列)と、画像611(例えば情報2)に関連付けられた情報(第3行の第2、第3列)とが抽出されて、通知される。
【0134】
なお、本実施の形態では、表示エリアの表現は、上述のように、左下の座標と右上の座標の組で表現したが、表示エリアの表現の方法は、この方法に限定する必要はない。また、表示エリアの情報は、表示を制限する必要のある情報(本実施の形態の例では秘情報)についてのみ保持するようにしても良い。この場合、情報管理テーブルの情報量を削減し、また、表示エリアに関する情報更新の頻度を削減することが可能になる。
【0135】
<ステップS65 偏向制御>
本ステップS65では、次の情報に基づく動作がされる。その情報とは、先述のステップS63で取得した、各利用者のアクセスレベル(
図13第2列)、および、上述のステップS64で抽出された、表示されている情報のアクセスレベル(
図14の第2列)と、表示エリアの情報(
図14の第3列)とである。その動作では、これらの情報に基づいて、偏向制御部403が、液晶表示装置300に表示されている先述の各情報について、各情報を表示する際に照明をする照明光305(
図3)の偏向方向を制御する。
【0136】
本実施の形態においては、偏向制御部403は、位置認識部402によって認識された、それぞれの利用者の位置に応じて、光の偏向方向を制御する。
【0137】
また、先述の
図5に示すように、複数の利用者に対して、交互に、それぞれの利用者の方向への、照明光の偏向を行う。
【0138】
この時、偏向制御部403は、アクセスレベルが、一般のアクセスレベルである利用者に対しては、アクセスレベルが、秘のアクセスレベルである情報を照明する照明光が偏向されないように、光の偏向を行う。
【0139】
図15は、アクセスレベルが、一般のアクセスレベルである利用者に対する、光偏向の例を示す図である。
【0140】
図15の領域1301は、液晶パネル303(
図3など参照)上における、秘情報が表示されている部分である。この領域1301を照射する照明光1303がある。なお、
図15では、この符号1303に付して、2つの引き出し線が描かれる。領域1301における照明光1303は、これら2つの引き出し線によって指される2つの矢印線により、模式的に示される。この照明光1303は、利用者192の目に入射しないような、その目へと向かう方向以外の他の方向303dへと偏向される。なお、
図15の例では、他の方向303dが、液晶パネル303の表示面に対して垂直な方向(
図15の方向303d)であるケースが例示される。なお、利用者192の目の位置が、領域1301から垂直な方向の位置である場合なども考えられる。例えば、これらの場合などにおいては、上述の他の方向303dは、垂直な方向でなくてもよい。
【0141】
一方、
図15の領域1302は、アクセスレベルが、一般のアクセスレベルである情報が表示されている領域である。この領域1302を照明する照明光1304は、利用者192の目に入射するように偏向される。この時、利用者192が視認する表示像の例を、
図16に示す。
【0142】
図16は、
図6に示される秘情報部分(部分712)が、利用者192に対しては、表示されていないことを示している図である。このように、利用者192により認識される画像71においては、一般情報の部分711のみが表示され、秘情報の部分712は表示されない。なお、秘情報の部分712は、例えば、真っ黒の部分として認識されてもよい。
【0143】
図17は、秘情報に対するアクセスレベルを持つ利用者191に対する光偏向の例を示す図である。
【0144】
この例に示されるように、この利用者191に対しては、画面上の全ての表示が、目に入射するように、偏向が行われる。これにより、領域1301の表示も、領域1302の表示も、目に入射する。そのため、この利用者191は、
図6に示されるように、秘情報(画像612)を含む全ての情報を視認することが可能になる。
【0145】
以上のS61〜S65の処理を行うことにより、複数の利用者が、液晶表示装置300を視認している場合でも、表示のセキュリティを、向上させることが可能になる。
【0146】
なお、本実施の形態では、簡単のため、利用者が二人の場合について示したが、液晶表示装置300の利用者が、三人以上であっても、同様の処理を実行することで、表示される情報のセキュリティを確保することができる。
【0147】
なお、簡単のため、
図10に示す、アイカメラ306aが撮影した画像を用いて、表示制御を行う例を示した。一方、アイカメラ306aの撮影像、アイカメラ306bの撮影像の2つの撮影像のそれぞれから認証データが生成されるなどして、それぞれの撮影像に付いて、利用者の認識を行っても良い。この場合、より正確に、利用者を認識することが可能になる。
【0148】
なお、本実施の形態では、瞳画像データを、利用者を認証するための認証データとして用いたが、他のデータを利用して、利用者の認証を行っても良い。例えば、
図11に示すような、利用者の輪郭や顔データを、利用者を認証するためのデータとして利用しても良い。この場合、利用者の特徴を、より詳細に判定することができるため、利用者を認証する精度を、向上させることができる。また、顔画像以外のデータを用いて、利用者の認証を行っても良い。例えば、利用者が、赤外線による信号などの、認証のための信号を発する眼鏡やヘッドセットなどの発信装置を装着することで、利用者の認証を行っても良い。この場合、より正確に、利用者を識別することが可能になる。また、眼鏡などに、直接信号を発しない識別部(例えばQRコード(登録商標))などを取り付け、それらを、アイカメラで認識することで、利用者の識別を行っても良い。この場合、眼鏡などに、余分な装置を設けることなく、利用者を識別することが可能になる。
【0149】
なお、本実施の形態では、情報のアクセスレベルを、秘もしくは一般の2種類で表現したが、アクセスレベルはより詳細に規定されてもよいし、情報毎に、アクセス可能なユーザを個別に設定できるようにしても良い。この場合、表示装置のセキュリティを、より高めることが可能になる。
【0150】
なお、本実施の形態では、
図6に示すような、秘情報と一般情報とが混在する形での情報表示を例に挙げたが、液晶パネル303に表示される情報が、全て秘情報、もしくは一般情報のどちらかであるような表示を行っても良い。この場合、個々の情報毎に、表示エリアの管理などを行う必要がなくなるため、表示制御の際の処理コストを削減することが可能になる。
【0151】
なお、ステップS61〜S63の処理と、ステップS64の処理の順は、逆であってもよいし、同時に処理しても良い。
【0152】
なお、位置認識部402においての、右目、左目の位置の検出では、本実施の形態では、二つのカメラを用いたが、もちろん、他の手段を用いても構わず、本実施の形態は、目の位置の検出する手段を限定するものではない。
【0153】
なお、先述のように、光偏向部302として、電圧印加によって屈折率を制御する素子を使用する場合が考えられる。この場合、例えば、光源は、光305として、赤色レーザ光(波長640nm)、緑色レーザ光(波長532nm)、青色レーザ光(450nm)の各レーザ光を用いる。これらの各レーザ光を、時系列で順番に照射しながら、それぞれのレーザ光が照射される時における、光偏向部302の屈折率を、適切な屈折率に調整する。このことで、各色のレーザ光に対する偏向角を同じにすることができる。こうすることで、色ずれのない均一な液晶表示装置を構成することが可能になる。
【0154】
図18は、本技術での制御の一例を示す図である。
【0155】
また、本実施の形態においては、利用者を認証することにより、利用者ごとに、アクセスレベルの異なる情報の表示を行う例を示した。一方、同様の利用者認証方法を用いて、利用者毎に、2D表示と3D表示とを切り替える表示を行っても良い。例えば、二人の利用者A、Bに対して表示がされる際において、利用者Aに3D表示、利用者Bに2D表示を行いたい場合が考えられる。この場合、本実施の形態におけるステップS61〜S63(
図8)の処理を実行することで、複数の視点が、どの利用者に対応するかを識別することができる。その後、例えば、
図18に示すように、光偏向部302が制御されることで、利用者Aに対して3D表示を行うと共に、利用者Bに対して2D表示を行うことが可能になる。
【0156】
なお、
図18に示す偏向順序は、単なる一例であり、他の偏向順序によって、利用者毎の2D・3D表示の切り替えを行ってもよい。例えば、利用者Aに対して、光を偏向する時間を増やすことで、利用者Aに対して、高輝度な表示を行うことが可能になる。
【0157】
なお、本実施の形態においては、ステレオカメラ(2つのアイカメラ306a、306b)により、利用者の目の位置を測定したが、別の方法を用いても良い。例えば、それぞれのアイカメラ306a、306bに、赤外線カメラを使用してもよい。そして、光源301が、RGBの表示光に加え、赤外線を同時に出射する。このことで、利用者に対して、赤外線を偏向し、利用者の瞳からの、赤外線の反射光を、この赤外線カメラで測定することで、利用者の目の位置を測定しても良い。この場合、暗所においても、利用者の目の位置を測定することが可能になる。また、利用者の目の位置に、眼鏡形状の赤外線発生装置を備えるようにし、その赤外線を測定することで、利用者の目の位置を推定する方法を用いてもよい。この場合、より正確に、利用者の目の位置を推定することが可能になる。
【0158】
なお、本実施の形態においては、利用者が二人の場合について例示したが、利用者の数が三人以上であってもよい。例えば、アクセスレベルの高い利用者A、B、アクセスレベルの低い利用者Cの三人が、表示装置を視認している場合、利用者A、Bに対してのみ、情報表示を行うことなどの処理を行っても良い。この場合、秘匿性の高い情報を、複数人で、安全に共有できるなどの効果がある。
【0159】
このように、例えば、利用者(
図3の利用者304を参照)の位置が特定されてもよい。
【0160】
具体的には、特定される位置は、その利用者の目の位置などである(右目304aの位置などを参照)。
【0161】
特定された位置へと、画像(例えば、
図6の画像612)の光が入射する方向へと、その光の方向が偏向されてもよい。
【0162】
しかしながら、利用者として、第1の利用者(
図17の利用者191、
図13のユーザ1)と共に、第1の利用者とは別の第2の利用者(利用者192、ユーザ2)がいることも考えられる(
図9などを参照)。
【0163】
そして、画像が、第1の利用者にのみ見られるのが適切で、第2の利用者に見られるのが適切でない画像(画像612などを参照)であることも考えられる。
【0164】
そこで、特定された位置が、第1の利用者の位置であるか、第2の利用者の位置であるかが判定されてもよい。
【0165】
第1の利用者の位置と判定される場合にのみ、その位置へと、画像(例えば
図6の画像612)の光(
図17の光1304を参照)を入射させる方向への偏向がされ、第2の利用者の位置と判定される場合には、されなくてもよい(
図15の光1303を参照)。つまり、第2の利用者の位置と判定される場合には、利用者の位置への方向以外の他の方向303d(
図15)への偏向がされてもよい。このような偏向をさせる制御が変更制御部403によってされてもよい。
【0166】
これにより、第2の利用者の位置と判定される場合にまで、特定された位置に、光が入射する偏向がされて、不適切な位置に、光が入射してしまうのが回避されて、確実に、適切な位置に、光を入射できる。
【0167】
なお、特定される、利用者の位置は、右目および左目のうちの予め定められた一方の側の目の位置でもよい。
【0168】
そして、上述の画像は、3D映像にける、その一方の側の目により見られる画像でもよい。そして、その3D映像が第1の利用者により見られるのと同時に、その3D映像以外の他の映像(例えば3D映像)が、第2の利用者により見られてもよい。
【0169】
第1の利用者のみが、上述の画像のアクセス権を有する利用者で、第2の利用者は、アクセス権を有しなかったり、第1の利用者のみが、上述の画像を見るのが認証された利用者で、第2の利用者は、認証されてない利用者でもよい。
【0170】
上述の画像は、全体の画像(
図6の画像61を参照)に含まれる、第1の画像(画像611)と、第2の画像(画像612)とのうちの、第2の画像でもよい(
図12を参照)。
【0171】
例えば、第1の画像は、
図6における、一般情報のエリアの画像である一方で、第2の画像は、ハッチングで示される、秘情報のエリアの画像612でもよい。
【0172】
つまり、第1の利用者には、第1画像だけでなく、第2の画像も見られる一方で、第2の利用者には、第1の画像のみが見られ、第2の画像が見られなくてもよい(
図16などを参照)。
【0173】
(実施の形態2:瞳位置履歴蓄積)
本実施の形態では、光偏向素子によって3D表示を行うことが可能な液晶表示装置1701(
図19など)において、利用者の目の位置を、簡便に判定するための構成について示す。
【0174】
図19は、本実施の形態における液晶表示装置1701の構成図を示す図である。
【0175】
なお、実施の形態1と同一の構成要素については、同一の符号を用い、詳しい説明を適宜省略する。
【0176】
本実施の形態において、液晶表示装置1701は、端末状態取得部1702を有する。端末状態取得部1702は、利用者304が端末(液晶表示装置1701)に触れている、画面上(液晶パネル303上)の位置を検出するためのタッチセンサ、および、液晶表示装置300の、水平方向からの傾き角度を検知するための傾きセンサなどを備える。端末状態取得部1702は、これらを用いて、液晶表示装置1701が利用されている状態を認識する機能を備える。本実施の形態では、タッチセンサは、液晶パネル303上に設置され、利用者304に、タッチパネルとして、入力機能の提供も行う。
【0177】
図20は、本実施の形態2での位置認識部402(
図4参照)の機能ブロックなどを示す図である。
【0178】
本実施の形態2において、表示制御部307は、実施の形態1と同様に、
図4に示す機能ブロックを有する。更に、本実施の形態2において、位置認識部402は、利用者の目の位置を簡便に認識するために、
図20に示す機能ブロックを持つ。
図20の各機能ブロック1801〜1803の詳細については、後に詳述する。
【0179】
本実施の形態においては、液晶表示装置1701は、実施の形態1と同様に、アイカメラ306a、307bによって、利用者の目の位置を特定する。そして、特定された位置の情報に基づいて、光偏向部302が、照明光305を偏向することで、3D表示を実現する。
【0180】
しかしながら、液晶表示装置1701が、暗所で利用されている場合や、アイカメラ306a、306bの一方または両方が故障した場合などには、これらのアイカメラ306a、306bによって、利用者の目の位置を推定することが困難になる場合が考えられる。この場合、利用者の目の位置を推定できず、照明光305を、正しく利用者の目に入射することができないため、利用者に対する情報表示ができない事態が生じてしまう。
【0181】
このような事態を防止するために、本実施の形態の位置認識部402は、偏向履歴蓄積部1803(
図20)を有する。この偏向履歴蓄積部1803は、光偏向部302が、光を偏向した方向(情報403Iを参照)と、端末状態取得部1702から取得できる情報(情報1701a)とを関連付けて、偏向履歴管理テーブル(テーブル1803t)として記憶する。
【0182】
図21は、偏向履歴蓄積部1803が有する偏向履歴管理テーブルの例(テーブル1803t)を示す図である。
【0183】
本実施の形態2においては、光偏向部302(
図19)による、照明光の偏向の履歴は、次の角度により記録されている。つまり、液晶パネル303の中央における、液晶パネル303の表示面に対して垂直に入射する光を、利用者の右目、もしくは左目に入射させるために、垂直の方向以外の他の方向等である偏向後の方向へと偏向する。この変更後の方向と、偏向前の垂直の方向との間の角度によって記録されている。
【0184】
図21の例では、ユーザ1(第2行)に対しては、照明光を、右方向に15度偏向させることで、利用者の右目に入射させたことを記録している(第2行第2列)。また、照明光を、左方向に15度偏向させることで、その利用者の左目に入射させることができたことを記録している(第2行第3列)。
【0185】
また、端末状態取得部1702から取得したデータは、右手位置(第4列)、左手位置(第5列)、および端末傾斜(第6列)の情報として記録されている。右手位置、左手位置の各々は、液晶パネル303の左下隅を原点とした座標で表現されている。また、それぞれの座標の数字は、液晶パネルの一画素分の長さを単位としている数字である。
【0186】
図21のユーザ1(第2行)の例では、3D表示を行っている際に、利用者304の右手は、画面の左下から右に1000ピクセル、上に500ピクセル離れた位置に触れていることを示している(第2行第4列)。また、左手は、画面の左下から上に500ピクセル離れた位置に触れていたことを示している(第5列)。また、端末傾斜(第2行第6列)は、利用者304が、情報を視認する際に、液晶表示装置1701を、水平方向から20度傾けて視認していたことを示している。一般に、日常的に使用する表示装置(タブレットやPCディスプレイ、テレビ)に対する、利用者の、液晶表示装置1701までの視距離は、大きく変化しないと考えられる。このため、これらの履歴情報を保持しておくことにより、アイカメラが機能しない場合においても、利用者304と、液晶表示装置1701との間の位置関係を推定することが可能になる。
【0187】
なお、本実施の形態においては、偏向履歴蓄積部1803は、光偏向部302による偏向の情報を、先述のように、液晶パネル303の中央の画素を照明する光に対する偏向角度によって記録していたが、別の方法を用いても良い。例えば、画面右端の光を、利用者304の目に入射させるために必要な偏向角度によって、記録しても良い。また、複数の画素のうちのそれぞれの画素に対して、利用者の目に表示光を入射するために必要な、その画素での偏向角度を記録しておいてもよい。この場合、利用者の目の位置を推定する際の精度を向上させることが可能になる。
【0188】
また、同様に、端末状態取得部1702からの情報についても、右手位置、左手位置の両方を記録しない方法を用いてもよいし、また、情報の表現に、画面左下を原点とする座標系を用いる方法以外の方法を用いても良い。例えば、液晶パネル303を中心とする座標系で表現しても良い。
【0189】
本実施の形態において、位置認識部402は、前述の偏向履歴蓄積部1803が管理する情報を用いる。このことで、先述の故障の場合などの、アイカメラ306a等によって、利用者の目の位置を認識できない場合にも、利用者の目の位置を推定し、3D表示の継続を可能にする。以下、具体的に、その際の処理について例示する。
【0190】
図22は、その際の処理の流れを示す図である。
【0191】
本実施の形態において、位置認識部402は、
図22のステップS201〜S204の処理を行うことで、利用者の目の位置の推定を行う。
【0192】
<ステップS201>
本ステップS201においては、2つのアイカメラ306a、306bが、利用者304の目を撮影した2つのデータを元に、画像判定部1801が、利用者304の目の位置の推定を行う。
図19に示されるように、アイカメラ306a、306bは、ステレオカメラとして構成されている。このため、2つのカメラからの2つの画像を比較することで、利用者304の、液晶表示装置1701からの距離、利用者304の右目304a、左目304bの2つの目の位置を特定することが可能になる。
【0193】
なお、こうして、このS201では、目の位置を推定する処理がされる。下記で詳しく説明されるように、この処理がされる場合としては、この処理が成功して、位置が推定される場合と、この処理が成功せずに、位置が推定されない場合とがある。
【0194】
<ステップS202>
本ステップS202では、前ステップにおいて、画像判定部1801が、利用者の目の位置を判定できたかどうか、すなわち、S201の処理に成功したか、成功しなかったかを判断する。
【0195】
ステレオのアイカメラ306a、306bからの入力画像に異常がない場合(S202のY)、画像判定部1801は、利用者の目の位置を推定することができる。このため、この場合には、その推定の結果を、偏向制御部403に通知する。
【0196】
反面、アイカメラの異常や、周辺光量の不足などで、アイカメラの撮影像から、利用者304の目の位置を推定できない場合(S202のN)には、画像判定部1801は、位置推定部1802に、目の位置の検出ができないことを通知し、ステップS203の処理を行う。
【0197】
<ステップS203>
本ステップS203では、位置推定部1802は、端末状態取得部1702から、現在の端末情報(
図20の情報1701b)を取得する。本実施の形態においては、利用者304が、端末状態取得部1702のタッチセンサに触れている位置に関する情報、および、液晶表示装置1701の、水平方向からの傾きに関する情報を取得する。
【0198】
端末状態取得部1702から情報を取得した後、位置推定部1802は、ステップS204の処理を実行する。
【0199】
<ステップS204>
本ステップでは、位置推定部1802が、前ステップで取得した、端末状態に関する情報を用いて、偏向履歴蓄積部1803が管理する情報を検索し、利用者304の目の位置を推定する。
【0200】
本実施の形態では、
図21に示す偏向履歴管理テーブルから、端末を現在利用している利用者304のユーザ名、および現在端末に触れている手の位置、端末傾斜の情報から、一致するか、もしくは最も近いものを検索する。
【0201】
前のステップS203によって取得した、端末状態に関する情報が、右手の位置が、(1000、500)であり、左手に関する情報はなしで、端末傾斜20度であり、利用者304のユーザ名が、ユーザ1であると示す場合が想定される。この場合、
図21の一行目のデータが、その情報に対応するデータに該当すると特定されて、利用される。
【0202】
本実施の形態では、ユーザ名の判定は、特定の方法に限定しないが、例えば、液晶表示端末1701を利用する際に、ユーザ名の入力を促し、その情報を用いる方法を用いてもよい。
【0203】
位置推定部1802は、選択した偏向履歴から、偏向に関する情報を抽出し(この場合は、右目に15度、左目に−15度偏向)、その情報を、偏向制御部403に通知する。
【0204】
以上の処理を実行することにより、アイカメラによる、利用者の目の位置の検出が正常に行われない場合(
図22のS202のN)においても、利用者の目の位置を推定し(S204)、表示を継続することが可能になる。
【0205】
なお、本実施の形態では、端末状態取得部1702は、タッチセンサと、傾きセンサとにより構成されていたが、別の状態を取得するためのセンサによって構成されていても良い。例えば、液晶パネル前面以外に、液晶表示装置1701の背面に、タッチセンサを備えてもよい。この場合、利用者が、液晶表示端末に触れている位置を、より正確に取得することが可能になる。
【0206】
なお、本実施の形態において、液晶表示装置1701は、利用者304が、光偏向部302の偏向角度を調節する部分を備えていても良い。例えば、その部分は、利用者304により操作される、スイッチ、ボタンなどの操作部でもよい。その操作がされることにより、偏向角度が調節されてもよい。この場合、利用者の目の位置の認識結果を補正し、クロストークのない3D表示を行うことが可能になる。また、利用者304による、光偏向部302の偏向角度の修正値を、偏向履歴蓄積部1803の情報に反映させることで、より正確に、利用者の目の位置を推定することが可能になる。
【0207】
(実施の形態3:単眼カメラ)
本実施の形態では、ステレオカメラではなく、単一のカメラによって、利用者の目の位置を検出可能な液晶表示装置2101(
図23など)の構成について示す。
【0208】
図23は、本実施の形態における液晶表示装置2101の構成図である。
【0209】
なお、実施の形態1と同一の構成要素については、同一の符号を用い、詳しい説明を適宜、省略する。
【0210】
本実施の形態において、液晶表示装置2101は、利用者304の目の位置を認識するために、アイカメラ2102を備える。実施の形態1、2と異なり、本実施の形態では、アイカメラ2102は、単体のカメラであり、ステレオカメラのように、それ単独で得られる1つの撮影像によっては、被写体の距離などを推定することは困難である反面、コストを削減することが可能になる。
【0211】
図24は、本実施の形態3での位置認識部402の機能ブロック図である。
【0212】
本実施の形態3において、表示制御部307は、実施の形態1と同様に、
図4に示す機能ブロックを有する。更に、本実施の形態3において、位置認識部402は、単体のカメラ2102を用いて、利用者304の目の位置を認識するために、
図24に示す機能ブロックを持つ。
【0213】
基準画像管理部2201は、単体カメラ2102によって、利用者の目の位置を推定するための基準画像の生成、および、管理を行う。本実施の形態3では、利用者304が初めて液晶表示装置2101を使用する際に、基準画像を生成するための表示を実施する。この表示の例を、
図25に示す。
【0214】
図25は、3D表示される像2301などを示す図である。
【0215】
利用者304は、この像2301が、最も視認しやすい視距離に、自身の頭の位置を調節し、確認ボタン2302を押す。
【0216】
確認ボタン2302は、液晶パネル303に表示された表示像であり、このボタンに対する入力は、液晶パネル303上に設けられたタッチセンサによって感知される。
【0217】
確認ボタン2302が押されると、基準画像管理部2201は、単体カメラ2102に通知を行い、この時の利用者304の顔写真を撮影し、そのデータを、基準画像として格納する。また、この時に、光偏向部302の偏向角度に関する情報も、合わせて記録する。
【0218】
図26は、基準画像管理部2201に記録される情報2201I(
図24)を示す図である。
【0219】
基準画像管理部2201に記録される情報2201Iは、基準画像および偏向角度情報を含む。これら基準画像等の例を、
図26の2401に示す。この例では、情報2201Iに、利用者304の顔画像が、大きさD1で記録されている。また、液晶パネル303の中央の画素を照明する照明光305を、利用者の右目に入射するために必要な偏向角度αが、偏向角度情報として記録されている。基準画像管理部2201は、これらの、顔画像の大きさD1および偏向角度情報αから、利用者304と、液晶表示装置2101との間の基準画像視距離L1を、数式「L1= D1 / (2 × tan α) 」(数1)を用いて計算する。
【0220】
基準画像比較部2202は、実際の3D映像の表示において、単体カメラ2102の撮影像と、基準画像管理部2201が保持する、基準画像および偏向角度情報から、利用者304の目の位置を推定する。そして、基準画像比較部2202は、推定される位置に応じて、光偏向部302が光を偏向する角度を制御する。
【0221】
図27は、単体カメラ2102が撮影した、利用者304の撮影像の例(画像2402)を示す図である。
【0222】
この例では、
図26の基準画像を撮影した時よりも、利用者304が、液晶表示装置2101に近付いている。このため、撮影像内の顔のサイズD2が、基準画像における顔のサイズD1よりも大きくなっている。
【0223】
基準画像比較部2202は、これらの、サイズD1、D2、および、偏向角度情報α、基準画像視距離L1を用いて、現在の位置における利用者304の目に光を入射させるための偏向角度βの計算を行う。
【0224】
本実施の形態3の計算においては、数式「β = arctan( (D2 × tanα) / D1)」(数2)の計算式を用いることで、偏向角度βの算出が行われる。
【0225】
基準画像比較部2202は、算出した偏向角度βの値を、偏向制御部403に通知する。
【0226】
偏向角度βは、液晶パネル中央の画素の光を、利用者の目に偏向するために必要な偏向角度である。このため、この情報を用いることで、液晶パネル303上の各画素の光が、利用者304の目に入射するように、光を偏向することが可能になる。
【0227】
なお、本実施の形態においては、基準画像撮影時よりも、利用者が液晶表示装置2101に近づいた場合の例を示した。一方、利用者が、液晶表示装置2101から遠ざかった場合においても、同様の計算を行うことで、利用者の目の位置を判定することが可能になる。また、基準画像における、利用者の頭の位置と、現在の単体カメラによる、利用者の撮影像における頭の左右の位置のズレを計算することで、より正確に、利用者の目の位置を特定することが可能になる。
【0228】
また、本実施の形態では、基準画像として、利用者304の顔画像を使用したが、基準画像としては、他のデータを利用しても良い。例えば、両目の画像を利用してもよいし、利用者に眼鏡を着用させることで、眼鏡の画像を、基準画像として利用しても良い。この場合、顔画像を扱うデータの量を削減することが可能になる。
【0229】
(実施の形態4:レーザ安全性)
本実施の形態では、利用者の安全性を高めることが可能な液晶表示装置の構成について示す。
【0230】
図28は、本実施の形態における液晶表示装置2601の構成図である。
【0231】
なお、実施の形態1と同一の構成要素については、同一の符号を用い、詳しい説明を適宜省略する。
【0232】
本実施の形態において、光源301は、レーザ光源と、導光板とを組み合わせることにより、光偏向部302に均一に入射する照明光305を形成する。
【0233】
出力判定部2602は、照明光305の強度を測定するために、光偏向部302と、液晶パネル303の間に形成されている。
【0234】
図29は、実施の形態4における、表示制御部307の構成などを示す図である。 本実施の形態4において、表示制御部307は、実施の形態1と同様に、
図4に示す機能ブロックを有する。
【0235】
更に、本実施の形態において、表示方法判定部401は、出力判定部2602からのデータを取得する。照明光305の強度が、一定値以上で、強過ぎる場合が想定される。この場合には、強過ぎる光が、利用者304の目に入らないように、表示方法判定部401は、偏向制御部403に対して通知を行う。この時、偏向制御部403は、照明光305を、利用者の目に入らない、利用者の目への方向以外の他の方向へと偏向する。このことで、利用者が強い光を視認することを防止する。
【0236】
なお、本実施の形態では、出力判定部2602は、光偏向部302と、液晶パネル303との間に設置されているが、他の場所に設置しても良い。例えば、光源301と、光偏向部302との間に設置しても良い。この場合、より正確に、光源からの光の強さを測定することが可能になる。
【0237】
また、以下のような動作が行われてもよい。
【0238】
図30は、ユーザを特定する第1方法の例を示す図である。
【0239】
図30では、液晶表示装置(例えば液晶表示装置300)の液晶パネルの表示面の画面中心を通る、その表示面に垂直な直線2903が示される。なお、この直線2903は、単なる、説明の便宜上、
図30に示されるだけのものであり、液晶表示装置300の構成要素などではない。
【0240】
図30に示される、左右の二人のユーザ2901、2902は、画面中心の直線2903に対して、より近い方のユーザ2901と、より遠い方のユーザ2902とである。
【0241】
つまり、ユーザ判定部502は、位置が認識されたユーザが、より近い方のユーザ2901であるか、より遠い方のユーザ2902であるかを特定してもよい。
【0242】
偏向制御部403は、より近い方のユーザ2901と特定される場合には、そのユーザを、装置利用者であると判断してもよい。つまり、偏向制御部403は、この場合には、認識された、そのユーザの位置へと、光105を偏向させてもよい。 一方で、偏向制御部403は、より遠いユーザ2902と特定される場合には、装置利用者ではないと判断してもよい。つまり、偏向制御部403は、この場合には、そのユーザ2902の位置に、光105を偏向させなくてもよい。
【0243】
図31は、ユーザを特定する第2方法の例を示す図である。
【0244】
図31では、左右の二人のユーザ3001、3002として、画面中心の直線2903からの距離が互いに同じである二人のユーザがいる場合が示される。
【0245】
一方、液晶表示装置300からの視距離がある。
図31では、適切な視距離の範囲3003が示される。
【0246】
ユーザ判定部502は、位置が認識されたユーザが、この範囲3003内の視距離の位置にいるユーザ3001であるか、この範囲3003内ではない視距離の位置にいるユーザ3002であるかを特定してもよい。
【0247】
偏向制御部4003は、この範囲3003内のユーザ3001と判断される場合には、そのユーザを装置利用者と判断し、この範囲3003内でないユーザ3002と判断される場合には、装置利用者と判断しなくてもよい。
【0248】
なお、範囲3003内の視距離のユーザ3001として、複数のユーザがいる場合も考えられる。この場合には、液晶表示装置300までの視距離が、より短い視距離である、液晶表示装置300により近い方のユーザの位置に対して、光105が偏向され、より遠い方のユーザの位置には偏向されなくてもよい。これにより、より近い方のユーザに対してのみ、画像の表示が行われ、より遠い方のユーザに対しては、画像の表示がされなくてもよい。
【0249】
図32は、ユーザを特定する第3方法の例を示す図である。
【0250】
図32では、互いに異なる二つの方向から、液晶表示装置300の画面を見る二人のユーザ3101、3102がいる場合が示される。
【0251】
つまり、
図32では、所定の方向3101dが示される。この方向3101dは、液晶表示装置300の表示面305qに対して、所定の平面が交わる直線の方向である。
【0252】
この所定の平面は、偏向後の方向の光305eが通り、かつ、表示面305qに対して垂直な平面である。
【0253】
ユーザ3101における、一方の目から他方の目への方向は、この方向3101dと同一(略同一)である。
【0254】
他方、ユーザ3102における、一方の目から他方の目への方向は、この方向3101dと同一(略同一)ではない。
【0255】
このため、ユーザ3101については、光105を左右の目に偏向可能であるものの、ユーザ3102については、偏向可能ではない。
【0256】
そこで、位置が認識されたユーザが、偏向可能なユーザ3101であるか、偏向可能ではないユーザ3102であるかが特定されてもよい。
【0257】
偏向可能なユーザ3101と特定された場合、そのユーザが装置利用者として選択され、偏向可能でないユーザ3102と特定された場合、装置利用者として選択されなくてもよい。
【0258】
図33は、ユーザを特定する第3方法の例を示す図である。
【0259】
この例は、液晶表示装置300が、テーブルなどに置かれる場合についてのものである。
【0260】
図33の二人のユーザ3201、3202は、液晶表示装置の上方向(例えば、
図33の左側の方向)からのぞき込んでいるユーザと、下方向(例えば、右側の方向)からのぞき込んでいるユーザとである。このような二人のユーザ3201、3202がいる場合などでは、次の動作がされてもよい。
【0261】
つまり、液晶表示装置300の視野角3203がある。上述の二人のユーザ3201、3202は、例えば、この視野角3203内に視点がある、目の位置が、視野角3203内であるユーザ3201と、この視野角3203内に視点がない、目の位置が、視野角3203内ではないユーザ3202とである。
【0262】
位置が認識されたユーザが、視野角3203内のユーザ3201であるか、視野角3203内でないユーザ3202であるかが特定されてもよい。
【0263】
視野角3203内のユーザ3201と特定された場合に、そのユーザが装置利用者とみなされて、そのユーザに対応する表示が行われてもよい。つまり、視野角3203内でないユーザ3202と特定された場合には、装置利用者とみなされず、そのユーザへの表示が行われなくてもよい。
【0264】
なお、視野角3203内の視点のユーザ3201として、複数のユーザがいることも考えられる。このような、視野角3203内の視点の複数のユーザがいる場合には、画面(液晶パネル303)の中心軸3204に対して、より近い方のユーザを装置利用者とみなして、そのユーザに対しては表示を行ってもよい。つまり、より遠い方のユーザは、装置利用者とみなされず、そのユーザには表示がされなくてもよい。
【0265】
水平方向の判定方法の技術(
図30、31、32)と、垂直方向の判定方法の技術(
図33)を組み合わせて、装置利用者の判定を行なっても良い。
【0266】
なお、これまでに説明した実施の形態は一例であって、本発明の趣旨を逸脱しない範囲で、さまざまな形態を採りうる。
【0267】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0268】
なお、例えば、光を出力する光源と、出力された前記光の方向を、表示装置の利用者の目の位置の方向へ偏向する光偏向部と、前記光偏向部からの出射光を受けて画像を形成する表示部とを備える前記表示装置に設けられる集積回路であって、前記利用者の前記目の位置を認識する位置認識部と、前記利用者が、複数の人物のうちの何れの人物かを特定する特定部と、特定された前記人物に応じて、前記光偏向部が前記光を偏向する方向を制御する制御部とを備える集積回路が用いられてもよい。
【0269】
また、上記各実施の形態の表示装置などを実現するためのプログラムは、例えば、光を出力する光源と、出力された前記光の方向を、表示装置の利用者の目の位置の方向へ偏向する光偏向部と、前記光偏向部からの出射光を受けて画像を形成する表示部とを備える前記表示装置であるコンピュータに、前記利用者の前記目の位置を認識する位置認識ステップと、前記利用者が、複数の人物のうちの何れの人物かを特定する特定ステップと、特定された前記人物に応じて、前記光偏向
部で前記光が偏向される方向を制御する制御ステップとを実行させるためのプログラムなどである。