(58)【調査した分野】(Int.Cl.,DB名)
前記光学系は、前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射することを特徴とする請求項1から10のいずれか一項記載の画像投影装置。
前記投射部は、前記画像用光線が入射する第1領域と、前記第1領域とは光学的に不連続であり、前記検査用光線が入射する第2領域と、を有することを特徴とする請求項14記載の画像投影装置。
【発明を実施するための形態】
【0023】
以下、図面を参照しつつ、本発明の実施例について説明する。
【実施例1】
【0024】
図1は、実施例1に係る画像投影装置100を上方から見た図である。
図2は、
図1の投射部16近傍を拡大した図である。なお、実施例1の画像投影装置100は、ユーザに画像を視認させるための画像用光線が当該ユーザの眼球36の網膜38に直接投射される、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。
【0025】
実施例1の画像投影装置100は、
図1のように、光源12、第1ミラー14、投射部16、光検出器18、及び制御部20を備える。光源12は、メガネ型フレームのツル30に配置されている。光源12は、制御部20の指示の下、例えば単一又は複数の波長の光線34を出射する。この光線34には、ユーザの眼球36の網膜38に画像を投影するための画像用光線と、ユーザの眼球36の瞳孔40の位置及びユーザの瞼の開閉の少なくとも一方を検出するための検査用光線と、が含まれる。検査用光線は、画像用光線と同じ光源12から出射されることから、画像用光線と同じく可視光である。光源12は、例えば赤色レーザ光(波長:610nm〜660nm程度)、緑色レーザ光(波長:515nm〜540nm程度)、及び青色レーザ光(波長:440nm〜480nm程度)を出射する。赤色、緑色、及び青色レーザ光を出射する光源12として、例えばRGB(赤・緑・青)それぞれのレーザダイオードチップと3色合成デバイスとマイクロコリメートレンズとが集積された光源が挙げられる。
【0026】
第1ミラー14は、メガネ型フレームのツル30に配置されている。第1ミラー14は、光源12から出射された画像用光線を、水平方向及び垂直方向に走査する。また、第1ミラー14は、光源12から出射された検査用光線を反射する。第1ミラー14は、例えばMEMS(Micro Electro Mechanical System)ミラーである。なお、光源12から出射された光線34は、例えば第2ミラー15及び第3ミラー17で反射されて、第1ミラー14に入射する。
【0027】
ここで、画像用光線と検査用光線とについて説明する。第1ミラー14によって画像用光線を走査して網膜38に画像を投影する方法として、画像の左上から右下まで光を高速に走査して画像を表示する方法(例えばラスタースキャン)がある。
図3(a)は、第1ミラー14の振動、画像用光線、及び検査用光線を説明する図である。
図3(a)のように、第1ミラー14は、画像用光線34aを走査するために、網膜38に投影する画像の範囲(
図3(a)の破線範囲)よりも大きく、水平方向(第1方向)と垂直方向(第1方向に交差する第2方向)とに振動する。第1ミラー14の振動を符号50で示している。
【0028】
第1ミラー14が大きく振れた箇所で画像用光線34aを走査して網膜38に画像を投影する場合、画像の歪みが大きくなることから、画像用光線34aは、第1ミラー14の振れが小さい箇所で走査される。一方、検査用光線34bは、第1ミラー14の振動50のうち、画像用光線34aが走査されないタイミングで、第1ミラー14に入射する。言い換えると、光源12は、第1ミラー14の振動50において、網膜38に投影する画像の範囲に相当する期間では画像用光線34aを第1ミラー14に出射し、画像の範囲外の時間において検査用光線34bを第1ミラー14に出射する。
図3(b)は、第1ミラー14が
図3(a)の点Aから点Bまで振動した場合における画像用光線34aと検査用光線34bの光源12からの出射タイミングを説明する図である。なお、検査用光線34bの光強度は、画像用光線34aと同じであってもよいし、異なっていてもよい。検査用光線34bの光強度は、後述する光検出器18で反射光46が検出できる程度の光強度であればよい。
【0029】
第1ミラー14には、1又は複数の検査用光線34bが入射される。
図3(a)及び
図3(b)では、6つの検査用光線34bが第1ミラー14に入射される場合を例に示している。検査用光線34bは、単一波長の光線でよく、網膜38に投影する画像の1画素又は数画素相当の光線でよい。なお、
図3(a)では、画像用光線34aは矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。
【0030】
図1及び
図2のように、第1ミラー14で走査された画像用光線34a及び第1ミラー14で反射された検査用光線34bは、第4ミラー44によって、メガネ型フレームのレンズ32に向かって反射される。投射部16が、レンズ32の眼球36側の面に配置されているため、第1ミラー14で走査された画像用光線34a及び第1ミラー14で反射された検査用光線34bは、投射部16に入射する。投射部16は、画像用光線34aが入射される第1領域16aでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投射部16に入射された画像用光線34aは、眼球36の瞳孔40近傍で収束した後に網膜38に投射される。よって、ユーザは、画像用光線34aで形成される画像を認識することができると共に、外界像をシースルーで視認することができる。一方、投射部16は、検査用光線34bが入射される第2領域16bでは、第1領域16aと光学的に不連続な形状をしたハーフミラーとなっている。これにより、検査用光線34bは、画像用光線34aが瞳孔40を通過して網膜38に投射される場合に、眼球36の虹彩42に投射される。このように、画像用光線34aが投射される眼球36の表面領域を第1表面領域36aとした場合に、検査用光線34bは、眼球36の第1表面領域36aから離れた第2表面領域36bに投射される。
【0031】
図4は、画像用光線34aと検査用光線34bの眼球36への投射について説明する図である。
図4のように、検査用光線34bは、画像用光線34aが瞳孔40の中心近傍を通過して網膜38に投射される場合に、虹彩42に投射される。投射部16の第2領域16bが第1領域16aに光学的に不連続となっているため、画像用光線34aが瞳孔40を通過して網膜38に投射されつつ、検査用光線34bが虹彩42に投射されることが可能となる。また、画像用光線34aと検査用光線34bは、第1ミラー14の振動に対して所定のタイミングで光源12から出射される。すなわち、画像用光線34aと検査用光線34bの相対的な出射タイミングは固定されている。このため、画像用光線34aと検査用光線34bは、相対的な位置関係が固定されて、眼球36に投射される。また、
図3(a)のように、複数の検査用光線34bは、第1ミラー14の振動50の異なる位置で反射された光であることから、虹彩42の異なる位置に異なる時間(異なるタイミング)で投射される。すなわち、複数の検査用光線34bは、虹彩42の異なる位置に順々に投射される。
【0032】
図1及び
図2のように、光検出器18が、レンズ32のフレームに配置されている。光検出器18は、例えばフォトディテクタである。光検出器18は、検査用光線34bが虹彩42で反射した反射光46を検出する。
図5は、制御部20が光検出器18を用いて反射光46を検出する検出タイミングを説明する図である。
図5のように、制御部20は、光源12から検査用光線34bを出射させたタイミングで、光検出器18を用いて反射光46の検出を行う。これにより、複数の検査用光線34bのうちのどの検査用光線34bの反射光46が検出されていないかが分かる。なお、光検出器18の性能などを考慮し、反射光46の検出の時間に幅を持たせてもよい。
【0033】
なお、
図1及び
図2では、光検出器18が、レンズ32の中央近傍に配置された場合を例に示したが、反射光46を検出できる場所であれば、例えばレンズ32のツル30近傍や鼻パッド(不図示)近傍などに配置されてもよい。なお、複数の検査用光線34bが虹彩42に投射される場合であっても、上述したように、複数の検査用光線34bは虹彩42に順々に投射されることから、1つの光検出器18で複数の検査用光線34bの反射光46を検出することができる。
【0034】
制御部20は、外部装置(例えば携帯端末など)に設けられている。制御部20は、CPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)などを備え、ROMに記憶されたプログラムに従って、画像投影装置100を制御する。制御部20は、入力された画像データに基づく画像用光線34aと、瞳孔40の位置及び瞼の開閉の少なくとも一方を検出するための検査用光線34bと、を光源12から出射させる。また、制御部20は、光検出器18での検出結果に基づいて、光源12及び第1ミラー14などを含む光学系の少なくとも一方を制御する。例えば、制御部20は、光源12からの画像用光線34a及び/又は検査用光線34bを含む光線の出射を制御する。例えば、制御部20は、位置調整部22を駆動させて第1ミラー14の位置を移動させると共に、第1ミラー14の移動に合わせて第3ミラー17と第4ミラー44の位置を移動させる制御を行う。
【0035】
ここで、
図6(a)から
図6(c)を用いて、光検出器18を用いた反射光46の検出について説明する。
図6(a)は、画像用光線34aが瞳孔40を通過し、検査用光線34bが虹彩42に投射される場合を示す図である。
図6(b)は、眼球36が回転したことで、検査用光線34bの一部が瞳孔40を通過して網膜38に投射される場合を示す図である。
図6(c)は、瞼37が閉じたことで、検査用光線34bが瞼37に投射される場合を示す図である。
【0036】
図6(a)のように、検査用光線34bが虹彩42に投射された場合は比較的大きな反射光46が生じる。一方、
図6(b)のように、眼球36の回転によって検査用光線34bが瞳孔40を通過して網膜38に投射された場合や、
図6(c)のように、瞼37が閉じることで検査用光線34bが瞼37に投射された場合は、反射光46が生じ難い。つまり、
図6(a)の場合には、光検出器18は比較的大きな反射光46を検出するが、
図6(b)及び
図6(c)の場合には、光検出器18は反射光46を検出しないことが起こる。したがって、ユーザが眼球36を動かした場合には、光検出器18は複数の検査用光線34bのうちの一部の検査用光線34bの反射光46を検出しなくなる。ユーザが瞼37を閉じた場合には、光検出器18は、複数の検査用光線34bの全ての反射光46を検出しなくなる。なお、上述の記載から明らかなように、光検出器18が反射光46を検出しないとは、所定値以上の大きさの反射光46を検出しないことをいう。
【0037】
図7は、実施例1に係る画像投影装置100の制御部20の処理の一例を示すフローチャートである。
図7のように、制御部20は、ステップS10において、入力された画像データに基づき、画像用光線34aを光源12から出射させ、且つ画像用光線34aの出射に伴い、複数の検査用光線34bを光源12から出射させる。
図4で説明したように、複数の検査用光線34bは、虹彩42の異なる位置に異なる時間で投射される。
【0038】
次いで、ステップS12に移行し、制御部20は、光検出器18が複数の検査用光線34bが虹彩42に投射された互いに異なる時間において反射光46を検出したか否かを判断する。すなわち、
図5で説明したように、制御部20は、光源12から複数の検査用光線34bを出射させた時間毎において、複数の検査用光線34bの反射光46を検出したか否かを判断する。例えば、ユーザが眼球36を動かした場合や瞼37を閉じた場合に、光検出器18は複数の検査用光線34bのうちの少なくとも一部の検査用光線34bの反射光46を検出しなくなる。
【0039】
光検出器18が複数の検査用光線34bのうちの少なくとも一部の検査用光線34bの反射光46を検出しない場合(ステップS12:No)、制御部20は、ステップS14に移行して、光源12及び第1ミラー14などを含む光学系の少なくとも一方を制御する。光源12の制御として、例えば、画像用光線34aにより形成される画像の内容の制御(例えば再生、停止、一時停止、又は異なる画像へ切り替え)、第1ミラー14の振動50における画像用光線34a及び検査用光線34bの少なくとも一方の入射位置の変更、検査用光線34bの個数の変更、画像用光線34a及び検査用光線34bの少なくとも一方の色や明るさの変更などが挙げられる。光学系の制御として、例えば、第1ミラー14、第2ミラー15、第3ミラー17、第4ミラー44、及び投射部16の少なくとも1つの位置の移動などが挙げられる。これら光学系部品の位置を移動させることで、画像用光線34a及び検査用光線34bが眼球36に照射される位置を移動させたり、画像用光線34a及び検査用光線34bの焦点位置を移動させたりしてもよい。その後、ステップS16に移行する。一方、光検出器18が複数の検査用光線34bの全ての反射光46を検出している場合(ステップS12:Yes)、制御部20は、ステップS14を行わずに、ステップS16に移行する。
【0040】
ステップS16では、制御部20は、画像の投影が終了したか否かを判断する。画像の投影が終了していない場合、すなわち、画像用光線34aと検査用光線34bが光源12から出射されている場合は、ステップS16の判断は否定されて、ステップS12に戻る。制御部20は、画像の投影が終了するまで、ステップS12からS16の処理を繰り返す。一方、画像の投影が終了した場合(ステップS16:Yes)、制御部20は、
図7の処理を終了する。
【0041】
以上のように、実施例1によれば、1つの光源12から画像用光線34aと検査用光線34bが出射される。検査用光線34bは、画像用光線34aが瞳孔40を通過して網膜38に投射される場合に、虹彩42に投射される。そして、制御部20は、光検出器18による検査用光線34bの反射光46の検出結果に基づき、光源12及び第1ミラー14などを含む光学系の少なくとも一方を制御する。これにより、ユーザが画像を視認しているときに光源12や光学系を制御できる画像投影装置を小型化することができる。
【0042】
また、実施例1によれば、
図3(a)及び
図3(b)のように、第1ミラー14は、水平方向と垂直方向に、ユーザの網膜38に投影する画像の範囲よりも大きく振動する。光源12は、第1ミラー14の振動における画像の範囲に相当する期間において画像用光線34aを第1ミラー14に出射し、画像の範囲外の時間において検査用光線34bを第1ミラー14に出射する。これにより、第1ミラー14の振動を有効に利用して、画像用光線34aの走査と検査用光線34bの反射とを行うことができる。
【0043】
また、実施例1によれば、
図2のように、投射部16は、画像用光線34aが入射する第1領域16aと、第1領域16aとは光学的に不連続であり、検査用光線34bが入射する第2領域16bと、を有する。これにより、画像用光線34aが瞳孔40を通過して網膜38に投射されつつ、検査用光線34bが虹彩42に投射されることを容易に実現できる。
【0044】
なお、実施例1では、画像用光線34aが瞳孔40を通過して網膜38に投射される場合に検査用光線34bが虹彩42に投射される位置関係で、画像用光線34aと検査用光線34bが眼球36に投射される場合を例に示したが、この場合に限られるわけではない。検査用光線34bが眼球36に投射される第2表面領域36bが、画像用光線34aが眼球36に投射される第1表面領域36aから離れた位置関係であればその他の場合でもよい。しかしながら、検査用光線34bが虹彩42に投射された場合は比較的大きな反射光46が生じることから、画像用光線34aが瞳孔40を通過して網膜38に投射される場合に、検査用光線34bは虹彩42に投射される場合が好ましい。
【0045】
なお、実施例1では、複数の検査用光線34bが眼球36に投射される場合を例に示したが、これに限られず、1つの検査用光線34bが眼球36に投射される場合でもよい。
【実施例2】
【0046】
ユーザの網膜に画像を直接投影する画像投影装置では、画像用光線が瞳孔を通過しないと網膜に画像が投影されず、ユーザは画像を視ることができない。このことを、
図8(a)から
図8(c)を用いて説明する。
図8(a)から
図8(c)は、眼球36の動きに対する画像用光線34aの網膜38への投射を説明する図である。
図8(a)は、眼球36が正面を向いている場合、
図8(b)は、眼球36が正面から左側を向いた場合、
図8(c)は、眼球36がさらに左側を向いた場合を示している。
【0047】
図8(a)のように、眼球36が正面を向いている場合に、画像用光線34aが瞳孔40の中心近傍で収束して網膜38に投射されるとする。この場合、
図8(b)のように、眼球36が左側を向くと、画像用光線34aは瞳孔40の端近傍で収束して網膜38に投射されるようになる。
図8(c)のように、眼球36がさらに左側を向くと、画像用光線34aは瞳孔40を通過できずに網膜38に投射されなくなる。
【0048】
このように、眼球36が動くことで、画像用光線34aが瞳孔40を通過しないことが起こり得る。例えば、瞳の位置や眼球の回転方向の動きなどは個人差があることから、ユーザによっては画像用光線34aが瞳孔40を通過しないことが起こり得る。そこで、実施例2では、光検出器18による検査用光線34bの反射光46の検出結果に基づいて光学系を制御することで、ユーザの網膜に画像が投影されないことが抑制される画像投影装置を説明する。
【0049】
図6(a)及び
図6(b)で説明したように、検査用光線34bが虹彩42に投射された場合は比較的大きな反射光46が生じるが、眼球36の回転などによって検査用光線34bが瞳孔40を通過して網膜38に投射された場合は反射光46が生じ難い。検査用光線34bが瞳孔40を通過して網膜38に投射される場合は、画像用光線34aは、瞳孔40の端近傍を通過するか又は瞳孔40を通過できていないなど、画像の欠落が懸念される状態にあることが想定される。したがって、実施例2では、光検出器18が反射光46を検出できない場合は、画像の欠落が懸念される状態にあることが想定されるため、画像の欠落を抑える制御を行う。
【0050】
実施例2に係る画像投影装置200は、実施例1の
図1と同一又は同等であるため説明を省略する。上述したように、制御部20は、光検出器18による検査用光線34bの反射光46の検出結果に基づいて、位置調整部22を駆動させて第1ミラー14の位置を移動させると共に、第1ミラー14の移動に合わせて第3ミラー17と第4ミラー44の位置を移動させる。これにより、画像用光線34aの走査の原点を移動させることができる。画像用光線34aの走査の原点が移動することで、画像用光線34a及び検査用光線34bの眼球36への投射位置を移動させることができる。このことについて、
図9(a)から
図10を用いて説明する。
【0051】
図9(a)から
図10は、画像用光線34aと検査用光線34bの眼球36への投射位置の変化を説明する図である。なお、
図10は、
図9(a)と
図9(b)を合わせた状態を図示していて、
図9(a)の状態を点線で、
図9(b)の状態を実線で示している。
【0052】
図9(a)及び
図10の点線は、画像用光線34aが瞳孔40の中心近傍を通過する場合を示している。
図9(a)及び
図10の点線の状態から、
図9(b)及び
図10の実線のように、位置調整部22を駆動させて第1ミラー14の位置を移動させると共に、第1ミラー14の移動に合わせて第3ミラー17及び第4ミラー44の位置を移動させることで、画像用光線34aの走査の原点がOからO´に移動する。なお、走査の原点が移動しても、網膜38に投影される画像の中央部に対応する画像用光線34aの投射部16への入射位置はほとんど変化しないようにする。これは、網膜38に投影される画像の品質の劣化や、検査用光線34bの投射部16への入射位置の変化などを抑制するためである。
【0053】
このような画像用光線34aの走査の原点の移動によって、画像用光線34a及び検査用光線34bの投射部16への入射角度が変化し、その結果、画像用光線34a及び検査用光線34bの眼球36への投射位置が移動する。画像用光線34aと検査用光線34bは、互いの眼球36への投射位置の相対的な位置関係は固定されたまま連動して移動する。例えば、
図9(a)及び
図10の点線のように、画像用光線34aが瞳孔40の中心近傍を通過していた状態から、
図9(b)及び
図10の実線のように、画像用光線34aが瞳孔40の中心よりも端側を通過する状態に変化する。このように、位置調整部22によって第1ミラー14の位置を移動させると共に、第1ミラー14の移動に合わせて第3ミラー17及び第4ミラー44の位置を移動させて、画像用光線34aの走査の原点を移動させることで、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させることができる。なお、第1ミラー14などは円弧状に移動する場合が好ましいが、
図10の矢印方向及び
図10の紙面に垂直方向(前記矢印に垂直方向)に直線状に移動する場合でもよい。この場合、位置調整部22として、2軸方向への移動を可能とする2軸アクチュエータ(例えば超音波アクチュエータ)を用いることができる。
【0054】
図11は、実施例2に係る画像投影装置200の制御部20の処理の一例を示すフローチャートである。
図12(a)から
図12(c)は、
図11の処理によって画像の欠落を抑制できることを説明する図である。
図11のように、制御部20は、ステップS20において、入力された画像データに基づき、画像用光線34aを光源12から出射させ、且つ画像用光線34aの出射に伴い、複数の検査用光線34bを光源12から出射させる。
図4で説明したように、複数の検査用光線34bは、虹彩42の異なる位置に異なる時間で投射される。
【0055】
次いで、ステップS22に移行し、制御部20は、光検出器18が複数の検査用光線34bが虹彩42に投射された互いに異なる時間において反射光46を検出したか否かを判断する。すなわち、
図5で説明したように、制御部20は、光源12から複数の検査用光線34bを出射させた時間毎において、複数の検査用光線34bの反射光46を光検出器18が検出したか否かを判断する。光検出器18が複数の検査用光線34bの全ての反射光46を検出している場合、
図12(a)のように、複数の検査用光線34bの全てが虹彩42に入射し、画像用光線34aが瞳孔40の中心近傍を通過していると想定される。したがって、光検出器18が複数の検査用光線34bの全ての反射光46を検出している場合は、画像用光線34aの眼球36への投射位置の調整は行わなくてよいため、ステップS22の判断は肯定されて、ステップS28に移行する。
【0056】
一方、光検出器18が複数の検査用光線34bのうちの少なくとも1つの反射光46を検出していない場合、
図10(b)のように、少なくとも1つの検査用光線34bは虹彩42に入射せずに瞳孔40を通過し、画像用光線34aは瞳孔40の端近傍を通過していることなどが想定される。すなわち、画像の欠落が懸念される状態にあることが想定される。したがって、光検出器18が複数の検査用光線34bのうちの少なくとも1つの反射光46を検出していない場合は(ステップS22:No)、画像用光線34aの眼球36への投射位置の調整を行うために、ステップS24に移行する。
【0057】
ステップS24では、制御部20は、位置調整部22を駆動させて第1ミラー14の位置を移動させると共に、第1ミラー14の移動に合わせて第3ミラー17及び第4ミラー44の位置を移動させることで、画像用光線34aの走査の原点を移動させる。
図9(a)から
図10で説明したように、画像用光線34aの走査の原点を移動させることで、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させることができる。この際、制御部20は、画像用光線34aの投射位置が、光検出器18で検出されていない反射光46に対応する検査用光線34bの投射位置の方向に移動するように、画像用光線34aの走査の原点を移動させる。
【0058】
次いで、ステップS26では、制御部20は、光検出器18が複数の検査用光線34bの全ての反射光46を検出するようになったか否かを判断する。光検出器18が複数の検査用光線34bのうちの少なくとも1つの反射光46を未だ検出していない場合は(ステップS26:No)、ステップS24に戻る。制御部20は、光検出器18が複数の検査用光線34bの全ての反射光46を検出するまで、ステップS24とS26の処理を繰り返す。
【0059】
一方、光検出器18が複数の検査用光線34bの全ての反射光46を検出するようになった場合は、
図12(c)のように、複数の検査用光線34bの全てが虹彩42に入射し、画像用光線34aが瞳孔40の中心近傍を通過していることが想定される。したがって、光検出器18が複数の検査用光線34bの全ての反射光46を検出するようになった場合は(ステップS26:Yes)、画像用光線34aの眼球36への投射位置の調整を終了して、ステップS28に移行する。
【0060】
ステップS28では、制御部20は、実施例1の
図7のステップS16と同一又は同等の処理を行う。
【0061】
以上のように、実施例2によれば、制御部20は、光検出器18が検査用光線34bの反射光46を検出しない場合に、光検出器18が反射光46を検出するように、光学系を制御して画像用光線34aを検査用光線34bの眼球36への投射位置を連動して移動させる。これにより、画像用光線34aが瞳孔40を通過しないことを抑制でき、その結果、網膜38に画像が投影されないことを抑制できる。
【0062】
また、画像用光線34aが瞳孔40を通過しないことを抑制する観点から、制御部20は、画像用光線34aと検査用光線34bの眼球36への投射位置の相対的な位置関係は固定して、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させることが好ましい。なお、画像用光線34aと検査用光線34bの眼球36への投射位置の相対的な位置関係が多少ずれる場合でも、画像用光線34aと検査用光線34bの眼球36への投射位置が連動して移動する場合であればよい。
【0063】
また、実施例2によれば、制御部20は、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させることを、第1ミラー14の位置を移動させて画像用光線34aの走査の原点を移動させることで行っている。これにより、画像用光線34aと検査用光線34bの投射位置を容易に連動して移動させることができる。
【0064】
また、実施例2によれば、複数の検査用光線34bは、虹彩42の異なる位置に異なる時間で投射される。制御部20は、光検出器18が異なる時間に複数の検査用光線34bの反射光46を検出したか否かに基づいて、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させる。これにより、画像用光線34aが瞳孔40を通過しなくなることを効果的に抑制できる。
【0065】
また、実施例2によれば、制御部20は、光検出器18が複数の検査用光線34bの反射光46のうちの少なくとも1つの反射光46を検出しない場合、画像用光線34aの投射位置が、検出されない反射光46に対応する検査用光線34bの投射位置の方向に移動するように、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させる。これにより、画像用光線34aの投射位置を効率的に瞳孔40に合わせることができる。
【0066】
図13は、実施例2の変形例1に係る画像投影装置210を上方から見た図である。実施例2の変形例1の画像投影装置210は、
図13のように、光源12、第1ミラー14、第2ミラー15、第3ミラー17、第4ミラー44、及び投射部16が1つの筐体60内に設けられている。位置調整部22は、例えばメガネ型フレームのレンズ32に設けられていて、筐体60の位置を移動させる。位置調整部22は、筐体60を眼球36に対して左右方向および上下方向に移動させる。その他の構成は、実施例1の
図1と同一又は同等であるため説明を省略する。
【0067】
図14(a)及び
図14(b)は、実施例2の変形例1に係る画像投影装置210の場合における、画像用光線34aと検査用光線34bの眼球36への投射位置の変化を説明する図である。
図14(a)は、画像用光線34aが瞳孔40の中心近傍を通過する場合を示している。
図14(a)の状態から、
図14(b)のように、位置調整部22を駆動させて筐体60の位置を移動させることで、画像用光線34a及び検査用光線34bの眼球36への投射位置を移動させることができる。このように、位置調整部22によって筐体60の位置を移動(すなわち、光源12、第1ミラー14、及び投射部16を一体で移動)させることで、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させることができる。
【0068】
図15は、実施例2の変形例1に係る画像投影装置210の制御部20の処理の一例を示すフローチャートである。
図15のように、制御部20は、ステップS30、S32において、実施例2の
図11のステップS20、S22と同一又は同等の処理を行う。
【0069】
次いで、ステップS34では、制御部20は、位置調整部22を駆動させて筐体60の位置を移動させる。
図14(a)及び
図14(b)で説明したように、筐体60の位置を移動させることで、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させることができる。その後、ステップS36、S38において、制御部20は、実施例2の
図11のステップS26、S28と同一又は同等の処理を行う。
【0070】
以上のように、実施例2の変形例1によれば、制御部20は、光源12、第1ミラー14、及び投射部16を一体で移動させることで、画像用光線34aと検査用光線34bの眼球36への投射位置を連動して移動させている。このような場合でも、画像用光線34aが瞳孔40を通過しなくなることを抑制できる。また、実施例2の変形例1では、網膜38に画像用光線34aが斜めに入射されることが抑制される。
【0071】
なお、実施例2の変形例1においては、光源12、第1ミラー14、及び投射部16に加えてメガネ型フレームのレンズ32が一体で移動する場合でもよい。
【0072】
なお、実施例2及び実施例2の変形例1において、光検出器18が複数の反射光46を検出しない場合、制御部20は、検出されない複数の反射光46に対応する複数の検査用光線34bそれぞれの投射位置における中間の位置を求め、当該中間の位置の方向に、画像用光線34aと検査用光線34bの投射位置を連動して移動させてもよい。
【0073】
なお、実施例2及び実施例2の変形例1では、複数の検査用光線34bが眼球36に投射される場合を例に示したが、1つの検査用光線34bが眼球36に投射される場合でもよい。
【0074】
なお、実施例2及び実施例2の変形例1において、画像用光線34aと検査用光線34bは、
図12(b)のように、検査用光線34bが虹彩42に入射されずに瞳孔40を通過する場合に、画像用光線34aが瞳孔40の端近傍を通過するような位置関係にある場合が好ましい。これにより、画像が欠落することを抑制できる。
【実施例3】
【0075】
実施例3は、ユーザが居眠り状態にある場合に警告を発する画像投影装置の例である。なお、実施例3における居眠り状態とは、居眠り状態にあると考えられる場合に加え、居眠り状態になる可能性が高い状態にある場合も含むものである。
図16は、実施例3に係る画像投影装置300を上方から見た図である。
図16のように、実施例3に係る画像投影装置300は、実施例1に係る画像投影装置100と比べて、位置調整部22が設けられていない点で異なる。その他の構成は、実施例1の
図1と同一又は同等であるため説明を省略する。
【0076】
図17は、実施例3に係る画像投影装置300の制御部20の処理の一例を示すフローチャートである。
図17のように、制御部20は、ステップS40において、入力された画像データに基づき、画像用光線34aを光源12から出射させ、且つ画像用光線34aの出射に伴い、複数の検査用光線34bを光源12から出射させる。
【0077】
次いで、ステップS42に移行し、制御部20は、光検出器18による検査用光線34bの反射光46の検出結果に基づいて、ユーザが居眠り状態にあるか否かを検出する。ここで、
図18(a)から
図18(c)のフローチャートを用いて、居眠り状態にあるか否かの検出について説明する。
【0078】
図18(a)のように、制御部20は、ステップS50において、光検出器18が複数の検査用光線34bの全ての反射光46を所定時間以上検出していないか否かを判断する。
図6(c)で説明したように、瞼37が閉じられた場合は、光検出器18は複数の検査用光線34bの全ての反射光46を検出しなくなる。したがって、制御部20は、光検出器18が全ての反射光46を所定時間以上検出していない場合(ステップS50:Yes)、ステップS52に移行して、ユーザは居眠り状態にあることを検出する。一方、光検出器18が複数の検査用光線34bのいずれかの反射光46を所定時間以内に検出した場合、ステップS50の判断は否定されてステップS54に移行し、制御部20は、ユーザは居眠り状態にないことを検出する。なお、上記所定時間としては、ユーザが居眠り状態に陥ったために瞼37が閉じられたのか、又はその他の理由によって一時的に瞼37が閉じられたのかの判断が可能な時間を設定すればよい。
【0079】
図18(b)のように、制御部20は、ステップS60において、光検出器18が複数の検査用光線34bの全ての反射光46の検出・不検出を所定時間当たり所定回数以上繰り返したか否かを判断する。居眠り状態に陥る場合には、瞼37の開閉回数が多くなる。したがって、制御部20は、光検出器18が全ての反射光46の検出・不検出を所定時間当たり所定回数以上繰り返している場合(ステップS60:Yes)、ステップS62に移行して、ユーザは居眠り状態にあることを検出する。一方、光検出器18による全ての反射光46の検出・不検出が所定回数以上繰り返されていない場合、ステップS60の判断は否定されてステップS64に移行し、制御部20は、ユーザは居眠り状態にないことを検出する。なお、上記所定時間及び所定回数として、ユーザが居眠り状態に陥ることが判断できるような時間及び回数を設定すればよい。
【0080】
図18(c)のように、制御部20は、ステップS70において、光検出器18が複数の検査用光線34bの全ての反射光46を所定時間以上検出し続けているか否かを判断する。
図6(a)及び
図6(b)で説明したように、全ての反射光46が検出され続けている場合は、眼球36が動いていないことになる。眼球36が所定時間以上動いていない場合、ユーザは意識が遠のいて居眠りに近い状態になっている恐れがある。したがって、制御部20は、光検出器18が全ての反射光46を所定時間以上検出し続けている場合(ステップS70:Yes)、ステップS72に移行して、ユーザは居眠り状態にあることを検出する。一方、光検出器18が所定時間以内に反射光46の少なくとも1つを検出しなくなった場合、ステップS70の判断は否定されてステップS74に移行し、制御部20は、ユーザは居眠り状態にないことを検出する。
【0081】
図17のステップS42の居眠り状態の検出は、
図18(a)から
図18(c)のいずれか1つの方法で検出してもよいし、複数の方法を組み合わせて検出してもよい。また、その他の方法によって、居眠り状態を検出してもよい。
【0082】
居眠り状態が検出された場合(ステップS42:Yes)、制御部20は、ステップS44に移行して、光源12を制御してユーザに居眠り防止のための警告を発する。ここで、
図19(a)及び
図19(b)を用いて、警告の一例を説明する。
図19(a)のように、制御部20は、画像用光線34aが眼球36に投射される第1表面領域36aと複数の検査用光線34bが眼球36に投射される複数の第2表面領域36bとを含む一体の領域39に警告用の光を光源12から出射させてもよい。警告用の光の強度を大きくすることで、ユーザは瞼37を介して光を認識できるが、光強度を大きくし過ぎると、ユーザが瞼37を開けたときに眼にダメージを与える恐れがある。したがって、これらのことを考慮して警告用の光の強度を設定することが好ましい。例えば、警告用の光の強度を、画像用光線34aに用いられる最大光強度としてもよい。また、警告用の光を一体の領域39に照射し続ける場合でもよいし、照射と非照射とを繰り返して点滅させる場合でもよい。
【0083】
図19(b)のように、制御部20は、画像用光線34aで形成される画像70に、“居眠り注意”などの警告72を表示するようにしてもよい。警告72の表示箇所は、画像70内のどこでもよいが、ユーザに気付かせる点から画像70の中央部に表示することが好ましい。
【0084】
なお、
図18(a)から
図18(c)のどれによって居眠り状態にあることが検出されたかで、警告の発し方を変えてもよい。例えば、
図18(a)のように瞼37が閉じている状態で居眠り状態にあることが検出された場合には、
図19(a)のように、領域39に警告用の光を照射させることが好ましい。
図18(b)及び
図18(c)のように、瞼37が少しでも開いている状態で居眠り状態にあることが検出された場合には、
図19(a)のように、領域39に警告用の光を照射させてもよいし、
図19(b)のように、警告72を表示してもよい。
【0085】
図17のように、制御部20は、警告を発した後、ステップS46に移行して、ユーザによって警告解除の措置が入力されたか否かを判断する。警告解除の措置が入力されていない場合(ステップS46:No)、ステップS46の判断は否定されて、制御部20は、ステップS44に戻り、警告を発しし続ける。一方、警告解除の措置が入力された場合(ステップS46:Yes)、ステップS46の判断は肯定されて、ステップS48に移行する。なお、ユーザは、例えば制御部20が設けられた外部装置(例えば携帯端末など)を操作することで、警告解除の措置を入力できるようにすればよい。
【0086】
ステップS48では、制御部20は、実施例1の
図7のステップS16と同一又は同等の処理を行う。
【0087】
以上のように、実施例3によれば、制御部20は、光検出器18による反射光46の検出結果に基づき、光源12を制御してユーザに警告を発する。これにより、例えばユーザが居眠りをすることを抑制できる。
【0088】
また、実施例3によれば、
図19(a)のように、制御部20は、光源12を制御して眼球36の第1表面領域36aと第2表面領域36bとを含む一体の領域39に警告用の光を出射する。これにより、瞳孔40がどこの方向を向いている場合でも、瞼37を介して網膜38に警告用の光を投射させることができる。なお、警告用の光は、目を覚まさせる点から白色光の場合が好ましいが、可視光であればその他の場合でもよい。
【0089】
なお、実施例3において、制御部20は、
図18(a)での全ての反射光46が検出されない時間、
図18(b)での全ての反射光46の検出・不検出の回数、
図18(c)での全ての反射光46を検出し続けている時間を検出し、これに応じて警告用の光の強度を変えてもよい。例えば、全ての反射光46が検出されない時間又は検出され続けている時間がt
1秒未満では警告用の光の強度を弱くし、t
1秒以上t
2秒未満では中程度とし、t
2秒以上では強くするようにしてもよい。例えば、全ての反射光46の検出・不検出の回数がn
1回未満では警告用の光の強度を弱くし、n
1回以上n
2回未満では中程度とし、n
2回以上では強くするようにしてもよい。すなわち、居眠りの状態に応じて警告の強さを変えてもよい。
【0090】
なお、実施例3において、制御部20は、光源12を制御して画像による警告を発することに加え、不図示の音源を制御して音による警告を発してもよい。警告音を発する場合も、画像の場合と同様に、居眠りの状態に応じて警告音の大きさを変えてもよい。
【0091】
なお、実施例3に、実施例2で説明した画像用光線34aと検査用光線34bの投射位置の連動した移動の制御を組み合わせてもよい。また、実施例3では、光検出器18による反射光46の検出結果に基づいてユーザが居眠り状態にあるか否かを検出しているが、これに限られる訳ではない。光検出器18による反射光46の検出結果に基づいて警告を発するその他の場合でもよい。
【0092】
実施例3では、複数の検査用光線34bが眼球36に投射される場合を例に示したが、1つの検査用光線34bが眼球36に投射される場合でもよい。
【実施例4】
【0093】
実施例4は、ユーザの眼球36や瞼37の動きに応じて、表示される画像を制御する画像投影装置の例である。実施例4に係る画像投影装置400は、実施例3の
図16と同一又は同等であるため説明を省略する。
【0094】
図20は、実施例4に係る画像投影装置400の制御部20の処理の一例を示すフローチャートである。
図20のように、制御部20は、ステップS80において、入力された画像データに基づき、画像用光線34aを光源12から出射させ、且つ画像用光線34aの出射に伴い、複数の検査用光線34bを光源12から出射させる。
【0095】
次いで、ステップS82に移行し、制御部20は、光検出器18が複数の検査用光線34bの全ての反射光46を検出しているか否かを判断する。全ての反射光46を検出している場合は、ステップS82の判断は肯定され、ステップS100に移行する。
【0096】
一方、複数の検査用光線34bのうちの少なくとも一部の検査用光線34bの反射光46を検出しない場合(ステップS82:No)、ステップS84に移行する。ステップS84では、制御部20は、複数の検査用光線34bのうちの一部の検査用光線34bの反射光46のみを検出しないか否かを判断する。一部の検査用光線34bの反射光46のみを検出しない場合(ステップS84:Yes)、制御部20は、ステップS86に移行して、検出しない反射光46(すなわち、検出しない検査用光線34b)に応じて、画像用光線34aで形成される画像の制御を行う。その後、ステップS100に移行する。
【0097】
画像の制御の例として、制御部20は、動画の停止、一時停止、再生、又は異なる画像への切り替えなどを行う。一時停止の場合、画像を表示したまま一時停止する場合でもよいし、画像の表示自体も一時停止する場合でもよい。また、制御部20は、ユーザの前後左右のいずれか一方を撮影する画像から他方を撮影する画像に切り替える場合でもよいし、前後左右の画像とは異なる別の画像から前後左右のいずれかの画像に切り替える場合やその逆の場合でもよい。例えば、制御部20は、ユーザの前後左右のいずれかを撮影する画像からユーザの現在位置の位置情報を示す画像に切り替える場合やその逆の場合でもよい。したがって、画像投影装置は、ユーザの前後左右を撮影する撮像部(例えばカメラ)及び/又は画像投影装置の位置を検出する位置検出部(例えばGPS(Global Positioning System)センサ)を備えている場合でもよい。
【0098】
ここで、検出しない検査用光線34bに応じた画像の制御について、
図21(a)及び
図21(b)を用いて説明する。
図21(a)のように、複数の検査用光線34bのうちの第1検査用光線34b−1の反射光46を検出しない場合、制御部20は、画像に対して第1制御を行う。
図21(b)のように、第2検査用光線34b−2の反射光46を検出しない場合、制御部20は、画像に対して上記第1制御とは異なる第2制御を行う。
【0099】
図20のように、一部の検査用光線34bの反射光46のみが不検出ではない場合(ステップS84:No)、制御部20は、ステップS88に移行して、複数の検査用光線34bの全ての反射光46が所定時間以上不検出か否かを判断する。全ての反射光46が所定時間以上不検出である場合(ステップS88:Yes)、制御部20は、ステップS90に移行し、ステップS86で行われる制御とは異なる画像の制御を行う。その後、ステップS100に移行する。一方、全ての反射光46が所定時間以上不検出ではない場合(ステップS88:No)、ステップS100に移行する。なお、全ての反射光46が所定時間以上不検出か否かを判断するのは、画像の制御を目的としない閉瞼を除外するためである。
【0100】
ステップS100では、制御部20は、実施例1の
図7のステップS16と同一又は同等の処理を行う。
【0101】
以上のように、実施例4によれば、制御部20は、光検出器18による反射光46の検出結果に基づき、光源12を制御して画像用光線34aで形成される画像の制御を行う。これにより、ユーザは、眼球36及び/又は瞼37を動かすことによって、画像の制御を行うことができる。
【0102】
また、実施例4によれば、
図21(a)及び
図21(b)のように、複数の検査用光線34bのうちの第1検査用光線34b−1の反射光46を検出しない場合、画像の第1制御を行い、第2検査用光線34b−2の反射光46を検出しない場合、第1制御とは異なる画像の第2制御を行う。これにより、ユーザは、眼球36を異なる方向に動かすことによって、画像に対して異なる制御を行うことができる。
【0103】
また、実施例4によれば、
図20のステップS86、S90のように、複数の検査用光線34bのうちの一部の検査用光線34bの反射光46を検出しない場合、画像の第1制御を行い、全ての検査用光線34bの反射光46を所定時間以上検出しない場合、第1制御とは異なる画像の第2制御を行う。これにより、ユーザは、眼球36を動かすか又は瞼37を動かすかによって、画像に対して異なる制御を行うことができる。
【0104】
なお、実施例4の
図20のステップS90において、制御部20は、反射光46が不検出である時間の長さを検出し、当該時間の長さに応じて異なる画像の制御を行ってもよい。
【0105】
なお、実施例4に、実施例2で説明した画像用光線34aと検査用光線34bの投射位置の連動した移動の制御を組み合わせてもよいし、実施例3で説明した警告の制御を組み合わせてもよい。また、実施例4では、複数の検査用光線34bが眼球36に投射される場合を例に示したが、1つの検査用光線34bが眼球36に投射される場合でもよい。
【実施例5】
【0106】
実施例5に係る画像投影装置500は、実施例1の
図1と同一又は同等であるため説明を省略する。
図22は、実施例5に係る画像投影装置500の制御部20の処理の一例を示すフローチャートである。
図22のように、制御部20は、実施例2の
図11のステップS20〜ステップS26と同一又は同等の処理のステップS110〜ステップS116を行う。
【0107】
次いで、ステップS118では、制御部20は、ステップS114、S116で画像用光線34aと検査用光線34bを連動して移動させる前に投影されていた画像とは異なる画像が投影されるように、画像の制御を行う。画像の制御の例は、実施例4と同じであるため説明を省略する。その後、制御部20は、ステップS120に移行して、実施例1の
図7のステップS16と同一又は同等の処理を行う。
【0108】
実施例5によれば、制御部20は、光源12を制御して、画像用光線34aと検査用光線34bを連動して移動させた後に投影される画像を、連動して移動させる前に投影されていた画像とは異ならせる。これにより、ユーザは、向いた方向に応じた画像を視認することができる。例えば、ユーザは、向いた方向に応じて、ユーザの前後左右を撮像する画像のうちの異なる画像を視認することができる。
【0109】
なお、実施例5に、実施例3で説明した警告の制御を組み合わせてもよい。また、実施例5では、複数の検査用光線34bが眼球36に投射される場合を例に示したが、1つの検査用光線34bが眼球36に投射される場合でもよい。
【0110】
なお、実施例1から実施例5において、複数の検査用光線34bのうちの2つ以上の検査用光線34bが、虹彩42に同時に投射される場合でもよい。なお、この場合は、光検出器18を複数設けることとなる。
【0111】
なお、実施例1から実施例5では、
図4のように、複数の検査用光線34bは、画像用光線34aが瞳孔40を通過する場合に、瞳孔40の周りを囲むように、虹彩42に6箇所で投射される場合を例に示したがこれに限られない。画像用光線34aが瞳孔40を通過しなくなることを効果的に抑制する点から、複数の検査用光線34bは、画像用光線34aが瞳孔40を通過する場合に、瞳孔40を挟むように虹彩42に投射されることが好ましく、2箇所以上で挟むように投射されることがより好ましい。また、複数の検査用光線34bは、画像用光線34aが瞳孔40を通過する場合に、瞳孔40を上下および左右で挟むように虹彩42に投射されることが好ましい。
【0112】
なお、実施例1から実施例5において、画像用光線34aと検査用光線34bは、
図15(b)のように、検査用光線34bが虹彩42に入射されずに瞳孔40を通過する場合に、画像用光線34aが瞳孔40の端近傍を通過するような位置関係にある場合が好ましい。これにより、画像が欠落することを抑制できる。
【0113】
なお、実施例1から実施例5では、制御部20が外部装置に設けられている場合を例に示したが、この場合に限られず、例えばメガネ型フレームのツル30に設けられている場合でもよい。また、光源12と第1ミラー14は、メガネ型フレームのツル30の外側に設けられていてもよいし、ツル30の幅を広げて、ツル30の内側に設けられていてもよい。また、光源12は、メガネ型フレームのツル30に設けられている場合に限られず、メガネ型フレームとは別部品で設けられている場合でもよい。この場合、光源12から出射された光線34は、光ファイバなどを介して、第1ミラー14に入射されるようにすればよい。また、片方の眼球36に画像用光線34aと検査用光線34bが投射される場合に限られず、両方の眼球36に画像用光線34aと検査用光線34bが投射される場合でもよい。
【0114】
以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。