特許 6539654 視線検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6539654

(24)【登録日】2019年6月14日

(45)【発行日】2019年7月3日

(54)【発明の名称】視線検知装置

(51)【国際特許分類】

   G02B 27/02 20060101AFI20190625BHJP

   H04N 5/225 20060101ALI20190625BHJP

   H04N 5/64 20060101ALI20190625BHJP

【ＦＩ】

   G02B27/02 Z

   H04N5/225

   H04N5/64 511A

【請求項の数】7

【全頁数】9

(21)【出願番号】特願2016-528961(P2016-528961)

(86)(22)【出願日】2014年6月27日

(86)【国際出願番号】JP2014067197

(87)【国際公開番号】WO2015198477

(87)【国際公開日】20151230

【審査請求日】2016年12月27日

【前置審査】

(73)【特許権者】

【識別番号】316011271

【氏名又は名称】フォーブ インコーポレーテッド

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】ウィルソン ロックラン

【審査官】 岸 智史

(56)【参考文献】

【文献】 特開２００３−２３０５３９（ＪＰ，Ａ）

【文献】 特開２００６−１６３３８３（ＪＰ，Ａ）

【文献】 特開２００３−２２５２０７（ＪＰ，Ａ）

【文献】 特開平１１−１５５１５２（ＪＰ，Ａ）

【文献】 特開平０８−００９２０５（ＪＰ，Ａ）

【文献】 特開２０１４−０２１２７２（ＪＰ，Ａ）

【文献】 特開２００６−０５３３２１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１１８２４３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／００−２７／６４

Ｇ０９Ｂ ３／００−３／３８

Ｈ０４Ｎ ５／２２２−５／２５７，

５／６４−５／６５５

Ａ６１Ｂ ３／１０−３／１６

(57)【特許請求の範囲】

【請求項1】

入射する光の一部を反射し一部を透過する一または複数の一部反射面と、
一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラと、を備え、
前記カメラが、使用者の眼に対して面直方向に設置された前記一部反射面による反射を経由して、前記使用者の眼を撮像し、
前記カメラが、前記一部反射面に写る前記使用者の眼を直接撮像可能なように前記一部反射面から離隔して、前記使用者の眼に対する面直方向よりも前記使用者の眼の下方から前記使用者の眼の像を撮像するように、前記使用者の眼の下部に設置されていること、を特徴とする、視線検知装置。

【請求項2】

一または複数のディスプレイを有し、
前記ディスプレイと、前記一部反射面と、前記カメラとが前記使用者の頭部に装着可能なケーシング内に格納され、
全体としてヘッドマウントディスプレイである、
請求項１に記載の視線検知装置。

【請求項3】

前記一部反射面に対して面直方向に設置された一または複数のレンズを有し、
前記一部反射面と前記カメラと前記レンズとが前記使用者の頭部に装着可能なケーシング内に格納され、
前記ケーシングが別体のディスプレイに対し着脱可能である、
請求項１に記載の視線検知装置。

【請求項4】

前記一部反射面が、可視光を透過し赤外光を反射するホットミラーである、
請求項１に記載の視線検知装置。

【請求項5】

前記カメラが前記使用者の両眼を撮像し、視差により前記使用者の眼の焦点の空間上の座標を算出する、
請求項１に記載の視線検知装置。

【請求項6】

前記カメラの光軸は、前記使用者の眼軸と、前記一部反射面との交点と交わらない、
請求項１に記載の視線検知装置。

【請求項7】

入射する光の一部を反射し一部を透過する一または複数の一部反射面と、
一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラと、
ディスプレイとを備え、
前記一部反射面は、前記ディスプレイ全面を覆うようにして、前記ディスプレイに対して平行に設けられており、
前記カメラが、使用者の眼に対して面直方向に設置された前記一部反射面による反射を経由して、前記使用者の眼を撮像し、
前記カメラが、前記一部反射面に写る前記使用者の眼を直接撮像可能なように前記一部反射面から離隔して、前記使用者の眼に対する面直方向よりも前記使用者の眼の下方から前記使用者の眼の像を撮像するように、前記使用者の眼の下部に設置されていること、を特徴とする、視線検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウントディスプレイ（ＨＭＤ）等に用いられる視線検知装置に関する。

【背景技術】

【0002】

従来は、眼球を撮像することにより、使用者の焦点の位置を計算するカメラでは、一部反射面の角度を約45度傾け、カメラと使用者の眼を結ぶ光路が略直角に反射していた（先刻文献３）。
このことはＨＭＤ等、使用者の頭部に装着する装置においても同様である（先行文献１）。

【0003】

ＨＭＤにおいて、使用者の首の運動により映像表示手段による映像を変化させる技術は、先行文献２に記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−１０８９３３

【0005】

【特許文献2】特開平８−１７９２３９

【0006】

【特許文献3】特開平０５−０７６４９７

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したように、従来の視線検知装置では、使用者の面直方向に対して約４５度傾けた角度で一部反射面１３を設置し、使用者の眼１０を撮像するカメラ１２を、使用者の眼１０とカメラ１２とを結ぶ光路において反射角が約４５度になるように設置していた（図７）。そのため、使用者の眼１０の前に一部反射面を斜めに設置するためのスペースを必要とし、装置の小型化を阻害する要因になっていた。

【0008】

また、装置の小型化のために、小さいサイズの一部反射面を用いると、使用者の眼１０とディスプレイ１４との間に一部反射面の切れ目が存在することになり、一部反射面の切れ目における光の屈折や反射によって意図しない視覚効果が生じてしまい、映像表現に支障をきたしていた。
このように、従来は装置の小型化と正確な映像表現を両立させることができなかった。

【0009】

従来の視線検知装置では、使用者の眼１０を撮像するカメラ１２が使用者の眼の上部に設置されており、使用者が少し瞼を落とすと、映像を視聴していても瞼や上まつ毛によってカメラ１２による使用者の眼１０の撮像が妨げられることがあった。

【課題を解決するための手段】

【0010】

上記目的は、入射する光の一部を反射し一部を透過する一または複数の一部反射面と、一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラとを備え、カメラと使用者の眼とが、使用者の眼に対して面直方向に設置された一部反射面による反射を経由して、使用者の眼を撮像することを特徴とする、視線検知装置により、達成される。
ここで、使用者の眼を撮像するカメラが、一部反射面を経由して使用者の眼を撮像し、使用者の視界の外に設置される。そのため、使用者の視界を遮ることなく使用者の眼を撮像する位置に設置される。

【0011】

本発明による目的は、視線検知装置が一または複数のディスプレイを有し、ディスプレイと、一部反射面と、カメラとが使用者の頭部に装着可能なケーシング内に格納され、全体としてヘッドマウントディスプレイである場合にも達成される。

【0012】

本発明による目的は、視線検知装置が一部反射面に対して面直方向に設置された一または複数のレンズを有し、一部反射面とカメラとレンズとが使用者の頭部に装着可能なケーシング内に格納され、別体のディスプレイに対し着脱可能である場合にも達成される。

【0013】

本発明による視線検知装置は、好ましくは、一部反射面が、可視光を透過し赤外光を反射するホットミラーである。

【0014】

本発明による視線検知装置は、好ましくは、カメラが使用者の眼の下部に設置されている。

【0015】

本発明による視線検知装置は、好ましくは、カメラが使用者の両眼を撮像し、視差により使用者の視線の空間上の焦点の座標を算出する。

【発明の効果】

【0016】

上記構成によれば、入射する光の一部を反射し一部を透過する一または複数の一部反射面と、一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラとを備え、一部反射面が使用者の眼と面直方向に設置されている。
従って、図７に示すように一部反射面が斜めに設置されていた従来品に比べ、一部反射面を斜めに設置するためのスペースが不要であることに加え、ディスプレイと別途に一部反射面を設ける必要がない。このため、ディスプレイの全面を覆う一部反射面を用いても前頭部に必要なスペースが少なくて済む。また、装置の小型化のためにサイズの小さい一部反射面を用いる必要がないため、一部反射面の淵が視界に入ることによる映像表現に対する影響がなくて済む。
このように、一部反射板が使用者の眼と面直方向に設置されることにより、装置の小型化と正確な映像表現を両立させている。

【0017】

一部反射面と、一部反射面に反映された使用者の眼を撮像し視線を解析するカメラとを備えることにより、ディスプレイにより発せられた光が使用者の眼に届けられると同時に、使用者の眼を撮像する光が一部反射面によって使用者の視界の外に届けられる。このため、カメラが使用者の映像の視聴を妨げない位置に設置される。

【0018】

視線検知装置がＨＭＤでない場合においては、使用者は一部反射面を通じて外部の光景を視認しつつ、視線検知装置に設置されたカメラによって使用者の眼が撮像され、使用者の視線が装置に入力される。

【0019】

一部反射面が、可視光を透過し赤外光を反射するホットミラーである場合には、一部反射面としてのホットミラーが視覚に与える影響が小さく、映像表現に対する影響が少ない。

【0020】

視線検知装置がＨＭＤである場合において、レンズ、カメラ、及び一部反射面がケーシング内に組み込まれ、ディスプレイに対して着脱可能である場合には、本発明外の既存のＨＭＤに外付けのケーシングを取り付けることにより視線検知機能を導入し、本発明の視線検知装置とすることができる。

【0021】

通常のディスプレイにケーシングが組み込まれる場合には、通常のディスプレイを３Ｄ映像表示用ディスプレイとして使用することができる。

【0022】

使用者が瞼を少し落とした時は、瞼が眼球の上半分を覆うことになる。眼の上部に設置されたカメラでは、上の角度から使用者の眼を撮像するため、使用者の瞼や瞼から生えた上まつ毛によってカメラによる撮像が妨げられていた。使用者の眼を撮像するカメラが使用者の眼の下部に設置されている場合には、眼の上部にカメラが設置されていた従来品に比べ、使用者の眼を下の角度から撮像するため、使用者の眼を確実に撮像できる。

【0023】

カメラが使用者の両眼を撮像し、視差により使用者の眼の焦点の空間上の座標を算出する場合には、両眼視差に基づいて輻輳角が算出されることによって、視線の上下左右のみならず前後の位置も入力される。

【図面の簡単な説明】

【0024】

【図1】本発明がＨＭＤである場合の第一実施形態の構造図である。

【図2】本発明がＨＭＤでない場合の第一変形例の構造図である。

【図3】赤外線によって使用者の眼を撮像するＨＭＤにおいて、赤外線照射装置を用いる場合の第二変形例の構造図である。

【図4】カメラがレンズと一体となって取り付けられ、一部反射面とともにケーシング内に組み込まれ、ディスプレイに対して着脱可能である場合の第三変形例の構造図である。

【図5】両眼を撮像する場合の第四変形例の構造図である。

【図6】ディスプレイが一部反射面の役割を担う第五変形例の構造図である。

【図7】一般的な従来のＨＭＤの構造図である。

【発明を実施するための形態】

【0025】

図１は、本発明による視線検知装置がＨＭＤである場合の第一実施形態を組み込んだ構成を示している。
図１に示すように、第一実施形態における視線検知装置は、可視光を透過し赤外線のみを反射する、一部反射面としてのホットミラー１３ａと、ホットミラー１３ａに反映された使用者の眼１０を撮像し視線を解析するカメラ１２とを備え、ホットミラー１３ａが使用者の眼１０の前に、使用者の眼１０と面直方向に設置されていることを特徴とする。

【0026】

ホットミラー１３ａと、ホットミラー１３ａに反映された使用者の眼１０を撮像し視線を解析する一または複数のカメラとを備えることにより、ディスプレイ１４により発せられた光が使用者の眼１０に届けられると同時に、使用者の眼１０を撮像する赤外光がホットミラー１３ａによって使用者の視界の外に届けられる。このため、カメラ１２が使用者の映像の視聴を妨げない位置に設置される。
一部反射面としてホットミラー１３ａを用いることにより、一部反射面が視覚に与える影響が小さく、映像表現に対する影響が小さい。
使用者の視界内において、ディスプレイ１４の全面が、一部反射面としてのホットミラー１３ａによって覆われる。

【0027】

レンズ１１は、使用者に届けられる焦点距離を調整する。
例えば第一実施形態においては、ディスプレイ１４が約２０ｍｍの近さにあるため、レンズ１１がなければ使用者はディスプレイ１４の映像をはっきりと見ることが困難である。
そこで、レンズ１１によってディスプレイ１４の焦点距離が変化し、使用者に見やすい焦点距離に調整される。

【0028】

カメラ１２は一部反射面としてのホットミラー１３ａの反射を介して使用者の眼１０を撮像する。
一部反射面としてホットミラー１３ａが用いられることにより、カメラ１２が使用者の眼１０を撮像しつつ、カメラ１２を使用者の視界に入らない位置に設置することが可能となる。
カメラ１２によって撮像された画像により、使用者の視線、眼球移動頻度、眼球振盪が測定される。

【0029】

一部反射面としてのホットミラー１３ａが使用者の眼と面直方向に設置されることにより、図７に示すように一部反射面１３が斜めに設置されていた従来品に比べ、一部反射面１３を斜めに設置するためのスペースが不要となり、前頭部に必要なスペースが少なくて済む。例えば図１に示す例では、カメラ１２と使用者の眼１０を結ぶ光路が、２２．１３度の角度で反射される。
このとき、ディスプレイ１４は、厚さ５ｍｍ、幅７８．０３ｍｍである。
また、使用者の眼１０とディスプレイ１４との距離は、約２０ｍｍである。

【0030】

ディスプレイ１４は、第一実施形態において使用者に映像を提供する装置であり、小型で解像度の高いものが用いられる。

【0031】

第一実施形態においては使用者の眼１０を撮像するカメラ１２が使用者の眼１０の下部に設置されている。使用者の瞼や上まつ毛がカメラ１２による撮像を邪魔しないため、使用者の眼１０を確実に撮像できる。

【0032】

図２は、本発明による視線検知装置がＨＭＤでない場合における第一変形例である。使用者は装置を装着しながら、一部反射面１３を透過した光によって外部の光景を見ることができる。
使用者の眼前には、パーソナルコンピューター用のモニター等、装着部品外の映像表示手段が設置されている。視線検知装置に設置されたカメラ１２によって使用者の眼１０が撮像され、使用者の視線が装置に入力される。

【0033】

図３は一部反射面としてホットミラー１３ａが使用される場合において、使用者の眼１０を照射する赤外線照射装置２０を備えた場合における本発明の第二変形例である。映像の可視光が一部反射面としてのホットミラー１３ａで透過されて使用者の眼１０に届けられつつ、カメラとしての赤外線カメラ１２ａがホットミラー１３ａの反射を介して使用者の眼１０を撮像する。使用者の眼１０を確実に撮像するため、赤外線照射装置２０によって使用者の眼１０に赤外線が当てられる。

【0034】

カメラ１２および一部反射面１３はそれぞれ一つまたは複数設置されている。また、カメラ１２が一つのみ設置されている場合でも、カメラ１２によって使用者の片目のみを撮像する場合と両眼を撮像する場合がある。

【0035】

図４は使用者の眼１０とディスプレイ１４との間に着脱可能なケーシング１５を備えた第三変形例である。一部反射面としてのホットミラー１３ａに対して面直方向に設置された一または複数のレンズ１１を有し、レンズ１１、赤外線カメラ１２ａ、ホットミラー１３ａ、及び赤外線照射装置２０からなるケーシング１５が別体のディスプレイ１４から着脱可能である。
第三変形例において、既存のＨＭＤの交換部品として、ケーシング１５が取り付けられる場合もある。この場合、視線検知装置を設けたＨＭＤは省スペース仕様ではなく、使用者の眼１０とディスプレイ１４との間の距離は従来のＨＭＤのものであるが、使用者はＨＭＤ全体を買い替えることなくＨＭＤに本発明の視線検知装置を導入することができる。

【0036】

第三変形例において、通常のディスプレイが３Ｄ映像表示用ディスプレイとして使用される場合には、ディスプレイが中央で区切られることにより左右の領域に分割されて使用される。ディスプレイの左右にそれぞれ左目と右目に対応する映像が使用者に提供される。このディスプレイに別体のケーシング１５が取り付けられることにより、視線検知装置が導入される。

【0037】

図５はカメラ１２によって使用者の両眼を撮像する第四変形例である。カメラ１２が使用者の両眼を撮像し、視差１６により使用者の眼１０の視点１７の空間上の座標を算出する第四変形例においては、使用者の平面画面上の上下左右のみならず、前後も含めた立体空間上の視点１７の座標が装置への入力がされる。

【0038】

図６は、ディスプレイ自体が一部反射面の役割を担う、ディスプレイ兼一部反射面１３ｂを用いた第五変形例である。ディスプレイ兼一部反射面１３ｂの反射を利用して使用者の眼１０を撮像する場合も同様に、一部反射面を斜めに設置するスペースが不要であるため、前頭部に必要なスペースが少なくて済み、かつ、一部反射面の淵による映像表現に対する影響もなくて済む。

【産業上の利用可能性】

【0039】

本発明は、その趣旨を逸脱しない範囲において様々な形態において実施することができる。
例えば、上述した実施形態において、使用者の視線、眼球移動頻度、眼球振盪及び顔の向きが入力されるが、その他に瞳孔の大きさの変化や瞼の位置、瞬きの頻度や眼の潤い等が入力されてもよい。

【0040】

上述した視線検知装置がＨＭＤでない場合において、一部反射面１３は立体映像視聴用のメガネであってもよい。

【0041】

カメラ１２が使用者の眼１０の下部に設置される場合においては、カメラ１２は眼の真下であっても、顔の中心寄りの位置であっても、顔の外側寄りの位置であってもよい。

【0042】

一部反射面に透過光と反射光が約１対１の割合であるハーフミラーが用いられてもよい。ディスプレイ１４の映像の光の一部が一部反射面としてのハーフミラーにより透過して使用者にディスプレイ１４の映像を提供しつつ、使用者の眼１０を撮像する光はハーフミラーによって一部反射され、カメラ１２に届く。

【符号の説明】

【0043】

１ ＨＭＤ型の本発明による視線検知装置
１ａ 赤外線照射装置付きのＨＭＤ型の本発明による視線検知装置
１０ 眼
１１ レンズ
１２ カメラ
１２ａ 赤外線カメラ
１３ 一部反射面
１３ａ ホットミラー
１３ｂ ディスプレイ兼一部反射面
１４ ディスプレイ
１５ ケーシング
１６ 視差
１７ 視点
２０ 赤外線照射装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】