特許 7507482 視線入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】視線入力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240621BHJP

   G06F 3/0481 20220101ALI20240621BHJP

   B60R 16/02 20060101ALI20240621BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

G06F3/0481

B60R16/02 630Z

【請求項の数】 12

(21)【出願番号】P 2020181907

(22)【出願日】2020-10-29

(65)【公開番号】P2022072453

(43)【公開日】2022-05-17

【審査請求日】2023-07-21

(73)【特許権者】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】江頭 飛鳥

(72)【発明者】

【氏名】高田 征吾

(72)【発明者】

【氏名】高疇 大樹

(72)【発明者】

【氏名】松下 賢也

(72)【発明者】

【氏名】竹川 視野

【審査官】木内 康裕

(56)【参考文献】

【文献】特開２０１４－２１８１９９（ＪＰ，Ａ）

【文献】特開２０１９－００６１８３（ＪＰ，Ａ）

【文献】再公表特許第２０１７／０３８２４８（ＪＰ，Ａ１）

【文献】特表２０１８－５１９６０１（ＪＰ，Ａ）

【文献】特開２００９－２１３７７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｂ６０Ｒ １６／０２

(57)【特許請求の範囲】

【請求項1】

車両のウインドシールド前方且つ運転席の正面に設定された表示領域に表示された１又は複数の入力要素の画像である第一の画像に対する、ユーザの視線による第一の入力を判定する視線判定部と、
前記第一の入力が検出された入力要素に対応する外部機器に対して指令を出力する入出力処理部と、
前記ユーザの状態に基づいて、前記ユーザが漫然状態であるか否かを判定する漫然状態判定部とを備え、
前記入出力処理部は、
前記視線判定部により１又は複数の前記第一の画像のうちいずれかに対する前記第一の入力があると判定され、且つ、前記漫然状態判定部により前記ユーザが漫然状態でないと判定された場合、前記第一の入力が検出された入力要素に対する前記第一の入力を確定し、
前記漫然状態判定部により前記ユーザが漫然状態であると判定された場合、前記入力要素に対する前記第一の入力を確定せず、
前記漫然状態判定部により漫然状態であると判定された前記ユーザから第三の入力を受け付けた場合には、前記入力要素に対する入力を確定する
視線入力装置。

【請求項2】

前記ユーザによる第二の入力を判定する入力判定部を更に備え、
前記入出力処理部は、前記視線判定部により１又は複数の前記第一の画像のうちいずれかに対する前記第一の入力があると判定され、且つ、前記入力判定部により前記ユーザの前記第二の入力があると判定され、且つ、前記漫然状態判定部により前記ユーザが漫然状態でないと判定された場合、前記第一の入力が検出された入力要素に対する前記第一の入力を確定する
請求項１に記載の視線入力装置。

【請求項3】

前記表示領域に前記第一の画像を表示するヘッドアップディスプレイ装置を更に備え、
前記ヘッドアップディスプレイ装置は、前記表示領域において複数の前記第一の画像を列にして表示するとともに、前記表示領域の端部に表示される前記第一の画像のうち外寄りの部分を非表示とし、
前記入出力処理部は、前記視線判定部により前記列の中央の前記第一の画像上に前記第一の入力があると判定され、且つ、前記入力判定部により前記ユーザの前記第二の入力があると判定され、且つ、前記漫然状態判定部により前記ユーザが漫然状態でないと判定された場合、前記中央の入力要素に対する前記第一の入力を確定する
請求項２に記載の視線入力装置。

【請求項4】

前記視線判定部と、前記入出力処理部と、前記漫然状態判定部と、前記入力判定部とを備える入出力装置と、
前記運転席に座った前記ユーザの視線による前記第一の入力を検出する視線検出装置と、
前記ユーザによる前記第二の入力を検出する入力検出装置と、
前記ユーザの状態を検出する状態検出装置と、を更に備え、
前記視線判定部は、前記視線検出装置から取得した検出結果に基づいて、前記第一の入力が１又は複数の前記第一の画像のうちのいずれの第一の画像に対する入力であるかを判定し、
前記入力判定部は、前記入力検出装置から取得した検出結果に基づいて、前記ユーザによる前記第二の入力があるか否かを判定し、
前記漫然状態判定部は、前記状態検出装置から取得した前記ユーザの状態に基づいて、前記ユーザが漫然状態であるか否かを判定する
請求項２又は３に記載の視線入力装置。

【請求項5】

前記入出力処理部は、前記漫然状態判定部により前記ユーザが漫然状態であると判定された場合、前記視線検出装置からの前記第一の入力の受付けを停止する
請求項４に記載の視線入力装置。

【請求項6】

前記入出力処理部は、前記漫然状態判定部により前記ユーザが漫然状態であると判定された場合、前記外部機器への指令の出力を停止する
請求項１～５のいずれか１項に記載の視線入力装置。

【請求項7】

前記漫然状態判定部により前記ユーザが漫然状態であると判定された場合に前記ユーザに対し通知を行う通知部を更に備える
請求項１～６のいずれか１項に記載の視線入力装置。

【請求項8】

前記通知部は、第二の画像を表示することにより前記ユーザに対し通知を行う
請求項７に記載の視線入力装置。

【請求項9】

前記通知部は、音を発することにより前記ユーザに対し通知を行う
請求項７に記載の視線入力装置。

【請求項10】

前記第二の入力は、視線、音声、又はジェスチャのうち少なくとも１つである
請求項２～５のいずれか１項に記載の視線入力装置。

【請求項11】

前記第三の入力は、視線、音声、又はジェスチャのうち少なくとも１つである
請求項１～１０のいずれか１項に記載の視線入力装置。

【請求項12】

前記第二の入力及び前記第三の入力は、ジェスチャであり、
前記第三の入力としてのジェスチャは、前記第二の入力としてのジェスチャとは異なる
請求項２～５のいずれか１項に記載の視線入力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、視線入力装置に関する。

【背景技術】

【0002】

特許文献１は、視線により入力要素を選択する視線入力装置を開示する。この視線入力装置では、車両の運転席の正面に設定された表示領域に入力要素の画像をヘッドアップディスプレイ装置により表示し、表示領域に表示された画像を見るユーザの注視点を運転席の正面に設置された視線検出装置により検出して、ヘッドアップディスプレイ装置に対して視線入力を行っている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２１８１９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された視線入力装置によれば、ユーザが漫然状態となっている場合にもユーザの視線入力が有効に取り扱われることとなるが、このような視線入力はユーザの意図に沿うものではなく、それにより誤った出力がされる恐れがある。
本開示は、上記の課題を解決するためになされたものであり、ユーザが漫然状態である場合の意図しない視線入力を抑制する視線入力装置を提供する。

【課題を解決するための手段】

【0005】

本開示における視線入力装置は、視線判定部と、入出力処理部と、漫然状態判定部とを備える。視線判定部は、車両のウインドシールド前方且つ運転席の正面に設定された表示領域に表示された１又は複数の入力要素の画像である第一の画像に対する、ユーザの視線による第一の入力を判定する。入出力処理部は、第一の入力が検出された入力要素に対応する外部機器に対して指令を出力する。漫然状態判定部は、ユーザの状態に基づいて、ユーザが漫然状態であるか否かを判定する。入出力処理部は、視線判定部により１又は複数の第一画像のうちいずれかに対する第一の入力があると判定され、且つ、漫然状態判定部によりユーザが漫然状態でないと判定された場合、第一の入力が検出された入力要素に対する第一の入力を確定し、漫然状態判定部によりユーザが漫然状態であると判定された場合、入力要素に対する第一の入力を確定しない。入出力処理部は、漫然状態判定部により漫然状態であると判定されたユーザから第三の入力を受け付けた場合には、入力要素に対する入力を確定する。

【発明の効果】

【0006】

本開示における視線入力装置は、ユーザが漫然状態である場合の意図しない視線入力を抑制し得る。

【図面の簡単な説明】

【0007】

【図1】図１は、実施の形態１における視線入力装置の構成の一例を示すブロック図である。

【図2】図２は、実施の形態１におけるＨＵＤ装置の使用例を示す図である。

【図3】図３は、実施の形態１における視線入力装置の適用例を示す図である。

【図4A】図４Ａは、実施の形態１におけるＨＵＤ装置により表示領域に表示される入力要素の一例を示す図である。

【図4B】図４Ｂは、実施の形態１におけるＨＵＤ装置により表示領域に表示される入力要素の別の例を示す図である。

【図5】図５は、実施の形態１における視線入力装置の視線入力処理の一例を示すフローチャートである。

【図6】図６は、実施の形態２における視線入力装置の構成の一例を示すブロック図である。

【図7】図７は、実施の形態２における視線入力装置の視線入力処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0009】

なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0010】

（実施の形態１）
以下、図１～５を用いて、実施の形態１を説明する。

【0011】

（構成）
まず、本実施の形態に係る視線入力装置の構成について図１～３を用いて説明する。

【0012】

本実施の形態に係る視線入力装置１は、図１に示すように、ＨＵＤ（ヘッドアップディスプレイ）装置１０、視線検出装置２０、ジェスチャ検出装置３０、状態検出装置４０、及び入出力装置５０を備える。視線入力装置１は、ＨＵＤ装置１０の表示領域Ｒ（図４Ａ、４Ｂに図示）に表示された入力要素をユーザ２００が注視していることを検出するとともに、ユーザ２００による所定のジェスチャを検出したことを条件として、選択された入力要素の入力を確定する。

【0013】

ＨＵＤ装置１０は、図２に示すように、車両１００のダッシュボード１２０に内蔵されている。ＨＵＤ装置１０は、入出力装置５０から出力された、入力要素の画像を含む映像光を車両１００のウインドシールド１１０に投射する。その結果、この映像光は、ウインドシールド１１０に反射し、例えば、車両１００の運転手であるユーザ２００に向かう。これにより、ユーザ２００は、ウインドシールド１１０越しに映像光が示す画像を、車両１００の前方に設定された仮想の表示領域Ｒに存在する虚像として視認する。つまり、ＨＵＤ装置１０は、映像光が示す画像を虚像としてユーザ２００に視認させる。なお、表示領域Ｒに表示する入力要素の画像については後で詳述する。また、ウインドシールド１１０は表示媒体の一例である。本実施の形態では、表示媒体はウインドシールド１１０であるが、車両１００にコンバイナが備えられている場合には、ＨＵＤ装置１０は、表示媒体としてそのコンバイナに映像光を投射してもよい。入力要素である画像は、本実施の形態における「第一の画像」の一例である。

【0014】

視線検出装置２０は、運転席の正面に設置され、運転席に座ったユーザ２００の注視点を検出する装置である。ここで、ユーザ２００の注視点は、特許請求の範囲でいう「第一の入力」に対応している。詳しくは、視線検出装置２０は、ユーザ２００から見て車両１００のステアリングホイール１３０の奥に設置され、目に見えない近赤外光が照射されたユーザ２００の目を撮影するカメラである。ユーザ２００の注視点を検出するためには、視線検出装置２０は、ユーザ２００の注視点の上下左右３０°以内に設置されていることが望ましい。本実施の形態では、表示領域Ｒ上のユーザ２００の注視点を検出するために、視線検出装置２０は、ユーザ２００から見て表示領域Ｒの中心から下側に１０°の位置のダッシュボード１２０に設置されている。

【0015】

ジェスチャ検出装置３０は、図３に示すように、例えばカーナビゲーション装置１４０の画面の上側に配置される。図３では、ジェスチャ検出装置３０のジェスチャ検出領域３１を破線円で示している。ジェスチャ検出装置３０は、ジェスチャ検出領域３１内においてユーザ２００が行う非接触のジェスチャを検出する。ここで、ジェスチャは、ユーザ２００による「第二の入力」の一例である。ジェスチャ検出装置３０は、例えば静電容量方式のジェスチャセンサである。静電容量方式のジェスチャセンサは、複数の電極を有し、各電極の静電容量の時間的な変化を測定する。静電容量方式のジェスチャセンサは、静電容量の時間的な変化がジェスチャとして予め定義している変化と同様であると判断した場合に、ジェスチャが行われたと推測する。

【0016】

なお、ジェスチャ検出装置３０は、視線検出装置２０よりも下側のインストルメントパネル等に設置されてもよい。また、ジェスチャ検出装置３０は、赤外線式、音波式のジェスチャセンサや、撮像装置を利用したジェスチャセンサ等であってもよい。

【0017】

状態検出装置４０は、車両１００内に備えられる各種のセンサであり、ユーザ２００の状態を検出する。状態検出装置４０は、一例として、ユーザ２００の顔を撮影するカメラであり、この場合にはユーザ２００の状態とはユーザ２００の視線の動きや表情等を指す。このカメラは、ユーザ２００から見て車両１００のステアリングホイール１３０の奥に設置される。なお、このカメラは、上述した視線検出装置２０としてのカメラと共有のものであってもよいし、視線検出装置２０としてのカメラとは別に設けられてもよい。また、状態検出装置４０は、ユーザ２００の心拍を検出する心拍検出装置であってもよく、この場合にはユーザ２００の状態とはユーザ２００の心拍数や心拍の強さ等を指す。この心拍検出装置は、車両１００のステアリングホイール１３０や座席に設けられ又はユーザ２００の身体に取り付ける接触型のセンサであってもよいし、脈波に対応したユーザ２００の顔色の変化を検出するカメラ等の非接触型のセンサであってもよい。

【0018】

入出力装置５０は、映像信号出力部５１、入出力処理部５２、視線判定部５３、ジェスチャ判定部５４、及び漫然状態判定部５５を備える。

【0019】

映像信号出力部５１は、表示領域Ｒに表示させる映像信号を、入出力処理部５２へ出力する。

【0020】

視線判定部５３は、ＨＵＤ装置１０によって表示された１又は複数の入力要素の画像に対する、ユーザ２００の視線による第一の入力を判定する。より詳細には、視線判定部５３は、視線検出装置２０から取得した検出結果に基づいて、第一の入力がいずれの入力要素の画像に対する入力であるかを判定する。例えば、視線判定部５３は、視線検出装置２０により撮影されたユーザ２００の目の画像から、視線方向によって位置が変わる瞳孔、及び視線方向には影響を受けない角膜反射を検出し、瞳孔と角膜反射との位置関係から注視点（第一の入力）を検出する。そして、視線判定部５３は、検出した注視点の座標を入出力処理部５２へ出力する。

【0021】

ジェスチャ判定部５４は、ジェスチャ検出装置３０によりユーザ２００の特定のジェスチャ、例えば手を振るジェスチャ（第二の入力）が検出されたことを条件として、入力確定信号を入出力処理部５２へ出力する。

【0022】

ここで、本実施の形態では、第二の入力としてジェスチャを検出する構成となっているが、第二の入力はジェスチャに限られない。例えば、第二の入力として、ユーザ２００の視線、瞬き、声、又は接触等を検出する構成としてもよい。つまり、ジェスチャ検出装置３０は、第二の入力を検出する「入力検出装置」の一例であり、入力検出装置としてはユーザ２００による何らかの入力を検出し得るものであれば、カメラ、マイク、タッチパネル、又はボタン等、その他の装置であっても用いることができる。また、ジェスチャ判定部５４は、第二の入力を判定する「入力判定部」の一例であり、入力判定部としては、入力検出装置による入力に応じて、所定の視線、瞬き、声、又は接触等を判定し得るものが用いられる。

【0023】

漫然状態判定部５５は、ユーザ２００の状態に基づいて、ユーザ２００が漫然状態であるか否かを判定する。より詳細には、漫然状態判定部５５は、状態検出装置４０により検出されたユーザ２００の状態を状態検出装置４０から取得し、取得したユーザ２００の状態から、ユーザ２００が漫然状態であるか否かを判定する。ここで、漫然状態とは、例えば、集中力や注意力が低下した状態を指す。

【0024】

漫然状態判定部５５は、例えば、ユーザ２００の視線方向に位置する対象物とユーザ２００の焦点位置とのずれに基づいて、ユーザ２００が漫然状態であるか否かを判定する。詳細には、漫然状態判定部５５は、ユーザ２００の顔画像に基づいてユーザ２００の右目及び左目のそれぞれの視線方向を算出し、それらからユーザ２００の焦点位置を算出する。次に、漫然状態判定部５５は、前方画像に含まれ、且つ、ユーザ２００の視線方向に位置する対象物の位置を算出する。そして、漫然状態判定部５５は、算出した対象物の位置と焦点位置との距離が所定閾値以上である場合、ユーザ２００が漫然状態であると判定する。

【0025】

また、漫然状態判定部５５は、ユーザ２００の顔の向きの変動量に基づいて、ユーザ２００が漫然状態であるか否かの判定をし得る。詳細には、漫然状態判定部５５は、ある時間当たりの車両１００の速度の変動及び舵角の変動がいずれも所定閾値以下であるか否かを判断し、所定閾値以下であるときには車両１００は単調走行であると判定する。そして、漫然状態判定部５５は、車両１００が単調走行であるときには、ある時間当たりのユーザ２００の顔の向きの変動が所定閾値以下であるか否かを判断し、所定閾値以下であるときにはユーザ２００が漫然状態であると判定する。

【0026】

なお、漫然状態判定部５５による漫然状態の判定方法は上記した内容に限定されず、ユーザ２００の表情や心拍に基づいて判定する等、種々の方法が採用され得る。

【0027】

入出力処理部５２は、映像信号出力部５１から送信された映像信号をＨＵＤ装置１０へ出力する。また、入出力処理部５２は、映像信号出力部５１から送信された映像信号と、視線判定部５３から送信された注視点の座標とから、ユーザ２００が選択している入力要素を判定する。また、入出力処理部５２は、入力要素に対応する外部機器に対して指令を出力する。より詳細には、入出力処理部５２は、ジェスチャ判定部５４から入力確定信号を受信すると、ユーザ２００が選択している入力要素の入力を確定し、入力要素に対応する外部機器２に対して指令を出力する。

【0028】

また、入出力処理部５２は、視線判定部５３により入力要素のうちいずれかの画像上に第一の入力があると判定され、且つ、漫然状態判定部５５によりユーザ２００が漫然状態ではないと判定された場合、第一の入力に基づいて入力要素の入力を確定する。そして、入出力処理部５２は、当該入力要素に対応する外部機器２に対して指令を出力する。

【0029】

また、入出力処理部５２は、漫然状態判定部５５によってユーザ２００が漫然状態であると判定された場合、ユーザ２００による第一の入力に基づく入力要素の入力を確定しない。本実施の形態においては、この場合、入出力処理部５２は、漫然状態判定部５５によってユーザ２００が漫然状態であると判定された場合は、その後にジェスチャ判定部５４から入力確定信号を受信したか否かに関わらず、入力要素に対応する外部機器２に対して指令を出力しない。

【0030】

ここで、入出力装置５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ ｐｏｒｔ）等を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を備える。そして、入出力装置５０のＣＰＵは、ＲＯＭ等に記憶されたプログラムを実行することにより、上述した映像信号出力部５１、入出力処理部５２、視線判定部５３、及びジェスチャ判定部５４として機能する。なお、映像信号出力部５１、入出力処理部５２、視線判定部５３、及びジェスチャ判定部５４のそれぞれが上記のようなＣＰＵを備え、入出力装置５０を構成してもよい。

【0031】

（動作）
次に、本実施の形態に係る視線入力装置の動作について図４Ａ～５を用いて説明する。

【0032】

まず、図４Ａ、４Ｂを参照して、ＨＵＤ装置１０が表示領域Ｒに表示させる入力要素について説明する。図４Ａ、４Ｂにおいて、目の記号Ｅは、ユーザ２００の注視点をイメージしており、実際には表示領域Ｒには表示されない。図４Ａに示すように、ＨＵＤ装置１０は、表示領域Ｒにおいて、複数の入力要素の画像Ｉ１、Ｉ２、Ｉ３を列にして表示する。なお、以降では、入力要素の画像Ｉ１、Ｉ２、・・・を総称して入力要素の画像Ｉともいう。本実施の形態では、表示する入力要素の画像Ｉの数は３つである。さらに、ＨＵＤ装置１０は、表示領域Ｒの左右両端部に表示される入力要素の画像Ｉのうち外寄りの部分を非表示とする。すなわち、左端部に表示される入力要素の画像Ｉ１の左側の部分と、右端部に表示される入力要素の画像Ｉ３の右側の部分とを非表示にする。このようにすることにより、入力要素の画像Ｉは、表示領域Ｒに表示されている３つだけではなく、表示領域Ｒの左右両側に続いていることが示される。また、ＨＵＤ装置１０は、表示領域Ｒの中央下側には、車両１００の変速機の変速位置を表示する。本実施の形態では、走行の安全のため、車両１００の停車時に限り、ユーザ２００による入力要素の入力を可能としている。ＨＵＤ装置１０によって車両１００の変速機の変速位置が表示されることにより、ユーザ２００は、表示領域Ｒに表示された変速位置がパーキングである場合に視線入力が可能であると分かる。

【0033】

図４Ａでは、ユーザ２００は左端の入力要素の画像Ｉ１を注視して、選択している。ここでは、ユーザ２００の注視点が列の中央の入力要素の画像Ｉ２とは異なる画像上にあるので、この状態でユーザ２００がジェスチャをしても、注視点がある入力要素の画像Ｉ１の入力は確定しない。ユーザ２００の注視点が列の中央の入力要素の画像Ｉ２とは異なる画像上にある場合は、ＨＵＤ装置１０は、図４Ｂに示すように、ユーザ２００の注視点がある入力要素の画像Ｉ１を、列の中央に移動させて表示領域Ｒに表示する。すなわち、ＨＵＤ装置１０は、図４Ａの状態から、入力要素の画像Ｉを１つずつ右にずらして表示領域Ｒに表示する。これにより、図４Ａで右側に表示されていた入力要素の画像Ｉ３が図４Ｂでは表示されなくなり、図４Ａでは表示されていなかった入力要素の画像Ｉ４が図４Ｂでは左端に表示される。この状態で、中央の入力要素の画像Ｉ１を見つめながら手２１０を振る等の所定のジェスチャをユーザ２００が行うと、ユーザ２００の注視点がある入力要素の入力が入出力処理部５２により確定される。

【0034】

続いて、図５を参照して、視線入力装置１の処理動作について説明する。

【0035】

まず、ステップＳ１１において、ＨＵＤ装置１０が、ウインドシールド１１０に入力要素の画像を表示する。ＨＵＤ装置１０は、例えば、車両１００のイグニッションがオンになったときに起動し、ウインドシールド１１０に対する画像の投射を開始する。なお、ＨＵＤ装置１０だけでなく、視線検出装置２０、ジェスチャ検出装置３０、及び状態検出装置４０についても、車両１００のイグニッションがオンになったときに起動する構成としてもよい。また、ＨＵＤ装置１０が表示する画像の内容は、図５の視線入力処理のフローチャートとは無関係に、適宜更新されてもよい。

【0036】

次に、ステップＳ１２において、視線判定部５３は、ユーザ２００が入力要素の画像を注視しているか否かを判定する。詳細には、まず、視線検出装置２０がユーザ２００の目を撮影し、その画像を視線判定部５３へ出力する。そして、視線判定部５３は、視線検出装置２０により撮影されたユーザ２００の目の画像から、ユーザ２００の注視点を検出し、検出した注視点に基づいて、ユーザ２００の視線が入力要素の画像に向けられているか否かを判定する。視線判定部５３は、ユーザ２００が入力要素の画像を注視していると判定した場合（ステップＳ１２でＹＥＳ）、検出した注視点に対応する入力要素に関する情報を入出力処理部５２に通知する。その後、処理はステップＳ１３に進む。

【0037】

ステップＳ１３において、ジェスチャ判定部５４は、ユーザ２００が所定のジェスチャを行っているか否かを判定する。詳細には、まず、ジェスチャ検出装置３０が、ジェスチャ検出装置３０に手をかざす等のユーザ２００の手２１０の動きのジェスチャを検出し、検出したジェスチャをジェスチャ判定部５４へ出力する。次に、ジェスチャ判定部５４は、ジェスチャ検出装置３０から出力されたジェスチャが所定のジェスチャであるか否かを判定する。所定のジェスチャとは、例えば、手を振るジェスチャである。すなわち、ジェスチャ判定部５４は、ジェスチャ検出装置３０から出力されたジェスチャが手を振る等の所定のジェスチャである場合、ユーザ２００が所定のジェスチャを行っていると判定する。ジェスチャ判定部５４は、ユーザ２００が所定のジェスチャを行っていると判定した場合（ステップＳ１３でＹＥＳ）、ユーザ２００が所定のジェスチャを行っていることを入出力処理部５２に通知する。その後、処理はステップＳ１４に進む。

【0038】

ステップＳ１４において、漫然状態判定部５５は、ユーザ２００が漫然状態であるか否かを判定する。詳細には、まず、状態検出装置４０が、状態検出装置４０として機能するカメラ等によりユーザ２００の状態を検出し、検出したユーザ２００の状態を漫然状態判定部５５へ出力する。次に、漫然状態判定部５５は、状態検出装置４０から出力されたユーザ２００の状態に基づいて、ユーザ２００が漫然状態であるか否かを判定する。漫然状態判定部５５は、ユーザ２００が漫然状態であると判定した場合（ステップＳ１４でＹＥＳ）、ユーザ２００が漫然状態であることを入出力処理部５２に通知する。その後、処理はステップＳ１５に進む。

【0039】

なお、図５に示すフローチャートでは、ステップＳ１２で視線判定部５３によってユーザ２００が入力要素の画像を注視していると判定された場合、すなわち、ユーザ２００の視線による入力要素への第一の入力があると判定された場合において、ステップＳ１３でＹＥＳの場合のみステップＳ１４の処理に進むが、処理の流れはこれに限定されない。例えば、ステップＳ１２でＹＥＳである場合において、ステップＳ１３は実行されず、ステップＳ１４に処理が進むものとしても良い。

【0040】

ステップＳ１５において、漫然状態判定部５５は、ユーザ２００が漫然状態であることを入出力処理部５２に通知し、入出力処理部５２は、外部機器２への指令の出力を停止する。そして、入出力処理部５２は、ステップＳ１２において視線判定部５３から通知された、ユーザ２００の注視点に対応する入力要素に関する情報を破棄する（ステップＳ１６）。なお、入出力処理部５２は、ユーザ２００の注視点に対応する入力要素に関する情報を破棄することに代えて又は加えて、視線検出装置２０から入出力処理部５２への注視点の入力の受付けを停止してもよい。その後、処理はステップＳ１２に戻り、ステップＳ１２以降の処理が実行される。

【0041】

一方、漫然状態判定部５５は、ユーザ２００が漫然状態でないと判定した場合（ステップＳ１４でＮＯ）、ユーザ２００が漫然状態でないことを入出力処理部５２に通知し、処理はステップＳ１７に進む。入出力処理部５２は、ユーザ２００が選択している入力要素に対応する外部機器２に対して指令を出力する（ステップＳ１７）。その後、処理はステップＳ１２に戻り、ステップＳ１２以降の処理が実行される。

【0042】

また、視線判定部５３は、ユーザ２００が入力要素の画像を注視していないと判定した場合（ステップＳ１２でＮＯ）、ユーザ２００が入力要素の画像を注視していないことを入出力処理部５２に通知する。その後、再びステップＳ１２以降の処理が実行される。

【0043】

さらに、ジェスチャ判定部５４は、ユーザ２００が所定のジェスチャを行っていないと判定した場合（ステップＳ１３でＮＯ）、ユーザ２００が所定のジェスチャを行っていないことを入出力処理部５２に通知する。その後、処理はステップＳ１２に戻り、ステップＳ１２以降の処理が実行される。

【0044】

（効果等）
以上のように、本実施の形態の視線入力装置１は、ＨＵＤ装置１０により表示領域Ｒに表示された入力要素をユーザ２００が注視していることを検出し、ユーザ２００が漫然状態でないことを条件に、ユーザ２００が視線により選択している入力要素に対応する外部機器２に対して指令を出力する。

【0045】

これにより、ユーザ２００が漫然状態であると判定されたときには、ユーザ２００の視線による選択を有効なものとして取り扱わないこととなり、ユーザ２００の意図しない視線入力を抑制し得る。ユーザ２００が漫然状態にある場合には、ユーザ２００は意図せずある一点を注視している状況が起こり得、そのような視線入力を有効なものとするとユーザ２００の意図に沿わない入力がされることとなる。本実施の形態の視線入力装置１によれば、このような課題が解決され、ユーザ２００の意図に沿った視線入力が実現され得る。

【0046】

また、本実施の形態によれば、視線入力装置１は、ＨＵＤ装置１０により表示領域Ｒに表示された入力要素をユーザ２００が注視していることを検出し、さらに、所定のジェスチャを検出した場合において、ユーザ２００が漫然状態でないことを条件に、ユーザ２００が視線により選択している入力要素に対応する外部機器２に対して指令を出力する。このため、本実施の形態の視線入力装置１によれば、ユーザ２００の視線による意図しない入力が確定されることを低減することができる。

【0047】

また、本実施の形態によれば、ＨＵＤ装置１０により車両１００の運転席の正面に設定された仮想の表示領域Ｒに入力要素の画像が表示され、運転席の正面に設置された視線検出装置２０により表示領域Ｒに表示された画像を見るユーザ２００の注視点が検出される。ＨＵＤ装置１０を用いることにより、車両１００内の限られた空間において、ユーザ２００の正面に視線検出装置２０及び表示領域Ｒを設けることができる。また、ＨＵＤ装置１０により表示された画像は、左右の視野角が比較的狭いため、ユーザ２００は正面から表示領域Ｒを見ることになり、ユーザ２００の頭が正面にほぼ固定される。そのため、視線検出装置２０は、ほぼ常にユーザ２００の正面からユーザ２００の注視点を検出することができる。したがって、ＨＵＤ装置１０と視線検出装置２０とを組み合わせることにより、視線検出装置２０及び表示領域Ｒを適切に配置して、ユーザ２００の注視点を高精度に検出し得る。

【0048】

さらに、視線検出装置２０を表示領域Ｒよりも下側の所定範囲に設定することにより、表示領域Ｒを見るユーザ２００の注視点が視線検出装置２０の検知範囲に入る。したがって、表示領域Ｒを見るユーザ２００の注視点を確実に検出し得る。

【0049】

また、入力要素の画像を列にして表示領域Ｒに表示し、列の端部に表示する入力要素の画像のうち外寄りの部分を非表示とすることにより、表示領域Ｒの外に入力要素の画像が続いているように見せることができる。すなわち、表示領域Ｒに表示されていない入力要素の画像が存在することをユーザ２００に認識させることができる。

【0050】

さらに、ユーザ２００は、視線により入力要素を選択した状態でジェスチャをすることにより、選択した入力要素の入力を確定することができる。このため、仮想の表示領域Ｒに入力要素の画像が表示されるとともに、ユーザ２００がタッチパネルやボタン等に触れることなく、入力要素の入力を確定することができる。

【0051】

そして、ユーザ２００が視線により選択した入力要素の画像が中央にない場合は、選択した入力要素の画像が中央に移動される。ユーザ２００は、入力要素の画像が移動された後、入力要素の画像を注視したままジェスチャをすれば、入力要素の入力を確定することができる。

【0052】

さらに、ユーザ２００による視線入力を車両１００の停車時に限ることにより、走行中の誤入力による誤作動が抑制され得る。また、表示領域Ｒに車両１００の変速位置を表示することにより、ユーザ２００は視線入力が可能か否かを認識することができる。

【0053】

（実施の形態２）
次に、実施の形態２について、図６、７を参照して、実施の形態１と異なる部分を中心に説明する。実施の形態２における視線入力装置１Ａは、図６に示すように、実施の形態１における視線入力装置１の構成に加えて、更に通知部６０を備える。そして、視線入力装置１Ａにより実行される視線入力処理が、実施の形態１における視線入力装置１の視線入力処理と異なる。

【0054】

以下、図７を用いて、本実施の形態に係る視線入力装置１Ａの視線入力処理について説明する。なお、図７において、図５の処理と同じ処理ステップには同じ符号を付している。ステップＳ１１～Ｓ１５までは実施の形態１と同じであるため、説明を省略する。

【0055】

ステップＳ２６において、視線入力装置１Ａは、入出力処理部５２から外部機器２への指令の出力を停止したことをユーザ２００に通知する。詳細には、ステップＳ１５において入出力処理部５２が外部機器２への指令の出力を停止した場合、入出力処理部５２は、ユーザ２００への通知を行うよう通知部６０に通知する。そして、入出力処理部５２からの通知を受けた通知部６０は、入出力処理部５２から外部機器２への指令の出力を停止した旨をユーザ２００に通知する。通知部６０は、例えば、車両１００に備えられるスピーカであって、スピーカから音を発することによりユーザ２００への通知を行う。なお、通知部６０はステアリングホイール１３０や座席であってこれらの振動によりユーザ２００への通知を行ってもよいし、通知部６０はＨＵＤ装置１０やカーナビゲーション装置１４０であってこれらに所定の画像を表示させることによりユーザ２００への通知を行ってもよい。通知部６０によって表示される所定の画像は、本実施形態における「第二の画像」の一例である。その後、処理はステップＳ２７に進む。

【0056】

ステップＳ２７において、ジェスチャ判定部５４は、ユーザ２００が所定のジェスチャを行っているか否かを判定する。ジェスチャ判定部５４による判定の方法についてはステップＳ１３と同様である。なお、ここでの所定のジェスチャとしては、ステップＳ１３における所定のジェスチャとは異なるジェスチャが予め設定されている。ステップＳ２７における所定のジェスチャは、漫然状態時には検出し得ないようなジェスチャであることが好ましく、少なくともステップＳ１３における所定のジェスチャよりも動きの大きなジェスチャや複雑なジェスチャ等が設定され得る。複雑なジェスチャとは、例えば、ステップＳ１３における所定のジェスチャよりも多くの種類の動きの組合せを含むジェスチャである。

【0057】

このステップＳ２７においてジェスチャ検出装置３０が検出するジェスチャは、ユーザ２００による「第三の入力」の一例である。本実施の形態では、第三の入力としてジェスチャを検出する構成となっているが、第三の入力はジェスチャに限られない。例えば、第三の入力として、ユーザ２００の視線や声、接触等を検出する構成としてもよい。つまり、第三の入力を検出する装置はジェスチャ検出装置３０に限られず、ユーザ２００による何らかの入力を検出し得るものであれば、カメラ、マイク、タッチパネル、又はボタン等、その他の装置であっても用いることができる。

【0058】

ジェスチャ判定部５４は、ユーザ２００が所定のジェスチャ（第三の入力）を行っていると判定した場合（ステップＳ２７でＹＥＳ）、ユーザ２００が所定のジェスチャ（第三の入力）を行っていることを入出力処理部５２に通知し、処理はステップＳ２８に進む。入出力処理部５２は、ユーザ２００が選択している入力要素に対応する外部機器２に対して指令を出力する（ステップＳ２８）。その後、処理はステップＳ１２に戻り、ステップＳ１２以降の処理が実行される。

【0059】

一方、ジェスチャ判定部５４は、ユーザ２００が所定のジェスチャ（第三の入力）を行っていないと判定した場合（ステップＳ２７でＮＯ）、ユーザ２００が所定のジェスチャ（第三の入力）を行っていないことを入出力処理部５２に通知する。その後、処理はステップＳ２９に進む。ステップＳ２９では、入出力処理部５２は、視線判定部５３から通知された、ユーザ２００の注視点に対応する入力要素に関する情報を破棄する。なお、入出力処理部５２は、ユーザ２００の注視点に対応する入力要素に関する情報を破棄することに代えて又は加えて、視線検出装置２０から入出力処理部５２への注視点の入力を停止してもよい。そして、処理はステップＳ１２に戻り、ステップＳ１２以降の処理が実行される。

【0060】

また、漫然状態判定部５５は、ユーザ２００が漫然状態でないと判定した場合（ステップＳ１４でＮＯ）、ユーザ２００が漫然状態でないことを入出力処理部５２に通知し、処理は上記のステップＳ２８に進む。

【0061】

以上のように、本実施の形態において、視線入力装置１Ａは、ＨＵＤ装置１０、視線検出装置２０、ジェスチャ検出装置３０、状態検出装置４０、及び入出力装置５０に加え、更に通知部６０を備える。視線入力装置１Ａは、ユーザ２００が漫然状態であると判定された場合に、ユーザ２００への通知を行う。ユーザ２００が漫然状態でない場合、ユーザ２００がこの通知への応答として所定のジェスチャ等をすることにより、視線入力装置１Ａはユーザ２００による視線入力を有効なものとして取り扱う。

【0062】

これにより、ユーザ２００が漫然状態であると判定されたときでも、ユーザ２００が所定の意思表示を示すことによりユーザ２００の視線入力を有効なものとすることができ、更にユーザ２００の意図に沿った視線入力装置を実現し得る。

【0063】

（他の実施の形態）
上記の実施の形態１及び２では、図４Ａ、４Ｂのように３つの入力要素の画像を列にして表示していたが、４つ以上の入力要素の画像を列にして表示してもよく、全ての入力要素の画像を列にして表示してもよい。さらに、入力要素の画像を、列以外の形式で、例えば行と列とを有する表のような形式等で表示してもよい。また、表示する入力要素の画像は１つ又は２つでもよい。

【0064】

また、図５及び７のフローチャートにおける各ステップの順序はこの順序に限定するものではない。例えば、図５及び７においてジェスチャ検出の有無の判定（ステップＳ１３）後に漫然状態であるか否かの判定（ステップＳ１４）を行っていたが、この判定を注視点の判定（ステップＳ１２）後に行ってもよい。このとき、ジェスチャ（第二の入力）検出の有無の判定を行わない構成としてもよい。この場合には、視線入力装置１（１Ａ）は、ユーザ２００の視線による入力を受け付けると、漫然状態判定部５５によりユーザ２００が漫然状態でないと判定されれば、外部機器２への指令を出力することとなる。これにより、ジェスチャ検出装置３０を有しない視線入力装置においても、本開示に係る構成を採用することができる。

【0065】

図７において、通知部６０によるユーザ２００への通知（ステップＳ２６）の後にユーザ２００によるジェスチャ（第三の入力）が検出された場合（ステップＳ２７でＹＥＳ）には入出力処理部５２が外部機器２へ指令する（ステップＳ２８）構成となっていたが、通知部６０によるユーザ２００への通知の有無にかかわらず、入出力処理部５２が外部機器２への指令を行い得る構成としてもよい。すなわち、漫然状態判定部５５によりユーザ２００が漫然状態であると判定された場合であっても、通知部６０によるユーザ２００への通知の有無にかかわらず、ジェスチャ判定部５４によりユーザ２００が所定のジェスチャ（第三の入力）を行っていると判定された場合には、入出力処理部５２は外部機器２に対して指令を出力する。これにより、漫然状態判定部５５によりユーザ２００が漫然状態であると誤って判定された場合にも、ユーザ２００による視線入力を有効なものとして取り扱うことができる。

【0066】

上記の実施の形態１及び２では、停車時にのみ視線入力を可能にするとしていたが、ある条件の下で、又は特に条件を定めることなく、停車時以外でも視線入力を可能にしてもよい。例えば、自動運転が可能な車両において自動運転が行われている場合には、停車時以外でも視線入力を可能にし得る。

【0067】

なお、視線入力装置１の構成は、図１、６に示す例に限定されるものではない。例えば、視線入力装置１は、ＨＵＤ装置１０、視線検出装置２０、ジェスチャ検出装置３０、又は状態検出装置４０のいずれか、又は全てを含まなくともよい。例えば、視線入力装置１は、外部装置である状態検出装置４０から、ユーザ２００の状態を取得してもよい。また、図１、６において、入出力装置５０の機能として図示した映像信号出力部５１、入出力処理部５２、視線判定部５３、ジェスチャ判定部５４、及び漫然状態判定部５５は、入出力装置５０以外の装置の機能として実行されてもよい。例えば、状態検出装置４０が、漫然状態判定部５５の機能を備えてもよい。

【0068】

さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0069】

（まとめ）
上記実施の形態から明らかなように、本開示は、下記の態様を含む。以下では、実施の形態との対応関係を明示するためだけに、符号を括弧付きで付している。

【0070】

第１の態様の視線入力装置（１、１Ａ）は、視線判定部（５３）と、入出力処理部（５２）と、漫然状態判定部（５５）とを備える。視線判定部（５３）は、車両（１００）のウインドシールド（１１０）前方且つ運転席の正面に設定された表示領域に表示された１又は複数の入力要素の画像である第一の画像に対する、ユーザ（２００）の視線による第一の入力を判定する。入出力処理部（５２）は、第一の入力が検出された入力要素に対応する外部機器（２）に対して指令を出力する。漫然状態判定部（５５）は、ユーザ（２００）の状態に基づいて、ユーザ（２００）が漫然状態であるか否かを判定する。入出力処理部（５２）は、視線判定部（５３）により１又は複数の第一の画像のうちいずれかに対する第一の入力があると判定され、且つ、漫然状態判定部（５５）によりユーザ（２００）が漫然状態でないと判定された場合、第一の入力が検出された入力要素に対する第一の入力を確定し、漫然状態判定部（５５）によりユーザ（２００）が漫然状態であると判定された場合、入力要素に対する第一の入力を確定しない。第１の態様によれば、ユーザ（２００）が漫然状態である場合の意図しない視線入力を抑制し得る。したがって、ユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0071】

第２の態様の視線入力装置（１、１Ａ）は、第１の態様との組み合わせにより実現され得る。第２の態様では、視線入力装置（１、１Ａ）は、ユーザ（２００）による第二の入力を判定する入力判定部（５４）を更に備える。入出力処理部（５２）は、視線判定部（５３）により１又は複数の第一の画像のうちいずれかに対する第一の入力があると判定され、且つ、入力判定部（５４）によりユーザ（２００）の第二の入力があると判定され、且つ、漫然状態判定部（５５）によりユーザ（２００）が漫然状態でないと判定された場合、第一の入力が検出された入力要素に対する第一の入力を確定する。第２の態様によれば、ユーザ（２００）が漫然状態である場合の意図しない視線入力を抑制し得る。したがって、ユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0072】

第３の態様の視線入力装置（１、１Ａ）は、第２の態様との組み合わせにより実現され得る。第３の態様では、視線入力装置（１、１Ａ）は、表示領域に第一の画像を表示するヘッドアップディスプレイ装置（１０）を更に備える。ヘッドアップディスプレイ装置（１０）は、表示領域において複数の第一の画像を列にして表示するとともに、表示領域の端部に表示される第一の画像のうち外寄りの部分を非表示とする。入出力処理部（５２）は、視線判定部（５３）により列の中央の第一の画像上に第一の入力があると判定され、且つ、入力判定部（５４）によりユーザ（２００）の第二の入力があると判定され、且つ、漫然状態判定部（５５）によりユーザ（２００）が漫然状態でないと判定された場合、中央の入力要素に対する第一の入力を確定する。第３の態様によれば、表示領域の外に入力要素の画像が続いているようにユーザ（２００）に見せることができ、表示領域に表示されていない入力要素の画像が存在することをユーザ（２００）に認識させることができる。

【0073】

第４の態様の視線入力装置（１、１Ａ）は、第２又は第３の態様との組み合わせにより実現され得る。第４の態様では、視線入力装置（１、１Ａ）は、入出力装置（５０）と、視線検出装置（２０）と、入力検出装置（３０）と、状態検出装置（４０）とを更に備える。入出力装置（５０）は、視線判定部（５３）と、入出力処理部（５２）と、漫然状態判定部（５５）と、入力判定部（５３）とを備える。視線検出装置（２０）は、運転席に座ったユーザ（２００）の視線による第一の入力を検出する。入力検出装置（３０）は、ユーザ（２００）による第二の入力を検出する。状態検出装置（４０）は、ユーザ（２００）の状態を検出する。視線判定部（５３）は、視線検出装置（２０）から取得した検出結果に基づいて、第一の入力が１又は複数の第一の画像のうちのいずれの第一の画像に対する入力であるかを判定する。入力判定部（５４）は、入力検出装置（３０）から取得した検出結果に基づいて、ユーザ（２００）による第二の入力があるか否かを判定する。漫然状態判定部（５５）は、状態検出装置（４０）から取得したユーザ（２００）の状態に基づいて、ユーザ（２００）が漫然状態であるか否かを判定する。第４の態様によれば、ユーザ（２００）は第二の入力をすることで、視線により選択した入力要素の入力を確定することができ、更にユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0074】

第５の態様の視線入力装置（１、１Ａ）は、第４の態様との組み合わせにより実現され得る。第５の態様では、入出力処理部（５２）は、漫然状態判定部（５５）によりユーザ（２００）が漫然状態であると判定された場合、視線検出装置（２０）からの第一の入力の受付けを停止する。第５の態様によれば、ユーザ（２００）が漫然状態である場合の意図しない視線入力を受け付けないようにでき、これによりユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0075】

第６の態様の視線入力装置（１、１Ａ）は、第１～第５の態様のいずれか１つとの組み合わせにより実現され得る。第６の態様では、入出力処理部（５２）は、漫然状態判定部（５５）によりユーザ（２００）が漫然状態であると判定された場合、外部機器（２）への出力を停止する。第６の態様によれば、ユーザ（２００）が漫然状態である場合の意図しない視線入力に対応する指令を外部機器（２）へ出力しないようにでき、これによりユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0076】

第７の態様の視線入力装置（１Ａ）は、第１～第６の態様のいずれか１つとの組み合わせにより実現され得る。第７の態様では、視線検出装置（１Ａ）は、漫然状態判定部（５５）によりユーザ（２００）が漫然状態であると判定された場合にユーザ（２００）に対して通知を行う通知部（６０）を更に備える。第７の態様によれば、ユーザ（２００）に対し、視線入力が有効なものとして取り扱われないことを通知でき、視線入力が有効なものとして取り扱われないことをユーザ（２００）が認識し得る。

【0077】

第８の態様の視線入力装置（１Ａ）は、第７の態様との組み合わせにより実現され得る。第８の態様では、通知部（６０）は、第二の画像を表示することによりユーザ（２００）に対し通知を行う。第８の態様によれば、表示によってユーザ（２００）に通知するため、ユーザ（２００）にとって認識しやすい。

【0078】

第９の態様の視線入力装置（１Ａ）は、第７の態様との組み合わせにより実現され得る。第９の態様では、通知部（６０）は、音を発することによりユーザ（２００）に対し通知を行う。第９の態様によれば、音によってユーザ（２００）に通知するため、ユーザ（２００）にとって認識しやすい。

【0079】

第１０の態様の視線入力装置（１、１Ａ）は、第１～第９の態様のいずれか１つとの組み合わせにより実現され得る。第１０の態様では、漫然状態判定部（５５）により漫然状態であると判定されたユーザ（２００）から第三の入力を受け付けた場合には、入出力処理部（５２）は入力要素に対する入力を確定する。第１０の態様によれば、漫然状態と判定されたときの視線入力がユーザ（２００）の意図に沿ったものである場合にその視線入力を有効なものとして取り扱わせることができる。したがって、更にユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0080】

第１１の態様の視線入力装置（１、１Ａ）は、第２～第５の態様のいずれか１つとの組み合わせにより実現され得る。第１１の態様では、第二の入力は、視線、音声、又はジェスチャのうち少なくとも１つである。第１１の態様によれば、視線、音声、又はジェスチャのうち少なくとも１つである所定の入力により視線入力を確定することができ、ユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0081】

第１２の態様の視線入力装置（１、１Ａ）は、第１０の態様との組み合わせにより実現され得る。第１２の態様では、第三の入力は、視線、音声、又はジェスチャのうち少なくとも１つである。第１２の態様によれば、視線、音声、又はジェスチャのうち少なくとも１つである所定の入力により視線入力を有効なものとして取り扱わせることができ、更にユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【0082】

第１３の態様の視線入力装置（１、１Ａ）は、第２～第５の態様のいずれか１つとの組み合わせにより実現され得る。第１３の態様では、漫然状態判定部（５５）により漫然状態であると判定されたユーザ（２００）から第三の入力を受け付けた場合には、入出力処理部（５２）は入力要素に対する入力を確定する。第二の入力及び第三の入力は、ジェスチャである。第三の入力としてのジェスチャは、第二の入力としてのジェスチャとは異なる。第１３の態様によれば、第二の入力としてのジェスチャとは異なる第三の入力としてのジェスチャにより、視線入力を有効なものとして取り扱わせることができ、更にユーザ（２００）の意図に沿った視線入力装置を提供し得る。

【産業上の利用可能性】

【0083】

本開示は、ユーザが漫然状態である場合の意図しない視線入力を抑制する視線入力装置に適用可能である。

【符号の説明】

【0084】

１、１Ａ 視線入力装置
２ 外部機器
１０ ＨＵＤ装置
２０ 視線検出装置
３０ ジェスチャ検出装置
３１ ジェスチャ検出領域
４０ 状態検出装置
５０ 入出力装置
５１ 映像信号出力部
５２ 入出力処理部
５３ 視線判定部
５４ ジェスチャ判定部
５５ 漫然状態判定部
６０ 通知部
１００ 車両
１１０ ウインドシールド
１２０ ダッシュボード
１３０ ステアリングホイール
１４０ カーナビゲーション装置
２００ ユーザ
２１０ 手
Ｅ 目の記号
Ｉ、Ｉ１、Ｉ２、Ｉ３、Ｉ４ 入力要素の画像
Ｒ 表示領域

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】