(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024057674
(43)【公開日】2024-04-25
(54)【発明の名称】視線入力装置及び視線入力装置用のプログラム
(51)【国際特許分類】
G06F 3/04812 20220101AFI20240418BHJP
G06F 3/01 20060101ALI20240418BHJP
G06F 3/023 20060101ALI20240418BHJP
G09B 21/00 20060101ALI20240418BHJP
【FI】
G06F3/04812
G06F3/01 510
G06F3/023 460
G09B21/00 H
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022164468
(22)【出願日】2022-10-13
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り ・令和4年5月9日にダブル技研株式会社(神奈川県座間市栗原920-7)、株式会社みどりのまきば企画(千葉県船橋市本町4丁目38-28-613)にて公開。 ・令和4年5月12日にhttps://orangearch-labo.com/にて公開。 ・令和4年5月12日にダブル技研株式会社(神奈川県座間市栗原920-7)にて公開。
(71)【出願人】
【識別番号】505125945
【氏名又は名称】学校法人光産業創成大学院大学
(74)【代理人】
【識別番号】100121441
【弁理士】
【氏名又は名称】西村 竜平
(74)【代理人】
【識別番号】100154704
【弁理士】
【氏名又は名称】齊藤 真大
(74)【代理人】
【識別番号】100206151
【弁理士】
【氏名又は名称】中村 惇志
(74)【代理人】
【識別番号】100218187
【弁理士】
【氏名又は名称】前田 治子
(74)【代理人】
【識別番号】100227673
【弁理士】
【氏名又は名称】福田 光起
(72)【発明者】
【氏名】宇田 竹信
(72)【発明者】
【氏名】本山 功
【テーマコード(参考)】
5B020
5E555
【Fターム(参考)】
5B020AA04
5B020CC12
5B020GG05
5E555AA06
5E555AA08
5E555AA11
5E555BA02
5E555BA05
5E555BA06
5E555BB02
5E555BB05
5E555BB06
5E555BC04
5E555BE08
5E555CA41
5E555CA42
5E555CB65
5E555CC03
5E555DB06
5E555DB56
5E555DC24
5E555DC30
5E555DC84
5E555DC85
5E555FA00
(57)【要約】
【課題】画面に表示した複数の文字パネルを視線により選択して文字を入力する視線入力装置において、文字パネル上で視線を定めやすくし、文字の入力操作のストレスを低減する。
【解決手段】文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置であって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部とを備える視線入力装置。
【選択図】
図4
【特許請求の範囲】
【請求項1】
文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置であって、
前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、
推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、
前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部とを備える視線入力装置。
【請求項2】
前記マーカー表示制御部は、針状をなす前記マーカーを表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーを回転させる請求項1に記載の視線入力装置。
【請求項3】
前記マーカー表示制御部は、円形状の前記マーカーをまず表示させ、前記注視点が前記文字パネル上に留まり続けると当該マーカーの形状を針状に変形させる請求項2に記載の視線入力装置。
【請求項4】
前記マーカー表示制御部は、針状をなす前記マーカーを、その中心位置が前記文字パネルの中心位置と一致するように表示させ、前記文字パネルの中心位置を軸にして回転させる請求項2に記載の視線入力装置。
【請求項5】
前記マーカー表示制御部は、前記注視点が前記文字パネルの中心に近づくにつれて、前記マーカーの態様の変化量を大きくする請求項1に記載の視線入力装置。
【請求項6】
前記マーカー表示制御部は、前記注視点が前記文字パネル上に留まっている時間が長くなるにつれて、前記マーカーの態様の変化量を大きくする請求項1に記載の視線入力装置。
【請求項7】
前記マーカー表示制御部は、前記注視点が1つの前記文字パネル上に留まると前記マーカーを表示させ、前記注視点が当該文字パネルの外に移動すると前記マーカーを非表示にする請求項1に記載の視線入力装置。
【請求項8】
前記注視点が1つの前記文字パネル上に留まると、当該文字パネル上に、文字の入力が受け付けられるまでの残り時間を示すプログレスインジケータを表示するインジケータ表示制御部を更に備え、
前記マーカー表示制御部が、前記マーカーを、前記プログレスインジケータよりも、より前記文字パネルの中心に近い位置に表示させる請求項1に記載の視線入力装置。
【請求項9】
文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のプログラムであって、
前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、
推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、
前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部としての機能をコンピュータに発揮させる視線入力装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画面に表示された文字をユーザの視線により選択して入力できるようにする視線入力装置、及び視線入力装置用のプログラムに関する。
【背景技術】
【0002】
近年、重度の肢体麻痺等により手足や口を満足に動かすことができない患者の意思伝達を支援するツールとして、複数の文字を画面に並べて表示させ、当該文字をユーザの視線により選択することで、患者の意思を伝達できるようにした視線入力装置が開発されている。
【0003】
このような視線入力装置として、特許文献1には、例えば平仮名等の文字を示す複数の文字パネルが並んだ仮想的な文字盤を画面上に表示させ、所望の文字パネルを視線により選択して、文字を入力できるようにするものが開示されている。この視線入力装置は、カメラ等によりユーザの視線を検出し、ユーザの視線が文字盤内の1つの文字パネルに所定時間以上留まると当該文字パネルが示す文字の入力を受け付け、当該文字を画面上の所定領域に表示するよう構成されている。これによりユーザは、画面に表示された文字パネルを視線により1つずつ選択してメッセージを作成し、自分の意思を他人に伝えることができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで上記したような視線入力装置では、入力する文字によっては、文字パネル上で視線を留めておくのが難しいことがある。例えば「い」のように、文字パネルの中心を挟んで分離して表記される文字を選択する場合、文字パネルの中心を意識的に見ようとしても、無意識のうちに文字に引きずられて視線が文字パネルの中心から外れ、文字パネル上で視線がふらついてしまう。その結果、ユーザの視線が文字パネルから意図せず外れてしまうことで文字の入力をできないこともあり、ユーザは文字の入力操作にストレスを感じることがある。
【0006】
本発明はこのような問題に鑑みてなされたものであり、画面に表示した複数の文字パネルを視線により選択して文字を入力する視線入力装置において、文字パネル上で視線を定めやすくし、文字の入力操作のストレスを低減することを主たる目的とする。
【課題を解決するための手段】
【0007】
すなわち本発明に係る視線入力装置は、文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにするものであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部とを備えることを特徴とする。
【0008】
また本発明に係る視線入力装置用のプログラムは、文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のものであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部としての機能をコンピュータに発揮させることを特徴とする。
【発明の効果】
【0009】
このようにした本発明によれば、画面に表示した複数の文字パネルを視線により選択して文字を入力する視線入力装置において、文字パネル上で視線を定めやすくし、文字の入力操作のストレスを低減することができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態の視線入力装置の全体構成を模式的に示す図。
【
図2】同実施形態の視線入力装置の機器構成を示す構成図。
【
図3】同実施形態の視線入力装置の機器構成を示す機能ブロック図。
【
図4】同実施形態の視線入力装置の表示画面の一部を示す図。
【
図5】同実施形態における視線入力装置の文字入力中の動作を示す画面表示図。
【
図6】他の実施形態における視線入力装置の表示画面を部分的に示す図。
【発明を実施するための形態】
【0011】
以下に本発明の視線入力装置の一実施形態について、図面を参照して説明する。
【0012】
<視線入力装置100の構成>
本実施形態の視線入力装置100は、手足や口を動かすことが困難な人等の意思伝達を支援するためのものであり、パソコン等の画面31に表示された仮想的な文字盤(キーボードともいう)B上の文字をユーザの視線により選択して入力できるようにするものである。
【0013】
具体的にこの視線入力装置100は、
図1に示すように、ユーザの視線を検出する視線検出手段1と、コンピュータ本体2及びディスプレイ3を一体的に有するノートパソコンPCとを備えている。ディスプレイ3の画面31には、平仮名等の文字が複数並べて配置された仮想的な文字盤(以下、単に文字盤と記載する)Bと、入力された文字が表示されるメッセージパネルMとが表示されている。ユーザが文字盤B上の入力したい文字を注視し続けることで文字を入力でき、メッセージパネルM上に表示することができる。このようにして複数の文字を入力することで、メッセージパネルM上にメッセージを表示させ、自らの意思を伝達することができる。
【0014】
視線検出手段1は、ディスプレイ3の画面31に向けられたユーザの視線の方向等を検出し、その検出結果を視線データとして出力するものである。具体的にこの視線検出手段1は、角膜反射法を利用したものであり、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線の方向等を検出し、視線データとして出力する視線データ出力部(不図示)とを備えている。なお、本実施形態の視線検出手段1は所謂取付けタイプのものであり、前記光源及びカメラがユーザの顔面を向くようにしてディスプレイ3の下部に取付けられている。
【0015】
コンピュータ本体2は、構造的には
図2に示すように、CPU201、メモリ202、入出力インターフェース203等を備えている。このコンピュータ本体2は、前記メモリ202に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU201やその周辺機器が協働することにより、
図3に示すように、注視点推定部21、文字データ格納部22、文字盤表示制御部23、文字入力部24、入力文字表示制御部25、インジケータ表示制御部26及びマーカー表示制御部27としての機能を少なくとも発揮するように構成されている。以下、各部について説明する。
【0016】
注視点推定部21は、視線検出手段1の検出結果に基づいて、画面31上におけるユーザの注視点Gの位置を推定するものである。具体的には、視線検出手段1から視線信号を受け付け、当該視線信号に基づいて画面31上におけるユーザの注視点Gの位置を推定する。そして推定した注視点Gの位置を示す注視点データを文字入力部24及び文字盤表示制御部23に出力する。なお本実施形態では、
図1に示すように、推定した注視点Gの位置にはポインタを表示するようにしているが、ポインタを表示しなくてもよい。
【0017】
文字データ格納部22は、前記メモリ202の所定領域に設定されたものであり、文字盤Bに表示する各種文字のコード等を示す文字データが格納されている。なお本実施形態で言う「文字」とは、例えば、平仮名、片仮名、漢字、英数字、ローマ字、記号、絵文字、顔文字等である。
【0018】
文字盤表示制御部23は、文字データ格納部22を参照して複数の文字が配列された文字盤Bを示す文字盤データを作成し、これを文字入力部24及びディスプレイ3に出力する。この文字盤データには、文字の表示態様及び画面上での表示位置に関する情報が含まれている。
【0019】
図1に示すように、この文字盤表示制御部23は、画面31内に文字盤Bの全体を固定して表示させる。文字盤Bには、正方形等の矩形状をなす複数の文字パネルPが碁盤目状(マトリクス状)に並べて表示されており、各文字パネルPには文字(ここでは清音の平仮名文字)が1つずつ表示されている。ここでは互いに隣り合う文字パネルPが隙間なく並ぶように表示されているが、文字パネルP間には隙間があってもよい。そして各文字パネルPにおいて、各文字はその中心位置(重心位置)が各文字パネルPの中心位置と一致するように表示されている。本実施形態では各文字パネルPの領域を示す枠線が画面31上に表示されているが、この枠線は非表示であってもよい。
【0020】
文字入力部24は、推定された注視点Gの位置に基づいて文字の入力を受け付け、これを入力文字データとして入力文字表示制御部25に出力するものである。具体的に文字入力部24は、1つの文字パネルP上に注視点Gが留まる(すなわち文字パネルP内に侵入して滞在する)と、即座に又は所定時間経過後に、当該文字パネルP上に注視点Gが留まり続けている時間(すなわち注視時間)をカウントアップするよう計測する。そして文字入力部24は、計測した注視時間が所定の閾値(例えば1秒)に達すると、当該文字パネルPが示す文字の入力を受け付ける。すなわち文字入力部24は、文字パネルP上に注視点が留まり続けることで(言い換えれば、ユーザが文字パネルPを注視し続けることで)、当該文字パネルPが示す文字に対する入力操作を受け付ける。なお文字入力部24は、文字の入力を受け付けると計測した注視時間をリセットする(注視時間を0にする)ように構成されている。また文字入力部24が、注視時間を示す注視時間データをインジケータ表示制御部26及びマーカー表示制御部27に出力する。
【0021】
そして文字入力部24は、文字の入力を受け付けている状態で、注視点Gが文字パネルP外に移動すると、当該受け付け中の文字の入力を確定させ、入力が確定したことを示す入力確定信号を入力文字表示制御部25に出力する。なお、文字入力部24は、文字の入力を受け付けると同時に、文字の入力を確定するようにされてもよい。
【0022】
入力文字表示制御部25は、メッセージパネルMを画面31に表示させると共に、入力された文字を、メッセージパネルM内に順に表示させるものである。このメッセージパネルMには、入力が確定した文字だけでなく、入力受付中(すなわち入力確定前)の文字も表示される。入力文字表示制御部25は、入力確定後の文字と入力受付中の文字とで表示態様を異ならせてもよく、同じにしてもよい。
【0023】
インジケータ表示制御部26及びマーカー表示制御部27は、文字入力の補助をするためのものである。
【0024】
インジケータ表示制御部26は、
図4に示すように、注視点Gが留まっている文字パネルP(具体的には、注視時間を計測している文字パネルP)上に、入力が受け付けられるまでに必要な残りの注視時間(残注視時間ともいう)を示すプログレスインジケータIを表示させる。インジケータ表示制御部26は、文字入力部24が注視時間の計測を開始するとプログレスインジケータIを文字パネルP上に表示させ、残注視時間の長さに応じて、表示したプログレスインジケータIの態様を変化させる。そしてインジケータ表示制御部26は、文字入力部24が注視時間をリセットすると、表示していたプログレスインジケータIを非表示にする。
【0025】
マーカー表示制御部27は、ユーザの視線を引き付けるためのマーカーTを文字パネルPの中央に表示させるものである。ここでは、マーカー表示制御部27は、円形状のマーカーTを、文字盤Bが表示する複数の文字パネルPにそれぞれ表示させる。このマーカーTは、各文字パネルPにおいて、プログレスインジケータIよりも、文字パネルPの中心により近い位置に表示され、具体的には円環形状をなすプログレスインジケータIの内側に表示され、より具体的には文字パネルPの中心位置に表示される。本実施形態では注視点Gの位置に関わらず、全ての文字パネルPにマーカーTが表示されている。
【0026】
しかして本実施形態の視線入力装置100では、ユーザの視線を文字パネルP上で定めやすくするように、マーカー表示制御部27は、注視点Gが文字パネルP上に留まり続けると、当該文字パネルPに表示しているマーカーTの態様を変化させるように構成されている。
【0027】
具体的にこのマーカー表示制御部27は、注視点Gが文字パネルP上に留まり、文字入力部24による注視時間の計測が開始されると、当該文字パネルPに表示している円形状のマーカーTを伸ばして(あるいは細くして)針状に変形させ、これをクルクルと回転させる。ここで針状をなすマーカーTは、その中心位置(長手方向に沿った中心位置)が文字パネルPの中心位置と一致するように表示され、文字パネルの中心位置を軸にして回転する。なお、「針状」とは、両端が尖っているものに限らず、帯状や卵状等、円形状に比べて伸びた形状であればよい。
【0028】
マーカー表示制御部27は、注視点Gが文字パネルP上に留まっている間、すなわち文字入力部24による注視時間の計測が続いている間、マーカーTを回転させ続ける。この間マーカー表示制御部27は、マーカーTを更に変形(例えば、細くする、太くする、長くする、短くする等)させてもよく、またマーカーTの色を変えるようにしてもよい。
【0029】
またマーカー表示制御部27は、注視点Gの位置に応じてマーカーTの態様の変化量を変化させるように構成されており、注視点Gが文字パネルPの中心に近づくにつれてマーカーTの態様の変化量を大きくし、注視点Gが文字パネルPの中心から遠ざかるにつれてマーカーTの態様の変化量を小さくするように構成されている。具体的にこの実施形態では、注視点Gが文字パネルPの中心に近づくにつれてマーカーTの回転速度を上げ、注視点Gが文字パネルPの中心から遠ざかるにつれてマーカーTの回転速度を下げるように構成されている。なおマーカー表示制御部27は、注視点Gと文字パネルPの中心との間の距離に応じて、変化量を段階的に変えてもよいし、連続的に変えるようにしてもよい。
【0030】
そしてマーカー表示制御部27は、文字入力部24により文字の入力が受け付けられて注視時間がリセットされたり、注視点Gが文字パネルP外に移動したりすると、針状のマーカーTを円形状に戻すように変形させる。
【0031】
<視線入力装置100の動作>
次にこのような構成の視線入力装置100の文字入力時の動作について、
図5を用いて説明する。
【0032】
図5(a)に示すように、初期状態で文字パネルP(ここでは「い」の文字パネル)には円形状のマーカーTが表示されており、プログレスインジケータIが表示されていない。この状態で文字パネルP上に注視点Gが留まると、文字入力部24により注視時間の計測が開始される。
【0033】
図5(b)に示すように、注視時間の計測が開始すると、文字パネルP内にプログレスインジケータIが表示されバーが伸び始める。一方で、プログレスインジケータIが表示されるのと同時に、または異なるタイミングで、マーカーTの形状が円形状から針状に変形し、クルクルと回転し始める。
【0034】
そして
図5(c)に示すように、文字パネルP内に注視点Gが留まり続けている間、プログレスインジケータIのバーは円環状を成すように伸び続け、針状のマーカーTはクルクルと回転し続ける。その後、注視時間が閾値に達して文字の入力が受け付けられたり、注視点Gが文字パネルP外に移動すると、プログレスインジケータIは非表示となり、マーカーTが元の円形状に変形する。
【0035】
<本実施形態の視線入力装置100の効果>
このように構成された本実施形態の視線入力装置100によれば、ユーザの視線を引き付けるためのマーカーTを文字パネルPの中央に表示させ、注視点Gが文字パネルP上に留まり続けるとマーカーTの態様を変化させるように構成しているので、ユーザが文字パネルPを見ている間、その視線は態様が変化するマーカーTに自然と誘導されるようになる。その結果、ユーザはその視線を文字パネルPの中央で定めやすくでき、文字の入力操作のストレスを低減することができる。
【0036】
<その他の実施形態>
なお、本発明は前記実施形態に限られるものではない。
【0037】
例えば前記実施形態の視線入力装置100は画面31内に文字盤Bの全体を固定して表示させるものであったが、これに限らない。他の実施形態の視線入力装置100は、ユーザの視線に応じて画面31内で文字盤Bを移動させるタイプのものであってもよい。この視線入力装置100は、
図6に示すように、ユーザは視線を動かすことにより文字盤Bを画面31内で移動させ、画面31内の所定位置(例えば、画面31の中央)に設定された選択位置Sに所望の文字パネルを合わせることで、文字を入力できるように構成されてよい。この実施形態では、文字盤表示制御部23は、注視点推定部21から取得した注視点データに基づき、文字盤Bを画面31内で移動させる。具体的に文字盤表示制御部23は、
図6(a)に示すように、注視点Gに最も近い文字パネルPが画面31内の選択位置Sに向かうように文字盤Bを移動させる。そして
図6(b)に示すように、注視点Gが留まっている文字パネルPの中心が選択位置Sに一致すると、文字盤Bの移動が停止する。そしてこの状態で、文字入力部24により文字パネルPに対する注視時間が開始され、
図6(c)に示すように、選択位置Sにある文字パネルP上にプログレスインジケータIが表示されるとともに、マーカーTが円形状から針状に変形し、クルクルと回転し始める。その後は前記実施形態の視線入力装置100と同様に文字の入力動作を行うことができる。
【0038】
また前記実施形態では、注視点Gが文字パネルP上に留まり続けると、マーカーTが円形状から針状に変形してクルクルと回転していたが、これに限らない。注視点Gが文字パネルP上に留まり続けた際に、マーカーTの態様に何らかの変化をさせ続けるようにすれば、本発明の効果を奏することができる。例えば他の実施形態では、注視点Gが文字パネルP上に留まり続けると、円形状のマーカーTが変形することなく、文字パネルPの中心位置の周りをクルクルと回転するようにしてもよく、渦巻き状のマーカーTをクルクルと回転させるようにしてもよい。また他の実施形態では、注視点Gが文字パネルP上に留まり続けている間、マーカーTを回転させることなく、形状を変形させつづけるようにしてもよいし、色を変化させ続けるようにしてもよい。
【0039】
また前記実施形態では、全ての文字パネルPにマーカーTを表示するようにしていたがこれに限らない。他の実施形態では、注視点Gが文字パネルP上に留まると、文字パネルPの中央にマーカーTを表示させ、注視点Gが文字パネルP外に移動すると、マーカーTを日表示するようにしてもよい。
【0040】
また前記実施形態では、注視時間の計測が開示するとプログレスインジケータIを表示させるようにしていたがこれに限らない。他の実施形態では、プログレスインジケータIを表示させなくてもよい。
【0041】
さらに他の実施形態のマーカー表示制御部27は、注視点が文字パネル上に留まっている時間(すなわち注視時間)に応じて、マーカーTの態様の変化量を変化させるように構成されてよい。例えばマーカー表示制御部27は、注視時間が長くなるにつれて、針状のマーカーTの回転速度を上げるように構成されてもよい。
【0042】
前記各実施形態では、文字盤B内に碁盤目状に等間隔に並ぶように複数の文字パネルPが配置されていたがこれに限らない。例えば、複数の文字パネルPが放射状に配置されていたり、一列に並ぶように配置されてもよい。
【0043】
前記各実施形態での視線検出手段1は取付けタイプのものであったが、これに限定されない。他の実施形態では、視線検出手段1はディスプレイ3やコンピュータ本体2と一体型であってもよいし、ユーザの身体に取付けられるウェアラブル型のものであってもよい。またディスプレイ3の上部等任意の場所に取り付けられてもよい。
【0044】
前記各実施形態では、コンピュータ本体2は、メモリ202に記憶させたプログラムに基づいて、注視点推定部21等としての各機能を実現していたがこれに限定されない。他の実施形態では、コンピュータ本体2は、インターネット等のネットワークを介してクラウドにアクセスし、当該クラウド上に保存されたプログラムに基づいて、CPU201やその周辺機器が協働することにより、各機能を実現するようにしてもよい。
【0045】
前記各実施形態において、コンピュータ本体2及びディスプレイ3はノートパソコンに一体的に備えられていたが、これに限定されない。他の実施形態ではこれらは別体であってもよい。またディスプレイ3は、プロジェクターと投影スクリーンにより構成されていてもよい。またノートパソコンに限らず、スマートホンやタブレット等の形態型端末であってもよく、ヘッドマウントディスプレイ等のウェアラブル端末であってもよい。
【0046】
また他の実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援する用途に限らず、健常者の視線による文字入力を支援する用途で用いられてもよい。
【0047】
さらに本明細書の開示は、以下の態様1~9の視線入力装置を含み得る。
【0048】
(態様1)文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置であって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部とを備える視線入力装置。
このような構成であれば、ユーザの視線を引き付けるためのマーカーを文字パネルの中央に表示させ、注視点が文字パネル上に留まり続けるとマーカーの態様を変化させるように構成しているので、ユーザが文字パネルを見ている間、その視線は態様が変化するマーカーに自然と誘導されるようになる。その結果、ユーザはその視線を文字パネルの中央で定めやすくなり、文字の入力操作のストレスを低減することができる。
【0049】
(態様2)前記マーカー表示制御部は、針状をなす前記マーカーを表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーを回転させる態様1に記載の視線入力装置。
本発明者らが検討した結果、マーカーの形状を針状にし、これをくるくると回転させることで、視線を特に効果的に誘導して文字パネルPの中央に引き付けられることを見出した。そのためこのような構成とすることで、本発明の効果をより顕著にすることができる。
【0050】
(態様3)前記マーカー表示制御部は、円形状の前記マーカーをまず表示させ、前記注視点が前記文字パネル上に留まり続けると当該マーカーの形状を針状に変形させる態様2に記載の視線入力装置。
このような構成であれば、マーカーを円形状から針状に変形させるアニメーション動作によりユーザの視線を文字パネルの中央に引き付けることができる。ユーザが見ていない文字パネルではマーカーを地味な円形状として表示させるので、ユーザの視線が他の文字パネルのマーカー引き寄せられることを防止できる。
【0051】
(態様4)前記マーカー表示制御部は、針状をなす前記マーカーを、その中心位置が前記文字パネルの中心位置と一致するように表示させ、前記文字パネルの中心位置を軸にして回転させる態様2又は3に記載の視線入力装置。
このような構成であれば、ユーザの視線を文字パネルの中心位置に吸い寄せるように誘導させることができ、本発明の効果をより顕著にできる。
【0052】
(態様5)前記マーカー表示制御部は、前記注視点が前記文字パネルの中心に近づくにつれて、前記マーカーの態様の変化量を大きくする態様1~4のいずれかに記載の視線入力装置。
このような構成であれば、視線が文字パネルの中心に近づくほど変化量が大きくなるようにしているので、ユーザは無意識のうちに文字パネルの中心に視線を合わせたくなり、その視線を文字パネルの中心近傍でより定めやすくなる。
【0053】
(態様6)前記マーカー表示制御部は、前記注視点が前記文字パネル上に留まっている時間が長くなるにつれて、前記マーカーの態様の変化量を大きくする態様1~5のいずれかに記載の視線入力装置。
文字パネル上に視線を留めておくと、時間の経過とともに集中力が低下して視線がフラ付きやすくなるが、このような構成にすれば、文字パネルを見ている時間が長くなるにつれて記マーカーの態様の変化量を大きくするようにしているので、時間の経過に伴うユーザの集中力の低下を抑制し、その視線を文字パネルの中心近傍で定めやすくできる。
【0054】
(態様7)前記マーカー表示制御部は、前記注視点が1つの前記文字パネル上に留まると前記マーカーを表示させ、前記注視点が当該文字パネルの外に移動すると前記マーカーを非表示にする態様1~6のいずれかに記載の視線入力装置。
このような構成であれば、注目している文字パネルにのみマーカーを表示させるので、ユーザの視線が他の文字パネルのマーカー引き寄せられることを防止できる。
【0055】
(態様8)前記注視点が1つの前記文字パネル上に留まると、当該文字パネル上に、文字の入力が受け付けられるまでの残り時間を示すプログレスインジケータを表示するインジケータ表示制御部を更に備え、前記マーカー表示制御部が、前記マーカーを、前記プログレスインジケータよりも、より前記文字パネルの中心に近い位置に表示させる態様1~7のいずれかに記載の視線入力装置。
入力が受け付けられるまでの残り時間を示すプログレスインジケータを表示させるようにすると、ユーザの視線は無意識にプログレスインジケータにつられてふら付いてしまうため、このようなプログレスインジケータを表示させる態様において本発明の効果はより顕著になる。この態様であれば、プログレスインジケータよりも文字パネルの中心に近い位置にマーカーを表示させることで、プログレスインジケータに向いたユーザの視線をパネルの中心に引き戻しやすくできる。
【0056】
(態様9)文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のプログラムであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル上に所定時間留まり続けると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記ユーザの視線を引き付けるためのマーカーを前記文字パネルの中央に表示させ、前記注視点が前記文字パネル上に留まり続けると前記マーカーの態様を変化させるマーカー表示制御部としての機能をコンピュータに発揮させる視線入力装置用のプログラム。
このような視線入力装置用のプログラムであれば、前記した各態様の視線入力装置と同様の作用効果を奏し得る。
【0057】
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。
【符号の説明】
【0058】
100・・・視線入力装置
31 ・・・画面
G ・・・注視点位置
P ・・・文字パネル
T ・・・マーカー