(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024016984
(43)【公開日】2024-02-08
(54)【発明の名称】視線入力装置及び視線入力装置用のプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240201BHJP
G09B 21/00 20060101ALI20240201BHJP
【FI】
G06F3/01 510
G09B21/00 H
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022119312
(22)【出願日】2022-07-27
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り ・令和3年8月6日にダブル技研株式会社(神奈川県座間市栗原920-7)、株式会社みどりのまきば企画(千葉県船橋市本町4丁目38-28-613)にて公開。 ・令和3年8月18日にhttps://orangearch-labo.com/にて公開。 ・令和3年8月24日にダブル技研株式会社(神奈川県座間市栗原920-7)にて公開。
(71)【出願人】
【識別番号】505125945
【氏名又は名称】学校法人光産業創成大学院大学
(74)【代理人】
【識別番号】100121441
【弁理士】
【氏名又は名称】西村 竜平
(74)【代理人】
【識別番号】100154704
【弁理士】
【氏名又は名称】齊藤 真大
(74)【代理人】
【識別番号】100206151
【弁理士】
【氏名又は名称】中村 惇志
(74)【代理人】
【識別番号】100218187
【弁理士】
【氏名又は名称】前田 治子
(72)【発明者】
【氏名】宇田 竹信
(72)【発明者】
【氏名】本山 功
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA01
5E555BA01
5E555BB01
5E555BC01
5E555BE08
5E555CB33
5E555CB44
5E555CB65
5E555CC02
5E555CC03
5E555DA01
5E555DB20
5E555DB41
5E555DC05
5E555FA00
(57)【要約】
【課題】画面に表示した複数の文字パネルを視線により選択して文字を入力する視線入力装置において、文字の入力操作の取消を簡単にできるようにする。
【解決手段】
文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置であって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部とを備える視線入力装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置であって、
前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、
推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、
前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部とを備える視線入力装置。
【請求項2】
前記文字入力部は、前記注視点が前記取消ボタン上に留まり続けると、受け付けた前記文字の入力の取り消しを決定する請求項1に記載の視線入力装置。
【請求項3】
前記表示制御部は、前記文字の入力の取り消しが決定すると、前記取消ボタンを前記文字パネルに切り替えて表示させる請求項2に記載の視線入力装置。
【請求項4】
前記表示制御部は、前記取消ボタンを、前記文字パネルと同じ大きさで、かつ前記文字パネルと同じ位置に表示させる請求項1に記載の視線入力装置。
【請求項5】
前記表示制御部は、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルが示す文字を、予め関連付けられた他の文字に切り替えて表示させ、
前記文字入力部は、前記文字パネルが示す文字が切り替わる度に文字の入力を受け付ける請求項1に記載の視線入力装置。
【請求項6】
前記文字入力部は、前記注視点が前記文字パネル外に移動すると、受け付けている前記文字の入力を確定させる請求項5に記載の視線入力装置。
【請求項7】
前記表示制御部は、前記文字パネル内に示す文字を予め関連付けられた全ての文字に切り替えて表示した後、当該文字パネルを前記取消ボタンに切り替えて表示させる請求項5又は6に記載の視線入力装置。
【請求項8】
前記文字パネルに初めに示されている文字が清音の仮名文字であり、これに切り替えて表示される前記他の文字が、濁音の仮名文字、半濁音の仮名文字、拗音の仮名文字及び小書きの仮名文字から選択される1種以上である請求項5に記載の視線入力装置。
【請求項9】
文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のプログラムであって、
前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、
推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、
前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部としての機能をコンピュータに発揮させる視線入力装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画面に表示された文字をユーザの視線により選択して入力できるようにする視線入力装置、及び視線入力装置用のプログラムに関する。
【背景技術】
【0002】
近年、重度の肢体麻痺等により手足や口を満足に動かすことができない患者の意思伝達を支援するツールとして、複数の文字を画面に並べて表示させ、当該文字をユーザの視線により選択することで、患者の意思を伝達できるようにした視線入力装置が開発されている。
【0003】
このような視線入力装置として、特許文献1には、例えば平仮名等の文字を示す複数の文字パネルが並んだ仮想的な文字盤を画面上に表示させ、所望の文字パネルを視線により選択して、文字を入力できるようにするものが開示されている。この視線入力装置は、カメラ等によりユーザの視線を検出し、ユーザの視線が文字盤内の1つの文字パネルに留まると当該文字パネルが示す文字の入力を受け付け、当該文字を画面上の所定領域に表示するよう構成されている。これによりユーザは、画面に表示された文字パネルを視線により1つずつ選択してメッセージを作成し、自分の意思を他人に伝えることができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで従来の視線入力装置では、意図しない文字を誤って入力してしまった場合、当該入力操作を取り消すには、ユーザは文字盤の所定位置に設定されている削除ボタンに視線を移動させてこれを注視し続ける必要があり、ストレスを感じやすいという問題がある。
【0006】
本発明はこのような問題に鑑みてなされたものであり、画面に表示した複数の文字パネルを視線により選択して文字を入力できるようにする視線入力装置において、入力操作の取消を簡単にできるようにすることを主たる目的とする。
【課題を解決するための手段】
【0007】
すなわち本発明に係る視線入力装置は、文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにするものであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させることを特徴とする。
【0008】
このような構成であれば、ユーザが文字パネルを見続けると、この文字パネルが文字の入力を取り消すための取消ボタンに切り替わるので、ユーザは、意図しない文字を誤って入力した際に視線を大きく移動させることなく(すなわち文字パネルの外に視線を移動させることなく)、その誤った入力操作を簡単に取り消すことができる。
【0009】
前記文字入力部は、前記注視点が前記取消ボタン上に留まり続けると、受け付けた前記文字の入力の取り消しを決定するのが好ましい。
このようにすれば、文字パネルに視線を留めてから、その後大きく移動させることなく同じ位置を見続けているだけで文字入力の取消まで行えるので、取消操作をより簡単にできる。
【0010】
前記表示制御部は、前記文字の入力の取り消しが決定すると、前記取消ボタンを前記文字パネルに切り替えて表示させるのが好ましい。
このようにすれば、ユーザは、文字の入力を間違って取り消してしまっても、視線を移動させることなく直ぐに文字の入力を行うことができる。
【0011】
前記表示制御部は、前記取消ボタンを、前記文字パネルと同じ大きさで、かつ前記文字パネルと同じ位置に表示させるのが好ましい。
このようにすれば、文字パネルがそのまま同じ大きさでかつ同じ位置で取消ボタンに切り替わるので、入力操作の取り消しをより簡単に行うことができる。またこのようにすれば、取消ボタンを周りの文字パネルと被らないように表示できるので、ユーザは取消操作後、速やかに他の文字パネルを選ぶことができる。
【0012】
前記視線入力装置は、前記表示制御部は、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルが示す文字を、予め関連付けられた他の文字に切り替えて表示させ、前記文字入力部は、前記文字パネルが示す文字が切り替わる度に文字の入力を受け付けるのが好ましい。
このような構成であれば、ユーザが所定の文字パネルを見続けると、これに関連する関連文字が切り替えて表示されるので、ユーザは視線を大きく移動させることなく所望の関連文字を選択することができ、目の負担を軽減できる。
一方でこのような構成にすると、文字パネルを見続けていると文字が切り替わり、その度に文字の入力が受け付けられるので、ユーザは意図しない文字を入力してしまいやすくなる。そのため、このような注視点が留まり続けると文字が切り替わる文字パネルがある場合に、本発明の効果が特に顕著となる。
【0013】
また前記視線入力装置では、前記文字入力部は、前記注視点が前記文字パネル外に移動すると、受け付けた前記文字の入力を確定させるのが好ましい。
このような構成であれば、ユーザは、文字パネルを見続けて入力したい関連文字を選択し、文字パネルから視線を外すことでその入力を確定できるので、関連文字の入力を簡単に行うことができる。
一方で、文字パネルを見続けて文字の入力が受け付けられると、文字パネルから視線を外すと文字の入力が確定してしまうので、ユーザは意図しない文字を入力してしまいやすくなる。そのため、このような態様であれば本発明の効果がより一層顕著になる。
【0014】
また前記表示制御部の具体的態様としては、前記文字パネル内に示す文字を予め関連付けられた全ての文字に切り替えて表示した後、当該文字パネルを前記取消ボタンに切り替えて表示させるものが挙げられる。
このようにすれば、ユーザは文字パネルを見続けて所望の関連文字が表示されなかった場合でも、そのまま文字パネルを見続けることで受け付けられた入力操作の取り消しを行うことができる。
【0015】
前記視線入力装置の具体的態様としては、前記文字パネルに初めに示されている文字が清音の仮名文字であり、これに切り替えて表示される前記他の文字が、濁音の仮名文字、半濁音の仮名文字、拗音の仮名文字及び小書きの仮名文字から選択される1種以上であるものが挙げられる。
【0016】
また本発明に係る視線入力装置用のプログラムは、文字を示す複数の文字パネルを画面に表示させ、当該複数の文字パネルをユーザの視線により選択して文字を入力できるようにする視線入力装置用のものであって、前記画面内におけるユーザの注視点の位置を推定する注視点推定部と、推定した前記注視点が1つの前記文字パネル内に留まると、当該文字パネルが示す文字の入力を受け付ける文字入力部と、前記文字パネル内に前記注視点が留まり続けると、当該文字パネルを、受け付けた前記文字の入力を取り消すための取消ボタンに切り替えて表示させる表示制御部としての機能をコンピュータに発揮させることを特徴とする。
このような視線入力装置用プログラムであれば、上記した本発明の視線入力装置用と同様の作用効果を奏することができる。
【発明の効果】
【0017】
このようにした本発明によれば、画面に表示した複数の文字パネルを視線により選択して文字を入力できるようにする視線入力装置において、入力操作の取消を簡単に行うことができる。
【図面の簡単な説明】
【0018】
【
図1】本実施形態の視線入力装置の全体構成を模式的に示す図。
【
図2】同実施形態の視線入力装置の機器構成を示す構成図。
【
図3】同実施形態の視線入力装置の機器構成を示す機能ブロック図。
【
図4】同実施形態の視線入力装置の表示画面の一部を示す図。
【
図5】同実施形態における視線入力装置の動作を示す画面表示図。
【
図6】同実施形態における視線入力装置の動作を示す画面表示図。
【
図7】他の実施形態における視線入力装置の表示画面を部分的に示す図。
【発明を実施するための形態】
【0019】
以下に本発明の視線入力装置の一実施形態について、図面を参照して説明する。
【0020】
<視線入力装置100の構成>
本実施形態の視線入力装置100は、手足や口を動かすことが困難な人等の意思伝達を支援するためのものであり、パソコン等の画面31に表示された仮想的な文字盤(キーボードともいう)B上の文字をユーザの視線により選択して入力できるようにするものである。
【0021】
具体的にこの視線入力装置100は、
図1に示すように、ユーザの視線を検出する視線検出手段1と、コンピュータ本体2及びディスプレイ3を一体的に有するノートパソコンCとを備えている。ディスプレイ3の画面31には、平仮名等の文字が複数並べて配置された仮想的な文字盤(以下、単に文字盤と記載する)Bと、入力された文字が表示されるメッセージパネルMとが表示されている。ユーザが文字盤B上の入力したい文字を注視し続けることで文字を入力でき、メッセージパネルM上に表示することができる。このようにして複数の文字を入力することで、メッセージパネルM上にメッセージを表示させ、自らの意思を伝達することができる。
【0022】
視線検出手段1は、ディスプレイ3の画面31に向けられたユーザの視線の方向等を検出し、その検出結果を視線データとして出力するものである。具体的にこの視線検出手段1は、角膜反射法を利用したものであり、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線の方向等を検出し、視線データとして出力する視線データ出力部(不図示)とを備えている。なお、本実施形態の視線検出手段1は所謂取付けタイプのものであり、前記光源及びカメラがユーザの顔面を向くようにしてディスプレイ3の下部に取付けられている。
【0023】
コンピュータ本体2は、構造的には
図2に示すように、CPU201、メモリ202、入出力インターフェース203等を備えている。このコンピュータ本体2は、前記メモリ202に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU201やその周辺機器が協働することにより、
図3に示すように、注視点推定部21、文字データ格納部22、文字盤表示制御部23、文字入力部24、入力文字表示制御部25としての機能を少なくとも発揮するように構成されている。以下、各部について説明する。
【0024】
注視点推定部21は、視線検出手段1の検出結果に基づいて、画面31上におけるユーザの注視点Gの位置を推定するものである。具体的には、視線検出手段1から視線信号を受け付け、当該視線信号に基づいて画面31上におけるユーザの注視点Gの位置を推定する。そして推定した注視点Gの位置を示す注視点データを文字入力部24及び文字盤表示制御部23に出力する。なお本実施形態では、
図1に示すように、推定した注視点Gの位置にはポインタを表示するようにしている。
【0025】
文字データ格納部22は、前記メモリ202の所定領域に設定されたものであり、文字盤Bに表示する各種文字のコード等を示す文字データが格納されている。なお本実施形態で言う「文字」とは、例えば、平仮名、片仮名、漢字、英数字、ローマ字、記号、絵文字、顔文字等である。
【0026】
文字盤表示制御部23は、文字データ格納部22を参照して複数の文字が配列された文字盤Bを示す文字盤データを作成し、これを文字入力部24及びディスプレイ3に出力する。この文字盤データには、文字の表示態様及び画面上での表示位置に関する情報が含まれている。
【0027】
図1に示すように、この文字盤表示制御部23は、画面31内の所定位置に文字盤Bの全体を固定して表示させる。文字盤Bには、正方形状をなす複数の文字パネルPが碁盤目状(マトリクス状)に並べて表示されており、各文字パネルPには文字(ここでは清音の平仮名文字)が1つずつ表示されている。ここでは互いに隣り合う文字パネルPが隙間なく並ぶように表示されているが、文字パネルP間には隙間があってもよい。そして各文字パネルPにおいて、各文字はその中心位置(重心位置)が各文字パネルPの中心位置と一致するように表示されている。本実施形態では各文字パネルPの領域を示す枠線が画面31上に表示されているが、この枠線は非表示であってもよい。
【0028】
そして文字盤表示制御部23は、文字盤B内の所定の文字パネルP内に注視点Gが留まり続けると、当該文字パネルPが示す文字(親文字ともいう)を、予め関連付けられた文字(関連文字ともいう)に切り替えて表示させるように構成されている。
【0029】
この関連文字とは、親文字についての変換候補たる文字を意味する。例えば本実施形態では、文字データ格納部22には、親文字として「清音の平仮名文字」を示すデータが格納されており、関連文字として、その「濁音文字」、「半濁音文字」、「拗音文字」及び「小書き文字」等から選択される1種以上の文字データが格納されている。例えば、親文字としての清音の平仮名文字「つ」を示す文字パネルPには、濁音文字「づ」及び小書き文字「っ」がその関連文字として紐付けられている。
【0030】
文字盤表示制御部23は、関連文字が紐付けられている文字パネルP内に注視点Gが留まり続けると、文字パネルP内に示されている親文字に代えて、その関連文字を所定の順番で1つずつ切り替えて表示する。そして全ての関連文字を切り替えて表示した後、文字パネルP内に親文字を再び表示する。すなわち文字盤表示制御部23は、文字パネルP内にある親文字とこれに関連する複数の関連文字とを、繰り返し次々と表示するように構成されている。なお、文字盤表示制御部23は、関連文字が紐付けられていない文字パネルP内に注視点Gが留まり続けても、文字パネルPが示す文字を切り替えない。
【0031】
各関連文字は、文字パネルP内において、親文字が表示されていた位置と略同じ位置に次々と表示される。すなわち、文字パネルP内において関連文字は、その中心位置が親文字の中心位置に一致するようにして次々と表示される。
【0032】
文字盤表示制御部23による親文字及び関連文字の切り替えは、一定の時間間隔T1(例えば1秒)毎に行なわれる。具体的には、文字パネルP内に注視点Gが留まってから時間間隔T1が経過すると、親文字に代えて1つ目の関連文字が表示され、その後一定の時間間隔T1毎に関連文字が次々と切り替えて表示される。
【0033】
文字入力部24は、推定された注視点Gの位置に基づいて文字の入力を受け付け、これを入力文字データとして入力文字表示制御部25に出力するものである。具体的に文字入力部24は、1つの文字パネルP内に注視点Gが留まると、当該文字パネルP内に注視点Gが留まり続けている時間(すなわち注視時間)を計測する。そして文字入力部24は、計測した注視時間が所定の時間間隔T2(例えば1秒)に達すると、当該文字パネルPが示す文字の入力を受け付ける。すなわち文字入力部24は、文字パネルP内に注視点が留まり続けることで(言い換えれば、ユーザが文字パネルPを注視し続けることで)、当該文字パネルPが示す文字に対する入力操作を受け付ける。なお、入力の受け付けを決定する時間間隔T2は、前記した文字パネルP内の文字が切り替わる時間間隔T1と同じである。
【0034】
また関連文字が紐付けられている文字パネルP内に注視点Gが留まり続ける場合、文字入力部24は、文字パネルPが示す文字が切り替わる度に、文字の入力を受け付け、既に入力を受け付けている文字がある場合には、この入力受付状態にある文字を更新(変更)する。より具体的には、文字入力部24は、親文字を示す文字パネルP内に注視点Gが所定時間間隔T1留まり続け、文字パネルPが示す文字が1つ目の関連文字(第1関連文字)に切り替わると、切替前に表示されていた親文字の入力を受け付ける。そして、文字入力部24は、第1関連文字を示す文字パネルP内に注視点Gが所定時間間隔T1留まり続け、文字パネルPが示す文字が次の関連文字(第2関連文字)に切り替わると、入力を受け付けている文字を、親文字から第1文字に更新(変更)する。つまり文字入力部24は、文字パネルP内に注視点Gが留まり続け、文字パネルPに示される文字が次々切り替わる場合、切替の直前に表示されていた文字を、入力を受け付けている文字とする。
【0035】
そして文字入力部24は、文字の入力を受け付けている状態で、注視点Gが文字パネルP外に移動すると(あるいは、他の文字パネルPに移動すると)、当該受け付け中の文字の入力を確定させ、入力が確定したことを示す入力確定信号を入力文字表示制御部25に出力する。
【0036】
入力文字表示制御部25は、メッセージパネルMを画面31に表示させると共に、入力された文字を、メッセージパネルM内に順に表示させるものである。このメッセージパネルMには、入力が確定した文字だけでなく、入力受付中(すなわち入力確定前)の文字も表示される。入力文字表示制御部25は、文字入力部24が文字の入力を受け付けると即座に、当該文字をメッセージパネルMに表示させる。そして入力文字表示制御部25は、文字入力部24が入力を受け付けている文字を更新すると即座に、即座にメッセージパネルM内に表示している入力受付中の文字の表示を更新する。入力文字表示制御部25は、入力確定後の文字と入力受付中の文字とで表示態様を異ならせてもよく、同じにしてもよい。
【0037】
しかしてこの視線入力装置100は、意図しない文字をユーザが誤って入力してしまった際に、この入力操作を簡単に取り消しできるように、文字盤表示制御部23は、文字パネルP内に注視点Gが留まり続けると、当該文字パネルPを、受け付けた文字の入力を取り消すための取消ボタンQに切り替えて表示させる。
【0038】
具体的にこの文字盤表示制御部23は、文字パネルP内に注視点Gが留まり続けると、当該文字パネルPが示す文字の入力が受け付けられて以降であって、文字の入力が確定する前に、当該文字パネルPを取消ボタンQを切り替えて表示させる。
図4に示すように、文字盤表示制御部23は、文字パネルPと同じ大きさで、かつ同じ位置に取消ボタンQを表示させる。
【0039】
関連文字が紐付けられている文字パネルP内に注視点Gが留まり続ける場合、文字盤表示制御部23は、文字パネルP内の文字を、予め関連付けられた全ての関連文字に切り替えて表示した後、文字パネルPを取消ボタンQに切り替えて表示させる。より具体的には、最後に切り替わった関連文字が表示されてから所定時間間隔T1が経過し、当該関連文字の入力が受け付けられる(すなわち、入力受付け中の文字が更新される)と同時に又は即座に、当該文字パネルPを取消ボタンQに切り替えて表示させる。
【0040】
一方で、関連文字が紐付けられていない文字パネルP内に注視点Gが留まり続ける場合、文字盤表示制御部23は、注視点Gが留まり始めて所定時間間隔T2が経過して文字の入力が受け付けられると同時に又は即座に、当該文字パネルPを取消ボタンQに切り替えて表示させる。
【0041】
そして、文字入力部24は、注視点Gが取消ボタンQ上に所定時間間隔T3(例えば1s)留まり続けると、直近で受付けた文字の入力の取り消しを決定する。当該所定時間間隔T3は、文字パネルP内の文字が切り替わる時間間隔T1と同じである。一方で、所定時間間隔T3が経過する前に注視点Gが取消ボタンQから外れる(すなわち他の文字パネルPに移動すると)、受け付けている文字の入力を確定させる。そして入力文字表示制御部25は、文字入力部24が文字の入力を取り消し決定すると同時に又は即座に、メッセージパネルMに表示している入力受付け中の文字を削除する。また文字盤表示制御部23は、文字入力部24が文字の入力を取り消し決定すると同時に又は即座に、取消ボタンQを元の文字パネルPに切り替えて表示させる。
【0042】
<視線入力装置100の動作>
次にこのような構成の視線入力装置100の動作について、
図5及び
図6を用いて説明する。
【0043】
(1)関連文字が紐付いていない文字パネルの入力動作及び入力取消動作
図5(a)に示すように、関連文字が紐付いていない文字パネルP(ここでは「な」の文字パネル)内に注視点Gが留まると、当該注視点Gが文字パネルP内に留まり続けている時間(注視時間)が計測される。この際、経過時間を示すインジケータ等が文字パネルP内に表示されてもよい。
【0044】
計測している注視時間が所定の時間間隔T2に達すると、文字「な」の入力が受け付けられ、
図5(b)に示すようにメッセージパネルMに文字「な」が表示される。そしてこれと同時に、「な」を示していた文字パネルPが取消ボタンQに切り替わる。取消ボタンQが表示されると同時に、注視点Gが取消ボタンQ上に留まり続ける時間(注視時間)の計測が開始される。この際、経過時間を示すインジケータ等が取消ボタンQ上に表示されてもよい。
【0045】
図5(c)に示すように、取消ボタンQが表示されてから所定時間間隔T3が経過する前に、注視点Gが取消ボタンQから外れて他の文字パネルP(例えば「に」の文字パネル)に移動すると、受付中の文字「な」の入力が確定し、これと同時に取消ボタンQは元の文字パネルP(「な」を示す文字パネル)に切り替わる。
【0046】
一方で、
図5(d)に示すように、注視点Gが取消ボタンQ上に留まり続けて所定時間間隔T3が経過すると、受け付けていた文字「な」の入力が取り消され、メッセージパネルMから入力受付中の文字「な」が削除される。そしてこれと同時に、取消ボタンQは元の文字パネルP(「な」を示す文字パネル)に切り替わる。
【0047】
(2)関連文字が紐付いている文字パネルの入力動作及び入力取消動作
まず
図6(a)に示すように、関連文字が紐付いている文字パネルP(ここでは「は」の文字パネル)内に注視点Gが留まると、当該注視点Gが文字パネルP内に留まり続けている時間(注視時間)が計測される。この際、経過時間を示すインジケータ等が文字パネルP内に表示されてもよい。
【0048】
計測している注視時間が所定の時間間隔T1に達すると、親文字である文字「は」の入力が受け付けられ、
図6(b)に示すようにメッセージパネルMに文字「は」が表示される。そしてこれと同時に、文字パネルPが示す文字が、親文字「は」から1つ目の関連文字「ば」に切り替わり、文字パネルPに対する注視時間の計測が再び開始される。
【0049】
ここで
図6(c)に示すように、1つ目の関連文字「ば」に切り替わってから所定時間間隔T1が経過する前に、注視点Gが他の文字パネルP(例えば「ひ」の文字パネル)に移動すると、受付中の文字「は」の入力が確定し、これと同時に文字パネルPが示す文字が親文字「は」に切り替わる。
【0050】
一方で、
図6(d)に示すように、文字パネルPに対する注視時間が所定時間間隔T1に達すると、入力受付中の文字が「は」から「ば」に更新(又は変更)され、メッセージパネルMに表示されている入力受付中の文字「は」が、更新後の文字「ば」に切り替わる。そしてこれと同時に、文字パネルPが示す文字が、1つ目の関連文字「ば」から2つ目の関連文字「ぱ」に切り替わり、文字パネルPに対する注視時間の計測が再び開始される。
【0051】
ここで
図6(e)に示すように、2つ目の関連文字「ぱ」に切り替わってから所定時間間隔T1が経過する前に、注視点Gが他の文字パネルPに移動すると、受付中の文字「ば」の入力が確定し、これと同時に文字パネルPが示す文字が親文字「は」に切り替わる。
【0052】
一方で、
図6(f)に示すように、文字パネルPに対する注視時間が所定時間間隔T1に達すると、入力受付中の文字が「ば」から「ぱ」に更新され、メッセージパネルMに表示されている入力受付中の文字「ば」が、更新後の文字「ぱ」に切り替わる。そしてこれと同時に、「ぱ」を示していた文字パネルPが取消ボタンQに切り替わり、注視点Gが取消ボタンQ上に留まり続ける時間(注視時間)の計測が開始される。
【0053】
ここで
図6(g)に示すように、取消ボタンQが表示されてから所定時間間隔T3が経過する前に、注視点Gが取消ボタンQから外れて他の文字パネルPに移動すると、受付中の文字「ぱ」の入力が確定し、これと同時に取消ボタンQは、親文字を示す元の文字パネルP(「は」を示す文字パネル)に切り替わる。
【0054】
一方で、
図6(h)に示すように、注視点Gが取消ボタンQ上に留まり続けて所定時間間隔T3が経過すると、受け付けていた文字「ぱ」の入力が取り消され、メッセージパネルMから入力受付中の文字「ぱ」が削除される。そしてこれと同時に、取消ボタンQは元の文字パネルP(「は」を示す文字パネル)に切り替わる。
【0055】
<本実施形態の視線入力装置100の効果>
このように構成された本実施形態の視線入力装置100によれば、ユーザが文字パネルPを見続けると、この文字パネルPが文字の入力を取り消すための取消ボタンQに切り替わるので、ユーザは、意図しない文字を誤って入力した際に視線を大きく移動させることなく(すなわち文字パネルPの外に視線を移動させることなく)、その誤った入力操作を簡単に取り消すことができる。
【0056】
<その他の実施形態>
なお、本発明は前記実施形態に限られるものではない。
例えば前記実施形態の視線入力装置100は画面31内に文字盤Bの全体を固定して表示させるものであったが、これに限らない。他の実施形態の視線入力装置100は、ユーザの視線に応じて画面31内で文字盤Bが移動するものであってもよい。この視線入力装置100では、
図7に示すように、ユーザは視線を動かすことにより文字盤Bを画面31内で移動させ、画面31内の所定位置に設定された選択位置Sに所望の文字パネルを合わせることで、文字を入力できるようにされてよい。この実施形態では、文字盤表示制御部23は、注視点推定部21から取得した注視点データに基づき、文字盤Bを画面31内で移動させる。具体的に文字盤表示制御部23は、
図7(a)に示すように、注視点Gに最も近い文字パネルPが画面31内に選択位置Sに向かうように文字盤Bを移動させる。そして
図7(b)に示すように、注視点Gが留まっている文字パネルPの中心が選択位置Sに一致すると、文字盤Bの移動が停止する。そしてこの状態で文字パネルPに対する注視時間が開始され、その後は前記実施形態の視線入力装置100と同様に文字の入力動作及び入力取消動作を行うことができる。
【0057】
前記各実施形態では、文字盤B内に碁盤目状に等間隔に並ぶように複数の文字パネルPが配置されていたがこれに限らない。例えば、複数の文字パネルPが放射状に配置されていたり、一列に並ぶように配置されてもよい。
【0058】
また前記実施形態では、取消ボタンQは、文字パネルPと同じ大きさで同じ位置に表示されたがこれに限らない。他の実施形態では、取消ボタンQは、切り替わり前の文字パネルPよりも面積が大きくなるように表示されてもよい。
【0059】
前記各実施形態での視線検出手段1は取付けタイプのものであったが、これに限定されない。他の実施形態では、視線検出手段1はディスプレイ3やコンピュータ本体2と一体型であってもよいし、ユーザの身体に取付けられるウェアラブル型のものであってもよい。またディスプレイ3の上部等任意の場所に取り付けられてもよい。
【0060】
前記各実施形態では、コンピュータ本体2は、メモリ202に記憶させたプログラムに基づいて、注視点推定部21等としての各機能を実現していたがこれに限定されない。他の実施形態では、コンピュータ本体2は、インターネット等のネットワークを介してクラウドにアクセスし、当該クラウド上に保存されたプログラムに基づいて、CPU201やその周辺機器が協働することにより、注視点推定部21等としての各機能を実現するようにしてもよい。
【0061】
前記各実施形態において、コンピュータ本体2及びディスプレイ3はノートパソコンに一体的に備えられていたが、これに限定されない。他の実施形態ではこれらは別体であってもよい。またディスプレイ3は、プロジェクターと投影スクリーンにより構成されていてもよい。またノートパソコンに限らず、スマートホンやタブレット等の形態型端末であってもよく、ヘッドマウントディスプレイ等のウェアラブル端末であってもよい。
【0062】
また他の実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援する用途に限らず、健常者の視線による文字入力を支援する用途で用いられてもよい。
【0063】
その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。
【符号の説明】
【0064】
100・・・視線入力装置
1 ・・・視線検出手段
21 ・・・注視点推定部
23 ・・・文字盤表示制御部
24 ・・・文字入力部
31 ・・・画面
G ・・・注視点位置
P ・・・文字パネル