特許 5976708 電子機器及び操作支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5976708

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月24日

(54)【発明の名称】電子機器及び操作支援プログラム

(51)【国際特許分類】

   G06F 3/041 20060101AFI20160817BHJP

   G06F 3/038 20130101ALI20160817BHJP

   G06F 3/0346 20130101ALI20160817BHJP

【ＦＩ】

   G06F3/041 520

   G06F3/038 310A

   G06F3/0346 423

【請求項の数】4

【全頁数】19

(21)【出願番号】特願2014-53325(P2014-53325)

(22)【出願日】2014年3月17日

(65)【公開番号】特開2015-176429(P2015-176429A)

(43)【公開日】2015年10月5日

【審査請求日】2016年3月18日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】▲高▼橋 稔

(72)【発明者】

【氏名】大岸 良輔

(72)【発明者】

【氏名】新田 剛

(72)【発明者】

【氏名】丹波 正登

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２０１３−２２２４３８（ＪＰ，Ａ）

【文献】 特開２００９−１１０２７５（ＪＰ，Ａ）

【文献】 特開２０１２−２５２６２７（ＪＰ，Ａ）

【文献】 特開２０１４−００７４３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

ユーザーによるタッチ入力の操作点の座標を検出するタッチパネルと、
前記ユーザーによる前記タッチパネルのタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられた前記タッチパネル上の注視点の座標を算出する視線検出手段と、
該視線検出手段により算出された前記タッチパネル上の前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出する視線補正領域算出手段と、
前記操作点の座標が、前記視線補正領域算出手段により算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更しない操作座標視線補正手段と、
前記操作点の座標、前記注視点の座標、及び前記操作座標視線補正手段による前記操作点の座標の変更の結果を操作補正結果情報として保持する操作補正結果情報保持手段と、
前記操作座標視線補正手段により変更された又は変更されなかった前記操作点の座標に対応する表示を行う表示手段と、
前記操作座標視線補正手段による前記操作点の座標の変更後に、前記表示手段に表示された前記表示について前記ユーザーによる修正を検出した場合、前記操作補正結果情報保持手段により保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正する視線補正時間領域修正手段とを備える
ことを特徴とする電子機器。

【請求項2】

前記視線補正時間領域修正手段は、
前記ユーザーによる修正が前記注視点の前記表示と一致する場合は前記視線補正範囲を拡大し、
前記ユーザーによる修正が前記操作点の前記表示と一致する場合は前記視線補正範囲を縮小し、
前記ユーザーによる修正が前記注視点の前記表示及び前記操作点の前記表示のいずれとも一致しない場合は前記操作補正結果情報により前記視線補正範囲を移動させる
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記操作座標視線補正手段は、
前記操作点の座標の変更後に前記ユーザーが前記表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更しない
ことを特徴とする請求項１又は２に記載の電子機器。

【請求項4】

電子機器により実行される操作支援プログラムにおいて、前記電子機器に、
ユーザーによるタッチ入力の操作点の座標を検出させ、
ユーザーによるタッチ入力の時点から特定の時間の範囲で、ユーザーの視線が向けられた注視点の座標を算出させ、
算出された前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出させ、
前記操作点の座標が、算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更させ、前記視線補正領域内になかった場合には前記操作点の座標を変更させず、
前記操作点の座標、前記注視点の座標、及び前記操作点の座標の変更の結果を操作補正結果情報として保持し、
変更された又は変更されなかった前記操作点の座標に対応する表示を行い、
前記操作点の座標の変更後に、表示された前記表示について前記ユーザーによる修正を検出した場合、保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正させる
ことを特徴とする操作支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器及び操作支援プログラムに係り、特にタッチ入力の誤動作を補正する電子機器及び操作支援プログラムに関する。

【背景技術】

【0002】

従来から、文書や画像を印刷可能な複合機（Multifunctional Peripheral, MFP）等の画像形成装置が存在する。

【0003】

このような画像形成装置では、表示部のＧＵＩに対する指示をタッチ入力で行うタッチパネルを備えるものが存在する。しかしながら、このようなタッチパネルにおいては、ユーザーが意図しているのとは異なる箇所へタッチ入力してしまうという誤操作が発生することがある。誤操作が発生した場合、指示を取り消し、再度正しいタッチ入力を行うことが必要となり、ユーザーの負担となる。
誤操作は、ユーザーがタッチ入力を正確に行うことで、ある程度防止することが可能である。しかし、例えば、表示部に表示されたキーの画像をタッチ入力することで文字入力を行うソフトウェアキーボード等では、キーの画像が密集して配置される。このような場合、ユーザーが誤操作をしないように正しく操作することは困難である。

【0004】

ここで、ソフトウェアキーボードの入力について、特許文献１を参照すると、情報を表示する表示部と、表示部の近傍を撮影する撮影部と、撮影部により撮影された画像情報を解析する画像解析部と、画像解析部の解析結果に基づいて、表示部に表示されている情報を拡大表示する拡大処理部とを備える画像表示装置が開示されている。
特許文献１の技術によれば、表示画面の視認性を向上させつつ、誤操作の発生を抑えることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−１６０２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の技術は、視線により表示される箇所を拡大することで、表示される情報が少なくなるという問題があった。

【0007】

本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消することを課題とする。

【課題を解決するための手段】

【0008】

本発明の電子機器は、ユーザーによるタッチ入力の操作点の座標を検出するタッチパネルと、前記ユーザーによる前記タッチパネルのタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられた前記タッチパネル上の注視点の座標を算出する視線検出手段と、該視線検出手段により算出された前記タッチパネル上の前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出する視線補正領域算出手段と、前記操作点の座標が、前記視線補正領域算出手段により算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更しない操作座標視線補正手段と、前記操作点の座標、前記注視点の座標、及び前記操作座標視線補正手段による前記操作点の座標の変更の結果を操作補正結果情報として保持する操作補正結果情報保持手段と、前記操作座標視線補正手段により変更された又は変更されなかった前記操作点の座標に対応する表示を行う表示手段と、前記操作座標視線補正手段による前記操作点の座標の変更後に、前記表示手段に表示された前記表示について前記ユーザーによる修正を検出した場合、前記操作補正結果情報保持手段により保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正する視線補正時間領域修正手段とを備えることを特徴とする。
本発明の電子機器は、前記視線補正時間領域修正手段は、前記ユーザーによる修正が前記注視点の前記表示と一致する場合は前記視線補正範囲を拡大し、前記ユーザーによる修正が前記操作点の前記表示と一致する場合は前記視線補正範囲を縮小し、前記ユーザーによる修正が前記注視点の前記表示及び前記操作点の前記表示のいずれとも一致しない場合は前記操作補正結果情報により前記視線補正範囲を移動させることを特徴とする。
本発明の電子機器は、前記操作座標視線補正手段は、前記操作点の座標の変更後に前記ユーザーが前記表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更しないことを特徴とする。
本発明の操作支援プログラムは、電子機器により実行される操作支援プログラムにおいて、前記電子機器に、ユーザーによるタッチ入力の操作点の座標を検出させ、ユーザーによるタッチ入力の時点から特定の時間の範囲で、ユーザーの視線が向けられた注視点の座標を算出させ、算出された前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出させ、前記操作点の座標が、算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更させ、前記視線補正領域内になかった場合には前記操作点の座標を変更させず、前記操作点の座標、前記注視点の座標、及び前記操作点の座標の変更の結果を操作補正結果情報として保持し、変更された又は変更されなかった前記操作点の座標に対応する表示を行い、前記操作点の座標の変更後に、表示された前記表示について前記ユーザーによる修正を検出した場合、保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正させることを特徴とする。

【発明の効果】

【0009】

本発明によれば、タッチ入力の操作点が視線補正領域内にあった場合は、操作点の座標をユーザーの注視点の座標に変更し、なかった場合には操作点の座標を変更しないことにより、拡大表示を行わなくて誤操作を防止でき、表示できる情報を減少させない情報処理装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態に係る画像形成装置の全体構成を示すブロック図である。

【図2】図１に示す操作パネル部及び視線検出部の概略図である。

【図3】図１に示す画像形成装置の制御構成を示すブロック図である。

【図4】本発明の実施の形態に係る操作座標視線補正処理のフローチャートである。

【図5】図４に示す操作座標視線補正処理の概念図である。

【図6】図４に示す視線補正時間領域修正処理の詳細を示すのフローチャートである。

【図7】図６に示す視線補正領域拡大処理の概念図である。

【図8】図６に示す視線補正領域縮小処理の概念図である。

【図9】図６に示す視線補正領域移動処理の概念図である。

【発明を実施するための形態】

【0011】

＜実施の形態＞
〔画像形成装置１の全体構成〕
まず、図１及び図２を参照して、画像形成装置１（情報処理装置）の全体の構成について説明する。

【0012】

画像形成装置１は、画像処理部１１、原稿読取部１２、原稿給送部１３、搬送部１４、ネットワーク送受信部１５、操作パネル部１６、画像形成部１７（画像形成手段）、タイマー部１８、記憶部１９、及び視線検出部２０（視線検出手段）が、制御部１０に接続されている。各部は、制御部１０によって動作制御される。

【0013】

制御部１０は、ＧＰＰ（General Purpose Processor）、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等の情報処理手段である。
制御部１０は、記憶部１９のＲＯＭやＨＤＤに記憶されている制御プログラムを読み出して、この制御プログラムに含まれる操作支援プログラムをＲＡＭに展開させて実行することで、後述する機能ブロックの各手段として動作させられる。また、制御部１０は、図示しない外部の端末や操作パネル部１６から入力された指示情報に応じて、装置全体を制御する。

【0014】

画像処理部１１は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の制御演算手段である。画像処理部１１は、画像データに対して画像処理を行う手段であり、例えば、拡大縮小、濃度調整、階調調整、画像改善等の各種画像処理を行う。
画像処理部１１は、原稿読取部１２で読み取られた画像を、記憶部１９に印刷データとして記憶する。この際、画像処理部１１は、印刷データをＰＤＦやＴＩＦＦ等のフォーマットのファイル単位に変換することも可能である。

【0015】

原稿読取部１２は、セットされた原稿を読み取る（スキャン）手段である。
原稿給送部１３は、原稿読取部１２で読み取られる原稿を搬送する手段である。
搬送部１４は、給紙カセットから記録紙を搬送し、画像形成部１７で画像形成させ、その後にスタックトレイへ搬送する。

【0016】

ネットワーク送受信部１５は、ＬＡＮ、無線ＬＡＮ、ＷＡＮ、携帯電話網等の外部ネットワークに接続するためのＬＡＮボードや無線送受信機等を含むネットワーク接続手段である。
ネットワーク送受信部１５は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。

【0017】

操作パネル部１６は、タッチパネル６０（入力手段）、ボタン部６１（入力手段）、及び表示部６２（表示手段）とを備えている。

【0018】

タッチパネル６０は、ユーザーが指の押下による操作（以下、「タッチ入力」という。）をした座標等の指示を取得するための静電容量方式、抵抗膜方式、超音波検出方式等のタッチ入力手段である。また、タッチパネル６０は、表示部６２と一体的に構成されていてもよい。
タッチパネル６０は、ＧＵＩ（Graphical User Interface）等によりユーザーの各種指示を取得する。具体的には、タッチパネル６０は、ユーザーがタッチ入力した座標を、操作点２００（図３）として検出する。タッチパネル６０は、この際、操作点２００を、表示部６２上の座標と対応する座標として検出してもよい。
なお、タッチパネル６０がマルチタッチ対応の場合は、複数の座標を検出してもよい。また、タッチパネル６０は、専用のペン等のペン先で入力された座標を検出してもよい。また、タッチパネル６０は、ユーザーが押下した押圧を検出してもよい。また、タッチパネル６０は、静電容量式や超音波式等の場合、ユーザーの指が非接触でも、表示部６２上の座標を操作点２００として検出してもよい。この場合、表示部６２からの距離を検出してもよい。

【0019】

ボタン部６１は、機械式のスイッチや静電容量式のスイッチ等を含む入力手段である。ボタン部６１は、スタートキー、テンキー、コピーやスキャナーやファクシミリ送受信等の動作モードの切り換え、選択された文書の印刷／送信／受信等に係る指示を取得するためのボタン等を含んでいる。

【0020】

表示部６２は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬ（Organic Electro-Luminescence）、ＦＥＤ（Field Emission Display）等の平面ディスプレイパネル、プロジェクタ、ステータス表示用ＬＥＤ等の表示手段である。表示部６２は、各種操作画面を表示する。
表示部６２は、ＧＵＩの各種画像を表示させることが可能である。また、表示部６２には、タッチパネル６０上でユーザーに文字等の入力をさせるためのソフトウェアキーボード（Software keyboard）、このソフトウェアキーボードにより入力された文字等を表示させることも可能である。表示部６２は、この際に、操作座標視線補正部１１０（図３）により変更された又は変更されなかった操作点２００の座標に対応する表示を行うことも可能である。なお、表示部６２は、記憶部１９に記憶された、プレビュー（preview）の画像等も表示可能である。

【0021】

タイマー部１８は、ＣＰＵ内蔵クロック、リアルタイムクロック、ＧＰＳ（Global Positioning System）受信機、ＮＴＰクライアント等の時刻取得手段である。タイマー部１８は、誤差の少ない実時間の時刻情報を取得することが可能である。
また、タイマー部１８は、設定された時間の経過後、割り込み等を発生させるタイマーを設定可能である。

【0022】

画像形成部１７は、ユーザーの出力指示により、記憶部１９に記憶され、原稿読取部１２で読み取られ、又は外部の端末から取得されたデータから記録紙への画像形成を行わせる。

【0023】

記憶部１９は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリーやＨＤＤ（Hard Disk Drive）等の記録媒体を用いた記憶手段である。
記憶部１９のＲＯＭやＨＤＤには画像形成装置１の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部１９は、ユーザーのアカウント設定も記憶している。また、記憶部１９には、ユーザー毎の文書ボックス等の領域が含まれていてもよい。

【0024】

視線検出部２０は、例えば、複数のカメラとＤＳＰ等とを備えた視線検出手段である。図２に、画像形成装置１の操作パネル部１６と視線検出部２０の外観の例を示す。
視線検出部２０は、例えば、撮像した画像データから、ユーザーの顔と目とを検出し、更に視線を三次元のベクトル形式等で算出する。視線検出部２０は、ユーザーの視線とタッチパネル６０との交点の座標（以下、「注視座標」という。）を算出し、注視点２２０（図３）に設定する。視線検出部２０は、この際、ユーザーによるタッチパネル６０のタッチ入力の時点の前後の時間範囲２１０において、注視座標の平均値や、最も注視した時間が長かった座標を、注視点２２０の座標として算出する。また、視線検出部２０は、各注視座標を注視した時間、注視座標の移動のベクトル、注視座標の分散等から、注視点２２０の算出の確からしさの注視確率等の値を算出してもよい。
なお、時間範囲２１０は、対象のタッチ入力の前後のタッチ入力の間の時間よりも短い値に設定される。タッチ入力の間隔には個人差があるので、ユーザーが操作パネル部１６を使用したときのタッチ入力の間隔の平均値を測定しておき、この実測値に基づいてユーザー毎の時間範囲２１０を定めてもよい。たとえば、時間範囲２１０は、タッチ入力の間隔の平均値としてもよいし、この平均値を一定数で割った値としてもよい。
また、視線検出部２０は、操作パネル部１６に設置することができる。図２に示す例では、視線検出部２０が操作パネル部１６の端部に設置されているが、操作パネル部１６の面上に設置されていてもよく、操作パネル部１６に内蔵されていてもよい。また、視線検出部２０は、操作パネル部１６から離れた位置に設置されていてもよい。また、視線検出部２０は、ユーザーを照らす照明部等も備えていてもよい。

【0025】

なお、画像形成装置１において、制御部１０及び画像処理部１１は、ＧＰＵ内蔵ＣＰＵ等やチップ・オン・モジュールパッケージのように、一体的に形成されていてもよい。
また、制御部１０及び画像処理部１１は、ＲＡＭやＲＯＭやフラッシュメモリー等を内蔵していてもよい。
また、画像形成装置１は、ファクシミリの送受信を行うＦＡＸ送受信部を備えていてもよい。

【0026】

〔画像形成装置１の制御構成〕
次に、図３により、画像形成装置１の制御構成について説明する。
画像形成装置１の制御部１０は、視線補正領域算出部１００（視線補正領域算出手段）、操作座標視線補正部１１０（操作座標視線補正手段）、操作補正結果情報保持部１２０（操作補正結果情報保持手段）、及び視線補正時間領域修正部１３０（視線補正時間領域修正手段）を備えている。
記憶部１９は、操作点２００、時間範囲２１０、注視点２２０、視線補正領域２３０、視線補正範囲２４０、及び操作補正結果情報２５０を記憶している。

【0027】

視線補正領域算出部１００は、視線検出部２０により算出されたタッチパネル６０上の注視点２２０の座標と視線補正範囲２４０とから視線補正領域２３０の座標を算出し、記憶部１９に記憶する。視線補正領域算出部１００は、例えば、注視点２２０を中心の座標として、視線補正範囲２４０内の座標を視線補正領域２３０として算出する。この際に、視線補正領域算出部１００は、視線補正範囲２４０に含まれる特定の座標変更値を参照した上で、視線補正領域２３０を算出する。

【0028】

操作座標視線補正部１１０は、操作点２００の座標を、視線補正領域算出部１００により算出された視線補正領域２３０に対応して変更する。操作座標視線補正部１１０は、操作点２００が視線補正領域２３０内にあった場合には、操作点２００の座標を注視点２２０の座標に変更する。また、操作座標視線補正部１１０は、操作点２００が視線補正領域２３０内になかった場合には、操作点２００の座標を変更しない。
また、操作座標視線補正部１１０は、これら座標補正後に、ＧＵＩの各処理を呼び出す。
また、操作座標視線補正部１１０は、操作点２００の座標の変更後に、ユーザーが操作点２００の座標に対応するタッチ入力の文字等の表示の修正を行うとき、表示の修正に対応するタッチ入力の操作点２００の座標を変更しないような処理を行ってもよい。

【0029】

操作補正結果情報保持部１２０は、操作点２００の座標、注視点２２０の座標、及び操作座標視線補正部１１０による操作点２００の座標の変更の結果を操作補正結果情報２５０として記憶部１９に記憶し、保持させる。
また、操作補正結果情報保持部１２０は、ユーザーによる文字等の表示の修正の操作履歴等についても、操作補正結果情報２５０に含めて保持させてもよい。

【0030】

視線補正時間領域修正部１３０は、時間範囲２１０と視線補正領域２３０の設定された範囲とを修正する。視線補正時間領域修正部１３０は、操作座標視線補正部１１０による操作点２００の座標の変更後に、ユーザーがＧＵＩの入力された文字等の表示の指示の修正を検出する。視線補正時間領域修正部１３０は、表示の修正を検出した場合、表示部６２に修正の表示を行う。視線補正時間領域修正部１３０は、この際、時間範囲２１０を設定値から変更し、又は、視線補正領域２３０の広さ若しくは形状を変更する。
また、視線補正時間領域修正部１３０は、ユーザーによる修正が注視点２２０の表示と一致する場合は視線補正領域２３０を拡大し、ユーザーによる修正が操作点２００の表示と一致する場合は視線補正領域２３０を縮小し、ユーザーによる修正が注視点２２０の表示及び操作点２００の表示のいずれとも一致しない場合は、操作補正結果情報２５０を参照して、視線補正範囲２４０を移動させる。

【0031】

操作点２００は、タッチパネル６０により検出された、ユーザーによるタッチ入力の操作点の座標のデータである。操作点２００には、表示部６２の画面上の表示座標が設定されていてもよい。また、操作点２００は、押圧やマルチタッチのタッチ順、移動の向きや加速度等のデータを含んでいてもよい。

【0032】

時間範囲２１０は、視線検出部２０により注視点２２０の座標を算出する時間（期間）の範囲を指定するデータである。時間範囲２１０は、ソフトウェアキーボードの場合、タッチパネル６０のタッチ入力の時点の前後で、数μ秒〜数秒程度の算出開始時点と算出終了時点との間の範囲を設定可能である。

【0033】

注視点２２０は、視線検出部２０により算出されたユーザーの視線が向けられたタッチパネル６０上の注視点の座標のデータである。注視点２２０には、表示部６２の画面上の表示座標等、操作点２００と比較可能な座標が設定される。また、注視点２２０は、各注視座標を注視した時間、注視座標の移動のベクトル、注視座標の分散の値、注視確率等の値等も含まれていてもよい。

【0034】

視線補正領域２３０は、操作座標視線補正部１１０により操作点２００の座標が変更される領域の座標のデータである。視線補正領域２３０は、注視点２２０の座標と、視線補正範囲２４０とにより、視線補正領域算出部１００により算出される。

【0035】

視線補正範囲２４０は、視線補正領域算出部１００により視線補正領域２３０を算出するための特定の範囲の座標群や数式等のデータである。視線補正範囲２４０の座標群等の初期値としては、例えば、注視点２２０からソフトウェアキーボードの隣接する数個のキーの領域が含まれるような距離の範囲の値であってもよい。また、この範囲の大きさや広さは、視線補正時間領域修正部１３０により修正されてもよい。
また、視線補正範囲２４０は、算出された注視点２２０から視線補正領域２３０を算出する際に、オフセット値等として座標等を変更するのに使用する特定の座標変更値を含んでいてもよい。
なお、視線補正範囲２４０は、注視点２２０を中心とする円形、楕円形、又は任意の範囲の形状を特定するためのデータであってもよい。また、この範囲の形状が楕円形の場合、ソフトウェアキーボードのキーを縦横に含ませる数に応じた長軸と短軸の範囲を設定してもよい。また、この範囲の形状として、ソフトウェアキーボードのキーを複数個含むような領域の形状そのものを指定してもよい。

【0036】

操作補正結果情報２５０は、操作点２００の座標、注視点２２０の座標、及び操作座標視線補正部１１０による操作点２００の座標の変更の結果の履歴等のデータである。操作補正結果情報２５０は、視線補正領域２３０の自動変更のために、特定の保持期間又は保持量だけ保持される。この特定の保持期間としては、例えば、特定の時間、数秒〜数分程度の時間を設定可能である。また、特定の保持量としては、例えば、ソフトウェアキーボードの場合は、一文字〜数十文字といった特定の文字数の入力分のデータ量を設定可能である。なお、記憶部１９の記憶容量に対応して、必要な量の操作補正結果情報２５０を保持するように構成してもよい。また、操作補正結果情報２５０は、ユーザーによる表示の修正の操作履歴等に係る情報を含んでいてもよい。

【0037】

ここで、画像形成装置１の制御部１０は、記憶部１９に記憶された制御プログラムに含まれる操作支援プログラムを実行することで、視線補正領域算出部１００、操作座標視線補正部１１０、及び視線補正時間領域修正部１３０として機能させられる。
また、上述の画像形成装置１の各部は、本発明の画像形成方法を実行するハードウェア資源となる。

【0038】

〔画像形成装置１による操作座標視線補正処理〕
次に、図４〜図５を参照して、本発明の実施の形態に係る画像形成装置１による操作座標視線補正処理の説明を行う。
本実施形態の操作座標視線補正処理では、視線の先にある注視点２２０を中心とした視線補正範囲２４０を、視線補正領域２３０として算出する。その後、タッチ入力が行われた操作点２００が視線補正領域２３０の内部であった場合、注視点２２０がタッチされたものとして操作点２００の座標を変更する（以下、このように視線により操作点２００の座標を特定の条件で補正することを「視線補正する」と呼ぶ。）。操作点２００が視線補正領域２３０の外部であった場合、操作点２００の座標を変更せず、そのまま操作箇所がタッチされたものと判断する。
本実施形態の操作座標視線補正処理は、主に制御部１０が、記憶部１９に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図４のフローチャートを参照して、操作座標視線補正処理の詳細をステップ毎に説明する。

【0039】

（ステップＳ１０１）
まず、制御部１０が、視線補正領域算出部１００として、視線検出開始処理を行う。
制御部１０は、ＧＵＩによりソフトウェアキーボード等、タッチパネル６０によりユーザーの指示を取得する画面が表示された場合には、視線検出部２０による視線検出を開始させる。これにより、視線検出部２０は、視線検出を開始し、注視点２２０の算出を開始する。

【0040】

（ステップＳ１０２）
次に、タッチパネル６０が、操作点検出処理を行う。
タッチパネル６０は、ユーザーによる指の押下によるタッチ入力を検出すると、タッチ入力された操作点２００に座標を設定して記憶部１９に記憶する。また、タッチパネル６０は、このタッチ入力の時点を視線検出部２０に通知する。

【0041】

（ステップＳ１０３）
次に、視線検出部２０が、注視点算出処理を行う。
視線検出部２０は、タッチ入力の時点の前後の時間範囲２１０において、ユーザーの視線が向けられたタッチパネル６０上の注視座標のデータを算出する。視線検出部２０は、算出した注視座標のデータから、注視点２２０の座標を算出し、記憶部１９に記憶する。視線検出部２０は、注視点２２０の座標を算出したことを、制御部１０に通知する。

【0042】

（ステップＳ１０４）
次に、制御部１０が、視線補正領域算出部１００として、視線補正領域算出処理を行う。
制御部１０は、視線検出部２０からの通知により、注視点２２０を中心とした視線補正範囲２４０の座標群等を、視線補正領域２３０として算出する。
図５（ａ）の画面例５００、及び図５（ｂ）の画面例５０１には、注視点２２０を中心としてソフトウェアキーボードのキーの画像を１個〜３個程度含むような距離の円形に算出された視線補正領域２３０として算出される例が示されている。図５（ａ）（ｂ）においては、文字の入力欄である表示欄６００と、この表示欄６００に文字（表示）を入力するためのソフトウェアキーボード６１０とが描画されている。また、ボタン７００は、入力を完了したことを示すボタンである。

【0043】

（ステップＳ１０５）
次に、制御部１０が、操作座標視線補正部１１０として、操作点２００が視線補正領域２３０内か否かを判断する。制御部１０は、図５（ａ）の画面例５００のように、操作点２００が視線補正領域２３０の内側であった場合には、Ｙｅｓと判断する。制御部１０は、逆に、図５（ｂ）の画面例５０１のように、操作点２００が視線補正領域２３０の外側であった場合には、Ｎｏと判断する。なお、制御部１０は、操作点２００が補正領域の内部であっても、注視確率等の値が閾値以下であった場合には、Ｎｏと判断してもよい。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１０６に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ１０７に進める。

【0044】

（ステップＳ１０６）
操作点２００が視線補正領域２３０の内側であった場合、制御部１０は、操作座標視線補正部１１０として、操作点座標変更処理を行う。
制御部１０は、操作点の座標を注視点２２０の座標に変更する。制御部１０は、この際、操作点の座標を単純に注視点２２０の座標に変更するのではなく、特定の座標に変更してもよい。この特定の座標は、例えば、注視点２２０が含まれるソフトウェアキーボードのキーの中心等であってもよい。

【0045】

（ステップＳ１０７）
ここで、制御部１０は、操作補正結果情報保持部１２０として、操作補正結果情報記憶処理を行う。
制御部１０は、例えば、表示部６２に表示されているのがソフトウェアキーボードの場合、一文字の入力及び操作点座標変更処理毎に、操作補正結果情報２５０を記憶部１９に記憶する。この操作補正結果情報２５０は、操作点２００の座標、注視点２２０の座標、及び操作点２００の座標の変更の結果を含んでいてもよい。

【0046】

（ステップＳ１０８）
次に、制御部１０は、操作座標視線補正部１１０として、操作点指示操作実行処理を行う。
制御部１０は、操作点２００（ステップＳ１０６の操作点座標変更処理を行った場合、注視点２２０に変更された操作点２００である。また、ステップＳ１０６の操作点座標変更処理を行わなかった場合、タッチ入力された操作点２００である。）の座標について、ユーザーのタッチ入力に対応する処理を実行させるようＧＵＩに通知する。これにより、例えば、ＧＵＩがソフトウェアキーボードの場合、制御部１０は、通知された操作点２００の箇所のキーに対応する文字等を、ＧＵＩにより入力し、表示部６２の入力欄等に表示させる。

【0047】

（ステップＳ１０９）
次に、制御部１０が、視線補正時間領域修正部１３０として、ユーザー修正ありか否かを判断する。制御部１０は、ステップＳ１０７において入力され表示された文字等について、ユーザーによる修正があった場合に、Ｙｅｓと判断する。具体的に説明すると、制御部１０は、ソフトウェアキーボードの場合、ユーザーが入力された文字を「修正」のキーを押下する等して、別の文字をタッチ入力した場合には、修正があったため、Ｙｅｓと判断する。制御部１０は、それ以外の場合、例えば、修正せずに他の文字を入力し、又は完了のボタン７００を押下した場合には、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ１１０に進める。
Ｎｏの場合、制御部１０は、操作座標視線補正処理を終了する。

【0048】

（ステップＳ１１０）
上述のステップＳ１０８において、ユーザーによる修正があった場合、制御部１０が、視線補正時間領域修正部１３０として、操作点座標変更抑制処理を行う。
上述の別の文字のタッチ入力は、ユーザー修正時のタッチ入力の操作点の座標に対応するキーに基づいて行われる。
このとき、制御部１０は、別の文字のタッチ入力の操作点に対して、操作座標視線補正部１１０による、操作点座標変更処理を行わないように制御する。つまり、制御部１０は、表示の修正に対応するタッチ入力の操作点２００の座標を変更しない。
なお、記憶部１９に記憶された設定によっては、この処理の際、操作点２００の座標の変更の範囲を小さくし、又はそもそも変更しないように構成してもよい。
また、制御部１０は、操作補正結果情報保持部１２０として、修正の結果についても、操作補正結果情報２５０に含めて記憶部１９に記憶してもよい。

【0049】

（ステップＳ１１１）
次に、制御部１０が、視線補正時間領域修正部１３０として、視線補正時間領域修正処理を行う。
この処理の詳細については、下記で説明する。
以上により、本発明の実施の形態に係る操作座標視線補正処理を終了する。

【0050】

以下で、図６のフローチャート、及び図７〜図９を参照して、視線補正時間領域修正処理の詳細についてステップ毎に説明する。

【0051】

（ステップＳ２０１）
まず、制御部１０は、ユーザーによる修正が注視点２２０の表示と一致するか否かを判断する。
制御部１０は、ステップＳ１０７において入力された文字等の表示の修正について、操作補正結果情報２５０を参照して、修正された表示が注視点２２０の表示と一致する場合に、Ｙｅｓと判断する。図７（ａ）の例によれば、制御部１０は、修正された表示２６０の文字「Ｄ」が注視点２２０の指し示す文字と一致するため、Ｙｅｓと判断する。制御部１０は、それ以外の場合、つまり修正された表示と、注視点２２０の指し示す表示とが一致しない場合には、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ２０２に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ２０３に進める。

【0052】

（ステップＳ２０２）
修正が注視点２２０の表示と一致した場合、制御部１０は、視線補正領域拡大処理を行う。
図７（ｂ）の例によれば、制御部１０は、視線補正範囲２４０を拡大して、視線補正領域２３０内に操作点２００が含まれるように修正する。その後、タッチパネル６０で操作点２００のような座標が入力された際に、例えば、ユーザーが注視点２２０の座標に視線を向けていれば、視線補正範囲２４０から算出された視線補正領域２３０に含まれることとなるため、視線補正を行うことが可能となる。これにより、ユーザーの入力ミスを少なくすることができる。
その後、制御部１０は、視線補正時間領域修正処理を終了する。

【0053】

（ステップＳ２０３）
修正が注視点２２０の表示と一致なかった場合、制御部１０は、ユーザーによる修正が操作点２００の表示と一致するか否かを判断する。
制御部１０は、操作補正結果情報２５０を参照して、修正された表示が操作点２００の表示と一致する場合に、Ｙｅｓと判断する。図８（ａ）の例によれば、制御部１０は、修正された表示２６０の文字「Ｘ」が操作点２００の指し示す文字と一致するため、Ｙｅｓと判断する。制御部１０は、それ以外の場合、つまり修正された表示と、操作点２００の指し示す表示とが一致しない場合には、Ｎｏと判断する。
Ｙｅｓの場合、制御部１０は、処理をステップＳ２０４に進める。
Ｎｏの場合、制御部１０は、処理をステップＳ２０５に進める。

【0054】

（ステップＳ２０４）
修正が操作点２００の表示と一致した場合、制御部１０は、視線補正領域縮小処理を行う。
図８（ｂ）の例によれば、制御部１０は、視線補正範囲２４０を縮小して、視線補正領域２３０内に操作点２００が含まれないように修正する。これにより、その後、タッチパネル６０で操作点２００のような座標が入力された場合でも、例えば、ユーザーが注視点２２０の座標に視線を向けていた場合、視線補正範囲２４０から算出された視線補正領域２３０外であるため、視線補正は行われない。このため、視線補正による誤修正を防ぐことができ、ユーザーの使い勝手を向上させることができる。
その後、制御部１０は、視線補正時間領域修正処理を終了する。

【0055】

（ステップＳ２０５）
ここで、修正が操作点２００の表示と一致しない場合、つまり修正が注視点２２０及び操作点２００のいずれとも一致しない場合には、制御部１０は、視線補正領域移動処理を行う。この処理において、制御部１０は、操作補正結果情報２５０の履歴を参照して、視線補正範囲２４０の座標等を移動させる。
図９（ａ）は、操作点２００の指し示す文字と注視点２２０の指し示す文字とが一致して、視線補正が行われなかったにもかかわらず、ユーザーが表示２６０の文字「Ｓ」に修正した例を示す。この例の場合、制御部１０は、視線補正範囲２４０に含まれる座標変更値を、左に特定の座標だけ移動させるよう変更している。
図９（ｂ）は、視線補正範囲２４０の変更後に、タッチパネル６０で操作点２００のような座標が入力されて、視線検出部２０により注視点２２０の座標が検出された場合の例を示す。この例の場合、制御部１０は、注視点２２０に座標変更値を適用して、注視点２２０’の座標を算出し、この注視点２２０’の座標に対応する視線補正領域２３０を算出する。これにより、ユーザーの意図した通りの視線補正が行われ、文字「Ｓ」が入力される。

【0056】

ここで、制御部１０は、操作補正結果情報２５０の複数の文字等の表示の修正の履歴を参照して修正した表示と注視点２２０の差分の平均値や中央値といった値を算出し、これを視線補正範囲２４０の座標変更値として設定してもよい。なお、制御部１０は、この座標変更値について、算出された差分の平均値や中央値等をそのまま設定しても、ずれた方向に特定の値ずつ増減させて設定してもよい。また、制御部１０は、特定の座標変更値を設定するのではなく、視線補正範囲２４０の形状や範囲そのものを変更してもよい。
また、制御部１０は、時間範囲２１０を設定値から変更することができる。たとえば、表示がソフトウェアキーボードの場合、制御部１０は、操作補正結果情報２５０の修正の履歴から、文字等の表示の修正に対応する座標に含まれるよう視線補正領域２３０が算出できるよう、適切な時間範囲２１０を算出してもよい。
以上により、本実施形態に係る視線補正時間領域修正処理を終了する。

【0057】

以上のように構成することで、以下のような効果を得ることができる。
従来、特許文献１の技術では、視線の先の画像を拡大表示することで、表示できる情報が少なくなっていた。
これに対して、本実施形態に係る画像形成装置１は、ユーザーによるタッチ入力の操作点２００の座標を検出するタッチパネル６０と、ユーザーによるタッチパネル６０のタッチ入力の時点から特定の時間範囲２１０で、ユーザーの視線が向けられたタッチパネル６０上の注視点２２０の座標を算出する視線検出部２０と、視線検出部２０により算出されたタッチパネル６０上の注視点２２０の座標から特定の視線補正範囲２４０の視線補正領域２３０を算出する視線補正領域算出部１００と、操作点２００の座標が、視線補正領域算出部１００により算出された視線補正領域２３０内にあった場合には操作点２００の座標を注視点２２０の座標に変更し、視線補正領域２３０内になかった場合には操作点２００の座標を変更しない操作座標視線補正部１１０と、操作点２００の座標、注視点２２０の座標、及び操作座標視線補正部１１０による操作点２００の座標の変更の結果を操作補正結果情報２５０として保持する操作補正結果情報保持部１２０と、操作座標視線補正部１１０により変更された又は変更されなかった操作点２００の座標に対応する表示を行う表示部６２と、操作座標視線補正部１１０による操作点２００の座標の変更後に、表示部６２に表示された表示についてユーザーによる修正を検出した場合、操作補正結果情報保持部１２０により保持された操作補正結果情報２５０を参照して、時間範囲２１０と視線補正範囲２４０とを修正する視線補正時間領域修正部１３０とを備えることを特徴とする。
このように構成することで、表示内容が拡大され表示文字数等が変更されることなく、誤操作を防止したタッチ入力を行うことが可能となる。これにより、表示できる情報が減少することがなくなり、ユーザーの使い勝手を向上させることができる。
また、特許文献１の技術では、視線検出により表示内容が変化することで、ユーザーを混乱させ、ユーザーによる表示内容の読み取り等が困難になり、操作性が悪くなることがあった。
これに対して、本実施形態の画像形成装置１は、視線補正の際、表示部６２に表示される表示内容が拡大されないため、ユーザーを混乱させることがなくなり、操作性を向上させることができる。

【0058】

また、本実施形態の画像形成装置１は、ユーザーによる修正を検出した場合、時間範囲２１０と視線補正範囲２４０とを修正することで、ユーザーの視線補正の精度を向上させることができる。これにより、ユーザーが意図する箇所のキー等を指示できるようになるため、操作性を向上させることができる。
特に、操作補正結果情報２５０を保持して、視線補正範囲２４０の修正の際に参照することで、ユーザーが入力した表示をすぐに修正しない場合であっても対応可能となる。たとえば、ソフトウェアキーボードの場合、数文字前に入力された文字等の表示が修正された場合でも、視線補正範囲２４０を修正することが可能となる。
よって、ユーザーの使い勝手をよくすることができる。

【0059】

また、本実施形態の画像形成装置１は、視線補正時間領域修正部１３０が、ユーザーによる修正が注視点２２０の表示と一致する場合は視線補正範囲２４０を拡大し、ユーザーによる修正が操作点２００の表示と一致する場合は視線補正範囲２４０を縮小し、ユーザーによる修正が注視点２２０の表示及び操作点２００の表示のいずれとも一致しない場合は視線補正範囲２４０を操作補正結果情報２５０に対応して移動させることを特徴とする。
このように構成することで、ユーザーに合わせて視線補正範囲２４０を調整することができ、視線補正の精度を高めることができる。
これにより、ユーザーの使い勝手をよくすることができる。

【0060】

また、本実施形態の画像形成装置１は、操作座標視線補正部１１０が、操作点２００の座標の変更後にユーザーが表示の修正を行うとき、当該表示の修正に対応するタッチパネル６０の入力に係る操作点２００の座標を変更しないことを特徴とする。
このように構成することで、入力された文字等の表示の修正の際に、意図せずに入力される表示が変更されることを防ぎ、ユーザーの操作性を高めることができる。

【0061】

以上をまとめると、本実施形態の画像形成装置１は、タッチパネルの操作に対して、視線検出の結果に基づいた操作点２００を補正することで、誤操作を防止する。つまり、誤操作による修正を防止し、ユーザーが効率的なタッチ入力を行うことが可能となる。これにより：

・ユーザーの意図と異なる箇所へのタッチ入力による誤操作の発生を防止することができる。つまり、ユーザーの視線の先である注視点２２０の座標により、タッチパネル６０の操作点２００の座標を補正することで、誤操作の発生を防止することができる。
・視線検出を利用した操作であっても、ユーザーが混乱することがない。つまり、視線検出を利用した操作であっても、従来のタッチパネル６０による入力と同様に操作することができ、ユーザーが補正に適応しやすい。
・視線検出を利用した操作であっても、操作の精度が高い。つまり、従来と同様に、主にタッチパネル６０による入力を主として、これを補正するものであるため、入力の精度が高くなる。また、視線補正範囲２４０及び時間範囲２１０を自動変更することで、適切な補正を行うことができる。
・表示部６２に表示される情報を変更しない。つまり、拡大表示等の処理を行わないため、表示される内容に変更が生じない。このため、ユーザーの操作性を高められる。
・視線の先にある範囲内で発生する誤操作を防止する。つまり、視線補正範囲２４０により算出された視線補正領域２３０内の操作に対して補正を行うことで、誤操作を防止することができる。
・視線の先にある範囲外で意図的に操作することが可能となる。つまり、視線補正領域２３０外の操作に対しては、そのまま処理を受け付けることができる。これにより、誤操作を防止することができる。

【0062】

なお、本実施形態においては、制御部１０は、視線補正時間領域修正処理により視線補正範囲２４０を変更する際に、すぐ変更するように説明した。しかしながら、すぐ変更するのではなく、特定の閾値を超過した場合に変更してもよい。この特定の閾値として、制御部１０は、例えば、ユーザーが数回以上の特定の回数、修正を行った場合に、変更を行うようにしてもよい。
また、制御部１０は、視線補正範囲２４０を変更するタイミングとして、操作中の画面ですぐ変更しなくてもよい。つまり、制御部１０は、例えば、省電力状態になった時、電源オフ時、タイマーで指定した日時といった各種条件に対応して、視線補正範囲２４０を変更してもよい。
このように構成することで、操作中に視線補正範囲２４０がすぐ変更されることがなくなるため、ユーザーが自然に変更された視線補正範囲２４０に適応して操作することができる。よって、ユーザーの使い勝手をよくすることができる。

【0063】

また、本実施形態においては、ソフトウェアキーボードのキーのタッチ入力を視線補正する例について説明した。しかしながら、本実施形態の操作座標視線補正処理は、ソフトウェアキーボード以外にも、タッチパネル６０上でタッチ入力してＧＵＩ上の画像等の表示を選択するような処理に全て適用可能である。つまり、制御部１０は、例えば、プレビュー画像やサムネイル画像の選択、ファイルの選択といった、選択する画像や文字等が近接している場合に、本実施形態の操作座標視線補正処理を適用するよう制御することが可能である。また、制御部１０は、誤操作が少ないＧＵＩ上の画面については、本実施形態の操作座標視線補正処理を適用しないように制御することも可能である。
このような構成により、ユーザーの使い勝手をよくすることができる。

【0064】

また、本実施形態においては、表示部６２の画面と一体となったタッチパネル６０の入力について説明した。しかしながら、表示部６２とタッチパネル６０とが分離されているような構成であってもよい。この場合にも、視線検出部２０は、分離されたタッチパネル６０へのユーザーの視線を検知することができる。
これにより、タッチパネル６０のコストを削減することができる。

【0065】

また、本実施形態においては、画像形成装置１のタッチパネルでの誤操作の防止について説明した。
しかしながら、本発明は、画像形成装置以外の各種電子機器にも適用できる。たとえばタッチパネル６０と視線検出部２０を備える、スマートフォン、携帯電話、ＰＣ（Personal Computer）、及びＰＤＡ（Personal Data Assistant）等の情報処理装置に適用可能である。また、タッチパネル６０と視線検出部２０を備えるテレビジョン、電子レンジ、冷蔵庫、ホームロボット、ホームセキュリティーシステムのような家電機器等にも適法可能である。また、電動バイク、自動車、航空機、船舶等の操縦用システム等にも適法可能である。これに加えて、部品として、タッチパネル６０と視線検出部２０を備えた基板のような形状で様々な機器に搭載させることが可能である。

【0066】

また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

【符号の説明】

【0067】

１ 画像形成装置
１０ 制御部
１１ 画像処理部
１２ 原稿読取部
１３ 原稿給送部
１４ 搬送部
１５ ネットワーク送受信部
１６ 操作パネル部
１７ 画像形成部
１８ タイマー部
１９ 記憶部
２０ 視線検出部
６０ タッチパネル
６１ ボタン部
６２ 表示部
１００ 視線補正領域算出部
１１０ 操作座標視線補正部
１２０ 操作補正結果情報保持部
１３０ 視線補正時間領域修正部
２００ 操作点
２１０ 時間範囲
２２０、２２０’ 注視点
２３０ 視線補正領域
２４０ 視線補正範囲
２５０ 操作補正結果情報
２６０ 表示
５００、５０１ 画面例
６００ 表示欄
６１０ ソフトウェアキーボード
７００ ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】