(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-10
(45)【発行日】2022-05-18
(54)【発明の名称】表示装置及び画像形成装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220511BHJP
G06F 3/038 20130101ALI20220511BHJP
G06F 3/0482 20130101ALI20220511BHJP
【FI】
G06F3/01 510
G06F3/038 310A
G06F3/0482
(21)【出願番号】P 2018077508
(22)【出願日】2018-04-13
【審査請求日】2021-03-31
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】100097113
【氏名又は名称】堀 城之
(74)【代理人】
【識別番号】100162363
【氏名又は名称】前島 幸彦
(74)【代理人】
【識別番号】100194146
【氏名又は名称】長谷川 明
(74)【代理人】
【識別番号】100194283
【氏名又は名称】村上 大勇
(74)【代理人】
【識別番号】100141324
【氏名又は名称】小河 卓
(72)【発明者】
【氏名】佐藤 勝
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開2018-18437(JP,A)
【文献】特開2018-47626(JP,A)
【文献】特開2015-184698(JP,A)
【文献】特開2013-222299(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/038
G06F 3/0482
(57)【特許請求の範囲】
【請求項1】
画面を表示する表示部と、
前記画面に対するユーザーの視線を検出する視線検出部と、
前記視線検出部により検出された前記視線の前記画面上の移動軌跡に基づいて、前記画面内の視線集中エリアを検出する視線集中エリア検出部と、
前記視線集中エリアが検出された場合に、前記視線集中エリアに含まれる表示オブジェクト数を数える計数部と、
前記視線集中エリアに含まれる前記表示オブジェクト数が1つの場合に、拡大表示モードに移行して、前記表示オブジェクトを拡大表示させ、前記視線集中エリアが検出されなかった場合又は前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、ヘルプ表示モードに移行して、ヘルプ情報を表示させる表示制御部とを備えた
ことを特徴とする表示装置。
【請求項2】
前記視線集中エリア検出部は、
前記画面を複数エリアに分割したときに、前記移動軌跡を最も多く含むエリアを前記視線集中エリアとして検出する
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記表示制御部は、
前記視線集中エリアが検出されなかった場合に、前記画面の操作に関するヘルプ情報を表示する
ことを特徴とする請求項1又は2に記載の表示装置。
【請求項4】
前記表示制御部は、
前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、前記複数の表示オブジェクトそれぞれの機能に関するヘルプ情報を表示する
ことを特徴とする請求項1から3までのいずれか1項に記載の表示装置。
【請求項5】
前記表示制御部は、
前記拡大表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、拡大表示の対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更する
ことを特徴とする請求項1から4までのいずれか1項に記載の表示装置。
【請求項6】
前記表示制御部は、
前記ヘルプ表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、前記ヘルプ情報の表示対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更する
ことを特徴とする請求項1から5までのいずれか1項に記載の表示装置。
【請求項7】
前記表示部は、
前記ユーザーの年齢に基づいて、前記拡大表示モードをオン及びオフのいずれかに制御する
ことを特徴とする請求項1から6までのいずれか1項に記載の表示装置。
【請求項8】
請求項1から6までのいずれか1項に記載の表示装置を備え、
前記ヘルプ情報を印刷する印刷部を備えた
ことを特徴とする画像形成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザーの視線に基づいて画面の表示制御を行う表示装置及び画像形成装置に関する。
【背景技術】
【0002】
従来、画面を操作するユーザーの顔を撮影して、顔画像に基づいてユーザーの年齢や画面までの距離を推測し、画面内の文字の表示サイズを見やすく変更する技術が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、ユーザーが画面の視認性が悪くて困っているのか、画面の操作に迷っているのか判断できなかったため、適切な画面表示を行うことができなかったという問題があった。
【0005】
本発明は上記課題に鑑みてなされたものであり、画面の視認性が悪かったり、画面の操作に迷ったりしているユーザーの操作性を向上させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の表示装置は、画面を表示する表示部と、前記画面に対するユーザーの視線を検出する視線検出部と、前記視線検出部により検出された前記視線の前記画面上の移動軌跡に基づいて、前記画面内の視線集中エリアを検出する視線集中エリア検出部と、前記視線集中エリアが検出された場合に、前記視線集中エリアに含まれる表示オブジェクト数を数える計数部と、前記視線集中エリアに含まれる前記表示オブジェクト数が1つの場合に、拡大表示モードに移行して、前記表示オブジェクトを拡大表示させ、前記視線集中エリアが検出されなかった場合又は前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、ヘルプ表示モードに移行して、ヘルプ情報を表示させる表示制御部とを備えたことを特徴とする。
また、前記視線集中エリア検出部は、前記画面を複数エリアに分割したときに、前記移動軌跡を最も多く含むエリアを前記視線集中エリアとして検出してもよい。
また、前記表示制御部は、前記視線集中エリアが検出されなかった場合に、前記画面の操作に関するヘルプ情報を表示してもよい。
また、前記表示制御部は、前記視線集中エリアに含まれる前記表示オブジェクト数が複数の場合に、前記複数の表示オブジェクトそれぞれの機能に関するヘルプ情報を表示してもよい。
また、前記表示制御部は、前記拡大表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、拡大表示の対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更してもよい。
また、前記表示制御部は、前記ヘルプ表示モードにおいて、前記視線検出部により検出された前記視線が移動する毎に、前記ヘルプ情報の表示対象とする前記表示オブジェクトを前記視線の位置の前記表示オブジェクトに変更してもよい。
また、前記表示部は、前記ユーザーの年齢に基づいて、前記拡大表示モードをオン及びオフのいずれかに制御してもよい。
本発明の画像形成装置は、上記に記載の表示装置を備え、前記ヘルプ情報を印刷する印刷部を備えたことを特徴とする。
【発明の効果】
【0007】
本発明によれば、画面の視認性が悪かったり、画面の操作に迷ったりしているユーザーの操作性を向上させることができる。
【図面の簡単な説明】
【0008】
【
図1】本発明に係る実施の形態の画像形成装置の概略構成図である。
【
図3】
図1に示す画像形成装置の視線に基づく表示制御処理の流れを示すフローチャートである。
【
図4】視線の移動軌跡に基づいて視線集中エリアが検出される例を示した図である。
【
図5】視線集中エリアに含まれる表示オブジェクトの数を示した図である。
【発明を実施するための形態】
【0009】
以下、図を参照して本発明の実施の形態を詳細に説明する。なお、以下の実施の形態において、同様の機能を示す構成には、同一の符号を付してある。
【0010】
図1を参照して、本実施の形態の表示装置の一例として、画像形成装置1を例に説明する。画像形成装置1は、操作部11と、視線検出部12と、通信部13と、原稿読取部14と、記憶部15と、画像処理部16と、印刷部17と、制御部18とを備えている。
【0011】
操作部11は、表示部111と操作ボタン112とを備えている。表示部111は、各種操作キーや画像形成状況を画面に表示する。表示部111は、表面に透明の感圧センサーが設けられ、表示手段及び入力手段として機能するタッチパネルであってもよい。操作ボタン112は、印刷枚数等の数値を入力するためのテンキー、設定情報を初期化させる指示を入力するためのリセットキー、複写動作を停止させるためのストップキー、印刷動作を開始させる出力指示を入力するためのスタートキー等の各種操作キーを備えている。
【0012】
視線検出部12は、表示部111を操作するユーザーの顔を撮影可能な位置にカメラが設けられており、カメラの画像データに基づいて表示部111の画面に対するユーザーの視線を検出する機能を有する。
【0013】
通信部13は、LAN(Local Area Network)等のネットワークを介して、外部端末と各種データを送受信する機能を有する。
【0014】
原稿読取部14は、図示しない原稿給紙装置により給紙されてきた原稿や、ユーザーによってプラテンガラスに載置された原稿に対して光を照射し、その反射光等を受光して原稿画像を読み取って画像データを出力するスキャナーである。
【0015】
記憶部15は、半導体メモリーやHDD(Hard Disk Drive)等の記憶手段であり、原稿読取部14によって読み取られた画像データや、通信部13を介して受信された画像データが蓄積される記憶手段である。
【0016】
画像処理部16は、画像データに対して画像処理を行う手段である。画像処理部16は、例えば、拡大縮小処理や、濃度調整、階調調整等の画像処理を行う。
【0017】
印刷部17は、画像データを印刷する印刷手段である。印刷部17は、例えば、記憶部15から読み出した画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、図示しない給紙部から搬送されてきた記録紙に感光体ドラムのトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。
【0018】
制御部18は、操作部11、視線検出部12、通信部13、原稿読取部14、記憶部15、画像処理部16及び印刷部17にそれぞれ接続され、操作部11から入力された指示情報に応じて画像形成装置1全体の動作制御を実行する。制御部18は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピューター等の情報処理部である。ROMには画像形成装置1の動作制御を行うための制御プログラムが記憶されている。制御部18のCPUは、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させて実行することで、操作部11から入力された指示情報に応じて装置全体の制御を行う。なお、制御プログラムは、不図示のネットワーク又は不図示のコンピューター読取可能な記録媒体を介してROMに記憶されてもよい。
【0019】
また、制御部18は、視線集中エリア検出部181と、計数部182と、表示制御部183として機能する。
【0020】
視線集中エリア検出部181は、
図2に示すように、視線検出部12により検出された視線40の画面G20上の移動軌跡42に基づいて、画面G20上で視線40が集中した視線集中エリア43を検出する機能を有する。
【0021】
例えば、視線集中エリア検出部181は、視線検出部12により画面G20に対する視線40が検出されると、特定時間の間(例えば、5秒間等)、視線40と画面G20の交点である視線位置41の移動軌跡42を監視する。そして、視線集中エリア検出部181は、画面G20に対する特定時間内の視線位置41の移動軌跡42の密度分布を算出し、特定閾値(例えば平均値)より高いエリアがあった場合に、そのエリアを視線集中エリア43として検出しても良い。例えば、視線集中エリア検出部181は、画面G20を複数エリアに分割したときに、移動軌跡42を特定時間間隔でサンプリングした点を最も多く含むエリアを視線集中エリア43として検出してもよい。なお、移動軌跡42をサンプリングした点を最も多く含むエリアが複数あった場合には、この複数のエリアを視線集中エリア43としてもよい。また、移動軌跡42をサンプリングした点が特定閾値以上含まれるエリアを、移動軌跡42を最も多く含むエリア、つまり、視線集中エリア43として検出するようにしてもよい。
【0022】
計数部182は、視線集中エリア検出部181により視線集中エリア43が検出された場合に、視線集中エリア43に含まれる表示オブジェクト44の数を数える機能を有する。表示オブジェクト44は、視線集中エリア43内に表示領域の一部が含まれていれば、計数部182の計数対象としてもよいし、表示領域の半分以上が含まれる場合に計数対象としてもよい。なお、表示オブジェクト44は、画面G20に表示されている文字情報やアイコン等である。
【0023】
表示制御部183は、視線集中エリア検出部181により視線集中エリア43が検出された場合であって、視線集中エリア43内の表示オブジェクト44が1つである場合に、表示オブジェクト44を拡大表示する拡大表示モードに移行する機能を有する。また、表示制御部183は、視線集中エリア43が検出されなかった場合や、視線集中エリア43に複数の表示オブジェクト44が含まれる場合に、ヘルプ情報を表示するヘルプ表示モードに移行する機能を有する。なお、表示制御部183は、検出された視線集中エリア43内に表示オブジェクト44が含まれなかった場合、拡大表示もヘルプ表示も行わなくても良い。
【0024】
次に、
図3を参照して、ユーザーの視線40に基づく表示制御処理の流れを説明する。
【0025】
表示部111に画面G20が表示されると(s11)、視線検出部12は、画面G20に対するユーザーの視線40を検出するまで待機する(s12、s12:No)。
【0026】
視線検出部12が画面G20に対する視線40を検出すると(s12:Yes)、視線集中エリア検出部181は、視線検出部12を介して視線40の動きを特定時間監視する(s13)。
【0027】
つづいて、視線集中エリア検出部181は、視線40の特定時間内の移動軌跡42に基づいて、画面G20上で視線40が集中した視線集中エリア43を検出したか否かを判断する(s14)。
【0028】
例えば、
図4は、画面G20上の特定時間における移動軌跡42を示した図である。ここでは、移動軌跡42を分かりやすく説明するため、画面G20内の表示オブジェクト44を省略して示している。
図4(a)に示す移動軌跡42では、画面G20に対する移動軌跡42の密度分布が下部エリアで高くなるため、視線集中エリア43が検出される。一方、
図4(b)に示す移動軌跡42では、画面G20に対する移動軌跡42の密度分布が略均一となるため、視線集中エリア43は検出されない。このように、視線集中エリア検出部181が、特定時間内における視線40の移動軌跡42の密度分布に基づいて、視線集中エリア43を検出することで、ユーザーの視線40が一瞬外れたり動いたりしても、視線集中エリア43を精度良く検出することができる。
【0029】
視線集中エリア43が検出された場合(s14:Yes)、計数部182は、視線集中エリア43に含まれる表示オブジェクト44の数を数え、視線集中エリア43に複数の表示オブジェクト44が含まれるか否かを判断する(s15)。例えば、
図5(a)は、視線集中エリア43に表示オブジェクト44として、アイコンが1つ含まれている場合を示し、
図5(b)は、視線集中エリア43に表示オブジェクト44として、3つのアイコンが含まれている場合を示している。
【0030】
視線集中エリア43に複数の表示オブジェクト44が含まれていない場合(s15:No)、つまり、視線集中エリア43内の表示オブジェクト44が1つの場合、表示制御部183は、拡大表示モードに移行する(s16)。つづいて、拡大表示モードにおいて、表示制御部183は、画面G20内の表示オブジェクト44を拡大表示する(s17)。
【0031】
このように、視線集中エリア43に含まれる表示オブジェクト44が1つである場合、ユーザーにとって表示オブジェクト44の視認性が悪く、表示オブジェクト44をよく見ようとして凝視している可能性が高い。そこで、表示制御部183が拡大表示モードに移行して、視線集中エリア43に含まれる表示オブジェクト44を拡大表示することで、表示オブジェクト44の視認性を高め、操作性を向上させることができる。
【0032】
例えば、
図6(a)は、
図5(a)に示す視線集中エリア43の表示オブジェクト44を拡大表示した例であり、
図6(b)は、
図2に示す視線集中エリア43の表示オブジェクト44を拡大表示した例である。
図6(a)、(b)に示すように、表示制御部183は、視線集中エリア43に含まれていた表示オブジェクト44だけを特定倍率で拡大表示して、他の表示オブジェクト44、つまり、視線集中エリア43に含まれていなかった表示オブジェクト44の表示倍率を変更しないようにしてもよい。
【0033】
また、
図7は、
図5(a)に示す視線集中エリア43の表示オブジェクト44を拡大表示した他の例である。
図7(a)に示すように、表示制御部183は、視線集中エリア43に含まれていた表示オブジェクト44がアイコンであって、周囲に複数のアイコンが配置されている場合、視線集中エリア43に含まれていたアイコンと共に、周囲に配置されている各アイコンそれぞれを隣接するアイコン同士が重ならない倍率で拡大表示しても良い。一般的に、隣接するアイコン同士の間には、圧迫感を避けるためにスペース(余白)が設けられている。表示制御部183は、このスペースを利用して、各アイコンを拡大表示することができる。
【0034】
さらに、
図7(b)に示すように、表示制御部183は、各アイコンを拡大表示したときに、視線集中エリア43に含まれていたアイコンの拡大倍率が特定倍率未満となる場合、視線集中エリア43に含まれていたアイコンを特定倍率に拡大表示して、隣接するアイコンの上に重ねて表示しても良い。
【0035】
また、表示制御部183は、画面G20全体、つまり、画面G20内の各表示オブジェクト44全てを拡大表示しても良い。また、表示制御部183は、画面G20全体を拡大表示した場合、次の画面G20全体も拡大表示してもよい。
【0036】
一方、視線集中エリア43が検出されなかった場合や(s14:No)、検出された視線集中エリア43に複数の表示オブジェクト44が含まれていた場合には(s15:Yes)、表示制御部183は、ヘルプ表示モードに移行する(s18)。ヘルプ表示モードに移行すると、表示制御部183は、表示オブジェクト44に関するヘルプ表示を行う(s19)。
【0037】
このように、視線集中エリア43が検出されなかったり、検出されても視線集中エリア43に複数の表示オブジェクト44が含まれたりする場合、画面G20上でユーザーの視線40が定まっていないため、操作に迷っている可能性がある。そこで、表示制御部183がヘルプ表示モードに移行して、ヘルプ表示を行うことで、ユーザーの操作を補助することができ、操作性を向上することができる。
【0038】
例えば、
図8(a)は、
図4(b)に示す視線集中エリア43が検出されなかった場合のヘルプ表示例である。視線集中エリア43が検出されなかった場合、ユーザーは画面G20に表示された表示オブジェクト44の操作方法が分からない可能性がある。そのため、表示制御部183は、例えば、「所望の機能をタッチしてください。」のように、表示オブジェクト44の操作方法に関するヘルプ情報45を画面G20に表示する。
【0039】
また、
図8(b)は、
図5(b)に示す視線集中エリア43に複数の表示オブジェクト44が含まれる場合のヘルプ表示例である。検出された視線集中エリア43内に複数の表示オブジェクト44が含まれる場合、ユーザーは表示オブジェクト44の機能が分からなくて操作に迷っている可能性がある。そのため、表示制御部183は、視線集中エリア43に含まれていた各表示オブジェクト44の機能を説明するヘルプ情報45を画面G20に表示する。
【0040】
このとき、表示制御部183は、視線集中エリア43に含まれている表示オブジェクト44に重ならない位置に、ヘルプ情報45を表示するとよい。視線集中エリア43が画面G20の中央寄りのため、ヘルプ情報45を表示するエリアが狭い場合、表示制御部183は、視線集中エリア43に含まれる表示オブジェクト44の表示位置を画面G20上の上下左右のいずれかに移動させて、ヘルプ情報45の表示エリアを拡大してもよい。
【0041】
なお、表示制御部183は、表示したヘルプ情報45について、一定時間経過後やユーザーの操作に応じて、画面G20から消去してもよい。
【0042】
表示制御部183による拡大表示処理(s17)又はヘルプ表示処理(s19)が終了すると、本処理は終了する。
【0043】
なお、表示制御部183は、表示オブジェクト44を拡大表示した後に、視線検出部12により検出された視線40の動きに応じて、視線位置41の表示オブジェクト44が替わる毎に、視線位置41の表示オブジェクト44を拡大表示対象として逐次変更してもよい。これによれば、表示制御部183が拡大表示モードに移行後は、ユーザーの視線40の先に位置する表示オブジェクト44が次々に拡大表示することができる。
【0044】
また、表示制御部183は、ヘルプ情報45を表示した後に、視線検出部12により検出された視線40の動きに応じて、視線位置41の表示オブジェクト44が替わる毎に、視線位置41の表示オブジェクト44をヘルプ表示対象として逐次変更してもよい。これによれば、表示制御部183がヘルプ表示モードに移行後は、ユーザーの視線40の先に位置する表示オブジェクト44に関するヘルプ情報45を次々に表示することができる。
【0045】
このように、本実施の形態の表示装置は、画面G20を表示する表示部111と、画面G20に対するユーザーの視線40を検出する視線検出部12と、視線検出部12により検出された視線40の画面G20上の移動軌跡42に基づいて、画面G20内の視線集中エリア43を検出する視線集中エリア検出部181と、視線集中エリア43が検出された場合に、視線集中エリア43に含まれる表示オブジェクト数を数える計数部182と、視線集中エリア43に含まれる表示オブジェクト数が1つの場合に、拡大表示モードに移行して、表示オブジェクト44を拡大表示させ、視線集中エリア43が検出されなかった場合又は視線集中エリア43に含まれる表示オブジェクト数が複数の場合に、ヘルプ表示モードに移行して、ヘルプ情報45を表示させる表示制御部183とを備えたことを特徴とする。
【0046】
これにより、表示装置は、ユーザーの視線40に基づいて、ユーザーが画面G20の視認性が悪くて困っているのか、操作に迷っているのかを判断し、視認性が悪いと判断した場合には、画面G20の表示オブジェクト44を拡大表示し、操作に迷っていると判断した場合には、画面G20の表示オブジェクト44に関するヘルプ情報45を表示することができる。したがって、ユーザーに合わせて適切な画面G20を表示することができ、ユーザーの操作性を向上させることができる。
【0047】
なお、予めユーザーIDとユーザーの年齢を含むユーザー情報を記憶部15に登録しておき、制御部18は、入力されたユーザーIDと記憶部15に記憶されたユーザーIDとを照合することでユーザー認証を行ってもよい。そして、表示制御部183は、ユーザーの年齢に基づいて、拡大表示モードのオン/オフを制御しても良い。例えば、表示制御部183は、40歳未満のユーザーの場合、拡大表示モードに移行しなくてもよい。なお、ユーザーの年齢は、予め登録されていなくてもよく、拡大表示モードの移行前に、操作部11を介してユーザーによって入力されても良い。
【0048】
また、表示制御部183は、拡大表示モードに移行する直前に視線検出部12により撮影された画像データに基づいて、画面からユーザーの顔までの距離を推測し、推測した距離に基づいて拡大表示モードのオン/オフを制御しても良い。例えば、表示制御部183は、画像データ内に占めるユーザーの顔の割合に基づいて、画面からユーザーの顔までの距離を推測しても良い。推測した距離が特定距離未満である場合に、ユーザーの顔が画面に近いため、表示制御部183は、拡大表示モードをオフに制御し、特定距離以上の場合に、拡大表示モードをオンに制御しても良い。
【0049】
また、表示制御部183は、表示させたヘルプ情報45を印刷部17により印刷させても良い。これによれば、ユーザーは、画面G20のヘルプ情報45が印刷された紙を見ながら、画面G20を操作することができる。
【0050】
本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。
【符号の説明】
【0051】
1 画像形成装置
11 操作部
12 視線検出部
13 通信部
14 原稿読取部
15 記憶部
16 画像処理部
17 印刷部
18 制御部
40 視線
41 視線位置
42 移動軌跡
43 視線集中エリア
44 表示オブジェクト
45 ヘルプ情報
111 表示部
112 操作ボタン
181 視線集中エリア検出部
182 計数部
183 表示制御部
G20 画面