(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
<第1の実施形態>
以下、図面を参照して本発明の第1の実施形態について説明する。
図1は第1の実施形態の構成を示すシステム図である。
図1に示した表示装置1は、表示部2と、検出部3と、処理部4とを備える。
【0015】
表示部2は、表示画面2aを有し、処理部4が出力した制御信号に応じて表示画面2aに画像を表示する。表示部2は、例えば、タッチパネル等を用いた操作面と映像表示面とが一体となったタッチパネル式のディスプレイである。この場合、表示部2は、検出部3と一体として構成される。ただし、表示部2と検出部3とは必ずしも一体である必要はない。例えば、表示部2をプロジェクターで構成し、検出部3をカメラで構成することができる。
【0016】
表示部2は、例えば、タッチパネル式の案内板や不特定多数のユーザーが共同で利用するテーブル型ディスプレイ装置やスマートフォン等の携帯型端末のディスプレイとして構成することができる。
図2は、表示部2をタッチパネル式のテーブル型ディスプレイとして構成した例を示す。
図2に示した表示部2は、複数の脚20で支えられたテーブルの平板を表示画面2aによって構成する。ユーザー91およびユーザー92は各々、表示画面2a上の任意の位置で入力操作を行うことができる。
【0017】
検出部3は、表示部2の表示画面2aに対するユーザーの入力操作を検出する。検出部3は、検出した操作の内容を表す情報を処理部4へ出力する。検出部3は、抵抗値、静電容量、音波、圧力、画像認識結果、光、スタイラスを使った場合の磁気、スイッチのオン・オフ等の量や変化を計測することで、表示部2の表示画面2aに対する入力操作を検出する。検出部3は、複数種類を組み合わせてもよい。検出部3は、例えば、表示画面2aの1画素または複数画素を単位として、各単位に対する入力操作の有無を周期的に検出する。検出部3は、例えば、全単位または一部の単位についての入力操作の有無の検出結果を表す情報を、操作の内容を表す情報として処理部4へ周期的に出力する。あるいは、検出部3は、入力操作が有ると検出した部分の位置または位置および検出量を表す情報を、操作の内容を表す情報として処理部4へ出力してもよい。あるいは、検出部3は、計測結果の時間的な変化を認識することで検出した入力操作の態様を表す情報を、操作の内容を表す情報として処理部4へ出力してもよい。入力操作の態様は、例えば、操作の種類、位置や範囲、操作時間等を示す情報で表すことができる。
【0018】
処理部4は、例えばCPU(中央処理装置)と記憶装置とを用いて構成され、CPUによって所定のプログラムを実行することで動作する。本実施形態において、処理部4は、検出部3の出力信号に基づいて表示部2の表示画面2a上に付いた汚損を検出し、表示部2の表示画面2a上の検出した汚損を含む箇所に所定の模様を表示させる。処理部4は、ユーザーが表示部2の表示画面2aを操作していない場合に、検出部3の検出状態に基づいて汚損を検出する。例えば、処理部4は、ユーザーが操作していない時に、検出部3が入力操作が行われているときと同じ状態を検出した場合に、入力操作が検出された箇所が汚損していると判定する。なお、以下では、入力操作があると検出部3が検出している状態を、検出部3が反応している状態であるとする。ここで、ユーザーの操作がない時とは、例えば、(1)例えば、就業時間後や深夜帯等、管理者が誰も操作しないと予想して指定した時(特定の時刻や時間帯)や、(2)人感センサーやカメラ等を用いて装置の周りに人がいないと判定した時である。あるいは、ユーザーの操作がない時とは、(3)表示装置1が例えばスマートフォンである場合、表示画面2aを上にしたまま、画面がオフされる前とすることも考えられる。
【0019】
なお、汚損とは、汚れたりと傷んだりすることをいう。また、汚損は、汚れはあるが傷のないもの、汚れはないが傷のあるもの、汚れと傷の両方があるものを含む。例えば、
図3に示したように、処理部4は、検出部3の出力信号に基づいて表示部2の表示画面2a上に付いた汚損80を検出する。そして、例えば、
図4に示したように、処理部4は、表示部2の表示画面2a上の検出した汚損80を含む箇所に所定の模様81を表示させる。模様81は、ユーザーからは見えないあるいは見えにくい汚損80が存在する箇所を可視化するためのパターンである。模様81は、基本的には汚損80の箇所の周りを縁取るように表示される(
図30、
図31および
図33)。ただし、
図32のように複数の汚損80間の距離が十分近い場合、連結したひとつの模様81を表示することもできる。また
図34のようにドーナツ型の中央を埋めることもできる。これらはシステムを実装する際に自由に設定できるものである。
【0020】
なお、各図において他の図に示したものと同一または対応する構成には同一の符号をつけて説明を適宜省略する。
【0021】
次に、
図5に示したフローチャートを参照して
図1に示した表示装置1の動作例について説明する。
図5のフローチャートの開始は、例えば、装置の電源を入れたとき、装置を再起動させたとき、スリープから復帰したとき(所定の動作を行ったとき)、予め設定した時刻になったとき(所定の時刻になったとき)、予め設定した時間を経過したとき(所定の時間を経過したとき)等が挙げられる。
図5に示した処理が開始されると、処理部4は、まず、ユーザーが入力操作を行っているか否かを判定する(ステップS10)。ユーザーが入力操作を行っている場合(ステップS10でYESの場合)、処理部4は、ステップS10の判定を繰り返し実行する(ステップS10でYESの繰り返し)。ステップS10において、処理部4は、例えば、図示していないカメラで表示画面2aの周辺画像を撮像し、撮像した画像に基づいてユーザーが表示画面2aを操作しているか否かを判定することができる。
【0022】
ユーザーが入力操作を行っていないと判定した場合(ステップS10でNOの場合)、処理部4は、検出部3の反応を確認する(ステップS11)。ステップS11において、処理部4は、検出部3が反応している箇所が複数ある場合、検出部3の反応を1箇所ずつ確認する。次に、ステップS11の確認結果に基づいて、処理部4は、検出部3に反応があるか否かを判定する(ステップS12)。検出部3に反応がない場合(ステップS12でNOの場合)、処理部4は処理を終了する。一方、検出部3に反応がある場合(ステップS12でYESの場合)、処理部4は、検出部3から該当箇所の位置と範囲を取得する(ステップS13)。次に、処理部4は、該当箇所をマークする(ステップS14)。ステップS14において、処理部4は、表示画面2aの1または複数の画素毎に予め用意した複数の記憶領域のいずれかに該当箇所が汚損していることを示す情報を記憶する。次に、処理部4は、表示部2にマークした箇所に模様を表示させる(ステップS15)。次に、処理部4は、マークした箇所をステップS11での確認の対象から除外する(ステップS16)。次に、処理部4は、再度、ステップS11の処理を実行する。処理部4は、マークした箇所の他に検出部3の反応がないかを、該当箇所がなくなるまで繰り返しチェックする。
【0023】
図5に示したフローによれば、次の効果が得られる。例えば、ディスプレイの表示画面2a上のある箇所に汚損80が付着したとする(
図3)。ここで汚損80はユーザーが認識しにくい汚れや傷であるとする。また、汚損80している箇所ではユーザー操作の認識精度が低下することが考えられる。この場合、該当箇所で作業を行うユーザーは本来の操作感が得られないという問題がある。これに対し、
図5に示したフローでは、
図4に示したように、汚損80している箇所に模様81が表示される。これによって、ユーザーに該当箇所は操作性が低下していると感知させることができる。それを見てユーザーは例えば該当箇所を避け、別の場所で作業を行うことができる。または、軽度の汚れの場合はユーザー自らその汚れを除去することで、再び該当箇所を利用可能にする対処を行わせることができる。あるいはユーザーは例えば該当箇所での入力操作を操作性が低下していることを前提として行うことができる。このように本実施形態では、表示画面2aの汚れや傷による操作性の低下をユーザーに通知することで、例えば、通知を受けたユーザーが該当箇所の汚れを拭き取るまたは該当箇所を避けて操作する等、ユーザー自身に対応を選択できるようにすることができる。
【0024】
次に、
図6を参照して
図1に示した表示装置1の他の動作例について説明する。
図5に示したフローと比較して、
図6に示したフローは、ステップS15とステップS16との間に、新たにステップS20が設けられている点が異なる。ステップS20において、処理部4は、ステップS14でマークした箇所の操作を無効にする設定を行う。
図6に示したフローによれば、該当箇所をマークした後に、誤操作を起こさないように該当箇所での操作を検出しても処理部4は当該入力操作を無効とすることができる。
【0025】
次に、
図7を参照して
図1に示した表示装置1の他の動作例について説明する。
図5に示したフローと比較して、
図7に示したフローは、ステップS10に代えてステップS21とステップS22とが設けられている点が異なる。ステップS21において、処理部4は、検出部3の出力に基づき、ユーザーがマークした箇所で拭き取る操作を検出した場合、ステップS22以降の処理を実行する。ステップS22において、処理部4は、表示部2に拭き取る操作が検出されたマークした箇所に表示させている模様を非表示にさせる。
図7に示したフローでは、汚れをマークした場所で、汚れを拭き取るような操作を検出部3が検出した際に、処理部4は一旦該当箇所の模様を非表示にし、もう一度チェックを行い反応があれば再び模様を表示する。
【0026】
なお、ステップS21において、処理部4が、検出部3で検出した入力操作がマークした箇所(第1箇所)で拭き取る操作であることを判定する方法には例えば次の方法がある。(1)拭き取る操作を行う旨をユーザーが処理部4に対して指示する。例えば、拭き取る操作を行うことを表すボタンを表示画面に表示し、ユーザーが拭き取り操作を行う前に予めそのボタンをタッチすることによって指示する。(2)表示部2への入力操作に基づいて判定する。例えば、ユーザーがテーブル用のタオルを用いて拭き取る操作を行う際には、手のひら全体が表示部2にタッチされると考えられる。そこで、手のひら全体がタッチされ、それが移動することから判定する。(3)カメラでユーザーの動きを撮影し、取得された画像又は動画に基づいて判定する。
【0027】
また、ステップS22では、拭き取る操作が検出されたマークした箇所に表示されている模様を非表示とすることとしているが、非表示に限らず、例えば、模様の明るさもしくは色またはそれらの両方を変更するといった汚損箇所の表示を変更する処理に代えてもよい。
【0028】
次に、
図8を参照して
図1に示した表示装置1の他の動作例について説明する。
図7に示したフローと比較して、
図8に示したフローは、新たにステップS23が設けられている点が異なる。処理部4は、ステップS12において反応がないと判定した場合(ステップS12でNOの場合)、マークした箇所の操作を有効に設定する(ステップS23)。
図8に示したフローにおいて、処理部4は、誤認識を防止するために該当箇所での動作も停止させている場合は、誤反応がなくなった場合に有効に戻す処理を行う。
【0029】
以上のように、本実施形態によれば、予期しない操作性の低下を防止することで、操作感を改善することができる。
【0030】
<第2の実施形態>
以下、図面を参照して本発明の第2の実施形態について説明する。
図9は第2の実施形態の構成を示すシステム図である。
図9に示した表示装置1aは、表示部2と、判別部5と、処理部A41と、処理部B42とを備える。判別部5と、処理部A41と、処理部B42とを組み合わせたものが、
図1に示した第1の実施形態の処理部4に対応する構成である。判別部5、処理部A41、および処理部B42は、例えば同一のまたは異なるCPUと記憶装置とを用いて構成され、CPUによって所定のプログラムを実行することで動作する。
【0031】
図9に示した表示装置1aにおいて、判別部5では、ユーザー操作可能な領域での操作を処理部A41に、傷や汚れをマークした領域での操作を処理部B42に振り分ける処理を行う。ユーザー操作可能な領域は、
図10に示したように、汚損80を含むマークした領域82以外の表示画面2a上の操作領域である。処理部A41は、通常のユーザーが行う処理を担当する。処理部B42は、汚れた箇所での拭き取り操作等を監視する処理を担当する。なお、汚損80が検出される前の初期状態において判別部5は、全ての領域での操作を処理部A41に流すように設定している。
【0032】
次に、
図12に示したフローチャートを参照して
図9に示した表示装置1aの動作例について説明する。所定のプログラムが実行されると、判別部5は、まず、ユーザーが入力操作を行っているか否かを判定する(ステップS30)。ユーザーが入力操作を行っている場合(ステップS30でYESの場合)、判別部5は、ステップS30の判定を繰り返し実行する(ステップS30でYESの繰り返し)。ステップS30において、判別部5は、例えば、図示していないカメラで表示画面2aの周辺画像を撮像し、撮像した画像に基づいてユーザーが表示画面2aを操作しているか否かを判定することができる。
【0033】
ユーザーが入力操作を行っていないと判定した場合(ステップS30でNOの場合)、判別部5は、検出部3の反応を確認する(ステップS31)。なお、ステップS31において、判別部5は、検出部3が反応している箇所が複数ある場合、検出部3の反応を1箇所ずつ確認する。次に、ステップS31の確認結果に基づいて、判別部5は、検出部3に反応があるか否かを判定する(ステップS32)。検出部3に反応がある場合(ステップS32でYESの場合)、判別部5は、検出部3から該当箇所の位置と範囲を取得する(ステップS33)。
【0034】
次に、判別部5は、該当箇所の処理を処理部B42へ流すように設定する(ステップS34)。次に、処理部B42は、該当箇所をマークする(ステップS35)。次に、処理部B42は、表示部2にマークした箇所に模様を表示させる(ステップS36)。次に、処理部B42は、マークした箇所の操作を無効に設定する(ステップS37)。次に、判別部5は、マークした箇所をステップS31での確認の対象から除外する(ステップS38)。次に、判別部5は、再度、ステップS31の処理を実行する。判別部5は、マークした箇所の他に検出部3の反応がないかを、該当箇所がなくなるまで繰り返しチェックする。
【0035】
一方、ステップS32において反応がないと判定した場合(ステップS32でNOの場合)、判別部5は、マークした箇所以外での処理を処理部A41へ流すように設定する(ステップS39)。ここで、判別部5は処理を終了する。
【0036】
次に、
図13を参照して
図9に示した表示装置1aの他の動作例について説明する。
図12に示したフローと比較して、
図13に示したフローは、ステップS30に代えてステップS40とステップS41とが設けられている点と、ステップS37が削除されている点とが異なる。ステップS40において、処理部B42は、検出部3の出力に基づき、マークした箇所で拭き取る操作を検出した場合、ステップS41以降の処理を実行する。ステップS41において、処理部B42は、拭き取る操作が検出されたマークした箇所に表示させている模様を表示部2に非表示にさせる。
図13に示したフローでは、汚れをマークした場所で、汚れを拭き取るような操作を検出部3が検出した際に、処理部B42は一旦該当箇所の模様を非表示にする。そして、判別部5はもう一度チェックを行い反応があれば処理部B42が再び模様を表示する。
【0037】
次に、
図14に示したフローチャートを参照して
図9に示した表示装置1aの他の動作例について説明する。この動作例は、表示装置1aが模様81を表示する動作の一例である。
図12に示したフローと比較して、検出部3がタッチセンサである場合に適した流れに変更されている点が異なる。検出部3がタッチセンサである場合は、反応があった複数の箇所を一括してチェックすることが容易である。この場合、処理部42Bは、反応があった複数の箇所を表す情報を一括して取得し、次に一括して取得した情報に基づいて反応があった複数の箇所をマークするという処理を実行することができる。この場合、検出部3から処理部42Bへは検出結果を一括して転送することができる。したがって転送処理を効率化することができる。なお、
図12に示したフローでは、反応箇所を1箇所ずつチェックする処理が繰り返し実行されている。このように
図14に示したフローでは、検出部3から表示画面2aの全部または指定した一部の領域の全画素に対応した検出結果を一度に出力させている。したがって、例えば、ユーザーが操作していない場合に検出部3が反応した領域が複数あるとき、複数の領域に対する模様81の表示を一度に実行することができる。
【0038】
ユーザーが入力操作を行っていない場合、処理部B42、表示領域の全てまたは一部の範囲について検出部3の検出結果を取得する(ステップS50)。次に、判別部5は、検出部3の反応を確認する(ステップS51)。ステップS51において、判別部5は、検出部3が反応している箇所が複数ある場合、すべての箇所について検出部3の反応を確認する。次に、ステップS51の確認結果に基づいて、判別部5は、検出部3に反応があるか否かを判定する(ステップS52)。検出部3に反応がある場合(ステップS52でYESの場合)、判別部5は、検出部3から該当箇所の位置と範囲を取得する(ステップS53)。
【0039】
次に、判別部5は、該当箇所の処理を処理部B42へ流すように設定する(ステップS54)。次に、処理部B42は、表示部2に該当箇所に模様を表示させる(ステップS55)。ここで、判別部5は処理を終了する。
【0040】
一方、ステップS52において反応がないと判定した場合(ステップS52でNOの場合)、判別部5は、該当箇所の処理を処理部A41へ流すように設定する(ステップS56)。すなわち、ステップS56において、判別部5は、処理部B42へ流すように設定していた該当箇所の処理を処理部A41へ流すように設定する。ここで、判別部5は処理を終了する。
【0041】
次に、
図15を参照して
図9に示した表示装置1aの他の動作例について説明する。この動作例は、表示装置1aでユーザーによって汚れがふき取られた場合の動作の一例である。この動作例では、拭き取り動作が検出された場合に、処理部B42が先に模様81を消去し、その後、判別部5が検出部3の反応の有無を判定する。したがって、模様81を消すことで、拭き残しを浮かび上がらせることができる。なお、
図14に示したフローと同様に、検出部3がタッチセンサである場合に適したフローである。
【0042】
図14に示したフローと比較して、
図15に示したフローは、ステップS50に代えてステップS60とステップS61とが設けられている点が異なる。拭き取り動作が検出された場合、処理部B42は、検出部3の出力に基づき、拭き取り動作を検出した範囲を取得する(ステップS60)。次に、処理部B42は、表示部2に、範囲内の模様81を非表示にさせる(ステップS61)。ステップS51以降の処理は
図14と同一である。
【0043】
次に、
図16を参照して
図9に示した表示装置1aの他の動作例について説明する。この動作例は、表示装置1aでユーザーによって汚れがふき取られた場合の動作の一例である。この動作例では、拭き取り動作が検出された場合に、判別部5が検出部3の反応の有無を判定し、反応が無かった場合に処理部B42が模様81を消去する。この場合、汚損80が拭き取られたと判別部5が判定した箇所の模様81が消去される。なお、
図15に示したフローと同様に、検出部3がタッチセンサである場合に適したフローである。
【0044】
拭き取り動作が検出された場合、処理部B42は、検出部3の出力に基づき、拭き取り動作を検出した範囲を取得する(ステップS70)。次に判別部5は検出部3の反応を確認する(ステップS71)。次に、ステップS71の確認結果に基づいて、判別部5は、検出部3に反応があるか否かを判定する(ステップS72)。検出部3に反応がある場合(ステップS72でYESの場合)、判別部5は、検出部3から該当箇所の位置と範囲を取得する(ステップS73)。次に、判別部5は、該当箇所の処理を処理部B42へ流すように設定する(ステップS74)。一方、ステップS72において判別部5が反応がないと判定した場合(ステップS72でNOの場合)、処理部B42は、該当箇所の模様81を非表示にさせる(ステップS75)。次に、判別部5は、該当箇所の処理を処理部A41へ流すように設定する(ステップS76)。ここで、判別部5は処理を終了する。
【0045】
なお、
図9に示した表示装置1aにおいては、
図11に示したように、判別部5を除くこともできる。
図11に示した表示装置1bは、表示部2と、検出部3と、処理部A41aと、処理部B42aとを備える。表示装置1bでは、ユーザーによる入力操作を処理部A41aと処理部B42aとに共に入力する。そして、処理部A41aでは、マークした領域のユーザー入力操作を無効化する。他方、処理部B42aでは、マークした領域以外のユーザー入力操作を無効化する。
【0046】
以上のように、本実施形態によれば、予期しない操作性の低下を防止することで、操作感を改善することができる。その際、マークした領域82に対する操作に応じた処理と、それ以外の領域に対する操作に応じた処理とを、処理部B42(または処理部B42a)と処理部A41(または処理部B41a)とに振り分けて実行する。そのため、例えば、プログラムの作成や変更を容易に行うことができる。
【0047】
<第3の実施形態>
本発明の第3の実施形態は、構成が
図9に示した第2の実施形態の表示装置1aと同一であり、動作が第2の実施形態と異なる。ただし、第3の実施形態では、
図9に示した検出部3が、タッチセンサとカメラとから構成されている。第3の実施形態は、検出部3を構成するタッチセンサとカメラとを用いて汚損を検出する。第3の実施形態は、例えば、タッチセンサで検出できない汚損をカメラを用いて検出することで検出精度を向上させることができる。また、第3の実施形態は、汚損の有無に加えて汚損のレベルを管理する機能を備える。
【0048】
図17は、第3の実施形態で用いる汚損のレベルを示す。
図17に示した汚損レベルは、レベル0〜2のTレベルと、レベル0〜2のSレベルとを含む。Tレベルは検出部3のタッチセンサの検出結果に応じて決定される。Sレベルは検出部3のカメラを用いた検出結果に応じて決定される。Tレベル=0は誤動作無しを意味する。Tレベル=1は誤動作有りを意味する。Tレベル=2は拭き取り後に誤動作有りを意味する。Sレベル=0は汚れ無しを意味する。Sレベル=1は汚れ有りを意味する。Sレベル=2は拭き取り後に汚れ作有りを意味する。各レベルの大小関係は、S0=T0<S1<S2<T1<T2である。なお例えばS0はSレベル=0を表す。
【0049】
次に、
図18を参照して、
図9に示した表示装置1aにおいて汚損箇所に模様81を表示する動作について説明する。ユーザーが入力操作を行っていない場合、処理部B42、表示領域の全てまたは一部の範囲について検出部3の検出結果を取得する(ステップS100)。次に、判別部5は、検出部3の反応をチェックする(ステップS101)。タッチセンサに反応がある場合(ステップS102でYESの場合)、判別部5は、該当箇所のTレベルを1上げる(ステップS103)。次に、判別部5は該当箇所の位置と範囲を取得する(ステップS104)。次に判別部5は該当箇所の処理を処理部B42へ流すよう設定する(ステップS105)。次に、判別部5は該当箇所のTレベルまたはSレベルに応じた模様81を表示する(ステップS106)。ただし判別部5はTレベルおよびSレベルがともに0なら模様81を消す。
【0050】
一方、タッチセンサに反応がない場合(ステップS102でNOの場合)、判別部5は、該当箇所のTレベルを0にする(ステップS107)。次に、判別部5は、カメラに反応がある場合(ステップS108でYESの場合)、該当箇所のSレベルを1上げる(ステップS109)。次に判別部5はステップS104の処理を実行する。他方、カメラに反応がない場合(ステップS108でNOの場合)、判別部5は該当箇所のSレベルを0にする(ステップS110)。次に、判別部5は、該当箇所の処理を処理部A41へ流すよう設定する(ステップS111)。なお、処理部A41と処理部B42の動作は第2の実施形態と同一である。
【0051】
次に、
図19を参照して、
図9に示した表示装置1aの汚れを拭き取る動作が検出された場合の動作例について説明する。
図18に示したフローと比較して、
図19に示したフローは、ステップS100に代えてステップS201とステップS202とが設けられている点が異なる。拭き取り動作が検出された場合、処理部B42は、検出部3の出力に基づき、拭き取り動作を検出した範囲を取得する(ステップS200)。次に、処理部B42は、表示部2に、範囲内の模様81を非表示にさせる(ステップS201)。ステップS101以降の処理は
図18と同一である。
【0052】
以上のように、本実施形態によれば、予期しない操作性の低下を防止することで、操作感を改善することができる。その際、汚損が検出された箇所に対する操作に応じた処理と、それ以外の箇所に対する操作に応じた処理とを、処理部B42(または処理部B42a)と処理部A41(または処理部B41a)とに振り分けて実行する。そのため、例えば、プログラムの作成や変更を容易に行うことができる。さらに、汚損のレベルを管理するので、レベルに応じて模様81を表示することができる。
【0053】
<第4の実施形態>
図20から
図29を参照して本発明の第4の実施形態について説明する。
図20は第4の実施形態の構成例を示すシステム図である。
図20に示した表示装置1cは、表示部2bと、判別部5bと、処理部A41bと、処理部B42bと、処理部M43とを備える。判別部5bと、処理部A41bと、処理部B42bと、処理部M43とを組み合わせたものが、
図1に示した第1の実施形態の処理部4に対応する構成である。判別部5b、処理部A41b、処理部B42b、および処理部M43は、例えば同一のまたは異なるCPUと記憶装置とを用いて構成され、CPUによって所定のプログラムを実行することで動作する。
【0054】
表示部2bは、
図1に示した表示部2と検出部3とを組み合わせた構成であり、例えばコンテンツ86を表示画面2a上に表示するディスプレイであり、タッチ操作による入力操作ができる。表示部2bは、ユーザーの入力操作を検出し、例えばタッチされた位置を表す情報をタッチ情報101として判別部5bに対して出力する。
【0055】
判別部5bは、タッチされた箇所がユーザー操作可能な箇所か操作無効な汚損箇所かを判別し、タッチ操作の情報をタッチ情報104として処理部A41bまたは処理部B42bに振り分ける。また、判別部5bは、汚損箇所のチェック処理により汚損箇所があると判定した場合、その情報(位置および範囲)を、汚損箇所情報102として処理部M43に伝達する。
【0056】
処理部M43は、ユーザーのタッチ操作における処理やコンテンツの表示、汚損箇所のチェックを行い、その結果を判別情報103として判別部5bに伝達する。また、処理部M43は、汚損箇所がある場合、表示画面2a上の汚損80がある箇所に模様81を表示し可視化する。
【0057】
処理部A41bは、通常のユーザー操作(汚損箇所以外に対してのユーザー操作)を処理する。処理部A41bは、例えばユーザーのタッチ操作やジェスチャー、コンテンツ操作(ボタンが押された等)を認識し、処理部M43へ伝達する。
【0058】
処理部B42bは、汚損箇所に対してのユーザー操作を処理する。処理部B42bは、例えば拭き取り動作を検知した場合に処理部M43へそれを伝える。
【0059】
なお、コンテンツ86は、ディスプレイの表示画面2a上に表示するコンテンツであり、画像や動画等の情報である。また、外部入力105は、コンテンツ86を表す外部入力情報であり、例えば映像信号やデータコンテンツ等である。
【0060】
なお、第4の実施形態の表示装置は、
図20に示した表示装置1cように、表示部2bと、判別部5b、処理部A41b、処理部B42bおよび処理部M43とを一体としたディスプレイ一体型の構成に限定されない。例えば、
図21に表示装置1dとして示したように、表示部2bを備えるディスプレイ11と、判別部5b、処理部A41b、処理部B42bおよび処理部M43を備える処理装置12とに分けることもできる。
【0061】
次に、
図22から
図27を参照して、
図20に示した表示装置1cまたは
図21に示した表示装置1dにおける動作例について説明する。
図22はタッチ操作が検出されたときの処理例を示す。
図23は汚損のチェック処理の一例を示す。また、
図24は、コンテンツの表示処理の一例を示す。
【0062】
表示部2bが表示画面2aに対する入力操作を検出すると、表示部2bに対するユーザータッチ操作に基づくタッチ情報101が判別部5bへ伝わる。判別部5bは、処理部M43から受信した判別情報103に基づき、タッチ情報101からタッチされた箇所がユーザー操作可能な領域Aかユーザー操作無効な領域(汚損箇所)Bかの判別を行い、処理部A41bまたは処理部B42bへタッチ情報104を伝達する(
図22のステップS300)。
【0063】
処理部A41bでは、通常のユーザー操作を認識する(ステップS301)。処理部A41bは、コンテンツ86へのタッチ操作やジェスチャー等を認識し処理部M43へ操作情報を伝達する(ステップS302)。ここで処理部A41bは処理を終了する。一方、処理部M43では、ユーザー操作に対しての処理を行う。処理部M43は、例えばボタンが押されたときの処理等を行う。
【0064】
一方、処理部B42bでは、汚損箇所に対するユーザー操作を監視する(ステップS303)。汚損箇所に対するユーザー操作が拭き取り動作でない場合(ステップS303でNOの場合)、処理部B42bは処理を終了する。一方、処理部B42bは、ユーザーの拭き取り動作を検知した際には(ステップS303でYESの場合)、処理部M43へ伝達する(ステップS304およびステップS305)。ここで処理部B42bは処理を終了する。他方、処理部M43では、拭き取り動作が行われた範囲に対して汚損のチェックを行う。
【0065】
汚損のチェック処理は、処理部B42bから入力される拭き取り操作が行われた後、またはユーザーが誰もタッチ操作を行っていない時をトリガとして開始される。後者は例えば、タイマーによって深夜時間帯に開始することや一定時間タッチ操作が無い場合に開始するが考えられる。
【0066】
図23に示したように、処理部M43による汚損のチェック処理では、まず、処理部M43がユーザーが操作していないときにタッチセンサに反応があるか否かを判定する(ステップS400)。タッチセンサに反応がない場合(ステップS400でNOの場合)、処理部M43は処理を終了する。一方、タッチセンサに反応があった場合(ステップS400でYESの場合)、処理部M43は、当該箇所が汚損であると認識し、汚損箇所の情報を判別情報として記録する(ステップS401)。次に、処理部M43は、チェック結果を判別部5bへ判別情報(位置、範囲)103として伝達する(ステップS402)。また、処理部M43は、表示部2bに模様81を表示させ汚損箇所を可視化させる(ステップS403)。
【0067】
また、処理部M43では、処理部A41bおよび処理部B42bから入力されるイベントに対しての処理を行う。また、処理部M43は、入力されたコンテンツの表示や管理を行う。また、処理部M43は、例えば、
図25に示したようにコンテンツが表示される位置に汚損箇所が重なっている場合、コンテンツの表示位置を汚損箇所に重ならないよう変更することもできる。また、処理部M43は、OKボタン等のユーザーインターフェース(UI)の位置のみ変更することもできる。
【0068】
図25は、模様81とコンテンツ86との重畳関係の一例を示した模式図である。コンテンツの表示処理では、処理部M43は、まず、コンテンツ86と汚損領域を示す模様81とを、それぞれコンテンツを描画するレイヤー23と汚損領域を描画するレイヤー22とに分けて描画する。そして、処理部M43は、それらを重畳した重畳画像21を作成することで最終的に表示部2bに表示する。その際、処理部M43は、汚損領域のレイヤー22が必ずコンテンツ描画のレイヤー23より上面になるようにして重畳画像21を作成する。
図25において、汚損領域84は汚損80に対応した領域である。また、コンテンツ表示領域85はコンテンツ86に対応した領域である。
【0069】
コンテンツが表示される位置に汚損箇所が重なっていると場合、処理部M43は、例えば
図26に示したようにコンテンツ86の表示位置を汚損80の箇所に重ならないよう変更する(レイヤー23上に変更を矢印で示した)。また、処理部M43は、例えば
図27に示したように、OKボタン等のユーザーインターフェース(UI)87の位置のみ変更することもできる(レイヤー23上に変更を矢印で示した)。
【0070】
なお、
図20に示した表示装置1cの構成は例えば
図28に示した表示装置1eの構成に変形することができる。また、
図21に示した表示装置1dの構成は例えば
図29に示した表示装置1fの構成に変形することができる。
図28または
図29に示した表示装置1eまたは表示装置1fでは、タッチ情報101が処理部M43cへ入力され、判別部5cへは処理部M43cから判別情報103が入力される。なお、
図28または
図29に示した判別部5c、処理部A41c、処理部B42cおよび処理部M43cは、
図20または
図21に示した判別部5b、処理部A41b、処理部B42bおよび処理部M43にそれぞれ対応する構成であり、タッチ情報101の扱いを除き動作は同様である。
【0071】
以上のように、本実施形態によれば、予期しない操作性の低下を防止することで、操作感を改善することができる。その際、汚損が検出された箇所に対する操作に応じた処理と、それ以外の箇所に対する操作に応じた処理とを、処理部B42b(または処理部B42c)と処理部A41b(または処理部B41c)とに振り分けて実行する。さらに、汚損のチェックやコンテンツと模様との表示処理を処理部M43で実行する。したがって、例えば、プログラムの作成や変更を容易に行うことができる。また、処理部M43が、汚損を可視化する模様と、コンテンツのとの位置関係を調整することができるので、コンテンツに対する操作性や視認性を改善することができる。
【0072】
<基本構成>
図35は、上述した第1の実施形態から第4の実施形態およびそれらの変形例の基本構成の例を示す。
図35(A)に示した各実施形態の基本構成の一例である表示装置200は、処理部201を少なくとも備える。ただし、表示装置200は、入力表示部202を備えていてもよい。入力表示部202は、入力表示面を備え、ユーザーの入力表示面への操作を入力するための入力部の機能と、入力表示面に画像を表示するための表示部の機能とを有する。なお、入力表示部202の入力表示面は、透過型で画像を表示するものであってもよいし、反射型で画像を表示するものであってもよい。処理部201は、入力表示部202の汚損を検出する汚損検出ステップと、検出した汚損の位置に対応する入力表示部202の第1箇所に所定の表示をする汚損箇所表示ステップとを実行する。また、処理部201は、入力表示部202に対する入力操作を検知するステップを実行し、入力操作が第1箇所以外の第2箇所で検知されたときに、入力操作に応じた処理を行うことができる。
【0073】
ここで、「第1箇所」とは、汚損検出ステップで検出された汚損の位置に対応する入力表示部202の入力表示面上の地点または場所である。また、「第2箇所」とは、第1箇所ではない入力表示部202の入力表示面上の地点または場所である。すなわち、「第2箇所」は、汚損検出ステップで検出された汚損の位置には対応していない入力表示部202の入力表示面上の地点または場所である。また、汚損箇所表示ステップにおいて入力表示部202の第1箇所になされる「所定の表示」とは、ユーザーに対して第1箇所を可視化する表示である。例えば、「所定の表示」は、第1箇所または第1箇所を含む一定の範囲に所定の模様を描画する表示である。
【0074】
また、「汚損検出ステップ」とは、入力表示部202の汚損を検出する過程である。例えば、汚損検出ステップでは、入力表示部202に対する入力によって汚損を検出することができる。ここで、「入力表示部202に対する入力」とは、入力表示部202に対して与えられるものであって、入力表示部202が検出可能な所定の物理量または物理量の変化である。入力表示部202に対する入力は、ユーザーが入力操作を行ったときに発生するものと、ユーザーが入力操作を行っていないときに発生するものとを含む。汚損検出ステップでは、例えば、ユーザーが操作していない場合、あるいは操作していないであろうと推定される場合に、入力表示部202に対する入力が検出されたとき、検出された箇所を汚損箇所と判定することができる。すなわち、処理部201は、入力操作が行われているか否かを判定するステップを実行し、入力操作が行われていないと判定された場合に、汚損検出ステップと汚損箇所表示ステップとを実行することができる。この「入力操作が行われているか否かを判定するステップ」とは、ユーザーによって入力表示部202に対して所定の入力操作が行われている可能性が高いか否かを判定する過程である。入力操作が行われているか否かを判定するステップは、例えば、所定のセンサや撮像装置の出力に基づいてユーザーが入力操作を行っているか否かを判定するステップ、または、ユーザーが入力操作を行っていないと推定される条件が満たされているか否かを判定するステップの少なくとも一つを含むものとすることができる。処理部201は、例えば、人感センサーやカメラ等を用いて装置の周りに人がいないと判定した場合に、ユーザーが入力操作を行っていないと判定することができる。あるいは、処理部201は、例えば、判定時の時刻が、管理者が誰も操作しないと予想して指定した時間内である場合に、ユーザーが入力操作を行っていないと判定することができる。なお、汚損検出ステップは、例えば、所定の時刻になったもしくは所定の時間を経過したときまたは所定の動作を行ったときに実行される。
【0075】
また、入力操作が第1箇所以外の第2箇所で検知されたときに実行される「入力操作に応じた処理」とは、入力操作の態様に応じた処理である。「入力操作に応じた処理」とは、例えば入力操作の態様に応じて内容が変化する処理である。入力操作の態様に応じて内容が変化する処理とは、例えば、入力操作の態様を検出して検出した結果を出力する処理である。この場合、入力操作の態様に応じて出力される検出結果の内容が変化する。あるいは、入力操作の態様に応じて内容が変化する処理とは、例えば、入力操作の態様を検出し、検出した結果に応じて内容が決定される処理である。この場合、入力操作の態様に応じて決定される処理の内容が変化する。
【0076】
なお、入力表示部202は、
図1の構成例では、表示部2と検出部3とを組み合わせた構成に対応する。また、入力表示部202は、
図20の構成例では、表示部2bに対応する。また、処理部201は、
図1の構成例では、処理部4に対応する。この表示装置200によれば、予期しない操作性の低下を防止することで、操作感を改善することができる。
【0077】
一方、
図35(B)に示した各実施形態の基本構成の一例である表示装置200aは、処理部201によって制御される表示装置である。この場合、処理部201は、入力表示部202の汚損を検出する汚損検出ステップと、検出した汚損の位置に対応する入力表示部202の第1箇所に所定の表示をする汚損箇所表示ステップとを実行する。表示装置200aは、処理部201および入力表示部202と一体的に構成されていてもよいし、処理部201および入力表示部202の全部または一部とは別に構成されていてもよい。例えば、表示装置200aは、入力表示部202における表示部を有するものとして構成することができる。また、例えば、表示装置200aが入力表示部202とは別の構成である場合、表示装置200aは、入力表示部202が有する表示部を制御するための構成を備えた装置として構成することができる。
【0078】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。