(58)【調査した分野】(Int.Cl.,DB名)
前記関連付けて記憶された前記第1の画像識別情報と前記第1の時間情報とを、サーバ装置に送信する送信手段をさらに備える、請求項1に記載のプログラマブル表示器。
プログラマブル・ロジック・コントローラが制御対象機器から取得したデータを、中継機器を介して前記プログラマブル・ロジック・コントローラから取得する携帯端末装置であって、
人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、
オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、
前記推定によって前記視線が前記オブジェクトに向いていると判断された場合、前記視線が前記オブジェクトに向いている時間を計測する計測手段と、
前記オブジェクトを識別する識別情報と前記計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備え、
前記表示制御手段は、
前記視線が前記オブジェクトに向いている時間が第1の基準時間以上であった場合、前記オブジェクトに予め対応付けられている、ユーザ操作を支援するための画像を、前記ディスプレイに表示させ、
前記ユーザ操作を支援するための画像を前記ディスプレイに表示させる場合、前記ユーザ操作を支援するための画像の表示を消去するためのソフトウェアボタンを前記ディスプレイにさらに表示させ、
前記携帯端末装置は、前記視線が前記ユーザ操作を支援するための画像に向いている時間が第2の基準時間以上であったことを条件に、前記ソフトウェアボタンによる入力操作を受け付ける、携帯端末装置。
プログラマブル・ロジック・コントローラと無線によって通信可能に接続されるとともに、前記プログラマブル・ロジック・コントローラから取得したデータを表示可能な携帯端末装置であって、
人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、
オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、
前記推定によって前記視線が前記オブジェクトに向いていると判断された場合、前記視線が前記オブジェクトに向いている時間を計測する計測手段と、
前記オブジェクトを識別する識別情報と前記計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備え、
前記表示制御手段は、
前記視線が前記オブジェクトに向いている時間が第1の基準時間以上であった場合、前記オブジェクトに予め対応付けられている、ユーザ操作を支援するための画像を、前記ディスプレイに表示させ、
前記ユーザ操作を支援するための画像を前記ディスプレイに表示させる場合、前記ユーザ操作を支援するための画像の表示を消去するためのソフトウェアボタンを前記ディスプレイにさらに表示させ、
前記携帯端末装置は、前記視線が前記ユーザ操作を支援するための画像に向いている時間が第2の基準時間以上であったことを条件に、前記ソフトウェアボタンによる入力操作を受け付ける、携帯端末装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の技術では、表示装置のユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを後から判断できない。この点に関しては、他の特許文献2〜5でも同様である。
【0007】
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、ユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを他人が確認可能なプログラマブル表示器、携帯端末装置、プログラマブル表示器におけるデータ処理方法、およびプログラマブル表示器を制御するプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本発明のある局面に従うと、プログラマブル表示器は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、第1のオブジェクトを含む第1の画面をディスプレイに表示させる表示制御手段と、推定によって視線が第1のオブジェクトに向いていると判断された場合、視線が第1のオブジェクトに向いている時間を計測する計測手段と、第1のオブジェクトを識別する第1の画像識別情報と計測された時間を表す第1の時間情報とを関連付けて記憶する記憶手段とを備える。
【0009】
好ましくは、プログラマブル表示器は、関連付けて記憶された第1の画像識別情報と第1の時間
情報とを、サーバ装置に送信する送信手段をさらに備える。
【0010】
好ましくは、表示制御手段は、視線が第1のオブジェクトに向いている時間が第1の基準時間以上であった場合、第1のオブジェクトに予め対応付けられている画像をディスプレイに表示させる。
【0011】
好ましくは、予め対応付けられている画像は、ユーザ操作を支援するための画像である。
【0012】
好ましくは、表示制御手段は、ユーザ操作を支援するための画像をディスプレイに表示させる場合、ユーザ操作を支援するための画像の表示を消去するためのソフトウェアボタンをディスプレイにさらに表示させる。プログラマブル表示器は、視線がユーザ操作を支援するための画像に向いている時間が第2の基準時間以上であったことを条件に、ソフトウェアボタンによる入力操作を受け付ける。
【0013】
好ましくは、第1の画面は、第2のオブジェクトをさらに含む。計測手段は、推定によって視線が第2のオブジェクトに向いていると判断された場合、視線が第2のオブジェクトに向いている時間を計測する。記憶手段は、第2のオブジェクトを識別する第2の画像識別情報と計測された時間を表す第2の時間情報とを関連付けて記憶する。
【0014】
好ましくは、表示制御手段は、第1の画面から第2の画面への遷移を指示する入力を受け付けた場合、第2の画面をディスプレイに表示させることが可能である。記憶手段は、第1の画面が表示されている場合、視線が第1のオブジェクトに向いていると推定されると、第1の画面を識別する第1の画面識別情報と第1の画像識別情報と第1の時間情報とを関連付けて記憶する。
【0015】
好ましくは、第1のオブジェクトはソフトウェアボタンである。
本発明の他の局面に従うと、プログラマブル表示器は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、複数の予め定められた画面のうち、指定された画面をディスプレイに表示させる表示制御手段と、推定によって視線が指定され
た画面に向いていると判断された場合、視線が指定された画面に向いている時間を計測する計測手段と、指定された画面を識別する画面識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える。
【0016】
本発明のさらに他の局面に従うと、携帯端末装置は、プログラマブル・ロジック・コントローラが制御対象機器から取得したデータを、中継機器を介してプログラマブル・ロジック・コントローラから取得する。携帯端末装置は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測する計測手段と、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える。
【0017】
好ましくは、中継器は、プログラマブル表示器である。
本発明のさらに他の局面に従うと、携帯端末装置は、プログラマブル・ロジック・コントローラと無線によって通信可能に接続されるとともに、プログラマブル・ロジック・コントローラから取得したデータを表示可能である。携帯端末装置は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測する計測手段と、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える。
【0018】
本発明のさらに他の局面に従うと、データ処理方法は、プログラマブル表示器において実行される。データ処理方法は、プログラマブル表示器のプロセッサが、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なうステップと、プロセッサが、オブジェクトを含む画面をディスプレイに表示させるステップと、プロセッサが、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測するステップと、プロセッサが、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けてメモリに記憶させるステップとを備える。
【0019】
本発明のさらに他の局面に従うと、プログラムは、プログラマブル表示器を制御する。プログラムは、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なうステップと、オブジェクトを含む画面をディスプレイに表示させるステップと、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測するステップと、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けてメモリに記憶させるステップとを、プログラマブル表示器のプロセッサに実行させる。
【発明の効果】
【0020】
本発明によれば、ユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを他人が確認可能となる。
【発明を実施するための形態】
【0022】
本発明の実施の形態にかかるプログラマブル表示器について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0023】
<A.システム構成>
図1は、本実施の形態に係る制御システム1のシステム構成を示す模式図である。
図1を参照して、制御システム1は、PLC100と、PLC100と通信可能に接続されたプログラマブル表示器(HMI:Human Machine Interface)300と、PLC100と通信可能に接続されたサーバ装置400とを含む。サーバ装置400は、たとえば、イントラネットを構成する機器である。
【0024】
PLC100は、後述するようなユーザプログラムを周期的またはイベント的に実行する。ユーザプログラムは、PLC100の利用者によって作成される。ユーザは、例えばサポート装置(図示せず)を操作することにより、アクセス命令を含むプログラム(ソースプログラム)を作成することができる。なお、サポート装置は、ソースプログラムを、PLC100において実行可能な形式に変換し、変換されたユーザプログラムをPLC100へ送信する。サポート装置は、PLC100との間で各種パラメータの設定、プログラミング、モニタ、デバッグなどの機能を提供する。PLC100とサポート装置との間は、典型的には、USB(Universal Serial Bus)規格に従って通信可能に構成される。
【0025】
PLC100は、ユーザプログラムを実行し、ユーザプログラムに含まれる命令に従って、サーバ装置400と通信する。すなわち、PLC100およびサーバ装置400は、イーサネット(登録商標)などのネットワーク112を介して、データを互いに遣り取りできるように構成される。
【0026】
PLC100は、制御演算を実行するCPUユニット104と、1つ以上のIO(Input/Output)ユニット106とを含む。これらのユニットは、PLCシステムバス108を介して、データを互いに遣り取りできるように構成される。また、これらのユニットには、電源ユニット102によって適切な電圧の電源が供給される。
【0027】
制御システム1において、PLC100は、(PLCシステムバス108を介して接続される)IOユニット106を介して、および/または、フィールドバス110を介して、各種のフィールド機器との間でデータを遣り取りする。これらのフィールド機器は、制御対象に対して何らかの処理を行うためのアクチュエータや、制御対象から各種情報を取得するためのセンサなどを含む。
図1には、このようなフィールド機器の一例として、検出スイッチ10、リレー20およびモータ32を駆動するサーボモータドライバ30を含む。また、PLC100は、フィールドバス110を介してリモートIOターミナル200も接続されている。リモートIOターミナル200は、基本的には、IOユニット106と同様に、一般的な入出力処理に関する処理を行う。より具体的には、リモートIOターミナル200は、フィールドバス110でのデータ伝送に係る処理を行うための通信カプラ202と、1つ以上のIOユニット204とを含む。これらのユニットは、リモートIOターミナルバス208を介して、データを互いに遣り取りできるように構成される。
【0028】
プログラマブル表示器300は、接続ケーブル114によってPLC100と通信可能に接続されている。プログラマブル表示器300は、PLC100から取得した各種の情報を画面に表示する。
【0029】
また、プログラマブル表示器300は、顔認証機能を有する。つまり、ユーザは、プログラマブル表示器300による顔認証に成功しない限り、プログラマブル表示器300を利用することはできない。詳しく説明すれば、以下のとおりである。
【0030】
プログラマブル表示器300は、アプリケーションへのアクセスを制御する。プログラマブル表示器300は、ユーザの顔の特徴データを記憶している。プログラマブル表示器300は、撮像により得られたユーザの画像データと、上記特徴データとに基づき、ユーザの顔認証を行なう。プログラマブル表示器300は、ユーザが認証された場合、ユーザにアプリケーションへのアクセスを許可する。上記特徴データは、サーバ装置400に予め格納されており、プログラマブル表示器300がサーバ装置400から適宜取得する構成であることが好ましい。あるいは、制御システム1においては、プログラマブル表示器300が、上記撮像により得られた画像データをサーバ装置400に送信し、サーバ装置400が顔認証を行ってもよい。
【0031】
また、プログラマブル表示器300は、ヘルプ機能を有する。ヘルプ機能の詳細については後述する。なお、以下において、「ログイン状態」とは、アプリケーションへのアクセスが許可された状態であり、「ログアウト状態」とは、アプリケーションへのアクセスが許可されていない状態である。また、プログラマブル表示器300では、アプリケーションへのアクセスが許可されると、アプリケーションへのアクセス権が発行され、アプリケーションへのアクセスが許可されなくなると、アプリケーションへのアクセス権が取り消される。
【0032】
<B.処理の概要>
(b1.第1の処理例)
図2は、プログラマブル表示器300における第1の処理例を説明するための図である。具体的には、
図2は、操作権限を有する者(以下、「ユーザ」とも称する)がログインした後(つまり、ログイン状態)における、プログラマブル表示器300の画面を表した図である。
【0033】
図2(A)を参照して、プログラマブル表示器300は、ページ画面532を表示する。プログラマブル表示器300は、複数のページ画面を予め記憶しており、ユーザの指示等に基づきタッチスクリーン318(正確には、タッチスクリーンを構成するディスプレイ)に表示するページ画面を切換える。より詳しくは、プログラマブル表示器300は、PLC100から取得したデータを含めた状態で、ページ画面を表示する。より具体的に説明すれば、以下のとおりである。
【0034】
プログラマブル表示器300は、複数のオブジェクト831,832,834を含んだページ画面532をタッチスクリーン318に表示する。オブジェクト831は、PLC100からリアルタイムに取得したデータを含む。具体的には、オブジェクト831内のグラフは、ページ画面532の表示中において適宜更新される。
【0035】
オブジェクト832は、メンテナンスメニューを表している。オブジェクト832は、複数のオブジェクト8321,8322,…で構成される。オブジェクト8321は、ベルトコンベアの速度を調整する際に利用される。オブジェクト8322は、温度を調整するために利用される。オブジェクト834は、ログアウト状態に遷移するためのソフトウェアボタンである。
【0036】
図2(B)に示すとおり、ユーザが、予め定められた時間T1(以下、「基準時間T1」とも称する)にわたり、オブジェクト8321を注視したとする(目900で見続けたとする)。換言すれば、ユーザの視線901が、基準時間T1、オブジェクト8321に向いていたとする。この場合、
図2(C)に示すように、プログラマブル表示器300は、ヘルプ機能を実行することにより、オブジェクト8321に予め対応付けられている支援用画像881を、ページ画面532に重畳した態様で表示する。なお、「支援用画像」とは、プログラマブル表示器300のユーザの操作を支援するためのコメントを含む画像(ヘルプ表示)である。
【0037】
より詳しくは、プログラマブル表示器300は、支援用画像881がオブジェクト8321に関するものであることがユーザに認識させるべく、オブジェクト8321から吹き出した態様の支援用画像881をタッチスクリーン318に表示する。
【0038】
オブジェクト836は、支援用画像881の表示を消去する(非表示とする)ためのソフトウェアボタンである。ユーザが当該オブジェクト836をタッチ操作等で選択することにより、支援用画像881は非表示となる。
【0039】
なお、上記では、オブジェクト8321を基準時間T1にわたり注視した場合を例に挙げて説明したが、これに限定されるものではない。プログラマブル表示器300は、オブジェクト8321以外のオブジェクト(たとえば、オブジェクト8322)を基準時間T1にわたり注視した場合にも、当該オブジェクトに対応した支援用画像をページ画面532に重畳された状態で表示する。
【0040】
ユーザが、ページ画面に含まれるオブジェクトを基準時間T1以上注視している場合には、ユーザが、当該オブジェクトが何のための操作に用いられるものであるかを判断しかねている場合が多い。そこで、プログラマブル表示器300がオブジェクトに予め対応付けられている支援用画像をタッチスクリーン318に表示することにより、ユーザは、オブジェクトが何のための操作に用いられるものかを容易に判断できる。換言すれば、プログラマブル表示器300は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。
【0041】
(b2.第2の処理例)
図3は、プログラマブル表示器300における第2の処理例を説明するための図である。具体的には、
図3は、
図2の状態(すなわち、ページ画面532が表示されている状態)において、制御システム1においてエラーが発生したときの処理を説明するための図である。
【0042】
図3(A)を参照して、プログラマブル表示器300は、オブジェクト851をページ画面532に重畳した状態で表示する。オブジェクト851は、警告の一種としてのエラーを表している。
【0043】
図3(B)に示すとおり、ユーザが、基準時間T1にわたり、オブジェクト851を注視したとする。換言すれば、ユーザの視線901が、基準時間T1、オブジェクト851に向いていたとする。この場合、
図3(C)に示すように、プログラマブル表示器300は、ヘルプ機能を実行することにより、オブジェクト851に予め対応付けられている支援用画像882を、ページ画面532に重畳した態様で表示する。
【0044】
上記の場合においても、プログラマブル表示器300は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。
【0045】
(b3.ビッグデータ)
第1の処理例および第2の処理例では、プログラマブル表示器300は、オブジェクト8321を基準時間T1注視しているか否かを判断するために、視線901が連続して1つのオブジェクト(たとえば、オブジェクト8321,851)に向かっている間の時間を計測する必要がある。当該計測された時間の情報は、注視されていたオブジェクトの識別情報と関連付けることにより、制御システム1の管理者にとって、有用な情報として活用できる。
【0046】
そこで、プログラマブル表示器300は、オブジェクトを識別する画像識別情報と計測された時間を表す時間情報とを関連付けて一時的に記憶し、当該連付けて記憶された画像識別情報と時間時間とを、サーバ装置400に送信する。具体的には、プログラマブル表示器300は、当該連付けて記憶された識別情報と時間
情報とをログデータ(
図5参照)として、PLC100を介してサーバ装置400に送信する。サーバ装置400は、プログラマブル表示器300から送信されてきた当該情報を受信する。
【0047】
さらに詳しくは、オブジェクトを識別する画像識別情報(以下、「オブジェクトID」とも称する)と、計測された時間を表す時間情報と、ページ画面を識別する画面識別情報(以下、「ページID」とも称する)とを関連付けて一時的に記憶し、当該連付けて記憶された画像識別情報と時間
情報と画面識別情報とを、サーバ装置400に送信する。
【0048】
以上により、プログラマブル表示器300のユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを、制御システム1の管理者(たとえば、サーバ装置400のユーザ)がサーバ装置400において確認可能となる。また、プログラマブル表示器300においても、プログラマブル表示器300のユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを、制御システム1の管理者は確認可能となる。
【0049】
<C.ハードウェア構成>
図4は、プログラマブル表示器300のハードウェア構成の一例を説明するための図である。
図4を参照して、プログラマブル表示器300は、各種の演算を行なうCPU(Central Processing Unit)311と、ROM(Read Only Memory)312と、RAM(Random Access Memory)313と、各種のプログラムを不揮発的に格納するフラッシュROM314と、時計315と、操作キー316と、カメラ317と、タッチスクリーン318と、通信インターフェイス319とを備える。なお、これらの部位は、内部バスを介して互いに接続される。
【0050】
タッチスクリーン318は、ディスプレイ381と、ディスプレイ381を覆うように設置されたタッチパネル382とを有する。通信インターフェイス319は、Ethernet(登録商標)用IF(InterFace)391と、シリアル用IF392と、USB(Universal Serial Bus)用IF393とを有する。
【0051】
CPU311は、フラッシュROM314に格納されているプログラムをRAM313などに展開して実行する。ROM312は、一般的に、オペレーティングシステム(OS:Operating System)等のプログラムを格納している。RAM313は、揮発性メモリであり、ワークメモリとして使用される。
【0052】
Ethernet用IF391は、Ethernetの通信プロトコルをサポートし、PLC100との間でデータ通信する。シリアル用IF392は、シリアル通信のプロトコルをサポートし、たとえばPC(Personal Computer)との間でデータ通信する。USB用IF393は、USBの通信プロトコルをサポートし、たとえばUSBメモリとの間でデータ通信する。
【0053】
なお、
図4に示されるプログラマブル表示器300を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュROM314等のメモリに格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、プログラマブル表示器300の各ハードウェアの動作は周知であるために、詳細な説明は繰り返さない。
【0054】
<D.データ>
図5は、プログラマブル表示器300からサーバ装置400に送信されるログデータD5を説明するための図である。
図5を参照して、ログデータD5は、ユーザを識別するためのユーザIDと、日時情報と、操作内容を表した情報と、ページ画面を識別するためのページIDと、オブジェクトを識別するためのオブジェクトIDと、注視時間を表す情報と、立ち止り時間を表す情報とを互いに対応付けて記憶している。なお、ログデータD5は、たとえば、予め定められた時刻にサーバ装置400に送信される。
【0055】
ログデータD5を、
図2および
図3と対応づけて説明すると以下のとおりである。一例として、ページ画面532(
図2参照)のページIDを“P011”とする。また、オブジェクト8321(
図2参照)のオブジェクトIDを“G02”とする。さらに、オブジェクト851(
図3参照)のオブジェクトIDを“G03”とする。また、基準時間T1を“10秒”とする。
【0056】
この場合、ログデータD5は、ユーザIDが“A001”の者が、“P011”により特定されるページ画面532に含まれる、“G02”により特定されるオブジェクト8321を、30秒間にわたり注視していたことを表す情報を含んでいる。また、ログデータD5は、ユーザIDが“A001”の者が、“P011”により特定されるページ画面532に含まれる、“G03”により特定されるオブジェクト851を、20秒間にわたり注視していたことを表す情報を含んでいる。
【0057】
このように、ログデータD5には、少なくとも、ページ画面を識別するページIDとオブジェクトを識別するためのオブジェクトIDと時間情報とが関連付けて記憶されている。プログラマブル表示器300は、ログデータD5をサーバ装置400に送信することにより、サーバ装置400は、ページIDとオブジェクトIDと時間情報とが対応付けられた情報を得ることができる。
【0058】
<E.機能的構成>
図6は、プログラマブル表示器300の機能的構成を説明するための図である。
図6を参照して、プログラマブル表示器300は、記憶部350と、撮像部351と、表示部352と、操作受付部353と、通信処理部354と、表示制御部355と、顔認証部356と、管理部357と、計測部358とを備える。
【0059】
通信処理部354は、受信部3541と、送信部3542とを含む。顔認証部356は、視線推定部3561を含む。なお、撮像部351は、カメラ317(
図4)に対応する。表示部352は、ディスプレイ381に対応する。操作受付部353は、タッチパネル382に対応する。計測部358は、時計315に対応する。
【0060】
記憶部350は、複数のページ画面を表示するためのデータと、支援用画像を表示するためのデータとが予め記憶されている。また、記憶部350には、ログデータD5が記憶される。
【0061】
以下では、説明の便宜上、プログラマブル表示器300が、ページ画面A(たとえば、
図2等のページ画面532)、ページ画面B、ページ画面C、…を表示可能であるとする。また、ページ画面Aは、オブジェクトA1、オブジェクトA2、およびオブジェクトA3を含むものとする。
【0062】
表示制御部355は、表示部352に、複数のページ画面A,B,C,…のうち指定されたページ画面(たとえば、ページ画面A)を表示させる。表示制御部355は、ページ画面の種別によっては、PLC100から取得したフィールドデータがページ画面に含まれるように表示用の画像データを生成する。なお、フィールドデータは、受信部3541によって受信され、表示制御部355に送られる。また、操作受付部353がページ画面の切換え指示を受け付けた場合、表示制御部355は、当該指示に基づいたページ画面(たとえば、ページ画面B)を表示する。
【0063】
撮像部351は、人物等の被写体を撮像する。撮像部351は、撮像により得られた画像データを顔認証部356に送る。
【0064】
顔認証部356は、顔認証を行なう。また、顔認証部356に含まれる視線推定部3561は、撮像部351から送られてきた画像データに基づき、視線の向きを推定する。
【0065】
管理部357は、視線推定部3561から推定結果を受け取る。また、管理部357は、表示制御部355から、現在表示されているページ画面を特定するための情報(ページID)と、複数のオブジェクトが配置されている位置を表した位置情報(詳しくは、座標情報)とを受け取る。管理部357は、上記推定結果と、上記ページIDと、上記位置情報とに基づき、視線がオブジェクトに向いているか否かを判断する。また、管理部357は、視線がオブジェクトに向いている場合には、複数のオブジェクトのうちの、何れのオブジェクトに向いているかを判断する。たとえば、表示制御部355がページ画面Aを表示部352に表示している場合には、管理部357は、複数のオブジェクトA1,A2,A3のうちの、何れのオブジェクトに視線が向いているかを判断する。
【0066】
管理部357は、視線推定によって視線がオブジェクトに向いていると判断された場合、視線が当該オブジェクトに向いている時間を計測部358に計測させる。また、管理部357は、上記判断結果に基づいて、オブジェクトを識別するオブジェクトIDと、計測された時間を表す時間情報と、ページ画面を識別するページIDとを関連付けて、記憶部350のログデータD5を更新する。プログラマブル表示器300は、このような処理を行うことにより、
図5に示したログデータD5を得る。
【0067】
通信処理部354の送信部3542は、ログデータD5を、PLC100を介してサーバ装置400に送信する。
【0068】
(e.支援用画像の表示および消去)
表示制御部355は、視線がオブジェクトに向いている時間が基準時間T1以上であった場合、当該オブジェクトに予め対応付けられている支援用画像を表示部352に表示させる。たとえば、ページ画面Aが表示部352に表示されている場合であって、管理部357がオブジェクトA1に視線が向いているかを判断したときには、表示制御部355は、オブジェクトA1に予め対応付けられた支援用画像を、ページ画面Aに重畳させる態様で表示部352に表示させる。
【0069】
また、表示制御部355は、支援用画像を表示部352に表示させる場合には、当該支援用画像の表示を消去するための確認ボタンを、表示部352にさらに表示させる(
図2(C),
図3(C)参照)。プログラマブル表示器300は、視線が支援用画像に向いている時間が予め定められた時間T2(以下、「基準時間T2」とも称する)以上であったことを条件に、オブジェクト836による入力操作を受け付ける。なお、基準時間T2は、基準時間T1と同じ長さであってもよい。
【0070】
このように、プログラマブル表示器300は、基準時間T2以上の注視を条件に支援用画像を消去する構成とすることにより、当該条件を必要とせずに支援用画像を消去する構成に比べて、ユーザに対して、支援用画像をより確実に確認させることが可能となる。
【0071】
なお、基準時間T2を考慮することなく、支援用画像が表示されたことをトリガにして、オブジェクト836の入力を受け付けるようにプログラマブル表示器300を構成してもよい。
【0072】
<F.制御構造>
図7は、プログラマブル表示器300において実行される処理の一部を表したフローチャートである。
図7を参照して、ステップS2において、プログラマブル表示器300のCPU311は、表示されているページ画面に含まれるオブジェクトに視線が向いているか否かを判断する。
【0073】
CPU311は、視線がオブジェクトに向いていると判断された場合(ステップS2においてYES)、ステップS4において、当該オブジェクトを連続して視認している時間を時計315を用いて計測する。CPU311は、視線がオブジェクトに向いていないと判断した場合(ステップS2においてNO)、処理をステップS12に進める。
【0074】
ステップS6において、CPU311は、連続して視認されたオブジェクトを識別するオブジェクトIDと、計測された時間を表した時間情報と、表示されているページ画面を識別するためのページIDとを関連付けて記憶する。より詳しくは、CPU311は、上記オブジェクトIDと上記時間情報と上記ページIDとを用いて、ログデータD5を更新する。
【0075】
ステップS8において、CPU311は、オブジェクトを視認している時間が基準時間T1以上であるか否かを判断する。CPU311は、基準時間T1以上であると判断した場合(ステップS8においてYES)、ステップS10において、オブジェクトに対応付けられている支援用画像をページ画面に重畳した態様でディスプレイ381に表示させる。CPU311は、基準時間T1未満であると判断した場合(ステップS8においてNO)、処理をステップS12に進める。
【0076】
ステップS12において、CPU311は、現在の時刻が予め定められた時刻となったか否かを判断する。予め定められた時刻の一例としては、ユーザの作業の終了時刻(終業時刻)が挙げられる。
【0077】
CPU311は、予め定められた時刻になっていないと判断した場合(ステップS12においてNO)、処理をステップS2に進める。CPU311は、予め定められた時刻になったと判断した場合(ステップS12においてYES)、ステップS14において、関連ふけて記憶されたオブジェクトIDと時間情報とページIDとを含むログデータD5を、PLC100を介してサーバ装置400に送信する。
【0078】
<G.変形例>
<g1:第1の変形例>
上記においては、プログラマブル表示器300は、たとえば
図3に示したように、ユーザの視線901が予め定められて時間T1以上、オブジェクト851を向いている場合には、支援用画像882を表示する。以下では、基準時間T1以上にわたり、ユーザの視線がオブジェクトを向いていない場合の処理例について説明する。
【0079】
図8は、基準時間T1以上にわたり、ユーザの視線がオブジェクトを向いていない場合の処理例を説明するための図である。
図8(A)を参照して、プログラマブル表示器300は、オブジェクト851をページ画面532に重畳した状態で表示する。ユーザが、基準時間T1にわたり、オブジェクト851を注視していないとする。換言すれば、ユーザの視線901が、基準時間T1以上、オブジェクト851に向いていないとする。
【0080】
この場合、
図8(B)に示すように、プログラマブル表示器300は、オブジェクト851を目視することを促す支援用画像883を、ページ画面532に重畳した態様で表示する。プログラマブル表示器300は、
図8(B)の状態で、ユーザがオブジェクト851を基準時間T1以上注視することにより、
図3(C)に示した状態に画面を遷移させる。
【0081】
このような構成により、プログラマブル表示器300は、支援用画像(たとえば、
図3(C)に示した支援用画像882)が速やかに表示されるように、ユーザを誘導できる。また、プログラマブル表示器300は、ユーザに対して、ディスプレイ381に視線を向けるように促すことができる。
【0082】
<g2.第2の変形例>
(1)画面全体への適用
上記においては、どのオブジェクトをどの程度の時間にわたり注視していたかをプログラマブル表示器300が記録する構成について説明した。しかしながら、これに限定されるものではなく、どのページ画面をどの程度の時間にわたり注視していたかを記録するように、プログラマブル表示器300を構成してもよい。すなわち、プログラマブル表示器300は、オブジェクト単位ではなく、ページ画面単位で、ユーザが画面を視認していた時間を記録してもよい。
【0083】
図9は、ページ画面単位でユーザが画面を視認していた時間を記録する構成を説明するための図である。
図9(A)を参照して、プログラマブル表示器300は、オブジェクト801,802,803,804を含むページ画面を、タッチスクリーン318に表示する。
【0084】
この状態において、ユーザαが、当該ページ画面を注視したとする。プログラマブル表示器300は、視線推定の結果、視線が当該ページ画面に向いていると判断した場合、視線が当該ページ画面に向いている時間を計測する。プログラマブル表示器300は、当該ページ画面を識別するためのページIDと、計測された時間を表す時間情報とを関連付けて記憶する。
【0085】
さらに、
図9(A)の状態において、ユーザαが、当該ページ画面を基準時間T1以上注視したとする。この場合、
図9(B)を参照して、プログラマブル表示器300は、表示されているページ画面に関する支援用画像884を、当該ページ画面に重畳した態様でタッチスクリーン318に表示させる。
【0086】
上記の構成により、ユーザは、表示されているページ画面が何のための操作に用いられるものかを容易に判断できる。換言すれば、プログラマブル表示器300は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。
【0087】
また、予め定められた第1のページ画面を表示する場合には、オブジェクト単位で視認時間を記録し、予め定められた第2のページ画面を表示する場合には、ページ画面単位で視認時間を記録するように、プログラマブル表示器300を構成としてもよい。
【0088】
(2)ユーザの区分によって異なる表示をする構成への適用
プログラマブル表示器300の操作権限には、レベルがある。プログラマブル表示器300においては、たとえば、権限の高い順に、アドミニストレータ、メンテナンス者、およびオペレータが設定できる。
【0089】
図10は、ユーザαよりも操作権限のレベルが低いユーザβがプログラマブル表示器300を操作しているときの状態を表した図である。
図10(A)を参照して、プログラマブル表示器300は、オブジェクト802,804を含むページ画面を、タッチスクリーン318に表示する。つまり、プログラマブル表示器300は、ユーザβに設定されている操作権限に基づき、ユーザαが使用していたときには表示したオブジェクト801,803を非表示とする。
【0090】
図10(A)の状態において、ユーザβが、当該ページ画面を基準時間T1以上注視したとする。この場合、
図10(B)を参照して、プログラマブル表示器300は、表示されているページ画面に関する支援用画像885を、当該ページ画面に重畳した態様でタッチスクリーン318に表示させる。つまり、プログラマブル表示器300は、ユーザの操作権限に基づき、ユーザαが使用している場合に表示される支援用画像884とは異なる支援用画像885を表示する。なお、支援用画像885は、一例として、操作権限がないために操作できない処理の内容を表している。
【0091】
このような構成により、プログラマブル表示器300は、ユーザの操作権限に応じた情報であって、プログラマブル表示器300を現に操作しているユーザを支援するための情報を表示できる。それゆえ、プログラマブル表示器300によれば、ユーザの利便性を向上させることができる。
【0092】
<g3.第3の変形例>
図11は、制御システム1の第1の変形例を説明するための図である。
図11を参照して、制御システム1Aは、PLC100と、プログラマブル表示器300と、サーバ装置400とに加えて、タブレット端末600を備える。制御システム1Aは、タブレット端末600を備える点において、制御システム1とは異なる。
【0093】
タブレット端末600は、プログラマブル表示器300と通信する。制御システム1Aにおいては、プログラマブル表示器300の代わりに、あるいはプログラマブル表示器300とともに、上述した各種の処理(顔認証、視線推定、ログデータD5の更新、支援用画像の表示)をタブレット端末600が実行する。このような構成であっても、制御システム1と同様な効果を得ることができる。
【0094】
なお、タブレット端末600が、プログラマブル表示器300を介することなく、直接、PLC100と通信するように、制御システム1Aを構築してもよい。
【0095】
図12は、制御システム1の第2の変形例を説明するための図である。
図12を参照して、制御システム1Bは、PLC100と、サーバ装置400と、タブレット端末600と、中継器700とを備える。制御システム1Bは、プログラマブル表示器300の代わりに中継器700を備える点、およびタブレット端末600を備える点において、制御システム1とは異なる。
【0096】
中継器700は、PLC100とタブレット端末600との間の通信を中継する。
タブレット端末600は、制御システム1Aの場合と同様に、上述した各種の処理(顔認証、視線推定、ログデータD5の更新、支援用画像の表示)を実行する。このような構成であっても、制御システム1と同様な効果を得ることができる。
【0097】
<g4.第4の変形例>
図13は、支援用画像の表示の仕方の変形例を説明するための図である。具体的には、
図13は、
図2(C)に対応する図である。すなわち、
図13は、
図2(B)の状態から遷移した後の状態を表した図である。
【0098】
図13を参照して、プログラマブル表示器300は、ページ画面が表示されていた領域の一部を、支援用画像886を表示するための領域899として設定する。プログラマブル表示器300は、一例として、画面の端部から支援用画像886を表示するための領域を徐々に拡大し、拡大後の領域(
図13の領域899)に支援用画像886を表示する。
【0099】
このような表示態様であっても、ユーザは、オブジェクトが何のための操作に用いられるものかを容易に判断できる。換言すれば、プログラマブル表示器300は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。
【0100】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。