特開 2023-17482 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023017482

(43)【公開日】2023-02-07

(54)【発明の名称】確認作業支援システム、確認作業支援方法及び確認作業支援プログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20230131BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021121786

(22)【出願日】2021-07-26

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100132506

【弁理士】

【氏名又は名称】山内 哲文

(72)【発明者】

【氏名】重信 圭吾

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC03

(57)【要約】

【課題】確認対象に対する目視確認を判断するシステムの構築を容易にする
【解決手段】確認作業支援システム１は、確認対象Ｗ１に取り付けられ、確認対象Ｗ１に向けられた視線を検出する視線検出センサ２の検出結果を取得する視線検出結果取得部１１と、作業者Ａが、確認対象Ｗ１に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部１２と、視線検出結果取得部１１が取得した視線検出センサ２の検出結果と、確認作業データ取得部１２が取得した確認作業データに基づいて、作業者Ａが目視により確認対象Ｗ１を確認したか否かを判断する判断部１３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を取得する視線検出結果取得部と、
作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部と、
前記視線検出結果取得部が取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得部が取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断部と、を備える確認作業支援システム。

【請求項2】

請求項１に記載の確認作業支援システムであって、
前記確認作業データ取得部は、前記作業者から入力された前記確認対象に対する確認作業の開始又は確認結果を示すデータを、前記確認作業データとして取得する、確認作業支援システム。

【請求項3】

請求項１又は２に記載の確認作業支援システムであって、
前記確認作業データ取得部は、前記作業者の作業者端末が、前記確認対象の近くにあることを示すデータを、前記確認作業データとして取得する、確認作業支援システム。

【請求項4】

請求項１～３のいずれか１項に記載の確認作業支援システムであって、
前記確認作業データ取得部は、カメラで撮影された前記作業者の画像に基づいて決定される前記作業者の確認の動作を示すデータを、前記確認作業データとして取得する、確認作業支援システム。

【請求項5】

請求項１～４のいずれか１項に記載の確認作業支援システムであって、
前記確認対象には、視認可能な位置に所定のマークが付されており、
前記確認作業データ取得部は、前記作業者が前記確認対象のマークをカメラで撮影した撮影画像を、前記確認作業データとして取得する、確認作業支援システム。

【請求項6】

確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を、コンピュータが取得する工程と、
作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを、前記コンピュータが取得する工程と、
前記コンピュータが、前記視線検出センサの前記検出結果と、前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する工程と、を有する確認作業支援方法。

【請求項7】

確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を取得する視線検出結果取得処理と、
作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得処理と、
前記視線検出結果取得処理で取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得処理で取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断処理と、をコンピュータに実行させる確認作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者が、確認対象を目視により確認する作業を支援する技術に関する。

【背景技術】

【0002】

特開２０１２－７９８５号公報（特許文献１）には、カメラを備えるヘッドマウントディスプレイ装置を用いた確認業務支援システムが開示されている。ヘッドマウントディスプレイ装置のカメラが撮影する映像は、ヘッドマウントディスプレイ装置を装着する検査員の視界とほぼ一致する。このシステムは、カメラで撮影され補正された視界画像データを用いて、検査員による目視検査が正しく行われたか否かを判定する目視検査判定手段を備える。目視検査判定手段は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。算出した類似度が所定の閾値以上である場合に、検査員の視点と検査箇所とが一致していると判定される。一致した状態のまま所定期間（例えば、３秒間）経過した場合に、目視検査が正しく行われたと判定される。

【0003】

特開２００３－１７４５０５号公報（特許文献２）には、視線検出センサを備えた携帯端末が開示されている。視線検出センサは、使用者の視線が、携帯端末の液晶表示パネル部に向けられたことを検出する。視線が検出されると、制御部が、液晶表示パネル部へ電力を供給する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－７９８５号公報

【特許文献2】特開２００３－１７４５０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記従来のシステムでは、目視検査の判定のために、予めパターンデータ（検査箇所ごとの画像データ）を準備する必要がある。そのため、検査対象が変わる度に、パターンデータの生成が必要となる。また、検査員の視線と検査対象物との位置関係は一定ではなく、変化する。そのため、様々な視線の視界画像に対応するために、１つの検査対象に対して多くのパターンデータが必要となり得る。そのため、１つの検査対象物に対する目視検査判定を行うためのシステムの構築は、容易ではない。

【0006】

そこで、本願は、確認対象に対する目視確認を判断するシステムの構築を容易にする、確認作業支援システム、方法及びプログラムを開示する。

【0007】

本発明の実施形態に係る確認作業支援システムは、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの確認結果を取得する視線データ取得部と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部と、前記視線検出結果取得部が取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得部が取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断部と、を備える。

【発明の効果】

【0008】

本開示によれば、確認対象に対する目視確認を判断するシステムの構築を容易にすることができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態における確認作業支援システム１の構成例を示す図である。

【図2】図１に示す確認作業支援システム１において、カメラの画像から得られるデータを用いる場合の構成例を示す図である。

【図3】図１に示す確認作業支援システム１において、カメラの画像から得られるデータを用いる場合の他の構成例を示す図である。

【図4】図１に示す確認作業支援システム１の動作例を示すシーケンス図である。

【図5】図２に示す確認作業支援システム１の動作例を示すシーケンス図である。

【図6】図３に示す確認作業支援システム１の動作例を示すシーケンス図である。

【図7】図３に示す確認作業支援システム１の他の動作例を示すシーケンス図である。

【発明を実施するための形態】

【0010】

本発明の実施形態に係る確認作業支援システムは、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの確認結果を取得する視線データ取得部と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部と、前記視線検出結果取得部が取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得部が取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断部と、を備える。

【0011】

上記構成によれば、確認作業支援システムは、確認対象に取り付けられた視線検出センサの検出結果を取得し、さらに、作業者がその確認対象に対して確認作業を行っていることを示す確認作業データを取得する。これにより、確認対象に視線が向けられたか否か、及び、作業者が確認対象を確認する作業をしているか否かを示す情報が、判断部で利用可能となる。判断部は、これらの情報を基に、作業者が目視により確認対象を確認した否かを判断できる。そのため、判断処理に用いるデータが少なくてすみ、判断処理も簡単になる。また、確認対象に取り付けられた視線検出センサからの情報を用いるため、例えば、確認対象を画像等のデータにおいて認識するためのパターンデータや、作業者の視線と確認対象との位置関係を特定する処理等が不要になる。すなわち、確認対象の特定のために必要な確認対象に特化したデータが少なくてすむ。その結果、確認対象に対する目視確認を判断するシステムの構築が、容易になる。

【0012】

前記判断部は、例えば、前記確認作業データで示される前記作業者の前記確認対象に対する確認作業と、前記視線検出センサにおける前記確認対象に対する視線の検出との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。これにより、作業者が確認対象を確認する際に、その確認対象が目視されたか否かを、簡単な処理で判断できる。なお、判断部は、前記時間的関係に加えて、さらに他のデータ又は処理結果を用いて前記判断をしてもよい。

【0013】

前記判断部は、例えば、前記確認作業データで示される前記作業者の前記確認対象に対する確認作業と、前記視線検出センサの検出結果で示される前記確認対象に向けられた視線の検出との時間差が、設定時間内である場合に、前記作業者が目視により前記確認対象を確認したと判断してもよい。前記判断部は、前記時間差が前記設定時間内でない場合、前記作業者が目視により前記確認対象を確認していないと判断してもよい。

【0014】

具体例として、判断部は、確認作業データと視線検出センサの検出結果から上記の時間差を決定し、決定した時間差が設定時間内であるか否かを判断してもよい。或いは、判断部は、確認作業データ及び視線検出センサの検出結果のうち一方を取得してから、設定時間内に他方を取得するか否かを判断してもよい。

【0015】

前記確認作業データ取得部は、前記作業者から入力された前記確認対象に対する確認作業の開始又は確認結果を示すデータを、前記確認作業データとして取得してもよい。これにより、作業者が確認対象に対する確認作業の開始又は確認結果を入力する操作と、確認対象に向けられた視線、すなわち確認対象が見られたことの検出結果により、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。

【0016】

前記判断部は、例えば、前記確認作業データで示される前記確認対象に対する確認作業の開始又は確認結果入力と、前記視線検出センサにおける前記確認対象に対する視線の検出との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。

【0017】

前記確認作業データ取得部は、前記作業者の作業者端末が、前記確認対象の近くにあることを示すデータを、前記確認作業データとして取得してもよい。これにより、作業者の作業者端末が確認対象の近くにあるか否かと、確認対象が見られたか否かにより、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。

【0018】

前記判断部は、例えば、前記確認作業データに基づいて決定される前記確認対象の近くに前記作業者の前記作業者端末がある時と、前記視線検出センサにおける前記確認対象に対する視線の検出の時との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。

【0019】

前記確認作業データ取得部は、カメラで撮影された前記作業者の画像に基づいて決定される前記作業者の確認の動作を示すデータを、前記確認作業データとして取得してもよい。これにより、作業者による確認の動作と、確認対象が見られたことの検出結果により、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。

【0020】

前記判断部は、例えば、前記確認作業データで示される前記作業者の確認の動作の時と、前記視線検出センサにおける前記確認対象に対する視線の検出の時との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。

【0021】

前記確認対象には、視認可能な位置に所定のマークが付されてもよい。前記確認作業データ取得部は、前記作業者が前記確認対象のマークをカメラで撮影した撮影画像を、前記確認作業データとして取得してもよい。判断部は、撮影画像のマークを認識することで、作業者により確認対象が撮影されたと判断できる。これにより、作業者が確認対象をカメラで撮影する動作の有無と、確認対象が見られたか否かにより、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。

【0022】

前記判断部は、例えば、前記確認作業データで決定される前記作業者の確認対象の前記マークの撮影と、前記視線検出センサにおける前記確認対象に対する視線の検出との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。

【0023】

本発明の実施形態に係る確認作業支援方法は、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を、コンピュータが取得する工程と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを、前記コンピュータが取得する工程と、前記コンピュータが、前記視線検出センサの前記検出結果と、前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する工程と、を有する。

【0024】

本発明の実施形態に係る確認作業支援プログラムは、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を取得する視線検出結果取得処理と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得処理と、前記視線検出結果取得処理で取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得処理で取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断処理と、をコンピュータに実行させる。

【0025】

［実施形態］
以下、実施形態について図面を参照しつつ説明する。図中同一及び相当する構成については同一の符号を付し、同じ説明を繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化又は模式化して示されたり、一部の構成部材が省略されたりしている。

【0026】

（システム構成例）
図１は、本実施形態における確認作業支援システム１の構成例を示す図である。確認作業支援システム１は、作業者が、確認対象の注目部分を目視により確認する作業を支援するシステムである。確認対象は、特に限定されないが、例えば、目視による点検が必要な設備又はその一部が、確認対象となり得る。図１に示す確認対象Ｗ１は、設備の一部の点検すべき部分である。

【0027】

図１に示す確認作業支援システム１は、確認対象Ｗ１に取り付けられた視線検出センサ２、及び、作業者Ａの作業者端末３と通信可能となっている。図１の例では、ネットワークを介して、視線検出センサ２、作業者端末３及び確認作業支援システムが接続される。確認作業支援システム１と視線検出センサ２又は作業者端末３との接続は、無線であっても、有線であってもよい。確認作業支援システム１は、視線検出結果取得部１１、確認作業データ取得部１２、及び、判断部１３を備える。

【0028】

視線検出センサ２は、確認対象Ｗ１に向けられた視線を検出する。視線検出センサ２は、確認対象Ｗ１が人によって目視されたことを検出するセンサである。視線検出センサ２は、例えば、赤外線を照射し、瞳で反射した赤外線を検出して得た画像により視線を決定する構成であってもよい。これは、角膜反射法を用いて視線を検出する構成である。この場合、視線検出センサ２は、赤外線照射部、赤外線検出部、及び、検出した赤外線画像を処理して視線を決定する演算部を備える。角膜反射画像を用いて視線を決定する処理は、例えば、角膜反射に対する瞳孔の位置を検出して視線を決定する処理が含まれる。また、所定パターンの赤外線を照射し、角膜の反射パターンを検出することもできる。

【0029】

或いは、視線検出センサ２は、瞳で反射した可視光線を検出する構成であってもよい。この場合、視線検出センサ２は、カメラと、カメラで撮影された可視光線の画像を処理して視線を決定する演算部とを備える。可視光線の画像を用いて視線を検出する処理は、例えば、画像に写る目の特徴点（例えば、目頭、目じり、瞳等）を認識し、これらの特徴点を基に視線を決定する処理が含まれる。この場合、確認対象Ｗ１に取り付けられるカメラと、外部のコンピュータ、例えば、作業者端末３又は確認作業支援システム１のコンピュータで視線検出センサ２が構成されてもよい。このように、視線検出センサ２の一部が確認対象に取り付けられ、他の部分は、確認対象の外に設けられてもよい。

【0030】

視線検出結果取得部１１は、視線検出センサ２の検出結果を取得する。視線検出結果取得部１１は、確認対象Ｗ１に視線が向けられたか否かを示すセンサデータを、視線検出センサ２から取得する。視線検出結果取得部１１は、検出結果のデータとして、例えば、視線検出センサ２で確認対象Ｗ１への視線が検出されたことを示す情報と、確認対象Ｗ１を特定するための情報を含むデータを、取得する。視線検出結果取得部１１は、例えば、予め記録された確認対象Ｗ１と視線検出センサ２との対応を示す対応データを用いて、視線検出センサ２から受信したセンサデータを基に、確認対象Ｗ１を特定してもよい。視線検出結果取得部１１は、視線検出センサ２から受け取った検出結果を、確認作業支援システム１のコンピュータからアクセスできる状態にする。

【0031】

確認作業データ取得部１２は、作業者Ａが確認対象Ｗ１に対して確認作業を行っていることを示す確認作業データを取得する。確認作業データは、作業者Ａが確認対象Ｗ１に対して確認作業を行っていることを直接的に示す情報を含んでもよいし、それを間接的に示す情報を含むものであってもよい。直接的に示す情報としては、例えば、作業者端末３に作業者Ａが入力した情報であって、確認対象Ｗ１に対する確認作業の開始又は確認結果を示す情報が挙げられる。間接的に示す情報としては、例えば、確認作業を行う作業者Ａをカメラで撮影して得られた画像、作業者Ａが確認対象Ｗ１をカメラで撮影して得られた画像、又は、作業者端末３が確認対象Ｗ１の近くにいることを検出したことを示す情報、等が挙げられる。確認作業データ取得部１２は、確認作業データを、確認作業支援システム１のコンピュータからアクセスできる状態にする。

【0032】

視線検出結果取得部１１は、確認作業データ取得部１２が取得した確認作業データに基づいて、視線検出センサ２から検出結果を取得する時期を制御してもよい。例えば、視線検出結果取得部１１は、確認作業データを基に、作業者Ａが確認対象Ｗ１に対する確認作業を行っていると判断できる期間に、視線検出センサ２の検出結果を受け付けることができる。また、視線検出結果取得部１１は、確認作業データに基づいて、視線検出センサ２の検出動作の期間を制御してもよい。例えば、視線検出結果取得部１１は、確認作業データを基に作業者Ａが確認対象Ｗ１に対する確認作業を行っていると判断できる期間に、視線検出センサ２が検出動作を行うように、視線検出センサ２を制御してもよい。

【0033】

或いは、確認作業データ取得部１２は、視線検出結果取得部１１が取得する検出結果に基づいて、確認作業データを取得する時期を制御してもよい。例えば、確認作業データ取得部１２は、視線検出センサ２において視線が検出された時を基準とする制限時間内に、確認作業データを受け付けることができる。一例として、確認作業データ取得部１２は、確認対象Ｗ１に対する視線が検出された時を基準とする制限時間内に、作業者Ａから確認対象Ｗ１に対する確認結果の入力を受け付けることができる。又は、上記制限時間内に、作業者Ａを撮影するカメラ又は作業者Ａが撮影するカメラからの画像を受け付けることができる。又は、上記制限時間内に、作業者端末３が確認対象Ｗ１の近くにあることの検出の結果を受け付けることができる。これらの場合、確認作業データ取得部１２は、制限時間外には、これらを受け付けないか、受け付けても無効とすることができる。

【0034】

判断部１３は、視線検出結果取得部１１が取得した視線検出センサ２の検出結果と、確認作業データ取得部１２が取得した確認作業データに基づいて、作業者Ａが目視により確認対象Ｗ１を確認したか否かを判断する。判断部１３は、例えば、視線検出センサ２の検出結果が示す確認対象Ｗ１に対する視線の検出と、確認作業データから決定される作業者Ａの確認対象Ｗ１に対する確認作業との時間的な関係が、設定された条件を満たすか否かを判断する。具体的には、判断部１３は、視線検出センサ２による確認対象Ｗ１に対する視線の検出と、確認作業データで示される確認対象Ｗ１に対する作業者Ａの確認作業が、設定時間内か否かを判断する。すなわち、判断部１３は、視線検出センサ２による視線の検出と確認作業データに基づき判断される確認作業が設定時間内に行われた場合に、作業者Ａが目視により確認対象Ｗ１を確認したと判断できる。判断部１３は、視線の検出と確認作業が設定時間内に検出されない場合は、作業者Ａが目視により確認対象Ｗ１を確認していないと判断してもよい。

【0035】

判断部１３は、視線検出センサ２の検出結果及び確認作業データ以外のデータ又は処理結果をさらに用いて、作業者Ａが目視により確認対象Ｗ１を確認したか否かを判断してもよい。

【0036】

一例として、確認作業データは、作業者端末３に作業者Ａによって入力されるデータとすることができる。この場合、判断部１３は、作業者Ａによる確認対象Ｗ１に対する確認作業の開始又は確認結果の入力と、視線検出センサ２による視線の検出との時間的関係が、設定された条件を満たす場合に、作業者Ａが目視により確認対象を確認したと判断することができる。

【0037】

また、他の例として、確認作業データは、作業者端末３が確認対象Ｗ１の近くにあることを示すデータであってもよい。例えば、作業者端末３と確認対象Ｗ１とは互いに近距離無線通信が可能であってもよい。作業者端末３と確認対象Ｗ１が互いに通信圏内に入った場合、作業者端末３及び確認対象Ｗ１は、互いに相手を検出する。作業者端末３又は確認対象Ｗ１は、相手が検出されたことを、確認作業支援システム１に通知する。この場合、確認作業データ取得部１２は、作業者端末３及び確認対象Ｗ１が無線通信圏内で検出されたことを示すデータを、確認作業データとして受信することができる。

【0038】

このように、作業者端末３が確認対象Ｗ１の近くにある状態が検出されたことを示すデータが、確認作業データとなる場合がある。この場合、判断部１３は、作業者端末３が確認対象Ｗ１の近くにある状態が検出された時と、視線検出センサ２で視線が検出された時との時間的関係に基づいて、作業者Ａが目視により確認対象Ｗ１を確認したか否かを判断する。

【0039】

確認作業支援システム１によって、作業者Ａが、目視により確認対象Ｗ１を確認したか否かを自動的に判断することが可能になる。また、本例では、確認対象Ｗ１に取り付けられた視線検出センサ２の検出結果が、判断部１３の判断処理に用いられる。確認対象Ｗ１の位置と、視線を検出するセンサの位置との位置関係は固定されている。そのため、確認作業支援システム１において、作業者Ａの視線位置と、確認対象との対応関係を特定するための仕組みが不要である。そのため、確認作業支援システム１の視線検出結果取得部１１、確認作業データ取得部１２、及び判断部１３の処理は簡素になり、準備するべき確認対象に特有のデータも少なくてすむ。結果として、確認作業支援システム１の構築が簡単になる。

【0040】

図２は、図１に示す確認作業支援システム１において、確認作業データとしてカメラの画像から得られるデータを用いる場合の構成例を示す図である。図２の例では、確認作業支援システム１は、確認対象Ｗ１を確認する作業者Ａを撮影するカメラ４と通信可能である。カメラ４は、例えば、確認対象Ｗ１を撮影範囲とする設置されてもよいし、作業者Ａのヘルメット等に装着されるカメラ４、又は、作業者端末３に内蔵されるカメラ４であってもよい。カメラ４の撮影動作は、確認作業支援システム１によって制御されてもよい。

【0041】

図２において、確認作業データ取得部１２は、カメラ４で撮影された作業者Ａの画像に基づいて決定される作業者Ａの確認の動作を示すデータを、確認作業データとして取得する。作業者Ａの確認の動作は、例えば、確認対象Ｗ１を指差す動作である。或いは、確認作業において、確認対象Ｗ１に対する操作が必要な場合は、その操作が、確認の動作として画像に基づき検出される。カメラ４で撮影された画像を基に作業者Ａの確認の動作を決定する処理は、例えば、画像に写る人物の特定の動きを検出するモーションキャプチャ又はジェスチャー認識処理を含んでもよい。また、確認作業データ取得部１２は、カメラ４の画像を取得して、作業者Ａの確認の動作を検出してもよい。

【0042】

判断部１３は、確認作業データで示される作業者Ａの確認の動作と、視線検出センサ２による視線の検出との時間的関係が、設定された条件を満たす場合に、作業者Ａが目視により確認対象Ｗ１を確認したと判断することができる。

【0043】

視線検出結果取得部１１は、カメラ４で撮影された画像に基づく決定された作業者Ａの確認の動作に基づいて、視線検出センサ２の検出結果の取得時期を制御してもよい。例えば、視線検出結果取得部１１は、カメラ４の画像から検出された作業の動作の時を基準とする制限時間において、視線検出センサ２の検出結果を受け付けることができる。或いは、視線検出結果取得部１１は、カメラ４の画像から確認作業の動作が検出された時を基準に、視線検出センサ２の検出動作の開始又は終了の少なくとも一方を制御してもよい。

【0044】

確認作業データ取得部１２は、視線検出センサ２の検出結果に基づいて、カメラ４で撮影された画像に基づくデータを取得する時期を制御してもよい。例えば、確認作業データ取得部１２は、視線検出センサ２で視線が検出された時を基に、カメラ４の撮影の開始又は終了の少なくとも一方を制御してもよい。例えば、確認作業データ取得部１２は、視線検出センサ２で視線が検出された時を基準とする制限時間内において撮影された画像又はその画像に基づくデータをカメラ４から取得してもよい。

【0045】

図３は、図１に示す確認作業支援システム１において、確認作業データとしてカメラの画像から得られるデータを用いる場合の他の構成例を示す図である。図３の例では、確認作業支援システム１は、確認対象Ｗ１を確認する作業者Ａが撮影操作をするカメラ４と通信可能である。カメラ４は、例えば、作業者端末３に内蔵されるカメラ４であってもよいし、作業者端末３から独立した携帯可能なカメラであってもよい。

【0046】

図３の例では、確認対象Ｗ１に、視認可能な位置にマークＭ１が付されている。マークＭ１は、確認対象Ｗ１をカメラ４で撮影して得られる画像において、確認対象Ｗ１を認識するためのマークである。マークＭ１は、確認対象Ｗ１に固有の外観を有する。マークＭ１は、例えば、１次元バーコード、又は２次元コードであってもよい。

【0047】

図３において、確認作業データ取得部１２は、カメラ４で撮影されたマークＭ１の画像に基づいて決定される確認対象Ｗ１を示すデータを、確認作業データとして取得することができる。又は、確認作業データ取得部１２は、カメラ４で撮影された画像を取得し、取得した画像からマークＭ１を認識して、確認対象Ｗ１を特定してもよい。

【0048】

視線検出結果取得部１１は、カメラ４で撮影されたマークＭ１の画像から決定される確認対象Ｗ１を示すデータに基づいて、視線検出センサ２の検出結果の取得時期を制御してもよい。例えば、視線検出結果取得部１１は、マークＭ１の撮影時を基準とする制限時間において、視線検出センサ２の検出結果を受け付けることができる。或いは、視線検出結果取得部１１は、マークＭ１の撮影時を基準に、視線検出センサ２の検出動作の開始又は終了の少なくとも一方を制御してもよい。なお、カメラ４の画像からマークＭ１が検出された時を、マークＭ１の撮影時と判断してもよい。

【0049】

確認作業データ取得部１２は、視線検出センサ２の検出結果に基づいて、カメラ４で撮影された画像に基づくデータを取得する時期を制御してもよい。例えば、確認作業データ取得部１２は、視線検出センサ２で視線が検出された時を基に、カメラ４で撮影された画像を受け付けてもよい。例えば、確認作業データ取得部１２は、視線検出センサ２で視線が検出された時を基準とする制限時間内において撮影された画像又はその画像に基づくデータをカメラ４から取得してもよい。

【0050】

確認作業支援システム１は、プロセッサ及びメモリを備えるコンピュータにより構成される。視線検出結果取得部１１、確認作業データ取得部１２、及び、判断部１３の機能は、１又は複数のコンピュータが所定のプログラムを実行することで実現される。これらの機能部の処理をコンピュータが実行する方法、及びそのためのプログラムも本発明の実施形態に含まれる。

【0051】

図１～図３に示す例では、確認作業支援システム１は、確認対象Ｗ１及び作業者端末３のいずれとも独立したコンピュータ（例えば、サーバ）により構成される。確認作業支援システム１の構成は、これの例に限られない。例えば、確認作業支援システム１は、作業者端末３の一部として構築することができる。この場合、作業者端末３は、例えば、視線検出センサ２と無線通信可能に構成される。

【0052】

なお、確認作業支援システム１の構成は、上記例に限れられない。例えば、確認作業支援システム１に、さらに、他の機能部又は装置が含まれてもよい。また、例えば、視線検出センサ２も含むシステムを、確認作業支援システム１としてもよい。

【0053】

（動作例）
図４は、図１に示す確認作業支援システム１の動作例を示すシーケンス図である。図４に示す例では、作業者Ａが、作業者端末３に、確認対象Ｗ１に対する確認作業の開始を入力する（Ｓ１）。作業者端末３は、確認対象Ｗ１を示すデータ、及び確認作業の開始を示すデータを、確認作業データとして、確認作業データ取得部１２へ送信する（Ｓ２）。判断部１３は、確認作業開始時ｔ１を記録する。確認作業データ取得部１２は、確認対象Ｗ１に対する確認作業の開始を示すデータを受信すると、確認対象Ｗ１の視線検出センサ２に、視線の検出動作を開始させる（Ｓ３）。視線検出センサ２は、起動して検出動作を開始する。

【0054】

作業者Ａが、確認対象Ｗ１を目視すると、視線検出センサ２は、視線を検出する（Ｓ４）。視線検出センサ２は、視線を検出したことを示すデータを、視線検出結果取得部１１へ送信する（Ｓ５）。視線検出結果取得部１１は、確認対象Ｗ１への視線が検出されたことを示す検出結果を取得する。判断部１３は、視線検出時ｔ２を記録する。

【0055】

確認作業データ取得部１２は、作業者端末３において、作業者Ａからの確認対象Ｗ１に対する確認結果の入力を受け付ける（Ｓ６）。確認作業データ取得部１２は、例えば、視線検出時ｔ２から制限時間内に、確認結果の入力を受け付ける。作業者Ａが、確認対象Ｗ１に対する確認結果を入力すると、作業者端末３から、確認作業データ取得部１２へ確認結果が送信される（Ｓ７）。判断部１３は、確認結果入力時ｔ３を記録する。

【0056】

判断部１３は、確認作業開始時ｔ１、視線検出時ｔ２、及び、確認結果入力時ｔ３の時間関係が、設定された条件を満たすか否かを判断する（Ｓ８）。条件を満たす場合に、作業者Ａが目視により確認対象Ｗ１を確認したと判断される。条件は、例えば、確認作業開始時ｔ１から視線検出時ｔ２までの時間Ｔ１が設定時間Ｔｈ１内（Ｔ１≦Ｔｈ１）、且つ、視線検出時ｔ２から確認結果入力時ｔ３までの時間Ｔ２が設定時間Ｔｈ２内（Ｔ２≦Ｔｈ２）とすることができる。このように、確認作業開始時ｔ１、視線検出時ｔ２、及び確認結果入力時ｔ３の時間的関係によって作業者Ａの目視による確認が判断される。これにより、簡単な処理で目視判断が可能になる。なお、判断部１３の判断処理に用いるデータとして、確認作業開始時ｔ１又は確認結果入力時ｔ３のいずれかを省略してもよい。

【0057】

判断部１３は、判断結果を、作業者端末３へ送信する。また、視線検出センサ２は、起動してから、予め設定された時間が経過すると自動的に検出動作を終了する。判断部１３が出力する判断結果は、例えば、確認対象Ｗ１、目視による確認をしたか否か、及び、確認結果を示すデータが含まれてもよい。なお、判断結果は、これらに限られない。例えば、目視確認時を示すデータが判断結果にさらに含まれてもよい。

【0058】

図５は、図２に示す確認作業支援システム１の動作例を示すシーケンス図である。図５に示す例では、作業者Ａが、確認対象Ｗ１を目視すると、視線検出センサ２は、視線を検出する（Ｓ１）。視線検出センサ２は、視線を検出したことを示すデータを、視線検出結果取得部１１へ送信する（Ｓ２）。判断部１３は、視線検出時ｔ１を記録する。視線検出結果取得部１１は、カメラ４に撮影を開始させる（Ｓ３）。カメラ４は、撮影を開始する。カメラ４は、撮影した画像を、確認作業データ取得部１２へ送信する（Ｓ４）。

【0059】

作業者Ａは、確認対象Ｗ１を目視しながら、確認対象Ｗ１を指差す。すなわち、作業者Ａは、指差し確認を行う。作業者Ａの指差し動作は、カメラ４で撮影される。確認作業データ取得部１２は、カメラ４の画像から、作業者Ａの指差し動作を検出する（Ｓ５）。判断部１３は、作業者Ａの指差し動作時すなわち確認動作時ｔ２を記録する。

【0060】

確認作業データ取得部１２は、作業者端末３において、作業者Ａからの確認対象Ｗ１に対する確認結果の入力を受け付ける（Ｓ６）。確認作業データ取得部１２は、例えば、視線検出時ｔ１から制限時間内に、確認結果の入力を受け付ける。作業者Ａが、確認対象Ｗ１に対する確認結果を入力すると、作業者端末３から、確認作業データ取得部１２へ確認結果が送信される（Ｓ７）。判断部１３は、確認結果入力時ｔ３を記録する。なお、例えば、視線検出時ｔ１から制限時間内に、動作検出（Ｓ７）又は確認結果の入力（Ｓ７）のいずれかがない場合には、判断部１３は、視線検出時ｔ１をリセットして、目視による確認はないと判断することができる。

【0061】

判断部１３は、視線検出時ｔ１、確認動作検出時ｔ２、及び、確認結果入力時ｔ３の時間関係が、設定された条件を満たすか否かを判断する（Ｓ８）。条件を満たす場合に、作業者Ａが目視により確認対象Ｗ１を確認したと判断される。条件は、例えば、視線検出時ｔ１から確認動作時ｔ２までの時間Ｔ１が設定時間Ｔｈ１内（Ｔ１≦Ｔｈ１）、且つ、確認動作時ｔ２から確認結果入力時ｔ３までの時間Ｔ２が設定時間Ｔｈ２内（Ｔ２≦Ｔｈ２）とすることができる。

【0062】

図６は、図３に示す確認作業支援システム１の動作例を示すシーケンス図である。図６に示す例では、作業者Ａは、カメラ４で、確認対象Ｗ１のマークＭ１を撮影する（Ｓ１）。カメラ４で撮影された画像は、確認作業データ取得部１２に送信される（Ｓ２）。確認作業データ取得部１２は、画像からマークＭ１を検出する（Ｓ３）。判断部１３は、確認対象撮影時ｔ１を記録する。また、確認作業データ取得部１２は、確認対象Ｗ１の視線検出センサ２に、視線の検出動作を開始させる（Ｓ４）。視線検出センサ２は、起動して検出動作を開始する。

【0063】

作業者Ａが、確認対象Ｗ１を目視すると、視線検出センサ２は、視線を検出する（Ｓ５）。視線検出センサ２は、視線を検出したことを示すデータを、視線検出結果取得部１１へ送信する（Ｓ６）。判断部１３は、視線検出時ｔ２を記録する。

【0064】

確認作業データ取得部１２は、作業者端末３において、作業者Ａからの確認対象Ｗ１に対する確認結果の入力を受け付ける（Ｓ７）。確認作業データ取得部１２は、例えば、視線検出時ｔ２から制限時間内に、確認結果の入力を受け付ける。作業者Ａが、確認対象Ｗ１に対する確認結果を入力すると、作業者端末３から、確認作業データ取得部１２へ確認結果が送信される（Ｓ８）。判断部１３は、確認結果入力時ｔ３を記録する。

【0065】

判断部１３は、確認対象撮影時ｔ１、視線検出時ｔ２、及び、確認結果入力時ｔ３の時間関係が、設定された条件を満たすか否かを判断する（Ｓ８）。条件を満たす場合に、作業者Ａが目視により確認対象Ｗ１を確認したと判断される。条件は、例えば、確認対象撮影時ｔ１から視線検出時ｔ２までの時間Ｔ１が設定時間Ｔｈ１内（Ｔ１≦Ｔｈ１）、且つ、視線検出時ｔ２から確認結果入力時ｔ３までの時間Ｔ２が設定時間Ｔｈ２内（Ｔ２≦Ｔｈ２）とすることができる。

【0066】

図７は、図３に示す確認作業支援システム１の他の動作例を示すシーケンス図である。図７に示す例では、作業者Ａが、確認対象Ｗ１を目視すると、視線検出センサ２は、視線を検出する（Ｓ１）。視線検出センサ２は、視線を検出したことを示すデータを、視線検出結果取得部１１へ送信する（Ｓ２）。判断部１３は、視線検出時ｔ１を記録する。

【0067】

作業者Ａは、カメラ４で、確認対象Ｗ１のマークＭ１を撮影する（Ｓ３）。カメラ４で撮影された画像は、確認作業データ取得部１２に送信される（Ｓ４）。確認作業データ取得部１２は、画像からマークＭ１を検出する（Ｓ５）。判断部１３は、確認対象撮影時ｔ２を記録する。確認作業データ取得部１２は、例えば、視線検出時ｔ１から制限時間内に、カメラ４で撮影された画像を受け付けてもよい。

【0068】

確認作業データ取得部１２は、作業者端末３において、作業者Ａからの確認対象Ｗ１に対する確認結果の入力を受け付ける（Ｓ６）。確認作業データ取得部１２は、例えば、視線検出時ｔ１から制限時間内に、確認結果の入力を受け付ける。作業者Ａが、確認対象Ｗ１に対する確認結果を入力すると、作業者端末３から、確認作業データ取得部１２へ確認結果が送信される（Ｓ７）。判断部１３は、確認結果入力時ｔ３を記録する。確認作業データ取得部１２は、例えば、視線検出時ｔ１から制限時間内に、作業者Ａによる確認対象Ｗ１の確認結果の入力を受け付けて撮影された画像を受け付けてもよい。

【0069】

判断部１３は、視線検出時ｔ１、確認対象撮影時ｔ２、及び、確認結果入力時ｔ３の時間関係が、設定された条件を満たすか否かを判断する（Ｓ８）。条件を満たす場合に、作業者Ａが目視により確認対象Ｗ１を確認したと判断される。条件は、例えば、視線検出時ｔ１から確認対象撮影時ｔ２までの時間Ｔ１が設定時間Ｔｈ１内（Ｔ１≦Ｔｈ１）、且つ、視線検出時ｔ２から確認結果入力時ｔ３までの時間Ｔ２が設定時間Ｔｈ２内（Ｔ２≦Ｔｈ２）とすることができる。

【0070】

図４～図７に示す動作では、簡単な処理で、作業者Ａが確認対象Ｗ１を目視により確認したか否かを判断することができる。なお、確認作業支援システム１の動作は、上記例に限定されない。例えば、図４において、Ｓ１～Ｓ３の動作を省略してもよい。

【0071】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限られない。

【符号の説明】

【0072】

１：確認作業支援システム、２：視線検出センサ、３：作業者端末、１１：視線検出結果取得部、１２：確認作業データ取得部、１３：判断部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】