知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社日立製作所の特許一覧 ▶ 国立大学法人埼玉大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179809
(43)【公開日】2024-12-26
(54)【発明の名称】作業支援装置および作業支援方法
(51)【国際特許分類】
G06Q 50/04 20120101AFI20241219BHJP
【ＦＩ】
G06Q50/04
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023098956
(22)【出願日】2023-06-16
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(71)【出願人】
【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】前田 太一
(72)【発明者】
【氏名】綿貫 啓一
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC03
5L050CC03
(57)【要約】
【課題】作業支援装置において、適切な作業支援を実現できるようにする。
【解決手段】作業情報Ｄ３を出力する出力部１２１と、前記出力部１２１を目視するユーザ５０の目の動きに関する状態情報Ｄ２を計測する状態計測部１２２と、前記状態情報Ｄ２に基づいて、前記出力部１２１が出力した前記作業情報Ｄ３に対する前記ユーザ５０の確認具合を表す確認判定データＤ５を出力する確認判定部１２４と、前記確認判定データＤ５に基づいて、前記ユーザ５０に対して、前記作業情報Ｄ３の確認具合を報知する報知処理装置１５０と、を作業支援装置１００に備えた。
【選択図】図４
【解決手段】作業情報Ｄ３を出力する出力部１２１と、前記出力部１２１を目視するユーザ５０の目の動きに関する状態情報Ｄ２を計測する状態計測部１２２と、前記状態情報Ｄ２に基づいて、前記出力部１２１が出力した前記作業情報Ｄ３に対する前記ユーザ５０の確認具合を表す確認判定データＤ５を出力する確認判定部１２４と、前記確認判定データＤ５に基づいて、前記ユーザ５０に対して、前記作業情報Ｄ３の確認具合を報知する報知処理装置１５０と、を作業支援装置１００に備えた。
【選択図】図４
【特許請求の範囲】
【請求項1】
作業情報を出力する出力部と、
前記出力部を目視するユーザの目の動きに関する状態情報を計測する状態計測部と、
前記状態情報に基づいて、前記出力部が出力した前記作業情報に対する前記ユーザの確認具合を表す確認判定データを出力する確認判定部と、
前記確認判定データに基づいて、前記ユーザに対して、前記作業情報の確認具合を報知する報知処理装置と、を備える
ことを特徴とする作業支援装置。
前記出力部を目視するユーザの目の動きに関する状態情報を計測する状態計測部と、
前記状態情報に基づいて、前記出力部が出力した前記作業情報に対する前記ユーザの確認具合を表す確認判定データを出力する確認判定部と、
前記確認判定データに基づいて、前記ユーザに対して、前記作業情報の確認具合を報知する報知処理装置と、を備える
ことを特徴とする作業支援装置。
【請求項2】
前記確認判定部は、前記作業情報が前記出力部に出力された後、所定の計測期間における前記状態情報に基づいて前記確認判定データを出力する
ことを特徴とする請求項１に記載の作業支援装置。
ことを特徴とする請求項１に記載の作業支援装置。
【請求項3】
前記報知処理装置は、前記出力部における前記作業情報の表示態様の変更、前記作業情報の確認を促すメッセージの表示、前記作業情報の確認の有無を項目としたチェックリストの表示、または、予め登録した関係者への連絡を、前記確認判定データに基づいて実行する機能を備える
ことを特徴とする請求項２に記載の作業支援装置。
ことを特徴とする請求項２に記載の作業支援装置。
【請求項4】
前記確認判定部は、前記状態情報を解析し、その結果として解析情報を出力するデータ解析部を備え、
前記解析情報は、前記ユーザの視点位置の移動速度が所定時間以上一定値以下になる注視状態が発生したか否かを示す注視判定情報、前記ユーザの瞳孔径を示す瞳孔径情報、または、前記ユーザが瞬目しているか否かを示す瞬目情報、の何れかを含む
ことを特徴とする請求項３に記載の作業支援装置。
前記解析情報は、前記ユーザの視点位置の移動速度が所定時間以上一定値以下になる注視状態が発生したか否かを示す注視判定情報、前記ユーザの瞳孔径を示す瞳孔径情報、または、前記ユーザが瞬目しているか否かを示す瞬目情報、の何れかを含む
ことを特徴とする請求項３に記載の作業支援装置。
【請求項5】
前記報知処理装置は、
前記確認判定データに基づいて前記チェックリストを作成するチェックリスト作成部をさらに備える
ことを特徴とする請求項４に記載の作業支援装置。
前記確認判定データに基づいて前記チェックリストを作成するチェックリスト作成部をさらに備える
ことを特徴とする請求項４に記載の作業支援装置。
【請求項6】
出力部に作業情報を出力する出力過程と、
前記出力部を目視するユーザの目の動きに関する状態情報を計測する状態計測過程と、
前記状態情報に基づいて、前記出力部が出力した前記作業情報に対する前記ユーザの確認具合を表す確認判定データを出力する確認過程と、
前記確認判定データに基づいて、前記ユーザに対して、前記作業情報の確認具合を報知する報知過程と、を有する
ことを特徴とする作業支援方法。
前記出力部を目視するユーザの目の動きに関する状態情報を計測する状態計測過程と、
前記状態情報に基づいて、前記出力部が出力した前記作業情報に対する前記ユーザの確認具合を表す確認判定データを出力する確認過程と、
前記確認判定データに基づいて、前記ユーザに対して、前記作業情報の確認具合を報知する報知過程と、を有する
ことを特徴とする作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援装置および作業支援方法に関する。
【背景技術】
【0002】
本技術分野の背景技術として、下記特許文献１の要約には、「ユーザが作業で見落としている重要な設計のポイントを確実にユーザに提示することにより、熟練者の設計知識を伝承することができる、設計支援技術を提供する。」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１５０８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献１には、注視の有無を判定するための基準が明示されていない。そのため、ユーザが注視した場所と未注視の場所を識別することが困難である。このため、注視すべき場所をユーザが確認していない場合には、製品不具合やトラブルの原因となる恐れがある。
この発明は上述した事情に鑑みてなされたものであり、正確に注視の有無を判定し、ユーザに注視すべき場所を促すことにより、適切な作業支援を実現できる作業支援装置および作業支援方法を提供することを目的とする。
この発明は上述した事情に鑑みてなされたものであり、正確に注視の有無を判定し、ユーザに注視すべき場所を促すことにより、適切な作業支援を実現できる作業支援装置および作業支援方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため本発明の作業支援装置は、作業情報を出力する出力部と、前記出力部を目視するユーザの目の動きに関する状態情報を計測する状態計測部と、前記状態情報に基づいて、前記出力部が出力した前記作業情報に対する前記ユーザの確認具合を表す確認判定データを出力する確認判定部と、前記確認判定データに基づいて、前記ユーザに対して、前記作業情報の確認具合を報知する報知処理装置と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、正確に注視の有無を判定し、ユーザに注視すべき場所を促すことにより、適切な作業支援を実現できる。
【図面の簡単な説明】
【0007】
【図1】解析結果表示画面の一例を示す図である。
【図2】視点重畳画像の一例を示す図である。
【図3】視点重畳画像の他の例を示す図である。
【図4】第１実施形態による作業支援装置のブロック図である。
【図5】確認判定データの一例を示す図である。
【図6】チェックリストの一例を示す図である。
【図7】コンピュータのブロック図である。
【図8】第１実施形態における処理ルーチンのフローチャートである。
【図10】機械学習モデル生成処理ルーチンのフローチャートである。
【発明を実施するための形態】
【0008】
［実施形態の概要］
業務のデジタルトランスフォーメーションにより様々な業務システムが開発され、ＰＣ（パーソナルコンピュータ）などの画面を見ながら業務を行う機会が多くなっている。このような画面には、例えば製造業であれば製造装置の動作状態が可視化され、あるいは、部品の在庫状況などが表示される。作業者である業務システムのユーザは、画面を閲覧しながら製造装置の異常の有無や部品の不足などを適宜判断する。
業務のデジタルトランスフォーメーションにより様々な業務システムが開発され、ＰＣ（パーソナルコンピュータ）などの画面を見ながら業務を行う機会が多くなっている。このような画面には、例えば製造業であれば製造装置の動作状態が可視化され、あるいは、部品の在庫状況などが表示される。作業者である業務システムのユーザは、画面を閲覧しながら製造装置の異常の有無や部品の不足などを適宜判断する。
【0009】
このようなシステムの一つとして、設計者が利用する設計支援システムが考えられる。設計支援システムとは、例えば、過去の製品の不具合に関する情報が検索でき、あるいは文書化された設計の手順やノウハウを選択して閲覧できるような設計業務を支援する情報処理システムである。設計支援システムは、設計に関する情報を提示し、ユーザがその情報を見て、内容を確認して、内容に応じて必要なアクションを取ることにより、設計業務の効率を向上することを狙いとしている。設計者の業務は、顧客要求に応えるための製品の多様化により増加しており、多忙となっている。また、設計現場では熟練者が減少しており、熟練者の持つ知識やノウハウが受け継がれていない場合、設計の見落としや検討不足が生じることがある。
【0010】
このような場合、設計支援システムの活用が有効である。例えば、設計作業において、過去の製品の設計を一部変更することがある。この際、設計変更の内容や、その設計変更の影響範囲を正確に判断することが、製品の品質を維持するうえで重要となる。設計変更は、対象の製品の設計業務に長年携わってきた熟練者にとっては、設計の意味や根拠を把握しているので比較的容易である。しかしながら、そのような経験が少ない設計者にとっては、影響範囲の検討を漏らす恐れがある。検討漏れは製品不具合の原因となることがあり、納期の遅延やリコールに発展する恐れがある。このような場合に、設計支援システムが設計変更時の影響範囲を提示することで、設計者に影響範囲に対する検討を促すことになり、設計変更による検討漏れを低減し、業務効率を向上できる。
【0011】
また、設計者は製品設計の際にシミュレーションを用いて、所望の性能を満足する製品を設計することがある。シミュレーションは、応力解析や流体解析などがあり、これらの結果をＰＣの画面上に表示して、材料力学あるいは流体力学の観点から現象を評価したり、結果に対して設計を変更したりする。このような現象の評価においても、熟練者は見るべき場所を熟知しており、重要な現象を見落とすことは少ないが、経験が少ない非熟練者は重要な現象を見落とす恐れがある。そこで、非熟練者に対して、設計支援システムが重要な可能性がある場所を提示することで、設計者に提示された場所における検討を促すことになり、現象の見落としを防止することができる。
【0012】
上述した特許文献１の技術を応用すると、流体解析の現象評価等において、熟練者の知識である、見るべき場所を画面に可視化することが可能であると考えられる。さらに、提示した複数の見るべき場所を設計者が見たか否かを判定し、見ていない場所は強調表示することが可能であると考えられ、これによってユーザが見落としている重要なポイントを提示できると考えられる。また、特許文献１の技術を応用すると、ユーザの業務と知識データベースとを照合し、対応した部分のうちユーザが未注視の部分を強調表示するなどして、注視を促すことができると考えられる。
【0013】
確かに、ユーザが提示された情報を確認したかどうかを判定する際に、注視の有無を判定することは有効であるが、注視していたとしても、ユーザが集中していない場合も有り得ることから、注視の有無のみでは、提示された情報を十分に確認したか否か、高精度に判断するのは難しい。すなわち、ユーザが提示された情報の内容を確認したか否かが判断できないため、ユーザがその情報を見て、内容を確認して、内容に応じて必要なアクションを取れる状態にまで、ユーザが辿り着けない虞がある。さらに、ユーザが提示された情報を未確認であっても、対応策として情報の確認を促すアクションを実行できず、ユーザは情報を未確認のままとなり、製品不具合やトラブルを起こしてしまう可能性が生じる。
【0014】
そこで、後述する実施形態においては、業務実行画面に提示された情報をユーザが確認したかを識別し、確認が不十分な場合は、情報の確認を促すように追加の情報提示などを行う。これにより、提示した内容に応じてユーザが必要なアクションを取れるようにする。ユーザが内容を確認しかた否か識別するには、確認した場合としていない場合の差が様々な目の状態に現れることから、目の状態に関する複数の情報を用いる。後述の実施形態においては、目の動きと瞳孔径を用いて情報の確認具合を判定する。
【0015】
さらに、後述する実施形態によれば、業務実行画面を介してユーザに作業情報を提示するシステムにおいて、ユーザが作業情報を確認しなかった場合であっても、強調表示、チェックリスト生成、関係者に連絡をする等の対策を講じることができる。これにより、ユーザが作業情報を漏れなく確実に確認できる可能性を高め、確認漏れによる事故や不具合の頻度を抑制できる。
【0016】
［第１実施形態］
〈画面表示の具体例〉
以下、第１実施形態の構成を説明する前に、第１実施形態においてディスプレイに表示される各種画面について説明する。
図１は、解析結果表示画面２１０の一例を示す図である。
図１において、解析結果表示画面２１０には、設計情報表示部２２０と、流路画像表示部２３０と、が含まれている。また、流路画像表示部２３０には、矢印状の複数の流体ベクトル画像２３２と、流路画像表示部２３０の下端部から中央付近に突出した抵抗体画像２３４と、が含まれている。
〈画面表示の具体例〉
以下、第１実施形態の構成を説明する前に、第１実施形態においてディスプレイに表示される各種画面について説明する。
図１は、解析結果表示画面２１０の一例を示す図である。
図１において、解析結果表示画面２１０には、設計情報表示部２２０と、流路画像表示部２３０と、が含まれている。また、流路画像表示部２３０には、矢印状の複数の流体ベクトル画像２３２と、流路画像表示部２３０の下端部から中央付近に突出した抵抗体画像２３４と、が含まれている。
【0017】
流路画像表示部２３０の内容は、流速ベクトル図と呼ばれているものであり、その全体形状は、流体の流路（図示せず）の縦断面に相当する。また、流体ベクトル画像２３２は、流路内の所定間隔の点（以下、メッシュと呼ぶ）における流体の流速と、方向とを示すベクトルを示している。従って、図示の例では、左側から右側に向かって流体が流れていることが解る。また、抵抗体画像２３４は、流路内に設けられた抵抗体の形状を表すものである。
【0018】
流路画像表示部２３０等に基づく流体解析結果によれば、流路内の圧力損失、流速の変化、渦の有無等、多数の項目を確認することができる。本実施形態では、一例として、ユーザは、流路画像表示部２３０から渦を探す作業を行うものとする。そして、設計情報表示部２２０は、この作業を支援するための情報をユーザに提示するものである。
【0019】
図１の例において、設計情報表示部２２０は、「流れのはく離部分を起点に渦が発生しやすい」という文字列と、これら文字列を囲む吹き出しと、を含んでいる。この設計情報表示部２２０に示されているように、壁面や抵抗体に沿っていた流れがはく離すると、そこが起点となって渦が生じやすい。すなわち、はく離部分付近を観察することが重要である。そこで、図１の例のように、「流れのはく離部分を起点に渦が発生しやすい」ことを提示することが、検討漏れを防止するうえで有効となる。
【0020】
図２は、視点重畳画像の一例を示す図である。
図２に示す視点重畳画面３１０は、図１に示した解析結果表示画面２１０に、視点画像３１２および移動方向画像３１４を重畳したものである。ユーザが解析結果表示画面２１０を目視した際に、ユーザの目の状態からユーザの視線を検出すると、解析結果表示画面２１０においてユーザが目視している視点位置を検出することができる。図２における視点画像３１２は、この検出した視点位置に小円を表示したものである。移動方向画像３１４は、視点画像３１２の移動方向を矢印状の画像によって表示したものである。
図２に示す視点重畳画面３１０は、図１に示した解析結果表示画面２１０に、視点画像３１２および移動方向画像３１４を重畳したものである。ユーザが解析結果表示画面２１０を目視した際に、ユーザの目の状態からユーザの視線を検出すると、解析結果表示画面２１０においてユーザが目視している視点位置を検出することができる。図２における視点画像３１２は、この検出した視点位置に小円を表示したものである。移動方向画像３１４は、視点画像３１２の移動方向を矢印状の画像によって表示したものである。
【0021】
図２の例では、移動方向画像３１４で示すように、視点画像３１２は左側から右側に視線が移動している。これら視点画像３１２によれば、ユーザは、渦が生じているあたりを観察してはいるが、設計情報表示部２２０上には視線が移動していないことから、設計情報表示部２２０を確認していないことが分かる。
【0022】
図３は、視点重畳画像の他の例を示す図である。
すなわち、図３に示す視点重畳画面３２０も、図１に示した解析結果表示画面２１０に、視点画像３１２および移動方向画像３１４を重畳して表示したものである。
図３に示す視点重畳画面３２０の例では、設計情報表示部２２０上を視点画像３１２が移動している。これにより、ユーザが、設計情報表示部２２０の内容を確認している可能性が高いことが分かる。
すなわち、図３に示す視点重畳画面３２０も、図１に示した解析結果表示画面２１０に、視点画像３１２および移動方向画像３１４を重畳して表示したものである。
図３に示す視点重畳画面３２０の例では、設計情報表示部２２０上を視点画像３１２が移動している。これにより、ユーザが、設計情報表示部２２０の内容を確認している可能性が高いことが分かる。
【0023】
〈第１実施形態の構成〉
図４は、第１実施形態による作業支援装置１００のブロック図である。
図４において作業支援装置１００は、情報取得装置１２０と、報知処理装置１５０と、を備えている。情報取得装置１２０は、出力部１２１と、状態計測部１２２と、作業情報提示部１２３と、確認判定部１２４と、モデル記憶部１２６と、処理指定部１２７と、モデルデータ生成部１３０と、を備えている。ここで、確認判定部１２４は、データ解析部１２４ａと、データ比較部１２４ｂと、を備えている。また、報知処理装置１５０は、強調表示生成部１５２と、アラート生成部１５４と、チェックリスト作成部１５６と、発報部１５８と、関係者データベース１６０と、視点重畳部１６２と、を備えている。
図４は、第１実施形態による作業支援装置１００のブロック図である。
図４において作業支援装置１００は、情報取得装置１２０と、報知処理装置１５０と、を備えている。情報取得装置１２０は、出力部１２１と、状態計測部１２２と、作業情報提示部１２３と、確認判定部１２４と、モデル記憶部１２６と、処理指定部１２７と、モデルデータ生成部１３０と、を備えている。ここで、確認判定部１２４は、データ解析部１２４ａと、データ比較部１２４ｂと、を備えている。また、報知処理装置１５０は、強調表示生成部１５２と、アラート生成部１５４と、チェックリスト作成部１５６と、発報部１５８と、関係者データベース１６０と、視点重畳部１６２と、を備えている。
【0024】
出力部１２１は、例えばグラフィックディスプレイを備えている。作業情報提示部１２３は、作業支援装置１００のユーザ５０が行っている業務に関する作業情報Ｄ３の内容を、出力部１２１に表示させる。これにより、出力部１２１には、解析結果表示画面２１０（図１参照）のような画面が表示される。
【0025】
ここで、作業情報Ｄ３について説明する。製造業における設計者の業務は様々である。機械設計の場合、顧客への仕様のヒアリング、製品の概略設計、詳細設計、材料や部品の調達、コストの算出、製造現場への手配など幅広い業務を実行することがある。近年、概略設計や詳細設計において、試作品を用いたテストの前にシミュレーションにて性能を評価する取り組みが盛んである。シミュレーションにより試作回数を削減できるメリットがあり、幅広く用いられている。シミュレーションの種類としては、材料力学に基づく応力解析、流体力学に基づく流体解析の他に電気回路の解析などがある。
【0026】
これらの解析結果は、一般的にコンピュータのディスプレイに表示され、設計者はディスプレイ上の画面から解析結果を評価する。例えば、流体解析は、機械装置の周辺の空気や水などの流体の流れを解析するものであり、結果は圧力分布を示したコンター図や流れの方向と速度の大きさをベクトルで示した流速ベクトル図として表示される。これらの結果から、ユーザ５０は圧力の大小や流れの方向を確認し、圧損の原因である渦の場所を探すなどの評価を行う。作業情報Ｄ３は、例えば、上述したような設計のために設計者が使用するシミュレーション画面である。作業情報Ｄ３は、図１に示したものに限られず、ユーザのレベルや作業内容に応じて適切なものを選択するとよい。
【0027】
状態計測部１２２は、出力部１２１を目視する作業者であるユーザ５０の状態、特にユーザ５０の両眼の状態を計測し、計測結果を状態情報Ｄ２として出力する。また、状態計測部１２２は、ユーザ５０の両眼の状態と、ユーザ５０および出力部１２１の位置関係と、を検出する。すなわち、状態計測部１２２は、出力部１２１に作業情報Ｄ３が表示された後、所定の計測期間Ｔｍ（図示せず）に渡って、所定のサンプリング周期Ｔｓ（図示せず）毎に状態情報Ｄ２を出力する。
【0028】
一般的に、人間の眼球の状態は細かく変動するため、サンプリング周期Ｔｓは、例えば１［ｋＨｚ］以上にすることが好ましい。状態計測部１２２には、例えば近赤外線のＬＥＤ（Light Emitting Diode）によって眼球の角膜上に生成された反射パターンをカメラで撮影するものを適用できる。この種の装置によれば、光の反射点などから眼球の方向を算出する角膜反射法を適用することができる。また、計測期間Ｔｍは、数秒程度でも良い。例えば、１０秒などである。計測期間Ｔｍが長ければ長いほど、ユーザ５０の目の状態に関する情報をより多く得ることができ、出力する状態情報Ｄ２をより詳細に示すことが可能である。
【0029】
確認判定部１２４のデータ解析部１２４ａは、状態情報Ｄ２に基づいて、解析情報Ｄ４を出力する。ここで、解析情報Ｄ４は、何れも図示を省略するが、視点情報Ｄ４１と、注視判定情報Ｄ４２と、瞳孔径情報Ｄ４３と、瞬目情報Ｄ４４と、初見時間情報Ｄ４５と、を含んでいる。但し、解析情報Ｄ４は、必ずしもＤ４１～Ｄ４５の全てを含む必要はなく、Ｄ４１～Ｄ４５の何れか一つでもよく、Ｄ４１～Ｄ４５のうち何れかの組合せであってもよい。
【0030】
視点情報Ｄ４１は、出力部１２１に対してユーザ５０が見ている位置である視点位置を示す情報である。すなわち、図２、図３に示した視点画像３１２の位置が視点位置になる。データ解析部１２４ａは、上述した計測期間中、サンプリング周期Ｔｓ毎に視点情報Ｄ４１を計算する。ここで、瞬目によるデータの欠損や、瞼の動き、まつ毛の動きなどの影響を受け、これらが視点情報Ｄ４１に対する計測ノイズとして作用する。そこで、データ解析部１２４ａは、視点情報Ｄ４１から、これらのノイズを取り除く処理を行う。例えば、計測結果をフィルタ処理し平滑化する方法がある。
【0031】
注視判定情報Ｄ４２は、対応するサンプリングタイミングにおいて、「注視」が発生しているか否かを示す情報である。ユーザ５０の目の動きは、一般的に、特定の場所をじっくりと見る「注視」と、視点間の目の高速移動である「サッカード」と、「瞬目」と、に分類できる。「サッカード」の場合、目は、ほとんど対象物を捉えていないため、作業情報を確認したかを評価するには、ユーザが注視した位置を抽出することが好ましい。
【0032】
実際には眼球は細かく動いていることから、「注視」とは、「所定時間以上、視線移動速度（または視点位置の移動速度）が一定値以下である状態である」と定義することができる。例えば、３０［deg/s］以下の視線移動速度が１００［ｍｓ］以上継続したときに「注視が生じた」と判定するとよい。すなわち、データ解析部１２４ａは、視点情報Ｄ４１に基づいて視点の移動速度を求め、さらにその継続時間を算出することにより、注視判定情報Ｄ４２を出力する。
【0033】
瞳孔径情報Ｄ４３は、対応するサンプリングタイミングにおける、ユーザの眼球における瞳孔径を示す情報である。ここで、瞳孔径は瞬目時には計測されないため、瞬目前後の瞳孔径を線形近似し補間する処理を行うとよい。瞬目情報Ｄ４４は、対応するサンプリングタイミングにおいて、瞬目が発生しているか否かを示す情報である。初見時間情報Ｄ４５は、計測期間Ｔｍが開始された後、ユーザ５０の視点位置が最初に設計情報表示部２２０（図１参照）に達するまでの時間を示す情報である。
【0034】
モデルデータ生成部１３０は、モデルデータＤ６を生成し、モデル記憶部１２６は、このモデルデータＤ６を記憶する。ここで、モデルデータＤ６とは、ユーザ５０による作業情報Ｄ３の確認具合と、解析情報Ｄ４との関係を示すデータである。確認判定部１２４のデータ比較部１２４ｂは、解析情報Ｄ４と、モデルデータＤ６と、を照合することにより、ユーザ５０による作業情報Ｄ３の確認具合を定量的に算出し、その結果を確認判定データＤ５として出力する。
【0035】
モデルデータＤ６は、例えば以下のものを含めることができる（何れも図示略）。
・設計情報表示部２２０（図１参照）の解析結果表示画面２１０内における座標範囲を示す設計情報座標データＤ６２
・平常時（作業情報Ｄ３の非表示時）におけるユーザ５０の瞳孔径である基準瞳孔径Ｄ６３、
・平常時におけるユーザ５０の、所定時間あたりの瞬目回数である基準瞬目回数Ｄ６４、
・初見時間情報Ｄ４５に対応する初見時間閾値Ｄ６５。
・設計情報表示部２２０（図１参照）の解析結果表示画面２１０内における座標範囲を示す設計情報座標データＤ６２
・平常時（作業情報Ｄ３の非表示時）におけるユーザ５０の瞳孔径である基準瞳孔径Ｄ６３、
・平常時におけるユーザ５０の、所定時間あたりの瞬目回数である基準瞬目回数Ｄ６４、
・初見時間情報Ｄ４５に対応する初見時間閾値Ｄ６５。
【0036】
上述した、基準瞳孔径Ｄ６３、基準瞬目回数Ｄ６４および初見時間閾値Ｄ６５について説明しておく。
瞳孔は副交感神経と交感神経の両方の自律神経によって制御されており、心的な変化が現れることや、脳の認知的処理の影響を受けることが知られている。すなわち、提示した作業情報を集中して凝視する場合と、軽く流し読み程度で確認する場合には、瞳孔径に差が生じる。すなわち、集中して凝視することにより認知負荷が高くなると、瞳孔径は拡大する。従って、平常時（作業情報Ｄ３の非表示時）におけるユーザ５０瞳孔径と、作業情報Ｄ３を表示した後における瞳孔径の最大値との間には、認知負荷に応じた差分が現れると考えられる。
瞳孔は副交感神経と交感神経の両方の自律神経によって制御されており、心的な変化が現れることや、脳の認知的処理の影響を受けることが知られている。すなわち、提示した作業情報を集中して凝視する場合と、軽く流し読み程度で確認する場合には、瞳孔径に差が生じる。すなわち、集中して凝視することにより認知負荷が高くなると、瞳孔径は拡大する。従って、平常時（作業情報Ｄ３の非表示時）におけるユーザ５０瞳孔径と、作業情報Ｄ３を表示した後における瞳孔径の最大値との間には、認知負荷に応じた差分が現れると考えられる。
【0037】
また、認知負荷が高まると瞬目回数が増加し、または減少することが知られている。そこで、平常時における所定時間あたりの瞬目回数と、計測期間Ｔｍにおける所定時間あたりの瞬目回数と、を比較することにより、充分な認知負荷が生じたか否かを判定することができる。また、計測期間Ｔｍが開始された後、ユーザ５０は、設計情報表示部２２０を直ちに（例えば「１秒」以内に）確認することが好ましい。そこで、初見時間閾値Ｄ６５は、例えば「１秒」程度に設定するとよい。以上のような理由により、本実施形態においては、基準瞳孔径Ｄ６３、基準瞬目回数Ｄ６４および初見時間閾値Ｄ６５をモデルデータＤ６に含めている。なお、基準瞳孔径Ｄ６３は、予め測定しておくことに代えて、計測期間Ｔｍの開始時の瞳孔径情報Ｄ４３を取得してこれを基準瞳孔径Ｄ６３として適用してもよい。また、基準瞳孔径Ｄ６３および瞳孔径情報Ｄ４３は、計測結果をＺスコア化したものであってもよい。
【0038】
図５は、確認判定データＤ５の一例を示す図である。
確認判定データＤ５は、評価値Ｄ５１と、注視フラグＤ５２と、瞳孔径フラグＤ５３と、瞬目フラグＤ５４と、初見フラグＤ５５と、を含んでいる。注視フラグＤ５２は、設計情報表示部２２０（図１参照）の表示領域に対して注視が発生した場合に“１”、発生しなかった場合に“０”になるフラグである。瞳孔径フラグＤ５３は、計測期間Ｔｍにおける瞳孔径情報Ｄ４３の最大値が基準瞳孔径Ｄ６３以上である場合に“１”、それ以外の場合に“０”になるフラグである。
確認判定データＤ５は、評価値Ｄ５１と、注視フラグＤ５２と、瞳孔径フラグＤ５３と、瞬目フラグＤ５４と、初見フラグＤ５５と、を含んでいる。注視フラグＤ５２は、設計情報表示部２２０（図１参照）の表示領域に対して注視が発生した場合に“１”、発生しなかった場合に“０”になるフラグである。瞳孔径フラグＤ５３は、計測期間Ｔｍにおける瞳孔径情報Ｄ４３の最大値が基準瞳孔径Ｄ６３以上である場合に“１”、それ以外の場合に“０”になるフラグである。
【0039】
瞬目フラグＤ５４は、計測期間Ｔｍ内おける所定時間あたりの瞬目回数から基準瞬目回数Ｄ６４を減算した結果の絶対値が所定値以上である場合に“１”、それ以外の場合に“０”になるフラグである。初見フラグＤ５５は、初見時間情報Ｄ４５が初見時間閾値Ｄ６５以上である場合に“１”、それ以外の場合に“０”になるフラグである。評価値Ｄ５１は、上述した各フラグ値の組合せに基づいて決定される値である。図示の例において、評価値Ｄ５１は「０」～「１０」の範囲であり、その値が高いほど作業情報Ｄ３に対するユーザ５０の確認度合いが高いことを意味する。
【0040】
例えば、図示の例においては、注視フラグＤ５２、瞳孔径フラグＤ５３、瞬目フラグＤ５４および初見フラグＤ５５が全て“１”である場合に評価値Ｄ５１は最高値である「１０」になる。これは、ユーザ５０が作業情報Ｄ３について十分に確認を行ったことを意味する。一方、評価値Ｄ５１が「１０」未満であれば、確認が不十分である可能性がある。図５の下から２行目においては、初見フラグＤ５５が“１”であるから、ユーザ５０は計測期間Ｔｍが開始された後、直ちに（初見時間閾値Ｄ６５以内に）設計情報表示部２２０に視線を移したことを意味する。但し、注視フラグＤ５２は“０”であるため、「注視」と判定される程度にまで長い時間、設計情報表示部２２０を目視していなかったことになる。
第１実施形態では、評価項目として、注視フラグＤ５２、瞳孔径フラグＤ５３、瞬目回数フラグＤ５４、及び初見フラグＤ５５を全て含む形とした。理由は、正確にユーザが注視しているかを評価するのに適しているからである。他の実施形態としては、いずれか１つを評価項目としてもよいし、これらを組み合わせてもよい。
第１実施形態では、評価項目として、注視フラグＤ５２、瞳孔径フラグＤ５３、瞬目回数フラグＤ５４、及び初見フラグＤ５５を全て含む形とした。理由は、正確にユーザが注視しているかを評価するのに適しているからである。他の実施形態としては、いずれか１つを評価項目としてもよいし、これらを組み合わせてもよい。
【0041】
図４に戻り、処理指定部１２７は、確認判定データＤ５に基づいて、ユーザ５０が提示された作業情報Ｄ３を確認したか判定し、報知処理装置１５０にて次に行う処理を指定する処理指定情報Ｄ７を出力する。処理指定情報Ｄ７は、確認判定データＤ５が「１０」未満である場合は、確認判定データＤ５の数値に応じて、報知処理装置１５０に対して、作業情報Ｄ３の表示態様を変更する強調表示やアラート生成を行う指示を含む。
【0042】
すなわち、処理指定情報Ｄ７は、「強調表示」、「アラート生成」、「チェックリスト作成」、「関係者に連絡」のうち、一または複数の処理を指示するものである。特に、評価値Ｄ５１が小さいほど指示の数を多くし、評価値Ｄ５１が大きいほど、指示の数を少なくすることが好ましい。例えば、評価値Ｄ５１が「０」である場合は、処理指定部１２７は、処理指定情報Ｄ７によって強調表示、アラート生成、チェックリスト作成、関係者に連絡の全ての処理を指示するとよい。一方、確認判定データＤ５が「９」の場合、処理指定部１２７は、処理指定情報Ｄ７によって、強調表示のみを指示するとよい。
【0043】
報知処理装置１５０における強調表示生成部１５２は、処理指定情報Ｄ７に基づいて、出力部１２１に提示した作業情報Ｄ３について、サイズを大きくする、着色する、点滅させる等、各種表示態様を設定する。
【0044】
また、アラート生成部１５４は、例えば「作業情報を確認して下さい」のような、作業情報Ｄ３の確認を促すメッセージを出力部１２１に表示する。チェックリスト作成部１５６は、提示した作業情報Ｄ３を確認したか否かをチェック項目とするチェックリスト２５０（図６参照）を作成する。なお、このチェックリスト２５０の詳細については後述する。
【0045】
関係者データベース１６０は、各種関係者（図示せず）の連絡先等を記憶する。発報部１５８は作業情報Ｄ３の確認具合が十分ではない場合に、予め関係者データベース１６０に登録した関係者に、その旨を電子メールなどで連絡する。これらの対応策を実行することで、ユーザ５０は提示された作業情報Ｄ３を漏れなく確認することができる。視点重畳部１６２は、例えば図２、図３に示したように、視点情報Ｄ４１に基づく視点画像３１２等を、設計情報表示部２２０および流路画像表示部２３０に重畳させて出力部１２１に表示させる。
【0046】
図６はチェックリスト２５０の一例を示す図である。
上述したように、チェックリスト２５０は、チェックリスト作成部１５６によって作成され、例えば出力部１２１（図４参照）のディスプレイに表示されるものである。図６の例において、チェックリスト２５０は、チェック番号欄２５１と、チェック項目欄２５２と、チェック欄２５４と、を含んでいる。
上述したように、チェックリスト２５０は、チェックリスト作成部１５６によって作成され、例えば出力部１２１（図４参照）のディスプレイに表示されるものである。図６の例において、チェックリスト２５０は、チェック番号欄２５１と、チェック項目欄２５２と、チェック欄２５４と、を含んでいる。
【0047】
チェック番号欄２５１は、＃１～＃６のチェック番号を表示する。チェック項目欄２５２は、ユーザがチェックすべき様々な項目についての文字列を表示する。また、チェック欄２５４には、該当箇所にユーザがチェック記号２５６を入力できる。
【0048】
例えば、チェック番号＃１は、メッシュ、すなわち流路画像表示部２３０（図１参照）における流体ベクトル画像２３２の起点の粗密に大きな差が無いかをチェックするものである。メッシュが粗い部分では、圧力や流速が細かく変化しても画面上に現れにくく、メッシュが細かい部分では画面上に結果に表れ易くなる。仮にメッシュの粗密の差が大きい場合、解析結果から現象を評価する際に誤った評価が生じてしまう可能性が生じる。
【0049】
チェック番号＃６は、評価値Ｄ５１（図５参照）が所定値よりも小さい場合、すなわち、ユーザ５０が作業情報Ｄ３を充分に確認していない場合に、チェックリスト作成部１５６がチェックリスト２５０に含める項目である。すなわち、チェックリスト２５０の内容は図６のものに限られるわけではなく、チェックリスト作成部１５６は、評価値Ｄ５１に応じて異なるチェックリスト２５０を表示する。
【0050】
このように、チェックリスト作成部１５６が評価値Ｄ５１に応じたチェックリスト２５０を生成することにより、ユーザ５０が作業情報Ｄ３を充分に確認していなかった場合においても、作業情報Ｄ３を再確認することができ、確認の漏れを防止することができる。また、本実施形態におけるユーザ５０は設計者に限定されず、例えばコンピュータの表示画面を監視するプラント監視員等、専門知識を活用し判断する作業を行うユーザ５０においても有効である。
【0051】
図７は、コンピュータ９８０のブロック図である。
図４に示した情報取得装置１２０および報知処理装置１５０は、何れも図７に示すコンピュータ９８０を、１台または複数台備えている。
図７において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
図４に示した情報取得装置１２０および報知処理装置１５０は、何れも図７に示すコンピュータ９８０を、１台または複数台備えている。
図７において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
【0052】
ＲＯＭ９８２ｂには、ＣＰＵによって実行されるＩＰＬ（Initial Program Loader）等が格納されている。ＨＤＤ９８２ｃには、アプリケーションプログラムや各種データ等が記憶されている。ＣＰＵ９８１は、ＨＤＤ９８２ｃからＲＡＭ９８２ａに読み込んだアプリケーションプログラム等を実行することにより、各種機能を実現する。先に図４に示した情報取得装置１２０および報知処理装置１５０の内部は、アプリケーションプログラム等によって実現される機能をブロックとして示したものである。
【0053】
〈第１実施形態の動作〉
図８は第１実施形態における処理ルーチンのフローチャートである。
この処理ルーチンは、ユーザ５０による作業情報Ｄ３の確認具合、すなわち評価値Ｄ５１を判定し、確認が不十分な場合に対応策を実行するものである。
図８は第１実施形態における処理ルーチンのフローチャートである。
この処理ルーチンは、ユーザ５０による作業情報Ｄ３の確認具合、すなわち評価値Ｄ５１を判定し、確認が不十分な場合に対応策を実行するものである。
【0054】
図８において、処理がステップＳ５０１（出力過程）に進むと、作業情報提示部１２３は、作業情報Ｄ３の内容、すなわち解析結果表示画面２１０（図１参照）を出力部１２１に表示させる。次に、処理がステップＳ５０２（状態計測過程）に進むと、状態計測部１２２は、所定の計測期間Ｔｍに渡って、ユーザ５０の状態情報Ｄ２を取得する。
【0055】
次に、処理がステップＳ５０３（確認過程）に進むと、確認判定部１２４のデータ解析部１２４ａは、状態情報Ｄ２に基づいて解析情報Ｄ４を生成し、データ比較部１２４ｂは、解析情報Ｄ４とモデルデータＤ６とを比較することにより、確認判定データＤ５を生成する。
【0056】
次に、処理がステップＳ５０４に進むと、確認判定データＤ５に含まれる評価値Ｄ５１（図５参照）が、所定の合格基準値Ｄｔｈ以上であるか否かを判定する。合格基準値Ｄｔｈは、例えば「１０．０」である。ステップＳ５０４において「Ｙｅｓ」と判定されると、本ルーチンの処理が終了する。
【0057】
一方、ステップＳ５０４において「Ｎｏ」と判定されると、処理はステップＳ５０５（報知過程）に進む。ここでは、処理指定部１２７は、確認判定データＤ５に応じた処理指定情報Ｄ７を出力し、報知処理装置１５０は、処理指定情報Ｄ７に示された各種処理を実行し、本ルーチンの処理が終了する。
【0058】
図９は、図８における要部、すなわちステップＳ５０３の詳細を示すフローチャートである。
図９において処理がステップＳ６０２に進むと、データ解析部１２４ａは、状態情報Ｄ２に基づいて解析情報Ｄ４を生成する。次に、処理がステップＳ６０３に進むと、データ比較部１２４ｂは、視点情報Ｄ４１と、注視判定情報Ｄ４２と、に基づいて、設計情報表示部２２０（図１参照）の表示領域に対して注視が発生したか否かを判定し、注視フラグＤ５２を“１”（注視あり）または“０”（注視なし）に設定する。
図９において処理がステップＳ６０２に進むと、データ解析部１２４ａは、状態情報Ｄ２に基づいて解析情報Ｄ４を生成する。次に、処理がステップＳ６０３に進むと、データ比較部１２４ｂは、視点情報Ｄ４１と、注視判定情報Ｄ４２と、に基づいて、設計情報表示部２２０（図１参照）の表示領域に対して注視が発生したか否かを判定し、注視フラグＤ５２を“１”（注視あり）または“０”（注視なし）に設定する。
【0059】
次に、処理がステップＳ６０４に進むと、データ比較部１２４ｂは、計測期間Ｔｍにおける瞳孔径情報Ｄ４３の最大値が基準瞳孔径Ｄ６３以上であれば瞳孔径フラグＤ５３を“１”（差分が大きい）に、それ以外の場合に“０”（差分が小さい）に設定する。
【0060】
次に、処理がステップＳ６０５に進むと、データ比較部１２４ｂは、瞬目情報Ｄ４４に基づいて、計測期間Ｔｍ内おける所定時間あたりの瞬目回数を計算する。そして計算した瞬目回数から基準瞬目回数Ｄ６４を減算した結果の絶対値が所定値以上である場合に瞬目フラグＤ５４を“１”（差分が大きい）に設定し、それ以外の場合に“０”（差分が小さい）に設定する。
【0061】
次に、処理がステップＳ６０６に進むと、データ比較部１２４ｂは、初見時間情報Ｄ４５が初見時間閾値Ｄ６５以下である場合に初見フラグＤ５５を“１”に設定し、それ以外の場合に“０”に設定する。
【0062】
次に、処理がステップＳ６０６に進むと、データ比較部１２４ｂは、注視フラグＤ５２、瞳孔径フラグＤ５３、瞬目フラグＤ５４および初見フラグＤ５５に基づいて、例えば図５に基づいて、評価値Ｄ５１を算出する。
【0063】
［第２実施形態］
次に、第２実施形態による作業支援装置１００について説明する。第２実施形態による作業支援装置１００の構成は、以下述べる点を除いて、第１実施形態のものと同様である。
すなわち、第２実施形態において、モデルデータＤ６は、機械学習モデルである。データ比較部１２４ｂは、モデルデータＤ６を用いて解析情報Ｄ４を評価することにより、確認判定データＤ５を出力する。
次に、第２実施形態による作業支援装置１００について説明する。第２実施形態による作業支援装置１００の構成は、以下述べる点を除いて、第１実施形態のものと同様である。
すなわち、第２実施形態において、モデルデータＤ６は、機械学習モデルである。データ比較部１２４ｂは、モデルデータＤ６を用いて解析情報Ｄ４を評価することにより、確認判定データＤ５を出力する。
【0064】
図１０は機械学習モデル生成処理ルーチンのフローチャートである。
すなわち、本ルーチンは、機械学習モデルであるモデルデータＤ６を生成する場合に、作業支援装置１００によって実行される処理を表す。
すなわち、本ルーチンは、機械学習モデルであるモデルデータＤ６を生成する場合に、作業支援装置１００によって実行される処理を表す。
【0065】
機械学習モデルであるモデルデータＤ６の構築は、予めユーザに作業情報Ｄ３を確認するように指示し、その際の状態情報Ｄ２および解析情報Ｄ４を取得する。計測後に、作業情報Ｄ３の内容をヒアリングし、理解しているかを確認したうえで、ユーザの作業情報Ｄ３に対する確認具合を定量化する。この定量化の作業を複数のユーザに対して実行する。そして、評価項目（図５参照）と、作業情報Ｄ３の実際の確認具合と、の関係を学習し、モデルデータＤ６を生成する。
【0066】
以下、図１０の各ステップについて説明する。
図１０において、処理がステップＳ８０１に進むと、モデルデータ生成部１３０は、作業情報提示部１２３を介して、出力部１２１に対して、作業情報Ｄ３を提示する。次に、処理がステップＳ８０２に進むと、モデルデータ生成部１３０は、ユーザに対して作業情報Ｄ３を確認するように指示する確認指示を出力部１２１に表示させる。
図１０において、処理がステップＳ８０１に進むと、モデルデータ生成部１３０は、作業情報提示部１２３を介して、出力部１２１に対して、作業情報Ｄ３を提示する。次に、処理がステップＳ８０２に進むと、モデルデータ生成部１３０は、ユーザに対して作業情報Ｄ３を確認するように指示する確認指示を出力部１２１に表示させる。
【0067】
次に、処理がステップＳ８０３に進むと、状態計測部１２２は、所定期間に渡って、ユーザ５０の状態情報Ｄ２を取得する。次に、処理がステップＳ８０４に進むと、データ解析部１２４ａは、状態情報Ｄ２に基づいて視点情報Ｄ４１を取得し、該視点情報Ｄ４１に基づいて、注視判定情報Ｄ４２を取得する。
【0068】
次に、処理がステップＳ８０５に進むと、データ解析部１２４ａは、状態情報Ｄ２に基づいて、瞳孔径情報Ｄ４３を取得する。次に、処理がステップＳ８０６に進むと、データ解析部１２４ａは、状態情報Ｄ２に基づいて、瞬目情報Ｄ４４を取得する。次に、処理がステップＳ８０７に進むと、データ解析部１２４ａは、視点情報Ｄ４１に基づいて、初見時間情報Ｄ４５を取得する。
【0069】
次に、処理がステップＳ８０８に進むと、提示された作業情報Ｄ３の理解度試験を行う。すなわち、熟練者がユーザ５０に対して、提示された作業情報Ｄ３の内容を理解できたか否か、ヒアリングにより判定し、熟練者はその結果である理解度情報ＤＵをモデルデータ生成部１３０に記憶させる。すなわち、提示された作業情報Ｄ３の内容をユーザ５０が内容を正しく説明できれば、熟練者は理解度情報ＤＵを高く評価し、説明に漏れがあれば、理解度情報ＤＵは低く評価する。
【0070】
次に、処理がステップＳ８０９に進むと、モデルデータ生成部１３０は、注視判定情報Ｄ４２と、瞳孔径情報Ｄ４３と、瞬目情報Ｄ４４と、初見時間情報Ｄ４５と、理解度情報ＤＵと、の関係を学習し、その学習結果に基づいてモデルデータＤ６を構築する。その際の学習方法としては、例えば、教師あり機械学習の方法である決定木、サポートベクターマシーン、ニューラルネットワークなどを用いるとよい。
【0071】
［実施形態の効果］
以上のように上述した実施形態によれば、作業支援装置１００は、作業情報Ｄ３を出力する出力部１２１と、出力部１２１を目視するユーザ５０の目の動きに関する状態情報Ｄ２を計測する状態計測部１２２と、状態情報Ｄ２に基づいて、出力部１２１が出力した作業情報Ｄ３に対するユーザ５０の確認具合を表す確認判定データＤ５を出力する確認判定部１２４と、確認判定データＤ５に基づいて、ユーザ５０に対して、作業情報Ｄ３の確認具合を報知する報知処理装置１５０と、を備える。これにより、状態情報Ｄ２に基づいて、ユーザ５０の確認具合を表す確認判定データＤ５を出力できるため、適切な作業支援を実現できる。
以上のように上述した実施形態によれば、作業支援装置１００は、作業情報Ｄ３を出力する出力部１２１と、出力部１２１を目視するユーザ５０の目の動きに関する状態情報Ｄ２を計測する状態計測部１２２と、状態情報Ｄ２に基づいて、出力部１２１が出力した作業情報Ｄ３に対するユーザ５０の確認具合を表す確認判定データＤ５を出力する確認判定部１２４と、確認判定データＤ５に基づいて、ユーザ５０に対して、作業情報Ｄ３の確認具合を報知する報知処理装置１５０と、を備える。これにより、状態情報Ｄ２に基づいて、ユーザ５０の確認具合を表す確認判定データＤ５を出力できるため、適切な作業支援を実現できる。
【0072】
また、確認判定部１２４は、作業情報Ｄ３が出力部１２１に出力された後、所定の計測期間Ｔｍにおける状態情報Ｄ２に基づいて確認判定データＤ５を出力すると一層好ましい。これにより、計測期間Ｔｍにおける状態情報Ｄ２に基づいて適切な確認判定データＤ５を出力できる。
【0073】
また、報知処理装置１５０は、出力部１２１における作業情報Ｄ３の表示態様の変更、作業情報Ｄ３の確認を促すメッセージの表示、作業情報Ｄ３の確認の有無を項目としたチェックリスト２５０の表示、または、予め登録した関係者への連絡を、確認判定データＤ５に基づいて実行する機能を備えると一層好ましい。これにより、報知処理装置１５０は、ユーザ５０に対して、作業情報Ｄ３の確認を適切に促すことができる。
【0074】
また、確認判定部１２４は、状態情報Ｄ２を解析し、その結果として解析情報Ｄ４を出力するデータ解析部１２４ａを備え、解析情報Ｄ４は、ユーザ５０の視点位置の移動速度が所定時間以上一定値以下になる注視状態が発生したか否かを示す注視判定情報Ｄ４２、ユーザ５０の瞳孔径を示す瞳孔径情報Ｄ４３、または、ユーザ５０が瞬目しているか否かを示す瞬目情報Ｄ４４、の何れかを含む。これにより、解析情報Ｄ４を用いて、一層適切な確認判定データＤ５を出力できる。
【0075】
また、報知処理装置１５０は、確認判定データＤ５に基づいてチェックリスト２５０を作成するチェックリスト作成部１５６をさらに備えると一層好ましい。これにより、確認判定データＤ５に対応して最適なチェックリスト２５０を作成することができる。
【0076】
［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、もしくは他の構成の追加・置換をすることが可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、もしくは他の構成の追加・置換をすることが可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
【0077】
（１）上記実施形態における情報取得装置１２０および報知処理装置１５０のハードウエアは一般的なコンピュータによって実現できるため、上述した各ブロック図、各フローチャートに対応する処理、その他上述した各種処理を実行するプログラム等を記憶媒体（プログラムを記録したコンピュータ読み取り可能な記録媒体）に格納し、または伝送路を介して頒布してもよい。
【0078】
（２）上述した各ブロック図、各フローチャートに対応する処理、その他上述した各種処理を実行するプログラム等は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。
【0079】
（３）上記実施形態において実行される各種処理は、図示せぬネットワーク経由でサーバコンピュータが実行してもよく、上記実施形態において記憶される各種データも該サーバコンピュータに記憶させるようにしてもよい。
【符号の説明】
【0080】
５０ ユーザ
１００ 作業支援装置
１２１ 出力部
１２２ 状態計測部
１２４ 確認判定部
１２４ａ データ解析部
１５０ 報知処理装置
１５６ チェックリスト作成部
２１０ 解析結果表示画面
２５０ チェックリスト
Ｄ２ 状態情報
Ｄ３ 作業情報
Ｄ４ 解析情報
Ｄ５ 確認判定データ
Ｔｍ 計測期間
Ｄ４２ 注視判定情報
Ｄ４３ 瞳孔径情報
Ｄ４４ 瞬目情報
Ｓ５０１ ステップ（出力過程）
Ｓ５０２ ステップ（状態計測過程）
Ｓ５０３ ステップ（確認過程）
Ｓ５０５ ステップ（報知過程）
１００ 作業支援装置
１２１ 出力部
１２２ 状態計測部
１２４ 確認判定部
１２４ａ データ解析部
１５０ 報知処理装置
１５６ チェックリスト作成部
２１０ 解析結果表示画面
２５０ チェックリスト
Ｄ２ 状態情報
Ｄ３ 作業情報
Ｄ４ 解析情報
Ｄ５ 確認判定データ
Ｔｍ 計測期間
Ｄ４２ 注視判定情報
Ｄ４３ 瞳孔径情報
Ｄ４４ 瞬目情報
Ｓ５０１ ステップ（出力過程）
Ｓ５０２ ステップ（状態計測過程）
Ｓ５０３ ステップ（確認過程）
Ｓ５０５ ステップ（報知過程）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】