特開 2023-155799 作業状態検出システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023155799

(43)【公開日】2023-10-23

(54)【発明の名称】作業状態検出システムおよび方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231016BHJP

   G05B 19/418 20060101ALI20231016BHJP

   G06Q 50/04 20120101ALI20231016BHJP

【ＦＩ】

G06T7/20 300Z

G05B19/418 Z

G06Q50/04

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022065344

(22)【出願日】2022-04-11

(71)【出願人】

【識別番号】597132849

【氏名又は名称】株式会社日立ソリューションズ・クリエイト

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】川合 亮平

(72)【発明者】

【氏名】青木 恭子

(72)【発明者】

【氏名】小林 利誌

【テーマコード（参考）】

3C100

5L049

5L096

【Ｆターム（参考）】

3C100AA29

3C100AA38

3C100AA56

3C100BB06

3C100BB17

3C100BB34

5L049CC03

5L096AA06

5L096AA09

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096HA05

(57)【要約】

【課題】作業対象物への作業状態をより正確に検出できるようにした作業状態検出システムおよび方法を提供すること。
【解決手段】作業対象物２へ作業するときの視線を検出する作業状態検出システム１は、作業対象物に作業者３の視線を追跡するための基準点５１を設定する視線基準点設定部１４と、作業者の視線３１を検出する視線検出部１５と、視線検出部により検出された視線に基づいて、作業者の視線が作業対象物に接触する接触点２１の視線基準点５１からの相対座標値を視線軌跡データとして算出し、算出された視線軌跡データを記憶部１７へ保存させる視線追跡部１６とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業対象物へ作業するときの視線を検出する作業状態検出システムであって、
前記作業対象物に作業者の視線を追跡するための基準点を設定する視線基準点設定部と、
前記作業者の視線を検出する視線検出部と、
前記視線検出部により検出された視線に基づいて、前記作業者の視線が前記作業対象物に接触する接触点の前記視線基準点からの相対座標値を視線軌跡データとして算出し、前記算出された視線軌跡データを記憶部へ保存させる視線追跡部と、
を備える作業状態検出システム。

【請求項2】

さらに、出力部を備え、
前記出力部は、前記作業対象物に対する作業の様子を撮影した画像データと、前記保存された視線軌跡データとを対応付けて出力する
請求項１に記載の作業状態検出システム。

【請求項3】

前記視線基準点設定部は、現実世界の前記作業対象物に重ねて表示される前記作業対象物の三次元モデルに前記視線基準点を設定する
請求項２に記載の作業状態検出システム。

【請求項4】

前記視線基準点設定部は、前記作業対象物を撮影した画像データに基づいて前記作業対象物の形状を認識し、前記形状認識された作業対象物に前記視線基準点を設定する
請求項２に記載の作業状態検出システム。

【請求項5】

前記視線基準点設定部は、前記作業対象物についての作業手順の進行に応じて、前記視線基準点を再設定する
請求項１～４のいずれか一項に記載の作業状態検出システム。

【請求項6】

さらに、前記作業者の指先の軌跡を検出する指先軌跡検出部を備え、
前記指先軌跡検出部は、前記指先の位置の前記視線基準点からの相対座標値を指先軌跡データとして算出し、前記算出された指先軌跡データを前記記憶部へ保存させる
請求項５に記載の作業状態検出システム。

【請求項7】

さらに、前記作業者の頭の軌跡を検出する頭部軌跡検出部を備え、
前記頭部軌跡検出部は、前記頭部の前記視線基準点からの相対座標値を頭部軌跡データとして算出し、前記算出された頭部軌跡データを前記記憶部へ保存させる
請求項６に記載の作業状態検出システム。

【請求項8】

前記視線基準点設定部は、前記視線基準点を前記三次元モデルの中心に設定する
請求項３に記載の作業状態検出システム。

【請求項9】

前記視線基準点設定部は、前記視線基準点を前記作業対象物の中心に設定する
請求項４に記載の作業状態検出システム。

【請求項10】

前記視線検出部は、前記作業者の視線方向を撮影し、撮影された現実世界に仮想空間を重ねて前記作業者に提供する拡張現実型アイウェアであって、視線を検出する機能を備えている
請求項１に記載の作業状態検出システム。

【請求項11】

作業対象物への作業状態を作業状態検出システムにより検出させる方法であって、
前記作業状態検出システムは、
作業対象物に作業者の視線を追跡するための視線基準点を設定し、
前記作業者の視線を検出し、
前記検出された視線に基づいて、前記作業者の視線が前記作業対象物に接触する接触点の前記視線基準点からの相対座標値を視線軌跡データとして算出し、
前記算出された視線軌跡データを記憶部へ保存させる
作業状態検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業状態検出システムおよび方法に関する。

【背景技術】

【0002】

検査作業、組立作業、加工作業などでは、作業品質の維持と向上のために、作業の安定性と均一化が望まれている。特許文献１では、視線追跡装置を作業者に装着して作業者の視線を追跡することにより、配線を自動的に識別して、誤配線を防止する。特許文献２では、作業者の視線を追跡して正解の視線追跡データと比較することにより、作業指示書への記載漏れを検知する。さらに特許文献２では、作業者の動きを検出して、作業場所の平面図または立体図に表示させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０６１３３９号公報

【特許文献2】特開２０１６－２１８７７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業者が作業対象物に対して作業しているときの視線を追跡すると、可視化された視線と実際の視線とがずれることがある。さらに、作業対象物を回転させたり裏返しにしたりするように、作業対象物の姿勢が変わる場合、作業者の視線追跡に誤差が生じる。

【0005】

作業者の視線を一定の基準の下で正確に検出できない場合、熟練作業者の視線の動きと未熟な作業者の視線の動きとを対比することができず、視線の動きから作業品質を解析することができない。

【0006】

本発明は、以上の課題に鑑みてなされたものであり、その目的は、作業対象物への作業状態をより正確に検出できるようにした作業状態検出システムおよび方法を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決すべく、本発明の一つの観点に従う作業状態検出システムは、作業対象物へ作業するときの視線を検出する作業状態検出システムであって、作業対象物に作業者の視線を追跡するための基準点を設定する視線基準点設定部と、作業者の視線を検出する視線検出部と、視線検出部により検出された視線に基づいて、作業者の視線が作業対象物に接触する接触点の視線基準点からの相対座標値を視線軌跡データとして算出し、算出された視線軌跡データを記憶部へ保存させる視線追跡部とを備える。

【発明の効果】

【0008】

本発明によれば、作業者の視線が作業対象物に接触する接触点の視線基準点からの相対座標値として視線軌跡データを算出するため、作業対象物の位置ずれなどの影響を抑制して、視線を安定して検出することができる。

【図面の簡単な説明】

【0009】

【図1】本実施例にかかる作業状態検出システムのシステム構成図。

【図2】作業状態検出システムのハードウェア構成図。

【図3】外部システムとＭＲゴーグルの機能構成図。

【図4】作業対象物に３次元モデルを重ね合わせ、作業者の視線が作業状態検出システムに接触する位置を、３次元モデルに設定された視線基準点からの相対座標値として検出する様子を示す説明図。

【図5】作業状態検出処理のフローチャート。

【図6】作業状態解析処理のフローチャート。

【図7】作業状態の解析画面の例。

【図8】視線基準点の設定方法の変形例。

【図9】第２実施例に係り、３次元モデルを生成する処理のフローチャート。

【図10】作業状態検出処理のフローチャート。

【図11】第３実施例に係り、作業状態検出システムのシステム構成図。

【図12】視線基準点設定処理のフローチャート。

【図13】第４実施例に係り、作業状態検出システムのシステム構成図。

【図14】第５実施例に係り、作業状態検出システムのシステム構成図。

【図15】第６実施例に係り、作業状態検出システムのシステム構成図。

【発明を実施するための形態】

【0010】

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態で述べる作業状態検出システム１は、作業者３が作業対象物２に対して作業する際の、作業者３の視線を作業対象物２内に設定される視線基準点５１に基づいて正確に検出する。視線基準点５１は、作業対象物２に仮想的に重ね合わされる、作業対象物２の３次元モデル内に設定してもよい。あるいは、作業対象物２を撮影した画像データから作業対象物２の形状を認識し、作業対象物２内に視線基準点５１を仮想的に設定してもよい。

【0011】

いずれの場合も、視線基準点５１は、作業対象物２内（作業対象物２に重ねられた３次元モデル内）にあるため、作業者３と作業対象物２の位置関係が変化した場合でも、作業者３の視線３１が作業対象物２の表面に接触する接触点２１と視線基準点５１との関係に影響を与えない。さらに、作業者３の目の位置（身長）が人によって多少異なったとしても、接触点２１と視線基準点５１の関係に与える影響を少なくできる。

【0012】

したがって、本実施形態によれば、作業者３が作業対象物２対する作業中に、作業者３の視線３１を正確に検出することができる。同じ作業者３の同じ作業対象物２に対する作業中の視線３１の動きを、それぞれ異なる日時で比較することもできる。作業に熟練した作業者３の作業中の視線３１の動きと、作業に熟練していない作業者３の作業中の視線３１の動きとを比較することもできる。これにより、熟練作業者の暗黙知を形式知に変換し、作業に不慣れな作業者を教育する教育資料を生成することもできる。

【0013】

本実施形態の作業状態検出システム１は、例えば、検査作業、検品作業、組立作業、加工作業、溶接作業、塗装作業などの作業に適用可能である。作業対象物２は、電気製品、自動車、ロボット、制御盤、蓄電池など種々の物体に適用可能である。作業対象物２は、氷または石塊のような素材でもよい。この場合、作業者３は職人または芸術家などであり、作業者３が素材を加工していく際の支線３１の動きを検出することができる。

【0014】

さらに、後述の実施例では、作業者３の視線３１の動きだけでなく、作業者３の指先の動き、または作業者３の頭部の動きも視線基準点５１を基準として検出する。これら指先の動きまたは頭部の動きを視線の動きと一緒に検出することにより、作業者３の作業状態をより詳しく解析することができる。

【実施例0015】

図１～図８を用いて第１実施例を説明する。図１は、本実施例に係る作業状態検出システム１のシステム構成図である。作業状態検出システム１は、後述のように計算機を用いて構成することができ、その機能部として、撮影画像取得部１１、３次元モデル取得部１２、重ね合わせ部１３、視線基準点設定部１４、視線検出部１５、視線軌跡データ算出部１６、記憶部１７および出力部１８を備える。

【0016】

撮影画像取得部１１は、ＭＲゴーグル４に設けられたカメラ４０４（図２参照）から作業者３に見える画像を取得する機能を持つ。３次元モデル取得部１２は、作業対象物２の３次元モデルを取得する機能を持つ。重ね合わせ部１３は、ＭＲゴーグル４で撮影された画像中の作業対象物２に対して、３次元モデルを重ね合わせる機能を持つ。視線基準点設定部１４は、３次元モデルの所定の位置に視線基準点５１を設定する機能を持つ。図中、３次元モデルを「３Ｄモデル」と略記する。ＭＲゴーグル４は、拡張現実（ＡＲ）ゴーグルでもよい。ＭＲゴーグル４は、作業者３の見える現実空間内の物体を認識し、現実空間（現実世界）に３次元モデルを重ね合わせることができる装置であればよく、その名称や種類は問わない。

【0017】

撮影画像取得部１１、３次元モデル取得部１２、重ね合わせ部１３は、ＭＲゴーグル４内で実現されてもよい。ＭＲゴーグル４については、図３でさらに後述する。

【0018】

視線検出部１５は、ＭＲゴーグル４に設けられた視線追跡センサ４０５（図２参照）により実現される。ハードウェアとしては視線追跡センサ４０５であるが、機能として捉える場合、視線検出部１５となる。「視線追跡部」としての視線軌跡データ算出部１６は、検出された視線の軌跡を計算し、視線軌跡データとして記憶部１７に記憶させる。

【0019】

ここで、視線軌跡データ算出部１６は、作業者３の視線３１が作業対象物２の表面に接触する点（接触点）２１の位置を、視線基準点５１からの相対座標値として算出する。ＭＲゴーグル４の視線追跡センサ４０５により追跡される視線が作業対象物２の表面に届かない場合、センサ５０５で追跡される視線を作業対象物２へ向けて計算機内で延長すればよい。なお、接触点２１は、視線３１が作業対象物２の表面に交わる交点２１または視点２１と呼ぶこともできる。視線軌跡データ算出部１６は、作業対象物２の表面の視線、すなわち接触点２１を時間順に並べたデータを視線軌跡データとして算出する。

【0020】

記憶部１７は、視線軌跡データを記憶する。記憶部１７は、例えば、半導体メモリ装置、ハードディスク装置、フラッシュメモリ装置などの記憶装置から構成される。出力部１８は、記憶部１７に記憶されたデータ（ここでは視線軌跡データ）を作業状態解析システム６などの外部システムへ出力する。

【0021】

作業状態解析システム６は、例えば、或る作業者３の視線軌跡データの変化を所定期間にわたって解析したり、同一の作業対象物２に対する同一作業について、或る作業者３の視線軌跡データと他の作業者の視線軌跡データとを対比することもできる。

【0022】

図２は、作業状態検出システム１のハードウェア構成を示す。作業状態検出システム１は、例えば、作業状態検出装置１００と、ＭＲゴーグル４を含む。

【0023】

作業状態検出装置１００は、計算機として構成されており、例えば、プロセッサ１０１、メモリ１０２、通信部１０３、ユーザインターフェース部１０４、ストレージ１０５を備える。図中では、ユーザインターフェースを「ＵＩ」と略記する。

【0024】

プロセッサ１０１は、ストレージ１０５に格納された所定のコンピュータプログラム（不図示）をメモリ１０２に読み出して実行することにより、図１で述べた機能部１１～１８を実現させる。プロセッサ１０１は、１つに限らない。プロセッサ１０１は、専用の演算処理を行う特定の演算装置を含んでもよい。

【0025】

通信部１０３は、例えば、ＭＲゴーグル４および外部システム５，６と通信する装置である。ＭＲゴーグル４と通信する通信部と、外部システム５，６と通信する通信部とに分けてもよい。ここでは、両者が１つの通信部であるかのように示す。ユーザインターフェース部１０４は、作業状態検出システム１を利用するユーザに対して、情報入力機能および情報出力機能を提供する。ユーザインターフェース装置１０４は、例えば、モニタディスプレイ、プリンタ、キーボード、ポインティングデバイス、タッチパネル（いずれも不図示）などを用いて構成される。ユーザは、ＶＲゴーグル（不図示）またはＭＲゴーグルを用いて、仮想空間上で作業状態検出システム１を利用することもできる。

【0026】

ＭＲゴーグル４は、作業者３に見える現実世界（現実空間）に仮想空間を重ねて表示させる装置であり、作業者３の頭部に装着される。ＭＲゴーグル４は、例えば、プロセッサ４０１、メモリ４０２、通信部４０３、カメラ４０４、視線追跡センサ４０５、網膜ディスプレイ４０６、スピーカー４０７、マイクロフォン４０８を備える。

【0027】

プロセッサ４０１は、メモリ４０２に格納された所定のコンピュータプログラム（不図示）を読み込んで実行することにより、例えば、視線を検出する機能と、情報をユーザの網膜に描写する機能などを実現させる。通信部４０３は、作業状態検出装置１００と双方向通信する装置である。

【0028】

カメラ４０４は、作業者の視線で現実世界を撮影する装置である。カメラ４０４は、奥行きを検出可能な測距機能を備えてもよい。視線追跡センサ４０５は、例えば、ユーザの眼球の動きをカメラで認識することにより、視線を検出する。網膜ディスプレイ４０６は、ユーザの網膜に画像を投影することにより、現実世界に仮想的な画像を重ね合わせて作業者３に提供する。

【0029】

スピーカー４０７およびマイクロフォン４０８は、ＭＲゴーグル４に内蔵されてもよいし、内蔵されていなくてもよい。

【0030】

外部システム５，６は、作業状態検出システム１に接続される外部の計算機である。１つの外部システム５は、例えばＣＡＤシステムなどの、作業対象物２の３次元モデルデータを作業状態検出システム１へ提供する上流側システムである。他の１つの外部システム６は、作業状態検出システム１で算出された視線軌跡データを利用して作業者３の作業状態などを解析する下流システムである。

【0031】

図３は、上流システム５がＣＡＤシステムなどのように、作業対象物２の３次元モデルデータを作成する計算機である場合を示す。外部システム５は、３次元モデルデータを生成する３次元モデル生成部５２と、生成された３次元モデルデータをＭＲゴーグル４で使用するためのデータ５０に変換する３次元モデル変換部５３とを備える。以下、ＭＲゴーグル４用に変換された３次元モデルのデータを３次元モデル５０と呼ぶ。

【0032】

ＭＲ（Mixed Reality：複合現実）ゴーグル４は、現実世界の視覚情報に仮想空間の情報を重ねて提供する装置である。ＭＲゴーグル４は、カメラ４０４で撮影された画像データから空間を認識する。ＭＲゴーグル４は、空間認識された作業対象物２上に３次元モデル５０を位置合わせして重ね合わせる。

【0033】

図４は、作業者３に現実に見えている作業対象物２に対して、作業対象物２の３次元モデル５０を重ね合わせて、作業者３の視線を追跡する様子を示す。

【0034】

図４（１）に示すように、作業者３がＭＲゴーグル４を装着して現実世界の作業対象物２を見ると、ＭＲゴーグル４の空間認識部４１は、作業対象物２を認識する。図４（１），（２）に示すように、ＭＲゴーグル４の空間認識部４１は、認識された作業対象物２に対して、３次元モデル５０を重ね合わせる。

【0035】

図４（３）に示すように、作業者３が作業対象物２を見ると、作業者３の視線３１が作業対象物２の表面（３次元モデル５０の表面）に接触する点２１を得る。その接触点２１と、３次元モデル５０の中心に設定された視線基準点５１との位置関係を相対座標値として算出する。作業対象物２の内部に視線基準点５１が設定されるため、作業対象物２と視線３１の接触点２１との関係は、作業者３の目の高さや作業対象物２の姿勢変化による影響を受けにくい。

【0036】

図５は、作業状態検出処理のフローチャートである。作業状態検出システム１は、作業対象物２の３次元モデルのデータを生成し、視線基準点５１を設定する（Ｓ１１）。そして、作業状態検出システム１は、生成された３次元モデルのデータをＭＲゴーグル４で使用するためのデータに変換し、ＭＲゴーグル４に転送する（Ｓ１２）。

【0037】

作業者３がＭＲゴーグル４を介して作業対象物２を見ると、カメラ４０４により作業対象物２が撮影され、撮影された画像データは作業状態検出装置１００へリアルタイムで送信される（Ｓ１３）。

【0038】

それと略同時にＭＲゴーグル４は、作業対象物２を空間認識し、認識された作業対象物２に３次元モデル５０を重ね合わせる（Ｓ１４）。作業状態検出システム１は、作業者３の視線３１が作業対象物２に接触する点２１と視線基準点５１との位置関係を相対座標値として算出し（Ｓ１５）、算出された相対座標値のデータ群を視線軌跡データとして記憶部１７に記憶させる（Ｓ１６）。

【0039】

図６は、視線軌跡データを利用して作業状態を解析する処理を示すフローチャートである。本処理は、作業状態解析システム６により実行される。作業状態検出システム１内に作業状態解析システム６を設けてもよい。

【0040】

作業状態解析システム６は、視線軌跡データを取得すると共に（Ｓ２１）、ＭＲゴーグル４のカメラ４０４で撮影された作業者目線の画像データも取得する（Ｓ２２）。作業状態解析システム６は、画像データ内の作業対象物２に対して視線軌跡データを構成する各接触点２１（視点２１）を重ねて表示する（Ｓ２３）。作業状態解析システム６は、視線軌跡データの統計情報を算出する（Ｓ２５）。

【0041】

作業状態解析システム６は、作業者３の視点２１がプロットされた作業対象物２の動画像データと、３次元モデル５０に作業者の視点３１がプロットされた動画像データと、統計情報とを対応付けて出力する（Ｓ２６）。視線基準点５１は、３次元モデル５０に設定されるため、視線３１が作業対象物２の表面に接触する位置２１は、３次元モデル５０の表面と視線３１とが交わる点として算出される。したがって、作業状態解析システム６は、視線軌跡データに含まれる視点２１のプロットされた作業対象物２および３次元モデル５０を同時に出力できる。

【0042】

図７は、作業状態解析システム６の出力する解析画面Ｇ１の例である。図７の上側には、熟練作業者Ｕ１の作業状態の解析結果が示されている。図７の下側には、未熟な作業者Ｕ２の作業状態が示されている。

【0043】

作業状態解析画面Ｇ１は、例えば、作業中の動画を表示する作業動画表示部ＧＰ１１と、３次元モデル５０に対する視線変化（視点の移動の変化）を再現した再現部ＧＰ１２と、統計情報を表示する統計情報表示部ＧＰ１３を備える。

【0044】

作業中の動画では、作業対象物２の表面に視点を示すマークが表示されている。同様に、３次元モデルにも視点を示すマークが表示されている。図７では、視点の位置と順番を丸付き数字で示す。統計情報表示部ＧＰ１３では、視点の滞留時間（または頻度）の情報がグラフ化されて示されている。

【0045】

熟練作業者Ｕ１の視線軌跡データと未熟な作業者Ｕ２の視線軌跡データとを比較すると、熟練作業者Ｕ１は注視箇所が未熟な作業者Ｕ２のそれよりも少なく、無駄な場所を見ていない。換言すれば、未熟な作業者Ｕ２は、作業との関係が低い場所を無駄に注視していることがわかる（図７右下の丸付き数字２参照）。

【0046】

図８は、視線基準点５１の設定位置の例を示す。図１などでは、視線基準点５１を３次元モデル５０の中心に設定する場合を述べた。３次元モデル５０の中心は、３次元モデル５０が均一な素材から形成されると仮定した場合の重心でもよい。作業対象物２の実際の構造から算出される重心に視線基準点５１を設定してもよい。

【0047】

さらに、図８（１）に示すように、視線基準点５１Ａを３次元モデル５０の側面に設定してもよい。図８（２）に示すように、視線基準点５１Ｂを３次元モデル５０の中心よりも奥に設定してもよい。図８（３）に示すように、視線基準点５１Ｃを３次元モデル５０の上面に設定してもよい。図８（４）に示すように、視線基準点５１Ｄを３次元モデル５０の頂点のいずれかに設定してもよい。このように、視線基準点５１は、３次元モデルの任意の箇所に設定することができる。

【0048】

このように構成される本実施例によれば、視線基準点５１は、作業対象物２内（作業対象物２に重ねられた３次元モデル５０）に設けられるため、作業者３と作業対象物２の位置関係が変化した場合でも、視点（接触点）２１と視線基準点５１との関係に影響を与えない。このため作業状態検出システム１は、作業者３が作業対象物２対する作業中に、作業者３の視線３１を正確に検出することができる。

【0049】

そして、作業状態解析システム６は、正確に検出された視線軌跡データを用いて、作業者３の作業状態を正確に解析できる。そして、作業状態解析システム６は、熟練作業者の暗黙知を形式知に変換し、作業に不慣れな作業者を教育する教育資料を生成することもできる。さらに、作業状態解析システム６は、例えば、作業指示マニュアルの改善、作業工程の改善、設計の改善などに役立つ解析結果を出力することができる。

【実施例0050】

図９および図１０を用いて、実施例２を説明する。本実施例を含む以下の各実施例では、実施例１との差異を中心に説明する。本実施例では、作業対象物２の形状が作業工程の進行につれて変化する場合を説明する。一般に、検品工程、検査工程などでは、作業対象物２は完成品であるため、その形状が大きく変化することは少ない。作業対象物２の表面にシールなどが貼付される程度である。表面処理工程、塗装工程なども作業対象物２の形状は大きく変化しない。

【0051】

これに対し、加工工程、組立工程では、作業が進むにつれて作業対象物２の外形形状が大きく変化する。この場合、作業対象物２の形状変化に応じた３次元モデルを使用しないと、作業者３の視線３１が見ている場所２１を正確に求めることができない。そこで、本実施例では、作業工程の進行に応じて、すなわち作業指示の切り替わりに応じて、視線検出に使用する３次元モデルを更新する。

【0052】

図９は、３次元モデルを生成する処理を示すフローチャートである。作業状態検出システム１は、作業指示ごとに（Ｓ３１）、作業対象物２の３次元モデルのデータを生成する（Ｓ３２）。作業状態検出システム１は、生成された３次元モデルのデータに視線基準点５１を設定し、ＭＲゴーグル４で使用するための３次元モデル５０に変換して（Ｓ３３）、作業指示を特定する情報とともに記憶部１７に記憶させる（Ｓ３４）。

【0053】

図示せぬ作業現場では、作業指示ボードまたは作業指示ディスプレイなどで、「部品Ａの上に部品Ｂを固定してください」といった作業指示が作業員３に出される。作業指示が変わるたびに、すなわち作業工程が進むにつれて、作業対象物２の形状は変化する。しかし、作業対象物２の形状変化は、決められた工程にしたがって決められた通りに変化していく。したがって、作業状態検出システム１は、例えば、作業対象物２の設計データを保持するＣＡＤシステムと、作業指示マニュアルを管理するマニュアル管理システムなどと連携することにより、作業指示ごとに（作業工程ごとに）必要な３次元モデル５０をあらかじめ作成することができる。

【0054】

図１０は、作業状態検出処理のフローチャートである。作業状態検出システム１は、作業指示が変化したか判定する（Ｓ４１）。作業状態検出システム１は、作業指示が変化すると（Ｓ４１：ＹＥＳ）、新しい作業指示に対応する３次元モデル５０を記憶部１７から取得し（Ｓ４２）、ＭＲゴーグル４にセットさせる。

【0055】

ＭＲゴーグル４のカメラ４０４が作業対象物２を撮影し（Ｓ４３）、作業対象物２を空間認識すると（Ｓ４４）、作業者３の視線３１が作業対象物２の表面（３次元モデル５０の表面）に接触する点２１が検出され、その接触点（視点または交点）２１と視線基準点５１との位置関係が相対座標値として算出され（Ｓ４５）、視線軌跡データとして記憶部１７に記憶される（Ｓ４６）。

【0056】

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに、本実施例では、作業指示に連動して（作業工程の進行に連動して）、３次元モデル５０を更新するため、作業対象物２の形状が変化する作業に対しても、作業者３の視線を正確に検出することができる。