特許 7156731 作業支援装置、作業支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-11

(45)【発行日】2022-10-19

(54)【発明の名称】作業支援装置、作業支援方法及びプログラム

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20221012BHJP

   G06Q 10/00 20120101ALI20221012BHJP

   G06Q 50/04 20120101ALI20221012BHJP

【ＦＩ】

G06Q10/06 332

G06Q10/00 300

G06Q50/04

【請求項の数】 9

(21)【出願番号】P 2021110677

(22)【出願日】2021-07-02

(62)【分割の表示】P 2019551164の分割

【原出願日】2018-10-23

(65)【公開番号】P2021152979

(43)【公開日】2021-09-30

【審査請求日】2021-07-02

(31)【優先権主張番号】P 2017209179

(32)【優先日】2017-10-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000232140

【氏名又は名称】ＮＥＣフィールディング株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】牧野 友昭

【審査官】宮地 匡人

(56)【参考文献】

【文献】特開２０１５－２２９２１０（ＪＰ，Ａ）

【文献】特開２０１６－０３５６２９（ＪＰ，Ａ）

【文献】特開２００８－００９８６８（ＪＰ，Ａ）

【文献】特開２０１５－０９９０２２（ＪＰ，Ａ）

【文献】特開平０９－１９８５０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

作業工程単位で誤った作業が行われた場合の状況を表した誤り画像を記憶する記憶部と、
作業者が作業を行っている過程における画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認する確認部と、
前記確認部が誤った作業が行われたと判断した場合、作業者に対して誤りが発生したことを通知する通知部とを含む作業支援装置。

【請求項2】

前記誤り画像は、各作業工程でのみ得られる画像である請求項１の作業支援装置。

【請求項3】

前記誤り画像は、少なくとも角度、大きさ、画素数のいずれか一が、前記作業者が作業を行っている過程における画像と同一である請求項１または２の作業支援装置。

【請求項4】

前記作業者が作業を行っている過程における画像が、前記作業者が着用しているウェアラブル端末のカメラにて撮影された画像である請求項１から３のいずれか一の作業支援装置。

【請求項5】

前記誤り画像として、前記作業者が着用するウェアラブル端末と同一のウェアラブル端末のカメラにて撮影された画像を用いる請求項４の作業支援装置。

【請求項6】

前記確認部は、前記ウェアラブル端末に入力される画像の一部と、前記誤り画像とを照合する請求項４または５の作業支援装置。

【請求項7】

前記確認部は、前記ウェアラブル端末に入力される画像と、前記誤り画像とのいずれか一方を変換することにより照合する請求項４から６のいずれか一の作業支援装置。

【請求項8】

作業工程単位で誤った作業が行われた場合の状況を表した誤り画像を保持する手段にアクセス可能なコンピュータが、
作業者が作業を行っている過程における画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認するステップと、
前記ステップが誤った作業が行われたと判断した場合、作業者に対して誤りが発生したことを通知するステップと、
を含む作業支援方法。

【請求項9】

作業工程単位で誤った作業が行われた場合の状況を表した誤り画像を保持する手段にアクセス可能なコンピュータに、
作業者が作業を行っている過程における画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認する処理と、
前記処理が誤った作業が行われたと判断した場合、作業者に対して誤りが発生したことを通知する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１７－２０９１７９号（２０１７年１０月３０日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、作業支援装置、作業支援方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１に、発電所や変電所等の現場機器の保守・点検作業において、作業者の負担を軽減すると共に、保守・点検作業業務の省力化を図ることのできるという保守支援システムが開示されている。同文献には、保守・点検作業に関する情報を保持した複数のデータベースを備えたサーバ１０を設けることが記載されている。一方、作業者が携行する携帯端末６には、作業者が被るヘルメット１に取り付けられたカメラ２により保守作業の所定の工程ごとにその進捗状況を撮影してサーバ１０に伝送する機能が備えられる。そして、サーバ１０は、カメラ２によって撮影された進捗状況に応じてデータベースから作業に必要なデータを抽出して、作業者が被るヘルメット１に取り付けられたディスプレイ５から作業に必要な情報を提供することが記載されている。

【0003】

特許文献２には、監視者に頼ることなく、作業状態や作業現場の状況等を分析して評価することができるという作業管理システムが開示されている。同文献によると、この作業管理システムの入力部１は、熟練度の高い作業者が作業を進めている様子を撮像し、この動画像を周知の画像処理方法を用いてパターン化してから記憶部３に記憶する。また、この作業管理システムの検出部２は、通常の作業者が作業を進めている様子を撮像し、この動画像を周知の画像処理方法を用いてパターン化してから記憶部３に記憶したり、中央処理装置４に与える。そして、この作業管理システムの中央処理装置４は、２つの動画像を比較して、熟練度の高い作業者に対する通常の作業者の作業速度の差や作業手順の誤りを判定する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－２１６１３７号公報

【文献】特開２００３－１６７６１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下の分析は、本発明によって与えられたものである。作業者を現地に派遣して、保守やメインテナンス作業を行う場合において、作業工程誤りが発生する場合がある。本発明者の分析によれば、これら作業誤りの多くは、作業者の誤認識、忘れ、見過ごし、思い込み等に起因するものであり、作業の中の特定のシーンを確認するだけで、その誤りを判定可能である。この点、特許文献１は、サーバ１０の主制御部１１が「所定の保守工程ごとに前記携帯端末６から伝送される保守作業の進捗状況から、該工程の保守作業の良否を判定する作業良否判定手段の役割を担う。」と包括的な記載がなされるに止まっている。

【0006】

また、特許文献２の方法は、予め熟練度の高い作業者の作業映像を撮影しておき、通常の作業者の作業映像と比較するものであり、通常の作業者の作業の評価の良し悪しは、熟練度の高い作業者の作業映像次第となってしまう。また、特許文献２の方法は、同文献の図２に示された卓上作業などには使えるが、毎度、作業現場の環境が異なりうる訪問型、出張型の作業の確認には使えない場合があると考えられる。

【0007】

本発明は、作業者に対し、精度よく作業工程誤り等の発生を知らせ、その作業効率の向上に貢献することのできる作業支援装置、作業支援方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の視点によれば、少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１の工程と、前記第２の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する記憶部と、前記作業者が作業を行っている過程における画像を入力する入力部と、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する確認部と、前記作業者に対し、前記確認の結果を通知する通知部と、を備えた作業支援装置が提供される。

【0009】

第２の視点によれば、少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１、前記第２の工程において行われる作業を代表する工程毎の代表画像とを対応付けて保持する手段にアクセス可能なコンピュータが、前記作業者が作業を行っている過程における画像を入力するステップと、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認するステップと、前記作業者に対し、前記確認の結果を通知するステップと、を含む作業支援方法が提供される。本方法は、作業支援装置として機能するコンピュータという、特定の機械に結びつけられている。

【0010】

第３の視点によれば、少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１、前記第２の工程において行われる作業を代表する工程毎の代表画像とを対応付けて保持する手段にアクセス可能なコンピュータに、前記作業者が作業を行っている過程における画像を入力する処理と、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する処理と、前記作業者に対し、前記確認の結果を通知する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

【発明の効果】

【0011】

本発明によれば、作業者に対し、精度よく作業工程誤り等の発生を知らせ、その作業効率を向上させることが可能となる。即ち、本発明は、背景技術に記載した作業支援装置を、その作業工程誤りの有無の確認機能を飛躍的に向上させたものへと変換するものとなっている。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態の構成を示す図である。

【図2】本発明の一実施形態の別の構成例を示す図である。

【図3】本発明の一実施形態の作業支援装置の記憶部に準備する情報を説明するための図である。

【図4】本発明の一実施形態の動作を説明するための図である。

【図5】本発明の第１の実施形態の構成を示す図である。

【図6】本発明の第１の実施形態で用いるウェアラブル端末の構成を示す図である。

【図7】本発明の第１の実施形態のサーバの構成を示す図である。

【図8】本発明の第１の実施形態のサーバの作業情報データベース（作業情報ＤＢ）に保持される情報の一例を示す図である。

【図9】本発明の第１の実施形態のウェアラブル端末及びサーバの工程画像データベース（工程画像ＤＢ）に保持される情報の一例を示す図である。

【図10】本発明の第１の実施形態のウェアラブル端末の動作を表したフローチャートである。

【図11】本発明の第２の実施形態の構成を示す図である。

【発明を実施するための形態】

【0013】

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。

【0014】

本発明は、その一実施形態において、図１に示すように、記憶部１１ａと、入力部１２ａと、確認部１３ａと、通知部１４ａと、を備える作業支援装置１０ａにて実現できる。記憶部１１ａは、少なくとも第１の工程と第１の工程の後に行われる第２の工程と含む「作業」と、前記第１の工程と、前記第２の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する。

【0015】

入力部１２ａは、前記作業者が前記選択した作業を行っている過程における画像を入力する。

【0016】

確認部１３ａは、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する。

【0017】

通知部１４ａは、前記作業者に対し、前記確認の結果を通知する。

【0018】

なお、図１に示した作業支援装置１０ａは、図２に示すようなコンピュータ１０ｂにて実現することもできる。この場合、メモリー１１ｂが、上記した記憶部１１ａとして機能し、入力手段１２ｂが、入力部１２ａとして機能することになる。なお、メモリー１１ｂには、各種のディスクドライブ等の補助記憶装置も含まれる。また、入力手段１２ｂは、作業を行っている過程における画像を撮影するカメラや、そのようなカメラから画像を受け取る入力インタフェース等であってもよい。また、確認部１３ａ及び通知部１４ａは、プロセッサ１３ｂにおいて、上記した確認部１３ａの確認処理と、その結果を出力手段１４ｂから出力（通知）させるコンピュータプログラムによって実現することが可能である。

【0019】

ここで、あるアプリケーションプログラムのコンピュータへのインストール作業の支援を例に挙げて、本実施形態の動作を説明する。このアプリケーションプログラムでは、インストール工程（第２の工程）の前に、古いバージョンのプログラムのアンインストール作業（第１の工程）が必要とされているものとする。図３は、この場合に、記憶部１１ａに記憶する代表画像の例を示す。図３の例では、第１の工程の代表画像として、アンインストール中にモニタ上に表示されるサブウインドウが表示された画像が記憶される。同様に、第２の工程の代表画像として、インストール中にモニタ上に表示されるサブウインドウが表示された画像が記憶される。

【0020】

そして、入力部１２ａに、例えば、カメラを介して、作業者が選択した作業を行っている過程における画像の入力がなされると、確認部１３ａは、入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する。例えば、入力された画像が、第１の工程の代表画像と一致すると、確認部１３ａが、作業が正しく開始されたと判定する。その後、第２の工程の代表画像と一致する画像が入力されると、確認部１３ａは、作業が正しく行われたものと判定する。ここで、確認部１３ａが、通知部１４ａに、作業者に対して、作業が正しく行われていることを通知させるようにしてもよい。このようにすることで、作業者はアプリケーションのインストール作業を正しく実行できたことを確認できる。その後、アプリケーションプログラムの動作に問題が生じたとしても、作業者は、インストール作業自体は正しくできていたという情報が得られているので、問題は他の箇所にあると認識することができる。

【0021】

一方、入力された画像と、第１の工程の代表画像との一致の前に、第２の工程の代表画像と、一致した場合、確認部１３ａは、第１の工程よりも先に第２の工程が行われたものと判定する。この場合、確認部１３ａは、通知部１４ａに、作業者に対して、作業が正しく行われていないことを通知することが好ましい。このようにすることで、作業者はアプリケーションのインストール作業を間違っていたことを認識できる。これにより、次の作業や工程に入る前に、プログラムのインストールのやり直しを行うことができる。また、その際に、確認部１３ａが、通知部１４ａに、具体的な修正作業の内容を通知するように指示してもよい。例えば、図４の例の場合、確認部１３ａが、作業者に対し、Ｖ１．１のアプリケーションのアンインストールと、Ｖ１．０のアプリケーションのアンインストールを行った後、Ｖ１．１のインストールを行うべきことを通知することが考えられる。

【0022】

［第１の実施形態］
続いて、作業支援装置として、ウェアラブル端末を用いる本発明の第１の実施形態について図面を参照して詳細に説明する。図５は、本発明の第１の実施形態の作業支援装置の構成を示す図である。図５を参照すると、作業者１００ａが着用するメガネ型のウェアラブル端末（作業者装着端末）１００と、サーバ２００とがネットワーク１０１を介して接続された構成が示されている。なお、以下の実施形態では、作業画像の入力装置としてウェアラブル端末を用いるものとして説明するが、作業画像の入力装置としてウェアラブル端末に限られるものではない。例えば、スマートフォンやその他カメラ付きの業務用端末を作業画像の入力装置として用いることも可能である。また、カメラ自体が独立した構成であってもよく、カメラから送信された画像を上記ウェアラブル端末、スマートフォン、業務用端末等を介して、作業支援装置に送信することとしてもよい。なお、メガネ型のウェアラブル端末としては、スマートグラスやヘッドセット型端末と呼ばれるものを用いることができる。

【0023】

なお、ウェアラブル端末１００及びサーバ２００のネットワーク１０１への接続形態（通信方式）としては、種々の方式を用いることができる。例えば、移動体通信網を介した接続、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）による接続等が考えられる。その他、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信等の近距離無線通信を介して、ウェアラブル端末１００及びサーバ２００がネットワーク１０１に接続することとしてもよい。もちろん、有線ＬＡＮ等の有線通信を介して、ウェアラブル端末１００及びサーバ２００がネットワーク１０１に接続する方法も採用可能である。

【0024】

図６は、本発明の第１の実施形態のウェアラブル端末の構成を示す図である。図６を参照すると、制御部１０２、通信部１０３、画像入力部１０４、音声入力部１０５、入力部１０６、表示部１０７、音声出力部１０８、計時部１０９及び記憶部１１０を備えるウェアラブル端末１００が示されている。

【0025】

通信部１０３は、ネットワーク１０１を介して、ウェアラブル端末１００とサーバ２００の間のデータの通信を行う。

【0026】

画像入力部１０４は、例えば、撮影装置（カメラ）によって構成することができる。具体的には、画像入力部１０４は、制御部１０２からの指示に応じて、作業者が視認する領域の画像（動画でも良く、所定間隔（動画像より、撮像時間間隔が広くても良い）毎に撮像した静止画でも良い）を取り込む。画像入力部１０４は、記憶部１１０の工程画像ＤＢ１１１に取り込んだ画像を保存する。なお、画像入力部１０４は、必ずしも撮影装置（カメラ）である必要はなく、撮影装置（カメラ）等を接続可能なインターフェースであってもよい。

【0027】

音声入力部１０５は、マイク（マイクロフォン）によって構成することができる。音声入力部１０５を介して、作業者から音声による指示を受け付け、ウェアラブル端末１００の動作を制御してもよい。この音声入力部１０５から、特定の装置等の作業対象が発する音、作業者の周囲の音を取り込んで、作業が正しく行われているか否かの確認を行うようにしてもよい。

【0028】

入力部１０６は、タッチパネルやスライドパッド、マウス、キーボード等の情報入力手段によって構成される。作業者から入力部１０６を介して指示を受け付け、ウェアラブル端末１００の動作を制御してもよい。また、作業者が、入力部１０６を介して入力した情報（例えば、工程画像ＤＢの修正データ）を、記憶部１１０の工程画像ＤＢ１１１等に記憶するようにしてもよい。なお、上記した音声入力部１０５や入力部１０６は適宜省略することもできる。例えば、作業者からの指示を、画像入力部１０４によって作業者のジェスチャーを認識して受け取る場合、音声入力部１０５や入力部１０６を省略することができる。

【0029】

なお、上記した画像入力部１０４、音声入力部１０５、入力部１０６における画像等や音声等の情報の入力は、制御部１０２の指示するタイミングで行われるものとする。

【0030】

表示部１０７は、制御部１０２からの指示で、出力画像（動画でも良い）を表示する液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイによって構成される。

【0031】

音声出力部１０８は、制御部１０２からの指示で、音声を出力する。例えば、作業対象の装置に対して行われた操作の際の動作音の取得が必要な場合は、制御部１０２が、表示部１０７または音声出力部１０８に対して、作業者に対し、必要な操作の実行を促すメッセージ（音声案内等）を出力させるようにしてもよい。また、音声出力部１０８に代えて、出力手段として、作業者に注意を促すための振動モータ、振動を発生するデバイスや、ランプを用いることもできる。

【0032】

計時部１０９は、作業の開始から各工程までの所要時間（経過時間）を計測する。この計測した所要時間と、標準時間や最大許容時間と比較することにより、作業の遅れの有無や、トラブルの発生有無等を把握することができる。

【0033】

制御部１０２は、上記したウェアラブル端末１００の各部を制御し、画像入力部１０４から入力された画像と代表画像や誤り画像とを照合し、作業の進捗管理（図１０のフローチャート参照）を行う。また本実施形態の制御部１０２は、各工程の所要時間（経過時間）と別途定められた標準時間や最大許容時間とを比較することにより、作業の進捗を管理する。また本実施形態の制御部１０２は、予め定められた警告発動条件が成立すると、作業者に対し警告を出力する機能を備えている。このような制御部１０２は、ウェアラブル端末１００の各部を制御するプログラム１１２を、記憶部１１０から読み出してプロセッサに実行させることにより実現することもできる。

【0034】

記憶部１１０は、工程画像データベース（工程画像ＤＢ）１１１として機能する。この工程画像ＤＢ１１１には、サーバ２００から受信した工程画像情報が登録される。工程画像情報の詳細については、後に、詳細に説明する。

【0035】

図７は、本発明の第１の実施形態のサーバ２００の構成を示す図である。図７を参照すると、制御部２０２、通信部２０３、画像入力部２０４、音声入力部２０５、入力部２０６、表示部２０７、音声出力部２０８及び記憶部２０９を備えるサーバ２００が示されている。

【0036】

通信部２０３は、ネットワーク１０１を介して、ウェアラブル端末１００とサーバ２００の間のデータの通信を行う。

【0037】

画像入力部２０４は、ウェアラブル端末１００側から、作業者が視認する領域の画像（動画でも良く、所定間隔（動画像より、撮像時間間隔が広くても良い）毎に撮像した静止画でも良い）を受け取るインタフェースである。

【0038】

音声入力部２０５は、ウェアラブル端末１００側から音声データを受け取るインタフェースである。音声入力部２０５を介して、作業者から音声による指示を受け付け、サーバ２００の動作を制御してもよい。この音声入力部２０５から、特定の装置等の作業対象が発する音、作業者の周囲の音を取り込んで、作業が正しく行われているか否かの確認を行うようにしてもよい。

【0039】

入力部２０６は、タッチパネルやスライドパッド、マウス、キーボード等の情報入力手段によって構成される。作業者から入力部２０６を介して指示を受け付け、サーバ２００の動作を制御してもよい。また、作業者が、入力部２０６を介して入力した情報（例えば、工程画像ＤＢの修正データ）を、記憶部２０９の工程画像ＤＢ２１１等に記憶するようにしてもよい。

【0040】

表示部２０７は、サーバ２００側の操作者に必要なメッセージ等を出力したり、入出力内容を表示する液晶ディスプレイや有機ＥＬディスプレイによって構成される。

【0041】

音声出力部２０８は、制御部２０２からの指示により、サーバ側の操作者に対し、必要な操作の実行を促すメッセージ（音声案内等）を出力する。また、音声出力部２０８に代えて、出力手段として、光で操作者に注意を促すためのランプ等を用いることもできる。

【0042】

制御部２０２は、上記したサーバ２００の各部を制御する。この制御部２０２は、サーバ２００の各部を制御するプログラム（非図示）を、記憶部２０９から読み出してプロセッサに実行させることにより実現することもできる。また、ウェアラブル端末１００からサーバ２００側に、画像入力部１０４から入力された画像が送信される場合、この制御部２０２において、作業の進捗管理（図１０のフローチャート参照）を行う処理を行わせても良い。具体的には、制御部２０２は、ウェアラブル端末１００から受信された画像と代表画像や誤り画像とを照合し、作業の進捗管理を行うことになる。また、制御部２０２において、作業を開始してからの経過時間を記録し、別途定めた標準的な所要時間との比較により、作業の遅れの有無を判定させてもよい。

【0043】

ここで、サーバ２００の記憶部２０９に保持される情報について説明する。記憶部２０９には、作業情報と、工程画像情報が登録され、それぞれ作業情報データベース（作業情報ＤＢ）２１０、工程画像データベース（工程画像ＤＢ）２１１として機能する。

【0044】

図８は、作業情報ＤＢ２１０に保持される情報の一例を示す図である。図８を参照すると、装置名、作業種類、障害内容によって特定される「作業」に一意に付与される作業Ｎｏ．を対応づけたエントリが示されている。この作業情報ＤＢ２１０は、ウェアラブル端末１００から、工程画像の送信要求を受けた際に、入力された作業内容から作業Ｎｏ．を特定するために用いられる。例えば、ある作業者が、起動しないパソコンの故障修理を行う場合、その作業は＃１の作業として特定される。なお、作業の内容は、図８の例に限られず、本発明を適用可能なさまざまな「作業」を特定するための情報を登録してもよい。例えば、図８の例のほか、装置撤去作業や定期点検作業を作業情報ＤＢ２１０に登録してもよい。また例えば、自動車のオイル交換であれば、装置フィールドには、自動車の車種名や型番（型式）を示す情報が設定され、作業種類フィールドには、オイル交換が設定される（なお、障害内容フィールドは、図８の＃４のサーバ４の設置と同様に空欄でもよいし、あるいは、オイルエレメント交換の要否等を設定してもよい）。

【0045】

図９は、工程画像ＤＢ２１１に保持される情報の一例を示す図である。図９を参照すると、作業Ｎｏ．２の「作業」における各工程の代表画像と、この代表画像等を用いて、工程の進捗管理を行うための情報が対応付けて登録されている。図９の例は、図８の作業情報ＤＢにて作業Ｎｏ．２と特定される、プリンタ２の故障修理（紙詰まり）を行う際の情報が登録されている。また、図９は、作業Ｎｏ．２を構成する６つの工程のうち、工程３まで正常に進み、工程４にて作業の誤りを検出した状態を示している。以下、図９の各項目について説明する。

【0046】

「代表画像」フィールドは、各工程において、正しく作業が行われたことを確認するための画像を登録するためのフィールドである。この代表画像は、ウェアラブル端末１００にて画像の一致確認がし易いよう、作業者（例えば、装置の保守作業者であっても良い）が視認する領域（厳密にはウェアラブル端末１００に入力が想定される画像と同一の領域）を撮像したものが好ましい。より望ましくは、代表画像の角度、大きさ、画素数等は、ウェアラブル端末１００に入力される画像と同一になるように設定される。

【0047】

また、誤判定を防ぐため、代表画像は、他の工程でも撮影出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。また、この代表画像は、ウェアラブル端末１００に入力が想定される画像の一部と照合する画像であってもよい。また、ウェアラブル端末１００に入力が想定される画像と代表画像の角度、大きさ、画素数等が、必ずしも一致している必要はない。例えば、いずれか一方の画像を座標変換により、傾けた画像としたり、画像の大きさや画素数を変換したりすることで、双方を照合する方法も採用可能である。

【0048】

代表画像の例としては、ハードディスク交換作業におけるハードディスクドライブの外観画像、回路基板や機構部品の交換作業における対象装置での実装状態を想定した回路基板や機構部品の外観画像が挙げられる。また、代表画像の別の例として、機器接続作業における作業対象装置での外部に露出しているコネクタの外観やその接続状態を示す画像が挙げられる。

【0049】

図９の「撮像画像」フィールドは、ウェアラブル端末１００の画像入力部１０４から入力された画像のうち、代表画像や誤り画像（後述）との照合がとれた画像が登録されるフィールドである。図９の例では、サーバ２００側の工程画像ＤＢ２１１に「撮像画像」フィールドが設けられているが、ウェアラブル端末１００側でのみ代表画像との照合を行う場合、サーバ２００側の工程画像ＤＢ２１１の「撮像画像」フィールドは省略できる。前述のとおり、図９の例では、工程１～３までが確認されたので、「撮像画像」フィールドには、代表画像と一致すると判定された画像が登録されている。図９の工程４は、誤り画像との一致が検出されたので、「撮像画像」フィールドには、誤り画像と一致すると判定された画像が登録されている。

【0050】

図９の「実施状況」フィールドは、ウェアラブル端末１００の制御部１０２又はサーバ２００の制御部２０２で代表画像との照合により、確認された工程の進捗状況等を記録するフィールドである。図９の例では、サーバ２００側の工程画像ＤＢ２１１に「実施状況」フィールドが設けられているが、ウェアラブル端末１００側でのみ代表画像との照合を行う場合、サーバ２００側の工程画像ＤＢ２１１の「実施状況」フィールドは省略できる。前述のとおり、図９の例では、工程１～３までが確認されたので、「実施状況」フィールドには、「作業開始」、「工程確認」といった情報が登録されている。図９の工程４は、誤り画像との一致が検出されたので、「実施状況」フィールドには、「誤り検知」という情報が登録されている。また、工程５以降は行われていないため、「未実施」という初期状態の情報が登録されている。

【0051】

図９の「手順情報」フィールドは、各工程の次の工程の作業内容等が登録されるフィールドである。「手順情報」フィールドの内容は、必要に応じ、表示部１０７や音声出力部１０８を介して、作業者に通知される。

【0052】

図９の「通知情報」フィールドは、各工程に到達した際に、作業者に通知する情報が登録されるフィールドである。例えば、撮像画像と代表画像が適合し、作業開始と判定した場合、通知情報フィールドに登録されている内容が作業者に通知される。作業情報との差異は、作業情報が作業内容を伝えるという観点で作成されているのに対し、通知情報は、注意事項、連絡事項や、次工程作業を行う上で、作業誤りを防ぐ為の注意喚起の情報が設定されている点である。なお、上記した作業情報や通知情報として、文字、音声、動作、図形等の形態を採ることができる。また、ウェアラブル端末１００の眼鏡型のスクリーンに、上記作業情報や通知情報を示す文字や図形を重畳表示し、作業者の作業を支援するようにしてもよい。

【0053】

「誤り画像」フィールドは、各工程において、作業ミスが行われたことを検出するための画像を登録するためのフィールドである。この誤り画像も、代表画像と同様に、ウェアラブル端末１００にて画像の一致確認がし易いよう、作業者（例えば、装置の保守作業者であっても良い）が視認する領域（厳密にはウェアラブル端末１００に入力が想定される画像と同一の領域）を撮像したものが好ましい。より望ましくは、誤り画像の角度、大きさ、画素数等は、ウェアラブル端末１００に入力される画像と同一になるように設定される。

【0054】

また、誤判定を防ぐため、誤り画像も、他の工程でも撮影出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。また、この誤り画像は、ウェアラブル端末１００に入力が想定される画像の一部と照合する画像であってもよい。また、ウェアラブル端末１００に入力が想定される画像と誤り画像の角度、大きさ、画素数等が、必ずしも一致している必要はない。例えば、いずれか一方の画像を座標変換により、傾けた画像としたり、画像の大きさや画素数を変換したりすることで、双方を照合する方法も採用可能である。

【0055】

図９の「標準時間」フィールドは、各工程間の標準的な作業時間が登録されるフィールドである。この標準時間と実際の作業時間を比較することにより作業の進捗具合（遅れ具合）を把握することが可能となる。また、図９の「最大許容時間」フィールドは、各工程間の所要時間として許容される時間が登録されるフィールドである（即ち、最大許容時間＞標準時間である）。図９の「経過時間」フィールドは、各工程間の実際の所要時間が登録されるフィールドである。なお、図９の例では、最終工程である工程６の標準時間と最大許容時間が空欄となっているが、これは、この工程の代表画像との一致をもって作業終了となり、判定の必要が無いためである。

【0056】

図９の「遅れ判定」フィールドは、各工程の進捗が、標準的な所要時間と比較して進んでいるのか、遅れているのかの判定結果が格納されるフィールドである。図９の例では、経過時間が、標準時間より短い場合「早め判定」としている。例えば、工程３は、標準時間１５分に対し、経過時間が８分であるため、「早め判定」となっている。図９の例では、経過時間が、最大許容時間より長い場合「遅延判定」としている。例えば、工程２、４は、最大許容時間より、経過時間が長いため、「遅延判定」となっている。図９の例では、経過時間が、最大許容時間よりも短いが標準時間より長い場合「遅れ判定」としている。例えば、工程１は、標準時間５分に対し、経過時間が８分、最大許容時間が１０分となっているため、「遅れ判定」となっている。なお、これらの判定基準はあくまで一例であり、判定を行う作業の種別や性質により適宜変更することができる。例えば、図９のような工程単位での判定のほか、累積標準時間や累積最大許容時間を設定し、累積の経過時間との比較を行って判定結果を得ても良い。

【0057】

また、標準時間と最大許容時間との関係も工程の内容に応じて適宜設定することができる。ごく簡単には、標準時間に所定時間を加えたものを最大許容時間としてもよいし、標準時間に所定の率を乗じたものを最大許容時間としてもよい。

【0058】

図９の「遅れ判定」フィールドに更新が行われたタイミングで、作業者に対して、音声や画像により、その判定結果や遅延量等を通知してもよい。これにより、作業者は、作業の遅れや、その程度を把握することが可能となる。

【0059】

図９の「警告情報」フィールドは、「警告発動条件」フィールドに設定された条件が成立した際に、作業者に通知される警告内容が格納されるフィールドである。例えば、図９の例では工程２と工程４に警告情報と、その警告発動条件が設定されている。これにより、作業中の特に重要な工程について、誤りや遅延が発生した際に作業者に警告（通知）を行うことが可能となっている。

【0060】

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１０は、本発明の第１の実施形態のウェアラブル端末の動作を表したフローチャートである。図１０を参照すると、まず、作業者が、ウェアラブル端末１００の入力部１０６から、図８に示す作業を特定するための情報（装置名、作業種類、障害内容等）を入力する（ステップＳ３０１）。

【0061】

ウェアラブル端末１００の制御部１０２は、サーバ２００に対し、前記入力された情報を送信し、作業Ｎｏの特定と、特定した作業Ｎｏに対応する工程画像の送信を要求する。サーバ２００は、作業情報ＤＢ２１０から、ウェアラブル端末１００から受け取った情報（装置名、作業種類、障害内容等）に対応する作業Ｎｏを特定する。次に、サーバ２００は、工程画像ＤＢ２１１から作業Ｎｏに対応するデータを特定し、作業Ｎｏとともに、ウェアラブル端末１００に送信する。ウェアラブル端末１００は、サーバ２００から受け取った情報を、工程画像ＤＢ１１１に格納する（ステップＳ３０２）。

【0062】

ウェアラブル端末１００の制御部１０２は、工程数を示す変数に「１」を設定し、入力画像との照合動作を開始する（ステップＳ３０３）。

【0063】

ウェアラブル端末１００の制御部１０２は、画像入力部１０４から作業者の視認する領域の画像を取り込む（ステップＳ３０４）。取り込んだ画像は工程画像ＤＢ１１１の撮像画像フィールドに一次保存される。ウェアラブル端末１００の制御部１０２は、取り込んだ画像と、工程画像ＤＢ１１１の該当する作業Ｎｏの工程数＝１の代表画像とを比較する（ステップＳ３０５）。ここで、取り込んだ画像と、工程画像ＤＢ１１１の該当する作業Ｎｏの工程数＝１の代表画像とが一致しない場合（ステップＳ３０５の「一致しない」）、ウェアラブル端末１００の制御部１０２は、作業は開始されていないと判定する。従って、ウェアラブル端末１００の制御部１０２は、画像入力部１０４から作業者の視認する領域の画像の取り込みを継続する（ステップＳ３０４へ）。

【0064】

なお、ステップＳ３０５以下における画像同士の照合には種々の方法を用いることができる。その具体例は、後に、詳細に説明する。

【0065】

一方、取り込んだ画像と、工程画像ＤＢ１１１の該当する作業Ｎｏの工程数＝１の代表画像とが一致した場合（ステップＳ３０５の「一致」）、ウェアラブル端末１００の制御部１０２は、作業がスタートしたと認識する（ステップＳ３０６）。この段階で、例えば、図９の工程Ｎｏ．１の実施状況が「作業開始」となり、計時部１０９にて経過時間のカウントがスタートする。

【0066】

ウェアラブル端末１００の制御部１０２は、工程数を示す変数に１加算し（インクリメント）、入力画像と次工程との照合動作を開始する（ステップＳ３０７）。

【0067】

ウェアラブル端末１００の制御部１０２は、画像入力部１０４から作業者の視認する領域の画像を取り込む（ステップＳ３０８）。取り込んだ画像は工程画像ＤＢ１１１の撮像画像フィールドに一次保存される。ウェアラブル端末１００の制御部１０２は、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像とを比較する（ステップＳ３０９）。ここで、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像が一致しない場合（ステップＳ３０９の「一致しない」）、ウェアラブル端末１００の制御部１０２は、取り込んだ画像と、現工程数より先のすべての工程の代表画像との照合を行う（ステップＳ３１６）。ここで、取り込んだ画像と、現工程数より先のすべての工程の代表画像とが一致しない場合（ステップＳ３１６の「一致しない」）、ウェアラブル端末１００の制御部１０２は、ステップＳ３０９に戻り、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像との照合を継続する。

【0068】

一方、ステップＳ３１６で比較した代表画像のうちのいずれか一つと、取り込んだ画像とが一致した場合、ウェアラブル端末１００の制御部１０２は、正しい作業順序で作業が行われていないと認識する（ステップＳ３１７）。そして、ウェアラブル端末１００の制御部１０２は、表示部１０７又は音声出力部１０８を介して、作業者に対し、作業の順序誤りを通知する（ステップＳ３１８）。その際に、ウェアラブル端末１００の制御部１０２が、該当する工程の作業情報や通知情報を出力して、作業者に対し正しい作業内容や戻し作業の内容を指示してもよい。

【0069】

一方、ステップＳ３０９で、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像が一致した場合（ステップＳ３０９の「一致」）、ウェアラブル端末１００の制御部１０２は、正しい作業順序で作業が行われていると認識する（ステップＳ３１０）。この場合、ウェアラブル端末１００の制御部１０２は、表示部１０７又は音声出力部１０８を介して、作業者に対し、正しい順序で作業が行われていることを通知する（ステップＳ３１１）。

【0070】

次に、ウェアラブル端末１００の制御部１０２は、工程数を示す変数が最終工程数に一致するか否かを確認する（ステップＳ３１２）。ここで、工程数を示す変数が最終工程数未満である場合、作業は終わっていないので、ウェアラブル端末１００の制御部１０２は、ステップＳ３０８に戻って、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像との比較を継続する（ステップＳ３１２の「最終工程でない」）。

【0071】

一方、工程数を示す変数が最終工程数と一致した場合、ウェアラブル端末１００の制御部１０２は、該当する作業Ｎｏの全工程が正しく行われたものと認識する（ステップＳ３１３）。ウェアラブル端末１００の制御部１０２は、表示部１０７又は音声出力部１０８を介して、作業者に対し、正しい順序で作業が完了したことを通知する（ステップＳ３１４）。これにより、一連の作業の進捗管理が完了する。

【0072】

なお、図１０のフローチャートでは省略しているが、ウェアラブル端末１００の制御部１０２は、ステップＳ３０９の新しい画像と次工程の代表画像の一致を確認したタイミング等で、その時点での経過時間と、前工程の標準時間、最大許容時間との比較を行う。この比較の結果に応じて、ウェアラブル端末１００の制御部１０２は、前工程の遅れ等を確認し、工程画像ＤＢの遅れ判定フィールドの内容を更新する。また、遅れが検出された場合、ウェアラブル端末１００の制御部１０２は、作業者に対し、作業遅れ等を通知する。図１０のフローチャートでは省略しているが、ウェアラブル端末１００の制御部１０２は、所定の周期で、図９の工程画像ＤＢ１１１の警告発動条件フィールドに規定された条件が成立したか否かを確認する。ここで、警告発動条件フィールドに規定された条件が成立したと判定した場合、ウェアラブル端末１００の制御部１０２は、警告情報フィールドに設定された内容を用いて作業者に対し、警告を行う。

【0073】

以上説明した本実施形態のウェアラブル端末１００及びサーバ２００によれば、作業者が行っている作業をリアルタイムに観測し、正しい順序で行われているか否かを確認することが可能となる。また、本実施形態では、作業者に対し、各工程で必要な情報を提供したり、作業の遅れの有無や、警告を発することも可能となっている。このため、作業工程進捗の管理を、省力化ないし自動化することが可能となる。

【0074】

本実施形態を適用した工程の進捗管理の例を説明する。
（工程１）カバーを取り外す工程
代表画像としては、カバー全体の画像を用いる。この画像には、事前にマーカを付加したカバーの画像を用いてもよい。また、このマーカに代えて、カバー外形の形状や大きさ（撮像倍率も考慮する）、カバーを認識できるような画像を用意してもよい。これにより作業の開始が検出される。

【0075】

（工程２）カバーの固定
カバーの固定は、取り外し可能な複数のボルト（雄ねじ、を意味する。）による、ネジ固定を行うものとする。この場合、ネジ固定後のカバー画像を代表画像として用いることで、カバーの固定が正しく行われていることを検出できる。あるいは、この代表画像との照合に代えて、これらのボルトの位置を予め記憶しておき、取得した撮像画像から、カバー部を検出し、そのカバー全体の位置から、各ボルトの、相対位置部分の画像を切りだし、この切り出した画像の中に、ボルト特有の色（例えば、亜鉛メッキの色）部分が、ボルトの頭の大きさが入る所定範囲の領域に有るか、検出、判断を行うことで、その位置にボルトが有るかを判断する方法も採用ができる。仮に、カバーの４隅、４か所に、ボルトでカバーを取り付ける部分が有るとしたら、その領域にボルトが存在することを検出し、すべての個所に、ボルトが有ると判断した場合、正しく、カバーが取り付けられ固定されていると判断する。

【0076】

更に、前記ボルトの取り付け順序が有る場合（例えば、カバーの右上、左下（右上の対角）、左上、右下（左上の対角）、の順に締めなければならない、という順序がある場合）には、工程２を細分化してもよい。例えば、ボルトを締める毎に、その順番に従って取り付けられるボルトの位置にボルトの像が増える代表画像を、予め用意しておき、撮像画像と、前記ボルトを締める順番に従った代表画像と、その順番通りにマッチングを行うことができる。そして、その順番通りに、画像が一致した場合、定められた順番通りに、ボルトが締められたと判断することができる。

【0077】

（工程３）ケーブルの抜去
ケーブルの端部が、装置の所定の場所、端子に接続されている、すなわち、差し込まれている状態を撮影した代表画像とケーブルが無い状態を撮影した代表画像を用意する。そして、画像入力部１０４から取得した画像が、前記ケーブルの端部が差し込まれている画像から、ケーブルが無い画像に変化した場合、ケーブルが作業手順に従って抜かれた、と判断することができる。

【0078】

または、抜去されたコネクタの装置側の画像を代表画像とし、画像入力部１０４から取得した画像と一致したことをもって、ケーブルが正しく抜かれた、と判断しても良い。

【0079】

（工程４）スイッチの操作
スイッチ、トグルスイッチ等の操作部分が、スイッチのオン、オフ、に従い変化する場合や、スイッチのオンオフを行うと、スイッチの一部の色が変わる変化が有る場合、スイッチがオン状態の画像と、オフ状態の画像をそれぞれ代表画像として用意しておく。画像入力部１０４から取得した画像が、スイッチがオン状態の画像と一致した後、スイッチがオフの画像と一致した場合、スイッチが正しく操作された、と判断することができる。そして、一連の作業がスイッチをオフにすることで完了する場合、本工程をもって作業が完了したことを確認できる。

【0080】

［第２の実施形態］
続いて、本発明の第２の実施形態について説明する。図１１は、本発明の第２の実施形態のウェアラブル端末１００ｂの構成を示す図である。図６に示した第１の実施形態のウェアラブル端末１００との構成上の相違点は、記憶部１１０ａに作業情報ＤＢ１１３が配置されている点である。

【0081】

具体的には、本実施形態のウェアラブル端末１００ｂは、作業情報ＤＢ１１３を備えているため、ウェアラブル端末１００ｂ単体で、作業Ｎｏを特定することが可能となっている。また、ウェアラブル端末１００ｂの工程画像ＤＢ１１１には、事前に、その作業者が行う作業に必要なデータが格納されている。そして、本実施形態のウェアラブル端末１００ｂは、工程画像ＤＢ１１１から、前記特定した作業Ｎｏに対応するデータを読み出してセットする。以降の動作は、図１０に示した第１の実施形態のステップＳ３０３以降と同一であるので、説明を省略する。

【0082】

以上のように、本実施形態によれば、ウェアラブル端末１００ｂ単体で、作業者の作業をチェックすることが可能となっており、特に、通信インフラが整っていない場所での作業を行うケースに好適に適用することができる。

【0083】

最後に、本発明のいくつかの変形実施形態について説明する。
［ウェアラブル端末］
上記したウェアラブル端末として、スマートグラスやヘッドセット端末と呼ばれる頭部装着型で、装着した者の視界に情報を表示できる端末を用いることができる。また、このようなウェアラブル端末において、作業者の網膜上で結像する光束を、対象者の目に直接照射して、網膜上に像を結像させ、対象者に、視野上の像（虚像）として認識させるタイプの機器を用いることもできる。

【0084】

より望ましくは、これらスマートグラスやヘッドセット端末の内側に、装着した者の眼の動きをセンシングするセンサを取り付けることもできる。例えば、これらのセンサを備えたウェアラブル端末は、表示部１０７に映し出される像が見難いときに行われる作業者の目を細める動作を検出する。このような動作が行われたとき、これらのウェアラブル端末は、画像入力部１０４から得られる入力画像をズームし、表示部１０７にて、拡大表示する。なお、上記目を細める動作が行われているか否かは、上記センサから得られる反射光量が所定範囲内かつ所定時間以上継続したか否か等により判断することができる。また、上記センサの精度を向上させるためには、反射光を入力させるために眼球方向に補助光を照射することが望ましく、その照射光は不可視光（近赤外光が望ましい）で、かつ、その光強度は、眼球および網膜に影響の無い範囲であることが好ましい。

【0085】

また、上記したウェアラブル端末等の端末において、装置の姿勢を検出する３軸加速度センサを内蔵し、重力方向を検出させることも好ましい。これにより、撮像方向や、対象物の画像範囲での大きさ、対象装置の傾き等の情報を得ることが可能となる。これにより、下記マッチングにおいて、画像の傾きの補正や、大きさの変更等の前処理を適切に行うことが可能となる。

【0086】

［代表画像とのマッチング処理］
上記図１０のステップＳ３０５、Ｓ３０９、Ｓ３１６で行われる、画像入力部１０４より取り込んだ画像と代表画像の一致判定処理の変形例について説明する。画像入力部１０４より取り込んだ画像と代表画像の一致判定は、画像の中の特徴点を抽出し、特徴点同士のマッチングを行う画像マッチング処理と呼ばれる方法を用いて行うことができる。

【0087】

特定の作業の工程の確認においては、画像入力部１０４より取り込んだ画像と代表画像のマッチングがし易い様、画像入力部１０４より取り込んだ画像と代表画像とが、予め定めた角度や大きさで撮像されるように調整されていることが好ましい。例えば、代表画像として、作業者が着用するウェアラブル端末１００と同一のウェアラブル端末のカメラにて撮影された画像を用いることが好ましい。また、代表画像は、他の工程でも検出出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。

【0088】

また、画像入力部１０４より取り込んだ画像又は代表画像の少なくとも一方が傾いていたり、大きさが異なる場合、座標変換により傾きを補正したり、画像の大きさを変更する等してからマッチングすることが好ましい。特定の作業の工程の確認においては、回路基板の撮像画像を代表画像とすることができる。回路基板のマッチングにおいて、外形を認識して、一致検出を行っても良く、予め定めた形状や色（背景から浮かび上がらせる為、背景色と異なる色）にて、一致検出を行ってもよい。また、作業の対象となる対象物と代表画像の双方に、事前に、複数のマーカ（少なくとも３点。３点で、画像の位置と大きさと角度の検出が可能。更には、画像一致判断の為の、画像の大きさの調整と姿勢のアライメントが可能。）を付し、これらのマーカを特徴点として用いてマッチングを行っても良い。またマーカを使用する場合において、比較対象画像の背景との色の差による２値化を行い、各マーカの位置を抽出してマッチングを行ってもよい。さらには、これらのマーカにより、その位置（撮像面内での、Ｘ、Ｙ方向、撮像方向に垂直な面内で、それぞれ垂直に交わる軸）、姿勢（角度θz、撮像面に垂直方向を中心にした回転方向）や大きさを抽出してマッチングを行っても良い。

【0089】

また、上記マーカによる一致判定に加えて、基準位置からの各部位のパターンの一致度を算出し、この一致度を用いて最終的な同一性判断を行ってもよい。より具体的には、画像の、角度と大きさを合わせた後の、比較画像との差分、例えば、各画素毎の輝度を、輝度の平均が一致する様、画像全体で正規化後、所定以上の輝度差が有る部分の面積の差分により判断する手法を用いることができる。

【0090】

なお、前記マッチング処理において、演算量を減らすため、所定の閾値（スレッショルド）で２値化した画像間でマッチングを行っても良い。また、前記マッチングにおいて、画像全体でなく、その一部を抽出してマッチングを行ってもよい。例えば、画像入力部１０４より取り込んだ画像の予め定めた割合の一部の画像が、代表画像と、所定度以上一致するかを判断するマッチング処理を行うことができる。この場合において、画像入力部１０４より取り込んだ画像の一部の領域を、所定の割合で移動させ、移動の都度、マッチング処理を行い、所定以上の一致度が得られるか否かにより、画像入力部１０４より取り込んだ画像内に代表画像が有るかを検出しても良い。

【0091】

また、画像入力部１０４より取り込んだ画像から切り出す際に前記予め定めた割合を、等倍から所定倍率まで、所定間隔で変化させ、取得した画像中に、代表画像と一致する領域が有るか否かの判断を繰り返しても良い。これにより、画像の大きさが変化しても、画像の一致を検出することが可能となる。

【0092】

また、画像の領域を移動する度に、所定角度画像を回転させ、その都度、マッチングを行う方法も採用可能である。３６０度回転させるまでの間に、所定以上の一致度が得られるか否かを確認することで、対象画像が回転していても、正しい判断が出来る様になる。

【0093】

［部品交換作業の際の作業者へのガイダンス］
また、作業が部品交換作業である場合、部品交換の画像が記憶されている部品の交換時、交換前の部品の画像を代表画像として、交換対象の部品の画像照合を行う場合がある。その際に、部品を交換する作業を撮影する過程で、他の物品等と重ならない画像が得られるような作業手順を定めておくことが好ましい。このような作業手順は、通知情報等により、作業者に案内することができる。

【0094】

また、前記作業手順において、撮像方向中心軸に対し垂直方向の軸（２軸）を中心とした傾きが所定角度以上とならない様に、交換対象の部品を把持することを指示することも好ましい。この様にすることで、新旧部品が画像中で重ならず、個々検出可能となる。さらに、この様にすることで、各部品の移動を追跡して、誤った取り付けが行われていないことを、画像で判断することが可能となる。上記の様にすることにより、２つの画像を比較する際、マッチング対象の画像の姿勢や大きさを合わせる前処理を省略することが可能となる。また、上記の様にすることにより、２つの画像に写る部品の姿勢が類似し、位置も大きく相違することがない為、マッチングの判定が容易になり、その精度を高めることが可能となる。

【0095】

さらに、このような作業手順を取り決めておくことにより、取り外した部品を含む画像を比較的短時間の間隔（検出対象画像が大きく動かない程度の時間間隔で、画像を撮像する）で撮像することが可能となる。そして、対象部品の位置の変化を算出することにより、取り外した部品と交換部品を取り違えて、取り外した部品を再度取り付けてしまうことを検出できるようにもなる。

【0096】

また、取り外した部品を、再度取り付けた場合（画像では、取り外した部品の画像を追跡し、取り付け位置から所定距離以内に近付いた時で判断しても良い）、警告を通知することも好ましい。このような通知を行うことにより、部品等の交換がされていないという交換ミスを防ぐことが出来る。

【0097】

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

【0098】

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による作業支援装置参照）
［第２の形態］
上記した作業支援装置の前記記憶部は、前記作業者が担当する複数種の作業毎に、前記代表画像を対応付けて保持しており、
前記確認部は、
さらに、前記作業者から、開始する作業に関する情報の入力を受け付け、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業が所定の順序で実施されているか否かを確認する構成を採ることができる。
［第３の形態］
上記した作業支援装置の前記記憶部は、
前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像を記憶しており、
さらに、
前記確認部は、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認し、
前記通知部は、
前記確認部において誤った作業がなされたと判定した場合、前記作業者に対して誤りが発生したことを通知する構成を採ることができる。
［第４の形態］
上記した作業支援装置の前記記憶部は、
前記第１の工程から前記第２の工程に至る所要時間を、前記第１、第２の工程の代表画像を対応付けて保持し、
さらに、
前記確認部は、
前記第１の工程から前記第２の工程に至るまでの作業に、遅延が生じているか否かを確認し、
前記通知部は、前記作業者に対し、前記作業の遅延の有無を通知する構成を採ることができる。
［第５の形態］
上記した作業支援装置の前記記憶部は、
さらに、前記第２の工程の後に行われる第３の工程の代表画像を保持し、
前記確認部は、
前記第１の工程の後に、入力された画像が、前記第３の工程の代表画像と一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する構成を採ることができる。
［第６の形態］
上記した作業支援装置の前記記憶部は、
さらに、前記第２の工程の後に行われる工程の代表画像を保持し、
前記確認部は、
前記第１の工程の後に、入力された画像が、前記第２の工程の後に行われるべき工程の代表画像のいずれかと一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する構成を採ることができる。
［第７の形態］
上記した作業支援装置において、
前記作業者が作業を行っている過程における画像として、前記作業者が着用しているウェアラブル端末のカメラにて撮影された画像を用いることができる。
［第８の形態］
上記した作業支援装置において、
前記代表画像として、前記作業者が着用するウェアラブル端末と同一のウェアラブル端末のカメラにて撮影された画像を用いることができる。
［第９の形態］
上記した作業支援装置は、
前記作業者から、開始する作業に関する情報の入力を受け付ける作業支援装置（ウェアラブル端末）と、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業に対応するデータを作業支援装置（ウェアラブル端末）に提供するサーバとを含む構成にて実現することができる。
［第１０の形態］
（上記第２の視点による作業支援方法参照）
［第１１の形態］
（上記第３の視点によるプログラム参照）
なお、上記第１０～第１１の形態は、第１の形態と同様に、第２～第９の形態に展開することが可能である。

【0099】

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

【符号の説明】

【0100】

１０ａ 作業支援装置
１１ａ 記憶部
１２ａ 入力部
１３ａ 確認部
１４ａ 通知部
１０ｂ コンピュータ
１１ｂ メモリー
１２ｂ 入力手段
１３ｂ プロセッサ
１４ｂ 出力手段
１００、１００ｂ ウェアラブル端末
１００ａ 作業者
１０１ ネットワーク
１０２、２０２ 制御部
１０３、２０３ 通信部
１０４、２０４ 画像入力部
１０５、２０５ 音声入力部
１０６、２０６ 入力部
１０７、２０７ 表示部
１０８、２０８ 音声出力部
１０９ 計時部
１１０、１１０ａ、２０９ 記憶部
１１１、２１１ 工程画像データベース（工程画像ＤＢ）
１１２ プログラム
１１３、２１０ 作業情報データベース（作業情報ＤＢ）
２００ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】