特開 2024-176485 作業支援システム、作業支援方法、及び作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176485

(43)【公開日】2024-12-19

(54)【発明の名称】作業支援システム、作業支援方法、及び作業支援プログラム

(51)【国際特許分類】

   G06Q 10/20 20230101AFI20241212BHJP

   G06Q 50/10 20120101ALI20241212BHJP

【ＦＩ】

G06Q10/20

G06Q50/10

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023095042

(22)【出願日】2023-06-08

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】伊東 樹希

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA20

5L049AA20

5L049CC15

(57)【要約】

【課題】実施した作業の内容を確実に記録する。
【解決手段】作業者による作業の状況を表す画面を作業者に対して表示する表示装置１４と、作業者による作業の状況の画像を撮影する撮影装置１６と、作業に用いられる物の画像の特徴を表す情報である画像情報と、作業の内容を示す情報である作業内容情報とを対応づけた作業用情報を記憶する記憶装置１２と、表示装置１４に画面を表示させると共に、撮影装置１６に画像を撮影させ、撮影された画像と、画像情報とに基づき、作業者が作業を実施したか否かを判定し、作業者が作業を実施したと判定した場合に、作業内容情報に基づき、完了した作業の内容を示す情報を出力する制御装置とを備える作業支援システム１。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業者による作業の状況を表す画面を作業者に対して表示する表示装置と、
前記作業者による作業の状況の画像を撮影する撮影装置と、
前記作業に用いられる物の画像の特徴を表す情報である画像情報と、前記作業の内容を示す情報である作業内容情報とを対応づけた作業用情報を記憶する記憶装置と、
前記表示装置に前記画面を表示させると共に、前記撮影装置に前記画像を撮影させ、撮影された画像と、前記画像情報とに基づき、前記作業者が前記作業を実施したか否かを判定し、前記作業者が前記作業を実施したと判定した場合に、前記作業内容情報に基づき、前記完了した作業の内容を示す情報を出力する制御装置と
を備える作業支援システム。

【請求項2】

前記記憶装置は、前記画像情報として、前記作業に用いられる物の画像及び、前記作業者の身体又は当該作業者が用いる道具の画像の特徴を表す情報を記憶し、
前記制御装置は、前記撮影された画像と、前記画像の特徴を表す情報とに基づき、前記撮影された画像に、前記作業に用いられる物が撮影され、かつ、前記撮影した画像に、前記作業者の身体又は当該作業者が用いる道具が撮影されているか否かを判定し、前記作業に用いられる物が撮影され、かつ、前記撮影した画像に、前記作業者の身体又は当該作業者が用いる道具が撮影されている場合に、前記作業者が前記作業を開始したと判定する、
請求項１に記載の作業支援システム。

【請求項3】

前記記憶装置は、前記画像情報として、前記作業に用いられる物の画像及び、前記作業者の身体又は当該作業者が用いる道具の画像の特徴を表す情報を記憶し、
前記制御装置は、前記撮影された画像と、前記画像の特徴を表す情報とに基づき、前記撮影された画像に、前記作業に用いられる物が撮影され、かつ、前記撮影した画像に、前記作業者の身体又は当該作業者が用いる道具が撮影されていないか否かを判定し、前記作業に用いられる物が撮影され、かつ、前記撮影した画像に、前記作業者の身体又は当該作業者が用いる道具が撮影されていない場合に、前記作業者が前記作業を完了したと判定する、
請求項１に記載の作業支援システム。

【請求項4】

前記制御装置は、前記作業が行われる空間に対応する前記表示装置の画面上の位置を算出し、所定の図形を、前記表示装置の画面上の前記算出した位置に表示させる、
請求項２又は３に記載の作業支援システム。

【請求項5】

前記記憶装置は、前記作業者を行うべき作業の工程を示す情報を記憶し、
前記制御装置は、前記作業者による作業の状況と共に前記作業の工程を示す情報を表示した画面を前記表示装置に表示させる、
請求項１に記載の作業支援システム。

【請求項6】

前記制御装置は、
前記撮影装置に、前記作業の対象である物体の所定位置に付されている識別コードの画像を撮影させ、
前記撮影された画像に基づき、前記物体の情報を取得し、前記物体の位置を算出し、
前記取得した物体の情報が予め登録されている物体の情報と一致するか否かを判定し、前記取得した物体の情報が予め登録されている物体の情報と一致する場合に、前記算出した位置に基づき算出された前記表示装置の画面上の位置に前記物体を含む画面を表示させる、
請求項１に記載の作業支援システム。

【請求項7】

前記制御装置は、前記撮影された画像と、前記画像情報とに基づき、前記作業者が使用した物を特定し、前記特定した物に基づき、前記作業者が前記作業を実施したか否かを判定し、前記作業者が前記作業を実施したと判定した場合に、前記作業内容情報及び前記特定した物の情報に基づき、前記完了した作業の内容を示す情報を出力する、
請求項１に記載の作業支援システム。

【請求項8】

作業者による作業の状況を表す画面を作業者に対して表示する表示装置と、
前記作業者による作業の状況の画像を撮影する撮影装置と、
前記作業に用いられる物の画像の特徴を表す情報である画像情報と、前記作業の内容を示す情報である作業内容情報とを対応づけた作業用情報を記憶する記憶装置と、制御装置とを備える情報処理装置が、
前記表示装置に前記画面を表示させると共に、前記撮影装置に前記画像を撮影させ、撮影された画像と、前記画像情報とに基づき、前記作業者が前記作業を実施したか否かを判定し、前記作業者が前記作業を実施したと判定した場合に、前記作業内容情報に基づき、前記完了した作業の内容を示す情報を出力する、
作業支援方法。

【請求項9】

作業者による作業の状況を表す画面を作業者に対して表示する表示装置と、
前記作業者による作業の状況の画像を撮影する撮影装置と、
記憶装置と、制御装置とを備える情報処理装置に、
前記作業に用いられる物の画像の特徴を表す情報である画像情報と、前記作業の内容を示す情報である作業内容情報とを対応づけた作業用情報を記憶させ、
前記表示装置に前記画面を表示させると共に、前記撮影装置に前記画像を撮影させ、撮影された画像と、前記画像情報とに基づき、前記作業者が前記作業を実施したか否かを判定し、前記作業者が前記作業を実施したと判定した場合に、前記作業内容情報に基づき、前記完了した作業の内容を示す情報を出力させる、
作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援システム、作業支援方法、及び作業支援プログラムに関する。

【背景技術】

【0002】

製品の製造、点検又は修理等を行うフィールドサービスでは、様々な作業工程を経て業務を実施する。業務の終了後、作業者は、実施した業務の内容を報告する必要がある場合がある。その場合、作業者は、実施した業務内容を記録しておく必要がある。

【0003】

この点に関連して、製品の製造工程を記録する技術としては、例えば、特許文献１に、各製造工程に配置されたタブレット端末と、タブレット端末と通信を行うパソコンとを備える製造工程管理システムであって、タブレット端末が、そのタブレット端末が配置されている製造工程（自工程）における作業に関する情報（作業情報）を特定し、特定した作業情報をパソコンへ送信し、パソコンは、タブレット端末から作業情報を受信し、受信した作業情報を、製品の生産予定ロットごとに一意に付されたロット番号に関連付けて記録することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１５６７１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、作業者がタブレット端末を用いてバーコードを読み取り、もしくはタブレット端末への各種のデータ入力を行うことで作業の内容を登録する。しかしながら、複雑な工程を有する業務の場合、これらの登録作業は煩雑なものとなり、データの入力漏れや過不足が生じるおそれがある。その結果、適切な内容の報告書が作成できなくなるおそれがある。

【0006】

本発明はこのような背景に鑑みてなされたものであり、その目的は、実施した作業の内容を確実に記録することが可能な作業支援システム、作業支援方法、及び作業支援プログラムを提供することにある。

【課題を解決するための手段】

【0007】

前記の課題を解決するための本発明の一つは、作業者による作業の状況を表す画面を作業者に対して表示する表示装置と、前記作業者による作業の状況の画像を撮影する撮影装置と、前記作業に用いられる物の画像の特徴を表す情報である画像情報と、前記作業の内容を示す情報である作業内容情報とを対応づけた作業用情報を記憶する記憶装置と、前記表示装置に前記画面を表示させると共に、前記撮影装置に前記画像を撮影させ、撮影された画像と、前記画像情報とに基づき、前記作業者が前記作業を実施したか否かを判定し、前記作業者が前記作業を実施したと判定した場合に、前記作業内容情報に基づき、前記完了した作業の内容を示す情報を出力する制御装置とを備える作業支援システム、である。

【発明の効果】

【0008】

本発明によれば、実施した作業の内容を確実に記録することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る作業支援システムの構成の一例を示す図である。

【図2】機材情報ＤＢの一例を示す図である。

【図3】作業工程ＤＢの一例を示す図である。

【図4】パーツＤＢの一例を示す図である。

【図5】報告書作成支援処理の概要を説明するフロー図である。

【図6】表示装置に表示される作業画面の一例を示す図である。

【図7】対象機材特定処理の詳細を説明するフロー図である。

【図8】作業工程登録処理の詳細を説明するフロー図である。

【図9】表示装置に表示される画面の一例を示す図である。

【図10】表示装置に表示される画面の一例を示す図である。

【図11】作成される作業情報ＤＢの一例を示す図である。

【図12】作成される利用パーツＤＢの一例を示す図である。

【図13】作成される作業内容報告文ＤＢの一例を示す図である。

【図14】同期処理の詳細を説明するフロー図である。

【図15】生成される作業内容報告文の内容の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しつつ説明する。
本実施形態の作業支援システムは、作業者がいわゆるＡＲ（Augmented Reality）デバイスを装着して所定の作業を行う場合に使用される情報処理システムである。作業支援システムは、ＡＲデバイスを通じて、作業者が実施した作業の内容を特定してその作業に関する報告書を作成する。

【0011】

図１は、本実施形態に係る作業支援システム１の構成の一例を示す図である。作業支援システム１は、ＡＲデバイス１０及びサーバ２０を含んで構成される。ＡＲデバイス１０及びサーバ２０の間は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネットワーク５により接続される。

【0012】

ＡＲデバイス１０は、例えば、スマートグラス等、眼鏡類似の形状を有する情報処理装置（コンピュータ）として構成される。ＡＲデバイス１０は、作業者が装着して使用する情報処理装置である。具体的には、ＡＲデバイス１０は、制御装置１１、記憶装置１２、入力装置１３、表示装置１４、通信装置１５、及び撮影装置１６を備える。なお、不図示であるが、ＡＲデバイス１０は、自身の位置（又は座標）を特定するための位置センサ、姿勢センサ、又は加速度センサ等を備えていてもよい。

【0013】

制御装置１１は、ＣＰＵ（Central Processing Unit）などのプロセッサである。記憶装置１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）である。なお、ＡＲデバイス１０は、ＳＳＤ（Solid State Drive）等の不揮発性メモリを備えていてもよい。

【0014】

入力装置１３は、タッチパネル又はボタン等からなり、撮影装置１６に対する入力操作及び制御装置１１による処理の実行を実現する。

【0015】

表示装置１４は、所定の表示領域（画面）を有する液晶パネル等からなる。表示装置１４は、制御装置１１等によって生成された画像を表示する。

【0016】

具体的には、例えば、表示装置１４は、ＡＲデバイス１０を装着している作業者の視界に対応する画像（現実空間の画像）を表示する。また、表示装置１４は、制御装置１１の各処理によって生成された文字及び図形等の画像を現実空間の画像に重ねて表示する。

【0017】

ここで、図１に示すように、表示装置１４に表示される現実空間の画像は、例えば、作業対象の物体である作業対象機材３１、作業に用いられる物体又は身体３２、及び作業に用いるパーツ３３の各画像である。作業に用いられる物体又は身体３２は、例えば、作業者の身体又は作業者が使用する機器又は道具等である。本実施形態では、作業に用いられる物体又は身体３２は、作業者の手であるものとする。

【0018】

撮影装置１６は、ＡＲデバイス１０を装着した作業者の視界（表示装置１４に表示されている画面）に対応する画像を撮影する。例えば、撮影装置１６は、作業者による作業の状況の画像を撮影する。

【0019】

通信装置１５は、無線通信モジュール等で構成され、他の情報処理装置との通信を行う。

【0020】

次に、ＡＲデバイス１０は、記憶装置１２に作業用情報１２１を記憶する。作業用情報１２１は、機材情報ＤＢ２００、作業工程ＤＢ３００、パーツＤＢ４００、及び物体判別モデル５００を含む。

【0021】

機材情報ＤＢ２００は、作業者が行う作業の対象である物体（以下、機材という）の情報を記憶している。作業工程ＤＢ３００は、機材に対する作業において実施すべき各作業工程の内容の情報を記憶している。パーツＤＢ４００は、機材に対する作業に用いるべき部品（パーツ）の情報を記憶している。

【0022】

物体判別モデル５００は、画像データから、その画像に含まれる物の種類（具体的には、機材、パーツ、作業者の身体の各部位（作業者の手等）、又は作業者が作業に用いる道具等）を判別する学習済みモデルである。物体判別モデル５００は、後述するように、パーツＤＢ４００における画像情報に基づき生成される。

【0023】

本実施形態では、物体判別モデル５００は、入力値である画像データが入力される入力層と、入力値から画像データの特徴量を抽出して出力する１又は複数の中間層（隠れ層）と、各特徴量から物の存在種類の有無を出力する出力層とを有するニューラルネットワークのモデル（例えば、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）によるモデル）とする。なお、物体判別モデル５００は、ニューラルネットワーク以外にも、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は回帰木等を適用したモデルを採用してもよいし、データベース、テンプレート、又はプログラムとして構成されてもよい。すなわち、物体判別モデル５００は、作業に用いられる物の画像の特徴を表す情報を出力するものであればよい。

【0024】

また、ＡＲデバイス１０は、記憶装置１２に、実施した作業に関する情報である作業結果情報１２２を記憶する。作業結果情報１２２は、実施した各作業工程に関する情報を記憶した作業情報ＤＢ６００、各作業工程で使用したパーツの情報を記憶した利用パーツＤＢ７００、及び、実施した各作業工程の詳細を記憶した作業内容文ＤＢ８００を含む。これらの情報の詳細は後述する。

【0025】

なお、ＡＲデバイス１０は、作業用情報１２１及び作業結果情報１２２を、通信ネットワーク５等を介して他の情報処理装置（データサーバ等）から取得するようにしてもよい。

【0026】

認証部１２３は、ＡＲデバイス１０による処理の実行を開始するための認証を行う。

【0027】

機材特定部１２４は、作業の対象である機材を特定する。

【0028】

作業画面表示部１２５は、表示装置１４に、作業中の画面及び作業に関連した画面を表示させる。

【0029】

判定部１２６は、作業者が作業における各作業工程を完了したか否かを判定する。
例えば、判定部１２６は、表示装置１４に、作業者による作業の状況を表す画面を表示させると共に、撮影装置１６に、作業者による作業の状況の画像を撮影させる。

【0030】

そして、判定部１２６は、撮影された画像と、パーツＤＢ４００及び物体判別モデル５００とに基づき、作業者が作業の各作業工程を実施したか否かを判定し、作業者が作業の各作業工程を実施したと判定した場合に、作業工程ＤＢ３００に基づき、完了した作業の内容を示す情報を作業内容報告文ＤＢ８００に出力する。

【0031】

具体的には、判定部１２６は、撮影された画像にパーツが撮影され、かつ、撮影した画像に作業者の身体又は作業者が用いる道具（本実施形態では作業者の手）が撮影されているか否かを判定し、パーツが撮影され、かつ、撮影した画像に作業者の身体又は作業者が用いる道具が撮影されている場合に、作業者が作業を開始したと判定する。

【0032】

また、判定部１２６は、撮影された画像にパーツが撮影され、かつ、撮影した画像に作業者の身体又は作業者が用いる道具（本実施形態では作業者の手）が撮影されていないか否かを判定し、パーツが撮影され、かつ、撮影した画像に作業者の身体又は作業者が用いる道具が撮影されていない場合に、作業者が作業を完了したと判定する。

【0033】

（機材情報ＤＢ）
図２は、機材情報ＤＢ２００の一例を示す図である。機材情報ＤＢ２００は、機材のＩＤが設定される機材ＩＤ２０１、その機材の名称が設定される機材名称２０２、及びその機材の概要を説明する文章（テキスト等）が設定される機材概要２０３の各データ項目を有する。機材情報ＤＢ２００は、例えば、作業者又は管理者等からの入力により予め作成される。

【0034】

（作業工程ＤＢ）
図３は、作業工程ＤＢ３００の一例を示す図である。作業工程ＤＢ３００は、作業工程のＩＤが設定される作業工程ＩＤ３０１、その作業工程を説明する文章又は関連する画像が設定される作業工程概要３０２、その作業工程に係る機材のＩＤが設定される機材ＩＤ３０３、その作業工程で使用されるパーツのＩＤが設定されるパーツＩＤ３０４、そのパーツによる作業が行われる領域（作業領域）における基準位置の座標が設定される作業箇所座標３０５、作業領域の輪郭を特定するための座標の情報が設定される作業ボックスサイズ情報３０６、及び、上記作業工程の内容を説明する、報告書用の文章（テキスト等）が設定される作業内容定型文３０７の各データ項目を有する。作業工程ＤＢ３００は、例えば、作業者又は管理者等からの入力により予め作成される。

【0035】

本実施形態では、作業箇所座標３０５及び作業ボックスサイズ情報３０６には、三次元空間の座標系における座標情報が設定される。ＡＲデバイス１０は、三次元空間における各オブジェクトの座標を、表示装置１４の画面に対して設定した所定の座標系の座標に変換することで、表示装置１４の画面上に各オブジェクトの画像を表示する。

【0036】

なお、本実施形態における各機材及びパーツの座標の設定及び算出方法は一例である。例えば、機材の基準位置及びパーツの位置についてそれぞれ、現実空間の所定位置を基準とした座標を設定し、ＡＲデバイス１０は、それらの座標に基づいて表示装置１４の画面上の機材及びパーツの画像を表示してもよい。

【0037】

また、作業内容定型文３０７には、作業工程のタイトル３０７１と、作業工程の詳細を説明する文章３０７２とを設定可能である。タイトル３０７１及び文章３０７２には、作業工程で使用するパーツ及び機材に関する情報を指定するための特殊文字列３０７３を設定することが可能である。

【0038】

（パーツＤＢ）
図４は、パーツＤＢ４００の一例を示す図である。パーツＤＢ４００は、パーツのＩＤが設定されるパーツＩＤ４０１、そのパーツの名称（又は種類）が設定されるパーツ名称４０２、及びそのパーツの画像データを示す情報が設定される物体認識情報４０３の各データ項目を有する。物体認識情報４０３に係るデータは、物体判別モデル５００の教師データを構成する。また、不図示であるが、パーツＤＢ４００（具体的には、物体認識情報４０３）には、作業者の身体の各部位（手等）の画像データも記憶されているものとする。パーツＤＢ４００は、例えば、作業者又は管理者等からの入力により予め作成される。

【0039】

なお、本実施形態では、後述する報告書作成支援処理の実行前に、物体判別モデル５００が予め生成されているものとする。例えば、所定の情報処理装置が、各物の画像データ（物体認識情報４０３のデータ）を教師データとし、パーツＤＢ４００に登録されている各物の名称（パーツ名称４０２に対応する名称、作業者の手等）を正解データとした機械学習を行うことにより、画像データを入力値とし、その画像データに含まれている物（パーツの名称、作業者の手等）の有無の情報を出力値とする物体判別モデル５００を生成する。なお、物体判別モデル５００は、パーツに対するモデル及び身体に対するモデルといったように複数のモデルで構成されてもよい。

【0040】

次に、サーバ２０は、ＣＲＭシステム２１（Customer Relationship Management）を含む情報処理装置である。サーバ２０は、ＡＲデバイス１０が生成した作業結果情報１２２を記憶し蓄積する。

【0041】

以上に説明したＡＲデバイス１０の機能は、ＡＲデバイス１０のハードウェアによって、もしくは、各情報処理装置の制御装置１１が、記憶装置１２に記憶されている各プログラムを読み出して実行することにより実現される。また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、情報処理装置で読み取り可能な記録媒体に格納される。なお、ＡＲデバイス１０を含む作業支援システム１における各情報処理装置の全部または一部の機能は、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、これらの装置によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。
次に、作業支援システム１において行われる処理について説明する。

【0042】

＜報告書作成支援処理＞
図５は、報告書作成支援処理の概要を説明するフロー図である。報告書作成支援処理は、例えば、ＡＲデバイス１０の入力装置１３に作業者から所定の入力がなされたことを契機に開始される。

【0043】

認証部１２３は、作業者からのログインを受け付ける（ｓ１１）。例えば、認証部１２３は、作業者からユーザＩＤ及びパスワードの入力を受け付け、入力されたユーザＩＤ及びパスワードと、所定のデータベースとの照合を行う。照合が成功した場合、認証部１２３は、ログインを完了する。

【0044】

機材特定部１２４は、作業の対象の機材（以下、対象機材という）に貼付されている識別コードを用いて、作業者が行う作業（以下、対象作業という）における対象機材を認識する対象機材特定処理ｓ１２を実行する。対象機材特定処理ｓ１２の詳細は後述する。

【0045】

すると、作業画面表示部１２５は、対象機材特定処理ｓ１２で特定された座標に基づき、ＡＲデバイス１０に、実施すべき作業及びその作業工程に関する情報（以下、作業内容表示用コンテンツという）を表示する（ｓ１３）。

【0046】

例えば、作業画面表示部１２５は、作業者から、入力装置１３に対する所定の開始入力を受け付ける。作業画面表示部１２５は、開始入力を受け付けると、作業内容表示用コンテンツを表示した作業画面（詳細は後述）を表示する。

【0047】

その後、作業画面表示部１２５は、開始する作業工程を特定する（ｓ１４）。作業画面表示部１２５は、特定された作業工程（以下、対象作業工程という）を記憶する。例えば、作業画面表示部１２５は、作業者から、入力装置１３に対する、作業画面に表示されている作業工程のうちいずれかの作業工程の指定の入力を受け付けることで、対象作業工程を特定する。

【0048】

その後、作業画面表示部１２５は、対象作業工程が行われる、対象機材及びその近傍の空間領域（以下、作業空間という）を表す図形（以下、作業箇所表示用ボックス型コンテンツという）を、対象作業工程が行われる現実空間に対応する、表示装置１４の画面上の領域に表示する（ｓ１５）。

【0049】

例えば、作業画面表示部１２５は、作業工程ＤＢ３００を参照し、ｓ１４で指定された対象作業工程に係るレコードの作業箇所座標３０５及び作業ボックスサイズ情報３０６の内容を取得する。作業画面表示部１２５は、取得したこれらの座標の情報と、対象機材特定処理ｓ１２で特定した対象機材の基準位置の情報（後述）とに基づき、対象作業工程が行われる空間を表す立体図形の座標（表示装置１４の画面の座標系における座標）を算出し、算出した座標に基づき、当該立体図形を、表示装置１４の画面に描画する。

【0050】

図６は、ｓ１５の処理において表示装置１４に表示される作業画面の一例を示す図である。同図に示すように、この作業画面には、対象機材６１１と、直方体状の作業箇所表示用ボックス型コンテンツ６１２と、作業内容表示用コンテンツ６１３とが表示されている。

【0051】

作業箇所表示用ボックス型コンテンツ６１２は、対象作業に係る対象機材及び対象機材の周囲の空間を示す図形である。作業箇所表示用ボックス型コンテンツ６１２は、例えば、対象機材において対象パーツが取り付けられるべき空間及び、その取り付けを行う作業者の手又は道具が位置すべき空間を含む空間を表す図形である。

【0052】

作業内容表示用コンテンツ６１３には、対象機材特定処理ｓ１２で特定した対象機材の名称６１４と、各作業工程の名称６１５と、各作業工程の詳細の情報６１６（例えば、作業工程ＤＢ３００の作業工程概要３０２のデータ）とが表示される。また、作業者がこれから実施すべき対象作業工程に関する情報の表示部分６１７には、所定の強調表示等がなされる。なお、作業内容表示用コンテンツ６１３には、作業者がこれから実施すべき対象作業工程の情報のみが表示されてもよい。

【0053】

なお、ｓ１４において作業画面表示部１２５は、作業内容表示用コンテンツ６１３に表示されている作業工程の順番（実際の作業の順番）に応じて自動的に対象作業工程を特定するようにしてもよい。

【0054】

作業者は、このような作業画面により、行うべき作業の内容及び、作業を行うべき対象機材における箇所を確認することができる。

【0055】

次に、図５に示すように、判定部１２６は、作業者が対象作業工程を完了したか否かを判定すると共に、作業者が対象作業工程を完了した場合には、その旨を示す情報を生成して作業内容文ＤＢ８００に登録する作業工程登録処理ｓ１６を実行する。なお、判定部１２６は、作業工程登録処理ｓ１６において、完了した対象作業工程に関する情報を作業情報ＤＢ６００、利用パーツＤＢ７００、及び作業内容文ＤＢ８００に登録する。作業工程登録処理ｓ１６の詳細は後述する。

【0056】

判定部１２６は、作業工程ＤＢ３００及び作業情報ＤＢ６００を参照することにより、対象作業における全ての作業工程を完了したか否かを判定する（ｓ１７）。

【0057】

対象作業において作業工程を完了していない場合は（ｓ１７：ＮＯ）、判定部１２６はｓ１８を実行する。対象作業における全ての作業工程を完了した場合は（ｓ１７：ＹＥＳ）、判定部１２６は、現在時刻を作業の終了時刻として記憶した上でｓ１９を実行する。

【0058】

ｓ１８において判定部１２６は、完了していない作業工程の一つを新たな対象作業工程として特定する。例えば、現在の対象作業工程の次の作業工程を作業工程ＤＢ３００から特定し、又は、作業者からの、作業工程の指定を入力装置１３から受け付ける。その後は、ｓ１５の処理が繰り返される。

【0059】

一方、ｓ１９において判定部１２６は、作業情報の内容をサーバ２０と同期する同期処理ｓ１９を実行する。同期処理ｓ１９の詳細は後述する。

【0060】

その後、ＣＲＭシステム２１は、同期された作業情報の内容（例えば、作業内容文ＤＢ８００）を画面に表示する（ｓ２０）。管理者等は、表示された画面を確認することで、作業者が行った作業の内容を、報告書の形で確認することができる。
以下、各処理の詳細を説明する。

【0061】

＜対象機材特定処理＞
図７は、対象機材特定処理ｓ１２の詳細を説明するフロー図である。

【0062】

機材特定部１２４は、表示装置１４に、対象機材及び対象機材に付されている識別コードを表示させる（ｓ３１）。
例えば、まず、機材特定部１２４は、表示装置１４の画面の所定位置に、識別コードの撮影領域を設定するためのコンテンツ（枠の図形等）を表示させる。作業者は、表示装置１４に表示されているコンテンツの内部に対象機材が位置するように、自身の目線（表示装置１４の方向）を変える。なお、識別コードは、対象機材の属性情報（例えば、機材の名称、メーカー名、製造年月日）が含まれているデータであり、例えば、ＱＲコード（登録商標）又はバーコードである。

【0063】

機材特定部１２４は、撮影装置１６に、ｓ３１で表示させた識別コードを撮影させる（ｓ３２）。例えば、機材特定部１２４は、作業者からの、入力装置１３に対する撮影指示の入力を受け付ける。

【0064】

機材特定部１２４は、ｓ３２で撮影した識別コードを解析することにより、対象機材の属性情報を取得する（ｓ３３）。また、機材特定部１２４は、ＡＲデバイス１０の姿勢又は位置の情報等に基づき、ｓ３２で表示装置１４に表示されている対象機材の座標（三次元空間座標系又は表示装置１４に係る座標系における座標）を算出し、算出した座標を、対象機材の基準位置の情報として記憶する。

【0065】

機材特定部１２４は、ｓ３３で取得した属性情報が、機材情報ＤＢ２００に登録されているか否かを判定する（ｓ３４）。例えば、機材特定部１２４は、機材情報ＤＢ２００を参照し、機材名称２０２にｓ３３で取得した属性情報が設定されているレコードがあるか否かを判定し、当該レコードがある場合には、当該レコードのデータを取得する。

【0066】

ｓ３３で取得した属性情報が機材情報ＤＢ２００に登録されている場合は（ｓ３４：ＹＥＳ）、機材特定部１２４は、現在時刻を作業の開始時刻として記憶し、対象機材特定処理ｓ１２は終了する。一方、ｓ３３で取得した属性情報が機材情報ＤＢ２００に登録されていない場合は（ｓ３４：ＮＯ）、機材特定部１２４はｓ３２以降の処理を繰り返す。

【0067】

＜作業工程登録処理＞
図８は、作業工程登録処理ｓ１６の詳細を説明するフロー図である。

【0068】

判定部１２６は、対象作業工程において用いるパーツの画像を撮影する（ｓ５１）。

【0069】

例えば、判定部１２６は、作業者からの、入力装置１３への撮影指示の入力を受け付ける。作業者は、対象作業工程において用いるパーツを手で持ちつつ、表示装置１４の画面にそのパーツが写るように、自身の目線（表示装置１４の方向）を変更する。そして、作業者は、入力装置１３に撮影指示を入力する。すると、判定部１２６は、撮影装置１６によりそのパーツの画像を撮影する。

【0070】

判定部１２６は、ｓ５１で撮影した画像が示すパーツがパーツＤＢ４００に登録されているか否かを判定する（ｓ５２）。

【0071】

例えば、判定部１２６は、ｓ５１で撮影した画像データを、物体判別モデル５００に入力することにより、当該画像データに対応するパーツの名称を取得する。判定部１２６は、取得したパーツの名称がパーツＤＢ４００のいずれかのレコードに登録されているか否かを判定し、登録されている場合には、そのレコードの内容を取得する。

【0072】

ｓ５１で撮影した画像が示すパーツがパーツＤＢ４００に登録されている場合は（ｓ５２：ＹＥＳ）、判定部１２６はｓ５３の処理を実行し、ｓ５１で撮影した画像が示すパーツがパーツＤＢ４００に登録されていない場合は（ｓ５２：ＮＯ）、判定部１２６はｓ５１の処理を繰り返す。

【0073】

ｓ５３において判定部１２６は、ｓ５２で撮影したパーツが、対象作業工程で用いられるべきパーツであるか否か（すなわち対象パーツであるか否か）を判定する。

【0074】

例えば、判定部１２６は、作業工程ＤＢ３００を参照し、対象作業工程のＩＤが作業工程ＩＤ３０１に設定されているパーツＩＤ３０４の内容を取得し、取得した内容と、ｓ５２で取得したレコードのパーツＩＤとが同じであるか否かを判定する。

【0075】

ｓ５２で撮影したパーツが対象作業工程で用いられるべきパーツでない場合は（ｓ５３：ＮＯ）、判定部１２６はｓ５１の処理を実行する。一方、ｓ５２で撮影したパーツが対象作業工程で用いられるべきパーツである場合は（ｓ５３：ＹＥＳ）、判定部１２６はｓ５４の処理を実行する。なお、この場合、判定部１２６は、作業者が正しいパーツを手にした又はしていないことを示す情報を表示装置１４に表示し、作業者に、作業の続行を促すようにしてもよい。

【0076】

なお、図９は、ｓ５１－ｓ５３において表示装置１４に表示される画面の一例を示す図である。同図に示すように、表示装置１４の画面には、対象機材９０１、作業箇所表示用ボックス型コンテンツ９０２、対象作業工程の情報９０３が強調表示された作業内容表示用コンテンツ９０４、作業者の手９０５、作業者が把持している対象パーツ９０６、及び対象パーツの名称９０７がそれぞれ表示される。

【0077】

その後、作業者は、手にしたパーツ（すなわち対象パーツ）を、対象機材における、対象パーツを取り付けるべき箇所（作業空間）に移動させていく。この際、作業者が装着しているＡＲデバイス１０の表示装置１４は、作業空間の方向に向く。また、作業者が装着しているＡＲデバイス１０の表示装置１４は、作業箇所表示用ボックス型コンテンツを継続して表示している。

【0078】

このような場合において、図８のｓ５４に示すように判定部１２６は、表示装置１４における作業箇所表示用ボックス型コンテンツ内の領域に、対象パーツ及び作業者の手が表示されているか否かを判定する。すなわち、判定部１２６は、作業者が対象作業工程を開始したか否かを判定する。

【0079】

例えば、判定部１２６は、表示装置１４の作業箇所表示用ボックス型コンテンツの領域の画像を取得する。判定部１２６は、取得した画像を、物体判別モデル５００に入力することにより、当該画像に対象パーツ及び作業者の手が含まれているか否かを判定する。

【0080】

作業箇所表示用ボックス型コンテンツ内の領域に、対象パーツ及び作業者の手が表示されている場合は（ｓ５４：ＹＥＳ）、判定部１２６は、現在時刻を対象作業工程の開始時刻として記憶した上でｓ５５の処理を実行し、作業箇所表示用ボックス型コンテンツ内の領域に、対象パーツ又は作業者の手が表示されていない場合は（ｓ５４：ＮＯ）、判定部１２６はｓ５４の処理を繰り返す。

【0081】

なお、図１０は、ｓ５４－ｓ５５において表示装置１４に表示される画面の一例を示す図である。同図に示すように、表示装置１４の画面には、対象機材１００１、作業箇所表示用ボックス型コンテンツ１００２、及び対象作業工程の情報１００３が強調表示された作業内容表示用コンテンツ１００４がそれぞれ表示される。そして、作業箇所表示用ボックス型コンテンツ１００２内には、作業中の作業者の手１００５及び、作業者が作業のために把持している対象パーツ１００６がそれぞれ表示される。

【0082】

次に、図８に示すように、ｓ５５において判定部１２６は、対象作業工程を実施した旨を作業情報ＤＢ６００に登録し、対象パーツを使用した旨を利用パーツＤＢ７００に登録する。例えば、判定部１２６は、対象機材、対象作業工程の順番（何番目に実施した工程であるか）、及び対象作業工程のＩＤを作業情報ＤＢ６００に登録する。また、判定部１２６は、対象パーツのＩＤ及び対象パーツを使用したことを示す情報を、利用パーツＤＢ７００に登録する。

【0083】

また、判定部１２６は、対象パーツを用いて対象作業工程を実施したことを示す情報を、作業内容報告文ＤＢ８００に登録する（ｓ５６）。例えば、判定部１２６は、作業工程ＤＢ３００を参照し、対象機材のＩＤ、対象作業工程のＩＤ、及び対象パーツのＩＤが機材ＩＤ３０３、作業工程ＩＤ３０１、及びパーツＩＤ３０４にそれぞれ登録されているレコードの作業内容定型文３０７の内容を取得し、取得した内容に所定の加工を行ったデータを、新規作成した作業内容報告文ＤＢ８００のレコードに登録する。

【0084】

その後、作業者は、対象パーツによる対象作業工程を実施する。例えば、作業者は、対象機材に対象パーツを取り付ける作業を行う。

【0085】

この場合において、判定部１２６は、表示装置１４における作業箇所表示用ボックス型コンテンツ内の領域に、対象パーツが表示されかつ作業者の手が表示されていないか否かを判定する（ｓ５７）。すなわち、判定部１２６は、作業者がパーツの取り付け作業を終了してその手をパーツ（対象機材）から離し、対象作業工程を完了したか否かを判定する。

【0086】

例えば、判定部１２６は、表示装置１４の作業箇所表示用ボックス型コンテンツの領域の画像を取得する。判定部１２６は、取得した画像を、物体判別モデルに入力することにより、当該画像に対象パーツが含まれかつ作業者の手が含まれていないか否かを判定する。

【0087】

作業箇所表示用ボックス型コンテンツ内の領域に、対象パーツが表示されかつ作業者の手が表示されていない場合は（ｓ５７：ＹＥＳ）、判定部１２６は現在時刻を対象作業工程の終了時刻として記憶した上で、作業工程登録処理ｓ１６は終了し、それ以外の場合は（ｓ５７：ＮＯ）、判定部１２６はｓ５７の処理を繰り返す。

【0088】

なお、判定部１２６は、ｓ５５、ｓ５６の処理を、ｓ５７：ＹＥＳのタイミングで実行してもよい。

【0089】

（作業情報ＤＢ）
図１１は、作成される作業情報ＤＢ６００の一例を示す図である。作業情報ＤＢ６００は、作業のＩＤが設定される作業ＩＤ６０１、その作業における機材のＩＤが設定される機材ＩＤ６０２、次述する作業工程ＩＤ６０４に係る作業工程が作業ＩＤ６０１に係る作業において実施された順番が設定される作業順番６０３、及び、実施した作業工程のＩＤが設定される作業工程ＩＤ６０４の各データ項目を有する。

【0090】

（利用パーツＤＢ）
図１２は、作成される利用パーツＤＢ７００の一例を示す図である。利用パーツＤＢ７００は、作業のＩＤが設定される作業ＩＤ７０１、その作業に用いられたパーツのＩＤが設定されるパーツＩＤ７０２、及び、作業ＩＤに係る作業においてパーツＩＤ７０２に係るパーツが利用された数が設定されるパーツ数７０３の各データ項目を有する。

【0091】

（作業内容報告文ＤＢ）
図１３は、作成される作業内容報告文ＤＢ８００の一例を示す図である。作業内容報告文ＤＢ８００は、作業のＩＤが設定される作業ＩＤ８０１、その作業に関する報告文のデータ（テキスト等）が設定される作業内容報告文８０２の各データ項目を有する。作業内容報告文８０２には、作業工程ＤＢ３００の作業内容定型文３０７のデータに基づくデータが設定される。

【0092】

＜同期処理＞
図１４は、同期処理ｓ１９の詳細を説明するフロー図である。

【0093】

まず、判定部１２６は、これまでの処理で生成した作業情報をサーバ２０と同期させる指示を受け付ける（ｓ７１）。例えば、判定部１２６は、作業者から、入力装置１３への同期指示の入力を受け付ける。

【0094】

判定部１２６は、指示を受け付けると、これまでの処理で生成した作業結果情報１２２をサーバ２０に送信する（ｓ７２）。例えば、判定部１２６は、作業情報ＤＢ６００、利用パーツＤＢ７００、及び作業内容文ＤＢ８００をサーバ２０のＣＲＭシステム２１に送信する。以上で同期処理ｓ１９は終了する。

【0095】

（作業内容報告文）
図１５は、生成される作業内容報告文８０２の内容の一例を示す図である。同図に示すように、この作業内容報告文１５００は、報告書タイトル１５１０、各作業工程のタイトル１５２０、各作業工程の実施内容１５３０、作業終了後の情報１５４０、作業時間１５５０、作業者１５６０、及び利用パーツ１５７０の各項目を有する。

【0096】

報告書タイトル１５１０は、作業情報ＤＢ６００に設定された対象機材名１５１１、及び利用パーツＤＢ７００に設定された全ての利用パーツ１５１２の情報が自動的に埋め込まれたものとなっている。なお、報告書タイトル１５１０には、機材情報ＤＢ２００の機材概要２０３に対応する情報が埋め込まれていてもよい。

【0097】

作業工程のタイトル１５２０及び作業工程の実施内容１５３０には、作業工程ＤＢ３００の作業内容定型文３０７に対応する情報が埋め込まれたものとなっている。この場合、作業内容定型文３０７で定義された機材、及びパーツ等の情報１５２１、１５３１が埋め込まれる。

【0098】

作業時間１５５０は、作業開始からの終了までの時間１５５１と、作業を実施した実時間１５５２とを含む。作業開始からの終了までの時間１５５１には、作業支援処理で作業支援システム１が計測した作業の開始時間及び作業の終了時間が埋め込まれる。作業を実施した実時間１５５２には、作業支援処理で作業支援システム１が計測した各作業工程の開始時間から終了時間までの時間を合計した時間が埋め込まれる。

【0099】

利用パーツ１５７０には、利用パーツＤＢ７００の各レコードの内容に基づく情報（利用パーツの名称１５７１及び利用パーツの利用数１５７２）が埋め込まれる。

【0100】

なお、作業内容報告文８０２の生成においては、自然な文章にするための所定の自然言語処理を行ってもよい。

【0101】

以上に説明したように、本実施形態の作業支援システム１は、表示装置１４に、作業者による作業の状況を表す画面を作業者に対して表示させると共に、撮影装置１６に、作業者による作業の状況の画像を撮影させ、撮影された画像と、画像情報（パーツＤＢ４００等）とに基づき、作業者が作業を実施したか否かを判定し、作業者が作業が実施したと判定した場合に、作業内容情報（作業工程ＤＢ３００）に基づき、完了した作業の内容を示す情報（作業内容報告文ＤＢ８００）を出力する。

【0102】

すなわち、作業支援システム１は、作業者の作業の状況の画面を表示しつつ、その画像に基づいて作業の完了を判定し、作業が完了したと判定した場合に、完了した作業の内容の情報を出力する。これにより、作業者は、実施した作業内容を自身で逐次記録する等煩雑な業務を行うことなく、作業の実施内容を記録させることができる。

【0103】

以上のように本実施形態の作業支援システム１によれば、実施した作業の内容を確実に記録することができる。

【0104】

また、本実施形態の作業支援システム１は、撮影装置１６により撮影された画像と、パーツ画像及び作業者の身体又は道具（例えば、手）の画像の特徴を表す情報（パーツＤＢ４００、物体判別モデル５００）とに基づき、その画像に、パーツが撮影され、かつ、作業者の身体又は道具が撮影されている場合に、作業を開始したと判定する。

【0105】

これにより、作業者が、パーツを利用して作業を開始したことを確実に検出することができる。

【0106】

また、本実施形態の作業支援システム１は、撮影装置１６により撮影された画像と、パーツ画像及び作業者の身体又は道具（例えば、手）の画像の特徴を表す情報（パーツＤＢ４００、物体判別モデル５００）とに基づき、その画像に、パーツが撮影され、かつ、作業者の身体又は道具が撮影されていない場合に、作業を完了したと判定する。

【0107】

これにより、作業者が、パーツを利用した作業を完了したことを確実に検出することができる。

【0108】

また、本実施形態の作業支援システム１は、作業が行われる空間に対応する表示装置１４の画面上の位置を算出し、所定の図形（作業箇所表示用ボックス型コンテンツ６１２）を、表示装置１４の画面上の上記算出した位置に表示させる。

【0109】

これにより、作業者は、作業を行うべき場所を特定し、適切な作業を実施することができる。

【0110】

また、本実施形態の作業支援システム１は、作業者による作業の状況と共に、作業者を行うべき作業の工程を示す情報（作業内容表示用コンテンツ）を表示した画面を表示装置１４に表示させる。

【0111】

これにより、作業者は、行うべき作業の内容を把握し、適切な作業を実施することができる。

【0112】

また、本実施形態の作業支援システム１は、撮影装置１６に、機材に付されている識別コードの画像を撮影させ、その画像に基づき機材の情報を取得すると共に機材の位置を算出し、その機材の情報が機材情報ＤＢ２００に登録されている場合に、上記算出した機材の位置に基づいて算出された表示装置１４の位置（座標）に、機材を含む画面を表示させる。

【0113】

このように、機材に付された識別コードを撮影装置１６で撮影することで、その機材が作業対象の機材であるか否かを確認できると共に、機材の位置を算出してこれを表示装置１４の画面上の表示位置を特定することができ、機材に関して行うべき処理（機材の特定及び機材の表示位置の特定）を効率良く行うことができる。

【0114】

また、本実施形態の作業支援システム１は、撮影装置１６により撮影された画像と画像情報（パーツＤＢ４００等）とに基づき、作業者が使用したパーツを特定し、特定したパーツに基づき、作業者が作業を実施したと判定した場合に、作業内容情報（作業工程ＤＢ３００）及び特定した物の情報（パーツＤＢ４００等）に基づき、完了した作業の内容を示す情報（作業内容報告文ＤＢ８００）を出力する。

【0115】

このように、撮影装置１６により作業中に撮影された利用パーツの情報（利用パーツＤＢ７００等）を作業内容報告文ＤＢ８００に組み込んで出力することにより、作業者が実施した作業内容を詳細に記録することができる。

【0116】

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。

【0117】

例えば、本実施形態の各装置が備えるハードウェアの一部は、他の装置に設けてもよい。

【0118】

また、各装置の各プログラムは他の装置に設けてもよいし、あるプログラムを複数のプログラムからなるものとしてもよいし、複数のプログラムを一つのプログラムに統合してもよい。

【0119】

また、作業内容報告文ＤＢ８００のデータには、テキストだけでなく、画像又は動画（例えば、作業状況をＡＲデバイス１０で撮影した写真又は動画）が含まれていてもよい。

【0120】

また、本実施形態で説明した、作業の開始及び終了の判定方法は一例である。例えば、ＡＲデバイス１０は、表示装置１４に表示されている画面における作業者、機材、及びパーツの動きを認識することにより、作業の開始及び終了を判定してもよい。

【0121】

また、本実施形態で説明した機材及びパーツの位置情報（座標情報）の取得及び算出方法は一例である。例えば、ＡＲデバイス１０は、機材の位置情報の入力を作業者から予め受け付けてもよいし、機材及びパーツの画像を撮影することで機材及びパーツの位置情報（座標情報）を算出してもよい。

【符号の説明】

【0122】

１ 作業支援システム、１０ ＡＲデバイス、１１ 制御装置、１２ 記憶装置、１３ 入力装置、１４ 表示装置、１６ 撮影装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】