特開 2024-167994 作業支援システム、作業支援方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167994

(43)【公開日】2024-12-05

(54)【発明の名称】作業支援システム、作業支援方法、および、プログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20241128BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023084364

(22)【出願日】2023-05-23

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】峯邑 隆司

(72)【発明者】

【氏名】大石 淳也

(72)【発明者】

【氏名】会津 宏幸

(72)【発明者】

【氏名】小杉 真哉

(72)【発明者】

【氏名】荒木 勝彦

(72)【発明者】

【氏名】黄 静君

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC03

5L050CC03

(57)【要約】

【課題】複数の作業工程の作業を行う作業者に対して高い利便性の作業支援を実行する。
【解決手段】実施形態の作業支援システムは、複数の作業工程の作業を行う作業者を撮影する撮影カメラから撮影画像を取得する取得部と、過去の直近の前記作業工程について、前記撮影画像の特徴量と、作業を行う見本作業者を予め撮影することで得られた見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する判定部と、作業中の前記作業者によって視認可能な表示部に前記見本撮影画像を表示させ、前記判定部によって前記所定以上の相関があると判定された場合、次の前記作業工程の前記見本撮影画像を前記表示部に表示させ、前記判定部によって前記所定以上の相関がないと判定された場合、コマ送り操作が行われたときに、次の前記作業工程の前記見本撮影画像を前記表示部に表示させる制御部と、を備える。
【選択図】図９

【特許請求の範囲】

【請求項1】

複数の作業工程の作業を行う作業者を撮影する撮影カメラから撮影画像を取得する取得部と、
過去の直近の前記作業工程について、前記撮影画像の特徴量と、作業を行う見本作業者を予め撮影することで得られた見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する判定部と、
作業中の前記作業者によって視認可能な表示部に前記見本撮影画像を表示させ、
前記判定部によって前記所定以上の相関があると判定された場合、次の前記作業工程の前記見本撮影画像を前記表示部に表示させ、
前記判定部によって前記所定以上の相関がないと判定された場合、コマ送り操作が行われたときに、次の前記作業工程の前記見本撮影画像を前記表示部に表示させる制御部と、を備える作業支援システム。

【請求項2】

前記判定部は、過去の直近の前記作業工程について、少なくとも１枚以上の前記撮影画像の特徴量と、少なくとも１枚以上の前記見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する、請求項１に記載の作業支援システム。

【請求項3】

前記判定部は、過去の直近の前記作業工程について、少なくとも２枚以上の前記撮影画像の特徴量と、少なくとも２枚以上の前記見本撮影画像の特徴量と、を用いて、撮影順を含めて所定以上の相関があるか否かを判定する、請求項１に記載の作業支援システム。

【請求項4】

前記判定部は、過去の直近の前記作業工程について、前記撮影画像の特徴量と、前記見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する場合に、両画像の所定部分を用いて判定する、請求項１に記載の作業支援システム。

【請求項5】

前記制御部は、前記判定部によって前記所定以上の相関がないと判定された場合、相関の低い理由を前記表示部に表示させる、請求項１に記載の作業支援システム。

【請求項6】

前記制御部は、前記判定部によって前記所定以上の相関があると判定された場合、チェックシートデータの該当の作業項目に電子的なマーキングを行う、請求項１に記載の作業支援システム。

【請求項7】

取得部が、複数の作業工程の作業を行う作業者を撮影する撮影カメラから撮影画像を取得する取得ステップと、
判定部が、過去の直近の前記作業工程について、前記撮影画像の特徴量と、作業を行う見本作業者を予め撮影することで得られた見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する判定ステップと、
制御部が、作業中の前記作業者によって視認可能な表示部に前記見本撮影画像を表示させ、
前記判定ステップによって前記所定以上の相関があると判定された場合、次の前記作業工程の前記見本撮影画像を前記表示部に表示させ、
前記判定ステップによって前記所定以上の相関がないと判定された場合、コマ送り操作が行われたときに、次の前記作業工程の前記見本撮影画像を前記表示部に表示させる制御ステップと、を含む作業支援方法。

【請求項8】

コンピュータを、
複数の作業工程の作業を行う作業者を撮影する撮影カメラから撮影画像を取得する取得部と、
過去の直近の前記作業工程について、前記撮影画像の特徴量と、作業を行う見本作業者を予め撮影することで得られた見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する判定部と、
作業中の前記作業者によって視認可能な表示部に前記見本撮影画像を表示させ、
前記判定部によって前記所定以上の相関があると判定された場合、次の前記作業工程の前記見本撮影画像を前記表示部に表示させ、
前記判定部によって前記所定以上の相関がないと判定された場合、コマ送り操作が行われたときに、次の前記作業工程の前記見本撮影画像を前記表示部に表示させる制御部と、して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、作業支援システム、作業支援方法、および、プログラムに関する。

【背景技術】

【0002】

従来から、工場などにおいて、作業者が複数の作業工程からなる一連の作業やタスク（以下、複数の作業工程の作業）を行う場合がある。その場合、新人作業者による作業を支援するために、例えば、熟練作業者（ベテラン作業者）による作業を撮影した動画を表示させ、新人作業者がその動画を見ながら作業するという手法がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１７２８３号公報

【特許文献2】国際公開第２０１７／１５０２９３号公報

【特許文献3】特開２０１８－９２４７８号公報

【特許文献4】特開２０１２－２１６２２１号公報

【特許文献5】特開２００１－３３１５１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述の従来技術では、動画を普通に表示させると、一連の作業工程が連続的に表示される。しがたって、例えば、作業中の新人作業者が次の作業工程の内容を知りたいと思ったときには、動画でのその作業工程の表示はすでに終わってしまっている場合がある。

【0005】

その対策として、新人作業者が、動画を現在の作業工程の部分で停止させた後、次の作業工程を把握したいタイミングになったらコマ送りの操作をする、という手法もある。しかしながら、その手法では、新人作業者は、作業中に、コマ送りの操作を作業工程が終わるたびに行う必要があり、利便性の点で問題があった。

【0006】

そこで、本発明の実施形態は、上記事情に鑑みてなされたものであり、複数の作業工程の作業を行う作業者に対して高い利便性の作業支援を実行することができる作業支援システム、作業支援方法、および、プログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

実施形態の作業支援システムは、複数の作業工程の作業を行う作業者を撮影する撮影カメラから撮影画像を取得する取得部と、過去の直近の前記作業工程について、前記撮影画像の特徴量と、作業を行う見本作業者を予め撮影することで得られた見本撮影画像の特徴量と、に所定以上の相関があるか否かを判定する判定部と、作業中の前記作業者によって視認可能な表示部に前記見本撮影画像を表示させ、前記判定部によって前記所定以上の相関があると判定された場合、次の前記作業工程の前記見本撮影画像を前記表示部に表示させ、前記判定部によって前記所定以上の相関がないと判定された場合、コマ送り操作が行われたときに、次の前記作業工程の前記見本撮影画像を前記表示部に表示させる制御部と、を備える。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態の作業支援システムの全体構成の概要を示す図である。

【図2】図２は、実施形態の作業場の様子を示す図である。

【図3】図３は、実施形態のスマートフォンにおける表示画面例を示す図である。

【図4】図４は、実施形態における表示画面のコマ送りタイミングの決定に関する説明図である。

【図5】図５は、比較例（コマ送りのタイミング制御をしない場合）における表示画像の遷移例を示す図である。

【図6】図６は、実施形態（コマ送りのタイミング制御をする場合）における表示画像の第１の遷移例を示す図である。

【図7】図７は、実施形態における表示画像の第２の遷移例を示す図である。

【図8】図８は、実施形態における作業モデル動画の撮影および編集に関する処理を示すフローチャートである。

【図9】図９は、実施形態における作業者の作業モニタリングおよび自動コマ送りエラー発生時に関する処理を示すフローチャートである。

【図10】図１０は、実施形態において、作業モデル動画と作業者の両方を表示する場合の表示画面例を示す図である。

【図11】図１１は、実施形態において、作業モデル動画と天井カメラによる熟練作業者の撮影画像の両方を表示する場合の表示画面例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付の図面を用いて、本発明の作業支援システム、作業支援方法、および、プログラムの実施形態について説明する。

【0010】

実施形態の理解を容易にするために、あらためて従来技術について詳述する。カントリーリスクを回避することや円安の進行などにより、日本国内での生産回帰、工場回帰の潮流がある。一方、工場の現場では、多能工化が長年にわたる課題だが、作業者が新たに学ぶことに関し、作業長からの口頭でのT.T.（Technology Transfer：技術移転）と紙マニュアルに長年依存してきた。

【0011】

例えば、新人作業者に作業内容を覚えてもらうために、作業長が各作業工程を新人に逐一T.T.するのがこれまでの工場現場における教え方であった。新人作業者は、紙マニュアルにしたがい一通り教わる。その後、自分でやってみるが、最初は作業ミスが多発し、そのたびに作業長が教え直すことをしていた。

【0012】

作業工程数が多い作業では、一旦学習後であっても、作業ミスが発生しやすい。新人作業者には、一見似ていても、作業内容が少しずつ異なる場合、紙マニュアルによる自習も難しかった。活字離れが言われて久しい中、紙マニュアルがわかりにくいことや、とっつきにくいことなどが原因と考えられる。

【0013】

新人作業者は、作業工程が１つ進むたびに紙マニュアルをいちいち確認すればよいが、時間がかかり面倒であって、実行し続けることは難しい。むしろ、時間に追われ、紙マニュアルを確認せず、思い込みで適当に作業を進めてしまう傾向にある。結果的に、作業もれ、確認もれによる作業ミスから、製品品質の維持、向上に課題が発生してしまう。

【0014】

さらに、紙のチェックシートへの記入という作業がある。作業者が、作業工程終了後に、工具を筆記具にいちいち持ち替えて記入する必要があり、手間と時間を必要としていた。この場合も、作業者は、工程終了ごとにいちいち紙にチェックをつけるべきところを、まとめて後でチェックを記入するなど、手間を惜しむことが発生しかねなかった。

【0015】

また、従来からある技術として、AR（拡張現実＝Augmented Reality）がある。ARを適用した民生品としてヒットした例として、スマホ用ゲームの「ポケモン（登録商標）GO」がある。スマホ画面内で目の前の風景に重なってゲームに出てくるキャラクターが表示されることで、あたかも「ポケモンが現実世界に現れたかのような実在感」が出てくる。また、ＧＰＳ（Global Positioning System）による位置情報を利用することで、画面上のＣＧ（Computer Graphics）だけで完結するゲームと比べてけた違いの広がりや没入感を生み出し、世界中でヒットした。

【0016】

このようなARを利用したARメガネなど、特殊眼鏡を通して見える現実の風景に重畳して、説明や指示を出すことで、観光冊子や紙のマニュアルなどをいちいち見なくても状況を理解し、次の行動の選択実行をすることができる。例えば、参考文献として、特開2021-51620号公報などがある。

【0017】

Virtualな世界であるVR(Virtual Reality：仮想現実)や、Microsoft（登録商標）のHoloLensなどのＰＣ（Personal Computer）とディスプレイを一体化することでユーザの視界を解析して行うMR(Mixed Reality)といったものを含め、ｘRealityと総称される。いずれもユーザの視認する世界とデジタル映像とを融合する技術であり、技術の台頭と進歩の著しい分野である。これらの新技術の導入には、リアルタイム応答のための高価なＨＷ（ハードウエア）,ＳＷ（ソフトウエア）のリソースを必要とする。また、専用のゴーグルを通して現実世界を見ることなどにより、作業者によっては酔いやすい。また、視野角が足りない場合がある。これらハードルにより、導入しにくい現場も多い。

【0018】

また、紙マニュアルに代えて、熟練作業者（見本作業者の例）の作業動画を撮影し、それを新人作業者が見て学習する方法もある。このような作業モデル動画を普通に流すと一連の作業工程が一度に流れてしまう。このため、作業中の新人作業者は、一番知りたい次の作業工程を把握しにくい。結局、動画であってもほぼコマ送りをして次の作業工程の指示を確認することになってしまう。作業中に、コマ送りの操作を、作業工程数だけ行う必要があり煩わしく、余分な時間もかかってしまう。

【0019】

例えば、Ｋ１サイズの基板の受け入れ検査と調整を１００作業工程、２時間弱で行うとする。１日８時間で、４枚の基板の調整をする。１工程に１つの作業指示の画面を出すとすれば、１つの作業工程ごとに１回のコマ送りを必要とするので、１日の間に、４×１００回＝４００回も動画のコマ送り操作をしなければならないことになる。

【0020】

紙マニュアルから脱却し、紙マニュアル類により付随的に発生していた作業者の作業性、正確性の低下を改善することが必要である。それには、単に動画を撮影して作業者に見せればよいというものではなく、作業モデル動画を適切なタイミングで見れるようにする仕組みを導入する必要がある。以下の実施形態では、天井設置の画像センサ（天井カメラ）と、作業者に近接設置のカメラとの２つの撮影デバイスによる撮影環境を考える。

【0021】

導入に際しては、いくつかの工夫がある。1つ目は、画像センサの設置位置である。作業現場においては、作業上、安全上の観点から、最も設置しやすい場所は天井部である。天井設置の画像センサで作業モデル動画を作成できる場合もあるが、操作パネルに関する操作など、天井からは視野の影になり、作業モデル動画を作成できない場合も多い。

【0022】

操作パネルに関する操作を撮影するには、作業台に近接設置したカメラによる撮影をする必要がある。多くは作業者の背後、または、斜め後方に設置したカメラにより、操作状況を撮影する必要がある。作業空間に障害物を常設できない観点から、作業モデル動画の撮影に用いたカメラは、その撮影時に一時的に設置できるが、その後の新人作業者による作業時には、撤去しなければならない。その場合、新人作業者の撮影をしようと思うと、天井設置の画像センサにより実施することになる。

【0023】

2つ目は、熟練作業者による作業を作業モデル動画として撮影した後、その作業モデル動画を適切に表示する方法である。撮影した時刻や作業者が異なり、くわえて撮影時の画像サイズや撮影方向、fps(frames per second)の異なる２種類の撮影画像がある。撮影されたそれぞれの作業者は、同一作業手順に従い同じような動きをしているが、完全に一致はしていない。この2種類の撮影画像の同期した画面表示をしたい。

【0024】

例えば、熟練作業者の動画を、三脚に設置されたカメラやスマホによって24fps～60fpsで撮影し、学習用の作業モデル動画とする。しかしながら、作業者の背後あるいは作業机に設置したカメラは、作業性、安全性の観点から常に設置しておくことはできないことが大半である。その後に新人作業者が作業する際には、一時的に設置していただけの、三脚に設置されたカメラやスマホはとり外す。

【0025】

一方、見守り用の天井カメラで新人作業者の作業状況を撮影することが可能である。新人作業者の作業速度はその技量に依存し、また天井カメラのfpsがスマホのfpsと異なる場合もある。新人作業者の動きを天井カメラで撮影し、リアルタイムでその動きを見守る一方、事前に撮影している熟練作業者による動画を、作業モデル動画として、適切なタイミングで表示していきたという要望がある。紙マニュアルから作業モデル動画への切り替えにより、多くの利点を見出すことができる。

【0026】

このような事情の下で、以下に、複数の作業工程の作業を行う作業者に対して高い利便性の作業支援を実行することができる技術について説明する。

【0027】

（概要）
まず、実施形態の概要について説明する。熟練作業者による作業を学習用の作業モデル動画として三脚に設置された後方カメラ（スマホなど）で撮影する一方、天井カメラでも同時並行で撮影する。そして、新人作業者による作業を天井カメラで撮影して得た画像から、例えば手の動き、体の向きや位置、工具や計測器の状態などの特徴的な情報（以下、特徴量ともいう。）を抽出する。

【0028】

また、天井カメラにより既に撮影した、同一の作業をしている熟練作業者の特徴量と比較することで、新人作業者が現在どの作業工程を行っているかなどを把握することができる。どの作業工程を行っているかがわかれば、作業モデル動画で示すべき次の作業工程がわかるので、新人作業者に示すべき動画を決定することができる。これにより、新人作業者は動画のコマ送りすることなく、次の作業工程を確認できる。

【0029】

新人作業者は、作業モデル動画と同様の動作をしていれば、自動でコマ送りになるので、手動でコマ送りするのに比べて手間が減る。また、このようなことを繰り返すうちに、新人作業者は自然に作業モデル動画と同じ動作をするようになり、習熟度が上がる。そして、作業もれや、確認もれ、作業ミスなどがあると手動コマ送りが必要となるので、新人作業者は、作業モデル動画と違った動作をなるべくしないようになり、製品品質の安定につながる。

【0030】

また、手動コマ送りの回数をカウントすることで、習熟度を測ったり、新人作業者が作業ミスをしやすい作業工程を把握したりできるので、それらに基づいて作業モデル動画を改善できる。また、対象者は、新人作業者に限定されない。例えば、熟練作業者でも自己流の動作になってしまっている可能性があり、自分のやってきた作業が作業モデル動画における動作と一致しているか確認することに利用できる。

【0031】

また、指定した所定の場所に製品を置いたり、計測器で所定の操作ボタンを押したりしたときなどの工程の終了時に、作業者が動画閲覧用のデバイス上でチェックボタンを押したり、あるいは、天井カメラによる撮影画像の画像処理により、工程終了を確認することができる。そして、そのときに、人手によらず、完了した作業内容をシステムで判断して、電子チェックシートのチェック処理を行う。これにより、紙のチェックシートを利用する必要がなくなり、作業工程完了時の電子チェックシート上でのチェック実施を行うことができ、作業者の作業性、正確性の向上を図ることができる。

【0032】

（システム構成）
図１は、実施形態の作業支援システム１の全体構成の概要を示す図である。作業支援システム１は、天井カメラ２と、後方カメラ３と、スマートフォン５と、サーバ１０と、を備える。

【0033】

スマートフォン５は、作業中の作業者４（例えば新人作業者）によって視認可能な表示部の例である。スマートフォン５は、作業モデル動画（静止画も含む。）を、ブラウザや専用アプリにより表示する。作業モデル動画は、後述する編集によって文字、音声、マーカなどの処理を加えることで、閲覧する作業者４の作業性を向上させる。なお、表示部は、スマートフォンに限定されず、タブレット端末、PCなどであってもよい。

【0034】

天井カメラ２は、作業者４が作業を行う場所の上方の天井に設置され、広い撮影エリアを有する。天井カメラ２による撮影範囲を撮影エリアAとする。後方カメラ３は、作業者４が作業を行う場合のその作業者４の後方に設置され、天井カメラ２と比べて撮影範囲が狭く、作業者４の作業を近接撮影する。後方カメラ３は、熟練作業者による作業を作業モデル動画（見本撮影画像）として撮影する機器である。

【0035】

近接設置の後方カメラ３を用意する理由は、多くの作業は手元作業であり、天井カメラ２では、作業対象の計測器６（図３）の操作手順などが撮影視野の中に入らないことなどである。後方カメラ３の撮影領域である撮影エリアBは、天井カメラ２による撮影領域である撮影エリアAと一部重なっている。後方カメラ３は、常設できない場合が多いため、作業モデル動画の撮影時のみ設置する使い方を想定する。天井カメラ２および後方カメラ３により撮影した画像は、サーバ１０に伝送される。

【0036】

サーバ１０は、コンピュータ装置であり、クラウドサーバであってもよいし、あるいは、オンプレで設置されたサイト固有のものであってもよい。サーバ１０は、記憶部１１と、入力部１２と、表示部１３と、通信部１４と、処理部１５と、を備える。

【0037】

記憶部１１は、情報を記憶する手段であって、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などから構成される。記憶部１１は、天井カメラ２による撮影画像、後方カメラ３による撮影画像、編集後の作業モデル動画などの各種情報を記憶する。

【0038】

入力部１２は、情報を入力する手段であって、例えば、キーボード、マウス、タッチパネルなどである。

【0039】

表示部１３は、情報を表示する手段であって、例えば、ＬＣＤ（Liquid Crystal Display）などである。

【0040】

通信部１４は、外部装置と通信するための通信インターフェースである。

【0041】

処理部１５は、各種演算処理を行う手段であり、例えば、ＣＰＵ（Central Processing Unit）である。処理部１５は、機能構成として、取得部１５１と、判定部１５２と、分析部１５３と、制御部１５４と、を備える。

【0042】

取得部１５１は、各種構成から各種情報を取得する。取得部１５１は、例えば、天井カメラ２や後方カメラ３から撮影画像を取得する。

【0043】

判定部１５２は、各種判定を実行する。例えば、判定部１５２は、過去の直近の作業工程について、作業者４による作業の撮影画像の特徴量と、熟練作業者による作業を予め撮影することで得られた作業モデル動画の特徴量と、に所定以上の相関があるか否かを判定する。

【0044】

例えば、判定部１５２は、過去の直近の作業工程について、少なくとも１枚以上の撮影画像の特徴量と、少なくとも１枚以上の作業モデル動画の特徴量と、に所定以上の相関があるか否かを判定する。

【0045】

また、判定部１５２は、過去の直近の作業工程について、少なくとも２枚以上の撮影画像の特徴量と、少なくとも２枚以上の作業モデル動画の特徴量と、を用いて、撮影順を含めて所定以上の相関があるか否かを判定するようにしてもよい。

【0046】

また、判定部１５２は、過去の直近の作業工程について、撮影画像の特徴量と、作業モデル動画の特徴量と、に所定以上の相関があるか否かを判定する場合に、両画像の所定部分（例えば、作業者の手元部分）を用いて判定するようにしてもよい。

【0047】

分析部１５３は、各種分析を実行する。例えば、分析部１５３は、作業者４による手動のコマ送り操作（コマ戻し操作も含む。）などに基づいて、分析を行う。例えば、作業工程ごとに、手動のコマ送り操作の回数に基づいて、習熟度などの評価を行う。例えば、手動のコマ送り操作の回数が少ないほど習熟度が高いと評価し、手動のコマ送り操作の回数が多いほど習熟度が低いと評価する。

【0048】

制御部１５４は、スマートフォン５に作業モデル動画を表示させる。また、制御部１５４は、判定部１５２によって両画像間に所定以上の相関があると判定された場合、自動的なコマ送りを行うことで、次の作業工程の作業モデル動画をスマートフォン５に表示させる。

【0049】

また、制御部１５４は、判定部１５２によって両画像間に所定以上の相関がないと判定された場合、作業者４によって手動のコマ送り操作が行われたときに、次の作業工程の作業モデル動画をスマートフォン５に表示させる。

【0050】

また、制御部１５４は、判定部１５２によって両画像間に所定以上の相関がないと判定された場合、相関の低い理由をスマートフォン５に画像、文字表示、光の点滅などで表示させるようにしてもよい。

【0051】

また、制御部１５４は、判定部１５２によって両画像間に所定以上の相関があると判定された場合、チェックシートデータの該当の作業項目に電子的なマーキングを行うようにしてもよい。あるいは、音声認識機能を処理部１５で実現できるようにしてもよい。これにより、例えば、両手がふさがっている作業者４が発する音声を認識し、電子的なマーキング処理や、スマートフォン５に表示する画面の変更などをできるようにしてもよい。

【0052】

図２は、実施形態の作業場の様子を示す図である。作業場において、天井カメラ２は天井に設置され、後方カメラ３は三脚３１によって作業者４の後方に設置されている。天井カメラ２と後方カメラ３による撮影画像は、サーバ１０に伝送される。

【0053】

熟練作業者による作業時の作業モデル動画の収集の際、後方カメラ３は、作業机の上に配置する場合もあるが、通常、作業者４の背後か斜め後ろ、あるいは後ろ上方の近接位置に配置する。作業者４による作業対象の操作パネル（計測器６など）などの詳細部分の画像の収集が必要なためである。

【0054】

また、後方カメラ３は、作業者４による作業時には、作業上、安全上、常設できず、作業モデル動画の撮影後に撤去することが想定される。作業モデル動画を撮影する場合、天井カメラ２と後方カメラ３とのマルチカメラ撮影を行う。両カメラのfpsが異なる場合であっても、両カメラの撮影時刻情報を用いることで、同期表示などを行うことができる。なお、新人教育あるいは再訓練などの、作業者の実務の際は、天井カメラ２のみで撮影する。

【0055】

図３は、実施形態のスマートフォン５における表示画面例を示す図である。領域Ｒ１には、天井カメラ２による天井からの作業机の見下ろし画像が映っている。作業者４０（作業者４）は、作業対象である計測器６の前にいる。作業モデル動画を表示するスマートフォン５は、計測器６の左隣に置かれている。マイナスドライバー７１、プラスドライバー７２を所定の位置に収容している工具置台７が、作業者４０の画面右上に置かれている。画面には、作業者４０の手４１も映っている。

【0056】

また、領域Ｒ２には、後方カメラ３により過去に撮影した動画（作業モデル動画）が映っている。計測器６が大きく映っており、操作状況を確認しやすい状態になっている。作業モデル動画撮影時の熟練作業者の手９１も映っており、熟練作業者がどのボタンを押して操作したのかが確認できる。

【0057】

また、画面下方にはボタン５１が映っている。ボタン５１は、タッチパネルとなっていて、操作可能である。ボタン５１は、動画コマ送り／コマ戻し（巻き戻し）用のボタンを含む。作業者４０は、ボタン５１を操作することで、動画のコマ送り、コマ戻しなどの操作を行うことができる。

【0058】

スマートフォン５は、作業者４０が作業モデル動画の視認とスマートフォン５の操作をしやすいように、作業机の上など、タッチパネル操作が容易で、かつ、画面を見やすい位置に置かれている。この例では、領域Ｒ１の画像が天井カメラ２による現時刻の撮影画像であり、領域Ｒ２の画像が過去に撮影した作業モデル動画で操作手順などを示す。作業者４０は、領域Ｒ２における画像やコメントを見ることで、作業内容や注意事項を確認、認識することができる。なお、ボタン５１については、図示のものに限定されず、どの画像を表示させるかを適宜操作できるようなボタンを含んでいてもよい。

【0059】

図４は、実施形態における表示画面のコマ送りタイミングの決定に関する説明図である。作業者４０が閲覧できるように、スマートフォン５において、領域Ｒ１に作業者４０の現在の状況の画面を表示し、領域Ｒ２に過去に撮影した熟練作業者の操作画像（作業モデル動画）を表示している。

【0060】

その一方、バックグラウンドの処理として、領域Ｒ３に示す熟練作業者９による作業を作業モデル動画として天井カメラ２で撮影したときの画像と、領域Ｒ１に示す作業者４０の現在の状況の画面とを照合している。前提として、領域Ｒ１、Ｒ３の両方で、計測器６と工具置台７が同じ位置に配置されているようにする。そうすることで、領域Ｒ１、Ｒ３の両画像の照合が可能となる。一方、作業者４０の左前方に置かれているスマートフォン５と、熟練作業者９の左前方に置かれているスマートフォン５は、必ずしも同じ位置である必要性はない。スマートフォン５は、作業内容に直接的に関係する物体ではないからである。

【0061】

図５は、比較例（コマ送りのタイミング制御をしない場合）における表示画像の遷移例を示す図である。図５では、左から右に向かって、時間が経過したときの画面を表している。図５および以降の図を用いて、各画像の時間経過と作業モデルの編集の手順について説明する。図５において、（ａ）の画像群（Ｍ１－１～Ｍ１－５）、（ｂ）の画像群（Ｍ２－１～Ｍ２－５）は、事前に熟練作業者９について撮影したもので、（ａ）が天井カメラ２による撮影画像で、（ｂ）は後方カメラ３による撮影画像である。例えば、Ｍ１－１とＭ２－１は、横軸の位置が同じであり、同じ時刻の撮影画像であることを示している。

【0062】

（ｃ）は、作業用の画像マニュアル（作業モデル動画）である。これは、（ｂ）の画像（Ｍ２－１～Ｍ２－５）に、作業指示、注意点などのコメントを追加した画像群（ＭＭ２－１～ＭＭ２－５）である。この画像群には、作業者４が、画像のコマ送り、コマ戻しなどをできるように、タッチパネル上にボタン５１がついている。つまり、作業者４が必要に応じて次の作業内容などを確認するためにコマ送り、コマ戻しなどができるようになっている。この例では、画像の右上部分に、作業工程に合わせた作業番号Ａ０１～Ａ０５を付けている。

【0063】

そして、作業者４による作業時に、作業机に置いておいたスマートフォン５で（ｃ）の画像群を自動コマ送りで流した際に天井カメラ２で撮影した画面が、（ｄ）のＦ１－１～Ｆ１－４である。（ａ）の熟練作業者９についてのＭ１－１～Ｍ１－５に比べて、動作が遅く、作業が遅れている。つまり、作業者４は、同じ時間内に、同じ数の作業工程を処理できていないことがわかる。

【0064】

具体的には、以下の通りである。作業者４は、Ｆ１－１の時点で計測器６の前に座り、Ｆ１－２の時点で計測器６の電源ボタンを入れている。その後、作業者４は、ドライバーを見つけるのに時間がかかり作業遅れが発生している。つまり、Ｆ１－３について、工具置台７からプラスドライバー７２を取り出す作業工程で時間がかかっている。この間、（ｃ）の動画では、ＭＭ２－３の時点で「蓋を開けるため、プラスドライバーを手元に移動。」と表示され、ＭＭ２－４の時点で「被測定ボックスの蓋のネジをはずす。」と表示されているが、作業者４による作業はこれに追い付いていない。

【0065】

つまり、作業者４が、Ｆ１－４の時点で手元にプラスドライバー７２を持ってきたときには、（ｃ）の動画ではＭＭ２－５の画面で「被測定ボックスにケーブルを刺す。」という表示が行われている。したがって、この時点で、（ｃ）のＭＭ２－４の画面における「被測定ボックスの蓋のネジをはずす。」という表示になっていなければ、作業者４は正しい作業工程を認識できない。

【0066】

すなわち、動画を単に流すだけでは、作業者４は、熟練作業者９と同じ速度で全作業工程を進められない限り、自分の作業の進捗に合わせて動画を確認できないことになる。結果的に、作業者４は、作業工程ごとに動画のコマ送りをする方法で作業を進めていかざるを得ない。あるいは、動画でいちいち次の作業工程を確認せずに、思い込みで作業を進めてしまう可能性もある。

【0067】

なお、これらの一連の画像は、いわゆる静止画群であってもよいし、あるいは、３０fps～６０fps程度のいわゆる動画と呼ばれるフレームレートの画像であってもよい。天井カメラ２による撮影レートと、三脚３１に設置された後方カメラ３の撮影レートとが異なる場合、動画から、静止画群の撮影タイミングに合わせて間引きした画像により生成した画像を使ってもよい。間引きして画像生成をする際は、作業指示、留意点を画像に記載したコメント、あるいは、音声などの通知手段をつかい、作業工程ごとに間引きした画像群を再編集するようにしてもよい。

【0068】

図６は、実施形態（コマ送りのタイミング制御をする場合）における表示画像の第１の遷移例を示す図である。（ａ）と（ｂ）は図５と同じである。（ｃ）の作業モデル動画の編集の際、「一時停止マーカ」（一時停止させるための印）を設定する。一時停止マーカは、ある作業工程と次の作業工程の間や、モニターしている天井カメラ２により、例えばドライバーの置かれた工具置台７に手を伸ばすときなどの、作業の進捗を示す特異な動きを確認できた際に、解除することでコマ送りをするために設定する。

【0069】

例えば、（ｃ）において、ＭＭ２－１から、ＭＭ２－２、ＭＭ２－３と自動でコマが送られていたが、「一時停止マーカ１」により、コマ送りが一時的に停止する。作業者４は、「蓋を開けるため、右端のプラスドライバを手元に移動。」とい作業指示を目視確認し、プラスドライバー７２を取りに右手（２つの手４１の右側）を伸ばす作業行動を行う（Ｆ１－３）。天井カメラ２の撮影画像によりその作業行動（Ｆ１－３）が確認されると、作業指示に従った動きを作業者４が行ったとして、制御部１５４は「一時停止マーカ１」を解除する。そして、作業者４が見るスマートフォン５には、（ｃ）のＭＭ２－３からコマ送りがされ、次のＭＭ２－４が表示される。作業者４は、ＭＭ２－４に書かれている作業指示である「被測定ボックスの蓋のネジをはずす。」を読み、次の作業工程の内容を理解する。作業者４は、プラスドライバー７２を手４１に持ち、被測定ボックス（＝観測、調整を行う製品のこと。）のネジを外す（図示せず）。ネジを外す作業が完了したところで（Ｆ１－４）一時停止マーカ２を解除し、ＭＭ２－４からＭＭ２－５にコマ送りがされる。作業者４は、次の作業指示である「被測定ボックスにケーブルを刺す。」を確認する。

【0070】

このようにして、作業者４が、熟練作業者の作業行動（Ｍ１－１～Ｍ１－５）と同じ行動をすると、（ｃ）の作業モデル動画のコマ送りが自動でされる。作業者４は、一連の作業を繰り返すうち、（ｃ）の作業モデル動画と同じ動きをするほうが、コマ送り操作を自分自身でいちいち行わなくて済むことを知る。これにより、作業者４は、コマ送り操作を手動でする時間をなくすことができることを自然に認識する。したがって、作業者４は、次第に自動コマ送りに慣れ、熟練作業者の作業行動と同じ動きをするようになる。

【0071】

また、作業者４が作業手順通りに作業を行わず、ミスをした場合には、どのようにすればよいか作業指示を出すようにする。例えば、再度指示を出す画像表示をする。例えば、（ｃ）のＭＭ２－３に「右側の」の前に「最も」を追記し、プラスドライバー７２の置き場所をより明確に表示する。また、例えば、天井カメラ２による作業ミスの画面を表示し、正しい作業内容を表示するなどの方法でもよい。

【0072】

例えば、ミスの例では、作業者４はプラスドライバー７２とマイナスドライバー７１を取り間違えやすいことがわかったとする。一方、天井カメラ２の画像の解像度ではドライバーの種類までは形状で識別できないことがある。しかし、天井カメラ２の解像度を上げる必要はない。端的な手段では、例えば、作業指示中の文言追加という方法で作業ミスの発生を防止する。また、画像を使う他の防止策（工具色、空の置台などの利用）でもよい。後述の図９のフローチャートにてこの流れを示す。

【0073】

図７は、実施形態における表示画像の第２の遷移例を示す図である。図７を参照して、コマ送り停止時の工程を示す画像のコマの流れについて説明する。具体的には、一時停止マーカの解除方法と、作業者４が一時停止マーカを解除できないときの対応策の提示方法の例について述べる。

【0074】

（ａ）が作業モデル動画編集後の、作業者４が見る作業モデル動画である。（ｂ）は、天井カメラ２で撮影した、作業者４の動きである。まず、これらの（ａ）、（ｂ）について述べる。

【0075】

ＭＭ２－２での「測定器（計測器６）の電源をいれる」との作業指示にしたがい、作業者４は作業をする。Ｆ１－２には、作業者４が計測器６の電源を入れている様子が映っている。この場合、作業者４０の手４１が計測器６の電源のあたりにあるので、判定部１５２は、そのあたりの部分を指定領域（所定部分）として、この指定領域に手４１がきたら電源を投入したと判定できる。

【0076】

次に、作業者４は、ＭＭ２－３で「蓋を開けるため、右端のプラスドライバーを手元に移動。」という作業指示を確認する。作業者４は、プラスドライバー７２を見つけるのに時間がかかり、作業遅れが発生する。Ｆ１－３－１で、作業者４０が手４１を工具置台７に近づけていることがわかる。

【0077】

判定部１５２は、作業者４０がプラスドライバー７２を取るために手を伸ばしたと判定し、制御部１５４は、一時停止マーカ１を解除して、ＭＭ２－４に、自動でコマ送りする。しかしながら、Ｆ１－３－２からわかるように、作業者４はＭＭ２－３の作業指示の「蓋を開けるため、右端のプラスドライバーを手元に移動する。」に従っていない。すなわち、工具置台７からプラスドライバー７２が取り出されていない。作業者４が所定の行動をしていないため、「一時停止マーカ２」が解除されず、次のＭＭ２－４の画面が表示されたままの状態となっている。（ａ）、（ｂ）は、作業者４がミスをした例となっている。

【0078】

次に、（ｃ）、（ｄ）で、このミスに対応する例を示す。途中までは（ａ）、（ｂ）と同様である。Ｆ１－３で、作業者４の手４１が工具置台７に近づいたため、ＭＭ２－３の「蓋を開けるため、右端のプラスドライバーを手元に移動。」の作業指示に従ったとして、一時停止マーカ１を解除して、ＭＭ２－４に自動コマ送りをする。

【0079】

しかし、天井カメラ２による次のＦ１－４の画像が確認できないため、一時停止マーカ２が解除できない。解除できない状態が所定時間継続したため、判定部１５２は作業者４が作業停止状態になっていると判定して、制御部１５４は天井カメラ２による事前撮影画像の１つである、Ｍ１－４（図５、図６のＭ１－４と同様）を表示する。これにより、作業者４は、プラスドライバー７２を手４１にとることが必要だとあらためて理解し、プラスドライバー７２を手元に持ってくる。これが天井カメラによる画像（Ｆ１－４）で確認され、次のＭＭ２－５の画面に自動コマ送りされる。

【0080】

このようにして、作業者４のミスへの対応を実装することで、作業者４が混乱することなく、作業を進めやすくなる。

【0081】

図８は、実施形態における作業モデル動画の撮影および編集に関する処理を示すフローチャートである。ここでは、図１に示す環境で、熟練作業者よる作業を作業モデル動画として撮影することなどを前提とする。

【0082】

ステップＳ１において、判定部１５２は、作業モデル動画の撮影環境は整っているか否かを判定し、Ｙｅｓの場合はステップＳ２に進み、Ｎｏの場合はステップＳ１に戻る。ステップＳ１では、例えば、天井カメラ２、および、三脚３１に設置された後方カメラ３などの準備が整っている場合、Ｙｅｓと判定する。

【0083】

ステップＳ２において、取得部１５１は、天井カメラ２および後方カメラ３による作業者４の撮影画像を取得する。

【0084】

次に、ステップＳ５において、制御部１５４は、動画のコマ送り処理を実現するための「開始／停止マーキング（一時停止マーキング）」を、１つの作業指示とその次の作業指示の間で、天井カメラ２による画像によって作業者４の作業動作の確認をする場合に設定する。なお、「開始／停止マーキング」は、所定時間の間だけコマ送りを停止する「一時停止マーキング」としてもよい。

【0085】

また、比較領域（指定領域）の設定は、設定した領域への所定のアクション（例えば、手がその領域内に入る、工具置台７から所定の工具が取り出されている状態になっているなど）が実施されたかを、天井カメラ２による画像で確認するためである。

【0086】

次に、ステップＳ６において、判定部１５２は、「開始／停止マーキング」、「比較領域指定」が設定できたか否かを判定し、Ｙｅｓの場合はステップＳ７に進み、Ｎｏの場合はステップＳ４に進む。

【0087】

ステップＳ４において、制御部１５４は、収集した画像群では、設定できない部分があったとして、撮影環境を主とした修正作業実施がされたことを確認し、ステップＳ１に戻る。

【0088】

ステップＳ７において、制御部１５４は、天井カメラ２による撮影画像群と、三脚３１に設置された後方カメラ３による撮影画像群を編集して作成した作業モデル動画とのリンク動作を設定する。

【0089】

次に、ステップＳ８において、判定部１５２は、リンク動作は適正、あるいは、微調整で対応可能か否かを判定し、Ｙｅｓの場合はステップＳ９に進み、Ｎｏの場合は再撮影が必要なのでステップＳ４に進む。

【0090】

ステップＳ９において、制御部１５４は、「微調整実施」にて、時間調整にかかわるもの、例えば、一時停止マーカが設定された場合の最大停止時間をデフォルト値から変える場合の設定や、その後のコマ送りされて表示されるエラー処理画面の指定、作業指示の記載、音声や光を使う場合の設定が実施されたことを確認する。また、その他、各コマへの番号振りや、コマ送り／巻き戻し機能の設定などが行われる。このようにして、一連の作業モデル動画（画像群）とするための各設定、微調整が完了する。

【0091】

次に、ステップＳ１０において、取得部１５１は、作業モデル動画の実施例の収集を開始する。例えば、天井カメラ２による画像を収集する。

【0092】

次に、ステップＳ１１において、判定部１５２は、実施作業例を収集できたか否か、つまり、天井カメラ２による作業者４（新人作業者）の作業画像を収集できたか否かを判定し、Ｙｅｓの場合はステップＳ１２に進み、Ｎｏの場合は撮影した動画、撮影環境に不備があったとしてステップＳ４に進む。

【0093】

次に、ステップＳ１２において、分析部１５３は、統計分析を実行する。例えば、画像収集した作業者４（新人作業者）が作業モデル動画に基づいて作業を実施したか否かに関する統計分析を行う。具体的には、例えば、作業工程ごとに、手動コマ送りの回数をカウントすることで、習熟度を測ることができるとともに、作業者４が作業ミスをしやすい作業工程を把握できる。

【0094】

次に、ステップＳ１３において、制御部１５４は、分析結果に基づき修正点への対応が行われたことを確認する。例えば、分析結果に基づき、作業モデル動画にコメント追加などの改善が行われる。

【0095】

次に、ステップＳ１４において、制御部１５４は、実施作業例の収集を完了するか否かを判定し、Ｙｅｓの場合は作業モデル動画の作成完了として処理を終了し、Ｎｏの場合は改善継続を行うとしてステップＳ４に進む。

【0096】

なお、ステップＳ１１以降は、実際のデータ収集およびその分析結果に基づく修正に関わるもので、必要に応じて繰り返し実施するようにしてもよい。また、フローチャートにおいて、図１中の記憶部１１へのデータ書き込み／読み出しについての記載は省略している。また、対象となる作業者４は、新人作業者に限定されず、該当の作業に未熟な作業者全般である。つまり、本実施形態の技術は、新人作業者の教育だけでなく、多能工化の際の教育、ベテラン作業者の作業品質維持／改善のための再教育など、マニュアルに従った作業環境の促進の全般に活用できる。

【0097】

図９は、実施形態における作業者４の作業モニタリングおよび自動コマ送りエラー発生時に関する処理を示すフローチャートである。これまで説明してきた自動コマ送りが正常に動作しない場合に、天井カメラ２の画像によって作業者４の現在の状態を確認するとともに、エラー発生時の処理を行う手順を示している。

【0098】

まず、ステップＳ２０において、判定部１５２は、自動コマ送りエラー時に教示・指示を出すように設定されているか否かを判定し、Ｙｅｓの場合はステップＳ２１に進み、Ｎｏの場合は処理を終了する。

【0099】

ステップＳ２１において、判定部１５２は、対象の作業工程について、作業モデル動画に、開始／停止マーキング、比較領域指定があるか否かを判定し、Ｙｅｓの場合はステップＳ２２に進み、Ｎｏの場合はステップＳ３４に進む。

【0100】

ステップＳ３４において、制御部１５４は、次の作業工程（トリガー）のモニタリングに移り、ステップＳ２１に戻る。

【0101】

ステップＳ２２において、制御部１５４は、天井カメラ２による作業者４の作業モニタリングを実施する。

【0102】

次に、ステップＳ２３において、判定部１５２は、作業者４の「コマ送り／戻し」操作の検出があったか否かを判定し、Ｙｅｓの場合はステップＳ２４に進み、Ｎｏの場合はステップＳ２６に進む。なお、この検出は、天井カメラ２による画像に基づく推定であってもよいし、あるいは、「コマ送り／戻し」の操作コマンドの有無の確認であってもよい。

【0103】

ステップＳ２４において、判定部１５２は、作業者４が作業場から離席していない状態か否かを判定し、Ｙｅｓの場合はステップＳ２５に進み、Ｎｏの場合はステップＳ２６に進む。

【0104】

ステップＳ２５において、判定部１５２は、各作業工程の設定作業時間を超過したか否かを判定し、Ｙｅｓの場合は所定時間オーバとしてステップＳ２６に進み、Ｎｏの場合は所定時間内としてステップＳ２２に戻って作業モニタリングを継続する。

【0105】

ステップＳ２６において、制御部１５４は、天井カメラ２による画像に基づく作業者４の現在の状態確認を行う。

【0106】

次に、ステップＳ２７において、制御部１５４は、表示動画モデル番号を確認する。

【0107】

次に、ステップＳ２８において、判定部１５２は、表示動画モデル番号と現在の状態の不整合を確認し、Ｙｅｓの場合はステップＳ２９に進み、Ｎｏの場合はステップＳ３４に進む。ステップＳ２８では、具体的には、例えば、天井カメラ２による画像に基づいて、作業者４が想定の作業をせず、不整合、すなわち、サーバ１０による自動コマ送りができない状態にあるか否かを確認する。ステップＳ２８でＹｅｓであれば、不整合があるとして、次のステップＳ２９を実施する。ステップＳ２８でＮｏであれば、なんらかの理由により自動コマ送りのトリガーが掛からない状態にあると判断する。作業を継続するため、一旦ステップＳ３４に進む。これは、自動コマ送りは動作しないが、作業者４による手動コマ送りがされると想定しての処理である。自動コマ送りの判断をする画像に問題があり、後の改善を必要とする部分となる。

【0108】

ステップＳ２９において、制御部１５４は、エラー時の教示・指示を行う。具体的には、例えば、天井カメラ２でモニタリングした場合、作業者４が適切な作業行動をしていないため、自動コマ送りが動作していない場合の処理を行う。すなわち、前出の以前撮影した熟練作業者の天井カメラ２による作業状況の提示を行う（図７の（ｃ）のＭ１－４）。また、文言によるエラー作業時の対処方法の表示などを行ってもよい。

【0109】

次に、ステップＳ３０において、制御部１５４は、作業者４の作業モニタリングを行い、作業者４がエラー時の教示・指示に対してどういう対応をしたかを確認する。

【0110】

次に、ステップＳ３１において、判定部１５２は、作業者４の状態整合し、かつ、自動コマ送り動作稼働か否かを判定し、Ｙｅｓの場合はステップＳ３３に進み、Ｎｏの場合はステップＳ３２に進む。

【0111】

ステップＳ３２において、判定部１５２は、自動コマ送り動作回数Ｎが所定回数Ｎ０以下か否かを判定し、Ｙｅｓの場合はステップＳ２６に戻って作業者４の現状確認をし、Ｎｏの場合はステップＳ３４に進んで次の作業工程のモニタリングに移る。

【0112】

なお、ステップＳ３１でＹｅｓ（進捗整合）となっているなら、作業者４は所定の作業行動をしたことで、コマ送り動作が行われた場合であるので、次に、ステップＳ３３に移る。そして、ステップＳ３３において、判定部１５２は、動画を終了するかを判定し、Ｙｅｓの場合は作業モデル動画の最後に達しているということなので処理を終了し、Ｎｏの場合は作業モデル動画の最後に達していないということなのでステップＳ３４に進む。

【0113】

次に、図１０は、実施形態において、作業モデル動画と作業者４の両方を表示する場合の表示画面例を示す図である。作業者４（新人作業者）が作業内容を確認するために、図３に示すような表示例を用いることができることをすでに説明した。図１０では、別な表示例について説明する。

【0114】

図１０において、領域Ｒ１３では、前述の、事前に撮影した熟練作業者による近接撮影動画（後方カメラ３による動画）が表示される。また、領域Ｒ１２には、事前に撮影した熟練作業者９による天井カメラ２による画像が表示される。そして、領域Ｒ１１には、作業者４が現在作業しているところを天井カメラ２で撮影した画像が表示される。

【0115】

このように、図１０は、熟練作業者と作業者４の作業状態を比べて表示する例である。なお、画像処理により、両作業者の作業状態を重畳して表示し、手の動きの違いなどがより明瞭になるようにしてもよい。

【0116】

次に、図１１は、実施形態において、作業モデル動画と天井カメラ２による熟練作業者の撮影画像の両方を表示する場合の表示画面例を示す図である。これは、天井カメラ２による作業者４の作業状態を示した図３の例と異なり、天井カメラ２により過去に撮影した熟練作業者の作業の様子と、作業モデル動画の両方を表示した例である。領域Ｒ２２は、図１０の領域Ｒ１３と同様である。領域Ｒ２１は、図１０の領域Ｒ１２と同様である。

【0117】

これにより、作業者４に対して、撮影されているという精神的な負担をかけないようにすることができる。また、作業モデル動画を大きく表示するために、天井カメラ２による過去、現在の画像を表示せず、作業モデル動画のみを表示するようにしてもよい。

【0118】

なお、この場合、バックグラウンドの処理として、領域Ｒ２１に示す熟練作業者９による作業画像と、領域Ｒ２３に示す作業者４０による現在の作業画像と、を照合することで、作業者４０による作業の妥当性を判定できる。

【0119】

このように、本実施形態の作業支援システム１によれば、新人作業者（作業者４）がある作業工程の作業をした場合に、熟練作業者の作業と相関の高い作業となっていたときには作業モデル動画を自動的にコマ送りさせ、そうでないときには新人作業者に作業モデル動画のコマ送り操作をさせる。これにより、新人作業者に対して高い利便性の作業支援を実行することができる。つまり、新人作業者は、コマ送りの手間を減らすよう、自然と熟練作業者の動作と同じ動作をするようになり、習熟度が上がっていくとともに、コマ送りの手間が減る。

【0120】

また、事後的に、新人作業者がどの作業工程で失敗しやすいかを特定（統計分析）することで、作業モデル動画へのコメント追加や工程見直しなどの改善を行うことができる。

【0121】

また、コマ送りを手動操作により行った回数を数えることによって、新人作業者の習熟度を定量的に測ることができる。

【0122】

また、作業工程が多く、従来の紙マニュアルでは、チェック漏れが発生してしまうような作業に対しても、チェックを実施したか否かの確認ができる。

【0123】

また、例えば、過去の直近の作業工程について、少なくとも１枚以上の撮影画像の特徴量と、少なくとも１枚以上の作業モデル動画の特徴量と、に所定以上の相関があるか否かを判定することで、作業モデル動画の自動的なコマ送りをするか否かを決定できる。

【0124】

また、過去の直近の作業工程について、少なくとも２枚以上の撮影画像の特徴量と、少なくとも２枚以上の作業モデル動画の特徴量と、を用いて、撮影順を含めて所定以上の相関があるか否かを判定することで、１枚同士の画像からだけでは誤判定が起きやすい場合でも、誤判定を抑制できる。

【0125】

また、過去の直近の作業工程について、撮影画像の特徴量と、作業モデル動画の特徴量と、に所定以上の相関があるか否かを判定する場合に、両画像の所定部分を用いて判定することで、例えば、手で装置の所定箇所の操作をしたか否かなどを高精度で判定できる。

【0126】

また、所定以上の相関がないと判定された場合、相関の低い理由を、画像、文字表示、光の点滅などで表示させることで、新人作業者に相関を上げる対策を促すことができる。

【0127】

また、所定以上の相関があると判定された場合、チェックシートデータの該当の作業項目に電子的なマーキングを行うことで、新人作業者が手作業でマーキングする手間を省くことができる。

【0128】

また、上述の実施形態では、撮影手段として、天井カメラ２と後方カメラ３の２つを用いたが、これに限定されず、いずれかの一方のみを用いるようにしてもよい。例えば、作業内容の詳細を天井カメラ２だけで撮影可能であれば、後方カメラ３は不使用としてもよい。

【0129】

また、例えば、作業内容の詳細を後方カメラ３だけで撮影可能であれば、天井カメラ２は不使用とし、作業者４（新人作業者）による作業も後方カメラ３で撮影するようにすればよい。

【0130】

また、本実施形態の作業支援システム１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供することができる。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

【0131】

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0132】

例えば、作業場のレイアウト変更を行う場合は、作業モデル動画とリンクする天井カメラ２による画像を再撮影によって取得するようにすればよい。その場合、状況によっては、作業モデル動画自体は再撮影不要である。

【符号の説明】

【0133】

１…作業支援システム、２…天井カメラ、３…後方カメラ、４…作業者、５…スマートフォン、１０…サーバ、１１…記憶部、１２…入力部、１３…表示部、１４…通信部、１５…処理部、１５１…取得部、１５２…判定部、１５３…分析部、１５４…制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】