特許 7119687 作業工程管理システム、作業工程管理方法、および作業工程管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】作業工程管理システム、作業工程管理方法、および作業工程管理プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20220809BHJP

   G06Q 50/04 20120101ALI20220809BHJP

【ＦＩ】

G05B19/418 Z

G06Q50/04

【請求項の数】 12

(21)【出願番号】P 2018135205

(22)【出願日】2018-07-18

(65)【公開番号】P2020013341

(43)【公開日】2020-01-23

【審査請求日】2020-12-23

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】八田国際特許業務法人

(72)【発明者】

【氏名】安田 浩平

(72)【発明者】

【氏名】松山 巨樹

(72)【発明者】

【氏名】瀧村 俊則

【審査官】稲垣 浩司

(56)【参考文献】

【文献】特開２０１０－２７７５４６（ＪＰ，Ａ）

【文献】特開２０１８－１０９８８０（ＪＰ，Ａ）

【文献】特開平８－６９９２（ＪＰ，Ａ）

【文献】特開昭６３－２６７１４９（ＪＰ，Ａ）

【文献】特開２０１１－３４２３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

作業者が作業を行う領域を撮影する撮影部と、
前記撮影部から動画データを取得して、前記動画データの中の前記作業者の動作から前記作業者が行っている第１の工程における作業を認識する作業認識部と、
認識した前記作業者の作業から前記第１の工程における作業の進捗度を判定する進捗度判定部と、
前記進捗度判定部が判定した進捗度が所定の進捗度に達したときに、前記第１の工程とは異なる第２の工程における作業を行う作業者に情報を伝える情報端末へ、前記進捗度が前記所定の進捗度に達したこと通知する通知処理部と、
を有し、
前記作業認識部は、前記動画データの中から前記作業者の両手首の関節の座標値を取得し、取得した右手首の関節の座標値の変化と左手首の関節の座標値の変化の違いから、特定の作業内容を認識する、作業工程管理システム。

【請求項2】

前記作業認識部は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、一方の手首の関節の前記第２の軸における座標値が変化せず、かつ、他方の手首の関節の前記第２の軸における座標値が変化している場合、梱包する際に、所定の場所からテープを取る作業、または所定の場所にテープを戻す作業と認識する、請求項１に記載の作業工程管理システム。

【請求項3】

前記作業認識部は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、両方の手首の関節の前記第２の軸における座標値が一定時間変化しない場合、または、一方の手首の関節に対して他方の手首の関節が直線的な動きをしている場合、梱包する際に、テープを貼る作業と認識する、請求項１に記載の作業工程管理システム。

【請求項4】

前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間を記憶する記憶部を有し、
前記進捗度判定部は、前記第１の工程における作業の開始時刻から前記作業認識部で前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間と、前記標準作業時間とを比較して、前記作業認識部が認識した作業が前記標準作業時間より早く進んでいるか遅れているかを示す前記第１の工程の進行状況を判定し、
前記通知処理部は、判定された前記第１の工程の進行状況を前記情報端末へ通知する、請求項１～３のいずれか１つに記載の作業工程管理システム。

【請求項5】

前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間を記憶すると共に、複数の作業者について作業者ごとの習熟度を記憶する記憶部を有し、
前記作業認識部は、前記動画データから前記第１の工程の作業を行う作業者を識別し、
前記進捗度判定部は、前記識別した作業者の前記習熟度、前記第１の工程における作業の開始時刻から前記作業認識部で前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間、および前記標準作業時間から、前記第１の工程の作業終了時刻を予測し、
前記通知処理部は、予測された前記第１の工程の作業終了時刻を前記情報端末に通知する、請求項１～４のいずれか１つに記載の作業工程管理システム。

【請求項6】

前記情報端末は、前記第２の工程の作業場に備え付けられている信号灯もしくはディスプレイ、または前記第２の工程の前記作業者が携帯している携帯情報端末である、請求項１～５のいずれか１つに記載の作業工程管理システム。

【請求項7】

作業者が作業を行う領域を撮影した動画データを取得する段階（ａ）と、
前記動画データの中の前記作業者の動作から前記作業者が行っている第１の工程における作業を認識する段階（ｂ）と、
認識した前記作業者の作業から前記第１の工程における作業の進捗度を判定する段階（ｃ）と、
判定した進捗度が所定の進捗度に達したときに、前記第１の工程とは異なる第２の工程における作業を行う作業者に情報を伝える情報端末へ、前記進捗度が前記所定の進捗度に達したこと通知する段階（ｄ）と、
を有し、
前記段階（ｂ）は、前記動画データの中から前記作業者の両手首の関節の座標値を取得し、取得した右手首の関節の座標値の変化と左手首の関節の座標値の変化の違いから、特定の作業内容を認識する、作業工程管理方法。

【請求項8】

前記段階（ｂ）は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、一方の手首の関節の前記第２の軸における座標値が変化せず、かつ、他方の手首の関節の前記第２の軸における座標値が変化している場合、梱包する際に、所定の場所からテープを取る作業、または所定の場所にテープを戻す作業と認識する、請求項７に記載の作業工程管理方法。

【請求項9】

前記段階（ｂ）は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、両方の手首の関節の前記第２の軸における座標値が一定時間変化しない場合、または、一方の手首の関節に対して他方の手首の関節が直線的な動きをしている場合、梱包する際に、テープを貼る作業と認識する、請求項７に記載の作業工程管理方法。

【請求項10】

前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間をあらかじめ記憶しておき、
前記第１の工程における作業の開始時刻から前記段階（ｂ）において前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間と、前記標準作業時間とを比較して、前記段階（ｂ）において認識した作業が前記標準作業時間より早く進んでいるか遅れているかを示す前記第１の工程の進行状況を判定する段階（ｅ）を有し、
前記段階（ｄ）においては、判定された前記第１の工程の作業の進行状況を前記情報端末へ通知する、請求項７～９のいずれか１つに記載の作業工程管理方法。

【請求項11】

前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間、および、複数の作業者について作業者ごとの習熟度をあらかじめ記憶しておき、
前記動画データから前記第１の工程で作業を行っている作業者を識別する段階（ｆ）と、
前記識別した作業者の前記習熟度、前記第１の工程における作業の開始時刻から前記段階（ｂ）において前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間、および前記標準作業時間から、前記第１の工程の作業終了時刻を予測する段階（ｇ）を有し、
前記段階（ｄ）においては、予測された前記第１の工程の作業終了時刻を前記情報端末へ通知する、請求項７～１０のいずれか１つに記載の作業工程管理方法。

【請求項12】

請求項７～１１のいずれか１つに記載の作業工程管理方法をコンピューターに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業工程管理システム、作業工程管理方法、および作業工程管理プログラムに関する。

【背景技術】

【0002】

製造業の作業現場では、作業効率向上のために、作業の進捗を管理するための技術が提案されている。

【0003】

たとえば、特許文献１では、サーバーに、複数の作業工程ごとに作業内容と、その実行予定時間が割り当てられた進行計画表を記憶しておき、各工程から作業内容の進行状況を受信する。そして、サーバーは、受信した進行状況が進行計画表の計画に対して遅れているか否かを判定し、進行状況が計画より遅れている作業内容の表示形態と、遅れていない作業内容の表示形態とを区別して進行状況表として表示する。これにより、作業現場における作業の進捗状況をリアルタイムに近い時間で管理できることとなっている。さらに、この特許文献１では、作業が予定より早く進んでいる作業者を、予定より遅い作業者のいる工程へ向かわせて作業を補助させることで、複数の各工程の作業時間の遅延を防止している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１１７８８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術は、進行状況が進行計画表の計画に対して早いか遅れているかを判定することで、作業の進行状況をリアルタイムに近い時間で管理することとしている。

【0006】

しかし、このような従来技術では、各工程における作業の進捗度がわからない。このため、ある工程へ応援に来た作業者が、段取り開始のタイミングがわからず作業開始までの時間が無駄になってしまったり、また、ある工程において次の作業のための段取りを準備していたにも関わらず、前工程の進捗が悪くて作業できずに無駄になってしまったりする。さらには、作業者が他の工程へ応援に行ったことで、本来その作業者が作業していた工程に遅延が発生してしまうこともある。

【0007】

本発明は、上記の事情に鑑みてなされたものであり、本発明の目的は、ある工程の作業の進捗度をリアルタイムに把握して、他の工程に通知することのできる作業工程管理システム、作業工程管理方法、および作業工程管理プログラムを提供することである。

【課題を解決するための手段】

【0008】

本発明の上記の目的は、下記の手段によって達成される。

【0009】

（１）作業者が作業を行う領域を撮影する撮影部と、
前記撮影部から動画データを取得して、前記動画データの中の前記作業者の動作から前記作業者が行っている第１の工程における作業を認識する作業認識部と、
認識した前記作業者の作業から前記第１の工程における作業の進捗度を判定する進捗度判定部と、
前記進捗度判定部が判定した進捗度が所定の進捗度に達したときに、前記第１の工程とは異なる第２の工程における作業を行う作業者に情報を伝える情報端末へ、前記進捗度が前記所定の進捗度に達したこと通知する通知処理部と、
を有し、
前記作業認識部は、前記動画データの中から前記作業者の両手首の関節の座標値を取得し、取得した右手首の関節の座標値の変化と左手首の関節の座標値の変化の違いから、特定の作業内容を認識する、作業工程管理システム。

【0010】

（２）前記作業認識部は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、一方の手首の関節の前記第２の軸における座標値が変化せず、かつ、他方の手首の関節の前記第２の軸における座標値が変化している場合、梱包する際に、所定の場所からテープを取る作業、または所定の場所にテープを戻す作業と認識する、上記（１）に記載の作業工程管理システム。

【0011】

（３）前記作業認識部は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、両方の手首の関節の前記第２の軸における座標値が一定時間変化しない場合、または、一方の手首の関節に対して他方の手首の関節が直線的な動きをしている場合、梱包する際に、テープを貼る作業と認識する、上記（１）に記載の作業工程管理システム。

【0012】

（４）前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間を記憶する記憶部を有し、
前記進捗度判定部は、前記第１の工程における作業の開始時刻から前記作業認識部で前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間と、前記標準作業時間とを比較して、前記作業認識部が認識した作業が前記標準作業時間より早く進んでいるか遅れているかを示す前記第１の工程の進行状況を判定し、
前記通知処理部は、判定された前記第１の工程の進行状況を前記情報端末へ通知する、上記（１）～（３）のいずれか１つに記載の作業工程管理システム。

【0013】

（５）前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間を記憶すると共に、複数の作業者について作業者ごとの習熟度を記憶する記憶部を有し、
前記作業認識部は、前記動画データから前記第１の工程の作業を行う作業者を識別し、
前記進捗度判定部は、前記識別した作業者の前記習熟度、前記第１の工程における作業の開始時刻から前記作業認識部で前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間、および前記標準作業時間から、前記第１の工程の作業終了時刻を予測し、
前記通知処理部は、予測された前記第１の工程の作業終了時刻を前記情報端末に通知する、上記（１）～（４）のいずれか１つに記載の作業工程管理システム。

【0014】

（６）前記情報端末は、前記第２の工程の作業場に備え付けられている信号灯もしくはディスプレイ、または前記第２の工程の前記作業者が携帯している携帯情報端末である、上記（１）～（５）のいずれか１つに記載の作業工程管理システム。

【0015】

（７）作業者が作業を行う領域を撮影した動画データを取得する段階（ａ）と、
前記動画データの中の前記作業者の動作から前記作業者が行っている第１の工程における作業を認識する段階（ｂ）と、
認識した前記作業者の作業から前記第１の工程における作業の進捗度を判定する段階（ｃ）と、
判定した進捗度が所定の進捗度に達したときに、前記第１の工程とは異なる第２の工程における作業を行う作業者に情報を伝える情報端末へ、前記進捗度が前記所定の進捗度に達したこと通知する段階（ｄ）と、
を有し、
前記段階（ｂ）は、前記動画データの中から前記作業者の両手首の関節の座標値を取得し、取得した右手首の関節の座標値の変化と左手首の関節の座標値の変化の違いから、特定の作業内容を認識する、作業工程管理方法。

【0016】

（８）前記段階（ｂ）は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、一方の手首の関節の前記第２の軸における座標値が変化せず、かつ、他方の手首の関節の前記第２の軸における座標値が変化している場合、梱包する際に、所定の場所からテープを取る作業、または所定の場所にテープを戻す作業と認識する、上記（７）に記載の作業工程管理方法。

【0017】

（９）前記段階（ｂ）は、作業者を上方から撮影した動画データのフレーム内において、作業者の左右方向に対応する第１の軸、および前記第１の軸と交差する第２の軸から構成される２次元座標系において、両方の手首の関節の前記第２の軸における座標値が一定時間変化しない場合、または、一方の手首の関節に対して他方の手首の関節が直線的な動きをしている場合、梱包する際に、テープを貼る作業と認識する、上記（７）に記載の作業工程管理方法。

【0018】

（１０）
前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間をあらかじめ記憶しておき、
前記第１の工程における作業の開始時刻から前記段階（ｂ）において前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間と、前記標準作業時間とを比較して、前記段階（ｂ）において認識した作業が前記標準作業時間より早く進んでいるか遅れているかを示す前記第１の工程の進行状況を判定する段階（ｅ）を有し、
前記段階（ｄ）においては、判定された前記第１の工程の作業の進行状況を前記情報端末へ通知する、上記（７）～（９）のいずれか１つに記載の作業工程管理方法。

【0019】

（１１）前記第１の工程は複数の作業からなり、前記複数の作業の中の１つ１つの作業ごとに要する標準作業時間または前記複数の作業の中のいくつかをまとめた作業ごとに要する標準作業時間、および、複数の作業者について作業者ごとの習熟度をあらかじめ記憶しておき、
前記動画データから前記第１の工程で作業を行っている作業者を識別する段階（ｆ）と、
前記識別した作業者の前記習熟度、前記第１の工程における作業の開始時刻から前記段階（ｂ）において前記複数の作業の中の前記１つの作業または前記まとめた作業を認識した時刻までの時間、および前記標準作業時間から、前記第１の工程の作業終了時刻を予測する段階（ｇ）を有し、
前記段階（ｄ）においては、予測された前記第１の工程の作業終了時刻を前記情報端末へ通知する、上記（７）～（１０）のいずれか１つに記載の作業工程管理方法。

【0020】

（１２）上記（７）～（１１）のいずれか１つに記載の作業工程管理方法をコンピューターに実行させるためのプログラム。

【発明の効果】

【0021】

本発明によれば、第１工程の作業者を撮影した動画データから、作業者が行っている作業を認識して、認識した作業から第１の工程の進捗度を判定し、所定の進捗度になれば第１の工程と異なる第２の工程に居る作業者が見られる情報端末へ通知することとした。これにより第２の工程の作業者は、リアルタイムに第１の工程の進捗度がわかる。したがって、段取りの無駄や作業開始の遅延を少なく、またはなくすことができる。

【図面の簡単な説明】

【0022】

【図1】実施形態の作業工程管理システムの全体構成を示す概略図である。

【図2】実施形態の作業工程管理システムの機能を説明するための機能ブロック図である。

【図3】梱包工程を撮影した画像の一例を示す図である。

【図4】梱包工程の作業内容を説明するための説明図である。

【図5】梱包工程の作業内容を説明するための説明図である。

【図6】梱包工程の作業内容を説明するための説明図である。

【図7】左右の手首関節Ｒ１およびＬ１のＹ軸座標値を時系列に示したグラフである。

【図8】作業者個人の習熟度の一例を示す習熟度テーブルである。

【図9】進捗度の通知を受けた携帯情報端末の画面表示例を示す図である。

【図10】工程管理方法の処理手順を示すフローチャートである。

【図11】図１０に続く、工程管理方法の処理手順を示すフローチャートである。

【図12】変形例１の全体構成を示す概略図である。

【図13】変形例２の全体構成を示す概略図である。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0024】

図１は、実施形態の作業工程管理システムの全体構成を示す概略図である。図２は、実施形態の作業工程管理システムの機能を説明するための機能ブロック図である。

【0025】

この作業工程管理システム１は、複数の工程５１～５３の作業場にそれぞれ設置されたカメラユニット１１～１３と、カメラユニット１１～１３が接続されたサーバー２０と、工程５１～５３で作業を行う作業者が携帯する携帯情報端末４１または工程５１～５３の作業場に備えられた積層信号灯４２とを有する。

【0026】

複数の工程５１～５３は、製品（物品）を製造した後の工程であり、検査工程５１、梱包工程５２、パレタイズ工程５３である。これらの工程５１～５３は、いずれも作業者３１～３３による作業が必要である。検査工程５１は、生産された物品を作業者３１が検査する。梱包工程５２は、検査後、検査合格した物品を作業者３２が段ボール箱に詰める。パレタイズ工程５３は、梱包された段ボール箱を作業者３３がパレットに載せる。なお、これらの工程５１～５３は、あくまでも一例であり、本発明は、その他の工程であっても適用可能である。

【0027】

カメラユニット１１～１３は、いずれも同じものであり、カメラ１５と、カメラ１５に一体化されたコンピューター（ＣＯＭＰ：Ｃｏｍｐｕｔｅｒ）１６からなる。

【0028】

カメラ１５は、撮影部１０１（図２参照）となる。カメラ１５は、それぞれの工程５１～５３において作業者３１～３３がそれぞれ作業する領域を撮影する。したがって、カメラユニット１１～１３は、工程５１～５３ごとにその工程で作業を行う作業者の動きを撮影できる位置に設置する。たとえば、作業者３１～３３が主に腕を上下に動かすことで作業を行うような場合は作業者３１～３３の腕の上下動を撮影することができる位置に設置することが好ましい。また、作業者３１～３３が主に腕を前後に動かすことで作業を行うような場合は作業者３１～３３の腕の前後動を撮影することができる位置に設置することが好ましい。そのほかの作業者３１～３３の動作についても同様であり、作業者３１～３３が行う作業内容を撮影することができる位置に設置する。カメラ１５自体は一般的なカラームービーカメラを用いることができる。

【0029】

コンピューター１６は、作業認識部１０２および進捗度判定部１０３（図２参照）として機能する（詳細後述）。コンピューター１６は、各種の演算処理を実行するプロセッサー（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ＵｎｉｔまたはＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが適宜組み合わされて構成されている記憶装置（記憶部１１１）を備える。また、カメラ１５と動画データを受信するために、たとえば、ＰＣＩ Ｅｘｐｒｅｓｓ、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、その他のビデオ信号用インターフェースなどのいずれか（またはこれら複数）を備える。

【0030】

このコンピューター１６は、たとえば、カメラ１５と同じ筐体内に設置されるか、または、カメラ１５の筐体とコンピューター１６の筐体とが接続されて一体となっていてもよい。このため、このコンピューター１６は、たとえば１ボードコンピューターや１チップコンピューターなど小型のものであることが好ましい。しかし、このコンピューター１６は、必ずしもカメラと一体化されている必要はなく、たとえば別筐体のカメラ１５とビデオ信号用ケーブルで接続されたパソコンなどであってもよい。ただし、本実施形態では、カメラ１５とコンピューター１６が１対１に対応していて、１台のカメラ１５からの動画データを用いて作業認識部１０２および進捗度判定部１０３として機能する。

【0031】

また、このコンピューター１６は、サーバー２０と接続するためのインターフェースを備えている。たとえば、イーサネット（登録商標）、ＩＥＥＥ１３９４などの規格によるＢｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどである。

【0032】

サーバー２０は、通知処理部１０４（図２参照）として機能する（詳細後述）。サーバー２０もコンピューターであり、プロセッサーおよび記憶装置（記憶部１１２）、各種インターフェースを備える（ハードウェア構成は、上述したカメラ１５に一体化されているコンピューター１６と同様であるので説明は省略する）。

【0033】

サーバー２０は、カメラユニット１１～１３のコンピューター１６と接続するためのインターフェースを備えている。カメラユニット１１～１３のコンピューター１６と同様である。

【0034】

また、サーバー２０は、前記の無線通信インターフェースを介して作業者３１～３３が持つ携帯情報端末４１と接続される。また、サーバー２０は、各工程５１～５３の作業場にある積層信号灯（以下、信号灯４２という）に接続されている。

【0035】

携帯情報端末４１および信号灯４２は、サーバー２０から前工程の進捗度が所定の進捗度となった段階で、その通知を受けて表示する情報端末１０５である（図２参照）。

【0036】

携帯情報端末４１は、たとえばディスプレイを備えるスマートフォンやタブレット、または専用端末である。携帯情報端末４１は、サーバー２０から前工程の進捗度が所定の進捗度となったことを示す通知を受けてディスプレイに表示する。

【0037】

信号灯４２は、各工程に備え付けられている。信号灯４２は、サーバー２０から前工程の進捗度が所定の進捗度となったことを示す通知を受けて信号灯４２の点灯する色を変化させる。たとえば前工程の進捗度が正常に終了した通知であれば緑色、前工程の進捗度が遅れている通知であれば黄色、前工程の作業が停止した通知であれば赤色などとする。もちろん、信号灯４２を点灯させる色は、通知される内容に応じて変えてもよい。

【0038】

次に、図２を参照して、実施形態の作業工程管理システムの機能を説明する。

【0039】

撮影部１０１は既に説明したとおりカメラ１５である。

【0040】

作業認識部１０２は、カメラ１５からの動画データを取得して、作業者の作業を認識する。

【0041】

作業者の作業の認識は、カメラ１５による動画データから行う。たとえば、骨格認識技術を用いて、作業者の特定の関節の位置（座標値）を取得して、関節位置（座標）から、作業内容を認識する。

【0042】

骨格認識技術は、たとえば、オープンポーズ（Ｏｐｅｎ Ｐｏｓｅ）がある。オープンポーズは、コンピュータービジョンに関する国際学会ＣＶＰＲ２０１７でＣＭＵ（カーネギーメロン大学）が発表した、ｋｅｙｐｏｉｎｔ（特徴点）の検出とｋｅｙｐｏｉｎｔ同士の関係の推定を行う技術である。オープンポーズを使うことで人の関節の位置など、人の体における特徴点がどの座標にあるかわかる（たとえばhttp://leapmind.io/blog/2018/01/22/%E4%BD%93%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%82%84%E5%90%91%E3%81%8D%E3%81%8C%E6%8E%A8%E5%AE%9A%E3%81%A7%E3%81%8D%E3%82%8Bopenpose%E3%82%92%E7%B4%B9%E4%BB%8B/ 参照）。また同様の骨格認識技術として、ディープポーズ（Ｄｅｅｐ Ｐｏｓｅ（https://www.slideshare.net/mitmul/deeppose-human-pose-estimation-via-deep-neural-networks など参照））がある。

【0043】

具体例を挙げて、骨格認識技術を用いた作業者の作業の認識について説明する。図３は、梱包工程を撮影した画像の一例を示す図である。

【0044】

この図３の画像例は、梱包工程５２において、カメラ１５が撮影領域２００を撮影した映像（動画データ）の１フレーム分を示している。撮影領域２００は作業者３２が作業を行う領域を含んでいる。ここでは、カメラ１５を、作業者３２をほぼ真上から撮影するように設置している。動画データには、フレームの画面内にＸ－Ｙの２次元座標系を設定している。

【0045】

撮影領域２００内には、作業者３２が梱包工程５２に来たことを検知するための作業領域２０１を設定している。作業領域２０１は作業者３２がこの工程で作業をする際に存在する領域（作業のための移動を含む）であり、２次元座標系の座標値で設定する。同様に、作業対象である段ボール箱８０が置かれる位置もワーク領域２０２として座標値で設定している。さらに、作業に必要なツールが置かれるツール領域２０３を座標値で設定している。ここでのツールは段ボール箱８０を閉じる際に貼り付ける梱包用の粘着テープ９０（ＯＰＰ（Ｏｒｉｅｎｔｅｄ Ｐｏｌｙ Ｐｒｏｐｙｌｅｎｅ）テープや、いわゆるガムテープなど）である。

【0046】

この撮影領域２００には作業者３２が居る。この画像には、骨格認識技術により、作業者３２の骨格が映し出されている。この画像では、作業者３２の骨格として、右肩３０１Ｒ、右上腕３０２Ｒ、右前腕３０３Ｒ、左肩３０１Ｌ、左上腕３０２Ｌ、左前腕３０３Ｌが映し出されている。

【0047】

骨格認識技術では、これらの骨格や関節の現在の座標値（動画データにおける各フレーム内での座標値）を得ることができる。ここでは、手首関節Ｒ１およびＬ１の座標値と、肩関節Ｒ２およびＬ２の座標値を取得している。手首関節Ｒ１およびＬ１の座標値は、手の動きを認識するために使用する。また、肩関節Ｒ２およびＬ２の座標値は作業者３２の位置を認識するために使用する。もちろんその他の骨格や関節の座標値なども得られているので、必要により使用する。

【0048】

作業認識部１０２は、このように骨格認識技術を用いて作業者３２の手首と肩の位置（座標値）を認識する。

【0049】

そして、作業認識部１０２は、得られた作業者３２の手首と肩の位置（座標値）から、どのような作業を行っているかを認識する。これには２通りの方法がある。第１は、作業者３２の特定の関節の座標値の時系列の変化から認識する方法である。第２は、作業者３２の特定の関節の座標値が作業内容に対応した所定領域に入ったか否かにより認識する方法である。

【0050】

まず、作業者の特定の関節の座標値の時系列の変化から認識する方法を説明する。

【0051】

図４～６は、梱包工程の作業内容を説明するための説明図である。図４～６は、前述の図３同様に梱包工程５２における画像例であり、図３に続く作業内容を示している。

【0052】

ここでは、前述の図３を作業開始とする。図４はツール領域２０３から粘着テープ９０を取る作業を示している。図５は段ボール箱８０のフラップ８１を閉じて粘着テープ９０を貼っている作業を示している。図６はテープ貼りが終わって粘着テープ９０をツール領域２０３に戻す作業を示している。

【0053】

図７は、左右の手首関節Ｒ１およびＬ１のＹ軸座標値を時系列に示したグラフである。縦軸はＹ軸座標値、横軸は時間である。図７から左右の手首関節Ｒ１およびＬ１のＹ軸方向の動きがわかる。なお、ここでのＹ軸の方向は、図３～６に示したとおり、動画データの画面におけるＹ軸方向である。

【0054】

まず、作業開始は、図３の状態であり、１個の梱包作業の開始である。図７を見れば、時系列の初めに、手首関節Ｒ１およびＬ１のＹ軸座標値が共に高くなっている。これは、空の段ボール箱８０を両手で持って作業台のワーク領域２０２に置いたためである。

【0055】

このような時系列の初めに手首関節Ｒ１およびＬ１のＹ軸座標値が共に高くなるパターンをあらかじめ「１個の梱包開始」の作業として記憶部１１１に記憶しておく。そして、作業認識部１０２は、動画データから、このパターンと同様の手首関節Ｒ１およびＬ１のＹ軸座標値を検出したなら、それを「１個の梱包開始」の作業を行ったものと認識する。

【0056】

続いて、図７を見れば、手首関節Ｒ１のみＹ軸座標値が急激に高くなって、その後低くなっている。これは、図４に示すように粘着テープ９０を右手で取りに行ったためである。

【0057】

したがって、この手首関節Ｒ１のみＹ軸座標値が急激に高くなりすぐに低くなるパターンを「テープ取り作業」として記憶部１１１に記憶しておき、作業認識部１０２が動画データから作業を認識するために使用する。

【0058】

続いて、図７を見れば、手首関節Ｒ１およびＬ１のＹ軸座標値が共にほぼ同じ位置にとどまって時間が経過している。しかも、途中、手首関節Ｒ１およびＬ１が異なる動きをしているものの、計３回（Ｐ１～Ｐ３）にわたり、手首関節Ｒ１およびＬ１がある程度の時間同じ位置になっている。これは、図５に示すように、段ボール箱８０のフラップ８１を閉じて粘着テープ９０を貼っている作業である（貼り付けたテープ９１）。ここでＰ１～Ｐ３の３回行われているのは、フラップ８１を閉じ合わせてテープを貼るＰ１、フラップ８１のサイド部分の角にテープを貼るＰ２およびＰ３である。つまり、ここでは段ボール箱８０に対して、いわいる「Ｈ貼り」という貼り方としている（図６の貼り付けたテープ９１参照）。したがって、この手首関節Ｒ１およびＬ１のＹ軸座標値が共にほぼ同じ位置にとどまって、ある程度の時間が経過するパターンを、「テープ貼り作業として」として記憶部１１１に記憶しておき、作業認識部１０２が動画データから作業を認識するために使用する。なお、テープ貼り作業の回数は、テープの貼り方次第である。たとえば十字型に貼る場合は、手首関節Ｒ１およびＬ１のＹ軸座標値が２回ほぼ同じ位置になる。また、フラップ８１を閉じ合わせた部分にテープを貼って終わる場合は、手首関節Ｒ１およびＬ１のＹ軸座標値が１回だけ、ほぼ同じ位置になる。

【0059】

ここで手首関節Ｒ１およびＬ１のＹ軸座標値が共に「ほぼ同じ位置」とは、手首関節Ｒ１およびＬ１のＹ軸座標値が許容される誤差範囲内にあるものをいう。

【0060】

テープ貼り作業は、多くの場合、片方の手でテープを押さえ、もう片方の手でテープロールを回し引きしながら貼って行く。このため手首関節Ｒ１およびＬ１のＹ軸座標値は、多くの場合同じ位置となる。しかし、作業者３２によっては元々テープを押さえる手とテープロールを引く手の位置がずれていたり（手首関節Ｒ１およびＬ１のＹ軸座標値がずれている）、段ボール箱８０が斜めに置かれたりする。このため手首関節Ｒ１およびＬ１のＹ軸座標値に多少の違いが生じることがある。そこで、手首関節Ｒ１のＹ軸座標値と手首関節Ｌ１のＹ軸座標値の差分を誤差として、許容できる誤差範囲を設けておくのである。

【0061】

これを式で表すと、右手首関節Ｒ１のＹ軸座標値を「Ｒ１ｙ」、左手首関節Ｌ１のＹ軸座標値を「Ｌ１ｙ」として、下記（１）式のとおりである。

【0062】

｜Ｒ１ｙ－Ｌ１ｙ｜≦誤差範囲 …（１）
このような誤差範囲は、たとえば、実験や実績などから求めて決定することが好ましい。具体的な誤差範囲の値は、段ボール箱８０の大きさや作業者によって異なるものの、たとえば、１～１０ｃｍ程度である。

【0063】

なお、ここでは手首関節Ｒ１およびＬ１のＹ軸座標値のみに着目しているがＸ軸、Ｙ軸の両方から手首関節Ｒ１およびＬ１の位置がほぼ直線的な動きをしたか否か判断してもよい。テープ貼り作業は、上述のとおり、多くの場合、片方の手に対してもう片方の手が直線的に離れてゆく。したがってこの手の動き、すなわち、手首関節Ｒ１およびＬ１のＸ軸およびＹ軸の値の変化から手首関節Ｒ１に対して手首関節Ｌ１がほぼ直線的な動きをしていれば、テープ貼り作業と認識できる。ここでもほぼ直線的とは、上記の誤差範囲と同様に許容できる誤差範囲を設定するとよい。

【0064】

また、直方体の段ボール箱８０が斜めに置かれた場合に、置かれた段ボール箱８０の辺の延在方向に応じて座標軸の回転処理（Ｙ軸からＹ’軸）を行い、回転後の座標系におけるＹ’軸座標値において、これらの判断を行うようにしてもよい。また、動画データから、３次元座標系を認識する系であれば、鉛直方向をＺ軸として、手首関節Ｒ１およびＬ１のＺ軸座標値がほぼ同じ位置であることで、テープ貼り作業と認識するようにしてもよい。３次元座標系において、手首関節Ｒ１およびＬ１のＺ軸座標値がほぼ同じ位置である場合、両手がほぼ水平に移動していることになる。これは片方の手でテープを押さえ、もう片方の手でテープロールを回し引きしながら貼って行く作業と一致する。

【0065】

続いて、図７を見れば、再度、手首関節Ｒ１のみ、Ｙ軸座標値が急激に高くなって下がっている。これは、使い終わった粘着テープ９０を右手でツール領域２０３へ戻したためである。

【0066】

したがって、２回目の手首関節Ｒ１のみＹ軸座標値が急激に高くなりすぐに低くなるパターンを「テープ戻し作業」として記憶部１１１に記憶しておき、作業認識部１０２が動画データから作業を認識するために使用する。

【0067】

さらに、テープ取り、テープ貼り、およびテープ戻しの一連の作業は、作業開始の直後に行われている（未だ、物品の詰め込む作業をしていない）。このことから、この一連の動作は、段ボール箱８０の底面に粘着テープ９０を貼って底蓋を作る作業である。このような一連の動作パターンを記憶部１１１に記憶しておくことで、作業認識部１０２が動画データからこの一連のパターンと同様の動きを検出することで、段ボール箱８０の底面にテープを貼る作業であると認識する。

【0068】

続いて、図７を見れば、手首関節Ｒ１およびＬ１のＹ軸座標値が不規則に変化している。このような動きは物品を段ボール箱８０に詰めるために、左右の手が段ボール箱８０の方へ行ったり、段ボール箱８０から離れたりするために起こる。

【0069】

したがって、このような手首関節Ｒ１およびＬ１のＹ軸座標値が時系列に沿って不規則に変化するパターンを「物品詰め作業」として記憶部１１１に記憶しておき、作業認識部１０２が動画データから作業を認識するために使用する。

【0070】

続いて、図７を見れば、再び、テープ取り作業、テープ貼り作業（Ｐ４～Ｐ６）、そして、テープ戻し作業となっている。最後のテープ戻し作業が図６に示したものである。図６では、梱包作業が終了した段ボール箱８０に貼り付けたテープ９１が、上から見てＨ型となっている。テープ取り作業、テープ貼り作業（Ｐ４～Ｐ６）、およびテープ戻し作業からなる一連の作業は２回目である。このことから、作業認識部１０２が動画データからこの一連のパターンと同様の動きを検出し、しかもそれが２回目であれば、段ボール箱８０の上面を閉じるためにテープを貼る作業であると認識する。

【0071】

その後は、手首関節Ｒ１およびＬ１のＹ軸座標値が共に低くなっている。これは１個の梱包作業を終了したため、手を段ボール箱８０から離した動作である。

【0072】

このように梱包作業における手の動きを時系列に追うと、作業内容ごとに特徴がある、そしてそれらの特徴は手首関節Ｒ１およびＬ１のＹ軸の座標値の変化として捉えることができる。したがって、既に説明したように、それぞれの作業ごとの手首関節Ｒ１およびＬ１のＹ軸座標値をパターンとして記憶部１１１に記憶しておき、実際の作業が行われた際に動画データからそれらの動きと同様の動きを検出することで各作業を認識できる。

【0073】

特に、テープ貼り作業は、手首関節Ｒ１およびＬ１のＹ軸座標値がほぼ同じ位置になって、一定時間推移するという特徴的な動きとなっている。このためテープ貼り作業は、他の動作と比較して判別しやすい。この例では、テープ貼り作業が６回（Ｐ１～Ｐ６）行われているので、この６回のテープ貼り作業だけ認識することとしてもよい。

【0074】

次に、作業者の特定の関節の座標値が所定位置に来たか否かにより認識する方法を説明する。

【0075】

作業開始は、たとえば、作業領域２０１に作業者３２が入ったことを検知した時点とする。これには、たとえば作業者３２の肩関節Ｒ２またはＬ２が作業領域２０１に入れば作業開始と判断する。また、梱包工程５２においては、作業者３２が複数の梱包作業を連続して行うために作業領域２０１から出ないことがある。そのような場合において作業開始は、たとえば、ワーク領域２０２（この場合のワークとは段ボール箱８０である）に段ボール箱８０を置いたことを検知した時点とする。その他にも、梱包工程５２においては、作業開始として、最初の粘着テープ９０を取り行った時点（後述）としてもよい。

【0076】

続いて、作業者３２は粘着テープ９０を取りに行き、テープ貼り後、テープを戻しに行く。このため、手首関節Ｒ１の座標値が、ツール領域２０３内に２回出入りしたことで、テープ取りとテープ戻しの作業が行われたことがわかる。これにより、テープ取りとテープ戻しの間に粘着テープ９０を段ボール箱８０に貼る作業を行ったと推定できる。既に説明したように、梱包工程５２では、まず段ボールの底面を形成し、その後物品を詰め込んでから、上蓋をテープ貼りする。したがって、手首関節Ｒ１の座標値が、ツール領域内に入ることが合計４回行われることになる。

【0077】

このように、特定の関節として、肩関節および手首関節の位置（座標値）と作業内容に対応した領域の座標値から、作業内容を認識することができる。

【0078】

以上の作業内容の認識方法は、それぞれ単独で行ってもよいが、時系列での判別と所定領域での判別を組み合わせてもよい。たとえば、１個の梱包作業の開始は、作業者３２が作業領域２０１に入ったこと、または段ボール箱８０をワーク領域２０２に置いたことで判別する。また、手首関節Ｒ１がツール領域２０３に入ったことでテープ貼りのトリガーとして使用し、その後、時系列での判断として、手首関節Ｒ１がツール領域２０３に入った後、手首関節Ｒ１およびＬ１が所定時間ほぼ同じＹ軸座標値にあることでテープ貼り作業と認識する。

【0079】

このような作業の認識は、他の工程においても作業認識部１０２により行われる。たとえば、検査工程５１が物品の表面検査であれば、物品を作業領域２０１に運び入れたり、検査領域に作業者３１が入る、また、必要なツールを取るなどにより認識する。また、パレタイズ工程５３では、たとえば、パレットに段ボール箱８０を４個積む場合、同じ動作が４回繰り返されることになる。したがって、時系列に同じ動作が４回繰り返されたなら、１枚のパレットの積み込み作業終了と認識する。

【0080】

作業認識部１０２は、作業内容（作業開始を含む）を認識するたびに（作業内容が判明するたびに）、認識した作業内容を進捗度判定部１０３へ送信する。

【0081】

進捗度判定部１０３は、受信した作業内容から現在時点における作業の進捗度を判定する。進捗度判定部１０３は、進捗度を判定するために、作業内容とそれに対応する進捗度をあらかじめ記憶部１１１に記憶しておく。そして、進捗度判定部１０３は、作業認識部１０２から作業内容と記憶している作業内容を対比して進捗度を求める。

【0082】

たとえば、テープ貼り作業から進捗度を求める場合、図７に示したように、テープ貼り作業はＰ１～Ｐ６の６回ある。そこで、テープ貼り作業Ｐ１～Ｐ６に対応させて進捗度を規定しておく。たとえば、テープ貼り作業Ｐ１で進捗度１％、テープ貼り作業Ｐ２で進捗度５％、テープ貼り作業Ｐ３で進捗度１０％、その後物品の詰め込み作業があり、テープ貼り作業Ｐ４で進捗度９０％、テープ貼り作業Ｐ５で進捗度９５％、そして最後のテープ貼り作業Ｐ６が終われば進捗度１００％などとする。

【0083】

このような進捗度の規定は、たとえば、モデルとなる作業者に実際に作業をさせて、各作業内容とその時の進捗度を求めておいて、記憶部１１１に作業内容に対応する進捗度として記憶しておく。その他、たとえば、これまでの作業の実績から各作業内容と進捗度を対応させてもよいし、作業内容に対応して設計的に想定される進捗度を対応させてもよい。

【0084】

また、進捗度判定部１０３は、進捗度と共に、作業ごとの進行状況を判定することもできる。ここで進行状況とは、標準的な作業の進行時間に対して実際の作業が早く進んでいるか遅れているかを示すものである。

【0085】

このために記憶部１１１には標準作業時間を記憶しておく。標準作業時間は、たとえば、１つの工程が複数の作業からなる場合に、全作業の開始から終了まで時間である。また、複数の作業からなる１つの工程であっても、それら１つ１つの作業ごと、または複数の作業の中のいくつかをまとめた作業ごとに標準作業時間を決めておいてもよい。

【0086】

進捗度判定部１０３は、作業認識部１０２が作業内容を認識した時刻を記録し、作業開始時刻（後述）から作業内容を認識した時刻までの間の時間と、記憶部１１１から読み出した標準作業時間を対比する。これにより標準作業時間に対して実際の作業が進んでいるか遅れているかを判定する。

【0087】

作業開始時刻は、１つの工程における開始から終了までの進行状況を求めるため、基本的に、その工程における最初の作業の開始時刻となる。しかし、１つ１つの作業（または一まとめにした複数の作業）ごとに進行状況を求める場合は、それら１つ１つの作業（または一まとめにした複数の作業）作業開始時刻としてもよい。

【0088】

一例を説明する。たとえば、図７に示した梱包工程は、既に説明したように、複数の作業からなる。そしてテープ貼り作業はＰ１～Ｐ６の６回ある。そこで、この６回のテープ貼り作業Ｐ１～Ｐ６について、前半の３回をまとめた底面テープ貼り作業の標準作業時間、後半の３回をまとめた上面テープ貼り作業の標準作業時間、そして底面テープ貼り作業と上面テープ貼り作業の間にある詰め込み作業の標準作業時間をそれぞれ記憶しておく。

【0089】

そして、進捗度判定部１０３は、実際に作業を認識時刻と標準作業時間とを比較することで、複数の作業の中の１つの作業ごとまたはまとめた作業ごとに早いか遅いかが判定できる。

【0090】

１例を表１に示す。ここでは、１回目テープ取り作業を１個の梱包作業開始、１回目テープ戻し作業から２回目テープ取り作業までを詰め込み作業、テープ貼り作業Ｐ６終了で１個の梱包作業終了とする。

【0091】

【表1】

【0092】

表１に示したように、テープ貼り作業Ｐ３終了まで、すなわち、底面テープ貼り終了までは認識した作業が５秒早い。しかし、梱包作業で１分遅れが出ている。そして、最終的には５０秒の遅れとなって作業終了となっている。このような進行状況から、テープ貼り作業単独では標準より早く進行するが、物品の詰め込み作業には遅れが生じすると推定できる。また、進行状況が判明した時点で、次工程（第２の工程）の情報端末１０５へ通知することで前工程（第１の工程）が早く進んでいるか遅れているかがわかるようになる。

【0093】

さらに、進捗度判定部１０３は、作業者個人の習熟度と標準作業時間から作業終了時刻を予測する。このために、記憶部１１１には、標準作業時間を記憶しておくとともに、あらかじめ作業者個人の習熟度を記憶しておく。進捗度判定部１０３は、記憶部１１１から標準作業時間と作業者個人の習熟度を読み出して作業終了時刻を予測する。

【0094】

図８は、作業者個人の習熟度の一例を示す習熟度テーブルである。ここでは作業者個人の習熟度を標準作業時間に対する掛け率として示している。また、習熟度は、作業開始からテープ貼り作業Ｐ３までと、その後、物品の詰め込み作業を終えて、事実上の作業終了となるテープ貼り作業Ｐ６までに分けている。このような習熟度テーブルをあらかじめ記憶部１１０に記憶しておく。

【0095】

この作業終了時刻の予測には、作業者個人を特定する必要がある。それには、たとえば、工程に入るごとに作業者が個人の識別情報（ＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））を入力するようにしてもよいし、また、作業者のヘルメットや作業服、その他に無線ＩＤタグを付けて、読み取り機などで自動で読み取るようにしてもよい。

【0096】

また、実施形態ではカメラ１５が作業者を撮影しているので、その動画データを使用して個人識別を行うようにしてもよい。それには、たとえば動画データを用いた顔認証技術を用いることができる。この場合、カメラ１５の設置位置は、上述した作業者の手や腕の動きだけでなく、顔も撮影できる位置に設置する（顔認証のために別のカメラを設けてもよい）。顔認証技術については、既存技術を使用すればよい。また、上述したオープンポーズでも顔の骨格を認識することが可能であるので、オープンポーズで認識される顔骨格から個人の識別を行うようにしてもよい。このような顔認証技術や骨格認識技術を用いることで、ＩＤ入力や無線ＩＤタグなどがなくてもカメラ１５による撮影だけで作業者個人を識別して特定できる。

【0097】

進捗度判定部１０３は、作業者個人の特定を行って習熟度テーブルを参照することで、その工程に現在入っている作業者の習熟度を取得し、標準作業時間に掛けることで、作業終了時刻を予測する。

【0098】

作業終了時刻の予測は、たとえば、各作業内容が認識された時刻から予測する（予測した終了時刻を作業終了予測時刻という）。また、ここでは図８に示したように、習熟度を作業内容により２つに分けているので、作業開始からテープ貼りＰ３までで、事実上の段ボール箱８０の底面テープ貼りに要する時間がわかる。また、テープ貼りＰ６までで、事実上の物品の詰め込みが終了するので、梱包作業終了までの時刻がそれぞれ予測される。

【0099】

進捗度判定部１０３は、判定した進捗度、進行状況、および作業終了予測時刻を判定し次第、通知処理部１０４（サーバー２０）へ送信する。ただし、進行状況および作業終了予測時刻はこれらを求めている場合だけ送信する。

【0100】

通知処理部１０４では、進捗度判定部１０３から受信した進捗度を情報端末１０５へ通知する。通知先は次工程の作業者が持つ携帯情報端末４１または次工程の作業場所に備えられている信号灯４２のうち、いずれか備えられている方である。両方備えられている場合は両方に通知してもよい。通知するタイミングは、あらかじめ記憶部１１２へ記憶しておく。たとえば、進捗度０％であれば、通知を受けた次工程の作業者が前工程で作業が始まったとわかる。また、進捗度８０％であれば、通知を受けた次工程の作業者が前工程での作業が間もなく終わることがわかる。さらに、進捗度１００％であれば、通知を受けた次工程の作業者が前工程での作業が終わり、物品がすぐに来ることがわかる。もちろん、通知タイミングは任意に決めればよい。

【0101】

進捗度の通知を受けた情報端末１０５である携帯情報端末４１または信号灯４２は、あらかじめ決められた表示を行う。たとえば、進捗度８０％で１回だけ通知する場合、携帯情報端末４１では、その旨の表示と共に決められた音を鳴らすなどである。信号灯４２では、それまで緑色または黄色の表示を赤色に変えるなどすればよい。表示色はそのように設定してもよい。また、進捗度は１つの工程において、複数回通知するようにしてもよい。その場合、所定の進捗度としては、たとえば、進捗度０％（作業開始）、１０％、５０％、８０％、９０％などとすることができる。また、たとえば、５％ごとや１０％ごとなど一定の進捗度ごとに通知するなどとしてもよい。もちろん、このような通知を行うトリガーとなる、所定の進捗度は任意に決めておけばよい。

【0102】

図９は、進捗度の通知を受けた携帯情報端末の画面表示例を示す図である。

【0103】

携帯情報端末４１の場合は、ディスプレイ４１１があるので、そこに進捗度を、たとえば、図９に示すような棒グラフなどで表示する。また、このときグラフの色を進捗度に応じて変えるようにしてもよい。

【0104】

信号灯４２の場合は、たとえば、進捗度に応じて点灯させる色を変えるなどとする。進捗度０％（作業開始）は緑色、５０％で黄色、１００％で赤色などである。さらに各色を点滅させるなどとしてもよい。

【0105】

また、通知処理部１０４は、進捗度判定部１０３で進行状況および作業終了予測時刻を求めていれば、これらを受信して、情報端末１０５へ通知する。通知のタイミングは、進捗度と同じタイミングでもよいし、進捗度判定部１０３から進行状況および作業終了予測時刻を受けたタイミングで通知してもよい。特に、進捗度判定部１０３から進行状況および作業終了予測時刻を受けたタイミングで通知することで、進行状況および作業終了予測時刻をリアルタイムにその内容を知ることができる。進行状況および作業終了予測時刻は、携帯情報端末４１では、受信した進行状況および作業終了予測時刻をそのまま文字やグラフなどで表示すればよい。一方、信号灯４２では、たとえば、あらかじめ点灯する色や点滅状態など（複数色同時でもよい）と、進行状況および作業終了予測時刻に対応させて決めておくとよい。たとえば、進行状況の表示では、赤色は標準より遅延、黄色は標準より早い、緑色は標準などである。作業終了予測時刻も同様に、標準より遅くなる、早くなる、または標準のそれぞれに対して点灯色を変えることを規定しておくとよい。

【0106】

次に、本実施形態のシステムを用いた工程管理方法の処理手順を説明する。図１０および１１は、工程管理方法の処理手順を示すフローチャートである。ここでは梱包工程５２（第１の工程）を例に説明する。また、このフローチャートでは上述した作業認識部１０２および進捗度判定部１０３、および通知処理部１０４の処理手順を説明する。また、このフローチャートでは作業終了時刻を予測する処理を含む。

【0107】

まず、作業認識部１０２が、梱包工程５２の作業場を撮影するカメラ１５から動画データの取得を開始する（Ｓ１１）。これ以降、カメラ１５からの動画データは常時取得する。

【0108】

続いて、作業認識部１０２は、作業者３２が作業領域２０１に入ったか、または段ボール箱８０がワーク領域２０２に置かれたかを判断する（Ｓ１２）。ここで作業者３２が作業領域２０１に入ったかまたは段ボール箱８０がワーク領域２０２に置かれたことで（Ｓ１２：ＹＥＳ）、１個の梱包作業開始を認識し、同時に作業者個人を識別する（Ｓ１３）。

【0109】

続いて、作業認識部１０２は、動画データから手首関節Ｒ１のＸ，Ｙ軸座標値（図中Ｒ１ｘｙと記す）から、手首関節Ｒ１がツール領域２０３に入ったか否かを判断し（Ｓ１４）、入っていれば（Ｓ１４：ＹＥＳ）、テープ取り作業を認識する（Ｓ１５）。そして、進捗度判定部１０３へ送信する。Ｓ１４で手首関節Ｒ１がツール領域２０３に入っていなければ（Ｓ１４：ＮＯ）、そのままＳ１４の処理を継続する。なお、この処理では、手首関節Ｒ１がツール領域２０３に入ったか否かを判断しているが、これは、作業標準として、作業者の利き手（右利き）に合わせて右側にツール領域２０３を配置して粘着テープ９０を置き、右手で取りに行くためである。もちろん、その他の作業標準や、作業者の利き手に合わせるなどして判断する関節は変更される。

【0110】

進捗度判定部１０３は標準作業時間および作業者３２の習熟度を記憶部１１１から読み出し、テープ取りを認識した時刻を作業開始時刻として作業終了時刻を予測し、予測した終了時刻を通知処理部１０４へ送信する。通知処理部１０４は予測した作業終了時刻を情報端末１０５へ通知する（Ｓ１６）。

【0111】

続いて、作業認識部１０２は、動画データから両手首関節Ｒ１およびＬ１のＹ軸座標値（図中Ｒ１ｙおよびＬ１ｙと記す）が許容される誤差範囲内でほぼ同じ位置か否かを判断する（Ｓ１７）。ほぼ同じ位置でなければ（Ｓ１７：ＮＯ）、Ｓ１７の処理を継続する。

【0112】

Ｓ１７で両手首関節Ｒ１およびＬ１のＹ軸座標値が許容される誤差範囲内でほぼ同じ位置であれば（Ｓ１７：ＹＥＳ）、作業認識部１０２は、所定時間経過したか否かを判断する（Ｓ１８）。所定時間経過していなければ（Ｓ１８：ＮＯ）、Ｓ１７へ戻り処理を継続する。

【0113】

所定時間経過していれば（Ｓ１８：ＹＥＳ）、作業認識部１０２は、テープ貼り作業と認識して進捗度判定部１０３へ送信する（Ｓ１９）。進捗度判定部１０３は、認識したテープ貼り作業回数をカウントする（Ｓ２０）。進捗度判定部１０３は、カウントしたテープ貼り作業回数から進捗度を判定する。ここではカウント数１で進捗度１％、カウント数２で進捗度５％、カウント数３で進捗度１０％である（Ｓ２１）。進捗度判定部１０３は、判定した進捗度を通知処理部１０４へ送信し、通知処理部１０４が所定の進捗度に達していれば情報端末１０５へ進捗度を通知する（Ｓ２２）。ここでの所定の進捗度としては、たとえば進捗度１０％ごととしておくと、通知処理部１０４は、進捗度１０％を受信した段階で通知することになる。

【0114】

続いて、作業認識部１０２は、動画データから手首関節Ｒ１のＸ，Ｙ軸座標値から、手首関節Ｒ１がツール領域２０３に入ったか否かを判断し（Ｓ２３）、入っていれば（Ｓ２３：ＹＥＳ）、テープ戻し作業を認識する（Ｓ２４）。この段階でのテープ戻し作業の認識で段ボール箱８０の底面テープ貼り終了となる。Ｓ２３で手首関節Ｒ１がツール領域２０３に入っていなければ（Ｓ２３：ＮＯ）、そのままＳ１７へ戻りの処理を継続する。

【0115】

続いて、作業認識部１０２は、動画データから手首関節Ｒ１のＸ，Ｙ軸座標値から、手首関節Ｒ１がツール領域２０３に入ったか否かを判断し（Ｓ２５）、入っていれば（Ｓ２５：ＹＥＳ）、テープ取り作業を認識する（Ｓ２６）。このテープ取り作業の認識で段ボール箱８０に物品が詰め込まれた後、上面のテープ貼り作業が開始されたと認識される。Ｓ２５で手首関節Ｒ１がツール領域２０３に入っていなければ（Ｓ２５：ＮＯ）、そのままＳ２５の処理を継続する。

【0116】

続いて、作業認識部１０２は、動画データから両手首関節Ｒ１およびＬ１のＹ軸座標値が許容される誤差範囲内でほぼ同じ位置か否かを判断する（Ｓ２７）。ほぼ同じ位置でなければ（Ｓ２７：ＮＯ）、Ｓ２７の処理を継続する。

【0117】

Ｓ２７で両手首関節Ｒ１およびＬ１のＹ軸座標値が許容される誤差範囲内でほぼ同じ位置であれば（Ｓ２７：ＹＥＳ）、作業認識部１０２は、所定時間経過したか否かを判断する（Ｓ２８）。所定時間経過していなければ（Ｓ２８：ＮＯ）、Ｓ２７へ戻り処理を継続する。

【0118】

所定時間経過していれば（Ｓ２８：ＹＥＳ）、作業認識部１０２は、テープ貼り作業と認識して進捗度判定部１０３へ送信する（Ｓ２９）。進捗度判定部１０３は、認識したテープ貼り作業回数をカウントする（Ｓ３０）。進捗度判定部１０３は、カウントしたテープ貼り作業回数から進捗度を判定する。ここでは前のカウントを継続しており、カウント数４で進捗度９０％、カウント数５で進捗度９５％、カウント数６で進捗度１００％である（Ｓ３１）。進捗度判定部１０３は、判定した進捗度を通知処理部１０４へ送信し、通知処理部１０４が情報端末１０５へ進捗度を通知する（Ｓ３２）。前述のように所定の進捗度を進捗度１０％ごととしたので、通知処理部１０４は、進捗度９０％および１００％を受信した段階で通知することになる。

【0119】

その後、進捗度判定部１０３が進捗度１００％か否かを判断して（Ｓ３３）、進捗度１００％でなければ（Ｓ３３：ＮＯ）、Ｓ２７へ戻り処理を継続する。一方、進捗度１００％になっていれば（Ｓ３３：ＹＥＳ）、処理を終了し（処理終了によりすべてのカウントをリセットする）、次の梱包作業のため、スタートから処理を行うことになる。

【0120】

以上説明した本実施形態は、以下の効果を奏する。

【0121】

本実施形態は、１つの工程（第１の工程）において作業者が行っている作業を認識して、進捗度を判定し、判定した進捗度が所定の進捗度になれば、他の工程（第２の工程）の作業者が見ることのできる情報端末１０５へ通知することとした。

【0122】

これにより第２の工程の作業者は、リアルタイムで第１の工程の進捗度がわかる。このことから、たとえば、次工程の作業者は、前工程の進捗度に合わせて自分の工程の段取りを行うことができる。また、たとえば、前工程の進捗度があまり進んでおらず、自分の工程の段取りが早く終わっていれば他工程へ応援に行くことも可能である。また、他の工程へ応援に行っている作業者は、前工程の進捗度が１００％に近づいていれば、自分の工程にタイミングよく戻って次工程に遅延を発生させないようにできる。特に、情報端末１０５として、携帯情報端末４１を各作業者に持たせることで、信号灯４２を直接見ることができない場所に行った作業者（たとえば他工程への応援）でも、自分の担当している工程の前工程の進捗度がわかる。

【0123】

また、本実施形態は、カメラ１５の動画データから作業者が行っている作業を認識しているため、たとえば、作業者の作業服や安全帽などに特別な仕掛けやポインターを付けたりする必要がないため、作業者の負担がない（または少ない）。また、作業者が作業ごとに開始や終了を入力する手間もないため、社業内容の確認のためだけに作業者に負担を掛けることがなくなる（または少なくなる）。

【0124】

また、作業の進行状況を求めて、次工程の作業者へ通知することとしたので、次工程の作業者が前工程において作業が早く進んでいるか遅れているかがわかるようになる。

【0125】

また、作業者個人の習熟度から作業終了時刻（時間）を予測することとしたので、前工程に入っている作業者によって変動する作業終了時刻がわかる。

【0126】

また、本実施形態では、動画データから作業を認識する作業認識部１０２と作業内容から進捗度を判定する進捗度判定部１０３をカメラ１５と一体化させたコンピューター１６により実行させている。これにより、動画データのようにデータ量の多いデータをサーバー２０へ送る必要がなくなるので、サーバー２０との間の通信負荷を低減させることができる。特に、複数の工程があり、工程ごとにカメラユニット１１～１３を配置しているような場合に、通信量を少なくすることができる。

【0127】

（変形例１）
上述した実施形態は、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の各機能をカメラユニット１１～１３のコンピューター１６とサーバー２０に分けて担わせている。しかし本発明は、このような各機能の分担に限定されない。以下、変形例として、各機能とハードウェア構成について説明する。

【0128】

変形例１は、カメラユニット１１～１３のコンピューター１６に、作業認識部１０２および進捗度判定部１０３に加えて、通知処理部１０４の機能も担わせたものである。図１２は、変形例１の全体構成を示す概略図である。なお、変形例１において、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の機能は、前述した実施形態と同じであるので、これらの説明は省略する。また、機能ブロック図についても省略する。

【0129】

変形例１の作業工程管理システム２は、カメラ１５にコンピューター１６が一体化したカメラユニット１１～１３が各工程５１～５３に設置される。カメラユニット１１～１３のコンピューター１６は、情報端末１０５である各工程５１～５３の作業者が持つ携帯情報端末４１および各工程５１～５３の信号灯４２と有線または無線により接続される。このため、コンピューター１６は通信インターフェースを備える。

【0130】

コンピューター１６は、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の機能をすべて担っている。

【0131】

これにより、実施形態と同様の効果に加えて、サーバー２０が不要になるので、システム全体のハードウェア構成が簡単になる。

【0132】

通信機能を備えたカメラ一体型のコンピューター１６としては、たとえばスマートフォンやタブレットなどを用いることができる。そして、スマートフォンやタブレットに上述した各部機能を実施するプログラムを実行させることで、本発明を達成できる。また、必ずしもカメラ一体型のコンピューター１６に限定されず、カメラとコンピューター（いわゆるパソコン）が各工程に備えられて、そのコンピューターが他の工程の携帯情報端末および信号灯と有線または無線により接続された形態であってもよい。

【0133】

（変形例２）
変形例２は、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の機能をすべてサーバー２０に担わせたものである。図１３は、変形例２の全体構成を示す概略図である。なお、変形例２においても、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の機能は、前述した実施形態と同じであるので、これらの説明は省略する。また、機能ブロック図についても省略する。

【0134】

変形例２の作業工程管理システム３は、カメラ１５が各工程５１～５３に設置され、サーバー２０と有線または無線により接続されていている。また、サーバー２０は、情報端末１０５である各工程５１～５３の作業者が持つ携帯情報端末４１、および各工程５１～５３の信号灯４２に有線または無線により接続されている。カメラ１５からの動画データが直接サーバー２０へ送信される。

【0135】

サーバー２０は、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の機能をすべて担っている。

【0136】

これにより、実施形態と同様の効果に加えて、たとえば、複数の工場にある複数の工程を一か所のサーバーで一元管理することも可能となる。特に、動画データもサーバー２０に送信するので、サーバー２０を介して、たとえば別のコンピューターへ動画データを送信（転送）し、そこで各工程の状況を見ることもできる。

【0137】

また、本変形例２のように、サーバー２０にすべての機能を担わせる構成は、たとえば、サーバー２０としてインターネット上のクラウドサーバーを用いることも可能である。クラウドサーバーを用いる場合、クラウドサーバーは、たとえば複数のサーバーによって構成されていることもあり、それら複数のサーバーで互いにデータのやり取りを行って、作業認識部１０２、進捗度判定部１０３、および通知処理部１０４の機能を分散処理させることも可能である。分散処理によって、工程の数が多くデータ量が多くなっても、処理に遅延がなく（または少なく）、リアルタイム処理が可能になる。また、カメラ１５にコンピューターを付ける必要がないので、一般的なムービーカメラや監視カメラ、さらには簡易ないわゆるウェブカメラなどをそのまま用いることもできる。

【0138】

さらに、変形例として、作業認識部１０２の機能をカメラ一体型のコンピューター１６に担わせ、進捗度判定部１０３および通知処理部１０４の機能をサーバー２０に担わせるようにしてもよい。この場合、ハードウェアの構成は、図１に示したシステム構成と同様となる。

【0139】

以上本発明の実施形態、およびその変形例を説明したが、さらに本発明は様々な変形が可能である。

【0140】

たとえば、１工程に１台のカメラ１５ではなく、複数の工程の複数の作業者を撮影する１台のカメラ１５としてもよい。上述したオープンポーズやディープポーズなどの骨格認識技術は、１つの動画データに写っている複数の人の骨格を同時に認識できる。したがって、複数の作業者を１台のカメラ１５で撮影した場合でも、作業者ごとに個別に行っている作業を認識して、進捗度などを求めることが可能である
また、工程の進捗度などを通知する先は、物品の流れとしての次工程に限定されない。たとえば、前工程に次工程の進捗度を通知するようにしてもよい。つまり、物品の流れとして第２の工程が前工程、第１の工程が次工程となる。そして前工程（第２の工程）へ次工程（第１の工程）の進捗度を通知する。このようにすることで次工程で遅延が発生した場合に、そのような状況が前工程ですぐにわかり、次工程へ応援に行くことが可能となる。このため、たとえば前工程での滞留や在庫の抱え過ぎを防ぐことができる。

【0141】

また、通知先の第２の工程は、第１の工程に対して直後または直前の工程だけでなく、さらに後の工程やさらに前の工程であってもよい。

【0142】

また、作業者の行っている作業の認識は、カメラ１５の動画データを用いるだけでなく、その他のセンサーなどを用いてもよい。たとえば、物体までの距離値を得るライダー（ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ））により人の各部位までの距離値を得て、人の姿勢（特に腕の方向）を推定する技術を用いることができる。この場合ライダーが撮影部１０１となる。

【0143】

また、信号灯４２がある場合においては、３色とは限らず、２色の信号灯４２、１色の信号灯４２などの場合でも適用可能である。また、４色、５色といった信号灯４２を用いてもよい。

【0144】

また、信号灯４２に代えて、または追加で、ディスプレイまたはディスプレイを備えたほかのコンピューターを設置して、サーバー２０から進捗度の通知を受けて表示させてもよい。この場合、ディスプレイまたは他のコンピューターは、サーバー２０と有線または無線インターフェースを介して接続される。

【0145】

また、情報端末１０５として各工程５１～５３に備える携帯情報端末４１および信号灯４２はいずれか一方だけであってもよいし、工程や作業者に応じて、異なる情報端末１０５を備えるようにしてもよい。

【0146】

また、実施形態は、梱包工程を例に説明したが、もちろん本発明は梱包工程に限定されない。たとえば、流れ作業の中で、途中で放置されると劣化が起こる製造ラインの各工程に好適である。たとえば、その物品の製造や加工のために使用する薬品では、混合や調製後、すぐに使用しなければならないものもある。そこで、本発明を適用することで、前後の工程の進捗度がわかるようになるので、その進捗度に合わせて、薬品の混合や調製を行うことができる。

【0147】

さらに、実施形態の説明の中で使用した条件や数値などはあくまでも説明のためのものであり、本発明がこれら条件や数値に限定されるものではない。

【0148】

本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

【符号の説明】

【0149】

１１～１３ カメラユニット、
１５ カメラ、
２０ サーバー、
３１～３３ 作業者、
４１ 携帯情報端末、
４２ 積層信号灯、
５１ 検査工程、
５２ 梱包工程、
５３ パレタイズ工程、
８０ 段ボール箱、
９０ 粘着テープ、
１０１ 撮影部、
１０２ 作業認識部、
１０３ 進捗度判定部、
１０４ 通知処理部、
１０５ 情報端末、
２００ 撮影領域、
２０１ 作業領域、
２０２ ワーク領域、
２０３ ツール領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】