特許 7511602 作業管理システム、作業管理方法及び作業管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】作業管理システム、作業管理方法及び作業管理プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20240628BHJP

   B65G 1/137 20060101ALI20240628BHJP

   G06T 7/00 20170101ALI20240628BHJP

   G06Q 10/06 20230101ALI20240628BHJP

【ＦＩ】

G05B19/418 Z

B65G1/137 F

G06T7/00 610Z

G06Q10/06

【請求項の数】 18

(21)【出願番号】P 2022075418

(22)【出願日】2022-04-28

(65)【公開番号】P2023164088

(43)【公開日】2023-11-10

【審査請求日】2023-01-25

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】本間 泰輔

【審査官】豊島 唯

(56)【参考文献】

【文献】特開２０２０－１５６７４６（ＪＰ，Ａ）

【文献】特開２０１９－１１３９５８（ＪＰ，Ａ）

【文献】特開２０１４－１９１７８７（ＪＰ，Ａ）

【文献】特開２０１０－２０４７５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

Ｂ６５Ｇ １／１３７

Ｇ０６Ｔ ７／００

Ｇ０６Ｑ １０／０６

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

管理装置と、
前記管理装置に接続され、作業台の画像を生成して前記管理装置に画像データを送信する、カメラと、
前記作業台上であり、物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示される、ＡＲマーカーと、
を備え、前記管理装置は、
前記画像データ内の、前記ＡＲマーカーの読み取り結果に基づいて、作業の状態を判断する期間判定部と、
前記作業の状態に基づいて生成される画像であって、作業が開始されたときの前記作業台の状態を示す開始画像データと作業が終了したときの前記作業台の状態を示す終了画像データとの差分をとった差分画像に、前記物品が写っているかを判定する、差分画像判定部と
を備えることを特徴とする作業管理システム。

【請求項2】

管理装置と、
前記管理装置に接続され、作業台の画像を生成して前記管理装置に画像データを送信する、カメラと、
前記作業台上であり、物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示される、ＡＲマーカーと、
を備え、前記管理装置は、
前記画像データに基づいて、作業の状態を判断する期間判定部と、
前記作業の状態に基づいて生成される画像であって、作業が開始されたときの前記作業台の状態を示す開始画像データと作業が終了したときの前記作業台の状態を示す終了画像データとの差分をとった差分画像に、前記物品が写っているかを判定する、差分画像判定部と、
前記画像データを受信し、前記画像データ内の、前記ＡＲマーカーの読み取りを行い、前記画像データをＡＲマーカー判定部に送信する、ＡＲマーカー読取部と
を備えることを特徴とする作業管理システム。

【請求項3】

管理装置と、
前記管理装置に接続され、作業台の画像を生成して前記管理装置に画像データを送信する、カメラと、
前記作業台上であり、物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示される、ＡＲマーカーと、
を備え、前記管理装置は、
前記画像データに基づいて、作業の状態を判断する期間判定部と、
前記作業の状態に基づいて生成される画像であって、作業が開始されたときの前記作業台の状態を示す開始画像データと作業が終了したときの前記作業台の状態を示す終了画像データとの差分をとった差分画像に、前記物品が写っているかを判定する、差分画像判定部と
を備え、前記期間判定部は、前記ＡＲマーカーを読み取れない期間が所定の時間を超えた場合に、前記ＡＲマーカーを読み取り不能であると判断することを特徴とする作業管理システム。

【請求項4】

管理装置と、
前記管理装置に接続され、作業台の画像を生成して前記管理装置に画像データを送信する、カメラと、
前記作業台上であり、物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示される、ＡＲマーカーと、
を備え、前記管理装置は、
前記画像データに基づいて、作業の状態を判断する期間判定部と、
前記作業の状態に基づいて生成される画像であって、作業が開始されたときの前記作業台の状態を示す開始画像データと作業が終了したときの前記作業台の状態を示す終了画像データとの差分をとった差分画像に、前記物品が写っているかを判定する、差分画像判定部と、
前記画像データを受信し、前記画像データ内の、前記ＡＲマーカーの読み取りを行い、前記ＡＲマーカーの読み取り結果を前記期間判定部に送信する、ＡＲマーカー読取部と
を備えることを特徴とする作業管理システム。

【請求項5】

管理装置と、
前記管理装置に接続され、作業台の画像を生成して前記管理装置に画像データを送信する、カメラと、
前記作業台上であり、物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示される、ＡＲマーカーと、
を備え、前記管理装置は、
前記画像データ内の前記ＡＲマーカーの読み取り結果に基づいて、前記カメラから受信する画像から前記作業台の画像を取得する差分画像取得部と、
前記画像であって、作業が開始されたときの前記作業台の状態を撮像した開始画像データと作業が終了したときの前記作業台の状態を撮像した終了画像データとの差分をとった差分画像に、前記物品が写っているかを判定する、差分画像判定部と
を備えることを特徴とする作業管理システム。

【請求項6】

前記画像データを受信し、前記画像データを前記画像を撮影した時刻とともに記憶する、記憶部をさらに備えることを特徴とする請求項１、２、３、４、５のいずれかに記載の作業管理システム。

【請求項7】

前記期間判定部は、前記ＡＲマーカーを読み取れる状態から読み取れない状態となったとき前記作業が開始されたと判断し、前記ＡＲマーカーを読み取れない状態から読み取れる状態となったとき前記作業が終了したと判断することを特徴とする請求項１、２、３、４のいずれかに記載の作業管理システム。

【請求項8】

前記期間判定部は、一定期間連続して前記ＡＲマーカーを読み取れない状態であった場合に、前記作業が行われていると判断することを特徴とする請求項１、２、３、４のいずれかに記載の作業管理システム。

【請求項9】

前記差分画像判定部は、前記期間判定部から、前記作業が終了したという判断結果を受信したのち、前記作業が終了したと判断した時点から前記カメラが第２の所定の枚数分画像を生成するまで時間的にあとのフレームの画像データを終了画像データとして取得することを特徴とする請求項１、２、３、４のいずれかに記載の作業管理システム。

【請求項10】

前記差分画像判定部は、前記期間判定部から、前記作業が終了したという判断結果を受信したのち、前記作業が開始されたと判断した時点から前記カメラが第１の所定の枚数分画像を生成するまで時間的に遡ったフレームの画像データを開始画像データとして取得することを特徴とする請求項１、２、３、４のいずれかに記載の作業管理システム。

【請求項11】

前記差分画像判定部において、前記物品の形状が写っていると判断されたとき、前記作業が適切に行われていないことを作業員に通知する、通知部をさらに備えることを特徴とする請求項１、２、３、４、５のいずれかに記載の作業管理システム。

【請求項12】

前記差分画像判定部は、差分画像に基づいて、直線、円、楕円、又はそれらの組み合わせから成る形状が前記物品の形状であると判断することを特徴とする請求項１、２、３、４、５のいずれかに記載の作業管理システム。

【請求項13】

前記差分画像判定部は、前記形状の検出部分が一定以上の画素数である場合に、前記物品の形状であると判断することを特徴とする請求項１２に記載の作業管理システム。

【請求項14】

前記期間判定部は、前記ＡＲマーカーの読み取り成否に基づいて、作業状態を判定する請求項１、２、３、４のいずれかに記載の作業管理システム。

【請求項15】

前記期間判定部は、前記ＡＲマーカーから読み取ったデータの組み合わせに基づいて、作業状態を判定する請求項１、２、３、４のいずれかに記載の作業管理システム。

【請求項16】

前記画像データを受信し、前記画像データ内の、前記ＡＲマーカーの読み取りを行い、前記ＡＲマーカーの読み取った結果を前記期間判定部に送信する、ＡＲマーカー読取部をさらに備えることを特徴とする請求項１に記載の作業管理システム。

【請求項17】

作業台の画像を生成する画像生成ステップと、
前記画像内の、ＡＲマーカーの読み取りを行う読み取りステップと、
前記読み取りステップの結果から、作業の状態を判断する期間判定ステップと、
前記作業の状態に基づいて、作業が開始されたときの前記作業台の状態を示す開始画像データと作業が終了したときの前記作業台の状態を示す終了画像データとの差分をとった差分画像を生成する差分画像生成ステップと、
前記差分画像に、物品が写っているかを判定する、差分画像判定ステップと、
を備え、前記ＡＲマーカーは、作業台上であり、前記物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示されることを特徴とする作業管理方法。

【請求項18】

コンピュータに、
作業台の画像を生成する画像生成手段と、
前記画像内の、ＡＲマーカーの読み取りを行う読み取り手段と、
前記読み取り手段の結果から、作業の状態を判断する期間判定手段と、
前記作業の状態に基づいて、作業が開始されたときの前記作業台の状態を示す開始画像データと作業が終了したときの前記作業台の状態を示す終了画像データとの差分をとった差分画像を生成する差分画像生成手段と、
前記差分画像に、物品が写っているかを判定する、差分画像判定手段と、
を実現させるためのプログラムであって、前記ＡＲマーカーは、作業台上であり、前記物品を前記作業台上に置くと、前記物品によって隠され前記画像に表示されなくなる位置に表示される、作業管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業管理システム、作業管理方法及び作業管理プログラムに関する。

【背景技術】

【0002】

物流の現場において、例えば、日に数万個の商品を、１００人～２００人の作業員が、箱詰めする作業を行うといった、大規模な作業を行うとき、商品の箱詰めを忘れるという単純ミスが起こり得る（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－８４２１４号公報

【文献】特開２０２０－４２４３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

その場で気づいて修正できれば良いが、流れ作業であるために、作業員が気づかずに作業工程が進んでしまうことがある。

【0005】

上記問題点を鑑み、本発明は、作業ミスを容易に検出し、作業員が気づいて修正可能な作業管理システム、作業管理方法及び作業管理プログラムを提供する事を目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、管理装置と、管理装置に接続され、作業台の画像を生成して管理装置に画像データを送信する、カメラと、作業台上であり、物品を作業台上に置くと、物品によって隠され画像に表示されなくなる位置に表示される、ＡＲマーカーと、を備え、管理装置は、画像データに基づいて、作業の状態を判断する期間判定部と、作業の状態に基づいて生成される画像であって、作業が開始されたときの作業台の状態を示す開始画像データと作業が終了したときの作業台の状態を示す終了画像データとの差分をとった差分画像に、物品が写っているかを判定する、差分画像判定部と、を備えることを要旨とする。

【0007】

本発明の第１の態様において、画像データを受信し、画像データを画像を撮影した時刻とともに記憶する、記憶部をさらに備えてもよい。

【0008】

本発明の第１の態様において、画像データを受信し、画像データ内の、ＡＲマーカーの読み取りを行い、画像データをＡＲマーカー判定部に送信する、ＡＲマーカー読取部をさらに備えてもよい。

【0009】

本発明の第１の態様において、期間判定部は、ＡＲマーカーを読み取れる状態から読み取れない状態となったとき作業が開始されたと判断し、ＡＲマーカーを読み取れない状態から読み取れる状態となったとき作業が終了したと判断してもよい。

【0010】

本発明の第１の態様において、期間判定部は、一定期間連続してＡＲマーカーを読み取れない状態であった場合に、作業が行われていると判断してもよい。

【0011】

本発明の第１の態様において、期間判定部は、ＡＲマーカーを読み取れない期間が所定の時間を超えた場合に、ＡＲマーカーを読み取り不能であると判断してもよい。

【0012】

本発明の第１の態様において、差分画像判定部は、期間判定部から、作業が終了したという判断結果を受信したのち、作業が終了したと判断した時点からカメラが第２の所定の枚数分画像を生成するまで時間的にあとのフレームの画像データを終了画像データとして取得してもよい。

【0013】

本発明の第１の態様において、差分画像判定部は、期間判定部から、作業が終了したという判断結果を受信したのち、作業が開始されたと判断した時点からカメラが第１の所定の枚数分画像を生成するまで時間的に遡ったフレームの画像データを開始画像データとして取得してもよい。

【0014】

本発明の第１の態様において、差分画像判定部において、物品の形状が写っていると判断されたとき、作業が適切に行われていないことを作業員に通知する、通知部をさらに備えてもよい。

【0015】

本発明の第１の態様において、差分画像判定部は、差分画像に基づいて、直線、円、楕円、又はそれらの組み合わせから成る形状が物品の形状であると判断してもよい。

【0016】

本発明の第１の態様において、差分画像判定部は、形状の検出部分が一定以上の画素数である場合に、物品の形状であると判断してもよい。

【0017】

本発明の第２の態様は、作業台の画像を生成する画像生成ステップと、画像内の、ＡＲマーカーの読み取りを行う読み取りステップと、読み取りステップの結果から、作業の状態を判断する期間判定ステップと、作業の状態に基づいて、作業が開始されたときの作業台の状態を示す開始画像データと作業が終了したときの作業台の状態を示す終了画像データとの差分をとった差分画像を生成する差分画像生成ステップと、差分画像に、物品が写っているかを判定する、差分画像判定ステップと、を備え、ＡＲマーカーは、作業台上であり、物品を前記作業台上に置くと、物品によって隠され画像に表示されなくなる位置に表示されることを要旨とする。

【0018】

本発明の第３の態様は、コンピュータに、作業台の画像を生成する画像生成手段と、画像内の、ＡＲマーカーの読み取りを行う読み取り手段と、読み取り手段の結果から、作業の状態を判断する期間判定手段と、作業の状態に基づいて、作業が開始されたときの作業台の状態を示す開始画像データと作業が終了したときの作業台の状態を示す終了画像データとの差分をとった差分画像を生成する差分画像生成手段と、差分画像に、物品が写っているかを判定する、差分画像判定手段と、を実現させるためのプログラムであって、ＡＲマーカーは、作業台上であり、物品を作業台上に置くと、物品によって隠され画像に表示されなくなる位置に表示されることを要旨とする。

【発明の効果】

【0019】

本発明によれば、作業ミスを容易に検出し、作業員が気づいて修正可能な作業管理システム、作業管理方法及び作業管理プログラムを提供できる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態に係る作業管理システムの概略を示す図である。

【図2】本実施形態に係る作業管理システムの構成の一例を示すブロック図である。

【図3】本実施形態に係る作業台の上面の様子を示す図であり、図３（ａ）は作業開始前、図３（ｂ）は作業開始、図３（ｃ）は作業時、図３（ｄ）は作業終了後、図３（ｅ）は作業ミス時の図である。

【図4】作業開始時の作業台の上面の様子の詳細を示す図であり、図４（ａ）は図３（ａ）と同じ図、図４（ｂ）は作業開始時点、図４（ｃ）は図３（ｂ）と同じ図である。

【図5】作業終了時の作業台の上面の様子の詳細を示す図であり、図５（ａ）は図３（ｃ）と同じ図、図５（ｂ）は作業終了直前、図５（ｃ）は作業終了時、図５（ｄ）は図３（ｄ）と同じ図である。

【図6】梱包作業の１サイクルにおける作業台の上面の様子を示す図である。

【図7】本実施形態に係る作業管理システムによって生成された、作業ミスがないときの差分画像である。

【図8】本実施形態に係る作業管理システムによって生成された、作業ミスがあるときの差分画像である。

【図9】本実施形態に係る作業管理システムによって生成された、作業ミスがあるときの差分画像である。

【図10】実施形態に係る差分画像判定部の動作を説明するフローチャートである。

【図11】実施形態に係る作業管理システムの動作を説明するフローチャートである。

【発明を実施するための形態】

【0021】

次に、図面を参照して、本発明の実施形態を説明する。実施形態に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。又、図面相互間においても互いの関係が異なる部分が含まれていることは勿論である。

【0022】

又、実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、各構成要素の構成等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

【0023】

（実施形態）
本実施形態に係る作業管理システムを図１を参照しながら説明する。図１に示すように、本実施形態に係る作業管理システム１０は、カメラ１０１、通知装置１０２、管理装置１０３、ＡＲマーカー１０４から構成される。

【0024】

カメラ１０１は、管理装置１０３に接続されており、作業員が作業を行う作業台１０５上の様子を撮影可能な位置に設置される。図１において、カメラ１０１は、作業台１０５の上方に設置されている。カメラ１０１は、画像数が１秒間に所定のフレーム数となるように、作業台１０５を撮影して画像を生成し、管理装置１０３に画像データを送信する。

【0025】

通知装置１０２は、管理装置１０３に接続されており、ブザー、ライト、スピーカー、ディスプレイ等の方法によって作業員に通知する装置である。

【0026】

管理装置１０３は、パーソナルコンピュータ（ＰＣ）、メインフレーム、ワークステーション、クラウドコンピューティングシステム等、種々の電子計算機（計算リソース）であり、ディスプレイ、その他、入力用のキーボード、マウス等が接続されている。

【0027】

ＡＲマーカー１０４は、データを有するパターン画像である。ＡＲマーカー１０４がデータを有するとは、画像認識により、ＡＲマーカー１０４のパターンが、特定の情報に対応付けられることを指す。ＡＲマーカー１０４は、例えば、バーコード、二次元コード、三次元コードであってよい。また、ＡＲマーカー１０４は、例えば、写真又は絵画などのように色の濃淡、陰影等によるパターンを有する画像であってもよい。なお、ＡＲマーカー１０４は、情報を記録できる態様であれば上記の例に特に限定されるものではない。また、ＡＲマーカー１０４は、例えば、任意の文字、数字等によって構成されてもよい。

【0028】

ＡＲマーカー１０４が有するデータは、カメラ等の撮像装置によって撮影することにより認識されてよい。ＡＲマーカー１０４は、作業台１０５上に表示されてよい。ＡＲマーカー１０４は、例えば、紙に印刷され、印刷された紙を作業台１０５上に張り付けることにより、作業台１０５上に表示されてもよい。又は、ＡＲマーカー１０４は、薄型ディスプレイ上に表示され薄型ディスプレイを作業台１０５上に設置する、等により、作業台１０５上に表示されてもよい。なお、ＡＲマーカー１０４は、作業台１０５上において情報を読み取り可能に設置されればよく、設置方法は上記の例に限定されるものではない。

【0029】

図２に、本実施形態に係る管理装置１０３の構成と機能部の一例を示す。図２に示す管理装置１０３は、各種の演算実行のためのＣＰＵ２０１、処理用のプログラムを記憶するＲＯＭ２０２、データ等の記憶のためのＲＡＭ２０３、各種のデータ及び演算結果等の記憶のための記憶部２０４、さらに、Ｉ／Ｏ（インプット・アウトプットインターフェース）２０５等を備える。Ｉ／Ｏ２０５は通信（送受信）用のインターフェース、バッファ等である。Ｉ／Ｏ２０５は、カメラ１０１、及び通知装置１０２とのデータの送受信等に用いられＣＰＵ２０１と連携する。カメラ１０１から送信された画像データは、Ｉ／Ｏ２０５を介して、ＲＡＭ２０３に記憶される。

【0030】

さらに図２のブロック図はＣＰＵ２０１内の機能部を示す。ＣＰＵ２０１の各機能部をソフトウェアにより実現する場合、ＣＰＵ２０１は各機能を実現するソフトウェアであるプログラムの命令を実行することで実現する。詳細には、ＡＲマーカー読取部２０６、期間判定部２０７、差分画像取得部２０８、差分画像生成部２０９、差分画像判定部２１０、ユーザ通知部２１１、カメラ制御部２１２等を備える。

【0031】

ＡＲマーカー読取部２０６は、カメラ１０１が撮影して生成した作業台１０５の画像データを、Ｉ／Ｏ２０５を介して受信し、画像データ内にＡＲマーカーがあれば、ＡＲマーカーを読み取り、ＡＲマーカーを読み取った結果を期間判定部２０７に送信する。なお、ＡＲマーカーを読み取った結果は、ＡＲマーカーの読み取りに成功したか否かを示すデータであってよい。具体的には、例えば、ＡＲマーカーを読み取った結果は、成功又は失敗を示す数字、文字列又はビット列などであってよい。また、ＡＲマーカーを読み取った結果は、ＡＲマーカーに記憶された任意のデータの内容であってもよい。具体的には、例えば、ＡＲマーカーを読み取った結果は、ＡＲマーカーに記憶された作業台を識別する番号又は文字列などのデータであってよい。

【0032】

期間判定部２０７は、ＡＲマーカー読取部２０６から受信したＡＲマーカーの読み取りを行った結果を示すデータに基づき、作業が、１サイクルの中で、どの段階であるかを判定する。具体的には、例えば、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したデータがＡＲマーカーの読み取りに成功したことを示すデータである場合、又はＡＲマーカー読取部２０６から受信したＡＲマーカーから読み取ったデータの組み合わせが所定の組み合わせであった場合に、作業が行われていないと判定してよい。例えば、期間判定部２０７は、作業台１０５上に記録するデータが異なる３つのＡＲマーカーＡ、ＡＲマーカーＢ、ＡＲマーカーＣが表示され、ＡＲマーカー読取部２０６から受信したデータの組み合わせが、ＡＲマーカーＡのデータ、ＡＲマーカーＢのデータ、ＡＲマーカーＣのデータであれば、作業が行われていないと判断してよい。

【0033】

また、例えば、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したデータがＡＲマーカーの読み取りに失敗したことを示すデータである場合、又はＡＲマーカー読取部２０６から受信したＡＲマーカーから読み取ったデータの組み合わせが所定の組み合わせであった場合に、作業が行われていると判定してよい。例えば、期間判定部２０７は、作業台１０５上に記録するデータが異なる３つのＡＲマーカーＡ、ＡＲマーカーＢ、ＡＲマーカーＣが表示され、ＡＲマーカー読取部２０６から受信したデータの組み合わせが、ＡＲマーカーＡのデータ、ＡＲマーカーＣのデータであれば、作業が行われていると判断してよい。期間判定部２０７は、作業が行われているか否かの判定結果を、記憶装置に格納してよい。

【0034】

さらに、例えば、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したデータが一定期間連続してＡＲマーカーの読み取りに成功したことを示すデータである場合に、作業が行われていないと判定してよい。これにより、作業過程において、作業員が商品を持ち上げた、作業台から商品が落下したなど、瞬間的、又は短時間ＡＲマーカーの読み取りが可能な状況になった場合に、作業途中であるにも関わらず、作業終了時の判定が行わることを防ぐことができる。

【0035】

また、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したデータが一定期間連続してＡＲマーカーの読み取りに失敗したことを示すデータである場合に、作業が行われていると判定してよい。これにより、センサーノイズや作業員の体など、瞬間的にＡＲマーカーが隠れた場合に、ごく短時間の作業として判定されてしまうといった誤判定を防ぐことができる。

【0036】

期間判定部２０７は、作業がどの段階であるかを判定したとき、直前に判定した作業の段階と現在の作業の段階を比較して、作業の段階が変化したか否かを判定する。具体的には、例えば、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したＡＲマーカーの読み取り結果に基づいて、「作業が行われていない」と判定し、直前の作業の段階が「作業が行われている」であった場合に、「作業が終了した」と判定してよい。また、例えば、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したＡＲマーカーの読み取り結果に基づいて、「作業が行われている」と判定し、直前の作業の段階が「作業が行われていない」であった場合に、「作業が開始した」と判定してよい。

【0037】

差分画像取得部２０８は、期間判定部２０７が、「作業が開始した」と判定したとき、開始画像データを取得してよい。具体的には、例えば、差分画像取得部２０８は、期間判定部２０７が、「作業が開始した」と判定したとき、カメラ１０１から画像データを取得してよい。また、例えば、差分画像取得部２０８は、期間判定部２０７が、「作業が開始した」と判定したとき、ＲＡＭ２０３に記憶された画像データのうち、期間判定部２０７が「作業が開始した」と判定したときの画像データから第１の所定の枚数だけ時間的に遡ったフレームの画像データを開始画像データとして取得してよい。

【0038】

第１の所定の枚数とは、期間判定部２０７が、作業が開始したと判定してから、画像データ内に製品、作業者の腕等が映り込まない状態となるのに十分な時間遡ったとみなせるようになるまでにカメラ１０１によって撮影されると想定される画像のフレーム数である。例えば、第１の所定の枚数は、２５枚であってよい。

【0039】

差分画像取得部２０８は、期間判定部２０７が、「作業が終了した」と判定したとき、終了画像データを取得してよい。具体的には、例えば、差分画像取得部２０８は、期間判定部２０７が、「作業が終了した」と判定したとき、カメラ１０１から画像データを取得してよい。また、例えば、差分画像取得部２０８は、期間判定部２０７が「作業が終了した」と判定したときの画像データから第２の所定の枚数だけ時間的にあと送りされたフレームの画像データを終了画像データとして取得してよい。

【0040】

第２の所定の枚数とは、期間判定部２０７が、作業が終了したと判定してから、画像データ内に製品、作業者の腕等が映り込まない状態となるのに十分な時間が経過しているものとみなせるようになるまでにカメラ１０１によって撮影されると想定される画像のフレーム数である。例えば、第２の所定の枚数は、２５枚であってよい。

【0041】

差分画像取得部２０８は、期間判定部２０７が、作業が終了したと判定したとき、カメラ１０１から終了画像データを取得してよい。差分画像取得部２０８は、開始画像データと終了画像データとを差分画像生成部２０９に送信する。

【0042】

差分画像生成部２０９は、開始画像データと終了画像データとの差分を取った差分画像を生成し、差分画像判定部２１０に送信する。

【0043】

差分画像判定部２１０は、差分画像生成部２０９から受信した差分画像に基づいて、作業中に作業ミスがなかったかどうかを判定し、判定結果をユーザ通知部２１１に送信する。

【0044】

ユーザ通知部２１１は、差分画像判定部２１０から受信した判定結果に基づいて、Ｉ／Ｏ２０５を介して、通知装置１０２に通知装置１０２を制御する制御信号を送信する。

【0045】

カメラ制御部２１２は、管理装置１０３に接続された入力用のキーボード等から、作業者によるカメラ１０１を制御するための入力を受け付け、Ｉ／Ｏ２０５を介して、カメラ１０１にカメラ１０１を制御する制御信号を送信する。

【0046】

以下に、本実施形態に係る作業管理システムの動作の一例を説明する。以下に述べる動作例は、製品を検品したのち、梱包容器に入れて梱包する作業現場において適用される作業管理システムの動作例である。

【0047】

図３（ａ）～図３（ｅ）に、本実施形態に係る作業台１０５を上方から見た様子を示す。作業台１０５の左右には、第１レーン３０１、第２レーン３０２が設置されている。作業台１０５の上に、ＡＲマーカー１０４が表示されている。作業台１０５上には、検品を行うためのバーコードリーダー３０３が置かれている。なお、第１レーン３０１、第２レーン３０２は、図３（ａ）、図３（ｄ）及び図３（ｅ）にのみ図示している。また、カメラ１０１、管理装置１０３、及び通知装置１０２は図示していない。また、本実施形態において、バーコードリーダー３０３は、検品作業の際に作業員が手で保持して使用する。なお、バーコードリーダー３０３は、作業台１０５に任意の手段によって固定されていてもよい。

【0048】

第１レーン３０１上を、検品前の製品３０４が、梱包容器３０６に入れられた状態で流れてくる（図３（ａ））。作業員によって、製品３０４が梱包容器３０６ごと作業台１０５に移される（図３（ｂ））。作業員が、製品３０４を梱包容器３０６から取り出し、バーコードリーダー３０３を用いて、製品３０４のバーコードを読み取ることで検品を行う（図３（ｃ））。製品３０４の検品後、製品３０４は梱包容器３０６に戻されて梱包され、検品後の梱包容器３０５は第２レーン３０２上に移される。梱包容器３０５は第２レーン３０２上を次の作業位置へ移動し、第１レーン３０１上を、次の検品前の製品３０７が流れてくる（図３（ｄ））。

【0049】

検品と梱包の作業が正しく行われている場合、図３（ｄ）に示すように、検品後の梱包容器３０５を第２レーン３０２上に移すと、作業台１０５上には、バーコードリーダー３０３のみが残される。しかしながら、製品３０４を、検品したのち、梱包容器３０６に戻さず、梱包容器３０６を梱包して検品後の梱包容器３０５として第２レーン３０２上に移すと、図３（ｅ）に示すように、作業台１０５上には、バーコードリーダー３０３と、製品３０４とが残される。図３（ｅ）に示す状態は、梱包漏れ、即ち作業ミスが生じている状態である。

【0050】

図３（ａ）～図３（ｅ）に示す作業現場における本実施形態に係る作業管理システムの動作の詳細を述べる。

【0051】

まず、カメラ制御部２１２が、管理装置１０３に接続された入力用のキーボード等から、カメラ１０１による撮影を開始する指示の入力を受け付け、Ｉ／Ｏ２０５を介して、カメラ１０１に撮影を開始するための制御信号を送信する。

【0052】

図３（ａ）に示すように、第１レーン３０１上を、検品前の製品３０４が、梱包容器３０６に入れられた状態で流れてきたとき、作業台１０５上にはバーコードリーダー３０３のみが置かれており、ＡＲマーカー１０４は上に何も置かれていない。このとき、図３（ａ）～図３（ｅ）には図示されていないカメラ１０１によって、１秒間に所定のフレーム数だけ、作業台１０５が撮影されて画像が生成され、管理装置１０３に画像データが送信される。

【0053】

カメラによって撮影される画像のフレーム数は、一例として、１秒間に３０フレーム、即ち、３０ＦＰＳである。本実施形態では、２５ＦＰＳ、即ち０．０４秒ごとに１フレームの画像を生成するものとする。なお、フレーム数は、管理装置１０３側からカメラ１０１に対して任意の値を設定可能であってよい。

【0054】

カメラ１０１から管理装置１０３に送信された画像データは撮影した時刻とともにＲＡＭ２０３に記憶される。また、ＡＲマーカー読取部２０６に画像データが送信される。ＡＲマーカー１０４上に何も置かれていないため、ＡＲマーカー読取部２０６は画像データに映っているＡＲマーカー１０４の４隅の座標と、データを取得することができる。ＡＲマーカー読取部２０６は、ＡＲマーカー１０４を読み取った結果である、ＡＲマーカー１０４の４隅の座標と、データを期間判定部２０７に送信する。

【0055】

ＡＲマーカー読取部２０６は、ＡＲマーカー１０４の４隅の座標を検出することによりＡＲマーカー１０４を検出し、次にＡＲマーカー１０４の４隅の座標と枠線の内側のパターンに対応した情報を得る。これを利用して、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したＡＲマーカー１０４の４隅の座標とデータに基づいて、作業台１０５上に梱包容器３０６が置かれているかどうかを判定する。期間判定部２０７は、作業台１０５上に梱包容器３０６が置かれていないと判定した場合は、作業が行われていないと判定する。また、期間判定部２０７は、作業台１０５上に梱包容器３０６が置かれていると判定した場合は、作業が行われていると判定する。判定処理の詳細は後述する。また、判定結果は、ＲＡＭ２０３に記憶されてよい。

【0056】

ＡＲマーカー１０４は、作業台１０５上の所定の位置に設置される。具体的には、例えば、ＡＲマーカー１０４は、梱包容器３０６が置かれると想定される範囲内のいずれの位置に梱包容器３０６を置いても、ＡＲマーカー１０４の４隅の少なくとも一つがカメラ１０１から見えなくなるような位置、及びサイズで、作業台１０５上に表示されてよい。ＡＲマーカー１０４は、１つであってもよく、又は、複数であってもよい。複数のＡＲマーカー１０４を並べて表示してもよく、又は、梱包容器３０６が置かれると想定される範囲に分散させて表示してもよい。

【0057】

本実施形態において、期間判定部２０７は、作業台１０５上に梱包容器３０６が置かれているかどうかを判定する際、ＡＲマーカー１０４を使用している。ＡＲマーカーを読み取る場合、読み取り対象であるＡＲマーカーの４隅の座標を検出する必要がある。そのため、ＡＲマーカーの４隅の少なくとも１つが隠れると、そのＡＲマーカーを読み取ることができなくなる。これにより、期間判定部２０７は、ＡＲマーカー１０４の４隅の少なくとも１つが隠れたとき、ＡＲマーカー１０４が隠れたと判定することができる。

【0058】

また、ＡＲマーカーの４隅の座標を検出することにより、ＡＲマーカーの傾きを補正することができる。これによれば、ＡＲマーカーを表示する面に対して垂直方向にカメラを設置できなくても、ＡＲマーカーのパターンを補正して読み取ることができる。

【0059】

ＱＲコード（登録商標）等の２次元バーコードは、そのコードの一部が隠れて読み取ることができない場合でも、補完をすることにより、読み取りが可能となる誤り訂正機能を有する場合がある。本実施形態において、ＡＲマーカー１０４を使用することにより、ＱＲコードを用いた場合にその誤り訂正機能によって、コード上に梱包容器３０６が置かれているにもかかわらず梱包容器３０６の下のコードを読み取り期間判定部２０７によって作業台１０５上に梱包容器３０６が置かれていないと誤判定することを避けることができる。

【0060】

図３（ｂ）に示すように、作業員によって、製品３０４が入れられた梱包容器３０６が作業台１０５に移されると、ＡＲマーカー１０４は、少なくともその一部が梱包容器３０６によって見えなくなる。カメラ１０１は、作業員が梱包容器３０６を第１レーン３０１から作業台１０５に移動させるまでの間に、０．０４秒ごとに１フレームのペースで撮影をしている。従って、図３（ａ）に示す状態から図３（ｂ）に示す状態の間にも、カメラ１０１によって撮影がされている場合がある。

【0061】

図４（ａ）～（ｃ）に、梱包容器３０６を第１レーン３０１から作業台１０５に移動させる様子を示す。図４（ａ）と図３（ｂ）、図４（ｃ）と図３（ｃ）とはそれぞれ同じ状態であり、図４（ｂ）は梱包容器３０６を第１レーン３０１から作業台１０５に移動させる途中の様子である。梱包容器３０６を作業台１０５に移す際、図４（ｂ）に示すように、梱包容器３０６によってＡＲマーカー１０４の左側の隅が見えない状態となっている。例えば、図４（ｂ）、図４（ｃ）のそれぞれの状態においてカメラ１０１によって撮影がなされたとき、いずれの場合にも、ＡＲマーカー読取部２０６はＡＲマーカー１０４を読み取ることができず、期間判定部２０７は、梱包作業は開始された状態であると判定する。

【0062】

なお、例えば、ＡＲマーカー１０４に汚れが付着する、ＡＲマーカー１０４が損傷する、バーコードリーダー又は事務用品等の障害物によってＡＲマーカー１０４が遮蔽される等（以降、「汚損等」ともいう。）により、カメラ１０１がＡＲマーカー１０４を読み取ることができなくなる場合が想定される。このような場合、ＡＲマーカー１０４が清掃又は交換される等により、カメラ１０１がＡＲマーカー１０４の汚損等が解消されるまで、期間判定部２０７は、梱包作業は開始された状態であると判定する。しかし、実際には作業が開始しているとは限らず、作業が開始されていない場合もある。すなわち、期間判定部２０７は、ＡＲマーカー１０４に汚損等が生じた場合に、梱包作業の開始及び終了を正常に判定することができなくなる場合がある。これに対して、期間判定部２０７は、ＡＲマーカー１０４が読み取れない期間が所定の時間を超えた場合に、ＡＲマーカー１０４に汚損等が発生したと判定し、作業員に通知してもよい。作業員への通知方法としては、例えば、期間判定部２０７が、ユーザ通知部２１１を介して、通知装置１０２によって作業員に通知してもよい。これによれば、カメラ１０１が、ＡＲマーカー１０４に汚損等が生じ、作業の開始及び終了を正常に判定できなくなった場合に、作業員に対して、ＡＲマーカー１０４の汚損等の発生を通知し、汚損等の解消を促すことができる。

【0063】

期間判定部２０７がＡＲマーカー１０４に汚損等が発生したと判定するまでの所定の時間としては、例えば３０分といった、固定値であってもよい。または、期間判定部２０７がＡＲマーカー１０４に汚損等が発生したと判定するまでの所定の時間を、期間判定部２０７が作業が開始されたと判断した時刻と作業が終了したと判断した時刻の差、即ち１回の作業の所要時間の統計から、決定してもよい。この場合、期間判定部２０７は、ＡＲマーカー読取部２０６から受信したデータが一定期間連続してＡＲマーカーの読み取りに失敗したことを示すデータである場合に、作業が行われていると判定するように設定しておくと、瞬間的にＡＲマーカーが隠れた場合に、ごく短時間の作業として判定されてしまうといった誤判定を防ぐことが出来、１回の作業の所要時間の統計処理が容易になり、１回の作業の所要時間の推定精度も向上する。

【0064】

作業員が、製品３０４を梱包容器３０６から取り出し、バーコードリーダー３０３を用いて、製品３０４のバーコードを読み取ることで検品を行い（図３（ｃ））、その後、製品３０４は梱包容器３０６に戻されて梱包される。図３（ｂ）～図３（ｃ）のそれぞれの状態の間、カメラ１０１によって撮影がなされ、ＡＲマーカー読取部２０６はＡＲマーカー１０４を読み取ることができず、期間判定部２０７は、梱包作業は開始された状態であると判定する。

【0065】

図３（ｄ）に示すように、梱包容器３０５が第２レーン３０２に移されると、ＡＲマーカー読取部２０６はＡＲマーカー１０４を読み取ることができるようになる。梱包容器３０６を第１レーン３０１から作業台１０５に移動させるときと同様、梱包容器３０５を第２レーン３０２に移動させる間にも、カメラ１０１によって撮影がされている場合がある。

【0066】

図５（ａ）～（ｄ）に、梱包容器３０５を第２レーン３０２に移動させる様子を示す。図５（ａ）と図３（ｃ）、図５（ｄ）と図３（ｄ）とはそれぞれ同じ状態であり、図５（ｂ）、（ｃ）は梱包容器３０５を第２レーン３０２に移動させる途中の様子である。図５（ｂ）の状態では、カメラ１０１によって撮影がなされたとき、ＡＲマーカー読取部２０６はＡＲマーカー１０４を読み取ることができず、期間判定部２０７は、梱包作業は開始された状態であると判定する。図５（ｃ）の状態では、ＡＲマーカー読取部２０６はＡＲマーカー１０４を読み取ることができ、期間判定部２０７は、梱包作業は終了した状態であると判定する。

【0067】

ここで、差分画像取得部２０８が、期間判定部２０７が作業が開始したと判定したときの画像データをカメラ１０１から取得することとした場合、図４（ｂ）の状態のように、第１レーン３０１から、梱包容器３０６を移動させる途中の画像データが取得される場合がある。また、差分画像取得部２０８が、期間判定部２０７が作業が終了したと判定したときの画像データをカメラ１０１から取得することとした場合、図５（ｃ）の状態のように、第２レーン３０２に梱包容器３０５を移動させる途中の画像データが取得される場合がある。上述したような移動途中の画像データでは、作業台の少なくとも一部が梱包容器３０６や作業員の体などによって遮蔽されるため、作業開始前又は作業終了後の作業台１０５の状態を正しく記録できない。

【0068】

これに対して、カメラ１０１は、期間判定部２０７が、作業が終了したと判定したあと、撮影を継続してよい。撮像された画像データは、ＲＡＭ２０３にさらに記憶されてよい。

【0069】

差分画像取得部２０８は、期間判定部２０７が作業が開始したと判定した時の画像データから第１の所定の枚数だけ時間的に遡ったフレームの画像データを、ＲＡＭ２０３から開始画像データとして取得してよい。このようにすることで、作業開始前の作業台１０５の状態を正しく記録することができる。

【0070】

また、差分画像取得部２０８は、期間判定部２０７が作業が終了したと判定したときの画像データから第２の所定の枚数だけ時間的にあと送りされたフレームの画像データをＲＡＭ２０３から終了画像データとして取得してよい。このようにすることで、作業終了後の作業台１０５の状態を正しく記録することができる。

【0071】

以降、期間判定部２０７が、第１の所定の枚数だけ時間的に遡ったフレームの画像データを取得すること及び第２の所定の枚数だけ時間的に後送りしたフレームの画像データを取得することをフレームシフトすると表現する場合がある。

【0072】

図６を用いて、フレームシフトの一例を説明する。図６に、作業台１０５における、製品を検品したのち、梱包容器に入れて梱包する作業の１サイクルを示す。第１の状態６０１、第２の状態６０２、第３の状態６０３、第４の状態６０４、第５の状態６０５の順番、即ち図６中の白抜きの矢印の順番に、１サイクルの作業が行われる。第１の状態６０１と図３（ａ）、第２の状態６０２と図４（ｂ）、第３の状態６０３と図３（ｂ）、第４の状態６０４と図５（ｂ）、第５の状態６０５と図５（ｃ）はそれぞれ同じ状態である。第１の状態６０１は作業開始時点での作業台１０５上の状態であり、第２の状態６０２は梱包容器３０６を第１レーン３０１から作業台１０５に移動させる途中の様子である。第２の状態６０２の状態から第１の所定の枚数のフレームだけ遡れば、第１の状態６０１の状態となるように、第１の所定の枚数は決定される。また、第１の状態６０１は作業終了時点での作業台１０５上の状態であり、第５の状態６０５は梱包容器３０５を作業台１０５から第２レーン３０２に移動させる途中の様子である。第５の状態６０５の状態から第２の所定の枚数のフレームだけあと送りすれば、第１の状態６０１の状態となるように、第２の所定の枚数は決定される。

【0073】

図５（ｃ）の時点において、最も早いタイミングで、期間判定部２０７によって梱包作業が終了した状態であると判定された場合、図５（ｃ）の時点において撮影された画像データから第２の所定の枚数だけあと送りされたフレームの画像データが終了画像データとして取得される。

【0074】

図５（ｃ）の時点において、梱包容器３０５はＡＲマーカー１０４上に置かれていないが、ＡＲマーカー１０４の付近にあり、図５（ｃ）の時点における画像データと、１又は複数枚の後のフレームの画像データ内に梱包容器３０５、作業者の腕等が映り込んでいる場合がある。図５（ｃ）の時点から第２の所定の枚数だけあと送りすれば、梱包容器３０５をＡＲマーカー１０４上から移動させ、画像データ内に梱包容器３０５、作業者の腕等が映り込まない状態となるのに十分な時間が経過しているものとみなせるように、第２の所定の枚数を設定する。

【0075】

差分画像取得部２０８は、期間判定部２０７が、作業が終了したと判定したのち、終了画像データを取得すると同時に、ＲＡＭ２０３に記憶された画像データのうち、期間判定部２０７が作業が開始されたと判定したときの画像データから第１の所定の枚数だけ時間的に遡ったフレームの画像データを開始画像データとして取得し、開始画像データと終了画像データとを差分画像生成部２０９に送信する。図４（ｂ）の時点において、最も早いタイミングで、期間判定部２０７によって梱包作業が開始された状態であると判定された場合、図４（ｂ）の時点から第１の所定の枚数だけ遡れば、梱包容器３０６を作業台１０５上に移動させる前の、画像データ内に梱包容器３０６、作業者の腕等が映り込まない状態となるのに十分な時間遡っているものとみなせるように、第１の所定の枚数を設定する。なお、バーコードリーダー３０３が、作業台１０５に固定されている場合は、差分画像にバーコードリーダー３０３は表示されなくてもよい。

【0076】

差分画像生成部２０９は、開始画像データと終了画像データとの差分を取った差分画像を生成する。図３（ｄ）に示すように、梱包容器３０５を第２レーン３０２上に移し、作業台１０５上にバーコードリーダー３０３のみが残される状態であれば、図６に示すように、差分画像として、バーコードリーダー３０３のみが表示される。

【0077】

図３（ｅ）に示すように、梱包容器３０５を第２レーン３０２上に移したあと、作業台１０５上にバーコードリーダー３０３と製品３０４とが残される状態であれば、図７に示すように、差分画像として、バーコードリーダー３０３と製品３０４とが表示される。

【0078】

差分画像判定部２１０は、差分画像生成部２０９から受信した差分画像に基づいて、作業中に作業ミスがなかったかどうかを判定する。具体的には、例えば、差分画像判定部２１０は、差分画像生成部２０９から受信した差分画像に一定以上の差分がないことによって作業中に作業ミスがなかったかどうかを判定してよい。本実施形態においては、判定の際の処理を簡単化するために、差分画像の背景を黒、差分のあった個所を白となるように画像処理を行う。

【0079】

図７及び図８に差分画像の一例を示す。図７に示す例は、梱包作業中に、梱包漏れがないときの差分画像である。図８に示す例は、梱包作業中に、梱包漏れがあるときの差分画像である。図７に示すように、梱包作業中に、梱包漏れがなければ、差分画像にはバーコードリーダー３０３の形状のみが表示される。図８に示すように、梱包漏れがあれば、バーコードリーダー３０３と製品３０４の形状が表示される。

【0080】

ここで、バーコードリーダー３０３は、検品作業の際に作業員が手で保持して使用され、作業員がバーコードリーダー３０３でバーコードを読み取ったのち、作業台１０５上に戻される。すなわち、バーコードリーダー３０３の位置は、必ずしも一定ではない。したがって、差分画像に表示されるバーコードリーダー３０３の形状は、作業前の位置にあったバーコードリーダー３０３の形状と作業後の位置あるバーコードリーダー３０３の形状とが重畳されることにより、不定形な形状をなす。

【0081】

図９（ａ）～図９（ｅ）に、作業前と作業後の作業台上の様子と、差分画像を示す。図９（ａ）は作業前の作業台上の様子、図９（ｄ）は梱包漏れが発生した場合の作業後の作業台上の様子、図９（ｂ）と図９（ｅ）は図９（ａ）と図９（ｄ）のそれぞれを、背景を黒、その他の部分を白となるように画像処理を行った図、図９（ｃ）は、図９（ａ）と図９（ｄ）の差分画像である。図９（ａ）と図９（ｄ）とでは、バーコードリーダー３０３の位置が異なる。従って図９（ｃ）では、作業前の位置にあるバーコードリーダー３０３の形状と作業後の位置あるバーコードリーダー３０３の形状とが重畳された形状が示されている。

【0082】

一方、製品３０４は、作業前には作業台に存在せず、作業後にのみ存在し得る。そのため、差分画像に表示される製品３０４の形状は、製品のパッケージと同一の形状となる。

【0083】

図９（ａ）は作業前の作業台上の様子であり、製品３０４は作業台に存在しない。そのため、図９（ｂ）には、製品３０４は示されない。次に図９（ｄ）は、作業後の作業台上の様子であり、作業台上に製品３０４が存在する。そのため、図９（ｅ）には、製品３０４が示される。図９（ａ）と図９（ｄ）とでは、製品３０４の有無が異なる。従って、図９（ｂ）と図９（ｅ）との差分画像である図９（ｃ）では、作業後にのみ存在する製品３０４の形状が、製品のパッケージと同一の形状となる。

【0084】

例えば、差分画像に表示される製品３０４の形状は、多角形、円形、楕円形、又はそれらの組み合わせから成る定型的な形状をなす。そのため、差分画像判定部２１０は、差分画像に含まれる形状を検出部分として検出する。差分画像判定部２１０は、検出部分の形状が、製品３０４と同じ形状であれば、梱包漏れがあると判断し、検出部分の形状が、製品３０４と同じ形状でなければ、梱包漏れはないと判断する。なお、検出する対象の製品３０４の形状はあらかじめ記憶部２０４に記憶されてよい。製品３０４の形状は、四角形、楕円形などのような形状として記憶されてよい。また、製品３０４の形状は、製品３０４の寸法として記憶されてもよく、製品３０４を撮影した画像の画素数として記憶されてもよい。

【0085】

差分画像判定部２１０は、差分画像の差分のあった個所から、直線、円や楕円、又はそれらの組み合わせから成る形状を検出したのち、さらに、検出部分が一定以上の画素数の形状を検出し、製品３０４の形状と比較して、梱包漏れの判断を行ってもよい。

【0086】

図１０のフローチャートを参照しながら、本実施形態に係る差分画像判定部２１０が、差分画像から製品３０４を検出する手法の一例を説明する。なお、この例では、製品３０４の形状は、４本の直線で囲まれた形状、即ち四角形である。

【0087】

Ｓ１００１において、差分画像判定部２１０は、差分画像から差分のあった箇所の輪郭を検出する。

【0088】

Ｓ１００２において、差分画像判定部２１０は、Ｓ１００１において検出した差分のあった箇所の輪郭に基づいて、差分箇所の頂点を検出する。

【0089】

ここで、差分画像はデジタル画像であるため、差分のあった箇所の輪郭は、例えば直線のように見える箇所であっても、厳密には直線ではなく、階段状に頂点が連続した形状になる場合がある（以降、ジャギーと表記する場合がある）。すなわち、多数の微小な頂点が存在する状態となる。ジャギーの全てを頂点として検出すると、製品パッケージが差分画像に写った場合であっても、多数の頂点が検出され、輪郭を正しく検出できない。

【0090】

これに対し、本実地形態において、差分画像判定部２１０は、ジャギーを頂点として検出しないように、差分画像に対して、エッジ処理を行ったのち、差分画像の頂点を検出してよい。具体的には、例えば、隣接する頂点との距離が所定以上の長さである頂点のみを検出する、又は、多数の微小な頂点が発生する領域は平均点によって均す、等の処理を行ったのち、差分箇所の頂点を検出してよい。これによれば、ジャギーを頂点として検出することを抑制し、製品の輪郭を検出できる。なお、エッジ処理は、上記の例に限定されず、ソーベルフィルタまたは、ラジアンフィルタ、キャニーフィルタなど既知の技術が用いられてもよい。

【0091】

Ｓ１００３において、差分画像判定部２１０は、Ｓ１００２において検出した頂点同士を結ぶ直線の数をカウントする。

【0092】

Ｓ１００４において、差分画像判定部２１０は、Ｓ１００３においてカウントした直線の数が４か否かを判定する。差分画像判定部２１０は、Ｓ１００３においてカウントした直線の数が４であった場合、直線の数が４となる範囲を検出部分とし、Ｓ１００５に進む。差分画像判定部２１０は、Ｓ１００３においてカウントした直線の数が４でなかった場合、梱包漏れが発生していないと判定（Ｓ１００７）する。

【0093】

Ｓ１００５において、差分画像判定部２１０は、検出部分の画素数が所定以上の画素数であるかを判定する。差分画像判定部２１０は、検出部分が所定以上の画素数であった場合、梱包漏れが発生したと判定（Ｓ１００６）し、所定以上の画素数でなかった場合、梱包漏れが発生していないと判定（Ｓ１００７）する。

【0094】

なお、上記の例において、差分画像判定部２１０は、頂点を検出し、頂点間の直線の数に基づいて製品を検出する例を説明したが、検出方法はこれに限定されない。他の実施例として、差分画像判定部２１０は、検出した頂点のコサイン角を算出し、各頂点のコサイン角の合計が所定の条件に合致した場合に検出部分とする手法、円形部分を検出部分とする手法などの任意の手法により製品３０４の形状を検出してよい。

【0095】

ユーザ通知部２１１は、差分画像判定部２１０から受信した判定結果に基づいて、通知装置１０２に通知装置１０２を制御する制御信号を送信する。通知装置１０２が、ブザー、又は、ライトであれば、ブザーを鳴らす、ライトが点灯する、等の方法により、作業者に作業ミスを知らせてもよい。通知装置１０２が、スピーカーであれば、音声によって作業ミスを知らせてもよい。通知装置１０２が、ディスプレイであれば、ディスプレイに作業ミスの内容を表示してもよい。通知装置１０２を携帯端末とし、作業者の形態端末のディスプレイに作業ミスの内容を表示してもよい。

【0096】

図１１のフローチャートを参照しながら、本実施形態に係る作業管理方法を説明する。図１１に示すフローチャートは、すでにカメラ制御部２１２は、カメラ１０１にカメラ１０１に撮影を開始するための制御信号を送信し、カメラ１０１が撮影を開始されている状態から開始するものとする。

【0097】

ステップＳ１１０１において、カメラ１０１は、１秒間に所定のフレーム数だけ、作業台１０５を撮影して画像を生成し、ＡＲマーカー読取部２０６に画像データを送信する。

【0098】

ステップＳ１１０２において、ＡＲマーカー読取部２０６は、ＡＲマーカーを読み取り、ＡＲマーカー１０４の４隅の座標と、データを期間判定部２０７に送信する。

【0099】

ステップＳ１１０３において、期間判定部２０７は、作業の段階を判定して、判定結果を差分画像取得部２０８に送信する。期間判定部２０７が、作業が終了したと判定するまで、ステップＳ１１０１～ステップＳ１１０３を繰り返す。期間判定部２０７が、作業が終了したと判定すれば、ステップＳ１１０４に進む。

【0100】

ステップＳ１１０４において、ステップＳ１１０１～ステップＳ１１０３を、カメラ１０１が第２の所定の枚数分画像を生成するまで繰り返し、ステップＳ１１０５に進む。

【0101】

ステップＳ１１０５において、差分画像取得部２０８は、期間判定部２０７が、作業が終了したと判定作業が終了したと判定したのち、ＲＡＭ２０３に記憶された画像データのうち、期間判定部２０７が作業が終了したと判定したときの画像データから第２の所定の枚数だけ時間的にあと送りされたフレームの画像データを終了画像データとして取得して差分画像生成部２０９に送信する。

【0102】

ステップＳ１１０６において、差分画像取得部２０８は、期間判定部２０７が、作業が終了したと判定したのち、終了画像データを取得すると同時に、ＲＡＭ２０３に記憶された画像データのうち、期間判定部２０７が作業が開始されたと判定したときの画像データから第１の所定の枚数だけ時間的に遡ったフレームの画像データを開始画像データとして取得して差分画像生成部２０９に送信する。

【0103】

ステップＳ１１０７において、差分画像生成部２０９は、開始画像データと終了画像データとの差分を取った差分画像を生成する。

【0104】

ステップＳ１１０８において、差分画像判定部２１０は、差分画像生成部２０９から受信した差分画像に基づいて、作業中に作業ミスがなかったかどうかを判定する。

【0105】

ステップＳ１１０９において、ユーザ通知部２１１は、差分画像判定部２１０から受信した判定結果に基づいて、通知装置１０２に通知装置１０２を制御する制御信号を送信し、作業ミスがあれば、通知装置１０２がユーザに通知する。

【0106】

本実施形態では、本発明に係る作業管理システムについて、作業として梱包作業を行い、作業ミスとしては梱包漏れである例を挙げて説明したが、作業としては梱包作業に限定されない。例えば、作業として、製造現場における製造作業等であってもよい。

【0107】

以上、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【0108】

本発明は、物流拠点における作業ミスを防止することを目的とした発明である。一般に梱包作業においてミスが発生した場合、利用者へ正しい状態の商品が届くまでに多くの時間を要することになるため、物流事業者は梱包作業において多重の確認作業などを行う。本発明を用いることで、梱包作業における多重確認を機械化することができ、物流のデジタル化に寄与することができるから、持続可能な開発目標（Ｓｕｓｔｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ：ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献することができる。

【符号の説明】

【0109】

１０ 作業管理システム
１０１ カメラ
１０２ 通知装置
１０３ 管理装置
１０４ ＡＲマーカー
１０５ 作業台
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 記憶部
２０５ Ｉ／Ｏ（インプット・アウトプットインターフェース）
２０６ ＡＲマーカー読取部
２０７ 期間判定部
２０８ 差分画像取得部
２０９ 差分画像生成部
２１０ 差分画像判定部
２１１ ユーザ通知部
２１２ カメラ制御部
３０１ 第１レーン
３０２ 第２レーン
３０３ バーコードリーダー
３０４、３０７ 製品
３０５、３０６ 梱包容器
６０１ 第１の状態
６０２ 第２の状態
６０３ 第３の状態
６０４ 第４の状態
６０５ 第５の状態

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】