特開 2024-5533 作業管理装置及び作業管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024005533

(43)【公開日】2024-01-17

(54)【発明の名称】作業管理装置及び作業管理方法

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240110BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022105746

(22)【出願日】2022-06-30

(71)【出願人】

【識別番号】515237795

【氏名又は名称】アキュイティー株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100167793

【弁理士】

【氏名又は名称】鈴木 学

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】佐藤 眞平

(72)【発明者】

【氏名】根本 幸一

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC04

(57)【要約】

【課題】作業対象物が所定の位置に配置されたことを精度よく判定できる作業管理装置を提供する。
【解決手段】作業管理装置２は、作業者が作業対象物を所定の指定エリアＴに配置する作業を撮像装置が撮影することによって生成した撮像画像を取得する画像取得部２４２と、撮像画像に写っている作業者の動作部位の位置を検出する動作部位検出部２４３と、動作部位検出部２４３によって検出された動作部位が指定エリアＴに入る前の第１タイミングで撮影された第１撮像画像と、動作部位が指定エリアＴに入った後の第２タイミングで撮影された第２撮像画像とを特定し、第１撮像画像における指定エリアＴの画像と、第２撮像画像における指定エリアＴの画像との差分が所定の閾値以上の場合に、指定エリアＴに作業対象物が配置されたと判定する判定部２４４と、判定部２４４の判定結果を出力する出力部２４５とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業者が作業対象物を所定の指定エリアに配置する作業を撮像装置が撮影することによって生成した撮像画像を取得する画像取得部と、
前記撮像画像に写っている前記作業者の動作部位の位置を検出する動作部位検出部と、
前記動作部位検出部によって検出された前記動作部位が前記指定エリアに入る前の第１タイミングで撮影された第１撮像画像と、前記動作部位が前記指定エリアに入った後の第２タイミングで撮影された第２撮像画像とを特定し、前記第１撮像画像における前記指定エリアの画像と、前記第２撮像画像における前記指定エリアの画像との差分が所定の閾値以上の場合に、前記指定エリアに前記作業対象物が配置されたと判定する判定部と、
前記判定部の判定結果を出力する出力部と、
を備える、作業管理装置。

【請求項2】

前記判定部は、
前記動作部位が前記指定エリアに入っていない前記第１タイミングの撮像画像を前記第１撮像画像として特定し、かつ、前記動作部位が前記指定エリアに入っていない前記第２タイミングの撮像画像を前記第２撮像画像として特定し、
特定した前記第１撮像画像と前記第２撮像画像との差分に基づいて前記判定を行う、
請求項１に記載の作業管理装置。

【請求項3】

前記判定部は、前記動作部位が前記指定エリアに入っている所定の基準時刻から第１設定時間だけ前の時刻を前記第１タイミングと決定するとともに、前記所定の基準時刻から第２設定時間だけ後の時刻を前記第２タイミングと決定する、
請求項１又は２に記載の作業管理装置。

【請求項4】

前記撮像装置は、複数の前記指定エリアを含む撮像画像を生成し、
前記判定部は、前記指定エリアごとに前記第１タイミング及び第２タイミングを決定する、
請求項３に記載の作業管理装置。

【請求項5】

前記動作部位検出部は、前記撮像画像に写っている前記作業者の身体の画像に基づき、複数の動作ポイントを含む前記身体の骨格情報を作成し、
前記出力部は、前記複数の動作ポイントのうち前記作業者が行う前記作業の内容に関連する所定の動作ポイントを、前記作業者の身体の画像における前記所定の動作ポイントに対応する身体の部位に重畳させて画像表示部に表示させる、
請求項１又は２に記載の作業管理装置。

【請求項6】

前記動作部位検出部は、前記撮像画像に写っている前記作業者の身体の画像に基づき前記身体の骨格情報を作成し、前記骨格情報に基づいて特定した、前記作業者が行う前記作業の内容に関連する１以上の動作ポイントの位置に基づいて前記動作部位の位置を検出する、
請求項１又は２に記載の作業管理装置。

【請求項7】

前記動作部位検出部は、複数の前記作業の内容と、前記作業の内容に関連する複数の前記所定の動作ポイントとを関連付けて記憶する記憶部を参照し、ユーザから受け付けた前記作業の内容の入力に応じて、入力された前記作業の内容に関連する前記所定の動作ポイントを決定する、
請求項６に記載の作業管理装置。

【請求項8】

前記動作部位検出部が作成した前記骨格情報が示す動きに基づいて、前記作業者が行う前記作業の内容を特定する作業特定部をさらに備え
前記動作部位検出部は、前記作業特定部が特定した前記作業の内容に関連する前記動作ポイントの位置に基づいて前記動作部位の位置を検出する、
請求項６に記載の作業管理装置。

【請求項9】

前記判定部は、
前記作業対象物が配置された対象物配置エリアから前記作業者が前記作業対象物をピックアップしたことを検出する検出手段からの出力を受信した受信タイミング、又は、前記受信タイミングよりも所定時間だけ前若しくは後のタイミングを、前記第１タイミングとする、
請求項１又は２に記載の作業管理装置。

【請求項10】

作業者が作業対象物を所定の指定エリアに配置する作業を撮像装置が撮影することによって生成した撮像画像を取得する画像取得ステップと、
前記撮像画像に写っている前記作業者の動作部位の位置を検出する動作部位検出ステップと、
前記動作部位検出ステップにおいて検出された前記動作部位が前記指定エリアに入る前の第１タイミングで撮影された第１撮像画像と、前記動作部位が前記指定エリアに入った後の第２タイミングで撮影された第２撮像画像とを特定し、前記第１撮像画像における前記指定エリアの画像と、前記第２撮像画像における前記指定エリアの画像との差分が所定の閾値以上の場合に、前記指定エリアに前記作業対象物が配置されたと判定する判定ステップと、
前記判定ステップでの判定結果を出力する出力ステップと、
を有し、各ステップはコンピュータによって実行される、作業管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業管理装置及び作業管理方法に関する。

【背景技術】

【0002】

従来、作業者が行う作業を撮影することによって取得した撮像画像を分析し、作業者の手が所定の監視領域に入ったことや、作業者によって部品が所定の位置に組み付けられたことを検出する作業分析システムが知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１６３２９３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、作業者がある位置に置かれている対象物を所定の位置に移動させ、その対象物を配置する作業においては、対象物が所定の位置に配置されたか否かを判定することが重要となる。しかし、従来の技術では、対象物が所定の位置に配置されたことを精度よく判定できないという問題があった。

【0005】

そこで、本発明は上記に鑑みてなされたものであり、作業対象物が所定の位置に配置されたことを精度よく判定できる作業管理装置及び作業管理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一形態の作業管理装置は、作業者が作業対象物を所定の指定エリアに配置する作業を撮像装置が撮影することによって生成した撮像画像を取得する画像取得部と、前記撮像画像に写っている前記作業者の動作部位の位置を検出する動作部位検出部と、前記動作部位検出部によって検出された前記動作部位が前記指定エリアに入る前の第１タイミングで撮影された第１撮像画像と、前記動作部位が前記指定エリアに入った後の第２タイミングで撮影された第２撮像画像とを特定し、前記第１撮像画像における前記指定エリアの画像と、前記第２撮像画像における前記指定エリアの画像との差分が所定の閾値以上の場合に、前記指定エリアに前記作業対象物が配置されたと判定する判定部と、前記判定部の判定結果を出力する出力部と、を備える。

【0007】

前記判定部は、前記動作部位が前記指定エリアに入っていない前記第１タイミングの撮像画像を前記第１撮像画像として特定し、かつ、前記動作部位が前記指定エリアに入っていない前記第２タイミングの撮像画像を前記第２撮像画像として特定し、特定した前記第１撮像画像と前記第２撮像画像との差分に基づいて前記判定を行ってもよい。

【0008】

前記判定部は、前記動作部位が前記指定エリアに入っている所定の基準時刻から第１設定時間だけ前の時刻を前記第１タイミングと決定するとともに、前記所定の基準時刻から第２設定時間だけ後の時刻を前記第２タイミングと決定してもよい。

【0009】

前記撮像装置は、複数の前記指定エリアを含む撮像画像を生成し、前記判定部は、前記指定エリアごとに前記第１タイミング及び第２タイミングを決定してもよい。

【0010】

前記動作部位検出部は、前記撮像画像に写っている前記作業者の身体の画像に基づき、複数の動作ポイントを含む前記身体の骨格情報を作成し、前記出力部は、前記複数の動作ポイントのうち前記作業者が行う前記作業の内容に関連する所定の動作ポイントを、前記作業者の身体の画像における前記所定の動作ポイントに対応する身体の部位に重畳させて画像表示部に表示させてもよい。

【0011】

前記動作部位検出部は、前記撮像画像に写っている前記作業者の身体の画像に基づき前記身体の骨格情報を作成し、前記骨格情報に基づいて特定した、前記作業者が行う前記作業の内容に関連する１以上の動作ポイントの位置に基づいて前記動作部位の位置を検出してもよい。

【0012】

前記動作部位検出部は、複数の前記作業の内容と、前記作業の内容に関連する複数の前記所定の動作ポイントとを関連付けて記憶する記憶部を参照し、ユーザから受け付けた前記作業の内容の入力に応じて、入力された前記作業の内容に関連する前記所定の動作ポイントを決定してもよい。

【0013】

前記作業管理装置は、前記動作部位検出部が作成した前記骨格情報が示す動きに基づいて、前記作業者が行う前記作業の内容を特定する作業特定部をさらに備え、前記動作部位検出部は、前記作業特定部が特定した前記作業の内容に関連する前記動作ポイントの位置に基づいて前記動作部位の位置を検出してもよい。

【0014】

前記判定部は、前記作業対象物が配置された対象物配置エリアから前記作業者が前記作業対象物をピックアップしたことを検出する検出手段からの出力を受信した受信タイミング、又は、前記受信タイミングよりも所定時間だけ前若しくは後のタイミングを、前記第１タイミングとしてもよい。

【0015】

本発明の一形態の作業管理方法は、作業者が作業対象物を所定の指定エリアに配置する作業を撮像装置が撮影することによって生成した撮像画像を取得する画像取得ステップと、前記撮像画像に写っている前記作業者の動作部位の位置を検出する動作部位検出ステップと、前記動作部位検出ステップにおいて検出された前記動作部位が前記指定エリアに入る前の第１タイミングで撮影された第１撮像画像と、前記動作部位が前記指定エリアに入った後の第２タイミングで撮影された第２撮像画像とを特定し、前記第１撮像画像における前記指定エリアの画像と、前記第２撮像画像における前記指定エリアの画像との差分が所定の閾値以上の場合に、前記指定エリアに前記作業対象物が配置されたと判定する判定ステップと、前記判定ステップでの判定結果を出力する出力ステップと、を有し、各ステップはコンピュータによって実行される。

【発明の効果】

【0016】

本発明によれば、作業対象物が所定の位置に配置されたことを精度よく判定できる作業管理装置及び作業管理方法を提供できるという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態の作業管理システムの構成を示す図である。

【図2】作業者が行う作業を上方から見た様子を示す図である。

【図3】カメラが撮影した撮像画像と、画像上に表示された在庫エリア及び指定エリアとを示す図である。

【図4】作業者の手の画像に基づいて作成された骨格情報を示す図である。

【図5】記憶部が記憶する作業の内容と動作ポイントとが関連付けられたデータテーブルの一例である。

【図6】判定部による撮像画像の差分に基づく商品配置の判定を説明するための模式図である。

【図7】作業管理システムの動作の一例のフローチャートである。

【図8】カメラが撮影した撮像画像と、画像上に表示された複数の在庫エリア及び複数の指定エリアとを示す図である。

【図9】本発明の実施の形態の変形例の構成を示すブロック図である。

【発明を実施するための形態】

【0018】

＜第１の実施形態＞
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明では、同一又は対応する要素には同一又は対応する符号を付し、重複する説明は省略する。図１は、本発明の一実施形態の作業管理システムＳ１００の構成を示す図である。図２は、作業者が行う作業を上方から見た様子を示す図である。図３は、カメラ１が撮影した撮像画像と、画像上に表示された在庫エリアＳ及び指定エリアＴとを示す図である。

【0019】

［作業管理システムＳ１００の概要］
作業管理システムＳ１００は、図１に示すように、カメラ１と、作業管理装置２とを備えている。本実施形態では、作業管理システムＳ１００が、作業者が行う商品の仕分け作業を撮影することを例示する。この作業は具体的には、図１及び図２に示すように、作業者が、複数の在庫箱１１－１、１１－２、１１－３（単に在庫箱１１ともいう）から作業対象物である商品５を取り、その商品５を梱包箱１２に移動させて配置する作業である。

【0020】

本実施形態の作業管理システムＳ１００は、作業者の手が梱包箱１２に対応する所定の指定エリアＴに入る前のタイミングで撮影された撮像画像と、作業者の手がその指定エリアＴに入った後のタイミングで撮影された撮像画像との差分に基づいて、梱包箱１２に商品５が配置されたことを判定することを特徴の１つとしている。

【0021】

作業者が行うこの種の作業においては、商品５を掴んだ状態の作業者の手が梱包箱１２の上を通過したが商品５が梱包箱１２に配置されないことが想定される。そのため、単に作業者の手が指定エリアＴに入ったことを条件として商品５が梱包箱１２に配置されたと判定をする方式では、商品５が梱包箱１２に配置されたことを正しく判定できない。

【0022】

これに対して、本実施形態の作業管理システムＳ１００によれば、詳細は後述するが、指定エリアＴに作業者の手が入った前の撮像画像と、指定エリアＴに作業者の手が入った後の撮像画像とを用い、それらの撮像画像の差分に基づいて商品５が配置されたことを判定するため、商品５が梱包箱１２に配置されたことを精度よく判定することができる。

【0023】

［作業管理システムＳ１００の各部の説明］
（カメラ１）
カメラ１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する撮像装置である。カメラ１は、不図示の支持体によって支持され、在庫箱１１、梱包箱１２、商品５及び作業をしている作業者の手を上方から、所定のフレームレートで撮影する。カメラ１は、生成した撮像画像を作業管理装置２へ送信する。

【0024】

（作業管理装置２）
作業管理装置２は、例えば、コンピュータプログラムがインストールされたコンピュータである。作業管理装置２は、一例として、図１に示すように、入力部２１、表示部２２、記憶部２３、及び制御部２４を有する。

【0025】

入力部２１は、作業者からの入力を受け付けるためのデバイスである。入力部２１は、例えばキーボード、マウス、タッチパネル等の任意のデバイスである。

【0026】

表示部２２は、各種の情報を表示する任意の画像表示部であり、例えば１つ又は複数のディスプレイである。入力部２１及び表示部２２が、タッチパネル式ディスプレイとして構成されていてもよい。表示部２２は、カメラ１が生成した連続的な複数の撮像画像である動画を例えばリアルタイムに表示する。表示部２２は、ディスプレイとして構成されたもののほか、例えば、投影部（不図示）が所定の被写体に対して映像を投影することにより各種の情報が表示されるものであってもよい。

【0027】

表示部２２は、一例として図３のような画像が表示する。図３の画像は、カメラ１が生成した撮像画像に加えて、在庫エリアＳ及び指定エリアＴを含んでいる。在庫エリアＳは、在庫箱１１に対応する大きさにエリアであり、この例では、それぞれの在庫箱１１に対応して３つの在庫エリアＳが設定されている。指定エリアＴは、梱包箱１２に対応する大きさに設定されたエリアであり、この例では、梱包箱１２に対応して１つの指定エリアＴが設定されている。在庫エリアＳ及び指定エリアＴの設定については、後述する。

【0028】

記憶部２３は、各種のデータを記憶する記憶媒体であり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びハードディスク等を有する。記憶部２３は、制御部２４が実行するコンピュータプログラムを記憶する。記憶部２３は、後述するように制御部２４が演算処理を行う際に参照する各種のデータを記憶している。

【0029】

（制御部２４の各機能部）
制御部２４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。制御部２４は、例えば、記憶部２３が記憶するコンピュータプログラムを実行することにより、図１に示すように、エリア設定部２４１、画像取得部２４２、動作部位検出部２４３、判定部２４４、及び出力部２４５として機能する。

【0030】

エリア設定部２４１は、在庫エリアＳ及び指定エリアＴを設定するための機能部である。エリア設定部２４１は、例えば、ユーザが入力部２１を用いて指定した範囲を在庫エリアＳ及び指定エリアＴとして受け付け、設定情報を記憶部２３に記憶させる。具体的には、ユーザは、例えば、四角形の対角の二点の座標を入力することによって在庫エリアＳ及び指定エリアＴを設定する。

【0031】

画像取得部２４２は、カメラ１が生成した撮像画像を取得する。画像取得部２４２によって取得された撮像画像は、一例として、記憶部２３に保存される。

【0032】

動作部位検出部２４３は、撮像画像に写っている作業者の動作部位の一例である手の位置を検出する。図４は、作業者の手の画像に基づいて作成された骨格情報を示す図である。動作部位検出部２４３は、撮像画像に写っている作業者の身体の画像に基づき、骨格情報を作成する。動作部位検出部２４３は、一例として、作業者の身体に付されたマーカなどを利用することなく、撮像画像に写った身体の画像に基づきリアルタイムで動作部位の三次元的な骨格情報を作成する。

【0033】

「骨格情報」は、例えば、関節や指先などの位置に対応した複数の動作ポイントを含む。図４では、作業者の片手（右手）の複数の動作ポイントのうち、一例として、親指の先端及び親指の関節がそれぞれ動作ポイントＰ１１、Ｐ１２で示され、人差し指の先端及び人差し指の関節がそれぞれ動作ポイントＰ２１、Ｐ２２で示されている。

【0034】

本実施形態では、後述するように、判定部２４４により、作業者の動作部位が指定エリアＴに入っているか否かが検出される。作業者の動作部位が指定エリアＴに入っているか否かの検出のためには、動作部位のうち具体的にどの位置が指定エリアＴに入っているかを特定する必要がある。そこで、動作部位検出部２４３は、一例で、骨格情報に基づいて特定した、作業の内容に関連する１以上の動作ポイントの位置に基づいて、作業者の動作部位の位置を検出する。

【0035】

具体例として、人差し指と親指とで商品５を持って移動させる作業の場合、動作部位検出部２４３は動作ポイントＰ１１及び動作ポイントＰ２１の位置に基づいて、作業者の手の位置を検出する。すなわち、動作ポイントＰ１１及び動作ポイントＰ２１が、作業者の手の位置を検出するための基準位置となる。なお、動作部位検出部２４３は、複数の動作ポイントではなく、動作ポイントＰ１１又は動作ポイントＰ２１のいずれか一方の位置に基づいて手の位置を検出してもよい。

【0036】

本実施形態では、作業内容に関連する動作ポイントを基準として手の位置が検出されるため、上記のような作業内容の例で言えば、例えば手首の動作ポイントを基準として手の位置を検出する場合と比べて、作業内容に応じたより適切な検出が可能となる。

【0037】

複数の動作ポイントのうちどの動作ポイントが、対象の作業における動作部位の検出に重要であるかは、作業内容に応じて異なる。例えば、大きな商品を移動させる作業であれば右手と左手のそれぞれの動作ポイントを検出することが好ましく、小さな商品を移動させる作業であれば片手の動作のみ検出すればよいといったことが想定される。

【0038】

そこで、記憶部２３は、複数の作業内容と、作業内容に関連する複数の所定の動作ポイントとを関連付けて記憶していてもよい。この場合、動作部位検出部２４３は、記憶部２３を参照し、作業内容に関連する動作ポイントを決定してもよい。具体的には、動作部位検出部２４３は、ユーザから受け付けた作業内容の入力に応じて、入力された作業内容に関連する動作ポイントを決定してもよい。作業内容は、例えば、所定のグラフィカルユーザインターフェースを介して入力される。作業の内容が、作業管理システムＳ１００によって特定される例については後述する。

【0039】

図５は、記憶部２３が記憶する作業内容と動作ポイントとが関連付けられたデータテーブルの一例である。このテーブルでは、作業内容と、対象部位（動作部位）と、動作ポイントとが関連付けられている。「作業内容」は作業の内容の種別を示し、「動作部位」はその作業において検出するべき作業者の身体の部位を示し、その作業において基準とするべき「動作ポイント」は骨格情報に含まれる１つ又は複数の動作ポイントを示す。動作部位検出部２４３は、一例で、図５のデータテーブルを参照して作業内容に関連した動作ポイントを決定する。

【0040】

判定部２４４は、指定エリアＴに作業対象物である商品５が配置されたことを判定する機能部である。判定部２４４は、指定エリアＴが写っている２つの撮像画像の差分に基づいて商品５が配置されたことを判定する。

【0041】

図６は、判定部２４４による撮像画像の差分に基づく商品配置の判定を説明するための模式図であり、横軸は時間軸である。判定部２４４は、作業者の手が指定エリアＴに入る前の第１タイミングで撮影された第１撮像画像と、作業者の手が指定エリアＴに入った後の第２タイミングで撮影された第２撮像画像とを特定する。判定部２４４は、具体的には、作業者の手が指定エリアＴに入っていない第１タイミングの撮像画像を第１撮像画像として特定する。また、判定部２４４は、作業者の手が指定エリアＴに入っていない第２タイミングの撮像画像を第２撮像画像として特定する。このように、手が写っていない撮像画像を用いることで、手によって商品５が隠れることなく、商品５の有無を良好に判定可能となる。

【0042】

手が写っていない撮像画像を特定するために、判定部２４４は、より具体的には、作業者の手が指定エリアＴに入っている所定の基準時刻ｔから第１設定時間ａ１だけ前の時刻を第１タイミングと決定するとともに、所定の基準時刻ｔから第２設定時間ａ２だけ後の時刻を第２タイミングと決定する。このように指定エリアＴに手が入っている基準時刻ｔに対して所定の時間的なマージンを持たせたタイミングを第１タイミング及び第２タイミングとすることで、複雑な画像処理を必要とせずに、第１タイミング及び第２タイミングを決定できる。

【0043】

「所定の基準時刻ｔ」は、作業者の手が指定エリアＴ内に入っている時間帯のうちの任意のタイミングであり、例えば、判定部２４４が撮像画像に基づいて決定する。一例として、判定部２４４は、作業者の手が指定エリアＴに入ったことを検出し、続いて、作業者の手が指定エリアＴから出たことを検出した場合に、作業者の手が指定エリアＴに入った時刻と、作業者の手が指定エリアＴから出た時刻との間の時間の任意のタイミングを基準時刻ｔとして決定する。

【0044】

ところで、指定エリアＴに対してどのようなタイミングで作業者の手が入り、どのようなタイミングで手が指定エリアＴの外に出るかは、例えば、作業の内容や指定エリアＴの大きさに依存する。そこで、作業管理装置２は、第１設定時間ａ１及び第２設定時間ａ２をユーザが入力し、それにより第１タイミング及び第２タイミングを変更できるように構成されていてもよい。具体的には、判定部２４４は、ユーザが入力した第１設定時間ａ１及び第２設定時間ａ２の時間を受け付け、受け付けた第１設定時間ａ１及び第２設定時間ａ２を用いて第１タイミング及び第２タイミングを決定する。

【0045】

また、記憶部２３が、複数の作業の内容に関連付けて複数の第１設定時間ａ１及び第２設定時間ａ２を記憶しており、判定部２４４は、記憶部２３を参照して、作業内容に応じた第１設定時間ａ１及び第２設定時間ａ２を決定してもよい。作業内容は、ユーザによって入力されたものであってもよいし、作業管理装置２が撮像画像に基づいて推定したものであってもよい。

【0046】

（差分演算処理）
判定部２４４は、上記の処理によって特定した第１タイミングの第１撮像画像と、第２タイミングの第２撮像画像とを差分演算処理し、差分が所定の閾値以上の場合に、指定エリアＴに商品５が配置されたと判定する。判定部２４４は、具体的には、一例で、第１撮像画像における指定エリアＴの画像と、第２撮像画像における指定エリアＴの画像との差分を求める。このような処理によれば、例えば商品５が梱包箱１２に正しく置かれた場合には、差分が所定の閾値以上となり、判定部２４４は指定エリアＴに商品５が配置されたことを検出できる。

【0047】

差分は、例えば第１タイミングの第１撮像画像と第２撮像画像とで画素値が異なる画素数により表され、所定の閾値は、商品５の大きさに対応する画素数に基づいて定められている。所定の閾値は、例えば、商品５の大きさに対応する画素数として想定される画素数の最小値である。

【0048】

出力部２４５は、制御部２４が演算処理した各種の情報を出力する機能部である。出力部２４５は、例えば表示部２２に各種の情報を表示させる。出力部２４５は、また、ネットワークを介して接続された不図示の外部の機器に各種の情報を出力してもよい。

【0049】

出力部２４５は、一例として、作業者の作業をカメラ１が撮影して生成した撮像画像を表示部２２に出力する。上述したように本実施形態では動作部位検出部２４３が、作業者の手の骨格情報を作成する。出力部２４５は、例えば、骨格情報に含まれる動作ポイント及び動作ポイントどうしを接続する線を、作業者の手の画像に重畳させて表示させてもよい。

【0050】

出力部２４５は、また、骨格情報に含まれる動作ポイントのうち、対象の作業内容に関連の高い動作ポイントを優先的に表示させ、それ以外は表示させないようにしてもよい。図３では、作業者の手の骨格情報に含まれる動作ポイントのうち動作ポイントＰ１１及び動作ポイントＰ２１が表示され、その他の動作ポイントについては画面上に表示されていない。出力部２４５は、このように、複数の動作ポイントのうち所定の動作ポイントを、作業者の身体の画像における動作ポイントに対応する身体の部位に重畳させて表示させてもよい。複数の動作ポイントのうちどの動作ポイントを表示させるかは、出力部２４５が、作業者が行う作業の内容に関連する動作ポイントを特定し、特定した動作ポイントを表示させてもよい。

【0051】

出力部２４５は、また、判定部２４４の判定結果を出力する。出力部２４５は、例えば、指定エリアＴに商品５が配置されたことを示す通知を出力する。出力部２４５は、具体的には、それぞれの商品５を識別する画像識別機能を有し、指定エリアＴの配置された商品５を識別した結果を出力してもよい。

【0052】

（作業管理システムＳ１００の動作の一例）
以上のように構成された作業管理システムＳ１００の動作について説明する。図７は、作業管理システムＳ１００の動作の一例のフローチャートである。なお、作業管理システムＳ１００の動作の開始の時点で、作業管理装置２では、在庫箱１１及び梱包箱１２に対応する位置に在庫エリアＳ及び指定エリアＴが設定されているものとする。また、作業者が行う作業の内容が一例としてユーザによって既に入力されているものとする。

【0053】

まず、ステップＳ１において、カメラ１が作業者の作業を連続的に撮影して撮像画像を生成し、画像取得部２４２がその撮像画像を取得する。

【0054】

次いで、ステップＳ２において、動作部位検出部２４３が撮像画像に写った作業者の身体の画像に基づき作業者の手の三次元的な骨格情報を作成する。動作部位検出部２４３は、また、ユーザによって入力された作業の内容に基づき、図５に例示するデータテーブルを参照して、対象の作業内容に関連する動作ポイントを特定する。ここでは、一例として、作業者の片手の動作ポイントＰ１１及び動作ポイントＰ１２が特定される。

【0055】

判定部２４４は、動作ポイントＰ１１及び動作ポイントＰ１２の位置に基づき、作業者の手が指定エリアＴに入ったか否かを判定する。このステップＳ２の判定がＮｏの場合、判定部２４４はステップＳ１及びステップＳ２の処理を繰り返す。

【0056】

ステップＳ２の判定がＹｅｓの場合、次いでステップＳ３において、判定部２４４は、動作ポイントＰ１１及び動作ポイントＰ１２の位置に基づき、作業者の手が指定エリアＴから出たか否かを判定する。このステップＳ３の判定がＮｏの場合、判定部２４４はステップＳ３の処理を繰り返す。

【0057】

ステップＳ３の判定がＹｅｓの場合、次いでステップＳ４において、判定部２４４は、例えば、作業者の手が指定エリアＴに入った時刻と指定エリアＴから出た時刻とに基づき、作業者の手が指定エリアＴに入っている基準時刻ｔ（図６参照）を特定する。そして、判定部２４４は、予め設定された第１設定時間ａ１だけ前の時刻を前記第１タイミングと決定するとともに、所定の基準時刻ｔから第２設定時間ａ２だけ後の時刻を第２タイミングと決定する。判定部２４４は、決定した第１タイミング及び第２タイミングに応じた第１撮像画像及び第２撮像画像と特定する。

【0058】

次いで、ステップＳ５において、判定部２４４は上記ステップで特定した第１撮像画像と第２撮像画像とを差分演算処理する。そして、ステップＳ６において、差分演算処理の結果、差分が所定の閾値以上の場合には、判定部２４４は指定エリアＴに商品５が配置されたと判定し、出力部２４５はその結果を出力する。差分が所定の閾値未満の場合、判定部２４４は、指定エリアＴに商品５が配置されていないと判定し、出力部２４５はその結果を出力する。

【0059】

以上一連の動作により、作業管理システムＳ１００は、作業者が在庫箱１１から取り出した商品５が梱包箱１２に配置されたことを判定することができる。

【0060】

なお、以上、図７のフローチャートに従って作業管理システムＳ１００の具体的な動作例を説明したが、本発明は、上述した具体的な処理の内容や順番に限定されるものではなく、本発明の趣旨の範囲内で処理内容や処理の順番は適宜変更されてよい。

【0061】

（作用効果）
以上説明したように、本実施形態の構成では、作業管理装置２は、作業者の手が指定エリアＴに入る前のタイミングで撮影された第１撮像画像と、作業者の手がその指定エリアＴに入った後のタイミングで撮影された第２撮像画像との差分に基づいて、梱包箱１２に商品５が配置されたことを判定する。

【0062】

作業者の手が指定エリアＴに入ったことに基づいて商品５が梱包箱１２に配置されたと判定をする方式では、例えば、作業者の手が指定エリアＴを単に通過しただけで、商品５が置かれない場合に、商品５が梱包箱１２に配置されたことを正しく判定することができない。

【0063】

これに対して、本実施形態の作業管理装置２では、指定エリアＴに作業者の手が入っている状態の前後の２つの撮像画像を用い、それらの撮像画像の差分に基づいて商品５が配置されたことを判定するため、商品５が梱包箱１２に配置されたことを精度よく判定できる。

【0064】

特に、判定部２４４が、作業者の手が指定エリアＴに入っていないタイミングの撮像画像を第１撮像画像及び第２撮像画像として特定するため、商品５が作業者野手によって隠れることがなく、商品５が配置されたことを精度よく判定することが可能となる。

【0065】

また、判定部２４４が、作業者の手が指定エリアＴに入っている所定の基準時刻ｔを基準に、第１設定時間ａ１及び第２設定時間ａ２（図６）を用いて第１撮像画像及び第２の撮像画像のタイミングを決定するため、複雑な画像処理を必要とせずに、第１タイミング及び第２タイミングを決定できる。

【0066】

＜変形例１＞
上記実施形態では、指定エリアＴが１つのみの例を説明したが、作業管理システムＳ１００は、複数の指定エリアＴのうちのいずれかに作業者の動作部位が入ったことを検出してもよい。このようなシステムは、例えば、サイズが異なる複数の梱包箱１２が配置されており、作業者が、それぞれの梱包箱１２に所定の商品５を入れるような作業に好適に利用することができる。

【0067】

図８は、カメラが撮影した撮像画像と、画像上に表示された複数の在庫エリア及び複数の指定エリアとを示す図である。図８の例では、複数の梱包箱１２に応じて複数の指定エリアＴ１、Ｔ２（単に指定エリアＴともいう）が設定されている。図８のように、サイズが異なる複数の梱包箱１２が存在する場合、それに対応して、例えば大きい指定エリアＴ１と小さい指定エリアＴ２とが存在することとなる。作業者の手が指定エリアＴに入っている時間は、作業の内容にもよるものの、指定エリアＴの大きさにも関連する。そこで、本発明の一形態においては、判定部２４４は、指定エリアごとに第１タイミング及び第２タイミングを決定してもよい。

【0068】

判定部２４４は、例えば、ユーザから受け付けた入力（例えば第１設定時間ａ１及び第２設定時間ａ２）に応じてそれぞれの指定エリアＴに対する第１タイミング及び第２タイミングを決定してもよい。他の態様として、判定部２４４は、作業の内容、及び、指定エリアＴの大きさの少なくともいずれかのパラメータに基づき、それぞれの指定エリアＴに対する第１タイミング及び第２タイミングを決定してもよい。

【0069】

なお、指定エリアＴの大きさは、ユーザによって入力されてもよいし、作業管理装置２が例えば画像解析により特定してもよい。具体的には、一例として判定部２４４が、撮像画像に映っているそれぞれの梱包箱１２を識別し、梱包箱１２の輪郭線に沿うような範囲を指定エリアＴとして特定してもよい。判定部２４４は、ソータやベルトコンベア等の搬送手段上を移動する対象物（一例で梱包箱１２）について、画像解析により動的に対象物の大きさを識別して指定エリアＴを特定するものであってもよい。なお、判定部２４４ではなく、エリア設定部２４１が上記のような処理を行ってもよい。

【0070】

判定部２４４又はエリア設定部２４１が行う上記のような指定エリアＴの特定に関し、判定部２４４又はエリア設定部２４１は、所定の対象物の指定エリアＴを一旦特定した後、再度、対象物の画像に基づいて指定エリアＴを特定し直してもよい。例えば、作業中に作業者の手が梱包箱１２に当たって梱包箱１２の位置が移動することが想定される。この場合に、判定部２４４又はエリア設定部２４１が指定エリアＴを再度特定することで、作業管理装置２は梱包箱１２の位置に応じた正しい位置の指定エリアＴを設定することが可能となる。

【0071】

判定部２４４は、具体的には、作業の内容、及び、指定エリアＴの大きさの少なくともいずれかに関連付けて、複数の第１設定時間ａ１及び第２設定時間ａ２を記憶する記憶部を参照して、それぞれの指定エリアＴに対する第１タイミング及び第２タイミングを決定してもよい。

【0072】

このような構成によれば、例えば指定エリアＴの大きさに応じて、それぞれの指定エリアＴの第１タイミング及び第２タイミングが決定されるので、指定エリアＴに手が入っていない可能性の高い撮像画像を好適に特定できる。その結果、撮像画像の差分に基づく商品の配置を高精度に実施可能となる。

【0073】

＜変形例２＞
図９は、本発明の実施形態の変形例の構成を示すブロック図である。上記実施形態では、作業管理装置２が、ユーザによって入力された作業内容に基づいて、種々の処理を行うことを説明した。しかし、図９に示すように、作業管理装置２に設けられた作業特定部２４６が、作業の内容を特定してもよい。図９において、作業管理装置２の制御部２４が作業特定部２４６を有する点以外は、作業管理システムＳ１００の構成は第１の実施形態と同様であるため、重複する説明は省略する。

【0074】

作業特定部２４６は、作業者が行っている作業の内容を特定するための機能部である。作業特定部２４６は、例えば、動作部位検出部２４３が作成した作業者の身体の骨格情報が示す動きに基づいて、作業者が行う作業の内容を特定する。作業特定部２４６は、動作部位検出部２４３が作成した骨格情報の所定の動作ポイントの移動パターンに基づき、例えば、動作ポイントの複数の移動パターンとそれに対応する複数の作業の内容とを関連付けて記憶する記憶部２３を参照し、作業の内容を特定してもよい。「移動パターン」は、例えば、動作ポイントが移動する速さ、及び／又は、動作ポイントが指定エリアＴ内に滞在している時間に関連するものであってもよい。

【0075】

動作部位検出部２４３は、このように作業特定部２４６が特定した作業内容に関連する動作ポイントの位置に基づいて、第１の実施形態で説明したように、動作部位の位置を検出する。

【0076】

このように、作業管理装置２が作業者の手である動作部位の動きに基づいて作業内容を特定し、特定した作業内容の関連する動作ポイントを基準として、動作部位の位置を検出する構成によれば、ユーザが作業内容を入力することなく、作業内容が特定でき、しかも、その作業内容に応じて適切な動作ポイントの位置に基づいて作業者の動作部位が検出される。その結果、作業内容に応じた好適なタイミングの撮像画像で差分演算処理が行われ、商品５が配置されたことを精度よく判定可能となる。

【0077】

＜変形例３＞
上記実施形態では、作業者の手が指定エリアＴに入っている所定の基準時刻ｔ（図６参照）の前後のタイミングで撮像された第１撮像画像及び第２撮像画を用いることを説明した。しかし、判定部２４４は、例えば、作業者が在庫箱１１から商品５を取ったタイミングをトリガとして、差分演算処理に使用される第１撮像画像及び第２撮像画を特定してもよい。

【0078】

具体的には、判定部２４４は、商品５が配置された対象物配置エリアである在庫箱１１から作業者が商品５をピックアップしたことを検出する検出手段からの出力を受信した受信タイミングを第１タイミングとしてもよい。検出手段は、例えば在庫箱１１の重量を測定する装置、又は作業者の手の動きを検出する赤外線センサーである。第１タイミングは、検出手段からの出力を受信したタイミングに厳密に限定されず、一例として、判定部２４４は、受信タイミングよりも所定時間だけ前若しくは後のタイミングを、第１タイミングとしてもよい。

【0079】

第１タイミング及び／又は第２タイミングの決定には、在庫箱１１から指定エリアＴまでの距離が考慮されてもよい。そこで、判定部２４４は、在庫箱１１と指定エリアＴとの距離に基づいて、第１タイミング及び／又は第２タイミングを決定してもよい。具体的には、判定部２４４は、複数の在庫箱１１と指定エリアＴとの距離と、複数の第１タイミング及び／又は第２タイミングとを関連付けて記憶する記憶部を参照して、第１タイミング及び／又は第２タイミングを決定してもよい。

【0080】

例えば、判定部２４４が、上記検出手段からの出力を受信した受信タイミングよりも所定時間だけ後のタイミングを第１タイミングと決定する構成において、在庫箱１１と指定エリアＴとの間の距離が長い場合には一例として受信タイミングの「３秒後」が第１タイミングとされ、在庫箱１１と指定エリアＴとの間の距離が短い場合には一例として受信タイミングの「０．５秒後」が第１タイミングとされるといったように、判定部２４４は、在庫箱１１と指定エリアＴとの間の距離が長いほど、受信タイミングからより長い時間の経過後を第１タイミングと決定してもよい。

【0081】

以上、本発明の具体的な構成について実施形態及び変形例として説明したが、本発明は上記に限定される種々変更可能である。例えば、本実施形態における作業は、作業者が、商品５を在庫箱１１である箱から梱包箱１２である箱に移動させる作業であったが、在庫である商品５が配置されている場所は箱に限定されず、例えば棚であってもよい。また、商品５は箱に入れられるのではなく、例えば所定の仕分けトレイに入れられてもよい。

【0082】

本発明の作業管理システムは、商品の仕分け作業以外にも、例えば部品の組立て作業などにも利用可能である。作業管理システムＳ１００は、作業者の手以外の身体の部位を動作部位として検出してもよい。ここで、「作業者の動作部位」は、文字通り、作業者の身体の一部であってもよいが、作業の内容によっては、作業者が使用する工具、道具又は治具といった検出対象物を作業管理システムＳ１００で検出した方が良いことも想定される。そこで、作業管理装置２は、動作部位として、作業者が使用する工具、道具又は治具といった検出対象物を検出し、その検出結果に基づいて上述したような各種の処理を実施してもよい。

【0083】

部品の組立て作業においては、部品が特定の位置に取り付けられたことが正しく判定されることが望ましい。そこで、第１の実施形態と同様、動作部位検出部２４３によって検出された作業者の動作部位が所定の指定エリアに入る前の第１タイミングで撮影された第１撮像画像と、同指定エリアに入った後の第２タイミングで撮影された第２撮像画像との差分が所定の閾値以上の場合に、判定部２４４は部品が所定の位置に配置されたと判定してもよい。部品の取付においては、単に、部品の有無を検出するだけではなく、判定部２４４は、例えば、撮像画像の差分に基づいて部品の位置を特定してもよい。

【0084】

作業管理装置２の判定部２４４は、作業者の動作部位の移動パターンとその作業の移動パターンに対応する作業内容とが関連付けられた教師データを学習することによって、移動パターンが入力された場合に作業内容を出力する学習済モデルを含み、その学習済モデルによって作業内容を推定するものであってもよい。

【0085】

＜変形例４＞
図８に例示したように、商品５が入れられる梱包箱１２が複数あるような場合、作業者が商品５を入れるべき梱包箱１２を間違えるおそれがある。そこで、例えば判定部２４４は、それぞれの梱包箱１２に対応する指定エリアＴに配置された商品５を識別する機能を有し、目的の指定エリアＴに所望の商品５が配置されたかを検出してもよい。判定部２４４は、例えば、記憶部２３が記憶している、どの商品５をどの指定エリアＴに配置するべきかを示す商品分配情報を参照し、対象の指定エリアＴに所望の商品５が配置されたかを検出する。

【0086】

一例として、指定エリアＴ１（図８参照）に配置するべき商品５が、指定エリアＴ２に配置されていることを判定部２４４が検出した場合、判定部２４４は、作業者の手が入った指定エリアＴ１と、作業者の手が入った指定エリアＴ２との両方について、第１の実施形態のように第１タイミングの撮像画像と第２タイミングの撮像画像とを特定し、それらの画像の差分演算処理を行ってもよい。

【0087】

判定部２４４は、差分演算処理の結果に基づいて、商品５がどの指定エリアＴに配置されたか（又は配置されていないか）を特定してもよい。また、判定部２４４は、指定エリアＴ２内のどの位置に誤って配置された商品５が存在するかを特定しても良い。

【0088】

出力部２４５は、上記の特定結果を一例として表示部２２に出力する。出力部２４５が特定結果を出力する態様は特定の態様に限定されるものではないが、一例として、出力部２４５は、判定部２４４が特定した、誤って配置された商品５の位置を示す画像情報又は文字情報を表示部２２に表示させてもよい。具体的には、例えば出力部２４５は、誤って配置された商品５が存在している梱包箱１２に対して画像又はテキスト等を投影することで、作業者に対して、商品５が誤って配置されていること、及び／又は、その商品５の位置を知らせてもよい。

【0089】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【0090】

以上の説明では、作業管理装置の発明を中心として説明を行ったが、本明細書は、上記の技術的思想を方法の発明及びコンピュータプログラムの発明として表現したものも開示する。具体的には、本明細書は、画像取得ステップと、動作部位検出ステップと、判定ステップと、出力ステップとを有する作業管理方法を開示する。

【符号の説明】

【0091】

１ カメラ
２ 作業管理装置
１１ 在庫箱
１２ 梱包箱
２１ 入力部
２２ 表示部
２３ 記憶部
２４ 制御部
２４１ エリア設定部
２４２ 画像取得部
２４３ 動作部位検出部
２４４ 判定部
２４５ 出力部
２４６ 作業特定部
ａ１ 第１設定時間
ａ２ 第２設定時間
Ｐ１１ 動作ポイント
Ｐ１２ 動作ポイント
Ｐ２１ 動作ポイント
Ｐ２２ 動作ポイント
Ｓ 在庫エリア
ｔ 基準時刻
Ｔ、Ｔ１、Ｔ２ 指定エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】