特許 7432407 作業管理システム及び作業管理システムの設定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-07

(45)【発行日】2024-02-16

(54)【発明の名称】作業管理システム及び作業管理システムの設定方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240208BHJP

   G06Q 10/08 20240101ALI20240208BHJP

   B65G 1/137 20060101ALI20240208BHJP

【ＦＩ】

G06F3/01 570

G06Q10/08

B65G1/137 E

【請求項の数】 7

(21)【出願番号】P 2020045555

(22)【出願日】2020-03-16

(65)【公開番号】P2021149182

(43)【公開日】2021-09-27

【審査請求日】2023-02-03

(73)【特許権者】

【識別番号】000207816

【氏名又は名称】大豊精機株式会社

(74)【代理人】

【識別番号】110000969

【氏名又は名称】弁理士法人中部国際特許事務所

(74)【代理人】

【識別番号】100081776

【弁理士】

【氏名又は名称】大川 宏

(74)【代理人】

【識別番号】100120994

【弁理士】

【氏名又は名称】山田 博司

(74)【代理人】

【識別番号】100174713

【弁理士】

【氏名又は名称】瀧川 彰人

(72)【発明者】

【氏名】堀野 真広

(72)【発明者】

【氏名】藤原 裕史

(72)【発明者】

【氏名】畠山 瑞央

(72)【発明者】

【氏名】芝井 彰吾

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２０１８－０４５６６９（ＪＰ，Ａ）

【文献】特開２００９－０２５９１８（ＪＰ，Ａ）

【文献】国際公開第２０１５／０３０２６４（ＷＯ，Ａ１）

【文献】特許第６６５６３２８（ＪＰ，Ｂ１）

【文献】特開２０１５－０４８１７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｑ １０／０８

Ｂ６５Ｇ １／１３７

(57)【特許請求の範囲】

【請求項1】

複数のカメラと、
ユーザーの腕又は手に装着されるマーカーと、
複数の前記カメラから取得した前記マーカーの撮像データに基づいて、三角測量の原理により、３次元座標系における前記マーカーの位置情報を演算する演算装置と、
を備える作業管理システムであって、
前記演算装置は、
前記３次元座標系における座標情報として予め設定された検出エリアを記憶する記憶部と、
前記マーカーの位置情報に基づいて、前記検出エリアに前記マーカーが進入したことを検出する検出部と、
前記検出部により前記マーカーが前記検出エリアに進入したことが検出された場合、その進入情報を記録する、又は記録装置に送信する作業記録部と、
を備え、
前記記憶部は、互いに異なる識別情報が設定された複数の前記検出エリアを記憶し、
前記進入情報には、前記マーカーが進入した前記検出エリアの前記識別情報が含まれ、
前記検出部は、前記検出エリアに前記マーカーが進入したことを検出することで、ユーザーが箱の中から対象物を取り出す作業を検出し、
前記検出エリアは、複数の前記箱のそれぞれの開口部に対応して設定され、
前記識別情報は、前記箱ごと又は予め設定された前記箱のグループごとに異なるように設定され、
各前記検出エリアは、立体的に且つ他の前記検出エリアから離間して設定されている、
作業管理システム。

【請求項2】

各前記検出エリアは、対応する前記箱の前記開口部を覆うように、前記開口部を含んで設定されている、
請求項１に記載の作業管理システム。

【請求項3】

前記開口部は、前記箱の上部に形成されている、
請求項１又は２に記載の作業管理システム。

【請求項4】

前記マーカーは、反射部と、前記反射部を手首に取り付けるためのバンド部と、を備え、
前記反射部は、前記バンド部に、周方向に並んで複数配置され、
前記演算装置は、複数の前記反射部のうち少なくとも１つが前記検出エリアに進入したら当該進入を検出する、
請求項１～３の何れか一項に記載の作業管理システム。

【請求項5】

各前記箱には、複数の設定用マーカーが設置され、
前記演算装置は、前記設定用マーカーの位置情報を演算し、各前記箱に対して、前記設定用マーカーの位置情報から平面エリアを形成し、前記平面エリアに対して厚みを設定して立体エリアを設定し、前記検出エリアとして、複数の前記箱の前記開口部のそれぞれに対して前記立体エリアを設定する、
請求項１～４の何れか一項に記載の作業管理システム。

【請求項6】

前記開口部は、前記箱の上部に形成され、
前記検出エリアは、前記開口部の上方位置を含んで設定され、
複数の前記箱は、上下方向に並んで配置され、
上下方向に並んで配置された複数の前記箱に対応する複数の前記検出エリアは、下方に位置する前記検出エリアほど、前記検出エリアの後端が後方に位置するように設定されている請求項１～５の何れか一項に記載の作業管理システム。

【請求項7】

すべての前記カメラは、最上端の前記検出エリアよりも上方の位置において、直線状に配置されている請求項１～６の何れか一項に記載の作業管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業管理システム及び作業管理システムの設定方法に関する。

【背景技術】

【0002】

従来から、ユーザー（作業者）の作業を管理（記録）するシステムが開発されている。例えば、複数の箱（収容部）から対象物を取り出す作業を管理するシステムの一例としては、箱ごとにスイッチが設けられている。ユーザーは、対象物を取り出す度に、取り出した箱に対応するスイッチを押す。これにより、ユーザーがいつどの箱から対象物を取り出したかが記録される。

【0003】

また、他の例では、左右に並んだ複数の箱に対して、左右方向に延びる放電管が設置されている。ユーザーは、腕を伸ばして箱に手を入れる際に、腕が放電管の下を通って光を遮り、検出装置が当該変化を検出する。これにより、作業が行われたことが記録される。所定エリアへのユーザー（ユーザーの腕）の進入を検出するセンサとしては、例えば特開２０１７－２２１９９８号公報や特開２０１９－１０６１４２号公報に記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２２１９９８号公報

【文献】特開２０１９－１０６１４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ユーザーが作業ごとにスイッチを押すシステムでは、ユーザーのスイッチの押し忘れや押し間違い等が発生する可能性がある。また、ユーザーはスイッチを押すという付加的な作業を実行しなければならず、作業時間及び作業負担の増大が課題である。

【0006】

また、放電管を用いたシステムでは、上記課題は解決できるものの、箱の配置変更があった場合、容易に放電管の配置を変更できない。このシステムでは、箱の配置変更の度に、放電管の大きさ（長さ）の変更や、放電管の配置位置の変更が発生し、システム設置時間及びコストの増大を招く。また、放電管を用いたシステムは大型化しやすく、小さいスペースで作業する場合には不向きである。放電管を用いたシステムでは、汎用性の面で課題がある。

【0007】

本発明の目的は、作業時間及び作業負担を増大させることなく、検出場所を容易に変更でき且つ省スペース化が可能な作業管理システム及びその設定方法を提供することである。

【課題を解決するための手段】

【0008】

本発明は、複数のカメラと、ユーザーの腕又は手に装着されるマーカーと、複数の前記カメラから取得した前記マーカーの撮像データに基づいて、三角測量の原理により、３次元座標系における前記マーカーの位置情報を演算する演算装置と、を備える作業管理システムであって、前記演算装置は、前記３次元座標系における座標情報として予め設定された検出エリアを記憶する記憶部と、前記マーカーの位置情報に基づいて、前記検出エリアに前記マーカーが進入したことを検出する検出部と、前記検出部により前記マーカーが前記検出エリアに進入したことが検出された場合、その進入情報を記録する、又は記録装置に送信する作業記録部と、を備え、前記記憶部は、互いに異なる識別情報が設定された複数の前記検出エリアを記憶し、前記進入情報には、前記マーカーが進入した前記検出エリアの前記識別情報が含まれ、前記検出部は、前記検出エリアに前記マーカーが進入したことを検出することで、ユーザーが箱の中から対象物を取り出す作業を検出し、前記検出エリアは、複数の前記箱のそれぞれの開口部に対応して設定され、前記識別情報は、前記箱ごと又は予め設定された前記箱のグループごとに異なるように設定され、各前記検出エリアは、立体的に且つ他の前記検出エリアから離間して設定されている。

【発明の効果】

【0009】

本発明によれば、ユーザーの腕（例えば手首）に装着されたマーカーの位置情報により、演算装置はユーザーの腕の位置を把握する。そして、演算装置は、予め設定された検出エリア内にユーザーの腕が進入したことを、腕の位置情報と検出エリアの座標情報との比較により検出する。これにより、作業時間及び作業負担を増大させることなく、作業記録をデータに残すことができる。

【0010】

また、本発明によれば、複数のカメラの撮像データに基づいてマーカーの３次元位置を特定するため、カメラの撮像範囲内であれば、マーカーの位置を特定できる。そして、検出エリアは、カメラの撮像範囲内において、機器の大きさ変更や配置変更なしに、データ上で変更することができる。したがって、作業場所の変更による設置時間及びコストの増大は抑制される。また、本構成は、複数のカメラと演算装置（コンピュータ）があればよく、システムの省スペース化が可能である。このように、本発明によれば、作業時間及び作業負担を増大させることなく、検出場所を容易に変更でき且つ省スペース化が可能となる。本発明によれば、システムを様々な作業現場に容易に設置でき、システムの汎用性は向上する。

【図面の簡単な説明】

【0011】

【図1】本実施形態の作業管理システムの構成図（側面図）である。

【図2】本実施形態の作業管理システムの設定状況を示す概念図（正面図）である。

【図3】本実施形態の変形例にかかる作業管理システムの構成図（側面図）である。

【図4】本実施形態のマーカーの変形例を示す概念図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図に基づいて説明する。説明に用いる各図は概念図である。本実施形態の作業管理システム１は、ユーザーが箱（「作業対象」に相当する）８の中から対象物を取り出す作業を管理（記録）するシステムである。作業管理システム１は、ピッキング作業を管理するピッキングトレサビリティシステムといえる。本実施形態の説明において、ユーザーから箱８に向かう方向（ユーザーが作業をする際に腕が伸びる方向）を前方とし、ユーザーが箱８を見た視点における左右方向を左右方向とする。箱８の正面方向が後方であるといえる。

【0013】

本実施形態の作業管理システム１は、図１に示すように、複数のカメラ２と、ユーザーの腕又は手に装着されるマーカー３と、演算装置４と、を備えている。カメラ２は、例えばカメラセンサや光学式カメラであって、画像を撮像する撮像部及び赤外線を照射する照射部を備えている。各カメラ２は、演算装置４に通信可能に接続されている。各カメラ２は、枠状の組立体（固定台）９に固定されている。本実施形態では、すべてのカメラ２が、後述する最上端の検出エリア５よりも上方の位置において、左右方向に直線状に配置されている（図１及び図２参照）。

【0014】

マーカー３は、反射を利用した位置演算のための反射マーカーである。マーカー３は、基部に所定（図の例では円形状）の反射シール３１ａが貼られて形成された反射部３１と、反射部３１を手首に取り付けるためのバンド部３２と、を備えている。例えば、ユーザーは、反射部３１がカメラ２で撮像されやすいように、反射部３１が手の甲側になるようにマーカー３を手首に取り付ける。

【0015】

演算装置４は、複数のカメラ２から取得したマーカー３の撮像データに基づいて、三角測量の原理により、３次元座標系（Ｘ、Ｙ、Ｚ）におけるマーカー３の位置情報を演算する。演算装置４は、ＣＰＵ（プロセッサ）やメモリ等を有するコンピュータである。演算装置４には、コンピュータで作動する計測ソフトウェアがインストールされている。計測ソフトウェアは、例えば市販のソフトウェア（３次元位置計測やモーションキャプチャーに関するソフトウェア）を利用することができる。

【0016】

本実施形態の作業管理システム１は、マーカー３の位置（ユーザーの手首の位置）が演算できるように構成されている。演算装置４にマーカー３の位置及び姿勢を演算させる場合、例えば、演算装置４には反射部３１に貼られた複数の反射シール３１ａの位置関係（マーカピッチ）が予め設定される。演算装置４は、反射部３１を構成する３つ以上の反射シール３１ａの３次元座標を算出し、その算出結果に基づきマーカー３の位置や向き（姿勢）を把握する。なお、マーカー３の位置の演算等については、例えば特開２０１７－９６７３８号公報を参照することができる。

【0017】

演算装置４は、記憶部４１と、検出部４２と、作業記録部４３と、を備えている。記憶部４１は、３次元座標系における座標情報として予め設定された検出エリア５を記憶する。検出エリア５の設定は、カメラ２が設置され、演算装置４がマーカー３の位置情報を演算可能となっている状態で行われる。

【0018】

検出エリア５の設定方法の一例として、図２に示すように、作業対象となる箱８が複数設置された状態で、ユーザーが、１つの箱８に対して複数の設定用マーカー６を設置する。設定用マーカー６は、例えば棒状部材の先端に球状の反射マーカーが配置されて構成されている。本例では、直方体状の箱８の上方に直方体状の検出エリア５を設定するために、４つの設定用マーカー６が、箱８の開口部の四隅に対して設置される。演算装置４が、４つの設定用マーカー６の位置情報を演算し、４点の座標情報を記憶する。

【0019】

その後、ユーザーの操作により、演算装置４が、４点の座標情報から４点で区画された平面（四角形状）エリアを設定する。平面エリアは、平均平面や最小二乗法などで設定できる。そして、ユーザーの操作により、演算装置４が、平面に対する高さを設定して立体（ここでは直方体状）エリアを設定する。そして、ユーザーの操作により、演算装置４が立体エリアを検出エリア５に設定する。これにより、容易に検出エリア５を設定することができる。なお、設定用マーカー６を例えば８つ配置して、８点の座標情報から立体的な検出エリア５を設定してもよい。

【0020】

本例において、検出エリア５は、複数の箱８のそれぞれの開口部（上部）の上方に設定される。本例の検出エリア５は、箱８の開口部を覆うように、開口部を含んで設定されている。本例では、開口部は箱８の上部に形成され、検出エリア５は開口部の上方位置を含んで設定される。

【0021】

検出エリア５は、箱８ごとに設定される。検出エリア５には、箱８ごとに異なる識別情報（識別番号、ＩＤ）が付される。つまり、記憶部４１は、互いに異なる識別情報が設定された複数の検出エリア５を記憶している。なお、識別情報は、予め設定された箱８のグループごとに異なるように設定されてもよい。

【0022】

箱８の配置例として、図１及び図２に示すように、複数の箱８は、上下方向及び左右方向に並んで配置されている。図１に示すように、本実施形態において、上下方向に並んで配置された複数の箱８に対応する複数の検出エリア５は、下方に位置する検出エリア５ほど、検出エリア５の後端が後方となるように（すなわち後端位置がユーザーに近くなるように）設定されている。

【0023】

検出部４２は、マーカー３の位置情報に基づいて、検出エリア５にマーカー３が進入したことを検出する。つまり、演算装置４は、検出エリア５内にマーカー３が入ると、その進入事実を検出するように設定されている。検出部４２は、例えば、マーカー３の座標が、座標で規定された各検出エリア５の座標と一致すると、マーカー３が検出エリア５に進入したと判定する。検出部４２は、マーカー３が進入した検出エリア５の識別情報も取得する。このように、本実施形態において、検出部４２は、検出エリア５にマーカー３が進入したことを検出することで、ユーザーが箱８から対象物を取り出す作業を検出する。

【0024】

作業記録部４３は、検出部４２によりマーカー３が検出エリア５に進入したことが検出された場合、その進入情報を記録する、又は記録装置に送信する。進入情報には、マーカー３が進入した検出エリア５の識別情報が含まれている。進入情報には、例えば、進入時間、マーカー３のＩＤ情報、及び検出エリア５のＩＤ情報等が含まれている。本実施形態の作業記録部４３は、進入情報を、ネットワークを介して管理サーバ（「記録装置」に相当する）７に送信する。管理サーバ７は、受信した進入情報を記録する。管理サーバ７は、例えば、作業現場から離れた外部サーバである。なお、作業記録部４３は、進入情報を、管理サーバ７に送信するとともに又は送信せずに、演算装置４内の不揮発性メモリに記録してもよい。

【0025】

（本実施形態の効果）
本実施形態によれば、ユーザーの腕（例えば手首）に装着されたマーカー３の位置情報により、演算装置４はユーザーの腕の位置を把握する。そして、演算装置４は、予め設定された検出エリア５内にユーザーの腕が進入したことを、腕の位置情報と検出エリア５の座標情報との比較により検出する。これにより、作業時間及び作業負担を増大させることなく、作業記録をデータに残すことができる。

【0026】

また、本実施形態によれば、複数のカメラ２の撮像データに基づいてマーカー３の３次元位置を特定するため、カメラ２の撮像範囲内であれば、マーカー３の位置を特定することができる。そして、検出エリア５は、カメラ２の撮像範囲内において、機器の大きさ変更や配置変更なしに、データ上で変更することができる。したがって、作業場所の変更による設置時間及びコストの増大は抑制される。また、本構成は、複数のカメラ２と演算装置（コンピュータ）４があればよく、システムの省スペース化が可能である。このように、本実施形態によれば、作業時間及び作業負担を増大させることなく、検出場所を容易に変更でき且つ省スペース化が可能となる。

【0027】

本実施形態によれば、システムを様々な作業現場に容易に設置でき、システムの汎用性は向上する。また、進入情報にマーカー３が進入した検出エリア５の識別情報が含まれているため、管理者は、ユーザーがどの箱から対象物を取り出したかを判別することができる。

【0028】

また、検出エリア５が下方ほど後方に設定されているため、上下に配置された検出エリア５が前後にずれて配置される。つまり、上下の検出エリア５の異なる座標情報として、上下方向（Ｚ座標）だけでなく、前後方向（Ｘ座標）も加わる。これにより、複数のカメラ２によるマーカー３の進入エリア（検出エリア５）の特定（識別）がより容易且つ確実となる。特に本実施形態のように、すべてのカメラ２が直線状に配置された作業管理システム１では、複数のカメラ２が立体的に配置された場合と比べて撮像角度が限定されるが、上記構成により進入先特定精度は向上する。なお、図１の例では箱８自体も下方ほど後方に位置しているが、箱８の位置が上下で変わらない場合でも、実際の箱８の位置に対して、検出エリア５を後方にずらして設定してもよい。

【0029】

また、本実施形態では、すべてのカメラ２が、最上端の検出エリア５よりも上方の位置において、直線状に配置されている。これにより、カメラ２の設置スペースを小さくでき、さらなる省スペース化が可能となる。本実施形態では、左右方向に直線状に設置されるため、横並びの箱８に対して位置特定が容易であり、且つ箱８の設置に並列してカメラ２を配置できるため、さらなる省スペース化が可能となる。

【0030】

（その他）
本発明は、上記実施形態に限られない。例えば、上下方向に配置された複数の検出エリア５及び箱８は、前後方向にずれていなくてもよい。例えば検出エリア５の座標の違いが上下方向の位置だけであっても、複数のカメラ２によるマーカー３の進入エリア（検出エリア５）の特定は可能である。進入エリアの特定は、すべてのカメラ２が直線状に配置されていても可能である。また、作業管理システムの管理対象は、箱８からのピッキング作業に限らず、他の作業であってもよい。

【0031】

また、複数のカメラ２の配置は、直線状に限らず、例えば図３に示すように、立体枠状の組立体９１に前後左右上下に分かれて配置されてもよい。これにより、省スペース化の効果は小さくなるが、マーカー３の位置検出精度は向上する。また、例えば、箱８の開口部が箱８の後端部にある場合、検出エリア５は箱８の後方に設定される。検出エリア５は、箱８の開口部に対応する位置に設定される。

【0032】

また、反射部３１は、反射シール３１ａを含む構成に限らず、例えば図４に示すようなマークであってもよい。これによれば、演算装置４が反射部３１の位置と姿勢を演算できる。また、マーカー３は、設定用マーカー６のように球状の反射マーカーを備えてもよい。同様に、設定用マーカー６も他の形式のマーカーでもよい。また、反射部３１（又は反射シール３１ａ）は、バンド部３２に、周方向に並んで複数配置されていてもよい。この場合、演算装置４は、例えば反射部３１の少なくとも１つが検出エリア５に進入したら当該進入を検出するように設定されてもよい。

【0033】

また、本実施形態の作業管理システム１の設定方法（検出エリア５の設定方法）は下記のように記載できる。すなわち、作業管理システム１の設定方法は、演算装置が、複数のカメラ２から送信される撮像データに基づいて、１つの作業対象（箱８）の設置場所に対して設置された複数の設定用マーカー６の位置情報を演算する演算工程と、演算装置４が複数の設定用マーカー６の位置情報から３次元座標系において平面エリアを形成する平面形成工程と、演算装置４が平面エリアに対して厚み（高さ）を設定して３次元座標系において立体エリアを形成する立体形成工程と、演算装置４が立体エリアを検出エリア５に設定する設定工程と、を含んでいる。平面形成工程は、演算装置４が３次元座標上に平面を規定する座標情報を取得する工程ともいえる。立体形成工程は、演算装置４が３次元座標上に立体を規定する座標情報を取得する工程ともいえる。

【符号の説明】

【0034】

１…作業管理システム、２…カメラ、３…マーカー、４…演算装置、４１…記憶部、４２…検出部、４３…作業記録部、５…検出エリア、６…設定用マーカー、７…管理サーバ（記録装置）、８…箱（作業対象）。

【図1】

【図2】

【図3】

【図4】