特開 2024-112249 作業負荷分析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112249

(43)【公開日】2024-08-20

(54)【発明の名称】作業負荷分析装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240813BHJP

【ＦＩ】

G06T7/00 660B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023017204

(22)【出願日】2023-02-07

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000005463

【氏名又は名称】日野自動車株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】森下 浩文

(72)【発明者】

【氏名】石原 聡之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA02

5L096DA02

5L096FA52

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】流れ作業における作業エリアで作業する複数人の作業者を精度よく特定できる作業負荷分析装置を得る。
【解決手段】画像取得部１２を介して取得したカメラ３０によって撮影した生産ライン、又は修繕、修理用のライン等の流れ作業の画像から作業対象物であるワークを検出することにより、作業者が作業をする区間工程を認識するワーク検出部１６と、時系列で取得した流れ作業の画像から、区間工程における作業者を検出する作業者検出部１８と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置により時系列で取得した流れ作業の画像から作業対象物を検出することにより、作業者が作業をする区間工程を認識するワーク検出部と、
前記時系列で取得した流れ作業の画像から、前記区間工程における前記作業者を検出する作業者検出部と、
を含む作業負荷分析装置。

【請求項2】

前記ワーク検出部は、前記時系列で取得した流れ作業の画像から、前記作業対象物を含む所定範囲の先端が、前記流れ作業における前記作業対象物の進行方向に直交するように設定された所定位置に到達してから、前記所定範囲の後端が前記所定位置に到達するまでの間を前記区間工程と認識する請求項１に記載の作業負荷分析装置。

【請求項3】

前記作業者検出部は、前記時系列で取得した流れ作業の画像から前記作業者が検出された時間を前記区間工程における前記作業者の作業時間として記憶部に格納する請求項１又は２に記載の作業負荷分析装置。

【請求項4】

前記作業者検出部は、前記時系列で取得した流れ作業の画像から検出された複数の前記作業者の人数と、前記時系列で取得した流れ作業の画像から複数の前記作業者の各々に付された識別子を認識することにより検出した前記作業者の各々の作業時間とを前記記憶部に格納する請求項３に記載の作業負荷分析装置。

【請求項5】

前記記憶部に格納された前記作業者の作業時間、及び前記作業者の人数に基づいて、前記区間工程における作業負荷を可視化したグラフを生成し、該生成したグラフを表示装置に出力するグラフ生成表示部をさらに備える請求項４に記載の作業負荷分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車組付け工程のように、作業対象物であるワーク（自動車車体）が流れる生産ライン、又は修繕、修理用のライン等の流れ作業におけるワークの検知と当該ワーク周辺で作業する複数人の作業者を特定する作業負荷分析装置に関する。

【背景技術】

【0002】

複数の要素作業からなる流れ作業を処理するにあたり、特定の工程に負荷が集中しないように適切に作業を分配することが求められる。

【0003】

特許文献１には、作業者が所定の領域（第１領域）に侵入したときに作業を開始したと判定し、別の所定領域（第２領域）に侵入したときに作業を終了したと判定する発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１２５１８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の発明は、第１領域、及び第２領域の設定方法に関する記載がなく、作業領域が変動する場合の作業中の判断、及び作業終了の判断が正確にできないおそれがあった。

【0006】

本発明は、上記事実を考慮し、流れ作業における作業エリアで作業する複数人の作業者を精度よく特定する作業負荷分析装置を得ることを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために請求項１に記載の作業負荷分析装置は、撮像装置により時系列で取得した流れ作業の画像から作業対象物を検出することにより、作業者が作業をする区間工程を認識するワーク検出部と、前記時系列で取得した流れ作業の画像から、前記区間工程における前記作業者を検出する作業者検出部と、を含む。

【0008】

請求項１に記載の作業負荷分析装置によれば、流れ作業の画像から作業者が作業をする区間工程を認識できると共に、区間工程における作業者を検出できる。

【0009】

請求項２に記載の作業負荷分析装置は、前記ワーク検出部は、前記時系列で取得した流れ作業の画像から、前記作業対象物を含む所定範囲の先端が、前記流れ作業における前記作業対象物の進行方向に直交するように設定された所定位置に到達してから、前記所定範囲の後端が前記所定位置に到達するまでの間を前記区間工程と認識する。

【0010】

請求項２に記載の作業負荷分析装置によれば、作業対象物を含む所定範囲の先端、及び後端が流れ作業の所定位置に到達したことにより、作業者が作業する区間工程を認識できる。

【0011】

請求項３に記載の作業負荷分析装置は、前記作業者検出部は、前記時系列で取得した流れ作業の画像から前記作業者が検出された時間を前記区間工程における前記作業者の作業時間として記憶部に格納する。

【0012】

請求項３に記載の作業負荷分析装置は、画像から作業者が検出された時間を作業時間とする。

【0013】

請求項４に記載の作業負荷分析装置は、前記作業者検出部は、前記時系列で取得した流れ作業の画像から検出された複数の前記作業者の人数と、前記時系列で取得した流れ作業の画像から複数の前記作業者の各々に付された識別子を認識することにより検出した前記作業者の各々の作業時間とを前記記憶部に格納する。

【0014】

請求項４に記載の作業負荷分析装置によれば、複数の作業者の各々の作業時間を検出できる。

【0015】

請求項５に記載の作業負荷分析装置は、前記記憶部に格納された前記作業者の作業時間、及び前記作業者の人数に基づいて、前記区間工程における作業負荷を可視化したグラフを生成し、該生成したグラフを表示装置に出力するグラフ生成表示部をさらに備える。

【0016】

請求項５に記載の作業負荷分析装置によれば、区間工程における作業負荷を可視化して表示できる。

【発明の効果】

【0017】

以上説明したように、本発明に係る作業負荷分析装置によれば、流れ作業における作業エリアで作業する複数人の作業者を精度よく特定できる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る作業負荷分析装置の構成の一例を示したブロック図である。

【図2】本実施形態に係る作業負荷分析装置の処理の一例を示したフローチャートである。

【図3】（Ａ）は、ワーク先端が流れ作業の所定位置に到達した場合を、（Ｂ）は、ワーク後端が流れ作業の所定位置に到達した場合を、各々示した概略図である。

【図4】図４は、区間工程における時系列での作業者数の変化の一例を示したグラフである。

【図5】図５は、複数の作業者の各々の区間工程における作業負荷分析の一例を示したグラフである。

【発明を実施するための形態】

【0019】

以下、図１を用いて、本実施形態に係る作業負荷分析装置１０について説明する。図１に示した作業負荷分析装置１０は、画像取得部１２、区間工程作業判定部１４、グラフ生成表示部２２及び記憶部２０を有する。画像取得部１２は、カメラ３０から画像を取得する。区間工程作業判定部１４は、カメラ３０によって時系列で取得した生産ライン、又は修繕、修理用のライン等の流れ作業の画像に基づいて、作業中の作業者を検出し、検出結果を記憶部２０に格納する。また、区間工程作業判定部１４は、ワーク検出部１６と作業者検出部１８とを備える。ワーク検出部１６は、カメラ３０で取得した画像から作業エリアにおけるワークの存在を検出する。作業者検出部１８は、カメラ３０で取得した画像から作業者の存在を検出する。グラフ生成表示部２２ は、記憶部２０に記憶されている作業者の存在を示す情報に基づいて、各作業工程の作業負荷を可視化したグラフを生成して、表示装置４０に表示する。

【0020】

作業負荷分析装置１０は、一種のコンピュータであり、画像取得部１２は入力インタフェースに、区間工程作業判定部１４は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）に、記憶部２０は、ＨＤＤ（Hard Disk Drive）等の不揮発性メモリに、グラフ生成表示部は出力装置に、各々相当する。後述するように、区間工程作業判定部１４は、機械学習により、画像から、ワークの存在の検出、及び作業者の存在の検出が可能となっており、当該機械学習によってワーク検出部１６、及び作業者検出部１８として機能する。

【0021】

図２は、本実施形態に係る作業負荷分析装置１０の処理の一例を示したフローチャートである。ステップＳ１００では、画像取得部１２が、カメラ３０で撮影した画像を取得する。図３（Ａ）及び図３（Ｂ）は、画像取得部１２で取得した画像の一例である。本実施形態では、一例として、カメラ３０は、広角レンズを備え、流れ作業を俯瞰するように設置されている。

【0022】

ステップＳ１０２では、区間工程作業判定部１４のワーク検出部１６が、作業エリア１００の先端が、流れ作業におけるワーク１１０の進行方向に直交するように設定された所定位置１０２に到達したか否かを判定する。ステップＳ１０２で、図３（Ａ）に示したようにワーク１１０を含む所定範囲である作業エリア１００の先端が所定位置１０２に到達した場合は手順をステップＳ１０４に移行し、作業エリア１００の先端が所定位置１０２に到達していない場合はステップＳ１０２での判定を継続する。本実施形態では、図３（Ａ）及び図３（Ｂ）に示したように、ワーク１１０は、一例としてトラック等の大型車のシャシである。

【0023】

ステップＳ１０４では、区間工程作業判定部１４が、区間工程の開始と判定し、計時を開始する。

【0024】

本実施形態では、ＣＮＮ（Convolutional Neural Network）又はＲＮＮ（Recurrent Neural Network）等の数理モデルを用いた機械学習によって、区間工程作業判定部１４は、ワーク１１０の形状の認識、作業エリア１００の先端が所定位置１０２に到達したことの認識、作業エリア１００の後端が所定位置１０２に到達したことの認識、及び作業エリア１００における作業者１２０Ａ、１２０Ｂ、１２０Ｃの検知が可能に予め構成されている。機械学習後の区間工程作業判定部１４は、ワーク検出部１６でワーク１１０の形状の認識、作業エリア１００の先端が所定位置１０２に到達したことの認識、及び作業エリア１００の後端が所定位置１０２に到達したことの認識を行う。また、機械学習後の区間工程作業判定部１４は、作業者検出部１８で作業エリア１００における作業者１２０Ａ、１２０Ｂ、１２０Ｃの存在を検出する。

【0025】

ステップＳ１０６では、区間工程作業判定部１４の作業者検出部１８が、作業エリア１００内の作業者１２０Ａ、１２０Ｂ、１２０Ｃを検出する。作業者検出部１８は、作業エリア１００で作業者１２０Ａ、１２０Ｂ、１２０Ｃが検出された時間も検出する。作業者検出部１８は、複数の作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々の識別も可能だが、流れ作業で作業者１２０Ａ、１２０Ｂ、１２０Ｃは、ヘルメットを着用するので顔認証では識別が困難となる。本実施形態では、作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々に予め付された識別子によって、画像から作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々を識別する。識別子は、例えば、作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々のヘルメット若しくは作業服の色を別にする、又は作業者１２０Ａ、１２０Ｂ、１２０Ｃのヘルメット若しくは作業服に文字若しくは記号等の識別可能な情報を予め付する等である。

【0026】

ステップＳ１０８では、区間工程作業判定部１４のワーク検出部１６が、作業エリア１００の後端が所定位置１０２に到達したか否かを判定する。ステップＳ１０８で、図３（Ｂ）に示したように作業エリア１００の後端が所定位置１０２に到達した場合は手順をステップＳ１１０に移行し、作業エリア１００の後端が所定位置１０２に到達していない場合はステップＳ１０８での判定を継続する。

【0027】

ステップＳ１１０では、区間工程作業判定部１４が、区間工程の終了と判定し、ステップＳ１０４で開始した計時を停止する。本実施形態では、ステップＳ１０４からステップＳ１１０までの計時による時間は、作業エリア１００における全体の作業時間、すなわち区間工程で要した作業時間となる。

【0028】

ステップＳ１１２では、区間工程作業判定部１４が作業負荷分析を行う。作業負荷分析によって、区間工程で要した作業時間、区間工程における時系列での作業者数の変化、及び複数の作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々の作業時間を各々算出する。そして、区間工程作業判定部１４は、算出した区間工程で要した作業時間、区間工程における時系列での作業者数の変化、及び作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々の作業時間を、記憶部２０に格納する。

【0029】

ステップＳ１１４では、グラフ生成表示部２２が、記憶部２０に格納された区間工程で要した作業時間、区間工程における時系列での作業者数の変化、及び作業者１２０Ａ、１２０Ｂ、１２０Ｃの各々の作業時間に基づいた作業負荷分析を表示装置４０に表示して処理を終了する。

【0030】

図４は、区間工程における時系列での作業者数の変化の一例を示したグラフである。図４に示したように、作業者数が突出して多い作業２００が存在する場合、区間工程における作業内容を精査することにより、作業者が突出して多い場合を改善すると共に、矢印５０に示したように、作業者を他の作業２１０に振り分けることが可能となる。

【0031】

図５は、作業者Ａ、Ｂ、Ｃ、Ｄの各々の区間工程における作業負荷分析の一例を示したグラフである。図５に示したように、作業者Ａの作業時間が一人当たりの負荷目標を超えている場合、作業者Ａの作業の一部を、作業者Ｂ又は作業者Ｃに振り分ける等の対策が可能となる。

【0032】

以上説明したように、本実施形態に係る作業負荷分析装置１０によれば、生産ライン、又は修繕、修理用のライン等の流れ作業の画像から作業者が作業をする区間工程を認識できると共に、区間工程における作業者を検出することにより、流れ作業における作業エリア１００で作業する複数人の作業者を精度よく特定できる。

【0033】

また、本実施形態に係る作業負荷分析装置１０は、区間工程における作業者の作業時間、及び作業者の人数に基づいて区間工程における作業負荷を可視化したグラフを生成して表示することにより、作業工程の適切な設定、及び各々の作業者の作業分担の適正化に資する。

【符号の説明】

【0034】

１０ 作業負荷分析装置
１２ 画像取得部
１４ 区間工程作業判定部
１６ ワーク検出部
１８ 作業者検出部
２０ 記憶部
２２ グラフ生成表示部
３０ カメラ
４０ 表示装置
１００ 作業エリア
１０２ 所定位置
１１０ ワーク
１２０Ａ、１２０Ｂ、１２０Ｃ 作業者

【図1】

【図2】

【図3】

【図4】

【図5】