特開 2022-70512 作業管理システム及び教師データの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022070512

(43)【公開日】2022-05-13

(54)【発明の名称】作業管理システム及び教師データの生成方法

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20220506BHJP

   G06Q 50/04 20120101ALI20220506BHJP

【ＦＩ】

G06Q10/06 332

G06Q50/04

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020179612

(22)【出願日】2020-10-27

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１） 開催日 令和２年２月６日及び２月７日 （２） 集会名、開催場所 ２０１９年度 修士論文審査会 慶應義塾大学理工学研究科（神奈川県横浜市港北区日吉３－１４－１） （３） 公開者 大島宏友 （４） 公開された発明の内容 大島宏友が、２０１９年度 修士論文審査会にて、『動画像を用いた組立作業における作業進捗の管理に関する研究』との論題で、仲田義敏、今村大輔、村田直輝、榊原新、志田敬介、山崎友彰、及び大島宏友が発明した、作業管理システム及び教師データの生成方法を公開した。

(71)【出願人】

【識別番号】509337517

【氏名又は名称】株式会社コジマプラスチックス

(74)【代理人】

【識別番号】110001210

【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】仲田 義敏

(72)【発明者】

【氏名】今村 大輔

(72)【発明者】

【氏名】村田 直輝

(72)【発明者】

【氏名】榊原 新

(72)【発明者】

【氏名】志田 敬介

(72)【発明者】

【氏名】山崎 友彰

(72)【発明者】

【氏名】大島 宏友

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

5L049CC03

(57)【要約】

【課題】撮像画像を用いるのみにて、作業の進捗管理が可能とする。
【解決手段】作業管理システムは、撮像器４０、部品アクセス推定部３１、及び作業抜け判定部３２を備える。撮像器４０は、組立現場を撮像する。部品アクセス推定部３１は、撮像器４０による撮像画像から、組立に用いられる複数種類の部品がそれぞれ収納された複数の収納場所の画像領域である部品画像を抽出するとともに、当該部品画像において作業者が部品を取ったことを示す部品アクセスの有無を推定する。作業抜け判定部３２は、部品アクセス推定部３１によって部品アクセスがあったと推定された部品を時系列に並べた実作業部品順が、組立品の組立工程に沿った部品の使用順が規定された規定部品順とは異なったときに、組立工程における作業抜けが生じたと判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

組立作業の進捗を管理する、作業管理システムであって、
組立現場を撮像する撮像器と、
前記撮像器による撮像画像から、組立に用いられる複数種類の部品がそれぞれ収納された複数の収納場所の画像領域である部品画像を抽出するとともに、当該部品画像において作業者が部品を取ったことを示す部品アクセスの有無を推定する部品アクセス推定部と、
前記部品アクセス推定部によって前記部品アクセスがあったと推定された部品を時系列に並べた実作業部品順が、組立品の組立工程に沿った部品の使用順が規定された規定部品順とは異なったときに、組立工程における作業抜けが生じたと判定する判定部と、
を備える、作業管理システム。

【請求項2】

請求項１に記載の作業管理システムであって、
前記撮像器による撮像画像から、組立品の画像領域である組立品画像を抽出するとともに、組立工程別の組立品の撮像画像に基づいて、抽出された前記組立品画像に対応する組立工程を推定する工程推定部と、
を備える、作業管理システム。

【請求項3】

請求項２に記載の作業管理システムであって、
前記工程推定部は、前記撮像器による撮像画像が入力される入力層と、複数段階に分かれる組立工程のいずれかのみが出力される出力層とを有するニューラルネットワークを備える、
作業管理システム。

【請求項4】

請求項１から３の何れか一つに記載の作業管理システムであって、
前記部品アクセス推定部は、前記部品画像の抽出及び前記部品アクセスの有無推定に当たり、入力層に画像データが入力され、出力層に前記部品画像を標的とした抽出領域を示す抽出枠、前記抽出枠の位置予測に関する位置確信度、及び前記抽出枠内の画像に対するクラスに関するクラス確信度が出力される、学習済みのＳＳＤアルゴリズムが用いられ、
前記抽出枠の出力に当たり、前記ＳＳＤアルゴリズムでは、前記位置確信度及び前記クラス確信度に重み付けを加えた評価関数のスコアが複数の候補抽出枠ごとに求められ、前記部品アクセス推定部は、前記スコアが最高値である前記候補抽出枠を出力し、
前記ＳＳＤアルゴリズムの前記評価関数では、前記位置確信度に対する重み付けが前記クラス確信度に対する重み付けよりも低く設定される、
作業管理システム。

【請求項5】

請求項４に記載の前記ＳＳＤアルゴリズムを生成するための教師データを生成する、教師データの生成方法であって、
前記組立現場の撮像画像であって、それぞれの前記収納場所の位置が変更された複数の画像に対して、前記部品画像の抽出枠及び当該部品画像に対する前記クラスを付与する、
教師データの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、組立作業の進捗を管理する作業管理システム及び当該システムで用いられるアルゴリズムを生成するための教師データの生成方法が開示される。

【0002】

従来から、作業者の作業内容を認識、分析する作業管理システムが知られている。例えば特許文献１では、カメラ、加速度センサ、ジャイロセンサ等の複数のセンサを用いて作業者の体の部位（例えば手）および作業対象の物体を検出している。そして、検出された体の部位と物体の位置や動き、向き等に基づいて、作業者によって実施された作業内容が認識される。

【0003】

作業内容が認識されることで、例えば作業が複数工程に及ぶ場合に、それぞれの作業工程に掛かる時間が求められる。また、一部の工程が意図せずに省略される（飛ばされる）作業抜けが判定可能となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１８／０８７８４４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、作業者及び物体を検出するセンサの数を増やせば、その分精度の高い作業の進捗管理が可能となる。しかしながら、作業現場には部品や治具等が置かれ、センサの設置スペースの確保が困難となるおそれがある。

【0006】

そこで本明細書では、撮像画像を用いるのみにて、作業の進捗管理が可能な、作業管理システムと、当該システムにて用いられるアルゴリズムを生成する教師データの生成方法が開示される。

【課題を解決するための手段】

【0007】

本明細書では、組立作業の進捗を管理する作業管理システムが開示される。当該システムは、撮像器、部品アクセス推定部、及び判定部を備える。撮像器は、組立現場を撮像する。部品アクセス推定部は、撮像器による撮像画像から、組立に用いられる複数種類の部品がそれぞれ収納された複数の収納場所の画像領域である部品画像を抽出するとともに、当該部品画像において作業者が部品を取ったことを示す部品アクセスの有無を推定する。判定部は、部品アクセス推定部によって部品アクセスがあったと推定された部品を時系列に並べた実作業部品順が、組立品の組立工程に沿った部品の使用順が規定された規定部品順とは異なったときに、組立工程における作業抜けが生じたと判定する。

【0008】

上記構成によれば、部品画像における作業者のアクセス有無に応じて、組立に用いられた部品の実作業での使用順が推定される。そして当該使用順が規定の順番とは異なるときに、作業抜けが生じたと判定される。

【0009】

また上記構成において、作業管理システムは、工程推定部を備えてもよい。工程推定部は、撮像器による撮像画像から、組立品の画像領域である組立品画像を抽出するとともに、組立工程別の組立品の撮像画像に基づいて、抽出された組立品画像に対応する組立工程を推定する。

【0010】

上記構成によれば、組立品画像に基づいて組立工程を推定可能となり、撮像画像のみにて工程管理を行うことができる。

【0011】

また上記構成において、工程推定部は、撮像器による撮像画像が入力される入力層と、複数段階に分かれる組立工程のいずれかのみが出力される出力層とを有するニューラルネットワークを備えてもよい。

【0012】

上記構成によれば、工程推定部からは、正常な組立工程の何れかのみが出力層から出力され、例えば作業抜けとの推定結果は出力されない。組立品画像から作業抜けを推定するには、当該作業抜けの画像が必要となるが、作業抜けの態様は多岐に亘り、その画像の取得は多大な労力を要する。そこで工程推定部では、正常な組立工程のみを出力とし、作業抜けに関しては部品アクセス推定部及び判定部が判定を行う。これにより、工程推定部に対する学習に当たり、教師データの点数が過大になることが抑制される。

【0013】

また上記構成において、部品アクセス推定部では、部品画像の抽出及び部品アクセスの有無推定に当たり、学習済みのＳＳＤアルゴリズムが用いられてよい。当該ＳＳＤアルゴリズムでは、入力層に画像データが入力され、出力層に部品画像を標的とした抽出領域を示す抽出枠、抽出枠の位置予測に関する位置確信度、及び抽出枠内の画像に対するクラスに関するクラス確信度が出力される。抽出枠の出力に当たり、ＳＳＤアルゴリズムでは、位置確信度及びクラス確信度に重み付けを加えた評価関数のスコアが複数の候補抽出枠ごとに求められる。部品アクセス推定部は、スコアが最高値である候補抽出枠を出力する。ＳＳＤアルゴリズムの評価関数では、位置確信度に対する重み付けがクラス確信度に対する重み付けよりも低く設定される。

【0014】

部品の収納場所は作業者によって変わる場合があり、位置確信度が評価関数のスコアに影響するＳＳＤアルゴリズムを用いる場合に、作業者によっては部品画像の抽出精度が低くなるおそれがある。そこで、ＳＳＤアルゴリズムの評価関数における位置確信度の重み付けが、抽出した画像領域が何を示すかを表すクラス確信度に対する重み付けよりも低く設定されることで、作業者による部品の収納場所のばらつきが部品画像の抽出精度に与える影響を抑制可能となる。

【0015】

また本明細書では、上記に記載のＳＳＤアルゴリズムを生成するための教師データを生成する、教師データの生成方法が開示される。この方法では、組立現場の撮像画像であって、それぞれの収納場所の位置が変更された複数の画像に対して、部品画像の抽出枠及び当該部品画像に対するクラスが付与される。

【0016】

上記構成によれば、組立現場の撮像画像における収納場所をそれぞれ異ならせた教師データ、言い換えると、部品の収納場所として正解位置を一か所に限定しない教師データが用いられる。このような教師データを用いることで、ＳＳＤアルゴリズムの学習過程で位置確信度への重み付けを低くすることが出来る。

【発明の効果】

【0017】

本明細書で開示される作業管理システムによれば、撮像画像を用いるのみにて、作業の進捗管理が可能となる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る作業管理システムのハードウェア構成を例示する図である。

【図2】本実施形態に係る作業管理システムの機能ブロックを例示する図である。

【図3】組立現場の撮像画像を例示する図である。

【図4】組立工程を例示する図である。

【図5】工程推定部におけるＳＳＤアルゴリズムを生成するための教師データの一例を示す図である。

【図6】工程推定部のニューラルネットワークを例示する図である。

【図7】工程推定部による工程推定プロセスを例示するフローチャートである。

【図8】組立工程において使用される部品を示す、規定部品順を説明する図である。

【図9】作業抜け判定の概要を説明する図である。

【図10】部品アクセス推定部を構成する機能ブロックを例示する図である。

【図11】部品アクセス推定部におけるＳＳＤアルゴリズムを生成するための教師データの一例（部品アクセス無し）を示す図である。

【図12】部品アクセス推定部におけるＳＳＤアルゴリズムを生成するための教師データの一例（部品アクセス有り）を示す図である。

【図13】部品アクセス推定部におけるＳＳＤアルゴリズムを生成するための教師データの一例であって、ランダム配置加工が施された画像を示す図である。

【図14】部品アクセス推定部の、部品Ｃ用ＡＩのニューラルネットワークを例示する図である。

【図15】部品アクセス推定部による作業抜け判定プロセスを例示するフローチャートである。

【図16】部品アクセス推定部による作業抜け判定プロセスの別例を示すフローチャートである。

【発明を実施するための形態】

【0019】

＜全体構成＞
図１に、本実施形態に係る作業管理システムが例示される。当該システムは、組立作業の進捗を管理するシステムであって、作業管理装置１０及び撮像器４０を含んで構成される。

【0020】

作業管理装置１０は、例えばコンピュータから構成される。作業管理装置１０は、演算装置のＣＰＵ１１と、記憶手段としてのシステムメモリ１２及びストレージ１３を備える。ストレージ１３は例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の非一過性の記憶装置であってよい。また作業管理装置１０は、キーボードやマウス等の入力部１４と、撮像器４０等の外部機器との情報の入出力を管理する入出力コントローラ１５を備える。

【0021】

さらに作業管理装置１０は、撮像器４０が撮像した撮像画像を処理する手段として、ＧＰＵ１６（Graphics Processing Unit）、フレームメモリ１７、ＲＡＭＤＡＣ１８（Random Access Memory Digital-to-Analog Converter）、及び表示制御部１９を備える。加えて作業管理装置１０は、処理済みの画像を表示する表示部２０を備える。

【0022】

ＧＰＵ１６は、画像処理用の演算装置であって、後述する部品アクセス推定や組立工程の推定を行う際に主に稼働される。フレームメモリ１７は、撮像器４０により撮像されＧＰＵ１６により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ１８は、フレームメモリ１７に記憶された画像データを、アナログディスプレイである表示部２０向けのアナログ信号に変換する。

【0023】

表示制御部１９は、ＧＰＵ１６、フレームメモリ１７、及びＲＡＭＤＡＣ１８を通して処理された画像を表示部２０に表示させる。例えば表示制御部１９は、撮像器４０による撮像画像と、撮像画像中の抽出枠（後述される）とを表示部２０に重畳表示させる。

【0024】

なお、図１では、作業管理装置１０に表示部２０が含まれているが、例えば表示部２０以外の構成を含んだ作業管理装置１０（コンピュータ）が、組立現場から離れたサーバ室に設置されてよい。また表示部２０は、作業者が閲覧可能となるように、作業現場に設置されてもよい。

【0025】

図２には、作業管理装置１０の機能ブロックが例示される。この機能ブロック図は、例えばストレージ１３に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ１１が実行することで構成される。

【0026】

作業管理装置１０は、処理機能部として、部品アクセス推定部３１、作業抜け判定部３２、工程推定部３３、警告出力部３７、及び表示部３８を備える。また作業管理装置１０は、記憶部として、実作業部品順記憶部３４、規定部品順記憶部３５、及び作業工程記憶部３６を備える。

【0027】

工程推定部３３は、撮像器４０が撮像した組立現場の画像から、組立品の画像領域である組立品画像を抽出する。また工程推定部３３は、この抽出と併せて、組立工程別の組立品の撮像画像に基づいて、抽出された組立品画像に対応する組立工程を推定する。この組立品画像の抽出と組立工程の推定は、後述されるＳＳＤ（Single Shot MultiBox Detector）アルゴリズムを用いて実行される。作業工程記憶部３６には、工程推定部３３により推定された組立工程（より正確には組立工程名称）が記憶される。

【0028】

部品アクセス推定部３１は、撮像器４０が撮像した組立現場の画像から部品画像を抽出する。部品画像とは、組立に用いられる複数種類の部品がそれぞれ収納された複数の収納場所の画像領域を示す。

【0029】

また部品アクセス推定部３１は、部品画像の抽出と併せて、部品画像において作業者が部品を取ったことを示す部品アクセスの有無を推定する。この部品画像の抽出と組立工程の推定は、後述されるＳＳＤアルゴリズムを用いて実行される。実作業部品順記憶部３４には、部品アクセス推定部３１により推定された、部品アクセスのあった部品（より正確には部品名称）が記憶される。

【0030】

規定部品順記憶部３５には、組立品の組立工程に沿った部品の使用順が規定された規定部品順が記憶される。作業抜け判定部３２は、部品アクセス推定部３１によって部品アクセスがあったと推定された部品を時系列に並べた実作業部品順と、規定部品順との異同を判定する。そして、実作業部品順が規定部品順と異なったときに、作業抜け判定部３２は、組立工程における作業抜けが生じたと判定する。

【0031】

作業抜けが生じたと判定されると、警告指令が警告出力部３７に送られる。これを受けて警告出力部３７は表示部３８に警告を表示させる。例えば作業抜けがあったことを示す警告メッセージが表示部３８に表示される。

【0032】

撮像器４０は、例えば組立現場に設置されたカメラデバイスであり、組立現場を静止画及び動画にて撮像可能となっている。撮像器４０は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。

【0033】

＜組立作業の概要＞
図３には、撮像器４０により撮像された、組立現場の画像が例示される。例えば撮像器４０は、組立現場を上から俯瞰するようなアングルとなるように位置、角度、画角等が定められる。なお、図３の組立現場、及び図４の組立工程は、本実施形態に係る作業管理システムが適用される対象の一例であって、種々の組立現場及び組立工程に、本実施形態に係る作業管理システムが適用可能である。

【0034】

組立現場では、組立作業を行う治具６０が設けられる。治具６０には、組立品の位置や角度を決めるための窪みや把持機構等が設けられているが、簡略化のため、これらの機構の図示は省略する。

【0035】

治具６０の周辺に複数種類の部品が配置される。例えばベルトコンベア５６にてＡ部品５１及びＢ部品５２が運ばれる。また部品箱５７にはＣ部品５３が収納される。さらにＡ部品５１，Ｂ部品５２，Ｃ部品５３をそれぞれドライバ５９で締結させるナット５４がナット箱５８に収納される。

【0036】

後述されるように、部品箱５７及びナット箱５８は移動可能であって、作業者ごとに組立現場上の配置が異なる場合がある。後述されるように、部品アクセス推定の際には、このような部品箱５７及びナット箱５８の位置変化の影響が少ないＳＳＤアルゴリズムが用いられる。

【0037】

図４には、図３の組立現場における組立工程が例示される。まず、ベルトコンベア５６から作業者がＡ部品５１を取り、これを治具６０にセット（位置決め）する（組立工程１）。次に作業者はベルトコンベア５６からＢ部品５２を取り、これを治具６０にセットする（組立工程２）。次に作業者は、ナット箱５８からナット５４を取り出してこれをドライバ５９にセットする（組立工程３）。さらに作業者はＡ部品５１とＢ部品５２をナット締めする（組立工程４）。次に作業者は、部品Ａ５１、部品Ｂ５２及びナット５４から構成される組立品（仕掛品）を、治具６０上の他の場所にセットする（組立工程５）。次に作業者は、部品箱５７からＣ部品５３を取り、治具６０にセットする（組立工程６）。

【0038】

さらに作業者は、ナット箱５８からナット５４を取り出し、これをドライバ５９にセットする（組立工程７）。さらに作業者は、Ａ部品５１、Ｂ部品５２及びナット５４からなる組立品５５（仕掛品）と、Ｃ部品５３とをドライバ５９でナット締めする（組立工程８）。

【0039】

以下に説明されるように、図３の組立現場に係る例では、作業管理システムでは、組立品の組立工程が上記８工程に分けられる。この組立工程の設定は、例えば予め作業管理システムの管理者等によって実行される。

【0040】

なお、後述されるように、工程推定部３３（図２参照）による組立工程の推定は、組立品５５及び治具６０が含まれる抽出枠７０Ｅ内の画像を専ら基準画像として実行される。したがって、抽出枠７０Ｅ（図５参照）内での変化を含む工程を単位として、組立工程を区分化することが好適である。言い換えると、抽出枠７０Ｅ内では変化が無く、抽出枠７０Ｅ外では変化が生じるような工程を、単独の組立工程として区分すると、当該組立工程の推定は困難となる。

【0041】

＜工程推定部＞
図２を参照して、工程推定部３３は、例えば学習済みのニューラルネットワークを含んで構成される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）から構成される。このニューラルネットワークは、例えばＳＳＤアルゴリズム（Single Shot MultiBox Detector）による演算処理が実行可能となっている。

【0042】

ＳＳＤアルゴリズムは既知であることから、以下では簡単に説明すると、このアルゴリズムでは、デフォルトボックスと呼ばれるアスペクト比（縦横比）の異なる複数の抽出枠（候補抽出枠）が画像に当て嵌められる。さらに画像上の各デフォルトボックスに対して、ターゲットとなる画像領域候補の抽出と、抽出された画像領域が何を示すかを表す「クラス」の分類が、ニューラルネットワークの一回の演算で実行される。例えば工程推定部３３におけるクラスには、図４の組立工程１～８が登録される。

【0043】

ＳＳＤアルゴリズムにおけるニューラルネットワークは、機能的に、位置検出用のニューラルネットワークと、クラス分類を行うためのニューラルネットワークを備える。そして、位置検出用のニューラルネットワークによる位置確信度と、クラス分類用のニューラルネットワークによるクラス確信度とが、候補抽出枠ごとに求められる。これらの確信度は評価関数に入力され、当該評価関数によって求められるスコアが一番高い値（最高値）を有する候補抽出枠（デフォルトボックス）が最終的に出力される。

【0044】

図５には、工程推定部３３における学習済みのＳＳＤアルゴリズムを生成するための教師データが例示される。この例では、入力データとして組立現場の撮像画像が用意される。さらに出力データ（正解データ）として、治具６０を標的とした抽出領域を示す抽出枠７０Ｅの位置及び大きさのデータと、抽出枠７０Ｅ内の画像のクラスが組立工程１～８のいずれかであることを示すデータが用意される。

【0045】

治具６０上では組立品が組み立てられるから、この抽出枠７０Ｅは、組立品の画像領域である組立品画像を示すということが出来る。このような撮像画像と正解データの組み合わせが、教師データとして、上述した全ての組立工程に対して用意される。

【0046】

なお、このアルゴリズムでは、撮像画像全体から組立工程を推定する代わりに、組立品５５が組み立てられる治具６０を囲む領域（組立品画像領域）に抽出枠７０Ｅを絞って、いわばその枠内の画像情報に基づいて組立工程が推定される。これは、上述したように、ナット箱５８や部品箱５７の配置が作業者によりばらつきがある場合に、これらの箱の配置によって組立工程の推定精度が低下するおそれがあることによる。すなわち、組立工程の推定プロセスにおけるノイズ落としの観点から、治具６０を囲む抽出枠７０Ｅ内、言い換えると組立画像領域が、組立工程の推定対象に絞られる。

【0047】

上記の教師データにより学習したＳＳＤアルゴリズムに基づくニューラルネットワークが、図６に例示される。この学習は、例えば、既存の畳み込みニューラルネットワークに対する転移学習が含まれる。このニューラルネットワークでは、撮像器４０による組立現場の撮像画像が入力層に入力され、出力層に、それぞれの組立工程１～８に対する確信度が出力される。これらの組立工程のうち、最も確信度の高い組立工程が最終的な回答（推定値）として工程推定部３３から出力される。

【0048】

図７には、工程推定部３３による工程推定フローが例示される。図２を参照して、工程推定部３３は、撮像器４０が撮像した組立現場の画像を受信する（Ｓ１０）。さらに工程推定部３３は、上述したＳＳＤアルゴリズムを用いて、位置確信度及びクラス確信度を含む評価関数のスコアが最高値の候補抽出枠（デフォルトボックス）を求める（Ｓ１２）。

【0049】

評価関数のスコアが最高値の候補抽出枠に付されたクラス、つまり組立工程（より正確には組立工程名称）は、作業工程記憶部３６に記憶される（Ｓ１４）。記憶された組立工程は、時系列的に並べることが可能であって、例えば各組立工程に掛かる時間を算出して、作業改善に繋げる等の作業管理が可能となる。

【0050】

なお、組立工程では、作業者が意図せずに所定の組立構成をスキップする、作業抜けが発生する場合がある。この場合、抽出枠７０Ｅ内の組立品５５は、正常な組立工程順に基づく組立品５５に対して形状や構成部品が異なることになる。

【0051】

このような場合、例えば監督者の目視により、作業抜けが生じたことを判定することが出来る。その一方で、工程推定部３３のＳＳＤアルゴリズムに基づくニューラルネットワークは、正常な組立に基づく組立工程１～８の画像を学習対象としており、作業抜けが生じたときの画像については未学習の状態となっている。つまり、工程推定部３３の出力層は、複数段階に分かれる組立工程１～８のいずれかのみが出力され、例えば「作業抜け」等の出力ノードを持たない。

【0052】

したがって、作業抜けが生じたときの撮像画像が入力されたときに、工程推定部３３は、その出力としていわば無理矢理に組立工程１～８の何れかを出力する。その結果、例えば組立規定通りの組立工程が出力され、作業抜けの判定が困難となるおそれがある。そこで本実施形態に係る作業管理システムでは、作業抜けの有無を判定するために、部品アクセス推定部３１が用いられる。

【0053】

＜作業抜け判定の概要＞
図８には、組立工程１～８と並んで、これらの組立工程で使用される部品の順番が例示される。この部品の順番は、正しい組立工程に則った部品の順番を示すものであり、規定部品順と呼ばれる。

【0054】

図８を参照して、組立工程１でＡ部品５１が使用される。次に組立工程２でＢ部品５２が使用される。次の組立工程３ではナット５４が使用される。次に組立工程６でＣ部品５３が使用され、最後にナット５４が使用される。つまり、規定部品順によれば、組立品５５の組立開始から終了まで、Ａ部品５１→Ｂ部品５２→ナット５４→部品Ｃ５３→ナット５４との順番で部品が使用される。

【0055】

本実施形態に係る作業抜け判定では、作業によって取り出された部品の順番（実作業部品順）が記録され、その順番が規定部品順と異なっているか否かが判定される。例えば図９のように、実作業部品順がＡ部品５１→Ｂ部品５２→ナット５４→ナット５４となったときに、作業抜けがあったと判定される。

【0056】

＜部品アクセス推定部＞
作業抜けの判定に当たり、組立現場における部品、その置かれている位置、及び作業者により部品が取られているか否かの３点が推定される必要がある。この推定が部品アクセス推定部３１により実行される。

【0057】

図１０には、部品アクセス推定部３１の内部機能ブロック図が例示される。部品アクセス推定部３１は、組立品５５の組立に必要な部品別に人工知能が構築される。例えばＡ部品５１のアノテーション及び作業者のアクセス有無を推定する人工知能として、部品アクセス推定部３１は、Ａ部品ＡＩ３１Ａを備える。同様にして部品アクセス推定部３１は、Ｂ部品５２及びＣ部品５３のアノテーション及び作業者のアクセス有無を推定する人工知能として、それぞれ、Ｂ部品ＡＩ３１Ｂ及びＣ部品ＡＩ３１Ｃを備える。さらに部品アクセス推定部３１は、ナット５４のアノテーション及び作業者のアクセス有無を推定する人工知能として、ナットＡＩ３１Ｄを備える。

【0058】

これらの人工知能はそれぞれ独立したニューラルネットワークを備える。図１１には、部品アクセス推定部３１におけるそれぞれの人工知能（ニューラルネットワーク）に対する学習用の教師データの例が示される。この図では、撮像器４０による組立現場の撮像画像に抽出枠７０Ａ～７０Ｆが設定される。

【0059】

抽出枠７０Ａ～７０Ｃは、それぞれ、Ａ部品５１～Ｃ部品５３の画像を標的とした抽出領域を示す。抽出枠７０Ｄは、ナット５４の画像を標的とした抽出領域を示す。また上述したように抽出枠７０Ｅは、治具６０の画像を標的とした抽出領域を示す。抽出枠７０Ｆは、ドライバ５９の画像を標的とした抽出領域を示す。

【0060】

さらにそれぞれの抽出枠７０Ａ～７０Ｆに関連付けてクラスが設定される。例えばＣ部品ＡＩ３１Ｃの教師データであれば、クラスとして「部品Ｃアクセス有り」と「部品Ｃアクセス無し」の２者が設定される。例えば図１１において、正解データとして抽出枠７０Ｃが設定されるとともに、当該抽出枠７０Ｃに関連付けてクラス「部品Ｃアクセス無し」が付される。

【0061】

また図１２には、作業者の手８０がＣ部品５３を取ったとき、つまり部品アクセス有りのときの画像が例示される。この画像において、正解データとして抽出枠７０Ｃが設定されるとともに、当該抽出枠７０Ｃに関連付けてクラス「部品Ｃアクセス有り」が付される。

【0062】

このように、入力画像として組立現場の撮像画像が使用され、出力値（正解データ）として部品を囲む抽出枠と、当該部品への作業者のアクセス有無が示される。このような教師データを部品アクセス推定部３１に設けられたそれぞれの部品ＡＩに与えて学習させることで、それぞれの部品に特化したニューラルネットワークが生成される。この学習は、例えば、既存の畳み込みニューラルネットワークに対する転移学習が含まれる。

【0063】

なお、部品画像の抽出及び部品アクセスの有無推定に当たり、Ａ部品ＡＩ３１Ａ、Ｂ部品ＡＩ３１Ｂ、Ｃ部品ＡＩ３１Ｃ、及びナットＡＩ３１Ｄでは、いずれも学習済みのＳＳＤアルゴリズムが用いられる。上述のように、ＳＳＤアルゴリズムは、機能的に、位置検出用のニューラルネットワークと、クラス分類を行うためのニューラルネットワークに分けられる。さらに、位置検出用のニューラルネットワークによる位置確信度と、クラス分類用のニューラルネットワークによるクラス確信度とが評価関数に入力され、当該評価関数によってスコアが求められる。評価関数には、位置確信度及びクラス確信度にそれぞれ重み付け係数が付される。例えばＳＳＤアルゴリズムにおける評価関数は下記数式（１）のように表される。

【0064】

【数1】

【0065】

数式（１）の詳細は既知であるので、ここでは簡単に説明すると、右辺括弧内第１項がクラスについての誤差（確信度）関数を示し、第２項が位置誤差（確信度）関数を示す。位置誤差は、教師データにおける正解位置からのずれを示している。さらに位置誤差関数には重み付け係数αが付される。

【0066】

ここで、ナット５４が収納されるナット箱５８及びＣ部品５３が収納される部品箱５７は、組立現場に固定されておらず自由な配置が可能となる。したがって仮に、組立現場に置かれたナット箱５８及び部品箱５７の配置が、教師データにおけるこれらの箱の配置（正解位置）とは異なっている場合に、組立現場におけるナット箱５８及び部品箱５７の抽出精度（正解率）が低下するおそれがある。

【0067】

そこで、少なくともＣ部品ＡＩ３１Ｃ及びナットＡＩ３１Ｄ（図１０参照）への教師データとして、図１３に例示されるように、ランダム配置加工が施されたデータが含まれていてもよい。この画像処理では、ナット箱５８及び部品箱５７を囲む抽出枠７０Ｃ，７０Ｄ（図１３では抽出枠７０Ｄのみ図示される）内の画像領域が切り取られて、組立現場の撮像画像内の任意の位置に移動される。移動前に抽出枠７０Ｃ，７０Ｄがあった領域７２は例えば黒色で塗りつぶされる。このランダム配置加工では、部品箱、つまり部品の収納場所の位置が、撮像画像内で変更された複数の画像が生成される。

【0068】

教師データには、撮像器４０による組立現場の撮像画像と、ランダム配置加工された撮像画像とが混合される。さらにこれらの画像に対して正解データとなる抽出枠及びクラス（部品アクセス有り／無し）が設定される。このような教師データを用いて、ＳＳＤアルゴリズムを形成するニューラルネットワークの学習が行われる。

【0069】

ランダム配置加工によって、正解データにおける正解位置が、撮像画像中の至るところに設定される。つまり位置予測においてはどの位置でも正解となり得る状況となり、学習後のＳＳＤアルゴリズムでは、上述の数式（１）における、位置確信度に対する重み付け係数が、クラス確信度に対する重み付け係数よりも低く設定される。例えば位置確信度に対する重み付けαが１未満となる。

【0070】

なお、ＳＳＤアルゴリズムにおいて位置確信度に対する重み付けαを任意の値に設定可能である場合には、例えばα＝０に設定する等、位置推定に対する重み付けを無効とすることもできる。

【0071】

上記の教師データにより学習済みの、Ｃ部品ＡＩ３１Ｃのニューラルネットワークが図１４に例示される。このニューラルネットワークの入力層には、撮像器４０によって撮像された組立現場の撮像画像が入力される。出力層には、Ｃ部品５３の抽出枠７０Ｃの候補（候補抽出枠）と、当該候補抽出枠に関連付けられた、Ｃ部品５３へのアクセス有り／無しのクラスが、位置確信度及びクラス確信度とともに出力される。これらの候補出力枠のうち、位置確信度及びクラス確信度を評価する評価関数によるスコアが最高値であるものが最終的な出力として得られる。

【0072】

＜作業抜け判定フロー＞
図１５には、本実施形態に係る作業管理システムにおける、作業抜け判定フローが例示される。部品アクセス推定部３１は、撮像器４０による組立現場の撮像画像を取得する（Ｓ２０）。次に部品アクセス推定部３１は、ＳＳＤアルゴリズムを用いて、位置確信度及びクラス確信度に重み付けを加えた評価関数のスコアを候補抽出枠ごとに求め、スコアが最高値の候補出力枠を求める（Ｓ２２）。

【0073】

具体的には、図１０に例示されるように、Ａ部品ＡＩ３１Ａ、Ｂ部品ＡＩ３１Ｂ、Ｃ部品ＡＩ３１Ｃ、及びナットＡＩ３１Ｄに、それぞれステップＳ２０で取得した撮像画像が入力される。これを受けてＡ部品ＡＩ３１Ａ、Ｂ部品ＡＩ３１Ｂ、Ｃ部品ＡＩ３１Ｃ、及びナットＡＩ３１Ｄでは、Ａ部品５１、Ｂ部品５２、Ｃ部品５３、ナット５４の作業者によるアクセスが有るか否かが推定される。

【0074】

なお、実際の作業内容に鑑みれば、これらの出力の内容としては、Ａ部品５１、Ｂ部品５２、Ｃ部品５３、ナット５４の何れか一つに部品アクセスが有り、残りは部品アクセスが無いとの組み合わせとなるか、全ての部品に対して部品アクセス無しとの出力が得られる。

【0075】

上記出力を経て、部品アクセス推定部３１は、Ａ部品５１～Ｃ部品５３及びナット５４の中に、部品アクセス有りとの出力が得られたものがあるかを判定する（Ｓ２４）。全ての部品に対する出力が、部品アクセス無しであった場合には、部品アクセス推定部３１は、ステップＳ２０に戻る。

【0076】

一方、Ａ部品５１～Ｃ部品５３及びナット５４の中に、部品アクセス有りとの出力が含まれている場合には、部品アクセス推定部３１は、部品アクセス有りとの出力に対応する部品を抽出して、これを（より正確にはその部品名を）実作業部品順記憶部３４（図２）に記憶させる（Ｓ２６）。実作業部品順記憶部３４には、部品アクセスが有った部品が時系列に並べられた状態で記憶されている。

【0077】

次に作業抜け判定部３２は、実作業部品順記憶部３４に記憶された実作業部品順を参照する。またこれと併せて作業抜け判定部３２は、規定部品順記憶部３５に記憶された規定部品順を参照する。そして作業抜け判定部３２は、実作業部品順が規定部品順と異なっているか否かを判定する（Ｓ２８）。

【0078】

実作業部品順が規定部品順と同一である場合には、作業抜けなく正常に組立作業が進められていると判定され、ステップＳ２０に戻り、撮像画像の解析作業が更新される。一方、実作業部品順が規定部品順と異なる場合には、作業抜け判定部３２は、警告出力部３７に対して作業抜けが発生したことを表す警告指令を送信する。これを受けて警告出力部３７は、表示部３８に警告を表示させる（Ｓ３０）。例えば警告出力部３７は、作業抜けがあった旨のメッセージを、表示部３８であるディスプレイに表示させる。例えば表示部３８が組立現場に置かれている場合に、作業者が表示部３８に表示されたメッセージに気付き、作業内容が是正される。

【0079】

このように、本実施形態における作業管理システムによれば、撮像器４０の撮像画像のみにて、組立工程の把握と作業抜けの有無判定を行うことが出来る。

【0080】

なお、実作業部品順と規定部品順との比較により作業抜けの有無を判定する他に、工程推定部３３への学習により、作業抜けの有無を判定させる方法も考えられる。例えば、工程推定部３３の学習に用いられる教師データに、正常な組立に基づく組立工程１～８の画像に加えて、作業抜けの画像を加え、さらに正解クラスとして、組立工程１～８に作業抜けとのクラスを加える必要がある。

【0081】

しかしながら作業抜けの画像とは、要するに正常な組立作業以外の全ての作業態様を含むものであり、その種類は膨大なものとなる。この膨大な種類の作業態様の画像を、学習のためにそれぞれ多数取得することには多大な労力が必要となる。

【0082】

これに対して本実施形態に係る作業管理システムによれば、工程推定部３３への学習に当たり、教師データとして、正常な組立に基づく組立工程１～８の画像と、正解クラスとして組立工程１～８とのデータセットを用いることで、データ点数の簡素化が図られる。また部品アクセス推定部３１及び作業抜け判定部により、作業抜けの有無を判定することが出来る。

【0083】

なお、例えば実作業において作業抜けの頻度が高い工程など、教師データとしての画像が一定数取得可能な作業抜けの態様については、当該工程の作業抜けの態様を推定可能なように、工程推定部３３を生成することも可能である。つまり工程推定部３３では、出力層として組立工程１～８とのクラスに加えて、例えば特定の組立工程（例えば組立工程３）における作業抜けとのクラスが追加される。この場合、部品アクセス推定部３１及び作業抜け判定部３２による、実作業部品順と規定部品順との異同判定に加わる形で、作業抜けの推定が可能となる。

【0084】

＜作業抜け判定フローの別例＞
図１６には、本実施形態に係る作業管理システムにおける、作業抜け判定フローの別例が示される。この別例では、図１５と比較して、ステップＳ２４及びステップＳ２８の条件分岐が省略され、また、ステップＳ２８の代わりに、実作業部品順が規定部品順と異なっていることを検出するステップＳ３８が設けられる。

【0085】

このような判定フローは、例えば作業内容の検証を行うときに用いられる。または、本実施形態に係る作業管理システムによる作業抜け判定が正常に作動しているか否かを確認するための点検時に、このような判定フローが用いられてよい。例えばこの場合、撮像画像として、意図的に作業抜けのある画像が用いられる。このようなフローにおいても、作業抜けを判定可能であって、表示部３８への警告表示が可能である。

【0086】

なお、上記の実施形態では、工程推定部３３による組立工程の推定と、部品アクセス推定部３１及び作業抜け判定部３２による作業抜け推定の両者を実施していたが、本実施形態における作業管理システムは、この形態に限らない。例えば作業管理システムは、組立工程の推定と作業抜け推定のどちらか一方の推定を行ってもよい。

【符号の説明】

【0087】

１０ 作業管理装置、３１ 部品アクセス推定部、３１Ａ Ａ部品ＡＩ、３１Ｂ Ｂ部品ＡＩ、３１Ｃ Ｃ部品ＡＩ、３１Ｄ ナットＡＩ、３２ 作業抜け判定部、３３ 工程推定部、３４ 実作業部品順記憶部、３５ 規定部品順記憶部、３６ 作業工程記憶部、３７ 警告出力部、３８ 表示部、４０ 撮像器、５１ 部品Ａ、５２ 部品Ｂ、５３ 部品Ｃ、５４ ナット、５５ 組立品、５６ ベルトコンベア、５７ 部品箱、５８ ナット箱、５９ ドライバ、６０ 治具、７０Ａ～７０Ｆ 抽出枠。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】