特開 2024-125527 作業管理装置、作業管理方法、並びに作業管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125527

(43)【公開日】2024-09-19

(54)【発明の名称】作業管理装置、作業管理方法、並びに作業管理プログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240911BHJP

【ＦＩ】

G06Q50/04

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023033383

(22)【出願日】2023-03-06

(11)【特許番号】

(45)【特許公報発行日】2023-11-07

(71)【出願人】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】川俣 昌之

(72)【発明者】

【氏名】木戸 眞一郎

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC04

5L050CC04

(57)【要約】      （修正有）

【課題】作業工程の推定を高精度に行うことができる作業管理装置、作業管理方法並びに作業管理プログラムを提供する。
【解決手段】作業管理装置は、入力機能１を構成する作業現場に配置されたカメラＣＡ及びマイクＭＫからの映像の情報と音の情報を入力し、映像の情報から画像要素の情報を得るとともに音の情報から音要素の情報に加工する加工機能２と、画像要素の情報を記憶する画像要素データＤＢ３と音要素の情報を記憶する音データＤＢ４と、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定する分析部３１を備える分析機能３と、分析部３１の推定結果を出力する出力部４１を備える出力機能４と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業現場に配置されたカメラ及びマイクからの映像の情報と音の情報を入力し、映像の情報から画像要素の情報を得るとともに音の情報から音要素の情報に加工する加工部と、画像要素の情報と音要素の情報を記憶するデータベースと、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定する分析部と、前記分析部の推定結果を出力する出力部を備えることを特徴とする作業管理装置。

【請求項2】

請求項１に記載の作業管理装置であって、
前記分析部は、クラスタリングによる学習機能を備えており、学習段階において画像要素の情報と音要素の情報を用いた学習を実行してクラスタを生成し、実利用段階で入力した前記画像要素の情報と音要素の情報が含まれる前記クラスタに応じて、作業工程を推定することを特徴とする作業管理装置。

【請求項3】

請求項１に記載の作業管理装置であって、
前記画像要素の情報は、少なくとも作業現場で作業する作業者の情報と、作業現場にある物体の情報を含むことを特徴とする作業管理装置。

【請求項4】

請求項３に記載の作業管理装置であって、
前記作業者の情報は、作業者の姿勢であることを特徴とする作業管理装置。

【請求項5】

作業現場に配置されたカメラ及びマイクからの映像の情報と音の情報を入力し、計算機を用いて作業状況を管理する作業管理方法であって、
映像の情報から画像要素の情報を得るとともに音の情報から音要素の情報に加工する加工処理と、画像要素の情報と音要素の情報をデータベースに記憶する記憶処理と、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定する分析処理と、前記分析処理の推定結果を出力する出力処理を実行することを特徴とする作業管理方法。

【請求項6】

請求項５に記載の作業管理方法であって、
前記分析処理は、クラスタリングによる学習機能を備えており、学習段階において画像要素の情報と音要素の情報を用いた学習を実行してクラスタを生成し、実利用段階で入力した前記画像要素の情報と音要素の情報が含まれる前記クラスタに応じて、作業工程を推定することを特徴とする作業管理方法。

【請求項7】

計算機の記憶装置に記憶され、計算機の演算部において実行される作業管理プログラムであって、
データベースから、作業現場に配置されたカメラ及びマイクからの映像の情報と音の情報から得た、画像要素の情報と音要素の情報を取り出し、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定し、推定結果を出力する処理を実行することを特徴とする作業管理プログラム。

【請求項8】

請求項７に記載の作業管理プログラムであって、
前記作業工程を推定する処理は、クラスタリングによる学習機能を実行する処理であり、学習段階において画像要素の情報と音要素の情報を用いた学習を実行してクラスタを生成し、実利用段階で入力した前記画像要素の情報と音要素の情報が含まれる前記クラスタに応じて、作業工程を推定することを特徴とする作業管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業の進捗状況を見極めて管理する作業管理装置、作業管理方法、並びに作業管理プログラムに関する。

【背景技術】

【0002】

各種作業はその進捗状態を管理しておく必要がある。従来は、日報などの手入力情報を通じて、進捗を把握していたが、自動的に把握できることが望ましい。

【0003】

自動把握を可能とするには、カメラから入手した画像情報を利用することが考えられる。このための手法として、特許文献１が知られている。特許文献１では「計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得し、取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定し、前記特定部位についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する処理を、コンピュータが実行することを特徴とする動線描画方法。」のようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ２０１６／０９８２６５Ａｌ

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１によれば、例えば人物が製品の組立や検査を行っている状況を画像認識し、進捗を自動抽出することができるが、組立や検査を行う上で使われる工具や装置の状態が人物の陰等になり画像から認識できない場合がある。

【0006】

このことから本発明においては、作業工程の推定を高精度に行うことができる作業管理装置、作業管理方法、並びに作業管理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

以上のことから本発明においては、「作業現場に配置されたカメラ及びマイクからの映像の情報と音の情報を入力し、映像の情報から画像要素の情報を得るとともに音の情報から音要素の情報に加工する加工部と、画像要素の情報と音要素の情報を記憶するデータベースと、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定する分析部と、分析部の推定結果を出力する出力部を備えることを特徴とする作業管理装置」としたものである。

【0008】

また本発明においては、「作業現場に配置されたカメラ及びマイクからの映像の情報と音の情報を入力し、計算機を用いて作業状況を管理する作業管理方法であって、映像の情報から画像要素の情報を得るとともに音の情報から音要素の情報に加工する加工処理と、画像要素の情報と音要素の情報をデータベースに記憶する記憶処理と、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定する分析処理と、分析処理の推定結果を出力する出力処理を実行することを特徴とする作業管理方法」としたものである。

【0009】

また本発明においては、「計算機の記憶装置に記憶され、計算機の演算部において実行される作業管理プログラムであって、データベースから、作業現場に配置されたカメラ及びマイクからの映像の情報と音の情報から得た、画像要素の情報と音要素の情報を取り出し、同じ時間帯に取得された画像要素の情報と音要素の情報を用いてこの時間帯における作業工程を推定し、推定結果を出力する処理を実行することを特徴とする作業管理プログラム」としたものである。

【発明の効果】

【0010】

本発明によれば、作業工程の推定を高精度に行うことができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例に係る作業管理装置の構成例を示す図。

【図2】画像から姿勢Ａが認識できない区間を含む場合を示す図。

【図3】画像から姿勢Ａか姿勢Ｂかが認識できない区間を含む場合を示す図。

【図4】従来における画像と音による検出の例を示す図。

【図5】推論結果導出の考え方を示す図。

【発明を実施するための形態】

【0012】

以下，本発明の実施例について、図面を用いて説明する。

【実施例0013】

図１は、本発明の実施例に係る作業管理装置の構成例を示す図である。作業管理装置は、その機能を大別すると、入力機能１，加工機能２，分析機能３、出力機能４から構成されている。

【0014】

図１に示す本発明の作業管理装置は、事前に学習処理を実行しており、学習結果を利用して実場面に適用されるものである。このため、上記の各部機能は、学習段階と実利用段階の双方において基本的に同じように機能する。以下の説明では、これらの段階を区別して説明する必要がある場合にはこの点を明確にし、区別する必要がない場合には共通の説明を行うものとする。

【0015】

入力機能１は、作業現場に設置されたカメラＣＡと、作業現場に設置された集音のためのマイクＭＫから、それぞれ画像情報ＤＣと音情報ＤＭを入手し、画像記憶装置ＤＢ１と音記憶装置ＤＢ２に時間情報とともに記憶する。

【0016】

加工機能２では、画像情報ＤＣと音情報ＤＭから夫々の要素情報を取り出す。例えば画像情報ＤＣに対して、画像要素抽出部２Ａでは画像に含まれる主要な画像要素として、例えばカメラに映る作業現場の領域ＤＣ１の情報、作業者の特に姿勢ＤＣ２に関する情報、作業場所の背景ＤＣ３に関する情報、作業現場に存在する各種道具、機器などの物体ＤＣ４の情報を要素情報として取り出す。画像要素抽出部２Ａで抽出されたこれらの画像要素の情報は、画像要素データデースＤＢ３に蓄積される。なお、画像要素データデースＤＢ３には、加工された情報ばかりではなく、生情報を含んでいてもよい。

【0017】

また音情報ＤＭに対して、作業現場で計測される音には背景音（例えば近傍の道路の車両通過音）などを含むことから、前処理部２Ｍにおいて音または音声の生データに対してＦＦＴ等の前処理を行い、バックグラウンドノイズを除去し、作業現場で発生した音ＤＭ１を音要素情報として抽出する。抽出されたこれらの音要素の情報は、音要素データデースＤＢ４に蓄積される。なお、音要素データデースＤＢ４には、加工された情報ばかりではなく、生情報を含んでいてもよく、言語認識したものであってもよい。

【0018】

分析機能３の分析部３１では、上記した学習段階において画像要素データデースＤＢ３に蓄積された画像要素の情報のほかに、音要素データデースＤＢ４に蓄積された音要素の情報を加えた情報を用いて学習処理を実行する。この学習は例えば、同一時間帯に取得された画像、音からの５組の要素情報（領域ＤＣ１、姿勢ＤＣ２、背景ＤＣ３、物体ＤＣ４、音ＤＭ１）による５元データのクラスタリング処理を行うものである。

【0019】

このクラスタリング処理により生成された複数のクラスタによれば、作業現場における類似作業（作業工程）毎にクラスタが生成されることになる。例えばある時間帯に画像中央部の台で作業者が座った姿勢で工具（ペンチ）を使用している状況についてクラスタ１が生成されたのであれば、これは作業工程Ａである可能性が高いと推定でき、画像右側で立ち作業をしている状況についてクラスタ２が生成されたのであれば、これは作業工程Ｂであると推定できるということが判明する。

【0020】

分析部３１におけるクラスタリングの結果は、推定結果データベースＤＢ５に蓄積され、出力機能４の出力部４１を介して出力され、推定結果や推定根拠などをモニタ４２に表示し、あるいは記憶装置４３に記憶する。

【0021】

本発明では、事前の学習段階において、作業現場の作業状況をカメラＣＡとマイクＭＫから情報収集して、例えばクラスタリング処理により、作業状況を反映した複数のクラスタを生成しておく。なお生成したクラスタの中には、作業工程に特有の事象を色濃く反映したクラスタばかりではなく、作業工程を特定するには信頼度の低いものを含むことも考えられる。このことから、クラスタ生成の際に得られるスコアなどを参照して、発生したすべてのクラスタの中から、適宜作業者自身によるクラスタの見直しを行うのがよい。

【0022】

そのうえで、実利用段階では、実利用段階で入手した画像、音からの５組の要素情報（領域ＤＣ１、姿勢ＤＣ２、背景ＤＣ３、物体ＤＣ４、音ＤＭ１）による５元データのクラスタリング処理を行い、既存のクラスタのどれに分類されるのか、あるいは新クラスタを生成するのかを判断する。この結果、クラスタ１に分類されるとしたら、この状況は作業工程Ａである可能性が高いと推定できる。

【0023】

なおここでは、学習がクラスタリングである事例について説明したが、要するに作業工程における画像と音の関係が、特定の作業工程を示すものであることが判明している場合に、この関係を利用して、特定の作業工程であることを判断することができるものであればよい。

【0024】

音の要素を加味した本発明によれば、推定精度を高くすることができる。例えば画像のみの場合には、組立や検査を行う上で使われる工具や装置の状態が人物の陰等になり画像から認識できない場合がある。これは上記例では、画像による４元の要素情報（領域ＤＣ１、姿勢ＤＣ２、背景ＤＣ３、物体ＤＣ４）のうち、物体ＤＣ４の要素情報が失われた３元の要素情報からの判断となるために精度が出ないということである。この点、本発明ではこれに音の要素が加わるためにペンチを使用するときのパチン、パチンという音が確認できるのであれば、クラスタ１に分類される確率が高くなるように評価されることになる。

【0025】

図２、図３は、本発明の時の発生事象と推論結果の関係の例を示す図である。これらの図では、横軸に時間推移を示し、縦軸側に上から順に実態としての作業工程、画像情報の例として姿勢の情報、音情報、推論結果を示している。

【0026】

図２は、画像から姿勢Ａが認識できない区間を含む場合を示している。この例では、実態としての作業工程は時刻ｔ０からｔ４まで作業工程Ａを実施し、その後に作業工程Ｂに移行した。画像情報ＤＣの中の姿勢ＤＣ２は、時刻ｔ０からｔ２間と、時刻ｔ３からｔ４間で作業工程Ａでの姿勢Ａが計測されたが、時刻ｔ２とｔ３の間はこの姿勢Ａが計測されなかった。音情報ＤＭは、ほぼこの期間全域で作業工程Ａでの音Ａが計測された。

【0027】

この時の推論結果は、図５左に示すように、この作業工程Ａの実施期間Ｔ内に姿勢の不検出期間Ｔ０はあるものの、この期間Ｔ内で少なくとも一定時間以上の姿勢と音の双方が検知される時間帯Ｔ１が存在することから工程Ａの可能性が高いと判断したものである。

【0028】

図３は、画像から姿勢Ａか姿勢Ｃかが認識できない区間を含む場合を示している。この例では、実態としての作業工程は時刻ｔ０からｔ４まで作業工程Ａを実施し、その後に工程Ｂに移行した。画像情報ＤＣ中の姿勢ＤＣ２は、時刻ｔ１からｔ４間で作業工程Ａでの姿勢Ａまたは姿勢Ｃが計測された。音情報ＤＭは、ほぼこの期間全域で作業工程Ａでの音Ａが計測された。

【0029】

この時の推論結果は、図５左に示すようにこの作業工程Ａの実施期間Ｔ内に姿勢Ａと姿勢Ｃの混在する区間があるものの、この期間Ｔ内で少なくとも一定時間以上の姿勢Ａと音の双方が検知される時間帯Ｔ１が存在することから工程Ａの可能性が高いと判断したものである。

【0030】

図４は、作業時間を計測するために、作業の開始と終了を画像と音から判断する例を示している。画像からは作業の開始を意味する姿勢Ａと音Ａを検知したことで、作業開始と判断する。また作業の終了を意味する姿勢Ｂと音Ｃを検知したことで、作業終了と判断していることを示している。

【0031】

以上述べた実施例１によれば、組立や検査を行う上で使われる工具や装置の状態が人物の陰等になり画像から認識できない場合でも、音の情報を加味することで作業工程の特定が可能となる。

【実施例0032】

実施例２では、本発明の種々の変形適用例について説明する。

【0033】

まず音に関して、作業の上で使用中の音を発する工具音も学習しておくことで、人陰で画像では認識できない手持ち工具等も認識できるようになり、人物が製品の組立や検査を行っている状況を、より精度よく自動抽出できる。音または音声の生データまたはＦＦＴ等の前処理を行った後のデータを機械学習にて推定するのがよく、音声による言葉認識からも判断できる。

【0034】

また、作業者が把持／使用している物体の画像認識および、物体から発生する音を検出することで、作業者の作業内容を精度よく推定することができる。画像認識と音認識は個別または組合せで作業内容を推定するのがよい。

【0035】

また音または音声が発生する位置がおおよそ決まっている場合は指向性マイクを向けることで、周囲雑音を拾うことなく音または音声がより精度よく認識が可能である。工具を取り出す際の音や、工具を置くときの音、さらに取り出すときは、重さが変化することでブザーを鳴らしての認識も可能であり、例えば音から電動ドライバを回した回数も認識可能である。

【0036】

学習機能に関して、音または音声の誤検出について、機械学習の結果として確からしさを示すスコアを取得できる。スコアは事前に定めた閾値により、明らかにスコアが低い検出結果は結果から除外することに利用できる。また、連続検出回数や、多数決などによる検出結果のフィルタリングを実施することで、誤検知抑制や検出がちらつくことを防ぐのがよい。

【0037】

また作業者の把持する物体の検出について、作業者の身体や作業スペースにより物体の一部が隠れることが多い。一部が隠れる場合は、画像のみでの作業時間の計測は困難になる。そこで、音または音声を検出した際には、骨格から推論した作業姿勢と組み合わせることで、特定の作業時間を推論することとし、作業時間はグラフ化して出力するのがよい。