特許 7458623 作業分析装置及び作業分析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】作業分析装置及び作業分析方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240325BHJP

   G06Q 50/04 20120101ALI20240325BHJP

【ＦＩ】

G06T7/00 350B

G06Q50/04

【請求項の数】 7

(21)【出願番号】P 2019190520

(22)【出願日】2019-10-17

(65)【公開番号】P2021067981

(43)【公開日】2021-04-30

【審査請求日】2022-09-07

【新規性喪失の例外の表示】特許法第３０条第２項適用 発行日 平成３０年１０月２３日 刊行物 ２０１８ ＳＮＡＭＥ Ｍａｒｉｔｉｍｅ Ｃｏｎｖｅｎｔｉｏｎ（第１頁～第１４頁）

【新規性喪失の例外の表示】特許法第３０条第２項適用 開催日 平成３０年１０月２６日 集会名、開催場所 ２０１８ ＳＮＡＭＥ Ｍａｒｉｔｉｍｅ Ｃｏｎｖｅｎｔｉｏｎ （米国、ロードアイランド州プロビデンス）

(73)【特許権者】

【識別番号】504145342

【氏名又は名称】国立大学法人九州大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100212026

【弁理士】

【氏名又は名称】中村 真生

(74)【代理人】

【識別番号】100145012

【弁理士】

【氏名又は名称】石坂 泰紀

(74)【代理人】

【識別番号】100182914

【弁理士】

【氏名又は名称】佐々木 善紀

(72)【発明者】

【氏名】篠田 岳思

(72)【発明者】

【氏名】田中 太氏

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１９－１２１２９４（ＪＰ，Ａ）

【文献】樋口 啓太 ほか２名，手の動作に基づく複数一人称視点作業映像のアライメント，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2016年01月14日，第115巻，第414号，第9-14頁

【文献】技術革新 産業・流通・水，日立評論，日本，日立評論社，2018年01月20日，第100巻， 第1号 ，第109-110頁

【文献】小林 拓椰 ほか４名，生産ラインの作業映像における詳細な行動の認識，ＳＳＩＩ２０１９ ［ＵＳＢ］，日本，画像センシング技術研究会，2023年06月14日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－１０／１０

Ｇ０６Ｑ ３０／００－３０／０８

Ｇ０６Ｑ ５０／００－９９／００

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

互いに異なる種類の作業関連物を用いる複数の要素作業を含む一連の作業を行う作業者に係る分析を行う作業分析装置であって、
前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを、前記複数の要素作業それぞれについて準備する学習対象データ準備部と、
複数の前記学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルを生成するモデル生成部と、
を有し、
前記学習対象データに含まれる前記画像情報は、作業者の視線に対応した画像を取得するように当該作業者に取り付けられたカメラにより撮像して得られる情報であり、
前記学習対象データに含まれる前記画像情報は、前記要素作業情報によって特定された要素作業に関連する作業関連物を撮像した領域を含み、
前記モデルは、ニューラルネットワークを用いた機械学習により、前記学習対象データの前記画像情報を入力画像として入力した際に、当該画像情報に対応付けられた要素作業が識別結果として得られるように生成されている、作業分析装置。

【請求項2】

複数の要素作業を含む一連の作業を行う作業者に係る分析を行う作業分析装置であって、
前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを、前記複数の要素作業それぞれについて準備する学習対象データ準備部と、
複数の前記学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルを生成するモデル生成部と、
を有し、
前記学習対象データに含まれる前記画像情報は、前記要素作業情報によって特定された要素作業に関連する作業関連物を撮像した領域を含み、
前記学習対象データ準備部は、
前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を実施した状態を撮像した画像情報と、を含む、複数の学習候補データを取得する学習候補データ取得部と、
前記複数の学習候補データのうち、前記要素作業情報によって特定される要素作業に係る作業関連物を撮像した前記画像情報を含む学習候補データを、前記学習対象データとして抽出する学習対象データ抽出部と、
を含む、作業分析装置。

【請求項3】

前記要素作業情報と、前記要素作業情報によって特定される要素作業に係る作業関連物を特定する情報と、を対応付けた作業関連物情報を予め保持し、
前記学習対象データ抽出部は、前記作業関連物情報に基づいて、前記学習対象データを抽出する、請求項２に記載の作業分析装置。

【請求項4】

複数の要素作業のうちの何れかを行う作業者に関する対象画像について、前記モデル生成部において生成したモデルに基づいて、前記対象画像がどの要素作業を行う作業者に係る画像であるかを特定する分析部をさらに有する、請求項１～３のいずれか一項に記載の作業分析装置。

【請求項5】

前記分析部は、時系列に沿って連続して撮像された複数の対象画像のそれぞれについて、前記対象画像がどの要素作業を行う作業者に係る画像であるかを特定し、その結果に基づいて、作業者が当該要素作業に従事した時間を算出する、請求項４に記載の作業分析装置。

【請求項6】

互いに異なる種類の作業関連物を用いる複数の要素作業を含む一連の作業を行う作業者に係る分析を行う作業分析装置により実行される作業分析方法であって、
前記作業分析装置の学習対象データ準備部が、前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを、前記複数の要素作業それぞれについて準備することと、
前記作業分析装置のモデル生成部が、複数の前記学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルを生成することと、
を含み、
前記学習対象データに含まれる前記画像情報は、作業者の視線に対応した画像を取得するように当該作業者に取り付けられたカメラにより撮像して得られる情報であり、
前記学習対象データに含まれる前記画像情報は、前記要素作業情報によって特定された要素作業に関連する作業関連物を撮像した領域を含み、
前記モデルは、ニューラルネットワークを用いた機械学習により、前記学習対象データの前記画像情報を入力画像として入力した際に、当該画像情報に対応付けられた要素作業が識別結果として得られるように生成される、作業分析方法。

【請求項7】

複数の要素作業を含む一連の作業を行う作業者に係る分析を行う作業分析装置により実行される作業分析方法であって、
前記作業分析装置の学習対象データ準備部が、前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを、前記複数の要素作業それぞれについて準備することと、
前記作業分析装置のモデル生成部が、複数の前記学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルを生成することと、
を含み、
前記学習対象データに含まれる前記画像情報は、前記要素作業情報によって特定された要素作業に関連する作業関連物を撮像した領域を含み、
前記学習対象データ準備部が、前記学習対象データを、前記複数の要素作業それぞれについて準備することは、
前記学習対象データ準備部の学習候補データ取得部が、前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を実施した状態を撮像した画像情報と、を含む、複数の学習候補データを取得することと、
前記学習対象データ準備部の学習対象データ抽出部が、前記複数の学習候補データのうち、前記要素作業情報によって特定される要素作業に係る作業関連物を撮像した前記画像情報を含む学習候補データを、前記学習対象データとして抽出することと、を含む、作業分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業分析装置及び作業分析方法に関する。

【背景技術】

【0002】

特許文献１では、画像情報を利用して作業者、作業内容等を認識することで、作業に関する情報を表示する工事管理支援装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２０１０７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ある作業者が複数の連続した作業を行っている場合、特許文献１に記載の方法では、作業の特定に係る精度が十分であるとはいえない場合がある。

【0005】

本開示は上記を鑑みてなされたものであり、作業者に係る作業の分析を精度よく行うことが可能な作業分析装置及び作業分析方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示の一形態に係る作業分析装置は、複数の要素作業を含む一連の作業を行う作業者に係る分析を行う作業分析装置であって、前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを、前記複数の要素作業それぞれについて準備する学習対象データ準備部と、複数の前記学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルを生成するモデル生成部と、を有する。

【0007】

また、本開示の一形態に係る作業分析方法は、複数の要素作業を含む一連の作業を行う作業者に係る分析を行う作業分析方法であって、前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを、前記複数の要素作業それぞれについて準備することと、複数の前記学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルを生成することと、を含む。

【0008】

上記の作業分析装置及び作業分析方法によれば、複数の要素作業のうちの何れかを特定する要素作業情報と、要素作業情報によって特定された要素作業を行う作業者に係る画像情報であって当該要素作業に係る作業関連物を撮像した領域を含む画像情報と、を含む学習対象データを教師データとして、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルが生成される。このような構成とすることで、要素作業が特定された画像情報を利用して分析精度の高いモデルを生成することができるため、対象画像情報についての分析精度を高めることができる。

【0009】

ここで、前記学習対象データに含まれる前記画像情報は、前記要素作業情報によって特定された要素作業に関連する作業関連物を撮像した領域を含む態様とすることができる。

【0010】

上記のように、要素作業情報によって特定された要素作業に関連する要素作業に関連する作業関連物を撮像した領域を含む画像情報を学習対象データとして用いることで、作業関連物と要素作業との関連性を考慮したモデルを生成することが可能となるため、より分析精度の高いモデルを生成することができるため、対象画像情報についての分析精度を高めることができる。

【0011】

前記学習対象データ準備部は、前記複数の要素作業のうちの何れかを特定する要素作業情報と、前記要素作業情報によって特定された要素作業を実施した状態を撮像した画像情報と、を含む、複数の学習候補データを取得する学習候補データ取得部と、前記複数の学習候補データのうち、前記要素作業情報によって特定される要素作業に係る作業関連物を撮像した前記画像情報を含む学習候補データを、学習対象データとして抽出する学習対象データ抽出部と、を含む態様とすることができる。

【0012】

上記のように、複数の学習候補データを取得した後に、要素作業情報によって特定される要素作業に係る作業関連物を撮像した画像情報を含む学習候補データを、学習対象データとして抽出する構成とすることで、装置側で作業関連物を撮像した画像情報を含む学習対象データを適切に抽出することが可能となる。そのため、装置の使用者等が学習対象データを選択する場合と比較してデータの偏り等が少ない学習対象データを準備することが可能となり、分析精度を向上させることができる。

【0013】

また、前記要素作業情報と、前記要素作業情報によって特定される要素作業に係る作業関連物を特定する情報と、を対応付けた作業関連物情報を予め保持し、前記学習対象データ抽出部は、前記作業関連物情報に基づいて、前記学習対象データを抽出する態様とすることができる。

【0014】

上記の構成とすることで、学習対象データの抽出をより適切に行うことができる。

【0015】

また、複数の要素作業のうちの何れかを行う作業者に関する対象画像について、前記モデル生成部において生成したモデルに基づいて、前記対象画像がどの要素作業を行う作業者に係る画像であるかを特定する分析部をさらに有する態様とすることができる。

【0016】

上記のように、複数の要素作業のうちの何れかを行う作業者に関する対象画像に係る分析を行う分析部を有することで、対象画像情報についての分析精度を高めることができる。

【0017】

また、前記分析部は、時系列に沿って連続して撮像された複数の対象画像のそれぞれについて、前記対象画像がどの要素作業を行う作業者に係る画像であるかを特定し、その結果に基づいて、作業者が当該要素作業に従事した時間を算出する態様とすることができる。

【0018】

上記のように、分析部が、時系列に沿って連続して撮像された複数の対象画像のそれぞれについて、対象画像がどの要素作業を行う作業者に係る画像であるかを特定し、その結果に基づいて、作業者が当該要素作業に従事した時間を算出する構成とすることで、この作業者の要素作業毎の作業時間の分析を行うことも可能となる。

【発明の効果】

【0019】

本開示によれば、作業者に係る作業の分析を精度よく行うことが可能な作業分析装置及び作業分析方法が提供される。

【図面の簡単な説明】

【0020】

【図1】図１は、本実施形態の作業分析装置の機能的構成を示すブロック図である。

【図2】図２は、作業分析プログラムの構成を示す図である。

【図3】図３は、作業分析装置のハードウェア構成を示す図である。

【図4】図４は、作業分析方法のうちモデルの生成方法について説明する図である。

【図5】図５は、本実施形態で対象としている作業の分類例を示す図である。

【図6】図６は、要素作業と作業関連物との関係の一例を示す図である。

【図7】図７は、作業分析方法のうち学習対象データの抽出方法について説明する図である。

【図8】図８は、作業分析方法で用いられるディープニューラルネットワークについて説明する図である。

【図9】図９は、作業分析方法のうち対象画像データの分析方法について説明する図である。

【発明を実施するための形態】

【0021】

以下、添付図面を参照して、本開示を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

【0022】

［作業分析装置］
図１は、一実施形態に係る作業分析装置の構成を説明する図である。本実施形態に係る作業分析装置１は、例えば、工事等の作業を行う作業者がどのような作業を行っているかを分析する装置である。作業者が行う作業としては各種製造業の現場で行われている作業であれば限定されないが、本実施形態で説明する作業分析装置１は、例えば、作業工程に基づく分業が進んでいない作業が多い現場での作業者による作業の分析に用いることができる。このような作業現場としては、例えば、個別受注生産が多い造船業、土木・建設・プラント業が挙げられる。このように個別受注生産が多い業種では、繰り返し生産ができる部分が限られている。したがって、ひとりの作業者が特定の作業のみを行うのではなく、複数の作業を行う場合が多い。作業分析装置１では、このような複数の作業を行う作業者がどの作業にどれくらいの長さ（時間帯）関わっているかを、作業に係る画像から分析するために用いられる。

【0023】

作業分析装置１では、機械学習を用いて画像から作業を特定するためのモデルを生成する。そして生成されたモデル（学習済みモデル）を利用して、分析対象の画像がどの作業を行っている際の画像であるかを特定する。したがって、図１に示されるように、作業分析装置１は、モデル準備部１０、分析部２０、及び記憶部３０を有する。

【0024】

モデル準備部１０は、作業分析装置１において用いられる学習済みモデル（ニューラルネットワーク）を準備する機能を有する。また、分析部２０は、学習済みモデル（ニューラルネットワーク）を用いて、分析対象の画像から当該画像を撮像時の作業者がどのような作業に従事していたかを識別する機能を有する。また、記憶部３０は、学習済みモデル、モデルの生成に用いた情報、外部から取得した画像情報、分析結果等を保持する機能を有する。なお、これらの機能部は１台の装置（コンピュータ）にまとめられていてもよいが、複数台の装置に分散していてもよい。

【0025】

モデル準備部１０は、学習候補データ取得部１１、学習対象データ抽出部１２、及び、モデル生成部１３を含む。学習候補データ取得部１１及び学習対象データ抽出部１２は、学習対象データを準備する学習対象データ準備部としての機能を有する。

【0026】

学習候補データ取得部１１は、モデルの生成に利用する候補となる学習候補データを取得する機能を有する。複数の要素作業のうちの何れかを特定する要素作業情報と、要素作業情報によって特定された要素作業を実施した状態を撮像した画像情報と、を含むデータである。詳細は後述する。

【0027】

学習対象データ抽出部１２は、学習候補データの中から、実際にモデルの生成に使用するデータ（学習対象データ）を抽出する機能を有する。この点について詳細は後述する。

【0028】

モデル生成部１３は、学習対象データを用いて機械学習による学習を行ない、作業の分析に使用するモデル（学習済みモデル）を生成する機能を有する。なお、生成された学習済みモデルは、記憶部３０に保持される。

【0029】

分析部２０は、対象画像取得部２１、分析部２２、及び、結果出力部２３を含む。

【0030】

対象画像取得部２１は、作業の分析の対象となる対象画像を取得する機能を有する。

【0031】

分析部２２は、対象画像について、学習済みモデルを適用することで、対象画像がどの作業を撮像した画像であるかを識別する機能を有する。詳細の手順は後述する。

【0032】

結果出力部２３は、分析の結果を出力する機能を有する。

【0033】

学習候補データ取得部１１及び対象画像取得部２１で取得される画像は、携帯型小型カメラ５により撮像された画像（静止画像）である。携帯型小型カメラ５は、作業者の作業に係る画像を取得するためのカメラであり、例えば作業者のヘルメット等に取り付けることで作業者の視線に対応した画像を取得することとしてもよい。また、作業者の作業場所に携帯型小型カメラ５を取り付けることで作業者自体を撮像した画像を取得することとしてもよい。また、携帯型小型カメラ５は作業者の作業に係る画像を動画として撮像してもよい。この場合、学習候補データ取得部１１または対象画像取得部２１において、動画を所定の間隔（例えば、１秒～数秒おき）でキャプチャすることによって、作業者に係る画像（静止画像）を取得することとしてもよい。

【0034】

［作業分析プログラム］

【0035】

コンピュータを、本実施形態の作業分析装置１として機能させるための情報処理プログラムについて説明する。図２は、作業分析プログラムＰ１の構成を示す図である。

【0036】

作業分析プログラムＰ１は、作業分析装置１における上記の処理を統括的に制御するメインモジュールｍ１０、学習候補データ取得モジュールｍ１１、学習対象データ抽出モジュールｍ１２、モデル生成モジュールｍ１３、対象画像取得モジュールｍ１４、分析モジュールｍ１５、及び、結果出力モジュールｍ１６を備えて構成される。そして、各モジュールｍ１１～ｍ１６により、作業分析装置１における学習候補データ取得部１１、学習対象データ抽出部１２、モデル生成部１３、対象画像取得部２１、分析部２２、及び、結果出力部２３のための各機能が実現される。なお、作業分析プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図２に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。

【0037】

［ハードウェア構成］
作業分析装置１は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。各機能は、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に接続し、これら複数の装置により実現されてもよい。

【0038】

図３は、作業分析装置１のハードウェア構成の一例を示す図である。作業分析装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0039】

作業分析装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0040】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、作業分析装置１の各種処理等は、プロセッサ１００１で実現されてもよい。また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。作業分析装置１の各種処理を実行する機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。なお、作業分析装置１における各種処理は、１つのプロセッサ１００１で実行されてもよいが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。

【0041】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。

【0042】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体である。ストレージ１００３は、例えば、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc ROM）などの光ディスク等の少なくとも１つで構成されてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0043】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのデバイスである。例えば、作業分析装置１の各種処理の一部は、通信装置１００４で実現されてもよい。

【0044】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード等）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ等）である。

【0045】

上記の各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0046】

［作業分析方法］
次に、図４～図９を参照しながら、作業分析装置１による作業分析方法について説明する。作業分析装置１では、分析の対象となる対象画像において撮像した作業を識別する際に利用するモデルを生成するモデル生成に係る処理と、生成したモデルを用いて対象画像を識別する分析に係る処理と、が行われる。まず、モデル生成に係る処理について説明した後に、分析に係る処理について説明する。

【0047】

なお、以下の実施形態では、作業者が溶接に係る一連の作業を行う場合について説明する。また、携帯型小型カメラ５は作業者のヘルメットに取り付けられて、作業者の目線に対応する画像が取得されるものとする。また、作業分析装置１では、機械学習としてディープニューラルネットワーク（ＤＮＮ）を用いる場合について説明する。特に、本実施形態では、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いる場合について説明する。ただし、機械学習の種類は特に限定されず、上記の畳み込みニューラルネットワークに代えて、ｋ近傍法（k-nearest neighbor algorithm：ｋＮＮ）、サポートベクターマシン（support vector machine：ＳＶＭ）等を用いることができる。

【0048】

まず、作業分析装置１は、ステップＳ０１（学習候補データ取得ステップ）を実行する。ステップＳ０１では、学習候補データ取得部１１がモデルの生成に利用する可能性のある学習候補データを取得する。学習候補データとは、撮像した作業の種類が特定されている画像情報と、当該画像情報に係る作業の種類（要素作業）を特定した要素作業情報と、の組み合わせに対応するものである。図５は、溶接作業に含まれる部分的な作業に相当する要素作業を列挙したものである。図５には、作業を開始してから作業を終了するまで（より具体的には、携帯型小型カメラ５を取り付けてから取り外すまで）に含まれ得る２９種類の要素作業を挙げている。作業分析装置１では、対象の画像がこれらの要素作業のうちのどれを撮像したものであるかを特定する。したがって、学習候補データとしてこれらの２９種類の要素作業を撮像した画像情報及び要素作業情報を取得する。

【0049】

次に、作業分析装置１は、ステップＳ０２（学習対象データ抽出ステップ）を実行する。ステップＳ０２では、学習対象データ抽出部１２が学習対象として使用するデータの抽出を行う。ステップＳ０１で取得した学習候補データには、作業中の画像ではあったとしても作業を特定するには適切ではない画像が含まれている可能性がある。例えば、携帯型小型カメラ５が作業者のヘルメットに取り付けられている場合、作業者が作業中の手元を見るのではなく手元とは異なる方向を見ることもある。このタイミングを撮像した画像には、作業に関連のない情報のみが含まれている場合がある。このような画像を用いて学習を行った場合、学習精度が低下してしまうことが考えられる。そこで、作業に関連する画像を抽出して学習対象データとする処理が行われる。

【0050】

作業に関連する情報が含まれる画像であるか否かを判断する基準として、本実施形態では画像に作業関連物が撮像されているか否かを用いる。作業関連物とは、ある作業に関連のあるものである。ただし、道具等の作業に使用する物体に限ったものではなく、作業時に発生する光等を「作業関連物」として取り扱うこともできる。すなわち、作業関連物とは、特定の作業に関連していて撮像が可能な事象であれば、電磁波等も作業関連物として取り扱うことができる。図５に示す要素作業の多くでは、作業者は何らかの物体を用いて作業を行っている。したがって、予め要素作業と当該要素作業に関連のある物体とを関連付けた情報を保持しておき、学習候補データの画像情報に当該物体が撮像されているか否かに基づいて学習対象データとするか否かを判断する。図６は、要素作業と作業関連物を対応付けた情報である作業関連物情報の一例である。図６では、図５に示す「Ｎｏ．３５」の「チッパーを用いたスラグ除去」に対応する作業関連物として「チッパー」が特定されている。したがって、「チッパーを用いたスラグ除去」を撮像した画像情報であるとして取得された学習候補データのうち、「チッパー」が撮像されている画像情報（及び要素作業情報）を学習対象データとして抽出する。また、図６では、５に示す「Ｎｏ．４２」の「溶接」に対応する作業関連物として「溶接アーク」（溶接時に生じる光）が特定されている。このように、作業関連物として光を用いてもよい。この場合、「溶接」を撮像した画像情報であるとして取得された学習候補データのうち、「溶接アーク」が撮像されている画像情報（及び要素作業情報）を学習対象データとして抽出する。この要素作業と作業関連物との対応関係に係る作業関連物情報は記憶部３０に保持される構成とすることができる。

【0051】

上述のように、作業関連物は、作業において作業者が使用する道具に限定されるものではない。例えば、図５に示す溶接に関する一連の作業に含まれる要素作業のうち、一般的な要素作業（道具の準備・片付け等）については、作業に使用する道具が作業関連物となり得る。また、作業に必要な保護具の着用・取り外し等の場合には、保護具または作業者の手（保護具を取り扱うものとして手を想定する）が作業関連物となり得る。また、溶接自体を行っているとき、及び、グラインダーを用いた修正作業を行っているときは、当該作業によって発生する光または飛散物等を作業関連物とすることができる。さらに、休憩の場合には、携帯型小型カメラ５が取り付けられたヘルメットを取り外す場合には、ヘルメットが置かれる場所（机・休憩室等）が作業関連物となり得る。また、休憩や打ち合わせのように他人とコミュニケーションをとる場合には、相手の人の顔が作業関連物となり得る。また、消耗品の交換の場合には、消耗品を保管する保管庫の風景等が作業関連物となり得る。また、作業者が作業場所を移動する場合には、作業場所付近の遠景（例えば一連の作業を行う事業所の風景等）を作業関連物とすることができる。さらに、上述のように光等の電磁波も作業関連物とすることができる。このように、作業関連物は作業者が手に取る物体に限定されるものではなく、要素作業と関係があり、且つ、撮像可能な「もの」全般から選択し得る。

【0052】

上記の学習候補データの取得及び学習対象データの抽出に関する手順に関して、図７を参照しながら説明する。ここでは、携帯型小型カメラ５から動画を取得した場合を例として説明する。

【0053】

まず、作業分析装置１は、ステップＳ１１を実行する。ステップＳ１１では、携帯型小型カメラ５から取得した動画から、特定の間隔でスクリーンショットを切り出す。このとき切り出された画像が学習候補の画像情報となる。

【0054】

次に、作業分析装置１は、ステップＳ１２を実行する。ステップＳ１２では、切り出された画像がどの要素作業を行った際の画像であるかを特定する。作業者が行う作業は基本的に手順が決まっている。したがって、作業者の作業中の動画を作業関係者が目視すると、例えば、動画開始（経過時間０）から経過時間Ａまでは第１の要素作業を行っていて、その次に経過時間Ｂまでは第２の要素作業を行っている、と特定することができる。したがって、特定の経過時間のスクリーンショットはどの要素作業を行った画像であるかを特定することができる。作業分析装置１では、動画の経過時間と要素作業との対応関係を特定する情報を取得した上で記憶部３０に記憶しておき、切り出した画像との対応付けを行うことで、要素作業と対応付けられた画像情報、すなわち学習候補データを得ることができる。

【0055】

次に、作業分析装置１は、ステップＳ１３を実行する。ステップＳ１３では、上記の手順で得られた学習候補データに含まれる画像情報に、要素作業に関連した作業関連物が映っているかを判定する。

【0056】

上述のように、要素作業毎に、要素作業に関連する作業関連物が特定されている。そこで、学習対象データ抽出部１２では、各画像情報に要素作業情報で特定された要素作業に関連する作業関連物が含まれているかを確認する。なお、画像に作業関連物が含まれているか否かを特定するための情報（例えば、画像にどのような形状・色の物体が含まれていれば作業関連物が含まれていると判断すればよいか、などの情報）は予め記憶部３０に保持されていてもよい。また、学習対象データ抽出部１２では、記憶部３０に保持されている情報に基づいて画像の解析を行い、作業関連物が含まれているか否かを判定する構成としてもよい。

【0057】

上記の判定の結果、作業関連物が含まれていると判定された画像情報を含む学習候補データは、学習対象データとして用いられる（ステップＳ１４）。一方、判定の結果、作業関連物が含まれていないと判定された画像情報を含む学習候補データは、学習対象データとして用いられない（ステップＳ１５）。したがって、モデルの生成には利用されないこととなる。

【0058】

なお、上述のように、大抵の要素作業は作業関連物との対応付けを行うことができる。しかしながら、要素作業によっては、作業関連物を特定できない可能性もある。例えば、作業者同士が移動しながら打ち合わせをする場合のように作業関連物の特定が困難なケースが考えられる。そのような場合には、学習対象データの抽出に係る処理を行わなくてもよい。すなわち、ステップＳ１３に係る判定を行わず、当該要素作業に関するすべての学習候補データを学習対象データとして取り扱うこととしてもよい。このように、本実施形態に係る作業分析装置１では、少なくとも作業関連物を紐付けることができる要素作業については、作業関連物を撮像した領域が画像情報に含まれるかに基づいて学習対象データを抽出する処理が行われる。

【0059】

図４に戻り、作業分析装置１は、ステップＳ０３（モデル生成ステップ）を実行する。ステップＳ０３では、モデル生成部１３が上記の手順で得られた学習対象データを教師データとし、機械学習によってモデルの生成を行う。モデルの生成に用いられる機械学習の一例として、畳み込みニューラルネットワークについて、図８を参照しながら説明する。畳み込みニューラルネットワークでは、入力画像Ａ１を準備して入力層に入力すると、各画素に含まれる画素毎の情報を利用してフィルタを用いた畳み込み層ｃｏｎｖ１における畳み込み処理及びプーリング層ｐｏｏｌ１におけるプーリング処理を数回（例えば５回）繰り返す。また、畳み込み処理とプーリング処理との間に正規化処理等を行ってもよい。その後、全結合層ｆｃにおいてこれらの情報を集約することで出力層から識別結果Ａ２を出力する。

【0060】

機械学習時、すなわち、モデルの生成時には、学習対象データの画像情報を入力画像として入力した際に、当該画像情報に対応付けられた要素作業が識別結果Ａ２として得られるように、ニューラルネットワーク間の結合の重み付けを調整する。またこの結果得られたニューラルネットワークを学習済みニューラルネットワーク、すなわち分析用のモデルとする。この学習済みニューラルネットワークは作業分析を行うソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

【0061】

次に、作業分析装置１は、ステップＳ０４（モデル保持ステップ）を実行する。ステップＳ０４では、モデル生成部１３において生成されたモデルが記憶部３０に保持される。以上の処理により、分析に用いられるモデルが生成され、記憶部３０に保持される。これにより、作業分析に係る準備が完了したことになる。

【0062】

次に、図９を参照しながら、生成したモデルを用いて対象画像を識別する分析に係る処理について説明する。

【0063】

作業分析装置１は、ステップＳ２１（対象画像取得ステップ）を実行する。ステップＳ２１では、対象画像取得部２１が、対象画像情報を取得する。対象画像情報とは、作業分析の対象となる画像情報である。なお、図７のステップＳ１１で説明した手順と同様に、携帯型小型カメラ５から動画を取得する構成とし、取得した動画から、特定の間隔でスクリーンショットを切り出すことで対象画像情報を取得する構成としてもよい。

【0064】

次に、作業分析装置１は、ステップＳ２２（分析ステップ）を実行する。ステップＳ２２では、分析部２２が、対象画像情報に対して学習済みのモデル（ニューラルネットワーク）を適用する。すなわち、作業分析装置１のＣＰＵがメモリに記憶された学習済みモデルからの指令にしたがって、入力層に入力された対象画像情報に対して、ニューラルネットワークにおける学習済みの重み付け係数及び応答関数等に基づく演算を行ない、結果をニューラルネットワークの出力層から出力する。この結果とは、学習済みニューラルネットワークを用いて演算を行うことで推定された、画像情報がどの要素作業を撮像した画像であるかを特定する情報である。すなわち、ステップＳ２２を行うことで、作業分析装置１ではステップＳ２３が実行される。ステップＳ２３では、分析部２２において、学習済みニューラルネットワークを適用することで特定された要素作業に係る情報を得ることができる。

【0065】

なお、作業分析装置１は、上記の処理の後にステップＳ２４を行ってもよい。ステップＳ２４では、分析部２２は、各要素作業にどの程度の長さ従事していたかを特定してもよい。また、分析部２２は要素作業時間の特定の際に、学習済みニューラルネットワークを適用することで推定された結果（要素作業）が適切であるかウィンドウ法を用いて検証し、必要に応じて補正を行う構成としてもよい。

【0066】

上記のように携帯型小型カメラ５から動画を取得し、所定の間隔でキャプチャした画像を対象画像情報とした場合、対象画像情報のそれぞれについて要素作業を推定することができると、その要素作業をどの程度継続したかを特定することができる。すなわち、同一の要素作業に関すると特定された画像が複数枚連続している場合、その間は同一の要素作業を行っていたと推定することができる。したがって、同一の要素作業に関すると特定された画像の連続枚数と画像の取得間隔とから、当該要素作業に従事していた時間を推定することができる。この手法を用いて、作業者の各要素作業への従事時間を特定する演算を分析部２２で行ってもよい。

【0067】

また、上記のように作業者の各要素作業への従事時間を特定する演算を行う際に、ウィンドウ法を用いて各画像情報と要素作業との対応付けを補正する構成としてもよい。ここで適用されるウィンドウ法とは、各要素作業への従事時間は数秒よりは十分長いと想定して、時系列的に数秒レベルで要素作業が変化していると推定された場合には、推定結果に誤りがあると判断して補正する方法であり、移動窓法（moving window method）という場合もある。例えば、時系列的に連続している３枚の画像の要素作業の推定結果のうち両端の２枚の画像に係る推定結果が同一であり、その間の１枚の画像に係る推定結果がそれとは異なるものである場合、その１枚の画像を撮像したタイミングだけ別の要素作業を行っているとは考えにくい。したがって、その１枚の画像についても、その前後の画像と同じ要素作業を行っている際に撮像した画像であるとし、学習済みニューラルネットワークによる推定結果を補正する。このように、時系列的に連続した画像に係る学習済みニューラルネットワークによる推定結果を参照し、その前後関係から推定結果を補正する手法をウィンドウ法という。なお、どのようなルールで補正をするかは、要素作業の識別精度やその実際に想定される作業時間等を考慮して適宜変更することができる。作業者の各要素作業への従事時間を特定する演算を分析部２２で行う場合には、上記のような補正を行うことで、散発的な誤推定を補正することができ、演算の精度を高めることができると考えられる。

【0068】

なお、ステップＳ２４を行う場合、作業分析装置１では、携帯型小型カメラ５から取得した動画から複数の対象画像情報を切り出した後、複数の対象画像情報それぞれについて、ステップＳ２２及びステップＳ２３を行い、複数の対象画像情報に係る要素作業の推定を行う。その後に、ステップＳ２４を行うことで、前後の対象画像情報に係る要素作業の推定結果を利用して、作業者の各要素作業への従事時間を特定する演算を行うことができる。

【0069】

次に、作業分析装置１は、ステップＳ２５（出力ステップ）を実行する。ステップＳ２５では、結果出力部２３が、分析部２２による分析結果を出力する。出力する形式は分析部２２においてどのような分析を行うか、また、装置の使用者がどのような結果を参照したいかに応じて、適宜変更することができる。これにより、一連の処理が終了する。

【0070】

［作用］
上記の作業分析装置１及び作業分析方法によれば、要素作業情報と、要素作業情報によって特定された要素作業を行う作業者に係る画像情報と、を含む学習対象データを教師データとした機械学習が行われる。この結果、作業分析装置１及び作業分析方法では、複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定するためのモデルが生成される。このような構成とすることで、要素作業が特定された画像情報を利用してより分析精度の高いモデルを生成することができるため、対象画像情報についての分析精度を高めることができる。

【0071】

複数の要素作業を行う作業者の作業の標準化等を目的として、要素作業毎の作業時間を計測したいというニーズがある。これに対して、作業者の作業を観測しながら評価を行うことは人手と時間がかかりすぎるため、作業者を撮像した画像から要素作業を特定することが検討されている。しかしながら、従来の手法では、作業者が行っている要素作業を精度良く特定することが困難であった。これに対して上記の手法とすることで、機械学習を利用して対象画像情報を撮像した要素作業を特定するためのモデルを生成することができる。したがって、このようなモデルを用いて複数の要素作業のいずれかに係る対象画像情報について、当該対象画像情報を撮像した要素作業を特定することで、分析精度を高めることができる。

【0072】

特に、要素作業情報によって特定された要素作業に関連する要素作業に関連する作業関連物を撮像した領域を含む画像情報を学習対象データとして用いることで、作業関連物と要素作業との関連性を考慮したモデルを生成することが可能となるため、より分析精度の高いモデルを生成することができるため、対象画像情報についての分析精度を高めることができる。作業者が行う要素作業のそれぞれは、一般的に作業者が何らかの道具と接することによって行われる。また、要素作業が異なる状況では、それぞれの状況に応じた特有の画像が生成される。このような要素作業毎の画像情報を区別するために要素作業毎の作業関連物を考慮し、作業関連物が撮像された領域を含む画像情報を学習対象データとして用いる構成とすることで、モデル生成時に要素作業毎の特徴を考慮したモデルを生成することが可能となるため、分析精度を高めることが可能となる。

【0073】

具体的には、溶接に係る一連の作業を撮像した画像の集合を４つ（集合Ｃ１～Ｃ４）準備した。集合Ｃ１には８２９６枚の画像が含まれ、集合Ｃ２には１０４４３枚の画像が含まれ、集合Ｃ３には１０１５２枚の画像が含まれ、集合Ｃ４には９０２８枚の画像が含まれている。また、全ての画像には、溶接に係る作業のうちの一の要素作業が定義づけられている。また、全ての画像には、それぞれ作業関連物を撮像した領域が含まれている。これらの集合のうち集合Ｃ１～Ｃ３に含まれる画像を用いて作業分析装置１によってモデルを作成した後、集合Ｃ４に含まれる画像を対象画像として、モデルを用いた分析によって各対象画像に対応付けられている要素作業を推定できるかどうかを評価した。この結果、正答率が８７％であることが確認された。このように、機械学習により生成したモデルによって分析を行うことで、高い精度で要素作業の推定を行うことができる。

【0074】

また、上記の作業分析装置１では、複数の学習候補データを取得した後に、要素作業情報によって特定される要素作業に係る作業関連物を撮像した画像情報を含む学習候補データを、学習対象データとして抽出している。このような構成とすることで、装置側で作業関連物を撮像した画像情報を含む学習対象データを適切に抽出することが可能となる。そのため、装置の使用者等が学習対象データを選択する場合と比較してデータの偏り等が少ない学習対象データを準備することが可能となり、分析精度を向上させることができる。

【0075】

また、上記の作業分析装置１では、要素作業情報と、要素作業情報によって特定される要素作業に係る作業関連物を特定する情報と、を対応付けた作業関連物情報を予め記憶部３０において保持している。そして、学習対象データ抽出部１２は、作業関連物情報に基づいて、学習対象データを抽出している。このような構成とすることで、学習対象データの抽出をより適切に行うことができる。

【0076】

また、作業分析装置１では、複数の要素作業のうちの何れかを行う作業者に関する対象画像について、モデル生成部１３において生成したモデルに基づいて、対象画像がどの要素作業を行う作業者に係る画像であるかを特定する分析部２２をさらに有する。このような構成とすることで、対象画像情報についての分析精度を高めることができる。

【0077】

また、作業分析装置１の分析部２２は、時系列に沿って連続して撮像された複数の対象画像のそれぞれについて、前記対象画像がどの要素作業を行う作業者に係る画像であるかを特定し、その結果に基づいて、作業者が当該要素作業に従事した時間を算出する態様としてもよい。このような構成とすることで、この作業者の要素作業毎の作業時間の分析を行うことも可能となる。

【0078】

［その他］
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。

【0079】

上記実施形態では、作業者の要素作業毎の作業時間の分析を行う場合を想定して、携帯型小型カメラ５で撮像された動画から画像を切り出す場合について説明したが、作業分析装置１で取り扱う画像は上記の手法で作成された画像に限定されない。

【0080】

作業分析装置１では、学習候補データ取得部１１において学習候補データを取得した後に、学習対象データ抽出部１２において学習対象データを抽出した。しかしながら、学習対象データの抽出は行わない構成としてもよい。すなわち、学習対象データとして取り扱い可能な作業関連物を撮像した領域を含む画像情報と当該画像情報に係る要素作業情報とを直接学習対象データとして取得する構成としてもよい。この場合、作業分析装置１では学習対象データの一部の抽出等を行うことなく取得したデータを教師データとして利用することができる。

【0081】

さらに、作業分析装置１のように、作業関連物を撮像した領域を含む画像情報を含む学習候補データのみを用いてモデルを生成することに代えて、作業関連物を撮像した領域を含まない画像情報を含む学習候補データも学習対象データとしてモデルを生成してもよい。上記のように作業関連物を撮像した領域の有無を考慮して学習対象データを抽出しない場合でも、機械学習を用いてモデルを生成することで、要素作業毎の特徴を考慮したモデルを生成することができる。したがって、例えば目視観測等に基づいて要素作業を特定する従来の手法と比較して、効率よく且つ精度よく対象画像情報がどの要素作業を撮像した画像であるかを特定することが可能となる。

【0082】

また、作業分析装置１において、モデル準備部１０によるモデルの準備と分析部２０による対象画像の分析の両方を行う場合について説明したが、これらの装置は独立していてもよい。このような構成の場合、記憶部３０は分散配置していてもよい。

【符号の説明】

【0083】

１…作業分析装置、５…携帯型小型カメラ、１０…モデル準備部、１１…学習候補データ取得部、１２…学習対象データ抽出部、１３…モデル生成部、２０…分析部、２１…対象画像取得部、２２…分析部、２３…結果出力部、３０…記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】