特許 6935368 機械学習装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6935368

(24)【登録日】2021年8月27日

(45)【発行日】2021年9月15日

(54)【発明の名称】機械学習装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210906BHJP

   G06T 7/20 20170101ALI20210906BHJP

   G06N 3/08 20060101ALI20210906BHJP

   G06Q 10/06 20120101ALI20210906BHJP

【ＦＩ】

   G06T7/00 U

   G06T7/20 300A

   G06N3/08

   G06Q10/06 332

【請求項の数】10

【全頁数】22

(21)【出願番号】特願2018-129546(P2018-129546)

(22)【出願日】2018年7月6日

(65)【公開番号】特開2020-9141(P2020-9141A)

(43)【公開日】2020年1月16日

【審査請求日】2020年7月2日

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】益山 克久

(72)【発明者】

【氏名】黒谷 勝俊

(72)【発明者】

【氏名】青山 泰士

【審査官】 真木 健彦

(56)【参考文献】

【文献】 国際公開第２０１７／１５０２１１（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／０２９４１４３（ＵＳ，Ａ１）

【文献】 特開２０１８−０２５９３２（ＪＰ，Ａ）

【文献】 鈴木 智之, 青木 義満，行動遷移映像における姿勢特徴を中心とする学習を用いた時系列行動認識，第23回画像センシングシンポジウム，日本，画像センシング技術研究会，2017年06月07日，SO2-IS2-06，7 pages in total

【文献】 Umar Iqbal, Martin Garbade, Juergen Gall，Pose for Action - Action for Pose，2017 IEEE 12th International Conference on Automatic Face & Gesture Recognition (FG 2017)，米国，IEEE，2017年05月30日，pp. 438-445，https://ieeexplore.ieee.org/document/7961774/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０８

Ｇ０６Ｑ １０／０６

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像内の人物の姿勢を機械学習する機械学習装置において、
前記機械学習を実行し、当該機械学習により得られた予測モデルを用いて、映像を構成する各画像内の人物の姿勢を既定のいずれかの姿勢に分類する機械学習部と、
行動ごとの前記人物の姿勢の変化の流れを表す行動定義情報を管理し、前記行動定義情報に基づいて、前記機械学習部による前記画像ごとの前記人物の姿勢の分類結果を評価する評価部と
を備え、
前記機械学習部は、
前記映像を構成する各前記画像に対して、当該画像内の前記人物の姿勢の前記分類結果に応じたラベルをそれぞれ付与し、
前記評価部は、
前記行動定義情報に基づき予測される姿勢と異なる姿勢の前記ラベルが前記機械学習部により付与された前記画像を不連続画像として検出し、
前記不連続画像に付与された前記ラベルを当該不連続画像と対応付けて表示し、
前記不連続画像の前記ラベルが修正された場合には、修正された新たな前記ラベルと、当該不連続画像の画像データとを教師データとして前記機械学習部に与え、当該教師データを用いた再学習を前記機械学習部に実行させる
ことを特徴とする機械学習装置。

【請求項2】

前記評価部は、
前記映像の各前記画像とそれぞれ対応付けられた複数の線分を、当該画像内における前記人物の前記行動に応じた色で、時系列の順番で帯状に並べて表示する
ことを特徴とする請求項１に記載の機械学習装置。

【請求項3】

前記評価部は、
前記帯状に並べて表示された前記線分のうちの指定された範囲内の各前記線分にそれぞれ対応する前記画像を時系列の順番に並べて表示すると共に、当該画像のうちの前記不連続画像に対応させてアラートを表示する
ことを特徴とする請求項２に記載の機械学習装置。

【請求項4】

前記評価部は、
前記機械学習部により前記不連続画像に付与された前記ラベルに加えて、前記行動定義情報に基づき予測される当該不連続画像における前記人物の姿勢の前記ラベルを、当該不連続画像に対応付けて表示する
ことを特徴とする請求項３に記載の機械学習装置。

【請求項5】

前記評価部は、
前記不連続画像を、前記人物の動作状況を考慮し又は時間を考慮して検出する
ことを特徴とする請求項１に記載の機械学習装置。

【請求項6】

画像内の人物の姿勢を機械学習する機械学習装置により実行される機械学習方法において、
前記機械学習を実行し、当該機械学習により得られた予測モデルを用いて、映像を構成する各画像内の人物の姿勢を既定のいずれかの姿勢に分類する第１のステップと、
行動ごとの前記人物の姿勢の変化の流れを表す行動定義情報に基づいて、前記予測モデルを用いた前記画像ごとの前記人物の姿勢の分類結果を評価する第２のステップと
を備え、
前記第１のステップでは、
前記映像を構成する各前記画像に対して、当該画像内の前記人物の姿勢の前記分類結果に応じたラベルをそれぞれ付与し、
前記第２のステップでは、
前記行動定義情報に基づき予測される姿勢と異なる姿勢の前記ラベルが前記第１のステップで付与された前記画像を不連続画像として検出し、
前記不連続画像に付与された前記ラベルを当該不連続画像と対応付けて表示し、
前記不連続画像の前記ラベルが修正された場合には、修正された新たな前記ラベルと、当該不連続画像の画像データとを教師データとして、当該教師データを用いた再学習を実行する
ことを特徴とする機械学習方法。

【請求項7】

前記第２のステップでは、
前記映像の各前記画像とそれぞれ対応付けられた複数の線分を、当該画像内における前記人物の前記行動に応じた色で、時系列の順番で帯状に並べて表示する
ことを特徴とする請求項６に記載の機械学習方法。

【請求項8】

前記第２のステップでは、
前記帯状に並べて表示された前記線分のうちの指定された範囲内の各前記線分にそれぞれ対応する前記画像を時系列の順番に並べて表示すると共に、当該画像のうちの前記不連続画像に対応させてアラートを表示する
ことを特徴とする請求項７に記載の機械学習方法。

【請求項9】

前記第２のステップでは、
前記予測モデルに基づいて前記不連続画像に付与された前記ラベルに加えて、前記行動定義情報に基づき予測される当該不連続画像における前記人物の姿勢の前記ラベルを、当該不連続画像に対応付けて表示する
ことを特徴とする請求項８に記載の機械学習方法。

【請求項10】

前記第２のステップでは、
前記不連続画像を、前記人物の動作状況を考慮し又は時間を考慮して検出する
ことを特徴とする請求項６に記載の機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は機械学習装置及び方法に関し、例えば、製造・物流の現場における業務改善を支援する支援システムを構成する業務支援システムに適用して好適なものである。

【背景技術】

【0002】

従来から製造・物流の現場の管理を支援するシステムが存在する。しかしながら、製造・物流の現場では、作業員の動作の適否が作業効率等の管理目標の維持や改善に大きく影響する。従来のシステムでは、この影響に対する配慮がないため、製造・物流の現場を管理することが難しいという問題があった。

【0003】

このような問題に対して、非特許文献１には、俯瞰映像と画像センシングを活用し、製造・物流現場における業務改善を支援する状況収集・可視化システムが開示されている。この非特許文献１には、『俯瞰映像に人やモノの動態などの情報を、色が変化する図として重ねて表示することで、現場全体の状況把握がしやすくなり、課題の気づきを促すことで、業務改善を支援』する旨が記載されている。

【0004】

一方、近年では、人工知能（ＡＩ：Artificial Intelligence）の性能が格段的に向上しており、このようなＡＩを利用して製造・物流現場の管理を支援する技術の開発も進められている。例えば、特許文献１には、映像監視システムのリアルタイム学習により挙動解析システムの実運用中に解析精度を向上させる技術が開示されている。また非特許文献２には、ＡＩに関連する技術として、「深層学習の判別精度を向上させるコツ」が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１４−２０８５７５号公報

【非特許文献】

【0006】

【非特許文献1】“日立産業制御ソリューションズ、製造・物流現場向け状況収集・可視化システム「VSIP」を提供開始”、[online]、2017年6月14日、日本経済新聞社、[2018年3月12日検索]、インターネット〈URL: https://www.nikkei.com/article/DGXLRSP448019_U7A610C1000000/〉

【非特許文献2】“深層学習の判別精度を向上させるコツとActive Learning(1/2)” 、[online]、2015年12月16日、アイティメディア株式会社、[平成30年3月12日検索]、インターネット〈URL: http://www.atmarkit.co.jp/ait/articles/1512/16/news020.html〉

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところが、かかる特許文献１には、人物を監視し、異常がある場合に通報するシステムに対しての学習データの蓄積方法の発明が開示されているだけで、例えば、製造現場における学習データの蓄積や教師データの作成についての記載はない。

【0008】

また非特許文献１では、「見える化」については考慮しているものの、学習データの蓄積や教師データの作成についての記載はない。さらに非特許文献２では、「チューニング」に時間を要することに対する対処策については言及がない。

【0009】

この場合において、ディープラーニングによる学習精度を上げるためにはＡＩ（Artificial Intelligence）導入時の「チューニング」に大量の教師データや学習データが必要であり、その「チューニング」に時間を要する主な原因としては、人手によるデータへのラベル付与及び教師データの蓄積作業が挙げられる。

【0010】

教師データがある程度蓄積されれば、分類データの精度が上がるため、ディープラーニングの稼動初期のデータ蓄積が少ない状況において、蓄積を精度良く短時間で行う必要がある。従って、より容易に教師データを蓄積できる仕組みを構築できれば、「チューニング」に要する労力を低減させながら、機械学習の精度を向上させ得るシステムを構築できるものと考えられる。

【0011】

本発明は以上の点を考慮してなされたもので、チューニングに要する労力を低減させながら、機械学習の精度を向上させ得る機械学習装置及び方法を提案しようとするものである。

【課題を解決するための手段】

【0012】

かかる課題を解決するため本発明においては、画像内の人物の姿勢を機械学習する機械学習装置において、前記機械学習を実行し、当該機械学習により得られた予測モデルを用いて、映像を構成する各画像内の人物の姿勢を既定のいずれかの姿勢に分類する機械学習部と、行動ごとの前記人物の姿勢の変化の流れを表す行動定義情報を管理し、前記行動定義情報に基づいて、前記機械学習部による前記画像ごとの前記人物の姿勢の分類結果を評価する評価部とを設け、前記機械学習部が、前記映像を構成する各前記画像に対して、当該画像内の前記人物の姿勢の前記分類結果に応じたラベルをそれぞれ付与し、前記評価部が、前記行動定義情報に基づき予測される姿勢と異なる姿勢の前記ラベルが前記機械学習部により付与された前記画像を不連続画像として検出し、前記不連続画像に付与されたラベルを当該不連続画像と対応付けて表示し、前記不連続画像の前記ラベルが修正された場合には、修正された新たなラベルと、当該不連続画像の画像データとを教師データとして前記機械学習部に与え、当該教師データを用いた再学習を前記機械学習部に実行させるようにした。

【0013】

また本発明においては、画像内の人物の姿勢を機械学習する機械学習装置により実行される機械学習方法において、前記機械学習を実行し、当該機械学習により得られた予測モデルを用いて、映像を構成する各画像内の人物の姿勢を既定のいずれかの姿勢に分類する第１のステップと、行動ごとの前記人物の姿勢の変化の流れを表す行動定義情報に基づいて、前記予測モデルを用いた前記画像ごとの前記人物の姿勢の分類結果を評価する第２のステップとを設け、前記第１のステップでは、前記映像を構成する各前記画像に対して、当該画像内の前記人物の姿勢の前記分類結果に応じたラベルをそれぞれ付与し、前記第２のステップでは、前記行動定義情報に基づき予測される姿勢と異なる姿勢の前記ラベルが前記第１のステップで付与された前記画像を不連続画像として検出し、前記不連続画像に付与されたラベルを当該不連続画像と対応付けて表示し、前記不連続画像の前記ラベルが修正された場合には、修正された新たなラベルと、当該不連続画像の画像データとを教師データとして、当該教師データを用いた再学習を実行するようにした。

【0014】

本発明の機械学習装置及び方法によれば、予測モデルを用いた各画像内の人物の姿勢の分類処理において特に間違いを起こし易い画像の画像データ及びその修正後のラベルを教師データとすることができるため、かかる分類処理においてより重要度が高い教師データを選択的にかつ容易に取得することができる。

【発明の効果】

【0015】

本発明によれば、チューニングに要する労力を低減させながら、機械学習の精度を向上させ得る機械学習装置及び方法を実現できる。

【図面の簡単な説明】

【0016】

【図1】本実施の形態による業務支援システムの概略構成を示すブロック図である。

【図2】図１に示す業務支援システムの論理構成を示すブロック図である。

【図3】図２に示す各アプリケーション間におけるデータの流れを示すシーケンス図である。

【図4】俯瞰画像の説明に供する図である。

【図5】エリア定義情報テーブルを示す図表である。

【図6】データ管理アプリの詳細構成を示すブロック図である。

【図7】ラベル別教師データフォルダの説明に供する概念図である。

【図8】姿勢推定のためのディープラーニングをモデル化したブロック図である。

【図9】俯瞰画像の不連続画像の説明に供する概念図である。

【図10】分類結果評価画面の画面構成例を示す図である。

【図11】分類結果評価画面の説明に供する図である。

【図12】チューニングの流れの説明に供するフローチャートである。

【図13】姿勢分類処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下図面について、本発明の一実施の形態を詳述する。

【0018】

なお、以下の説明において、「映像」とは動画像を指し、「画像」及び「フレーム」とは、「映像」を構成する１枚１枚の静止画像を指す。例えば、ＮＴＳＣ（National Television System Committee）方式の場合、１秒分の映像は30枚のフレームにより構成される。

【0019】

また以下の説明において、「管理領域」とは、製造や物流の現場などの管理が必要又は期待される範囲を指す。「管理」とは、作業員の関連行動を評価して作業効率等の管理目標を維持、向上することを意味する。

【0020】

さらに以下において、「関連行動」とは、管理領域における処理（物の製造現場での物の製造等）に関連する、人の動作の分類である。例えば、運搬中、作業中、上方の棚からの部品の取り出し（以下、これを部品取出し（上）と呼ぶ）、下方の棚からの部品の取り出し（以下、これを部品取出し（下）と呼ぶ）、及び、その他（非作業中）等が関連行動の一例である。関連行動は適宜定義されてよい。

【0021】

「動作」とは、人体の位置（即ち、姿勢）の連続を意味する。本実施の形態による業務支援システムは、連続する複数の画像をそれぞれ評価し、それぞれの画像に対して作業員の姿勢を推定し、推定した作業員の姿勢の変化の流れを評価することによりその作業員が実行した関連行動を推定する。

【0022】

また「姿勢」とは、歩行、静止、屈む、手を伸ばす、体の向き、体の方向といった作業員の状態を表す。例えば、上段の棚にある部品を取り出すという関連行動は、「歩行」→「静止」→「手を伸ばす」といった一連の姿勢の変化の流れによって行われる。

【0023】

（１）本実施の形態による業務支援システムのハードウェア構成
図１は、本実施の形態によるエッジコンピューティング方式の業務支援システム１を示す。この業務支援システム１は、製造・物流の現場における業務改善を支援するシステムであり、管理領域となる現場（例えば、物の製造工場）側のシステム（以下、これを第１のシステムと呼ぶ）２と、データセンタ側のシステム（第２のシステム）３と、管理クライアント４とを備えて構成されている。

【0024】

第１のシステム２は、画像センサを構成する複数のカメラ１０及びその他のセンサ１１からなるセンサ群１２と、１又は複数のエッジコンピュータ１３とを備えて構成される。センサ群１２及びエッジコンピュータ１３間はＬＡＮ１４を介して接続される。エッジコンピュータ１３の数は、センサ群１２を構成するカメラ１０の数に応じて適宜選択される。

【0025】

第２のシステム３は、エッジコンピュータ１３のためのサーバ１５と、他のシステムのためのサーバ１６とを備えて構成される。エッジコンピュータ１３及びサーバ１５間は、インターネット等の通信経路１８を介して接続される。またサーバ１５及びサーバ１６間はＬＡＮ１７を介して接続され、サーバ１５及び管理クライアント４間はインターネット１９を介して接続される。

【0026】

第２のシステム３は、後述のように第１のシステム２から転送される各カメラ１０の撮影映像の映像データに基づいて、管理領域内に存在する各作業員の姿勢を機械学習し、かくして得られた学習結果（予測モデル）を第１のシステム２に提供する機能を備える。第１のシステム２は、第２のシステム３から与えられた上述の予測モデルを用いてカメラ１０の撮影映像を画像認識し、管理領域内に存在する各作業員の関連行動を推定する。

【0027】

そして第２のシステム３は、第１のシステム２により推定された各作業員の関連行動を評価又は分析することによって所定の管理指標を計算し、これを管理ユーザに提供する。かくして管理ユーザは、提供された情報に基づいて、物の製造効率等の管理目標を維持、改善又は向上することができる。

【0028】

（２）業務支援システムの論理構成
図２は、本業務支援システム１の論理構成を示す。第１のシステム２のセンサ群１２を構成する各カメラ１０は、撮影映像の映像データを送信するためのデータ送信モジュール１０Ａを備える。なお、「モジュール」は、ＣＰＵ（Central Processing Unit）等のプロセッサがプログラムを実行することよって実現される機能の単位である。「モジュール」を「手段」、「機能」、「ブロック」、「エレメント」、「デバイス」等と言い換えてもよい。モジュールは、特定用途のＩＣ等ハードウェアによって実行されてもよい。この場合、コントローラには特定用途のＩＣを包含するものとして理解されてよい。

【0029】

本実施の形態の場合、カメラ１０は、管理領域を俯瞰して撮影し、撮影により得られた映像をエッジコンピュータ１３に送信する。このため各カメラ１０は、これらカメラ１０の撮影映像を合成することにより管理領域全体の合成映像が得られるように、管理領域の周囲に均等に分散されて配置される。ただし、カメラ１０として360度を撮影できるＩＰカメラを１台だけ用いるようにしてもよい。また管理領域は、複数のエリアに分けて管理される。これらのエリアは、それぞれ互いに重ならないように定義される。

【0030】

エッジコンピュータ１３は、ＣＰＵ、メモリ及びハードディスク装置などの情報処理資源を備える汎用のコンピュータ装置から構成される。エッジコンピュータ１３では、各カメラ１０から収集した映像データを処理するためのアプリケーションプログラムがＯＳ（Operating System）３０上で稼働する。本実施の形態の場合、かかるアプリケーションプログラムとして、センシングアプリケーションプログラム（以下、これをセンシングアプリと呼ぶ）３１、データ管理アプリケーションプログラム（以下、これをデータ管理アプリと呼ぶ）３２、及びエージェントアプリケーションプログラム（以下、これをエージェントアプリと呼ぶ）３３が稼動する。

【0031】

センシングアプリ３１は、各カメラ１０から撮影映像の映像データを収集するデータ収集モジュール３１Ａを備える。またデータ管理アプリ３２は、データ収集モジュール３１Ａが収集した映像データを処理するためのモジュールとして、分析モジュール３２Ａ、圧縮モジュール３２Ｂ及び管理モジュール３２Ｃを備える。これら分析モジュール３２Ａ、圧縮モジュール３２Ｂ及び管理モジュール３２Ｃの機能については後述する。さらにエージェントアプリ３３は、通信モジュール３３Ａを備える。通信モジュール３３Ａは、サーバ１５と通信時におけるプロトコル制御を行うインタフェースとして機能する。

【0032】

一方、サーバ１５は、図１に示すように、ＣＰＵ１５Ａ、メモリ１５Ｂ及びハードディスク装置１５Ｃなどの情報処理資源を備えた汎用のサーバ装置から構成される。サーバ１５では、クラウドサービスアプリケーションプログラム（以下、これをクラウドサービスアプリと呼ぶ）４１及びデータ管理アプリケーションプログラム（以下、これをデータ管理アプリと呼ぶ）４２がＯＳ４０上で稼動する。

【0033】

クラウドサービスアプリ４１は、通信モジュール４１Ａ及びデータ管理モジュール４１Ｂを備える。通信モジュール４１Ａは、エッジコンピュータ１３との通信時におけるプロトコル制御を行うインタフェースとして機能するモジュールであり、データ管理モジュール４１Ｂは、後述のようにエッジコンピュータ１３から転送されてくる俯瞰映像の映像データをハードディスク装置１５Ｃに格納して管理する機能を有するモジュールである。

【0034】

またデータ管理アプリ４２は、管理モジュール４２Ａ、学習モジュール４２Ｂ及び評価モジュール４２Ｃを備える。これら管理モジュール４２Ａ、学習モジュール４２Ｂ及び評価モジュール４２Ｃの機能については後述する。評価モジュール４２Ｃは、管理クライアント４に接続される。

【0035】

管理クライアント４は、ＣＰＵ、メモリ及びハードディスク装置などの情報処理資源と、マウス及び又はキーボードなどからなる入力装置と、液晶ディスプレイなどの表示装置とを備えた汎用のコンピュータ装置から構成される。管理クライアント４にはブラウザが実装されており、サーバ１５から与えられる画面データに基づく各種画面を表示する。

【0036】

（３）各アプリケーションプログラム間における処理の流れ
図３は、図２に示した各アプリケーションプログラム間における処理の流れを示す。各カメラ１０のデータ送信モジュール１０Ａは、撮影映像の映像データをエッジコンピュータ１３に送信する（Ｓ１）。なお、これら映像データには、フレームごとに、その撮影時刻を表す情報が含まれる。

【0037】

エッジコンピュータ１３は、各カメラ１０から送信されてくる映像データをセンシングアプリ３１のデータ収集モジュール３１Ａにおいて受信する。そしてデータ収集モジュール３１Ａは、受信した各映像データをデータ管理アプリ３２の管理モジュール３２Ｃに転送する（Ｓ２）。

【0038】

管理モジュール３２Ｃは、データ収集モジュール３１Ａから転送されてきた各カメラ１０からの映像データを、撮影時刻が同じフレーム同士を合成するよう加工することにより、例えば、図４に示すような、管理領域全体を俯瞰した俯瞰画像Ｗを順次生成する。

【0039】

具体的に、管理モジュール３２Ｃは、国際公開番号ＷＯ２０１７／０１７７９０号公報に記載の画像生成システムを利用してかかる俯瞰画像Ｗを生成する。この画像生成システムによれば、複数のカメラ１０の撮影映像を撮影時刻が同じフレームごとに仮想スクリーン上で重畳して表示することによって、俯瞰状態のまま全周囲画像を生成することができる。従って、俯瞰画像Ｗは、映像データのフレームごとにそれぞれ生成される。

【0040】

また管理モジュール３２Ｃは、俯瞰画像Ｗ上にそれぞれローカル３次元座標を設定し、設定したローカル座標の座標範囲に従って管理領域内に複数のエリアをそれぞれ定義する。

【0041】

図５は、このようにして定義された各エリアを管理するために管理モジュール３２Ｃにより作成されるエリア定義情報テーブルＴＬの構成例を示す。ただし管理ユーザがエリア定義情報テーブルＴＬを予め作成するようにしてもよい。

【0042】

エリア定義情報テーブルＴＬは、図５に示すように、エリアＩＤ欄ＴＬ１、エリア名欄ＴＬ２及びエリア座標欄ＴＬ３を備えて構成される。そしてエリアＩＤ欄ＴＬ１には、管理領域内に定義された対応するエリアに付与されたそのエリアに固有の識別子（エリアＩＤ）が格納される。またエリア名欄ＴＬ２には、対応するエリアの名称（エリア名）が格納され、エリア座標欄ＴＬ３には、俯瞰画像Ｗにおける対応するエリアの位置を表す座標（エリア座標）が格納される。

【0043】

なお、エリアの範囲の一部に他のエリアを定義することもできる。例えば、図４では、領域Ｌ１０が、複数の部品を組み立てて完成品を生産し、完成品を他のエリアに搬出するための組立作業エリアＬ１１と、完成品を組立作業エリアＬ１１から他のエリアへ搬送するための搬送エリアＬ１２とから構成されているが、組立作業エリアＬ１１の中にさらに組立作業台エリアＬ１３が定義されていることが示されている。

【0044】

エリア定義情報テーブルＴＬは、エッジコンピュータ１３のメモリ内の所定領域に保存されると共に、第２のシステム３のサーバ１５に送信されて、当該サーバ１５のメモリ１５Ｂ内の所定領域にも保存される。

【0045】

管理モジュール３２Ｃは、生成した俯瞰画像Ｗの画像データ（以下、適宜、これを俯瞰画像データと呼ぶ）を順次圧縮モジュール３２Ｂに出力する（Ｓ３）。そして圧縮モジュール３２Ｂは、与えられた俯瞰画像データを画像単位で順次圧縮し、圧縮後の俯瞰画像データを管理モジュール３２Ｃに出力する（Ｓ４）。

【0046】

一方、管理モジュール３２Ｃは、上述のように生成した俯瞰画像データを分析モジュール３２Ａにも出力する（Ｓ５）。分析モジュール３２Ａは、管理モジュール３２Ｃから順次与えられる俯瞰画像データに基づいて、生産・物流の現場の作業効率、安全性等管理目標の評価のために、俯瞰画像内に存在する作各業員の関連行動を推定する。

【0047】

作業員の関連行動を推定する理由は、生産・物流等の実際の現場での作業効率は、センサからの情報以外に作業員の関連行動から直接、かつ、大きく影響を受けるため、センサからの情報だけでは不十分なためである。すなわち、作業員の関連行動自体から、作業効率等の管理目標を判定することができる。

【0048】

ここで、作業員の「行動」とは、人体の姿勢の変化のフローのうち、意味があるものと定義する。作業員の関連行動を推定するには、時系列な複数の俯瞰画像Ｗのそれぞれについて、これら俯瞰画像Ｗ内の作業員の姿勢をそれぞれ評価し、評価結果に基づいてその作業員の「行動」を評価して関連行動を推定することが好適である。

【0049】

しかしながら、関連行動の態様は、製造する物等に大きく左右され、一概にルール化することは容易ではない。そこで、本実施の形態の業務支援システム１では、関連行動を推定するために、後述のようにサーバ１５から与えられる、当該サーバ１５において実行したディープラーニングにより得られた予測モデルを利用して、各俯瞰画像Ｗ内の作業員の関連行動を推定する。ただし、ディープラーニングのような機械学習の手法に代えて、あるいは、これと併せて、分析モジュール３２ＡがＨＯＧ（Histogram of Oriented Gradients）特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いた画像処理を利用して作業員の関連行動を推定するようにしてもよい。

【0050】

なお分析モジュール３２Ａは、関連行動の推定をエリアごとに実行する。また分析モジュール３２Ａは、エリア内の作業員の関連行動を推定する際、当該推定を「姿勢」の推定と「関連行動」の推定との２段階に分けて実行する。具体的に、分析モジュール３２Ａは、作業員の「姿勢」の推定を、経時的に変化する複数の俯瞰画像Ｗに対してそれぞれ行い、各俯瞰画像Ｗにおける作業員の姿勢の推定結果の組み合わせに基づいて作業員の関連行動の推定を行う。そして分析モジュール３２Ａは、このようにして得られた関連行動の推定結果を管理モジュール３２Ｃに送信する（Ｓ６）。

【0051】

管理モジュール３２Ｃは、上述のように分析モジュール３２Ａから与えられた作業員の関連行動の推定結果と、ステップＳ４で圧縮モジュール３２Ｂから与えられた圧縮された各俯瞰画像Ｗの画像データ（俯瞰画像データ）とをエージェントアプリ３３の通信モジュール３３Ａを介してサーバ１５に送信する（Ｓ７，Ｓ８）。

【0052】

サーバ１５側では、エッジコンピュータ１３から送信されてくる関連行動の推定結果と、圧縮された俯瞰画像データとをクラウドサービスアプリ４１の通信モジュール４１Ａを介して管理モジュール４１Ｂが受信する（Ｓ９）。そして管理モジュール４１Ｂは、上述の関連行動の推定結果と、圧縮された俯瞰画像データとをサーバ１５内のハードディスク装置１５Ｃ（図１）に格納して管理する。

【0053】

そしてサーバ１５は、この後、このハードディスク装置１５Ｃに格納された関連行動の推定結果に基づいて、作業員の関連行動を評価又は分析することによって管理指標を計算し、これを管理ユーザに提供する。

【0054】

一方、データ管理アプリ４２の管理モジュール４２Ａは、かかるハードディスク装置１５Ｃに格納されている圧縮された俯瞰画像データのうち、所定時間間隔（以下、１秒間隔とする）の俯瞰画像Ｗの画像データ（俯瞰画像データ）をクラウドサービスアプリ４１の管理モジュール４１Ｂを介して順番に読み出し（Ｓ１０）、これを伸張して学習モジュール４２Ｂに転送する（Ｓ１１）。

【0055】

学習モジュール４２Ｂは、管理モジュール４２Ａから与えられる各俯瞰画像データを利用して、管理領域における作業員の姿勢をディープラーニングにより学習する。また学習モジュール４２Ｂは、かかるディープラーニングにより得られた予測モデルを利用して、管理モジュール４２Ａから得られる１秒ごとの時系列な俯瞰画像Ｗ内における作業員の姿勢を予め定められた幾つかの姿勢のうちのいずれかの姿勢に順次分類し、各俯瞰画像Ｗにそれぞれ対応する姿勢のラベル（以下、これを姿勢ラベルと呼ぶ）を付与する姿勢分類処理を実行する。そして学習モジュール４２Ｂは、この姿勢分類処理の処理結果を順次評価モジュール４２Ｃに出力する（Ｓ１２）。

【0056】

評価モジュール４２Ｃは、学習モジュール４２Ｂから与えられる作業員の姿勢の分類結果を評価し、その評価結果を管理クライアント４に表示させる（Ｓ１３）。かくして管理ユーザは、管理クライアント４に表示されたかかる評価結果を確認することができる。また管理ユーザは、管理クライアント４を操作して、間違った姿勢ラベルが付与された俯瞰画像Ｗの当該姿勢ラベルを正しい姿勢ラベルに修正することができる。この場合、修正後の新たな姿勢ラベルがデータ管理アプリ４２の評価モジュール４２Ｃに通知される。

【0057】

評価モジュール４２Ｃは、管理ユーザにより姿勢ラベルの修正が行われた場合、かかる修正後の姿勢ラベルを取得し（Ｓ１４）、姿勢ラベルがその姿勢ラベルに修正された俯瞰画像Ｗの画像データと、修正後のその俯瞰画像Ｗの姿勢ラベルとを教師データとして学習モジュール４２Ｂに与えると共に、当該教師データを用いて再学習すべき旨の再学習指示を学習モジュール４２Ｂに与える（Ｓ１５）。

【0058】

学習モジュール４２Ｂは、かかる教師データ及び再学習指示を受領すると、この教師データを利用した再学習を実行する。そして学習モジュール４２Ｂは、この再学習により得られた新たな学習結果である予測モデルを管理モジュール４２Ａに送信する（Ｓ１６）。また管理モジュール４２Ａは、この予測モデルをクラウドサービスアプリ４１の通信モジュール４１Ａを介してエッジコンピュータ１３に転送する（Ｓ１７，Ｓ１８）。

【0059】

そして、この新たな予測モデルは、この後、エッジコンピュータ１３のエージェントアプリ３３の通信モジュール３３Ａにより受信されてデータ管理アプリ３２の分析モジュール３２Ａに転送される（Ｓ１９）。また分析モジュール３２Ａは、それまで保持していた予測モデルを、このとき転送されてきた予測モデルに切り替え、この後、この新しい予測モデルを用いて作業員の関連行動の推定を行う。

【0060】

（４）データ管理アプリの詳細構成
図６は、サーバ１５のデータ管理アプリ４２のより詳細な構成を示す。この図６からも明らかなように、データ管理アプリ４２において、学習モジュール４２Ｂは、ラベル別教師データ格納部５０及び機械学習部５１を備えて構成され、評価モジュール４２Ｃはタイミング制御部５２、行動定義管理部５３及び分類結果シーケンス評価部５４を備えて構成される。

【0061】

学習モジュール４２Ｂのラベル別教師データ格納部５０は、本業務支援システム１の導入時に実行される機械学習部５１のチューニングの際に管理ユーザから与えられる教師データや、その後のディープラーニングにより得られた学習データを関連行動ごとに分けてハードディスク装置１５Ｃ（図１）に格納する機能を有する機能部である。

【0062】

実際上、本業務支援システム１の導入後のチューニング時、学習モジュール４２Ｂのラベル別教師データ格納部５０には、管理ユーザの操作入力に応じて、第１のシステム２の分析モジュール３２Ａが推定すべき各関連行動のラベル（「運搬中」、「作業中」、「部品取出し（上）」、「部品取出し（下）」、「その他」及び「不在」など）が通知される。そしてラベル別教師データ格納部５０は、図７に示すように、通知された関連行動のラベルごとのフォルダ（以下、これをラベル別教師データフォルダと呼ぶ）５５をハードディスク装置１５Ｃ内に作成する。

【0063】

また、かかるチューニング時、学習モジュール４２Ｂには、「運搬中」、「作業中」、「部品取出し（下）」、「部品取出し（上）」、「その他」及び「不在」といった関連行動のラベルごとの、その関連行動を構成する作業員の各姿勢をそれぞれ機械学習する際に利用する教師データのデータセットが与えられる。この教師データは、ハードディスク装置１５Ｃに蓄積された一部の俯瞰画像Ｗの画像データ（俯瞰画像データ）に対して、管理ユーザがその俯瞰画像Ｗ内の作業員の姿勢のラベル（以下、これを姿勢ラベルと呼ぶ）を付与したものである。

【0064】

そしてラベル別教師データ格納部５０は、これらの俯瞰画像Ｗごとの画像データ（俯瞰画像データ）を、管理ユーザの操作入力に応じて、ハードディスク装置１５Ｃ内に作成した各ラベル別教師データフォルダ５５（図７）のうちの対応するラベル別教師データフォルダ５５にそれぞれ振り分けて格納する。そしてこのような処理が関連行動のラベルごとにそれぞれ実行され、これにより関連行動のラベルごとの教師データがハードディスク装置１５Ｃ内の対応するラベル別教師データフォルダ５５にそれぞれ蓄積される。

【0065】

機械学習部５１は、ハードディスク装置１５Ｃに格納された各ラベル別教師データフォルダ５５にそれぞれ格納された教師データに基づいて、関連行動を構成する作業員の各姿勢をディープラーニングにより学習する機能を有する機能部である。

【0066】

機械学習部５１は、各俯瞰画像Ｗについて、メモリ１５Ｂに保存されている図５について上述したエリア定義情報テーブルＴＬを参照して、エリアごとの画像領域をトリミングし、エリアごとに学習を行う。これは、エリアごとに、想定又は期待される関連行動の態様が異なるからである。例えば、搬送エリアと、組立作業台エリアでは、作業員の関連行動が相違する。

【0067】

具体的に、機械学習部５１は、俯瞰画像Ｗの画像データと姿勢ラベルとの組み合わせを教師データとし、複数の教師データについて、画像データ（複数の画素データの組み合わせ）が姿勢ラベルに対して成す影響度（重み）を計算する。また機械学習部５１は、学習を継続することによって重みを最適化する。そして機械学習部５１は、このような学習により俯瞰画像Ｗ内の作業員の姿勢を推定及び分類するための予測モデルを生成する。

【0068】

また機械学習部５１は、このようにして生成した予測モデルに基づいて、管理モジュール４２Ａから与えられる１秒間間隔の各俯瞰画像Ｗの画像データ（俯瞰画像データ）について、その俯瞰画像Ｗ内の作業員の姿勢を既定のいずれかの姿勢に分類し、分類した姿勢のラベルをその俯瞰画像データに付与する機能をも有する。

【0069】

図８は、姿勢推定のためのディープラーニングをモデル化したブロック図である。ディープラーニングは、畳み込みニューラルネットワーク層（Convolution Neural Network Layer）６０、全結合層（Fully connection layer）６１及び出力層（Output layer）６２から構成される。

【0070】

畳み込みニューラルネットワーク層６０は、畳み込みフィルタ層及びプーリング層から構成される。畳み込みフィルタ層では、画像の濃淡パターンを検出して、エッジ抽出等の特徴抽出を行い、プーリング層では、畳み込みフィルタ層で反応があった特徴量の位置情報を一部捨てることにより、画像内で特徴量が若干位置ずれした場合における出力結果の不変性を実現する。畳み込みニューラルネットワーク層６０は、これらの層を組み合わせることによって、人物の画像から特徴量を抽出する。

【0071】

全結合層６１及び出力層６２では、特徴量に基づいた分類を行う。全結合層６１では、畳み込みニューラルネットワークを通して特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数が増えると特徴量空間の分割数が増し、各領域を特徴付ける特徴変数の数が増える。

【0072】

出力層６２では、全結合層６１からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、画像が複数の姿勢の候補それぞれに分類される確率（スコア）を最大化する（最尤推定法）ことによって、複数ある姿勢の候補のランク付けを行う。そして出力層６２は、最もスコアが上位の候補を最も確からしい姿勢として決定し、決定した姿勢のラベルをその俯瞰画像Ｗの画像データに付与して、これら画像データ及びラベルを作業員の姿勢の分類結果として評価モジュール４２Ｃに出力する。なお、このとき出力層６２が決定する「姿勢」は、「どの関連行動のどの姿勢」という、関連行動と関連付けられた姿勢である。

【0073】

一方、評価モジュール４２Ｃのタイミング制御部５２は、管理モジュール４２Ａが１秒間隔の俯瞰画像Ｗの画像データ（俯瞰画像データ）をハードディスク装置１５Ｃから読み出して学習モジュール４２Ｂに転送するタイミングと、分類結果シーケンス評価部５４が後述する処理を実行するタイミングとを同期させるためのタイミング信号を管理モジュール４２Ａ及び分類結果シーケンス評価部５４に出力する機能を有する機能部である。

【0074】

また行動定義管理部５３は、管理ユーザから予め与えられた行動定義情報をメモリ１５Ｂ（図１）に格納して管理する機能を有する機能部である。

【0075】

実際上、管理ユーザは、関連行動を作業員が実行する際における一連の俯瞰画像Ｗ内での作業員の姿勢の変化の流れを関連行動ごとにそれぞれ定義する。この定義は、例えば、「部品取出し（上）」という関連行動の場合、『「歩行」という姿勢の後、続く○枚の俯瞰画像Ｗにおいて作業員の姿勢が「静止」となり、その後の○枚の俯瞰画像Ｗにおいて作業員の姿勢が「手を伸ばす」という姿勢となる』という内容のものである。管理ユーザは、このような定義を関連行動ごとに行い、各関連行動の定義を行動定義情報として予めサーバ１５に登録する。そしてこの行動定義情報が評価モジュール４２Ｃの行動定義管理部５３に与えられ、行動定義管理部５３によりメモリ１５Ｂ（図１）又はハードディスク装置１５Ｃ（図１）に格納されて管理される。

【0076】

分類結果シーケンス評価部５４は、学習モジュール４２Ｂの機械学習部５１から与えられる作業員の姿勢の分類結果を、行動定義管理部５３が管理している行動定義情報に基づいて評価する機能を有する機能部である。

【0077】

具体的に、分類結果シーケンス評価部５４は、機械学習部５１から順次与えられた、連続する所定枚数分の各俯瞰画像Ｗにおける作業員の姿勢の分類結果に基づいて、行動定義情報において定義された作業員の姿勢の変化の流れが最も近い関連行動を特定する。また分類結果シーケンス評価部は、特定した関連行動（以下、これを特定関連行動と呼ぶ）について定義されている一連の俯瞰画像Ｗにおける作業員の姿勢の変化の流れと、機械学習部５１により分類された作業員の姿勢の流れとを比較する。

【0078】

そして分類結果シーケンス評価部５４は、機械学習部５１により分類された作業員の姿勢が、特定関連行動について定義されている一連の俯瞰画像Ｗにおける作業員の姿勢と一致していない俯瞰画像Ｗを不連続画像として検出する。

【0079】

このとき分類結果シーケンス評価部５４が不連続画像の俯瞰画像Ｗを検出するケースとしては、製造現場での動作状況を考慮したケースや、時間を考慮したケースなどがある。

【0080】

「製造現場での動作状況を考慮したケース」とは、前後の俯瞰画像Ｗにおける作業員の姿勢の変化に基づいて不連続画像を検出するケースである。例えば、分類結果シーケンス評価部５４により特定された上述の特定関連行動が「部品取出し（上）」である場合には、「棚に手を伸ばす（高い棚）」という姿勢は「静止」という姿勢の後、分類結果シーケンス評価部５４により特定された特定関連行動が「部品取出し（下）」である場合には、「棚に手を伸ばす（低い棚）」という姿勢は「屈む」という姿勢の後に実行されることが行動定義情報で定義されているため、この順序と異なる順序で姿勢の変化が発生した場合には機械学習部５１における学習の誤りであると判断できる。そこで、分類結果シーケンス評価部５４は、このような場合に、特定関連行動の行動定義情報に基づき予測される姿勢と異なる姿勢が機械学習部５１により推定（分類）された俯瞰画像Ｗを不連続画像として検出する。

【0081】

また「時間を考慮したケース」とは、時間的要素に基づいて不連続画像を検出するケースである。例えば、分類結果シーケンス評価部５４が個々の俯瞰画像Ｗについて特定する上述の特定関連行動が図９のような状況であった場合を考える。本実施の形態では、上述のように学習モジュール４２Ｂの機械学習部５１には、１秒間隔の俯瞰画像Ｗの画像データ（俯瞰画像データ）が与えられるため、図９の例では、１秒で「部品取出し（上）」という関連行動が行われたことになる。しかしながら、常識的にこのような事態が発生することはない。従って、このような状況の場合にはその俯瞰画像Ｗについて機械学習部５１が分類した作業員の姿勢が間違いである可能性が高い。そこで、分類結果シーケンス評価部５４は、このような場合に、その俯瞰画像Ｗを不連続画像として検出する。

【0082】

このような時間的要素に基づいて不連続画像を検出するための手段として、例えば、「運搬は１分以上の時間を要する」、「作業には５分以上要する」といった、時間的な制約等の制約情報を予め行動定義管理部５３や分類結果シーケンス評価部５４に登録できるようにする。そして分類結果シーケンス評価部５４が、特定関連行動を特定する際にこの制約情報を利用して不連続画像を検出するようにすればよい。

【0083】

なお、例えば「作業」及び「部品取出し（上）」のような、ある関連行動と別の関連行動との途中の画像が機械学習の導入時に間違えやすく、特定関連行動の特定が困難な俯瞰画像Ｗや姿勢については、上述の「時間を考慮したケース」としての不連続画像の検出対象から除外するようにしてもよい。

【0084】

そして分類結果シーケンス評価部５４は、上述のような不連続画像の検出結果に基づいて例えば図１０に示すような分類結果評価画面８０を生成し、生成した分類結果評価画面８０の画像データを管理クライアント４に送信することにより、この分類結果評価画面８０を管理クライアント４に表示させる。

【0085】

この図１０に示すように、この分類結果評価画面８０は、ラベル別教師データフォルダ表示領域８１、予測姿勢表示領域８２、アラート表示領域８３、エリア別フレーム画像表示領域８４、予測姿勢ラベル表示領域８５、分類姿勢表示領域８６、俯瞰画像表示領域８７及び不連続画像表示領域８８を備えて構成される。

【0086】

そしてラベル別教師データフォルダ表示領域８１には、学習モジュール４２Ｂのラベル別教師データ格納部５０（図６）によりハードディスク装置１５Ｃ内に作成された各ラベル別教師データフォルダ５５（図７）にそれぞれ対応させて、所定形状のアイコン９０と、そのラベル別教師データフォルダ５５と対応付けられた関連行動のラベルの名称を表す文字列９１とが表示される。

【0087】

また予測姿勢表示領域８２には、図１１に示すように、管理モジュール４２Ａから学習モジュール４２Ｂに順次与えられた１秒間隔の俯瞰画像Ｗにそれぞれ対応付けられた複数の線分８２Ａが左側から右側に向けて時系列の順番で帯状に並べて表示される。この際、かかる線分８２Ａは、対応する俯瞰画像Ｗについて分類結果シーケンス評価部５４により特定された上述の特定関連行動に応じた色で表示される。具体的に、線分８２Ａは、例えば、分類結果シーケンス評価部５４により特定された特定関連行動が「作業中」である場合には赤色、「運搬中」である場合には青色、「部品取出し（上）」である場合には黄色、「部品取出し（下）」である場合には緑色などのように色分けされて表示される。

【0088】

エリア別フレーム画像表示領域８４には、管理モジュール４２Ａから学習モジュール４２Ｂに与えられた俯瞰画像データに基づく俯瞰画像Ｗから切り出されたエリアごとの画像（以下、これをエリア画像と呼ぶ）８４Ａが時系列に横方向に並べて表示される。エリア別フレーム画像表示領域８４に表示されるこれらエリア画像の時間的範囲は、管理ユーザが予測姿勢表示領域８２内のスライダ８２Ｂをスライド操作することにより指定した時間的範囲である。この際、同じ俯瞰画像Ｗフレームから切り出された各エリアのエリア画像８４Ａは、縦方向に並べて表示される。以下においては、このように同じ俯瞰画像Ｗから切出されて縦方向に並べて表示された複数のエリア画像８４Ａをエリア画像群と呼ぶ。

【0089】

予測姿勢ラベル表示領域８５には、対応する俯瞰画像Ｗについて行動定義情報に基づき予測される作業員の姿勢の姿勢ラベルが、その俯瞰画像Ｗに対応するエリア画像群と対応付けて表示される。また分類姿勢表示領域８６には、対応する俯瞰画像Ｗについて機械学習部５１により分類された作業員の姿勢の姿勢ラベルが、その俯瞰画像Ｗに対応するエリア画像群と対応付けて表示される。なお、図１０及び図１１では、予測姿勢ラベル表示領域８５及び分類姿勢表示領域８６に関連行動のラベルのみが表示されている状態を示しているが、実際には「○行動の△姿勢」というように、対応する関連行動及び姿勢のレベルが表示される。

【0090】

アラート表示領域８３には、上述のように分類結果シーケンス評価部５４が検出した不連続画像に対応する俯瞰画像Ｗのエリア画像群を指し示す矢印マーク８３Ａがアラートとして表示される。

【0091】

さらに俯瞰画像表示領域８７には、エリア別フレーム画像表示領域８４に表示されたエリア画像群の中からユーザにより選択されたエリア画像群に対応する元の俯瞰画像Ｗの全体画像が表示される。また不連続画像表示領域８８には、その俯瞰画像Ｗのエリアごとのエリア画像（エリア別フレーム画像表示領域８４に表示された対応する各エリア画像８４Ａ）が拡大されてそれぞれ表示される。

【0092】

そして、この分類結果評価画面８０では、分類姿勢表示領域８６に表示された対応する俯瞰画像Ｗに付与された姿勢ラベルを管理ユーザの操作により他の姿勢の姿勢ラベルに付け替えることができる。かくして管理ユーザは、アラート表示領域８３にアラート（矢印マーク８３Ａ）が表示されたエリア画像群と対応する俯瞰画像Ｗに付与されて分類姿勢表示領域８６に表示されたラベルを、正しい姿勢の姿勢ラベル（例えば、予測姿勢ラベル表示領域８５に表示された対応する姿勢ラベル）に修正することができる。

【0093】

このような姿勢ラベルの修正は、分類結果評価画面８０からポップアップメニューにより行うことができる。そして、このとき修正された姿勢ラベルと、その俯瞰画像Ｗの画像データとが管理クライアント４から学習モジュール４２Ｂのラベル別教師データ格納部５０に与えられる。かくしてラベル別教師データ格納部５０は、これら姿勢ラベル及びその俯瞰画像Ｗの画像データを新たな教師データとしてハードディスク装置１５Ｃ内の対応するラベル別教師データフォルダ５５に格納する。また機械学習部５１は、この後、管理クライアント４から与えられる上述の再学習指示に応じて、この新たな教師データに基づいて、その俯瞰画像Ｗ内の作業員の姿勢を再学習する。

【0094】

なお、かかる再学習を頻繁に行うと効率が悪いため、一定回数のラベルの修正が行われた段階で再学習を行うようにしてもよい。このようにする場合には、例えば、管理クライアント４が再学習指示を評価モジュール４２Ｃに与えるようにし、評価モジュール４２Ｃが一定数の再学習指示を受信した段階で、これら再学習指示を纏めた再学習指示を学習モジュール４２Ｂの機械学習部５１に与えるようにすればよい。

【0095】

（５）チューニングの流れ
図１２は、本業務支援システム１の導入時にサーバ１５の学習モジュール４２Ｂの機械学習部５１について実行される「チューニング」の流れを示す。

【0096】

チューニングの実行時、管理ユーザは、まず、分類対象のすべての関連行動のラベルをサーバ１５に設定すると共に、これら関連行動の行動定義情報をサーバ１５に登録する。かくしてサーバ１５の学習モジュール４２Ｂのラベル別教師データ格納部５０は、設定された関連行動のラベルごとのラベル別教師データフォルダ５５（図７）をハードディスク装置１５Ｃ（図２）内にそれぞれ作成すると共に、評価モジュール４２Ｃの行動定義管理部５３は行動定義情報をメモリ１５Ｂに格納する（Ｓ２０）。

【0097】

続いて、管理ユーザは、第１のシステム２（図１）を稼動させて俯瞰映像データをサーバ１５（図２）内のハードディスク装置１５Ｃ内に用意する（Ｓ２１）。ただし、管理ユーザがチューニング用の俯瞰映像データや、俯瞰画像Ｗの画像データを別途用意してハードディスク装置１５Ｃに格納するようにしてもよい。

【0098】

そして管理ユーザは、用意した俯瞰映像データから例えば１秒間隔の俯瞰画像Ｗの画像データを順次読み出し、読み出したこれらの画像データに対してその俯瞰画像Ｗ内の作業員の姿勢のラベル（姿勢ラベル）を付与した上で、これらの画像データを教師データとしてハードディスク装置１５Ｃ内に作成された対応するラベル別教師データフォルダ５５に順次振り分けて格納する（Ｓ２２）。

【0099】

その後、管理ユーザは、データ管理アプリ４２（図６）を稼動させて、ディープラーニングを実行させる（Ｓ２３）。また管理ユーザは、この後、ステップＳ２３のディープラーニングにより得られた予測モデルを用いて、ハードディスク装置１５Ｃに格納されている俯瞰映像データに基づく俯瞰映像の１秒ごとの俯瞰画像Ｗについて、当該俯瞰画像Ｗ内の作業員の姿勢を分類（推定）する姿勢分類処理を学習モジュール４２Ｂの機械学習部５１（図６）に実行させる（Ｓ２４）。

【0100】

この結果、このときの機械学習部５１の姿勢分類処理の処理結果が分類結果シーケンス評価部５４（図６）に与えられ、分類結果シーケンス評価部５４においてかかる処理結果が評価されて図１１について上述した分類結果評価画面８０が生成され、生成された分類結果評価画面８０が管理クライアント４に表示される（Ｓ２５）。

【0101】

管理ユーザは、この分類結果評価画面８０上においてアラートが表示されているか否かを確認し（Ｓ２６）、アラートが表示されていない場合には（Ｓ２６；ＮＯ）、このときのチューニングを終了する。また管理ユーザは、分類結果評価画面８０にアラートが表示されている場合には（Ｓ２６；ＹＥＳ）、アラートが表示された俯瞰画像Ｗに対するラベルの修正を分類結果評価画面８０上で行い（Ｓ２７）、この後、分類結果評価画面８０上でアラートが表示されなくなるまでステップＳ２３以降の処理を繰り返す。

【0102】

そして、やがて分類結果評価画面８０上でアラートが表示されなくなった段階で（Ｓ２６；ＮＯ）、チューニングが終了する。

【0103】

（６）姿勢分類処理
図１３は、上述のステップＳ２４において機械学習部５１により実行される姿勢分類処理の処理手順を示す。なお図１３では、組立作業エリアＬ１１（図４）に対する姿勢分類処理の処理手順を示している。

【0104】

機械学習部５１は、この姿勢分類処理を開始すると、まず、管理モジュール４２Ａ（図６）を介して取得した１枚の俯瞰画像Ｗの画像データ（俯瞰画像データ）と、エリア定義情報テーブルＴＬ（図５）に格納されている各エリアのエリア座標とを取得する（Ｓ３０）。

【0105】

続いて、機械学習部５１は、取得した俯瞰画像データに基づく俯瞰画像Ｗから組立作業エリアＬ１１の画像を切り出し（Ｓ３１）、同エリアの画像の画素情報を認識して同エリア内に作業員が存在するか否かを判定する（Ｓ３２）。

【0106】

機械学習部５１は、この判定で肯定結果を得ると（Ｓ３２；ＹＥＳ）、作業員が組立作業台を向いているか否かを判定する（Ｓ３３）。そして機械学習部５１は、この判定で否定結果を得ると（Ｓ３３；ＮＯ）、組立作業エリアＬ１１内に存在する作業員の姿勢を推定する（Ｓ３７）。

【0107】

また機械学習部５１は、ステップＳ３３の判定で肯定結果を得ると（Ｓ３３；ＹＥＳ）、ステップＳ３０で取得した俯瞰画像データに基づく俯瞰画像Ｗから組立作業台エリアＬ１３（図４）の画像を切り出し（Ｓ３４）、この後、同エリア内の作業員の姿勢を推定する（Ｓ３７）。

【0108】

一方、機械学習部５１は、ステップＳ３２の判定で否定結果を得ると（Ｓ３２；ＮＯ）、搬送エリアＬ１２（図４）内に作業員が存在するか否かを判定する（Ｓ３５）。そして機械学習部５１は、この判定で否定結果を得ると（Ｓ３５；ＮＯ）、ステップＳ３８に進む。

【0109】

また機械学習部５１は、ステップＳ３５の判定で肯定結果を得ると（Ｓ３５；ＹＥＳ）、ステップＳ３０で取得した俯瞰画像データに基づく俯瞰画像Ｗから搬送エリアＬ１２（図４）の画像を切り出し（Ｓ３６）、この後、同エリア内の作業員の姿勢を推定する（Ｓ３７）。

【0110】

そして機械学習部５１は、ステップＳ３７で作業員の姿勢を推定し終えると、必要なすべての俯瞰画像Ｗに対するステップＳ３０〜ステップＳ３７の処理を実行し終えたか否かを判定する（Ｓ３８）。

【0111】

機械学習部５１は、この判定で否定結果を得ると（Ｓ３８；ＮＯ）、ステップＳ３０に戻り、この後、対象とする俯瞰画像Ｗを未処理の他の俯瞰画像Ｗに順次切替えながら、ステップＳ３０〜ステップＳ３８の処理を繰り返す。

【0112】

そして機械学習部５１は、やがて必要な俯瞰画像Ｗに対するステップＳ３０〜ステップＳ３７の処理を実行し終えることによりステップＳ３８で肯定結果を得ると（Ｓ３８；ＹＥＳ）、この姿勢分類処理を終了する。

【0113】

（７）本実施の形態の効果
以上のように本実施の形態の業務支援システム１では、分類結果評価画面８０において、行動定義情報に基づき予測される俯瞰画像Ｗ内の作業員の姿勢の姿勢ラベルと、機械学習部５１により分類されたその俯瞰画像Ｗ内の作業員の姿勢の姿勢ラベルとが異なる俯瞰画像Ｗについてアラート（矢印マーク８３Ａ）を表示すると共に、その俯瞰画像Ｗについて姿勢ラベルが修正された場合には、その俯瞰画像Ｗの画像データ及びその姿勢ラベルを教師データとして機械学習部５１が再学習を行う。

【0114】

従って、本業務支援システム１によれば、予測モデルを用いた各俯瞰画像Ｗ内の作業員の姿勢の分類処理において特に機械学習部５１が間違いを起こし易い俯瞰画像Ｗの画像データを教師データとすることができるため、より重要度の高い教師データを選択的かつ容易に取得することができる。かくするにつき、チューニングに要する管理ユーザの労力を低減させながら、機械学習の精度を向上させることができる。

【0115】

（８）他の実施の形態
なお上述の実施の形態においては、本発明を製造・物流の現場における業務改善を支援する業務支援システム１に適用するようにした場合について述べたが、本発明はこれに限らず、要は、ＡＩを利用する種々のシステムに広く適用することができる。

【0116】

また上述の実施の形態においては、図１２のステップＳ２４の後に常に分類結果評価画面８０を管理クライアント４に表示するようにした場合について述べたが、本発明はこれに限らず、ステップＳ２５以降の処理を実行するかしないかを管理ユーザが選択できるようにし、必要な場合にのみステップＳ２５以降の処理を実行させ得るようにしてもよい。

【0117】

なお、本発明は上述した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

【産業上の利用可能性】

【0118】

本発明は、ＡＩが導入された種々のシステムに広く適用することができる。

【符号の説明】

【0119】

１……業務支援システム、２……第１のシステム、３……第２のシステム、４……管理システム、１０……カメラ、１３……エッジコンピュータ、１５……サーバ、１５Ａ……ＣＰＵ、１５Ｃ……ハードディスク装置、４２……データ管理アプリ、４２Ａ……管理モジュール、４２Ｂ……学習モジュール、４２Ｃ……評価モジュール、５０……ラベル別教師データ格納部、５１……機械学習部、５３……行動定義管理部、５４……分類結果シーケンス評価部、５５……ラベル別教師データフォルダ、８０……分類結果評価画面、８１……ラベル別教師データフォルダ表示領域、８２……予測姿勢表示領域、８３……アラート表示領域、８３Ａ……矢印マーク、８４……エリア別フレーム画像表示領域、８５……予測姿勢ラベル表示領域、８６……分類姿勢表示領域、８７……俯瞰画像表示領域、８８……不連続画像表示領域、Ｌ１１〜Ｌ１２……エリア、Ｗ……俯瞰画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】