知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-16
(45)【発行日】2024-10-24
(54)【発明の名称】作業従事者管理支援システムおよび作業従事者管理支援処理方法
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20241017BHJP
【ＦＩ】
G06Q10/0639
【請求項の数】
4
(21)【出願番号】P 2020193788
(22)【出願日】2020-11-20
(65)【公開番号】P2022082304
(43)【公開日】2022-06-01
【審査請求日】2023-06-19
(73)【特許権者】
【識別番号】597132849
【氏名又は名称】株式会社日立ソリューションズ・クリエイト
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】左近允 晃
(72)【発明者】
【氏名】樋口 正己
(72)【発明者】
【氏名】若林 洋輔
【審査官】谷川 智秀
(56)【参考文献】
【文献】特表２０１９－５２７８７８（ＪＰ，Ａ）
【文献】国際公開第２０２０／０１３０６０（ＷＯ，Ａ１）
【文献】特開２０２０－０２７３２４（ＪＰ，Ａ）
【文献】特開平１１－１５４２３１（ＪＰ，Ａ）
【文献】特開２０００－３５４９４３（ＪＰ，Ａ）
【文献】特開２０２０－１４９１５０（ＪＰ，Ａ）
【文献】特開２０２０－０５２７５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
作業に従事する作業従事者の動画を撮影する撮影装置と、前記撮影された動画から得られる前記作業従事者のバイタル情報と前記作業従事者の複数の関節の位置により表される動作情報とに基づいて前記作業従事者に関する所定事象の発生を予測する処理装置と、
前記所定事象の発生が予測された旨を提示する管理装置と、を有し、
前記処理装置は、学習データを学習することにより、作業従事者のバイタル情報と動作情報とを入力とし作業従事者に関する心身の異常の発生の予測結果を出力とする心身異常予測モデルを生成し、該心身異常予測モデルを用いて前記作業従事者に関する心身の異常の発生を予測し、
前記管理装置は、前記予測された心身の異常が発生したか否かを表す実績情報を前記作業従事者から取得し、該実績情報を前記学習データに加えるデータとして前記処理装置に提供する、ものであり、
前記処理装置は、
前記心身異常予測モデルを用いずに、前記バイタル情報の指標値を所定のしきい値と比較した結果と、前記動作情報とに基づいて、前記作業従事者の心身の異常の発生を予測する第１心身異常予測部と、
前記バイタル情報および前記動作情報を前記心身異常予測モデルに入力し、前記心身異常予測モデルの出力から、前記作業従事者の心身の異常の発生の予測の結果を取得する第２心身異常予測部と、
前記実績情報を第２心身異常予測部による予測の結果と照合して前記心身異常予測モデルによる予測精度の良否を定め、前記予測精度が良であれば前記第２心身異常予測部による予測結果を前記管理装置に提供し、前記予測精度が良でなければ前記第１心身異常予測部による予測結果を前記管理装置に提供する予測制御部と、
を有し、
前記予測精度が良でない間にも前記第２心身異常予測部が前記心身異常予測モデルの出力から前記作業従事者の心身の異常の予測の結果を取得し、前記第１心身異常予測部にて心身の異常が予測されたときに得られる実績情報を、前記第２心身異常予測部による予測の結果と照合して前記予測精度の良否を定め、前記実績情報を、前記バイタル情報および前記動作情報と組み合わせて前記学習データとする、
作業従事者管理支援システム。
【請求項2】
前記処理装置は、作業従事者のバイタル情報および動作情報を入力とし作業従事者による作業の不良の発生の予測結果を出力とする作業不良予測モデルに、前記バイタル情報および前記動作情報を入力し、前記作業不良予測モデルの出力から、前記作業従事者による作業の不良の発生の予測の結果を取得する作業不良予測部を更に有する、
請求項１に記載の作業従事者管理支援システム。
【請求項3】
前記処理装置がクラウド上に実現される、請求項１に記載の作業従事者管理支援システム。
【請求項4】
撮影装置で撮影された作業に従事する作業従事者の動画から得られる前記作業従事者のバイタル情報と前記作業従事者の複数の関節の位置により表される動作情報とに基づいて前記作業従事者に関する所定事象の発生を予測し、前記所定事象の発生が予測された旨を提示するコンピュータシステムが、
学習データを学習することにより、作業従事者のバイタル情報と動作情報とを入力とし作業従事者に関する心身の異常の発生の予測結果を出力とする心身異常予測モデルを生成し、該心身異常予測モデルを用いて前記作業従事者に関する心身の異常の発生を予測し、
前記予測された心身の異常が発生したか否かを表す実績情報を前記作業従事者から取得し、該実績情報を前記学習データに加えるデータとして提供する、方法であり、
前記心身異常予測モデルを用いずに、前記バイタル情報の指標値を所定のしきい値と比較した結果と、前記動作情報とに基づいて、前記作業従事者の心身の異常の発生を予測する第１予測処理と、
前記バイタル情報および前記動作情報を前記心身異常予測モデルに入力し、前記心身異常予測モデルの出力から、前記作業従事者の心身の異常の発生の予測の結果を取得する第２予測処理とが可能であり、
前記実績情報を第２予測処理による予測の結果と照合して前記心身異常予測モデルによる予測精度の良否を定め、前記予測精度が良であれば前記第２予測処理による予測結果を提供し、前記予測精度が良でなければ前記第１予測処理による予測結果を提供し、
前記予測精度が良でない間にも前記第２予測処理として前記心身異常予測モデルの出力から前記作業従事者の心身の異常の予測の結果を取得し、前記第１予測処理にて心身の異常が予測されたときに得られる実績情報を、前記第２予測処理による予測の結果と照合して前記予測精度の良否を定め、前記実績情報を、前記バイタル情報および前記動作情報と組み合わせて前記学習データとする、
作業従事者管理支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、企業等で作業に従事する従業員の画像に基づいて従業員の状態を管理する技術に関する。
【背景技術】
【0002】
近年、人物を撮影した動画からその人物の心身状態を表すバイタルサインの情報（以下、バイタル情報という）を取得する技術が研究されている（非特許文献１参照）。バイタル情報は、例えば、心拍、血圧、体温、血中酸素濃度、ストレスレベル、血中アルロール濃度などである。この技術により、人物の心拍や体表温度を測定するために着用するセンシングウェアや、指を挟んで人物の血中酸素濃度を測定するパルスオキシメーターといった専用デバイスを用いることなく、カメラで撮影した画像から精度の高いバイタル情報を取得することができる。
【先行技術文献】
【非特許文献】
【0003】
【文献】東北大学サイバーサイエンスセンター 吉沢 誠，東北大学 大学院工学研究科 杉田 典大、「血行状態モニタリング装置“魔法の鏡”の開発」、光技術コンタクト誌 ２０１７年１０月号
【発明の概要】
【発明が解決しようとする課題】
【0004】
製造現場や倉庫などで作業を行う従業員、鉄道、バス、タクシーなどの運転士（運転手）、飛行機や船舶の操縦士など、何らかの作業に従事する人物（作業従事者）は、業務を安全に遂行するためにも、心身の健康が求められる。非特許文献１には、そこに開示された技術を職場の鏡と一体化したコンピュータに適用した鏡型ディスプレイが開示されている。これは、職場での従業員の健康状態のチェックを可能にするものである。しかし、非特許文献１に開示された技術では、鏡型ディスプレイの前に立たなければ、作業従事者の健康状態をチェックできず、製造現場や倉庫などで作業に従事している従業員の作業をリアルタイムでチェックすることはできない。
【0005】
本開示のひとつの目的は、作業に従事する従業員の作業の維持管理を支援する技術を提供することである。
【課題を解決するための手段】
【0006】
本開示のひとつの態様による作業従事者管理支援システムは、作業に従事する作業従事者の動画を撮影する撮影装置と、前記撮影された動画から得られる前記作業従事者のバイタル情報に基づいて前記作業従事者に関する所定事象の発生を予測する処理装置と、前記所定事象の発生が予測された旨を提示する管理装置と、を有し、前記処理装置は、学習データを学習することにより、作業従事者のバイタル情報を入力とし作業従事者に関する所定事象の発生の予測結果を出力とする事象予測モデルを生成し、該事象予測モデルを用いて前記作業従事者に関する所定事象の発生を予測し、前記管理装置は、前記予測された所定事象が発生したか否かを表す実績情報を前記作業従事者から取得し、該実績情報を前記学習データとして前記処理装置に提供する。
【発明の効果】
【0007】
本開示のひとつの態様によれば、作業従事者の心身状態の維持管理を支援することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る作業従事者管理システムのブロック図である。
【発明を実施するための形態】
【0009】
以下に、本発明の実施形態について図面を参照して説明する。
【0010】
図１は、本実施形態に係る作業従事者管理システムのブロック図である。
【0011】
図１に示すように、作業従事者管理システムは、動画撮影装置１０と、クラウドシステム２０と、モバイル端末５０と、事業者管理システム６０とを有している。動画撮影装置１０、モバイル端末５０および事業者管理システム６０はそれぞれ、クラウドシステム２０と通信可能に構成されている。
【0012】
動画撮影装置１０は、本願発明にて撮影装置となるものであって、作業従事者が作業を行う作業場所などに、いわゆる定点カメラとして設置されている。動画撮影装置１０は、作業に従事する作業従事者の動画を撮影するものであって、カメラ１１とＣＰＵ１２とメモリ１３とを有している。ＣＰＵ１２は、顔認証制御部１４と動画バイタル制御部１５と行動解析制御部１６とクラウド通信制御部１７とカメラ画像制御部１８とを実現する。メモリ１３には、カメラ画像制御部１８によってデータが保存されるデータ保存領域１９が設けられている。
【0013】
カメラ１１は、設置された作業場所の作業従事者を含めた動画を撮影する。
【0014】
顔認証制御部１４は、カメラ１１にて撮影された動画の中から、作業従事者の顔を認識し、顔認証を行う。動画バイタル制御部１５は、カメラ１１にて撮影された動画に基づいて、作業従事者のバイタル情報を取得する。行動解析制御部１６は、カメラ１１にて撮影された動画に基づいて、モーションキャプチャにより、作業従事者の行動を示す動作情報を取得する。なお、行動解析制御部は、動画撮影装置１０ではなくクラウドシステム２０が有していてもよし、双方が有してもよい。カメラ画像制御部１８は、カメラ１１にて撮影された動画を、動画バイタル制御部１５にて取得した作業従事者のバイタル情報とともにデータ保存領域１９に保存する。なお、行動解析制御部１６にて取得した作業従事者の動作情報も、データ保存領域１９に保存してもよい。クラウド通信制御部１７は、顔認証制御部１４にて認証した顔情報と動画バイタル制御部１５にて取得したバイタル情報とを、通信回線（不図示）を介してクラウドシステム２０に送信する。なお、行動解析制御部１６にて取得した作業従事者の動作情報も、クラウドシステム２０に送信してもよい。
【0015】
【0016】
図２に示すように、図１に示した動画撮影装置１０のデータ保存領域１９には、カメラ１１にて撮影された画像が、その撮影日時とともに、動画ファイルおよび静止画ファイルとして登録されている。また、動画ファイルおよび静止画ファイルは、撮影日時の情報とともに、クラウドシステム２０に送られる。
【0017】
クラウドシステム２０は、処理装置となるものであって、クラウド上に実現されている。クラウドシステム２０は、ＣＰＵ２２とメモリ２３と含むコンピューティングシステムによりＡＩサーバ４０を構成し、動画撮影装置１０にて撮影された動画から得られる作業従事者のバイタル情報に基づいて、ＡＩサーバ４０により作業従事者に関する所定事象の発生を予測する。具体的には、学習データを学習することにより、作業従事者のバイタル情報を入力とし作業従事者に関する所定事象の発生の予測結果を出力とする事象予測モデルを生成し、生成した事象予測モデルを用いて作業従事者に関する所定事象の発生を予測する。ＣＰＵ２２は、動画撮影装置通信制御部２１と行動解析制御部２５と労務管理制御部２８と情報提供制御部２９と作業従事者通信制御部３０と事業者通信制御部３２とを実現する。ＡＩサーバ４０の詳細は後述する。メモリ２３には、動画撮影装置１０から受信したデータや行動解析制御部２５にて取得されたデータが保存されるデータ保存領域２６と、作業従事者の属性情報２７と、事業者システム生産管理情報３２とが設けられている。
【0018】
動画撮影装置通信制御部２１は、動画撮影装置１０から送信されてきたデータを通信回線（不図示）を介して受信する。顔認証制御部２４は、動画撮影装置１０から送信されてきたデータの中から、作業従事者の顔を認識し、顔認証を行う。行動解析制御部２５は、動画撮影装置１０から送信されてきたデータに基づいて、モーションキャプチャにより、作業従事者の行動を示す動作情報を取得する。労務管理制御部２８は、動画撮影装置１０から送信されてきたバイタル情報による数値を予め決められたしきい値と比較することで、作業従事者のバイタル情報のチェックを行う。情報提供制御部２９は、モバイル端末５０や事業者システム６０からの要求に応じて、あるいは自律的に、ＡＩサーバ４０における予測結果に応じて、作業従事者の心身状態に関する事象を事業者システム６０に提供する。作業従事者通信制御部３０は、モバイル端末５０からの要求に応じて、あるいは自律的に、情報提供制御部２９にて提供される情報を、通信回線（不図示）を介してモバイル端末５０に送信する。事業者通信制御部３２は、事業者システム６０からの要求に応じて、あるいは自律的に、情報提供制御部２９にて提供される情報や、事業者システム管理情報３１を、通信回線（不図示）を介して事業者システム６０に送信する。
【0019】
【0020】
図３に示すように、図１に示したクラウドシステム２０のＡＩサーバ４０は、第１心身異常予測部４１ａと、第２心身異常予測部４１ｂと、作業不良予測部４２と、予測制御部４４と、学習部４５，４６と、アドバイス部４７とを有している。また、第２心身異常予測部４１ｂは心身異常予測モデル４１ｃを有しており、作業不良予測部４２は作業不良予測モデル４２ａを有しており、アドバイス部４７はデータベース４８を有している。
【0021】
第１心身異常予測部４１ａは、バイタル情報の指標値を所定のしきい値と比較した結果と、動作情報とに基づいて、作業従事者の心身の異常の発生を予測する。第２心身異常予測部４１ｂは、バイタル情報および動作情報を、心身異常予測モデル４１ｃに入力し、心身異常予測モデル４１ｃの出力から、作業従事者の心身の異常の発生の予測の結果を取得する。予測制御部４４は、実績情報に基づき心身異常予測モデル４１ｃによる予測精度の良否を設定し、予測精度が良に設定されていれば第２心身異常予測部４１ｂによる予測結果を事業者システム６０に提供し、予測精度が不良に設定されていれば第１心身異常予測部４１ａによる予測結果を事業者システム６０に提供する。
【0022】
なお、心身異常予測モデル４１ｃは、作業従事者のバイタル情報および動作情報を入力とし作業従事者の心身の異常の発生の予測結果を出力とするものであって、事象予測モデルに含まれる。
【0023】
作業不良予測部４２は、バイタル情報を作業不良予測モデル４２ａに入力し、作業不良予測モデル４２ａの出力から、作業従事者による作業の不良の発生の予測の結果を取得する。なお、作業不良予測モデル４２ａは、作業従事者のバイタル情報および動作情報を入力とし作業従事者による作業の不良の発生の予測結果を出力とするものであって、事象予測モデルに含まれる。
【0024】
学習部４５，４６はそれぞれ、予測された事象が実際に起こったか否かを表す実績情報を学習データとして学習することにより、心身異常予測モデル４１ｃおよび作業不良予測モデル４２ａを生成する。
【0025】
アドバイス部４７は、バイタル情報および動作情報と作業品質とを対応づけて蓄積したアドバイスデータベース４８を生成し、アドバイスデータベース４８から所定の作業品質に対応するバイタル情報および動作情報を取得し、取得したバイタル情報および動作情報と、作業従事者の現在のバイタル情報および動作情報との差分に基づいて、作業従事者への作業に関するアドバイスを生成する。
【0026】
【0027】
図４に示すように、図１に示したクラウドシステム２０のデータ保存領域２６には、動画、バイタル情報、および静止画を送信した動画撮影装置の動作撮影装置ＩＤおよびそれらが受信された受信日時に紐づけて、動画撮影装置１０から送信されてきた作業従事者のバイタル情報と、静止画の画像ファイルとが付与されて保存されている。ここに保存されるバイタル情報には、動画に写っていた全ての作業従事者のバイタル情報が含まれている。バイタル情報として、各作業従事者の作業従事者ＩＤに紐づけて、心拍、血中酸素濃度、血圧、体温、ストレスレベル、血中アルコール濃度の情報が保存される。
【0028】
また、図５に示すように、データ保存領域２６には、行動解析制御部１６あるいは行動解析制御部２５における解析結果である、作業従事者の動作情報が保存されている。動画、バイタル情報、および静止画を送信した動画撮影装置の動作撮影装置ＩＤおよびそれらが受信された受信日時に紐づけて、動作情報および動画ファイルが保存されている。動作情報には、作業従事者の各関節や身体の部位を示す計測ポイント毎にその位置を示すＸ、Ｙ、Ｚ座標が時系列に保存されている。
【0029】
【0030】
【0031】
モバイル端末５０は、クラウド通信制御部５１と情報表示部５２とを有している。クラウド通信制御部５１は、作業従事者の操作によって、クラウドシステム２０に対して作業従事者の傾向を要求する。また、クラウド通信制御部５１は、作業従事者の要求によりクラウドシステム２０から送信されてくる、あるいはクラウドシステム２０から自律的に送信されてくる作業従事者の傾向やバイタル情報を受信する。情報表示部５２は、クラウド通信制御部５１にて受信した作業従事者の傾向をディスプレイに表示する。
【0032】
事業者システム６０は、管理装置となるものであって、所定事象の発生が予測された旨を提示する。事業者システム６０は、クラウド通信制御部６１とデータ保存領域６２と労務状況管理部６３と業務管理システム６４とを有し、クラウドシステム２０にて予測された所定事象が発生したか否かを表す実績情報を作業従事者から取得し、取得した実績情報を学習データとしてクラウドシステム２０に提供する。
【0033】
クラウド通信制御部６１は、クラウドシステム２０に対して、バイタル情報や画像の送信の要求、またはこれらを受信したり、作業従事者の心身状態の不調発生予測を受信したり、予測された事象が実際に起こったか否かを示す実績情報を送信したりする。データ保存領域６２には、クラウド通信制御部６１にて受信した情報や労務状況管理部６３にて管理される情報が保存されている。労務状況管理部６３は、クラウドシステム２０に対して、バイタル情報や画像の送信を要求したり、クラウドシステム２０から送信されてきてデータ保存領域４２に保存されたバイタル情報を表示したり、予測された事象が実際に起こったか否かを示す実績情報を収集したりする。業務管理システム６４は、作業従事者の業務を管理する。
【0034】
以下に、上記のように構成された作業従事者管理システムにおける処理について説明する。
【0035】
まず、動画撮影装置１０における処理について説明する。
【0036】
【0037】
動画撮影装置１０のカメラ１１にて作業従事者の動画が撮影されると（ステップＳ１０１）、まず、顔認証制御部１４にて、カメラ１１にて撮影された動画の中から作業従事者の顔認証が行われる（ステップＳ１０２）。また、動画バイタル制御部１５において、カメラ１１にて撮影された動画に基づいて作業従事者のバイタル情報となるバイタル数値が取得される（ステップＳ１０３）。
【0038】
動画バイタル制御部１５においては、バイタル数値が取得されると、取得されたバイタル数値が、予め決められたしきい値と比較され、取得したバイタル数値がしきい値を超えているかどうかが判断される（ステップＳ１０４）。
【0039】
取得したバイタル数値がしきい値を超えていない場合、動画、または行動解析制御部１６にて解析された動作情報に基づき、作業従事者の行動が異常であるかどうかが判断される（ステップＳ１０５）。
【0040】
そして、動画バイタル制御部１５において取得したバイタル数値がしきい値を超えていると判断された場合や、作業従事者の行動が異常であると判断された場合、カメラ画像制御部１８により動画の保存が指示され（ステップＳ１０６）、カメラ１１で撮影された作業従事者の周囲の動画がデータ保存領域１９に保存される（ステップＳ１０７）。同時に撮影された静止画もデータ保存領域１９に保存される。
【0041】
さらに、クラウド通信制御部１７の制御によって、動画バイタル制御部１５において取得したバイタル情報が、カメラ１１にて撮影された動画および静止画とともにクラウドシステム２０に送信される（ステップＳ１０８）。行動解析制御部１６により作業従事者の動作情報を取得する場合にはその動作情報もクラウドシステム２０に送信される。
【0042】
次に、事業者システム６０において管理される情報をクラウドシステム２０が取得する際の処理について説明する。
【0043】
【0044】
事業者システム６０においては、業務管理システム６４において、作業従事者に係る作業の工程情報や作業不良情報が保存される（ステップＳ２０１）。また、労務状況管理部６４において、各作業従事者について、過去の心身の異常の発生実績が保存される（ステップＳ２０２）。
【0045】
これら工程情報、作業不良情報および過去の心身の異常の発生実績は、クラウド通信制御部６１の制御によってクラウドシステム２０に送信される（ステップＳ２０３）。
【0046】
事業者システム６０から送信された、工程情報、作業不良情報および過去の心身の異常の発生実績は、クラウドシステム２０の事業者通信制御部３２にて受信される（ステップＳ２０４）。
【0047】
すると、受信された工程情報、作業不良情報および過去の心身の異常の発生実績は、事業者システム生産管理情報３１として保存され（ステップＳ２０５）、その後、ＡＩサーバ４０において、心身異常予測モデルや作業不良モデルの生成に学習データとして利用される（ステップＳ２０６）。
【0048】
次に、クラウドシステム２０における作業従事者の行動解析処理について説明する。
【0049】
【0050】
動画撮影装置１０から送信されたバイタル情報および動画がクラウドシステム２０の動画撮影装置通信制御部２１にて受信されると（ステップＳ３０１）、クラウドシステム２０においてはまず、顔認証制御部２４において、受信した動画を用いて作業従事者の顔認証が行われる（ステップＳ３０２）。この顔認識においては、作業従事者の属性情報２７に保存されている作業従事者の顔データとの照合を行うことで作業従事者を特定する。
【0051】
次に、受信したバイタル情報と動画をデータ保存領域２６に保存する（ステップＳ３０３）。
【0052】
次に、行動解析制御部２５において、モーションキャプチャを用いて、受信した動画による作業従事者の動作をデータに変換し（ステップＳ３０４）、作業従事者の属性情報２７を参照して作業従事者を特定し、データ保存領域２６に動作情報を作業従事者と対応づけて保存し（ステップＳ３０５）、ステップＳ３０１の処理に戻る。
【0053】
次に、ＡＩを用いずに作業従事者の不調を予測する処理について説明する。
【0054】
【0055】
まず、クラウドシステム２０の労務管理制御部２８において、図９のステップＳ３０５にてデータ保存領域２６に保存されたバイタル情報がチェックされる（ステップＳ４０１）。この際、作業従事者の属性情報２７が参照されて作業従事者が特定される。
【0056】
データ保存領域２６に保存されたバイタル情報によるバイタル数値が、予め決められたしきい値を超えている場合（ステップＳ４０２）、その作業従事者についての不調フラグが“ＯＮ”に設定される（ステップＳ４０３）。このバイタル数値としては、心拍や、血中酸素濃度、血圧、体温、ストレスレベル、血中アルコール濃度が考えられ、これら複数の数値のしきい値との判定を組み合わせてもよい。
【0057】
また、データ保存領域２６に保存されたバイタル情報によるバイタル数値が、予め決められたしきい値を超えていない場合や、不調フラグが“ＯＮ”に設定された後、労務管理制御部２８において、作業従事者の行動が異常であるかどうかがチェックされる（ステップＳ４０４，Ｓ４０５）。
【0058】
そして、作業従事者の行動が異常であると判断された場合は、その作業従事者についての行動異常フラグが“ＯＮ”に設定される（ステップＳ４０６）。
【0059】
その後、２つのフラグが確認され（ステップＳ４０７）、少なくともいずれかが“ＯＮ”である場合は、事業者通信制御部３２の制御によって、作業従事者の心身の異常が事業者システム６０に通知される（ステップＳ４０８）。
【0060】
また、２つのフラグがいずれも“ＯＮ”に設定されていない場合や、ステップＳ４０８における処理後、動画に写っている作業従事者の分だけ上述した一連の処理が完了したら、図９のステップＳ３０１の処理に戻る。
【0061】
次に、クラウドシステム２０から事業者システム６０に不調予測が通知された際の処理について説明する。
【0062】
【0063】
作業従事者の心身の異常がクラウドシステム２０の事業者通信制御部３２から通知され（ステップＳ５０１）、事業者システム６０のクラウド通信制御部６１にて受信されると（ステップＳ５０２）、事業者システム６０において、受信した作業従事者の心身の異常がデータ保存領域６２に保存される（ステップＳ５０３）。
【0064】
また、労務状況管理部６３において、心身の異常が受信された作業従事者に対して、電話や対面などで状況の確認が行われる（ステップＳ５０４）。
【0065】
そして、作業従事者の状況確認結果が、労務状況管理部６３にて登録されるとともに、クラウド通信制御部３２の制御によってクラウドシステム２０に対して送信される（ステップＳ５０５）。
【0066】
事業者システム６０から送信された作業従事者の状況確認結果が、クラウドシステム２０の事業者通信制御部３２にて受信されると（ステップＳ５０６）、受信された作業従事者の状況確認結果が事業者システム生産管理情報３１として保存される（ステップＳ５０７）。
【0067】
そして、受信された作業従事者の状況確認結果において、作業従事者の心身に異常がない場合は（ステップＳ５０８）、予測精度が不良であることになるため、予測精度が「不良」に設定される（ステップＳ５０９）。
【0068】
一方、受信された作業従事者の状況確認結果において、作業従事者の心身に異常がある場合は予測精度が良であることになるため、予測精度が「良」に設定される（ステップＳ５１０）。
【0069】
ここで、クラウドシステム２０における作業従事者の心身の不調の判断は、第２心身異常予測部４１ｂにおける心身異常モデル４１ｃを用いたものと、第１心身異常予測部４１aにおけるしきい値判定によるものとがある。ここで、作業従事者の心身の異常の予測を対象としており、その作業従事者の心身の異常が日常的に発生するようなものでないため、必ずしも十分な学習データが早期に得られるとは言えない。本態様では、そのような事情を考慮し、心身異常予測モデルの予測精度の良否を管理し、その予測精度が良ければ心身異常予測モデルによる予測結果を利用し、予測精度が良くなければバイタル情報の指標値を閾値と比較することによる予測結果を利用する。
【0070】
すなわち、予測制御部４４において、実績情報に基づき心身異常予測モデル４１ｃによる予測精度の良否を設定し、予測精度が良に設定されていれば第２心身異常予測部４１ｂによる予測結果を事業者システム６０に提供し、予測精度が不良に設定されていれば第１心身異常予測部４１ａによる予測結果を事業者システム６０に提供するというように、予測精度の良否に基づいて予測部を切り替える。これにより、十分な学習データが得られているときとそうでないときのいずれにおいても、適切な予測を可能にする。
【0071】
また、本態様では、作業従事者の心身の異常を画像から直接予測するのではなく、一旦バイタル情報を算出し、そのバイタル情報に基づいて心身の異常を予測するので、バイタル情報の指標値を閾値と比較する比較的単純な予測手法の方も、バイタル情報と作業従事者の心身の状態との関係に関する既存の知見を利用して実用に十分な精度の予測が可能である。
【0072】
また、クラウドシステム２０において、予測精度が不良に設定されている間にも第２心身異常予測部４１ｂが心身異常予測モデル４１ｃの出力から作業従事者の心身の異常の予測の結果を取得し、第１心身異常予測部４１ａにて心身の異常が予測されたときに得られる実績情報を、第２心身異常予測部４１ｂによる予測の結果と照合して予測精度の良否を設定する。これにより、第１心身異常予測部４１ａによる予測結果を用いている間に第２心身異常予測部４１ｂによる予測精度を判定し、設定することが可能となる。
【0073】
また、クラウドシステム２０において、予測精度が不良に設定されている間にも第２心身異常予測部４１ｂが心身異常予測モデル４１ｃの出力から作業従事者の心身の異常の予測の結果を取得し、第１心身異常予測部４１ａにて不調が予測されたときに得られる実績情報を、第２心身異常予測部４１ｂによる予測の結果と組み合わせて学習データとする。これにより、第１心身異常予測部４１ａによる予測結果を用いている間に心身異常予測モデル４１ｃの学習を行うことができる。
【0074】
次に、心身異常予測モデル４１ｃを作成する際の処理について説明する。
【0075】
【0076】
クラウドシステム２０のＡＩサーバ４０においては、図９のステップＳ３０５にて保存された、バイタル情報および動作情報、並びに心身の異常発生実績および予測精度に基づいて、機械学習によって心身異常予測モデル４１ｃが作成される（ステップＳ６０１，Ｓ６０２）。バイタル情報および動作情報は、作業従事者の属性情報２７として保存された情報が参照され、心身の異常発生実績は、事業者システム生産管理情報３１に保存された過去の心身の異常発生実績が参照され、予測精度は、図１１にて設定された予測精度が参照される。
【0077】
その後、心身異常予測モデル４１ｃが作成されると、図９のステップＳ３０１における処理に移行する。
【0078】
次に、作業不良予測モデル４２ａを作成する際の処理について説明する。
【0079】
【0080】
クラウドシステム２０のＡＩサーバ４０においては、図９のステップＳ３０５にて保存された、バイタル情報および動作情報、並びに不良発生実績、予測精度および不良発生時の周辺の動画に基づいて、機械学習によって作業不良予測モデル４２ａが作成される（ステップＳ７０１，Ｓ７０２）。
【0081】
バイタル情報および動作情報は、作業従事者の属性情報２７として保存された情報が参照され、不良発生実績は、事業者システム生産管理情報３１に保存された過去の不良発生実績が参照され、予測精度は、図１１にて設定された予測精度が参照され、不良発生時の周辺の動画は、データ保存領域２６に保存された動画が参照される。この際、動作情報として、作業従事者の属性情報２７として保存された情報が参照されるが、この動作情報は、例えば、モーションキャプチャを用いて取得された作業従事者の各関節を含むポイントの位置により動作を表す情報である。
【0082】
このように、事象予測モデルが、バイタル情報と、作業従事者の複数の関節の位置により表される動作情報とを入力として含むことで、作業従事者による良好な作業の維持管理をすることが可能となる。また、事象予測モデルは、更に、作業従事者の周辺の画像を入力として含んでいてもよい。例えば、作業従事者の周辺に邪魔な物が置かれていれば、画像にその物が写り込む。その場合、事象予測モデルの予測には、作業従事者の周辺に置かれた物と事象の発生との相関が反映される。
【0083】
その後、作業不良予測モデル４２ａが作成されると、図９のステップＳ３０１における処理に移行する。
【0084】
次に、作業従事者のバイタル情報および動作情報に応じたアドバイスを生成する際の処理について説明する。
【0085】
【0086】
クラウドシステム２０のＡＩサーバ４０においては、図９のステップＳ３０５にて保存された、バイタル情報および動作情報、並びに不良発生実績、予測精度および不良発生時の周辺の動画に基づいて、機械学習によって、これらバイタル情報などと作業品質とを対応づけたアドバイスデータベース４８が作成される（ステップＳ８０１，Ｓ８０２）。バイタル情報および動作情報は、作業従事者の属性情報２７として保存された情報が参照され、不良発生実績は、事業者システム生産管理情報３１に保存された過去の不良発生実績が参照され、予測精度は、図１１にて設定された予測精度が参照され、不良発生時の周辺の動画は、データ保存領域２６に保存された動画が参照される。
【0087】
その後、アドバイスデータベース４８が作成されると、図９のステップＳ３０１における処理に移行する。
【0088】
このように、作業従事者のバイタル情報および動作情報に応じたアドバイスを生成するので、作業従事者の作業のより効果的な維持管理を支援することができる。例えば、作業従事者の作業にてヒヤリハットが予測されるときにヒヤリハットあるいはそれによる事故を未然に防止するためのアドバイスを作業従事者に通知できる。ヒヤリハットは、重大な事故が起こる前の事象である。また、上記ステップＳ８０１にて、過去の不良発生実績の代わりに、あるいは過去の不良発生実績に加えて、過去の作業が良好に行われた実績の情報(不図示)を加えて機械学習することにより、バイタル情報と作業品質とを対応づけることにしてもよい。これにより、より良い作業（ベストプラクティス）を行うためのアドバイスを作業従事者に通知できるようになる。
【0089】
次に、ＡＩを用いて作業従事者の心身の異常を検知する処理について説明する。
【0090】
【0091】
クラウドシステム２０の労務管理制御部２８においては、図９のステップＳ３０５にて保存されたバイタル情報と動作情報とから、既存のシステムに連携した作業工程情報と心身異常予測モデル４１ｃとを用いて、作業従事者の心身の異常の発生の予測が行われる（ステップＳ９０１）。
【0092】
そして、作業従事者の心身の異常の発生が予測される場合（ステップＳ９０２）、作業従事者の心身の異常が予測された旨が事業者通信制御部３２の制御によって事業者システム６０に通知される（ステップＳ９０３）。
【0093】
そして、作業従事者の心身の異常が予測された旨が事業者通信制御部３２の制御によって事業者システム６０に通知された後、または作業従事者の心身の異常の発生が予測されない場合、図９のステップＳ３０１における処理に移行する。
【0094】
次に、ＡＩを用いて作業不良やミスを予測する処理について説明する。
【0095】
【0096】
クラウドシステム２０の労務管理制御部２８においては、図９のステップＳ３０５にて保存されたバイタル情報と動画とから、既存のシステムに連携した作業工程情報と作業不良モデル４２ａとを用いて、作業不良の発生の予測が行われる（ステップＳ１００１）。
【0097】
そして、作業不良の発生が予測される場合（ステップＳ１００２）、作業従事者の作業不良の発生が予測された旨が事業者通信制御部３２の制御によって事業者システム６０に通知される（ステップＳ１００３）。
【0098】
そして、作業従事者の作業不良の発生が予測された旨が事業者通信制御部３２の制御によって事業者システム６０に通知された後、または作業従事者の作業不良の発生が予測されない場合、図９のステップＳ３０１における処理に移行する。
【0099】
このように、作業従事者の心身の異常に加え、作業従事者の作業の不良も予測するので、作業従事者の作業のより効果的な維持管理を支援することができる。
【0100】
次に、事業者システム６０にて作業従事者のバイタル情報などを確認する処理について説明する。
【0101】
【0102】
図１に示した作業従事者管理システムの事業者システム６０にて作業従事者のバイタル情報などを確認する場合は、事業者システム６０のクラウド通信制御部６１の制御によってクラウドシステム２０に対するアクセスが行われ、労務状況管理部６３からバイタル情報および画像の収集が要求され（ステップS１１０１）、この要求がクラウドシステム２０の事業者通信制御部３２にて受信されると（ステップＳ１１０２）、クラウドシステム２０の労務管理制御部２８において、バイタル情報および画像、ならびにアドバイスデータがある場合はアドバイスデータが取得され（ステップ１１０３）、事業者通信制御部３２の制御によって、これらのデータが事業者システム６０に送信される（ステップＳ１１０４）。
【0103】
クラウドシステム２０から送信されたバイタル情報および画像が事業者システム６０のクラウド通信制御部６１にて受信されると（ステップＳ１１０５）、これらのデータがデータ保存領域６２に保存される（ステップＳ１１０６）。
【0104】
また、労務状況管理部６３において、クラウドシステム２０から送信されたバイタル情報および画像が表示される（ステップＳ１１０７）。
【0105】
次に、作業従事者に対して作業に関する注意点などをプッシュ配信する処理について説明する。
【0106】
【0107】
クラウドシステム２０の労務管理制御部２８においては、図９のステップＳ３０５にて保存されたバイタル情報と動画とから、該当する工程での心がけや行動となるアドバイスとベストプラクティス動画が抽出される（ステップＳ１２０１）。これは、作業従事者の属性情報２７と、既存システムと連携した作業工程情報と、作業不良予測モデル４２ａと、アドバイスデータベース４８が参照される。
【0108】
アドバイスとベストプラクティス動画が抽出されると、これらの情報が作業従事者通信制御部３０の制御によってモバイル端末５０に送信される（ステップＳ１２０２）。
【0109】
クラウドシステム２０から送信されたアドバイスとベストプラクティス動画がモバイル端末５０のクラウド通信制御部５１にて受信された後（ステップＳ１２０３）、受信されたアドバイスとベストプラクティス動画が情報表示部５２にて表示される（ステップＳ１２０４）。
【0110】
次に、作業従事者が自身のモバイル端末５０を用いてバイタル傾向などを確認する処理について説明する。
【0111】
【0112】
図１に示した作業従事者管理システムにおいて作業従事者が自身のバイタル情報などを確認する場合は、モバイル端末５０を用いてモバイル端末５０のクラウド通信制御部５１の制御によってクラウドシステム２０に対するアクセスが行われ、バイタル情報などの傾向確認が要求され（ステップS１３０１）、この要求がクラウドシステム２０の作業従事者通信制御部３０にて受信されると（ステップＳ１３０２）、クラウドシステム２０の情報提供制御部２９において、バイタル情報および画像、ならびにアドバイスデータがある場合はアドバイスデータが取得され（ステップ１３０３）、作業従事者通信制御部３０の制御によって、これらのデータによって示される、作業従事者の傾向を示す傾向情報がモバイル端末５に送信される（ステップＳ１３０４）。
【0113】
クラウドシステム２０から送信された作業従事者の傾向を示す傾向情報がモバイル端末５０のクラウド通信制御部５１にて受信された後（ステップＳ１３０５）、受信された傾向情報が情報表示部５２にて表示される（ステップＳ１３０６）。
【0114】
このように、本実施形態では、クラウドシステム２０が、モバイル端末５０からの要求を受け、作業従事者の過去のバイタル情報と作業品質との相関に基づく作業従事者の作業における傾向情報を生成し、該傾向を示す傾向情報をモバイル端末５０に送信する。これにより、より効果的な作業従事者による作業の維持管理を支援することができる。
【0115】
作業従事者の作業における傾向は、例えば、作業従事者のバイタル情報が特定の条件を満たすとき、ベストプラクティスを発揮できる可能性が高いといった情報である。あるいは、例えば、作業従事者のバイタル情報が特定の条件を満たすとき、ヒヤリハットが起こる可能性があるといった情報である。
【0116】
上述したように本実施形態においては、事象予測モデルにより作業従事者に関する所定事象の発生を予測し、作業従事者へ確認し、確認の結果を事象予測モデルの学習データとして反映するので、作業従事者による良好な作業の維持管理をすることが可能となる。
【0117】
以上、本発明の実施形態について述べてきたが、本発明は、これらの実施形態だけに限定されるものではなく、本発明の技術思想の範囲内において、これらの実施形態を組み合わせて使用したり、一部の構成を変更したりしてもよい。
【符号の説明】
【0118】
１０…動画撮影装置、１１…カメラ、１２，２２…ＣＰＵ、１３，２３…メモリ、１４，２４…顔認証制御部、１５…動画バイタル制御部、１６，２５…行動解析制御部、１７，５１，６１…クラウド通信制御部、１８…カメラ画像制御部、１９，２６，６２…データ保存領域、２０…クラウドシステム、２１…動画撮影装置通信制御部、２７…作業従事者の属性情報、２８…労務管理制御部、２９…情報提供制御部、３０…作業従事者通信制御部、３１…事業者システム生産管理情報、３２…事業者通信制御部、４０…ＡＩサーバ、４１…心身異常予測部、４１ａ…第１心身異常予測部、４２ａ…第２心身異常予測部、４１ｃ…心身異常予測モデル、４２…作業不良予測部、４２ａ…作業不良予測モデル、４３…作業状態予測部、４４…予測制御部、４５，４６…学習部、４７…アドバイス部、４８…データベース、５０…モバイル端末、５２…情報表示部、６０…事業者システム、６３…労務状況管理部、６４…業務管理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】