特開 2023-151501 作業支援システム、携帯端末、作業支援方法及び作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023151501

(43)【公開日】2023-10-16

(54)【発明の名称】作業支援システム、携帯端末、作業支援方法及び作業支援プログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20231005BHJP

   H04M 1/72 20210101ALI20231005BHJP

【ＦＩ】

G06Q50/04

H04M1/72

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022061127

(22)【出願日】2022-03-31

(11)【特許番号】

(45)【特許公報発行日】2023-09-27

(71)【出願人】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(71)【出願人】

【識別番号】513190830

【氏名又は名称】Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】稲葉 芳尚

(72)【発明者】

【氏名】藤野 真人

【テーマコード（参考）】

5K127

5L049

【Ｆターム（参考）】

5K127BA03

5K127JA05

5K127JA07

5K127JA14

5K127JA15

5K127JA25

5K127JA54

5K127KA01

5L049CC03

(57)【要約】

【課題】携帯端末を携帯する作業者の作業を支援する作業支援システムにおいて、携帯端末の通信量を削減する。
【解決手段】作業支援システムは、携帯端末と、前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムであって、
前記携帯端末が有する制御部は、前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する。
【選択図】図１

【特許請求の範囲】

【請求項1】

携帯端末と、
前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムであって、
前記携帯端末が有する制御部は、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する、
作業支援システム。

【請求項2】

前記制御部は、前記携帯端末から前記支援サーバに送信するデータの種別を、単位時間あたりの通信量が低いデータから、高いデータに変更する、請求項１に記載の作業支援システム。

【請求項3】

前記制御部は、作業内容ごとに規定された、作業時間、作業の開始時刻のいずれかを含む条件情報に基づいて、前記作業者の作業行動を判定する、請求項１または２に記載の作業支援システム。

【請求項4】

前記制御部は、
前記作業者の作業時の環境情報を取得し、
作業内容ごとに規定された前記環境情報に対する前記条件情報に基づいて、前記作業者の作業行動を判定する、請求項３に記載の作業支援システム。

【請求項5】

前記環境情報は、前記作業者の作業時に前記制御部が取得する情報であり、前記制御部が取得する情報には、位置情報、画像情報、音声情報、加速度情報のいずれかが含まれる、請求項４に記載の作業支援システム。

【請求項6】

前記条件情報は、前記作業内容ごとの作業実績情報、作業時に取得した、前記作業内容ごとの前記環境情報のいずれか１つ以上に基づいて生成される、請求項４に記載の作業支援システム。

【請求項7】

前記条件情報は、前記作業内容ごとに規定した作業実績情報の指標値、または、前記作業内容ごとに規定した環境情報の指標値に基づいて、作業内容ごとに生成される、請求項６に記載の作業支援システム。

【請求項8】

前記条件情報は、学習モデルを学習することにより生成される、請求項１に記載の作業支援システム。

【請求項9】

前記制御部は、作業者の作業時の環境情報を取得し、
前記条件情報は、作業者の作業時の環境情報を入力データとし、作業者の作業時に作業行動が正常であったか否かを示す情報を正解データとする学習用データセットを用いて、前記学習モデルを学習することにより生成される、請求項８に記載の作業支援システム。

【請求項10】

前記条件情報は、作業内容ごとの前記学習用データセットを用いて、前記学習モデルを学習することにより、作業内容ごとに生成される、請求項９に記載の作業支援システム。

【請求項11】

前記制御部により判定された判定結果が誤っていた場合の、前記作業者の作業時の環境情報を収集し、収集した前記作業者の作業時の環境情報を用いて、対応する作業内容の学習モデルを再学習する、請求項１０に記載の作業支援システム。

【請求項12】

前記制御部は、作業者の作業時の環境情報を取得し、
前記条件情報は、作業者の作業時の環境情報を入力データとして、作業者の作業時に作業行動が正常であったか否かを示す情報を出力するルールベースのモデルである、請求項８に記載の作業支援システム。

【請求項13】

作業者の作業を支援する支援サーバと通信する携帯端末であって、
前記携帯端末が有する制御部は、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する、
携帯端末。

【請求項14】

携帯端末と、
前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムにおける作業支援方法であって、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定する判定工程と、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定された場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する変更工程と
を有する作業支援方法。

【請求項15】

作業者によって携帯される携帯端末であって、前記作業者の作業を支援する支援サーバと通信する前記携帯端末が有する制御部に、
前記作業者の作業内容ごとに規定された条件情報に基づいて、作業者の作業行動を判定する判定工程と、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定された場合、前記携帯端末から支援サーバに送信するデータの種別を変更する変更工程と
を実行させるための作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業支援システム、携帯端末、作業支援方法及び作業支援プログラムに関する。

【背景技術】

【0002】

化学プラント等の各種製造現場では、現場作業者がウェアラブル端末等の携帯端末を携帯し、製造現場にて取得した音声データや動画像データを遠隔にいる支援者にリアルタイムに送信する。これにより、遠隔にいる支援者は、現場作業者が各種作業を行う際、遠隔から音声による指示を送信することが可能となり、現場作業者は、各種作業を円滑に進めることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１７７４７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、現場作業者と遠隔にいる支援者との間で動画像データや音声データを常時送受信する構成とすると、通信量が増大し、通信コストがかかるうえ、携帯端末のバッテリ容量が不足するといった事態も生じ得る。一方で、支援者は、現場作業者の携帯端末より送信される音声データや動画像データを常時監視している必要はなく、例えば、現場作業者の移動中は監視が不要である。また、現場作業者も、作業中に支援者から常時音声指示を受けている必要はなく、支援者による音声指示を必要としない作業内容もある。

【0005】

本開示は、携帯端末を携帯する作業者の作業を支援する作業支援システムにおいて、携帯端末の通信量を削減する。

【課題を解決するための手段】

【0006】

本開示の第１の態様は、
携帯端末と、
前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムであって、
前記携帯端末が有する制御部は、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する。

【0007】

本開示の第１の態様によれば、携帯端末を携帯する作業者の作業を支援する作業支援システムにおいて、携帯端末の通信量を削減することができる。

【0008】

また、本開示の第２の態様は、第１の態様に記載の作業支援システムであって、
前記制御部は、前記携帯端末から前記支援サーバに送信するデータの種別を、単位時間あたりの通信量が低いデータから、高いデータに変更する。

【0009】

また、本開示の第３の態様は、第１または第２の態様に記載の作業支援システムであって、
前記制御部は、作業内容ごとに規定された、作業時間、作業の開始時刻のいずれかを含む条件情報に基づいて、前記作業者の作業行動を判定する。

【0010】

また、本開示の第４の態様は、第３の態様に記載の作業支援システムであって、
前記制御部は、
前記作業者の作業時の環境情報を取得し、
作業内容ごとに規定された前記環境情報に対する前記条件情報に基づいて、前記作業者の作業行動を判定する。

【0011】

また、本開示の第５の態様は、第４の態様に記載の作業支援システムであって、
前記環境情報は、前記作業者の作業時に前記制御部が取得する情報であり、前記制御部が取得する情報には、位置情報、画像情報、音声情報、加速度情報のいずれかが含まれる。

【0012】

また、本開示の第６の態様は、第４の態様に記載の作業支援システムであって、
前記条件情報は、前記作業内容ごとの作業実績情報、作業時に取得した、前記作業内容ごとの前記環境情報のいずれか１つ以上に基づいて生成される。

【0013】

また、本開示の第７の態様は、第６の態様に記載の作業支援システムであって、
前記条件情報は、前記作業内容ごとに規定した作業実績情報の指標値、または、前記作業内容ごとに規定した環境情報の指標値に基づいて、作業内容ごとに生成される。

【0014】

また、本開示の第８の態様は、第１の態様に記載の作業支援システムであって、
前記条件情報は、学習モデルを学習することにより生成される。

【0015】

また、本開示の第９の態様は、第８の態様に記載の作業支援システムであって、
前記制御部は、作業者の作業時の環境情報を取得し、
前記条件情報は、作業者の作業時の環境情報を入力データとし、作業者の作業時の作業行動が正常であったか否かを示す情報を正解データとする学習用データセットを用いて、前記学習モデルを学習することにより生成される。

【0016】

また、本開示の第１０の態様は、第９の態様に記載の作業支援システムであって、
前記条件情報は、作業内容ごとの前記学習用データセットを用いて、前記学習モデルを学習することにより、作業内容ごとに生成される。

【0017】

また、本開示の第１１の態様は、第１０の態様に記載の作業支援システムであって、
前記制御部により判定された判定結果が誤っていた場合の、前記作業者の作業時の環境情報を収集し、収集した前記作業者の作業時の環境情報を用いて、対応する作業内容の学習モデルを再学習する。

【0018】

また、本開示の第１２の態様は、第８の態様に記載の作業支援システムであって、
前記制御部は、作業者の作業時の環境情報を取得し、
前記条件情報は、作業者の作業時の環境情報を入力データとして、作業者の作業時に作業行動が正常であったか否かを示す情報を出力するルールベースのモデルである。

【0019】

また、本開示の第１３の態様は、
作業者の作業を支援する支援サーバと通信する携帯端末であって、
前記携帯端末が有する制御部は、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する。

【0020】

また、本開示の第１４の態様は、
携帯端末と、
前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムにおける作業支援方法であって、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定する判定工程と、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定された場合、前記携帯端末から前記支援サーバに送信するデータの種別を変更する変更工程とを有する。

【0021】

また、本開示の第１５の態様は、
作業者によって携帯される携帯端末であって、前記作業者の作業を支援する支援サーバと通信する前記携帯端末が有する制御部に、
前記作業者の作業内容ごとに規定された条件情報に基づいて、作業者の作業行動を判定する判定工程と、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定された場合、前記携帯端末から支援サーバに送信するデータの種別を変更する変更工程とを実行させる。

【図面の簡単な説明】

【0022】

【図1】作業支援システムのシステム構成の一例を示す図である。

【図2】ウェアラブル端末のハードウェア構成及び管理サーバ装置または支援サーバ装置のハードウェア構成の一例を示す図である。

【図3】条件情報の一例を示す図である。

【図4】ウェアラブル端末の機能構成の一例を示す図である。

【図5】行動判定処理の流れを示すフローチャートである。

【図6】作業実績判定処理の流れを示すフローチャートである。

【図7】環境情報判定処理の流れを示す第１のフローチャートである。

【図8】環境情報判定処理の流れを示す第２のフローチャートである。

【図9】学習フェーズにおけるウェアラブル端末及び管理サーバ装置の機能構成の一例を示す図である。

【図10】学習部の機能構成の一例を示す図である。

【図11】判定フェーズにおけるウェアラブル端末の機能構成の一例を示す図である。

【図12】環境情報判定処理の流れを示す第３のフローチャートである。

【発明を実施するための形態】

【0023】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0024】

［第１の実施形態］
＜作業支援システムのシステム構成＞
はじめに、第１の実施形態に係る作業支援システムのシステム構成について説明する。図１は、作業支援システムのシステム構成の一例を示す図である。図１に示すように、作業支援システム１００は、管理サーバ装置１１０と、ウェアラブル端末１２０と、支援サーバ装置１３０と、支援者端末１４０とを有する。

【0025】

作業支援システム１００において、ウェアラブル端末１２０及び支援者端末１４０は、それぞれ、ネットワーク１５０を介して支援サーバ装置１３０と通信可能に接続される。これにより、ウェアラブル端末１２０と支援者端末１４０とは、支援サーバ装置１３０による管理のもとで双方向通信を行うことができる。

【0026】

また、作業支援システム１００において、ウェアラブル端末１２０は、ネットワーク１５０を介して管理サーバ装置１１０と通信可能に接続される。これにより、ウェアラブル端末１２０は、管理サーバ装置１１０が管理する各種情報（例えば、条件情報）を、管理サーバ装置１１０から取得することができる。

【0027】

管理サーバ装置１１０は、製造現場での現場作業者１６０による作業行動が正常であるのか正常でないのかを判定するための条件情報を有しており、ウェアラブル端末１２０に提供する。

【0028】

なお、化学プラント等の各種製造現場（以下、単に製造現場と称す）での現場作業者１６０による作業行動が正常であるとは、例えば、
・作業スケジュールに規定された作業が、作業スケジュールに規定された時刻に開始され、作業スケジュールに規定された時刻までに終了している、
・作業スケジュールに規定された作業が、所定の時間内に完了している、
・作業スケジュールに規定された現場作業者によって作業が行われている、
といった状態を指す。

【0029】

反対に、製造現場での現場作業者１６０による作業行動が正常でないとは、例えば、
・作業スケジュールに規定された作業が、作業スケジュールに規定された時刻に開始されていない、
・作業スケジュールに規定された作業が、作業スケジュールに規定された時刻までに終了していない、
・作業スケジュールに規定された作業が、所定の時間内に完了していない、
・作業スケジュールに規定された現場作業者以外の現場作業者によって作業が行われている、
といった状態や、
・作業中にウェアラブル端末によって取得された情報（例えば、音声データに基づく音声情報、動画像データに基づく画像情報等）に、正常時には見られない情報が含まれる、
といった状態等のように、条件情報に基づいて規定される範囲から逸脱している状態を指す。

【0030】

また、製造現場での現場作業者１６０による作業とは、例えば、化学プラント等においては、製品の分析作業、点検作業、材料投入作業等が含まれる。

【0031】

ウェアラブル端末１２０は携帯端末の一例であり、製造現場において現場作業者１６０によって装着される端末である。

【0032】

図１に示すように、ウェアラブル端末１２０は、例えば、眼鏡型の形状を有しており、動画像を撮影する機能、音声（例えば、現場作業者１６０の発話）や周囲の音を検出する機能等を有する。

【0033】

また、図１に示すように、ウェアラブル端末１２０は、製造現場の様子を撮影した動画像データや、現場作業者１６０の発話等を検出した音声データを、ネットワーク１５０を介して支援者１７０に送信する機能を有する。これにより、支援者１７０は、現場作業者１６０に音声指示をするのに必要な情報を取得することができる。

【0034】

更に、図１に示すように、ウェアラブル端末１２０は、支援者１７０による音声指示を、ネットワーク１５０を介して音声データとして受信し、現場作業者１６０に出力する機能を有する。これにより、現場作業者１６０は、支援者１７０から適切な音声指示を受けながら、各種作業を円滑に進めることができる。

【0035】

なお、本実施形態において、ウェアラブル端末１２０と、支援者端末１４０との間の双方向通信は、例えば、製造現場での現場作業者１６０による作業行動が正常でないと判定された場合に実行されるものとする。このような構成にすることで、本実施形態に係る作業支援システムによれば、正常であるか否かに関わらず双方向通信を行うよう構成した場合と比較して、現場作業者１６０と支援者１７０との間の通信量を削減することができる。

【0036】

支援サーバ装置１３０は、ウェアラブル端末１２０と支援者端末１４０との間の双方向通信を管理する。具体的には、支援サーバ装置１３０は、ウェアラブル端末１２０から受信した動画像データ、音声データを、支援者端末１４０に送信する。また、支援サーバ装置１３０では、支援者端末１４０から受信した音声データを、ウェアラブル端末１２０に送信する。

【0037】

支援者端末１４０は、例えば、サービスステーションに設置され、ウェアラブル端末１２０により撮影された動画像データや、ウェアラブル端末１２０により検出された音声データを、ネットワーク１５０を介して取得し、支援者１７０に出力する。また、支援者端末１４０は、支援者１７０からの音声指示を受け付け、ネットワーク１５０を介して現場作業者１６０に送信する。これにより、支援者１７０は、現場作業者１６０の作業を遠隔から支援することできる。

【0038】

＜ウェアラブル端末、管理サーバ装置、支援サーバ装置及び支援者端末のハードウェア構成＞
次に、ウェアラブル端末１２０、管理サーバ装置１１０、支援サーバ装置１３０及び支援者端末１４０のハードウェア構成について説明する。図２は、ウェアラブル端末、管理サーバ装置及び支援サーバ装置のハードウェア構成の一例を示す図である。

【0039】

（１）ウェアラブル端末１２０のハードウェア構成
はじめに、ウェアラブル端末１２０のハードウェア構成について説明する。図２（ａ）は、ウェアラブル端末１２０のハードウェア構成の一例を示す図である。

【0040】

図２（ａ）に示すように、ウェアラブル端末１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、通信装置２０４、ＧＰＳ（Global Positioning System）装置２０５、加速度測定装置２０６を有する。また、ウェアラブル端末１２０は、音声入力装置２０７、音声出力装置２０８、撮像装置２０９、接続装置２１０、操作装置２１１、表示装置２１２を有する。なお、ウェアラブル端末１２０を構成する各ハードウェアは、バス２２０を介して相互に接続される。

【0041】

プロセッサ２０１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する作業支援プログラム等）をメモリ２０２上に読み出して実行する。

【0042】

メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータ（「制御部」ともいう）を形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0043】

補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種情報を格納する。

【0044】

通信装置２０４は、管理サーバ装置１１０から各種情報（例えば、条件情報）を受信したり、支援サーバ装置１３０を介して支援者端末１４０との間で双方向通信を行い、各種データ（例えば、動画像データ、音声データ）を送受信するための通信デバイスである。

【0045】

ＧＰＳ装置２０５は、ウェアラブル端末１２０の位置情報を検出する。加速度測定装置２０６は、ウェアラブル端末１２０の３軸方向の加速度情報を測定する。

【0046】

音声入力装置２０７は、ウェアラブル端末１２０を装着した現場作業者１６０の音声や、現場における周囲の音等の音声データを検出する。

【0047】

音声出力装置２０８は、例えば、支援サーバ装置１３０から受信した音声データを、ウェアラブル端末１２０を装着した現場作業者１６０に音声出力する。

【0048】

撮像装置２０９は、ウェアラブル端末１２０を装着した現場作業者１６０の周囲を撮影し、動画像データを生成する。

【0049】

接続装置２１０は、ウェアラブル端末１２０に、付属の各種センサを接続するための接続デバイスである。

【0050】

操作装置２１１は、ウェアラブル端末１２０の電源ＯＮ／ＯＦＦスイッチ等、現場作業者１６０がウェアラブル端末１２０に対して行う簡易操作を受け付ける。

【0051】

表示装置２１２は、例えば、管理サーバ装置１１０から受信した各種情報を、ウェアラブル端末１２０を装着した現場作業者１６０に画像表示する。

【0052】

（２）管理サーバ装置１１０、支援サーバ装置１３０のハードウェア構成
次に、管理サーバ装置１１０、支援サーバ装置１３０のハードウェア構成について説明する。なお、管理サーバ装置１１０と支援サーバ装置１３０とは、同様のハードウェア構成を有することから、ここではまとめて説明する。図２（ｂ）は、管理サーバ装置１１０及び支援サーバ装置１３０のハードウェア構成の一例を示す図である。

【0053】

図２（ｂ）に示すように、管理サーバ装置１１０及び支援サーバ装置１３０は、プロセッサ２３１、メモリ２３２、補助記憶装置２３３、操作装置２３４、表示装置２３５、通信装置２３６、ドライブ装置２３７を有する。なお、管理サーバ装置１１０及び支援サーバ装置１３０を構成する各ハードウェアは、バス２３８を介して相互に接続される。

【0054】

プロセッサ２３１は、ＣＰＵ、ＧＰＵ（Graphic Processing Unit）等の各種演算デバイスを有する。プロセッサ２３１は、各種プログラム（例えば、後述する管理プログラム、支援プログラム等）をメモリ２３２上に読み出して実行する。

【0055】

メモリ２３２は、ＲＯＭ、ＲＡＭ等の主記憶デバイスを有する。プロセッサ２３１とメモリ２３２とは、いわゆるコンピュータを形成し、プロセッサ２３１が、メモリ２３２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0056】

補助記憶装置２３３は、各種プログラムや、各種プログラムがプロセッサ２３１によって実行される際に用いられる各種データ（管理サーバ装置１１０の場合にあっては、ウェアラブル端末１２０にて用いられる条件情報）を格納する。

【0057】

操作装置２３４は、管理サーバ装置１１０、支援サーバ装置１３０の管理者が各種操作を行うための操作デバイスである。表示装置２３５は、管理サーバ装置１１０、支援サーバ装置１３０により実行される各種処理の処理結果を表示する表示デバイスである。

【0058】

通信装置２３６は、ネットワーク１５０を介して外部装置（例えば、ウェアラブル端末１２０、支援者端末１４０）と通信を行うための通信デバイスである。

【0059】

ドライブ装置２３７は、記録媒体２４０をセットするためのデバイスである。ここでいう記録媒体２４０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２４０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0060】

なお、補助記憶装置２３３にインストールされる各種プログラムは、例えば、配布された記録媒体２４０がドライブ装置２３７にセットされ、該記録媒体２４０に記録された各種プログラムがドライブ装置２３７により読み出されることでインストールされる。あるいは、補助記憶装置２３３にインストールされる各種プログラムは、通信装置２３６を介してネットワーク１５０からダウンロードされることで、インストールされてもよい。

【0061】

（３）支援者端末１４０のハードウェア構成
支援者端末１４０のハードウェア構成は、管理サーバ装置１１０または支援サーバ装置１３０と概ね同じハードウェア構成であるため、ここでは説明を省略する。なお、支援者端末１４０には、管理サーバ装置１１０または支援サーバ装置１３０のハードウェア構成に加えて、更に、音声入力装置及び音声出力装置が備えられているものとする。また、支援者端末１４０の補助記憶装置には、支援サーバ装置１３０を介してウェアラブル端末１２０と双方向通信を行うための双方向通信プログラムがインストールされているものとする。

【0062】

＜条件情報の具体例＞
次に、管理サーバ装置１１０が有する条件情報について説明する。図３は、条件情報の一例を示す図である。条件情報３００は、製造現場での現場作業者１６０による作業行動が正常であるのか正常でないのかを、ウェアラブル端末１２０が判定する際に用いられる。図３に示すように、条件情報３００は、スケジュール情報３１０と正常範囲情報３２０とを有する。

【0063】

スケジュール情報３１０は、ウェアラブル端末１２０が、
・作業スケジュールに規定された作業が、作業スケジュールに規定された時刻に開始され、作業スケジュールに規定された時刻までに終了しているか否か、
・作業スケジュールに規定された作業が、所定の時間内に完了しているか否か、
・作業スケジュールに規定された現場作業者によって作業が行われているか否か、
等を判定する際に用いられる。

【0064】

図３に示すように、スケジュール情報３１０は、現場作業者１６０（現場作業者名＝"α"）が作業を行う日の１日分のスケジュールを規定する。具体的には、スケジュール情報３１０は、作業内容（例えば、"作業Ａ"、"作業Ｂ"、"作業Ｃ"）と、各作業内容の作業開始時刻、作業終了時刻、作業時間と、許容範囲（指標値）とを規定する。なお、スケジュール情報３１０は、作業以外の行動（例えば、"移動"）についても規定する。

【0065】

また、スケジュール情報３１０が規定する許容範囲は、予め複数の現場作業者がウェアラブル端末を装着して各作業を行い、作業行動が正常であると判定された際の作業開始時刻、作業終了時刻、作業時間のばらつきに基づいて規定したものである。

【0066】

一方、正常範囲情報３２０は、ウェアラブル端末１２０が、
・作業中にウェアラブル端末によって取得された情報（例えば、音声データに基づく音声情報、動画像データに基づく画像情報等）において、正常時には見られない情報が含まれるか否か、
を判定する際に用いられる。

【0067】

図３において、正常範囲情報３２０が規定する各正常範囲は、予め複数の現場作業者がウェアラブル端末を装着して各作業を行い、作業中にウェアラブル端末にて取得された情報のうち、作業行動が正常であると判定された際に取得された情報に基づいて規定される。

【0068】

例えば、"正常範囲Ａ１"は、作業内容＝"作業Ａ"について、複数の現場作業者がウェアラブル端末を装着して作業を行い、作業行動が正常であると判定された場合において、作業中にＧＰＳ装置２０５が検出した位置情報のばらつきにより規定される。

【0069】

なお、位置情報のばらつきとは、例えば、絶対座標系におけるｘ軸の最大値及び最小値、ｙ軸の最大値及び最小値、ｚ軸の最大値及び最小値を指す。ただし、位置情報のばらつきはこれに限定されるものではなく、検出した位置情報を統計処理して得られた値であってもよい。

【0070】

また、"正常範囲Ａ２"は、作業内容＝"作業Ａ"について、複数の現場作業者がウェアラブル端末を装着して作業を行い、作業行動が正常であると判定された場合において、撮像装置２０９が撮影した動画像データに基づく画像情報のばらつきにより規定される。

【0071】

なお、動画像データに基づく画像情報のばらつきとは、例えば、動画像データに写る、製造現場に設置された計測器が指し示す計測値のばらつきや、製造現場に設置された操作端が指し示す操作位置のばらつき等を指す。

【0072】

また、"正常範囲Ａ３"は、作業内容＝"作業Ａ"について、複数の現場作業者がウェアラブル端末を装着して作業を行い、作業行動が正常であると判定された場合において、音声入力装置２０７が取得した音声データに基づく音声情報のばらつきにより規定される。

【0073】

なお、音声データに基づく音声情報のばらつきとは、例えば、音声データをスペクトル解析することで算出される周波数ごとの強度のばらつきであり、"正常範囲Ａ３"は当該ばらつきに基づいて算出される、異常音を検出するための強度の閾値を指す。

【0074】

また、"正常範囲Ａ４"は、作業内容＝"作業Ａ"について、複数の現場作業者がウェアラブル端末を装着して作業を行い、作業行動が正常であると判定された場合において、加速度測定装置２０６が測定した加速度情報のばらつきにより規定される。

【0075】

なお、加速度情報のばらつきとは、例えば、ｘ軸方向の加速度データの最大値及び最小値、ｙ軸方向の加速度データの最大値及び最小値、ｚ軸方向の加速度データの最大値及び最小値を指す。ただし、加速度情報のばらつきはこれに限定されるものではなく、測定した加速度情報を統計処理して得られた値であってもよい。

【0076】

また、"正常範囲Ａ５"とは、作業内容＝"作業Ａ"について、複数の現場作業者がウェアラブル端末を装着して作業を行い、作業行動が正常であると判定された場合において、付属センサが検出した付属センサ情報のばらつきにより規定される。

【0077】

なお、付属センサ情報のばらつきとは、例えば、付属センサが特定のガスを検出するセンサにあっては、当該ガスの濃度のばらつきであり、"正常範囲Ａ５"は、当該ばらつきに基づいて算出される、特定のガスが発生したことを検出するための濃度の閾値を指す。

【0078】

＜ウェアラブル端末の機能構成＞
次に、ウェアラブル端末１２０の機能構成について説明する。図４は、ウェアラブル端末の機能構成の一例を示す図である。上述したように、ウェアラブル端末１２０には作業支援プログラムがインストールされており、当該プログラムが実行されることで、ウェアラブル端末１２０は、
・条件情報取得部４１０、
・位置情報取得部４２１、
・加速度情報取得部４２２、
・付属センサ情報取得部４２３、
・音声データ取得部４２４、
・動画像データ取得部４２５、
・音声データ出力部４２６、
・音声認識部４３１、
・音声解析部４３２、
・画像認識部４３３、
・判定部４３０、
・双方向通信部４４０、
として機能する。

【0079】

このうち、条件情報取得部４１０は、管理サーバ装置１１０より条件情報を取得し、判定部４３０に通知する。

【0080】

位置情報取得部４２１は、現場作業者１６０の作業時にＧＰＳ装置２０５により検出された位置情報を取得し、判定部４３０に通知する。

【0081】

加速度情報取得部４２２は、現場作業者１６０の作業時に加速度測定装置２０６により測定された加速度情報を取得し、判定部４３０に通知する。

【0082】

付属センサ情報取得部４２３は、現場作業者１６０の作業時に付属センサにより検出された付属センサ情報を取得し、判定部４３０に通知する。

【0083】

音声データ取得部４２４は、現場作業者１６０の作業時に音声入力装置２０７により検出された音声データを取得し、音声認識部４３１を介して、あるいは、音声解析部４３２を介して、判定部４３０に通知する。また、音声データ取得部４２４は、判定部４３０により双方向通信を行うと判定された場合にあっては、取得した音声データを、双方向通信部４４０に通知する。

【0084】

動画像データ取得部４２５は、現場作業者１６０の作業時に撮像装置２０９により撮影された動画像データを取得し、画像認識部４３３を介して判定部４３０に通知する。また、動画像データ取得部４２５は、判定部４３０により双方向通信を行うと判定された場合にあっては、取得した動画像データを、双方向通信部４４０に通知する。

【0085】

音声データ出力部４２６は、判定部４３０により双方向通信を行うと判定された場合に、支援サーバ装置１３０を介して支援者端末１４０より送信された音声データを出力する。

【0086】

音声認識部４３１は、音声データ取得部４２４より音声データが通知されると、音声認識処理を行い、現場作業者１６０の発話から、作業が開始されたことを示す情報及び作業が終了されたことを示す情報を抽出し、判定部４３０に通知する。

【0087】

音声解析部４３２は、音声データ取得部４２４より音声データが通知されると、スペクトル解析を行うことで算出される周波数ごとの強度を、音声情報として、判定部４３０に通知する。

【0088】

画像認識部４３３は、動画像データ取得部４２５より動画像データが通知されると、画像認識処理を行い、動画像データの各フレームに写る計測器の計測値や、操作端の操作位置を認識し、認識した結果を、画像情報として、判定部４３０に通知する。

【0089】

判定部４３０は、条件情報取得部４１０から通知された条件情報３００に含まれるスケジュール情報３１０と、音声認識部４３１より通知された、作業が開始されたことを示す情報及び作業が終了されたことを示す情報とに基づいて、
・作業スケジュールに規定された作業が、作業スケジュールに規定された時刻に開始され、作業スケジュールに規定された時刻までに終了しているか否か（許容範囲内か否か）、
・作業スケジュールに規定された作業が、所定の時間内に完了しているか否か（許容範囲内か否か）、
・作業スケジュールに規定された現場作業者によって作業が行われているか否か、
といった観点で作業行動を判定する。なお、スケジュール情報３１０との比較に用いられる、作業が開始されたことを示す情報及び作業が終了されたことを示す情報を総称して、以下では、「作業実績情報」と称す。

【0090】

また、判定部４３０は、条件情報取得部４１０から通知された条件情報に含まれる正常範囲情報３２０と、
・位置情報取得部４２１から通知された位置情報、
・加速度情報取得部４２２から通知された加速度情報、
・付属センサ情報取得部４２３から通知された付属センサ情報、
・音声解析部４３２から通知された音声情報、
・画像認識部４３３から通知された画像情報、
とをそれぞれ比較し、作業中にウェアラブル端末によって取得された情報に、正常時には見られない情報が含まれるかといった観点で作業行動を判定する。なお、現場作業者１６０の作業時に取得され、正常範囲情報３２０との比較に用いられる位置情報、加速度情報、付属センサ情報、音声情報、画像情報を総称して、以下では、「環境情報」と称す。

【0091】

また、判定部４３０は、判定の結果（現場作業者１６０による作業行動が正常である／正常でない）を双方向通信部４４０に通知する。

【0092】

双方向通信部４４０は、判定部４３０より判定結果が通知された場合であって、現場作業者１６０による作業行動が正常でないと判定された場合、双方向通信を開始する。具体的には、双方向通信部４４０は、音声データ取得部４２４より通知された音声データと、動画像データ取得部４２５より通知された動画像データとを、支援サーバ装置１３０を介して、支援者端末１４０に送信する。また、双方向通信部４４０は、支援サーバ装置１３０を介して支援者端末１４０より受信した音声データを、音声データ出力部４２６に通知する。

【0093】

＜ウェアラブル端末による行動判定処理＞
次に、ウェアラブル端末１２０による行動判定処理について説明する。図５は、行動判定処理の流れを示すフローチャートである。

【0094】

ステップＳ５０１において、条件情報取得部４１０は、管理サーバ装置１１０より条件情報を取得する。

【0095】

ステップＳ５０２において、判定部４３０は、作業実績情報及び環境情報の取得を開始する。

【0096】

ステップＳ５０３において、判定部４３０は、条件情報３００に含まれるスケジュール情報３１０と、作業実績情報とを比較し、現場作業者１６０による作業行動が正常であるか否かを判定する「作業実績判定処理」を行う。なお、作業実績判定処理の詳細は後述する。

【0097】

ステップＳ５０４において、判定部４３０は、条件情報３００に含まれる正常範囲情報３２０と、環境情報とを比較し、現場作業者１６０による作業行動が正常であるか否かを判定する「環境情報判定処理」を行う。なお、環境情報判定処理の詳細は後述する。

【0098】

ステップＳ５０５において、判定部４３０は、現場作業者１６０による作業行動が正常である状態から、正常でない状態に遷移したか否かを判定する。

【0099】

ステップＳ５０６において、正常である状態から正常でない状態に遷移していないと判定した場合には（ステップＳ５０５においてＮＯの場合には）、ステップＳ５０７に進む。正常である状態から正常でない状態に遷移していないとは、
・正常である状態のままである、
・正常でない状態のままである、
・正常でない状態から正常である状態に遷移した、
のいずれかのケースに該当する場合である。

【0100】

ステップＳ５０７において、判定部４３０は、現場作業者１６０による作業行動が正常でない状態から正常である状態に遷移したか否かを判定する。

【0101】

ステップＳ５０７において、正常でない状態から正常である状態に遷移していないと判定した場合には（ステップＳ５０７においてＮＯの場合には）、ステップＳ５０９に進む。正常でない状態から正常である状態に遷移していないとは、
・正常である状態のままである、
・正常でない状態のままである、
のいずれかのケースに該当する場合である。

【0102】

一方、ステップＳ５０７において、正常でない状態から正常である状態に遷移したと判定した場合には（ステップＳ５０７においてＹＥＳの場合には）、ステップＳ５０８に進む。

【0103】

ステップＳ５０８において、判定部４３０は、双方向通信を終了すると判定し、双方向通信部４４０に通知する。これにより、双方向通信部４４０は、双方向通信を終了する。

【0104】

また、ステップＳ５０５において、正常である状態から正常でない状態に遷移したと判定した場合には（ステップＳ５０５においてＹＥＳの場合には）、ステップＳ５０６に進む。

【0105】

ステップＳ５０６において、判定部４３０は、双方向通信を開始すると判定し、双方向通信部４４０に通知する。これにより、双方向通信部４４０は、双方向通信を開始する。

【0106】

ステップＳ５０９において、判定部４３０は、行動判定処理を終了するか否かを判定する。ステップＳ５０９において、行動判定処理を終了しないと判定した場合には（ステップＳ５０９においてＮＯの場合には）、ステップＳ５０３に戻る。

【0107】

一方、ステップＳ５０９において、行動判定処理を終了すると判定した場合には、ステップＳ５０９においてＹＥＳの場合には）、ステップＳ５１０に進む。

【0108】

ステップＳ５１０において、判定部４３０は、作業実績情報及び環境情報の取得を終了し、行動判定処理を終了する。

【0109】

＜作業実績判定処理の流れ＞
次に、作業実績判定処理（ステップＳ５０３）の詳細について説明する。図６は、作業実績判定処理の流れを示すフローチャートである。

【0110】

ステップＳ６０１において、判定部４３０は、音声認識部４３１が作業の開始を示す情報について音声認識したか否かを判定する。ステップＳ６０１において、作業の開始を示す音声について音声認識していないと判定した場合には（ステップＳ６０１においてＮＯの場合には）、ステップＳ６０２に進む。

【0111】

ステップＳ６０２において、判定部４３０は、スケジュール情報３１０に基づいて、現在時刻における作業予定を認識する。

【0112】

一方、ステップＳ６０１において、作業の開始を示す音声について音声認識したと判定した場合には（ステップＳ６０１においてＹＥＳの場合には）、ステップＳ６０３に進む。

【0113】

ステップＳ６０３において、判定部４３０は、音声認識部４３１が音声認識した作業内容を認識する。

【0114】

ステップＳ６０４において、判定部４３０は、スケジュール情報３１０に規定された作業の開始時刻に対して、遅延したか否かを判定する。ステップＳ６０４において、作業の開始時刻に対して遅延したと判定した場合には（ステップＳ６０４においてＹＥＳの場合には）、ステップＳ６１０に進む。

【0115】

なお、作業の開始時刻に対して遅延したと判定した場合とは、
・現在時刻が、スケジュール情報３１０に規定された作業の開始時刻の許容範囲を超えているが、当該作業の開始を示す音声について未だ音声認識していない場合、または、
・スケジュール情報３１０に規定された作業内容について作業の開始を示す音声を音声認識したが、音声認識した時刻が、スケジュール情報３１０に規定された開始時刻の許容範囲を超えていた場合、
が含まれる。

【0116】

一方、ステップＳ６０４において、作業の開始時刻に対して遅延していないと判定した場合には（ステップ６０４においてＮＯの場合には）、ステップＳ６０５に進む。

【0117】

ステップＳ６０５において、判定部４３０は、音声認識部４３１が作業の終了を示す音声について音声認識したか否かを判定する。ステップＳ６０５において、作業の終了を示す音声について音声認識していないと判定した場合には（ステップＳ６０５においてＮＯの場合には）、ステップＳ６０６に進む。

【0118】

ステップＳ６０６において、判定部４３０は、スケジュール情報３１０に基づいて、現在時刻における作業予定を認識する。

【0119】

一方、ステップＳ６０５において、作業の終了を示す音声について音声認識したと判定した場合には（ステップＳ６０５においてＹＥＳの場合には）、ステップＳ６０７に進む。

【0120】

ステップＳ６０７において、判定部４３０は、音声認識部４３１が音声認識した作業内容を認識する。

【0121】

ステップＳ６０８において、判定部４３０は、スケジュール情報３１０において規定された作業の終了時刻に対して、遅延したか否かを判定する。ステップＳ６０８において、作業の終了時刻に対して遅延したと判定した場合には（ステップＳ６０８においてＹＥＳの場合には）、ステップＳ６１０に進む。

【0122】

なお、作業の終了時刻に対して遅延したと判定した場合とは、
・現在時刻が、スケジュール情報３１０に規定された作業の終了時刻の許容範囲を超えているが、当該作業の終了を示す情報について未だ音声認識していない場合、または、
・スケジュール情報３１０に規定された作業内容について作業の終了を示す音声を音声認識したが、音声認識した時刻が、スケジュール情報３１０に規定された終了時刻の許容範囲を超えている場合、
が含まれる。

【0123】

ステップＳ６０９において、判定部４３０は、スケジュール情報３１０に規定された作業時間に対して、実際の作業時間がオーバしたか否かを判定する。ステップＳ６０９において、実際の作業時間がオーバしたと判定した場合には（ステップＳ６０９においてＹＥＳの場合には）、ステップＳ６１０に進む。

【0124】

ステップＳ６１０において、判定部４３０は、現場作業者１６０による作業行動が正常でないと判定し、図５のステップＳ５０４に戻る。

【0125】

一方、ステップＳ６０９において、実際の作業時間がオーバしていないと判定した場合には（ステップＳ６０９においてＮＯの場合には）、直接、図５のステップＳ５０４に戻る。

【0126】

＜環境情報判定処理の流れ＞
次に、環境情報判定処理（ステップＳ５０４）の詳細について説明する。図７は、環境情報判定処理の流れを示す第１のフローチャートである。

【0127】

ステップＳ７０１において、判定部４３０は、スケジュール情報に基づいて、現在の作業内容を識別する。

【0128】

ステップＳ７０２において、判定部４３０は、作業内容が変更されたか否かを判定する。ステップＳ７０２において、作業内容が変更されていないと判定した場合には（ステップＳ７０２においてＮＯの場合には）、ステップＳ７０４に進む。

【0129】

一方、ステップＳ７０２において、作業内容が変更されたと判定した場合には（ステップＳ７０２においてＹＥＳの場合には）、ステップＳ７０３に進む。

【0130】

ステップＳ７０３において、判定部４３０は、ステップＳ７０１において識別した作業内容に応じた正常範囲情報を取得する。

【0131】

ステップＳ７０４において、判定部４３０は、環境情報を取得する。

【0132】

ステップＳ７０５において、判定部４３０は、ステップＳ７０４において取得した環境情報のいずれかが、ステップＳ７０３において取得した正常範囲情報３２０内の対応する正常範囲を超えたか否かを判定する。

【0133】

ステップＳ７０５において、超えていないと判定した場合には（ステップＳ７０５においてＮＯの場合には）、図５のステップＳ５０５に戻る。

【0134】

一方、ステップＳ７０５において、正常範囲を超えたと判定した場合には（ステップＳ７０５においてＹＥＳの場合には）、ステップＳ７０６に進む。

【0135】

ステップＳ７０６において、判定部４３０は、現場作業者１６０による作業行動が正常でないと判定し、図５のステップＳ５０５に戻る。

【0136】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る作業支援システム１００は、
・ウェアラブル端末と、該ウェアラブル端末と通信し、該ウェアラブル端末を装着する現場作業者の作業を支援する支援者端末とを有する。
・ウェアラブル端末が、現場作業者の作業内容ごとに規定された条件情報に基づいて、現場作業者の作業行動を判定する。
・現場作業者の作業行動が、条件情報において規定される範囲（許容範囲または正常範囲）から逸脱していると判定された場合、支援者端末との間で双方向通信を開始する。

【0137】

このように、第１の実施形態では、現場作業者の作業行動が、条件情報において規定される範囲から逸脱していると判定された場合に双方向通信を開始する構成とする。これにより、第１の実施形態によれば、逸脱しているか否かに関わらず、双方向通信を行うよう構成した場合と比較して、通信量を削減することができる。

【0138】

つまり、第１の実施形態によれば、ウェアラブル端末を装着する現場作業者の作業を支援する作業支援システムにおいて、ウェアラブル端末の通信量を削減することができる。

【0139】

［第２の実施形態］
上記第１の実施形態では、環境情報のいずれかが、正常範囲情報３２０内の対応する正常範囲を超えたと判定した場合に、現場作業者による作業行動が正常でないと判定するものとして説明した。しかしながら、現場作業者による作業行動が正常であるか正常でないかの判定方法はこれに限定されない。

【0140】

環境情報のいずれか複数の組み合わせが、正常範囲情報３２０内の対応する正常範囲の組み合わせをそれぞれ超えたと判定した場合に、現場作業者による作業行動が正常でないと判定するように構成してもよい。なお、このときの組み合わせパターンは、所定の判定ルール（ルールベースのモデル）として予め規定しておき、判定部４３０では、環境情報を取得するごとに、全ての組み合わせパターンについて、該当するか否かを判定するように構成してもよい。なお、当該判定ルールは、作業内容ごとに規定されてもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0141】

＜環境情報判定処理の流れ＞
図８は、環境情報判定処理の流れを示す第２のフローチャートである。図７に示した環境情報判定処理との相違点は、ステップＳ８０１及びＳ８０２である。

【0142】

ステップＳ８０１において、判定部４３０は、環境情報を取得し、判定ルールに含まれる組み合わせパターンと対比する。

【0143】

ステップＳ８０２において、判定部４３０は、取得した環境情報が、判定ルールに含まれる組み合わせパターンのうち、いずれかの組み合わせパターンに該当するか否かを判定する。

【0144】

ステップＳ８０２において、いずれかの組み合わせパターンに該当すると判定した場合には（ステップＳ８０２においてＹＥＳの場合には）、ステップＳ７０６に進む。一方、ステップＳ８０２において、いずれの組み合わせパターンにも該当しないと判定した場合には（ステップＳ８０２においてＮＯの場合には）、図５のステップＳ５０５に戻る。

【0145】

＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る作業支援システム１００は、
・ウェアラブル端末が、現場作業者の作業時の環境情報を取得する。
・ウェアラブル端末が、現場作業者の作業時の環境情報を入力データとして、現場作業者による作業行動が正常であるか否かを判定するルールベースのモデルを用いて、現場作業者による作業行動が正常であるか否かを判定する。

【0146】

これにより、第２の実施形態によれば、第１の実施形態と同様の効果を享受することができる。

【0147】

［第３の実施形態］
上記第２の実施形態では、ルールベースのモデルを用いて、環境情報から現場作業者による作業行動が正常であるか否かを判定する構成とした。これに対して、第３の実施形態では、環境情報と、現場作業者による作業行動が正常であるか否かとの関係を機械学習する学習モデルを用いて、環境情報から現場作業者による作業が正常であるか否かを判定する。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。

【0148】

＜学習フェーズにおけるウェアラブル端末及び管理サーバの機能構成＞
はじめに、学習フェーズにおけるウェアラブル端末及び管理サーバの機能構成について説明する。図９は、学習フェーズにおけるウェアラブル端末及び管理サーバ装置の機能構成の一例を示す図である。

【0149】

図９に示すように、学習フェーズにおいては、複数のウェアラブル端末を用いて環境情報を収集する。図９の例は、便宜上、３台のウェアラブル端末１２０＿１～１２０＿３を示しているが、環境情報の収集に用いるウェアラブル端末は、３台以上であってもよい。

【0150】

また、図９に示すように、複数のウェアラブル端末１２０＿１～１２０＿３等は、それぞれ、
・位置情報取得部４２１、
・加速度情報取得部４２２、
・付属センサ情報取得部４２３、
・音声データ取得部４２４、
・音声解析部４３２、
・動画像データ取得部４２５、
・画像認識部４３３、
・環境情報収集部９１０、
・送信部９１１、
を有する。なお、位置情報取得部４２１～画像認識部４３３の機能は、図４を用いて説明済みであるため、ここでは説明を省略する。

【0151】

環境情報収集部９１０は、位置情報取得部４２１～画像認識部４３３から、環境情報として、位置情報、加速度情報、付属センサ情報、音声情報、画像情報を取得する。また、環境情報収集部９１０は、環境情報を取得した際に、現場作業者が行っていた作業内容を判定し、環境情報を、作業内容ごとに分けて環境情報格納部９１２に格納する。

【0152】

送信部９１１は、環境情報格納部９１２に格納された、作業内容ごとの環境情報を、管理サーバ装置１１０に送信する。

【0153】

また、図９に示すように、学習フェーズにおいて、管理サーバ装置１１０は、学習用データセット生成部９２０、学習部９２１として機能する。

【0154】

学習用データセット生成部９２０は、複数のウェアラブル端末１２０＿１～１２０＿３等より送信された、作業内容ごとの環境情報を、状態情報と対応付けて、学習用データセットとして学習用データセット格納部９２２に格納する。なお、状態情報とは、環境情報が取得された際に各現場作業者により行われた作業行動が正常であったか正常でなかったかを示す情報である。

【0155】

学習部９２１は、学習用データセット格納部９２２に格納された学習用データセットを読み出し、読み出した学習用データセットを用いて、作業内容ごとに学習処理を行う。なお、学習部９２１により作業内容ごとに学習処理が行われることで生成された学習済みのモデルは、ウェアラブル端末にて実行される。

【0156】

＜学習部の機能構成＞
次に、学習部９２１の機能構成について説明する。図１０は、学習部の機能構成の一例を示す図である。図１０に示すように、学習部９２１は、作業内容ごとにモデルと比較／変更部とを有する。なお、図１０の例は、説明の便宜上、作業内容として"作業Ａ"、"作業Ｂ"、"作業Ｃ"が含まれ、３つの作業に対応するモデルについて学習処理を行う場合を示している。ただし、作業内容は、３種類に限定されず、例えば、３つ以上の作業に対応するモデルについて、それぞれ、学習処理を行ってもよい。

【0157】

作業Ａ用モデル１００１には、学習用データセット１０１０＿１～１０１０＿３等のうち、作業内容＝"作業Ａ"に対応する環境情報が、入力データとして入力される。また、作業Ａ用モデル１００１は、入力データが入力されることで動作し、出力データを出力する。

【0158】

比較／変更部１００２は、学習用データセット１０１０＿１～１０１０＿３等のうち、作業内容＝"作業Ａ"に対応する正解データが入力され、作業Ａ用モデル１００１より出力された出力データとの比較を行う。また、比較／変更部１００２は、比較の結果に基づいて作業Ａ用モデル１００１のモデルパラメータを更新することで、作業Ａ用モデル１００１に対して学習処理を行う。これにより、作業Ａ用の学習済みモデルが生成される。作業Ａ用の学習済みモデルは、第１の実施形態における条件情報３００の正常範囲情報３２０において作業内容＝"作業Ａ"に対応付けられた正常範囲（指標値）に相当する。

【0159】

同様に、作業Ｂ用モデル１０１１には、学習用データセット１０１０＿１～１０１０＿３等のうち、作業内容＝"作業Ｂ"に対応する環境情報が、入力データとして入力される。また、作業Ｂ用モデル１０１１は、入力データが入力されることで動作し、出力データを出力する。

【0160】

比較／変更部１０１２は、学習用データセット１０１０＿１～１０１０＿３等のうち、作業内容＝"作業Ｂ"に対応する正解データが入力され、作業Ｂ用モデル１０１１より出力された出力データとの比較を行う。また、比較／変更部１０１２は、比較の結果に基づいて作業Ｂ用モデル１０１１のモデルパラメータを更新することで、作業Ｂ用モデル１０１１に対して学習処理を行う。これにより、作業Ｂ用の学習済みモデルが生成される。作業Ｂ用の学習済みモデルは、第１の実施形態における条件情報３００の正常範囲情報３２０において作業内容＝"作業Ｂ"に対応付けられた正常範囲（指標値）に相当する。

【0161】

同様に、作業Ｃ用モデル１０２１には、学習用データセット１０１０＿１～１０１０＿３等のうち、作業内容＝"作業Ｃ"に対応する環境情報が、入力データとして入力される。また、作業Ｃ用モデル１０２１は、入力データが入力されることで動作し、出力データを出力する。

【0162】

比較／変更部１０２２は、学習用データセット１０１０＿１～１０１０＿３等のうち、作業内容＝"作業Ｃ"に対応する正解データが入力され、作業Ｃ用モデル１０２１より出力された出力データとの比較を行う。また、比較／変更部１０２２は、比較の結果に基づいて作業Ｃ用モデル１０２１のモデルパラメータを更新することで、作業Ｃ用モデル１０２１に対して学習処理を行う。これにより、作業Ｃ用の学習済みモデルが生成される。作業Ｃ用の学習済みモデルは、第１の実施形態における条件情報３００の正常範囲情報３２０において作業内容＝"作業Ｃ"に対応付けられた正常範囲（指標値）に相当する。

【0163】

＜判定フェーズにおけるウェアラブル端末の機能構成＞
次に、判定フェーズにおけるウェアラブル端末の機能構成について説明する。図１１は、判定フェーズにおけるウェアラブル端末の機能構成の一例を示す図である。

【0164】

図１１に示すように、判定フェーズにおけるウェアラブル端末１１００は、
・条件情報取得部４１０、
・位置情報取得部４２１、
・加速度情報取得部４２２、
・付属センサ情報取得部４２３、
・音声データ取得部４２４、
・動画像データ取得部４２５、
・音声データ出力部４２６、
・音声認識部４３１、
・音声解析部４３２、
・画像認識部４３３、
・作業実績判定部１１１０、
・環境情報判定部１１２０、
・双方向通信部１１３０、
を有する。

【0165】

なお、条件情報取得部４１０～画像認識部４３３の機能は、図４を用いて説明済みであるため、ここでは説明を省略する。

【0166】

作業実績判定部１１１０は、条件情報取得部４１０から通知された条件情報３００に含まれるスケジュール情報３１０と、音声認識部４３１より通知された作業実績情報とに基づいて、
・作業スケジュールに規定された作業が、作業スケジュールに規定された時刻に開始され、作業スケジュールに規定された時刻までに終了しているか否か、
・作業スケジュールに規定された作業が、所定の時間内に完了しているか否か、
・作業スケジュールに規定された現場作業者によって作業が行われているか否か、
等を判定する。また、作業実績判定部１１１０は、判定結果を双方向通信部１１３０に通知する。

【0167】

環境情報判定部１１２０は、作業Ａ用学習済みモデル１１２１、作業Ｂ用学習済みモデル１１２２、作業Ｃ用学習済みモデル１１２３を有する。

【0168】

作業Ａ用学習済みモデル１１２１は、条件情報取得部４１０より通知されたスケジュール情報３１０に基づいて、現在の作業内容が"作業Ａ"であると判定した場合に動作する。環境情報が入力されると、作業Ａ用学習済みモデル１１２１は、現場作業者１６０による作業行動が正常であるか正常でないかを推論し、推論結果を双方向通信部１１３０に通知する。

【0169】

同様に、作業Ｂ用学習済みモデル１１２２は、条件情報取得部４１０より通知されたスケジュール情報３１０に基づいて、現在の作業内容が"作業Ｂ"であると判定した場合に動作する。環境情報が入力されると、作業Ｂ用学習済みモデル１１２２は、現場作業者１６０による作業行動が正常であるか正常でないかを推論し、推論結果を双方向通信部１１３０に通知する。

【0170】

同様に、作業Ｃ用学習済みモデル１１２３は、条件情報取得部４１０より通知されたスケジュール情報３１０に基づいて、現在の作業内容が"作業Ｃ"であると判定した場合に動作する。環境情報が入力されると、作業Ｃ用学習済みモデル１１２３は、現場作業者１６０による作業行動が正常であるか正常でないかを推論し、推論結果を双方向通信部１１３０に通知する。

【0171】

このように、本実施形態において、作業Ａ用学習済みモデル１１２１～作業Ｃ用学習済みモデル１１２３は、上記第１及び第２の実施形態における条件情報３００の正常範囲情報３２０に対応する。

【0172】

双方向通信部１１３０は、作業実績判定部１１１０より判定結果が通知された場合であって、現場作業者１６０による作業行動が正常でないと判定された場合、双方向通信を開始する。あるいは、双方向通信部１１３０は、環境情報判定部１１２０より推論結果が通知された場合であって、現場作業者１６０による作業行動が正常でないと推論された場合、双方向通信を開始する。

【0173】

具体的には、双方向通信部１１３０は、音声データ取得部４２４より通知された音声データと、動画像データ取得部４２５より通知された動画像データとを、支援サーバ装置１３０を介して、支援者端末１４０に送信する。また、双方向通信部４４０は、支援サーバ装置１３０を介して支援者端末１４０より受信した音声データを、音声データ出力部４２６に通知する。

【0174】

＜環境情報判定処理の流れ＞
次に、ウェアラブル端末１１００による環境情報判定処理の詳細について説明する。図１２は、環境情報判定処理の流れを示す第３のフローチャートである。図７に示した環境情報判定処理との相違点は、ステップＳ１２０１～Ｓ１２０３である。

【0175】

ステップＳ１２０１において、環境情報判定部１１２０は、作業内容に応じた学習済みモデルに切り替える。

【0176】

ステップＳ１２０２において、環境情報判定部１１２０は、環境情報を取得し、取得した環境情報を、切り替えた学習済みモデルに入力する。これにより、学習済みモデルは、推論結果を出力する。

【0177】

ステップＳ１２０３において、環境情報判定部１１２０は、現場作業者１６０による作業行動が正常であるとの推論結果であったか、正常でないとの推論結果であったかを判定する。ステップＳ１２０３において、正常であるとの推論結果であると判定した場合には（ステップＳ１２０３においてＮＯの場合には）、図５のステップＳ５０５に戻る。

【0178】

一方、ステップＳ１２０３において、正常でないとの推論結果であると判定した場合には（ステップＳ１２０３においてＹＥＳの場合には）、ステップＳ７０６に進む。

【0179】

＜まとめ＞
以上の説明から明らかなように、第３の実施形態に係る作業支援システム１００において、
・環境情報判定部は、学習モデルに対して学習処理を行うことにより生成される。
・学習モデルに対する学習処理は、現場作業者の作業時の環境情報を入力データとし、現場作業者の作業が正常であるか否かを示す情報を正解データとする学習用データセットを用いて行われる。

【0180】

これにより、第３の実施形態によれば、第１の実施形態と同様の効果を享受することができる。

【0181】

［その他の実施形態］
上記各実施形態では、現場作業者１６０による作業行動が正常であると判定されている間は、支援者端末１４０と双方向通信を行わず、現場作業者１６０による作業行動が正常でないと判定された場合に、支援者端末１４０との双方向通信を開始する構成とした。しかしながら、通信量を削減するための方法はこれに限定されず、現場作業者１６０による作業行動が正常であると判定されている間の通信量と、現場作業者１６０による作業行動が正常でないと判定された後の通信量とが異なるように構成されてもよい。

【0182】

通信量が異なるように構成するための方法としては、例えば、支援者端末１４０と双方向通信するデータの種別を変更する方法が挙げられる。また、データの種別を変更する方法には、単位時間あたりの通信量が低いデータから高いデータに変更することが含まれ、例えば、
・正常であると判定されている間は、音声データを送信し、正常でないと判定された場合に、音声データと動画像データとを送信する方法、
・正常であると判定されている間に送信する音声データ及び動画像データと、正常でないと判定された場合に送信する音声データ及び動画像データとで、データの品質（圧縮率、送信間隔等）を変える方法、
等が含まれる。

【0183】

また、上記各実施形態では、環境情報として、位置情報、加速度情報、付属センサ情報、音声情報、画像情報を例示した。しかしながら、環境情報はこれらに限定されず、現場作業者１６０の作業時にウェアラブル端末１２０が取得可能な情報であれば、他の情報であってもよい。

【0184】

また、上記各実施形態では、ＧＰＳ装置２０５により検出された位置情報を取得するものとして説明したが、位置情報の取得方法はこれに限定されず、他の取得方法を用いて位置情報を取得してもよい。他の取得方法としては、例えば、撮像装置により撮影された動画像データから、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）技術等を用いて位置情報を取得する方法が挙げられる。

【0185】

上記第１の実施形態では、正常範囲情報３２０を生成する際のウェアラブル端末の機能構成について言及しなかったが、正常範囲情報３２０を生成するにあたっては、例えば、上記第３の実施形態において、図９を用いて説明した機能構成を用いることができる。

【0186】

上記第３の実施形態において学習部９２１は、学習用データセットを用いて学習処理を行うことで、学習済みモデルを生成する場合について説明した。しかしながら、生成した学習済みモデルによる推論結果が誤っていた場合には、対応する作業内容の学習済みモデルについて、再度、学習処理を行うように構成してもよい。再学習処理において、学習部９２１は、例えば、推論結果が誤っていた場合の、現場作業者の作業時の環境情報を用いる。

【0187】

また、上記各実施形態では、現場作業者に装着するウェアラブル端末を用いる場合について説明したが、ウェアラブル端末に代えて、現場作業者が携帯する携帯端末を用いてもよい。

【0188】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【符号の説明】

【0189】

１００ ：作業支援システム
１１０ ：管理サーバ装置
１２０ ：ウェアラブル端末
１３０ ：支援サーバ装置
１４０ ：支援者端末
３００ ：条件情報
３１０ ：スケジュール情報
３２０ ：正常範囲情報
４１０ ：条件情報取得部
４２１ ：位置情報取得部
４２２ ：加速度情報取得部
４２３ ：付属センサ情報取得部
４２４ ：音声データ取得部
４２５ ：動画像データ取得部
４２６ ：音声データ出力部
４３０ ：判定部
４３１ ：音声認識部
４３２ ：音声解析部
４３３ ：画像認識部
４４０ ：双方向通信部
９１０ ：環境情報収集部
９１１ ：送信部
９２０ ：学習用データセット生成部
９２１ ：学習部
１１１０ ：作業実績判定部
１１２０ ：環境情報判定部
１１２１ ：作業Ａ用学習済みモデル
１１２２ ：作業Ｂ用学習済みモデル
１１２３ ：作業Ｃ用学習済みモデル
１１３０ ：双方向通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-06-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

携帯端末と、
前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムであって、
前記携帯端末が有する制御部は、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を、単位時間あたりの通信量が低いデータから、高いデータに変更する、
作業支援システム。

【請求項2】

前記制御部は、作業内容ごとに規定された、作業時間、作業の開始時刻のいずれかを含む条件情報に基づいて、前記作業者の作業行動を判定する、請求項１に記載の作業支援システム。

【請求項3】

前記制御部は、
前記作業者の作業時の環境情報を取得し、
作業内容ごとに規定された前記環境情報に対する前記条件情報に基づいて、前記作業者の作業行動を判定する、請求項２に記載の作業支援システム。

【請求項4】

前記環境情報は、前記作業者の作業時に前記制御部が取得する情報であり、前記制御部が取得する情報には、位置情報、画像情報、音声情報、加速度情報のいずれかが含まれる、請求項３に記載の作業支援システム。

【請求項5】

前記条件情報は、前記作業内容ごとの作業実績情報、作業時に取得した、前記作業内容ごとの前記環境情報のいずれか１つ以上に基づいて生成される、請求項３に記載の作業支援システム。

【請求項6】

前記条件情報は、前記作業内容ごとに規定した作業実績情報の指標値、または、前記作業内容ごとに規定した環境情報の指標値に基づいて、作業内容ごとに生成される、請求項５に記載の作業支援システム。

【請求項7】

前記条件情報は、学習モデルを学習することにより生成される、請求項１に記載の作業支援システム。

【請求項8】

前記制御部は、作業者の作業時の環境情報を取得し、
前記条件情報は、作業者の作業時の環境情報を入力データとし、作業者の作業時に作業行動が正常であったか否かを示す情報を正解データとする学習用データセットを用いて、前記学習モデルを学習することにより生成される、請求項７に記載の作業支援システム。

【請求項9】

前記条件情報は、作業内容ごとの前記学習用データセットを用いて、前記学習モデルを学習することにより、作業内容ごとに生成される、請求項８に記載の作業支援システム。

【請求項10】

前記制御部により判定された判定結果が誤っていた場合の、前記作業者の作業時の環境情報を収集し、収集した前記作業者の作業時の環境情報を用いて、対応する作業内容の学習モデルを再学習する、請求項９に記載の作業支援システム。

【請求項11】

前記制御部は、作業者の作業時の環境情報を取得し、
前記条件情報は、作業者の作業時の環境情報を入力データとして、作業者の作業時に作業行動が正常であったか否かを示す情報を出力するルールベースのモデルである、請求項７に記載の作業支援システム。

【請求項12】

作業者の作業を支援する支援サーバと通信する携帯端末であって、
前記携帯端末が有する制御部は、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定し、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定した場合、前記携帯端末から前記支援サーバに送信するデータの種別を、単位時間あたりの通信量が低いデータから、高いデータに変更する、
携帯端末。

【請求項13】

携帯端末と、
前記携帯端末と通信し、前記携帯端末を携帯する作業者の作業を支援する支援サーバと、を有する作業支援システムにおける作業支援方法であって、
前記作業者の作業内容ごとに規定された条件情報に基づいて、前記作業者の作業行動を判定する判定工程と、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定された場合、前記携帯端末から前記支援サーバに送信するデータの種別を、単位時間あたりの通信量が低いデータから、高いデータに変更する変更工程と
を有する作業支援方法。

【請求項14】

作業者によって携帯される携帯端末であって、前記作業者の作業を支援する支援サーバと通信する前記携帯端末が有する制御部に、
前記作業者の作業内容ごとに規定された条件情報に基づいて、作業者の作業行動を判定する判定工程と、
前記作業者の作業行動が、前記条件情報に基づいて規定される範囲から逸脱していると判定された場合、前記携帯端末から支援サーバに送信するデータの種別を、単位時間あたりの通信量が低いデータから、高いデータに変更する変更工程と
を実行させるための作業支援プログラム。