特開 2024-2129 遠隔指導管理装置及び遠隔指導システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002129

(43)【公開日】2024-01-11

(54)【発明の名称】遠隔指導管理装置及び遠隔指導システム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20231228BHJP

【ＦＩ】

G06Q50/08

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022101145

(22)【出願日】2022-06-23

(11)【特許番号】

(45)【特許公報発行日】2022-10-03

(71)【出願人】

【識別番号】522252660

【氏名又は名称】原田 英明

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】原田 英明

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC07

(57)【要約】

【課題】指導効率を向上させつつ、不必要なノウハウの流出を防ぐことができる遠隔指導管理装置及び遠隔指導システムを得る。
【解決手段】作業者Ｐ１の作業を遠隔地から指導する遠隔指導システムＳにおいて、指導者Ｐ２により操作される遠隔指導管理装置１０であって、遠隔指導管理装置１０は、作業者Ｐ１が携行するウエアラブル端末１４とネットワークを介して相互に接続され、ウエアラブル端末１４で撮影された作業者Ｐ１の周囲の撮影画像を表示可能な表示部３６と、予め登録された複数の指導画像の中から作業者端末１６からの閲覧を許可する画像を指定可能な操作部３４と、操作部３４で指定された指導画像の閲覧を可能にする閲覧許可情報を作業者端末１６へ送信する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

作業者の作業を遠隔地から指導する遠隔指導システムにおいて、指導者により操作される遠隔指導管理装置であって、
前記遠隔指導管理装置は、前記作業者が携行する作業者端末とネットワークを介して相互に接続され、
前記作業者端末で撮影された前記作業者の周囲の撮影画像を表示可能な表示部と、
予め登録された複数の指導画像の中から前記作業者端末からの閲覧を許可する画像を指定可能な操作部と、
前記操作部で指定された指導画像の閲覧を可能にする閲覧許可情報を前記作業者端末へ送信する閲覧管理制御部と、
を有する、遠隔指導管理装置。

【請求項2】

前記閲覧管理制御部は、前記操作部で指定された指導画像について、閲覧可能期間を設定し、当該閲覧可能期間が経過した場合に、前記閲覧許可情報を無効にする、請求項１に記載の遠隔指導管理装置。

【請求項3】

前記閲覧可能期間は、前記作業者の雇用主と前記作業者の指導について委託を受けた委託先との間で締結された指導契約期間として予め登録された期間、前記雇用主と前記作業者との間で締結された就労契約期間として予め登録された期間及び作業内容に応じた習得期間として予め登録された期間のうち少なくとも一つに基づいて設定される、請求項２に記載の遠隔指導管理装置。

【請求項4】

前記閲覧管理制御部は、指導項目に対応する規格として予め登録された規格情報と前記撮影画像に基づいて、前記作業者によって行われた作業が規格内の品質であるか否かを判定する、請求項１に記載の遠隔指導管理装置。

【請求項5】

前記閲覧管理制御部は、指導項目に対応して前記作業者によって行われた作業が規格内の品質であるか否かを判定するための機械学習を行った学習済みモデルに対して前記規格情報と前記撮影画像を入力し、学習済みモデルの処理を実行することで指導項目に対応して前記作業者によって行われた作業が規格内の品質であるか否かを判定する、請求項４に記載の遠隔指導管理装置。

【請求項6】

前記指導項目は建築作業に関する指導項目であり、
前記規格情報は、建築現場に関する作業情報であり、
前記閲覧管理制御部は、前記撮影画像中に映り込んだ建材の認識番号に基づいて建築現場における前記作業者の位置を推定し、推定された位置に対応する前記作業情報に基づいて前記作業者によって行われた作業が規格内の品質であるか否かを判定する、請求項４に記載の遠隔指導管理装置。

【請求項7】

前記作業者は技能実習制度により受け入れられた外国人技能実習生であり、
前記指導画像は、前記外国人技能実習生に技能を習得させるための指導画像である、請求項１に記載の遠隔指導管理装置。

【請求項8】

作業者が携行する作業者端末と遠隔地の指導者により操作される遠隔指導管理装置とがネットワークを介して相互に接続された遠隔指導システムであって、
前記作業者端末は、前記作業者の周囲を撮影可能な撮像部を有し、
前記遠隔指導管理装置は、前記作業者端末の前記撮像部で撮影された撮影画像を表示可能な表示部と、
予め登録された複数の指導画像の中から前記作業者端末からの閲覧を許可する画像を指定可能な操作部と、
前記操作部で指定された指導画像の閲覧を可能にする閲覧許可情報を前記作業者端末へ送信する閲覧管理制御部と、を有する、遠隔指導システム。

【請求項9】

前記作業者端末は、前記作業者のバイタルデータを取得する生体センサを有し、
取得した前記バイタルデータが所定の閾値を超えた場合に、前記作業者端末及び前記遠隔指導管理装置を介して前記作業者及び前記指導者に対してアラートを通知する、請求項８に記載の遠隔指導システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔指導管理装置及び遠隔指導システムに関する。

【背景技術】

【0002】

特許文献１には、遠隔地から医用装置の操作者に操作方法を指導する操作指導システムが開示されている。この操作指導システムでは、操作者が医用装置の操作に関する所定の情報を選択し、選択された情報について遠隔地にあるサーバシステムのスタッフから音声データを受信することで操作方法の指導が行われる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－０３０６４５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１のように、専門性の高い技術の指導を行う場合や、外国人技能実習生等の言語障壁のある作業者に対する指導を行う場合、音声データによる指導では効率化を図ることが難しく、習得に時間を要する場合がある。そこで、音声データに限らず、画像データを用いて指導を行うことが検討される。

【0005】

しかしながら、ネットワークを介して画像データを共有する場合、画像データに含まれるノウハウが外部に流出することを防止する手段を設けることが望ましい。

【0006】

本発明は上記課題を解決するためになされたものであり、ネットワークを介して遠隔地から作業者を指導する遠隔指導システムにおいて、指導効率を向上させつつ、ノウハウの流出を防ぐことができる遠隔指導管理装置及び遠隔指導システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様に係る遠隔指導管理装置は、作業者の作業を遠隔地から指導する遠隔指導システムにおいて、指導者により操作される遠隔指導管理装置であって、前記遠隔指導管理装置は、前記作業者が携行する作業者端末とネットワークを介して相互に接続され、前記作業者端末で撮影された前記作業者の周囲の撮影画像を表示可能な表示部と、予め登録された複数の指導画像の中から前記作業者端末からの閲覧を許可する画像を指定可能な操作部と、前記操作部で指定された指導画像の閲覧を可能にする閲覧許可情報を前記作業者端末へ送信する閲覧管理制御部と、を有する。

【0008】

第１の態様によれば、遠隔指導管理装置は、作業者が携行する作業者端末とネットワークを介して接続され、遠隔地から作業者の作業を指導する。この遠隔指導管理装置では、作業者端末で撮影された作業者の周囲の撮影画像を表示部に表示することができる。指導者は、表示部を介して作業中の手元等を確認しながら作業者の習熟後を判断することができる。また、遠隔指導管理装置は、指導者が、予め登録された複数の指導画像の中から作業者端末からの閲覧を許可する画像を指定すると、指定した指導画像の閲覧を可能にする閲覧許可情報を作業者端末へ送信する。これにより、作業者端末では、閲覧許可情報を用いて指定された指導画像を視ることができる。

【0009】

このようにして、専門性の高い技術の指導を行う場合や、外国人技能実習生等の言語障壁のある作業者に対する指導を行う場合でも、画像の閲覧によって作業の要点を分かりやすく伝えることができるため、指導効率を向上させることができる。また、指導画像の閲覧には、遠隔指導管理装置から送信される閲覧許可情報が必要であるため、外部への指導画像の流出を防ぐ抑止力となり、ノウハウの流出を防ぐことができる。

【0010】

本発明の第２の態様に係る遠隔指導管理装置は、第１の態様において、前記閲覧管理制御部は、前記操作部で指定された指導画像について閲覧可能期間を設定し、当該閲覧可能期間を経過した場合に、前記閲覧許可情報を無効にする。

【0011】

第２の態様によれば、遠隔指導管理装置は、指導画像のデータの閲覧可能期間を設定し、期間が経過すると、作業者端末へ送信した閲覧許可情報を無効にする。これにより、必要な期間を指定して指導画像の閲覧を許可することができるため、外部への指導画像の流出を防ぐ抑止力となり、ノウハウの流出を防ぐことができる。

【0012】

本発明の第３の態様に係る遠隔指導管理装置は、第２の態様において、前記閲覧可能期間は、前記作業者の雇用主と前記作業者の指導について委託を受けた委託先との間で締結された指導契約期間として予め登録された期間、前記雇用主と前記作業者との間で締結された就労契約期間として予め登録された期間及び作業内容に応じた習得期間として予め登録された期間のうち少なくとも一つに基づいて設定される。

【0013】

第３の態様によれば、作業者に対する指導契約期間、就労契約期間及び作業内容に応じた習得期間として予め登録された期間に基づいて指導画像の閲覧を許可することができる。外部への指導画像の流出を防ぐ抑止力となり、ノウハウの流出を防ぐことができる。

【0014】

第４の態様に係る遠隔指導管理装置は、第１の態様において、前記閲覧管理制御部は、指導項目に対応する規格として予め登録された規格情報と前記撮影画像に基づいて、前記作業者によって行われた作業が規格内の品質であるか否かを判定する。

【0015】

第４の態様によれば、遠隔指導管理装置では、指導項目に対応する規格として予め登録された規格情報と作業者の周囲を撮影した撮影画像に基づいて、作業者によって行われた作業が規格内の品質であるか否かを判定する。これにより、遠隔指導管理装置を操作する指導者は、判定結果を参照することで、作業者の指導項目に関する習熟度を効率的に把握することができる。その結果、一人の指導者が複数人の作業者に対して同時に指導する場合であっても、各自の習熟度を的確に把握することができるため、一人の指導者が同時に対応できる人数を増やして、指導効率を高めることができる。

【0016】

第５の態様に係る遠隔指導管理装置は、第４の態様において、前記閲覧管理制御部は、指導項目に対応して前記作業者によって行われた作業が規格内の品質であるか否かを判定するための機械学習を行った学習済みモデルに対して前記規格情報と前記撮影画像を入力し、学習済みモデルの処理を実行することで指導項目に対応して前記作業者によって行われた作業が規格内の品質であるか否かを判定する。

【0017】

第５の態様によれば、作業者によって行われた作業が規格内の品質であるか否かを判定するための機械学習を行った学習済みモデルを用いて作業品質を判定することで、複雑な演算を必要とせずに高精度で作業品質を確認することができる。

【0018】

第６の態様に係る遠隔指導は、第４の態様において、前記指導項目は建築作業に関する指導項目であり、前記規格情報は、建築現場に関する作業情報であり、前記閲覧管理制御部は、前記撮影画像中に映り込んだ建材の認識番号に基づいて建築現場における前記作業者の位置を推定し、推定された位置に対応する前記作業情報に基づいて前記作業者によって行われた作業が規格内の品質であるか否かを判定する。

【0019】

第６の態様によれば、建築現場にいる作業者に対して遠隔地にいる指導者から建築作業の指導が行われる。この際、遠隔指導管理装置では、撮影画像中に映り込んだ建材の認識番号に基づいて建築現場における作業者の位置を推定する。そして、推定された位置に対応する作業情報に基づいて、作業者によって行われた作業が規格内の品質であるか否かを判定する。これにより、現場ごとに作業内容が異なる建築作業の指導においても、作業者の指導項目に関する習熟度を効率的に把握することができる。

【0020】

第７の態様に係る遠隔指導管理装置では、第１の態様において、前記作業者は技能実習制度により受け入れられた外国人技能実習生であり、前記指導画像は、前記外国人技能実習生に技能を習得させるための指導画像である。

【0021】

第７の態様によれば、技能実習制度によって指導される専門技術のノウハウが流出することを抑制しつつ、指導画像を通じて言語障壁の多い外国人技能実習生への指導効率を向上させることができる。

【0022】

第８の態様に係る遠隔指導システムでは、作業者が携行する作業者端末と遠隔地の指導者により操作される遠隔指導管理装置とがネットワークを介して相互に接続された遠隔指導システムであって、前記作業者端末は、前記作業者の周囲を撮影可能な撮像部を有し、前記遠隔指導管理装置は、前記作業者端末の前記撮像部で撮影された撮影画像を表示可能な表示部と、予め登録された複数の指導画像の中から前記作業者端末からの閲覧を許可する画像を指定可能な操作部と、前記操作部で指定された指導画像の閲覧を可能にする閲覧許可情報を前記作業者端末へ送信する閲覧管理制御部と、を有する。

【0023】

第８の態様によれば、作業者が携行する作業者端末と遠隔地の指導者により操作される遠隔指導管理装置とがネットワークを介して接続されている。遠隔指導管理装置では、作業者端末で撮影された作業者の周囲の撮影画像を表示部に表示することができる。指導者は、表示部を介して作業中の手元等を確認しながら作業者の習熟後を判断することができる。また、遠隔指導管理装置は、指導者が、予め登録された複数の指導画像の中から作業者端末からの閲覧を許可する画像を指定すると、指定した指導画像の閲覧を可能にする閲覧許可情報を作業者端末へと送信する。これにより、作業者端末では、閲覧許可情報を用いて指定された指導画像を視ることができる。

【0024】

このようにして、専門性の高い技術の指導を行う場合や、外国人技能実習生等の言語障壁のある作業者に対する指導を行う場合でも、画像の閲覧によって作業の要点を分かりやすく伝えることができ、指導効率を向上させることができる。また、指導画像の閲覧には、遠隔指導管理装置から送信される閲覧許可情報が必要であるため、外部への指導画像の流出を防ぐ抑止力となり、不必要なノウハウの流出を防ぐことができる。

【0025】

第９の態様に係る遠隔指導システムでは、第８の態様において、前記作業者端末は、前記作業者のバイタルデータを取得する生体センサを有し、取得した前記バイタルデータが所定の閾値を超えた場合に、前記作業者端末及び前記遠隔指導管理装置を介して前記作業者及び前記指導者に対してアラートを通知する。

【0026】

第９の態様によれば、作業者端末の生体センサで検出されるバイタルデータを取得し、取得したバイタルデータが所定の閾値を超えると、作業者端末及び遠隔指導管理装置を介して作業者及び指導者に対してアラートを通知する。これにより、作業者の健康状態を考慮して、声掛けや指導内容の変更等の処置をすることができ、指導中における作業者の体調不良によるミスや事故等の発生を回避することができる。

【発明の効果】

【0027】

本発明に係る遠隔指導管理装置及び遠隔指導システムによれば、ネットワークを介して遠隔地から作業者を指導する遠隔指導システムにおいて、指導効率を向上させつつ、ノウハウの流出を防ぐことができる。

【図面の簡単な説明】

【0028】

【図1】実施形態に係る遠隔指導システムの全体構成を示す概略図である。

【図2】実施形態に係る遠隔指導管理装置のハードウェア構成を示すブロック図である。

【図3】実施形態に係る作業者端末のハードウェア構成を示すブロック図である。

【図4】実施形態に係る遠隔指導管理装置の機能構成を示すブロック図である。

【図5】指導項目設定部の機能を実現するためのデータテーブルの一例である。

【図6】閲覧期間を設定するためのデータテーブルの一例である。

【図7】閲覧期間を設定するためのデータテーブルの一例である。

【図8】実施形態における学習フェーズを説明するためのブロック図である。

【図9】作業者の作業内容を撮影した撮影画像の一例である。

【図10】実施形態に係る作業者端末の機能構成を示すブロック図である。

【図11】実施形態における遠隔指導処理の流れの一例を示すシーケンス図である。

【図12】（Ａ）～（Ｄ）は第２作業者端末で実行されるアプリケーションソフトウエアの動作の一例である。

【図13】実施形態における閲覧規制処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0029】

実施形態に係る遠隔指導管理装置１０を含む遠隔指導システムＳについて、図面を参照して説明する。

【0030】

図１に示されるように、本実施形態の遠隔指導システムＳは、遠隔指導管理装置１０、サーバ１２、ウエアラブル端末１４に接続された作業者端末１６を含んで構成されている。そして、遠隔指導管理装置１０、サーバ１２及び作業者端末１６は、ネットワークＮによって接続されている。なお、ネットワークＮには複数の作業者Ｐ１の携行する作業者端末１６が接続されているが、図１では説明の便宜上、一人の作業者Ｐ１の携行する一台の作業者端末１６のみが図示されている。

【0031】

本実施形態の遠隔指導管理装置１０は一例として、作業者のいる現場から離れた遠隔地に設置された制御装置である。

【0032】

また、サーバ１２は、複数の指導画像を管理する管理者が保有するサーバである。このサーバ１２には、複数の指導項目に対応付けられた複数の指導画像が登録（格納）されている。

【0033】

作業者端末１６にはウエアラブル端末１４が電気的に接続されている。このウエアラブル端末１４は、一例として、ヘルメット型の本体部１８を作業者Ｐ１の頭部に装着して使用される。また本体部１８には、後述する撮像部５４、音声入力部５６、音声出力部５８及び生体センサ６０等が設けられており、本体部１８を作業者Ｐ１の頭部に装着した状態で、作業者Ｐ１の周辺を撮影することができる。また、遠隔指導管理装置１０を操作する指導者Ｐ２と音声通信を行うことができる。

【0034】

作業者Ｐ１の携行する作業者端末１６は、一例として、スマートフォンやタブレット等の携行端末で構成されている。本実施形態の一例では、作業者端末１６は遠隔指導管理装置１０から送信される指導画像の閲覧許可情報を受信し、受信した閲覧許可情報によりサーバ１２に格納された指導画像を閲覧することができる。

【0035】

ここで、本実施形態の遠隔指導システムＳでは、ウエアラブル端末１４で撮影された撮影画像が遠隔指導管理装置１０へ送信され、遠隔指導管理装置１０の表示部に表示される。遠隔地にいる指導者Ｐ２は、遠隔指導管理装置１０の表示部３６に表示された撮影画像を確認し、作業者の習熟度に応じた指導画像を指定して、作業者Ｐ１が作業者端末１６を介して指導画像を閲覧することができるようにする。

【0036】

本実施形態では、上記遠隔指導システムＳが、技能実習制度により受け入れられた外国人技能実習生の指導に用いられる例について説明する。即ち、サーバ１２には外国人技能実習生に技能を習得させるための複数の指導画像が登録されている。また、作業者Ｐ１は、技能実習制度により受け入れられた外国人技能実習生である。

【0037】

外国人技能実習生により習得される技術の多くは、熟練の職人などの指導によって伝達される専門性の高い技術が多い。しかしながら、指導者と外国人技能実習生との間の言語障壁や技術指導にあたる職人の不足により、高品質な教育システムの確立が困難な実状がある。

【0038】

遠隔指導システムＳでは、専門性の高い技術を有する指導者により、遠隔地から技術指導を行うことができる。これらの技術指導は、指導画像を効果的に利用することで、言語障壁の少ない有効な指導を行うことができる。また、指導効率を高めることで、ネットワークを介して同一の技能の習得に従事する複数の実習生を一人の指導者が同時に指導することが可能になるため、技術指導にあたる職人の不足という課題解決に寄与することが期待される。以下、各構成の詳細について説明する。

【0039】

（遠隔指導管理装置のハードウェア構成）
図２は、遠隔指導管理装置１０のハードウェア構成を示すブロック図である。この図２に示されるように、遠隔指導管理装置１０は、ＣＰＵ（Central Processing Unit：プロセッサ）２０、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２４、ストレージ２６、通信Ｉ／Ｆ（通信インタフェース）２８及び入出力Ｉ／Ｆ（入出力インタフェース）３０を含んで構成されている。各構成は、バス３２を介して相互に通信可能に接続されている。

【0040】

ＣＰＵ２０は、本発明における「閲覧管理制御部」の一例である。ＣＰＵ２０は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０は、ＲＯＭ２２又はストレージ２６からプログラムを読み出し、ＲＡＭ２４を作業領域としてプログラムを実行する。ＣＰＵ２０は、ＲＯＭ２２又はストレージ２６に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。

【0041】

ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２４は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２６は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ＲＯＭ２２又はストレージ２６には、遠隔指導処理及び閲覧規制処理を行うためのプログラム及び各種データなどが格納されている。

【0042】

通信Ｉ／Ｆ２８は、遠隔指導管理装置１０がサーバ１２、作業者端末１６等の他の機器と通信するためのインタフェースであり、たとえば、ＣＡＮ（Controller Area Network）、イーサネット（登録商標）、ＬＴＥ（Long Term Evolution）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

【0043】

入出力Ｉ／Ｆ３０は、操作部３４、表示部３６、音声入力部３８、音声出力部３９と電気的に接続されている。操作部３４は、遠隔指導管理装置１０に対して所定の指示を入力するための装置であり、例えば、マウス及びキーボードなどを含んで構成されている。本実施形態では、操作部３４の操作により、サーバ１２に予め登録された複数の指導画像の中から作業者端末１６からの閲覧を許可する画像を指定することができる。

【0044】

表示部３６は、遠隔指導管理装置１０から出力された情報を表示するためのディスプレイなどの装置である。本実施形態では、ウエアラブル端末１４の撮像部５４で撮影された画像を作業者端末１６から送信される。遠隔指導管理装置１０では、作業者端末１６から受信した撮影画像が表示部３６に表示される。

【0045】

音声入力部３８は、指導者Ｐ２の発した音声を集音するマイクである。音声出力部３９は、作業現場にいる作業者Ｐ１から送信された音声を出力するスピーカで構成されている。音声入力部３８及び音声出力部３９は、インターコミュニケーションシステムを構成しており、作業者の携行するウエアラブル端末１４と無線通信により音声データによる相互通信が可能となっている。

【0046】

（作業者端末１６のハードウェア構成）
図３は、作業者端末１６のハードウェア構成を示すブロック図である。この図３に示されるように、作業者端末１６は、ＣＰＵ（Central Processing Unit：プロセッサ）７０、ＲＯＭ（Read Only Memory）７２、ＲＡＭ（Random Access Memory）７４、ストレージ７６、通信Ｉ／Ｆ（通信インタフェース）７８及び入出力Ｉ／Ｆ（入出力インタフェー８０を含んで構成されている。各構成は、バス８２を介して相互に通信可能に接続されている。

【0047】

ＣＰＵ７０は、本発明における「送信制御部」の一例である。ＣＰＵ７０は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ７０は、ＲＯＭ７２又はストレージ７６からプログラムを読み出し、ＲＡＭ７４を作業領域としてプログラムを実行する。ＣＰＵ７０は、ＲＯＭ７２又はストレージ７６に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。

【0048】

ＲＯＭ７２は、各種プログラムおよび各種データを格納する。ＲＡＭ７４は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ７６は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ＲＯＭ７２又はストレージ７６には、各種処理を行うためのプログラム及び各種データなどが格納されている。

【0049】

通信Ｉ／Ｆ７８は、作業者端末１６が遠隔指導管理装置１０、サーバ１２及びウエアラブル端末１４等の他の機器と通信するためのインタフェースであり、たとえば、ＣＡＮ、イーサネット（登録商標）、ＬＴＥ、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

【0050】

入出力Ｉ／Ｆ８０は、入力部８６及び表示部８８、ウエアラブル端末１４に含まれる撮像部５４、音声入力部５６、音声出力部５８及び生体センサ６０と電気的に接続されている。入力部８６は、作業者端末１６に所定の指示を入力するための装置である。表示部８８は、作業者端末１６から出力された情報を表示するための装置である。本実施形態において、これらの入力部８６及び表示部８８は、一例として、公知のタッチパネルなどの装置により一体に構成されている。

【0051】

撮像部５４は、作業者Ｐ１の周囲に向けられたカメラで構成されている。本実施形態の一例では、撮像部５４は、ヘルメット型の本体部１８の正面に設置され、作業者Ｐ１の目線の高さ位置に設けられている。撮像部５４では、作業者Ｐ１の目線の先である前方を撮影可能となっており、作業中の作業者Ｐ１の手元を撮影することができる。

【0052】

音声入力部５６は、作業者の発した音声を集音するマイクで構成されている。本実施形態の一例では、音声入力部５６は、ヘルメット型の本体部１８の側面に設置されている。音声出力部５８は、遠隔地にいる指導者から送信された音声データを出力するスピーカで構成されている。音声入力部５６及び音声出力部５８は、インターコミュニケーションシステムを構成しており、指導者の操作する遠隔指導管理装置１０と、無線通信により音声データによる相互通信が可能となっている。

【0053】

生体センサ６０は、作業者Ｐ１のバイタルデータ（生体情報）を取得するセンサで構成されている。生体センサ６０は、例えば、心拍センサ、体温センサ、モーションセンサ、視線検知用のカメラ、及び活動量計等の既知のセンサ類を含んでいる。

【0054】

なお、ウエアラブル端末１４に含まれる撮像部５４、音声入力部５６、音声出力部５８及び生体センサ６０等の各構成は、通信Ｉ／Ｆ７８を介した無線通信により作業者端末１６に接続される構成としてもよい。

【0055】

（遠隔指導管理装置１０の機能構成）
遠隔指導管理装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。遠隔指導管理装置１０が実現する機能構成について図４を参照して説明する。

【0056】

図４に示されるように、遠隔指導管理装置１０は、機能構成としてデータ取得部２１０、指導画像指定部２３０、閲覧条件設定部２４０、閲覧許可情報送信部２５０及び品質判定部２６０を含んで構成されている。なお、各機能構成は、ＣＰＵ２０がＲＯＭ２２又はストレージ２６に記憶されたプログラムを読み出し、実行することにより実現される。

【0057】

データ取得部２１０は、作業者について予め設定された指導スケジュールを取得する。この指導スケジュールは、図５に示すように、例えば、作業者名（ユーザ名）、指導項目及び習得の有無が対応付けられたデータテーブルを保持し、このデータテーブルを参照して、作業者について、予定された又は候補となる指導項目を取得する。

【0058】

また、本実施形態では、データ取得部２１０が、ウエアラブル端末１４で取得された作業者Ｐ１のバイタルデータに関するアラートを取得する機能を有する。

【0059】

指導画像指定部２３０は、取得した指導項目に関連する指導画像を遠隔指導管理装置１０の表示部３６に表示する。本実施形態の一例では、複数の指導項目と関連する指導画像を対応付けたテーブルを保持しておき、このテーブルを参照して選定された指導項目に対応する指導画像の一覧を表示部３６に表示する。指導者Ｐ２は、マウスやキーボードなどの操作部３４を介して表示部３６に表示された複数の指導画像の選択オブジェクトの中から作業者端末１６からの閲覧を許可する画像のオブジェクトを指定する操作を行う。これにより、作業者端末１６からの閲覧を許可する指導画像が指定される。

【0060】

閲覧条件設定部２４０は、操作部３４で指定された指導画像について、閲覧条件を設定する。本実施形態の一例では、指導画像の閲覧期間を閲覧条件として設定する。

【0061】

閲覧期間は、例えば、作業者Ｐ１の雇用主と作業者Ｐ１の指導を受けた委託先との間で締結された指導契約期間として予め登録された期間でもよい。作業者Ｐ１の指導を受けた委託先は、本実施形態の場合、指導者Ｐ２や指導者Ｐ２が属し、指導者Ｐ２による遠隔指導サービスを提供する管理会社等である。指導契約期間を閲覧期間として設定すると、指導契約期間の満了後に雇用主等の会社に委託先のノウハウが流出することを防止する抑止力となる。この場合、予め登録された作業者（ユーザ名）と作業者の雇用主と指導委託先との間の指導契約期間とを対応付けたテーブルを保持しておき、このテーブルを参照して指定された指導画像の閲覧期間を設定してもよい。

【0062】

閲覧期間は、作業者Ｐ２と雇用主との間で締結された就労契約期間として予め登録された期間であってもよい。例えば、作業者が外国人技能実習生である本実施例のように、所定の雇用主の下で契約期間の間のみ就労することが決まっている場合、就労契約期間に限り指導画像の閲覧を許可することで個別の作業者Ｐ１を介して就労後にノウハウが流出することを防止する抑止力となる。この場合、図６に示すように、予め登録された作業者（ユーザ名）と就労契約期間とを対応付けたテーブルを保持しておき、このテーブルを参照して指定された指導画像の閲覧期間を設定してもよい。

【0063】

また例えば、指導画像の閲覧期間は、作業内容に応じて予め登録された習得期間に基づいて設定してもよい。一例として、図７に示すように、指導画像（動画タイトル）と習得期間とを対応付けたテーブルを保持しておき、このテーブルを参照して指導画像の閲覧期間を設定してもよい。

【0064】

あるいは、閲覧期間は、指導者の入力操作等により、任意で決定した閲覧期間を設定してもよい。

【0065】

あるいは、作業者の位置条件を閲覧条件とし、所定のエリア内で作業者が作業する場合に閲覧を許可する構成としてもよい。

【0066】

また、閲覧条件設定部２４０は後述する閲覧規制処理を実行し、作業者Ｐ１が指導動画の閲覧条件を満たさない場合に閲覧許可情報を無効にする。

【0067】

閲覧許可情報送信部２５０は、操作部３４で指定された指導画像の閲覧を可能にする閲覧許可情報を作業者端末１６に送信する。例えば、閲覧許可情報送信部２５０は、予め指導画像と閲覧許可情報を対応付けたテーブルを保持しておき、このテーブルを参照して指定された指導画像の閲覧許可情報を送信する。

【0068】

ここで、指導画像の閲覧を可能にするための「閲覧情報の送信」は例えば、サーバ１２に格納された指導画像に設定された視聴用のパスワードを作業者端末１６に送信することである。もしくは、作業者端末１６の表示部の画面上に、視聴を許可された画像が埋め込まれたＵＲＬにリンクした選択オブジェクト９８を表示させるための指示コマンドの送信を「閲覧情報の送信」としてもよい。この場合、サーバ１２に格納された指導画像が特定のドメインのみで再生できるように埋め込まれていることが好ましい。

【0069】

本実施形態の一例では、サーバ１２に格納された指導画像の視聴用のパスワードが閲覧許可情報となっている。

【0070】

品質判定部２６０は、データ取得部２１０で取得された撮影画像に基づいて、指導項目に関する作業が規格内の品質であるか否かを判定する。

【0071】

ここで、本実施形態では、指導項目に関する作業が規格内の品質であるか否かを判定するように生成された学習済みモデルＭに対してデータ取得部２１０で取得された撮影画像データと指導項目に対応する作業の規格として予め登録された規格情報を入力する。そして、学習済みモデルＭの演算処理を実行することで、作業が規格内の品質であるか否かを判定する。

【0072】

本実施形態では、図８に示すように、学習済みモデルＭは、機械学習によって学習済みモデルＭを生成する機能を有する学習部９０で生成される。学習部９０は、指導項目に対応する作業の規格情報と、指導項目に対応する作業が規格内の品質である状態を撮影した正解値の撮影画像とを対応付けた教師データを取得する。そして、取得した教師データに基づいて、指導項目に対応する作業の規格情報と作業者Ｐ１によって行われた作業内容を撮影した撮影画像データを入力した場合に、作業者Ｐ１によって行われた作業が規格内の品質であるか否かを判定する学習済みモデルＭを生成する。

【0073】

なお、学習済みモデルＭとしては、例えば、ディープニューラルネットワークが適用される。本実施形態の学習済モデルＭは一例として、ＲＮＮ（Recursive Neural Network）の一種であるＬＳＴＭ（Long Short Term Memory）が適用されている。また、学習済みモデルＭの生成には、例えば、誤差逆伝播法が用いられる。学習済みモデルＭは、規格情報と作業者の作業を撮影した撮影画像データが入力された場合に、作業が規格内の品質であるか否かが出力されるように、ディープニューラルネットワークモデルを機械学習させることによって生成される。

【0074】

ここで、建築技能を指導する場合に、作業者が建築現場で行った作業内容の品質を評価する一例を具体的に説明する。例えば、建築現場での建築技能の指導では、作業者Ｐ１が実際に作業を行う建築現場に関する作業情報が「規格情報」として取得される。建築現場に関する作業情報には、建築物の設計情報、建築物の組み立てに使用される部品情報、各部品の表面に付される識別情報が含まれる。

【0075】

図９には、建築現場において作業者端末１６によって撮影された作業内容の撮影画像３００が示されている。品質判定部２６０は、撮影画像３００の中央部に示される判定エリアＸ内に映り込んだ作業内容の品質を判定する。

【0076】

品質判定部２６０は、撮影画像３００と建築現場に関する作業情報を取得する。品質判定部２６０は、撮影画像３００中に映り込んだ建材（部品）の表面に付される識別コードＤ１，Ｄ２を認識する。そして、認識した識別コードと建築現場に関する作業情報に基づいて、建築物に対する作業者Ｐ１（即ち、作業場所）の位置を推定する。

【0077】

品質判定部２６０は、推定された作業者Ｐ１の位置に対応する作業情報を特定し、特定した作業情報と撮影画像３００とを学習済みモデルＭに入力する。撮影画像３００の一例では、建物の柱３０１と梁３０２との固定作業の品質が判定されている。このような建物の骨格を成す建材の接続部分には、構造上必要とされる強度に対応して使用するビス３０３やブラケット３０４等の金物の規格が指定されている。例えば、ビス３０３は、規格に応じた色に着色することにより識別可能となっている。品質判定部２６０は、撮影画像３００から推定されるビス３０３の色が作業情報に登録された規格のビスの色と適合するか否かによって、作業者Ｐ１によって行われた作業が規格内の作業であるか否かを判定することができる。

【0078】

又は、ブラケット３０４等の金物は、撮影画像３００から推定されるサイズが作業情報に登録された規格のサイズと適合するか否かによって、作業者１によって行われた作業が規格内の作業であるか否かを判定することができる。なお、識別の態様は着色に限らず、形状やその他の識別可能な特徴の付加等で識別してもよく、これらの組み合わせにより識別してもよい。

【0079】

品質判定部２６０は、作業者Ｐ１によって行われた作業が規格内の品質であるか否かを判定した判定結果を遠隔指導管理装置１０の表示部３６に表示させる。これにより、指導者は、作業者が習得した作業と未習得の作業とを効率的に把握することができる。

【0080】

（作業者端末１６の機能構成）
作業者端末１６は、上記のハードウェア資源を用いて、各種の機能を実現する。作業者端末１６が実現する機能構成について図１０を参照して説明する。

【0081】

図１０に示されるように、作業者端末１６は、機能構成としてデータ取得部７１０、アラート通知部７２０及びデータ送信部７３０を含んで構成されている。なお、各機能構成は、一例として、ＣＰＵ７０がＲＯＭ７２又はストレージ７６に記憶されたアプリケーションソフトウエアを読み出し、実行することにより実現される。

【0082】

データ取得部７１０は、ウエアラブル端末１４の撮像部５４で撮影された撮影画像を取得する。

【0083】

データ取得部７１０は、生体センサ６０で検出した作業者Ｐ１のバイタルデータを取得する。また、データ取得部７１０は、ネットワークＮを介して天候情報等、作業者Ｐ１の作業する現場の環境情報を取得してもよい。

【0084】

アラート通知部７２０は、データ取得部７１０で取得したバイタルデータが、所定の閾値を超える場合に、遠隔指導管理装置１０及び作業者端末１６を介して指導者Ｐ２及び作業者Ｐ１にアラートを通知する。この通知方法は公知の方法を適宜選択することができる。例えば、遠隔指導管理装置１０及び作業者端末１６の音声出力部４０，５８に警告音や警告メッセージ等の音声データを出力させてもよい。又は、遠隔指導管理装置１０及び作業者端末１６の表示部３６，８８に警告メッセージを文字情報で出力してもよい。

【0085】

なお、データ送信部７３０は、データ取得部７１０で取得した撮影画像を遠隔指導管理装置１０へ送信する。

【0086】

（作用）
次に、本実施形態の作用を説明する。

【0087】

（遠隔指導処理）
遠隔指導処理の流れの一例について、図１１に示されているシーケンス図を用いて説明する。なお、遠隔指導管理装置１０における処理は、ＣＰＵ２０がデータ取得部２１０、指導画像指定部２３０、閲覧条件設定部２４０、閲覧許可情報送信部２５０及び品質判定部２６０として機能することにより実現される。
また、作業者端末１６における処理は、ＣＰＵ７０がデータ取得部７１０、アラート通知部７２０及びデータ送信部７３０として機能することにより実現される。

【0088】

ステップＳ１０２では、作業者Ｐ１によって装着されるウエアラブル端末１４の撮像部５４で撮影が開始され、撮影された撮影画像データが作業者端末１６からから遠隔指導管理装置１０へ送信される。遠隔指導管理装置１０では、表示部３６に作業者端末１６から受信した画像が表示される。遠隔地において遠隔指導管理装置１０を操作する指導者Ｐ２は、表示部３６を介して撮影画像を確認しながら作業者の周囲の状況を確認することができる。

【0089】

ステップＳ１０４では、遠隔指導管理装置１０が、データ取得部２１０の機能に基づいて、作業者Ｐ１について予め設定された指導項目を選定する。

【0090】

ステップＳ１０６では、遠隔指導管理装置１０が、指導画像指定部２３０の機能に基づいて、選定された指導項目に関連する指導画像の一覧を表示部３６に表示させる。

【0091】

ステップＳ１０８では、指導者Ｐ２は、操作部３４の操作により、複数の指導画像の中から作業者Ｐ１の指導に利用する指導画像を指定する。

【0092】

ステップＳ１１０では、遠隔指導管理装置１０が、閲覧許可情報送信部２５０の機能に基づいて、指導者によって指定された指導画像の閲覧を許可する閲覧許可情報を作業者端末１６に送信する。

【0093】

ステップＳ１１２では、作業者端末１６でサーバ１２へアクセスし、指導画像を閲覧する。具体的には、先ず、作業者端末１６を操作する作業者が、指導画像を閲覧するためのアプリケーションソフトウエアを起動する。

【0094】

一例として、図１２（Ａ）に示すように、作業者端末１６の表示部８８には、アプリケーション画面９２が表示される。アプリケーション画面９２には、ユーザ名と、ユーザ毎に割り当てられるログインパスワードを入力するテキストボックス９４が表示されており、テキストボックスに対する作業者の入力によって、作業者毎に設定されたマイページ画面９６を表示する（図１２（Ｂ）を参照）。

【0095】

図１２（Ｂ）に示されるように、マイページ画面９６には、遠隔地にいる指導者Ｐ２が指定した指導画像の選択オブジェクト９８が表示される。作業者の操作により任意の選択オブジェクト９８が選択されると、図１２（Ｃ）に示すように、作業者端末１６は、サーバ１２にアクセスし、選択した指導画像が埋め込まれた閲覧ページ９７に移動する。この際、閲覧ページ９７には、閲覧許可情報を入力するためのテキストボックス９９が表示され、テキストボックス９９に正しい閲覧許可情報が入力されるまでは、指導画像が表示されない。本実施形態では、閲覧許可情報として、画像閲覧用のパスワードの入力が求められる。作業者の操作によりテキストボックス９９に閲覧許可情報が入力されると、図１２（Ｄ）に示すように指導画像Ｑが表示される。指導画像Ｑは、静止画でもよいし、動画でもよい。

【0096】

なお、本実施形態では、画像閲覧用のパスワードを閲覧許可情報として設定したが、これに限定されない。例えば、指導画像に閲覧用のパスワードを設定しなくてもよい。この場合、マイページ画面９６に指導者Ｐ２から指定された指導画像の選択オブジェクト９８を表示させる指示コマンドを閲覧許可情報としてもよい。即ち、遠隔指導管理装置１０から作業者端末１６へ、指定した指導画像の選択オブジェクト９８を表示させる指示コマンドを送信することにより、閲覧許可情報を送信する構成としてもよい。

【0097】

ステップＳ１１４で、作業者Ｐ１は、作業者端末１６で指導画像を閲覧する。その後、未習得の作業を現場で開始する（Ｓ１１６）。

【0098】

ステップＳ１１８で、作業者端末１６で、アラート通知部７２０の機能によりバイタル監視処理を実行する。具体的に、アラート通知部７２０は、ウエアラブル端末１４の生体センサ６０で検出したバイタルデータを取得し、取得したバイタルデータが所定の閾値を超えたか否かについて判定する。そして、バイタルデータが所定の閾値を超えたと判定した場合に、遠隔指導管理装置１０と作業者端末１６を介して指導者Ｐ２及び作業者Ｐ１にアラートを通知する。これにより、作業者Ｐ１の健康状態に問題があることが推定される場合等に、休憩を促したり、指導項目を変更したりすることができる。また、作業者Ｐ１には、体調への注意を促すことができる。

【0099】

ステップＳ１２０では、作業者端末１６は、データ送信部７３０の機能により、作業者Ｐ１によって行われた作業内容が撮影された撮影画像データを遠隔指導管理装置１０へ送信する。作業内容が撮影された撮影画像データとは、例えば、作業者Ｐ１が作業を行う様子を撮影した動画や作業が完了した状態を撮影した静止画である。

【0100】

ステップＳ１２２では、遠隔指導管理装置１０が、品質判定部２０の機能により、品質判定処理を実行する。具体的には、学習済みモデルＭに対してデータ取得部２１０で取得した規格情報と作業者端末１６から受信した撮影画像とを入力し、学習済みモデルＭの演算処理を実行することで、指導項目に関連する作業の品質が規格内であるか否かを判定する。

【0101】

また、品質判定処理による判定結果は、遠隔指導管理装置１０の表示部３６に表示される。これにより、指導者Ｐ２に作業者Ｐ１の習得度合いを認識させることができる。

【0102】

続くステップＳ１２４で、遠隔指導管理装置１０による指導が終了すると、遠隔指導処理が終了する。

【0103】

（閲覧規制処理）
次に、作業者Ｐ１が指導者Ｐ２から閲覧を許可された指導画像の閲覧について、遠隔指導管理装置１０で実行される閲覧規制処理の流れの一例について、図１３に示されているフローチャートを用いて説明する。この閲覧規制処理は、例えば、所定の時間的周期に基づいて遠隔指導管理装置１０で実行される。

【0104】

なお、遠隔指導管理装置１０における処理は、ＣＰＵ２０がデータ取得部２１０、指導画像指定部２３０、閲覧条件設定部２４０、閲覧許可情報送信部２５０及び品質判定２６０として機能することにより実現される。

【0105】

ステップＳ２０２で、ＣＰＵ２０は、指導者Ｐ２の指定により、作業者Ｐ１に閲覧を許可された指導画像の閲覧条件に関する情報を取得する。本実施形態の例では、閲覧条件として、各指導画像に閲覧期間が設定されている。

【0106】

ステップＳ２０４で、ＣＰＵ２０は、指導画像が閲覧条件を満たすか否かについて判定する。具体的に、本実施形態の例では、ＣＰＵ２０は、各指導画像について、予め設定された閲覧期間であるか否かについて判定する。例えば、全ての指導画像の閲覧期間が予め２４時間に設定されている場合、作業者端末１６で指導画像の閲覧が許可されてから２４時間以内であるか否かについて判定する。ＣＰＵ２０は、閲覧条件を満たすと判定した場合、ステップＳ２０６の処理へ進む。一方、閲覧条件を満たさないと判定した場合、ステップＳ２０８の処理へ進む。

【0107】

ステップＳ２０６で、ＣＰＵ２０は、閲覧許可情報を有効にし、作業者端末１６から所定の指導画像を閲覧することができる状態を維持して閲覧規制処理を終了する。

【0108】

一方、ステップＳ２０８で、ＣＰＵ２０は、閲覧許可情報を無効にし、作業者端末１６から所定の指導画像を閲覧することができない状態にして閲覧規制処理を終了する。具体的にＣＰＵ２０は、各指導画像に設定された視聴用のパスワードを自動更新して、作業者端末１６に送信したパスワードを無効にして閲覧規制処理を終了する。

【0109】

なお、ステップＳ２０８で行われる無効化の処理は上記に限らない。例えば、作業者端末１６に表示されるマイページ画面９６から、閲覧条件を満たさない指導画像の選択オブジェクト９８の表示を削除させる指示コマンドを遠隔指導管理装置１０から作業者端末１６へ送信して閲覧許可情報の無効化の手段としてもよい。

【0110】

以上のように、本実施形態に係る遠隔指導管理装置１０は、作業者Ｐ１が携行するウエアラブル端末１４及び作業者端末１６とネットワークＮを介して接続され、遠隔地から作業者Ｐ１の作業を指導する。この遠隔指導管理装置１０では、ウエアラブル端末１４で撮影された作業者Ｐ１の周囲の撮影画像を表示部３６に表示することができる。指導者Ｐ２は、表示部３６を介して作業中の手元等を確認しながら作業者Ｐ１の習熟後を判断することができる。また、遠隔指導管理装置１０は、指導者Ｐ２が、予め登録された複数の指導画像の中から作業者端末１６からの閲覧を許可する画像を指定すると、指定した指導画像の閲覧を可能にする閲覧許可情報を作業者端末１６へ送信する。これにより、作業者端末１６では、閲覧許可情報を用いて指定された指導画像を視ることができる。

【0111】

このようにして、専門性の高い技術の指導を行う場合や、外国人技能実習生等の言語障壁のある作業者に対する指導を行う場合でも、画像の閲覧によって作業の要点を分かりやすく伝えることができ、指導効率を向上させることができる。また、指導画像の閲覧には、遠隔指導管理装置１０から送信される閲覧許可情報が必要であるため、外部への指導画像の流出を防ぐ抑止力となり、ノウハウの流出を防ぐことができる。

【0112】

遠隔指導管理装置１０は、指導画像データの閲覧可能期間を設定し、期間が経過すると、作業者端末１６へ送信した閲覧許可情報を無効にする。これにより、必要な期間を指定して指導画像の閲覧を許可することができるため、外部への指導画像の流出を防ぐ抑止力となり、ノウハウの流出を防ぐことができる。

【0113】

また閲覧期間は、全ての指導画像について一律に設定されていてもよいし、指導者Ｐ２が任意に設定してもよい。作業者の雇用主と前記作業者の指導について委託を受けた委託先との間で締結された指導契約期間として予め登録された期間、雇用主と前記作業者との間で締結された就労契約期間、作業内容に応じた習得期間等に基づいて設定することもできる。

【0114】

遠隔指導管理装置１０は、指導項目に対応する規格として予め登録された規格情報と作業者Ｐ１の周囲を撮影した撮影画像に基づいて、作業者Ｐ１によって行われた作業が規格内の品質であるか否かを判定する。これにより、遠隔指導管理装置１０を操作する指導者Ｐ２は、判定結果を参照することで、作業者Ｐ１の指導項目に関する習熟度を効率的に把握することができる。その結果、一人の指導者が複数人の作業者に対して同時に指導する場合であっても、各自の習熟度を的確に把握することができるため、一人の指導者が同時に対応できる人数を増やして、指導効率を高めることができる。

【0115】

また、本実施形態では、作業者によって行われた作業が規格内の品質であるか否かを判定するための機械学習を行った学習済みモデルを用いて作業品質を判定することで、複雑な演算を必要とせずに高精度で作業品質を確認することができる。

【0116】

また、本実施形態の遠隔指導システムＳを建築現場で作業する作業者Ｐ１への建築作業の指導に適用すると、指導項目は建築作業に関する指導項目であり、規格情報は、建築現場に関する作業情報とされる。そして、遠隔指導管理装置１０では、撮影画像中に映り込んだ建材の認識番号に基づいて、建築現場における作業者Ｐ１の位置を推定する。そして、推定された位置に対応する作業情報に基づいて、作業者Ｐ１によって行われた作業が規格内の品質であるか否かを判定する。これにより、現場ごとに作業内容が異なる建築作業の指導においても、作業者Ｐ１の指導項目に関する習熟度を効率的に把握することができる。

【0117】

また、本実施形態の遠隔指導システムＳでは、作業者端末１６の生体センサ６０で検出される作業者Ｐ１のバイタルデータを取得し、取得したバイタルデータが所定の閾値を超えると、作業者端末１６及び遠隔指導管理装置１０を介して作業者Ｐ１及び指導者Ｐ２に対してアラートを通知する。これにより、作業者Ｐ１の健康状態を考慮して、声掛けや指導内容の変更等の処置をすることができ、指導中における作業者Ｐ１の体調不良によるミスや事故等の発生を回避することができる。

【0118】

[補足説明]

【0119】

以上、実施形態に係る遠隔指導管理装置１０について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、作業者端末１６に作業者によって作業者の装着するウエアラブル端末１４が接続される構成としたが、本開示はこれに限らない。ウエアラブル端末１４と作業者端末１６のハードウェア構成を一つの作業者端末で構成してもよい。

【0120】

また、上記実施形態では、複数の指導画像が予めサーバ１２に格納される構成としたが、これに限らない。複数の指導画像を遠隔指導管理装置１０に格納してもよい。

【0121】

さらに、上記実施形態では、品質判定部２６０は、学習済みモデルＭに対して撮影画像データなどを入力し、学習済みモデルＭの演算処理を実行することで、作業品質を判定したが、これに限定されない。作業の品質が規格内であるか否かについての判断は、指導者Ｐ２の目視で行い、目視による判断結果を入力してもよい。また、学習済みモデルＭを用いずに作業品質を推定してもよい。この場合、取得した撮影画像の画像解析により作業内容の規格に関する特徴点を抽出し、規格情報を参照して規格内の品質か否かを判定する構成としてもよい。

【0122】

また、上記実施形態の指導画像では、外国人技能実習生の指導を目的としたが、これに限らない。医療技術や美容技術等の各種技能の指導に利用することができる。

【0123】

さらに、上記実施形態でＣＰＵ２０，７０がプログラムを読み込んで実行した処理を、ＣＰＵ２０，７０以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0124】

さらに、上記実施形態では、ストレージ２６，４６，７６に種々のデータを記憶させる構成としたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリ等の非一時的記録媒体を記憶部としてもよい。この場合、これらの記録媒体に各種プログラム及びデータなどが格納されることとなる。

【符号の説明】

【0125】

Ｓ 遠隔指導システム
１０ 遠隔指導管理装置
１４ 第１作業者端末（作業者端末）
１６ 第２作業者端末（作業者端末）
２０ ＥＣＵ（閲覧管理制御部）
３６ 表示部
３４ 操作部
７０ ＥＣＵ（送信制御部）
５４ 撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2022-08-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

作業者の作業を遠隔地から指導する遠隔指導システムにおいて、指導者により操作される遠隔指導管理装置であって、
前記遠隔指導管理装置は、前記作業者が携行する作業者端末とネットワークを介して相互に接続され、
前記作業者端末で撮影された前記作業者の周囲の撮影画像を前記指導者に向けて表示可能な表示部と、
前記表示部を介して前記撮影画像を確認した前記指導者による入力操作が可能とされ、当該入力操作に基づいて、予め登録された複数の指導画像の中から前記作業者端末からの閲覧を許可する画像を指定可能な操作部と、
前記操作部で指定された指導画像の閲覧を可能にする閲覧許可情報を前記作業者端末へ送信し、前記操作部で指定された指導画像について、閲覧可能期間を設定し、当該閲覧可能期間が経過した場合に、前記閲覧許可情報を無効にする閲覧管理制御部と、
を有する、遠隔指導管理装置。

【請求項2】

前記閲覧可能期間は、前記作業者の雇用主と前記作業者の指導について委託を受けた委託先との間で締結された指導契約期間として予め登録された期間、前記雇用主と前記作業者との間で締結された就労契約期間として予め登録された期間及び作業内容に応じた習得期間として予め登録された期間のうち少なくとも一つに基づいて設定される、請求項１に記載の遠隔指導管理装置。

【請求項3】

前記閲覧管理制御部は、指導項目に対応する規格として予め登録された規格情報と前記撮影画像に基づいて、前記作業者によって行われた作業が規格内の品質であるか否かを判定する、請求項１に記載の遠隔指導管理装置。

【請求項4】

前記閲覧管理制御部は、指導項目に対応して前記作業者によって行われた作業が規格内の品質であるか否かを判定するための機械学習を行った学習済みモデルに対して前記規格情報と前記撮影画像を入力し、学習済みモデルの処理を実行することで指導項目に対応して前記作業者によって行われた作業が規格内の品質であるか否かを判定する、請求項３に記載の遠隔指導管理装置。

【請求項5】

前記指導項目は建築作業に関する指導項目であり、
前記規格情報は、建築現場に関する作業情報であり、
前記閲覧管理制御部は、前記撮影画像中に映り込んだ建材の認識番号に基づいて建築現場における前記作業者の位置を推定し、推定された位置に対応する前記作業情報に基づいて前記作業者によって行われた作業が規格内の品質であるか否かを判定する、請求項３に記載の遠隔指導管理装置。

【請求項6】

前記作業者は技能実習制度により受け入れられた外国人技能実習生であり、
前記指導画像は、前記外国人技能実習生に技能を習得させるための指導画像である、請求項１に記載の遠隔指導管理装置。

【請求項7】

作業者が携行する作業者端末と遠隔地の指導者により操作される遠隔指導管理装置とがネットワークを介して相互に接続された遠隔指導システムであって、
前記作業者端末は、前記作業者の周囲を撮影可能な撮像部を有し、
前記遠隔指導管理装置は、前記作業者端末の前記撮像部で撮影された撮影画像を前記指導者に向けて表示可能な表示部と、
前記表示部を介して前記撮影画像を確認した前記指導者による入力操作が可能とされ、当該入力操作に基づいて、予め登録された複数の指導画像の中から前記作業者端末からの閲覧を許可する画像を指定可能な操作部と、
前記操作部で指定された指導画像の閲覧を可能にする閲覧許可情報を前記作業者端末へ送信し、前記操作部で指定された指導画像について、閲覧可能期間を設定し、当該閲覧可能期間が経過した場合に、前記閲覧許可情報を無効にする閲覧管理制御部と、を有する、遠隔指導システム。

【請求項8】

前記作業者端末は、前記作業者のバイタルデータを取得する生体センサを有し、
取得した前記バイタルデータが所定の閾値を超えた場合に、前記作業者端末及び前記遠隔指導管理装置を介して前記作業者及び前記指導者に対してアラートを通知する、請求項７に記載の遠隔指導システム。