(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137415
(43)【公開日】2024-10-07
(54)【発明の名称】支援装置、支援方法及び支援プログラム
(51)【国際特許分類】
G06T 13/40 20110101AFI20240927BHJP
G06Q 10/20 20230101ALI20240927BHJP
G06F 3/01 20060101ALI20240927BHJP
【FI】
G06T13/40
G06Q10/20
G06F3/01 510
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023048936
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】佐藤 勇介
(72)【発明者】
【氏名】高橋 宏幸
(72)【発明者】
【氏名】日置 丹悟
【テーマコード(参考)】
5B050
5E555
5L049
【Fターム(参考)】
5B050BA09
5B050BA12
5B050CA07
5B050DA04
5B050FA05
5E555AA27
5E555AA41
5E555AA71
5E555BA02
5E555BB02
5E555BC08
5E555BE09
5E555DA08
5E555DB32
5E555FA00
5L049CC15
(57)【要約】 (修正有)
【課題】技術習得が十分でない作業者であっても設備の作業を行えるようにする支援装置、支援方法及び支援プログラムを提供する。
【解決手段】支援装置は、設備の作業を行う作業者の動作データを含む作業データを取得する取得部と、作業データに基づいて、設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する生成部と、を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
設備の作業を行う作業者の動作データを含む作業データを取得する取得部と、
前記作業データに基づいて、前記設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する生成部と、
を備える、
支援装置。
【請求項2】
前記取得部は、同じ設備についての複数の前記作業データを取得し、
前記支援装置は、
前記複数の作業データから2つ以上の作業データを選別し、選別した2つ以上の作業データそれぞれの作業者の動作データを含む選別動作データを生成する選別部と、
前記選別動作データに基づいて、前記設備の作業の最適な動作を示す最適動作データを生成する最適化部と、
を備え、
前記生成部は、前記最適動作データに基づいて、前記アバタデータを生成する、
請求項1に記載の支援装置。
【請求項3】
前記作業は、前記設備を現状復帰させるための作業を含み、
前記選別部は、
前記複数の作業データそれぞれについて、前記設備が現状復帰するまでに要した復帰時間を計算する復帰時間計算部と、
前記複数の作業データそれぞれの前記復帰時間に基づいて、前記複数の作業データから前記2つ以上の作業データを選別するデータ選別部と、
を含む、
請求項2に記載の支援装置。
【請求項4】
前記データ選別部は、前記複数の作業データのうち、前記復帰時間が短い2つ以上の作業データを選別する、
請求項3に記載の支援装置。
【請求項5】
前記データ選別部は、前記複数の作業データのうち、前記復帰時間が平均的な2つ以上の作業データを選別する、
請求項3に記載の支援装置。
【請求項6】
前記最適化部は、前記選別動作データに含まれる前記作業者の動作データが示す動作に含まれる複数の独立動作のうち、前記復帰時間の短縮につながる可能性のある独立動作の組を示す関連独立動作データを生成し、
前記アバタデータは、前記関連独立動作データを含む、
請求項3~5のいずれか1項に記載の支援装置。
【請求項7】
支援対象作業者による前記設備の作業の状況に応じた動作を行う前記アバタを、前記支援対象作業者が装着しているHMD(Head Mounted Display)で表示するために、前記支援対象作業者による前記設備の作業の状況を判断する判断部を備える、
請求項1~5のいずれか1項に記載の支援装置。
【請求項8】
設備の作業を行う作業者の動作データを含む作業データを取得することと、
前記作業データに基づいて、前記設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成することと、
を含む、
支援方法。
【請求項9】
コンピュータに、
設備の作業を行う作業者の動作データを含む作業データを取得する処理と、
前記作業データに基づいて、前記設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する処理と、
を実行させる、
支援プログラム。
【請求項10】
支援対象作業者が装着するHMD(Head Mounted Display)であって、
設備の作業を行う作業者の動作データを含む作業データに基づいて生成された、前記設備の作業を行うように振る舞うアバタを表示するUI部と、
前記支援対象作業者による前記設備の作業の状況に応じた動作を行う前記アバタを前記UI部で表示するために、前記支援対象作業者による前記設備の作業の状況を判断する判断部と、
を備える、
支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、支援装置、支援方法及び支援プログラムに関する。
【背景技術】
【0002】
例えば特許文献1で知られるように、プラント、工場等において、フィールド機器等が設置された設備の保全管理(点検等の作業)が行われる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年は、設備の技術が短期間で複雑化、高度化し、設備の点検等の作業を行う作業者の技術習得が追い付かないという問題が出てきている。
【0005】
本開示の一側面は、技術習得が十分でない作業者であっても設備の作業を行えるようにする。
【課題を解決するための手段】
【0006】
一側面に係る支援装置は、設備の作業を行う作業者の動作データを含む作業データを取得する取得部と、作業データに基づいて、設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する生成部と、を備える。
【0007】
一側面に係る支援方法は、設備の作業を行う作業者の動作データを含む作業データを取得することと、作業データに基づいて、設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成することと、を含む。
【0008】
一側面に係る支援プログラムは、コンピュータに、設備の作業を行う作業者の動作データを含む作業データを取得する処理と、作業データに基づいて、設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する処理と、を実行させる。
【0009】
一側面に係る支援装置は、支援対象作業者が装着するHMD(Head Mounted Display)であって、設備の作業を行う作業者の動作データを含む作業データに基づいて生成された、設備の作業を行うように振る舞うアバタを表示するUI部と、支援対象作業者による設備の作業の状況に応じた動作を行うアバタを、UI部で表示するために、支援対象作業者による設備の作業の状況を判断する判断部と、を備える。
【発明の効果】
【0010】
本発明によれば、技術習得が十分でない作業者であっても設備の作業を行えるようになる。
【図面の簡単な説明】
【0011】
【
図3】支援装置6及びHMD9の概略構成の例を示す図である。
【
図4】復帰時間に応じた作業データ661の順位付けの例を示す図である。
【
図7】関連独立動作データ663bの例を示す図である。
【
図9】実施形態において実行される処理(支援方法)の例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ実施形態について説明する。同一の要素には同一の符号を付し、重複する説明は適宜省略する。
【0013】
<序>
工場、プラント等に設けられた設備の点検等の作業は、通常は、作業マニュアルに沿って行われる。作業者は、例えば、設備の外観、設備が示す数値等に基づいて、その設備が正常状態であるか否かを確認して記録する。設備が正常状態でない場合には、その設備自体が振動、発熱等することで周囲環境に変化をもたらしていたり、設備がエラーコードを表示(発報)していたりする。作業者は、その設備が異常状態であることを認識する。
【0014】
設備が異常状態のときには、その設備を正常状態に戻して保全する(現状復帰させる)ための作業も必要になる。従来は、作業者が設備の取り扱いマニュアル等の紙媒体の内容を確認して対処したり、或いは、OJTを通して習得した技術に基づいて対処したりしていた。マニュアルの例は、機器メーカが発行した設置・メンテナンスマニュアル、現場で独自に作成されたノウハウ集等であり、紙媒体、その電子化データ、動画といった形態で提供されていた。OJTは、実演、口頭による情報伝達といった形態で行われていた。
【0015】
紙媒体のマニュアルは、実物を所持する必要があるので、管理及び利用が複雑になる。電子化データは、所望のページを見つけるのに時間を要するので、現場での事象に応じた対処法の検索が煩雑になる。動画についても同様のことがいえる。OJTは、曖昧さが作業者の技術習得の問題となる。また、作業者の技術習得に長い時間を費やす必要がある。
【0016】
近年は、設備の技術が短期間で複雑化、高度化するようになってきており、これまでのやり方では、作業者の技術習得が追い付かないケースも出てきている。複雑化、高度化の要因の一例は、設備のIoT(Internet of Things)化である。IoT化が進むにつれて、作業者には、設備自体の動作原理に基づく取り扱いに加えて、マイコン制御技術、さらには通信技術等の素養も求められるようになる。このような状況においては、作業者の技術習得に長い時間を費やして熟練作業者を育成しても、そのときにはその作業者が習得した技術が陳腐してしまう。熟練作業者を育成することの意味が薄まりつつある。
【0017】
上述の課題の少なくとも一部が、開示される技術によって対処される。詳細は後述するが、設備の作業を行うように振る舞うアバタが、例えば拡張現実(AR:Augmented Reality)の形式で表示される。作業者は、アバタを通じて設備の作業に関する知見をリアルタイムに得ることができるので、マニュアルを確認したりOJTを通して技術を習得したりしなくても、設備の作業を行うことができる。短期間での作業者の育成にもつながる。
【0018】
<実施形態>
図1は、支援技術の概要を示す図である。点検等の作業の対象となる設備を、設備1と称し図示する。具体的に、
図1には、設備1に設置されるフィールド機器が、設備1として描かれる。フィールド機器は、プラント、工場等のフィールド内に設置されて用いられる計測器であり、例えば圧力計、温度計、流量計等である。矛盾の無い範囲において、設備1及びフィールド機器は適宜読み替えられてよい。
【0019】
設備1は、計測値を表示したり、エラーコードを表示したりするように構成される。計測値の例は、圧力値、温度値、流量値等である。エラーコードは、設備1が異常状態である場合に表示される。例えば計測値が予め定められた正常範囲から外れた場合に、エラーコードが表示される。計測値が正常範囲内に戻ると、エラーコードが非表示になる(消滅する)。
【0020】
設備1の作業に関するデータが取得される。具体的に、
図1の左側に示されるように、作業者2が、設備1の点検等の作業を実際に行う。作業には、設備1を現状復帰させるための作業が含まれ得る。作業者2による設備1の作業に関する各種のデータが取得される。各種のデータを取得するための要素として、スーツ3、カメラ4及びHMD5が例示される。
【0021】
スーツ3は、作業者2の体の各部位に装着されて用いられるモーションキャプチャ用のスーツである。装着対象の部位の例は、頭部、四肢及び関節、手指及び関節、脊椎等である。スーツ3の代わりに、それらの部位の動作を補足できるマーカ等が作業者2に装着されてもよい。
【0022】
カメラ4は、設備1及び作業者2を撮影するビデオカメラである。設備1及び作業者2の映像のデータが取得される。カメラ4は、上述のスーツ3又はマーカ等の動きの変化を読み取ることが可能なビデオカメラであり、作業者2の身体の各部位の位置の変化(速度や加速度)のデータも取得される。モーションキャプチャを利用した3次元座標データが取得可能である。空間的識別を向上させるために、複数のカメラ4が用いられてもよい。
図1には2つのカメラ4が例示される。
【0023】
HMD5は、作業者2の頭部に装着されて用いられるヘッドマウントディスプレイ(Head Mounted Display)である。HMD5は、作業者2の視点で撮影を行うカメラを含む。作業者2の視点での映像(設備1を含む映像)のデータが取得される。
【0024】
作業者2による設備1の作業中に、設備1、カメラ4及びHMD5で取得された各データが、例えばインターネット等のネットワークを介して、支援装置6に送信される。支援装置6は、カメラ4及びHMD5からのデータを、作業データ661として取得して記憶する。作業データ661について、
図2も参照して説明する。
【0025】
図2は、作業データ661の例を示す図である。作業データ661は、作業者2の動作データと、他のデータとを含む。
【0026】
作業者2の動作データとして、作業者2の体の各部位の位置データ、速度データ、加速度データ、視線データ、焦点データ及び視野データが例示される。例えば、位置データ、速度データ及び加速度データは、カメラ4によって取得される。作業者2の視線データ、焦点データ及び視野データは、HMD5によって取得される。
【0027】
他のデータとして、設備1の数値データ、エラーコードデータ、位置データ、外観データ、及び作業時間データが例示される。なお、数値データは、例えば計測値を示すデータである。数値データ及びエラーコードデータは、設備1から取得される。設備1の位置データ及び外観データは、カメラ4によって取得されたり、HMD5によって取得されたりする。作業時間データは、作業者2が設備1の作業を開始してから作業を終了するまでの時間である。作業時間データは、例えば、作業者2が設備1又は図示しない端末等を操作して作業時間を入力する(報告する)ことによって取得される。
【0028】
図1に戻り、複数の作業者2が存在し、同じ設備1についての複数の作業データ661が支援装置6によって取得(収集)される。詳細は後述するが、支援装置6は、作業データ661に基づいて、アバタデータ664を生成する。アバタデータ664は、設備1の作業を行うように振る舞うモデルのデータである。このようなモデルは、作業者2の分身モデルともいえ、アバタ7と称し図示する。アバタデータ664を用いて、他の作業者による設備1の作業を支援することができる。他の作業者は、例えば作業者2と比較して、設備1の作業についての技術習得が十分でない者であってよい。他の作業者を、支援対象作業者8と称し図示する。
【0029】
支援対象作業者8は、HMD9を装着して設備1の点検等の作業を行う。支援装置6は、支援対象作業者8による設備1の作業状況に応じた動作を行うアバタ7のアバタデータ664を、例えばインターネット等のネットワークを介して、HMD9に送信する。HMD9では、作業者2がこれから行うべき動作を行うように振る舞うアバタが、例えばARの形式で表示される。支援対象作業者8は、表示されたアバタ7を見ながら設備1の作業を進めることができる。
【0030】
上述のように作業データ661は、モーションキャプチャを用いて取得された3次元のデータを含む。このような作業データ661に基づいて生成されたアバタデータ664は、2次元的(平面的)な情報だけでなく、支援対象作業者8を起点とした3次元空間での動作を正確に反映するアバタ7を提供する。
【0031】
図3は、支援装置6及びHMD9の概略構成の例を示す図である。なお、HMD9も支援装置の1つということができ、また、支援装置6及びHMD9をまとめて支援システムということもできる。
【0032】
支援装置6は、取得部61と、選別部62と、最適化部63と、生成部64と、判断部65と、記憶部66とを含む。
【0033】
取得部61は、作業データ661を取得する。取得された作業データ661は、記憶部66に記憶される。先にも述べたように、取得部61は、同じ設備1についての複数の作業データ661を取得する。複数の作業データ661を区別できるように、作業データ661-1、661-2、作業データ661-3等と称し図示する。これらをとくに区別しない場合は、単に作業データ661と呼ぶ。
【0034】
選別部62は、複数の作業データ661から、2つ以上の作業データ661を選別する。選別部62は、複数の作業データ661それぞれの作業者2の動作データ、より具体的には、作業者2の体の各部位の位置データ、速度データ、加速度データ等から、後述の最適動作データ663aさらにはアバタデータ664の生成に利用可能な作業データ661を選別する。選別に関する機能ブロックとして、選別部62は、復帰時間計算部621と、データ選別部622とを含む。
【0035】
復帰時間計算部621は、複数の作業データ661それぞれについて、設備1が現状復帰するまでに要した時間を計算する。この時間を、復帰時間と称する。例えば、復帰時間計算部621は、設備1のエラーコードが消滅したり、数値(例えば計測値)が正常範囲内に戻ったりするまでに要した時間を、復帰時間として計算する。エラーコードが消滅したことは、例えば作業データ661に含まれる設備1のエラーコードデータから判断される。数値が正常範囲内に戻ったことは、例えば作業データ661に含まれる設備1の数値データから判断される。なお、先に説明した作業データ661中の作業時間データの示す作業時間が、復帰時間として扱われてもよい。
【0036】
作業が終わっても設備1のエラーコードが消滅しなかったり、数値が正常範囲内に戻ったりしなかった場合には、その作業データ661は失敗事例のデータとして残されてよい。
【0037】
復帰時間計算部621は、複数の作業データ661を、それぞれの復帰時間に応じて順位付けする。復帰時間が短い作業データ661ほど、上位の順位に位置する。
図4も参照して説明する。
【0038】
図4は、復帰時間に応じた作業データ661の順位付けの例を示す図である。複数の作業データ661として、作業データ661-1~作業データ661-9が例示される。
【0039】
ここでは、作業データ661-1~作業データ661-7に係る作業において、設備1が現状復帰したものとする。作業データ661-8及び作業データ661-9に係る作業において、設備1は現状復帰しなかったものとする。
【0040】
図4の左側に示されるように、作業データ661-1~作業データ661-7には、復帰時間が対応付けられる。この例では、作業データ661-1の復帰時間は22分である。作業データ661-2の復帰時間は25分である。作業データ661-3の復帰時間は30分である。作業データ661-4の復帰時間は28分である。作業データ661-5の復帰時間は26分である。作業データ661-6の復帰時間は29分である。作業データ661-7の復帰時間は32分である。
【0041】
作業データ661-8及び作業データ661-9は、復帰時間は計算されず、失敗事例として残される。
【0042】
図4の右側に示されるように、作業データ661-1~作業データ661-7それぞれの復帰時間に基づいて、作業データ661-1~作業データ661-7が順序付けられる。具体的に、復帰時間が短いものから順に、各作業データ661が並ぶように順序付けられる。この例では、作業データ661-1(復帰時間22分)、作業データ661-2(復帰時間25分)、作業データ661-5(復帰時間26分)、作業データ661-4(復帰時間28分)、作業データ661-6(復帰時間29分)、作業データ661-3(復帰時間30分)及び作業データ661-7(復帰時間32分)がこの順に順序付けられる。
【0043】
図3に戻り、データ選別部622は、復帰時間計算部621によって計算された複数の作業データ661それぞれの復帰時間に基づいて、複数の作業データ661から2つ以上の作業データ661を選別する。この後の最適動作データ663aの生成、さらにはアバタデータ664の生成に適した作業者2の動作データ(支援対象作業者8にとって規範となり得る動作データ)を含む作業データ661が選別される。2つの選別手法を例に挙げて説明する。
【0044】
第1の選別手法では、復帰時間が短い作業データ661が選別される。データ選別部622は、複数の作業データ661のうち、復帰時間が短い2つ以上の作業データ661を選別する。復帰時間を最短化するような、効率的且つ効果的な作業動作を示す作業データ661を選別することができる。
【0045】
第2の選別手法では、復帰時間が平均的な作業データ661が選別される。データ選別部622は、複数の作業データ661のうち、復帰時間が平均的な2つ以上の作業データ661を選別する。復帰時間が短すぎると、非常に高度な動作が求められる等、かえって支援対象作業者8の規範になりにくい可能がある。このような作業データ661を排除するように、作業データ661を選別することができる。
【0046】
第2の選別手法を用いる場合、具体的に、選別動作データ662は、複数の作業データ661の復帰時間の平均値を計算し、平均値から所定範囲内の復帰時間の作業データ661を選別する。例えば、下記の式(1)を満たす復帰時間、すなわち復帰時間が平均値±xσの範囲内に収まる作業データ661が選別されてよい。σは標準偏差であり、xは任意に設定されてよい。
(式1)
平均値-xσ≦復帰時間≦平均値+xσ
【0047】
例えば上記のようにして、選別部62は、複数の作業データ661から、2つ以上の作業データ661を選別する。選別部62は、選別した2つ以上の作業データ661、より具体的にはそれらの作業者2の動作データを含む選別動作データ662を生成する。生成された選別動作データ662は、支援装置6に記憶される。選別動作データ662について、
図5も参照して説明する。
【0048】
図5は、選別動作データ662の例を示す図である。この例では、先に説明した
図2の作業データ661-1~作業データ661-7のうちの3つの作業データ661が選別される。選別動作データ662は、選別されたそれら3つの作業データ661それぞれの作業者2の動作データを含む。
【0049】
図5の(A)には、上述の第1の選別手法によって得られた選別動作データ662の例が示される。この例では、復帰時間が短い作業データ661-1(復帰時間22分)、作業データ661-2(復帰時間25分)及び作業データ661-5(復帰時間26分)が選別される。選別動作データ662は、作業データ661-1、作業データ661-2及び作業データ661-5それぞれの作業者2の動作データを含む。
【0050】
図5の(B)には、上述の第2の選別手法によって得られた選別動作データ662の例が示される。この例では、復帰時間が平均的な作業データ661-5(復帰時間26分)、作業データ661-4(復帰時間28分)、作業データ661-6(復帰時間29分)が選別される。選別動作データ662は、作業データ661-5、作業データ661-4及び作業データ661-6それぞれの作業者2の動作データを含む。
【0051】
図3に戻り、最適化部63は、選別動作データ662に基づいて、設備1の作業の最適な動作を示すデータを生成する。このデータを、最適動作データ663aと称する。最適動作データ663aは、記憶部66に記憶される。
【0052】
最適動作データ663aが示す最適な動作とは、その動作を行うアバタ7を支援対象作業者8が見たときに、アバタ7の四肢等の動きに違和感を覚えない滑らかな動作、例えばコマ落ちを意識しないような滑らかな動作である。最適動作データ663aを得るために、さまざまなアルゴリズムが用いられてよい。単純には、例えば、選別動作データ662に含まれる各作業データ661の作業者2の動作データを平均化したり、補完したりすることで、最適動作データ663aが生成されてよい。
【0053】
一実施形態において、人工知能(AI:Artificial Intelligence)技術が用いられてよく、
図3に示される例では、記憶部66に記憶された学習済みモデルLMが用いられる。学習済みモデルLMは、選別動作データ662が入力されると最適動作データ663aを出力するように機械学習されたモデルである。最適化部63は、選別動作データ662を訓練データ(学習データ)として用いる機械学習により、学習済みモデルLMを生成したり、さらなる機械学習により学習済みモデルLMを更新したりする。最適化部63は、学習部とも呼べる。
【0054】
最適化部63のさらなる機能について述べる。作業者2の動作は、複数の独立動作を含み得る。独立動作について、
図6も参照して説明する。
【0055】
図6は、独立動作の例を示す図である。独立動作として、バルブ開閉動作、表示確認動作、及び周囲環境確認動作が例示される。
【0056】
バルブ開閉動作は、例えば圧力を制御するために行われる動作である。バルブ開閉動作は、複数のバルブの開閉動作であってもよく、その場合は、バルブの開閉順序動作等も含まれる。
【0057】
表示確認動作は、設備1に表示される各種の情報の確認動作である。確認動作は、計測値等の数値の確認動作であってもよいし、エラーコードの確認動作であってもよい。
【0058】
周囲環境確認動作は、温度、湿度、それらの分布等の確認動作である。
【0059】
図3に戻り、上述のようなさまざまな独立動作のうちのいくつかの独立動作は、復帰時間短縮化の観点から相互に関連し得る。そこで、最適化部63は、選別動作データ662に含まれる作業データ661の作業者2の動作データが示す動作に含まれる複数の独立動作のうち、復帰時間の短縮につながる可能性のある独立動作の組(組合せ)を示すデータも生成する。このデータを、関連独立動作データ663bと称する。関連独立動作データ663bは、記憶部66に記憶される。関連独立動作データ663bについて、
図7も参照して説明する。
【0060】
図7は、関連独立動作データ663bの例を示す図である。独立動作の2種類の組が例示される。1つ目の組は、比較的シンプルな独立動作の組の一例であり、バルブ開閉動作及び表示確認動作を組み合わせる。例えば、これらの独立作業を続けて行うことで、作業を効率的に進め、復帰時間を短くできる可能性が高まる。
【0061】
2つめの組は、上述の1つ目の組よりも詳細な独立動作の組の一例であり、複数のバルブを用いて圧力を制御する動作、開閉順序動作、圧力表示確認動作、流量表示確認動作及び周囲環境確認動作を組み合わせる。これらの独立動作を順に行うことで、作業を効率的に進め、復帰時間を短くできる可能性が高まる。
【0062】
いくつかの独立動作は、作業者2や支援対象作業者8が意識しない動作であり得る。このような独立動作の組合せを示す関連独立動作データ663bを生成しておくことで、支援対象作業者8による設備1の作業のさらなる支援が可能になる。詳細は後述する。
【0063】
図3に戻り、関連独立動作データ663bの生成にも学習済みモデルLMが用いられてよく、その場合の学習済みモデルLMは、最適動作データ663aとともに関連独立動作データ663bも出力する。
【0064】
生成部64は、最適化部63が生成したデータ、より具体的には最適動作データ663a及び関連独立動作データ663bに基づいて、アバタデータ664を生成する。アバタデータ664は、記憶部66に記憶される。アバタデータ664について、
図8も参照して説明する。
【0065】
図8は、アバタデータ664の例を示す図である。アバタデータ664は、アバタ7のデータと、作業項目データと、関連独立動作データ663bとを含む。
【0066】
アバタ7は、先にも述べたように、設備1の作業を行うように振る舞うモデルである。アバタ7のデータは、アバタ7の外観、動作(アバタ7の体の各部位の動作)等のデータを含む。アバタデータ664の生成には種々の公知の技術が用いられてよく、例えば専用のソフトウェアが用いられてよい。
【0067】
作業項目データは、各作業の項目(名称等)を示すデータであり、例えばバルブ開閉作業等の項目を示すデータである。関連独立動作データ663bについては先に述べたとおりである。
【0068】
図3に戻り、先にも述べたように、アバタデータ664が支援装置6からHMD9に送信され、そこでアバタ7が表示される。ここでHMD9について説明する。HMD9は、処理部91と、UI部92と、カメラ93とを含む。
【0069】
処理部91は、HMD9における各種の処理を実行する。とくに説明がある場合を除き、処理部91が実行する処理に従ってHMD9が動作するものとする。
【0070】
UI部92は、支援対象作業者8に情報を表示したり、支援対象作業者8による操作(ユーザ操作)を受け付けたりする。表示についてさらに述べると、例えば、UI部92は、支援装置6からのアバタデータ664に基づいて、アバタ7及び関連する情報を表示する。先にも述べたように、アバタ7は例えばARの形式で表示される。あたかも支援対象作業者8の目の前にある設備1に対して作業を行うように振る舞うアバタ7が、支援対象作業者8に表示される。支援対象作業者8は、視覚的且つ直感的に自身がこれから行う作業を把握し、設備1の作業を進めることができる。
【0071】
カメラ93は、支援対象作業者8の視点で撮影を行う。支援対象作業者8からみたときの設備1を含む映像のデータが取得される。例えばこの映像のデータ、さらにはアバタデータ664に基づいて処理部91がUI部92を制御することで、上述のようなARの形式でのアバタ7の表示が行われる。
【0072】
一実施形態において、HMD9のUI部92は、支援対象作業者8による設備1の作業の状況に応じた動作、例えばこれから支援対象作業者8が行うべき動作を行うアバタ7を、時系列上で先行して表示してよい。例えば、支援対象作業者8による設備1の作業の状況が、これからバルブ開閉作業を行うという状況であれば、バルブ開閉作業の動作を行うアバタ7が表示される。このような表示を行うためには、支援対象作業者8による設備1の作業の状況を判断(把握)する必要がある。
【0073】
図3に示される例では、支援装置6の判断部65が、支援対象作業者8による設備1の作業の状況に応じた動作を行うアバタ7をHMD9で表示するために、支援対象作業者8による設備1の作業の状況を判断する。判断手法として、2つの判断手法を例に挙げて説明する。
【0074】
第1の手法では、HMD9のカメラ93によって取得された映像のデータが用いられる。この映像は、支援対象作業者8の視点での設備1等の映像を含む。判断部65は、映像のデータに基づいて、支援対象作業者8による設備1の作業の状況を判断する。種々の公知の映像認識エンジン等が用いられてよい。
【0075】
第2の手法では、ユーザ操作によって得られた情報が用いられる。例えば、支援対象作業者8は、作業状況に関する情報をUI部92に入力する。この情報は、支援対象作業者8の作業の状況(これからバルブ開閉作業を行う状況等)を直接的に指定する情報であってもよいし、アバタ7にリクエストする動作(バルブ開閉作業の動作等)を指定する情報であってもよい。このような情報が、HMD9から支援装置6に送信される。支援装置6の判断部65は、HMD9からの情報に基づいて、支援対象作業者8による設備1の作業の状況を判断する。
【0076】
判断部65は、アバタデータ664のうち、判断した状況に応じた動作を行うアバタ7のデータ、対応する作業項目データ及び関連独立動作データ663bを含むアバタデータ664を、HMD9に送信する。HMD9のUI部92は、支援装置6からのアバタデータ664に基づいてアバタ7を表示し、また、その作業項目(バルブ開閉作業等)、さらには、関連独立動作データ663bに基づく情報を表示する。
【0077】
関連独立動作データ663bに基づく情報の表示は、具体的には、支援対象作業者8が或る独立動作を行う際に、関連する他の独立動作に関する情報を表示することを含む。例えば、支援対象作業者8がバルブ開閉動作を行う際に、「数値の表示を確認してください」、「xxxバルブを閉めてください」といった注意喚起を促すようなメッセージ等が表示されてよい。支援対象作業者8をより正確な作業へと導くことができる。
【0078】
なお、判断部65による判断は、支援対象作業者8による設備1の作業が完了したことの判断も含む。
【0079】
記憶部66は、支援装置6で用いられる情報を記憶する。情報はデータを含む意味に解されてよく、矛盾の無い範囲において、情報及びデータは適宜読み替えられてよい。記憶部66に記憶される情報として、これまでに説明した作業データ661、選別動作データ662、最適動作データ663a、関連独立動作データ663b、学習済みモデルLM及びアバタデータ664の他に、支援プログラム665も例示される。支援プログラム665は、コンピュータを支援装置6として機能させるためのプログラム(ソフトウェア、アプリケーションプログラム等)である。
【0080】
以上で説明した支援装置6及びHMD9によれば、これまで述べたように、設備1の作業を行うように振る舞うアバタ7のデータを含むアバタデータ664を生成し、アバタ7を表示することで、支援対象作業者8による設備1の作業を支援することができる。従来のように紙媒体等のマニュアルを用いて作業を行ったり、OJTで技術習得を図ったりする場合よりも、効率的な作業の支援が可能になる。作業時間の短縮化、作業ミスの軽減等につながる。熟練作業者が不要となり、作業者養成のための時間やコストを削減することができる。例えば支援対象作業者8が技術習得が十分でない者であっても、設備1の作業を行えるようになる。
【0081】
さらに、
図3に示される例では、支援対象作業者8が行った設備1の作業に関するデータが、支援装置6にフィードバックされる。例えば、支援対象作業者8による設備1の作業中にHMD9のカメラ93が取得した映像のデータ、設備1からのデータ等が、追加の作業データ661として取得部61によって取得される。図には表れないが、作業者2と同様に支援対象作業者8がスーツ3又はマーカを装着し、撮影用のカメラ4も用いられてよい。カメラ4が取得した映像のデータも、追加の作業データ661に含まれ得る。
【0082】
支援装置6では、追加された作業データ661も用いて、各データ、具体的には選別動作データ662、最適動作データ663a、関連独立動作データ663b、学習済みモデルLM及びアバタデータ664が改めて生成される(更新される)。例えば、支援対象作業者8による設備1の作業が、参考にしたアバタ7による作業よりも復帰時間が短かったり、動作が滑らかであったりすれば、さらに短い復帰時間で設備1の作業を終えるように動作する(動作精度が向上された)アバタ7を提供することができるようになる。
【0083】
図9は、実施形態において実行される処理(支援方法)の例を示すフローチャートである。これまでと重複する内容については、適宜説明は省略する。
【0084】
ステップS1において、支援装置6の取得部61は、作業者2の動作データを含む作業データ661を取得する。支援対象作業者8による設備1の作業に関するデータも、追加の作業データ661として取得されてよい。
【0085】
ステップS2において、支援装置6の選別部62は、作業データ661に基づいて、選別動作データ662を生成する。
【0086】
ステップS3において、支援装置6の最適化部63は、選別動作データ662に基づいて、最適動作データ663a及び関連独立動作データ663bを生成する。学習済みモデルLMを用いられる場合には、選別動作データ662を用いた学習済みモデルLMの機械学習も行われてよい。
【0087】
ステップS4において、支援装置6の生成部64は、最適動作データ663a及び関連独立動作データ663bに基づいて、アバタデータ664を生成する。
【0088】
ステップS5において、支援装置6の判断部65は、支援対象作業者8による設備1の作業の状況を判断する。
【0089】
ステップS6において、支援装置6の判断部65は、アバタデータ664のうち、判断した状況に応じた動作を行うアバタ7等のデータ、具体的にはアバタ7のデータ、対応する作業項目データ及び関連独立動作データ663bを、HMD9に送信する。
【0090】
ステップS7において、HMD9のUI部92は、アバタ7及び関連する情報、例えばアバタ7とともに作業項目及び関連する独立動作に関する情報を表示する。表示されたこれらの情報を参考に、支援対象作業者8が設備1の作業を進める。
【0091】
ステップS8において、支援装置6の判断部65は、支援対象作業者8による設備1の作業が完了しているか否かを判断する。作業が完了していない場合(ステップS8:No)、ステップS5に処理が戻される。作業が完了するまで、ステップS5~ステップS7の処理が繰り返される。作業が完了している場合(ステップS8:Yes)、ステップS1に処理が戻され、支援対象作業者8による設備1の作業に関するデータが、追加の作業データ661として取得される。追加の作業データ661に基づいて、各データが更新される。
【0092】
開示される技術は、上記の実施形態に限定されない。いくつかの変形例及び応用例について述べる。
【0093】
<変形例>
一実施形態において、支援装置6の機能の一部が、HMD9で実現されてよい。
図10を参照して説明する。
【0094】
図10は、変形例を示す図である。この例では、HMD9の処理部91が、判断部65を含む。HMD9において、判断部65が、支援対象作業者8による設備1の作業の状況を判断する。判断結果を示すデータが、HMD9から支援装置6に送信される。対応するアバタデータ664が、支援装置6からHMD9に送信される。これまでと同様に、支援対象作業者8による設備1の作業を支援することができる。
【0095】
判断部65以外の支援装置6の機能の一部もHMD9のUI部92によって実現されてよい。
【0096】
<応用例>
1つの応用例として、設備1の作業がロボットによって行われる場合にも、これまで説明した支援技術を適用することができる。作業データ661は、ロボットと同様の動作を行い得る1人又は複数人の作業者2による設備1の作業に関するデータであってよい。作業データ661のうち、ロボットが利活用可能なデータが、選別動作データ662として選別され、それに基づいて最適動作データ663a等、さらにはアバタデータ664が生成されてよい。人間の代わりに設備1の作業を行うロボットの自律支援に役立てることができる。
【0097】
別の応用例として、仮想空間内における設備1にする作業シミュレーション等に、これまで説明した支援技術を適用することもできる。HMD9では、VR(Virtual Reality)の形式でアバタ7が表示される。例えば、デジタルツイン技術として知られるように、実プラントと同様の環境が仮想空間内に構築し、その仮想空間内で設備1の点検等の作業を行うことにより、実際の設備1の作業を再現したり、シミュレーションしたりすることができる。
【0098】
<ハードウェア構成の例>
図11は、ハードウェア構成の例を示す図である。例示されるようなコンピュータ100を含んで構成された装置等が、これまで説明した支援装置6又はHMD9として機能する。コンピュータ100のハードウェア構成として、バス等で相互に接続される通信装置101、表示装置102、記憶装置103、メモリ104及びプロセッサ105が例示される。
【0099】
通信装置101は、ネットワークインタフェースカード等であり、他の装置との通信を可能にする。通信装置101は、例えばこれまで説明した取得部61等に相当し得る。表示装置102は、例えばこれまで説明したUI部92等に相当し得る。
【0100】
記憶装置103及びメモリ104には、各種のデータが記憶される。記憶装置103の具体例は、HDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)等である。メモリ104は、記憶装置103の一部であってもよい。記憶装置103に記憶されるデータとして、プログラム103aが例示される。プログラム103aは、コンピュータ100を、支援装置6又はHMD9として機能させるプログラム(ソフトウェア)である。プログラム103aの一例は、先に述べた支援プログラム665であり、取得部61、選別部62、最適化部63、生成部64及び判断部65による処理をコンピュータ100に実行させる。
【0101】
プロセッサ105は、各種の処理を実行する。例えば、プロセッサ105は、記憶装置103からプログラム103aを読み込んで(読み出して)メモリ104に展開することで、支援装置6又はHMD9において実行される各種の処理をコンピュータ100に実行させる。
【0102】
プログラム103aは、インターネット等のネットワークを介してまとめて又は別々に配布することができる。また、プログラム103aは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、DVD(Digital Versatile Disc)等のコンピュータ読み取り可能な記録媒体にまとめて又は別々に記録され、コンピュータ100によって記録媒体から読み込まれることによって実行することができる。
【0103】
以上で説明した技術は、例えば次のように特定される。開示される技術の1つは、支援装置6である。
図1~
図8等を参照して説明したように、支援装置6は、設備1の作業を行う作業者2の動作データを含む作業データ611を取得する取得部61と、作業データ611に基づいて、設備1の作業を行うように振る舞うアバタ7のデータを含むアバタデータ664を生成する生成部64と、を備える。このようなアバタデータ664を用いて支援対象作業者8が装着するHMD9でアバタ7を表示することで、例えば支援対象作業者8が技術習得が十分でない者であっても、設備1の作業を行えるようになる。支援対象作業者8の技術習得(育成)にもつながる。
【0104】
図1及び
図3~
図5等を参照して説明したように、取得部61は、同じ設備1についての複数の作業データ661を取得し、支援装置6は、複数の作業データ661から2つ以上の作業データ661を選別し、選別した2つ以上の作業データ661それぞれの作業者2の動作データを含む選別動作データ662を生成する選別部62と、選別動作データ662に基づいて、設備1の作業の最適な動作を示す最適動作データ663aを生成する最適化部63と、を備え、生成部64は、最適動作データ663aに基づいて、アバタデータ664を生成してよい。これにより、例えば支援対象作業者8がみたときに違和感を覚えたりコマ落ちを意識したりしないように滑らかに動作するアバタ7を提供することができる。
【0105】
図1及び
図3~
図5等を参照して説明したように、作業は、設備1を現状復帰させるための作業を含み、選別部62は、複数の作業データ661それぞれについて、設備1が現状復帰するまでに要した復帰時間を計算する復帰時間計算部621と、複数の作業データ661それぞれの復帰時間に基づいて、複数の作業データ661から2つ以上の作業データ661を選別するデータ選別部622と、を含んでよい。これにより、復帰時間の観点から、アバタデータ664の生成に適した選別動作データ662を選別することができる。例えば、データ選別部622は、複数の作業データ661のうち、復帰時間が短い2つ以上の作業データ661を選別してよい。これにより、復帰時間を最短化するような、効率的且つ効果的な作業動作を示す作業データ661が選別される。或いは、データ選別部622は、複数の作業データ661のうち、復帰時間が平均的な2つ以上の作業データ661を選別してよい。この場合は、非常に高度な動作が求められる等、かえって支援対象作業者8の規範になりにくい作業データ661を排除するような選別が可能になる。
【0106】
図3、
図6及び
図7等を参照して説明したように、最適化部63は、選別動作データ662に含まれる作業者2の動作データが示す動作に含まれる複数の独立動作のうち、復帰時間の短縮につながる可能性のある独立動作の組を示す関連独立動作データ663bを生成し、アバタデータ664は、関連独立動作データ663bを含んでよい。このような関連独立動作データ663bを用いてHMD9に独立動作に関する情報も表示することで、、支援対象作業者8による設備1の作業をさらに支援することができる。
【0107】
図3等を参照して説明したように、支援装置6は、支援対象作業者8による設備1の作業の状況に応じた動作を行うアバタ7を、支援対象作業者8が装着しているHMD9で表示するために、支援対象作業者8による設備1の作業の状況を判断する判断部65を備えてよい。これにより、適切なタイミングで適切な動作を行うアバタ7を表示することができる。
【0108】
図1~
図9等を参照して説明した支援方法も、開示される技術の1つである。支援方法は、設備1の作業を行う作業者2の動作データを含む作業データ611を取得すること(ステップS1)と、作業データ611に基づいて、設備1の作業を行うように振る舞うアバタ7のデータを含むアバタデータ664を生成すること(ステップS4)と、を含む。このような支援方法によっても、これまで説明したように、技術習得が十分でない作業者であっても設備の作業を行えるようになる。
【0109】
図1~
図9及び
図11等を参照して説明した支援プログラム665も、開示される技術の1つである。支援プログラム665は、コンピュータ100に、設備1の作業を行う作業者2の動作データを含む作業データ661を取得する処理と、作業データ661に基づいて、設備1の作業を行うように振る舞うアバタ7のデータを含むアバタデータ664を生成する処理と、を実行させる。このような支援プログラム665によっても、これまで説明したように、技術習得が十分でない作業者であっても設備の作業を行えるようになる。なお、支援プログラム665が記録されたコンピュータ読み取り可能な記録媒体も、開示される技術の1つである。
【0110】
図1~
図8及び
図10等を参照して説明したHMD9も、支援装置の1つである。すなわちその場合の支援装置は、支援対象作業者8が装着するHMD9であり、設備1の作業を行う作業者2の動作データを含む作業データ661に基づいて生成された、設備1の作業を行うように振る舞うアバタ7を表示するUI部92と、支援対象作業者8による設備1の作業の状況に応じた動作を行うアバタ7をUI部92で表示するために、支援対象作業者8による設備1の作業の状況を判断する判断部65と、を備える。このようなHMD9によっても、これまで説明したように、技術習得が十分でない作業者であっても設備の作業を行えるようになる。
【0111】
開示される技術特徴の組合せのいくつかの例を以下に記載する。
(1)
設備の作業を行う作業者の動作データを含む作業データを取得する取得部と、
前記作業データに基づいて、前記設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する生成部と、
を備える、
支援装置。
(2)
前記取得部は、同じ設備についての複数の前記作業データを取得し、
前記支援装置は、
前記複数の作業データから2つ以上の作業データを選別し、選別した2つ以上の作業データそれぞれの作業者の動作データを含む選別動作データを生成する選別部と、
前記選別動作データに基づいて、前記設備の作業の最適な動作を示す最適動作データを生成する最適化部と、
を備え、
前記生成部は、前記最適動作データに基づいて、前記アバタデータを生成する、
(1)に記載の支援装置。
(3)
前記作業は、前記設備を現状復帰させるための作業を含み、
前記選別部は、
前記複数の作業データそれぞれについて、前記設備が現状復帰するまでに要した復帰時間を計算する復帰時間計算部と、
前記複数の作業データそれぞれの前記復帰時間に基づいて、前記複数の作業データから前記2つ以上の作業データを選別するデータ選別部と、
を含む、
(2)に記載の支援装置。
(4)
前記データ選別部は、前記複数の作業データのうち、前記復帰時間が短い2つ以上の作業データを選別する、
(3)に記載の支援装置。
(5)
前記データ選別部は、前記複数の作業データのうち、前記復帰時間が平均的な2つ以上の作業データを選別する、
(3)に記載の支援装置。
(6)
前記最適化部は、前記選別動作データに含まれる前記作業者の動作データが示す動作に含まれる複数の独立動作のうち、前記復帰時間の短縮につながる可能性のある独立動作の組を示す関連独立動作データを生成し、
前記アバタデータは、前記関連独立動作データを含む、
(3)~(5)のいずれかに記載の支援装置。
(7)
支援対象作業者による前記設備の作業の状況に応じた動作を行う前記アバタを、前記支援対象作業者が装着しているHMD(Head Mounted Display)で表示するために、前記支援対象作業者による前記設備の作業の状況を判断する判断部を備える、
(1)~(6)のいずれかに記載の支援装置。
(8)
設備の作業を行う作業者の動作データを含む作業データを取得することと、
前記作業データに基づいて、前記設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成することと、
を含む、
支援方法。
(9)
コンピュータに、
設備の作業を行う作業者の動作データを含む作業データを取得する処理と、
前記作業データに基づいて、前記設備の作業を行うように振る舞うアバタのデータを含むアバタデータを生成する処理と、
を実行させる、
支援プログラム。
(10)
支援対象作業者が装着するHMD(Head Mounted Display)であって、
設備の作業を行う作業者の動作データを含む作業データに基づいて生成された、前記設備の作業を行うように振る舞うアバタを表示するUI部と、
前記支援対象作業者による前記設備の作業の状況に応じた動作を行う前記アバタを前記UI部で表示するために、前記支援対象作業者による前記設備の作業の状況を判断する判断部と、
を備える、
支援装置。
【符号の説明】
【0112】
1 設備
2 作業者
3 スーツ
4 カメラ
5 HMD
6 支援装置
61 取得部
62 選別部
621 復帰時間計算部
622 データ選別部
63 最適化部
64 生成部
65 判断部
66 記憶部
661 作業データ
662 選別動作データ
663a 最適動作データ
663b 関連独立動作データ
LM 学習済みモデル
664 アバタデータ
665 支援プログラム
7 アバタ
8 支援対象作業者
9 HMD
91 処理部
92 UI部
93 カメラ
100 コンピュータ
101 通信装置
102 表示装置
103 記憶装置
103a プログラム
104 メモリ
105 プロセッサ