知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-17
(45)【発行日】2024-01-25
(54)【発明の名称】作業シミュレーション装置および学習装置
(51)【国際特許分類】
G09B 9/00 20060101AFI20240118BHJP
B25J 9/22 20060101ALI20240118BHJP
B25J 5/00 20060101ALI20240118BHJP
G05D 1/00 20240101ALI20240118BHJP
G21C 17/013 20060101ALI20240118BHJP
【ＦＩ】
G09B9/00 Z
B25J9/22 A
B25J5/00 B
G05D1/00 B
G21C17/013
【請求項の数】
10
(21)【出願番号】P 2020161163
(22)【出願日】2020-09-25
(65)【公開番号】P2022054138
(43)【公開日】2022-04-06
【審査請求日】2022-12-21
(73)【特許権者】
【識別番号】507250427
【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】小林 亮介
(72)【発明者】
【氏名】黒澤 孝一
(72)【発明者】
【氏名】石塚 一平
(72)【発明者】
【氏名】守中 廉
(72)【発明者】
【氏名】平野 克彦
(72)【発明者】
【氏名】関 洋
(72)【発明者】
【氏名】長井 隆浩
【審査官】岸 智史
(56)【参考文献】
【文献】特開平０７－１８２０１７（ＪＰ，Ａ）
【文献】特開２０１８－０６０５１１（ＪＰ，Ａ）
【文献】特開２０１６－２０３９７２（ＪＰ，Ａ）
【文献】特開平１０－０１１１２２（ＪＰ，Ａ）
【文献】特開平０３－１４５６８７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３３７３４３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１６５９７９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ ９／００－ ９／５６
Ｇ２１Ｃ １７／００－１７／１４
Ｇ２１Ｆ ９／３０
Ｂ２５Ｊ ５／００
Ｂ２５Ｊ ９／２２
Ｇ０５Ｄ １／００
(57)【特許請求の範囲】
【請求項1】
付帯物を備えた作業装置の状態と、操作装置から入力された当該作業装置に対して移動を指示する操作情報とから、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を推定する推定部を備え、
前記作業装置は移動可能なロボットであり、
前記付帯物は、前記作業装置が牽引する被牽引物である
ことを特徴とする作業シミュレーション装置。
【請求項2】
前記推定部は、前記作業装置の状態と前記操作情報とを入力データとして含み、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を出力データとして含む教師データを用いて訓練された機械学習モデルを用いて推定する
ことを特徴とする請求項１に記載の作業シミュレーション装置。
【請求項3】
前記推定部が推定した前記作業装置の状態の画像を生成する画像合成部をさらに備えることを特徴とする請求項１に記載の作業シミュレーション装置。
【請求項4】
前記付帯物は、前記作業装置に接続され、当該作業装置により牽引されるケーブルおよびホースのうち少なくとも１つであり、前記作業装置の状態は、前記付帯物の所在を含み、
前記画像合成部は、前記付帯物の画像を生成する
ことを特徴とする請求項３に記載の作業シミュレーション装置。
【請求項5】
前記付帯物は、前記作業装置に接続され、当該作業装置により牽引されるケーブルおよびホースのうち少なくとも１つであり、前記作業装置の状態は、前記作業装置の所在を含み、
前記画像合成部は、前記作業装置の画像を生成する
ことを特徴とする請求項３に記載の作業シミュレーション装置。
【請求項6】
前記作業装置の状態は、前記被牽引物の所在を含み、前記画像合成部は、前記付帯物の画像を生成する
ことを特徴とする請求項３に記載の作業シミュレーション装置。
【請求項7】
操作情報送信部をさらに備え、
前記付帯物は、前記作業装置に接続され、当該作業装置により牽引されるケーブルおよびホースのうち少なくとも１つであり、
前記作業装置の状態は、前記作業装置の所在および前記付帯物の所在を含み、
前記操作情報送信部は、前記作業装置の所在に移動を指示する操作情報を前記作業装置に送り、
前記画像合成部は、撮影画像に含まれる当該作業装置に接続されているように見えるように前記付帯物の画像を生成する
ことを特徴とする請求項３に記載の作業シミュレーション装置。
【請求項8】
付帯物を備えた作業装置の状態と、操作装置から入力された当該作業装置に対して移動を指示する操作情報とを入力データとして含み、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を出力データとして含む教師データを用いて機械学習モデルを訓練する学習部を備え、
前記作業装置は移動可能なロボットであり、
前記付帯物は、前記作業装置が牽引する被牽引物である
ことを特徴とする学習装置。
【請求項9】
前記学習装置には、前記作業装置を撮像するカメラが接続され、前記カメラが撮像した画像から前記作業装置の状態を検出する画像解析部と、
検出された前記作業装置の状態と前記操作情報とから前記教師データを生成する教師データ生成部とを、さらに備える
ことを特徴とする請求項８に記載の学習装置。
【請求項10】
指定された前記作業装置の移動先への移動経路を生成する移動経路生成部と、前記移動経路に沿って前記作業装置が移動するように指示する前記操作情報を生成する操作信号生成部とを、さらに備え、
前記学習部は、当該操作情報を入力データとして含む教師データを用いて前記機械学習モデルを訓練する
ことを特徴とする請求項８に記載の学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置に関する。
【背景技術】
【0002】
プラントの現地工事への一般的な対応としては、事前取得できる作業環境の条件などから作業装置の仕様を設定し、作業装置の設計・製作、現地作業環境を模擬したモックアップ設備の準備、それら装置や設備を利用したトレーニングを経て現地作業を行う。
一方、原子力発電所の建設、改造、廃炉など工事は、数年、数十年にわたる長期、かつ複雑なプロジェクトである。このような工事には不確定要素の多い作業が含まれることが多い。周辺環境や作業対象物が不確定で変化する場合には、事前取得できる情報が限定的であり、現地の状況を全て反映したモックアップ設備を準備することは困難である。また、現地の作業進捗に応じて作業装置やモックアップ設備の更新や新規製作・準備が頻繁に発生すると予想される。
一方、原子力発電所の建設、改造、廃炉など工事は、数年、数十年にわたる長期、かつ複雑なプロジェクトである。このような工事には不確定要素の多い作業が含まれることが多い。周辺環境や作業対象物が不確定で変化する場合には、事前取得できる情報が限定的であり、現地の状況を全て反映したモックアップ設備を準備することは困難である。また、現地の作業進捗に応じて作業装置やモックアップ設備の更新や新規製作・準備が頻繁に発生すると予想される。
【0003】
このことから、作業に必要な現物を全て用意することなく、一部模擬データを仮想的に発生させることで現地作業と同等のトレーニング効果が期待されるシステムが、特許文献１に記載されている。特許文献１によれば、実機と同様の配管などを用いることなく実際の試験と同様の操作による超音波探傷試験を仮想的に行うことを目的として、「超音波探傷試験の適用対象を模擬するダミー試験体と、当該ダミー試験体を対象として仮想的に行われる超音波探傷試験の探触子として用いられる模擬探触子と、ダミー試験体の外表面上における模擬探触子の位置を特定するための位置情報を取得する位置計測装置と、ダミー試験体の外表面上の位置座標毎の探傷波形のデータが収録された探傷波形データベースと、位置計測装置によって取得された位置情報に基づく模擬探触子のダミー試験体の外表面上における位置に対応するものとして探傷波形データベースから読み込まれた探傷波形のデータに基づく探傷波形が表示される表示装置の表示部とを有することを特徴とする仮想超音波探傷試験システム」が提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－０５７１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に開示の手法は、その分野において一定程度以上の効果を奏することができるものである。しかしながら、単に複雑、長期というだけではなく、作業自体に不確定要素が多い作業について、この手法のみでは対応が困難である。
例えば、過酷事故が発生した原子力発電所の廃炉作業においては、炉内構造物や燃料デブリの加工計画（加工作業）、加工した対象物の搬出計画（搬出作業）、搬出物の建屋間移送計画（移送作業）、現地作業者の配置計画（人による現地作業）を策定し、計画を遂行する。これらの計画に係る目的関数を最小化／最大化することで、作業全体を効率的に進めることが一般的に求められている。しかしながら、廃炉作業のケースでは不確定要素が多く、最適な計画／作業を決めるのが困難である。
例えば、過酷事故が発生した原子力発電所の廃炉作業においては、炉内構造物や燃料デブリの加工計画（加工作業）、加工した対象物の搬出計画（搬出作業）、搬出物の建屋間移送計画（移送作業）、現地作業者の配置計画（人による現地作業）を策定し、計画を遂行する。これらの計画に係る目的関数を最小化／最大化することで、作業全体を効率的に進めることが一般的に求められている。しかしながら、廃炉作業のケースでは不確定要素が多く、最適な計画／作業を決めるのが困難である。
【0006】
原子力発電所の廃炉作業では燃料デブリを取り出すことに関連して、業務を取り巻く環境が高線量、暗所、高湿度、かつ場所によっては数値が不定（例えば、測定が不可能）であり、対象原子炉によっても状況が異なる。このため、作業ごとに作業装置（ロボット、例えばアームを備えた移動体）やモックアップ設備を全て準備して作業装置の動作確認、性能確認、作業性確認を行うことや、事前に作業員のトレーニングを行うことは多くの時間と費用を要することが想定される。
【0007】
作業装置が遠隔操作される場合、無線ではなく有線で作業信号が送受信される場合がある。また、作業装置自体（クローラを備えた移動体）やアームなどのアクチュエータは、電気駆動に限らずエア駆動や水圧駆動である場合がある。このような場合、作業装置にはケーブルやホースが接続され、作業装置の移動にともないケーブルやホースが引きずられて移動することになる。
作業現場には、建物や設備などの構造物の他に崩れた構造物（瓦礫）などもあり、このような障害物によるケーブルやホースに対する影響を考慮した作業装置の動作確認、性能確認、作業性確認をしながら、作業員はレーニングを行う。ケーブルやホースに限らず、トレーラ・台車・荷車のような被牽引物を牽引する作業装置（トラクタ）においても、作業員は、同様に障害物による被牽引物（貨物部分）への影響を考慮する。
作業現場には、建物や設備などの構造物の他に崩れた構造物（瓦礫）などもあり、このような障害物によるケーブルやホースに対する影響を考慮した作業装置の動作確認、性能確認、作業性確認をしながら、作業員はレーニングを行う。ケーブルやホースに限らず、トレーラ・台車・荷車のような被牽引物を牽引する作業装置（トラクタ）においても、作業員は、同様に障害物による被牽引物（貨物部分）への影響を考慮する。
【0008】
このため、不確定要素が多い現場で利用される作業装置に対しては、作業装置に備わるケーブルやホース、被牽引物などの付帯物まで考慮した作業装置の動作確認、性能確認、作業性確認、および作業員のトレーニングを支援する作業支援システムが望まれる。
本発明は、このような背景を鑑みてなされたものであり、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置を提供することを課題とする。
本発明は、このような背景を鑑みてなされたものであり、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置を提供することを課題とする。
【課題を解決するための手段】
【0009】
前記した課題を解決するため、作業シミュレーション装置は、付帯物を備えた作業装置の状態と、操作装置から入力された当該作業装置に対して移動を指示する操作情報とから、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を推定する推定部を備え、前記作業装置は移動可能なロボットであり、前記付帯物は、前記作業装置が牽引する被牽引物である。
【0010】
また、学習装置は、付帯物を備えた作業装置の状態と、操作装置から入力された当該作業装置に対して移動を指示する操作情報とを入力データとして含み、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を出力データとして含む教師データを用いて機械学習モデルを訓練する学習部を備え、前記作業装置は移動可能なロボットであり、前記付帯物は、前記作業装置が牽引する被牽引物である。
【発明の効果】
【0011】
本発明によれば、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置を提供することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0012】
【図1】作業現場での作業装置（ロボット）を利用した作業を説明するための図である。
【図2】本実施形態に係る教師データ収集・学習システムの全体構成図である。
【図3】本実施形態に係る特徴量収集・学習装置の機能ブロック図である。
【図4】本実施形態に係る学習モデルと教師データとを説明するための図である。
【図5】本実施形態に係るケーブル・ホース類の特徴点を説明するための図である。
【図6】本実施形態に係る教師データの収集手順のフローチャートである。
【図7】本実施形態に係る特徴量収集・学習装置が実行する学習処理のフローチャートである。
【図8】本実施形態に係る訓練システムの全体構成図である。
【図9】本実施形態に係る表示装置の機能ブロック図である。
【図10】本実施形態に係る表示装置が実行する画像生成処理のフローチャートである。
【図11】本実施形態の変形例に係る訓練システムの全体構成図である。
【図12】本実施形態の変形例に係る表示装置が実行する画像生成処理のフローチャートである。
【図13】本実施形態の変形例に係る特徴量収集・学習装置の機能ブロック図である。
【発明を実施するための形態】
【0013】
【0014】
≪作業現場・作業装置の概要≫
図１は、作業現場８８０での作業装置８１０（ロボット）を利用した作業を説明するための図である。作業現場８８０は、例えば事故が発生した原子力発電所の廃炉作業の現場であって、瓦礫８８８が散乱している。作業装置８１０は、クローラ８１１とアーム８１５を備えて移動可能であって、現地オペレーションセンタ８８５から遠隔操作される。作業装置８１０は、作業員の操作指示に従って瓦礫８８８の撤去や燃料デブリ（不図示）の取り出し・搬出などの現地での作業を行う。なお、ここでのクローラ８１１は、一対の無限軌道（クローラ）とこの無限軌道を自在に駆動させる駆動装置を内蔵した本体とを含んで構成される移動体部分（アーム８１５が載置される台車部分）を指している。
図１は、作業現場８８０での作業装置８１０（ロボット）を利用した作業を説明するための図である。作業現場８８０は、例えば事故が発生した原子力発電所の廃炉作業の現場であって、瓦礫８８８が散乱している。作業装置８１０は、クローラ８１１とアーム８１５を備えて移動可能であって、現地オペレーションセンタ８８５から遠隔操作される。作業装置８１０は、作業員の操作指示に従って瓦礫８８８の撤去や燃料デブリ（不図示）の取り出し・搬出などの現地での作業を行う。なお、ここでのクローラ８１１は、一対の無限軌道（クローラ）とこの無限軌道を自在に駆動させる駆動装置を内蔵した本体とを含んで構成される移動体部分（アーム８１５が載置される台車部分）を指している。
【0015】
現地オペレーションセンタ８８５は、カメラ操作・表示装置８４０、操作装置８５０、および制御装置８５５を備える。作業員は、カメラ操作・表示装置８４０に接続され、作業現場８８０に設置されたカメラ８３０を操作しながら、作業装置８１０を含め作業現場８８０をモニタする。なお、図１ではカメラ８３０は１台であるが、複数台であってもよい。また、三脚などによって定点に設置されたものでなくともよい。
【0016】
操作装置８５０は、作業員が作業装置８１０を操作するための装置であって、クローラ８１１の移動やアーム８１５の操作に係る指示を入力する装置である。操作装置８５０に入力された操作指示（操作内容、操作情報）は、制御装置８５５において制御信号に変換されてケーブル・ホース類８２０を介して作業装置８１０に送られる。クローラ８１１に対する操作指示の内容として、例えば、最大速度で前進や４５度右回転などがある。また、制御信号に対して作業装置８１０からフィードバックが返る場合がある。例えば、５０ｃｍ前進という制御信号に対して４０ｃｍしか進まなかったというフィードバックである。
【0017】
なお、クローラ８１１やアーム８１５は、電気駆動やエア駆動、水圧駆動などであり、電力やエア、水などもケーブル・ホース類８２０を通じて作業装置８１０に送られる。このような場合、ケーブル・ホース類８２０は、重く、曲がりにくくなり、移動するクローラ８１１に対する負荷が大きくなることがある。
【0018】
作業現場８８０にある作業装置８１０（クローラ８１１）が、操作装置８５０に入力された指示どおりに移動するとは限らない。作業現場８８０が濡れてクローラ８１１がスリップしたり、ケーブル・ホース類８２０が瓦礫８８８に引っかかってクローラ８１１の移動を妨げたりする場合がある。このため、作業員は、作業装置８１０の移動先への最短経路を通る移動の指示を出すのではなく、瓦礫８８８とケーブル・ホース類８２０とが干渉しないように、移動先への経路を決めて作業装置８１０を操作することが求められる。
従って、作業現場８８０で実際の作業を行う（作業装置８１０を操作する）前に、作業員は作業装置８１０の操作を訓練する。訓練時の瓦礫８８８の位置や大きさについては、作業予定時点での瓦礫８８８の位置や大きさに限らず、将来予想される位置や大きさを含めて、様々な位置や大きさを設定して訓練することが望ましい。
従って、作業現場８８０で実際の作業を行う（作業装置８１０を操作する）前に、作業員は作業装置８１０の操作を訓練する。訓練時の瓦礫８８８の位置や大きさについては、作業予定時点での瓦礫８８８の位置や大きさに限らず、将来予想される位置や大きさを含めて、様々な位置や大きさを設定して訓練することが望ましい。
【0019】
≪訓練システム、教師データ収集・学習システムの概要≫
訓練システム２０（後記する図８参照）は、作業装置８１０を操作する作業員が、作業装置８１０の操作訓練を行うためのシステムである。作業員は、訓練システム２０が生成した仮想的な作業現場８８０Ｂの画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。教師データ収集・学習システム１０（後記する図２参照）は、仮想的なケーブル・ホース類８２０Ｂの画像を生成するための機械学習モデル（後記する図３および図９記載の学習モデル１３０参照）を生成するシステムである。以下、教師データ収集・学習システム１０、訓練システム２０の順に、詳細に説明する。
訓練システム２０（後記する図８参照）は、作業装置８１０を操作する作業員が、作業装置８１０の操作訓練を行うためのシステムである。作業員は、訓練システム２０が生成した仮想的な作業現場８８０Ｂの画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。教師データ収集・学習システム１０（後記する図２参照）は、仮想的なケーブル・ホース類８２０Ｂの画像を生成するための機械学習モデル（後記する図３および図９記載の学習モデル１３０参照）を生成するシステムである。以下、教師データ収集・学習システム１０、訓練システム２０の順に、詳細に説明する。
【0020】
≪教師データ収集・学習システムの全体構成≫
図２は、本実施形態に係る教師データ収集・学習システム１０の全体構成図である。教師データ収集・学習システム１０および訓練システム２０の管理者は、瓦礫８８８の替わりとなる干渉物８８９を試験設備エリア８８０Ａに配置して、試験設備エリア８８０Ａで実機の作業装置８１０を操作する。この作業装置８１０の操作は、学習モデル１３０の教師データを収集する作業の一部である。
管理者が作業装置８１０を操作している間に、教師データ収集・学習システム１０は、カメラ８３０が取得した干渉物８８９や作業装置８１０、ケーブル・ホース類８２０の位置や作業装置８１０の操作内容から特徴量を取得して教師データを生成する。続いて、教師データ収集・学習システム１０は、生成した教師データを用いて学習モデル１３０（後記する図３および図９参照）を訓練して生成する。
図２は、本実施形態に係る教師データ収集・学習システム１０の全体構成図である。教師データ収集・学習システム１０および訓練システム２０の管理者は、瓦礫８８８の替わりとなる干渉物８８９を試験設備エリア８８０Ａに配置して、試験設備エリア８８０Ａで実機の作業装置８１０を操作する。この作業装置８１０の操作は、学習モデル１３０の教師データを収集する作業の一部である。
管理者が作業装置８１０を操作している間に、教師データ収集・学習システム１０は、カメラ８３０が取得した干渉物８８９や作業装置８１０、ケーブル・ホース類８２０の位置や作業装置８１０の操作内容から特徴量を取得して教師データを生成する。続いて、教師データ収集・学習システム１０は、生成した教師データを用いて学習モデル１３０（後記する図３および図９参照）を訓練して生成する。
【0021】
教師データ収集・学習システム１０は、試験設備オペレーションセンタ８８５Ａに設置され、特徴量収集・学習装置１００、操作装置８５０Ａ、および制御装置８５５Ａを含んで構成される。操作装置８５０Ａおよび制御装置８５５Ａは、操作装置８５０および制御装置８５５（図１参照）とそれぞれ同様であって、試験設備エリア８８０Ａにある作業装置８１０への操作指示を受け付けて、作業装置８１０に制御信号を送る。なお、操作装置８５０Ａおよび制御装置８５５Ａは、操作内容（操作信号）や制御内容（制御信号）を後記する特徴量収集・学習装置１００に送信する。
【0022】
≪特徴量収集・学習装置の構成≫
図３は、本実施形態に係る特徴量収集・学習装置１００の機能ブロック図である。特徴量収集・学習装置１００は、コンピュータであって、制御部１１０、記憶部１２０、入出力部１６０、およびカメラ操作部１７０を備える。入出力部１６０は、カメラ８３０、操作装置８５０Ａ、制御装置８５５Ａとの信号を送受信する。また、入出力部１６０にはディスプレイ（不図示）が接続され、カメラ８３０の撮影画像が表示される。カメラ操作部１７０は、カメラ８３０に対する操作を受け付け、入出力部１６０を介して操作信号をカメラ８３０に送る。
図３は、本実施形態に係る特徴量収集・学習装置１００の機能ブロック図である。特徴量収集・学習装置１００は、コンピュータであって、制御部１１０、記憶部１２０、入出力部１６０、およびカメラ操作部１７０を備える。入出力部１６０は、カメラ８３０、操作装置８５０Ａ、制御装置８５５Ａとの信号を送受信する。また、入出力部１６０にはディスプレイ（不図示）が接続され、カメラ８３０の撮影画像が表示される。カメラ操作部１７０は、カメラ８３０に対する操作を受け付け、入出力部１６０を介して操作信号をカメラ８３０に送る。
【0023】
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などから構成される。記憶部１２０には、プログラム１２１、学習モデル１３０、および教師データ１４０が記憶される。プログラム１２１には、学習処理（後記する図７参照）を含む特徴量収集・学習装置１００が実行する処理の手順が記述される。
【0024】
≪学習モデル・教師データ≫
図４は、本実施形態に係る学習モデル１３０と教師データ１４０とを説明するための図である。学習モデル１３０は、干渉物８８９（図２参照）の位置（所在とも記す）、クローラ８１１の操作内容、操作前のクローラ８１１の位置、および操作前のケーブル・ホース類８２０の位置を入力とする。学習モデル１３０は、当該入力から、操作後のクローラ８１１の位置、および操作後のケーブル・ホース類８２０の位置を推定する機械学習モデルである。
図４は、本実施形態に係る学習モデル１３０と教師データ１４０とを説明するための図である。学習モデル１３０は、干渉物８８９（図２参照）の位置（所在とも記す）、クローラ８１１の操作内容、操作前のクローラ８１１の位置、および操作前のケーブル・ホース類８２０の位置を入力とする。学習モデル１３０は、当該入力から、操作後のクローラ８１１の位置、および操作後のケーブル・ホース類８２０の位置を推定する機械学習モデルである。
【0025】
なお、学習モデル１３０は、機械学習モデルであって、機械学習モデルを示すパラメータの集合体であるが、クローラ８１１（作業装置８１０）やケーブル・ホース類８２０の位置を推定するプログラム／機能部と見なすこともできる。このため、学習モデル１３０が、操作前のクローラ８１１やケーブル・ホース類８２０の位置から、操作後のクローラ８１１やケーブル・ホース類８２０の位置を推定すると記載する場合がある。
【0026】
学習モデル１３０に対する教師データ１４０の入力データ１４１は、干渉物８８９の位置、クローラ８１１の操作内容、操作前のクローラ８１１の位置、および操作前のケーブル・ホース類８２０の位置である。また、教師データ１４０の出力データ１４２（正解データ、推定結果）は、操作後のクローラ８１１の位置、および操作後のケーブル・ホース類８２０の位置となる。
干渉物８８９の位置とは、試験設備エリア８８０Ａにおける干渉物８８９の位置である。例えば、干渉物８８９の位置は、試験設備エリア８８０Ａをメッシュ状に領域へ分割し、干渉物８８９が占める領域を示す情報である。なお、以下で領域とは、特に断りがない場合には、メッシュ状に分割された試験設備エリア８８０Ａ（後記する仮想的な作業現場８８０Ｂや訓練設備エリア８８０Ｃを含む）の領域のことである。
干渉物８８９の位置とは、試験設備エリア８８０Ａにおける干渉物８８９の位置である。例えば、干渉物８８９の位置は、試験設備エリア８８０Ａをメッシュ状に領域へ分割し、干渉物８８９が占める領域を示す情報である。なお、以下で領域とは、特に断りがない場合には、メッシュ状に分割された試験設備エリア８８０Ａ（後記する仮想的な作業現場８８０Ｂや訓練設備エリア８８０Ｃを含む）の領域のことである。
【0027】
操作前のクローラ８１１およびケーブル・ホース類８２０の位置とは、クローラ８１１を操作する前で、クローラ８１１が移動する前のクローラ８１１およびケーブル・ホース類８２０の位置のことである。この位置は、例えば、クローラ８１１やケーブル・ホース類８２０が占める領域を示す情報である。なお、クローラ８１１の位置には、クローラ８１１の向きを示す情報、例えば、クローラ８１１の前部の位置（前部がある領域を示す情報）が含まれる。
【0028】
クローラ８１１の操作内容（操作情報）は、クローラ８１１に対する移動指示の内容を示す情報である。例えば、操作内容は、クローラ８１１（クローラ８１１の前部）の移動後の領域や当該領域に到達するまでの時間などを示す情報である。また、操作内容は、クローラ８１１（クローラ８１１の前部）の回転後の領域や当該回転に要する時間などを示す情報であってもよい。クローラ８１１の移動方向や移動距離、移動速度、移動に要する時間を示す情報（例えば、３０ｃｍ前進、低速で５秒前進）であってもよいし、回転の向きや角度、速度（例えば、３０度右回転）であってもよい。
【0029】
操作後のケーブル・ホース類８２０およびクローラ８８１の位置は、クローラ８１１を操作した後で、クローラ８１１が移動した後のクローラ８１１およびケーブル・ホース類８２０の位置であって、例えば、領域を示す情報である。なお、クローラ８１１の位置には、クローラ８１１の向きを示す情報が含まれる。
なお、ケーブル・ホース類８２０の位置の例として、ケーブル・ホース類８２０が占める領域を示す情報があるが、ケーブル・ホース類８２０の特徴点の位置（特徴点が存在する領域を示す情報）であってもよい。
なお、ケーブル・ホース類８２０の位置の例として、ケーブル・ホース類８２０が占める領域を示す情報があるが、ケーブル・ホース類８２０の特徴点の位置（特徴点が存在する領域を示す情報）であってもよい。
【0030】
図５は、本実施形態に係るケーブル・ホース類８２０の特徴点を説明するための図である。特徴点は、ケーブル・ホース類８２０の形状（曲がり具合）を示すために設けられたケーブル・ホース類８２０上の特定の点であり、例えば、所定間隔で並んだケーブル・ホース類８２０上の点である。図５に記載のケーブル・ホース類８２０上の白い円が、特徴点である。
【0031】
≪特徴量収集・学習装置の構成：制御部≫
図３に戻って、制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、制御信号解析部１１１、操作信号解析部１１２、画像解析部１１３、教師データ生成部１１４、および学習部１１５を備える。
制御信号解析部１１１は、制御装置８５５Ａから入力された作業装置８１０への制御信号を解析して、制御内容を取得する。操作信号解析部１１２は、操作装置８５０Ａから入力された操作信号を解析して、操作内容（操作情報）を取得する。画像解析部１１３は、カメラ８３０からの画像を解析して、干渉物８８９やクローラ８１１、ケーブル・ホース類８２０の位置（領域）を取得する。
図３に戻って、制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、制御信号解析部１１１、操作信号解析部１１２、画像解析部１１３、教師データ生成部１１４、および学習部１１５を備える。
制御信号解析部１１１は、制御装置８５５Ａから入力された作業装置８１０への制御信号を解析して、制御内容を取得する。操作信号解析部１１２は、操作装置８５０Ａから入力された操作信号を解析して、操作内容（操作情報）を取得する。画像解析部１１３は、カメラ８３０からの画像を解析して、干渉物８８９やクローラ８１１、ケーブル・ホース類８２０の位置（領域）を取得する。
【0032】
教師データ生成部１１４は、管理者による試験設備エリア８８０Ａでの実機の作業装置８１０の操作によって取得された操作内容、干渉物８８９やクローラ８１１、ケーブル・ホース類８２０の位置から教師データ１４０を生成する。学習部１１５は、教師データ１４０（図４参照）を用いて学習モデル１３０を訓練して生成する。学習モデル１３０は、入力データ１４１から推定結果となる出力データ１４２を出力する機械学習モデルとなる。
【0033】
≪教師データの収集手順≫
図６は、本実施形態に係る教師データ１４０の収集手順のフローチャートである。図６を参照して、管理者が実行する教師データの収集手順を説明する。
ステップＳ１１において管理者は、試験設備エリア８８０Ａにある干渉物８８９の配置を変えながらステップＳ１２～Ｓ１４を繰り返す。
ステップＳ１２において管理者は、試験設備エリア８８０Ａ内のクローラ８１１（作業装置８１０）の移動先を変えながらステップＳ１３～Ｓ１４を繰り返す。
図６は、本実施形態に係る教師データ１４０の収集手順のフローチャートである。図６を参照して、管理者が実行する教師データの収集手順を説明する。
ステップＳ１１において管理者は、試験設備エリア８８０Ａにある干渉物８８９の配置を変えながらステップＳ１２～Ｓ１４を繰り返す。
ステップＳ１２において管理者は、試験設備エリア８８０Ａ内のクローラ８１１（作業装置８１０）の移動先を変えながらステップＳ１３～Ｓ１４を繰り返す。
【0034】
ステップＳ１３において管理者は、移動先への移動経路を変えながらステップＳ１４を繰り返す。
ステップＳ１４において管理者は、移動経路に沿ってクローラ８１１の操作を繰り返す。詳しくは、管理者はクローラ８１１が移動経路に沿って移動するように、２０ｃｍ前進、３０度右回転など、クローラ８１１の操作を繰り返す。
なお、教師データ収集後に管理者は、特徴量収集・学習装置１００に対して学習モデル１３０を生成するように指示する。
ステップＳ１４において管理者は、移動経路に沿ってクローラ８１１の操作を繰り返す。詳しくは、管理者はクローラ８１１が移動経路に沿って移動するように、２０ｃｍ前進、３０度右回転など、クローラ８１１の操作を繰り返す。
なお、教師データ収集後に管理者は、特徴量収集・学習装置１００に対して学習モデル１３０を生成するように指示する。
【0035】
≪学習処理≫
図７は、本実施形態に係る特徴量収集・学習装置１００が実行する学習処理のフローチャートである。図７を参照しながら、ステップＳ１４（図６参照）のクローラ８１１の操作中に実行される教師データ１４０の生成処理を含めた学習処理を説明する。
ステップＳ２１において制御部１１０は、クローラ８１１の操作ごとにステップＳ２２～Ｓ２７を繰り返す。この繰り返しは、管理者が教師データ１４０を収集する間（図６参照）繰り返される。
ステップＳ２２において操作信号解析部１１２は、操作内容を取得する。
図７は、本実施形態に係る特徴量収集・学習装置１００が実行する学習処理のフローチャートである。図７を参照しながら、ステップＳ１４（図６参照）のクローラ８１１の操作中に実行される教師データ１４０の生成処理を含めた学習処理を説明する。
ステップＳ２１において制御部１１０は、クローラ８１１の操作ごとにステップＳ２２～Ｓ２７を繰り返す。この繰り返しは、管理者が教師データ１４０を収集する間（図６参照）繰り返される。
ステップＳ２２において操作信号解析部１１２は、操作内容を取得する。
【0036】
ステップＳ２３において画像解析部１１３は、干渉物８８９の位置（領域）、向きを含めたクローラ８１１（作業装置８１０）の位置、およびケーブル・ホース類８２０の位置を取得する。
ステップＳ２４において制御部１１０は、クローラ８１１が停止するまでステップＳ２５を繰り返す。詳しくは、操作指示に対する制御信号を受けてクローラ８１１が移動を開始して停止するまで制御部１１０は、所定のタイミング（例えば所定周期）でステップＳ２５を繰り返す。
ステップＳ２４において制御部１１０は、クローラ８１１が停止するまでステップＳ２５を繰り返す。詳しくは、操作指示に対する制御信号を受けてクローラ８１１が移動を開始して停止するまで制御部１１０は、所定のタイミング（例えば所定周期）でステップＳ２５を繰り返す。
【0037】
ステップＳ２５は、ステップＳ２３と同様である。
ステップＳ２６において教師データ生成部１１４は、ステップＳ２５の繰り返し回数に応じて、ステップＳ２２で取得した操作内容を分割する。操作内容が３０ｃｍ前進であって、ステップＳ２５の繰り返し回数が１０だとすると、教師データ生成部１１４は、例えば、操作内容を３ｃｍ前進が１０回に分割する。操作内容が低速で１０秒前進であって、ステップＳ２５の繰り返し回数が２０だとすると、教師データ生成部１１４は、例えば、操作内容を低速で０．５秒前進が２０回に分割する。繰り返し回数が５で、操作内容が５つ先（隣）の領域への移動だとすると、例えば、１つずつ先（隣）の領域への移動が５回に分割してもよいし、他の分割手法であってもよい。
ステップＳ２６において教師データ生成部１１４は、ステップＳ２５の繰り返し回数に応じて、ステップＳ２２で取得した操作内容を分割する。操作内容が３０ｃｍ前進であって、ステップＳ２５の繰り返し回数が１０だとすると、教師データ生成部１１４は、例えば、操作内容を３ｃｍ前進が１０回に分割する。操作内容が低速で１０秒前進であって、ステップＳ２５の繰り返し回数が２０だとすると、教師データ生成部１１４は、例えば、操作内容を低速で０．５秒前進が２０回に分割する。繰り返し回数が５で、操作内容が５つ先（隣）の領域への移動だとすると、例えば、１つずつ先（隣）の領域への移動が５回に分割してもよいし、他の分割手法であってもよい。
【0038】
ステップＳ２７において教師データ生成部１１４は、教師データ１４０を生成する。詳しくは、教師データ生成部１１４は、ステップＳ２６で分割した操作内容ごとに、ステップＳ２３，Ｓ２５で取得した位置を加えて、繰り返し回数（分割数）分の教師データ１４０を生成する。
繰り返し回数が１０だとする。１つ目の教師データ１４０の入力データ１４１（図４参照）は、ステップＳ２３で取得された干渉物８８９、クローラ８１１、およびケーブル・ホース類８２０の位置および分割された操作内容である。出力データ１４２（正解ラベル）は、１０回繰り返されるステップＳ２５のうち１回目で取得されたクローラ８１１、およびケーブル・ホース類８２０の位置である。
繰り返し回数が１０だとする。１つ目の教師データ１４０の入力データ１４１（図４参照）は、ステップＳ２３で取得された干渉物８８９、クローラ８１１、およびケーブル・ホース類８２０の位置および分割された操作内容である。出力データ１４２（正解ラベル）は、１０回繰り返されるステップＳ２５のうち１回目で取得されたクローラ８１１、およびケーブル・ホース類８２０の位置である。
【0039】
２つ目の教師データ１４０の入力データ１４１は、１０回繰り返されるステップＳ２５のうち１回目で取得された干渉物８８９、クローラ８１１、およびケーブル・ホース類８２０の位置および分割された操作内容である。出力データ１４２は、１０回繰り返されるステップＳ２５のうち２回目で取得されたクローラ８１１、およびケーブル・ホース類８２０の位置である。教師データ生成部１１４は、このようにして繰り返し回数分の教師データ１４０を生成する。
ステップＳ２８において学習部１１５は、管理者の指示を受けて、ステップＳ２７で生成された教師データ１４０を用いて学習モデル１３０を訓練して生成する。
ステップＳ２８において学習部１１５は、管理者の指示を受けて、ステップＳ２７で生成された教師データ１４０を用いて学習モデル１３０を訓練して生成する。
【0040】
≪教師データ収集・学習システムの全体構成≫
図８は、本実施形態に係る訓練システム２０の全体構成図である。作業員は、訓練システム２０が生成した仮想的な作業現場８８０Ｂの画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。作業現場８８０Ｂの画像には、仮想的な作業装置８１０Ｂに限らず、仮想的な瓦礫（仮想的な干渉物８８９Ｂ）や仮想的なケーブル・ホース類８２０Ｂが含まれる。なお、以下の説明では、混同が起きない場合には、「仮想的な」を省略する。例えば、仮想的な作業装置８１０Ｂや仮想的なケーブル・ホース類８２０Ｂを、単に作業装置８１０Ｂやケーブル・ホース類８２０Ｂと記す。ちなみに、符号の末尾のＢは、訓練／仮想に係ることを示すものである。
図８は、本実施形態に係る訓練システム２０の全体構成図である。作業員は、訓練システム２０が生成した仮想的な作業現場８８０Ｂの画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。作業現場８８０Ｂの画像には、仮想的な作業装置８１０Ｂに限らず、仮想的な瓦礫（仮想的な干渉物８８９Ｂ）や仮想的なケーブル・ホース類８２０Ｂが含まれる。なお、以下の説明では、混同が起きない場合には、「仮想的な」を省略する。例えば、仮想的な作業装置８１０Ｂや仮想的なケーブル・ホース類８２０Ｂを、単に作業装置８１０Ｂやケーブル・ホース類８２０Ｂと記す。ちなみに、符号の末尾のＢは、訓練／仮想に係ることを示すものである。
【0041】
訓練システム２０は、訓練設備オペレーションセンタ８８５Ｂに設置され、表示装置２００、操作装置８５０Ｂ、および制御装置８５５Ｂを含んで構成される。操作装置８５０Ｂおよび制御装置８５５Ｂは、教師データ収集・学習システム１０（図２参照）の操作装置８５０Ａおよび制御装置８５５Ａとそれぞれ同様である。なお、作業装置８１０Ｂは、仮想的な作業装置であって、制御装置８５５Ｂが生成した制御信号が送られることはない。操作装置８５０Ｂおよび制御装置８５５Ｂは、操作内容（操作信号）や制御内容（制御信号）を後記する表示装置２００に送信する。
【0042】
≪表示装置の構成≫
図９は、本実施形態に係る表示装置２００の機能ブロック図である。表示装置２００は、コンピュータであって、制御部２１０、記憶部２２０、入出力部２６０、およびカメラ操作部２７０を備える。入出力部２６０は、操作装置８５０Ｂ、制御装置８５５Ｂとの信号を送受信する。また、入出力部２６０にはディスプレイ（不図示）が接続される。なお、ディスプレイは卓上型に限らずヘッドマウント型のディスプレイを含む。カメラ操作部２７０は、仮想的なカメラ８３０Ｂに対する操作を受け付ける。
図９は、本実施形態に係る表示装置２００の機能ブロック図である。表示装置２００は、コンピュータであって、制御部２１０、記憶部２２０、入出力部２６０、およびカメラ操作部２７０を備える。入出力部２６０は、操作装置８５０Ｂ、制御装置８５５Ｂとの信号を送受信する。また、入出力部２６０にはディスプレイ（不図示）が接続される。なお、ディスプレイは卓上型に限らずヘッドマウント型のディスプレイを含む。カメラ操作部２７０は、仮想的なカメラ８３０Ｂに対する操作を受け付ける。
【0043】
記憶部２２０は、ＲＯＭやＲＡＭ、ＳＳＤなどから構成される。記憶部２２０には、プログラム２２１、および学習モデル１３０が記憶される。プログラム２２１には、画像生成処理（後記する図１０参照）を含む表示装置２００が実行する処理の手順が記述される。学習モデル１３０は、特徴量収集・学習装置１００（図３参照）が訓練して生成した学習モデル１３０である。記憶部２２０には、仮想的な干渉物８８９Ｂの位置（領域）の設定情報が記憶される。
【0044】
制御部２１０は、ＣＰＵなどから構成され、制御信号解析部２１１、操作信号解析部２１２、推定部２１３、および画像合成部２１４を備える。制御信号解析部２１１および操作信号解析部２１２は、特徴量収集・学習装置１００（図３参照）の制御信号解析部１１１および操作信号解析部１１２とそれぞれ同様である。
推定部２１３は、学習モデル１３０を用いて操作後のクローラ（作業装置）やケーブル・ホース類の位置を推定する。詳しくは、推定部２１３は、学習モデル１３０に干渉物８８９Ｂの位置、クローラ８１１Ｂ（作業装置８１０Ｂ）に対する操作内容、操作前のクローラ８１１Ｂの位置、および操作前のケーブル・ホース類８２０Ｂの位置を入力する。続いて、推定部２１３は、学習モデル１３０から当該入力に対する出力データである操作後のクローラ８１１Ｂの位置、および操作後のケーブル・ホース類８２０Ｂの位置を推定結果として取得する。
推定部２１３は、学習モデル１３０を用いて操作後のクローラ（作業装置）やケーブル・ホース類の位置を推定する。詳しくは、推定部２１３は、学習モデル１３０に干渉物８８９Ｂの位置、クローラ８１１Ｂ（作業装置８１０Ｂ）に対する操作内容、操作前のクローラ８１１Ｂの位置、および操作前のケーブル・ホース類８２０Ｂの位置を入力する。続いて、推定部２１３は、学習モデル１３０から当該入力に対する出力データである操作後のクローラ８１１Ｂの位置、および操作後のケーブル・ホース類８２０Ｂの位置を推定結果として取得する。
【0045】
画像合成部２１４は、推定結果である操作後のクローラ８１１Ｂの位置、操作後のケーブル・ホース類８２０Ｂの位置、および設定情報である干渉物８８９Ｂの位置から、クローラ８１１Ｂ、ケーブル・ホース類８２０Ｂ、および干渉物８８９Ｂの画像を合成して、入出力部２６０に接続されたディスプレイ（不図示）に表示する。
【0046】
≪画像生成処理≫
図１０は、本実施形態に係る表示装置２００が実行する画像生成処理のフローチャートである。図１０を参照しながら、作業装置８１０の操作訓練中における表示装置２００の処理内容を説明する。なお、作業員は、入出力部２６０に接続されたディスプレイ（不図示）に表示される仮想的な作業現場８８０Ｂ（図８参照）の画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。
図１０は、本実施形態に係る表示装置２００が実行する画像生成処理のフローチャートである。図１０を参照しながら、作業装置８１０の操作訓練中における表示装置２００の処理内容を説明する。なお、作業員は、入出力部２６０に接続されたディスプレイ（不図示）に表示される仮想的な作業現場８８０Ｂ（図８参照）の画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。
【0047】
ステップＳ４１において制御部２１０は、訓練開始時における干渉物８８９Ｂ、作業装置８１０Ｂ（クローラ８１１Ｂ）、ケーブル・ホース類８２０Ｂの位置を初期位置として設定する。制御部２１０は、初期位置を作業員に問い合わせて設定してもよいし、予め決められている複数の候補から選択して設定してもよい。
ステップＳ４２において画像合成部２１４は、初期位置にある干渉物８８９Ｂ、作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像を作業現場８８０Ｂの画像に重ねた画像を合成してディスプレイに出力する。
ステップＳ４２において画像合成部２１４は、初期位置にある干渉物８８９Ｂ、作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像を作業現場８８０Ｂの画像に重ねた画像を合成してディスプレイに出力する。
【0048】
ステップＳ４３において制御部２１０は、作業員による作業装置８１０Ｂの操作ごとにステップＳ４４～Ｓ４９を繰り返す。この繰り返しは、作業員が訓練を受ける間、作業装置８１０Ｂを操作するたびに繰り返される。
ステップＳ４４において操作信号解析部２１２は、操作内容を取得する。
ステップＳ４５において操作信号解析部２１２は、ステップＳ４４で取得した操作内容を分割する。分割の手法は、教師データ生成部１１４が行うステップＳ２６（図７参照）における分割と同様である。なお、ステップＳ２６においては、ステップＳ２５の繰り返し回数に応じて分割しているが、操作信号解析部２１２は、分割単位の大きさに応じて分割する。詳しくは、ステップＳ２６における分割単位の平均値に近くなるように、操作信号解析部２１２は、操作内容を分割する。
ステップＳ４４において操作信号解析部２１２は、操作内容を取得する。
ステップＳ４５において操作信号解析部２１２は、ステップＳ４４で取得した操作内容を分割する。分割の手法は、教師データ生成部１１４が行うステップＳ２６（図７参照）における分割と同様である。なお、ステップＳ２６においては、ステップＳ２５の繰り返し回数に応じて分割しているが、操作信号解析部２１２は、分割単位の大きさに応じて分割する。詳しくは、ステップＳ２６における分割単位の平均値に近くなるように、操作信号解析部２１２は、操作内容を分割する。
【0049】
例えば、前進操作についてステップＳ２６における分割単位の平均値が３ｃｍであったら、操作信号解析部２１２は、５ｃｍ前進という操作を３ｃｍ前進と２ｃｍ前進とに分割する。２．５ｃｍ前進を２回に分割してもよい。また、例えば、低速で前進操作についてステップＳ２６における分割単位の平均値が０．５秒であったら、操作信号解析部２１２は、低速で３秒前進という操作を低速で０．５秒前進を６回に分割してもよい。また、５つ先（隣）の領域への移動であったら、操作信号解析部２１２は、１つ先（隣）の領域への移動を５回に分割してもよい。
【0050】
ステップＳ４６において制御部２１０は、ステップＳ４５で分割された操作内容ごとにステップＳ４７～Ｓ４９を繰り返す。
ステップＳ４７において推定部２１３は、干渉物８８９Ｂ、作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの現在の位置（表示されている位置）を取得する。
ステップＳ４８において推定部２１３は、ステップＳ４７で取得した位置、および分割された操作内容から、学習モデル１３０を用いて操作後の作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの位置を推定する。
ステップＳ４７において推定部２１３は、干渉物８８９Ｂ、作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの現在の位置（表示されている位置）を取得する。
ステップＳ４８において推定部２１３は、ステップＳ４７で取得した位置、および分割された操作内容から、学習モデル１３０を用いて操作後の作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの位置を推定する。
【0051】
ステップＳ４９において画像合成部２１４は、初期位置にある干渉物８８９Ｂ、およびステップＳ４８で推定された位置にある作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像を作業現場８８０Ｂの画像に重ねた画像を合成してディスプレイに出力する。
【0052】
≪特徴量収集・学習装置と表示装置の特徴≫
表示装置２００は、作業員が操作対象となる作業装置８１０Ｂだけではなく、作業装置８１０Ｂに接続されていて、作業装置８１０Ｂの移動にともない、引きずられて移動するケーブル・ホース類８２０Ｂを含めて画像を合成して表示する。作業装置８１０Ｂは、クローラ８１１Ｂを備え、直接の操作対象（移動指示を出す対象）であり、操作後の位置を特定しやすい。一方、ケーブル・ホース類８２０Ｂは、自力で移動するのではなく作業装置８１０Ｂに引きずられて移動する上に、変形（曲がり具合が変化）するために、クローラ８１１Ｂの移動後の、曲がり具合を含めたケーブル・ホース類８２０Ｂの位置は、予想が困難である。さらに、ケーブル・ホース類８２０Ｂは、干渉物８８９Ｂと干渉するため、さらに予想するのが困難となる。
表示装置２００は、作業員が操作対象となる作業装置８１０Ｂだけではなく、作業装置８１０Ｂに接続されていて、作業装置８１０Ｂの移動にともない、引きずられて移動するケーブル・ホース類８２０Ｂを含めて画像を合成して表示する。作業装置８１０Ｂは、クローラ８１１Ｂを備え、直接の操作対象（移動指示を出す対象）であり、操作後の位置を特定しやすい。一方、ケーブル・ホース類８２０Ｂは、自力で移動するのではなく作業装置８１０Ｂに引きずられて移動する上に、変形（曲がり具合が変化）するために、クローラ８１１Ｂの移動後の、曲がり具合を含めたケーブル・ホース類８２０Ｂの位置は、予想が困難である。さらに、ケーブル・ホース類８２０Ｂは、干渉物８８９Ｂと干渉するため、さらに予想するのが困難となる。
【0053】
表示装置２００は、操作前（移動前）の作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂの位置と作業装置８１０Ｂの操作内容（移動指示の内容、操作情報）とから、機械学習技術を用いて、操作後の作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂの位置（作業装置の状態）を推定し、画像を表示する。このように、表示装置２００は、作業装置８１０Ｂだけではなく、一般には予想が困難であるケーブル・ホース類８２０Ｂの移動を含めた画像を表示することができるようになる。
【0054】
作業員は、作業現場８８０（図１参照）において、ケーブル・ホース類８２０が瓦礫８８８と干渉することなく、作業装置８１０がスムーズに移動するように操作することが求められている。学習モデル１３０は、瓦礫８８８の替わりに干渉物８８９（図２参照）が存在する試験設備エリア８８０Ａにおけるケーブル・ホース類８２０が接続された作業装置８１０の操作に対する移動前後の作業装置８１０（クローラ８１１）およびケーブル・ホース類８２０の位置を教師データとしている。このため、学習モデル１３０は、瓦礫８８８のある作業現場８８０における、操作（移動指示）に対する作業装置８１０およびケーブル・ホース類８２０の移動を推定でき、画像が表示される。従って、表示装置２００を用いることで、作業員は、作業現場８８０における作業装置８１０の操作の訓練（模擬操作、シミュレーション）が行えるようになる。
【0055】
≪変形例：訓練時に実物の作業装置≫
上記した実施形態では、表示装置２００は、仮想的な作業現場８８０Ｂの画像に、仮想的な干渉物８８９Ｂ、作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂを重ねた画像を合成して表示している。作業現場８８０Ｂと作業装置８１０Ｂとを実物に置き換えてもよい。
上記した実施形態では、表示装置２００は、仮想的な作業現場８８０Ｂの画像に、仮想的な干渉物８８９Ｂ、作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂを重ねた画像を合成して表示している。作業現場８８０Ｂと作業装置８１０Ｂとを実物に置き換えてもよい。
【0056】
図１１は、本実施形態の変形例に係る訓練システム２０の全体構成図である。図８と比較すると、仮想的な作業現場８８０Ｂ、作業装置８１０Ｂ、カメラ８３０Ｂが、それぞれ実物の訓練設備エリア８８０Ｃ、作業装置８１０、カメラ８３０に替わっている。また、作業装置８１０には実物のケーブル８２０Ｃが接続されており、後記する図１２で説明するように表示装置２００の指示する操作内容に従って制御装置８５５Ｂから対応する制御信号が送られる。操作装置８５０Ｂに入力された操作指示が、制御装置８５５Ｂを介して作業装置８１０に送られることはなく、操作指示は、表示装置２００に送られる。
【0057】
実物の訓練設備エリア８８０Ｃで操作の訓練に使われる作業装置８１０は、作業現場８８０で作業をする場合と、異なる装置構成であっても良い。例えば、バッテリなどの駆動源を搭載していてもよい。この場合、ケーブル８２０Ｃは、操作内容を含む制御信号を送るためのケーブルであり、電力やエア、水など送るケーブル・ホース類８２０と比較して軽量で柔軟である。さらにケーブル８２０Ｃに干渉する実物の干渉物が訓練設備エリア８８０Ｃにはないので、作業装置８１０（クローラ８１１）がケーブル８２０Ｃを引きずる負荷は小さい。このため、同じ制御信号を送った場合、ケーブル８２０Ｃが接続された作業装置８１０とケーブル・ホース類８２０が接続された作業装置８１０とでは、移動量が異なる場合がある。例えば、低速で１０秒前進と指示した場合に、ケーブル８２０Ｃが接続された作業装置８１０は、高速で１０秒前進する場合がある。
【0058】
図１２は、本実施形態の変形例に係る表示装置２００が実行する画像生成処理のフローチャートである。
ステップＳ６１～Ｓ６８は、ステップＳ４１～Ｓ４８（図１０参照）とそれぞれ同様である。但し、ステップＳ６２において、作業装置８１０Ｂの画像は生成せず、画像合成部２１４は、干渉物８８９Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像をカメラ８３０が撮像した作業装置８１０を含む訓練設備エリア８８０Ｃの画像に重ねてディスプレイに出力する。なお、画像合成部２１４は、カメラ８３０が撮像した画像にケーブル８２０Ｃが含まれないように画像処理を行う。
ステップＳ６１～Ｓ６８は、ステップＳ４１～Ｓ４８（図１０参照）とそれぞれ同様である。但し、ステップＳ６２において、作業装置８１０Ｂの画像は生成せず、画像合成部２１４は、干渉物８８９Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像をカメラ８３０が撮像した作業装置８１０を含む訓練設備エリア８８０Ｃの画像に重ねてディスプレイに出力する。なお、画像合成部２１４は、カメラ８３０が撮像した画像にケーブル８２０Ｃが含まれないように画像処理を行う。
【0059】
ステップＳ６９において、操作情報送信部としての制御部２１０は、ステップＳ６８で推定された作業装置８１０の位置に対応する制御信号を作業装置８１０に送る。詳しくは、制御部２１０は、ステップＳ６８で推定された作業装置８１０の位置に移動を指示する操作内容を制御装置８５５Ｂに送信する。制御装置８５５Ｂは、対応する制御信号を作業装置８１０に送る。
ステップＳ７０において画像合成部２１４は、干渉物８８９Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、カメラ８３０が撮像した訓練設備エリア８８０Ｃの画像からケーブル８２０Ｃを除いた画像に、合成した画像を重ねてディスプレイに出力する。なお、画像合成部２１４は、訓練設備エリア８８０Ｃの画像に含まれる作業装置８１０に接続されているように見えるようにケーブル・ホース類８２０Ｂの画像を合成する。
ステップＳ７０において画像合成部２１４は、干渉物８８９Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、カメラ８３０が撮像した訓練設備エリア８８０Ｃの画像からケーブル８２０Ｃを除いた画像に、合成した画像を重ねてディスプレイに出力する。なお、画像合成部２１４は、訓練設備エリア８８０Ｃの画像に含まれる作業装置８１０に接続されているように見えるようにケーブル・ホース類８２０Ｂの画像を合成する。
【0060】
上記した変形例では、作業装置を実物としたが干渉物（瓦礫）を実物としてもよいし、作業装置と干渉物とを実物としてもよい。また、ケーブル８２０Ｃに替わり無線で操作内容を作業装置に送るようにしてもよい。
【0061】
≪変形例：教師データ収集時の操作≫
上記した実施形態において、管理者が作業装置８１０を操作して教師データを収集している。この操作作業を特徴量収集・学習装置が行ってもよい。
図１３は、本実施形態の変形例に係る特徴量収集・学習装置１００Ａの機能ブロック図である。特徴量収集・学習装置１００（図３参照）と比較して、制御部１１０には、移動先取得部１１６、移動経路生成部１１７、および操作信号生成部１１８がさらに備わる。
上記した実施形態において、管理者が作業装置８１０を操作して教師データを収集している。この操作作業を特徴量収集・学習装置が行ってもよい。
図１３は、本実施形態の変形例に係る特徴量収集・学習装置１００Ａの機能ブロック図である。特徴量収集・学習装置１００（図３参照）と比較して、制御部１１０には、移動先取得部１１６、移動経路生成部１１７、および操作信号生成部１１８がさらに備わる。
【0062】
移動先取得部１１６は、作業装置８１０の移動先を取得する。移動先取得部１１６は、管理者に問い合わせて移動先を取得してもよいし、予め設定してある移動先から選択してもよいし、試験設備エリア８８０Ａのなかで干渉物８８９が存在しない位置を移動先として選択してもよい。
移動経路生成部１１７は、移動先取得部１１６が取得した移動先まで作業装置８１０が移動する経路を生成する。
移動経路生成部１１７は、移動先取得部１１６が取得した移動先まで作業装置８１０が移動する経路を生成する。
【0063】
操作信号生成部１１８は、移動経路生成部１１７が生成した経路に沿って作業装置８１０が移動する操作内容を生成して、操作内容に対応する操作信号を制御装置８５５Ａ（図２参照）に送る。例えば、操作信号生成部１１８は、５０ｃｍ前進、４５度右回転、３０ｃｍ前進といった操作内容（操作情報）を生成する。次に操作信号生成部１１８は、５０ｃｍ前進に対応する操作信号を制御装置８５５に送る。続いて、操作信号生成部１１８は、カメラ８３０の画像から作業装置８１０が５０ｃｍ前進して移動が完了したことを確認した後に、次の操作信号を送る。操作信号生成部１１８は、作業装置８１０が移動先に到達するまで、この処理を繰り返す。
【0064】
このような特徴量収集・学習装置１００Ａを利用することで、管理者は作業装置８１０を操作する手間を削減することができ、教師データを収集する作業を効率化することができる。延いては、管理者は、より多くの教師データ１４０を収集でき、推定精度が高い学習モデル１３０を生成することができるようになる。
【0065】
≪変形例：トラクタとしての作業装置≫
上記した実施形態では、作業装置８１０には付帯物としてケーブル・ホース類８２０が接続され、作業装置８１０はケーブル・ホース類８２０を引きずって移動する。ケーブル・ホース類８２０の替わりに１つ以上のトレーラ・台車・荷車のような被牽引物が接続され、作業装置８１０はトラクタとして被牽引物を牽引してもよい。ケーブル・ホース類８２０と同様に被牽引物は、自力で移動するのではなく作業装置８１０に引きずられて移動する上に、作業装置８１０と被牽引物、被牽引物間の接続は固定されていないので、作業装置８１０の移動後の、曲がり具合を含めた被牽引物の位置は、予想が困難である。
表示装置２００は、一般には予想が困難である被牽引物の移動を含めた画像を表示することができ、作業装置８１０Ｂの操作の訓練（模擬操作、シミュレーション）が行えるようになる。
上記した実施形態では、作業装置８１０には付帯物としてケーブル・ホース類８２０が接続され、作業装置８１０はケーブル・ホース類８２０を引きずって移動する。ケーブル・ホース類８２０の替わりに１つ以上のトレーラ・台車・荷車のような被牽引物が接続され、作業装置８１０はトラクタとして被牽引物を牽引してもよい。ケーブル・ホース類８２０と同様に被牽引物は、自力で移動するのではなく作業装置８１０に引きずられて移動する上に、作業装置８１０と被牽引物、被牽引物間の接続は固定されていないので、作業装置８１０の移動後の、曲がり具合を含めた被牽引物の位置は、予想が困難である。
表示装置２００は、一般には予想が困難である被牽引物の移動を含めた画像を表示することができ、作業装置８１０Ｂの操作の訓練（模擬操作、シミュレーション）が行えるようになる。
【0066】
≪変形例：床面情報≫
ケーブル・ホース類の移動や曲がり具合は、作業現場の状況（濡れや滑りやすさなど）やケーブル・ホース類の属性（ホース径、材質、弾性など）によって異なる。教師データ１４０の入力データ１４１として、これらの作業現場の状況やケーブル・ホース類の属性を加えて教師データを収集して、学習モデルを生成するようにしてもよい。訓練時には、設定情報として推定時（図１０記載のステップＳ４８参照）に学習モデルの入力データに加える。
ケーブル・ホース類の移動や曲がり具合は、作業現場の状況（濡れや滑りやすさなど）やケーブル・ホース類の属性（ホース径、材質、弾性など）によって異なる。教師データ１４０の入力データ１４１として、これらの作業現場の状況やケーブル・ホース類の属性を加えて教師データを収集して、学習モデルを生成するようにしてもよい。訓練時には、設定情報として推定時（図１０記載のステップＳ４８参照）に学習モデルの入力データに加える。
【0067】
≪その他の変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。例えば、上記した実施形態では、移動後の作業装置の状態として、作業装置およびケーブル・ホース類の位置を推定している。作業装置がバッテリ駆動の場合に、作業装置の状態として位置の他にバッテリ残量を推定するようにしてもよい。教師データに移動前後のバッテリ残量を加えることで、作業員は、訓練時において操作（移動）に伴うバッテリの減り具合を体感することができるようになる。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。例えば、上記した実施形態では、移動後の作業装置の状態として、作業装置およびケーブル・ホース類の位置を推定している。作業装置がバッテリ駆動の場合に、作業装置の状態として位置の他にバッテリ残量を推定するようにしてもよい。教師データに移動前後のバッテリ残量を加えることで、作業員は、訓練時において操作（移動）に伴うバッテリの減り具合を体感することができるようになる。
【0068】
上記した実施形態では、作業装置が移動した後のケーブル・ホース類の曲がり具合を含めた位置を、機械学習技術を用いて推定している。別の手法を用いてもよい。例えば、表示装置の推定部は、有限要素法や有限セグメントモデルなどの数値解析手法を用いて推定してもよい。
本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0069】
１００，１００Ａ 特徴量収集・学習装置（学習装置）
１１０ 制御部
１１３ 画像解析部
１１４ 教師データ生成部
１１５ 学習部
１１６ 移動先取得部
１１７ 移動経路生成部
１１８ 操作信号生成部
１３０ 学習モデル（機械学習モデル）
１４０ 教師データ
１４１ 入力データ
１４２ 出力データ（正解ラベル、推定結果）
２００ 表示装置（作業シミュレーション装置）
２１０ 制御部（操作情報送信部）
２１３ 推定部
２１４ 画像合成部
８１０ 作業装置（ロボット）
８１０Ｂ 作業装置（仮想的な作業装置、ロボット）
８２０ ケーブル・ホース類（付帯物）
８２０Ｂ ケーブル・ホース類（仮想的なケーブル・ホース類、付帯物）
８８９ 干渉物
８８９Ｂ 干渉物（仮想的な干渉物）
８５０Ａ，８５０Ｂ 操作装置
８５５Ａ，８５５Ｂ 制御装置
１１０ 制御部
１１３ 画像解析部
１１４ 教師データ生成部
１１５ 学習部
１１６ 移動先取得部
１１７ 移動経路生成部
１１８ 操作信号生成部
１３０ 学習モデル（機械学習モデル）
１４０ 教師データ
１４１ 入力データ
１４２ 出力データ（正解ラベル、推定結果）
２００ 表示装置（作業シミュレーション装置）
２１０ 制御部（操作情報送信部）
２１３ 推定部
２１４ 画像合成部
８１０ 作業装置（ロボット）
８１０Ｂ 作業装置（仮想的な作業装置、ロボット）
８２０ ケーブル・ホース類（付帯物）
８２０Ｂ ケーブル・ホース類（仮想的なケーブル・ホース類、付帯物）
８８９ 干渉物
８８９Ｂ 干渉物（仮想的な干渉物）
８５０Ａ，８５０Ｂ 操作装置
８５５Ａ，８５５Ｂ 制御装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】