特開 2024-154815 こそく支援システム、機械学習装置、情報処理装置、こそく支援方法、機械学習方法、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154815

(43)【公開日】2024-10-31

(54)【発明の名称】こそく支援システム、機械学習装置、情報処理装置、こそく支援方法、機械学習方法、情報処理方法

(51)【国際特許分類】

   E21D 9/00 20060101AFI20241024BHJP

   G06T 7/00 20170101ALN20241024BHJP

   G06N 20/00 20190101ALN20241024BHJP

【ＦＩ】

E21D9/00 C

G06T7/00 350B

G06N20/00 130

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023068912

(22)【出願日】2023-04-20

(71)【出願人】

【識別番号】591063486

【氏名又は名称】一般財団法人先端建設技術センター

(71)【出願人】

【識別番号】506332605

【氏名又は名称】基礎地盤コンサルタンツ株式会社

(71)【出願人】

【識別番号】592161372

【氏名又は名称】ＮＳＷ株式会社

(71)【出願人】

【識別番号】713005141

【氏名又は名称】株式会社想画

(71)【出願人】

【識別番号】303057365

【氏名又は名称】株式会社安藤・間

(71)【出願人】

【識別番号】000001373

【氏名又は名称】鹿島建設株式会社

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(71)【出願人】

【識別番号】000166432

【氏名又は名称】戸田建設株式会社

(74)【代理人】

【識別番号】100139114

【弁理士】

【氏名又は名称】田中 貞嗣

(74)【代理人】

【識別番号】100139103

【弁理士】

【氏名又は名称】小山 卓志

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(74)【代理人】

【識別番号】100227455

【弁理士】

【氏名又は名称】莊司 英史

(72)【発明者】

【氏名】吉川 正

(72)【発明者】

【氏名】山本 拓治

(72)【発明者】

【氏名】河原 一弘

(72)【発明者】

【氏名】橋立 健司

(72)【発明者】

【氏名】三木 茂

(72)【発明者】

【氏名】野村 貴律

(72)【発明者】

【氏名】田中 統蔵

(72)【発明者】

【氏名】鶴田 亮介

(72)【発明者】

【氏名】辰巳 順一

(72)【発明者】

【氏名】宮嶋 保幸

(72)【発明者】

【氏名】白鷺 卓

(72)【発明者】

【氏名】金岡 幹

(72)【発明者】

【氏名】垣見 康介

(72)【発明者】

【氏名】小島 英郷

(72)【発明者】

【氏名】上岡 真也

(72)【発明者】

【氏名】高橋 浩

(72)【発明者】

【氏名】杉山 崇

(72)【発明者】

【氏名】辻川 泰人

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA04

5L096KA04

(57)【要約】

【課題】経験の浅い操作者でも、熟練者と同等の油圧ショベルの操作をすることが可能なこそく支援システムを提供する。
【解決手段】本発明は、トンネル切羽におけるこそくを支援するこそく支援システムであって、トンネル切羽に関わる切羽画像データを取得する情報取得部６００と、前記情報取得部６００により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデル１２に入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理部６０１と、を備える。
【選択図】 図１１

【特許請求の範囲】

【請求項1】

トンネル切羽におけるこそくを支援するこそく支援システムであって、
トンネル切羽に関わる切羽画像データを取得する情報取得部と、
前記情報取得部により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理部と、を備える、
こそく支援システム。

【請求項2】

前記生成処理部で生成された操作関連データに基づいた提示を行う提示部を備える、
請求項１に記載のこそく支援システム。

【請求項3】

前記生成処理部で生成された操作関連データに基づいてトンネル切羽におけるこそく完了区画の提示を行う提示部を備える、
請求項１に記載のこそく支援システム。

【請求項4】

切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとで構成される学習用データを複数組記憶する学習用データ記憶部と、
複数組の前記学習用データを学習モデルに入力することで、切羽画像データと操作関連データとの相関関係を前記学習モデルに学習させる機械学習部と、
前記機械学習部により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶部と、を備える、
機械学習装置。

【請求項5】

トンネル切羽に関わる切羽画像データを取得する情報取得部と、
前記情報取得部により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理部と、を備える、
情報処理装置。

【請求項6】

トンネル切羽におけるこそくを支援するこそく支援方法であって、
トンネル切羽に関わる切羽画像データを取得する情報取得工程と、
前記情報取得工程により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理工程と、を備える、
こそく支援方法。

【請求項7】

切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとで構成される学習用データを複数組記憶する学習用データ記憶工程と、
複数組の前記学習用データを学習モデルに入力することで、切羽画像データと操作関連データとの相関関係を前記学習モデルに学習させる機械学習工程と、
前記機械学習工程により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶工程と、を備える、
機械学習方法。

【請求項8】

トンネル切羽に関わる切羽画像データを取得する情報取得工程と、
前記情報取得工程により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理工程と、を備える、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、こそく支援システム、機械学習装置、情報処理装置、こそく支援方法、機械学習方法、及び情報処理方法に関する。

【背景技術】

【0002】

ＮＡＴＭ等の山岳トンネルの施工において、発破後、岩盤切羽付近に浮きでている岩片や岩塊などを除去するこそく作業が行われる。こそく作業は、トンネル掘削に発破工法を用いる場合、発破後の切羽付近に浮きでている岩片や岩塊を、鉄棒などを用いて落下させる浮石落しの作業である。このような作業には、ブレーカ等のアタッチメントを取り付けた旋回式建設機械（例えば、油圧ショベル）が使用されることが多い。

【0003】

このようなこそく作業を管理するために、例えば、特許文献１（特開２０１７－１９０５８７号公報）には、旋回式建設機械に取り付けられたターゲットをトータルステーションにより測定することで、旋回式建設機械の先端（削岩機のノミ先等）の位置情報をリアルタイムに把握する技術が記載されている。

【0004】

また、こそく作業の管理に切羽画像を用いる技術についても提案されている。例えば、特許文献１（特開２０２１－３１８９５号公報）には、トンネル掘削工事における切羽の撮像画像に関する情報を取得して、これに基づいてコソク作業を行う作業箇所を検出することが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－１９０５８７号公報

【特許文献2】特開２０２１－３１８９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

こそく作業においては、切羽を目視することによって、岩片、岩塊、浮き石等の落下処理が必要となる箇所・範囲を判断する能力が求められる。このような判断能力は、経験に依るとこが大きく、油圧ショベルの操作技能の優劣に加え、切羽の状態の判断能力の差によって、こそく作業の仕上がりのばらつきは大きく左右することとなる。こそく作業の完成度が低いと、肌落ちなどにより、続く吹きつけ作業での作業性が特に悪くなるし、また、後続するその他の作業における安全性も低下する、という問題があった。

【0007】

本発明は、上記の課題に鑑み、切羽の状態に依って、推奨され得る油圧ショベルの操作を簡易に生成し操作者に提示したり、こそくが完了した箇所を作業者に提示したりすることを可能とするこそく支援システム、機械学習装置、情報処理装置、こそく支援方法、機械学習方法、及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の一態様に係るこそく支援システムは、
トンネル切羽におけるこそくを支援するこそく支援システムであって、
トンネル切羽に関わる切羽画像データを取得する情報取得部と、
前記情報取得部により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理部と、を備える。

【0009】

また、本発明の一態様に係るこそく支援システムは、
前記生成処理部で生成された操作関連データに基づいた提示を行う提示部を備える。

【0010】

また、本発明の一態様に係るこそく支援システムは、
前記生成処理部で生成された操作関連データに基づいてトンネル切羽におけるこそく完了区画の提示を行う提示部を備える。

【0011】

また、本発明の一態様に係る機械学習装置は、
切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとで構成される学習用データを複数組記憶する学習用データ記憶部と、
複数組の前記学習用データを学習モデルに入力することで、切羽画像データと操作関連データとの相関関係を前記学習モデルに学習させる機械学習部と、
前記機械学習部により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶部と、を備える。

【0012】

また、本発明の一態様に係る情報処理装置は、
トンネル切羽に関わる切羽画像データを取得する情報取得部と、
前記情報取得部により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理部と、を備える。

【0013】

また、本発明の一態様に係るこそく支援方法は、
トンネル切羽におけるこそくを支援するこそく支援方法であって、
トンネル切羽に関わる切羽画像データを取得する情報取得工程と、
前記情報取得工程により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理工程と、を備える。

【0014】

また、本発明の一態様に係る機械学習方法は、
切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとで構成される学習用データを複数組記憶する学習用データ記憶工程と、
複数組の前記学習用データを学習モデルに入力することで、切羽画像データと操作関連データとの相関関係を前記学習モデルに学習させる機械学習工程と、
前記機械学習工程により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶工程と、を備える。

【0015】

また、本発明の一態様に係る情報処理方法は、
トンネル切羽に関わる切羽画像データを取得する情報取得工程と、
前記情報取得工程により取得された切羽画像データを、切羽画像データと、こそく作業における油圧ショベルの操作に関わる操作関連データとの相関関係を機械学習により学習させた学習モデルに入力することで、切羽画像データに対応する油圧ショベルの操作関連データを生成する生成処理工程と、を備える。

【発明の効果】

【0016】

本発明の一態様に係るこそく支援システムによれば、トンネル切羽に関わる切羽画像データを学習モデルに入力することで生成される、油圧ショベルの操作に関わる操作関連データに基づいて、操作者が油圧ショベルを操作する際に、熟練者と同等の操作をすることが可能となる。

【0017】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係るこそく支援システム１における情報収集の様子を示す模式図である。

【図2】本発明の実施形態に係るこそく支援システム１の一例を示す全体構成図である。

【図3】本発明の実施形態に係るこそく支援システム１が搭載された油圧ショベル１００の操作室１１０の様子を示す模式図である。

【図4】本発明の実施形態に係るこそく支援システム１におけるこそく支援管理データベース４１のデータ構造の一例を示す図である。

【図5】切羽画像データ（入力データ）と、操作関連データ（出力データ）のデータセットの一例を示す図である。

【図6】コンピュータ９００の一例を示すハードウエア構成図である。

【図7】第１の実施形態に係る機械学習装置５の一例を示すブロック図である。

【図8】学習モデル１２及び学習用データ１３の一例を示す図である。

【図9】機械学習装置５による機械学習方法の一例を示すフローチャートである。

【図10】第１の実施形態に係る情報処理装置６の一例を示すブロック図である。

【図11】第１の実施形態に係る情報処理装置６の一例を示す機能説明図である。

【図12】情報処理装置６による情報処理方法の一例を示すフローチャートである。

【図13】第２の実施形態に係るこそく支援システム１が搭載された油圧ショベル１００の操作室１１０の様子を示す模式図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0020】

図１は、本発明の実施形態に係るこそく支援システム１における情報収集の様子を示す模式図である。また、図２は、本発明の実施形態に係るこそく支援システム１の一例を示す全体構成図である。また、図３は、本発明の実施形態に係るこそく支援システム１が搭載された油圧ショベル１００の操作室１１０の様子を示す模式図である。

【0021】

こそく支援システム１は、経験の浅い操作者でも、熟練者と同等の油圧ショベル１００の操作をすることを可能とするものである。このための情報収集を行うシステムとして、切羽に関する画像データと、熟練者操作による油圧ショベル１００の操作に関するデータとを、例えば、図１、図２に示すような構成のシステムが採用され得る。

【0022】

図１において、油圧ショベル１００は、切羽７０における岩片、岩塊、浮き石等の落下処理（こそく作業）を担うものである。油圧ショベル１００は、旋回・上下するブーム１０１と、このブーム１０１に対して上下するアーム１０２とを有している。また、図１の例では、アーム１０２の先端には、交換可能な先端アタッチメント１０３としてブレーカ１０４が設けられている。先端アタッチメント１０３としては、ブレーカ１０４に代え、バケット、 グラップル、クラッシャーなどを適宜用いることもできる。

【0023】

油圧ショベル１００には、切羽７０等の画像を撮影するカメラ１０５や、切羽７０等の起伏に関する情報を取得する光測距装置１０６を搭載することができる。これらカメラ１０５や光測距装置１０６によって、切羽７０等に関する情報を収集する。カメラや光測距装置は、本実施形態に係るこそく支援システム１においては、情報収集装置２として機能することができる。

【0024】

カメラ１０５としては、静止画像データや動画像データなどを撮影することが可能な一般的なものを用いることができる。光測距装置１０６としては、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、又はＬａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサーや三次元スキャナを用いることができる。光測距装置１０６は、三次元点群画像データを取得することができるものであればよい。カメラ１０５や光測距装置１０６で取得されたデータからは、ポリゴン画像データ、及び オルソ画像データを周知技術で生成することができる。

【0025】

切羽７０等に関する情報を取得するために、図１に示す油圧ショベル１００には、カメラ１０５と光測距装置１０６とからなる情報収集装置２が３組用いられているが、油圧ショベル１００に設ける情報収集装置２の数は任意である。また、油圧ショベル１００に搭載されるカメラ１０５と光測距装置１０６は、切羽の状態に関するデータ（切羽画像データ）を取得されるために利用されことが想定されているが、カメラや光測距装置は、油圧ショベル１００の動作や姿勢に関するデータ（油圧ショベル１００の操作に関連するデータ。以下、「操作関連データ」とも言う。）を収集されるためにも利用され得る。

【0026】

熟練者操作による油圧ショベル１００からは、正解ラベルとして用い得る操作関連データを取得することができる。油圧ショベル１００の操作室１１０には、油圧ショベル１００を操作するための操作レバー１１１が設けられている。この操作室１１０内の操作レバー１１１に不図示の操作量センサー１０７を設けておき、操作量センサー１０７から操作レバー１１１の操作量に関するデータを、操作関連データとして取得することができる。

【0027】

油圧ショベル１００のブーム１０１、アーム１０２や先端アタッチメント１０３における可動部には、その可動量を計測する不図示の油圧ショベル関節部センサー１０８を設けておくことができる。油圧ショベル関節部センサー１０８からは、各関節部における可動量に関するデータを、操作関連データとして取得することができる。

【0028】

操作室１１０内で、油圧ショベル１００の操作者には、視線方向を検知することができるアイカメラ１１５を装着してもらい、油圧ショベル１００の熟練操作者の視線方向データを、操作関連データとして取得することができる。

【0029】

油圧ショベル１００には、カメラ１０５と光測距装置１０６が搭載されているが、これらが取得することができるデータは、切羽７０に関する切羽画像データに限定される分けではなく、油圧ショベル１００の操作関連データも取得することができる。例えば、油圧ショベル１００に搭載されるカメラ１０５と光測距装置１０６によって、先端アタッチメント１０３の軌跡に関するデータが、操作関連データとして取得し得る。また、油圧ショベル１００に搭載されるカメラ１０５と光測距装置１０６によって、油圧ショベル１００のブーム１０１・アーム１０２の軌跡に関するデータも、操作関連データとして取得し得る。

【0030】

油圧ショベル１００の上空付近には、カメラ１５５と光測距装置１５６とを搭載したドローン１５０を飛行させて、カメラ１５５と光測距装置１５６とから切羽７０に関する切羽画像データを取得することができる。また、カメラ１５５と光測距装置１５６とから、油圧ショベル１００の操作関連データとして、油圧ショベルの先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データも取得することができる。さらに、ドローン１５０のカメラ１５５と光測距装置１５６とからは、油圧ショベル１００自体の動きに関するデータを操作関連データとして取得することができる。油圧ショベル１００自体の動きに関するデータを、「油圧ショベルの位置・姿勢データ」と称することとする。

【0031】

掘削工事中のトンネルでは、支保工７５が一定間隔で配置されるが、支保工７５にもカメラや光測距装置を取り付けることができる。切羽７０付近における支保工７５に支保工設置機器１６０として取り付けられたカメラ１６５や光測距装置１６６からは、主として切羽７０に関する切羽画像データを取得することができる。なお、カメラや光測距装置を支保工７５に取り付ける際には、支保工７５をレールのように利用し、カメラや光測距装置を移動可能とすることもできる。

【0032】

油圧ショベル１００付近における支保工７５に支保工設置機器１８０として取り付けられたカメラ１８５や光測距装置１８６からは、主として油圧ショベル１００に関する操作関連データ（油圧ショベルの先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データ、油圧ショベルの位置・姿勢データ）を取得することができる。

【0033】

油圧ショベル１００の背後の地盤上には、地盤設置機器１７０としてカメラ１７５と光測距装置１７６とを設けることができる。カメラ１７５と光測距装置１７６とからは、主として油圧ショベル１００に関する操作関連データ（油圧ショベルの先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データ、油圧ショベルの位置・姿勢データ）を取得することができる。

【0034】

図1中点線の枠内には、現場付近でタブレット型端末１９０（情報収集装置２の一例）により、逐次データ入力する熟練技術者（肌落ち予測の専門家）の様子を示している。タブレット型端末１９０は後述するコンピュータ９００の一例として挙げることができるものであり、現在一般的に普及しているものを用いることができる。このようなタブレット型端末１９０にカメラで取得した切羽画像データを表示させて、当該切羽画像データに重畳する形で肌落ちの可能性の高い箇所を入力させることで、肌落ち予測箇所可視化画像データを現場で作成することができる。

【0035】

以上で説明したカメラや光測距装置、及び操作量センサー１０７、油圧ショベル関節部センサー１０８、アイカメラ１１５は全て情報収集装置２として機能するものである。そして、これらから取得されるデータ（切羽画像データ、操作関連データ）は、こそく支援管理装置４のこそく支援管理データベース４１に蓄積されて、学習データ等として利用され得る。

【0036】

本実施形態に係るこそく支援システム１は、上記のような切羽画像データと、熟練者によるこそく作業における油圧ショベル１００の操作関連データとの相関関係を機械学習により学習させた学習モデルが準備される。そして、この学習モデルに、現状の切羽画像データを入力することで、熟練者と同等の油圧ショベル１００の操作に係る情報を油圧ショベル１００操作者に提示するものである。

【0037】

また、本実施形態に係るこそく支援システム１は、上記のような切羽画像データの一つとして、肌落ち予測箇所可視化画像データを用いることができる。肌落ち予測箇所可視化画像データは、熟練作業者あるいは専門技術者により抽出された肌落ち危険箇所との相関関係を機械学習させることで生成され得る。

【0038】

操作者に対する油圧ショベル操作等の提示を行う構成が提示部１２０であり、油圧ショベル１００の操作室１１０内に設けられる。提示部１２０としては、例えば、操作者に対して視覚的な報知を行うモニター１２１、１２１’や、聴覚的な報知を行うスピーカー１２２を採用することができる。操作者に対する視覚的な報知手段としては、モニター１２１、１２１’の他に、ヘッドアップディスプレイ１２３等も採用することができる。提示部１２０の各構成は、後述する情報処理装置６からの情報により動作するようになすことができる。

【0039】

図３には、提示部１２０として、モニター１２１、１２１’、スピーカー１２２、ヘッドアップディスプレイ１２３を用いる例を示しているが、図１３に示すように、提示部１２０として操作者が装着することができる情報提示ヘッドセット１２４を用いるようにすることもできる。情報提示ヘッドセット１２４としては、マイクロソフト製ＨｏｌｏＬｅｎｓ２（商標）などを用い得る。このような情報提示ヘッドセット１２４を、提示部１２０として用いることで、操作者はＡＲ、ＭＲを通じて、油圧ショベル１００の操作を行うことが可能となる。

【0040】

切羽画像データと、熟練者によるこそく作業における油圧ショベル１００の操作関連データとからなるデータセットは、教師あり学習における正解ラベルとして用いられるデータセットとなり得る。正解ラベルとして用いられるデータセットには、実際のデータの他に、シミュレーションによって生成されたデータも含み得る。

【0041】

こそく支援システム１は、その主要な構成として、図２に示すように、情報収集装置２と、管理者端末装置３と、こそく支援管理装置４と、機械学習装置５と、情報処理装置６とを備え得る。各装置２～６は、例えば、汎用又は専用のコンピュータ（後述の図６参照）で構成されるとともに、有線又は無線のネットワーク７に接続されて、各種のデータを相互に送受信可能に構成される。なお、各装置２～６の数やネットワーク７の接続構成は、図１の例に限られず、適宜変更してもよい。

【0042】

情報収集装置２は、これまで説明したようにカメラ、光測距装置、各種センサー類などであり、切羽画像データと、こそく作業における油圧ショベル１００の操作関連データとを収集する装置として利用される。

【0043】

管理者端末装置３は、こそく支援システム１全体の管理を行う管理者が使用する端末装置であり、据置型の装置でもよいし、携帯型の装置でもよい。管理者端末装置３は、例えば、アプリケーションプログラム、ウェブブラウザ等の表示画面やリーダライタを介して各種の入力操作を受け付けるとともに、表示画面を介して各種の情報を表示する。管理者端末装置３は、どのようなデータを取得するかを管理者が設定したり、管理者が参照するための各種情報の表示をしたりする際に使用できる。

【0044】

こそく支援管理装置４は、情報収集装置２で収集された情報を蓄積して管理するためのこそく支援管理データベース４１を備える。こそく支援管理データベース４１には、情報収集装置２で収集された切羽画像データ、操作関連データが登録される。なお、こそく支援管理データベース４１の詳細は後述する。

【0045】

機械学習装置５は、機械学習の学習フェーズの主体として動作する装置である。機械学習装置５は、例えば、こそく支援管理装置４のこそく支援管理データベース４１に登録された各種の情報を学習用データ１３として取得し、その学習用データ１３に基づいて、情報処理装置６にて用いられる学習モデル１２を機械学習により生成する。学習済みの学習モデル１２は、ネットワーク７や記録媒体等を介して情報処理装置６に提供される。

【0046】

情報処理装置６は、機械学習の推論フェーズの主体として動作する装置である。情報処理装置６は、機械学習装置５により生成された学習モデル１２を用いて、切羽画像データに基づいて、熟練者と同等の最適な油圧ショベル１００の操作関連データを予測する。その予測結果としての操作関連データは、例えば、管理者端末装置３や情報処理装置６に提供される。また、操作関連データは、提示部１２０を介して油圧ショベル１００の操作者に提示される。また、予測結果としての操作関連データは、こそく支援管理装置４に提供されて、こそく支援管理データベース４１に蓄積される。

【0047】

次に、こそく支援管理装置４に蓄積され管理するためのこそく支援管理データベース４１について説明する。図４は本発明の実施形態に係るこそく支援システム１におけるこそく支援管理データベース４１のデータ構造の一例を示す図である。なお、各データ項目には、各データが取得されたときの日時も合わせて登録され得るが、日時に関するフィールドを省略することがある。

【0048】

こそく支援管理データベース４１においては、切羽画像データと操作関連データとの対応関係が記憶・管理されている。切羽画像データに含まれるデータは、少なくとも１種あればよく、また、操作関連データに含まれるデータに含まれるデータも、少なくとも１種あればよい。

【0049】

切羽画像データには、 静止画像データ、 動画像データ、 三次元点群画像データ、 ポリゴン画像データ、及び オルソ画像データ、肌落ち予測箇所可視化画像データのうち、少なくとも１つが含まれる。また、操作関連データには、油圧ショベル操作量データ、油圧ショベル関節部センサーデータ、油圧ショベルのアーム先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データ、油圧ショベルの位置・姿勢データ、及び 視線方向データのうち、少なくとも１つが含まれる。

【0050】

ここで、上記の切羽画像データのうち、肌落ち予測箇所可視化画像データは、取得された静止画像データ等から、例えば、特開２０２３－３４７４５号公報に記載された技術により生成することができる。

【0051】

切羽画像データは、カメラや光測距装置によって取得されたり、カメラや光測距装置によって取得されたデータに基づいて加工されたりすることで得られるデータである。切羽画像データのうち、静止画像データ、動画像データはカメラから出力されるデータを用いることができる。また、切羽画像データのうち、三次元点群画像データは光測距装置から出力されるデータを用いることができる。また、切羽画像データのうち、ポリゴン画像データ、オルソ画像データは、カメラや光測距装置から出力されるデータを加工（補正処理・変換処理・画像処理等）したものが用いられる。また、切羽画像データには、肌落ち予測箇所を示す肌落ち予測箇所可視化画像データも含まれ得る。

【0052】

操作関連データのうち、油圧ショベル操作量データは、操作量センサー１０７から出力されるデータを用いることができる。また、操作関連データのうち、油圧ショベル関節部センサーデータは、油圧ショベル関節部センサー１０８から出力されるデータを用いることができる。また、操作関連データのうち、油圧ショベルのアーム先端アタッチメント軌跡データは、カメラや光測距装置から出力されるデータや、カメラや光測距装置から出力されるデータを加工（補正処理・変換処理・画像処理等）したデータが用いられる。操作関連データのうち、油圧ショベルのアーム・ブーム軌跡データは、カメラや光測距装置から出力されるデータや、カメラや光測距装置から出力されるデータを加工（補正処理・変換処理・画像処理等）したデータが用いられる。また、操作関連データのうち、油圧ショベルの位置・姿勢データは、カメラや光測距装置から出力されるデータや、カメラや光測距装置から出力されるデータを加工（補正処理・変換処理・画像処理等）したデータが用いられる。また、操作関連データのうち、視線方向データは、操作者が装着したアイカメラ１１５から出力されるデータを用いることができる。

【0053】

こそく支援管理装置４に蓄積・管理されるこそく支援管理データベース４１における切羽画像データは学習モデル１２に対する入力データとして、また、操作関連データは学習モデルからの出力データとして捉えることができる。また、また、こそく支援管理データベース４１において、切羽画像データ（入力データ）と、操作関連データ（出力データ）との組み合わせからなるデータセットのうち、正解ラベルとして用いられるデータセットは、教師あり学習における学習用データ１３として用い得る。

【0054】

図５は切羽画像データ（入力データ）と、操作関連データ（出力データ）のデータセットの一例を示す図である。図５は、切羽画像データのうち、静止画像データ、動画像データ、三次元点群画像データ、ポリゴン画像データ、オルソ画像データ、肌落ち予測箇所可視化画像データが入力データとして用いられ、操作関連データのうち、油圧ショベル操作量データ、油圧ショベルの先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データが出力データとして用いられる例を示している。このようなデータセットは、機械学習を実行する際の学習用データ１３として用いることができるし、また、学習モデル１２に入力データが入力されることで、学習モデル１２からは出力データが出力される。

【0055】

（各装置のハードウエア構成）
図６は、コンピュータ９００の一例を示すハードウエア構成図である。こそく支援システム１の各装置２～６は、汎用又は専用のコンピュータ９００により構成される。タブレット型端末１９０のハードウエア構成もコンピュータ９００と同様とすることができる。

【0056】

コンピュータ９００は、図６に示すように、その主要な構成要素として、バス９１０、プロセッサ９１２、メモリ９１４、入力デバイス９１６、出力デバイス９１７、表示デバイス９１８、ストレージ装置９２０、通信Ｉ／Ｆ（インターフェース）部９２２、外部機器Ｉ／Ｆ部９２４、Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部９２６、及び、メディア入出力部９２８を備える。なお、上記の構成要素は、コンピュータ９００が使用される用途に応じて適宜省略されてもよい。

【0057】

プロセッサ９１２は、１つ又は複数の演算処理装置（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）で構成され、コンピュータ９００全体を統括する制御部として動作する。メモリ９１４は、各種のデータ及びプログラム９３０を記憶し、例えば、メインメモリとして機能する揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）と、不揮発性メモリ（ＲＯＭ）、フラッシュメモリ等とで構成される。

【0058】

入力デバイス９１６は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス９１７は、例えば、音（音声）出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス９１８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス９１６及び表示デバイス９１８は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置９２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、記憶部として機能する。ストレージ装置９２０は、オペレーティングシステムやプログラム９３０の実行に必要な各種のデータを記憶する。

【0059】

通信Ｉ／Ｆ部９２２は、インターネットやイントラネット等のネットワーク９４０（図１のネットワーク７と同じであってもよい）に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器Ｉ／Ｆ部９２４は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器９５０に有線又は無線により接続され、所定の通信規格に従って外部機器９５０との間でデータの送受信を行う通信部として機能する。Ｉ／ＯデバイスＩ／Ｆ部９２６は、各種のセンサー、アクチュエータ等のＩ／Ｏデバイス９６０に接続され、Ｉ／Ｏデバイス９６０との間で、例えば、センサーによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部９２８は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ等のドライブ装置、メモリカードスロット、ＵＳＢコネクタで構成され、ＤＶＤ、ＣＤ、メモリカード、ＵＳＢメモリ等のメディア（非一時的な記憶媒体）９７０に対してデータの読み書きを行う。

【0060】

上記構成を有するコンピュータ９００において、プロセッサ９１２は、ストレージ装置９２０に記憶されたプログラム９３０をメモリ９１４に呼び出して実行し、バス９１０を介してコンピュータ９００の各部を制御する。なお、プログラム９３０は、ストレージ装置９２０に代えて、メモリ９１４に記憶されていてもよい。プログラム９３０は、インストール可能なファイル形式又は実行可能なファイル形式でメディア９７０に記録され、メディア入出力部９２８を介してコンピュータ９００に提供されてもよい。プログラム９３０は、通信Ｉ／Ｆ部９２２を介してネットワーク９４０経由でダウンロードすることによりコンピュータ９００に提供されてもよい。また、コンピュータ９００は、プロセッサ９１２がプログラム９３０を実行することで実現する各種の機能を、例えば、ＦＰＧＡ、ＡＳＩＣ等のハードウエアで実現するものでもよい。

【0061】

コンピュータ９００は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ９００は、クライアント型コンピュータでもよいし、サーバ型コンピュータやクラウド型コンピュータでもよい。コンピュータ９００は、各装置２～６以外の装置にも適用されてもよい。また、コンピュータ９００が携帯型コンピュータである場合には、コンピュータ９００は自機が所在する位置情報を取得する機能を有し、当該位置情報を種々のデータ処理に供する構成とされることが好ましい。

【0062】

（機械学習装置５）
図７は、第１の実施形態に係る機械学習装置５の一例を示すブロック図である。機械学習装置５は、制御部５０、通信部５１、学習用データ記憶部５２、及び、学習済みモデル記憶部５３を備える。

【0063】

制御部５０は、学習用データ取得部５００及び機械学習部５０１として機能する。通信部５１は、ネットワーク７を介して外部装置と接続され、各種のデータを送受信する通信インターフェースとして機能する。

【0064】

学習用データ取得部５００は、通信部５１及びネットワーク７を介して外部装置（例えば、情報収集装置２、管理者端末装置３、こそく支援管理装置４等）と接続され、入力データとしての切羽画像データと、出力データとしての操作関連データとで構成される学習用データ１３を取得する。学習用データ１３は、教師あり学習における教師データ（トレーニングデータ）、検証データ及びテストデータとして用いられるデータである。

【0065】

学習用データ記憶部５２は、学習用データ取得部５００で取得した学習用データ１３を複数組記憶するデータベースである。なお、学習用データ記憶部５２を構成するデータベースの具体的な構成は適宜設計すればよい。

【0066】

機械学習部５０１は、学習用データ記憶部５２に記憶された複数組の学習用データ１３を用いて機械学習を実施する。すなわち、機械学習部５０１は、学習モデル１２に学習用データ１３を複数組入力し、学習用データ１３に含まれる切羽画像データと操作関連データとの相関関係を学習モデル１２に学習させることで、学習済みの学習モデル１２を生成する。機械学習部５０１は、機械学習を実施する際、例えば、オンライン学習、バッチ学習、ミニバッチ学習等の任意の手法を採用することができる。なお、機械学習部５０１は、学習モデル１２に入力する入力データ（切羽画像データ）に対して所定の前処理を行うようにしてもよいし、学習モデル１２から出力される出力データ（操作関連データ）に対して所定の後処理を行うようにしてもよい。

【0067】

学習済みモデル記憶部５３は、機械学習部５０１により生成された学習済みの学習モデル１２（具体的には、調整済みの重みパラメータ群）を記憶するデータベースである。学習済みモデル記憶部５３に記憶された学習済みの学習モデル１２は、ネットワーク７や記録媒体等を介して実システム（例えば、情報処理装置６）に提供される。なお、図７では、学習用データ記憶部５２と、学習済みモデル記憶部５３とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。

【0068】

図８は、学習モデル１２及び学習用データ１３の一例を示す図である。学習モデル１２の機械学習に用いられる学習用データ１３は、切羽画像データと、操作関連データとで構成される。

【0069】

学習用データ１３を構成する切羽画像データは、学習対象の静止画像データ、動画像データ、三次元点群画像データ、ポリゴン画像データ、オルソ画像データ、肌落ち予測箇所可視化画像データのうち、少なくとも１つを含むものであり、こそく支援管理データベース４１に登録された情報にそれぞれ対応する。また、学習用データ１３を構成する操作関連データは、学習対象の油圧ショベル操作量データ、油圧ショベル関節部センサーデータ、油圧ショベルの先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データ、油圧ショベルの位置・姿勢データ、視線方向データのうち、少なくとも１つを含むものであり、こそく支援管理データベース４１に登録された情報にそれぞれ対応する。

【0070】

なお、切羽画像データに含まれる各データ（特に、切羽画像データに含まれるデータ）は、所定の時点の状態を示す時点データでもよいし、所定の時間間隔（１時間毎、１日毎、１週間毎、１か月毎等）による複数の時点データからなる時系列データでもよいし、所定の期間に含まれる複数の時点データの代表値（平均値、最大値、最小値等）を示す代表データでもよい。切羽画像データの定義は適宜変更してもよく、その場合には、学習モデル１２及び学習用データ１３における入力データのデータ構成を適宜変更すればよい。

【0071】

学習用データ取得部５００は、こそく支援管理データベース４１に登録された各種の情報を参照したり、管理者端末装置３から管理者の入力操作を受け付けたりすることにより、学習用データ１３を取得する。

【0072】

学習モデル１２は、例えば、ニューラルネットワークの構造を採用したものであり、入力層２２０、中間層２２１、及び、出力層２２２を備える。各層の間には、各ニューロンをそれぞれ接続するシナプス（不図示）が張られており、各シナプスには、重みがそれぞれ対応付けられている。各シナプスの重みからなる重みパラメータ群が、機械学習により調整される。

【0073】

入力層２２０は、入力データとしての切羽画像データを数値化した際に対応する数のニューロンを有し、各値が各ニューロンにそれぞれ入力される。出力層１２２は、出力データとしての操作関連データに対応する数のニューロンを有し、切羽画像データに対する操作関連データの予測結果（推論結果）が、出力データとして出力される。学習モデル１２が、回帰モデルで構成される場合には、出力データは、所定の範囲（例えば、０～１）に正規化された数値でそれぞれ出力される。また、学習モデル１２が、分類モデルで構成される場合には、出力データは、各クラスに対するスコア（確度）として、所定の範囲（例えば、０～１）に正規化された数値でそれぞれ出力される。

【0074】

機械学習部５０１は、学習モデル１２に学習用データ１３を複数組入力し、学習用データ１３に含まれる切羽画像データと操作関連データとの相関関係を学習モデル１２に学習させることで、学習済みの学習モデル１２を生成する。

【0075】

なお、本実施形態では、学習モデル１２及び学習用データ１３のデータ構成は、図８で示すように構成される場合について説明したが、例えば、機械学習の手法、切羽画像データに含まれるデータの種類、操作関連データに含まれるデータの種類等によって、条件が異なる複数のデータ構成を採用してもよい。その場合には、学習用データ取得部５００は、条件が異なる複数のデータ構成にそれぞれ対応する複数種類の学習用データを取得するとともに、機械学習部５０１は、それらの学習用データをそれぞれ用いて機械学習を実施するようにすればよい。

【0076】

（機械学習方法）
図９は、機械学習装置５による機械学習方法の一例を示すフローチャートである。なお、以下では、学習用データ１３として学習用データ１３を用いて、学習モデル１２として学習モデル１２を生成する場合について説明する。

【0077】

まず、ステップＳ１００において、学習用データ取得部５００は、機械学習を開始するための事前準備として、所望の数の学習用データ１３を取得し、その取得した学習用データ１３を学習用データ記憶部５２に記憶する。ここで準備する学習用データ１３の数については、最終的に得られる学習モデル１２に求められる推論精度を考慮して設定すればよい。

【0078】

次に、ステップＳ１１０において、機械学習部５０１は、機械学習を開始すべく、学習前の学習モデル１２を準備する。ここで準備する学習前の学習モデル１２は、図８に例示したニューラルネットワークモデルで構成されており、各シナプスの重みが初期値に設定されている。

【0079】

次に、ステップＳ１２０において、機械学習部５０１は、学習用データ記憶部５２に記憶された複数組の学習用データ１３から、例えば、ランダムに１組の学習用データ１３を取得する。

【0080】

次に、ステップＳ１３０において、機械学習部５０１は、１組の学習用データ１３に含まれる切羽画像データ（入力データ）を、準備された学習前（又は学習中）の学習モデル１２の入力層２２０に入力する。その結果、学習モデル１２の出力層２２２から推論結果として操作関連データ（出力データ）が出力されるが、当該出力データは、学習前（又は学習中）の学習モデル１２によって生成されたものである。そのため、学習前（又は学習中）の状態では、推論結果として出力された出力データは、学習用データ１３に含まれる操作関連データ（正解ラベル）とは異なる情報を示す。

【0081】

次に、ステップＳ１４０において、機械学習部５０１は、ステップＳ１２０において取得された１組の学習用データ１３に含まれる操作関連データ（正解ラベル）と、ステップＳ１３０において出力層から推論結果として出力された操作関連データ（出力データ）とを比較し、各シナプスの重みを調整する処理（バックプロパゲーション）を実施することで、機械学習を実施する。これにより、機械学習部５０１は、切羽画像データと操作関連データとの相関関係を学習モデル１２に学習させる。

【0082】

次に、ステップＳ１５０において、機械学習部５０１は、所定の学習終了条件が満たされたか否かを、例えば、学習用データ１３に含まれる操作関連データ（正解ラベル）と、推論結果として出力された操作関連データ（出力データ）とに基づく誤差関数の評価値や、学習用データ記憶部５２内に記憶された未学習の学習用データ１３の残数に基づいて判定する。

【0083】

ステップＳ１５０において、機械学習部５０１が、学習終了条件が満たされておらず、機械学習を継続すると判定した場合（ステップＳ１５０でＮｏ）、ステップＳ１２０に戻り、学習中の学習モデル１２に対してステップＳ１２０～Ｓ１４０の工程を未学習の学習用データ１３を用いて複数回実施する。一方、ステップＳ１５０において、機械学習部５０１が、学習終了条件が満たされて、機械学習を終了すると判定した場合（ステップＳ１５０でＹｅｓ）、ステップＳ１６０に進む。

【0084】

そして、ステップＳ１６０において、機械学習部５０１は、各シナプスに対応付けられた重みを調整することで生成された学習済みの学習モデル１２（調整済みの重みパラメータ群）を学習済みモデル記憶部５３に記憶し、図９に示す一連の機械学習方法を終了する。機械学習方法において、ステップＳ１００が学習用データ記憶工程、ステップＳ１１０～Ｓ１５０が機械学習工程、ステップＳ１６０が学習済みモデル記憶工程に相当する。

【0085】

以上のように、本実施形態に係る機械学習装置５及び機械学習方法によれば、切羽画像データから、油圧ショベル１００の最適な操作関連データを予測（推論）することが可能な学習モデル１２を提供することができる。そして、このような操作関連データに基づけば、操作者が油圧ショベル１００を操作する際に、熟練者と同等の操作をすることが可能となる。

【0086】

（情報処理装置６）
図１０は、第１の実施形態に係る情報処理装置６の一例を示すブロック図である。図１１は、第１の実施形態に係る情報処理装置６の一例を示す機能説明図である。情報処理装置６は、制御部６０、通信部６１、及び、学習済みモデル記憶部６２を備える。

【0087】

制御部６０は、情報取得部６００、生成処理部６０１及び出力処理部６０２として機能する。通信部６１は、ネットワーク７を介して外部装置と接続され、各種のデータを送受信する通信インターフェースとして機能する。

【0088】

情報取得部６００は、通信部６１及びネットワーク７を介して外部装置（例えば、情報収集装置２、管理者端末装置３、こそく支援管理装置４等）と接続され、予測対象の切羽画像データを取得する。

【0089】

例えば、情報取得部６００は、こそく支援管理データベース４１を参照することで、予測対象の切羽における静止画像データ、動画像データ、三次元点群画像データ、ポリゴン画像データ、オルソ画像データ、肌落ち予測箇所可視化画像データを切羽画像データとして取得する。具体的には、情報取得部６００は、こそく支援管理データベース４１から切羽画像データに含まれるデータを取得する。その際、情報取得部６００は、学習モデル１２における入力データのデータ構成に合わせてデータを取得することができる。

【0090】

生成処理部６０１は、上記のように、情報取得部６００により取得された予測対象の切羽における切羽画像データを入力データとして学習モデル１２に入力することで出力される操作関連データに基づいて、当該切羽に対する操作関連データを生成する。具体的には、生成処理部６０１は、切羽画像データを学習モデル１２に入力することで、油圧ショベル操作量データ、油圧ショベル関節部センサーデータ、油圧ショベルの先端アタッチメント軌跡データ、油圧ショベルのアーム・ブーム軌跡データ、油圧ショベルの位置・姿勢データ、視線方向データを含み得る操作関連データを生成する。なお、生成処理部６０１は、学習モデル１２に入力する入力データ（切羽画像データ）に対して所定の前処理を行うようにしてもよいし、学習モデル１２から出力される出力データ（操作関連データ）に対して所定の後処理を行うようにしてもよい。

【0091】

学習済みモデル記憶部６２は、生成処理部６０１にて用いられる学習済みの学習モデル１２を記憶するデータベースである。なお、学習済みモデル記憶部６２に記憶される学習モデル１２の数は上記の例に限定されず、例えば、機械学習の手法、切羽画像データに含まれるデータの種類、操作関連データに含まれるデータの種類等に依って、条件が異なる複数の学習済みモデルが記憶され、選択的に利用可能としてもよい。また、学習済みモデル記憶部６２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）の記憶部で代用されてもよく、その場合には、生成処理部６０１は、当該外部コンピュータにアクセスすればよい。

【0092】

出力処理部６０２は、生成処理部６０１により生成された操作関連データを出力するための出力処理を行う。例えば、出力処理部６０２は、その操作関連データを管理者端末装置３に送信することで、その操作関連データに基づく表示画面が管理者端末装置３に表示されてもよいし、その操作関連データをこそく支援管理装置４に送信することで、操作関連データが予測値として、こそく支援管理データベース４１に登録されてもよい。

【0093】

また、出力処理部６０２は、その操作関連データを提示部１２０に送信して、提示部１２０を構成するモニター１２１、１２１’、スピーカー１２２、ヘッドアップディスプレイ１２３に操作関連データを表示等して、油圧ショベル１００操作者に対して最適な油圧ショベル１００の操作法を報知するようにしてもよい。提示部１２０において提示を行う際には、操作関連データを操作者が参照しやすい表示形式に変換したり、操作関連データを可聴データに変換したりするなどの処理を適宜行うことができる。

【0094】

提示部１２０として、油圧ショベル１００の操作室１１０内には、図３に示すように２台のモニター１２１、１２１’を設けることができる。モニター１２１には、 操作関連データとして、現状の切羽の状態に基づいて、最適な油圧ショベル１００の操作法を表示することができる。このような表示のための演算・処理等は、出力処理部６０２で行い得る。

【0095】

一方、生成処理部６０１により生成される操作関連データによれば、切羽において、油圧ショベル１００の操作によるこそくが不要となった箇所（すなわち、こそくが完了している箇所）を求めることもできる。これに基づいて、例えば、モニター１２１’に は、油圧ショベル１００操作者に対して、こそくが完了した切羽の区画を表示させることができる。こそく完了区画の表示には、マーキング、色分け等の表示法が用い得る。こそく完了区画のための演算・処理等は、出力処理部６０２で行うことができる。

【0096】

提示部１２０のモニター１２１、１２１’における表示には、取得された現状の切羽画像データをベースとしてこれに各情報を重畳させる表示方法を用いることができる。提示部１２０のモニター１２１、１２１’で表示させる際、ベースとする切羽画像データには、静止画像データ、 動画像データ、 三次元点群画像データ、 ポリゴン画像データ、及び オルソ画像データ、肌落ち予測箇所可視化画像データ等を用いることができる。また、提示部１２０のモニター１２１、１２１’には、油圧ショベル１００の操作履歴等を表示させるようにすることもできる。

【0097】

提示部１２０のモニター１２１、１２１’には、こそく作業現場付近で熟練技術者（肌落ち予測の専門家）がタブレット型端末１９０から入力したデータを逐次表示させるようにすることもできる。タブレット型端末１９０から取得して、モニター１２１、１２１’で表示させるデータには、こそく作業の進行速度の適不適や、こそく作業の仕上がりの良否、追加してこそく作業が必要な箇所や、こそく作業が不用である箇所などを含めることができる。また、表示方法としては、マーキング表示、色分け表示等を採用することができる。

【0098】

また、提示部１２０のモニター１２１、１２１’には、現状の切羽の画像データを適宜表示させるようにすることもできる。例えば、モニター１２１、１２１’に油圧ショベル１００に搭載されているカメラ１０５で撮像された画像データを表示するようにできるし、ドローン１５０に搭載されているカメラ１５５で撮像された画像データを表示するようにできるし、支保工７５に設けられているカメラ１６５、１８５で撮像された画像データを表示するようにできる。

【0099】

（情報処理方法）
図１２は、情報処理装置６による情報処理方法の一例を示すフローチャートである。以下では、学習用データ１３として学習用データ１３を用いて、学習モデル１２として学習モデル１２を生成する場合について説明する。

【0100】

まず、ステップＳ２００において、情報処理装置６の情報取得部６００は、例えば、管理者端末装置３から予測対象の切羽を受信する。そして、情報取得部６００は、管理者端末装置３からの情報に基づいて、こそく支援管理データベース４１を参照することで、予測対象の切羽に対応する、切羽画像データを取得する。

【0101】

次に、ステップＳ２１０において、生成処理部６０１は、ステップＳ２００にて取得された切羽画像データを学習モデル１２に入力することで、着目する切羽に対する操作関連データを出力データとして生成する。

【0102】

次に、ステップＳ２２０において、出力処理部６０２は、ステップＳ２１０にて生成された操作関連データを出力するための出力処理として、その操作関連データを管理者端末装置３に送信する。そして、管理者端末装置３が、その操作関連データに基づいて表示画面を表示することで、その操作関連データが管理者に提示される。なお、操作関連データの送信先は、管理者端末装置３に加えて又は代えて、こそく支援管理装置４でもよい。また、操作関連データの送信先は、提示部１２０であってもよい。上記の情報処理方法において、ステップＳ２００が情報取得工程、ステップＳ２１０が生成処理工程、ステップＳ２２０が出力処理工程に相当する。

【0103】

以上のように、本実施形態に係る情報処理装置６及び情報処理方法によれば、予測対象の切羽における切羽画像データを学習モデル１２に入力することで、予測対象の切羽に対する操作関連データが予測される。そして、このような操作関連データに基づけば、操作者が油圧ショベル１００を操作する際に、熟練者と同等の操作をすることが可能となる。

【0104】

（情報処理装置６及び情報処理方法の応用）
上記のような本実施形態に係る情報処理装置６及び情報処理方法は、例えば、油圧ショベル１００の操作を習得するために利用されるシミュレーターに利用することができる。このようなシミュレーターは、操作室１１０を模擬した室内の操作者に対して切羽の画像を見せて、最適な操作レバー１１１の操作を行うように促す。当該操作者は、先の切羽の画像に対応する操作関連データに近い操作を行うことが求められる。

【0105】

また、トンネル坑内における作業の安全性を担保するために自律制御（自動運転）可能な油圧ショベル１００を採用することが検討されているが、本実施形態に係る情報処理装置６及び情報処理方法は、自動操縦によって切羽におけるこそく作業を行い得る油圧ショベル１００を提供するためにも利用され得る。

【0106】

本実施形態に係る情報処理装置６及び情報処理方法は、シミュレーターや自動運転油圧ショベルの核となり得るものである。本実施形態に係る情報処理装置６及び情報処理方法では、切羽画像データに対応する油圧ショベルの操作関連データが生成されるが、シミュレーターにおいては、生成された操作関連データを、油圧ショベル１００の操作の基準として用いることができる。すなわち、模擬された操縦室内での操作として、生成された操作関連データにより近い操作ができるようになればなるほど、熟練度が向上したものとみなすことができる。

【0107】

また、本実施形態に係る情報処理装置６及び情報処理方法で生成された操作関連データを、自動運転油圧ショベルを運転するための運転指示データとして変換処理することで、情報処理装置６及び情報処理方法に係る技術を自動運転油圧ショベルに用いることができる。

【0108】

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

【0109】

上記実施形態では、情報処理装置６の情報取得部６００は、こそく支援管理データベース４１を参照することで、こそく支援管理データベース４１に登録されたデータを切羽画像データとして取得するものとして説明したが、例えば、一部のデータ又は全てのデータは情報収集装置２から直接取得するようにしてもよい。

【0110】

上記実施形態では、情報処理装置６の情報取得部６００は、こそく支援管理データベース４１を参照することで、こそく支援管理データベース４１に登録されたデータを切羽画像データとして取得するものとして説明したが、例えば、各データ（一部でもよい）が仮データであるものを取得するようにしてもよい。

【0111】

上記実施形態では、こそく支援管理装置４、機械学習装置５及び情報処理装置６は、別々の装置で構成されたものとして説明したが、それら３つの装置が、単一の装置で構成されていてもよいし、それら３つの装置のうち任意の２つの装置が、単一の装置で構成されていてもよい。また、機械学習装置５及び情報処理装置６の少なくとも一方は、情報収集装置２又は管理者端末装置３に組み込まれていてもよい。

【0112】

上記実施形態では、機械学習部５０１による機械学習を実現する学習モデルとして、ニューラルネットワークを採用した場合について説明したが、他の機械学習のモデルを採用してもよい。他の機械学習のモデルとしては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク、畳み込みニューラルネットワーク、ＬＳＴＭ等のニューラルネット型(ディープラーニングを含む)、階層型クラスタリング、非階層型クラスタリング、ｋ近傍法、ｋ平均法等のクラスタリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。

【0113】

（機械学習プログラム及び情報処理プログラム）
本発明は、機械学習装置５が備える各部としてコンピュータ９００を機能させるプログラム（機械学習プログラム）や、機械学習方法が備える各工程をコンピュータ９００に実行させるためのプログラム（機械学習プログラム）の態様で提供することもできる。また、本発明は、情報処理装置６が備える各部としてコンピュータ９００を機能させるためのプログラム（情報処理プログラム）や、上記実施形態に係る情報処理方法が備える各工程をコンピュータ９００に実行させるためのプログラム（情報処理プログラム）の態様で提供することもできる。

【0114】

（推論装置、推論方法及び推論プログラム）
本発明は、上記実施形態に係る情報処理装置６（情報処理方法又は情報処理プログラム）の態様によるもののみならず、操作関連データを推論するために用いられる推論装置（推論方法又は推論プログラム）の態様で提供することもできる。その場合、推論装置（推論方法又は推論プログラム）としては、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行するものとすることができる。当該一連の処理とは、予測対象の切羽の切羽画像データを取得する情報取得処理（情報取得工程）と、情報取得処理にて切羽画像データを取得すると、当該切羽に対する操作関連データを推論する推論処理（推論工程）とを含む。

【0115】

推論装置（推論方法又は推論プログラム）の態様で提供することで、情報処理装置を実装する場合に比して簡単に種々の装置への適用が可能となる。推論装置（推論方法又は推論プログラム）が操作関連データを推論する際、上記実施形態に係る機械学習装置及び機械学習方法により生成された学習済みの学習モデルを用いて、生成処理部が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。

【0116】

なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

【符号の説明】

【0117】

１…こそく支援システム、２…情報収集装置、３…管理者端末装置、
４…こそく支援管理装置、５…機械学習装置、６…情報処理装置、７…ネットワーク
１２…学習モデル、１３…学習用データ、４１…こそく支援管理データベース
５０…制御部、５１…通信部、５２…学習用データ記憶部、
５３…学習済みモデル記憶部、
６０…制御部、６１…通信部、６２…学習済みモデル記憶部、
７０…切羽、７５…支保工
１００…油圧ショベル、１０１…ブーム、１０２…アーム、１０３…先端アタッチメント、１０４…ブレーカ、
１０５…カメラ、１０６…光測距装置、１０７…操作量センサー、１０８…油圧ショベル関節部センサー、１１０…操作室、１１１…操作レバー、１１５…アイカメラ、１２０…提示部、１２１…モニター、１２２…スピーカー、１２３…ヘッドアップディスプレイ、１２４…情報提示ヘッドセット、
１５０…ドローン、１５５…カメラ、１５６…光測距装置
１６０…支保工設置機器（切羽付近）、１６５…カメラ、１６６…光測距装置
１７０…地盤設置機器、１７５…カメラ、１７６…光測距装置
１８０…支保工設置機器（油圧ショベル付近）、１８５…カメラ、１８６…光測距装置
１９０…タブレット型端末
２２０…入力層、２２１…中間層、２２２…出力層
５００…学習用データ取得部、５０１…機械学習部、
６００…情報取得部、６０１…生成処理部、６０２…出力処理部、
９００…コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】