特許 7383255 情報処理システム、情報処理方法、建設機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-10

(45)【発行日】2023-11-20

(54)【発明の名称】情報処理システム、情報処理方法、建設機械

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231113BHJP

   E02F 9/26 20060101ALI20231113BHJP

【ＦＩ】

G06T7/70 B

E02F9/26 A

【請求項の数】 11

(21)【出願番号】P 2019152111

(22)【出願日】2019-08-22

(65)【公開番号】P2021033568

(43)【公開日】2021-03-01

【審査請求日】2022-07-27

(73)【特許権者】

【識別番号】503405689

【氏名又は名称】ナブテスコ株式会社

(73)【特許権者】

【識別番号】513099603

【氏名又は名称】兵庫県公立大学法人

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】西田 裕平

(72)【発明者】

【氏名】志垣 富雄

(72)【発明者】

【氏名】大前 謙

(72)【発明者】

【氏名】荒木 望

(72)【発明者】

【氏名】芳住 幸平

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００８－２４０３６１（ＪＰ，Ａ）

【文献】特開２００９－１４６３３７（ＪＰ，Ａ）

【文献】特開２００４－１１２１４４（ＪＰ，Ａ）

【文献】特開２０１７－０５３６２７（ＪＰ，Ａ）

【文献】国際公開第２０１６／１２５９１５（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０９９６１４７１（ＣＮ，Ａ）

【文献】中国特許出願公開第１１００００７９５（ＣＮ，Ａ）

【文献】中国特許出願公開第１１００７６７７２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｅ０２Ｆ ９／２６

(57)【特許請求の範囲】

【請求項1】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて前記画像のデータを補正する補正部と
を備える情報処理システム。

【請求項2】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部と、を備え、
前記推定部は、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する
情報処理システム。

【請求項3】

前記取得部は前記作業機械の作業部と一体的に旋回するように構成される請求項１または２に記載の情報処理システム。

【請求項4】

前記記憶部は前記参照画像のデータおよび前記姿勢のデータをもとに機械学習により生成された姿勢推定モデルを記憶することを特徴とする請求項１から３のいずれかに記載の情報処理システム。

【請求項5】

前記参照画像のデータの色情報を圧縮または除去する色情報除去部を有する
請求項１から４のいずれかに記載の情報処理システム。

【請求項6】

前記参照画像のデータの背景画像を除去する背景情報除去部を有する
請求項１から５のいずれかに記載の情報処理システム。

【請求項7】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記作業機械の作業部と一体的に旋回するように構成されるとともに前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部と、を備え、
前記推定部は、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する
情報処理システム。

【請求項8】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶部に記憶するステップと、
前記参照画像のデータと比較するために前記作業部の画像のデータを取得するステップと、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定するステップであって、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定するステップと
を含む情報処理方法。

【請求項9】

前記推定するステップは、前記参照画像のデータと前記姿勢のデータとをもとに機械学習により生成された姿勢推定モデルを参照するステップを含む
請求項８に記載の情報処理方法。

【請求項10】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶部に記憶する機能と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する機能と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する機能であって、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する機能と
をコンピュータに実現させるためのコンピュータプログラム。

【請求項11】

作業機械の作業部と、
前記作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記画像のデータと前記記憶部の記憶情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部と、を備え、
前記推定部は、前記画像のデータを取得する際の前記作業機械の経年数または前記作業機械の個体差に応じて推定する
建設機械。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法および建設機械に関する。

【背景技術】

【0002】

作業装置の姿勢を特定するために、作業装置を撮像するカメラを備えた建設機械が知られている。例えば、特許文献１には、旋回体に設置されて作業装置を撮像するカメラと、相対角度を検出する角度検出部と、姿勢を特定する姿勢特定部とを備えた建設機械が記載されている。この建設機械は、カメラの画像に基づいて抽出した各リンクのエッジからリンク同士の相対角度を検出し、その相対角度に基づいて、旋回体に対する作業装置の姿勢を特定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０５３６２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者らは、油圧等の動力で駆動されるブーム・アームとアタッチメントとを備える建設機械について、以下の認識を得た。

【0005】

ある建設機械は、動力を利用してブームとアームなどからなる腕機構を駆動し、腕機構に取り付けられたバケット等のアタッチメントを動かして所定の作業を行う。腕機構およびアタッチメント（以下、「作業部」という）の衝突を回避したり、作業部の位置等をフィードバックして作業部の動作を制御したりするために、ブーム、アーム、バケットなど作業部の各部分の間のリンク角や各シリンダのストローク長など作業部の各部分の立体的な位置（以下、「作業部の姿勢」または単に「姿勢」という）の情報を特定して用いることが考えられる。

【0006】

作業部の姿勢を特定するために、各部分を駆動する各シリンダにストロークセンサを設置し、そのセンサの検知結果から作業部の姿勢を算出して求めることが考えられる。この場合、各部分それぞれにストロークセンサを設け、そのストロークセンサと制御装置との間に配線を設けることになるので、構成が複雑化してコスト的に不利である。

【0007】

簡単な構成で作業部の姿勢を推定する観点からは、特許文献１に記載の建設機械は十分に対処されているとはいえない。このような課題は、建設機械に限らず他の種類の作業機械についても生じうる。

【0008】

本発明は、こうした課題に鑑みてなされたものであり、簡単な構成で作業部の姿勢を推定可能な作業機械の情報処理システムを提供することを目的の一つとしている。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある態様の情報処理システムは、作業機械の作業部の参照画像のデータと作業機械の作業部の姿勢のデータとを対応づけて記憶している記憶部と、参照画像のデータと比較するために作業機械の作業部の画像のデータを取得する取得部とを備える。

【0010】

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、簡単な構成で作業部の姿勢を推定可能な作業機械の情報処理システムを提供できる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態の情報処理システムを備えた作業機械を概略的に示す側面図である。

【図2】図１の情報処理システムを概略的に示すブロック図である。

【図3】図１の作業機械の作業部の姿勢を説明する説明図である。

【図4】図１の情報処理システムの学習データを示す図である。

【図5】図１の情報処理システムの姿勢推定処理を説明する説明図である。

【図6】図１の情報処理システムの動作を示すフローチャートである。

【図7】図１の情報処理システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0013】

本発明者らは、カメラの画像情報から作業部の姿勢を推定する方法を研究し、以下の知見を得た。建設機械において、作業部を撮像するカメラの画像情報から各部分のエッジを抽出し、そのエッジから各部分の相対角度を検出し、その相対角度から姿勢を特定する構成が考えられる。しかし、この構成では多段階の情報処理を逐次連続して実行するので、大量の情報処理をするために高価な高性能ＣＰＵを使用する必要がある。処理能力の低いＣＰＵを使用すると処理が追いつかず推定精度が低下し、衝突回避や動作制御が適切に機能しない。また、この情報処理には、建設機械の多様な形状ごとに、対応する情報処理プログラムを開発する必要があるため、開発工数が多く掛るという問題もある。

【0014】

このような背景から、本発明者らは、カメラの画像情報と、作業部の参照画像データおよび姿勢データのデータベースとを用いて、作業部の姿勢を推定する技術を開発した。この技術によれば、推定精度の低下を抑制しつつ、簡単な構成で姿勢を推定することができる。以下、その技術の一例を実施形態に基づいて説明する。

【0015】

以下、本発明を好適な実施形態をもとに各図面を参照しながら説明する。実施形態および変形例では、同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施形態を説明する上で重要ではない部材の一部は省略して表示する。

【0016】

また、第１、第２などの序数を含む用語は多様な構成要素を説明するために用いられるが、この用語は一つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。

【0017】

［第１実施形態］
図面を参照して、本発明の第１実施形態の作業機械の情報処理システム１０の構成について説明する。図１は、第１実施形態の情報処理システム１０を備えた作業機械１００を概略的に示す側面図である。図２は、情報処理システム１０を概略的に示すブロック図である。

【0018】

情報処理システム１０は、画像情報取得部１２と、環境情報取得部１４と、姿勢情報取得部１６と、制御部２０と、記憶部３０とを備える。情報処理システム１０は、機械学習時と、機械学習時でない通常の動作時（以下、「非学習動作時」という）とを有する。情報処理システム１０は、機械学習時に、作業機械１００の作業部４０の各部の学習画像情報と学習姿勢情報とに基づいて姿勢推定モデルを生成できる。情報処理システム１０は、非学習動作時に、リアルタイムな画像情報と姿勢推定モデルとに基づいて作業部４０の姿勢を推定できる。作業機械１００は、情報処理システム１０で推定した作業部４０の姿勢に基づいて、作業部４０の動作を制御することができる。

【0019】

画像情報取得部１２は、作業部４０の画像のデータを取得する。環境情報取得部１４は、作業機械１００の周囲環境に関する情報を取得する。姿勢情報取得部１６は、作業部４０の姿勢に関するデータ（以下、「姿勢のデータ」という）を取得する。制御部２０は、姿勢推定モデルの生成と、作業部４０の姿勢推定に関わる種々のデータ処理を実行する。記憶部３０は、制御部２０により参照または更新されるデータを記憶する。先に、作業機械１００の構成を説明し、その他の構成については後述する。

【0020】

本実施形態の作業機械１００は、バケット４６を移動させて作業を行う建設機械であり、いわゆるパワーショベルとして機能する。作業機械１００は、下部走行部３６と、上部車体部３４と、腕機構４８と、バケット４６とを有する。本実施形態において腕機構４８と、バケット４６とは作業部４０を構成する。下部走行部３６は、無限軌道などにより所定方向に走行可能に構成される。上部車体部３４は、下部走行部３６に搭載されている。上部車体部３４と作業部４０とは、旋回駆動部６０により下部走行部３６に対して旋回軸Ｌａまわりに旋回可能に構成される。旋回駆動部６０は、例えば、旋回モータ（不図示）と旋回ギア（不図示）とで構成できる。上部車体部３４には、操縦室３８が設けられる。

【0021】

操縦室３８には、作業部４０を操縦する操作部５４が設けられる。操作部５４から操作が入力されると、その操作に応じて複数の油圧バルブ５８が開閉する。油圧バルブ５８の開閉に応じて、油圧ポンプ（不図示）から供給される作動油が複数の油圧シリンダ５６に送出される。油圧シリンダ５６は、腕機構４８の基端側から先端側に順に配置される油圧シリンダ５６ａ、５６ｂ、５６ｃを含む。油圧シリンダ５６ａ、５６ｂ、５６ｃは、作動油の送出量に応じて伸縮する。

【0022】

腕機構４８の基端部は、一例として、上部車体部３４において操縦室３８の右側に設けられる。腕機構４８は、例えば、上部車体部３４から前方に延びるブーム４２とアーム４４とを含む。腕機構４８の先端側にはバケット４６が取り付けられる。このように、作業機械１００は、操縦者の操縦に応じて作業部４０の姿勢を変化させることによりバケット４６を駆動して目的の作業を行うことができる。また、作業機械１００は、上部車体部３４と作業部４０とを旋回することにより、バケット４６を三次元的に移動させることができる。

【0023】

図３は、作業部４０の姿勢を説明する説明図である。油圧シリンダ５６ａ、５６ｂ、５６ｃは、油圧に応じてその伸縮長Ｌ１、Ｌ２、Ｌ３を変えることができる。ブーム４２は、油圧シリンダ５６ａの伸縮により、上部車体部３４側の基端部を中心に先端部が上下に回動するように構成される。アーム４４は、油圧シリンダ５６ｂの伸縮により、ブーム４２側の基端部を中心に先端部が前後に回動するように構成される。バケット４６は、油圧シリンダ５６ｃの伸縮により、アーム４４側の基端部を中心に先端部が前後または上下に回動するように構成される。

【0024】

作業部４０は、油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３を変化させることにより、ブーム４２、アーム４４およびバケット４６を接続する関節部の屈曲角度θ１、θ２、θ３を変化させることができる。一例として、角度θ１は、ブーム４２の水平面に対する角度であり、角度θ２は、ブーム４２とアーム４４を接続する関節部の屈曲角度であり、角度θ３は、アーム４４とバケット４６を接続する関節部の屈曲角度である。

【0025】

作業部４０の姿勢は、ブーム４２、アーム４４およびバケット４６の位置および相対角度によって定義できる。ブーム４２、アーム４４およびバケット４６の形状が一定として、作業部４０の姿勢は、ブーム４２、アーム４４およびバケット４６の各部の大きさと、油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３または屈曲角度θ１、θ２、θ３に基づいて幾何学演算により特定できる。

【0026】

図２に戻る。図２で示す各ブロックは、ハードウェア的には、コンピュータのプロセッサ、ＣＰＵ、メモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

【0027】

画像情報取得部１２を説明する。本実施形態の画像情報取得部１２は、作業部４０を撮像する画像センサを有する。画像情報取得部１２は、後述する機械学習時には、作業部４０を撮像した撮像結果を画像のデータとして制御部２０に提供する。以下、機械学習時に取得する画像のデータを「参照画像のデータＧｓ」という。画像情報取得部１２は、非学習動作時にも、作業部４０を撮像した撮像結果を画像のデータとして制御部２０に提供する。以下、非学習動作時に取得する画像のデータを単に「画像のデータＧｊ」という。画像のデータＧｊはリアルタイムな画像のデータであってもよい。

【0028】

画像情報取得部１２は、作業部４０と一体的に旋回するように構成されている。具体的には、画像情報取得部１２は、操縦室３８の屋根上において作業部４０を撮像可能に配置されている。作業部４０が旋回するとき、画像情報取得部１２は作業部４０と一体的に移動するので、旋回しても作業部４０との相対的な位置関係は変化しない。

【0029】

姿勢情報取得部１６を説明する。本実施形態の油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３を取得するストロークセンサ１６ａ、１６ｂ、１６ｃを含む。姿勢情報取得部１６は、機械学習時に取付けられ、非学習動作時には取外される。姿勢情報取得部１６は、機械学習時に伸縮長Ｌ１、Ｌ２、Ｌ３のデータを制御部２０に提供する。

【0030】

環境情報取得部１４を説明する。画像のデータを取得する際に、天候などの周囲環境が異なると、画像の明るさや色温度も異なり、このことによって姿勢推定の誤差が増える要因になる。そこで、本実施形態では、環境情報取得部１４によって周囲環境に関する情報を取得し、その取得結果に応じて画像のデータを補正する。本実施形態の環境情報取得部１４は、周囲の明るさを取得する照度センサと色温度を取得する色温度センサとを含む。環境情報取得部１４は、取得結果を環境情報Ｍｐとして制御部２０に提供する。この例では、環境情報取得部１４は、操縦室３８の屋根上に配置されている。

【0031】

記憶部３０を説明する。記憶部３０は、モデル記憶部３２を含む。モデル記憶部３２は、参照画像のデータＧｓと姿勢のデータとをもとに公知の機械学習により生成されたモデルであって、作業部４０の姿勢を推定する姿勢推定モデルを記憶する。姿勢推定モデルは、入力および出力のデータ形式が予め定められた関数とも言える。実施形態の姿勢推定モデルには、画像のデータＧｊが入力される。また、実施形態の姿勢推定モデルは、その画像データに対応する推定姿勢に関する情報を出力する。なお、姿勢推定モデルの生成手法については後述する。

【0032】

制御部２０を説明する。制御部２０は、画像情報受付部２０ａと、姿勢情報受付部２０ｂと、モデル生成部２０ｄと、姿勢推定部２０ｅと、推定姿勢提示部２０ｆと、個体情報保持部２０ｈと、環境情報受付部２０ｇと、画像情報補正部２０ｊと、背景情報除去部２０ｋと、色情報除去部２０ｎと、を含む。これら複数の機能ブロックに対応する複数のモジュールが実装されたアプリケーションプログラムが、情報処理システム１０のストレージ（例えば記憶部３０）にインストールされてもよい。情報処理システム１０のプロセッサ（例えばＣＰＵ）は、そのアプリケーションプログラムをメインメモリに読み出して実行することにより各機能ブロックの機能を発揮してもよい。

【0033】

画像情報受付部２０ａは、画像情報取得部１２から作業部４０の撮像結果の入力を受付ける。特に、機械学習時には、画像情報受付部２０ａは、画像情報取得部１２から学習用の参照画像のデータＧｓを受信する。また、非学習動作時には、画像情報受付部２０ａは、画像情報取得部１２から画像のデータＧｊを受信する。

【0034】

姿勢情報受付部２０ｂは、姿勢情報取得部１６から作業部４０の姿勢情報の入力を受付ける。具体的には、姿勢情報受付部２０ｂは、機械学習時にストロークセンサ１６ａ、１６ｂ、１６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３のデータを受信する。伸縮長Ｌ１、Ｌ２、Ｌ３のデータを総称するときは姿勢のデータＫｓという。

【0035】

図４は、情報処理システム１０の学習データを示す図である。この図では、理解を容易にするために、画像情報取得部１２からの参照画像のデータＧｓを、姿勢のデータＫｓとともに平面上の図に置き換えて説明している。制御部２０は、機械学習時に、受信した参照画像のデータＧｓと姿勢のデータＫｓとを対応づけて記憶部３０に記憶させる。機械学習時には、制御部２０は、作業部４０の姿勢を可動範囲内で広く変化させ、その変化の都度、参照画像のデータＧｓと姿勢のデータＫｓとを対応づけて記憶部３０に記憶させる。記憶部３０に記憶された参照画像のデータＧｓと姿勢のデータＫｓとを学習データＳｄという。学習データＳｄは、作業部４０がとりうる姿勢を網羅することが望ましい。したがって、学習データＳｄは、図４に示すように、互いに対応づけされた参照画像のデータＧｓと姿勢のデータＫｓとを大量に含んでいる。

【0036】

モデル生成部２０ｄは、学習データＳｄの互いに対応づけされた参照画像のデータＧｓと姿勢のデータＫｓとを教師データとして用いて、姿勢推定モデルを生成する。本実施形態のモデル生成部２０ｄは、参照画像のデータＧｓと姿勢のデータＫｓとを教師データとして機械学習（教師有り学習）により姿勢推定モデルを生成する。モデル生成部２０ｄは、サポートベクターマシン、ニューラルネットワーク（ディープラーニングを含む）、ランダムフォレスト等、公知の機械学習手法を用いて姿勢推定モデルを生成してもよい。モデル生成部２０ｄは、生成した姿勢推定モデルをモデル記憶部３２に格納する。

【0037】

姿勢推定部２０ｅは、非学習動作時において、画像のデータＧｊと記憶部３０の記憶情報とに基づいて作業部４０の姿勢を推定する。一例として、姿勢推定部２０ｅは、画像のデータＧｊと学習データＳｄの参照画像のデータＧｓとを比較して、その類似度合いが最も高い参照画像のデータＧｓに対応づけられた姿勢のデータＫｓを推定結果としてもよい。この場合、多数の参照画像のデータＧｓが参照されるため、結果を得るのに時間がかかる可能性がある。そこで、本実施形態の姿勢推定部２０ｅは、モデル生成部２０ｄで生成された姿勢推定モデルを用いて、画像のデータＧｊから推定姿勢を導出する。

【0038】

図５は、モデル生成部２０ｄで生成された姿勢推定モデルにおける姿勢推定処理を説明する説明図である。この姿勢推定モデルは、画像のデータＧｊが入力されると、その画像データに対応する推定姿勢情報Ｋｅを出力する。本実施形態の推定姿勢情報Ｋｅは、作業部４０のブーム４２、アーム４４およびバケット４６の各関節の屈曲角度θ１、θ２、θ３を含んでいる。

【0039】

推定姿勢提示部２０ｆは、姿勢推定部２０ｅにより推定された推定姿勢情報Ｋｅを情報処理システム１０の外部に送信する。本実施形態では、推定姿勢提示部２０ｆは、推定姿勢情報Ｋｅを作業機械制御部６２に送信する。作業機械制御部６２は、作業機械１００の動作を制御する。例えば、作業機械制御部６２は、油圧バルブ５８の開閉を制御して油圧シリンダ５６ａ、５６ｂ、５６ｃを伸縮させることにより、ブーム４２、アーム４４およびバケット４６の動作を制御する。

【0040】

本実施形態の画像情報補正部２０ｊは、画像のデータＧｊを取得する際の周囲環境に関する情報、作業機械の経年数または作業機械の個体差に応じて画像のデータＧｊを補正する。また、環境情報受付部２０ｇと、個体情報保持部２０ｈとは画像情報補正部２０ｊに補正情報を提供する。

【0041】

環境情報受付部２０ｇは、環境情報取得部１４から取得結果の入力を受付ける。特に、環境情報受付部２０ｇは、環境情報取得部１４から環境情報Ｍｐを受信する。画像情報補正部２０ｊは、環境情報Ｍｐに基づいて画像のデータＧｊの明るさや色温度を補正する。画像情報補正部２０ｊは、画像のデータＧｊの明るさを、参照画像のデータＧｓの明るさと同じになるように補正する。画像情報補正部２０ｊは、画像のデータＧｊの色温度を、参照画像のデータＧｓの色温度と同じになるように補正する。この構成により、周囲環境に起因する推定誤差を低減できる。

【0042】

個々の作業機械１００によって作業部４０の外観は個体差を有する。この個体差は姿勢推定における誤差要因となる可能性がある。このため、本実施形態の個体情報保持部２０ｈは、各個体の個体情報Ｍｅを保持する。個体情報Ｍｅは、作業機械１００の経年数、作業部４０の傷、付着物、変形などによる外観の個体差に関する情報を含んでいる。画像情報補正部２０ｊは、個体情報Ｍｅに応じて画像のデータＧｊを補正する。この構成により、個体差に起因する推定誤差を低減できる。

【0043】

画像のデータＧｊは、作業機械１００が稼働する現場ごとに異なる背景画像を含んでいる。このため、画像のデータＧｊに含まれる背景画像が姿勢推定における誤差要因となる可能性がある。このため、本実施形態の背景情報除去部２０ｋは、画像のデータＧｊから、背景画像に関する情報を除去する。この構成により、背景画像に起因する推定誤差を低減できる。

【0044】

参照画像のデータＧｓと画像のデータＧｊとをフルカラーの画像データとして記憶して処理をすると、取り扱うデータ量が大きくなり、処理速度や記憶容量の点で不利となる。このため、本実施形態の色情報除去部２０ｎは、参照画像のデータＧｓおよび画像のデータＧｊから色情報を除去してグレースケールの画像データとする。この構成により、取り扱うデータ量が小さくなり、処理速度や記憶容量の点で有利になる。

【0045】

以上のように構成された情報処理システム１０の動作を説明する。図６は、情報処理システム１０の動作を示すフローチャートである。この図は、機械学習時に機械学習によって姿勢推定モデルを生成する動作Ｓ７０を示している。動作Ｓ７０は、事前に作業機械１００に姿勢情報取得部１６が取付けられ、管理者によりモデル作成の指示が入力されたタイミングで開始される。

【0046】

モデル生成タイミングに至ったら（ステップＳ７１のＹ）、情報処理システム１０の制御部２０は、画像情報取得部１２および姿勢情報取得部１６から参照画像のデータＧｓと姿勢のデータＫｓとを受信する（ステップＳ７２）。このステップでは、制御部２０は、作業部４０の姿勢を可動範囲内で広く変化させ、その変化の都度、参照画像のデータＧｓと姿勢のデータＫｓとを受信して記憶部３０に記憶させる。

【0047】

背景情報除去部２０ｋは、参照画像のデータＧｓから、背景画像に関する情報を除去する（ステップＳ７３）。色情報除去部２０ｎは、参照画像のデータＧｓから色情報を除去する（ステップＳ７４）。背景画像の除去、色情報の除去は、受信した参照画像のデータＧｓに対してその都度実行されてもよいし、記憶部３０に記憶された参照画像のデータＧｓに対して実行されてもよい。

【0048】

モデル生成部２０ｄは、背景画像と色情報が除去された参照画像のデータＧｓと姿勢のデータＫｓをもとに機械学習により姿勢推定モデルを生成し、モデル記憶部３２に格納する（ステップＳ７５）。姿勢推定モデルが格納されたら動作Ｓ７０は終了する。動作Ｓ７０の終了後、作業機械１００から姿勢情報取得部１６が取り外されてもよい。

【0049】

モデル生成タイミングに至らなければ（ステップＳ７１のＮ）、Ｓ７２～Ｓ７５をスキップする。この動作Ｓ７０は、あくまでも一例であって、ステップの順序を入れ替えたり、一部のステップを追加・削除・変更したりしてもよい。

【0050】

図７も、情報処理システム１０の動作を示すフローチャートである。この図は、姿勢推定モデルを用いて画像のデータＧｊをもとに作業部４０の姿勢を推定する動作Ｓ８０を示している。動作Ｓ８０は、非学習動作時に管理者により姿勢推定の指示が入力されたタイミングで開始される。

【0051】

姿勢推定のタイミングに至ったら（ステップＳ８１のＹ）、情報処理システム１０の制御部２０は、画像情報取得部１２から画像のデータＧｊを受信する（ステップＳ８２）。このステップで、受信した画像のデータＧｊは記憶部３０に記憶される。

【0052】

背景情報除去部２０ｋは、画像のデータＧｊから、背景画像に関する情報を除去する（ステップＳ８３）。色情報除去部２０ｎは、画像のデータＧｊから色情報を除去する（ステップＳ８４）。

【0053】

画像情報補正部２０ｊは、個体情報保持部２０ｈに保持された個体情報Ｍｅに応じて画像のデータＧｊを補正する（ステップＳ８５）。背景画像の除去、色情報の除去および画像の補正は、記憶部３０に記憶された画像のデータＧｊに対して実行される。

【0054】

姿勢推定部２０ｅは、背景画像の除去、色情報の除去および画像の補正がなされた画像のデータＧｊをもとに、姿勢推定モデルに基づき作業部４０の姿勢を推定する（ステップＳ８６）。このステップで、姿勢推定モデルから推定姿勢情報Ｋｅが出力される。

【0055】

推定姿勢提示部２０ｆは、姿勢推定モデルから出力された推定姿勢情報Ｋｅを情報処理システム１０の外部に送信する（ステップＳ８７）。例えば、推定姿勢提示部２０ｆは、推定姿勢情報Ｋｅを作業機械制御部６２に送信する。推定姿勢情報Ｋｅが送信されたら動作Ｓ８０は終了する。動作Ｓ８０は、姿勢推定の指示が無くなるまで、繰り返し実行される。

【0056】

姿勢推定のタイミングに至らなければ（ステップＳ８１のＮ）、Ｓ８２～Ｓ８７をスキップする。この動作Ｓ８０は、あくまでも一例であって、ステップの順序を入れ替えたり、一部のステップを追加・削除・変更したりしてもよい。

【0057】

以上のように構成された本実施形態の情報処理システム１０の特徴を説明する。この情報処理システム１０は、作業機械１００の作業部４０の参照画像のデータＧｓと作業機械１００の作業部４０の姿勢のデータＫｓとを対応づけて記憶している記憶部３０と、参照画像のデータＧｓと比較するために作業機械１００の作業部４０の画像のデータＧｊを取得する画像情報取得部１２とを備える。この構成によれば、画像情報取得部１２で取得した画像のデータＧｊと参照画像のデータＧｓと姿勢のデータＫｓとから、作業部４０の姿勢を推定できる。

【0058】

画像情報取得部１２は、作業機械１００の作業部４０と一体的に旋回するように構成されてもよい。この場合、作業機械１００の作業部４０の動作を容易に特定できる。

【0059】

情報処理システム１０は、画像のデータＧｊと記憶部３０の記憶情報とに基づいて作業部４０の姿勢を推定する姿勢推定部２０ｅを有してもよい。この場合、画像のデータＧｊから作業部４０の姿勢を推定できる。

【0060】

記憶部３０は、参照画像のデータＧｓおよび姿勢のデータＫｓをもとに機械学習により生成された姿勢推定モデルを記憶してもよい。この場合、機械学習により姿勢推定モデルを生成できる。

【0061】

情報処理システム１０は、画像のデータＧｊを取得する際の周囲環境に関する情報、作業機械１００の経年数、または作業機械１００の個体差の少なくともいずれか１つに応じて画像のデータＧｊを補正する画像情報補正部２０ｊを有してもよい。この場合、画像のデータＧｊを補正して姿勢の推定精度を改善できる。

【0062】

姿勢推定部２０ｅは、画像のデータＧｊを取得する際の周囲環境に関する情報、作業機械の経年数、または作業機械の個体差の少なくともいずれか１つに応じて作業部４０の姿勢を推定してもよい。この場合、画像のデータＧｊを補正して姿勢の推定精度を改善できる。

【0063】

情報処理システム１０は、参照画像のデータＧｓの色情報を圧縮または除去する色情報除去部２０ｎを有してもよい。この場合、記憶部３０の記憶容量および処理速度の点で有利になる。

【0064】

情報処理システム１０は、参照画像のデータＧｓの背景画像を除去する背景情報除去部２０ｋを有してもよい。この場合、背景画像に起因する推定精度の低下を抑制できる。

【0065】

次に、本発明の第２～第４実施形態を説明する。第２～第４実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

【0066】

［第２実施形態］
本発明の第２実施形態は、作業機械の情報処理方法である。この情報処理方法は、作業機械１００の作業部４０の参照画像のデータＧｓと作業機械１００の作業部４０の姿勢のデータＫｓとを対応づけて記憶部３０に記憶するステップ（Ｓ７２～Ｓ７５）と、参照画像のデータＧｓと比較するために作業部４０の画像のデータＧｊを取得するステップ（Ｓ８２）と、画像のデータＧｊと記憶部３０の記憶情報とに基づいて作業機械１００の作業部４０の姿勢を推定するステップ（Ｓ８６）とを含む。

【0067】

上述の推定するステップ（Ｓ８６）は、参照画像のデータＧｓと姿勢のデータＫｓとをもとに機械学習により生成された姿勢推定モデルを参照するステップを含んでもよい。第２実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

【0068】

［第３実施形態］
本発明の第３実施形態は、建設機械１０００である。この建設機械１０００は、作業部４０と、作業部４０の参照画像のデータＧｓと作業機械１００の作業部４０の姿勢のデータＫｓとを対応づけて記憶している記憶部３０と、参照画像のデータＧｓと比較するために作業部４０の画像のデータＧｊを取得する画像情報取得部１２と、画像のデータＧｊと記憶部３０の記憶情報とに基づいて作業機械１００の作業部４０の姿勢を推定する姿勢推定部２０ｅとを備える。

【0069】

建設機械１０００は、例えば腕機構４８に取り付けられたバケット４６を移動させて建設作業を行う機械であってもよい。建設機械１０００の腕機構４８には、バケットの代わりにフォーク、ハンマー、クラッシャー等の多様なアタッチメントが取り付けられてもよい。第３実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

【0070】

［第４実施形態］
本発明の第４実施形態は、コンピュータプログラムＰ１００である。このコンピュータプログラムＰ１００は、作業機械１００の作業部４０の参照画像のデータＧｓと作業機械１００の作業部４０の姿勢のデータＫｓとを対応づけて記憶部３０に記憶する機能と、参照画像のデータＧｓと比較するために作業機械１００の作業部４０の画像のデータＧｊを取得する機能と、画像のデータＧｊと記憶部の記憶情報とに基づいて作業機械１００の作業部４０の姿勢を推定する機能とをコンピュータに実現させる。

【0071】

コンピュータプログラムＰ１００は、これらの機能を制御部２０の機能ブロックに対応する複数のモジュールが実装されたアプリケーションプログラムとして、情報処理システム１０のストレージ（例えば記憶部３０）にインストールされてもよい。コンピュータプログラムＰ１００は、情報処理システム１０のプロセッサ（例えばＣＰＵ）のメインメモリに読み出しされて実行されてもよい。第４実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

【0072】

以上、本発明の実施形態の例について詳細に説明した。上述した実施形態は、いずれも本発明を実施するにあたっての具体例を示したものにすぎない。実施形態の内容は、本発明の技術的範囲を限定するものではなく、請求の範囲に規定された発明の思想を逸脱しない範囲において、構成要素の変更、追加、削除などの多くの設計変更が可能である。上述の実施形態では、このような設計変更が可能な内容に関して、「実施形態の」「実施形態では」等との表記を付して説明しているが、そのような表記のない内容に設計変更が許容されないわけではない。

【0073】

［変形例］
以下、変形例について説明する。変形例の図面および説明では、実施形態と同一または同等の構成要素、部材には、同一の符号を付する。実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

【0074】

第１実施形態では、姿勢推定モデルは、個々の作業機械１００で生成されてその作業機械１００のモデル記憶部３２に記憶される例を示したが、本発明はこれに限定されない。姿勢推定モデルは、基準となる作業機械により生成されて、個々の作業機械１００のモデル記憶部３２に予め格納されてもよい。また、姿勢推定モデルは、適宜のタイミングに更新されてもよい。

【0075】

第１実施形態では、色情報除去部２０ｎが参照画像のデータＧｓおよび画像のデータＧｊから色情報を完全に除去する例を示したが、本発明はこれに限定されない。色情報除去部２０ｎは、減色などにより、参照画像のデータＧｓおよび画像のデータＧｊの色情報を圧縮するものであってもよい。

【0076】

第１実施形態の説明では、画像情報取得部１２が１つの画像センサで構成される例を示したが、本発明はこれに限定されない。画像情報取得部１２は、複数の画像センサで構成されてもよい。例えば、画像情報取得部１２は、いわゆるステレオカメラを含んでもよい。

【0077】

第１実施形態の説明では、画像情報取得部１２が操縦室３８の屋根に設けられる例を示したが、本発明はこれに限定されない。例えば、画像情報取得部１２は、操縦室３８の側面や上部車体部３４のカバー上に配置されてもよい。また、画像情報取得部１２は、作業部４０に上に配置されてもよい。

【0078】

第１実施形態の説明では、作業機械１００がバケット４６を移動させて建設作業を行う建設機械である例を示したが、本発明はこれに限定されず、建設機械以外の作業機械にも適用できる。

【0079】

第１実施形態の説明では、腕機構４８が操縦室３８の右側に設けられる例を示したが、本発明はこれに限定されない。例えば、腕機構は、操縦室の左側や操縦室の前方に設けられてもよい。

【0080】

第１実施形態の説明では、作業機械１００が操縦室３８から操縦者によって操縦される例を示したが、本発明はこれに限定されない。例えば、作業機械は、自動操縦や遠隔操縦されるものであってもよい。

【0081】

上述の変形例は、第１実施形態と同様の作用・効果を奏する。

【0082】

上述した実施形態と変形例の任意の組み合わせもまた本発明の実施形態として有用である。組み合わせによって生じる新たな実施形態は、組み合わされる実施形態および変形例それぞれの効果をあわせもつ。

【符号の説明】

【0083】

１０・・・情報処理システム、２０ｄ・・・モデル生成部、２０ｅ・・・姿勢推定部、２０ｋ・・・背景情報除去部、２０ｎ・・・色情報除去部、３０・・・記憶部、３２・・・モデル記憶部、４０・・・作業部、４２・・・ブーム、４４・・・アーム、４６・・・バケット、１００・・・作業機械、１０００・・・建設機械。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】