特許 7282002 情報処理装置、情報処理システム、情報処理方法、コンピュータプログラム、建設機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-18

(45)【発行日】2023-05-26

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、コンピュータプログラム、建設機械

(51)【国際特許分類】

   E02F 9/26 20060101AFI20230519BHJP

【ＦＩ】

E02F9/26 A

【請求項の数】 14

(21)【出願番号】P 2019164810

(22)【出願日】2019-09-10

(65)【公開番号】P2021042569

(43)【公開日】2021-03-18

【審査請求日】2022-08-12

(73)【特許権者】

【識別番号】503405689

【氏名又は名称】ナブテスコ株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】西田 裕平

(72)【発明者】

【氏名】志垣 富雄

(72)【発明者】

【氏名】大前 謙

【審査官】石川 信也

(56)【参考文献】

【文献】特開２０１７－０５３６２７（ＪＰ，Ａ）

【文献】実開昭６２－０６７２０８（ＪＰ，Ｕ）

【文献】特開２００８－２４０３６１（ＪＰ，Ａ）

【文献】特開２０１８－１８８９５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２６

Ｅ０２Ｆ ９／２４

Ｇ０１Ｂ １１／２６

(57)【特許請求の範囲】

【請求項1】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて生成された対応情報を記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記対応情報と前記画像のデータとに基づいて前記作業機械の作業部の速度に関する速度情報を生成する速度推定部と
を備える情報処理装置。

【請求項2】

前記取得部は前記作業機械の作業部と一体的に旋回するように構成される請求項１に記載の情報処理装置。

【請求項3】

前記画像のデータと前記対応情報とに基づいて前記作業機械の作業部の姿勢を推定する推定部を有する請求項１または２に記載の情報処理装置。

【請求項4】

前記記憶部は前記参照画像のデータおよび前記姿勢のデータをもとに機械学習により生成された姿勢推定モデルを記憶する請求項１から３のいずれかに記載の情報処理装置。

【請求項5】

前記速度推定部は時間差を有する複数のタイミングに前記取得部で取得された複数の画像のデータと前記時間差とに基づいて前記速度情報を生成する請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記速度推定部で生成された複数の速度情報と前記時間差とに基づいて前記作業機械の作業部の加速度に関する加速度情報を生成する加速度推定部をさらに備える請求項５に記載の情報処理装置。

【請求項7】

前記取得部で取得された前記画像のデータと前記作業機械の作業部の動作を制御するための制御信号とに基づいて前記作業機械の作業部の動作異常を判定する異常判定部をさらに備える請求項１から６のいずれかに記載の情報処理装置。

【請求項8】

前記取得部で取得された前記画像のデータと正常な状態における前記作業機械の作業部の画像のデータとに基づいて前記作業機械の作業部の外観異常を判定する外観判定部をさらに備える請求項１から７のいずれかに記載の情報処理装置。

【請求項9】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータをもとに機械学習により生成された姿勢推定モデルを記憶している記憶部と、
前記作業機械の作業部と一体的に旋回するように構成され前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記取得部で取得された前記画像のデータに基づいて前記姿勢推定モデルを参照して前記作業機械の作業部の姿勢を推定する姿勢推定部と、
前記姿勢推定部で推定された前記作業機械の作業部の姿勢に関する推定姿勢情報をもとに前記作業機械の作業部の所定の部位の位置を推定する位置推定部と、
前記位置推定部で推定された前記所定の部位の位置に関する位置情報をもとに前記作業機械の作業部の速度に関する速度情報を生成する速度推定部と
を備える情報処理装置。

【請求項10】

作業機械の作業部の画像のデータを取得して送信する情報処理装置と、
前記情報処理装置から受信した前記画像のデータと前記作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて予め生成された対応情報とに基づいて前記作業機械の作業部の速度に関する速度情報を推定し当該速度情報を前記情報処理装置に送信するネットワークサーバと
を備える情報処理システム。

【請求項11】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて生成された対応情報を記憶するステップと、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得するステップと、
時間差を有する複数のタイミングに取得された複数の画像のデータと前記時間差と前記対応情報とに基づいて速度情報を生成するステップと
を含む情報処理方法。

【請求項12】

前記速度情報を生成するステップは前記参照画像のデータと前記姿勢のデータとをもとに機械学習により生成された姿勢推定モデルを参照するステップを含む
請求項１１に記載の情報処理方法。

【請求項13】

作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて生成された対応情報を記憶する機能と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する機能と、
時間差を有する複数のタイミングに取得された複数の画像のデータと前記時間差と前記対応情報とに基づいて前記作業機械の作業部の速度情報を生成する機能と
をコンピュータに実現させるためのコンピュータプログラム。

【請求項14】

作業機械の作業部と、
前記作業機械の作業部の参照画像のデータと前記作業機械の作業部の姿勢のデータとを対応づけて生成された対応情報を記憶している記憶部と、
前記参照画像のデータと比較するために前記作業機械の作業部の画像のデータを取得する取得部と、
前記取得部で取得された前記画像のデータと前記対応情報とに基づいて前記作業機械の作業部の速度に関する速度情報を生成する速度推定部と
を備える建設機械。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法、コンピュータプログラムおよび建設機械に関する。

【背景技術】

【0002】

作業装置を撮像するカメラを備えた建設機械が知られている。例えば、特許文献１には、旋回体に設置されて作業装置を撮像するカメラと、相対角度を検出する角度検出部と、姿勢を特定する姿勢特定部とを備えた建設機械が記載されている。この建設機械は、カメラの画像に基づいて抽出した各リンクのエッジからリンク同士の相対角度を検出し、その相対角度に基づいて、旋回体に対する作業装置の姿勢を特定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０５３６２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者らは、油圧等の動力で駆動されるブーム・アームとアタッチメントとを備える建設機械について、以下の認識を得た。

【0005】

ある建設機械は、動力を利用してブームとアームなどからなる腕機構を駆動し、腕機構に取り付けられたバケット等のアタッチメントを動かして所定の施工を行う。例えば、地面を施工する際には、設計図に従って正確な施工を短時間で効率よく行うことが望ましい。しかし、アタッチメントを移動させるとき、その移動速度が速すぎると、オーバーシュートが大きくなり、位置決め精度が低下する。逆に、移動速度が遅すぎると移動時間が長くなり作業効率が低下する。このため、アタッチメントの移動精度を向上させる観点から、アタッチメントの移動速度を検知して精密な機体制御を行う必要がある。

【0006】

移動速度を検知するために、腕機構およびアタッチメントの各部に位置センサを設け、その検知結果の時間当りの変化から速度を推定することが考えられる。しかし、この構成では、センサとその配線を設けるために構成が複雑になる。また、センサや配線のコストが余計にかかるためコスト的にも不利である。移動速度を検知する観点からは、特許文献１に記載の建設機械は、この課題に十分に対処しているとはいえない。このような課題は、上述の建設機械に限らず他の種類の作業機械についても生じうる。

【0007】

本発明は、こうした課題に鑑みてなされたものであり、簡単な構成で作業部の移動速度を推定可能な作業機械の情報処理装置を提供することを目的の一つとしている。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある態様の情報処理装置は、作業機械の作業部の参照画像のデータと作業機械の作業部の姿勢のデータとを対応づけて生成された対応情報を記憶している記憶部と、参照画像のデータと比較するために作業機械の作業部の画像のデータを取得する取得部と、取得部で取得された画像のデータと対応情報とに基づいて作業機械の作業部の速度に関する速度情報を生成する速度推定部とを備える。

【0009】

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、簡単な構成で作業部の移動速度を推定可能な作業機械の情報処理装置を提供できる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の情報処理装置を備えた作業機械を概略的に示す側面図である。

【図2】図１の情報処理装置を概略的に示すブロック図である。

【図3】図１の作業機械の作業部の姿勢を説明する説明図である。

【図4】図１の情報処理装置の学習データを示す図である。

【図5】図１の情報処理装置の姿勢推定処理を説明する説明図である。

【図6】図１の情報処理装置の速度推定処理および加速度推定処理を説明する説明図である。

【図7】図１の情報処理装置の姿勢情報と速度情報と加速度情報の一例を示す図である。

【図8】図１の情報処理装置の異常検知部を概略的に示すブロック図である。

【図9】図１の情報処理装置の外観検知部を概略的に示すブロック図である。

【図10】図１の情報処理装置の動作を示すフローチャートである。

【図11】図１の情報処理装置の動作を示すフローチャートである。

【図12】図１の情報処理装置の動作を示すフローチャートである。

【図13】図１の情報処理装置の動作を示すフローチャートである。

【図14】第５実施形態の情報処理システムを使用した作業機械を概略的に示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明を好適な実施形態をもとに各図面を参照しながら説明する。実施形態および変形例では、同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施形態を説明する上で重要ではない部材の一部は省略して表示する。

【0013】

また、第１、第２などの序数を含む用語は多様な構成要素を説明するために用いられるが、この用語は一つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。

【0014】

［第１実施形態］
図面を参照して、本発明の第１実施形態の作業機械の情報処理装置１０の構成について説明する。図１は、第１実施形態の情報処理装置１０を備えた作業機械１００を概略的に示す側面図である。図２は、情報処理装置１０を概略的に示すブロック図である。

【0015】

情報処理装置１０は、画像情報取得部１２と、環境情報取得部１４と、姿勢情報取得部１６と、制御部２０と、記憶部３０とを備える。情報処理装置１０は、機械学習時と、機械学習時でない通常の動作時（以下、「非学習動作時」という）とを有する。情報処理装置１０は、機械学習時に、作業機械１００の作業部４０の各部の学習画像情報と学習姿勢情報とに基づいて姿勢推定モデルを生成できる。この姿勢推定モデルは、対応情報を例示している。情報処理装置１０は、非学習動作時に、リアルタイムな画像情報と姿勢推定モデルとに基づいて作業部４０の姿勢を推定できる。作業機械１００は、情報処理装置１０で推定した作業部４０の姿勢に基づいて、作業部４０の動作を制御することができる。

【0016】

画像情報取得部１２は、作業部４０の画像のデータを取得する。環境情報取得部１４は、作業機械１００の周囲環境に関する情報を取得する。姿勢情報取得部１６は、作業部４０の姿勢に関するデータ（以下、「姿勢のデータ」という）を取得する。制御部２０は、姿勢推定モデルの生成と、作業部４０の姿勢推定に関わる種々のデータ処理を実行する。記憶部３０は、制御部２０により参照または更新されるデータを記憶する。先に、作業機械１００の構成を説明し、その他の構成については後述する。

【0017】

本実施形態の作業機械１００は、バケット４６を移動させて作業を行う建設機械であり、いわゆるパワーショベルとして機能する。作業機械１００は、下部走行部３６と、上部車体部３４と、腕機構４８と、バケット４６とを有する。本実施形態において腕機構４８と、バケット４６とは作業部４０を構成する。下部走行部３６は、無限軌道などにより所定方向に走行可能に構成される。上部車体部３４は、下部走行部３６に搭載されている。上部車体部３４と作業部４０とは、旋回駆動部６０により下部走行部３６に対して旋回軸Ｌａまわりに旋回可能に構成される。旋回駆動部６０は、例えば、旋回モータ（不図示）と旋回ギア（不図示）とで構成できる。上部車体部３４には、操縦室３８が設けられる。

【0018】

操縦室３８には、作業部４０を操縦する操作部５４が設けられる。操作部５４から操作が入力されると、その操作に応じて複数の油圧バルブ５８が開閉する。油圧バルブ５８の開閉に応じて、油圧ポンプ（不図示）から供給される作動油が複数の油圧シリンダ５６に送出される。油圧シリンダ５６は、腕機構４８の基端側から先端側に順に配置される油圧シリンダ５６ａ、５６ｂ、５６ｃを含む。油圧シリンダ５６ａ、５６ｂ、５６ｃは、作動油の送出量に応じて伸縮する。操縦室３８には、後述する異常検知部や外観検知部からの情報などが表示される表示部３８ｄが設けられる。

【0019】

また、本実施形態の作業機械１００は、上位の制御システムからの指令に基づき作業部４０の動作を制御する作業機械制御部６２を有する。作業機械制御部６２については後述する。

【0020】

腕機構４８の基端部は、一例として、上部車体部３４において操縦室３８の右側に設けられる。腕機構４８は、例えば、上部車体部３４から前方に延びるブーム４２とアーム４４とを含む。腕機構４８の先端側にはバケット４６が取り付けられる。このように、作業機械１００は、操縦者の操縦に応じて作業部４０の姿勢を変化させることによりバケット４６を駆動して目的の作業を行うことができる。また、作業機械１００は、上部車体部３４と作業部４０とを旋回させることにより、バケット４６を三次元的に移動させることができる。

【0021】

図３は、作業部４０の姿勢を説明する説明図である。油圧シリンダ５６ａ、５６ｂ、５６ｃは、油圧に応じてその伸縮長Ｌ１、Ｌ２、Ｌ３を変えることができる。ブーム４２は、油圧シリンダ５６ａの伸縮により、上部車体部３４側の基端部を中心に先端部が上下に回動するように構成される。アーム４４は、油圧シリンダ５６ｂの伸縮により、ブーム４２側の基端部を中心に先端部が前後に回動するように構成される。バケット４６は、油圧シリンダ５６ｃの伸縮により、アーム４４側の基端部を中心に先端部が前後または上下に回動するように構成される。

【0022】

作業部４０は、油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３を変化させることにより、ブーム４２、アーム４４およびバケット４６を接続する関節部の屈曲角度θ１、θ２、θ３を変化させることができる。一例として、角度θ１は、ブーム４２の水平面に対する角度であり、角度θ２は、ブーム４２とアーム４４を接続する関節部の屈曲角度であり、角度θ３は、アーム４４とバケット４６を接続する関節部の屈曲角度である。

【0023】

作業部４０の姿勢は、ブーム４２、アーム４４およびバケット４６の位置および相対角度によって定義できる。ブーム４２、アーム４４およびバケット４６の形状が一定として、作業部４０の姿勢は、ブーム４２、アーム４４およびバケット４６の各部の大きさと、油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３または屈曲角度θ１、θ２、θ３に基づいて幾何学演算により特定できる。

【0024】

図２に戻る。図２で示す各ブロックは、ハードウェア的には、コンピュータのプロセッサ、ＣＰＵ、メモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

【0025】

画像情報取得部１２を説明する。本実施形態の画像情報取得部１２は、作業部４０を撮像する画像センサを有する。画像情報取得部１２は、後述する機械学習時には、作業部４０を撮像した撮像結果を画像のデータとして制御部２０に提供する。以下、機械学習時に取得する画像のデータを「参照画像のデータＧｓ」という。画像情報取得部１２は、非学習動作時にも、作業部４０を撮像した撮像結果を画像のデータとして制御部２０に提供する。以下、非学習動作時に取得する画像のデータを単に「画像のデータＧｊ」という。画像のデータＧｊはリアルタイムな画像のデータであってもよい。

【0026】

画像情報取得部１２は、作業部４０と一体的に旋回するように構成されている。具体的には、画像情報取得部１２は、操縦室３８の屋根上において作業部４０を撮像可能に配置されている。作業部４０が旋回するとき、画像情報取得部１２は作業部４０と一体的に移動するので、旋回しても作業部４０との相対的な位置関係は変化しない。

【0027】

姿勢情報取得部１６を説明する。本実施形態の姿勢情報取得部１６は、油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３を取得するストロークセンサ１６ａ、１６ｂ、１６ｃを含む。姿勢情報取得部１６は、機械学習時に取付けられ、非学習動作時には取外される。姿勢情報取得部１６は、機械学習時に伸縮長Ｌ１、Ｌ２、Ｌ３のデータを制御部２０に提供する。

【0028】

環境情報取得部１４を説明する。画像のデータを取得する際に、天候などの周囲環境が異なると、画像の明るさや色温度も異なり、このことによって姿勢推定の誤差が増える要因になる。そこで、本実施形態では、環境情報取得部１４によって周囲環境に関する情報を取得し、その取得結果に応じて画像のデータを補正する。本実施形態の環境情報取得部１４は、周囲の明るさを取得する照度センサと色温度を取得する色温度センサとを含む。環境情報取得部１４は、取得結果を環境情報Ｍｐとして制御部２０に提供する。この例では、環境情報取得部１４は、操縦室３８の屋根上に配置されている。

【0029】

記憶部３０を説明する。記憶部３０は、モデル記憶部３２を含む。モデル記憶部３２は、参照画像のデータＧｓと姿勢のデータとをもとに公知の機械学習により生成されたモデルであって、作業部４０の姿勢を推定する姿勢推定モデルを記憶する。姿勢推定モデルは、入力および出力のデータ形式が予め定められた関数とも言える。実施形態の姿勢推定モデルには、画像のデータＧｊが入力される。また、実施形態の姿勢推定モデルは、その画像データに対応する推定姿勢に関する情報を出力する。なお、姿勢推定モデルの生成手法については後述する。

【0030】

制御部２０を説明する。制御部２０は、モデル生成部２２と、画像情報受付部２０ａと、姿勢情報受付部２０ｂと、姿勢推定部２０ｃと、位置推定部２０ｄと、速度推定部２０ｅと、加速度推定部２０ｆと、個体情報保持部２０ｈと、環境情報受付部２０ｇと、画像情報補正部２０ｊと、背景情報除去部２０ｋと、色情報除去部２０ｍとを含む。また、制御部２０は、異常検知部２４と、外観検知部２６とを含む。これら複数の機能ブロックに対応する複数のモジュールが実装されたアプリケーションプログラムが、情報処理装置１０のストレージ（例えば記憶部３０）にインストールされてもよい。情報処理装置１０のプロセッサ（例えばＣＰＵ）は、そのアプリケーションプログラムをメインメモリに読み出して実行することにより各機能ブロックの機能を発揮してもよい。

【0031】

まず、モデル生成部２２、画像情報受付部２０ａ、姿勢情報受付部２０ｂおよび姿勢推定部２０ｃを説明する。画像情報受付部２０ａは、画像情報取得部１２から作業部４０の撮像結果の入力を受付ける。特に、機械学習時には、画像情報受付部２０ａは、画像情報取得部１２から学習用の参照画像のデータＧｓを受信する。また、非学習動作時には、画像情報受付部２０ａは、画像情報取得部１２から画像のデータＧｊを受信する。

【0032】

姿勢情報受付部２０ｂは、姿勢情報取得部１６から作業部４０の姿勢情報の入力を受付ける。具体的には、姿勢情報受付部２０ｂは、機械学習時にストロークセンサ１６ａ、１６ｂ、１６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３のデータを受信する。伸縮長Ｌ１、Ｌ２、Ｌ３のデータを総称するときは姿勢のデータＫｓという。

【0033】

図４は、情報処理装置１０の学習データを示す図である。この図では、理解を容易にするために、画像情報取得部１２からの参照画像のデータＧｓを、姿勢のデータＫｓとともに平面上の図に置き換えて説明している。制御部２０は、機械学習時に、受信した参照画像のデータＧｓと姿勢のデータＫｓとを対応づけて記憶部３０に記憶させる。機械学習時には、制御部２０は、作業部４０の姿勢を可動範囲内で広く変化させ、その変化の都度、参照画像のデータＧｓと姿勢のデータＫｓとを対応づけて記憶部３０に記憶させる。記憶部３０に記憶された参照画像のデータＧｓと姿勢のデータＫｓとを学習データＳｄという。学習データＳｄは、作業部４０がとりうる姿勢を網羅することが望ましい。したがって、学習データＳｄは、図４に示すように、互いに対応づけされた参照画像のデータＧｓと姿勢のデータＫｓとを大量に含んでいる。

【0034】

モデル生成部２２は、学習データＳｄの互いに対応づけされた参照画像のデータＧｓと姿勢のデータＫｓとを教師データとして用いて、姿勢推定モデルを生成する。本実施形態のモデル生成部２２は、参照画像のデータＧｓと姿勢のデータＫｓとを教師データとして機械学習（教師有り学習）により姿勢推定モデルを生成する。モデル生成部２２は、サポートベクターマシン、ニューラルネットワーク（ディープラーニングを含む）、ランダムフォレスト等、公知の機械学習手法を用いて姿勢推定モデルを生成してもよい。モデル生成部２２は、生成した姿勢推定モデルをモデル記憶部３２に格納する。

【0035】

姿勢推定部２０ｃは、非学習動作時において、画像のデータＧｊと記憶部３０の記憶情報とに基づいて作業部４０の姿勢を推定する。一例として、姿勢推定部２０ｃは、画像のデータＧｊと学習データＳｄの参照画像のデータＧｓとを比較して、その類似度合いが最も高い参照画像のデータＧｓに対応づけられた姿勢のデータＫｓを推定結果としてもよい。この場合、多数の参照画像のデータＧｓが参照されるため、結果を得るのに時間がかかる可能性がある。そこで、本実施形態の姿勢推定部２０ｃは、モデル生成部２２で生成された姿勢推定モデルを用いて、画像のデータＧｊから推定姿勢を導出する。

【0036】

図５は、モデル生成部２２で生成された姿勢推定モデルにおける姿勢推定処理を説明する説明図である。この姿勢推定モデルは、画像のデータＧｊが入力されると、その画像データに対応する推定姿勢情報Ｋｅを出力する。本実施形態の推定姿勢情報Ｋｅは、作業部４０のブーム４２、アーム４４およびバケット４６の各関節の屈曲角度θ１、θ２、θ３を含んでいる。姿勢推定部２０ｃは、推定姿勢情報Ｋｅを作業機械１００の作業機械制御部６２に送信する。

【0037】

次に、位置推定部２０ｄ、速度推定部２０ｅおよび加速度推定部２０ｆを説明する。図６は、速度推定部２０ｅにおける速度推定処理を説明する説明図である。図６では、あるタイミングＴ（ｎ）における作業部４０の姿勢を実線で示し、タイミングＴ（ｎ）より過去のタイミングＴ（ｎ－１）における作業部４０の姿勢を破線で示している。図７は、各タイミングＴにおける位置情報Ｐｅ、速度情報Ｖｅおよび加速度情報Ａｅの一例を示している。この図では、タイミングＴ（ｎ）における位置情報ＰｅをＰｅ（ｎ）で示し、速度情報ＶｅをＶｅ（ｎ）で示し、加速度情報ＡｅをＡｅ（ｎ）で示している。位置情報Ｐｅ、速度情報Ｖｅおよび加速度情報Ａｅについては後述する。

【0038】

位置推定部２０ｄは、推定姿勢情報Ｋｅをもとに作業部４０の所定の部位の位置を推定する。所定の部位に限定はないが、この例では、所定の部位はバケット４６である。バケット４６の位置は、ブーム４２、アーム４４およびバケット４６の形状情報と推定姿勢情報Ｋｅ（屈曲角度θ１、θ２、θ３）とに基づいて計算により特定できる。なお、ブーム４２、アーム４４およびバケット４６の形状情報は、予め記憶部３０に記憶させることができる。

【0039】

位置推定部２０ｄによって推定された位置に関する情報を位置情報Ｐｅという。位置推定部２０ｄは、位置情報Ｐｅを作業機械制御部６２に送信するとともに、記憶部３０に時系列的に記憶する。一例として、位置情報Ｐｅは、伸縮長Ｌ１、Ｌ２、Ｌ３のデータを含んでもよい。位置情報Ｐｅは二次元または三次元情報であってもよい。

【0040】

速度推定部２０ｅは、時間差を有する複数のタイミングに取得された複数の画像のデータＧｊと当該時間差とに基づいて速度情報Ｖｅを生成する。特に、速度推定部２０ｅは、位置情報Ｐｅをもとに作業部４０の所定の部位（例えば、バケット４６）の速度を推定し、その速度に関する速度情報Ｖｅを生成する。バケット４６の速度は、バケット４６の位置変化を時間で微分することによって得ることができる。例えば、記憶部３０に時系列的に記憶された位置情報Ｐｅについて、異なる複数のタイミングで生成されて記憶された複数の位置情報Ｐｅの差をそのタイミングの時間差ｄＴで除することによってバケット４６の速度を推定できる。この時間差ｄＴは、画像のデータＧｊのフレーム（画像のもとになる静止画像の１コマ）ごとの時間差であってもよい。

【0041】

一例として、タイミングＴ（ｎ）は、現在のフレームのタイミングで、タイミングＴ（ｎ－１）は、現在のフレームより１または複数フレーム前のタイミングであってもよい。この場合、時間差ｄＴは、フレームレート（１秒間当りのフレーム数（ｆｐｓ））の逆数である。速度推定部２０ｅによって推定された速度に関する情報を速度情報Ｖｅという。この例では、タイミングＴ（ｎ）における速度情報Ｖｅ（ｎ）は、式（１）で求められる。
Ｖｅ（ｎ）＝（Ｐｅ（ｎ）－Ｐｅ（ｎ－１））／ｄＴ ・・・（１）
つまり、速度情報Ｖｅは、２つのフレームそれぞれの２つの位置情報Ｐｅの差をフレームの時間差で除して求められる。

【0042】

速度推定部２０ｅは、速度情報Ｖｅを作業機械制御部６２に送信するとともに、記憶部３０に時系列的に記憶する。速度情報Ｖｅは二次元または三次元情報であってもよい。

【0043】

加速度推定部２０ｆは、複数の速度情報Ｖｅと、時間差とに基づいて作業部４０の加速度に関する加速度情報Ａｅを生成する。特に、加速度推定部２０ｆは、速度情報Ｖｅをもとに作業部４０の所定の部位（例えば、バケット４６）の加速度を推定し、その加速度に関する加速度情報Ａｅを生成する。バケット４６の加速度は、バケット４６の速度変化を時間で微分することによって得ることができる。例えば、記憶部３０に時系列的に記憶された速度情報Ｖｅについて、異なるタイミングで生成されて記憶された複数の速度情報Ｖｅの差をその特定タイミングの時間差ｄＴで除することによってバケット４６の加速度を推定できる。この時間差ｄＴは、画像のデータＧｊの各フレームの時間差であってもよい。加速度推定部２０ｆによって推定された加速度に関する情報を加速度情報Ａｅという。この例では、タイミングＴ（ｎ）におけるＡｅ（ｎ）は式（２）で求められる。
Ａｅ（ｎ）＝（Ｖｅ（ｎ）－Ｖｅ（ｎ－１））／ｄＴ ・・・（２）
つまり、加速度情報Ａｅは、２つのフレームそれぞれの２つの速度情報Ｖｅの差をフレームの時間差で除して求められる。

【0044】

加速度推定部２０ｆは、加速度情報Ａｅを作業機械制御部６２に送信するとともに、記憶部３０に時系列的に記憶する。加速度情報Ａｅは二次元または三次元情報であってもよい。以下、位置情報Ｐｅ、速度情報Ｖｅおよび加速度情報Ａｅを総称するときはフィードバック情報という。

【0045】

図２に戻り、作業機械制御部６２を説明する。作業機械制御部６２は、上位の制御システムからの指令情報に基づき、作業機械１００の動作を制御する。本実施形態の指令情報は、所定の部位（バケット４６）の位置に関する目標位置情報Ｐｓと、所定の部位（バケット４６）の速度に関する目標速度情報Ｖｓと、所定の部位（バケット４６）の加速度に関する目標加速度情報Ａｓとを含んでいる。以下、目標位置情報Ｐｓ、目標速度情報Ｖｓおよび目標加速度情報Ａｓを総称するときは目標情報という。

【0046】

図２に示すように、作業機械制御部６２は、動作制御部６２ａを有する。動作制御部６２ａは、目標情報とフィードバック情報とに基づいて、所定の制御アルゴリズムにより、制御信号Ｓｊを油圧バルブ５８に与え、制御信号Ｓｋを旋回駆動部６０に与える。動作制御部６２ａは、制御信号Ｓｊにより油圧バルブ５８の開閉を制御し、油圧シリンダ５６ａ、５６ｂ、５６ｃを伸縮させ、ブーム４２、アーム４４およびバケット４６の動作を制御する。動作制御部６２ａは、位置情報Ｐｅをフィードバックすることで、所定の部位（バケット４６）を所望の位置に制御できる。また、動作制御部６２ａは、制御信号Ｓｋにより旋回駆動部６０を制御できる。

【0047】

動作制御部６２ａは、速度情報Ｖｅをフィードバックすることで、所定の部位（バケット４６）の速度を所望のレベルに制御できる。また、位置情報Ｐｅの微分要素をフィードバックすることで、位置制御のオーバーシュートやハンチングを抑制できる。また、動作制御部６２ａは、加速度情報Ａｅをフィードバックすることで、所定の部位（バケット４６）の加速度を所望のレベルに制御できる。また、速度情報Ｖｅの微分要素をフィードバックすることで、速度制御のオーバーシュートやハンチングを抑制できる。このように、本実施形態によれば、応答性が高く高精度な制御を実現できる。

【0048】

次に、異常検知部２４を説明する。異常検知部２４は、推定姿勢情報Ｋｅをもとに作業部４０の不具合状態や故障状態を検知し、その検知結果を上位制御システムに出力する。図８は、異常検知部２４を概略的に示すブロック図である。この図に示すように、本実施形態の異常検知部２４は、予想姿勢演算部２４ｂと、異常判定部２４ｃと、状態出力部２４ｄとを有する。予想姿勢演算部２４ｂは、作業部４０が制御された結果として予想される作業部４０の姿勢の情報（以下、「予想姿勢情報Ｋａ」という）を演算により決定する。つまり、予想姿勢演算部２４ｂは、制御の結果として作業部４０の本来あるべき姿勢を決定する。

【0049】

本実施形態では、予想姿勢演算部２４ｂは、制御信号Ｓｊに基づいて、油圧バルブ５８の開閉動作および油圧シリンダ５６ａ、５６ｂ、５６ｃの伸縮長Ｌ１、Ｌ２、Ｌ３をシミュレーションし、この伸縮長Ｌ１、Ｌ２、Ｌ３をもとに予想姿勢情報Ｋａを決定する。また、別の例として、油圧シリンダ５６ａ、５６ｂ、５６ｃに供給される油圧を油圧センサで検知し、予想姿勢演算部２４ｂは、その油圧センサの検知結果に基づいて、伸縮長Ｌ１、Ｌ２、Ｌ３をシミュレーションしてもよい。また、この油圧センサの検知結果と制御信号Ｓｊとに基づいて、伸縮長Ｌ１、Ｌ２、Ｌ３をシミュレーションしてもよい。

【0050】

異常判定部２４ｃは、画像のデータＧｊから導出された推定姿勢情報Ｋｅと、制御信号Ｓｊとに基づいて作業部４０の動作異常を判定する。特に、異常判定部２４ｃは、推定姿勢情報Ｋｅと予想姿勢情報Ｋａとの差ｄＫに応じて作業部４０の不具合状態や故障状態を判定する。異常判定部２４ｃは、差ｄＫを複数の閾値により区分けし、その区分けを判定結果Ｊ２４として出力してもよい。例えば、異常判定部２４ｃは、第１閾値と、第１閾値よりも大きい第２閾値とを用いる。異常判定部２４ｃは、差ｄＫが第１閾値未満の場合は正常状態と判定し、差ｄＫが第１閾値以上第２閾値未満の場合は不具合状態と判定し、差ｄＫが第２閾値以上の場合は故障状態と判定してもよい。なお、本明細書では、故障の可能性が高く直ちに動作を停止させるべき状態を故障状態と定義し、故障に至る可能性があり早期に検査をすべき状態を不具合状態と定義する。

【0051】

状態出力部２４ｄは、異常判定部２４ｃの判定結果Ｊ２４を上位制御システムまたは所定のデバイスに提示する。この例では、状態出力部２４ｄは、操縦室３８に設けられた表示部３８ｄに異常判定部２４ｃの判定結果Ｊ２４を表示させる。状態出力部２４ｄは、ネットワークなどの通信手段を介して操縦者または管理者が所持する携帯端末（不図示）に異常判定部２４ｃの判定結果を表示させてもよい。

【0052】

次に、外観検知部２６を説明する。外観検知部２６は、画像情報取得部１２により取得された画像のデータＧｊにおいて、油圧シリンダ５６ａ、５６ｂ、５６ｃなどの構成部材のいずれかが外れているなど、存在すべき外観形状が表示されていない場合に作業部４０が外的に損傷していると判断する。外観検知部２６は、推定姿勢情報Ｋｅをもとに作業部４０の外観上の異常の有無を検知し、その検知結果を上位制御システムに出力する。図９は、外観検知部２６を概略的に示すブロック図である。この図に示すように、本実施形態の外観検知部２６は、基準画像生成部２６ｂと、外観判定部２６ｃと、状態出力部２６ｄとを有する。

【0053】

基準画像生成部２６ｂは、推定姿勢情報Ｋｅに基づいて、その姿勢において正常と考えられる状態における作業部４０の画像に関するデータ（以下、「基準画像のデータＧｈ」という）を生成する。基準画像のデータＧｈは、正常な初期状態における作業部４０の画像に関するデータであってもよい。作業部４０の部位ごとの画像データを記憶部３０に予め記憶させておき、基準画像生成部２６ｂは、推定姿勢情報Ｋｅに基づいて記憶された各部位の画像データを合成し、基準画像のデータＧｈを生成できる。

【0054】

外観判定部２６ｃは、画像のデータＧｊと、基準画像のデータＧｈとに基づいて作業部４０の外観異常を判定する。特に、外観判定部２６ｃは、画像のデータＧｊと、基準画像生成部２６ｂで生成された基準画像のデータＧｈとを比較して、その相違度合い（以下、「相違度Ｓｈ」という）に応じて作業部４０の外観上の異常の有無を判定する。この例では、両画像の類似度合いが高い場合に相違度Ｓｈは低く、両画像の類似度合いが低い場合に相違度Ｓｈは高い。

【0055】

外観判定部２６ｃは、相違度Ｓｈを複数の閾値により区分けし、その区分けを判定結果Ｊ２６として出力してもよい。例えば、外観判定部２６ｃは、第１閾値と、第１閾値よりも大きい第２閾値とを用いることができる。外観判定部２６ｃは、相違度Ｓｈが第１閾値未満の場合は外観異常なしと判定し、相違度Ｓｈが第１閾値以上第２閾値未満の場合は一部に外観異常ありと判定し、相違度Ｓｈが第２閾値以上の場合は外観異常ありと判定してもよい。

【0056】

状態出力部２６ｄは、外観判定部２６ｃの判定結果Ｊ２６を上位制御システムまたは所定のデバイスに提示する。この例では、状態出力部２６ｄは、操縦室３８に設けられた表示部３８ｄに外観判定部２６ｃの判定結果を表示させる。状態出力部２６ｄは、ネットワークなどの通信手段を介して操縦者または管理者が所持する携帯端末（不図示）に外観判定部２６ｃの判定結果を表示させてもよい。

【0057】

図２に戻り、画像情報補正部２０ｊ、環境情報受付部２０ｇ、個体情報保持部２０ｈ、背景情報除去部２０ｋおよび色情報除去部２０ｍを説明する。

【0058】

本実施形態の画像情報補正部２０ｊは、画像のデータＧｊを取得する際の周囲環境に関する情報、作業機械の経年数または作業機械の個体差に応じて画像のデータＧｊを補正する。また、環境情報受付部２０ｇと、個体情報保持部２０ｈとは画像情報補正部２０ｊに補正情報を提供する。

【0059】

環境情報受付部２０ｇは、環境情報取得部１４から取得結果の入力を受付ける。特に、環境情報受付部２０ｇは、環境情報取得部１４から環境情報Ｍｐを受信する。画像情報補正部２０ｊは、環境情報Ｍｐに基づいて画像のデータＧｊの明るさや色温度を補正する。画像情報補正部２０ｊは、画像のデータＧｊの明るさを、参照画像のデータＧｓの明るさと同じになるように補正する。画像情報補正部２０ｊは、画像のデータＧｊの色温度を、参照画像のデータＧｓの色温度と同じになるように補正する。この構成により、周囲環境に起因する推定誤差を低減できる。

【0060】

個々の作業機械１００によって作業部４０の外観は個体差を有する。この個体差は姿勢推定における誤差要因となる可能性がある。このため、本実施形態の個体情報保持部２０ｈは、各個体の個体情報Ｍｅを保持する。個体情報Ｍｅは、作業機械１００の経年数、作業部４０の傷、付着物、変形などによる外観の個体差に関する情報を含んでいる。画像情報補正部２０ｊは、個体情報Ｍｅに応じて画像のデータＧｊを補正する。この構成により、個体差に起因する推定誤差を低減できる。

【0061】

画像のデータＧｊは、作業機械１００が稼働する現場ごとに異なる背景画像を含んでいる。このため、画像のデータＧｊに含まれる背景画像が姿勢推定における誤差要因となる可能性がある。このため、本実施形態の背景情報除去部２０ｋは、画像のデータＧｊから、背景画像に関する情報を除去する。この構成により、背景画像に起因する推定誤差を低減できる。

【0062】

参照画像のデータＧｓと画像のデータＧｊとをフルカラーの画像データとして記憶して処理をすると、取り扱うデータ量が大きくなり、処理速度や記憶容量の点で不利となる。このため、本実施形態の色情報除去部２０ｍは、参照画像のデータＧｓおよび画像のデータＧｊから色情報を除去してグレースケールの画像データとする。この構成により、取り扱うデータ量が小さくなり、処理速度や記憶容量の点で有利になる。

【0063】

以上のように構成された情報処理装置１０の動作を説明する。図１０は、情報処理装置１０の動作を示すフローチャートである。この図は、機械学習時に機械学習によって姿勢推定モデルを生成する動作Ｓ７０を示している。動作Ｓ７０は、事前に作業機械１００に姿勢情報取得部１６が取付けられ、管理者によりモデル作成の指示が入力されたタイミングで開始される。

【0064】

モデル生成タイミングに至ったら（ステップＳ７１のＹ）、情報処理装置１０の制御部２０は、画像情報取得部１２および姿勢情報取得部１６から参照画像のデータＧｓと姿勢のデータＫｓとを受信する（ステップＳ７２）。このステップでは、制御部２０は、作業部４０の姿勢を可動範囲内で広く変化させ、その変化の都度、参照画像のデータＧｓと姿勢のデータＫｓとを受信して記憶部３０に記憶させる。

【0065】

背景情報除去部２０ｋは、参照画像のデータＧｓから、背景画像に関する情報を除去する（ステップＳ７３）。色情報除去部２０ｍは、参照画像のデータＧｓから色情報を除去する（ステップＳ７４）。背景画像の除去、色情報の除去は、受信した参照画像のデータＧｓに対してその都度実行されてもよいし、記憶部３０に記憶された参照画像のデータＧｓに対して実行されてもよい。

【0066】

モデル生成部２２は、背景画像と色情報が除去された参照画像のデータＧｓと姿勢のデータＫｓをもとに機械学習により姿勢推定モデルを生成し、モデル記憶部３２に格納する（ステップＳ７５）。姿勢推定モデルが格納されたら動作Ｓ７０は終了する。動作Ｓ７０の終了後、作業機械１００から姿勢情報取得部１６が取り外されてもよい。

【0067】

モデル生成タイミングに至らなければ（ステップＳ７１のＮ）、Ｓ７２～Ｓ７５をスキップする。この動作Ｓ７０は、あくまでも一例であって、ステップの順序を入れ替えたり、一部のステップを追加・削除・変更したりしてもよい。

【0068】

図１１も、情報処理装置１０の動作を示すフローチャートである。この図は、姿勢推定モデルを用いて画像のデータＧｊをもとに作業部４０の姿勢を推定する動作Ｓ８０を示している。動作Ｓ８０は、非学習動作時に管理者により姿勢推定の指示が入力されたタイミングで開始される。

【0069】

姿勢推定のタイミングに至ったら（ステップＳ８１のＹ）、情報処理装置１０の制御部２０は、画像情報取得部１２から画像のデータＧｊを受信する（ステップＳ８２）。このステップで、受信した画像のデータＧｊは記憶部３０に記憶される。

【0070】

背景情報除去部２０ｋは、画像のデータＧｊから、背景画像に関する情報を除去する（ステップＳ８３）。色情報除去部２０ｍは、画像のデータＧｊから色情報を除去する（ステップＳ８４）。

【0071】

画像情報補正部２０ｊは、個体情報保持部２０ｈに保持された個体情報Ｍｅに応じて画像のデータＧｊを補正する（ステップＳ８５）。背景画像の除去、色情報の除去および画像の補正は、記憶部３０に記憶された画像のデータＧｊに対して実行される。

【0072】

姿勢推定部２０ｃは、背景画像の除去、色情報の除去および画像の補正がなされた画像のデータＧｊをもとに、姿勢推定モデルに基づき作業部４０の姿勢を推定する（ステップＳ８６）。このステップで、姿勢推定モデルから推定姿勢情報Ｋｅが出力される。

【0073】

速度推定部２０ｅは、姿勢推定モデルから出力された推定姿勢情報Ｋｅを情報処理装置１０の外部に送信する（ステップＳ８７）。例えば、速度推定部２０ｅは、推定姿勢情報Ｋｅを作業機械制御部６２に送信する。推定姿勢情報Ｋｅが送信されたら動作Ｓ８０は終了する。動作Ｓ８０は、姿勢推定の指示が無くなるまで、繰り返し実行される。

【0074】

姿勢推定のタイミングに至らなければ（ステップＳ８１のＮ）、Ｓ８２～Ｓ８７をスキップする。この動作Ｓ８０は、あくまでも一例であって、ステップの順序を入れ替えたり、一部のステップを追加・削除・変更したりしてもよい。

【0075】

図１２も、情報処理装置１０の動作を示すフローチャートである。この図は、推定姿勢情報Ｋｅをもとに作業部４０の位置、速度および加速度を特定し、その特定結果を作業機械制御部６２に送信する動作Ｓ９０を示している。動作Ｓ９０は、非学習動作時に管理者により速度および加速度を検知する指示が入力されたタイミングで開始される。

【0076】

速度および加速度を検知するタイミングに至ったら（ステップＳ９１のＹ）、位置推定部２０ｄは、推定姿勢情報Ｋｅをもとに作業部４０の所定の部位（バケット４６）の位置情報Ｐｅを生成し、作業機械制御部６２に送信するとともに、記憶部３０に記憶させる（ステップＳ９２）。

【0077】

位置情報Ｐｅが記憶されたら、速度推定部２０ｅは、位置情報Ｐｅをもとに作業部４０の速度情報Ｖｅを生成し、作業機械制御部６２に送信するとともに、記憶部３０に記憶させる（ステップＳ９３）。

【0078】

速度情報Ｖｅが記憶されたら、加速度推定部２０ｆは、速度情報Ｖｅをもとに作業部４０の加速度情報Ａｅを生成し、作業機械制御部６２に送信するとともに、記憶部３０に記憶させる（ステップＳ９４）。加速度情報Ａｅが記憶されたら、動作Ｓ９０は終了する。動作Ｓ９０は、速度および加速度の検知の指示が無くなるまで、繰り返し実行される。

【0079】

速度および加速度を検知するタイミングに至らなければ（ステップＳ９１のＮ）、Ｓ９２～Ｓ９４をスキップする。この動作Ｓ９０は、あくまでも一例であって、ステップの順序を入れ替えたり、一部のステップを追加・削除・変更したりしてもよい。

【0080】

図１３も、情報処理装置１０の動作を示すフローチャートである。この図は、推定姿勢情報Ｋｅをもとに作業部４０の不具合状態、故障状態または作業部４０の外観上の異常の有無を検知し、その検知結果を操縦室３８に設けられた表示部３８ｄに出力する動作Ｓ１００を示している。動作Ｓ１００は、非学習動作時に管理者により状態検知の指示が入力されたタイミングで開始される。

【0081】

状態検知のタイミングに至ったら（ステップＳ１０１のＹ）、予想姿勢演算部２４ｂは、作業機械制御部６２の動作制御部６２ａから制御信号Ｓｊを取得し、予想姿勢情報Ｋａを決定する（ステップＳ１０２）。

【0082】

予想姿勢情報Ｋａが決定されたら、異常判定部２４ｃは、推定姿勢情報Ｋｅと予想姿勢情報Ｋａとの差ｄＫに応じて作業部４０の不具合状態や故障状態を判定する（ステップＳ１０３）。

【0083】

作業部４０の状態が判定されたら、状態出力部２４ｄは、異常判定部２４ｃの判定結果を表示部３８ｄに表示させる（ステップＳ１０４）。

【0084】

上述の判定結果が表示されたら、基準画像生成部２６ｂは、姿勢のデータＫｓに基づいて、その姿勢における基準画像のデータＧｈを生成する（ステップＳ１０５）。

【0085】

基準画像のデータＧｈが生成されたら、外観判定部２６ｃは、基準画像のデータＧｈと、画像のデータＧｊとの相違度Ｓｈに応じて作業部４０の外観上の異常の有無を判定する（ステップＳ１０６）。

【0086】

作業部４０の外観状態が判定されたら、状態出力部２６ｄは、外観判定部２６ｃの判定結果を表示部３８ｄに表示させる（ステップＳ１０７）。上述の判定結果が表示されたら動作Ｓ１００は終了する。動作Ｓ１００は、状態検知の指示が無くなるまで、繰り返し実行される。

【0087】

状態検知のタイミングに至らなければ（ステップＳ１０１のＮ）、Ｓ１０２～Ｓ１０７をスキップする。この動作Ｓ１００は、あくまでも一例であって、ステップの順序を入れ替えたり、一部のステップを追加・削除・変更したりしてもよい。

【0088】

以上のように構成された本実施形態の情報処理装置１０の特徴を説明する。この情報処理装置１０は、作業部４０の参照画像のデータＧｓと作業部４０の姿勢のデータＫｓとを対応づけて生成された対応情報を記憶している記憶部３０と、参照画像のデータＧｓと比較するために作業部４０の画像のデータＧｊを取得する画像情報取得部１２と、画像のデータＧｊと対応情報とに基づいて作業部４０の速度に関する速度情報Ｖｅを生成する速度推定部２０ｅとを備える。この構成によれば、画像情報取得部１２で取得した画像のデータＧｊと、参照画像のデータＧｓと姿勢のデータＫｓとから作業部４０の速度に関する速度情報Ｖｅを生成できる。対応情報は、上述の姿勢推定モデルであってもよい。

【0089】

画像情報取得部１２は、作業部４０と一体的に旋回するように構成されてもよい。この場合、画像情報取得部１２と作業部４０との位置関係が一定になるため、作業部４０の速度情報Ｖｅを容易に生成できる。

【0090】

情報処理装置１０は、画像のデータＧｊと対応情報とに基づいて作業部４０の姿勢を推定する姿勢推定部２０ｃを有してもよい。この場合、画像のデータＧｊから作業部４０の姿勢を容易に推定できる。

【0091】

記憶部３０は、参照画像のデータＧｓおよび姿勢のデータＫｓをもとに機械学習により生成された姿勢推定モデルを記憶してもよい。この場合、機械学習により生成された姿勢推定モデルを利用できる。

【0092】

速度推定部２０ｅは、時間差を有する複数のタイミングに画像情報取得部１２で取得された複数の画像のデータＧｊと当該時間差とに基づいて速度情報Ｖｅを生成してもよい。この場合、簡単な演算処理により速度情報Ｖｅを生成できる。

【0093】

情報処理装置１０は、速度推定部２０ｅで生成された複数の速度情報Ｖｅと、時間差とに基づいて作業部４０の加速度に関する加速度情報Ａｅを生成する加速度推定部２０ｆを備えてもよい。この場合、簡単な演算処理により加速度情報Ａｅを生成できる。

【0094】

情報処理装置１０は、画像情報取得部１２で取得された画像のデータＧｊと、作業部４０の動作を制御するための制御信号とに基づいて作業部４０の動作異常を判定する異常判定部２４ｃを備えてもよい。この場合、特別なセンサを用いなくても、画像のデータＧｊと制御信号とにより動作異常を検知できる。

【0095】

情報処理装置１０は、画像情報取得部１２で取得された画像のデータＧｊと、正常と考えられる状態における作業部４０の基準画像のデータＧｈとに基づいて作業部４０の外観異常を判定する外観判定部２６ｃをさらに備えてもよい。この場合、特別なセンサを用いなくても、画像のデータＧｊと正常時の画像のデータとにより外観異常を検知できる。

【0096】

情報処理装置１０は、画像のデータＧｊを取得する際の周囲環境に関する情報、作業機械１００の経年数または作業機械１００の個体差に応じて画像のデータＧｊを補正する画像情報補正部２０ｊを有してもよい。この場合、画像のデータＧｊを補正して姿勢の推定精度を改善できる。

【0097】

情報処理装置１０は、参照画像のデータＧｓの色情報を圧縮または除去する色情報除去部２０ｍを有してもよい。この場合、記憶部３０の記憶容量および処理速度の点で有利になる。

【0098】

情報処理装置１０は、参照画像のデータＧｓの背景画像を除去する背景情報除去部２０ｋを有してもよい。この場合、背景画像に起因する推定精度の低下を抑制できる。

【0099】

次に、本発明の第２～第５実施形態を説明する。第２～第５実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

【0100】

［第２実施形態］
本発明の第２実施形態は、作業機械の情報処理方法である。この情報処理方法は、作業機械１００の作業部４０の参照画像のデータＧｓと作業部４０の姿勢のデータＫｓとを対応づけて生成された対応情報を記憶部３０に記憶するステップ（Ｓ７２～Ｓ７５）と、参照画像のデータＧｓと比較するために作業部４０の画像のデータＧｊを取得するステップ（Ｓ８２）と、時間差を有する複数のタイミングに取得された複数の画像のデータＧｊと当該時間差と対応情報とに基づいて速度情報Ｖｅを生成するステップ（Ｓ９２）とを含む。

【0101】

上述の速度情報Ｖｅを生成するステップは参照画像のデータＧｓと姿勢のデータＫｓとをもとに機械学習により生成された姿勢推定モデルを参照するステップを含んでもよい。つまり、対応情報は姿勢推定モデルであってもよい。第２実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

【0102】

［第３実施形態］
本発明の第３実施形態は、建設機械１０００である。この建設機械１０００は、作業部４０と、作業部４０の参照画像のデータＧｓと作業部４０の姿勢のデータＫｓとを対応づけて生成された対応情報を記憶している記憶部３０と、参照画像のデータＧｓと比較するために作業部４０の画像のデータＧｊを取得する画像情報取得部１２と、画像のデータＧｊと対応情報とに基づいて作業部４０の速度に関する速度情報Ｖｅを生成する速度推定部２０ｅとを備える。対応情報は、上述の姿勢推定モデルであってもよい。

【0103】

建設機械１０００は、例えば腕機構４８に取り付けられたバケット４６を移動させて建設作業を行う機械であってもよい。建設機械１０００の腕機構４８には、バケットの代わりにフォーク、ハンマー、クラッシャー等の多様なアタッチメントが取り付けられてもよい。第３実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

【0104】

［第４実施形態］
本発明の第４実施形態は、コンピュータプログラムＰ１００である。このコンピュータプログラムＰ１００は、作業部４０の参照画像のデータＧｓと作業部４０の姿勢のデータＫｓとを対応づけて生成された対応情報を記憶部３０に記憶する機能と、参照画像のデータＧｓと比較するために作業部４０の画像のデータＧｊを取得する機能と、時間差を有する複数のタイミングに取得された複数の画像のデータＧｊと時間差と対応情報とに基づいて作業部４０の速度情報Ｖｅを生成する機能とをコンピュータに実現させる。対応情報は、上述の姿勢推定モデルであってもよい。

【0105】

コンピュータプログラムＰ１００では、これらの機能は制御部２０の機能ブロックに対応する複数のモジュールが実装されたアプリケーションプログラムとして、情報処理装置１０のストレージ（例えば記憶部３０）にインストールされてもよい。コンピュータプログラムＰ１００は、情報処理装置１０のプロセッサ（例えばＣＰＵ）のメインメモリに読み出しされて実行されてもよい。第４実施形態の構成によれば、第１実施形態と同様の作用効果を奏する。

【0106】

［第５実施形態］
本発明の第５実施形態は、情報処理システム１である。図１４は、本実施形態の情報処理システム１を使用した作業機械１００を概略的に示すブロック図であり、図２に対応する。情報処理システム１は、作業機械１００の作業部４０の画像のデータＧｊに基づいて作業部４０の速度に関する速度情報Ｖｅを推定する点で第１実施形態と同様である。情報処理システム１は、その構成の一部がネットワークサーバ１２０に設けられる点で第１実施形態の情報処理装置１０と異なる。この例では、推定部１２０ｊがネットワークサーバ１２０に設けられている。

【0107】

本実施形態の情報処理システム１は、情報処理装置１１０と、ネットワークサーバ１２０とを備える。情報処理装置１１０およびネットワークサーバ１２０は、有線通信または無線通信を利用した通信ネットワークＮＷを介して互いに通信する。通信ネットワークＮＷとして、インターネットなどの汎用ネットワークや専用ネットワークを採用できる。ネットワークサーバ１２０として、クラウドコンピューティングシステムとも称されるクラウドサーバを採用できる。

【0108】

情報処理装置１１０は、取得部１２と、制御部２０とを有する。制御部２０は、画像情報受付部２０ａと、画像情報送信部２０ｐと、推定結果受信部２０ｑとを有する。取得部１２は、作業機械１００の作業部４０の画像のデータＧｊを取得する。画像情報送信部２０ｐは、取得部１２で取得された画像のデータＧｊを通信ネットワークＮＷを介してネットワークサーバ１２０に送信する。

【0109】

ネットワークサーバ１２０は、記憶部１２０ｍと、推定部１２０ｊと、受信部１２０ｑと、送信部１２０ｐとを有する。推定部１２０ｊは、姿勢推定部１２０ｃと、位置推定部１２０ｄと、速度推定部１２０ｅと、加速度推定部１２０ｆとを有する。記憶部１２０ｍは、作業部４０の参照画像のデータＧｓと作業機械１００の作業部４０の姿勢のデータＫｓとを対応づけて生成された対応情報Ｃｉを記憶する。この例の対応情報Ｃｉは、参照画像のデータＧｓおよび姿勢のデータＫｓをもとに機械学習により生成された姿勢推定モデルである。姿勢推定モデルは、予め基準となる作業機械のデータをもとに生成されてモデル記憶部１２０ｎに格納されている。

【0110】

受信部１２０ｑは、画像のデータＧｊを受信する。姿勢推定部１２０ｃは、姿勢推定部２０ｃと同様に動作して推定姿勢情報Ｋｅを生成する。位置推定部１２０ｄは、位置推定部２０ｄと同様に動作して位置情報Ｐｅを生成する。速度推定部１２０ｅは、速度推定部２０ｅと同様に動作して速度情報Ｖｅを生成する。この例では、速度推定部１２０ｅは、対応情報Ｃｉ（姿勢推定モデル）と、受信した画像のデータＧｊとに基づいて作業部４０の速度に関する速度情報Ｖｅを生成する。加速度推定部１２０ｆは、加速度推定部２０ｆと同様に動作して加速度情報Ａｅを生成する。送信部１２０ｐは、推定姿勢情報Ｋｅと、位置情報Ｐｅと、速度情報Ｖｅと、加速度情報Ａｅとを通信ネットワークＮＷを介して情報処理装置１１０に送信する。

【0111】

情報処理装置１１０の推定結果受信部２０ｑは、ネットワークサーバ１２０から推定姿勢情報Ｋｅと、位置情報Ｐｅと、速度情報Ｖｅと、加速度情報Ａｅとを受信する。推定結果受信部２０ｑは、推定姿勢情報Ｋｅと、位置情報Ｐｅと、速度情報Ｖｅと、加速度情報Ａｅとを作業機械制御部６２に送信する。作業機械制御部６２は、第１実施形態と同様に動作して、作業機械１００の動作を制御する。

【0112】

以上のように構成された情報処理システム１は、第１実施形態の情報処理装置１０と同様に動作し、同様の作用・効果を奏する。加えて、推定部１２０ｊがネットワークサーバ１２０に設けられているため、より高度なアルゴリズムを使用して、推定精度を高められる。また、１つのネットワークサーバで複数の作業機械をサポートできる。

【0113】

以上、本発明の実施形態の例について詳細に説明した。上述した実施形態は、いずれも本発明を実施するにあたっての具体例を示したものにすぎない。実施形態の内容は、本発明の技術的範囲を限定するものではなく、請求の範囲に規定された発明の思想を逸脱しない範囲において、構成要素の変更、追加、削除などの多くの設計変更が可能である。上述の実施形態では、このような設計変更が可能な内容に関して、「実施形態の」「実施形態では」等との表記を付して説明しているが、そのような表記のない内容に設計変更が許容されないわけではない。

【0114】

［変形例］
以下、変形例について説明する。変形例の図面および説明では、実施形態と同一または同等の構成要素、部材には、同一の符号を付する。実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

【0115】

第１実施形態では、速度情報Ｖｅ、加速度情報Ａｅがバケット４６の速度、加速度に関する情報である例を示したが、本発明はこれに限定されない。速度情報Ｖｅ、加速度情報Ａｅは、アーム４４やブーム４２など作業部４０のバケット４６以外の部位の速度、加速度に関する情報であってもよい。また、速度情報Ｖｅ、加速度情報Ａｅは、２カ所以上の部位または部分の速度、加速度に関する情報を含んでもよい。

【0116】

第１実施形態では、速度情報Ｖｅ、加速度情報Ａｅをフィードバックして速度、加速度を制御する例を示したが、本発明はこれに限定されない。例えば、情報処理装置１０は、位置情報Ｐｅ、速度情報Ｖｅおよび加速度情報Ａｅの少なくとも１つに応じて、作業部４０が周囲の人や物との接触を回避する回避動作を制御してもよい。

【0117】

第１実施形態では、姿勢推定モデルは、個々の作業機械１００で生成されてその作業機械１００のモデル記憶部３２に記憶される例を示したが、本発明はこれに限定されない。姿勢推定モデルは、基準となる作業機械により生成されて、個々の作業機械１００のモデル記憶部３２に予め格納されてもよい。また、姿勢推定モデルは、適宜のタイミングに更新されてもよい。

【0118】

第１実施形態の説明では、画像情報取得部１２が１つの画像センサで構成される例を示したが、本発明はこれに限定されない。画像情報取得部１２は、複数の画像センサで構成されてもよい。例えば、画像情報取得部１２は、いわゆるステレオカメラを含んでもよい。

【0119】

第１実施形態の説明では、画像情報取得部１２が操縦室３８の屋根に設けられる例を示したが、本発明はこれに限定されない。例えば、画像情報取得部１２は、操縦室３８の側面や上部車体部３４のカバー上に配置されてもよい。また、画像情報取得部１２は、作業部４０上に配置されてもよい。

【0120】

第１実施形態の説明では、作業機械１００がバケット４６を移動させて建設作業を行う建設機械である例を示したが、本発明はこれに限定されず、建設機械以外の作業機械にも適用できる。

【0121】

第１実施形態では、色情報除去部２０ｍが参照画像のデータＧｓおよび画像のデータＧｊから色情報を完全に除去する例を示したが、本発明はこれに限定されない。色情報除去部２０ｍは、減色などにより、参照画像のデータＧｓおよび画像のデータＧｊの色情報を圧縮するものであってもよい。

【0122】

第１実施形態の説明では、腕機構４８が操縦室３８の右側に設けられる例を示したが、本発明はこれに限定されない。例えば、腕機構は、操縦室の左側や操縦室の前方に設けられてもよい。

【0123】

第１実施形態の説明では、作業機械１００が操縦室３８から操縦者によって操縦される例を示したが、本発明はこれに限定されない。例えば、作業機械は、自動操縦や遠隔操縦されるものであってもよい。

【0124】

第５実施形態の説明では、制御部２０が、個体情報保持部２０ｈ、環境情報受付部２０ｇ、画像情報補正部２０ｊ、背景情報除去部２０ｋ、色情報除去部２０ｍ、異常検知部２４および外観検知部２６を含まない例を示したが、本発明はこれに限定されない。例えば、第５実施形態の制御部２０は、個体情報保持部２０ｈ、環境情報受付部２０ｇ、画像情報補正部２０ｊ、背景情報除去部２０ｋ、色情報除去部２０ｍ、異常検知部２４または外観検知部２６の１つ以上を含んでもよい。

【0125】

上述の変形例は、第１実施形態と同様の作用・効果を奏する。

【0126】

上述した実施形態と変形例の任意の組み合わせもまた本発明の実施形態として有用である。組み合わせによって生じる新たな実施形態は、組み合わされる実施形態および変形例それぞれの効果をあわせもつ。

【符号の説明】

【0127】

１０ 情報処理装置、 １２ 画像情報取得部、 １４ 環境情報取得部、 １６ 姿勢情報取得部、 ２０ 制御部、 ２０ｅ 速度推定部、 ２０ｆ 加速度推定部、 ２２ モデル生成部、 ２４ｃ 異常判定部、 ２６ｃ 外観判定部、 ３０ 記憶部、 ３２ モデル記憶部、 ４０ 作業部、 ４２ ブーム、 ４４ アーム、 ４６ バケット、 ６２ 作業機械制御部、 １００ 作業機械、 １０００ 建設機械。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】