特許 7452473 容器計測システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】容器計測システム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240312BHJP

   G01B 11/24 20060101ALI20240312BHJP

【ＦＩ】

E02F9/26 B

G01B11/24 B

【請求項の数】 4

(21)【出願番号】P 2021036652

(22)【出願日】2021-03-08

(65)【公開番号】P2022136849

(43)【公開日】2022-09-21

【審査請求日】2023-11-21

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110001841

【氏名又は名称】弁理士法人ＡＴＥＮ

(72)【発明者】

【氏名】細 幸広

(72)【発明者】

【氏名】藤原 翔

(72)【発明者】

【氏名】邱 進軍

【審査官】柿原 巧弥

(56)【参考文献】

【文献】特開２０２０－０３５３８０（ＪＰ，Ａ）

【文献】特開２０１７－１５７０１６（ＪＰ，Ａ）

【文献】特開２０１６－０８９３８８（ＪＰ，Ａ）

【文献】特開２００１－０５５７６２（ＪＰ，Ａ）

【文献】特開２０００－１９２５１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００４０５５５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２６

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能な距離画像取得手段と、
取得された前記距離画像に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する算出手段と、
複数種類の前記容器の三次元形状を記憶する記憶手段と、
算出された前記容器の三次元形状と、前記記憶手段が記憶する複数種類の前記容器の三次元形状とに基づいて、算出された前記容器の種類を特定する特定手段と、
特定された種類の前記容器の三次元形状に基づいて、算出された前記容器の三次元情報を補正する補正手段と、
を有することを特徴とする容器計測システム。

【請求項2】

前記特定手段は、前記記憶手段が記憶する複数種類の前記容器の三次元形状の中から、算出された前記容器の三次元形状に最も近い三次元形状の前記容器を選択することで、算出された前記容器の種類を特定することを特徴とする請求項１に記載の容器計測システム。

【請求項3】

表示装置と、
取得された前記容器の前記距離画像と、補正された前記容器の三次元位置とを位置合わせした上で、補正された前記容器の三次元情報を前記距離画像に重畳させて重畳画像にする重畳手段と、
前記重畳画像を前記表示装置に表示させる表示制御手段と、
を有することを特徴とする請求項１又は２に記載の容器計測システム。

【請求項4】

前記距離画像に含まれるように前記容器に設けられた目印を有し、
前記重畳手段は、前記目印を基準にして、前記距離画像と、補正された前記容器の三次元位置とを位置合わせすることを特徴とする請求項３に記載の容器計測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、容器の三次元情報を算出する容器計測システムに関する。

【背景技術】

【0002】

例えば特許文献１などに、容器の三次元情報を算出する技術が記載されている。同文献に記載の技術では、容器の４つの特徴点をカメラで撮影し、各特徴点の三次元位置が算出される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－０６４３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、特徴点をカメラで適切に撮影できない場合などにおいて、特徴点の三次元情報を安定して算出することが困難である。その結果、容器の三次元情報を安定して算出することが困難である。

【0005】

そこで、ディープラーニングを用いて特徴点の抽出を行うことで、特徴点をカメラで適切に撮影できない場合であっても、特徴点の三次元情報を安定して算出することができる。しかし、ディープラーニングを用いても、特徴点を正確に抽出することができない場合がある。

【0006】

本発明の目的は、容器の三次元情報を正確に算出することが可能な容器計測システムを提供することである。

【課題を解決するための手段】

【0007】

本発明は、容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能な距離画像取得手段と、取得された前記距離画像に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する算出手段と、複数種類の前記容器の三次元形状を記憶する記憶手段と、算出された前記容器の三次元形状と、前記記憶手段が記憶する複数種類の前記容器の三次元形状とに基づいて、算出された前記容器の種類を特定する特定手段と、特定された種類の前記容器の三次元形状に基づいて、算出された前記容器の三次元情報を補正する補正手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によると、取得された容器の距離画像に基づいて、容器の三次元位置および三次元形状を含む三次元情報が算出される。そして、算出された容器の三次元形状と、記憶手段が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器の種類が特定される。容器の種類が特定されると、特定された種類の容器の三次元形状に基づいて、算出された容器の三次元情報が補正される。このように、容器の三次元情報を補正することで、容器の距離画像から算出された容器の三次元情報に誤りがあっても、容器の三次元情報を正確に算出することができる。

【図面の簡単な説明】

【0009】

【図1】輸送車および作業機械の側面図である。

【図2】作業機械から輸送車を見た図である。

【図3】容器計測システムのブロック図である。

【図4】容器の三次元情報を示す図である。

【図5】特徴点のチェック方法の説明図である。

【図6】第１重畳画像を示す図である。

【図7】第２重畳画像を示す図である。

【図8】容器計測処理のフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。

【0011】

（輸送車の構成）
本発明の実施形態による容器計測システムは、容器の三次元情報を算出するものである。輸送車１０および作業機械２０の側面図である図１に示すように、輸送車１０は、容器１２を有する車両である。輸送車１０は、作業機械２０によって積み込まれた物（積込対象物）を輸送するための車両であり、ダンプカーでもよく、トラックでもよい。

【0012】

輸送車１０は、本体部１１と、容器１２と、を備える。本体部１１は、走行可能であり、容器１２を支持する。本体部１１は、運転室１１ａを備える。容器１２は、運転室１１ａよりも、輸送車１０における後側に配置される。

【0013】

容器１２は、輸送車１０の荷台である。容器１２は、例えば蓋を有さない箱形などである（図２参照）。容器１２は、平面部１３を備える。容器１２は、積込対象物を収容する。容器１２に収容される積込対象物は、例えば、土砂でもよく、廃棄物（産業廃棄物など）でもよい。容器１２は、本体部１１に対して可動でもよく、本体部１１に固定されてもよい。なお、容器１２は、輸送車１０の荷台でなくてもよく、例えば地面などに直接置かれていてもよい。

【0014】

以下では、輸送車１０に関する方向について、運転室１１ａから容器１２に向かう側を「輸送車後側」、容器１２から運転室１１ａに向かう側を「輸送車前側」という。

【0015】

作業機械２０から輸送車１０を見た図である図２に示すように、平面部１３は、容器１２のうち、平面状または略平面状の部分である。平面部１３は、全体として平面状または略平面状であればよい。平面部１３は、凹凸を有してもよく、緩やかな曲面を有してもよい。

【0016】

平面部１３は、床面１３ａと、後部あおり板面１３ｂと、側部あおり板面１３ｃと、鳥居面１３ｄと、を備える。床面１３ａは、容器１２の底面（下側の面）である。後部あおり板面１３ｂは、容器１２の輸送車後側の面であり、床面１３ａの輸送車後側の部分から上に突出する。側部あおり板面１３ｃは、容器１２の左右の面であり、床面１３ａの左右の端部から上に突出する。鳥居面１３ｄは、容器１２の輸送車前側の面であり、床面１３ａの輸送車前側の部分から上に突出する。鳥居面１３ｄは、側部あおり板面１３ｃよりも上に突出し、後部あおり板面１３ｂよりも上に突出する。

【0017】

（作業機械の構成）
図１に示すように、作業機械２０は、容器１２に積込対象物を積み込む作業（積込作業）を行う機械である。作業機械２０は、例えば、積込対象物をすくうことが可能でもよく、積込対象物を挟んで掴むことが可能でもよい。作業機械２０は、例えば建設作業を行う建設機械であり、例えば油圧ショベルなどである。

【0018】

作業機械２０は、下部走行体２１と、上部旋回体２３と、アタッチメント２５と、を備える。下部走行体２１は、作業機械２０を走行させる。下部走行体２１は、例えばクローラを備える。上部旋回体２３は、下部走行体２１に旋回可能に搭載される。上部旋回体２３は、キャブ２３ａを備える。

【0019】

アタッチメント２５は、積込対象物を移動させる部分である。アタッチメント２５は、ブーム２５ａと、アーム２５ｂと、先端アタッチメント２５ｃと、を備える。ブーム２５ａは、上部旋回体２３に起伏可能（上下に回転可能）に取り付けられる。アーム２５ｂは、ブーム２５ａに回転可能（押し引き可能）に取り付けられる。先端アタッチメント２５ｃは、アタッチメント２５の先端部に設けられ、アーム２５ｂに回転可能に取り付けられる。先端アタッチメント２５ｃは、積込対象物（例えば土砂）をすくうバケットでもよく、積込対象物を挟んで掴む装置（グラップルなど）でもよい。

【0020】

（容器計測システムの構成）
容器計測システムは、容器１２の三次元の情報（三次元情報）を計測するシステムである。「容器１２の三次元情報」は、三次元位置（三次元座標）および三次元形状を含む情報である。容器計測システムは、作業機械２０に対する容器１２の位置、方向、および形状を計測する。

【0021】

容器計測システム３０のブロック図である図３に示すように、容器計測システム３０は、距離画像取得部４０と、ディスプレイ（表示装置）５０と、コントローラ６０と、データ格納部７０と、を備える。

【0022】

距離画像取得部（距離画像取得手段）４０は、図２に示すような、容器１２を含む距離画像Ｄを取得する。距離画像Ｄは、距離の情報（奥行の情報）を含む画像である。距離画像取得部４０は、作業機械２０に設けられる。距離画像取得部４０は、作業機械２０が積込作業を行う際に、容器１２および容器１２の周辺部の距離画像Ｄを取得可能となる位置に配置される。距離画像取得部４０は、例えば、キャブ２３ａの内部に配置（設置）されてもよく、キャブ２３ａの外部に配置されてもよく、図１に示す例ではキャブ２３ａの上面に配置される。なお、距離画像取得部４０は、容器１２の距離画像Ｄを取得できるように、容器１２を自動追尾してもよい。

【0023】

図３に示すように、距離画像取得部４０は、二次元情報取得部４２と、三次元情報取得部４３と、を備える。二次元情報取得部４２は、容器１２を含む二次元の情報（画像）を取得する（撮像する）。二次元情報取得部４２は、カメラなどである。

【0024】

三次元情報取得部４３は、容器１２の三次元の情報（点群データ）を取得する。三次元情報取得部４３は、三次元情報取得部４３から容器１２の各部（詳細は後述）までの距離を計測する。具体的には例えば、三次元情報取得部４３は、ＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）を備えてもよく、ステレオカメラを備えてもよく、ＴＯＦ（Time Of Flight）センサを備えてもよい。

【0025】

ディスプレイ５０は、輸送車１０の運転室１１ａに設けられてもよく、作業機械２０のキャブ２３ａに設けられてもよく、輸送車１０の外部かつ作業機械２０の外部に設けられてもよい。

【0026】

コントローラ６０は、信号の入出力、判定、算出などの演算、情報の記憶などを行う。コントローラ６０は、画像処理部６１と、位置座標推定部６２と、三次元座標取得部６３と、座標変換部６４と、第１重畳部６５と、特徴点位置検出部６６と、を有している。

【0027】

画像処理部６１は、二次元情報取得部４２が取得した画像の前処理を行う。前処理は、画像からノイズを除去したり、画像内のエッジを強調したりする処理である。

【0028】

位置座標推定部６２は、画像処理部６１で前処理された画像から、容器１２の形状を推定する。具体的には、図２に示すように、位置座標推定部６２は、特徴点Ｆ（Ｆ１～Ｆ８）の画像における位置、および、リンクＬ（Ｌ１～Ｌ９）の画像における位置を抽出（認識、推定）する。位置座標推定部６２は、例えば、画像から特定の形状を抽出するソフトウェアを実行することで、特徴点ＦおよびリンクＬを抽出する。例えば、このソフトウェアは、ディープラーニング技術を用いたものなどである。これにより、位置座標推定部６２は、容器１２を含む画像、特徴点Ｆの画像における位置、および、リンクＬの画像における位置を含む二次元情報を取得する。

【0029】

図２に示すように、特徴点Ｆは、平面部１３の角に対応する点である。リンクＬは、特徴点Ｆ同士を結んだ線分であり、例えば平面部１３の辺に対応する。図２に示す例では、特徴点Ｆの位置は、鳥居面１３ｄの上端の２点の位置（Ｆ１、Ｆ２）、側部あおり板面１３ｃ・１３ｃの輸送車前側の上端の２点の位置（Ｆ３、Ｆ４）、および、後部あおり板面１３ｂの角の４点の位置（Ｆ５～Ｆ８）にそれぞれ対応する。例えば鳥居面１３ｄの下端が画像に映っている場合は、鳥居面１３ｄ下端の位置が特徴点Ｆとして抽出されてもよい（図１参照）。

【0030】

図２に示す例では、リンクＬの位置は、鳥居面１３ｄのうち側部あおり板面１３ｃよりも上側部分の四角形の４辺の位置（Ｌ１～Ｌ４）の位置にそれぞれ対応する。また、リンクＬの位置は、側部あおり板面１３ｃの上辺の位置（Ｌ５、Ｌ６）、および、後部あおり板面１３ｂの４辺（さらに詳しくは、後部あおり板面１３ｂとほぼ重なる四角形の４辺）（Ｌ７～Ｌ１０）にそれぞれ対応する。

【0031】

図３に戻って、三次元座標取得部６３は、三次元情報取得部４３が撮像した点群データの各々の三次元座標を取得する。座標変換部６４は、点群データの各々の三次元座標を透視投影変換して、点群データの各々の二次元座標を取得する。この二次元座標の座標系は、二次元情報取得部４２が取得した画像の座標系と一致する。

【0032】

第１重畳部６５は、座標変換部６４が取得した点群データの各々の二次元座標と、位置座標推定部６２が推定した容器１２の形状とを重畳させる。これにより、点群データの中から、図２に示す特徴点Ｆに対応する点がわかる。

【0033】

なお、機械座標などの座標系を用いて、点群データの各々の二次元座標と、推定した容器１２の形状とを重畳させてもよい。機械座標は、作業機械２０の特定の位置を原点とした座標である。機械座標の座標系を用いる場合、点群データの各々の二次元座標の座標系を、機械座標の座標系に一致させるとともに、二次元情報取得部４２が取得した画像の座標系を、機械座標の座標系に一致させる。

【0034】

特徴点位置検出部（算出手段）６６は、図２に示す特徴点ＦおよびリンクＬの三次元座標を検出（算出）する。具体的には、特徴点位置検出部６６は、第１重畳部６５で容器１２の形状と重畳された点群データのうち、図２に示す特徴点Ｆに対応する点の三次元座標を検出することで、特徴点Ｆの位置に対応する平面部１３の角の三次元座標を算出する。その結果、特徴点ＦをつなぐリンクＬの三次元情報も算出される。この算出により、容器１２（具体的には特徴点ＦおよびリンクＬ）の三次元情報が得られる。

【0035】

特徴点位置検出部６６が検出した容器１２の三次元情報を図４に示す。図４に示す例では、〇で囲ったように、８つの特徴点Ｆ（Ｆ１～Ｆ８）のうち、特徴点Ｆ１の三次元情報に誤りがある。このように、ディープラーニング技術などを用いても、特徴点を正確に抽出することができない場合がある。

【0036】

また、図３に示すように、コントローラ６０は、容器形状検出部６７と、容器特定部６８と、特徴点補正部６９と、第２重畳部７１と、第３重畳部７２と、表示制御部７３と、を有している。

【0037】

容器形状検出部６７は、特徴点位置検出部６６が算出した特徴点Ｆの三次元座標、および、リンクＬの三次元情報から、容器１２の三次元形状を検出する。

【0038】

容器形状検出部６７は、検出した容器１２の三次元形状において、８つの特徴点Ｆ（Ｆ１～Ｆ８）の各々をチェックする。そして、容器形状検出部６７は、三次元座標が正しい特徴点Ｆが３つ以上であれば、検出した容器１２の三次元形状を採用する。一方、容器形状検出部６７は、三次元座標が正しい特徴点Ｆが３つ未満であれば、検出した容器１２の三次元形状を不採用とする。この場合、特徴点位置検出部６６による、特徴点ＦおよびリンクＬの三次元座標の検出（算出）をやり直す。

【0039】

８つの特徴点Ｆをそれぞれチェックする方法は、以下のとおりである。まず、特徴点のチェック方法の説明図である図５に示すように、特徴点Ｆ１を基準とし、特徴点Ｆ１から特徴点Ｆ２に向かうベクトルＡと、特徴点Ｆ１から特徴点Ｆ３に向かうベクトルＢとの内積をとる。そして、ベクトル同士の角度をθとすると、ｃｏｓθが０か否かを判定する。そして、ｃｏｓθが０であれば、特徴点Ｆ１の三次元座標は正しいと判定し、ｃｏｓθが０でなければ、特徴点Ｆ１の三次元座標は誤っていると判定する。なお、８つの特徴点Ｆの各々の三次元座標の原点は、作業機械２０の任意の位置に設定される。

【0040】

次に、特徴点Ｆ２を基準とし、特徴点Ｆ２から特徴点Ｆ４に向かうベクトルＣと、特徴点Ｆ２から特徴点Ｆ１に向かうベクトル（－Ａ）（ベクトルＡとは逆方向のベクトル）との内積をとる。そして、同様の判定を行う。このような判定を、８つの特徴点Ｆ１～Ｆ８の各々で行う。

【0041】

図３に戻って、データ格納部（記憶手段）７０は、複数種類の容器の三次元形状を予め記憶している。容器特定部（特定手段）６８は、算出された容器１２の三次元形状と、データ格納部７０が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器１２の種類を特定する。

【0042】

ここで、容器特定部６８は、データ格納部７０が記憶する複数種類の容器の三次元形状の中から、算出された容器１２の三次元形状に最も近い三次元形状の容器を選択することで、容器の種類を特定する。

【0043】

距離画像から算出された容器の三次元情報に誤りがある場合、データ格納部７０が記憶する複数種類の容器の三次元形状の中に、距離画像から算出された容器１２の三次元形状に一致する三次元形状の容器がない場合がある。このような場合であっても、算出された容器１２の三次元形状に最も近い三次元形状の容器を選択することで、容器１２の種類を好適に特定することができる。

【0044】

特徴点補正部（補正手段）６９は、データ格納部７０が記憶する複数種類の容器の三次元形状のうち、特定された種類の容器の三次元形状に基づいて、算出された容器１２の三次元情報を補正する。このように、容器１２の三次元情報を補正することで、距離画像から算出された容器１２の三次元情報に誤りがあっても、容器１２の三次元情報を正確に算出することができる。

【0045】

容器１２の三次元情報は、様々な制御に用いることができる。例えば、作業機械２０の自動操縦に用いられてもよく、作業機械２０の操作のアシストに用いられてもよい。また、作業機械２０と容器１２との衝突を回避するための制御や、作業機械２０と容器１２との相対位置を自動的に変える制御、作業機械２０と容器１２との相対位置をオペレータなどに知らせる制御などに用いられてもよい。また、先端アタッチメント２５ｃの現在の位置から、積込対象物を解放する位置（解放位置（例えば排土位置））までの先端アタッチメント２５ｃの軌跡の計算に用いられてもよい。

【0046】

第２重畳部（重畳手段）７１は、画像処理部６１で前処理された画像と、補正された容器１２の三次元情報とを重畳させて第１重畳画像とする。ここで、図２に示すように、特徴点Ｆ５の位置に対応する平面部１３の角には、ＡＲマーカ８０が目印として設けられている。第２重畳部７１は、ＡＲマーカ８０を基準にして、画像と、補正された容器１２の三次元位置とを位置合わせする。そして、位置合わせした両者を重畳させて第１重畳画像とする。なお、位置合わせのための目印は、点灯するライト（ＬＥＤなど）などであってもよい。

【0047】

このように、ＡＲマーカ８０を基準にして、画像と、補正された容器１２の三次元位置とが位置合わせされる。これにより、位置合わせの精度を向上させることができるとともに、位置合わせを行う処理に要する負荷を軽減させることができる。

【0048】

図３に戻って、第３重畳部（重畳手段）７２は、三次元座標取得部６３が取得した点群データと、補正された容器１２の三次元情報とを重畳させて第２重畳画像とする。第３重畳部７２は、点群データと、補正された容器１２の三次元情報とを位置合わせした上で、両者を重畳させて第２重畳画像とする。なお、ＡＲマーカなどを目印にして位置合わせを行ってもよい。

【0049】

表示制御部（表示制御手段）７３は、第２重畳部で７１で作成された第１重畳画像を、ディスプレイ５０に表示させる。第１重畳画像を図６に示す。また、表示制御部７３は、第３重畳部で７２で作成された第２重畳画像を、ディスプレイ５０に表示させる。第２重畳画像を図７に示す。

【0050】

例えば、オペレータが作業機械２０を遠隔操作している場合に、オペレータは、第１重畳画像や第２重畳画像を視認することで、容器１２までの奥行き感を認識することができる。

【0051】

（容器計測システムの動作）
次に、容器計測処理のフローチャートである図８を参照して、容器計測システム３０の動作を説明する。

【0052】

まず、コントローラ６０は、二次元情報取得部４２から画像を取得し（ステップＳ１）、取得した画像の前処理を行う（ステップＳ２）。そして、コントローラ６０は、前処理された画像から、ディープラーニング技術などを用いて、容器１２の形状を推定する（ステップＳ３）。

【0053】

ステップＳ１～Ｓ３と同時に、コントローラ６０は、三次元情報取得部４３から点群データを取得し（ステップＳ４）、取得した点群データの各々の三次元座標を取得する（ステップＳ５）。そして、コントローラ６０は、点群データの各々の三次元座標を透視投影変換して、点群データの各々の二次元座標を取得する（ステップＳ６）。

【0054】

次に、コントローラ６０は、点群データの各々の二次元座標と、容器１２の形状とを重畳させる（ステップＳ７）。そして、コントローラ６０は、特徴点ＦおよびリンクＬの三次元座標を算出する（ステップＳ８）。そして、コントローラ６０は、特徴点Ｆの三次元座標、および、リンクＬの三次元情報から、容器１２の三次元形状を検出する（ステップＳ９）。

【0055】

次に、コントローラ６０は、８つの特徴点Ｆ（Ｆ１～Ｆ８）の各々をチェックする（ステップＳ１０）。そして、コントローラ６０は、三次元座標が正しい特徴点Ｆが３つ以上であるか否かを判定する（ステップＳ１１）。ステップＳ１１において、三次元座標が正しい特徴点Ｆが３つ以上でないと判定した場合には（Ｓ１１：ＮＯ）、コントローラ６０は、ステップＳ８に戻って、特徴点ＦおよびリンクＬの三次元座標の算出をやり直す。

【0056】

一方、ステップＳ１１において、三次元座標が正しい特徴点Ｆが３つ以上であると判定した場合には（Ｓ１１：ＹＥＳ）、コントローラ６０は、算出された容器１２の三次元形状と、データ格納部７０が記憶する複数種類の容器の三次元形状とに基づいて、容器１２の種類を特定する（ステップＳ１２）。そして、コントローラ６０は、特定された種類の容器の三次元形状に基づいて、算出された容器１２の三次元情報を補正する（ステップＳ１３）。

【0057】

次に、コントローラ６０は、第１重畳画像と、第２重畳画像とを作成する（ステップＳ１４）。具体的には、コントローラ６０は、前処理された画像と、補正された容器１２の三次元情報とを重畳させて第１重畳画像とする。また、コントローラ６０は、取得した点群データと、補正された容器１２の三次元情報とを重畳させて第２重畳画像とする。

【0058】

次に、コントローラ６０は、第１重畳画像や、第２重畳画像をディスプレイ５０に表示させる（ステップＳ１５）。そして、本フローを終了する。

【0059】

（効果）
以上に述べたように、本実施形態に係る容器計測システム３０によれば、取得された容器１２の距離画像に基づいて、容器１２の三次元位置および三次元形状を含む三次元情報が算出される。そして、算出された容器１２の三次元形状と、データ格納部７０が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器１２の種類が特定される。容器１２の種類が特定されると、特定された種類の容器の三次元形状に基づいて、算出された容器１２の三次元情報が補正される。このように、容器１２の三次元情報を補正することで、容器１２の距離画像から算出された容器１２の三次元情報に誤りがあっても、容器１２の三次元情報を正確に算出することができる。

【0060】

また、データ格納部７０が記憶する複数種類の容器の三次元形状の中から、算出された容器１２の三次元形状に最も近い三次元形状の容器が選択されることで、算出された容器１２の種類が特定される。容器１２の距離画像から算出された容器１２の三次元情報に誤りがある場合、データ格納部７０が記憶する複数種類の容器の三次元形状の中に、距離画像から算出された容器１２の三次元形状に一致する三次元形状の容器がない場合がある。このような場合であっても、算出された容器１２の三次元形状に最も近い三次元形状の容器を選択することで、算出された容器１２の種類を好適に特定することができる。

【0061】

また、取得された容器１２の距離画像と、補正された容器１２の三次元位置とが位置合わせされた上で、補正された容器１２の三次元情報が距離画像に重畳されて重畳画像（第１重畳画像、第２重畳画像）にされる。そして、重畳画像がディスプレイ５０に表示される。例えば、オペレータが作業機械２０を遠隔操作している場合に、オペレータは、重畳画像を視認することで、容器１２までの奥行き感を認識することができる。

【0062】

また、容器１２に設けられた目印（ＡＲマーカ８０）を基準にして、容器１２の距離画像と、補正された容器１２の三次元位置とが位置合わせされる。これにより、位置合わせの精度を向上させることができるとともに、位置合わせを行う処理に要する負荷を軽減させることができる。

【0063】

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。

【符号の説明】

【0064】

１０ 輸送車
１１ 本体部
１２ 容器
１３ 平面部
２０ 作業機械
２１ 下部走行体
２３ 上部旋回体
２５ アタッチメント
３０ 容器計測システム
４０ 距離画像取得部（距離画像取得手段）
４２ 二次元情報取得部
４３ 三次元情報取得部
５０ ディスプレイ（表示装置）
６０ コントローラ
６１ 画像処理部
６２ 位置座標推定部
６３ 三次元座標取得部
６４ 座標変換部
６５ 第１重畳部
６６ 特徴点位置検出部（算出手段）
６７ 容器形状検出部
６８ 容器特定部（特定手段）
６９ 特徴点補正部（補正手段）
７０ データ格納部（記憶手段）
７１ 第２重畳部（重畳手段）
７２ 第３重畳部（重畳手段）
７３ 表示制御部（表示制御手段）
８０ ＡＲマーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】