特開 2022-108814 三次元形状推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022108814

(43)【公開日】2022-07-27

(54)【発明の名称】三次元形状推定システム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20220720BHJP

   G01C 15/00 20060101ALI20220720BHJP

   E02F 9/20 20060101ALI20220720BHJP

   E02D 23/08 20060101ALI20220720BHJP

【ＦＩ】

G01B11/24 A

G01C15/00 104D

E02F9/20 C

E02D23/08 C

E02D23/08 F

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021003974

(22)【出願日】2021-01-14

(11)【特許番号】

(45)【特許公報発行日】2022-01-17

(71)【出願人】

【識別番号】000103769

【氏名又は名称】オリエンタル白石株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(74)【代理人】

【識別番号】100198214

【弁理士】

【氏名又は名称】眞榮城 繁樹

(72)【発明者】

【氏名】進藤 匡浩

(72)【発明者】

【氏名】亀井 聡

【テーマコード（参考）】

2D003

2F065

【Ｆターム（参考）】

2D003AA01

2D003DA04

2D003DB04

2D003DB05

2D003FA02

2F065AA04

2F065AA06

2F065AA53

2F065BB05

2F065BB15

2F065CC14

2F065DD06

2F065FF05

2F065FF11

2F065FF64

2F065FF65

2F065FF66

2F065FF67

2F065GG04

2F065HH04

2F065JJ01

2F065JJ03

2F065JJ05

2F065MM06

2F065MM16

2F065PP22

2F065QQ03

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ29

2F065QQ31

2F065UU05

(57)【要約】

【課題】作業室内に形成された土山の三次元形状を推定することができる三次元形状推定システムを提供する。
【解決手段】ニューマチックケーソン工法において用いられる作業室内に存在する土山Ｍの三次元形状を推定する三次元形状推定システムにおいて、ショベル１００と当該ショベル１００の周囲に位置する対象物との間の相対位置を計測する計測手段２１７と、上記計測手段２１７によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山Ｍの頂点位置，安息角，境界点位置を認識する土山認識手段２１８とを備えることを特徴とする。
【選択図】図９

【特許請求の範囲】

【請求項1】

ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、
ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、
上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置，安息角，境界点位置を認識する土山認識手段とを備えること
を特徴とする三次元形状推定システム。

【請求項2】

上記土山を撮像した深度画像データを取得する取得手段を更に備え、
上記計測手段は、上記取得手段により取得された深度画像データに基づいて上記ショベルと上記対象物との相対位置を計測すること
を特徴とする請求項１記載の三次元形状推定システム。

【請求項3】

上記深度画像データから、ＤＥＭデータ、三次元ポリゴンデータ、点群データのいずれかに変換する変換手段を更に備え、
上記計測手段は、上記変換手段により変換された上記ＤＥＭデータ、上記三次元ポリゴンデータ、上記点群データのうち、上記点群データに含まれる三次元座標に基づく高さ情報の比較処理、上記三次元ポリゴンデータに含まれる隣接するメッシュにおける凸データの検出処理、上記ＤＥＭデータに含まれる凸部の検出処理の何れかに基づいて上記土山の三次元形状計測すること
を特徴とする請求項２記載の三次元形状推定システム。

【請求項4】

上記土山認識手段は、上記土山の頂点位置を中心として、放射状に略均等角度となるように周辺位置情報を走査することで上記土山の安息角，境界点位置のいずれか１つ以上を認識すること
を特徴とする請求項１～３のうち何れか１項記載の三次元形状推定システム。

【請求項5】

上記計測手段は、作業室内で形状が変化する上記対象物をリアルタイムで計測し、
上記土山認識手段は、上記計測手段によりリアルタイムで計測された上記位置情報に基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１～４のうち何れか１項記載の三次元形状推定システム。

【請求項6】

上記計測手段により時間的に連続して計測された上記位置情報のうち、第１の計測データと上記第１の計測データの計測後に計測された第２の計測データとの差分データを検出する差分検出手段とを更に備え、
上記土山認識手段は、上記差分検出手段により検出された上記差分データに基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１～５のうち何れか１項記載の三次元形状推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元形状推定システムに関する。

【背景技術】

【0002】

従来より、掘削現場や自然環境の土木現場で積み込み対象物である土砂の形状を測定し、測定結果に基づきパワーショベル等の作業パターンを決定し、決定された作業パターンに沿って土砂を積み込むというプロセスが無人で行われている。例えば、特許文献１には、２つのカメラによる視差を利用したステレオ法により、掘削対象物までの距離を測定する自動掘削機が開示されている。

【0003】

更に、近年では、作業機械による作業の自動化を実現する場合、掘削対象物に関するパラメータを取得することも行われている。例えば特許文献２には、地山に関するパラメータとして、ホイールローダから地山までの距離を算出し、バケットで地山が掘削されるように、作業機を制御する技術が開示されている。地山に関するパラメータには、ホイールローダから地山までの距離、地山を構成する岩土の粒度、地山の高さ、地山の形状等が含まれる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１０－０８８６２５号公報

【特許文献2】特開２０１９－１７８５９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、作業室床部の地面を掘削し、掘削された土砂を地上に搬出しながらケーソンを地中に沈下させていくニューマチックケーソン工法では、遠隔にいる作業者が作業室内の掘削機を遠隔操作することにより地盤の掘削が進められる。しかしながら、作業室内には現場環境を十分に把握することができるだけのカメラの数を確保し難いため、搬出すべき土砂の形状の測定が難しくなる。

【0006】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、作業室内に形成された土山の三次元形状を推定することができる三次元形状推定システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明を適用した三次元形状推定システムは、ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置，安息角，境界点位置を認識する土山認識手段とを備えることを特徴とする。

【発明の効果】

【0008】

上述した構成からなる本発明によれば、作業室内の土山の頂点位置と安息角とに基づいて、作業室内に形成された土山の三次元形状を推定することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施の形態に係るニューマチックケーソン工法の主要設備を示す縦断面図である。

【図2】図２は、本発明の実施の形態に係る作業機の一例である掘削機の側面図である。

【図3】図３は、本発明の実施の形態に係る掘削機における制御系統を示すブロック図である。

【図4】図４は、本発明の実施の形態に係る三次元形状推定システムの動作の一例を示すフローチャートである。

【図5】図５（ａ）～図５（ｄ）は、時間経過とともに変化する土山の形状を示す模式的斜視図である。

【図6】図６は、複数の領域に分割された画像領域を示す図である。

【図7】図７は、高さ情報が含まれた分割後の画像領域を示す図である。

【図8】図８は、画像領域中の頂点と境界を示す図である。

【図9】図９（ａ）～図９（ｄ）は、土山の安息角を示す図である。

【発明を実施するための形態】

【0010】

三次元形状推定システム
以下、本発明を適用した三次元形状推定システムについて、図面を参照しながら詳細に説明をする。

【0011】

図１は、本発明に係る作業機の一例である掘削機が用いられるニューマチックケーソン工法の主要設備の一例を示す図である。ニューマチックケーソン工法は、掘削設備Ｅ１、艤装設備Ｅ２、排土設備Ｅ３、送気設備Ｅ４及び予備・安全設備Ｅ５を用いて、鉄筋コンクリート製のケーソン１を地中に沈下させていくことにより、地下構造物を構築する。

【0012】

掘削設備Ｅ１は、例えば、掘削機１００（以下、ケーソンショベル１００という）と、土砂自動積込装置１１と、地上遠隔操作室１３とを備える。ケーソンショベル１００は、ケーソン１の底部に設けられた作業室２内に設置される。土砂自動積込装置１１は、ケーソンショベル１００により掘削された土砂を円筒状のアースバケット３１に積み込む。地上遠隔操作室１３は、ケーソンショベル１００の作動を地上から遠隔操作する遠隔操作装置１２を備える。

【0013】

艤装設備Ｅ２は、例えば、マンシャフト２１と、マンロック２２（エアロック）と、マテリアルシャフト２３と、マテリアルロック２４（エアロック）とを備える。マンシャフト２１は、作業者が作業室２へ出入りするために地上と作業室２とを繋ぐ円筒状の通路であり、例えば、螺旋階段２５が設けられている。マンロック２２は、マンシャフト２１に設けられ地上の大気圧と作業室２内の圧力差を調節する二重扉構造の気密扉である。マテリアルシャフト２３は、土砂自動積込装置１１により土砂が積み込まれたアースバケット３１を地上に運び出すために地上と作業室２とを繋ぐ円筒状の通路である。マテリアルロック２４は、材料等を搬出入するためのマテリアルシャフト２３に設けられた地上の大気圧と作業室２内の圧力差を調節する二重扉構造の気密扉である。マンロック２２およびマテリアルロック２４は、作業室２内の気圧が変化することを抑えて作業者やアースバケット３１を作業室２へ出入りさせることが可能になるように構成されている。作業室２内の土砂自動積込装置１１付近の掘削地面Ｇ上には、ケーソンショベル１００により掘削された土砂が順次積み重ねられて土山Ｍが形成される。

【0014】

排土設備Ｅ３は、例えば、アースバケット３１と、キャリア装置３２と、土砂ホッパー３３とを備える。アースバケット３１は、ケーソンショベル１００により掘削された土砂が積み込まれる有底円筒状の容器である。キャリア装置３２は、アースバケット３１を、マテリアルシャフト２３を介して地上まで引き上げて運び出す装置である。土砂ホッパー３３は、アースバケット３１およびキャリア装置３２により地上に運び出された土砂を一時的に貯めておく設備である。

【0015】

送気設備Ｅ４は、例えば、空気圧縮機４２と、空気清浄装置４３と、送気圧力調整装置４４と、自動減圧装置４５とを備える。空気圧縮機４２は、送気管４１およびケーソン１に形成された送気路３を介して作業室２内に圧縮空気を送る装置である。空気清浄装置４３は、空気圧縮機４２により送り込む圧縮空気を浄化する装置である。送気圧力調整装置４４は、作業室２内の気圧が地下水圧と略等しくなるように空気圧縮機４２から作業室２内へ送る圧縮空気の量（圧力）を調整する装置である。自動減圧装置４５は、マンロック２２内の気圧を減圧する装置である。

【0016】

予備・安全設備Ｅ５は、例えば、非常用空気圧縮機５１と、ホスピタルロック５３とを備える。非常用空気圧縮機５１は、空気圧縮機４２の故障又は点検などの時に空気圧縮機４２に代わって作業室２内に圧縮空気を送ることが可能な装置である。ホスピタルロック５３は、作業室２内で作業を行った作業者が入り、当該作業者の身体を徐々に大気圧に慣らしていくための減圧室である。

【0017】

次に、本発明に係るケーソンショベル１００について図２～図３を用いて説明する。ケーソンショベル１００は、図２に示すように、例えば、走行体１１０と、ブーム１３０と、バケットアタッチメント１５０とを備える。走行体１１０は、作業室２の天井部に設けられた左右一対の走行レール４に取り付けられ、左右の走行レール４に懸下された状態で走行レール４に沿って走行移動する。ブーム１３０は、走行体１１０の旋回フレーム１２１に上下方向に揺動可能に枢結される。バケットアタッチメント１５０は、ブーム１３０の先端部に取り付けられる。

【0018】

走行体１１０は、走行フレーム１１１と、旋回フレーム１２１と、走行ローラ１１３とを備える。旋回フレーム１２１は、走行フレーム１１１の下面側に旋回自在に設けられる。走行ローラ１１３は、走行フレーム１１１の上面側前後に、設けられている前後左右の４個のローラである。走行体１１０は、前後左右の走行ローラ１１３を回転駆動させて左右の走行レール４に沿って走行移動するように構成されている。

【0019】

ブーム１３０は、例えば、基端ブーム１３１と、先端ブーム１３２と、伸縮シリンダ１３３と、起伏シリンダ１３４とを備える。基端ブーム１３１は、旋回フレーム１２１に起伏自在（上下方向に揺動自在）に取り付けられる。先端ブーム１３２は、基端ブーム１３１に入れ子式に組み合わされ、構成される。伸縮シリンダ１３３は、基端ブーム１３１内に設けられている。起伏シリンダ１３４は、基端ブーム１３１の左右に２個設けられている。ブーム１３０は、伸縮シリンダ１３３を伸縮させると、基端ブーム１３１に対して先端ブーム１３２が長手方向に移動し、これによりブーム１３０が伸縮するように構成されている。２個の起伏シリンダ１３４の基端部は基端ブーム１３１の左右側部にそれぞれ回動自在に取り付けられている。

【0020】

バケットアタッチメント１５０は、ベース部材１５１と、バケット１５２と、バケットシリンダ１５３とを備える。ベース部材１５１は、先端ブーム１３２に取り付けられる。バケット１５２は、ベース部材１５１の先端部に上下揺動自在に取り付けられる。バケットシリンダ１５３は、ベース部材１５１に対してバケット１５２を上下揺動させるように構成される。

【0021】

コントロールユニット１６５は、図３に示すように、メインコントローラ１６５ａと、走行体用コントローラ１６５ｂと、ブーム・バケット用コントローラ１６５ｃとを備える。メインコントローラ１６５ａは、遠隔操作装置１２からの操作信号を受けて、その操作信号に応じた駆動制御信号を出力する。走行体用コントローラ１６５ｂは、メインコントローラ１６５ａから出力された駆動制御信号に応じて、走行体１１０を駆動させるように構成されている。メインコントローラ１６５ａおよび走行体用コントローラ１６５ｂは、走行体１１０の旋回フレーム１２１に配設されている。ブーム・バケット用コントローラ１６５ｃは、メインコントローラ１６５ａから出力された駆動制御信号に応じて、ブーム１３０およびバケットアタッチメント１５０を駆動させるように構成されている。ブーム・バケット用コントローラ１６５ｃは、ブーム１３０の基端ブーム１３１の側部に配設されている。

【0022】

ケーソンショベル１００は、図３に示すように、例えば、走行体位置センサ２０１と、旋回角度センサ２０２と、ブーム起伏角度センサ２０３と、ブーム伸長量センサ２０４と、バケット揺動角度センサ２０５と、外界センサ２０６とを備える。走行体位置センサ２０１は、走行体１１０が走行レール４の何処の位置に位置しているかを検出する。旋回角度センサ２０２、走行フレーム１１１に対する旋回フレーム１２１の旋回角度を検出する。ブーム起伏角度センサ２０３は、旋回フレーム１２１に対するブーム１３０の起伏角度を検出する。ブーム伸長量センサ２０４は、ブーム１３０の伸長量を検出する。バケット揺動角度センサ２０５は、ブーム１３０（バケットアタッチメント１５０のベース部材１５１）に対するバケット１５２の揺動角度を検出する。外界センサ２０６は、走行体１１０に設けられて作業室２内の掘削地面Ｇまでの距離、掘削地面Ｇの形状などの情報を取得する。

【0023】

走行体位置センサ２０１は、例えば、走行体１１０の走行フレーム１１１に配設されたレーザセンサによって構成される。走行体位置センサ２０１は、レーザ光を走行レール４の端部（もしくは作業室２の壁部）に向けて照射して走行レール４の端部（もしくは作業室２の壁部）において反射して戻ってくるまでの時間を測定する。走行体位置センサ２０１は、この時間に基づいて走行レール４の端部（もしくは作業室２の壁部）から走行体１１０までの距離を検出する。旋回角度センサ２０２は、例えば、走行体１１０の旋回フレーム１２１に配設された光学式のロータリーエンコーダによって構成される。旋回角度センサ２０２は、走行フレーム１１１に対する旋回フレーム１２１の旋回量を電気信号に変換する。旋回角度センサ２０２は、その信号を演算処理して旋回フレーム１２１の旋回角度（旋回方向および位置）を検出する。なお、走行体位置センサ２０１および旋回角度センサ２０２は一例を説明したもので、走行体の二次元的な位置を検出する他のセンサ、旋回フレーム１２１の旋回角度を検出する他のセンサをそれぞれ用いてもよい。

【0024】

ブーム起伏角度センサ２０３は、例えば、起伏シリンダ１３４のシリンダボトムの側部に配設されたレーザセンサによって構成される。ブーム起伏角度センサ２０３は、レーザ光を旋回フレーム１２１に向けて照射して旋回フレーム１２１において反射して戻ってくるまでの時間を測定する。ブーム起伏角度センサ２０３は、この時間に基づいて起伏シリンダ１３４の伸長量を検出し、その起伏シリンダ１３４の伸長量に基づいて旋回フレーム１２１に対するブーム１３０の起伏角度（起伏位置）を検出する。ブーム起伏角度センサ２０３も一例を説明したものであり、光学式ロータリーエンコーダ、ポテンショメータなどによりブーム１３０の起伏角を直接検出する他のセンサを用いてもよい。

【0025】

ブーム伸長量センサ２０４は、例えば、ブーム１３０の基端ブーム１３１に配設されたレーザセンサによって構成される。ブーム伸長量センサ２０４は、レーザ光を先端ブーム１３２の先端部に取り付けられたバケットアタッチメント１５０のベース部材１５１に向けて照射してベース部材１５１において反射して戻ってくるまでの時間を測定する。ブーム伸長量センサ２０４は、この時間に基づいてブーム１３０の伸長量（基端ブーム１３１に対する先端ブーム１３２の伸長量）を検出する。ブーム伸長量センサ２０４も一例を説明したものであり、ブーム伸縮とともに伸縮するケーブルの伸長量を直接測定する他のセンサを用いてもよい

【0026】

バケット揺動角度センサ２０５は、例えば、バケットシリンダ１５３の油路に配設された流量センサによって構成される。バケット揺動角度センサ２０５は、バケットシリンダ１５３に供給される作動油の流量を検出し、その流量の積分値を算出する。バケット揺動角度センサ２０５は、この流量積分値に基づいてバケットシリンダ１５３のピストンロッドの伸長量を求め、そのバケットシリンダ１５３の伸長量に基づいて、バケットアタッチメント１５０のベース部材１５１（ブーム１３０）に対するバケット１５２の揺動角度（揺動位置）を検出する。バケット揺動角度センサ２０５も一例を説明したものであり、光学式ロータリーエンコーダ、ポテンショメータなどによりバケット１５２の揺動角度を直接検出他のセンサや、レーザセンサによりバケットシリンダ１５３の伸長量を求める他のセンサを用いてもよい。

【0027】

外界センサ２０６は、例えば、走行体１１０の旋回フレーム１２１に配設されたＲＧＢ‐Ｄセンサによって構成される。外界センサ２０６は、掘削地面ＧのＲＧＢ画像（カラー画像）および距離画像を取得し、それらの画像に基づいて掘削地面Ｇまでの距離情報および掘削地面Ｇの形状情報を取得する。外界センサ２０６は、ＲＧＢ‐Ｄセンサの他の例として、ステレオカメラや超音波距離計、レーザセンサなどを用いてもよい。

【0028】

走行体位置センサ２０１、旋回角度センサ２０２、ブーム起伏角度センサ２０３、ブーム伸長量センサ２０４、バケット揺動角度センサ２０５及び外界センサ２０６により検出されたそれぞれの情報は、コントロールユニット１６５のメインコントローラ１６５ａに送信される。メインコントローラ１６５ａは、走行体位置測定部２１１と、バケット位置測定部２１２と、地盤形状測定部２１３と、画像分割部２１４と、取得部２１５と、変換部２１６と、計測部２１７と、土山認識部２１８と、差分検出部２１９とを備える。また、本実施の形態に係る三次元形状推定システム２００は、外界センサ２０６、画像分割部２１４と、取得部２１５と、変換部２１６と、計測部２１７と、土山認識部２１８と、差分検出部２１９を含んで構成されている。

【0029】

走行体位置測定部２１１は、走行体位置センサ２０１により検出された走行レール４の端部（もしくは作業室２の壁部）から走行体１１０までの距離情報と、当該走行レール４が作業室２内の何処の位置に設けられた走行レールであるかという情報（この情報は、走行体１１０が取り付けられた走行レール４の情報であり、走行体１１０が取り付けられたときに走行体位置測定部２１１に設定される）とを用いて、走行体１１０が作業室２内の何処に位置しているかを算出する。また、走行体位置センサ２０１による距離情報の検出を周囲複数箇所に対して検出することにより走行体１１０の天井内における二次元的な位置（走行体１１０の向きを含む位置）を検出しても良い。

【0030】

バケット位置測定部２１２は、旋回角度センサ２０２により検出された走行フレーム１１１に対する旋回フレーム１２１の旋回角度（旋回方向および位置）と、ブーム起伏角度センサ２０３により検出された旋回フレーム１２１に対するブーム１３０の起伏角度（起伏位置）と、ブーム伸長量センサ２０４により検出されたブーム１３０の伸長量と、バケット揺動角度センサ２０５により検出されたブーム１３０に対するバケット１５２の揺動角度（揺動位置）とを用いて、走行体１１０の走行フレーム１１１に対するバケット１５２の位置を算出する。

【0031】

地盤形状測定部２１３は、走行体位置測定部２１１により求められた作業室２内における走行体１１０の位置と、および旋回角度センサ２０２により検出された走行フレーム１１１に対する旋回フレーム１２１の旋回角度（旋回方向および位置）とを用いて、旋回フレーム１２１に設けられた外界センサ２０６の位置と、外界センサ２０６により距離情報を取得する方向と、外界センサ２０６により距離情報を取得する掘削地面Ｇの位置とを算出する。

【0032】

画像分割部２１４は、外界センサ２０６により取得された掘削地面ＧのＲＧＢ画像等を分割する。例えば、作業室２内における掘削地面Ｇ及び土山Ｍの画像をｘｙ平面上で複数の格子状の画像領域に分割する。

【0033】

取得部２１５は、外界センサ２０６により取得された、土山を撮像した深度画像データを取得する。深度画像データは、計測点から対象までの距離情報や角度情報，座標情報などの三次元的な関係を複数取得したとき，それらを規則的に記録したデータのことである。例えば、縦方向および横方向に並ぶ多数の画素により構成されており、詳細には多数の画素に対応するデータの集合である。深度画像データは、画素毎に奥行き情報を含んでもよい。

【0034】

変換部２１６は、深度画像データから、ＤＥＭ（Digital Elevation Model）データ、三次元ポリゴンデータ、点群データのいずれかに変換する。具体的には、変換部２１６は、取得部２１５により取得された深度画像データを、ＤＥＭデータ、三次元ポリゴンデータ、点群データ等の三次元データに変換する。ＤＥＭデータは、一定間隔のメッシュで画定される各区画の高さ情報を含む。三次元ポリゴンデータは、例えば三次元座標上に示される複数の点によって表される領域の位置情報と、その領域に関連付けられた情報とを有するデータである。点群データは、例えば土山をレーザによりスキャンすることで得られる３次元データである。

【0035】

計測部２１７は、取得部２１５により取得された深度画像データに基づいてケーソンショベル１００と対象物との相対位置を計測する。具体的には、計測部２１７は、変換部２１６により変換されたＤＥＭデータ、三次元ポリゴンデータ、点群データのうち、点群データに含まれる三次元座標に基づく高さ情報の比較処理、三次元ポリゴンデータに含まれる隣接するメッシュにおける凸データの検出処理、ＤＥＭデータに含まれる凸部の検出処理の何れかに基づいて土山Ｍの三次元形状を、リアルタイムで計測する。

【0036】

土山認識部２１８は、計測部２１７によって計測されたケーソンショベル１００と対象物の一例である土山Ｍとの相対位置に基づく位置情報から、土山Ｍの頂点位置，安息角，境界点位置を認識する。

【0037】

差分検出部２１９は、外界センサ２０６により時間的に連続して撮像された土山Ｍの複数の画像データのうち、第１の画像データと第１の画像データの撮像後に撮像された第２の画像データとの差分データを検出する。土山Ｍは、ケーソンショベル１００により掘削された土砂が積み重ねられることにより形状が変化する。差分検出部２１９は、形状が変化する前の土山Ｍと形状が変化した後の土山Ｍの画像データを比較して画像データの差分データを検出する。

【0038】

次に、本実施形態における三次元形状推定システム２００の動作の一例について説明する。土山Ｍの三次元形状は、ＲＧＢ‐Ｄセンサによって得られた距離画像の情報から土山の位置と角度を算出することにより求められる。例えば、土山Ｍの三次元形状は、距離画像の１ピクセルに該当する三次元の点の集合である点群から直接、隣接点との高さ座標比較による頂点検索で土山の位置と角度を算出することにより求めることもできる。以下においては、土山Ｍの画像データを水平面で複数の画像領域に分割するとともに、分割された各画像領域を解析する工程を経ることで土山Ｍの三次元形状を推定する例を説明する。

【0039】

図４は、本実施形態における三次元形状推定システム２００の動作の一例を示すフローチャートである。なお、以下の説明では、一例として深度画像データをもとにＤＥＭデータを作成し、ＤＥＭデータを解析して土山Ｍの形状を推定する場合について説明する。

【0040】

ステップＳ１１０において、取得部２１５は、深度画像データを取得する。即ち、取得部２１５は、土山Ｍを撮像した深度画像データを取得する。なお、取得部２１５による深度画像データ取得のタイミングは任意である。

【0041】

図５（ａ）～（ｄ）に、深度画像データの基になる、外界センサ２０６により撮像される土山Ｍの斜視図を示す。図５（ａ）～（ｄ）は、作業室２内の掘削地面Ｇ上における土山Ｍの体積増加の過程を示す。土山Ｍの体積は、ケーソンショベル１００により掘削された土砂の積み重ねにより、図５（ａ）から図５（ｄ）の順に、作業室２内の同じ場所において時間経過とともに増加する。土山Ｍは、体積の増加に伴い、ｘｙ方向に広がるとともに、ｚ方向の高さが増大する。

【0042】

例えば、図５（ａ）に示すように、ケーソンショベル１００が掘削地面Ｇの一部を掘削すると、掘削地面Ｇ上には土山Ｍ（１）が形成される。その後、図５（ｂ）に示す土山Ｍ（２）、図５（ｃ）に示す土山Ｍ（３）、図５（ｄ）に示す土山Ｍ（４）の順に成長するとともに山型の形状を示すように体積が増加する。

【0043】

ステップＳ１２０において、変換部２１６は、土山Ｍの画像データを、深度画像データから三次元データ（ＤＥＭデータ）に変換する。変換部２１６は、外界センサ２０６により撮像された土山Ｍの画像データに基づいて、深度画像データを水平面Ｈ（ｘｙ平面）において複数の画像領域に分割されたＤＥＭデータに変換する。

【0044】

図６に、複数に分割された画像領域の一例を示す。外界センサ２０６による撮像の範囲に含まれる土山Ｍ及び掘削地面Ｇの画像データは、複数の領域に分割される。図６では、説明の都合上、土山Ｍの図示は省略しており、掘削地面Ｇに対応した領域のみを示している。画像データは、例えばｘ方向に沿ってｍ個、ｙ方向に沿ってｎ個に分割され、水平面Ｈにおいてｍ行ｎ列の格子状の領域から構成されている。なお、ｘ方向、ｙ方向に沿った分割の個数は任意である。

【0045】

ステップＳ１３０において、計測部２１７は、ケーソンショベル１００と対象物である土山Ｍとの相対位置を計測する。即ち、計測部２１７は、ステップＳ１３０において、ｍ行ｎ列に分割された複数の画像領域Ｒ（１、１），Ｒ（２、１）、・・・Ｒ（ｍ、ｎ）の各領域について取得されたｘ，ｙ，ｚの各方向における値に相当する高さ情報に基づいて、ケーソンショベル１００と対象物との相対位置を計測する。

【0046】

図７に、各画像領域Ｒ（１、１），Ｒ（２、１）、・・・Ｒ（ｍ、ｎ）の高さの情報（高さ情報）を含むＤＥＭデータを示す。ここでは、一例としてｘ方向ｙ方向いずれも１３区画の画像領域が含まれている例について説明する。ＤＥＭデータは、対象となる土山Ｍの点群データから形成される。なお、点群データとは、平面座標と高さ情報（ｘ，ｙ，ｚの各方向における値）からなる三次元の空間情報を有する点データの集合である。ＤＥＭデータは、一定間隔のメッシュで画定される各区画の高さ情報を含む。また、各メッシュの中心点のｚ座標の値を、そのメッシュの高さとする。なお、各メッシュのうちで一番ｚ座標の値が大きな箇所を、そのメッシュの高さとしてもよい。

【0047】

図７に、メッシュで区画される各区画の高さ情報の例を示す。ＤＥＭデータは、ｘ、ｙ、ｚ座標の値によって構成されるが、ここでは高さを示すｚ座標の値のみを示す。なお、本実施の形態では、掘削地面Ｇの高さ、即ちｚ座標の値は０であることとする。図７中のハッチングで示す領域が土山Ｍに相当し、特にドットで示す画像領域Ｒ（８、７）は頂点位置が存在する領域である。

【0048】

ステップＳ１４０において、土山認識部２１８は土山Ｍの三次元形状を推定する。即ち、土山認識部２１８は、ケーソンショベル１００と土山Ｍとの相対位置に基づく位置情報から、土山Ｍの頂点Ｐの位置、４つの安息角θ１～θ４、境界Ｌの位置に基づいて、土山Ｍの傾斜角度、広がり等を推定する。

【0049】

土山Ｍの頂点Ｐの位置とは、土山Ｍのうち高さ（ｚ座標の値）が一番大きな値を示す位置である。具体的には、図７のＤＥＭデータにおける格子状の領域のうち、ｚ座標の値が一番大きな値を示す領域の中心位置を土山Ｍの頂点Ｐの位置と規定する。図７のＤＥＭデータのうち、ｚ座標の値としては１０が最大値であり、この１０を示す格子状の領域は画像領域Ｒ（８、７）に相当する。そこで、ｚ座標の値が１０を示す画像領域Ｒ（８、７）の中心位置を土山Ｍの頂点Ｐの位置と規定する。土山Ｍは、頂点Ｐを中心として放射状に広がる形状を有している。

【0050】

なお、頂点Ｐの位置は、格子状に分割された領域の中心位置以外の位置であってもよい。また、ＤＥＭデータにおける格子状の領域のうち、ｚ座標の値が最大値を示す領域が複数存在した場合、最大値を示す領域が２箇所であればその２箇所の領域の中心位置同士を結ぶ線分の中点を土山Ｍの頂点Ｐの位置と規定すればよく、最大値を示す領域が３箇所以上であればその３箇所以上の領域の中心位置同士を結ぶ多角形の重心位置を土山Ｍの頂点Ｐの位置と規定すればよいが、これに限定されるものではない。

【0051】

境界Ｌとは、土山Ｍと掘削地面Ｇとの境界を示すための便宜的に規定された仮想線である。具体的には、境界Ｌは、頂点Ｐから離間する過程でｚ座標の値が最小のメッシュ状の領域が連続した場合、連続する領域のうち頂点Ｐからより離間する側の領域（以下「基準領域」と称する）の中心位置同士を結ぶことにより得られた、ｘｙ平面における土山Ｍの概略的な形状を示す図形である。

【0052】

図７のＤＥＭデータのうち、ｚ座標の値としては掘削地面Ｇに相当する場所の０が最小である。例えば、図８に示すように、ｘ方向に沿ってｚ座標の値が０を示す基準領域に向けて頂点Ｐの位置から離間する場合、ｚ座標の値は画像領域Ｒ（８、７）の高さ１０から画像領域Ｒ（９、７）の高さ７、画像領域Ｒ（１０、７）の高さ４、画像領域Ｒ（１１、７）の高さ２を経て画像領域Ｒ（１２、７）及び画像領域Ｒ（１３、７）の高さ０へと減少する。基準領域は、画像領域Ｒ（１３、７）であるため、この画像領域Ｒ（１３、７）の中心位置を境界Ｌの基準として採用する。同様に、頂点Ｐから放射状に延びる各方向において基準画像領域Ｒの中心位置を境界Ｌの基準として採用し、これらの中心位置同士を結ぶことで境界Ｌが得られる。

【0053】

なお、頂点Ｐから離間する過程で最初にｚ座標の値が０となる領域を基準領域としてもよい。また、ｚ座標の値が０である領域が３箇所以上連続した場合には、頂点Ｐから一番離間した領域を基準領域とすればよいが、これらに限定されるものではない。

【0054】

また、土山の位置と角度を算出する際には、ＲＧＢ‐Ｄセンサ（ＬｉＤＡＲ：Light Detection and Ranging）によって得られた距離画像の情報から、エッジ検出で土山の位置と角度を算出してもよい。また、距離画像の１ピクセルに該当する三次元の点の集合である点群から直接、隣接点との高さ座標比較による頂点検索で土山の位置と角度を算出することもできる。その他、距離画像の点群からポリゴンに近似して、隣接面とのなす角を比較して頂点検索して土山の位置と角度を算出することもできる。要するに、ＲＧＢ‐Ｄセンサによって得られた距離画像の情報から土山の位置と角度を算出することができればどのような手法であっても構わない。

【0055】

図８には、頂点Ｐと一点鎖線で示す境界Ｌ、更に頂点Ｐと境界Ｌとを結ぶ４本の線分Ｓが示されている。４本の線分Ｓは、頂点Ｐの位置を中心として放射状に略均等角度となるように設けられている。具体的には、４本の線分Ｓは、時計回りにほぼ９０度間隔で配置されている。線分Ｓ１は、頂点Ｐと基準領域である画像領域Ｒ（８、１３）における境界Ｌとを結ぶ線分である。線分Ｓ２は、頂点Ｐと基準領域である画像領域Ｒ（１３、７）における境界Ｌとを結ぶ線分である。線分Ｓ３は、頂点Ｐと基準領域である画像領域Ｒ（８、１）における境界Ｌとを結ぶ線分である。線分Ｓ４は、頂点Ｐと基準領域である画像領域Ｒ（２、７）における境界Ｌとを結ぶ線分である。このように、４本の線分Ｓが頂点Ｐを中心として放射状に略均等角度となるように設けられているため、土山Ｍの形状を精度良く推定することができる。なお、各線分Ｓは、頂点Ｐが位置するメッシュ状の領域における任意の点と、メッシュ状の各画像領域Ｒ（８、１３）、画像領域Ｒ（１３、７）、画像領域Ｒ（８、１）、画像領域Ｒ（２、７）における任意の点を結んでもよい。

【0056】

なお、頂点Ｐと境界Ｌとを結ぶ線分Ｓの本数は、４以外の数（２、３、５、６…ｎ）であってもよい。線分Ｓの本数が多いほどより多くの安息角についてのデータが得られるため、土山Ｍの形状の推定の精度を向上させることができる。

【0057】

図９に、土山Ｍの４つの安息角θを示す。安息角θは、頂点Ｐの位置と境界Ｌの位置により算出することができる。安息角θ１は、頂点Ｐと基準領域である画像領域Ｒ（８、１３）における境界Ｌとを結ぶ線分Ｓ１と水平面Ｈとのなす角である。安息角θ２は、頂点Ｐと基準領域である画像領域Ｒ（１３、７）における境界Ｌとを結ぶ線分Ｓ２と水平面Ｈとのなす角である。安息角θ３は、頂点Ｐと基準領域である画像領域Ｒ（８、１）における境界Ｌとを結ぶ線分Ｓ３と水平面Ｈとのなす角である。安息角θ４は、頂点Ｐと基準領域である画像領域Ｒ（２、７）における境界Ｌとを結ぶ線分Ｓ４と水平面Ｈとのなす角である。

【0058】

なお、土山認識部２１８は、時間的に連続して撮像された土山Ｍの複数の画像データのうち、連続する画像データの差分データを検出する差分検出部２１９により検出された差分データに基づいて土山Ｍの三次元形状を推定してもよい。例えば、図５（ｃ）、（ｄ）に示す土山Ｍの画像データを、それぞれ時間的に連続して撮像された第１の画像データと第２の画像データとした場合、差分検出部２１９は第１の画像データと第２の画像データの差分を検出する。この差分を利用して、現時点では形成されていない、土山Ｍの三次元形状を推定することができる。

【0059】

上述した構成からなる本発明によれば、作業室２内の土山Ｍの頂点Ｐの位置と安息角θとに基づいて、作業室２内に形成された土山Ｍの三次元形状を推定することができる。また、複数の線分Ｓは、水平面Ｈ上で土山Ｍの頂点Ｐを中心として放射状に略均等角度となるように設けられている。このため、土山Ｍの三次元形状を精度良く推定することができる。また、土山Ｍの三次元形状は、外界センサ２０６によりリアルタイムで撮像された画像データに基づいて推定される。このため、最新の土山Ｍの三次元形状を推定することができる。時間的に連続して撮像された土山Ｍの複数の画像データのうち、連続する画像データの差分データを検出する差分検出部２１９により検出された差分データに基づいて土山Ｍの三次元形状が推定される。これにより、現時点では形成されていな土山Ｍの三次元形状を推定することができる。

【0060】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0061】

１ ケーソン
２ 作業室
３ 送気路
４ 走行レール
１１ 土砂自動積込装置
１２ 遠隔操作装置
１３ 地上遠隔操作室
１００ 掘削機（ケーソンショベル）
１１０ 走行体
１３０ ブーム
１５０ バケットアタッチメント
２００ 三次元形状推定システム
２０６ 外界センサ
２１４ 画像分割部
２１５ 取得部
２１６ 変換部
２１７ 計測部
２１８ 土山認識部
２１９ 差分検出部
Ｇ 掘削地面
Ｈ 水平面
Ｌ 境界
Ｍ 土山
Ｐ 頂点
Ｒ 画像領域
Ｓ 線分
θ 安息角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2021-04-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、
ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、
上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置，安息角，境界点位置を認識する土山認識手段と
上記土山を撮像した深度画像データを取得する取得手段とを備え、
上記計測手段は、上記取得手段により取得された深度画像データに基づいて上記ショベルと上記対象物との相対位置を計測し、
上記深度画像データから、ＤＥＭデータ、三次元ポリゴンデータのいずれかに変換する変換手段を更に備え、
上記計測手段は、上記変換手段により変換された上記ＤＥＭデータ、上記三次元ポリゴンデータのうち、上記三次元ポリゴンデータに含まれる隣接するメッシュにおける凸データの検出処理、上記ＤＥＭデータに含まれる凸部の検出処理の何れかに基づいて上記土山の三次元形状計測すること
を特徴とする三次元形状推定システム。

【請求項2】

上記土山認識手段は、上記土山の頂点位置を中心として、放射状に均等角度となるように周辺位置情報を走査することで上記土山の安息角，境界点位置のいずれか１つ以上を認識すること
を特徴とする請求項１記載の三次元形状推定システム。

【請求項3】

上記計測手段は、作業室内で形状が変化する上記対象物をリアルタイムで計測し、
上記土山認識手段は、上記計測手段によりリアルタイムで計測された上記位置情報に基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１又は請求項２記載の三次元形状推定システム。

【請求項4】

上記計測手段により時間的に連続して計測された上記位置情報のうち、第１の計測データと上記第１の計測データの計測後に計測された第２の計測データとの差分データを検出する差分検出手段とを更に備え、
上記土山認識手段は、上記差分検出手段により検出された上記差分データに基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１～３のうち何れか１項記載の三次元形状推定システム。

【手続補正書】

【提出日】2021-08-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、
ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、
上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置、安息角を認識する土山認識手段と
上記土山を撮像した深度画像データを取得する取得手段とを備え、
上記計測手段は、上記取得手段により取得された深度画像データに基づいて上記ショベルと上記対象物との相対位置を計測し、
上記深度画像データから、三次元ポリゴンデータに変換する変換手段を更に備え、
上記計測手段は、上記変換手段により変換された上記三次元ポリゴンデータに含まれる隣接する上記土山の高さ情報を含むメッシュとのなす角度に基づいて上記土山の頂点位置、安息角を計測すること
を特徴とする三次元形状推定システム。

【請求項2】

上記土山認識手段は、上記土山の頂点位置を中心として、放射状に均等角度となるように周辺位置情報を走査することで上記土山の安息角，境界点位置のいずれか１つ以上を認識すること
を特徴とする請求項１記載の三次元形状推定システム。

【請求項3】

上記計測手段は、作業室内で形状が変化する上記対象物をリアルタイムで計測し、
上記土山認識手段は、上記計測手段によりリアルタイムで計測された上記位置情報に基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１又は請求項２記載の三次元形状推定システム。

【請求項4】

上記計測手段により時間的に連続して計測された上記位置情報のうち、第１の計測データと上記第１の計測データの計測後に計測された第２の計測データとの差分データを検出する差分検出手段とを更に備え、
上記土山認識手段は、上記差分検出手段により検出された上記差分データに基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１～３のうち何れか１項記載の三次元形状推定システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明を適用した三次元形状推定システムは、ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置、安息角を認識する土山認識手段と上記土山を撮像した深度画像データを取得する取得手段とを備え、上記計測手段は、上記取得手段により取得された深度画像データに基づいて上記ショベルと上記対象物との相対位置を計測し、上記深度画像データから、三次元ポリゴンデータに変換する変換手段を更に備え、上記計測手段は、上記変換手段により変換された上記三次元ポリゴンデータに含まれる隣接する上記土山の高さ情報を含むメッシュとのなす角度に基づいて上記土山の頂点位置、安息角を計測することを特徴とする。

【手続補正書】

【提出日】2021-11-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、
ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、
上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置、安息角を認識する土山認識手段と
上記土山を撮像した深度画像データを取得する取得手段とを備え、
上記計測手段は、上記取得手段により取得された深度画像データに基づいて上記ショベルと上記対象物との相対位置を計測し、
上記深度画像データから、三次元ポリゴンデータに変換する変換手段を更に備え、
上記計測手段は、上記変換手段により変換された上記三次元ポリゴンデータに含まれるポリゴンの隣接面とのなす角度に基づいて上記土山の頂点位置、安息角を計測すること
を特徴とする三次元形状推定システム。

【請求項2】

上記土山認識手段は、上記土山の頂点位置を中心として、放射状に均等角度となるように周辺位置情報を走査することで上記土山の安息角を認識すること
を特徴とする請求項１記載の三次元形状推定システム。

【請求項3】

上記計測手段は、作業室内で形状が変化する上記対象物をリアルタイムで計測し、
上記土山認識手段は、上記計測手段によりリアルタイムで計測された上記位置情報に基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１又は請求項２記載の三次元形状推定システム。

【請求項4】

上記計測手段により時間的に連続して計測された上記位置情報のうち、第１の計測データと上記第１の計測データの計測後に計測された第２の計測データとの差分データを検出する差分検出手段とを更に備え、
上記土山認識手段は、上記差分検出手段により検出された上記差分データに基づいて上記土山の三次元形状を推定すること
を特徴とする請求項１～３のうち何れか１項記載の三次元形状推定システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明を適用した三次元形状推定システムは、ニューマチックケーソン工法において用いられる作業室内に存在する土山の三次元形状を推定する三次元形状推定システムにおいて、ショベルと当該ショベルの周囲に位置する対象物との間の相対位置を計測する計測手段と、上記計測手段によって計測された上記ショベルと上記対象物との相対位置に基づく位置情報から、上記土山の頂点位置、安息角を認識する土山認識手段と上記土山を撮像した深度画像データを取得する取得手段とを備え、上記計測手段は、上記取得手段により取得された深度画像データに基づいて上記ショベルと上記対象物との相対位置を計測し、上記深度画像データから、三次元ポリゴンデータに変換する変換手段を更に備え、上記計測手段は、上記変換手段により変換された上記三次元ポリゴンデータに含まれるポリゴンの隣接面とのなす角度に基づいて上記土山の頂点位置、安息角を計測することを特徴とする。