(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133780
(43)【公開日】2023-09-27
(54)【発明の名称】遠隔切断支援システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20230920BHJP
B28D 1/10 20060101ALI20230920BHJP
【FI】
G06T19/00 A
B28D1/10
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022038968
(22)【出願日】2022-03-14
(71)【出願人】
【識別番号】509328928
【氏名又は名称】株式会社日立プラントコンストラクション
(74)【代理人】
【識別番号】100091306
【弁理士】
【氏名又は名称】村上 友一
(74)【代理人】
【識別番号】100174609
【弁理士】
【氏名又は名称】関 博
(72)【発明者】
【氏名】横山 大
(72)【発明者】
【氏名】宮崎 隆光
【テーマコード(参考)】
3C069
5B050
【Fターム(参考)】
3C069AA01
3C069BA03
3C069BC03
3C069CA10
3C069EA01
5B050AA03
5B050BA09
5B050DA04
5B050DA05
5B050EA07
5B050EA19
5B050EA27
5B050FA02
(57)【要約】
【課題】切断機を遠隔操作するときに切断物の裏側の状況及び切断位置を確認できる遠隔切断支援システムを提供する。
【解決手段】本発明の遠隔切断支援システム10は、切断機20と、通信部を介して切断機20を遠隔操作する遠隔操作装置40を備えた遠隔切断支援システムであって、切断機20は、切断機周辺の現状の点群データを取得する点群データ取得部26と、切断作業場所の点群データを予め取得した事前点群データに、点群データ取得部26で取得した計測点群データを一致させる移動量を算出し、事前点群データの三次元空間内に移動した計測点群データと、CADデータの切断作業場所及び切断機モデル及び切断位置を合成した合成画像を生成する三次元画像合成処理部30を有し、遠隔操作装置40は、合成画像を表示する表示部42と、切断機20をリモート操作する操作入力部44を有することを特徴としている。
【選択図】
図1
【特許請求の範囲】
【請求項1】
切断機と、通信部を介して前記切断機を遠隔操作する遠隔操作装置を備えた遠隔切断支援システムであって、
前記切断機は、
前記切断機周辺の現状の点群データを取得する点群データ取得部と、
切断作業場所の点群データを予め取得した事前点群データに、前記点群データ取得部で取得した計測点群データを一致させる移動量を算出し、前記事前点群データの三次元空間内に移動した前記計測点群データと、CADデータの前記切断作業場所及び切断機モデル及び切断位置を合成した合成画像を生成する三次元画像合成処理部を有し、
前記遠隔操作装置は、
前記合成画像を表示する表示部と、
前記切断機をリモート操作する操作入力部を有することを特徴とする遠隔切断支援システム。
【請求項2】
請求項1に記載された遠隔切断支援システムにおいて、
前記三次元画像合成処理部は、前記事前点群データ及び前記計測点群データをvoxel変換して、1voxel当たりの点群データが多くなるように平行及び回転移動して前記合成画像を生成することを特徴とする遠隔切断支援システム。
【請求項3】
請求項1又は請求項2に記載された遠隔支援システムにおいて、
前記遠隔操作装置は、前記通信部を介して前記切断機の制御部へリモートアクセスして遠隔操作することを特徴とする遠隔切断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、切断機を遠隔地から操作する遠隔切断支援システムに関する。
【背景技術】
【0002】
高所や放射線量の高い場所など作業員が容易に近づけない作業場所では、無人の作業機械を用いることがある。その際、現場を撮影するカメラで映像を見ながら遠隔操作で作業している。
従来の遠隔操作で切断機を用いる場合、次のような問題が挙げられる。
(1)狭隘な箇所では切断機を入れると、カメラが持ち込める余裕がないことがある。また映像だけでは切断物までの距離がわかりにくい。
(2)図面上であらかじめ設定されている切断位置は、実際の切断物にマーキングがないため映像だけではわかりにくい。
(3)カメラ映像は正面の映像が多く、死角となる切断物の裏側にサポート材などが隠れているおそれがある。正面から確認できない裏側に障害物があると、切断機の刃が逃げて切断位置が変わってしまいサポート材等に接触して切断できない不具合が生じる。
【0003】
この他、現場を三次元カメラで撮影し、三次元画像を用いて移動体やロボットを遠隔操作する技術が特許文献1,2に開示されている。
しかしながら特許文献1,2に開示の技術は、作業を行う現在の状況の1方向(前方など)の三次元画像を用いているため、対象物(切断物)の裏側に隠れた障害物を認識することはできない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6474905号公報
【特許文献2】特開2009-6410号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、上記従来技術の問題点に鑑み、切断機を遠隔操作するときに切断物の裏側の状況及び切断位置を確認できる遠隔切断支援システムを提供することにある。
【課題を解決するための手段】
【0006】
本発明は、上記課題を解決するための第1の手段として、切断機と、通信部を介して前記切断機を遠隔操作する遠隔操作装置を備えた遠隔切断支援システムであって、
前記切断機は、
前記切断機周辺の現状の点群データを取得する点群データ取得部と、
切断作業場所の点群データを予め取得した事前点群データに、前記点群データ取得部で取得した計測点群データを一致させる移動量を算出し、前記事前点群データの三次元空間内に移動した前記計測点群データと、CADデータの前記切断作業場所及び切断機モデル及び切断位置を合成した合成画像を生成する三次元画像合成処理部を有し、
前記遠隔操作装置は、
前記合成画像を表示する表示部と、
前記切断機をリモート操作する操作入力部を有することを特徴とする遠隔切断支援システムを提供することにある。
上記第1の手段によれば、事前点群データに対する現状の切断機の位置を把握することができる。このため事前データ中に切断機を再現して切断機と切断位置の位置関係、及び切断機の裏側の状態を任意の方向から確認できる。
【0007】
本発明は、上記課題を解決するための第2の手段として、第1の手段において、前記三次元画像合成処理部は、前記事前点群データ及び前記計測点群データをVoxel変換して、1Voxel当たりの点群データが多くなるように平行及び回転移動して前記合成画像を生成することを特徴とする遠隔切断支援システムを提供することにある。
上記第2の手段によれば、事前点群データに計測点群データを一致させた合成画像を速やかに作成することができる。
なおVoxel変換とは、立方体の集合体であるVoxel構造体に、点群データを配置する(当てはめる)ことである。すなわち、実寸法を持つ点群データの座標値を、立方体の集合体であり、1つのVoxel幅が1単位の座標値となるVoxelの座標値に変換することであり、点群データの重心位置をVoxelの重心位置に合わせ、その重心位置から各点までの実寸法座標値をVoxel幅で割ること(除算すること)で、点群データの実寸法はVoxelの座標値に変換される。その後、Voxelの座標値に点群データの有無を付加することで、各Voxelの評価が可能となる。
【0008】
本発明は、上記課題を解決するための第3の手段として、第1又は第2の手段において、前記遠隔操作装置は、前記通信部を介して前記切断機の制御部へリモートアクセスして遠隔操作することを特徴とする遠隔切断支援システムを提供することにある。
上記第3の手段によれば、遠隔操作装置で切断機の制御部を遠隔操作しているため、通信が途絶えても合成画像処理、切断処理などの操作に影響を及ぼすことがない。
【発明の効果】
【0009】
本発明によれば、現状の切断機と切断位置の位置関係を容易に確認できる。また切断物の裏側の状況を任意の方向から確認できるため、切断物の裏側の障害物を事前に回避することによって切断できないなどの不具合が生じることがない。
【図面の簡単な説明】
【0010】
【
図1】本発明の遠隔切断支援システムのブロック図である。
【
図2】事前点群データに計測点群データを合成処理した画像合成の説明図である。
【
図3】事前点群データに計測点群データを合成処理する前の説明図である。
【
図9】合成画像中の切断機の移動前後の説明図である。
【発明を実施するための形態】
【0011】
本発明の遠隔切断支援システムの実施形態について、図面を参照しながら、以下詳細に説明する。
【0012】
図1は、本発明の遠隔切断支援システムのブロック図である。
本発明の遠隔切断支援システム10は、切断作業を行う切断機20と、通信部を介して切断機20を遠隔操作する遠隔操作装置40を備えた遠隔切断支援システムであって、切断機20は、切断機20周辺の現状の点群データを取得する点群データ取得部26と、切断作業場所の点群データを予め取得した事前点群データに、点群データ取得部26で取得した計測点群データを一致させる移動量を算出し、事前点群データの三次元空間内に移動した計測点群データと、CADデータの切断作業場所及び切断機モデル及び切断位置を合成した合成画像を生成する三次元画像合成処理部30を有し、遠隔操作装置40は、合成画像を表示する表示部42と、切断機をリモート操作する操作入力部44を有している。
【0013】
[切断機20]
切断機20は、セーバーソー22と、切断物を把持して固定する固定具24と、点群データ取得部26と、制御部28と、通信機と、バッテリーを有している。
点群データ取得部26は、切断機の正面、すなわち切断物と切断刃付近の点群画像(本実施形態では計測画像データという)を取得可能な撮像デバイスであり、例えば、Depthセンサー、3Dレーザスキャナ等を用いることができる。本実施形態の点群データ取得部26は視野角が広く、更新速度(フレームレート)が早く、屋外で使用できるセンサーであれば良く、一例として視野角(水平86°×垂直57°)、解像度1280×720、フレームレート90fpsのDepthセンサーを用いている。
【0014】
制御部28は切断機20を制御するための情報処理装置と記憶装置を備えた、PC(Personal Computer)、PLC(Programmable Logic Controller)などによって構成している。情報処理装置には記憶装置に記憶された各種プログラム、事前点群データ、切断作業現場の図面及び切断機の切断位置などのCADデータを用いて種々の処理を実行できる。
【0015】
三次元画像合成処理部30は、切断作業場所の点群データを予め取得した事前点群データに、点群データ取得部26で取得した計測点群データを一致させる移動量を算出し、事前点群データの三次元空間内に移動した計測点群データと、CADデータの切断作業場所及び切断機モデル及び切断位置を合成した合成画像を生成する処理プログラムである。
【0016】
なお切断機20は移動体となるマニピュレータのアームに取り付けて移動可能な構成であり、移動体は制御部28によって任意の位置に移動制御できる。
また制御部28は通信部を介して受信した遠隔操作装置40からのリモート操作によって、切断機20や走行部の制御を行う。
また制御部28は、切断作業場所に備え付けのカメラで撮影したカラー画像を取得している。
通信部は無線又は有線の通信回線により切断機20と遠隔操作装置40を電気的に接続している。
【0017】
[遠隔操作装置40]
遠隔操作装置40は、情報処理装置、記憶装置を有するパーソナルコンピュータ(PC)であり、表示部42と、操作入力部44と、通信部を備えている。このような遠隔操作装置40は切断機20の制御部28に通信部を介して制御部28の画面にリモートアクセスして制御部28を遠隔操作する。これにより、センサーのデータ処理をはじめとした各種演算作業は切断機に付属するPC側(制御部28)で処理を行うことが可能となる。また操作側(遠隔操作装置40)は通信回線を通じて切断機20側のPCの画面を遠隔地のPCで確認(閲覧)する仕組みを整えることが可能となる。よって、通信部が何らかの原因によって途絶えても制御部28は独自に作業を継続することが可能となる。さらに、通信が復旧次第、操作側(遠隔操作装置40)からの状況確認と操作支持を再開できるため、操作に影響を及ぼすことがない。
【0018】
[Voxel変換の画像合成]
図2は事前点群データに計測点群データを合成処理した画像合成の説明図である。
図3は事前点群データに計測点群データを合成処理する前の説明図である。
三次元画像合成処理部30による画像合成法は、合成精度、膨大な事前点群データのデータ量、計算処理時間、点群の表示速度等を考慮して処理時間を短く(応答性良く)することが望ましい。なお画像合成を行うにあたり、点群データを撮影する切断作業現場は、例えば、複数の配管が交差している、サポート材のような明確な凹凸のあるものが存在するなど複雑な構造が存在し、このような箇所が点群データ上で特徴的に表れていることが前提となる。
本実施形態の三次元画像合成処理部30は、広範囲の切断作業場所をあらかじめ詳細に取得した高精度かつ高密度の事前点群データと、切断作業場所の一部の切断物の概要を示す現状の低精度かつ低密度の計測点群データを用いて画像合成する構成であるが(
図3参照)、両者は完全に同じ箇所(点)を計測しているとは限らず、それぞれの点群データの点の密度、精度も違う。従って、広範囲の事前点群データに、狭い範囲の計測点群データを直に用いて合成処理する方法(例えば、特徴点検索、外形比較など)では時間がかかりすぎてしまう。
【0019】
そこで本発明の三次元画像合成処理部30は、三次元空間を立方体の集合と考えるVoxel構造体に変換して状態認識を容易にして画像合成している。
図4はVoxelの説明
図1であり、
図5はVoxelの説明
図2である。
図4(1)に示すように事前点群データを三次元空間の立方体の集合体に重ねたときに1つの立方体(本実施形態では1Voxel当たりということあり)の内部に点が存在するか否かで評価する。
Voxelの評価は、
図4(2)に示すように、点群データが存在するVoxelを満Voxelとし、点群データがないVoxelを空Voxelとする。このとき1つの立方体の幅は、大きく設定すると概要で評価でき、小さく設定すると詳細な評価が行える。なおVoxel変換処理は全体で評価するため、誤差があっても影響は少ない。
【0020】
事前点群データは高精度、高密度のため1つの立方体中の点群データが多い、現状の計測点群データが低精度、低密度のため事前点群データと比べて1つの立方体中の点群データは少ない(
図5(1)参照)。
Voxelの状態を比較することで合成に必要な移動量を算出することができる。具体的には事前点群データの満Voxelに対して、計測点群データを平行移動及び回転移動を行う。
平行移動は(x、y、z)方向に(a、b、c)だけ移動する場合、
【0021】
回転移動は(X軸回り、Y軸回り、Z軸回り)に(ω、Φ、κ)角度だけ移動する場合、
と、それぞれ表すことができる。
ここで、X‘、Y’、Z‘は移動後のX,Y,Z座標値、x,y,zは移動前のX,Y,Z座標値を示す。
計測点群データの移動先と同じ場所に事前点群データの満Voxelがあれば評価が良いとし(
図5(2)参照)、評価の良い合計値が一番高い移動量を算出する。
【0022】
[合成処理フロー]
上記本発明の遠隔切断支援システムを用いた遠隔切断支援方法について、以下説明する。
図6は遠隔切断支援方法の処理フロー1を示し、
図7は遠隔切断支援方法の処理フロー2を示し、
図8は遠隔切断支援方法の処理フロー3を示す。
(ステップ1)
事前点群データ、すなわちあらかじめ切断作業現場を撮影した事前の点群データを読み込む。
(ステップ2)
切断作業場所及び切断機20の切断位置のCADデータ、すなわち補間データを読み込む。
(ステップ3)
事前データと補間データを統合する。
(ステップ4)
点群データ取得部26で現状の切断作業場所の計測点群データを取得する。
【0023】
(ステップ5)
Voxel幅を決定する。繰り返し回数に基づく。計測誤差が1cmの場合には最小幅は1cmとなる。このため最大幅は10倍程度から開始し、1から10の間で複数任意(例えば、10倍からの段階的な半分倍数(小数点は切り捨て)となる5倍、2倍、1倍など)の幅設定を行う。本実施形態では複数の幅設定を繰り返し行うことを繰り返し回数という。最初は大きな幅ピッチで行い、次いで徐々にピッチ幅を狭めて移動量を算出する。
(ステップ6)
各点群データについてVoxelデータを作成する。点群データの座標値をVoxel幅毎に分断してVoxel座標系に変換する。
(ステップ7)
計測点群データのVoxelデータのうち、満Voxelの座標値を抽出する。
(ステップ8)
平行移動ピッチ、移動範囲を決定する。繰り返し回数に基づく。
(ステップ9)
満Voxelの座標値に対する平行移動を行う。
【0024】
(ステップ10)
平行移動先の座標値での事前点群データ側Voxelの満Voxelの存在を確認する。
(ステップ11)
同じ座標に満Voxelが存在する数をカウント(積算)する。
(ステップ12)
積算数が最大となる平行移動量(ΔX、ΔY、ΔZ)を把握する。
(ステップ13)
算出した平行移動量に基づいて、事前点群データの満Voxelの平行移動を実施する。
(ステップ14)
回転移動ピッチ、移動範囲(回転角)を決定する。繰り返し回数に基づく。
【0025】
(ステップ15)
満Voxelの座標値に対する回転移動を行う。
(ステップ16)
回転移動先(座標値)での事前点群データ側Voxelの満Voxelの存在を確認する。
(ステップ17)
同じ座標に満Voxelが存在する数をカウント(積算)する。
(ステップ18)
積算数が最大となる(Δω、ΔΦ、Δκ)を把握する。
(ステップ19)
算出した回転移動量に基づいて、事前点群データの満Voxelの回転移動を実施する。
【0026】
(ステップ20)
繰り返し回数を確認する。
(ステップ21)
繰り返し回数が基準数より小さい場合、Voxel幅の決定(ステップ5)に移動する。
(ステップ22)
繰り返し回数が基準数以上の場合、計測点群データの満Voxelのうち、事前点群データの満Voxelと対応した数をカウントする。
(ステップ23)
対応した数が基準数よりも低い場合、繰り返し回数を初期値に減らし、Voxel幅の決定(ステップ5)に移動する。
(ステップ24)
対応した数が基準数以上の場合、算出した平行及び回転移動量を把握した後、事前点群データに合わせて補間データも移動して合成表示(二次画像合成)し、点群データ取得部26が取り付けられた切断機モデルも同じ三次元座標空間に合成表示する(
図2参照)。
【0027】
(ステップ25)
合成した表示内容、事前点群データの切断位置と、切断機の切断刃の位置関係を確認する。
(ステップ26)
図9は合成画像中の切断機の移動前後の説明図である。切断刃と切断位置が合致していない場合、切断機を移動した後、点群データ取得部26で現状の切断作業場所の計測点群データを取得する(ステップ4へ移動)。
(ステップ27)
切断刃と切断位置が合致している場合、切断を実施する(作業終了)。
【0028】
[操作フロー]
本発明の遠隔切断支援システムを用いた操作は以下の通り行う。
(1)遠隔操作装置40を起動して切断機20へリモートアクセスする。
(2)計測を開始する。点群データ取得部26で正面を3D計測し、現状の計測点群データを収集する。
(3)データを解析する。計測点群データと事前点群データとの間で合成に必要な移動量(平行、回転)を算出する。
(4)現状の計測点群データと事前点群データが合致するように自動合成する。具体的には現状の計測点群データを事前点群データへ移動して実施する。
(5)画像合成時の移動量に基づき、同じ座標系で描かれたCADデータ(設計図面上の他の構造物及び切断位置)も同様に移動し、現状の計測点群データ、事前点群データと共に三次元空間内で合成を実施する。切断機から切断物までの距離、傾きに加え、事前に収集した情報を合成して表示する。
【0029】
(6)事前点群データ内で切断機20の位置を再現しながら、任意の方向から現場状況を把握する。
(7)遠隔操作装置40から切断機20の制御部28をリモート操作する。詳細な状況を三次元画像で確認して、現場を撮影するカメラのカラー映像で状況確認、行き来しながら作業を遂行する。
【0030】
このような本発明によれば、現状の切断機と切断位置の位置関係を容易に確認できる。また切断物の裏側の状況を任意の方向から確認できるため、切断物の裏側の障害物を事前に回避することによって切断できないなどの不具合が生じることがない。
以上、本発明の好ましい実施形態について説明した。しかしながら、本発明は、上記実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々の変更が可能である。
また、本発明は、実施形態において示された組み合わせに限定されることなく、種々の組み合わせによって実施可能である。
【符号の説明】
【0031】
10 遠隔切断支援システム
20 切断機
22 セーバーソー
24 固定具
26 点群データ取得部
28 制御部
30 三次元画像合成処理部
40 遠隔操作装置
42 表示部
44 操作入力部