IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社大林組の特許一覧

特開2023-173092物体検知システム、物体検知方法及び物体検知プログラム
<>
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図1
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図2
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図3
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図4
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図5
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図6
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図7
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図8
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図9
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図10
  • 特開-物体検知システム、物体検知方法及び物体検知プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173092
(43)【公開日】2023-12-07
(54)【発明の名称】物体検知システム、物体検知方法及び物体検知プログラム
(51)【国際特許分類】
   G06V 20/64 20220101AFI20231130BHJP
   B66C 13/00 20060101ALI20231130BHJP
   B66C 13/48 20060101ALI20231130BHJP
   G06T 17/10 20060101ALI20231130BHJP
   G06T 7/00 20170101ALI20231130BHJP
【FI】
G06V20/64
B66C13/00 D
B66C13/48 G
G06T17/10
G06T7/00 C
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022085089
(22)【出願日】2022-05-25
(71)【出願人】
【識別番号】000000549
【氏名又は名称】株式会社大林組
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】笹原 大介
(72)【発明者】
【氏名】佐藤 圭吾
【テーマコード(参考)】
3F204
5B080
5L096
【Fターム(参考)】
3F204AA04
3F204BA02
3F204CA01
3F204DD01
3F204DD02
3F204DD09
5B080AA00
5B080AA17
5B080DA06
5L096AA09
5L096BA02
5L096DA05
5L096FA76
(57)【要約】
【課題】点群により検知した物体について情報処理を行なうための物体検知システム、物体検知方法及び物体検知プログラムを提供する。
【解決手段】支援サーバ20は、ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部25と、物体を点群により検知する3次元計測器12に接続された制御部21と、を備える。そして、制御部21が、3次元計測器12で検知した点群を取得し、点群を、ボクセル情報記憶部25に記憶されたボクセル管理データに応じたボクセルに変換し、ボクセルにより、物体に応じた情報処理を実行する。
【選択図】図1
【特許請求の範囲】
【請求項1】
ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備えた物体検知システムであって、
前記制御部が、
前記計測装置で検知した点群を取得し、
前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、
前記ボクセルにより、物体に応じた情報処理を実行することを特徴とする物体検知システム。
【請求項2】
ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備えた物体検知システムを用いて、物体検知を行なう方法であって、
前記制御部が、
前記計測装置で検知した点群を取得し、
前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、
前記ボクセルにより、物体に応じた情報処理を実行することを特徴とする物体検知方法。
【請求項3】
ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備えた物体検知システムを用いて、物体検知を行なうためのプログラムであって、
前記制御部を、
前記計測装置で検知した点群を取得し、
前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、
前記ボクセルにより、物体に応じた情報処理を実行する手段として機能させることを特徴とする物体検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群により検知した物体について情報処理を行なう物体検知システム、物体検知方法及び物体検知プログラムに関する。
【背景技術】
【0002】
自動運転において機械周辺の状況をリアルタムに把握する際、3DLidarのような点群を取得する3次元計測器を利用する。資機材を運搬する場合に、タワークレーン等の揚重装置を用いた作業の自動化も検討されている(例えば、特許文献1参照。)。この文献に記載された支援サーバは、3次元モデルを記憶するBIM情報記憶部と、タワークレーンの3次元計測器と通信を行なう制御部とを備える。そして、制御部が、BIM情報記憶部から、タワークレーンの周囲に配置された3次元モデルを取得する。次に、3次元計測器から、障害物について、揚重時の3次元検知情報を取得する。そして、3次元モデル及び3次元検知情報に基づいて、障害物を特定し、障害物を回避可能な高さの搬送可能領域において、障害物との距離に基づいて搬送ルートを設定する。
【0003】
また、点群のデータ量を効果的に削減するための技術も検討されている(例えば、特許文献2参照。)。この文献に記載された技術では、点群データについてボクセル分割を行なうことが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-181371号公報
【特許文献2】特開2019-53597号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した自動運転において、所定の領域に点群の侵入を検出した場合、自動運転の減速や停止などの制御を行なう。ここで、3次元計測器で扱う点群は量が多く、大量の点群をリアリタイムで処理するためには、計算負荷が大きい。
【課題を解決するための手段】
【0006】
上記課題を解決するための物体検知システムは、ボクセルを生成するためのボクセル管理データを記憶したボクセル情報記憶部と、物体を点群により検知する計測装置に接続された制御部と、を備える。そして、前記制御部が、前記計測装置で検知した点群を取得し、前記点群を、前記ボクセル情報記憶部に記憶されたボクセル管理データに応じたボクセルに変換し、前記ボクセルにより、物体に応じた情報処理を実行する。
【発明の効果】
【0007】
本開示によれば、点群により検知した物体について効率的に情報処理を行なうことができる。
【図面の簡単な説明】
【0008】
図1】実施形態のシステムの説明図である。
図2】実施形態の揚重装置の説明図である。
図3】実施形態のハードウェア構成の説明図である。
図4】実施形態の記憶部の説明図であって、(a)はBIM情報記憶部、(b)は評価情報記憶部、(c)は揚重情報記憶部、(d)はボクセル情報記憶部の説明図である。
図5】実施形態の処理手順の説明図である。
図6】実施形態の処理手順の説明図である。
図7】実施形態の処理手順の説明図である。
図8】実施形態のボクセルの説明図である。
図9】実施形態のボクセルの生成の説明図であって、(a)は点群、(b)は点群に対応したボクセル、(c)はボクセルの配置の説明図である。
図10】実施形態のボクセルの生成の説明図であって、(a)は側面図、(b)は上面図である。
図11】実施形態の表示画面の説明図である。
【発明を実施するための形態】
【0009】
以下、図1図11に従って、物体検知システム、物体検知方法及び物体検知プログラムの一実施形態を説明する。本実施形態では、工事現場において、揚重装置(タワークレーン)を利用する場合に用いる物体検知システムとして説明する。この場合、後述するように点群を、3次元空間に配置された格子単位(ボクセル)に変換する。
【0010】
図1に示すように、本実施形態の揚重支援システムCS1では、ネットワークを介して接続された制御ユニット10、吊物旋回装置15、支援サーバ20(物体検知システム)、管理端末30を用いる。制御ユニット10は、揚重装置としてのタワークレーンTC1に設けられる。
【0011】
図2に示すように、タワークレーンTC1のマストC10の上には、旋回フレームC11が載置されており、旋回フレームC11に運転席C12が設けられている。オペレータの操作によって揚重作業を行なう場合には、タワークレーンTC1の運転席C12で、旋回フレームC11の旋回操作やジブC13(ブーム)の起伏(傾斜角)操作、フックC14の上下操作を行なう。
【0012】
フックC14には、吊物旋回装置15を介して吊り荷C15が吊り下げられている。この吊物旋回装置としてはスカイジャスター(登録商標)を用いることができる。この吊物旋回装置15は、フライホイールを回転可能に支持するジンバル枠に、フライホイールを傾動可能に支持する。そして、吊物旋回装置15は、回転するフライホイールを傾動させることにより生じるジャイロ効果を利用して、吊り荷C15の方向を制御する。
本実施形態の吊物は、フックC14によって吊り下げられた吊物旋回装置15及び吊り荷C15が相当する。
【0013】
(ハードウェア構成の説明)
図3を用いて、制御ユニット10、吊物旋回装置15、支援サーバ20、管理端末30を構成する情報処理装置H10のハードウェア構成を説明する。情報処理装置H10は、通信装置H11、入力装置H12、表示装置H13、記憶部H14、プロセッサH15を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
【0014】
通信装置H11は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。
【0015】
入力装置H12は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置H13は、各種情報を表示するディスプレイ等である。
記憶部H14は、制御ユニット10、吊物旋回装置15、支援サーバ20、管理端末30の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部H14の一例としては、ROM、RAM、ハードディスク等がある。
【0016】
プロセッサH15は、記憶部H14に記憶されるプログラムやデータを用いて、制御ユニット10、吊物旋回装置15、支援サーバ20、管理端末30における各処理を制御する。プロセッサH15の一例としては、例えばCPUやMPU等がある。このプロセッサH15は、ROM等に記憶されるプログラムをRAMに展開して、各処理のための各種プロセスを実行する。
【0017】
プロセッサH15は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサH15は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路(例えば、特定用途向け集積回路:ASIC)を備えてもよい。すなわち、プロセッサH15は、以下で構成し得る。
【0018】
〔1〕コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサ
〔2〕各種処理のうち少なくとも一部の処理を実行する1つ以上の専用のハードウェア回路、或いは
〔3〕それらの組み合わせ、を含む回路(circuitry)
プロセッサは、CPU並びに、RAM及びROM等のメモリを含み、メモリは、処理をCPUに実行させるように構成されたプログラムコード又は指令を格納している。メモリ、すなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【0019】
(システム構成)
次に、図1を用いて、揚重支援システムCS1の各機能を説明する。
タワークレーンTC1に設けられる制御ユニット10は、3次元計測器12、撮像装置13及び駆動制御部14を備える。
【0020】
3次元計測器12(計測装置)は、タワークレーンTC1のジブC13の先端に設けられて、下方周囲の点群を取得する。また、3次元計測器12は、旋回フレームC11の運転席C12付近にも設けられて、ジブC13の下方周囲の点群を取得する。3次元計測器12は、例えば、レーザ光を用いて、周囲に存在する物体(障害物)を検知する。この3次元計測器12には、例えば、3次元検知情報としての3次元点群情報を取得するLiDAR(Light Detection and Ranging)技術を用いることができる。ここでは、LiDARとして、例えば、2つの異なる位置に設置したレーザ光を用いる。そして、各レーザ光を1次元で走査して形成されたスキャン面を、法線方向に360度で旋回させる。これにより、2つの3次元計測器12の各レーザ光によって、周囲の障害物について3次元点群情報を取得することができる。
【0021】
撮像装置13は、タワークレーンTC1のジブC13の先端に設けられて、下方のフックC14、吊り荷C15の動画を撮影する。また、この撮像装置13を、現場全体やタワークレーンTC1全体を見渡せる位置等に配置してもよい。
【0022】
駆動制御部14は、旋回フレームC11の旋回操作、ジブC13の起伏操作、フックC14の上下操作に応じた駆動制御を行なう。
そして、制御ユニット10は、3次元計測器12による3次元点群情報、撮像装置13による動画、駆動制御部14の駆動情報を支援サーバ20に送信する。
【0023】
支援サーバ20は、制御ユニット10から取得した情報を用いて、揚重作業を支援するコンピュータシステムである。この支援サーバ20は、制御部21、BIM情報記憶部22、評価情報記憶部23、揚重情報記憶部24、ボクセル情報記憶部25を備える。
【0024】
制御部21は、後述する処理(情報取得段階、マップ生成段階、ルート作成段階、搬送管理段階、点群処理段階等を含む処理)を行なう。このための各処理のためのプログラムを実行することにより、制御部21は、情報取得部211、マップ生成部212、ルート作成部213、搬送管理部214、点群処理部215等として機能する。
【0025】
情報取得部211は、制御ユニット10から各種情報を取得する。本実施形態では、制御ユニット10から3次元計測情報、ジブC13先端の下方の動画を取得する。この3次元計測情報により、周囲の障害物を検知することができる。また、動画により、吊り荷C15を確認することができる。
【0026】
マップ生成部212は、BIM情報記憶部22に記録された工事現場の3次元モデル及び3次元計測器12で計測した3次元点群情報を用いて、搬送ルートを作成するための搬送領域マップを生成する。このマップ生成部212は、オフセットテーブルを備える。オフセットテーブルには、荷幅に応じてオフセットが設定されている。オフセットは、障害物に対して、接触しないように余裕を持たせる距離である。そして、マップ生成部212は、障害物からオフセットだけ離れた領域に、搬送ルートを設定可能な搬送領域マップを設ける。この搬送領域マップにおいては、マップを構成する分割領域(ポリゴン)毎に評価値がマッピングされる。この評価値は、各障害物の重要度(スコア)や、障害物から分割領域までの距離に応じて、接触時のリスクを評価した個別値を合計した値である。このため、マップ生成部212は、障害物の重要度、距離に応じて個別値を算出するための個別値算出情報を保持している。
【0027】
ルート作成部213は、搬送領域マップ内において、評価値が低く、効率的な搬送ルートを作成する。
搬送管理部214は、作成した搬送ルートにより、タワークレーンTC1を動作させる。この搬送管理部214は、吊り荷のサイズ(寸法や重量)に応じて、搬送速度(通常速度)を決定するための速度決定テーブルを備える。この速度決定テーブルにおいては、サイズが大きい程、遅い搬送速度が設定されている。更に、搬送管理部214は、搬送速度に対して監視範囲を決定するための範囲決定テーブルを備える。この範囲決定テーブルにおいては、搬送速度が速い程、大きな監視範囲が設定されている。本実施形態では、搬送速度を減速する第1監視範囲W1と、搬送を停止する第2監視範囲W2を決定する。第1監視範囲W1は第2監視範囲W2の外側に配置される。各監視範囲の形状は、後述するように、円筒形状である。
点群処理部215は、3次元計測器12が取得した点群の解像度を落とすボクセル化処理を実行する。
【0028】
図4(a)に示すように、設計情報記憶部としてのBIM情報記憶部22には、BIM(Building Information Modeling)において作成したBIMデータ220が記録される。このBIMデータ220は、3次元CADを用いて、工事現場で建設される構造物の設計を行なった場合に記録される。3次元モデル情報としてのBIMデータ220は、プロジェクト情報、要素モデル、属性情報、配置情報を含んで構成される。
【0029】
プロジェクト情報は、工事現場の名称、経度・緯度、工事現場の方位等に関する情報を含む。
要素モデルは、工事現場に用いる各建築要素(構成部材)の3次元モデル(BIMオブジェクト)に関する情報である。このBIM情報記憶部22には、タワークレーンTC1の要素モデルの他に、周囲に配置される構造物を構成する要素モデルも記録される。
【0030】
属性情報は、この要素モデルの属性情報である。この属性情報には、仕様(要素ID、要素種別、規格、寸法、面積、体積、素材等)に関する情報が含まれる。
配置情報は、各要素モデルを配置する座標に関する情報を含む。更に、配置情報においては、この座標に対して、各要素モデルが配置される配置予定年月日が関連付けられている。
【0031】
図4(b)に示すように、評価情報記憶部23には、評価管理データ230が記録される。この評価管理データ230は、評価情報が登録された場合に記録される。評価管理データ230は、要素種別情報、スコア情報を含んで構成される。
【0032】
要素種別情報は、BIMデータ220に含まれる可能性がある各建築要素を特定するための識別子に関する情報である。なお、要素種別には、3次元点群を変換したボクセルにより特定した障害物も含まれる。
スコア情報は、各建築要素の重要度に関する情報である。吊り荷との接触を避ける建築要素や、3次元点群を変換したボクセルには高いスコアを設定しておく。
【0033】
図4(c)に示すように、揚重情報記憶部24には、制御ユニット10の吊り荷に関する揚重管理データ240が記録される。この揚重管理データ240は、管理端末30から、各種情報を取得した場合に記録される。揚重管理データ240は、作業ID、クレーンID、吊上げ位置、吊下し位置、搬送物、搬送状況に関する情報を含んで構成される。
【0034】
作業IDは、各揚重作業を特定するための識別子に関する情報である。
クレーンIDは、この各揚重作業において用いるタワークレーンTC1を特定するための識別子に関する情報である。
【0035】
吊上げ位置情報、吊下し位置情報は、管理者によって指定された吊上げ位置(搬送開始位置)、吊下し位置(搬送目標位置)に関する情報である。
搬送物情報は、揚重対象の資機材を特定するための識別子に関する情報である。
搬送状況情報は、この揚重についての進捗状況(搬送前、搬送中、搬送終了)を示すフラグに関する情報である。
【0036】
揚重管理データ240には、予定ルート情報241及び実績ルート情報242が関連付けられている。予定ルート情報241は、ルート生成を行なった場合に記録される。実績ルート情報242は、揚重を終了した後で記録される。
【0037】
予定ルート情報241は、搬送領域マップを用いて作成した搬送ルートに関する情報である。
実績ルート情報242は、旋回フレームC11の旋回操作やジブC13の起伏操作、フックC14の上下操作に基づいて、吊り荷C15が通過した実績ルートに関する情報である。
【0038】
図4(d)に示すように、ボクセル情報記憶部25には、点群から生成するボクセルに関するボクセル管理データ250が記録される。このボクセル管理データ250は、揚重作業前に予め記録される。ボクセル管理データ250は、ボクセル化条件情報251、ボクセルサイズ情報252、ボクセル配色情報253を含んで構成される。
【0039】
ボクセル化条件情報251には、3次元仮想空間に所定の座標系で配置されたボクセルにおいて、3次元計測器12から取得した点群についてボクセル化を行なう条件を特定するための情報が記録される。例えば、ボクセル化条件情報251には、ボクセル化を行なう領域を定めるボクセル化範囲情報が記録される。ここでは、障害物が存在する可能性がある高さ範囲が設定される。
【0040】
ボクセルサイズ情報252には、工事現場の環境情報に対して、ボクセルサイズを決定するための情報が記録される。例えば、ボクセルサイズ情報252には、天候情報に対して、一つのボクセルの大きさを決定するための情報が記録されている。例えば、快晴時には2m、降雨時には1mのように、天候が悪い場合には、ボクセルサイズを小さくする。
【0041】
ボクセル配色情報253には、表示するボクセルの配色を決定するための情報が記録される。この配色は、ボクセル状況に応じて決定される。ボクセル状況としては、ボクセルの位置(高さや距離等)を用いることができる。そして、ボクセルの高さや距離等に応じて、異なる配色を行なう。
【0042】
管理端末30は、工事現場の管理者が用いるコンピュータ端末である。管理者は、運転席C12のオペレータによる操作の代わりに、管理端末30を用いて、工事現場におけるタワークレーンTC1を遠隔操作して揚重作業を指示する。
【0043】
(揚重支援処理)
次に、図5図11を用いて、上記のように構成された支援サーバ20において、揚重作業時に行なわれる揚重支援方法の処理手順を説明する。この揚重支援方法においては、搬送設定処理及び搬送時処理を順番で実行する。
【0044】
(搬送設定処理)
まず、図5を用いて、搬送設定処理を説明する。
ここでは、支援サーバ20の制御部21は、BIM情報取得処理を実行する(ステップS101)。具体的には、制御部21の情報取得部211は、現在年月日をシステムタイマから取得し、BIM情報記憶部22を用いて、配置予定年月日が現在年月日以前の要素モデルを特定する。次に、情報取得部211は、仮想空間内に、特定した要素モデルを配置する。そして、搬送管理部214は、仮想空間を表示した管理画面を、管理端末30の表示装置H13に出力する。
【0045】
次に、支援サーバ20の制御部21は、属性情報によるスコアリング処理を実行する(ステップS102)。具体的には、制御部21の情報取得部211は、BIM情報記憶部22の属性情報から、仮想空間内に配置された各要素モデルの要素種別を取得する。そして、情報取得部211は、評価情報記憶部23から、要素種別に対応したスコアを取得する。
【0046】
次に、支援サーバ20の制御部21は、マッピング処理を実行する(ステップS103)。具体的には、制御部21のマップ生成部212は、タワークレーンTC1の制御ユニット10から、3次元計測器12で計測したタワークレーンTC1周囲の3次元点群情報を取得する。
【0047】
この場合、点群処理部215は、取得した3次元点群情報からボクセルを生成(ボクセルに変換)するボクセル化処理を実行する。このボクセル化処理については、後述する。
そして、マップ生成部212は、管理画面に表示された仮想空間に配置された要素モデルに加えて、ボクセルを配置して表示する。
【0048】
次に、支援サーバ20の制御部21は、高さ設定処理を実行する(ステップS104)。具体的には、制御部21のマップ生成部212は、仮想空間に配置された構造物(固定構造物)の要素モデルの存在を確認する。そして、マップ生成部212は、存在が確認された固定構造物において、最高位置を特定する。
【0049】
マップ生成部212は、地表から固定構造物の最高位置に、余裕高さ(例えば5m)を加算した揚重高さを算出する。この場合、マップ生成部212は、ジブC13によりフックC14を巻き上げられる高さ以下で、搬送を行なう揚重高さを決定する。次に、管理者は、管理端末30を用いて、手動により、揚重高さを調節する。
【0050】
次に、支援サーバ20の制御部21は、搬送情報の設定処理を実行する(ステップS105)。具体的には、制御部21のルート作成部213は、管理端末30に搬送入力画面を出力する。この場合、管理者は、管理端末30を用いて、搬送物に関する情報を入力する。例えば、搬送物について、BIM情報記憶部22に記録された要素IDを入力する。また、搬送物がBIM情報記憶部22に記録されていない場合には、荷幅を含むサイズを入力する。
【0051】
また、工事現場における作業員が携帯する位置情報取得装置を用いて指定するようにしてもよい。位置情報取得装置としては、例えばGNSS(Global Navigation Satellite System)を用いることができる。この場合には、作業員が所持する位置情報取得装置を用いて、搬送開始位置及び搬送目標位置を特定する。
【0052】
なお、目的地の指定方法は、管理画面の仮想空間を用いた選択に限定されるものではない。例えば、BIM情報記憶部22に記録された要素モデルを選択することにより指定してもよい。この場合には、BIMデータ220に記録された属性情報に基づいて重心位置を算出し、この重心位置において吊り下げるようにする。この場合、ルート作成部213は、要素モデルを用いて、この重心位置での吊り下げによる荷幅を算出する。
【0053】
そして、ルート作成部213は、作業IDを付与し、管理画面から取得した搬送物情報を含めた揚重管理データ240を揚重情報記憶部24に記録する。この場合、揚重管理データ240に、搬送状況として「搬送前」フラグを記録する。
【0054】
次に、支援サーバ20の制御部21は、オフセットの設定処理を実行する(ステップS106)。具体的には、制御部21のルート作成部213は、オフセットテーブルを用いて、搬送物のサイズに応じたオフセットを算出する。
【0055】
次に、支援サーバ20の制御部21は、搬送ルートの作成処理を実行する(ステップS107)。具体的には、制御部21のマップ生成部212は、搬送可能領域において、搬送領域マップを作成する。
【0056】
この搬送領域マップは、複数の分割領域により構成される。搬送領域マップを作成する場合、マップ生成部212は、搬送可能領域において、評価情報記憶部23から仮想空間内に存在する障害物(要素モデル)の要素種別に対応するスコアを取得する。次に、マップ生成部212は、搬送可能領域を任意の大きさで分割した分割領域を設定する。次に、マップ生成部212は、分割領域の代表位置(例えば重心)毎に、各障害物からの距離及びスコアに基づいて、個別値算出情報を用いて個別値を算出する。そして、マップ生成部212は、算出した個別値を合計して、各分割領域における評価値を算出する。この場合、障害物からの距離が近い場合や、スコアが高い場合、高い評価値が設定される。
【0057】
次に、ルート作成部213は、搬送領域マップを用いて、ルート上の各分割領域の評価値の合計が低い搬送ルートを生成する。ここでは、最短距離のパスにより、フック位置(移動開始位置)→吊り荷移動元位置(搬送開始位置)→吊り荷移動先位置(搬送目標位置)の3次元の搬送ルートを生成する。この場合、水平移動平面では、ノード(例えば、分割領域の重心)とリンクからなるグラフに対して、ルート探索アルゴリズムを適用する。ルート探索アルゴリズムとしては、例えば、「A*(A-star)探索アルゴリズム」を用いることができる。このA*探索アルゴリズムは、移動開始位置→搬送開始位置→搬送目標位置までのパスを見つけるグラフ探索問題において、探索の道標となるコスト関数を用いる。コスト関数では、スタートからn地点までのコストと、n地点からゴールまでの予想されるコスト(評価値)の合計が低い搬送ルートを特定する。そして、ルート作成部213は、生成した搬送ルートを、予定ルート情報241として、揚重管理データ240に関連付けて揚重情報記憶部24に記録する。
【0058】
次に、支援サーバ20の制御部21は、監視範囲の設定処理を実行する(ステップS108)。具体的には、制御部21の搬送管理部214は、速度決定テーブルを用いて、吊り荷のサイズに応じた搬送速度(通常搬送における通常速度)を決定する。更に、搬送管理部214は、範囲決定テーブルを用いて、吊り荷に応じた搬送速度(通常搬送)から監視範囲を決定する。
【0059】
図2に示すように、監視範囲W0は、フックC14の周囲に円筒形状で設定される。この監視範囲W0は、2つの第1監視範囲W1、第2監視範囲W2により構成される。第1監視範囲W1は搬送速度を減速させるための減速領域であり、第2監視範囲W2は搬送を一旦停止させるための停止領域である。
【0060】
次に、支援サーバ20の制御部21は、搬送開始処理を実行する(ステップS109)。具体的には、制御部21の搬送管理部214は、管理端末30の表示装置H13に、開始確認画面を出力する。開始確認画面において開始ボタンの押下を検知した場合、揚重管理データ240に、搬送状況として「搬送中」フラグを記録する。そして、搬送管理部214は、タワークレーンTC1の制御ユニット10の駆動制御部14に対して、搬送開始を指示する。
【0061】
(搬送時処理)
次に、図6を用いて、搬送時処理を説明する。
ここでは、支援サーバ20の制御部21は、周囲状況の監視処理を実行する(ステップS201)。具体的には、制御部21の搬送管理部214は、タワークレーンTC1の制御ユニット10から、3次元計測器12で計測したタワークレーンTC1周囲の3次元点群情報を取得する。そして、後述するボクセル化処理を実行する。
【0062】
この場合、図10(a)に示すように、側面からみた場合、点群が所在する位置に、ボクセルBC1が配置される。図10(b)に示すように、上面からみた場合、点群が所在する位置に、ボクセルBC1が配置される。
【0063】
そして、図11に示すように、管理端末30の表示装置H13の管理画面500には、タワークレーンTC1の下方で、点群が所在する位置に、ボクセルBC1が表示される。
次に、支援サーバ20の制御部21は、障害検知かどうかについての判定処理を実行する(ステップS202)。具体的には、制御部21の搬送管理部214は、ボクセルの配置に応じて、監視範囲に含まれる障害物の有無を確認する。監視範囲に含まれるボクセル(障害物)が存在する場合には、障害検知と判定する。一方、監視範囲に含まれるボクセルが存在しない場合には、障害検知なしと判定する。
【0064】
障害検知なしと判定した場合(ステップS202において「NO」の場合)、支援サーバ20の制御部21は、通常搬送処理を実行する(ステップS203)。具体的には、制御部21の搬送管理部214は、駆動制御部14に対して、速度決定テーブルを用いて決定した通常速度での搬送を指示する。ここで、マストC10から搬送目標位置までの水平距離(第1距離)が、マストC10から搬送開始位置までの水平距離(第2距離)と異なる場合もある。この場合には、マストC10から吊り荷C15までの水平距離が第2距離になるように、ジブC13の起伏操作を、旋回フレームC11の旋回操作と同時に行なう。
【0065】
一方、障害検知と判定した場合(ステップS202において「YES」の場合)、支援サーバ20の制御部21は、減速領域かどうかについての判定処理を実行する(ステップS204)。具体的には、制御部21の搬送管理部214は、検知したボクセル(障害物)の配置と監視範囲との位置関係を特定する。ボクセル(障害物)が第1監視範囲W1に含まれ、第2監視範囲W2に含まれない場合には、減速領域と判定する。
【0066】
減速領域と判定した場合(ステップS204において「YES」の場合)、支援サーバ20の制御部21は、減速搬送処理を実行する(ステップS205)。具体的には、制御部21の搬送管理部214は、通常速度に対して減速速度での搬送を指示する。この減速速度は、例えば、通常速度に対して、1以下の所定割合を乗算することにより算出することができる。搬送管理部214は、駆動制御部14に対して、減速速度での搬送を指示する。
【0067】
一方、ボクセル(障害物)が第2監視範囲W2に含まれており、停止領域と判定した場合(ステップS204において「NO」の場合)、支援サーバ20の制御部21は、停止処理を実行する(ステップS206)。具体的には、制御部21の搬送管理部214は、駆動制御部14に対して、旋回フレームC11の旋回操作やジブC13の起伏操作の停止を指示する。
【0068】
次に、支援サーバ20の制御部21は、障害消失かどうかについての判定処理を実行する(ステップS207)。具体的には、制御部21の搬送管理部214は、3次元計測器12で計測した点群に応じて配置したボクセル(障害物)により、第2監視範囲W2に含まれる障害物が消失したかどうかを確認する。
【0069】
障害が消失していないと判定した場合(ステップS207において「NO」の場合)、支援サーバ20の制御部21は、停止処理(ステップS206)を継続する。
一方、障害消失と判定した場合(ステップS207において「YES」の場合)、支援サーバ20の制御部21は、搬送ルートの作成処理(ステップS107)から処理をやり直す。この場合、タワークレーンTC1の制御ユニット10から、3次元計測器12で計測したタワークレーンTC1周囲のボクセル(障害物)を取得する。そして、現在のフック位置を搬送開始位置として、ボクセル(障害物)の所在に応じて、搬送目標位置までの搬送ルートを作成する。これにより、障害物の現状に基づいて、ステップS107において、搬送ルートを作成し直す。
【0070】
通常搬送処理(ステップS203)、減速搬送処理(ステップS205)の実行時には、支援サーバ20の制御部21は、旋回終了かどうかについての判定処理を実行する(ステップS208)。具体的には、制御部21の搬送管理部214は、タワークレーンTC1のフックC14が、搬送目標位置の上方に到達した場合には、旋回終了と判定する。
【0071】
旋回終了でないと判定した場合(ステップS208において「NO」の場合)、支援サーバ20の制御部21は、周囲状況の監視処理(ステップS201)以降の処理を繰り返して実行する。
【0072】
一方、旋回終了と判定した場合(ステップS208において「YES」の場合)、支援サーバ20の制御部21は、荷下ろし処理を実行する(ステップS209)。具体的には、制御部21の搬送管理部214は、駆動制御部14に対して、搬送目標位置に達するまでフックC14の降下を指示する。
【0073】
次に、支援サーバ20の制御部21は、実績ルートの記録処理を実行する(ステップS210)。具体的には、制御部21の搬送管理部214は、旋回フレームC11の旋回操作、ジブC13の起伏操作、フックC14の上下操作に応じて、実際に吊り荷C15が通過したルートに関する実績ルート情報242を生成する。そして、搬送管理部214は、揚重管理データ240に関連付けて、実績ルート情報242を揚重情報記憶部24に記録する。更に、この実績ルート情報242には、旋回フレームC11の旋回操作、ジブC13の起伏操作、フックC14の上下操作の操作情報を含める。
そして、搬送を完了した場合、搬送管理部214は、揚重管理データ240に、搬送状況として「搬送終了」フラグを記録する。
【0074】
(ボクセル化処理)
次に、図7を用いて、ボクセル化処理を説明する。
【0075】
ここでは、支援サーバ20の制御部21は、ボクセル化領域の設定処理を実行する(ステップS301)。具体的には、制御部21の点群処理部215は、ボクセル情報記憶部25のボクセル化条件情報251を用いて、3次元の仮想空間において、ボクセル化を行なう3次元のボクセル化領域を特定する。
【0076】
例えば、図2に示すように、高さh1以下の範囲をボクセル化領域として特定する。
次に、支援サーバ20の制御部21は、ボクセルサイズの設定処理を実行する(ステップS302)。具体的には、制御部21の点群処理部215は、タワークレーンTC1を稼働させる環境情報を取得する。本実施形態では、天候情報サーバ(図示せず)から、工事現場の所在地域の天候情報を取得する。そして、点群処理部215は、ボクセルサイズ情報252を用いて、天候情報に対応したボクセルサイズを特定する。
【0077】
図8に示すように、本実施形態では、3次元の仮想空間に、一辺の長さL1(ボクセルサイズ)の立方体のボクセルBC0が配置される。
次に、支援サーバ20の制御部21は、点群の取得処理を実行する(ステップS303)。具体的には、制御部21の点群処理部215は、3次元計測器12から点群情報を取得する。
【0078】
次に、支援サーバ20の制御部21は、ボクセルの設定処理を実行する(ステップS304)。具体的には、制御部21の点群処理部215は、ボクセル化条件情報251を用いて、点群が含まれるボクセルBC0を特定する。
【0079】
図9(a)に示すように、ボクセルBC0が配置された仮想空間内に点群P1が配置される。ここでは、簡略化のために、8個のボクセルBC0を示している。そして、図9(b)に示すように、仮想空間内に配置されたボクセルBC0において、点群P1が所在する絶対座標の位置に対応するボクセルBC1のみを特定する。そして、図9(c)に示すように、仮想空間において、点群P1の代わりに、ボクセルBC1を配置する。このボクセルBC1は、有限の大きさの物理量を有する。
【0080】
次に、支援サーバ20の制御部21は、ボクセル表示処理を実行する(ステップS305)。具体的には、制御部21の点群処理部215は、設定したボクセルBC1について、ボクセル配色情報253を用いて配色を決定する。そして、管理端末30の表示装置H13に表示された仮想空間に配置されたボクセルBC1に、決定した配色(半透明色)で着色する。
【0081】
次に、支援サーバ20の制御部21は、停止かどうかについての判定処理を実行する(ステップS306)。具体的には、制御部21の点群処理部215は、揚重情報記憶部24の揚重管理データ240の搬送状況に搬送終了フラグが記録されているかどうかを確認する。搬送終了フラグが記録されている場合には、ボクセル化の停止と判定する。停止でないと判定した場合(ステップS306において「NO」の場合)には、ステップS303以降の処理を繰り返す。
【0082】
本実施形態によれば、以下のような効果を得ることができる。
(1)本実施形態では、支援サーバ20の制御部21は、BIM情報取得処理(ステップS101)、属性情報によるスコアリング処理(ステップS102)を実行する。これにより、3次元モデル情報に基づいて、障害物を特定することができる。例えば、工事現場において、複数のタワークレーンを用いる場合、周囲のタワークレーンに対して、スコアを付与することができる。
【0083】
(2)本実施形態では、支援サーバ20の制御部21は、マッピング処理(ステップS103)、高さ設定処理(ステップS104)を実行する。これにより、タワークレーンTC1の周囲の障害物に応じて、高さを設定することができる。
【0084】
(3)本実施形態では、支援サーバ20の制御部21は、搬送情報の設定処理(ステップS105)、オフセットの設定処理(ステップS106)を実行する。これにより、障害物への接近を抑制することができる。
【0085】
(4)本実施形態では、支援サーバ20の制御部21は、搬送ルートの作成処理を実行する(ステップS107)。これにより、搬送開始位置から搬送目標位置までの効率的な搬送ルートを作成することができる。
【0086】
(5)本実施形態では、支援サーバ20の制御部21は、監視範囲の設定処理を実行する(ステップS108)。これにより、吊り荷C15の状況に応じた監視範囲を設定することができる。
【0087】
(6)本実施形態では、支援サーバ20の制御部21は、搬送開始処理(ステップS109)、周囲状況の監視処理(ステップS201)を実行する。これにより、突発的に発生した障害物を検知することができる。そして、障害検知なしと判定した場合(ステップS202において「NO」の場合)、支援サーバ20の制御部21は、通常搬送処理を実行する(ステップS203)。これにより、効率的に搬送を行なうことができる。
【0088】
(6)本実施形態では、減速領域と判定した場合(ステップS204において「YES」の場合)、支援サーバ20の制御部21は、減速搬送処理を実行する(ステップS205)。これにより、障害物との接触の可能性がある場合に、時間的な猶予を確保することができる。
【0089】
(7)本実施形態では、停止領域と判定した場合(ステップS204において「NO」の場合)、支援サーバ20の制御部21は、停止処理を実行する(ステップS206)。これにより、障害物との接触の可能性が高い場合に、回避することができる。
【0090】
(8)本実施形態では、障害消失と判定した場合(ステップS207において「YES」の場合)、支援サーバ20の制御部21は、搬送ルートの作成処理(ステップS107)以降の処理を実行する。これにより、現在の状況を考慮して、効率的な搬送ルートを作成することができる。
【0091】
(9)本実施形態では、支援サーバ20の制御部21は、ボクセル化領域の設定処理を実行する(ステップS301)。これにより、障害物の検知が必要な領域のみで、ボクセルを設定することができる。ボクセル化領域を絞り込みことによって、処理負荷を軽減することができる。例えば、ボクセル化領域を、吊荷が存在する領域以外で設定することにより、誤認識を抑制することができる。
【0092】
(10)本実施形態では、支援サーバ20の制御部21は、ボクセルサイズの設定処理を実行する(ステップS302)。これにより、状況に応じて、ボクセルサイズ(解像度)で情報処理を行なうことができる。例えば、詳細な情報が必要な場合には、ボクセルサイズを小さくすることにより、解像度を上げることができる。一方、詳細な情報が必要でない場合には、ボクセルサイズを大きくすることにより、解像度を下げて、高速な情報処理を行なうことができる。
【0093】
(11)本実施形態では、支援サーバ20の制御部21は、点群の取得処理(ステップS303)、ボクセルの設定処理(ステップS304)を実行する。これにより、3次元計測器12で計測した点群を、有限の大きさを有するボクセル(カタマリ)として扱うことにより、監視領域への侵入だけでなく、ある大きさをもった障害物として扱うことができる。そして、自動運転時の経路生成の際に利用できる。また、解像度を落としたことにより、計算負荷を抑制できるので、高速に周囲状況を監視できる。
【0094】
(12)本実施形態では、支援サーバ20の制御部21は、ボクセル表示処理を実行する(ステップS305)。これにより、管理画面上で、ボクセルの配色により、ボクセルの状況を確認することができる。
【0095】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、3次元計測器12を用いて、揚重装置としてタワークレーンTC1の周囲の点群を取得する。点群を取得する領域は、タワークレーンに限定されるものではなく、自動運転を行なう機械に適用して、運転を制御することができる。例えば、建設機械、自動車、自動搬送装置等にも適用することができる。
【0096】
・上記実施形態では、支援サーバ20の制御部21は、ボクセル化領域の設定処理を実行する(ステップS301)。ここでは、高さh1以下の範囲をボクセル化領域として特定する。ボクセル化領域は、これに限定されるものではない。例えば、平面的な範囲を用いてもよい。
【0097】
また、ボクセル化領域を、動的に変更するようにしてもよい。
例えば、搬送速度に応じて、ボクセル化領域を変更することができる。搬送速度が速い場合には、搬送速度が遅い場合よりも、広い範囲でボクセル化領域を設定する。この場合には、ボクセル化条件情報251に、搬送速度に対して、ボクセル化領域を決定する情報を記録しておく。
【0098】
また、環境情報に応じて、ボクセル化領域を変更してもよい。この場合には、ボクセル化条件情報251に、環境情報に対して、ボクセル化領域を決定する情報を記録しておく。
【0099】
・上記実施形態では、支援サーバ20の制御部21は、ボクセルサイズの設定処理を実行する(ステップS302)。ここでは、工事現場の所在地域の天候情報に対応したボクセルサイズを特定する。ボクセルサイズを決定する情報は、天候情報に限定されるものではない。例えば、現場状況に応じてボクセルサイズを決定してもよい。具体的には、細かい資機材が多い工事現場においては、ボクセルサイズを小さくする。この場合には、管理端末30から、管理者によって入力された現場状況を取得して、この現場状況に応じてボクセルサイズを決定する。
【0100】
また、撮像装置13による撮影画像を用いて、環境情報を取得してもよい。この場合には、画像処理により、撮影画像に含まれる現場状況(天候、視界や資機材の所在等)を認識するようにしてもよい。
【0101】
・上記実施形態では、支援サーバ20の制御部21は、ボクセルの設定処理を実行する(ステップS304)。ここでは、点群が所在するボクセルを配置する。この場合、点群の数に応じて、ボクセルの配置の要否を判定するようにしてもよい。また、ボクセル化条件情報251には、ボクセル化を行なう領域を定める情報が記録される。これに代えて、或いは加えて、ボクセル化条件情報251に、ボクセルを生成する場合の点群の最小限の数を設定してもよい。
【0102】
・上記実施形態では、支援サーバ20の制御部21は、ボクセル表示処理を実行する(ステップS305)。ここでは、ボクセル配色情報253を用いて、ボクセル状況(ボクセルの位置)に応じて、配色を決定する。配色の決定方法は、ボクセルの位置に限定されるものではない。例えば、ボクセル状況として、ボクセル内の点群の数を用いて、配色を決定してもよい。
【0103】
・上記実施形態では、障害検知と判定した場合(ステップS202において「YES」の場合)、支援サーバ20の制御部21は、減速搬送処理(ステップS205)や、停止処理(ステップS206)を実行する。物体に応じた情報処理は、減速搬送処理や停止処理に限定されるものではない。例えば、ボクセルから離れる回避動作の上方処理を行なうようにしてもよい。
【0104】
・上記実施形態では、支援サーバ20の制御部21は、搬送ルートの作成処理を実行する(ステップS108)。この搬送ルートの作成処理においては、A*探索アルゴリズムを用いる。搬送ルートの作成方法は、A*探索アルゴリズムに限定されるものではない。例えば、ジブの旋回に応じた円弧状を組み合わせた搬送ルートを作成するようにしてもよい。
【0105】
また、支援サーバ20の制御部21が、揚重情報記憶部24に記録された予定ルート情報241及び実績ルート情報242を教師情報として、予定ルートから実績ルートを予測する予測モデルを、機械学習により生成してもよい。この場合には、ルート作成部213は、搬送ルートの作成処理(ステップS108)において生成した各予定ルート候補を予測モデルに入力して、予定ルート候補毎に実際の予測ルートを出力する。次に、ルート作成部213は、搬送領域マップを用いて、この予測ルートの評価値を取得し、評価値の合計を再計算する。そして、各予測ルートにおいて評価値の合計が低い予定ルート候補を搬送ルートとして特定する。
【0106】
・上記実施形態では、支援サーバ20の制御部21は、監視範囲の設定処理を実行する(ステップS108)。ここでは、吊り荷のサイズに応じて監視範囲を決定する。監視範囲は、サイズに基づいて決定する方法に限定されない。工事現場の環境に応じて、監視範囲を決定してもよい。例えば、風速や天候に応じて、監視範囲を決定してもよい。この場合、風速が大きい場合や、視界が悪い天候の場合には、風速が小さい場合や、視界がよい天候に比べて、監視範囲を大きくする。
【0107】
次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
(a)前記ボクセル情報記憶部には、前記ボクセル管理データとして、環境情報に応じて、ボクセルサイズを決定するための情報が記録されており、
前記制御部が、前記環境情報を取得し、前記環境情報に基づいてボクセルサイズを決定することを特徴とする請求項1に記載の物体検知システム。
【0108】
(b)前記ボクセル情報記憶部には、前記ボクセル管理データとして、ボクセル化を行なうボクセル化範囲に関するボクセル化範囲情報が記録されており、
前記制御部が、前記ボクセル化範囲情報に基づいてボクセルを配置することを特徴とする請求項1又は(a)に記載の物体検知システム。
【0109】
(c)前記ボクセル情報記憶部には、前記環境情報に応じた前記ボクセル化範囲情報が記録されていることを特徴とする(b)に記載の物体検知システム。
(d)前記ボクセル情報記憶部には、前記ボクセル管理データとして、ボクセル状況に応じてボクセルの配色に関する情報が記録されており、
前記制御部が、生成したボクセルのボクセル状況に応じて決定した配色で、前記ボクセルを表示することを特徴とする請求項1、(a)~(c)に記載の物体検知システム。
【符号の説明】
【0110】
TC1…タワークレーン、C10…マスト、C11…旋回フレーム、C12…運転席、C13…ジブ、C14…フック、C15…吊り荷、P1…点群、BC0,BC1…ボクセル、10…制御ユニット、12…3次元計測器、13…撮像装置、14…駆動制御部、15…吊物旋回装置、20…支援サーバ、21…制御部、211…情報取得部、212…マップ生成部、213…ルート作成部、214…搬送管理部、215…点群処理部、22…BIM情報記憶部、23…評価情報記憶部、24…揚重情報記憶部、25…ボクセル情報記憶部、30…管理端末。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11