特表 2024-515632 クレーンオペレータを支援するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-10

(54)【発明の名称】クレーンオペレータを支援するためのシステム及び方法

(51)【国際特許分類】

   B66C 13/00 20060101AFI20240403BHJP

   E04G 21/16 20060101ALI20240403BHJP

   B66C 13/48 20060101ALI20240403BHJP

   G01B 11/03 20060101ALI20240403BHJP

【ＦＩ】

B66C13/00 D

E04G21/16

B66C13/48 G

G01B11/03 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023563001

(86)(22)【出願日】2022-04-12

(85)【翻訳文提出日】2023-12-08

(86)【国際出願番号】 US2022024466

(87)【国際公開番号】W WO2022221311

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】63/173,584

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/283,801

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

２．ＵＮＩＸ

(71)【出願人】

【識別番号】523387378

【氏名又は名称】ストラクチュアル サービシズ インコーポレイテッド

(74)【代理人】

【識別番号】100102978

【弁理士】

【氏名又は名称】清水 初志

(74)【代理人】

【識別番号】100205707

【弁理士】

【氏名又は名称】小寺 秀紀

(74)【代理人】

【識別番号】100160923

【弁理士】

【氏名又は名称】山口 裕孝

(74)【代理人】

【識別番号】100119507

【弁理士】

【氏名又は名称】刑部 俊

(74)【代理人】

【識別番号】100142929

【弁理士】

【氏名又は名称】井上 隆一

(74)【代理人】

【識別番号】100148699

【弁理士】

【氏名又は名称】佐藤 利光

(74)【代理人】

【識別番号】100188433

【弁理士】

【氏名又は名称】梅村 幸輔

(74)【代理人】

【識別番号】100128048

【弁理士】

【氏名又は名称】新見 浩一

(74)【代理人】

【識別番号】100129506

【弁理士】

【氏名又は名称】小林 智彦

(74)【代理人】

【識別番号】100114340

【弁理士】

【氏名又は名称】大関 雅人

(74)【代理人】

【識別番号】100214396

【弁理士】

【氏名又は名称】塩田 真紀

(74)【代理人】

【識別番号】100121072

【弁理士】

【氏名又は名称】川本 和弥

(74)【代理人】

【識別番号】100221741

【弁理士】

【氏名又は名称】酒井 直子

(74)【代理人】

【識別番号】100114926

【弁理士】

【氏名又は名称】枝松 義恵

(72)【発明者】

【氏名】ベンジング ジェームズ ティー．

(72)【発明者】

【氏名】ハラー ウィリアム アール．

(72)【発明者】

【氏名】スレイビン セス ティー．

(72)【発明者】

【氏名】カシカ－ソルタン マルタ

【テーマコード（参考）】

2E174

2F065

3F204

【Ｆターム（参考）】

2E174CA12

2E174EA01

2F065AA22

2F065AA24

2F065CC14

2F065FF11

3F204AA04

3F204BA02

3F204CA01

3F204DB04

3F204DC06

(57)【要約】

構造部材の識別に基づいて、構造部材についての射影経路及び最終的な取り付け位置が、クレーンオペレータに提示される。更に、各構造部材の寸法が決定され、建設現場データベースと比較される。建設現場データベースに列記された寸法に適合しない構造部材が識別されると、クレーンオペレータにアラートが出される。
【選択図】図１

【特許請求の範囲】

【請求項1】

クレーンオペレータを支援するためのシステムであって、
前記システムは、シェイクアウトフィールド内の建築材料オブジェクトを識別するための撮像システムを備え、前記撮像システムは、撮像器及び距離センサを備え、前記撮像システムは、
前記撮像器を用いて、建築材料オブジェクトの少なくとも１つの画像を、前記撮像器を用いて捕捉することであって、前記画像は、前記建築材料オブジェクトについての識別印を含む、捕捉することと、
前記識別印を認識し、前記認識された識別印を、持ち上げリスト上の複数の識別印と比較することと、
少なくとも前記距離センサを使用して、前記構造部材の少なくとも１つの寸法を測定することと、
前記建築材料オブジェクトの前記少なくとも１つの寸法が、前記持ち上げリスト上の前記構造部材の対応する寸法と合致することを確認することと、
前記シェイクアウトフィールド内の前記建築材料オブジェクトの位置を含むメッセージを送信することと
を行うように構成されている、システム。

【請求項2】

前記システムは、データベースを記憶するサーバを更に備え、前記データベースは、前記持ち上げリストの表現と、前記シェイクアウトフィールド内の前記建築材料オブジェクトに関連する物理的属性と、を含み、前記撮像システムは、前記建築材料オブジェクトの任意の測定された属性が、前記建築材料オブジェクトについての対応する物理的属性と合致することを確認する、請求項１に記載のシステム。

【請求項3】

前記建築材料オブジェクトを初期位置から目的位置まで移動させるためのクローラクレーンを備える、請求項１に記載のシステム。

【請求項4】

前記撮像システムは、前記クローラクレーンのメインフックブロックに物理的に結合されている、請求項３に記載のシステム。

【請求項5】

前記少なくとも１つの距離センサは、ＬＩＤＡＲセンサを含む、請求項１に記載のシステム。

【請求項6】

撮像システムは、前記少なくとも１つの画像内の英数字を認識するためのコンピュータビジョンモジュールを備え、前記識別印は英数字を含む、請求項１に記載のシステム。

【請求項7】

クレーンオペレータを支援するための方法であって、
シェイクアウトフィールド内の建築材料オブジェクトを識別することが可能な撮像システムを用いて、前記撮像システムの撮像器を用いて建築材料オブジェクトの少なくとも１つの画像を捕捉することであって、前記少なくとも１つの画像は、前記建築材料オブジェクトについての識別印を含む、捕捉することと、
前記識別印を認識することと、
前記撮像システムを用いて、前記認識された識別印を、持ち上げリスト上の複数の識別印と比較することと、
前記撮像システムの少なくとも１つの距離センサを使用して、前記建築材料オブジェクトの少なくとも１つの寸法を測定することと、
前記建築材料オブジェクトの前記少なくとも１つの寸法が、前記持ち上げリスト上の前記建築材料オブジェクトについての対応する寸法と合致することを確認することと、
前記シェイクアウトフィールド内の前記建築材料オブジェクトの位置を含むメッセージを送信することと
を含む、方法。

【請求項8】

前記建築材料オブジェクトの任意の測定された属性が、データベース中の前記建築材料オブジェクトについての対応する物理的属性と合致することを確認することであって、前記データベースは、前記持ち上げリストの表現と、前記シェイクアウトフィールド内の前記建築材料オブジェクトに関連する物理的属性と、を含む、確認することを更に含む、請求項７に記載の方法。

【請求項9】

クローラクレーンを使用して、前記建築材料オブジェクトをその最初の目的地から目的位置まで移動させることを更に含む、請求項７に記載の方法。

【請求項10】

前記撮像システムは、前記クローラクレーンのメインフックブロックに物理的に結合されている、請求項９に記載の方法。

【請求項11】

前記少なくとも１つの距離センサは、ＬＩＤＡＲセンサを含む、請求項７に記載の方法。

【請求項12】

前記撮像システムのコンピュータビジョンモジュールを用いて、前記少なくとも１つの画像内の英数字を認識することであって、前記識別印は英数字を含む、認識することを更に含む、請求項７に記載の方法。

【請求項13】

命令を含む、クレーンオペレータを支援するための非一時的コンピュータ可読媒体であって、前記命令が、実行されると、シェイクアウトフィールド内の建築材料オブジェクトを識別することが可能な撮像システムに、
前記撮像システムの撮像器を用いて、建築材料オブジェクトの少なくとも１つの画像を捕捉することであって、前記少なくとも１つの画像は、前記建築材料オブジェクトについての識別印を含む、捕捉することと、
前記識別印を認識することと、
前記認識された識別印を、持ち上げリスト上の複数の識別印と比較することと、
少なくとも１つの距離センサを使用して、前記建築材料オブジェクトの少なくとも１つの寸法を測定することと、
前記建築材料オブジェクトの前記少なくとも１つの寸法が、前記持ち上げリスト上の前記建築材料オブジェクトについての対応する寸法と合致することを確認することと、
前記シェイクアウトフィールド内の前記建築材料オブジェクトの位置を含むメッセージを送信することと
を行わせる、非一時的コンピュータ可読媒体。

【請求項14】

前記非一時的コンピュータ可読媒体が更なる命令を含み、前記命令が、実行されると、前記撮像システムに、
前記建築材料オブジェクトの任意の測定された属性が、データベース中の前記建築材料オブジェクトについての対応する物理的属性と合致することを確認することであって、前記データベースは、前記持ち上げリストの表現と、前記シェイクアウトフィールド内の前記建築材料オブジェクトに関連する物理的属性と、を含む、確認すること
を行わせる、請求項１３に記載のクレーンオペレータを支援するための非一時的コンピュータ可読媒体。

【請求項15】

クローラクレーンが、クローラクレーンを使用して、前記建築材料オブジェクトをその最初の目的地から目的位置まで移動させるように構成されている、請求項１３に記載のクレーンオペレータを支援するための非一時的コンピュータ可読媒体。

【請求項16】

クローラクレーンのメインフックブロックに物理的に結合された撮像システムの中に位置付けられている、請求項１３に記載のクレーンオペレータを支援するための非一時的コンピュータ可読媒体。

【請求項17】

前記少なくとも１つの距離センサは、ＬＩＤＡＲセンサを含む、請求項１３に記載のクレーンオペレータを支援するための非一時的コンピュータ可読媒体。

【請求項18】

前記非一時的コンピュータ可読媒体が更なる命令を含み、前記命令が、実行されると、前記撮像システムに、
前記撮像システムのコンピュータビジョンモジュールを用いて、前記少なくとも１つの画像内の英数字を認識することであって、前記識別印は英数字を含む、認識すること
を行わせる、請求項１３に記載のクレーンオペレータを支援するための非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年４月１２日に出願された米国仮特許出願第６３／１７３，５８４号、及び２０２１年１１月２９日に出願された米国仮特許出願第６３／２８３，８０１号の優先権を主張するものであり、これらの内容は参照によりその全体が本明細書に組み込まれたものとする。

【0002】

発明の分野
本発明は、概して、クレーンに関し、より詳細には、人工知能及びコンピュータビジョン技術を使用して、桁、梁、及び／又は柱を含む構造部材等の建築材料オブジェクトを、設置に先立って建設現場において識別するための装置に関する。

【背景技術】

【0003】

発明の背景
建物、橋、及び他の大型構造物の建設は通常、最初にセメント及び／又はコンクリートの基礎の建設を含み、その後、その上に鉄骨構造が建てられる。鉄骨構造は通常、相互に接続された梁、桁、及び柱（すなわち構造部材）で構成され、これらは構造物の荷重を基礎に伝達する。一般的な構造部材は、Ｉ形梁、Ｈ形梁、Ｗ形梁、ユニバーサル梁、圧延根太（ＲＳＪ）梁、箱形梁、及びダブルＴ形梁等を含む。セメント、補強筋（鉄筋）、埋め込みプレート、ＨＶＡＣ機器、電気システム等の、他の建築材料が、建物及び橋の建設によく使用される。構造物の建設において使用され、クレーンによって第１の位置から第２の位置まで吊り上げられる全ての建築材料が、本明細書では建築材料オブジェクトと呼ばれ、例えば構造部材、セメント、ＨＶＡＣ機器、鉄筋、及びガラス板を含むあらゆる建築材料を包含する。構造物という用語は、例えば建物及び橋を含む任意の人工の装置を指す。

【0004】

鉄骨建方プロセスの間、建築材料オブジェクトは最初に、通常は１台以上のトラックによって、建設現場に輸送される。例えば、ＨＶＡＣ機器は平台のセミトレーラトラックによって建設現場に輸送され得、セメントはセメントトラックによって建設現場に輸送され得る。建築材料オブジェクトは次いで、建方現場においてクレーンの近くで、トラックから持ち上げられる。構造部材は通常、当業界で一般に「シェイクアウトフィールド」と呼ばれるエリアにおいて、地上で長手方向に互いに隣り合って位置決めされ、そこでその後、鉄骨構造上のそれぞれの取り付け位置まで吊り上げられる。コンクリート（通常はホッパに収容される）、鉄筋のスタック及び束、段ボールシート、配管、電気及びＨＶＡＣ用品及びシステム、及び埋め込みプレート等の、他の建築材料オブジェクトもまた、シェイクアウトフィールド内（又はクレーンの近くの別個の現場位置）に位置付けられ、その後クレーンによってそれぞれの目的位置まで吊り上げられる。

【0005】

各建築材料オブジェクトは通常、部材の外側表面に配置された手書きの又は塗料吹き付けによる印（建築材料オブジェクトの「識別印」）によって識別される。印は通常、英数字及び／又は記号のセットからなり、鋼材組立業者によって建築材料オブジェクトの目に見える位置に配置される。他のタイプの識別印は、手書きの又は塗料吹き付けによる印に加えて、又はその代わりに、建築材料オブジェクトを識別するために使用される無線周波数識別（ＲＦＩＤ）タグ、クイックレスポンス（ＱＲ）コード、バーコード、又は他のタイプの機械可読ラベルを含む。

【0006】

各識別印は、建築情報モデリング（ＢＩＭ）ソフトウェアパッケージ、又は他のタイプのデータベースシステムによって提供される、建設現場データベースにリンクされ得る。Ｔｒｉｍｂｌｅ Ｓｏｌｕｔｉｏｎｓ，Ｉｎｃ．（Ｋｅｎｎｅｓａｗ、Ｇｅｏｒｇｉａ）によって提供される「Ｔｅｋｌａ」ソフトウェアパッケージは、ＢＩＭソフトウェアパッケージの一例である。Ｔｅｋｌａのような高度な構造ＢＩＭソフトウェアは、鋼材ディテーラ、組立業者、及び構造エンジニア等が、多材料（例えば構造部材及び／又は補強筋）及び関連する建設情報の３Ｄモデルを作成、結合、管理、及び共有することを可能とする。データベースはまた、建築材料オブジェクトについての、吊り上げ順序、最終的な建設現場取り付け位置又は配置位置を含む、識別印に関連する情報を記憶し得る。例えば、ＨＶＡＣ機器の建設現場最終配置位置は、ほぼ完成した構造物の屋根の位置として定義され得る。最終的な建設現場取り付け位置又は配置位置のＧＮＳＳ座標もまた、建築材料オブジェクトの配置を支援するために利用可能とされ得る。

【0007】

このデータは通常は統合され、簡略化された順序付きリスト（一般に「持ち上げリスト」と呼ばれる）においてクレーンオペレータに提供され、このリストは、各建築材料オブジェクトについての、吊り上げ順序、識別印、及び最終的な取り付け位置又は配置位置を含む。それゆえ、各建築材料オブジェクトの識別印は、通常は建設現場データベースに含まれる、識別された各建築材料オブジェクトについての詳細情報へのアクセスを提供し得る。例えば、構造部材の識別印は、構造部材のデータへのアクセスを可能とすることとなり、このデータは、構造部材の構造物上の取り付け位置；構造部材の幅、長さ、高さ（当業界では一般に深さと呼ばれ、一方のフランジの外側面から他方のフランジの外側面までの公称高さを表す）、及び重量；金属の表面処理；構造部材がいつどこで製造されたか；鋼材組立業者の身元；識別された部材に接続されることとなる他の構造部材の識別；材料のタイプ；取り付けられるブラケット、穴のパターン、接続位置等の、構造部材に起因する他の構造特徴；並びに／又は構造部材に関連する他の適切な情報（データ）を含み得る。別の例としては、束ねられた鉄筋の識別印は、鉄筋のデータへのアクセスを提供し、このデータは、束についての構造物上の目的位置、サイズ、長さ、束内に含まれる部品の数、鉄筋の製造に使用された鋼のタイプ、鉄筋がいつどこで製造されたか、組立業者、及び鉄筋の束に関連し得る他のデータを含み得る。

【0008】

それゆえ、識別印は、識別された建築材料オブジェクトのそれぞれに関連するデータをロック解除するキーである。クレーンオペレータにとって特に重要なものは、構造部材の持ち上げ順序、及び特定の構造部材の最終的な建設現場取り付け位置データである。例えば、構造部材がトラックから降ろされ、シェイクアウトフィールドに移動させられると、クレーンオペレータは、部分的に完成した構造物上の取り付け位置に荷（すなわち構造部材）を吊り上げる前に、適切な持ち上げ順序で最初の及び後続する構造部材を選択する任務を負う。構造部材は通常、作業員が識別印を遮るものなく見ることができることを確実にするように、シェイクアウトフィールドにおいて方向付けられる。同様に、他のタイプの建築材料オブジェクトの識別印に関連するデータは、吊り上げ順序及び最終的な建設現場目的位置を含み得る。このデータは通常、簡略化された順序付きリスト（例えば建築材料オブジェクト持ち上げリスト）の形でクレーンオペレータに提供され、このリストは、吊り上げ順序、識別印、及び他の各タイプの建築材料オブジェクトについての目的位置を含む。

【0009】

持ち上げ順序は通常、持ち上げリストの形をとり、この持ち上げリストは、構造物上の最初の及び後続する構造部材及びそれらの取り付け位置を識別する。少ない数の構造部材しか有さない単純な構造物の場合、持ち上げリストデータは手書きのリストの形をとってもよい。より大きな構造物の場合、持ち上げリストデータは、建設現場データベースに組み込まれ、クレーンの運転室等に常駐するコンピュータシステムを通してアクセスされ得る。また、構造部材のみならず他のタイプの建築材料オブジェクトを含む、複合持ち上げリストが提供され得る。例えば、持ち上げリストは、構造物上の種々の位置までの吊り上げについての３つの構造部材及び２つのセメントバケットの順序付きリストを含み得る。

【0010】

クレーンオペレータが持ち上げのために正しい建築材料オブジェクトを選択するのを支援するために、１人以上のシェイクアウトフィールド担当者（「シェイクアウト担当者」）が、建築材料オブジェクトの識別印を読み取り、識別印を持ち上げリストデータと比較することによって、正しい建築材料オブジェクトを視覚的に識別する。次に、レイアウト担当者が、正しく識別された建築材料オブジェクトの位置にクレーンフックを移動させるようクレーンオペレータに指示し、当該オブジェクトにメインフックブロックを取り付ける。次に、クレーンオペレータが、取り付け位置の近くにいる１人以上の鉄工作業員の支援を受けながら、建築材料オブジェクトを構造物上の目的位置まで吊り上げる。鉄工作業担当者及びクレーンオペレータの間では、手信号及び／又は無線通信を使用して、シェイクアウトフィールドから構造物上の目的位置への建築材料オブジェクトの持ち上げ移動の間、通信が維持される。しかしながら、無線通信及び／又は手信号を使用しても、クレーンオペレータと鉄工作業担当者との間の不十分な通信のため、又は荷の吊り上げの間にクレーンオペレータの作業現場の視界が妨げられるため、建築材料オブジェクトを既存の構造物に衝突させてしまう可能性が依然としてある。

【0011】

鋼材組立業者は典型的には、建築材料オブジェクトに英数字及び／又は他の記号を用いて識別印をマークする。かかる印は通常、チョーク、塗料、消えないインク、又は他のタイプの材料を使用して手書きされるが、その理由は、この技術が迅速で、安価であり、通常は作業員がシェイクアウトフィールドにおいて特定の建築材料オブジェクトを識別するのに十分であるからである。しかしながら、手書きの識別印は、作業員が英数字及び他の記号を読むことによる解釈の影響を受けるものとなり得る。例えば、大文字の「Ｊ」が「１」と解釈されてしまい、小文字の「ｂ」が「６」と解釈されてしまい得る。手書きの印はまた、読み手の視点に依存して上下逆さまに書かれるか又は横向きに書かれ得るものであり、英数字及び／又は記号の正しい認識を更に困難にする。かくして、シェイクアウトフィールドの担当者によって建築材料オブジェクトを誤識別する高い可能性がある。

【0012】

建築材料オブジェクトの不適切な識別は、クレーンオペレータが建築材料オブジェクトを誤った目的位置に位置決めすることに帰着し得る。この場合、最初に、不適正に識別された建築材料オブジェクトを目的位置まで運び、次いで、不適正に識別された建築材料オブジェクトをシェイクアウトフィールドまで戻し、不適正に識別された建築材料オブジェクトをメインフックブロックから切り離し、正しい建築材料オブジェクトを再識別し、正しい建築材料オブジェクトまでクレーンを移動させ、正しい建築材料オブジェクトにクレーンケーブルを再接続し、次いで、正しい建築材料オブジェクトを構造物上の望ましい目的位置まで再び吊り上げることによって、貴重な建設時間が失われる。

【0013】

また、現在の建設実務は、識別印が建築材料オブジェクトを正しく識別し、その対応する情報が建設現場データベース又は鉄骨構造についての他のデータベースに含まれていることを仮定している。しかしながら、建築材料オブジェクトの鋼材組立業者又は鋼材供給業者が、誤った識別印を建築材料オブジェクトに割り当てることがある。かかるエラーもまた、レイアウト要員が建築材料オブジェクトを誤識別した場合のように、オペレータが誤った建築材料オブジェクトを取り付け位置まで吊り上げ、次いでシェイクアウトフィールドに戻すことに帰着する。

【0014】

鋼材組立業者が建築材料オブジェクトを適切に識別しても、建設現場データベースの仕様に従って建築材料オブジェクトを製造できなかった場合にも、同様の問題が生じる。例えば、構造部材が望ましい長さ、幅及び／又は高さで組み立てられていないこととなり得る。この時点において、鋼材組立業者によって新たな構造部材が修正又は再製造されなければならないが、これは通常、製造のエラーの程度、構造部材のサイズ、鋼材の入手可能性、及び他の要因に依存して、何時間も又は何日もかかる。これに加えて、構造部材は、構造物に対する適切な取り付けのために必要とされる構造特徴が欠落していることがあり得る。例えば、ブラケット及び／又は穴のパターンが欠けている、誤ったサイズとされている、又は構造部材上で誤った位置を有していることがあり得る。これらのエラーは通常、問題のある構造部材が取り付け位置に吊り上げられ、構造物に適切に取り付けられなくなるまで明らかにならない。かかるエラーは、ダウンタイムを伴うため、総合建設請負業者にとって非常に大きなコストとなり、（構造部材は特定の順序で持ち上げなければならないため）再製造された構造部材が修正されるか又は再製造されて建設現場に戻されるまで、建設現場のプロセス全体を停止させる可能性を有する。

【0015】

同様の問題は、他の建築材料オブジェクトについても存在する。適切に識別はされているが、建築材料供給業者によって建設現場データベースの仕様に従って製造されていない建築材料オブジェクトは、吊り上げられた建築材料オブジェクトがシェイクアウトフィールドに戻されることを引き起こすこととなる。例えば、ある建築材料オブジェクトは、１０フィートの長さの＃１０鉄筋を２０本有し、１０／８インチの直径を有するものとして識別され得るが、製造におけるエラーのために、鉄筋が、８／８インチの公称直径を有するサイズ＃８のものであり得る。

【0016】

かくして、建設業界においては、人間の介在を必要とすることなく、シェイクアウトフィールドにおける各建築材料オブジェクトを容易に、正確に、及び自動的に識別することができる装置に対するニーズがある。追加的に、建設業界においては、実際のシェイクアウトフィールドの建築材料オブジェクトの仕様を自動的に決定し、これらの仕様をそれぞれの建設現場データベース又は他の設計仕様データベースと比較して、誤って製造された建築材料オブジェクトの吊り上げを排除する装置に対するニーズがある。更に、建設業界においては、目的位置に吊り上げられる建築材料オブジェクトと、目的位置に既に配置されている他の建築材料オブジェクトとの衝突を防止する装置に対する別のニーズがある。建設業界における別のニーズは、クレーンオペレータが建築材料オブジェクトをその目的位置まで吊り上げるのを補助する吊り上げ経路を提供することである。

【発明の概要】

【0017】

以上の及び他の欠陥に対処するために、本発明のいくつかの実施形態は、シェイクアウトフィールド内に含まれる各建築材料オブジェクトを自動的に撮像し、画像を処理して各オブジェクトの識別印を決定する、撮像システムを含む。例えば、撮像システムは、英数字の印の画像を捕捉し、機械学習又は人工知能アルゴリズムを利用して、識別印を解読してもよい。撮像システムはまた、ＱＲコード又はバーコード等を走査して、識別印を解読してもよい。撮像システムは、クレーンブームのメインフックブロックに取り付けられるか又はその近く等の、いずれの適切な位置に位置付けられてもよい。撮像システムはまた、１つ以上のドローン機又は更なるモバイルデバイス内に位置付けられてもよい。

【0018】

本発明のいくつかの実施形態においては、撮像システムは、建築材料オブジェクトの幾何学的特性（例えば構造部材の幅（フランジ幅）、長さ、及び高さ）を測定し、測定された幾何学的特性を、建設現場データベース（例えばＢＩＭデータ）又は他のデータベースに記憶された幾何学的特性と比較する。例えば、撮像システムは、建築材料オブジェクトをセメントバケツとして識別し、幾何学的特性（例えば丸い形状のバケツの直径及び高さ）を決定してもよく、次いで、セメントが充填されたバケツの体積を計算し、又は、バケツ内に含まれるセメントの高さを決定することによって、部分的に充填されたバケツのセメントの体積を決定してもよい。別の例として、コンピューティングシステムはまた、吊り上げのために長手方向に束ねられ一緒に巻き付けられた鉄筋の本数を決定し、鉄筋の幾何学的属性（長さ及び直径）を決定し、計算された幾何学的特性を建設現場データベースに記憶されているものと比較してもよい。設計仕様の幾何学的特性に合致しない建築材料オブジェクトはその後、持ち上げプロセスが開始する前に、シェイクアウトフィールドの視覚的表現内で視覚的に識別され、正しい建築材料オブジェクトが建設現場の目的位置に吊り上げられることとなることを更に確実にしてもよい。

【0019】

本発明のいくつかの実施形態においては、撮像システムは、建築材料オブジェクトに関連するブラケット又は穴パターン等の構造特徴の実際の寸法、位置、及び他の幾何学的属性を識別、分類、及び決定し、それらの特徴の寸法及び位置を、建設現場データベース（ＢＩＭ又は他のデータベース）に記憶されたものと比較し、構造特徴についての寸法、位置、及び他の幾何学的仕様を満たしていない部材を視覚的に識別してもよい。測定された幾何学的特性が正確であることを確実にするために、撮像システムは、画像データを、ＬＩＤＡＲ等の距離測定デバイスの出力と組み合わせてもよい。

【0020】

本発明のいくつかの実施形態においては、撮像システムは、英数字及び／又は記号を認識するようにトレーニングされた画像処理及び畳み込みニューラルネットワークソフトウェアを実行して、識別印を正確に認識し、シェイクアウトフィールド内の構造部材の幾何学的特性を測定する。これと合わせて、このソフトウェアは、シェイクアウトフィールド内の構造部材を識別し、各構造部材についての識別印を識別及び認識し、各構造部材に関連する構造特徴を識別及び認識し、構造部材及びその構造特徴の両方の幾何学的測定値を提供してもよい。

【0021】

本発明のいくつかの実施形態においては、撮像システムは、撮像システムの位置及び作業現場内で吊り上げられた構造部材の位置を追跡する、慣性航法システム（ＩＮＳ）を備える。撮像システムのＩＮＳからのデータは、撮像システム自体の位置、シェイクアウトフィールド内の構造部材の位置、及び／又は、クレーンオペレータが構造部材をその初期位置からその目的位置まで持ち上げる間に回避する必要があることとなる障害物等の作業現場の他の重要な特徴をリアルタイムで追跡するために、建設現場データベースに供給されてもよい。

【0022】

本発明のいくつかの実施形態においては、撮像システムは、例えばクレーンの運転室内に位置付けられてもよいオペレータシステム、モバイルシステム（「モバイルシステム」）、及び／又はサーバシステム（「サーバ」）を含む、いくつかの他のシステムとインタラクトする。これらのシステムは、互いに双方向通信してもよく、無線周波数（ＲＦ）モデム等を介してデータを送受信してもよい。追加的に、これらのシステムの各々は、クラウドサービスと双方向通信してもよく、インターネット又は他の適切なネットワークを介してクラウドとデータを全て送受信してもよい。

【0023】

本発明のいくつかの実施形態においては、オペレータシステムは、クレーンの運転室内に位置付けられ、１つ以上のコンピュータ、表示デバイス（例えば液晶ディスプレイ（ＬＣＤ））、入力デバイス（例えばキーボード、ジョイスティック、タッチ感応ディスプレイ）、無線通信モデム、及び電源システムを含む。コンピュータはまた、クレーンオペレータに音声指示及び他の情報を与えるためのスピーカを含む。撮像システムと同様に、オペレータシステムもまた、作業現場内でのオペレータシステムの位置を追跡する、１つ以上のＩＮＳを備えてもよい。

【0024】

本発明のいくつかの実施形態においては、撮像システムは、クレーンのメインフックブロックに取り付けられ、それとともに移動する。この状況においては、撮像システム及びオペレータシステムは、特定のクレーンに専用のものであり、クレーン特有システム（すなわち単一の特定のクレーンのみに関連付けられる）と呼ばれる。クレーン特有システムには、任意の数のモバイルシステムが関連付けられてもよい。それゆえ、１台よりも多いクレーンを有する建設現場については、各クレーンのための第１の撮像システムと、各クレーン特有システムに関連付けられた１つ以上のモバイルシステムと、を備える、多数のクレーン特有システムがあることとなる。他の実施形態においては、撮像システムは、１台以上のドローン機に取り付けられてもよい。これらの実施形態においては、撮像システムは、（クレーン特有システムを維持する）単一のクレーンと通信可能に結合されてもよいし、又は単一の建設現場における複数のクレーンの各々と通信可能に結合されてもよく、その場合、撮像システムによって収集されたデータは、識別された識別印に基づいて、及び／又は建設現場における（例えば特定のシェイクアウトフィールドにおける）建築材料オブジェクトの位置によって、収集されて特定のクレーンと関連付けられてもよい。

【0025】

本発明のいくつかの実施形態においては、指示、グラフィック、及び他の情報を、ディスプレイを介してクレーンオペレータに表示するための、追加的なソフトウェアが提供される。例えば、運転室内の表示デバイスが、オペレータに作業現場の３Ｄ表現を表示してもよい。３Ｄ表現は、シェイクアウトフィールド内の構造部材の位置、建設中の構造物の詳細、及び／又は作業現場の境界を含む、撮像システムによって捕捉された任意の情報を図示してもよい。３Ｄ表現はまた、識別された各構造部材について、その初期位置からその目的位置までの経路、及び経路に沿った又は経路の近傍にある任意の潜在的な障害物を図示してもよい。

【0026】

本発明のいくつかの実施形態においては、コンピューティングシステム（撮像システム、オペレータシステム、モバイルシステム、サーバシステム、又はクラウドサービスであってもよい）は、オペレータシステムのディスプレイ上でクレーンオペレータに提示され得る、及び／又は１つ以上のモバイルシステムを介して他の建設現場作業員に送信され得る、コンピュータ生成された識別印を用いて注釈付けされた各識別された建築材料オブジェクトとともに、シェイクアウトフィールドの視覚的表現を生成する。吊り上げられるべき待ち行列に入れられた各建築材料オブジェクトについて、一意な視覚的識別子が、クレーンオペレータのために、シェイクアウトフィールドの視覚的表現内で建築材料オブジェクトを強調表示する。例えば、（持ち上げリストにおいて識別された）吊り上げられるべき次の構造部材が、クレーンオペレータに視覚的に識別されてもよい（例えば建築材料オブジェクトを緑色に着色する、及び／又はその周囲を強調表示することによって）。所望の建築材料オブジェクトが持ち上げリストに記されているように正しい順序で吊り上げられることを確実にするために、他の視覚的又は聴覚的識別子が使用されてもよい。いくつかの実施形態においては、持ち上げリスト内には含まれないが、シェイクアウトフィールド内に位置付けられている建築材料オブジェクトは、例えば赤色の「Ｘ」等の対照的な色の記号によって視覚的に識別されてもよい。

【0027】

本発明のいくつかの実施形態においては、コンピューティングシステムは、建築材料オブジェクトの重心を決定し、識別された建築材料オブジェクトの上に重ねられた視覚的な重心位置特定記号を配置する。追加的に、クレーンオペレータが（構造部材等の）建築材料オブジェクトをシェイクアウトフィールドの位置から吊り上げる準備をすると、メインフックブロックのシェイクアウトフィールドの位置を視覚的に示すために、十字線パターンがシェイクアウトフィールド上の視覚的表現に重ねられてもよい。フック及びブロックが、ある位置から別の位置に移動されると、クレーンオペレータに表示される十字線パターンは、メインフックブロックの移動に関連して移動してもよい。クレーンオペレータは次いで、吊り上げのための準備において、吊り上げられるべき待ち行列に入れられた建築材料オブジェクトのＬＣＤスクリーン位置を、メインフックブロックの十字線パターンと視覚的に比較し、強調表示された建築材料オブジェクトの上に、具体的には選択された建築材料オブジェクトの重心位置記号の上に、十字線パターンを位置合わせするようにクレーンブームを動かしてもよい。

【0028】

本発明のいくつかの実施形態においては、選択された構造部材又は建築材料オブジェクトをそれぞれ取り付け位置又は目的位置に適切に配置するよう、クレーンオペレータを更に支援するために、シェイクアウトフィールド（開始位置）から鉄骨構造上の指定された取り付け位置又は目的位置までの三次元射影経路を生成することができるコンピューティングデバイスが提供される。建築材料オブジェクトの初期位置は、撮像システムから取得され、目的位置は、サーバシステムに予め記憶された建設現場データ（ＢＩＭデータ）から決定されてもよい。射影経路は、初期位置から目的位置まで算出され、鉄骨構造に追加的な建築材料オブジェクトが追加されると、建設現場データベースにおいて継続的に更新される。更新された建設現場データベースは、射影経路の生成のための回避データを提供する。射影経路は、運転室コンピュータ及びオペレータシステムのディスプレイを介して視覚的にクレーンオペレータに通信されることができ、且つ／又は、オペレータシステムのスピーカを介して可聴の吊り上げ指示によりクレーンオペレータに通信されることができる。

【0029】

射影経路算出は、鉄骨構造上の取り付け位置又は目的位置の正しい識別に依存し、この識別は、識別印及びＢＩＭデータベースから取得されたデータを用いて、全ての構造部材又は建築材料オブジェクトにリンクされる。構造部材又は建築材料オブジェクトの誤識別は、誤った射影経路算出、それゆえ誤った取り付け位置又は目的位置に帰着することとなる。

【0030】

誤識別された構造部材又は建築材料オブジェクトは更に、既に吊り上げられた構造部材又は建築材料オブジェクトがシェイクアウトフィールドに戻され、望ましい構造部材又は建築材料オブジェクトが再識別され、次いで望ましい取り付け位置又は目的位置まで再び吊り上げられなければならないことに帰着する。

【0031】

本発明のいくつかの実施形態においては、コンピューティングデバイスが、各建築材料オブジェクトのまわりの仮想３Ｄ「回避シュラウド」を計算する。回避シュラウドは、建築材料オブジェクトについての識別印と、識別された建築材料オブジェクトの建設現場データベースに含まれる寸法と、に基づいて算出されてもよい。３Ｄ回避シュラウドは、建築材料オブジェクトを包囲するために拡張された寸法からなってもよい。例えば、１０フィートの長さ、１フィートの幅、及び２フィートの高さを有するＩ形梁構造部材のための長方形の３Ｄ回避シュラウド（包囲空間）は、長さについては１２フィートに、幅については２フィートに、高さについては３フィートに、これらの寸法が拡大されてもよいし、又は実際の寸法のパーセントの拡大が使用されてもよい。それゆえ、配置され吊り上げられた各建築材料オブジェクトは、実際の対象物を包囲する関連する衝突回避シュラウドを有する。建築材料オブジェクト（「荷」）が吊り上げられるとき、オペレータシステムは、荷の目的位置への現在の吊り上げ経路の射影が、既存の鉄骨構造又は他の建築材料オブジェクトと衝突し得ることをクレーンオペレータに警告する、早期衝突警告衝突アラートを提供してもよい。早期警告衝突警告システムは、既に配置された建築材料オブジェクトの衝突回避シュラウドと、吊り上げられた建築材料オブジェクトの衝突回避シュラウドとを使用して、吊り上げられたシュラウドが、射影された目的地経路に沿って、既に配置された建築材料オブジェクトの衝突回避シュラウドと交差するか否かを決定してもよい。この手法は、建設現場において先に配置されている建築材料オブジェクトと、現在それぞれの目的位置へと吊り上げられている建築材料オブジェクトとの衝突のリスクを最小化する。

【0032】

本発明のいくつかの実施形態においては、コンピューティングデバイスは、吊り上げられた各建築材料オブジェクトについて、シェイクアウトフィールド位置から目的位置までの最適な３Ｄ吊り上げ経路を計算する。計算された最適な３Ｄ経路は、現在吊り上げられている建築材料オブジェクト及びそのそれぞれの衝突回避シュラウドの位置とともに、既に配置されている建築材料オブジェクト及びそのそれぞれの衝突回避シュラウドを考慮に入れてもよい。いくつかの実施形態においては、クレーンオペレータによって吊り上げられるべき第１の建築材料オブジェクトについての３Ｄ経路が、自動的に記録され、メモリに記憶される。第２の建築材料オブジェクトについての後続する経路は、最初に記録された経路、シェイクアウトフィールド位置、第２の建築材料オブジェクトの目的位置、並びに既に配置された建築材料オブジェクト及び吊り上げられたオブジェクトの衝突回避シュラウドに基づいて算出される。全ての建築材料オブジェクトについての目的位置は、各建築材料オブジェクトの識別印を使用して、建設現場データベースから導出されてもよい。３Ｄ経路は、衝突回避シュラウドとともにクレーンオペレータに表示され、クレーンオペレータが建築材料オブジェクトを望ましい目的位置に配置することを支援し、オペレータが既に配置された建築材料オブジェクト間の衝突を回避するのを支援するための動き（左、右、上、及び下）が提案されてもよい。これらの提案される動きは、クレーンのオペレータに視覚的に又は口頭で伝達されてもよい。追加的に、吊り上げられた建築材料オブジェクトが正しい目的位置まで吊り上げられると、オペレータシステムは、建設現場データベースに従って、正しい建築材料オブジェクトが正しい目的位置にあることをオペレータにアラートしてもよい。

【0033】

本発明のいくつかの実施形態は、撮像システム、オペレータシステム、及び／又はサーバシステムと双方向通信する、１つ以上のモバイルシステムを含む。モバイルシステムは好ましくは、ラップトップコンピュータ、タブレット、又は携帯電話等のようなハンドヘルドコンピュータシステムとして実装され、それゆえ１つ以上のプロセッサ、表示デバイス、及び／又は入力デバイスを含んでもよい。モバイルシステムはまた、他のシステム要素と通信するためのＲＦモデムを含み、またインターネットにアクセスするよう装備（ハードウェア及びソフトウェア）される。追加的に、モバイルシステムは、すぐ近くの建設現場内及び建設現場外の両方のモバイルシステムの位置を決定するための、ＲＴＫ対応ＧＮＳＳ受信器を含むＩＮＳを組み込んでいる。モバイルシステムはまた、完全な建設現場データベース、持ち上げリスト、及び３Ｄ経路データ等の、作業現場についての完全又は制限されたアクセスデータを有してもよい。モバイルシステムは、請負業者、現場監督者、クレーンオペレータ、シェイクアウトフィールド担当者、又は他のクルーの適切なメンバーに、このデータを表示してもよい。モバイルシステムは、鉄骨構造上に位置付けられた鉄骨作業員によって、シェイクアウトフィールド作業員によって、又は他の建設現場人員によって、持ち運ばれてもよい。モバイルシステムは、従来のタブレット型若しくは携帯型コンピュータ、携帯電話、又は他のタイプの通信デバイスを含んでもよい。モバイルシステムは、特に任意の１つのクレーン専用のものでなくてもよく、インターネット及びサーバを介して他のクレーンに関連する他のクレーン特有のデータにアクセスしてもよい。

【0034】

本発明のいくつかの実施形態は、撮像システム、オペレータシステム、及び／又はサーバシステムと双方向通信する、１つ以上のサーバシステムを含む。サーバシステムは、従来の設計のものであってもよく、一般の要求－応答パラダイムに基づいて動作してもよい。例えば、サーバシステムは、持ち上げリストデータ及び他の建設現場関連データを含む建設現場データベースを記憶し、要求に応じて又は必要に応じて、そのデータをオペレータシステム、撮像システム、及び／又はモバイルシステムに提供してもよい。サーバシステムは更に、Ｗｉ－Ｆｉを介して、携帯電話を介して、又は他の任意の従来の手段によって、インターネットにアクセスするよう装備されている。サーバはまた、他のシステムと通信するための、１つ以上の無線通信モデムを含む。

【0035】

本発明の他の目的及び利点は、明細書及び図面の検討に続いて明らかになるであろう。以上の一般的な説明及び以下の詳細な説明はいずれも、本発明の例示であって、制限するものではないことは、理解されるべきである。

【図面の簡単な説明】

【0036】

本発明の以上の及び他の態様及び利点は、添付図面とともに考慮される以下の詳細な説明の考慮に際してより明らかになり、添付図面においては、全体を通して、同様の参照文字が同様の部分を指す。

【0037】

【図1】本発明の実施形態による、建築材料オブジェクト及び部分的に完成した構造物を含むシェイクアウトフィールドとともに、建設現場に位置付けられた典型的なクローラクレーンの斜視図である。

【図2】本発明の実施形態による、クレーンの運転室に装着されたオペレータシステム、及びメインフックブロックに装着された撮像システムを含む、クローラクレーンの斜視図である。

【図3A】本発明の実施形態による、撮像システム、オペレータシステム、モバイルシステム、サーバシステム、及びクラウドサービス間の双方向通信を示す模式図である。

【図3B】本発明の実施形態による、撮像システム、オペレータシステム、モバイルシステム、サーバシステム、及びクラウドサービス間の双方向通信を示す模式図である。

【図4】本発明の実施形態による、例示的なオペレータシステムのブロック図である。

【図5】本発明の実施形態による、例示的な撮像システムのブロック図である。

【図6】本発明の実施形態による、例示的なモバイルシステムのブロック図である。

【図7】本発明の実施形態による、例示的なサーバシステムのブロック図である。

【図8A】本発明の実施形態による、目に見える手書きの識別印がマークされた構造部材の部分的な上面図である。

【図8B】本発明の実施形態による、図８Ａの構造部材の側面立面図である。

【図9A】本発明の実施形態による、持ち上げフックの上方に装着された撮像システムを有するメインフックブロックの前面図である。

【図9B】本発明の実施形態による、図９Ａのメインフックブロックの側面図である。

【図10】本発明の実施形態による、例示的なオペレータシステムのコンピュータのブロック図である。

【図11】本発明の実施形態による、画像補正及びノイズ除去プログラムのブロック図である。

【図12A】本発明の実施形態による、ブラケットと４対の取り付け穴とを有する構造部材の上面の、歪められた画像である。

【図12B】本発明の実施形態による、ブラケットと４対の取り付け穴とを有する構造部材の上面の、歪み補正されノイズフィルタリングされたセグメント化画像である。

【図13A】本発明の実施形態による、単一の構造部材を有する例示的なシェイクアウトフィールドの６つの重なる画像を示す。

【図13B】本発明の実施形態による、図１３Ａのシェイクアウトフィールドのステッチされた画像を示す。

【図14】本発明の実施形態による、レンズから撮像されるオブジェクトまでの距離の関数としての、画像空間からオブジェクト空間への変換比率のグラフである。

【図15】本発明の実施形態による、シェイクアウトフィールドの別のステッチされた画像である。

【図16】本発明の実施形態による、地表面に静置しているＩ形梁、及びＩ形梁の上方に位置付けられた可動距離センサの、側面立面図である。

【図17】本発明の実施形態による、例示的な構造部材に関連するデータを表すデータ構造を示す。

【図18】本発明の実施形態による、例示的な構造部材に関連するデータを表すデータ構造を示す。

【図19】本発明の実施形態による、例示的な撮像システムのコンピュータのブロック図である。

【図20】本発明の実施形態による、撮像システムからオペレータシステムに送信されるデータパケットのブロック図である。

【図21A】いくつかの実施形態による、本発明を実施するための例示的な方法のフロー図である。

【図21B】いくつかの実施形態による、本発明を実施するための例示的な方法のフロー図である。

【図21C】いくつかの実施形態による、本発明を実施するための例示的な方法のフロー図である。

【図22】吊り上げのために待ち行列に入れられた構造部材の上面画像上に表示された重心位置記号を有するシェイクアウトフィールドの画像を示す。

【図23】ＢＩＭ建設現場データベース、ＩＦＣファイル、及びＧＮＳＳ位置算出器の間の関係を示す。

【発明を実施するための形態】

【0038】

発明の詳細な説明
以下の説明においては、本明細書で開示される発明概念の実施形態の完全な理解を提供するために、いくつかの具体的な詳細が提示される。しかしながら、関連分野の当業者であれば、本明細書に開示された発明概念の実施形態は、具体的な詳細のうちの１つ以上がなくても、又は他のコンポーネント等と組み合わせても、実施され得ることを認識するであろう。他の実施態様においては、本明細書に開示される発明概念の様々な実施形態の態様を不明瞭にすることを回避するために、よく知られた実装又は動作は、詳細には図示又は説明されない。

【0039】

図１を参照すると、クレーン１０５、シェイクアウトフィールド１１０、及び図示のように部分的に完成している構造物１１５を有する、典型的な建設現場１００の図が示されている。クレーン１０５はクローラクレーンとして図示されているが、例えばタワークレーン、港湾（浮体）クレーン、テレスコピッククレーン、水平ラフィングクレーン、ラフテレーンクレーン、並びにガントリー及びジブタイプクレーン等の、他のタイプのクレーンも明示的に想定される。ここに特に列記されていない他のタイプのクレーン及び同様の建設機器も、本発明の範囲内であることが明示的に想定される。クレーン１０５は、クレーン吊り上げ位置１０７において地面１０９上に位置決めされ、クレーン吊り上げ位置１０７は典型的には、シェイクアウトフィールド１１０及び構造物１１５の近くに位置付けられて、シェイクアウトフィールドから部分的に完成した構造物への建築材料オブジェクトの効率的な吊り上げを可能とする。構造物１１５は、基礎１１６及び部分的に完成した構造物１１８を含む。部分的に完成した構造物１１８は、従来から基礎１１６に取り付けられている垂直柱１１７ａ、１１７ｂ、１１７ｃ、及び１１７ｄを含む。

【0040】

シェイクアウトフィールド１１０は、鉄骨組立業者から到着した構造部材のような建築材料オブジェクトが、通常は平台型トラックから荷降ろしされる、建設担当者によって指定されたエリアである。１台よりも多いクレーンを有する大規模な建設プロジェクトについては、多数の複数のシェイクアウトフィールドがあり得、その各々は、それぞれのクレーンのクレーン吊り上げ位置の近くにある。それゆえ、シェイクアウトフィールド位置は、建設現場内に固定されていないが、関連するクレーンの吊り上げ位置に対して便利な位置に配置されることが多い。同様に、クレーン１０５は、ある日に構造物１１５の一方の側で建築材料オブジェクトを吊り上げ、別の日に別の位置に移動して構造物１１５の別の側で建築材料オブジェクトを吊り上げることとなり得る。この場合、１台以上のクレーンの２つの異なる吊り上げ位置に対応する、２つ（又はそれ以上）のシェイクアウトフィールド１１０があることとなる。

【0041】

シェイクアウトフィールド１１０は、シェイクアウトフィールドから部分的に完成した構造物１１８上の取り付け位置まで吊り上げられる構造部材、又は鉄筋若しくはセメントバケット等の他のタイプの建築材料オブジェクト等の、様々な建築材料オブジェクトを含む。これらの構造部材は典型的には、梁、桁、及び柱等を含むが、構造部材は、任意の適切な建築コンポーネントであってもよい。図１に示されるように、シェイクアウトフィールド１１０は、Ｉ形梁１２０及び１２１並びに束ねられた鉄筋１２１ａを含む。構造部材は通常、異なるサイズのものであり、穴、ガセット、ブラケット、及び構造物１１５の建築仕様によって指示される他の構造特徴を有し得る。明確さのため２本のＩ形梁１２０及び１２１のみが示されているが、通常はシェイクアウトフィールド内には更に多くの構造部材が含まれる。同様に、明確さのため１つの鉄筋１２１ａの束だけが示されているが、限定するものではないが、セメントバケツ、ＨＶＡＣ機器、ガラス板等を含む他のタイプの建築材料オブジェクトが、シェイクアウトフィールドのエリア内に配置されてもよい。シェイクアウトフィールド１１０は、構造物１１５の建設に必要な任意の数の異なる建築材料オブジェクトを含み得る。

【0042】

クレーン１０５が建築材料オブジェクトをシェイクアウトフィールド１１０から適所に吊り上げると、既に吊り上げられた建築材料オブジェクトを補充するために、新たな建築材料オブジェクトの追加的な配送がシェイクアウトフィールドに到着することは珍しくない。構造物１１５の仕様に依存して、建設現場１００において種々のタイプのクレーンが使用され得る。例えば、クローラクレーンに加えて、タワークレーン等の複数の異なるタイプのクレーンが現場に配置されることも珍しくない。

【0043】

構造物１１５の建設におけるクレーン１０５の主要な機能は、構造部材（例えばＩ形梁１２１）を、シェイクアウトフィールド１１０から、部分的に完成した構造物１１８上の取り付け位置まで吊り上げることである。例えば、柱１１７ｄ上の取り付け位置１２２が、Ｉ形梁１２１の目的位置となり得る。Ｉ形梁１２１が適所に吊り上げられると、１人以上のクルー（図示せず）が、従来の手段（例えばボルト及びリベット等）によって、Ｉ形梁を柱１１７ｄの取り付け位置１２２に取り付ける。構造部材をシェイクアウトフィールド１１０から部分的に建てられた構造物１１８に吊り上げる他に、鉄骨の束１２１ａ等の他の建築材料も同様に、シェイクアウトフィールド１１０から部分的に建てられた構造物１１８に吊り上げられてもよい。

【0044】

ここで図２を参照すると、上部アーム１２５、下部アーム１２６、マスタストラップ１２７、マスタワイヤロープ１２８、ラフィングプーリ１２９、ラフィングワイヤロープ１３０、マストブラケット１３１、カウンタウェイト１３２、クレーン運転室１３３、右側動力式トレッド１３４ａ、左側動力式トレッド１３４ｂ、メインフックブロックシーブ１３５ａ及び１３５ｂ、並びに持ち上げフック１４０を有するメインフックブロック１３６を有する、クレーン１０５が示されている。クレーン１０５は、ディーゼルエンジン１３７、油圧システム１３８（図示せず）、及び／又は電力源１３９によって動かされ、電力源１３９は、少なくともメインフックブロック１３６を昇降させるための電力をクレーンに供給するものである。クレーン１０５の他の部品及び動作は本分野でよく知られており、本明細書では検討されない。

【0045】

撮像システム２１０は、メインフックブロック１３６に取り付けられて示されており、任意の耐候性ハウジング２１２内に収容されている。撮像システム２１０は、下向きに焦点を合わせた撮像器４３０ａ及び４３０ｂを含む。図２には２つの撮像器が描かれているが、撮像システム２１０はいずれの数の撮像器を含んでもよい。撮像システム２１０のための代替の取り付け位置２１３は、図９Ｂに示されている。

【0046】

撮像システム２１０はまた、ＩＮＳを含む。ＩＮＳは、リアルタイムキネマティック（ＲＴＫ）対応の全地球航法衛星システム（ＧＮＳＳ）受信器及び慣性測定ユニット（ＩＭＵ）を含んでもよい。ＧＮＳＳ受信器は、正確な緯度、経度、及び高度データを決定するために、米国のＧＰＳ、ロシア連邦のＧｌｏｎａｓｓシステム、中華人民共和国のＢｅｉＤｏｕシステム、欧州のＧａｌｉｌｅｏシステム、及び他のナビゲーション信号を受信してもよい。ＩＭＵは、ＩＮＳ座標系を基準とした直線加速度、角速度（及び／又は角加速度）、及び方位データを提供し、ＧＮＳＳ信号が利用できなくなった場合にオペレータシステムの位置の推測航法算出を可能とする。ＧＮＳＳアンテナ４２１は、防水ハウジング２１２の上に装着される。しかしながら、アンテナは、撮像システム２１０の任意の適切な部分に位置付けられてもよい。オペレータシステム２０５及び撮像システム２１０は、図３～図５を参照しながら、より完全に議論される。

【0047】

ここで図３を参照すると、クレーン支援システム２００は、オペレータシステム２０５、撮像システム２１０、モバイルシステム２１５、及びサーバシステム２２０を含む。これらのシステムの各々は、インターネット又は他の適切なネットワークを介して、クラウドサービス２２５と通信してもよい。オペレータシステム２０５は、（ａ）通信チャネル２３０を介して撮像システム２１０と、（ｂ）通信チャネル２３５を介してモバイルシステム２１５と、（ｃ）通信チャネル２４０を介してサーバシステム２２０と、（ｄ）通信チャネル２６０を介してクラウド２２５と、双方向通信する。撮像システム２１０はまた、（ａ）通信チャネル２４５を介してモバイルシステム２１５と、（ｂ）通信チャネル２５０を介してサーバシステム２２０と、（ｃ）通信チャネル２６５を介してクラウドサービス２２５と、双方向通信する。モバイルシステム２１５はまた、（ａ）通信チャネル２５５を介してサーバシステム２２０と、（ｂ）通信チャネル２７０を介してクラウドサービス２２５と、双方向通信する。最後に、サーバシステム２２０もまた、通信チャネル２７５を介してクラウドサービス２２５と双方向通信する。かくして、システム２００の全てのシステム要素が、互いと及びクラウドと双方向通信する。

【0048】

図３Ｂを参照すると、クレーン支援システム２００は、１台よりも多いクレーンを含むように拡張され得る。個々のクレーンは、オペレータシステム２０５（ｎ）及び撮像システム２１０（ｎ）を含む、クレーン特有システム２８０（ｎ）を有してもよい。１つ以上のモバイルコンピュータベースのシステム２１５（ｎ）（ｎはインデクスでありクレーン番号を示す）もまた、クレーン特有システム２８０（ｎ）に関連付けられてもよい。各クレーン特有システム２８０（ｎ）は、特定のクレーンについて、オペレータシステム２０５（ｎ）、第２のコンピュータベースのシステム２１０（ｎ）、クラウドサービス２２５、及び１つ以上のモバイルシステム２１５（ｎ）の間で、同じ通信チャネルを維持する。各クレーン特有システム２８０（ｎ）は依然として、単一のマスタサーバシステム２８２と通信する。マスタサーバシステム２８２は、通信チャネル２７５を介してクラウドサービス２２５と通信する。それゆえ、各クレーン特有システム２８０（ｎ）は、他の任意のクレーン特有システム２８０（ｍ）（ｍはクレーン番号を示す）と通信することができる。例えば、クレーン特有システム２８０（３）のモバイルシステム２１５（３）は、クレーン特有システム２８０（４）のモバイルシステム２１５（４）と通信してもよい。全てのクレーン特有システムによって収集及び処理された全てのデータは次いで、マスタサーバ２８２を介してアクセスされ得る。それゆえ、マスタサーバ２８２は、関連するモバイルシステムを含むクレーン特有システムによって収集された全てのデータのためのデータリポジトリである。建設現場プロセス全体のデータが記録され、マスタサーバ２８２からクラウドサービス２２５を介して他者に利用可能であり、建設現場の効率及び他の建設現場のメトリクスを決定するために分析されてもよい。

【0049】

図４を参照すると、オペレータシステム２０５のブロック図が示されている。オペレータシステムは、オペレータ無線モデム３１０、オペレータＩＮＳ３２０、オペレータディスプレイ３３０、オペレータコンピュータ３４０、オペレータ入力デバイス３５０、オペレータスピーカ３７０、及びオペレータ電源３８０を含む。オペレータシステム２０５はまた、任意に第２のオペレータディスプレイ３６０を含む。

【0050】

オペレータ無線モデム３１０は、他のシステム要素（例えば撮像システム２１０、モバイルシステム２１５、及びサーバシステム２２０）の無線モデムと通信するためのＲＦ無線モデム３１１と、Ｗｉ－Ｆｉ又はセルラネットワークを介してクラウドサービス２２５と通信するための無線モデム３１２及び／又はセルラモデム３１３（図示せず）と、をそれぞれ含んでもよい。必要に応じて、追加的なモデムが、オペレータシステムの無線モデム３１０に更に組み込まれてもよい。他の実施形態においては、全てのシステム要素がクラウドサービス２２５と直接通信し、クラウドサービス２２５の通信チャネルを介して互いに通信する。この場合、オペレータシステム２０５は、モデム３１２のみを必要とする。オペレータ無線モデム３１０は、それぞれのアンテナ３１５（ただし図４においては１つのアンテナのみが示されている）を介して、到来する信号３１４ａを受信し、出ていく信号３１４ｂを送信する。オペレータ無線モデム３１０は、ローカルバス３１６及び／又はマスタバス３１８を介して、ＩＮＳシステム３２０及びコンピュータ３４０を含むオペレータシステム２０５の他のコンポーネントと通信する。

【0051】

ＩＮＳシステム３２０は、ＧＮＳＳアンテナ３２１及びＧＮＳＳ受信器３２４を介して、衛星群３２８（明確さのため群３２８は１つの衛星のみで示されている）からＧＮＳＳ信号３２９を受信する。このシステムはまた、慣性測定ユニット３２２からのデータとともに、オペレータシステムについてのＬＬＡ及び／又はＥＣＥＦロケーションフィックスを計算する。かくして、クレーン１０５のＧＮＳＳ位置は既知である。ＬＬＡ及び／又はＥＣＥＦロケーションフィックスは、ユニバーサル横メルカトル（ＵＴＭ）座標系等の他の座標系においてクレーン１０５の位置を決定するために使用されてもよい。様々な従来の座標系間の変換は、本分野においてよく知られている。ＩＮＳシステム３２０（具体的にはＧＮＳＳ受信器３２４）はまた、モデム３１０を介してＲＴＫ補正データを受信する。ＩＭＵ３２２は、並進（Ｘ、Ｙ、及びＺ）加速度、角速度、及びＩＮＳの座標系に関する方位情報を提供する。ＩＮＳ３２０は、バス３２６及び／又はマスタバス３２６を介して、オペレータシステム２０５の他のシステムコンポーネントと通信する。ＩＮＳ３２０の一例は、Ｓｙｄｎｅｙ、ＡｕｓｔｒａｌｉａのＡｄｖａｎｃｅｄ ＮａｖｉｇａｔｉｏｎによるＣｅｒｔｕｓモデルである。多くのＩＮＳシステムの製造業者があり、Ｓｕｎｎｙｖａｌｅ、ＣａｌｉｆｏｒｎｉａのＴｒｉｍｂｌｅ Ｎａｖｉｇａｔｉｏｎ、及びＳａｎｔａ Ａｎａ、Ｃａｌｉｆｏｒｎｉａ（Ｕ．Ｓ．オフィス）のＳＢＧ Ｓｙｓｔｅｍｓ Ｓ．Ａ．Ｓを含む。

【0052】

オペレータコンピュータ３４０は、本発明の以上に列記された目的の全てを実現するのに必要なタスクを実行するように、ハードウェア及びソフトウェアの両方において建設的に構成された従来のコンピュータである。コンピュータ３４０は、シリアル及びパラレル通信ポートを含んでもよい。例えば、コンピュータ３４０は、ユニバーサルシリアルポート（ＵＳＢ）、Ｃｅｎｔｒｏｎｉｃｓパラレル通信ポート、ｅｔｈｅｒｎｅｔポート、ＲＳ－２３２ポート、ＲＳ－４８５ポート、及びオペレータシステム２０５の他のコンポーネントと通信するのに必要な他の通信ポートを含んでもよい。

【0053】

ディスプレイ３３０は、Ｄｅｌｌ Ｃｏｍｐｕｔｅｒのモデル番号Ｅ１９２０Ｈ等の従来のコンピュータモニタであり、データバス３３２を介してコンピュータ３４０と通信する。第１のディスプレイ上の複数のウィンドウ間をクレーンオペレータに切り換えさせることなく、追加的な情報を表示するために、任意の第２のディスプレイ３６０が提供されてもよい。例えば、第１のディスプレイ３３０は、持ち上げリストの表現を表示してもよく、第２のディスプレイ３６０は、建設現場の３Ｄ表現と、シェイクアウト場内の構造部材の初期位置から目的位置（例えば取り付け位置１２２）までの射影吊り上げ経路と、目的位置からシェイクアウトフィールド１１０までの戻り経路と、を表示してもよい。第２のディスプレイ３６０は、データバス３３４を介してコンピュータ３４０と通信する。

【0054】

オペレータシステム２０５はまた、データバス３５１を介してコンピュータ３４０に接続された１つ以上の入力デバイス３５０（例えば従来のキーボード又はタッチ感応ディスプレイ）を含み、クレーンオペレータがコンピュータ３４０とインタラクトすることを可能とする。他の入力デバイスが提供されてもよく、従来のジョイスティック３４１及びマウス３４２を含む（従来のジョイスティック３４１及びマウス３４２はいずれも図示されていない）。スピーカ３７０は、ケーブル３７１を介してコンピュータ３４０に接続された従来のスピーカであってもよく、コンピュータ３４０からクレーンオペレータに、潜在的な衝突の警告等の可聴の指示、及び他の可聴通信を伝達する。いくつかの実施形態においては、ケーブル３７１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続等の無線接続に置き換えられてもよい。電源３８０は、クレーン１０５の電力源１３９に接続され（明確さのため接続は図示されていない）、オペレータシステム２０５に必要な電力を、電力バス３８１を介して提供する。

【0055】

ここで図５を参照すると、撮像システム２１０のブロック図が示されており、撮像器無線モデム４１０、撮像器ＩＮＳ４２０、撮像器コンピュータ４４０、及び撮像器電源４８０を含むコンポーネントを備えている。これらのコンポーネントは、オペレータシステム２０５の対応するコンポーネントと同様であるか又は同一であってもよく、再び詳細には議論されない。撮像システム２１０はまた、撮像器４３０及び距離センサ４５０を含む。いくつかの実施形態においては、撮像システム２１０は、耐候性ハウジング２１２の中に封入され、クレーンのメインフックブロック（例えば図２のメインフックブロック１３６）に取り付けられる。撮像システム２１０のメインフックブロック１３６への装着の詳細は、図９Ａ及び図９Ｂを参照しながら更に議論される。撮像システム２１０はまた、建設現場を自動的に又は遠隔制御で行き来することができる、１台以上のドローン機に装着されてもよい。

【0056】

撮像システム２１０がクレーンのメインフックブロックに装着される実施形態においては、ＩＮＳシステム４２０は、メインフックブロック１３６のＧＮＳＳ位置と、吊り上げられた建築材料オブジェクトのＧＮＳＳ位置と、を決定してもよい。メインフックブロック１３６のＧＮＳＳ位置は、従来の座標系変換を使用して、ＵＴＭ等の他の座標系に変換されてもよい。ＩＭＵ４２２のデータは、ＧＮＳＳ衛星３２９の信号が構造物１１５によって又は他の建設現場若しくは他の障害物によって弱められたり除去されたりした場合の推測航法の間に、メインフック及びブロック１３６のＧＮＳＳ位置を提供するために使用されてもよい。撮像システムが他のどこか（例えば１台以上のドローン機上）に位置付けられる実施形態においては、メインフックブロック及び吊り上げられたオブジェクトについてのＧＮＳＳ位置データが他のシステムコンポーネントに利用可能なままであることを確実にするために、ＩＮＳシステムは依然としてメインフックブロック１３６に装着されてもよい。

【0057】

撮像コンピュータ４４０は、単一の撮像器４３０（又は図２に示されるように１つよりも多い撮像器が使用される場合は撮像器４３０ａ及び４３０ｂ）に対してハードウェアトリガ信号を提供することによって、いつ画像が取得されるかを制御することができる。撮像コンピュータ４４０はまた、距離センサ４５０（又は１つよりも多い距離センサが使用される場合には距離センサ４５０ａ及び４５０ｂ）に対してハードウェアトリガ信号を提供することによって、いつ目標距離が取得されかを制御することができる。撮像コンピュータ４４０はまた、従来のアナログ－デジタル（Ａ／Ｄ）システム及びデジタル－アナログ（Ｄ／Ａ）システム（図示せず）を含んでもよい。例えば、Ａ／Ｄは、バッテリ４７０の電圧をサンプリングするために使用されてもよい。

【0058】

好ましくは、撮像器４３０は、地表面（例えば地表面１０９）に対して下向きに焦点を合わせている。撮像器４３０のレンズ４３１は、地表面１０９及び／又は撮像器４３０及びレンズ４３１の視野内にある他の任意のオブジェクト（例えば図１の構造部材１２０及び１２１）に焦点を維持することができる。いくつかの実施形態においては、シェイクアウトフィールド１１０の視野を拡大するため、及び／又はシェイクアウトフィールド内の任意の構造部材の立体画像を提供するため、複数の撮像器（例えば図２及び図９Ａの撮像器４３０ａ及び４３０ｂ）が使用されてもよい。以下の明細書では、明確さのため単一の撮像器４３０及び単一のレンズ４３１を参照するが、各々がそれ自体のレンズ及び他の付属品を有する複数の撮像器が明示的に想定されることに留意されたい。いくつかの実施形態においては、撮像器４３０はまた、光学フィルタ４２９を含む。いくつかの実施形態においては、撮像システム２１０は、シェイクアウトフィールド１１０のエリア内の建築材料オブジェクトの側面を見るための追加的なサイドビュー撮像器を含む。

【0059】

撮像器４３０は、好ましくは、レンズ４３１によって決定されるカメラの視野内のオブジェクトの画像を取得するための、波長（色）応答性の従来のプログレッシブ走査型ＣＭＯＳ撮像器である。かかる撮像器は、光を電気信号に変換するよう構成された矩形状の画素アレイを有するＣＭＯＳ平面センサ４３５を含むが、（赤外線又は紫外放射等の）他のタイプの電磁放射を電気信号に変換するために、他のセンサが使用されてもよい。このタイプのＣＭＯＳ撮像器の一例は、Ａｈｒｅｎｓｂｕｒｇ、ＧｅｒｍａｎｙのＢａｓｌｅｒ ＡＧにより製造されるモデル番号ａｃＡ１４４０－７３ｇｃである。このセンサは、１４４０ｘ１０８０のアクティブ画素の平面的なセンサアレイを有し、ＧｉｇＥ通信仕様に準拠している。撮像器４３０は、ローカルバス４３２及び／又はマスタバス４１８を介して、コンピュータ４４０と通信する。モデル番号Ａｃａ１４４０－７３ｇｃカメラについては、ローカルバス４３２は高帯域幅Ｅｔｈｅｒｎｅｔケーブルであるが、撮像器４３０の仕様に依存して他の通信プロトコルが使用されてもよい。

【0060】

撮像器４３０は、種々の撮像器－オブジェクト目標距離において、画像空間距離に対してオブジェクト空間を正確にマッピングするように較正されてもよい。例えば、特定の撮像器－オブジェクト目標距離において、オブジェクト空間距離は画像空間距離に対応することとなり、逆もまた同様である。撮像器はまた、レンズ歪み及び射影歪みについても較正され、追加的に各画像画素のＧＰＳ位置を決定するために較正される。

【0061】

撮像器４３０は、光学バンドパスフィルタ４２９を含むレンズ４３１と、手動又は電子的に調整可能な絞り（図示せず）を含む。撮像器４３０はまた、ＣＭＯＳセンサ４３５によって受光される光の量を制御可能に決定する、プログラム可能な電子シャッタ（図示せず）を有する。撮像器４３０は、レンズ４３１とともに、従来から規定されている光軸４３６を有する。撮像器４３０はまた、ローカルバス４３２及びマスタバス４１８を介して、従来のＥｔｈｅｒｎｅｔバスインタフェースを使用して、ステータスデータ、制御データ、及び画像データをコンピュータ４４０に通信する、電子回路（図示せず）を含む。

【0062】

撮像器４３０は、トリガ信号を受信したときに、画像を取得するようにトリガされてもよい。トリガ信号は、ハードウェアトリガ（例えば撮像システム２１０内に位置付けられた手動操作ボタン）、時間決定的トリガ源（すなわちトリガ信号の発生の時間が既知である）、ソフトウェアコマンドトリガ（例えばオペレータシステム２０５又はモバイルシステム２１５のユーザからのコマンドを受信した際）、又はフリーラン（すなわち画像を非同期で取得するものであり、この場合には、コンピュータ４４０の内部クロック、ＩＮＳにより提供されるタイミング信号、又は外部タイミング源を使用して、画像がタイムスタンプされる）を介するものを含む、多くの方法で生成され得る。撮像器４３０は、現在の画像の取得がいつ開始されたかを示す、取得された各画像に付加された内部タイムスタンプを含んでもよい。この情報は、一連の画像の順序付けに有用となり得る。目標輝度ステータス及びフレームＩＤ等の他の情報が、画像データに付加されてもよい。フレームＩＤは、露光された画像のフレーム番号を示し、０から始まり、カメラが撮像を停止するか又は電源が切られるまで、露光された各画像について１ずつ増加する。カメラの製造業者及びモデル番号に依存して、更に別の情報（例えばメタデータ）が画像データに付加されてもよい。

【0063】

撮像器４３０と同様に、距離センサ４５０は下向きに焦点を合わせている。距離センサ４５０は、レーザビーム８０６を発し、目標位置の表面からのレーザビームの反射８０８を受光することにより、距離センサ４５０から目標位置までの垂直距離を測定する。例えば、目標位置が地面（例えば図１の地表面１０９）にある場合、距離センサ４５０はセンサの位置から地面までの垂直距離を提供することとなる。同様に、目標位置が構造部材（例えば図１の構造部材１２１）の上面である場合、距離センサ４５０はセンサから構造部材の上面までの垂直距離を提供することとなる。図１６を参照しながら更に議論されるように、これら２つの垂直測定値の差をとることが、構造部材１２１の高さを導出する。図９Ａに示されるように、２つ以上の距離センサ４５０（距離センサ４５０ａ及び４５０ｂとラベル付けされている）が、撮像システム２１０に組み込まれてもよい。

【0064】

距離センサ４５０から目標までの距離は、正しい画像からオブジェクト空間への変換の選択を支援するためにも使用され得る。例えば、１０メートルの距離においては、各画素は０．２５インチを表し、２０メートルの距離においては、各画素は０．５インチを表し得る。かくして、ＬＩＤＡＲ距離測定は、正しい画像からオブジェクト空間への変換を決定するために使用され得、逆もまた同様である。撮像された各構造部材が関連する距離データとＧＮＳＳ位置を有するように、画像及び距離データがＧＮＳＳ位置と同期させられてもよい。距離センサ４５０からの距離データは、双方向ローカルバス４５１及び／又はマスタバス４１８を介して、コンピュータ４４０に送信される。距離センサ４５０は、好ましくは、レーザビームを距離センサ４５０の前面から外向きに投射させる、光距離測距（ＬＩＤＡＲ）センサである。ＬＩＤＡＲ距離センサの一例は、Ｒａｌｅｉｇｈ、Ｎｏｒｔｈ ＣａｒｏｌｉｎａのＭｉｃｒｏ－Ｅｐｓｉｌｏｎにより製造されているモデル番号ｏｐｔｏＮＣＤＴ ＩＬＲ２２５０である。超音波距離センサ及びＲＡＤＡＲベースの距離センサ等の他の距離センサ技術が、撮像システム２１０に組み込まれてもよい。追加的に、距離データの点群を生成する走査型ＬＩＤＡＲセンサが使用されてもよい。

【0065】

図６を参照すると、モバイルシステム２１５のブロック図が示されている。モバイルシステム２１５は、無線モデム５１０、ＩＮＳ５２０、ディスプレイ５３０、コンピュータ５４０、入力デバイス５５０、及び電源５８０を含む。これらのコンポーネントは、オペレータシステム２０５及び撮像システム２１０の対応するコンポーネントと類似するか又は同一のものであってもよく、再び詳細には議論されない。好ましくは、モバイルシステム２１５のコンポーネントは、ラップトップコンピュータ、タブレット、又は携帯電話等の１つの物理的ユニットに組み合わせられる。

【0066】

図７を参照すると、サーバシステム２２０のブロック図が示されている。サーバシステム２２０は、無線モデム６１０、ＩＮＳ６２０、ディスプレイ６３０、コンピュータ６４０、及び入力デバイス６５０を含む。これらのコンポーネントは、オペレータシステム２０５、撮像システム２１０、及びモバイルシステム２１５の対応するコンポーネントと類似するものか又は同一のものであってもよく、再び詳細には議論されない。サーバへの電力は通常、ＡＣ電力基幹及び電源によって提供される。携帯型サーバについては、電力はバッテリ電源によって供給される。サーバシステム２２０は、建設現場１００（例えば現場の建設事務所の内部）に位置付けられてもよいし、又は現場外の位置に位置付けられてもよい。従来のＲＪ－４５ハードワイヤＥｔｈｅｒｎｅｔ接続６５２は、（モデム６１２のインターネット接続に加えて）インターネットへの接続を提供する。

【0067】

以下の開示は、Ｉ形梁等の構造部材に言及しているが、この開示は、初期位置（シェイクアウトフィールド）から建設現場上の目的位置（通常は構造物１１５上のどこか）に吊り上げられる必要がある他の建築材料オブジェクトにも適用可能であり、構造部材だけに限定されず、全ての建築材料オブジェクトを含む。

【0068】

ここで図８Ａ及び図８Ｂを参照すると、構造部材１２１（従来のＩ形梁として図示されている）が、シェイクアウトフィールド１１０内の地表面１０９上に静置されて図示されている。構造部材１２１は、ウェブ厚さ７０３を有するウェブ７０１、上部フランジ７０５、上部フランジ上面７１４、下部フランジ７０７、下部フランジ底面７０６を含む。同様に図８Ａ及び図８Ｂにマークされているものは、フランジ幅７０８、フランジ厚さ７０９、梁長さ７１０、及び梁高さ７１１である。Ｉ形梁の深さは、上部フランジ上面７１４から下部フランジ底面７０６までの公称高さ（梁高さ７１１としてマークされている）として定義される。

【0069】

追加的に、図８Ａ及び図８Ｂに示されているものは、ブラケット７１２並びに取り付け穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄを含む、いくつかの構造特徴である。ブラケット７１２は典型的には、従来の鋼製ボルト及びナットを用いて上部フランジ上面７１４に取り付けられるが、いずれの適切なハードウェアが使用されてもよい。ブラケット７１２は、追加的な構造部材を構造部材１２１に保持するために備えられてもよい。取り付け穴の対は、構造部材１２１の両端に形成され、上部フランジ７０５を貫通している。穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄは、部分的に完成した構造物１１８に構造部材１２１を取り付けるために使用される。

【0070】

同様に上部フランジ上面７１４に位置付けられているものは、手書きの又はステンシルで記された識別印７４０である。識別印７４０は、構造部材１２１を識別し、持ち上げリストデータとともに、構造部材を構造物１１５上へと吊り上げる順序を決定するために使用される。識別印７４０は典型的には、識別印と上部フランジ上面７１４との間に高い視覚的コントラストを提供する色の、チョーク又は他の材料（スプレー塗料等）で手書きされる。通常は、白色チョーク又は白色塗料が使用されるが、これは構造部材が灰色塗料又は他の暗い色の防錆材料等の対照的な色の材料で被覆されているからである。識別印７４０の色は、印の色と印が配置される表面の色との間の高いコントラストを確実にするために、鋼材組立業者に伝えられる構造部材１２１の仕様に組み込まれもてよい。識別印７４０はまた、上部フランジ上面７１４にステンシルで記されてもよく、英数字及び／又は記号で構成されてもよい。

【0071】

いくつかの実施形態においては、１つ以上の直線バーコード又はＱＲコード（２Ｄ）が英数字の印を補足してもよい。例えば、各構造部材は、従来のＱＲコード及び／又は以上に説明された手書きの英数字の識別印でマークされてもよい。これらの実施形態においては、ＱＲコードは英数字の識別印とともに撮像される。ＱＲコード及び英数字の印は、建築材料オブジェクトに印刷されてもよいし、又は材料の適切な断片（厚紙又は紙等）に一緒に又は別々に印刷されてもよく、それが次いで、従来の取り付け手段を使用して建築材料オブジェクトの表面に配置される。

【0072】

識別印７４０（又はその電子的表現）は、建設現場データベース内に含まれる構造部材１２１に関連する、より具体的な情報にアクセスするために使用されてもよい。この情報は、例えば、構造部材の長さ、高さ、幅、重量、製造日、構造部材１２１と一体化された付加的な構造特徴（ブラケット７１２、及び取り付け穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄ等）、並びに構造部材１２１に対する構造特徴の位置及びその寸法を含んでもよい。識別印７４０を使用して建設現場データベースからアクセスされ得る他の情報は、他の周囲の及び／又は嵌合する構造部材、取り付け位置座標、鋼材組立業者の身元、及び他の任意の関連情報を含んでもよい。

【0073】

米国では、Ｉ形梁は通常、深さ７１１及びフィート当たりのポンドでの重量によって指定される。例えば、Ｗ１２ｘ２２のＩ形梁は、約１２インチの深さ、及びフィート当たり約２２ポンドの重さを有する。Ｗ１２ｘ２２のタイプのＩ形梁構造部材の長さを知ることは、構造部材の重量が決定されることを可能にする。構造部材の長さ及びタイプは通常、建設現場データベースに含まれており、特定の構造部材についての識別印を使用してアクセスされ得る。特定の構造部材についての識別印は、その特定の構造部材についての全ての関連データ同士をリンクするために使用される。オペレータがそれぞれの構造部材の吊り上げ荷重を決定し、荷重がクレーン１０５の持ち上げ能力を超えないことを確実にすることができるように、構造部材の重量を知ることは重要である。

【0074】

追加的に、重心（ＣＧ）は、部分的に完成した鉄骨構造に構造部材を吊り上げるのに必要な索具を取り付ける際に、重要な考慮事項である。重心は、建設現場データベース内に含まれ、その特定の構造部材についての識別印を使用してアクセスされるデータを使用して、所与の構造部材について決定されてもよい。所与の構造部材についての断面プロファイル及び他の幾何学的寸法が、建設現場データベースから決定されてもよい。特定の構造部材の重心は、その特定の構造部材についての寸法及び材料密度から決定される。オブジェクトの重心を決定することは、本分野においてよく知られている。

【0075】

図９Ａ及び図９Ｂを参照すると、メインフックブロック１３６に取り付けられ、防水ハウジング２１２内に封入された、撮像システム２１０が図示されている。防水ハウジング２１２内に含まれているものは、地面に向かって下向きに焦点を合わせた撮像器４３０ａ及び４３０ｂである。各撮像器は、それぞれの視野８０２ａ／８０２ｂ及び光軸４３６ａ／４３６ｂを有する。撮像器４３０ａと撮像器４３０ｂとは、互いに水平方向に一直線上にあるが、ハウジング２１２の反対側に位置付けられている。同様に図９Ａに示されているものは、モデムアンテナ４１５及びＩＮＳアンテナ４２１である。

【0076】

撮像システム２１０は、説明の目的のため、メインフックブロック１３６に取り付けられて示されているが、撮像システム２１０はまた、従来のスプレッダ梁及び持ち上げ梁に取り付けられてもよいし、又はシェイクアウトフィールド１１０の遮られない視界を与える他の位置において取り付けられてもよい。撮像システム２１０はまた、建設現場を自動的又は遠隔制御の下で行き来することが可能な、１台以上のドローン機に装着されてもよい。撮像器４３０ａ及び４３０ｂのそれぞれの視野８０２ａ及び８０２ｂは、その中に位置付けられた構造部材（例えば梁、桁、及び／又は柱）及び他の建築材料オブジェクトの部分的な又は全体的な画像を含む、シェイクアウトフィールドの画像を捕捉することができる。同様にハウジング２１２内に封入されているものは、距離センサ４５０ａ及び４５０ｂ（例えばＬＩＤＡＲセンサ）であり、いずれも地面又は構造部材の上部フランジ上面等の他の目標に向かって、下方に向けられている。距離センサ４５０ａ及び４５０ｂは、それぞれレーザ光８０６ａ及び８０６ｂを発し、それぞれの反射８０８ａ及び８０８ｂを受光する。ＬＩＤＡＲ距離測定センサ４５０ａとＬＩＤＡＲ距離測定センサ４５０ｂとは、互いに水平方向に一直線上にあるが、ホーシング２１２の反対側に位置付けられている。いくつかの実施形態においては、撮像システム２１０は、走査型ＬＩＤＡＲ技術を備えてもよい。走査型ＬＩＤＡＲは、撮像器４３０及び／又は距離センサ４５０の代わりに又はそれに加えて使用されてもよい。走査型ＬＩＤＡＲを使用して、撮像システムは、シェイクアウトフィールド（その中に位置付けられた全ての構造部材を含む）の完全な３Ｄ表現、及び／又は部分的に完成した構造物の完全な３Ｄ表現を生成してもよい。

【0077】

撮像器４３０ａ及び４３０ｂ並びにＬＩＤＡＲ距離測定センサ４５０ａ及び４５０ｂの両方について他の装着構成も可能であり、それらの配置はメインフックブロック１３６の構成に依存し得る。例えば、いくつかの用途においては、ハウジング２１２は、図９Ｂにおける点線２１３によって示される代替の装着位置において、メインフックブロック１３６に垂直に取り付けられることが有益となり得る。代替としては、構造部材１２１を持ち上げフック１４０に取り付けるために使用される索具に依存して、装着構成の組み合わせが使用されてもよい。しかしながら、装着構成及びハウジング２１２の位置が、撮像器４３０ａ／４３０ｂ及び距離センサ４５０ａ／４５０ｂａに、シェイクアウトフィールドの遮られない視界を提供することが重要である。

【0078】

ハウジング２１２は、従来の締結具（図示せず）を用いてメインフックブロック１３６に取り付けられてもよいし、又は、永久磁石を有する１つ以上の従来の磁気切り換え可能な保持デバイス（図示せず）を使用してメインフックブロック１３６に磁気的に固定されてもよい。磁気切り換え可能な保持デバイスは、永久磁石によって生成される外部磁束がオン又はオフにされることを可能にする。オペレータはこのとき、磁気切り換え可能なデバイスをオフにすることによって、保管、修理、サービス、バッテリ充電若しくは交換、又は他の理由のために、撮像システム２１０をメインフックブロック１３６から容易に取り外すことができる。

【0079】

メインフックブロック１３６は従来、ケーブル８１０及び８１２によって昇降させられる。かくして、メインフックブロック１３６を昇降させることは、撮像器４３０ａ及び４３０ｂ並びに距離センサ４５０ａ及び４５０ｂとともに撮像システム２１０も昇降させる。追加的に、撮像器の視野がシェイクアウトフィールドの画像を取得するのに十分である場合には、単一の撮像器４３０及び／又は単一のＬＩＤＡＲ距離センサが使用され得る。建築材料オブジェクトの識別印を決定するため取得するために、他のタイプのセンサが使用されてもよい。例えば、バーコードリーダ及びＲＦＩＤリーダもまた、ハウジング２１２内に装着されてもよい。センサは、以上に開示されたものに限定されない。

【0080】

ここで図１０を参照すると、オペレータシステム２０５のコンピュータ３４０のメモリ９００のブロック図が示されている。メモリ９００は、コンピュータ３４０のハードウェア、ソフトウェア、及び他のリソースを管理するための、従来のコンピュータオペレーティングシステム（ＯＳ）ソフトウェア９１０と、本発明の好ましい実施形態によるタスクを実行するためのいくつかのソフトウェアプログラムを含む、プログラムメモリ９２０と、データを記憶するための、データメモリ９３０と、を含む。図１０に関して議論された様々なプログラムは、オペレータシステム２０５内で実行されるが、これらのプログラムは、撮像システム２１０、モバイルシステム２１５、サーバシステム２２０、又はクラウドサービス２２５を含む、他のいずれの適切なシステム上で実行されてもよいことに、留意されたい。

【0081】

コンピュータオペレーティングシステムソフトウェア９１０は、リアルタイムオペレーティングシステム（ＲＴＯＳ）、ＵＮＩＸ ＯＳソフトウェア、ＬＩＮＵＸ ＯＳソフトウェア（例えばＬｉｎｕｘのディストリビューションであるＵｂｕｎｔｕ及びＤｅｂｉａｎは、ＬＩＮＵＸベースのオペレーティングシステムの例である）、Ｗｉｎｄｏｗｓ ＯＳソフトウェア（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎによって提供される）、又は他の互換性のあるオペレーティングシステムソフトウェア等の、従来のオペレーティングシステムソフトウェアを含んでもよい。オペレーティングソフトウェアは、従来のオペレーティングシステムソフトウェアの機能を実行し、コンピュータ３４０のプログラムメモリ９２０に記憶された様々なプログラムを実行することができる。

【0082】

プログラムメモリ９２０は、通信プログラム９３２、アンパックアンドゴー（ｕｎｐａｃｋ－ａｎｄ－ｇｏ）プログラム９３４、画像補正及びノイズ除去プログラム９３６、二次元（２－Ｄ）画像ステッチプログラム９３８、画像空間からオブジェクト空間への変換プログラム９４０、画像分析及び畳み込みニューラルネットワーク（ＣＮＮ）プログラム９４２、ビーム高さプログラム９４４、データ融合プログラム９４６、仕様比較プログラム９４８、重心算出プログラム９４９、ＧＮＳＳ位置算出器２００３、及びシステム制御プログラム９５０を記憶する。

【0083】

データメモリ９３０は、揮発性メモリ及び不揮発性メモリの両方で構成されてもよく、いずれのメモリ技術にも限定されない。例えば、従来のランダムアクセスメモリ（ＲＡＭ）、ソリッドステートドライブメモリ、電気的にプログラム可能なメモリ、フラッシュメモリ、及びハードディスクメモリが、データメモリ９３０の実装を構成してもよい。例えば、データメモリ９３０に記憶されるデータは、画像データ、ＧＮＳＳ位置及びＩＭＵデータを含むＩＮＳデータ、タイムスタンプデータ、距離センサデータ、診断データ、画像補正データ、画像空間からオブジェクト空間への変換パラメータ、持ち上げリストデータ、及び以上に列記された全てのデータを含む。

【0084】

通信プログラム９３２は、オペレータシステム２０５から、それぞれ通信チャネル２３０、２３５、２４０、及び２６０を介して、撮像システム２１０、モバイルシステム２１５、サーバシステム２２０、及びクラウドサービス２２５への全ての双方向通信を制御する（すなわちデータの受信及び送信を制御する）。通信プログラム９３２はまた、モデム３１０を構成及び管理する。例えば、通信プログラム９３２は、モデムの各々についての通信チャネル２３０、２３５、２４０、及び２６０についてのボーレート及びパリティを設定する。

【0085】

通信プログラム９３２は更に、（ａ）インデクスデータ１０５２、シリアル化された圧縮画像データ１０５４、タイムスタンプデータ１０５６、距離データ１０５８、ＩＮＳデータ（ＧＮＳＳ位置データ１０６０、ＩＭＵデータ１０６２、及びパリティデータ１０６４を含む）を含む、システム２１０（図２０に関して以下に詳細に議論される）によって送信されたデータパケット１０５０と、（ｂ）建設現場データベースデータ及び持ち上げリストデータを含む、サーバシステム２２０によって送信されるデータと、（ｃ）クラウド２２５によって送信される任意のデータと、（ｄ）モバイルシステム２１５によって送信される任意のデータと、（ｅ）本発明の目的を満たすのに適切な他の任意のデータと、を含む、モデム３１０によって受信された全てのデータを受信し、メモリ９３０に記憶する。

【0086】

アンパックアンドゴープログラム９３４は、メモリ９３０に記憶されたデータにアクセスし、アンパック（解析）する。このデータは、例えば、撮像システム２１０によって送信されるデータを含み得る。アンパックアンドゴープログラム９３４によって解析されるデータは、異なるメモリ位置にあるデータメモリ９３０に（解析された形式で）書き戻される。メモリ９３０に以前に記憶された他のパックされたデータも、アンパックアンドゴープログラム９３４によって解析されてもよい。好ましくは、元の解析されていないデータは上書きされない。

【0087】

図１１を参照すると、図１０の画像補正及びノイズ除去プログラム９３６の動作を示すブロック図が示されている。画像補正及びノイズ除去プログラム９３６は、メモリ９３０に以前に記憶された単一の生の圧縮画像データ１０６６を入力として受け取り、単一の非圧縮生画像データ１０６７を出力として生成する。圧縮画像データは、撮像システム２１０に常駐する圧縮アルゴリズムによって生成され、その後、通信チャネル２３０を介してオペレータシステム２０５に送信され、このことは以下に更に議論される。図１の構造部材１２１に関連する圧縮生画像データ１０６６は、図１２Ａに示され、非圧縮の、歪み補正され、ノイズフィルタ処理され、セグメント化された画像データ１０６７が、図１２Ｂに示されている。図１２Ａに示される画像９５１は、画像データ１０６６の一具体例であること、及び、図１２Ｂに示される画像データ９５９は、画像データ１０６７の一具体例であることに、留意されたい。各画像１０６６に対して、対応する画像１０６７があることにも留意されたい。

【0088】

画像補正及びノイズ除去プログラム９３６は、アンパックアンドゴープログラム９３４によってメモリ９３０に以前に記憶された各圧縮生画像１０６６を入力し、圧縮生画像を展開し、展開された生画像データのレンズ歪み（ピンクッション型歪み及び樽型歪みを含む）及び射影歪みを補正し、画像をノイズフィルタリングし、次いで、セグメント化法を使用して画像を処理し、新たな、展開された、歪み補正され、ノイズフィルタリングされ、セグメント化された画像データ１０６７を作成する。好ましくは、元の生画像データは上書きされない。画像１０６６及び１０６７は、撮像システム２１０、モバイルシステム２１５及びサーバシステム２２０を含む全てのシステム要素に利用可能である（それゆえクラウドサービス２２５に利用可能である）。光学歪みを補正するために画像補正及びノイズ除去プログラム９３６によって必要とされるそれぞれの歪みパラメータは、Ｎａｔｉｃｋ、ＭａｓｓａｃｈｕｓｅｔｔｓのＭａｔｈＷｏｒｋｓ，Ｉｎｃ．によって提供され、カメラ較正分野において知られているもの等の、従来の光学歪み補正プログラムによって決定される。歪みパラメータは、メモリ９３０の不揮発性部分に記憶される。

【0089】

レンズ歪みを補正した後、画像補正及びノイズ除去プログラム９３６は、ホモグラフィック変換を使用して射影歪みを補正する（この手法は、構造部材１２１の上面７１４が、カメラ４３０のＣＭＯＳセンサアレイ４３５の平面に平行な平面内に有することを仮定している。画像補正及びノイズ除去プログラム９３６は、適切なソフトウェアとともに、寸法的に定義された２Ｄチェッカボードパターンの画像データを使用して、光学歪み及び射影歪みを最小化するために必要な補正パラメータを決定する。更に、画像空間座標は、ここでもまた構造部材１２１の上面７１４がカメラ４３０のＣＭＯＳセンサアレイ４３５と平面であると仮定すると、実際の歪みのない画像境界を越えて延在し得る。

【0090】

画像補正及びノイズ除去プログラム９３６は、歪み補正された各画像から画像ノイズ９４９を更に除去する。画像ノイズ９４９は典型的には、塩及びコショウ様ノイズとして現れ（図１２Ａに示されているものはコショウ様ノイズのみである）、主に撮像システム２１０の撮像器４３０による画像取得の間、及び撮像システム２１０からオペレータシステム２０５への画像の電子的な送信の間に発生する。画像ノイズはまた、ガウシアンノイズを含み得る。画像中のノイズ除去は、機械及びコンピュータビジョン分野においてよく知られている。例えば、歪み補正された画像は、画像ノイズ９４９を除去するために、Ｗｅｉｎｅｒ線形フィルタによって又は空間領域フィルタリング手法によって、処理されてもよい。

【0091】

画像補正及びノイズ除去プログラム９３６は、個々の画像データ１０６６にセグメント化法を更に適用する。セグメント化法は、古典的な方法、人工知能法、又はその２つの組み合わせを含み、機械及びコンピュータビジョンの分野においてよく知られている。セグメント化法は、閾値処理、クラスタリング、ヒストグラムベースの方法、エッジ検出アルゴリズム（例えばソーベルエッジ検出器及びラプラスエッジ検出器）、デュアルクラスタリング法、領域拡張法、及び畳み込みニューラルネットワーク（ＣＮＮ）方法を含むＡＩ技術を含み得る。個々の歪み補正され及びノイズフィルタリングされた画像に対してセグメント化法を適用することは、重なる画像を見当合わせする（すなわち位置合わせする）ために画像ステッチプログラム９３８において使用される従来の二次元（２Ｄ）画像見当合わせアルゴリズムによって使用され得る、別個の画像特徴（隅等）を定義する。

【0092】

実用的な例として、図１２Ａを参照すると、構造部材１２１の生の、圧縮された、歪んだノイズの多い画像９５１が示されている。ノイズの多い画像９５１は、例えば図１１に示される画像１０６６に対応するものであり得る。左側の横のエッジ線９５２、右側の横のエッジ線９５４、長手方向の底部のエッジ線９５６及び上部の長手方向のエッジ線９５８が、直線ではなく湾曲した弓形として示されており、レンズの歪みが明確に見える。ブラケット７１２及び穴の対構造部材１２１の構造特徴である構造特徴７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄ）もまた歪んでいる。したがって、画像９５１から導出されるブラケット７１２の位置情報及び寸法、並びに穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄの穴の位置及び寸法は、かなりの誤差を有することになる。

【0093】

図１２Ｂを参照すると、画像補正及びノイズ除去プログラム９３６は次いで、非圧縮の、歪み補正され、ノイズフィルタ処理され、セグメント化された画像９５９を生成する。例えば、図１２Ａにおける湾曲した線分９５６は、図１２Ｂにおいては直線９５６’としてここでは正しく表示されている。同じプロセスが、メモリ９３０に保存された一連の画像１０６６に対して実行されて、メモリ９３０に記憶された、歪みが補正され、ノイズフィルタリングされ、セグメント化された一連の画像（画像のシーケンス）を作成してもよい。例えば、二次元画像ステッチプログラム９３８は、（画像補正及びノイズ除去プログラム９３６によって）メモリ９３０に以前に記憶された、個々の重なっている、歪み補正され、ノイズフィルタリングされ、セグメント化された複数の画像１０６７をステッチし、シェイクアウトフィールド１１０全体の新たな合成画像を形成する。

【0094】

図１３Ａを参照すると、インデクス付けされた、重なっている個々の、非圧縮の、歪み補正され、ノイズフィルタリングされ、セグメント化された、一連の６つの画像データ９６０、９６２、９６４、９６６、９６８及び９７０が示されており、それぞれ個々の画像原点及び座標系９６１（ｕ１，ｖ１）、９６３（ｕ２，ｖ２）、９６５（ｕ３，ｖ３）、９６７（ｕ４，ｖ４）、９６９（ｕ５，ｖ５）、及び９７１（ｕ６，ｖ６）を有する。画像データ９６０、９６２、９６４、９６６、９６８、及び９７０は更に、シェイクアウトフィールド１１０のレイアウト表現画像１１１（点線）上に重ねられて示されている。一連の画像１０６７（ひいては一連の画像１０６６）は、撮像器４３０の視野がシェイクアウトフィールド１１０全体を包含する場合については、単一の画像のみからなるものであってもよいことに、留意されたい。この場合、１つのシェイクアウトフィールド１１０の画像しかないので、複数の画像を単一の合成画像に結合するステッチ機能は必要とされない。

【0095】

画像をステッチするプロセスは本分野においてよく知られており、このタスクを達成するために利用可能ないくつかのソフトウェアプログラムがある。例えば、Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈは、画像を合わせてステッチするためのソフトウェアツール（Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｅ Ｅｄｉｔｏｒ）を有する。二次元ステッチのための別のソフトウェアツールは、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｂｒｉｔｉｓｈ ＣｏｌｕｍｂｉａのＭａｔｔｈｅｗ Ｂｒｏｗｎ及びＤａｖｉｄ Ｇ．Ｌｏｗｅによって開発された、ＡｕｔｏＳｔｉｔｃｈである。画像のステッチに関する一般的なチュートリアルは、Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉによる“Ｉｍａｇｅ Ａｌｉｇｎｍｅｎｔ ａｎｄ Ｓｔｉｔｃｈｉｎｇ： Ａ Ｔｕｔｏｒｉａｌ”（Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｖｉｓｉｏｎ、Ｖｏｌ．２、Ｎｏ１（２００６）１－１０４）である。複数画像分析についての参考文献は、Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ及びＡｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”（Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、２００３）、Ｏｌｉｖｅｒ Ｆａｕｇｅｒａｓ及びＱｕａｎｇ－Ｔｕａｎ Ｌｕｏｎｇによる“Ｔｈｅ Ｇｅｏｍｅｔｒｙ ｏｆ Ｍｕｌｔｉｐｌｅ Ｉｍａｇｅｓ”（Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、２００１）、及びＹｉ Ｍａ、Ｓｔｅｆａｎｏ Ｓｏａｔｔｏらによる“Ａｎ Ｉｎｖｉｔａｔｉｏｎ ｔｏ ３－Ｄ Ｖｉｓｉｏｎ Ｆｒｏｍ Ｉｍａｇｅｓ ｔｏ Ｇｅｏｍｅｔｒｉｃ Ｍｏｄｅｌｓ”（Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ、２００４）を含む。

【0096】

図１０の二次元ステッチプログラム９３８は、画像データ９６０、９６２、９６４、９６６、９６８、及び９７０に対して、特徴抽出、見当合わせ、ステッチ、及び混合を実行する。特徴抽出は、補正された各画像を次元削減された形式に変換することを含み、画像に含まれる関連する形状情報を記述する。画像の見当合わせは、画像データ９６０、９６２、９６４、９６６、９６８、及び９７０間の幾何学的対応を作成し、画像の画素値を直接に使用してもよく、周波数領域ベースの見当合わせ方法、エッジ及び隅を使用するアルゴリズム、並びにオブジェクト及びそれらの合致する特徴間の関係を考慮するアルゴリズムを使用してもよい。画像は、シェイクアウトフィールド１１０に対する撮像器４３０（又は撮像器４３０ａ及び４３０ｂ）の回転によって生成される画像間の回転について、更に補正される。

【0097】

図１３Ｂを参照すると、シェイクアウトフィールド１１０全体の単一の包括的な完全ビューのステッチされた画像９７２が示されている。ステッチされた画像９７２は、６つの補正されセグメント化された画像データ９６０、９６２、９６４、９６６ ９６８及び９７０から形成され、単一の画像原点及び（ｕ，ｖ）座標系９７４（ｕ，ｖ）を有するものとして示されている。二次元ステッチプログラム９３８は、非圧縮の、歪み補正され、ノイズフィルタリングされ、セグメント化された個々の画像間の幾何学的対応を組み合わせて合成画像９７２を形成し、混合を使用してステッチプロセスの間に生成された継ぎ目を除去する。画像を混合するための２つのよく知られた方法は、アルファ混合及びガウシアンピラミッド混合である。６つの補正された画像データ９６０、９６２、９６４、９６６ ９６８及び９７０の各々の画素解像度は、ステッチされた画像９７２においても実質的に保存されることに留意されたい（例えば画像９６０中の画像空間寸法及び対応するオブジェクト空間寸法を有する画素は、合成画像９７２中に実質的に保存されることとなる）。かくして、ステッチされた画像９７２（又はそこから導出される他の画像）は、実質的に単一画像の解像度を有する画像空間の幾何学的特徴の属性、寸法及び測定値を決定するために、使用されてもよい。

【0098】

図１３Ａ及び図１３Ｂに同様に示されているものは、画像９６０、９６２、９６４、９６６、９６８、及び９７０についての目標反射点９７６、９７８、９８０、９８２、９８４、及び９８６である。これらの目標反射点は、（例えば図４の距離センサ４５０によって）距離測定が行われた点である。２つの距離センサ（例えば図９Ａの距離センサ４５０ａ及び４５０ｂ）が採用される場合、各センサは、それ自身の目標反射点のセットに関連付けられることとなる。それゆえ、ステッチされた画像９７２データは、構造部材１２１の、非圧縮の、歪み補正され、ノイズフィルタリングされ、セグメント化された画像を（シェイクアウトフィールド１１０内で撮像された構造部材１２０及び鉄筋の束１２１ａ等の追加的な建築材料オブジェクトとともに）含み、各構造部材に関連する構造特徴オブジェクトの画像（例えば構造部材１２１に関連するブラケット７１２及び穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄの画像）を更に含み、また他の建築材料オブジェクト特徴も含み得ることは、理解されよう。識別印７４０の画像もまた含まれ、更にステッチされた画像９７２中の目標反射点に関するデータ（例えば地面からの距離及びｕ－ｖ座標系内の位置）も含まれる。

【0099】

図１０の画像空間からオブジェクト空間への変換プログラム９４０は、画像９７２の各画素を、等価のオブジェクト空間距離に変換する。例えば、補正された画像のｕ軸方向における画像空間中の１つの画素は、ｘ軸方向におけるオブジェクト空間中の０．２５インチ（又は約６．４ｍｍ）に対応し得る。代替としては、画像空間からオブジェクト空間への変換プログラム９４０は、オブジェクト空間距離を、対応する歪みのない画像空間座標に変換する。画像空間からオブジェクト空間への変換プログラム９４０は、画像空間からオブジェクト空間への変換が、レンズから撮像されるオブジェクトまでの距離に依存するという事実を更に考慮する。

【0100】

図１４を参照すると、インチ当たりの画素の値（ｙ軸）とレンズから撮像されるオブジェクトまでの距離（ｘ軸）との間の関数的な依存性９７３の例が示されている。画像空間からオブジェクト空間への変換比は、レンズと結像されるオブジェクトとの間の距離の関数であり、従来のレンズについては一定ではないことが、よく知られている。撮像器／レンズの組み合わせは事前に較正されており、レンズから撮像されるオブジェクトまでの距離と、画像空間からオブジェクト空間への変換値と、の間の関数関係を提供する。

【0101】

レンズと撮像されるオブジェクト（例えば構造部材１２１）との間の距離は、距離センサ４５０によって決定される。いくつかの実施形態においては、この距離は、例えば位置的な装着の違いに起因するものであり得る、撮像装置４３０と距離センサ４５０との間の垂直オフセットを考慮して補正されなければならない。画像空間からオブジェクト空間への変換プログラム９４０は、画像空間寸法からオブジェクト空間寸法を決定するのに有用であり、構造部材１２１の上面７１４の画像から長さ７１０等のオブジェクトの幅、長さ、高さ、及び面積を決定するのに特に有用であり、又は特定の構造部材の構造特徴の相対的な位置及び寸法（例えば構造部材１２１に対する撮像されるブラケット７１２の位置及び寸法）を決定するため、又は補強筋１２１ａの長さ等の他の建築材料オブジェクトについてのオブジェクト空間寸法を決定するために、特に有用である。

【0102】

図１５を参照すると、図１０の画像分析及び畳み込みニューラルネットワークプログラム９４２は、シェイクアウトフィールド１１０のステッチされた画像９７２を分析し、（ａ）各建築材料オブジェクト（例えば構造部材１２１）を検出するための、（ｂ）取り付けられたブラケット７１２等の各構造部材に関連する構造特徴オブジェクト、又は他の建築材料オブジェクト特徴を検出するための、（ｃ）識別印７４０（又は他の建築材料オブジェクトの識別印）等の、各構造部材に関連付けられた識別印オブジェクトを検出するための、（ｄ）目標反射９７６９７８等の目標オブジェクトからの距離センサ目標反射を検出するための、及び（ｅ）ステッチされた画像９７２内の他のオブジェクト及び次いで画像９９７を作成する、畳み込みニューラルネットワーク手法を含む、よく知られたコンピュータビジョン画像セグメント化を使用する。画像セグメント化法を記載している参考文献は、Ｒａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ及びＲｉｃｈａｒｄ Ｅ． Ｗｏｏｄｓによる“Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”、（Ａｄｄｉｓｏｎ－Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９２）、及びＲａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ、Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ及びＳｔｅｖｅｎ Ｌ．Ｅｄｄｉｎｓによる“ＭＡＴＬＡＢを使用したデジタル画像処理”（Ｐｅａｒｓｏｎ Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ、１９９２）、及びＮａｔｉｃｋ、ＭａｓｓａｃｈｕｓｅｔｔｓのＭａｔｈＷｏｒｋｓによって開発されたＭＡＴＬＡＢプログラミング言語数値コンピューティング環境を含む。ＭＡＴＬＡＢ及び画像セグメント化に関する一般的なインターネット検索は、画像セグメント化を実行するための多くの記事及びプログラム例を提供している。畳み込みニューラルネットワーク技術もまた、画像のセグメント化のために使用され得る。画像セグメント化のための畳み込みニューラルネットワークの一例は、Ｕ－Ｎｅｔである。

【0103】

画像分析プログラム９４２は、コンピュータビジョン法（スケール不変特徴変換等）及び／又は畳み込みニューラルネットワーク（ＣＮＮ）法を使用して、オブジェクトを分類する。画像分析プログラム９４２は次いで、セグメント化法によって識別されたオブジェクトを分析し、（ａ）構造部材１２１等の構造部材オブジェクト、（ｂ）各構造部材に関連するブラケット７１２等の構造特徴オブジェクト、（ｃ）構造部材１２１の識別印７４０等の各構造部材についての識別印オブジェクト、（ｄ）反射目標９７８等の距離センサ目標反射オブジェクト、及び（ｅ）他の任意の望ましいオブジェクトを含む、検出されたオブジェクトの周囲の隅のｕ－ｖ位置（座標原点９７４を基準とした）を算出する。例えば、画像分析プログラム９４２は、構造部材１２１に関連する画像データを分析し、次いで、各々がｕ－ｖ原点９７４を基準としたｕ－ｖ座標を有する、構造部材１２１の左上隅９８８、右上隅９８９、左下隅９９０、及び右下隅９９１のｕ－ｖ座標を決定する。構造部材１２１の周囲９８７は、左上隅９８８、右上隅９８９、左下隅９９０、及び右下隅９９１のｕ－ｖ座標から決定される。

【0104】

画像分析プログラム９４２は次いで、隅のｕ－ｖ座標を使用して、検出されたオブジェクトの周囲線分のｕ－ｖ座標を決定する。周囲の線分はオブジェクトの周囲を定義し、周囲のｕ－ｖ座標は画像９９７内のオブジェクトの位置を定義する。例えば、画像分析プログラム９４２は次いで、隅のｕ－ｖ座標（例えば座標原点９７４を基準とした（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、及び（ｕ４，ｖ４））を使用して、構造部材１２１の周囲の線分９８７ａ、９８７ｂ、９８７ｃ、及び９８７ｄのｕ－ｖ座標を決定する。画像分析プログラム９４２はまた、画像空間の周囲データから画像空間の面積を算出してもよい。隅のｕ－ｖ座標及び線分９８７ａ、９８７ｂ、９８７ｃ、及び９８７ｄは、画像空間における構造部材１２１の周囲９８７を定義し、それゆえ、構造部材１２１の上面１７４（及び構造部材１２０又は他のタイプの建築材料オブジェクト等の、画像内に含まれるいずれかの他の構造部材）の画像空間における位置を表す。

【0105】

画像分析プログラム９４２は次いで、撮像された構造部材１２１のオブジェクトに関連する他の幾何学的寸法を決定する。例えば、画像分析プログラム９４２は、線分９８７ｂの画像空間における距離を使用して、画像空間における構造部材１２１（及びシェイクアウトフィールド１１０内に含まれる他の全ての構造部材）の幅７０８を決定する。画像分析プログラム９４２は、同様に、線分９８７ａの画像空間における距離を使用して、画像空間における構造部材１２１（及びシェイクアウトフィールド１１０内に含まれる他の全ての構造部材）の長さ７１０を決定する。

【0106】

画像分析プログラム９４２は次いで、各構造部材に関連する構造特徴オブジェクトのｕ－ｖ位置を決定する。例えば、このプログラムは、ブラケットオブジェクト７１２及び穴のペアオブジェクト７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄを含む、構造部材１２１に関連する構造特徴オブジェクトの画像空間における位置を決定してもよい。画像分析プログラム９４２は更に、ブラケットオブジェクトの隅９９２、９９３、９９４、及び９９５のｕ－ｖ座標（ｕ－ｖ原点９７４を基準とする）を決定し、構造部材１２１の局所的なｕ－ｖ座標系原点９９９に対する構造特徴のｕ－ｖ座標を基準としてもよい。

【0107】

このｕ－ｖ座標の隅のデータから、このプログラムは、構造部材１２１オブジェクトの幅及び長さを決定するために使用されたものと同様の手順を使用して、ブラケット７１２オブジェクト（撮像されたブラケット）の画像空間における幅及び長さを決定する。例えば、画像分析プログラム９４２は、ｕ－ｖ座標を使用する従来の分析幾何学方法を使用して、ｕ－ｖ座標系９７４又は／又は構造部材１２１上に描かれた原点に対する画像空間におけるブラケット７１２オブジェクトの周囲及び位置を決定する。ブラケット７１２の（画像空間における）幅も、同様の方法で決定されてもよい。構造部材１２１に対する及び座標系９７４に対する画像空間におけるブラケット７１２の位置もまた、ｕ－ｖ座標９９２、９９３、９９４、及び９９５を使用して表され得る。同様に、穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄに含まれる個々の穴オブジェクトのｕ－ｖ座標、並びに個々の穴の直径（穴の周囲）は、画像分析プログラム９４２によって画像空間において（ここでもまたｕ－ｖ原点９７４を基準として）決定され、又は、構造部材１２１の上面７１４を基準とした画像座標系を基準としてもよい。

【0108】

画像分析プログラム９４２は、画像９７２の上面７１４の画像を更に分析し、畳み込みニューラルネットワーク手法を含む従来のコンピュータビジョン技術を使用して、（ａ）識別印オブジェクトを検出し、次いで（ｂ）識別印オブジェクトをカプセル化する矩形の境界ボックス９９６を構築し、境界ボックスの隅のｕ－ｖ座標（ｕ－ｖ原点９７４又は構造部材１２１を基準とする）を決定する。かくして、識別印７４０の画像が検出され、境界ボックスが作成される。

【0109】

画像空間において識別印オブジェクトが検出され定義されると、トレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）が、境界ボックス内に含まれる英数字及び／又は記号の画像データに適用されて、識別印７４０の画像をデジタルデータ表現に変換する。例えば、ＣＮＮが文字を「Ａ」として認識し、デジタルデータに１０進数のＡＳＣＩＩコード０６５を割り当て得る（２進数表現は０１０００００１である）。図１５に示される機械生成された識別印の画像表現９７９は、より大きく、元の手書きの印７４０の画像とは異なる機械生成されたフォントを有し、境界ボックス９９６を有する画像９９７（手書きの印の元の画像は除去されている）上に重畳されていることに留意されたい。

【0110】

画像分析プログラム９４２は更に、従来のコンピュータビジョン技術を使用することによって、目標反射点９７６、９７８、９８０、９８２、９８４、及び９８６の各々についてのｕ－ｖ座標（ｕ－ｖ原点９７４を基準とする）を決定する。例えば、色空間閾値処理手法は、個々の画像９６０、９６２、９６４、９６６、９６８、及び９７０中の赤色目標反射点（ＬＩＤＡＲレーザが赤色波長を発光している場合）のｕ－ｖ座標（ｕ－ｖ原点９７４を基準とする）を決定するために、ステッチされた画像９７２に、並びにステッチされた画像９７２内に適用されてもよい。他のカラーレーザ（緑色レーザ等）が使用されてもよい。その場合、緑色閾値処理が使用されることとなる。画像分析プログラム９４２はまた、距離センサから得られた距離データを、撮像された各目標反射点のｕ－ｖ座標に付加する。例えば、撮像された目標反射点９７８は関連する距離９７５を有し、撮像された目標反射点９０８は関連する距離９７７を有する。

【0111】

画像分析プログラム９４２はまた、撮像器４３０の光軸４３６（画像の中心点）からオブジェクト距離センサ４３０の送信ビーム８０６までのオブジェクト距離を使用してもよい。このオブジェクト距離は、測定されてもよいし、又はデータシート及び装着分離距離仕様から取得されてもよい。オブジェクト距離は次いで、画像空間からオブジェクト空間への変換プログラム９４０を使用して、画像空間座標に変換される。それゆえ、各画像の中心のｕ－ｖ座標は既知であるため、それゆえ画像の中心点に対する目標反射点のｕ－ｖ座標も既知である。例えば、目標反射点９７８及び９８０の画像は、（ｕ－ｖ原点９７４を基準として）ｕ－ｖ座標（ｕ１０，ｖ１０）及び（ｕ１１，ｖ１１）を有する。これらの画像空間のｕ－ｖ座標は、データ融合プログラム９４６によって使用されてもよい。

【0112】

画像分析プログラム９４２は更に、第２のＩＮＳ４２０から取得されたＧＮＳＳ位置データを、撮像された各目標反射点のｕ－ｖ座標に付加する。撮像器は、画像中の各画素がＧＮＳＳ位置を割り当てられるように較正され、更に撮像器から撮像されるオブジェクトまでの距離について較正された、ＧＮＳＳであってもよい（オフセットは撮像器４３０とＩＮＳ４２０との間の距離を考慮して補正される）。かくして、撮像された全ての目標反射点９７６、９７８、９８０、９８２、９８４、及び９８６は関連する距離データ及びＧＮＳＳ位置を有し、画像中の全ての画素はＧＮＳＳ位置を有する。

【0113】

画像分析プログラム９４２は次いで、メモリ９３０に記憶された画像分析データを結合し、ステッチされた画像９９７の周囲９９８内に、原点９７４に対して、（ａ）構造部材１２１の周囲９８７（及び、存在する場合には、シェイクアウトフィールド１１０内に含まれる他の全ての建築材料オブジェクト）と、（ｂ）構造部材１２１に関連する構造特徴の周囲（例えばそれぞれ、ブラケット７１２の周囲９８５、及び穴の対７２０ａ、７２０ｂ、７２０ｃ、及び７２０ｄの穴｛９８３ａ、９８３ｂ｝、｛９８３ｃ、９８３ｄ｝、｛９８３ｅ、９８３ｆ｝、｛９８３ｇ、９８３ｈ｝についての周囲、及びボルト７１６ａ、７１６ｂ、７１６ｃの周囲９８３ｉ、９８３ｊ、及び９８３ｋ）と、（ｃ）機械生成された識別印９７９（ＣＮＮを使用して識別印７４０の画像から分析される）、構造部材１２１の表面７１４の画像上に配置されるもの、及びＬＩＤＡＲ反射９７６、９７８、９８０、９８２、９８４、及び９８６の画像と、を表示する、画像９９７を生成する。

【0114】

その結果の画像９９７は、構造部材の周囲９８７、構造特徴ブラケットの周囲９８５、構造特徴穴の周囲９８３ａ、９８３ｂ、９８３ｃ、９８３ｄ、９８３ｅ、９８３ｆ、９８３ｇ、及び９８３ｈ、識別印９７９、並びにＬＩＤＡＲ反射９７６、９７８、９８０、９８２、９８４及び９８６のｕ－ｖ座標とともに、メモリ９３０に記憶される。追加的に、全ての画像空間の距離及び位置の算出もまた、メモリ９３０に記憶される。構造特徴の位置は、周囲線９８７ａと周囲線９８７ｂとの交点（周囲９８７の左上隅）に位置する構造部材ローカルｕ－ｖ座標系９９９を基準とされてもよい。他の構造部材のｕ－ｖ座標系の位置も可能である。

【0115】

画像空間からオブジェクト空間への変換プログラム９４０は、画像空間における各次元を、等価なオブジェクト空間の次元に変換する。例えば、構造部材１２１の画素単位の長さが、等価なインチ単位の長さに変換されてもよい。画像空間からオブジェクト空間の次元への変換は、データ融合プログラム９４６において、図１８を参照しながら開示される。

【0116】

図１６を参照すると、図１０のビーム高さプログラム９４４は、位置Ａにある距離センサ４５０から構造部材１２１の上面７１４における目標位置９７８までの垂直距離９７５を決定し、次いで（距離センサ４５０がクレーンオペレータによって移動させられた後に）位置Ｂにある距離センサ４５０から目標位置９８０を有する地表面１０９までの垂直距離９７７を決定することによって、構造部材１２１（及びシェイクアウトフィールド１１０内に含まれる全ての建築材料オブジェクト）の高さ７１１を算出する。ビーム高さプログラム９４４は次いで、距離９７７と距離９７５との差を算出し、構造部材１２１の高さ７１１を与える。距離センサ４５０から撮像されたオブジェクトまでの距離データ９７７及び９７５は、メモリ９３０に記録され記憶される。

【0117】

一例として、目標反射点９７８はＩ形梁１２１の上部フランジ上面７１４上に位置付けられ、目標反射点９８０は地表面１０９上に位置付けられる。距離センサ４５０から上部フランジ上面７１４（点９７８）までの垂直距離９７５と、距離センサ４５０から点９８０における地面１０９表面までの垂直距離９７７との差は、Ｉ形梁１２１の高さ７１１を導出する。高さデータはメモリ９３０に記憶され、構造部材１２１に関連付けられる。シェイクアウトフィールド１１０中の他の構造部材及び建築材料オブジェクトの高さは、構造部材に関連付けられた構造特徴の高さとともに、同様の態様で決定される。追加的に、センサ４５０から目標までの距離がメモリ９３０に保存される。

【0118】

図１７を参照すると、データ融合プログラム９４６は、画像分析プログラム９４２によってメモリ９３０に記憶されたデータを入力し、構造部材１２１についての画像空間データ構造１２００を作成する。データ構造１２００は、非排他的に、区切りデータフィールド１２０１、識別印データフィールド１２０５、周囲ｕ－ｖ座標データフィールド１２１０、幅データフィールド１２１５、長さデータフィールド１２２０、高さデータフィールド１２２５、ＧＮＳＳ位置データフィールド１２３０、フラグデータフィールド１３３２、ブラケット構造特徴データフィールド１２３５、ブラケット周囲ｕ－ｖ座標データフィールド１２４０、ブラケット幅データフィールド１２４５、ブラケット長さデータフィールド１２５０、ブラケット高さデータフィールド１２５５、穴構造特徴データフィールド１２６０、穴周囲データフィールド１２６５、穴構造特徴中心オブジェクト空間座標データフィールド１２７０、及び構造特徴直径１２７５のフィールドを含む。ｕ－ｖ寸法は画素単位であることに留意されたい。用途及び利用可能なデータに依存して、他の構造特徴が追加又は削除されてもよい。

【0119】

高さデータフィールド１２２５は、高さデータを含み、ＧＮＳＳ位置データフィールド１２３０は、関連する検出された構造部材（例えば構造部材１２１）のＧＮＳＳ位置を含む。データフィールド１２１０、１２１５、１２２０、１２４０、１２４５、１２５０、１２６５、１２７０、及び１２７５の値は、画像空間座標（例えば画素）のものである。構造部材１２１のＧＮＳＳ位置座標は、ＬＬＡ座標で与えられるが、ＥＣＥＦ座標又は他の適切な座標系のものであってもよい。

【0120】

データ構造１２００のデータフィールドの数は、シェイクアウトフィールド中の構造部材１２１及び他の建築材料オブジェクトについての望ましい詳細のレベルに応じて、拡張又は縮小され得ることは、理解されよう。例えば、いくつかの例においては、構造部材１２１に関係するデータフィールドだけが重要とみなされ、ブラケット及び穴の構造特徴等の構造部材１２１に関連する構造特徴は重要ではないとみなされ得る。この場合、データフィールド１２０１、１２０５、１２１０、１２１５、１２２０、１２２５、１２３０、及び１２３２のみが、データ構造１２００に含められることになる。他の実施形態においては、構造部材１２１の任意の及び全ての構造特徴についての測定データが追加されてもよい。

【0121】

図１８を参照すると、図１０のデータ融合プログラム９４６は、画像空間からオブジェクト空間への変換プログラム９４０を使用して、検出された各構造部材について新たなオブジェクト空間データ構造１４００を作成する。オブジェクト空間データ構造１４００は、非排他的に、区切りデータフィールド１３０１、識別印データフィールド１３０５、オブジェクト空間周囲座標データフィールド１３１０、幅データフィールド１３１５、長さデータフィールド１３２０、高さデータフィールド１３２５、ＧＮＳＳ位置データフィールド１３３０、フラグデータフィールド１３３２、ブラケット構造特徴データフィールド１３３５、ブラケットオブジェクト空間周囲座標データフィールド１３４０、ブラケット幅データフィールド１３４５、ブラケット長さデータフィールド１３５０、ブラケット高さデータフィールド１３５５、穴構造特徴データフィールド１３６０、穴構造特徴中心ｕ－ｖ座標データフィールド１３７０、構造特徴直径１３７５のフィールドを含む。データ融合プログラム９４６は、データ構造１２００の区切りデータフィールド１２０１、識別データフィールド１２０５、高さデータフィールド１２２５、ＧＮＳＳ位置データフィールド１２３０、ブラケット構造特徴１２３５、及び穴構造特徴１２６０を、それぞれ、データ構造１４００のデータフィールド１３０１、１３０５、１３２５、１３３０、１３３５、及び１３６０にコピーする。この時点においては、他のデータフィールド１３１０、１３１５、１３２０、１３４０、１３４５、１３５０、１３５５、１３６５、１３７０、及び１３７５は空である。

【0122】

データ融合プログラム９４６は次いで、距離センサからの距離データを各構造部材オブジェクトに渡し、各構造特徴オブジェクトについての距離データを画像空間からオブジェクト空間への変換プログラム９４０に渡す。画像空間からオブジェクト空間への変換プログラム９４０は次いで、図１４に示されるように、距離センサから撮像されたオブジェクトまでの距離の関数として正しい変換比を戻す。データ融合プログラム９４６は次いで、データ構造１２００のデータフィールド１２１０、１２１５、１２２０、１２４０、１２４５、１２５０、１２６５、１２７０、及び１２７５に含まれる画像空間寸法を、それぞれ、データ構造１４００のデータフィールド１３１０、１３１５、１３２０、１３４０、１３４５、１３５０、１３６５、１３７０、及び１３７５に含まれるオブジェクト空間寸法（例えばインチ）に変換する。それゆえ、データ融合プログラム９４６は、画像９９７中で識別されたオブジェクトのオブジェクト空間座標及び寸法（例えばインチ又はｃｍ）に変換されたデータ構造１２００の全ての画像空間ｕ－ｖ座標及び測定値からなり、構造部材１２１（及び他の任意の撮像された構造部材）についての識別印及びＧＮＳＳ位置を更に含む、最終的なオブジェクト空間データ構造１４００を生成する。追加的なデータフィールドを追加することによって、構造部材１２１の他の属性が、オブジェクト空間データ構造１４００に追加されてもよい。これらの追加的なデータフィールドのためのデータは、データ融合プログラムによって算出されてもよいし、又は建設現場データベースから直接にアクセスされてもよい。

【0123】

オブジェクト空間データ構造１４００は次いで、メモリ９３０に記憶され、識別印データフィールド１３０５によってメモリ中でアクセスされる。最終的なオブジェクト空間データ構造は、サーバ２２０、撮像システム２１０、モバイルシステム２１５、及びクラウド２２５に送信され、それぞれのメモリに保存されてもよい。画像空間データ構造１２００及びオブジェクト空間データ構造１４００のデータフィールドは、タイムスタンプデータ１０５６を含むように拡張されてもよい（図２０を参照）。

【0124】

図１０の仕様比較プログラム９４８は、データ融合プログラム９４６から計算された構造部材１２１（又は他の建築材料オブジェクト）のオブジェクト空間データ構造１４００を、建設現場データベースから得られた構造部材１２１についての、同様にフォーマットされたデータ構造と比較する。建設現場データベースは、オペレータシステム２０５、撮像システム２１０、モバイルシステム２１５、サーバシステム２２０、クラウドサービス２２５、又はこれらの任意の組み合わせに常駐していてもよい。データ構造１４００と建設現場データベースからの同様にフォーマットされたデータ構造との間の不整合が見出され、ディスプレイ３３０上に表示されるメッセージを介して、又はスピーカ３７０等の他の何らかの手段によって、クレーンオペレータが通知を受ける。通知メッセージはまた、不整合を記録するため、及び／又は現場の他の作業員に通知するために、モバイルシステム２１５、サーバシステム２２０、及び／又はクラウドサービス２２５に送信されてもよい。

【0125】

重心プログラム９４９は、構造部材（又は他の建築材料オブジェクト）についての重心を算出して、クレーンオペレータが、吊り上げられるべき待ち行列に入れられた望ましい部材又は他の建築材料オブジェクトの上にメインフックブロック１３６を位置決めするのを支援する。例えば、重心についての相対的な構造部材の座標（位置）を知ることは、吊り上げ索具についての取り付け位置を定義するための重要なデータである。この位置は、建設現場データベースによって提供されてもよいし、又は幅、長さ、高さ、断面プロファイル、及び重心を算出するのに必要な追加的な構造部材データを使用して算出されてもよい。重心を算出するために使用され得る必要な追加的な構造部材データは、材料特性（材料密度等）及び建設現場データベースから得られる断面積を含み得る。オブジェクトについての重心算出は、本分野においてよく知られている。追加的に、建築材料オブジェクトの重量は、建設現場データベースから得られてもよいし、又は、吊り上げられている建築材料オブジェクトの密度及び幾何学的特性を既知として算出されてもよい。重量データは、クレーンの最大持ち上げ能力が超えられないことを確実にするために使用される。

【0126】

シェイクアウトフィールド内の各構造部材についての重心の位置は、各構造部材の表面画像に重畳された、別個の記号（「ＣＧ」ラベルを伴う赤い十字等の色付き目標記号等）を重畳することによって更に表示されてもよく、このことは図２２を参照しながらより詳細に議論される。

【0127】

ＧＮＳＳ位置算出器２００３は、プロジェクトベースの座標系における取り付け位置又は目的位置の座標がそれぞれ与えられると、構造部材又は建築材料オブジェクトの取り付け位置又は目的位置のＧＮＳＳ座標を決定し、このことは図２３を参照しながら議論される。

【0128】

システム制御プログラム９５０は、メモリ９２０の他のプログラム間のインタラクションを制御し、本発明の目的を達成するための他のプログラミング機能を提供し、更にシステム２０５の診断自己評価を実行する。

【0129】

図１９を参照すると、撮像システム２１０のコンピュータ４４０のメモリ１０００のブロック図が示されている。メモリ１０００は、コンピュータ４４０のハードウェア及び他のリソースを管理するための、従来のコンピュータオペレーティングシステムソフトウェア１０１０と、本発明の好ましい実施形態によるタスクを実行するためのいくつかのソフトウェアプログラムを含む、プログラムメモリ１０２０と、システムデータ、並びに画像データ、ＧＮＳＳ位置データを含むＩＮＳデータ、ＩＭＵデータ、タイムスタンプデータ、距離センサデータ、及び他のデータを含む、他のデータを記憶するための、データメモリ１０３０と、を含む。

【0130】

コンピュータオペレーティングシステム（ＯＳ）ソフトウェア１０１０は、リアルタイムオペレーティングシステム（ＲＴＯＳ）、ＵＮＩＸ ＯＳソフトウェア、ＬＩＮＵＸ ＯＳソフトウェア（例えばＬｉｎｕｘのディストリビューションであるＵｂｕｎｔｕ及びＤｅｂｉａｎ）、Ｗｉｎｄｏｗｓ ＯＳソフトウェア（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎによって提供される）、又は他の互換性のあるオペレーティングシステムソフトウェア等の、従来のオペレーティングシステムソフトウェアを含んでもよい。オペレーティングソフトウェアは、従来のオペレーティングシステムソフトウェアの機能を実行し、コンピュータ４４０のプログラムメモリ１０２０に記憶された様々なプログラムを実行することができる。プログラムメモリ１０２０は、画像取得プログラム１０３２、距離取得プログラム１０３４、位置取得プログラム１０３６、パックアンド（ｐａｃｋ－ａｎｄ－ｇｏ）ゴープログラム１０３８、診断プログラム１０４０、及びシステム制御プログラム１０４２を含む。

【0131】

画像取得プログラム１０３２は、撮像器４３０（若しくは撮像器４３０ａ及び４３０ｂ又は使用される場合には更なる撮像器）からの画像の取得を制御し、取得された生画像（及び任意の他の付加されたカメラメタデータ）をデータメモリ１０３０に記憶する。画像取得プログラム１０３２は、撮像器４３０の製造業者によって提供されるアプリケーションプログラミングインタフェース（ＡＰＩ）及び関連するソフトウェアライブラリを使用してもよい。画像取得プログラム１０３２はまた、生画像データを圧縮し、圧縮画像データもデータメモリ１０３０に記憶する。かくして、生画像データ及び圧縮画像データはいずれもデータメモリ１０３０に記憶されることは、理解されよう。

【0132】

画像取得の開始時に、画像取得プログラム１０３２は、画像取得開始コマンドを撮像器４３０に送信して、画像の取得を開始する。画像は、ハードウェアトリガ、ソフトウェアコマンドを用いて同期的に取得されてもよいし、又は非同期的に取得される、すなわちフリーラン画像取得であってもよい。撮像器４３０がタイムスタンプ又はフレームＩＤを自動的に付加しない場合、画像取得プログラム１０３２は、この情報を生画像データ及び圧縮画像データの両方に付加する。タイムスタンプデータは、撮像器４３０又は他の時間データの供給源によって提供されない場合には、ＩＮＳ４２０を介してコンピュータ４４０から受信されてもよい。取得された各生画像及び圧縮画像は次いで、撮像器４３０（又は２つの撮像器が使用される場合には撮像器４３０ａ及び４３０ｂ）又はコンピュータ４４０によって、画像データに付加される任意の追加的なデータ（タイムスタンプ及び／又はフレームＩＤ等）とともに、データメモリ１０３０に順次記憶される。

【0133】

距離取得プログラム１０３４は、距離センサ４５０からの（又は１つよりも多い距離センサが使用される場合には４５０ａ及び４５０ｂ等の複数の距離センサからの）目標距離データの取得を制御する。距離センサデータは、プログラム１０３４から送信されたトリガ信号に応答して取得され、撮像器４３０から取得された画像データと同期されてもよい。例えば、距離センサ４５０に送信されるものと同じトリガ信号が、撮像器４３０をトリガするために使用されてもよい。距離センサ４５０はまた、距離情報を非同期的に取得してもよい。非同期距離データはこのとき、補間を使用して又は他の手段によって画像データと同期されることとなる。それゆえ、撮像器４３０から取得された各生画像及び生画像の圧縮画像は、距離センサ４５０からの関連する目標距離測定値を有することは、理解されよう。

【0134】

ＧＮＳＳ位置取得プログラム１０３６は、ＧＮＳＳ受信器４２４からのＧＮＳＳ位置データ、及びＩＮＳ４２０のＩＭＵ４２２からのＩＭＵデータの取得を制御する。ＧＮＳＳ４２４位置データ及びＩＭＵ４２２データは、ローカルバス４２６及び／又はマスタバス４１８を介してＩＮＳ４２０からコンピュータ４４０に出力され、その後データメモリ１０３０に記憶され、撮像器４３０からの生画像データ、圧縮生画像データ、及び距離センサ４５０データにタグ付けされる（すなわち関連付けられる）。

【0135】

図２０を参照すると、パックアンドゴープログラム１０３８は、インデクス番号データ１０５２、メモリ１０３０に記憶された圧縮画像データ１０５４、タイムスタンプデータ１０５６、距離センサ４５０からの距離データ１０５８、ＧＮＳＳ位置データ１０６０、及びＩＮＳ４２０からのＩＭＵデータ１０６２を組み合わせる。次に、パックアンドゴープログラム１０３８は、パリティチェックビット１０６４を算出して付加し、直列化されたペイロードデータパケット１０５０を形成する。巡回冗長検査（ＣＲＣ）等の他のより高度なエラー検出技術が使用されてもよい。データパケットのための他のフォーマットも可能である。

【0136】

パックアンドゴープログラム１０３８はまた、メモリ１０３０から圧縮画像画素データを入力し、後続する各画像行データを前の画像行データに連結することによって、圧縮画像データの一次元配列を形成する。パックアンドゴープログラム１０３８は次いで、オペレータシステム２０５、モバイルシステム２１５、サーバシステム２２０、及びクラウドサービス２２５への送信のために、ペイロードデータパケット１０５０をモデム４１０に送信する。

【0137】

診断プログラム１０４０は、撮像システム２１０の全てのコンポーネントに対して自己診断評価を実行し、撮像システム２１０の動作状態を与える診断レポートを作成し、メモリ１０３０に保存される。

【0138】

システム制御プログラム１０４２は、無線モデム４１０、ＩＮＳ４２０、撮像器４３０（又は２つの撮像器が使用される場合には撮像器４３０ａ及び４３０ｂ）、及び距離センサ４５０（又は２つの距離センサが使用される場合には距離センサ４５０ａ及び４５０ｂ）、並びに無線電源スイッチ４７１等の撮像システム２１０の他のコンポーネントの間のインタラクションを制御し、本発明の目的を達成するために必要な他の機能を実行する。システム制御プログラム１０４２はまた、オペレータからの要求に応答して診断レポートをオペレータシステム２０５に送信してもよい。

【0139】

図２１Ａ～図２１Ｃは、クレーンオペレータを支援するための例示的な方法のフロー図である。以下の動作の議論は、サーバ２２０及びモバイルシステム２１５が事前に電源を入れられており、サーバシステム２２０のための通信チャネル２５５及び２７５と、モバイルシステムのための通信チャネル２５５及び２７０とが動作可能であることを仮定している。追加的に、建設現場データベース及び持ち上げリストデータが、サーバシステム２２０又はクラウドサービス２２５に事前にアップロードされており、オペレータシステム２０５、撮像システム２１０、モバイルシステム２１５、サーバシステム２２０、及びクラウドサービス２２５を含む、システム２００の全てのシステムが、建設現場データ及び持ち上げリストデータへの操作上のアクセスを有することが、更に仮定される。更に、本発明の目的を達成するために必要な任意の較正データが、オペレータシステム２０５、撮像システム２１０、モバイルシステム２１５、サーバシステム２２０、及びクラウドサービス２２５において利用可能であることが仮定される。

【0140】

図２１Ａの方法１５００は、ステップ１５０５で始まり、ここで撮像システム（例えば図１の撮像システム２１０）及びオペレータシステム（例えばオペレータシステム２０５）が初期化される。撮像システムを初期化することは、例えば、撮像システムのコンピュータの電源を入れて起動することを含み得る。撮像システムがクレーンのメインフックブロック上に位置付けられている実施形態においては、オペレータはメインフックブロックを下げて撮像システム２１０へのアクセスを可能にしてもよい。必要であれば、クレーンオペレータは次いで、放電したバッテリ４７０を完全に再充電されたバッテリと交換してもよい。撮像システムにおいて１台以上のドローン機が装着されている実施形態においては、作業員は撮像システムの電源を入れて起動してもよい。現場の作業員は、電源（例えば電源４８０）をオンにすることによって撮像システムに電力を供給してもよく、このことは次いで、電力バス４８１を介して、コンピュータ４４０、無線モデム４１０、ＩＮＳ４２０、撮像器４３０（又は２つの撮像器が使用される場合には撮像器４３０ａ及び４３０ｂ）、及び距離センサ４５０の電源をオンにする。無線電源スイッチ４７１が、システム２１０に電力を供給するために使用されてもよい。無線電源スイッチ４７１は、クレーンのオペレータが、メインフックブロック１３６を下げて手動で電源を切り換える必要なく、撮像システムの電源をオン及びオフにすることを可能とする。

【0141】

撮像システム２１０はまた、コンピュータ４４０、無線モデム４１０、ＩＮＳ４２０、撮像器４３０、距離センサ４５０（又は距離センサ４５０ａ及び４５０ｂ）、及びバッテリ４７０を含む、そのコンポーネントの診断自己評価を、システム制御プログラム１０４２を使用して実行してもよい。撮像システム２１０はまた、モバイルシステム２１５、サーバシステム２２０、及びクラウドサービス２２５の間の双方向通信を、それぞれ通信チャネル２４５、２５０及び２６５を介して、確立しようと試みる。全ての通信チャネルが動作可能である場合、動作フローは継続するが、いずれかの通信チャネルが動作可能でない場合には、問題が解決されるまで動作フローが終了してもよい。

【0142】

クレーンオペレータは、電源３８０をオンにすることによって、オペレータシステム２０５に電力を供給する。次いで、電力バス３８１を介して、コンピュータ３４０、無線モデム３１０、ＩＮＳ３２０、及び１つ以上のディスプレイを含むシステム２０５の全てのコンポーネントに電力が供給される。その後、コンピュータ３４０が起動し、動作可能になる。オペレータシステム２０５は次いで、コンピュータ３４０、無線モデム３１０、ＩＮＳ３２０、及び１つ以上のディスプレイを含む、オペレータシステム２０５のコンポーネントの診断自己評価を実行する、システム制御プログラム９５０を実行する。オペレータシステム２０５は次いで、撮像システム２１０、モバイルシステム２１５、サーバシステム２２０、及びクラウドサービス２２５の間の双方向通信を、それぞれ通信チャネル２３０、２３５、２４０、及び２６０を介して確立しようと試みる。全ての通信チャネルが動作可能である場合、動作フローは継続するが、いずれかの通信チャネルが動作可能でない場合には、動作フローが終了してもよい。

【0143】

オペレータシステム２０５のコンピュータ３４０は、「診断レポート送信」メッセージを（通信チャネル２３０及び第１のモデムを介して）撮像システム２１０に送信してもよい。これに応答して、撮像システムは、通信チャネル２３０を介して、診断ステータスレポートをオペレータシステムに送信して戻す。オペレータシステム又は撮像システムのいずれかがそれぞれの診断自己評価に失敗した場合、動作フローは終了してもよく、オペレータシステムがクレーンオペレータに失敗した初期化を通知するメッセージを表示してもよい。

【0144】

ステップ１５１０において、オペレータシステムは、持ち上げリストデータを受信する。いくつかの実施形態においては、オペレータシステムは、持ち上げリストデータを直接に（例えば紙の持ち上げリストから）ダウンロードするが、他の実施形態においては、オペレータシステムは、１つ以上のサーバシステム２２０、モバイルシステム２１５、又はクラウドサービス２２５に記憶され得る建設現場データベースから、持ち上げリストを取得する。受信された持ち上げリストデータは次いで、それぞれ通信チャネル２４０又は２６０を介して、コンピュータ３４０のメモリ９３０に記憶される。他の実施形態においては、持ち上げリストデータは、（例えばメモリスティックから又は他の手段によって）データメモリ９３０に事前にロードされているものであってもよい。

【0145】

ステップ１５１５において、撮像システムは、シェイクアウトフィールドの画像及び距離測定値の収集を開始する。例えば、ステップ１５１５は、オペレータシステムが、通信チャネル２３０及び／又は通信チャネル３１０を介して、撮像システムがデータ（例えばデータパケット１０５０の形をとる）の送信を開始することを要求するメッセージ（例えば「データ送信開始」）を、撮像システムに送信することを含んでもよい。これに応答して、撮像システムは、オペレータシステムにデータパケットを連続的に送信することを開始する。

【0146】

いくつかの実施形態においては、オペレータシステムは、クレーンオペレータに、メインフックブロック１３６をシェイクアウトフィールド１１０の先頭に移動させるように指示する（例えば「シェイクアウトフィールドグラウンドの先頭にフックブロックを位置決め」メッセージを表示することによって）。オペレータは次いで、距離センサ（例えば距離センサ４５０）が地表面１０９上に位置決めされ、撮像システムが距離センサから地表面までの距離を決定することができるように、メインフックブロックを移動させる。メインフックブロック１３６の移動は、ＩＮＳ４２０によって監視されてもよい。メインフックブロック１３６の移動の間に撮像器４３０によって取得された画像は、シェイクアウトフィールド１１０の先頭において、クレーンオペレータがメインフックブロック（及びそれゆえ撮像器４３０（又は撮像器４３０ａ及び４３０ｂ））を設置するのを支援するために、ディスプレイ３３０上に表示されてもよい。撮像システムがドローンに装着されている実施形態においては、撮像器４３０によって取得された画像は、（例えばモバイルシステムのディスプレイを使用して）ドローンオペレータに表示されてもよい。

【0147】

いくつかの実施形態においては、オペレータシステムは、メインフックブロック１３６がシェイクアウトフィールド１１０の地面の先頭に位置決めされたときに、クレーンオペレータに、入力デバイス３５０における「準備完了」ボタンを押下するようにメッセージを送る。「準備完了」ボタンが押下されたことに応答して、コンピュータ４４０は、距離センサ４５０から距離データを入力し、通信チャネル２３０を介して距離データをコンピュータ３４０に送信する。コンピュータ３４０は次いで、距離センサ４５０からの距離データが撮像器４３０についてのフォーカスの許容範囲内であるか否かを判定する。距離データが許容範囲内にない場合、クレーンオペレータは、撮像システムを許容範囲内に移動させるために、ブロックフックを上方に又は下方に動かすようにメッセージを受ける。この算出は、システム制御プログラム９５０によって実行されてもよい。

【0148】

撮像システムが許容距離範囲内に入ると、オペレータシステムは、入力デバイス上の「走査開始」ボタンを押下するよう、ディスプレイを介してクレーンオペレータにメッセージを送ってもよい。「走査開始」ボタンの押下に応答して、コンピュータ３４０は、撮像システムから受信されたデータパケットを、メモリ９３０に直ちに記憶し始める。クレーンオペレータは次いで、シェイクアウトフィールドを横切ってメインフックブロック１３６を移動させることによって（例えば前後移動を使用して）、シェイクアウトフィールド１１０全体を走査するように指示される。クレーンオペレータは、シェイクアウトフィールド１１０が完全に撮像されるまで、撮像装置によって捕捉され、ディスプレイ上で動的に更新される画像を、ガイドとして使用することができる。クレーンオペレータは更に、走査動作が完了したときに、入力デバイスの「走査停止ボタン」を押下するようにメッセージを送られる。「走査停止」ボタンの押下に応答して、コンピュータ３４０は、メモリ９３０へのデータパケット１０５０の記憶を停止する。コンピュータ３４０は、キーボードの「走査開始」の押下と「走査停止」の押下との間の時間間隔の間に、データパケット１０５０をメモリ９３０に記憶する。

【0149】

撮像システムが１台以上のドローン機に装着される実施形態においては、以上に詳述された走査手順は、クレーンオペレータではなくドローンオペレータによって実施されてもよい。例えば、遠隔制御手段を使用するドローンオペレータは、シェイクアウトフィールドの先頭にドローン機を位置決めし、撮像システムが必要な画像及び距離データを全て捕捉するまで、シェイクアウトフィールドのまわりでドローンを飛行させてもよい。走査が完了すると、ドローンオペレータは、ドローンにメッセージを送信して、撮像システムに走査を停止させてもよい。他の実施形態においては、ドローン機は自律的に動作してもよい。例えば、ドローンオペレータは、シェイクアウトフィールドの境界を定義するジオフェンスを設定してもよい。次いでドローンが飛び立たされ、適切な開始位置及び高さに自身を自動的に位置付け、シェイクアウトフィールド全体をカバーするために撮影される必要がある最小限の数の画像（所与の撮像器の視野に対して）を算出し、走査が完了するまでシェイクアウトフィールドを自動的に行き来してもよい。ドローンは次いで、建設現場における指定された位置（例えばドローン充電ステーション）に自動的に戻ってもよい。

【0150】

ステップ１５２０において、オペレータシステム（又はサーバシステム、モバイルシステム、若しくはクラウドサービス等の他の適切に装備されたシステム）は、収集された画像のノイズ及び歪みを補正する。オペレータシステムのコンピュータは、メモリ９３０に以前に記憶された全てのデータパケットを処理することを開始し、直列化された単一アレイ形式の画像データ１０５４を二次元の元の画像データアレイ１０６６に変換することができるアンパックアンドゴープログラム９３４を実行する。各パケット１０５０から導出された元の画像データ配列は、メモリ９３０に記憶され、（例えばインデクス番号データ１０５２を使用して）インデクス付けされる。二次元画像データ配列は、インデクス番号、タイムスタンプ、又はフレームＩＤ（装備されている場合にはカメラ４３０によって提供される）を使用してインデクス付けされる。一連の元のデータパケット１０５０は、好ましくは破壊されない。

【0151】

コンピュータ３４０は次いで、シェイクアウトフィールド１１０の各画像１０６６を展開し、レンズ歪み及び射影歪みについて各展開画像を補正し、補正された画像をノイズについてフィルタリングする、画像補正及びノイズ除去プログラム（例えば画像補正及びノイズ除去プログラム９３６）を実行してもよい。例えば、構造部材１２１の単一の非圧縮の歪んだ画像９５１（図１２Ａを参照）は、図１２Ｂの画像９５９に示されるように、画像補正及びノイズ除去プログラム９３６によって、レンズ歪み及び射影歪み並びにノイズについて補正されてもよい。コンピュータ３４０は次いで、１つ以上のセグメント化プロセスを適用して、新たな一連の画像１０６７を作成してもよい。セグメント化アルゴリズムが各画像１０６６に適用されて、個々の画像１０６６内に含まれる構造部材１２１（及び他の任意の構造部材又は建築材料オブジェクト）の周囲及び隅を定義してもよい。セグメント化アルゴリズムは、ステッチプログラム９３９が次いで一連の画像の間で対応関係を自動的に見出し、画像の共通の特徴を照合するための、画像１０６７中の見当合わせ点を定義するのに役立つ。

【0152】

かくして、各画像１０６６について、対応する、展開され、歪みが補正され、ノイズフィルタリングされ、セグメント化された画像１０６７がある。一連の個々の画像１０６７（一連の個々の画像１０６６に対応する）は、メモリ９３０に記憶され、インデクスデータ１０５２又はタイムスタンプデータ１０５６によってインデクス付けされる。前述したように、シェイクアウトフィールド１１０のサイズ及び撮像器４３０の視野に依存して、単一の画像のみが必要とされ得る。一連の個々の画像１０６６は、メモリ９３０に保存される。この時点において、シェイクアウトフィールド１１０（構造部材１２１及び追加的な構造部材を有する）の全ての画像は、歪み補正され、ノイズフィルタリングされ、セグメント化されたものとなり、インデクス番号データ１０５２（又はタイムスタンプ１０５６若しくはフレームＩＤ）によってインデクス付けされた一連の個々の画像１０６７としてメモリ９３０に記憶される。

【0153】

ステップ１５２５において、オペレータシステムは、ノイズ及び歪みが補正された画像をステッチして、ステッチ画像を形成する。例えば、二次元画像ステッチプログラム（例えば二次元画像ステッチプログラム９３８）は、一連の画像１０６７にアクセスし、全ての画像を合わせてステッチしてステッチ画像１０６９（図２２に示される）を生成する。例えば、ステッチ画像は画像９７２と同様のものとなり得るが、シェイクアウトフィールド内の全ての構造部材を含むこととなる。例えば、図１２Ａに示されるような、非圧縮の、ｌ歪み補正され、ノイズフィルタリングされ、セグメント化された、一連の６つの個々の画像９６０、９６２、９６４、９６６、９６８、及び９７０は、図１２Ｂに示されるように、レイアウトフィールド１１０全体のステッチ画像９７２を作成する二次元画像ステッチプログラムによってアクセスされる。

【0154】

ステップ１５３０において、オペレータシステムは、（例えば画像分析及び畳み込みニューラルネットワーク（ＣＮＮ）プログラム９４２を介して）ステッチ画像１０６９を受信し、ステッチ画像内のオブジェクトを認識する。例えば、画像分析及び畳み込みニューラルネットワーク（ＣＮＮ）プログラムは、ステッチ画像全体に対して動作して、（ａ）撮像された各建築材料オブジェクト、（ｂ）各建築材料オブジェクトに起因する撮像された特徴オブジェクト（すなわち取り付けられたブラケット７１２等）、（ｃ）撮像された識別印オブジェクト（例えば識別印７４０）、（ｄ）撮像された距離センサ目標反射オブジェクト（画像反射９７６等）、及び（ｅ）ステッチ画像内の他の撮像されたオブジェクトを検出する。

【0155】

ステップ１５３５において、オペレータシステムは、ステッチ画像１０６９中の認識されたオブジェクトを分析し、画像空間座標系（例えばｕ－ｖ座標系９７４）に対して、（ａ）建築材料オブジェクト、（ｂ）各建築材料オブジェクトに起因する特徴オブジェクト、及び（ｃ）識別印オブジェクトを含む、各検出されたオブジェクトのｕ－ｖ座標位置及び周囲を決定する。画像分析及び畳み込みニューラルネットワークプログラムはまた、識別印オブジェクト７４０の画像を含む境界ボックスを算出する。識別印の周囲は、識別印７４０を構成する英数字及び／又は記号の画像の位置を定義する境界ボックスの周囲として定義される。

【0156】

ステップ１５４０において、オペレータシステムは、検出された識別印の文字及び／又は記号を解析する。これらの文字及び記号を解析するために、オペレータシステムは、文字及び／又は記号を分離し、実際の文字及び／又は記号の表現を特定の確率内で決定する畳み込みニューラルネットワークアプリケーションに通してもよい。例えば手書きされたものであってもよい、元の識別印７４０が次いで、畳み込みニューラルネットワーク表現９７９によってステッチ画像９９７内で置き換えられてもよい。例えば、図１５に示されるように、図１２Ｂに示される手書きの印７４０の画像の畳み込みニューラルネットワーク表現画像９７９。手書きの識別印７４０の元の画像は、畳み込みニューラルネットワーク表現画像９７９によって置き換えられている。ＣＮＮ処理された識別印画像９７９は、構造部材１２１の画像９８７に関連付けられている。

【0157】

ステップ１５４５において、オペレータシステムは、（例えば仕様及び比較プログラム９４８を介して）持ち上げリストデータに列記された識別印を、シェイクアウトフィールド１１０内に含まれる撮像された構造部材の識別印のリストと比較する。それゆえ、このステップは、持ち上げリストデータに列記されている全ての構造部材が、取り付け点１２２まで吊り上げるためにシェイクアウトフィールド１１０中で利用可能であることを確実にする。シェイクアウトフィールド中で利用可能な構造部材と、列記するリスト中で識別されたものとの間に不整合がある場合には、現場のオペレータ及び／又は他の作業員がアラートを受ける（例えばオペレータシステム及び／又はモバイルシステムのディスプレイを介して）。このようにして、列記するリスト中で識別された構造部材のいずれかがシェイクアウトフィールドから欠落している場合、オペレータは可能な限り早くアラートを受けて、それにより問題を修正するためのステップが行われることができる。いくつかの状況においては、方法１５００は、欠落している構造部材が見つけられるか、又は代替品が建設現場に届けられるまで、終了する。いくつかの状況においては、この方法は、列記するリスト中に設定された順序に従って、欠落している構造部材を吊り上げるべき時間となるまで継続してもよい。

【0158】

更に別の状況においては、現場における１人以上の作業員が、識別された構造部材のうちの１つ以上に誤った識別印がマークされているか否かを決定してもよい。この場合、方法１５００は、（例えば構造部材の再マーキング及び再走査によって）間違いが修正されるまで、一時停止されてもよい。いくつかの実施形態においては、構造部材の再マーキングは、方法１６００が実行され、間違ってマークされた構造部材が、持ち上げリストからの合致しなかった構造部材の属性と合致することが決定された後にのみ行われ、このことは、識別された不整合が、より深刻な問題ではなく、間違ってマークされた識別印によるものであったことを確認するのに役立ち得る。持ち上げリストデータに列記されている全ての構造部材が吊り上げに利用可能であると識別されると、動作制御は図２１Ｂに示される方法１６００のステップ１６０５へと継続する。

【0159】

図２１Ｂの方法１６００は、ステップ１６０５において始まり、ここで、オペレータシステム（又はモバイルシステム、サーバシステム、若しくはクラウドサービス等の他の適切なシステム）が、決定された画像空間座標を使用してシェイクアウトフィールド内で検出されたオブジェクトの各々について幾何学的属性を算出する。例えば、画像分析及び畳み込みニューラルネットワークプログラムは、（上から見た）長さ及び幅を含む各構造部材の様々な寸法を算出してもよい。画像分析及び畳み込みニューラルネットワークプログラムは、メモリ９３０内に全ての画像空間データを記憶する。プログラムはまた、識別されたオブジェクトの各々を含む、シェイクアウトフィールド１１０の画像９９７を作成する。

【0160】

ステップ１６１０において、オペレータシステムは、（例えばビーム高さプログラム９４４を使用して）画像９９７中の識別されたオブジェクトの各々の高さを決定する。例えば、ビーム高さプログラムは、構造部材周囲データを使用して、どの目標反射点が構造部材の周囲内にあるかを決定してもよい。高さデータは次いで、メモリ９３０中のそれぞれの構造部材オブジェクトに関連付けられる。距離センサから目標までの距離データも決定され、対応する目標反射オブジェクトとともに保存される。高さデータ及び距離データは、メモリ９３０に保存される。画像空間の幾何学的属性及び高さデータがメモリに記憶されると、コンピュータ３４０は（例えばデータ融合プログラム９４６を実行することによって）画像空間データ構造１２００を作成する。高さデータ及びＧＮＳＳ位置データフィールドには、メモリ９３０に以前に記憶された値が入力される。いくつかの実施形態においては、オペレータシステムは、最初にデータをメモリ９３０に記憶するのではなく、データを画像空間データ構造１２００に直接に書き込んでもよい。

【0161】

ステップ１６１５において、オペレータシステムは、画像空間データをオブジェクト空間データに変換する。例えば、データ融合プログラム９４６は、構造１２００の画像空間データフィールドを、構造１４００の対応するオブジェクト空間データフィールドに変換してもよい（例えば画像空間からオブジェクト空間への変換プログラム９４）。具体的な例として、画像空間データ構造１２００の画素単位の幅１２１５及び画素単位の長さ１２２０は、オブジェクト空間データ構造１４００の十進法インチでの幅１３１５及び十進法インチでの長さ１３２０に変換されてもよい。データ融合プログラムはまた、オブジェクト空間座標で既に測定されたデータ（例えば距離センサによって捕捉された高さデータ）を、データ構造１２００からデータ構造１４００にコピーしてもよい。

【0162】

ステップ１６２０において、オペレータシステムは、検出されたオブジェクトの各々についてのオブジェクト空間データを、オブジェクト空間データ構造１４００に列記されたデータと比較され得る構造部材及び構造特徴データを含み得る、持ち上げリスト、建設現場データベース、又は建物情報管理（「ＢＩＭ」）システム等に記憶されている対応するオブジェクト空間データと比較する。オペレータシステムは次いで、（例えば仕様比較プログラム９４８を介して）吊り上げのために利用可能な各構造部材について、オブジェクト空間データ構造１４００選択データフィールドを、建設現場データベースに列記されている対応するデータフィールドに対してデータフィールドと比較する。例えば、仕様比較プログラム９４８は、識別印データフィールド１３０５、幅データフィールド１３１５、長さデータフィールド１３２０、高さデータフィールド１３２５、第１の特徴１３３５、幅データフィールド１３４５、及び長さデータフィールド１３５０を含む、吊り上げに利用可能な特定の構造部材のオブジェクト空間データ構造１４００選択データフィールドを、建設現場データベース内の対応するデータフィールドと比較してもよい。

【0163】

様々な実施形態によれば、持ち上げリストデータは、建設現場データベース及び／又はＢＩＭとは別個のものであってもよいし、又はそれらと一体のものであってもよい。持ち上げリストデータは、構造部材についての識別印、及び通常はそれぞれの取り付け位置を含む、順序付けされた持ち上げリストを含む。他の情報が、持ち上げリストデータに含まれていてもよい。例えば、各構造部材の取り付け位置が好ましくは、ＧＮＳＳ座標で与えられる。

【0164】

ステップ１６２５において、オペレータシステムは、オブジェクト空間データ構造１４００内のいずれかのデータが、建設現場データベースに列記されている対応するデータフィールドと合致しないか否かを判断する。いずれかのデータフィールド間に不整合がある場合（例えばオブジェクト空間データが仕様データのまわりの適切な許容範囲の外にある場合）、コンピュータ３４０は、表示デバイス３３０を介してクレーンオペレータにメッセージを送り、不整合をクレーンオペレータに通知し、建設現場データベースの仕様に合致しない構造部材の各々の上に、視覚的なインジケータを配置する。コンピュータはまた、構造部材が建設現場データベースの仕様を満たしていないことを示すために、画像空間データ構造１２００及びオブジェクト空間データ構造１４００中のフラグ１２３２及び１３３２をリセット（「０」を書き込む）してもよい。この時点において、方法１６００は、問題が修正されるまで一時停止してもよい。オブジェクト空間データ構造１４００のデータフィールドと、建設現場データベースに列記されている対応するデータフィールドとの間に不整合がない場合、コンピュータ３４０は、建設現場データベースの仕様を満たす構造部材の各々の上に視覚的インジケータを配置することによって、レイアウトフィールド１１０の画像９９７を更新する。例えば、建設現場データベースの仕様を満たす全ての構造部材の周囲が「緑色」で表示されてもよいし、若しくは緑色の「Ｘ」等の色付きの記号として表示されてもよいし、又は緑色の点が構造部材の上に配置されてもよい。他のタイプの記号が使用されてもよい。動作フローは、ステップ１７２５へと継続する。

【0165】

図２１Ｃの方法１７００は、ステップ１７０５で始まり、ここでオペレータシステムが、（例えばコンピュータ３４０及び表示デバイス３３０を介して）シェイクアウトフィールド（そこに位置付けられた任意の構造部材を含む）の表現をオペレータに表示する。例えば、この表現は、建設現場データベースの仕様に合致する構造部材の全てをオペレータに示してもよい。走査が完了した後はいつでも、クレーンのオペレータは、オペレータシステムの入力デバイス（例えばマウス、タッチスクリーンディスプレイ、又はジョイスティック）を使用して特定の構造部材を選択し、（建設現場データベース、部品表、ＢＩＭ、又は構造部材に関連する他の仕様データベースから取得された）情報を受け取ることができる。

【0166】

ステップ１７１０において、コンピュータ３４０は、シェイクアウトフィールドの表現内のオブジェクトの上に視覚的インジケータを配置してもよい。例えば、建設現場データベースの仕様を満たす構造部材を識別するために、画像９９７中の構造部材の画像上に重ねられた緑色の点が使用されてもよい。同様に、建設現場データベースの仕様を満たさない構造部材を示すために、画像９９７中の構造部材の画像上に重ねられた赤い点が使用されてもよい。

【0167】

ステップ１７１５において、コンピュータ３４０は、画像９９７中で、取り付け位置１２２に吊り上げられるべき持ち上げリストデータからの最初の又は後続する構造部材を、クレーンオペレータに視覚的に示す。例えば、コンピュータは、持ち上げリストデータ上の最初の構造部材に関連付けられた緑色の点を点滅させてもよい。クレーンオペレータは次いで、点滅している緑色の点を有する構造部材にメインフックブロックを移動させるように指示される。

【0168】

例えば、図２２を参照すると、シェイクアウトフィールド１１０のステッチ画像１０６９が、２つの構造部材１２０及び１２１を有するものとして示されている。明確さのため２つの構造部材のみが示されているが、実際にはシェイクアウトフィールド１１０は更に多くの部材を有し得る。構造部材１２０及び１２１に関連付けられているものは、視覚インジケータ１００１及び１００２であり、この例については、それぞれの構造部材１２０及び１２１が建設現場データベースの仕様に合致し、吊り上げに利用可能であることを示す、緑色の点である。明確さのため、部材１２１の構造特徴は図示されていない。追加的に、コンピュータ３４０は、緑色の点１００２を点滅させ、構造部材１２１が吊り上げられるべき次の待ち行列に入れられた建築材料オブジェクトであることの視覚的な指標を、クレーンオペレータに与える。クロスハッチングパターンは、緑色の点が点滅していることを示す。コンピュータ３４０は次いで、構造部材１２０の重心を示す重心記号１００３を（関連する「ＣＧ」印１００３ａとともに）構造部材１２１の表面の画像上に配置する。

【0169】

撮像システムがメインフックブロック上に位置付けられている場合、コンピュータ３４０はまた、撮像システムのＧＮＳＳ位置（ＩＮＳ４２２によって決定される）を使用して、十字線目標記号を画像９９７上に重ねて、メインフックブロックの現在位置を示してもよい。オペレータは次いで、十字目標記号を視覚的フィードバックとして使用して、点滅する点を有する構造部材上でメインフックブロック１３６を移動させる。シェイクアウト担当者は次いで、索具等を介して構造部材をメインフックブロック１３６に取り付ける。いくつかの実施形態においては、クレーンが正しい位置において構造部材を持ち上げることを確実にするために、構造部材の重心の視覚的表現が、オペレータ及び／又はシェイクアウト担当者に示されてもよい。

【0170】

選択された構造部材の吊り上げは、ＬＩＤＡＲによって、撮像器及び／又はＩＮＳ（加速度及びＧＮＳＳ位置を測定する）によって視覚的に、又はこのデータの組み合わせを使用して、検出されてもよい。構造部材の吊り上げを検出すると、オペレータシステムのコンピュータは、視覚的なシェイクアウトフィールドを更新し、選択された吊り上げられた構造部材をシェイクアウトフィールド画像から削除する。

【0171】

ステップ１７２０において、コンピュータ３４０は、シェイクアウトフィールド内の構造部材の初期位置から取り付け位置１２２までの、視覚的な三次元吊り上げ経路を生成する。視覚的な三次元吊り上げ経路は、クレーンオペレータが取り付け位置１２２において構造部材を配置するのを支援するため、１つ以上のオペレータシステム上に表示されてもよい。コンピュータ３４０は、構造部材のシェイクアウトフィールド１１０のＧＮＳＳ位置、取り付け位置のＧＮＳＳ位置、及び現在の鉄骨構造を使用して、吊り上げ経路を算出する。かくして、クレーンオペレータが吊り上げられた構造部材を取り付け位置に移動させると、ディスプレイが継続的かつ動的に更新されて、建設現場に対する吊り上げられた構造部材の現在位置、及び部分的に完成した構造物の取り付け位置を表示する。

【0172】

コンピュータ３４０はまた、クレーンオペレータに表示される、特に取り付け位置１２２を示す、部分的に完成した構造物１１８の動的な三次元表現を提供してもよい。動的な三次元表現は、構造部材が構造物に取り付けられたとき又は構造物から取り外されたときに、継続的に更新されてもよい。いくつかの実施形態においては、三次元表現は、建設現場データベースに記憶されたデータに基づいて生成され、部分的に完成した構造物に新たな構造部材が取り付けられるたびに更新されてもよい。他の実施形態においては、撮像システムは、（例えば走査型ＬＩＤＡＲ技術を使用して）部分的に完成した構造物を物理的に走査してもよい。これらの後者の実施形態においては、ＬＩＤＡＲ走査は、取り付けエラーが発生していないことを確実にするために、建設現場データベースと比較されてもよい。データベースは、単独で常駐していてもよいし、又は第１のコンピュータ３４０、第２のコンピュータ４４０、モバイルコンピュータ５４０、サーバシステム２２０、及び／又はクラウド２２５の間に分散させられてもよい。

【0173】

いくつかの実施形態においては、オペレータシステムは、クレーンオペレータを支援する拡張現実（ＡＲ）ソフトウェアを含む。このＡＲソフトウェアは、コンピュータにより生成された知覚情報によって強調された周囲の建設現場のデジタル画像とともに、吊り上げられるべき構造部材を表示してもよい。かくして、コンピュータ３４０は、建築材料オブジェクトの幾何学的測定値及び他の特性とともに、取り付け位置に建築材料オブジェクトを配置するための計算された経路を表示してもよい。更なる実施形態においては、オペレータシステムは、仮想現実（ＶＲ）システムを装備してもよく、これによって、クレーンオペレータ及び他の人は、シェイクアウトフィールド、建築材料オブジェクト、建物材料オブジェクトの持ち上げ経路、及び部分的に完成した構造物上の取り付け位置を含む、仮想建設現場を表示するゴーグルを提供されてもよい。

【0174】

ステップ１７２５において、クレーンオペレータが、構造部材を目的位置まで吊り上げる。構造部材が目的位置まで吊り上げられると、部分的に完成した構造物上の鉄工作業員が、構造部材を取り付け位置１２２に取り付ける。視覚的な三次元吊り上げガイド経路を生成するために使用されるデータベースは、新たに取り付けられた構造部材を反映するように更新される。オペレータシステムのＩＮＳは、構造部材がいつ構造物に取り付けられたかを決定し（建設現場データベースのＩＮＳデータからの取り付け位置の既知のＧＮＳＳ位置の比較から）、建設現場データベース（又は他のデータベース）を更新するために使用されてもよい。いくつかの実施形態においては、コンピュータ３４０が、新たに取り付けられた構造部材の位置を考慮に入れて、取り付け位置１２２からシェイクアウトフィールド１１０に戻る視覚的な三次元ガイド戻り経路を生成する。クレーンオペレータは、メインフックブロック１３６をシェイクアウトフィールド１１０に戻す。コンピュータ３４０は、メインフックブロックのＧＮＳＳ位置及びシェイクアウトフィールド１１０のＧＮＳＳ位置を使用して、メインフックブロックがシェイクアウトフィールド１１０の上にいつ来るかを決定する。いくつかの実施形態においては、人間のクレーンオペレータが、完全に不要にされ得る。例えば、吊り上げ経路及び戻り経路が算出されると、人間の介入なしにクレーンを制御するために、それらの経路が使用され得る。かくして、本発明のいくつかの実施形態は、人間の介入なしに全てのクレーン操作が完了させられる、完全に自律型のクレーンシステムを提供する。

【0175】

ステップ１７３０において、コンピュータ３４０は、吊り上げられる必要がある持ち上げリストデータ中に列記されている追加的な構造部材があるか否かを決定する。追加的な構造部材がない場合、動作フローはステップ１７３５において終了する。持ち上げリストデータ中に列記されている追加的な構造部材がある場合、動作フローはステップ１７１５に戻る。方法１７００は、持ち上げリストデータ中に列記されている全ての構造部材が構造物に取り付けられるまで、以上に説明されたように継続する。

【0176】

図２３は、ＢＩＭデータベース２００１、ＩＦＣ（Ｉｎｄｕｓｔｒｙ Ｆｏｕｎｄａｔｉｏｎ Ｃｌａｓｓｅｓ）ファイル２００２、及びＧＮＳＳ位置算出器２００３の間の関係を示す。通常、ＢＩＭは、プロジェクト基準点及びプロジェクト座標系を定義し、これらは、建物又は他の構造物の建設のための座標系を定義し、通常はカーテシアンベースの座標系である。

【0177】

通常、構造物及び（構造部材等の）建築材料オブジェクトの幾何学的形状は、カーテシアンベースのプロジェクト座標系に参照され得る構造部材の全ての取り付け位置及び寸法を含む、ＢＩＭデータ中に明確に定義される。ＧＮＳＳ位置算出器２００３は、ＩＦＣファイルから（又はＢＩＭデータから若しくは他のデータ源から）の測地マーカデータ及びプロジェクト基準点を入力し、全ての取り付けられた構造部材及び他の建築材料オブジェクトのＧＮＳＳ位置を算出する。このＧＮＳＳ位置情報は次いで、吊り上げ経路の算出によって使用されるＧＮＳＳ座標での目的位置を決定するために使用される。追加的に、本発明は、建築材料オブジェクトの吊り上げを介して建物の建設の完全な記録を提供する。

【0178】

以上、本発明の１つ以上の実施形態について詳細に説明されたが、本発明の趣旨及び範囲から逸脱することなく、本明細書の開示に従って、開示された実施形態に対する多くの変更がなされ得ることは、理解されよう。それゆえ、以上の説明は、本発明の範囲を限定することを意図されたものではない。あくまで、本発明の範囲は、添付される特許請求の範囲及びその均等物によってのみ決定されるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図21C】

【図22】

【図23】

【国際調査報告】