特許 7582987 ガット船の投入管理システムおよび投入管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】ガット船の投入管理システムおよび投入管理方法

(51)【国際特許分類】

   E02D 15/10 20060101AFI20241106BHJP

   B66C 13/48 20060101ALI20241106BHJP

   B66C 13/16 20060101ALI20241106BHJP

【ＦＩ】

E02D15/10

B66C13/48 C

B66C13/16 Z

【請求項の数】 6

(21)【出願番号】P 2022024572

(22)【出願日】2022-02-21

(65)【公開番号】P2023121309

(43)【公開日】2023-08-31

【審査請求日】2023-09-27

【新規性喪失の例外の表示】特許法第３０条第２項適用 東亜建設工業株式会社のホームページ（プレスリリース：人工知能（ＡＩ）画像認識技術を利用して海上土木工事の作業位置履歴の記録業務を効率化する「無線式ガット船施工支援システム」の機能拡充）、掲載アドレス（ｈｔｔｐｓ：／／ｗｗｗ．ｔｏａ－ｃｏｎｓｔ．ｃｏ．ｊｐ／ｃｏｍｐａｎｙ／ｒｅｌｅａｓｅ／２０２１／２１１１１８．ｈｔｍｌ）、掲載日２０２１年１１月１８日

(73)【特許権者】

【識別番号】000219406

【氏名又は名称】東亜建設工業株式会社

(74)【代理人】

【識別番号】110001368

【氏名又は名称】清流国際弁理士法人

(74)【代理人】

【識別番号】100129252

【弁理士】

【氏名又は名称】昼間 孝良

(74)【代理人】

【識別番号】100155033

【弁理士】

【氏名又は名称】境澤 正夫

(72)【発明者】

【氏名】田中 孝行

(72)【発明者】

【氏名】藤山 映

(72)【発明者】

【氏名】那須野 陽平

(72)【発明者】

【氏名】宮本 憲都

【審査官】柿原 巧弥

(56)【参考文献】

【文献】特開２０１７－０６６６４２（ＪＰ，Ａ）

【文献】特開２０２１－１４７１９６（ＪＰ，Ａ）

【文献】特開２０１４－１７２７５４（ＪＰ，Ａ）

【文献】特開２０１０－２６１２２８（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０１９８６８５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／４８

Ｂ６６Ｃ １３／１６

Ｅ０２Ｂ ３／１８

Ｅ０２Ｄ １５／１０

(57)【特許請求の範囲】

【請求項1】

ガット船に搭載されたクレーンのグラブバケットを用いて施工水域に投入対象物を投入する作業の投入履歴を管理するガット船の投入管理システムにおいて、
前記施工水域の水上の画像データを逐次取得するカメラ装置と、前記クレーンのグラブバケットの平面位置情報を逐次取得する位置情報取得手段と、前記水上の画像データと前記平面位置情報が逐次入力される演算装置と、前記演算装置に接続されたモニタとを備えて、
前記演算装置は、グラブバケットが閉じた状態の画像データとグラブバケットが開いた状態の画像データとを教師データとして機械学習されたグラブバケットの開閉状態を判別する予測モデルが記憶されている記憶部と、前記予測モデルと前記水上の画像データとに基づいて前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたか否かを逐次判定する判定部と、前記判定部が前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたと判定した場合にその前記投入対象物が投入された時点の前記クレーンのグラブバケットの前記平面位置情報を投入履歴情報として記録する記録部と、前記記録部に記録された前記投入履歴情報を前記モニタに表示させる表示部とを有することを特徴とするガット船の投入管理システム。

【請求項2】

前記記録部は、前記施工水域を予め設定した複数の区画に区分けして、前記区画毎の前記クレーンのグラブバケットによる前記投入対象物の投入回数を前記投入履歴情報として記録し、前記表示部は、前記モニタに前記区画毎の前記投入回数を示す情報を表示させる請求項１に記載のガット船の投入管理システム。

【請求項3】

前記表示部は前記モニタに、それぞれの前記区画を区分する境界線と前記区画毎の前記投入回数を示す情報を前記水上の画像データに重ね合わせて表示させる請求項２に記載のガット船の投入管理システム。

【請求項4】

前記判定部による判定対象範囲を前記水上の画像データの任意の範囲に設定可能な構成である請求項１～３のいずれかに記載のガット船の投入管理システム。

【請求項5】

前記モニタに表示される前記水上の画像データ上で前記判定対象範囲を設定可能な構成である請求項４に記載のガット船の投入管理システム。

【請求項6】

ガット船に搭載されたクレーンのグラブバケットを用いて施工水域に投入対象物を投入する作業の投入履歴を管理するガット船の投入管理方法において、
カメラ装置により前記施工水域の水上の画像データを逐次取得するとともに、位置情報取得手段により前記クレーンのグラブバケットの平面位置情報を逐次取得し、前記水上の画像データと前記平面位置情報とを演算装置に逐次入力して、
前記演算装置には、グラブバケットが閉じた状態の画像データとグラブバケットが開いた状態の画像データとが教師データとして機械学習されたグラブバケットの開閉状態を判別する予測モデルを予め記憶させておき、前記演算装置を用いて、前記予測モデルと前記水上の画像データとに基づいて前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたか否かを逐次判定し、前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたと判定した場合には、その前記投入対象物が投入された時点の前記クレーンのグラブバケットの前記平面位置情報を投入履歴情報として記録し、その記録した前記投入履歴情報をモニタに表示させることを特徴とするガット船の投入管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ガット船の投入管理システムおよび投入管理方法に関し、さらに詳しくは、ガット船に搭載されたクレーンのグラブバケットによる投入対象物の投入履歴を管理するに際して、利用するガット船の仕様に拘わらず、簡便に適用できるガット船の投入管理システムおよび投入管理方法に関するものである。

【背景技術】

【0002】

ガット船に積載した捨石などの投入対象物をガット船に搭載されたクレーンのグラブバケットを用いて施工水域に投入する工事が行われている。従来では、クレーンのグラブバケットによる投入対象物の投入位置と投入回数を管理者が目視で確認して投入履歴として記録していた。そのため、グラブバケットによる投入作業を監視する管理者を設ける必要があり、投入履歴の記録に多くの労力を要していた。また、管理者による目視確認では見落としなどの人為的なミスが生じる懸念があった。

【0003】

そこで、ガット船のクレーンによる投入履歴を機械的に記録する投入管理システムが提案されている（例えば、特許文献１参照）。特許文献１に記載の投入管理システムでは、グラブバケットにより中詰砂が投入されたか否かを判定するために、グラブバケットの実際の開閉やグラブ開閉ワイヤの送り出しを検知するグラブ開閉センサを、グラブバケットに設置している。しかしながら、捨石などの投入工事を行う施工業者は自社ではなくレンタル会社が所有するガット船を利用する場合が多く、施工で使用するガット船が備えているクレーンのグラブバケットの仕様（開閉する仕組みや構造など）を予め把握できない場合がある。それ故、グラブバケットにグラブ開閉センサを設置する方法では、その都度使用するガット船のグラブバケットの仕様に合わせてセンサを固定する位置やセンサの感度などを調整する必要があり、センサのセッティング作業に多くの手間と時間を要する。また、グラブバケットを船倉に積載した投入対象物に着床させる際やグラブバケットの開閉を行う際には、グラブバケットは激しく振動する。そのため、グラブバケットに設置したセンサは故障や誤作動し易いという問題もある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－０４０４７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、ガット船に搭載されたクレーンのグラブバケットによる投入対象物の投入履歴を管理するに際して、利用するガット船の仕様に拘わらず、簡便に適用できるガット船の投入管理システムおよび投入管理方法を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明のガット船の投入管理システムは、ガット船に搭載されたクレーンのグラブバケットを用いて施工水域に投入対象物を投入する作業の投入履歴を管理するガット船の投入管理システムにおいて、前記施工水域の水上の画像データを逐次取得するカメラ装置と、前記クレーンのグラブバケットの平面位置情報を逐次取得する位置情報取得手段と、前記水上の画像データと前記平面位置情報が逐次入力される演算装置と、前記演算装置に接続されたモニタとを備えて、前記演算装置は、グラブバケットが閉じた状態の画像データとグラブバケットが開いた状態の画像データとを教師データとして機械学習されたグラブバケットの開閉状態を判別する予測モデルが記憶されている記憶部と、前記予測モデルと前記水上の画像データとに基づいて前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたか否かを逐次判定する判定部と、前記判定部が前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたと判定した場合にその前記投入対象物が投入された時点の前記クレーンのグラブバケットの前記平面位置情報を投入履歴情報として記録する記録部と、前記記録部に記録された前記投入履歴情報を前記モニタに表示させる表示部とを有することを特徴とする。

【0007】

本発明のガット船の投入管理方法は、ガット船に搭載されたクレーンのグラブバケットを用いて施工水域に投入対象物を投入する作業の投入履歴を管理するガット船の投入管理方法において、カメラ装置により前記施工水域の水上の画像データを逐次取得するとともに、位置情報取得手段により前記クレーンのグラブバケットの平面位置情報を逐次取得し、前記水上の画像データと前記平面位置情報とを演算装置に逐次入力して、前記演算装置には、グラブバケットが閉じた状態の画像データとグラブバケットが開いた状態の画像データとが教師データとして機械学習されたグラブバケットの開閉状態を判別する予測モデルを予め記憶させておき、前記演算装置を用いて、前記予測モデルと前記水上の画像データとに基づいて前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたか否かを逐次判定し、前記クレーンのグラブバケットにより前記投入対象物が前記施工水域に投入されたと判定した場合には、その前記投入対象物が投入された時点の前記クレーンのグラブバケットの前記平面位置情報を投入履歴情報として記録し、その記録した前記投入履歴情報をモニタに表示させることを特徴とする。

【発明の効果】

【0008】

本発明によれば、グラブバケットが閉じた状態と開いた状態のそれぞれの画像データが教師データとして機械学習されたグラブバケットの開閉状態を判別する予測モデルと、カメラ装置によって逐次取得された施工水域の水上の画像データとを利用して、演算装置によりクレーンのグラブバケットにより投入対象物が施工水域に投入されたか否かを逐次判定する。カメラ装置の設置位置は、施工水域の水上の画像データを取得できる位置であれば特に限定されない。それ故、クレーンのグラブバケットにセンサを設置しなくとも、グラブバケットにより投入対象物が投入された時点の平面位置情報を投入履歴情報として記録して、その投入履歴情報をモニタに表示することが可能になる。これにより、ガット船に搭載されたクレーンのグラブバケットによる投入対象物の投入履歴を管理するに際して、利用するガット船（グラブバケット）の仕様に拘わらず、簡便に適用することが可能になる。

【図面の簡単な説明】

【0009】

【図1】本発明のガット船の投入管理システムを搭載したガット船を側面視で例示する説明図である。

【図2】図１の投入管理システムの構成を模式的に例示する説明図である。

【図3】図１のモニタに表示される画像を例示する説明図である。

【図4】図１のモニタに表示される別の画像を例示する説明図である。

【図5】図１のモニタに表示されるさらに別の画像を例示する説明図である。

【図6】本発明のガット船の投入管理システムの別の実施形態の構成を模式的に例示する説明図である。

【図7】図６のモニタに表示される画像を例示する説明図である。

【図8】図６のモニタに表示される別の画像を例示する説明図である。

【発明を実施するための形態】

【0010】

以下、本発明のガット船の投入管理システムおよび投入管理方法を図に示した実施形態に基づいて説明する。

【0011】

図１に例示する本発明の投入管理システム１は、ガット船２０に搭載されたクレーン２２のグラブバケット２５を用いて投入対象物３０（例えば、捨石や中詰砂など）を施工水域に投入する作業の投入履歴を管理する。ガット船２０は投入対象物３０を積載する船倉２１を備えていて、甲板上にグラブバケット２５を備えたクレーン２２が搭載されている。

【0012】

図１および図２に例示するように、投入管理システム１は、カメラ装置２、位置情報取得手段３、演算装置４およびモニタ５ａ、５ｂを備えている。この実施形態の投入管理システム１は、さらに、中継器６と演算装置４に対する入力手段７を備えている。

【0013】

カメラ装置２には例えば、デジタルカメラ等が使用される。図３および図４に例示するように、カメラ装置２は、クレーン２２のグラブバケット２５による投入対象物３０の投入作業が行われる施工水域の水上の画像データＷＤを逐次取得する。この実施形態では、ガット船２０の船橋２６の上にカメラ装置２を設置し、カメラ装置２の撮影方向をガット船２０の船体側方の施工水域を撮影する向きに設定している。図３はグラブバケット２５が閉じた状態であるときの水上の画像データＷＤを例示し、図４はグラブバケット２５が開いて投入対象物３０が施工水域に投入されたときの水上の画像データＷＤを例示している。カメラ装置２が取得した水上の画像データＷＤは、演算装置４に逐次入力される。

【0014】

カメラ装置２の設置位置は、施工水域の水上の画像データＷＤを取得できる位置であれば特に限定されない。カメラ装置２はガット船２０に限らず、ガット船２０以外の別の場所（例えば、他船や防波堤、岸壁、水上構造物など）に設置することもできる。また、カメラ装置２の設置台数や設置位置などは、ガット船２０の構造やカメラ装置２の画角等に応じて適宜決定できる。ガット船２０の構造体や積載物などにより１台のカメラ装置２で撮影できない死角が生じる場合には、カメラ装置２を複数箇所に設置して、複数方向から施工水域の水上の画像データＷＤを取得することもできる。

【0015】

施工水域が暗い夜間や天候不良時などには、照明機を使用してカメラ装置２による撮影を行うこともできる。カメラ装置２として例えば、暗所でも撮影可能な赤外線暗視カメラや低照度カメラ（高感度カメラ）等を採用することもできる。低照度カメラ（高感度カメラ）は、暗所においても撮影可能なワイドダイナミックレンジ機能（ＷＤＲ機能）等の画像処理機能を搭載し、施工水域の照度が０．００５Ｌｕｘ程度の低照度においても撮影可能である。

【0016】

位置情報取得手段３は、クレーン２２のグラブバケット２５の平面位置情報（平面視での２次元位置座標情報）を逐次取得する。位置情報取得手段３としては、全地球測位システムから平面位置情報を受信するＧＮＳＳ受信装置などが例示できる。この実施形態では、クレーン２２のブーム２３の先端部２３ａに、位置情報取得手段３としてＧＮＳＳ受信装置を設置している。グラブバケット２５は吊ワイヤ２４によってブーム２３の先端部２３ａの下方に吊り下げられているので、ブーム２３の先端部２３ａの平面位置情報を取得することで、グラブバケット２５の平面位置情報を取得できる。

【0017】

この実施形態では、位置情報取得手段３（ＧＮＳＳ受信装置）が受信した平面位置情報は、船橋２６の上に設置された中継器６に無線で逐次送信され、中継器６が受信した平面位置情報は船橋２６の操船室に設置された演算装置４に無線で逐次送信される構成になっている。中継器６の設置位置は特に限定されず、他の場所に配置することもできる。中継器６は任意で設けることができ、例えば、中継器６を設けずに位置情報取得手段３（ＧＮＳＳ受信装置）が取得した平面位置情報を演算装置４に直接入力する構成にすることもできる。位置情報取得手段３は、グラブバケット２５の平面位置情報を取得できる構成であれば、この実施形態に限定されず他にも様々な構成にすることができる。

【0018】

演算装置４には、コンピュータ等を用いる。この実施形態では、船橋２６の室内に管理者用のモニタ５ａを配置し、クレーン２２の運転室２２ａにオペレーター用のモニタ５ｂを配置している。オペレーター用のモニタ５ｂは任意で設けることができる。入力手段７としては、マウスやキーボード、モニタ５ａに設けられたタッチパネル機能等が例示できる。演算装置４、モニタ５ａおよび入力手段７は、例えば、ノート型のパーソナルコンピュータや多機能携帯端末（タブレット等）などで構成することもできる。

【0019】

図２に例示するように、演算装置４には、カメラ装置２、モニタ５ａ、５ｂおよび入力手段７がそれぞれ通信可能に接続されている。位置情報取得手段３は、中継器６を介して演算装置４に通信可能に接続されている。演算装置４には、カメラ装置２によって取得された水上の画像データＷＤと、位置情報取得手段３によって取得されたグラブバケット２５の平面位置情報とがそれぞれ逐次入力される。演算装置４の設置位置は特に限定されない。

【0020】

演算装置４は、機能要素として記憶部４ａ、判定部４ｂ、記録部４ｃおよび表示部４ｄを有している。この実施形態の演算装置４はさらに、機能要素として対象範囲設定部４ｅを有している。記憶部４ａには、グラブバケット２５が閉じた状態の画像データとグラブバケット２５が開いた状態の画像データとを教師データとして機械学習されたグラブバケット２５の開閉状態を判別する予測モデル（コンピュータプログラム）が記憶されている。

【0021】

記憶部４ａには、教師データとして閉じた状態のグラブバケット２５と開いた状態のグラブバケット２５をそれぞれ様々な角度から撮影した多数の画像データが記憶されている。記憶部４ａに記憶させるグラブバケット２５の画像データは、投入履歴の管理を行うクレーン２２のグラブバケット２５を撮影した画像データに限らず、別のグラブバケット２５の画像データであってもよい。

【0022】

ガット船２０によって捨石などの投入工事を行う施工業者は自社ではなくレンタル会社が所有するガット船２０を利用する場合が多い。そのため、ガット船２０の仕様やガット船２０のクレーン２２が備えているグラブバケット２５の仕様（種類やサイズ等）を予め把握できない場合がある。投入作業で使用するグラブバケット２５は主に、多数の爪を有するオレンジピール型と、左右一対のシェルを有するクラムシェル型とに分類できるが、爪やシェルの形状は多岐にわたる。そのため、使用するグラブバケット２５の仕様を事前に把握していない場合には、記憶部４ａには予め様々な仕様のグラブバケット２５の画像データを記憶させておくことが好ましい。グラブバケット２５の画像データは、オレンジピール型やクラムシェル型などの種類毎にカテゴリー分けして記憶させておくこともできる。

【0023】

グラブバケット２５が閉じた状態と開いた状態とでは、グラブバケット２５の爪やシェルの向き、爪どうしやシェルどうしの相対的な位置関係等が異なる。それ故、閉じた状態のグラブバケット２５の画像データと開いた状態のグラブバケット２５の画像データとを教師データとして用いて、グラブバケット２５が閉じている状態と開いている状態との相違点を人工知能（ＡＩ）に機械学習させることで、グラブバケット２５の開閉状態を判別する予測モデルを生成することが可能である。記憶部４ａによる機械学習の手法としては、例えば、ディープラーニングや、ニューラルネットワーク、回帰、クラスタリング、パターンマッチングなどが例示できる。記憶部４ａには、例えば、グラブバケット２５のオレンジピール型やクラムシェル型などの種類毎に別々の予測モデルを生成して記憶させておくこともできる。

【0024】

判定部４ｂは、記憶部４ａに予め記憶されている前述した予測モデルと、カメラ装置２から入力された施工水域の水上の画像データＷＤとに基づいて、グラブバケット２５により投入対象物３０が施工水域に投入されたか否かを逐次判定する。より詳しくは、判定部４ｂは、予測モデルにより、施工水域の水上に位置するグラブバケット２５が閉じた状態から開いた状態に変わったことを検出したときに、グラブバケット２５により投入対象物３０が施工水域に投入されたと判定する。判定部４ｂは、グラブバケット２５が開いた状態から閉じた状態に変わったときには、グラブバケット２５により投入対象物３０が施工水域に投入されたとは判定しない。

【0025】

記録部４ｃは、判定部４ｂがグラブバケット２５により投入対象物３０が施工水域に投入されたと判定した場合にその投入対象物３０が投入された時点のグラブバケット２５の平面位置情報を投入履歴情報として記録する。より具体的には、図５に例示するように、記録部４ｃは、例えば、施工水域を予め設定した複数の区画Ｓに区分けして、区画Ｓ毎のグラブバケット２５による投入対象物３０の投入回数を投入履歴情報として記録する。この実施形態では、施工水域を平面視で格子状に複数の区画Ｓに区分けして、それぞれの区画Ｓの投入回数を投入履歴情報として記録している。施工水域の区分けの仕方や区画Ｓの数などは、入力手段７により、施工水域の広さや要求される施工精度などに応じて予め所望の条件に設定できる構成になっている。

【0026】

表示部４ｄは、図５に例示するように、記録部４ｃに記録された投入履歴情報をモニタ５ａ、５ｂに表示させる。この実施形態では、モニタ５ａ、５ｂに投入履歴情報として、平面視で区画Ｓ毎の投入回数を表記した平面視データＰＤが表示される構成になっている。モニタ５ａ、５ｂには、さらに、カメラ装置２によって取得された施工水域の水上の画像データＷＤもリアルタイムで表示される構成になっている。

【0027】

対象範囲設定部４ｅは、カメラ装置２が取得する施工水域の水上の画像データＷＤにおける判定部４ｂによる判定対象範囲Ｊを設定する。この実施形態では、判定部４ｂによる判定対象範囲Ｊをカメラ装置２が取得した水上の画像データＷＤの任意の範囲に設定可能な構成になっている。図３および図４に例示するように、この実施形態では、モニタ５ａに表示される水上の画像データＷＤ上で判定部４ｂによる判定対象範囲Ｊを設定可能な構成になっている。図３および図４では、判定対象範囲Ｊを示す外枠を一点鎖線で示している。

【0028】

次に、この投入管理システム１を用いたガット船２０の投入管理方法を説明する。

【0029】

ガット船２０に投入管理システム１をセッティングする作業では、カメラ装置２を、投入対象物３０の投入対象となる施工水域の水上を撮影可能な位置に設置する。カメラ装置２はガット船２０に設置してもよいし、ガット船２０以外の別の場所（例えば、他船や防波堤、岸壁、水上構造物など）に設置してもよい。さらに、位置情報取得手段３（ＧＮＳＳ受信装置）をクレーン２２のブーム２３の先端部２３ａに設置し、中継器６をガット船２０の所定位置に設置する。演算装置４、モニタ５ａおよび入力手段７は、管理者が投入作業の管理を行う船橋２６の室内などに配置する。また、クレーン２２の運転室２２ａにモニタ５ｂを配置する。

【0030】

管理者は入力手段７を用いて演算装置４（記憶部４ａ、判定部４ｂ、記録部４ｃ）に対して、施工水域の区画Ｓの区分けの設定と、判定対象とするグラブバケット２５の種類の設定を行う。施工水域の区分けの仕方や区画Ｓの数、各区画Ｓの広さや形状などは、入力手段７を用いてモニタ５ａの画面上で適宜設定することができる。

【0031】

グラブバケット２５の種類の設定画面では、例えば、モニタ５ａにグラブバケット２５の種類を示すオレンジピール型やクラムシェル型などの選択肢が表示され、管理者は入力手段７を用いてその選択肢の中から判定対象とするグラブバケット２５の種類を選択して設定する。判定部４ｂは、予め記憶されている予測モデルの中から、設定された種類のグラブバケット２５に対応する予測モデルを選択して判定に用いる。判定対象とするグラブバケット２５の種類は、判定部４ｂがカメラ装置２から入力された施工水域の水上の画像データＷＤと教師データとして予め記憶されている様々なグラブバケット２５の画像データとに基づいて、水上の画像データＷＤに写るグラブバケット２５の種類を機械的に識別し、判定部４ｂがその識別したグラブバケット２５の種類に対応する予測モデルを自動的に選択して使用する構成にすることもできる。

【0032】

なお、グラブバケット２５の種類を区別することなく機械学習により予測モデルを生成しておき、判定部４ｂに対して判定対象とするグラブバケット２５の種類の選定を行わずに、常に同じ予測モデルを使用する構成にすることもできる。

【0033】

管理者は、さらに、入力手段７を用いて演算装置４（対象範囲設定部４ｅ）に対して、水上の画像データＷＤにおける判定部４ｂによる判定対象範囲Ｊを設定する。判定対象範囲Ｊは、投入対象物３０を投入する施工水域の全範囲または一部の範囲に設定する。投入対象物３０を投入しない範囲、具体的には例えば、ガット船２０の船上や施工水域外の水域、陸上などは判定対象範囲Ｊに含めずに判定対象外とする。

【0034】

図３および図４に例示するように、この実施形態では、カメラ装置２によって取得された施工水域の水上の画像データＷＤがモニタ５ａに表示され、モニタ５ａに表示される水上の画像データＷＤ上で判定部４ｂによる判定対象範囲Ｊを設定できる構成になっている。より具体的には、入力手段７を用いて、水上の画像データＷＤ上に重ねて表示される判定対象範囲Ｊを示す外枠の位置や広さを変更することで、判定対象範囲Ｊを水上の画像データＷＤ上の所望の範囲に設定できる構成になっている。以上により、投入管理システム１のセッティング作業が完了する。

【0035】

クレーン２２のグラブバケット２５による投入対象物３０の投入作業を開始し、その投入履歴の管理を行う際には、カメラ装置２により、施工水域の水上の画像データＷＤを逐次取得するとともに、位置情報取得手段３によりクレーン２２のグラブバケット２５の平面位置情報を逐次取得する。そして、取得した水上の画像データＷＤと平面位置情報を演算装置４にそれぞれ逐次入力する。

【0036】

そして、演算装置４を用いて、記憶部４ａに予め記憶されているグラブバケット２５の開閉状態を判別する予測モデルと、カメラ装置２から入力された水上の画像データＷＤとに基づいて、クレーン２２のグラブバケット２５により投入対象物３０が施工水域に投入されたか否かを逐次判定する。そして、判定部４ｂによりクレーン２２のグラブバケット２５により投入対象物３０が施工水域に投入されたと判定した場合には、記録部４ｃにより、その投入対象物３０が投入された時点のクレーン２２のグラブバケット２５の平面位置情報を投入履歴情報として記録する。そして、表示部４ｄにより、その記録した投入履歴情報をモニタ５ａ、５ｂに表示させる。

【0037】

図３および図４に例示するように、モニタ５ａ、５ｂには、カメラ装置２によって取得された施工水域の水上の画像データＷＤが逐次表示される。また、図５に例示するように、モニタ５ａ、５ｂには記録部４ｃに記録された投入履歴情報が表示される。この実施形態では、モニタ５ａ、５ｂに投入履歴情報として、施工水域を平面視で示す平面視データＰＤ（グリット図）が表示され、平面視データＰＤには区画Ｓを区分する境界線Ｌと区画Ｓ毎の投入回数を示す情報が表示される構成になっている。図５では、区画Ｓ毎の投入回数を示す情報として数字を表示する場合を例示しているが、区画Ｓ毎の投入回数を示す情報として、例えば、投入回数毎に異なる色や模様で識別できる構成にすることもできる。

【0038】

図５に例示する投入履歴情報は、施工水域の水上の画像データＷＤ上に重ねて表示させることもできるし、水上の画像データＷＤに重ねずに別の位置に表示させることもできる。管理者はモニタ５ａに表示される施工水域の水上の画像データＷＤと投入履歴情報を確認することで、投入作業の施工状況と投入履歴を管理する。

【0039】

この実施形態では、さらに、表示部４ｄにより、モニタ５ａ（５ｂ）に表示される水上の画像データＷＤに重ね合わせて判定部４ｂによるグラブバケット２５の開閉状態の判定結果が逐次表示される構成になっている。具体的には、施工水域の水上の画像データＷＤにおいて判定部４ｂがグラブバケット２５として検知している範囲を示す枠と、グラブバケット２５が閉じた状態（ＣＬＯＳＥ）であるか開いた状態（ＯＰＥＮ）であるかの識別結果を示す開閉識別表示ＩＤが、水上の画像データＷＤに重ね合わせて表示される構成になっている。管理者はモニタ５ａに表示される開閉識別表示ＩＤを確認することで、判定部４ｂの判定が正常に行われているか否かをチェックすることができる。

【0040】

このように、この投入管理システム１では、予め機械学習によって生成したグラブバケット２５の画像データからグラブバケット２５の開閉状態を判別する予測モデルと、カメラ装置２によって取得した施工水域の水上の画像データＷＤとを利用することで、クレーン２２のグラブバケット２５にセンサを設置しなくとも、グラブバケット２５により投入対象物３０が施工水域に投入されたか否かを精度よく判定することが可能になる。そして、グラブバケット２５により投入対象物３０が投入された時点の平面位置情報を投入履歴情報として記録して、その投入履歴情報をモニタ５ａに表示させることで、管理者はガット船２０のクレーン２２のグラブバケット２５による投入対象物３０の投入履歴を簡易に管理することが可能になる。投入管理システム１によってグラブバケット２５による投入対象物３０の投入履歴を機械的に記録できるので、管理者が目視確認で記録する場合に比して管理者の労力を大幅に軽減できる。

【0041】

さらに、投入工事を行う施工業者は自社ではなくレンタル会社が所有するガット船を利用する場合が多いが、この投入管理システム１では、ガット船２０（グラブバケット２５）の仕様に拘わらず、簡便に適用することが可能である。即ち、グラブバケット２５にグラブ開閉センサを設置する従来方法では、ガット船２０（グラブバケット２５）の仕様に合わせてその都度センサを固定する位置やセンサの感度などを調整する必要があるが、この投入管理システム１ではそのような手間や時間のかかるセッティング作業を行う必要がない。それ故、施工前のセッティング作業をより簡易に短時間で完了することができ、セッティング作業に要する労力も大幅に軽減できる。クレーン２２による投入作業をより速やかに開始できるので、投入工事の工期短縮を図るにも有利になる。

【0042】

さらに、この投入管理システム１では、グラブバケット２５にセンサを設置する必要は無く、投入管理システム１を構成する各機器（カメラ装置２など）は振動の少ない位置に簡易に設置できる。それ故、投入管理システム１を構成する各機器が故障や誤作動するリスクも低い。それ故、この投入管理システム１は施工業者にとって非常に有用である。

【0043】

この実施形態のように、記録部４ｃが施工水域を予め設定した複数の区画Ｓに区分けして、区画Ｓ毎のクレーン２２のグラブバケット２５による投入対象物３０の投入回数を投入履歴情報として記録し、表示部４ｄがモニタ５ａ（５ｂ）に区画Ｓ毎の投入回数を示す情報を表示させる構成にすると、投入対象物３０が投入された位置と投入回数を非常に把握し易くなる。

【0044】

モニタ５ａに記録部４ｃが記録した投入履歴情報とともに、カメラ装置２が取得した施工水域の水上の画像データＷＤを表示させる構成にすると、管理者はモニタ５ａを見るだけで、投入作業の投入履歴情報とともに投入作業の施工状況をリアルタイムで把握することが可能になる。それ故、投入作業の管理に要する管理者の負担を軽減するにはより有利になる。

【0045】

クレーン２２の運転室２２ａに配置したモニタ５ｂに管理者用のモニタ５ａと同様に、記録部４ｃが記録した投入履歴情報を表示させる構成にすると、管理者とともにクレーン２２のオペレーターが投入履歴情報を共有して把握することが可能になるので、投入工事をより円滑に行い易くなる。

【0046】

判定部４ｂによる判定対象範囲Ｊを水上の画像データＤＷの任意の範囲に設定可能な構成にすると、カメラ装置２が取得した水上の画像データＤＷに施工水域ではないガット船２０の船上などが写り込んでいる場合にも、判定部４ｂによる判定対象範囲Ｊを施工水域に限定し、施工水域に該当しないその他の範囲を判定部４ｂによる判定を行わない判定対象外に設定することが可能になる。これにより、グラブバケット２５により船倉２１に積載された投入対象物３０を掴み上げる際のグラブバケット２５の開閉動作などを、施工水域に投入対象物３０を投入する作業として誤って記録するリスクをより低くできる。また、カメラ装置２のセッティング時に撮影方向や画角を細かく調整せずとも、判定対象範囲Ｊの設定を行うだけで、投入履歴として記録する範囲を簡易に短時間で設定することが可能になる。それ故、投入管理システム１のセッティング作業に要する時間や労力を低減するにはより有利になる。

【0047】

さらに、この実施形態のように、モニタ５ａに表示される水上の画像データＤＷ上で判定対象範囲Ｊを設定可能な構成にすると、水上の画像データＤＷ上でより直感的に判定対象範囲Ｊを設定することが可能になるので、判定対象範囲Ｊの設定作業をより行い易くなる。また、水上の画像データＤＷに対して直接的に判定対象範囲Ｊを設定することで、水上の画像データＤＷにおいてグラブバケット２５が判定対象範囲Ｊ内に位置しているか否かを識別するコンピュータプログラムを比較的簡素に構成できる。

【0048】

なお、判定対象範囲Ｊの設定方法は前述した方法に限定されず、例えば、ガット船２０とその周辺水域を平面視で例示する平面座標図上で判定対象範囲Ｊを設定する構成にすることもできる。この場合には、例えば、判定部４ｂは、カメラ装置２の設置位置および撮影方向に基づいて、平面座標図上で設定された判定対象範囲Ｊに対応する水上の画像データＷＤ上の範囲を判定対象範囲Ｊとして判定を行う。また、例えば、判定部４ｂは、位置情報取得手段３により取得したグラブバケット２５の平面位置情報が、平面座標図上で設定された判定対象範囲Ｊ内の座標上にあるときにだけ判定を行う構成にする。

【0049】

投入管理システム１は、例えば、図６に例示するような構成にすることもできる。この実施形態では、先に例示した実施形態の投入管理システム１に加えて、さらに、ＡＲ表示用カメラ装置８と方位計９を備えている。その他の構成は先に例示した実施形態の投入管理システム１と同じである。

【0050】

ＡＲ表示用カメラ装置８は、カメラ装置２の近傍に、カメラ装置２と同じ撮影方向で設置されて、施工水域の水上の画像データを逐次取得する。方位計９はガット船２０に設置されて、ガット船２０の平面位置情報と船首方位情報を逐次取得する。ＡＲ表示用カメラ装置８と方位計９はそれぞれ演算装置４（表示部４ｄ）に通信可能に接続されている。ＡＲ表示用カメラ装置８によって取得された施工水域の水上の画像データと、方位計９によって取得されたガット船２０の平面位置情報および船首方位情報は逐次演算装置４に入力される。

【0051】

この実施形態では、図７および図８に例示するように、演算装置４の表示部４ｄが、ＡＲ表示用カメラ装置８から入力された施工水域の水上の画像データと、方位計９から入力されたガット船２０の位置情報および船首方位情報とに基づいて、モニタ５ａに、それぞれの区画Ｓを区分する境界線Ｌと区画Ｓ毎の投入回数を示す情報とを、水上の画像データＤＷに重ね合わせて表示させる構成にしている。この実施形態では、区画Ｓ毎の投入回数を模様（ハッチング）で識別できる構成にしているが、投入回数を区画Ｓに付された色の違いや色の濃淡、数字などで識別できる構成にすることもできる。

【0052】

モニタ５ａ、５ｂにこのような拡張現実映像を表示させる構成にすると、実際の施工状況が写る映像上で、投入履歴情報をより直感的に把握できるので、投入工事の管理やオペレーターへの作業指示をより行い易くなり、投入工事の施工効率を向上させるにはより一層有利になる。

【0053】

この実施形態ではさらに、施工水域の水上の画像データＷＤに重ね合わせて、グラブバケット２５を開いた場合に投入対象物３０が落下する水面位置に落下予測位置表示ＦＰを表示する構成になっている。図７および図８では、落下予測位置表示ＦＰとして水面上にグラブバケット２５の中心を示す投影印を表示しているが、例えば、落下予測位置表示ＦＰとしてグラブバケット２５が位置している区画Ｓの表示（例えば、色や模様）を他の区画Ｓと異ならせる構成にすることもできる。このように、水上の画像データＷＤ上に落下予測位置表示ＦＰを重ねて表示させると、グラブバケット２５がどの区画Ｓに位置しているのかをより把握し易くなるので、管理者はクレーン２２のオペレーターへの作業指示をより行い易くなり、オペレーターはグラブバケット２５の位置合わせをより行い易くなる。

【0054】

上記で例示した実施形態では、１台のカメラ装置２が取得した水上の画像データＷＤに対して判定部４ｂが判定を行う場合を例示したが、例えば、２台以上のカメラ装置２がそれぞれ取得した水上の画像データＷＤに対して判定部４ｂがそれぞれ判定を行う構成にすることもできる。この場合には、複数のカメラ装置２で取得された少なくともいずれかの水上の画像データＷＤにおいて、判定部４ｂがクレーン２２のグラブバケット２５により投入対象物３０が施工水域に投入されたと判定した場合に、その投入対象物３０が投入された時点のクレーン２２のグラブバケット２５の平面位置情報を記録部４ｃが投入履歴情報として記録する。このように、１台のカメラ装置２では撮影できない死角となる範囲が生じるような場合にも、別のカメラ装置２でその死角となる範囲を撮影することで、投入履歴をより確実に記録することが可能になる。

【0055】

また、上記で例示した実施形態では、判定部４ｂによる判定を行う判定対象範囲Ｊを設定する場合を例示したが、例えば、判定部４ｂによる判定を行わない判定対象外範囲を設定することで、水上の画像データＷＤにおいて判定部４ｂによる判定を行う範囲を限定する構成にすることもできる。また、上記で例示した実施形態では、演算装置４と管理者用のモニタ５ａをガット船２０の船橋２６に配置した場合を例示したが、例えば、ガット船２０の外部に演算装置４と管理者用のモニタ５ａを配置することもできる。この場合には、例えば、カメラ装置２が取得した水上の画像データＷＤと位置情報取得手段３が取得したグラブバケット２５の平面位置情報を、インターネット回線などを利用してガット船２０の外部に配置された演算装置４に逐次送信することで、ガット船２０の外部から投入作業の管理を行うことが可能になる。

【符号の説明】

【0056】

１ 投入管理システム
２ カメラ装置
３ 位置情報取得手段
４ 演算装置
４ａ 記憶部
４ｂ 判定部
４ｃ 記録部
４ｄ 表示部
４ｅ 対象範囲設定部
５ａ、５ｂ モニタ
６ 中継器
７ 入力手段
８ ＡＲ表示用カメラ装置
９ 方位計
２０ ガット船
２１ 船倉
２２ クレーン
２２ａ 運転室
２３ ブーム
２３ａ 先端部
２４ 吊ワイヤ
２５ グラブバケット
２６ 船橋
３０ 投入対象物
ＷＤ 水上の画像データ
Ｊ 判定対象範囲
ＩＤ 開閉識別表示
ＦＰ 落下予測位置表示
ＰＤ 平面視データ
Ｌ 境界線
Ｓ 区画

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】