特開 2024-84491 対象物投入管理装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084491

(43)【公開日】2024-06-25

(54)【発明の名称】対象物投入管理装置、プログラム及び方法

(51)【国際特許分類】

   E02D 15/10 20060101AFI20240618BHJP

【ＦＩ】

E02D15/10

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022198791

(22)【出願日】2022-12-13

(71)【出願人】

【識別番号】000166627

【氏名又は名称】五洋建設株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】松長 悠太

(72)【発明者】

【氏名】塚本 高文

(72)【発明者】

【氏名】琴浦 毅

【テーマコード（参考）】

2D045

【Ｆターム（参考）】

2D045AA04

2D045BA01

2D045BA02

2D045CA02

(57)【要約】      （修正有）

【課題】バケットの開閉状態を簡易且つ正確に検出することで、石材等の対象物の投入位置をより精度よく特定する。
【解決手段】画像データ取得部１１１は、操舵室７内のオペレータの操作を撮像した操作動画データをカメラ８ａから取得し、オペレータの操作に応じて開閉状態が変化するバケット５を撮像した開閉動画データをカメラ８ｂから取得する。座標データ取得部１１２は、バケット５の位置を示す２次元座標値を取得する。機械学習部１１３は、機械学習処理において画像データ取得部１１１によって取得された操作動画データ及び開閉動画データを用いた機械学習を行って学習モデルを生成する。算出部１１７は、座標データ取得部１１２により取得された２次元座標値と、取得部１１５により取得された開閉データとに基づいて、バケット５が搬出して投入した石材の投入位置及び投入回数を算出する。
【選択図】図５

【特許請求の範囲】

【請求項1】

オペレータの搬出器具への操作を撮像した操作動画データと、前記オペレータの前記操作に応じて開閉状態が変化する搬出器具の開閉状態を撮像した開閉動画データとを取得する画像データ取得部と、
前記搬出器具の位置を示す２次元座標値を取得する座標データ取得部と、
前記操作動画データを説明変数とし、前記開閉動画データを用いて特定された前記搬出器具の開閉状態を示す開閉データを目的変数とした機械学習により生成された学習モデルを記憶する記憶部と、
記憶された前記学習モデルに対して、前記搬出器具が物体を搬出及び投入しているときに取得された前記操作動画データを入力して、前記開閉データを取得する取得部と、
前記開閉データ取得時に取得された前記２次元座標値と、取得された前記開閉データとに基づいて、前記搬出器具が搬出して投入した前記物体の投入位置及び投入回数を算出する算出部と
を備える対象物投入管理装置。

【請求項2】

前記搬出器具が前記物体を投入する対象領域を所定の大きさの複数のメッシュに区分するメッシュ区分部を備え、
前記算出部は、前記メッシュ区分部によって区分されたメッシュ単位で前記物体の投入位置及び投入回数を算出する
請求項１に記載の対象物投入管理装置。

【請求項3】

前記搬出器具は、建設機械のバケットである
請求項１に記載の対象物投入管理装置。

【請求項4】

前記算出部は、さらに、前記メッシュ区分部によって区分されたメッシュごとに、前記搬出器具の容量に基づき前記搬出器具が搬出した物体の略投入量を算出する
請求項２に記載の対象物投入管理装置。

【請求項5】

前記算出部は、前記搬出器具から前記物体が投入されるたびに算出した当該物体の前記メッシュごとの投入位置、投入回数及び略投入量に基づいて、当該物体の投入分布及び投入堆積高を算出する
請求項４に記載の対象物投入管理装置。

【請求項6】

コンピュータに、
オペレータの搬出器具への操作を撮像した操作動画データと、前記オペレータの前記操作に応じて開閉状態が変化する搬出器具の開閉状態を撮像した開閉動画データとを取得する画像データ取得ステップと、
前記搬出器具の位置を示す２次元座標値を取得する座標データ取得ステップと、
前記操作動画データを説明変数とし、前記開閉動画データを用いて特定された前記搬出器具の開閉状態を示す開閉データを目的変数とした機械学習により生成された学習モデルを記憶する記憶ステップと、
記憶された前記学習モデルに対して、前記搬出器具が物体を搬出及び投入しているときに取得された前記操作動画データを入力して、前記開閉データを取得する取得ステップと、
前記開閉データ取得時に取得された前記２次元座標値と、取得された前記開閉データとに基づいて、前記搬出器具が搬出して投入した前記物体の投入位置及び投入回数を算出する算出ステップと
を実行させるためのプログラム。

【請求項7】

前記搬出器具が前記物体を投入する対象領域を所定の大きさの複数のメッシュに区分する区分ステップを備え、
前記算出ステップにおいて、前記区分ステップにより区分されたメッシュ単位で前記物体の投入位置及び投入回数を算出する
請求項６に記載のプログラム。

【請求項8】

前記算出ステップにおいて、さらに、前記区分ステップにより区分されたメッシュごとに、前記搬出器具の容量を用いて前記搬出器具が搬出した物体の略投入量を算出する
請求項７に記載のプログラム。

【請求項9】

前記算出ステップにおいて、前記搬出器具から前記物体が投入されるたびに算出した当該物体の前記メッシュごとの投入位置、投入回数及び略投入量に基づいて、当該物体の投入分布及び投入堆積高を算出する
請求項８に記載のプログラム。

【請求項10】

請求項１～５のいずれか１項に記載の対象物投入管理装置を用いて物体の投入位置及び投入回数を管理する対象物投入管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、石材等の対象物を水中に投入するための技術に関する。

【背景技術】

【0002】

港湾工事においてクレーン船から水中に石材を投入する場合に、クレーンブームの先端に設けられたＧＮＳＳ（Global Navigation Satellite System）装置などの測位を利用して、クレーンブームから吊り下げられたバケット５から石材が投入された位置を把握する仕組みが知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－２４４００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、クレーン船においては、クレーンブームが停止した状態でそのブーム先端からワイヤで吊持したバケットを開くことで石材が投入されるため、石材の投入位置はＧＮＳＳで管理できたとしても投入回数を特定するためには、バケットの開閉状態を都度確認して記録しなければならず、石材の投入対象範囲における所定の区分範囲における投入回数と投入量は別途カウントして管理せねばならなかった。

【0005】

そこで、本発明は、バケットの開閉画像データと当該バケットの操作画像データを用いてバケットの開閉状態を簡易且つ正確に検出することで、石材等の対象物の投入位置だけではなく回数と当該回数に基づく投入量をより精度よく特定することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る対象物投入管理装置は、オペレータの搬出器具への操作を撮像した操作動画データと、前記オペレータの前記操作に応じて開閉状態が変化する搬出器具の開閉状態を撮像した開閉動画データとを取得する画像データ取得部と、前記搬出器具の位置を示す２次元座標値を取得する座標データ取得部と、前記操作動画データを説明変数とし、前記開閉動画データを用いて特定された前記搬出器具の開閉状態を示す開閉データを目的変数とした機械学習により生成された学習モデルを記憶する記憶部と、記憶された前記学習モデルに対して、前記搬出器具が物体を搬出及び投入しているときに取得された前記操作動画データを入力して、前記開閉データを取得する取得部と、前記開閉データ取得時に取得された前記２次元座標値と、取得された前記開閉データとに基づいて、前記搬出器具が搬出して投入した前記物体の投入位置及び投入回数を算出する算出部とを備える。

【0007】

前記搬出器具が前記物体を投入する対象領域を所定の大きさの複数のメッシュに区分するメッシュ区分部を備え、前記算出部は、前記メッシュ区分部によって区分されたメッシュ単位で前記物体の投入位置及び投入回数を算出するようにしてもよい。

【0008】

前記搬出器具は、建設機械のバケットであってもよい。

【0009】

前記算出部は、さらに、前記メッシュ区分部によって区分されたメッシュごとに、前記搬出器具の容量に基づき前記搬出器具が搬出した物体の略投入量を算出するようにしてもよい。

【0010】

前記算出部は、前記搬出器具から前記物体が投入されるたびに算出した当該物体の前記メッシュごとの投入位置、投入回数及び略投入量に基づいて、当該物体の投入分布及び投入堆積高を算出するようにしてもよい。

【0011】

また、本発明に係るプログラムは、コンピュータに、オペレータの搬出器具への操作を撮像した操作動画データと、前記オペレータの前記操作に応じて開閉状態が変化する搬出器具の開閉状態を撮像した開閉動画データとを取得する画像データ取得ステップと、前記搬出器具の位置を示す２次元座標値を取得する座標データ取得ステップと、前記操作動画データを説明変数とし、前記開閉動画データを用いて特定された前記搬出器具の開閉状態を示す開閉データを目的変数とした機械学習により生成された学習モデルを記憶する記憶ステップと、記憶された前記学習モデルに対して、前記搬出器具が物体を搬出及び投入しているときに取得された前記操作動画データを入力して、前記開閉データを取得する取得ステップと、前記開閉データ取得時に取得された前記２次元座標値と、取得された前記開閉データとに基づいて、前記搬出器具が搬出して投入した前記物体の投入位置及び投入回数を算出する算出ステップとを実行させるためのプログラムである。

【0012】

前記搬出器具が前記物体を投入する対象領域を所定の大きさの複数のメッシュに区分する区分ステップを備え、前記算出ステップにおいて、前記区分ステップにより区分されたメッシュ単位で前記物体の投入位置及び投入回数を算出するようにしてもよい。

【0013】

前記算出ステップにおいて、さらに、前記区分ステップにより区分されたメッシュごとに、前記搬出器具の容量を用いて前記搬出器具が搬出した物体の略投入量を算出するようにしてもよい。

【0014】

前記算出ステップにおいて、前記搬出器具から前記物体が投入されるたびに算出した当該物体の前記メッシュごとの投入位置、投入回数及び略投入量に基づいて、当該物体の投入分布及び投入堆積高を算出するようにしてもよい。

【0015】

また、本発明は、上記の対象物投入管理装置を用いて物体の投入位置及び投入回数を管理する対象物投入管理方法であってもよい。

【発明の効果】

【0016】

本発明によれば、バケットの開閉状態を簡易且つ正確に検出することで、石材等の対象物の所定の範囲のメッシュ毎における投入位置、投入回数及び投入量をより精度よく特定することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係るクレーン船１の主要部を例示する平面図。

【図2】本発明の一実施形態に係るクレーン船１の主要部を例示する側面図。

【図3】石材投入管理システム１０のハードウェア構成を示すブロック図。

【図4】コンピュータ１１のハードウェア構成の一例を示すブロック図。

【図5】コンピュータ１１の機能構成の一例を示すブロック図。

【図6】操舵室７に設置されたカメラ８ａによって撮像される動画を例示する図である。

【図7】クレーン船１の周囲に設定されたメッシュＭを例示する平面図である。

【発明を実施するための形態】

【0018】

本発明を実施するための形態の一例について説明する。図１は、本発明の一実施形態に係るクレーン船１の主要部を例示する平面図であり、図２は、クレーン船１の主要部を例示する側面図である。図１，２に示すように、建設機械であるクレーン船１は、甲板の所定の位置において矢印ａ方向に旋回可能に支持された旋回装置２と、旋回装置２において上下に回動可能に支持されたブーム３と、ブーム３の先端より繰り出されるワイヤ４と、ワイヤ４に吊り下げられた搬出器具であるバケット５と、水中に投入される対象物（本実施形態では石材とする）が積載される船倉部６と、ブーム３及びバケット５を操作するための操作具が設けられた操舵室７と、操舵室７内に設置されたカメラ８ａと、旋回装置２とブーム３との接続部分近傍等の所定の位置に設けられたカメラ８ｂと、ブーム３の長手方向の異なる位置に設けられた２つのＧＮＳＳ装置９ａ，９ｂとを備える。カメラ８ａは、操舵室７の内部空間、特にバケット５の開閉を操作する操作具を含む空間を撮像する。カメラ８ｂは、ブーム３の先端から吊り下げられたバケット５を含む空間を、そのバケット５の開閉状態が分かるような位置で撮像する。ＧＮＳＳ装置９ａ，９ｂは人工衛星から発せられるＧＮＳＳ信号を用いて測位を行う。

【0019】

クレーン船１において、ブーム３の先端部より繰り出されたワイヤ４に吊り下げられたバケット５で船倉部６内の石材を掴み、そのバケット５をクレーン操作により船縁外側に移動させ、水面上の所望の範囲でバケット５を開放することにより石材を水中に投入する。このような投入作業を複数回にわたって繰り返すことにより、水底に所望の形状のマウンドが造成される。なお、図１，２において、Ｙ軸を、クレーン船１の全長方向に平行な軸としてその正方向を船尾から船首に向かう方向とし、Ｘ軸を、船舶の全幅方向に平行な軸としてその正方向を右舷から左舷に向かう方向とし、Ｚ軸を、Ｘ軸及びＹ軸に直交する軸としてその正方向を下方から上方に向かう方向とする（以下において同じ）。

【0020】

図３は、クレーン船１に実装された石材投入管理システム１０のハードウェア構成を示す図である。石材投入管理システム１０は、本発明に係る対象物投入管理装置として機能するコンピュータ１１と、カメラ８ａ，８ｂと、ＧＮＳＳ装置９ａ，９ｂとが、例えばイーサネットや光ファイバ等の通信回線によってネットワーク化されたシステムである。

【0021】

図４は、対象物投入管理装置として機能するコンピュータ１１のハードウェア構成を示す図である。コンピュータ１１は例えば操舵室７に設置されている。コンピュータ１１は、物理的には、プロセッサ１１０１、メモリ１１０２、ストレージ１１０３、通信装置１１０４、入力装置１１０５、出力装置１１０６及びこれらを接続するバスなどを含む。これらの各装置は図示せぬ電源から供給される電力によって動作する。コンピュータ１１のハードウェア構成は、図４に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。また、コンピュータ１１の外部に外付けするようにしてもよい。

【0022】

コンピュータ１１における各機能は、プロセッサ１１０１、メモリ１１０２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１１０１が演算を行い、通信装置１１０４による通信を制御したり、他の装置から送信されてきたデータを取得したり、メモリ１１０２及びストレージ１１０３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0023】

プロセッサ１１０１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１１０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

【0024】

プロセッサ１１０１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１１０３及び通信装置１１０４の少なくとも一方からメモリ１１０２に読み出し、これらに従って各種の処理を実行する。

【0025】

メモリ１１０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１１０２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１１０２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0026】

ストレージ１１０３は、ハードディスクドライブ等の、コンピュータが読み取り可能な記録媒体であり、ストレージ１１０３は、補助記憶装置と呼ばれてもよい。

【0027】

通信装置１１０４は、有線又は無線の少なくとも一方を介してカメラ８ａ，８ｂやＧＮＳＳ装置９ａ，９ｂ等の他の装置との通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0028】

入力装置１１０５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど）である。出力装置１１０６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。

【0029】

図５は、コンピュータ１１の機能構成の一例を示す図である。画像データ取得部１１１は、操舵室７内のオペレータのバケット５への操作を撮像した操作動画データをカメラ８ａから取得し、オペレータの操作に応じて開閉状態が変化するバケット５を撮像した開閉動画データをカメラ８ｂから取得する。なお、カメラ８ａからの操作動画データとカメラ８ｂからの開閉動画データは撮像時の時間に基づき紐づけされる。本実施形態では大別して、機械学習処理と投入管理処理という２種類の処理がある。画像データ取得部１１１は、機械学習処理においては、上述した操作動画データ及び開閉動画データの双方を取得し、投入管理処理においては、上述した操作動画データのみを取得して用いる。

【0030】

座標データ取得部１１２は、バケット５の位置を示す２次元座標値（Ｘ，Ｙ）を取得する。具体的には、座標データ取得部１１２はブーム３上の既知の位置に設置されたＧＮＳＳ装置９ａ，９ｂから各ＧＮＳＳ装置９ａ，９ｂの３次元座標値（Ｘ，Ｙ，Ｚ）を得て、これら３次元座標値（Ｘ，Ｙ，Ｚ）の差分に基づいて、ブーム３の長手方向と水平面とが成す角度と、ブーム３の長手方向の水平方向成分が指す方位とを算出する。さらに、座標データ取得部１１２は、算出した角度及び方位と、予め計測されているＧＮＳＳ装置９ａ，９ｂ間の距離と、ブーム３の長さ（ここではＧＮＳＳ装置９ｂからブーム３先端までの距離とする）と、ＧＮＳＳ装置９ｂの３次元座標に基づいて、ブーム３先端の２次元座標値（Ｘ，Ｙ）を算出する。水中に投入される対象物の投入時においてブーム３の先端直下にバケット５があるから、ここで算出された２次元座標値は、バケット５の位置を示す２次元座標値に相当する。

【0031】

機械学習部１１３は、機械学習処理において画像データ取得部１１１によって取得された操作動画データ及び開閉動画データを用いた機械学習を行ことで、学習モデルを生成する。具体的には、機械学習部１１３は、画像データ取得部１１１によって取得され記憶部１１４に保存された操作動画データを説明変数とし、画像データ取得部１１１によって取得される開閉動画データから特定されるバケット５の開閉状態（仮に開いた状態＝１か又は閉じた状態＝２とする２区分）を目的変数とした教師データを用いて機械学習を行う。機械学習部１１３によって生成された学習モデルは記憶部１１４に記憶される。

【0032】

図６は、操舵室７に設置されたカメラ８ａによって撮像される動画（操作動画データ）を例示する図である。図６では、オペレータＨの背面と、バケット５の開閉状態を変化させる操作を行うための操作具であるレバーＲと、操舵室７の前面（オペレータＨから船倉部６が見える方向）に設けられたガラスＧとを図示している。矢印Ａは、レバーＲの操作方向であり、オペレータＨがこのレバーＲを或る方向に移動させることでバケット５が開き、また、オペレータＨがこのレバーＲを別の方向に移動させることでバケット５が閉じるようになっている。操作動画データは、バケット５の開閉を操作するための操作具であるレバーＲがオペレータＨによってどのように操作されているかを示す動画である。なお、操作動画データの構成は上述した構成でなくともよく、少なくともオペレータＨによるレバーＲの操作状況が取得できれば良い。また、レバーＲを例示して説明した操作具の数、位置、操作方向及び操作の方法も上記の例に限定されない。

【0033】

機械学習において開閉動画データからバケット５の開閉状態を特定する場合、例えばパターンマッチング等を用いた画像処理によってバケット５が開いた状態か又は閉じた状態かを自動で特定するようにしてもよいし、開閉動画データを視認する人間によってバケット５が開いた状態か又は閉じた状態かが判断された結果を用いてもよい。このような教師データを生成する際には、バケット５の位置を、その開閉前後の形状の違いがカメラ８ｂで明瞭に撮像し得るような位置に固定しておくことが望ましい。

【0034】

学習モデルが記憶部１１４に記憶された後、操舵室7内のオペレータはレバーＲを操作して石材を投入する作業を行う。この作業中にわたってコンピュータ１１による投入管理処理が行われる。取得部１１５は、バケット５が石材を搬出及び投入しているときに画像データ取得部１１１により取得された操作動画データを、記憶部１１４に記憶されている学習モデルに説明変数として入力し、バケット５の開閉状態を示す開閉データを目的変数として取得する。また、座標データ取得部１１２は、逐次、バケット５の位置を示す２次元座標値を取得している。

【0035】

算出部１１７は、座標データ取得部１１２により取得したバケット５の２次元座標値と、取得部１１５により取得されたバケット５の開閉データとに基づいて、開閉データ取得時のバケット５が搬出して投入した石材の投入位置及び投入回数を算出する。具体的には、算出部１１７は、開閉データが閉から開という状態になったときのバケット５の２次元座標値を石材の投入位置とし、その位置が含まれるメッシュにおける石材の投入回数を累計する。なお、算出部１１７は、開閉データが開から閉という状態になったときには、そのタイミングまでに行っていた、バケット５の１回分の把持による石材投入位置及び回数に関する処理をリセットし、次の１回分の把持による石材投入位置及び回数に関する処理を開始する。

【0036】

このような石材の投入位置及び投入回数は、石材を投入する対象領域において所定の大きさに区分されたメッシュ単位で算出される。メッシュ区分部１１６は、例えば図７に例示するように、バケット５が石材を投入する対象領域（ＸＹ平面）を所定の大きさの複数のメッシュＭに区分する。このメッシュＭの大きさ及び形状は任意であり、どのようなものであってもよい。算出部１１７は、メッシュ区分部１１６によって区分されたメッシュ単位で、石材の投入位置及び累計投入回数を算出する。

【0037】

算出部１１７は、さらに、メッシュ区分部１１６によって所定のサイズに区分されたメッシュごとに、バケット５の容量に基づきバケット５が搬出した石材の略投入量を算出する。具体的には、算出部１１７は、バケット５が１回で搬出し得る石材量を予め特定して記憶しておき、１回で搬出し得る石材量に対し、各投入位置における投入回数を乗じることで、石材の略投入量を算出することができる。また、石材が保管されている船倉部６内全体を計測できる箇所にＬｉＤＡＲ（Light Detection And Ranging）装置（図示せず）を設置し、当該ＬｉＤＡＲ装置によって測定した船倉部６内の石材全体の形状を、バケット５によって石材が把持される前と石材が把持された後でそれぞれ計測し、その計測結果の差分を用いて、石材全体の形状が変化した分の体積を算出するようにしてもよい。これにより算出された差分の体積は、１回のバケット５の把持により船倉部６から搬出された石材の量に相当する。そして、算出部１１７は、バケット５から石材が投入されるたびに算出したメッシュＭごとの投入位置、投入回数及び略投入量に基づいて、石材の投入分布及び投入堆積高を算出する。

【0038】

表示部１１８は、算出部１１７によって算出された各種の情報を表示する。オペレータはこのような情報を参照することで、水底における石材の投入分布や投入堆積高を把握しながら石材の投入作業を行うことができる。なお、表示部１１８はコンピュータ１１と一緒に設置されるのではなく、スマートフォンやタブレット等の携帯式端末を用いてもよく、操舵室７内のオペレータが見やすい場所に設置するようにしてもよい。これによりオペレータはメッシュ単位での投入量、投入回数を把握でき、水中に投入する対象物を設計通りに投入することが容易となる。

【0039】

以上説明した実施形態によれば、バケットの開閉状態を簡易且つ正確に検出することで、石材等の対象物の投入位置、投入回数及び投入量をより簡便かつ精度よく特定することが可能となる。

【0040】

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。

【0041】

［変形例１］
水中に投入される対象物は、実施形態で例示した石材に限定されず、どのようなものであってもよい。

【0042】

［変形例２］
表示部１１８は、算出部１１７により算出された各種情報に加えて、座標データ取得部１１２により取得されたバケット５の時系列の位置の履歴（つまりバケット５の移動軌跡の履歴）を表示するようにしてもよい。オペレータは算出部１１７により算出された各種情報とバケット５の位置を参照しながら石材の投入作業を行うことが可能となる。

【0043】

［変形例３］
表示部１１８は、算出部１１７により算出された各種情報に加えて、施工設計段階において指定された石材の水底位置の範囲及び投入予定数量との差分を表示するようにしてもよい。この場合、コンピュータ１１には、石材投入によって形成される水底の設計形状データと、その設計形状を実現するための石材の投入予定数量データとが予め記憶されている。表示部１１８は、この設計形状データに基づいて、施工設計段階において指定された石材の水底位置の範囲を表示するとともに、投入予定数量データに基づいて、今後必要となる石材の投入予定数量を表示する。オペレータは算出部１１７により算出された各種情報と施工設計段階において指定された石材の水底位置の範囲及び投入予定数量との差分を参照しながら石材の投入作業を行うことが可能となる。

【0044】

本発明を、オペレータの搬出器具への操作を撮像した操作動画データと、前記オペレータの前記操作に応じて開閉状態が変化する搬出器具の開閉状態を撮像した開閉動画データとを取得する画像データ取得ステップと、前記搬出器具の位置を示す２次元座標値を取得する座標データ取得ステップと、前記操作動画データを説明変数とし、前記開閉動画データを用いて特定された前記搬出器具の開閉状態を示す開閉データを目的変数とした機械学習により生成された学習モデルを記憶する記憶ステップと、記憶された前記学習モデルに対して、前記搬出器具が物体を搬出及び投入しているときに取得された前記操作動画データを入力して、前記開閉データを取得する取得ステップと、前記開閉データ取得時に取得された前記２次元座標値と、取得された前記開閉データとに基づいて、前記搬出器具が搬出して投入した前記物体の投入位置及び投入回数を算出する算出ステップとを備える対象物投入管理方法として実施することも可能である。また、本発明は、実施形態で説明した対象物投入管理装置（コンピュータ１１）を稼働するためのプログラムであってもよい。

【符号の説明】

【0045】

１：クレーン船、２：旋回装置、３：ブーム、４：ワイヤ、５：バケット、６：船倉部、７：操舵室、８ａ，８ｂ：カメラ、９ａ，９ｂ：ＧＮＳＳ装置、１０：石材投入管理システム、１１：コンピュータ、１１０１：プロセッサ、１１０２：メモリ、１１０３：ストレージ、１１０４：通信装置、１１０５：入力装置、１１０６：出力装置、１１１：画像データ取得部、１１２：座標データ取得部、１１３：機械学習部、１１４：記憶部、１１５：取得部 １１６：メッシュ区分部、１１７：算出部、１１８：表示部、Ｒ：レバー、Ｈ：オペレータ、Ｇ：ガラス、Ｍ：メッシュ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】