(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024177899
(43)【公開日】2024-12-24
(54)【発明の名称】揚重実績取得システム
(51)【国際特許分類】
B66C 13/46 20060101AFI20241217BHJP
B66C 13/00 20060101ALI20241217BHJP
B66C 23/26 20060101ALI20241217BHJP
【FI】
B66C13/46 G
B66C13/00 D
B66C23/26
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023096295
(22)【出願日】2023-06-12
(71)【出願人】
【識別番号】000001373
【氏名又は名称】鹿島建設株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100122781
【弁理士】
【氏名又は名称】近藤 寛
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】西澤 勇祐
(72)【発明者】
【氏名】三島 充
【テーマコード(参考)】
3F204
3F205
【Fターム(参考)】
3F204AA04
3F204BA02
3F204CA07
3F204DB03
3F205AA03
3F205AA07
3F205BA01
3F205CA01
3F205DA01
(57)【要約】
【課題】 クレーンの揚重実績を示す情報を適切に取得する。
【解決手段】 揚重実績取得システム1は、資材を揚重するクレーン100の揚重実績を示す情報を取得するシステムであって、クレーン100の揚重に係る時系列の高度を示す高度情報を取得する高度情報取得部11と、取得された高度情報に基づいて、揚重された資材毎にクレーン100によって資材の揚重が行われた揚重時間帯の少なくとも一部を特定する時間帯特定部12と、揚重時間帯それぞれについて、特定された当該揚重時間帯の少なくとも一部に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得部13と、取得された複数の画像から、揚重時間帯毎に揚重された資材の種別を判別する種別判別部14とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、
クレーンの揚重に係る時系列の高度を示す高度情報を取得する高度情報取得手段と、
前記高度情報取得手段によって取得された高度情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた揚重時間帯の少なくとも一部を特定する時間帯特定手段と、
前記揚重時間帯それぞれについて、前記時間帯特定手段によって特定された当該揚重時間帯の少なくとも一部に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、
前記画像取得手段によって取得された複数の画像から、揚重時間帯毎に揚重された資材の種別を判別する種別判別手段と、
を備える揚重実績取得システム。
【請求項2】
前記時間帯特定手段は、前記揚重時間帯の少なくとも一部として、クレーンの揚重によって高度方向に資材が運搬されている時間帯を特定する請求項1に記載の揚重実績取得システム。
【請求項3】
前記画像取得手段は、前記揚重時間帯の少なくとも一部における、前記高度情報によって示される高度が、予め設定した高度以上の時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する請求項1又は2に記載の揚重実績取得システム。
【請求項4】
前記画像取得手段は、予め設定した数の等間隔の複数のタイミングで撮像された、揚重された資材の複数の画像を取得する請求項1又は2に記載の揚重実績取得システム。
【請求項5】
前記種別判別手段は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別する請求項1又は2に記載の揚重実績取得システム。
【請求項6】
前記種別判別手段は、前記画像取得手段によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別する請求項1又は2に記載の揚重実績取得システム。
【請求項7】
前記種別判別手段は、前記画像取得手段によって取得された複数の画像のクレーンのフックが写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別する請求項1又は2に記載の揚重実績取得システム。
【請求項8】
クレーンのフックを支持するフックブロックの上部かつ当該フックブロックを支持する2本のスリングに挟まれる位置に設けられる、クレーンの揚重に係る時系列の高度を検出する検出手段を更に備え、
前記高度情報取得手段は、前記検出手段の検出による高度情報を取得する請求項1又は2に記載の揚重実績取得システム。
【請求項9】
クレーンのフックを支持すると共に互いの主面が間隔を空けて向かい合う2枚の板状の部材を含んで構成されるフックブロックの、当該2枚の板状の部材の間に設けられる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段の撮像による画像を取得する請求項1又は2に記載の揚重実績取得システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムに関する。
【背景技術】
【0002】
建築施工の合理化においては、資機材及び作業員の稼働状況を把握し改善していくことが重要である。特にタワークレーン等のクレーンによる揚重作業は、工程のボトルネックとなり得る。そのため、クレーンによる揚重作業を効率化することが求められる。クレーンによる揚重作業を効率化するためには、まず、クレーンの揚重実績を示す情報を取得することが必要となる。クレーンの揚重実績としては、例えば、クレーンによる揚重作業が行われた時間帯、及び当該時間帯において揚重された資材の種別がある。
【0003】
以下の特許文献1には、クレーンの揚重実績を示す情報の取得に係る方法が示されている。この方法では、クレーンによって資材が揚重される際の資材の画像を用いて、資材の種別を判別することが示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第2021/0292132号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に示される方法では、撮像時の光の影響、及び画像における資材の写り等によっては、必ずしも適切に資材の種別を判別できないおそれがあった。その結果、取得されるクレーンの揚重実績を示す情報が適切なものとならないおそれがあった。
【0006】
本発明は、上記に鑑みてなされたものであり、クレーンの揚重実績を示す情報を適切に取得することができる揚重実績取得システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る揚重実績取得システムは、資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、クレーンの揚重に係る時系列の高度を示す高度情報を取得する高度情報取得手段と、高度情報取得手段によって取得された高度情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた揚重時間帯の少なくとも一部を特定する時間帯特定手段と、揚重時間帯それぞれについて、時間帯特定手段によって特定された当該揚重時間帯の少なくとも一部に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、画像取得手段によって取得された複数の画像から、揚重時間帯毎に揚重された資材の種別を判別する種別判別手段と、を備える。
【0008】
本発明に係る揚重実績取得システムでは、揚重時間帯の少なくとも一部において揚重された資材の複数の画像から、資材の種別が判別される。従って、適切に資材の種別を判別することができる。その結果、本発明に係る揚重実績取得システムによれば、クレーンの揚重実績を示す情報を適切に取得することができる。
【0009】
時間帯特定手段は、揚重時間帯の少なくとも一部として、クレーンの揚重によって高度方向に資材が運搬されている時間帯を特定することとしてもよい。この構成によれば、資材の種別に用いる複数の画像を適切なものとすることができる。その結果、クレーンの揚重実績を示す情報を適切かつ確実に取得することができる。
【0010】
前記画像取得手段は、前記揚重時間帯の少なくとも一部における、前記高度情報によって示される高度が、予め設定した高度以上の時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得することとしてもよい。この構成によれば、資材の種別に用いる複数の画像を適切なものとすることができる。その結果、クレーンの揚重実績を示す情報を適切かつ確実に取得することができる。
【0011】
画像取得手段は、予め設定した数の等間隔の複数のタイミングで撮像された、揚重された資材の複数の画像を取得することとしてもよい。この構成によれば、資材の種別に用いる複数の画像を適切なものとすることができる。その結果、クレーンの揚重実績を示す情報を適切かつ確実に取得することができる。
【0012】
種別判別手段は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、適切かつ確実に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を適切かつ確実に取得することができる。
【0013】
種別判別手段は、画像取得手段によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を更に適切に取得することができる。
【0014】
種別判別手段は、画像取得手段によって取得された複数の画像のクレーンのフックが写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を更に適切に取得することができる。
【0015】
クレーンのフックを支持するフックブロックの上部かつ当該フックブロックを支持する2本のスリングに挟まれる位置に設けられる、クレーンの揚重に係る時系列の高度を検出する検出手段を更に備え、高度情報取得手段は、検出手段の検出による高度情報を取得することとしてもよい。この構成によれば、確実かつ適切に高度情報を取得できる。また、揚重時等の検出手段の破損を防止することができる。
【0016】
クレーンのフックを支持すると共に互いの主面が間隔を空けて向かい合う2枚の板状の部材を含んで構成されるフックブロックの、当該2枚の板状の部材の間に設けられる撮像手段を更に備え、画像取得手段は、撮像手段の撮像による画像を取得することとしてもよい。この構成によれば、確実かつ適切に画像を取得できる。また、揚重時等の撮像手段の破損を防止することができる。
【発明の効果】
【0017】
本発明によれば、クレーンの揚重実績を示す情報を適切に取得することができる。
【図面の簡単な説明】
【0018】
【
図1】本発明の実施形態に係る揚重実績取得システムの構成を示す図である。
【
図2】実施形態に係るクレーンのフックブロックの例の画像である。
【
図3】揚重実績を示す情報の例を示すグラフである。
【
図4】高度情報の例及び時刻毎の揚重に係る作業のクラスを示すグラフである。
【
図5】資材の種別の判別に用いられる画像に係るタイミング、当該画像、及び当該画像から算出される資材の種別毎の確信度を示す図である。
【
図6】資材の種別の判別に用いられる画像の例を示す図である。
【
図8】本発明の実施形態に係る揚重実績取得システムで実行される処理を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、図面と共に本発明に係る揚重実績取得システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0020】
図1に本実施形態に係る揚重実績取得システム1を示す。揚重実績取得システム1は、資材を揚重するクレーン100の揚重実績を示す情報を取得するシステム(装置)である。クレーン100は、例えば、建設現場等で用いられるタワークレーンである。例えば、クレーン100には、ブーム101が設けられており、ブーム101の先端から吊り下げられたフック102が用いられて揚重が行われる。フック102は、フックブロック(ウェイトブロック)103に取り付けられて支持されている。フックブロック103は、スリング(ワイヤー)104が取り付けられており、スリング104によってブーム101に吊り下げられる。
【0021】
図2にフックブロック103の部分の画像を示す。フックブロック103は、滑車を備えており、滑車にスリング104が巻き付けられてスリング104によって支持される。フックブロック103の滑車の両側から、スリング104がブーム101に向かって延びている。フックブロック103は、滑車を挟んで、滑車を支持及び保護する2枚の板状の部材103aを含んでいる。当該2枚の板状の部材103aは、互いの主面が間隔を空けて向かい合っている。
【0022】
なお、クレーン100は、上記以外の構成であってもよい。また、クレーン100は、タワークレーン以外のクレーンであってもよい。例えば、クレーン100は、タワークレーン以外の定置式のクレーン、又は、クローラークレーン若しくはラフタークレーン等の移動式のクレーンであってもよい。クレーン100は、従来と同様のものでよい。
【0023】
揚重実績は、クレーン100による資材の揚重作業が行われた時間帯、及び当該時間帯において揚重された資材の種別(種類)である。揚重作業が行われた時間帯は、例えば、揚重の開始時刻(例えば、資材の揚重のためにフック102の移動を開始する時刻、又は資材が地上を離れる時刻)及び終了時刻(例えば、資材がクレーンから外された(玉外しされた)時刻、又は資材が着地する時刻)によって示される。資材の種別は、例えば、建築する構造物を構成する資材(部材)の種別である。具体的には、資材の種別は、デッキ、鉄骨柱、階段、鉄筋、仮設材、鉄骨大梁、鉄骨小梁、鉄骨関連材及び外装材等である。なお、資材の種別は、上記に限られず任意に設定されたものであってもよい。
【0024】
図3に揚重実績取得システム1によって取得される揚重実績を示す情報の例を示す。
図3のグラフにおいて横軸は時間軸である。
図3のグラフのハッチングで示される部分が、クレーン100によって資材が揚重されている時間帯である。
図3の下のグラフが実際の揚重実績を示し、上のグラフが揚重実績取得システム1によって取得(推定)される揚重実績を示す。揚重実績取得システム1によって取得された揚重実績を示す情報は、例えば、クレーン100による揚重作業の効率化のために用いられる。具体的には、揚重実績を示す情報から揚重計画と揚重実績との乖離が把握されて、工事遅延(工程遅延)の原因究明及び行動改善が実施される。例えば、午前中に鉄骨柱を3本揚重する予定だったのに、2本しか揚重されていなければ、そこに何かしらの遅延をきたすトラブルがあったことが把握できる。
【0025】
図1に示すように、揚重実績取得システム1は、サーバ装置10と、測位計20と、カメラ30とを含んで構成される。サーバ装置10は、測位計20及びカメラ30からデータを取得し、取得したデータから揚重実績を生成して、揚重実績を示す情報を取得する装置である。サーバ装置10の具体的な機能については後述する。
【0026】
サーバ装置10は、具体的には、CPU(Central Processing Unit)、メモリ等のハードウェアを含むコンピュータである。サーバ装置10の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。なお、サーバ装置10は、1つのコンピュータで実現されてもよいし、複数のコンピュータがネットワークにより互いに接続されて構成されるコンピュータシステムにより実現されていてもよい。また、サーバ装置10は、クラウドシステムにより実現されていてもよい。
【0027】
サーバ装置10、測位計20及びカメラ30はそれぞれ、通信機能を有しており、測位計20及びカメラ30からサーバ装置10にデータを送信できるようになっている。例えば、測位計20及びカメラ30は、無線通信機能を有し、無線通信によってサーバ装置10にデータを送信してもよい。また、測位計20及びカメラ30は、バッテリーからの給電によって動作するものであってもよい。無線通信機能を有すると共にバッテリー駆動の測位計20及びカメラ30を用いることで、測位計20及びカメラ30を後付けすることが容易になる。
【0028】
測位計20は、クレーン100の揚重に係る時系列の高度を検出する検出手段である。例えば、測位計20は、クレーン100のフック102の高度を検出する。測位計20は、時系列の高度を検出して、検出した時系列の高度を示す高度情報をサーバ装置10に送信する。サーバ装置10に送信される高度情報は、高度が検出されたタイミングを把握できるようになっている。測位計20は、揚重実績の取得に適切な時間間隔で高度を検出する。
【0029】
測位計20は、例えば、クレーン100のフック102の部分(フック102の近傍)に設けられる。具体的には、
図1及び
図2に示すように、測位計20は、フックブロック103の上部(フックブロック103の上端の上側)かつ当該フックブロック103を支持する2本のスリング104に挟まれる位置に固定されて設けられる。当該位置には、フックブロック103及びスリング104に守られた比較的大きなスペースがある。従って、当該位置に配置される測位計20が資材又は建物に接触して破損する危険が少ない。
【0030】
測位計20は、筐体(ボックス、本体)に、測位計20に給電するためのバッテリーとあわせて格納されて設けられる。なお、
図2では、正確には、測位計20を格納する当該筐体が示されている。当該筐体は、フック102(フックブロック103)の寸法にあわせたものを用いればよい。また、当該筐体として、上部の蓋を上向きに開くものを用いることで、筐体をフックブロック103に取り付けたままバッテリーを交換することができる。また、当該筐体をフックブロック103の上部に設置することで、フック102と楊重される資材との間に筐体を取り付けて両者を中継する形と比べて、大きい荷重が筐体に加わり筐体が壊れて資材が落下する危険がない。
【0031】
測位計20は、従来の測位計と同様のものでよい。例えば、測位計20は、RTK(リアルタイムキネマティック)測位によって高精度に自身の三次元位置情報を取得するものでよい。
【0032】
なお、測位計20によって検出される高度は、クレーン100の揚重に係る高度であればよく、フック102の高度以外の高度であってもよい。また、測位計20の配置等の態様は、クレーン100の揚重に係る高度が検出可能であれば、上記以外であってもよい。
図3のグラフの縦軸の値は、測位計20によって検出される時系列の高度の例である。
図3のグラフにおいて横軸は時間軸であり、縦軸は高度の軸である。
【0033】
カメラ30は、クレーン100によって揚重された資材を撮像する撮像手段である。例えば、カメラ30は、クレーン100のフック102の部分(フック102の近傍)に、揚重される資材が撮像される画像に写るように配置される。また、カメラ30は、揚重される資材に加えてフック102が撮像される画像に写るように配置されてもよい。具体的には、
図1及び
図2に示すように、カメラ30は、フックブロック103の2枚の板状の部材103aの間に固定されて配置される。フックブロック103に守られた当該位置にカメラ30を配置することで、カメラ30と外部との接触によるカメラ30の損傷を避けることができる。また、当該位置は、フック102で吊られている揚重資材との距離が近いため、より高画質な資材の画像を取得することができる。また、揚重実績取得システム1は、複数のカメラ30を備えていてもよい。例えば、
図1に示すように、板状の部材103aの主面の方向から見た際に、左右対称の位置に2つのカメラ30が配置されていてもよい。複数のカメラ30を設けることで、あるカメラ30による画像では資材が見えづらい場合でも、別のカメラ30による画像で補うことができる。
【0034】
カメラ30への給電は、測位計20を格納する筐体にあわせて格納されているバッテリーから行われてもよい。筐体に格納されているバッテリーから測位計20及びカメラ30に給電することで、数日間バッテリー交換なく測位計20及びカメラ30を稼働させ続けることができる。あるいは、カメラ30への給電は、それ以外の方法で行われてもよい。なお、カメラ30は、揚重される資材が撮像される画像に写るように、上記以外の場所に配置されてもよい。例えば、カメラ30は、上記のようにフックブロック103等により保護されない部分、例えば、フックブロック103の外側に取り付けられてもよい。この場合、カメラ30の破損による飛散防止のためにカメラ30を頑丈な筐体に入れる等、カメラ30を保護する必要がある。他のものと接触しないように小型にすること、またカメラ30が落下しないように落下防止ワイヤーを付けることとしてもよい。
【0035】
カメラ30は、時系列の撮像を行って、撮像によって得られた画像をサーバ装置10に送信する。サーバ装置10に送信される画像は、撮像されたタイミングを把握できるようになっている。カメラ30は、揚重実績の取得に適切な時間間隔で撮像を行う。例えば、カメラ30は、測位計20による高度の検出と同様のタイミングで撮像を行う。従って、クレーン100によって資材が揚重されていない際にもカメラ30は撮像を行っていてもよい。また、カメラ30は、動画を取得してもよい。カメラ30は、従来のカメラと同様のものでよい。
【0036】
引き続いて、サーバ装置10の機能について説明する。
図1に示すようにサーバ装置10は、高度情報取得部11と、時間帯特定部12と、画像取得部13と、種別判別部14とを備えて構成される。
【0037】
高度情報取得部11は、クレーン100の揚重に係る時系列の高度を示す高度情報を取得する高度情報取得手段である。高度情報取得部11は、測位計20の検出による高度情報を取得してもよい。高度情報取得部11は、測位計20から送信された高度情報を受信して取得する。高度情報取得部11は、取得した高度情報を時間帯特定部12及び画像取得部13に出力する。
【0038】
時間帯特定部12は、高度情報取得部11によって取得された高度情報に基づいて、揚重された資材毎にクレーン100によって資材の揚重が行われた揚重時間帯の少なくとも一部を特定する時間帯特定手段である。時間帯特定部12は、揚重時間帯の少なくとも一部として、クレーンの揚重によって高度方向に資材が運搬されている時間帯を特定してもよい。例えば、時間帯特定部12は、以下のように上記の揚重時間帯を特定する。
【0039】
時間帯特定部12は、高度情報取得部11から高度情報を入力する。時間帯特定部12は、高度情報によって示される時系列の高度に基づいて、各時刻を揚重に係る作業を5つのクラスの何れかに分類する。
図4に、分類されるクラスに係るグラフを示す。
図4のグラフにおいて横軸は時間軸であり、縦軸は高度の軸である。なお、
図4に示す2つのグラフは、同一の時刻において同一の高度のグラフである。分類される5つのクラスは、「玉掛け・地切り」、「揚重」、「取付・玉外し」、「揚重戻り」及び「待機」である。
【0040】
「玉掛け・地切り」は、フック102に揚重される資材を取り付けて地切りする(スリング104の巻き上げによって資材を地上等から離して一旦停止させる)作業である。なお通常、玉掛けはフック102から資材を取り外す作業も含むが、本実施形態では資材を取り付ける作業のみをさす。「揚重」は、フック102に資材が取り付けられた状態で、スリング104の巻き上げによって資材を高度方向に運搬して取付位置まで運ぶ作業、即ち、資材を揚重する作業である。本実施形態では、「揚重」は、クレーン100の揚重によって資材を高度方向の上方に運搬する作業である。「取付・玉外し」は、揚重によって取付位置まで運ばれた資材を取り付けてフック102から取り外す作業である。なお、「取付・玉外し」における取り付けは、例えば、建築されている建物等への資材を取り付け、又は資材が用いられる位置に資材を配置することである。また、「揚重」及び「取付・玉外し」における取付位置は、当該取り付けが行われる位置である。「揚重戻り」は、フック102に資材が取り付けられていない状態で、次の揚重予定の資材を取りに向かうためにフック102を高度方向に移動する作業である。本実施形態では、「揚重戻り」は、フック102を高度方向の下方に移動する作業である。「待機」は、作業を停止している状態である。
【0041】
図4に示すように、通常、1つの資材を揚重する場合には、「玉掛け・地切り」、「揚重」、「取付・玉外し」及び「揚重戻り」の順番での作業が行われる。そこで、「玉掛け・地切り」、「揚重」、「取付・玉外し」及び「揚重戻り」の順番での作業を1つの資材の揚重に係る作業(即ち、1つの資材の揚重単位)とする。本実施形態では、この1つの資材の揚重に係る作業と判断された時間帯が、1つの資材の揚重が行われた揚重時間帯である。
【0042】
時間帯特定部12は、以下のように各時刻を5つのクラスの何れかに分類する。時間帯特定部12は、高度情報によって示される時系列の高度を、予め設定した時間間隔での移動平均を取る。時間帯特定部12は、移動平均後の時系列の高度を用いて、各時刻を5つのクラスの何れかに分類する。移動平均を取るのは、時系列の高度の一時的な変化を取り除くためである。以下の説明では、時系列の高度は、移動平均後のものであるとする。但し、移動平均を取らなくても適切にクラスの分類を行えると考えられる場合には、移動平均を取らず、高度情報によって示される時系列の高度をそのまま用いてクラスの分類を行ってもよい。
【0043】
時刻に対する高度の傾きが予め設定した一定以上の正の値である時間帯のクラスは、「揚重」とされる。上記の傾きが予め設定した一定以上の負の値である時間帯のクラスは、「揚重戻り」とされる。「揚重戻り」から「揚重」までの時間帯のクラスは、「玉掛け・地切り」とされる。「揚重」から「揚重戻り」までの時間帯のクラスは、「取付・玉外し」とされる。高度が、予め設定した一定時間以上変化のない時間帯のクラスは、「待機」とされる。なお、「待機」は、「玉掛け・地切り」及び「取付・玉外し」よりも優先される。
【0044】
時間帯特定部12は、特定した揚重時間帯の少なくとも一部を示す情報を画像取得部13及び種別判別部14に出力する。例えば、時間帯特定部12は、揚重時間帯のうち「揚重」の時間帯を示す情報を画像取得部13に出力する。また、時間帯特定部12は、各揚重時間帯全体を示す情報を種別判別部14に出力する。この際、時間帯特定部12は、各揚重時間帯の各時刻におけるクラスを示す情報も種別判別部14に出力してもよい。
【0045】
画像取得部13は、揚重時間帯それぞれについて、時間帯特定部12によって特定された当該揚重時間帯の少なくとも一部に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段である。画像取得部13は、揚重時間帯の少なくとも一部における、高度情報によって示される高度が、予め設定した高度以上の時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得してもよい。画像取得部13は、予め設定した数の等間隔の複数のタイミングで撮像された、揚重された資材の複数の画像を取得してもよい。画像取得部13は、カメラ30による撮像によって得られた画像を取得してもよい。
【0046】
画像取得部13によって取得される画像は、時間帯特定部12によって揚重時間帯と特定された時間帯において、揚重された資材の種別を判別するためのものである。例えば、画像取得部13は、以下のようにそのための画像を取得する。画像取得部13は、時間帯特定部12から、揚重時間帯の少なくとも一部、例えば、上述したように「揚重」の時間帯示す情報を入力する。画像取得部13は、高度情報取得部11から高度情報を入力する。画像取得部13は、カメラ30から画像を入力して取得する。
【0047】
画像取得部13は、揚重時間帯毎に、カメラ30から入力した画像のうち、時間帯特定部12によって特定された当該揚重時間帯の少なくとも一部である「揚重」の時間帯のうち、高度情報取得部11から入力した高度情報によって示される高度が予め設定した高度以上の時間帯に含まれる複数のタイミングで撮像された複数の画像を、資材の種別の判別に用いる画像とする。
【0048】
例えば、
図5の左側のグラフに示すように「揚重」の時間帯(ハッチングされた時間帯)のうち、高度が予め設定した高度以上の時間帯における等間隔での5個のタイミング(黒丸で示される5つのタイミング)での画像を、資材の種別の判別に用いる画像とする。なお、上記のタイミングのうち最初のタイミング及び最後のタイミングは、上記の時間帯の開始時刻及び終了時刻と一致していてもよいし、一致していなくてもよい。
【0049】
上記のように高度が予め設定した高度以上の時間帯における画像を用いるのは、高度が低い画像では、地上の他の部材と揚重されている資材とが誤って認識される可能性があるためである。揚重される資材がある程度の高度に到達し、背景が遠景になる上記の時間帯における画像を用いることで、揚重された資材の種別を適切に判別することができる。
【0050】
なお、資材の種別の判別に用いる画像に係るタイミングは、必ずしも上記である必要はなく、揚重時間帯毎に、時間帯特定部12によって特定された当該揚重時間帯の少なくとも一部に含まれる複数のタイミングであればよい。なお、カメラ30が複数設けられている場合には、1つのタイミングに複数の画像が含まれていてもよい。画像取得部13は、揚重時間帯毎の資材の種別の判別に用いる複数の画像を種別判別部14に出力する。
【0051】
種別判別部14は、画像取得部13によって取得された複数の画像から、揚重時間帯毎に揚重された資材の種別を判別する種別判別手段である。種別判別部14は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別してもよい。種別判別部14は、画像取得部13によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別してもよい。種別判別部14は、画像取得部13によって取得された複数の画像のフック102が写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別してもよい。例えば、種別判別部14は、以下のように揚重時間帯毎に揚重された資材の種別を判別する。
【0052】
種別判別部14は、時間帯特定部12から揚重時間帯を示す情報を入力する。種別判別部14は、画像取得部13から揚重時間帯毎の複数の画像を入力する。画像取得部13から入力した画像は、クレーン100による資材の揚重が行われているタイミングで撮像された画像であるので、フック102及び揚重された資材が写っている。
【0053】
図6に示すように、種別判別部14は、画像取得部13から入力した画像I1から揚重される資材が写った部分を部分画像I2として切り出す。当該切り出しは、例えば、フック102が写った部分を検出して、検出した部分に応じて行われればよい。当該検出は、従来の画像解析の技術によって行われればよい。あるいは、カメラ30の設置位置等に応じて、揚重される資材が写った部分として予め設定した部分(画像中の位置)を切り出してもよい。また、上記以外の方法で切り出しが行われてもよい。部分画像I2は、予め設定されたサイズ及び形状(例えば、正方形等の矩形)の画像である。画像I1における部分画像I2の位置は、例えば、フック102が写った部分を部分画像I2の中心とした位置である。種別判別部14は、切り出した部分画像I2と資材の種別の判別に用いる学習モデル(画像認識モデル)とを用いて、揚重時間帯において揚重された資材の種別を判別する。
【0054】
上記のように部分画像I2を用いることで、揚重される資材以外のものを画像から除外することができ、より適切な判別が可能になる。なお、部分画像I2の切り取りは、必ず行われる必要はなく、種別判別部14は、画像取得部13から入力した画像をそのまま用いて判別を行ってもよい。例えば、カメラ30の設置位置及びフック102の大きさ等によっては、画像取得部13によって取得される画像が、揚重される資材が大写しの画像となるため、部分画像I2の切り取りを行う必要はない。
【0055】
種別判別部14は、複数の画像それぞれから、揚重された資材の種別を一次的に判別する。例えば、種別判別部14は、予め機械学習によって生成された学習モデルを用いて一時的な判別を行う。学習モデルは、画像を入力して、画像に写った資材の種別に係る情報を出力する。例えば、学習モデルは、ニューラルネットワークを含んで構成されていてもよい。ニューラルネットワークは、多層のもの、即ち、深層学習(ディープラーニング)を行って生成されたものであってもよい。また、ニューラルネットワークは、CNN(畳み込みニューラルネットワーク)であってもよい。CNNは画像データに強く、画像認識の分野では最も一般的に使われる手法であり、CNNを用いることでより適切な判別が可能となる。
【0056】
例えば、学習モデルは、入力層、中間層及び出力層を備える。入力層には、画像の画素数分のニューロンが設けられ、それぞれのニューロンには画像の画素値が入力される。出力層には、判別される資材の種別数分のニューロンが設けられ、それぞれのニューロンから種別毎のスコアである確信度が出力される。当該確信度は、画像に写った資材がその種別である度合いを示すものである。例えば、確信度は、0~1の間の数値であり、確信度の値が高いほど、画像に写った資材がその種別である度合いが大きい。上記の学習モデルは、予め写った資材の種別が既知である学習用の画像を用いて、従来の機械学習によって生成することができる。
【0057】
種別判別部14は、予め学習モデルを記憶しておく。種別判別部14は、資材の種別の判別に用いる画像を学習モデルに入力して、当該画像によって、揚重された資材の種別を一次的に判別する。種別判別部14は、画像を学習モデルに入力して、学習モデルからの出力として、当該画像についての資材の種別毎の確信度を得る。種別判別部14は、学習モデルから出力される種別毎の確信度のうち、最も高い確信度の種別を、当該画像から判別される資材の種別とする。
図7に資材の種別(デッキ、鉄骨柱、階段、鉄骨大梁、鉄骨小梁、外装材及びその他)毎の画像の例を示す。
図5の右側のグラフに、種別毎の確信度の例を示す。
図5の右側のグラフにおける実線が各画像から算出される種別毎の確信度である。
【0058】
種別判別部14は、同一の揚重時間帯のタイミングの画像(
図5に示す例では5つのタイミングの画像)全てについて、上記の一次的な判別を行う。種別判別部14は、画像数の判別のうち、最も判別された数が多い種別を、当該揚重時間帯で揚重された資材の種別とする。即ち、種別判別部14は、多数決によって資材の種別を最終的に判別する。例えば、
図5の右側のグラフのように各画像の一次的な種別の判別によって鉄骨小梁と最も多く判別された場合、鉄骨小梁に最終決定する。カメラ30が複数設けられており、1つのタイミングに複数の画像が含まれている場合には、それぞれの画像から、一時的な種別の判別を行えばよい。即ち、画像の数分の一時的な種別の判別が行われればよい。
【0059】
複数の画像から、揚重された資材の種別を判別することで、1枚の画像から適切な種別が判別できなかった場合であっても、適切に資材の種別を判別することができる。即ち、一次的な画像の見え方の影響を低減し、画像認識精度を向上することができる。
【0060】
また、種別判別部14は、一次的な判別を行わずに資材の種別を判別してもよい。例えば、種別判別部14は、1つの揚重時間帯について、揚重された資材の種別毎の確信度から、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別してもよい。具体的には、算出された確信度を種別毎の平均を判別用スコアとしてもよい。
図5の右側のグラフに、種別毎の確信度の平均の例を示す。
図5の右側のグラフにおける破線が各画像から算出される種別毎の確信度の平均である。
図5の右側のグラフに示すように、ある1枚の画像のみでは、誤った種別であるその他の種別に判別されるが、確信度の平均を取ることで正しい種別である鉄骨小梁の種別と判別することができる。
【0061】
あるいは、画像毎に最も高い確信度を種別毎に全て足し合わせたものを判別用スコアとしてもよい。種別判別部14は、判別用スコアが最も高い種別を当該揚重時間帯で揚重された資材の種別とする。
【0062】
また、種別判別部14は、1つの揚重時間帯に係る複数の画像全てを入力して、当該複数の画像の入力に対して資材の種別に係る1つの情報を出力する学習モデルを用いて、揚重時間帯で揚重された資材の種別を判別してもよい。当該学習モデルは、例えば、Convolutional LSTM(Long Short Term Memory)である。この場合の学習モデルからの出力は、例えば、上述した学習モデルと同様の種別毎のスコアである確信度である。種別判別部14は、最も高い確信度の種別を、当該揚重時間帯において揚重された資材の種別とする。このような判別によって、複数の画像の特徴を総合的に踏まえた判別(複数の画像に共通して含まれる特徴又は特定の資材に見られる運動(空中での回転など)を考慮した判別)が可能となり、結果的にクレーン100の揚重実績を示す情報をより適切に取得することができる。
【0063】
種別判別部14は、時間帯特定部12から入力した揚重時間帯を示す情報、及び判別した当該揚重時間帯において揚重された資材の種別を示す情報を、クレーン100の揚重実績を示す情報(例えば、
図3に示す情報)として出力する。また、種別判別部14は、時間帯特定部12から各揚重時間帯の各時刻におけるクラスを示す情報を入力して、当該情報もクレーン100の揚重実績を示す情報として出力してもよい。この情報によれば、揚重の有無だけではなく、揚重に係る「玉掛け・地切り」、「揚重」、「取付・玉外し」及び「揚重戻り」といった作業の内訳の時刻を含むより詳細な実績を把握することができる。
【0064】
例えば、種別判別部14は、揚重実績を示す情報をユーザ等の端末(例えば、工事管理者が用いる事務所の端末)に送信する。あるいは、種別判別部14は、サーバ装置10が備える表示装置に表示させる。揚重実績を示す情報の表示は、時系列に何の資材がどのタイミングで揚重されたかを可視化するものであってもよい。また、資材の種別毎の時間当たりの揚重回数等の統計量も表示してもよい。ユーザは、出力された情報を参照することでクレーン100の揚重実績を把握することができる。
【0065】
種別判別部14による判別、及び判別に基づくクレーン100の揚重実績を示す情報は、予め設定したタイミングで行われればよい。例えば、種別判別部14は、30分毎に最新の情報に更新して出力する。また、そのような出力が行えるように各機能部も適宜のタイミングで処理を行う。また、種別判別部14は、揚重時間帯に含まれる複数のタイミングでの画像を用いるものであれば、上記以外の方法によって資材の種別を判別してもよい。以上が、サーバ装置10の機能である。
【0066】
引き続いて、
図8のフローチャートを用いて、本実施形態に係る揚重実績取得システム1で実行される処理を説明する。本処理では、測位計20によって、クレーン100の揚重に係る高度が検出される(S01)。また、カメラ30によって、クレーン100によって揚重された資材が撮像される(S02)。なお、測位計20による検出(S01)及びカメラ30による撮像(S02)は、クレーン100の揚重実績を示す情報の取得対象となる時間帯において継続して行われる。
【0067】
サーバ装置10では、高度情報取得部11によって、測位計20による検出結果である、クレーン100の揚重に係る時系列の高度を示す高度情報が取得される(S03)。続いて、時間帯特定部12によって、高度情報に基づいて、揚重された資材毎にクレーン100によって資材の揚重が行われた揚重時間帯の少なくとも一部(上記の例では「揚重」の時間帯)が特定される(S04)。続いて、画像取得部13によって、揚重時間帯それぞれについて、時間帯特定部12によって特定された時間帯に含まれる複数のタイミングでカメラ30によって撮像された、揚重された資材の複数の画像が取得される(S05)。
【0068】
続いて、種別判別部14によって、複数の画像から、揚重時間帯毎に揚重された資材の種別が判別される(S06)。続いて、種別判別部14によって、判別結果を含む、クレーン100の揚重実績を示す情報が出力される(S07)。以上が、本実施形態に係る揚重実績取得システム1で実行される処理である。
【0069】
本実施形態では、揚重時間帯の少なくとも一部(上記の例では「揚重」の時間帯)において揚重された資材の複数の画像から、資材の種別が判別される。これによって、上述したように1枚の画像から適切な種別が判別できなかった場合(例えば、治具に資材が一時的に隠れている場合、又は資材の姿勢が判定をしにくいものである場合)であっても、適切に資材の種別を判別することができる。複数のタイミングの画像を用いることで、資材が回転して資材が見えやすくなる等の上記の判別をしにくい状況が改善された画像を判別に用いることができる。その結果、本実施形態によれば、クレーン100の揚重実績を示す情報を適切に取得することができる。また、本実施形態によれば、自動的かつ合理的に揚重実績を示す情報を取得することができ、作業員の目視による記録等を省力化することができる。即ち、本実施形態によれば、揚重実績を示す情報取得の省力化を図ることができる。従って、本実施形態は、クレーン100による揚重作業の効率化に寄与することができる。
【0070】
また、本実施形態のように、揚重時間帯の少なくとも一部として、クレーン100の揚重によって高度方向に資材が運搬されている時間帯(上記の例では「揚重」の時間帯)を特定してもよい。この構成によれば、資材の種別に用いる複数の画像を、より確実に資材が写ったものにすることができる。即ち、資材の種別に用いる複数の画像を、適切なものとすることができる。その結果、クレーン100の揚重実績を示す情報を適切かつ確実に取得することができる。但し、特定される時間帯は、上記である必要はなく、揚重時間帯の少なくとも一部、かつ揚重された資材の種別の判別に用いることができる画像を取得可能な時間帯であればよい。
【0071】
また、本実施形態のように、揚重時間帯の少なくとも一部における、高度が、予め設定した高度以上の時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を、資材の種別の判別に用いてもよい。また、予め設定した数の等間隔の複数のタイミングで撮像された、揚重された資材の複数の画像を、資材の種別の判別に用いてもよい。これらの構成によれば、資材の種別に用いる複数の画像を適切なものとすることができる。その結果、クレーン100の揚重実績を示す情報を適切かつ確実に取得することができる。但し、画像に係るタイミングは、上記である必要はなく、揚重時間帯に含まれる複数のタイミングであればよい。
【0072】
また、本実施形態にように、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別することとしてもよい。例えば、上述したように多数決によって資材の種別を最終決定してもよい。この構成によれば、適切かつ確実に資材の種別を判別することができる。その結果、クレーン100の揚重実績を示す情報を適切かつ確実に取得することができる。但し、揚重された資材の種別の判別において、必ずしも画像毎の一時的な判別を行う必要はない。
【0073】
また、本実施形態にように、複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーン100の揚重実績を示す情報を更に適切に取得することができる。但し、必ずしも、揚重された資材の種別の判別は上記のように行われる必要はない。
【0074】
また、本実施形態にように、画像のフック102が写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーン100の揚重実績を示す情報を更に適切に取得することができる。例えば、画像に判別対象以外の資材以外のものが写っている場合であっても、適切に適切に資材の種別を判別することができる。但し、切り取りを行わずに適切に資材の種別を判別できる場合等には、必ずしも上記の構成を取る必要はない。
【0075】
また、本実施形態にように、揚重実績取得システム1は、クレーン100のフックブロック103の上部かつ当該フックブロック103を支持する2本のスリング104に挟まれる位置に設けられる、クレーンの揚重に係る時系列の高度を検出する検出手段である測位計20を更に備え、測位計20の検出による高度情報を取得してもよい。この構成によれば、確実かつ適切に高度情報を取得できる。また、揚重時等の測位計20の破損を防止することができる。但し、測位計20に関して必ずしも上記の構成を取る必要はない。
【0076】
また、本実施形態にように、揚重実績取得システム1は、クレーン100のフックブロック103の2枚の板状の部材103aの間に設けられる撮像手段であるカメラ30を更に備え、カメラ30の撮像によって得られた画像を資材の種別を判別に用いてもよい。この構成によれば、確実に画像を取得できるようにすることができる。また、揚重時等のカメラ30の破損を防止することができる。但し、カメラ30に関して必ずしも上記の構成を取る必要はない。
【0077】
なお、本実施形態では、揚重実績取得システム1は、サーバ装置10と、測位計20と、カメラ30とを含むものとしたが、揚重実績取得システム1は、サーバ装置10のみから構成されていてもよい。その場合、揚重実績取得システム1は、揚重実績取得システム1に含まれない測位計及びカメラから、上記の必要なデータを取得すればよい。
【0078】
本開示の揚重実績取得システムは、以下の構成を有する。
[1] 資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、
クレーンの揚重に係る時系列の高度を示す高度情報を取得する高度情報取得手段と、
前記高度情報取得手段によって取得された高度情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた揚重時間帯の少なくとも一部を特定する時間帯特定手段と、
前記揚重時間帯それぞれについて、前記時間帯特定手段によって特定された当該揚重時間帯の少なくとも一部に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、
前記画像取得手段によって取得された複数の画像から、揚重時間帯毎に揚重された資材の種別を判別する種別判別手段と、
を備える揚重実績取得システム。
[2] 前記時間帯特定手段は、前記揚重時間帯の少なくとも一部として、クレーンの揚重によって高度方向に資材が運搬されている時間帯を特定する[1]に記載の揚重実績取得システム。
[3] 前記画像取得手段は、前記揚重時間帯の少なくとも一部における、前記高度情報によって示される高度が、予め設定した高度以上の時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する[1]又は[2]に記載の揚重実績取得システム。
[4] 前記画像取得手段は、予め設定した数の等間隔の複数のタイミングで撮像された、揚重された資材の複数の画像を取得する[1]~[3]の何れかに記載の揚重実績取得システム。
[5] 前記種別判別手段は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別する[1]~[4]の何れかに記載の揚重実績取得システム。
[6] 前記種別判別手段は、前記画像取得手段によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別する[1]~[5]の何れかに記載の揚重実績取得システム。
[7] 前記種別判別手段は、前記画像取得手段によって取得された複数の画像のクレーンのフックが写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別する[1]~[6]の何れかに記載の揚重実績取得システム。
[8] クレーンのフックを支持するフックブロックの上部かつ当該フックブロックを支持する2本のスリングに挟まれる位置に設けられる、クレーンの揚重に係る時系列の高度を検出する検出手段を更に備え、
前記高度情報取得手段は、前記検出手段の検出による高度情報を取得する[1]~[7]の何れかに記載の揚重実績取得システム。
[9] クレーンのフックを支持すると共に互いの主面が間隔を空けて向かい合う2枚の板状の部材を含んで構成されるフックブロックの、当該2枚の板状の部材の間に設けられる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段の撮像による画像を取得する[1]~[8]の何れかに記載の揚重実績取得システム。
【符号の説明】
【0079】
1…揚重実績取得システム、10…サーバ装置、11…高度情報取得部、12…時間帯特定部、13…画像取得部、14…種別判別部、20…測位計、30…カメラ、100…クレーン、101…ブーム、102…フック、103…フックブロック、104…スリング。