(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159112
(43)【公開日】2024-11-08
(54)【発明の名称】揚重分析装置、揚重分析システム、学習システム、揚重分析方法、学習方法
(51)【国際特許分類】
B66C 13/00 20060101AFI20241031BHJP
【FI】
B66C13/00 Z
B66C13/00 D
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023074893
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】林 拓宏
(72)【発明者】
【氏名】中村 寛
(72)【発明者】
【氏名】大山 巧
(72)【発明者】
【氏名】渡邊 基史
(57)【要約】
【課題】揚重実績を容易に収集する。
【解決手段】揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルを記憶する記憶部と、分析対象である、前記揚重装置の稼働データを取得する稼働データ取得部と、分析対象である、前記揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得する画像取得部と、前記分析対象である稼働データと、前記分析対象である画像データとを前記学習済みモデルに入力することで、前記作業内容を分析結果として得る分析部と、を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルを記憶する記憶部と、
分析対象である、前記揚重装置の稼働データを取得する稼働データ取得部と、
分析対象である、前記揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得する画像取得部と、
前記分析対象である稼働データと、前記分析対象である画像データとを前記学習済みモデルに入力することで、前記作業内容を分析結果として得る分析部と、
を有する揚重分析装置。
【請求項2】
前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を取得する正解情報取得部を有し、
前記稼働データ取得部は、学習する対象である稼働データを取得し、
前記画像取得部は、前記撮像部によって撮像された画像データであって学習する対象である画像データを取得し、
前記揚重分析装置は、
前記学習する対象である画像データに基づいて推定される吊荷に関する吊荷情報と前記学習する対象の稼働データと前記正解情報とを用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習する学習部を有し、
前記記憶部は、前記学習部によって学習された学習済みモデルを記憶する
請求項1に記載の揚重分析装置。
【請求項3】
吊荷が梁であることを示す情報が前記吊荷情報に含まれる場合には、前記梁が大梁または小梁のいずれであるかを示す梁情報と、連吊された数を判定した連吊情報とのうち少なくともいずれか1つについて判定された判定結果を含む連吊情報を取得する連吊情報取得部を有し、
前記学習部は、
前記連吊情報取得部によって取得された連吊情報と、前記稼働データと、前記画像データとを用いて、前記画像データに基づいて推定される吊荷に関する吊荷情報と前記稼働データに基づいて推定される作業内容との関係を学習する
請求項2に記載の揚重分析装置。
【請求項4】
前記学習済みモデルを生成するために前記稼働データ、前記画像データ、前記正解情報が収集された施工現場とは異なる施工現場を分析対象として用いる場合に、当該分析対象の施工現場において、収集される前記稼働データ、前記画像データ、前記正解情報を用いて前記学習済みモデルを再学習する再学習部を有し、
前記分析部は、前記分析対象の施工現場において施工開始から定められた階層の施工がなされるまでの間について前記再学習が行われた後、残りの階層の施工時において、前記再学習された学習済みモデルを用いて分析をする
請求項3に記載の揚重分析装置。
【請求項5】
揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルを記憶する記憶部と、
分析対象である、前記揚重装置の稼働データを取得する稼働データ取得部と、
分析対象である、前記揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得する画像取得部と、
前記分析対象である稼働データと、前記分析対象である画像データとを前記学習済みモデルに入力することで、前記作業内容を分析結果として得る分析部と、
を有する揚重分析システム。
【請求項6】
揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を取得する正解情報取得部と、
学習する対象である画像データに基づいて推定される吊荷に関する吊荷情報と前記学習する対象の稼働データとの少なくともいずれか一つと、前記正解情報とを用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習する学習部と
を有する学習システム。
【請求項7】
稼働データ取得部が、分析対象である、揚重装置の稼働データを取得し、
画像取得部が、分析対象である、前記揚重装置が揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得し、
分析部が、揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルに、前記分析対象である稼働データと、前記分析対象である画像データとを入力することで、前記作業内容を分析結果として得る
揚重分析方法。
【請求項8】
正解情報取得部が、揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を取得し、
学習部が、学習する対象である画像データに基づいて推定される吊荷に関する吊荷情報と前記学習する対象の稼働データとの少なくともいずれか一つと、前記正解情報とを用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習する
学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、揚重分析装置、揚重分析システム、学習システム、揚重分析方法、学習方法に関する。
【背景技術】
【0002】
従来から行われているクレーン揚重作業の予定・実績の管理手法では、クレーン揚重計画(1日の取付部材数や取付順の計画)が、建物の構造や構法、敷地条件、工期、クレーン配置・台数などを総合的に考慮して立てられる。クレーン揚重計画を立てるにあたり、各部材の1ピース当たりの取付時間は、類似現場の揚重実積データ等を参考にして見積もられる。各部材の1ピース当たりの取付時間を見積もることで、1日何ピース揚重するかの計画を立てることができる。
このようなクレーン揚重計画が立てられ、実際に現場が稼働すると、現場の稼働中における揚重実績を手書きで記録し、この記録された揚重実績とクレーン揚重計画を照らし合わせながら、当該計画を日々改善していく。例えば、取付ピース数を増やす、時間がかかる作業の段取りを変更するなどをし、クレーン揚重計画を見直すことがある。
特許文献1には、揚重装置の利用スケジュール等をデータベースに事前に登録しておき、揚重装置の利用スケジュールを一元管理することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、揚重実績を手書きによって記録された内容を利用使用とすると、手書きによる記録や記録内容の集計に時間と手間が掛かる。
また、このような手書きの記録を揚重装置のオペレータが行おうとすると、揚重の操作以外に記録も行わなければならないため、負担が増えることになり、また、集中力の低下に起因する安全性の確保も課題となる。
【0005】
本発明は、このような事情に鑑みてなされたもので、その目的は、揚重実績を容易に収集することができる揚重分析装置、揚重分析システム、学習システム、揚重分析方法、学習方法を提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一態様は、
揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルを記憶する記憶部と、分析対象である、前記揚重装置の稼働データを取得する稼働データ取得部と、分析対象である、前記揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得する画像取得部と、前記分析対象である稼働データと、前記分析対象である画像データとを前記学習済みモデルに入力することで、前記作業内容を分析結果として得る分析部と、を有する揚重分析装置である。
【0007】
また、本発明の一態様は、揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルを記憶する記憶部と、分析対象である、前記揚重装置の稼働データを取得する稼働データ取得部と、分析対象である、前記揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得する画像取得部と、前記分析対象である稼働データと、前記分析対象である画像データとを前記学習済みモデルに入力することで、前記作業内容を分析結果として得る分析部と、を有する揚重分析システムである。
【0008】
また、本発明の一態様は、揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を取得する正解情報取得部と、学習する対象である画像データに基づいて推定される吊荷に関する吊荷情報と前記学習する対象の稼働データとの少なくともいずれか一つと、前記正解情報とを用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習する学習部とを有する学習システムである。
【0009】
また、本発明の一態様は、稼働データ取得部が、分析対象である、揚重装置の稼働データを取得し、画像取得部が、分析対象である、前記揚重装置が揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データを取得し、分析部が、揚重装置の稼働データと、前記揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルに、前記分析対象である稼働データと、前記分析対象である画像データとを入力することで、前記作業内容を分析結果として得る揚重分析方法である。
【0010】
また、本発明の一態様は、正解情報取得部が、揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を取得し、学習部が、学習する対象である画像データに基づいて推定される吊荷に関する吊荷情報と前記学習する対象の稼働データとの少なくともいずれか一つと、前記正解情報とを用いて、前記揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習する学習方法である。
【発明の効果】
【0011】
以上説明したように、この発明によれば、揚重実績を容易に収集することができる。
【図面の簡単な説明】
【0012】
【
図1】この発明の一実施形態による揚重管理システムSの構成を示す概略ブロック図である。
【
図2】学習フェーズにおける揚重管理システムSの動作を説明する流れ図である。
【
図3】実行フェーズにおける揚重管理システムSの動作を説明する流れ図である。
【
図4】稼働データに基づいて、クレーン100の作業内容を上空側から見た場合に相当する画像が表示された場合の画面例を表す図である。
【
図5】揚重タスクについて分析をし、その分析結果を管理サーバ300に記憶する流れを説明する図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態による揚重管理システムSについて図面を参照して説明する。
図1は、この発明の一実施形態による揚重管理システムSの構成を示す概略ブロック図である。
揚重管理システムSは、クレーン100、端末装置200、管理サーバ300とを含む。
クレーン100には分析装置150が搭載されており、分析装置150が端末装置200及び管理サーバ300と無線によって通信を行う。クレーン100は、施工現場において利用される揚重装置である。クレーン100は、タワークレーンや移動式クレーン等のその他の揚重装置であってもよい。
【0014】
《クレーン》
クレーン100は、カメラ101、可動部102、アクチュエータ103、制御部104、センサ群105、分析装置150を有する。
カメラ101は、クレーン100のジブに取り付けられ、ジブから下方を撮像範囲として撮像する。カメラ101は、クレーン100を稼働させることで行われる作業中において、継続的にジブから下方を撮像する。クレーン100の作業は、いくつかの区分作業に分けることができ、例えば、玉掛け、揚重、調整、玉外しの4つの作業区分がある。各区分作業が行われている間においてカメラ101によって撮像することで、ジブによって揚重される対象物や、玉掛けが行われる場所、揚重している間における対象物、玉外しが行われる場所等を撮像することができる。
玉掛けは、単位作業における最初の作業であり、今回の単位作業により運搬すべき吊荷をクレーン100のフックに掛ける作業である。揚重は、玉掛けの作業によってフックに掛けられた吊荷をクレーン100により引き揚げて、玉外しすべき所定の位置にまで移動させる作業である。調整は、揚重の作業によって所定の位置にまで移動された吊荷が正しく置かれるように、運搬物の位置や向きを調整する作業である。玉外しは、調整の作業によって正しい位置に置かれた状態の吊荷からフックを外す作業である。
対象物は、吊荷である。吊荷は、大梁、小梁などの梁や、梁以外の建築資材等がある。
【0015】
可動部102は、例えば旋回体、昇降フレーム、ジブ、ワイヤー、フック等が含まれる。
旋回体は、クレーン100のマストの上端部に対して設けられ、マストを回転軸として例えば水平方向において旋回することができる。旋回体には運転席が設けられる。また、旋回体にはジブが取り付けられる。ジブの先端には、フックを備えるフックブロックがワイヤーによって吊り下げられている。
アクチュエータ103には、例えば可動部102を動かすモータ等が含まれる。
制御部104には、例えばアクチュエータ103を制御するPLC(Programmable Logic Controller)等が含まれる。
センサ群105は、複数のセンサであり、例えば吊荷重検出を検出するセンサ、ジブ(ブーム)長検出をするセンサ、ジブ(ブーム)角度検出をするセンサ、接近検出をするセンサ、風速検出をするセンサ、故障検出をするセンサなどの各種測定項目に応じたセンサを含む。
【0016】
《分析装置》
分析装置150は、画像データ取得部151、稼働データ取得部152、通信部153、記憶部154、分析部155、制御部156を有する。分析装置150は、例えば、クレーン100のクレーン運転室内(旋回体内)に設けられる。
画像データ取得部151は、分析対象である、揚重する対象物を撮像するカメラ101によって撮像された撮像画像を表す画像データをカメラ101から取得する。
稼働データ取得部152は、分析対象である、揚重装置(クレーン100)の稼働データを制御部104から取得する。稼働データ取得部152は、例えば、稼働データを1秒毎に収集する。
【0017】
ここで、稼働データには、吊荷の荷重値、クレーン作業半径、旋回角度、フック揚程等が含まれる。
また、稼働データには、例えば制御部104がアクチュエータ103等に対して出力する制御信号、センサ群105の出力信号などであってもよい。
また、稼働データには、例えば、フック座標などの可動部102の位置情報、アクチュエータ103に供給される電流や電圧値、センサ群105によって検出される風速、また、警報、故障情報、揚程などが含まれていてもよい。
【0018】
通信部153は、管理サーバ300と無線によって通信をする。通信部153は、携帯回線やWi-Fi(登録商標)を経由して管理サーバ300と通信をする。
例えば、通信部153は、管理サーバ300から送信される学習済みモデルを受信し、記憶部154に書き込む。また、通信部153は、画像データ取得部151によって取得された画像データと、稼働データ取得部152によって取得された稼働データを管理サーバ300に送信する。
【0019】
記憶部154は、各種データを記憶する。
例えば、記憶部154は、管理サーバ300によって生成された学習済みモデルを記憶する。
学習済みモデルは、揚重装置(例えばクレーン100)の稼働データと、揚重装置に取り付けられ揚重する対象物を撮像する撮像部によって撮像された撮像画像を表す画像データと、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を用いて、揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習した学習済みモデルである。
【0020】
分析部155は、分析対象である稼働データと、分析対象である画像データとを学習済みモデルに入力することで、作業内容を分析結果として得る。
また、分析部155は、分析対象の施工現場において施工開始から定められた階層の施工がなされるまでの間について再学習が行われた後、残りの階層の施工時において、再学習された学習済みモデルを用いて分析をする。
【0021】
制御部156は、分析装置150の各部を制御する。また、制御部156は、分析部155によって分析された結果と、画像データと、稼働データとを管理サーバ300に通信部153によって送信する。
【0022】
分析装置150は、AI(Artificial Intelligence)の分析基盤として機能する。
分析装置150の画像データ取得部151、稼働データ取得部152、通信部153、分析部155、制御部156は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。
【0023】
《端末装置200》
端末装置200は、通信部201、記憶部202、入力部203、出力部204、制御部205を有する。端末装置200は、例えば、施工現場において、揚重装置を利用して行われる作業状況を確認する確認者によって利用される。
通信部201は、分析装置150と無線によって通信を行う機能を有するとともに、管理サーバ300と無線によって通信を行う機能を有する。
記憶部202は、各種データを記憶する。
【0024】
入力部203は、例えばタッチパネルなどの入力装置であり、施工現場においてクレーン100の稼働情報を確認する確認者からの操作入力を受け付ける。操作入力される内容は、例えばクレーン100によって揚重された、吊荷の種類(大梁、小梁、資材名等であってもよい)、吊られている資材の名称、取付階数(取付フロア)、取付時刻、作業時間などの入力を受け付ける。
出力部204は、各種データを出力する。出力部204は、例えば液晶表示パネルであり、各種データを表示する。
制御部205は、端末装置200内の各部を制御する。また、制御部205は、分析装置150から稼働データを、通信部201を介して取得し、取得した稼働データを出力部204に出力(表示)させる。
【0025】
端末装置200の通信部153、制御部205は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。
【0026】
《管理サーバ》
管理サーバ300は、通信部301、記憶部302、画像データ取得部303、稼働データ取得部304、学習部305、再学習部306、正解情報取得部307、連吊情報取得部308を有する。
通信部301は、端末装置200と、分析装置150と無線によって通信を行う。
記憶部302は、各種データを記憶する。
例えば、記憶部302は、学習部305によって生成された学習済みモデルを記憶する。また、記憶部302は、再学習部306によって再学習された学習済みモデルを記憶する。
また、記憶部302は、分析装置150から送信される、分析結果、画像データ、稼働データを通信部301によって受信し、記憶する。
【0027】
画像データ取得部303は、分析装置150から送信される画像データを、通信部301を介して取得する。
稼働データ取得部304は、分析装置150から送信される稼働データを、通信部301を介して取得する。
【0028】
学習部305は、画像データに基づいて推定される吊荷に関する吊荷情報と稼働データと正解情報とを用いて、揚重装置を用いて荷を運ぶ作業における、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つを含む作業内容を学習する。この学習には、AIの機能を用いる。
学習部305は、連吊情報取得部308によって取得された連吊情報と、稼働データと、画像データとを用いて、画像データに基づいて推定される吊荷に関する吊荷情報と前記稼働データに基づいて推定される作業内容との関係を学習する。
【0029】
学習部305によって生成される学習済みモデルは、画像データと稼働データとが入力されると作業内容を推定する。学習済モデルには、モデルを構築するために用いられる情報が記憶される。例えば、学習済モデルがDNN(Deep Neural Network)に基づくモデルである場合、モデルを構築するために用いられる情報として、入力層、中間層、出力層の各層のユニット数、中間層の層数、ユニット間の結合係数とバイアス値、及び活性化関数などを示す情報が記憶される。
また、学習済みモデルは、DNNに限定されることはなく、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、或いはCNNとRNNの組合せ、HMM(Hidden Markov Model)、又はSVM(Support Vector Machine)等の任意の学習モデルが用いられてもよい。
【0030】
再学習部306は、学習済みモデルを生成するために稼働データ、画像データ、正解情報が収集された施工現場とは異なる施工現場を分析対象として用いる場合に、当該分析対象の施工現場において、収集される稼働データ、画像データ、正解情報を用いて学習済みモデル(学習部305によって生成される学習済みモデル)を再学習する。
【0031】
正解情報取得部307は、前記揚重装置を利用して行われた作業を確認する確認者から入力される、吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つについての正解を含む正解情報を取得する。
連吊情報取得部308は、吊荷が梁であることを示す情報が前記吊荷情報に含まれる場合には、前記梁が大梁または小梁のいずれであるかを示す梁情報と、連吊された数を判定した連吊情報とのうち少なくともいずれか1つについて判定された判定結果を含む連吊情報を取得する。
【0032】
管理サーバ300の通信部301、画像データ取得部303、稼働データ取得部304、学習部305、再学習部306、正解情報取得部307、連吊情報取得部308は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。
【0033】
記憶部154、記憶部202、記憶部302は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部154、記憶部202、記憶部302は、例えば、不揮発性メモリを用いることができる。
【0034】
次に、揚重管理システムSの動作について説明する。揚重管理システムSの動作は、大きく分けて学習フェーズと実行フェーズとがある。
《学習フェーズ》
図2は、学習フェーズにおける揚重管理システムSの動作を説明する流れ図である。
施工現場においてクレーン100が稼働すると、カメラ101は、ジブから下方側の領域を撮像対象として所定のフレームレートで撮像し、撮像された画像データを順次出力する(ステップS11)。フレームレートは、任意の値であってもよいが、クレーン100の1つの作業区分について複数のフレームが撮像される間隔であることが好ましい。例えば、玉掛けをする作業について複数のフレームで撮像したり、吊荷を吊った状態でジブが旋回する間において複数のフレームで撮像したりすることが可能な間隔である。画像データ取得部151は、カメラ101から順次出力される画像データを取得する。
【0035】
制御部156のPLCは、クレーン100が稼働すると、稼働データを生成して出力する(ステップS12)。稼働データ取得部152は、制御部156のPLCから出力される稼働データを取得する。
【0036】
学習済みモデルが生成されていない段階では、分析装置150において、分析部155は分析を行わず、制御部156は、画像データと稼働データとを管理サーバ300に通信部153によって送信する(ステップS13)。
画像データと稼働データは、予め決められたタイミングが到来する毎に通信部201から送信される。予め決められたタイミングは、一定時間毎であってもよいし、画像データと稼働データが生成されたタイミングであってもよい。
【0037】
一方、端末装置200は、分析装置150において稼働データが生成されると、生成された稼働データを受信し、出力部204によって画面上に表示する。端末装置200を利用する確認者は、クレーン100の実際の稼働状況を確認するとともに、画面上に表示された稼働データを確認し、その稼働データに対して吊荷種別、取付階、取付時刻、作業時間のうち少なくともいずれか1つの項目について、正解を表す正解情報を入力部203から入力する。吊荷種別は、クレーン100によって実際に吊られている吊荷が確認者によって視認され、確認者によって入力部203から入力される。
【0038】
取付階は、クレーン100によって実際に吊られている吊荷が、施工対象の建築物のいずれの階に運ばれて玉外しされ、外された吊荷(例えば梁)が取り付けられたか、その階数が確認者によって視認され、確認者によって入力部203から入力される。
取付時刻は、クレーン100によって実際に吊られている吊荷が取り付けられた時刻が確認者によって視認され、確認者によって入力部203から入力される。この時刻は、例えば端末装置200の画面上に「現在時刻を取付時刻として入力」というボタンを設定しておき、このボタンが確認者によってタップされたときの時刻を取付時刻として入力されるようにしてもよいし、時刻入力欄に、タッチパネル上の数字をタップすることで、取り付けられた時刻を入力するようにしてもよい。
【0039】
作業時間は、端末装置200のタッチパネルに設けられた「作業開始」と「作業終了」のボタンがあり、ある区分作業が開始されたことを確認した確認者が、区分作業が開始されたタイミングで「作業開始」のボタンが押された時点から、ある区分作業が終了したことを確認した確認者が、区分作業が終了されたタイミングで「作業終了」のボタンが押された時点までの経過時間を計測することで、作業時間が求められる。この求められた作業時間を、いずれの区分作業の作業時間として設定するかの入力を受け付けることで、区分作業毎の作業時間が指定される。
なお、作業時間は、区分作業毎に計測する場合について説明するが、区分作業以外の分け方によって規定される作業についても作業時間であってもよい。
【0040】
端末装置200は、入力部203から入力される正解情報と、正解情報が付与された稼働データとを管理サーバ300に送信する(ステップS14)。
ここで確認者は、クレーン100によって継続的に行われる作業状況を継続して確認しつつ、順次受信される稼働データを画面上において確認し、表示された稼働データや、実際の施工現場において行われている作業内容を確認した上で、確認結果を正解情報として順次入力する。これにより、稼働データと正解情報とが関連づけされたデータが順次端末装置200から管理サーバ300に送信される。
【0041】
学習部305は、分析装置150から画像データと稼働データとを受信し、端末装置200から正解情報を稼働データとを受信すると、分析装置150から受信した稼働データに基づいて、当該分析装置150から受信した稼働データに対応する稼働データの正解情報を特定し、特定された正解情報と、画像データと、稼働データと教師データとして学習する。
【0042】
このような学習は、分析装置150から得られる画像データ及び稼働データと、端末装置200から得られる正解情報と稼働データとが、一定期間蓄積された段階で行ってもよい。
そして、学習が行われることで、学習済みモデルを得ることができる。このような学習済みモデルは、現場の規模や施工対象の建築物に種別に応じて異なる学習済みモデルを保存するようにしてもよいし、クレーン100の機種別に異なる学習済みモデルを保存するようにしてもよい。これにより、施工現場の特性に応じた学習済みモデルを複数種類準備することができ、今後分析をする対象の施工現場の特性に近い学習済みモデルを選択し、施工現場における揚重の分析に適用することができる。これにより、より精度の高い分析を行うことができる。
【0043】
学習済みモデルが生成されると、管理サーバ300は、学習済みモデルを分析装置150に送信する(ステップS15)。
分析装置150は、管理サーバ300から得られた学習済みモデルを記憶部154に記憶する。
【0044】
分析装置150は、学習済みモデルを管理サーバ300から取得すると、取得された学習済みモデルを記憶部154に記憶する。
【0045】
ここでは、学習済みモデルを新たに生成する場合について説明したが、学習済みモデルを再学習させることもできる。
再学習を行う場合としては、例えば、今回の分析対象の施工現場とは異なる施工現場において収集されたデータに基づいて生成された学習済みモデルを今回の分析対象の施工現場に用いる場合において、利用を開始してからある程度の期間が経過するまでの間に行うことがある。例えば、吊荷の外形は、施工現場毎に少しずつ異なる場合があるため、他の施工現場において生成された学習済みモデルを次の施工現場に用いる場合には、調整が必要になることがあるためである。
ある程度の期間としては、例えば、施工開始時から低層階の施工時までの間である。低層階の施工時に再学習をし、残りの階層(中層階から高層階)の施工時は、再学習をすることで得られた学習済みモデルを分析部155が用いることで分析をする。これにより、学習済みモデルの習熟度が向上する。また、学習済みモデルの習熟度が一定程度に到達すると、別の施工現場において、再学習することなく施工初期から学習済みモデルを用いて分析するようにしてもよい。
【0046】
再学習を行う場合、分析部155は、クレーン100の稼働に応じて取得される画像データと稼働データとを学習済みモデルに入力し、吊荷種別、取付階、取付時刻、作業時間等の分析結果を得る。制御部156は、分析結果と画像データと稼働データとを管理サーバ300に送信する(ステップS21)。
一方、確認者は、再学習を行う期間において、クレーン100の実際の稼働状況や稼働データを確認し、正解情報を入力する。端末装置200は、入力された正解情報と稼働データとを管理サーバ300に送信する(ステップS22)。
【0047】
管理サーバ300の再学習部306は、記憶部302に記憶されている学習済みモデルのうち、分析部155において用いられている学習済みモデルと同じ学習済みモデルに対し、分析部155から得られた分析結果と、端末装置200から得られる正解情報とを照合し、照合結果に基づいて、分析結果が正解情報に近づくように学習済みモデルの係数等を更新する。再学習期間において、順次分析結果と正解情報とを取得して再学習を行うことで、学習済みモデルが更新されて再学習が進む。
【0048】
管理サーバ300は、低層階の施工期間において上述のような再学習を行い、中層階の施工開始時に、再学習された学習済みモデルを分析装置150に送信し(ステップS23)、再学習を終了する。分析装置150は、再学習された学習済みモデルを記憶部154に記憶する。分析部155は、再学習された学習済みモデルを用いて分析を行う。
【0049】
分析部155は、画像データ取得部151によって取得された画像データと、稼働データ取得部304によって取得された稼働データとを学習済みモデルに入力することで、作業内容を表すデータを得ることで作業内容を分析する。
制御部156は、分析部155によって分析された結果と、分析に用いられた画像データ及び稼働データを管理サーバ300に通信部201を介して送信する(ステップS13)。
【0050】
《実行フェーズ》
図3は、実行フェーズにおける揚重管理システムSの動作を説明する流れ図である。
実行フェーズにおいて、分析装置150は、管理サーバ300から受信した学習済みモデルを用いて、施工現場におけるクレーン100の作業内容を推定する。
分析部155は、クレーン100の稼働中においてカメラ101によって撮像される画像データを、画像データ取得部151を介して取得し(ステップS51)、クレーン100の稼働中において生成される稼働データを、稼働データ取得部152を介して取得し(ステップS52)、これら画像データと稼働データとを、学習済みモデルに入力し、吊荷種別、取付階、取付時刻、作業時間等の分析結果を得る。制御部156は、分析結果と画像データと稼働データとを管理サーバ300に送信する(ステップS53)。
この実行フェーズでは、端末装置200から正解情報を入力する必要がない。
【0051】
クレーン100が稼働している間において、上述のステップS51からS53が繰り返されることで、分析結果として得られた作業内容が管理サーバ300に送信される。これにより、管理サーバ300の記憶部302に、推定された作業内容が蓄積される。
【0052】
次に、実行フェーズにおける揚重管理システムSの動作について更に説明する。
上述した実施形態では、カメラ101から得られる画像のみではなく、画像データと稼働データとを併用した吊荷の判別及び作業状況の推定を行うことができる。
図4は、稼働データに基づいて、クレーン100の作業内容を上空側から見た場合に相当する画像が表示された場合の画面例を表す図である。
この図において、クレーン100の柱(マスト)の位置Pcとして表されている。
クレーン100の旋回体が旋回する開始位置と終了位置について、センサ群105の検出結果に基づいて、クレーン100の旋回体の旋回角を検出することができる。すなわち、旋回体の旋回角度を把握することで、回転方向におけるジブの旋回角度を把握することができる。また、ワイヤーの巻き取りと巻き出しをするモータの回転数をセンサ群105から取得し、ジブの角度をセンサ群105から取得し、これらの組み合わせから、ジブの高さ方向の位置を推定することができる。これにより、資材が保管されている領域である資材保管領域Rsに旋回体(ジブ)が向き、ジブが下ろされており、一定時間が経過した場合には、玉掛けが行われていると推定することができる。また、資材保管領域Rsには、どのような資材が保管されているかについて、資材保管領域Rsの識別情報と資材名とを関連付けて予め管理サーバ300の記憶部302に記憶しておくことで、どのような資材が玉掛けされたかについて、多数ある資材の中から、ある程度の絞り込み(梁と梁以外等)をすることができる。
【0053】
また、玉外しが行われた位置(例えば位置Pd)を推定することで、取付位置を推定することができる。
ここで、吊荷を揚重する場合、連吊される場合もある。玉掛けされた位置または玉外しされた位置のうち少なくともいずれか一方の位置が重なる場合には、連吊された吊荷であると推定することができる。また、吊荷の重量に基づいて、連吊であるか否かを推定することもできる。資材保管領域Rsに保管された資材のうち最も大きい重量よりも、1つの資材保管領域Rsから玉掛けされた吊荷の重さの方が大きい場合には連吊であると推定することができる。
このように、センサ群105から得られる測定結果や経過時間等の稼働データを組み合わせることで、資材の絞り込みと、作業区分を推定することが可能である。また、資材の絞り込みを行った上で、カメラ101の画像データから資材をさらに絞り込むことができる。
【0054】
画像データのみを用いて吊荷の判別を行う場合、外観が似ている部材については判別が難しい。また、稼働データのみを用いて吊荷の判別や作業状況を推定する場合には、稼働データを参照することで、吊荷の重量、取付位置(3次元空間における平面上の位置と高さ方向の位置)、連吊であること等を把握することができるが、画像を用いていないため、色や形状等を手がかりにした吊荷の推定をすることができないため、必ずしも画像データに基づく分析ほど精度が良くない場合もあり得る。
しかし、画像データと稼働データとの両方を併用することで、吊荷の判別精度を向上することができ、また、作業状況を推定する推定精度を向上することができる。
【0055】
例えば、画像データからでは、吊荷が梁であることを判別できたとしても大梁であるか小梁であるかを識別することが難しい場合がある。画像データに基づいて梁であることを推定した上で、稼働データに基づいて、重量や取付座標に基づいて大梁または小梁のいずれであるかを推定することができる。例えば、玉外しされた位置が大梁を取り付ける位置である場合には大梁であると推定することができ、玉外しされた位置が、小梁を取り付ける位置である場合には、小梁であると推定することができる。
また、画像データからではどこに取り付けられる吊荷であるかについて判別しにくいが、稼働データに基づく取付座標を用いることで、取付位置を推定することができる。
また、画像データからでは、連吊された吊荷が上方向からみて高さ方向において重なる場合には、連吊されたピース数を識別することが難しいが、稼働データに基づいて吊荷の重量を参照することで、連吊のピース数を推定することができる。
【0056】
次に、実行フェーズにおける揚重管理システムSの動作について更に説明する。
図5は、画像データと稼働データとを用いて1つの揚重タスクについて分析をし、その分析結果を管理サーバ300に記憶するまでの流れを説明する図である。ここで1つの揚重タスクとは、玉掛け、揚重、調整、玉外しまでの1サイクルである。このようなサイクルは、揚重が行われる毎に実行される。
分析部155は、画像データ取得部151を介してカメラ101から画像データを取得し(ステップS101)、稼働データ取得部152を介してセンサ群105等から稼働データを取得する(ステップS201)。
分析部155は、稼働データを学習済みモデルに入力することで、吊り治具の有無を判別する(ステップS202)。吊り治具があると判定された場合には、センサ群105の重量センサから得られた重量の測定結果を吊り治具の重量として記憶部154に記憶する(ステップS301)。
【0057】
次に、分析部155は、クレーンを稼働させている作業が行われている作業時間の判定をする(ステップS203)。すなわち、分析部155は、稼働データ取得部152によって取得された稼働データから、学習済みモデルによって、玉掛け、揚重、調整、玉外しのそれぞれの区分作業に該当するテータを特定することで、クレーンを利用した1つの揚重タスク(1サイクル)に該当するデータを特定する(ステップS302)。例えば、分析部155は、稼働データから、玉掛けが開始された時刻である玉掛け開始時刻、玉掛けが終了した時刻である玉掛け終了時刻、揚重が開始された時刻である揚重開始時刻、揚重が終了した時刻である揚重終了時刻、調整を開始した時刻である調整開始時刻、調整が終了した時刻である調整終了時刻、玉外しが開始された時刻である玉外し開始時刻、玉外しが終了した時刻である玉外し終了時刻を特定する。
また、分析部155は、画像データ取得部151によって取得されたカメラ画像を用い、荷の取付位置のXY座標を、学習済みモデルから分析結果として取得する(ステップS303)。
【0058】
次に分析部155は、揚重であると判定された時刻の画像データ(揚重に該当すると判定された期間に撮像された画像データ)を抽出する(ステップS102)。ここでは、揚重が行われている期間が一定程度の時間があるため、画像データも複数枚取得される。
分析部155は、抽出された複数枚の画像データのそれぞれを学習済みモデルに入力することで、画像データに含まれる画像から吊荷の種別を判定する(ステップS103)。吊荷の種別としては、例えば、柱、梁(大梁、小梁)、仮設、床、躯体、外装、内装、設備、その他等の種類がある。
【0059】
分析部155は、複数枚の画像データのそれぞれの判定結果に基づいて、多数決を取ることで、揚重された吊荷の種別がいずれであるか否かを判定する(ステップS104)。分析部155は、多数決の結果、柱、躯体、床等のように梁以外の種別であると判定された場合(ステップS105)には、判定結果である種別に基づく吊荷の種類がいずれであるか(柱、仮設、床、躯体、外装、内装、設備、その他等)を記憶部154に記憶する(ステップS307)。
一方、分析部155は、多数決の結果、梁であると判定された場合(ステップS106)には、稼働データを学習済みモデルに入力することで、大梁であるか小梁であるかの再判定を行う(ステップS204)。分析部155は、稼働データに基づいて大梁であるか小梁であるかを判定し、判定結果として大梁または小梁のうちいずれかを吊荷の種類として記憶部154に記憶する(ステップS307)。
ここでは、画像からは梁であることが検出できなかったとしても、稼働データから大梁または小梁であることが検出できる場合がある。例えば、画像データは、周囲が暗い、外光の影響等によって反射してしまう、背景と吊荷の区別が付きにくい等、吊荷の外観がわかりにくい状態で撮影される場合がある。このような場合であっても、玉かけの位置、玉外しの位置等から、大梁であるか小梁であるかを判定することができる。
【0060】
また、分析部155は、ステップS104の判定結果において、梁であると判定された場合において、揚重該当する稼働データを学習済みモデルに入力することで、梁が大梁であるか小梁であるかを再判定する(ステップS204)。そして、分析部155は、梁が大梁であるか小梁であるかを表す吊荷種別を記憶部154に記憶する(ステップS307)。
【0061】
次に分析部155は、稼働データが学習済みモデルに入力されることで得られる、吊荷が連吊であるいか否かの判定結果および、連吊りである場合には、連吊数のカウント結果を取得する(ステップS205)。そして分析部155は、連吊であるか否かの判定結果と、連吊である場合には、その連吊数を部材数として記憶部154に記憶する(ステップS308)。ここでは、部材数とともに吊荷の重量についても記憶部154に記憶する(ステップS309)。
次に、分析部155は、稼働データから学習済みモデルに入力されることで得られる、取付階の判定結果取得し、取付階を表す高さ方向の座標(Z座標の値)と(ステップS310)、取付階(ステップS311)を記憶部154に記憶させる。
このようにして、揚重の1タスクについて記憶部154に記憶させることができる。
揚重の1タスクの分析結果が得られると、制御部156は、通信部153によって管理サーバ300に分析結果として、画像データと稼働データとともに送信する。これにより、管理サーバ300に揚重の1タスク分の分析結果、画像データ、稼働データとが対応づけされて記憶される。
そして次のタスクが実行される毎に、上述の処理を繰り返す。これにより、クレーン100の作業状況を分析し、記憶部302に記憶することができる。
【0062】
以上説明した実施形態によれば、画像データと稼働データとを学習済みモデルに入力し、クレーンの作業状況を分析するようにしたので、クレーンの作業内容について、手書きでは収集困難な詳細情報を容易に収集することが可能となる。
また、手書きの記録では、正確に記録する必要があるが、その正確性はオペレータに依存することになり、押し忘れ等が生じた場合には、記録内容の信頼性が低下するが、上述した実施形態によれば、オペレータが揚重実績を入力する必要がないため、オペレータの操作ミス等に起因する記録内容の信頼性の低下を回避することができる。
また、クレーン揚重作業における実績データの収集の自動化および高度化を実現することができる。
【0063】
また、以上説明した実施形態によれば、クレーン100にカメラ101と、センサ群105等を取り付けることで、カメラ映像と稼働データを取得し、分析装置150のAIが吊荷種別、取付階、取付時刻、作業時間などを自動分析することができる。
また、上述した実施形態によれば、データ取得からAI分析までを管理サーバ300側ではなく分析装置150側で実施するようにしたので、画像データや稼働データをクレーン100側から管理サーバ300に送信して管理サーバ300においてAI分析を行う場合に比べて、通信不良によるデータ欠損が生じない。例えば、通信不良によって画像データが管理サーバ300に届かないために、AI分析をすることができない場合や、稼働データが管理サーバ300に届かないため、AI分析をすることができない場合を回避することができる。
【0064】
また、以上説明した実施形態によれば、学習プロセスでは、施工初期段階において、分析部155による分析結果を確認者の目で確認した結果に基づく正解情報によって修正しながら学習済みモデルに学習させることができる。そして、学習が進むことで、正解情報を入力しなくても、自動推定を実施することができるようになる。
【0065】
また上述した実施形態によれば、学習フェーズにおいて使用した画像データおよび稼働データを管理サーバ300に蓄積するようにしたので、将来的にAI技術が発展した後に再利用することも可能である。
【0066】
なお、上述した実施形態において、分析装置150、管理サーバ300の各機能が1つの筐体に納められることで1台の装置として構成される場合について説明したが、少なくとも1つの機能を別の筐体の装置に設け、互いに通信等をすることで、1つのシステム(コンピュータシステム)として構成するようにしてもよい。
【0067】
上述した実施形態における分析装置150、または管理サーバ300をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0068】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0069】
2015年9月の国連サミットにおいて採択された17の国際目標として「持続可能な開発目標(Sustainable Development Goals:SDGs)」がある。本実施形態に係る自律移動体制御システムは、このSDGsの17の目標のうち、例えば「9.産業と技術革新の基盤をつくろう」の目標などの達成に貢献し得る。
【符号の説明】
【0070】
100…クレーン、101…カメラ、102…可動部、103…アクチュエータ、104…制御部、105…センサ群、150…分析装置、151…画像データ取得部、152…稼働データ取得部、153…通信部、154…記憶部、155…分析部、156…制御部、200…端末装置、201…通信部、202…記憶部、203…入力部、204…出力部、205…制御部、300…管理サーバ、301…通信部、302…記憶部、303…画像データ取得部、304…稼働データ取得部、305…学習部、306…再学習部、307…正解情報取得部、308…連吊情報取得部、S…揚重管理システム