IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTファシリティーズの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022153908
(43)【公開日】2022-10-13
(54)【発明の名称】管理支援システム及び管理支援方法
(51)【国際特許分類】
   G06Q 50/08 20120101AFI20221005BHJP
   G16Y 10/30 20200101ALI20221005BHJP
【FI】
G06Q50/08
G16Y10/30
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021056679
(22)【出願日】2021-03-30
(71)【出願人】
【識別番号】593063161
【氏名又は名称】株式会社NTTファシリティーズ
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】藤田 孝幸
(72)【発明者】
【氏名】後川 知仁
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC07
(57)【要約】
【課題】作業現場における安全管理を支援する管理支援システム及び管理支援方法を提供する。
【解決手段】管理支援システムは、作業現場において撮像部によって撮像された画像の画像データを、作業現場の作業者に対応付けて取得する取得部と、画像データを用いて、作業現場において作業者による作業の準備段階の状況と、作業時の作業状況と、作業者の移動時の移動状況との何れかに係る作業者の安全性を、作業者が含まれている画像内に映った用具の情報に基づいて判定する判定部と、判定の結果を出力する出力部と、を備える。
【選択図】図4A
【特許請求の範囲】
【請求項1】
作業現場において撮像部によって撮像された画像の画像データを、前記作業現場の作業者に対応付けて取得する取得部と、
前記画像データを用いて、前記作業現場において前記作業者による作業の準備段階の状況と、前記作業時の作業状況と、前記作業者の移動時の移動状況との何れかに係る作業者の安全性を、前記作業者が含まれている画像内に映った用具の情報に基づいて判定する判定部と、
前記判定の結果を出力する出力部と、
を備える管理支援システム。
【請求項2】
前記判定部は、
前記準備段階、前記作業時及び前記移動時の何れかにおいて、前記作業者に求められる用具を前記作業者が装着しているか否かを識別する、
請求項1に記載の管理支援システム。
【請求項3】
前記判定部は、
前記作業者の前記準備段階の状況、前記作業状況及び前記移動状況の何れかに基づいて、予め定められた判定基準を用いて前記作業者に係る安全性を判定する、
請求項1又は請求項2に記載の管理支援システム。
【請求項4】
予め定められた飛行経路又は前記飛行経路に基づいて補正した補正飛行経路に沿うように自律飛行可能な飛行体を飛行させることで前記撮像部を移動させる飛行制御部
を備える請求項1から請求項3の何れか1項に記載の管理支援システム。
【請求項5】
前記判定部は、
前記飛行体の飛行に伴って移動する前記撮像部が生成した前記画像データに基づいて、前記作業者の移動時の状況の安全性を判定する、
請求項4に記載の管理支援システム。
【請求項6】
前記飛行制御部は、
作業計画に基づいて予め定められた位置に到達するように自律飛行する第1飛行制御モードと、前記作業者の位置に対応する位置に到達するように自律飛行する第2飛行制御モードとを含む飛行制御モードの中から、前記飛行体の飛行制御に用いる飛行制御モードを前記作業者の作業状況に応じて決定して、前記決定した飛行制御モードによる飛行制御によって前記飛行体を飛行させる
請求項4に記載の管理支援システム。
【請求項7】
前記飛行制御部は、
前記第1飛行制御モードによって前記飛行体を飛行させて、前記作業者を誘導し、
前記第2飛行制御モードによって前記飛行体を飛行させて、前記作業者を追跡する、
請求項6に記載の管理支援システム。
【請求項8】
前記飛行体の移動経路は、前記作業者の作業計画に基づいて決定され、
前記飛行制御部は、前記移動経路の情報を取得して、前記第1飛行制御モードにより前記移動経路の情報を用いて前記飛行体を飛行させる、
請求項6に記載の管理支援システム。
【請求項9】
作業予定日の天気と、前記作業予定日の作業に携わる人数と、前記作業予定日の作業に携わる人のスキルと、前記作業予定日の作業時間と前記作業予定日の作業の内容とに基づいた各作業者の作業計画を生成する装置
を備える請求項1に記載の管理支援システム。
【請求項10】
前記装置は、
前記作業者の作業計画に基づいた移動経路と、作業手順と、目標完了時間の情報とを含む前記各作業者の作業計画を生成する、
請求項9に記載の管理支援システム。
【請求項11】
前記装置は、
作業当日の前記作業者の作業の進度状況を取得して、
前記作業当日の前記作業者の作業の進度状況と、予め定められていた前記作業者の作業計画とを比較して、前記作業当日の前記作業者の作業の進捗を判定する、
請求項9又は請求項10に記載の管理支援システム。
【請求項12】
コンピュータが、
作業現場において撮像部によって撮像された画像の画像データを、前記作業現場の作業者に対応付けて取得し、
前記画像データを用いて、前記作業現場において前記作業者による作業の準備段階の状況と、前記作業時の作業状況と、前記作業者の移動時の移動状況との何れかに係る作業者の安全性を、前記作業者が含まれている画像内に映った用具の情報に基づいて判定し、
前記判定の結果を出力するステップ、
を含む管理支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管理支援システム及び管理支援方法に関する。
【背景技術】
【0002】
工事現場などの作業現場において、各作業者は、作業現場内の特定の場所で作業を行い、また場所を移動して作業現場内で他の作業を行うことがある。このような作業現場では、作業時だけでなく移動時も含めて各作業者の業務が安全に遂行されることが要求されている。各作業者は、自身の業務を遂行する際に、夫々安全管理に注意を払いながら作業をしている。
ところで、定点配置された監視カメラによって撮影した作業者の画像に基づいて、作業者による作業を監視するシステムが知られている。定点配置された監視カメラによって撮影できる範囲は限られていて、業務の内容によって決定される方向に移動する作業者の状況を捕捉することが困難な場合があった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-140236号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、業務中に作業以外のことに気を取られて、作業中の作業者の安全管理に対する注意が不足することがあった。
本発明は、このような事情に鑑みてなされたものであり、作業現場における安全管理を支援する管理支援システム及び管理支援方法を提供すること目的とする。
【課題を解決するための手段】
【0005】
(1)上記の課題を解決するための本発明の一態様は、作業現場において撮像部によって撮像された画像の画像データを、前記作業現場の作業者に対応付けて取得する取得部と、前記画像データを用いて、前記作業現場において前記作業者による作業の準備段階の状況と、前記作業時の作業状況と、前記作業者の移動時の移動状況との何れかに係る作業者の安全性を、前記作業者が含まれている画像内に映った用具の情報に基づいて判定する判定部と、前記判定の結果を出力する出力部と、を備える管理支援システムである。
(2)上記の管理支援システムにおいて、前記判定部は、前記準備段階、前記作業時及び前記移動時の何れかにおいて、前記作業者に求められる用具を前記作業者が装着しているか否かを識別する。
(3)上記の管理支援システムにおいて、前記判定部は、前記作業者の前記準備段階の状況、前記作業状況及び前記移動状況の何れかに基づいて、予め定められた判定基準を用いて前記作業者に係る安全性を判定する。
(4)上記の管理支援システムは、予め定められた飛行経路又は前記飛行経路に基づいて補正した補正飛行経路に沿うように自律飛行可能な飛行体を飛行させることで、前記撮像部を移動させる飛行制御部をさらに備える。
(5)上記の管理支援システムにおいて、前記判定部は、前記飛行体の飛行に伴って移動する前記撮像部が生成した前記画像データに基づいて、前記作業者の移動時の状況の安全性を判定する。
(6)上記の管理支援システムにおいて、前記飛行制御部は、作業計画に基づいて予め定められた位置に到達するように自律飛行する第1飛行制御モードと、前記作業者の位置に対応する位置に到達するように自律飛行する第2飛行制御モードとを含む飛行制御モードの中から、前記飛行体の飛行制御に用いる飛行制御モードを前記作業者の作業状況に応じて決定して、前記決定した飛行制御モードによる飛行制御によって前記飛行体を飛行させる。
(7)上記の管理支援システムにおいて、前記飛行制御部は、前記第1飛行制御モードによって前記飛行体を飛行させて、前記作業者を誘導し、前記第2飛行制御モードによって前記飛行体を飛行させて、前記作業者を追跡する。
(8)上記の管理支援システムにおいて、前記飛行体の移動経路は、前記作業者の作業計画に基づいて決定され、前記飛行制御部は、前記移動経路の情報を取得して、前記第1飛行制御モードにより前記移動経路の情報を用いて前記飛行体を飛行させる。
(9)上記の管理支援システムは、作業予定日の天気と、前記作業予定日の作業に携わる人数と、前記作業予定日の作業に携わる人のスキルと、前記作業予定日の作業時間と、前記作業予定日の作業の内容とに基づいた各作業者の作業計画を生成する装置をさらに備える。
(10)上記の管理支援システムにおいて、前記装置は、前記作業者の作業計画に基づいた移動経路と、作業手順と、目標完了時間の情報とを含む前記各作業者の作業計画を生成する。
(11)上記の管理支援システムにおいて、前記装置は、作業当日の前記作業者の作業の進度状況を取得して、前記作業当日の前記作業者の作業の進度状況と、予め定められていた前記作業者の作業計画とを比較して、前記作業当日の前記作業者の作業の進捗を判定する。
(12)本発明の一態様は、コンピュータが、作業現場において撮像部によって撮像された画像の画像データを、前記作業現場の作業者に対応付けて取得し、前記画像データを用いて、前記作業現場において前記作業者による作業の準備段階の状況と、前記作業時の作業状況と、前記作業者の移動時の移動状況との何れかに係る作業者の安全性を、前記作業者が含まれている画像内に映った用具の情報に基づいて判定し、前記判定の結果を出力するステップを含む管理支援方法である。
【発明の効果】
【0006】
本発明によれば、作業現場における安全管理を支援する管理支援システム及び管理支援方法を提供することができる。
【図面の簡単な説明】
【0007】
図1A】実施形態の管理支援システム1について説明するための模式図である。
図1B】実施形態の管理支援システム1に適用される監視装置について説明するための模式図である。
図2A図1Aに示す飛行体4によって検出された作業現場の状況の一例を説明するための図である。
図2B図1Aに示す飛行体4によって検出された作業現場の状況の一例を説明するための図である。
図2C図2Bに示した作業者Aを飛行体4Aが撮影した画像を説明するための図である。
図3】実施形態における制御ユニット40の概略構成図である。
図4A】実施形態における判定部200のブロック図である。
図4B図4Aに示した判定部200の処理に関わる画像モデルのブロック図である。
図5A】実施形態の安全管理を支援する処理に用いられるデータを説明するための図である。
図5B】実施形態の安全管理を支援する処理に用いられるデータを説明するための図である。
図5C】実施形態の安全管理を支援する処理に用いられるデータを説明するための図である。
図5D】実施形態の計画作成要求DBを説明するための図である。
図6】実施形態の安全管理を支援する処理に係る動作モードを説明するための図である。
図7】実施形態の安全管理を支援する処理のフローチャートである。
図8】実施形態の安全状態を判定する判別処理のフローチャートである。
図9】実施形態のサーバ9の構成図である。
図10】実施形態の作業計画の生成処理のフローチャートである。
図11】実施形態の作業計画を説明するための図である。
図12】実施形態の作業の組み合わせを導出する処理のフローチャートである。
図13】第2変形例の作業計画生成部970Aの構成図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明に係る管理支援システム及び管理支援方法について説明する。
実施形態において、作業者の移動経路とは、作業現場において作業者が通る経路のことである。飛行体の作業経路とは、飛行体が飛行する際の経路などのことである。例えば、作業経路の情報には、飛行体の位置、進路、高度又は姿勢を制御する際に基準にする情報が含まれていてよい。
【0009】
図1Aは、実施形態の管理支援システム1について説明するための模式図である。図1Bは、図1Aの管理支援システム1に適用される監視装置の一例を示す。
【0010】
この作業現場において2人の作業者(AとB)は、安全性を確保するために連携して作業する。このような作業の一例として電気設備工事等が挙げられる。より具体的には、蓄電池2の設置工事、保守点検作業(充放電試験等)が含まれる。他の作業の例については後述する。
【0011】
実施形態の管理支援システム1は、監視装置(以下、「飛行体4」という。)を含む。管理支援システム1は、例えば、端末装置7とサーバ9とを用いて、飛行体4による安全管理を支援するための処理を実施してもよい。
【0012】
端末装置7は、通信回線NWを介してサーバ9と通信することで、各作業者の作業計画を生成するための情報をサーバ9に提供する。例えば、端末装置7は、作業計画を立案する作業計画立案担当者(監理者という。)によって操作される。
【0013】
サーバ9は、通信回線NWを介して端末装置7と、飛行体4と通信する。サーバ9は、例えば、端末装置7から、各作業者の作業計画を生成するための所定の情報を取得する。サーバ9は、端末装置7から取得した情報などに基づいて、各作業者の作業計画と、各作業者の作業計画に対応する所持用具の情報とを生成する。サーバ9は、各作業者の作業計画と、各作業者の作業計画に対応する所持用具の情報とを、飛行体4に通知する。
【0014】
実施形態の飛行体4は、自律飛行可能な移動体型の監視装置の一例である。例えば、飛行体4は、飛行体本体と、ケースPCとを備える。飛行体本体には、例えば、移動手段とする複数の電動ロータ41と、撮像部300とが設けられている。飛行体本体の筐体内には、駆動部42と、電源部43と、制御ユニット40とが設けられている。飛行体4は、複数の電動ロータ41を回転させて飛行しているときに、電動ロータ41が建物などに接触しないように、その保護ケースPCによって保護されている。
【0015】
電源部43は、移動手段、撮像部300、及び制御ユニット40を機能させる電力を供給する蓄電池を備えている。飛行体4は、蓄電池からの電力を移動手段の動力に変換して、これを用いて移動する。
【0016】
撮像部300は、例えば飛行体本体の上面側と下面側の何れか又は両方に配置され、その周囲を撮影する。撮像部300は、飛行体4の位置を基準にして、その周囲を撮影可能な光学系と撮像部と映像信号の処理部とを備える。撮像部300の光学系の画角は、任意に選択してもよく、ズーム機能によって調整可能であってもよい。撮像部300は、例えば、CCD又はCMOSセンサなどの半導体撮像素子を搭載した撮像装置、及び撮像用の補助光の発光装置を備える。撮像部300は、その周囲の状況を撮像して画像の画像データを生成する。例えば、撮像部300によって得られた画像は、全方位を1つの画像にまとめた全周囲画像をなしていてもよい。生成した画像の画像データは、飛行体4の自己位置推定、飛行制御、作業者の特定、及び作業の安全状況の判定などに利用される。
【0017】
飛行体4は、例えば飛行体本体の下面に設けられた撮像部300による画像を、作業者、壁、柱、装置、床、足場板などに飛行体4が接近し過ぎないようにする飛行制御に利用するとよい。さらに、飛行体4は、飛行体本体の上面に設けられた撮像部300による画像を用いて、これを、壁、柱、天井、梁、上層の足場板などに飛行体4が接近し過ぎないようにする飛行制御に利用するとよい。
【0018】
例えば、飛行体4は、その自己位置推定に、建物の内外の画像、建物に設けられた足場の画像、建物に隣接するほかの建物の画像などを用いてもよい。この自己位置推定の方法であれば、GPSの適用困難な屋内の位置も推定することができる。なお、この自己位置推定の手法に、一般的な手法を適用してもよい。画像に基づいた自己位置推定の手法に、レーザ光を用いた自己位置推定の手法を適用してもよい。GPSの適用が可能な場所では、GPSの情報を用いて自己位置を推定してもよい。
【0019】
上記の通り、撮像部300は、飛行体4に搭載される。飛行体4と作業者の動き(移動)に応じて、被写体である作業者との相対位置が変化する。このような場合であっても、飛行体4が作業者の移動に追従することによって、所望の位置、所望の方向から作業者を撮像することが可能になる。
【0020】
実施形態の飛行体4は、例えば作業現場内を適宜移動して、撮像部300によってその周囲の状況と、作業者の作業状態とを検出する。図2A図2Bは、図1Aに示す飛行体4によって検出された作業現場の状況の一例を説明するための図である。
【0021】
図2Aに示す状況は、図1に示すように蓄電池2の点検作業中の状況を、作業者Aの背面側から見た立面図である。飛行体4Aと飛行体4Bとが自律飛行している。例えば、飛行体4Aの目標位置は、作業者Aの上方で作業者Aの頭部から所定の距離を隔てた位置である。同様に飛行体4Bの目標位置は、監督者Bの上方で監督者Bの頭部から所定の距離を隔てた位置している状況である。
【0022】
例えば、飛行体4Aは、飛行体4Aの撮像部300によって撮影された画像に基づいた位置制御によって自律飛行する。例えば、飛行体4Aは、作業者Aの情報から撮影した画像に基づいて、作業者Aの身体の一部又はヘルメットなどの装着物の像を画像内から抽出して、これをキーにして、作業者Aの位置を捕捉する。この位置と、位置制御の目標にする目標位置との差がなくなるように飛行する位置を制御することにより、作業者Aが作業しているときに作業者Aの上方に位置し続けることを可能にしている。
【0023】
上記の位置で飛行する飛行体4Aが撮影した画像であれば、作業者Aの手元を撮影できる。この画像を作業中の安全管理に利用するとよい。
【0024】
なお、飛行体4Aは、作業者Aの上方で作業者Aの頭部から所定の距離を隔てた位置に代えて、上記の位置から水平方向又は垂直方向に適量オフセットした位置に決定してもよい。
【0025】
図2Bに示す状況は、足場板の上を移動する作業者Aを、作業者Aの側方から見た立面図である。作業者Aの進行方向(作業者Aの前方)に作業者Aから隔たった位置で、かつ、作業者Aの頭部よりも高くなる位置で飛行体4Aが自律飛行している。例えば、飛行体4Aの飛行経路は、作業者Aの作業計画に基づいて予め決定される。
【0026】
この作業者Aは、安全装具としてハーネスを装着している。このハーネスにランウエイを介して接続されたフックが、親綱に掛けられている。作業者Aの前方を飛行する飛行体4Aは、このような状態で移動する作業者Aを撮影することができる。なお、飛行体4Aが飛行する位置は、作業者Aの真正面であってもよく、作業者Aの真正面から所定の角度だけ水平方向にオフセットした方向であってもよい。
【0027】
図2Cは、図2Bに示した作業者Aを飛行体4Aが撮影した画像を説明するための図である。作業者Aが、図2Bに示したようにハーネスを着用して、さらにフックを適正に親綱に掛けていれば、飛行体4Aが撮影した画像として、図2Cの(a)に示すような画像が得られる。図2Cの(a)に示す画像には、ハーネスを着用して、さらにフックを適正に親綱に掛けている作業者の移動中の姿が含まれている。
【0028】
これに対して、図2Cの(a)に示すように本来ハーネスを着用すべき場所であるのに、着用せずに移動する行為は危険な行為である。仮にこのような行為が行われたとすれば、図2Cの(b)に示すような画像が得られる。図2Cの(b)に示す画像に写った作業者は、ハーネスを着用していない。また、この画像からは、ハーネスに接続されているフックも確認できない。
【0029】
飛行体4は、図2Cの(a)と(b)の画像の違いを識別して、移動中の作業者Aの安全状態を識別する。
【0030】
上記の画像に基づいた自律飛行の制御は、飛行体4Bについても同様であり、飛行体4Bによって撮影された画像も、飛行体4Aによって撮影された画像と同様の画像を得ることができる。
【0031】
このように、飛行体4は、作業中及び移動中の作業者を撮影する基準の位置に移動して、その位置から作業者の状況を撮影する。なお、上記の基準の位置は、作業者の位置を基準に定めるとよい。管理支援システム1は、この画像を用いて、作業者の安全管理を支援する。
【0032】
ここで、管理支援システム1の概要について整理する。
上記のように、本実施形態に示す管理支援システム1は、作業者の作業状況を検出して、これによって作業中及び移動中の安全状態の程度を検出することを可能にする。作業状況には、作業中の状況及び移動中の状況が含まれる。管理支援システム1は、予め安全な作業状況又は不安全な作業状況についての判断基準をモデル化しておくことにより、そのモデル(画像モデルという。)と実際の作業の状況との違い又は一致点を検出して、作業中の安全状態の程度を検出する。例えば、その安全性が低下した状態を検出した場合には、管理支援システム1は、警告を発する。
【0033】
図3は、本実施形態における制御ユニット40の概略構成図である。
この図3に示される制御ユニット40は、CPUなどのプロセッサと、RAM、ROMなどの半導体メモリとを含めたハードウェアによって構成され、少なくともその一部がソフトウエア機能部として構成されている。これに制限されず、FPGAなどのハードウェアによって構成されていてもよい。
【0034】
例えば、制御ユニット40は、情報取得部100と、判定部200と、制御部400と、入出力部500と、通信部600と、飛行制御部700と、記憶部800とを備える。
【0035】
まず、入出力部500と、通信部600と、飛行制御部700と、記憶部800とについて順に説明する。
【0036】
入出力部500は、作業者などの操作を受け付ける入力パネルと、後述する制御部400の制御によって、所望の情報を出力する出力装置などを含む。出力装置には、例えば、スピーカ、ブザーなどのように音を出力する装置と、ランプなどのように光を出力する装置を含めて構成してよい。入出力部500は、タッチパネルを含めて構成されていてもよい。例えば、入出力部500には、作業計画と、その作業計画に基づいた次の作業の情報を提供するガイドなどが表示される。
【0037】
通信部600は、飛行体4が外部装置と通信を行うために用いるインタフェースである。例えば、通信部600は、無線LAN方式などにより通信する。例えば、外部装置にはサーバ9、作業者が操作する端末装置3、監理者が操作する端末装置7などが含まれる。例えば、端末装置3と端末装置7は、制御ユニット40の処理に係る各種データの設定、及び各種データの閲覧などに利用される。
【0038】
飛行制御部700は、予め取得していた作業経路に基づいて電動ロータ41の駆動を制御して、飛行体4を所望の位置に到達するように、飛行体4を所望の速度で所望の高さを保ち飛行させる。例えば、予め定められた飛行経路又は飛行経路に基づいて補正した補正飛行経路は、予め取得していた作業経路の情報に含まれてよい。飛行制御部700は、飛行経路として予め定められた飛行経路又は飛行経路に基づいて補正した補正飛行経路に沿うように飛行体4を飛行させる。これにより飛行体4は、移動して、搭載している撮像部300を移動させる。
【0039】
記憶部800は、RAM、ROMなどの半導体メモリなどを含んで構成されていて、制御部400による各種処理のためのプログラム、画像データ、解析結果などを格納する領域が設けられている。
【0040】
情報取得部100は、撮像部300によって撮像された作業現場の画像の画像データを、撮像部300から取得する。作業現場の画像には、上記の通り複数の作業者が関係する作業の状況などが含まれる。
【0041】
実施形態の判定部200は、撮像部300によって撮像された作業現場の画像の画像データに基づいて作業者の作業中の状況を判定して、作業の安全性を判定する。例えば、判定部200は、複数の作業者によって実施される作業の安全に関わる状況を識別するための画像モデルを用いて、作業現場において撮像部300によって撮像された画像の画像データに基づいて、実施される作業の安全性を判定する。例えば画像モデルは、判定基準を生成する。判定部200は、画像モデルによる判定基準を用いて、作業現場において撮像部300によって撮像された画像の画像データに基づいて、実施される作業の安全性を判定することができる。
【0042】
図4Aは、実施形態における判定部200のブロック図である。図4Bは、判定部200の処理に関わる画像モデルのブロック図である。
【0043】
例えば、判定部200は、検出部210と、画像モデル部220と、状況記憶部230と、安全状況判定部240と、を備える。
【0044】
検出部210は、情報取得部100によって取得した複数の作業者が関係する作業の画像データに基づいて、作業の安全性に関わる事象を検出する。例えば、検出部210は、後述する画像モデル部220によって規定される画像モデルを用いて、作業前の準備段階と作業中と移動中の安全性を識別する。これに関する詳細は後述する。
【0045】
なお、検出部210は、複数の作業者が関係する作業の画像データの識別処理を実施するにあたり、画像の明るさ、色調の変更、回転、拡大/縮小、部分切り出し、フィルタ処理などの前処理を、検出処理に先立ち適宜実施してよい。以下の説明では、この前処理の説明を省略する。
【0046】
検出部210は、情報取得部100によって取得した画像データを入力データにする1つ以上の畳み込みニューラルネット(CNN)を備える。検出部210が所望の演算処理を実施するにあたり、CNNの構造と特性を規定するパラメータには、画像モデル部220によって規定されたモデル構造が適用される。モデル構造の一例を後述する。
【0047】
図4Bに示すブロック図は、実施形態の検出部210と画像モデル部220の各モデルとに適用される、畳み込みニューラルネット(CNN)の一例である。
【0048】
CNNは、入力層221、畳み込み層222、プーリング層223、ニューラルネットワーク224、及び出力層225を備える。
【0049】
CNNは、所定の配置規則に従って人工ニューロンが配置されている。入力層221の画像データは、畳み込み層222及びプーリング層223を介して処理され、画像空間の局所的な特徴に応じて活性化するニューロンからなる特徴マップに変換される。畳み込み層222及びプーリング層223は、画像解析に適した層数だけ多層化されている。
【0050】
多層化された畳み込み層222及びプーリング層223を経由した特徴マップのニューロンの出力値は、ニューラルネットワーク224に入力される。ニューラルネットワーク224は画像解析に適する層数でニューロンを結合(例えば全結合)して構成される。ニューラルネットワーク224の最終端の出力層225からは、画像解析の結果を示す値が出力される。出力層225の構成とそのニューロンの個数などは、識別の目的に応じて適宜決定してよい。例えば、CNNを用いて、画像内に映り込んだ物品を識別して、その物品の有無を検出させたり、画像内のシーンを識別して、そのシーンにおける作業が安全か否か、作業の安全性の程度などを識別させたりしてもよい。
【0051】
上記の通り、入力層221を構成するニューロンの個数、畳み込み層222及びプーリング層223の層数、ニューラルネットワーク224の層数と各層のニューロンの個数、出力層225の構成とそのニューロンの個数などは、構造データとして規定することができる。
【0052】
上述した畳み込み層222やニューラルネットワーク224内のニューロンは、重み配列wやバイアスbを有する。これらの重み配列wやバイアスbは、学習用データセットを用いた機械学習(誤差逆伝搬法など)を繰り返すことにより逐次更新され、学習した教師データに沿った判定結果を出力するようになる。この機械学習は、システムの運用開始前に行われる。また、システムの運用開始後には、実際に収集された画像データと、この画像データが示す画像に対する管理者の判断結果、作業現場で検出された音などのデータとの組を教師データとして用いた機械学習が実施されてもよい。この機械学習は、後述する制御部400の制御によって実施されてもよい。
【0053】
例えば、検出部210は、複数の作業者が関係する作業の画像データに基づいて、複数の作業者の中から特定の作業を実施する作業者を特定する。検出部210は、例えば後述する画像モデルを用いて、該画像データから、特定の作業を実施する作業者の作業状況を検出して、その結果を状況記憶部230に記憶させる。
【0054】
また、検出部210は、撮像された作業者の画像の画像データと、その画像を撮像した位置情報とを関連付けて、状況記憶部230に記憶させる。例えば、検出部210は、画像情報から画像を撮像した位置を導出する既知の手法を適用して、飛行体4の建物内の位置(例えば、設備との相対的な位置)を取得してよい(例えば、特開2018-81571などを参照。)。
【0055】
画像モデル部220は、画像処理に適用される画像モデルのモデル構造を特定するためのデータの組を有する。例えば、そのデータの組には、人物識別モデルと、用品識別モデルと、安全作業識別モデルとに関するデータの組が含まれる。このような画像モデルは、検出部210における検出処理を特徴づけるためのデータの組を含む。
【0056】
人物識別モデルは、連携して作業を実施する人物(各作業者)を識別する処理に用いられるモデルである。例えば、適当に機械学習がなされた学習済みの人物識別モデルは、連携して作業を実施する各作業者を識別可能とする人物識別モデルの構造情報と、人物識別モデルのパラメータとを有する。
【0057】
例えば、人物識別モデルを用いて、複数の作業者が映り込んだ画像の中から、特定の作業者を識別させることができる。ここでいう人物(複数の作業者)には、例えば、作業を担当するグループの複数のメンバー(監督者Bと作業者A。)が含まれる。上記のグループのメンバーは、同じデザインの作業服とヘルメットを着用していることが多い。このような場合に、個人を識別することは難しいことがある。ただし、各人の体格と容姿、作業着以外に身に着けているもの(腕章、バッチ、眼鏡、手袋など。)、ヘルメットの装飾(シール)やそのかぶり方などに相違点がある。上記のようなグループ内のメンバーの相違点を機械学習によって抽出して人物識別モデルを構成することにより、そのグループ内のメンバー各人を識別可能にする。
【0058】
用品識別モデルは、各作業者が作業中に利用する用品を識別する処理に用いられるモデルである。例えば、適当に機械学習がなされた学習済みの用品識別モデルは、各作業者が作業中に利用する用品を識別可能とする用品識別モデルの構造情報と、用品識別モデルのパラメータとを有する。
【0059】
安全作業識別モデルは、各作業者の作業が安全に実施されているか否かを識別する処理に用いられるモデルである。例えば、適当に機械学習がなされた学習済みの安全作業識別モデルは、その作業が安全に実施されているか否かを識別可能とする安全作業識別モデルの構造情報と、安全作業識別モデルのパラメータとを有する。
【0060】
例えば、安全作業識別モデルは、作業者の周囲に配置されている構造物と、作業者とを識別し、さらに、その構造物の中で安全性が比較的低い箇所(危険な箇所)、安全性が比較的高い箇所などを検出するように構成される。
【0061】
状況記憶部230は、各作業者の画像と複数の作業者の作業状況の画像の画像データ、その画像の画像データに基づいて検出された作業状況、その画像の画像データを撮影した位置の位置情報、及びその画像の画像データを撮像した時間情報が関連付けられた時系列データとして記憶する。
【0062】
安全状況判定部240は、記憶された画像の画像データと検出された作業状況との少なくとも一方を入力変数として用いて、画像モデルに基づいて作業の安全状況を判定する。例えば、安全状況判定部240は、画像モデル部220に含まれる作業モデルの少なくとも一つを基準として、作業の安全状況を判定する。
【0063】
制御部400は、駆動部42によって移動した位置から撮像された作業者の画像の画像データに基づいて、画像モデルを用いて作業の安全状況を判定するように判定部200を調整する。判定部200の調整には、画像モデル部220の機械学習のための処理が含まれる。
【0064】
さらに、制御部400は、調整された判定部200と、撮像部300と、駆動部42とを制御して、判定部200によって作業の安全状況を判定させる。
【0065】
制御部400は、上記の作業の管理支援処理のための以下の機能に関わる処理を実行する。
【0066】
・指定された作業の種別に応じた動作モードを選択する機能。
・各作業者が作業者に求められる装着物を装着していることを識別する機能。
・作業準備段階、作業中及び移動中の画像から作業者を特定する機能。
・作業中及び移動中の映像を記録できる機能。
・作業者による不安全行動等を画像診断によって検出する機能。
・不安全行動の検出を作業者に報知する機能。
・不安全行動の検出を上記以外の関係者に報知する機能。
・自律的に移動して作業者を追跡する機能。
・自律的に移動して作業者を誘導する処理。
・事象の検出に用いる画像モデルの機械学習機能。
・作業計画と移動経路の情報を取得する機能。
・作業の進捗をサーバ9に報知する機能。
【0067】
以下、上記の機能に関する処理について説明する。
【0068】
(動作モードの選択処理)
制御部400は、作業者の操作による入力情報を受け付けて、これによって指定された作業の種別に応じた飛行体4の動作モードを選択し、これに切り替える。制御部400は、この動作モードに従って、飛行体4の各部を制御する。
【0069】
(作業者の装着物の識別処理)
制御部400は、上記の指定により選択された動作モードに対応させて、作業者の装着物の識別処理を実施する。例えば、作業者の装着物の識別処理は、撮像部300が検出した作業者の作業中の画像に基づいて、作業者に求められる装着物を各作業者が装着しているか否かを判別する処理を含む。
【0070】
(撮影対象とする作業者を特定する処理)
制御部400は、撮影対象とする作業者を特定する処理を実施する。例えば、制御部400は、顔、作業服、装着物(ヘルメット、腕章、バッチ、手袋)、等の画像認識の結果に基づいて作業者を特定してもよい。また、作業者が、個体識別情報を発する発信機等を身に着けていて、飛行体4(制御部400)が発信機からの信号を検出したときに、制御部400は、この検出結果に応じて作業者を特定してもよい。また、制御部400は、予め定められた内容に基づいて作業者に問いを投げかけて飛行体4と作業者との問答を実施して、その問答を解析し、その解析結果等に基づいて問答に応じた作業者を特定してもよい。なお、制御部400は、上記の特定を、上記の特定方法の何れかを個別に実施して、その個別の結果に基づいて決定してもよく、個別の特定結果を組み合わせて最終的な特定結果を導いてもよい。
【0071】
(作業中の映像を記録する処理)
制御部400は、撮像部300によって撮影された作業中の映像を記憶部800に記録する。記録された映像は、例えば飛行体4の画像認識精度向上のために利用する。例えば、作業中の映像には、事故発生時の状況や危険事象が発生したときの状況が含まれていることがある。また、上記には至らなかったが、これらに至りうる事象(兆候)、作業者の不安全行動、等が記録されていることがある。なお、制御部400は、この映像を記録する際に、この映像に合わせて検出された映像以外の事象を合わせて記録に残すとよい。これらは、機械学習の教師データに利用することができる。
【0072】
(不安全行動等を画像診断によって検知する処理)
制御部400は、判定部200を制御して、作業者の不安全行動、事故発生、危険発生、及びこれらの兆候(以下、不安全行動等という。)を、判定部200(検出部210)による画像解析の結果に基づいた画像診断によって検出させる。
【0073】
(不安全行動等の検出を報知する処理)
制御部400は、判定部200の画像解析によって不安全行動等が検知された場合に、これを作業者に音声や警報音、ランプ表示等で知らせるための処理を実施する。具体的には、制御部400は、入出力部500から、これに対応する所定のメッセージを表示部に表示させたり、上記の所定のメッセージを含む音声、警報音(ブザー音、アラーム音)を発生させたり、又は発光体から発光させたりすることによって、不安全行動等が検知されたことを報知する。
【0074】
(不安全行動等の検出を関係者に報知する処理)
制御部400は、判定部200の画像解析によって不安全行動等が検知された場合に、通信部600を介した通信によって、この事象の発生を上記の作業者以外の関係者に通報する。
【0075】
(自律的に移動して作業者を追跡する処理)
制御部400は、動作モードの設定により、判定部200の画像解析(画像認識)によって作業者の位置を捕捉して、その結果に基づいて飛行体4を自律的に移動させて、作業者を追跡させる。例えば、作業中を識別しているときは、作業者Aの頭上又はその近傍に移動することで作業者Aを追跡する。さらに、制御部400は、その位置で撮影した画像に基づいて、その画像の中から作業者Aの像を追跡する。なお、制御部400は、飛行体4が作業者Aに接近し過ぎないように、所定の距離を隔てて飛行させる。
【0076】
(自律的に移動して作業者を誘導する処理)
制御部400は、動作モードの設定により、作業当日の作業計画に基づいて決定された移動経路に作業者を誘導する。
例えば、上記の移動には、同じ階の中の移動、異なる階への移動が含まれる。平時には、このような移動に複数の移動経路が選択可能であれば、効率よく安全に移動可能な経路で移動することが適している。制御部400は、上記のように決定された経路に作業者を誘導する。ただし、作業日ごとに通行の可否が変更される現場の場合、例えば前日の平時に選択可能な移動経路を利用できるとは限らない。前日の平時において安全性がより高いとされる経路が通行できない、又は通行が困難な状況になることがある。そこで、制御部400は、作業当日の作業計画と、通行が制限された経路・場所の情報に基づいて最適な経路を抽出することにより、制限がある中でより安全な経路を利用して移動するように作業者を誘導する。例えば、選択された経路が高所に分類される箇所を含む場合には、制御部400は、対象の作業者にハーネスの利用を促したり、ハーネスの利用状況を監視する処理で、高所に分類される箇所の情報を利用したりすることを可能にする。
【0077】
(画像モデルの機械学習処理)
制御部400は、不安全行動及び不安全状況の識別制度を高めるために、不安全行動のサンプル画像、不安全状況のサンプル画像、事故発生や危険発生時などの状況画像(画像データ群)などを用いて画像モデル部220の機械学習によって、これを実現する。画像モデル部220の機械学習に利用する映像には、不安全行動のサンプル画像、不安全状況のサンプル画像、事故発生や危険発生などの異常状態が生じた画像などのほかに、安全行動のサンプル画像、安全状況のサンプル画像、事故発生や危険発生などの異常状態が生じていない平時の画像なども含めて、これを機械学習に用いるとよい。制御部400は、この画像を正しく識別できた場合の識別結果を、上記の画像のデータに組み合わせた教師データを、画像モデル部220の機械学習に利用する。
【0078】
(作業計画と移動経路の情報を取得する処理)
制御部400は、サーバ9と通信することで、サーバ9から作業計画と移動経路と作業経路を含む情報を取得する。
【0079】
(作業の進捗をサーバ9に報知する処理)
制御部400は、サーバ9と通信することで、サーバ9に作業者による作業の進捗を通知(報知)する。
【0080】
制御部400は、上記の処理を含めた安全管理を支援する処理を実施する。
【0081】
以下、図5Aから図9を参照して、具体例を挙げて実施形態の安全管理を支援する処理の適用例について説明する。図5Aから図5Cは、実施形態の安全管理を支援する処理に用いられるデータを説明するための図である。
【0082】
図5Aに示す作業者リストDBは、作業者識別コード、スキル、保有資格などの項目を含む。「作業者識別コード」は、各作業者を識別するためのデータを含む。「スキル」は、その作業者のスキルを数値化したデータ(評価値)を含む。例えば、この評価値は、1から10の10段階で評価した値にする。「保有資格」は、その作業者が保有する資格の情報を含む。
【0083】
図5Bに示す作業リストDBは、作業コード、作業の種別、作業項目、装着物、道具、作業量、並行作業フラグ(並行F)、分担作業フラグ(分担F)、時間帯などの項目を含む。
「作業コード」は、作業の種別と、作業項目との何れかに対応付けられた識別情報であり、これにより作業の種別と、作業項目との何れかを特定することを可能にする。
「作業の種別」は、作業の工種と、その作業の対象物を示す情報を含む。例えば、「●●工事」、「●●の設置」、「●●の解体」、「●●の取外し」、「●●の塗装」、「●●の修理」、「●●の点検」、「●●の測定」、「●●の試験」、等は、「作業の種別」の一例である。より具体的には、「配線接続工事」、「□□装置の設置」、「絶縁確認」、「□□装置の動作確認」、「蓄電池の充放電試験」、等が含まれていてよい。
「時間帯」は、1つ以上の作業を配置する時間範囲を識別する識別情報を含む。例えば、同一の時間帯識別値が付与された作業は、共通の時間帯に配置され、異なる時間帯識別値が付与された作業は、互いに異なる時間帯に配置される。
「作業量」と「並行作業フラグ(並行F)」は、作業計画の生成に利用されるデータを含む。これについては、後述する。
【0084】
前記の「作業の種別」の夫々に各種作業項目が対応付けられる。
【0085】
各種作業には、作業に必要とされるものが予め定められている。作業者の装着物と、懐中ライト、各種工具、各種測定装置、ドキュメントなどの道具等は、作業に必要とされるものの一例である。「作業項目」には、例えば、作業に必要とされるものを示すデータが格納される。
【0086】
例えば、「作業の種別」が「配線接続工事」の場合の装着物には、作業着、ヘルメット、手袋、絶縁手袋、絶縁靴、安全靴、ハーネス(安全帯)、等が含まれる。同場合の道具には、懐中ライトのほか、各作業で利用する各種工具が含まれる。また、「高所作業を含む解体工事」の場合の装着物には、作業着、ヘルメット、手袋、安全靴、ハーネス(安全帯)、等が含まれる。上記の場合の道具には、各作業で利用する各種工具が含まれる。
【0087】
図5Cに示す作業計画記録DBは、作業日時、場所、グループ、作業コード、作業の種別、作業項目、移動経路、現場映像等の項目を含む。例えば、作業計画記録DBは、作業者ごとに生成され、飛行体4に夫々供給される。
【0088】
「作業日時」と「場所」は、作業を予定する日時情報と、予定の場所を特定する情報を含む。「グループ」は、作業に割り当てられた複数の作業者を含むグループを特定する識別情報である。複数の作業者には、例えば1人以上の監督者と、1人以上の施工担当者とが含まれる。
【0089】
「作業コード」は、予定する作業を特定する識別情報を含む。「作業の種別」、「作業項目」は、前述の通りである。
【0090】
「移動経路」は、建物(施設)の対象の領域(作業現場)の状況と、次の作業場所への移動経路を示すデータを含む。そのデータは、BIM形式の建物のデータを含めてもよく、平面図、配置図などの図面のデータであってもよい。このデータには、作業の対象の装置の位置が含まれる。この「移動経路」に、飛行体4の作業経路を示すデータが含まれていてもよい。
【0091】
「現場映像」は、作業現場で、撮像部300によって作業中に撮影された映像が格納される。ここに格納される映像には、同じ作業現場で前回作業時に撮影された映像と、今回の作業時に撮影された映像などが含まれる。
【0092】
(安全管理を支援する処理)
図6は、実施形態の安全管理を支援する処理に係る動作モードを説明するための図である。図7は、実施形態の安全管理を支援する処理のフローチャートである。なお、作業計画記録DBには、予め作業計画と移動経路の情報が書き込まれているものとする。
【0093】
制御ユニット40は、動作モードを設定モード(#M0)にして、作業計画記録DBを参照して、作業を予定する日時、場所と、予定されている作業の作業指令(作業コード)とを取得する(ステップST0)。この処理は、例えば作業計画記録DBのレコードの単位で実施する。以下の処理についても同様である。
【0094】
次に、制御ユニット40は、動作モードを監視モード(#M1)にして、作業指令(作業コード)と、撮像部300によって撮影された作業者の画像情報とに基づいて、複数の作業者の中から捕捉する作業者を特定する(ステップST1)。例えば、制御ユニット40は、各作業者の特徴に基づいて作業の役割を識別して、監督者と施工担当者などを夫々特定する。なお、予め作業者を特定した履歴があれば、制御ユニット40は、上記に変えて、この履歴情報に基づいて作業者を特定してもよい。
【0095】
次に、制御ユニット40は、動作モードを監視モード(#M2)にして、各作業者について、準備段階の安全状態を判別する(ステップST2)。例えば、制御ユニット40は、作業者Aの準備段階の安全状態を判別し(ステップST2a)、同様に監督者Bの準備段階の安全状態を判別する(ステップST2b)。
【0096】
例えば、準備段階の安全状態の判別処理において、制御ユニット40(制御部400)は、取得した作業コードに基づいて作業リストDBを参照して、その作業に必要とされる装備の情報を得る。制御ユニット40は、作業者が上記の装備(装着物)を作業の開始前に装着又は所持しているか否かに基づいて、これから安全に作業を進めることが可能と判断しうるかを識別することで、その安全状態を判別する。ここで判別結果に安全上の不備が検出された場合には、制御ユニット40は、該当者を含む各メンバーに対して是正を促すための情報を入出力部500から出力させる。上記の不備が検出されなかった場合には、制御ユニット40は、予定する作業の各メンバーに対して、予定されている作業の開始を促す情報を入出力部500から出力させる。
【0097】
次に、制御ユニット40は、動作モードを監視モード(#M3)にして、作業中と移動中の安全状態を判別する(ステップST3)。この処理の詳細について後述する。
【0098】
次に、制御ユニット40は、予め定められた条件が満たされた場合に、上記の画像モデルの学習(機械学習)を実施して(ステップST4)、画像モデル部220における画像モデルの情報を更新する。例えば、予め定められた条件とは、監督者と飛行体4の判定の結果が異なったとき、異なった回数が所定の回数を超えたとき、異なった頻度が所定値を超えたときなどに定めてもよい。
【0099】
上記の処理の手順によって、作業の準備段階と作業中と移動中の安全状態を判別することができる。以下、上記に係る処理について説明する。
【0100】
図8を参照して、監視対象の対象者の安全状態の判別処理について説明する。図8は、実施形態の安全状態を判定する判別処理のフローチャートである。
【0101】
制御ユニット40は、監視の対象者である作業者の捕捉を開始する(ステップST31)。
【0102】
制御ユニット40は、対象者が作業中であるか否かを識別する(ステップST32)。この識別は、作業計画、対象者の位置、行動などに基づいて作業者の状況を推定してもよく、作業者から取得した情報に基づいてその状況を決定してもよい。
【0103】
制御ユニット40は、上記の識別の結果により、対象者が作業中である場合には、対象者の上方に飛行体4を待機させて対象者の作業中の状況を撮影して、対象者の作業中の状況を検出する(ステップST33A)。この後、処理をステップST34に進める。
【0104】
制御ユニット40は、上記の識別の結果により、対象者が作業中ではない場合には、取得した移動経路のデータを用いて飛行体4を飛行させて、さらに対象者の作業中の状況を撮影しながら、対象者を次の作業の現場に誘導する(ステップST33B)。このとき、制御ユニット40は、作業者の映像に基づいて作業者との距離を推定して、対象者から見て対象者の前方上方に位置するように相対位置を調整して飛行体4を飛行させるとよい。この後、処理をステップST34に進める。
【0105】
なお、この誘導にあたり、制御ユニット40は、次の作業の内容、移動先、移動経路などの移動に必要となる情報を入出力部500の表示パネルなどに出力させる。この表示は、テキストの情報だけでなく、矢印などで経路の方向が変わることを示してもよい。このような表示があることで、現場に不案内な対象者(作業者)であっても、適した経路で次の現場に向かうことができる。制御ユニット40は、この表示を、作業者の要求に応じて表示させてもよく、移動経路の曲がり角に近づいたタイミングに所定時間の間表示させてもよい。
【0106】
制御ユニット40は、対象者が作業中及び移動中の何れの場合であっても対象者の安全状態を判別する(ステップST34)。制御ユニット40は、作業中及び移動中の安全状態の判別結果に不安全行動と判断しうる事象(異常事象)が検出されたか否かを識別する(ステップST35)。
【0107】
異常事象が検出された場合には、制御ユニット40は、不安全な状況が検出されたことを示す警報(検出事象に関する情報)を出力する(ステップST36)。
【0108】
異常事象が検出されなかった場合には、制御ユニット40は、警報を出力せずに処理を継続する。例えば、制御ユニット40は、予定されている作業を終えて安全状態の検出を終了するか否かを識別して(ステップST37)、予定されている作業が残っている場合には、安全状態の検出を継続させるためステップST32からの処理を続ける。予定されている作業が残っていない場合には、制御ユニット40は、安全状態の検出を終了して、記憶部800に検出データを追加して、記録に残して(ステップST38)、一連の処理を終える。
【0109】
(飛行体の飛行制御)
飛行体4の飛行制御において、幾つかの飛行制御モードが規定されている。
例えば、飛行制御モードには、作業計画に基づいて予め定められた位置に到達するように自律飛行する第1飛行制御モードと、作業者の位置に対応する位置に到達するように自律飛行する第2飛行制御モードとが含まれる。第1飛行制御モードは、例えば、作業者を作業場所に案内する誘導時に適用される。第2飛行制御モードは、例えば、作業者が作業中に移動する状況を捕捉して追跡するときに適用される。上記のほか、飛行中断、充電などの補助的状態に関する制御モードが含まれていてよい。
【0110】
飛行制御部700は、飛行体4の飛行制御に用いる飛行制御モードを作業者の作業状況に応じて上記の飛行制御モードの中から決定して、決定した飛行制御モードによる飛行制御によって、飛行経路の情報に基づいて飛行体4を飛行させるとよい。
【0111】
このように飛行制御部700は、第1飛行制御モードによって飛行体4を飛行させて、作業者を誘導してもよい。また、飛行制御部700は、第2飛行制御モードによって飛行体4を飛行させて、作業者を追跡してもよい。
例えば、上記の飛行体4の移動経路は、作業者の作業計画に基づいて決定されている。飛行制御部700は、飛行体4の移動経路の情報を取得することで、移動経路の情報を用いた第1飛行制御モードによって飛行体4を飛行させることができる。
【0112】
上記の処理により、作業者が複数個所を移動して作業する作業計画に応じて、作業者の移動を支援することが可能になる。
【0113】
次に、本実施形態の適用例について、その典型的なケースを例示して説明する。
【0114】
(作業開始前の準備段階)
2人の作業者が、電力室で蓄電池2の充放電試験を実施する場合を想定する。
ステップST0:上記のように作業者の作業計画と移動経路は、例えば、作業の前日までに予め定められている。この移動経路に対応する飛行体4の作業経路を同様に、作業の前日までに予め定められている。飛行体4を電力室に導入し、作業者はまず、作業の種別が「蓄電池2の充放電試験」であることを、飛行体4の入出力部500から飛行体4に入力する。飛行体4の飛行制御部700は、作業計画通りに、この作業の種別が指定されたことを識別する。
【0115】
ステップST1:この後、作業者を特定する。
例えば、飛行体4は、2人の作業者のそれぞれに対して、本作業の役割(作業分担)を音声又は表示により告知する。これに応じて、2人の作業者は、順に飛行体4のカメラの前(撮像部300の撮影範囲内)に立つ。飛行体4は、告知に応じて動作をした作業者を特定する。
【0116】
ステップST2:特定した作業者について、飛行体4は、蓄電池2の充放電試験に対応した作業着、絶縁手袋、ヘルメット、等を、各作業者が着用しているかについて、画像認識処理によって判断する。この判断結果に異常がなければ、飛行体4は、音声やランプなどによってその旨を示し、異常があった場合は、不備と判断された内容を音声などによって警告する。
【0117】
続いて、各作業者は、例えば作業に必要とされる、試験装置、作業手順書、記録簿、記録装置、等を飛行体4に向けてかざして、飛行体4に装備の状態を判断させる。飛行体4は、上記の判断を行う。その判断結果に問題がなければ、飛行体4は音声やランプでその旨示し、不備があった場合は、不備内容を音声で警告する。不備が指摘された作業者は、不備が解消するように対応して、飛行体4から不備に関する警告を受けなくなるまでの対応を行う。
【0118】
ステップST3:飛行体4から警告を受けなかった場合、又は上記の対応により飛行体4から警告を受けなくなった場合には、飛行体4は、作業者によって実施される蓄電池2の充放電試験を監視する動作に移行する。
【0119】
なお、高所の移動又は高所作業を伴う場合の事前準備の段階の処理も同様である。
【0120】
(高所作業になる場所を移動するときの安全管理)
前述の図2B図2Cに示したように、飛行体4が作業者を誘導する際に、高所作業になる場所が含まれることがある。制御ユニット40は、このような場所を作業者が通過することを作業者の移動経路に係る経路情報に基づいて識別して、経路情報に応じた安全対策が取られているか否かを識別して、作業者の誘導を開始する前、及び移動中の作業者の安全状態を判別する。このとき、作業者が、安全装備(ハーネス)を着用していなかったり、正規の着用方法で着用していなかったり、ハーネスを着用していても、フックを親綱などに掛けずに移動していたりすることを検出して、制御ユニット40は、これを移動中の不安全行動と判断する。なお、作業現場内の危険個所は、共通の情報としてBIMデータなどに関連付けて予め登録されているとよい。制御ユニット40は、各経路情報に基づく移動経路がその危険個所に関係する場合に、上記の検出をしてもよい。
【0121】
(高所作業を実施するときの安全管理)
同様に、高所作業になる場所で作業することがある。このような場合で作業する際に、制御ユニット40は、作業中の対象者の安全状態を判別する。このとき、作業者が、安全装備(ハーネス)を着用していなかったり、正規の着用方法で着用していなかったり、ハーネスを着用していても、フックを親綱などに掛けずに作業していたりすることを、制御ユニット40は、高所作業中の不安全行動と判断する。
【0122】
上記の実施形態によれば、情報取得部100は、作業現場において撮像部300によって撮像された画像の画像データを、作業現場の作業者に対応付けて取得する。判定部200は、画像データを用いて、作業現場において作業者による作業の準備段階の状況と、作業時の作業状況と、作業者の移動時の移動状況との何れかに係る作業者の安全性を、作業者が含まれている画像内に映った用具の情報に基づいて判定する。入出力部500は、判定部200による判定の結果を出力する。これにより、複数の作業者によって作業現場における安全管理を支援することができる。
【0123】
このような管理支援システム1を用いることで、作業者は、飛行体4の外部表示部の表示内容を参照して、また移動中には飛行体4に先導させて移動経路の選定を任せることで、作業に集中して効率よく、安全に作業をこなすことができる。
【0124】
なお、飛行体4は、定期的に現状の作業の進捗をサーバ9に送信する。これに応じて、サーバ9は、作業計画とその進捗との差を比較する。この比較の結果に基づいて、サーバ9は、元の作業計画を補正した補正作業計画を各飛行体4に送信してもよい。これにより、作業計画と実際の進捗との差が生じても、作業者は、その差をなくすための無理な作業を行うことを避けて、妥当な進め方を示す補正作業計画に従って作業を進めることが可能になる。各作業者は、全体の進捗に対する注意を払う代わりに、自身の作業に集中して自分が可能なペースで作業を進めることが可能になる。
【0125】
上記のように、無理なスケジュールで作業を進めるための心労が発生しなくなる。これにより、作業者の健康管理を支援することができる。
【0126】
次に、サーバ9による作業計画の立案支援に関する処理について、これを中心に説明する。
【0127】
(作業計画の生成処理)
図9は、実施形態のサーバ9の構成図である。
図9に示すサーバ9は、作業計画を生成するように構成されたコンピュータの一例である。例えば、サーバ9は、作業予定日の天気と、作業予定日の作業に携わる人数と、作業予定日の作業に携わる人のスキルと、作業予定日の作業時間と、作業予定日の作業の内容とに基づいた各作業者の作業計画とを生成する。
【0128】
サーバ9は、例えば、情報取得部910と、入出力部950と、通信部960と、作業計画生成部970と記憶部980と、移動経路生成部990とを備える。
【0129】
入出力部950は、サーバ9に対する操作を受け付ける入力パネルと、所望の情報を出力する出力装置(表示パネル)などを含む。
通信部960は、サーバ9が外部装置と通信を行うために用いるインタフェースである。例えば、通信部960は、通信回線NWを介して飛行体4と、端末装置7と通信する。
記憶部980は、RAM、ROMなどの半導体メモリなどを含んで構成されていて、サーバ9における各種処理のためのプログラム、各種データなどを格納する領域が設けられている。記憶部980には、例えば、前述の作業者リストDB、作業リストDB、作業計画記録DB、後述する計画作成要求DBなどが格納されている。
【0130】
情報取得部910は、飛行体4と端末装置7から各種データを取得して、記憶部980に追加する。例えば、端末装置7から取得する各種データには、作業予定日の天気と、作業予定日の作業に携わる人数と、作業予定日の作業に携わる人のスキルと、作業予定日の作業時間と、作業予定日の作業の内容などが含まれる。情報取得部910は、これらの情報を、例えば日ごとに取得して計画作成要求DBに追加する。
【0131】
図5Dは、実施形態の計画作成要求DBを説明するための図である。図5Dに示す計画作成要求DBは、1日分の作業数、作業予定日の天気と、作業予定日の作業に携わる人数と、作業予定日の作業に携わる人のスキルと、作業予定日とその作業時間と、作業予定日の作業の内容などのデータが含まれる。計画作成要求DBのデータは、翌日などの作業計画の作成などに利用される。
【0132】
作業計画生成部970は、作業日に先立って端末装置7から取得する各種データに基づいて、各作業者の作業計画を生成して、記憶部980に追加する。また、作業計画生成部970は、作業日に飛行体4から取得する各種データに基づいて、各作業者の作業の進捗を、作業計画と対比して判定して、必要に応じてその作業者当人の作業計画を補正して、作業計画の補正案を記憶部980に追加する。作業計画生成部970は、このような作業計画の生成に、予め定められた制約条件を用いるとよい。これについて後述する。
【0133】
移動経路生成部990は、作業計画生成部970によって生成された作業計画に基づいて、各作業者の移動経路と、これに対応する各飛行体4の作業経路とを生成して、記憶部980に追加する。なお、1日の作業計画の中で位置を代えて作業するものが3つ以上含まれる場合には、効率よく移動できるように移動経路を最適化するとよい。移動経路生成部990による上記の最適化の手法として、ダイクストラ法などの最短経路抽出処理(ルート最適化処理)を適用してよい。
【0134】
図10を参照して、より具体的に、作業計画の生成処理について、事前準備処理と、日ごとの作業計画のための処理とに分けて説明する。図10は、作業計画の生成処理のフローチャートである。
【0135】
(事前準備処理)
ステップA1:工事全体に掛かる概算人工(概算工数)を算出する。
工事は、特定の工種の作業手順の繰り返し、又は単位作業の対象範囲(施工面積)分の積算とみなすことができる。
【0136】
例えば、情報取得部910は、工事全体に含まれる作業に係る情報を取得する。工事全体の作業に係る情報には、工事の全期間の日数(工事日数)が含まれる。作業計画生成部970は、特定の工種の単位人工(標準歩掛)を用いて、工事全体に含まれる各作業の概算人工を導出し、これに基づいて工事全体に掛かる概算人工を導出する。この概算人工の算出に、一般的な積算の手法を適用してよい。
【0137】
ステップA2:施工日1日に進めなければならない作業数を算出する。
例えば、作業計画生成部970は、次の式(1)を用いて、施工日1日に進めなければならない作業数を算出して、算出結果のデータを計画作成要求DBに追加する。例えば、施工日1日に進めなければならない作業数を、1日分の作業数と呼び、これを作業日1日の目標作業数として設定する。
【0138】
概算人工÷工事日数×余裕率 ・・・(1)
【0139】
上記式(1)内の余裕率は、例えば、ある程度作業予定に対する実際の進捗に余裕を持たせるためのものであり、設定とその値を任意に決定してよい。悪天候などにより作業効率が低下するこが想定される場合には、余裕率の値を大きくするとよい。
【0140】
なお、この事前準備処理(A1、A2)は、同一の工事(工事全体)を対象にする場合には、省略することができる。
【0141】
(日ごとの作業計画を生成するための処理)
ステップB1:日ごとに作業予定日に係る情報を取得する。
情報取得部910は、例えば、作業予定日の作業時間と、作業予定日の天気と、予定する作業者の人数と作業に携わる人のスキルの情報を、端末装置7から取得して、取得したデータを計画作成要求DBに追加する。なお、情報取得部910は、作業予定日の天気の情報の取得を、上記に代えて、天気予報情報の提供装置などから取得してもよい。
【0142】
ステップB2:作業計画生成部970は、作業日の天気予報に基づいて、作業日の進捗目標を算出する。
例えば、天候によって作業効率が低下して、その進捗に影響が生じることがある。そこで、天候に対する係数を設定する。その係数を、晴れ=1、曇り=1、雨=0.7、雪=0.5などのように、悪天時の係数の値を1よりも小さな値にする。この数値は一例であり、適宜変更してよい。作業計画生成部970は、上記(ステップA2)で算出した作業数に、天候に対する係数を乗じて、天候による影響を反映した作業日の進捗目標を算出する。これにより、計画作成要求DBの天候のデータを用いて1日の目標作業数を変更することができる。上記のように天候により作業効率が変化することに応じた目標作業を設定することで、作業者の負担を軽減させることができる。
【0143】
ステップB3:作業計画生成部970は、作業日の目標作業数を当日の作業者1人1人に割り当てる。
作業計画生成部970は、各人のスキル値を用いて、各作業者の作業日の目標作業数を導出する。例えば、スキル値をスキル0からスキル10までの識別情報を使って示す。スキル10に近いほど、つまりスキル値が大きいほどスキルが高いことを示す。スキル10とスキル9の作業者であれば、例えば1.1倍の作業スピードの差が生じるとする。この場合、スキルが高い作業者により多くの作業を割り当てたほうが、全体の進行を進めることになる。上記の各作業者の目標作業数とは、対象の各作業者の目標値として割り当てられた作業量のことである。作業計画生成部970は、これを、以下の式(2)に基づいて算出するとよい。
【0144】
各作業者の目標作業数
=(各作業者のスキル)÷(作業者全員のスキル総和)×(1日の目標作業数) ・・・(2)
【0145】
ステップB4:作業計画生成部970は、作業者1人1人の割り当て作業量に基づいて、作業時間の総和が最短となる作業の組み合わせを導出する。作業時間の総和とは、例えば、作業日の各作業者を、作業現場に拘束する時間の総和のことであり、作業に掛かっている時間のほか、次の作業を開始するまで待機する時間(待ち時間)を含む。作業の割り当てを密にできないと、見かけの作業時間が長くなる。これに係る処理の詳細について後述する。
【0146】
ステップB5:サーバ9は、各人の作業計画を生成して、これを飛行体4に供給する。
作業計画生成部970は、上記の作業の割り当ての結果に基づいて、作業者ごとの作業計画を生成する。例えば、各作業者の作業計画には、作業の実施予定と、これに基づいた移動経路と、作業経路と、作業手順と、目標完了時間の各情報が含まれる。この作業経路は、作業者の作業手順に係る作業者の移動経路に対応付けられていて、飛行中の障害物を回避するように規定されている。作業計画生成部970は、各作業計画などを各飛行体4に供給する。各作業計画は、フローチャートのように手順を示す情報に変換されたものであってもよく、作業経路に基づくシーケンスを所定の書式に変換されたものであってもよい。
【0147】
ステップB6:飛行体4は、各作業の場所、作業手順、目標完了時間などを、対象の作業者に通知して、予定の作業経路に従い移動する。
【0148】
飛行体4は、上記の手順により取得した各作業計画の情報を用いて、作業者を誘導することができる。作業者は、飛行体4が提供する情報に従い、作業を進めることができる。
【0149】
(作業の組み合わせを決定する処理)
次に、作業の組み合わせを決定する処理の一例について説明する。
【0150】
現場作業には、多くの種類の作業が数多く含まれている。これらの多くの作業を無差別に組み合わせて最適解又は近似解を求めることが、演算量の関係で困難になる場合がある。そこで、本実施形態では、現場作業ならではの特徴を利用して、作業の組み合わせを検証するための演算数を制限することで、作業の組み合わせ最適化の近似解を求めやすくする手法を提案する。
【0151】
以下、現場作業ならではの特徴を例示する。
・現場作業の工程管理は、概略工程表に規定される概略工程計画、詳細工程表に規定される詳細工程計画などのように階層化された工程に従い実施されている。例えば、作業員の割り付けが必要になるのは詳細工程計画である。そのため、大規模な工事であっても、この割り付けに関連する対象範囲の作業が、比較的少数に限られることが多い。
・現場作業は、互いに異なる作業を実施する予定が重複すると、それぞれの作業を安全に進めることが難しいことがある。このような状況が生じないように、作業の段取りの段階で予め調整されている。
・作業対象の場所の作業に順序性がある。そのため、全体の作業の中には、特定の作業を終えていないと実施できない作業になるものが含まれている。
・上記の順序性は、一般化しやすい場合がある。例えば、作業前の養生・安全確認は最も先に実施され、作業後の撤収・整理は最も後に実施される。また、墨だし、チャネルベースの設置、搬入、装置の据え付け、調整、試験などの一連の作業は、記載の順に実施されることが多いが、複数の装置を設置する場合には、状況によって並行して作業を進めることが可能な場合がある。
・作業の中には、共通の作業時間帯に、並行して作業を進めることが可能なものが含まれている場合がある。
・1つの作業を、複数の作業者に割り当てて分担することがある。
・有資格者が実施すべき作業が規定されている。なお、無資格者は、この作業を担当できないが、その補助的作業は実施できる。有資格者が実施すべき作業の割り付けは、他の作業と分けて実施するとよい。
【0152】
このような特徴は、作業計画内の作業の割り当て(スケジューリング)を困難にする要因でもあるが、これらの特徴を利用すれば検証対象に含める作業数を制限することができ、作業の組み合わせ最適化において検証する組み合わせを減らすことが可能になる。
【0153】
以下、作業の組み合わせ最適化について検証する組み合わせを減らし、総作業時間を短縮するためのより具体的な手法について説明する。
【0154】
全体の作業の中から、所定の条件を用いて割り付け対象として未着手の作業を抽出する。この所定の条件として、作業予定日、作業対象の場所、作業の種別、作業の順序(手順)などが所望の条件を満たすことなどを規定してよい。
【0155】
その結果、作業WA、作業WB1-WB3、作業WCのそれぞれが、割り当て対象の作業として抽出されたと仮定する。例えば、上記の作業のうち作業WAは、他の作業に先立って実施する必要があり、作業WAが完了してから他の作業が実施されるように作業計画が作成される。上記の作業のうち作業WCは、他の作業が完了してから実施する必要があり、他の作業が完了して作業WCが実施されるように作業計画が作成される(図11参照)。
【0156】
これにより、作業WB1-WB3は、作業WAが完了してから実施されて、それぞれが完了したのちに作業WCが実施されることになる。
【0157】
なお、作業WB1-WB3は、並行して作業することが可能な独立性を有しているものとする。情報取得部910は、上記に係る情報を取得して、作業リストDB(図5B)の並行作業フラグ(並行F)を設定する。並行作業フラグがセットされている作業(例えば作業WB1-WB3)は、互いに並行して作業を進めることができる。並行作業フラグがリセットされている作業(例えば作業WAと作業WC)は、並行して作業を進めることができない。並行作業フラグがセットされている作業は、組み合わせの対象になるが、並行作業フラグがリセットされている作業は、組み合わせの対象にならない。
【0158】
図11に、各作業が長方形にモデル化されて配置された作業計画の一例を示す。この図11は、実施形態の作業計画を説明するための図である。図11に示す作業計画表は、横軸を時間軸にしたタイミングチャートになる。図11中の各長方形は、各作業を示し、その位置によって、作業が割り付けられた時間帯と作業者との関係を表している。各長方形は、互いに重ならないように配置されている。長方形の幅は、作業に要する時間を示している。なお、以下の説明では、説明を簡略化するために、作業場所を移動するための移動時間の説明を省略する。これに制限されず、厳密に解析する場合には、移動時間を示す長方形を使って、作業と他の作業の間に配置することで、同様の手法で解析することができる。また、本実施形態における以下の説明では、説明を簡略化するために、各作業者のスキルが等しいものとする。
【0159】
図11(a)に、1人の作業者が、作業WA、作業WB1-WB3、作業WCの各作業を記載の順に実施する場合を示す。1人で順に進めるため、作業WAの開始から作業WCの完了までの作業時間の合計が、一連の作業の総作業時間になる。この事例の場合、並行作業フラグの状態から、作業WB1-WB3は並行して作業可能であるが、配置された作業員が1人であるため、作業WB1-WB3も、順に進める手順になっている。このために、総作業時間の短縮につながっていない。これを比較例とする。
【0160】
図11(b)に、例えば2人の作業者で各作業を分担する場合を示す。作業WA、作業WB1-WB3、作業WCの各作業の作業量が2人に分散されている。作業WA、作業WB1-WB3、作業WCの各作業が記載の順に実施されていて、一連の作業の総作業時間は、1人で実施した場合の半分になっている。この事例の場合も、並行して作業可能な作業WB1-WB3を順に進める手順をとっている。作業を単に分担したものであるが総作業時間を短縮する方法の一例である。なお、この事例の場合、各作業の作業量を分けて分担できるものであることを要す。適用する作業によっては、このような分担方法が困難な事例もある。
【0161】
図11(c)に、作業量を分けて実施することが困難な作業を、3人の作業者に割り付ける場合を示す。作業WA、作業WB1-WB3、作業WCの各作業が3人の作業者に割り当てられている。作業WA、作業WB1、作業WCの各作業が作業者Aに割り当てられ、作業WB2と作業WB3が作業者Bと作業者Cにそれぞれ割り当てられている。この事例の場合、並行して作業可能な作業WB1-WB3を、3人に分けて並行してそれぞれ作業する計画になっている。総作業時間の検討は、後述する。
【0162】
図11(d)に、作業量を分けて実施することが困難な作業を、2人の作業者に割り付ける場合を示す。作業WA、作業WB1-WB3、作業WCの各作業が2人の作業者に割り当てられている。作業WA、作業WB1、作業WCの各作業が作業者Aに割り当てられ、作業WB2-WB3が作業者Bにそれぞれ割り当てられている。この事例の場合、並行して作業可能な作業WB1-WB3を、2人に分けて並行作業を実施する計画になっている。
【0163】
上記の図11(c)と図11(d)の事例の総作業時間について検討する。作業WB1-WB3の分担の仕方が異なるが、各作業の作業量は変わらないので、実質的な作業量の合計は変わらない。ただし、図11(c)の作業者Bと作業者Cの作業可能な時間に対して、その時間内に割り当てられた作業量が少ないため、作業WB2と作業WB3を完了した後に手待ちが発生する。そのため、総作業時間は、2人の作業者に割り付けた図11(d)に示す事例のほうが短くなる。
このように、予め定められた条件により作業と作業者とを割り付ける幾つかの割り付け方法が選択可能である。
【0164】
例えば、上記の作業者1人1人の割り当て作業量に基づいて、作業時間の総和が最短となる作業の組み合わせを導出するための処理の一例を示す。
図12は、実施形態の作業の組み合わせを導出する処理のフローチャートである。
【0165】
ステップSB41:情報取得部910は、作業者の人数と、割り当てを予定する各作業者のスキルに関する情報を取得して、計画作成要求DBに追加する。
ステップSB42:作業計画生成部970は、作業者リストDB(図5A)に登録された各作業者を、各作業者のスキルの高さに従い並べ替える。例えば、作業者A、B、Cの3人を対象とする場合、作業者Aが最も高く記載に順に低くなると仮定する。作業計画生成部970は、作業者A、B、Cを、スキルの高さに従い並べかえる。作業計画生成部970は、タイミングチャート形式の作業計画の下の段から順に各作業者を割り付ける。
ステップSB43:情報取得部910は、割り当てる各作業の順を規定する作業順情報と、作業量などのデータを取得してリスト化した作業リストを生成して、作業リストDBに追加する。
ステップSB44:作業計画生成部970は、作業リストDBの作業リストにおいて、並行して作業可能な作業に並行作業フラグを立てる。例えば、並行作業フラグを立てる作業は、監理者が定めてよい。
ステップSB46:作業計画生成部970は、割り当てる各作業の順を規定する作業順情報と、作業量(作業時間)に従い、作業リストDBにおける作業リスト中の組み合わせ対象の作業の順序を並び替える。
【0166】
ステップSB47:作業計画生成部970は、リスト化された作業リストのデータに従い、タイミングチャート形式の作業計画表に作業を順に割り付ける。
【0167】
例えば、作業計画生成部970は、作業リストDBの中から、まだ割り当てられていない作業の中で、最も作業量の多い作業をリストの順に従い抽出して、作業計画表内に割り当てられた時間の中で、左に詰めて、より下の段に配置する。この組み合わせ最適化に係る処理を、作業当日の作業が所定の作業終了時間までに終えるように、作業終了時間までに収まるような組み合わせを抽出する検証を繰り返す。上記の手法は、2分岐法などと呼ばれる解法の一例である。組み合わせ対象の作業の個数が比較的少ない事例に適用するとよい。
【0168】
作業計画生成部970は、作業リストDBの作業リスト中の組み合わせ対象の各作業の割り付けを繰り返して、すべての作業を割り付けた初期状態の作業計画を作成する。これにより、例えば、前述の図11(c)のような結果が得られる。
【0169】
ステップSB48:作業計画生成部970は、その試案の作業計画の可否を判断し、可と判断された試案の作業計画の総作業時間を算出する。これを作業計画の候補とするために、試案の作業計画のデータを記憶部に追加する。
【0170】
ステップSB49:作業計画生成部970は、算出された各試案の作業計画の総作業時間のうちから、最も短いものを作業計画の推奨案に決定する。これにより、例えば、前述の図11(d)のような結果が得られる。
【0171】
上記の実施形態によれば、サーバ9(装置)は、作業予定日の天気と、作業予定日の作業に携わる人数と、作業予定日の作業に携わる人のスキルと、作業予定日の作業時間と、作業予定日の作業の内容とに基づいた各作業者の作業計画を生成する。これにより、作業現場において、より効率的に作業するための作業計画の作成を支援することが可能になる。
【0172】
なお、サーバ9(作業計画生成部970)は、上記の作業の検索範囲の設定の処理に、予め定められた制約条件を用いた「制約プログラミング」などの手法を適用しても良い。「制約プログラミング」では、検索範囲の設定に適用する規則を、複数の論理式などを用いて規定する。上記のように、現場作業の特徴を、「制約プログラミング」に適用可能な論理式で規定することにより、細部の論理条件を、プログラムによる手順に変換せずに利用できる。
【0173】
なお、対象の作業の個数が比較的少ない場合には、対象の作業の個数を増やしたほうが作業の効率が良くなる場合がある。このような調整を上記の制約条件の組み合わせの変更、制約条件を規定する変数の変更などによって調整することができる。
【0174】
例えば、上記の調整を、人工知能を用いて最適化してもよい。作業計画生成部970は、作業者の人数と、1日の作業量と、作業の種類などの情報を入力情報とし、選択する制約条件の種類を出力情報として出力する第1DNN(Deep Neural Network)を含む。この第1DNNを、過去の履歴データに基づいて機械学習させる。例えば、作業計画生成部970は、この学習済みの第1DNNに制約条件を選択させて、第1DNNが選択した制約条件に基づいて、「制約プログラミング」に利用する制約条件を決定するとよい。例えば、対象範囲を規定するための場所の条件として、広さを規定するための基準値を定めたり、その基準値の広さよりも範囲を狭くする、範囲を広くするなどの方法でその場所の条件を調整したり、その場所の条件を除いたりするなどの変更が容易になる。これにより、サーバ9は、上記の作業の検索範囲の設定の処理を最適化することができる。
【0175】
例えば、サーバ9は、上記の手法などを用いて、作業者の作業計画に基づいた作業経路と、作業手順と、目標完了時間の情報とを含む各作業者の作業計画を生成するとよい。これによって、各作業者に対する情報をサーバ9が作成する。
【0176】
さらに、サーバ9は、作業者に所持させる所持用具を、作業計画によって規定された作業に対応させて特定して、その所持用具の情報を、飛行体4に通知してもよい。
【0177】
さらに、サーバ9は、作業当日の作業者の作業の進度状況を取得して、取得した後に、作業当日の作業者の作業の進度状況と、予め定められていた作業者の作業計画とを比較して、作業当日の作業者の作業の進捗を判定するとよい。例えば、作業計画生成部970は、作業当日の作業者の作業の進捗を夫々判定する。これにより、サーバ9は、作業当日の各作業者の作業の進度状況を収集して、作業当日の作業者の作業の進捗をそれぞれ判定できる。
【0178】
例えば、作業計画生成部970は、作業当日の作業者の作業の進捗の判定結果に基づいて、当該作業の作業者(例えば作業者C)の作業計画を補正するとよい。
【0179】
各作業者に対応付けられた飛行体4(装置)は、サーバ9から通知された各作業者の作業計画の中から特定の作業者(例えば作業者A)の作業計画を取得して、その作業者Aの作業計画を飛行体4Aの入出力部500から出力させる。これによって、飛行体4Aの近傍にいる作業者Aは、その作業者Aの作業計画に関する情報を得ることができる。
【0180】
また、作業計画生成部970は、作業当日の作業者(例えば作業者A)の作業の進捗の判定結果に基づいて、当該作業の作業者A以外の作業者(例えば作業者D)の作業計画を補正してもよい。例えば、当該作業の作業者Aに係る作業の進捗に遅れが生じていると仮定する。このような場合に、遅れが生じている作業者Aの作業を他の作業者Dに支援させるための指令を、作業者Dの作業計画の補正によって生成することができる。これにより作業者Dの作業計画には、作業者Aの作業を支援する業務が追加される。
【0181】
各作業者に対応付けられた飛行体4(装置)は、サーバ9から通知された各作業者の作業計画の中から特定の作業者(例えば作業者D)の作業計画を取得して、その特定の作業者Dの作業計画を飛行体4D(不図示)の入出力部500から出力させる。これによって、飛行体4Dの近傍にいる特定の作業者Dは、その作業者Dの作業計画に関する情報を得ることができる。
【0182】
また、このように作業者の飛行体4Dを介して、例えば作業を先に終えている作業者Dに対して、進捗の遅れが生じている作業者Aの作業を支援することを指示することを可能にする。上記のように各作業者は、作業の状況の報告に時間を取られることなく、作業に集中することができる。
【0183】
(第1変形例)
第1変形例として、各作業者のスキルが異なることを、作業の割り付けの条件に利用する事例について説明する。上記の実施形態に示した事例では、各作業者のスキルが等しいものとして近似して、作業の割り付け処理の一例を例示した。
【0184】
これに対して、並列に作業する各作業者のスキルが互いに異なる場合には、割り付けられた作業の作業時間を、スキルの値に応じて補正するとよい。例えば、スキル値が高い値(例えば10)のスキルの作業員による作業時間を基準に、総作業時間を算出した場合には、スキル値が比較的低い作業員が同じ作業量の作業を実施すると作業時間が長くなることがある。このような作業時間の差が作業計画の作成に影響する場合には、上記の近似を見直して、実際に掛かると見込まれる作業時間に、作業計画上の作業時間を近づけるように補正するとよい。上記の場合、この補正により作業計画上の総作業時間が長引く方向に補正されることになるが、作業計画の精度を高めることができる。
【0185】
(第2変形例)
本変形例では、割り当て対象の作業の中から新たに配置する作業を抽出して、この作業を作業計画内に配置する処理のほかの事例について説明する。
【0186】
図13は、第2変形例の作業計画生成部970Aの構成図である。
作業計画生成部970Aは、作業配置部971と、演算処理部972と、評価処理部973と、最適化処理部974とを備える。
【0187】
作業配置部971は、設定された変数を用いた演算結果に基づいて、最適化処理部974が指定する対象の作業を作業計画表中に配置する。例えば、作業配置部971は、制限規則を満たすように変数が決定される第2DNNを含む。作業計画表中に作業が配置される位置(配置結果(a)という。)は、第2DNNの演算結果によって決定される。
【0188】
例えば、第2DNNは、最適化処理部974によって決定された作業数に対応する個数のニューロンを有する入力層と、複数のニューロンを夫々備える複数の中間層と、最適化処理部974によって決定された作業員の人数に対応する個数のニューロンを有する出力層とを有する。第2DNNは、例えば入力層又は1つの中間層の何れかに、出力層の出力を帰還するための複数のニューロンを備えた再帰型(Recurrent Neural Network)、又は多段構成のノード間に有効グラフを形成する回帰型として構成されているとよい。これにより、各作業が1つずつ配置された結果を利用して、次の作業を追加して配置することができる。上記の中間層の層数とニューロンの個数を適した数に適宜設定して構成してよい。各ニューロンの変数(重み)などを学習により決定することで、第2DNNの特性が決定される。その際に、前述したように、対象作業の個数が演算に適した適当な数になるように、変数の値を調整してもよい。
【0189】
演算処理部972は、作業配置部971によって各作業が配置された作業計画表(配置結果(a)という。)に基づいて、総作業時間(s)を算出する。
【0190】
評価処理部973は、算出された総作業時間(s)について、所定の評価条件に従い評価する。例えば、評価処理部973は、算出された総作業時間(s)に対応する各作業が、作業当日の作業終了時間までに終了するか否かについて判定して、終了する場合に肯定的判定結果を、終了しない場合に否定的判定結果を夫々出力する。この判定結果をrで示す。
【0191】
また、例えば、評価処理部973は、算出された総作業時間(s)に対する作業時間の比率(作業時間比率)を算出して、この作業時間比率が所定値を超えるか否かについて判定して、作業時間比率が所定値を超える場合に肯定的判定結果を、作業時間比率が所定値を超えない場合に否定的判定結果を夫々出力する。評価処理部973は、この判定結果(r)を用いてもよい。
【0192】
最適化処理部974は、作業の配置結果(a)と、算出された総作業時間(s)と、その評価結果(r)とを関連付けて、記憶部980に追加する。最適化処理部974は、評価処理部973による評価結果に基づいて、作業を配置させる処理の順序、又は作業配置部971内の第2DNNの変数を調整する。この変数の調整には、中間層内の特定のニューロンを無効化する値が含まれていてもよい。この第2DNNの学習処理には、Q学習法などの強化学習(reinforcement learning)の手法を適用するとよい。
【0193】
なお、第2DNNは、最適化処理部974からの指令により、各ニューロンに関わる変数の値を調整して、その後、作業を配置させる処理を指定された順序に従って実施する。
【0194】
(作業計画生成部970Aの学習処理)
作業計画生成部970Aの作業配置部971は、例えば第2DNNとして規定される推論演算モデルを含む。この推論演算モデルは、事前の調整(学習)によって、より適した解析結果を得るように特性を調整することができる。例えば、作業計画生成部970Aは、事前の学習処理の中で、初期段階の推論演算モデルから、そのパラメータの値を変えながら、学習用の解析を繰り返すことで、推論演算モデルの特性をより適したものにする。
【0195】
上記の解析を繰り返すことで、解の候補が記憶部980に蓄積される。作業計画生成部970は、解の候補のうちより適した結果を示したパラメータを、推論演算モデルのパラメータとして決定する。作業計画生成部970Aは、決定したパラメータを用いることで、学習済みの推論演算モデルの特性を決定する。
【0196】
(作業計画生成部970Aの作業計画作成処理)
作業計画生成部970Aは、学習済みの推論演算モデルを用いて、各作業者の作業計画を生成する。
【0197】
サーバ9は、例えば、工事の前日までに以下の情報を取得する。情報取得部910は、・作業予定日の作業時間
・作業予定日の天気
・予定する作業者の人数
・作業に携わる人のスキルの情報
などを、端末装置7から取得して、取得したデータを計画作成要求DBに追加する。
作業計画生成部970Aは、これらの情報を用いて、作業計画、移動経路、作業経路、作業手順、目標完了時間などを生成して、飛行体4に出力する。
【0198】
なお、上記の作業を各作業者に割り付ける処理は、一例を示したものであり、これに制限されることなく他の手法、他の手順を利用してもよい。
【0199】
上記の変形例によれば、割り当て対象の作業の中から新たに配置する作業を抽出して、この作業を作業計画内に配置することができる。
【0200】
作業終了時刻に達すると、飛行体4は、1日分の進捗結果をサーバ9に送信する。サーバ9は、各作業者の作業の進捗結果を取得して、これをまとめて、監督者の端末装置7などに送信する。監督者(施工管理者)は、各作業者の進捗状況に応じて支払う日当(成果報酬)の算出に、上記の情報を用いることができる。
【0201】
少なくとも実施形態の管理支援システム1は、情報取得部100と、判定部200と、入出力部500とを備える。情報取得部100は、作業現場において撮像部300によって撮像された画像の画像データを、作業現場の作業者に対応付けて取得する。判定部200は、画像データを用いて、作業現場において作業者による作業の準備段階の状況と、作業時の作業状況と、作業者の移動時の移動状況との何れかに係る作業者の安全性を、作業者が含まれている画像内に映った用具の情報に基づいて判定する。入出力部500は、判定部200による判定の結果を出力する。これにより、複数の作業者によって作業現場における安全管理を支援することを可能にする。
また、実施形態の管理支援システム1は、作業計画生成部970と、通信部960とを備える。作業計画生成部970は、作業予定日の天気と、前記作業予定日の作業に携わる人数と、前記作業予定日の作業に携わる人のスキルと、前記作業予定日の作業時間と、前記作業予定日の作業の内容とに基づいた各作業者の作業計画を生成する。通信部960は、前記各作業者の作業計画を、前記各作業者に夫々対応付けられた装置に夫々通知する。これにより、適正な作業計画を提供することにより複数の作業者によって作業現場における安全管理を支援することを可能にする。
【0202】
なお、管理支援システム1を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより管理支援システム1が所定の処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0203】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0204】
例えば、制御部400は、飛行体4に含まれるものとして説明したが、制御部400の少なくとも一部の処理をサーバ9などの外部の装置が実施するようにしてもよい。これとは逆に、サーバ9の少なくとも一部の処理を制御部400が実施してもよい。また、サーバ9と端末装置7を別体にした事例について説明したが、一つの装置に一体化されていてもよい。
【符号の説明】
【0205】
1…管理支援システム、4、4A、4B…飛行体、100、910…情報取得部、200…判定部、300…撮像部、400…制御部、500、950…入出力部、600、960…通信部、700…飛行制御部、3、7…端末装置、9…サーバ、970…作業計画生成部、990…移動経路生成部
図1A
図1B
図2A
図2B
図2C
図3
図4A
図4B
図5A
図5B
図5C
図5D
図6
図7
図8
図9
図10
図11
図12
図13