特許 7666022 情報処理装置、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-14

(45)【発行日】2025-04-22

(54)【発明の名称】情報処理装置、情報処理方法

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20250415BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 4

(21)【出願番号】P 2021032107

(22)【出願日】2021-03-01

(65)【公開番号】P2022133166

(43)【公開日】2022-09-13

【審査請求日】2024-02-16

(73)【特許権者】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】栗生 暢雄

(72)【発明者】

【氏名】羽立 征治

(72)【発明者】

【氏名】上條 宏明

(72)【発明者】

【氏名】グエン フーン バック

(72)【発明者】

【氏名】グエン ティエン ス

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１８－０８１５４９（ＪＰ，Ａ）

【文献】特開２０２０－１６０５３７（ＪＰ，Ａ）

【文献】特開２０１１－０７０２６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

所定設備が設けられた作業現場の画像を取得する取得部と、
作業現場の画像を入力した場合に、入力された前記画像中の作業現場における所定設備の危険要因に応じた第１の項目群と、入力された前記画像中の作業現場における環境の危険要因に応じた第２の項目群と、入力された前記画像中の作業現場における観測対象の動作の危険要因に応じた第３の項目群と、を出力するよう学習された学習モデルに対し、取得した前記画像を入力して、前記第１～第３の項目群の中から取得した前記画像中の危険要因に応じた項目を出力させる処理部と、
前記第１～第３項目群に含まれる項目の夫々に対する危険度を含むデータを用いて、取得した前記画像中の危険要因に応じた項目に対する危険度を出力する出力部と、
取得した前記画像中の危険要因に応じた項目に対する前記危険度のうち、前記第１の項目群に含まれる項目の夫々に対する第１の危険度と、前記第２の項目群に含まれる項目の夫々に対する第２の危険度と、前記第３の項目群に含まれる項目の夫々に対する危険度であって前記第１及び第２の危険度とともに出力されて所定期間保持される第３の危険度と、を加算する加算部と、
前記加算部の加算結果が所定値より大きい場合に、取得した前記画像中の前記作業現場の状況が危険であると判定する判定部と、
を備える情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
端末から送信される前記データを受信し、データ記憶部に格納する受信部を備える、
情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置であって、
前記観測対象は、前記作業現場で作業を行う作業者である、
情報処理装置。

【請求項4】

所定設備が設けられた作業現場の画像を取得するステップと、
作業現場の画像を入力した場合に、入力された前記画像中の作業現場における所定設備の危険要因に応じた第１の項目群と、入力された前記画像中の作業現場における環境の危険要因に応じた第２の項目群と、入力された前記画像中の作業現場における観測対象の動作の危険要因に応じた第３の項目群と、を出力するよう学習された学習モデルに対し、取得した前記画像を入力して、前記第１～第３の項目群の中から取得した前記画像中の危険要因に応じた項目を出力させるステップと、
前記第１～第３項目群に含まれる項目の夫々に対する危険度を含むデータを用いて、取得した前記画像中の危険要因に応じた項目に対する危険度を出力するステップと、
取得した前記画像中の危険要因に応じた項目に対する前記危険度のうち、前記第１の項目群に含まれる項目の夫々に対する第１の危険度と、前記第２の項目群に含まれる項目の夫々に対する第２の危険度と、前記第３の項目群に含まれる項目の夫々に対する危険度であって前記第１及び第２の危険度とともに出力されて所定期間保持される第３の危険度と、を加算するステップと、
加算結果が所定値より大きい場合に、取得した前記画像中の前記作業現場の状況が危険であると判定するステップと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、及び情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、作業現場の危険な箇所を含む画像が入力されると、危険な箇所に対応する事象を出力する学習モデルが開示されている。具体的には、例えば、危険な箇所として作業現場に設けられた「クレーン」を含む画像が入力されると、学習モデルは、「吊り荷落下」との事象を出力する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－８１５４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された学習モデルが実装された装置は、作業現場の危険な箇所を機械的に検出できる。しかしながら、作業現場の危険な箇所が把握できたとしても、例えば、作業員が用いる設備がメンテナンスされていない場合、または、作業員が作業現場で危険な行動をした場合には、作業現場で事故が発生することがある。したがって、作業現場の状況が危険か否かを判定するためには、作業現場の危険な箇所のみならず、他の危険要因も考慮する必要がある。

【0005】

本発明は、上記のような従来の問題に鑑みてなされたものであって、その目的は、作業現場における複数の危険要因を検出することができる情報処理装置を提供する。

【課題を解決するための手段】

【0006】

前述した課題を解決する本発明の情報処理装置は、所定設備が設けられた作業現場の画像を取得する取得部と、作業現場の画像を入力した場合に、入力された前記画像中の作業現場における所定設備の危険要因に応じた第１の項目群と、入力された前記画像中の作業現場における環境の危険要因に応じた第２の項目群と、入力された前記画像中の作業現場における観測対象の動作の危険要因に応じた第３の項目群と、を出力するよう学習された学習モデルに対し、取得した前記画像を入力して、前記第１～第３の項目群の中から取得した前記画像中の危険要因に応じた項目を出力させる処理部と、前記第１～第３項目群に含まれる項目の夫々に対する危険度を含むデータを用いて、取得した前記画像中の危険要因に応じた項目に対する危険度を出力する出力部と、取得した前記画像中の危険要因に応じた項目に対する前記危険度のうち、前記第１の項目群に含まれる項目の夫々に対する第１の危険度と、前記第２の項目群に含まれる項目の夫々に対する第２の危険度と、前記第３の項目群に含まれる項目の夫々に対する危険度であって前記第１及び第２の危険度とともに出力されて所定期間保持される第３の危険度と、を加算する加算部と、前記加算部の加算結果が所定値より大きい場合に、取得した前記画像中の前記作業現場の状況が危険であると判定する判定部と、を備える。

【0007】

また、本発明の情報処理方法は、所定設備が設けられた作業現場の画像を取得するステップと、作業現場の画像を入力した場合に、入力された前記画像中の作業現場における所定設備の危険要因に応じた第１の項目群と、入力された前記画像中の作業現場における環境の危険要因に応じた第２の項目群と、入力された前記画像中の作業現場における観測対象の動作の危険要因に応じた第３の項目群と、を出力するよう学習された学習モデルに対し、取得した前記画像を入力して、前記第１～第３の項目群の中から取得した前記画像中の危険要因に応じた項目を出力させるステップと、前記第１～第３項目群に含まれる項目の夫々に対する危険度を含むデータを用いて、取得した前記画像中の危険要因に応じた項目に対する危険度を出力するステップと、取得した前記画像中の危険要因に応じた項目に対する前記危険度のうち、前記第１の項目群に含まれる項目の夫々に対する第１の危険度と、前記第２の項目群に含まれる項目の夫々に対する第２の危険度と、前記第３の項目群に含まれる項目の夫々に対する危険度であって前記第１及び第２の危険度とともに出力されて所定期間保持される第３の危険度と、を加算するステップと、加算結果が所定値より大きい場合に、取得した前記画像中の前記作業現場の状況が危険であると判定するステップと、を含む。

【発明の効果】

【0008】

本発明によれば、作業現場における複数の危険要因を検出することができる情報処理装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】情報処理システム１０の一例を示す図である。

【図2】学習装置２１の一例を示す図である。

【図3】学習装置２１に実現される機能ブロックの一例を示す図である。

【図4】教師データの一例を示す図である。

【図5】教師データの一例を示す図である。

【図6】教師データの一例を示す図である。

【図7】教師データの一例を示す図である。

【図8】学習モデル４１の生成処理の一例を示すフローチャートである。

【図9】学習モデル４１から出力される項目の一例を示す図である。

【図10】判定装置２２の一例を示す図である。

【図11】危険度データ７０の一例を示す図である。

【図12】判定装置２２に実現される機能ブロックの一例を示す図である。

【図13】判定処理Ｓ３０の一例を示すフローチャートである。

【図14】危険スコア計算処理Ｓ４４の一例を示すフローチャートである。

【図15】危険スコアの推移の一例を示す図である。

【図16】教師データの一例を示す図である。

【発明を実施するための形態】

【0010】

本明細書及び添付図面の記載により、少なくとも以下の事項が明らかとなる。

【0011】

＝＝＝＝＝本実施形態＝＝＝＝＝
図１は、本発明の一実施形態である情報処理システム１０の構成を示す図である。情報処理システム１０は、作業現場１５の複数の危険要因を検出し、作業現場１５の状況が危険であるか否かを判定するシステムであり、カメラ２０、学習装置２１、判定装置２２、及び端末２３を含んで構成される。

【0012】

＜＜＜作業現場１５＞＞＞
作業現場１５は、例えば、建設中のオフィスビルの一室であり、壁面に設けられた扉２００、及び床下のスペースにアクセスするための開口部２０１が設けられている。また、作業現場１５には、可搬式作業台２１０（以下、「作業台２１０」と称する。）が設けられている。

【0013】

作業台２１０は、作業員が、例えば図示しない天井に、天井ボードや天井配管を取り付ける際に用いられる設備であり、天台２２０、支持脚２２１，及び手摺２２２を有する。天台２２０は、作業者が作業をするための足場を構成する部位であり、作業床に作業台２１０を設置した状態において、作業床よりも高い位置（上方）に配置される。

【0014】

支持脚２２１は、天台２２０を支持しつつ、作業者が天台２２０に昇降するための梯子であり、天台２２０の長手方向の両端部に設けられている。手摺２２２は、作業者が天台２２０から落下することを防止する部材であり、天台２２０の幅方向の両側に一対設けられている。なお、作業台２１０は、「所定設備」に相当する。なお、本実施形態で「所定設備」とは、作業現場で用いられる設備であるため、作業台２１０に限られず、例えば、梯子、脚立、ハンドリフト、ライトベース、高所作業車等であっても良い。

【0015】

＜＜＜情報処理システム１０の概要＞＞＞
カメラ２０は、作業現場１５の状況を撮影するために用いられる、持ち運び可能な小型の機器である。本実施形態では、カメラ２０は、例えば、図示しない三脚に取り付けられ、作業現場１５において、作業員が作業する領域を撮影できる位置に配置される。なお、カメラ２０は、例えば作業現場の壁面に取り付けられたカーテンレール（不図示）等に、フック等をもちいて取り付けても良い。

【0016】

学習装置２１は、作業現場１５の危険要因を検出するための学習モデルを構築する情報処理装置であり、判定装置２２は、カメラ２０からの画像と、学習装置２１で構築された学習モデルと、に基づいて、作業現場１５の状況が危険であるか否かを判定する情報処理装置である。本実施形態では、情報処理装置としてサーバを用いることとするが、これに限られない。具体的には、情報処理装置の全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、詳細は後述するが、情報処理装置によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。

【0017】

端末２３は、判定装置２２が危険要因を検出する際に、現場監督が所定の操作を行うためのタブレットである。なお、端末２３の詳細は後述するが、端末２３の表示画面には、作業現場１５が危険な状況であると判定された場合、警報が表示される。また、カメラ２０、学習装置２１、判定装置２２、及び端末２３のそれぞれは、ネットワーク２４を介して接続されている。

【0018】

＜＜＜学習装置２１の詳細＞＞＞
図２は、学習装置２１のハードウェア構成の一例を示す図である。学習装置２１は、ＣＰＵ（Central Processing Unit）３０、メモリ３１、記憶装置３２、入力装置３３、表示装置３４、及び通信装置３５を含むコンピュータである。

【0019】

ＣＰＵ３０は、メモリ３１や記憶装置３２に格納されたプログラムを実行することにより、学習装置２１における様々機能を実現する。

【0020】

メモリ３１は、例えばＲＡＭ（Random-Access Memory）等であり、プログラムやデータ等の一時的な記憶領域として用いられる。

【0021】

記憶装置３２は、学習プログラム４０や学習モデル４１を格納する不揮発性の記憶装置である。なお、学習装置２１がクラウドサーバを用いて実現される場合、記憶装置３２の記憶領域は、クラウドサーバの記憶領域に対応することになる。

【0022】

学習プログラム４０は、学習モデル４１を構築する際、実行されるプログラムであり、学習モデル４１は、カメラ２０で撮影された作業現場１５の画像から、作業現場１５の危険要因を検出するためのモデルである。なお、学習モデル４１の詳細について後述する。

【0023】

入力装置３３は、ユーザによるコマンドやデータの入力を受け付ける装置であり、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサなどの入力インタフェースを含む。

【0024】

表示装置３４は、例えばディスプレイなどの装置であり、通信装置３５は、ネットワーク２４を介して、判定装置２２や他の装置と各種プログラムやデータの受け渡しを行う。

【0025】

＜＜＜学習装置２１の機能ブロック＞＞＞
図３は、学習装置２１のＣＰＵ３０が，学習プログラム４０を実行した際に、学習装置２１に実現される機能ブロックの一例を示す図である。学習装置２１には、取得部５０、及び学習部５１が実現される。

【0026】

取得部５０は、予め用意され、学習モデル４１を構築するための教師データＤ１～Ｄ３を取得する。

【0027】

＜＜教師データＤ１＞＞
図３の教師データＤ１は、作業現場で使用される設備を含む画像に対し、所定の正解ラベル（または、正解データ）が付されたデータである。図４（ａ）は、安全性に問題がない作業台を含む教師データＤ１の一例であり、図４（ｂ）は、安全性に問題がある作業台を含む教師データＤ１の一例である。

【0028】

図４（ａ）の教師データＤ１の対象箇所には、対象となる設備を示す「作業台」との正解ラベル３００と、設備の高さを推測するために用いられる「ラダー」との正解ラベル３０１と、安全な手摺を示す「手摺 安全」との正解ラベル３０２と、が付されている。

【0029】

本実施形態では、正解ラベル３０１は、作業台の左右の支持脚において、１～３段目のそれぞれの部分に６個付されているが、例えば、何れかの部位にのみ正解ラベルを付すこととしても良い。ただし、正解ラベル３０１を、支持脚の１～３段目のそれぞれの部分に付すことによって、より学習モデルを精度良く学習させることができる。また、詳細は省略するが、本実施形態の正解ラベルには、対象箇所の範囲（つまり、バウンディングボックス）の座標が含まれている。

【0030】

図４（ｂ）の教師データＤ１は、天台の長手方向に沿った手摺がなく、安全性に欠ける作業台を学習させるためのデータである。図４（ｂ）の教師データＤ１の対象箇所には、上述した「作業台」との正解ラベル３００と、「ラダー」との正解ラベル３０１と、不安全な手摺（安全性に欠ける手摺）を示す「手摺 不安全」との正解ラベル３０３と、が付されている。なお、図４（ｂ）は、安全性に欠ける作業台を学習させるための教師データの一例であり、例えば、手摺の一部が曲がっているもの等、様々な画像を教師データとして用いることができる。

【0031】

＜＜教師データＤ２＞＞
図３の教師データＤ２は、作業現場の環境において、作業員に対して危険となる要因を含む画像と、要因の内容と、を対応付けたデータである。なお、作業現場の環境において、作業員に対して危険となる要因とは、例えば、作業員が出入りする扉、床に設けられた開口である。このため、便宜上、ここでは図示しないが、教師データＤ２の画像のうち、扉の領域には、「扉」との正解ラベルが付され、開口の領域には、「開口」との正解ラベルが付される。

【0032】

なお、本実施形態では、作業員に対して危険となる要因として、扉、開口の２つを挙げたが、これに限られず、例えば、段差、積み重ねて配置されたブロック、ダクト等も危険要因となり得る。したがって、これらの危険要因を含む画像を、教師データＤ２としても良い。

【0033】

＜＜教師データＤ３＞＞
図３の教師データＤ３は、観測対象である作業員の動作を含む画像に対し、所定の正解ラベルが付されたデータである。図５（ａ）は、適切な昇降動作を行う作業員を含む教師データＤ３の一例であり、図５（ｂ）は、危険（不適切）な昇降動作を行う作業員を含む教師データＤ３の一例である。

【0034】

図５（ａ）の教師データＤ３において、作業員の領域には「適切な昇降」との正解ラベル３１０が付されている。図５（ｂ）の教師データＤ３において、作業員の領域には「危険な昇降」との正解ラベル３１１が付されている。

【0035】

また、図６（ａ）は、天台で適切な姿勢で作業する作業員を含む教師データＤ３の一例であり、図６（ｂ）は、天台で不適切な姿勢（手摺から上半身がはみ出した姿勢）で作業する作業員を含む教師データＤ３の一例である。

【0036】

図６（ａ）の教師データＤ３において、作業員の領域には「適切な姿勢」との正解ラベル３１２が付されている。図５（ｂ）の教師データＤ３において、作業員の領域には「上半身のはみだし」との正解ラベル３１３が付されている。

【0037】

図７（ａ）、図７（ｂ）のそれぞれは、天台で不適切な姿勢（手摺から足がはみ出した姿勢）で作業する作業員を含む教師データＤ３の一例である。図７（ａ）、図７（ｂ）の教師データＤ３において，作業員の領域には「足のはみだし」との正解ラベル３１４が付されている。

【0038】

なお、本実施形態の教師データＤ３の画像には、便宜上、作業員の正解レベルのみを付しているが、画像に含まれる作業台に、上述した設備の正解ラベル３００～３０３を付しても良い。このような画像は、教師データＤ１，Ｄ３を含む画像となる。

【0039】

＜＜学習モデルの生成処理Ｓ１０＞＞
図８は、学習モデルを生成する生成処理Ｓ１０の一例を示すフローチャートである。本実施形態の学習部５１は、教師データＤ１～Ｄ３を用いて、画像を入力した際、正解ラベルが付された対象を検出するとともに、検出結果に応じた危険要因の項目を出力する学習モデルを生成する。また、本実施形態では、学習モデルとして、図示しない畳み込みネットワーク（ＣＮＮ：Convolutional Neural Network）を用いたモデルを使用することとする。

【0040】

まず、図３の取得部５０は、教師データＤ１～Ｄ３を取得する（Ｓ２０）。そして、学習部５１は、ＣＮＮに入力された画像から、正解ラベルに対応する対象が検出できるよう、教師データＤ１～Ｄ３を用いて、ＣＮＮのパラメータをチューニングする（Ｓ１１）。

【0041】

ここで、上述のように、教師データＤ１には、４つの正解ラベル３００～３０３（「作業台」、「ラダー」、「手摺 安全」、及び「手摺 不安全」）が付されている。また、教師データＤ２には、２つの正解ラベル（「扉」、及び「開口」）が付され、教師データＤ３には、５つの正解ラベル３１０～３１４（「適切な昇降」、「危険な昇降」「適切な姿勢」、「上半身のはみだし」、及び「足のはみだし」）が付されている。この結果、ＣＮＮは、入力された画像から、１１個の正解ラベルに対応する対象を検出することが可能となる。

【0042】

そして、学習部５１は、ＣＮＮが、１１個の正解ラベルに対応する対象の検出結果から、図９に示す、危険要因に応じた複数の項目を出力できるよう、例えば、ＣＮＮの出力層を調整する（Ｓ１２）。具体的には、学習部５１は、５段の支持脚（つまり、５つの「ラダー」を有する「作業台」）が検出された場合、項目１Ａが出力され、「手摺 不安全」が検出された場合、項目２Ａが出力されるよう、ＣＮＮを調整する。

【0043】

ここで、本実施形態では、作業台における支持脚の１段の部分の高さは、約３０ｃｍであるため、５段の支持脚を有する作業台は、天台の高さが、床から約１．５ｍとなる。このような作業台を用いた際、作業員が天台から落下すると怪我をする危険性が高い。このため、本実施形態のＣＮＮは、５段以上の支持脚を有する作業台を検出すると、設備が危険であることを示す項目１Ａを出力する。

【0044】

なお、本実施形態では、ＣＮＮが５段の支持脚を検出すると、項目１Ａを出力することとしたが、これに限られず、作業員に危険が及ぶ他の要因（例えば、支持脚が壊れている）ことに基づいて、項目１Ａを出力することとしても良い。

【0045】

また、学習部５１は、「扉」が検出された場合、項目２Ａが出力され、「開口」が検出された場合、項目２Ｂが出力されるよう、ＣＮＮを調整する。さらに、学習部５１は、「危険な昇降」が検出された場合、項目３Ａが出力され、「上半身のはみだし」が検出された場合、項目３Ａが出力され、「足のはみだし」が検出された場合、項目３Ｃが出力されるよう、ＣＮＮを調整する。

【0046】

処理Ｓ１２が実行された後、学習部５１は、調整したＣＮＮを学習モデル４１として、記憶装置３２に格納する（Ｓ１３）。したがって、本実施形態の学習モデル４１は、画像中の設備の危険要因に応じた項目１Ａ，１Ｂと、画像中の作業現場の環境の危険要因に応じた項目２Ａ，２Ｂと、画像中の観測対象である作業員の動作の危険要因に応じた項目３Ａ～３Ｃと、を出力するモデルである。このため、このような学習モデル４１を用いることにより、作業現場の様々な危険要因を検出することができる。

【0047】

なお、項目１Ａ，１Ｂは、設備の危険要因に応じた「第１の項目」に相当し、２つの項目２Ａ，２Ｂは、作業現場の環境の危険要因に応じた「第２の項目」に相当する。また、３つの項目３Ａ～３Ｃは、作業員の動作の危険要因に応じた「第３の項目」に相当する。また、本実施形態では、「第１の項目」、及び「第２の項目」の個数は２個であり、「第２の項目」の個数は３個であるがこれらに限られず、少なくとも１個以上であれば良い。

【0048】

また、本実施形態のＣＮＮは、設備が危険であることを示す項目として、項目１Ａ，１Ｂの２つの項目を出力することとしたが、例えば、５段の支持脚（つまり、天台の高さが床から約１．５ｍ以上）、かつ、「手摺 不安全」が検出された場合にのみ、設備が危険であることを示す項目を出力しても良い。このような場合、ＣＮＮは、より危険度の高い設備を適切に検出することが可能となる。

【0049】

＜＜＜判定装置２２の詳細＞＞＞
図１０は、図１の判定装置２２のハードウェア構成の一例を示す図である。判定装置２２は、ＣＰＵ６０、メモリ６１、記憶装置６２、入力装置６３、表示装置６４、及び通信装置６５を含むコンピュータである。なお、判定装置２２のＣＰＵ６０等の各構成は、学習装置２１のＣＰＵ３０等と同様であるため、ここでは詳細な説明は省略し、記憶装置６２に格納された情報を中心に説明する。

【0050】

記憶装置６２には、学習装置２１で生成された学習モデル４１、危険度データ７０、及び判定プログラム７１が格納されている。危険度データ７０は、図１１に示すように、７つの項目１Ａ～３Ｃの夫々に対する危険度を示すデータである。本実施形態では、例えば「５段以上の支持脚」を示す項目１Ａに対しては、危険度として「１」が対応付けられている。また、判定プログラム７１は、作業現場の状況が危険であるか否かを判定する際に実行されるプログラムである。

【0051】

ところで、項目１Ａ～３Ｃの危険度は、一般に作業現場や、作業員等によって変化する。例えば、作業現場において、作業台と、扉との距離が非常に離れている場合、作業台で作業する作業員は、扉を介して出入りする作業者や扉の影響をほとんど受けることはない。このような状況では、作業現場において、扉が危険である度合いは低くなる。

【0052】

また、作業現場に配属される作業員が熟練者であり、かつ、安全意識が非常に高い場合、作業者が、危険な行動を起こす可能性は低くなる。一方、作業現場に経験の浅い作業員が配属される場合、作業者が事故を起こす可能性は高くなる。このように、危険度データ７０の値は、作業現場の環境、作業員の経験等を考慮し、定めることが好ましい。詳細は後述するが、危険度データ７０は、例えば、現場監督が端末２３を操作することにより設定される。このため、本実施形態では、作業現場等に合わせ、項目１Ａ～３Ｃの危険度を、実際の危険度合いに応じた適切な値とすることができる。
なお、本実施形態では、危険度データ７０は現場監督により設定されることとしたが、これに限られず、例えば、所定の値の危険度データ７０が予め記憶装置６２に格納されていても良い。

【0053】

＜＜＜判定装置２２の機能ブロック＞＞＞
図１２は、判定装置２２のＣＰＵ６０が，判定プログラム７１を実行した際に、判定装置２２に実現される機能ブロックの一例を示す図である。判定装置２２には、受信部８０、取得部８１、処理部８２、出力部８３、加算部８４、判定部８５、及び警報部８６が実現される。なお、以下、カメラ２０で撮影される作業現場１５の画像を、画像４００とする。

【0054】

受信部８０は、端末２３で設定される危険度データ７０を受信し、記憶装置６２に格納する。本実施形態では、危険度データ７０が格納される記憶装置６２は、「データ記憶部」に相当する。なお、受信部８０は、危険度データ７０を記憶装置６２に格納することとしたが、メモリ６１やクラウドサーバの記憶領域に格納しても良い。この場合、危険度データ７０が記憶される部分が「データ記憶部」に相当する。

【0055】

取得部８１は、カメラ２０から送信される画像４００を取得する。処理部８２は、画像４００を学習モデル４１に入力し、学習モデル４１に、７つの項目１Ａ～３Ｃのうち、画像４００中の危険要因に応じた項目を出力させる。

【0056】

出力部８３は、記憶装置６２に格納された危険度データ７０を用いて、画像４００中の危険要因に応じた項目に対する危険度を出力する。なお、本実施形態では、項目ｘ（ｘは、１Ａ～３Ｃ）の危険度を、危険度Ｒ（ｘ）と記載する。また、加算部８４は、出力部８３から出力された危険度Ｒ（ｘ）を加算し、危険スコアを計算する。

【0057】

ところで、危険度Ｒ（ｘ）のうち、作業者の行動に起因する危険度Ｒ（３Ａ）～Ｒ（３Ｃ）は、作業者が問題となる行動を起こしたタイミングにおいてのみ発生する。したがって、所定期間（例えば、３０分）において、作業者が問題となる行動を繰り返した場合であって、問題となる行動が収まる毎に、危険スコアは小さくなる。

【0058】

しかしながら、実際の作業現場では、作業者が問題となる行動を繰り返した場合には、事故が生じる可能性が高くなるため、このような状態を危険スコアに反映させる必要がある。そこで、本実施形態の加算部８４は、７つの危険度Ｒ（１Ａ）～Ｒ（３Ｃ）のうち、所定期間（例えば、３０分）に出力される、作業員の行動に起因する危険度Ｒ（３Ａ）～Ｒ（３Ｃ）を保持し、加算する。このような計算を実行することにより、加算部８４は、より精度良く、作業現場の危険度合いに応じた危険スコアを出力することができる。

【0059】

判定部８５は、加算部８４での加算結果である危険スコアが、所定値より大きい場合、作業現場１５の状況が危険であることを判定する。また、警報部８６は、作業現場１５の状況が危険であると判定されると、警報を端末２３に送信する。

【0060】

＜＜＜危険判定処理Ｓ３０の一例＞＞＞
図１３は、主に判定装置２２で実行される危険判定処理Ｓ３０の一例を示すフローチャートである。図１４は、危険スコア計算処理４４の一例を示すフローチャートである。また、図１５は、作業現場１５における危険スコアの推移の一例を示す図である。なお、図１５には、作業現場１５における９時～１６時の間の危険スコアの推移が図示されている。

【0061】

以下、本実施形態では、作業員は、図１に示す作業現場１５において、例えば、作業台２１０に昇り、天井（不図示）の配管工事を行うこととする。

【0062】

まず、作業現場１５の現場監督は、作業開始前（例えば、８時５０分）に、端末２３を操作して危険度データ７０を入力する。端末２３は、入力された危険度データ７０を受け付ける（Ｓ４０）。なお、本実施形態では、図１１に示す危険度データ７０が、現場監督により入力されたこととする。上述したように、現場監督は、作業現場１５の環境、作業員の熟練度合い等を考慮し、危険度データ７０の値を自由に設定できる。例えば、図１の作業現場１５において、扉２００と、作業台２１０との距離は短く、開口部２０１の面積は狭い。このため、現場監督は、扉の項目２Ａの危険度を「２」とし、開口の項目２Ｂの危険度を、扉の危険度より低い「１」と設定している。

【0063】

そして端末２３は、受け付けた危険度データ７０を判定装置２２に送信する（Ｓ４１）。判定装置２２の受信部８０は、危険度データ７０を受信し（Ｓ４２）、危険度データ７０を記憶装置６２に格納する（Ｓ４３）。その後、作業員は、作業開始時間である９時にカメラ２０を起動し、作業現場１５での作業を開始する。カメラ２０が起動されると、判定装置２２は、カメラ２０から送信される作業現場１５の画像４００に基づいて、作業現場１５の危険スコアを計算する処理（図１４）を実行する（Ｓ４４）。

【0064】

まず、取得部８１は、カメラ２０から送信される画像４００を取得する（Ｓ５０）。そして、画像４００が取得されると、処理部８２は、画像４００を学習モデル４１に入力し、学習モデル４１に作業現場１５の危険要因に応じた項目を出力させる（Ｓ５１）。ここで、例えば、９時においては、作業員はまだ配管作業を行っていない。また、本実施形態では、作業台２１０の支持脚の段数は３段であり、手摺２２２には不具合はなく、安全な状態であることとする。このため、このタイミングでは、学習モデル４１は、図１１の７つの項目１Ａ～３Ｃのうち、「扉」に対する項目２Ａと、「開口」に対する項目２Ｂのみを出力することになる。

【0065】

つぎに、出力部８３は、出力された項目の危険度を出力する（Ｓ５２）。例えば、９時のタイミングにおいては、２つの項目２Ａ，２Ｂの危険度Ｒ（２Ａ），Ｒ（２Ｂ）が出力されることになる。そして、加算部８４は、出力された危険度を加算し、危険スコアを計算する（Ｓ５３）。ここで、危険度Ｒ（２Ａ）は、「２」であり、危険度Ｒ（２Ａ）は、「１」であるため、例えば、９時における危険スコアは、「３」となる。そして、加算部８４は、計算した危険スコアを、記憶装置６２に格納する（Ｓ５４）。

【0066】

判定部８５は、図１３に示すように、危険スコアと、作業現場１５が危険であることを示す所定値とを比較する（Ｓ４５）。ここで、本実施形態では、「所定値」は現場監督により、予め設定された値（「７」）であり、記憶装置２６に格納されていることとする。このため、例えば、９時のタイミングにおいては、危険スコア「３」は、所定値である「７」より小さいため（Ｓ４５：Ｎｏ）、上述した危険スコア計算処理Ｓ４４が繰り返されることになる。

【0067】

その後、例えば１３時において、作業員が、作業台２１０の手摺２２２から、上半身を大きく外へ出したとする。このような場合、学習モデル４１は、「扉」に対する項目２Ａと、「開口」に対する項目２Ｂに加え、「上半身のはみ出し」に対する項目３Ｂを出力することになる（Ｓ５１）。したがって、出力部８３は、３つの項目２Ａ，２Ｂ，３Ｂの危険度Ｒ（２Ａ），Ｒ（２Ｂ），Ｒ（３Ｂ）を出力する（Ｓ５２）。

【0068】

またこの場合、加算部８４は、出力された３つの危険度を加算するため（Ｓ５３）、危険スコアは、「６」となる。なお、この例において、加算部８４は、作業員の行動に起因する危険度を、３０分保持する。従って、危険スコアのうち、危険度Ｒ（３Ｂ）に基づく値（ここでは、「３」）は、１３時３０分まで保持されることになる。

【0069】

その後、例えば、１３時１０分において、作業員が、作業台２１０の手摺２２２から、足を大きく外へ出したとする。このような場合、学習モデル４１は、「扉」に対する項目２Ａと、「開口」に対する２Ｂに加え、「足のはみ出し」に対する項目３Ｃを出力することになる（Ｓ５１）。したがって、出力部８３は、３つの項目２Ａ，２Ｂ，３Ｃの危険度Ｒ（２Ａ），Ｒ（２Ｂ），Ｒ（３Ｃ）を出力する（Ｓ５２）。この際、加算部８４は、１３時に出力された危険度のうち行動に関する危険度Ｒ（３Ｂ）と、今回出力された３つの危険度とを加算するため（Ｓ５３）、危険スコアは、「８」となる。

【0070】

危険スコアが「８」となると、判定部８５は、危険スコアが、所定値（「７」）より大きいことを判定する（Ｓ４５：Ｙｅｓ）。このため警報部８６は、警報を端末２３に送信する（Ｓ４６）。端末２３は、警報を受信すると、警報を端末２３の表示画面（不図示）に表示する。この結果、現場監督は、作業現場１５が危険な状態であることを把握できる。なお、処理Ｓ４５において、「Ｙｅｓ」が選択された後は、処理Ｓ４４が実行される。このため、判定装置２２は、引き続き、作業現場１５の危険スコアを計算し続けることになる。

【0071】

なお、本実施形態では、作業員が上半身を大きく外へ出した１３時から、所定期間である３０分が経過すると、項目３Ｃの危険度はクリアされるため、危険スコアは、「８」から「５」へと減少する。さらに、作業員が足を大きく外へ出した１３時１０分から、所定期間である３０分が経過すると、項目３Ｂの危険度はクリアされるため、危険スコアは、「５」から「３」へと減少する。

【0072】

このように、本実施形態の判定装置２２は、カメラ２０からの画像４００に基づいて、作業現場
１５の状況が危険か否かを客観的に判定できる。なお、作業現場１５の作業台２１０の支持脚２２１は、３段であり、５段より少ないため、作業台２１０の高さは例えば１．５ｍより低い。このため、ここでは、項目１Ａが出力されることはない。また、作業台２１０の手摺２２２は、安全であるため、項目１Ｂが出力されることはない。

【0073】

しかしながら、作業台２１０の支持脚２２１が５段以上であり、手摺２２２が不安全な状態である場合、項目１Ａ，１Ｂが出力される。このような場合、項目１Ａ，１Ｂのそれぞれに対する危険度は、「第１の危険度」に相当する。また、項目２Ａ，２Ｂのそれぞれに対する危険度は、「第２の危険度」に相当し、項目３Ａ～３Ｃのそれぞれに対する危険度は、「第３の危険度」に相当する。

【0074】

＜＜教師データＤ１の他の例＞＞
図１６は、安全性に問題がない作業台を含む教師データＤ１の一例を示す図である。図１６の教師データＤ１の対象箇所には、対象となる設備を示す「作業台」との正解ラベル３００と、安全な手摺を示す「手摺 安全」との正解ラベル３０２と、設備の高さを推測するために用いられる「ラダー」との正解ラベル３２０と、が付されている。

【0075】

図１６と、上述した図４とでは、同じ符号が付された対象は同じであるため、ここでは、正解ラベル３２０について説明する。ここでは、「ラダー」との正解ラベル３２０が、作業台の左右の支持脚のうち、２段の部分を一組の対象に付されている。このような正解ラベル３２０が付された教師データＤ１が用いられると、判定装置２２は、例えば、一般的な建設現場には多くある四角形状の鋼材と、支持脚とをより高精度で識別することができる。

【0076】

＝＝＝まとめ＝＝＝
以上、本実施形態の情報処理システム１０について説明した。判定装置２２は、教師データＤ１～Ｄ３を用いて学習された学習モデル４１を用いている。このため、判定装置２２は、作業現場における複数の危険要因を検出することができる。

【0077】

また、出力部８３は、危険度データ７０を用いて、画像４００中の危険要因に応じた項目の危険度を出力する（例えば、図１４のＳ５２）。したがって、現場監督は、このような危険度を参照することにより、より客観的に作業現場１５が危険な状況であるか否かを判断できる。

【0078】

また、判定部８５は、画像４００中の危険要因に応じた項目の危険度に基づいて、作業現場１５が危険か否かを判定する（例えば、図１３のＳ４５）。したがって、現場監督は、判定結果に基づいて、作業現場１５が危険な状況であるか直ちに判断できる。

【0079】

また、加算部８４は、上述したように、画像４００中の危険要因に応じた項目のうち、作業者の行動に応じた危険度を３０分保持し、加算する。一般に、所定期間において、作業者が危険な行動をとる回数が増加すると、作業者が怪我をする可能性が高くなる。本実施形態の判定装置２２は、このような、作業者の怪我に繋がる可能性の高い行動を危険度スコアに反映することができるため、より精度良く、作業現場１５が危険な状態であることを検出できる。

【0080】

また、項目１Ａ～３Ｃに応じた危険度は、作業員が用いる設備を作業現場のどのような位置に配置するか、さらに作業員の経験等によって大きく変化する。本実施形態では、現場監督が、作業開始前に、危険度を設定できるため、判定装置２２は、より作業現場の実態に合った危険度に基づいて、作業現場１５の危険性を評価できる。

【0081】

また、本実施形態では、判定部８５は、危険度スコアが所定値より大きい場合に作業現場１５が危険であることを判定したが、これに限られない。例えば、判定部は、７つの項目１Ａ～３Ｃのうち、所定の項目（例えば、項目３Ｂ）が出力されると、直ちに危険であると判定しても良い。このような構成としても、現場監督は、作業現場１５の危険性を把握できる。

【0082】

また、本実施形態では、判定装置２２は、「観測対象」を作業員とし、作業員の動作に基づいて、危険要因に応じた項目３Ａ～３Ｃを出力することとしたが、これに限られない。例えば、「観測対象」は、作業現場１５に設けられ、動作する機器や工具（例えば、ドリル、ガスバーナー）であっても良い。このような機器等において、安全な動作、不安全な動作を正解ラベルとして含む教師データを用い、学習モデルを生成することにより、判定装置は、機器の動作に起因する危険要因を検出することができる。このような機器等を観測対象とした場合であっても、判定装置は、作業現場の危険要因を検出できる。

【0083】

なお、本実施形態では、作業現場は、ビルの一室であることとしたが、これに限られず、例えば屋外であってもよい。このような場合、例えば、作業現場の「設備」としては、クレーン、ショベルカー、コンクリートミキサ等が該当する。また、作業現場が屋外の場合、作業現場の「環境」に応じた危険要因の項目としては、例えば、電柱、高圧線、樹木、道路等が挙げられる。したがって、本実施形態と同様の判定装置を屋外の作業現場に用いた場合、屋外の作業現場の危険要因を検出できる。

【0084】

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その趣旨を逸脱することなく、変更や改良され得るとともに、本発明にはその等価物が含まれるのはいうまでもない。

【符号の説明】

【0085】

１０ 情報処理システム
１５ 作業現場
２０ カメラ
２１ 学習装置
２２ 判定装置
２３ 端末
３０，６０ ＣＰＵ
３１，６１ メモリ
３２，６２ 記憶装置
３３，６３ 入力装置
３４，６４ 表示装置
３５，６５ 通信装置
４０ 学習プログラム
４１ 学習モデル
５０ 取得部
５１ 学習部
７０ 危険度データ
７１ 判定プログラム
８０ 受信部
８１ 取得部
８２ 処理部
８３ 出力部
８４ 加算部
８５ 判定部
８６ 警報部
２００ 扉
２０１ 開口部
２１０ 可搬式作業台（作業台）
２２０ 天台
２２１ 支持脚
２２２ 手摺
３００～３０３，３１０～３１５，３２０ 正解ラベル
Ｄ１～Ｄ３ 教師データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】