(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024049991
(43)【公開日】2024-04-10
(54)【発明の名称】坑内作業安全管理システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240403BHJP
G08B 25/00 20060101ALI20240403BHJP
G08B 25/04 20060101ALI20240403BHJP
G08B 21/02 20060101ALI20240403BHJP
E21F 11/00 20060101ALI20240403BHJP
E21F 17/18 20060101ALI20240403BHJP
【ＦＩ】
H04N7/18 D
G08B25/00 510M
G08B25/04 K
G08B21/02
E21F11/00
E21F17/18
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022156543
(22)【出願日】2022-09-29
(71)【出願人】
【識別番号】591284601
【氏名又は名称】株式会社演算工房
(74)【代理人】
【識別番号】110000822
【氏名又は名称】弁理士法人グローバル知財
(72)【発明者】
【氏名】林 稔
(72)【発明者】
【氏名】松村 匡樹
(72)【発明者】
【氏名】土本 真史
【テーマコード（参考）】
5C054
5C086
5C087
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054DA07
5C054DA08
5C054EA05
5C054FC12
5C054FC13
5C054FE09
5C054FE14
5C054FE28
5C054FF06
5C054HA19
5C086AA22
5C086AA53
5C086BA19
5C086BA22
5C086CA28
5C086CB36
5C086DA08
5C086FA06
5C087AA02
5C087AA03
5C087AA37
5C087BB72
5C087DD13
5C087EE07
5C087EE18
5C087FF01
5C087FF02
5C087FF04
5C087GG02
5C087GG08
5C087GG66
5C087GG84
(57)【要約】
【課題】トンネルの坑内などにおいて、よりシンプルな構造で、重機と作業員との接触事故を効果的に防止できる安全管理システム及び安全管理方法を提供する。
【解決手段】撮像手段２、演算手段３及び警報手段４から成り、演算手段３は、物体検出手段３１、バウンディングボックス付与手段３２、危険性判定手段３３及び学習モデル３４を備える。物体検出手段３１は、重機の形状及び旋回動作範囲を学習した学習モデル３４に基づき、撮像手段２により撮像された画像から、重機又は作業員の対象物体を検出する。危険性判定手段３３は、重機に付与されたバウンディングボックス相互間、又は、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスの間、における接触又は重複を基準として、危険性を判定する。警報手段４は、危険性の程度に応じて警報を発するものである。
【選択図】図１
【解決手段】撮像手段２、演算手段３及び警報手段４から成り、演算手段３は、物体検出手段３１、バウンディングボックス付与手段３２、危険性判定手段３３及び学習モデル３４を備える。物体検出手段３１は、重機の形状及び旋回動作範囲を学習した学習モデル３４に基づき、撮像手段２により撮像された画像から、重機又は作業員の対象物体を検出する。危険性判定手段３３は、重機に付与されたバウンディングボックス相互間、又は、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスの間、における接触又は重複を基準として、危険性を判定する。警報手段４は、危険性の程度に応じて警報を発するものである。
【選択図】図１
【特許請求の範囲】
【請求項1】
トンネル坑内の画像をリアルタイム又は所定の間隔で連続的に撮像する撮像手段と、
前記撮像手段により撮像された画像に基づき、作業員の危険性を判定する演算手段と、
前記演算手段により判定される危険性の程度に応じて警報を発する警報手段と、
を備え、
前記演算手段は、
画像を用いてトンネル坑内で使用される重機の種別を判別する学習モデルと、
前記学習モデルを用いて前記撮像手段により撮像された画像から、重機及び作業員の対象物体を検出する物体検出手段と、
検出された前記対象物体にバウンディングボックスを付与するバウンディングボックス付与手段と、
重機に付与された前記バウンディングボックス相互間、又は、重機に付与された前記バウンディングボックスと作業員に付与された前記バウンディングボックスの間、における接触又は重複を基準として、危険性を判定する危険性判定手段と、
を備えることを特徴とする坑内作業安全管理システム。
前記撮像手段により撮像された画像に基づき、作業員の危険性を判定する演算手段と、
前記演算手段により判定される危険性の程度に応じて警報を発する警報手段と、
を備え、
前記演算手段は、
画像を用いてトンネル坑内で使用される重機の種別を判別する学習モデルと、
前記学習モデルを用いて前記撮像手段により撮像された画像から、重機及び作業員の対象物体を検出する物体検出手段と、
検出された前記対象物体にバウンディングボックスを付与するバウンディングボックス付与手段と、
重機に付与された前記バウンディングボックス相互間、又は、重機に付与された前記バウンディングボックスと作業員に付与された前記バウンディングボックスの間、における接触又は重複を基準として、危険性を判定する危険性判定手段と、
を備えることを特徴とする坑内作業安全管理システム。
【請求項2】
前記危険性判定手段は、更に、前記対象物体に関する前記画像上の変化から、前記対象物体の移動方向を検出し、前記対象物体の移動方向に基づき危険性を判定することを特徴とする請求項１に記載の坑内作業安全管理システム。
【請求項3】
前記危険性判定手段は、前記重機の前記画像上の変化の有無から、所定時間内における前記重機の動きの有無を検出し、前記所定時間内において前記重機の動きが検出されない場合は、前記重機は危険性判定対象から除外されることを特徴とする請求項１に記載の坑内作業安全管理システム。
【請求項4】
前記危険性判定手段は、前記対象物体に付与されたバウンディングボックスの縦横のサイズと、トンネル幅、重機のサイズまたは人の身長の少なくとも何れかとから、前記撮像手段のカメラ座標における重機又は作業員の３次元位置を算出し、前記重機と前記作業員とのカメラ座標のｚ軸方向の位置関係に基づき、危険性を判定することを特徴とする請求項１に記載の坑内作業安全管理システム。
【請求項5】
トンネル坑内の画像をリアルタイム又は所定の間隔で連続的に撮像する撮像ステップと、
前記撮像ステップにより撮像された画像に基づき、作業員の危険性を判定する演算ステップと、
前記演算ステップにより判定される危険性の程度に応じて警報を発する警報ステップと、
を備え、
前記演算ステップは、
画像を用いてトンネル坑内で使用される重機の種別を判別する学習モデルを用いて、前記撮像ステップにより撮像された画像から、重機又は作業員の対象物体を検出する物体検出ステップと、
検出された前記対象物体に、バウンディングボックスを付与するバウンディングボックス付与ステップと、
重機に付与された前記バウンディングボックス相互間、又は、重機に付与された前記バウンディングボックスと作業員に付与された前記バウンディングボックスの間、における接触又は重複を基準として、危険性を判定する危険性判定ステップと、
を備えることを特徴とする坑内作業安全管理方法。
前記撮像ステップにより撮像された画像に基づき、作業員の危険性を判定する演算ステップと、
前記演算ステップにより判定される危険性の程度に応じて警報を発する警報ステップと、
を備え、
前記演算ステップは、
画像を用いてトンネル坑内で使用される重機の種別を判別する学習モデルを用いて、前記撮像ステップにより撮像された画像から、重機又は作業員の対象物体を検出する物体検出ステップと、
検出された前記対象物体に、バウンディングボックスを付与するバウンディングボックス付与ステップと、
重機に付与された前記バウンディングボックス相互間、又は、重機に付与された前記バウンディングボックスと作業員に付与された前記バウンディングボックスの間、における接触又は重複を基準として、危険性を判定する危険性判定ステップと、
を備えることを特徴とする坑内作業安全管理方法。
【請求項6】
前記危険性判定ステップは、更に、前記対象物体に関する前記画像上の変化から、前記対象物体の移動方向を検出するステップを備え、前記対象物体の移動方向に基づき危険性を判定することを特徴とする請求項５に記載の坑内作業安全管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トンネルなどの坑内において、重機等と作業員との位置状態を検出し、危険性に応じて警報を発する技術に関するものである。
【背景技術】
【0002】
トンネル工事などの作業現場においては、掘削機、ホイールローダー、ダンプトラック、ホイールジャンボ、吹付機など多数の重機が用いられ、同時に多数の作業員が重機の周辺で作業するのが一般であり、重機と作業員との接触事故を防止する必要がある。
重機と作業員との接触事故を防止する技術としては、重機に取り付けられた撮像装置で周囲を撮影し、監視を行うシステムが知られている（特許文献１を参照）。これは、重機に取り付けられた撮像装置で周囲を撮影した上で、人物及びヘルメットの画像認識を行ない、接近距離を算出して、警告音を発生させたり、建設機械を停止させたりするものである。
しかしながら、特許文献１の監視システムは、重機自体に撮像装置が設けられるものであるが、トンネル工事などの作業現場では、多数の重機が用いられるところ、全ての重機に装置を取り付けるのでは、コストが高額となるという問題がある。
重機と作業員との接触事故を防止する技術としては、重機に取り付けられた撮像装置で周囲を撮影し、監視を行うシステムが知られている（特許文献１を参照）。これは、重機に取り付けられた撮像装置で周囲を撮影した上で、人物及びヘルメットの画像認識を行ない、接近距離を算出して、警告音を発生させたり、建設機械を停止させたりするものである。
しかしながら、特許文献１の監視システムは、重機自体に撮像装置が設けられるものであるが、トンネル工事などの作業現場では、多数の重機が用いられるところ、全ての重機に装置を取り付けるのでは、コストが高額となるという問題がある。
【0003】
また、工事領域から離れた位置において、作業現場を監視するシステムとしては、重機に設けられた磁界発生装置により生じた磁界内に、作業員の携帯する通信端末が位置した際、受信装置において、磁界検知信号及び作業者ＩＤを受信して制御部に送信する情報管理システムが知られている（特許文献２を参照）。
しかしながら、特許文献２の情報管理システムでは、通信端末を携帯しない作業員が重機に接近した場合には、危険を検知できないという問題がある。
しかしながら、特許文献２の情報管理システムでは、通信端末を携帯しない作業員が重機に接近した場合には、危険を検知できないという問題がある。
【0004】
特定の通信端末やＩＤタグ等を有しない作業員が重機に接近した場合でも、作業員を検知し得るシステムとしては、不要な発報を抑えながら、危険な領域へ侵入される前に行動予測情報を得る注意喚起システムが知られている（特許文献３を参照）。特許文献３の注意喚起システムは、取得部と解析部と算出部とを備え、取得部により対象の状況情報を取得し、解析部により、領域に含まれる物体の現在の状態情報と、物体の行動予測情報とを解析し、これらの情報に基づいて、算出部が注意度を算出するものである。
しかしながら、トンネル工事などの作業現場における作業員の行動は、作業内容により大きく異なるため、複雑で定型化し辛く、特許文献３の注意喚起システムでは、十分に行動予測ができないという問題がある。
しかしながら、トンネル工事などの作業現場における作業員の行動は、作業内容により大きく異なるため、複雑で定型化し辛く、特許文献３の注意喚起システムでは、十分に行動予測ができないという問題がある。
【0005】
また、監視対象領域を走査により距離値の分布が示された距離画像を出力するライダーを用いて、監視対象となる領域内において、あらかじめ決められた特定物体の周囲を監視する監視システムが知られている（特許文献４を参照）。しかしながら、ライダーを用いる特許文献４の監視システムでは、装置が複雑化し、コストが高額となるという問題がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１９－１５７４９７号公報
【特許文献2】特開２０１９－０２７０４９号公報
【特許文献3】特開２０２２－０２６９２５号公報
【特許文献4】特開２０１９－２０１２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
かかる状況に鑑みて、本発明は、トンネルの坑内などにおいて、よりシンプルな構造で、重機同士や、重機と作業員との接触事故を効果的に防止できる安全管理システム及び安全管理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決すべく、本発明の坑内作業安全管理システムは、トンネル坑内の画像をリアルタイム又は所定の間隔で連続的に撮像する撮像手段と、撮像手段により撮像された画像に基づき、作業員の危険性を判定する演算手段と、演算手段により判定される危険性の程度に応じて警報を発する警報手段と、を備え、演算手段は、画像を用いてトンネル坑内で使用される重機の種別を判別する学習モデルと、学習モデルを用いて、撮像手段により撮像された画像から、重機及び作業員の対象物体を検出する物体検出手段と、検出された対象物体にバウンディングボックスを付与するバウンディングボックス付与手段と、重機に付与されたバウンディングボックス相互間、又は、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスの間、における接触又は重複を基準として、危険性を判定する危険性判定手段と、を備える。
【0009】
かかる構成とされることにより、多数の重機や作業員が出入りするトンネル工事などの現場においても、高精度で危険性の判定が可能となる。
対象となる重機としては、掘削機、ホイールローダー、ダンプトラック、ホイールジャンボ、吹付機などの幅広い重機が含まれる。
撮像手段としては、単眼のＲＧＢカメラに限られず、複眼のＲＧＢカメラを用いてもよい。複眼のＲＧＢカメラを用いることで、重機又は作業員の３次元位置を算出しやすくなり、高精度の判定が可能となる。
警報手段は、重機や作業員に対して、音声等により警報を行うものでもよいし、作業員が所持する端末に通知するものでもよい。また、危険度を継続的に記録して、通知し、若しくは事後的に閲覧等の確認ができるものでもよい。
バウンディングボックス付与手段において、重機へのバウンディングボックスの付与の仕方は、当該重機の種類や状態によって異なる。例えば、旋回動作が多い重機の場合は、バウンディングボックスは左右により広く設けられる。また、直進的な移動が多い重機については、バウンディングボックスは移動方向に広く設けられる。バウンディングボックス付与手段においては、バウンディングボックスの付与は、リアルタイムに行うものでもよいし、１秒毎など間欠的に行うものでもよい。
危険性判定手段において、作業員同士の接近は、重機と作業員の接近や、重機同士の接近に比べて、危険性が低いと考えられるため、除外されている。
対象となる重機としては、掘削機、ホイールローダー、ダンプトラック、ホイールジャンボ、吹付機などの幅広い重機が含まれる。
撮像手段としては、単眼のＲＧＢカメラに限られず、複眼のＲＧＢカメラを用いてもよい。複眼のＲＧＢカメラを用いることで、重機又は作業員の３次元位置を算出しやすくなり、高精度の判定が可能となる。
警報手段は、重機や作業員に対して、音声等により警報を行うものでもよいし、作業員が所持する端末に通知するものでもよい。また、危険度を継続的に記録して、通知し、若しくは事後的に閲覧等の確認ができるものでもよい。
バウンディングボックス付与手段において、重機へのバウンディングボックスの付与の仕方は、当該重機の種類や状態によって異なる。例えば、旋回動作が多い重機の場合は、バウンディングボックスは左右により広く設けられる。また、直進的な移動が多い重機については、バウンディングボックスは移動方向に広く設けられる。バウンディングボックス付与手段においては、バウンディングボックスの付与は、リアルタイムに行うものでもよいし、１秒毎など間欠的に行うものでもよい。
危険性判定手段において、作業員同士の接近は、重機と作業員の接近や、重機同士の接近に比べて、危険性が低いと考えられるため、除外されている。
【0010】
本発明の坑内作業安全管理システムにおいて、危険性判定手段は、更に、対象物体に関する画像上の変化から、対象物体の移動方向を検出し、対象物体の移動方向に基づき危険性を判定することでもよい。例えば、重機と作業員の距離が近接していても、重機に作業員が接近する場合と、重機から作業員が離れる場合とでは危険性が異なる。そこで、重機や作業員の移動方向を検出することにより、より精度の高い判定が可能となる。
【0011】
本発明の坑内作業安全管理システムにおいて、危険性判定手段は、重機の画像上の変化の有無から、所定時間内における重機の動きの有無を検出し、所定時間内において重機の動きが検出されない場合は、重機は危険性判定対象から除外されることでもよい。撮像画像中に重機が検出された場合でも、当該重機が停止中であれば、作業員が近づいたとしても危険性は低いといえるからである。
【0012】
本発明の坑内作業安全管理システムにおいて、危険性判定手段は、対象物体に付与されたバウンディングボックスの縦横のサイズと、トンネル幅、重機のサイズまたは人の身長の少なくとも何れかとから、撮像手段のカメラ座標における重機又は作業員の３次元位置を算出し、重機と作業員とのカメラ座標のｚ軸方向の位置関係に基づき、危険性を判定することでもよい。カメラ座標のｚ軸方向とは、撮像手段により撮像された画像の奥行方向を意味している。
例えば、撮像画像中において、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスが重畳していたとしても、一方が手前に、他方が奥に存在し、実際には危険性が高くない場合も存在する。そこで、撮像画像中のバウンディングボックス相互間の２次元的な位置関係だけではなく、重機や作業員の３次元位置を算出することで、より高精度な判定が可能となる。なお、３次元位置の算出については、撮像手段の配置位置から、事前に、重機や作業員を撮影して、ｚ軸方向の距離をキャリブレーションすることでもよい。また、撮像手段からトンネルの切羽面までの距離を計測して、３次元位置を算出してもよい。トンネルの断面幅と進行方向（撮像手段の配置位置と切羽位置）が分かることで単眼カメラでも距離が判断できる。
例えば、撮像画像中において、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスが重畳していたとしても、一方が手前に、他方が奥に存在し、実際には危険性が高くない場合も存在する。そこで、撮像画像中のバウンディングボックス相互間の２次元的な位置関係だけではなく、重機や作業員の３次元位置を算出することで、より高精度な判定が可能となる。なお、３次元位置の算出については、撮像手段の配置位置から、事前に、重機や作業員を撮影して、ｚ軸方向の距離をキャリブレーションすることでもよい。また、撮像手段からトンネルの切羽面までの距離を計測して、３次元位置を算出してもよい。トンネルの断面幅と進行方向（撮像手段の配置位置と切羽位置）が分かることで単眼カメラでも距離が判断できる。
【0013】
本発明の坑内作業安全管理方法は、トンネル坑内の画像をリアルタイム又は所定の間隔で連続的に撮像する撮像ステップと、撮像ステップにより撮像された画像に基づき、作業員の危険性を判定する演算ステップと、演算ステップにより判定される危険性の程度に応じて警報を発する警報ステップと、を備え、演算ステップは、画像を用いてトンネル坑内で使用される重機の種別を判別する学習モデルを用いて、撮像ステップにより撮像された画像から、重機又は作業員の対象物体を検出する物体検出ステップと、検出された対象物体に、バウンディングボックスを付与するバウンディングボックス付与ステップと、重機に付与されたバウンディングボックス相互間、又は、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスの間、における接触又は重複を基準として、危険性を判定する危険性判定ステップと、を備える。
【0014】
本発明の坑内作業安全管理方法において、危険性判定ステップは、更に対象物体の移動方向を検出するステップを備え、対象物体の移動方向に基づき危険性を判定することでもよい。
【発明の効果】
【0015】
本発明の安全管理システム及び安全管理方法によれば、トンネルの坑内などにおいて、よりシンプルな構造で、重機同士や、重機と作業員との接触事故を効果的に防止できるといった効果がある。
【図面の簡単な説明】
【0016】
【図1】本発明の安全管理システムの機能ブロック図
【図2】本発明の安全管理システムの構成イメージ図
【図3】本発明の安全管理システムの概略フロー図
【図4】危険性判定処理のフロー図
【図5】本発明の安全管理システムの危険性判定イメージ図
【図6】停止中の重機に関する危険性判定イメージ図
【図7】重機・作業員の３次元位置に基づく危険性判定の説明図（１）
【図8】重機・作業員の３次元位置に基づく危険性判定の説明図（２）
【図9】重機・作業員の３次元位置に基づく危険性判定イメージ図
【図10】重機・作業員の移動方向に基づく危険性判定イメージ図
【発明を実施するための形態】
【0017】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0018】
図１は、本発明の安全管理システムの機能ブロック図を示している。図１に示すように、安全管理システム１は、撮像手段２、演算手段３及び警報手段４から成り、演算手段３は、物体検出手段３１、バウンディングボックス付与手段３２、危険性判定手段３３、及び、学習モデル３４を備える。
撮像手段２は、トンネル坑内の画像を撮像するものであり、公知のＲＧＢカメラが好適に用いられる。撮像手段２は、ステレオカメラでもよい。
演算手段３は、撮像手段２により撮像された画像に基づき、作業員の危険性を判定するものである。物体検出手段３１は、学習モデル３４を用いて、撮像手段２により撮像された画像から、重機及び作業員の対象物体を検出するものである。
バウンディングボックス付与手段３２は、検出された対象物体に、バウンディングボックスを付与するものである。
撮像手段２は、トンネル坑内の画像を撮像するものであり、公知のＲＧＢカメラが好適に用いられる。撮像手段２は、ステレオカメラでもよい。
演算手段３は、撮像手段２により撮像された画像に基づき、作業員の危険性を判定するものである。物体検出手段３１は、学習モデル３４を用いて、撮像手段２により撮像された画像から、重機及び作業員の対象物体を検出するものである。
バウンディングボックス付与手段３２は、検出された対象物体に、バウンディングボックスを付与するものである。
【0019】
危険性判定手段３３は、重機に付与されたバウンディングボックス相互間、又は、重機に付与されたバウンディングボックスと作業員に付与されたバウンディングボックスの間、における接触又は重複を基準として、危険性を判定するものである。
危険性判定手段３３は、重機の画像上の変化の有無から、所定時間内における重機の動きの有無を検出し、所定時間内において重機の動きが検出されない場合は、当該重機は危険性判定対象から除外される。
危険性判定手段３３は、対象物体に付与されたバウンディングボックスの縦横のサイズと、トンネル幅、重機のサイズまたは人の身長の少なくとも何れかとから、撮像手段２のカメラ座標における重機又は作業員の３次元位置を算出し、重機と作業員とのカメラ座標のｚ軸方向の位置関係に基づき、危険性を判定する。
危険性判定手段３３は、更に、対象物体に関する画像上の変化から、対象物体の移動方向を検出し、対象物体の移動方向に基づき危険性を判定する。
危険性判定手段３３は、重機の画像上の変化の有無から、所定時間内における重機の動きの有無を検出し、所定時間内において重機の動きが検出されない場合は、当該重機は危険性判定対象から除外される。
危険性判定手段３３は、対象物体に付与されたバウンディングボックスの縦横のサイズと、トンネル幅、重機のサイズまたは人の身長の少なくとも何れかとから、撮像手段２のカメラ座標における重機又は作業員の３次元位置を算出し、重機と作業員とのカメラ座標のｚ軸方向の位置関係に基づき、危険性を判定する。
危険性判定手段３３は、更に、対象物体に関する画像上の変化から、対象物体の移動方向を検出し、対象物体の移動方向に基づき危険性を判定する。
【0020】
学習モデル３４は、重機の形状及び旋回動作範囲を学習したものである。旋回動作範囲とは、旋回だけを意味するものではなく、前後左右への移動に関する動作も含まれる。
警報手段４は、演算手段３による判定される危険性の程度に応じて警報を発するものである。
警報手段４は、演算手段３による判定される危険性の程度に応じて警報を発するものである。
【0021】
図２は、本発明の安全管理システムの構成イメージ図を示している。図２に示すように、安全管理システム１は、トンネル工事などの作業現場において使用される。トンネル７の坑内においては、重機（５ａ，５ｂ）及び作業員（６ａ～６ｃ）がそれぞれの作業を行っている。ここでは２つの重機（５ａ，５ｂ）と３人の作業員（６ａ～６ｃ）を図示するのみであるが、実際にはより多数の重機や作業員による現場作業が行われ、かつ頻繁に重機や作業員が出入りする。撮像手段２は、トンネル７の坑内において開口側から切羽面７ａ側に向けて画像を撮像する。撮像手段２により撮像された撮像画像は、演算手段３に送信され、演算手段３において、危険性の判定が行われる。危険性の判定結果は、表示機器４ａに表示され、管理者（図示せず）は随時確認可能である。また、危険性が高いと判定された場合には、警報機４ｂにより、緊急警報を知らせる音声が発せられる仕組みである。なおここでは、撮像手段２、演算手段３、表示機器４ａ及び警報機４ｂは全て有線で接続されているが、無線により接続されるものでもよい。
【0022】
図３は、本発明の安全管理システムの概略フロー図を示している。図３に示すように、まず、撮像手段２を用いてトンネル坑内の画像を撮像する（ステップＳ０１）。撮像は、リアルタイムに行うものでもよいし、１秒毎など間欠的に行うものでもよい。次に、学習モデル３４に基づき、撮像画像から、対象物体を検出する（ステップＳ０２）。ここでの対象物体とは、重機や作業員のことである。検出された対象物体に対して、バウンディングボックスを付与する（ステップＳ０３）。全ての対象物体につき、バウンディングボックスの付与が完了していない（ステップＳ０４）場合は、再度、撮像画像から、対象物体を検出する（ステップＳ０２）。全ての対象物体につき、バウンディングボックスの付与が完了（ステップＳ０４）すると、重機相互間、又は、重機と作業員との間に関して危険性を判定する（ステップＳ０５）。危険性が有りと判定されない場合（ステップＳ０６）は、再度、撮像手段２を用いてトンネル坑内の画像を撮像する（ステップＳ０１）。これに対して、危険性有りと判定された場合（ステップＳ０６）は、警報を発信・記録する（ステップＳ０７）。
【0023】
図４は、危険性判定処理のフロー図を示している。図４に示すように、重機相互間、又は、重機と作業員との間に関する危険性の判定は、まず、重機の画像上の変化の有無から、所定時間内における重機の動きの有無を検出し、所定時間内において動きが検出されない重機が存在する場合は、当該重機は停止中の重機と判定され、危険性判定対象から除外される（ステップＳ５２）。これに対して所定時間内において動きが検出されない重機が存在しない場合（ステップＳ５１）は、除外は行われない。
次に、対象物体に付与されたバウンディングボックスの縦横のサイズと、トンネル幅、重機のサイズまたは人の身長の少なくとも何れかとから、撮像手段２のカメラ座標における重機又は作業員の３次元位置を算出する（ステップＳ５３）。
重機や作業員に関する画像上の変化から、重機や作業員の移動方向を検出する（ステップＳ５４）。具体的には、前後の画像の差分から重機や作業員の移動の有無を検出する。比較に用いる画像は、２つに限られず、３つ以上の画像を比較してもよい。
その後、重機や作業員の３次元位置、移動方向、及び、バウンディングボックスの接触・重複を基準として、危険性を判定する（ステップＳ５５）。
なお図４に示すフローにおいて、ステップＳ５１及びステップＳ５２と、ステップＳ５３と、ステップＳ５４は、順序を入れ替えても構わない。
次に、対象物体に付与されたバウンディングボックスの縦横のサイズと、トンネル幅、重機のサイズまたは人の身長の少なくとも何れかとから、撮像手段２のカメラ座標における重機又は作業員の３次元位置を算出する（ステップＳ５３）。
重機や作業員に関する画像上の変化から、重機や作業員の移動方向を検出する（ステップＳ５４）。具体的には、前後の画像の差分から重機や作業員の移動の有無を検出する。比較に用いる画像は、２つに限られず、３つ以上の画像を比較してもよい。
その後、重機や作業員の３次元位置、移動方向、及び、バウンディングボックスの接触・重複を基準として、危険性を判定する（ステップＳ５５）。
なお図４に示すフローにおいて、ステップＳ５１及びステップＳ５２と、ステップＳ５３と、ステップＳ５４は、順序を入れ替えても構わない。
【0024】
図５は、本発明の安全管理システムの危険性判定イメージ図であり、（１）は危険性有りと判定されていない場合、（２）は危険性有りと判定された場合を示している。図５（１）に示すように、撮像画像８ａ上には、重機（５ａ，５ｂ）及び作業員（６ａ～６ｃ）が撮像され、物体検出手段３１により検出されている。そして、バウンディングボックス付与手段３２により、重機５ａにはバウンディングボックス９ａ、重機５ｂにはバウンディングボックス９ｂが付与されている。また、作業員６ａにはバウンディングボックス９ｃ、作業員６ｂにはバウンディングボックス９ｄ、作業員６ｃにはバウンディングボックス９ｅが付与されている。重機（５ａ，５ｂ）に付与されるバウンディングボックスは、重機の旋回可能性や移動可能性を加味した上で付与される。
ここでは説明の便宜上、重機に付与されたバウンディングボックスは実線で表示され、作業員に付与されたバウンディングボックスは破線で表示されている。また、危険性有りと判定された作業員に付与されるバウンディングボックスは太字の破線で表示される。かかる表示方法とは異なり、例えば、モニタ上で、危険度に応じてバウンディングボックスを色分けしてもよいし、バウンディングボックスの点滅表示等を行ってもよい。また、前述の警報機４ｂにより、危険度に応じて緊急警報を知らせる音声を発してもよい。
図５（１）に示すように、撮像画像８ａ上では、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは接触していないため、危険性有りと判定されていないが、図５（２）に示すように、撮像画像８ｂ上では、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは接触しているため、危険性有りと判定され、太字で破線表示されている。
ここでは説明の便宜上、重機に付与されたバウンディングボックスは実線で表示され、作業員に付与されたバウンディングボックスは破線で表示されている。また、危険性有りと判定された作業員に付与されるバウンディングボックスは太字の破線で表示される。かかる表示方法とは異なり、例えば、モニタ上で、危険度に応じてバウンディングボックスを色分けしてもよいし、バウンディングボックスの点滅表示等を行ってもよい。また、前述の警報機４ｂにより、危険度に応じて緊急警報を知らせる音声を発してもよい。
図５（１）に示すように、撮像画像８ａ上では、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは接触していないため、危険性有りと判定されていないが、図５（２）に示すように、撮像画像８ｂ上では、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは接触しているため、危険性有りと判定され、太字で破線表示されている。
【0025】
（停止中の重機に関する危険性判定について）
停止中の重機に関する危険性判定処理（ステップＳ５１，ステップＳ５２）について説明する。
図６は、停止中の重機に関する危険性判定イメージ図を示している。図６に示すように、撮像画像８ｃ上には、重機（５ａ，５ｂ）及び作業員（６ａ，６ｃ，６ｄ）が撮像され、物体検出手段３１により検出されている。そして、バウンディングボックス付与手段３２により、重機５ａにはバウンディングボックス９ａ、重機５ｂにはバウンディングボックス９ｂが付与されている。また、作業員６ａにはバウンディングボックス９ｃ、作業員６ｃにはバウンディングボックス９ｅ、作業員６ｄにはバウンディングボックス９ｆが付与されている。
停止中の重機に関する危険性判定処理（ステップＳ５１，ステップＳ５２）について説明する。
図６は、停止中の重機に関する危険性判定イメージ図を示している。図６に示すように、撮像画像８ｃ上には、重機（５ａ，５ｂ）及び作業員（６ａ，６ｃ，６ｄ）が撮像され、物体検出手段３１により検出されている。そして、バウンディングボックス付与手段３２により、重機５ａにはバウンディングボックス９ａ、重機５ｂにはバウンディングボックス９ｂが付与されている。また、作業員６ａにはバウンディングボックス９ｃ、作業員６ｃにはバウンディングボックス９ｅ、作業員６ｄにはバウンディングボックス９ｆが付与されている。
【0026】
そして、撮像画像８ｃ上では、重機５ｂに付与されたバウンディングボックス９ｂと作業員６ｄに付与されたバウンディングボックス９ｆは重畳している。
しかしながら、危険性判定手段３３は、撮像画像８ｃ上の変化の有無から、所定時間内における重機の動きの有無を検出する（ステップＳ５１）。そして、重機５ｂについては、所定時間内において位置及び形状の変化が無く、重機５ｂの動きが検出されないものとされ、危険性判定対象から除外されたものである（ステップＳ５２）。したがって、撮像画像８ｃ上では、作業員６ｄについては警告表示が行われていない。
このように、危険性の低い状態にある重機について、危険性判定対象から除外することにより、迅速かつ高精度な危険性判定が可能となる。
しかしながら、危険性判定手段３３は、撮像画像８ｃ上の変化の有無から、所定時間内における重機の動きの有無を検出する（ステップＳ５１）。そして、重機５ｂについては、所定時間内において位置及び形状の変化が無く、重機５ｂの動きが検出されないものとされ、危険性判定対象から除外されたものである（ステップＳ５２）。したがって、撮像画像８ｃ上では、作業員６ｄについては警告表示が行われていない。
このように、危険性の低い状態にある重機について、危険性判定対象から除外することにより、迅速かつ高精度な危険性判定が可能となる。
【0027】
（重機・作業員の３次元位置に基づく危険性判定について）
重機や作業員の３次元位置に基づく危険性判定処理（ステップＳ５３，ステップＳ５５）について説明する。
図７は、重機・作業員の３次元位置に基づく危険性判定の説明図を示している。図７に示すように、撮像画像８上には、トンネル７の坑内とバウンディングボックス（９ｇ～９ｉ）が表示されている。バウンディングボックス（９ｇ，９ｈ）は重機（図示せず）に付与されたものであり、バウンディングボックス９ｉは作業員（図示せず）に付与されたものである。
バウンディングボックス（９ｇ～９ｉ）の大きさと、撮像画像８上での切羽面７ａの最大幅Ｗ１、実際の切羽の最大幅Ｗ２と、重機・作業員の大きさを基に、撮像手段２から重機や作業員までの凡その距離を計算する。それをもとに、大きく撮像手段２からの距離が離れている重機と作業員については警報を発しない等の処理を行う。図７の例では、バウンディングボックス９ｇとバウンディングボックス９ｈが同じ重機に付与されたものである場合、バウンディングボックス９ｈが付与された重機は手前にあるため、バウンディングボックス９ｉが付与された作業員とは近接していないものと看做すことができる。
重機や作業員の３次元位置に基づく危険性判定処理（ステップＳ５３，ステップＳ５５）について説明する。
図７は、重機・作業員の３次元位置に基づく危険性判定の説明図を示している。図７に示すように、撮像画像８上には、トンネル７の坑内とバウンディングボックス（９ｇ～９ｉ）が表示されている。バウンディングボックス（９ｇ，９ｈ）は重機（図示せず）に付与されたものであり、バウンディングボックス９ｉは作業員（図示せず）に付与されたものである。
バウンディングボックス（９ｇ～９ｉ）の大きさと、撮像画像８上での切羽面７ａの最大幅Ｗ１、実際の切羽の最大幅Ｗ２と、重機・作業員の大きさを基に、撮像手段２から重機や作業員までの凡その距離を計算する。それをもとに、大きく撮像手段２からの距離が離れている重機と作業員については警報を発しない等の処理を行う。図７の例では、バウンディングボックス９ｇとバウンディングボックス９ｈが同じ重機に付与されたものである場合、バウンディングボックス９ｈが付与された重機は手前にあるため、バウンディングボックス９ｉが付与された作業員とは近接していないものと看做すことができる。
【0028】
図８は、重機・作業員の３次元位置に基づく危険性判定の説明図であり、図８（１）は重機の正面図、（２）は重機の左側面図を示している。図８（１）又は（２）に示すように、同じ重機５ｃであっても、バウンディングボックス（９ｊ，９ｋ）の大きさは、重機の向きや姿勢に応じて変化する。そのため、重機の距離を求める際には、重機の向きを求めて、そこからバウンディングボックスに対する実際の重機の大きさを求める。その結果、例えば、図８（１）に示す例で、他の重機や作業員とのバウンディングボックスの接触や重複がある場合には、図８（２）に示す例よりも、危険性有りと判定されやすくなる場合が生じる。
【0029】
図９は、重機・作業員の３次元位置に基づく危険性判定イメージ図を示している。図９に示すように、撮像画像８ｄ上には、重機（５ａ，５ｂ）及び作業員（６ａ～６ｃ）が撮像され、物体検出手段３１により検出されている。そして、バウンディングボックス付与手段３２により、重機５ａにはバウンディングボックス９ａ、重機５ｂにはバウンディングボックス９ｂが付与されている。また、作業員６ａにはバウンディングボックス９ｃ、作業員６ｂにはバウンディングボックス９ｄ、作業員６ｃにはバウンディングボックス９ｅが付与されている。
【0030】
そして、撮像画像８ｄ上では、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは重畳している。また、重機５ｂに付与されたバウンディングボックス９ｂと作業員６ｂに付与されたバウンディングボックス９ｄについても重畳している。
しかしながら、危険性判定手段３３は、重機（５ａ，５ｂ）や作業員（６ａ～６ｃ）に付与されたバウンディングボックス（９ａ～９ｅ）の縦横のサイズと、トンネル幅、重機のサイズ、作業員の身長等のサイズから、撮像手段２のカメラ座標における重機（５ａ，５ｂ）又は作業員（６ａ～６ｃ）の３次元位置を算出し、重機（５ａ，５ｂ）と作業員（６ａ～６ｃ）とのカメラ座標のｚ軸方向の位置関係に基づき、危険性を判定する。重機のサイズは、予めデータベース（図示せず）に登録されており、また、作業員のサイズは、１６０～１８０ｃｍとして登録されている。
しかしながら、危険性判定手段３３は、重機（５ａ，５ｂ）や作業員（６ａ～６ｃ）に付与されたバウンディングボックス（９ａ～９ｅ）の縦横のサイズと、トンネル幅、重機のサイズ、作業員の身長等のサイズから、撮像手段２のカメラ座標における重機（５ａ，５ｂ）又は作業員（６ａ～６ｃ）の３次元位置を算出し、重機（５ａ，５ｂ）と作業員（６ａ～６ｃ）とのカメラ座標のｚ軸方向の位置関係に基づき、危険性を判定する。重機のサイズは、予めデータベース（図示せず）に登録されており、また、作業員のサイズは、１６０～１８０ｃｍとして登録されている。
【0031】
そしてここでは、作業員６ａのバウンディングボックス９ｃの縦横のサイズと、重機５ａのバウンディングボックス９ａの縦横のサイズ等から、作業員６ａは手前側に存在し、重機５ａは奥側に位置し、かつ危険性有りと判定されない距離にあると判定されたため、警告表示を行わなかったものである。
また同様に、作業員６ｂのバウンディングボックス９ｄの縦横のサイズと、重機５ｂのバウンディングボックス９ｂの縦横のサイズ等から、作業員６ｂは奥側に存在し、重機５ｂは手前側に位置し、かつ危険性有りと判定されない距離にあると判定されたため、警告表示を行わなかったものである。このように、重機や作業員の３次元位置を算出し、危険性の判定に用いることにより、誤報の少ないシステムとすることができる。
また同様に、作業員６ｂのバウンディングボックス９ｄの縦横のサイズと、重機５ｂのバウンディングボックス９ｂの縦横のサイズ等から、作業員６ｂは奥側に存在し、重機５ｂは手前側に位置し、かつ危険性有りと判定されない距離にあると判定されたため、警告表示を行わなかったものである。このように、重機や作業員の３次元位置を算出し、危険性の判定に用いることにより、誤報の少ないシステムとすることができる。
【0032】
（重機・作業員の移動方向に基づく危険性判定について）
重機や作業員の移動方向に基づく危険性判定処理（ステップＳ５４，ステップＳ５５）について説明する。
図１０は、重機・作業員の移動方向に基づく危険性判定イメージ図であり、（１）は先に撮像された画像、（２）は後に撮像された画像を示している。図１０（１）又は（２）に示すように、撮像画像８ｅ上には、重機（５ａ，５ｂ）及び作業員（６ａ～６ｃ）が撮像され、物体検出手段３１により検出されている。そして、バウンディングボックス付与手段３２により、重機５ａにはバウンディングボックス９ａ、重機５ｂにはバウンディングボックス９ｂが付与されている。また、作業員６ａにはバウンディングボックス９ｃ、作業員６ｂにはバウンディングボックス９ｄ、作業員６ｃにはバウンディングボックス９ｅが付与されている。
重機や作業員の移動方向に基づく危険性判定処理（ステップＳ５４，ステップＳ５５）について説明する。
図１０は、重機・作業員の移動方向に基づく危険性判定イメージ図であり、（１）は先に撮像された画像、（２）は後に撮像された画像を示している。図１０（１）又は（２）に示すように、撮像画像８ｅ上には、重機（５ａ，５ｂ）及び作業員（６ａ～６ｃ）が撮像され、物体検出手段３１により検出されている。そして、バウンディングボックス付与手段３２により、重機５ａにはバウンディングボックス９ａ、重機５ｂにはバウンディングボックス９ｂが付与されている。また、作業員６ａにはバウンディングボックス９ｃ、作業員６ｂにはバウンディングボックス９ｄ、作業員６ｃにはバウンディングボックス９ｅが付与されている。
【0033】
そして、図１０（１）に示す撮像画像８ｅ上では、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは重複しているため、危険性有りと判定され、太字で破線表示されている。
また、図１０（２）に示す撮像画像８ｆ上においても、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは接触している。しかしながら、危険性判定手段３３は、対象物体に関する画像上の変化から、作業員６ａの移動方向を検出し、作業員６ａの移動方向に基づき危険性を判定する。そしてここでは、図１０（１）に示す撮像画像８ｅと図１０（２）に示す撮像画像８ｆの差分から、作業員６ａの移動方向が重機５ａとは反対方向であると検出され、重機５ａから離れる動作を行う可能性が高いと判定されるため、警告表示を行わなかったものである。このように、重機や作業員の移動方向を検出し、危険性の判定に用いることにより、誤報の少ないシステムとすることができる。
また、図１０（２）に示す撮像画像８ｆ上においても、重機５ａに付与されたバウンディングボックス９ａと作業員６ａに付与されたバウンディングボックス９ｃは接触している。しかしながら、危険性判定手段３３は、対象物体に関する画像上の変化から、作業員６ａの移動方向を検出し、作業員６ａの移動方向に基づき危険性を判定する。そしてここでは、図１０（１）に示す撮像画像８ｅと図１０（２）に示す撮像画像８ｆの差分から、作業員６ａの移動方向が重機５ａとは反対方向であると検出され、重機５ａから離れる動作を行う可能性が高いと判定されるため、警告表示を行わなかったものである。このように、重機や作業員の移動方向を検出し、危険性の判定に用いることにより、誤報の少ないシステムとすることができる。
【産業上の利用可能性】
【0034】
本発明は、多数の重機や多人数の作業員が出入りする作業現場における安全管理システムとして有用である。
【符号の説明】
【0035】
１ 安全管理システム
２ 撮像手段
３ 演算手段
４ 警報手段
４ａ 表示機器
４ｂ 警報機
５ａ～５ｃ 重機
６ａ～６ｄ 作業員
７ トンネル
７ａ 切羽面
８，８ａ～８ｆ 撮像画像
９ａ～９ｋ バウンディングボックス
３１ 物体検出手段
３２ バウンディングボックス付与手段
３３ 危険性判定手段
３４ 学習モデル
Ｗ１，Ｗ２ 最大幅
２ 撮像手段
３ 演算手段
４ 警報手段
４ａ 表示機器
４ｂ 警報機
５ａ～５ｃ 重機
６ａ～６ｄ 作業員
７ トンネル
７ａ 切羽面
８，８ａ～８ｆ 撮像画像
９ａ～９ｋ バウンディングボックス
３１ 物体検出手段
３２ バウンディングボックス付与手段
３３ 危険性判定手段
３４ 学習モデル
Ｗ１，Ｗ２ 最大幅
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
