(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024170041
(43)【公開日】2024-12-06
(54)【発明の名称】警報装置及び警報方法
(51)【国際特許分類】
G08B 21/02 20060101AFI20241129BHJP
G08B 25/00 20060101ALI20241129BHJP
G08B 25/04 20060101ALI20241129BHJP
E02F 9/24 20060101ALI20241129BHJP
E02F 9/26 20060101ALI20241129BHJP
【FI】
G08B21/02
G08B25/00 510M
G08B25/04 K
E02F9/24 B
E02F9/26 B
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023086969
(22)【出願日】2023-05-26
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(71)【出願人】
【識別番号】519137888
【氏名又は名称】株式会社Lightblue
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】大山 巧
(72)【発明者】
【氏名】古川 慧
(72)【発明者】
【氏名】小島 英郷
(72)【発明者】
【氏名】園田 亜斗夢
(72)【発明者】
【氏名】谷口 俊一
【テーマコード(参考)】
2D015
5C086
5C087
【Fターム(参考)】
2D015GA03
2D015GB06
2D015HA03
5C086AA22
5C086AA53
5C086BA19
5C086CA25
5C086CA28
5C086CB36
5C086DA33
5C086FA04
5C086FA15
5C087AA16
5C087AA34
5C087DD03
5C087DD41
5C087EE14
5C087GG02
5C087GG66
5C087GG84
(57)【要約】
【課題】危険を知らせることができるとともに、作業を円滑に進めることができるようにした危険警報装置を提供する。
【解決手段】重機の周囲を撮像した画像を取得する撮像部と、前記画像に含まれる人物の画像を検知する人物検知部と、前記検知された人物の画像に基づいて当該人物が前記重機から所定の距離以内にあるか否かを判定する距離判定部と、前記検知された人物が前記重機を認知しているか否かを判定する認知判定部と、前記距離判定部の判定結果と前記認知判定部の判定結果とに応じて警報を出力する警告部とを備える。
【選択図】
図11
【特許請求の範囲】
【請求項1】
重機の周囲を撮像した画像を取得する撮像部と、
前記画像に含まれる人物の画像を検知する人物検知部と、
前記検知された人物の画像に基づいて当該人物が前記重機から所定の距離以内にあるか否かを判定する距離判定部と、
前記検知された人物が前記重機を認知しているか否かを判定する認知判定部と、
前記距離判定部の判定結果と前記認知判定部の判定結果とに応じて警報を出力する警告部と
を備える警報装置。
【請求項2】
前記認知判定部は、人物の視界内に前記重機が存在するか否かに基づいて、前記重機を認知しているか否かを判定する請求項1に記載の警報装置。
【請求項3】
前記認知判定部は、顔パーツの位置関係を基に求められた顔向きベクトルと、人物の視野とから、前記人物の視界内に前記重機が存在するか否かを推定する請求項2に記載の警報装置。
【請求項4】
前記距離判定部の判定結果と前記認知判定部の判定結果に応じて前記人物の危険性のレベルを判定する危険性評価部を有し、
前記警告部は、前記危険性評価部の判定結果に応じて警報を出力する
請求項1から請求項3のうちいずれか1項に記載の警報装置。
【請求項5】
前記警告部は、前記判定結果に応じて異なる色で点灯する警報ランプである請求項4に記載の警報装置。
【請求項6】
コンピュータに、
重機の周囲を撮像した画像を取得する工程と、
前記取得された画像に含まれる人物の画像を検知する工程と、
前記検知された人物の画像に基づいて当該人物が前記重機から所定の距離以内にあるか否かを判定する工程と、
前記検知された人物が前記重機を認知しているか否かを判定する工程と、
前記所定の距離以内にあるか否かの判定結果と前記認知しているか否かの判定結果に応じて警報を出力する工程と
を実行させる警報方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、警報装置及び警報方法に関する。
【背景技術】
【0002】
建設現場では、作業する領域において重機が利用され、その近傍において作業者が作業する場合がある。このような場合、重機と作業者と接触を防止するための対策がなされる。例えば、作業者が重機に所定距離まで近接すると、オペレータに報知するものが開示されている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の従来のシステムでは、重機の近傍に作業者が存在する場合、警告が出力され重機の運転が停止されるが、作業者が重機の存在や動きを把握している場合には、警告されなかったとしても、作業者が重機から離れる行動を取ることが可能である。そうすると、重機と作業者が接近した場合に重機を停止させてしまうと、一定の安全性が確保できるにもかかわらず重機が停止されるため、作業効率が低下してしまい、作業を円滑に行うことができない。
【0005】
上述の課題を鑑み、本発明は、危険を知らせることができるとともに、作業を円滑に進めることができるようにした警報装置及び警報方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様にかかる警報装置は、重機の周囲を撮像した画像を取得する撮像部と、前記画像に含まれる人物の画像を検知する人物検知部と、前記検知された人物の画像に基づいて当該人物が前記重機から所定の距離以内にあるか否かを判定する距離判定部と、前記検知された人物が前記重機を認知しているか否かを判定する認知判定部と、前記距離判定部の判定結果と前記認知判定部の判定結果とに応じて警報を出力する警告部とを備える警報装置である。
【0007】
本発明の一態様にかかる警報方法は、コンピュータに、重機の周囲を撮像した画像を取得する工程と、前記取得された画像に含まれる人物の画像を検知する工程と、前記検知された人物の画像に基づいて当該人物が前記重機から所定の距離以内にあるか否かを判定する工程と、前記検知された人物が前記重機を認知しているか否かを判定する工程と、前記所定の距離以内にあるか否かの判定結果と前記認知しているか否かの判定結果に応じて警報を出力する工程とを実行させる警報方法である。
【発明の効果】
【0008】
本発明によれば、重機の近傍に人物がいた場合であっても、その人が重機を認知していれば、作業を進めることができる場合もある。これにより、安全を確保しつつ、作業を円滑に進めることができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態にかかる危険警報システムの概要を示す図である。
【
図2】本発明の実施形態にかかる危険警報装置の動作の説明図である。
【
図3】本発明の実施形態にかかる危険警報装置の動作の説明図である。
【
図4】本発明の実施形態にかかる危険警報装置の動作の説明図である。
【
図5】本発明の実施形態にかかる危険警報装置の概要のブロック図である。
【
図6】本発明の実施形態にかかる危険警報装置の処理を示すフローチャートである。
【
図7】認知判定処理の詳細を示すフローチャートである。
【
図10】危険性評価処理の詳細を示すフローチャートである。
【
図11】危険警報装置の他の一態様におけるブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明の実施形態にかかる危険警報システム1の概要を示す図である。
【0011】
図1において、重機10は土木、建設工事現場で使用される機械であり、例えばバックホー、ショベル、ローダー、クレーン等である。重機10には、危険警報装置20が搭載されている。危険警報装置20は、カメラ21の撮像画像から、重機10の近傍に人物がいるか否かを検知する。そして、危険警報装置20は、重機10の近傍に人物がいる場合には、その人物が重機10を認知しているか否かを判定し、周囲の人物が重機と接触する危険性について評価し、この評価結果に応じて、警報ランプ22を点灯させる。人物が重機10を認知しているか否かについては、例えば、有効視野を推定し、その有効視野に重機がある場合に、人物が重機を認知していると推定することができる。有効視野は、人間の視覚認知が行われる領域であり、水平方向において30°~40°、上下方向に20°程度であると言われている。重機10のオペレータは、この警報ランプ22の点灯状態(点灯の有無、色など)により、重機10の周囲の危険性を判定できる。
【0012】
図2から
図4は、本発明の実施形態にかかる危険警報装置20の動作の説明図である。
図2は、重機10の近傍(例えば重機10を基準とした距離L1以内)に人がいない場合を示している。
図3及び
図4は、重機10の近傍(例えば重機10を基準とした距離L1以内)に人がいる場合を示している。
【0013】
図2に示すように、重機10の近傍に人がいない場合には、重機10と周囲の人物とが接触する危険性が低い。このような場合には、警報ランプ22は緑色で点灯する。また、この場合、警報ランプは、点灯しない状態であってもよい。
【0014】
図3及び
図4に示すように、重機10の近傍に人物2a又は2bが存在する場合には、重機10と周囲の人物2a又は2bとが接触する危険性があると考えられる。しかしながら、
図3に示すように、人物2aが重機10を視認している場合と、
図4に示すように、人物2aが重機10を視認していないような場合とでは、重機10と周囲の人物2a又は2bとが接触する危険性は異なる。
図3に示すように、人物2aが重機10を視認している場合(人物2aの視線が重機10に向いている場合)には、人物2aは重機10の存在(位置や挙動)を認識可能であるため、必要に応じて人物2aが重機10から離れるような行動をすることが可能であり、重機10と人物2aとが接触する危険性は低い。一方、
図4に示すように、人物2bが重機10を見ていないような場合(人物2aの視線が重機10に向いていない場合)には、人物2bは重機10を視認していないので、人物2bは重機10の位置や挙動について視覚を通じて認識することはできないため、重機10から離れた方がよいか否かを判断する手がかりが少なくなる。そのため、人物2bは重機10から離れた方がよいか否かの判断が難しくなり、重機10と人物2bとが接触する危険性は高まる。
【0015】
このことから、本実施形態では、
図3に示すように、重機10の近傍に人物2aが存在するが、人物2aが重機10を認知している場合には、警報ランプ22を黄色で点灯させ、重機のオペレータ3に注意を知らせるようにしている。この場合には、重機のオペレータ3は、人物2aがいることを注意しながら、作業を続けることができる。さらに、
図4に示すように、重機10の近傍に人物2bがおり、人物2bが重機10を認知していない場合には、警報ランプ22を赤色で点灯させることで、重機10の重機のオペレータ3に、危険を知らせるようにしている。ここでは、警報ランプ22を赤色で点灯させる場合、黄色で点灯させる場合に比べて危険の度合いが高いことを表す。重機のオペレータ3は、警報ランプ22が赤色で点灯した場合には、作業を中止することで、人物との接触を回避することができる。
【0016】
図5は、本発明の実施形態にかかる危険警報装置20の概要のブロック図である。
図5に示すように、危険警報装置20は、カメラ21と、警報ランプ22と、制御部25とから構成される。
【0017】
カメラ21は、重機10の周囲を撮像した画像を取得する撮像部として機能する。カメラ21は、重機のオペレータ3の死角となる領域を撮像するように設置されるようにしてもよい。また、カメラ21としては、複数のカメラ21を異なる撮像領域を撮像するように配置しても良い。また、カメラ21は、重機10の移動方向等に応じて、撮影方向を変更可能としても良い。
【0018】
警報ランプ22は、危険性に応じて異なる色によって点灯することで、重機のオペレータ3に警報をする警告部として機能する。警報ランプ22は、例えば赤色、黄色、緑色の三色の回転灯であり、危険分析結果に応じて、各色のランプのうちいずれかの色のランプを点灯させて、オペレータ3に警報する。
【0019】
人物と重機10との間の距離は、カメラ21から取得される画像から推定することができる(例えば、特願2019-190536、特開2021-67469)。また、人物と重機10との間の距離は、LiDARあるいはレーダーを用いて計測しても良い。
【0020】
制御部25は、GPU(Graphics Processing Unit)、CPU(Central Processing Unit)等からなり、プログラムに基づいて、各種の処理を行う。本実施形態では、制御部25は、人物検知機能部251と、距離判定機能部252と、認知判定機能部253と、危険性評価機能部254の機能を実現する。
【0021】
人物検知機能部251は、カメラ21の撮像画像を取得し、撮像画像中に、人物の画像が検出されたか否かを検知する。
【0022】
距離判定機能部252は、カメラ画像またはLiDAR等の計測結果に基づいて、重機10と人物との間の距離が所定距離以内か否かを判定する。所定の距離は、どの程度の範囲を対象として注意を払うかに基づいて、予め決めておくようにしてもよい。
【0023】
認知判定機能部253は、カメラ21の撮像画像から、その人物の視野内に重機10が映っているか否かを推定することで、その人物が重機10を認知しているか否かの判定を行う。
【0024】
危険性評価機能部254は、人物の検知結果、人物と重機との距離、人物の重機への認知状況(認知しているか否か)に応じて、人物と重機とが接触する危険性について評価し、危険性の評価結果に応じて、警報ランプ22を各色で点灯させる。本実施形態では、危険性評価機能部254は、距離判定機能部252の判定結果と認知判定機能部253の判定結果に応じて人物と重機との接触の危険性のレベルがいずれであるかを判定する。危険性のレベルは、複数であればよく、例えば、3段階のレベルである。危険性評価機能部254は、判定された危険性のレベルに応じて、警報ランプ22を以下のように点灯させる。
【0025】
(1)赤色に点灯(レベル3):重機10の近傍に人物がいて、その人物が重機10を視認していない。この場合、警報ランプ22を赤色に点灯させることで、周囲の人物が重機10と接触する危険性が高いことを警報する。
(2)黄色に点灯(レベル2):重機10の近傍に人物がいるが、その人物は重機10を視認している。この場合、周囲に人物はいるが、その人物は重機10を視認しているので、接触を回避できる危険性がある。この場合、上述の(1)のケースに比べて、周囲の人物が重機10と接触する危険性は低い。そのため、警報ランプ22を黄色に点灯させることで、周囲の人物が重機10と接触する危険性があることを警報する。
(3)緑色に点灯(レベル1):重機10の近傍に人物がいない。この場合、周囲の人物と重機とが接触する危険性は、上述の(2)よりも低い。この場合、警報ランプ22を緑色に点灯させることで、周囲の人物が重機10と接触する危険性が低いことを報知する。なお、この場合、警報ランプ22を点灯させなくてもよい。
【0026】
図6は、本発明の実施形態にかかる危険警報装置20の処理を示すフローチャートである。
【0027】
(ステップS1)制御部25は、カメラ21の撮像画像を取得し、撮像画像中に、人物が検出されたか否かを検知する。そして、制御部25は、人物が検知されたら、処理をステップS2に進め、検知されない場合には、一定のウエイト時間の経過後に、再度ステップS1の処理を実行する。
【0028】
(ステップS2)制御部25は、カメラ画像またはLiDAR等の検知信号から、重機10と検出された人物との間の距離を計測し、重機10と人物との間の距離が所定の距離以内であるか否かを判定する。制御部25は、重機10と人物との間の距離が所定の距離以内であると判定されたら(ステップS2:Yes)、処理をステップS3に進める。
【0029】
(ステップS3)制御部25は、検出された人物が重機10を認知しているか否かの判定を行い、処理をステップS4に進める。
【0030】
(ステップS4)制御部25は、人物の検知結果、人物の距離、人物の重機への認知状況に応じて、周囲の人物と重機とが接触する危険性がいずれのレベルであるかを判定し、処理をステップS5に進める。
【0031】
(ステップS5)制御部25は、判定されたレベルに応じて、警報ランプ22をいずれかの色で点灯させる。
【0032】
図7は、
図6のステップS3における認知判定処理の詳細を示すフローチャートである。
【0033】
(ステップS101)制御部25は、カメラ21の撮像画像から、AI(Artificial Intelligence)技術に基づく骨格解析を行い、人物の、両目、両耳、鼻の各パーツを検出して、処理をステップS102に進める。
【0034】
(ステップS102)制御部25は、各顔パーツが取得できたか否かを判定する。制御部25は、各顔パーツが取得できた場合には(ステップS102:Yes)、処理をステップS103に進め、ヘルメット等により顔パーツが取得できない、重機10の方に顔を向けていないため顔パーツが取得できない等の場合には(ステップS102:No)、処理をステップS106に進める。
【0035】
(ステップS103)制御部25は、取得された各顔パーツである、両目・両耳・鼻の5点の位置関係をもとに、顔向きベクトルを推定して、処理をステップS104に進める。
【0036】
(ステップS104)制御部25は、人物の顔向きベクトルをもとに、その人物の視界に、重機10が存在するか否かを判定する。制御部25は、この判定結果に基づいて、人物の視界に重機10が存在すると判定された場合には、その人物が重機10を認知できたと判定し、人物の視界に重機10が存在しないと判定された場合には、その人物が重機10を認知できていないと判定する。
【0037】
ここで、
図8は、顔向きベクトルの説明図である。また、
図9は、人物の視界の説明図である。
図8に示すように、両目・両耳・鼻の5点の位置関係から、その人物の顔の向きの方向を示す顔向きベクトルが推定できる。人物は、顔の向いている方向を見ている(視認する)ので、顔向きベクトルから、その人物の視線の方向が分かる。よって、
図9に示すように、その人物が見ている視界の範囲は、顔向きベクトルV1を中心として視野P1の範囲となる。この視野P1の範囲に重機10が存在していれば、その人物は、重機10を認知していると推定できる。よって、制御部25は、その人物の視界内に重機10が存在すれば(ステップS104:Yes)、その人物は重機10を認知しているとして、処理をステップS105に進め、存在しなければ(ステップS104:No)、その人物は重機10を認知していないとして、処理をステップS106に進める。また、ステップS102でヘルメット等により顔パーツが取得できない場合にも(ステップS102:No)、安全のため、その人物は重機10を認知していないとして、処理をステップS106に進める。
【0038】
(ステップS105)制御部25は、その人物が重機10を認知しているという判定結果を出力して、メイン処理に復帰する。
【0039】
(ステップS106)制御部25は、その人物が重機10を認知できないという判定結果を出力して、メイン処理に復帰する。
【0040】
図10は、
図6のステップS4における危険性評価処理の詳細を示すフローチャートである。
【0041】
(ステップS201):制御部25は、
図6におけるステップS1の処理結果と、ステップS2の処理結果から、重機10から所定の距離以内に人物が検知されるか否かを判定する。そして、制御部25は、重機10から所定の距離以内に人物が検知されなければ(ステップS201:No)、処理をステップS203に進め、重機10から所定距離以内に人物が検知されれば(ステップS201:Yes)、処理をステップS202に進める。
【0042】
(ステップS202)制御部25は、
図6におけるステップS3の処理結果から、検知された人物が重機10を認知しているか否かを判定する。そして、制御部25は、重機10を認知していると判定された場合には(ステップS202:Yes)、処理をステップS204に進め、認知していないと判定された場合には(ステップS202:No)、処理をステップS205に進める。
【0043】
(ステップS203)制御部25は、警報ランプ22を緑色に点灯させて、メイン処理に復帰する。
【0044】
(ステップS204)制御部25は、警報ランプ22を黄色に点灯させて、メイン処理に復帰する。
【0045】
(ステップS9)制御部25は、警報ランプ22を赤色に点灯させて、メイン処理に復帰する。
【0046】
以上説明したように、本発明の実施形態にかかる危険警報装置20では、重機10の近傍に人物が存在するが、人物が重機10を認知している場合には、警報ランプ22を黄色で点灯させ、重機のオペレータ3に注意を知らせ、人物が重機10を認知していない場合には、警報ランプ22を赤色で点灯させて、重機10の重機のオペレータ3に、危険を知らせるようにしている。本実施形態では、警報ランプ22を黄色で点灯されている場合には、危険に注意を払いながら、作業を継続できる。また、警報ランプ22が赤色で点灯される場合には、作業を中止することで、危険を回避できる。このように、本実施形態では、重機10の近傍に人物がいた場合でも、その人が重機を認知していれば、作業を進めることができる。これにより、安全を確保しつつ、作業を円滑に進めることができる。
【0047】
なお、上述の実施形態では、危険性に応じて重機のオペレータ3に危険を知らせる警告部として、三色の点灯する警報ランプ22を用いたが、警報は、これに限定されない。例えば、ランプの点灯だけでなく、レベルに応じて異なる音量あるいは音の種類によって警報をする機能を有しているものを用いても良い。
【0048】
また、重機10のオペレータ3ばかりでなく、重機10の周囲で作業を行う作業者(人物2a、2b)にも、警報を伝えるようにしても良い。例えば、作業者が携帯端末やICタグを持参し、この携帯端末やICタグに警報を伝えるようにしても良い。その他、危険性に応じて危険を知らせる警告部としては、各種のものが想定される。
【0049】
また、危険警報装置20で判定された危険度に応じて、重機10の動作を制御しても良い。例えば、重機10の近傍に人物が存在しており、人物が重機10を認知していない場合には、警報ランプ22を赤色で点灯させるとともに、重機10の運転を停止させるようにしても良い。
【0050】
図11は、危険警報装置の他の一態様におけるブロック図を示す。
図11に示すように、危険警報装置520は、撮像部521と、人物検知部751と、距離判定部752と、認知判定部753と、危険性評価部754と、警告部522とを備える。撮像部521は、重機の周囲を撮像することで画像データを生成する。人物検知部751は、重機の周囲が撮像された画像データに含まれる人物の画像を検知する。距離判定部752は、検知された人物の画像に基づいて当該人物が所定の距離以内にあるか否かを判定する。認知判定部753は、検知された人物が重機を認知しているか否かを判定する。危険性評価部754は、人物の検知結果と人物の認知結果に応じて危険度を評価する。警告部522は、危険度に応じて危険を知らせる。
この態様によれば、LiDAR23を用いない場合であっても、警報をすることができる。
【0051】
上述した実施形態における危険警報装置20または危険警報装置520の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0052】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0053】
10…重機、11…カメラ11、20…危険警報装置、21…カメラ、22…警報ランプ、25…制御部、251…人物検知機能部、252…距離判定機能部、253…認知判定機能部、254…危険性評価機能部、520…危険警報装置、521…撮像部、522…警告部、751…人物検知部、752…距離判定部、753…認知判定部、754…危険性評価部