(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20220308BHJP
G16Y 10/40 20200101ALI20220308BHJP
G16Y 20/20 20200101ALI20220308BHJP
G16Y 40/10 20200101ALI20220308BHJP
【FI】
G08G1/16 A
G16Y10/40
G16Y20/20
G16Y40/10
(21)【出願番号】P 2021082982
(22)【出願日】2021-05-17
【審査請求日】2021-07-21
【早期審査対象出願】
(73)【特許権者】
【識別番号】514028042
【氏名又は名称】株式会社アラヤ
(73)【特許権者】
【識別番号】000170325
【氏名又は名称】鴻池運輸株式会社
(74)【代理人】
【識別番号】100187322
【氏名又は名称】前川 直輝
(72)【発明者】
【氏名】則竹 茂年
(72)【発明者】
【氏名】渡辺 宗一郎
(72)【発明者】
【氏名】山田 雅貴
(72)【発明者】
【氏名】眞方 篤史
【審査官】平井 功
(56)【参考文献】
【文献】国際公開第2018/151280(WO,A1)
【文献】特開2017-053092(JP,A)
【文献】特開2020-125171(JP,A)
【文献】特開2012-127059(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
B60W 30/00-60/00
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得可能な作業現場撮像部と、
前記作業現場撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、
前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、
前記運転者撮像部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、
前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、
を備え、
前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像し、
前記危険判定部は、前記視線認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する、
作業現場管理システム。
【請求項2】
さらに、
前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、
前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、
前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、
を備え、
前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整する
請求項1に記載の作業現場管理システム。
【請求項3】
前記作業現場撮像部は、
前記作業現場の建物、又は建物内の立設物、に設けられる、
請求項1又は2に記載の作業現場管理システム。
【請求項4】
前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第1安全度を算出し、当該第1安全度が第1警報閾値を下回ると第1警報を行わせる警報情報を生成する、
請求項1から3のいずれか一項に記載の作業現場管理システム。
【請求項5】
前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第2安全度を算出し、当該第2安全度が第2警報閾値を下回ると第2警報を行わせる警報情報を生成する、
請求項1から4のいずれか一項に記載の作業現場管理システム。
【請求項6】
前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第3安全度を算出し、当該第3安全度が第3警報閾値を下回ると第3警報を行わせる警報情報を生成する、
請求項1から5のいずれか一項に記載の作業現場管理システム。
【請求項7】
コンピュータが、
作業車両の高さよりも高い位置から作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、
前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
を実行する作業現場管理方法。
【請求項8】
作業車両の高さよりも高い位置から作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、
前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、
前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、
前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、
前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、
を備え、
前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、
をコンピュータに実行させるための作業現場管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムに関する。
【背景技術】
【0002】
物流倉庫や工場等の作業現場では、作業者やフォークリフト等の作業車両が行き来をしており、作業者と作業車両との接触による事故が発生する場合がある。
【0003】
このような事故を未然に防ぐための技術が種々開発されている。例えば、特許文献1では、電子鍵を用いて作業車両(フォークリフト)の車両識別情報等と当該作業車両を運転する作業者の情報とを対応付けて記憶する等して、作業車両の稼働をリアルタイムに管理する車両運行システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1(特に実施の形態2)では、作業車両の位置を検出するために、工場内の各所に固有の色配置からなるカラーラベルが貼付されたバーを立設したり、作業者の上腕にもカラーラベルを含む腕章を装着したり、工場内の各所に電波を発するビーコンを立設したり、している。作業車両はビーコンからの電波を受信することで、予め記憶してあるビーコンの識別情報と位置を示す情報及び電波受信強度から作業車両の位置を検出している。また。作業車両に搭載されたカメラにより、立設されたバーのカラーラベルを認識し、カラーラベルの色の配置や画像中の大きさ等から作業車両の位置を検出している。さらに、作業車両のカメラにより作業者が装着しているカラーラベルを認識することで、作業車両に対する作業者の接近を検出している。
【0006】
しかしながら、特許文献1の技術では、作業車両の位置を検出するために、カラーラベルが貼付されたバーや、ビーコンを作業現場に配置したり、作業者にカラーラベルを含む腕章を装着させたりする必要があり、車両運行システムを実現させるために多くの設備投資や労力を必要とする。また、このような多くの装置の設置や人への装着等が必要な手法では人による運用上の介入が生じる。そのために、人為的ミスが発生して安全な運行が実現できなくなる場合も生じていた。
【0007】
さらに、作業現場には、管理下にある自社の車両や人だけでなく、他社の車両や人が入ってくる場合もあるが、従来の手法では他社の車両や人まで管理することは困難である。
【0008】
また、作業車両のカメラにより作業者が装着しているカラーラベルを認識する場合、作業現場には様々な障害物があり、作業車両と作業者との間を障害物により遮られたり、作業者の姿勢によってカラーラベルが隠れたりすると、接近している作業者を正確に認識することができないおそれがある。一方で、作業車両の運転者が作業者を目視で認識しているにも関わらずアラート等が行われると運転者に煩わしさを与えたり、運転者がアラートを信用しなくなったりするおそれがある。
【0009】
本開示は、このような問題点を解決するためになされたもので、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる作業現場管理システム、作業現場管理方法、及び作業現場管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記した目的を達成するために、本開示に係る作業現場管理システムは、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得可能な作業現場撮像部と、前記画像情報撮像部により取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識部と、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像部と、前記視線情報取得部により取得した視線情報から、前記運転者の視線方向を認識する視線認識部と、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部と、を備え、前記危険判定部は、前記視線方向認識部により認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する。
【0011】
上記作業現場管理システムにおいて、さらに、前記作業車両の運転者を認識し、運転者認識情報を生成する運転者認識部と、前記運転者の運転履歴を含む運転者情報を記憶する運転者情報記憶部と、前記運転者認識情報と対応する運転者情報を前記運転者情報記憶部から抽出して、抽出した運転者情報に基づき前記運転者の運転傾向を解析する運転傾向解析部と、を備え、前記危険判定部は、前記運転傾向解析部により解析された前記運転者の運転傾向に応じて前記警報閾値を調整してもよい。
【0012】
上記作業現場管理システムにおいて、前記作業現場撮像部は前記作業車両の高さよりも高い位置から前記作業現場を撮像してもよい。
【0013】
上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から、前記作業車両と前記作業者との相対距離に応じた第1安全度を算出し、当該第1安全度が第1警報閾値を下回ると第1警報を行わせる警報情報を生成してもよい。
【0014】
上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者の移動方向に応じた第2安全度を算出し、当該第2安全度が第2警報閾値を下回ると第2警報を行わせる警報情報を生成してもよい。
【0015】
上記作業現場管理システムにおいて、前記危険判定部は、前記物体認識部により生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者とが接触するまでにかかる時間に応じた第3安全度を算出し、当該第3安全度が第3警報閾値を下回ると第3警報を行わせる警報情報を生成してもよい。
【0016】
上記した目的を達成するために、本開示に係る作業現場管理方法は、コンピュータが、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップを実行する。
【0017】
上記した目的を達成するために、本開示に係る作業現場管理プログラムは、作業現場を撮像した画像と当該画像内の深度情報とを含む画像情報を取得する作業現場撮像ステップと、前記作業現場撮像ステップにより取得した画像情報から画像内に写る作業車両及び作業者を認識し、前記作業車両及び前記作業者の位置情報を生成する物体認識ステップと、前記作業車両の運転者を撮像して前記運転者の視線情報を取得する運転者撮像ステップと、前記運転者撮像ステップにより取得した視線情報から、前記作業車両の運転者の視線方向を認識する視線方向認識ステップと、前記物体認識ステップにより生成された前記作業車両及び前記作業者の位置情報から前記作業車両と前記作業者との相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定ステップと、を備え、前記危険判定ステップより前に、前記視線方向認識ステップにより認識された前記運転者の視線方向に応じて前記所定の警報閾値を調整する閾値調整ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0018】
上記手段を用いる本開示によれば、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。
【図面の簡単な説明】
【0019】
【
図1】本開示の一実施形態に係る作業現場管理システムの概要を示す概略構成図である。
【
図2】本開示の一実施形態に係る作業現場管理システムのシステム構成図である。
【
図3】本実施形態の危険判定部が算出する安全度についての説明図である。
【
図5】本開示の一実施形態に係る作業現場管理装置において実行される危険判定ルーチンを示すフローチャートである。
【発明を実施するための形態】
【0020】
以下、本開示の実施形態を図面に基づき説明する。
【0021】
<構成>
図1は本開示の一実施形態に係る作業現場管理システム1の概要を示す概略構成図であり、
図2は作業現場管理システム1のシステム構成図である。なお、本実施形態は、作業現場として物流倉庫を例として説明を行うが、本実施形態は工場等の他の作業現場にも適用可能である。
【0022】
図1に示すように、作業現場管理システム1は、倉庫建物内の天井部分に設けられた倉庫監視装置10とフォークリフトFに設けられた運転監視装置20が、例えば倉庫建物内の管理室に設けられた作業現場管理装置30に、インターネット、LAN、VPN(Virtual Private Network)等のネットワークを介して通信可能に接続されている。なお、本実施形態の物流倉庫では、倉庫建物内に作業車両としてフォークリフトFが走行し、作業者Wが歩行しているものとして説明するが、作業車両はフォークリフトに限定されるものではなく、他の作業車両にも適用可能である。また説明の簡略化のため、
図1ではフォークリフトF及び当該フォークリフトFの運転者D、作業者W、倉庫監視装置10、運転監視装置20、作業現場管理装置30をそれぞれ1つのみ示しているが、これらの数は複数であってもよい。
【0023】
図2には、作業現場管理システム1における倉庫監視装置10、運転監視装置20、作業現場管理装置30の詳しい構成が示されている。倉庫監視装置10、運転監視装置20、作業現場管理装置30は、図示しないがそれぞれプログラムに基づき各種処理を実行可能なコンピュータを備えており、当該コンピュータにより後述する各部の機能を実現させている。具体的には、倉庫監視装置10、運転監視装置20、作業現場管理装置30は、少なくとも演算処理部、各種情報を記憶可能な記憶部、各種情報を入力可能な入力部、各種情報を出力可能な出力部、外部と相互に通信可能な通信部を備えている。
【0024】
図2に示すように、倉庫監視装置10は、天井カメラ11(画像情報取得部)と、物体認識部12を有している。
【0025】
天井カメラ11は、例えば距離センサを搭載したRGB-Dカメラであり、カラー画像(RGB)に加えて深度情報を含む奥行き画像(Depth)を含む画像情報を取得可能である。天井カメラ11は、少なくともフォークリフトFよりも高い位置である、物流倉庫内の天井に設けられており、下方に向けて画像を撮像可能である。つまり、当該天井カメラ11により取得される深度情報は、倉庫建物の高さ方向に沿った深度となる。また、画像情報には撮像時間や撮像場所等の情報も含まれる。
【0026】
物体認識部12は、天井カメラ11により取得した画像情報から画像内に写るフォークリフトF及び作業者Wを認識し、作業車両及び前記作業者の位置情報を生成する機能を有する。
【0027】
具体的には、物体認識部12は、様々な配置及び姿勢でフォークリフト及び作業者が写っている複数の画像を学習用データとして機械学習(例えばディープラーニング)した物体認識学習済みモデルを用いてフォークリフトF及び作業者Wの認識を行う。なお、学習用データとしての画像には深度情報が含まれてもよく、深度情報も含めて機械学習を行った物体認識学習済みモデルを生成してもよい。
【0028】
そして物体認識部12は、画像情報から倉庫建物の水平方向に相当するXY平面上におけるフォークリフトF及び作業者Wの位置情報を生成する。また物体認識部12は、例えば前回撮像した画像情報に基づくフォークリフトF及び作業者Wの位置情報から今回撮像した画像情報に基づく位置情報への変位からフォークリフトF及び作業者Wの移動方向を推定し、当該移動方向を含めた位置情報を生成する。なお、物体認識部12は、例えば複数の天井カメラの撮像範囲に跨ってフォークリフトや作業者が移動する場合は、位置情報だけでなくそれぞれの画像から取得できる外見上の特徴量(見た目等)から同一のフォークリフト、同一の作業者であることを同定した上で、移動方向を推定することも可能である。また、フォークリフトの向きに関しては、フォークリフトに貼り付けられたマーカを画像情報から読み取ることによって認識しても良い。
【0029】
さらに、物体認識部12は、前回と今回の画像情報の撮像時間の変位からフォークリフトF及び作業者Wの移動速度や加速度を推定し、移動速度や加速度を含めた位置情報を生成する。なお、物体認識部12は、画像情報に含まれる深度情報からフォークリフトF及び作業者Wの高さ情報を含めた位置情報を生成してもよい。
【0030】
運転監視装置20は、視線カメラ21、視線認識部22、運転者認識部23、警報器24を有している。
【0031】
視線カメラ21は、運転者Dの眼部分を含む頭部を撮像するカメラである。具体的には、
図2に示すように視線カメラ21は、フォークリフトFの運転席のハンドルH奥に設けられており、運転席に着座した運転者Dの眼部分を含む画角で指向している。視線カメラ21は、運転者Dの眼部分を含む頭部画像を撮像し、撮像時間等も含む頭部画像情報を生成する。なお、頭部画像には必ずしも眼部分が含まれていなくてもよい。例えば、運転者Dが上半身又は首を捩じって車両後方を確認している場合でも、頭部画像情報から運転者Dの頭部の向きを認識し、そこから視線認識部22により視線方向を推定してもよい。さらに、頭部画像情報が取得できない場合でも、例えば運転者Dが被るヘルメット等にマーカを取付け、この頭部に取付けられたマーカより、頭部の向きを認識し、そこから視線認識部22により視線方向を推定してもよい。
【0032】
視線認識部22は、視線カメラ21により生成された頭部画像情報から運転者の視線を認識して、運転者Dの視線方向を含む視線情報を生成する。視線認識部22は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する視線方向を学習用データとして機械学習(例えばディープラーニング)した視線認識学習済みモデルを用いて運転者Dの視線情報を生成する。説明を簡略化するため本実施形態における視線方向はXY平面上における視線方向で説明するが、視線認識部22はXY平面(水平面)での視線方向だけでなく、Z方向(上下どちらを向いているか)を認識することも可能である。Z方向の視線も認識することで、例えば運転者が下方向を向いている場合は視線方向に含められる範囲(例えば奥行き方向)を限定してもよい。さらに、下記説明では視線方向を一つの方向として説明するが、視線方向は人間の標準的な視野角を考慮して幅を持たせた視線範囲として認識してもよい。
【0033】
運転者認識部23は、視線カメラ21により生成された頭部画像情報から運転者Dの顔を認識して、運転者Dの運転者情報を生成する。運転者認識部23は、例えば様々な人の頭部を写した複数の画像と当該画像に対応する顔部分を学習用データとして機械学習(例えばディープラーニング)した運転者認識学習済みモデルを用いて運転者Dの顔情報を含む運転者情報を生成する。
【0034】
警報器24は、例えば運転者Dに向けて警告灯を点灯又は点滅させたり、音声により警報音や音声を発する装置である。また警報器24は、フォークリフトFの外部の作業者Wに向けての警報を行うことも可能である。なお、警報器24は一つに限られず、例えば運転者D向け用と、外部向け用、それぞれ別の警報器を設けてもよい。警報器24は、作業現場管理装置30からの警報情報に応じた警報を実施可能である。例えば、本実施形態の警報器24は、第1警報、第2警報、第3警報の3種類の警報を実施可能であり、第2警報は第1警報よりも運転者に対して強い警報を、第3警報は第2警報よりも運転者に対してさらに強い警報を発するよう設定されている。なお、この第1警報から第3警報の警報の数、種類、警報強度は一例であり、これに限られるものではない。
【0035】
作業現場管理装置30は、運転者データベース31(以下運転者DB31と記す)、運転傾向解析部32、危険判定部33を有している。
【0036】
運転者DB31には、運転者に関する各種情報が記憶されている。例えば、運転者DB31には、運転者の識別情報(ID番号等)、氏名、顔写真、年齢、性別等の個人情報の他、フォークリフトの運転履歴情報が記憶されている。運転履歴情報には、例えばフォークリフトの運転日時、総運転時間、運転したフォークリフト情報、危険運転情報が含まれている。危険運転情報は、例えば警報器24による警報回数、フォークリフトの進行方向と視線との非合致回数や非合致時間、急操作(急加速、急減速、急旋回、等)の回数、危険運転の動画、等が含まれている。
【0037】
運転傾向解析部32は、運転監視装置20の運転者認識部23で生成された運転者認識情報を取得して、取得した運転者認識情報に対応する運転者情報を運転者DB31から抽出して、運転者Dの運転傾向を解析する機能を有する。本実施形態では、運転傾向解析部32は、運転者認識情報に含まれる運転者Dの顔情報と一致又は類似する顔写真を含む運転者情報を運転者DB31から抽出して、抽出された運転者情報の運転履歴から運転傾向の解析を行う。具体的には運転傾向解析部32は、運転者Dの危険運転情報に基づく運転傾向の解析結果として、累積運転時間に対する危険運転の割合(例えば危険運転を行った回数/総運転時間)である危険運転率を算出する。
【0038】
危険判定部33は、倉庫監視装置10の物体認識部12からフォークリフトF及び作業者Wの位置情報を、運転監視装置20の視線認識部22から運転者Dの視線情報を、運転傾向解析部32から運転者Dの運転傾向の解析結果(危険運転率)を、それぞれ取得する。
【0039】
危険判定部33は、取得したフォークリフトFの位置情報及び作業者Wの位置情報からフォークリフトFと作業者Wとの相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成して、運転監視装置20の警報器24による警報を行わせる。本実施形態の危険判定部33は、第1安全度Se1、第2安全度Se2、第3安全度Se3の3種類の安全度を算出する。また、危険判定部33は、第1安全度Se1に対応する第1警報閾値Th1、第2安全度Se2に対応する第2警報閾値Th2、第3安全度Se3に対応する第3警報閾値Th3を有している。
【0040】
詳しくは
図3に、本実施形態の危険判定部が算出する安全度についての説明図が示されている。
【0041】
第1安全度Se1は、
図3に示すフォークリフトFと作業者Wとの相対距離Rdに基づく安全度である。相対距離Rdが短くなるほど第1安全度Se1の値は低下する。これに対して第1警報閾値Th1は、予め設定されたフォークリフトFからの所定の半径rとなる。危険判定部33は、第1安全度Se1が第1警報閾値Th1未満になると、即ち相対距離Rdが所定の半径r未満となると、第1警報を実施させるための警報情報を生成する。
【0042】
第2安全度Se2は、フォークリフトFと作業者Wとの相対的な移動方向に基づく安全度である。具体的には第2安全度Se2は、フォークリフトFの進路上に作業者Wが入ってくる可能性の度合いであり、例えば作業者Wの位置から作業者Wの進行方向とフォークリフトFの進行方向Fdとの交点Pまでの距離Cdである。この作業者Wの位置から交点Pまでの距離Cdが短くなるほど第2安全度Se2の値は低下する。例えば、フォークリフトFの進行方向Fdと作業者Wの進行方向Wdが交差しない場合は第2安全度Se2の数値は上限値となり、フォークリフトFの進路上に作業者Wが存在する場合は第2安全度Se2の数値は下限値となる。これに対して第2警報閾値Th2は、予め設定された所定の距離である。危険判定部33は、第2安全度Se2が第2警報閾値Th2以下になると、即ち作業者Wの位置から交点Pまでの距離Cdが所定の距離Dx以下となると第2警報を実施させるための警報情報を生成する。
【0043】
第3安全度Se3は、フォークリフトFと作業者Wとの接触までの時間であるTTC(Time To Collision)に基づく安全度である。TTCは従来から知られた計算を用いればよく、例えばフォークリフトFと作業者Wとの相対距離Rdをフォークリフト速度Vfと作業者の移動速度Vwの差(相対速度)で割ることで算出する(TTC=Rd/Vw-Vf)。つまり、TTCの値が小さくなるほど第3安全度Se3の値は低下する。これに対して第3警報閾値Th3は、予め設定された所定時間txとなる。危険判定部33は、第3安全度Se3が第3警報閾値Th3以下になると、即ちTTCが所定時間tx以下となると第3警報を実施させるための警報情報を生成する。
【0044】
また、危険判定部33は、取得した運転者Dの視線情報から当該運転者Dの視線方向に応じて第1警報閾値Th1、第2警報閾値Th2、第3警報閾値Th3の調整を行う。例えば
図4には、第1警報閾値の調整に関する説明図が示されている。
【0045】
図4では、時間tが経つほどフォークリフトFと作業者Wとの相対距離Rdが短くなり第1安全度Se1が下がる傾向にある状態を示している。閾値調整前の第1閾値Thでは、t1時点で第1安全度Se1が第1警報閾値Th1を下回り、このt1時点で危険判定部33は警報器24により第1警報を実施させる。
【0046】
一方、危険判定部33は、運転者Dの視線方向Edが作業者Wの方向から遠ざかるほど、即ち運転者Dから作業者Wへの方向に対する視線方向Edの角度が大きくなるほど、第1警報閾値Th1を上昇させる。即ち、運転者Dの視線方向が作業者Wから遠ざかるほど警報が実施されやすくなる。また、逆に運転者Dの視線方向Edが作業者Wの方向に近づくほど、即ち運転者Dから作業者Wへの方向に対する視線方向Edの角度が小さくなるほど、第1警報閾値Th1を減少させてもよい。
【0047】
図4では、このように閾値を上昇させた第1閾値Thでは、t1時点よりも早いt2時点で第1安全度Se1が第1警報閾値Th1を下回る。従って、危険判定部33は閾値調整前よりも相対距離Rdが離れている時点で第1警報を実施させ、より早めに運転者Dに警告を行う。第2警報閾値Th2及び第3警報閾値Th3についても同様であり、運転者Dの視線方向が作業者Wから遠ざかるほど第2警報閾値Th2及び第3警報閾値Th3を大きく上昇させる。
【0048】
さらに、危険判定部33は、取得した運転者Dの運転傾向の解析結果(危険運転率)に応じて第1警報閾値Th1、第2警報閾値Th2、第3警報閾値Th3の調整を行う。具体的には、危険運転率が高いほど、各警報閾値Th1、Th2、Th3の値を高くする。即ち、危険運転率が高いほど警報が実施されやすくなる。また、危険運転率が低いほど、各警報閾値Th1、Th2、Th3の値を低くしてもよい。
【0049】
<処理の流れ>
図5には、本開示の一実施形態に係る作業現場管理装置30において実行される危険判定ルーチンを示すフローチャートが示されており、以下、同フローチャートを沿って作業現場管理方法について説明する。なお、当該フローチャートは一例であり、危険判定ルーチンは当該フローチャートの処理に限られるものではなく、例えば各処理の順序を変更してもよい。当該危険判定ルーチンは、例えば作業現場管理装置30の動作開始後に開始する。
【0050】
図5のステップS1において、危険判定部33は、倉庫監視装置10の天井カメラ11により撮像した画像情報から物体認識部12により認識されたフォークリフトF及び作業者Wの位置情報を取得する。
【0051】
ステップS2において、危険判定部33は、取得したフォークリフトF及び作業者Wの位置情報から上述した第1安全度Se1、第2安全度Se2、第3安全度Se3を算出する。
【0052】
ステップS3において、危険判定部33は、運転監視装置20の視線カメラ21により撮像した運転者の頭部画像情報に基づき認識した視線情報を視線認識部22から取得する。
【0053】
また、ステップS4において、運転傾向解析部32は、運転監視装置20の視線カメラ21により撮像した運転者の頭部画像情報に基づき生成された運転者認識情報を運転者認識部23から取得する。
【0054】
ステップS5において、運転傾向解析部32は、ステップS6で取得した運転者認識情報と対応する運転者情報を運転者DB31から抽出して、当該運転者Dの運転傾向を解析する。具体的には運転傾向解析部32は、運転者Dの危険運転率を算出する。
【0055】
ステップS6において、危険判定部33は、ステップS3にて取得した視線情報と、ステップS5にて運転傾向解析部32により解析された運転者Dの運転傾向の解析結果(危険運転率)に基づき、各警報閾値Th1~Th3の調整を行う。
【0056】
ステップS7において、危険判定部33は、フォークリフトFと作業者WのTTCに応じた第3安全度Se3が第3警報閾値Th3以上であるか否かを判定する。当該判定結果が偽(No)である場合、即ち第3安全度Se3が第3警報閾値Th3未満の場合、例えば具体的にはTTCが所定時間tx未満ある場合は、ステップS8に処理を進める。
【0057】
ステップS8において、危険判定部33は第3警報を行うための警報情報を生成し、運転監視装置20の警報器24により第3警報を実施させ、当該ルーチンをリターンする。
【0058】
一方、ステップS7の判定結果が真(Yes)である場合、即ち第3安全度Se3が第3警報閾値Th3以上の場合、例えばTTCが所定時間tx以上ある場合は、ステップS9に処理を進める。
【0059】
ステップS9において、危険判定部33は、フォークリフトFと作業者Wの相対的な移動方向に応じた第2安全度Se2が第2警報閾値Th2以上であるか否かを判定する。当該判定結果が偽(No)である場合、即ち第2安全度Se2が第2警報閾値Th2未満である場合、例えば作業者Wの位置からフォークリフトFの進行方向Fdとの交点Pまでの距離Cdが短く、フォークリフトFの進路上に作業者Wが入ってくる可能性が高い場合は、ステップS10に処理を進める。
【0060】
ステップS10において、危険判定部33は第2警報を行うための警報情報を生成し、運転監視装置20の警報器24により第2警報を実施させ、当該ルーチンをリターンし、再度ステップS1からの処理を繰り返す。
【0061】
一方、ステップS9の判定結果が真(Yes)である場合、即ち第2安全度Se2が第2警報閾値Th2以上である場合、例えば作業者Wの位置からフォークリフトFの進行方向Fdとの交点Pまでの距離Cdが十分にあり、フォークリフトFの進路上に作業者Wが入ってくる可能性が低い場合は、ステップS11に処理を進める。
【0062】
ステップS11において、危険判定部33は、フォークリフトFと作業者Wの相対距離Rdに応じた第1安全度Se1が第1警報閾値Th1以上であるか否かを判定する。当該判定結果が偽(No)である場合、即ち第1安全度Se1が第1警報閾値Th1未満である場合、例えば作業者WがフォークリフトFからの所定の半径rの範囲内にいる場合は、ステップS12に処理を進める。
【0063】
ステップS12において、危険判定部33は警報情報を生成し、運転監視装置20の警報器24により第1警報を実施させ、当該ルーチンをリターンする。
【0064】
一方、ステップS11の判定結果が真(Yes)である場合、即ち第1安全度Se1が第1警報閾値Th1以上である場合、例えば作業者WがフォークリフトFからの所定の半径rの範囲外にいる場合は、警報を行わずに当該ルーチンをリターンする。
【0065】
以上のように、作業現場管理システム1では、倉庫建物の天井部分から天井カメラ11により物流倉庫内を撮像して深度情報も含めた画像情報を取得し、物体認識部12により当該画像情報からフォークリフトF及び作業者Wの位置情報を認識している。このように深度情報を含む画像情報からフォークリフトF及び作業者Wの位置情報を認識することで、例え画像上においてフォークリフトFや作業者Wの一部分が障害物等や姿勢の関係で隠れていても、より正確にフォークリフトFや作業者Wの位置を認識することができる。位置情報を正確に認識できることで安全度の精度が向上し、より正確な警報を行うことができる。また、天井カメラ11によりフォークリフトF及び作業者Wを認識できることで、従来のようなカラーラベルが貼付されたバーやビーコンを設置したり、作業者にカラーラベルを装着したりする必要がなくなり、設備コストや運用コストを低減でき、且つ人為的ミスも削減することができる。
【0066】
さらに作業現場管理システム1では、フォークリフトFの運転者Dの視線方向を認識して、当該視線方向に応じて安全度に対応する警報閾値を調整している。具体的には、視線方向が作業者Wから離れるほど警報閾値を上昇させて警報を発しやすくする。また、視線方向が作業者Wに近づくほど警報閾値を減少させて警報を発しにくくする。これにより、運転者Dが作業者Wを目視していない可能性が高い場合には早めに警報することとなり、接触の可能性を抑えることができる。また、運転者Dが作業者Wを目視しているような場合には、遅めに警報することとなり、余計な警報を抑えることができる。
【0067】
また、危険判定部33は運転傾向解析部32により解析した運転者Dの運転傾向に応じても警報閾値を調整する。具体的には、運転傾向解析部32により算出した危険運転率が高いほど各警報閾値Th1、Th2、Th3を高く調整して早めに警報を発するようにすることで、危険運転の多い運転者Dに対しては早めに警報を発することで安全性を高めることができる。一方、危険運転率が低いほど各警報閾値Th1、Th2、Th3を低く調整して遅めに警報を発するようにすることで、危険運転の少ない運転者Dに対しては遅めに警報を発することで余計な警報を抑えることができる。
【0068】
また天井カメラ11はフォークリフトFの高さよりも高い位置から作業現場を撮像することで、少ない設備投資と労力で作業現場管理システム1を実現することができる。
【0069】
また、危険判定部33は安全度として、フォークリフトFと作業者Wとの相対距離Rdに応じた第1安全度Se1を算出して、第1安全度Se1が第1警報閾値Th1を下回ると第1警報を行わせる警報情報を生成する。これにより、容易に安全度を算出することができる。
【0070】
また、危険判定部33は安全度として、フォークリフトFと作業者Wとの移動方向に応じた第2安全度Se2を算出して、第2安全度Se2が第2警報閾値Th2を下回ると第2警報を行わせる警報情報を生成する。このように、フォークリフトFと作業者Wとの移動方向を考慮した第2安全度Se2を用いて警報の要否を判定することで、より正確な警報を行うことができる。
【0071】
また、危険判定部33は安全度として、フォークリフトFと作業者Wとが接触するまでにかかる時間(TTC)に応じた第3安全度Se3を算出して、第3安全度Se3が第3警報閾値Th3を下回ると第3警報を行わせる警報情報を生成する。このようにTTCに応じた第3安全度Se3を用いて警報の要否を判定することで、さらに正確な警報を行うことができる。
【0072】
また、このように複数の安全度を算出して、それぞれの安全度に基づく警報の要否を判定することで、状況に応じた適切な警報を行うことができる。
【0073】
このようにして本実施形態の作業現場管理システム1(作業現場管理方法、作業現場管理システム)では、作業現場において作業者と作業車両との接触リスクをより適切に低減することができる。
【0074】
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
【0075】
上記実施形態では、作業現場管理装置30の危険判定部33が安全度に応じた警報指示を行っているが、例えば倉庫監視装置又は運転監視装置に危険判定部を備えてよい。また作業現場管理装置30の運転者DBや運転傾向解析部も倉庫監視装置又は運転監視装置が備えた構成としてもよい。
【0076】
また、上記実施形態では、危険判定部33は、運転者Dの視線方向Edと運転者Dに対する作業者Wの方向の角度に応じて第1警報閾値Th1を調整しているが、運転者の視線方向に応じた閾値の調整方法はこれに限られるものではない。例えば、より簡易に、運転者からの一定の視線範囲に作業者が含まれているか否かで、第1警報閾値を調整してもよい。つまり、運転者の視線範囲に作業者が含まれている、即ち運転者が作業者を見ている場合は第1警報閾値を低い所定値に設定し、運転者の視線範囲に作業者が含まれていない、即ち運転者が作業者を見ていない場合は第1警報閾値を高い所定値に設定する。
【0077】
また、上記実施形態では、天井カメラ11をRGB-Dカメラとして説明しているが、深度情報を取得可能なカメラであればよく、例えばToF(Time of Flight)センサを備えていたり、2つのカメラを用いるステレオカメラであったりしてもよい。
【0078】
また、倉庫監視装置10の撮像部としては天井に設けられているものに限られず、少なくとも作業車両の高さよりも高い位置に設けられていればよい。つまり、例えば倉庫建物の壁部や、倉庫建物内に立設された柱や設備の高い位置に設けてもよい。
【0079】
また、上記実施形態では、運転者Dの運転者情報の生成を視線カメラ21により撮像した頭部画像に基づき生成しているが、運転者情報所得部はこれに限られるものではない。例えば、運転者情報所得部は、運転者Dの識別情報が記録されたICカードやキー等から情報を読み取る情報読取機であってもよい。
【0080】
また、上記実施形態では、視線カメラ21は、フォークリフトFの運転席のハンドルH奥に設けられているが、視線カメラの設置位置はこれに限られるものではない。例えば、フォークリフトのバックミラーやライトが取り付けられている外枠部分に取り付けられていてもよい。
【0081】
また、上記実施形態では、運転傾向解析部32が運転傾向の解析として、総運転時間に対する危険運転の割合である危険運転率を算出しているが、運転傾向の解析はこれに限られるものではない。
【0082】
また、上記実施形態において、危険判定部33は第1安全度Se1から第3安全度Se3を算出して警報の要否を判定しているが、第1安全度Se1から第3安全度Se3のうちの1つ又は2つのみを用いて警報の要否を判定してもよい。
【符号の説明】
【0083】
1 :作業現場管理システム
10 :倉庫監視装置
11 :天井カメラ
12 :物体認識部
20 :運転監視装置
21 :視線カメラ
22 :視線認識部
23 :運転者認識部
24 :警報器
30 :作業現場管理装置
31 :運転者データベース
32 :運転傾向解析部
33 :危険判定部
【要約】
【課題】作業現場において作業者と作業車両との接触リスクをより適切に低減することができる作業現場管理システム等を提供すること。
【解決手段】作業現場管理システム1は、深度情報を含む画像情報を取得可能な天井カメラ11と、フォークリフトFの運転者Dの視線情報を取得する天井カメラ11と、天井カメラ11により取得した画像情報からフォークリフトF及び作業者Wの位置情報を生成する物体認識部12と、運転者を撮像して運転者の視線情報を取得する視線カメラ21と、視線カメラ21により取得した視線情報から運転者の視線方向を認識する視線認識部22と、フォークリフトF及び作業者Wの位置情報から相対位置関係に相関する安全度を算出し、当該安全度が所定の警報閾値を下回ると警報情報を生成する危険判定部33と、を備え、危険判定部33は、運転者の視線方向に応じて所定の警報閾値を調整する。
【選択図】
図2