IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立パワーソリューションズの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089130
(43)【公開日】2024-07-03
(54)【発明の名称】警告装置
(51)【国際特許分類】
   G08B 21/02 20060101AFI20240626BHJP
   G08B 25/04 20060101ALI20240626BHJP
   G08B 25/00 20060101ALI20240626BHJP
   G06T 7/70 20170101ALI20240626BHJP
【FI】
G08B21/02
G08B25/04 K
G08B25/00 510M
G06T7/70 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022204309
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】000233044
【氏名又は名称】株式会社日立パワーソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】木村 淳一
(72)【発明者】
【氏名】永吉 洋登
(72)【発明者】
【氏名】會下 拓実
(72)【発明者】
【氏名】新倉 雄大
【テーマコード(参考)】
5C086
5C087
5L096
【Fターム(参考)】
5C086AA22
5C086AA52
5C086CA28
5C086CB36
5C086DA08
5C086DA33
5C087AA02
5C087AA11
5C087AA32
5C087AA51
5C087BB20
5C087DD03
5C087EE05
5C087EE07
5C087FF02
5C087FF04
5C087FF16
5C087GG02
5C087GG08
5C087GG66
5L096CA02
5L096DA02
5L096DA03
5L096FA06
5L096FA12
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096JA03
(57)【要約】
【課題】準備が容易で注意喚起効果の高い危険エリアの通知を行うこと。
【解決手段】危険エリア通知装置50は、危険ライン6を危険方向7に所定の距離分移動させるとともに、移動前の危険ライン6および移動後の危険ライン6で挟まれるエリアを、危険エリア8として決定する危険エリア決定部55と、危険マーカ5の撮影画像を撮影したカメラ51の撮影位置と、危険エリア8との位置関係から、カメラ51の撮影位置が危険か否かを判定する危険判定部56と、危険判定部56が危険と判定したときに警告を発する警告発報部57とを有する。
【選択図】 図6
【特許請求の範囲】
【請求項1】
長さ方向に危険ラインを示し幅方向に危険方向を示すマークが記載された危険マーカを、カメラの撮影画像から検出する危険マーカ検出部と、
前記危険マーカ検出部が検出した前記危険マーカが示す前記危険ラインおよび前記危険方向をもとに、前記危険ラインを前記危険方向に第1の距離分移動させるとともに、移動前の前記危険ラインおよび移動後の前記危険ラインで挟まれるエリアを、危険エリアとして決定する危険エリア決定部と、
前記危険マーカの撮影画像を撮影した前記カメラの撮影位置と、前記危険エリアとの位置関係から、前記カメラの撮影位置が危険か否かを判定する危険判定部と、
前記危険判定部が危険と判定したときに警告を発する警告発報部とを有することを特徴とする
警告装置。
【請求項2】
前記危険マーカは、前記危険ラインの方向に沿って同一線上に複数個配置されるマークを内包する長方形として構成されており、
前記危険マーカに内包される各マークは、前記危険ラインの方向に直交する方向に対して、前記危険方向を示す非対称な図形として構成されており、
前記危険エリア決定部は、前記危険マーカの検出位置における前記危険ラインを第1の辺とし、前記第1の辺を前記危険方向の側に所定距離だけ移動させた第2の辺を求め、前記第1の辺および前記第2の辺を構成要素として接続した長方形を前記危険エリアとして決定し、
前記危険判定部は、前記カメラの撮影位置を示す撮影画像内の撮影点が前記危険エリアを含む警告開始エリアに含まれるときに、前記カメラの撮影位置が危険であると判定することを特徴とする
請求項1に記載の警告装置。
【請求項3】
前記警告装置は、さらに、前記危険マーカの撮影画像から危険マーカと異なる安全マーカを検出し、その検出した安全マーカから、安全ラインを検出する安全マーカ検出部を有しており、
前記危険エリア決定部は、前記危険マーカから決定した前記危険エリア内に前記安全マーカが含まれている場合、その安全マーカの安全ラインを前記危険方向に第2の距離分移動させるとともに、移動前の前記安全ラインおよび移動後の前記安全ラインで挟まれるエリアを、前記危険エリアから除外することを特徴とする
請求項1または請求項2に記載の警告装置。
【請求項4】
前記警告装置は、さらに、前記危険マーカの撮影画像から危険マーカと異なる安全マーカを検出し、その検出した安全マーカから、安全ラインを検出する安全マーカ検出部を有しており、
前記危険エリア決定部は、前記危険マーカから決定した前記危険エリア内に前記安全マーカが含まれておらず、かつ、前記カメラの撮影位置に対応する画像内位置から前記危険ラインの画像内位置までの位置に前記安全マーカが存在する場合、前記カメラの撮影位置に対応する画像内位置から前記安全マーカの安全ラインにより遮蔽される前記危険ラインを、前記危険エリアの決定から除外することを特徴とする
請求項1または請求項2に記載の警告装置。
【請求項5】
前記危険マーカ検出部は、同じ撮影画像から第1危険マーカおよび第2危険マーカを検出し、
前記危険エリア決定部は、前記第1危険マーカから決定した第1危険エリア内に前記第2危険マーカが含まれている場合、その第2危険マーカの危険ラインを前記第1危険マーカの前記危険方向に第3の距離分移動させるとともに、移動前の前記危険ラインおよび移動後の前記危険ラインで挟まれるエリアを、前記第1危険エリアから除外することを特徴とする
請求項1または請求項2に記載の警告装置。
【請求項6】
前記危険判定部は、前記カメラの撮影画像から前記カメラの移動方向を検出し、前記カメラの移動方向が前記危険エリアに向かっている場合には、前記カメラの撮影位置が危険である場合よりも強い警告を発するように、前記警告発報部を制御することを特徴とする
請求項1または請求項2に記載の警告装置。
【請求項7】
前記危険判定部は、前記カメラの振り向き情報を取得し、前記カメラの撮影画像の時系列変化において前記危険ラインが前記カメラの撮影画像から未検出の期間に、前記カメラの振り向き情報から振り向いた旨が示される場合には、未検出の期間に前記カメラの撮影位置が変化しないと判定することを特徴とする
請求項1または請求項2に記載の警告装置。
【請求項8】
前記危険マーカ検出部は、それぞれの前記危険ラインが同一延長線上である複数の前記危険マーカを検出した場合、それらの複数の前記危険マーカを単一の前記危険マーカとみなすことを特徴とする
請求項1または請求項2に記載の警告装置。
【請求項9】
カメラの撮影画像から危険マーカを検出する危険マーカ検出部と、
前記危険マーカ検出部が検出した前記危険マーカが示すエリアを、危険エリアとして決定する危険エリア決定部と、
前記危険マーカの撮影画像を撮影した前記カメラの撮影位置と、前記危険エリアとの位置関係から、前記カメラの撮影位置が危険か否かを判定する危険判定部と、
前記危険判定部が危険と判定したときに警告を発する警告発報部とを有することを特徴とする
警告装置。
【請求項10】
前記警告装置は、さらに、前記危険マーカの撮影画像から安全マーカを検出する安全マーカ検出部を有しており、
前記危険エリア決定部は、前記危険マーカよりも近くに前記安全マーカが見えている場合、前記危険エリアを削除することで、前記警告発報部に警告を出させないようにすることを特徴とする
請求項9に記載の警告装置。
【請求項11】
前記警告装置は、さらに、前記危険マーカの撮影画像から安全マーカを検出する安全マーカ検出部を有しており、
前記危険エリア決定部は、前記危険マーカよりも遠くに前記安全マーカが見えている場合、安全マーカより遠くの前記危険エリアを削除することを特徴とする
請求項9に記載の警告装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、警告装置に関する。
【背景技術】
【0002】
工場、プラント、建設現場などの作業では、その作業場所に依存して、以下のような事故が起こり得るリスクを含んでいる。
・高所からの転落。数mの高所からの転落だけでなく、数10cmの段差からの転落(転倒)も含める。
・可動機械への巻き込まれ
・上部からの物品の落下
これらの事故を防止するために、作業現場に導入したカメラの映像から検出されたリスクを、作業員に対して注意喚起するシステムが考えられる。
【0003】
特許文献1には、作業エリア(安全エリア)と一般車両の走行レーン(危険エリア)の間に点在させた規制部材(コーン)を一般車両が突破して、作業員が作業を行う道路工事現場に向かう事故の防止技術が記載されている。この技術では、道路工事現場の付近に固定設置されたカメラで、コーンを突破する一般車両を監視する。カメラの撮影画像から、コーン等に変化が生じたときに警報を発する。
【0004】
特許文献2には、作業員が操縦するショベルカーなどの作業機械の運転支援システムが記載されている。この技術では、ショベルカーに装着されたカメラを用いて作業現場に設置されたマーカを検出し、隣接するマーカ同士を結ぶ想像線によって定めた進入禁止領域を設定する。そして、作業機械が進入禁止領域に入った場合に、作業機械の動きを停止させる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012-128574号公報
【特許文献2】特開2013-151830号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1のような固定カメラの方式では、以下の理由により、工場、プラント、建設現場などの現場の通路への適用が困難である。
・現場の通路が高所空中にああり、カメラを設置する適切な場所が物理的に存在しない場合。
・作業に伴い周囲の造作物の状況が、頻繁に変更される場合。
・対象箇所が多く、設置する監視カメラの台数が膨大になる場合。
【0007】
そこで、特許文献2のような移動カメラの方式により、作業員自身に装着するカメラを用いて危険個所を識別することを検討する。特許文献2のマーカには、QRコード(登録商標)など、機械的な画像処理により情報を抽出可能な二次元コードが使用される。これにより、マーカ単体に機械的に読み取り可能な意味情報(マーカの位置情報など)を、個々のマーカに付与することができる。
しかし、移動カメラの視野には範囲があるため、移動カメラの死角となる範囲の危険個所は撮影画像には写らないため、危険個所を識別する範囲は移動カメラの視野に限定されてしまう。
【0008】
一方、作業現場には複数の作業員が作業をしており、コーンなどの人間の目で視認可能な危険注意標識は、広範囲で危険個所を作業員に把握させることができる。そのため、安全性を強化するためには、人間が視認可能な危険注意標識と、機械が読み取り可能な二次元コードとを併用することが望ましい。しかし、双方の危険注意物を別々の物体として現場に設置するとなると、通路などの場所をふさいだり、設置や移動に手間がかかったりしてしまう。
【0009】
そこで、本発明は、準備が容易で注意喚起効果の高い危険エリアの通知を行うことを主な課題とする。
【課題を解決するための手段】
【0010】
本発明の警告装置は、以下の特徴を有する。
本発明は、長さ方向に危険ラインを示し幅方向に危険方向を示すマークが記載された危険マーカを、カメラの撮影画像から検出する危険マーカ検出部と、
前記危険マーカ検出部が検出した前記危険マーカが示す前記危険ラインおよび前記危険方向をもとに、前記危険ラインを前記危険方向に第1の距離分移動させるとともに、移動前の前記危険ラインおよび移動後の前記危険ラインで挟まれるエリアを、危険エリアとして決定する危険エリア決定部と、
前記危険マーカの撮影画像を撮影した前記カメラの撮影位置と、前記危険エリアとの位置関係から、前記カメラの撮影位置が危険か否かを判定する危険判定部と、
前記危険判定部が危険と判定したときに警告を発する警告発報部とを有することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【0011】
本発明によれば、準備が容易で注意喚起効果の高い危険エリアの通知を行うことができる。
【図面の簡単な説明】
【0012】
図1】実施例1に関する本発明を適用する危険個所を示す説明図である。
図2】実施例1に関する図1を平面図の形で示した模式図である。
図3】実施例1に関する危険マーカの例である。
図4】実施例1に関する危険マーカの説明図である。
図5】実施例1に関する図4の危険マーカにより設定される危険エリアの説明図である。
図6】実施例1に関する危険エリア通知装置の構成図である。
図7】実施例1に関する危険マーカ検出部の処理を示すフローチャートである。
図8】実施例1に関する危険マーカの検出の方法の一例を示す説明図である。
図9】実施例1に関する危険ライン検出部の処理を示すフローチャートである。
図10】実施例1に関する危険方向検出部の処理を示すフローチャートである。
図11】実施例1に関する危険方向検出部の処理の詳細を示す危険マーカの説明図である。
図12】実施例1に関する危険エリア決定部の処理を示すフローチャートである。
図13】実施例1に関する危険判定部の処理を示すフローチャートである。
図14】実施例1に関する図13の処理を説明するための撮影画面の説明図である。
図15】実施例1に関する図11の危険マーカの平面図である。
図16】実施例1に関する作業員の位置判定処理の変形例を示す。
図17】実施例2に関する2つの通路が近接している高所の作業現場を示す平面図である。
図18】実施例2に関する危険エリア決定部の処理を追加したフローチャートである。
図19】実施例2に関するエリアの中央部に矩形の開口部が開いている例を示す説明図である。
図20】実施例2に関する図19から検出される危険エリアを示す説明図である。
図21】実施例3に関する危険エリア通知装置の構成図である。
図22】実施例3に関する安全マーカを用いる場合の作業現場の平面図である。
図23】実施例3に関する安全マーカの例を示す説明図である。
図24】実施例3に関する危険マーカと安全マーカとの併用により形成される危険エリアを示す平面図である。
図25】実施例3に関する安全マーカを用いた場合の危険エリア決定部の処理を示すフローチャートである。
図26】実施例3に関する危険マーカと安全マーカとの第1の位置関係を示すカメラの撮影画像図である。
図27】実施例3に関する危険マーカと安全マーカとの第2の位置関係を示すカメラの撮影画像図である。
図28】実施例3に関する危険マーカと安全マーカとの第3の位置関係を示すカメラの撮影画像図である。
図29】実施例3に関する開口部に可動式の安全柵が備えられる場所を示す斜視図である。
図30】実施例3に関する図29の場所を示す平面図である。
図31】実施例3に関する1つの危険マーカが2つに分離されて撮影された撮影画像図である。
図32】実施例3に関する1つの危険マーカが3つに分離されて撮影された撮影画像図である。
図33】各実施例に関する危険エリア通知装置のハードウェア構成図である。
【発明を実施するための形態】
【0013】
以降、本発明を実施するための実施例1~実施例3を、図等を参照しながら説明する。
【実施例0014】
図1は、本発明を適用する危険個所を示す説明図である。この説明図では、中央に手前から奥に向けた高所通路1を、作業員22(図2)のヘルメットあるいは胸に装着したカメラ51(図5)で撮影したイメージである。高所通路1の両側には安全柵2が設置されているが、開口部3の区間は安全柵2が切れている。高所通路1は橋のように空中に設置されており、左右の安全柵2の外側には床面は存在しない。
なお、安全柵2の箇所は、危険マーカ5との対比を明確にするために、安全柵箇所4として黒い太線で示している。安全柵箇所4の黒い太線は説明のために便宜的に付与したもので、実際には他の高所通路1の床面の色と同一である。
【0015】
開口部3からの転落を防止するために、開口部3の床面には危険マーカ5が貼付されており、危険マーカ5は以下の2つの情報を、人間の目で視認可能になるようなマーク(図3の方向指示パターン31)が記載されている。
・「危険区間」は、危険マーカ5の長さ方向に沿う線分であり、開口部3の幅を示す。図2では、危険マーカ5のうちの線分CDの区間に対応する。
・「危険方向」は、危険マーカ5の幅方向であり、危険区間に直交するどちらの方向に、開口部3の外側(例えば床が無い危険エリア)が存在するのかを示す。図1図2では、三角形に塗られたマークのうちの危険区間に平行な断面が徐々に長くなる方向、つまり、図1では、危険マーカ5の左側から右側に向かう方向を、危険方向とする。
【0016】
後記する図6の危険エリア通知装置50は、作業員22が装着しているカメラ51で撮影した画像から危険マーカ5を検出し、危険区間と危険方向とから転落の可能性のある個所である「危険エリア」を特定する。そして、危険エリア通知装置50は、危険エリアに近づく作業員22に対して、危険エリアに踏み込んで転落しないように警告を発する。
また、危険マーカ5は、人間の目で危険区間と危険方向とを視認可能なマークが塗られており、危険エリア通知装置50の機械認識と併せて、作業員の目視による危険エリアの認識にも役立つ。つまり、危険マーカ5は、人間が視認可能な危険注意標識と、機械が読み取り可能なコードとを併せ持つ1つの物体として構成されている。
【0017】
なお、図1では、危険マーカ5は転落のリスクがある箇所を例に説明をしていたが、転落に限らず、危険な領域全般に関して、危険マーカ5を用いた本発明は適用が可能である。例えば、巨大な部材が転倒してくるリスクのある範囲を囲うように危険マーカ5を設置することにより、部材転倒による挟まれや下敷きになることを防止することが可能になる。また、可動機械の稼働範囲を危険マーカ5により示すことにより、機械との接触や巻き込まれを防止することが可能となる。
【0018】
図2は、図1を平面図の形で示した模式図である。作業員22は図の下部より図の上部を向いており、図の上方に向かって移動している。高所通路1の両側は低所21となっており、低所21の床面は高所通路1に比べ、数十cmから数m低くなっている。図2では、安全柵箇所4は黒太線にて示している。また、危険マーカ5は、長さ方向の辺ABおよび辺CDと、幅方向の辺ACおよび辺BDとを有する四角形ABCDである。
【0019】
図3は、危険マーカ5の例である。図1図2では、図面の上下方向を危険マーカ5の長さ方向(危険区間)としたが、図3では、図面の左右方向を危険マーカ5の長さ方向とする。
危険マーカ5は長さ方向が幅方向よりも長い帯状の形状をしている。危険マーカ5は複数の方向指示パターン31が描かれている領域と、方向指示パターン31が描かれていない背景部32の領域とを有する。同じ種類の方向指示パターン31が同一の危険ライン6に沿って複数個配置されていることで、後記する図6の危険ライン検出部53は、危険マーカ5の長さ方向(危険ライン6)を画像認識できる。
背景部32の色は、高所通路1の床面と明確に区別できる色となっている。例えば工場などでは床面は緑色や灰色のことが多いため、背景部32は黄色あるいはオレンジ色が好適である。方向指示パターン31の色は、背景部32と明確に区別できる色となっている。例えば、背景部32が黄色あるいはオレンジ色の場合は、方向指示パターン31の色は黒色が好適である。
【0020】
危険マーカ5は、例えば、立った状態の人間の目で、その立ち位置から5m以内の床に貼られた危険マーカ5の方向指示パターン31を視認可能になるように、幅方向が5cm以上、長さ方向が30cm以上が望ましい。方向指示パターン31の大きさも同様に、立った状態の人間の目で視認可能になるように、4cm四方以上が望ましい。
また、危険マーカ5の幅と、方向指示パターン31のピッチ(隣り合うパターンの対応する頂点の距離)とは、それぞれ固定値であることが望ましい。これらが固定値であることにより、画面上での危険マーカ5の幅や方向指示パターン31のピッチを、距離や間隔の測定の基準に用いることができ、容易にかつ高精度に画面内の2点の距離や間隔を測定できる。方向指示パターン31のピッチが固定値であるため、方向指示パターン31の数は危険マーカ5の長さにおおよそ比例する。
【0021】
方向指示パターン31の形状は、図1図2では三角形にて示しているが、危険方向(図3ではすべて上向き)を識別できる形状であればどのような形状でも構わない。以下、図3の危険マーカ5a-5eを例示する。
危険マーカ5aは、方向指示パターン31を直角三角形にし、かつ方向指示パターン31とそのピッチを同一にしたものである。方向指示パターン31を直角三角形にすると、危険マーカ5の端と方向指示パターン31を直角でない頂点を一致させることにより、危険マーカ5の長さによらず、もう一方の端の部分が相似の直角三角形となり、方向指示パターン31の一部が欠如することにより方向指示パターン31の検出精度が低下することを防止できる。
【0022】
危険マーカ5aにおいては、危険方向7を判定するときに2つ以上の方向指示パターン31が必要になる。一方、危険マーカ5b-5dは、1つの方向指示パターン31のみで危険方向7を判定することができる。さらに、それぞれに以下の効果がある。
危険マーカ5bは、方向指示パターン31が複雑になるため、危険マーカ以外の類似した形状のパターンと誤認識する確率が低くなる。
危険マーカ5cは、比較的単純な形であるため、危険マーカ5が遠くにある場合やカメラ51の俯角が小さくなり危険マーカ5の歪が大きくなるような状態においても、方向指示パターン31を検出できる確率が高くなる。
【0023】
危険マーカ5dは、方向指示パターン31の丸い部分がどのような方向から見ても同一に見えるため、方向指示パターン31を識別することが容易になる。また、パターンマッチングを用いて方向指示パターン31の丸い部分を先に検出することより、危険マーカ5の検出精度をより高くすることが可能となる。
危険マーカ5eは危険マーカ5の幅方向において、危険マーカ5の幅よりも方向指示パターン31のサイズが小さくなっている。これにより、危険マーカ検出部52において、図8の抽出領域202の輪郭と、抽出領域輪郭部203とが一致するため、危険マーカ検出部52(図6)の処理が容易にかつ高精度になる。
【0024】
以上、方向指示パターン31の形状の違いによる危険マーカ5の様々な実施例を説明した。さらに、以下の(構成1)-(構成4)として説明するような危険マーカ5の物理的な構成の特徴を1つまたは複数組み合わせて用いてもよい。
(構成1)危険マーカ5を床に設置する方法に関しては、粘着テープのように裏面の接着剤により床面に接着する。これにより、危険マーカ5を容易に設置できる。さらに、一般的なロール状の粘着テープの形状で保管できるため、取り扱いが容易になり、また、製造コストも安価になる。
【0025】
(構成2)危険マーカ5は、シート状のマットであり、マグネットなどの吸着性があり設置位置がずれにくいマットでもよい。シート状のマグネットの場合は、グレーチングなどの接着剤がつきにくい箇所に設置することが可能となる。さらに、頻繁に危険な箇所が変わる現場に即時にかつ容易に対応することができ、危険マーカ5を設置するまでの間の不安全な時間を少しでも短くすることができる。
【0026】
(構成3)危険マーカ5に、蛍光機能を付加したり、反射材を利用したりしてもよい。ただし、方向指示パターン31と背景部32で蛍光あるいは反射の特性を変えることが望ましい。例えば背景部32に反射材を利用し、方向指示パターン31には反射しない素材を使用することにより、やや暗い完了においても危険マーカ5の検出が容易となり、また、方向指示パターン31と背景部32の区別も容易となる。
【0027】
(構成4)危険マーカ5は、電子的に表示してもよい。すなわち、液晶、LEDアレイ、電子ペーパーを設置し、そこに危険マーカ5を表示させる方法である。とくに、危険な箇所が、柵の開閉など、その時の状態により変化する場合は、危険な時には危険マーカ5を表示し、安全なときには危険マーカ5を表示しないことにより、作業員22に対して的確な警告を通知することが可能となり、誤報(安全であるのに危険と警告すること)の頻度を下げることができる。
【0028】
また、図3で説明したように危険マーカ5の種類を複数種類とし、危険の種類あるいは危険度に応じて、複数種類の危険マーカ5を使い分けて設置してもよい。例えば、転落危険のある個所の下部床面との距離に応じて危険マーカ5の種類、例えば方向指示パターン31の密度や形状を変えることにより、危険度にあった警告を実施することが可能となる。あるいは、危険マーカ5の種類に応じて、警告を発報する距離(図15の距離234など)を変えることにより、危険度が高い場合は、より早い時点で警告を発することが可能となり安全度が向上する。
【0029】
図4は、危険マーカ5の説明図である。図4では、危険マーカ5の中の方向指示パターン31は三角形となっている。危険マーカ5の4辺のうち、複数の方向指示パターン31の辺が揃った辺、すなわち図4の辺CDが危険区間に該当する図5の危険ライン6となる。
【0030】
図5は、図4の危険マーカ5により設定される危険エリア8の説明図である。なお、図5では危険ライン6と危険マーカ5の辺CDは説明上少しずらして描いているが、実際には同一の線分である。
危険ライン6から鉛直方向に危険マーカ5とは逆の方向、すなわち危険ライン6から見て辺ABとは反対の方向が危険方向7となる。危険マーカ5を設置するときは、開口部3では辺CDを開口部3の縁に合わせ、辺ABを通路側に設置する。危険マーカ5が設置されたとき、危険ライン6を、危険方向7に一定距離移動した線分EFと危険ライン6(線分CD)により挟まれる四角形CDFEが危険エリア8となる。
【0031】
線分CDと線分EFとの距離(つまり線分CEの長さ)は、本システムが稼働対応する範囲内においては、固定幅であり、その幅は本システムの運用を開始する時点で自由に定めてよく、例えば、人の一歩が一般的に1m弱であることから、マージンをとって2m程度となる。危険マーカ5を設置したとき、危険ライン6から方向指示パターン31の三角形が指し示す方向、すなわち線分CDから線分AB方向が安全な方向である。危険マーカ5は、後述する実施例のように、撮影された画像から安全か危険かが判断される。作業員22は目視でも、危険方向が確認できるため、本システムは、本システムを装着していない作業員22に対しても危険エリア8を提示できる。
【0032】
図6は、危険エリア通知装置50の構成図である。
危険エリア通知装置(警告装置)50は、作業員22のカメラ51で撮影された画像から危険マーカ5を検出し、危険マーカ5から検出した危険エリア8と、作業員22との位置関係から、作業員22の現在位置が安全か否かを判断する。そのため、危険エリア通知装置50は、カメラ51と、危険マーカ検出部52と、危険ライン検出部53と、危険方向検出部54と、危険エリア決定部55と、危険判定部56と、警告発報部57とを有する。
【0033】
以下、危険エリア通知装置50の概要を示す。
危険マーカ検出部52は、長さ方向に危険ライン6を示し幅方向に危険方向7を示すマークが記載された危険マーカ5を、カメラ51の撮影画像から検出する。
危険エリア決定部55は、危険マーカ検出部52が検出した危険マーカ5が示す危険ライン6および危険方向7をもとに、危険ライン6を危険方向7に第1の距離分(図5では辺CEの距離分)移動させるとともに、移動前の危険ライン6(図5では辺CD)および移動後の危険ライン6(図5では辺EF)で挟まれるエリア(図5では四角形CDFE)を、危険エリア8として決定する。
危険判定部56は、危険マーカ5の撮影画像を撮影したカメラ51の撮影位置と、危険エリア8との位置関係から、カメラ51の撮影位置が危険か否かを判定する。
警告発報部57は、危険判定部56が危険と判定したときに警告を発する。
【0034】
以下、図3で例示した危険マーカ5の構成を示す。
危険マーカ5は、危険ライン6の方向(図3では図面の左右方向)に沿って同一線上に複数個配置されるマークを内包する長方形として構成されている。
危険マーカ5に内包される各マークは、危険ライン6の方向に直交する方向(図3では図面の上下方向)に対して、危険方向7を示す非対称な図形として構成されている。
【0035】
以下、危険エリア通知装置50の具体的な構成を示す。
危険エリア決定部55は、危険マーカ5の検出位置における危険ライン6を第1の辺とし、第1の辺を危険方向7の側に所定距離だけ移動させた第2の辺を求め、第1の辺および第2の辺を構成要素として接続した長方形を危険エリア8として決定し、
危険判定部56は、カメラ51の撮影位置を示す撮影画像内の撮影点241が危険エリア8(またはその危険エリア8を含む図15の警告開始エリア235)に含まれるときに、カメラ51の撮影位置が危険であると判定する。
【0036】
なお、作業員22にカメラ51を装着し、そのカメラ51との無線通信を行うことで、カメラ51とは別の場所にある危険エリア通知装置50にカメラ51の撮影画像を処理させる構成(危険エリア通知装置50からカメラ51を物理的に分離させた構成)としてもよい。さらに、1人の作業員22に複数のカメラ51を装着させ、装着させた各カメラ51の視野がなるべく重複しないようにすることで、死角を減らすことができる。
カメラ51にて撮影された映像は、1画面ごとに危険マーカ検出部52に入力される。危険マーカ検出部52は、画面内の危険マーカ5を探索する。危険マーカ5が画面内に1つも検出されなかった場合は、その場所が安全であるとして、安全信号65が出力される。安全信号65が出力された場合、危険判定部56は、無条件に、この画面を撮影した時点では作業員22は安全であると判断し、警告等は発報しない。
【0037】
一方、危険マーカ検出部52が危険マーカ5を画面内にて検出した場合は、危険マーカ位置情報61を出力する。危険マーカ位置情報61は図4における危険マーカ5のABCDに対応する画面上の座標である。なお、画面内に複数の危険マーカ5が存在する場合は、それぞれの危険マーカ位置情報61を出力し、それぞれの危険マーカ位置情報61に対して後述する処理を実行する。
危険マーカ位置情報61は、危険ライン検出部53および危険方向検出部54に入力され、それぞれ危険ライン情報62と危険方向情報63とが出力される。危険ライン情報62は画面内で危険ライン6に相当する両端点2点の座標、危険方向情報63は危険方向7に対する画面上でのベクトル情報である。
【0038】
危険ライン情報62と危険方向情報63とは危険エリア決定部55に入力され、画面上での危険エリア8が決定される。危険エリア8は危険エリア情報64として、画面上の4点の座標(図5のCDEFの各点に対応)が出力される。
危険エリア情報64は、危険判定部56に入力されて、この画面を撮影した時点で作業員22のいる場所は安全であるか否かが判定される。作業員22のいる場所が危険エリア8の近傍であり危険であると判断された場合は、その旨が警告発報部57に入力される。警告発報部57は、作業員22に危険である旨を通知する。作業員22のいる場所が安全であると判断された場合は、その画面に対する処理は終了し、作業員22には何も通知されない。
【0039】
警告発報部57は、作業員22が危険な場所にいると判断された時には、アラーム音、振動、光などにより作業員22に危険な場所にいることを通知する。作業員22が、ゴーグル型のディプレイや、メガネに貼付する形の透明あるいは半透明ディスプレイなどのウェアラブルディスプレイを装着しているときは、その画面上に警告の信号を出力してもよい。ウェアラブルディスプレイの画面上に、危険エリア8の位置や、危険エリア8がある方向などの詳細情報を示してもよい。詳細情報を示すことにより、作業員22は危険な箇所を直感的に理解することが容易となり、安全性がより高まる。
【0040】
作業員22への通知は、音声による通知でもよい。音声による通知においては、カメラ51にて撮影した画面内の危険エリア8の位置情報から、その方向を特定し、方向を伝える形で警告を発してもよい。すなわち、危険エリア8が画面の右寄りにある場合は「右方向に危険エリア8があります」との音声を作業員22に伝えることにより、作業員22は危険な箇所を直感的に理解することが容易となり、安全性がより高まる。音声による通知においては、骨伝導デバイスを用いると、騒音環境下においても的確に内容が伝わり安全性が高まる。
以下、図7から図13を用いて、危険エリア通知装置50の各構成要素のの詳細を説明する。
【0041】
図7は、危険マーカ検出部52の処理を示すフローチャートである。以下、図7を参照して、危険マーカ検出部52が入力された画面内の全領域(全画素)を順次調べて、危険マーカ5の有無を判定する処理を説明する。
まず、危険マーカ検出部52は、S101にて画面内の1画素を抽出し、S102にて抽出した画素の色と危険マーカ5の背景部32の色が類似しているか否かを判定する。類似していない場合はS107に移り、画面内の全ての画素に対して処理が完了するまで(S107,Yes)S101からの処理が繰り返される(S107,No)。
抽出した画素の色が類似している場合は(S102,Yes)、危険マーカ検出部52は、S101にて抽出した画素の周囲に位置する画素を調査し、危険マーカ5の背景部32の色が類似している複数の画素(図8の抽出領域202)を抽出する(S103)。
【0042】
図8は、危険マーカ201の検出の方法の一例を示す説明図である。まず、危険マーカ検出部52は、危険マーカ5の背景部32の色が類似している画素を抽出する(抽出領域202)。危険マーカ検出部52は、抽出領域202に対してコーナー点(抽出領域202に記載した丸印箇所)を検出し、コーナー点の四隅の点や、コーナー点の位置が直線状に並んでいる箇所から危険マーカ5の4辺から構成される抽出領域輪郭部203を検出する。なお、四辺形の抽出には、上記の説明以外にも、輪郭部から直線を検出する方法が適用可能である。
【0043】
図7に戻り、S104では、危険マーカ検出部52は、抽出した複数の画素により構成される領域の外側の輪郭部が四辺形の形をしているかを判定する。危険マーカ5は画面上では平行四辺形に近い形をしている場合や、台形に近い形をしている場合が多い。抽出領域輪郭部が四辺形の場合は(S104,Yes)S105に移り、四辺形でない場合は(S104,No)S107に移る。
危険マーカ検出部52は、画面内の危険マーカ位置情報61(S104で検出した四辺形の4点の座標)をもとに、四辺形の内部の方向指示パターン31を検出する(S105)。S105の検出は、例えば図8の領域204のように、四辺形内の背景部32の輝度と方向指示パターン部の輝度との差を利用し、その後コーナー点(例えば抽出領域202の丸印箇所)を抽出することにより、方向指示パターン31を検出して、該当の四辺形が危険マーカ5であるか否かを判定する。
危険マーカ検出部52は、四辺形の内部の1つあるいは複数の方向指示パターン31を抽出した場合、その四辺形を危険マーカ5と設定する(S106)。複数の方向指示パターン31を抽出することにより、方向指示パターン31と偶然類似するパターンによる危険マーカ誤検出を防止できる。
【0044】
図9は、危険ライン検出部53の処理を示すフローチャートである。危険ライン検出部53は、S105と同様に、危険マーカ5内の方向指示パターン31を検出する(S111)。
【0045】
危険ライン検出部53は、検出された方向指示パターン31の各辺と危険マーカ位置情報61の4辺の位置情報を重複度を調べる(S112)。重複度は2つの辺の重なりの度合いを示し、2つの辺を近似する直線の傾きの差と切片の差との双方が小さいと重複度は高くなる。
危険ライン検出部53は、危険マーカ位置情報61の4辺のうち、重複度が高い件数が最も多い辺を危険ライン6(危険ライン情報62)に設定する(S113)。例えば、三角形の領域が3領域検出された場合は、危険ライン検出部53は、それぞれの三角形の辺と、危険マーカ5の4つの辺との重なりの度合いを比較して、三角形の辺との重なりの最も多い危険マーカ5の辺(図8の抽出領域輪郭部203では右側の辺)を危険ライン6に設定する。
【0046】
図10は、危険方向検出部54の処理を示すフローチャートである。
危険方向検出部54は、S105またはS111と同様に、危険マーカ5内の方向指示パターン31を検出する(S121)。つまり、S105の処理は、S105またはS111と共通化してもよい。危険方向検出部54は、検出した複数の方向指示パターン31から危険方向7の向きを検出する(S122)。
【0047】
図11は、S122の処理の詳細を示す危険マーカ5の説明図である。
カメラ51で撮影した画面上の危険マーカ5には、3つの方向指示パターン31が写っており、以下のように各危険方向7の向き(ベクトル)が求まる。
・1つめの方向指示パターン31aは三角形pqrであり、線分ABに接する頂点pから、線分CD接する辺qrの中点sを通過するベクトル221。ベクトル221は、ベクトルpsを正規化したものでもよい。
・2つめの方向指示パターン31から1つめの方向指示パターン31aと同様に求まるベクトル222
・3つめの方向指示パターン31から1つめの方向指示パターン31aと同様に求まるベクトル223
・線分ACを延長するベクトル231
・線分BDを延長するベクトル232
なお、これらの各ベクトル221-223,231,232は、正規化したベクトル
【0048】
図10に戻り、危険方向検出部54は、図11で説した複数のベクトルの平均をとり、その結果として危険方向7(危険方向情報63)を決定する(S123)。なお、危険方向検出部54は、S123で計算する複数のベクトルについて、方向指示パターン31から抽出されるベクトル221-223だけを用いてもよいし、ベクトル221-223に加えて、ベクトル231,232も加えて平均化してもよい。
ベクトル231,232もS123の計算に加えることで、検出誤差やノイズが軽減され、より精度の高い危険方向7を示すベクトルを算出することができる。
【0049】
図12は、危険エリア決定部55の処理を示すフローチャートである。
危険エリア決定部55は、危険ライン検出部53で検出した危険ライン6(図5の線分CD)を、危険方向検出部54にて求めた危険方向7へ予め定めた距離を移動した直線(図5の直線EF)を算出する(S131)。
危険エリア決定部55は、S131で算出した線分EFと、危険ライン6(線分CD)とにより生成される四辺形CDFEを、画面上の危険エリア8(危険エリア情報64)とする(S132)。
【0050】
図13は、危険判定部56の処理を示すフローチャートである。
まず、危険判定部56は、図6の安全信号65が入力されているときは(S141,Yes)、作業員22の位置が安全と判定する(S146)。
一方、安全信号65が入力されていないときは(S141,No)、危険判定部56は、危険エリア8の矩形の4点のうち撮影点から最も近い点(最短点)を選択する(S142)。
【0051】
図14は、図13のS142の処理を説明するための撮影画面の説明図である。
撮影画面230には、図11で説明した危険マーカ5の四辺形ABCDが写っており、その危険マーカ5から形成される危険エリア8の四辺形CDFEも示されている。危険判定部56は、例えば、撮影画面230の画面下部の中央を撮影点241として、その撮影点241からの距離242が最短となる危険エリア8の頂点(ここでは頂点C)を最短点として選択する(S142)。
なお、撮影点241は、カメラ51を装着して撮影している作業員22の足元に最も近い点となる。画角が狭いカメラ51を用いている場合は、撮影点241と足元との距離が大きくなるため、撮影点241と最短点との距離に固定距離を加えることにより最端点への距離の誤差が小さくなる。以降の説明では、画面上の撮影点241と実際の作業員22の足元の距離は充分に小さく、あるいは誤差は補正されている例を用いて説明を行う。
【0052】
また、作業員22のヘルメットにカメラ51を設置する場合、作業員22の顔の振り向き動作により、一時的に危険マーカ5がカメラ51の視野の外に出てしまうこともある。そこで、危険判定部56は、現在のカメラ51の画像だけでなく過去のカメラ51の画像も併せて考慮して、作業員22の現在位置と、その現在位置から見える危険マーカ5の方向とを判定してもよい。
そのため、例えば、危険判定部56は、過去から現在までのカメラ51の画像や、作業員22のヘルメットに付けた加速度センサなどから作業員22の顔の向きをトラッキングする。そして、カメラ51の画像に危険マーカ5が写らなくなった時点での作業員22の顔の向きの変化(横を向くなど)があった場合には、単に移動せずに振り向いただけとして、危険判定部56は、カメラ51の画像に危険マーカ5が写っていた時点での警告を継続してもよい。
【0053】
このように、危険判定部56は、カメラ51の振り向き情報を取得し、カメラ51の撮影画像の時系列変化において危険ライン6がカメラ51の撮影画像から未検出の期間に、カメラ51の振り向き情報から振り向いた旨が示される場合には、未検出の期間にカメラ51の撮影位置が変化しないと判定してもよい。
【0054】
図13に戻り、危険判定部56は、撮影点241とS142の最短点との距離を推定する(S143)。S143の距離の推定処理は、事前にカメラ51の高さを固定した上で特性を測定しておき、画面内の画素の位置ごとに距離を設定しておくことにより、実現される。なお、カメラ51の高さは作業員22の身長やカメラ51の装着箇所(例えば、ヘルメットか、胸ポケットか)に依存する。よって、作業員22の身長やカメラ51の装着箇所を事前に設定することにより、推定した最短点への距離を補正することができる。
【0055】
S143の最短点への距離を補正する場合、身長が高い場合は、より広範囲が写るため、同じ位置の画素に対応する距離は長くなる。また、作業員22が状態を前に傾けている時や、かがんでいる時にはカメラ51の高さは変化するため、加速度センサ等を用いて作業員22の姿勢を推定した上で、最短点への距離を補正することも可能である。ただし、危険な位置にいるときに転落事故が起こるのは、作業員22が位置を移動したとき、すなわち直立して歩行したときである可能性が高いため、作業員22の姿勢による補正は実施しなくても、事故防止の観点からは充分な効果が得られると考えられる。
以上、最短点への距離として、カメラ51の特性から事前に設定しておく方法を示した。
【0056】
S143で最短点への距離を求める別の方法としては、画面上における、検出した危険マーカ5の幅と、方向指示パターン31のピッチから、最短点への距離を推定する方法がある。すなわち、検出した危険マーカ5の幅と、方向指示パターン31のピッチの画面上の画素数を取得し、測定したい箇所をこれらの画素数との比により推定する方法である。この方法は、事前の距離の設定や、身長等による補正が不要になる効果がある一方、基準となる危険マーカ5の位置と遠くなるほど誤差が大きくなる特性がある。
危険判定部56は、S143で得られた最短点への距離が事前に設定した所定値以下か否か(つまり最短点への距離が作業員22から近いか否か)を判定する(S144)。所定値以下の場合(S144,Yes)には、危険判定部56は、作業員22の位置が危険エリア8に近いために危険と判定する(S145)。所定値以下ではない場合(S144,No)には、危険判定部56は、作業員22の位置が安全と判定する(S146)。
【0057】
図15は、図11の危険マーカ5の平面図である。
S145で作業員22の位置が危険と判定される警告開始エリア235が、網掛けで図示した箇所である。警告開始エリア235は、危険エリア8の四辺形CDFEからS144の所定値である距離234以下の領域に形成される。なお、図15では、説明のため距離234を危険マーカ5の幅の2倍程度に描いているが、実際には、危険エリア8に進入した作業員22に警告を行ってから、作業員22が安全に停止できる距離(例えば、2m程度)を距離234として設定することが望ましい。
【0058】
図16は、S144の作業員22の位置判定処理の変形例を示す。
図15の警告開始エリア235は、危険マーカ5の危険ライン6(辺CD)よりも手前側(図1では高所通路1の側)まで覆っているので、作業員22が図1の開口部3(危険ライン6)をまたぐ前に、適切に危険と判定し(S145)、警告を出すことができた。
しかし、作業員22の位置が図16の位置22a→位置22b→位置22cのように高速で移動しているときには、警告開始エリア235に入ってから警告を出すのでは警告が遅れてしまうことがある。そこで、危険判定部56は、作業員22の位置変化から作業員22の移動方向22dを推定する。
【0059】
そして、危険判定部56は、作業員22の最新位置22cと、作業員22の移動方向22dとを考慮して、作業員22が今後に警告開始エリア235に侵入することが予想される場合には、警告開始エリア235に入る前にS145の警告を出してもよい。これにより、早めの警告により、さらに安全性が高まる。
同様に、危険判定部56は、カメラ51の撮影画像からカメラ51の移動方向を検出し、カメラ51の移動方向が危険エリア8に向かっている場合には、カメラ51の撮影位置が危険である場合よりも強い警告を発するように、警告発報部57を制御してもよい。
【実施例0060】
以下、本発明の実施例2を説明する。実施例1では、1つの危険マーカ5に着目して説明した。実施例2では互いに近接する複数の危険マーカ5から、危険エリア8を形成する方法について説明する。
図17は、2つの通路301,302が近接している高所の作業現場を示す平面図である。通路301は位置が固定であり、その通路301に出入りするために、通路301に対して一時的にT字型に接続(実際にはある程度の隙間を残して近接)されるタラップ(搭乗橋)が通路302である。
【0061】
複数の危険マーカ5(第1危険マーカ303、第2危険マーカ304)それぞれの危険ライン6が近接している場合、それらの危険ライン6から形成される複数の危険エリア8は、互いに領域が重複することもある。このとき、危険エリア決定部55は、複数の危険エリア8間の重複箇所について、複数の危険エリア8の和集合のエリアを採用してもよいし、その和集合のエリアのうちの一部を打ち消して、危険エリア8を狭めてもよい。以下、危険エリア8を狭める方式の詳細を説明する。
【0062】
図17では、危険マーカ303に対応する危険エリア8は四辺形CDFEであるが、その領域内に別の通路302の危険マーカ304が存在する。このとき、危険エリア決定部55は、危険マーカ304の危険ラインPQよりも図の下方向部分(対向する危険マーカ303よりも先の部分)は、危険エリア8から除外する。よって、危険マーカ303が形成する危険エリア8は、斜線部で示した頂点CERPQDにより囲まれる領域となる。危険マーカ304が形成する危険エリア8についても、同様に、対向する危険マーカ303よりも先の部分は、危険エリア8から除外する。
【0063】
このように、危険マーカ検出部52は、同じ撮影画像から第1危険マーカ5および第2危険マーカ5を検出する。そして、危険エリア決定部55は、第1危険マーカ5から決定した第1危険エリア8内に第2危険マーカ5が含まれている場合、その第2危険マーカ5の危険ライン6を第1危険マーカ5の危険方向7に第3の距離分(辺PRの距離分)移動させるとともに、移動前の危険ライン6(辺PQ)および移動後の危険ライン6(辺RF)で挟まれるエリアを、エリアを第1危険エリア8から除外する。
これにより、2つの通路301,302をまたいだ作業員22の移動については、不適切に警告が発行されることを予防できる。
【0064】
図18は、図12のフローチャートを実施例2に対応させて、危険エリア決定部55の処理を追加したフローチャートである。このフローチャートでは、以下の2つの危険マーカ5を例示する。
・第1の危険マーカ5(例えば図17の危険マーカ303)からは、第1危険ラインと、第1危険方向と、第1危険エリア(図17の四辺形CDFE)とが検出される。
・第2の危険マーカ5(例えば図17の危険マーカ304)からは、第2危険ラインと、第2危険方向と、第2危険エリアとが検出される。
【0065】
以下、危険エリア決定部55は、S151~S153の処理を、各危険マーカ5について実行する。
危険エリア決定部55は、実施例1と同様に第1危険ラインに対応する第1危険エリアを設定する(S151)。
危険エリア決定部55は、S151の第1危険エリア内に、第2危険ラインが存在するか否かを探索する(S152)。第2危険ラインが存在しなければ(S152,No)処理は終了し、当初の第1危険エリアがそのまま危険エリア8として設定される。
【0066】
一方、第2危険ラインが存在するときは(S152,Yes)、危険エリア決定部55は、第1危険方向と第2危険方向とが、それぞれ逆向きであるか否かを調べる(S153)。逆向きの判定は、2つの危険方向についてのベクトルの内積の結果が負になるか否かで判定できる。
2つの危険方向が逆向きであった場合(S153,Yes)、危険エリア決定部55は、第1危険エリアから、第2危険ラインよりも先(第1危険方向側であり、第1危険ラインとは反対側)のエリアを除外する。その結果、図17の点CERPQDにより囲まれる領域が、危険エリア8となる。
【0067】
なお、上記の説明で第1の危険マーカ5と、第2の危険マーカ5とを入れ替えた場合、第1の危険マーカ5が図17の危険マーカ304となり、第2の危険マーカ5が図17の危険マーカ303となる。その場合、危険エリア決定部55は、第1危険ライン(線分PQ)から形成される第1危険エリアから、第2危険ライン(線分CD)よりも先(図17では上の部分)が、第1危険エリアから除外する。その結果、図17の四辺形SDQP(厳密には四辺形SDQPよりも安全柵306の幅分狭い領域)により囲まれる領域が、危険エリア8となる。
そして、危険エリア決定部55は、S153の除外処理後の第1危険エリア(点CERPQDにより囲まれる領域)と、S153の除外処理後の第2危険エリア(四辺形SDQP)とをマージ(和集合)とすることで、2つの危険マーカ5から1つの危険エリア8を形成する。
【0068】
さらに、危険エリア決定部55は、通路302と通路301との接続(近接)箇所の距離が狭い場合、すなわち危険エリア8が細長い形状で、その幅の最大値が所定値よりも小さい場合、その箇所からの転落の恐れがないとして、危険エリア8のうち、接続(近接)箇所を危険エリア8から除去してもよい。
例えば、図17の線分SPの長さおよび線分DQの長さがいずれも所定値(例えば数cm)よりも小さい場合、四辺形SDQPの箇所からの転落の恐れがないと判断し、危険エリア8から四辺形SDQPの部分を消去し、四辺形CERSのみを危険エリア8とする。
これにより、タラップ(搭乗橋)のわずかな隙間があっても、その隙間から人間が落ちる可能性は低いとして、搭乗中の人間に対して、過剰な警告を出さなくなる。
【0069】
図19は、エリア310の中央部に矩形の開口部3(穴)311が開いている例を示す説明図である。開口部3の周囲には、4つの危険マーカ311、313、314、315が設置されているが、開口部3の右下のマーカ設置不可エリア312の箇所は、開閉できる蓋が存在し、その操作具があるため、危険マーカ5を設置できない箇所がある。このため、危険マーカ315が対面する危険マーカ313より長さが短くなっている。
【0070】
図20は、図19から検出される危険エリア8を示す説明図である。各危険マーカ5に対応する危険エリア8は以下となる。
・第1の危険マーカ313から検出される第1危険エリア「四角形GKLT」
・第2の危険マーカ314から検出される第2危険エリア「四角形JKNP」
・第3の危険マーカ315から検出される第3危険エリア「四角形SZYR」
・第4の危険マーカ316から検出される第4危険エリア「四角形GHQR」
【0071】
危険エリア決定部55は、図18の処理を実行することで、外側の四辺形GKNRから内側中央の四辺形UVWXを除いた部分を、4つの危険マーカ5から抽出した危険エリア8とする。なお、マーカ設置不可エリア312に危険マーカ5を設置できないにも関わらず、開口部311の縁の部分(線分GK、KN、NR、RGにそれぞれ接する部分)が全て危険エリア8となり、安全が担保されている。
そのため、危険エリア決定部55は、危険エリア8の幅(危険ライン6と、それに平行な辺の距離)を、マーカ設置不可エリア312の幅よりも広く設定する。なお、危険エリア決定部55は、マーカ設置不可エリア312の幅が危険エリア8の幅よりも広い場合は、マーカ設置不可エリアと開口部3の双方を囲う形で、危険マーカ5を設置することにより、開口部3に接する領域を危険エリア8とする。
【実施例0072】
以下、本発明の実施例3を説明する。実施例1,2では、危険マーカ5の位置関係から危険エリア8を形成していたが、実施例3では、危険マーカ5に加えて図22の安全マーカ9を併用することで、きめ細かな危険エリア8を形成する。
【0073】
図21は、実施例3における危険エリア通知装置50の構成図である。
図21の危険エリア通知装置50は、図6の危険エリア通知装置50に対して、さらに、安全マーカ検出部71が追加される。
安全マーカ検出部71は、危険マーカ5と異なる安全マーカ9を検出し、その検出した安全マーカ9から、安全ライン(例えば図23の識別ライン92)を検出する。
安全マーカ9の検出方法は、危険マーカ検出部52と同様に、マーカに塗られた色やマーク(詳細は図23)を手がかりに画像処理する方法である。そして、安全マーカ検出部71は、安全マーカ9の検出結果(画像内の安全マーカ9の座標情報)である安全マーカ情報72を、危険エリア決定部55に出力する。
【0074】
図22は、安全マーカ9を用いる場合の作業現場の平面図である。
この作業現場では、開口部3がエリアの右上にあり、その箇所には危険マーカ321が設置されているが、作業員22との間には別の安全柵322も存在する。安全柵322に接近する作業員22は、危険マーカ321の距離が近いにもかかわらず、安全柵322によって物理的に移動が制限され、通路外に転落する恐れが無い。この場合は危険マーカ321の近傍の危険エリア8に作業員22が侵入しても、警告を出さないほうが望ましい。
【0075】
そこで、実施例3では、安全柵322の作業員22側(通路側)に沿って安全マーカ9を設置することにより、危険エリア決定部55は、検出した安全マーカ9近傍のエリアを危険エリア8から除外する。
これにより、危険判定部56は、安全柵322に接近する作業員22が安全であると判定し、誤報(安全であるにも関わらず、危険であるとの通知が発報されること)を防止する。なお、誤報は、フェールセーフの方向であるため、事故防止を妨げることはない。しかし、誤報が多くなると、作業員22は危険であることの発報を軽視あるいは無視する傾向が強くなり、間接的に事故防止の効果を低減してしまう。
【0076】
図23は、安全マーカ9の例を示す説明図である。
安全マーカ9は、図3の危険マーカ5と同様に帯状の形状をしている。安全マーカ9の中の模様は、危険マーカ5のものとは明らかに異なる必要がある。例えば、図23の安全マーカ9は、背景部91を白とし、その中に2本の緑色の識別ライン92を配している。安全マーカ9には、危険マーカ5と異なり方向(危険方向7)の概念がないが、危険ライン6に対応する安全ラインの概念がある。安全ラインは、安全マーカ9の長さ方向に沿ったラインであり、例えば、識別ライン92の線である。
【0077】
図24は、危険マーカ5と安全マーカ9との併用により形成される危険エリア8を示す平面図である。
各エリア331-333は、同じエリアを時間経過で示したものであり、エリア331→エリア332→エリア333の順に時間が経過する。各エリア331-333では、中央部の危険マーカ5に対して、図面の上下方向に1つずつの安全マーカ9が、危険マーカ5を挟み込むように配置されている。つまり、2つの安全マーカ9と1つの危険マーカ5とは互いに平行である。合計3つのマーカにより、以下のように4つのエリアに区切られる。
・第1エリア335は、上側の安全マーカ9より外側に形成され、危険エリア8の外にあるため、作業員22が存在しても警告は出されない。
・第2エリア336は、上側の安全マーカ9と危険マーカ5との間に形成され、危険エリア8の外にあるため、基本的には作業員22が存在しても警告は出されない。しかし、図15で示したように危険エリア8の周囲に警告開始エリア235(図15、なお図24では図示省略)が形成されるため、警告開始エリア235内の作業員22には警告が出される。
【0078】
・第3エリア337は、下側の安全マーカ9と危険マーカ5との間に形成され、基本的には危険エリア8の中にあるため、作業員22が存在すると警告が出される。さらに、危険エリア8の周囲の警告開始エリア235内の作業員22にも警告が出される。
・第4エリア338は、上側の安全マーカ9より外側に形成される。第4エリア338も第3エリア337も危険マーカ5から危険方向7の側に存在するが、第4エリア338は危険エリア8を遮蔽し、図面の下側方向を危険エリア8やその警告開始エリア235から除外する役割を果たす。そのため、第4エリア338に作業員22が存在しても警告は出されない。
【0079】
図25は、安全マーカ9を用いた場合の危険エリア決定部55の処理を示すフローチャートである。
図12の安全マーカ9を用いないフローチャートに対して、危険エリア8だけからS132で設定した危険エリア8を、図25では、仮設定の危険エリア8とする(S132b)。そして、図25は、以下の処理を追加することで、安全マーカ9を用いて仮設定の危険エリア8を修正することで、本設定の危険エリア8を決定する。
・危険エリア8の手前側のエリア(図24では第2エリア336)に安全マーカ9が存在する場合(S133,Yes)、安全マーカ9に隠れる危険エリア8の部分は消去される(S135、詳細は図26)。(S133,Yes)は、例えば、図14の危険ラインCDと撮影点241との間に安全マーカ9が存在する場合である。
・危険エリア8の中(図24では第3エリア337)に安全マーカ9が存在する場合(S134,Yes)、安全マーカ9より先の危険エリア8の部分は消去される(S136、詳細は図27)。
【0080】
図26は、危険マーカ5と安全マーカ9との第1の位置関係を示すカメラ51の撮影画像図である。
危険エリア決定部55は、撮影画像図内の撮影点401から危険ラインCD上の各点とを結ぶ直線上に、安全マーカ9が存在するか否かを調べる。
・第1の直線402は、撮影点401から点Cを通過するように延長した線であり、点Uで安全マーカ9と交差する。このように交差する場合には、点Cは安全マーカ9の点Uに隠されると判定される。
・第2の直線403は、撮影点401から危険ラインCD上の点Xを通過するように延長した線であり、点Vで安全マーカ9と交差する。このように交差する場合には、点Xは安全マーカ9の点Vに隠されると判定される。つまり、危険マーカ5の線分CXの区間は、安全マーカ9の線分UVの区間により隠される。
・第3の直線404は、撮影点401から点Dを通過するように延長した線であり、安全マーカ9とは交差しない。つまり、危険マーカ5の有効な(隠されない)区間は、線分XDの区間である。
【0081】
危険エリア決定部55は、四辺形EFDCで構成される仮設定の危険エリア8から、安全マーカ9により隠される四辺形EYXCの部分(線分CXの区間)を消去し(S135)、残りの四辺形YFDX(線分XDの区間)を修正後の(本設定の)危険エリア8とする。
このように、危険エリア決定部55は、危険マーカ5から決定した危険エリア8内に安全マーカ9が含まれておらず、かつ、カメラ51の撮影位置に対応する画像内位置から危険ライン6の画像内位置までの位置に安全マーカ9が存在する場合、カメラ51の撮影位置に対応する画像内位置から安全マーカ9の安全ラインにより遮蔽される危険ライン6を、危険エリア8の決定から除外する。
つまり、図26に示すように、危険エリア決定部55は、危険マーカ5よりも近くに安全マーカ9が見えている場合、危険エリア8を削除することで、警告発報部57に警告を出させないようにする。
【0082】
図27は、危険マーカ5と安全マーカ9との第2の位置関係を示すカメラ51の撮影画像図である。
危険エリア決定部55は、危険エリア8(四辺形EFDC)内に、安全マーカ9が存在する場合、その安全マーカ9より先の(危険方向7側の)危険エリア8の部分(四辺形EZYX)を消去する(S136)。これにより、危険エリア決定部55は、残りの点XYZFDCに囲まれた領域を、修正後の危険エリア8とする。
このように、危険エリア決定部55は、危険マーカ5から決定した危険エリア8内に安全マーカ9が含まれている場合、その安全マーカ9の安全ラインを危険方向7に第2の距離分(辺XEの距離分)移動させるとともに、移動前の安全ライン(辺XY)および移動後の安全ライン(辺EZ)で挟まれるエリアを、エリアを危険エリア8から除外する。
つまり、図27に示すように、危険エリア決定部55は、危険マーカ5よりも遠くに安全マーカ9が見えている場合、安全マーカ9より遠くの危険エリア8を削除する。
【0083】
図28は、危険マーカ5と安全マーカ9との第3の位置関係を示すカメラ51の撮影画像図である。
図27図28とでは、危険エリア8内に、安全マーカ9が存在する点では共通する。図28図27よりも、さらに、危険マーカ5と安全マーカ9との距離が近い配置である。この場合、安全マーカ9より先の危険エリア8の部分(四角形EFYX)がすべて消去されるので、修正後の危険エリア8は四辺形XYDCとなる。
さらに、線分XCの長さ、および、線分YDの長さが人間がまたげるほど(10cm以下など)短いため、危険エリア決定部55は、転落の恐れがない場合には四辺形XYDCも危険エリア8でなくなり、修正後の危険エリア8がないと判定する。
【0084】
図29は、開口部3に可動式の安全柵411が備えられる場所を示す斜視図である。
図30は、図29の場所を示す平面図である。
開口部3は、図29のように可動式の安全柵411と重なることで遮蔽される状態(閉状態)と、図30のように可動式の安全柵411が開口部3の空間412と重ならない状態(開状態)とで切り替わる。安全マーカ9は、可動式の安全柵411の下部に設置される。
なお、可動式の安全柵411の代わりに、開閉式のドアや、上下に開閉するシャッターでも、ドアやシャッターの下部に安全マーカ9を設置する構成としてもよい。
【0085】
開状態の開口部3は、危険マーカ5が形成する危険エリア8を安全マーカ9が遮蔽しないので、開口部3付近の作業員22に注意を促す警告が発報される。一方、閉状態の開口部3は、危険エリア8の真上に安全マーカ9が重なることで、危険エリア8が消去される。これにより、可動式の安全柵411により物理的に開口部3から低所21への転落が不可能となるので、開口部3付近の作業員22に余分な警告を出さずに済む。つまり、環境の変化にあわせた的確な警告を発することができる。
【0086】
図31は、1つの危険マーカが2つに分離されて撮影された撮影画像図である。
カメラ51は作業員自身に装着されるため、作業員22の手や体の一部が写り込むことがある。例えば、作業員22の手502が画面に写り込んで危険マーカ5の一部が隠されることで、2つの危険マーカ503、504に分離されて検出される。
そこで、危険マーカ検出部52は、2つの危険マーカ503、504がそれぞれの延長上に位置することを検出し、2つの危険マーカ503、504が単一の危険マーカ5、すなわち、図で四辺形ABDCが危険マーカ5で、線分CDが危険ライン6であると判断してもよい。
【0087】
図32は、1つの危険マーカが3つに分離されて撮影された撮影画像図である。
作業員22の両手512、513が写り込んで危険ライン6を隠したとき、危険ライン6は3つの危険マーカ514、515,516に分割される。危険マーカ516は、位置的にその面積が少なく方向指示パターン31も検出できない可能性がある。
そこで、危険マーカ検出部52は、2つの危険マーカ514、515がそれぞれの延長上に位置し、かつ、その間に危険マーカ5の色や部分的形状が類似する危険マーカ516を検出する。この場合、危険マーカ検出部52は、3つの危険マーカ514、515,516を単一の危険マーカ5と判断してもよい。
このように、危険マーカ検出部52は、それぞれの危険ライン6が同一延長線上である複数の危険マーカ5を検出した場合、それらの複数の危険マーカ5を単一の危険マーカ5とみなしてもよい。
【0088】
図33は、危険エリア通知装置50のハードウェア構成図である。
危険エリア通知装置50は、CPU901と、RAM902と、ROM903と、ストレージ904と、通信I/F905と、入出力I/F906と、メディアI/F907とを有するコンピュータ900として構成される。
ストレージ904は大容量のフラッシュメモリやHDDであり、コンピュータ900の内部または外部で接続される。通信I/F905は、外部の通信装置915と接続される。入出力I/F906は、入出力装置916と接続される。メディアI/F907は、記録媒体917からデータを読み書きする。さらに、CPU901は、ROM903上あるいはRAM902に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部を改善制御する。そして、このプログラムは、通信回線を介して配布したり、記録可能なCDや記録可能なDVD等の記録媒体917に記録して配布したりすることも可能である。
【0089】
以上説明した実施例1~実施例3の危険エリア通知装置50は、危険エリア8を示すために床面などに貼付された危険マーカ5を、作業員22が装着したカメラ51にて検出して、作業員22のいる場所が安全であるか危険であるかを判断する危険判定部56を有する。危険マーカ5には、危険ライン6と危険方向7とを画像認識で識別可能な情報を含めることにより、少ない処理量にて、高精度に危険な領域を検出することができる。
さらに、危険マーカ5には、危険ライン6と危険方向7とを目視でも識別可能な情報を含めることで、カメラ51を装着していない人や、カメラ51の電池切れなどの危険エリア通知装置50が稼働していない場合でも、作業員22に目視で危険エリア8を把握させることができる。
【0090】
なお、特許文献2の技術は、各所に点在するマーカ同士を仮想線で接続した領域を進入禁止領域としている。しかし、密集して点在する座標をどう接続するかについては、いろいろな解釈が発生してしまうため、意図した仮想線が伝わらないこともある。一方、本実施形態の危険エリア通知装置50は、危険マーカ5が危険ライン6を特定可能な線の情報を備えているため、特許文献2のような仮想線の多義解釈の問題は発生しない。
また、特許文献2の技術は、GPS(Global Positioning System)で取得するような絶対位置の情報(緯度、経度、高度)をマーカに含める記載がある。一方、本実施形態の危険マーカ5は周辺の危険エリア8を示すので、危険マーカ5の絶対位置は危険マーカ5に含めなくてもよい。これにより、屋内の工場やプラントのようなGPS電波が取得困難な箇所でも、危険エリア8を形成できる。
【0091】
また、比較例として、TOF(Time Of Flight)カメラやステレオカメラなどの高機能カメラを利用して、奥行き情報である段差や開口部を検出することが考えられる。こうした高機能カメラは、その価格や検出精度が課題となる。さらに、作業員が装着するカメラはバッテリで駆動する必要があるが、奥行き情報を取得する処理においては、カメラ自体の消費電力や処理にかかる消費電力が増加し、実用的な稼働時間が確保できない。
一方、本実施形態の危険エリア通知装置50は、奥行き情報が取得できないカメラ51であっても、危険マーカ5の情報を手がかりにして、機械的に危険エリア8を把握させることができる。
【0092】
さらに、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した各実施形態は本発明を分かりやすく説明するために危険エリア通知装置50の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
【0093】
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などの広義のプロセッサデバイスを用いてもよい。
また、上述した実施形態にかかる危険エリア通知装置50の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実行される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【符号の説明】
【0094】
1 高所通路
2 安全柵
3 開口部
4 安全柵箇所
5 危険マーカ
6 危険ライン
7 危険方向
8 危険エリア
9 安全マーカ
22 作業員
31 方向指示パターン
32 背景部
50 危険エリア通知装置(警告装置)
51 カメラ
52 危険マーカ検出部
53 危険ライン検出部
54 危険方向検出部
55 危険エリア決定部
56 危険判定部
57 警告発報部
71 安全マーカ検出部
72 安全マーカ情報
235 警告開始エリア
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33