特開 2024-179390 進入検知装置、及び進入検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179390

(43)【公開日】2024-12-26

(54)【発明の名称】進入検知装置、及び進入検知方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241219BHJP

   G06T 7/246 20170101ALI20241219BHJP

【ＦＩ】

H04N7/18 D

G06T7/246

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023098203

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】303057365

【氏名又は名称】株式会社安藤・間

(74)【代理人】

【識別番号】110001335

【氏名又は名称】弁理士法人 武政国際特許商標事務所

(72)【発明者】

【氏名】山岸 稔

(72)【発明者】

【氏名】千野 雅紀

(72)【発明者】

【氏名】早川 健太郎

(72)【発明者】

【氏名】戸田 皓

(72)【発明者】

【氏名】長谷川 博一

(72)【発明者】

【氏名】山下 広秋

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC01

5C054FC07

5C054FC12

5C054FC14

5C054FC15

5C054FE12

5C054FE16

5C054FE28

5C054FF06

5C054GB01

5C054HA19

5C054HA31

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA04

5L096FA69

5L096GA38

5L096HA05

(57)【要約】

【課題】本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、目的とする移動体による禁止領域への進入を監視することができ、しかも従来技術に比して高い精度で検知することができる進入検知装置と、これを用いた進入検知方法を提供することである。
【解決手段】本願発明の進入検知装置は、第１領域にある移動体が第２領域に進入したことを検知する装置であって、撮影手段と境界線設定手段、マーカー検出手段、マーカー位置照合手段を備えたものである。マーカー検出手段は、移動体に取り付けられたマーカーを撮影した「マーカー部」を画像処理によって現地画像から検出する手段であり、マーカー位置照合手段は、現地画像におけるマーカー部の位置と境界線の位置を照らし合わせる手段である。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１領域にある移動体が、第２領域に進入したことを検知する装置であって、
一地点に設置された状態で、前記移動体を含む現地画像を定期的又は連続的に撮影する撮影手段と、
前記第１領域と前記第２領域との境界面を、境界線として前記撮影手段の画角に設定する境界線設定手段と、
前記移動体に取り付けられたマーカーを撮影したマーカー部を、画像処理を行うことによって前記現地画像から検出するマーカー検出手段と、
前記現地画像における前記マーカー部の位置と前記境界線の位置を照らし合わせるマーカー位置照合手段と、を備え、
前記マーカーには、あらかじめ選定されたマーカー色が付され、
前記マーカー検出手段は、前記マーカー色に基づいて前記マーカー部を検出し、
前記マーカー位置照合手段によって前記マーカー部が前記境界線に接触した又は越えたと判定されたときに、前記移動体が前記第２領域に進入したものと判断する、
ことを特徴とする進入検知装置。

【請求項2】

前記移動体には、球体又は略球体の前記マーカーが取り付けられ、
前記マーカー検出手段は、前記現地画像のうち前記マーカー色と同一又は近似する色に係る画素部分を候補部分として検出するとともに、輪郭が円形又は略円形となる該候補部分を前記マーカー部として検出する、
ことを特徴とする請求項１記載の進入検知装置。

【請求項3】

過去に撮影された前記現地画像における前記マーカー部に基づいて、今回の前記現地画像に係る前記マーカー部を検出するマーカー追跡手段を、さらに備え、
前記マーカー検出手段によってあらかじめ定めた回数だけ連続して前記マーカー部が検出されると、前記マーカー追跡手段によって前記マーカー部が検出される、
ことを特徴とする請求項２記載の進入検知装置。

【請求項4】

前記境界線の周辺に、検知対象領域を設定する領域設定手段を、さらに備え、
前記マーカー検出手段は、前記現地画像のうち前記検知対象領域を対象として前記マーカー部を検出する、
ことを特徴とする請求項１記載の進入検知装置。

【請求項5】

前記撮影手段によって撮影された事前現地画像に基づいて、前記マーカー色を選定するマーカー色選定手段を、さらに備え、
前記事前現地画像は、前記マーカーが取り付けられていない前記移動体を含む画像であり、
前記マーカー色選定手段は、前記事前現地画像に含まれない色を検出して前記マーカー色として選定する、
ことを特徴とする請求項１記載の進入検知装置。

【請求項6】

第１領域にある移動体が、第２領域に進入したことを検知する方法であって、
撮影手段を設置する撮影手段設置工程と、
前記第１領域と前記第２領域との境界面を、境界線として前記撮影手段の画角に設定する境界線設定工程と、
前記撮影手段によって前記移動体を含む現地画像を、定期的又は連続的に撮影する撮影工程と、
前記移動体に取り付けられたマーカーを撮影したマーカー部を、画像処理を行うことによって前記現地画像から検出するマーカー検出工程と、
前記現地画像における前記マーカー部の位置と前記境界線の位置を照らし合わせるマーカー位置照合工程と、を備え、
前記マーカーには、あらかじめ選定されたマーカー色が付され、
前記マーカー検出工程では、前記マーカー色に基づいて前記マーカー部を検出し、
前記マーカー位置照合工程で、前記マーカー部が前記境界線に接触した又は越えたと判定されたときに、前記移動体が前記第２領域に進入したものと判断する、
ことを特徴とする進入検知方法。

【請求項7】

実空間において、前記境界面を明示するように、２以上の目印体を配置する境界面明示工程を、さらに備え、
前記撮影手段設置工程では、２以上の前記目印体を利用して、前記境界面が前記現地画像における前記境界線となるように前記撮影手段を設置する、
ことを特徴とする請求項６記載の進入検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、建設機械による禁止領域への進入を検知する技術に関するものであり、より具体的には、あらかじめ選定された色が付されたマーカーを建設機械に取り付けたうえで定点カメラによってこの建設機械を撮影し、マーカーの色に基づいて建設機械による進入を検知することができる進入検知装置と、これを用いた進入検知方法に関するものである。

【背景技術】

【0002】

供用中の施設に対して、改良工事や補強工事などが行われることがある。例えば、供用中の道路に対して拡幅工事を行ったり、老朽化した建物（集合住宅や学校など）の補強工事を行ったり、あるいは災害等によって破損した供用施設の復旧工事を行ったりすることがある。この場合、当然ながら工事現場の周辺には、供用施設の利用者が往来している。つまり、工事に使用される建設機械と、工事とは関係ない利用者が接近することになり、利用者の安全を確保するためには建設機械の移動範囲が制限されることになる。具体的には、利用者が往来することができる領域（以下、「供用エリア」という。）と、建設機械の稼働が許容される領域（以下、「工事エリア」という。）を設定し、建設機械による供用エリアへの進入は禁止される。そこで一般的には、供用エリアと工事エリアとの境界を超えないように、建設機械を管理しながら工事を行っている。

【0003】

従来、建設機械による供用エリアへの進入に関しては、２Ｄ－ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）によるレーザーバリアへの接触を監視したり、３Ｄ－ＬｉＤＡＲで３次元計測を行うことによって監視したり、あるいはＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）やトータルステーションを用いて直接的に位置計測を行うことによって監視したりしていた。

【0004】

しかしながら、従来の監視手法にはそれぞれ問題があった。例えばレーザーバリアによる監視は、バリアを通過する全ての物体に反応するため、建設機械など目的とする物体に限って監視することができない。一方、３Ｄ－ＬｉＤＡＲやトータルステーションによる監視は、その範囲設定や機器設置等の事前準備が煩雑であり、これに伴い監視コストも高騰することになる。特に３Ｄ－ＬｉＤＡＲを用いた場合、点群処理を行うため計算量が多くなり、その結果、判断までに相当の時間を要し、供用エリアへの進入を制御することができないことも考えられる。またＧＮＳＳによる監視は、測位衛星からの電波が届かない領域では利用できないため、トンネルや建物内などでは利用することができない。

【0005】

そこで、従来の監視手法を改良した種々の技術がこれまでにも提案されている。例えば特許文献１では、監視対象物とそれ以外のものを区別しない問題を改善すべく、マーカーが付設された監視対象物を撮影することによってその位置や挙動を監視する技術について提案している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２３－０５７３０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に開示される技術は、マーカーが付設された監視対象物を撮影し、マーカーを含む画像を学習器に入力することで、画像データ内における二次元座標、及びマーカーとカメラとの距離を検出するものである。つまり、事前に画像を含む教師データを学習することによって、あらかじめ学習器を生成しておく必要がある。

【0008】

特許文献１の技術によれば、監視対象物にマーカーを付設することから、監視対象物とそれ以外のものを区別したうえで監視することができる。しかしながら、事前に画像を学習する必要があることから汎用性に欠けるという問題がある。トンネル内と屋外の道路では環境が全く異なるため、撮影した画像もやはりその様相が異なるものとなる。したがって、環境に応じた機械学習をその都度実施することが求められ、すなわち汎用的に利用することができないわけである。そのうえ、教師データを用意したり機械学習を行ったりするなど、事前準備に時間とコストがかかるといった問題もある。さらに、機械学習を利用する場合、すべての判定結果を正解とすることが極めて困難であることが知られており、少なくとも供用施設の利用者など第三者の安全を図る目的で採用するにはその信頼性は十分とは言えない。

【0009】

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、目的とする移動体による禁止領域への進入を監視することができ、しかも従来技術に比して高い精度で検知することができる進入検知装置と、これを用いた進入検知方法を提供することである。

【課題を解決するための手段】

【0010】

本願発明は、周辺環境とは異なる特定の色が付されたマーカーを移動体に取り付け、その移動体を撮影した画像から特定色を抽出することによって移動体の挙動を監視する、という点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。

【0011】

本願発明の進入検知装置は、第１領域（例えば、工事エリア）にある移動体が第２領域（例えば、供用エリア）に進入したことを検知する装置であって、撮影手段と境界線設定手段、マーカー検出手段、マーカー位置照合手段を備えたものである。このうち撮影手段は、一地点に設置された状態で移動体を含む「現地画像」を定期的（あるいは、連続的）に撮影する手段であり、境界線設定手段は、第１領域と第２領域との「境界面」を撮影手段の画角に「境界線」として設定する手段である。またマーカー検出手段は、移動体に取り付けられたマーカーを撮影した「マーカー部」を画像処理によって現地画像から検出する手段であり、マーカー位置照合手段は、現地画像におけるマーカー部の位置と境界線の位置を照らし合わせる手段である。なおマーカーには、あらかじめ選定された「マーカー色」が付されている。そして、マーカー検出手段がマーカー色に基づいてマーカー部を検出し、マーカー位置照合手段によってマーカー部が境界線に接触した（あるいは、越えた）と判定したときに、移動体が第２領域に進入したものと判断する。

【0012】

本願発明の進入検知装置は、移動体に略球体（球体を含む）のマーカーが取り付けられるものとすることもできる。この場合、マーカー検出手段は、現地画像のうちマーカー色と同一の（あるいは、近似する）色に係る画素部分を「候補部分」として検出するとともに、輪郭が略円形（円形を含む）となる候補部分をマーカー部として検出する。

【0013】

本願発明の進入検知装置は、マーカー追跡手段をさらに備えたものとすることもできる。このマーカー追跡手段は、過去に撮影された現地画像におけるマーカー部に基づいて、今回の現地画像に係るマーカー部を検出する手段である。この場合、マーカー検出手段によってあらかじめ定めた回数だけ連続してマーカー部が検出されると、マーカー追跡手段によってマーカー部が検出される。

【0014】

本願発明の進入検知装置は、領域設定手段をさらに備えたものとすることもできる。この領域設定手段は、境界線の周辺に「検知対象領域」を設定する手段である。この場合、マーカー検出手段は、現地画像のうち検知対象領域を対象としてマーカー部を検出する。

【0015】

本願発明の進入検知装置は、マーカー色選定手段をさらに備えたものとすることもできる。このマーカー色選定手段は、撮影手段によって撮影された「事前現地画像」に基づいてマーカー色を選定する手段である。なお、事前現地画像はマーカーが取り付けられていない移動体を含む画像であり、マーカー色選定手段は事前現地画像に含まれない色を検出してマーカー色として選定する。

【0016】

本願発明の進入検知方法は、本願発明の進入検知装置を用いて移動体による進入を検知する方法であって、撮影手段設置工程と境界線設定工程、撮影工程、マーカー検出工程、マーカー位置照合工程を備えた方法である。このうち撮影手段設置工程では、撮影手段を設置し、境界線設定工程では、第１領域と第２領域との境界面を撮影手段の画角に境界線として設定し、撮影工程では、撮影手段によって移動体を含む現地画像を定期的（あるいは連続的）に撮影する。またマーカー検出工程では、移動体に取り付けられたマーカーを撮影したマーカー部を画像処理によって現地画像から検出し、マーカー位置照合工程では、現地画像におけるマーカー部の位置と境界線の位置を照らし合わせる。そして、マーカー検出工程ではマーカー色に基づいてマーカー部を検出し、マーカー位置照合工程においてマーカー部が境界線に接触した（あるいは、越えた）と判定されたときに移動体が第２領域に進入したものと判断する。

【0017】

本願発明の進入検知方法は、境界面明示工程をさらに備えた方法とすることもできる。この境界面明示工程では、実空間において境界面を明示するように２以上の「目印体」を配置する。この場合、撮影手段設置工程では、２以上の目印体を利用して、境界面が現地画像における境界線となるように撮影手段を設置する。

【発明の効果】

【0018】

本願発明の進入検知装置、及び進入検知方法には、次のような効果がある。
（１）現地画像を用いた２次元による検出を行うため計算負荷が軽減され、その結果、移動体が第２領域（例えば、供用エリア）に進入したことを迅速に（例えば、リアルタイムに）検知することができる。
（２）マーカーが取り付けられ移動体の画像に基づいて検知するため、実施場所の制約を受けることなく、目的とする物体（例えば、建設機械）のみを検知することができる。
（３）現実の「境界面」に相当する「境界線」を現地画像に設定することによって、現実の位置座標などを取り扱う必要がない。これにより、撮影手段の設置位置が厳密に制限されることがなく、すなわち撮影手段の設置や設定が簡便になる。
（４）自動停止機構と組み合わせることによって、第２領域（例えば、供用エリア）に進入した移動体を確実に停止させることができ、その結果、より安全性を確保することができる。

【図面の簡単な説明】

【0019】

【図1】トンネル内の第１領域で作業するボーリングマシンを撮影手段が撮影している状況を模式的に示す斜視図。

【図2】（ａ）はマーカーが第１領域にある状態の現地画像を模式的に示す画像図、（ｂ）はマーカーが第２領域に進入した状態の現地画像を模式的に示す画像図。

【図3】本願発明の進入検知装置の主な構成を示すブロック図。

【図4】トンネル照明の種類に応じて５つずつの候補マーカー色が表示されたモデル図。

【図5】（ａ）は比較的広く拡張された検出用マーカー色を示すモデル図、（ｂ）は比較的狭く拡張された検出用マーカー色を示すモデル図。

【図6】撮影手段の画角内に設定された境界線を示すモデル図。

【図7】境界線を基準とする所定の領域（以下、「検知対象領域ＴＡ」という。）を設定する手段。

【図8】直前フレームの現地画像に対して実行された円検出に基づいて今回フレームの現地画像から１のマーカー部を検出するまでの手順を示すフロー図。

【図9】マスク処理手段によるマーカー部の検出から、マーカー追跡手段によるマーカー部の検出に移行する手順を示すフロー図。

【図10】マーカー追跡手段によるマーカー部の検出の成否について判定する手順を示すフロー図。

【図11】警報としての文字がディスプレイに出力された状態を示すモデル図。

【図12】本願発明の進入検知装置の主な処理の流れの一例を示すフロー図。

【図13】本願発明の進入検知方法の主な工程を示すフロー図。

【発明を実施するための形態】

【0020】

本願発明の進入検知装置、及び進入検知方法の例を図に基づいて説明する。

【0021】

１．全体概要
本願発明は、建設機械などの移動体が第１領域（例えば、工事エリア）から第２領域（例えば、供用エリア）に進入したことを検知するものであり、カメラやビデオカメラといった撮影手段を用いて現地で移動体を撮影した画像（以下、「現地画像」という。）からその進入を検知することを技術的特徴の一つとしている。ただし移動体には、あらかじめ定められた色（以下、「マーカー色」という。）が付されたマーカーが取り付けられており、すなわち現地画像に含まれるマーカーを手掛かりとして移動体の進入を検知するわけである。なお便宜上ここでは、移動体が第１領域に収まっている状態のことを「通常状態」と、移動体が第２領域に進入した状態（あるいは、進入しようとする状態）のことを「警戒状態」ということとする。

【0022】

例えば図１では、トンネルＴＮ内に工事エリアである第１領域と、供用エリアである第２領域が設定され、第１領域で作業するボーリングマシンＢＭ（移動体）を撮影手段１０１が撮影している。この図に示すように、第１領域と第２領域の間には仮想の「境界面ＳＢ」が設定されており、また一地点に固定された撮影手段１０１（いわゆる定点カメラ）がこの境界面ＳＢとボーリングマシンＢＭ、そしてマーカー１０５を含む現地画像を定期的（あるいは、連続的）に取得している。

【0023】

図２は、図１に示す撮影手段１０１が取得した現地画像ＰＨを模式的に示す図であり、（ａ）はマーカー１０５が第１領域にある状態（つまり、通常状態）を示し、（ｂ）はマーカー１０５が第２領域に進入した状態（つまり、警戒状態）を示している。この図に示すように、撮影手段１０１によって撮影される画角には、境界面ＳＢが投影された「境界線ＬＢ」が設定される。これにより、マーカー１０５が境界線ＬＢに接触したか、あるいは越えたときに、移動体が第２領域に進入したものと判断することができるわけである。なお便宜上ここでは、現実のマーカー１０５と区別するため、現地画像ＰＨのうちマーカー１０５に相当する部分（つまり、マーカー１０５を撮影した部分）のことを特に「マーカー部１０５Ｐ」ということとする。

【0024】

２．進入検知装置
本願発明の進入検知装置１００について説明する。なお、本願発明の進入検知方法は、本願発明の進入検知装置１００を用いて移動体による進入を検知する方法である。したがって、まずは本願発明の進入検知装置１００について説明し、その後に本願発明の進入検知方法について説明することとする。

【0025】

図３は、本願発明の進入検知装置１００の主な構成を示すブロック図である。この図に示すように本願発明の進入検知装置１００は、撮影手段１０１と境界線設定手段１０２、マーカー検出手段１０３、マーカー位置照合手段１０４を含んで構成され、さらにマーカー色選定手段１０６やマーカー色指定手段１０７、領域設定手段１０８、マスク処理手段１０９、マーカー追跡手段１１０、警告出力手段１１１、監視側送受信手段１１２、候補マーカー色記憶手段１１６、画像記憶手段１１７、移動体１１５、マーカー１０５、移動側送受信手段１１３、移動体制御手段１１４などを含んで構成することもできる。なお、移動体１１５にはマーカー１０５が取り付けられており、また移動側送受信手段１１３と移動体制御手段１１４は、移動体１１５の周辺（移動側）に配置することもできるし、撮影手段１０１の周辺（監視側）に配置することもできる。

【0026】

進入検知装置１００を構成する主な要素のうち境界線設定手段１０２とマーカー検出手段１０３、マーカー位置照合手段１０４、マーカー色選定手段１０６、マーカー色指定手段１０７、領域設定手段１０８、マスク処理手段１０９、マーカー追跡手段１１０、警告出力手段１１１は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード等の入力手段やディスプレイを具備するもので、パーソナルコンピュータやサーバー、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末などによって構成することができる。すなわち、所定のプログラムによってコンピュータ装置に演算処理を実行させることで、これら各種手段の処理を行うわけである。例えば図１では、上記した手段を実行するためのパーソナルコンピュータＰＣを撮影手段１０１の周辺に配置するとともに、これと接続することによって撮影手段１０１が取得した現地画像ＰＨをパーソナルコンピュータＰＣに伝送する構成としている。なお撮影手段１０１も、専用のものとして用意することもできるし、コンピュータ装置に含まれるものを利用することもできる。

【0027】

候補マーカー色記憶手段１１６と画像記憶手段１１７は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバーに構築することもできる。データベースサーバーに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由で保存するクラウドサーバーとすることもできる。

【0028】

以下、本願発明の進入検知装置１００を構成する主な要素ごとに詳しく説明する。

【0029】

（マーカー）
マーカー１０５は、移動体１１５に取り付けられるものであって、既述したとおりあらかじめ選定された「マーカー色」が付されたものである。このマーカー色としては、「目立つ」色が望ましく、したがって現地画像ＰＨに含まれる移動体１１５の色や背景色とは際立って異なる色をマーカー色として選定するとよい。例えば、定位置に設置された撮影手段１０１によって事前に写真（以下、特に「事前現地画像」という。）を撮影し、その事前現地画像に含まれていない色をマーカー色として選定することができる。そのため事前現地画像は、マーカー１０５が取り付けられる前の移動体１１５を含むように、しかも現地画像ＰＨと同等の範囲となるように撮影するとよい。

【0030】

事前現地画像に基づいてマーカー色を選定するにあたっては、人の判断によって選定することもできるし、マーカー色選定手段１０６によって機械的（自動的）に選定する仕様にすることもできる。本来、色は人の視覚で認識するものであり、そのため個人差が伴うものであるが、近年この色をコンピュータで取り扱うべくモデル化するようになった。色をモデル化する手法にも種々あり、色相Ｈ（Ｈｕｅ）と彩度Ｓ（Ｓａｔｕｒａｔｉｏｎ）、明度Ｖ（Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ）からなるＨＳＶモデルや、赤（Ｒｅｄ）・緑（Ｇｒｅｅｎ）・青（Ｂｌｕｅ）の３色を基本色とするＲＧＢモデル、シアン（Ｃｙａｎ）・マゼンタ（Ｍａｇｅｎｔａ）・イエロー（Ｙｅｌｌｏｗ）・ブラック（Ｋｅｙ ｃｏｌｏｒ）の４色を基本色とするＣＭＹＫモデルのほか、ＮＣＳモデルやオストワルト表色系などが知られている。マーカー色選定手段１０６は、事前現地画像の各画素に付された色を「色モデル」における「色情報」として取り扱い、事前現地画像に含まれる色情報を抽出するとともに、その抽出した色情報とは異なる色情報を出力する。そしてオペレータは、マーカー色選定手段１０６によって出力されたいわばマーカー色の候補から、所望するマーカー色を選定する。

【0031】

マーカー色が付されたマーカー１０５とするにあたっては、そのマーカー色を有する材料で製作したり、表面にマーカー色の塗料等を塗ったり、マーカー色の紙や布を貼付したりすることができる。あるいは、マーカー１０５の内部にＬＥＤなどの照明器具を内蔵し、その照明によってマーカー色を表示することもできる。

【0032】

後述するように進入検知装置１００は、現地画像ＰＨからマーカー部１０５Ｐを検出し、現地画像ＰＨ内における境界線ＬＢとマーカー部１０５Ｐとの位置関係によって警戒状態を判断する。このマーカー部１０５Ｐは、現地画像ＰＨ内のマーカー色に基づいて検出するが、さらにマーカー部１０５Ｐの形状（輪郭）に基づいて検出することもできる。そのためマーカー１０５は、検出しやすい外形のものとすることが望ましく、いずれからの角度で見ても円形となる球形を採用するとよい。もちろんマーカー１０５は、球形に限らず種々の形状とすることができるが、ここではマーカー１０５の外形を球形とした例で説明する。

【0033】

本願発明の進入検知装置１００は、目的とする１の移動体１１５のみを監視（警戒状態を検知）することもできるし、２以上の移動体１１５を監視する仕様にすることもできる。例えば、２以上の建設機械を監視したり、あるいは作業者と建設機械を監視したりするわけである。この場合、どの移動体１１５が警戒状態にあるのかを把握することが望ましく、そのため２以上の移動体１１５にはそれぞれ異なるマーカー１０５を取り付けるとよい。例えば、識別可能な程度にマーカー色が異なるマーカー１０５を取り付けたり、識別可能な程度にその外形が異なるマーカー１０５を取り付けたりするとよい。

【0034】

（撮影手段）
撮影手段１０１は、定期的あるいは連続的に現地画像ＰＨを取得することができるものであり、例えばデジタルカメラやデジタルビデオカメラを利用することができる。撮影手段１０１としてデジタルカメラを利用する場合いわゆる「連続静止画」を取得するように制御され、またデジタルビデオカメラを利用する場合は動画を構成する単画像がそれぞれ現地画像ＰＨとされる。なお、撮影手段１０１が現地画像ＰＨを取得する頻度は、例えば毎秒２４～６０枚（つまり、２４～６０ｆｐｓ）として設計することができるが、もちろん毎秒２４未満として設計することも、毎秒６１枚以上として設計することもできる。撮影手段１０１によって取得された現地画像ＰＨは、画像記憶手段１１７に記憶される（図３）。

【0035】

撮影手段１０１は、一地点に設置され、いわゆる「定点カメラ」として使用される。例えば図１では、撮影手段１０１を三脚に設置することで定点カメラとしている。また撮影手段１０１は、その光軸が境界面ＳＢと略平行（平行を含む）となる姿勢で設置される。図１の例では、境界面ＳＢが概ねトンネル軸方向（延長方向）となるように設定されており、したがって撮影手段１０１もその光軸がトンネル軸方向となる姿勢で設置されている。これにより、図２に示すように撮影手段１０１の画角に線分としての境界線ＬＢを設定することができる。なお、撮影手段１０１の光軸は境界面ＳＢと略平行とされると説明したが、必ずしも水平方向とする必要はなく（もちろん水平方向でもよい）、多少の仰角をもってもよい。

【0036】

後述するように境界線設定手段１０２によって、撮影手段１０１の画角に境界線ＬＢが設定される。このとき、撮影手段１０１の画角の中心線、つまり画角の左右範囲を等分する線分を境界線ＬＢとして自動的に設定する仕様にすることができる。この場合、境界面ＳＢと画角の中心線が一致するように撮影手段１０１を設置することが望ましい。したがって、現実空間に境界面ＳＢを明示するための目印体を配置し、その目印体を利用して撮影手段１０１を設置するとよい。具体的には、境界面ＳＢの方向（図１ではトンネル軸方向）に並ぶように、２以上のパイロンやボールといった目印体を一時的に配置し、これら目印体が重なって見えるように撮影手段１０１を設置するわけである。

【0037】

（マーカー色指定手段）
マーカー色指定手段１０７は、現地画像ＰＨからマーカー部１０５Ｐを検出するためのマーカー色（以下、「検出用マーカー色」という。）を指定する手段である。マーカー１０５に付されるマーカー色はあらかじめ選定されており、つまり既知であるものの、実際の画像として表示されると本来のマーカー色（つまり、マーカー１０５に付されたマーカー色）とは多少異なることもある。そこでマーカー色指定手段１０７によって、改めて検出用マーカー色を指定するわけである。

【0038】

マーカー色指定手段１０７は、オペレータがポインティングデバイス（マウスやタッチパネル、ペンタブレット、タッチパッド、トラックパッド、トラックボールなど）やキーボード等を利用することによって検出用マーカー色を指定する仕様にすることができる。例えば、マーカー１０５が取り付けられた移動体１１５を現地で撮影して現地画像ＰＨを取得し、その現地画像ＰＨを読み出して表示したうえで、オペレータがマーカー部１０５Ｐを指定（クリック）することによってマーカー色を指定することができる。

【0039】

また、あらかじめ候補マーカー色記憶手段１１６に記憶された複数のマーカー色（以下、「候補マーカー色」という。）から、オペレータが所望の候補マーカー色を選ぶことによって検出用マーカー色を指定することもできる。例えば図４では、トンネル照明の種類（図では、白色灯とナトリウム灯）に応じて複数（図では５つずつ）の候補マーカー色が候補マーカー色記憶手段１１６に記憶されており、これをディスプレイ等に表示したうえで、オペレータが選択する仕様とされている。

【0040】

マーカー色指定手段１０７によって指定される検出用マーカー色は、コンピュータで取り扱うために色モデル（ＨＳＶモデルやＲＧＢモデルなど）における色情報とされる。この色情報として検出用マーカー色を指定すると厳密に１点のみの色が指定されることとなり、現地画像ＰＨからマーカー部１０５Ｐを検出するにあたってはやや幅が狭いことも考えられる。そこで図５に示すように、所定の幅を設けたうえで検出用マーカー色を設定するとよい。例えば、オペレータが１点の色を指定すると、マーカー色指定手段１０７がその色を中心に、あらかじめ定めた幅（あるいは、オペレータが指示した幅）だけ拡張することによって検出用マーカー色を指定することができる。

【0041】

（境界線設定手段）
境界線設定手段１０２は、図６に示すように撮影手段１０１の画角内に境界線ＬＢを設定する手段である。この境界線ＬＢは、現地画像ＰＨ（撮影手段１０１の画角）を２分する線分であり、現地画像ＰＨのうち境界線ＬＢの一方側（例えば右側）が第１領域とされ、境界線ＬＢの他方側（例えば左側）が第２領域とされる。境界線設定手段１０２は、オペレータ操作によって境界線ＬＢを設定する仕様にすることもできるし、自動的に境界線ＬＢを設定する仕様にすることもできる。オペレータ操作によって設定する場合、ディスプレイ等に表示された現地画像ＰＨを目視しながらポインティングデバイスやキーボード等を利用することによって境界線ＬＢを設定したり、デフォルト表示された境界線ＬＢを所望の位置に移動させたうえで設定したりすることができる。

【0042】

一方、自動的に境界線ＬＢを設定する場合、撮影手段１０１の画角の中心線、つまり画角の左右範囲を等分する線分を境界線ＬＢとして設定する仕様にすることができる。あるいは、境界面ＳＢの方向に並ぶように２以上の目印体（パイロンやボール）を一時的に配置したうで画像を取得し、その画像に対して画像処理を行うことによって目印体を抽出するとともに、その目印体の位置を通る線分を境界線ＬＢとして設定する仕様にすることもできる。

【0043】

（領域設定手段）
領域設定手段１０８は、図７に示すように境界線ＬＢを基準とする所定の領域（以下、「検知対象領域ＴＡ」という。）を設定する手段である。既述したように、マーカー１０５が境界線ＬＢに接触したか、あるいは越えたときに、移動体が第２領域に進入したものと判断する。そのため、現地画像ＰＨからマーカー部１０５Ｐを検出することになるが、画像全体を走査しながら検索すると、時間を要するうえにノイズによる誤処理が生じるおそれもある。要は、マーカー１０５が境界線ＬＢの周辺に位置するときが問題であって、境界線ＬＢから遠く離れた画素に関してはそれほど重要ではないといえる。そこで、領域設定手段１０８によって検知対象領域ＴＡを設定し、この検知対象領域ＴＡに相当する画素からマーカー部１０５Ｐを検出するわけである。

【0044】

検知対象領域ＴＡを設定するにあたっては、オペレータ操作によって設定する仕様にすることもできるし、自動的に設定する仕様にすることもできる。オペレータ操作によって設定する場合、ディスプレイ等に表示された現地画像ＰＨを目視しながらポインティングデバイスやキーボード等を利用することによって検知対象領域ＴＡを設定したり、デフォルト表示された検知対象領域ＴＡの端部を図７に示すスライダーＳＬを操作することによって所望の位置に移動させたうえで設定したりすることができる。一方、自動的に検知対象領域ＴＡを設定する場合、境界線ＬＢを中心としてあらかじめ定めた幅だけ拡張するように設定する仕様にすることができる。この場合も、一旦自動的に設定された検知対象領域ＴＡに対して、例えばスライダーＳＬを操作することで変更することもできる。

【0045】

検知対象領域ＴＡは、図７に示すように現地画像ＰＨのうち左右方向を制限するように設定することもできるし、これに加えて（あるいは代えて）上下方向に制限するように設定することもできる。あるいは、任意の形状で検知対象領域ＴＡを設定することもできるし、検知対象領域ＴＡは設定しない（つまり、領域設定手段１０８を備えない）仕様にすることもできる。いずれにしろ検知対象領域ＴＡの形状は、現地の状況に応じて適宜設計するとよい。

【0046】

（マスク処理手段）
マスク処理手段１０９は、現地画像ＰＨの構成する画素のうち、「除外色」に係る画素に対してマスク処理を実行する手段である。ここで除外色とは、マーカー色指定手段１０７によって指定された「検出用マーカー色」を除いた色である。なお、領域設定手段１０８によって検知対象領域ＴＡが設定されるケースでは、その検知対象領域ＴＡを構成する画素に対してマスク処理を実行し、検知対象領域ＴＡが設定されないケースでは、現地画像ＰＨの構成する全ての画素に対してマスク処理を実行するとよい。

【0047】

（マーカー検出手段）
マスク処理手段１０９によって除外色に係る画素がマスク処理（いわば画像処理）されると、検知対象領域ＴＡ（あるいは、現地画像ＰＨ）には検出用マーカー色に係る画素が残される。マーカー検出手段１０３は、検出用マーカー色に係る画素の集合（以下、「候補部分」という。）に基づいてマーカー部１０５Ｐを検出する手段である。例えば、候補部分が、あらかじめ定めた数以上の画素で構成されているときに、その候補部分をマーカー部１０５Ｐとして検出することができる。

【0048】

あるいは、マーカー１０５の外形に基づいてマーカー部１０５Ｐを検出することもできる。この場合、ハフ変換といった従来技術を用いて候補部分の形状を検出し、その形状がマーカー１０５の外形に一致あるいは近似したときにその候補部分をマーカー部１０５Ｐとして検出することができる。例えば、球形のマーカー１０５を利用するケースでは、候補部分に対してハフ変換を実行し、円検出が成功するとその候補部分をマーカー部１０５Ｐとし、円検出が失敗するとその候補部分はマーカー部１０５Ｐとしないわけである。

【0049】

ところでマーカー検出手段１０３によって、１フレームの現地画像ＰＨから２以上のマーカー部１０５Ｐが検出されることも考えられる。この場合、直前のフレームに係る現地画像ＰＨに基づいて、１のマーカー部１０５Ｐを特定することができる。以下、図８を参照しながら、直前フレームの現地画像ＰＨに対して実行された円検出に基づいて、今回フレームの現地画像ＰＨから１のマーカー部１０５Ｐを検出するまでの手順について説明する。

【0050】

マスク処理手段１０９によって除外色に係る画素がマスク処理され、さらにマーカー検出手段１０３によって候補部分が抽出されると、その候補部分に対してハフ変換を実行する。円検出が成功した場合、直前フレームに係る円検出の結果を読み出し、直前フレームにおいても円検出が成功していると、今回の検出円のうち直前のマーカー部１０５Ｐに係る検出円に最も距離が近いものを今回のマーカー部１０５Ｐとして出力する。もちろん、今回フレームから１の候補部分のみが抽出されているときは、そのまま今回のマーカー部１０５Ｐとして出力する。一方、今回の円検出が成功したものの、直前フレームにおいては円検出が失敗していると、今回の検出円のうち検出用マーカー色に係る画素を最も多く含むものを今回のマーカー部１０５Ｐとして出力する。

【0051】

今回フレームにおける円検出が失敗した場合、その候補部分の輪郭を抽出する。そして、直前フレームに係るマーカー部１０５Ｐの輪郭（あるいは検出円）と、今回の候補部分の輪郭が一部重複すると、その候補部分を今回のマーカー部１０５Ｐとして出力する。一方、直前の候補部分の輪郭（あるいは検出円）と、今回の候補部分の輪郭が重複しないときは、今回フレームからのマーカー部１０５Ｐの検出は失敗したと出力される。

【0052】

（マーカー追跡手段）
マーカー検出手段１０３によって、複数のフレームにわたって連続してマーカー部１０５Ｐが検出されると、パーティクルフィルタなど従来用いられているトラッキング技術を用いてマーカー部１０５Ｐを検出することもできる。マーカー追跡手段１１０は、トラッキングによって今回フレームの現地画像ＰＨからマーカー部１０５Ｐを検出する手段である。つまり、マーカー検出手段１０３とマーカー追跡手段１１０を併用しながら、マーカー部１０５Ｐの検出を行うわけである。以下、図９を参照しながら、マーカー検出手段１０３とマーカー追跡手段１１０によって、今回フレームの現地画像ＰＨからマーカー部１０５Ｐを検出するまでの手順について説明する。

【0053】

上述したように、マーカー検出手段１０３によって候補部分が抽出されると、その候補部分に対してハフ変換を実行して円検出を行う。そして、円検出によるマーカー部１０５Ｐの検出があらかじめ定めたフレーム数（図では５回分）だけ連続して成功すると、マーカー検出手段１０３による検出を一旦停止したうえで、マーカー追跡手段１１０がパーティクルフィルタを実行することによってマーカー部１０５Ｐを追跡していく。そして、マーカー追跡手段１１０によるマーカー部１０５Ｐの検出があらかじめ定めたフレーム数（図では１０回分）だけ連続して失敗すると、マーカー追跡手段１１０による追跡を一旦停止したうえで、再びマーカー検出手段１０３によるマーカー部１０５Ｐの検出を実行していく。

【0054】

マーカー追跡手段１１０によるマーカー部１０５Ｐの検出は、単に追跡が成功しないことをもって「検出の失敗」とすることもできるし、図１０に示すようにさらに円検出を行うことによって「検出の失敗」とすることもできる。例えば図１０のケースでは、マーカー追跡手段１１０による追跡が成功しないときはそのまま「マーカー部１０５Ｐの検出失敗」を出力し、マーカー追跡手段１１０による追跡が成功したときはその追跡した部分に対してハフ変換を実行して円検出を行う。そして、その円検出に成功したときは「マーカー部１０５Ｐの検出成功」を出力し、円検出に成功しないときは「マーカー部１０５Ｐの検出失敗」を出力する。

【0055】

（マーカー位置照合手段）
マーカー位置照合手段１０４は、現地画像ＰＨ内における境界線ＬＢとマーカー部１０５Ｐの位置を照らし合わせる手段である。具体的には、現地画像ＰＨ内に２次元の座標系を設定し、境界線ＬＢに係る画素の座標と、マーカー部１０５Ｐに係る画素の座標を照らし合わせる。そして、マーカー部１０５Ｐが現地画像ＰＨのうち第１領域にあるときは「通常状態」と判断され、マーカー部１０５Ｐが境界線ＬＢに接触したとき、あるいはマーカー部１０５Ｐの一部が第２領域に含まれるときは「警戒状態」と判断される。

【0056】

マーカー位置照合手段１０４によって境界線ＬＢとマーカー部１０５Ｐの位置が照合され、その結果「警戒状態」と判断された場合、警告出力手段１１１によって警報が出力される。この警報を出力する媒体としては、文字や記号、音声、振動など、人が感知し得る種々の媒体を採用することができる。例えば図１１では、ディスプレイに「注意！境界線を越えています！」という文字を警報として出力している。

【0057】

また警告出力手段１１１に代えて（あるいは、加えて）、移動体制御手段１１４を利用することもできる。移動体制御手段１１４は、移動体１１５の動作を強制的に停止させることができるものである。この場合、監視側送受信手段１１２と移動側送受信手段１１３（図３）によって「警戒状態」という情報が伝達され、移動体制御手段１１４がこの情報を受け取ると移動体１１５の動作を強制的に停止させる。

【0058】

（処理の流れ）
以下、図１２を参照しながら本願発明の進入検知装置１００の主な処理について詳しく説明する。図１２は本願発明の進入検知装置１００の主な処理の流れの一例を示すフロー図であり、中央の列に実行する処理を示し、左列にはその処理に必要な情報を、右列にはその処理から生ずる情報を示している。

【0059】

第１領域にある移動体１１５が第２領域に進入したことを検知するにあたっては、まず事前準備としてマーカー１０５のマーカー色を選定する（図１２のＳｔｅｐ２０１）。このとき、既述したように人の判断によってマーカー色を選定することもできるし、事前現地画像を用いてマーカー色選定手段１０６がマーカー色を選定することもできる。マーカー色が選定されると、そのマーカー色が付されたマーカー１０５を移動体１１５に取り付け、撮影手段１０１を所定の地点に設置する。

【0060】

撮影手段１０１を設置すると、マーカー色指定手段１０７によって検出用マーカー色が指定されるとともに、境界線設定手段１０２によって撮影手段１０１の画角内に境界線ＬＢが設定される（図１２のＳｔｅｐ２０２）。さらに、領域設定手段１０８によって境界線ＬＢを基準とする検知対象領域ＴＡを設定することもできる（図１２のＳｔｅｐ２０３）。

【0061】

ここまでの事前準備が完了すると、実際に移動体１１５が稼働し、撮影手段１０１によって移動体１１５を含む現地画像ＰＨを定期的（あるいは連続的）に取得していく。そして、現地画像ＰＨを読み出して（図１２のＳｔｅｐ２０４）、現地画像ＰＨから検知対象領域ＴＡに相当する範囲が切り出される（図１２のＳｔｅｐ２０５）。

【0062】

検知対象領域ＴＡの範囲を切り出すと、マスク処理手段１０９によってその検知対象領域ＴＡの範囲に含まれる画素に対するマスク処理が行われる（図１２のＳｔｅｐ２０６）。次いで、マーカー検出手段１０３によって候補部分が検出されるとともに（図１２のＳｔｅｐ２０７）、その候補部分に対してマーカー部１０５Ｐの判定を行う（図１２のＳｔｅｐ２０８）。また、マーカー検出手段１０３によって連続してマーカー部１０５Ｐが検出されると、マーカー追跡手段１１０によって現地画像ＰＨ内のマーカー部１０５Ｐが追跡される（図１２のＳｔｅｐ２０９）。

【0063】

マーカー部１０５Ｐが検出され、あるいはマーカー部１０５Ｐが追跡されると、マーカー位置照合手段１０４によって境界線ＬＢとマーカー部１０５Ｐの位置が照合される（図１２のＳｔｅｐ２１０）。その結果、「警戒状態」と判断された場合、警告出力手段１１１によって警報が出力され（図１２のＳｔｅｐ２１１）、あるいは移動体制御手段１１４によって移動体１１５の動作が強制的に停止される。

【0064】

なお、現地画像ＰＨの読み出し（Ｓｔｅｐ２０４）～マーカー部１０５Ｐの照合（Ｓｔｅｐ２１０）は、撮影手段１０１によって取得される全ての現地画像ＰＨに対して実施する仕様にすることもできるし、一定間隔のフレームに係る（つまり、ある程度間引かれた）現地画像ＰＨに対して実施する仕様にすることもできる。

【0065】

３．進入検知方法
続いて、本願発明の進入検知方法ついて説明する。なお本願発明の進入検知方法は、本願発明の進入検知装置１００を用いて移動体による進入を検知する方法である。したがって、本願発明の進入検知装置１００について説明した内容と重複する説明は避け、本願発明の進入検知方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「２．進入検知装置」で説明したものと同様である。

【0066】

図１３は、本願発明の進入検知方法の主な工程を示すフロー図である。この図に示すように、移動体１１５による進入を検知するにあたっては、まずマーカー１０５のマーカー色を選定し（図１３のＳｔｅｐ３０１）、そのマーカー色が付されたマーカー１０５を移動体１１５に取り付け（図１３のＳｔｅｐ３０２）、また撮影手段１０１を所定の地点に設置する（図１３のＳｔｅｐ３０４）。このとき、現実空間に境界面ＳＢを明示するための２以上の目印体を配置し（図１３のＳｔｅｐ３０３）、これら目印体が重なって見えるように撮影手段１０１を設置することもできる。

【0067】

撮影手段１０１を設置すると、マーカー色指定手段１０７を用いて検出用マーカー色を指定するとともに（図１３のＳｔｅｐ３０５）、境界線設定手段１０２を用いて撮影手段１０１の画角内に境界線ＬＢを設定し（図１３のＳｔｅｐ３０６）、さらに領域設定手段１０８によって境界線ＬＢを基準とする検知対象領域ＴＡを設定する。

【0068】

ここまでの事前準備が完了すると、実際に移動体１１５が稼働し、撮影手段１０１によって移動体１１５を含む現地画像ＰＨを定期的（あるいは連続的）に取得していく（図１３のＳｔｅｐ３０７）。そして、マスク処理手段１０９を用いて検知対象領域ＴＡの範囲に含まれる画素に対するマスク処理を行い、マーカー検出手段１０３を用いて候補部分を検出するとともに、その候補部分に対してマーカー部１０５Ｐの判定を行う（図１３のＳｔｅｐ３０８）。

【0069】

マーカー部１０５Ｐが検出されると、マーカー位置照合手段１０４を用いて境界線ＬＢとマーカー部１０５Ｐの位置を照合し（図１３のＳｔｅｐ３０９）、その結果「警戒状態」と判断される場合、警告出力手段１１１によって警報が出力され（図１３のＳｔｅｐ３１０）、あるいは移動体制御手段１１４によって移動体１１５の動作が停止する。

【産業上の利用可能性】

【0070】

本願発明の進入検知装置、及び進入検知方法は、供用中の道路における工事のほか、集合住宅や学校といった建物、公園、屋外催事場など、供用中の施設付近で移動体が稼働する様々なケースで利用することができる。本願発明によれば、供用中の道路などを安全かつ効率的に実施することができ、ひいては道路のさらなる有効利用につながることを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。

【符号の説明】

【0071】

１００ 本願発明の進入検知装置
１０１ （進入検知装置の）撮影手段
１０２ （進入検知装置の）境界線設定手段
１０３ （進入検知装置の）マーカー検出手段
１０４ （進入検知装置の）マーカー位置照合手段
１０５ （進入検知装置の）マーカー
１０５Ｐ マーカー部
１０６ （進入検知装置の）マーカー色選定手段
１０７ （進入検知装置の）マーカー色指定手段
１０８ （進入検知装置の）領域設定手段
１０９ （進入検知装置の）マスク処理手段
１１０ （進入検知装置の）マーカー追跡手段
１１１ （進入検知装置の）警告出力手段
１１２ （進入検知装置の）監視側送受信手段
１１３ （進入検知装置の）移動側送受信手段
１１４ （進入検知装置の）移動体制御手段
１１５ （進入検知装置の）移動体
１１６ （進入検知装置の）候補マーカー色記憶手段
１１７ （進入検知装置の）画像記憶手段
ＢＭ ボーリングマシン
ＬＢ 境界線
ＰＣ コンピュータ
ＰＨ 現地画像
ＳＢ 境界面
ＳＬ スライダー
ＴＡ 検知対象領域
ＴＮ トンネル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】