特開 2024-51480 背景検出装置、背景検出方法及び物体検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051480

(43)【公開日】2024-04-11

(54)【発明の名称】背景検出装置、背景検出方法及び物体検知装置

(51)【国際特許分類】

   G06T 7/521 20170101AFI20240404BHJP

【ＦＩ】

G06T7/521

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022157668

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】390010054

【氏名又は名称】コイト電工株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】細谷 大輔

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096BA02

5L096DA05

5L096FA66

5L096FA69

5L096GA51

(57)【要約】      （修正有）

【課題】複雑な構造物に対応できるようにするとともに、自動的に背景領域を検出することができる背景検出装置、背景検出方法及び物体検知装置を提供する。
【解決手段】支柱の下部に制御ボックス等として設けられる本体部と、支柱の上部に設置されるＬｉＤＡＲと、を備える物体検知装置において、本体部の背景検出部は、光を間欠的に照射して走査範囲を走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するＬｉＤＡＲから点群情報が入力される入力部１１０と、所定時間間隔で入力部１１０に入力された点群情報に基づいて所定の空間内で固定された領域である背景領域を検出する画像生成部１１１と、合成部１１２と、円領域生成部１１３と、を備えている。そして、画像生成部１１１、合成部１１２及び円領域生成部１１３は、背景領域を点群情報に基づいて複数の円柱からなる形状に近似する。
【選択図】図３

【特許請求の範囲】

【請求項1】

地上に設置され、光を間欠的に照射して所定の空間を走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するセンサから前記点群情報が入力される入力部と、
所定時間間隔で前記入力部に入力された前記点群情報に基づいて前記所定の空間内で固定物の領域である背景領域を検出する検出部と、を備え、
前記検出部は、前記背景領域を前記点群情報に基づいて複数の円柱からなる形状に近似する、
ことを特徴とする背景検出装置。

【請求項2】

前記検出部は、
前記点群情報を高さ方向に圧縮して複数段の２次元画像を生成する画像生成部と、
前記画像生成部が前記所定時間間隔で生成した前記複数段の２次元画像を合成する合成部と、
前記合成部が合成した結果に基づいて前記円柱を生成する円領域生成部と、
を備えることを特徴とする請求項１に記載の背景検出装置。

【請求項3】

前記画像生成部は、対象空間のうち垂直方向を前記複数段に分割して同じ段に含まれる点群の点の高さ方向の座標を一定値にし、さらに、前記対象空間の水平面を複数画素に分割して、前記複数画素のうち点が存在する画素に特定値を設定し、前記特定値が設定された画素に基づいて前記２次元画像を生成することを特徴とする請求項２に記載の背景検出装置。

【請求項4】

前記合成部は、前記所定時間間隔で生成した前記２次元画像の特定の前記画素について前記特定値の数を集計し、集計期間において前記特定値の数が所定の閾値以下である画素を除去することを特徴とする請求項３に記載の背景検出装置。

【請求項5】

前記合成部は、前記除去が行われた後の画像について、所定のまとまり毎にラベリングを行うことを特徴とする請求項４に記載の背景検出装置。

【請求項6】

前記円領域生成部は、前記ラベリングされた領域について外接矩形領域を設定し、前記外接矩形領域に基づいて円領域を設定し、前記円領域に基づいて前記円柱を生成することを特徴とする請求項４に記載の背景検出装置。

【請求項7】

前記円領域生成部は、前記外接矩形領域の長辺と短辺の比が所定値以上の場合は、当該外接矩形領域を分割し、分割領域について改めて前記外接矩形領域を設定することを特徴とする請求項６に記載の背景検出装置。

【請求項8】

前記円領域生成部は、前記外接矩形領域を正方形状に短辺を延長して、前記正方形の内接円を求めることで前記円領域を設定することを特徴とする請求項６に記載の背景検出装置。

【請求項9】

前記円領域生成部は、前記短辺を前記センサから見て離れる方向に延長することを特徴とする請求項８に記載の背景検出装置。

【請求項10】

前記円領域生成部は、前記円領域に含まれない前記ラベリングされた領域がある場合は、当該含まれない前記ラベリングされた領域について前記外接矩形領域を設定することを特徴とする請求項６に記載の背景検出装置。

【請求項11】

前記センサと、
請求項１から１０のうちいずれか一項に記載の背景検出装置によって検出された前記背景領域の情報を取得し、前記センサが取得した前記点群情報のうち、前記背景領域内の前記点群情報を除去する除去部と、
前記除去部が除去した結果残った前記点群情報に基づいて物体の検知をする検知部と、
を備えることを特徴とする物体検知装置。

【請求項12】

地上に設置され、光を間欠的に照射して所定の空間を走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するセンサから前記点群情報が入力される入力工程と、
所定時間間隔で前記入力工程に入力された前記点群情報に基づいて前記所定の空間内で固定物の領域である背景領域を検出する検出工程と、を含み、
前記検出工程は、前記背景領域を前記点群情報に基づいて複数の円柱からなる形状に近似する、
ことを特徴とする背景検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば道路上の物体を検知する物体検知装置に利用するための背景領域を検出する背景検出装置及び背景検出方法に関する。

【背景技術】

【0002】

例えば道路上の物体を検知する物体検知装置として、ＬｉＤＡＲ（Light Detection And Ranging）により検出された点群をクラスタリングすることにより生成されたクラスタを用いて物体を検出する方法が知られている。

【0003】

例えば特許文献１には、環境光画像から検出された画像物標と、点群をクラスタリングしたクラスタに基づいて、クラスタが過結合していると判定した場合過結合クラスタを分割し、クラスタが過分割していると判定した場合画像物標に対応する点群における部分に存在する２以上のクラスタを結合することで、高精度に物体を正しい単位で検出することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１３１３８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された方法のように、過結合を検出することで、家屋や壁等の静止した固定物（背景領域）による影響を除去することは可能であるが、処理が複雑化してしまうという問題がある。

【0006】

そこで、予め背景領域を検出し、その背景領域からの点群は除外することで動く物体のみを検知する方法がある。しかし、例えば樹木のある領域を背景領域として平面的に定義してしまうと、樹木の枝の下を通行する歩行者等が検出されなくなってしまう場合がある。

【0007】

また、背景領域となる固定物等は、壁等の比較的単純な形状に限られない。例えば植生は、元々複雑な形状であるのに加えて、成長や季節による葉の有無など形状が変化する。また、道路工事や雪の吹き溜まりなどの環境の変化もある。このような環境の変化は、従来は人手で確認や背景領域の再測定等を行っていたが、非常に手間がかかることから自動化が望まれる。

【0008】

そこで、本発明は、複雑な構造物に対応できるようにするとともに、自動的に背景領域を検出することができる背景検出装置、背景検出方法及び物体検知装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するためになされた請求項１に記載された発明は、地上に設置され、光を間欠的に照射して所定の空間を走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するセンサから前記点群情報が入力される入力部と、所定時間間隔で前記入力部に入力された前記点群情報に基づいて前記所定の空間内で固定物の領域である背景領域を検出する検出部と、を備え、前記検出部は、前記背景領域を前記点群情報に基づいて複数の円柱からなる形状に近似する、ことを特徴とする背景検出装置である。

【発明の効果】

【0010】

本発明によれば、背景領域を複数の円柱からなる形状に近似するので、複雑な形状の物体を単純な形状により構成することができ、複雑な構造物に対応できるようになる。また、点群情報を入力することで、背景領域を自動的に検出することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態にかかる物体検知装置の設置例である。

【図2】図１に示された物体検知装置のブロック図である。

【図3】図２に示された背景検出部のブロック図である。

【図4】図３に示された背景検出部の動作のフローチャートである。

【図5】図４に示された時系列多段射影画像リスト作成動作の概略の説明図である。

【図6】図４に示された時系列多段射影画像リスト作成動作のフローチャートである。

【図7】多段射影画像生成時における空間分割についての説明図である。

【図8】１値を設定する動作の説明図である。

【図9】図４に示された時系列多段射影画像リストの合成動作の概略の説明図である。

【図10】図４に示された時系列多段射影画像リスト作成動作のフローチャートである。

【図11】合成多段射影画像の生成動作の説明図である。

【図12】図４に示された円領域作成動作の概略の説明図である。

【図13】図４に示された円領域作成動作のフローチャートである。

【図14】ラベル領域と外接矩形領域の説明図である。

【図15】ラベル領域を分割する際の説明図である。

【図16】外接矩形領域を延長する際の説明図である。

【図17】円領域の説明図である。

【図18】円領域に含まれないラベル領域についての説明図である。

【図19】図１に示された物体検知装置の動作のフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態を、図１～図１９を参照して説明する。図１は、本発明の一実施形態にかかる物体検知装置の設置例である。

【0013】

図１に示した物体検知装置１０は、例えば交差点の近傍等に固定された支柱Ｐに設置される。そして、物体検知装置１は交差点を通行する歩行者や車両等の移動体を検知する。即ち、物体検知装置１０は、地上に設置されている。この地上に設置されているとは、直接的又は間接的を問わずに地上に固定されていること、つまり、車両等の移動体ではなく建造物等の地上に固定的に設置されている物体へ設置されることを意味している。

【0014】

物体検知装置１０は、本体部１と、ＬｉＤＡＲ２と、を備えている。本体部１は、支柱Ｐの下部に制御ボックス等として設けられる。本体部１は、図２のブロック図に示すように、制御部１１と、通信部１２と、を備えている。

【0015】

制御部１１は、例えばコンピュータ等で構成されている。制御部１１は、物体検知装置１０の全体制御を司る。図１では、制御部１１は、除去部１１ａと、検知部１１ｂと、背景検出部１１ｃと、を機能的に備えている。

【0016】

除去部１１ａは、ＬｉＤＡＲ２が取得した点群情報について、後述する背景検出部１１ｃの検出結果に基づいて検知エリア外の点群情報を除去する。検知部１１ｂは、除去部１１ａが除去した結果残った点群情報に基づいて物体の検知をする。背景検出部１１ｃは、検知部１１ｂにおいて物体検知の対象から除外する領域である背景領域となる範囲を検出する。即ち、背景検出部１１ｃは、本実施形態にかかる背景検出装置として機能する。

【0017】

通信部１２は、制御部１１で検知された物体に関する情報を外部へ出力する。通信部１２は、例えば無線通信装置として構成すればよい（有線通信装置でもよい）。物体に関する情報としては、物体の種別や移動方向、移動速度などが挙げられる。また、出力先の具体例としては、支柱Ｐの近隣を通行する車両等の移動体や、交通管制センター等が挙げられる。

【0018】

ＬｉＤＡＲ２は、レーザ光を間欠的に照射して所定の空間を走査し、当該光の反射光を受光して当該反射光に基づく点群情報（３次元点群情報）を取得するセンサである。ＬｉＤＡＲ２は、照射したレーザ光の反射光により、照射範囲の空間に存在する物体までの距離を離散的に測定し、当該物体の位置や形状を３次元の点群として認識する。ＬｉＤＡＲ２は、本実施形態では、図１に示したように、支柱Ｐの上部に設置され、所定の空間として路面Ｒ上（路面Ｒ及びその上方の空間）を走査する。

【0019】

なお、本実施形態では、物体検知装置と背景検出装置が一体的に構成されているが、背景検出装置は別体としてもよい。つまり、背景検出装置はＬｉＤＡＲ２から点群情報が取得できれば他のサーバ装置等であってもよい。物体検知装置１０は、背景検出装置から背景領域の情報を取得して後述する物体検知処理を実行すればよい。

【0020】

次に、上述した構成の背景検出部１１ｃにおける背景領域検出方法について図３～図１８を参照して説明する。図３は、背景検出部１１ｃの機能的構成図である。背景検出部１１ｃは、入力部１１０と、画像生成部１１１と、合成部１１２と、円領域生成部１１３と、を備えている。

【0021】

入力部１１０は、ＬｉＤＡＲ２が取得した点群情報が入力される。入力された点群情報は、その座標系を道路等の走査範囲の空間の座標系に変換する道路座標系変換処理を行う。

【0022】

画像生成部１１１は、ＬｉＤＡＲが取得した点群情報を高さ方向に圧縮して複数段の２次元画像を点群毎に生成する。合成部１１２は、画像生成部が所定時間間隔で生成した２次元画像を合成する。円領域生成部１１３は、合成部１１２が合成した結果に基づく円領域から円柱を生成する。画像生成部１１１、合成部１１２及び円領域生成部１１３の各部における処理の詳細は後述する。

【0023】

次に、図４に背景検出部１１ｃの動作のフローチャートを示す。図４に示したフローチャートは、例えば１時間に１回など定期的に実行される。図４においては、まず、画像生成部１１１は、時系列多段射影画像リストを作成する（ステップＳ１１）。ステップＳ１１の概略について図５を参照して説明する。

【0024】

図５に示したように、背景領域となる物体として樹木の点群が取得されたとすると（図５左側）、それを高さ方向（垂直方向）に複数段に分割し、各段の点群を高さ方向に圧縮、つまり同じ段に含まれる点の高さ方向の座標を一定値として射影をとった２次元画像を生成する（図５右側）。そして、このような画像を時系列毎に生成してリスト化する。ここでいうリスト化とは、時系列毎に生成された画像を時系列の順序が識別できるように保存するという意味である。保存先は制御部１１が有するメモリ等でよい。

【0025】

図６にステップＳ１１のより詳細な動作のフローチャートを示す。まず、画像生成部１１１は、全画素が０値の多段射影画像を用意する（ステップＳ２１）。多段射影画像の前提となる空間分割について、図７を例示して説明する。図７においては、ＬｉＤＡＲ２の設置位置を原点とし、ＬｉＤＡＲ２の照射方向をｙ軸、水平面においてｙ軸と直交する方向をｘ軸とし、高さ方向をｚ軸とする。

【0026】

このような図７において、空間を高さ（ｚ）方向に例えば２５ｃｍ間隔のＨ段で等分割し、ｘｙ平面を例えば１０ｃｍ角のＭ×Ｎに等分割すると、Ｍ×Ｎ画素のＨ個の２次元画像が生成される。この画像を本実施形態では多段射影画像という。そして、これらＨ個の２次元画像の画素値は“０”または“１”となる二値画像となる。ここで、全画素が０値の多段射影画像とは、Ｈ個の２次元画像の全ての画素値が０値の画像をいう。

【0027】

次に、センサ（ＬｉＤＡＲ２）から反射点群データ（点群情報）が送られてきて入力部１１０に入力される（ステップＳ２２）

【0028】

次に、画像生成部１１１は、ステップＳ２２で入力された点群情報の点が多段射影画像中のどの画素に含まれるか判定する（ステップＳ２３）。例えば、図７の例でいうとＨ段のうちのどの段であって、Ｍ×Ｎ画素のうちのどの画素の位置か判定する。点群情報に含まれる各点は、座標系が道路座標系に変換されているので、Ｈ段でＭ×Ｎ画素に区切った空間内の各画素の座標の範囲と比較することで位置を判定することができる。

【0029】

次に、画像生成部１１１は、ステップＳ２３で判定した画素を１値に設定する（ステップＳ２４）。これは、図８に示すように、画素のうち点が含まれる画素については値を“１”とする。即ち、複数画素のうち点が存在する画素に特定値を設定している。画素は、空間内の座標としては範囲を持っているが、その範囲内に点が含まれればよい。また、画素は水平方向に定義されているので、各点のｚ軸方向の座標は１つの段につき一定の値に固定する。例えば、ｚ軸の座標が地上０～２５ｃｍまでの範囲含まれる点は“０”、２５～５０ｃｍまでに含まれる点は“２５”などとする。このようにすることで、各段の点群を高さ方向に圧縮、つまり高さ方向の座標を一定値として射影をとった２次元画像となる。

【0030】

また、上述したように、二値画像を生成するため、点が複数含まれた場合であっても値は１となる。つまり、取得した点が１以上ある画素の値を“１”に設定している。

【0031】

上記したステップＳ２３とステップＳ２４は、反射点数分繰り返す。例えば反射点（ステップＳ２２で取得した点）が３２０００個であった場合は、３２０００回繰り返す。

【0032】

次に、画像生成部１１１は、クロージング処理を行う（ステップＳ２５）。クロージング処理は、二値画像に対して数回の膨張処理を行った後、膨張処理と同じ回数の収縮処理を行う周知の処理である。このクロージング処理は、Ｈ段分（２次元画像の数分）繰り返す。

【0033】

次に、画像生成部１１１は、クロージング処理が終了した多段射影画像を、時系列多段射影画像のリストの末尾に加える（ステップＳ２６）。

【0034】

以上のステップＳ２１～Ｓ２６までは、例えば所定時間間隔として５分毎等で、Ｋ回繰り返す。Ｋ＝１０であった場合は、５分毎に生成した多段射影画像を１０有するリストが生成される。

【0035】

次に、合成部１１２は、時系列多段射影画像リストを合成する（ステップＳ１２）。ステップＳ１２の概略について図９を参照して説明する。

【0036】

図９は、例えば多段射影画像ｉ１、ｉ２、ｉ３からなるリストがあった場合の合成方法のイメージ図である。多段射影画像ｉ１は、例えば時刻ｔ１に取得された点群情報から生成され２次元画像ｉ１ａ、ｉ１ｂ、ｉ１ｃ、ｉ１ｄからなり、多段射影画像ｉ１は、例えば時刻ｔ１後の時刻ｔ２に取得された点群情報から生成され２次元画像ｉ２ａ、ｉ２ｂ、ｉ２ｃ、ｉ２ｄからなり、多段射影画像ｉ１は、例えば時刻ｔ２後の時刻ｔ３に取得された点群情報から生成され２次元画像ｉ３ａ、ｉ３ｂ、ｉ３ｃ、ｉ３ｄからなる。そして、各２次元画像において、“１”が設定されている画素は黒く塗りつぶされている。

【0037】

合成部１１２は、各多段射影画像の同じ画素において“１”が設定されている数を集計し、例えば過半数以上である場合は、当該画素の値を“１”とする。例えば、多段射影画像ｉ２の２次元画像ｉ２ａには、他の時刻にはない点群から生成された領域Ｘが存在する。この領域Ｘの画素は黒くなっているため値が“１”であるが、他の時刻では黒くなっておらず値が“０”である。したがって、過半数に満たず合成された多段射影画像ｃｉでは除去される。

【0038】

図１０にステップＳ１２のより詳細な動作のフローチャートを示す。まず、合成部１１２は、全画面が０値の合成多段射影画像を用意する（ステップＳ３１）。つまり、合成のベースとなる多段射影画像のデータを生成する。

【0039】

次に、ステップＳ１１で生成した多段射影画像リストにおいて、注目画素の値を時系列で加算する（ステップＳ３２）。つまり、多段射影画像リストに含まれる多段射影画像の数がＫであった場合は、注目画素の値の加算をＫ回繰り返す。

【0040】

次に、合成部１１２は、加算した結果が閾値以上ならば合成多段射影画像の該当画素の値を“１”にする（ステップＳ３３）。閾値としては例えば過半数が挙げられる。ステップＳ３３について、図１１を参照して説明する。図１１は、図９に対して一部を追加したものである。図１１は、基本的な構成は図９と同様である。図１１において、バツ印の座標の画素は時系列でみると少数派なので、加算しても過半数に満たず、合成多段射影画像ｃｉでは当該画素値は“１”としない。したがって、合成多段射影画像ｃｉにおいてはバツ印の座標の画素は除去される。

【0041】

即ち、合成部１１２は、注目画素（特定の画素）について１値（特定値）の数を集計し、Ｋ回（集計期間）において１値（特定値）の数が過半数未満（所定の閾値以下）である画素を除去している。上述した説明では、過半数以上の場合に１値を設定しているが、これは換言すると、過半数未満の場合は１値にならないため、結果としては除去することとなる。

【0042】

上述したステップＳ３２のＫ回のループとステップＳ３３は、Ｍ×Ｎ画素分繰り返す。すると、１段分の合成射影画像（２次元画像）が生成される。

【0043】

次に、合成部１１２は、ステップＳ３３までで生成された合成射影画像に対してクロージング処理を行い（ステップＳ３４）、続いてラベリング処理を行う（ステップＳ３５）。ラベリング処理とは、二値画像において、連結した領域（所定のまとまり）にラベルを付する周知の処理である。

【0044】

上述したクロージング処理及びラベリング処理は、Ｈ段繰り返す。このようにして合成多段射影画像が生成される。

【0045】

図４のフローチャートに戻って、次に、円領域生成部１１３は、合成多段射影画像からの円領域を設定する（ステップＳ１３）。ステップＳ１３の概略について図１２を参照して説明する。

【0046】

図１２は、合成多段射影画像から円領域を作成する方法のイメージ図である。図１２左側は合成多段射影画像である。この合成多段射影画像の黒い領域をカバーするような円領域を各段ごとに作成し、それを高さ方向に拡張すると、各段ごとに円柱状の領域が形成される（図１２右側）。図１２では、円柱Ｃｙ１、Ｃｙ２、Ｃｙ３、Ｃｙ４が形成されている。即ち、円領域生成部１１３は、合成部１１２でラベリングされた領域について後述する外接矩形領域を設定し、外接矩形領域に基づいて円領域を設定し、その円領域に基づいて円柱を生成する。

【0047】

この生成された円柱状の領域を物体検知装置１０では背景領域として利用する。即ち、円領域生成部１１３までの処理を行うことで、背景領域を点群情報に基づいて複数の円柱からなる形状に近似している。

【0048】

図１３にステップＳ１１のより詳細な動作のフローチャートを示す。まず、円領域生成部１１３は、注目段に存在する特定のラベル領域の外接矩形領域が長辺＞短辺×２を満たすか判定する（ステップＳ４１）。ラベル領域とは、ステップＳ３５で行ったラベリング処理によりラベリングされた領域をいう。

【0049】

外接矩形領域について図１４を参照して説明する。図１４に示したように、ラベル領域Ｌがあったとすると、そのラベル領域Ｌに外接するような矩形領域Ｂが外接矩形領域となる。

【0050】

次に、円領域生成部１１３は、ステップＳ４１の判定の結果、長辺＞短辺×２を満たす場合は（ステップＳ４１；ｙｅｓの場合）、矩形の長辺を等分して２分割する（ステップＳ４２）。ステップＳ４２について図１５を参照して説明する。長辺＞短辺×２を満たすということは、図１５に示したように、矩形領域が細長い形状となっていることを意味する。この場合、そのまま円を設定すると、ラベル領域に対して円領域が大きすぎるため、その円領域を基に背景領域を設定した場合、本来背景領域とすべき領域以外の領域を多く含んでしまう。そこで、本実施形態では２つに分割する。図１４では、長辺の中央を通る破線ｄで分割している。

【0051】

なお、本実施形態では、ステップＳ１１３は、長辺＞短辺×２、つまり、長辺と短辺の比の所定値を２：１としているが、それに限らない。但し、長辺と短辺の比が大きすぎると、矩形が細長すぎて上述したように本来の背景領域以外の領域を多く含んでしまう。一方、長辺と短辺の比が小さすぎると、分割が多発し処理負荷が増加する。したがって、背景検出装置となる機器の処理能力等を加味して適宜設定するのが好ましい。また、２分割にするのが処理負荷的に好ましいが、３分割以上であってもよい。

【0052】

次に、円領域生成部１１３は、分割した各矩形内の画素で再度ラベリング処理を行いステップＳ４１に戻る（ステップＳ４３）。即ち、分割領域について改めて外接矩形領域を設定する。

【0053】

一方、円領域生成部１１３は、ステップＳ４１の判定の結果、長辺＞短辺×２を満たさない場合は（ステップＳ４１；ｎｏの場合）、ラベル矩形領域の長辺がｘ軸に平行か判定する（ステップＳ４４）。ここで、ｘ軸やｙ軸とは、上記したように、ＬｉＤＡＲ２の照射方向をｙ軸、水平面においてｙ軸と直交する方向をｘ軸とする。

【0054】

次に、円領域生成部１１３は、ステップＳ４４の判定の結果、ラベル矩形領域の長辺がｘ軸に平行である場合は（ステップＳ４４；ｙｅｓの場合）、ｙ軸プラス方向へ矩形を延長して正方形にする（ステップＳ４５）。即ち、外接矩形領域の短辺をセンサから見て離れる方向に延長している。

【0055】

ステップＳ４５について、図１６を参照して説明する。図１６は、図７と同様にＬｉＤＡＲ２の設置位置を原点とし、上記のようにｘ軸、ｙ軸を規定したものである。ここで、ラベル矩形領域Ｂ１が図示したような位置関係にあったとする。ラベル矩形領域Ｂ１は、その長辺がｘ軸に平行である。そこで、ｙ軸プラス方向（矢印方向）へ矩形を延長して正方形状にする。

【0056】

この延長部分は、ＬｉＤＡＲ２から見てラベリングされた物体の影にあたる部分であり、延長部分に物体が存在してもしなくてもレーザ光が当たらないため、物体検知上影響が少ない。逆にラベル矩形領域Ｂ１においてｙ軸マイナス方向へ矩形を延長してしまうと、レーザ光が当たる部分を背景領域としてしまうため好ましくない。

【0057】

一方、円領域生成部１１３は、ステップＳ４４の判定の結果、ラベル矩形領域の長辺がｘ軸に平行でない場合は（ステップＳ４４；ｎｏの場合）、ラベル矩形領域中心点のｘ座標＞０を満たすか判定する（ステップＳ４６）。

【0058】

次に、円領域生成部１１３は、ステップＳ４６の判定の結果、ラベル矩形領域中心点のｘ座標＞０を満たす場合は（ステップＳ４６；ｙｅｓの場合）、ｘ軸プラス方向へ矩形を延長して正方形状にする（ステップＳ４７）。

【0059】

ステップＳ４７について、図１６を参照して説明する。図１６において、ラベル矩形領域Ｂ２が図示したような位置関係にあったとする。ラベル矩形領域Ｂ２は、その中心点のｘ座標が０より大きい。そこで、ｘ軸プラス方向へ矩形を延長して正方形状にする。

【0060】

この延長部分は、ＬｉＤＡＲ２から見てラベリングされた物体の影にあたる部分であり、延長部分に物体が存在してもしなくてもレーザ光が当たらないため、物体検知上影響が少ない。逆にｘ軸マイナス方向へ矩形を延長してしまうと、レーザ光が当たる部分を背景領域としてしまうため好ましくない。

【0061】

一方、円領域生成部１１３は、ステップＳ４６の判定の結果、ラベル矩形領域中心点のｘ座標＞０を満たさない場合は（ステップＳ４６；ｎｏの場合）、ｘ軸マイナス方向へ矩形を延長して正方形になるようにする（ステップＳ４８）。ステップＳ４８は、ステップＳ４７とｘ軸において逆向きに延長するものである。

【0062】

次に、円領域生成部１１３は、矩形中心点を円中心点、矩形辺長を円直径とする円の領域を設定する（ステップＳ４９）。図１７に示したように、矩形領域は、ステップＳ４５、Ｓ４７、Ｓ４８により正方形状になっているので、矩形辺長は円直径となる。なお、ステップＳ４９においては、円中心点と円直径のデータを保存するのみでよい。円領域自体は、背景領域として円中心点と円直径が利用されると判定される領域となる。なお、円中心点と円直径に加えて各段の高さの情報を含めて保存してもよい。即ち、正方形の内接円を求めることで円領域を設定している。

【0063】

次に、円領域生成部１１３は、ステップＳ４９で設定される円内に含まれないラベル領域があるか判定する（ステップＳ４Ａ）。ステップＳ４Ａの判定の結果、円内に含まれない（円からはみ出る）ラベル領域がある場合は（ステップＳ４Ａ；ｙｅｓ）、円外の画素のみを対象として再ラベリングを行いステップＳ４１へ戻る（ステップＳ４Ｂ）。

【0064】

ステップＳ４Ｂについて図１８を参照して説明する。図１８左側は、ラベル領域Ｌについて外接矩形領域Ｂを設定し、正方形状に延長して、その正方形の中心点を円中心点、矩形辺長を円直径とする円Ｃが設定されたものである。

【0065】

しかし、円Ｃはラベル領域Ｌの全てを領域内に含めることができていない（図１８中央）。そこで、円Ｃ内に含まれない領域Ｌａ（円外の画素）について、再度ステップＳ４１からの各ステップを行い円領域Ｃａを設定する（図１８右側）。図１８右側に示したように、本実施形態では、円同士が重なっていてもよい。

【0066】

ステップＳ４１～Ｓ４Ｂは、注目段に存在するラベル領域分繰り返す。そして、注目段が終了したら次の注目段を行い、Ｈ段分繰り返す。

【0067】

このようにすることで、各段のラベル領域毎に円領域を示す情報が生成される。円領域は図１２に示したように段内はｚ軸方向へ拡張することで、背景領域としては円柱状となる。そして、点群情報を多段に分割して処理を行っていることから各段に少なくとも１の円柱ができ、それらをまとめると高さ方向に複数の円柱が連なるような形状となる。

【0068】

図４のフローチャートに戻って、次に、円領域生成部１１３は、既存の背景データ（背景領域を示す情報）を更新する（ステップＳ１４）。円領域生成部１１３は、設定された円領域の情報（円中心点、円直径）と段の高さ情報に基づいて円柱状の背景領域を生成し、既存の背景領域を更新する。更新した背景領域を示す情報は後述するように除去部１１ａで利用される。

【0069】

上記説明から明らかなように、画像生成部１１１、合成部１１２、円領域生成部１１３が、所定時間間隔で入力部１１０に入力された点群情報に基づいて所定の空間内で固定物の領域である背景領域を検出する検出部として機能する。したがって、ステップＳ１１が入力工程、ステップＳ１１～Ｓ１３が検出工程として機能する。

【0070】

なお、本実施形態では、固定物とは静止した物体を意味するが、この静止した物体には、年月とともに成長したり落葉等をする植生等も含む。つまり、本実施形態の静止とは、移動している車両や歩行者等と区別するための相対的な概念であり、例えば長時間立ち止まっている人物や駐車車両が静止した物体、つまり固定物と検出され背景領域となる場合もあり得る。しかしながら、図４のフローチャートは定期的に実行されるため、背景領域を示す情報も定期的に更新されることから、人物等が長期にわたり背景領域となることは殆どないと考えられる。

【0071】

次に、上述した背景検出装置（背景検出部１１ｃ）で検出した背景領域の情報を利用して移動体等の物体を検知する物体検知の方法（物体検知方法）について図１９のフローチャートを参照して説明する。図１９に示したフローチャートは、制御部１１で実行される。なお、図１９に示した処理は図４に示した処理とは独立して実行される。

【0072】

まず、制御部１１は、点群データ読み込み処理を行う（ステップＳ１０１）。点群データ読み込み処理は、ＬｉＤＡＲ２が取得した点群情報を制御部１１が読み込む処理である。

【0073】

次に、制御部１１は、得られた点群を地面と平行になるように調整する点群データキャリブレーション処理を行う（ステップＳ１０２）。次に、制御部１１は、ＬｉＤＡＲ２が取得した点群情報の座標系を道路等の走査範囲の空間の座標系に変換する道路座標系変換処理を行う（ステップＳ１０３）。ＬｉＤＡＲ２が取得した点群情報はＬｉＤＡＲ２を基準とする座標系であるので、それをＬｉＤＡＲ２が設置された空間の座標系に変換する。

【0074】

次に、除去部１１ａは、検知エリア外点群除去処理を行う（ステップＳ１０４）。検知エリア外点群除去処理とは、背景検出部１１ｃで生成された円領域の情報に基づいて背景領域を特定し、背景領域に含まれる点群を除去する処理である。即ち、除去部１１ａは、ＬｉＤＡＲ２（センサ）が取得した点群情報のうち、背景領域内の点群情報を除去している。

【0075】

次に、検知部１１ｂは、ステップＳ１０４の除外処理により残された点群について点群クラスタリング処理を行う（ステップＳ１０５）。点群クラスタリング処理の具体的方法は周知の方法を用いればよく特に限定されない。点群クラスタリング処理によりクラスタが生成される。

【0076】

次に、検知部１１ｂは、ステップＳ１０５で生成されたクラスタの中心を導出するクラスタ中心導出処理を行う（ステップＳ１０６）。クラスタの中心とはクラスタの範囲となる座標の中心でよいが、クラスタの重心でもよい。

【0077】

次に、検知部１１ｂは、ステップＳ１０５で生成されたクラスタについて検知ターゲット判別処理を行う（ステップＳ１０７）。検知ターゲット判別処理とは、クラスタの形状や大きさ等から歩行者や車両などの移動体の種別を判別する処理である。即ち、検知部１１ｂは、除去部１１ａが除去した結果残った点群情報に基づいて物体の検知をしている。

【0078】

次に、検知部１１ｂは、ステップＳ１０７で判別されたターゲットを追跡する検知ターゲット追跡処理を行う（ステップＳ１０８）。検知ターゲット追跡処理では、ステップＳ１０７で判別されたターゲットについて、フレーム間におけるクラスタ中心位置の移動を検出することで行われる。

【0079】

次に、検知部１１ｂは、ステップＳ１０７で判別されたターゲットの速度を導出する速度導出処理を行う（ステップＳ１０９）。速度導出処理では、ステップＳ１０７で判別されたターゲットについて、フレーム間におけるクラスタ中心位置の移動距離とフレームレートにより導出される。

【0080】

次に、検知部１１ｂは、検知歩行者情報新規登録・更新・消去処理を行う（ステップＳ１１０）。検知歩行者情報新規登録・更新・消去処理とは、ステップＳ１０７～Ｓ１０９において判別等された歩行者の位置、速度、サイズについて制御部１１内のメモリに新規登録、更新又は消去の処理を行うことである。例えば歩行者が新たに検知された場合は、当該歩行者を新規登録し、以後は追跡されて位置が変更されるごとに更新される。また、追跡していた歩行者がＬｉＤＡＲ２の走査範囲外へ移動した等により検知でなくなった場合は消去される。なお、ステップＳ１１０は、歩行者と記載しているが、歩行者以外の車両等の移動体に対して行ってもよい。

【0081】

次に、制御部１１は、ステップＳ１１０で処理を行った歩行者（ターゲット）についてターゲット情報を通信部１２を介して外部に出力させる（ステップＳ１１１）。

【0082】

本実施形態によれば、背景検出部１１ｃは、地上に設置され、光を間欠的に照射して走査範囲Ｓを走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するＬｉＤＡＲ２から点群情報が入力される入力部１１０と、所定時間間隔で入力部１１０に入力された点群情報に基づいて所定の空間内で固定された領域である背景領域を検出する画像生成部１１１、合成部１１２、円領域生成部１１３と、を備えている。そして、画像生成部１１１、合成部１１２、円領域生成部１１３は、背景領域を点群情報に基づいて複数の円柱からなる形状に近似する。

【0083】

背景検出部１１ｃが上記のように構成されることにより、背景領域を複数の円柱からなる形状に近似するので、複雑な形状の物体を単純な形状により構成することができ、複雑な構造物に対応できるようになる。また、点群情報を入力することで、背景領域を自動的に検出することが可能となる。

【0084】

また、点群情報を高さ方向に圧縮して複数段の２次元画像を点群毎に生成する画像生成部１１１と、画像生成部１１１が生成した２次元画像を合成する合成部１１２と、合成部１１２が合成した結果に基づいて円柱を生成する円領域生成部１１３と、を備える。このようにすることにより、機械学習といった複雑な処理を不要とし、点群から実際の固定物の形状に近い形状の背景領域を生成することができる。

【0085】

また、画像生成部１１１は、対象空間のうち垂直方向をＨ段に分割して同じ段に含まれる点群の点の高さ方向の座標を一定値にし、さらに、対象空間を水平面をＭ×Ｎ画素に分割して、Ｍ×Ｎ画素のうち点が存在する画素に１値を設定し、１値が設定された画素に基づいて２次元画像を生成している。このようにすることにより、３次元点群を２次元の画像に変換することができる。

【0086】

また、合成部１１２は、所定時間間隔で生成した２次元画像の特定の画素について１値の数を集計し、集計期間において１値の数が過半数などの所定の閾値以下である画素を除去している。このようにすることにより、当該空間を通過しただけなど短時間のみ出現した物体等にかかる点群を除去することができる。

【0087】

また、合成部１１２は、前記した除去が行われた後の画像について、所定のまとまり毎にラベリングを行っている。このようにすることにより、周知のラベリング処理により、固定物と見做される領域を特定し、後述する円領域の生成を容易にすることができる。

【0088】

また、円領域生成部１１３は、ラベリングされた領域について外接矩形領域を設定し、その外接矩形領域に基づいて円領域を設定し、円領域に基づいて円柱が形成される。このようにすることにより、固定物と見なす領域を円領域としてその円に基づく円柱を形成することが可能となる。そのため、形成された円柱を背景領域とすることができる。

【0089】

また、円領域生成部１１３は、外接矩形領域の長辺と短辺の比が２：１以上の場合は、当該外接矩形領域を分割し、分割領域について改めて外接矩形領域を設定している。このようにすることにより、本来の背景領域以外の領域が含まれないようにすることができる。

【0090】

また、円領域生成部１１３は、外接矩形領域を正方形状に短辺を延長して、正方形の内接円を求めることで円領域を設定している。このようにすることにより、円領域の設定を容易に行うことができる。

【0091】

また、円領域生成部１１３は、外接矩形領域の短辺をＬｉＤＡＲ２から見て離れる方向に延長している。このようにすることにより、ＬｉＤＡＲ２から見て影となる方向に延長することができるので、延長した結果形成される円領域が物体検知処理に及ぼす影響を小さくすることができる。

【0092】

また、円領域生成部１１３は、生成した円領域に含まれないラベリングされた領域がある場合は、当該含まれないラベリングされた領域について改めて外接矩形領域を設定している。このようにすることにより、ラベリングされた領域を網羅しつつ、ラベリングされた領域以外を含めないように円領域を生成することができる。

【0093】

また、物体検知装置１０は、ＬｉＤＡＲ２と、背景検出部１１ｃによって検出された背景領域の情報を取得し、ＬｉＤＡＲ２が取得した点群情報のうち、背景領域内の点群情報を除去する除去部１１ａと、除去部１１ａが除去した結果残った点群情報に基づいて物体の検知をする検知部１１ｂと、を備えている。

【0094】

物体検知装置１０が上記のように構成されることにより、複雑な構造物にできるだけ対応した背景領域を設定することが可能となり、より精度良く物体検知をすることが可能となる。

【0095】

なお、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の背景検出装置、背景検出方法及び物体検知装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

【符号の説明】

【0096】

１ 本体部
２ ＬｉＤＡＲ（センサ）
１０ 物体検知装置
１１ 制御部
１１ａ 除去部
１１ｂ 検知部
１１ｃ 背景検出部
１１０ 入力部
１１１ 画像生成部（検出部）
１１２ 合成部（検出部）
１１３ 円領域生成部（検出部）
Ｌ ラベル領域（ラベリングされた領域）
Ｂ 外接矩形領域
Ｃ 円領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】