特許 7138265 物体検知装置、物体検知方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-09-07

(45)【発行日】2022-09-15

(54)【発明の名称】物体検知装置、物体検知方法およびプログラム

(51)【国際特許分類】

   G01S 17/894 20200101AFI20220908BHJP

   G01S 17/931 20200101ALI20220908BHJP

   G01S 17/10 20200101ALI20220908BHJP

【ＦＩ】

G01S17/894

G01S17/931

G01S17/10

【請求項の数】 20

(21)【出願番号】P 2022539302

(86)(22)【出願日】2022-06-08

(86)【国際出願番号】 JP2022023092

【審査請求日】2022-06-24

(31)【優先権主張番号】P 2021100600

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】520133916

【氏名又は名称】ヌヴォトンテクノロジージャパン株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】金丸 正樹

(72)【発明者】

【氏名】奥山 哲郎

(72)【発明者】

【氏名】河合 良直

【審査官】梶田 真也

(56)【参考文献】

【文献】特開２０１６－０８８１８３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１４５６００（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０６２９６７２１（ＣＮ，Ａ）

【文献】特開２０１７－０１６５８４（ＪＰ，Ａ）

【文献】特開昭６３－０１２９８７（ＪＰ，Ａ）

【文献】国際公開第２０２０／１２９５２２（ＷＯ，Ａ１）

【文献】特開２０１６－１８０７２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｃ ３／００ － ３／３２

(57)【特許請求の範囲】

【請求項1】

距離画像を取得する距離取得部と、
前記距離画像と同じ撮像領域に対応する第１輝度画像を取得する第１輝度取得部と、
前記距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部と、
前記グループに含まれる画素の数が第１しきい値より少ない場合、前記第１輝度画像中の画素群であって前記グループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化部と、
前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報（３Ｄは三次元の略）を生成する３Ｄ物体検知部と、を備える
物体検知装置。

【請求項2】

前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の平均的な輝度である
請求項１に記載の物体検知装置。

【請求項3】

前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の最大輝度である
請求項１に記載の物体検知装置。

【請求項4】

前記第１輝度画像中の画素群の前記輝度は、前記画素群の平均輝度および最大輝度の両者を含み、
前記第２しきい値は、平均用しきい値と、最大用しきい値とを含み、
前記第２クラスタ化部は、前記平均輝度が前記平均用しきい値以上であり、かつ、前記最大輝度が前記最大用しきい値以上であるとき、当該グループをクラスタと決定する
請求項１に記載の物体検知装置。

【請求項5】

前記撮像領域に対応する２Ｄ画像（２Ｄは二次元の略）に含まれる物体を検知し、検知した物体を示す２Ｄ物体情報を生成する２Ｄ物体検知部と、
前記３Ｄ物体情報と前記２Ｄ物体情報とを融合するフュージョン部と、を備える
請求項１に記載の物体検知装置。

【請求項6】

前記フュージョン部は、さらに、前記３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化部が決定したクラスタに対応する物体が、前記２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、前記第２クラスタ化部が決定したクラスタに対応する物体が前記２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化部が決定した当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定する
請求項５に記載の物体検知装置。

【請求項7】

前記２Ｄ画像は、前記第１輝度画像である
請求項５または６に記載の物体検知装置。

【請求項8】

前記第１輝度画像とは異なる波長の光に対する第２輝度画像を取得する第２輝度取得部を備え、
前記２Ｄ画像は、前記第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかである
請求項５または６に記載の物体検知装置。

【請求項9】

赤外光を発する発光部と、
前記赤外光による反射光を受光するイメージセンサと、
前記発光部と前記イメージセンサを用いて、前記第１輝度画像と、前記距離画像とを生成する信号処理部を備え、
前記第１輝度取得部、および、距離取得部は、前記信号処理部から前記第１輝度画像、および、前記距離画像を取得する
請求項１に記載の物体検知装置。

【請求項10】

赤外光を発する発光部と、
赤外光に感度を持つ第１画素、および、可視光に感度を持つ第２画素を持つイメージセンサと、
前記発光部と前記イメージセンサを用いて、前記第１画素の画素値から前記第１輝度画像と、前記距離画像とを生成し、前記第２画素の画素値から前記第２輝度画像を生成する信号処理部を備え、
前記第１輝度取得部、第２輝度取得部および、距離取得部は、前記信号処理部から前記第１輝度画像、前記第２輝度画像、および前記距離画像を取得する
請求項８に記載の物体検知装置。

【請求項11】

前記３Ｄ物体情報に基づいて、前記物体検知装置を搭載する移動体の移動を支援する情報を提示する情報提示部を備える
請求項１に記載の物体検知装置。

【請求項12】

同じ撮像領域に対応する第１輝度画像と距離画像とを取得し、
前記距離画像において同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、
前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、物体を構成するクラスタと決定する第１クラスタ化処理を実施し、
前記グループに含まれる画素の数が第１しきい値より少ない場合に、前記第１輝度画像中の画素群であって、前記グループに対応する画素群における輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化処理を実施し、
前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する
物体検知方法。

【請求項13】

前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の平均的な輝度である
請求項１２に記載の物体検知方法。

【請求項14】

前記第１輝度画像中の画素群の前記輝度は、前記画素群に含まれる画素の最大輝度である
請求項１２に記載の物体検知方法。

【請求項15】

前記第１輝度画像中の画素群の前記輝度は、前記画素群の平均輝度および最大輝度の両者を含み、
前記第２しきい値は、平均用しきい値と、最大用しきい値とを含み、
前記平均輝度が前記平均用しきい値以上であり、かつ、前記最大輝度が前記最大用しきい値以上であるとき、当該グループをクラスタと決定する
請求項１２に記載の物体検知方法。

【請求項16】

前記撮像領域に対応する２Ｄ画像に含まれる物体を検知し、
検知した物体を示す２Ｄ物体情報を生成し、
前記３Ｄ物体情報と前記２Ｄ物体情報とを融合する
請求項１２に記載の物体検知方法。

【請求項17】

前記３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化処理で決定されたクラスタに対応する物体が前記２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、
前記第２クラスタ化処理で決定されたクラスタに対応する物体が前記２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化処理で決定された当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定する
請求項１６に記載の物体検知方法。

【請求項18】

前記２Ｄ画像は、前記第１輝度画像である
請求項１６または１７に記載の物体検知方法。

【請求項19】

前記第１輝度画像とは異なる波長の光に対する第２輝度画像を取得し、
前記２Ｄ画像は、前記第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかである
請求項１６または１７に記載の物体検知方法。

【請求項20】

請求項１２に記載の物体検知方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体検知装置、物体検知方法およびプログラム装置に関する。

【背景技術】

【0002】

特許文献１は、構築されたモデルを利用して点群データを復旧するための方法および装置を開示している。特許文献２は、車両の環境情報を検出する方法およびシステムを開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１４９１４９号公報

【文献】特表２０１９－５３３１３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮像した画像から得られる三次元点群データにおいて、撮像された物体の反射率が低い場合に、当該物体を検知することが困難であるという問題がある。例えば、撮像された画像にトラクターなどの農機が含まれている場合には、農機のボンネットやヘッドライトなどの物体は反射率が高いので比較的容易に検知できる。これに対して、農機のタイヤ、おもり、窓等の物体は反射率が低く、検知することが困難である。農機以外でも、低い反射率を有する物体は、検知することが困難である。

【0005】

そこで、本開示は、低い反射率を有する物体を検知する能力を高めた物体検知装置、物体検知方法およびプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る物体検知装置は、距離画像を取得する距離取得部と、前記距離画像と同じ撮像領域に対応する第１輝度画像を取得する第１輝度取得部と、前記距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部と、前記グループに含まれる画素の数が第１しきい値より少ない場合、前記第１輝度画像中の画素群であって前記グループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化部と、前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する３Ｄ物体検知部と、を備える。

【0007】

また、本開示の一態様に係る物体検知方法は、同じ撮像領域に対応する第１輝度画像と距離画像とを取得し、前記距離画像において同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、物体を構成するクラスタと決定する第１クラスタ化処理を実施し、前記グループに含まれる画素の数が第１しきい値より少ない場合に、前記第１輝度画像中の画素群であって、前記グループに対応する画素群における輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化処理を実施し、前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する。

【0008】

また、本開示の一態様に係るプログラムは、上記の物体検知方法をコンピュータに実行させる。

【0009】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示の物体検知装置、物体検知方法およびプログラムは、低い反射率を有する物体を検知する能力を高めることができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態１に係る物体検知装置の構成例を示すブロック図である。

【図2】図２は、実施の形態１に係るイメージセンサの画素の配列例を示す図である。

【図3】図３は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の具体例を示すフローチャートである。

【図4】図４は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の変形例を示すフローチャートである。

【図5】図５は、実施の形態２に係る物体検知装置の構成例を示すブロック図である。

【図6】図６は、実施の形態２に係る情報処理システムの詳細な構成例を示すブロック図である。

【図7】図７は、実施の形態２に係る物体検知装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0013】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。

【0014】

（実施の形態１）
［１．１ 構成］
まず、本実施の形態に係る物体検知装置１００の構成について説明する。図１は、実施の形態１に係る物体検知装置１００の構成例を示すブロック図である。同図の物体検知装置１００は、例えば移動体に搭載され、移動体の前方、側方、後方などに設定された監視領域を撮像し、撮像した二次元画像および三次元画像に含まれる物体を検知する装置である。そのため、物体検知装置１００は、イメージセンサ３、発光部４、信号処理部５、および、情報処理システム１を備える。以下では、二次元画像を２Ｄ画像と略し、三次元画像を３Ｄ画像と略すことがある。

【0015】

イメージセンサ３は、行列状に配置された複数の画素を有する固体撮像素子であり、信号処理部５の制御に従って画素信号を生成する。イメージセンサ３の画素配列の一例を図２に示す。図２では、イメージセンサ３は、第１画素３１および第２画素３２を有している。図２では、可視光に感度を持つ第１画素３１に「白黒」の「白」の意味で「Ｗ」の文字を付している。第１画素３１には赤外光を抑制する光学的フィルタが配置されていてもよい。また、赤外光に感度を持つ第２画素３２に「赤外」の意味で「ＩＲ」の文字を付している。第２画素３２には、可視光を抑制する光学的フィルタが配置されていてもよい。

【0016】

なお、イメージセンサ３の画素配列は、図２に限らない。例えば、第１画素３１と第２画素３２とが行方向に交互に配列されてもよい。第１画素３１と第２画素３２とが行方向および列方向に交互に配列されてもよい。図２では、第１画素３１の行と第２画素３２の行とが同数であるが、異なっていてもよい。また、イメージセンサ３は、赤色光に感度を持つＲ画素と、緑色光に感度を持つＧ画素と、青色光に感度を持つＢ画素と、赤外光に感度を持つＩＲ画素とを備えてもよい。この場合、Ｒ画素、Ｇ画素、Ｂ画素およびＩＲ画素を正方配列してもよい。

【0017】

発光部４は、信号処理部５からのタイミング信号に従って赤外光であるパルス光を発する。発光部４は、イメージセンサ３の第２画素３２が感度を持つ波長域の光、つまり赤外光を出力する。発光部４には、例えば、発光ダイオード（ＬＥＤ：Light Emitting Diode）またはレーザダイオード等の、比較的応答速度が速く高速点滅可能な素子が用いられる。

【0018】

信号処理部５は、イメージセンサ３を制御することにより輝度画像と距離画像とを生成する。具体的には、信号処理部５は、輝度画像としてＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を生成し、距離画像として距離画像Ｄ３を生成する。ここで、ＢＷは黒白の略である。ＩＲは、赤外線の略である。より具体的には、信号処理部５は、第１画素３１から得られる画素信号を用いてＢＷ輝度画像Ｄ１を生成する。また、信号処理部５は、第２画素３２から得られる画素信号を用いてＩＲ輝度画像を生成する、さらに、信号処理部５は、イメージセンサ３を用いてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による測距を制御することにより、第２画素３２からの画素信号から距離画像Ｄ３を生成する。距離画像Ｄ３は、イメージセンサ３から物体までの距離値を示す画素の集まりである。つまり、距離画像Ｄ３を構成する各画素は、イメージセンサ３から、発光部４のパルス光を反射した物体までの距離値を示す。

【0019】

以下、信号処理部５が、距離画像Ｄ３を求めるための具体的な処理について、一例を挙げて簡単に説明する。本実施形態では、発光部４による投光（発光）からイメージセンサ３による反射波の受光までの時間を計測するために、信号処理部５は、発光部４から強度を変調した光（以下、「強度変調光」または「パルス光」ともいう）を監視領域に出力させる。その上で、信号処理部５は、イメージセンサ３による受光時点の強度変化の位相と、発光部４からの投光時点の強度変化の位相との位相差を用いて時間を計測する。強度変調光における強度変化の周波数が一定であれば、位相差は、比較的簡単な演算で、物体までの距離に換算される。

【0020】

すなわち、強度が変化する強度変調光を発光部４から白線に投光し、イメージセンサ３の１つの第２画素３２が受光する光の強度が変化しているとする。同位相の時間差は物体までの距離を反映しているから、光速をｃ［ｍ／ｓ］として、時間差Δｔ［ｓ］を用いると、物体までの距離Ｌは以下の式１で表される。

【0021】

Ｌ＝ｃ・Δｔ／２ （式１）

【0022】

また、光の強度を変調する変調信号の周波数をｆ［Ｈｚ］とし、位相差をφ［ｒａｄ］とすれば、時間差Δｔは以下の式２で表される。

【0023】

Δｔ＝φ／２πｆ （式２）

【0024】

よって、位相差φを求めることにより、物体までの距離Ｌが求まることになる。

【0025】

そして、位相差φを求めるには、イメージセンサ３の第２画素３２毎に、変調信号の複数の異なる位相について受光強度を求めればよい。実際には、イメージセンサ３の第２画素３２毎に、所定の位相幅（時間幅）を有する各位相区間の受光光量を検出し、この受光光量に相当する受光出力を位相差φの演算に用いる。一例として、位相区間を９０度間隔とすれば、変調信号の１周期について位相間隔が等しい４つの位相区間が周期的に得られる。この場合に、位相区間毎の受光光量をＣ０～Ｃ３とすれば、位相差φは、以下の式３で表される。

【0026】

φ＝ｔａｎ^－１｛（Ｃ０－Ｃ２）／（Ｃ１－Ｃ３）｝ （式３）

【0027】

受光光量Ｃ０～Ｃ３を変調信号のいずれの位相に対応させるかによって、位相差φの符号は変化するが、位相差φは絶対値を用いればよい。

【0028】

このように、発光部４から強度変調光を投光し、イメージセンサ３において特定の位相区間毎の受光光量を検出する必要があるから、信号処理部５が設けられる。信号処理部５は、上述したような強度変調光が投光されるように発光部４に変調信号を与えて発光部４を駆動する。イメージセンサ３からは４つの位相区間毎の受光光量Ｃ０～Ｃ３に対応した受光出力が得られ、イメージセンサ３の受光出力（電気信号）が信号処理部５に入力される。信号処理部５は、受光出力を用いて物体までの距離を求める演算を行う。このとき、信号処理部５は、変調信号に同期した基準信号に基づいて生成した読出信号をイメージセンサ３に与えて、受光出力を読み出す。

【0029】

図１の情報処理システム１は、信号処理部５で生成された輝度画像および距離画像中の物体を検知する。そのため情報処理システム１は、ＢＷ輝度取得部１１、ＩＲ輝度取得部１２、距離取得部１３、座標変換部１５、第１クラスタ化部１０１、第２クラスタ化部１０２、分離部１６、三次元物体検知部１７、および、フュージョン部１８を備える。なお、ＢＷ輝度取得部１１は、上記の第１輝度取得部および後述の第２輝度取得部のうちの一方の具体例である。ＩＲ輝度取得部１２は、上記の第１輝度取得部および後述の第２輝度取得部のうちの他方の具体例である。情報処理システム１は、１以上のプロセッサおよび１以上のメモリを有するコンピュータシステムで構成されてもよい。このコンピュータシステムは、ＳｏＣ（System on a Chip）、サーバ、およびクラウドコンピューティングのいずれかであってもよい。プロセッサは、メモリに記録されているプログラムを実行することにより、情報処理システム１の機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、１以上のプロセッサを、情報処理システム１として機能させるためのプログラムである。

【0030】

ＢＷ輝度取得部１１は、信号処理部５からＢＷ輝度画像Ｄ１を取得する。

【0031】

ＩＲ輝度取得部１２は、信号処理部５からＩＲ輝度画像Ｄ２を取得する。

【0032】

距離取得部１３は、信号処理部５から距離画像Ｄ３を取得する。

【0033】

座標変換部１５は、距離画像Ｄ３を、Ｘ、Ｙ、Ｚの直交座標系に座標変換処理を行う。具体的には、座標変換部１５は、距離画像Ｄ３に基づいて、Ｘ、Ｙ、Ｚの座標値を持つ点からなる点群データを生成する。点群データは、ポイントクラウドとも呼ばれる。以下、座標変換部１５から出力される座標変換後の距離画像Ｄ３つまり点群データを点群データｄ３と呼ぶ。座標変換部１５は、距離画像Ｄ３と点群データｄ３を分離部１６に出力する。

【0034】

分離部１６は、物体と、物体の周囲に位置する周辺領域と、を分離する。「周辺領域」は、例えば、物体の有無を検知する際に、検知対象から除外する路面、地面、床面等である。言い換えれば、分離部１６は、物体を含む路面等以外の領域と路面等の周辺領域とを分離する。分離部１６は、座標変換部１５で生成された点群データｄ３に基づいて、物体と、周辺領域と、を分離する。

【0035】

本実施形態では、分離部１６は、座標変換部１５で生成された点群データｄ３に基づいて、まず、点群データｄ３および距離画像Ｄ３のうち周辺領域に相当する成分を抽出する。そして、分離部１６は、抽出した周辺領域を距離画像Ｄ３から除去することにより、距離画像Ｄ３のうちの物体に相当する成分を、第１クラスタ化部１０１に出力する。また、分離部１６は、抽出した周辺領域を点群データｄ３から除去することにより、点群データｄ３のうちの物体に相当する成分を、三次元物体検知部１７に出力する。ここで、周辺領域は、距離画像Ｄ３における物体以外の全ての領域であって、物体の近傍の領域だけでなく、物体の遠方の領域も含む。

【0036】

第１クラスタ化部１０１は、分離部１６から入力される距離画像Ｄ３において、第１クラスタ化処理を行う。具体的には、第１クラスタ化部１０１は、分離部１６から入力される距離画像Ｄ３において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する。

【0037】

第２クラスタ化部１０２は、分離部１６から入力される距離画像Ｄ３、および、ＩＲ輝度取得部から入力されるＩＲ輝度画像Ｄ２において、第２クラスタ化処理を行う。具体的には、第２クラスタ化部１０２は、第１クラスタ化部１０１で生成されたグループに含まれる画素の数が第１しきい値より少ない場合に、ＩＲ輝度画像Ｄ２の画素群であって、グループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する。これにより、低い反射率を有する物体の一部または全部が第１クラスタ化処理ではクラスタとして検出されない場合に、第２クラスタ化処理ではクラスタとして検出されることが可能になる。

【0038】

なお、第２クラスタ化処理で用いられる画素群の輝度は、画素群に含まれる画素の平均的な輝度であってもよいし、画素群に含まれる画素の最大輝度であってもよい。言い換えれば、低い反射率を有する物体に対して、平均的な輝度を基準にしてクラスタを検出してもよいし、最大値を基準にしてクラスタを検出してもよい。

【0039】

また、第２クラスタ化処理で用いられる画素群の輝度は、画素群の平均輝度および最大輝度の両者を含んでいてもよい。この場合、第２しきい値は、平均用しきい値と、最大用しきい値とを含む。第２クラスタ化部１０２は、平均的な輝度が平均用しきい値以上であり、かつ、最大輝度が最大用しきい値以上であるとき、当該グループをクラスタと決定してもよい。こうすれば、低い反射率を有する物体に対して、平均輝度および最大輝度の両者を基準にするのでクラスタ検知能力を高めることができる。

【0040】

なお、第１しきい値、第２しきい値は、実験的、統計的、またはシミュレーションにより予め定めることができる。

【0041】

三次元物体検知部１７は、第１クラスタ化部１０１および第２クラスタ化部１０２により決定されたクラスタに基づいて、分離部１６から入力される点群データｄ３から物体を検知し、検知した物体である物標を示す３Ｄ物体情報を生成する。本実施形態では、三次元物体検知部１７には、周辺領域が除去された状態の点群データｄ３が分離部１６より入力される。三次元物体検知部１７は、例えば、分離部１６より入力された点群データｄ３の内、第１クラスタ化部１０１および第２クラスタ化部１０２により決定された１つのクラスタまたは連続する２つ以上のクラスタに対応する点群を物体として検知し、３Ｄ物体情報として出力する。

【0042】

フュージョン部１８は、二次元物体検知部２０の検知結果である２Ｄ物体情報と、三次元物体検知部１７の検知結果である３Ｄ物体情報とを融合または合成する。

【0043】

二次元物体検知部２０は、第１合成部２１から出力される二次元の合成画像から物体を検知し、検知した物体を示す２Ｄ物体情報を生成する。ここで、合成画像は、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２とを重み計数により合成した画像、ＢＷ輝度画像Ｄ１、および、ＩＲ輝度画像Ｄ２のうちのいずれかである。二次元物体検知部２０による物体の検知は、例えば、ＡＩ技術（つまり人工知能技術）を用いてもよい。検知される物体について「種別」と「属性」を判別してもよい。物体の種別は、人か否か、移動体（人、自動車若しくは自転車等）か固定物か、街路樹、信号機、ガードレール等の区別を含む。また、物体の「属性」には、物体の大きさ、色または動き（変化）等も含む。さらに、物体が人であれば、その性別、身長、体型または年齢層等、物体が移動体であれば、その移動方向または移動速度等も、物体の「属性」に含んでもよい。

【0044】

第１合成部２１は、ＢＷ輝度取得部１１およびＩＲ輝度取得部１２からのＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成を行う。ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２はいずれも二次元画像であるので、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を合成することで合成画像が生成される。本開示でいう「合成」は、重み付け合成を含んでおり、例えば、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の重み係数が「１：０」であれば、合成画像としては第１合成部２１からＢＷ輝度画像Ｄ１がそのまま出力される。一方、例えば、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の重み係数が「０：１」であれば、合成画像としては第１合成部２１からＩＲ輝度画像Ｄ２がそのまま出力される。言い換えれば、第１合成部２１は、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を択一的に出力する選択器としての機能を含んでいる。第１合成部２１から出力される合成画像は、二次元物体検知部２０に入力される。そのため、第１合成部２１の出力が二次元物体検知部２０の動作に適した合成画像となるように、第１合成部２１は適宜、制御されてもよい。例えば、第１合成部２１から出力される合成画像は、例えば、日中／夜間、または天候（雨、霧）等の白線の状況に応じて、適宜、重み係数を変えて合成されてもよい。

【0045】

［１．２ 動作］
まず、本実施の形態に係る物体検知装置１００の動作について説明する。ここでは、物体検知装置１００の動作の第１クラスタ化処理および第２クラスタ化処理の具体例について説明する。図３は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の具体例を示すフローチャートである。

【0046】

同図のステップＳ１０１～Ｓ１０３およびＳ１０７は、おおよそに第１クラスタ化部１０１による第１クラスタ化処理に対応する。ステップＳ１０４、Ｓ１０７およびＳ１０８は、おおよそ第２クラスタ化部１０２による第２クラスタ化処理に対応する。

【0047】

まず、第１クラスタ化部１０１は、分離部１６から入力される距離画像Ｄ３において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成する（Ｓ１０１）。さらに、第１クラスタ化部１０１は、生成したグループ毎に処理を繰り返すループ１の処理（Ｓ１０３～Ｓ１０９）を実施する。

【0048】

ループ１において第１クラスタ化部１０１は、グループに含まれる画素の数が第１しきい値以上であるか否かを判定し（Ｓ１０３）、第１しきい値以上であると判定したとき（Ｓ１０３でｙｅｓ）、当該グループをクラスタと決定する。ここで、「クラスタと決定する」というのは、当該部ループを構成する画素の集合が物体の一部または全部に対応するクラスタとして検出するという意味である。また、第１クラスタ化部１０１は、第１しきい値以上でないと判定したとき（Ｓ１０３でｎｏ）、当該グループをクラスタと決定されず、第２クラスタ化部１０２の処理対象となる。

【0049】

第２クラスタ化部１０２は、第１クラスタ化部１０１によってクラスタと決定されなかったグループについて、次の処理を行う。すなわち、第２クラスタ化部１０２は、クラスタと決定されなかったグループについて、ＩＲ輝度画像Ｄ２中の画素群であって当該グループに対応する画素群を抽出し、抽出した画素群のＩＲ輝度が第２しきい値以上であるか否かを判定する（Ｓ１０４）。さらに、第２クラスタ化部１０２は、画素群の輝度が第２しきい値以上であると判定したとき（Ｓ１０４でｙｅｓ）、当該グループをクラスタと決定する（Ｓ１０７）。一方、第２クラスタ化部１０２は、画素群の輝度が第２しきい値以上でないと判定したとき（Ｓ１０４でｎｏｓ）、当該グループをクラスタでないと決定する（Ｓ１０８）。

【0050】

このような第２クラスタ化部１０２の第２クラスタ化処理は、低い反射率を有する物体の一部または全部が第１クラスタ化処理ではクラスタとして検出されなかった場合に、第２クラスタ化処理ではクラスタとして検出することを可能にする。こうして、第２クラスタ化部１０２は、クラスタの検知能力を高めることができる。

【0051】

［１．３ 変形例］
次に、本実施の形態におけるクラスタ化処理の変形例について説明する。ここでは、物体検知装置１００の動作の第１クラスタ化処理および第２クラスタ化処理の変形例について説明する。図４は、実施の形態１に係る第１クラスタ化処理および第２クラスタ化処理の変形例を示すフローチャートである。同図は、図３のフローチャートと比較してステップＳ１０５およびＳ１０６が追加されている点が異なる。以下、同じ点の説明の重複を避けて、異なる点を中心に説明する。

【0052】

第２クラスタ化部１０２は、画素群の輝度が第２しきい値以上であると判定したとき（Ｓ１０４でｙｅｓ）、当該グループをクラスタと仮決定する（Ｓ１０５）。その後、フュージョン部１８において、３Ｄ物体情報中の物体であって当該グループ（つまり仮決定されあクラスタ）を元に生成された物体を２Ｄ画像中に投影した結果が、二次元物体検知部２０によって検知された２Ｄ物体情報に示される物体と重なるか否かを判定する（Ｓ１０６）。さらに、フュージョン部１８は、重なると判定したとき（Ｓ１０６でｙｅｓ）、クラスタと仮決定したグループをクラスタと決定する（Ｓ１０７）。すなわち、当該グループ（つまり仮決定されたクラスタ）を元に生成された物体が存在するものと判断する。一方、フュージョン部１８は、重ならないと判定したとき（Ｓ１０６でｎｏ）、クラスタと仮決定したグループをクラスタでないと決定する（Ｓ１０８）。すなわち、当該グループを元に生成された物体が存在しないものと判断し、３Ｄ物体情報から当該物体を削除する。

【0053】

これによれば、第２クラスタ化部１０２は、低い反射率を有する物体に対して、さらにクラスタの検出能力を高め、かつ、クラスタ検出の正確さを高めることができる。

【0054】

なお、第１クラスタ化部１０１、第２クラスタ化部１０２およびフュージョン部１８は、クラスタを決定するクラスタ化処理の対象を距離画像Ｄ３としているが、点群データｄ３を対象としてもよい。

【0055】

以上説明してきたように、本開示の実施の形態１に係る物体検知装置１００は、距離画像を取得する距離取得部１３と、距離画像と同じ撮像領域に対応する第１輝度画像を取得する第１輝度取得部と、距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部１０１と、グループに含まれる画素の数が第１しきい値より少ない場合、第１輝度画像中の画素群であってグループに対応する画素群の輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化部１０２と、クラスタに基づいて距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する３Ｄ物体検知部１７と、を備える。

【0056】

これによれば、距離画像において、低い反射率を有する物体を検知する能力を高めることができる。

【0057】

ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の平均的な輝度であってもよい。

【0058】

これによれば、低い反射率を有する物体に対して、平均的な輝度を基準に検知能力を高めることができる。

【0059】

ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の最大輝度であってもよい。

【0060】

これによれば、低い反射率を有する物体に対して、最大輝度を基準に検知能力を高めることができる。

【0061】

ここで、第１輝度画像中の画素群の前記輝度は、画素群の平均輝度および最大輝度の両者を含み、第２しきい値は、平均用しきい値と、最大用しきい値とを含み、第２クラスタ化部１０２は、平均輝度が平均用しきい値以上であり、かつ、最大輝度が最大用しきい値以上であるとき、当該グループをクラスタと決定してもよい。

【0062】

これによれば、低い反射率を有する物体に対して、平均輝度および最大輝度の両者を基準に検知能力を高めることができる。

【0063】

ここで、物体検知装置１００は、撮像領域に対応する２Ｄ画像に含まれる物体を検知し、検知した物体を示す２Ｄ物体情報を生成する２Ｄ物体検知部と、３Ｄ物体情報と２Ｄ物体情報とを融合するフュージョン部１８と、を備えてもよい。

【0064】

これによれば、融合により物体の検知能力を正確にすることができる。

【0065】

ここで、フュージョン部１８は、さらに、３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化部が決定したクラスタに対応する物体が、２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、前記第２クラスタ化部が決定したクラスタに対応する物体が２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化部が決定した当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定してもよい。

【0066】

これによれば、低い反射率を有する物体に対して、さらにクラスタの検出能力を高め、かつ、クラスタ検出の正確さを高めることができる。

【0067】

ここで、前記２Ｄ画像は、第１輝度画像であってもよい。

【0068】

これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いるが可能である。

【0069】

ここで、物体検知装置１００は、第１輝度画像とは異なる波長の光に対する第２輝度画像を取得する第２輝度取得部を備え、前記２Ｄ画像は、第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかであってもよい。

【0070】

これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いることも、赤外光に感度を有する画素と可視光に感度を有する画素とを含むイメージセンサを用いることも可能である。

【0071】

ここで、物体検知装置１００は、赤外光を発する発光部４と、赤外光による反射光を受光するイメージセンサ３と、発光部４とイメージセンサ３を用いて、第１輝度画像と、距離画像とを生成する信号処理部５を備え、第１輝度取得部、および、距離取得部は、信号処理部５から第１輝度画像、および、距離画像を取得してもよい。

【0072】

これによれば、赤外光に感度を有するイメージセンサを用いることが可能である。

【0073】

ここで、物体検知装置１００は、赤外光を発する発光部４と、赤外光に感度を持つ第１画素、および、可視光に感度を持つ第２画素を持つイメージセンサ３と、発光部４とイメージセンサ３を用いて、第１画素の画素値から第１輝度画像と、距離画像とを生成し、第２画素の画素値から第２輝度画像を生成する信号処理部５を備え、第１輝度取得部、第２輝度取得部および、距離取得部は、信号処理部５から第１輝度画像、第２輝度画像、および距離画像を取得してもよい。

【0074】

これによれば、赤外光に感度を有する第１画素と、可視光に感度を有する第２画素と含むイメージセンサ３用いることが可能である。

【0075】

また、実施の形態１の一態様に係る物体検知方法は、同じ撮像領域に対応する第１輝度画像と距離画像とを取得し、前記距離画像において同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、前記グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、物体を構成するクラスタと決定する第１クラスタ化処理を実施し、前記グループに含まれる画素の数が第１しきい値より少ない場合に、前記第１輝度画像中の画素群であって、前記グループに対応する画素群における輝度が第２しきい値以上である場合に、当該グループをクラスタと決定する第２クラスタ化処理を実施し、前記クラスタに基づいて前記距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する。

【0076】

これによれば、距離画像において低い反射率を有する物体の検知能力を高めることができる。

【0077】

ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の平均的な輝度であってもよい。

【0078】

これによれば、低い反射率を有する物体に対して、平均的な輝度を基準に検知能力を高めることができる。

【0079】

ここで、第１輝度画像中の画素群の前記輝度は、画素群に含まれる画素の最大輝度であってもよい。

【0080】

これによれば、低い反射率を有する物体に対して、最大輝度を基準に検知能力を高めることができる。

【0081】

ここで、第１輝度画像中の画素群の前記輝度は、画素群の平均輝度および最大輝度の両者を含み、第２しきい値は、平均用しきい値と、最大用しきい値とを含み、平均輝度が平均用しきい値以上であり、かつ、最大輝度が最大用しきい値以上であるとき、当該グループをクラスタと決定してもよい。

【0082】

これによれば、低い反射率を有する物体に対して、平均輝度および最大輝度の両者を基準に検知能力を高めることができる。

【0083】

ここで、物体検知方法において、撮像領域に対応する２Ｄ画像に含まれる物体を検知し、検知した物体を示す２Ｄ物体情報を生成し、３Ｄ物体情報と２Ｄ物体情報とを融合してもよい。

【0084】

これによれば、融合により物体の検知能力を正確にすることができる。

【0085】

ここで、物体検知方法において、さらに、３Ｄ物体情報に含まれる物体のうち前記第２クラスタ化処理で決定されたクラスタに対応する物体が、２Ｄ物体情報に示される物体と重なる場合には、当該物体を３Ｄ物体と決定し、前記第２クラスタ化処理で決定されたクラスタに対応する物体が２Ｄ物体情報に示される物体と重ならない場合には、前記第２クラスタ化処理で決定された当該クラスタをクラスタではないと決定し、かつ、当該物体を３Ｄ物体でないと決定してもよい。

【0086】

これによれば、低い反射率を有する物体に対して、さらにクラスタの検出能力を高め、かつ、クラスタ検出の正確さを高めることができる。

【0087】

ここで、前記２Ｄ画像は、第１輝度画像であってもよい。

【0088】

これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いるが可能である。

【0089】

ここで、物体検知方法において、第１輝度画像とは異なる波長の光に対する第２輝度画像を取得する第２輝度取得部を備え、前記２Ｄ画像は、第２輝度画像、または、第１輝度画像と第２輝度画像とを合成した第３輝度画像のうちのいずれかであってもよい。

【0090】

これによれば、前記２Ｄ画像を取得するために、赤外光に感度を有する画素を主とするイメージセンサを用いることも、赤外光に感度を有する画素と可視光に感度を有する画素とを含むイメージセンサを用いることも可能である。

【0091】

また、実施の形態１の一態様に係るコンピュータプログラムは、上記の物体検知方法をコンピュータに実行させるプログラムである。

【0092】

これによれば、距離画像において低い反射率を有する物体の検知能力を高めることができる。

【0093】

（実施の形態２）
本実施の形態では、物体検知装置１００を移動体に搭載する構成例について説明する。ここでいう移動体は、例えば、自動車、農機、二輪車などの車両や、船舶や、ドローンなど飛行体などを含む。

【0094】

［２．１ 構成］
図５は、実施の形態２に係る物体検知装置１００の構成例を示すブロック図である。同図の物体検知装置１００は、センサシステム１０と制御システム２とを備える。

【0095】

センサシステム１０は、イメージセンサ３、発光部４、信号処理部５および情報処理システム１ａを備える。このうちイメージセンサ３、発光部４および信号処理部５は実施の形態１と同じでよい。情報処理システム１ａは、実施の形態１の情報処理システム１と同じ機能を有し、さらに、車載用の機能が追加されている。

【0096】

制御システム２は、一例として、情報処理システム１ａからの情報処理結果に従って、移動体の運転を支援するための情報を表示装置に表示させる等、適宜、移動体の運転者に対して情報の提示を行う情報提示部である。なお、制御システム２は、情報処理システム１からの情報処理結果に従って、移動体の操舵または制動等を制御することで、移動体の運転（操縦）を支援してもよい。

【0097】

図６は、実施の形態２に係る情報処理システム１ａの詳細な構成例を示すブロック図である。同図の情報処理システム１ａは、図１に示した情報処理システム１と比較して、２００番台の構成要素、つまり、ノイズ処理部２１４、トラッキング部２１９、第２合成部２２２、白線検出部２２３、白線鳥瞰部２２４、フリースペース検知部２２５、駐車枠検出部２２６および出力部２２７が追加されていつ点が主に異なっている。以下、同じ点の説明の重複を避けて、異なる点を中心に説明する。

【0098】

情報処理システム１ａには、オドメトリ情報Ｄ４と、コンフィデンス情報Ｄ５と、参照情報Ｄ６とが入力される。つまり、情報処理システム１ａに対しては、入力データとして、ＢＷ輝度画像Ｄ１、ＩＲ輝度画像Ｄ２、距離画像Ｄ３、オドメトリ情報Ｄ４、コンフィデンス情報Ｄ５および参照情報Ｄ６が入力される。

【0099】

オドメトリ情報Ｄ４は、例えば、移動体の傾き角度、移動体の進行方向、移動体の移動速度、移動体に係る加速度、アクセルペダルの踏込量（アクセル開度）、ブレーキペダルの踏込量または舵角等、移動体に搭載されたセンサで検出可能な情報を含む。さらに、オドメトリ情報Ｄ４は、ＧＰＳ（Global Positioning System）等を用いて検出可能な移動体の現在位置に基づく情報であって、例えば、現在位置における道路の車線数、路面の白線と黄線の区別、車道幅、歩道の有無、勾配またはカーブの曲率等を含む。

【0100】

コンフィデンス情報Ｄ５は、データの信頼性に関する情報である。一例として、コンフィデンス情報Ｄ５は、距離画像Ｄ３について、干渉またはマルチパス等の影響を受けた疑似距離画像に該当するか否かを判断するために用いられる。同様に、コンフィデンス情報Ｄ５は、ＢＷ輝度画像Ｄ１またはＩＲ輝度画像Ｄ２について、疑似輝度情報に該当するか否かを判断するために用いられる。

【0101】

参照情報Ｄ６は、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２を合成する重み係数を変化させるための情報である。つまり、参照情報Ｄ６は、日中／夜間、または天候（雨、霧）等の白線の状況に関する情報であって、一例として、物体の周囲の照度および／または湿度に関する情報を含んでいる。

【0102】

図６において、ノイズ処理部２１４は、距離画像Ｄ３と、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２からなる群から選択される１以上の情報と、を用いて、距離画像Ｄ３の補正を行う。ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２からなる群から選択される１以上の情報は、ＢＷ輝度画像Ｄ１と、ＩＲ輝度画像Ｄ２と、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を合成した輝度情報（以下、「合成画像」ともいう）と、のいずれかである。ノイズ処理部２１４は、距離取得部１３に接続されている。本実施形態では、ノイズ処理部２１４は、第１合成部２１を介してＩＲ輝度取得部１２に接続されている。つまり、ノイズ処理部２１４には、ＢＷ輝度画像Ｄ１またはＩＲ輝度画像Ｄ２が直接的に入力されるのではなく、第１合成部２１を介して間接的に入力される。距離画像Ｄ３は、それ単体では比較的ＳＮ比が低く、ノイズの比率が大きいため、ノイズ処理部２１４で距離画像Ｄ３のノイズを低減する。

【0103】

トラッキング部２１９は、監視領域内に存在する物体の追跡を行う。トラッキング部２１９は、フュージョン部１８で融合された３Ｄ物体情報について、例えば、イメージセンサ３の出力の複数フレーム間で比較することにより物体の追跡を行う。これにより、トラッキング部２１９では、物体が監視領域内を移動する場合であっても、移動前の物体と移動後の物体を同一の物体と認識可能である。トラッキング部２１９の追跡結果は、物標情報Ｄ１１として出力部２２７に出力される。また、トラッキング部２１９には、オドメトリ情報Ｄ４も入力されている。

【0104】

第２合成部２２２は、ＢＷ輝度取得部１１およびＩＲ輝度取得部１２からのＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成を行う。第２合成部２２２についても、第１合成部２１と同様、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を択一的に出力する選択器としての機能を含んでいる。第２合成部２２２により合成されたＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２は、白線検出部２２３に入力される。そのため、第２合成部２２２の出力が白線検出部２２３の動作に適した合成画像となるように、第２合成部２２２は適宜、制御される。さらに、第２合成部２２２は、参照情報Ｄ６が入力され、例えば、日中／夜間、または天候（雨、霧）等の白線の状況に応じて、適宜、重み係数を変えて合成する。

【0105】

本実施形態では、第１合成部２１の出力は二次元物体検知部２０に入力され、第２合成部２２２の出力は白線検出部２２３に入力される。このように、第１合成部２１および第２合成部２２２の出力に対応する検知対象が異なるため、第１合成部２１と第２合成部２２２とでは、合成時の重み係数が異なっていてよい。

【0106】

ここにおいて、第１合成部２１および第２合成部２２２は、いずれもＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２とを合成する「合成部」として機能する。この合成部（第１合成部２１および第２合成部２２２）は、第１画素３１と第２画素３２の位置に関する情報を補正するように、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２を合成する機能を有している。合成部（第１合成部２１および第２合成部２２２）は、入力される参照情報Ｄ６によって、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２を合成する重み係数を変化させる。

【0107】

白線検出部２２３は、路面に引かれた白線の候補となる領域を検出する。白線検出部２２３は、第２合成部２２２から入力されるＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成画像に基づいて、白線の候補領域を検出する。また、白線検出部２２３には、コンフィデンス情報Ｄ５も入力されている。白線の検知は、一例として、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成画像について、フィルタを用いたエッジ抽出等を行うことで、画素値（明るさ）が急に変化する部位を検知することで実現される。ここで、白線検出部２２３の検出対象となる白線は、白色の線に限らず、例えば、黄線（黄色の線）、絵または図柄等であってもよい。

【0108】

白線鳥瞰部２２４は、白線検出部２２３の後段に設けられている。白線鳥瞰部２２４は、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２の合成画像について、少なくとも白線検出部２２３で検出された白線の候補領域およびその周辺を真上から見た鳥瞰画像となるように、座標変換を行う。

【0109】

フリースペース検知部２２５は、距離画像Ｄ３に基づいて白線内のフリースペース、つまり空いている空間を検知する。本実施形態では、フリースペース検知部２２５には、物体と、物体の周囲に位置する周辺領域と、に分離された距離画像Ｄ３が、分離部１６より入力される。フリースペース検知部２２５は、分離部１６より入力された距離画像Ｄ３を用いて、白線内のフリースペースを検知する。フリースペース検知部２２５の検知結果は、フリースペース情報Ｄ１３として出力部２２７に出力される。また、フリースペース検知部２２５には、オドメトリ情報Ｄ４も入力されている。

【0110】

駐車枠検出部２２６は、白線内の空き駐車枠、つまり他車両が駐車されておらず空いている駐車枠を検知する。一般的に、商業施設、病院、公園、スタジアム、ホールまたは交通機関等の駐車場においては、複数の駐車枠が設けられており、駐車場の利用者は、空き駐車枠を探して、空き駐車枠に自車両（移動体）を駐車する。駐車枠検出部２２６によれば、このようなケースにおいて、自動的に空き駐車枠の探索が可能となる。本実施形態では、駐車枠検出部２２６には、フリースペース検知部２２５の検知結果および白線鳥瞰部２２４の出力（座標変換後の白線の候補領域）が入力される。駐車枠検出部２２６は、フリースペース検知部２２５の検知結果と白線鳥瞰部２２４の出力（座標変換後の白線の候補領域）とのペアリングを行い、空き駐車枠の判定を行う。例えば、駐車枠検出部２２６は、白線内において移動体を駐車可能なサイズの駐車枠のうち、位置的にフリースペースと重複する駐車枠を、空き駐車枠と判定する。駐車枠検出部２２６の検出結果は、空き駐車枠情報Ｄ１４として出力部２２７に出力される。

【0111】

出力部２２７は、ＢＷ輝度画像Ｄ１とＩＲ輝度画像Ｄ２と距離画像Ｄ３とに基づいて行われた、イメージセンサ３の画角内の白線の状況に関する情報処理結果を出力する。すなわち、本実施形態に係る情報処理システム１ａは、イメージセンサ３から取得したＢＷ輝度画像Ｄ１、ＩＲ輝度画像Ｄ２および距離画像Ｄ３に基づいて、白線の状況に関する種々の情報処理を実行し、その結果を出力部２２７から出力する。本実施形態では一例として、出力部２２７は、トラッキング部２１９、分離部１６、フリースペース検知部２２５および駐車枠検出部２２６からそれぞれ取得する、物標情報Ｄ１１、路面情報Ｄ１２、フリースペース情報Ｄ１３および空き駐車枠情報Ｄ１４を出力する。出力部２２７は、これらの情報を制御システム２に出力する。

【0112】

本実施形態では、情報処理結果は、移動体の周辺の白線における物体の有無に関する情報と、白線に存在する物体の白線内での位置に関する情報と、物体の属性に関する情報と、の少なくとも１つを含む。具体的には、物標情報Ｄ１１が、移動体の周辺の白線における物体の有無に関する情報と、白線に存在する物体の白線内での位置に関する情報と、物体の属性に関する情報と、を全て含む。本開示でいう「属性」は、例えば、物体の種別、つまり、人か否か、移動体（人、自動車若しくは自転車等）か固定物か、または街路樹、信号機、ガードレール等の区別を含む。また、物体の「属性」には、物体の大きさ、色または動き（変化）等も含む。さらに、物体が人であれば、その性別、身長、体型または年齢層等、物体が移動体であれば、その移動方向または移動速度等も、物体の「属性」に含む。

【0113】

ここで、出力部２２７が出力する情報は、その出力先の要求に応じて適宜変化する。例えば、クラウド（クラウドコンピューティング）等に対して、複数台の移動体から、出力部２２７の出力が集約される場合には、出力部２２７は、メタ化されたメタ情報を出力してもよい。

【0114】

なお、フュージョン部１８は、イメージセンサ３を含むセンサシステム１０に帰還信号Ｓｉ１を出力してもよい。ここで、イメージセンサ３は、帰還信号Ｓｉ１により、露光時間およびフレームレートからなる群から選択される１以上のパラメータが変化した電気信号を出力する。すなわち、フュージョン部１８が出力する帰還信号Ｓｉ１は、図５に示すように、信号処理部５へ帰還されている。帰還信号Ｓｉ１には、フュージョン部１８の出力である三次元物体検知部１７の検知結果が含まれている。イメージセンサ３は、この帰還信号Ｓｉ１に応じて露光時間および／またはフレームレートを変更する。

【0115】

［２．２ 動作］
次に、本実施の形態における物体検知装置１００についてその動作を説明する。図７は、実施の形態２に係る物体検知装置の動作例を示すフローチャートである。

【0116】

本実施形態に係る情報処理システム１ａは、少なくとも駐車スペース検知モードおよび物体検知モードを含む複数の動作モードを有している。これら複数の動作モードは、それぞれ個別に有効／無効の切替えが可能であって、例えば、駐車スペース検知モードが有効、それ以外の動作モードが全て無効であれば、情報処理システム１ａは、駐車スペース検知モードでのみ動作する。駐車スペース検知モードは、空き駐車枠を検知する動作モードであって、この動作モードでは、上述した空き駐車枠情報Ｄ１４が出力部２２７から出力される。物体検知モードは、監視領域内の物体を検知する動作モードであって、この動作モードでは、上述した物標情報Ｄ１１が出力部２２７から出力される。

【0117】

すなわち、情報処理システム１ａは、図７に示すようにＢＷ輝度画像Ｄ１を取得するＢＷ輝度取得処理（Ｓ１）、ＩＲ輝度画像Ｄ２を取得するＩＲ輝度取得処理（Ｓ２）、および距離画像Ｄ３を取得する距離取得処理（Ｓ３）を実行する。情報処理システム１ａは、ＢＷ輝度取得部１１、ＩＲ輝度取得部１２および距離取得部１３において、随時、ＢＷ輝度取得処理、ＩＲ輝度取得処理および距離取得処理（Ｓ１～Ｓ３）を実行する。

【0118】

次に、情報処理システム１ａは、ノイズ処理部２１４において、距離画像Ｄ３と、ＢＷ輝度画像Ｄ１およびＩＲ輝度画像Ｄ２からなる群から選択される１以上の情報とを用いて、距離画像Ｄ３の補正を行うことで、距離画像Ｄ３のノイズを低減するノイズ除去処理を実行する（Ｓ４）。

【0119】

次に、情報処理システム１ａは、分離部１６において、座標変換後の距離画像Ｄ３について、物体と、物体の周囲に位置する周辺領域と、を分離する分離処理を実行する（Ｓ５）。

【0120】

次に、情報処理システム１ａは、物体検知モードが有効か否かを判断する（Ｓ６）。物体検知モードが有効であれば（Ｓ６：Ｙｅｓ）、情報処理システム１ａは、物体を検知するための一連の処理（Ｓ６ａ、Ｓ７～Ｓ１１）を実行する。すなわち、情報処理システム１ａは、第１クラスタ化部１０１および第２クラスタ化部１０２にて第１クラスタ化処理および第２クラスタ化処理を実行し（Ｓ６ａ）、三次元物体検知部１７にて物体の検知を行う三次元物体検知処理を実行し（Ｓ７）、二次元物体検知部２０にて物体の検知を行う二次元物体検知処理を実行する（Ｓ８）。ここで、ステップＳ６ａは、図３または図４のフローチャートと同じでよい。

【0121】

次に、情報処理システム１ａは、フュージョン部１８において、二次元物体検知部２０の検知結果（二次元検知結果）を用いて、三次元物体検知部１７の検知結果（三次元検知結果）を補正するフュージョン処理を実行する（Ｓ９）。

【0122】

なお、ステップＳ６ａにおいて仮決定されたクラスタが存在する場合、図４に従い、ステップＳ９において該当する三次元物体検知結果と二次元物体検知結果の重なりの判定を行う。

【0123】

次に、情報処理システム１ａは、フュージョン処理の結果から、物体の有無を判断する（Ｓ１０）。物体が存在すれば（Ｓ１０：Ｙｅｓ）、情報処理システム１ａは、出力部２２７において物標情報Ｄ１１を出力し（Ｓ１１）、駐車スペース検知モードが有効か否かを判断する（Ｓ１２）。物体が存在しなければ（Ｓ１０：Ｙｅｓ）、情報処理システム１ａは、物標情報Ｄ１１を出力せずに、処理Ｓ１２に移行する。

【0124】

駐車スペース検知モードが有効であれば（Ｓ１２：Ｙｅｓ）、情報処理システム１ａは、空き駐車枠を検知するための一連の処理（Ｓ１３～Ｓ１６）を実行する。すなわち、情報処理システム１ａは、白線検出部２２３において白線の候補領域を検出し（Ｓ１３）、フリースペース検知部２２５においてフリースペースを検知する（Ｓ１４）。これらの結果から、情報処理システム１ａは、駐車枠検出部２２６において、監視領域内の空き駐車枠の有無を判断する（Ｓ１５）。

【0125】

空き駐車枠があれば（Ｓ１５：Ｙｅｓ）、情報処理システム１ａは、出力部２２７において空き駐車枠情報Ｄ１４を出力し（Ｓ１６）、一連の処理を終了する。空き駐車枠がなければ（Ｓ１５：Ｙｅｓ）、情報処理システム１ａは、空き駐車枠情報Ｄ１４を出力せずに、一連の処理を終了する。

【0126】

また、物体検知モードが無効であれば（Ｓ６：Ｎｏ）、情報処理システム１ａは、物体を検知するための一連の処理（Ｓ７～Ｓ１１）をスキップして、処理Ｓ１２に移行する。駐車スペース検知モードが無効であれば（Ｓ１２：Ｎｏ）、情報処理システム１ａは、空き駐車枠を検知するための一連の処理（Ｓ１３～Ｓ１６）をスキップして、処理を終了する。

【0127】

情報処理システム１ａは、上述したような一連の処理Ｓ１～Ｓ１６を繰り返し実行する。図７のフローチャートは、情報処理システム１ａの全体動作の一例に過ぎず、処理を適宜省略または追加してもよいし、処理の順番が適宜変更されていてもよい。例えば、処理Ｓ１～Ｓ３の順番が変更され、ＩＲ輝度画像Ｄ２および距離画像Ｄ３を取得した後（Ｓ２，Ｓ３）、ＢＷ輝度画像Ｄ１を取得してもよい（Ｓ１）。

【0128】

以上説明してきたように本開示の実施の形態２の一態様に係る物体検知装置１００は、３Ｄ物体情報に基づいて、物体検知装置を搭載する移動体の移動を支援する情報を提示する情報提示部としての制御システム２を備える。

【0129】

これによれば、距離画像において低い反射率を有する物体の検知能力を高めることができる。また、移動体に搭載された物体検知装置１００に適している。

【0130】

なお、イメージセンサ３は、１つの固体撮像装置で構成される代わりに、２つの固体撮像装置で構成されてもよいし、３つの固体撮像装置で構成されてもよい。ただし、ＢＷ輝度画像Ｄ１、ＩＲ輝度画像Ｄ２および距離画像Ｄ３の画素同士の対応付けが可能であることが必要である。

【0131】

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0132】

以上、一つまたは複数の態様に係る物体検知装置１００、物体検知方法、プログラムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0133】

本開示は、輝度画像および距離画像中の物体を検知する物体検知装置１００に利用可能である。

【符号の説明】

【0134】

１、１ａ 情報処理システム
２ 制御システム
３ イメージセンサ
４ 発光部
５ 信号処理部
１０ センサシステム
１１ ＢＷ輝度取得部
１２ ＩＲ輝度取得部
１３ 距離取得部
１５ 座標変換部
１６ 分離部
１７ 三次元物体検知部
１８ フュージョン部
２０ 二次元物体検知部
２１ 第１合成部
２１４ ノイズ処理部
２１９ トラッキング部
２２２ 第２合成部
２２３ 白線検出部
２２４ 白線鳥瞰部
２２５ フリースペース検知部
２２６ 駐車枠検出部
２２７ 出力部
３１ 第１画素
３２ 第２画素
１００ 物体検知装置
１０１ 第１クラスタ化部
１０２ 第２クラスタ化部
Ｄ１ ＢＷ輝度画像
Ｄ２ ＩＲ輝度画像
ｄ３ 点群データ
Ｄ３ 距離画像
Ｄ４ オドメトリ情報
Ｄ５ コンフィデンス情報
Ｄ６ 参照情報
Ｄ１１ 物標情報
Ｄ１２ 路面情報
Ｄ１３ フリースペース情報
Ｄ１４ 駐車枠情報
Ｓｉ１ 帰還信号

【要約】

物体検知装置（１００）は、同じ撮像領域に対応する第１輝度画像と距離画像とを取得する第１輝度取得部（１１）および距離取得部（１３）と、距離画像において、同一物体とみなせる一定範囲内にある画素の集合であるグループを生成し、グループに含まれる画素の数が第１しきい値以上である場合、当該グループを、クラスタと決定する第１クラスタ化部（１０１）と、グループに含まれる画素の数が第１しきい値より少ない場合、第１輝度画像中の画素群であってグループに対応する画素群の輝度が第２しきい値以上である場合に当該グループをクラスタと決定する第２クラスタ化部（１０２）と、クラスタに基づいて距離画像中の物体を検知し、検知した物体を示す３Ｄ物体情報を生成する３Ｄ物体検知部（１７）と、を備える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】