特開 2024-174769 物体検出装置及び物体検出装置のキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174769

(43)【公開日】2024-12-17

(54)【発明の名称】物体検出装置及び物体検出装置のキャリブレーション方法

(51)【国際特許分類】

   G06T 7/80 20170101AFI20241210BHJP

   G01S 7/497 20060101ALI20241210BHJP

   G01S 17/931 20200101ALI20241210BHJP

   G01S 17/89 20200101ALI20241210BHJP

【ＦＩ】

G06T7/80

G01S7/497

G01S17/931

G01S17/89

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023092785

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100180644

【弁理士】

【氏名又は名称】▲崎▼山 博教

(72)【発明者】

【氏名】野田 憲司

【テーマコード（参考）】

5J084

5L096

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AB20

5J084AC02

5J084CA31

5J084CA65

5J084CA70

5J084EA08

5L096AA09

5L096BA04

5L096CA02

5L096EA26

5L096FA18

5L096FA67

5L096HA08

(57)【要約】

【課題】各種のカメラ１０において利用でき、精度良くキャリブレーションを実行できる物体検出装置を提供する。
【解決手段】物体検出装置１は、車両前方の画像１１を取得するカメラ１０と、車両前方の点群データ２１を取得する測距センサ２０と、画像１１及び点群データ２１に基づいてキャリブレーションを実行する補正部３０とを備え、補正部３０は、画像１１内において、バウンディングボックス１２を設定し、バウンディングボックス１２内に位置する物標３を検出すると共に、物標３に相当する点群２２が、バウンディングボックス１２で囲まれた認識領域１２Ａに対してずれていることを条件として、点群２２の認識領域１２Ａに対するずれ量Ｌ及び方向Ｄを取得すると共に、ずれ量Ｌ及び方向Ｄに基づいて、カメラ１０及び測距センサ２０の少なくとも一方のキャリブレーションを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両における物体検出装置であって、
前記車両の前方を撮像して画像を取得するカメラと、
前記車両の前方における点群データを取得する測距センサと、
前記カメラ及び前記測距センサによって取得した前記画像及び前記点群データに関する情報に基づいてキャリブレーションを実行する補正部と、
を備え、
前記補正部は、
前記画像内において、バウンディングボックスを設定し、当該バウンディングボックス内に位置する所定の物標を検出すると共に、前記測距センサによって取得した前記点群データにおいて、前記物標に相当する所定の点群が、前記バウンディングボックスで囲まれた認識領域に対してずれていることを条件として、前記点群の前記認識領域に対するずれ量及び方向を取得すると共に、当該ずれ量及び当該方向に基づいて、前記カメラ及び前記測距センサのいずれか一方又は双方のキャリブレーションを実行すること、を特徴とする物体検出装置。

【請求項2】

前記補正部は、複数の前記物標を検出すると共に、複数の前記物標毎に対応する複数のずれ量及び方向を取得するものであり、
前記キャリブレーションが、複数の前記ずれ量及び前記方向に基づいて実行されること、を特徴とする請求項１に記載の物体検出装置。

【請求項3】

請求項１又は２の物体検出装置を用い、
前記車両が停止しているか否かを判定する車両停止状態判定ステップと、
前記車両停止状態判定ステップにおいて、前記車両が停止状態にあると判定されることを条件として、前記測距センサにより前記点群データを取得する点群データ取得ステップと、
前記カメラにより前記画像を取得する画像取得ステップと、
前記画像を解析することにより、前記画像内における前記バウンディングボックスの有無を判定するバウンディングボックス有無判定ステップと、
前記バウンディングボックス有無判定ステップにおいて、前記バウンディングボックスを有すると判定されたことを条件として、前記バウンディングボックスの位置座標を前記測距センサにおける測距座標に変換する座標変換ステップと、
前記バウンディングボックスの前記認識領域内に位置する前記点群データから同一平面に位置する前記点群を算出する点群算出ステップと、
前記認識領域の外部に前記同一平面上の前記点群が存在するか否かを判定する点群位置判定ステップと、
前記点群位置判定ステップにおいて、前記認識領域の外部に前記同一平面上の前記点群が存在することを条件として、前記点群の前記認識領域に対するずれ量及び方向を算出するずれ量・方向算出ステップと、
前記ずれ量・方向算出ステップで算出された前記ずれ量及び方向に基づいて前記カメラ又は前記測距センサの補正係数を算出する補正係数算出ステップと、
前記補正係数算出ステップにおいて算出された前記補正係数を前記補正部に記憶させる補正係数設定ステップと、
前記補正係数設定ステップで設定された前記補正係数に基づいて、前記キャリブレーションを実行するキャリブレーション実行ステップと、
を順次実行すること、を特徴とする物体検出装置のキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両等における物体検出装置及び物体検出装置のキャリブレーション方法に関する。

【背景技術】

【0002】

従来、各種の車両において、自動運転制御技術や衝突回避支援技術などの技術が開発されている。これらの技術を採用する車両では、各種の撮像装置（ステレオカメラ、単眼カメラ等）、レーダー装置、センサ（ソナー装置）等を用いた走行制御装置が知られている（例えば、特許文献１）。上述した特許文献１に記載の走行制御装置は、ステレオカメラで取得した画像データと、ＬｉＤＡＲ（測距センサに相当）で取得した３次元点群データと、を用いて車両の走行制御を行うものとされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１５７０９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１に記載の走行制御装置は、ステレオカメラ及びＬｉＤＡＲ（測距センサに相当）の双方が深さ情報を取得可能なものであり、双方とも高価なものとされている。すなわち、上述した特許文献１に記載の走行制御装置は、高価で冗長な構成となっている。そのため、ステレオカメラに代えて、安価な単眼カメラを使用した物体検出装置が求められている。

【0005】

ところで、走行制御装置に用いられる物体検出装置は、例えば、撮像装置を車両に取り付ける際の取り付け精度や経年変化等に起因する位置ずれなどの原因によって、撮像のずれが生じることがある。その結果、撮像装置によって取得された画像情報を利用して行われる車両の走行制御に誤作動が生じる懸念があった。そのため、上述した特許文献１に記載の走行制御装置においては、ステレオカメラをキャリブレーションする技術が開示されている。しかしながら、上述した特許文献１に記載の走行制御装置は、深さ情報を有するステレオカメラに関するキャリブレーション技術を開示するものであり、深さ情報を有しない単眼カメラのキャリブレーションには適用できない問題があった。

【0006】

そこで、本発明は、単眼カメラを含む各種のカメラにおいて利用することができ、精度良くキャリブレーションを実行可能な物体検出装置及び物体検出装置のキャリブレーション方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）上述した課題を解決すべく提供される本発明の物体検出装置は、車両における物体検出装置であって、前記車両の前方を撮像して画像を取得するカメラと、前記車両の前方における点群データを取得する測距センサと、前記カメラ及び前記測距センサによって取得した前記画像及び前記点群データに関する情報に基づいてキャリブレーションを実行する補正部と、を備え、前記補正部は、前記画像内において、バウンディングボックスを設定し、当該バウンディングボックス内に位置する所定の物標を検出すると共に、前記測距センサによって取得した前記点群データにおいて、前記物標に相当する所定の点群が、前記バウンディングボックスで囲まれた認識領域に対してずれていることを条件として、前記点群の前記認識領域に対するずれ量及び方向を取得すると共に、当該ずれ量及び当該方向に基づいて、前記カメラ及び前記測距センサのいずれか一方又は双方のキャリブレーションを実行すること、を特徴とするものである。

【0008】

上述した物体検出装置は、補正部において、カメラで撮像した画像内において設定されたバウンディングボックス内に位置する所定の物標を検出するものとされている。また、上述した物体検出装置は、測距センサによって取得した３次元情報(深さ情報とも称する)を含む点群データのうち、物標に相当する所定の点群を認識し、当該点群が、バウンディングボックスで囲まれた認識領域に対してずれていることを条件として、点群の認識領域に対するずれ量及び方向を取得するものとされている。言い換えると、上述した物体検出装置は、２次元画像に設定されたバウンディングボックスの形成する平面上において、３次元点群データのうち、バウンディングボックスと同一平面上の物標に相当する点群を認識し、点群の認識領域に対するずれ量及び方向を取得することができる。ここで、測距センサには、例えば、ライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）が利用できる。また、上述した物体検出装置は、取得したずれ量及び方向に基づいて、カメラ及び測距センサのいずれか一方又は双方のキャリブレーションを実行することができる。なお、上述したカメラ及び測距センサによる物標の検出は、車両が停止した状態で行うことが望ましい。また、物標は、停止した状態のものを対象とすることが望ましい。

【0009】

このように、上述した物体検出装置は、カメラで撮像された２次元の画像と、測距センサで測距された３次元の点群データと、に基づいてキャリブレーションを実行できる。すなわち、上述した物体検出装置は、カメラで撮像された画像に３次元情報が含まれていなくても、精度良くキャリブレーションを実行できる。したがって、上述した物体検出装置は、カメラのコストを低減できる。また、上述した物体検出装置は、ステレオカメラ、単眼カメラを問わず、２次元の画像を取得可能な各種のカメラを利用できるので、汎用性が向上する。

【0010】

（２）上述した本発明の物体検出装置において、前記補正部は、複数の前記物標を検出すると共に、複数の前記物標毎に対応する複数のずれ量及び方向を取得するものであり、前記キャリブレーションが、複数の前記ずれ量及び前記方向に基づいて実行されること、を特徴とするとよい。

【0011】

上述した物体検出装置は、複数の物標毎の複数のずれ量及び方向に基づいてキャリブレーションを実行できるので、キャリブレーションの精度を向上できる。

【0012】

（３）上述した本発明の物体検出装置は、前記カメラが、単眼カメラであること、を特徴とするとよい。

【0013】

上述した物体検出装置は、カメラとして単眼カメラが用いることにより、コスト低減が期待できる。また、上述した物体検出装置は、深さ情報の取得を測距センサに一本化できるので、深さ情報の取得機能が重複することによる装置の冗長化を抑制できる。

【0014】

（４）上述した本発明の物体検出装置において、前記補正部は、前記カメラによって取得された画像からＡＩによる分析を用いて推測された前記物標の位置座標に基づいて、前記バウンディングボックスを設定すること、を特徴とするとよい。

【0015】

上述した物体検出装置は、かかる構成とすることにより、対象とすべき物標をＡＩによる分析により、推測して検出できる。そのため、上述した物体検出装置は、最適な物標を対象としてバウンディングボックスを設定できる。これにより、上述した物体検出装置は、精度良くキャリブレーションを実行できる。ここで、ＡＩによる分析では、例えば、道路標識などの表面が平坦で検出が容易なものが物標の対象として推測されるとよい。

【0016】

（５）上述した本発明の物体検出装置において、前記画像及び前記点群データは、前記車両が停止している際に取得されるものであり、前記補正部は、予め前記キャリブレーションを実行することにより取得された射影行列を用いて、前記点群データを前記画像上に射影することにより、前記物標に相当する所定の前記点群を得ること、を特徴とするとよい。

【0017】

上述した物体検出装置は、かかる構成とすることにより、予め取得された射影行列を用いて、物標に相当する所定の点群を容易に取得することができる。すなわち、上述した物体検出装置は、予め用意された射影行列を用いることにより、３次元の点群データのうち、バウンディングボックスとして設定された２次元の同一平面上の点群データを容易に抽出できる。

【0018】

（６）上述した本発明の物体検出装置は、前記物標が、道路標識、看板、及び前記車両とは異なる停止中の他車両の少なくとも１つを含むこと、を特徴とするとよい。

【0019】

上述した物体検出装置は、かかる構成とすることにより、停止した物標に基づいて画像及び点群データを取得できるので、当該画像及び当該点群データを用いて精度良くキャリブレーションを行うことができる。なお、キャリブレーションに用いる物標は、道路標識や看板等の表面が平坦であることが望ましい。このように物標の表面が平坦に形成されていることにより、物標に対する測距誤差を低減できるので、キャリブレーションを精度良く行うことができる。

【0020】

（７）上述した本発明の物体検出装置は、複数の前記物標毎に、複数の前記バウンディングボックスが設定されるものであり、複数の前記バウンディングボックスの少なくとも一部が、互いに重複することを条件として、前記補正部におけるキャリブレーションの実行が行われないこと、を特徴とするとよい。

【0021】

上述した物体検出装置は、かかる構成とすることにより、重複したバウンディングボックスを排除できる。これにより、上述した物体検出装置は、バウンディングボックスが重なって、物標を正確に認識できない場合の画像や点群データを排除できるので、正確なキャリブレーションを実行できる。

【0022】

（８）上述した課題を解決すべく提供される本発明の物体検出装置のキャリブレーション方法は、上述した物体検出装置を用い、前記車両が停止しているか否かを判定する車両停止状態判定ステップと、前記車両停止状態判定ステップにおいて、前記車両が停止状態にあると判定されることを条件として、前記測距センサにより前記点群データを取得する点群データ取得ステップと、前記カメラにより前記画像を取得する画像取得ステップと、前記画像を解析することにより、前記画像内における前記バウンディングボックスの有無を判定するバウンディングボックス有無判定ステップと、前記バウンディングボックス有無判定ステップにおいて、前記バウンディングボックスを有すると判定されたことを条件として、前記バウンディングボックスの位置座標を前記測距センサにおける測距座標に変換する座標変換ステップと、前記バウンディングボックスの前記認識領域内に位置する前記点群データから同一平面に位置する前記点群を算出する点群算出ステップと、前記認識領域の外部に前記同一平面上の前記点群が存在するか否かを判定する点群位置判定ステップと、前記点群位置判定ステップにおいて、前記認識領域の外部に前記同一平面上の前記点群が存在することを条件として、前記点群の前記認識領域に対するずれ量及び方向を算出するずれ量・方向算出ステップと、前記ずれ量・方向算出ステップで算出された前記ずれ量及び方向に基づいて前記カメラ又は前記測距センサの補正係数を算出する補正係数算出ステップと、前記補正係数算出ステップにおいて算出された前記補正係数を前記補正部に記憶させる補正係数設定ステップと、前記補正係数設定ステップで設定された前記補正係数に基づいて、前記キャリブレーションを実行するキャリブレーション実行ステップと、を順次実行することを特徴とするものである。

【0023】

上述した物体検出装置のキャリブレーション方法は、車両停止状態判定ステップにおいて、車両が停止状態にあると判定されることを条件として、点群データ取得ステップや画像取得ステップが実行される。そのため、取得された点群データや画像の処理負担が軽減されると共に、物標の検出誤差を低減できる。また、座標変換ステップにおいて、バウンディングボックスの位置座標が、測距センサにおける測距座標（ＬｉＤＡＲ座標とも称する）に変換される。すなわち、バウンディングボックスの２次元の平面に相当する位置座標が、測距座標に変換される。これにより、点群算出ステップにおいて、バウンディングボックスの平面上に位置する点群データが算出される。言い換えると、測距センサによって取得される３次元点群データのうち、バウンディングボックスと同一平面上の２次元の点群データが算出される。また、算出された点群データに基づき、ずれ量・方向算出ステップ、補正係数算出ステップ、及び補正係数設定ステップが実行され、算出された補正係数に基づきキャリブレーション実行ステップによりキャリブレーションが実行される。

【0024】

このように、上述したキャリブレーション方法は、測距センサで取得された３次元の点群データを、２次元の点群データに置き換えて補正係数を算出できるので、カメラで撮像された画像に３次元情報が含まれていなくても、精度良くキャリブレーションを実行できる。したがって、上述したキャリブレーション方法は、カメラのコストを低減できる。また、上述したキャリブレーション方法は、ステレオカメラ、単眼カメラを問わず、２次元の画像を取得可能な各種のカメラを利用できるので、汎用性が向上する。

【発明の効果】

【0025】

本発明によれば、単眼カメラを含む各種のカメラにおいて利用することができ、精度良くキャリブレーションを実行可能な物体検出装置及び物体検出装置のキャリブレーション方法を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態に係る物体検出装置の概略構成図である。

【図2】本発明の物体検出装置において、点群がバウンディングボックスの外部にずれた状態を表す説明図である。

【図3】本発明の物体検出装置において、キャリブレーションを実行し、点群がバウンディングボックス内に収まった状態を表す説明図である

【図4】本発明の物体検出装置のキャリブレーション方法の一実施形態に係るフロー図である。

【図5】図４のフロー図の続きである。

【発明を実施するための形態】

【0027】

以下、添付の図１～図５を参照して、本発明の一実施形態に係る物体検出装置１の詳細を説明する。これらの図は模式図であって、必ずしも大きさを正確な比率で記したものではない。また、図中、同様の構成部品は、同様の符号を付して示す。また、図２及び図３において、点群データ２１や点群２２は、理解を容易にするため、実際の大きさやピッチよりも誇大に描いていることに留意されたい。また、図２及び図３において、点群データ２１や点群２２は、理解を容易にするため、物標３に相当するものだけを得たいていることに留意されたい。

【0028】

図１に示すように、物体検出装置１は、車両２に搭載されている。物体検出装置１は、カメラ１０と、測距センサ２０と、補正部３０等を備えている。物体検出装置１で検出された物体（物標３（図２及び図３参照）に相当）は、例えば、車両２の自動運転制御や衝突回避支援システムなどに供される。

【0029】

カメラ１０は、本実施形態では、例えば、単眼カメラが用いられている。カメラ１０は、例えば、車両２におけるフロントガラス２Ａの内側上部に取り付けられている。カメラ１０は、車両２の前方を撮像して２次元の画像１１（図２参照）を取得できる。カメラ１０は、所定の画角で車両２の前方側を撮像できる。本実施形態では、カメラ１０は、車両２が停止状態にある場合に画像１１を撮像して取得するものとされている。ここで、カメラ１０で撮像された画像１１には、後述する物標３が含まれている。なお、カメラ１０は、単眼カメラに限らず、ステレオカメラ等の各種のカメラを用いることができる。

【0030】

測距センサ２０は、本実施形態では、例えば、ライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）が用いられている。ＬｉＤＡＲは、近赤外光や可視光、紫外線を使って対象物に光を照射し、その反射光を光センサでとらえて距離を測定するリモートセンシング（離れた位置からセンサを使って感知する）方式とされている。測距センサ２０は、例えば、車両２におけるフロントガラス２Ａの内側上部に取り付けられている。測距センサ２０は、車両２の前方における点群データ２１（図２及び図３参照）を取得できる。本実施形態では、測距センサ２０は、車両２が停止状態にある場合に点群データ２１を取得するものとされている。測距センサ２０は、例えば、カメラ１０と隣接して設けられている。ここで、測距センサ２０によって取得される点群データ２１は、３次元情報（深さ情報とも称する）を含むものとされている。

【0031】

補正部３０は、画像処理やキャリブレーションの実行に必要な各種の演算を実行可能なコンピュータとして形成されている。補正部３０は、キャリブレーションに関する補正係数や補正等に必要な変換テーブルや変換式等を記憶するための記憶手段（メモリ、ＨＤＤ、ＳＤＤ等）を備えている。補正部３０は、カメラ１０によって取得した画像１１と、測距センサ２０によって取得した点群データ２１に関する情報に基づいて、カメラ１０及び測距センサ２０のいずれか一方又は双方（本実施形態では、カメラ１０）のキャリブレーション（校正）を実行することができる。補正部３０は、図２及び図３に示すように、画像１１内において、バウンディングボックス１２を設定するものとされている。具体的には、補正部３０は、カメラ１０によって取得された画像１１からＡＩによる分析を用いて推測された所定の物標３の位置座標に基づいて、バウンディングボックス１２を設定するものとされている。

【0032】

ここで、本実施形態では、道路標識３Ａ、及び停止状態にある他車両３Ｂの２つの物標３，３がＡＩによる分析によって推測されており、２つの物標３，３毎にバウンディングボックス１２が設定されている。すなわち、本実施形態では、２つのバウンディングボックス１２，１２が設定されている。

【0033】

このように、上述した物体検出装置１は、対象とすべき物標３をＡＩによる分析により、推測して検出できる。そのため、上述した物体検出装置１は、最適な物標３を対象としてバウンディングボックス１２を設定できる。これにより、上述した物体検出装置１は、精度良くキャリブレーションを実行できる。ここで、ＡＩによる分析では、例えば、道路標識３Ａなどの表面が平坦で検出が容易なものが物標３の対象として推測されるとよい。

【0034】

バウンディングボックス１２は、矩形状に形成されることにより、２次元の平面を形成している。また、バウンディングボックス１２で囲まれた範囲には、認識領域１２Ａが設定されている。

【0035】

また、補正部３０は、バウンディングボックス１２（認識領域１２Ａ）内に位置する物標３，３を検出することができる。また、補正部３０は、予めキャリブレーションを実行することにより取得された射影行列を用いて、点群データ２１を画像１１上に射影することにより、物標３に相当する所定の点群２２を得るものとされている。具体的に説明すると、補正部３０は、３次元情報を含む点群データ２１に対して後述のキャリブレーションを実行することにより、バウンディングボックス１２（２次元の画像１１）と同一の平面上に点群データ２１を射影するための射影行列を取得できる。このように、補正部３０は、予め取得された射影行列を用いて、３次元の点群データ２１を画像１１上に射影することにより、バウンディングボックス１２と同一の平面上に存在する物標３に相当する所定の点群２２を容易に取得できる。すなわち、上述した物体検出装置１は、予め用意された射影行列を用いることにより、３次元の点群データ２１のうち、バウンディングボックス１２として設定された２次元の同一平面上の点群データ２１を容易に抽出できる。

【0036】

補正部３０は、測距センサ２０によって取得した点群データ２１において、物標３に相当する所定の点群２２が、バウンディングボックス１２で囲まれた認識領域１２Ａに対してずれていることを条件として、点群２２の認識領域１２Ａに対するずれ量Ｌ及び方向Ｄを取得すると共に、ずれ量Ｌ及び方向Ｄに基づいて、カメラ１０及び測距センサ２０のいずれか一方又は双方（本実施形態では、カメラ１０）のキャリブレーションを実行できる。

【0037】

キャリブレーションは、図２に示すように、例えば、物標３，３（道路標識３Ａ，他車両３Ｂ）に相当する点群２２が、図示左方向（－Ｄ方向）にずれ量Ｌだけずれている場合は、図示左方向（－Ｄ方向）にずれ量Ｌだけカメラ１０の撮像位置を戻す補正を行うことにより実行される。すなわち、本実施形態では、ずれ量Ｌに基づく差分だけカメラ１０の位置が補正される。キャリブレーションが実行されると、カメラ１０の位置ずれが補正される。これにより、図３に示すように、物標３，３に相当する点群２２，２２のバウンディングボックス１２，１２に対する位置ずれが補正される。なお、キャリブレーションは、ずれ量Ｌ及び方向Ｄに基づいて算出された補正係数を用いて、物標３，３の位置座標を補正することにより実行するとよい。また、本実施形態では、カメラ１０の撮像位置を移動させてキャリブレーションを実行したが、測距センサ２０の撮像位置を移動させたり、カメラ１０及び測距センサ２０の双方の撮像位置を移動させたりしてキャリブレーションを実行することができる。すなわち、キャリブレーションは、カメラ１０及び測距センサ２０の互いの相対的な撮像位置の移動によって行うことができる。

【0038】

ここで、図２は、理解が容易なように、点群２２が、水平方向（Ｄ方向）にずれ量Ｌだけずれている場合を例示しているが、実際には、斜め方向など各種の方向や複数のバウンディングボックス１２毎に異なる傾向でずれが発生しているものなど各種のずれが発生する可能性がある。かかる場合は、上述したような差分により補正するものだけではなく、例えば、予め設定した変換テーブルを用いたり、予め定めた変換式を用いたりして、補正係数を算出すればよい。

【0039】

また、補正部３０は、本実施形態のように複数の物標３，３毎に、複数のバウンディングボックス１２，１２が設定されている場合において、複数のバウンディングボックス１２，１２の少なくとも一部が、互いに重複することを条件として、補正部３０におけるキャリブレーションの実行を行わないものとすることができる。すなわち、複数のバウンディングボックス１２，１２の少なくとも一部が重複した場合は、物標３，３に相当する点群２２，２２を正確に取得できないため、キャリブレーションの実行を行わないものとされている。

【0040】

このように、上述した物体検出装置１は、重複したバウンディングボックス１２，１２を排除できる。これにより、上述した物体検出装置１は、バウンディングボックス１２，１２が重なって、物標３，３を正確に認識できない場合の画像１１や点群データ２１を排除できるので、正確なキャリブレーションを実行できる。

【0041】

以上が、本発明の一実施形態に係る物体検出装置１の構成であり、次に、本発明の物体検出装置１のキャリブレーション方法について、図４及び図５のフロー図を参照しながら以下に詳細を説明する。なお、図４及び図５において、バウンディングボックス１２をＢＢＯＸと省略して表記していることに留意されたい。

【0042】

図４に示すように、物体検出装置１のキャリブレーションが開始されると、車両２が停止しているか否かの判定が行われる（ステップＳ１０、車両停止状態判定ステップ）。車両２が停止していないと判定された場合は、ステップＳ１０に処理が戻される。一方、ステップＳ１０において、車両２が停止していると判定された場合は、測距センサ２０により点群データ２１が取得される（ステップＳ１１、点群データ取得ステップ）。すなわち、点群データ取得ステップは、車両停止状態判定ステップ（ステップＳ１０）において、車両２が停止状態にあると判定されることを条件として、測距センサ２０により点群データ２１を取得するものとされている。

【0043】

続いて、カメラ１０により画像１１が取得される（ステップＳ１２、画像取得ステップ）。ステップＳ１２において、画像１１が取得されると、画像解析（本実施形態では、ＡＩによる分析）が行われる（ステップＳ１３）。

【0044】

続いて、画像１１にバウンディングボックス１２が存在するか否かの判定が行われる（ステップＳ１４、バウンディングボックス有無判定ステップ）。すなわち、バウンディングボックス有無判定ステップは、画像１１を解析することにより、画像１１内におけるバウンディングボックス１２の有無を判定するものとされている。

【0045】

ステップＳ１４において、バウンディングボックス１２が存在しないと判定された場合は、処理がステップＳ１０に戻される。一方、バウンディングボックス１２が存在すると判定された場合は、カメラ１０におけるカメラ座標のバウンディングボックス１２が、測距センサ２０における測距座標（ＬｉＤＡＲ座標）に変換される（ステップＳ１５、座標変換ステップ）。言い換えると、２次元のバウンディングボックス１２に係るカメラ座標が、３次元の測距座標に変換される。すなわち、座標変換ステップは、バウンディングボックス有無判定ステップ（ステップＳ１４）において、バウンディングボックス１２を有すると判定されたことを条件として、バウンディングボックス１２の位置座標を測距センサ２０における測距座標に変換するものとされている。

【0046】

続いて、バウンディングボックス１２内に位置する点群２２（点群データ２１）から、バウンディングボックス１２と同一平面上にある点群２２（点群データ２１）が算出される（ステップＳ１６、点群算出ステップ）。すなわち、点群算出ステップは、バウンディングボックス１２の認識領域１２Ａ内に位置する点群データ２１から同一平面に位置する物標３に相当する点群２２を算出するものとされている。ステップＳ１６の処理が終了すると、バウンディングボックス１２の外部に同一平面上の点群２２が存在するか否かの判定が行われる（ステップＳ１７、点群位置判定ステップ）。すなわち、点群位置判定ステップは、認識領域１２Ａの外部に同一平面上の点群２２が存在するか否かを判定するものとされている。

【0047】

ステップＳ１７において、点群２２がバウンディングボックス１２の外部に存在しないと判定された場合は、処理がステップＳ１０に戻される。すなわち、キャリブレーションが必要ないと判定される。一方、ステップＳ１７において、バウンディングボックス１２の外部に同一平面上の点群２２が存在すると判定された場合は、図５に示すように、同一平面上の点群２２のバウンディングボックス１２からのずれ量Ｌ及び方向Ｄが算出される（ステップＳ１８、ずれ量・方向算出ステップ）。すなわち、ずれ量・方向算出ステップは、点群位置判定ステップ（ステップＳ１７）において、認識領域１２Ａの外部に同一平面上の点群２２が存在することを条件として、点群２２の認識領域１２Ａに対するずれ量Ｌ及び方向Ｄを算出するものとされている。

【0048】

続いて、ずれ量Ｌ及び方向Ｄに基づいて、カメラ１０又は測距センサ２０をキャリブレーションするための補正係数が算出される（ステップＳ１９、補正係数算出ステップ）。ステップＳ１９において補正係数が算出されると、補正係数が補正部３０に記憶（設定）される（ステップＳ２０、補正係数設定ステップ）。補正部３０に補正係数が記憶されると、補正係数に基づいてキャリブレーションが実行される（ステップＳ２１、キャリブレーション実行ステップ）。キャリブレーションは、上述したようにカメラ１０及び測距センサ２０のいずれか一方又は双方に対して実行することができる。ステップＳ２１が実行されると、処理がステップＳ１０に戻される。なお、ステップＳ２１が実行された後、処理を終了させてもよい。

【0049】

以上が、本発明の物体検出装置１のキャリブレーション方法の一実施形態であり、次に本発明の物体検出装置１、及び物体検出装置１のキャリブレーション方法の作用効果についての詳細を説明する。

【0050】

上述した物体検出装置１は、カメラ１０で撮像された２次元の画像１１と、測距センサ２０で測距された３次元の点群データ２１と、に基づいてキャリブレーションを実行できる。すなわち、上述した物体検出装置１は、カメラ１０で撮像された画像１１に３次元情報が含まれていなくても、精度良くキャリブレーションを実行できる。したがって、上述した物体検出装置１は、カメラ１０のコストを低減できる。また、上述した物体検出装置１は、ステレオカメラ、単眼カメラを問わず、２次元の画像１１を取得可能な各種のカメラを利用できるので、汎用性が向上する。このように、本発明の物体検出装置１は、単眼カメラを含む各種のカメラ１０において利用することができ、精度良くキャリブレーションを実行できる。

【0051】

また、上述した物体検出装置１において、補正部３０は、複数の物標３を検出すると共に、複数の物標３毎に対応する複数のずれ量Ｌを取得するものであり、キャリブレーションが、複数のずれ量Ｌに基づいて実行されるものとされている。これにより、上述した物体検出装置１は、複数の物標３毎の複数のずれ量Ｌ及び方向Ｄに基づいてキャリブレーションを実行できるので、キャリブレーションの精度を向上できる。

【0052】

また、上述した物体検出装置１は、カメラ１０を単眼カメラで構成することにより、コスト低減が期待できる。また、上述した物体検出装置１は、深さ情報の取得を測距センサ２０に一本化できるので、深さ情報の取得機能が重複することによる装置の冗長化を抑制できる。

【0053】

また、上述した物体検出装置１は、物標３が、道路標識３Ａ、看板、及び車両２とは異なる停止中の他車両３Ｂの少なくとも１つを含むものとされている。したがって、上述した物体検出装置１は、停止した物標３に基づいて画像１１及び点群データ２１を取得できるので、当該画像１１及び当該点群データ２１を用いて精度良くキャリブレーションを行うことができる。なお、キャリブレーションに用いる物標３は、道路標識３Ａや看板等の表面が平坦であることが望ましい。このように物標３の表面が平坦に形成されていることにより、物標３に対する測距誤差を低減できるので、キャリブレーションを精度良く行うことができる。

【0054】

また、上述した物体検出装置１のキャリブレーション方法によれば、車両停止状態判定ステップにおいて、車両２が停止状態にあると判定されることを条件として、点群データ取得ステップや画像取得ステップが実行される。そのため、取得された点群データ２１や画像１１の処理負担が軽減されると共に、物標３の検出誤差を低減できる。また、座標変換ステップにおいて、バウンディングボックス１２の位置座標が、測距センサ２０における測距座標（ＬｉＤＡＲ座標）に変換される。すなわち、バウンディングボックス１２の２次元の平面に相当する位置座標が、測距座標に変換される。これにより、点群算出ステップにおいて、バウンディングボックス１２の平面上に位置する点群データ２１を算出できる。言い換えると、測距センサ２０によって取得される３次元点群データ２１のうち、バウンディングボックス１２と同一平面上の２次元の点群データ２１が算出される。また、算出された点群データ２１に基づき、ずれ量・方向算出ステップ、補正係数算出ステップ、及び補正係数設定ステップが実行され、算出された補正係数に基づきキャリブレーション実行ステップによりキャリブレーションが実行される。

【0055】

このように、上述したキャリブレーション方法は、測距センサ２０で取得された３次元の点群データ２１を、２次元の点群データ２１に置き換えて補正係数を算出できるので、カメラ１０で撮像された画像１１に３次元情報が含まれていなくても、精度良くキャリブレーションを実行できる。したがって、上述したキャリブレーション方法は、カメラ１０のコストを低減できる。また、上述したキャリブレーション方法は、ステレオカメラ、単眼カメラを問わず、２次元の画像１１を取得可能な各種のカメラを利用できるので、汎用性が向上する。したがって、本発明の物体検出装置１のキャリブレーション方法は、単眼カメラを含む各種のカメラ１０において利用することができ、精度良くキャリブレーションを実行できる。

【0056】

以上が、本発明の物体検出装置１及び物体検出装置１のキャリブレーション方法の一実施形態であるが、本発明の物体検出装置１及び物体検出装置１のキャリブレーション方法は、上述した実施形態に係るものに限定されるものではなく、様々な変形を行うことができる。

【0057】

本実施形態では、カメラ１０が単眼カメラで構成されているが、カメラ１０には、各種のカメラを利用できる。例えば、カメラ１０は、ステレオカメラで構成されていてもよい。なお、コスト低減の観点からは、カメラ１０が、単眼カメラのようにモノラルカメラで構成されていることが望ましい。また、カメラ１０は、カラーやモノクロを問わず利用でき、物標３を認識可能なものであれば、各種の解像度のものが利用できる。また、本実施形態では、測距センサ２０がＬｉＤＡＲで構成されているが、測距センサ２０には、３次元情報（深さ情報）を取得可能な各種の手段を用いることができる。また、測距センサ２０で検出する解像度も物標３のバウンディングボックス１２に対するずれ量Ｌ及び方向Ｄを検出可能なものであれば、各種の解像度のものが利用できる。また、本実施形態では、補正部３０が、カメラ１０及び測距センサ２０とは別に独立して設けられているが、補正部３０は、カメラ１０及び測距センサ２０に内蔵されているものや、車両２に搭載された制御装置に統合されていてもよい。

【0058】

本実施形態では、複数の物標３毎に複数のバウンディングボックス１２を設定し、複数の物標３毎のずれ量Ｌ及び方向Ｄを取得するようにしているが、バウンディングボックス１２の設定数は、単数又は複数のものでもよい。また、本実施形態では、画像１１からＡＩによる分析を用いて推測された物標３の位置情報に基づいて、バウンディングボックス１２が設定されるものとしたが、ＡＩ以外の手段を用いて物標３を抽出することもできる。例えば、定型の物標３の位置情報に基づいて、バウンディングボックス１２が設定されていてもよい。また、本実施形態では、バウンディングボックス１２が、矩形状のものとしたが、バウンディングボックス１２は、物標３の検出が可能な範囲で、物標３の形状等に応じて、各種の形状や大きさのものに変更できる。また、本実施形態では、点群２２が、水平方向にずれている場合のキャリブレーションを例示したが、キャリブレーションは、点群２２の各種のずれ量Ｌ及び方向Ｄに対応して実行できる。

【0059】

また、本実施形態では、車両２が停止状態にある場合に、物標３に係る画像１１や点群データ２１が取得されるものとしたが、バウンディングボックス１２が形成する平面上の点群データ２１を取得できるものであれば、車両２の走行中に画像１１及び点群データ２１が取得されてもよい。また、本実施形態では、射影行列を用いて点群データ２１を画像１１上に射影することにより、物標３に相当する所定の点群２２を得ているが、射影行列は必要に応じて利用すればよく、射影行列以外の変換テーブルや変換式を用いて点群データ２１を画像１１に射影してもよい。また、本実施形態では、バウンディングボックス１２が形成する平面上に点群データ２１を射影するものとしたが、点群データ２１から、バウンディングボックス１２が形成する平面上の点群データ２１が抽出されるものでもよい。

【0060】

また、本実施形態では物標３が、道路標識３Ａ、看板、及び車両２とは異なる停止中の他車両３Ｂの少なくとも１つを含むものとしているが、物標３は、これらには限定されず、各種の物体を対象にすることができる。なお、物標３は、表面の凹凸が少ない平坦なものを利用することが、画像処理の負担やキャリブレーションの精度向上の点から望ましい。

【0061】

また、本実施形態では、複数のバウンディングボックス１２の少なくとも一部が、互いに重複することを条件として、補正部３０におけるキャリブレーションの実行が行われないものとしたが、本発明はこれには限定されない。例えば、複数のバウンディングボックス１２の少なくとも一部が、互いに重複する場合でも、それぞれのバウンディングボックス１２における物標３の画像１１や物標３に相当する点群２２を抽出することが可能であれば、キャリブレーションを実行するようにしてもよい。

【0062】

以上が、本発明に係る物体検出装置及び物体検出装置のキャリブレーション方法の各種の実施形態や変形例であるが、本発明は上述した実施形態や変形例において例示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示及び精神から他の実施形態があり得ることは当業者に容易に理解できよう。

【産業上の利用可能性】

【0063】

本発明の物体検出装置は、各種の車両における自動運転制御システムや衝突回避支援システム等のカメラや測距センサ（ＬｉＤＡＲ）に利用できる。また、本発明の物体検出装置のキャリブレーション方法は、各種の車両における自動運転制御システムや衝突回避支援システム等のカメラや測距センサのキャリブレーションに利用できる。

【符号の説明】

【0064】

１ ：物体検出装置
２ ：車両
３ ：物標
３Ａ：道路標識（物標）
３Ｂ：他車両（物標）
１０：カメラ
１１：画像
１２：バウンディングボックス
２０：測距センサ（ＬｉＤＡＲ）
２１：点群データ
２２：点群
３０：補正部

【図1】

【図2】

【図3】

【図4】

【図5】