(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-26
(45)【発行日】2024-10-04
(54)【発明の名称】物体検出装置、物体検出方法、物体検出プログラム
(51)【国際特許分類】
G06T 7/593 20170101AFI20240927BHJP
G06T 7/00 20170101ALI20240927BHJP
G08G 1/16 20060101ALI20240927BHJP
【FI】
G06T7/593
G06T7/00 650A
G08G1/16 C
(21)【出願番号】P 2021041798
(22)【出願日】2021-03-15
【審査請求日】2023-07-20
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】浅井 彰司
(72)【発明者】
【氏名】早川 和孝
【審査官】鈴木 圭一郎
(56)【参考文献】
【文献】国際公開第2019/208257(WO,A1)
【文献】特開2011-207444(JP,A)
【文献】特開2019-125345(JP,A)
【文献】特開2019-066333(JP,A)
【文献】特開2019-218035(JP,A)
【文献】国際公開第2013/133463(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/593
G06T 7/00
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
車両の周囲の物体を検出する物体検出装置であって、
車両の周囲を撮影する撮影部と、
前記撮影部の取り付け位置から特定の物体までの距離を検出する距離検出部と、
前記車両の移動に応じて前記撮影部で撮影した複数の画像から、前記距離検出部で検出した物体までの距離に依存する取得条件に基づいて、一対の画像を取得する取得部と、
前記一対の画像上から抽出された同一の特徴点の画像上の変位量に基づいて前記物体の特徴点を抽出し、当該特徴点の三次元位置を推定する推定部とを有し、
前記取得部の前記取得条件が、予め定めた距離であり、前記取得部が、前記予め定めた距離以下の条件が成立する画像を、前記一対の画像の少なくとも1枚目の画像として取得する、物体検出装置。
【請求項2】
前記推定部が、
前記撮影部の光軸の向き、及び、前記物体までの距離に基づいて、路面領域と物体領域との境界線を特定し、前記路面領域よりも前記物体領域から前記特徴点を優先的に抽出する、請求項1記載の物体検出装置。
【請求項3】
前記撮影部で撮影した画像から、前記一対の画像を取得した後、前記車両の移動に応じて前記画像を順次取得し、前記推定部による特徴点の三次元位置を推定することを繰り返すことで、特徴点群地図を作成する、請求項1又は請求項2記載の物体検出装置。
【請求項4】
前記一対の画像の一方の画像と他方の画像のそれぞれを撮影する前記撮影部の撮影位置が、所定以上離れた位置である、請求項1又は請求項2記載の物体検出装置。
【請求項5】
前記一対の画像の一方の画像と他方の画像のそれぞれを撮影する前記撮影部の撮影位置が、双方の撮影光軸同士が所定以上の角度となる位置である、請求項1~請求項4の何れか1項記載の物体検出装置。
【請求項6】
車両の周囲の物体を検出する物体検出方法であって、
車両の周囲を撮影部で撮影し、
撮影部の取り付け位置から特定の物体までの距離を検出し、
検出した特定の物体までの距離の内、予め定めた距離以下の条件が成立する画像を、一対の画像の少なくとも1枚目の画像として取得し、
一対の画像上から抽出された同一の特徴点の画像上の変位量に基づいて前記物体の特徴点を抽出し、当該特徴点の三次元位置を推定する、
物体検出方法。
【請求項7】
コンピュータを、
請求項1~請求項5の何れか1項記載の物体検出装置の、前記取得部及び前記推定部として動作させる、
物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車の走行路周辺の物体を検出する物体検出装置、物体検出方法、物体検出プログラムに関する。
【背景技術】
【0002】
従来、自動車等の車両においては、その車両周囲の障害物を検知し、上記障害物に衝突する危険度を判定して運転者に警報を発したり、上記障害物との距離を運転者に示したり、その距離に応じて自動的にブレーキを作動させて上記車両を停止させる等の技術が考えられている。上記障害物の検知手段の1つとして、車両に搭載されたカメラで撮像された画像による画像認識技術を用いた距離検出装置がある。
【0003】
特許文献1では、超音波センサで物体までの距離を検出する。カメラの2画像から物体の特徴点を抽出し、特徴点の画像上の位置から方向(ピッチ)を推定し、物体までの距離と、特徴点の方向と、車両の移動距離とから、特徴点の三次元位置を推定する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、特徴点が特定された後の処理であり、特徴点を抽出するためのカメラ画像の2画像の相対位置に関する記載がなく、2画像の撮影位置に関する言及がないため、精度が懸念される。
【0006】
本発明は、三次元位置の推定精度が高い特徴点群を迅速に収集することができる物体検出装置、物体検出方法、物体検出プログラムを得ることが目的である。
【課題を解決するための手段】
【0007】
本発明に係る物体検出装置は、車両の周囲の物体を検出する物体検出装置であって、車両の周囲を撮影する撮影部と、前記撮影部の取り付け位置から特定の物体までの距離を検出する距離検出部と、前記車両の移動に応じて前記撮影部で撮影した複数の画像から、前記距離検出部で検出した物体までの距離に依存する取得条件に基づいて、一対の画像を取得する取得部と、前記一対の画像上から抽出された同一の特徴点の画像上の変位量に基づいて前記物体の特徴点を抽出し、当該特徴点の三次元位置を推定する推定部とを有し、前記取得部の前記取得条件が、予め定めた距離であり、前記取得部が、前記予め定めた距離以下の条件が成立する画像を、前記一対の画像の少なくとも1枚目の画像として取得する、ことを特徴としている。
【0008】
本発明によれば、撮影部では、車両の周囲を撮影する。距離検出部では、撮影部の取り付け位置から特定の物体までの距離を検出する。
【0009】
取得部では、車両の移動に応じて撮影部で撮影した複数の画像から、距離検出部で検出した物体までの距離に依存する取得条件に基づいて、一対の画像を取得し、推定部では、一対の画像上から抽出された同一の特徴点の画像上の変位量に基づいて前記物体の特徴点を抽出し、当該特徴点の三次元位置を推定する。
【0010】
これにより、三次元位置の推定精度が高い特徴点群を迅速に収集することができる。
【0012】
少なくとも1枚目の画像を、予め定めた距離以下での撮影画像とすれば、抽出する特徴点の位置を精度よく取得することができる。
【0013】
本発明において、前記推定部が、前記撮影部の光軸の向き、及び、前記物体までの距離に基づいて、路面領域と物体領域との境界線を特定し、前記路面領域よりも前記物体領域から特徴点を優先的に抽出することを特徴とする。
【0014】
特徴点の取捨選択により、地図作成のために、必要十分の特徴点とすることができる。
【0015】
本発明において、前記撮影部で撮影した画像から、前記一対の画像を取得した後、前記車両の移動に応じて前記画像を順次取得し、前記推定部による特徴点の三次元位置を推定することを繰り返すことで、特徴点群地図を作成することを特徴とする。
【0016】
特徴点の画像上の変位量演算を用いることで、特徴点の三次元位置を推定することができる。
【0017】
本発明において、前記一対の画像の一方の画像と他方の画像のそれぞれを撮影する前記撮影部の撮影位置が、所定以上離れた位置であることを特徴とする。
【0018】
一方の画像と他方の画像のそれぞれを撮影する前記撮影部の撮影位置が、所定以上離れていれば、特徴点の画像上の変位量の精度を高めることができる。
【0019】
本発明において、前記一対の画像の一方の画像と他方の画像のそれぞれを撮影する前記撮影部の撮影位置が、双方の特徴点に対する視線同士が所定以上の角度となる位置であることを特徴とする。
【0020】
一方の画像と他方の画像のそれぞれを撮影する前記撮影部の撮影位置が、双方の撮影光軸同士が所定以上の角度となる位置とすれば、特徴点の画像上の変位量の精度を高めることができる。
【0021】
本発明に係る物体検出方法は、車両の周囲の物体を検出する物体検出方法であって、
車両の周囲を撮影部で撮影し、撮影部の取り付け位置から特定の物体までの距離を検出し、検出した特定の物体までの距離の内、予め定めた距離以下の条件が成立する画像を、一対の画像の少なくとも1枚目の画像として取得し、一対の画像上から抽出された同一の特徴点の画像上の変位量に基づいて前記物体の特徴点を抽出し、当該特徴点の三次元位置を推定する、ことを特徴とする。
【0022】
本発明によれば、三次元位置の推定精度が高い特徴点群を迅速に収集することができる。また、少なくとも1枚目の画像を、予め定めた距離以下での撮影画像とすれば、抽出する特徴点の位置を精度よく取得することができる。
【0023】
本発明に係る物体検出プログラムは、コンピュータを、上記物体検出装置の、前記取得部及び前記推定部として動作させることを特徴とする。
【発明の効果】
【0024】
本発明によれば、三次元位置の推定精度が高い特徴点群を迅速に収集することができる。
【図面の簡単な説明】
【0025】
【
図1】本実施の形態に係り、物体の特徴点を抽出して、自動運転の基礎となる高精度地図を作成するための物体検出装置が搭載された車両の側面図である。
【
図2】本実施の形態に係る物体検出装置における物体検出のための処理を機能別にブロック化した制御ブロック図である。
【
図3】車載カメラで撮影した画像の一例を示す正面図である。
【
図4】車載カメラで撮影した画像(異なる位置での2枚の画像)から、特徴点の三次元を推定するための処理を模式的に示した説明図である。
【
図5】物体検出装置12の画像取得制御を主体とした、高精度地図作成のための制御フローチャートである。
【
図6】(A)は車両-物体間の位置関係を示す平面図、(B)は
図6(A)における三次元座標系を示す特性図である。
【発明を実施するための形態】
【0026】
図1は、本実施の形態に係り、物体10の特徴点を抽出して、自動運転の基礎となる高精度地図を作成するための物体検出装置12が搭載された車両14の側面図である。
【0027】
物体10は、車両14が走行する路面20上に設けられており、車両14に対して障害物としての位置付けとなる。
【0028】
車両14には、車載カメラ16と超音波センサ18が取り付けられている。
図1では、車両14の後方を監視する車載カメラ16と超音波センサ18を図示している。なお、車両14には、当該車両14の周辺(360°の周囲)を監視する、図示しない車載カメラ16及び超音波センサ18も取り付けられている。
【0029】
本実施の形態では、車両14を駐車する駐車環境地図(例えば、建物のピロティ空間等の駐車場の地図)を作成することを目的としており、後進して所定の駐車領域に駐車し、前進して所定の駐車領域から出ることを想定している。
【0030】
上記想定に基づき、本実施の形態では、車両14の後方に取り付けられた車載カメラ16及び超音波センサ18を用いて、車両14の後方に位置する物体10(車両14が衝突する可能性がある立設物)を検出する。
【0031】
車載カメラ16では、車両14の後方に存在する物体10及び物体までの路面20等を含む、所定の画角の画像(
図3参照)を撮影する。一方、超音波センサ18では、物体10までの距離Dを計測する。
【0032】
ところで、車載カメラ16は、通常、車両14の後方を撮影するとき、その光軸Aが路面20の方向に所定の俯角θを持って取り付けられていることが多い。
【0033】
そこで、詳細は後述するが、特徴点P(
図3参照)を抽出する場合に、超音波センサ18で検出した、車両14から物体10までの距離Dから、車載カメラ16の撮影した画像上の距離Dに相当する路面の位置を考慮する必要がある。
【0034】
車両14に搭載された物体検出装置12では、
図3に示される如く、車載カメラ16で撮影された画像から特徴点Pを抽出し、また、少なくも異なる車両14の位置で、車載カメラ16によって撮影された2枚の画像(
図4参照)から、特徴点の三次元位置を推定する。
【0035】
物体検出装置12は、地図作成装置22に接続されており、物体検出装置12で推定した各特徴点の三次元位置情報に基づいて、所謂高精度地図を作成する。なお、地図作成装置22は、車両14に搭載せず、クラウド上に設けるようにしてもよい。
【0036】
図2は、本実施の形態に係る物体検出装置12における物体検出のための処理を機能別にブロック化した制御ブロック図である。
【0037】
なお、
図2の制御ブロック図の各ブロックは、機能別に分類したものであり、物体検出装置12のハード構成を限定するものではない。また、一部又は全部の処理を、物体検知プログラムとして実行させるようにしてもよい。
【0038】
車載カメラ16は、画像情報取得部24に接続されている。また、超音波センサ18は、距離比較部26に接続されている。距離比較部26は、画像情報取得部24に接続されており、画像情報取得部24における画像取得時期を通知する。
【0039】
また、画像情報取得部24には、車両14の移動量を検出する移動距離センサ28が接続されている。移動距離センサ28は、例えば、車両14に、もともと取り付けられている車輪速度を検出するセンサが適用可能である。
【0040】
距離比較部26では、超音波センサ18で検出した物体10までの距離Dに対するしきい値が設定されており、特徴点P(
図3の四角枠参照)を抽出する画像として、少なくとも、車両14から物体10までの距離Dがしきい値以内(
図4に示す、予め定めた最小距離X以下)となる画像を、物体検出処理に適用する撮影画像の1枚目としている。
【0041】
従来、特徴点を抽出し、三次元位置を推定する場合、物体までの距離に関係なく、異なる位置で撮影した2枚の画像に基づいて三次元位置を推定していた。しかしながら、これでは、特徴点までの距離が長いと、その距離に応じて画像上の位置精度が低下することになる。画像上の位置精度が低いと、三次元位置の推定値にも誤差が発生する。
【0042】
そこで、本実施の形態では、少なくとも、最初に特徴点Pを抽出する撮影画像が、物体10から、予め定めた最小距離X以内(Xはしきい値)とすることで、距離比較部26から画像情報取得部24へ画像取得を指示することで、特徴点Pの画像上の位置精度を保持することができる。
【0043】
なお、具体的な距離Xは、超音波センサ18により検出可能な範囲(例えば、30cm~5m)で設定すればよく、X=4m~5m程度が好ましい。
【0044】
画像情報取得部24は、特徴点抽出部30に接続されている。特徴点抽出部30は、撮影画像の中から特徴点Pを抽出する。特徴点抽出部30は特徴点取捨選択部32に接続されており、抽出した特徴点Pを特徴点取捨選択部32へ送出する。
【0045】
特徴点取捨選択部32には、路面境界推定部34が接続されている。路面境界推定部34は、超音波センサ18から距離情報を取得する。路面境界推定部34は、超音波センサ18で検出した車両14から物体10までの距離Dに基づき、物体10と路面との境界を推定する。
【0046】
図6に従い、推定例を説明する。
図6(A)は車両-物体間の位置関係を示す平面図、(B)は
図6(A)における三次元座標系を示す。
【0047】
物体までの距離がD、超音波センサ16の反射点の方位角がφのとき、物体と路面との境界点Psの、車両座標系における位置(xν,yν,zν)は、以下の(1)式で表される。
【0048】
【0049】
車載カメラ16の俯角がθ、路面からのカメラ高さがh、焦点距離がfのとき、路面境界点の車両座標系における位置(xν,yν,zν)と、カメラ座標系における位置(xc,yc,zc)と、画像座標系における位置(xi,yi)との間には以下の(2)式及び(3)式の関係が成り立つ。
【0050】
【0051】
【0052】
反射点の方位角φは未知であるため、超音波センサ18の放射角Φを考慮して、以下の(4)式を満たす種々の方位角φ(例えば、k=0,1・・・100として、-0.5×π+k×0.01×Φ)について、上記(1)式~(3)式を用いて画像座標系における位置(xi,yi)を計算することにより、画像上の路面境界線Kを特定することができる。
【0053】
【0054】
特徴点取捨選択部32では、特徴点抽出部30から特徴点Pに関する情報を受け付けると共に、路面境界推定部34からの路面境界線に基づき、撮影画像内に存在する複数の特徴点Pを取捨選択する。
【0055】
すなわち、路面境界線(
図3の点線K参照)よりも下の領域は、物体10が存在しない位置であるため、特徴点Pとしての優先順位を下げる(又は除く)ことで、物体10に依存する重要な特徴点Pを取捨選択することができる。
【0056】
特徴点取捨選択部32は、三次元位置推定部36に接続されている。三次元位置推定部には、画像情報取得部24で取得した画像情報を受け付け、少なくとも、2枚の画像に共有する特徴点P(特徴点取捨選択部32で選択された各々の特徴点P)の三次元位置を推定する。
【0057】
三次元位置推定部36は、地図作成装置22に接続されており、推定した各特徴点Pの三次元位置(推定値)を地図作成装置22へ送出する。地図作成装置22では、受け付けたて特徴点Pの三次元位置(推定値)に基づき、地図を作成する。作成された地図は、例えば、自動運転の基礎となる駐車環境の高精度地図として適用される。
【0058】
図4は、車載カメラ16で撮影した画像(異なる位置での2枚の画像)から、特徴点Pの三次元を推定するための処理を模式的に示した説明図である。
【0059】
図4(A)では、車両14が特徴点Pを中心に旋回している状態で、当該特徴点Pの三次元位置を推定している。
【0060】
まず、車載カメラ16が第1の位置でn枚目の画像50Aを撮影し、その後、第2の位置に移動でn+1枚目の画像50Bを撮影すると、2枚の画像50A、50B上の特徴点P1、P2の位置が異なる。この変位量に基づき、特徴点Pの三次元位置を推定することができる。
【0061】
特徴点Pが存在する物体までの距離と、特徴点Pの方向と、車両14の移動距離とから、特徴点Pの三次元位置を推定する技術は、公知の技術であるため(例えば、特許第6753383号公報)、ここでの詳細な説明は省略する。
【0062】
なお、n枚目の画像50Aとn+1枚目の画像50Bは、双方の視線がなす角度(挟角)βが1°以上であることが好ましい。なお、本実施の形態では、1枚目(n=1)の画像50Aは、物体10までの距離Dがしきい値X以下の距離での撮影することが必須である。
【0063】
一方、
図4(B)では、車両14が特徴点Pから遠ざかっている状態で、2枚の画像50A、50Bを撮影した状態で、特徴点Pの三次元を推定するための処理を模式的に示した説明図である。
【0064】
原理は、
図4(A)と同様であるが、例えば、車両14が遠ざかる方向へ移動している場合、2枚の画像50A、50B上の特徴点P1、P2の位置の変位が少ない。そこで、n枚目の画像50Aを撮影した後、n+1枚目の画像50Bを撮影するとき、双方の視線がなす角度(挟角)が1°以上になることを前提として、撮影画像の取得インタバルを決めればよい。なお、
図4(B)においても、1枚目(n=1)の画像50Aは、物体10までの距離Dがしきい値X以下の距離での撮影することが必須である。
【0065】
以下に、本実施の形態の作用を説明する。
【0066】
図5は、物体検出装置12の画像取得制御を主体とした、高精度地図作成のための制御フローチャートである。
【0067】
ステップ100では、初期設定として、フラグFをリセット(0)すると共に、撮影枚数のカウント値nを1にセットして、ステップ102へ移行する。
【0068】
ステップ102では、車載カメラ16で撮影した画像を要求し、次いで、ステップ104で画像を取得したか否かを判断し、肯定判定されるまで、このステップ104で待機する。
【0069】
このステップ104で肯定判定されると、ステップ106へ移行して、フラグFの状態(F=0か否か)を確認する。
【0070】
このステップ106で肯定判定(F=0)の場合は、1枚目の画像を取得していないと判断し、ステップ108へ移行して、物体10までの距離Dが所定値以下(
図4のしきい値X以下)か否かを判断する。
【0071】
このステップ108で否定判定された場合は、1枚目の画像取得の距離(しきい値X以下)に適合しないと判断し、ステップ102へ戻り、上記工程を繰り返す。
【0072】
また、ステップ108で肯定判定されると、ステップ110へ移行して、1枚目の画像取得の距離に適合すると判断し、ステップ104で取得した画像の特徴点P(
図3の四角枠参照)を抽出する。
【0073】
次のステップ112では、距離D、車載カメラ16の向き(俯角θ)に基づく、路面境界線を特定する。
【0074】
次のステップ114では、ステップ112で特定した路面境界線(
図3に示す点線K参照)に基づき、特徴点Pの取捨選択を実行する。具体的には、路面境界線よりも下の領域にある特徴点Pを排除する。
【0075】
次のステップ116では、フラグFをセット(1)し、次いで、ステップ118へ移行してn枚目の画像として格納し、ステップ120へ移行する。
【0076】
ステップ120では、画像取得が終了したか否かを判断する。このステップ120で否定判定された場合は、次の画像を取得するべく、ステップ122へ移行して、撮影枚数のカウント値nをインクリメント(n←n+1)し、ステップ124へ移行する。
【0077】
ステップ124では、移動距離センサ28から車両14(車載カメラ16)の移動量を読み出し、ステップ126へ移行して、所定距離以上移動したか否かを判断する。ここでは、距離の移動量で判定しているが、
図4に示される如く、車載カメラ16の2位置のそれぞれの視線がなす角度(挟角)βが1°以上か否かで判断することが好ましい。
図4(B)のように、車両14が特徴点Pから遠ざかる方向に移動するとき、移動距離が増えても、特徴点P1、P2の変位量が少ない場合があるからである。
【0078】
ステップ126で否定判定された場合は、ステップ124へ戻り、移動量を監視する。また、ステップ126で肯定判定された場合は、ステップ102へ戻り、上記工程を繰り返す。
【0079】
一方、ステップ120で肯定判定された場合、十分な枚数の画像取得が終了したと判断し、ステップ128へ移行して、各特徴点Pの三次元位置の推定処理を実行し、次いで、ステップ130へ移行して、特徴点地図の作成処理を実行し、このルーチンは終了する。
【0080】
以上説明したように、本実施の形態によれば、特徴点Pの三次元位置を推定する場合に必要な画像を、車載カメラ16から取得する場合に、最初(1枚目)の画像を、車両14と、特徴点Pが存在する物体10との距離が所定値以内(距離X以下)とした。車両14と物体10との距離が距離X以上の場合は、抽出した特徴点Pの位置精度が低く、結果として、三次元位置の推定精度の低くなる。本実施の形態では、車両14と物体10とを距離X以下とすることで、特徴点Pの位置精度を予め定めた精度基準とすることができる。
【0081】
また、n枚目の画像とn+1枚目の画像を取得するときの車両14(車載カメラ16)の移動量を特定する場合、双方の位置の車載カメラ16の視線のなす角度(挟角)βが1°以上としたため、
図4(B)に示される如く、特徴点Pから遠ざかる移動であっても、撮影された特徴点P1、P2の変位量を十分に確保することができる。
【0082】
さらに、車載カメラ16の俯角θに基づき、物体10までの距離Dに対応する路面境界線の範囲を特定することができ、この路面境界線(
図3の点線K)よりも下の領域にある特徴点Pを排除し、物体10を認識するための必要十分な特徴点Pを抽出することができる。
【0083】
なお、本実施の形態では、車両14の駐車範囲の高精度地図(例えば、建物のピロティー空間の駐車場等)を作成する例を示したが、駐車場に限定されるものではなく、一般の幹線道路等を排除するものではないが、周囲に車両14の走行の障害物となり得る物体が存在する走行路の地図の作成の方が大きな効果を奏することができる。
【符号の説明】
【0084】
10 物体
12 物体検出装置
14 車両
16 車載カメラ(撮影部)
18 超音波センサ(距離検出部)
20 路面
22 地図作成装置
24 画像情報取得部(取得部)
26 距離比較部
28 移動距離センサ
30 特徴点抽出部
32 特徴点取捨選択部
34 路面境界推定部
36 三次元位置推定部(推定部)
50A、50B 画像
K 点線(路面境界線)
P 特徴点
P1、P2 特徴点(画像上)
A 光軸
X 距離(1枚目撮影条件のしきい値)
θ 俯角
β 挟角
D 距離(車両-物体(特徴点)間)