【国等の委託研究の成果に係る記載事項】(出願人による申告)平成27年度、総務省「ICTを活用した次世代ITSの確立」のうち、「インフラレーダーシステム技術の開発」に関する委託事業、産業技術力強化法第19条の適用を受ける特許出願
(58)【調査した分野】(Int.Cl.,DB名)
所定範囲を距離および方位角毎に分割した複数の単位領域の中から、レーダ装置が1つ以上の物体からの1つ以上の反射波を用いて生成した測定情報が所定の閾値を超える1つ以上の単位領域を、前記1つ以上の物体を捕捉する1つ以上の捕捉領域として抽出する捕捉領域抽出部と、
前記捕捉領域から所定の範囲内に存在する少なくとも1つの前記捕捉領域を含む予備グループを形成する予備グルーピング部と、
前記測定情報に基づいて、前記予備グループと当該予備グループ内の前記1つ以上の捕捉領域との関連を示す特徴量を算出する特徴量取得部と、
前記特徴量に基づいて、前記予備グループ内の前記1つ以上の捕捉領域が属する前記1つ以上の物体の種別を捕捉領域毎に判別する判別部と、
前記捕捉領域を前記物体の種別毎にグルーピングして、前記1つ以上の物体を検出する物体確定部と、
を具備する物体検出装置。
所定範囲を距離および方位角毎に分割した複数の単位領域の中から、レーダ装置が1つ以上の物体からの1つ以上の反射波を用いて生成した測定情報が所定の閾値を超える1つ以上の単位領域を、前記1つ以上の物体を捕捉する1つ以上の捕捉領域として抽出し、
前記捕捉領域から所定の範囲内に存在する少なくとも1つの前記捕捉領域を含む予備グループを形成し、
前記測定情報に基づいて、前記予備グループと当該予備グループ内の前記1つ以上の捕捉領域との関連を示す特徴量を算出し、
前記特徴量に基づいて、前記予備グループ内の前記1つ以上の捕捉領域が属する前記1つ以上の物体の種別を捕捉領域毎に判別し、
前記捕捉領域を前記1つ以上の物体の種別毎にグルーピングして、前記1つ以上の複数の物体を検出する、
物体検出方法。
【発明を実施するための形態】
【0014】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【0015】
<実施の形態1>
本実施の形態に係る物体検出装置について図面を用いて説明する。
図1は、本実施の形態に係る物体検出装置10の主要構成と、レーダ装置20と、監視制御システム30との接続関係を示すブロック図である。
図1では、本実施の形態に係る物体検出装置10は、レーダ装置20および監視制御システム30に接続され、レーダ装置20から出力される測定情報を処理するレーダ信号処理機能の一部を実現し、監視制御システム30に対してレーダ信号処理によって得られた各種情報を出力する。
【0016】
レーダ装置20は、例えば、所定の角度間隔で順次方向を変更し、所定範囲に対してレーダ信号を送信し、レーダ信号が障害物等の物体によって反射した反射信号を受信する。また、レーダ装置20は、反射信号をベースバンドに変換して、レーダ信号の送信方向毎の遅延プロファイル(伝搬遅延特性)を、所定範囲が複数に分割された単位領域毎に生成し、測定情報として物体検出装置10に出力する。
【0017】
監視制御システム30は、物体検出装置10がレーダ装置20から出力されたレーダ測定情報を処理することで検出した物体の位置や速度等の情報を取得し、例えば車両の運転者に対して警告を提示する。また、監視制御システム30は、物体の位置や速度に応じて、衝突の可能性があると判断した場合、車両の動作を制御する処理(アクセル操作、ブレーキ操作またはハンドル操作)を行う。
【0018】
物体検出装置10は、レーダ装置20から出力された測定情報に基づいて、自車両の周囲に存在する物体を検出し、検出した物体の位置や速度に関する情報を生成して、監視制御システム30に出力する。以下では、物体検出装置10の詳細な構成や、各構成の動作等について詳細に説明する。
【0019】
図1では、物体検出装置10は、捕捉領域抽出部11、予備グルーピング部12、特徴量取得部13、モデル保存部14、判別部15、および、物体確定部16を有する。物体検出装置10の各構成は、ソフトウェアまたはLSI回路などのハードウェアで実現してもよいし、車両を制御する電子制御ユニット(Electronic Control Unit:ECU)の一部として実現してもよい。
【0020】
捕捉領域抽出部11は、レーダ装置20から測定情報を取得し、単位領域毎の値に基づいて、検出した物体が存在する単位領域の候補を抽出する。レーダ装置20から取得する測定情報は、電力プロファイルおよびドップラ速度プロファイルの少なくとも1つである。
【0021】
図2Aは、測定情報の一例としての電力プロファイルを示す概念図である。
図2Bは、測定情報の一例としてのドップラ速度プロファイルを示す概念図である。
図2Aおよび
図2Bにおいて、横軸がレーダ装置20を基準とした物体の方位角、縦軸がレーダ装置20を基準とした物体までの距離である。
図2Aおよび
図2Bでは、単位領域は、横軸を10度、縦軸を10m毎に区切って構成される。以下では、単位領域をセルと称する。
【0022】
なお、本開示において、セル(単位領域)の方位角の範囲および距離の範囲は、上記範囲に限定されない。セルの大きさは、高い分解能を得られるという点では、より小さい方が好ましい。
【0023】
図2Aでは、各セルにおける反射強度を0から5の6段階で示し、レベル5が最も反射強度が強い。
図2Bでは、各セルにおけるドップラ速度を0から5の6段階で示し、レベル5が最もドップラ速度が速い。なお、ドップラ速度はレーダ装置20に対して物体が近づいているか、遠ざかっているか、によって極性(正負)が変化するが、図示を簡単にするため、
図2Bでは一例として正極性のドップラ速度を示す。
【0024】
捕捉領域抽出部11は、レーダ装置20から測定情報(
図2Aに示す電力プロファイル、
図2Bに示すドップラ速度プロファイル)を取得した後、測定情報(反射強度、ドップラ速度)の値の絶対値が、所定の閾値以上のセルを抽出し、抽出したセルを、「物体が存在するセルの候補」とする。以下では、捕捉領域抽出部11が抽出した「物体が存在するセルの候補」を、物体を捕捉するために用いる、「捕捉領域」と称する。1つの捕捉領域は、1つ以上のセルを有し、複数のセルであってもよい。
【0025】
なお、
図2Aおよび
図2Bに示す各プロファイルは、説明を簡単にするため、方位角と距離とを座標軸とする直交座標系にて例示されている。このため、各セルの形状は、矩形である。しかしながら、捕捉領域抽出部11は、本実施の形態においては、レーダ装置20の位置を中心とした極座標系の測定結果を使用することが望ましい。つまり、セルの形状は扇形である。なお、以下の説明では、セルの形状にかかわらず、
図2Aおよび
図2Bに示す電力プロファイルおよびドップラ速度プロファイルの各セルを、1つの点として取り扱う。
【0026】
予備グルーピング部12は、捕捉領域抽出部11が抽出した各捕捉領域をグルーピングして、各捕捉領域の種別を判定するための予備グループを生成する。具体的には、予備グルーピング部12は、判定対象の捕捉領域から指定範囲内に存在する少なくとも1つの捕捉領域(対象の捕捉領域を含む)を含む予備グループを形成する。生成される予備グループは、従来のグルーピングで生成されるグループと異なり、必ずしも同一物体に属するレーダ測定情報から形成されるとは限らない。
【0027】
図3Aを用いて予備グルーピング部12での予備グループの生成方法について説明する。
図3Aでは、予備グルーピング部12が、捕捉領域aの予備グループを求める場合について説明する。
【0028】
まず、予備グルーピング部12は、捕捉領域aから指定範囲内に存在する他の捕捉領域b,cを抽出する。なお、予備グルーピング部12は、物体検出装置10での最大検出対象物体の大きさに基づいて、捕捉領域aから所定値離れた範囲を指定範囲として設定してもよい。例えば、最大検出対象物体が大きさ5mの大型車である場合、指定範囲は、捕捉領域aから5m以内の範囲が設定される。
【0029】
次いで、予備グルーピング部12は、指定範囲内の捕捉領域bに対して、捕捉領域aおよび捕捉領域bの双方を囲む指定形状A1を求める。同様に、予備グルーピング部12は、指定範囲内の捕捉領域cに対しても、捕捉領域cおよび捕捉領域aの双方を囲む指定形状A2を求める。指定形状は、矩形や楕円などが考えられるが、本開示では指定形状を特に限定しない。
【0030】
次いで、予備グルーピング部12は、指定形状A1、A2に対して、最大検出対象物体の大きさに基づいて、指定形状A1とA2とを捕捉領域aの予備グループにするか否かを判定する。例えば、予備グルーピング部12は、指定形状A1を、仮に1つの対象物体とした場合、指定形状A1のサイズが最大検出対象物体の大きさの範囲内であるか否かを判定する。
【0031】
指定形状A1のサイズが最大検出対象物体の大きさの範囲内である場合、予備グルーピング部12は、指定形状A1を捕捉領域aの予備グループの一部と判定する。一方、指定形状A1のサイズが最大検出対象物体の大きさの範囲外である場合、予備グルーピング部12は、指定形状A1を捕捉領域aの予備グループから除く。
【0032】
予備グルーピング部12は、指定形状A2に対しても、指定形状A1に対する処理と同様の処理を行う。例えば、指定形状A1および指定形状A2の何れも対象範囲内であれば、捕捉領域aの予備グループは、指定形状A1と指定形状A2とを用いて構成される。
【0033】
図3Aで示した予備グループの生成処理は、より簡単に実現できる。例えば、予備グルーピング部12は、レーダ測定情報が方位角と距離とで表される場合、捕捉領域aおよび捕捉領域bの最小方位角と最大方位角、および、最小距離と最大距離で1つの扇形を形成する。予備グルーピング部12は、1つの扇形のサイズが最大検出対象物体の大きさの範囲内である場合、捕捉領域bを捕捉領域aの予備グループの一部と判断する。
【0034】
図1では、特徴量取得部13は、測定情報に基づいて、予備グループおよび当該予備グループ内の捕捉領域の特徴量を算出する。本開示では特徴量の値は具体的に限定されない。例えば、特徴量取得部13は、少なくとも下記3種類の中の少なくとも1種類の特徴量を算出してもよい。
【0035】
(1)捕捉領域特徴
捕捉領域特徴に基づく特徴量は、予備グループ内の各捕捉領域個別の大きさ、反射電力およびドップラ速度に関連する特徴を利用して、算出される。例えば、大きさの特徴としては、捕捉領域の方位幅、距離幅、面積であり、反射電力の特徴としては、例えば、反射電力の最大値、平均値、分散であり、ドップラ速度の特徴としては、例えば、ドップラ速度の最大値、平均値、分散である。つまり、捕捉領域特徴は、捕捉領域単独での特徴量である。
【0036】
(2)比較特徴
比較特徴に基づく特徴量は、予備グループと当該予備グループ内の捕捉領域との間の位置または大きさの比較に関連する特徴を利用して、算出される。例えば、位置の比較特徴としては、捕捉領域と予備グループとの間の中心方位値の差、中心距離値の差であり、大きさの比較特徴としては、捕捉領域と予備グループとの間の方位幅の比率、距離幅の比率である。つまり、比較特徴は、予備グループと当該予備グループ内の捕捉領域との関係を示す特徴量である。
【0037】
(3)近傍特徴
近傍特徴に基づく特徴量は、予備グループ内の捕捉領域の近傍の特徴を利用して、算出される。例えば、特徴量取得部13は、予備グループ内の捕捉領域と方位または距離において近傍する指定の大きさのエリアを近傍領域とし、当該捕捉領域の特徴量に加え、近傍領域内の他の捕捉領域の特徴量を算出する。ただし、近傍領域は予備グループ内に限定する。例えば、特徴量取得部13は、捕捉領域の左側または右側において、捕捉領域と同等の大きさのエリアを近傍領域とし、近傍エリア内の捕捉領域の反射電力またはドップラ速度に関連する特徴を利用してもよい。ただし、近傍領域を設定できない場合、特徴量取得部13は、当該捕捉領域および予備グループの特徴量を「無し」、つまり、0として算出する。つまり、近傍特徴は、捕捉領域とその周辺エリアとの関係を示す特徴量である。
【0038】
モデル保存部14は、事前に取得した各種別の対象物体の捕捉領域および予備グループに対する特徴量を抽出し、特徴量に応じた対象物体をモデル化した識別モデルを生成し、生成した識別モデルを予め保存している。モデル保存部14に保存される対象物体の具体的な識別モデルの生成方法について、本開示は特に限定されない。例えば、モデル保存部14は、特徴量の分布特性より直接的に対象物体を判別する解析手法、教師データに基づく機械学習手法(例えば、Support Vector Machine手法)、または特徴量の自動抽出を含む深層学習手法などを識別手法として利用できる。モデル保存部14は、識別手法に応じて対応する識別モデルを生成する。
【0039】
判別部15は、特徴量取得部13で取得した特徴量に基づいて、予備グループ内の捕捉領域が属する物体の種別を捕捉領域毎に判別する。例えば、判別部15は、特徴量取得部13で取得した特徴量と、モデル保存部14に保存している識別モデルとを比較(マッチング)して、予備グループ内の捕捉領域が、どの種別の対象物体に属するかを判別する。
【0040】
図3B〜
図3Dを用いて判別部15での判別方法の一例について説明する。
図3B〜
図3Dは各種別の対象物体に対する予備グループの生成例を示す。例えば、モデル保存部14は、
図3B〜
図3Dに示す予備グループにそれぞれ対応する識別モデルを保存している。
【0041】
図3Bは歩行者単独の例を示す。
図3Bでは、1つの捕捉領域u1を示す。捕捉領域u1の周辺に他の捕捉領域が存在しないので、捕捉領域u1の予備グループUは、捕捉領域u1と同じ大きさのエリアを有する。
図3Bでは、判別部15は、例えば、上記した(1)捕捉領域特徴を用いて捕捉領域u1が属する物体の種別を判別する。
【0042】
図3Cは車両単独の例を示す。
図3Cでは、3つの捕捉領域v1、v2、v3を示す。一例として、捕捉領域v1を判別対象とする。
図3Cでは、捕捉領域v1の予備グループVは捕捉領域v2およびv3を含む。捕捉領域v2および捕捉領域v3は、予備グループVの位置および大きさに影響を与えるので、捕捉領域v1の比較特徴(上記(2))および近傍特徴(上記(3))にも影響を与える。
【0043】
図3Bに示す捕捉領域u1と
図3Cに示す捕捉領域v1とが同じ捕捉領域特徴(上記(1))を有する場合について説明する。ここで、予備グループU及び予備グループVは、エリアの大きさ、グループ内に含まれる捕捉領域が異なるため、比較特徴(上記(2))または近傍特徴(上記(3))が異なる。
【0044】
よって、判別部15は、予備グループ毎で、特徴量と識別モデルとを比較し、各捕捉領域が属する物体の種別を判別する。このため、判別部15は、捕捉領域u1と捕捉領域v1とを区別できる。つまり、判別部15は、捕捉領域u1と捕捉領域v1とが、同じ捕捉領域特徴を有するため、捕捉領域単位では区別困難であるが、予備グループ単位では区別可能である。
【0045】
図3Dは車両と歩行者とが同時に存在する例を示す。
図3Dでは、4つの捕捉領域w1、w2、w3、w4を示し、予備グループWに、4つの捕捉領域w1、w2、w3、w4が属する。
【0046】
歩行者に基づく捕捉領域w1と車両に基づく捕捉領域w2とが同じ捕捉領域特徴(上記(1))を有する場合について説明する。ここで、捕捉領域w1及び捕捉領域w2は、予備グループW内で位置、近接する他の捕捉領域が異なるため、各捕捉領域w1、w2と予備グループWとの比較特徴(上記(2))および各捕捉領域w1、w2の近傍特徴(上記(3))が異なる。
【0047】
よって、判別部15は、予備グループ内の特徴量(比較特徴および近傍特徴)と識別モデルとを比較し、各捕捉領域が属する物体の種別を判別することで、捕捉領域w1と捕捉領域w2とを区別できる。つまり、捕捉領域w1と捕捉領域w2とは、同じ捕捉領域特徴を有するため、捕捉領域単位では区別困難であるが、予備グループ単位では区別可能である。
【0048】
また、
図3Dの捕捉領域w2と
図3Cの捕捉領域v1とは、車両の同じ部位に対応しているが、捕捉領域w2が属する予備グループWと、捕捉領域v1が属する予備グループVとでは、それぞれの比較特徴(上記(2))および近傍特徴(上記(3))が異なる。このため、モデル保存部14が保存している識別モデルによって、判別部15の結果が異なる。つまり、モデル保存部14が車両単独の識別モデル(
図3C)と、車両および歩行者が同時に存在する識別モデル(
図3D)との両方を事前に保存している場合、判別部15は、捕捉領域w2、v1をそれぞれ車両の捕捉領域として判別できる。
【0049】
物体確定部16は、予備グループにおける全捕捉領域の判別結果に基づいて、対象物体の種別および対象物体の領域を確定する。つまり、物体確定部16は、捕捉領域を物体の種別毎にグルーピングして、1つまたは複数の物体を検出する。また、物体確定部16は、各物体に属する捕捉領域の合計を物体領域と確定する。なお、物体確定部16は、同一種別に属する捕捉領域であっても、捕捉領域間の距離が所定値以上離れている場合、これらの捕捉領域を、同一種別の異なる物体と判定してもよい。更に、物体確定部16は、物体に属する捕捉領域の特徴から物体の速度を求めて出力してもよい。
【0050】
以上説明したように、本実施の形態に係る物体検出装置10は、レーダ装置20で測定された複数のレーダ測定情報の特徴を利用することで、単一のレーダ測定情報では物体の検出が困難である場合でも物体を正確に検出することができる。本実施の形態と従来技術とを比較すると、次の2点が異なる。1つはグルーピングの実行順番であり、もう1つはモデル情報である。
【0051】
従来技術では、物体種別を考慮せず、捕捉領域の特徴(例えば、反射強度)の一致性に基づいて、捕捉領域のグルーピングを行っていた。しかし、レーダ装置では、反射方向によっては異なる物体からのレーダ測定情報が一致する場合、同一物体からのレーダ測定情報が一致しない場合がある。このため、従来技術では同一物体の捕捉領域を正確にグルーピングするのは困難であった。
【0052】
これに対して、本実施の形態によれば、物体検出装置10は、各捕捉領域に対して同一物体であるか否かに依らず予備グループを形成し、予備グループ内での特徴量に基づいて各捕捉領域が属する物体の種別を判別する。つまり、物体検出装置10は、判別対象の捕捉領域に対して、当該捕捉領域の特徴量以外にも、当該捕捉領域を含む予備グループでの特徴量を用いる。換言すると、物体検出装置10は、捕捉領域に対して、周辺の捕捉領域との共起特性を考慮する。このため、物体検出装置10では、1つの捕捉領域の特徴が或る種別の物体の特徴に一致する場合でも、予備グループ内の1つの捕捉領域の周辺に関する特徴が当該或る種別の物体の特徴とは異なる場合には、1つの捕捉領域の個別の特徴は、物体の判別処理に利用されない。すなわち、物体検出装置10は、捕捉領域及び当該捕捉領域の周辺の捕捉領域の特徴量を複合的に用いて物体種別の判別精度を向上させることができ、同一物体の捕捉領域を正確にグルーピングできる。
【0053】
また、モデル情報について、従来技術では、各種別の物体に対してモデルがそれぞれ生成される。しかし、レーダ装置で物体を測定する場合、測定部位の数と位置とが時間によってランダムに変動するため、レーダ装置のレーダ測定情報から抽出できる物体の特徴を解析的に表現するのは困難であった。そのため、従来技術でも物体のモデルを生成する場合、事前に測定したデータを教師データとし、機械学習のモデル(例えば、Support Vector Machine)を利用していた。ただし、従来技術では、利用できる物体のモデルは、捕捉領域をグルーピングして形成される物体に対応するモデルであるので、捕捉領域のグルーピングが正しく行われなければ、物体のモデルを用いた物体検出を精度良く行うことは困難である。
【0054】
これに対して、本実施の形態では、個別の物体以外に、近接する異なる物体のレーダ測定情報を組み合わせて(つまり、予備グループを形成して)、教師データとして利用する。つまり、物体検出装置10は、判別対象の捕捉領域の周辺の捕捉領域を含めたモデルを利用することで、レーダ測定情報に対する判別精度を向上させることができる。つまり、物体検出装置10は、グルーピング処理の前(予備グルーピング)における捕捉領域毎の判別精度が向上するので、捕捉領域のグルーピングを正しく行うことができる。なお、本実施の形態では、物体検出装置10は、グルーピング処理の前に捕捉領域単位で判別を行うため、判別処理におけるモデルとのマッチング時にはグルーピングは不要となる。
【0055】
このような構成により、本実施の形態に係る物体検出装置10によれば、レーダ測定情報をグルーピングして物体を検出する場合、隣接する異なる物体を分離して検出することができる。
【0056】
<実施の形態2>
図4は、本実施の形態に係る物体検出装置40の主要構成と、レーダ装置20と、監視制御システム30との接続関係を示すブロック図である。
図4では、
図1と共通する構成には、
図1と同一の符号を付して詳細な説明を省略する。
図4に示す物体検出装置40には、実施の形態1に係る物体検出装置10と比較して、追跡部41が新たに追加される。また、特徴量取得部42、モデル保存部43、判別部44は、実施の形態1に係る物体検出装置10の特徴量取得部13、モデル保存部14、判別部15とは異なる動作を行う。
【0057】
追跡部41は、判別部44から入力される、前フレームの予備グループに対する物体種別の判別結果(前フレーム情報)に基づいて、予備グルーピング部12で算出された予備グループ(現フレームの予備グループ)に対する追跡処理を行う。つまり、追跡部41は、現フレームにおいて前フレームの予備グループに対応する予備グループを確定する。なお、追跡部41における追跡処理の方法は限定しない。また、追跡部41が現フレームにおいて前フレームに対応する予備グループを捜索する範囲として、前フレームの予備グループの位置に近い範囲(例えば、前フレームの予備グループ位置から所定距離以内の範囲)が設定されてもよい。
【0058】
特徴量取得部42は、予備グルーピング部12で算出された予備グループ、及び、追跡部41による追跡結果に基づいて特徴量を取得する。例えば、特徴量取得部42は、実施の形態1の特徴取得部13で取得する特徴量(1)〜(3)に加えて、下記の特徴量(4)を取得する。
【0059】
(4)フレーム間変動特徴
フレーム間変動特徴に基づく特徴量は、前フレームおよび現フレームの対応する予備グループ間の変動特徴を利用して、算出される。例えば、フレーム間変動特徴としては、前フレームと現フレームとの間における、同一予備グループの大きさの変動、同一グループが所有する捕捉領域数の変動、同一予備グループにおける捕捉領域の位置分布の変動がある。つまり、フレーム間変動特徴は、予備グループ及び捕捉領域の時間変化を示す特徴量である。
【0060】
モデル保存部43は、実施の形態1のモデル保存部13で取得した特徴量に加え、フレーム間変動特徴も事前に取得して識別モデルとして保存する。
【0061】
判別部44は、特徴量(1)〜(3)に加え、フレーム間変動特徴(上記(4))も利用して、予備グループ内の捕捉領域を判別する。また、判別部44は、判別結果を、追跡処理に用いる前フレーム情報として追跡部41に出力する。
【0062】
レーダ測定情報に対応する物体部位は、時間(つまり、フレーム)に応じてランダムに変動する。つまり、捕捉領域の数および位置は、時間に応じて変動する。そのため、従来技術は、複数のフレームに渡る捕捉領域の追跡が困難であった。一方、従来、物体を確定してから追跡する技術が多数ある。しかし、従来の技術は、物体を確定していることが追跡の前提である。つまり、従来の技術は、物体を確定するために、追跡の結果を利用することは困難であった。
【0063】
これに対して、本実施の形態に係る物体検出装置40によれば、レーダ測定情報を予備グループとしてグルーピング(集約)し、複数のフレームに渡って予備グループの追跡を行うことができる。これにより、物体検出装置40は、物体判別において、複数のフレームに渡って追跡した特徴を利用するため、物体判別の性能を改善できる。例えば、車両の近傍に歩行者が存在し、車両からのレーダ測定情報の部位が時間変動した場合、物体検出装置40は、歩行者からのレーダ測定情報と車両からのレーダ測定情報との位置関係の変動を追跡できるので、位置関係の変動に基づいて歩行者と車両とを分離して検出できる。
【0064】
<実施の形態3>
図5は、本実施の形態に係る物体検出装置50の主要構成と、2つのレーダ装置20A,20Bと、監視制御システム30との接続関係を示すブロック図である。
図5において、
図1と共通する構成には、
図1と同一の符号を付して詳細な説明を省略する。本実施の形態に係る物体検出装置50は、2つの捕捉領域抽出部11,51、2つの予備グルーピング部12,52を有する。また、物体検出装置50は、予備グループ統合部53を有する。また、特徴量取得54、モデル保存部55、判別部56は、実施の形態1に係る物体検出装置10の特徴量取得部13、モデル保存部14、判別部15とは異なる動作を行う。
【0065】
捕捉領域抽出部51は、レーダ装置20Bから測定情報を取得し、捕捉領域抽出部11と同様にして、単位領域毎の値に基づいて検出した物体に対応する単位領域の候補を抽出する。
【0066】
予備グルーピング部52は、予備グルーピング部12と同様にして、捕捉領域抽出部51が抽出した各捕捉領域をグルーピングして、捕捉領域の種別を判定するための予備グループを生成する。
【0067】
つまり、予備グルーピング部12はレーダ装置20Aに対する予備グループを形成し、予備グルーピング部52はレーダ装置20Bに対する予備グループを形成する。
【0068】
予備グループ統合部53は、レーダ装置20Aおよびレーダ装置20Bの空間座標を統一し、統一座標系でレーダ装置20Aの予備グループとレーダ装置20Bの予備グループを統合する。
【0069】
予備グループ統合部53における処理について
図6を用いて詳細に説明する。
【0070】
図6は、レーダ装置20A、レーダ装置20B、レーダ装置20Aの1つの予備グループEa、レーダ装置20Bの1つの予備グループEbを示す。予備グループEbを捜索する方法として、予備グループ統合部53は、予備グループEaに対する指定範囲内において、レーダ装置20Bの予備グループの中から予備グループEaとの距離が最も近い予備グループを予備グループEbとして捜索してもよい。なお、予備グループEaに対する指定範囲は、最大検出対象物体の大きさに基づいて設定されてもよい。また、予備グループ統合部53は、予備グループEbを捜索する場合、予備グループEaの寸法を考慮してもよい。また、予備グループ統合部53は、1つの予備グループEaに対して複数の予備グループを対応させてもよい。
【0071】
特徴量取得部54は、例えば、
図6に示す予備グループEaおよび予備グループEbを含む統合領域を新しい予備グループ(以下、統合予備グループという)とし、レーダ装置20Aに属する捕捉領域a1,a2、および、レーダ装置20Bに属する捕捉領域b1,b2を統合予備グループに属する捕捉領域として特徴量を取得する。
【0072】
モデル保存部55は、統合予備グループにおいて、事前に取得した各種別の対象物体の捕捉領域および統合予備グループに対する特徴量を抽出し、特徴量に応じた対象物体をモデル化した識別モデルを生成し、識別モデルを保存する。
【0073】
判別部56は、特徴量取得部54で取得した特徴量と、モデル保存部55に保存している識別モデルとをマッチングし、統合予備グループ内の捕捉領域がどの種別の対象物体に属するかを判別する。
【0074】
以上説明したように、本実施の形態に係る物体検出装置50では、物体検出装置50において、捕捉領域抽出部11、51は、2つのレーダ装置20A、20Bの各々から取得した測定情報に基づいて捕捉領域を抽出する。そして、予備グルーピング部12、52は、2つのレーダ装置20A、20Bの各々に対して予備グループを形成する。そして、予備グループ統合部53は、複数のレーダ装置20A,20Bの予備グループに対して統合予備グループを生成し、判別部56は、統合予備グループ内の複数の捕捉領域の特徴量を用いて各捕捉領域を判別する。つまり、物体検出装置50は、複数のレーダ装置20A,20Bのレーダ測定情報間の共起特性を利用することができる。
【0075】
本実施の形態のように複数のレーダ装置20A,20Bを用いることで、単一のレーダ測定情報よりも複数のレーダ測定情報に含まれる物体情報を用いることができるため、物体検出の精度が向上する。
【0076】
なお、
図6では、対向して設置された複数のレーダ装置20A,20Bを一例として示したが、本実施の形態は、車載レーダのように、同一方向を測定する複数レーダにも適用できる。また、設置されるレーダ装置の数は2つに限定されず、3つ以上のレーダ装置を用いてもよい。
【0077】
<実施の形態4>
図7は、本実施の形態に係る物体検出装置60の主要構成と、レーダ装置20と、監視制御システム30との接続関係を示すブロック図である。
図7において、
図1と共通する構成には、
図1と同一の符号を付して詳細な説明を省略する。本実施の形態に係る物体検出装置60は、判別部15の内部構成として、確度算出部601と、最大確度算出部602とを有する。
【0078】
確度算出部601は、予備グループ内の各捕捉領域に対して、指定された検出対象物体に属するか否かの二値判定ではなく、検出対象物体の候補の各々に属する度合い(確度)を算出する。例えば、確度算出部601は、捕捉領域の特徴量と、モデル保存部14に保存された識別モデルとを比較した一致度合いを定量化し、確度とする。
【0079】
図8Aおよび
図8Bは、確度算出部601における確度算出処理の一例を示す。
【0080】
図8Aおよび
図8Bは、捕捉領域a、b、c、d、予備グループEを示す。
図8Aは各捕捉領域に対する車両への確度を示し、
図8Bは各捕捉領域に対する歩行者への確度を示す。
【0081】
最大確度算出部602は、各捕捉領域について、確度算出部601で算出された確度のうち最大確度に基づいて当該捕捉領域が属する物体の種別判別を行う。つまり、最大確度算出部602は、確度が最大となる検出対象物体の候補に、捕捉領域が属すると判定する。各捕捉領域は、最も確度の高い対象物体に分類される。例えば、
図8Aおよび
図8Bにおいて、最大確度算出部602は、捕捉領域dを、最大確度0.9に対応する歩行者に分類し、捕捉領域a〜cを、最大確度(
図8Aでは、0.5,0.6,0.7。
図8Bでは、0.3,0.4,0.5)に対応する車両に分類する。
【0082】
なお、最大確度算出部602は、捕捉領域の各物体に対応する確度が同程度である場合、判別を一時的に保留し、追加情報を利用して最終的な判別を行ってもよい。
【0083】
例えば、
図8Aおよび
図8Bでは、捕捉領域dは、歩行者と車両の両方への確度が高いため、最大確度算出部602は、判別を一時的に保留し、予備グループの形状情報を追加情報として利用する。
【0084】
つまり、最大確度算出部602は、捕捉領域dを車両に分類する場合、捕捉領域a、b、c、dの4つで車両を形成し、捕捉領域dを歩行者に分類する場合、捕捉領域a、b、cの3つで車両を形成する。次に、最大確度算出部602は、追加情報である予備グループの形状と形成した車両の形状(捕捉領域a、b、c、d、又は、捕捉領域a、b、c)とを比較する。ここで、最大確度算出部602は、捕捉領域a、b、cの3つで形成した形状が車両に近いと判断したため、捕捉領域dを歩行者に分類する。
【0085】
なお、他の追加情報は、例えば、予備グループの追跡情報、または複数のレーダ装置からの情報などであってもよい。ただし、捕捉領域の連続性を保証できない場合、最大確度算出部602は、例えば、車両や歩行者が存在する確度を保留情報としてもよい。
【0086】
以上のように、本実施の形態によれば、物体検出装置60は、物体の判別に十分な情報がない場合でも、不確定の情報を蓄積し、物体の判別ができる。
【0087】
以上、本開示の各実施の形態について説明した。
【0088】
これらの実施の形態は、本開示の物体検出装置の一例に過ぎず、各種変形を行ってもよい。また、上記で説明した各実施の形態は、適宜組み合わせてもよい。例えば、実施の形態4に係る物体検出装置60に、実施の形態2にて説明した追跡部41を加えてもよい。
【0089】
また、本開示の物体検出装置は、車両に搭載されたレーダ装置に接続されてもよい。この場合、自車両と物体とが衝突する可能性が有ると判断した場合、運転手に警告を提示し、または、自車両の走行を制御することによって、衝突を回避させることができる。また、本開示の物体検出装置は、交差点を含む道路周辺に存在する車両、二輪車、および歩行者等を正確に検出するために道路周辺に設置されたレーダ装置に接続されてもよい。レーダ装置が道路周辺に設置される場合、交差点等における車両、二輪車、および歩行者等の衝突の可能性の予測、衝突の回避、および、交通量の把握と管理を行うことができる。その結果、交通事故の防止し、交通管理の効率化に効果がある。または、本開示の物体検出装置は、例えば空港、建物、または、施設の監視を行うレーダ装置に接続されていてもよい。例えば小型飛行体や鳥、侵入者等を正確に検出することができるので、施設の安全が確保される。
【0090】
上記各実施形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。
【0091】
また、上記各実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力端子と出力端子を備えてもよい。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0092】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサを用いて実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ(Reconfigurable Processor)を利用してもよい。
【0093】
さらには、半導体技術の進歩又は派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適用等が可能性としてありえる。
【0094】
本開示の物体検出装置は、所定範囲を距離および方位角毎に分割した複数の単位領域の中から、レーダ装置が1つ以上の物体からの1つ以上の反射波を用いて生成した測定情報が所定の閾値を超える1つ以上の単位領域を、1つ以上の物体を捕捉する1つ以上の捕捉領域として抽出する捕捉領域抽出部と、捕捉領域から所定の範囲内に存在する少なくとも1つの捕捉領域を含む予備グループを形成する予備グルーピング部と、測定情報に基づいて、予備グループと当該予備グループ内の1つ以上の捕捉領域との関連を示す特徴量を算出する特徴量取得部と、特徴量に基づいて、予備グループ内の1つ以上の捕捉領域が属する1つ以上の物体の種別を捕捉領域毎に判別する判別部と、捕捉領域を物体の種別毎にグルーピングして、1つ以上の物体を検出する物体確定部と、を具備する構成を採る。
【0095】
本開示の物体検出装置において、レーダ装置が、測定情報を所定のフレーム毎に、生成し、前フレームの予備グループに対する物体の種別の判別結果に基づいて、現フレームの予備グループに対する追跡処理を行う追跡部、を更に具備し、特徴量取得部は、測定情報および追跡部による追跡結果に基づいて、特徴量を取得する。
【0096】
本開示の物体検出装置において、捕捉領域抽出部は、少なくとも2つのレーダ装置の各々から取得した測定情報に基づいて、捕捉領域を抽出し、予備グルーピング部は、少なくとも2つのレーダ装置の各々に対して予備グループを形成し、少なくとも2つのレーダ装置の各々に対応する予備グループを、同一の座標系上に統合する予備グループ統合部をさらに有する。
【0097】
本開示の物体検出装置において、判別部は、特徴量に基づいて、捕捉領域が検出対象物体候補の各々に属する度合いを示す確度を算出する確度算出部と、確度が最大となる検出対象物体候補に捕捉領域が属すると判定する最大確度算出部と、を具備する。
【0098】
本開示の物体検出装置において、特徴量は、予備グループ内の捕捉領域の個別の特徴量を含む。
【0099】
本開示の物体検出装置において、特徴量は、予備グループと、当該予備グループ内の捕捉領域との比較に関する特徴量を含む。
【0100】
本開示の物体検出装置において、特徴量は、予備グループ内の捕捉領域と、当該捕捉領域の近傍の他の捕捉領域のそれぞれの特徴量を含む。
【0101】
本開示の物体検出装置において、特徴量は、前フレームと現フレームとの間の予備グループに関する特徴量の変動量を含む。
【0102】
本開示の物体検出装置において、予備グループと当該予備グループ内の捕捉領域との関連を示す特徴量に応じた対象物体をモデル化した識別モデルを保存するモデル保存部、を更に具備し、判別部は、特徴量取得部で算出された特徴量と、モデル保存部に保存された識別モデルとを比較して、予備グループ内の捕捉領域が属する物体の種別を判別する。
【0103】
本開示の物体検出装置において、所定範囲を距離および方位角毎に分割した複数の単位領域の中から、レーダ装置が1つ以上の物体からの1つ以上の反射波を用いて生成した測定情報が所定の閾値を超える1つ以上の単位領域を、1つ以上の物体を捕捉する1つ以上の捕捉領域として抽出し、捕捉領域から所定の範囲内に存在する少なくとも1つの捕捉領域を含む予備グループを形成し、測定情報に基づいて、予備グループと当該予備グループ内の1つ以上の捕捉領域との関連を示す特徴量を算出し、特徴量に基づいて、予備グループ内の1つ以上の捕捉領域が属する1つ以上の物体の種別を捕捉領域毎に判別し、捕捉領域を1つ以上の物体の種別毎にグルーピングして、1つ以上の物体を検出する。