特許第6382525号(P6382525)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧 ▶ 国立大学法人名古屋大学の特許一覧

<>
  • 特許6382525-物体識別方法、および物体識別装置 図000022
  • 特許6382525-物体識別方法、および物体識別装置 図000023
  • 特許6382525-物体識別方法、および物体識別装置 図000024
  • 特許6382525-物体識別方法、および物体識別装置 図000025
  • 特許6382525-物体識別方法、および物体識別装置 図000026
  • 特許6382525-物体識別方法、および物体識別装置 図000027
  • 特許6382525-物体識別方法、および物体識別装置 図000028
  • 特許6382525-物体識別方法、および物体識別装置 図000029
  • 特許6382525-物体識別方法、および物体識別装置 図000030
  • 特許6382525-物体識別方法、および物体識別装置 図000031
  • 特許6382525-物体識別方法、および物体識別装置 図000032
  • 特許6382525-物体識別方法、および物体識別装置 図000033
  • 特許6382525-物体識別方法、および物体識別装置 図000034
  • 特許6382525-物体識別方法、および物体識別装置 図000035
  • 特許6382525-物体識別方法、および物体識別装置 図000036
  • 特許6382525-物体識別方法、および物体識別装置 図000037
  • 特許6382525-物体識別方法、および物体識別装置 図000038
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6382525
(24)【登録日】2018年8月10日
(45)【発行日】2018年8月29日
(54)【発明の名称】物体識別方法、および物体識別装置
(51)【国際特許分類】
   G01S 17/89 20060101AFI20180820BHJP
   G08G 1/16 20060101ALI20180820BHJP
   G01B 11/24 20060101ALI20180820BHJP
   G01S 17/93 20060101ALI20180820BHJP
【FI】
   G01S17/89
   G08G1/16 C
   G01B11/24 K
   G01S17/93
【請求項の数】19
【全頁数】22
(21)【出願番号】特願2014-23632(P2014-23632)
(22)【出願日】2014年2月10日
(65)【公開番号】特開2015-152319(P2015-152319A)
(43)【公開日】2015年8月24日
【審査請求日】2016年6月22日
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(73)【特許権者】
【識別番号】504139662
【氏名又は名称】国立大学法人名古屋大学
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際特許業務法人
(72)【発明者】
【氏名】酒井 映
(72)【発明者】
【氏名】村瀬 洋
(72)【発明者】
【氏名】出口 大輔
(72)【発明者】
【氏名】市川 善規
【審査官】 吉田 久
(56)【参考文献】
【文献】 特開2013−109720(JP,A)
【文献】 特開2013−211005(JP,A)
【文献】 特開平10−269362(JP,A)
【文献】 特開2008−26997(JP,A)
【文献】 特開2011−150633(JP,A)
【文献】 特開2000−3499(JP,A)
【文献】 特開2008−310440(JP,A)
【文献】 特開2012−145444(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 17/00−17/95、
7/48−7/51
G01C 3/00−3/32
G08G 1/16
G01B 11/00−11/30
(57)【特許請求の範囲】
【請求項1】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置(1)において実施される物体識別方法であって、
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるライン及び前記ラインの数を抽出するライン抽出工程(S150)と、
前記点群情報に含まれる複数の点情報のうち同じラインに含まれる複数の点情報をそれぞれ複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群情報に含まれるラインの数毎に予め物体の種別に対応して準備された複数のモデルから、前記ライン抽出工程にて求められたラインの数に対応するモデルを選択するモデル選択工程(S250)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、前記選択されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施することを特徴とする物体識別方法。
【請求項2】
請求項1に記載の物体識別方法において、
前記グループ位置サイズ設定工程では、前記点群グループとしてのサイズを、前記点群グループに含まれる点情報における座標値の分散度合を用いて設定すること
を特徴とする物体識別方法。
【請求項3】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置(1)において実施される物体識別方法であって、
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施し、
前記グループ位置サイズ設定工程では、前記点群グループとしてのサイズを、前記点群グループに含まれる点情報における座標値の分散度合を用いて設定すること
を特徴とする物体識別方法。
【請求項4】
請求項3に記載の物体識別方法において、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)、
を実施し、
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付けること
を特徴とする物体識別方法。
【請求項5】
請求項1〜請求項4の何れか1項に記載の物体識別方法において、
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に基づく重心位置を前記点群グループの位置として設定すること
を特徴とする物体識別方法。
【請求項6】
請求項5に記載の物体識別方法において、
前記位置関係演算工程では、前記点群グループ間の位置関係として、前記重心位置の分散度合を演算すること
を特徴とする物体識別方法。
【請求項7】
請求項5に記載の物体識別方法において、
前記位置関係演算工程では、前記点群グループ間の位置関係として、隣接する点群グループにおける重心位置の差分の分散度合を演算すること
を特徴とする物体識別方法。
【請求項8】
請求項1〜請求項4の何れか1項に記載の物体識別方法において、
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に応じて前記点情報の少なくとも一部が包含されるように多角形または多角柱を配置し、該多角形または多角柱に対応する1または複数の基準位置を前記点群グループの位置として設定すること
を特徴とする物体識別方法。
【請求項9】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置(1)において実施される物体識別方法であって、
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施し、
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に応じて前記点情報の少なくとも一部が包含されるように多角形または多角柱を配置し、該多角形または多角柱に対応する1または複数の基準位置を前記点群グループの位置として設定すること
を特徴とする物体識別方法。
【請求項10】
請求項9に記載の物体識別方法において、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)、
を実施し、
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付けること
を特徴とする物体識別方法。
【請求項11】
請求項8〜10の何れか1項に記載の物体識別方法において、
前記位置関係演算工程では、前記点群グループ間の位置関係として、ある点群グループにおける基準位置および他の点群グループにおける基準位置を結ぶ直線と、前記多角形または多角柱の底面に対する垂線との角度を演算すること
を特徴とする物体識別方法。
【請求項12】
請求項11に記載の物体識別装置において、
前記位置関係演算工程では、前記多角形または前記多角柱について複数の基準位置についての前記角度を演算すること
を特徴とする物体識別方法。
【請求項13】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置(1)において実施される物体識別方法であって、
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施し、
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に基づく重心位置を前記点群グループの位置として設定し、
前記位置関係演算工程では、前記点群グループ間の位置関係として、前記重心位置の分散度合を演算すること
を特徴とする物体識別方法。
【請求項14】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置(1)において実施される物体識別方法であって、
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施し、
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に基づく重心位置を前記点群グループの位置として設定し、
前記位置関係演算工程では、前記点群グループ間の位置関係として、隣接する点群グループにおける重心位置の差分の分散度合を演算すること
を特徴とする物体識別方法。
【請求項15】
請求項13または請求項14に記載の物体識別方法において、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)、
を実施し、
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付けること
を特徴とする物体識別方法。
【請求項16】
請求項15に記載の物体識別方法において、
前記ライン抽出工程では、前記ラインの数も抽出するとともに、
前記点群情報に含まれるラインの数毎に予め物体の種別に対応して準備された複数のモデルから、前記ライン抽出工程にて求められたラインの数に対応するモデルを選択するモデル選択工程(S250)、
を実施し、
前記種別推定工程では、前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、前記選択されたモデルと、を用いて前記物体の種別を推定すること
を特徴とする物体識別方法。
【請求項17】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置において実施される物体識別方法であって、
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)と、
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施し、
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付け、
前記位置関係演算工程では、前記点群グループ間の位置関係として、ある点群グループにおける基準位置および他の点群グループにおける基準位置を結ぶ直線と、前記点群グループに含まれる前記点情報の少なくとも一部が包含されるように配置される多角形または多角柱の底面に対する垂線との角度を演算すること
を特徴とする物体識別方法。
【請求項18】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置(1)において実施される物体識別方法であって、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるライン、および前記ラインの数を抽出するライン抽出工程(S150)と、

予め準備された複数のモデルから、ラインの数に対応するモデルを選択するモデル選択工程(S250)と、
それぞれが前記点群情報に含まれる複数の点情報を分割することで作成された複数の点群グループ間の位置関係と、前記点群グループのサイズと、前記選択されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施することを特徴とする物体識別方法。
【請求項19】
物体表面のある点における三次元位置を示す点情報を前記物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する物体識別装置(1)であって、
物体の種別を識別する処理として、請求項1〜請求項18の何れか1項に記載の物体識別方法を実施すること
を特徴とする物体識別装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の種別を識別する識別装置において実施される物体識別方法、および物体識別装置に関する。
【背景技術】
【0002】
上記の物体識別方法として、多数の三次元座標(点群情報)が含まれる領域を分割することで得られる各領域において、各領域中に含まれる三次元座標の配置に従って領域毎のグループサイズを求め、このグループサイズとモデルとを用いて物体種別を判定するものが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−221456号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記物体識別方法では、グループサイズとモデルとを用いるだけであるため、領域毎のグループサイズが同一の場合、同一の種別であると判定してしまい、例えば、歩行者と広告旗とを誤判定してしまう虞があった。
【0005】
そこで、このような問題点を鑑み、物体の種別を識別する識別装置において実施される物体識別方法において、より精度よく物体の種別を識別できるようにすることを本発明の目的とする。
【課題を解決するための手段】
【0006】
本発明の物体識別方法においては、物体表面のある点における三次元位置を示す点情報を物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置において実施される方法であって、点群情報取得工程にて、何らかの物体についての点群情報を取得する。そして、グループ対応付け工程にて、点群情報が含まれる仮想的な三次元領域を予め設定された大きさである複数の区分領域に分割し、各区分領域に含まれる複数の点情報をそれぞれ点群グループとして対応付ける(S210)。
【0007】
また、グループ位置サイズ設定工程にて、点群グループに含まれる各点情報の位置関係に基づいて、点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定する。そして、位置関係演算工程にて、点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する。
【0008】
さらに、種別推定工程にて、点群グループとしてのサイズおよび点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて物体の種別を推定する。
【0009】
このような物体識別方法によれば、点群グループとしてのサイズだけでなく、点群グループ間の位置関係も加味して物体の種別を推定するので、より精度よく物体の種別を識別することができる。
【0010】
なお、本発明においては、点群グループの全てについて位置およびサイズを求める必要はなく、少なくとも複数の点群グループについて位置およびサイズを求めればよい。また、本発明においては、物体識別方法を、コンピュータによる処理として実現するための物体識別プログラムとしてもよいし、物体識別方法を実施する物体識別装置としてもよい。
【0011】
また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
【図面の簡単な説明】
【0012】
図1】本発明が適用された物体識別装置1の概略構成を示すブロック図である。
図2】処理部10のCPU11が実行する物体識別処理を示すフローチャートである。
図3】点情報の分布の一例を示す説明図である。
図4】点群グループのサイズを示す平面図である。
図5】物体識別処理のうちの位置サイズ情報計算処理を示すフローチャートである。
図6】点群グループのサイズを標準偏差矩形から求める際の概念を示す平面図である。
図7】物体識別処理のうちの相対位置情報計算処理を示すフローチャートである。
図8】相対位置情報として隣接するグループ間の角度を利用する際の概念を示す側面図である。
図9】第2実施形態において点群データの分割処理を示すフローチャートである。
図10】第2実施形態においてクラスタの領域の分割例を示す鳥瞰図である。
図11】第2実施形態の変形例においてクラスタの領域の分割例を示す鳥瞰図である。
図12】第3実施形態の位置サイズ情報計算処理を示すフローチャートである。
図13】点群グループのサイズを外接直方体から求める際の概念を示す平面図である。
図14】第4実施形態における相対位置情報計算処理を示すフローチャートである。
図15】相対位置情報として隣接するグループの中心位置のずれを利用する際の概念を示す側面図である。
図16】第4実施形態の変形例における相対位置情報計算処理を示すフローチャートである。
図17】歩行者と広告旗とを識別する際の具体例を示す側面図である。
【発明を実施するための形態】
【0013】
以下に本発明にかかる実施の形態を図面と共に説明する。
[第1実施形態]
[本実施形態の構成]
本発明が適用された物体識別装置1は、例えば乗用車等の車両に搭載されており、物体表面のある点における三次元位置を示す点情報を物体表面の異なる位置毎に多数備えた点群情報(クラスタ)に基づいて物体の種別を識別する機能を有する。物体識別装置1は、図1に示すように、処理部10と、レーザレーダ20と、車両制御部30とを備えている。
【0014】
レーザレーダ20は、所定の照射領域に対してレーザ光を照射し、この反射光を受光した方向と時間とに基づいて反射点の三次元位置を測定する。
ここで、レーザレーダ20は、照射領域内にレーザ光を照射する際に、照射領域内においてレーザ光を間欠的に発光させつつ水平方向に走査する作動を鉛直方向の複数列(レイヤ)について繰り返すことで、照射範囲内の全域から物体表面の三次元位置(三次元座標)を示す多数の点情報を得る。このような多数の点情報は、処理部10に送られる。
【0015】
なお、本実施形態においては、レーザレーダ20が水平方向に1回走査を行うことによるレーザ照射位置の軌跡を「ライン」ともいう。
処理部10は、CPU11と、ROMやRAM等のメモリ12とを備えたコンピュータとして構成されている。CPU11は、メモリ12内に格納されたプログラムに従って、後述する物体識別処理等の各種処理を実行する。処理部10は、このような処理を実行することによって物体の識別を行い、得られた識別結果を車両制御部30に送る。
【0016】
ここで、メモリ12には、物体の種別が歩行者である場合に対応する識別モデル13が記録されている。識別モデル13には、2ライン分の点情報だけから物体の識別を行うための2ラインモデル、3ライン分の点情報から物体の識別を行うための3ラインモデル等、NLライン分の点情報に対応したNLラインモデルまで、多数のモデルが記録されている。
【0017】
なお、識別モデル13としては、点群グループとしてのサイズおよび点群グループ間の位置関係(詳細は後述する。)に対応する値(“特徴量”、ベクトル値)を基に予め学習したモデルが記録されており、このモデルと、同様に算出された特徴量と、を用いて、物体の種別が歩行者であるか否かが識別できるよう設定されている。
【0018】
車両制御部30は、物体の識別結果を受けて車両の制御を行う。例えば、車両制御部30は、車両の進行方向に歩行者が検出された場合、自車両の制動を行う等の走行支援を行う。
【0019】
[本実施形態の処理]
このように構成された物体識別装置1において、処理部10(CPU11)は、図2に示す物体識別処理を実施する。物体識別処理は、例えば車両の電源が投入されると開始される処理であり、その後、一定周期毎(例えば100ms毎)に繰り返し実施される処理である。
【0020】
物体識別処理では、図2に示すように、まず、点群データをレーザレーダ20から取得する(S110)。ここで、点群データとは、レーザレーダ20にて得られた全ての点情報を示す。
【0021】
続いて、点群データのクラスタリングを行う(S120)。クラスタリングとはデータを近いもの同士ラベル付けしてまとまり毎に分割することであり、例えば三次元座標間の距離が基準値よりも小さな点を互いに関連付けて1つの物体とする処理を示す。この処理によって、点群データが物体毎にそれぞれクラスタとして区分される。
【0022】
なお、それぞれのクラスタにはクラスタ番号nが1からNC(NCは区分されたクラスタの個数)までの順に割り振られる。また、クラスタリングにおける手法は上記手法に限られることなく、種々の手法を採用することができる。
【0023】
続いて、n=1に設定し(S130)、設定したnの値に対応するクラスタを選択する(S140)。すなわち、選択したクラスタについての処理を実施できるように、このクラスタに関する点情報を読み出す。
【0024】
そして、ライン数のカウントを行う(S150)。ここで、クラスタには図3(a)に示すように、多数の点情報が含まれており、この点情報は、図3(b)に示すように水平方向に並ぶ多数の点情報(1ライン分の点情報)が複数備えられて構成されている。
【0025】
すなわち、前述のようにレーザレーダ20は水平方向に複数回走査を行うことによって点情報を得るため、クラスタの座標の並び方を調べることで、クラスタに何回分の走査による点情報が含まれるか、つまりライン数を検出することができる。なお、クラスタにおけるライン数は、物体の高さや物体までの距離に応じて変化する。
【0026】
続いて、選択中のクラスタが歩行者らしいか否かを判定する(S160)。この処理は、確実に歩行者でない物体については直ちに歩行者でないものと判定し、歩行者である可能性がある程度高いものについて後述する詳細な処理を用いて判定することによって、総合的な処理負荷を軽減するための処理である。
【0027】
例えば、この処理では、図4に示すように、各軸の座標値が最大となる点情報の座標値と各軸の座標値が最小となる点情報の座標値とを用いて外接直方体を特定する。そして、この外接直方体の幅Wn、奥行きDn、高さHnを求める。
【0028】
この大きさをクラスタのサイズ(点情報が分布する領域の広さ)とする。また、クラスタの移動速度等についても求める。そして、クラスタのサイズやクラスタの移動速度が予め準備された歩行者のもの一致または類似するか否かによって、クラスタが歩行者らしいか否かを判定すればよい。
【0029】
クラスタが歩行者らしくなければ(S160:NO)、後述するS330の処理に移行する。また、クラスタが歩行者らしければ(S160:YES)、点群データの分割処理を実施する(S210)。
【0030】
点群データの分割処理は、クラスタが含まれる仮想的な三次元領域を予め設定された大きさである複数の区分領域に分割し、各区分領域に含まれる複数の点情報をそれぞれ点群グループとして対応付ける処理である。
【0031】
本実施形態においては、クラスタに含まれるライン数と一致する数の区分領域に分割する。例えば、図3(b)に示すように、クラスタに含まれるライン数が4である場合、各ラインの点情報が別々の区分領域に含まれるように、4つの領域に分割する。そして、それぞれの区分領域に含まれる点情報を点群グループとして対応付ける。
【0032】
n番目のクラスタのi番目ラインについて、点群グループPCDn(i)に含まれる点情報は、次式で定義される。
【0033】
【数1】
【0034】
ただし、上記式中のNLnは区分領域の数を示し、kは抽出するライン(i番目のライン)を示す。
続いて、各点群グループの位置サイズ情報計算処理を実施する(S220)。この処理では、点群グループに含まれる各点情報の位置関係に基づいて、点群グループとしての位置およびサイズを、それぞれの点群グループについて設定する。
【0035】
詳細には、図5に示すように、まず、各点群グループにおける点情報を取得する(S410)。この処理では、前述のPCDn(i)を読み出す。続いて、区分領域毎に、含まれる点情報の座標値について、水平方向の標準偏差StdXn(i)および奥行き方向の標準偏差StdYn(i)を求める(S420)。
【0036】
【数2】
【0037】
続いて、これらの標準偏差の値を利用して点群グループのサイズを算出する(S430)。この処理では、点群グループの幅BWn(i)、点群グループの奥行きBDn(i)を次式で求める。
【0038】
【数3】
【0039】
ここで、上記式中のαxおよびαyは、所定の係数である。
この処理によると、図6に示すように、点群グループとしてのサイズが点情報の分散度合に応じて決定される。つまり、点情報が広範囲に分散していれば、点群グループとしてのサイズが大きくなり、点情報が分散していなければ、点群グループとしてのサイズが小さくなることを示している。
【0040】
このように点情報の標準偏差を用いて点群グループのサイズを算出する手法は、点群グループに含まれる点情報の数が少ない場合であっても比較的高精度にサイズを求めることができる手法である。
【0041】
続いて、点群グループの位置を抽出する(S440)。この処理では区分領域の鉛直方向の長さをBHとし、点群グループの幅BWn(i)と点群グループの奥行きBDn(i)とから得られる矩形を特定するための位置を求める。
【0042】
【数4】
【0043】
上記式では矩形を特定するための位置をL、R、T、Bと表現している。L、R、T、Bについては以下、「矩形座標」ともいう。そして、点群の重心(mx,my)を求める。
【0044】
【数5】
【0045】
続いて、点群グループの幅BWn(i)と点群グループの奥行きBDn(i)とを用いて、矩形座標L、R、T、Bを求める。ただし、矩形の頂点の座標は、(L,T)、(R,T)、(L,B)、(R,B)の4点となる。
【0046】
【数6】
【0047】
なお、上記S410〜S440の処理は、区分領域毎に実施される。このような処理が終了すると、各点群グループの位置サイズ情報計算処理を終了する。
続いて、図2に戻り、各点群グループ間の相対位置情報計算処理を実施する(S230)。この処理では、点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する。
【0048】
各点群グループ間の相対位置情報計算処理では、図7に示すように、まず、各点群グループにおける矩形座標を取得する(S460)。そして、隣接するグループ間での端角度を計算する(S470)。
【0049】
この処理では、図8に示すように、ある点群グループにおける矩形座標をそれぞれ基準位置として、この基準位置および鉛直方向下側に隣接する点群グループにおける対応する基準位置を結ぶ直線と、区分領域の底面(水平面)に対する垂線(鉛直線)との角度を演算し、それぞれの角度を基準位置毎に求める。
【0050】
ここで、上記の矩形座標L、R、T、Bは、矩形上の点を特定するものではなく、矩形を構成する辺の位置を特定するための座標となる。このように辺を基準位置とする場合には、基準位置同士(辺同士)を結ぶ直線は、これらの辺に直交するもの(何れかの座標軸に平行なもの)とし、この直線と垂線との角度を求めるとよい。
【0051】
【数7】
【0052】
なお、本実施形態では、矩形座標L、R、T、Bを用いて上記の角度を求めているが、矩形における頂点の座標を基準位置として上記の角度を求めてもよい。
この処理によって得られた各角度の値を本処理での相対位置情報とする。このような処理が終了すると、各点群グループ間の相対位置情報計算処理を終了する。
【0053】
続いて、図2に戻り、識別モデルの選定を行う(S250)。この処理では、S150の処理にて得られたライン数に対応するモデルを選択する。
そして、特徴量を計算する(S260)。この処理では、点群グループのサイズと相対位置情報とを特徴量(複数次元のベクトル値)に形式を変換する。
【0054】
続いて、この特徴量とモデルとを用いて識別スコアを算出し、識別スコアがモデルに対応して設定された閾値を超えたか否かを判定する(S310)。識別スコアが閾値を超えていれば(S310:YES)、識別結果が歩行者である旨をメモリ12において記録させる(S320)。
【0055】
また、識別スコアが閾値を超えていなければ(S310:NO)、識別結果が歩行者でない旨をメモリ12において記録させる(S320)。続いて、クラスタの選択番号であるnをインクリメントし(S340)、この選択番号nとクラスタ数NCとを比較する(S350)。
【0056】
クラスタの選択番号nがクラスタ数NCを超えていなければ(S350:NO)、S140の処理に戻る。また、クラスタの選択番号nがクラスタ数NCを超えていれば(S350:YES)、物体識別処理を終了する。
【0057】
[本実施形態による効果]
本発明の物体識別装置1においては、物体表面のある点における三次元位置を示す点情報を物体表面の異なる位置毎に多数備えた点群情報(クラスタ)に基づいて物体の種別を識別する装置であって、処理部10は、何らかの物体についての点群情報を取得する(S140)。そして、点群情報が含まれる仮想的な三次元領域を予め設定された大きさである複数の区分領域に分割し、各区分領域に含まれる複数の点情報をそれぞれ点群グループとして対応付ける(S210)。
【0058】
また、処理部10は、点群グループに含まれる各点情報の位置関係に基づいて、点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定する(S220)。そして、処理部10は、点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する(S230)。
【0059】
さらに、処理部10は、点群グループとしてのサイズおよび点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて物体の種別を推定する(S260、S310、S320、S330)。
【0060】
このような物体識別装置1によれば、点群グループとしてのサイズだけでなく、点群グループ間の位置関係も加味して物体の種別を推定するので、より精度よく物体の種別を識別することができる。
【0061】
なお、本発明においては、点群グループの全てについて位置およびサイズを求める必要はなく、少なくとも複数の点群グループについて位置およびサイズを求めればよい。
また、上記物体識別装置1において処理部10は、点群情報に基づいて、仮想的な三次元領域の水平方向に並ぶ複数の点情報にて構成されるラインの数を求め、ラインの数を仮想的な三次元領域の鉛直方向の分割数とする。
【0062】
このような物体識別装置1によれば、レーザ光等を水平方向の複数列に渡って走査することによって点情報を得る構成である場合、この走査によるライン数を鉛直方向の分割数とするので、過不足ない数で三次元領域を分割することができる。
【0063】
さらに、上記物体識別装置1において処理部10は、点群情報に含まれるラインの数毎に予め物体の種別に対応して準備された複数のモデルから、ラインの数に対応するモデルを選択し、点群グループとしてのサイズおよび点群グループ間の位置関係と、選択されたモデルと、を用いて物体の種別を推定する。
【0064】
このような物体識別装置1によれば、点群情報に含まれるラインの数に対応して準備されたモデルを選択することができるので、ラインの数が少ない場合でも精度よく物体の識別を行うことができる。
【0065】
また、上記物体識別装置1において処理部10は、点群グループとしてのサイズを、点群グループに含まれる点情報における座標値の標準偏差を用いて設定する。
このような物体識別装置1によれば、点群グループとしてのサイズを点情報における座標値の標準偏差を用いて設定するので、ノイズ等の影響により座標値がかけ離れた点情報が存在したとしても、このような点情報の影響を軽減することができる。
【0066】
また、上記物体識別装置1において処理部10は、点群グループに含まれる各点情報の位置関係に応じて点情報の少なくとも一部が包含されるように多角形または多角柱を配置し、該多角形または多角柱における1または複数の基準位置を点群グループの位置として設定する。
【0067】
このような物体識別装置1によれば、点情報の位置関係に応じた多角形または多角柱における基準位置を利用するので、多角形または多角柱によって物体の概ねの外形を特定することができる。したがって、物体の外形に従って物体を識別することができる。
【0068】
さらに、上記物体識別装置1において処理部10は、点群グループ間の位置関係として、ある点群グループにおける基準位置および他の点群グループにおける対応する基準位置を結ぶ直線と、多角形または多角柱の底面に対する垂線との角度を演算する。
【0069】
このような物体識別装置1によれば、ある基準位置について角度を演算するので、外形の位置がどの程度変化するかを考慮して物体の識別を行うことができる。
また、上記物体識別装置1において処理部10は、多角形または多角柱について複数の基準位置についての角度を演算する。
【0070】
このような物体識別装置1によれば、複数の基準位置について角度を演算するので、より精密に物体の外形を推定することができる。よって物体の識別精度を向上させることができる。
【0071】
[第2実施形態]
上記第1実施形態において、点群データの分割処理(S210)では、クラスタを構成するライン毎に点群グループを生成したが、例えば、予め設定された分割数でクラスタにおいて点情報が存在する領域を分割するようにしてもよい。この場合、例えば図9に示す点群データの分割処理を実施するとよい。
【0072】
図9に示す点群データの分割処理では、まず、外接直方体のサイズを取得する(S610)。外接直方体のサイズは下記のように定義される。
【0073】
【数8】
【0074】
この処理では、各軸(水平、奥行き、鉛直の各軸)においてクラスタの最も外側に位置する点情報の座標に基づいて、これらの座標に接する外接直方体の幅Wn、奥行きDn、高さHnを求める(図4参照)。
【0075】
続いて、区分領域サイズを計算する(S620)。区分領域の1つ1つについて、水平方向のサイズをBWn、鉛直方向のサイズをBHnとし、以下のように求める。
【0076】
【数9】
【0077】
なお、Nwは水平分割数、NHは鉛直分割数であり、それぞれ予め設定された値である。つまり、S620の処理ではクラスタを構成する領域(外接直方体)を、図10に示すように、同形状の直方体の区分領域に分割する。
【0078】
続いて、各区分領域に点情報を対応付け(S630)、点群データの分割処理を終了する。ここで、水平方向にi番目、鉛直方向にj番目の区分領域に対応する点情報PCDn(i,j)は、以下のように定義できる。
【0079】
【数10】
【0080】
なお、上記式中のLnはクラスタにおける左端座標であり、Tnはクラスタにおける上端座標である。
また、上記の例においては、水平方向においてもクラスタを構成する領域を分割したが、図11に示すように、鉛直方向のみに分割してもよい。この場合、S620の処理においては下記式を用いて区分領域を設定すればよい。
【0081】
【数11】
【0082】
また、S630の処理においては、下記式を用いて各区分領域に点情報を対応付ければよい。
【0083】
【数12】
【0084】
このようにしても上記の実施形態と同様の効果が得られる。また、演算に必要なる処理時間を従来構成よりも短縮することができる。
[第3実施形態]
上記第1実施形態において、各点群グループの位置サイズ情報計算処理(S220)では、点群グループを構成する点情報の標準偏差を用いて点群グループのサイズを求めたが、これらの点情報の外接直方体から点群グループのサイズを求めてもよい。詳細には、図12に示す位置サイズ情報計算処理のように、まず、前述の処理と同様に各点群グループにおける点情報を取得し(S410)、外接矩形の基準位置を算出する(S440)。
【0085】
外接矩形は、図13に示すように、点群グループを構成する点情報のうちの最も外側の点に接する外接直方体を平面に投影したものであり、下記式によって求められる。
【0086】
【数13】
【0087】
そして、下記式によって点群グループにおける水平方向のサイズBWn、鉛直方向のサイズBHnを求める。
【0088】
【数14】
【0089】
このようにしても上記の実施形態と同様の効果が得られる。
[第4実施形態]
第1実施形態においては、相対位置情報計算処理において隣接する点群グループとの角度を相対位置情報として求めたが、各点群グループにおける座標のずれを相対位置情報としてよい。
【0090】
このようにする場合、前述の基準位置のずれを相対位置情報として採用してもよいし、これから述べるように中心座標(重心座標)のずれを相対位置情報としてもよい。
中心座標のずれを相対位置情報とする場合には、図14に示す相対位置情報計算処理を実施するとよい。図14に示す相対位置情報計算処理では、まず、前述のように各点群グループにおける矩形座標を取得する(S460)。
【0091】
前述のように矩形座標を得る。
【0092】
【数15】
【0093】
続いて、中心座標を計算する(S480)。この処理では、x軸(水平方向)の中心座標cx、およびy軸(奥行き方向)の中心座標cyを下記式を用いて求める。
【0094】
【数16】
【0095】
なお、中心座標(cx,cy)に換えて、前述した重心座標(mx,my)を用いてもよい。
そして、隣接する点群グループ間の中心座標の差分を計算する(S490)。なお、図15に示すように、x軸の中心座標差分をdx、y軸の中心座標差分をdyとする。
【0096】
【数17】
【0097】
これらの値を相対位置情報としてメモリ12に記録させる。このような処理が終了すると、相対位置情報計算処理を終了する。
なお、中心座標差分ではなく、中心座標間の距離δを相対位置情報として求めてもよい。
【0098】
【数18】
【0099】
ただし、上記式において、pは点群グループの中心座標を示す。
また、中心座標差分の標準偏差を相対位置情報としてもよい。すなわち、図16に示すように、図14のS490の処理に換えて、中心座標差分の標準偏差を計算してもよい(S500)。
【0100】
中心座標差分の標準偏差は、下記式にて求めることができる。
【0101】
【数19】
【0102】
このようにすれば、図17に示すように、例えば歩行者と広告旗とを識別する際に、各点群グループのサイズについては概ね同様となるが、中心座標の標準偏差については広告旗のほうが大きくなるため、歩行者と広告旗とを良好に識別することができることがわかる。
【0103】
このような第4実施形態の物体識別装置によれば、処理部10が、点群グループに含まれる各点情報の位置関係に基づく重心位置を点群グループの位置として設定するので、重心位置においてどの程度の傾き(重心位置のずれ)があるかを認識することができる。よって、適切に物体を識別することができる。
【0104】
また、上記物体識別装置において処理部10は、点群グループ間の位置関係として、重心位置の標準偏差を演算する。
このような物体識別装置によれば、多数の点群グループについての重心位置のばらつきを低次元で表すことができるので、演算を簡素な処理で行うことができる。
【0105】
また、中心座標差分同士の差分の標準偏差(隣接する点群グループにおける重心位置の差分の標準偏差)を相対位置情報としてもよい。すなわち、中心座標同士の差分(x軸の中心座標差分をdx、y軸の中心座標差分をdy)を用いて、これらの差分の標準偏差を下記式で求めることができる。
【0106】
【数20】
【0107】
このような物体識別装置によれば、重心位置の差分(ずれ量)のばらつきを考慮して物体を識別することができるので、物体の識別精度をより向上させることができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
【0108】
例えば、上記実施形態においては、歩行者か歩行者でないかの判定を行ったが、他の物体や複数の物体についての判定を行ってもよい。例えば、歩行者、自動車、自転車についてのモデルを準備しておき、物体が歩行者、自動車、自転車であるか、或いはこれら以外であるかについての識別を行ってもよい。
【0109】
また、上記実施形態において「点情報の少なくとも一部が包含される多角形または多角柱」として、座標値の標準偏差によって求められた矩形を利用したが、例えば、点群グループに含まれる各点情報が内接または外接するような多角形または多角柱等であってもよい。
【0110】
また、上記実施形態においては、座標値の標準偏差を利用したが、標準偏差に限らず、座標値の分散、或いは分散度合(散らばりの程度、散らばり方、例えば、歪度、尖度等)を利用してもよい。
【0111】
さらに、上記第1実施形態では、レーザ光が照射されたライン数で領域を分割するよう構成したが、例えば、予めレーザレーダ20等のセンサ仕様に基づくレーザ光の照射領域をレイヤ総数(区分領域の数)NLnとして、レイヤ(1ライン分の点情報)毎に点群グループを構成するようにしてもよい。このようにする場合、クラスタを構成する各レイヤには、データが存在しないレイヤがある可能性があるが、データが存在しないレイヤについては、値を全て0とする、いわゆるゼロ埋めを行うことで処理を進めればよい。
【0112】
このようにしても、第1実施形態と同様の効果が得られる。
また、上記実施形態では、クラスタに含まれるライン数に応じて識別モデル13を選択するよう構成したが、クラスタ(つまり物体)までの距離に応じて識別モデル13を選択するようにしてもよい。すなわち、物体までの距離が近くなるにつれてクラスタに含まれるライン数が増える傾向があるため、このようにしても上記実施形態と同様の効果が得られる。
【0113】
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において物体識別処理は本発明でいう物体識別方法に相当する。また、上記実施形態でのクラスタは本発明でいう点群情報に相当する。
【0114】
さらに、上記実施形態において処理部10が実行する処理のうち、S140の処理は本発明でいう点群情報取得工程に相当し、上記実施形態におけるS150の処理は本発明でいうライン抽出工程に相当する。また、上記実施形態におけるS210の処理は本発明でいうグループ対応付け工程に相当し、上記実施形態におけるS220の処理は本発明でいうグループ位置サイズ設定工程に相当する。
【0115】
さらに、上記実施形態におけるS230の処理は本発明でいう位置関係演算工程に相当し、上記実施形態におけるS250の処理は本発明でいうモデル選択工程に相当する。また、上記実施形態におけるS260、S310、S320、S330の処理は本発明でいう種別推定工程に相当する。
【符号の説明】
【0116】
1…物体識別装置、10…処理部、11…CPU、12…メモリ、13…識別モデル、20…レーザレーダ、30…車両制御部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17