(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023128778
(43)【公開日】2023-09-14
(54)【発明の名称】情報処理装置、制御方法、プログラム及び記憶媒体
(51)【国際特許分類】
G01S 17/89 20200101AFI20230907BHJP
G01C 3/06 20060101ALI20230907BHJP
G05D 1/02 20200101ALI20230907BHJP
【FI】
G01S17/89
G01C3/06 120Q
G01C3/06 140
G05D1/02 P
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022033366
(22)【出願日】2022-03-04
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(71)【出願人】
【識別番号】520001073
【氏名又は名称】パイオニアスマートセンシングイノベーションズ株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(72)【発明者】
【氏名】倉橋 誠
【テーマコード(参考)】
2F112
5H301
5J084
【Fターム(参考)】
2F112AD01
2F112BA06
2F112CA05
2F112CA12
2F112CA14
2F112DA15
2F112DA21
2F112DA25
2F112DA28
2F112EA05
2F112FA19
2F112FA41
5H301AA01
5H301BB14
5H301CC03
5H301CC06
5H301CC10
5H301KK08
5H301KK10
5J084AA05
5J084AA06
5J084AB01
5J084AB07
5J084AD01
5J084BA03
5J084BA40
5J084CA03
5J084CA32
(57)【要約】
【課題】基準面の高さを好適に推定する。
【解決手段】情報処理装置1のコントローラ13は、主に、取得手段と、計測手段と、推定手段と、を備える。取得手段は、計測装置が出力する計測データを取得する。計測手段は、計測データに基づき、計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得する。推定手段は、位置情報に基づき、視野範囲内での基準面の高さを推定する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
計測装置が出力する計測データを取得する取得手段と、
前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得する計測手段と、
前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する推定手段と、
を備える情報処理装置。
【請求項2】
前記計測手段は、前記物体の下端位置を示す前記位置情報を取得し、
前記推定手段は、前記位置情報が示す前記下端位置の高さに基づき、前記基準面の高さを推定する、請求項1に記載の情報処理装置。
【請求項3】
前記計測手段は、複数の前記物体に対する前記位置情報を取得し、
前記推定手段は、前記視野範囲内において水平面上の仮想的なグリッドを設定し、前記グリッドのマスごとに振り分けた前記位置情報に基づき、前記マスごとに前記基準面の高さを推定する、請求項1または2に記載の情報処理装置。
【請求項4】
前記推定手段は、前記マスごとに前記位置情報が示す前記高さ方向の位置を集計したヒストグラムを生成し、当該ヒストグラムにおける前記高さ方向の位置の最低値又は最頻値の少なくとも一方に基づき、前記マスごとに前記基準面の高さを推定する、請求項3に記載の情報処理装置。
【請求項5】
前記計測手段は、前記物体の追跡を行い、追跡した前記物体の時系列での前記位置情報を生成する、請求項1~4のいずれか一項に記載の情報処理装置。
【請求項6】
前記推定手段は、前記追跡を行った時間長に基づき、前記基準面の高さの推定に用いる前記位置情報を選定する、請求項5に記載の情報処理装置。
【請求項7】
前記推定手段は、前記物体の種類に基づき、前記基準面の高さの推定に用いる前記位置情報を選定する、請求項1~6のいずれか一項に記載の情報処理装置。
【請求項8】
前記推定手段は、前記物体を遮る他物体の存否に基づき、前記物体の前記位置情報を前記基準面の高さの推定に用いるか否か決定する、請求項1~7のいずれか一項に記載の情報処理装置。
【請求項9】
前記計測手段は、前記物体のモデル情報に基づき、前記物体を表す前記計測データを補間し、補間後の前記物体のデータに基づき、前記位置情報を生成する、請求項1~8のいずれか一項に記載の情報処理装置。
【請求項10】
コンピュータが、
計測装置が出力する計測データを取得し、
前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得し、
前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する、
制御方法。
【請求項11】
計測装置が出力する計測データを取得し、
前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得し、
前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する処理をコンピュータに実行させるプログラム。
【請求項12】
請求項11に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、計測したデータの処理に関する。
【背景技術】
【0002】
従来から、被検出空間にレーザ光のパルスを照射し、その反射光のレベルに基づいて、被検出空間内の対象物を検出するレーザレーダ装置が知られている。例えば、特許文献1には、繰り返し出射される光パルスの出射方向(走査方向)を適切に制御することにより周辺空間を走査し、その戻り光を観測することにより、周辺に存在する物体に関する情報である距離、反射率などの情報を表す点群データを生成するライダが開示されている。また、特許文献2には、点群データに基づき、物体を囲む物体枠を検出し、時系列での物体枠の対応付けにより物体の追跡処理を行う技術が開示されている。また、特許文献3には、背景データを取得する際に距離値が得られなかった位置について仮想的な地面を想定し、背景データを補間する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-009831号公報
【特許文献2】特開2020-042800号公報
【特許文献3】特開2019-045199号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ライダなどの計測装置を地面などの基準面に向けて設置した場合、基準面の計測データを取得できる範囲が計測装置の近場に限られ、それ以遠の基準面のデータが得られず基準面の高さを把握することができないといった問題があった。
【0005】
本開示は、上記のような課題を解決するためになされたものであり、基準面の高さを好適に推定することが可能な情報処理装置を提供することを主な目的とする。
【課題を解決するための手段】
【0006】
請求項に記載の発明は、
計測装置が出力する計測データを取得する取得手段と、
前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得する計測手段と、
前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する推定手段と、
を備える情報処理装置である。
【0007】
また、請求項に記載の発明は、
コンピュータが、
計測装置が出力する計測データを取得し、
前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得し、
前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する、
制御方法である。
【0008】
また、請求項に記載の発明は、
計測装置が出力する計測データを取得し、
前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得し、
前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する処理をコンピュータに実行させるプログラムである。
【図面の簡単な説明】
【0009】
【
図1】実施例に係るライダユニットの概略構成である。
【
図2】道路上の車両を計測するライダの設置例を示す。
【
図3】情報処理装置のハードウェア構成の一例を示すブロック構成図である。
【
図4】視野範囲を真上から見た2次元空間上において、仮想的に設定したグリッドと、追跡物体の移動軌跡とを示している。
【
図5】あるグリッドマスに対する下端高ヒストグラムを示す。
【
図6】情報処理装置の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【0010】
本発明の好適な実施形態によれば、情報処理装置は、計測装置が出力する計測データを取得する取得手段と、前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得する計測手段と、前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する推定手段と、を備える。情報処理装置は、この態様により、計測装置の視野範囲内での基準面の高さを的確に推定することができる。
【0011】
上記情報処理装置の一態様では、前記計測手段は、前記物体の下端位置を示す前記位置情報を取得し、前記推定手段は、前記位置情報が示す前記下端位置の高さに基づき、前記基準面の高さを推定する。この態様によれば、情報処理装置は、計測した物体の下端位置の高さに基づいて基準面の高さを的確に推定することができる。
【0012】
上記情報処理装置の他の一態様では、前記計測手段は、複数の前記物体に対する前記位置情報を取得し、前記推定手段は、前記視野範囲内において水平面上の仮想的なグリッドを設定し、前記グリッドのマスごとに振り分けた前記位置情報に基づき、前記マスごとに前記基準面の高さを推定する。この態様により、情報処理装置は、通過した物体の位置情報に基づいて通過位置での基準面の高さを的確に推定することができる。
【0013】
上記情報処理装置の他の一態様では、前記推定手段は、前記マスごとに前記位置情報が示す前記高さ方向の位置を集計したヒストグラムを生成し、当該ヒストグラムにおける前記高さ方向の位置の最低値又は最頻値の少なくとも一方に基づき、前記マスごとに前記基準面の高さを推定する。この態様により、情報処理装置は、マスごとの基準面の高さを的確に推定することができる。
【0014】
上記情報処理装置の他の一態様では、前記計測手段は、前記物体の追跡を行い、追跡した前記物体の時系列での前記位置情報を生成する。好適な例では、前記推定手段は、前記追跡を行った時間長に基づき、前記基準面の高さの推定に用いる前記位置情報を選定する。この態様により、情報処理装置は、追跡した物体の位置情報に基づいて、基準面の高さを的確に推定することができる。
【0015】
上記情報処理装置の他の一態様では、前記推定手段は、前記物体の種類に基づき、前記基準面の高さの推定に用いる前記位置情報を選定する。この態様により、情報処理装置は、安定的に計測される傾向がある物体の位置情報を選定し、基準面の高さを的確に推定することができる。
【0016】
上記情報処理装置の他の一態様では、前記推定手段は、前記物体を遮る他物体の存否に基づき、前記物体の前記位置情報を前記基準面の高さの推定に用いるか否か決定する。この態様により、情報処理装置は、他の物体による遮蔽なく計測された物体の位置情報に基づき、基準面の高さを的確に推定することができる。
【0017】
上記情報処理装置の他の一態様では、前記計測手段は、前記物体のモデル情報に基づき、前記物体を表す前記計測データを補間し、補間後の前記物体のデータに基づき、前記位置情報を生成する。この態様により、情報処理装置は、他の物体により遮蔽されて計測された物体についても正確な位置情報を生成し、基準面の高さを的確に推定することができる。
【0018】
本発明の他の好適な実施形態によれば、コンピュータが実行する制御方法であって、コンピュータが、計測装置が出力する計測データを取得し、前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得し、前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する。コンピュータは、この制御方法を実行することで、計測装置の視野範囲内での基準面の高さを的確に推定することができる。
【0019】
本発明の他の好適な実施形態によれば、計測装置が出力する計測データを取得し、前記計測データに基づき、前記計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得し、前記位置情報に基づき、前記視野範囲内での基準面の高さを推定する処理をコンピュータに実行させるプログラムである。コンピュータは、このプログラムを実行することで、計測装置の視野範囲内での基準面の高さを的確に推定することができる。好適には、上記プログラムは、記憶媒体に記憶される。
【実施例0020】
以下、図面を参照して本発明の好適な実施例について説明する。
【0021】
(1)
ライダユニットの概要
図1は、実施例に係るライダユニット100の概略構成である。ライダユニット100は、センサ群2が生成するデータに関する処理を行う情報処理装置1と、ライダ(Lidar:Light Detection and Ranging、または、Laser Illuminated Detection And Ranging)3を少なくとも含むセンサ群2と、を有する。ライダユニット100は、屋内又は屋外において設置され、時系列での物体の追跡結果に基づき地面の高さ(「地面高」とも呼ぶ。)を正確に推定する。
図2は、ライダ3の設置例を示す。
図2に示すライダ3は、ライダ3が測距可能な範囲である視野範囲「Rv」を有し、視野範囲Rv内に存在する物体(
図2では車両と歩行者)を時系列において計測する。
【0022】
情報処理装置1は、センサ群2と有線又は無線により電気的に接続し、センサ群2に含まれる各種センサが出力するデータの処理を行う。本実施例では、情報処理装置1は、ライダ3が出力する点群データに基づき、物体を追跡する処理及び追跡結果に基づく地面高の推定処理を行う。情報処理装置1は、例えば、ライダ3と共に収容体に収容された状態で固定設置される。なお、情報処理装置1は、ライダ3の電子制御装置としてライダ3と一体になって設けられてもよく、ライダ3とデータ通信可能であってライダ3と離れた位置に設けられてもよい。
【0023】
ライダ3は、水平方向および垂直方向の所定の角度範囲に対して角度を変えながら赤外線レーザであるパルスレーザを出射することで、外界に存在する物体までの距離を離散的に計測する。この場合、ライダ3は、照射方向(即ち走査方向)を変えながらレーザ光を照射する照射部と、照射したレーザ光の反射光(散乱光)を受光する受光部と、受光部が出力する受光信号に基づくデータを出力する出力部とを有する。そして、ライダ3は、ライダ3を基準点として、パルスレーザが照射された物体までの距離(計測距離)及び反射光の受光強度(反射強度値)を計測方向(即ちパルスレーザの出射方向)ごとに示した点群データを生成する。この場合、ライダ3は、パルスレーザを出射してから受光部が反射光を検出するまでの時間を、光の飛行時間(Time of Flight)として算出し、算出した飛行時間に応じた計測距離を求める。以後では、視野範囲Rv全体への1回分の計測により得られる点群データを、1フレーム分の点群データとする。
【0024】
ここで、点群データは、各計測方向を画素とし、各計測方向での計測距離及び反射強度値を画素値とする画像とみなすことができる。この場合、画素の縦方向の並びにおいて仰俯角におけるパルスレーザの出射方向が異なり、画素の横方向の並びにおいて水平角におけるパルスレーザの出射方向が異なる。そして、各画素に対し、対応する出射方向及び計測距離の組に基づき、ライダ3を基準とする3次元座標系での座標値が求められる。以後では、この座標値を(x,y,z)と表記し、x座標及びy座標の組が水平方向の位置を表し、z座標が高さ方向の位置を表すものとする。
【0025】
なお、ライダ3は、上述したスキャン型のライダに限らず、2次元アレイ状のセンサの視野にレーザ光を拡散照射することによって3次元データを生成するフラッシュ型のライダであってもよい。以後では、照射部から出射されたパルスレーザが照射されることにより計測された点(及びその計測データ)を、「被計測点」とも呼ぶ。ライダ3は、本発明における「計測装置」の一例である。
【0026】
センサ群2には、ライダ3に加え、種々の外界センサ又は/及び内界センサが含まれてもよい。例えば、センサ群2は、位置情報の生成に必要なGNSS(Global Navigation Satellite System)受信機等を含んでもよい。
【0027】
(2)
情報処理装置の構成
図3は、情報処理装置1のハードウェア構成の一例を示すブロック図である。情報処理装置1は、主に、インターフェース11と、メモリ12と、コントローラ13と、を有する。これらの各要素は、バスラインを介して相互に接続されている。
【0028】
インターフェース11は、情報処理装置1と外部装置とのデータの授受に関するインターフェース動作を行う。本実施例では、インターフェース11は、ライダ3などのセンサ群2から出力データを取得し、コントローラ13へ供給する。インターフェース11は、無線通信を行うためのネットワークアダプタなどのワイヤレスインターフェースであってもよく、ケーブル等により外部装置と接続するためのハードウェアインターフェースであってもよい。また、インターフェース11は、入力装置、表示装置、音出力装置等の種々の周辺装置とのインターフェース動作を行ってもよい。
【0029】
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ12は、コントローラ13が所定の処理を実行するためのプログラムが記憶される。なお、コントローラ13が実行するプログラムは、メモリ12以外の記憶媒体に記憶されてもよい。
【0030】
また、メモリ12は、コントローラ13が所定の処理を実行するために必要な情報を記憶する。例えば、本実施例において、メモリ12は、追跡履歴情報ITRを記憶している。追跡履歴情報ITRは、物体の追跡結果の履歴を示す情報であり、フレーム周期ごとに更新される。例えば、追跡履歴情報ITRには、追跡対象となった物体(「追跡物体」とも呼ぶ。)の検出時刻を示す時刻情報と、追跡物体の識別情報(「追跡物体ID」とも呼ぶ。)と、追跡物体の分類(クラス)情報と、追跡物体の検出位置を示す位置情報と、を含むレコードが記録されている。ここで、異なる処理時刻において同一の追跡物体が存在する場合には、追跡物体は同一の追跡物体IDにより管理される。また、上述の位置情報には、追跡物体の下端位置の座標情報(即ち、下端位置を示すx、y、zの各座標値)が少なくとも含まれている。
【0031】
その他、メモリ12には、物体追跡処理及び地面高推定処理に必要な任意の情報が含まれてもよい。例えば、メモリ12には、追跡物体となり得る物体のモデルを示す物体モデル情報が含まれてもよい。一般に、他の物体による遮蔽(オクルージョン)等に起因して物体の一部しかライダ3により検出されない場合がある。この場合、コントローラ13は、物体モデル情報に基づきライダ3が出力する追跡物体の点群データを補間することで、追跡物体の全体領域を表すデータを生成し、生成した全体領域を表すデータに基づき、追跡物体の下端位置を示す検出位置情報を生成する。
【0032】
コントローラ13は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)などの1又は複数のプロセッサを含み、情報処理装置1の全体を制御する。この場合、コントローラ13は、メモリ12等に記憶されたプログラムを実行することで、後述する種々の処理を実行する。コントローラ13は、機能的には、セグメント検出部15と、追跡部16と、地面高推定部17と、を有する。
【0033】
セグメント検出部15は、現処理時刻に対応するフレーム周期において生成された点群データから、互いに隣接するデータのまとまり(「セグメント」とも呼ぶ。)を抽出し、抽出したセグメントから物体を表すと推定されるセグメント(「物体セグメント」とも呼ぶ。)を検出する。
【0034】
この場合、セグメント検出部15は、例えば、ユーグリッド距離クラスタリングなどの任意のクラスタリング技術に基づき点群データから特定される被計測点のクラスタを、物体セグメントとして抽出する。そして、セグメント検出部15は、抽出した物体セグメントの各々の分類を行うことで、抽出した物体セグメントの各々のクラスを決定する。ここでのクラスは、例えば、車両(自転車を含む)、歩行者、標識などの、ライダ3により検出される可能性がある物体の種類である。この場合、セグメント検出部15は、例えば、セグメントの大きさ又は/及び形状に基づき、上述の分類を行う。この場合、クラスごとの大きさ又は/及び形状に関する事前情報が予めメモリ12等に記憶されており、セグメント検出部15は、当該事前情報を参照することで、各物体セグメントの大きさ又は/及び形状に基づく分類を行う。なお、セグメント検出部15は、深層学習(ニューラルネットワーク)に基づき学習された物体検出モデルを用いて物体セグメントの検出及び分類を行ってもよい。この場合、物体検出モデルは、例えば、インスタンスセグメンテーションに基づくモデルであり、所定のテンソル形式により表された点群データが入力された場合に、物体セグメントの検出結果及び分類されたクラスを出力するように予め学習される。
【0035】
追跡部16は、時系列の物体セグメントに基づき、物体追跡を行う。この場合、追跡部16は、時系列の物体セグメントと任意の物体追跡(トラッキング)モデルとを用い、連続するフレーム周期において検出された物体セグメントが同一の物体を表すか否かの判定等を行う。具体的には、追跡部16は、過去の処理時刻に検出された追跡物体と現処理時刻に検出された物体セグメントが表す物体とが同一物であるか否かを、分類の同一性、及び、過去の検出位置から物体追跡モデルにより予測された追跡物体の予測位置と現処理時刻での物体セグメントに基づく検出位置との誤差等に基づき判定する。なお、物体追跡モデルは、カルマンフィルタに基づくモデルであってもよく、深層学習に基づくモデルであってもよい。この場合、追跡部16は、物体セグメントから代表点を決定し、代表点を基にトラッキングを行ってもよい。この場合の代表点は、物体セグメントの重心位置であってもよく、物体の特定部分に対応する被計測点であってもよい。他の例では、追跡部16は、物体セグメントに対してバウンディングボックスを設定し、バウンディングボックスを基にトラッキングを行ってもよい。
【0036】
また、追跡部16は、フレーム周期ごとの各処理時刻での追跡結果に基づき追跡履歴情報ITRを更新する。この場合、追跡部16は、例えば、現処理時刻での点群データにおいて検出された物体セグメントごとに、時刻情報と、追跡物体IDと、分類(クラス)情報と、位置情報と、を含むレコードを追跡履歴情報ITRに追加する。この場合、追跡部16は、時系列において追跡が成功した追跡物体(即ち、過去時刻に検出した追跡物体と同一であるとみなした追跡物体)の追跡物体IDを、時系列において同一のIDに定める。なお、追跡履歴情報ITRのレコードは、処理時刻ごとに生成される代わりに、追跡物体ごとに1つのレコードが生成されてもよい。この場合、追跡履歴情報ITRのレコードには、追跡物体の位置(下端位置を含む)を示す時系列データが位置情報として含まれる。
【0037】
地面高推定部17は、地面高を推定するタイミングとなった場合に、追跡履歴情報ITRに基づき、視野範囲Rv内での地面高を推定する。この場合、地面高推定部17は、視野範囲Rvを真上から見た2次元空間とみなし、当該2次元空間を各次元において所定間隔ごとにメッシュした仮想的なグリッドを定義する。そして、地面高推定部17は、グリッドのマス(「グリッドマス」とも呼ぶ。)ごとに、追跡履歴情報ITRに基づく追跡物体の下限位置の高さを集計したヒストグラムを生成し、当該ヒストグラムに基づきグリッドマスごとに地面高を推定する。地面高推定部17の処理の詳細については後述する。
【0038】
そして、コントローラ13は、「取得手段」、「計測手段」、「推定手段」及びプログラムを実行するコンピュータ等として機能する。
【0039】
なお、コントローラ13が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、コントローラ13が実行する処理は、例えばFPGA(Field-Programmable Gate Array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、コントローラ13が本実施例において実行するプログラムを実現してもよい。
【0040】
(3)地面高の推定
次に、地面高推定部17による地面高の推定方法について具体的に説明する。
【0041】
図4は、視野範囲Rvを真上から見た2次元空間上において、仮想的に設定したグリッドと、追跡物体の処理時刻ごとの通過位置とを示している。
図4では、ある一つの追跡物体が通過したと判定されるグリッドマスを塗りつぶしている。ここで、2次元空間は、x座標及びy座標から構成される空間となる。
【0042】
地面高推定部17は、追跡履歴情報ITRに含まれる位置情報に基づき、追跡部16が追跡した追跡物体が時系列において存在したグリッドマスを認識する。そして、地面高推定部17は、追跡履歴情報ITRの位置情報を、グリッドマスに振り分けて、それぞれヒストグラムに加算する。このヒストグラムは、グリッドマスごとに通過した追跡物体の下端位置の高さ(「下端高」とも呼ぶ。)を集計したヒストグラム(「下端高ヒストグラム」とも呼ぶ。)である。なお、下端高は、z座標に相当する。例えば、
図4の例では、塗りつぶされた計6個のグリッドマスについて、
図4に示される追跡物体に対応する追跡履歴情報ITRの位置情報が振り分けられ、下端高ヒストグラムに足しこまれる。そして、地面高推定部17は、追跡履歴情報ITRに登録されている全ての追跡物体の各々について、上述の処理を行い、下端高ヒストグラムを更新する。なお、例えば、1m四方のグリッドマスを、歩行者が1秒かけて通過した場合、ライダ3が24fpsの場合には、24個の位置情報が対象のグリッドマスに対応付けられることになる。その場合、24個のデータを下端高ヒストグラムに足しこんでもよく、24個の平均値を下端高ヒストグラムに足しこんでもよい。
【0043】
図5は、追跡履歴情報ITRに基づき生成された、あるグリッドマスに対する下端高ヒストグラムを示す。ここでは、地面高推定部17は、下端高に対して所定幅のビンの幅を設け、対象のグリッドマスを通った追跡物体の下端位置のビン毎の頻度を集計する。
【0044】
そして、多数の追跡物体の下端高を集計することで、下端高ヒストグラムは、追跡物体の下端高と地面高との関係が反映された分布を表すものとなる。具体的には、最も多くの場合、追跡物体の下端は、地面に接していることから、下端高は、地面高を表す頻度が最も多いと考えられる。一方、追跡物体の他の物体による遮蔽(オクルージョン)により、追跡物体の下端をライダ3が計測できない場合も発生し、このような場合には、下端高は地面高とはならず、地面高よりも高い位置を示すものとなる。また、エラーを除き、地面高よりも低い位置を表す下端高は計測されない。
【0045】
以上を勘案し、地面高推定部17は、下端高ヒストグラムにおける最頻値又は最低値の少なくともいずれかに基づいて、地面高を表す下端高のビンを推定する。
図5の例では、下端高「H0」のビン(即ちH0を中央値とするビン)が最頻値かつ最低値となっている。従って、地面高推定部17は、下端高H0が対象のグリッドマスにおける地面高であると推定する。これにより、地面高推定部17は、グリッドマスごとの地面高を高精度に推定することができる。
【0046】
ここで、本実施例の効果について補足説明する。自動車などの物体は、高さは変化せず、常に地面に接して移動する。また、一般に、ライダ3の点群データから地面点を取得できる範囲よりも遠くまで、検知可能な自動車が多数存在する。また、歩行者は、自動車に比べて、速度が急に変わったり、人同士が接近したりするため、追跡が難しく、しゃがんだり飛び跳ねたりして形状が変化する可能性もある。一方、多数のデータを集めれば、直立して地面に接して移動するケースが多い。以上を勘案し、地面高推定部17は、追跡部16による複数物体の追跡結果に基づき、グリッドマスごとの下端高ヒストグラムを生成し、統計的に地面高を推定する。
【0047】
ここで、地面高の推定方法に関するバリエーションについて説明する。
【0048】
下端高ヒストグラムにおける最低値に基づき地面高を推定する場合、誤差等に対応するため、地面高推定部17は、集計対象となる下端高のうち、最低値となる所定個数分の下端高を除外するとよい。この場合、地面高推定部17は、除外後の下端高における最低値を、地面高であると推定する。
【0049】
また、地面高推定部17は、グリッドマスごとに地面高を推定後、各グリッドマスの推定された地面高について、隣接グリッドマスの推定された地面高との平均値を補正後の地面高とする補正処理を行ってもよい。これにより、平滑化された地面高を取得することができる。
【0050】
また、地面高推定部17は、下端高ヒストグラムを生成する前処理として、追跡履歴情報ITRに登録された追跡物体ごとに、時系列での位置情報が示す追跡物体の下端位置を時間方向に平均化する(例えば移動平均を算出する)ことで平滑化してもよい。この場合、地面高推定部17は、追跡物体ごとに追跡履歴情報ITRの位置情報を抽出し、抽出した位置情報が示す追跡物体の時系列の下端位置を、移動平均等の統計処理により平滑化し、平滑化後の値に補正する。その後、地面高推定部17は、各追跡物体の平滑化後の下端位置に基づき、追跡物体が通ったグリッドマスの特定と、グリッドマスごとの下端高ヒストグラムの生成及び地面高の推定とを順に行う。
【0051】
また、地面高推定部17は、追跡部16による追跡物体の追跡結果に基づいて、地面高の推定に用いる追跡履歴情報ITRの位置情報を選定してもよい。
【0052】
第1の例では、地面高推定部17は、所定のクラスに属する追跡物体の追跡結果に基づいて、地面高の推定を行う。この場合、地面高推定部17は、追跡履歴情報ITRに含まれる追跡物体の分類情報に基づき、所定のクラス(例えば自動車)に属する追跡物体の位置情報を抽出する。そして、地面高推定部17は、抽出した位置情報からグリッドマスごとの下端高ヒストグラムを生成し、地面高を推定する。一般に、自動車の場合には、安定的追跡が期待できる一方、歩行者については遮蔽等により追跡が安定しないという問題がある。従って、地面高推定部17は、追跡が安定するクラス(例えば自動車)の追跡結果を用いることで、高精度な地面高を推定することが可能となる。
【0053】
第2の例では、地面高推定部17は、分類情報を用いる代わりに、又はこれに加えて、所定時間長以上追跡できた追跡物体の追跡結果に基づいて、地面高の推定を行ってもよい。この場合、地面高推定部17は、追跡履歴情報ITRに基づき各追跡物体の追跡時間長を算出し、追跡時間長が所定時間長以上となる追跡物体の位置情報を抽出する。そして、地面高推定部17は、抽出した位置情報に基づき、グリッドマスごとの下端高ヒストグラムを生成し、地面高を推定する。これによっても、地面高推定部17は、安定的に追跡できた追跡対象の追跡結果を用いて、高精度な地面高を推定することが可能となる。
【0054】
また、地面高推定部17は、渋滞の道路、人の多い繁華街の歩行者等の場合には、遮蔽対策として、追跡物体の手間に他の物体が存在しない場合の追跡結果に基づいて、地面高の推定を行ってもよい。この場合、例えば、地面高推定部17は、追跡履歴情報ITRに基づき、処理時刻ごとに、追跡物体とライダ3との間における他物体の存否を判定し、他物体が存在しない追跡物体の位置情報を抽出する。そして、地面高推定部17は、抽出した位置情報に基づき、グリッドマスごとの下端高ヒストグラムを生成し、地面高を推定する。
【0055】
このように、地面高推定部17は、追跡物体を遮る他物体の存否に基づき、追跡物体の追跡結果を地面高の推定に用いるか否か決定する。これによっても、地面高推定部17は、渋滞の道路、人の多い繁華街の歩行者等を追跡物体とする場合においても、遮蔽が発生していない追跡物体の追跡結果を用いて、高精度な地面高を推定することが可能となる。
【0056】
また、追跡部16は、追跡履歴情報ITRの更新において、物体モデル情報に基づき物体セグメントを補間することで、より正確な追跡物体の下端位置を表す位置情報を生成してもよい。この場合、追跡部16は、対象の物体セグメントの分類(クラス)に対応する物体モデル情報を参照し、当該物体セグメントを物体モデル情報が示す物体モデルにより補間し、追跡物体の全体領域を表すデータを生成する。そして、追跡部16は、当該データに基づき特定される追跡物体の下端位置を表す位置情報を、追跡履歴情報ITRに登録する。これにより、追跡部16は、追跡物体が他物体により遮蔽された場合であっても、追跡物体の正確な下端位置を表す位置情報を生成することが可能となる。
【0057】
(4)
処理フロー
図6は、情報処理装置1が実行する地面高の推定処理の手順を示すフローチャートの一例である。情報処理装置1は、このフローチャートの処理を繰り返し実行する。
【0058】
まず、情報処理装置1のコントローラ13は、ライダ3が計測する点群データを、インターフェース11を介して取得する(ステップS11)。そして、コントローラ13は、ステップS11で取得された点群データに基づき、物体セグメントの検出及び各物体セグメントが表す物体の分類を行う(ステップS12)。
【0059】
次に、コントローラ13は、物体追跡及び追跡履歴情報ITRの更新を行う(ステップS13)。これにより、コントローラ13は、ステップS12で検出した物体セグメントごとに、検出時刻情報と、追跡物体IDと、分類情報と、下端位置を少なくとも示す位置情報と、を含むレコードを生成し、生成したレコードを追跡履歴情報ITRに追加する。
【0060】
次に、コントローラ13は、地面高の推定タイミングであるか否か判定する(ステップS14)。例えば、コントローラ13は、予め定めた地面高の推定開始条件が満たされたときに、地面高の推定タイミングであると判定する。推定開始条件は、例えば、追跡履歴情報ITRに含まれる位置情報の数が所定数以上であることを定めた条件であってもよく、推定を行う日時を定めた条件であってもよく、インターフェース11等から推定開始要求があった場合に推定を開始することを定めた条件であってもよい。そして、地面高の推定タイミングではない場合(ステップS14;No)、コントローラ13は、ステップS11へ処理を戻し、追跡履歴情報ITRの更新処理を行う。
【0061】
一方、地面高の推定タイミングである場合(ステップS14;Yes)、コントローラ13は、追跡履歴情報ITRに基づき、2次元空間のグリッドマスごとの下端高ヒストグラムを生成する(ステップS15)。この場合、例えば、コントローラ13は、上述したように、追跡時間、追跡物体のクラス、手前側の物体の存否等に基づいて、下端高ヒストグラムにおいて集計する追跡履歴情報ITRの位置情報の選定などを行ってもよい。
【0062】
そして、コントローラ13は、グリッドマスごとに地面高を推定する(ステップS16)。この場合、コントローラ13は、例えば、下端高ヒストグラムの最低値又は最頻値の少なくとも一方に基づき、地面高を表す下端高ヒストグラムのビンを特定する。また、例えば、コントローラ13は、上述したように、隣接するグリッドマスの地面高に基づいて、地面高の平滑化処理などを行ってもよい。
【0063】
(5)変形例
情報処理装置1は、地面高を推定する代わりに、人や物の通路となる任意の面(「基準面」とも呼ぶ。)の高さを推定してもよい。
【0064】
この場合の基準面には、階段、エスカレータ、フロアなどの人工物の表面も含まれる。従って、ライダ3は、屋外に設置されてもよく、屋内に設置されてもよい。そして、情報処理装置1は、ライダ3が生成する点群データに基づき物体の追跡処理を行うことで追跡履歴情報ITRを生成する。そして、情報処理装置1は、基準面の高さの推定タイミングにおいて、追跡履歴情報ITRに基づく水平面上のグリッドマスごとの下端高ヒストグラムを生成し、下端高ヒストグラムの最低値又は最頻値に基づき、基準面の高さをグリッドマスごとに推定する。この態様によっても、情報処理装置1は、ライダ3の視野範囲Rv内の基準面の高さを好適に推定することができる。
【0065】
以上説明したように、本実施例に係る情報処理装置1のコントローラ13は、主に、取得手段と、計測手段と、推定手段と、を備える。取得手段は、計測装置が出力する計測データを取得する。計測手段は、計測データに基づき、計測装置の視野範囲内に存在する物体の高さ方向を含む位置情報を取得する。推定手段は、位置情報に基づき、視野範囲内での基準面の高さを推定する。この態様により、情報処理装置1は、計測装置の視野範囲内の基準面の高さを高精度に推定することができる。
【0066】
なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(Non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(Tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)を含む。
【0067】
以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献等の各開示は、本書に引用をもって繰り込むものとする。