(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094601
(43)【公開日】2024-07-10
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G01S 7/497 20060101AFI20240703BHJP
G08G 1/16 20060101ALI20240703BHJP
【FI】
G01S7/497
G08G1/16 A
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022211246
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】岡本 駿志
(72)【発明者】
【氏名】松井 美智代
【テーマコード(参考)】
5H181
5J084
【Fターム(参考)】
5H181AA01
5H181AA25
5H181AA26
5H181AA27
5H181BB04
5H181CC03
5H181CC11
5H181CC12
5H181CC14
5H181FF05
5H181FF12
5J084AA04
5J084AA05
5J084AB01
5J084AB02
5J084AB03
5J084AB07
5J084BA03
5J084BA31
5J084EA08
5J084EA22
5J084EA23
(57)【要約】 (修正有)
【課題】センサの設置条件の変化を検出し、高精度にセンサのキャリブレーションを行うことが可能な、新規かつ改良された技術を提供する。
【解決手段】センサにより得られる、第1の物体の形状を示す第1の点群データを取得する取得部と、変換パラメータに基づいて、取得された第1の点群データの座標を変換する処理を行う変換部と、座標変換後の第1の点群データに基づき第1の物体の位置を検出する検出部と、第1の物体の位置を追跡することにより第1の物体の移動軌跡を生成する物体追跡部と、移動軌跡に基づく所定の条件が満たされるか否かを判定する判定部と、前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定し、前記移動方向を所定の方向に一致させる行列を算出し、前記行列に基づいて、前記変換パラメータを修正する修正部と、を備える、情報処理装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
センサにより得られる、第1の物体の形状を示す第1の点群データを取得する取得部と、
変換パラメータに基づいて、取得された前記第1の点群データの座標を変換する処理を行う変換部と、
座標変換後の前記第1の点群データに基づき第1の物体の位置を検出する検出部と、
前記第1の物体の位置を追跡することにより前記第1の物体の移動軌跡を生成する物体追跡部と、
前記移動軌跡に基づく所定の条件が満たされるか否かを判定する判定部と、
前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定し、
前記移動方向を所定の方向に一致させる行列を算出し、
前記行列に基づいて、前記変換パラメータを修正する修正部と、
を備える、情報処理装置。
【請求項2】
前記所定の方向は、センサ座標系における第1の座標軸方向である、
請求項1に記載の情報処理装置。
【請求項3】
前記所定の条件は、前記移動軌跡に含まれる前記第1の物体の位置のうち、互いに異なる二地点の、前記センサ座標系における前記第1の座標軸方向に直交する第2の座標軸方向の座標の差分が、閾値を上回るという条件である、
請求項2に記載の情報処理装置。
【請求項4】
前記二地点は、前記第1の物体の位置のうち、前記第1の座標軸方向の座標が最大となる地点と、前記第1の座標軸方向の座標が最小となる地点とを含む、
請求項3に記載の情報処理装置。
【請求項5】
前記変換パラメータは、前記第1の点群データの座標を回転させる回転行列を含む、
請求項1に記載の情報処理装置。
【請求項6】
前記第1の物体の位置のうち前記第1の座標軸方向に直交する第2の座標軸方向の座標が属する区間を判定する区間判定処理を行う通知部をさらに備える、
請求項3に記載の情報処理装置。
【請求項7】
前記通知部は、前記区間判定処理の結果に基づき、前記第1の物体の前記第2の座標軸方向の座標が属する前記区間を示す情報を他の装置に通知する、
請求項6に記載の情報処理装置。
【請求項8】
前記修正部は、前記第2の点群データに含まれる各点のうち、検出された前記第2の物体に対応する点の分布に基づいて、当該分布の分散が最大である方向を、前記第2の物体の移動方向として推定する、
請求項2に記載の情報処理装置。
【請求項9】
前記修正部は、前記第2の点群データに含まれる各点の座標の分布に基づく共分散行列、当該共分散行列の固有値、および固有ベクトルを算出し、
前記固有値および前記固有ベクトルに基づいて、前記第2の物体の前記移動方向を前記所定の方向に一致させる前記行列を算出する、
請求項8に記載の情報処理装置。
【請求項10】
前記第2の点群データに含まれる各点のうち、前記第2の物体に対応する点に基づく軌跡点群の表示を含む出力画面を生成する、画面生成部
をさらに備える、請求項1に記載の情報処理装置。
【請求項11】
前記画面生成部は、前記修正部による修正前の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群と、修正後の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群とを、対比して表示する出力画面を生成する、
請求項10に記載の情報処理装置。
【請求項12】
前記画面生成部は、修正前の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群と、修正後の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群とを、重畳して表示する出力画面を生成する、
請求項10に記載の情報処理装置。
【請求項13】
前記物体追跡部は、前記センサにより得られた前記点群データにおいて、あるフレームにおいて検出された第1の物体の位置と、当該フレームの前フレームにおいて検出された第1の物体の位置との対応付けを行うことにより、前記第1の物体の前記移動軌跡を生成する、
請求項1に記載の情報処理装置。
【請求項14】
前記第2の点群データは、前記第1の点群データに含まれるフレームと異なるフレームにおける点群データを含む、
請求項1に記載の情報処理装置。
【請求項15】
前記第2の点群データは、前記第1の点群データに含まれるフレームと同一のフレームにおける点群データを含む、
請求項1に記載の情報処理装置。
【請求項16】
前記取得部は、複数の前記センサにより得られた点群データを合成することにより、前記第1の点群データおよび前記第2の点群データを取得する、
請求項1に記載の情報処理装置。
【請求項17】
前記第1の物体は、陸路、空路、または海路を移動する移動体を含む、
請求項1~16のいずれか一項に記載の情報処理装置。
【請求項18】
前記移動体は、搭乗者が操作することにより移動する有人移動体、または、自律して移動可能な無人移動体の少なくともいずれかまたは両方を含む、
請求項17に記載の情報処理装置。
【請求項19】
プロセッサが、
センサにより得られる、第1の物体の形状を示す第1の点群データを取得することと、
変換パラメータに基づいて、取得された前記第1の点群データの座標を変換する処理を行うことと、
座標変換後の前記第1の点群データに基づき第1の物体の位置を検出することと、
前記第1の物体の位置を追跡することにより前記第1の物体の移動軌跡を生成することと、
前記移動軌跡に基づく所定の条件が満たされるか否かを判定することと、
前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定することと、
前記移動方向を所定の方向に一致させる行列を算出することと、
前記行列に基づいて、前記変換パラメータを修正することと、
を含む、コンピュータにより実行される情報処理方法。
【請求項20】
コンピュータを、
センサにより得られる、第1の物体の形状を示す第1の点群データを取得する取得部と、
変換パラメータに基づいて、取得された前記第1の点群データの座標を変換する処理を行う変換部と、
座標変換後の前記第1の点群データに基づき第1の物体の位置を検出する検出部と、
前記第1の物体の位置を追跡することにより前記第1の物体の移動軌跡を生成する物体追跡部と、
前記移動軌跡に基づく所定の条件が満たされるか否かを判定する判定部と、
前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定し、
前記移動方向を所定の方向に一致させる行列を算出し、
前記行列に基づいて、前記変換パラメータを修正する修正部と、
を備える、情報処理装置として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、センサを用いて、センサの周囲の物体の位置を推定する技術が知られている。例えば、特許文献1には、複数のデバイスの位置等の状態を同定する装置が開示されている。このような技術を用いて推定された物体の位置情報は、車両またはロボット等の移動体の自動運転の制御等に活用され得る。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような技術では、センサの設置角度がずれる等、センサの設置条件の変化が発生すると、当該センサによるセンシング結果にずれが生じる可能性がある。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、センサの設置条件の変化を検出し、高精度にセンサのキャリブレーションを行うことが可能な、新規かつ改良された技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、センサにより得られる、第1の物体の形状を示す第1の点群データを取得する取得部と、変換パラメータに基づいて、取得された前記第1の点群データの座標を変換する処理を行う変換部と、座標変換後の前記第1の点群データに基づき第1の物体の位置を検出する検出部と、前記第1の物体の位置を追跡することにより前記第1の物体の移動軌跡を生成する物体追跡部と、前記移動軌跡に基づく所定の条件が満たされるか否かを判定する判定部と、前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定し、前記移動方向を所定の方向に一致させる行列を算出し、前記行列に基づいて、前記変換パラメータを修正する修正部と、を備える、情報処理装置が提供される。
【0007】
前記所定の方向は、センサ座標系における第1の座標軸方向であってもよい。
【0008】
前記所定の条件は、前記移動軌跡に含まれる前記第1の物体の位置のうち、互いに異なる二地点の、前記センサ座標系における前記第1の座標軸方向に直交する第2の座標軸方向の座標の差分が、閾値を上回るという条件であってもよい。
【0009】
前記二地点は、前記第1の物体の位置のうち、前記第1の座標軸方向の座標が最大となる地点と、前記第1の座標軸方向の座標が最小となる地点とを含んでもよい。
【0010】
前記変換パラメータは、前記第1の点群データの座標を回転させる回転行列を含んでもよい。
【0011】
前記情報処理装置は、前記第1の物体の位置のうち前記第1の座標軸方向に直交する第2の座標軸方向の座標が属する区間を判定する区間判定処理を行う通知部をさらに備えてもよい。
【0012】
前記通知部は、前記区間判定処理の結果に基づき、前記第1の物体の前記第2の座標軸方向の座標が属する前記区間を示す情報を他の装置に通知してもよい。
【0013】
前記修正部は、前記第2の点群データに含まれる各点のうち、検出された前記第2の物体に対応する点の分布に基づいて、当該分布の分散が最大である方向を、前記第2の物体の移動方向として推定してもよい。
【0014】
前記修正部は、前記第2の点群データに含まれる各点の座標の分布に基づく共分散行列、当該共分散行列の固有値、および固有ベクトルを算出し、前記固有値および前記固有ベクトルに基づいて、前記第2の物体の前記移動方向を前記所定の方向に一致させる前記行列を算出してもよい。
【0015】
前記情報処理装置は、前記第2の点群データに含まれる各点のうち、前記第2の物体に対応する点に基づく軌跡点群の表示を含む出力画面を生成する、画面生成部をさらに備えてもよい。
【0016】
前記画面生成部は、前記修正部による修正前の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群と、修正後の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群とを、対比して表示する出力画面を生成してもよい。
【0017】
前記画面生成部は、修正前の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群と、修正後の前記変換パラメータに基づいて前記第2の物体に対応する点が座標変換された後の前記軌跡点群とを、重畳して表示する出力画面を生成してもよい。
【0018】
前記物体追跡部は、前記センサにより得られた前記点群データにおいて、あるフレームにおいて検出された第1の物体の位置と、当該フレームの前フレームにおいて検出された第1の物体の位置との対応付けを行うことにより、前記第1の物体の前記移動軌跡を生成してもよい。
【0019】
前記第2の点群データは、前記第1の点群データに含まれるフレームと異なるフレームにおける点群データを含んでもよい。
【0020】
前記第2の点群データは、前記第1の点群データに含まれるフレームと同一のフレームにおける点群データを含んでもよい。
【0021】
前記取得部は、複数の前記センサにより得られた点群データを合成することにより、前記第1の点群データおよび前記第2の点群データを取得してもよい。
【0022】
前記第1の物体は、陸路、空路、または海路を移動する移動体を含んでもよい。
【0023】
前記移動体は、搭乗者が操作することにより移動する有人移動体、または、自律して移動可能な無人移動体の少なくともいずれかまたは両方を含んでもよい。
【0024】
また、上記課題を解決するために本発明の別の観点によれば、プロセッサが、センサにより得られる、第1の物体の形状を示す第1の点群データを取得することと、変換パラメータに基づいて、取得された前記第1の点群データの座標を変換する処理を行うことと、座標変換後の前記第1の点群データに基づき第1の物体の位置を検出することと、前記第1の物体の位置を追跡することにより前記第1の物体の移動軌跡を生成することと、前記移動軌跡に基づく所定の条件が満たされるか否かを判定することと、前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定することと、前記移動方向を所定の方向に一致させる行列を算出することと、前記行列に基づいて、前記変換パラメータを修正することと、を含む、コンピュータにより実行される情報処理方法が提供される。
【0025】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、センサにより得られる、第1の物体の形状を示す第1の点群データを取得する取得部と、変換パラメータに基づいて、取得された前記第1の点群データの座標を変換する処理を行う変換部と、座標変換後の前記第1の点群データに基づき第1の物体の位置を検出する検出部と、前記第1の物体の位置を追跡することにより前記第1の物体の移動軌跡を生成する物体追跡部と、前記移動軌跡に基づく所定の条件が満たされるか否かを判定する判定部と、前記移動軌跡が前記所定の条件を満たすと判定されたことに基づいて、前記センサによって得られた第2の点群データから第2の物体の移動方向を推定し、前記移動方向を所定の方向に一致させる行列を算出し、前記行列に基づいて、前記変換パラメータを修正する修正部と、を備える、情報処理装置として機能させるための、プログラムが提供される。
【発明の効果】
【0026】
以上説明したように本発明によれば、センサの設置条件の変化を検出し、高精度にセンサのキャリブレーションを行うことが可能な、新規かつ改良された技術が提供される。
【図面の簡単な説明】
【0027】
【
図1】本発明の一実施形態に係る情報処理システムの適用例を示す説明図である。
【
図2】実空間の道路と、センサ装置10の設置条件が変化する前の運用座標系における車両の位置および移動方向との、対応関係について説明するための図である。
【
図3】実空間の道路と、センサ装置10の設置条件が変化する前の運用座標系における車両の移動軌跡との、対応関係について説明するための図である。
【
図4】実空間の道路と、センサ装置10の設置条件が変化した後の運用座標系における車両の位置および移動方向との、対応関係について説明する図である。
【
図5】実空間の道路と、センサ装置10の設置条件が変化した後の運用座標系における車両の移動軌跡との、対応関係について説明するための図である。
【
図6】本実施形態に係る情報処理装置20の構成例を示すブロック図である。
【
図7】判定部236による、センサ装置10の設置条件が変化したか否かの判定を説明するための図である。
【
図8】抽出部237により抽出される車両40の軌跡点群の一例を示す説明図である。
【
図9】本実施形態に係る修正部238による、軌跡点群に基づく移動方向の推定について説明する図である。
【
図10】画面生成部239により生成される出力画面の一例を示す図である。
【
図11】画面生成部239により生成される出力画面の他の一例を示す図である。
【
図12】本実施形態に係る情報処理システムの動作例を説明するフローチャートである。
【
図13】本発明の一実施形態による情報処理装置20のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0028】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0029】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
【0030】
<1.概要>
本発明の実施形態は、物体の位置を推定するために用いられるセンサの設置条件の変化を自動的に検出し、より高精度にセンサのキャリブレーションを行うことが可能な技術に関するものである。
【0031】
図1は、本発明の一実施形態に係る情報処理システムの適用例を示す説明図である。
図1に示した例は、本発明の実施形態が、高速道路の路側に設置されたセンサにより取得される3次元点群データに基づいて、走行中の車両の位置等の情報を検出する例である。検出された走行中の車両の位置等の情報は、高速道路を走行する各車両に、交通支援情報として配信される。また、検出された走行中の車両の位置は、例えば自動運転車の制御等に活用され得る。
【0032】
なお、
図1に示した本情報処理システムの適用先はあくまで一例であり、本情報処理システムの好適な適用先は、高速道路に設置されたセンサに係る例に限定されない。
【0033】
<1-1.システム構成例>
図1に示すように、本発明の一実施形態に係る情報処理システムは、センサ装置10および情報処理装置20を備える。センサ装置10および情報処理装置20は、ネットワークを介して互いに通信可能に接続される。
【0034】
(センサ装置10)
本実施形態に係るセンサ装置10は、高速道路R1の路側に設置され、高速道路R1を走行する車両40A~40Dそれぞれの形状を示す点群データを取得する機能を有する。以下の説明では、車両40A~40Dを区別せずに単に「車両40」と表記する場合がある。センサ装置10は、例えば、レーザー光を射出し、当該レーザー光の反射光に基づき、周囲の物体までの距離を計測することにより、当該物体の3次元形状を表す点群データを出力するLiDAR(Light Detection and Ranging)センサにより実現される。LiDARセンサは、「レーザーセンサ」とも換言され得る。なお、センサ装置10としては、LiDARセンサ以外の各種のセンサ(例えば、測距センサなど)が用いられてもよい。例えば、センサ装置10は、レーザー光の代わりに電磁波を用いるレーダー(例えば、ミリ波レーダーなど)であってもよい。あるいは、センサ装置10は、レーザー光の代わりに音波を用いるソナーであってもよい。
【0035】
図1に示した例では、本情報処理システムが、センサ装置10Aおよびセンサ装置10Bの2台のセンサ装置を備えている。センサ装置10Aは、検出範囲S1に含まれる物体の点群データを、情報処理装置20へ送信する。同様に、センサ装置10Bは、検出範囲S2に含まれる物体の点群データを、情報処理装置20へ送信する。
【0036】
なお、本情報処理システムが備えるセンサ装置10の数は特に限定されない。本情報処理システムが備えるセンサ装置10は1台であってもよい。または、本情報処理システムは、3台以上のセンサ装置10を備えていてもよい。
【0037】
(情報処理装置20)
情報処理装置20は、センサ装置10から点群データを受信し、当該点群データに基づき、高速道路を走行する車両40の位置を検出する機能を有する。
【0038】
また、情報処理装置20は、センサ装置10から取得した点群データに基づき、センサ装置10の設置条件の変化を自動的に検出する機能を有する。
【0039】
本明細書において、センサ装置10の設置条件の変化には、例えば、センサ装置10が物理的に傾き生じた、センサ装置10の設置角度のずれが含まれ得る。また、センサ装置10の設置条件の変化には、地震による道路の歪み等、センサ装置10が設置されている周辺環境の変化により、センサ装置10の検出範囲に含まれる道路が変化することも含まれ得る。
【0040】
センサ装置10の設置条件が変化すると、センサ装置10の検出範囲Sも変化してしまう可能性がある。このようにセンサ装置10の検出範囲Sが変化してしまうことによって、センサ装置10によって取得される点群データに基づいて検出される物体の位置にずれが生じてしまう可能性が有る。
【0041】
そこで、本実施形態に係る情報処理装置20は、センサ装置10の設置条件の変化を検出すると、センサ装置10により得られる点群データに基づき、センサ装置10のキャリブレーションを行う。これにより、情報処理装置20は、センサ装置10の設置条件が変化した場合でも、センサ装置10から得られる点群データに基づく車両40の位置検出の精度を維持することが出来る。
【0042】
また、情報処理装置20は、点群データに基づき検出した車両40の位置に関する各種情報を、通信装置30に送信する。
【0043】
図1に示した通信装置30は、高速道路R1に設置され、高速道路R1を走行する車両40に各種の交通支援情報を配信する機能を有する。車両40の各々は、通信装置30から受信した交通支援情報により、例えば道路の混雑状況、事故発生状況、または、自動運転に用いられる運転支援情報等を取得することが出来る。
【0044】
図1に示した例では、車両41が自動運転車であるとする。車両41は、連結路から、高速道路R1の本線に合流しようとしている。このような場面で、車両41が安全に本線に合流するためには、本線を走行中の車両40A~車両40Dの位置に関する情報が必要になる。例えば、位置に関する情報には、車両の位置および当該位置の検出時刻、車両と車両の前を走行する先行車両との車間時間または車間距離、車両の推定速度、車両40がいずれの車線を走行しているか、等の情報が含まれ得る。そこで、情報処理装置20は、センサ装置10Aおよびセンサ装置10Bにより得られる点群データから車両40A~車両40Dの位置に関する情報を推定し、当該情報を、通信装置30を介して各車両に配信する。車両41は、連結路の路側に設置された通信装置30Aおよび通信装置30Bから受信した情報に基づいて、本線への合流時の動作を制御することが出来る。
【0045】
なお、上記で挙げた車両40の位置に関する情報は、一例であり、情報処理装置20は、その他の様々な情報を交通支援情報として通信装置30へ送信してもよい。
【0046】
また、
図1に示した表示装置50は、情報処理装置20から受信した各種情報を画面出力することが可能な表示装置である。
【0047】
例えば、情報処理装置20は、センサ装置10から取得した点群データに基づき推定した車両40の位置に関する情報、または、車両40の移動軌跡等の情報を、表示装置50に表示させる制御を行ってもよい。情報処理装置20の操作者は、表示装置50に表示された各種情報に応じて、情報処理装置20によるキャリブレーション結果等を確認することが出来る。
【0048】
なお、
図1に示した例では、情報処理装置20と表示装置50が別の装置として実現されているが、表示装置50は、情報処理装置20の構成部の一つとして、情報処理装置20と一体的に構成されていてもよい。
【0049】
<1-2.課題の整理>
近年、自動運転車の実現により、交通事故の削減、または人材不足の解消などの社会課題の解決が期待されている。自動運転車の運用を実現する基盤技術として、例えば日本では、自動運転車と交通システム等のインフラが協調して自動運転車の交通支援を行う、インフラ協調型ITS(Intelligent Transport Systems:高速道路交通システム)の実用化が進んでいる。
【0050】
インフラ協調型ITSの一例として、高速道路において、自動運転車の連結路からの本線合流を支援する技術が挙げられる。見通しの悪い連結路においては、自動運転車は本線側の交通情報を把握しにくい。このため、自動運転車が、合流部において交通の流れを乱す危険性がある。そこで、上記で
図1を参照して説明したように、高速道路の路側にセンサ装置10のようなセンサを設置して本線の交通情報を面的に抽出し、路側に設置された通信装置30(日本では、ITSスポットとも称される)等を介して、各車両40へ交通支援情報を配信する、合流支援が行われている。これにより、高速道路での自動運転車の安全でスムーズな合流を実現することが出来る。
【0051】
ここで、情報処理装置20がセンサ装置10により得られた点群データから高精度に車両40の位置に関する情報を推定するために、当該点群データの各点の座標を、センサ装置10の基準となるセンサ座標系(以下、「基準座標系」とも言う。)の座標から、解析に適したセンサ座標系(以下、「運用座標系」とも言う。)の座標に変換するための変換パラメータを算出する処理(キャリブレーション)が行われる。なお、以下の説明においては、センサ座標系が、X軸、Y軸およびZ軸の3軸を座標軸とする3次元直交座標系である場合を想定する。
【0052】
図2は、実空間の道路と、センサ装置10の設置条件が変化する前の運用座標系における車両の位置および移動方向との、対応関係について説明するための図である。
図2の左側の空間SP1は、センサ装置10の検出範囲Sに含まれる実空間の様子を示す。
図2に示した例では、空間SP1には、道路Rの車線L1を走行している車両40が含まれる。
【0053】
高速道路等の直線道路では、車両40は、原則として区画線LMに沿った進路を走行する。またこの場合、車両40の移動方向は、概ね区画線LMに沿った直線方向になることが推定される。そのため、変換パラメータの初期設定においては、センサ装置10の運用座標系におけるY軸が区画線LMに沿うような変換パラメータが設定される。そして、センサ装置10の設置条件が変化するまでは、このようなセンサ装置10の運用座標系において車両の位置に関する情報の推定が継続する。
【0054】
図2の右側に示した運用座標系SC1は、センサ装置10の設置条件が変化する前におけるセンサ装置10の運用座標系であり、運用座標系SC1には、空間SP1からセンサ装置10によって検出され、初期設定された変換パラメータを用いて変換された車両40の位置および移動方向が示されている。
【0055】
図2に示したように、変換パラメータの初期設定がなされた後、センサ装置10の設置条件が変化する前においては、センサ装置10の運用座標系SC1のY軸は、区画線LMに沿った方向となり、車両40の移動方向と概ね平行となる。なお、
図2では、運用座標系SC1のZ軸は省略し、X軸とY軸のみ図示している。以下、
図3~
図5も同様である。
【0056】
また、
図3は、実空間の道路と、センサ装置10の設置条件が変化する前の運用座標系における車両の移動軌跡との、対応関係について説明するための図である。
図3に示した移動軌跡TR1は、センサ装置10の設置条件が変化する前の運用座標系における車両40の位置の推移を示す。
図3に示した例では、車両40は、破線矢印D1が示す方向に移動している。
【0057】
センサ装置10の設置条件が変化する前の運用座標系SC1のように、運用座標系の座標軸(例えばY軸)と、車両40の移動方向とが概ね平行となっている場合、情報処理装置20は、車両40の移動距離を運用座標系における車両40の位置のうちのY座標の値から推定することが可能となる。また、情報処理装置20は、車両40が走行中の車線Lを、運用座標系における車両40の位置のうちのX座標の値から推定することが出来る。
【0058】
このように、センサ装置10の運用座標系において座標軸と区画線の方向とが平行になるように、点群データの座標を変換することが出来れば、情報処理装置20による車両40の位置に関する情報の検出処理に好都合である。
【0059】
変換パラメータは、例えば、点群データを回転させる回転行列であってもよい。
【0060】
しかし、センサ装置10の設置当初に上記の高精度な行列を求めていたとしても、合流支援システムを運用するうちに、徐々にセンサ装置10の設置角のずれが生じ得る。例えば、センサ装置10の設置固定具が次第に緩まる可能性が有る。または、地震の発生によりセンサを設置した地盤が傾く場合も考えられる。また、高速道路の路側では、センサ装置10のそばを通る大型トラックの振動などによって設置角の微細なずれが長期的に蓄積する可能性も考えられる。
【0061】
センサ装置10の設置条件が当初の設置条件から変化すると、当初の変換パラメータに基づき座標変換しても、座標変換処理後の座標軸方向が、区画線と平行な方向からずれていく可能性が有る。
【0062】
図4は、実空間の道路と、センサ装置10の設置条件が変化した後の運用座標系における車両の位置および移動方向との、対応関係について説明する図である。
図4に示したように、センサ装置10の設置条件が変化した後においては、センサ装置10の運用座標系SC2のY軸は、車両40の移動方向と平行になっていない。
【0063】
また、
図5は、実空間の道路と、センサ装置10の設置条件が変化した後の運用座標系における車両の移動軌跡との、対応関係について説明するための図である。
図5に示した移動軌跡TR2は、センサ装置10の設置条件が変化した後の運用座標系における車両40の位置の推移を示す。実際には車両40が車線L1上を走行しているにも関わらず、
図5に示したように、移動軌跡TR2では、車両40の移動方向が、破線矢印D2に示すように、車線L1から車線L2をまたぐ方向に延びている。
【0064】
このように、センサ装置10の設置条件が変化すると、実際の高速道路上に車両40が存在する位置と、点群データの座標軸上での車両位置との間に、乖離が生じてしまう。この結果、情報処理装置20は、例えば車両40がどの車線にいるかを示すレーン情報を誤って算出してしまい得る。誤った交通支援情報が通信装置30を介して配信されると、自動運転車が本線への合流を安全に行えない危険性がある。
【0065】
また、
図5に示したように、最小距離点OP_Min2のX座標の位置は、車線L1に属している一方で、車両40が破線矢印D2の方向に進むほど、各点のX座標の位置が車線L1上から離れていっている。このように、センサ装置10での検知距離が長距離になるほど、センサ装置10の設置角の僅かなずれから大きな位置検出結果の誤差が生じ得る。このため、センサ装置10により得られる点群データを回転させる座標変換処理に用いられる変換パラメータには高い精度が求められる。
【0066】
以上のように、センサ装置10の設置条件が変化した場合、センサ装置10の運用座標系において座標軸方向が区画線の方向と平行になるような変換パラメータを、なるべく迅速に、かつ、高精度に算出できることが望まれる。
【0067】
センサ装置10の設置条件が変化した場合に、高精度に変換パラメータを再算出する方法として、例えばセンチメートル級の高精度な位置測位方式である、RTK-GNSS(Real Time Kinematic-Global Navigation Satellite System)を利用する方法が考えられる。例えば、位置測位用の試験車両にRTKの移動局を搭載して高速道路を走行することで、高精度な軌跡点群が取得できる。同時に、当該試験車両の位置をセンサ装置10により得られる点群データからも検出する。RTK-GNSSにより得られた軌跡点群を真値として、センサ装置10により得られた点群データの検出結果と比較することにより、センサ装置10の設置条件の変化によるずれを高精度に修正可能である。
【0068】
しかし、この方法では、センサ装置10の設置条件が変化するたびに、移動局を試験車両に搭載し、当該試験車両を走行させる必要があり、変換パラメータの再算出までに多くの時間と手間を要する。
【0069】
そこで、本発明の実施形態は、上記事情を一着眼点として発想されたものであり、自動的にセンサ装置10の設置条件の変化を検知し、変化後の設置条件に応じて、高精度な変換パラメータの再算出を迅速に行うことが可能な技術を提供するものである。
【0070】
より具体的には、本実施形態に係る情報処理装置20は、センサ装置10により取得された点群データから抽出した車両40の移動軌跡に基づく所定の条件が満たされるか否かを判定する。所定の条件は、移動軌跡に含まれる第1の車両の位置のうち、互いに異なる二地点の、センサ装置10の運用座標系における第1の座標軸(例えば、Y軸)の方向に直交する第2の座標軸(例えば、X軸)の方向の座標の差分が、閾値を上回るという条件であってもよい。
【0071】
また、上記二地点は、第1の車両の位置のうち、第1の座標軸(例えば、Y軸)の方向の座標が最大となる地点と、第1の座標軸(例えば、Y軸)の方向の座標が最小となる地点とを含んでいてもよい。
【0072】
上述の様な処理が行われることにより、情報処理装置20は、センサ装置10の設置条件の変化を自動的に検出することが出来る。
【0073】
また、本実施形態に係る情報処理装置20は、移動軌跡が所定の条件を満たすと判定されたことに基づいて、センサ装置10によって得られた第2の点群データからセンサ装置10の基準座標系における第2の車両の移動方向を推定する。なお、第2の車両は、第1の車両と同一の車両であってもよいし、異なる車両であってもよい。
【0074】
さらに、本実施形態に係る情報処理装置20は、推定した上記移動方向を所定の方向に一致させる行列を算出する。上記所定の方向は、センサ装置10の基準座標系における第1の座標軸(例えば、Y軸)の方向であってもよい。
【0075】
上述の様な処理が行われることにより、情報処理装置20は、センサ装置10の設置条件の変化を検出した場合、センサ装置10により取得される点群データに基づいて、キャリブレーションを行うことが出来る。従って、センサ装置10の設置条件が変化しても、迅速かつ手間を低減しながら、座標変換後の点群データのずれを修正することが出来る。
【0076】
また、本実施形態に係る情報処理装置20は、第2の点群データに含まれる各点のうち、検出された第2の車両に対応する点の分布に基づいて、当該分布の分散が最大である方向を、前記第2の車両の移動方向として推定してもよい。
【0077】
さらに、本実施形態に係る情報処理装置20は、第2の点群データに含まれる各点の座標の分布に基づく共分散行列、当該共分散行列の固有値、および固有ベクトルを算出してもよい。情報処理装置20は、算出した固有値および固有ベクトルに基づいて、第2の車両の移動方向を所定の方向に一致させる行列を算出してもよい。
【0078】
上記の様な処理が行われることにより、情報処理装置20は、第2の車両の移動方向を、センサ装置10の運用座標系における第1の座標軸(例えば、Y軸)の方向に一致させる行列を、より精度高く算出することが出来る。従って、情報処理装置20は、より精度高くキャリブレーションを行うことが出来る。
【0079】
以下、上記を実現する本情報処理システムを構成する、センサ装置10および情報処理装置20の機能構成例について詳細に説明する。
【0080】
<2.構成例>
<2-1.センサ装置10>
【0081】
センサ装置10は、センサ装置10の周辺の物体の形状を表す3次元点群を取得する機能を有する。センサ装置10は、例えばLiDARセンサにより実現される。本実施形態に係るセンサ装置10は、高速道路の路側に設置され、高速道路を走行する車両40の形状を取得する。
【0082】
本実施形態に係るセンサ装置10は、レーザー光を射出し、射出光が物体において反射した光に基づき、当該物体までの距離および位置を計測する機能を有する。
【0083】
また、本実施形態に係るセンサ装置10は、計測した物体の表面上の測距点までの距離および位置に基づき、当該物体の形状を表す点群データを生成する。例えば、センサ装置10は、高速道路R1を走行する車両40を表す点群データを生成する。
【0084】
また、本実施形態に係るセンサ装置10は、他の装置と通信を行う通信機能を有する。例えば、センサ装置10は、生成した点群データを情報処理装置20へ送信する。
【0085】
以上、センサ装置10の構成例について説明した。
【0086】
<2-2.情報処理装置20>
図6は、本実施形態に係る情報処理装置20の構成例を示すブロック図である。
図6に示すように、本実施形態に係る情報処理装置20は、通信部210、制御部230、変換パラメータ記憶部240、物体情報記憶部250、および軌跡点群データ記憶部260を有する。
【0087】
(通信部210)
本実施形態に係る通信部210は、他の装置と通信を行う機能を有する。例えば、通信部210は、センサ装置10から、センサ装置10により取得された点群データを受信する。
【0088】
また、通信部210は、制御部230の制御に従い、センサ装置10から取得した点群データに基づき解析された、車両40の位置に関する各種情報を、通信装置30へ送信する。例えば、通信部210は、制御部230により検出された車両40が属する車線(区間)を示す情報であるレーン情報を通信装置30へ送信してもよい。
【0089】
また、通信部210は、制御部230の制御に従い、後述する画面生成部239により生成された出力画面のデータを表示装置50へ送信してもよい。
【0090】
(制御部230)
制御部230は、情報処理装置20の動作全般を制御する。例えば、制御部230は、通信部210と他の装置との通信を制御する。
【0091】
このような制御部230は、取得部231、変換部232、検出部233、物体追跡部234、通知部235、判定部236、抽出部237、修正部238および画面生成部239としての機能を有する。
【0092】
取得部231は、通信部210がセンサ装置10から受信した点群データを取得する。また、取得部231は、通信部210が複数のセンサ装置10から点群データを受信した場合、当該点群データを合成する処理を行ってもよい。
【0093】
例えば、
図1に示したセンサ装置10Aおよびセンサ装置10Bのように、複数のセンサ装置10の検出範囲Sが隣接している場合がある。この場合、検出部233は、センサ装置10Aにより得られる検出範囲S1の点群データと、センサ装置10Bにより得られる検出範囲S2の点群データが連結するように合成を行ってもよい。これにより、複数のセンサ装置10を用いて、より広い範囲の点群データを取得することが出来る。
【0094】
変換部232は、取得部231が取得した点群データの座標を変換する処理を行う。変換部232は、変換パラメータ記憶部240に記憶されている変換パラメータを用いて、当該処理を行う。
【0095】
変換パラメータは、例えば、センサ装置10により得られた点群データの座標を回転させる回転行列であってもよい。
【0096】
変換パラメータは、当該変換パラメータに基づいてセンサ装置10の基準座標系が変換された後の運用座標系において、車両40の進路方向(例えば、区画線LMに沿った方向)が、第1の座標軸方向に沿うように初期設定される。以下、第1の座標軸方向がY軸方向である例を説明する。
【0097】
変換部232は、当該変換パラメータを用いて、センサ装置10により取得された点群データの座標を変換する。これにより、点群データの座標が基準座標系における座標から運用座標系における座標に変換される。
【0098】
検出部233は、変換部232による座標変換後の点群データに基づき、当該点群データに含まれる物体の位置を検出する機能を有する。例えば、検出部233は、センサ装置10により得られた点群データから、車両40の位置を検出する。
【0099】
検出部233は、座標変換後の点群データから、既知の物体検出方法を用いて車両40を検出してもよい。例えば、検出部233は、背景差分技術、または、クラスタリング技術を用いて、座標変換後の点群データから車両40を検出してもよい。
【0100】
検出部233は、座標変換後の点群データの各フレームにおいて検出された物体の情報を、物体情報記憶部250へ記憶させる。
【0101】
物体追跡部234は、検出部233により検出された物体の位置を追跡することにより、当該物体の移動軌跡を生成する機能を有する。
【0102】
より詳細には、物体追跡部234は、座標変換後の点群データにおいて、あるフレームにおいて検出された物体の位置と、当該フレームの前フレームにおいて検出された物体の位置との対応付けを行うことにより、当該物体の移動軌跡を車両40の移動軌跡として生成する。
【0103】
例えば、座標変換後の点群データのあるフレームF_kで検出された物体Oの位置を(X_O,Y_O,Z_O)とする。ここでの物体Oの位置は、検出された物体Oに対応する点群の重心位置、または、物体Oの移動速度等から求めた推定値等の代表値であってもよい。物体追跡部234は、過去フレームF_(k-1)で検出された物体群のうち、フレームF_kで検出された物体Oと最も距離が近い物体を、フレームF_KとフレームF_(k-1)のフレーム間での同一物体と識別し追跡する。ここでの距離は3次元でのユークリッド距離とする。
【0104】
物体追跡部234は、物体情報記憶部250に記憶された各フレームにおける検出物体の情報を用いて、上記のような車両40の移動軌跡を生成する処理を行う。
【0105】
通知部235は、座標変換後の点群データに基づき、検出された車両40の位置に関する情報を生成する機能を有する。生成された車両40に関する各種の情報は、通信部210から通信装置30へ送信され、高速道路を走行する各車両40の交通支援情報として活用される。
【0106】
例えば通知部235は、検出された車両40が、高速道路のどの車線を走っているかを示すレーン情報を生成してもよい。
【0107】
このために、通知部235は、座標変換後の点群データにおいて、検出された車両40の位置のうち、Y軸方向に直交するX軸方向(第2の座標軸方向)の座標が属する区間を判定する区間判定処理を行ってもよい。
【0108】
上記で
図3を参照して説明したように、センサ装置10の設置条件が変化する前において、センサ装置10の運用座標系では、Y軸方向と、高速道路の区画線とが平行になるように座標変換が行われているはずである。従って、車線ごとにX座標の区間が割り当てられている場合、通知部235は、Y軸方向と直交するX軸方向の車両40の位置の座標が属している区間に基づいて、車両40のレーン情報を生成することが出来る。
【0109】
通知部235により生成されたレーン情報は、通信装置30を介して高速道路を走行する各車両40に配信され、車両40のうち自動運転車の運転制御に用いられてもよい。
【0110】
また、通知部235は、車両40に関する情報の他の例として、レーン情報の他に、各車線に車両40が何台いるかを示す情報、各車両40の車間時間または車間距離の情報、および、各車両40が高速道路上の所定の位置に到達する予測時間の情報等を生成してもよい。これらの情報は、高速道路への連結路から本線へ合流する際の自動運転車の合流支援に活用され得る。
【0111】
判定部236は、座標変換後の点群データに基づき、当該点群データを取得したセンサ装置10の設置条件の変化を自動的に判定する機能を有する。
【0112】
より詳細には、判定部236は、物体追跡部234により生成された移動軌跡に基づく所定の条件が満たされるか否かを判定することにより、センサ装置10の設置条件が変化したか否かを判定する。
【0113】
所定の条件は、移動軌跡に含まれる、検出された車両40の位置のうち、互いに異なる二地点の、センサ装置10の運用座標系におけるY軸方向(第1の座標軸方向)に直交するX軸方向(第2の座標軸方向)の座標の差分が、閾値を上回るという条件であってもよい。
【0114】
図7は、判定部236による、センサ装置10の設置条件が変化したか否かの判定を説明するための図である。
図7に示した移動軌跡TRは、物体追跡部234により座標変換後の点群データに基づき生成された移動軌跡の一例を示す。
【0115】
図7に示した例では、センサの設置角度がずれる前であれば、座標変換後の点群データから生成された車両40の移動軌跡が車線L1上を走行し続けるはずのところ、センサ装置10の設置角度が当初の設置角度からずれてしまったために、座標変換後の点群データから生成された車両40の移動軌跡が車線L1から車線L2に移ってしまっている一例を示している。
【0116】
図7に示した移動軌跡TRに含まれる各点は、検出された車両40の位置を示す。なお、
図7では、
図2~
図5と同様に、センサ装置10の運用座標系のうち、X軸およびY軸のみを図示しており、Z軸を図示していない状態である。
【0117】
図7に示した例では、センサ装置10の設置角度のズレにより、運用座標系において、Y軸方向と、区画線の方向が平行になっていない状態であるとする。この場合、車両40が実際には車線L1を走行していたとしても、移動軌跡TR上では、車両40の位置が、車線L1から車線L2に変化している。また、車両40がより遠くへ移動するほど、移動軌跡TRに含まれる車両40の位置のX座標の値は、車線L1上の位置から乖離している。
【0118】
このことを利用して、判定部236は、移動軌跡TRに含まれる車両40の位置のうち、互いに異なる二地点を選択し、選択された二地点間のX座標の差分を閾値と比較することで、センサ装置10の設置条件の変化を検出することが出来る。
【0119】
例えば、判定部236は、互いに異なる二地点として、移動軌跡TRに含まれる車両40の位置のうち、Y軸方向の座標が最大となる地点である最大距離点OP_Maxと、Y軸方向の座標が最小となる地点である最小距離点OP_Minを選択してもよい。
【0120】
最小距離点OP_MinのX座標及びY座標を(x_min,y_min)とする。また、最大距離点OP_MaxのX座標及びY座標を(x_max,y_max)とする。通知部235は、x_minとx_maxの差分の絶対値Dif_xを算出する。通知部235は、Dif_xが閾値Th_xを上回る場合に、センサ装置10の設置条件が変化したと判定してもよい。
【0121】
判定部236がこのような判定を行うことにより、情報処理装置20は、自動的にセンサ装置10の設置条件の変化を検出することが出来る。
【0122】
抽出部237、および修正部238は、判定部236により上記所定の条件が満たされたことが判定されると、変換部232の座標変換処理に用いられる変換パラメータを修正することにより、キャリブレーションを行う。
【0123】
より具体的には、判定部236により移動軌跡TRに含まれる異なる二地点間のX座標の差分が閾値を上回っていると判定されると、抽出部237は、センサ装置10により得られた点群データに含まれる各点のうち、物体追跡部234により検出された同一の車両40に対応する点を示す軌跡点群を抽出する機能を有する。
【0124】
図8は、抽出部237により抽出される車両40の軌跡点群の一例を示す説明図である。抽出部237は、検出部233によるセンサ装置10の運用座標系における物体の検出結果に基づいて、検出物体数が1である時間帯を特定し、特定した時間帯の点群をセンサ装置10の基準座標系における点群(すなわち、センサ装置10から取得した点群データ)から取得し、当該時間帯の点群から(例えば、背景差分技術、または、クラスタリング技術などを用いて)車両40に対応する点群を抽出し、車両40に対応する点群を重畳することにより、センサ装置10の基準座標系における軌跡点群PC1を生成してもよい。
【0125】
なお、上記では、物体追跡部234が、移動軌跡の生成時に、車両40の重心位置、または、車両40の移動速度から推定された推定位置等の各点を、車両40の位置として用いることを説明した。一方、抽出部237は、物体追跡部234による移動軌跡の生成時とは異なり、センサ装置10から取得された点群データ上で、車両40に対応する点群すべてを軌跡点群として抽出する。
【0126】
ただし、抽出部237が軌跡点群の抽出に用いる点群データは、センサ装置10の設置条件が変化したか否かを判定するための移動軌跡の生成に用いられた点群データのフレームと、異なるフレームにおける点群データを含んでもよいし、同一のフレームにおける点群データを含んでいてもよい。センサ装置10の設置条件が変化したか否かを判定するための移動軌跡の生成に用いられた点群データは、第1の点群データの一例である。抽出部237が軌跡点群の抽出に用いる点群データは、第2の点群データの一例である。
【0127】
また、
図8に示したように、抽出部237は、
図1に示したセンサ装置10Aにより取得された点群データから抽出された軌跡点群PC_S1と、センサ装置10Bにより取得された点群データから抽出された軌跡点群PC_S2を合成して軌跡点群PC1を生成してもよい。
【0128】
修正部238は、抽出部237により生成された軌跡点群から、当該軌跡点群に対応する車両40の移動方向を推定する機能を有する。修正部238は、推定した車両40の移動方向がセンサ装置10の基準座標系における所定の方向に一致するような変換を示す行列を算出する。所定の方向は、センサ装置10の基準座標系における第1の座標軸方向(例えば、Y軸方向)であってもよい。
【0129】
また、修正部238は、算出した行列に基づいて、変換パラメータを修正する。
【0130】
図8に示すように、抽出部237により生成された軌跡点群の各点は、検出された車両40の移動方向に沿って分布している。このことから、修正部238は、軌跡点群に含まれる各点の分布に基づいて、当該分布の分散が最大である方向から、車両40の物体の移動方向を推定することが出来る。
【0131】
そこで、本実施形態に係る修正部238は、軌跡点群の分布に対して主成分分析の手法を用いることにより、軌跡点群上での車両40の移動方向のベクトルを推定する。また、修正部238は、推定した車両40の移動方向が、Y座標軸方向となるように、軌跡点群を回転させる行列を算出する。
【0132】
より詳細に、修正部238は、次のような計算を行うことにより、軌跡点群に基づいて車両40の移動方向のベクトルを推定してもよい。
【0133】
図9は、本実施形態に係る修正部238による、軌跡点群に基づく移動方向の推定について説明する図である。
図9に示された座標系は、センサ装置10の基準座標系であり、
図9に示された、X軸、Y軸およびZ軸は、センサ装置10の基準座標系における座標軸である。
【0134】
図9に示したPC_trajは、抽出部237により生成された軌跡点群の一例を示す。また、PC_trajに含まれる点の総数をiとする。PC_trajに含まれる各点の座標を表すベクトルを、ベクトルPn=(x
n,y
n,z
n)
Tとする(1≦n≦i)。
【0135】
PC_trajに含まれる各点のデータ成分を用いて、以下の数式(1)のように、行列Aを定義する。
【0136】
【0137】
ここで、行列Aと、転置行列ATとの積により、PC_trajに含まれる各点の座標のX成分、Y成分、およびZ成分の3変量の共分散行列Σを、次の式で表すことが出来る。
【0138】
【0139】
センサ装置10の基準座標系と異なる3次元座標系Vがあるとする。Vの正規直交基底ベクトルをun(n=1~3)とする。
【0140】
PC_trajに含まれる各点Piを、unの方向に射影すると、PC_trajの各点をun方向のベクトル上の1次元データに変換することが出来る。Piをunの方向に射影した値は、Piとunの内積により算出することが出来るので、PC_trajの各点をun方向に射影した値の分散varを、次の式により表すことが出来る。
【0141】
【0142】
さらに、上記の数式(3)を展開して整理すると、上記分散varは、上記で説明した数式(2)を用いて、次の数式(4)のように表すことが出来る。
【0143】
【0144】
ここで、数式(4)で表される分散varを最大化するようなunを考える。unは正規直交基底ベクトルであるため、ノルムが1であるという制約条件がある。ラグランジュの未定乗数法を用いて分散varを最大化するようなunを求めると、unは、共分散行列Σの固有値に対応する固有ベクトルとなる。
【0145】
修正部238は、数式(2)で表される、PC_trajの共分散行列Σの固有値および固有ベクトルを算出する。共分散行列Σは、PC_trajの各点のX、Y、およびZ座標を変数とする3変量の共分散行列であるため、共分散行列Σの固有値および固有ベクトルは3つ算出される。
【0146】
固有値が大きい順に固有ベクトルu1、u2、u3とする。PC_trajに含まれる各点の分布が最大となる方向は、PC_trajにより軌跡が表される車両40の移動方向である。従って、修正部238は、最大の固有値に対応する固有ベクトルu1の方向を車両40の移動方向として推定することが出来る。さらに、PC_trajに含まれる各点の分布が2番目に大きくなる方向は、車線の幅方向であってよい。従って、修正部238は、2番目に大きい固有値に対応する固有ベクトルu2の方向を車線の幅方向として推定することが出来る。
【0147】
従って、u1を基準座標系のY座標軸上の単位ベクトル(0,1,0)に、u2を基準座標系のX座標軸上の単位ベクトル(1,0,0)に、u3を基準座標系のZ座標軸上の単位ベクトル(0,0,1)に変換するための回転行列vを算出し、算出した回転行列vによって変換パラメータを更新することが求められる。
【0148】
回転行列vを求めるために、基準座標系のY座標軸上の単位ベクトル(0,1,0)をu1に、基準座標系のX座標軸上の単位ベクトル(1,0,0)をu2に、基準座標系のZ座標軸上の単位ベクトル(0,0,1)をu3に変換するための行列をuとすると、u=(u2、u1、u3)と表される。従って、求めたい回転行列vは、次のように行列uの逆行列によって表すことが出来る。
【0149】
【0150】
従って、修正部238は、行列uに基づいて上記の数式(5)で表した回転行列vを算出し、当該回転行列vを用いて、変換パラメータを修正してもよい。なお、回転行列vを用いた変換パラメータの修正は、変換パラメータ記憶部240に記憶されている変換パラメータを回転行列vに更新することを意味し得る。これにより、変換部232による座標変換に用いられる変換パラメータが回転行列vに変更され得る。
【0151】
修正部238が、上述したような数式(1)~(5)を用いた計算を行うことにより、情報処理装置20は、センサ装置10により得られる点群データに基づいて、キャリブレーションを行うことが出来る。
【0152】
また、修正部238は、センサ装置10により得られた点群データに含まれる、車両40に対応する各点が、重心位置等で集約された情報である移動軌跡に対して主成分分析を行うのではなく、車両40に対応する各点の全てに基づいて生成された軌跡点群に対して主成分分析を行う。そして、修正部238は、主成分分析を行った結果に基づき、変換パラメータを修正する。
【0153】
これにより、修正部238は、点群データ上で検出された車両40の移動方向がセンサ座標系の第1の座標軸方向に平行になるような行列を、より高精度に算出することが出来る。従って、情報処理装置20は、より高精度にキャリブレーションを行うことが出来る。
【0154】
画面生成部239は、表示装置50に表示させる各種情報の出力画面を生成する機能を有する。例えば、画面生成部239は、判定部236により所定の条件が満たされていると判定された場合、センサ装置10の設置条件の変化が発生していることが検出された旨の通知画面を生成してもよい。画面生成部239は、当該画面を、表示装置50に表示させてもよい。
【0155】
また、画面生成部239は、抽出部237により抽出された軌跡点群の表示を含む出力画面を生成してもよい。
【0156】
図10は、画面生成部239により生成される出力画面の一例を示す図である。
図10に示した画面例G1のように、画面生成部239は、修正部238による修正前の変換パラメータに基づいて軌跡点群PC1(
図8)が変換された後の軌跡点群である修正前軌跡点群BPC1と、修正部238による修正後の変換パラメータに基づいて軌跡点群PC1(
図8)が変換された後の軌跡点群である修正後軌跡点群RPC1とを、対比して表示する出力画面を生成してもよい。
【0157】
図10に示した例では、画面例G1は、修正前軌跡点群BPC1、および、修正後軌跡点群RPC1を含む。情報処理装置20の操作者は、このような画面例G1により、修正部238による修正が行われた後の変換パラメータを用いて変換された後の軌跡点群が、適切な座標変換結果になっているかを確認することが出来る。
【0158】
また、
図10に示した例では、画面例G1は、情報処理装置20の操作者に、変換パラメータの修正を確定してよいか確認する旨の文言M1を含む。さらに、画面例G1は、確認ボタンB1、および、取消ボタンB2を含む。
【0159】
情報処理装置20の操作者は、確認ボタンB1を押下する操作を図示しない入力装置(例えば、タッチパネルなど)に対して行うことにより、修正部238により修正が行われた後の変換パラメータを確定することが出来る。すなわち、修正部238は、確認ボタンB1の押下操作が検出された場合に、軌跡点群PC1(
図8)から修正後軌跡点群RPC1への座標変換に用いた行列を用いて、変換パラメータ記憶部240に記憶されている変換パラメータを修正してもよい。
【0160】
これにより、情報処理装置20の操作者は、修正部238による変換パラメータの修正により、点群データが適切に修正されているかを視覚的に判断することが出来る。さらに、情報処理装置20の操作者は、画面上で修正内容を確認してから、修正部238に、変換パラメータ記憶部240に保持されている変換パラメータを修正させることが出来る。
【0161】
また、取消ボタンB2の押下操作が検出された場合には、修正部238は、軌跡点群PC1(
図8)から修正後軌跡点群RPC1への座標変換に用いた行列により変換パラメータを修正する処理を取りやめてもよい。さらに、修正部238は、センサ装置10から取得部231が取得した点群データに基づいて、再度、行列の算出処理を行ってもよい。
【0162】
これにより、情報処理装置20の操作者は、画面例G1を確認して修正内容が適切ではないと判断した場合には、修正部238に、変換パラメータの再算出および修正をやり直させることが出来る。
【0163】
図11は、画面生成部239により生成される出力画面の他の一例を示す図である。
図11に示した画面例G2のように、画面生成部239は、修正前の変換パラメータに基づいて軌跡点群PC1(
図8)が変換された後の軌跡点群である修正前軌跡点群BPC1と、修正後の変換パラメータに基づいて軌跡点群PC1(
図8)が変換された後の軌跡点群である修正後軌跡点群RPC1とを、重畳して表示する出力画面を生成してもよい。なお、修正前軌跡点群BPC1の表示態様と修正後軌跡点群RPC1の表示態様は異なっていてもよい。これによって、修正前軌跡点群BPC1と修正後軌跡点群RPC1とが視覚的に区別できるようになる。例えば、表示態様の違いは、色の違いであってもよい。
【0164】
図11に示した、文言M1、確認ボタンB1、および取消ボタンB2は、上記で
図10を参照して説明した通りである。画面例G2では、修正前軌跡点群BPC1と修正後軌跡点群RPC1が重畳して表示されている。これにより、変換パラメータの修正前後での軌跡点群が示す車両40の移動方向の違いが、より視覚的にわかりやすくなる。従って、情報処理装置20の操作者は、修正部238により算出された行列による変換パラメータの修正が適切であるかどうかを、より判断し易くなる。
【0165】
(変換パラメータ記憶部240)
変換パラメータ記憶部240は、変換部232による点群データの座標変換処理に用いられる、変換パラメータの情報を記憶する。また、変換パラメータ記憶部240に記憶された変換パラメータは、修正部238により修正される。
【0166】
(物体情報記憶部250)
物体情報記憶部250は、検出部233により、点群データの各フレームにおいて検出された物体の情報を記憶する。例えば、物体情報記憶部250は、検出部233の制御に従い、各フレームにおいて検出された物体の位置の座標を記憶してもよい。
【0167】
物体追跡部234は、物体情報記憶部250に記憶された当該情報に基づいて、検出された車両40の移動軌跡を生成することが出来る。
【0168】
(軌跡点群データ記憶部260)
軌跡点群データ記憶部260は、抽出部237により抽出された軌跡点群のデータを記憶する。画面生成部239は、軌跡点群データ記憶部260に記憶された軌跡点群のデータを用いて、出力画面を生成する処理を行ってもよい。
【0169】
以上、
図6を参照して、本実施形態に係る情報処理装置20の機能構成例を詳細に説明した。なお、
図6を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置20の構成は係る例に限定されない。
【0170】
本実施形態に係る情報処理装置20は、例えば、ユーザによる情報の入力を受け付ける入力部などをさらに備えてもよい。また、情報処理装置20は、表示装置50と一体的に構成されていてもよい。
【0171】
<3.動作例>
続いて、
図12を参照して、本発明の一実施形態に係る情報処理システムの動作例を説明する。
図12は、本実施形態に係る情報処理システムの動作例を説明するフローチャートである。
【0172】
まず、情報処理装置20の取得部231は、通信部210を介して、センサ装置10から点群データの取得を開始する。取得部231は、リアルタイムに継続して点群データの取得を行ってもよい(S101)。
【0173】
次いで、変換部232は、変換パラメータに基づき、取得部231により取得された点群データの座標を変換する処理を行う(S103)。
【0174】
検出部233は、座標変換後の点群データから物体を検出する処理を行う(S105)。
【0175】
物体追跡部234は、点群データの現フレームから検出された物体と、現フレームの前のフレームから検出された物体の対応付けを行うことにより、当該物体の移動軌跡を生成する(S107)。
【0176】
判定部236は、S107において生成された移動軌跡に基づく所定の条件が満たされるか否かを判定することにより、センサ装置10の設置条件の変化(ずれ)の有無を検出する(S109)。
【0177】
本動作例では、判定部236は、移動軌跡に含まれる各点のうち、Y座標が最小の地点と、Y座標が最大の地点の間での、X座標の値の差分の絶対値が閾値を上回っているという条件を所定の条件として判定を行う。
【0178】
判定部236により、移動軌跡に基づく所定の条件が満たされていないと判定された場合(S109/NO)、本情報処理システムは、S101~S107の処理を繰り返す。
【0179】
判定部236により、移動軌跡に基づく所定の条件が満たされていると判定された場合(S109/YES)、画面生成部239は、センサ装置10の設置条件の変化(ずれ)の発生の旨を通知する出力画面を生成し、表示装置50に表示させる(S111)。
【0180】
次いで、抽出部237は、センサ装置10により取得された点群データから、検出物体に対応する軌跡点群を抽出する(S113)。
【0181】
修正部238は、抽出された軌跡点群の点の分布に基づき、当該軌跡点群における検出物体の移動方向を推定する。修正部238は、推定した移動方向が、センサ装置10の基準座標系におけるY軸と平行になるような、当該軌跡点群に対する回転行列を算出する(S115)。
【0182】
画面生成部239は、修正部238により算出された行列を用いて修正される前の変換パラメータにより変換された後の軌跡点群と、修正部238により算出された行列を用いて修正された後の変換パラメータにより変換された後の軌跡点群の表示を含む、出力画面を生成する。画面生成部239は、当該出力画面を表示装置50に表示させる(S117)。
【0183】
表示装置50に表示された当該出力画面において、情報処理装置20の操作者により、修正内容を取消しする操作が行われた場合(S119/NO)、情報処理装置20は、S113~S117の処理を繰り返す。これにより、再度、修正部238による行列の算出が行われる。
【0184】
表示装置50に表示された当該出力画面において、情報処理装置20の操作者により、修正内容を確定する操作が行われた場合(S119/YES)、修正部238は、S115において算出した行列を用いて、変換パラメータ記憶部240に記憶された変換パラメータを修正する(S121)。
【0185】
一連の処理を終了する操作が行われるまで、情報処理装置20は、S101~S121の処理を繰り返す(S123/NO)。一連の処理を終了する操作が行われた場合、情報処理装置20は処理を終了する(S123/YES)。
【0186】
以上、
図12を参照して、本実施形態による情報処理システムの動作例を説明した。
【0187】
<4.ハードウェア構成例>
以上、本発明の一実施形態を説明した。上述した、情報処理装置20による、移動軌跡に基づく所定の条件が満たされるか否かの判定処理、所定の条件が満たされている場合の変換パラメータの再算出および修正、および、修正前後の軌跡点群の出力画面の生成の処理は、ソフトウェアと、情報処理装置20のハードウェアとの協働により実現される。以下では、本発明の実施形態による情報処理装置20のハードウェア構成例について説明する。
【0188】
なお、以下に説明する情報処理装置20のハードウェア構成例は、情報処理装置20のハードウェア構成の一例に過ぎない。したがって、情報処理装置20のハードウェア構成は、以下に説明する情報処理装置20のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0189】
図13は、本発明の一実施形態による情報処理装置20のハードウェア構成例を示す図である。情報処理装置20は、プロセッサ1001と、ROM(Read Only Memory)1002と、RAM(Random Access Memory)1003と、内部バス1004と、入出力インターフェース1010と、表示装置1011と、入力装置1012と、音声出力部1013と、記憶装置1014と、ドライブ1015と、ネットワークインターフェース1016と、外部インターフェース1017と、を備えることができる。
【0190】
プロセッサ1001は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置20内の動作全般を制御する。プロセッサ1001が後述するROM1002、RAM1003およびソフトウェアと協働することにより、例えば、制御部230の機能が実現され得る。
【0191】
ROM1002は、プロセッサ1001が使用するプログラムおよび演算パラメータ等を記憶する。RAM1003は、プロセッサ1001の実行において使用するプログラム、およびその実行において適宜変化するパラメータ等を一時記憶する。
【0192】
プロセッサ1001、ROM1002、RAM1003は、内部バス1004によって相互に接続され、さらに入出力インターフェース1010を介して後述する表示装置1011、入力装置1012、音声出力部1013、記憶装置1014、ドライブ1015、ネットワークインターフェース1016および外部インターフェース1017と接続される。
【0193】
表示装置1011は、例えば、CRTディスプレイ装置、液晶ディスプレイ(LCD)、OLED装置などの表示装置であり、映像データを映像に変換して出力する。また、入力装置1012は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよび制御回路などから構成され得る。また、音声出力部1013は、スピーカおよびヘッドフォンなどの音声出力装置であり、音声データなどを音声に変換して出力する。
【0194】
記憶装置1014は、本実施形態による変換パラメータ記憶部240、物体情報記憶部250、および軌跡点群データ記憶部260の一例として構成されたデータ記憶用の装置である。記憶装置1014は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、および記憶媒体に記録されたデータを削除する削除装置などを含んでいてもよい。記憶装置1014は、例えば、HDD(Hard Disk Drive)またはSSD(Solid State Drive)、あるいは同等の機能を有するメモリ等で構成される。この記憶装置1014は、ストレージを駆動し、プロセッサ1001により実行されるプログラムまたは各種データを記憶する。
【0195】
ドライブ1015は、記憶媒体用リーダライタであり、情報処理装置20に内蔵、または外付けされる。ドライブ1015は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記憶されている情報を読み出して、RAM1003に出力する。また、ドライブ1015は、リムーバブル記憶媒体に情報を書き込むことも可能である。
【0196】
ネットワークインターフェース1016は、例えば、インターネットなどの通信網に接続するためのデバイス等で構成された通信インターフェースである。また、ネットワークインターフェース1016は、無線LAN(Local Area Network)または/および有線LAN対応の通信装置であってもよい。
【0197】
外部インターフェース1017は、例えばUSB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS-232Cポートまたは光オーディオ端子などのような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。
【0198】
<5.まとめ>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0199】
例えば、検出部233によって検出される物体として、車両を例に挙げて説明した。しかし、検出部233によって検出される物体は、車両以外の物体であってもよい。例えば、検出部233によって検出される物体は、車両以外の移動体であってもよい。移動体は、搭乗者が操作することにより移動する有人移動体であってもよいし、自律して移動可能な無人移動体であってもよい。車両は、陸路を移動する移動体の例である。
【0200】
また、上記実施形態では、本発明の実施形態の好適な適用先の一例として、高速道路を走行する車両を、路側に設置されたセンサで検出する例を説明した。しかし、本発明の実施形態の適用先はかかる例に限定されない。例えば、本発明の実施形態の好適な適用先の他の一例として、電車のホームに設置されたセンサにより、ホーム上の人を検出する例が挙げられる。人は、陸路を移動する移動体の例である。
【0201】
近年、電車に旅客が乗降する駅のホームに設置されたセンサによって、ホーム上を行き来する旅客の位置を検出することが行われている。これにより、例えば、旅客がホームから線路へ転落したり、電車とホームの隙間に落ち込んだりするなどの異常の発生を検知することが可能となる。異常の発生が検知された場合には、電車がホームへ入構する前に通知し、停車させるなどの安全措置を取ることが可能になる。
【0202】
本発明の実施形態は、このような駅のホームに設置されるセンサの設置条件の変化の自動検出、および、設置条件の変化に応じたキャリブレーションに適用することも可能である。
【0203】
一般に、電車に旅客が乗降する駅のホームは、直線状に形成される場合が多い。電車は、直線状のホームに沿って駅に入構する。従って、駅に設置されたセンサにより得られる点群データにおいて検出される電車の移動軌跡に基づき、当該センサの設置条件の変化を自動検出することが出来る。電車は、陸路を移動する移動体の例である。
【0204】
また、ホームの構造または位置によっては、ホームの端を歩く旅客は、ホームの端に沿って概ね直線方向に移動すると考えられる。このような場合には、センサにより得られる3次元点群から旅客の移動軌跡を抽出し、当該移動軌跡を用いて閾値判定を行うことで、センサの設置条件の変化を自動検出することも可能である。
【0205】
また、本発明の実施形態の好適な適用先の他の一例として、海路を航行する船舶、または、滑走路を走行する航空機等も考えられる。この場合にも、船舶または航空機が、予め規定された進路に沿って概ね直線移動を行う場面においては、当該船舶または航空機の移動軌跡を用いて、センサの設置条件の変化の自動判定およびキャリブレーションを行うことが可能である。船舶は、海路を移動する移動体の例であり、航空機は、空路を移動する移動体の例である。
【0206】
また、上記実施形態では、予め設定された変換パラメータの初期値が予め変換パラメータ記憶部240に記憶されている例を説明した。しかし、本発明の実施形態による情報処理装置20は、センサの初期設置時に、当該センサにより得られる点群データにおいて検出された物体の軌跡点群を用いて、行列を算出してもよい。情報処理装置20は、算出した行列を、変換パラメータの初期値として設定してもよい。
【0207】
また、上記実施形態では、判定部236により、検出された物体の移動軌跡に基づく所定の条件が満たされていると判定された場合に、修正部238が、変換パラメータの修正処理を行うとした。しかし、本発明の実施形態は係る例に限定されない。
【0208】
例えば、情報処理装置20は、判定部236による所定の条件が満たされているか否かの判定結果を蓄積してもよい。また、情報処理装置20は、蓄積された当該判定結果に基づき、センサ装置10の設置ずれ発生の時間間隔と、ズレの量を推測する処理を行ってもよい。さらに、推測された時間間隔が経過した場合、判定部236による判定処理を行うことなく、修正部238は変換パラメータの再算出および修正処理を行ってもよい。
【0209】
これにより、例えば短い時間間隔でセンサ装置10のズレが頻回に発生してしまうような場合には、情報処理装置20は、判定部236による判定処理を行うことなく、迅速に変換パラメータの修正を行うことが出来る。
【0210】
また、上記実施形態では、修正部238が、センサ装置10の基準座標系における軌跡点群に基づいて、車両の移動方向を推定する例を説明した。このとき、修正部238は、推定した移動方向を基準座標系における所定の方向に一致させる行列を算出し、算出した行列の逆行列で変換パラメータを更新する。
【0211】
しかし、修正部238は、初期設定された変換パラメータを用いて基準座標系が変換された後の運用座標系における軌跡点群に基づいて、車両の移動方向を推定してもよい。このとき、修正部238は、推定した移動方向を運用座標系における所定の方向に一致させる行列を算出し、初期設定された変換パラメータによる変換の後に、算出した行列による変換を行う合成変換を表現する行列を算出し、合成変換を表現する行列の逆行列で変換パラメータを更新してもよい。
【0212】
また、上記実施形態では、判定部236により所定の条件が満たされていると判定された場合、画面生成部239が、センサ装置10の設置条件の変化が発生していることが検出された旨の通知画面を生成する例を説明した。また、画面生成部239が、当該画面を、表示装置50に表示させる例を説明した。しかし、本発明の実施形態は係る例に限定されない。例えば、情報処理装置20の制御部230は、センサ装置10の設置条件の変化が発生している旨を通知する音(音声を含む)を、スピーカ等の音出力装置に出力させてもよい。音出力装置は、情報処理装置20と一体的に構成されていてもよい。または、音出力装置は、情報処理装置20とは別体の装置であってもよい。
【0213】
または、制御部230は、センサ装置10の設置条件の変化が発生した場合、LED(Light Emitting Diode)等の光源を有する発光装置を発光させる制御を行ってもよい。発光装置は、情報処理装置20の構成部として一体的に構成されていてもよいし、別体として構成されていてもよい。これにより、情報処理装置20の操作者に、センサ装置10の設置条件の変化が発生したことを、音または光によって通知することが出来る。
【0214】
また、本実施形態によるセンサ装置10、および情報処理装置20の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、センサ装置10および情報処理装置20の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
【0215】
また、上述したセンサ装置10および情報処理装置20に内蔵されるプロセッサ、ROM、およびRAMなどのハードウェアに、本実施形態による情報処理システムの機能を発揮させるための1以上のコンピュータプログラムも作成可能である。また、当該1以上のコンピュータプログラムを記憶させたコンピュータにより読み取り可能な記憶媒体も提供される。
【0216】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【符号の説明】
【0217】
10 センサ装置
20 情報処理装置
210 通信部
230 制御部
231 取得部
232 変換部
233 検出部
234 物体追跡部
235 通知部
236 判定部
237 抽出部
238 修正部
239 画面生成部
240 変換パラメータ記憶部
250 物体情報記憶部
260 軌跡点群データ記憶部
50 表示装置