特許第6869230号(P6869230)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コミサリヤ・ア・レネルジ・アトミク・エ・オ・エネルジ・アルテルナテイブの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6869230
(24)【登録日】2021年4月15日
(45)【発行日】2021年5月12日
(54)【発明の名称】物体を認識する方法およびシステム
(51)【国際特許分類】
   G06N 7/00 20060101AFI20210426BHJP
   B60W 40/04 20060101ALI20210426BHJP
【FI】
   G06N7/00 150
   B60W40/04
【請求項の数】17
【全頁数】24
(21)【出願番号】特願2018-512239(P2018-512239)
(86)(22)【出願日】2016年9月22日
(65)【公表番号】特表2018-537745(P2018-537745A)
(43)【公表日】2018年12月20日
(86)【国際出願番号】EP2016072530
(87)【国際公開番号】WO2017050890
(87)【国際公開日】20170330
【審査請求日】2019年7月17日
(31)【優先権主張番号】1558919
(32)【優先日】2015年9月22日
(33)【優先権主張国】FR
(73)【特許権者】
【識別番号】311015001
【氏名又は名称】コミサリヤ・ア・レネルジ・アトミク・エ・オ・エネルジ・アルテルナテイブ
(74)【代理人】
【識別番号】110001173
【氏名又は名称】特許業務法人川口國際特許事務所
(72)【発明者】
【氏名】モッタン,ジュリアン
(72)【発明者】
【氏名】プスチニ・パスクアル,ディエゴ
(72)【発明者】
【氏名】ラコトバオ・アンドリアマエファ,ティアナ
【審査官】 金田 孝之
(56)【参考文献】
【文献】 特開2012−048642(JP,A)
【文献】 特表2009−508199(JP,A)
【文献】 Tiana Rakotovao et al.,Real-time power-efficient integration of multi-sensor occupancy grid on many-core,2015 IEEE International Workshop on Advanced Robotics and its Social Impacts (ARSO) [online],2015年 6月30日,[2020年8月12日検索],URL,https://ieeexplore.ieee.org/document/7428211
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00−99/00
B60W 40/04
(57)【特許請求の範囲】
【請求項1】
コンピュータまたは専用デジタル電子回路(MTD1,MTD2)により実装された物体(O)認識方法であって以下のステップ、すなわち
a)1個以上のセンサ(C...CNC)から得られる、前記物体の複数の距離測定値(z...zNC)を取得するステップと、
b)前記距離測定値の各々に対し、前記センサの環境の離散化された空間表現を与える占有格子(GO)上の対応センサの逆モデルを適用することにより、物体による前記占有格子のセルの集合の占有確率を決定するステップと、
c)各セルがステップbで推定された占有確率の融合により計算された占有確率を示す統合された占有格子を構築するステップとを含み、
前記逆センサモデルの各々が、対応する占有格子の各セルおよび各距離測定値に同一の有限集合内で選択された確率クラスを関連付ける離散的なモデルであり、前記確率クラスの各々が整数添え字により識別されること、および前記ステップc)において、統合された占有格子の各セルの占有確率が前記ステップb)で決定された確率クラスの添え字に対して実行された整数計算により決定されることを特徴とする方法。
【請求項2】
確率クラスの前記有限個の集合が1個以上の部分集合の和集合により形成されていて、前記ステップc)において、同一の部分集合に属する2個の確率クラスを融合した結果得られるクラスも同様に前記部分集合に属する、請求項1に記載の方法。
【請求項3】
確率クラスの前記有限個の集合が、確率区間[0、1]において、離散化間隔が0〜0.5の間で増大し、次いで0.5〜1の間で減少するように非一様に離散化されている、請求項1または2に記載の方法。
【請求項4】
有限個の確率クラスのSで示す前記集合が、次式により定義される2個の部分集合
【数1】
の和集合
【数2】
により形成されていて、添え字nが相対整数値を取り、パラメータが非ゼロ相対整数であり、且つ前記ステップc)において、2個の確率クラスp,p∈Sの間の融合F(p、p)が、添え字「」、「」が同一符号を有する場合に次式
・i,j<0ならばF(p,p)=pi+j−k・i・j
・i,j>0ならばF(p,p)=pi+j+k・i・j
を適用することにより計算される、請求項2および3に記載の方法。
【請求項5】
前記ステップc)において、2個の確率クラスp,p∈Sの間の融合F(p、p)が、添え字「」、「」が逆符号を有する場合に次式
・i<0,j>0且つ|i|≧|j|ならば、F(p,p)=p(i+j)÷(1+k・j)
・i<0,j>0且つ|i|≦|j|ならば、F(p,p)=p(i+j)÷(1−k・i)
を適用することにより計算され、記号÷は整数除算を表す、請求項4に記載の方法。
【請求項6】
k=1である、請求項4または5に記載の方法。
【請求項7】
有限個の確率クラスのGで示す前記集合が、次式で定義される2個の部分集合
【数3】
の和集合
【数4】
により形成され、添え字nが相対整数値を取り、pが厳密に0.5〜1の間に値を有するパラメータであり、確率pが次式
=0.5
=p
n+1=F(p)∀n>1
−1=1−p
n−1=F(p,p−1)∀n<−1
のように再帰的に定義され、且つ前記ステップc)において、2個の確率クラスp,p∈Gの間の融合F(p、p)が次式
F(p,p)=pi+j
を適用することにより計算される、請求項3に記載の方法。
【請求項8】
前記ステップc)が、同一位置に配置されていないセンサに関連付けられた占有格子のセルの占有確率に基づいて前記統合された占有格子を構築すべくフレームの変更を実行するステップを含んでいる、請求項1〜7のいずれか1項に記載の方法。
【請求項9】
次式
【数5】
適用することにより実装される少なくとも1個の前記センサの逆モデルを対応する占有格子上に構築する事前ステップをも含み、
ここに、
・P(o│z)が占有格子の添え字「」のセルの占有確率を表し、前記セルが前記センサからの距離の昇順に並んでおり、
・Nが前記占有格子のセルの個数であり、
・zが前記センサから得られる距離測定値を表し、
・p(z│x)が、前記センサにより近い他の全てのセル以外の占有格子のセルkの位置xが物体により占有されている場合に前記センサが与える測定値「z」の確率密度を表す前記センサの直接モデルを表している、請求項1〜8のいずれか1項に記載の方法。
【請求項10】
少なくとも1個の前記占有格子の空間解像度を決定する事前ステップをも含んでいて、前記空間解像度が、max[P(o│z)]≧pminあるように選択されていて、P(o│z)が、前記センサのモデルであり、pminが前記集合属し、且つ0.5よりも大きい最小確率クラスである、請求項1〜9のいずれか1項に記載の方法。
【請求項11】
少なくとも1個の前記占有格子の空間解像度を決定する事前ステップをも含んでいて、前記空間解像度が、max[P(o│z)]=pminであるように選択されていて、P(o│z)が、前記センサの逆モデルであり、pminが前記集合に属し、且つ0.5よりも大きい最小確率クラスである、請求項1〜9のいずれか1項に記載の方法。
【請求項12】
物体を認識するシステムであって、
−1個以上のセンサから得られる、前記物体の距離測定値を表す複数の信号(z,...,zNC)を受信する少なくとも1個の入力ポートと、
−前記信号を入力として受信し、それらを用いて請求項1〜8に記載の方法を適用することにより、統合された占有格子を構築すべく構成されたデータ処理モジュール(MTD1,MTD2)と、
−前記統合された占有格子を表す信号(gfus)の少なくとも1個の出力ポートを含むシステム。
【請求項13】
前記物体の複数の距離測定値を表す信号を生成すべく適合されていて、前記入力ポートまたはポート群に接続された1個以上の距離センサ(C,...,CNC)をも含んでいる、請求項12に記載のシステム。
【請求項14】
前記データ処理モジュールが、占有格子の各セルに関連付けられた確率クラスの添え字を表す各距離測定値に整数ベクトルを関連付けるセンサの逆モデルを対応関係テーブルの形式で保存しているメモリを含んでいて占有確率(CO...COnNC)を計算する少なくとも1個のハードウェアブロックを含んでいる、請求項12または13に記載のシステム。
【請求項15】
前記データ処理モジュールが、各々の占有格子のセルに関連付けられた確率クラスの添え字を表す複数の整数を入力として受信し、前記統合された占有格子のセルに関連付けられた確率クラスの添え字を計算すべく構成された、いわゆる統合(F)用の整数計算ハードウェアブロックを含んでいる、請求項1214のいずれか1項に記載のシステム。
【請求項16】
請求項14に依存する場合に、前記データ処理モジュールが、
−占有確率を計算する対応ハードウェアブロックから得られ、且つ占有格子の各セルに関連付けられた確率クラスの添え字を表す、少なくとも1個の第1の整数ベクトルを入力として受信し、
−前記第1の整数ベクトルを、前記統合された占有格子と空間的に一致する別の占有格子の各セルに関連付けられた確率クラスの添え字を表す第2の整数ベクトルに変換して、
−前記第2の整数ベクトルを前記統合ハードウェアブロックへの入力として提供すべく構成された、フレーム(R,...,RNC)のいわゆる変更を行う少なくとも1個の計算ブロックをも含んでいる、請求項15に記載のシステム。
【請求項17】
前記データ処理モジュールが、同一のセンサまたは同一位置に配置されたセンサにより連続的に取得された距離測定値を表す信号(z、...、zNC)を入力として受信し、連続的な取得時点に対応する複数の前記信号に基づいて統合された占有格子を構築すべく構成されている、請求項12または13に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算能力およびエネルギー消費の観点から効率的な仕方でマルチセンサ融合を実行して、物体の位置を認識および推定する方法およびシステムに関係する。
【背景技術】
【0002】
「物体」とは、個別性を示し、且つ適当なセンサにより検出および識別可能な任意の物理的対象または物質を指す。従って、自然または人工の無生物、植物、動物、人間だけでなく、雲のように空気中に漂う液体または固体粒子、または実際に液体または気体の物質もまた物体であると考えられる。
【0003】
本発明は特に、ロボット、ドローン、自律走行車両等のナビゲーション分野、より一般的には認識の分野に適用できる。
【0004】
ロボットに組み込み可能な計算手段の発展に伴い、ロボット工学の応用が、工業生産からホームオートメーションまで、さらには宇宙および深海探査から一般消費市場向けの遊具ドローンまでに近年拡大している。ロボット工学用途で実行される作業は次第に複雑になっており、ロボットは未知の環境で動き回れることが求められるケースが増えている。このため、認識の手段および技術の開発、すなわち周囲の空間を発見および解釈を可能にすることが益々重要になっている。ロボット工学において認識を用いる重要な用途としてナビゲーションがあり、これはロボットの目標とする行き先を指定して、未知且つ潜在的に移動する障害を回避すべく誘導しながら、到着させることである。ロボットは従って、自身で自身の軌道を設定する責任がある。典型的な例が、注力されている研究主題となっている自律走行車である。
【0005】
最大限に死角をなくしながら環境全体を把握し、且つセンサが故障するリスクを低減させるには一般に複数のセンサを統合する必要がある。恐らくは異なる種類の複数のセンサが同一空間を占める場合、その各々から抽出された情報を組み合わせることができなければならない。従ってマルチセンサ融合に言及する。
【0006】
認識技術には主として二つの系統が存在する。表面形状手順は周囲の空間の対象の表面形状を識別することを目的とし、占有格子に基づく手順は特定の位置が障害物(より一般的には物体)により占有されているか否かを判定することを目的としている。本発明は占有格子に基づく技術に関する。
【0007】
占有格子に基づくマルチセンサ認識および融合手順の理論的基礎がA.Elfesによる論文「Occupancy grids:a stochastic spatial representation for active robot perception」(Sixth Conference on Uncertainty in AI,1990)に記述されている。本文献は手順の実用的な実施には触れておらず、その直接的適用には複雑な浮動小数点計算を必要とする。
【0008】
K.Konoligeによる論文「Improved occupancy grids for map building」(Autonomous Robots,4,351−367,1997)、J.Adarve他による論文「Computing occupancy grids from multiple sensors using linear opinion pools」(Proceedings,IEEE International Conference on Robotics and Automation,2012)、およびT.Rakotovao他による論文「Real−time power−efficent integration of multi−sensor occupancy grid on many core」(2015 International Workshop on Advanced Robotics and its Socal Impact,June 30,2015)に占有格子に基づく技術の発展が記述されている。この場合もまた、これらの技術の実装に多くの浮動小数点計算が必要になる。
【0009】
文献米国特許第2014/035775号明細書、仏国特許第2006/050860号明細書、および独国特許第102009007395号明細書に、地上車両の自律走行に応用された占有格子に基づくマルチセンサ認識および融合の手順とシステムが記述されている。これらの手順は全て、実装のために浮動小数点計算を必要とする。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】米国特許出願公開第2014/035775号明細書
【特許文献2】仏国特許第2006/050860号明細書
【特許文献3】独国特許発明第102009007395号明細書
【非特許文献】
【0011】
【非特許文献1】A.Elfes、「Occupancy grids:a stochastic spatial representation for active robot perception」(Sixth Conference on Uncertainty in AI,1990)
【非特許文献2】K.Konolige、「Improved occupancy grids for map building」(Autonomous Robots,4,351−367,1997)
【非特許文献3】J.Adarve他、「Computing occupancy grids from multiple sensors using linear opinion pools」(Proceedings,IEEE International Conference on Robotics and Automation,2012)
【非特許文献4】T.Rakotovao他、「Real−time power−efficient integration of multi−sensor occupancy grid on many core」(2015 International Workshop on Advanced Robotics and its Social Impact,June 30,2015)
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかし、浮動小数点計算の実行は計算能力の観点から相当なリソースを必要とし、これは組み込みシステムに固有な制約と両立し難い。正確には、IEEE標準754により定義された浮動小数点形式では、3個の要素、すなわち符号(1ビット)、仮数(23または52ビット)、および指数(8または11ビット)で数を表す。浮動小数点で表された数を用いる計算の実行は、整数計算の実行よりもはるかに複雑である(すなわち、はるかに多くの基本演算を必要とする)。これは従って、より高速なプロセッサおよび/または専用ハードウエアアクセラレータの使用を必要とし、コスト、大きさ、および電力消費の観点から好ましくない影響を伴う。
【0013】
10cm×10cmの100000個のセルに離散化された20m×50mの環境、および25Hzで動作する2個のセンサを一例として考える。浮動小数点計算によりA.Elfesの理論を実装することにより、従来技術に従いデータ融合を実行する必要がある場合、必要な計算能力は5〜50GFlops(毎秒数十億回の浮動小数点演算)のオーダーである。自動車分野での用途により現実的な仮定である50Hzで動作する8個のセンサを有するセル150000個の格子を考えた場合、60〜600GFlopsの計算能力が必要となる。
【0014】
本発明は、より少ない計算リソースで済み、従って組み込み型のソリューションにより適合されたマルチセンサ融合により物体を認識する手順を提供することを目的とする。本発明は特に、
−一方で、必ずしも浮動小数点演算に対応していない簡単な組み込み計算装置の使用を可能とし、
−他方で、浮動小数点計算対応している場合であっても、そのような計算の実行を回避または大幅に制限することにより、計算装置のエネルギー消費を減らすことを目的としている。そのようなエネルギー消費の低減自体が有利であり、更に、発熱を抑えることを可能になるため、放熱の観点からの制約を緩和しつつ計算装置の堅牢性および寿命が向上する。
【0015】
一例として、発明者らは、本発明により、自動車分野で用いられるISO26262ASIL−D認定プラットフォームで利用できるものと同等の計算性能をもたらすデジタルシステム上での融合が実行可能になる点に気付くことができた。これは、従来技術で知られている融合技術を用いても不可能である。
【0016】
以下では障害物の認識への応用を特に考慮するが、本発明はこの典型的なケースに一切限定されない。他の可能な用途は、雲や降雨、または実際に汚染物質の濃度、あるいは公共空間における人々の分布および動きの検出に関する。これら全てのケースにおいて、センサを利用して物体を検出し、その距離を測定して、測定値を用いて占有格子を計算することが可能である。
【課題を解決するための手段】
【0017】
上述の目的を実現可能にする本発明の主題は、コンピュータまたは専用デジタル電子回路により実装された物体認識方法であって以下のステップ、すなわち
a)1個以上のセンサから得られる、前記物体の複数の距離測定値を取得するステップと、
b)前記距離測定値の各々に対し、前記センサの環境の離散化された空間表現を与える占有格子上の対応センサの逆モデルを適用することにより、物体による前記占有格子のセルの集合の占有確率を決定するステップと、
c)各セルがステップbで推定された占有確率の融合により計算された占有確率を示す統合された占有格子を構築するステップを含み、
前記逆センサモデルの各々が、対応する占有格子の各セルおよび各距離測定値に同一の有限集合内で選択された確率クラスを関連付ける離散的なモデルであり、前記確率クラスの各々が整数添え字により識別されること、および前記ステップc)において、統合された占有格子の各セルの占有確率が前記ステップb)で決定された確率クラスの添え字に対して実行された整数計算により決定されることを特徴とする方法である。
【0018】
本発明の別の主題は、物体を認識するシステムであって、
−1個以上のセンサから得られる、前記物体の距離測定値を表す複数の信号を受信する少なくとも1個の入力ポートと、
−前記信号を入力として受信し、それらを用いて上で定義した方法を適用することにより、統合された占有格子を構築すべく構成されたデータ処理モジュールと、
−前記統合された占有格子を表す信号の少なくとも1個の出力ポートを含んでいる。
【0019】
本発明の他の特徴、詳細、および利点は、例示的に示す添付図面を参照しながら以下の記述を精査することにより明らかになろう。
【図面の簡単な説明】
【0020】
図1】距離センサの「直接」モデルを示す。
図2】占有格子を示す。
図3】距離センサの「逆」モデルを示す。
図4】占有格子上の逆モデルの空間離散化を占めす。
図5A】占有格子上のセンサの逆モデルを計算する手順を示す。
図5B】占有格子上のセンサの逆モデルを計算する手順を示す。
図5C】占有格子上のセンサの逆モデルを計算する手順を示す。
図5D】占有格子上のセンサの逆モデルを計算する手順を示す。
図6A】占有格子の最適空間解像度を選択する手順を示す。
図6B】占有格子の最適空間解像度を選択する手順を示す。
図6C】占有格子の最適空間解像度を選択する手順を示す。
図6D】占有格子の最適空間解像度を選択する手順を示す。
図7A】様々な確率クラスのシステムを示す。
図7B】様々な確率クラスのシステムを示す。
図8】占有格子上のセンサの逆モデルを量子化する2個の手順を示す。
図9A】本発明の第1の実施形態による障害物認識システムを示す。
図9B】本発明の第1の実施形態による障害物認識システムを示す。
図10A】本発明の第2の実施形態による障害物認識システムを示す。
図10B】本発明の第2の実施形態による障害物認識システムを示す。
図11】本発明の第3の実施形態による障害物認識システムを示す。
【発明を実施するための形態】
【0021】
以下の詳細な記述において、障害物認識のケースに言及している。しかし、全ての記述内容はより一般的に任意の種類の物体の認識に適用できる。
【0022】
通常、ナビゲーションに用いられるセンサは、周囲の障害物との距離に関して助言するものであり、以下では距離センサについて言及する。センサの精度、生じ得る誤差、または解像度を考察すべく確率モデルを導入する。その趣旨は、センサが出力した測定値が必ずしも障害物とセンサとの正確な距離を示す訳ではなく、従ってセンサの反応を把握して障害物が所与の距離にある確率の観点から推論することが適切であるというものである。
【0023】
dを障害物とセンサとの実際の距離、zをセンサの出力とすれば、障害物の実際の位置と、センサが検知したその推定値との関係をモデル化する(「直接モデル」)条件付き確率密度関数p(z|d)に関心が持たれる。図1にセンサの例示的な直接モデルを示す。長さ50mの線形空間は考え、センサからd=25mに障害物が位置していると仮定する。ガウス関数によりモデル化可能な誤差を有するセンサの場合、最尤反応zは25m付近であるが、曲線により定義される確率密度により他の値も可能である。理想的なセンサの場合、p(z|d)=δ(z−d)が得られ(δはディラックのデルタ)、且つ測定値は常に真の距離に等しい。センサの直接モデルは実験的に決定することができ、典型的には、構築子が与えるデータ(ガウス関数の場合、モデルの特徴付けに標準偏差の値で充分である)に基づいて構築することができる。
【0024】
以下において、Ωで1、2、または3次元の空間ベンチマークを表すものとする。占有格子GOは、Ωの連続的且つ有界な部分集合を、セルと呼ばれ、添え字i∈[0,N−1]で示すN個の部分に分割したものである。添え字iのセルをcで示す。一般性を失うことなく、以下において、1個の距離センサC(または同一位置に配置された複数のセンサ)により観察される1次元の占有格子を考える。遠いセンサほど大きい添え字iが付される(従って、cはセンサに最も近いセル、cN−1は最も遠いセンサである)。本構成を図2に示す。
【0025】
障害物AはΩの有界な連続部分集合である。A∩c≠φの場合セルcは障害物Aにより占有されていると言い、A∩c=φの場合Aにより占有されていないと言う。換言すれば、障害物がセルの一部でも覆うならば、当該セルは占有されているとみなす。他の方式も可能であるが、いずれの場合もセルは空いているか占有されているかのいずれかでなければならない。
【0026】
格子の各セルに対して、当該セルが障害物を含んでいるか否かを把握する、2通りの結果{占有、空}の一方を取り得る2値ランダム実験「状態」を考える。セルcの状態をeで示し、oは結果e=占有を示し、vは結果e=空を示す。1個の格子において全てのセルが独立していると考えられるため、次式が成り立つ。
∀i,j∈[0,N−1],P(o∧o)=P(o)・P(o) (1)
ここに、∧は論理演算子「and」であり、P(.)は事象の確率を示す(小文字「p」で表す確率密度と混同しないように)。
【0027】
また、障害物の位置は、不確実な距離センサを利用することでしか分からないものと考えられ、より一般的に
【数1】
と書ける、但し
【数2】
は障害物の位置(複数次元の場合、直交、球面、極座標等で表されたベクトルであって単なるスカラーではない)、上述のような確率モデルにより特徴付けられる。これらのセンサはテレメータレーザー(ライダーとも呼ばれる)、ソナー、赤外線レーダー、航空カメラ等であってよい。
【0028】
センサから得られる測定値zにより、セルcの占有確率P(o|z)を決定することが可能になる。所与の測定値zに対して、確率の集合P(o|z)∀i∈ [0,N−1]は格子上のセンサの逆モデルを構成する。センサの直接モデルはセンサの反応を現実世界の関数と見なして示唆するのに対し、逆モデルは、採用した現実世界のモデルである占有格子に対する測定の影響を表すため、逆モデルという用語が正当化される。
【0029】
図3に、z=25mである場合の距離センサの逆モデルの典型的な例を示す。センサから24.25m未満の距離にあるセルに対して占有確率が準ゼロであって、距離25m(センサが与える測定値に対応する)でピークに達することが確認できよう。25mを越えた場合、占有確率は、障害物よりも遠方にあって、当該障害物により遮蔽されているためセンサに届かないセルの占有状態が全く分からないこと示す値0.5で安定するまで低下し続ける。
【0030】
本明細書での主な適用例によれば、図3は平滑化された曲線を用いる逆モデルを表す。より正確な表現は、格子のセルの限度に対応する位置だけを示すものであろう。実際に、「部分的に」占有されたセルを「完全に」占有された別のセルから区別するのは不可能であり、全てのケースにおいて障害物までの距離を、対応するセルまでの距離として推定する。これは格子によりもたらされる空間誤差である。
【0031】
格子により誘導される空間離散化を考慮した、図3の逆モデルのより適切なバージョンを図4に示す。
【0032】
「占有」および「障害物距離」の概念が完全に同等である訳ではない点を強調すべきである。実際、センサ距離zに障害物にあると言った場合、単に特定のセルが占有されていることだけなく、当該センサにより近い格子の他のセルは空いていることも示す(さもなければ第1の障害物はz未満の距離にあった筈である)。上述の図2において、障害物Aは添え字iのセル(黒)に位置しており、添え字がよりも小さいセルは空いていることを示すため白く描かれ、添え字がよりも大きいセルは占有状態が未知であることを示すためにグレーに描かれている。
【0033】
自身の(直接)モデル
【数3】
により特徴付けられた不確実なセンサの概念を考慮し、測定位置に関するセルcの距離をdで表し、
【数4】
でセルcの前記測定位置に最も近い点は表すならば、
【数5】
が得られる。
【0034】
式(2)は、格子(x)のセルの境界上の点で評価されるセンサのモデルが、対応する格子構成、すなわち、セルiよりも近いセルが空であり、セルiは占有されていて、セルiよりも遠方のセルの占有状態が決定されていない格子に対するセンサの反応の確率密度に等しいことを示す。A.Elfesが上述の論文でセンサから逆モデルを構築する方法を提案したのはこの情報を利用したことによる。本方法について以下で説明する。
【0035】
ベイズの定理により、センサの逆モデルP(o|z)を次式
【数6】
のように表すことが可能になる。ここに、P(o)およびP(v)は各々、セルcが占有されるか空いているかの事前確率(すなわち障害物の位置、またはセンサの出力が未知)を示す。以下に、仮定P(o)=にP(v)=1/2と仮定するが、何ら基本的な理論上の困難なしに一般化することができる。
【0036】
従って次式
【数7】
が得られる。項p(z|o)およびp(z|v)の計算は、格子の可能な全ての構成にわたりコルモゴロフの定理を用いて行うことができる。構成は、N個組{e,e...eN−1}により形成され、e∈{o,v}である。N個のセルの格子は2個の可能な構成を有している。
【0037】
項p(z|o)に対して可能な格子構成は形式
【数8】
であってセルiが占有されている。そのような格子が2N−1個存在する。項p(z|v)に対して可能な格子構成は形式
【数9】
であってセルcは空である。そのような格子が2N−1個存在する。
【0038】
従って、次式
【数10】
のように書くことができる。
【0039】

【数11】
は1/2N−1に等しい。占有と測定された距離を関連付ける式(2)を用いて、格子構成
【数12】
に基づいて、位置
【数13】

【数14】
のように決定することが可能である。当該位置は、観測者に最も近い構成
【数15】
の占有されたセルの位置である。式(5a)および(5b)は従って次式
【数16】
のように書き替えることができる。上式の項はセンサの直接モデルに基づいて直接計算することができる。(6)を(4)に代入することにより、原理的に、考慮する占有格子上のセンサの逆モデルを計算することができる。
【0040】
上述の手順の主な制約は、式(6)の和の計算を現実的に不可能にする、和の項数の指数関数的爆発から生じる。実際、従来技術では、逆モデルの解析的式を、直接p(z|o)の関数として表すことなく一般に用いている。これは、実験により直接得られる唯一の関係である直接モデルとの関係、従ってモデリングにより生じる誤差を測定する能力が失われることを意味する。
【0041】
本発明の第1の目的は、式(6)、(4)の使用に関して一切近似値を導入することなく、Nの指数関数ではなく線形な逆モデルを計算する簡素化された手順である。以下に、一般性を失うことなく本開示を簡素化する目的で、1次元占有格子のケースを考えることにし、障害物の位置をスカラー変数xで表し、この場合、式(6)を次式
【数17】
のように書くことができる。
【0042】
N個のセルを有する1次元格子を考えているため、xはセルc、j∈[0〜N−1]のうち1個の位置の値しか取り得ない。従って、和(7)の項はN個の異なる値しか取り得ない。p(z|x)の同じ値を与える全ての格子を因数分解することにより、式(7)を2N−1ではなくN個の項の和に簡約化することができる。計算の複雑度は指数関数から線形関数となる。
【0043】
まずe=oの場合を考えることから始める。cを占有された状態に固定し、第1の障害物の距離をセルcの距離あるように、従って当該距離が実際にxであるように固定する。従って、セルcが占有されていることを知った上で第1の障害物が位置xに見られるように格子の個数を求める。3個の典型的なケースが考えられる。
【0044】
1.k<i。セルkは占有され(1個のセル)、j<kのセルcは空であり(k個のセル)、セルcは占有されていて(1個のセル)、他は占有されているかまたは空である。これを図5Aに示し、空きセルを白、占有されているセルを黒、および不確定状態のセルをグレーで表している。従って、固定状態のk+2個のセルおよび不確定状態のN−k−2個のセルがあり、そのような格子が2N−k−2個ある。
2.k=図5B参照)。セルk=iは占有され(1個のセル)、j<iのセルcは空であり(i個のセル)、他は占有されているかまたは空である。この結果、状態が固定された1+i個のセルおよび状態が不確定のN−i−1個のセルが生じる。結局そのような格子が2N−i−1個存在する。
3.k>i。この構成は不可能である。その理由は、kが厳密にiよりも大きい場合、最も近い障害物はxではなくxに見られるであろう。
【0045】
従ってe=oのケースで式(7)は次式
【数18】
のように書くことができる。
【0046】
=vのケースに同じ推論を繰り返すことができる。この場合もまた3通りの可能性を区別することができる。
1.k<i、すなわち図5Cに示す状況。この条件を満たす2N−k−2個のセルがある。
2.k=i、すなわち不可能な状況。
3.k>、すなわち図5Dに示す状況。この条件を満たす2N−k−2個のセルがある。
【0047】
従ってe=vのケースの式(7)は次式
【数19】
のように書くことができる。
【0048】
式(8)および(9)を(4)に代入することにより、格子のサイズNに関して、線形の複雑度を有する直接モデルに基づいて占有格子上の1次元逆センサモデルを構築することができる。
【数20】
【0049】
このような簡素化はまた、特に極または球面座標を用いてより大きい次元でも可能である。
【0050】
逆モデルの構造は格子の定義に大いに依存する。従って、逆モデルに対する空間解像度の変化の影響を調べることが興味深い。図6A〜6Dに、4個の異なる空間解像度格子1m(6A)、50cm(6B)、25cm(6C)、12.5cm(6D)に対する同一のセンサの逆モデルを示す。解像度が増大する(格子の間隔が狭まる)につれて、逆モデルの最大値が減少し、0.5に収束する傾向がある点に注意されたい。実際、センサの精度よりも高い精度で障害物の位置を知ることができると期待すべきではない。逆に、センサの精度よりも極めて低い精度で占有を把握することで満足できるならば、障害物の有無を高い確度(逆モデルの最大が0.999994に等しい図6Aのケース)で決定することができる。これらの考察により、格子の空間解像度を最適化することが可能になる。実際、逆モデルの最大値が「重要」と考えられる閾値よりも大きいままである(0.5よりも厳密に大きく、且つ厳密に1未満)格子の最大解像度を決定可能にする探索を行うことが可能である。
【0051】
センサの精度と格子の解像度との間に存在する関係が明らかなのは逆モデルが直接モデルに基づいて計算される(7〜10)場合に限る点に注目すると興味深い。この関係は、従来技術のように、逆モデルの近似的な解析的式で満足したならば失われる。これは本発明が提案する方法の追加的な利点となる。
【0052】
同一の占有格子上の2個のセンサの逆モデルに基づいて、2個のセンサのデータの融合を次式
【数21】
を用いて行う。ここに、z、zは2個のセンサが与える測定値である(2個よりも多いセンサへの一般化は容易に可能である。P(o|z∧z)を「仮想」センサの逆モデルであると考えて、第3のセンサ等が与える測定値と融合すれば充分である)。式(11)が成り立つのはP(o)=P(v)=1/2の場合だけであるが、他の仮定への一般化は自明である。
【0053】
この浮動小数点計算は、格子の各セルに対して、少なくともセンサの取得周波数と同程度の周波数で実行されなければならず、従って相当の計算能力を必要とする。
【0054】
本発明の第2の目的は、占有格子における複数のセンサから得られるデータを、浮動小数点計算を行わずにベイズ的に融合する方法であり、従って占有格子の構築に必要な計算の複雑度を大幅に低下させ、従ってより広範な応用分野、特に組み込み計算容量が極めて制限される分野に適用可能にする。
【0055】
本発明の上述の態様は、区間[0,1]における確率を、整数添え字により識別される確率クラスにより離散的に表すものである。
【0056】
以下において、[0,1]の可算部分集合の要素pは従って、相対整数添え字「n」により特徴付けることができ、「確率クラスの系」
【数22】
と呼ばれる。上で式(11)により表されるデータ融合関数を「F」と呼べば、次式
【数23】
のように書くことができる。
【0057】
特に興味深いケースは、系の2個の確率クラスの融合の結果もまた当該系に帰属するようなクラスの系である。形式的には∀p,p∈S、F(p、p)∈Sである。次いで、融合が一切誤差または近似をもたらさないため、クラスの「無誤差」系に言及する。従って、対応クラスの添え字により確率値にラベル付けすることができ、融合の結果もまた、添え字により識別される。従って融合問題は、2個の整数添え字に別の整数添え字を関連付ける適当な機能Fを決定することである。形式的に、
【数24】
となり、F(k,l)=iと書く。
【0058】
,l)の計算は、添え字kとl、および整数添え字演算の知識だけを必要とする。情報p、pの融合の計算に浮動小数点計算は不要である。更に、クラスの系を考えた場合、F(k,l)を利用して得られた添え字は、式(11)を適用することにより浮動小数点数を用いて得られた値と厳密に同一の確率値を示す。当該手順は従って、浮動小数点計算の観点から無誤差の確率クラスの融合を可能にする。
【0059】
系Sが個々に無誤差であるクラスの複数の部分系の和集合として構築されるケースを考えることにより上述の方式を一般化することが可能である。この場合、全体としての系Sは無誤差とは限らない。従って、融合関数Fの定義に近似ステップを導入する必要がある。
【数25】
【0060】
従って、近似値モデルに応じて、F(k,l)=iまたはF(k,l)=i+1を切り捨て、切り上げ、または四捨五入することにより選択することができる。しかし、誤差は依然としてクラスの系が対応する幅により抑えられる。
【0061】
無誤差系の自明な例がS={1/2,1}である。1/2,1、および0と異なる確率を含むクラスのあらゆる系が必然的に無限個の要素を含んでいる。実際、明らかな実装上の理由のために、有限個の確率クラスの系だけを考える。しかし、センサの個数が有限であり、それらの出力(量子化およびデジタル化された)が有限個の値しか取れないことを前提とすれば、有限個の確率クラスの系に基づく場合であっても「無誤差」融合が実行可能であろうことが証明されている。
【0062】
第1の例示的な応用上の利点は、以下のクラスの2個の無誤差部分系の和集合
【数26】
で形成された確率クラスの系に関する。ここに、kは正整数
【数27】
であり、系
【数28】
は無誤差ではない。図7Aに、k=1、k=2、およびk=4のケースにおける確率クラスの系を示す。系Sは、値0.5の近くで大きく且つ値0および1に近づくにつれて小さくなる量子化間隔で区間[0,1]を非一様に量子化する。これは二つの面で有利である。すなわち、
−0.5の確率は不確実な占有を示し、従ってこの値の付近で精度が極めて高いことは不要である一方、極値0および1の付近では精度は有用である。
−|n|のある値を越えたならば、確率クラスpの様々な値は互いに極めて近くなり、従ってクラスの系の切り捨てにより生じる誤差は無視できる。
【0063】
0または1に極めて近い確率だけが精密にサンプリングされるのを防ぐべく、kの小さい値(例えば5を越えない)を選択することが好適である。実際、センサの精度が高いほどkの値を大きくすることができる。
【0064】
図4の逆モデルは、空間的に離散化されているが、各セルの占有確率は、区間[0,1]内で任意の値を取ることができる。現時点では、クラスSの系(より一般的にはクラスSの系)に属するように、確率値自体が離散化または量子化されている。従って、本発明によれば、図4の逆モデルの確率値をクラスSの系の要素で近似する必要がある。
【0065】
第1の可能性は、量子化誤差を最小化すべく、図8の曲線MIで表される逆モデルの値をSの最も近い要素で代替することである。その結果は、確率クラスの系がS(Sでk=1)である場合、同じ図8の曲線MQPで表されている。この方式ではセルの占有確率が過小に推定される恐れがあることが分かり、これは障害物検出用途において受容できない恐れがある。代替方式は、理論上の逆モデルの値を、クラスSの系(同じく系Sの場合に、図8の曲線MQE)の最小上界で近似する。従って、占有確率が過小に推定されることは絶対になく、これは障害物の検出にとって利点であろう。人数を数える等、他の用途では、この種の近似は一方で偽陽性を引き起こす恐れがある。
【0066】
考える近似値の種類が何であれ、空間的に離散化された逆系(図8の曲線MI)は極めて少ない個数の値(図8の例では7個、センサの誤差によるが格子の最大解像度を取れば最大18個)を取る。従って、逆モデルでの近似に必要な系Sの要素の個数もまた極めて少ない。従って考察する対象を、原理的に無限且つ可算クラスSの系の小さいサイズの有限部分集合に限定してもよい。
【0067】
図6A〜6Dを参照しながら上で述べたように、所与のセンサに対して、空間占有格子の解像度が高いほど、逆モデルの最大値は0.5に近づく。しかし、クラスSの系に属する確率値に限定すれば、0.5よりも大きい最小値に対応する確率クラスpminが存在する。Sのケースではpmin=p1=2/3であり、より一般的には、クラスSの系ではpmin=p=(k+1)/(k+2)である。占有格子の最適解像度は従って、逆モデルの最大値がpminに等しいものである。これ以降は格子の間隔を狭くしても何らの情報も得られないまま計算負荷が増大する。
【0068】
上記にて説明したように、タイプSの確率クラスの系を用いる利点は、データ融合に添え字「n」すなわち整数の計算だけを必要とする点である。
【0069】
最初に
【数29】
のケースを考える。i,
【数30】
とする。式(12)に式(13)を代入して簡単な計算を実行することにより、次式
F(p,p)=pk・i・j (15)
が得られる。
【0070】
最初に
【数31】
のケースを考える。i,
【数32】
とする。式(12)に式(14)を代入して簡単な計算を実行することにより、次式
F(p,p)=pi+j+k・i・j (16)
が得られる。
【0071】
i=0ならば、確率pは0.5に等しく、従ってF(p,p)=pとなり、占有確率が0.5であるセンサは何らの情報も与えない。
【0072】
融合すべき確率の一方が0.5未満であるためクラス
【数33】
に関係し、他方が0.5より大きいためクラス
【数34】
に関係するケースがある。この場合、次式
【数35】
が得られる。
【0073】
整数比の計算結果は一般に整数とはならない。しかし、結果が整数、すなわち値が実際の結果に近い確率クラスの添え字となる整数除算「÷」を実行することは可能である。上式は従って次式
・i<0,j>0且つ|i|≧|j|ならば、F(p,p)=p(i+j)÷(1+k・j) (19)
・i<0,j>0且つ|i|≦|j|ならば、F(p,p)=p(i+j)÷(1−k・i) (20)
となる。
【0074】
式(19)および(20)の適用によりもたらされる誤差は、2個の連続するクラス間の最大距離により抑えられる。最大距離の2個のクラスはpおよびpであり、従って最大の誤差は次式
E(k)=p−p=k/(2k+4) (21)
により与えられる。
【0075】
ここで考える状況では2個のセンサが矛盾する情報を与える点に注意されたい。特定のケースでは、式(19)、(20)ではなく、従来技術で知られた矛盾を管理する規則を適用する方が好ましいであろう。例えば、特に潜在的に危険な衝突を回避する必要がある場合、占有確率の最も高い推定値を取ることが好ましいかもしれない。この場合、単に次式
F(p,p)=max(p,p) (22)
が得られる。
【0076】
応用上の利点を示すクラスの別の例示的な系は再帰的に定義することができる。
【0077】
pを厳密に0.5と1の間に存在する占有確率、すなわち0.5<p<1とする。従って数列pが次式
=0.5
=p
=F(p,p)
=F(p,p)
...
n+1=F(p,p) (23)
のように再帰的に定義される。
【0078】
次いで、pの定義を次式
=0.5
−1=1−p
−2=F(p−1,p−1
−3=F(p−2,p−1
...
n−1=F(p,p−1) (24)
のようにnの負の整数値に拡張する。
【0079】
次いで、パラメータp∈]0.5,1[を用いて以下のクラスの2個の系
【数36】
を定義する。ここに、pはnが正または負かに応じて(22)または(23)により定義される。クラス
【数37】
は構造的に無誤差である。実際、fが確率xによりf(x)=F(x,p)のように関連付けられた1変数関数を表すならば、
【数38】
であることが直ちに分かり、指数「」は「自身をi回掛け合わせる」ことを示す。従って、
【数39】
となる。
【0080】
上式から、
【数40】
が無誤差であることが推論される。∀x,y∈[0,1]に注意すれば、F(1−x,1−y)=1−F(x,y)となり、同じ推論を
【数41】
に適用でき、従って同じく無誤差である。
【0081】
【数42】
とおくことにより、本発明によるデータ融合手順に用いることができるクラスの新しい系が得られる。注目すべき点は、上で定義した系Sとは異なり、Gは定義する集合全体にわたり無誤差である。
【0082】
式(27)によりG内のクラスを融合する次式
【数43】
を見つけること可能になる。
【0083】
更に、パラメータpにより、量子化により生じた誤差を微細に制御することが可能になる。実際、p=1/2+εと置けば次式
E(p)=p−p=ε (29)
が得られる。
【0084】
系Gが極めて興味深いのは、融合全体を可能な最も簡単な方式(整数追加)で実行可能且つ無誤差にし、且つパラメータpの選択により、量子化により生じた誤差を抑制することが可能になる。
【0085】
図7Bにパラメータpの3個の値すなわち0.52、0.55、および0.7について系Gを示す。
【0086】
図9Aに、距離センサC、例えば機械式走査レーザーテレメータ(LIDAR)を備えた地上車両Vへの本発明の応用を示す。当該センサは車両前面の空間に対し1次元走査を複数回の実行し、各走査が取得「シート」を画定すべく構成されている。好適には、異なる高さで複数のシートN1、N2...が生成される。各走査を行う間、センサは測定値zのベクトルを生成し、各測定値は、各方向における歩行者、他の車両、道路の端の木等、障害物の存在、およびその距離を表す(例えばzが最大値を取るとき、センサの走査範囲内で障害物が検出されなかったことを示す)。一変型例として、同一位置に配置された(すなわち、距離測定の同一原点を有する)複数のセンサにより複数の取得シートを同時に生成することが可能になる。
【0087】
図9Bに、本出願に適した障害物認識システムを示す。本システムは、前記センサC(または同一位置に配置されたセンサの組)、およびセンサの各取得シートに対応する測定値のベクトルを入力として受信し、これらの取得シートのデータを融合して得られた占有格子を表す信号(典型的には整数のベクトル)を自身の出力端から配信するデータ処理モジュールMTD1受信を含んでいる。
【0088】
図9Bの実施形態において、データ処理モジュールMTD1は、占有確率を計算する複数のハードウェアブロックCO...CONC、およびいわゆる統合または融合計算用のハードウェアブロックFを含んでいる。占有確率を計算する各ブロックCOは、確率クラスの系、例えばSにより離散化された、センサCの添え字のシートの逆モデルを対応する文書テーブルの形式で格納しているメモリを含んでいる。ここで、融合された各種のシートの測定値であるため「シートの逆モデル」に言及する。複数のシートを取得すためにセンサを1個だけ用いる場合、当該1個のセンサは実際、各々がシートを取得する複数のセンサと同等であり、(たとえこれらの逆モデルが全て同一であっても)各々が自身の逆モデルを有している。
【0089】
各処理ブロックCOは従って各取得シートz(すなわちz...zNC)に対応する測定値を入力として受信し、占有格子を出力として格子の各種セルに関連付けられた確率クラスの添え字を表す整数gのベクトルの形式で配信する。従って、格子gは、シート単独の測定値、すなわち測定値zのベクトルを利用して推定された占有情報を含んでいる。
【0090】
統合ハードウェアブロックFは、各々が式(15)、(16)、(19)および(20)を実装した4個の組み合わせ論理回路F、F、FおよびFを含んでいる。統合ハードウェアブロックFは自身の入力端で占有格子g...gNCを受信し、整数すなわち当該統合格子の各種セルに関連付けられた確率クラスの添え字のベクトルで表された「統合」占有格子を自身の出力端から配信する。
【0091】
上記にて説明したように、式(19)および(20)は実装されない場合があり、従って、ブロックFおよびFは存在しないか、または検出の矛盾を管理する、例えば式21で表される規則(最大確率の選択)を実装する回路で代替されてもよい。
【0092】
各種の取得シートに関連付けられた逆モデルが同一ならば、ブロックCO...CONCも同一であって、連続的に処理を実行しながら占有確率を計算する単一のハードウェアブロックで代替することができる。
【0093】
データ処理モジュールMTD1はまた、他の任意の種類の距離センサに関連付けられていてよい。
【0094】
図10A、10Bは、各種の視点から実行される測定を利用して構築される占有格子を提供すべく協働する、異なる位置に配置された複数のセンサを用いる本発明の別の実施形態に関係している。これらのセンサは、精度、範囲、視野および/または取得速度の観点から技術的に多様であってよい。本実施形態において、第1の障害物の距離は測定を行うセンサに関する情報の項目である。シナリオの模式的な例を様々な位置に配置されていて異なる範囲および視野を有する2個のセンサC、Cを示す図10Aで表す。従って、障害物OはC、Cにより完全に異なる距離で観察される。
【0095】
本実施形態において、主な困難さは、占有格子とセンサが各々自身に関連付けられた固有のフレームを有していることである。従って、障害物の位置を評価するためにフレームの変更を実行する必要がある。
【0096】
図10Bに、本発明の上述の実施形態による障害物認識システムを示す。本システムは、一般に、同一位置には配置されておらず、且つ潜在的に異なる種類の「NC」個のセンサC、C...CNCおよびデータ処理モジュールMTD2を含んでいる。データ処理モジュールMTD2は、占有確率を計算するハードウェアブロックCO...CONCと、統合ハードウェアブロックFとの間に挿入されたフレーム変更ブロックR...RNCをも含んでいる点で図9Bのデータ処理モジュールMTD1とは異なる。これらのブロックRの各々は、各センサのフレームから、データ融合が実行されるいわゆる「統合」占有格子のフレームへの変更を実行する一般に浮動小数点計算装置を含んでいる。フレームを変更すべく実行される計算は、センサCのフレーム内で既知の位置の占有(整数gのベクトルで表す)を統合格子のフレームの対応セルに再び割当てるものである。統合格子のセルの占有を表す整数のベクトルを
【数44】
で表す。この再割当ては、並進、回転等の計算を仮定している。ブロックRの処理は例えば組み込み型プロセッサ(FPU:浮動小数点装置)の浮動小数点演算装置を用いて実行することができる。このケースでは同一のハードウェアブロックでブロックRの集合に対する計算を実行することができる(逐次処理)。
【0097】
一変型例として、フレームを更用する式は、モジュールRに含まれるメモリに保存された変換テーブルに保持することができる。従って、当該ケースであっても、浮動小数点計算を迂回して整数に対する演算だけを実行することが可能である。一方、これらの変換テーブルは相当大量になり得るため、それらの保存にはシリコン表面積の観点から無視できないコストを要する場合がある。
【0098】
図11に、図示しない単一のセンサCがスカラーまたはベクトル測定値z,zt+1,...zt+m...を所定の用途で必要とされるよりもN倍速い取得速度で取得する本発明の第3の実施形態を示す。占有確率COを計算するハードウェアブロックは測定値の各々に対して占有格子g,gt+1,...gt+m...を生成する。次に、ハードウェア融合ブロックFが、連続する時点で取得された当該格子のうちN個を単一の統合された格子gfusに融合する。統合された占有格子gfusは従って、センサ用途よりもN倍遅い速度で生成される。例えば、センサCが100Hzの速度動作するのに対し、想定する用途では10Hzの速度で充分な場合、10個の連続的に取得された値を融合することができる。
【0099】
図9B、10B、および11の実施形態において、複数の処理または少なくともそのいくつかをハードウェア計算ブロック、すなわち専用デジタル回路で実行するケースを考えた。しかし、本発明はまた、完全にまたは部分的に、複数の処理または少なくともそのいくつかを適切にプログラミングされた汎用プロセッサにより実行されるソフトウェアにより実装されていてよい。
図1
図2
図3
図4
図5A
図5B
図5C
図5D
図6A
図6B
図6C
図6D
図7A
図7B
図8
図9A
図9B
図10A
図10B
図11