特開 2023-88863 障害物検出システムの性能を評価するための方法及びユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023088863

(43)【公開日】2023-06-27

(54)【発明の名称】障害物検出システムの性能を評価するための方法及びユニット

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230620BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022193542

(22)【出願日】2022-12-02

(31)【優先権主張番号】21214792.0

(32)【優先日】2021-12-15

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】521527211

【氏名又は名称】ボルボ・オートノマス・ソリューションズ・アクチエボラグ

【氏名又は名称原語表記】Ｖｏｌｖｏ Ａｕｔｏｎｏｍｏｕｓ Ｓｏｌｕｔｉｏｎｓ ＡＢ

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100168642

【弁理士】

【氏名又は名称】関谷 充司

(74)【代理人】

【識別番号】100169018

【弁理士】

【氏名又は名称】網屋 美湖

(74)【代理人】

【識別番号】100217076

【弁理士】

【氏名又は名称】宅間 邦俊

(72)【発明者】

【氏名】リーナス・ハグヴァル

(72)【発明者】

【氏名】ステファン・ベリクウィスト

(72)【発明者】

【氏名】クリスタン・グランテ

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181AA25

5H181CC03

5H181CC04

5H181CC14

5H181LL01

5H181LL02

(57)【要約】      （修正有）

【課題】ビークル内の障害物検出システムの性能を評価するための改善された方法を提供する。
【解決手段】本発明は、限定区域における２つ以上のオブジェクトのセット内の第１のオブジェクトに含まれた障害物検出システムの性能を評価するための中央ユニットによって実行される方法に関する。第１のオブジェクトはビークルである。中央ユニットは、セット内の各オブジェクトからポーズデータを取得し、及び少なくとも第１のオブジェクトから障害物検出データを取得する。中央ユニットは、各オブジェクトからのポーズデータを用いて、オブジェクトの相対ポーズを特定する。中央ユニットは、セット内の各オブジェクトからの障害物検出データを特定されたオブジェクトの相対ポーズと比較する。比較に基づいて、中央ユニットは、第１のオブジェクトの障害物検出システムの性能を評価する。
【選択図】図１

【特許請求の範囲】

【請求項1】

限定区域（１０２）における２つ以上のオブジェクト（１００ａ、１００ｂ）のセット内の第１のオブジェクト（１００ａ）に含まれた障害物検出システムの性能を評価するために中央ユニット（１０３）によって実行される方法であって、前記第１のオブジェクト（１００ａ）はビークルであり、
前記セット内の各オブジェクト（１００ａ、１００ｂ）からポーズデータを取得し、及び少なくとも前記第１のオブジェクト（１００ａ）から障害物検出データを取得すること（２０１ａ、２０１ｂ、２０２ａ、２０２ｂ、３０１）と、
各オブジェクト（１００ａ、１００ｂ）からのポーズデータを用いて、前記オブジェクト（１００ａ、１００ｂ）の相対ポーズを特定すること（２０３、３０３）と、
前記障害物検出データを特定された相対ポーズと比較すること（２０４、３０４）と、
前記比較に基づいて、前記第１のオブジェクト（１００ａ）の前記障害物検出システムの性能を評価すること（２０５、３０５）と、
を含む、方法。

【請求項2】

前記セット内の少なくとも第２のオブジェクト（１００ｂ）は、ビークルである、請求項１に記載の方法。

【請求項3】

前記セット内の少なくとも第２のオブジェクト（１００ｂ）は、静的なオブジェクトである、請求項１又は２に記載の方法。

【請求項4】

前記障害物検出システムの性能は、前記ポーズデータ及び前記障害物検出データが取得される間の前記第１のオブジェクト（１００ａ）の少なくとも１つの動作状況について評価される、請求項１～３のいずれか１つに記載の方法。

【請求項5】

前記少なくとも１つの動作状況は、
・ 気象状態、及び、
・ 光状態
のうちの少なくとも１つである、請求項４に記載の方法。

【請求項6】

前記障害物検出システムの前記性能は、前記ポーズデータ及び前記障害物検出データが取得されるときの前記第１のオブジェクト（１００ａ）の少なくとも１つのオブジェクト特性について評価される、請求項１～５のいずれか１つに記載の方法。

【請求項7】

前記少なくとも１つのオブジェクト特性は、
・ 連結角、
・ ヨーレート、
・ オブジェクト速度、
・ オブジェクト加速度、及び、
・ 道路に対するオブジェクト位置
のうちの少なくとも１つである、請求項６に記載の方法。

【請求項8】

オブジェクトが配置されていない前記限定区域（１０２）のサブ区域を示すオブジェクト無しデータを取得すること（３０２）、
を含み、
前記障害物検出データは、前記オブジェクト無しデータとさらに比較され、前記性能の評価において誤検出の障害物検出データが存在するか否かを検出するために用いられる、請求項１～７のいずれか１つに記載の方法。

【請求項9】

前記限定区域（１０２）のサブ区域で取得された基準を満たさないぽーズデータ及び障害物検出データは前記評価から除外される、請求項１～８のいずれか１つに記載の方法。

【請求項10】

限定区域（１０２）における２つ以上のオブジェクト（１００ａ、１００ｂ）のセット内の第１のオブジェクト（１００ａ）に含まれた障害物検出システムの性能を評価するための中央ユニット（１０３）であって、前記第１のオブジェクト（１００ａ）はビークルであり、請求項１～９のいずれか１つに記載の方法のステップを実行するように構成されている、中央ユニット（１０３）。

【請求項11】

コンピュータプログラムであって、コンピュータ上で実行されたときに請求項１～９のいずれか１つに記載のステップを実行するためのプログラムコード手段を含む、コンピュータプログラム。

【請求項12】

コンピュータプログラムを担持するコンピュータ可読媒体であって、前記プログラムがコンピュータ上で実行されたときに、請求項１～９のいずれか１つに記載のステップを実行するためのプログラムコード手段を含む、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、中央ユニット及び中央ユニットによって実行される方法に関する。より詳細には、本開示は、限定された区域（限定区域）における２つ以上のオブジェクトのセット内のビークル（vehicle）である第１のオブジェクトに含まれた障害物検出システムの性能を評価することに関する。

【0002】

本発明は、トラック、バス、及び建設機械などの大型のビークルに適用され得る。本発明は、トラックに関して説明されるが、本発明は、この特定のビークルに限定されず、バス、トレーラ、ホイールローダ、アーティキュレーテッドホーラ、エクスカベータ（掘削機）、バックホウローダ、乗用車、海上船舶などの他のビークルにおいて用いられてもよい。本発明はまた、例えば、電動式船舶の電気システムにおいて、及び様々な産業建設機械や作業機械において適用されてもよい。本発明は、完全に電動式のビークルだけではなく、燃焼機関も含むハイブリッド型のビークルにも適用可能である。

【0003】

本発明は、部分的自律型のビークルや完全自律型のビークルに適用され得る。

【背景技術】

【0004】

ビークルは、さまざまな目的のために多数のセンサ及びシステムを含む。ビークルの安全性を確保するには、通常、高い完全性（integrity）と、特定のエラーの頻度が極めて低いこととが要求される。これは、非自律型のビークルにとっても、特に少なくとも部分的に自律型のビークルにとっても重要である。安全性の面で課題となる１つ分野は、ビークルの周囲に関するデータの認識である。これは、高い性能を達成する場合もそうであるが、性能のレベルの妥当性を確認する場合にはなおさらそうであろう。

【0005】

認識に関して高い完全性を保証することは、（一番とは言わないまでも）最も困難な問題のうちの１つとなっており、より困難なユースケースが自動化されることや自律性のレベルを向上させることを妨げている。既存の解決策は、多くの場合、大量の試験を必要とする認識システムやセンサに依存している。スマートなアプローチを見出さなければ、必要とされる量の試験を実施することは、多くの場合、実際的な観点及び経済的な観点のどちらからも不可能である考えられる。

【0006】

必要とされるデータ量に影響を及ぼし得るさまざまな統計的方法論及びさまざまな種類の独立変数が存在するが、データの収集と処理の問題が依然として残っている。

【0007】

センサの性能を証明するための１つの一般的な解決策は、センサデータをより高度なセンサによって提供されるグラウンドトゥルースデータと比較することであるが、より高度なセンサは、一般に、意図される製品センサよりもはるかに高価である。グラウンドトゥルースセンサは、真であると考えられるデータ、すなわち、正しいと考えられるデータを提供するセンサとされてよい。しかし、多くのユースケースの安全要求を満たすのに十分なほどに故障率が低いグラウンドトゥルースセンサが存在しないという問題がある。

【0008】

したがって、この課題を少なくとも軽減するか又は解決することが必要とされている。

【発明の概要】

【0009】

本発明の目的は、ビークル内の障害物検出システムの性能を評価するための改善された方法を提供することである。

【0010】

第１の態様によれば、目的は、請求項１に記載の方法によって達成される。本方法は、中央ユニットによって実行され、限定区域における２つ以上のオブジェクトのセット内の第１のオブジェクトに含まれた障害物検出システムの性能を評価するためのものである。第１のオブジェクトはビークルある。制御ユニットは、セット内の各オブジェクトからポーズデータ（pose data）を取得し、及び少なくとも第１のオブジェクトから障害物検出データを取得する。制御ユニットは、各オブジェクトからのポーズデータを用いて複数のオブジェクトの相対ポーズ（relative pose of objects）を特定する（求める）。制御ユニットは、障害物検出データを特定された（求められた）相対ポーズと比較する。比較に基づき、制御ユニットは、第１のオブジェクトの障害物検出システムの性能を評価する。本方法の提供により、障害物検出システムの性能を評価する利点がもたらされる。障害物検出システムは、ビークルにおいて安全上重要なシステムであり、したがって、障害物検出システムの性能が評価されるときに本発明の方法が提供されることで安全性が改善される。多くのユースケース／状況にとっては、障害物検出システムと比べて高い完全性を有するローカライゼーション（位置特定）システムを構築する方がかなり容易である。本発明により、既知の解決策と比べて、障害物検出システムの妥当性確認及び評価がより容易になり、要する時間も少なくなる。さらに、本発明は、多くの自動運転（ＡＤ：ａｕｔｏｍａｔｉｃ ｄｒｉｖｉｎｇ）のユースケースのために必要な程度の障害物検出システムの評価を可能にする。

【0011】

既知の障害物検出システムが一定の要求又は性能を満足しない限り、自動運転ビークル（ＡＤビークル）は、多くのユースケースに展開させることができない。しかし、本発明により、多くの種類のＡＤ展開のためのストッパ、すなわち、障害物検出システムが展開されるべきでないと評価される種類のためのストッパが提供される。

【0012】

一実施形態によれば、セット内の少なくとも第２のオブジェクトはビークルであってもよい。したがって、第１のオブジェクトと第２のオブジェクトの両方がビークルであり、ビークルは、動的なオブジェクト、すなわち、動くオブジェクト又は動くことが可能なオブジェクトと見なされてよい。例えば、静止しているビークルは、動くように構成されているので、動的なオブジェクトである。例えば、性能の評価の品質及び信頼性を向上させるために、障害物検出システムが検出できるはずの全ての種類のオブジェクトで比較を行うことは利点であり得る。安全性の観点からは、障害物検出システムの他の動くオブジェクトを検出する能力、例えば、他のビークルを検出する能力が、静的なオブジェクトを検出する能力と比べて高い優先度を有してもよい。異なる種類のオブジェクト、例えば、岩石とビークルの両方に基づいて性能が評価されることで、評価の品質及び信頼性が向上し得る。

【0013】

一実施形態によれば、セット内の少なくとも第２のオブジェクトは静的なオブジェクトであってもよい。静的なオブジェクトは、岩石や住宅などの動かないオブジェクトであってよい。これの利点は、障害物検出システムの性能の評価において異なる種類のオブジェクトが考慮され得ることで性能の評価の品質及び信頼性が向上し得ることである。

【0014】

別の実施形態によれば、障害物検出システムの性能は、ポーズデータ及び障害物検出データが取得されている間の第１のオブジェクトの少なくとも１つの動作状況（operating condition）について評価されてもよい。少なくとも１つの動作状況を用いる利点は、障害物検出システムがどの動作状況において十分な品質及び精度を有する出力データを提供するのか、及び障害物検出システムがどの動作状況において不十分な品質及び精度を有する出力データを提供するのかを特定することが可能であることであり得る。不十分な品質及び精度を有する出力データは無視されてよい。さまざまな動作状況を区別することは、特定の条件の下で障害物検出システムを用い、他の条件の下では障害物検出システムを用いないようにすることを可能にし得るであろう。これが可能でない場合、障害物検出システムが全ての動作状況について十分に安全であることを証明することは不可能になるであろう。というのも、実際には全ての動作状況にならないと考えられるからである。一例として、障害物検出システムがカメラを含む場合、それは光状態に対して敏感である可能性がある。カメラが日中にのみ動作する場合には、日中用の動作状況が用いられてよく、性能の評価の結果が、障害物検出システムが要求性能を有することを示してもよい。動作状況が考慮されない場合には、日中と夜間の両方で取得されたデータが評価において用いられてもよい。夜間に取得されたデータは、低品質であるか、又は役に立たないデータであることがある。したがって、動作状況が考慮される場合、評価の品質及び精度が向上し、特定の動作状況に対して障害物検出システムのための安全性要求を満足する可能性も増大し得る。

【0015】

さらなる実施形態によれば、少なくとも１つの動作状況は、気象状態及び光状態のうちの少なくとも１つであってよい。これは、妥当性確認と開発の両方の側面で役立つことができるという点で利点になり得る。例えば、ルクス（照度）がＸを上回る場合、障害物検出システムは高性能に達し、Ｘ未満の場合、障害物検出システムは中性能に達成すると判断することが可能になり得るあろう。そして、特定の条件の下で、例えば、１日のうちの特定の時間帯においてオブジェクト検出システムを信頼することが可能になり得るであろう。少なくとも１つの動作状況を用いることは、１日のうちの一部、特定の気象状態などに対する安全性を証明することを可能にし得る。それはまた、動作状況の特定のセット以外の他の全て動作状況については安全でない可能性があるにしても、動作状況の特定のセットについての安全性を証明することを可能にし得る。

【0016】

別の実施形態によれば、障害物検出システムの性能は、ポーズデータ及び障害物検出データが取得されたときの第１のオブジェクトの少なくとも１つのオブジェクト特性についてさらに評価されてもよい。少なくとも１つのオブジェクト特性を用いる利点は、障害物検出システムがどのオブジェクト特性において十分な品質及び精度を有する出力データを提供するのか、及び障害物検出システムがどのオブジェクト特性において不十分な品質及び精度を有する出力データを提供するのかを特定することが可能であることであり得る。不十分な品質及び精度を有する出力データは無視されてよい。例えば、評価がＸｋｍ／ｈよりも速く動くオブジェクトについてなされた場合に、性能が悪い又は閾値未満であると評価されてもよい。データを区別することが可能であれば、Ｘｋｍ／ｈ未満のオブジェクトについては性能がしっかりとしていると評価することも可能である。したがって、少なくとも１つのオブジェクト特性が考慮される場合、評価の品質及び信頼性が向上する。

【0017】

さらなる実施形態によれば、少なくとも１つのオブジェクト特性は、連結角、ヨーレート、オブジェクト速度、及びオブジェクト加速度のうちの少なくとも１つであり得る。これは、妥当性確認と開発の両方の側面で役立つことができるという点で利点になり得る。例えば、障害物検出システムは、オブジェクト特性がＸ未満の場合に障害物検出システムが高性能に達し、オブジェクト特性がＹ未満の場合に障害物検出システムが中性能に達すると判断することが可能になり得るであろう。そして、ビークルがＸ未満である速度で走行しているときなどのオブジェクト特性の間、オブジェクト検出システムを信頼することが可能になり得るであろう。

【0018】

さらなる実施形態によれば、中央ユニットは、オブジェクトが配置されていない限定区域のサブ区域を示すオブジェクト無しデータを取得してもよい。障害物検出データは、オブジェクト無しデータとさらに比較され、性能の評価において、誤検出の障害物検出データが存在するかどうかを検出するために用いられてもよい。限定区域が完全な限定区域である場合には、オブジェクト検出システムによる検出が存在してはならない場所はどこであるか、例えば、他のビークルや静的なオブジェクトが存在しない全ての場所を知ることが可能になり得る。したがって、正しい検出が、それらが取得されるべきときに取得されたことをチェックするだけでなく、オブジェクト検出システムが存在しないオブジェクトを検出した状況を追跡することも可能である。組み合わせて、このことは、オブジェクト検出システムによる真／偽（true/false）－正／負（positive/negative）の読み取りの全ての組み合わせを妥当性確認するのに適したデータを作成することが可能になり得ることを意味する。

【0019】

別の実施形態によれば、限定区域のサブ区域で取得された所定の基準を満たさないポーズデータ及び障害物検出データは、評価から除外されてもよい。限定区域内の特定のサブ区域については、中央ユニット、例えば、オフボード（ビークル外）ユニットが全てのオブジェクトの正確な位置及び動きを知ることができたとする根拠を示すのが困難な場合があり、それらの場合、そのようなゾーンで収集された全てのデータは除外されてもよい。これは、例えば、公道との交差点が限定区域内に含まれる場合であってよい。これの利点は、関心のあるオブジェクトからのデータのみが本方法において利用されることになるということであり得る。これにより、本方法の品質が向上する。一部の限定区域は、連続的に変化することがある。例えば、鉱山では、より多くの鉱物が採掘されて現場から除去されるにつれて、特定の区域の周囲が継続的に変化する。

【0020】

本発明の第２の態様によれば、目的は、請求項１０に記載の中央ユニットによって達成される。中央ユニットは、限定区域における２つ以上のオブジェクトのセット内の第１のオブジェクトに含まれた障害物検出システムの性能を評価するためのものである。第１のオブジェクトは、ビークルである。中央ユニットは、第１の態様において説明される方法のステップを実行するように構成されている。中央ユニットは、方法を実行するための処理回路を含む電子中央ユニットであってもよい。中央ユニットは、コンピュータであってもよい。中央ユニットは、ハードウェアを、あるいは、ハードウェアとソフトウェアとを含んでもよい。中央ユニットの利点及び効果は、方法の利点及び効果と大部分で類似している。さらに、方法の全ての実施形態は、中央ユニットの全ての実施形態に適用可能であり、それらと組み合わせることが可能であり、その逆も同様である。

【0021】

本発明の第３の態様によれば、目的は、請求項１１に記載のコンピュータプログラムによって達成される。コンピュータプログラムは、当該プログラムがコンピュータ上で実行されたときに、本明細書において説明される実施形態のうちのいずれか１つに係る方法のステップを実行するためのプログラムコード手段を含んでもよい。コンピュータプログラムの利点及び効果は、方法の利点及び効果と大部分で類似している。さらに、方法の全ての実施形態は、コンピュータプログラムの全ての実施形態に適用可能であり、それらと組み合わせることが可能であり、その逆も同様である。

【0022】

本発明の第４の態様によれば、目的は、請求項１２に記載のコンピュータ可読媒体によって達成される。コンピュータ可読媒体は、コンピュータプログラムを担持してもよく、コンピュータプログラムは、当該プログラムがコンピュータ上で実行されたときに、本明細書において説明される実施形態のうちのいずれか１つに係る方法のステップを実行するためのプログラムコード手段を含む。コンピュータ可読媒体の利点及び効果は、方法の利点及び効果と大部分で類似している。さらに、方法の全ての実施形態は、コンピュータ可読媒体の全ての実施形態に適用可能であり、それらと組み合わせることが可能であり、その逆も同様である。

【0023】

本発明は、上述の特徴及び利点に限定されない。当業者であれば、以下の詳細な説明を読むことで追加の特徴及び利点を認識するであろう。

【図面の簡単な説明】

【0024】

【図1】ビークルを示す概略図である。

【図2】限定区域を示す概略図である。

【図3】方法を示すフローチャートである。

【図4】方法を示すフローチャートである。

【図5】中央ユニットを示す概略図である。

【発明を実施するための形態】

【0025】

以下、添付の図面を参照して、例として挙げられた本発明の実施形態について詳細に説明する。

【0026】

図面は必ずしも原寸に比例しておらず、特定の特徴の寸法は、理解しやすいように誇張されている場合がある。その代わりに、原理を示すことに重点が置かれている。

【0027】

図１は、ビークル１００を示す。ビークル１００は、トラック、バス、建設機械、トレーラ、ホイールローダ、エクスカベータ（掘削機）、乗用車、海上船舶、作業機械などの大型のビークルであってよい。ビークル１００は、完全に電動式のビークルであってもよいし、さらに燃焼機関を含むハイブリッド型のビークルであってもよいし、燃焼機関のみを含むビークルであってもよい。ビークル１００は、完全自律型のビークルであってもよいし、少なくとも部分的に自律型のビークルであってもよいし、非自律型のビークルであってもよい。

【0028】

本明細書で使用される方向、例えば、水平、鉛直、横方向は、ビークル１００が平坦な地面の上で停止しているときに関するものである。便宜上、図１に示されるようなビークル１００は、本明細書においてデカルト（直交）座標系に関して定義され、ビークル１００の縦（前後）方向の延長は、デカルト座標系のｘ軸に沿って延び、ビークル１００の横（左右）方向の延長は、デカルト座標系のｙ軸に沿って延び、ビークル１００の高さ方向の延長は、デカルト座標系のｚ軸に沿って延びる。但し、方向、場所（位置）、向きなどは、任意の他の種類の座標系で表され得ることに留意されたい。

【0029】

図２は、限定区域１０２を示す。限定区域１０２は、任意の適切な手段によって限定された地理的な区域である。図２における限定区域１０２は長方形として示されているが、これは単なる例にすぎず、限定区域１０２は任意の好適なサイズ及び形状のものであってよいことを理解されたい。限定区域１０２は少なくとも１つのビークル１００が試験される試験場であってもよいし、あるいは、例えば、都市における公道の集合体や港湾区域などの他の任意の区域であってもよい。

【0030】

２つ以上のオブジェクト１００ａ、１００ｂのセット、例えば、第１のオブジェクト１００ａ及び第２のオブジェクト１００ｂが限定区域１０２に含まれる。以下においては、２つ以上のオブジェクト１００ａ、１００ｂのセットが２つのオブジェクトを含む例が用いられる。但し、任意の数のオブジェクト１００が限定区域１０２に含まれてよい。本明細書において、文字ａ又は文字ｂを有しない参照符号１００が使用される場合、それは限定区域１０２における任意のオブジェクト１００を指す。図２に見られる例では、第１のオブジェクト１００ａはオブジェクトＡと称され、第２のオブジェクト１００ｂはオブジェクトＢと称される。

【0031】

図２に見られるように、限定区域１０２に含まれる中央ユニット１０３が存在する。中央ユニット１０３は、限定区域１０２内のオブジェクト１００のうちの少なくとも一部を追跡するように構成されている。中央ユニット１０３は、それが、限定区域１０２内の全てのオブジェクト１００又はオブジェクト１００のうちの少なくとも一部に関するデータを有するという点で、オブジェクト１００に関して中心的なものである。中央ユニット１０３は、本明細書において説明される方法を実行するための処理回路を含む電子制御ユニットであってよい。中央ユニット１０３は、コンピュータであってもよい。中央ユニット１０３は、ハードウェアを含んで、あるいは、ハードウェア及びソフトウェアを含んで構成されてもよい。中央ユニット１０３は、プロセッサ、メモリ、送信機、受信機などを含んでもよい。中央ユニット１０３は、限定区域１０２内の任意の適切な位置に配置されてよい。中央ユニット１０３は、ビークル１００の外部に配置された外部サーバ（ビークル外サーバ）であってよい。

【0032】

次に、２つ以上のオブジェクト１００ａ、１００ｂのセットに含まれるオブジェクト１００ａ、１００ｂについて詳細に説明する。セット内のオブジェクト１００ａ、１００ｂのうちの一方は、動的なオブジェクト、すなわち、動くオブジェクトであり、他方は、静的なオブジェクト、すなわち、動かないオブジェクトであってもよいし、あるいは、セット内のオブジェクト１００ａ、１００ｂの両方が動くオブジェクトであってもよい。図２に示される例では、第１のオブジェクト１００ａと第２のオブジェクト１００ｂの両方が動くオブジェクトである。

【0033】

第１のオブジェクト１００ａは、ビークル、例えば、図１に示されたビークル１００であり、そのため、エゴオブジェクト、第１ビークル、ビークルＡ、又はエゴビークルと称されることがある。図２に示される例では、第２のオブジェクト１００ｂもビークルであり、そのため、第２ビークル又はビークルＢと称される。なお、第２のオブジェクト１００ｂは、代わりに、静的なオブジェクト、すなわち、動かないオブジェクトであってもよいが、この例については本明細書において詳細に説明されない。

【0034】

第１オブジェクト１００ａ、すなわち、第１ビークルやビークルＡとも称されるビークルは、障害物検出システムを含む。障害物検出システムは、第１ビークル１００ａの周囲にある障害物、例えば、第２のオブジェクト１００ｂを検出するように構成されている。障害物検出システムがどの種類の障害物を検出するできるのかは、障害物検出システムがどのセンサを含んでいるかに依存してよい。障害物検出システムは、オブジェクト検出システム又は認識システムと称されてもよい。障害物検出システムが検出する障害物は、障害物検出システムがどのセンサを含むのかに応じて、例えば、他のビークル、人、住宅（家屋）、信号機などの任意の種類の障害物であってよい。障害物検出システムが検出する障害物は、静的なもの、すなわち、動かないものであってもよいし、動的なもの、すなわち、動くものであってもよい。障害物検出システムは、例えば、カメラ、ライダー、レーダなどの異なる種類の又は同じ種類の１つ又は複数のセンサを含んでもよい。障害物検出システムは、第１ビークル１００ａの内部及び／又は外部の任意の適切な場所（複数可）に配置され得る。第１のオブジェクト１００ａに含まれる障害物検出システムは、図２において点線の三角形で示されるような障害物検出視野を有する。障害物検出視野の三角形形状は単に一例にすぎず、障害物検出視野は任意の適切な形状及びサイズを有してもよいことに留意されたい。障害物検出視野内において、障害物検出システムは、限定区域１０２内の障害物を検出するように構成されている。障害物検出システムは、障害物検出視野内の障害物を示す出力を提供するように構成されている。出力は、検出されたオブジェクトの位置、検出されたオブジェクトの形状、検出されたオブジェクトの速度などを含んでもよい。

【0035】

第２のオブジェクト１００ｂもビークル、すなわち、第２ビークル１００ｂである図２に示される例において、第２ビークル１００ｂは、第２ビークル１００ｂの周囲にある障害物を検出するように構成された障害物検出システムを含む。第２ビークル１００ｂに含まれた障害物検出システムは、第１ビークル１００ａに含まれたものと同様であり、同様のタイプの出力を提供してもよい。第１のオブジェクト１００ａが図２において視野を有するように示された唯一のオブジェクトであるが、第２のオブジェクト１００ｂもまた、視野、ひいては障害物検出システムを有してもよい。但し、簡単にするために、これは図２には示されていない。

【0036】

第１ビークル１００ａを含む２つ以上のオブジェクトのセットの各ビークルは、自身のポーズ、すなわち、位置及び向き（進行方向）を特定するように構成されている。各ビークル１００によって特定されたポーズは、高い完全性又は閾値を超える完全性を有し得るもの、すなわち、それは正確であり、グラウンドトゥルースデータになると考えられる。各ビークルに含まれたローカライゼーション（位置特定）システムは、それを介してポーズが取得されるのであるが、グラウンドトゥルースシステムであると、つまり、高い完全性を有すると考えられる（見なされる）。セット内の各ビークル１００は、任意の適切な特定手段、例えば、ポーズセンサなどを用いて、自身のポーズを特定するように構成されている。簡略化のため、第１ビークル１００ａ及び第２ビークル１００ｂの位置のみが図２に示されており、位置は、座標（ｘ１，ｙ１）、座標（ｘ２，ｙ２）で示されている。座標は、デカルト座標であってもよいし、任意の他の種類の座標であってもよい。

【0037】

前述のように、第２のオブジェクト１００ｂは、動的なオブジェクト、例えば、ビークルなどの動くオブジェクトであってもよいし、静的なオブジェクト、すなわち、動かないオブジェクトであってもよい。第２のオブジェクト１００ｂは、それが第２ビークルである場合、自身のポーズを特定するように構成されている。第１ビークル１００ａの場合と同様、第２ビークル１００ｂによって特定されたポーズは、完全性が高いものであり、すなわち、正確であると考えられる。第２ビークル１００ｂは、任意の適切な特定手段、例えば、ポーズセンサなどを用いて、自身のポーズを特定するように構成されている。簡略化のため、第２ビークル１００ｂの位置のみが図２に示されており、位置は、座標（ｘ２，ｙ２）を用いて示されている。座標は、デカルト座標であってもよいし、任意の他の種類の座標であってもよい。

【0038】

第２のオブジェクト１００ｂが、静的なオブジェクト、すなわち、動かないオブジェクトである場合、第２のオブジェクト１００ｂもまた、第２のオブジェクト１００ｂに含まれた任意の適切な特定手段を用いて、自身のポーズを特定するように構成されてもよい。第２のオブジェクト１００ｂが信号機などの静的なオブジェクトである例を考える。静的なオブジェクトである信号機は、例えば、ＧＰＳユニット又は信号機自身のポーズを特定することを可能にする任意の他の適切なポーズ特定ユニットを含んでもよい。第２のオブジェクト１００ｂが住宅である別の例では、第２のオブジェクト１００ｂは、必ずしも自身のポーズを特定するように構成されていなくてもよい。但し、住宅のポーズは、地図データ又はデータベースから知られ得る。したがって、第２のオブジェクト１００ｂのポーズ、例えば、住宅のポーズは、地図から中央ユニット１０３によって取得されてもよい。

【0039】

第１のオブジェクト１００ａと第２のオブジェクト１００ｂの間の相対位置は、第２のオブジェクト１００ｂのポーズを第１のオブジェクト１００ａのポーズから減算することによって特定されてもよい。図２に見られる位置（ｘ１，ｙ１）及び位置（ｘ２，ｙ２）を有する例を用いると、相対位置は（ｘ１－ｘ２，ｙ１－ｙ２）であってよい。

【0040】

限定区域１０２には同じ地理的区域内で動作する複数のオブジェクト１００ａ、１００ｂが存在する。これらのオブジェクト１００ａ、１００ｂが、それら自身の位置又はポーズ（すなわち、位置及び進行方向）を高い完全性を有して特定し得ること考慮すると、オブジェクト１００ａ、１００ｂの相対ポーズを特定することが可能である。これは、例えば、各オブジェクト１００ａ、１００ｂがそれらのポーズデータを中央ユニット１０３に送信し、中央ユニット１０３が絶対ポーズを互いに比較することによって行われ得る。

【0041】

２つの異なるオブジェクト１００ａ、１００ｂの相対ポーズは、障害物検出システムのための妥当性確認データを生成するための有用な情報である。いくつかの場合、例えば、自律ビークルを有する自律動作ゾーンの場合、自律ビークル以外の動くオブジェクト１００ａ、１００ｂが限定区域１０２に存在しないことが分かっている。それらの場合、そのことは、障害物検出システムが、検出すべき全ての動的なオブジェクトの位置を特定することが可能であることを意味する。

【0042】

オブジェクト１００が障害物検出システムを備えて全ての検出された障害物のデータを中央ユニット１０３に提供する場合、検出された障害物を限定区域１０２における全ての他のオブジェクト１００の位置と比較することが可能である。これらの比較を集約することにより、異なる視野又は異なる種類のオブジェクト１００について、異なる側面のための性能指標（performance metrics）を集めることが可能になるであろう。

【0043】

２つの異なるオブジェクト１００ａ、１００ｂのためのローカライゼーション及びエゴモーションシステムの出力を用いることにより、障害物検出システムのための高品質のグラウンドトゥルースデータを自動的に生成することが可能になるであろう。そして、次のステップにおいて、グラウンドトゥルースデータは、例えば、性能指標を生成するため、一方又は両方のオブジェクト１００からの障害物検出結果と比較されてもよい。これは、大幅な追加のコストを伴うことなく、商業的に運営されている現場において容易に実施され得るので、妥当性確認及び／又は開発のための大量のラベル付きデータを集めることが可能になり得る。この種のデータは、複数のセンサが組み合わされた複合障害物検出システムのためにも、個々のセンサのためにも用いられ得る。

【0044】

図３は、限定区域１０２における２つ以上のオブジェクト１００ａ、１００ｂのセット内の第１のオブジェクト１００ｂに含まれた障害物検出システムの性能を評価するための方法を示すフローチャートである。図３は、第１のオブジェクト１００ａが第１ビークルであり、第２のオブジェクト１００ｂが第２ビークルである例に基づいている。換言すれば、セット内のオブジェクトは、どちらも動的なオブジェクト、例えば、動くオブジェクトである。図３に例示される方法は、以下のステップのうちの少なくとも１つを含む。これらのステップは、後述されるものの他、任意の適切な順序で実行され得る。

【0045】

ステップ２０１ａ
第１ビークル１００ａは、ポーズデータ、例えば、ポーズＡを中央ユニット１０３に提供する。ポーズデータは、第１ビークル１００ａの位置データと進行方向データを含む。ポーズデータは、例えば、第１ビークル１００ａに含まれたローカライゼーション及びエゴモーションシステムを介して第１ビークル１００ａ自身によって取得される。第１ビークル１００ａによって取得されたポーズデータは、すでに妥当性確認済みであると、すなわち、それらは高い完全性を有するのものであるとみなされ得る。

【0046】

ステップ２０１ｂ
第２ビークル１００ｂは、ポーズデータ、例えば、ポーズＢを中央ユニット１０３に提供する。ポーズデータは、第２ビークル１００ｂの位置データと進行方向データを含む。ポーズデータは、例えば、第２ビークル１００ｂに含まれたローカライゼーション及びエゴモーションシステムを介して第２ビークル１００ｂ自身によって取得される。第２ビークル１００ｂによって取得されたポーズデータは、すでに妥当性確認済みであると、すなわち、それらは高い完全性を有するのものであるとみなされ得る。

【0047】

ステップ２０１ａ及びステップ２０１ｂが実行された後、中央ユニット１０３は、限定区域１０２内の全てのオブジェクト１００についてのポーズデータを有する。

【0048】

ステップ２０２ａ
第１ビークル１００ａは、障害物検出データ、例えば、障害物検出Ａを中央ユニット１０３に提供する。障害物検出データは、第１ビークル１００ａによって検出された障害物の位置を含み得る。第１ビークル１００ａは、自身の障害物検出システムから障害物検出データを取得する。障害物検出システムは、妥当性確認がなされていないと見なされる。このことは、すでに妥当性確認済みであると見なされるポーズデータとは対照的である。そのため、障害物検出データは、妥当性確認済みでない。障害物検出データは、位置に加えて、例えば、さまざまな方向の速度や加速度などの他のデータを含んでもよい。

【0049】

ステップ２０２ｂ
第２ビークル１００ｂは、障害物検出データ、例えば、障害物検出Ｂを中央ユニット１０３に提供してもよい。障害物検出データは、第２ビークル１００ｂによって検出された障害物の位置を含み得る。第２ビークル１００ｂは、自身の障害物検出システムから障害物検出データを取得する。障害物検出システムは、妥当性確認がなされていないと見なされる。このことは、すでに妥当性確認済みであると見なされるポーズデータとは対照的である。そのため、障害物検出データは、妥当性確認済みでない。障害物検出データは、位置に加えて、例えば、さまざまな方向の速度や加速度などの他のデータを含んでもよい。

【0050】

ステップ２０２ｂは、第２のオブジェクト１００ｂがビークル、例えば、第２ビークル１００ｂであり、且つ第２のオブジェクト１００ｂが障害物検出システムを含む場合に実行され得る。例えば、第２のオブジェクト１００ｂが静的なオブジェクト、例えば、岩石や住宅である場合には、第２のオブジェクト１００ｂは、必ずしも障害物検出システムを含んでいるとは限らず、そのため、障害物検出データを提供しない。

【0051】

ステップ２０１ａ、ステップ２０１ｂ、ステップ２０２ａ及びステップ２０２ｂは、任意の適切な順序で実行されてよい。

【0052】

ステップ２０２ａ及びステップ２０２ｂが実行された後、中央ユニット１０３は、限定区域１０２内の少なくとも１つのオブジェクト１００からの障害物検出データ、つまり、オブジェクト１００のうちの少なくとも１つ、すなわち、障害物検出システムを含むオブジェクト１００が限定区域１０２内で検出した障害物を示すデータを有する。

【0053】

ステップ２０３
中央ユニット１０３は、第１ビークル１００ａと第２ビークル１００ｂの相対ポーズを算出する。算出は、ステップ２０１ａ及びステップ２０１ｂからのポーズデータに基づいて行われる。相対ポーズは、第２ビークル１００ｂのポーズを第１ビークル１００ａのポーズから減算することによって、例えば、ポーズＡ－ポーズＢによって求められてよい。相対ポーズは、第１ビークル１００ａと第２ビークル１００ｂの間の位置関係を示す。相対ポーズは、グラウンドトゥルースデータと称されてもよい。

【0054】

２つの異なる移動体１００ａ、１００ｂのローカライゼーション及びエゴモーションシステムの出力を用いることにより、第１ビークル１００ａの障害物検出システムのための高品質なグラウンドトゥルースデータを自動的に算出することが可能になるであろう。

【0055】

ステップ２０３は、ステップ２０１ａ及びステップ２０１ｂが実行された後の任意の時点で実行される。ステップ２０３は、ステップ２０１ａ及びステップ２０１ｂが実行された直後に実行されてもよいし、ステップ２０２ａ及びステップ２０２ｂが実行される直前に実行されてもよい。ステップ２０３は、ステップ２０１ａ及びステップ２０１ｂが実行された後であって、ステップ２０２ａ若しくはステップ２０２ｂが実行された後、又は、ステップ２０２ａ及びステップ２０２ｂが実行された後に実行されてもよい。ステップ２０１及びステップ２０２はリアルタイムに実行されることに留意されたい。ステップ２０３～ステップ２０５は、将来の任意の時点で実行され得る。

【0056】

ステップ２０４
中央ユニット１０３は、ステップ２０２ａ及びステップ２０２ｂからの障害物検出データをステップ２０３からの相対ポーズと比較する。比較の結果は、障害物検出データと相対ポーズがある程度の許容範囲で同じであるか又は異なるかを示す。障害物検出データを相対ポーズと比較することは、障害物検出データの妥当性を確認することと称され得る。

【0057】

ステップ２０３からの相対ポーズ、すなわち、グラウンドトゥルースデータは、例えば性能指標を生成するために、両方のビークル１００ａ、１００ｂからの障害物検出データと比較される。各比較は、性能指標の１つの測定ポイントを提供する。例えば、性能指標がオブジェクトまでの測定距離の間の差である場合、第１のオブジェクト１００ａからの第１の比較は１つのサンプル（ｘ ｍ）を提供し、第２のオブジェクト１００ｂからの第２の比較は別のサンプル（ｙ ｍ）を提供する。

【0058】

ステップ２０５
中央ユニット１０３は、ステップ２０４における比較の結果に基づいて第１ビークル１００ａの障害物検出システムの性能を評価する。

【0059】

評価は、経時的に実行される。

【0060】

ステップ２０４における比較の結果が、障害物検出データと相対ポーズとが同じであるか、又はある程度の許容範囲で実質的に同じであることを示す場合、障害物検出システムの性能は、特定の性能、例えば、特定の性能値を有すると評価され得る。例えば、性能値が所定の性能閾値に達しているか、又はそれを上回る場合に、性能は、十分である、又は高品質であると判断されてよい。

【0061】

ステップ２０４における比較の結果が、障害物検出データと相対ポーズとが異なるか、又は許容範囲を超えて異なることを示す場合、障害物検出システムの性能は、特定の性能（値）を有すると評価され得る。例えば、性能値が所定の性能閾値に達していない場合、性能は、十分でない、又は低品質であると判断されてよい。

【0062】

中央ユニット１０３は、ステップ２０１ａ、ステップ２０１ｂ、ステップ２０２ａ、及びステップ２０２ｂで取得されたデータに加えて、他の種類のデータ、例えばオブジェクト１００のうちの少なくとも１つの動作状況に関するデータを有してもよい。これは、例えば、現在の気象種別及び光状態、又はさまざまな気象種別及び光状態の分布を含んでよい。これは、特に妥当性確認及び開発の側面における障害物検出システムの性能の評価に役立ち得るため、有用なデータになり得る。例えば、中央ユニット１０３は、障害物検出システムの性能の評価の一部として、ルクス（照度）がＸを上回る場合に障害物検出システムが高性能に達し、Ｘ未満では中性能に達成すると判断することが可能になり得る。そして、特定の条件の間、例えば１日のうちの特定の時間帯に障害物検出システムを信頼することが可能になり得る。少なくとも１つのビークル１００の動作状況のデータは、特定のビークル１００から取得されてよく、特定のビークル１００は、動作状況を検出するように構成されたセンサ、例えば光センサや気象センサなどを含み得る。あるいは、動作状況のデータは、別のユニットから中央ユニット１０３によって取得されてもよく、別のユニットは、例えば、限定区域１０３内に設けられた気象センサ、任意の他の場所に配置された気象サーバ、限定区域１３に備えられた光センサなどである。

【0063】

ステップ２０５の結果は、さまざまな方法で用いられてよい。一例は、障害物検出システムの開発、検証、及び妥当性確認を含む多くの目的のために有用であるラベル付き生データを自動的に提供することである。また、記憶が容易であり、検証及び妥当性確認の目的のために有用な性能指標を推定又は提供することも可能になり得る。もちろん、これは、離散的というよりは連続スケールとほぼ見なされ得るため、その間に多くの潜在的ステップが存在する。

【0064】

ステップ２０１ａ、ステップ２０１ｂ、ステップ２０２ａ、及びステップ２０２ｂからのポーズデータ及び障害物検出データに加えて、中央ユニット１０３は、オブジェクト１００のうちの少なくとも１つに関連付けられた追加のデータ、例えば、それらのステップがポーズデータや障害物検出データを取得したときにオブジェクトのうちの少なくとも１つが有するオブジェクト特性を取得してもよい。オブジェクト特性は、例えば、以下のもののうちの少なくとも１つであり得る。
・ 連結角、
・ ヨーレート、
・ オブジェクト速度、
・ オブジェクト加速度、及び、
・ 道路に対するオブジェクト位置、例えば、オブジェクト１００がどの車線に位置しているか。

【0065】

これらのオブジェクト特性の少なくとも１つ及びビークル１００のうちの少なくとも１つについてのオブジェクト特性の少なくとも１つは、第１ビークル１００ａの障害物検出システムの性能を評価するときに中央ユニット１０３によって用いられてもよい。オブジェクト特性のうちのいくつかは、オブジェクト１００の動作特性と称されることがある。オブジェクト特性は、中央ユニット１０３によってオブジェクト１００から取得されてもよいし、ポーズデータ及び／又は障害物検出データに基づいて中央ユニット１０３によって求められてもよいし、限定区域１０２又は他の場所にある別のユニット、例えば、中央ユニット、クラウドユニット等に配置された別のユニットから取得されてもよい。

【0066】

要約すると、中央ユニット１０３は、以下のデータのうちの少なくとも１つについての性能を取得し、及び評価してもよい。
・ ポーズデータ、すなわち、位置及び進行方向
・ 障害物検出データ
・ 気象状態
・ 光状態
・ 連結角
・ ヨーレート
・ オブジェクト速度
・ オブジェクト加速度
・ 道路に対するオブジェクト位置、例えば、オブジェクト１００がどの車線に位置しているか。

【0067】

動作状況及びオブジェクト特性は、エゴビークル、すなわち、第１のオブジェクト１００ａに関するものである。例えば、エゴビークルが方向転換しているときと直進しているときとでは、障害物検出システムの性能が異なる場合があり得る。

【0068】

障害物検出システムの性能は、ポーズデータについて個別に評価されてよい。例えば、障害物検出システムからの検出された相対的なオブジェクト位置と速度とが個別に評価されてもよい。評価の結果は、位置は十分な完全性をもって信頼され得るが、速度は信頼され得ないことを示すことがある。

【0069】

第２ビークル１００ｂの障害物検出システムの性能が評価されることになっている場合には、ステップ２０１～２０５が繰り返され得る。

【0070】

障害物検出システムの性能は、データが収集される限定区域１０２の運行設計領域（ＯＤＤ：Ｏｐｅｒａｔｉｏｎａｌ Ｄｅｓｉｇｎ Ｄｏｍａｉｎ）に関して評価されてもよい。例えば、それは、トラックの検出に対して評価されるが、乗用車に対しては評価されない場合があり得る。但し、これは、潜在的に、手動で運転されるトラックとの混合交通を可能にするために用いられ得るため、依然として非常に有用であり得る。また、手動で運転されるビークル、例えば、乗用車が、妥当性確認済みのローカライゼーションシステムを備え、当該ローカライゼーションシステムを中央ユニット１０３が障害物検出データの生成を開始するために同様に用い得るというシナリオも想像し得る。

【0071】

第１のオブジェクト１００ａに含まれたオブジェクト検出システムは、動的なオブジェクトである障害物を検出してもよい。但し、これに限定されない。オブジェクト検出システムにとっては、静的なオブジェクトである障害物を検出する方がより容易であり得る。静的なオブジェクトは、常に同じ場所にあるため、その位置を継続的に送信する必要はないであろう。静的位置は、第１のオブジェクト１００ａ、例えば、第１ビークルの動的位置と比較され、算出された相対位置がオブジェクト検出データと比較されてもよい。オブジェクト検出は、静的なオブジェクトや動くオブジェクトに限定されない。例えば、信号機の状態や道路柵の位置もまた、障害物検出システムによって比較的容易に検出され得る例である。

【0072】

完全な限定区域１０２について、中央ユニット１０３は、検出がないはずの場所、すなわち、他のビークルや静的なオブジェクトが存在しない場所がどこであるかを知ることが可能である。したがって、それらが検出されるべきときに正しい検出が検出されたことをチェックするだけでなく、障害物検出システムが存在しないオブジェクトを検出する状況を追跡することも可能である。組み合わせることにより、これは、システム読み取り値の真／偽－正／負の全ての組み合わせを妥当性確認するのに適したデータを作成することが可能であることを意味する。

【0073】

特定の限定区域１０２内の特定ゾーン又はサブ区域について、中央ユニット１０３は、限定区域１０２における全てのオブジェクトの正確な位置及び動きにアクセスできない場合がある。それらの場合、そのようなゾーンで収集される全てのデータは、評価から除外されてよい。これは、例えば、公道との交差点が限定区域１０２内に含まれる場合であってよい。

【0074】

ステップ２０３、ステップ２０４、及びステップ２０５は、リアルタイムで実行されてもよいし、データが取得された後のある時点で実行されてもよいし、例えば、バッチで実行されてもよい。

【0075】

次に、上述の方法を中央ユニット１０３の観点から見た場合を説明する。図４は、中央ユニット１０３における方法を説明するフローチャートであり、限定区域１０２における２つ以上のオブジェクト１００ａ、１００ｂのセット内の第１のオブジェクト１００ａに含まれた障害物検出システムの性能を評価するためのものである。第１のオブジェクト１００ａはビークルである。セット内の少なくとも第２のオブジェクト１００ｂは、ビークルであってもよい。セット内の少なくとも第２のオブジェクト１００ｂは、静的なオブジェクトであってもよい。本方法は、中央ユニット１０３によって実行されるべき以下のステップのうちの少なくとも１つを含む。これらのステップは、後述されるものの他、任意の適切な順序で実行され得る。

【0076】

ステップ３０１
このステップは、図３におけるステップ２０１ａ、ステップ２０１ｂ、ステップ２０２ａ、ステップ２０２ｂに対応する。中央ユニット１０３は、セット内の各オブジェクト１００ａ、１００ｂからポーズデータを取得し、少なくとも第１のオブジェクト１００ａ、すなわち、ビークル１００ａから障害物検出データを取得する。

【0077】

ステップ３０２
中央ユニット１０３は、オブジェクトが存在しない限定区域１０２のサブ区域を示すオブジェクト無しデータを取得してもよい。

【0078】

ステップ３０３
このステップは、図３におけるステップ２０３に対応する。中央ユニット１０３は、各オブジェクト１００ａ、１００ｂからのポーズデータを用いて、オブジェクト１００ａ、１００ｂの相対ポーズを特定する（求める）、

【0079】

ステップ３０４
このステップは、図３におけるステップ２０４に対応する。中央ユニット１０３は、少なくとも第１のオブジェクト１００ａからの障害物検出データを特定された（求められた）オブジェクト１００ａ、１００ｂの相対ポーズと比較する。

【0080】

障害物検出データは、ステップ３０２からのオブジェクト無しデータとさらに比較されてもよい。

【0081】

２つ以上のオブジェクト１００が障害物検出システムを含む場合には、ステップ３０４における比較において、これらのオブジェクト１００の各々からの障害物検出データが用いられてもよい。

【0082】

ステップ３０５
このステップは、図３におけるステップ２０５に対応する。比較に基づき、中央ユニット１０３は、第１のオブジェクト１００ａの障害物検出システムの性能を評価する。

【0083】

評価は経時的に実行される。

【0084】

障害物検出システムの性能は、ポーズデータ及び障害物検出データが取得される間の第１のオブジェクト１００ａの少なくとも１つの動作状況について評価されてもよい。少なくとも１つの動作状況は、以下のもののうちの少なくとも１つであり得る。
・ 気象状態、および
・ 光状態。

【0085】

障害物検出システムの性能は、ポーズデータ及び障害物検出データが取得されたときの第１のオブジェクト１００ａの少なくとも１つのオブジェクト特性について評価されてもよい。少なくとも１つのオブジェクト特性は、以下のもののうちの少なくとも１つであり得る。
・ 連結角、
・ ヨーレート、
・ オブジェクト速度、
・ オブジェクト加速度、および
・ 道路に対するオブジェクト位置、例えば、オブジェクト１００がどの車線に位置しているか。

【0086】

ステップ３０４においてオブジェクト無しデータと比較され得る障害物検出データは、性能の評価において、誤検出の障害物検出データが存在するかどうかを検出するために用いられてもよい。

【0087】

ポーズデータ及び障害物検出データは、限定区域１０２のサブ区域内で取得されてもよく、基準を満たさないものは評価から除外される。基準は、予め設定された基準であってよい。基準は、例えば、公道との交差点が限定区域１０２内に含まれる場合、中央ユニット１０３がサブ区域内の全てのオブジェクトからポーズデータ、及び場合によってはモーションデータも取得するように適合されていることであってよい。換言すれば、中央ユニット１０３が全てのオブジェクトから姿勢データ、及び場合によってはモーションデータも取得するように適合されていない、又は取得することができないような限定区域１０２のサブ区域は、評価から除外されてよい。

【0088】

ステップ３０３、ステップ３０４、及びステップ３０５は、リアルタイムで実行されてもよいし、データが取得された後のある時点で実行されてもよいし、例えば、バッチで実行されてもよい。

【0089】

限定区域１０２における２つ以上のオブジェクト１００ａ、１００ｂのセット内の第１のオブジェクト１００ａに含まれた障害物検出システムの性能を評価するための中央ユニット１０３は、本明細書において説明される方法のステップのうちの少なくとも１つを実行するように構成されている。第１のオブジェクト１００ａは、ビークルである。セット内の少なくとも第２のオブジェクト１００ｂは、ビークルであってもよい。セット内の少なくとも第２のオブジェクト１００ｂは、静的なオブジェクトであってもよい。図３及び図４に示される方法のステップのうちの少なくとも１つを実行するため、中央ユニット１０３は、図５に示される構成を含んでもよい。

【0090】

中央ユニット１０３に関連する本開示は、図５に示された中央ユニット１０３内のプロセッサ５０１などの１つ又は複数のプロセッサを介して、本明細書において説明される機能及び動作を実行するためのコンピュータプログラムコードと共に実施されてもよい。本明細書で使用されるプロセッサは、ハードウェア構成要素であると理解されてもよい。上述のプログラムコードはまた、例えば、中央ユニット１０３内にロードされたときに本開示を実行するためのコンピュータプログラムコードを担持するデータ担体の形態のコンピュータプログラム製品として提供されてもよい。そのような担体の１つは、ＣＤ ＲＯＭディスクの形態であってもよい。但し、メモリスティックなどの他のデータ担体でも実現可能である。コンピュータプログラムコードは、純粋なプログラムコードとしてサーバ上に提供され、中央ユニット１０３にダウンロードされてもよい。

【0091】

中央ユニット１０３は、１つ又は複数のメモリユニットを含むメモリ５０３を含んでもよい。メモリ５０３は、中央ユニット１０３において実行されたときに本明細書における方法を実行するために、取得されたデータ、保存データ、構成、スケジューリング、及びアプリケーションなどを記憶するために用いられるように構成される。

【0092】

中央ユニット１０３は、受信ポート５０５を介して、例えばオブジェクト１００ａ、１００ｂからデータ及び情報を受信してもよい。受信ポート５０５は、例えば中央ユニット１０３内の１つ又は複数のアンテナに接続されてもよい。中央ユニット１０３は、受信ポート５０５を介して、限定区域１０２内又は別の場所内の別の構造体からデータを受信してもよい。受信ポート５０５は、プロセッサ５０１と通信してもよいため、受信ポート５０５は、その後、受信されたデータをプロセッサ５０１に送信してもよい。受信ポート５０５はまた、他のデータを受信するように構成されてもよい。

【0093】

中央ユニット１０３内のプロセッサ５０１は、プロセッサ５０１及びメモリ５０３と通信し得る送信ポート５０７を介して、例えばオブジェクト１００ａ、１００ｂ、又は限定区域１０２内若しくは別の場所の別の構造体に、データを転送又は送信するように構成されてもよい。

【0094】

中央ユニット１０３は、例えば、プロセッサ５０１又は受信ポート５０５により、セット内の各オブジェクト１００ａ、１００ｂからポーズデータを取得するように、及び少なくとも第１のオブジェクト１００ａから障害物検出データを取得するように構成される。

【0095】

中央ユニット１０３は、例えば、プロセッサ５０１により、各オブジェクト１００ａ、１００ｂからのポーズデータを用いてオブジェクト１００ａ、１００ｂの相対ポーズを特定する（求める）ように構成される。

【0096】

中央ユニット１０３は、例えば、プロセッサ５０１により、障害物検出データを特定された（求められた）相対ポーズと比較するように構成される。２つ以上のオブジェクト１００が障害物検出システムを含む場合、これらのオブジェクト１００の各々からの障害物検出データが比較に用いられてもよい。

【0097】

中央ユニット１０３は、例えば、プロセッサ５０１により、前記比較に基づき、第１のオブジェクト１００ａの障害物検出システムの性能を評価するように構成されている。障害物検出システムの性能は、ポーズデータ及び障害物検出データが取得される間の第１のオブジェクト１００ａの少なくとも１つの動作状況について評価されてもよい。少なくとも１つの動作状況は、以下のもののうちの少なくとも１つであり得る。
・ 気象状態、及び
・ 光状態。

【0098】

障害物検出システムの性能は、ポーズデータ及び障害物検出データが取得されたときの第１のオブジェクト１００ａの少なくとも１つのオブジェクト特性について評価されてもよい。少なくとも１つのオブジェクト特性は、以下のもののうちの少なくとも１つであり得る。
・ 連結角、
・ ヨーレート、
・ オブジェクト速度、
・ オブジェクト加速度、
・ 道路に対するオブジェクト位置、例えば、オブジェクト１００がどの車線に位置しているか。

【0099】

中央ユニット１０３は、例えば、プロセッサ５０１又は受信ポート５０５により、オブジェクトが配置されていない限定区域１０２のサブ区域を示すオブジェクト無しデータを取得するように構成されてもよい。障害物検出データは、オブジェクト無しデータとさらに比較され、性能の評価において、誤検出の障害物検出データが存在するかどうかを検出するために用いられてもよい。

【0100】

限定区域１０２のサブ区域内で取得された基準を満たさないポーズデータ及び障害物検出データは、評価から除外されてもよい。

【0101】

中央ユニット１０３について本明細書で説明された方法は、コンピュータプログラム５０８によってそれぞれ実施されてよく、コンピュータプログラム５０８は、命令、すなわち、ソフトウェアコード部分を含み、命令は、少なくとも１つのプロセッサ５０１上で実行されると、少なくとも１つのプロセッサ５０１に、中央ユニット１０３によって実施される本明細書で説明されたアクションを実行させるものである。コンピュータプログラム５０８製品は、コンピュータ可読媒体５１０に記憶されてもよい。コンピュータプログラム５０８が記憶されたコンピュータ可読媒体５１０は、命令を含んでもよく、命令は、少なくとも１つのプロセッサ５０１上で実行されると、少なくとも１つのプロセッサ５０１に、中央ユニット１０３によって実施される本明細書で説明されたアクションを実行させるものである。コンピュータ可読媒体５１０は、ＣＤ ＲＯＭディスクやメモリスティックなどの非一時的なコンピュータ可読記憶媒体であってよい。コンピュータプログラム５０８製品は、今説明されたコンピュータプログラム５０８を包含する担体上に記憶されてもよく、担体は、電子信号、光信号、無線信号、又は、上述のようなコンピュータ可読媒体５１０のうちの１つである。

【0102】

コンピュータプログラム、例えば、図５におけるコンピュータプログラム５０８は、コンピュータ上で実行されたときに、本明細書で説明された方法のステップを実行するためのプログラムコード手段を含んでもよい。

【0103】

コンピュータ可読媒体は、コンピュータプログラム、例えば、図５におけるコンピュータプログラム５０８を担持してもよく、コンピュータプログラムは、コンピュータ上で実行されたときに、本明細書で説明された方法のステップを実行するためのプログラムコード手段を含む。

【0104】

要約すると、本発明は、ビークル１００におけるセーフティクリティカル（安全上重要）な認識システム（複数可）の妥当性確認を行うことを可能にするための方法に関する。

【0105】

本発明は、障害物検出システム、例えば、障害物検出システムの重要な側面の妥当性確認を行うことを可能にする方法を提供する。これは、高品質のデータを生成すること及び大規模な量に拡張可能である方法によって行われる。

【0106】

本発明は、高品質の障害物検出データを大量に収集することにより、障害物検出システムの性能を評価することに関する。障害物検出データは、データが精度要求を時間の十分に大きい割合で満たす場合に高品質のものになり得る。典型的には、時間の９９．９９…％であり、９の数は要求レベルに依存する。障害物検出システムは、生産時に運用されて単純な自律ユースケースのための値を生成しているビークルに、最小限の追加コストで実装可能であることが望ましい。商業運用からのデータを開発時に用いることは珍しくないが、本発明は、高価であり且つ存在しないことが多いグラウンドトゥルースセンサや手動ラベリングを導入せずに、妥当性未確認の障害物検出システムのための妥当性確認済みの高品質データを確保し得る。

【0107】

本発明は、１つのオブジェクト１００又は多数のオブジェクト１００においてすでに妥当性確認がなされた特定の能力を利用することを目的とする。本発明は、高い完全性のローカライゼーションシステムが存在することを前提としており、そのようなローカライゼーションシステムは、例えば、１つ又は複数のセンサを含み、オブジェクトのポーズを特定し、所与の特定の状況下で構築され得る。

【0108】

本発明は、ローカライゼーションシステムが実装された複数のオブジェクトが存在する限定区域１０２に適用されてもよい。そして、妥当性未確認の障害物検出システムの性能は、複数のオブジェクトの妥当性確認済みのローカライゼーションシステムを用いて評価されてもよい。すなわち、第１ビークルＡ １００ａのポーズと第２ビークルＢ １００ｂのポーズとの組み合わせを第２ビークルＢ １００ｂにおける障害物検出システムのためのグラウンドトゥルースとして用いることができ、その逆もまた同様である。

【0109】

本発明により、データは、中央ユニット１０３に提供されて中央ユニット１０３によって取得され、中央ユニット１０３は、限定区域１０２内の全てのオブジェクト１００の動きに関する情報も有する。このデータに基づいて、特定のオブジェクトの障害物検出システムの性能を経時的に評価することが可能であり、そのため、その後に、この障害物検出システムは、安全であると、場合によっては特定のユースケースについて安全であると言い得る。

【0110】

本発明により、いくつかのオブジェクトにわたる障害物検出システムの性能、例えば精度及び／又は信頼性を経時的に評価することが可能となる。本発明は、特定の障害物検出システムが全体として特定の性能を有することについて強力な統計的論拠、すなわち、認識システムのための安全ケース（安全事例）を作成するためにしばしば必要とされるものを見出すために有用である。

【0111】

障害物検出システムの生産からのデータを用いることにより、妥当なコストで障害物検出システムに関する高い完全性を証明するための十分なデータが取得され得る。これが示された場合、全てのビークルがローカライゼーションシステムを有する必要はなく、コストを低減することが可能になるであろう。第１ビークル１００ａの周囲の障害物を検出してそれらとの衝突を回避することが望ましい。これを行う１つの方法は、第１ビークル１００ａに障害物検出システムを搭載することである。しかし、障害物検出システムが安全であること、例えば、障害物検出システムの性能が十分であることを証明するには大量の走行距離を必要とし、費用がかかりすぎる。ローカライゼーションシステムは、より妥当なコストで高い完全性を達成し得るものであり、例えば、第１ビークル１００ａが少なくとも部分的に自律型のビークルである場合には、第１ビークル１００に必要とされるものである。限定区域１０２における全ての他のオブジェクトにローカライゼーションシステムを設置することにより、それらが検出され、衝突が回避されるか、又は少なくとも低減され得る。しかし、これは、限定区域１０２に進入するか、又は限定区域１０２に位置している全てのオブジェクト１００ａ、１００ｂが高価で制約のあるローカライゼーションシステムを有している必要がある。したがって、ローカライゼーションシステムは、初期の限定区域１０２上のビークルである全てのオブジェクトに障害物検出システムと共に設置される。ローカライゼーションデータは、障害物検出システムの完全性を証明するために用いられる。障害物検出システムの安全性が証明されると、障害物検出システムのみが全ての将来の限定区域１０２のために必要とされる。したがって、コストが低減され、システムの制約もより少なくなる。ユースケースによっては、オブジェクトの検出のみで、ローカライゼーションのみで、その両方を用いることで十分になり得るであろう。

【0112】

概して、本明細書における「第１」、「第２」、「第３」、「第４」、及び／又は「第５」の使用は、異なる要素又は実体を表す任意の方法であると理解されてよく、特に断りのない限り、内容に基づいて、それらが修飾する名詞に累積的又は時系列的性質を与えるものではないと理解されてよい。

【0113】

用語「Ａ及びＢのうちの少なくとも１つ」は、「Ａのみ、Ｂのみ、又は、ＡとＢの両方」を意味すると理解されるべきである。ここで、Ａ及びＢは、本明細書において用いられる任意のパラメータ、数値、指示内容などである。

【0114】

用語「含む（ｃｏｍｐｒｉｓｅｓ／ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用される場合、記載された特徴、整数、ステップ又は構成要素の存在を特定するものと解釈されるが、１つ又は複数の他の特徴、整数、ステップ、構成要素又はこれらのグループの存在又は追加を排除するものではないことが強調されなければならない。また、要素の前にある「ａ」又は「ａｎ」は、このような要素が複数で存在することを除外しないことにも留意されたい。

【0115】

本明細書で使用される用語「するように構成される（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、「するように構成（配置）される（ａｒｒａｎｇｅｄ ｔｏ）」、「するように構成（適合）される（ａｄａｐｔｅｄ ｔｏ）」、「の能力を有する（ｃａｐａｂｌｅ ｏｆ）」、又は「するように動作する（ｏｐｅｒａｔｉｖｅ ｔｏ）」とも記載され得る。

【0116】

本発明は、上述され、図面において例示された実施形態に限定されず、むしろ、当業者であれば、多くの変更および修正が添付の請求項の範囲内で行われ得ることを認識するであろうことを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】