(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-15
(54)【発明の名称】ライダーセンサの較正
(51)【国際特許分類】
G01S 7/497 20060101AFI20221208BHJP
【FI】
G01S7/497
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022521325
(86)(22)【出願日】2020-10-14
(85)【翻訳文提出日】2022-06-08
(86)【国際出願番号】 US2020055503
(87)【国際公開番号】W WO2021076569
(87)【国際公開日】2021-04-22
(32)【優先日】2019-10-15
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-10-13
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-10-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518379544
【氏名又は名称】セプトン テクノロジーズ,インコーポレイテッド
(74)【代理人】
【識別番号】100137969
【氏名又は名称】岡部 憲昭
(74)【代理人】
【識別番号】100104824
【氏名又は名称】穐場 仁
(74)【代理人】
【識別番号】100121463
【氏名又は名称】矢口 哲也
(72)【発明者】
【氏名】リャオ,トンイ
(72)【発明者】
【氏名】ワン,ズカイ
(72)【発明者】
【氏名】マッコード,マーク,エー.
(72)【発明者】
【氏名】グ,チャオ
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AA04
5J084AA05
5J084AB07
5J084AC02
5J084AD01
5J084BA05
5J084BA07
5J084BA20
5J084BA34
5J084BA36
5J084BA40
5J084BA50
5J084BB02
5J084BB04
5J084BB27
5J084CA03
5J084CA22
5J084CA25
5J084CA65
5J084EA08
5J084EA29
(57)【要約】
車両に搭載されたライダーセンサを較正する方法は、車両を、平面ミラーと、ミラーを取り囲む特徴とを含むターゲットからから離れたところに配置するステップを含む。車両は、ライダーセンサの光軸がミラーの光軸と名目上平行になり、ターゲットが名目上ライダーセンサの視野を中心とするように、ミラーに対して配置され、方向づけられる。この方法は、ライダーセンサを使用して、ターゲットの特徴の画像とミラーによって形成された車両の鏡像とを含むターゲットの三次元画像を取得するステップをさらに含む。この方法は、ターゲットの三次元画像内の特徴の画像および車両の鏡像を解析することによって、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップをさらに含む。
【選択図】
図4A
【特許請求の範囲】
【請求項1】
車両に搭載されたライダーセンサを較正する方法であって、前記方法が、
前記車両をターゲットから離れたところに配置するステップであって、
前記ターゲットが、平面ミラーと、前記平面ミラーを取り囲む特徴とを備え、前記平面ミラーの光軸が略水平であり、
前記車両が、前記ライダーセンサの光軸が前記平面ミラーの前記光軸と名目上平行になり、前記ターゲットが名目上前記ライダーセンサの視野において中心とされるように、前記平面ミラーに対して配置され、方向づけられる、ステップと、
前記ライダーセンサを使用して、前記ターゲットの三次元画像を取得するステップであって、前記ターゲットの前記三次元画像が、前記ターゲットの前記特徴の画像と、前記平面ミラーによって形成された前記車両の鏡像とを含む、ステップと、
前記ターゲットの前記三次元画像内の前記特徴の前記画像および前記車両の前記鏡像を解析することによって、前記車両に対する前記ライダーセンサの予想される位置整合からの偏差を決定するステップと
を含む、方法。
【請求項2】
前記車両に対する前記ライダーセンサの前記予想される位置整合からの前記偏差に基づいて、前記車両に対して前記ライダーセンサを再較正するステップ
をさらに含む、請求項1に記載の方法。
【請求項3】
前記ライダーセンサの前記予想される位置整合からの前記偏差が閾値を超えていると判定するステップと、
前記ライダーセンサの前記予想される位置整合からの前記偏差が前記閾値を超えていると判定したことに応答して警報を出すステップと
をさらに含む、請求項1に記載の方法。
【請求項4】
前記ライダーセンサの前記視野が、水平方向に180度未満である、請求項1に記載の方法。
【請求項5】
前記車両に対する前記ライダーセンサの前記予想される位置整合からの前記偏差を決定するステップが、
前記特徴の前記画像に基づいて、前記ターゲットに対する前記ライダーセンサの位置および向きを決定するステップと、
車両の前記鏡像に基づいて、前記車両の前記鏡像に対する前記ライダーセンサの位置および向きを決定するステップと、
ライダー座標系から車両座標系への変換を、(i)前記ターゲットに対する前記ライダーセンサの前記位置および前記向きと、(ii)前記車両の前記鏡像に対する前記ライダーセンサの前記位置および前記向きと、に基づいて決定するステップと
を含む、請求項1に記載の方法。
【請求項6】
前記ライダー座標系が、3並進自由度および3回転自由度を有し、前記車両座標系が、3並進自由度および3回転自由度を有する、請求項5に記載の方法。
【請求項7】
前記ライダー座標系の前記3並進自由度が、x軸、y軸、およびz軸を含む3つの直交軸に沿ったものであり、前記ライダー座標系の前記3回転自由度が、前記x軸の周りのロール回転、前記y軸の周りのピッチ回転、および前記z軸の周りのヨー回転を含み、
前記車両座標系の前記3並進自由度が、X軸、Y軸、およびZ軸を含む3つの直交軸に沿ったものであり、前記車両座標系の前記3回転自由度が、前記X軸の周りのロール回転、前記Y軸の周りのピッチ回転、および前記Z軸の周りのヨー回転を含む、
請求項6に記載の方法。
【請求項8】
前記車両に隣接して配置された2つ以上の距離センサを使用して、前記平面ミラーの前記光軸に対する前記車両のヨー角を決定するステップ
をさらに含む、請求項7に記載の方法。
【請求項9】
前記2つ以上の距離センサを使用して、前記平面ミラーの前記光軸および垂直軸と直交する軸に沿った前記車両の横方向位置を決定するステップ
をさらに含む、請求項8に記載の方法。
【請求項10】
前記2つ以上の距離センサの各々が、超音波センサまたはレーザーセンサを備える、請求項8に記載の方法。
【請求項11】
6つの距離センサを使用して、前記平面ミラーの座標系における3つの直交軸に沿った前記車両のヨー角、ロール角、ピッチ角、および並進位置を決定するステップ
をさらに含む、請求項7に記載の方法。
【請求項12】
前記6つの距離センサの各々が、超音波センサまたはレーザーセンサを備える、請求項11に記載の方法。
【請求項13】
前記車両に対する前記ライダーセンサの前記予想される位置整合からの前記偏差を決定するステップが、
前記ライダーセンサと前記車両との間の予想される関係に関する基準行列を格納するステップと、
前記ライダーセンサと前記車両との間の現在の関係に関する行列を決定するステップと、
前記車両に対する前記ライダーセンサの前記予想される位置整合からの前記偏差を、前記行列と前記基準行列と比較することによって決定するステップと
を含む、請求項1に記載の方法。
【請求項14】
前記ライダーセンサと前記車両との間の前記現在の関係に関する前記行列に基づいて、前記車両に対して前記ライダーセンサを再較正するステップ
をさらに含む、請求項13に記載の方法。
【請求項15】
車両に搭載されたライダーセンサを較正する方法であって、前記方法が、
前記ライダーセンサが前記車両に対して予想される位置整合にある間に前記ライダーセンサによって取得された基準三次元画像を格納するステップであって、前記基準三次元画像が前記車両上の固定特徴の第1の画像を含む、ステップと、
前記ライダーセンサを使用して、前記固定特徴の第2の画像を含む三次元画像を取得するステップと、
前記三次元画像内の前記固定特徴の前記第2の画像を前記基準三次元画像内の前記固定特徴の前記第1の画像と比較することによって、前記車両に対する前記ライダーセンサの前記予想される位置整合からの偏差を決定するステップと
を含む、方法。
【請求項16】
前記車両に対する前記ライダーセンサの前記予想される位置整合からの前記偏差に基づいて、前記ライダーセンサを再較正するステップ
をさらに含む、請求項15に記載の方法。
【請求項17】
前記基準三次元画像内の前記固定特徴の前記第1の画像と一致するように前記三次元画像内の前記固定特徴の前記第2の画像に適用されるべき変換を決定するステップと、
前記変換に基づいて前記ライダーセンサを再較正するステップと
をさらに含む、請求項15に記載の方法。
【請求項18】
前記ライダーセンサの前記予想される位置整合からの前記偏差が閾値を超えていると判定するステップと、
前記ライダーセンサの前記予想される位置整合からの前記偏差が前記閾値を超えていると判定したことに応答して警報を出すステップと
をさらに含む、請求項15に記載の方法。
【請求項19】
前記基準三次元画像が、前記ライダーセンサが製造施設において事前較正された後に前記ライダーセンサによって取得される、請求項15に記載の方法。
【請求項20】
前記ライダーセンサの前記予想される位置整合からの前記偏差が、ヨー偏差、ロール偏差、ピッチ偏差、および3つの直交軸に沿った並進偏差のうちの1つまたは複数を含む、請求項15に記載の方法。
【請求項21】
前記固定特徴が、前記車両のボンネットの一部分または前記ボンネットに取り付けられた物体を含む、請求項15に記載の方法。
【請求項22】
前記ライダーセンサが、前記車両のフロントガラスの背後に配置されており、
前記固定特徴が、前記ライダーセンサの真正面にある前記フロントガラスの領域に取り付けられたマスクを含み、前記マスクが、前記ライダーセンサの動作波長の光を遮断するように構成されており、前記ライダーセンサの視野の一部分を遮断するように成形されている、
請求項15に記載の方法。
【請求項23】
前記マスクが、外側境界および内側境界を有し、前記内側境界が、前記マスクが前記ライダーセンサの前記視野の周囲を侵食するようなサイズである、請求項22に記載の方法。
【請求項24】
車両に搭載されたライダーセンサを較正する方法であって、前記方法が、
前記車両が固定された道路特徴を有する道路を走行している間に前記ライダーセンサを使用して、1つまたは複数の三次元画像を取得するステップであって、前記1つまたは複数の三次元画像の各々が、前記道路特徴の画像を含む、ステップと、
前記1つまたは複数の三次元画像内の前記道路特徴の前記画像と前記ライダーセンサの視野の向きとの間の空間的関係を解析するステップと、
前記道路特徴の前記画像と前記ライダーセンサの前記視野との間の前記空間的関係に基づいて、前記車両に対する前記ライダーセンサの予想される位置整合からの偏差を決定するステップと
を含む、方法。
【請求項25】
前記車両に対する前記ライダーセンサの前記予想される位置整合からの前記偏差に基づいて、前記ライダーセンサを再較正するステップ
をさらに含む、請求項24に記載の方法。
【請求項26】
前記ライダーセンサの前記予想される位置整合からの前記偏差が閾値を超えていると判定するステップと、
前記ライダーセンサの前記予想される位置整合からの前記偏差が前記閾値を超えていると判定したことに応答して警報を出すステップと
をさらに含む、請求項24に記載の方法。
【請求項27】
前記道路特徴が、前記車両の両側の1対または複数対の車線区分線を含む、請求項24に記載の方法。
【請求項28】
前記空間的関係を解析するステップが、前記1対または複数対の車線区分線のうちの1対の車線区分線と前記ライダーセンサの前記視野との間のピッチ角を決定するステップを含み、
前記ライダーセンサの前記予想される位置整合からの前記偏差を決定するステップが、前記ピッチ角に基づいて前記ライダーセンサのピッチ誤差を決定するステップを含む、
請求項27に記載の方法。
【請求項29】
前記1対または複数対の車線区分線が、前記車両の運転席側の第1の車線区分線と、前記車両の助手席側の第2の車線区分線とを含み、
前記空間的関係を解析するステップが、前記第1の車線区分線と前記第2の車線区分線との間の高低差を決定するステップを含み、
前記ライダーセンサの前記予想される位置整合からの前記偏差を決定するステップが、前記高低差に基づいて前記ライダーセンサのロール誤差を決定するステップを含む、
請求項27に記載の方法。
【請求項30】
前記1つまたは複数の三次元画像が、前記車両がある距離区間にわたって前記道路上を走行しているときにある時間間隔にわたって前記ライダーセンサによって取得された複数の三次元画像を含む、請求項27に記載の方法。
【請求項31】
前記道路が、前記距離区間にわたって実質的に直線および水平である、請求項30に記載の方法。
【請求項32】
前記距離区間にわたる前記車両の経路を決定するステップと、
前記車両の前記経路を前記複数の三次元画像からの前記道路特徴の経路と比較するステップと
をさらに含む、請求項30に記載の方法。
【請求項33】
前記1対または複数対の車線区分線が、前記車両の運転席側の第1の車線区分線と、前記車両の助手席側の第2の車線区分線とを含み、
前記空間的関係を解析するステップが、前記車両の前記経路からの前記第1の車線区分線と前記車両の前記経路からの前記第2の車線区分線との間の横方向の非対称量を決定するステップを含み、
前記ライダーセンサの前記予想される位置整合からの前記偏差を決定するステップが、前記横方向の非対称量に基づいて前記ライダーセンサのヨー誤差を決定するステップを含む、
請求項32に記載の方法。
【請求項34】
前記空間的関係を解析するステップが、1対の車線区分線と前記車両の前記経路との間の高低差を決定するステップを含み、
前記ライダーセンサの前記予想される位置整合からの前記偏差を決定するステップが、前記高低差に基づいて前記ライダーセンサの垂直誤差を決定するステップを含む、
請求項32に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本出願は、2019年10月15日に出願された「DYNAMIC CALIBRATION OF LIDAR IMAGING SENSORS」と題する米国仮特許出願第62/915,563号、2020年10月13日に出願された 「CALIBRATION OF LIDAR SENSORS」と題する米国特許出願第17/069,727号、および2020年10月13日に出願された「DYNAMIC CALIBRATION OF LIDAR SENSORS」と題する米国特許出願第17/069,733号の利益を主張し、これらの内容は参照によりその全体が組み込まれる。
【背景技術】
【0002】
[0002]三次元センサは、自律型車両、ドローン、ロボティクス、セキュリティ用途などに適用することができる。ライダー(LiDAR)センサは、そのような用途に適した高い角度分解能を達成することができる三次元センサの一種である。ライダーセンサは、レーザーパルスを出射するための1つまたは複数のレーザー光源と、反射されたレーザーパルスを検出するための1つまたは複数の検出器とを含むことができる。ライダーセンサは、各レーザーパルスがライダーセンサからセンサの視野内の対象物まで進み、次いで対象物から跳ね返ってライダーセンサに戻るのにかかる時間を測定する。レーザーパルスの飛行時間に基づき、ライダーセンサは、対象物がライダーセンサからどれだけ離れているかを決定する。シーンを横切って走査することにより、シーンの三次元画像が取得され得る。
【0003】
[0003]正確な測定のために、ライダーセンサの光軸の向きは、ライダーセンサのケース上の取り付け穴などの何らかの機械的基準点に対して較正される必要があり得る。加えて、車両に搭載される場合、ライダーセンサの位置および向きは、車両に対して較正される必要があり得る。そのような較正は、例えば、製造者のプラントで行うことができる。ライダーセンサに対する衝突または他の機械的外乱が発生した場合、ケースまたは車両のいずれかに対する較正が変化する可能性がある。よって、ライダーセンサの安全で正確な長期動作を保証するために、較正正確度の喪失を検出し、較正を補正することができることが望ましい場合がある。
【発明の概要】
【0004】
[0004]いくつかの実施形態によれば、車両に搭載されたライダーセンサを較正する方法は、車両をターゲットから離れたところに配置するステップを含む。ターゲットは、平面ミラーと、ミラーを取り囲む特徴とを含む。ミラーの光軸は略水平である。車両は、ライダーセンサの光軸がミラーの光軸と名目上平行になり、ターゲットが名目上ライダーセンサの視野を中心とするように、ミラーに対して配置され、方向づけられる。この方法は、ライダーセンサを使用して、ターゲットの三次元画像を取得するステップをさらに含む。ターゲットの三次元画像は、ターゲットの特徴の画像と、ミラーによって形成された車両の鏡像とを含む。この方法は、ターゲットの三次元画像内の特徴の画像および車両の鏡像を解析することによって、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップをさらに含む。
【0005】
[0005]いくつかの実施形態によれば、車両に搭載されたライダーセンサを較正する方法は、ライダーセンサが車両に対して予想される位置整合にある間にライダーセンサによって取得された基準三次元画像を格納するステップを含む。基準三次元画像は、車両上の固定特徴の第1の画像を含む。この方法は、ライダーセンサを使用して、固定特徴の第2の画像を含む三次元画像を取得するステップと、三次元画像内の固定特徴の第2の画像を基準三次元画像内の固定特徴の第1の画像と比較することによって、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップと、をさらに含む。
【0006】
[0006]いくつかの実施形態によれば、車両に搭載されたライダーセンサを較正する方法は、車両が固定された道路特徴を有する道路を走行している間にライダーセンサを使用して、1つまたは複数の三次元画像を取得するステップを含む。1つまたは複数の三次元画像の各々は、道路特徴の画像を含む。この方法は、1つまたは複数の三次元画像内の道路特徴の画像とライダーセンサの視野の向きとの間の空間的関係を解析するステップと、道路特徴の画像とライダーセンサの視野との間の空間的関係に基づいて、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップとをさらに含む。
【図面の簡単な説明】
【0007】
【
図1】いくつかの実施形態による三次元イメージングのための例示的なライダーセンサを示す図である。
【
図2A】いくつかの実施形態による、車両に搭載されたライダーセンサを概略的に示す図である。
【
図2B】いくつかの実施形態による、車両座標系を示す図である。
【
図2C】いくつかの実施形態による、ライダー座標系を示す図である。
【
図3A】いくつかの実施形態による、車両にライダーセンサを取り付けるために使用することができる取り付け機構を概略的に示す図である。
【
図3B】いくつかの実施形態による、車両にライダーセンサを取り付けるために使用することができる取り付け機構を概略的に示す図である。
【
図4A】いくつかの実施形態による、車両に搭載されたライダーセンサのための例示的な較正設定を示す図である。
【
図4B】いくつかの実施形態による、車両に搭載されたライダーセンサのための例示的な較正設定を示す図である。
【
図4C】いくつかの実施形態による、車両に搭載されたライダーセンサのための例示的な較正設定を示す図である。
【
図5A】いくつかの実施形態による、ある位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図5B】いくつかの実施形態による、別の位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図5C】いくつかの実施形態による、別の位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図6A】いくつかの実施形態による、ある位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図6B】いくつかの実施形態による、別の位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図6C】いくつかの実施形態による、別の位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図6D】いくつかの実施形態による、別の位置整合条件下でライダーセンサに何が見えるかを概略的に示す図である。
【
図7】いくつかの実施形態による、埋め込みミラーを有するターゲットを使用して車両に搭載されたライダーセンサを較正する方法を示す簡略化されたフローチャートである。
【
図8】いくつかの実施形態による、マスクを含む、車両のフロントガラスの背後に取り付けられたライダーセンサを示す図である。
【
図9A】
図8に示されるマスクを有するフロントガラスを概略的に示す側面図である。
【
図9B】
図8に示されるマスクを有するフロントガラスを概略的に示す側面図である。
【
図10A】いくつかの実施形態による、ある位置整合条件下でのライダーセンサの有効視野に対する
図8に示されるマスクの効果の例を概略的に示す図である。
【
図10B】いくつかの実施形態による、別の位置整合条件下でのライダーセンサの有効視野に対する
図8に示されるマスクの効果の別の例を概略的に示す図である。
【
図10C】いくつかの実施形態による、別の位置整合条件下でのライダーセンサの有効視野に対する
図8に示されるマスクの効果の別の例を概略的に示す図である。
【
図10D】いくつかの実施形態による、ライダーセンサによって取得された車両の特定の特徴の例示的な画像を概略的に示す図である。
【
図10E】いくつかの実施形態による、ライダーセンサによって取得された車両の特定の特徴の例示的な画像を概略的に示す別の図である。
【
図10F】いくつかの実施形態による、ライダーセンサによって取得された車両の特定の特徴の例示的な画像を概略的に示す別の図である。
【
図11】いくつかの実施形態による、車両上の特徴を使用して車両に搭載されたライダーセンサを較正する方法を示す簡略化されたフローチャートである。
【
図12A】いくつかの実施形態による、道路上の車線区分線を使用した車両に搭載されたライダーセンサの動的較正の方法を示す図である。
【
図12B】いくつかの実施形態による、道路上の車線区分線を使用した車両に搭載されたライダーセンサの動的較正の方法を示す図である。
【
図13A】いくつかの実施形態による、道路上の車線区分線を使用した車両に搭載されたライダーセンサの動的較正の方法を示す図である。
【
図13B】いくつかの実施形態による、道路上の車線区分線を使用した車両に搭載されたライダーセンサの動的較正の方法を示す図である。
【
図13C】いくつかの実施形態による、道路上の車線区分線を使用した車両に搭載されたライダーセンサの動的較正の方法を示す図である。
【
図14】いくつかの実施形態による、道路特徴を使用して車両に搭載されたライダーセンサを較正する方法を示す簡略化されたフローチャートである。
【発明を実施するための形態】
【0008】
[0022]いくつかの実施形態によれば、車両に搭載されたライダーセンサを較正する方法が提供される。較正は、ライダーセンサが搭載された車両を製造者のプラントまたは修理工場に返却することを必要としない場合がある。較正は、車両の駐車中または運転中であっても、定期的または連続的に実行することができる。
【0009】
[0023]
図1に、いくつかの実施形態による三次元イメージングのための例示的なライダーセンサ100を示す。ライダーセンサ100は、出射レンズ130と、受光レンズ140とを含む。ライダーセンサ100は、出射レンズ130の実質的に後焦点面に配置された光源110aを含む。光源110aは、出射レンズ130の後焦点面内のそれぞれの出射位置から光パルス120を出射するように動作する。出射レンズ130は、光パルス120をコリメートし、ライダーセンサ100の前方に位置する対象物150に向けるように構成されている。光源110aの所与の出射位置について、コリメート光パルス120’は、対象物150に対応する角度で向けられる。
【0010】
[0024]コリメート光パルス120’の一部分122が、対象物150から受光レンズ140に向かって反射される。受光レンズ140は、対象物150から反射された光パルスの一部分122’を、受光レンズ140の焦点面内の対応する検出位置に集束させるように構成されている。ライダーセンサ100は、受光レンズ140の焦点面に実質的に配置された検出器160aをさらに含む。検出器160aは、対応する検出位置で対象物から反射された光パルス120の一部分122’を受光して検出するように構成されている。検出器160aの対応する検出位置は、光源110aのそれぞれの出射位置と光学的に共役である。
【0011】
[0025]光パルス120は、短い持続時間、例えば10nsのパルス幅のものであってもよい。ライダーセンサ100は、光源110aおよび検出器160aに結合されたプロセッサ190をさらに含む。プロセッサ190は、出射から検出までの光パルス120の飛行時間(TOF)を決定するように構成される。光パルス120は光速で進むため、ライダーセンサ100と対象物150との間の距離は、決定された飛行時間に基づいて決定され得る。
【0012】
[0026]FOVを横切ってレーザービーム120’を走査する一方法は、出射レンズ130の後焦点面内で出射レンズ130に対して横方向に光源110aを移動させることである。例えば、光源110aは、
図1に示されるように、出射レンズ130の後焦点面における複数の出射位置に対してラスタ走査されてもよい。光源110aは、複数の出射位置で複数の光パルスを出射し得る。それぞれの出射位置で出射された各光パルスは、出射レンズ130によってコリメートされ、それぞれの角度で対象物150に向けられ、対象物150の表面上の対応する点に衝突する。よって、光源110aが出射レンズ130の後焦点面内の特定の領域内でラスタ走査されるに従って、対象物150上の対応する対象物領域が走査される。検出器160aは、
図1に示されるように、受光レンズ140の焦点面内の複数の対応する検出位置に配置されるようにラスタ走査され得る。検出器160aの走査は、通常、光源110aの走査と同期して行われ、そのため検出器160aと光源110aとは、所与の時点に常に互いに光学的に共役である。
【0013】
[0027]それぞれの出射位置で出射された各光パルスの飛行時間を決定することにより、ライダーセンサ100から対象物150の表面上の各対応する点までの距離が決定され得る。いくつかの実施形態では、プロセッサ190は、各出射位置における光源110aの位置を検出する位置エンコーダと結合されている。出射位置に基づき、コリメート光パルス120’の角度が決定され得る。対象物150の表面上の対応する点のX-Y座標は、角度およびライダーセンサ100までの距離に基づいて決定され得る。よって、対象物150の三次元画像が、ライダーセンサ100から対象物150の表面上の様々な点までの測定距離に基づいて構築され得る。いくつかの実施形態では、三次元画像は、点群、すなわち、対象物150の表面上の点のX座標、Y座標、およびZ座標のセットとして表され得る。
【0014】
[0028]いくつかの実施形態では、検出器の飽和を防止し、眼の安全性を向上させ、または全体的な電力消費を低減させるために、戻り光パルス122’の強度が測定され、同じ出射点からの後続の光パルスの出力を調整するために使用される。光パルスの出力は、光パルスの持続時間、レーザーに印加される電圧もしくは電流、またはレーザーに電力供給するために使用されるコンデンサに蓄積される電荷を変えることによって変えられ得る。後者の場合、コンデンサに蓄積される電荷は、コンデンサへの充電時間、充電電圧、または充電電流を変えることによって変えられ得る。いくつかの実施形態では、検出されたパルスの強度によって決定される反射率もまた、画像に別の次元を追加するために使用され得る。例えば、画像は、X座標、Y座標、およびZ座標、ならびに反射率(または輝度)を含んでいてもよい。
【0015】
[0029]ライダーセンサ100の視野角(AFOV)は、光源110aの走査範囲および出射レンズ130の焦点距離に基づいて、以下のように推定されてもよく、
【数1】
式中、hは、特定の方向に沿った光源110aの走査範囲であり、fは、出射レンズ130の焦点距離である。所与の走査範囲hについて、より短い焦点距離は、より広いAFOVを生じる。所与の焦点距離fについて、より大きい走査範囲は、より広いAFOVを生じる。いくつかの実施形態では、ライダーセンサ100は、出射レンズ130の後焦点面にアレイとして配置された複数の光源を含んでいてもよく、そのため、各個別光源の走査範囲を比較的小さく保ちながら、より大きな全AFOVが達成され得る。したがって、ライダーセンサ100は、受光レンズ140の焦点面にアレイとして配置された複数の検出器を含んでいてもよく、各検出器はそれぞれの光源と共役である。例えば、ライダーセンサ100は、
図1に示されるように、第2の光源110bおよび第2の検出器160bを含んでいてもよい。他の実施形態では、ライダーセンサ100は、4つの光源および4つの検出器、または8つの光源および8つの検出器を含んでいてもよい。一実施形態では、ライダーセンサ100は、4×2アレイとして配置された8つの光源と、4×2アレイとして配置された8つの検出器とを含んでいてもよく、そのためライダーセンサ100は、垂直方向のAFOVよりも広い水平方向のAFOVを有し得る。様々な実施形態によれば、ライダーセンサ100の全AFOVは、出射レンズの焦点距離、各光源の走査範囲、および光源の数に応じて、約5度~約15度、または約15度~約45度、または約45度~約120度の範囲に及び得る。
【0016】
[0030]光源110aは、紫外線波長範囲、可視波長範囲、または近赤外線波長範囲の光パルスを出射するように構成され得る。各光パルスのエネルギーはマイクロジュールのオーダであってもよく、これは通常、kHz範囲の繰り返し率に対して眼に安全であるとみなされる。約1500nmを超える波長で動作する光源の場合、眼はそれらの波長に焦点を合わせないため、エネルギーレベルをより高くすることもできる。検出器160aは、シリコン・アバランシェ・フォトダイオード、光電子増倍管、PINダイオード、または他の半導体センサを含み得る。
【0017】
[0031]
図1に示されるライダーセンサ100などのライダーセンサが自律型車両の障害物検出に使用される場合、車両に対する障害物の位置を正確に決定するために、車両に対するライダーセンサの位置および向きが正確に知られている必要があり得る。
図2Aに、車両220に搭載されたライダーセンサ210を概略的に示す。例えば、ライダーセンサ210は、車両220のフロントガラスの背後の上部中央に取り付けることができる。ライダーセンサ210は、光軸250(例えば、出射レンズまたは受光レンズの光軸)を特徴とすることができる。車両220は、長手方向軸240を有し得る。ライダーセンサ210の光軸250を車両220の長手方向軸240と位置整合して、ライダーセンサ210が、車両220が進行している方向に向かって真っ直ぐ前を見るようにすることが有利であり得る。
【0018】
[0032]ライダーセンサ210がこの位置整合条件に従って最初に較正されると仮定する。何らかの機械的外乱のためにライダーセンサの向きがずれる(例えば、左に曲がる)場合には、
図2Aに示されるように、ライダーセンサ210の光軸250はもはや車両220の長手方向軸240と位置整合されなくなる。位置不整合は、車両220に対する障害物(例えば、人260)の位置の不正確な測定をもたらし得る。よって、ライダーセンサ210の再較正が必要とされ得る。
【0019】
[0033]
図2Bに、車両座標系を示す。車両座標系は、例えば、X座標、Y座標、およびZ座標によって表すことができる3並進自由度を有することができる。車両座標系は、例えば、それぞれx軸、y軸、およびz軸を中心としたロール角、ピッチ角、およびヨー角によって表すことができる3回転自由度を有することができる。例えば、x軸は、車両220の長手方向軸に沿うものとすることができ、z軸は、垂直方向に沿うものとすることができ、y軸は、横方向に沿うものとすることができる。車両220に対するライダーセンサ210の位置および向きは、車両座標系における(x、y、z、ロール、ピッチ、ヨー)座標によって特徴付けることができる。
【0020】
[0034]
図2Cに、ライダー座標系を示す。ライダー座標系もまた、(例えば、X座標、Y座標、およびZ座標によって表される)3並進自由度、ならびに(例えば、それぞれ、X軸、Y軸、およびZ軸を中心としたロール角、ピッチ角、およびヨー角によって表される)3回転自由度を有することができる。例えば、X軸は、ライダーセンサ210の光軸に沿ったものとすることができ、Z軸は、名目上の垂直方向に沿ったものとすることができ、Y軸は、X軸およびZ軸と直交する方向に沿ったものとすることができる。
【0021】
[0035]ライダーセンサ210によって取得される点群の生データは、ライダー座標系とすることができる。車両220に対する障害物の位置を決定するために、車両座標系におけるライダーセンサ210の位置および向きが分かっている場合、点群データを車両座標系に変換することができる。ライダー座標系から車両座標系への変換は、本明細書では、車両220に対するライダーセンサ210の較正と呼ばれ得る。
【0022】
[0036]いくつかの実施形態によれば、ライダーセンサ210が車両220に対して名目上位置整合されるように、ライダーセンサ210を車両220に取り付けることができる。例えば、ライダーセンサ210を、(例えば、ライダーセンサ210の光軸に沿った)ライダー座標系のX軸が(例えば、車両の長手方向軸に沿った)車両座標系のx軸と名目上位置整合され、ライダー座標系のY軸が車両座標系のy軸と名目上位置整合され、ライダー座標系のZ軸が車両座標系のz軸と名目上位置整合されるように、車両220に取り付けることができる。よって、車両座標系におけるロール角、ピッチ角、およびヨー角は、すべておおよそ0である。名目上の位置整合からのあらゆる残存する偏差を十分な正確度まで補正するために較正が必要とされ得る。例えば、ライダーセンサ210を、x軸、y軸、およびz軸の各々に沿って2cmの並進正確度、ならびにロール角、ピッチ角、およびヨー角の各々について0.1度の回転正確度に較正することが望ましい場合がある。
【0023】
[0037]
図3Aおよび
図3Bに、いくつかの実施形態による、車両にライダーセンサを取り付けるために使用することができる取り付け機構を概略的に示す。ライダーセンサは、
図3Aに示されるように、(例えば、外側ハウジング310の上面に)3つの取り付け穴320を有する外側ハウジング310を有し得る。ブラケット330は、外側ハウジング310の取り付け穴320と一致する3つの穴340を有することができ、それにより、
図3Bに示されるように、ライダーセンサを固定された向きでブラケット330に取り付けることができる。ブラケット330は、適切な位置整合のために同様の取り付け穴(図示せず)を使用して車両に(例えば、車室の屋根に)取り付けることができる。
【0024】
[0038]ライダーセンサは、車両に対するライダーセンサの残存する位置不整合を補正するために、製造者のプラントにおいて事前較正することができる。長い期間にわたって車両を動作させる間に、ライダーセンサの光学部品は、ハウジング310に対してずれる可能性があり、またはライダーセンサのハウジング310は、取り付けブラケット330および/または車両に対してずれる可能性がある。これは、例えば、ライダーセンサの内部機構の断裂および摩耗、車両の衝突または振動、タイヤの位置不整合、車両のサスペンションの経年劣化などに起因して起こり得る。よって、時間が経つにつれて、較正が不正確になる可能性があり、新しい較正が必要になり得る。様々な実施形態によれば、ライダー較正は、埋め込みミラーを有するターゲットを使用して定期的に行うことができ、または以下でより詳細に説明されるように、車両上の固定特徴または固定された道路特徴を使用して定期的または連続的に行うことができる。
【0025】
[0039]A.埋め込みミラーを有するターゲットを使用したライダーセンサの較正
図4A~
図4Cに、いくつかの実施形態による、埋め込みミラーを有するターゲットを使用した、車両に搭載されたライダーセンサの例示的な較正設定を示す。ライダーセンサ410は、この例では車両420のフロントガラスの背後に取り付けられて示されている。しかしながら、これは必須ではない。例えば、ライダーセンサ410は、フロントバンパ、リアウインドウ、リアバンパなどの車両420上の他の位置に取り付けることができる。ターゲット440は、ライダーセンサ410の前方のある距離Dのところに配置されている。ターゲット440は、平面ミラー430と、ミラー430を取り囲む識別可能な特徴490とを含む。
【0026】
[0040]
図4Aを参照すると、ミラー430が名目上垂直になるように、ターゲット440をスタンド(図示せず)上に取り付けることができる。よって、ミラー430の表面に垂直なミラー430の光軸432は、名目上水平とすることができる。車両420は、ライダーセンサの光軸412がミラー430の光軸432と名目上平行になり、ターゲット440が名目上ライダーセンサ410の視野を中心とするように、ミラー430に対して配置され、方向づけられる。ライダーセンサ410が(例えば、
図4Aに示されるように)車両420のフロントガラスの背後に取り付けられている場合、車両420を、車両420の長手方向軸422がミラー430の光軸432と名目上平行になるように配置することができる。
【0027】
[0041]
図4Bを参照すると、ライダーセンサ410は、ターゲット440を横切って走査することによってターゲット440の三次元画像を取得することができる。ターゲットの三次元画像は、ミラー430を取り囲む特徴490の画像、およびミラー430によって形成された車両420の鏡像を含むことができる。例えば、ライダーセンサ410は、ミラー430に向けられたレーザーパルス450(または450a)を出射することができる。反射されたレーザーパルス450bは、車両の特定の部分(例えば、フロントバンパのナンバープレート)に向けることができ、次いでミラー430に向けて反射し(
図4Bに450cとして示されている)、ライダーセンサ410に戻る(
図4Bに450dとして示されている)ことができる。よって、
図4Cに示されるように、ライダーセンサ410は、車両420の三次元鏡像を効果的に取得することができる。
【0028】
[0042]いくつかの実施形態によれば、ターゲット440と車両420との間の距離Dを、所望の正確度を満たすのに十分な大きさにすることができる。例えば、距離Dは約3mとすることができる。ミラー430のサイズを、車両420全体が見えるように十分に大きくすることができるが、これは必須ではない。例えば、ミラー430のサイズは、高さ約1m、幅約2mとすることができる。ターゲット440のサイズは、高さ約2m、幅約3m(例えば、特徴490を有するターゲット440の縁部は、0.5mの幅を有し得る)とすることができる。
【0029】
[0043]
図5Aに、車両420がターゲット440に対して正しく位置整合されており(例えば、車両420の長手方向軸が、ミラー430の表面に対して垂直であり)、ライダーセンサ410が車両420に対して正しく位置整合されている(例えば、ライダーセンサ410の光軸が、車両420の長手方向軸に平行である)ときに、ライダーセンサ410に何が見えるかを概略的に示す。また、車両420がミラー430の幅に対して横方向の中心にあり、ライダーセンサ410が車両420に対して横方向の中心にあるとも仮定する。そのような場合、ライダーセンサ410から見られる車両420の鏡像420’は、対称に見え、ロール角も、ピッチ角も、ヨー角もない可能性がある。ターゲット440はまた、ライダーセンサの視野414に関しても対称に見え(例えば、ターゲット440の左縁から視野414の左境界までの横マージンdは、ターゲット440の右縁から視野414の右境界までの横マージンdとほぼ同じであり)、ロール角も、ピッチ角も、ヨー角もない可能性がある。
【0030】
[0044]
図5Bに、ライダーセンサ410が車両420に対して正しく位置整合されているが、車両420がターゲット440に対して位置不整合である(例えば、車両420の長手方向軸が、ミラー430の光軸に対して有限のヨー角を有する)ときに、ライダーセンサ410に何が見えるかを概略的に示す。そのような場合、ターゲット440はもはやライダーの視野414の中心にはない(例えば、右に向かって横方向にずれている)。シフト量(例えば、新しいマージンDと名目上のマージンdとの間の差)は、位置不整合の量に関連し得る。よって、シフト量に基づいてターゲット440に対する車両420の向きのずれの量(例えば、ヨー誤差)を決定することが可能であり得る。加えて、ライダーセンサ410によって見られる車両420の鏡像420’も、有限のヨー角を有するように見える(
図5Bでは回転量が多少誇張されていることに留意されたい)。よって、ライダーセンサ410はまた、車両420の特定の特徴の距離を測定することによって、ターゲット440に対する車両420の向きのずれの量を決定することもできる。例えば、
図5Bに示されるように、ライダーセンサ410は、一方のヘッドランプ(例えば、左側ヘッドランプ)が他方のヘッドランプ(例えば、右側ヘッドランプ)よりもライダーセンサ410から遠いことを測定することができ、よって車両420のヨー角を計算することができる。
【0031】
[0045]
図5Cに、車両420がターゲット440に対して正しく位置整合されている(例えば、車両420の長手方向軸が、ミラー430の表面に対して垂直である)が、ライダーセンサ410が車両420に対して正しく位置整合されていない(例えば、ライダーセンサ410が、真っ直ぐ前を見ているのではなく左を見ている)ときに、ライダーセンサ410に何が見えるかを概略的に示す。そのような場合、車両420の鏡像420’は対称であるように見える可能性があるが、ターゲット440は、ライダーの視野414に対して横方向に(例えば、右に)ずれている可能性がある。ライダーセンサ410は、シフト量(例えば、新しいマージンDと名目上のマージンdとの間の差)に基づいて、ライダーセンサ410の向きのずれの量(例えば、ヨー誤差)を決定することができる。
【0032】
[0046]
図6Aに、ライダーセンサ410が車両420に対して正しく位置整合されているが、車両420がターゲット440に対してピッチ誤差を有するときに、ライダーセンサ410に何が見えるかを概略的に示す。そのような場合、ターゲット440はもはやライダーの視野414の中心にはない(例えば、下方に垂直方向にずれている)。垂直シフト量は、ピッチ誤差の量に関連し得る。よって、垂直シフト量に基づいてターゲット440に対する車両420のピッチ誤差の量を決定することが可能であり得る。加えて、ライダーセンサ410によって見られる車両420の鏡像420’もまた、有限のピッチ角を有するように見える(
図6Aでは回転量が多少誇張されていることに留意されたい)。よって、ライダーセンサ410はまた、車両420の特定の特徴の距離を測定することによって、ターゲット440に対する車両420のピッチ誤差の量を決定することもできる。例えば、
図6Aに示されるように、ライダーセンサ410は、車両420の屋根が傾いていることを測定することができ、傾きの量に基づいてピッチ誤差を計算することができる。
【0033】
[0047]
図6Bに、車両420がターゲット440に対して正しく位置整合されているが、ライダーセンサ410が車両420に対してピッチ誤差を有する(例えば、ライダーセンサ410が、真っ直ぐ前を見ているのではなく上方を見ている)ときに、ライダーセンサ410に何が見えるかを概略的に示す。そのような場合、車両420の鏡像420’は、ピッチ角を有していないように見える可能性があるが、ターゲット440は、ライダーの視野414に対して垂直方向に(例えば、下方に)ずれている可能性がある。ライダーセンサ410は、垂直シフト量に基づいて、ライダーセンサ410のピッチ誤差の量を決定することができる。
【0034】
[0048]
図6Cに、ライダーセンサ410が車両420に対して正しく位置整合されているが、車両420がターゲット440に対してロール誤差を有するときに、ライダーセンサ410に何が見えるかを概略的に示す。そのような場合、ライダーセンサ410によって見られる車両420の鏡像420’は、ロール角を有さないように見えるが、ターゲット440は、ライダーの視野414に対して有限のロール角を有するように見える可能性がある。ライダーセンサの視野414に対するターゲット440のロール角の量に基づいて、ターゲット440に対する車両420のロール誤差の量を決定することが可能であり得る。
【0035】
[0049]
図6Dに、車両420がターゲット440に対して正しく位置整合されているが、ライダーセンサ410が車両420に対してロール誤差を有するときに、ライダーセンサ410に何が見えるかを概略的に示す。そのような場合、車両420の鏡像420’とターゲット440の両方が、ライダーの視野414に対して有限のロール角を有するように見える可能性がある。ライダーセンサ410は、ロール回転の量に基づいて、ライダーセンサ410のロール誤差の量を決定することができる。
【0036】
[0050]したがって、ライダーセンサ410(または車両420のコンピューティングユニット)は、車両420に対するライダーセンサ410の予想される位置整合(例えば、製造者のプラントで行われた初期位置整合)からの偏差を、ターゲット上の特徴490の画像および車両420の鏡像420’を含む、ライダーセンサ410によって取得された三次元画像を解析することによって決定することができる。予想される位置整合からの偏差は、ヨー誤差、ロール誤差、ピッチ誤差、および並進誤差(例えば、δx、δy、δz)を含むことができる。
【0037】
[0051]いくつかの実施形態によれば、車両420に対するライダーセンサ410の予想される位置整合からの偏差を決定するステップは、以下のステップを含むことができる。ターゲット440に対するライダーセンサ410の位置および向きを、ターゲット440上の特徴490の画像に基づいて決定することができる。車両420の鏡像420’に対するライダーセンサ410の位置および向きを、車両の鏡像420’に基づいて決定することができる。次いで、ライダー座標系から車両座標系への変換を、(i)ターゲット440に対するライダーセンサ410の位置および向きと、(ii)車両420の鏡像420’に対するライダーセンサ410の位置および向きと、に基づいて決定することができる。
【0038】
[0052]いくつかの実施形態では、コンピューティングユニットが、基準画像を格納することができる。例えば、基準画像は、製造者のプラントで初期位置整合が行われた直後にライダーセンサ410によって取得された画像とすることもでき、または予想される位置整合のシミュレーション画像とすることもできる。再較正中に、コンピューティングユニットは、ライダーセンサ410によって取得された三次元画像を基準画像と比較し、(例えば、勾配降下法または他のアルゴリズムを使用して)多変数最小化を行って、取得された三次元画像が基準画像と最も近く一致するように変換行列を決定することができる。次いで、予想される位置整合からの偏差(例えば、ヨー誤差、ロール誤差、ピッチ誤差、δx、δy、およびδz)を変換行列から導出することができる。
【0039】
[0053]以下の例示的な方法は、様々な実施形態に従って6自由度で、車両420に対するライダーセンサ410の関係を決定するために使用され得る。他の方法および技術も当業者によって使用され得る。以下の例示的な実施形態の説明では、以下の表記および用語が使用される。Ltは、ターゲット440に対するライダーセンサ410の関係を記述する行列を表し、Ctは、ターゲット440に対する車両420の関係を記述する行列を表し、LCは、(ライダーセンサ410の誤較正を補正するための)車両420に対するライダーセンサ410の関係を記述する行列を表し、Mは、ミラー変換行列を表し、LmCは、ライダーセンサ410がミラー430内で見るときの車両420に対するライダーセンサ410の関係を記述する行列を表す。
【0040】
[0054]いくつかの実施形態では、ライダーセンサ410は、少なくとも3つのターゲット特徴490からの距離を(例えば、GPS受信機がGPS衛星に対してその位置を三角測量する方法と同様に)三角測量することによって、ミラー430の周りのターゲット特徴490に対するその位置(x、y、z)関係を確立することができる。ピッチ、ロール、およびヨーの回転関係は、少なくとも3つのターゲット特徴490(x、y、およびzに使用されるのと同じターゲット特徴であり得る)の位置を測定することによって決定することができる。よって、ターゲット440Ltに対するライダーセンサ410の関係を記述する行列を確立することができる。行列Ltは、x、y、およびzの位置、ならびにピッチ、ロール、およびヨーを定義する4×4の行列である。
【0041】
[0055]次に、ターゲット440に対する車両420の関係を、同様の手順によって、すなわち、ミラー430において見られる車両420の特定の特徴までの距離を測定してターゲット440に対するその位置を三角測量することと、ミラー430に対する車両420上の特徴の位置を測定して車両420のピッチ、ロール、およびヨーを決定することとによって確立することができる。よって、ターゲット440Ctに対する車両420の関係を記述する行列を確立することができる。行列Ctは、x、y、およびz位置、ならびにピッチ、ロール、およびヨーを定義する4×4行列である。次いで、車両420に対するライダーセンサ410の関係を、LC=(Ct
-1)・Ltによって定義することができる。
【0042】
[0056]いくつかの実施形態によれば、ライダーセンサ410は、行列Ltを確立するために、上述のようにターゲット440に対するその位置を決定することができる。ライダーセンサ410はまた、行列LmCを確立するために、ミラー430を通して見られるライダーセンサ410に対する車両の鏡像420’の関係も決定することができる。次いで、車両420に対するライダーセンサ410の関係を、次のように行列乗算によって決定することができる。
LC=Lt・M(Lt
-1)LmC・M
【0043】
[0057]いくつかの実施形態によれば、ミラー430において見られる車両の画像420’およびライダーセンサ410によって取得されたターゲット440の画像は、格納された基準画像と比較される。基準画像は、シミュレーション画像または工場較正中に撮影された画像のどちらかとすることができる。次いで、最小化技術(例えば、勾配降下アルゴリズムを使用する)を使用して、現在取得されている画像と格納されている基準画像との間の差を最小化する変換パラメータ(δx、δy、δz、ピッチ誤差、ロール誤差、およびヨー誤差)を決定することができる。このプロセスでは、現在取得されている画像を、格納されている基準画像と一致するように変換することもでき、または格納されている基準画像を、現在取得されている画像と一致するように変換することもできる。変換パラメータは、車両420に対する現在のライダー位置と理想的な(または工場で較正された)ライダー位置との間の差を表すことができる。
【0044】
[0058]車両420に対するライダー410の関係が決定されると、現在のライダー較正とのこの関係との不一致を、ライダー較正を補正するために使用することができる。
【0045】
[0059]いくつかの実施形態では、(例えば、世界座標系における)ターゲット440に対する車両420の位置および向きを決定するために、1つまたは複数の距離センサを使用することができる。例えば、車両420の下の舗装道路内に2つまたは3つの距離センサを配置することによって、車両のピッチ、ロール、およびz座標(高さ)を決定することができる。6つの距離センサを使用することにより、すべての自由度(x、y、z、ピッチ、ロール、ヨー)を決定することができる。距離センサは、超音波センサまたはレーザーセンサとすることができる。
【0046】
[0060]車両420の位置および向きを決定するために距離センサを使用する例が
図5Aに示されている。この例では、4つの距離センサ590を車両420の周囲の適切な位置に配置することができる。例えば、各距離センサ590を、車両420のそれぞれの車輪の近傍に置くことができる。距離センサ590は、超音波パルスまたはレーザーパルスを車輪に向けて送信し、戻りパルスを測定することにより、車輪からの距離を推定することができる。よって、車両420のy座標およびヨー角を決定することができる。いくつかの実施形態では、車両の片側(運転席側または助手席側のどちらか)にある2つの距離センサ590のみが必要とされ得る。別の距離センサ592を車両420の前方に配置して、車両420のx座標を決定することができる。
【0047】
[0061]いくつかの実施形態によれば、追加の補正または較正を行うことができる。例えば、フロントガラスの歪みの影響を測定し、補正することができる。フロントガラスの歪み補正は、フロントガラスが交換されるたびに必要となり得る。
【0048】
[0062]
図7に、いくつかの実施形態による、埋め込みミラーを有するターゲットを使用して車両に搭載されたライダーセンサを較正する方法700を示す簡略化されたフローチャートを示す。
【0049】
[0063]方法700は、702で、車両をターゲットから離れたところに配置するステップを含む。ターゲットは、平面ミラーと、ミラーを取り囲む特徴とを含む。ミラーの光軸は略水平である。車両は、ライダーセンサの光軸がミラーの光軸と名目上平行になり、ターゲットが名目上ライダーセンサの視野を中心とするように、ミラーに対して配置され、方向づけられる。
【0050】
[0064]方法700は、704で、ライダーセンサを使用して、ターゲットの三次元画像を取得するステップ、をさらに含む。ターゲットの三次元画像は、ターゲットの特徴の画像と、ミラーによって形成された車両の鏡像とを含む。
【0051】
[0065]方法700は、706で、ターゲットの三次元画像内の特徴の画像および車両の鏡像を解析することによって、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップ、をさらに含む。
【0052】
[0066]いくつかの実施形態では、方法700は、708で、車両に対するライダーセンサの予想される位置整合からの偏差に基づいて車両に対してライダーセンサを再較正するステップ、をさらに含む。
【0053】
[0067]いくつかの実施形態では、方法700は、ライダーセンサの予想される位置整合からの偏差が閾値を超えていると判定するステップと、ライダーセンサの予想される位置整合からの偏差が閾値を超えていると判定したことに応答して警報を出すステップとをさらに含む。
【0054】
[0068]いくつかの実施形態では、ライダーセンサの視野は、水平方向に180度未満である。
【0055】
[0069]いくつかの実施形態では、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップは、特徴の画像に基づいて、ターゲットに対するライダーセンサの位置および向きを決定するステップと、車両の鏡像に基づいて、車両の鏡像に対するライダーセンサの位置および向きを決定するステップと、ライダー座標系から車両座標系への変換を、(i)ターゲットに対するライダーセンサの位置および向きと、(ii)車両の鏡像に対するライダーセンサの位置および向きと、に基づいて決定するステップと、を含むことができる。
【0056】
[0070]いくつかの実施形態では、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップは、ライダーセンサと車両との間の予想される関係に関する基準行列を格納するステップと、ライダーセンサと車両との間の現在の関係に関する行列を決定するステップと、車両に対するライダーセンサの予想される位置整合からの偏差を、行列と基準行列と比較することによって決定するステップと、を含むことができる。いくつかの実施形態では、方法700は、ライダーセンサと車両との間の現在の関係に関する行列に基づいて、車両に対してライダーセンサを再較正するステップをさらに含む。
【0057】
[0071]
図7に示される特定のステップは、いくつかの実施形態によるライダーセンサを較正する特定の方法を提供するものであることを理解されたい。他のステップの順序が、代替の実施形態に従って行われてもよい。例えば、本発明の代替の実施形態は、上記で概説されたステップを異なる順序で行ってもよい。さらに、
図7に示される個々のステップは、個々のステップに適する様々な順序で行われ得る複数のサブステップを含んでいてもよい。さらに、特定の用途に応じて、追加ステップが付加されてもよく、または一部のステップが除去されてもよい。当業者は、多くの変形形態、改変形態、および代替形態を理解するであろう。
【0058】
[0072]B.車両上の特徴を使用したライダーセンサの動的較正
車両の駐車中または運転中であっても、定期的または連続的に、車両に対するライダーセンサの較正をチェックする方法を有することが望ましい場合がある。いくつかの実施形態によれば、ライダーセンサの較正を、車両の通常動作中に較正を行うことができるように、車両の特徴を使用して行うことができる。そのような方法を、本明細書では動的較正と呼ぶ。
【0059】
[0073]
図8に、いくつかの実施形態による、フロントガラスに取り付けられたマスクを使用したライダーセンサの動的較正の一例を示す。図示のように、ライダーセンサ810(
図8では見えていない)は、車両850のフロントガラス840の背後に取り付けられている。マスク820が、ライダーセンサ810のすぐ前方の領域においてフロントガラス840に取り付けられている。ライダーセンサ810の動作波長がIR波長範囲内にあると仮定すると、マスク820を、赤外(IR)光を遮断する(例えば、赤外光に対して光学的に不透明である)ように構成することができる。いくつかの実施形態では、マスク820を、フロントガラス840のIR透過部分830を取り囲む環状形状とすることができる。IR遮断マスク820の幾何学的形状およびサイズは、ライダーセンサ810の視野の縁部の周囲が遮断されるように作製することができる。
【0060】
[0074]
図9Aおよび
図9Bに、いくつかの実施形態による、IR遮断マスク820を有するフロントガラス840の側面図を概略的示す。フロントガラス840のIR透過部分830は、IR遮断マスク820によって囲まれている。IR透過部分830は、ライダーセンサ810の視野910よりわずかに小さい。
図9Aを参照すると、正しい位置整合(例えば、予想される位置整合)の下で、ライダーセンサ810を、その視野910がIR透過部分830を中心とするようにフロントガラス840の背後に配置することができる。よって、視野910の縁部は、四辺すべてで遮断されている(
図9Aの側面図は、上側および下側を示している)。
【0061】
[0075]
図9Bは、ライダーセンサ810が正しい整合位置からずれている(例えば、上方に傾いている)場合の例を示している。結果として、IR透過部分830はもはやライダーセンサ810の視野910を中心としていない。よって、下側よりも上側でその視野910のより大きい部分が遮断され得る。
【0062】
[0076]
図10A~
図10Cに、いくつかの実施形態による、様々な位置整合条件下での
図8に示されるIR遮断マスク820の効果のいくつかの例を概略的に示す。
図10Aは、ライダーセンサ810が正しく位置整合されている例を示している。フロントガラス840のIR透過部分830は、ライダーセンサ810の視野910を中心としている。よって、IR遮断マスク820によって遮断される視野910の縁部(灰色領域)は、四辺すべてでほぼ同じ幅を有する。
【0063】
[0077]
図10Bは、ライダーセンサ810が正しい整合位置から右の方にずれている(例えば、ライダーセンサ810がヨー誤差を有する)例を示している。結果として、フロントガラス840のIR透過部分830は、ライダーセンサ810の視野910に対して左の方にずれている。よって、左側よりも右側で視野910のより大きい部分がIR遮断マスク820によって遮断されている。
【0064】
[0078]
図10Cは、ライダーセンサ810が正しい整合位置から回転されている(例えば、ライダーセンサ810がロール誤差を有する)例を示している。結果として、フロントガラス840のIR透過部分830は、ライダーセンサ810の視野910に対して回転されている。
【0065】
[0079]いくつかの実施形態によれば、ライダーセンサ810の視野910に対するフロントガラス840のIR透過部分830の相対的な位置および向きを使用して、ライダーセンサ810を較正することができる。例えば、コンピューティングユニットは、基準画像を格納することができる。基準は、ライダーセンサが正しい整合位置にある間にライダーセンサ810によって取得することもでき、またはシミュレーションによって取得することもできる。例えば、基準画像は、ライダーセンサが製造施設において事前較正された直後にライダーセンサによって取得することができる。ライダーセンサ810が通常動作にあるとき(車両が駐車しているか、または走行しているとき)、コンピューティングユニットは、現在のライダー画像を基準画像と定期的または連続的に比較することができる。比較に基づいて、ライダーセンサ810の正しい整合位置からの偏差を生じさせることができる。
【0066】
[0080]いくつかの実施形態では、現在のライダー画像におけるフロントガラス840のIR透過部分が基準画像におけるIR透過部分830と最もよく一致するように変換行列を決定するために多変数最小化を行うことができる。次いで、正しい整合位置からの偏差(例えば、ヨー誤差、ロール誤差、ピッチ誤差、δx、δy、およびδz)を変換行列から導出することができる。様々な実施形態によれば、ライダーセンサ810は、それ自体を自動的に再較正することもでき、または正しい整合位置からの偏差が閾値を超えていると判定したことに応答して車両に警報を出すこともできる。
【0067】
[0081]追加的または代替的に、ライダーセンサ810によって取得された車両上のいくつかの固定特徴の画像を使用してライダーセンサ810を較正することもできる。
図10D~
図10Fに、ライダーセンサ810によって取得することができるいくつかの例示的な画像を示す。画像は、車両のボンネット1020の一部と、ボンネット1020に取り付けられた装飾的特徴1030(例えば、製造者のロゴ)とを示している。
図10Dでは、装飾的特徴1030は、ライダーセンサ810の視野910内で横方向のほぼ中心にある。
図10Eでは、装飾的特徴1030は、視野910の左にずれており、ライダーセンサ810が右の方を向いている可能性がある(例えば、ヨー誤差を有する)ことを示している。
図10Fでは、装飾的特徴1030が回転されており、ライダーセンサ810が回転されている可能性がある(例えば、ロール誤差を有する)ことを示している。
図10Eおよび
図10Fにおけるボンネット1020の画像も、それに応じてずれており、かつ/または回転されていることに留意されたい。較正に使用することができる車両の他の例示的な特徴には、グリルに取り付けられたライダーセンサ上のカバー、ヘッドランプまたはテールランプの特徴(例えば、ライダーセンサがヘッドランプまたはテールランプの内部に設置されている場合)などが含まれる。
【0068】
[0082]いくつかの実施形態によれば、コンピューティングユニットは、ライダーセンサが車両に対して正しい位置整合(例えば、予想される位置整合)にある間に、ライダーセンサによって取得された基準画像を格納することができる。基準画像は、車両上の固定特徴の第1の画像を含むことができる。ライダーセンサ810が通常動作にあるとき(車両が駐車しているか、または走行しているとき)、コンピューティングユニットは、現在のライダー画像を基準画像と定期的または連続的に比較することができる。現在のライダー画像は、車両の固定特徴の第2の画像を含む。正しい位置整合からの偏差は、第2の画像内の固定特徴の位置および向きを第1の画像内の位置および向きと比較することによって決定することができる。
【0069】
[0083]
図11に、いくつかの実施形態による、車両上の特徴を使用して車両に搭載されたライダーセンサを較正する方法1100を示す簡略化されたフローチャートを示す。
【0070】
[0084]方法1100は、1102で、ライダーセンサが車両に対して予想される位置整合にある間にライダーセンサによって取得された基準三次元画像を格納するステップ、を含む。基準三次元画像は、車両上の固定特徴の第1の画像を含む。
【0071】
[0085]方法1100は、1104で、ライダーセンサを使用して、固定特徴の第2の画像を含む三次元画像を取得するステップ、をさらに含む。
【0072】
[0086]方法1100は、1106で、三次元画像内の固定特徴の第2の画像を基準三次元画像内の固定特徴の第1の画像と比較することによって、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップ、をさらに含む。
【0073】
[0087]いくつかの実施形態では、方法1100は、1108で、車両に対するライダーセンサの予想される位置整合からの偏差に基づいてライダーセンサを再較正するステップ、をさらに含む。
【0074】
[0088]いくつかの実施形態では、方法1100は、基準三次元画像内の固定特徴の第1の画像と一致するように三次元画像内の固定特徴の第2の画像に適用されるべき変換を決定するステップと、変換に基づいてライダーセンサを再較正するステップと、をさらに含む。
【0075】
[0089]いくつかの実施形態では、方法1100は、ライダーセンサの予想される位置整合からの偏差が閾値を超えていると判定するステップと、ライダーセンサの予想される位置整合からの偏差が閾値を超えていると判定したことに応答して警報を出すステップと、をさらに含む。
【0076】
[0090]いくつかの実施形態では、基準三次元画像は、ライダーセンサが製造施設において事前較正された後にライダーセンサによって取得される。
【0077】
[0091]いくつかの実施形態では、固定特徴は、車両のボンネットの一部分またはボンネットに取り付けられた物体を含む。
【0078】
[0092]いくつかの実施形態では、ライダーセンサは、車両のフロントガラスの背後に配置されており、固定特徴は、ライダーセンサの真正面にあるフロントガラスの領域に取り付けられたマスクを含む。マスクは、ライダーセンサの動作波長の光を遮断するように構成されており、ライダーセンサの視野の一部分を遮断するように成形されている。マスクは、外側境界および内側境界を有することができ、内側境界は、マスクがライダーセンサの視野の周囲を侵食するようなサイズとされる。
【0079】
[0093]
図11に示される特定のステップは、いくつかの実施形態によるライダーセンサを較正する特定の方法を提供するものであることを理解されたい。他のステップの順序が、代替の実施形態に従って行われてもよい。例えば、本発明の代替の実施形態は、上記で概説されたステップを異なる順序で行ってもよい。さらに、
図11に示される個々のステップは、個々のステップに適する様々な順序で行われ得る複数のサブステップを含んでいてもよい。さらに、特定の用途に応じて、追加ステップが付加されてもよく、または一部のステップが除去されてもよい。当業者は、多くの変形形態、改変形態、および代替形態を理解するであろう。
【0080】
[0094]C.道路特徴を使用したライダーセンサの動的較正
いくつかの実施形態によれば、車両に搭載されたライダーセンサの動的較正の方法は、車両が道路の比較的直線の区間を走行するときに道路特徴を使用することができる。
図12Aおよび
図12Bに一例を示す。ライダーセンサ1210は、車両1220のフロントガラスの背後に取り付けられて示されている(ライダーセンサ1210は、他の位置に、例えばフロントバンパに取り付けることができる)。車両1220は、道路1230の直線区間を走行している。塗装された車線区分線1240を、車両が道路1230に沿って走行している間に取得されたライダー画像に基づいて、車両1220に対するライダーセンサ1210の位置および向きを動的に較正するために使用することができる。較正のために塗装された車線区分線を使用することは、車線区分線がほぼすべての道路に存在するので有利であり得る。また、車線区分線1240の対間の距離は、通常、標準的な距離である。再帰反射塗料を用いた車線区分線は、ライダー画像に明確に現れ得る。
【0081】
[0095]
図12Aに示されるように、ライダーセンサ1210が車両1220に対して適切に位置整合されている(例えば、ライダーセンサ1210が、車両1220が進行しているのと同じ方向を見ている)場合、車線区分線1240の対は、車両経路1250の両側を等しく通過するように見える可能性がある。
図12Bに示されるように、ライダーセンサ1210が車両1220に対して位置不整合である(例えば、ライダーセンサ1210が、車両1220の長手方向軸に対して左を見ている)場合には、車線区分線1240の対は、車両経路1250に対して非対称に車両1220を通過するように見える可能性がある。例えば、車両経路1250は、助手席側の車線区分線1240bよりも運転席側の車線区分線1240aに近づいて移動しているように見える可能性がある。よって、車両経路1250に対する車線区分線1240のライダー画像を解析することによって、車両1220に対するライダーセンサ1210の位置不整合の量(例えば、ヨー誤差)を推定することができる。
【0082】
[0096]
図13A~
図13Cに、いくつかの実施形態による、車両に搭載されたライダーセンサの動的較正のために車線構成を使用するいくつかのさらなる例を示す。
図13Aに示されるように、ライダーセンサ1210の位置整合がピッチ誤差を有する場合、車線区分線1240は、(道路が比較的水平であると仮定すると)車両経路に対して傾いているように見える可能性がある。
【0083】
[0097]
図13Bに示されるように、ライダーセンサ1210の位置整合がロール誤差を有する場合、車両1220の一方の側(例えば、運転席側)の車線区分線1240aは、車両1220の他方の側(例えば、助手席側)の車線区分線1240bよりも高く見える可能性がある。
【0084】
[0098]
図13Cに示されるように、ライダーセンサ1210の位置整合が(垂直方向に)Z誤差を有する場合、車線区分線1240の高さは、車両経路からオフセットされている可能性がある。その他2つの直交方向の並進誤差(例えば、X誤差およびY誤差)も、車両1220が前進するときの(予想される動きに対する)車線区分線などの対象物の動きを監視することによって検出することができる。
【0085】
[0099]よって、車線区分線1240(または他の道路特徴)と車両経路との画像間の空間的関係を解析することによって、車両1220に対するライダーセンサ1210の様々な回転位置不整合および並進位置不整合を検出および推定することができる。ライダーセンサが車両の側部または後部に搭載されている場合、異なる視野角を考慮に入れるために適切な修正および数学的変換を伴って、同様の較正手順を使用することができる。
【0086】
[0100]いくつかの実施形態によれば、測定を何度も繰り返すことができ、例えば、道路の不規則性、塗装が不十分な車線区分線、カーブ、陥凹、ポットホールなどを考慮に入れるために、その結果を平均することができる。外れ値は破棄することができる。外れ値は、例えば、車線変更および他の運転の不規則性、他の車両による車線区分線の視界の妨害などに起因し得る。
【0087】
[0101]いくつかの実施形態によれば、他の情報を使用して、較正データの品質および信頼性を高めることができる。例えば、車両操舵センサからのデータ、全地球航法衛星システム(例えば、GPS)データ、および慣性計測装置(IMU)データなどを使用して、車両が曲がっていないことを確認することができる。地図データを使用して、道路が直線、水平であり、車線区分線が新しく、適切に間隔が空いている、較正のための良好な道路区間を選択することができる。縁石、ガードレール、および道路標識などの他の道路特徴も、較正アルゴリズムへの入力として使用することができる。
【0088】
[0102]
図14に、いくつかの実施形態による、道路特徴を使用して車両に搭載されたライダーセンサを較正する方法1400を示す簡略化されたフローチャートを示す。
【0089】
[0103]方法1400は、1402で、車両が固定された道路特徴を有する道路を走行している間にライダーセンサを使用して、1つまたは複数の三次元画像を取得するステップ、を含む。1つまたは複数の三次元画像の各々は、道路特徴の画像を含む。
【0090】
[0104]方法1400は、1404で、1つまたは複数の三次元画像内の道路特徴の画像とライダーセンサの視野の向きとの間の空間的関係を解析するステップ、をさらに含む。
【0091】
[0105]方法1400は、1406で、道路特徴の画像とライダーセンサの視野との間の空間的関係に基づいて、車両に対するライダーセンサの予想される位置整合からの偏差を決定するステップ、をさらに含む。
【0092】
[0106]いくつかの実施形態では、方法1400は、1408で、車両に対するライダーセンサの予想される位置整合からの偏差に基づいて、ライダーセンサを再較正するステップ、をさらに含む。
【0093】
[0107]いくつかの実施形態では、方法1400は、ライダーセンサの予想される位置整合からの偏差が閾値を超えていると判定するステップと、ライダーセンサの予想される位置整合からの偏差が閾値を超えていると判定したことに応答して警報を出すステップと、をさらに含む。
【0094】
[0108]いくつかの実施形態では、道路特徴は、車両の両側の1対または複数対の車線区分線を含む。空間的関係を解析するステップは、1対または複数対の車線区分線のうちの1対の車線区分線とライダーセンサの視野との間のピッチ角を決定するステップを含むことができ、ライダーセンサの予想される位置整合からの偏差を決定するステップは、ピッチ角に基づいてライダーセンサのピッチ誤差を決定するステップを含むことができる。いくつかの実施形態では、1対または複数対の車線区分線は、車両の運転席側の第1の車線区分線と、車両の助手席側の第2の車線区分線とを含むことができ、空間的関係を解析するステップは、第1の車線区分線と第2の車線区分線との間の高低差を決定するステップを含むことができ、ライダーセンサの予想される位置整合からの偏差を決定するステップは、高低差に基づいてライダーセンサのロール誤差を決定するステップを含むことができる。
【0095】
[0109]いくつかの実施形態では、1つまたは複数の三次元画像は、車両がある距離区間にわたって道路上を走行しているときにある時間間隔にわたってライダーセンサによって取得された複数の三次元画像を含むことができる。道路は、その距離区間にわたって実質的に直線および水平とすることができる。いくつかの実施形態では、方法1400は、その距離区間にわたる車両の経路を決定するステップと、車両の経路を複数の三次元画像からの道路特徴の経路と比較するステップと、をさらに含む。いくつかの実施形態では、1対または複数対の車線区分線は、車両の運転席側の第1の車線区分線と、車両の助手席側の第2の車線区分線とを含み、空間的関係を解析するステップは、車両の経路からの第1の車線区分線と車両の経路からの第2の車線区分線との間の横方向の非対称量を決定するステップを含むことができ、ライダーセンサの予想される位置整合からの偏差を決定するステップは、横方向の非対称量に基づいてライダーセンサのヨー誤差を決定するステップを含むことができる。いくつかの実施形態では、空間的関係を解析するステップは、1対の車線区分線と車両の経路との間の高低差を決定するステップを含むことができ、ライダーセンサの予想される位置整合からの偏差を決定するステップは、高低差に基づいてライダーセンサの垂直誤差を決定するステップを含むことができる。
【0096】
[0110]
図14に示される特定のステップは、いくつかの実施形態によるライダーセンサを較正する特定の方法を提供するものであることを理解されたい。他のステップの順序が、代替の実施形態に従って行われてもよい。例えば、本発明の代替の実施形態は、上記で概説されたステップを異なる順序で行ってもよい。さらに、
図14に示される個々のステップは、個々のステップに適する様々な順序で行われ得る複数のサブステップを含んでいてもよい。さらに、特定の用途に応じて、追加ステップが付加されてもよく、または一部のステップが除去されてもよい。当業者は、多くの変形形態、改変形態、および代替形態を理解するであろう。
【0097】
[0111]また、本明細書に記載される例および実施形態は例示目的のものにすぎず、それを踏まえた様々な修正または変更が、当業者に示唆され、本出願の趣旨および範囲ならびに添付の特許請求の範囲内に含まれるべきであることも理解されたい。
【国際調査報告】