IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

特許7199163位置推定方法、装置及びコンピュータプログラム
<>
  • 特許-位置推定方法、装置及びコンピュータプログラム 図1
  • 特許-位置推定方法、装置及びコンピュータプログラム 図2
  • 特許-位置推定方法、装置及びコンピュータプログラム 図3
  • 特許-位置推定方法、装置及びコンピュータプログラム 図4
  • 特許-位置推定方法、装置及びコンピュータプログラム 図5
  • 特許-位置推定方法、装置及びコンピュータプログラム 図6A
  • 特許-位置推定方法、装置及びコンピュータプログラム 図6B
  • 特許-位置推定方法、装置及びコンピュータプログラム 図7
  • 特許-位置推定方法、装置及びコンピュータプログラム 図8
  • 特許-位置推定方法、装置及びコンピュータプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-22
(45)【発行日】2023-01-05
(54)【発明の名称】位置推定方法、装置及びコンピュータプログラム
(51)【国際特許分類】
   G01S 19/47 20100101AFI20221223BHJP
   G01S 19/48 20100101ALI20221223BHJP
   G01C 21/28 20060101ALI20221223BHJP
【FI】
G01S19/47
G01S19/48
G01C21/28
【請求項の数】 21
(21)【出願番号】P 2018117925
(22)【出願日】2018-06-21
(65)【公開番号】P2019074505
(43)【公開日】2019-05-16
【審査請求日】2021-02-18
(31)【優先権主張番号】10-2017-0133955
(32)【優先日】2017-10-16
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】姜 ▲ちょる▼ 友
(72)【発明者】
【氏名】鄭 景 夫
(72)【発明者】
【氏名】鄭 暉 龍
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特表2017-508166(JP,A)
【文献】米国特許出願公開第2006/0147088(US,A1)
【文献】特開2011-232271(JP,A)
【文献】特開2013-036856(JP,A)
【文献】特開2005-214883(JP,A)
【文献】米国特許出願公開第2016/0273921(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 5/00- 5/14
G01S 19/00-19/55
G01C 21/00-21/36
G01C 23/00-25/00
(57)【特許請求の範囲】
【請求項1】
プロセッサによって実行される位置推定方法であって、
主センサから取得した主検出データから対象位置を推定するステップと、
前記主検出データに基づいて補助センサから取得した補助検出データの信頼性を検証するステップと、
前記補助検出データが信頼性を有すると判断されたことに応答して、前記補助検出データ及び前記主検出データに基づいて前記対象位置を決定するステップと、
を含み、前記主検出データはIMU信号とGNSS信号を含み、前記補助検出データはイメージデータを含み、
前記補助検出データの信頼性を検証するステップは、
前記主検出データから取得した情報と前記補助検出データから取得した情報との差を算出するステップと、
前記算出された差に基づいて、前記補助検出データの信頼スコアを算出するステップと、
前記算出された信頼スコアが閾値スコアを超過する場合に応答して、前記補助検出データが信頼性を有すると決定するステップと、
を含む位置推定方法。
【請求項2】
前記対象位置を推定するステップは、位置誤差を補償するために前記主検出データに非線型フィルタリングを適用するステップを含む、請求項1に記載の位置推定方法。
【請求項3】
前記補助検出データが信頼性を有しないと判断されたことに応答して、前記主検出データから推定された対象位置を前記対象位置として決定するステップをさらに含む、請求項1に記載の位置推定方法。
【請求項4】
前記補助検出データの信頼性を検証するステップは、
前記補助センサから前記対象の前方に対応するイメージデータを取得するステップと、
前記イメージデータの信頼性を判断するステップと、
を含む、請求項1に記載の位置推定方法。
【請求項5】
現在の時間区間の間に収集された前記補助検出データが信頼性を有しないと判断されたことに応答して、前記現在の時間区間の間に前記補助検出データを排除するステップをさらに含む、請求項1に記載の位置推定方法。
【請求項6】
前記補助検出データの信頼性を検証するステップは、
前記算出された信頼スコアが閾値スコア以下である場合に応答して、前記補助検出データが信頼性を有しないと決定するステップと、
を含む、請求項1に記載の位置推定方法。
【請求項7】
前記主検出データから取得した情報と前記補助検出データから取得した情報との差は、
前記主検出データから導き出された位置情報と前記補助検出データから導き出された位置情報との間の差、前記主検出データから導き出された速度情報と前記補助検出データから導き出された速度情報との間の差、及び前記主検出データから導き出された姿勢情報と前記補助検出データから導き出された姿勢情報との間の差のうち少なくとも1つである、請求項1に記載の位置推定方法。
【請求項8】
複数の補助センサから他の補助検出データを収集するステップをさらに含み、
前記補助センサから取得した補助検出データの信頼性を検証するステップは、前記他の補助検出データのそれぞれ及び前記補助検出データの信頼スコアを算出するステップを含み、
前記対象位置を決定するステップは、前記補助検出データ及び前記他の補助検出データのそれぞれのうち、信頼スコアが最も高い検出データ及び前記主検出データに基づいて前記対象位置を決定するステップを含む、請求項1に記載の位置推定方法。
【請求項9】
追加センサから取得した追加検出データの信頼性を検証するステップと、
前記追加検出データが信頼性を有すると判断されたことに応答して、前記追加検出データ、前記補助検出データ、及び主検出データに基づいて前記対象位置を決定するステップと、
をさらに含む、請求項1に記載の位置推定方法。
【請求項10】
前記補助検出データの信頼性に基づいて、前記対象位置に対する出力モードを選択するステップをさらに含み、
前記出力モードを選択するステップは、
前記算出された差に基づいて、前記補助検出データの信頼スコアを算出するステップにおいて算出された信頼スコアが閾値スコア以下である場合に応答して、前記主検出データに基づいて推定された位置を出力するステップと、
前記算出された信頼スコアが閾値スコアを超過する場合に応答して、前記主検出データ及び前記補助検出データに基づいて前記決定された位置を出力するステップと、
を含む、請求項1に記載の位置推定方法。
【請求項11】
ハードウェアと結合して請求項1ないし請求項10のいずれか一項に記載の方法を実行させるために媒体に格納されたコンピュータプログラム。
【請求項12】
位置推定装置であって、
主検出データ及び補助検出データを生成するセンサと、
前記主検出データから対象位置を推定し、前記主検出データに基づいて前記補助検出データの信頼性を検証し、前記補助検出データが信頼性を有すると判断されたことに応答して、前記補助検出データ及び前記主検出データに基づいて前記対象位置を決定するプロセッサと、
を含み、
前記プロセッサは、前記主検出データはIMU信号とGNSS信号を含み、前記補助検出データはイメージデータを含み、
前記主検出データから取得した情報と前記補助検出データから取得した情報との差を算出し、前記算出された差に基づいて、前記補助検出データの信頼スコアを算出し、前記算出された信頼スコアが閾値スコアを超過する場合に応答して、前記補助検出データが信頼性を有すると決定する、位置推定装置。
【請求項13】
前記プロセッサは、位置誤差を補償するために前記主検出データに非線型フィルタリングを適用する、請求項12に記載の位置推定装置。
【請求項14】
前記プロセッサは、前記補助検出データが信頼性を有しないと判断されたことに応答して、前記主検出データから推定された対象位置を前記対象位置として決定する、請求項12に記載の位置推定装置。
【請求項15】
前記センサは、前記対象の前方に対応するイメージデータを取得する補助センサを含む、請求項12に記載の位置推定装置。
【請求項16】
前記プロセッサは、現在の時間区間の間に収集された前記補助検出データが信頼性を有しないと判断されたことに応答して、前記現在の時間区間の間に前記補助検出データを排除する、請求項12に記載の位置推定装置。
【請求項17】
前記プロセッサは、前記算出された信頼スコアが閾値スコア以下である場合に応答して、前記補助検出データが信頼性を有しないと決定する、請求項12に記載の位置推定装置。
【請求項18】
前記主検出データ及び前記補助検出データは複数のセンサから生成され、
前記プロセッサは、カルマンフィルタリングを用いて前記複数のセンサのそれぞれの性能に基づいて最適化された比率で検出データを融合させることで、前記対象位置を決定する、請求項12に記載の位置推定装置。
【請求項19】
前記プロセッサは、前記主検出データに比べて高い正確度及び低い信頼性を有する前記補助検出データを選択的に用いることで前記対象位置を決定する、請求項12に記載の位置推定装置。
【請求項20】
前記センサは、
GNSSセンサ及びIMUセンサを含む主センサと、
少なくとも1つのカメラを含む補助センサと、
オドメーター、速度計、ライダー(LIDAR)センサ、又はレーダー(RADAR)センサのうち少なくとも1つを含む追加センサと、
を含む、請求項12に記載の位置推定装置。
【請求項21】
位置推定装置であって、
主検出データ及び補助検出データを生成するセンサと、
タッチ感応ディスプレイと、
命令を格納するメモリと、
前記主検出データ及び前記補助検出データを受信し、前記主検出データに基づいて対象位置を推定し、前記主検出データに基づいて前記補助検出データの信頼性を検証し、前記補助検出データが信頼性を有すると判断されたことに応答して、前記主検出データ及び前記補助検出データに基づいて前記対象位置を決定し、前記ディスプレイに前記対象位置を出力する命令を実行するプロセッサと、
を含み、前記主検出データはIMU信号とGNSS信号を含み、前記補助検出データはイメージデータを含み、
前記プロセッサは、
前記主検出データから取得した情報と前記補助検出データから取得した情報との差を算出し、前記算出された差に基づいて、前記補助検出データの信頼スコアを算出し、前記算出された信頼スコアが閾値スコアを超過する場合に応答して、前記補助検出データが信頼性を有すると決定する、位置推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下、位置推定に関する技術が提供される。
【背景技術】
【0002】
車両用ナビゲーションシステムは、自動車などが移動しているとき複数の衛星測位システム(Global navigation satellite systems:GNSS)に属する人工衛星から送出される電波を受信して移動体の現在位置を確認し、また、移動体の速度を確認しなければならない。このような車両用ナビゲーション装置は、GNSS受信機で受信した情報を用いて緯度、経度、及び高度情報を含む3次元の車両現在位置を算出し得る。しかし、GNSS信号は、約10m~100m程度のGNSS位置誤差を含んでいる。このような位置の誤差は、他のセンサを用いて補正され得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、位置推定に関する技術が提供することにある。
【課題を解決するための手段】
【0004】
一実施形態に係るプロセッサによって実行される位置推定方法は、主センサから取得した主検出データから対象位置を推定するステップと、補助センサから取得した補助検出データの信頼性を検証するステップと、前記補助検出データが信頼性を有すると判断されたことに応答して、前記補助検出データ及び主検出データに基づいて前記対象位置を決定するステップとを含む。
【0005】
前記対象位置を推定するステップは、位置誤差を補償するために前記主検出データに非線型フィルタリングを適用するステップを含み得る。
【0006】
前記位置推定方法、対象の加速度及び角速度を示す慣性測位ユニット(inertial measurement unit:IMU)信号及び衛星測位システム(GNSS)信号を前記主検出データとして取得するステップをさらに含み得る。
【0007】
前記位置推定方法は、前記補助検出データが信頼性を有しないと判断されたことに応答して、前記主検出データから推定された対象位置を前記対象位置として決定するステップをさらに含み得る。
【0008】
前記補助検出データの信頼性を検証するステップは、前記補助センサから前記対象の前方に対応するイメージデータを取得するステップと、前記イメージデータの信頼性を判断するステップとを含み得る。
【0009】
前記位置推定方法は、現在の時間区間の間に収集された前記補助検出データが信頼性を有しないと判断されたことに応答して、前記現在の時間区間の間に前記補助検出データを排除するステップをさらに含み得る。
【0010】
前記補助検出データの信頼性を検証するステップは、前記補助検出データに対する信頼スコアを算出するステップと、前記算出された信頼スコアが閾値スコアを超過する場合に応答して、前記補助検出データが信頼性を有すると決定するステップと、前記算出された信頼スコアが閾値スコア以下である場合に応答して、前記補助検出データが信頼性を有しないと決定するステップとを含み得る。
【0011】
前記補助センサから取得した補助検出データの信頼性を検証するステップは、前記主検出データを基準として前記補助検出データの信頼性を判断するステップを含み得る。
【0012】
前記補助検出データの信頼性を検証するステップは、前記主検出データから導き出された位置情報と前記補助検出データから導き出された位置情報との間の差、前記主検出データから導き出された速度情報と前記補助検出データから導き出された速度情報との間の差、及び前記主検出データから導き出された姿勢情報と前記補助検出データから導き出された姿勢情報との間の差のうち少なくとも1つを算出するステップと、前記位置情報の差、前記速度情報の差、及び前記姿勢情報の差のうち少なくとも1つに基づいて前記補助検出データの信頼性を決定するステップとを含み得る。
【0013】
前記位置推定方法は、複数の補助センサから他の補助検出データを収集するステップをさらに含み、前記補助センサから取得した補助検出データの信頼性を検証するステップは、前記他の補助検出データのそれぞれ及び前記補助検出データの信頼スコアを算出するステップを含み、前記対象位置を決定するステップは、前記補助検出データ及び前記他の補助検出データのそれぞれのうち、信頼スコアが最も高い検出データ及び前記主検出データに基づいて前記対象位置を決定するステップを含み得る。
【0014】
前記位置推定方法は、追加センサから取得した追加検出データの信頼性を検証するステップと、前記追加検出データが信頼性を有すると判断されたことに応答して、前記追加検出データ、前記補助検出データ、及び主検出データに基づいて前記対象位置を決定するステップとをさらに含み得る。
【0015】
前記位置推定方法は、前記補助検出データの信頼性に基づいて、前記対象位置に対する出力モードを選択するステップをさらに含み、前記出力モードを選択するステップは、前記補助センサが閾値スコア以下の信頼スコアを示す場合に応答して、前記主検出データに基づいて推定された位置を出力するステップと、前記補助センサが前記閾値スコアを超過する信頼スコアを示す場合に応答して、前記主検出データ及び前記補助検出データに基づいて前記決定された位置を出力するステップとを含み得る。
【0016】
一実施形態に係る位置推定装置は、主検出データ及び補助検出データを生成するセンサと、前記主検出データから対象位置を推定し、前記補助検出データの信頼性を検証し、前記補助検出データが信頼性を有すると判断されたことに応答して、前記補助検出データ及び主検出データに基づいて前記対象位置を決定するプロセッサとを含む。
【0017】
前記プロセッサは、位置誤差を補償するために前記主検出データに非線型フィルタリングを適用し得る。
【0018】
前記センサは、対象の加速度及び角速度を示すIMU信号及びGNSS信号を前記主検出データとして取得する主センサを含み得る。
【0019】
前記プロセッサは、前記補助検出データが信頼性を有しないと判断されたことに応答して、前記主検出データから推定された対象位置を前記対象位置として決定し得る。
【0020】
前記センサは、前記対象の前方に対応するイメージデータを取得する補助センサを含み得る。
【0021】
前記プロセッサは、現在の時間区間の間に収集された前記補助検出データが信頼性を有しないと判断されたことに応答して、前記現在の時間区間の間に前記補助検出データを排除し得る。
【0022】
前記プロセッサは、前記補助検出データに対する信頼スコアを算出し、前記算出された信頼スコアが閾値スコアを超過する場合に応答して、前記補助検出データが信頼性を有しないと決定し、前記算出された信頼スコアが閾値スコア以下である場合に応答して、前記補助検出データが信頼性のないものと決定し得る。
【0023】
前記主検出データ及び前記補助検出データは複数のセンサから生成され、前記プロセッサは、カルマンフィルタリングを用いて前記複数のセンサのそれぞれの性能に基づいて最適化された比率で検出データを融合させることで、前記対象の前記位置を決定し得る。
【0024】
前記プロセッサは、前記主検出データに比べて高い正確度及び低い信頼性を有する前記補助検出データを選択的に用いることで前記対象の前記位置を決定し得る。
【0025】
前記センサは、GNSSセンサ又はIMUセンサのうち少なくとも1つを含む主センサと、少なくとも1つのカメラを含む補助センサと、オドメーター(odometer)、速度計、ライダー(Light Detection and Ranging:LIDAR)センサ、又はレーダー(radio detection and ranging:RADAR)センサのうち少なくとも1つを含む追加センサとを含み得る。
【0026】
一実施形態に係る位置推定装置は、主検出データ及び補助検出データを生成するセンサと、タッチ感応ディスプレイと、命令を格納するメモリと、前記主検出データ及び前記補助検出データを受信し、前記主検出データに基づいて対象位置を推定し、前記補助検出データの信頼性を検証し、前記補助検出データが信頼性を有すると判断されたことに応答して、前記主検出データ及び前記補助検出データに基づいて前記対象位置を決定し、前記ディスプレイに前記対象の前記位置を出力する命令を実行するプロセッサとを含む。
【発明の効果】
【0027】
本発明によると、位置推定装置は、補助センサや追加センサが故障などにより完全に誤った検出データを収集しても、主検出データを用いた最初の推定結果を出力することで位置推定の正確度及び信頼性の下落を防止できる。
【0028】
本発明によると、位置推定装置及び方法は、センサ・フュージョンを介してセンサの特性により他のセンサの弱点を補償できる。
【図面の簡単な説明】
【0029】
図1】一実施形態に係る位置推定装置の構成を示すブロック図である。
図2】一実施形態に係る位置推定装置の構成を示すブロック図である。
図3】一実施形態に係る位置推定装置の構成を示すブロック図である。
図4】一実施形態に係る位置推定方法を示すフローチャートである。
図5】一実施形態に係る位置推定過程を説明する図である。
図6A】一実施形態に係る位置推定過程を説明する図である。
図6B】一実施形態に係る位置推定過程を説明する図である。
図7】他の一実施形態に係る位置推定方法を示すフローチャートである。
図8】更なる実施形態に係る位置推定方法を示すフローチャートである。
図9】更なる一実施形態に係る位置推定方法を示すフローチャートである。
【発明を実施するための形態】
【0030】
以下で、添付する図面を参照しながら実施形態を詳細に説明する。しかし、特許出願の範囲がこのような実施形態によっては制限も限定もされることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【0031】
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【0032】
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0033】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0034】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【0035】
図1図3は、一実施形態に係る位置推定装置の構成を示すブロック図である。
【0036】
図1は、位置推定装置100の概略的な構成を示す。位置推定装置100は、センサ110及びプロセッサ120を含む。
【0037】
センサ110は、主検出データ(main sensing data)及び補助検出データ(auxiliary sensing data)を生成する。例えば、センサ110は、主センサにより主検出データを取得し、補助センサにより補助検出データを取得する。
【0038】
プロセッサ120は、補助検出データの信頼性に応じて補助検出データを主検出データと共に対象位置を決定するために使用するか否かを決定する。例えば、プロセッサ120は、主検出データから対象位置を一次的に推定する。その後、プロセッサ120は補助検出データの信頼性を検証する。プロセッサ120は、補助検出データが信頼性を有すると判断されたことに応答して、補助検出データ及び主検出データに基づいて対象位置を2次的に再推定し得る。
【0039】
本明細書において、対象は、位置推定装置100が搭載された機器を示す。例えば、位置推定装置100が自動車に搭載された場合、対象は自動車を示す。例えば、ここで説明された車両は、例えば、自動車、トラック、トラクター、スクーター、バイク、自転車、水陸両用車両、雪上車、スノーモバイル、船舶、公共交通車両、バス、モノレール、汽車、電車、自律走行、又は自動走行車両、知能型車両、自家用の車両、航空機、無人航空機、ドローン、又は、モバイル装置などのような輸送、配達、又は、通信中の任意のモードを示す。例えば、位置推定装置は、位置決定動作(positioning operation)を求めるロボットに適用可能である。
【0040】
本明細書に記述された装置及び方法は、完全自律又は自動化された運転に対して車両内の走行補助のための、自律的又は自動化された走行車両をステアリングすることを助けるための位置情報を生成するため、スマート車両のナビゲーションシステムで対象位置を推定するために使用され、より安全で快適な運転を可能にする。
【0041】
図2は、位置推定装置200に含まれるセンサ210を詳細に示す図である。
【0042】
センサ210は主センサ211及び補助センサ212を含む。
【0043】
主センサ211は主検出データを生成する。例えば、主センサ211は、慣性測位ユニット(IMU)201及び衛星測位システム(GNSS)モジュール202を含む。主センサ211は、対象の加速度及び角速度を示すIMU信号及びGNSS信号を主検出データとして取得する。
【0044】
IMU201は、慣性計測ユニット(Inertial measurer)と言及されても良い。IMU201は、姿勢変換、位置移動に対する変化速度、及び変位量を測定する。例えば、IMU201は、並進運動(例えば、加速度)を検出する3軸加速度計と、回転運動(例えば、角速度)を検出する3軸ジャイロスコープを含む。IMU201は、外部情報に依存しないため、加速度信号及び角速度信号を安定的に収集できる。ただし、IMU201の検出時間が累積するほど、算出された位置が発散し得るため、プロセッサ220は、IMU信号にGNSS信号及びイメージデータを融合して位置を安定的に推定することができる。
【0045】
例えば、GNSSモジュール202は、3個以上の人工衛星から送信された信号を受信し、衛星と位置推定装置200の位置を算出する。例えば、人工衛星の個数は説明したものに限定されることはない。GNSSモジュール202は、GNSS(Global Navigation Satellite System)と示してもよい。
【0046】
補助センサ212は、補助検出データを生成する。例えば、補助センサ212はカメラ203を含んでもよい。カメラ203は、位置推定装置200の外部を撮影してイメージデータを生成する。ただし、補助センサ212はこの例に限定されることなく、主センサ211に比べて信頼度が低かったとしても、精密度の高い任意の検出モジュールが補助センサ212として実現され得る。
【0047】
プロセッサ220は、図1を参照して上述したものと同様に動作する。例えば、プロセッサ220は、IMU201からIMU信号を受信し、GNSSモジュール202からGNSS信号を受信して対象位置を推定し得る。
【0048】
また、プロセッサ220は、補助検出データが正確で信頼性が高い場合にのみ位置推定に使用し得る。例えば、プロセッサ220は、イメージデータ(又は画像データ)の状態に応じて、イメージデータを位置推定に活用するか否かを決定する。例えば、補助検出データがイメージデータであり信頼性が高い場合、プロセッサは、イメージデータを用いて対象の周辺に対する視覚的な情報を収集し、収集された視覚的情報をマップと比較し、推定された位置を補正することで、1メートル以内の誤差で極めて精密な位置を推定できる。
【0049】
一実施形態によれば、プロセッサ220は、カメラ203から取得したイメージデータが信頼性を有すると判断された場合、IMU信号、GNSS信号、及びイメージデータを用いて対象位置を再推定し得る。例えば、プロセッサ220は、取得された検出データにカルマンフィルタリング(Kalman filtering)又は非線型フィルタリング(non-linear filtering)、例えば、粒子フィルタリング(Particle filtering)を適用し得る。他のセンサフュージョン方式が説明されたものに限定されることはない。カルマンフィルタリングは、センサフュージョン方式であって、推定しようとする状態変数(state variable)の誤差のRMSE(Root Mean Square Error)を最小化するフィルタリング方式である。ただし、対象位置を推定するためにプロセッサ220が、カメラのような補助センサから取得される非線型性を有する、測定値(例えば、イメージデータ)を処理する過程において、非線型性による誤差が発生する可能性がある。プロセッサ220は、このようなイメージデータを処理するために、非線型フィルタを用いることで非線型性による誤差を最小化できる。
【0050】
プロセッサ220は、カルマンフィルタリング又は非線型フィルタリングによって各センサの性能に応じて最適化された比率で検出データを融合し、対象位置を推定する。ただし、複数のセンサのうち少なくとも一部のセンサが外部の環境変化に脆弱な場合、プロセッサ220は誤った検出データを収集することがある。もし、誤った検出データにカルマンフィルタリングを適用すれば、誤った測定値による誤差が発生することから位置推定の正確度は低下する。精密度を高めるとともに位置推定の信頼性も保持するため、位置推定装置200は、主センサ211に比べて信頼度が低いながら精密度は高い補助センサ212を選択的に利用し得る。
【0051】
一実施形態に係るプロセッサ220は、単一カルマンフィルターではない、2つ以上のフィルタリング方式を用いてもよい。プロセッサ220は、各フィルタリング方式を互いに異なる階層で独立的に適用することで、故障した補助センサ212の主センサ211に基づいた位置チュジョンに対する影響を最小化できる。例えば、プロセッサ220は、補助センサ212が信頼性を有しないと判断された場合、主検出データのみに基づいて位置を推定し、信頼性のない補助検出データは、現在の時間区間及び次の時間区間の位置推定から排除する。また、プロセッサ220は、補助センサ212が信頼性を有すると判断した場合、主検出データ及び補助検出データを両方考慮して位置を再推定し得る。
【0052】
例えば、プロセッサ220は、ディスプレイ230で位置を出力し得る。例えば、位置推定装置200は、ヘッドアップディスプレイ(HUD、head-up display)によって車両のウィンドシールドグラス上に車両位置を表示する。ただし、位置のディスプレイは上述したものに限定されることなく、任意の他のインスツルメントクラスター(instrument cluster)、車両用インフォテインメントシステム、拡張現実を使用する車両のスクリーン又は車両のディスプレイパネルがディスプレイ機能を行うことができる。位置推定装置200に動作可能なように接続された、例えば、スマートフォン及びメガネ型ディスプレイ(EGD、eye glass display)のような他のディスプレイは、上述した例示に限定されることはない。他の例示として、プロセッサ220は、オーディオ信号によって位置を出力してもよい。
【0053】
図3は、一実施形態に係る位置推定装置300の細部的な構成を示すブロック図である。位置推定装置300は、センサ310及びプロセッサ320と共にメモリ330をさらに含む。
【0054】
センサ310は、主センサ311、補助センサ312、及び追加センサ313を含む。
【0055】
主センサ311は主検出データを生成する。例えば、主センサ311は、上述したように、慣性計測ユニット及びGNSSモジュールを含み得る。GNSSモジュールは、1Hzで絶対位置を測定することができ、低いノイズを有することから安定的に動作し得る。慣性計測ユニットは、100Hzで相対位置を測定して高速で測定し得る。
【0056】
補助センサ312は、補助検出データを生成する。例えば、補助センサ312はカメラを含んでもよい。カメラは、1~10Hzで相対経路を測定してもよいし、或いは、マップマッチングによって絶対位置を測定してもよい。カメラは、慣性計測ユニットに比べて低いドリフトを発生させる。
【0057】
追加センサ313は、追加検出データを生成する。例えば、追加センサ313は、オドメーター、ライダー(LIDAR)モジュール、又はレーダー(RADAR)モジュールなどを含む。
【0058】
プロセッサ320は、基本的に主センサ311から取得した主検出データに基づいて対象位置を推定する。プロセッサ320は、補助センサ312から取得した補助検出データ及び追加センサ313から取得した追加検出データは、それぞれの信頼性に基づいて各データを位置推定に反映するか否かを決定する。例えば、GNSSモジュールを含む主センサ311は、GNSS信号を防ぐ障害物(obstacle)のない広い空地でのみ円満に作動し、カメラを含む補助センサ312は、周辺光の強度及びオブジェクトの特徴に応じて誤作動する可能性がある。プロセッサ320は、センサ誤作動によるエラーを防止するために、各検出データを階層的に位置推定に反映し得る。補助検出データ及び追加検出データに基づいた位置推定については以下で説明する。
【0059】
メモリ330は、位置推定過程で求められるデータを臨時的又は永久的に格納し得る。例えば、メモリ330は、主センサ311から取得した主検出データ、補助センサ312から取得した補助検出データ、及び追加センサ313から取得した追加検出データを時系列的に格納し得る。また、メモリ330は、対象が位置している地域を含む領域に対するマップ、及びマップの各地点で撮影された場面イメージ(例えば、360度パノラマイメージ)を格納し得る。
【0060】
一実施形態に係る位置推定装置300は、主検出データ及び補助検出データを融合することで、車路単位(lane unit)で車両の位置を精密に推定できる。
【0061】
図4は、一実施形態に係る位置推定方法を示すフローチャートである。図4に示す動作は示された方式及び順に実行されるが、これに限定されることなく、一部動作の順序が変更されてもよいし、或いは、一部の動作が省略されてもよい。図4に示された動作の複数は、並列的又は同時に実行されてもよい。図4に示す1つ以上のブロック、及びブロックの組合せは、特定機能を行う特別目的のハードウェアに基づいたコンピュータによって実現され得る。図4を参照した説明に加えて、図1図3は、図4に適用される。したがって、上述した説明を繰り返すことはない。
【0062】
まず、ステップS410において、位置推定装置のプロセッサは、主センサから取得した主検出データから対象位置を推定する。例えば、プロセッサは、主検出データに非線型フィルタリングを適用することで対象位置を推定する。
【0063】
そして、ステップS420において、プロセッサは、補助センサから取得した補助検出データの信頼性を検証する。例えば、プロセッサは、補助センサから対象の前方に対応するイメージデータを取得する。プロセッサは、当該イメージデータの信頼性を検証する。プロセッサは、補助検出データに対する信頼スコアを算出し、算出された信頼スコアに基づいて補助検出データの信頼性を決定する。
【0064】
次にステップS430において、プロセッサは、補助検出データが信頼性を有すると判断したことに応答して、補助検出データ及び主検出データに基づいて対象位置を再推定する。一実施形態によれば、プロセッサは、ステップS410で推定された位置を排除し、補助検出データ及び主検出データに非線型フィルタリングを適用して対象の新しい位置を再推定し得る。
【0065】
また、プロセッサは、補助検出データが信頼性のない場合に応答して、主検出データから推定された対象位置を対象位置として決定する。ここで、プロセッサは、補助検出データ及び主検出データを用いた位置再推定演算を排除する。
【0066】
図5図6A、及び図6Bは、一実施形態に係る位置推定過程を説明する図である。
【0067】
図5は、位置推定装置のプロセッサが主検出データ及び補助検出データに基づいて対象位置を決定する過程を説明する図である。例えば、位置推定装置は、2段階測位を行ってもよい。一実施形態によれば、図5に示された第1センサ511、第2センサ512、第3センサ520、位置推定部530、映像処理部541、信頼性判断部542、位置再推定部550、及びモード選択部560は、プロセッサによって動作するソフトウェアモジュールであり得る。
【0068】
第1センサ511は第1検出データ(例えば、GNSS信号)を取得し、第2センサ512は第2検出データ(例えば、IMU信号)を取得する。位置推定部530は、第1検出データ及び第2検出データに基づいて位置を推定する。位置推定部530は、例えば、主検出データ(例えば、GNSS信号及びIMU信号)にカルマンフィルタリング又は非線型フィルタリング(例えば、拡張カルマンフィルタ)を適用して対象位置を推定し得る。ただし、主検出データをGNSS信号及びIMU信号に限定することなく、主検出データは、安定した検出データ、例えば、車両の速度計情報などをさらに含んでもよい。ただし、GNSS信号などの誤差は一般的に10mほどであって、都心地やトンネルなどではより誤差が増加するため、GNSS信号及びIMU信号に基づいて推定された位置は、概略的な測位結果(又は非精密測位結果)(coarse result)であり得る。
【0069】
また、映像処理部541は、第3センサ520(例えば、カメラ)から第3検出データ(例えば、イメージデータ)を取得して映像処理を行う。第3センサ520は、対象の周辺に関する視覚的な情報であるイメージデータを取得し、映像処理部541は、当該のイメージデータに対する映像処理を行うことで、イメージデータを測位に利用可能な情報に変換し得る。
【0070】
信頼性判断部542は、映像処理された結果に基づいてイメージデータの信頼性を検証する。第3センサ520は、対象の周辺の明るさやオブジェクトの配置などによって誤ったデータを取得し得る。信頼性判断部542は、イメージデータの信頼性を検証することで、誤ったイメージデータの使用を防止できる。
【0071】
一実施形態によれば、信頼性判断部542は、主検出データを基準として補助検出データの信頼性を検証する。例えば、信頼性判断部542は、主検出データから導き出された速度情報と補助検出データから導き出された速度情報との間の差を算出する。信頼性判断部542は、主検出データであるIMU信号、GNSS信号、及び車両速度計の情報のうち少なくとも1つに基づいて対象の第1速度を算出する。また、信頼性判断部542は、自己位置認識(visual odometry)に基づいて、補助検出データであるイメージデータから対象の第2速度を算出する。信頼性判断部542は、第1速度と第2速度との間の差が閾値を超過する場合に応答して、補助検出データが信頼性のないものと決定する。信頼性判断部542は、算出された差が閾値以下である場合に応答して、補助検出データが信頼性を有すると決定する。
【0072】
ただし、これに限定されることなく、信頼性判断部542は、全てのデータに基づいて補助検出データの信頼性を検証し得る。一実施形態によれば、信頼性判断部542は、主検出データから導き出された位置情報と補助検出データから導き出された位置情報との間の差、主検出データから導き出された速度情報と補助検出データから導き出された速度情報との間の差、及び主検出データから導き出された姿勢情報と補助検出データから導き出された姿勢情報との間の差のうち少なくとも1つを算出する。信頼性判断部542は、上述した位置情報の差、上述した速度情報の差、及び上述した姿勢情報の差のうち少なくとも1つに基づいて、補助検出データの信頼性を決定し得る。
【0073】
例えば、信頼性判断部542は、位置情報の差が第1閾値を超過するか、速度情報の差が第2閾値を超過するか、姿勢情報の差が第3閾値を超過するか否かを判断する。信頼性判断部542は、位置情報の差、速度情報の差、及び姿勢情報の差のうち少なくとも1つでも各閾値を超過する場合、当該の補助検出データが信頼性を有すると決定する。信頼性判断部542は、上述した差が全て各閾値以下である場合、当該の補助検出データが信頼性のないものと決定する。
【0074】
異なる例として、信頼性判断部542は、位置情報の差、速度情報の差、及び姿勢情報の差のうち少なくとも1つに基づいて信頼スコアを算出する。この場合、信頼性判断部542は、信頼スコアが閾値スコアを超過する場合に補助検出データの信頼性があるものと決定する。反対に、信頼性判断部542は、信頼スコアが閾値スコア未満である場合に補助検出データが信頼性のないものと決定する。
【0075】
信頼性判断部542によって補助検出データが信頼性を有すると決定された場合、位置再推定部550は、正確な測位結果又は精密測位結果(precise result)を算出する。例えば、位置再推定部550は、概略的な測位結果及び補助検出データに基づいて対象位置を再推定し得る。位置再推定部550は、車線単位(例えば、1メートル)以内の誤差であって、極めて精密に対象位置を決定できる。
【0076】
モード選択部560は、前記補助検出データの信頼性に基づいて前記対象位置に対する出力モードを選択する。例えば、補助検出データが信頼性のないと判断された場合に応答して、モード選択部560は概略的測位モードを選択する。モード選択部560は、補助センサが閾値スコア以下の信頼スコアを示す場合に概略的測位モードを選択する。補助検出データが信頼性を有すると判断された場合に応答して、モード選択部560は精密測位モードを選択する。モード選択部560は、補助センサが閾値スコアを超過する信頼スコアを示す場合に精密測位モードを選択する。
【0077】
概略的測位モードが選択された場合、モード選択部560は、主検出データに基づいて推定された位置を概略的な測位結果として出力する。ここで、位置推定装置は、現在の時間区間の間に収集された補助検出データが信頼性のない場合に応答して、現在の時間区間の間に補助検出データを排除する。例えば、位置推定装置は、信頼性のない補助検出データを現在の時間区間の測位から排除することで、現在の時間区間の間に測位の安定性を保障できる。
【0078】
精密測位モードが選択された場合、モード選択部560は、主検出データ及び補助検出データに基づいて再推定された位置を正確な測位結果として出力する。例えば、モード選択部560は、主検出データ及び補助検出データに基づいて再推定された位置を正確な測位結果として出力することにより、現在の時間区間の間に測位の精密性を保障できる。
【0079】
他の一実施形態によれば、位置推定装置は、精密な結果の信頼度をリアルタイム算出することができ、一定レベル以上の高い信頼度が続けて保持される場合、正確な測位結果を次の時間区間の位置推定に反映する。例えば、位置推定装置は、閾時間の間に補助センサが閾値スコアを超過する信頼スコアを示す場合に応答して、以前時間区間で算出された位置及び主検出データに基づいて対象位置を推定する。本明細書において、時間区間は、対象位置をアップデートする周期によって区分される区間を示す。
【0080】
上述したように、位置推定装置は、補助検出データが閾時間以上に高い信頼スコアを示す場合のみ、現在の時間区間の正確な測位結果を次の時間区間の測位に反映することで、次の時間区間における概略的な測位結果の正確性を改善することができる。
【0081】
さらに、位置推定装置は、一般的な状況(例えば、高い信頼スコアが長く保持されない状況)では、現在の時間区間の正確な測位結果を次の時間区間の測位にフィードバックさせないことで、位置推定装置は、カメラの誤作動が次の時間区間の概略的な測位結果に影響を与えることを防止する。
【0082】
図6Aは、主センサ及び補助センサに加えて追加センサを含む位置推定装置が位置を決定する過程を示す図である。
【0083】
図6Aに示された第1センサ611及び第2センサ612は、主センサ、第3センサ613、及び第4センサ614は補助センサに対応する。一実施形態によれば、図6Aに示された第1センサ611、第2センサ612、第3センサ613、第4センサ614、位置推定部630、第1検出処理部641、第1信頼性判断部642、第2検出処理部643、第2信頼性判断部644、第1位置再推定部651、第2位置再推定部652、第3位置再推定部661、及びモード選択部660は、プロセッサによって動作するソフトウェアモジュールであり得る。例えば、第1センサ611及び第2センサ612は主センサに対応し、第3センサ613及び第4センサ614は補助センサに対応する。例えば、図6Aに示されたソフトウェア構造によって、位置推定装置600は2段階測位を行う。
【0084】
例えば、位置推定部630は、第1センサ611及び第2センサ612に基づいて対象の概略的な位置を推定する。また、第1検出処理部641は、第3センサから検出データを取得し、当該の検出データを位置測位に利用可能な情報に変換する。第2検出処理部643は、第4センサ614から検出データを取得して当該の検出データを位置測位に利用可能な情報に変換する。
【0085】
位置推定装置600は、第3センサ613の検出データ及び第4センサ614の検出データのそれぞれの信頼性を検証する。例えば、第1信頼性判断部642は、第3センサ613から取得した検出データの信頼性を検証し、第2信頼性判断部644は、第4センサ614から取得した検出データの信頼性を決定する。
【0086】
第1位置再推定部651は、第3センサ613の検出データが信頼性を有すると判断されたことに応答して、概略的な位置及び第3センサ613の検出データに基づいて対象の精密な位置(Precise Result 1)を再推定する。
【0087】
第2位置再推定部652は、第4センサ614の検出データが信頼性を有すると判断されたことに応答して、概略的な位置及び第4センサ614の検出データに基づいて対象の精密な位置(Precise Result 2)を再推定する。
【0088】
第3位置再推定部661は、第1位置再推定部651によって再推定された精密な位置及び第2位置再推定部652により再推定された精密な位置を統合し、対象の精密な位置を決定し得る。例えば、第3位置再推定部661は、第1位置再推定部651により再推定された位置、及び第2位置再推定部652により精密な位置にカルマンフィルタリングを適用し、対象の精密な位置を決定し得る。
【0089】
モード選択部660は、信頼性の判断結果に基づいてモードを決定する。例えば、第3センサ613による検出データ及び第4センサ614による検出データが信頼性を有すると判断された場合、精密測位モードを選択し、モード選択部660は、第3位置再推定部661によって決定された精密な位置を出力する。モード選択部660は、第3センサ613及び第4センサ614が全て信頼性がない場合、概略的測位モードを選択し、モード選択部660は、第1センサ611及び第2センサ612の検出データに基づいて推定された位置を概略的な測位結果として出力する。モード選択部660は、選択されたモードに対応する測位結果を、ローカライゼーション結果(Localization Result)として出力する。
【0090】
ただし、これに限定されることなく、位置推定装置600は、主検出データ、補助検出データ、及び追加検出データの順に3段階測位を行ってもよい。3段階測位は、下記の図6Bを参照して説明する。
【0091】
図6Bは、図6Aと類似の構造を示しているが、位置推定装置601が3段階測位を行う過程を説明する図である。
【0092】
第1センサ611、第2センサ612、第3センサ613、第4センサ614、位置推定部630、第1検出処理部641、第1信頼性判断部642、第2検出処理部643、第2信頼性判断部644、及び第1位置再推定部651は、図6Aと同一に動作する。
【0093】
図6Bにおいて、第2位置再推定部652は、第4センサ614による検出データが信頼性を有すると判断された場合に応答して、第1位置再推定部651により再推定された位置及び第4センサ614による検出データに基づいて対象位置を再び再推定し得る。
【0094】
モード選択部640は、信頼性の判断結果に基づいてモードを決定する。例えば、モード選択部640は、第3センサ613による検出データの信頼性のない場合、1次測位モードを選択し、概略的な測位結果を出力する。モード選択部640は、第3センサ613による検出データは信頼性があって、第4センサ614による検出データは信頼性のない場合、2次測位モードを選択し、1次精密測位結果(Precise Result 1)を出力する。モード選択部640は、第3センサ613及び第4センサ614による検出データが信頼性を有すると判断された場合に3次測位モードを選択し、2次精密測位結果(Precise Result 2)を出力する。モード選択部660は、選択されたモードに対応する測位結果をローカライゼーション結果として出力する。
【0095】
ただし、図6Bでは、説明の便宜のために3段階測位について説明したが、これに限定されることはない。例えば、位置推定装置601は、センサごとにn段階の優先順位を付与し、n段階で測位を行ってもよい。ここで、nは2以上の整数であり得る。
【0096】
図7図9は、他の一実施形態に係る位置推定方法を示すフローチャートである。
【0097】
図7は、主センサ及び補助センサを用いた測位を詳細に説明するフローチャートである。図7に示す動作は示された方式及び順に実行されてもよいが、これに限定されることなく、一部動作の順序が変更されてもよいし、或いは、一部動作は省略されてもよい。図7に示された動作の複数は、並列的又は同時に実行されてもよい。図7に示す1つ以上のブロック及びブロックの組合せは、特定機能を行う特別な目的のハードウェアに基づいたハードウェア又は特別な目的のハードウェア及びコンピュータ命令の組合せによって実現され得る。図7を参照した説明に加えて、図1ないし図6Bの説明は、図7に適用されてよいことから、以下における説明は省略する。
【0098】
図7に示すように、位置推定装置は、1回目の推定710で概略的に位置を推定し、2回目の推定720で補助検出データの信頼性の有無に応じて精密に位置を再推定する。基本的に、1回目の推定710は、2回目の推定720の結果に影響を受けないよう独立的に実行され得る。プロセッサは、1回目の推定710に2回目の推定720よりも高い優先順位を付与する。
【0099】
まず、ステップS711において、位置推定装置はIMUデータを取得する。IMUデータは、IMUから取得したデータとして、例えば、加速度と角速度信号であり得る。ステップS712において、位置推定装置は、加速度及び角速度信号に慣性航法を適用して対象位置を算出し得る。例えば、慣性航法は、IMUから取得された加速度及び角速度信号を用いて、以前時間の位置、速度、及び姿勢から次の時間の位置、速度、及び姿勢をアップデートする測位方式を示す。
【0100】
そして、ステップS713において、位置推定装置は、GNSSデータを取得する。GNSSデータは、GNSSモジュールから取得したデータとして、例えば、GNSS信号であり得る。ステップS714において、位置推定装置は、GNSS信号のインテグリティ又は整合性(integrity)をチェックする。ステップS715において、位置推定装置は、GNSS位置推定結果(GNSS position estimation result)の性能が良い場合、GNSS信号に高い加重値を付与する。ステップS716において、位置推定装置は、GNSS位置推定結果の性能が低い場合、GNSS信号に低い加重値を付与する。例えば、位置推定結果の性能は、GNSS位置推定結果が真である確率を示す。
【0101】
次に、ステップS717において、位置推定装置は、慣性航法が適用されたIMU信号及び加重値が付与されたGNSS信号に基づいて対象位置を推定する。例えば、位置推定装置は、IMU信号及びGNSS信号に非線型フィルタリングを適用して対象位置を推定し得る。
【0102】
ここで、ステップS721において、位置推定装置は、カメライメージを取得する。例えば、位置推定装置のプロセッサは、カメラからイメージデータを受信し得る。
【0103】
そして、ステップS722において、位置推定装置は、イメージデータに対して映像処理を行うことで測位に適切な形態にイメージデータを変換し得る。
【0104】
次に、ステップS723において、位置推定装置は、イメージデータの信頼性を検証する。一実施形態によれば、位置推定装置は、イメージデータの信頼スコアを算出し、信頼スコアに基づいてイメージデータの信頼性を検証する。例えば、主検出データから導き出された速度情報と補助検出データから導き出された速度情報との間の差は、信頼性判断の基準となる信頼スコアとして使用し得る。
【0105】
ステップS724において、位置推定装置は、イメージデータの信頼スコアが閾値スコアを超過する場合に応答して、補助検出データ(例えば、イメージデータ)が信頼性を有すると判断する。反対に、位置推定装置は、補助検出データの信頼スコアが閾値スコア以下である場合に応答して、補助検出データの信頼性のないものと決定する。
【0106】
ステップS725において、位置推定装置は、イメージデータの信頼性のない場合、ステップS717で推定された位置を出力する。例えば、カメラは、周辺の明るさやオブジェクトの配置などにより誤ったデータを取得し、このようなカメラ故障に対して、位置推定装置は、概略的な測位結果を出力することで測位の安定性を保持し得る。また、位置推定装置が現在の時間区間で精密に再推定された結果をフィードバックしないため、カメラ故障の発見が遅れたり不可能であったとしても、位置推定装置は、カメラ故障に対して剛健な測位結果を出力することができる。
【0107】
参考として、GNSSモジュールは、都心やトンネルなどの場所で信号を受信することが難しい場合がある。ここで、位置推定装置は、ステップS716で、GNSS信号に低い加重値を付与することで、GNSS信号よりもIMUによって取得されたIMU信号に主に基づき、ステップS717で概略的な位置を推定する。IMU信号に基づいた慣性航法は、誤差ドリフト特性に応じて誤差を示す。位置推定装置は、イメージデータの信頼性がある場合、ステップS726において、イメージデータ及びIMU信号に基づいて対象位置を再推定することで測位の精密性を改善させ得る。また、位置推定装置は、イメージデータの信頼性のない場合、ステップS725において、IMU信号に基づいて推定された対象位置を出力することで測位の安定性を保持できる。
【0108】
図8は、一実施形態に係る位置推定装置が第1検出データ、第2検出データ、及び第3検出データに基づいて対象位置を決定する方法を示すフローチャートである。図8に示す動作は示された方式及び順に実行されるが、これに限定されることなく、一部動作の順序が変更されてもよいし、或いは、一部動作は省略されてもよい。図8に示された動作の複数は、並列的又は同時に実行されてもよい。図8に示す1つ以上のブロック及びブロックの組合せは、特定機能を行う特別な目的のハードウェアに基づいたハードウェア又は特別な目的のハードウェア及びコンピュータ命令の組合せによって実現され得る。図8を参照した説明に加えて、図1図7を参照した説明は図8に適用され得るため、以下ではその説明を省略する。
【0109】
第1検出データは、主センサから取得した主検出データに対応し、第2検出データ及び第3検出データは、複数の補助センサのそれぞれから取得した補助検出データに対応する。
【0110】
位置推定装置は、1回目の推定810で位置を概略的に推定し、概略的に推定された位置を第2検出データ及び第3検出データの信頼性に応じて2回目の推定820及び3回目の推定830で精密に再推定し得る。
【0111】
一実施形態によれば、位置推定装置は、複数の補助センサのそれぞれから取得した補助検出データ(例えば、第2検出データ及び第3検出データ)の信頼スコアを算出する。位置推定装置は、複数の補助センサのうち信頼スコアが最も高い補助センサから取得した補助検出データ及び主検出データに基づいて対象位置を再推定する。複数の補助検出データのうち、信頼スコアが高い補助検出データと主検出データから対象位置を推定する過程は次の通りである。
【0112】
まず、ステップS811において、位置推定装置は、第1検出データを取得する。例えば、位置推定装置は、GNSS信号及びIMU信号を第1検出データとして受信する。ステップS812において、位置推定装置は、第1検出データに基づいて対象位置を推定する。
【0113】
そして、ステップS821において、位置推定装置は、第2検出データを取得する。例えば、位置推定装置は、イメージデータを第2検出データとして受信する。ステップS822において、位置推定装置は、第2検出データの信頼性を検証する。ステップS823において、第2検出データが信頼性を有すると判断された場合に応答して、位置推定装置は、第1検出データ及び第2検出データに基づいて対象位置を再推定する。
【0114】
次に、ステップS831において、位置推定装置は、第3検出データを取得する。例えば、位置推定装置は、LIDAR信号を第3検出データとして受信する。ステップS832において、位置推定装置は、第3検出データの信頼性を検証する。ステップS833において、第3検出データが信頼性を有すると判断された場合に応答して、位置推定装置は、第1検出データ及び第3検出データに基づいて対象位置を再推定する。
【0115】
そして、ステップS842において、位置推定装置は、再推定された位置のうち1つの位置を選択する。例えば、位置推定装置は、第2検出データ及び第3検出データのそれぞれに対して信頼スコアを算出する。位置推定装置は、2つの検出データのうち高い信頼スコアを有する検出データに対応して再推定された位置を選択する。ただし、図8では、説明の便宜のために補助検出データを第2検出データ及び第3検出データの2つとして説明したが、これに限定されることなく、位置推定装置は2つ以上の補助検出データを取得し得る。
【0116】
次に、ステップS841において、位置推定装置は、第2検出データ及び第3検出データの両方が信頼性のない場合に応答して、ステップS812で推定された位置を出力する。
【0117】
また、位置推定装置は、第2検出データ及び第3検出データのうちの1つが信頼性を有すると判断された場合、信頼性がある検出データに基づいて再推定された位置を出力する。
【0118】
ただし、図8では、第1検出データ~第3検出データを用いた測位が説明されているが、位置推定装置は、第1検出データ~第n検出データを用いてもよい。この場合、位置推定装置は、第1検出データに最も高い優先順位を付与し、残りの第2検出データ~第n検出データには第1検出データよりも低い優先順位を同等に付与し得る。
【0119】
図9は、他の一実施形態に係る位置推定装置が第1検出データ、第2検出データ、及び第3検出データに基づいて対象位置を決定する方法を示すフローチャートである。図9に示す動作は、示された方式及び順に実行され得るが、これに限定されることなく、一部動作の順序が変更され、あるいは、一部動作は省略されてもよい。図9に示された動作の複数は、並列的又は同時に実行されてもよい。図9に示す1つ以上のブロック及びブロックの組合せは、特定機能を行う特別な目的のハードウェアに基づいたハードウェア又は特別な目的のハードウェア及びコンピュータ命令の組合せによって実現され得る。図9を参照した説明に加えて、図1図8の説明は図9に適用され得るため、以下でその説明は省略する。
【0120】
第1検出データは、主センサから取得した主検出データに対応し、第2検出データは、補助センサから取得した補助検出データに対応し、第3検出データは、追加センサから取得した追加検出データに対応する。
【0121】
位置推定装置は、1回目の推定910で位置を概略的に推定し、概略的に推定された位置を第2検出データの信頼性に応じて2回目の推定920で精密に再推定し、第3検出データの信頼性に応じて、3回目の推定930でより精密に再び再推定する。位置推定装置は、1回目の推定910に最も高い優先順位を付与し、2回目の推定920には次の優先順位、3回目の推定930にはその次の優先順位を付与する。したがって、位置推定装置は、2回目の推定920及び3回目の推定930のエラーが1回目の推定910に電波されることを防止する。
【0122】
まず、ステップS911において、位置推定装置は第1検出データを取得する。ステップS912において、位置推定装置は、第1検出データに基づいて対象位置を推定する。
【0123】
そして、ステップS921において、位置推定装置は、第2検出データを取得する。ステップS922において、位置推定装置は、第2検出データの信頼性を検証する。ステップS941において、位置推定装置は第2検出データが信頼性のない場合に応答して、ステップS912で推定された位置を出力する。ステップS923において、位置推定装置は、第2検出データが信頼性を有すると判断されたことに応答して、第1検出データ及び第2検出データに基づいて対象位置を再推定する。
【0124】
次に、ステップS931において、位置推定装置は、第3検出データを取得する。ステップS932において、位置推定装置は、第2検出データが信頼性を有すると判断されたことに応答して、第3検出データ(例えば、追加センサから取得した追加検出データ)の信頼性を検証する。ステップS942において、位置推定装置は、第3検出データが信頼性のない場合に応答して、ステップS923で再推定された位置を出力する。ステップS933において、位置推定装置は、第3検出データ(例えば、追加検出データ)が信頼性を有すると判断されたことに応答して、第3検出データ、第2検出データ(例えば、補助検出データ)、及び第1検出データ(例えば、主検出データ)に基づいて対象位置を再び再推定する。
【0125】
そして、ステップS943において、位置推定装置は、ステップS933で再び再推定された位置を出力する。
【0126】
ただし、図9では、第1検出データ~第3検出データを用いた測位が説明されているが、位置推定装置は、第1検出データ~第n検出データを用いてもよい。この場合、位置推定装置は、第1検出データに最も高い優先順位を付与し、その後、第2検出データ~第n検出データの順に少しずつ低い優先順位を付与する。
【0127】
一実施形態に係る位置推定装置は、精密な測位が求められる車両ナビゲーション又は航空ナビゲーションなどに搭載され得る。また、位置推定装置は、測位が求められるロボット及びドローンなどにも搭載され得る。さらに、位置推定装置は、自律走行用車両に装着されてもよい。
【0128】
一実施形態に係る位置推定装置は、補助センサや追加センサが故障などにより完全に誤った検出データを収集しても、主検出データを用いた最初の推定結果を出力することで位置推定の正確度及び信頼性の下落を防止できる。
【0129】
一実施形態によれば、位置推定装置及び方法は、センサ・フュージョンを介してセンサの特性により他のセンサの弱点を補償できる。
【0130】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
【0131】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの1つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0132】
実施形態に係る方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0133】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの1つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0134】
上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、或いは、他の構成要素又は均等物によって置き換えられたとしても適切な結果を達成することができる。
【0135】
したがって、他の実現、他の実施形態及び特許請求の範囲と均等なものなども後述する請求の範囲の範囲に属する。
【符号の説明】
【0136】
100:位置推定装置
110:センサ
120:プロセッサ
図1
図2
図3
図4
図5
図6A
図6B
図7
図8
図9