特許 6586430 車両位置の推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6586430

(24)【登録日】2019年9月13日

(45)【発行日】2019年10月2日

(54)【発明の名称】車両位置の推定

(51)【国際特許分類】

   G01B 11/00 20060101AFI20190919BHJP

   G06T 7/70 20170101ALI20190919BHJP

   G06T 1/00 20060101ALI20190919BHJP

   G01C 21/28 20060101ALI20190919BHJP

【ＦＩ】

   G01B11/00 H

   G06T7/70 A

   G06T1/00 330B

   G01C21/28

【請求項の数】12

【全頁数】24

(21)【出願番号】特願2016-570854(P2016-570854)

(86)(22)【出願日】2015年5月29日

(65)【公表番号】特表2017-528685(P2017-528685A)

(43)【公表日】2017年9月28日

(86)【国際出願番号】GB2015051566

(87)【国際公開番号】WO2015181561

(87)【国際公開日】20151203

【審査請求日】2018年5月25日

(31)【優先権主張番号】1409625.9

(32)【優先日】2014年5月30日

(33)【優先権主張国】GB

(73)【特許権者】

【識別番号】516245900

【氏名又は名称】オックスフォード ユニバーシティ イノベーション リミテッド

【氏名又は名称原語表記】ＯＸＦＯＲＤ ＵＮＩＶＥＲＳＩＴＹ ＩＮＮＯＶＡＴＩＯＮ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】ニューマン ポール

(72)【発明者】

【氏名】マダーン ウイリアム

(72)【発明者】

【氏名】スチュワート アレキサンダー ダグラス

(72)【発明者】

【氏名】チャーチル ウィンストン

(72)【発明者】

【氏名】マクマナス コリン

【審査官】 八木 智規

(56)【参考文献】

【文献】 特開２００２−４８５１３（ＪＰ，Ａ）

【文献】 特表２０１０−５１５１３５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／３１１６７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０１Ｃ ２１／００−２１／３６

Ｇ０１Ｃ ２３／００−２５／００

Ｇ０１Ｄ １／００− １／１２

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

可搬式装置（１０２）を該装置（１０２）の周囲の環境内で位置推定する、電算化された方法（８００）であって、
前記環境の画像系列（２００）を取得し（８０２）、
前記画像系列（２００）から１つ以上の変換画像系列（２０４）を生成し（８０４ａ、８０４ｂ）、１つ以上の前記変換画像系列（２０４）内の変換画像は、前記画像系列（２００）からの画像に対して変換を施すことにより生成され、
処理回路（１１２）を使用して、前記変換画像系列（２０４）からの１つ以上の画像と、
ｉ）前記画像系列（２００）と、
ｉｉ）別の変換画像系列（２０４）
のうちの少なくとも１つからの１つ以上の画像とを、前記環境の表現（２０２）と比較し（８０６）、
前記比較は、前記画像及び／または変換画像、並びに前記表現（２０２）内の、対応する特徴を特定し（８０８）、
前記可搬式装置（１０２）を前記１つ以上の対応する特徴の位置に従って位置推定する（８１０）、方法（８００）。

【請求項2】

前記画像系列（２００）と１つの変換画像系列（２０４）を、それぞれ格納された表現（２０２）と比較する（８０６）、請求項１記載の方法（８００）。

【請求項3】

２つの変換画像系列（２０４）では、各系列（２０４）を構成する前記画像が前記画像系列（２００）に対する異なる変換によって既に生成されており、前記２つの変換画像系列（２０４）を、それぞれ格納された表現（２０２）と比較する（８０６）、請求項１記載の方法（８００）。

【請求項4】

前記方法（８００）は、前記２つの比較のうちの一方を選定し、前記装置（１０２）の位置推定のために使用する、請求項２または３に記載の方法（８００）。

【請求項5】

前記環境の前記表現（２０２）は、１つ以上の格納画像系列（２０２）によって与えられる、請求項１から４のいずれか１項に記載の方法（８００）。

【請求項6】

前記比較（８０６）のうちの少なくとも１つが実行されるために、前記格納画像系列（２０２）には変換が施される、請求項５記載の方法（８００）。

【請求項7】

前記環境の前記表現（２０２）は、前記環境の３Ｄモデルである、請求項１から４のいずれか１項に記載の方法（８００）。

【請求項8】

前記画像系列（２００）は、光学カメラ（１０４，１０６）、立体光学カメラ、熱探知カメラのうちのいずれかを用いて取得される、請求項１から７のいずれか１項に記載の方法（８００）。

【請求項9】

前記画像系列（２００）内の前記画像はＲＧＢ色空間の範囲内にある、請求項１から８のいずれか１項に記載の方法（８００）。

【請求項10】

画像に対して行われる変換（８０４ａ、８０４ｂ）は、前記画像を、照明不変色空間とグレースケールのうちの１つに変換する、請求項１から９のいずれか１項に記載の方法（８００）。

【請求項11】

環境内で自身の位置推定を行うように構成されている装置（１０２）であって、
前記装置（１０２）の周囲の環境の画像系列（２００）を生成するように構成されているセンサ（１０４，１０６）と、
ｉ）前記画像系列（２００）から１つ以上の変換画像系列（２０４）を生成し（８０４ａ、８０４ｂ）、１つ以上の前記変換画像系列（２０４）内の変換画像は、前記画像系列（２００）からの画像に対して変換を施すことにより生成され、
ｉｉ）前記変換画像系列（２０４）からの１つ以上の画像と、
ａ）前記画像系列（２００）と、ｂ）別の変換画像系列（２０４）のうちの少なくとも１つからの１つ以上の画像とを、前記環境の格納表現（２０２）と比較し（８０６）、
ｉｉｉ）前記比較（８０６）中に、前記画像（２００）及び／または前記変換画像（２０４）、並びに前記格納表現（２０２）内の、対応する特徴を特定し（８０８）、
ｉｖ）前記装置（１０２）を前記１つ以上の対応する特徴の位置に従って位置推定する（８１０）、
ように構成されている処理回路（１１２）と、
を備えている、装置（１０２）。

【請求項12】

機械可読媒体であって、
コンピュータによって読み取られると、前記コンピュータに、
ｉ）可搬式装置の周囲の環境の画像系列（２００）を取得し（８０２）、
ｉｉ）前記画像系列（２００）から１つ以上の変換画像系列（２０４）を生成し（８０４ａ、８０４ｂ）、１つ以上の前記変換画像系列（２０４）内の変換画像は、前記画像系列（２００）からの画像に対して変換を施すことにより生成され、
ｉｉｉ）前記変換画像系列（２０４）からの１つ以上の画像と、
ａ）前記画像系列（２００）、及び
ｂ）別の変換画像系列（２０４）
のうちの少なくとも１つからの１つ以上の画像とを、前記環境の格納表現（２０２）と比較し（８０６）、
ｉｖ）前記比較（８０６）は、前記画像（２００）及び／または変換画像（２０４）、並びに前記格納表現（２０２）内の、対応する特徴を特定する（８０８）ように構成されており、
ｖ）前記可搬式装置（１０２）を前記１つ以上の対応する特徴の位置に従って位置推定する（８１０）、
ことを行わせる命令を収容している媒体。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

本発明は、環境内にある車両の位置推定に関する。特に、位置推定は、カメラ等のセンサから生成された画像を用いて行われるが、限定するわけではない。さらに、センサからの画像は、最初の色空間から別の色空間に変換されてもよいが、これも限定するわけではない。

【0002】

位置推定方法は、任意の可搬式装置において実行可能である。つまり、このような装置を車両に組み込むことは、必須ではないが一般的な手法である。本明細書における車両の説明は、非車両の可搬式装置、例えば人が携行できる装置にも等しく適用できる。

【0003】

特徴に基づく位置推定は、実行時に観測される特徴を格納されている特徴とマッチングした後、これらの関連付けが与えられている装置の姿勢と位置を推定する行為として理解できる。マッチング問題を簡単に提示しているが、その実行は面倒で複雑である場合もある。主に２つの問題が存在する。相関関係を見るためにはどこを探索すべきなのか（そして探索窓はどの程度の大きさにすべきなのか）と、何を探索すべきか（特徴はどのように見えるのか）である。

【0004】

既知の環境での位置推定に関わる視覚体系にとって、見掛けの変化を取り扱うことは、それが突然であっても段階的であっても、挑戦である。見掛けの変化は、（ｉ）光の条件が異なる、（ｉｉ）気象条件が変化する、及び／または（ｉｉｉ）動く物体がある（例えば歩行者、木の枝、または車両）などのいくつかの発生源に起因する。２番目の問題である「何を探索すべきか」は、これらのばらつきによってより難題となってしまう。

【0005】

本発明の第１の態様によれば、可搬式装置を環境内で位置推定する、電算化された方法が提供されており、以下のステップｉ）〜ｖ）のうちの少なくともいくつかを備えている。

【0006】

ｉ）装置の周囲の環境の画像系列を取得する。
ｉｉ）画像系列から１つ以上の変換画像系列を生成し、系列からの画像は、変換画像系列内の変換画像を与えるために既に変換が施されている。

【0007】

ｉｉｉ）処理回路を使用して、変換画像系列からの１つ以上の画像と、
ｉ）画像系列と、
ｉｉ）別の変換画像系列
のうちの少なくとも１つからの１つ以上の画像とを、環境の表現と比較する。

【0008】

ｉｖ）比較は、画像及び／または変換画像、並びに格納されている表現内の、対応する特徴を特定するように構成されている。
ｖ）可搬式装置を１つ以上の対応する特徴の位置に従って位置推定する。

【0009】

特徴ｉ）〜ｖ）の各々を有する実施形態は、より頑健かつ正確に装置を位置推定（すなわち装置位置を決定）できる点で効果的である。
通常、本方法は車両（例えば乗用車、ワゴン車、トラック等）に適用され、特に、自身でナビゲーションを行うように構成されている車両に適用される。しかし、実施形態を他の装置に適用してもよい。

【0010】

いくつかの実施形態において、センサから取得された画像系列と１つの変換画像系列を、それぞれ格納された表現と比較する。このような実施形態では、表現と比較される系列のうちの１つのみに変換が施される。つまり、カメラからの未変換の画像系列も表現と比較される。

【0011】

代替の実施形態において、２つの変換画像系列では、各系列を構成する画像がセンサ画像系列に対する異なる変換によって既に生成されており、２つの変換画像系列は、それぞれ格納された表現と比較する。このような実施形態では、表現と比較される画像系列の各々に変換が施される。

【0012】

さらに別の実施形態において、３つ以上の画像系列が、格納された表現と比較されることもあり得る。例えば、２つの変換画像系列と、未変換画像系列を、格納された表現と比較してもよい。

【0013】

いくつかの実施形態において、比較のうちのどれを装置の位置推定に使用すべきかに関する判定がなされる。すなわち、本方法は、２つの比較のうちの一方を選定し、装置の位置推定のために使用する。このような実施形態では、通常、そのインスタンスでの実行により適している比較が、装置の位置推定に選定される。例えば、その範囲内で認識される特徴数がより多い比較が選定されてもよい。

【0014】

いくつかの実施形態において、環境の表現は、１つ以上の格納画像系列によって与えられる。このような実施形態では、例えば調査車両によって、格納画像が前もって収集されていてもよい。あるいは、格納画像が実行時間中の早い時間に収集されていてもよい。つまり、その環境の表現は、予め与えられている代わりに、漸次構築されていってもよい。

【0015】

代替の実施形態において、環境表現は環境の３Ｄモデルによって供給される。このような３Ｄモデルは、点群によって供給されてもよく、特にＬＩＤＡＲ点群によって供給されてもよい、さらに別の実施形態では、環境表現は、特徴を有するメッシュ、または、写真測量、運動からの構造推定（ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ）、または手動測量等から得られるモデルによって供給される。

【0016】

いくつかの実施形態において、比較のうちの少なくとも１つが実行されるために、格納画像系列には変換が施される。
画像系列は、光学カメラ、立体光学カメラ、熱探知カメラのうちのいずれかを用いて取得されると好都合である。

【0017】

画像系列内の画像はＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）色空間の範囲内にあってもよい。当業者であれば、他の色空間も使用可能であることを理解されよう。
画像に対して行われる変換は、画像を、照明不変色空間、グレースケール、未変換画像のものとは異なる別の色空間（例えばＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）、ＬＡＢまたはＹＵＶ色空間（ここでＹはルマ成分であり、ＵＶはそれぞれがクロミナンス成分）のうちの１つに変換すると好都合である。

【0018】

本発明の第２の態様によれば、環境内で自身の位置推定を行うように構成されている装置が提供されている。本装置は、
装置の周囲の環境の画像系列を生成するように構成されているセンサと、
ｉ）画像系列から１つ以上の変換画像系列を生成し、画像系列からの画像は、変換画像系列内の変換画像を与えるために、既に変換が施されていて、
ｉｉ）変換画像系列からの１つ以上の画像と、
ａ）画像系列と、ｂ）別の変換画像系列のうちの少なくとも１つからの１つ以上の画像とを、環境の格納表現と比較し、
ｉｉｉ）比較中に、画像及び／または変換画像、並びに格納表現内の、対応する特徴を特定し、
ｉｖ）装置を１つ以上の対応する特徴の位置に従って位置推定する、
ように構成されている処理回路と、
のうちの少なくともいくつかを備えている。

【0019】

本発明の第３の態様によれば、命令を収容している機械可読媒体が提供されている。命令は、コンピュータによって読み取られると、そのコンピュータに、以下のステップｉ）〜ｖ）のうちの少なくともいくつかを行わせる。

【0020】

ｉ）装置の周囲の環境の画像系列を取得する。
ｉｉ）画像系列から１つ以上の変換画像系列を生成し、画像系列からの画像は、変換画像系列内の変換画像を与えるために既に変換が施されている。

【0021】

ｉｉｉ）変換画像系列からの１つ以上の画像と、
ａ）画像系列と、
ｂ）別の変換画像系列
のうちの少なくとも１つからの１つ以上の画像とを、環境の格納表現と比較する。

【0022】

ｉｖ）比較は、画像及び／または変換画像、並びに表現内の、対応する特徴を特定するように構成されている。
ｖ）可搬式装置を１つ以上の対応する特徴の位置に従って位置推定する。

【0023】

本発明の第４の態様によれば、可搬式装置の周囲の環境を表す座標系内で、可搬式装置のメトリックな位置推定を行う、コンピュータによって実行される方法であって、座標系に対する可搬式装置の座標を決定する位置推定方法が提供されている。本方法は、
カメラを用いて、環境の少なくとも一部を表す画像を生成し、
画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換し、
変換画像を処理して、変換画像内の環境の特徴を認識し、
可搬式装置を、座標系内で、１つ以上の認識要素の位置に従って位置推定する。

【0024】

本発明の第５の態様によれば、可搬式装置の周囲の環境を表す座標系内で自身のメトリックな位置推定を行うように構成されている装置が提供されている。本装置は、
装置の周囲の環境の画像系列を生成するように構成されているセンサと、
ｉ）画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換し、
ｉｉ）変換画像を処理して、変換画像内の環境の要素を認識し、
ｉｉｉ）可搬式装置を、座標系内で、１つ以上の認識要素の位置に従って位置推定して、装置の座標を生成する
ように構成されている処理回路と、
のうちの少なくともいくつかを備えている。

【0025】

本発明の第６の態様によれば、コンピュータによって読み取られると、そのコンピュータに、可搬式装置のメトリックな位置推定を、可搬式装置の周囲の環境を表す座標系内で行わせる命令を収容している機械可読媒体が提供されている。機械可読媒体は、
ｉ）装置の周囲の環境の画像系列を取得する。

【0026】

ｉｉ）画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換する。
ｉｉｉ）変換画像を処理して、変換画像内の環境の要素を認識する。
ｉｖ）可搬式装置を、座標系内で、１つ以上の認識要素の位置に従って位置推定する。

【0027】

のうちの少なくともいくつかを含んでいる。
当業者であれば、本発明の態様のうちのいずれか１つに関連する上記で述べた特徴を、必要に応じて変更を加えて、本発明の任意の他の態様に適用してもよいことを理解されよう。

【0028】

上述では、機械可読媒体が言及されている。このような機械可読媒体は、ハードディスクドライブ（ベースがプラッタでもソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）でもよい）、メモリ（例えばフラッシュドライブ、ＳＤカード、コンパクトフラッシュ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ：ＣＦ）カード等）、ＣＤ−ＲＯＭ、ＣＤ−ＲＡＭ、ＤＶＤ（−Ｒ／−ＲＷ、ＲＡＭ、及び＋Ｒ／＋ＲＷを含む。）、任意の形式のテープ、任意の形式の光磁気記憶装置、伝送信号（例えばインターネットダウンロード、ファイル転送プロトコル（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ：ＦＴＰ）の下での伝送等）、電信等のうちのいずれか１つによって例示される。

【0029】

以下に、一例として、本発明の実施形態の単なる詳細な説明を、添付の図面を参照ながら行う。

【図面の簡単な説明】

【0030】

【図1】図１は、各実施形態を実施できるように構成されている車両を示したものである。

【図2】図２は、ある実施形態によって行われる画像認識処理の例を示したものである。

【図3】図３は、１日のうちの異なる時間帯で、３Ｄ点群に対して照明不変画像を用いる例を示したものである。

【図4】図４は、各実施形態の相対的な実施状況を図示したものである。

【図5】図５は、２つの実施形態の相対的な実施状況を図示したものであり、これらの実施形態の各々の場合で位置推定が行われる確率を強調している。

【図6】図６は、ある環境内での動きの略図を示しており、車両の位置推定の図示に用いられる。

【図7】図７は、平行データストリームのそれぞれが単独で生成した代表的な速度推定値を、実際の速度と比較して示したものである。

【図8】図８は、ある実施形態の方法のフローチャートを示したものである。

【図9】図９は、追加プロセスの最適化ステップを含む代替の実施形態を示したものである。

【図10】図１０は、ライブフレーム内の特徴が調査キーフレーム内で再投影される場所を予測するために、ライブ画像ストリームからの出力を、ビジュアルオドメトリを用いてどのように使用できるかを模式的に表したものである。

【図11】図１１は、採光による極端な変化を図示したサンプル画像を示したものである。

【発明を実施するための形態】

【0031】

車両１０２上に搭載されており、センサ１００を備えているモニタリングユニット１０に関して、本発明の各実施形態を説明する。センサ１００は、センサが移動する環境をモニタリングし、そのモニタリングに基づいてデータを作成することによって、車両１０２の周囲で検出された光景に関するデータを提供するように構成されている。本方法の各ステップの参照符号は、図８に対して称されている。

【0032】

本明細書の各実施形態において、車両１０２は、ある環境内の至る所に移動する可搬式装置の一例を設けている。他の実施形態では、可搬式装置は、車両以外の物品に設けられていてもよい。

【0033】

説明中の実施形態において、センサ１００は受動型センサ（つまり放射を発生させず、単に放射を受信するのみ）であり、特にカメラである。より具体的には、説明中の実施形態において、センサ１００は立体カメラ（例えばＰｏｉｎｔＧｒｅｙ社製ＢｕｍｂｌｅＢｅｅ）であり、したがって２つのカメラ１０４，１０６を備えている。当業者であれば、このようなセンサは、１つのセンサ１００としてよりは、２つの別個のカメラによって与えられ得ることは理解されよう。しかし、他の実施形態では１つのカメラに頼ってもよい。

【0034】

説明中の実施形態において、カメラ１０４，１０６はベイヤー（Ｂａｙｅｒ）フィルタを備えている。この特定の実施形態は、「Ｇｒａｓｓｈｏｐｐｅｒ２ ｇｓ２−ｆｗ ｔｅｃｈｎｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｍａｎｕａｌ」（Ｐｏｉｎｔ Ｇｒｅｙ Ｒｅｓｅａｒｃｈ社、２０１１年）に記載されているように、青色チャネルに対してはほぼ４７０ｎｍの波長に、緑色チャネルに対してはほぼ５４０ｎｍの波長に、赤色チャネルに対してはほぼ６２０ｎｍの波長にピーク感度を有している。当業者であれば、数多くのカメラがベイヤーフィルタを有し、ピーク感度も様々であることが理解されよう。

【0035】

図１に示されている実施形態において、車両１０２は道路１０８に沿って走行していて、センサ１００は、車両１０２が走行する環境（例えば建物１１０，道路１０８等）を撮像しており、これによって８０２において当該環境の画像系列を生成する。本実施形態において、モニタリングユニット１０はまた、センサ１００からのデータを取り込み、次に８０４ａ，８０４ｂ，８０６，８０８において、センサ１００から取り込まれた画像を処理するように構成されている処理回路１１２を備えている。説明中の実施形態において、処理回路１１２はまた、記憶デバイス１１４を備えているか、または記憶デバイス１１４にアクセスできる。

【0036】

図１の下部は、通常の処理回路１１２内にあり得る構成要素を示している。処理ユニット１１８が設けられていてもよく、処理ユニット１１８は例えばｉ５（商標）、ｉ７（商標）、Ａｔｈｌｏｎ（商標）、Ｓｅｍｐｒｏｎ（商標）、Ｐｈｅｎｏｍ（商標）、Ａ５，Ａ７プロセッサ等のインテル（登録商標）Ｘ８６系プロセッサであってもよい。処理ユニット１１８は、システムバス１２０を介して、Ｉ／Ｏサブシステム１２２（及びその結果として外部ネットワーク、ディスプレイ等）及びメモリ１２４と通信するように構成されている。

【0037】

当業者であれば、メモリ１２４は、例えば揮発性メモリ、ハードドライブ、不揮発性メモリ等の任意の形式の機械可読なデータ記憶媒体を含む、種々の構成要素によって提供されてもよいことは理解されよう。実際には、メモリ１２４は、処理ユニット１１８の制御下にある、あるいは処理ユニット１１８に接続されている、複数の構成要素を備えている。

【0038】

しかし通常は、メモリ１２４は実行されると動作を行わせるプログラムコードを格納するように構成されているプログラム格納部１２６と、データを一次的に、及び／または永続的に格納するために使用可能であるデータ格納部１２８とを設けている。

【0039】

他の実施形態において、処理回路１１２の少なくとも一部は、車両から遠隔に設けられていてもよい。したがって、８０２においてセンサ１００によって生成されたデータの処理は、車両１０２外で、または一部は車両１０２上、一部は車両１０２外で行われることも考えられる。処理回路が車両上と車両外の両方に設けられている実施形態では、ネットワーク接続（例えば３Ｇ ＵＭＴＳ方式（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ユニバーサル・モバイル・テレコミュニケーション・システム）、４Ｇ方式（例えばモバイルＷｉＭＡＸ及びロング・ターム・エボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）、ＷｉＦｉ（ＩＥＥＥ８０２．１１）等））が用いられている。

【0040】

示されている実施形態において、プログラム格納部１２６は、画像処理プロセッサ１３２と、特徴点検出器と、ビジュアルオドメトリ（Ｖｉｓｕａｌ Ｏｄｏｍｅｔｒｙ：ＶＯ）システム１２８と、タイマー１３０とを少なくとも備えている。ビジュアルオドメトリとは、８０６，８０８において関連するカメラ画像を分析することによって、８１０において位置と方向を決定する処理のことであり、したがって、系列画像を用いた推測航法形式として使用可能である。また、ビジュアルオドメトリを用いて、８１０において、格納されている非系列画像に対する、または格納されている環境表現に対する位置と方向を決定することも可能である。代替または追加の実施形態において、センサ１００は日時情報を提供してもよく、タイマーを別個に設ける必要がなくなる。

【0041】

説明中の実施形態におけるデータ格納部１２８は、画像データ（すなわちセンサからの画像系列）１３６と、環境表現１３８（すなわち環境の表現、つまり、前のモデルか、または環境を表現する格納イメージのいずれか）と、軌跡データ１３４とを収納している、いくつかの実施形態では、画像データ１３６及び環境表現１３８は、１つのデータセットを構成している。軌跡計算にＶＯシステム１２８を使用しない実施形態では、軌跡データ１３４は存在しなくてもよく、また、異なる形式であってもよい。

【0042】

処理回路１１２は、センサ１００から画像データを受信し、そして、８０４ａ，８０４ｂ，８０６，８０８において、その画像データを以下に述べるように処理するように構成されている。しかし、この処理の少なくとも一部は、今度は位置推定処理の一部として使用される、いわゆるビジュアルオドメトリ（ＶＯ）システムを行うように構成されている。当業者であれば、車両または他の可搬式装置の位置推定とは、ある環境内で当該車両等の位置を決定することであることを理解されよう。

【0043】

処理回路１１２による画像データの処理は、キーフレームに基づいたビジュアルオドメトリ（ＶＯ）パイプラインと称されてもよいものを含んでいる。キーフレームは、特徴検出、ランドマーク、記述子、前の／別のキーフレームに対する相対変換、及びタイムスタンプを備えている。説明中の実施形態において、センサ１００から出力された画像は、映像化する目的で格納される。本明細書では、センサ１００からの画像系列は、画像のパイプラインと考えられてもよいものを供給する、つまり画像を次々と供給する。説明中の実施形態において、センサはカメラの立体対であり、したがって、８０２でセンサ１００によって生成された画像パイプラインは、画像対のストリームで構成されていて、各対から得られる画像はカメラ１０４，１０６の各々が１枚ずつ撮影したものである。このため、対の中の各画像は、時間的にほぼ同じインスタンスで撮られている。

【0044】

処理回路１１２は、画像ストリーム内の立体画像の両方を処理して、それらの画像から特徴を抽出するように構成されている特徴点検出器を設けるように構成されている。説明中の実施形態において、特徴点検出器は、Ｅ．Ｒｏｓｔｅｎ，Ｇ．Ｒｅｉｔｍａｙｒ，及びＴ．Ｄｒｕｍｍｏｎｄ「Ｒｅａｌ−ｔｉｍｅ ｖｉｄｅｏ ａｎｎｏｔａｔｉｏｎｓ ｆｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ」（Ａｄｖａｎｃｅｓ ｉｎ Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ，２００５）に説明されているようなＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）検出器によって得られる。当業者であれば、種々の特徴を抽出してもよく、また、特徴の識別に種々の方法を用いてもよいことを理解されよう。

【0045】

特徴を抽出した後、処理回路はさらに、各対の各画像内部の同じ特徴の位置を特定する、つまり立体的な対応関係の探索を行うように構成されている。説明中の実施形態は、各画像内のこのような対応点の位置特定を支援するために、パッチベースでのマッチング処理を用いている。さらに、説明中の実施形態において、処理回路はさらに、それぞれの立体的な計測に対して、Ｍ．Ｃａｌｏｎｄｅｒ，Ｖ．Ｌｅｐｅｔｉｔ，Ｍ．Ｏｚｕｙｓａｌ，Ｔ．Ｔｒｚｃｉｎｓｋｉ，Ｃ．Ｓｔｒｅｃｈａ，及びＰ．Ｆｕａ「Ｂｒｉｅｆ： Ｃｏｍｐｕｔｉｎｇ ａ ｌｏｃａｌ ｂｉｎａｒｙ ｄｅｓｃｒｉｐｔｏｒ ｖｅｒｙ ｆａｓｔ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｚｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３４，ｎｏ．７，１２８１〜１２９８ページ（２０１２年）に説明されているようなＢＲＩＥＦ記述子を算出するように構成されている。当業者であれば、ＢＲＩＥＦ記述子は適切な記述子形式の一例であり、他の記述子を用いてもよいことを理解されよう。

【0046】

立体的な対応点の決定に加えて、処理回路はまた、抽出された特徴の各々の、カメラ１０４，１０６のフレームに対する位置の３Ｄ推定を算出するように構成されている。新たな立体フレーム（つまり画像ストリーム内の次のフレーム）を獲得すると、特徴を抽出し、８０８において、最初にＢＲＩＥＦマッチングを用いて（種々の記述子が用いられる実施形態では対応するマッチング方法が使用される）、その前のフレームとのマッチングを行い、次にパッチベースでのマッチングを用いて絞り込むことによってサブピクセルでの対応関係が得られ、パッチベースでのマッチングを下記にて説明する。

【0047】

よって、処理回路１１２が画像ストリームのフレーム間において抽出された特徴を追跡しているので、ＶＯシステムは車両１０２の軌跡を構築する。説明中の実施形態において、処理回路１１２はまた、異常値の棄却にＲＡＮＳＡＣ（詳細はＭ．Ａ．Ｆｉｓｃｈｌｅｒ及びＲ．Ｃ．Ｂｏｌｌｅｓ「Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ： Ａ Ｐａｒａｄｉｇｍ ｆｏｒ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ａｎａｌｙｚｉｓ ａｎｄ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｏｇｒａｐｈｙ」Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，ｖｏｌ．２４，３８１〜３９５ページ（１９８１年）を参照）を用いることにより、軌跡の推定を向上させている。最後のステップとして、軌跡が非線形ソルバによって得られ、フレーム間変換の推定が生成される。

【0048】

説明中の実施形態を含む少なくともいくつかの実施形態では、どの表現を環境のモデル及び／または前のモデルとみなすことができるかについて、車両１０２が移動する環境の、先に取り込まれた、もしくは生成された表現を参照する。表現の取り込みは、調査車両を環境内で移動させて、ＶＯシステムによって生成されたパラメータのうちの少なくとも数種を記録することによって行ってもよい。例えば、表現は、特徴位置を有する連続したキーフレーム、記述子（例えばＢＲＩＥＦ記述子）、ピクセルパッチ、３Ｄランドマーク、相対変換推定値等のパラメータのうちの少なくとも数種によって得られてもよい。

【0049】

代替または追加の実施形態において、先に取り込まれた環境モデルは、利用可能ではないか、または単に信頼されるだけのものでなくてもよい。この代替または追加の実施形態では、経験に基づくナビゲーション（Ｅｘｐｅｒｉｅｎｃｅ Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ）を行ってもよく、ここで環境のマップは、車両１０２が環境内で移動するときに８０２において生成されたセンサからの画像から構築されている。センサから取り込まれた画像において識別された特徴は、８０８で、先にある画像において識別された特徴とマッチングされる。

【0050】

よって、各実施形態は、国際特許出願ＰＣＴ／ＧＢ２０１３／０５０２９９号「ＭＥＴＨＯＤ ＯＦ ＬＯＣＡＴＩＮＧ Ａ ＳＥＮＳＯＲ ＡＮＤ ＲＥＬＡＴＥＤ ＡＰＰＡＲＡＴＵＳ」に例示されているようないわゆる経験に基づくナビゲーション、または、位置推定の双方において使用されていてもよい。

【0051】

経験に基づくナビゲーション、環境の前のモデルに対するナビゲーション、または両者の組み合わせを用いているかどうかにかかわらず、位置推定はいわゆるメトリック位置推定であってもトポロジカル位置推定であってもよい。いわゆるメトリック位置推定では、可搬式装置の位置が参照可能な座標系が存在する。

【0052】

表現を構成するパラメータは通常はデータ格納部１２８に格納されるが、そうではない場合は処理装置１１２によってアクセス可能である。
使用時には、車両１０２上で用いられる実施形態は、ＶＯシステムの出力を処理するとともに、先に格納されたパラメータによって構成された表現を処理するようにも構成されている。表現に対する現在の画像ストリームの位置を推定するために、各実施形態は、上述したものと同様のＶＯパイプラインを使用するように構成されている。しかし、ライブで実行中のＶＯパイプラインは、前のカメラフレームへのマッチングの代わりに、表現内部に保持されている１つ以上のキーフレームへのマッチングを行うように構成されている。

【0053】

いくつかの実施形態において、表現は（経験に基づくナビゲーションを用いる実施形態である）環境の格納されている画像を介して保持されており、このような実施形態では、位置推定は、これらの格納環境画像に対して行われる。調査車両を用いて、以前の日付における格納画像を生成してもよい。代替として、または追加として、装置はまた、走行する時に格納画像を収集するように構成されていてもよい。

【0054】

代替として、または追加として、モデルは、ＬＩＤＡＲが作成した点群といった点群によって供給されてもよい。
上述したように、説明中の実施形態を含む少なくともいくつかの実施形態では、ＶＯ処理を簡素化するためにパッチベースでの処理を用いている。このパッチベースでの処理を用いている実施形態は、ライブビュー（つまりカメラ１０４，１０６から出力された現在の画像）を調査ビューと（つまり格納画像を備え得る表現に対して）マッチングさせる際に頑健さが向上するので効果的である。このパッチベースの手法は、ライブフレーム（例えばカメラ１０４，１０６から出力された画像）内で調査フレーム（例えば表現キーフレーム）がどのように再投影されるのかを予測しようとしている。実施形態のうちの少なくともいくつかは、マップ内の不確実性、計測値、前の姿勢の推定、及び最新のＶＯ推定を用いて、ある表現画像からカメラ１０４，１０６からの現在の画像内に再投影された計測値の共分散を算出するように構成されている。そして次に、共分散を用いて、図１０に示されている（後述）ようにライブビュー内の探索範囲を画定することができる。このような探索範囲を生成する実施形態は、不良データを関連付ける可能性を低減するので効果的である。

【0055】

各実施形態は、表現からの画像とカメラからの画像のうちの少なくとも一方を処理して、ここで説明するように、画像内部の光の影響を除去する（すなわち画像を変換する）ように構成されている。このため、各実施形態は通常、変換された画像系列を生成するが、ここでこの系列の各画像は、既に変換された、カメラから出力された画像系列からの画像に相当する。光の変化に関係なく画像内の特徴をマッチングさせる確率を高めるためには、このような実施形態は効果的である。いくつかの実施形態は、光の影響を除去するために、モデルからの画像とカメラからの画像の両方を処理するように構成されていてもよい。

【0056】

特にパッチマッチングを行うために、各実施形態は、起こり得るマッチングの探索範囲が与えられると、表現画像からの参照パッチとカメラからの画像との間のスコアを最小にするサブピクセルの位置を探索する。しかし、図２に示されているように、例えば光の影響が変わったために、表現２０２からの画像（図２で視覚的記憶と表示）とカメラ２００からの画像（図２でライブストリームＲＧＢと表示）との間で見掛けの変化が大きすぎる場合にはこの手法は失敗する可能性がある。したがって、各実施形態は、標準的なＲＧＢ色空間からの変換を用いるいわゆる照明不変画像を生成するように構成されており、照明不変画像は、説明中の実施形態ではカメラからの出力である。

【0057】

したがって、説明中の実施形態において、１つの画像から得られる、特徴点検出器が画像から抽出した特徴は、８０６において、別記にて説明されているように、通常は格納画像または変換された格納画像のいずれかである別の画像から抽出された特徴に対して比較される。この比較８０６は普通は、例えば図９内の処理９２０及び処理９２２といった位置推定処理によって実施される。これにより、位置推定器は、比較を行う際に、８０８において、画像及び／または変換画像、並びに表現内の対応する特徴を特定する。よって、比較はまた、特徴マッチング、つまりパッチマッチング等と称してもよい。

【0058】

図２の左側の領域は、カメラ１０４，１０６のうちの一方から生成された、画像系列の一部分２００を示している。当業者であれば、説明中の実施形態において、画像系列は立体系列（すなわち各光景の各インスタンスの画像は２つ存在する）であるが、分かりやすいように、画像の立体系列の片方のみを示す方が都合がよいことを理解されよう。説明中の実施形態において、画像はＲＧＢ画像である。画像の少なくともいくつか、通常は各々が、その画像に関連したメタデータを有していてもよい。このようなメタデータは、タイムスタンプ、位置情報及びカメラのスペクトル感度、型、モデル、露出、ゲイン、シャッター及び／または調節等のうちの１つ以上を含んでいてもよい。

【0059】

図２の中央の領域２０２は、メモリ１２４内部に保持されている表現の少なくとも一部分を構成する、格納画像系列の一部分を示している。これらの格納画像は通常は上述のキーフレームであろう。

【0060】

図２の右側の領域２０４は、詳細は下記にて説明されているような、画像上の光の影響を排除する変換８０４ａ，８０４ｂが施された変換画像系列を示している。したがって、変換が施された画像２０４は、照明不変画像系列であると見なすことができる。変換画像の生成は、入力として画像系列を取り込んで変換８０４ａ，８０４ｂを施すことによって変換画像２０４を生成する処理回路１１２によって行われる。この変換画像もまた、その画像に関連したメタデータを有していてもよい。

【0061】

センサ１００がカメラ以外である代替の実施形態において、画像を別の形式の環境表現と置き換えてもよい。例えば、ＬＩＤＡＲを用いた場合には、環境表現は、スキャナによって生成された点群によって供給されてもよい。

【0062】

画像系列２００及び変換画像系列２０４は、８０６において、図２では連続した格納画像２０２である表現と比較される。図２に示す例において、格納画像２０２の画像２００との比較８０６では、格納画像２０２内の点２１２，２１４，２１６に相当する、画像２００内の点２０６，２０８，２１０の認識に失敗している。ここで、画像２００にはかなりの量の影が含まれており、そのために、画像２００は対応する格納画像２０２と同じ環境であるにもかかわらず、この認識失敗につながったことが分かる。

【0063】

しかし、格納画像２０２の点２２４，２２６，２２８に相当する、変換画像内の点２１８，２２０，２２２の認識には成功している。説明中の実施形態では照明不変画像であることが想起される変換画像では、影は既に排除されている（または少なくとも大幅に削減されている）ので、変換画像２０４と格納画像２０２との間の類似性が高くなっていることが分かる。

【0064】

図２を参照する説明中の実施形態において、画像２００と格納画像２０２との間の不確かな比較によって得られたデータは棄却し、変換画像２０４の正常な比較によって得られたデータを使用して車両１０２の位置推定を行う。つまり、本実施形態において、車両１０２の位置推定に画像２００または変換画像２０４を使うかどうかに関する決定を行う。

【0065】

説明中の実施形態では、照明不変色空間への変換が用いられている。他の実施形態では、別の、あるいは追加の変換、例えばグレースケール色空間や別の単色色空間といった異なる色空間、または照明不変グレースケール色空間等への変換が用いられている。

【0066】

ここで、８０４ａまたは８０４ｂにおいて画像２００を照明不変色空間へと変換するために用いる変換を説明する。このような変換を用いる実施形態では、屋外での光条件の範囲にわたって光景の見た目が一致する度合いが向上する。照明不変イメージング、そうでない場合は色彩恒常として知られている最先端の手法の最近の調査に対し、読み手はＤ．Ｈ．Ｆｏｓｔｅｒ「Ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ」Ｖｉｓｉｏｎ ｒｅｓｅａｒｃｈ，ｖｏｌ．５１，ｎｏ．７，６７４〜７００ページ（２０１１年）を参照する。

【0067】

以下の式は、Ｇ．Ｄ．Ｆｉｎｌａｙｓｏｎ及びＳ．Ｄ．Ｈｏｒｄｌｅｙ「Ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ ａｔ ａ ｐｉｘｅｌ」ＪＯＳＡ Ａ，ｖｏｌ．１８，ｎｏ．２，２５３〜２６４ページ（２００１年）に記載されているように、リニアイメージセンサＲの応答と、表面反射率Ｓ（λ）を有する物体に入射する発光スペクトルパワー分布Ｅ（λ）を有する照明光源に対するスペクトル感度Ｆ（λ）との関係を述べている。

【0068】

【数1】

【0069】

ここで、単位ベクトルａ^ｘ及びｎ^ｘは光源の方向及び面法線の方向を表し、Ｉｘは光景内の点ｘでの発光体の光度を表す。式１から、照明光源スペクトルＥｘ（λ）及び光度Ｉｘの影響を最小限にしながら、点ｘにおける表面の材料特性Ｓｘ（λ）に依存する画像特徴Ｉを得たい。説明中の実施形態は上述したＧ．Ｄ．Ｆｉｎｌａｙｓｏｎ及びＳ．Ｄ．Ｈｏｒｄｌｅｙの論文の手法に従い、スペクトル感度関数Ｆ（λ）を波長λｉに注目したディラックのデルタ関数としてモデル化できると仮定して、以下の感度関数が得られる。

【0070】

【数2】

【0071】

極めて狭い帯域でスペクトル感度を仮定するのはほとんどの実用画像センサにとっては非現実的であるが、Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＳ．Ｃｏｌｌｉｎｓ「Ｓｔｕｄｙ ｏｆ ｔｈｅ ｐｈｏｔｏｄｅｔｅｃｔｏｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ａ ｃａｍｅｒａ ｆｏｒ ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ ｉｎ ｎａｔｕｒａｌ ｓｃｅｎｅｓ」（ＪＯＳＡ Ａ，ｖｏｌ．２７，ｎｏ．２，２８６〜２９４ページ、２０１０年）にある結果は、現実的な６０〜１００ｎｍの半波高全幅値（ｆｕｌｌ ｗｉｄｔｈ ａｔ ｈａｌｆ−ｍａｘｉｍｕｍ：ＦＷＨＭ）のセンサ応答を有するこの仮定の下では、色彩恒常性能が維持されることを示している。

【0072】

説明中の実施形態は、式２の両側の対数をとることによって、成分を以下のように分離する。

【0073】

【数3】

【0074】

ここでＧｘ＝ａｘ・ｎｘは、発光体と光景との間の相対的な形状配置である。これにより、３つの成分、すなわち、光景の形状及び強度成分、発光体のスペクトル成分、及び表面反射率成分の一次結合が得られる。自然採光で照光した屋外の光景の場合、発光体スペクトルを黒体源（上述したＧ．Ｄ．Ｆｉｎｌａｙｓｏｎ及びＳ．Ｄ．Ｈｏｒｄｌｅｙの論文を参照）としてモデル化するのが妥当であり、したがって、式３における発光体スペクトルの項に黒体源のＷｉｅｎ近似を代入することができる。

【0075】

【数4】

【0076】

ここで、ｈはプランク定数、ｃは光速、ｋＢはボルツマン定数、Ｔは黒体源相関色温度である。ただし、本明細書における「照明不変」という語への全ての参照に対して、この仮定を行う色空間が参照される、つまり、光源となる発光体はほぼ黒体である。他の実施形態は、照明がほぼ黒体であると仮定できない他の仮定を使用してもよいことが考えられる。

【0077】

式４の第１項と第３項は、様々な波長λ１でのセンサ応答を取り入れることによって削除可能である。説明中の実施形態は、Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＳ．Ｃｏｌｌｉｎｓ「Ｓｔｕｄｙ ｏｆ ｔｈｅ ｐｈｏｔｏｄｅｔｅｃｔｏｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ａ ｃａｍｅｒａ ｆｏｒ ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ ｉｎ ｎａｔｕｒａｌ ｓｃｅｎｅｓ」（ＪＯＳＡ Ａ，ｖｏｌ．２７，ｎｏ．２，２８６〜２９４ページ、２０１０年）において提案した手法に従い、順序付けられた波長λ_１＜λ_２＜λ_３でのピーク感度に対応する３つのセンサ応答Ｒ_１，Ｒ_２，Ｒ_３からなる一次元色空間Ｉを使用する。

【0078】

【数5】

【0079】

パラメータが以下の制約条件を満たす場合には、色空間Ｉは相関色温度Ｔとは無関係になる。

【0080】

【数6】

【0081】

これは

【0082】

【数7】

【0083】

に簡素化される。
したがって、単にベイヤーフィルタのピークスペクトル感度の情報のみがある任意のカメラに対して、αはただ１つに定まる。αの値は、多くの場合、データソースが与えられたデータシートから得られる。例えばＰｏｉｎｔＧｒｅｙ社製のカメラＢｕｍｂｌｅｂｅｅ２の場合、α＝０．４８００である。

【0084】

Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＴ．Ｍ．ＭｃＧｉｎｎｉｔｙ「Ｃｈｒｏｍａｔｉｃｉｔｙ ｓｐａｃｅ ｆｏｒ ｉｌｌｕｍｉｎａｎｔ ｉｎｖａｒｉａｎｔ ｒｅｃｏｇｎｉｔｉｏｎ」Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．２１，ｎｏ．８，３６１２〜３６２３ページ（２０１２年）において実証されたように、ディラックのデルタ関数によるセンサ応答及び黒体源という仮定によって、主に自然採光で照光した屋外の光景における色の識別に対して好結果が得られる。ただし、照明不変特徴が１つでは、ある特定の色を一意に識別するには不十分であることが多いが、光景内の異なる表面を区別するには十分である（Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＳ．Ｃｏｌｌｉｎｓ「Ｓｔｕｄｙ ｏｆ ｔｈｅ ｐｈｏｔｏｄｅｔｅｃｔｏｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ａ ｃａｍｅｒａ ｆｏｒ ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ ｉｎ ｎａｔｕｒａｌ ｓｃｅｎｅｓ」ＪＯＳＡ Ａ，ｖｏｌ．２７，ｎｏ．２，２８６〜２９４ページ（２０１０年））。

【0085】

図３には照明不変色空間が図示されている。午前９時と午後５時にそれぞれ取り込まれた画像の間では、太陽の角度、影のパターン、及び照射スペクトルの変化が大きいにもかかわらず、両方の照明不変画像が示す変化量は極めて小さい。具体的には、画像３００は午前９：００に取り込まれた画像であり、画像３０２は１７：００に取り込まれた画像であることが分かる。当業者であれば、画像３００と画像３０２との間には照明（例えば影）の変化に大きな違いがあることに気づくであろう。３０４は画像３００から生成された変換画像であり、３０６は画像３０２から生成された変換画像である。照明が変化した影響が大幅に低減されており、変換画像３０４，３０６は大部分が同等であることが分かる。

【0086】

３０８は環境の３Ｄ−ＬＩＤＡＲ点群モデルを示しており、一実施形態では、車両１０２の位置推定を行うために画像及び／または変換画像が比較される表現として使用されている。

【0087】

式５を用いるカメラからの画像ストリームの変換は、ピクセル単位で実行可能であるので、処理回路１１２に求める処理量の点で割安である。したがって、各実施形態は、他の計算タスクと並行して変換を行うように構成されていてもよい。

【0088】

これにより、少なくともいくつかの実施形態では、２つの並列処理、つまり、８０６において表現からの画像（すなわち格納画像）をカメラからの画像と比較するＶＯパイプラインと、８０６において表現からの画像（すなわち格納画像）をすでに変換されたカメラからの画像（すなわち変換画像）と比較する第２ＶＯパイプラインとを利用している。

【0089】

代替または追加の実施形態において、表現からの画像（すなわち格納画像）は、使用されているＶＯパイプラインのうちの１つ以上において変換される（すなわち変換された格納画像）。いくつかの実施形態において、一方のＶＯパイプラインはカメラからのライブ画像をカメラからの前の画像（すなわち格納画像）と比較し、第２ＶＯパイプラインはカメラからの変換画像をカメラからの前の画像（すなわち格納画像）と比較する。代替または追加の実施形態において、カメラからの前の画像は、ＶＯパイプラインのうちの少なくとも一方で使用される前に変換されている。代替の実施形態において、カメラからの画像は変換されず、カメラからの前の画像が変換される。

【0090】

これにより、説明中の実施形態を含む少なくともいくつかの実施形態では、２つのＶＯパイプラインを並行して実行する。代替または追加の実施形態において、２つを超えるＶＯパイプラインが使用されている。いくつかの実施形態において、処理回路１１２内部では３つ以上のＶＯパイプラインが利用可能であり、ある期間中、利用可能なＶＯパイプラインの総数より少ない数のＶＯパイプラインが並行して使用されている。例えば、ＲＧＢ，グレースケール、及び照明不変変換のＶＯパイプラインが利用可能であってもよく、また、日中、あるいは光のレベルがしきい値を超えた場合にはＲＧＢ及び照明不変変換ＶＯパイプラインのみが使用されてもよい。

【0091】

夜間には照明は黒体の発光からのものであるという仮定は成り立たなくてもよいので、照明不変変換が行われなくてもよく、また要求されなくてもよいことが理解されよう。しかがって、夜間、あるいは光のレベルがしきい値を下回る場合には、グレースケール及び照明不変変換ＶＯパイプラインのみが使用されてもよい。いくつかの例では、領域間の転換点あたりでは、より多くの、または全ての利用可能なパイプラインが使用されてもよい。上記の例では、夕刻や明け方、あるいは光のレベルがしきい値近辺やしきい値である場合には、ＲＧＢ，グレースケール、及び照明不変ＶＯパイプラインが全て並行して使用されてもよい。

【0092】

説明中の実施形態において、カメラからの非変換画像に基づいたＶＯパイプラインを使用して８１０において車両１０２の位置を推定できる場合には、そのＶＯパイプラインが使用される。しかし、このような位置推定が失敗した場合、もう一方の、カメラからの変換画像に基づくＶＯパイプラインを用いて、車両１０２の位置の推定を試みる。

【0093】

本実施形態では既定値（ｄｅｆａｕｌｔｉｎｇ）が「ベースライン」システムとなる理由は、照明不変ＶＯパイプラインを使用した場合（線７０４）と使用していない場合（線７０２）の代表的な速度分布を示している図７のグラフ７００内で強調されている。照明不変ＶＯパイプライン７０４を用いた速度推定値はＲＧＢ ＶＯパイプライン７０２を用いた速度推定値よりもノイズが多く、グラウンドトルースと比較するとわずかに偏りがあるように見える。

【0094】

このため、ＶＯパイプラインによって生成された位置の２つの推定値は融合しない。その代わり、可能であれば（カメラ１０４，１０６からの画像に対して変換を行わない状態で）既定値（ｄｅｆａｕｌｔｉｎｇ）がベースラインシステムとなるというポリシーによって、システムはこれらを並行して用いたり、両者の間で切り換えたりしている。

【0095】

他の実施形態において、ベースラインの定義は様々であるか、または、定義されたベースラインは存在せず、どのＶＯパイプラインを使用するかは、位置推定値の品質によって決まる。位置推定値の品質は、８０８でマッチングした特徴の数、及び／または、正しいと分かったマッチングの関連する確実性に基づいて評価してもよい。

【0096】

図８はある実施形態の方法のフローチャートを提供している。既に述べたように、ステップ８０４ａ，８０４ｂは、カメラからの画像系列の変換である。いくつかの実施形態において、変換Ａ（８０４ａ）と変換Ｂ（８０４ｂ）のうちの１つは変換がない、つまりセンサからの未変換画像が使用される。代替の実施形態では、両方の変換ステップ（８０４ａ，８０４ｂ）がカメラからの画像を変換する。

【0097】

図９に示されている実施形態では、処理回路１１２によって設けられた画像処理システム９００はより複雑である。前述同様、画像処理システム９００内部の経路はＶＯパイプラインと称されている。

【0098】

カメラ９０２からの画像は、２つの変換８０４ａ，８０４ｂ（ＲＧＢから照明不変９０４ａとＲＧＢから単色９０４ｂ）を経て、各々が変換画像９０４で構成されている２つの生成画像ストリームを形成する。

【0099】

本実施形態において、環境表現は格納画像９１０によって与えられている。ここでは、格納画像９１０はＲＧＢ画像であるが、これが事実である必要はなく、他の実施形態では変換画像を格納してもよい。

【0100】

説明中の実施形態において、格納画像９１０は、変換画像９０４ａ，９０４ｂを生成するために行ったものと同等の変換９１４ａ，９１４ｂを経て、位置推定処理８１０において使用する２組の変換された格納画像９１６，９１８を形成する。代替の実施形態において、格納画像は、１つの変換を経て、または変換を経ずに、または複数の変換を経て、複数組の格納された変換画像を生成する。

【0101】

これにより、照明不変変換画像９０４ａは、格納された変換（照明不変）画像９１８と対照して位置推定９２０を行うことが分かる。単色の変換画像９０４ｂは格納された変換（単色）画像９１６と対照して位置推定９２２を行う。

【0102】

上述のように、説明中の実施形態において、ＶＯパイプラインは融合せず、車両１０２の位置推定にパイプラインのうちのどれを使用すべきかに関して、単純なＯＲ演算による選定９２４を行う。よって、本方法は、２つのＶＯパイプラインのうちの一方を選定して、装置の位置推定を行う。

【0103】

図１０を用いて、いくつかの実施形態で使用される、位置推定処理を支援する別の方法を説明する。上述のように、カメラは、８０２において、図２に示されている画像２００といった画像系列を生成する。図２では、図の前面２００ａに示された画像はライブ画像（すなわち現在処理中の画像）と見なしてもよく、この画像よりも前に生成された画像（図２では後ろ側）は前の画像２００ｂと見なしてもよい。当業者であれば、ここでは画像は実際には、１対のカメラが使用されている説明中の実施形態と同様に、立体的な画像対に関わるものであってもよいことを理解されよう。

【0104】

説明中の実施形態において、ＶＯパイプラインは、少なくとも前の画像２００ｂに由来する情報を使用して、ライブ画像２００ａ内の位置推定処理８１０を制約する。他の実施形態では、前の画像を用いることに加えて、または用いる代わりに、前の画像よりも以前の画像を用いて、位置推定処理８１０を制約することもできる。

【0105】

位置推定システム９００では、カメラから出力された画像系列を用いて、車両１０２の軌跡を計算する。図１０内では、３つの点１０００ａ，ｂ，ｃが前の画像２００ｂ内部で強調されている。これら同じ３点は、ライブ画像２００ａ内では１００２ａ，ｂ，ｃにおいて強調されている。しかし、画像と比較して、点１００２は点１０００と比較する時に移動したことが分かる。この相対的な移動は、車両１０２の動きのためである。

【0106】

前の画像２００ｂと格納画像１００６（例えば記憶された光景または環境モデル）内に位置する点とに対して位置推定が行われた場合、格納画像内の点１０００ａ，ｂ，ｃの位置を車両１０２の軌跡とともに用いることによって、ライブ画像内部の点１００２ａ，ｂ，ｃの探索を制限することができる。

【0107】

この探索制限方法を使用する実施形態は、より効率的であるとともに、当てにならないマッチングを行う可能性を低減するので、有益である。図１０と関連して略述されたような方法は、パッチマッチングと称してもよい。

【0108】

一実施形態において、照明不変画像を用いたＶＯ軌跡推定は単色画像を用いたもの（別記にて説明）ほどは正確ではないので、単色画像からのＶＯ軌跡推定を用いて、照明不変の特徴空間での特徴予測を行う。すなわち、単色画像９２０からの一番最近のフレーム間ＶＯ軌跡推定を用いて、光不変ＶＯパイプライン９１８にどこを見るべきかを通知するのを支援することができる。

【0109】

図９に示されているものと類似する実施形態では、未変換画像ＶＯパイプラインを用いて、図１０と関連して上述したようなパッチマッチングと同様の方法で変換画像ＶＯパイプラインを制限する。つまり、未変換画像ＶＯパイプラインから得られた特徴予測を用いて、変換画像ＶＯパイプライン内において、変換画像ＶＯパイプラインの頑健性を高められる特徴が現れる場所を予測できる。図９のＶＯパイプラインの両方が変換画像（ＲＧＢから単色へ、及びＲＧＢから照明不変へ）に依存していることが理解されよう。

【0110】

図１１は、ある道路箇所に沿って走るテスト車両１０２が遭遇した極端な視覚的変化を強調した画像を示している。図１１内の画像の各々は、車両１０２の周囲の環境の同じ風景であるが、光の変化のせいで異なって見える。

【0111】

以下の説明で用語を明確にするために、不変画像を使用しない（ＲＧＢのみ、つまり未変換画像ＶＯパイプラインを使用する）システムがベースラインシステム、不変画像を使用する（つまり変換画像ＶＯパイプライン）のみを使用するシステムが不変システム、両方を併用するシステムが併用システムである。

【0112】

網羅的１個抜き検証法（ｅｘｈａｕｓｔｉｖｅ ｌｅａｖｅ−ｏｎｅ−ｏｕｔ ａｐｐｒｏａｃｈ）を用いて、１５個のデータセットを取り込んで処理する。これにより、各データセットはライブ画像ストリームとして取り込まれ、次に残りの１４個のデータセットを対象とする位置推定が行われる。

【0113】

その結果を表１に示す。ここでは、１５個のデータセットの各々をライブで実行するものとして用いた適用範囲の割合を提示している。この適用範囲の割合は、フレーム総数に対する位置推定が実行できたフレーム数で定義され、１４個のデータセットで比較した平均値である。全ケースで不変システムがベースラインシステムよりも改善しており、併用システムが常にベースラインシステムより性能が優れていることを意味する。ベースラインシステムは難しい採光条件であっても満足に機能することに注目されたい。しかし、ロボット工学の長期自律性（例えば自律型車両）という状況では、頑健性を高めることは有用であり、したがって信頼性のいかなる向上も有用である。

【0114】

表１：ベースラインシステムに対する本実施形態の併用システムで比較した適用範囲の結果。提供範囲は、取り込まれた総フレーム数の割合としての位置推定が実行できたフレーム数で定義されている。１個のテストデータセット当たり１４個のトレーニングデータセットの平均値である。

【0115】

【表1】

【0116】

図４は、３システム、つまり、ベースラインシステム、不変システム、及び併用システムの位置推定の実施状況を示したものである。グラフ４００は、説明中の実施形態の場合に走行した距離に対する、正常に実施できた位置推定を示している。線４０２は、画像を認識処理に使用するベースラインシステムが車両の位置特定に成功した領域を示している。この図は、１９０ｍから２７０ｍ付近に車両の位置が推定されなかった広い領域４０３が存在することを強調している。

【0117】

線４０４は、不変システム（すなわちＶＯパイプラインにおいて変換画像を使用する）が車両の位置特定に成功した領域を示している。照明不変画像認識処理は、位置推定せずに走行した距離をＲＧＢ画像認識処理よりも短くする結果になるが、位置推定が行われなかった領域（例えば４０５）がまだ存在することが分かる。

【0118】

線４０６は、未変換画像パイプラインと変換画像パイプラインを両方使用する併用システムをプロットしている。線４０６には隙間が全く含まれておらず、したがって併用システムは、ほぼ全点において車両１０２の位置を推定できたことが分かる。

【0119】

図５は、ベースラインシステム（５００）が１００ｍまでの間は計器走行する可能性は４０％に近いが、併用システム（５０２）を用いるとその可能性はちょうど５％であることを示している。これにより、併用システムを設けた実施形態は、図５に図示されているような困難な採光条件で車両１０２の位置を推定する頑健性や能力が向上するという点で有益である。

【0120】

上記で言及されている位置推定処理を、ここで図６を参照して詳細に説明する。
局所座標系フレームＲ６０２を有する既知の３Ｄ光景Ｓにおける位置Ａ６０４に車両１０２がある場合、各実施形態は、図６に図示されているように、位置Ａ６０４で取り込まれた１つの照明不変画像Ｉ_Ａのみを用いて変換Ｇ_ＡＲを探索する。既知の３Ｄ光景Ｓは調査車両によってサンプリングされた（つまり上述の表現によって与えられる）点群からなり、ここで各点

【0121】

【数8】

【0122】

は、表現が生成されたときの調査時にサンプリングされた、前の関連する照明不変特徴

【0123】

【数9】

【0124】

を有していると仮定される。
位置Ａ６０４から見た点ｑの見掛けＩ_Ａは、点ｑを以下のカメラ投影パラメータκを用いて画像平面ｘ上に再投影することによって見いだせる。

【0125】

【数10】

【0126】

変換Ｇ_ＡＲを再確認するには、位置Ａ６０４から見て、前の見掛けＩ_Ｓと見掛けＩ_Ａとの間で情報を整合させることが求められる。点のサブセットＳ_Ａの位置Ａ６０４からの視覚的な見掛けとその点の前の見掛けＩ_Ｓとの間の不一致を測定する目的関数（ｆ）は以下のように定義される。

【0127】

【数11】

【0128】

目的関数として、正規化情報距離（Ｎｏｒｍａｌｉｚｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｔａｎｃｅ：ＮＩＤ）が選定される。その理由は、局所的な照明の変化や排除に対して頑健な真の測定基準が得られるからである。

【0129】

２つの離散確率変数｛Ｘ，Ｙ｝が与えられれば、ＮＩＤは以下のように定義される。

【0130】

【数12】

【0131】

ここでＨ（Ｘ，Ｙ）は結合エントロピーを、Ｉ（Ｘ；Ｙ）は相互情報量を表す。
式１１から目的関数にＮＩＤを代入すると、以下の式が得られる。

【0132】

【数13】

【0133】

よって、位置推定問題は、以下のように式１１を最小化することであることが分かる。

【0134】

【数14】

【0135】

最初の推定値

【0136】

【数15】

【0137】

は、センサの前の位置に設定することも、または、車輪の符号器、ビジュアルオドメトリ、または他の情報源によって与えられる漸進的な動きの情報を組み込むこともできる。
一実施形態において、上記の式１２の最小化問題は、準ニュートンＢＦＧＳ法を用いて解決される。この方法は、Ｎ．Ｊｏｒｇｅ及びＪ．Ｗ．Ｓｔｅｐｈｅｎ「Ｎｕｍｅｒｉｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ」（シュプリンガー出版、米国、１９９９年）において説明されており、Ｂスプライン補間を用いて得られた、Ａ．Ｄ．Ｓｔｅｗａｒｔ及びＰ．Ｎｅｗｍａｎ「Ｌａｐｓ−ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ａｐｐｅａｒａｎｃｅ ｏｆ ｐｒｉｏｒ ｓｔｒｕｃｔｕｒｅ： ６−ｄｏｆ ｍｏｎｏｃｕｌａｒ ｃａｍｅｒａ ｌｏｃａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ｐｒｉｏｒ ｐｏｉｎｔｃｌｏｕｄｓ」Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ （ＩＣＲＡ），２０１２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ（ＩＥＥＥ，２０１２年、２６２５〜２６３２ページ）に提示された解析的微分を用いて、Ｃｅｒｅｓ（Ｓ．Ａｇａｒｗａｌ，Ｋ．Ｍｉｅｒｌｅ他「Ｃｅｒｅｓ ｓｏｌｖｅｒ」ｈｔｔｐｓ：／／ｃｏｄｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｐ／ｃｅｒｅｓ−ｓｏｌｖｅｒ／）において論じられている。あるセットアップにおいて、費用関数はＯｐｅｎＣＬ言語で構築され、Ｎｖｉｄｉａ社製ＧＴＸ Ｔｉｔａｎ ＧＰＵを用いて解き、要する時間は１評価あたり約８ミリ秒である。このような処理時間により、本明細書で説明されている実施形態をリアルタイムと見なしてもよい状況において利用することができる。ここでリアルタイムとは、車両が移動するときに、本明細書で説明されている実施形態によって提供される位置推定を用いて車両１０２の位置を確立することができるようなことを意味することを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】