特許 7224604 車両検査システムとその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-10

(45)【発行日】2023-02-20

(54)【発明の名称】車両検査システムとその方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230213BHJP

   G06T 17/20 20060101ALI20230213BHJP

   G06T 19/00 20110101ALI20230213BHJP

   B62D 65/00 20060101ALI20230213BHJP

【ＦＩ】

G06T7/00 610Z

G06T17/20

G06T19/00 A

B62D65/00 Z

【請求項の数】 27

(21)【出願番号】P 2021501140

(86)(22)【出願日】2019-03-26

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 IL2019050342

(87)【国際公開番号】W WO2019186545

(87)【国際公開日】2019-10-03

【審査請求日】2022-03-23

(31)【優先権主張番号】62/649,594

(32)【優先日】2018-03-29

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520375077

【氏名又は名称】ユーヴイアイ リミテッド

【氏名又は名称原語表記】ＵＶｅｙｅ Ｌｔｄ．

(74)【代理人】

【識別番号】110001302

【氏名又は名称】特許業務法人北青山インターナショナル

(72)【発明者】

【氏名】ヘバー，アミー

(72)【発明者】

【氏名】パラヴィ，デヴィー

(72)【発明者】

【氏名】グリンシュポウン，イリヤ

(72)【発明者】

【氏名】ヘバー，オハド

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２００８－２９２３６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００３１３６４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｔ １７／２０

Ｇ０６Ｔ １９／００

Ｂ６２Ｄ ６５／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに実装された車両検査の方法において、
コンピュータのプロセッサおよびメモリ回路（ＰＭＣ）により実行される以下のステップであって：
複数の撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像の複数のセットを取得するステップであって、前記複数の撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されており、前記複数の画像の複数のセットは、車両と複数の撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）複数の画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）前記複数の画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも複数の画像の２つのセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっており、前記少なくとも２つの画像のセット内にキャプチャされた所与の表面点は、前記２つの時点における前記所与の表面点と前記複数の撮像装置のセットとの間の異なる相対位置に係る異なる照明条件の下でキャプチャされたものである、ステップと；
所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした複数の画像のセットを使用して３Ｄパッチを生成するステップであって、当該３Ｄパッチは、対応する区画内の対応する表面点を表す３Ｄ点の点群を含み、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成する、ステップと；
前記複数の時点における複数の撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定するステップと；
推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせを行い、それにより車両の複合３Ｄ点群を生成するステップとを含み、前記複合３Ｄ点群は、前記複数の画像の複数のセットの少なくとも一部に含まれる光反射がそこから除去された車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用可能であり、前記３Ｄメッシュおよび／または３Ｄモデルは車両検査に使用可能であり、
前記推定するステップが、
前記複数の画像の複数のセットのそれぞれから車両を特徴付ける特徴を抽出するステップと；
２つの対応する時点において重なり合いキャプチャされた複数の画像の２つのセットの各選択されたペア間の局所３Ｄ変換を推定するステップであって、
前記複数の画像の２つのセットの各セット内の異なる画像から、且つ前記２つのセットからの対応する画像間で抽出された特徴間の特徴マッチングを実行し、マッチした特徴のそれぞれのセットを取得するステップと；
マッチした特徴のそれぞれのセットの中から相互特徴を選択するステップと；
複数の画像の各セット内の相互特徴を三角測量し、前記複数の画像の２つのセット内の相互特徴を表す３Ｄ特徴セットのペアを生成するステップと；
前記３Ｄ特徴セットのペア間の動きを追跡することにより、前記複数の画像の２つのセット間の局所３Ｄ変換を推定するステップとを含む、ステップと、
前記複数の時点の間に前記局所３Ｄ変換を３Ｄ変換に集約するステップとを含む、方法。

【請求項2】

請求項１のコンピュータに実装された方法において、前記ｉ）で、それぞれの時点において、それぞれの区画の各表面点は、前記複数の撮像装置のセットのうちの少なくとも２つの撮像装置によってキャプチャされる、方法。

【請求項3】

請求項１のコンピュータに実装された方法において、前記生成するステップは、
複数の画像のセットの各画像から車両を特徴付ける特徴を抽出するステップと；
セット内の異なる画像から抽出された特徴間で特徴マッチングを実行して、マッチした特徴を取得するステップと；
前記マッチした特徴を三角測量して、前記マッチした特徴を表す３Ｄ点を取得するステップとを含み、これらの３Ｄ点が３Ｄパッチを構成する、方法。

【請求項4】

請求項３のコンピュータに実装された方法において、さらに、前記所定の領域の境界、深さ平滑化アルゴリズム、連結成分分析、および前景・背景分類、のフィルタリングメカニズムの１つまたは複数に基づいて、前記３Ｄパッチから外れ値をフィルタリングするステップを含む、方法。

【請求項5】

請求項１のコンピュータに実装された方法において、前記複合３Ｄ点群に基づいて車両の表面を表す３Ｄメッシュを生成するステップをさらに含み、前記３Ｄメッシュは、前記複合３Ｄ点群内の隣接する点の各グループに対して局所表面をフィッティングすることによって生成される、方法。

【請求項6】

請求項５のコンピュータに実装された方法において、
表面関数を使用して前記複合３Ｄ点群をフィルタリングするステップをさらに含み、ここで前記３Ｄメッシュは、フィルタリングされた複合３Ｄ点群に基づいて生成される、方法。

【請求項7】

請求項５のコンピュータに実装された方法において、さらに、
前記３Ｄ変換に基づいて複数の時点での複数の撮像装置のセットの仮想位置を推定するステップであって、前記仮想位置は、前記複数の時点での相対移動に従って前記撮像装置の調整された位置を表す、ステップと；
車両の色情報を前記３Ｄメッシュに投影するステップであって、前記色情報は、複数の画像の複数のセットおよび前記複数の撮像装置のセットの仮想位置に基づいて決定され、車両の３Ｄモデルを生成する、ステップとを含む、方法。

【請求項8】

請求項７のコンピュータに実装された方法において、さらに、前記車両の３Ｄモデルを使用して車両の１つまたは複数の仮想ビューをレンダリングするステップを含み、前記３Ｄメッシュおよび／または３Ｄモデルおよび／または１つまたは複数の仮想ビューは、前記車両の表面上の異常を同定するのに利用可能である、方法。

【請求項9】

コンピュータに実装された車両検査システムにおいて、当該システムのプロセッサおよびメモリ回路（ＰＭＣ）は、
複数の撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像の複数のセットを取得し、ここで前記複数の撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されており、前記複数の画像の複数のセットは、車両と複数の撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）複数の画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）前記複数の画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも複数の画像の２つのセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっており、前記複数の画像の少なくとも２つのセット内にキャプチャされた所与の表面点は、前記２つの時点における前記所与の表面点と前記複数の撮像装置のセットとの間の異なる相対位置に係る異なる照明条件下でキャプチャされたものであり；
所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした複数の画像のセットを使用して３Ｄパッチを生成し、当該３Ｄパッチは対応する区画内の対応する表面点を表す３Ｄ点の点群を含み、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成し；
前記複数の時点における複数の撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定し；
推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせを行い、それにより車両の複合３Ｄ点群を生成し、前記複合３Ｄ点群は、前記複数の画像の複数のセットの少なくとも一部に含まれる光反射がそこから除去された車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用可能であり、前記３Ｄメッシュおよび／または３Ｄモデルは車両検査に使用可能である、ように構成されており、
前記ＰＭＣは、
前記複数の画像の複数のセットのそれぞれから車両を特徴付ける特徴を抽出し；
２つの対応する時点において重なり合いキャプチャされた複数の画像の２つのセットの各選択されたペア間の局所３Ｄ変換を推定することであって、
前記複数の画像の２つのセットの各セット内の異なる画像から、且つ前記２つのセットからの対応する画像間で抽出された特徴間の特徴マッチングを実行し、マッチした特徴のそれぞれのセットを取得し；
マッチした特徴のそれぞれのセットの中から相互特徴を選択し；
複数の画像の各セット内の相互特徴を三角測量し、前記複数の画像の２つのセット内の相互特徴を表す３Ｄ特徴セットのペアを生成し；
前記３Ｄ特徴セットのペア間の動きを追跡することにより、前記複数の画像の２つのセット間の局所３Ｄ変換を推定することで、局所３Ｄ変換を推定し、
前記複数の時点の間に前記局所３Ｄ変換を３Ｄ変換に集約することにより、前記３Ｄ変換を推定するように構成されている、システム。

【請求項10】

請求項９のコンピュータに実装された車両検査システムにおいて、前記ｉ）で、それぞれの時点において、それぞれの区画の各表面点は、前記複数の撮像装置のセットのうちの少なくとも２つの撮像装置によってキャプチャされる、システム。

【請求項11】

請求項９のコンピュータに実装された車両検査システムにおいて、前記ＰＭＣは、
複数の画像のセットの各画像から車両を特徴付ける特徴を抽出するステップと；
セット内の異なる画像から抽出された特徴間で特徴マッチングを実行して、マッチした特徴を取得するステップと；
前記マッチした特徴を三角測量して、前記マッチした特徴を表す３Ｄ点を取得するステップとによって３Ｄパッチを生成し、前記３Ｄ点が３Ｄパッチを構成する、システム。

【請求項12】

請求項１１のコンピュータに実装された車両検査システムにおいて、前記ＰＭＣがさらに、前記所定の領域の境界、深さ平滑化アルゴリズム、連結成分分析、および前景・背景分類、のフィルタリングメカニズムの１つまたは複数に基づいて、前記３Ｄパッチから外れ値をフィルタリングするように構成されている、システム。

【請求項13】

請求項９のコンピュータに実装された車両検査システムにおいて、前記ＰＭＣがさらに、前記複合３Ｄ点群に基づいて車両の表面を表す３Ｄメッシュを生成するように構成されており、前記３Ｄメッシュは、前記複合３Ｄ点群内の隣接する点の各グループに対して局所表面をフィッティングすることによって生成される、システム。

【請求項14】

請求項１３のコンピュータに実装された車両検査システムにおいて、前記ＰＭＣはさらに、表面関数を使用して前記複合３Ｄ点群をフィルタリングするように構成されており、ここで前記３Ｄメッシュは、フィルタリングされた複合３Ｄ点群に基づいて生成される、システム。

【請求項15】

請求項１３のコンピュータに実装された車両検査システムにおいて、前記ＰＭＣがさらに、
前記３Ｄ変換に基づいて複数の時点での複数の撮像装置のセットの仮想位置を推定し、前記仮想位置は、前記複数の時点での相対移動に従って前記撮像装置の調整された位置を表し；
車両の色情報を前記３Ｄメッシュに投影し、前記色情報は、複数の画像の複数のセットおよび前記複数の撮像装置のセットの仮想位置に基づいて決定され、車両の３Ｄモデルを生成する、ように構成されている、システム。

【請求項16】

請求項１５のコンピュータに実装された車両検査システムにおいて、前記ＰＭＣがさらに、前記車両の３Ｄモデルを使用して車両の１つまたは複数の仮想ビューをレンダリングするように構成されており、前記３Ｄメッシュおよび／または３Ｄモデルおよび／または１つまたは複数の仮想ビューは、前記車両の表面上の異常を同定するのに利用可能である、システム。

【請求項17】

請求項９のコンピュータに実装された車両検査システムにおいて、検査通路の少なくとも片側に配置された少なくとも１つのポールを含む支持構造に取り付けられた複数の撮像装置のセットをさらに具える、システム。

【請求項18】

請求項１７のコンピュータに実装された車両検査システムにおいて、さらに、前記支持構造を具え、前記複数の撮像装置のセットは、異なる高さで前記支持構造に取り付けられ、それぞれの時点で、それぞれの区画の各表面点が、前記複数の撮像装置のセットのうちの少なくとも２つの撮像装置によってキャプチャされるように配向されている、システム。

【請求項19】

請求項１８のコンピュータに実装された車両検査システムにおいて、２つの隣接する撮像装置と車両の間の角度は６０度未満である、システム。

【請求項20】

請求項９のコンピュータに実装された車両検査システムにおいて、前記所定の領域は、車両の寸法に従って決定される、システム。

【請求項21】

請求項９のコンピュータに実装された車両検査システムにおいて、前記セット内の撮像装置の数は、所定の精度要件に従って決定される、システム。

【請求項22】

請求項９のコンピュータに実装された車両検査システムにおいて、複数の撮像装置の複数のセットが支持構造に取り付けられており、各セットはそれぞれの方向を向き、前記複数の撮像装置のセットの数および／または各セット内の撮像装置の数は、所定の精度要件に従って決定される、システム。

【請求項23】

請求項９のコンピュータに実装された車両検査システムにおいて、さらに、前記検査通路の地下に埋め込まれ、車両が通過するときに車両の足回りの１つまたは複数の画像をキャプチャするように構成された足回り検査ユニットをさらに具える、システム。

【請求項24】

請求項９のコンピュータに実装された車両検査システムにおいて、さらに、前記所定の領域をカバーする照明を提供するために、前記検査通路の少なくとも片側に配置された１つまたは複数の照明ユニットを具える、システム。

【請求項25】

請求項１７のコンピュータに実装された車両検査システムにおいて、前記車両は移動する車両であり、前記支持構造は地面に取り付けられ、前記車両が前記支持構造に対して検査通路上を移動する、システム。

【請求項26】

請求項１７のコンピュータに実装された車両検査システムにおいて、前記車両は静止した車両であり、前記支持構造は、車両に対して移動するように可動プラットフォームに取り付けられる、システム。

【請求項27】

コンピュータに実行されたときに、車両検査方法を前記コンピュータに実行させる命令を含む非一時的なコンピュータ可読記憶媒体であって、この方法が、
複数の撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像の複数のセットを取得するステップであって、前記複数の撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されており、前記複数の画像の複数のセットは、車両と複数の撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）複数の画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）前記複数の画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも複数の画像の２つのセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっており、前記少なくとも２つの画像のセット内にキャプチャされた所与の表面点は、前記２つの時点における前記所与の表面点と前記複数の撮像装置のセットとの間の異なる相対位置に係る異なる照明条件の下でキャプチャされたものである、ステップと；
所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした複数の画像のセットを使用して３Ｄパッチを生成するステップであって、当該３Ｄパッチは、対応する区画内の対応する表面点を表す３Ｄ点の点群を含み、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成する、ステップと；
前記複数の時点における複数の撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定するステップと；
推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせを行い、それにより車両の複合３Ｄ点群を生成するステップとを含み、前記複合３Ｄ点群は、前記複数の画像の複数のセットの少なくとも一部に含まれる光反射がそこから除去された車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用可能であり、前記３Ｄメッシュおよび／または３Ｄモデルは車両検査に使用可能であり、
前記推定するステップが、
前記複数の画像の複数のセットのそれぞれから車両を特徴付ける特徴を抽出するステップと；
２つの対応する時点において重なり合いキャプチャされた複数の画像の２つのセットの各選択されたペア間の局所３Ｄ変換を推定するステップであって、
前記複数の画像の２つのセットの各セット内の異なる画像から、且つ前記２つのセットからの対応する画像間で抽出された特徴間の特徴マッチングを実行し、マッチした特徴のそれぞれのセットを取得するステップと；
マッチした特徴のそれぞれのセットの中から相互特徴を選択するステップと；
複数の画像の各セット内の相互特徴を三角測量し、前記複数の画像の２つのセット内の相互特徴を表す３Ｄ特徴セットのペアを生成するステップと；
前記３Ｄ特徴セットのペア間の動きを追跡することにより、前記複数の画像の２つのセット間の局所３Ｄ変換を推定するステップとを含む、ステップと、
前記複数の時点の間に前記局所３Ｄ変換を３Ｄ変換に集約するステップとを含む方法である、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［００１］ここに開示する主題は、一般に、車両検査の分野に関連するものである。

【背景技術】

【0002】

［００２］現在、車両とその部品の摩耗や損傷の検査は、通常、検査ステーションで手動で実行される。これは、費用と時間がかかるだけでなく、検査エラーや、検査を実行する特定の担当者によって変動が生じ易い。

【0003】

［００３］車両検査の特定の態様は、コンピュータ技術の開発により部分的に自動化されている。しかし、現在の検査システムは、ほとんどの場合、車両について取得された画像を直接処理するものであり、取得された画像とそれに適用される画像処理技術の制限により、部分的で、場合によっては不正確な検査結果しか提供することができない。したがって、車両の状態に関するより完全で正確な情報を提供できる高度な車両検査システムが依然として必要とされている。

【発明の概要】

【0004】

［００４］ここに開示する主題の特定の態様によれば、車両検査のコンピュータ化された方法が提供され、この方法は、撮像装置のセットから、車両の表面の複数の区画をキャプチャした画像の複数のセットを取得するステップであって、前記撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されており、前記複数の画像のセットは、車両と撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）前記画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも２つの画像のセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっており、前記少なくとも２つのセットの画像内にキャプチャされた所与の表面点は、前記２つの時点における前記所与の表面点と前記撮像装置のセットとの間の異なる相対位置に係る異なる照明条件の下でキャプチャされたようである、ステップと；所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした画像のセットを使用して３Ｄパッチを生成するステップであって、当該３Ｄパッチは、対応する区画内の対応する表面点を表す３Ｄ点の点群を含み、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成する、ステップと；前記複数の時点における撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定するステップと；推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせ（register）を行い、それにより車両の複合３Ｄ点群を生成するステップとを含み、前記複合３Ｄ点群は、前記複数の画像のセットの少なくとも一部に含まれる光反射がそこから除去された車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用可能であり、前記３Ｄメッシュおよび／または３Ｄモデルは車両検査に使用可能である。

【0005】

［００５］上記の特徴に加えて、本開示の主題のこの態様による方法は、技術的に可能である任意の所望の組み合わせまたは順列で、以下に列挙される特徴（ｉ）～（ｉｘ）のうちの１つまたは複数を含むことができる：
（ｉ）それぞれの時点において、それぞれの区画の各表面点は、前記撮像装置のセットのうちの少なくとも２つの撮像装置によってキャプチャされ得る。
（ｉｉ）前記生成するステップは、画像のセットの各画像から車両を特徴付ける特徴を抽出するステップと；
（ｉｉｉ）セット内の異なる画像から抽出された特徴間で特徴相関マッチングを実行して、マッチした特徴を取得するステップと；マッチした特徴を三角測量して、マッチした特徴を表す３Ｄ点を取得するステップとを含み、これらの３Ｄ点が３Ｄパッチを構成する、ステップを含む。
（ｉｖ）この方法はさらに、前記所定の領域の境界、深さ平滑化アルゴリズム、連結成分分析、および前景・背景分類、のフィルタリングメカニズムの１つまたは複数に基づいて、前記３Ｄパッチから外れ値をフィルタリングするステップを含む。
（ｖ）前記推定するステップは、前記複数の画像のセットのそれぞれから車両を特徴付ける特徴を抽出するステップと；２つの対応する時点における重なり合いキャプチャされた重複部分をカバーする２つの画像のセットの各選択されたペア間の局所３Ｄ変換を推定するステップであって、この推定は、抽出された特徴から選択された相互特徴の追跡に基づいて実行される、局所３Ｄ変換を推定するステップと；前記複数の時点の間に前記局所３Ｄ変換を３Ｄ変換に集約するステップとを含み得る。
（ｖｉ）前記局所３Ｄ変換を推定するステップは、２つの対応する時点において重複しキャプチャされた重複部分をカバーする２つの画像のセットの選択されたペアごとに：前記２つセットのうちの各セット内の異なる画像から、且つ前記２つのセットからの対応する画像間で抽出された特徴間の特徴相関マッチングを実行し、マッチした特徴のそれぞれのセットを取得するステップと；マッチした特徴のそれぞれのセットの中から相互特徴を選択するステップと；画像の各セット内の相互特徴を三角測量し、前記２つのセットの画像内の相互特徴を表す３Ｄ特徴セットのペアを生成するステップと；前記３Ｄ特徴セットのペア間の動きを追跡することにより、前記２つのセットの画像間の局所３Ｄ変換を推定するステップとを含み得る。
（ｖｉｉ）。この方法は、前記複合３Ｄ点群に基づいて車両の表面を表す３Ｄメッシュを生成するステップをさらに含み、前記３Ｄメッシュは、前記複合３Ｄ点群内の隣接する点の各グループに対して局所表面をフィッティングすることによって生成される。
（ｖｉｉｉ）この方法は、表面関数を使用して前記複合３Ｄ点群をフィルタリングするステップをさらに含み、ここで前記３Ｄメッシュは、フィルタリングされた複合３Ｄ点群に基づいて生成される。
（ｉｘ）この方法はさらに、前記３Ｄ変換に基づいて複数の時点での撮像装置のセットの仮想位置を推定するステップであって、前記仮想位置は、前記複数の時点での相対移動に従って前記撮像装置の調整された位置を表す、ステップと；車両の色情報を前記３Ｄメッシュ上に投影するステップであって、前記色情報は、複数の画像のセットおよび撮像装置のセットの仮想位置に基づいて決定され、車両の３Ｄモデルを生じさせる、ステップとを含み得る。
（ｘ）この方法はさらに、車両の３Ｄモデルを使用して車両の１つまたは複数の仮想ビューをレンダリングするステップを含むことができ、ここで、３Ｄメッシュおよび／または３Ｄモデルおよび／または１つまたは複数の仮想ビューを、車両の表面上の異常を識別するのに利用可能である。

【0006】

［００６］ここに開示された主題の他の態様によれば、コンピュータ化された車両検査システムが提供され、このシステムのプロセッサおよびメモリ回路（ＰＭＣ）は、撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像のセットを取得し、ここで前記撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されており、前記複数の画像セットは、車両と撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）前記画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも２つの画像のセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっており、前記少なくとも２つのセットの画像内にキャプチャされた所与の表面点は、前記２つの時点における前記所与の表面点と前記撮像装置のセットとの間の異なる相対位置に係る異なる照明条件下でキャプチャされたようであり、所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした画像のセットを使用して３Ｄパッチを生成し、当該３Ｄパッチは対応する区画内の対応する表面点を表す３Ｄ点の点群を含み、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成し；前記複数の時点における撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定し；推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせを行い、それにより車両の複合３Ｄ点群を生じさせ、前記複合３Ｄ点群は、前記複数の画像のセットの少なくとも一部に含まれる光反射がそこから削除された車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用可能であり、前記３Ｄメッシュおよび／または３Ｄモデルは車両検査に使用可能である。

【0007】

［００７］開示される主題のこの態様は、技術的に可能な任意の所望の組み合わせまたは順列で、必要な変更を加えて、方法に関して上記列挙された特徴（ｉ）から（ｉｘ）のうちの１つ以上を含み得る。

【0008】

［００８］追加的または代替的に、この態様は、技術的に可能である任意の所望の組み合わせまたは順列で、以下に列挙される特徴（ｘ）から（ｘｉｘ）のうちの１つまたは複数を含むことができる：
（ｘｉ）前記システムは、検査通路の少なくとも片側に配置された少なくとも１つのポールを含む支持構造に取り付けられた撮像装置のセットをさらに具え得る。
（ｘｉｉ）前記システムはさらに、支持構造を具え得る。撮像装置のセットは、異なる高さで支持構造に取り付けることができ、それぞれの時点で、それぞれの区画の各表面点が、前記撮像装置のセットのうちの少なくとも２つの撮像装置によってキャプチャされ得るように配向することができる。
（ｘｉｉｉ）２つの隣接する撮像装置と車両の間の角度は６０度未満にすることができる。
（ｘｉｖ）前記所定の領域は、車両の寸法に従って決定することができる。
（ｘｖ）セット内の撮像装置の数は、所定の精度要件に従って決定することができる。
（ｘｖｉ）複数の撮像装置のセットを前記支持構造に取り付けることができ、各セットはそれぞれの方向を向き、前記撮像装置のセットの数および／または各セット内の撮像装置の数は、所定の精度要件に従って決定することができる。
（ｘｖｉｉ）前記システムはさらに、前記検査通路の地下に埋め込まれ、車両が通過するときに車両の足回りの１つまたは複数の画像をキャプチャするように構成された足回り検査ユニットをさらに具え得る。
（ｘｖｉｉｉ）前記システムはさらに、前記所定の領域をカバーする照明を提供するために、検査通路の少なくとも片側に配置された１つまたは複数の照明ユニットをさらに具え得る。
（ｘｉｘ）前記車両は移動車両であり、前記支持構造は、車両が支持構造に対して検査通路上を移動するように地面に取り付けることができる。
（ｘｘ）前記車両は静止車両であり、前記支持構造は、車両に対して移動するように可動プラットフォームに取り付けることができる。

【0009】

［００９］ここに開示された主題の他の態様によれば、コンピュータによって実行されると、当該コンピュータに車両検査方法を実行させる命令のプログラムを担持する非一時的コンピュータ可読記憶媒体が提供され、前記方法は、撮像装置のセットから、車両の表面の複数の区画をキャプチャした画像の複数のセットを取得するステップであって、前記撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されており、前記複数の画像のセットは、車両と撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）前記画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも２つの画像のセットの中に少なくとも２つの時点でキャプチャされるように部分的に重複しており、前記少なくとも２つのセットの画像内にキャプチャされた所与の表面点は、前記２つの時点における前記所与の表面点と前記撮像装置のセットとの間の異なる相対位置に係る異なる照明条件の下でキャプチャされたようである、ステップと；所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした画像のセットを使用して３Ｄパッチを生成するステップであって、当該３Ｄパッチは、対応する区画内の対応する表面点を表す３Ｄ点の点群を含み、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成する、ステップと；前記複数の時点における撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定するステップと；推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせを行い、それにより車両の複合３Ｄ点群を生じさせるステップとを含み、前記複合３Ｄ点群は、前記複数の画像のセットの少なくとも一部に含まれる光反射がそこから削除された車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用可能であり、前記３Ｄメッシュおよび／または３Ｄモデルは車両検査に使用可能である。

【0010】

［００１０］開示される主題のこの態様は、技術的に可能である任意の所望の組み合わせまたは順列において、必要な変更を加えて、方法に関して上記列挙された特徴（ｉ）から（ｉｘ）のうちの１つ以上を含み得る。

【図面の簡単な説明】

【0011】

［００１１］本発明を理解し、実際にどのように実行され得るかを見るために、添付の図面を参照しながら、複数の実施形態を非限定的な例としてのみ説明する。

【図1A】［００１２］図１Ａは、ここに開示された主題の特定の実施形態による、車両検査システムの機能ブロック図を概略的に示す。

【図1B】［００１３］図１Ｂは、ここに開示された主題の特定の実施形態による、３Ｄ車両モデル再構成および車両検査が可能なコンピュータ化されたシステムのブロック図を概略的に示す。

【図2】［００１４］図２Ａおよび２Ｂは、ここに開示された主題の特定の実施形態による、撮像装置構成の異なる斜視図の一例を示す。

【図3】［００１５］図３は、ここに開示された主題の特定の実施形態による、例示的な照明装置構成の上面図を示す。

【図4】［００１６］図４は、ここに開示された主題の特定の実施形態による、３Ｄ境界ボックスの３Ｄ表現および３Ｄ仮想座標における撮像装置の表現を示す。

【図5】［００１７］図５は、ここに開示された主題の特定の実施形態による、システムの較正設定段階を概略的に示す。

【図6】［００１８］図６は、ここに開示された主題の特定の実施形態による、３Ｄ車両モデル再構築および車両検査の一般化されたフローチャートを概略的に示す。

【図7】［００１９］図７は、ここに開示された主題の特定の実施形態による、図６に対応する３Ｄ車両モデル再構築および車両検査システムの詳細な処理段階の例示的な図を概略的に示す。

【図8】［００２０］図８Ａ～Ｅは、ここに開示された主題の特定の実施形態による、反射除去の例を示す。

【図9】［００２１］図９Ａ～Ｄは、ここに開示された主題の特定の実施形態による、時間領域における点群の３Ｄパッチの追跡および見当合わせの例を示す。

【図10】［００２２］図１０は、ここに開示された主題の特定の実施形態による、各タイムスタンプにおける追跡されたカメラの表現を備えた車両について生成された３Ｄメッシュを示す。

【図11A】［００２３］図１１Ａは、ここに開示された主題の特定の実施形態による、仮想３Ｄ座標系における境界ボックスおよびカメラに関連する再構成された３Ｄパッチの例を示す。

【図11B】［００２４］図１１Ｂは、ここに開示された主題の特定の実施形態による、メッシュ化および着色された３Ｄパッチを示す。

【図12】［００２５］図１２は、ここに開示された主題の特定の実施形態による、仮想ビューから生成された合成車両画像の５つの異なる例を示す。

【発明を実施するための形態】

【0012】

［００２６］以下の詳細な説明では、本発明の完全な理解を提供するために、多くの特定の詳細が示されている。しかしながら、ここに開示された主題は、これらの特定の詳細なしで実施され得ることが当業者によって理解されるであろう。他の例では、ここに開示された主題を曖昧にしないように、周知の方法、手順、構成要素、および回路は詳細に説明されていない。

【0013】

［００２７］特に明記しない限り、以下の記載から明らかなように、明細書の記載を通して、「取得する」、「キャプチャする」、「生成する」、「推定する」、「見当合わせを行う」、「抽出する」、「実行する」、「三角測量する」、「フィルタリング」、「集約する」、「検査する」、「選択する」、「投影する」、「フィッティング」、「レンダリング」、「識別する」、「使用する」などは、データを操作および／または他のデータに変換するコンピュータの動作および／またはプロセスをいい、これらのデータは電子、量などの物理的に表され、および／またはこれらのデータは物理的オブジェクトを表す。「コンピュータ」という用語は、非限定的な例として、本出願で開示される車両検査システムおよびその部品を含む、データ処理機能を備えたあらゆる種類のハードウェアベースの電子デバイスを包含すると広範に解釈されるべきである。

【0014】

［００２８］本明細書の教示による動作は、所望の目的のために特別に構築されたコンピュータによって、または非一時的なコンピュータ可読記憶媒体に記憶されたコンピュータプログラムによって所望の目的のために特別に構成された汎用コンピュータによって実行され得る。

【0015】

［００２９］本明細書で使用される「非一時的メモリ」、「非一時的記憶媒体」および「非一時的コンピュータ可読記憶媒体」という用語は、ここに開示された主題に適した揮発性または不揮発性コンピュータメモリをカバーするように広範に解釈されるべきである。

【0016】

［００３０］ここに開示された主題の実施形態は、特定のプログラミング言語を参照して説明されていない。本明細書に記載されるように、ここに開示された主題の教示を実施するために、様々なプログラミング言語を使用できることが理解されよう。

【0017】

［００３１］本明細書で使用される場合、「例えば」、「～といった」、「など」という語句およびその変形は、ここに開示された主題の非限定的な実施形態を説明する。本明細書における「１つの場合」、「いくつかの場合」、「他の場合」またはそれらの変形への言及は、実施形態に関連して説明される特定の構成、構造または特徴が、ここに開示された主題の少なくとも１つの実施形態に含まれることを意味する。したがって、「１つの場合」、「いくつかの場合」、「他の場合」またはそれらの変形という語句の出現は、必ずしも同じ実施形態を指すとは限らない。

【0018】

［００３２］特に明記しない限り、別個の実施形態の文脈で説明される、開示の主題の特定の特徴は、単一の実施形態で組み合わせて提供されてもよいことが理解されよう。逆に、単一の実施形態の文脈で説明される、開示の主題の様々な特徴は、別個に、または任意の適切なサブコンビネーションで提供することもできる。以下の詳細な説明では、方法および装置の完全な理解を提供するために、多くの特定の詳細が示されている。

【0019】

［００３３］本開示の主題の実施形態では、図示される１つまたは複数の段階は、異なる順序で実行されてもよく、および／または段階の１つ以上のグループが同時に実行されてもよく、逆もまた同様である。

【0020】

［００３４］これを念頭に置いて、図１Ａをみると、ここに開示された主題の特定の実施形態による車両検査システムの機能ブロック図を概略的に示す。

【0021】

［００３５］図１Ａに示すシステム１００は、車両を自動的に検査するためのコンピュータベースの車両検査システムである。このシステム１００は、３Ｄ車両モデル再構成および車両検査のためのコンピュータ化されたシステム１０１と、画像取得装置１３０（本明細書では撮像装置とも呼ばれる）のセットとを具える。システム１０１は、撮像装置１３０のセットから、車両の表面の複数の区画をキャプチャ／取得した複数の画像のセットを取得するように構成することができる。撮像装置１３０のセットは、システム１０１に機能的に接続することができ、キャプチャされた画像は、有線または無線通信を介してシステム１０１に送信することができる。

【0022】

［００３６］本明細書で使用される画像取得デバイスは、特定の解像度および周波数で車両画像をキャプチャするために使用できる画像取得機能を具えた任意の種類の画像デバイスまたは汎用デバイスをいい、例えば、画像および／またはビデオ録画機能を具えたデジタルカメラである。撮像装置１３０のセットは、車両１３４の少なくとも片側（例えば、車両１３４が通過する検査通路／レーンの少なくとも片側）に配置された（取り付けられた、または他の方法で配置された）複数のカメラ装置を含むことができ、車両の表面の複数の区画をキャプチャするように構成される。いくつかの実施形態では、車両の両側の画像を同時に取得して処理できるように、車両の両側にカメラ装置が配置される。場合によっては、車両１３４は、そのような撮像装置を具えた検査通路を通過する移動車両であり得る。他のいくつかの場合において、車両１３４は、撮像装置のセットが車両に対して移動するように可動プラットフォーム上に取り付けられている静止車両であり得る。

【0023】

［００３７］本開示は、撮像装置および／または撮影される画像の特定の数、タイプ、適用範囲、および視点によっても、撮像装置による画像の特定の生成方法によっても制限されないことを理解されたい。

【0024】

［００３８］いくつかの実施形態では、システム１００はまた、支持構造１３２を具えることができる。支持構造１３２は、検査通路の少なくとも片側に配置された少なくとも１つのポールを具え得る。図１Ａは、それぞれが検査通路の片側に配置された２本のポールを含む例示的な支持構造を示している。各ポールは、それに取り付け可能な撮像装置のセットを有する。これらの撮像装置は、図２Ａ、２Ｂおよび４を参照してさらに詳細に説明するように、車両に対して適切な高さおよび／または角度で取り付けられて、所定の領域（すなわち、車両モデル再構成のための作業領域）に対応する視野（ＦＯＶ）をカバーする画像をキャプチャすることができる。

【0025】

［００３９］撮像装置のセットによって取得される複数の画像のセットは、車両と撮像装置のセットとの間の相対移動中の複数の時点で以下のように取得される：ｉ）画像の各セットは、それぞれの時点で所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも２つの画像のセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっている。少なくとも２セットの画像内にキャプチャされた所与の表面点は、２つの時点における所与の表面点と撮像装置のセットとの間の異なる相対位置に係る異なる照明条件下でキャプチャされたかのようである。撮像装置の配置の詳細は、図２Ａおよび２Ｂを参照して以下に説明する。

【0026】

［００４０］いくつかの実施形態では、撮像装置に近接して配置され、画像を高解像度および高品質でキャプチャできるように撮像装置のＦＯＶをカバーする照明を提供する１つまたは複数の照明装置１３６を提供することができる。一例として、図３を参照してさらに詳細に後述されるように、照明装置１３６は、通路の側部、例えばポールの横に配置されて、画像取得のための周辺照明を提供することができる。任意選択で、画像取得および／または照明は、車両の存在／接近を検出可能な外部感知デバイス（例えば、道路ループ、ＩＲビーム、ＶＭＤなど）によってトリガすることができる。

【0027】

［００４１］撮像装置１３０（および存在する場合は照明装置）は、システム１０１によって制御することができる。システム１０１は、撮像装置のセット（および存在する場合は照明装置）に機能的に接続され、装置の制御（例えば、画像取得および照明操作の同期化）、セットアップ段階でのシステムの較正、および取得した車両の画像を処理して、実行時に３Ｄ車両モデルの生成に用いられる。

【0028】

［００４２］図１Ｂを参照すると、ここに開示された主題の特定の実施形態による、３Ｄ車両モデルの再構築および車両検査が可能なコンピュータ化されたシステムのブロック図が概略的に示されている。

【0029】

［００４３］システム１０１は、ハードウェアベースのＩ／Ｏインターフェース１２６および記憶ユニット１２２に機能的に接続された処理およびメモリ回路（ＰＭＣ）１０２を具え得る。ＰＭＣ１０２は、オペレーティングシステム１０１に必要なすべての処理を提供するように構成され、これは図６～７を参照してさらに詳細に説明される。ＰＭＣ１０２は、プロセッサ（別個に図示せず）およびメモリ（別個に図示せず）を具える。ＰＭＣ１０２のプロセッサは、ＰＭＣに含まれる非一時的なコンピュータ可読メモリに実装されたコンピュータ可読命令に従って、いくつかの機能モジュールを実行するように構成することができる。このような機能モジュールは、以下、ＰＭＣに含まれるものとする。本明細書で言及されるプロセッサという用語は、データ処理機能を具えた任意の処理回路をカバーするように広範に解釈されるべきであり、本開示は、そのタイプまたはプラットフォーム、または含まれる処理コアの数に限定はないことに留意されたい。場合により、システム１０１は、１つまたは複数の外部データリポジトリ１３８に機能的に接続することができる。

【0030】

［００４４］特定の実施形態によれば、ＰＭＣ１０２に含まれる機能モジュールは、パッチ生成モジュール１０４、変換推定モジュール１０６、およびパッチ見当合わせモジュール１０８を含み得る。任意選択で、ＰＭＣは、メッシュモジュール１１０および着色モジュール１１２をさらに含むことができる。ＰＭＣに含まれる機能モジュールは、それらの間で機能的に接続され得る。（例えば、ハードウェアベースのＩ／Ｏインターフェース１２６を介して）撮像装置のセットから、車両の表面の複数の区画をキャプチャする複数の画像のセットを取得すると、パッチ生成モジュール１０４は、所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした画像のセットを使用して３Ｄパッチを生成する。この３Ｄパッチは、対応する区画内の対応する表面点を表す３Ｄ点の点群を含むことができ、複数の時点および複数の区画に対応する複数の３Ｄパッチを生じさせる。

【0031】

［００４５］変換推定モジュール１０６は、複数の時点での撮像装置のセットと車両との間の相対移動に基づいて、複数の３Ｄパッチの３Ｄ変換を推定するように構成することができる。パッチ見当合わせモジュール１０８は、推定された３Ｄ変換を使用して複数の３Ｄパッチの見当合わせを行い、それによって車両の複合３Ｄ点群を生じさせる。この複合３Ｄ点群は、車両の３Ｄメッシュおよび／または３Ｄモデルを再構築するために使用できる。再構築された３Ｄメッシュおよび／または３Ｄモデルは、車両検査などに使用できる。上記の画像取得および画像処理を用いることにより、複数の画像セットの少なくともいくつかに含まれる光反射が、再構成されたモデルから排除される。

【0032】

［００４６］いくつかの実施形態では、任意選択で、メッシュモジュール１１０は、複合３Ｄ点群に基づいて車両の表面を表す３Ｄメッシュを生成するように構成することができる。３Ｄメッシュは、複合３Ｄ点群内の隣接する点の群ごとに局所表面をフィッティングすることによって生成できる。追加的かつ任意選択で、着色モジュール１１２は、３Ｄメッシュ上に車両の色情報を投影するように構成することができる。色情報は、複数の画像のセットおよび画像装置のセットの仮想位置に基づいて決定することができ、車両の３Ｄモデルを生じさせる。これらの機能モジュールによる画像処理の詳細は、図６および図７を参照して後述される。

【0033】

［００４７］ストレージユニット１２２は、車両の取得された画像を保存するように構成され得る画像データベース１２３を含むことができる。場合によっては、これらの画像は、撮像装置１３０から事前に取得され、ＰＭＣによって検索および処理されるために画像データベース１２３に保存され得る。ストレージユニット１２２はまた、例えば、複数の３Ｄパッチ、推定された３Ｄ変換、複合３Ｄ点群などのような中間処理結果のいずれかを保存するように構成され得る。任意選択で、画像データベース１２３は、システム１０１の外部、例えば、外部データリポジトリの１つ、または外部システムまたはプロバイダにあり、画像はＩ／Ｏインターフェース１２６を介して検索するようにしてもよい。

【0034】

［００４８］Ｉ／Ｏインターフェース１２６は、入力として、撮像装置および／または画像データベースから複数の画像セットを取得し、出力として、車両の複合３Ｄ点群、３Ｄメッシュ、または３Ｄモデルを提供するように構成することができる。任意選択で、システム１００は、入力および／または出力をユーザに表示するためにレンダリングするように構成されたグラフィカルユーザインターフェース（ＧＵＩ）１２４をさらに具えることができる。任意選択で、ＧＵＩは、オペレーティングシステム１０１に対してユーザ指定の入力を可能にするように構成することができる。

【0035】

［００４９］いくつかの実施形態では、システム１０１は、撮像装置（および存在する場合は照明装置）に電力を供給するように構成された電力マネージャ（別個に図示せず）をさらに具えることができる。例として、電力マネージャは、画像の取得およびそこからの反射の除去を容易にするために、特定の周波数で照明ユニットを暗くするように構成することができる。

【0036】

［００５０］場合によっては、システム１０１は、ローカルまたはリモート（例えば、クラウドベース）であり得る１つまたは複数の外部データリポジトリ１３８に機能的に接続され得る。取得された画像および／またはランタイム画像処理の結果は、ストレージユニット１２２および／または外部データリポジトリ１３８に保存することができる。

【0037】

［００５１］場合によっては、検査システム１００は、地下の、例えば２つのポールの間に埋め込まれた足回り検査ユニット（別個に図示せず）をさらに含むことができる。足回り検査ユニットは、車両が通過するときに車両の足回りの１つまたは複数の画像をキャプチャするように構成された１つまたは複数の撮像装置を具えることができる。

【0038】

［００５２］また、図１Ａおよび／または１Ｂに示すシステムは、分散コンピューティング環境で実装することができる。例として、図１Ｂに示されている機能モジュールのいくつかを、複数のローカルおよび／またはリモートのデバイスに分散し、通信ネットワークを介してリンクさせることができる。別の例として、システム１０１は、撮像装置とは異なる場所に配置することができる。

【0039】

［００５３］当技術分野に精通している者は、ここに開示された主題の教示が、図１Ａおよび図１Ｂに示されるシステムに限定されないことを容易に理解するであろう。等価および／または変更された機能を、別の方法で統合または分割することができ、ソフトウェアとファームウェアおよびハードウェアの適切な組み合わせで実装できる。図１Ａおよび１Ｂのシステムは、スタンドアロン型のネットワークエンティティにしてもよいし、他のネットワークエンティティと完全にまたは部分的に統合してもよい。当業者はまた、データリポジトリやその中のストレージユニットが他のシステムと共有され得るか、または第三者の機器を含む他のシステムによって提供され得ることを容易に理解するであろう。

【0040】

［００５４］必ずしもそうではないが、システム１０１の動作プロセスは、図６および図７に関して説明される方法のいくつかまたはすべての段階に対応することができる。同様に、図６および７に関して記載される方法およびそれらの可能な実装は、システム１０１によって実装することができる。したがって、図６および図７に関して説明する方法に関連して説明した実施形態は、システム１０１の様々な実施形態として必要な変更を加えて実施することもでき、その逆も可能であることに留意されたい。

【0041】

［００５５］図２Ａおよび２Ｂを参照すると、ここに開示された主題の特定の実施形態による、撮像装置構成の異なる透視図の一例が示されている。

【0042】

［００５６］図２Ａは、検査車両に対する撮像装置のセットの上面図および正面図を示している。上面図から、撮像装置１３０のセット（例えば、ポールに取り付けられている）が、所定の領域に対応する視野（ＦＯＶ）をカバーするように配向されていることが分かる（所定の領域は３Ｄ作業領域であるか、あるいは境界ボックス２０２は所定の領域の長さ－幅の平面を示す）。撮像装置のセットは、車両と撮像装置のセットとの間の相対移動中に複数の時点で画像をキャプチャし続けるので、画像の各セットは、所与の時点で所定の領域２０２内にある特定の区画／部分２０４（例えば、車両に沿った「スライス」）をキャプチャする。撮像装置のセットは、所与の時点で撮影された画像のセットの範囲が重なり、所定の領域の高さ－幅の平面全体をカバーできるように配置される（図２Ａの正面図の２０６を参照）。具体的には、所与の時点で、特定の区画の各表面点が、撮像装置のセットの少なくとも２つの撮像装置によってキャプチャされ、これにより三角測量を実行して点の位置を推定することができる。場合によっては、ノイズ低減とエラー修正の目的で、車両の各表面点が少なくとも３つの撮像装置により、２つの隣接する撮像装置と車両間の各角度が６０度未満でキャプチャされる（図２Ｂの側面図に示す）。例として、場合によっては、この角度は１０度または１５度になることもある。

【0043】

［００５７］画像取得は、複数の区画の少なくともいくつかの所与の各表面点が少なくとも２つの時点で少なくとも２セットの画像にキャプチャされるように、複数の画像セットにキャプチャされた複数の区画が部分的に重なるように実行される。いくつかの実施形態では、複数の区画の部分的な重なりは、複数の区画のうちのいくつかの隣接する区画が重複していることを示す。例えば、オーバーラップする隣接区画の数は、異なる方法で定義でき、２からＮ（Ｎ＞２）の範囲になる。これは、例えば、車両と撮像装置との間の相対的移動の速度、および撮像装置のキャプチャ速度に関係し得る。例として、２つの区画間のオーバーラップした部分が２つの区画に対応する２セットの画像に２回キャプチャされるように、２つずつの隣接する区画をオーバーラップさせることができる。別の例として、キャプチャレートが高い場合、５つの隣接する区画のそれぞれがオーバーラップして、一部の表面部分が２セットの画像でキャプチャされ、他の部分が５セットの画像すべてでキャプチャされるようにすることができる。説明を簡単にするために、いくつかの実施形態では、隣接する区画をキャプチャする画像が重なっている（すなわち、画像の範囲が重なっている）場合も言うことに留意されたい。

【0044】

［００５８］Ｎ個の区画がキャプチャされる場合、いくつかの実施形態では、Ｎ個すべての区画の表面点が少なくとも２セットの画像で少なくとも２回キャプチャされ、いくつかの他の実施形態では、画像取得の限界のために、いくつかの区画の表面点のみが２回キャプチャされる場合があることにも留意されたい。同様に、１つの区画の一部の表面点のみが２回キャプチャされ、他の区画はそうでない場合もある。表面点は、撮像装置によってキャプチャできる車両表面上の小さなユニットを指し、その寸法によって限定されるべきではない。本開示は、重なり合う区画の数、またはキャプチャされる表面点の範囲、またはそれらがキャプチャされる回数によって制限されないことが理解される。

【0045】

［００５９］少なくとも２セットの画像でキャプチャされた所与の表面点は、所与の表面点と２つの時点での撮像装置のセットとの間の異なる相対位置に関し異なる照明条件下でキャプチャされたかのようである。例として、重なり合った部分の表面点が少なくとも２セットの画像にキャプチャされ、これらが３Ｄ再構成中に、相互に補償し、いくつかのセットに存在し得る光の反射を除去できるように、対応する３Ｄパッチを見当合わせおよび組み合わせるために使用される。

【0046】

［００６０］いくつかの実施形態では、画像をキャプチャするのに複数の画像装置のセットを使用して、より良い解像度を達成することができる。例として、３セットの撮像装置を使用し、それぞれが例えば、車両の進入方向、車両がポールを通過するときに車両に向いた方向、および車両の出て行く移動方向を向くようにする。

【0047】

［００６１］正面図および側面図に示されるように、場合によっては、ポールの上部が例えば曲線状に曲がり、上部に取り付けられた撮像装置が下を向いて車両の屋根をキャプチャするように中心に向かって傾いている。いくつかの実施形態では、支持構造は、２つのポールを接続する屋根をさらに具え、上部の撮像装置を屋根に取り付けることができる。

【0048】

［００６２］特定の実施形態によれば、所定の領域は、検査システムが３Ｄ再構成のための十分なデータを提供することができる作業領域の制約を提供する仮想の３Ｄ境界ボックスである。所定の領域の別の図が図４にあり、ここでは３Ｄ境界ボックスの３Ｄ表現、およびここに開示された主題の特定の実施形態による３Ｄ仮想座標での撮像装置の表現を示している。３Ｄ境界ボックスは、特定の時間におけるセット内の撮像装置間の共通のＦＯＶを表すことができる。いくつかの場合、所定の領域は、車両の寸法に従って決定することができる。所定の領域は、車両の長さに制約を課すことはなく、高さと幅にのみ制約がある。したがって、車両タイプ（例えば、バス、自家用車、トラックなど）や寸法が異なると、所定の領域のサイズおよび体積が異なる可能性がある。例えば、所定の領域の幅および高さは、通過する車両の幅および高さに従って決定することができる。

【0049】

［００６３］例として、所定の領域の高さを拡張するために、撮像装置をポールに沿って追加して、車両の外側に沿って必要なオーバーラップの制約を提供することができる。

【0050】

［００６４］別の例として、所定の領域の幅を拡張するために、撮像装置をポールの上部に追加して、屋根をレーン内へとさらに拡張し、車両の外側に沿って必要なオーバーラップの制約を提供することができる。

【0051】

［００６５］場合によっては、所定の精度要件のパラメータ（例えば、顧客が必要とする３Ｄモデルの精度）が撮像装置の配置に影響を与える可能性がある。一例として、各セット内の撮像装置の数は、所定の精度要件に従って決定することができる。例えば、モデルの精度を向上させるには、撮像装置の数を増やすか、撮像装置のキャプチャレートを上げることでより多くの角度が得られることから、画像のオーバーラップが大きくなる。前述のようにそれぞれの方向を向いて使用される複数の撮像装置のセットの場合、撮像装置のセットの数および／または各セット内の撮像装置の数は、所定の精度要件に従って決定される。

【0052】

［００６６］場合によっては、車両の速度のパラメータが精度に影響を与える可能性がある。車両の移動速度が速いほど、利用できる取得時間が短くなる。より高い速度をサポートするには、撮像装置の数を増やしたり、撮像装置のキャプチャレートを上げたりする必要がある。

【0053】

［００６７］図３は、ここに開示された主題の特定の実施形態による例示的な照明装置構成の上面図を示す。図３に示すように、検査通路の両側に４つの周辺照明装置３０２が配置され、所定の領域にある車両に光を供給するために使用される。照明装置は、短い露光時間で車両をキャプチャし、画像のモーションスミアを回避するのに十分な光を提供することを目的とする。

【0054】

［００６８］場合によっては、照明装置をポールに沿って取り付ける（設置するなど）ことができる。例として、照明装置は、撮像装置のセットの間に配置することができ、またはそれらは、撮像装置に対して他の位置に配置することができる。照明装置は、所定の領域をカバーする十分な照明を提供するように、異なる角度に向けることができる。

【0055】

［００６９］照明から生じ得る反射は、車両の様々な領域に現れる可能性がある。車両の反射領域は、例えば、照明装置、撮像装置の角度、および車両部品の形状などに依存する。照明装置は必ずしも必要ではなく、場合によっては自然光または環境照明を代わりに使用できることに留意されたい。照明装置が設置される場合、反射を避けるために、照明装置を車両に向けないことが好ましい。

【0056】

［００７０］前述のように、検査システムは、移動車両または静止車両を検査するために使用することができる。車両が移動車両である場合、撮像装置（またはそれに取り付けられた支持構造）を地面に取り付けて、車両が支持構造に対して検査通路を移動する。車両が静止車両である場合、支持構造は、車両に対して移動するように可動プラットフォームに取り付けられる。

【0057】

［００７１］上記のような撮像装置（およびもしあれば照明装置）の配置により、画像は、車両と撮像装置との間の相対移動中に撮像装置のセットによってキャプチャされ、少なくともいくつかの区画でカバーされる表面の任意の点が異なる時点で撮像装置のセットによってキャプチャされ、異なるキャプチャ画像が生成される。表面点をカバーするこれらのキャプチャ画像は、所与の表面点と異なる時点における撮像装置との間の相対位置に関する異なる照明条件下でキャプチャされたかのようである。これにより、検査システムは、様々な時点からキャプチャされた画像を用いて、生じうる光の反射の影響を受けることなく、車両の３Ｄモデルを適切に再構築できる。場合によっては、様々な角度からキャプチャされるため、１つのセット内の画像が光の反射を取り除くのにも役立つ。

【0058】

［００７２］図５を参照すると、ここに開示された主題の特定の実施形態による、システムの較正設定段階が概略的に示されている。

【0059】

［００７３］図１～３に関して上述したように撮像装置（および存在する場合は照明装置）を配置した後、較正手順を適用して、システムのランタイムプロセス中に使用される仮想３Ｄ座標系のカメラパラメータセットを取得することができる。

【0060】

［００７４］図５の上面図および正面図に示されるように、１つまたは複数の較正ターゲット５１０を所定の領域に配置することができ（５０２）、照明装置（もしあれば）は、撮像装置が画像をキャプチャできる位置で機能する。ボアサイト（幾何学的）較正（５０４）を実行できる。撮像装置とターゲット間の幾何学的関係を定義するカメラ位置パラメータが推定され、境界ボックスの位置をカメラ位置から導き出すことができる。この位置パラメータは、システム１０１に格納することができる。カラー較正（５０６）も実行できる。色補正パラメータが、各撮像装置について同じカラーバランスに達するように計算され、システム１０１に格納することができる。場合によっては、設定段階で較正を実行できることに留意されたい。他のいくつかのケースでは、設定段階がなく、代わりにランタイム構築中に実行することもできる。

【0061】

［００７５］図６を参照すると、ここに開示された主題の特定の実施形態による３Ｄ車両モデル再構築および車両検査の一般化されたフローチャートが概略的に示されている。

【0062】

［００７６］撮像装置のセットから複数の画像セットを取得することができる（６０２）（例えば、図１Ｂに示されるＩ／Ｏインターフェース１２６によって）。複数の画像セットは、複数の時点で車両の表面の複数の区画をキャプチャすることができる。

【0063】

［００７７］図１Ａ、１Ｂを参照して上記したように。撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野（ＦＯＶ）をカバーするように方向付けることができる。複数の画像セットは、車両と撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、ｉ）画像の各セットは、それぞれの時点で所定の領域内に入るそれぞれの区画をキャプチャし、ｉｉ）画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも２つの画像のセットの中に少なくとも２つの時点でキャプチャされるように部分的に重なっている。少なくとも２セットの画像内にキャプチャされた所与の表面点は、２つの時点における所与の表面点と撮像装置のセットとの間の異なる相対位置に係る異なる照明条件下でキャプチャされたかのようである。前述のように、いくつかの実施形態では、重なり合う隣接する区画の数は、２からＮ（Ｎ＞２）の範囲で異なるように定義することができる。しかしながら、システムの意図した効果を実現するために（すなわち、反射除去のために）、いくつかの実施形態では、車両表面の各部分（または表面のほとんどの部分）が、少なくとも２つの時点で少なくとも２つの画像セットにキャプチャされるべきである。

【0064】

［００７８］画像取得段階が、図７にさらに示されている（図７は、ここに開示された主題の特定の実施形態による、図６に対応する３Ｄ車両モデル再構成および車両検査システムの詳細な処理段階の例示的な図を示す）。システム１００が較正されると、較正されたシステムは、車両が接近したときにランタイムで開始することができる。この開始は、（例えば、道路ループ、ＩＲビーム、ＶＭＤなどで）車両の存在を検出（７０１）できる外部感知デバイスによってトリガすることができる。

【0065】

［００７９］開始すると、照明装置（存在する場合）がオンになり、撮像装置のセットが、較正設定段階で取得された色補正パラメータを使用して、事前定義されたキャプチャレートで画像の取得（７０２）を開始する。撮像装置のセットを同期して同時に画像をキャプチャすることができ、キャプチャされた画像は、キャプチャ時間のメタデータおよび画像装置識別子とともに保存することができる。

【0066】

［００８０］いくつかの実施形態では、任意選択で、キャプチャされた画像を前処理することができる（７０３）（例えば、撮像装置１３０によって、あるいは送信されたらシステム１００のＰＭＣ１０２によって）。一例として、キャプチャされた画像は、画像のキャプチャ時間に従って複数の画像セットに分類することができる。別の例として、前処理は、デベイヤリング（de-bayering）、フラットフィールド補正、色補正、レンズ歪み補正、およびエッジ強調などの１つまたは複数を含むことができる。ブロック６０４を参照して後述するように、キャプチャおよび／または前処理された画像は、３Ｄパッチを生成するためにさらに処理され得る。外部感知装置が、車両が検出領域外にある（例えば、所定の領域の外にある）ことを検出すると、画像の取得を停止するように撮像装置に指示することができる。

【0067】

［００８１］図６に戻ると、所与の時点（すなわち、所与のキャプチャ時間）ごとに、当該所与の時点での対応する区画をキャプチャした画像のセットを使用して（例えば、パッチ生成モジュール１０４によって）３Ｄパッチが生成／再構築され得る（６０４）。３Ｄパッチは、所定の領域（すなわち、仮想境界ボックス）内の対応する区画の対応する表面点の３Ｄ位置を表す３Ｄ点の点群を含んでいる。したがって、複数の時点および複数の区画に対応する複数の３Ｄパッチを生成することができる。場合によっては、所与の時点ごとに、区画の様々な部分をカバーする複数のパッチ（パッチのセットなど）を作成してもよい。

【0068】

［００８２］特定の実施形態によれば、パッチ生成のための入力は、較正されたカメラ位置（例えば、焦点距離、焦点中心、センササイズ、他のカメラと比較した各カメラの向きや変位など）とともに、所与の時点での撮像装置のセットによって同時に撮影された画像のセットを含むことができる。

【0069】

［００８３］説明のために、ここで、３Ｄパッチを生成する例示的なプロセスについて説明する。まず、画像セットの各画像から車両を特徴付ける特徴を抽出することができる。例えば、いくつかのケースでは、コーナー（例えば、２つ以上のエッジの交差）検出アルゴリズムを用いて特徴を見つけることができる。次に、セット内の異なる画像から抽出された特徴間で特徴マッチングを実行し、例えば正規化相互相関を使用して、一致する特徴を取得できる。いくつかのケースでは、一致する特徴をフィルタリングしてもよい。例えば、不一致関数（すなわち、特徴の動きを考慮して特徴の構造を保持する運動統計構造モデルを記述する関数）を用いて、モデルに適合しないため外れ値と見なされる特徴をフィルタリングすることができる。抽出された特徴が一致（場合によってはフィルタリングも）すると、マッチした特徴を三角測量して、マッチした特徴を表す３Ｄ点を得ることができ、これらの３Ｄ点が３Ｄパッチを構成する。三角測量とは、既知の点からある点に対して三角形を形成することによってその点の位置を特定するプロセスであり、例えば、少なくとも２つの撮像装置から一致する特徴に送られた３Ｄ光線の交点を見つけることを意味する。任意選択で、三角測量された各特徴を、写真の一貫性の仮定を使用して最も近い特徴に展開し、密な３Ｄ再構成を作成することができる。

【0070】

［００８４］場合によっては、３Ｄパッチ生成は、必ずしも上記の撮像装置構造および対応する方法を使用して実装される必要がないことに留意されたい。上記に加えて、または上記の代わりに、他の適切な構造および方法を使用することができる。例として、深度カメラ（例えば、ステレオカメラ、飛行時間（ＴｏＦ）カメラなど）を使用して、深度マップを作成することができる。別の例として、Ｌｉｄａｒ（すなわち、光の検出と測距）を使用して、ターゲットのデジタル３Ｄ表現を作成できる。場合によっては、そのような構造（例えば、深度カメラやＬｉｄａｒ）は、設定段階で撮像装置と一緒に較正され同じ座標系で一致する限り、上記の撮像装置と一緒に使用できる。例えば、そのような場合、Ｌｉｄａｒは３Ｄパッチ生成に使用することができ、撮像装置からの画像データは、ブロック６１２を参照して以下に説明するように、投影目的に使用することができる。

【0071】

［００８５］特定の実施形態によれば、場合によっては、ノイズを表す外れ値を３Ｄパッチからフィルタリングする必要がある（図７のブロック７０５に示すように）。これは、３Ｄ再構成が非常にノイズの多いプロセスであり、得られる３Ｄパッチに様々なタイプのノイズが含まれる可能性があるからである。例示的な目的のために、ここに開示された主題において別々にまたは任意の適切な組み合わせで使用することができるいくつかのフィルタリングメカニズムが以下に示されている。

【0072】

［００８６］例として、３Ｄパッチは、所定の領域（すなわち、３Ｄパッチが生成され、境界付けられることが期待される境界ボックス）に従ってフィルタリングすることができる。例えば、境界ボックスの外側にある３Ｄ点を、３Ｄパッチからフィルタリングすることができる。

【0073】

［００８７］３Ｄパッチ内の点と対応する撮像装置間の距離を表す深度マップを使用して、外れ値をフィルタリングできる。深度マップは、３Ｄ点を２Ｄに投影し直し、その「ｘ」と「ｙ」座標を画像平面上で取得し、投影先のカメラからの３Ｄ点の距離を示すものとして点の強度を設定することで生成することができる。別の例として、特定の深度平滑化アルゴリズムを深度マップに適用して、外れ値の点を平滑化して削除することができる。これは、例えば、隣接する点が類似しており、外れ値の点が表面の連続性を満たさないという仮定に基づくことができる。

【0074】

［００８８］さらなる例として、連結成分分析を深度マップに適用し、連続しない成分をフィルタリングすることができる。さらに別の例として、場合によっては、キャプチャされた画像は、３Ｄパッチ生成中に再構成することができ境界ボックス内に入る背景領域を含み得る。場合によっては、特徴マッチングプロセスの特定のエラーにより、再構築された背景が車両に接続されているように見えることがある。この種の外れ値をフィルタリングするために、深度マップにしきい値を適用することにより前景マスクを生成することができる。このマスクは、特定のグラフベースのアルゴリズム（Ｇｒａｐｈ－Ｃｕｔなど）を使用してさらに改善することができる。改善されたマスクを使用して、３Ｄパッチ内のピクセルを分類し、各ピクセルについて、それが前景か背景のどちらの分布に属しているかを判断することができる。例えば、３Ｄパッチを前景マスクに投影して、前景にある３Ｄ点は車両に属し、残りのポイントは外れ値とすることができる。

【0075】

［００８９］場合によっては、３Ｄ再構成ステップ中に得られた３Ｄパッチは、平坦面の再構成がほとんど無いことに留意されたい。例えば、このステップの出力は、主にエッジ、コーナー、ハイコントラクト領域などを含む、半密度の３Ｄ点群であり得る。表面および色情報などの欠落情報は、ブロック６１０および６１２を参照して以下で説明するように、後のステップで埋めることができる。

【0076】

［００９０］上記に加えて、または上記の代わりに、他の３Ｄ再構成技術、例えば、画像からシェーディング情報を分解し、法線マップ（例えば、点群内の各点を表す小さな３Ｄ面の向きを含むマップ）を推定できる技術を用いて、平坦な低コントラスト領域の再構成のプロセスを容易にし、したがって、より改善された３Ｄ点群の作成に役立つ可能性があることにも留意されたい。

【0077】

［００９１］上記のように、ブロック６０４における３Ｄ再構成の出力は、車両が検査システムを通過するときの、複数の区画および複数の時点に対応する複数の３Ｄパッチとなる。画像のセット間のキャプチャ時間の変更により、画像のセットの少なくとも一部が、それらの範囲で部分的にオーバーラップする。したがって、３Ｄパッチも互いに重なり合い、光の反射がある画像の部分／領域によってパッチに穴が生じる可能性がある。これは、再構成プロセスにおけるノイズの一種としての反射が、上記のフィルタリングプロセスでフィルタ除去される可能性が高く、それによってパッチが完全／完璧な３Ｄモデルに再構成されなくなるからである。車両の表面は通常平坦で滑らかであるためよく反射する可能性があることを考えると（例えば、鏡の性質に類似）、検査中に車両についてキャプチャされた画像には反射が含まれることが多く、そのため、車両モデルの再構築において反射を除去するのが難しい場合がある。本開示の１つの目標は、以降にさらに詳述するように、適切に変換を推定し、３Ｄパッチを見当合わせすることによってこの問題を解決することである。

【0078】

［００９２］車両の完全な３Ｄ再構成を作成するには、車両の動きに基づいて、各３Ｄパッチを並べて配置する必要がある。複数の３Ｄパッチ（異なる時点でキャプチャされた画像の対応するセットから再構築されたもの）は、光の反射によって生じた欠落情報を補うことができるように適切に見当合わせされる必要がある。特定の実施形態によれば、（複数の３Ｄパッチの）３Ｄ変換は、複数の時点における撮像装置のセットと車両との間の相対移動に基づいて（例えば、変換推定モジュール１０６によって）推定することができる（６０６）。見当合わせは、推定された３Ｄ変換を使用して実行することができる。

【0079】

［００９３］移動は車両と撮像装置セット間で相対的であるため、いくつかの実施形態では、移動する車両の追跡は、移動する撮像装置の追跡によって（すなわち、撮像装置のセットが静止車両に対して移動しているかのように）実現することができる。したがって、時間内の撮像装置の構造（例えば、カメラのセットの位置および向き）の３Ｄ変換を識別することができ（例えば、図７のブロック７０６に示されるように）、これは、撮像装置のセットによってキャプチャされた画像セット内の相互の特徴の変換と同等である。３Ｄ変換は、セットアップ中に較正が実行される場合のリジッド変換を指す場合もあれば、セットアップ中に較正が実行されずにランタイムの再構築中にのみ実行される場合のアフィン変換を指す場合もある。リジッド変換とは、回転や平行移動など、すべての対の点間のユークリッド距離を維持する、ユークリッド空間での幾何学的変換をいう。例えば、適切なリジッド変換は、回転とそれに続く平行移動として分解することができる。

【0080】

［００９４］ここで、変換推定を実行する例を示す。第１に、車両を特徴付ける特徴を、複数の画像セットのそれぞれから抽出することができる。上記と同様の特徴抽出方法、および／またはいくつかのより複雑な方法をこの目的に使用することができる。例として、特徴のスケールおよび方向（異なる視点によって異なる時点で変化し得る）も特定できる特徴抽出の特定の方法を使用して、抽出された特徴についてより多くの情報を取得することができる。例えば、そのような方法の１つは、例えば、異なる画像スケールのコーナーなどの特徴を探し（例えば、画像をスケーリングすることによって）、また、特徴の隣接するピクセルおよび隣接する領域の２次勾配も調べて特徴の向きを特定する。２Ｄ２次関数を当てはめて最大値を見つけることにより、特徴の２Ｄ座標をサブピクセル精度で推定することができる。場合によっては、バイナリ文字列を使用して特徴の外観をエンコードする方法を使用して、特徴ごとにバイナリ記述子を生成することができる。

【0081】

［００９５］特徴抽出に続いて、２つの対応する時点で重なり合いキャプチャされた２セットの画像の選択された各ペア間で局所３Ｄ変換を推定できる。この推定は、抽出された特徴から選択された相互の特徴の追跡に基づいて実行できる。いくつかの場合、選択された２セットの画像は２つの連続した時点でキャプチャされるが、これは必ずしもそうではない。例えば、時間ｔと時間ｔ＋５でキャプチャされた画像を、それらが重複部分を共有する限り、局所３Ｄ推定を推定するために選択してもよい。特定の実施形態によれば、２つの対応する時点で重なり合いキャプチャされた画像の各２セットの局所変換は、以下のように推定することができる。

【0082】

［００９６］第１に、２つの画像セットの各セット内の異なる画像から抽出された特徴間、および２つのセットからの対応する画像間で特徴マッチングを行い、マッチした特徴のそれぞれのセットを取得することができる。例として、特徴マッチングはブルートフォースマッチングを用いて（例えば、特徴間の最小ハミング距離を計算することによって）行うことができる。いくつかのケースで最初にマッチングされた特徴に、さらにフィルタリングが必要な外れ値が多く含まれている場合がある。この目的のために、特徴の隣接情報を利用して外れ値を統計的にフィルタリングするグリッドベースのモーション統計フィルタリング方法を使用することができる。抽出される特徴が剛体であることを考慮すると、特徴のパターン、構造、および／または順序を同定して、フィルタリングに使用することができる。説明および例示目的で、以下の３セットのマッチした特徴を生成することができる：時間ｔに異なるカメラによってキャプチャされた画像間のマッチした特徴を含むマッチセットＡ；時間ｔ＋１に異なるカメラによってキャプチャされた画像間のマッチした特徴を含むマッチセットＢ；時間ｔおよびｔ＋１での２つのセットからの対応する画像（すなわち、同じカメラによってキャプチャされた画像）間のマッチした特徴を含むマッチセットＣ。

【0083】

［００９７］マッチした特徴のそれぞれのセットの中から相互の特徴を選択することができる（この例では、３つのセットすべての相互一致Ａ∩Ｂ∩Ｃ）。各画像セットの相互特徴を三角測量して（例えば、それぞれの時点での異なるカメラの画像からの２Ｄ情報と較正情報を用いてＡとＢの相互特徴をそれぞれ３Ｄに三角測量することができる）、２つの画像セットの相互特徴を表す３Ｄ特徴セットのペアを生成することができる。３Ｄ特徴セットのペアは同じサイズであり、異なる時点における同じ特徴を表す。任意選択で、例えば上記の境界ボックスを使用して、３Ｄ特徴セットを再度フィルタリングしてもよい。特徴の剛体運動のため、距離でフィルタリングすることもできる。例えば、球形クラスタに収まり得る対応する特徴間の距離を計算することができる。球形クラスタの外側にあるすべての特徴は外れ値と見なすことができるため、フィルタリングで除外される。特徴がマッチングされフィルタリングされると、３Ｄ特徴セットのペア間の運動（回転と平行移動など）を追跡することによって２つの画像セット間（すなわち、２つの時点間）の局所的な剛体変換が推定できる。例として、特徴間の共分散行列などに基づいて変換を推定するために、剛体変換行列を生成することができる。

【0084】

［００９８］重なり合う２つの画像セットの選択された各ペア間の局所３Ｄ変換が推定されると、すべての局所変換を、複数の時点の間（例えば、ｔ＝０からｔ＝ｎまで）に３Ｄ変換のチェーン（本書では３Ｄ変換とも呼ばれる）に集約することができる。場合によっては、３Ｄ変換にさらにフィルタリングを適用してもよい。例として、中央値フィルタリングを変換に適用して、外れ値を除外することができる。追加的または代替的に、運動関数を平滑化の目的で変換に適合させることができる。

【0085】

［００９９］推定された３Ｄ変換を使用して、複数の３Ｄパッチを見当合わせし（６０８）（例えば、パッチ見当合わせモジュール１０８によって）、それにより車両の複合３Ｄ点群を生成することができる。この見当合わせは、図７に７０７としても示されている。見当合わせ時に、各３Ｄパッチは、計算された変換に従って変換することができ、３Ｄパッチがすべて変換され、相互に位置合わせされると、複合３Ｄ点群が生成される。いくつかの実施形態では、より細かい見当合わせを求めて、追加の見当合わせを適用することができる。例えば、点群の重なり合う形状間の差異を繰り返し最小化しようとするＩＣＰ反復最接近点（ＩＣＰ）アルゴリズム（またはそのバリエーション）を利用することができる。

【0086】

［００１００］複合３Ｄ点群は、車両検査用の車両の車両モデルを再構築するために使用できる。複数の画像セットの少なくともいくつかに含まれる光反射は、再構成された車両モデルから排除することができ、これは、少なくとも上記のようにパッチの変換および見当合わせの推定によって達成される。

【0087】

［００１０１］パッチ間の距離モデルを単純に適合させ、点群間の形状マッチングを実行しようとする特定の見当合わせ方法と比較して、本開示は、３Ｄパッチに適用される変換規則を推定するために、画像から抽出された特定の選択された相互特徴を追跡する追跡システムを実装する。これにより、より正確な見当合わせが可能になり、３Ｄ点群ですべての点の見当合わせを実行するよりも計算効率が高くなる。

【0088】

［００１０２］特定の実施形態によれば、複合３Ｄ点群が得られると、複合３Ｄ点群に基づいて（例えば、メッシュ作成モジュール１１０によって）車両の表面を表す３Ｄメッシュを生成することができる（６１０）。３Ｄメッシュは、複合３Ｄ点群内の隣接する点のグループ（隣接するポイントのトリプレットなど）ごとに局所表面（面とも呼ぶ）を適合させることで生成できる。場合によっては、複合点群のノイズが大きすぎて適切なメッシュを実行できないため、さらにフィルタリングを実行することができる（図７を参照すると７０８に示す）。例として、フィルタリングを実行するために、点群全体を、例えば、車両の両側に対応する異なる表面にクラスタ化することができる。各表面に表面関数を適合させることができる。この表面に対応しない点はすべてフィルタリングできる。様々な表面クラスタを組み合わせて車両全体に戻し、統計的フィルタリングを適用して表面をさらに滑らかにすることができる。

【0089】

［００１０３］いくつかの実施形態では、次に、３Ｄ点群を均一にサンプリングして、メッシュ内に頂点（すなわち、コーナー点または角度点）の均一な広がりを作成することができる。表面再構成法などのメッシュ法を使用して、サブサンプリングされた頂点から３Ｄメッシュを作成することができる。場合によっては、このメッシュは、含まれる頂点の数が少ないため「低解像度メッシュ」（７０９）と考えられるが、これは車両メッシュ再構築に非常に近いものとなる。複合３Ｄ点群は、この低解像度メッシュで洗練させることができる。３Ｄ点群内の各点は、メッシュ内の最も近い頂点を探し、その点と最も近い頂点の間の距離がしきい値より大きい場合、その点にメッシュの最も近い頂点の座標のｔが割り当てられる（７１０）。そうでない場合、点はそのまま保持される。次に、点群をもう一度均一に、今回はより高い解像度でサブサンプリングし、点群を高解像度メッシュへと再メッシュすることができる（７１１）。メッシュに表面平滑化技術を適用し、車両全体の３Ｄメッシュが作成される。このステップまで、色情報はまだ不足しているが、３Ｄメッシュのジオメトリは車両の表面を満たしている。

【0090】

［００１０４］３Ｄ変換を用いて、複数の時点での撮像装置のセットの仮想位置を推定することができる。仮想位置は、複数の時点での相対移動に従って撮像装置の調整された位置を表す。例えば、撮像装置のストラクチャ（例えば、位置と向き）が追跡され、それぞれの区画に対応し、３Ｄメッシュと整列する各時点の撮像装置のストラクチャを得ることができる。

【0091】

［００１０５］任意選択で、シェーディングを意識した照明モデルを使用して、メッシュの頂点の表面最適化とリファインメントを行うことができる。任意選択で、画像から抽出された特徴とシーケンス全体の調整位置を使用して、特徴を３Ｄメッシュに投影してから画像に戻すことにより、再投影エラーを最小限に抑え、カメラ調整パラメータを修正することができる。これは必須ではないが、メッシュのテクスチャをより細かくすることができる。

【0092】

［００１０６］車両の色情報を３Ｄメッシュに投影することができる（６１２）。色情報は、複数の画像のセットおよび画像装置のセットの仮想位置に基づいて決定することができる。例として、面の色は、面を「見る」カメラに基づいて３Ｄメッシュで画像を投影することによって計算することができ（７１２）、色情報は、例えば「反射」と考えられる飽和色を除いた色の加重平均（例えば、重みづけはカメラからの距離に応じて決定することができる）によって決定することができる（７１３）：

このように、色情報を含む車両の３Ｄモデルを作成することができる（７１４）。

【0093】

［００１０７］要求された仮想ビュー／仮想カメラが、ユーザまたは外部パラメータによってプロセスに入り（７１５）、３Ｄモデルから合成画像をレンダリング（７１６）し、ローカルまたはクラウドのストレージに保存する。このストレージから、データは、ユーザーに提示（７１７）するためのユーザインターフェースソフトウェアに利用可能となる。

【0094】

［００１０８］仮想ビューを有する３Ｄメッシュおよび／または３Ｄモデルは、車両の異常を同定するために用いることができ、この異常には、ひび割れ、擦り傷、膨らみ、切り傷、引っ掛かり、パンク、異物、その他の日常の使用による損傷などの潜在的な損傷や劣化を示す可能性のある異常が含まれる。３Ｄメッシュおよび／または３Ｄモデルにおいて光の反射が除去されたため、これまで発見できなかった異常が判明し得る。さらに、車両異常の正確な位置を特定することができる。異なる画像から検出される同じ引っかき傷などの繰り返しの異常を識別して排除することができるため、より良い検出結果を得ることができる。

【0095】

［００１０９］図８Ａ～Ｅは、ここに開示された主題の特定の実施形態による反射除去の例である。

【0096】

［００１１０］図８Ａには、反射のある車両区画（丸でマークされている）のキャプチャ画像が示されている。図８Ｂは、図８Ａの画像に対応する点群の３Ｄパッチを示す。点群には、反射が位置する車両の部分に対応する穴があることがわかる。図８Ｃには、図８Ａの反射を受けた領域に反射がない車両区画（丸でマークされている）のキャプチャ画像が示されている。この画像は、同じ撮像装置によって異なる時点で撮影され、したがって、領域と撮像装置との間の異なる相対位置／視点に関連する異なる照明条件下でキャプチャされている。図８Ｄは、図８Ｃの画像に対応する点群の３Ｄパッチを示す。 図８Ｂに示すような穴があった点群の領域が、３Ｄ点群で埋め尽くされていることが分かる。図８Ｅは、（図８Ｂおよび８Ｄからの）点群の両方の３次元パッチの組み合わせを示しており、その結果、穴のない複合３Ｄ点群が得られ、それによって反射を効果的に除去することができる。

【0097】

［００１１１］図９Ａ～Ｄは、ここに開示された主題の特定の実施形態による、時間領域における点群の３Ｄパッチの追跡および見当合わせの例を示している。

【0098】

［００１１２］図９Ａは、特定の時点（例えば、ｔ＝ｎ）で撮られた、所定領域（例えば、境界ボックス）によって境界が定められた点群の３Ｄパッチを示す。図９Ｂは、車両がシステムにさらに沿って移動した後の特定の時点（例えば、ｔ＝ｎ＋１）で撮られた、所定領域によって境界が定められた点群の３Ｄパッチを示す。図９Ｃは、３Ｄパッチに基づいて所定領域によって時間内に生成された複合３Ｄ点群を示している。図９Ｄでは、所定領域の制約が除去され、車両全体の複合３Ｄ点群を達成するために３Ｄ変換を推定することによって点群パッチが見当合わせされた。

【0099】

［００１１３］図１０は、ここに開示された主題の特定の実施形態による、各タイムスタンプにおける追跡されたカメラの表現を有する、車両について生成された３Ｄメッシュを示す。

【0100】

［００１１４］前述のように、本開示の特定の実施形態は、車両が移動する代わりにカメラが移動するという逆仮定を行い、これにより、カメラの追跡（例えば、各区画に対応する各時点の位置や向きなどのカメラストラクチャと、３Ｄメッシュへの整列とが追跡される）と変換の推定が可能となり、全ての３Ｄパッチが一緒に見当合わせされる。複数の時点での撮像装置のセットの仮想位置を図１０に示す。これらは、３Ｄ変換を用いて推定される。

【0101】

［００１１５］説明のために、図１１Ａは、仮想３Ｄ座標系における境界ボックスおよびカメラについての再構築された３Ｄパッチの例を示し、図１１Ｂは、ここに開示された主題の特定の実施形態による、メッシュ化および着色された３Ｄパッチを示す。

【0102】

［００１１６］図１２は、ここに開示された主題の特定の実施形態に従って、仮想ビューから生成された合成車両画像の５つの異なる例を示している。これらの合成画像は、再構成された３Ｄモデルに従って、撮像装置が実際に配置されている場所とは異なる視点から撮影されたかのように生成される。

【0103】

［００１１７］本書における検査システムの構造、配置および構成、ならびに画像処理に関して図示された例および実施形態は、決してすべての可能な代替案を含むものではなく、非限定的な例のみを例示することを意図していることが理解される。

【0104】

［００１１８］本発明は、その適用において、本明細書に含まれる、または図面に示される説明に記載される詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々な方法で実施および実現することができる。したがって、本明細書で使用される言い回しおよび用語は、説明の目的のためであり、限定的と見なされるべきではないことを理解されたい。したがって、当業者は、本開示の基礎となる概念が、ここに開示された主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用できることを理解するであろう。

【0105】

［００１１９］本発明によるシステムは、少なくとも部分的に、適切にプログラムされたコンピュータ上に実装され得ることも理解されよう。同様に、本発明は、本発明の方法を実行するためにコンピュータによって読み取り可能であるコンピュータプログラムを企図する。本発明はさらに、本発明の方法を実行するためにコンピュータによって実行可能な命令のプログラムを具体的に担持する非一時的なコンピュータ可読メモリまたは記憶媒体を企図する。

【0106】

［００１２０］プロセッサに本発明の態様を実行させる非一時的なコンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、これらに限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであり得る。

【0107】

［００１２１］当業者は、添付の特許請求の範囲で定義され、その範囲から逸脱することなく、前述のように本発明の実施形態に様々な修正および変更を適用できることを容易に理解するであろう。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A-8E】

【図9A-9D】

【図10】

【図11A】

【図11B】

【図12】