7224603 車両画像の比較方法とそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-10

(45)【発行日】2023-02-20

(54)【発明の名称】車両画像の比較方法とそのシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230213BHJP

【ＦＩ】

G06T7/00 610C

【請求項の数】 31

(21)【出願番号】P 2021501137

(86)(22)【出願日】2019-03-24

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 IL2019050326

(87)【国際公開番号】W WO2019186530

(87)【国際公開日】2019-10-03

【審査請求日】2022-03-18

(31)【優先権主張番号】15/940,142

(32)【優先日】2018-03-29

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520375077

【氏名又は名称】ユーヴイアイ リミテッド

【氏名又は名称原語表記】ＵＶｅｙｅ Ｌｔｄ．

(74)【代理人】

【識別番号】110001302

【氏名又は名称】特許業務法人北青山インターナショナル

(72)【発明者】

【氏名】ヘバー，アミー

(72)【発明者】

【氏名】ヘバー，オハド

(72)【発明者】

【氏名】ボゴモルニー，イリヤ

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１３－１１４５９６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５６３９９（ＷＯ，Ａ１）

【文献】プラント内の直線を利用した拡張現実感用リローカリゼーション手法の開発，ヒューマンインタフェース学会研究報告集 Vol. 18，No. 3，2016年06月17日

【文献】Feature-Level Change Detection Using Deep Representation and Feature Change Analysis for Multispectral Imagery，IEEE Geoscience and Remote Sensing Letters，2016年11月30日，VOL. 13, NO. 11，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7559716

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

車両画像比較のコンピュータ化された方法であって：
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップであって、前記入力画像は複数の画像部分を含む、ステップと；
参照画像のセットを取得するステップと；
前記複数の画像部分のうちの所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するステップであって、
ｉ）前記参照画像のセットに対応する参照部分候補のセットを取得するステップであって、前記セット内の所与の参照画像ごとに：
前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別するステップであって、前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する、ステップと；
前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得するステップであって、前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示している、ステップと；
前記１つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択するステップとを含む、
取得するステップと、
ｉｉ）前記参照部分候補のセットから最も一致する参照部分を選択するステップとを含む、
検索するステップと；
比較モデルを使用して、前記所与の各画像部分を前記最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生成するステップであって、前記差分マップは、前記所与の画像部分における関心の差（ＤＯＩ）の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを得る、ステップとを含む方法。

【請求項2】

請求項１のコンピュータ化された方法において、さらに、前記複数の差分マップを、前記入力画像内の関心のある差分（difference of interest：ＤＯＩ）の存在の確率を示す複合差分マップへと結合するステップを含む、方法。

【請求項3】

請求項１のコンピュータ化された方法において、前記複数の画像部分は、スライディングウィンドウを用いて取得される、方法。

【請求項4】

請求項１のコンピュータ化された方法において、前記複数の画像部分は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントへと前記入力画像をセグメント化することによって取得される、方法。

【請求項5】

請求項１のコンピュータ化された方法において、前記入力画像は、第１の撮像条件で前記撮像装置によって取得され、前記参照画像のセット内の少なくとも１つの参照画像は、前記第１の撮像条件とは異なる第２の撮像条件で取得され、それによって前記第１および第２の撮像条件の違いに起因する、前記入力画像と少なくとも１つの参照画像との間の誤警報（false alarm：ＦＡ）の差異が生じる、方法。

【請求項6】

請求項５のコンピュータ化された方法において、前記第１および第２の撮像条件は、車両と撮像装置との間の相対位置、照明状態、および車両の速度のうちの１つまたは複数を含む、方法。

【請求項7】

請求項１のコンピュータ化された方法において、前記参照画像のセットは、前記入力画像内で車両を一意に識別するインスタンス記述子を使用して取得される、方法。

【請求項8】

請求項７のコンピュータ化された方法において、前記参照画像のセットは、車両の同じインスタンスをキャプチャした画像の第１のセットと、車両に類似のインスタンスをキャプチャした画像の第２のセットとを含むグループから選択される、方法。

【請求項9】

請求項８のコンピュータ化された方法において、前記画像の第２のセットは、エンコーディングモデルを使用して前記入力画像および候補参照画像のそれぞれのベクトル表現を取得し、前記入力画像のベクトル表現と各参照画像候補との間の類似性メトリックを使用して前記第２の画像セットを選択することによって選択される、方法。

【請求項10】

請求項１のコンピュータ化された方法において、前記比較モデルは、前記ＤＯＩを識別し、各画像ペア間の差分マップで誤警報（false alarm：ＦＡ）の差異を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルである、方法。

【請求項11】

請求項１のコンピュータ化された方法において、前記類似性モデルは、見当合わせされた画像から抽出された複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングされた類似性深層学習モデルであり、前記類似性モデルは、画像部分の複数のセットの各セット内の画像部分の各ペア内の類似性を反映するようにトレーニングされる、方法。

【請求項12】

請求項４のコンピュータ化された方法において、前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルである、方法。

【請求項13】

請求項１のコンピュータ化された方法において、前記所与の画像部分に対応する差分マップは、前記所与の画像部分におけるＤＯＩの存在の部分ごとの確率を示す、方法。

【請求項14】

請求項１のコンピュータ化された方法において、前記所与の画像部分に対応する差分マップは、前記所与の画像部分にＤＯＩが存在するピクセル単位の確率を示す、方法。

【請求項15】

請求項２のコンピュータ化された方法において、前記複合差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じる、方法。

【請求項16】

車両画像比較のコンピュータ化されたシステムであって、当該システムはＩ／Ｏインターフェースに動作可能に接続されたプロセッサおよびメモリ回路（ＰＭＣ）を具え、
前記Ｉ／Ｏインターフェースは：
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得し、ここで前記入力画像は複数の画像部分を含んでおり；
参照画像のセットを検索するように構成されており；
前記ＰＭＣは：
前記複数の画像部分の所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索し、これには
ｉ）前記参照画像のセットに対応する参照部分候補のセットを取得することであって、前記セット内の所与の参照画像ごとに：
前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別すること、ここで前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する；
前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得すること、ここで前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示す；および、
前記１つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択することと、
ｉｉ）前記参照部分候補のセットから最も一致する参照部分を選択すること；が含まれ、
比較モデルを使用して、前記所与の各画像部分を最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生じさせ、ここで前記差分マップは、前記所与の画像部分における関心の差（ＤＯＩ）の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを生成するように構成される、システム。

【請求項17】

請求項１６のコンピュータ化されたシステムにおいて、前記ＰＭＣがさらに、前記複数の差分マップを、前記入力画像内の関心のある差分（difference of interest：ＤＯＩ）の存在の確率を示す複合差分マップへと結合する、システム。

【請求項18】

請求項１６のコンピュータ化されたシステムにおいて、前記複数の画像部分は、スライディングウィンドウを用いて取得される、システム。

【請求項19】

請求項１６のコンピュータ化されたシステムにおいて、前記複数の画像部分は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントへと前記入力画像をセグメント化することによって取得される、システム。

【請求項20】

請求項１６のコンピュータ化されたシステムにおいて、前記入力画像は、第１の撮像条件で前記撮像装置によって取得され、前記参照画像のセット内の少なくとも１つの参照画像は、前記第１の撮像条件とは異なる第２の撮像条件で取得され、それによって前記第１および第２の撮像条件の違いに起因する、前記入力画像と少なくとも１つの参照画像との間の誤警報（false alarm：ＦＡ）の差異が生じる、システム。

【請求項21】

請求項２０のコンピュータ化されたシステムにおいて、前記第１および第２の撮像条件は、車両と撮像装置との間の相対位置、照明状態、および車両の速度のうちの１つまたは複数を含む、システム。

【請求項22】

請求項１６のコンピュータ化されたシステムにおいて、前記参照画像のセットは、前記入力画像内で車両を一意に識別するインスタンス記述子を使用して取得される、システム。

【請求項23】

請求項２２のコンピュータ化されたシステムにおいて、前記参照画像のセットは、車両の同じインスタンスをキャプチャした画像の第１のセットと、車両に類似のインスタンスをキャプチャした画像の第２のセットとを含むグループから選択される、システム。

【請求項24】

請求項２３のコンピュータ化されたシステムにおいて、前記画像の第２のセットは、エンコーディングモデルを使用して前記入力画像および候補参照画像のそれぞれのベクトル表現を取得し、前記入力画像のベクトル表現と各参照画像候補との間の類似性メトリックを使用して前記第２の画像セットを選択することによって選択される、システム。

【請求項25】

請求項１６のコンピュータ化されたシステムにおいて、前記比較モデルは、前記ＤＯＩを識別し、各画像ペア間の差分マップで誤警報（false alarm：ＦＡ）の差異を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルである、システム。

【請求項26】

請求項１６のコンピュータ化されたシステムにおいて、前記類似性モデルは、見当合わせされた画像から抽出された複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングされた類似性深層学習モデルであり、前記類似性モデルは、画像部分の複数のセットの各セット内の画像部分の各ペア内の類似性を反映するようにトレーニングされる、システム。

【請求項27】

請求項１９のコンピュータ化されたシステムにおいて、前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルである、システム。

【請求項28】

請求項１６のコンピュータ化されたシステムにおいて、前記所与の画像部分に対応する差分マップは、前記所与の画像部分におけるＤＯＩの存在の部分ごとの確率を示す、システム。

【請求項29】

請求項１６のコンピュータ化されたシステムにおいて、前記所与の画像部分に対応する差分マップは、前記所与の画像部分にＤＯＩが存在するピクセル単位の確率を示す、システム。

【請求項30】

請求項１７のコンピュータ化されたシステムにおいて、前記複合差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じる、システム。

【請求項31】

コンピュータによって実行されると前記コンピュータに車両画像比較の方法を実行させる命令を含む非一時的コンピュータ可読記憶媒体であって、前記方法が：
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップであって、前記入力画像は複数の画像部分を含む、ステップと；
参照画像のセットを取得するステップと；
前記複数の画像部分のうちの所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するステップであって、
ｉ）前記参照画像のセットに対応する参照部分候補のセットを取得するステップであって、前記セット内の所与の参照画像ごとに：
前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別するステップであって、前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する、ステップと；
前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得するステップであって、前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示している、ステップと；
前記１つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択するステップとを含む、
取得するステップと、
ｉｉ）前記参照部分候補のセットから最も一致する参照部分を選択するステップとを含む、
検索するステップと；
比較モデルを使用して、前記所与の各画像部分を前記最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生成するステップであって、前記差分マップは、前記所与の画像部分における関心の差（ＤＯＩ）の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを得る、ステップとを含む非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［００１］ここに開示する主題は、一般に、車両画像分析の分野に関連し、より具体的には、車両画像比較のための方法およびシステムに関連する。

【背景技術】

【0002】

［００２］自動車の検査は、通常、技術者によってマニュアルで行われる。マニュアル検査プロセスを支援し、検査の視覚的証拠を提供する目的で車両の画像がキャプチャされることがある。このプロセスは通常、面倒で時間がかかるものである。

【0003】

［００３］場合によっては、車両の画像がキャプチャされ、検査の目的で分析される。画像の見当合わせが、参照画像に対して画像を分析するときに一般的に使用される。この態様での既知の方法は、一般に非効率的で、エラーが発生しやすく、計算コストがかかる。

【発明の概要】

【0004】

［００４］ここに開示する主題の特定の態様によれば、車両画像比較のコンピュータ化された方法が提供され、車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップであって、前記入力画像は複数の画像部分を含む、ステップと；参照画像のセットを取得するステップと；前記複数の画像部分のうちの所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するステップであって、ｉ）前記参照画像のセットに対応する参照部分候補のセットを取得するステップであって、前記セット内の所与の参照画像ごとに：前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別するステップであって、前記参照領域は、前記所与の画像部分よりも小さくないサイズを有するステップと；前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得するステップであって、前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示している、ステップと；前記１つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択するステップとを含む、取得するステップと、ｉｉ）前記参照部分候補のセットから最も一致する参照部分を選択するステップとを含む、検索するステップと；比較モデルを使用して、前記所与の各画像部分を前記最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生成するステップであって、前記差分マップは、前記所与の画像部分における関心の差（ＤＯＩ）の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを得る、ステップとを含む。

【0005】

［００５］上記の特徴に加えて、ここに開示する主題のこの態様による方法は、技術的に可能な任意の所望の組み合わせまたは順列で、以下にリストされる特徴（ｉ）～（ｘｉｖ）のうちの１つまたは複数を含むことができる。
（ｉ）前記方法は、前記複数の差分マップを、前記入力画像内の関心のある差分（difference of interest：ＤＯＩ）の存在の確率を示す複合差分マップへと結合するステップをさらに含み得る。
（ｉｉ）前記複数の画像部分は、スライディングウィンドウを用いて取得することができる。
（ｉｉｉ）前記複数の画像部分は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントへと前記入力画像をセグメント化することによって取得することができる。
（ｉｖ）前記入力画像は、第１の撮像条件で前記撮像装置によって取得することができ、前記参照画像のセット内の少なくとも１つの参照画像は、前記第１の撮像条件とは異なる第２の撮像条件で取得することができ、それによって前記第１および第２の撮像条件の違いに起因する、前記入力画像と少なくとも１つの参照画像との間に誤警報（false alarm：ＦＡ）の差異が生じる。
（ｖ）前記第１および第２の撮像条件は、車両と撮像装置との間の相対位置、照明状態、および車両の速度のうちの１つまたは複数を含むことができる。
（ｖｉ）前記参照画像のセットは、前記入力画像内で車両を一意に識別するインスタンス記述子を使用して取得することができる。
（ｖｉｉ）前記参照画像のセットは、車両の同じインスタンスをキャプチャした画像の第１のセットと、車両に類似のインスタンスをキャプチャした画像の第２のセットを含むグループから選択することができる。
（ｖｉｉｉ）前記画像の第２のセットは、エンコーディングモデルを使用して前記入力画像および候補参照画像のそれぞれのベクトル表現を取得し、前記入力画像のベクトル表現と各参照画像候補との間の類似性メトリックを使用して前記第２の画像セットを選択することによって選択することができる。
（ｉｘ）前記比較モデルは、ＤＯＩを識別し、各画像ペア間の差分マップでＦＡの差異を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルにすることができる。
（ｘ）前記類似性モデルは、見当合わせされた画像から抽出された複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングされた類似性深層学習モデルとすることができ、前記類似性モデルは、画像部分の複数のセットの各セット内の画像部分の各ペア内の類似性を反映するようにトレーニングされる。
（ｘｉ）前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルとすることができる。
（ｘｉｉ）前記所与の画像部分に対応する差分マップは、前記所与の画像部分におけるＤＯＩの存在の部分ごとの確率を示すことができる。
（ｘｉｉｉ）前記所与の画像部分に対応する差分マップは、前記所与の画像部分にＤＯＩが存在するピクセル単位の確率を示すことができる。
（ｘｉｖ）前記複合差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生成することができる。

【0006】

［００６］ここに開示する主題の他の態様によれば、車両画像比較のコンピュータ化されたシステムが提供され、当該システムはＩ／Ｏインターフェースに動作可能に接続されたプロセッサおよびメモリ回路（ＰＭＣ）を具え、前記Ｉ／Ｏインターフェースは車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得し、ここで前記入力画像は複数の画像部分を含んでおり、参照画像のセットを検索するように構成されており；前記ＰＭＣは：前記複数の画像部分の所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するように構成され、これにはｉ）前記参照画像のセットに対応する参照部分候補のセットを取得することであって、前記セット内の所与の参照画像ごとに：前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別すること、ここで前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する；前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得すること、ここで前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示す；および、前記１つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択することと、ｉｉ）前記参照部分候補のセットから最も一致する参照部分を選択し、比較モデルを使用して、前記所与の各画像部分を最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生じさせ、ここで前記差マップは、前記所与の画像部分における関心の差（ＤＯＩ）の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを生成することと、が含まれる。

【0007】

［００７］開示された主題のこの態様は、技術的に可能である任意の所望の組み合わせまたは順列において、必要な変更を加えて、方法に関して上記列挙された特徴（ｉ）～（ｘｉｖ）のうちの１つ以上を含み得る。

【0008】

［００８］ここに開示する主題の他の態様によれば、コンピュータによって実行されると、当該コンピュータに車両画像比較の方法を実行させる命令のプログラムを具体的に担持する非一時的なコンピュータ可読記憶媒体が提供され、この方法は：車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップであって、前記入力画像は、複数の画像部分を含むステップと；参照画像のセットの検索するステップと；前記複数の画像部分の所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するステップとを含み、これにはｉ）前記参照画像のセットに対応する参照部分候補のセットを取得することであって、前記セット内の所与の参照画像ごとに：前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別すること、ここで前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する；前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得すること、ここで前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示す；および、前記１つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択することと、ｉｉ）前記参照部分候補のセットから最も一致する参照部分を選択し、比較モデルを使用して、前記所与の各画像部分を最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生じさせ、ここで前記差マップは、前記所与の画像部分における関心の差（ＤＯＩ）の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを生成することと、が含まれる。

【0009】

［００９］開示された主題のこの態様は、技術的に可能である任意の所望の組み合わせまたは順列において、必要な変更を加えて、方法に関して上記列挙された特徴（ｉ）～（ｘｉｖ）のうちの１つ以上を含み得る。

【図面の簡単な説明】

【0010】

［００１０］本発明を理解し、それが実際にどのように実行されるかを理解するために、添付の図面を参照して、非限定的な例としてのみ実施形態を説明する。

【図1】［００１１］図１は、ここに開示する主題の特定の実施形態による、車両画像を比較することができるコンピュータ化されたシステムのブロック図を概略的に示す。

【図2】［００１２］図２は、ここに開示する主題の特定の実施形態による車両画像比較の一般化されたフローチャートを示す。

【図3】［００１３］図３は、本開示の主題の特定の実施形態による参照選択の一般化されたフローチャートを示す。

【図4】［００１４］図４は、ここに開示する主題の特定の実施形態による、入力画像および対応するセグメントの例を示す。

【図5】［００１５］図５は、ここに開示する主題の特定の実施形態による、複合差分マップおよび対応する入力画像の例を示す。

【図6】［００１６］図６は、ここに開示する主題の特定の実施形態による、入力画像内の所与の画像部分に最も一致する参照部分を選択する概略例を示している。

【発明を実施するための形態】

【0011】

［００１７］以下の詳細な説明では、本発明の完全な理解を提供するために、多くの特定の詳細が示されている。しかしながら、当業者、ここに開示する主題がこれらの特定の詳細なしで実施され得ることを理解するであろう。他方、ここに開示する主題を曖昧にしないように、周知の方法、手順、構成要素、および回路は詳細に説明されていない。

【0012】

［００１８］特に明記しない限り、以下の説明から明らかなように、明細書の記載を通して、「取得する」、「比較する」、「検索する（retrieving）」、「キャプチャする」、「セグメント化する」、「生成する」、「使用する」、「検索する」、「提供する」、「組み合わせる」、「識別する」、「生じさせる」、「エンコーディングする」、「選択する」、「トレーニングする」、「除外する」、「検索する（searching）」などは、データを操作および／または他のデータに変換するコンピュータの動作および／またはプロセスをいい、前記データは、物理的なもの、例えば電子的なもの、量、および／または前記物理的なものを表すデータとして表され、前記データは、前記物理的なものを表す。「コンピュータ」という用語は、非限定的な例として、本願に開示される車両画像比較システムと、その処理およびメモリ回路（ＰＭＣ）とを含む、データ処理機能を備えたあらゆる種類のハードウェアベースの電子デバイスを包含すると広範に解釈されるべきである。

【0013】

［００１９］本明細書の教示による動作は、所望の目的のために特別に構築されたコンピュータによって、または、非一時的コンピュータ可読記憶媒体に記憶されたコンピュータプログラムによって所望の目的のために特別に構成された汎用コンピュータによって、実行することができる。

【0014】

［００２０］本明細書で使用される「非一時的メモリ」、「非一時的記憶媒体」および「非一時的コンピュータ可読記憶媒体」という用語は、ここに開示する主題に適した揮発性または不揮発性コンピュータメモリを包含するように広範に解釈されるべきである。

【0015】

［００２１］ここに開示する主題の実施形態は、特定のプログラミング言語を参照して説明されていない。本明細書に記載されるように、ここに開示する主題の教示を実施するために、様々なプログラミング言語を使用できることが理解されよう。

【0016】

［００２２］本明細書で使用される場合、「例えば」、「～といった」、「など」という句およびその変形は、ここに開示する主題の非限定的な実施形態を説明するものである。本明細書における「ある場合」、「いくつかの場合」、「他の場合」またはそれらの変形への言及は、実施形態に関連して説明される特定の特徴、構造または特徴が、ここに開示された主題１以上の実施形態に含まれることを意味する。したがって、「ある場合」、「いくつかの場合」、「他の場合」またはそれらの変形という句の出現は、必ずしも同じ実施形態を指すとは限らない。

【0017】

［００２３］特に明記しない限り、別個の実施形態の文脈で説明される、ここに開示する主題の特定の特徴もまた、単一の実施形態で組み合わせて提供され得ることが理解される。逆に、単一の実施形態の文脈で説明される、ここに開示する主題の様々な特徴は、別個に、または任意の適切なサブコンビネーションで提供することもできる。以下の詳細な説明では、方法および装置の完全な理解を提供するために、多くの特定の詳細が示されている。

【0018】

［００２４］本開示の主題の実施形態では、図示される１つまたは複数の工程は、異なる順序で実行することができ、および／または工程の１つ以上のグループは、同時に実行されてもよく、逆もまた同様である。

【0019】

［００２５］これを念頭に置いて、ここに開示する主題の特定の実施形態による、車両画像を比較できるコンピュータ化されたシステムのブロック図を概略的に示す図１に注意が向けられる。

【0020】

［００２６］図１に示されるシステム１００は、コンピュータベースの車両画像比較システムである。システム１００は、ハードウェアベースのＩ／Ｏインターフェース１２０を介して、撮像装置１２０によって取得された入力画像（ターゲット画像とも呼ばれる）を取得するように構成することができる。入力画像は、車両の少なくとも一部をキャプチャする。本明細書で使用される「車両（vehicle）」という用語は、自動車、バス、オートバイ、トラック、列車、および飛行機などを含むがこれらに限定されないあらゆる種類の自動車両を包含するように広範に解釈されるべきであることに留意されたい。本開示は、特定の車両のタイプおよび使用法によっても、静止または動いている車両の状態によっても制限されない。

【0021】

［００２７］撮像装置１２０は、任意の種類の画像取得デバイス、または特定の解像度および周波数で車両画像をキャプチャするために利用可能な画像取得機能を備えた汎用デバイス、例えば、画像および／またはビデオ録画機能を備えるデジタルカメラであり得る。いくつかの実施形態では、撮像装置は、車両に対して所与の相対位置に配置された１つの画像取得デバイスを指すことができる。入力画像は、所与の視点から所与の画像取得デバイスによってキャプチャされた１つまたは複数の画像を意味し得る。いくつかの実施形態では、撮像装置は、異なる視点から画像をキャプチャするために、車両に対して異なる相対位置に配置することができる複数の画像取得ユニットを意味し得る。このような場合、入力画像は、図２を参照して以下でさらに詳細に説明するように、複数の画像取得ユニットのそれぞれまたは少なくともいくつかによって取得された１つまたは複数の画像を指すと理解されるべきである。

【0022】

［００２８］図示のように、システム１００は、Ｉ／Ｏインターフェース１２６および記憶ユニット１２２に機能的に接続された処理およびメモリ回路（ＰＭＣ）１０２を具え得る。ＰＭＣ１０２は、オペレーティングシステム１００に必要なすべての処理を提供するように構成されており、これが図２～３を参照してさらに詳細に説明される。ＰＭＣ１０２は、プロセッサ（別個に図示せず）およびメモリ（別個に図示せず）を具える。ＰＭＣ１０２のプロセッサは、ＰＭＣに含まれる非一時的コンピュータ可読メモリに実装されたコンピュータ可読命令に従って、いくつかの機能モジュールを実行するように構成することができる。そのような機能モジュールは、以下、ＰＭＣに含まれるものとする。本明細書でいうプロセッサという用語は、データ処理機能を備えた任意の処理回路をカバーするように広範に解釈されるべきであり、本開示は、そのタイプまたはプラットフォーム、またはそこに含まれる処理コアの数に限定されないことに留意されたい。場合によっては、システム１００は、１つまたは複数の外部データリポジトリ（別個に図示せず）に機能的に接続することができる。

【0023】

［００２９］ストレージユニット１２２は、以前に処理された（例えば、セグメント化された）車両インスタンスの複数の以前のスキャン／画像を格納するように構成され得る画像データベース１２３を含むことができる。入力画像と比較する目的でＰＭＣ１０２によって検索することができる参照画像として、そこから特定の画像を選択することができる。任意選択で、画像データベースは、システム１００の外部、例えば、外部データリポジトリの１つ、または外部システムまたはプロバイダに常駐することができ、参照画像は、Ｉ／Ｏインターフェース１２０を介して取得することができる。場合によっては、入力画像を事前に取得して、ＰＭＣによって取得することができる画像データベース１２３に格納することができる。

【0024】

［００３０］特定の実施形態では、ＰＭＣ１０２に含まれる機能モジュールは、参照画像選択モジュール１０４、参照部分選択モジュール１０６、および比較モジュール１０８を含み得る。ＰＭＣに含まれる機能モジュールは、互いに機能的に接続されている。参照画像選択モジュール１０４は、画像データベースから、所与の入力画像について比較するために検索される参照画像のセットを選択するように構成することができ、これが図３を参照して以下でさらに詳細に説明される。入力画像は、複数の画像部分を含み得る。参照部分選択モジュール１０６は、複数の画像部分の所与の画像部分ごとに、図２を参照して以下に詳述するように、参照画像のセット内で最も一致する参照部分を検索するように構成することができる。

【0025】

［００３１］比較モジュール１０８は、比較モデルを使用して、所与の各画像部分を最も一致する参照部分と比較し、所与の画像部分に対応する差分マップを生成するように構成することができる。差分マップは、所与の画像部分に関心のある差分（difference of interest：ＤＯＩ）が存在する確率を示し得る。したがって、入力画像の複数の画像部分に対応する複数の差分マップを得ることができる。参照部分の選択と比較の詳細については、図２を参照して以下でさらに詳しく説明する。

【0026】

［００３２］Ｉ／Ｏインターフェース１２０は、入力として、撮像装置からの入力画像および／または画像データベース／データリポジトリからの参照画像を取得し、出力として、その中にＤＯＩが存在する確率を示す入力画像の複数の画像部分に対応する複数の差分マップを提供するように構成することができる。任意選択で、システム１００は、入力および／または出力の表示をユーザにレンダリングするように構成されたグラフィカルユーザインターフェース（ＧＵＩ）１２４をさらに備えることができる。任意選択で、ＧＵＩは、オペレーティングシステム１００に対してユーザ指定の入力を有効にするように構成できる。

【0027】

［００３３］システム１００は、例えば、異常の検査および検出、定期的な点検および保守などのような様々な目的および用途のための車両画像の比較に使用することができる。例として、セキュリティの目的で、システム１００は、違法な密輸品、潜在的な爆発物、および車両に対する目に見える機械的変更の検出に使用することができる。別の例として、一般的な自動車の目的のために、システム１００は、例えば、錆、油漏れ、部品の欠落、タイヤ状態の変化、および凹みや引っかき傷などの機械的損傷の検出に使用することができる。これらの比較および検出アプリケーションは、同じ車両の以前のスキャン、または同様の車両のスキャン（図３を参照して説明）のいずれかに関して実行することができる。本開示は、システムの特定の使用法に制限されないことを理解されたい。

【0028】

［００３４］車両の入力画像を以前の参照のいずれかと比較する場合、比較結果に２種類の差異が表示され得る（例えば、差異マップで表される）。一方のタイプの差異は、損傷、異常、構成要素の不一致、色の変化など、車両自体の実際の物理的変化（参照と比較して）を反映するＤＯＩの差異である。他方のタイプの差異は、車両の実際の変化を示すのではなく、２つの画像（すなわち入力画像と参照画像）が異なる撮像条件下で取得されるという事実に起因する誤警報（ＦＡ）の差異をいう。ＦＡタイプの差異を生じ得る撮像条件は、車両と撮像装置との間の相対位置、照明状態、車両の速度、および撮像装置上に加わったスポット（例えば、汚れ）など、の１以上を含み得る。

【0029】

［００３５］一例として、撮像装置が車両下回りの画像を撮影する地下カメラである場合、車両が２つの異なる相対位置で（例えば、二度目と比較して一度目は車両がカメラのわずかに右側を通っている）、および／または異なる速度でカメラを通過し、取得画像が下回りを異なってキャプチャする場合がある（例えば、画像が異なる角度／視点からとられ、および／または特定の要素／物体が一方の画像には現れるが他方には現れないことから、寸法、スケール、形状などについて同じ構成要素が２つの画像で異なって見える場合がある）。別の例として、２つの画像が撮影される照明条件が異なると、２つの画像の同じ要素の明るさが異なるため、比較結果に影響を与え得る。したがって、車両画像の比較は、上記の要因のために、他のタイプの画像比較と比べて、多くの技術的課題が課される場合がある。

【0030】

［００３６］本明細書で開示されている比較の１つの目標は、比較結果からＦＡの差異を除外しながら、差異のＤＯＩタイプを識別できるようにすることである。前述のように、画像の見当合わせが一般的に画像分析と比較で用いられている。しかしながら、既知の画像の見当合わせ技術はかなり面倒であり、車両画像比較の特定の場合に生じ得る上記の特定の問題を適切に解決することができない。例えば、これらの場合、同じ車両要素が２つの画像で非常に異なって見え、したがって適切に一致／見当合わせされない場合があるため、既知の画像登録手法が適切に機能しない場合がある。

【0031】

［００３７］以下に図２を参照して説明する参照部分の選択と比較、および任意選択で、以下に図３を参照して説明する参照画像選択プロセスを実行することにより、より効率的な比較プロセスとより良い比較結果（すなわち、ＦＡの差異を除外しながらＤＯＩを特定する）を達成することができる。

【0032】

［００３８］また、図１に示されるシステムは、分散コンピューティング環境で実装することができ、図１に示す前述の機能モジュールは、いくつかのローカルおよび／またはリモートデバイスに分散させ、通信ネットワークを介してリンクさせることができる。

【0033】

［００３９］当技術分野に精通している者は、ここに開示する主題の教示が、図１に示されているシステムに拘束されないことを容易に理解するであろう。等価および／または変更された機能を、別の方法で統合または分割することができ、ソフトウェアとファームウェアおよびハードウェアの適切な組み合わせで実装することができる。図１のシステムは、スタンドアロン型のネットワークエンティティにしてもよいし、他のネットワークエンティティと完全にまたは部分的に統合してもよい。当業者はまた、その中のデータリポジトリまたはストレージユニットが他のシステムと共有されてもよいし、第三者の機器を含む他のシステムによって提供されてもよいことを容易に理解するであろう。

【0034】

［００４０］必ずしもそうではないが、システム１００の動作プロセスは、図２～３に関して説明された方法の一部または全部の工程に対応し得る。同様に、図２～３に関して記載された方法およびそれらの可能な実装例は、システム１００に実装することができる。したがって、図２～３に関して説明した方法に関連して説明した実施形態は、必要な変更を加えて、システム１００の様々な実施形態として実装することもでき、その逆も可能である。

【0035】

［００４１］ここで図２を参照すると、ここに開示する主題の特定の実施形態による車両画像比較の一般化されたフローチャートが示されている。

【0036】

［００４２］撮像装置によって取得された入力画像を取得することができる（例えば、図１に示すように、Ｉ／Ｏインターフェイス１２６を介してＰＭＣ１０２によって、または画像データベース１２３から）。この入力画像は、車両の少なくとも一部をキャプチャしている。

【0037】

［００４３］本明細書で使用される「入力画像」または「ターゲット画像」という用語は、１つまたは複数の視点から取得された１つまたは複数の静止画像、所与の視点を構成する映像から取得されたシーケンス／一連の画像／フレーム、および上記いずれかに基づいて生成されたステッチ画像／合成画像、のいずれかを指すように広義に解釈されるべきである。

【0038】

［００４４］前述のように、いくつかの実施形態では、入力画像は、例えば、車両の正面、側面（例えば、左側または右側）、背面、平面、および下面などの所与の視点／ビュー／角度から１つの画像取得デバイスによってキャプチャされた１つまたは複数の画像をいう。したがって、入力画像は、画像が取得される特定の視点、および画像取得デバイスと車両との間の相対位置に応じて、車両外部の少なくとも一部をカバーし得る。例として、車両が通過する通路の地下に埋め込まれた撮像装置は、所与の時間間隔（例えば、毎秒１００～２５０フレーム）で複数の足回り画像をキャプチャすることができる。視野が重なっている複数の下部構造画像を組み合わせて、車両下部構造の単一のステッチ画像を形成することができる。このようなステッチ画像は、通常、比較的高解像度であり、入力画像として使用できる。場合によっては、そのようなステッチ画像は３Ｄ画像であり得る。

【0039】

［００４５］いくつかの実施形態では、入力画像は、車両に対して異なる相対位置に配置された複数の画像取得ユニットのそれぞれによって取得された１つまたは複数の画像を意味し得る。例として、複数の静止画像を異なる視点から取得することができ、システム１００への入力画像として使用し得る複数の静止画像に基づいて１つの合成画像を生成することができる。例えば、車両を囲むカメラを使用することで、３Ｄ車両モデルを作成し、入力画像として使用することができる。３Ｄモデル、ならびに上記の３Ｄ画像は、撮像装置に対するピクセルの相対的または絶対的な深度測定値を示す各ピクセルの追加情報を含むモデルまたは画像を意味し得る。場合により、キャプチャされた複数の２Ｄ画像に基づいて３Ｄモデルまたは画像を作成することができ、１つまたは複数の合成２Ｄ画像を３Ｄモデルまたは画像から抽出することができる。そのような合成２Ｄ画像は、キャプチャされた２Ｄ画像ではなく、本明細書に開示されるような比較システム１００の入力として使用することができる。合成２Ｄ画像は、参照画像に近い／類似した推定された視点から生成できるため、これは、視点の違い（すなわち、視点によって引き起こされる違い）を補正する目的で有利な場合があり、ＦＡタイプの差異を減少することができる。

【0040】

［００４６］任意選択で、上記のようなステッチ画像または合成画像、またはその少なくとも一部を生成する機能を、ＰＭＣ１０２内に統合することができる。あるいは、そのような機能が撮像装置によって提供され、ステッチ画像または合成画像がＩ／Ｏインターフェースを介してＰＭＣに送信されてもよい。

【0041】

［００４７］本開示は、撮影される入力画像の数、タイプ、範囲、および視点によっても、その方法の特定の生成によっても制限されないことを理解されたい。

【0042】

［００４８］入力画像が取得されると、そこから複数の画像部分を導出することができる。一実施形態では、入力画像は、事前定義されたグリッドを使用することによって、複数の画像部分に分割することができる。別の実施形態では、スライディングウィンドウを使用することによって、複数の画像部分を取得することができる。スライディングウィンドウは、事前定義されたサイズを持ち、特定のステップサイズ（例えば、「スライド」ステップごとにスライディングウィンドウが移動する距離）で入力画像内を「スライド」するように構成できる。このステップサイズは、画像部分が互いに重ならないように、または特定の方法で重なるように定義することができる。本開示は、画像部分を取得する特定の方法には限定されない。

【0043】

［００４９］いくつかの実施形態では、複数の画像部分は、セグメンテーションモデルを使用して、入力画像を（例えば、ＰＭＣ１０２のセグメンテーションモジュール（別個に図示せず）によって）車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントにセグメント化することによって得ることができる。これらの入力セグメントは画像部分として用いることができる。車両またはその一部の機械的構成要素への分割は多様であり得ることに留意されたい。例えば、特定の機械的構成要素をさらにサブ構成要素に分割することができる。したがって、画像部分と機械的構成要素との間の対応／マッピングは固定ではなく、適宜適合させることができることが理解されるべきである。例えば、１つの画像部分が１つまたは複数の機械的構成要素に対応してもよいし、あるいは、１つの機械的構成要素が１つまたは複数の画像部分に対応してもよい。本開示は、機械的構成要素の特定の分割、および／または画像部分と機械的構成要素との間の対応によって制限されない。

【0044】

［００５０］図４は、ここに開示する主題の特定の実施形態による入力画像および対応するセグメントの例を示している。図示のように、例示的な入力画像４０４は、車両の下部構造をキャプチャしている。この入力画像４０４は、４０２に示されるように、複数の入力セグメントにセグメント化される。このセグメンテーションは、４０２のセグメントが、排気、燃料タンク、エンジン、ホイール、サスペンション、およびシャーシなどの例示的な機械的構成要素に対応するように実行される。セグメント４０６を例にとると、本例では、排気コンポーネント全体に対応する１つのセグメント４０６が存在する。しかしながら、他の例では、排気は、例えば１つまたは複数の排気管などのサブコンポーネント／部品にさらに分割することができ、これらのセグメントは、サブコンポーネントまたはコンポーネント全体に対応してもよい。

【0045】

［００５１］いくつかの実施形態では、セグメンテーションモデルは機械学習に基づくことができる。例として、セグメンテーションモデルは、例えば、深層学習ニューラルネットワーク（深層ニューラルネットワーク、またはＤＮＮとも呼ばれる）などのセグメンテーション深層学習モデルとして実装することができる。セグメンテーション深層学習モデルは、ＰＭＣ１０２のセグメンテーションモジュール１０６に含まれていると見なすことができる。

【0046】

［００５２］本明細書で言及されるＤＮＮは、それぞれのＤＮＮアーキテクチャに従って編成された複数の層を含む教師ありまたは教師なし（supervised or unsupervised）ＤＮＮを意味し得る。非限定的な例として、ＤＮＮの層は、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ、リカレントニューラルネットワークアーキテクチャ、再帰型ニューラルネットワークアーキテクチャ、ＧＡＮアーキテクチャなどに従って編成することができる。任意選択で、少なくともいくつかの層は、複数のＤＮＮサブネットワークに編成することができる。ＤＮＮの各層は、当技術分野で通常次元、ニューロン、またはノードと呼ばれる複数の基本的な計算要素（ＣＥ）を含むことができる。

【0047】

［００５３］一般に、所与の層のＣＥは、前の層および／または後続の層のＣＥと接続することができる。前の層のＣＥと次の層のＣＥの間の各接続は、重み付け値に関連付けられている。所与のＣＥは、それぞれの接続を介して前の層のＣＥから入力を受け取ることができ、所与の各接続は、所与の接続の入力に適用できる重み付け値に関連付けられている。重み付け値は、接続の相対的な強度を決定し、したがって、特定のＣＥの出力に対するそれぞれの入力の相対的な影響を決定できる。所与のＣＥは、活性化値（入力の加重和など）を計算し、計算された活性化に活性化関数を適用することによって出力をさらに導出するように構成できる。活性化関数は、例えば、アイデンティティ関数、決定論的関数（例えば、線形、シグモイド、閾値など）、確率関数または他の適切な関数であり得る。所与のＣＥからの出力は、それぞれの接続を介して後続の層のＣＥに送信できる。同様に、上記のように、ＣＥの出力での各接続は、後続の層のＣＥの入力として受け取られる前に、ＣＥの出力に適用され得る重み値に関連付けられ得る。重み付け値に加えて、接続とＣＥに関連付けられたしきい値（制限機能を含む）があってもよい。

【0048】

［００５４］ＤＮＮの重み付けおよび／またはしきい値は、トレーニング前に最初に選択でき、トレーニング中にさらに繰り返し調整または変更して、トレーニングされたＤＮＮで重み付けおよび／またはしきい値の最適なセットを実現することができる。各反復の後、ＤＮＮによって生成された実際の出力と、それぞれのトレーニングデータセットに関連付けられたターゲット出力との差を特定することができる。この差がエラー値と呼ばれる。エラー値を示すコスト関数が所定の値よりも小さい場合、または反復間のパフォーマンスの変化が限定された場合に、トレーニングが完了したと判断することができる。任意選択で、ＤＮＮ全体をトレーニングする前に、ＤＮＮサブネットワークの少なくとも一部（存在する場合）を個別にトレーニングしてもよい。

【0049】

［００５５］深層ニューラルネットワークの重み／しきい値を調整するために使用されるＤＮＮ入力データのセットは、以降、トレーニングセットまたはトレーニングデータセットまたはトレーニングデータと呼ばれる。

【0050】

［００５６］ここに開示する主題の教示は、上記のようなＤＮＮアーキテクチャによって限定されないことに留意されたい。

【0051】

［００５７］いくつかの実施形態では、セグメンテーション深層学習モデル（例えば、セグメンテーションＤＮＮ）は、そこに含まれる機械的構成要素に従って、事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングすることができる。トレーニング画像とセグメント化されたラベルは、トレーニングのためにセグメンテーションＤＮＮに入力される。トレーニングプロセスは、モデルを最適化して、入力画像のセグメンテーションラベル（ピクセル単位のセグメンテーションラベルなど）を正しく予測できるようにすることである。場合によっては、様々なタイプの車両の画像をカバーする様々なトレーニングデータセットを提供して、実行時に入力される様々なタイプの車両をセグメント化できるようにモデルをトレーニングする必要がある。

【0052】

［００５８］図２のフローを続けると、参照画像のセットを検索することができる（２０６）（例えば、ＰＭＣ１０２の参照選択モジュール１０４によって）。

【0053】

［００５９］ここで図３を参照すると、ここに開示する主題の特定の実施形態による参照選択の一般化されたフローチャートが示されている。

【0054】

［００６０］参照画像のセットは、インスタンス記述子を用いて選択される。インスタンス記述子は、画像内の車両インスタンスの一意の識別子であり得る。例として、インスタンス記述子は、ナンバープレート認識を使用して取得／生成することができる。別の例として、識別子の手動入力をインスタンス記述子として使用することができる。場合によっては、画像内の車両インスタンスの特定の特徴を表すフィンガープリントを作成して、インスタンス記述子として使用することができる。例として、この特定の特徴は、例えば、形状、サイズ、要素の位置、および要素間の幾何学的関係および相対位置など、画像内の要素／コンポーネント／パターンの１つまたは複数の構造的特徴に関連し得る。追加的または代替的に、入力画像の取得の場所および時間も、識別子情報の一部として使用することができる。したがって、上記の方法のいずれかを使用して、入力画像に対して特定のインスタンス記述子が取得される（３０１）。

【0055】

［００６１］特定のインスタンス記述子の検索が、画像データベース（例えば、図１の画像データベース１２３）で実行され（３０２）、ここには様々な車両インスタンス（すなわち、候補参照画像）の以前のスキャンがそれに関連付けられた固有のインスタンス記述子とともに保存されている。この検索は、入力画像内の特定の車両インスタンス（特定のインスタンス記述子によって表される）がデータベース内で見つかるかどうか（３０４）を判別するためである。特定のインスタンスが見つかった場合、同じ特定のインスタンス記述子に関連付けられ、したがって同じ車両インスタンスをキャプチャした第１の画像セットが取得され、入力画像と比較するための参照画像として使用される（３０６）。特定のインスタンスが見つからない場合（あるいは、参照が少なすぎる、参照のスキャン品質が低い、ビューの視点が悪いなど、３０６で見つかった参照が不十分な場合）、類似性メトリックを用いて代替または追加の参照（すなわち、類似の車両インスタンスをキャプチャする２番目の画像セット）を探すことができる。

【0056】

［００６２］具体的には、エンコーディングモデルを使用して、入力画像および候補参照画像のそれぞれのベクトル表現を取得することができる（３０８）。いくつかの実施形態では、エンコーディングモデルは、機械学習に基づくことができる。例として、エンコーディングモデルは、例えば、エンコーディングＤＮＮなどのエンコーディング深層学習モデルとして実装することができる。エンコーディングＤＮＮは、ＰＭＣ１０２の参照選択モジュール１０４に含まれると見なすことができる。ＤＮＮアーキテクチャと実装の一般的な説明は上記で詳細に説明されているため、説明を簡潔かつ簡潔にするために、ここでは繰り返さないことにする。

【0057】

［００６３］入力画像のベクトル表現と各候補参照画像との間の類似性メトリックを使用して、類似の車両インスタンスをキャプチャする画像の第２のセットを選択することができる（３１０）。類似性メトリックは、任意の距離関数（例えば、Ｌ１ノルム、Ｌ２ノルムなど）など、２つのオブジェクト／インスタンス間の類似性を定量化するために使用できる任意の既知の尺度または関数であり得る。具体的には、エンコーディングＤＮＮは、すべての類似インスタンスのベクトル表現間の距離が、非類似インスタンスまでの距離よりも小さくなるようにトレーニングおよび最適化できる。

【0058】

［００６４］車両画像比較の上記の技術的課題のため、入力画像が第１の撮像条件で撮像装置によって取得され、参照画像のセット内の１以上の参照画像が第１の撮像条件とは異なる第２の撮像条件で取得されたものと認識することができ、それによって、第１の撮像条件と第２の撮像条件との違いに起因する入力画像と１以上の参照画像との間に誤警報（ＦＡ）の差が生じる。このため、理想的な比較結果を得るには、ＦＡの差を排除してＤＯＩを特定する必要がある。

【0059】

［００６５］図２のフローチャートに戻ると、複数の画像部分の所与の画像部分ごとに、参照画像のセット内で（例えば、ＰＭＣ１０２の参照部分選択モジュール１０６によって）最も一致する参照部分を検索することができる（２０５）。具体的には、参照画像のセットに対応する参照部分候補のセットを取得することができ（２０６）、これは、セット内の所与の参照画像ごとに、入力画像内の所与の画像部分の位置に応じて所与の参照画像内の参照領域を同定する（２０８）。この参照領域は、所与の画像部分よりも小さくないサイズを有する。所与の画像部分と参照領域の類似性モデルを使用して、参照領域内の１つまたは複数のそれぞれの位置を有する１つまたは複数の参照画像部分に対応する１つまたは複数のセクションを含む類似性マップを取得する（２１０）。この類似性マップの各セクションは、所与の画像部分とそれぞれの参照画像部分との間の類似性を示す。そして、１つまたは複数の参照画像部分から、所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択する（２１２）。２０８、２１０、および２１２を関して説明した動作が、セット内の各参照画像に対して繰り返され、それによって参照部分候補のセットが得られる。この参照部分候補のセットから最も一致する参照部分を選択することができる（２１４）。

【0060】

［００６６］図６を参照すると、ここに開示する主題の特定の実施形態による、入力画像内の所与の画像部分に最も一致する参照部分を選択するステップの概略例を示す。

【0061】

［００６７］図６には、入力画像について選択された参照画像のセット内の、入力画像６０２および所与の参照画像６０４が例示されている。（入力画像６０２に含まれる複数の画像部分のうちの）所与の画像部分６０６について、入力画像内の所与の画像部分６０６の位置に従って、所与の参照画像６０４内で参照領域６０７が同定され得る（例えば、左コーナーまたはセンター位置の相対座標、あるいは所与の画像部分の他の適切な基準点に基づいて）。本例では、参照領域６０７のサイズは、ここから参照画像部分を選択するための比較的大きな領域を提供するように、画像部分６０６よりも大きいものとして示されている。画像部分６０６および参照領域６０７は、類似性モデル６１０への入力として提供され、類似性マップ６１２が得られる。

【0062】

［００６８］類似性マップ６１２は、参照領域６０７内のそれぞれの位置を有する複数の参照画像部分に対応する複数のセクションを含む。類似性マップ６１２の各セクションは、所与の画像部分６０６と、参照領域６０７内の複数の参照画像部分のそれぞれの参照画像部分との間の類似性を示す。複数の参照画像部分は、画像部分のサイズおよび特定のステップサイズを有するスライディングウィンドウ６０８を用いて参照領域６０７から識別され、したがって参照領域内の異なる位置を有すると見なすことができる。例えば、類似性マップ６１２のセクション６１４は、特定の参照画像部分６１６に対応し、参照画像部分６１６と所与の画像部分６０６との間の類似性のレベルを示すことができる（例えば、図では０．８として示される）。この類似性は、［０，１］の範囲内の数値で表すことができ、１は最も類似または同一であることを示し、０はそうでないことを示す。上記の代わりに、類似性および／または範囲の他の種類の表現を使用できることが理解されよう。

【0063】

［００６９］セクション６１４が類似性マップにおいて最良の類似性を有すると仮定すると、参照画像部分６１６が、所与の参照画像６０４の参照部分候補として選択される。同様に、残りの参照画像のそれぞれに対して１つの参照部分候補が選択される。参照部分候補のセットから最も一致する参照部分を選択して、最も類似性の高いものとすることができる。

【0064】

［００７０］類似性マップ６１２は、セクション６１４などの複数のセクションを含むものとして図示されているが、これは例示のみを目的としていることに留意されたい。ここでのセクションという用語は、物理的な領域を持つセクションに限定されると解釈されるべきではない。類似性マップが特定の参照画像部分に対応する１つまたは複数の類似性表示を提供できる限り、類似性マップおよびそのセクションを表す他の方法を、上記の代わりに使用することができる。例として、類似性マップは、それぞれが参照領域内の特定の画像部分にリンクされた類似性値（すなわち、セクション）のリストまたはベクトルとして実装することができる。

【0065】

［００７１］特に、類似性マップを導出するために類似性モデルが使用される。いくつかの実施形態では、類似性モデルは、機械学習に基づくことができる。例として、類似性モデルは、例えば、類似性ＤＮＮなどの類似性深層学習モデルとして実装することができる。類似性ＤＮＮは、ＰＭＣ１０２の参照部分選択モジュール１０６に含まれると見なすことができる。ＤＮＮアーキテクチャと実装の一般的な説明は上記で詳細に説明されているため、説明を簡潔かつ簡潔にするために、ここでは繰り返さない。

【0066】

［００７２］類似性ＤＮＮは、複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングすることができる。これらの画像部分は、密に登録された画像のセットから抽出される（すなわちグラウンドトゥルース登録）。画像部分の各セットは、画像内の特定部分に向けられている。モデルをトレーニングするための入力として、それぞれ異なる画像からの１対の画像部分が提供される。グラウンドトゥルース登録から計算された２つの部分の重なりが、類似性予測のターゲットとなる。類似性モデルは、各入力ペア内の類似性を（例えば、類似性スコアによって）正確に反映できるようにトレーニングすることができる。

【0067】

［００７３］いくつかの実施形態において、画像部分が車両の機械的構成要素に対応する入力セグメントである場合、ブロック２０５に関する上記プロセスを、所与のセグメントに最も一致する参照部分を見つけるために依然として適用することができる。さらなる実施形態では、代替のアプローチを使用してもよい。例えば、参照画像のセットが、そこに含まれる機械的構成要素に対応する参照セグメントへと以前にセグメント化されている場合、参照領域は、対応する参照セグメント（基本的に入力セグメントと同じサイズ）として選択することができ、そのような場合に生成される類似性マップは、対応する参照セグメントが入力セグメントにどれほど類似しているかを反映することができる。その類似性に応じて、参照画像のセットから、すべての参照セグメントの中から最も一致する参照セグメントを選択することができる。

【0068】

［００７４］図２のフローチャートに戻ると、各画像部分について最も一致する参照部分が特定されると、比較モデルを使用して、それぞれの所与の画像部分を最も一致する参照部分と比較し（２１６）、所与の画像部分に対応する差分マップが生成される。この差分マップは、所与の画像部分の関心のある差分（difference of interest：ＤＯＩ）が存在する確率を示し得る。ＤＯＩは、ユーザが関心を持つ差異の種類に関する。いくつかの実施形態では、ＤＯＩは、例えば、引っかき傷のような損傷、疑わしいオブジェクトといった異常、色の変化などを含むがこれらに限定されない、車両自体の物理的変化を表し得る。したがって、入力画像の複数の画像部分に対応する複数の差分マップを得ることができる。

【0069】

［００７５］特に、所与の画像部分を対応する最も一致する参照部分と比較する場合、比較モデルが使用される。いくつかの実施形態では、比較モデルは、機械学習に基づくことができる。例として、比較モデルは、例えば、比較ＤＮＮなどの比較深層学習モデルとして実装することができる。例えば、比較ＤＮＮはシャムニュートラルネットワークとして実装できる。比較ＤＮＮは、ＰＭＣ１０２の比較モジュール１０８に含まれていると見なすことができる。ＤＮＮアーキテクチャと実装の一般的な説明は上記で詳細に説明されているため、説明を簡略かつ簡潔にするために、ここでは繰り返さない。

【0070】

［００７６］比較ＤＮＮは、ＤＯＩの差異が事前に同定されているターゲット画像と参照画像をそれぞれ含む画像ペアのセットで構成されるトレーニングデータセットを使用してトレーニングすることができる。このモデルは、ＤＯＩを識別し、各画像ペア間で生成された差分マップでＦＡの差異を除外できるようにトレーニングされている。いくつかの実施形態では、トレーニングプロセスに提供されるターゲット画像は、合成シミュレーション画像を含み得る。このシミュレーション画像は、疑わしいオブジェクトなど、ターゲット画像に埋め込まれる様々な種類のＤＯＩをシミュレートする目的で生成されるため、ランタイムにそのような異常を識別するようにモデルをトレーニングすることができる。

【0071】

［００７７］いくつかの実施形態では、所与の画像部分に対応する差分マップは、所与の画像部分におけるＤＯＩの存在の部分ごとの確率を示すことができる。例として、部分ごとの確率は、所与の画像部分ごとに［０，１］の範囲内の数値で表すことができ、ここで１は所与の画像部分にＤＯＩが存在する可能性が最も高いことを示し、０はそうでない場合を示す。上記の代わりに、確率および／または範囲の他の種類の表現を使用できることが理解されよう。

【0072】

［００７８］いくつかの実施形態では、所与の画像部分に対応する差分マップは、所与の画像部分にＤＯＩが存在するピクセル単位の確率を示すことができる。例として、ピクセル単位の確率は、所与の画像部分の所与のピクセルごとに［０，１］の範囲内の数値で表すことができ、１は所与のピクセルにＤＯＩが存在する可能性が最も高いことを示し、０はそうでない場合を示す。上記の代わりに、確率および／または範囲の他の種類の表現を使用できることが理解されよう。

【0073】

［００７９］入力画像の複数の画像部分に対応する複数の差分マップが生成されると、複数の差分マップの各差分マップは、個別に（例えば、ＧＵＩ１２４を介して）ユーザに提示してもよいし、あるいは、複数の差分マップを組み合わせて、入力画像全体にＤＯＩが存在する確率を示す複合差分マップを作成し、この複合差分マップをユーザに提示してもよい。いくつかの実施形態では、複合差分マップ内のピクセルの少なくともいくつかは、異なる参照画像との比較から生じる。

【0074】

［００８０］例示目的のために、入力画像に含まれるものとして５つの画像部分１～５があると仮定する。各画像部分について最も一致する参照部分を選択した後、各画像部分は、その最も一致する参照部分とともに比較モデルに入力され、対応する差分マップが生成される。したがって、５つの画像部分に対して５つの差分マップが生成される。５つの差分マップを組み合わせることによって１つの複合差分画像が生成される。したがって、複合差分マップでは、部分１のピクセルは第１の参照からの最も一致する参照部分との比較から生じる場合があり、部分２のピクセルは第２の参照からの最も一致する参照部分との比較から生じる場合がある。

【0075】

［００８１］図５は、ここに開示する主題の特定の実施形態による、複合差分マップおよび対応する入力画像の例を示す。

【0076】

［００８２］例示的な入力画像５０４が図２に示されるようにフローを通過した後、画像部分に対応する複数の差分マップが生成され、次いで、１の複合差分マップ５０２へと結合される。図示のように、２つのＤＯＩ５０６と５０８を、（二乗された）入力画像内の２つの疑わしいオブジェクトに対応する複合差分マップから識別することができる。

【0077】

［００８３］本説明の比較を参照して例示された例および実施形態は、決してすべての可能な代替案を含むものではなく、非限定的な例のみを例示することを意図していることが理解されよう。

【0078】

［００８４］本発明は、その適用において、本明細書に含まれる、または図面に示される説明に記載される詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々な方法で実施および実施することができる。したがって、本明細書で使用される表現および用語は、説明を目的とするものであり、限定的なものと見なされるべきではないことを理解されたい。したがって、当業者は、本開示の基礎となる概念が、ここに開示する主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用できることを理解するであろう。

【0079】

［００８５］本発明によるシステムは、少なくとも部分的に、適切にプログラムされたコンピュータ上に実装され得ることも理解されよう。同様に、本発明は、本発明の方法を実行するためにコンピュータによって読み取り可能であるコンピュータプログラムを企図する。本発明はさらに、本発明の方法を実行するためにコンピュータによって実行可能な命令のプログラムを具体的に体現する非一時的コンピュータ可読メモリまたは記憶媒体を企図する。

【0080】

［００８６］プロセッサに本発明の態様を実行させる非一時的なコンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、これらに限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであり得る。

【0081】

［００８７］この技術分野の当業者は、添付の特許請求の範囲で規定された範囲から逸脱することなく、前述のように本発明の実施形態に様々な修正および変更を適用できることを容易に理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】