特許 7130216 車両画像の比較方法とそのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-26

(45)【発行日】2022-09-05

(54)【発明の名称】車両画像の比較方法とそのシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220829BHJP

【ＦＩ】

G06T7/00 610C

【請求項の数】 29

(21)【出願番号】P 2021501138

(86)(22)【出願日】2019-03-24

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 IL2019050327

(87)【国際公開番号】W WO2019186531

(87)【国際公開日】2019-10-03

【審査請求日】2022-03-18

(31)【優先権主張番号】15/940,172

(32)【優先日】2018-03-29

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520375077

【氏名又は名称】ユーヴイアイ リミテッド

【氏名又は名称原語表記】ＵＶｅｙｅ Ｌｔｄ．

(74)【代理人】

【識別番号】110001302

【氏名又は名称】特許業務法人北青山インターナショナル

(72)【発明者】

【氏名】ヘバー，アミー

(72)【発明者】

【氏名】ヘバー，オハド

(72)【発明者】

【氏名】ボゴモルニー，イリヤ

【審査官】真木 健彦

(56)【参考文献】

【文献】米国特許第０９８８６７７１（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１７／０２９３８９４（ＵＳ，Ａ１）

【文献】欧州特許出願公開第０２９１１１１２（ＥＰ，Ａ１）

【文献】米国特許出願公開第２０１６／０１７８７９０（ＵＳ，Ａ１）

【文献】特開２００４－１９９２３６（ＪＰ，Ａ）

【文献】村瀬 智光，自動車の自動外観検査システム，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ－ＲＯＭ］，日本，画像センシング技術研究会，2014年06月12日，P. IS1-35-1 ～ IS1-35-6

【文献】W.A. Rukshala Harshani;Kaneeka Vidanage，Image processing based severity and cost prediction of damages in the vehicle body: A computational intelligence approach，2017 National Information Technology Conference (NITC)，ＩＥＥＥ，2017年，pp.18-21，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8285649

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両画像比較のコンピュータ化された方法であって：
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップと；
セグメンテーションモデルを使用して、前記車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントに入力画像をセグメント化するステップと；
参照画像のセットを検索するステップであって、このセット内の各参照画像は、１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含んでおり、それによって、前記１以上の入力セグメントの各入力セグメントについて対応する参照セグメントのそれぞれのセットを取得する、ステップと；
前記１以上の入力セグメントに対応する１以上の差分マップを生成するステップであって、所与の入力セグメントごとに：
比較モデルを使用して、前記所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、前記所与の入力セグメントと前記対応する参照セグメントとの間の関心の差（difference of interest：ＤＯＩ）の存在の確率をそれぞれ示す差分マップ候補のセットを生成し、ここで前記ＤＯＩは車両の物理的変化を表し、
前記差分マップ候補のセット内の各差分マップ候補の確率に従って、前記所定の入力セグメントに対応する差分マップを提供し、当該差分マップは、前記所定の入力セグメントにおけるＤＯＩの存在の確率を示す、ステップとを含む方法。

【請求項2】

請求項１のコンピュータ化された方法において、さらに、前記１以上の差分マップを、前記入力画像にＤＯＩが存在する確率を示す複合差分マップに組み合わせるステップを含む方法。

【請求項3】

請求項１のコンピュータ化された方法において、前記入力画像は、第１の撮像条件で前記撮像装置によって取得され、前記参照画像のセット内の１以上の参照画像は、前記第１の撮像条件とは異なる第２の撮像条件で取得され、それによって前記第１および第２の撮像条件の違いに起因する前記入力画像と前記１以上の参照画像との間の誤警報（false alarm：ＦＡ）差が生じる、方法。

【請求項4】

請求項３のコンピュータ化された方法において、前記第１および第２の撮像条件は、前記車両と撮像装置との間の相対位置、照明条件、および前記車両の速度のうちの１つまたは複数を含む、方法。

【請求項5】

請求項１のコンピュータ化された方法において、前記参照画像のセットは、前記入力画像内の車両を一意に識別するインスタンス記述子を使用して検索される、方法。

【請求項6】

請求項５のコンピュータ化された方法において、前記参照画像のセットは、前記車両と同じインスタンスをキャプチャした画像の第１のセットと、前記車両に類似のインスタンスをキャプチャした画像の第２のセットとを含むグループから選択される、方法。

【請求項7】

請求項６のコンピュータ化された方法において、前記画像の第２のセットは、エンコーディングモデルを使用して前記入力画像と候補の参照画像のそれぞれのベクトル表現を取得するステップと、前記入力画像と候補の参照画像のぞれぞれのベクトル表現の間の類似性メトリックを使用して前記第２の画像セットを選択するステップとによって選択される、方法。

【請求項8】

請求項１のコンピュータ化された方法において、前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルである、方法。

【請求項9】

請求項１のコンピュータ化された方法において、前記比較モデルは、ＤＯＩを識別し、各画像ペア間の差分マップ内のＦＡの差を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルである、方法。

【請求項10】

請求項１のコンピュータ化された方法において、前記差分マップ候補のセット内の各差分マップ候補は、前記所与の入力セグメントおよび対応する参照セグメントの間にＤＯＩが存在するセグメントごとの確率を示し、前記提供は、前記セット内の各差分マップ候補の確率ランクに従って、前記差分マップ候補のセットから差分マップを選択することを含む、方法。

【請求項11】

請求項１のコンピュータ化された方法において、前記差分マップ候補のセット内の各差分マップ候補は、前記所与の入力セグメントおよび対応する参照セグメントの間にＤＯＩが存在するピクセルごとの確率を示し、前記提供は、前記セット内の各差分マップ候補の対応するピクセル値に基づいて各ピクセル値が決定される差分マップを生成することを含む、方法。

【請求項12】

請求項１１のコンピュータ化された方法において、前記差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じる、方法。

【請求項13】

請求項１のコンピュータ化された方法において、前記セット内の各参照画像は、１つまたは複数の参照セグメントを含み、前記方法がさらに、各参照画像について、前記入力セグメントと参照セグメントとの間のマッチングを実行して、１以上の入力セグメントに対応する１以上の参照セグメントを識別するステップを含む、方法。

【請求項14】

請求項１３のコンピュータ化された方法において、さらに、前記マッチングでＤＯＩが存在すると識別された１つまたは複数の非マッチング入力セグメントをマーキングするステップを含む、方法。

【請求項15】

車両画像比較のコンピュータ化されたシステムであって、当該システムは、Ｉ／Ｏインターフェースに機能的に接続されたプロセッサおよびメモリ回路（ＰＭＣ）を具え、
前記Ｉ／Ｏインターフェースは、車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するように構成され、
前記ＰＭＣは：
セグメンテーションモデルを用いて、前記入力画像を、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントにセグメント化し；
参照画像のセットを検索し、ここで当該セット内の各参照画像は１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含み、それによって前記１以上の入力セグメントのうちの各入力セグメントについて対応する参照セグメントのそれぞれのセットを取得し；
前記１以上の入力セグメントに対応する１以上の差分マップを生成し、所与の入力セグメントごとに：
比較モデルを使用して、前記所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、前記所与の入力セグメントおよび対応する参照セグメントとの間の関心の差（ＤＯＩ）の存在の確率をそれぞれ示す差分マップ候補のセットを生成し、ここで前記ＤＯＩは車両の物理的変化を表し；
前記差分マップ候補のセット内の各差分マップ候補の確率に従って、前記所与の入力セグメントに対応する差分マップを提供し、ここで前記差分マップは、前記所与の入力セグメントにおけるＤＯＩの存在の確率を示す、ように構成されているコンピュータ化されたシステム。

【請求項16】

請求項１５のコンピュータ化されたシステムにおいて、前記ＰＭＣがさらに、前記１以上の差分マップを、前記入力画像にＤＯＩが存在する確率を示す複合差分マップに組み合わせるように構成されているシステム。

【請求項17】

請求項１５のコンピュータ化されたシステムにおいて、前記入力画像は、第１の撮像条件で前記撮像装置によって取得され、前記参照画像のセット内の１以上の参照画像は、前記第１の撮像条件とは異なる第２の撮像条件で取得され、それによって前記第１および第２の撮像条件の違いに起因する前記入力画像と前記１以上の参照画像との間の誤警報（false alarm：ＦＡ）の差が生じる、システム。

【請求項18】

請求項１７のコンピュータ化されたシステムにおいて、前記第１および第２の撮像条件は、前記車両と撮像装置との間の相対位置、照明条件、および前記車両の速度のうちの１つまたは複数を含む、システム。

【請求項19】

請求項１５のコンピュータ化されたシステムにおいて、前記ＰＭＣはさらに、前記参照画像のセットを、前記入力画像内の車両を一意に識別するインスタンス記述子を使用して検索するように構成されている、システム。

【請求項20】

請求項１９のコンピュータ化されたシステムにおいて、前記参照画像のセットは、前記車両と同じインスタンスをキャプチャした画像の第１のセットと、前記車両に類似のインスタンスをキャプチャした画像の第２のセットとを含むグループから選択される、システム。

【請求項21】

請求項２０のコンピュータ化されたシステムにおいて、前記参照画像のセットは前記画像の第２のセットとして選択され、前記画像の第２のセットは、エンコーディングモデルを使用して前記入力画像と候補の参照画像のそれぞれのベクトル表現を取得することと、前記入力画像と候補の参照画像のぞれぞれのベクトル表現の間の類似性メトリックを使用して前記第２の画像セットを選択することによって選択される、システム。

【請求項22】

請求項１５のコンピュータ化されたシステムにおいて、前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルである、システム。

【請求項23】

請求項１５のコンピュータ化されたシステムにおいて、前記比較モデルは、ＤＯＩを識別し、各画像ペア間の差分マップ内のＦＡの差を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルである、システム。

【請求項24】

請求項１５のコンピュータ化されたシステムにおいて、前記差分マップ候補のセット内の各差分マップ候補は、前記所与の入力セグメントおよび対応する参照セグメントの間にＤＯＩが存在するセグメントごとの確率を示し、前記提供は、前記セット内の各差分マップ候補の確率ランクに従って、前記差分マップ候補のセットから差分マップを選択することを含む、システム。

【請求項25】

請求項１５のコンピュータ化されたシステムにおいて、前記差分マップ候補のセット内の各差分マップ候補は、前記所与の入力セグメントおよび対応する参照セグメントの間にＤＯＩが存在するピクセルごとの確率を示し、前記提供は、前記セット内の各差分マップ候補の対応するピクセル値に基づいて各ピクセル値が決定される差分マップを生成することを含む、システム。

【請求項26】

請求項２５のコンピュータ化されたシステムにおいて、前記差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じる、システム。

【請求項27】

請求項１５のコンピュータ化されたシステムにおいて、前記セット内の各参照画像は、１つまたは複数の参照セグメントを含み、前記ＰＭＣがさらに、各参照画像について、前記入力セグメントと参照セグメントとの間のマッチングを実行して、１以上の入力セグメントに対応する１以上の参照セグメントを識別するように構成されている、システム。

【請求項28】

請求項２７のコンピュータ化されたシステムにおいて、前記ＰＭＣがさらに、前記マッチングでＤＯＩが存在すると識別された１つまたは複数の非マッチング入力セグメントをマーキングするように構成されている、システム。

【請求項29】

コンピュータによって実行されると前記コンピュータに車両画像比較の方法を実行させる命令を含む非一時的コンピュータ可読記憶媒体であって、前記方法が：
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップと、
セグメンテーションモデルを使用して、前記入力画像を、前記車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントにセグメント化するステップと、
参照画像のセットを検索するステップであって、前記セット内の各参照画像は、前記１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含み、それによって、前記１以上の入力セグメントのうちの各入力セグメントの対応する参照セグメントのそれぞれのセットを取得するステップと、
前記１以上の入力セグメントに対応する１以上の差分マップを生成するステップであって、所与の入力セグメントごとに、
比較モデルを使用して、前記所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、前記所与の入力セグメントと対応する参照セグメントとの間の関心の差（ＤＯＩ）の存在の確率をそれぞれ示す差分マップ候補のセットを生成し、前記ＤＯＩは車両の物理的変化を表す、ステップと、
前記差分マップ候補のセット内の各差分マップ候補の確率に従って、前記所与の入力セグメントに対応する差分マップを提供するステップとを含み、前記差分マップは、前記所与の入力セグメントにおけるＤＯＩの存在の確率を示す、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［００１］ここに開示する主題は、一般に、車両画像分析の分野に関し、より具体的には、車両画像の比較方法およびシステムに関する。

【背景技術】

【0002】

［００２］自動車の検査は、通常、技術者がマニュアルで行っている。このマニュアル検査プロセスを支援し、検査の視覚エビデンスを提供する目的で、車両の画像がキャプチャされることがある。このプロセスは通常、面倒で時間がかかる。

【0003】

［００３］場合によっては、車両の画像がキャプチャされ、検査目的で分析される。参照画像に対して画像を分析するときに一般に画像の見当合わせが用いられる。この態様での公知の方法は、一般に非効率的でエラーが発生し易く、計算コストがかかる。

【発明の概要】

【0004】

［００４］ここに開示する主題の特定の態様によれば、車両画像比較のコンピュータ化された方法が提供され、当該方法は：車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップと；セグメンテーションモデルを使用して、前記車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントに入力画像をセグメント化するステップと；参照画像のセットを検索するステップであって、このセット内の各参照画像は、１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含んでおり、それによって、前記１以上の入力セグメントの各入力セグメントについて対応する参照セグメントのそれぞれのセットを取得する、ステップと；前記１以上の入力セグメントに対応する１以上の差分マップを生成するステップであって、所与の入力セグメントごとに、比較モデルを使用して、前記所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、前記所与の入力セグメントと前記対応する参照セグメントとの間の関心の差（ＤＯＩ）の存在の確率をそれぞれ示す差分マップ候補のセットを生成し、ここで前記ＤＯＩは車両の物理的変化を表し、そして、差分マップ候補のセット内の各差分マップ候補の確率に従って、前記所定の入力セグメントに対応する差分マップを提供し、前記差分マップは、前記所定の入力セグメントにおけるＤＯＩの存在の確率を示す、ステップとを含む。

【0005】

［００５］上記の特徴に加えて、ここに開示する主題のこの態様による方法は、技術的に可能な任意の所望の組み合わせまたは順序で、以下に列挙する特徴（ｉ）～（ｘｉｉｉ）のうちの１つまたは複数を含むことができる：
（ｉ）この方法はさらに、前記入力画像にＤＯＩが存在する確率を示す複合差分マップに１以上の差分マップを組み合わせるステップを含むことができる。
（ｉｉ）前記入力画像は、第１の撮像条件で前記撮像装置によって取得することができ、前記参照画像のセット内の１以上の参照画像は、前記第１の撮像条件とは異なる第２の撮像条件で取得することができ、それによって前記第１および第２の撮像条件の違いに起因する前記入力画像と前記１以上の参照画像との間の誤警報（ＦＡ）差が生じる。
（ｉｉｉ）前記第１および第２の撮像条件は、前記車両と撮像装置との間の相対位置、照明条件、および前記車両の速度のうちの１つまたは複数を含むことができる。
（ｉｖ）前記参照画像のセットは、前記入力画像内の車両を一意に識別するインスタンス記述子を使用して検索することができる。
（ｖ）前記参照画像のセットは、前記車両と同じインスタンスをキャプチャした画像の第１のセット、および前記車両に類似のインスタンスをキャプチャした画像の第２のセットを含むグループから選択することができる。
（ｖｉ）前記画像の第２のセットは、エンコーディングモデルを使用して前記入力画像と候補の参照画像のそれぞれのベクトル表現を取得するステップと、前記入力画像と候補の参照画像のぞれぞれのベクトル表現との間の類似性メトリックを使用して前記第２の画像セットを選択するステップとによって選択することができる。
（ｖｉｉ）前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルであり得る。
（ｖｉｉｉ）前記比較モデルは、ＤＯＩを識別し、各画像ペア間の差分マップ内のＦＡ差を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルであり得る。
（ｉｘ）前記差分マップ候補のセット内の各差分マップ候補は、所与の入力セグメントおよび対応する参照セグメントの間にＤＯＩが存在するセグメントごとの確率を示すことができる。この提供は、前記セット内の各差分マップ候補の確率ランクに従って、前記差分マップ候補のセットから差分マップを選択することを含むことができる。
（ｘ）前記差分マップ候補のセット内の各差分マップ候補は、前記所与の入力セグメントおよび対応する参照セグメントの間にＤＯＩが存在するピクセルごとの確率を示すことができる。この提供は、前記セット内の各差分マップ候補の対応するピクセル値に基づいて各ピクセル値が決定される差分マップを生成することを含むことができる。
（ｘｉ）前記差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じ得る。
（ｘｉｉ）前記セット内の各参照画像は、１つまたは複数の参照セグメントを含むことができ、前記方法がさらに、各参照画像について、前記入力セグメントと参照セグメントとの間のマッチングを実行して、１以上の入力セグメントに対応する１以上の参照セグメントを識別することを含むことができる。
（ｘｉｉｉ）前記方法はさらに、前記マッチングでＤＯＩが存在すると識別された１つまたは複数の不一致入力セグメントをマークすることを含むことができる。

【0006】

［００６］ここに開示する主題の他の態様によれば、車両画像比較のコンピュータ化されたシステムが提供され、このシステムは、Ｉ／Ｏインターフェースに機能的に接続されたプロセッサおよびメモリ回路（ＰＭＣ）を具え、ここで前記Ｉ／Ｏインターフェースは、車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するように構成され、前記ＰＭＣは、セグメンテーションモデルを用いて、前記入力画像を、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントにセグメント化し；参照画像のセットを検索し、ここで当該セット内の各参照画像は１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含み、それによって前記１以上の入力セグメントのうちの各入力セグメントについて対応する参照セグメントのそれぞれのセットを取得し；そして、前記１以上の入力セグメントに対応する１以上の差分マップを生成し；当該差分マップは：所与の入力セグメントごとに、比較モデルを使用して、前記所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、前記所与の入力セグメントおよび対応する参照セグメントとの間の関心の差（ＤＯＩ）の存在の確率をそれぞれ示す差分マップ候補のセットを生成し、ここで前記ＤＯＩは車両の物理的変化を表し；そして、前記差分マップ候補のセット内の各差分マップ候補の確率に従って、前記所与の入力セグメントに対応する差分マップを提供し、前記差分マップは、前記所定の入力セグメントにおけるＤＯＩの存在の確率を示す。

【0007】

［００７］開示される主題のこの態様は、技術的に可能である任意の所望の組み合わせまたは順列において、必要な変更を加えて、方法に関して上記に列挙された特徴（ｉ）から（ｘｉｉｉ）のうちの１つ以上を含み得る。

【0008】

［００８］ここに開示する主題の他の態様によれば、コンピュータに実行されると、コンピュータに車両画像比較の方法を実行させる命令のプログラムを具体的に体現する非一時的なコンピュータ可読記憶媒体が提供され、当該方法は、車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップと、セグメンテーションモデルを使用して、前記入力画像を、前記車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントにセグメント化するステップと、参照画像のセットを検索するステップであって、前記セット内の各参照画像は、前記１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含み、それによって、前記１以上の入力セグメントのうちの各入力セグメントの対応する参照セグメントのそれぞれのセットを取得するステップと、前記１以上の入力セグメントに対応する１以上の差分マップを生成するステップであって、当該差分マップは、所与の入力セグメントごとに、比較モデルを使用して、前記所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、前記所与の入力セグメントと対応する参照セグメントとの間の関心の差（ＤＯＩ）の存在の確率をそれぞれ示す差分マップ候補のセットを生成し、前記ＤＯＩは車両の物理的変化を表す、ステップと、前記差分マップ候補のセット内の各差分マップ候補の確率に従って、前記所与の入力セグメントに対応する差分マップを提供するステップとを含み、前記差分マップは、前記所与の入力セグメントにおけるＤＯＩの存在の確率を示す。

【0009】

［００９］開示された主題のこの態様は、技術的に可能である任意の所望の組み合わせまたは順列において、必要な変更を加えて、方法に関して上記に列挙された特徴（ｉ）から（ｘｉｉｉ）のうちの１つ以上を含み得る。

【図面の簡単な説明】

【0010】

［００１０］本発明を理解し、それが実際にどのように実行され得るかを理解するために、複数の実施形態を、非限定的な例としてのみ、添付の図面を参照して説明する。

【図1】［００１１］図１は、ここに開示する主題の特定の実施形態による、車両画像を比較することができるコンピュータ化されたシステムのブロック図を概略的に示す。

【図2】［００１２］図２は、ここに開示する主題の特定の実施形態による、車両画像比較の一般化されたフローチャートを示す。

【図3】［００１３］図３は、ここに開示する主題の特定の実施形態による、参照選択の一般化されたフローチャートを示す。

【図4】［００１４］図４は、ここに開示する主題の特定の実施形態による、入力画像および対応するセグメントの例を示す。

【図5】［００１５］図５は、ここに開示する主題の特定の実施形態による、複合差分マップおよび対応する入力画像の例を示す。

【発明を実施するための形態】

【0011】

［００１６］以下の詳細な説明では、本発明の完全な理解を提供するために、多くの特定の詳細が示されている。しかしながら、ここに開示する主題は、これらの特定の詳細なしで実施され得ることが当業者によって理解されるであろう。他の例では、ここに開示する主題を曖昧にしないように、周知の方法、手順、構成要素、および回路は詳細に説明されていない。

【0012】

［００１７］特に明記しない限り、以下の記載から明らかなように、明細書の説明を通して、「取得する」、「比較する」、「取得する」、「キャプチャする」、「セグメント化する」、「生成する」、「使用する」、「検索する」、「提供する」、「組み合わせる」、「同定する」、「生じさせる」、「エンコードする」、「選択する」、「トレーニングする」、「除外する」、「ランク付けする」などは、データを操作および／または他のデータに変換するコンピュータの動作および／またはプロセスをいい、前記データは、物理的なもの、例えば電子的なもの、量、および／または前記物理的なものを表すデータとして表され、前記データは、前記物理的なものを表す。「コンピュータ」という用語は、非限定的な例として、本願に開示される車両画像比較システムと、その処理およびメモリ回路（ＰＭＣ）とを含む、データ処理機能を備えたあらゆる種類のハードウェアベースの電子デバイスを包含すると広範に解釈されるべきである。

【0013】

［００１８］本明細書の教示による動作は、所望の目的のために特別に構築されたコンピュータによって、または、非一時的コンピュータ可読記憶媒体に記憶されたコンピュータプログラムによって所望の目的のために特別に構成された汎用コンピュータによって、実行することができる。

【0014】

［００１９］本明細書で使用される「非一時的メモリ」、「非一時的記憶媒体」および「非一時的コンピュータ可読記憶媒体」という用語は、ここに開示する主題に適した揮発性または不揮発性コンピュータメモリを包含するように広範に解釈されるべきである。

【0015】

［００２０］ここに開示する主題の実施形態は、特定のプログラミング言語を参照して説明されていない。本明細書に記載されるように、ここに開示する主題の教示を実施するために、様々なプログラミング言語を使用できることが理解されよう。

【0016】

［００２１］本明細書で使用される場合、「例えば」、「～といった」、「など」という句およびその変形は、ここに開示する主題の非限定的な実施形態を説明するものである。本明細書における「ある場合」、「いくつかの場合」、「他の場合」またはそれらの変形への言及は、実施形態に関連して説明される特定の特徴、構造または特徴が、ここに開示された主題１以上の実施形態に含まれることを意味する。したがって、「ある場合」、「いくつかの場合」、「他の場合」またはそれらの変形という句の出現は、必ずしも同じ実施形態を指すとは限らない。

【0017】

［００２２］特に明記しない限り、別個の実施形態の文脈で説明される、ここに開示する主題の特定の特徴もまた、単一の実施形態で組み合わせて提供され得ることが理解される。逆に、単一の実施形態の文脈で説明される、ここに開示する主題の様々な特徴は、別個に、または任意の適切なサブコンビネーションで提供することもできる。以下の詳細な説明では、方法および装置の完全な理解を提供するために、多くの特定の詳細が示されている。

【0018】

［００２３］本開示の主題の実施形態では、図示される１つまたは複数の工程は、異なる順序で実行することができ、および／または工程の１つ以上のグループは、同時に実行されてもよく、逆もまた同様である。

【0019】

［００２４］これを念頭に置いて、ここに開示する主題の特定の実施形態による、車両画像を比較できるコンピュータ化されたシステムのブロック図を概略的に示す図１に注意が向けられる。

【0020】

［００２５］図１に示されるシステム１００は、コンピュータベースの車両画像比較システムである。システム１００は、ハードウェアベースのＩ／Ｏインターフェース１２０を介して、撮像装置１２０によって取得された入力画像（ターゲット画像とも呼ばれる）を取得するように構成することができる。入力画像は、車両の少なくとも一部をキャプチャする。本明細書で使用される用語「車両（vehicle）」とは、自動車、バス、オートバイ、トラック、列車、および飛行機などを含むがこれらに限定されないあらゆる種類の乗り物を包含するように広範に解釈されるべきであることに留意されたい。本開示は、特定の車両のタイプおよび使用法によっても、静止または動いている車両の状態によっても制限されない。

【0021】

［００２６］撮像装置１２０は、任意の種類の画像取得デバイス、または特定の解像度および周波数で車両画像をキャプチャするために利用可能な画像取得機能を備えた汎用デバイス、例えば、画像および／またはビデオ録画機能を備えるデジタルカメラであり得る。いくつかの実施形態では、撮像装置は、車両に対して所与の相対位置に配置された１つの画像取得デバイスを指すことができる。入力画像は、いくつかの実施形態では、所与の視点から所与の画像取得デバイスによってキャプチャされた１つまたは複数の画像をいうことができる。いくつかの実施形態では、撮像装置は、様々な視点から画像をキャプチャするために車両に対して異なる相対位置に配置され得る複数の画像取得ユニットをいうことができる。そのような場合、入力画像は、図２を参照して以下でさらに詳細に説明されるように、複数の画像取得ユニットのそれぞれまたは少なくともいくつかによって取得される、１つまたは複数の画像を指すと理解されるべきである。

【0022】

［００２７］図示のように、システム１００は、Ｉ／Ｏインターフェース１２６および記憶ユニット１２２に機能的に接続された処理およびメモリ回路（ＰＭＣ）１０２を具え得る。ＰＭＣ１０２は、オペレーティングシステム１００に必要なすべての処理を提供するように構成されており、これが図２－３を参照してさらに詳細に説明される。ＰＭＣ１０２は、プロセッサ（別個に図示せず）およびメモリ（別個に図示せず）を具える。ＰＭＣ１０２のプロセッサは、ＰＭＣに含まれる非一時的コンピュータ可読メモリに実装されたコンピュータ可読命令に従って、いくつかの機能モジュールを実行するように構成することができる。このような機能モジュールは、以下、ＰＭＣに含まれるものとする。本明細書でいうプロセッサという用語は、データ処理機能を備えた任意の処理回路をカバーするように広範に解釈されるべきであり、本開示は、そのタイプまたはプラットフォーム、またはそこに含まれる処理コアの数に限定されないことに留意されたい。場合によっては、システム１００は、１つまたは複数の外部データリポジトリ（別個に図示せず）に機能的に接続することができる。

【0023】

［００２８］ストレージユニット１２２は、以前に処理された（例えば、セグメント化された）車両インスタンスの複数の以前のスキャン／画像を格納するように構成され得る画像データベース１２３を含むことができる。入力画像と比較する目的でＰＭＣ１０２によって検索することができる参照画像として、そこから特定の画像を選択することができる。任意選択で、画像データベースは、システム１００の外部、例えば、外部データリポジトリの１つ、または外部システムまたはプロバイダに常駐することができ、参照画像は、Ｉ／Ｏインターフェース１２０を介して取得することができる。場合によっては、入力画像を事前に取得して、ＰＭＣによって取得することができる画像データベース１２３に格納することができる。

【0024】

［００２９］特定の実施形態では、ＰＭＣ１０２に含まれる機能モジュールは、参照選択モジュール１０４、セグメンテーションモジュール１０６、および比較モジュール１０８を含み得る。ＰＭＣに含まれる機能モジュールは、相互に機能的に接続されている。参照選択モジュール１０４は、図３を参照して以下でさらに詳細に説明するように、画像データベースから、所与の入力画像に関して比較するために検索される参照画像のセットを選択するように構成することができる。セグメンテーションモジュール１０６は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントへと入力画像をセグメント化するように構成することができる。いくつかの実施形態では、参照画像のセットは、同様の方法で以前に（例えば、これもセグメンテーションモジュール１０６によって）セグメント化されている。したがって、参照画像の検索時に、それぞれの所与の参照画像は、１つまたは複数の入力セグメントのうちの１以上の入力セグメントに対応する１以上の参照セグメントを含み、それにより、１以上の入力セグメントのうちの各入力セグメントについての対応する参照セグメントのそれぞれのセットを取得する。

【0025】

［００３０］入力セグメントおよび対応する参照セグメントの入力を使用して、比較モジュール１０８は、１以上の入力セグメントに対応する１以上の差分マップを生成するように構成することができる。具体的には、比較モジュール１０８は比較モデルを使用して、所与の入力セグメントごとに、当該所与の入力セグメントを、参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較し、それぞれが所与の入力セグメントおよび対応する参照セグメントの間に関心のある差異（difference of interest：ＤＯＩ）が存在する確率を示す差分マップ候補のセットを生成するように構成できる。ＤＯＩは、車両の物理的変化を表す。次に、比較モジュール１０８は、差分マップ候補のセット内の各差分マップ候補の確率に従って、所与の入力セグメントに対応する差分マップを提供することができる。提供された差分マップは、所与の入力セグメントにＤＯＩが存在する確率を示している。セグメンテーションと比較の詳細については、図２を参照して以下でさらに詳しく説明する。

【0026】

［００３１］Ｉ／Ｏインターフェース１２０は、入力として、撮像装置からの入力画像および／または画像データベース／データリポジトリからの参照画像を取得し、出力として、その中にＤＯＩが存在する確率を示す１以上の入力セグメントに対応する１以上の差分マップを提供するように構成することができる。任意選択で、システム１００は、入力および／または出力をユーザに表示するためにレンダリングするように構成されたグラフィカルユーザインターフェース（ＧＵＩ）１２４をさらに備えることができる。任に選択で、ＧＵＩは、オペレーティングシステム１００に対してユーザ指定の入力を可能にするように構成することができる。

【0027】

［００３２］システム１００は、例えば、異常の検査および検出、定期的な点検および保守などのような様々な目的および用途のための車両画像の比較に使用することができる。例として、セキュリティの目的で、システム１００は、違法な密輸品、潜在的な爆発物、および車両に対する目に見える機械的変更の検出に使用することができる。別の例として、一般的な自動車の目的のために、システム１００は、例えば、錆、油漏れ、部品の欠落、タイヤ状態の変化、および凹みや引っかき傷などの機械的損傷の検出に使用することができる。これらの比較および検出アプリケーションは、同じ車両の以前のスキャン、または同様の車両のスキャン（図３を参照して説明）のいずれかに関して実行することができる。本開示は、システムの特定の使用法に制限されないことを理解されたい。

【0028】

［００３３］車両の入力画像を以前の参照のいずれかと比較する場合、比較結果に２種類の差異が表示され得る（例えば、差異マップで表される）。一方のタイプの差異は、損傷、異常、構成要素の不一致、色の変化など、車両自体の実際の物理的変化（参照と比較して）を反映するＤＯＩの差異である。他方のタイプの差異は、車両の実際の変化を示すのではなく、２つの画像（すなわち入力画像と参照画像）が異なる撮像条件下で取得されるという事実に起因する誤警報（false alarm：ＦＡ）の差異をいう。ＦＡタイプの差異を生じ得る撮像条件は、車両と撮像装置との間の相対位置、照明状態、車両の速度、および撮像装置上に加わったスポット（例えば、汚れ）など、の１以上を含み得る。

【0029】

［００３４］一例として、撮像装置が車両下回りの画像を撮影する地下カメラである場合、車両が２つの異なる相対位置で（例えば、二度目と比較して一度目は車両がカメラのわずかに右側を通っている）、および／または異なる速度でカメラを通過し、取得画像が下回りを異なってキャプチャする場合がある（例えば、画像が異なる角度／視点からとられ、および／または特定の要素／物体が一方の画像には現れるが他方には現れないことから、寸法、スケール、形状などについて同じ構成要素が２つの画像で異なって見える場合がある）。別の例として、２つの画像が撮影される照明条件が異なると、２つの画像の同じ要素の明るさが異なるため、比較結果に影響を与え得る。したがって、車両画像の比較は、上記の要因のために、他のタイプの画像比較と比べて、多くの技術的課題が課される場合がある。

【0030】

［００３５］本明細書で開示されている比較の１つの目標は、比較結果からＦＡの差異を除外しながら、差異のＤＯＩタイプを識別できるようにすることである。前述のように、画像の見当合わせが一般的に画像分析と比較で用いられている。しかしながら、既知の画像の見当合わせ技術はかなり面倒であり、車両画像比較の特定の場合に生じ得る上記の特定の問題を適切に解決することができない。例えば、これらの場合、同じ車両要素が２つの画像で非常に異なって見え、したがって適切に一致／見当合わせされない場合があるため、既知の画像登録手法が適切に機能しない場合がある。

【0031】

［００３６］以下に図２を参照して説明するように、セグメンテーションおよび比較ステップを実行し、任意選択で、以下の図３を参照して説明する参照選択プロセスを実行することにより、より効率的な比較プロセスとより良好な比較結果（すなわち、ＦＡの差異を除外しながらＤＯＩを特定する）を得ることができる。

【0032】

［００３７］また、図１に示されるシステムは、分散コンピューティング環境で実装することができ、図１に示す前述の機能モジュールは、いくつかのローカルおよび／またはリモートデバイスに分散させ、通信ネットワークを介してリンクさせることができる。

【0033】

［００３８］当技術分野に精通している者は、ここに開示する主題の教示が、図１に示されているシステムに拘束されないことを容易に理解するであろう。等価および／または変更された機能を、別の方法で統合または分割することができ、ソフトウェアとファームウェアおよびハードウェアの適切な組み合わせで実装することができる。図１のシステムは、スタンドアロン型のネットワークエンティティにしてもよいし、他のネットワークエンティティと完全にまたは部分的に統合してもよい。当業者はまた、その中のデータリポジトリまたはストレージユニットが他のシステムと共有されてもよいし、第三者の機器を含む他のシステムによって提供されてもよいことを容易に理解するであろう。

【0034】

［００３９］必ずしもそうではないが、システム１００の動作プロセスは、図２～３に関して説明された方法の一部または全部の工程に対応し得る。同様に、図２～３に関して記載された方法およびそれらの可能な実装例は、システム１００に実装することができる。したがって、図２～３に関して説明した方法に関連して説明した実施形態は、必要な変更を加えて、システム１００の様々な実施形態として実装することもでき、その逆も可能である。

【0035】

［００４０］図２を参照すると、ここに開示する主題の特定の実施形態による車両画像比較の一般化されたフローチャートが示されている。

【0036】

［００４１］撮像装置によって取得された入力画像を取得することができる（例えば、図１に示すように、Ｉ／Ｏインターフェイス１２６を介してＰＭＣ１０２によって、または画像データベース１２３から）。この入力画像は、車両の少なくとも一部をキャプチャしている。

【0037】

［００４２］本明細書で使用される「入力画像」または「ターゲット画像」という用語は、１つまたは複数の視点から取得された１つまたは複数の静止画像、所与の視点を構成する映像から取得されたシーケンス／一連の画像／フレーム、および上記いずれかに基づいて生成されたステッチ画像／合成画像、のいずれかを指すように広義に解釈されるべきである。

【0038】

［００４３］前述のように、いくつかの実施形態では、入力画像は、例えば、車両の正面、側面（例えば、左側または右側）、背面、平面、および下面などの所与の視点／ビュー／角度から１つの画像取得デバイスによってキャプチャされた１つまたは複数の画像をいう。したがって、入力画像は、画像が取得される特定の視点、および画像取得デバイスと車両との間の相対位置に応じて、車両外部の少なくとも一部をカバーし得る。例として、車両が通過する通路の地下に埋め込まれた撮像装置は、所与の時間間隔（例えば、毎秒１００～２５０フレーム）で複数の足回り画像をキャプチャすることができる。視野が重なっている複数の下部構造画像を組み合わせて、車両下部構造の単一のステッチ画像を形成することができる。このようなステッチ画像は、通常、比較的高解像度であり、入力画像として使用できる。場合によっては、そのようなステッチ画像は３Ｄ画像であり得る。

【0039】

［００４４］いくつかの実施形態では、入力画像は、車両に対して異なる相対位置に配置された複数の画像取得ユニットのそれぞれによって取得された１つまたは複数の画像を意味し得る。例として、複数の静止画像を異なる視点から取得することができ、システム１００への入力画像として使用し得る複数の静止画像に基づいて１つの合成画像を生成することができる。例えば、車両を囲むカメラを使用することで、３Ｄ車両モデルを作成し、入力画像として使用することができる。３Ｄモデル、ならびに上記の３Ｄ画像は、撮像装置に対するピクセルの相対的または絶対的な深度測定値を示す各ピクセルの追加情報を含むモデルまたは画像を意味し得る。場合により、キャプチャされた複数の２Ｄ画像に基づいて３Ｄモデルまたは画像を作成することができ、１つまたは複数の合成２Ｄ画像を３Ｄモデルまたは画像から抽出することができる。そのような合成２Ｄ画像は、キャプチャされた２Ｄ画像ではなく、本明細書に開示されるような比較システム１００の入力として使用することができる。合成２Ｄ画像は、参照画像に近い／類似した推定された視点から生成できるため、これは、視点の違い（すなわち、視点によって引き起こされる違い）を補正する目的で有利な場合があり、ＦＡタイプの差異を減少することができる。

【0040】

［００４５］任意選択で、上記のようなステッチ画像または合成画像、またはその少なくとも一部を生成する機能を、ＰＭＣ１０２内に統合することができる。あるいは、そのような機能が撮像装置によって提供され、ステッチ画像または合成画像がＩ／Ｏインターフェースを介してＰＭＣに送信されてもよい。

【0041】

［００４６］本開示は、撮影される入力画像の数、タイプ、範囲、および視点によっても、その方法の特定の生成によっても制限されないことを理解されたい。

【0042】

［００４７］入力画像が取得されると、この入力画像は、セグメンテーションモデルを用いて、車両の少なくとも一部に含まれる１つまたは複数の機械的構成要素に対応する１つまたは複数の入力セグメントに（例えば、ＰＭＣ１０２のセグメンテーションモジュール１０６によって）セグメント化（２０４）することができる。車両の機械的構成要素への分割は多様であり得ることに留意されたい。例えば、特定の機械的構成要素をさらにサブ構成要素に分割することもできる。したがって、入力セグメントと機械的構成要素との間の対応／マッピングは固定されず、それに応じて適合させることができることを理解されたい。例えば、１つの入力セグメントは、１つまたは複数の機械的構成要素に対応することができ、あるいは、１つの機械的構成要素が、１つまたは複数の入力セグメントに対応し得る。本開示は、機械的構成要素の特定の分割、および／または入力セグメントと機械的構成要素との間の対応によって限定されない。

【0043】

［００４８］図４は、ここに開示する主題の特定の実施形態による入力画像および対応するセグメントの例を示している。図示のように、例示的な入力画像４０４は、車両の下部構造をキャプチャしている。この入力画像４０４は、４０２に示されるように、複数の入力セグメントにセグメント化される。このセグメンテーションは、４０２のセグメントが、排気、燃料タンク、エンジン、ホイール、サスペンション、およびシャーシなどの例示的な機械的構成要素に対応するように実行される。セグメント４０６を例にとると、本例では、排気コンポーネント全体に対応する１つのセグメント４０６が存在する。しかしながら、他の例では、排気は、例えば１つまたは複数の排気管などのサブコンポーネント／部品にさらに分割することができ、これらのセグメントは、サブコンポーネントまたはコンポーネント全体に対応してもよい。

【0044】

［００４９］いくつかの実施形態では、セグメンテーションモデルは機械学習に基づくことができる。例として、セグメンテーションモデルは、例えば、深層学習ニューラルネットワーク（深層ニューラルネットワーク、またはＤＮＮとも呼ばれる）などのセグメンテーション深層学習モデルとして実装することができる。セグメンテーション深層学習モデルは、ＰＭＣ１０２のセグメンテーションモジュール１０６に含まれていると見なすことができる。

【0045】

［００５０］本明細書で言及されるＤＮＮは、それぞれのＤＮＮアーキテクチャに従って編成された複数の層を含む教師ありまたは教師なし（supervised or unsupervised）ＤＮＮを意味し得る。非限定的な例として、ＤＮＮの層は、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ、リカレントニューラルネットワークアーキテクチャ、再帰型ニューラルネットワークアーキテクチャ、ＧＡＮアーキテクチャなどに従って編成することができる。任意選択で、少なくともいくつかの層は、複数のＤＮＮサブネットワークに編成することができる。ＤＮＮの各層は、当技術分野で通常次元、ニューロン、またはノードと呼ばれる複数の基本的な計算要素（ＣＥ）を含むことができる。

【0046】

［００５１］一般に、所与の層のＣＥは、前の層および／または後続の層のＣＥと接続することができる。前の層のＣＥと次の層のＣＥの間の各接続は、重み付け値に関連付けられている。所与のＣＥは、それぞれの接続を介して前の層のＣＥから入力を受け取ることができ、所与の各接続は、所与の接続の入力に適用できる重み付け値に関連付けられている。重み付け値は、接続の相対的な強度を決定し、したがって、特定のＣＥの出力に対するそれぞれの入力の相対的な影響を決定できる。所与のＣＥは、活性化値（入力の加重和など）を計算し、計算された活性化に活性化関数を適用することによって出力をさらに導出するように構成できる。活性化関数は、例えば、アイデンティティ関数、決定論的関数（例えば、線形、シグモイド、閾値など）、確率関数または他の適切な関数であり得る。所与のＣＥからの出力は、それぞれの接続を介して後続の層のＣＥに送信できる。同様に、上記のように、ＣＥの出力での各接続は、後続の層のＣＥの入力として受け取られる前に、ＣＥの出力に適用され得る重み値に関連付けられ得る。重み付け値に加えて、接続とＣＥに関連付けられたしきい値（制限機能を含む）があってもよい。

【0047】

［００５２］ＤＮＮの重み付けおよび／またはしきい値は、トレーニング前に最初に選択でき、トレーニング中にさらに繰り返し調整または変更して、トレーニングされたＤＮＮで重み付けおよび／またはしきい値の最適なセットを実現することができる。各反復の後、ＤＮＮによって生成された実際の出力と、それぞれのトレーニングデータセットに関連付けられたターゲット出力との差を特定することができる。この差がエラー値と呼ばれる。エラー値を示すコスト関数が所定の値よりも小さい場合、または反復間のパフォーマンスの変化が限定された場合に、トレーニングが完了したと判断することができる。任意選択で、ＤＮＮ全体をトレーニングする前に、ＤＮＮサブネットワークの少なくとも一部（存在する場合）を個別にトレーニングしてもよい。

【0048】

［００５３］深層ニューラルネットワークの重み／しきい値を調整するために使用されるＤＮＮ入力データのセットは、以降、トレーニングセットまたはトレーニングデータセットまたはトレーニングデータと呼ばれる。

【0049】

［００５４］ここに開示する主題の教示は、上記のようなＤＮＮアーキテクチャによって限定されないことに留意されたい。

【0050】

［００５５］いくつかの実施形態では、セグメンテーション深層学習モデル（例えば、セグメンテーションＤＮＮ）は、そこに含まれる機械的構成要素に従って、事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングすることができる。トレーニング画像とセグメント化されたラベルは、トレーニングのためにセグメンテーションＤＮＮに入力される。トレーニングプロセスは、モデルを最適化して、入力画像のセグメンテーションラベル（ピクセル単位のセグメンテーションラベルなど）を正しく予測できるようにすることである。場合によっては、様々なタイプの車両の画像をカバーする様々なトレーニングデータセットを提供して、実行時に入力される様々なタイプの車両をセグメント化できるようにモデルをトレーニングする必要がある。

【0051】

［００５６］図２のフローを続けると、参照画像のセットを検索することができる（２０６）（例えば、ＰＭＣ１０２の参照選択モジュール１０４によって）。

【0052】

［００５７］ここで図３を参照すると、ここに開示する主題の特定の実施形態による参照選択の一般化されたフローチャートが示されている。

【0053】

［００５８］参照画像のセットは、インスタンス記述子を用いて選択される。インスタンス記述子は、画像内の車両インスタンスの一意の識別子であり得る。例として、インスタンス記述子は、ナンバープレート認識を使用して取得／生成することができる。別の例として、識別子の手動入力をインスタンス記述子として使用することができる。場合によっては、画像内の車両インスタンスの特定の特徴を表すフィンガープリントを作成して、インスタンス記述子として使用することができる。例として、この特定の特徴は、例えば、形状、サイズ、要素の位置、および要素間の幾何学的関係および相対位置など、画像内の要素／コンポーネント／パターンの１つまたは複数の構造的特徴に関連し得る。追加的または代替的に、入力画像の取得の場所および時間も、識別子情報の一部として使用することができる。したがって、上記の方法のいずれかを使用して、入力画像に対して特定のインスタンス記述子が取得される（３０１）。

【0054】

［００５９］特定のインスタンス記述子の検索が、画像データベース（例えば、図１の画像データベース１２３）で実行され（３０２）、ここには様々な車両インスタンス（すなわち、候補参照画像）の以前のスキャンがそれに関連付けられた固有のインスタンス記述子とともに保存されている。この検索は、入力画像内の特定の車両インスタンス（特定のインスタンス記述子によって表される）がデータベース内で見つかるかどうか（３０４）を判別するためである。特定のインスタンスが見つかった場合、同じ特定のインスタンス記述子に関連付けられ、したがって同じ車両インスタンスをキャプチャした第１の画像セットが取得され、入力画像と比較するための参照画像として使用される（３０６）。特定のインスタンスが見つからない場合（あるいは、参照が少なすぎる、参照のスキャン品質が低い、ビューの視点が悪いなど、３０６で見つかった参照が不十分な場合）、類似性メトリックを用いて代替または追加の参照（すなわち、類似の車両インスタンスをキャプチャする２番目の画像セット）を探すことができる。

【0055】

［００６０］具体的には、エンコーディングモデルを使用して、入力画像および候補参照画像のそれぞれのベクトル表現を取得することができる（３０８）。いくつかの実施形態では、エンコーディングモデルは、機械学習に基づくことができる。例として、エンコーディングモデルは、例えば、エンコーディングＤＮＮなどのエンコーディング深層学習モデルとして実装することができる。エンコーディングＤＮＮは、ＰＭＣ１０２の参照選択モジュール１０４に含まれると見なすことができる。ＤＮＮアーキテクチャと実装の一般的な説明は上記で詳細に説明されているため、説明を簡潔かつ簡潔にするために、ここでは繰り返さないことにする。

【0056】

［００６１］入力画像のベクトル表現と各候補参照画像との間の類似性メトリックを使用して、類似の車両インスタンスをキャプチャする画像の第２のセットを選択することができる（３１０）。類似性メトリックは、任意の距離関数（例えば、Ｌ１ノルム、Ｌ２ノルムなど）など、２つのオブジェクト／インスタンス間の類似性を定量化するために使用できる任意の既知の尺度または関数であり得る。具体的には、エンコーディングＤＮＮは、すべての類似インスタンスのベクトル表現間の距離が、非類似インスタンスまでの距離よりも小さくなるようにトレーニングおよび最適化できる。

【0057】

［００６２］車両画像比較の上記の技術的課題のため、入力画像が第１の撮像条件で撮像装置によって取得され、参照画像のセット内の１以上の参照画像が第１の撮像条件とは異なる第２の撮像条件で取得されたものと認識することができ、それによって、第１の撮像条件と第２の撮像条件との違いに起因する入力画像と１以上の参照画像との間に誤警報（ＦＡ）の差が生じる。このため、理想的な比較結果を得るには、ＦＡの差を排除してＤＯＩを特定する必要がある。

【0058】

［００６３］選択された参照画像のセットは、そこに含まれる機械的構成要素に対応する参照セグメントへと前もってセグメント化されているため、場合によっては、所与の参照画像の参照セグメントが入力画像の入力セグメントに正確に対応しない可能性がある。例えば、対応する参照セグメントを持たない１以上の入力セグメントが存在する場合や、その逆の場合がある。このような場合、参照セグメントと入力セグメントの間でマッチングを実行する必要があり、非マッチングセグメントから生じる不一致をＤＯＩの差として同定することができる。例えば、マッチングで同定された非マッチング入力セグメント（例えば、参照セグメントと比較した場合の入力画像内の欠落または余分な入力セグメント）を、ＤＯＩの存在としてマークし、ユーザに報告するために比較結果に含めることができる（例えば、ブロック２０８を参照して生成された差分マップと組み合わせることによって）。

【0059】

［００６４］マッチング後に、セット内の各参照画像は、１つまたは複数の入力セグメント（入力画像に含まれる）の１以上の入力セグメントに対応する１以上の参照セグメントを含む。したがって、１以上の入力セグメントの各入力セグメントについて、対応する参照セグメントのそれぞれのセットが得られる。

【0060】

［００６５］図２のフローチャートに戻ると、１以上の入力セグメントに対応する１以上の差分マップを生成することができる（例えば、ＰＭＣ１０２の比較モジュール１０８によって）。具体的には、１以上の差分マップの生成は、所与の入力セグメントごとに、比較モデルを使用して、当該所与の入力セグメントを、その参照セグメントのそれぞれのセット内の対応する各参照セグメントと比較して（２１０）、それぞれが所与の入力セグメントおよび対応する参照セグメントとの間のＤＯＩの存在の確率を示す差分マップ候補のセットを生成し、差分マップ候補のセット内の各差分マップ候補の確率に従って、所与の入力セグメントに対応する差分マップを提供する（２１２）。このＤＯＩは、ユーザが関心を持つ差異の種類を指す。いくつかの実施形態では、ＤＯＩは、例えば引っかき傷のような損傷、疑わしいオブジェクトといった異常、色の変化などを含むがこれらに限定されない、車両自体の物理的変化を表し得る。２１２で得られた差分マップは、特定の入力セグメントにＤＯＩが存在する確率を提供し得る。

【0061】

［００６６］特に、所与の入力セグメントを対応する各参照セグメントと比較する場合、比較モデルが使用される。いくつかの実施形態では、比較モデルは機械学習に基づくことができる。例として、比較モデルは、例えば、比較ＤＮＮなどの比較深層学習モデルとして実装することができる。例えば、比較ＤＮＮはシャムニュートラルネットワークとして実装できる。比較ＤＮＮは、ＰＭＣ１０２の比較モジュール１０８に含まれていると見なすことができる。ＤＮＮアーキテクチャと実装の一般的な説明は上記で詳細に説明されているため、説明を簡潔かつ簡潔にするために、ここでは繰り返さない。

【0062】

［００６７］比較ＤＮＮは、ＤＯＩの差異が事前に同定されているターゲット画像と参照画像をそれぞれ含む画像ペアのセットで構成されるトレーニングデータセットを使用してトレーニングすることができる。このモデルは、ＤＯＩを識別し、各画像ペア間で生成された差分マップでＦＡの差異を除外できるようにトレーニングされている。いくつかの実施形態では、トレーニングプロセスに提供されるターゲット画像は、合成シミュレーション画像を含み得る。このシミュレーション画像は、疑わしいオブジェクトなど、ターゲット画像に埋め込まれる様々な種類のＤＯＩをシミュレートする目的で生成されるため、ランタイムにそのような異常を識別するようにモデルをトレーニングすることができる。

【0063】

［００６８］いくつかの実施形態では、差分マップ候補のセット内の各差分マップ候補は、所与の入力セグメントおよび対応する参照セグメントとの間のＤＯＩの存在のセグメントごとの確率を示し得る。そのような場合、ブロック２１２で提供される差分マップは、セット内の各差分マップ候補の確率のランク付けに従って、差分マップ候補のセットから選択される。例として、セグメントごとの確率は、［０，１］の範囲内の数値で表すことができ、１は所与の入力セグメントにＤＯＩが存在する可能性が最も高いことを示し、０はそうでないことを示す。上記の代わりに、確率および／または範囲の他の種類の表現を使用してもよいことが理解されよう。

【0064】

［００６９］いくつかのさらなる実施形態では、差分マップ候補のセット内の各差分マップ候補は、所与の入力セグメントおよび対応する参照セグメントとの間にＤＯＩが存在するピクセル単位の確率を示すことができる。そのような場合、ブロック２１２で提供される差分マップは、差分マップ候補のセットに基づいて生成される。差分マップの各ピクセル値は、セット内の各差分マップ候補の対応するピクセル値に基づいて決定され得る。同様に、ピクセル単位の確率は、所与の入力セグメントの各ピクセルについて［０，１］の範囲内の数値で表すことができ、１は特定のピクセルにＤＯＩが存在する可能性が最も高いことを示し、０はそうでないことを示す。例として、差分マップ内の所与のピクセル値を、差分マップ候補内のすべての対応するピクセル値から、最良の確率を示すピクセル値として選択することができる。別の例として、ピクセル値を、対応するピクセル値のすべてまたは一部に対して平均化アルゴリズムを使用して生成することができる。この平均化アルゴリズムは、平均、中央値、最頻値などの値のセット間で平均化できる既知の平均化スキームに基づくことができる。そのような場合、各入力セグメントに対して生成された差分マップは、少なくともいくつかのピクセルが異なる参照画像との比較から生じる複合比較結果である可能性がある。例えば、差分マップ内の所与のピクセル値が最良の確率を示す対応するピクセルとして選択される上記の場合、実際には、差分マップ内の各ピクセルは、最高の確率を与えるそれぞれの参照セグメント内の対応するピクセルとの比較から生じる。

【0065】

［００７０］例示のみを目的として、入力画像内の所与の入力セグメントＡに対して参照セグメント１～５のセットが存在すると仮定する。５つの参照のそれぞれと比較した後、ＤＯＩの存在のピクセル単位の確率を示す５つの差分マップ候補が生成される。５つの候補に基づいて差分マップを生成する場合、各ピクセルは、５つの候補の中の５つの対応するピクセルから選択するか、または５つの対応するピクセル値に基づいて生成することができる。前者の場合、得られる差分マップでは、参照３との比較から得られた候補３の対応するピクセルからピクセル１が、そのピクセルがＤＯＩの最高の確率を示すことから選択され、一方で参照５との比較から得られた候補５の対応するピクセルからピクセル２を選択される、などとすることができる。

【0066】

［００７１］各入力セグメントについて差分マップが生成されると、１以上の差分マップの各差分マップを個別にユーザに（例えば、ＧＵＩ１２４を介して）提示するか、あるいは、１以上の差分マップを組み合わせて入力画像全体にＤＯＩが存在する確率を示す複合差分マップへと変換し、この複合差分マップをユーザに提示することができる。場合によっては、上記のマッチングプロセスで識別された非マッチング入力セグメントがある場合、これらの非マッチング入力セグメントを複合差分マップと組み合わせて、レビューのためにユーザに提供することができる。

【0067】

［００７２］図５は、ここに開示する主題の特定の実施形態による、複合差分マップおよび対応する入力画像の例を示す。

【0068】

［００７３］例示的な入力画像５０４が図２に示されるフローを通過した後、セグメント／構成要素に対応する１つまたは複数の差分マップが生成され、次いで、複合差分マップ５０２に結合される。図示のように、２つのＤＯＩ５０６と５０８を、（二乗された）入力画像内の２つの疑わしいオブジェクトに対応する複合差分マップから識別することができる。

【0069】

［００７４］本説明の比較を参照して例示された例および実施形態は、決してすべての可能な代替案を含むものではなく、非限定的な例のみを例示することを意図していることが理解されよう。

【0070】

［００７５］本発明は、その適用において、本明細書に含まれる、または図面に示される説明に記載される詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、様々な方法で実施および実施することができる。したがって、本明細書で使用される表現および用語は、説明を目的とするものであり、限定的なものと見なされるべきではないことを理解されたい。したがって、当業者は、本開示の基礎となる概念が、ここに開示する主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用できることを理解するであろう。

【0071】

［００７６］本発明によるシステムは、少なくとも部分的に、適切にプログラムされたコンピュータ上に実装され得ることも理解されよう。同様に、本発明は、本発明の方法を実行するためにコンピュータによって読み取り可能であるコンピュータプログラムを企図する。本発明はさらに、本発明の方法を実行するためにコンピュータによって実行可能な命令のプログラムを具体的に体現する非一時的コンピュータ可読メモリまたは記憶媒体を企図する。

【0072】

［００７７］プロセッサに本発明の態様を実行させる非一時的なコンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、これらに限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであり得る。

【0073】

［００７８］この技術分野の当業者は、添付の特許請求の範囲で規定された範囲から逸脱することなく、前述のように本発明の実施形態に様々な修正および変更を適用できることを容易に理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】