特表 2024-502529 遠隔車両損傷評価

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-22

(54)【発明の名称】遠隔車両損傷評価

(51)【国際特許分類】

   G06Q 10/20 20230101AFI20240115BHJP

   G06Q 30/0283 20230101ALI20240115BHJP

   G06T 7/00 20170101ALI20240115BHJP

   G06V 10/40 20220101ALI20240115BHJP

【ＦＩ】

G06Q10/20

G06Q30/0283

G06T7/00 650B

G06V10/40

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023527387

(86)(22)【出願日】2021-11-01

(85)【翻訳文提出日】2023-06-23

(86)【国際出願番号】 US2021072151

(87)【国際公開番号】W WO2022094621

(87)【国際公開日】2022-05-05

(31)【優先権主張番号】63/198,628

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】2017464.5

(32)【優先日】2020-11-04

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．アンドロイド

２．ｉＯＳ

(71)【出願人】

【識別番号】523162948

【氏名又は名称】トラクタブル インク

【氏名又は名称原語表記】ＴＲＡＣＴＡＢＬＥ， ＩＮＣ．

【住所又は居所原語表記】２６ Ｂｒｏａｄ－ｗａｙ， ３ｒｄ Ｆｌｏｏｒ， ｃ／ｏ Ｐｒｉｍａｒｙ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １０００４ ＵＳ

(71)【出願人】

【識別番号】518112239

【氏名又は名称】トラクタブル リミテッド

【氏名又は名称原語表記】ＴＲＡＣＴＡＢＬＥ ＬＴＤ．

(74)【代理人】

【識別番号】100118784

【弁理士】

【氏名又は名称】桂川 直己

(72)【発明者】

【氏名】チャットフィールド ケン

(72)【発明者】

【氏名】ランカ ラズヴァン

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB55

5L049CC15

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA01

5L096FA64

5L096FA67

5L096GA30

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

ユーザデバイスは、車両の一連の画像を捕捉するように構成されたカメラと、第１の視点からの車両の第１の画像を受信し、第１の画像について、第１の画像内に捕捉された車両の１つ以上の部品を分類し、第１の画像について、第１の画像内に表示されている車両の部品を示す第１のグラフィックを生成するように構成されたプロセッサと、第１の画像および第１のグラフィックをプロセッサから受信し、そして車両の第１の画像を、第１の画像内に表示されている車両の部品を示す第１のグラフィックと共に表示するように構成されたディスプレイとを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザデバイスであって、
車両の一連の画像を捕捉するように構成されたカメラと、
プロセッサであって、
第１の視点からの前記車両の第１の画像を受信すること、
前記第１の画像について、前記第１の画像に捕捉された前記車両の１つ以上の部品を分類すること、および
前記第１の画像について、前記第１の画像に表示されている前記車両の前記部品を示す第１のグラフィックを生成すること、を含む動作を実行するように構成された、プロセッサと、
前記第１の画像および前記第１のグラフィックを前記プロセッサから受信し、かつ前記車両の前記第１の画像を、前記第１の画像に表示されている前記車両の前記部品を示す前記第１のグラフィックと共に表示するように構成されたディスプレイと、を備える、ユーザデバイス。

【請求項2】

前記動作が、
ウェブベースのアプリケーションを実行することであって、前記分類することが、前記ウェブベースのアプリケーションによって提供される情報に基づく、実行すること、をさらに含む、請求項１に記載のユーザデバイス。

【請求項3】

前記情報が、前記ユーザデバイス上で実行される分類人工知能（ＡＩ）モデルである、請求項２に記載のユーザデバイス。

【請求項4】

前記第１のグラフィックが、前記第１の画像で識別される各部品に関連する確信度を含む、請求項１に記載のユーザデバイス。

【請求項5】

前記第１の画像に表示されている前記車両の前記部品を示す前記第１のグラフィックが、前記部品のそれぞれを識別するテキストを含む、請求項１に記載のユーザデバイス。

【請求項6】

前記第１の画像に表示されている前記車両の前記部品を示す前記第１のグラフィックが、前記車両の二次元表示を含み、前記画像に表示されている前記部品のそれぞれが、前記車両の前記二次元表示において強調表示される、請求項１に記載のユーザデバイス。

【請求項7】

前記動作が、
第２の視点からの前記車両の第２の画像を受信すること、
前記第２の画像について、前記第１の画像に捕捉された前記車両の１つ以上の部品を分類すること、
前記第２の画像について、前記第２の画像に表示されている前記車両の前記部品を示す第２のグラフィックを生成すること、をさらに含み、
前記ディスプレイが、前記第２の画像および前記第２のグラフィックを前記プロセッサから受信し、かつ前記車両の前記第２の画像を、前記第２の画像に表示されている前記車両の前記部品を示す前記第２のグラフィックと共に表示するようにさらに構成されている、請求項１に記載のユーザデバイス。

【請求項8】

前記ディスプレイが、前記第１のグラフィックを含む前記第１の画像および前記第２のグラフィックを含む前記第２の画像の前記表示を動的に調整する、請求項７に記載のユーザデバイス。

【請求項9】

前記一連の画像がビデオ画像を含み、かつ前記ディスプレイが、前記一連のビデオ画像のそれぞれについて、画像を、対応するグラフィックと共に表示する、請求項１に記載のユーザデバイス。

【請求項10】

前記動作が、
前記車両に対する前記カメラの角度であって、前記第１のグラフィックに表示される、角度を判定すること、をさらに含む、請求項１に記載のユーザデバイス。

【請求項11】

前記動作が、
前記車両の完全な評価を実行するために要求される前記一連の画像を決定することと、
前記ディスプレイ上に表示される、前記一連の画像を収集するように前記ユーザデバイスのユーザに命令する命令を出力することと、をさらに含む、請求項１に記載のユーザデバイス。

【請求項12】

ユーザデバイスであって、
車両の一連の画像を捕捉するように構成されたカメラと、
プロセッサであって、
１つ以上の視点からの前記車両の一連の画像を受信すること、
前記画像のそれぞれについて、前記画像内に捕捉された前記車両の１つ以上の部品を、前記車両の前記部品を識別するための第１の人工知能（ＡＩ）モデルを含むウェブベースのアプリケーションを使用して分類すること、
前記画像のそれぞれについて、前記画像内に捕捉された前記車両の前記分類された１つ以上の部品の損傷の程度を、前記車両の前記損傷を識別するための第２のＡＩモデルを含む前記ウェブベースのアプリケーションを使用して分類すること、および
前記車両の前記１つ以上の部品の前記損傷を修理するための見積もりを生成すること、を含む動作を実行するように構成された、プロセッサと、を備える、ユーザデバイス。

【請求項13】

前記第１のＡＩモデルが、前記画像中の前記車両の複数の部品を識別するためのマルチタスクモデルである、請求項１２に記載のユーザデバイス。

【請求項14】

前記第１および第２のＡＩモデルが、非線形階層的アルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、回帰型ニューラルネットワーク、長短期記憶ネットワーク、多次元畳み込みネットワーク、記憶ネットワーク、完全畳み込みネットワーク、またはゲート付き回帰型ネットワークを含む、請求項１２に記載のユーザデバイス。

【請求項15】

前記第１および第２のＡＩモデルが、前記それぞれの分類に対するそれぞれの確信度を生成する、請求項１２に記載のユーザデバイス。

【請求項16】

前記第１および第２のＡＩモデルが、同じＡＩモデルを含む、請求項１２に記載のユーザデバイス。

【請求項17】

前記ウェブベースのアプリケーションが、前記画像の捕捉を誘導するための情報を前記ユーザデバイスから受信し、前記情報が、高さ情報、距離情報、または車両情報を含む、請求項１２に記載のユーザデバイス。

【請求項18】

前記第１および第２のＡＩモデルが、前記車両のメーカーおよびモデルを含む前記車両の識別特徴に依存しない、請求項１２に記載のユーザデバイス。

【請求項19】

前記プロセッサが、
前記一連の画像の一部分を、さらなる分類のためにリモートサーバに提出することと、
前記リモートサーバから情報を受信して、前記車両の前記損傷を修理するための前記見積もりを通知することと、を含むさらなる動作を実行するように構成されている、請求項１２に記載のユーザデバイス。

【請求項20】

前記プロセッサが、
前記損傷見積もりに対する確信度を生成することと、
前記損傷見積もりに対する前記確信度が所定の閾値を下回る場合、前記ユーザデバイスのユーザに追加の画像を捕捉するように促すことと、を含むさらなる動作を実行するように構成されている、請求項１２に記載のユーザデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

優先権の主張／参照による組み込み
本出願は、２０２０年１０月３０日に出願された、「Ｒｅｍｏｔｅ Ｖｅｈｉｃｌｅ Ｄａｍａｇｅ Ａｓｓｅｓｓｍｅｎｔ」と題する米国仮特許出願第６３／１９８，６２８号、および２０２０年１１月４日に出願された英国特許出願第２０１７４６４．５号に対する優先権を主張するものであり、その両方とも参照により本明細書に組み込まれる。

【背景技術】

【0002】

画像ベースの人工知能（ＡＩ）システムは、車両に対する迅速な損傷の見積もりを提供するために使用され得る。ＡＩシステムは、損傷した車両の画像を受信し、損傷を分類し、損傷の評価、例えば、修理見積額を、専門の査定員の関与を有することなく、ユーザに提供することによって動作し得る。

【0003】

既存のシステムは、車両の画像を受信し、例えば、車のどの部分（例えば、フロントバンパー、フロントガラスなど）が画像に捕捉されているか、車の部品がどの種類の損傷を受けたか、損傷の程度などを判定するための一連の分類器を実行するサーバを含み得る。見積もりを求めるユーザは、例えばカメラを含むユーザデバイス上でモバイルアプリケーションを実行し、見積もりを提供するために必要な情報を捕捉するための命令を受信し得る。例えば、ユーザは、車両の識別情報、例えば、車両識別番号（ＶＩＮ）を手動で提供するように要求され、カメラで撮影された１つ以上の画像に損傷を捕捉するように促され得る。情報がユーザデバイスで捕捉され、サーバに送信されると、サーバはＡＩを実行し、損傷評価および／または見積もりをユーザに返す。

【0004】

一部のシステムでは、画像が損傷を適切に捕捉していない、かつ／または低品質である場合、分類ＡＩは、画像が見積もりを提供するのに不適切であるとみなすことがある。このシナリオでは、ユーザは、追加の画像を提供するように要求され得る。しかしながら、例えば、ユーザがもはや損傷した車の近くにいない場合、かなりの時間を無駄にし得る。

【発明の概要】

【0005】

一部の例示的な実施形態は、車両の一連の画像を捕捉するように構成されたカメラと、動作を実行するように構成されたプロセッサと、ディスプレイとを有するユーザデバイスに関する。動作は、第１の視点からの車両の第１の画像を受信することと、第１の画像について、第１の画像に捕捉された車両の１つ以上の部品を分類することと、第１の画像について、第１の画像に表示されている車両の部品を示す第１のグラフィックを生成することとを含む。ディスプレイは、第１の画像および第１のグラフィックをプロセッサから受信し、車両の第１の画像を、第１の画像に表示されている車両の部品を示す第１のグラフィックと共に表示するように構成される。

【0006】

他の例示的な実施形態は、車両の一連の画像を捕捉するように構成されたカメラと、動作を実行するように構成されたプロセッサとを含むユーザデバイスに関する。動作は、１つ以上の視点からの車両の一連の画像を受信することと、画像のそれぞれについて、画像に捕捉された車両の１つ以上の部品を、車両の部品を識別するための第１の人工知能（ＡＩ）モデルを含むウェブベースのアプリケーションを使用して分類することと、画像のそれぞれについて、画像に捕捉された車両の分類された１つ以上の部品の損傷の程度を、車両の損傷を識別するための第２のＡＩモデルを含むウェブベースのアプリケーションを使用して分類することと、車両の１つ以上の部品の損傷を修理するための見積もりを生成することとを含む。

【図面の簡単な説明】

【0007】

【図1】図１は、本明細書に記載される様々な例示的な実施形態による、人工知能（ＡＩ）ベースのアプリケーションを使用してリアルタイム損傷見積もりを提供するための例示的なユーザデバイスを示す図である。

【図2】図２は、ネットワークを介してサーバと通信する図１のユーザデバイスを含む例示的なシステムを示す図であり、サーバは、ユーザデバイスで実行されるＡＩベースのアプリケーションをホストする。

【図3】図３ａ～図３ｃは、本明細書に記載される様々な例示的な実施形態による、ユーザデバイスのカメラによって視認されている車両の様々な部品を識別するための例示的な動的表示を示す図である。

【図4】図４は、本明細書に記載される様々な例示的な実施形態による、人工知能（ＡＩ）ベースのアプリケーションを使用してリアルタイム損傷見積もりを提供するための例示的な方法を示す図である。

【発明を実施するための形態】

【0008】

例示的な実施形態は、以下の説明および関連する添付図面を参照してさらに理解されてもよく、同様の要素は、同じ参照番号が与えられる。例示的な実施形態は、ユーザデバイスで人工知能（ＡＩ）ベースのアプリケーションを使用してリアルタイム損傷見積もりを提供するためのシステムおよび方法に関する。一部の態様によれば、車両の画像を捕捉するカメラは、ユーザデバイスにおいて動的表示と連動して使用されて、ユーザにフィードバックを提供し、損傷の見積もりを提供するのに十分な品質の画像を捕捉するようにユーザを誘導する。

【0009】

一部の態様によれば、１つ以上の分類ＡＩシステムは、例えば、ユーザデバイス上で実行するように設計されたウェブベースのアプリケーションを介して、ユーザデバイスで実行される。一実施形態では、第１の分類器は、車両のどの部品（複数可）が画像に示されているかを判定するために使用される。別の実施形態では、第２の分類器は、車両に与えられた損傷を判定するために使用される。損傷の判定において、分類器は、損傷の程度の評価を判定してもよく、または可能な修理方法を判定してもよく、これには、部品が修理または交換されるべきかどうか、および修理にどのくらいの工数が必要とされ得るかが含まれる。代替的な実施形態では、単一の分類器が、部品および当該部品に対する損傷を識別するために使用される。分類器のこの組み合わせにより、アプリケーションは、車両に対する損傷の修理に関する全体的または部分的見積もりを即座に作成することができる。追加の分類器および／またはより単純な処理機構を使用して、追加の情報を計算し、それを以下でより詳細に記載される動的表示を介してユーザに任意選択で提供してもよい。

【0010】

本明細書に記載される様々な例示的な実施形態によれば、ユーザデバイスは、アプリケーションを実行し、リアルタイムで損傷見積もりを作成し得る。すなわち、損傷評価は、リモートサーバが画像を受信し、当該サーバにおいて損傷見積もりを行う以前のシステムとは異なり、例えば、ユーザデバイス上で分類ＡＩを実行するように設計されたウェブベースのアプリケーションを介して、ユーザデバイスにおいて実行され得る。

【0011】

本開示全体を通して、用語「画像」は、任意の手段で収集される画像データを指すと理解されるべきである。一例では、画像は、１つ以上のデジタル写真を指し得る。別の例では、画像は、デジタルビデオの一連の１つ以上のフレームであり得る。当業者は、画像データを収集する任意の他の手段を理解するであろう。

【0012】

図１は、本明細書に記載される様々な例示的な実施形態による、人工知能（ＡＩ）ベースのアプリケーションを使用してリアルタイム損傷見積もりを提供するための例示的なユーザデバイス１００を示す。ユーザデバイス１００は、ＡＩベースのアプリケーションを実行するためのプロセッサ１０５を含む。ＡＩベースのアプリケーションは、一実施形態では、サーバ上でホストされ、かつトランシーバ１１５または他の何らかの通信インターフェースを介して、ネットワーク、例えば、無線アクセスネットワーク上でアクセスされるウェブベースのアプリケーションであってもよい。

【0013】

図２は、ネットワーク２０５を介してサーバ２１０と通信するユーザデバイス１００を含む例示的なシステム２００を示し、サーバ２１０は、ユーザデバイス１００において実行されるＡＩベースのアプリケーションをホストする。しかしながら、他の実施形態では、ユーザデバイス１００は、アプリケーションソフトウェアの一部または全部を、ユーザデバイス１００のストレージ１１０に格納してもよい。例えば、一部のウェブベースのアプリケーションでは、ユーザデバイス１００は、アプリケーションソフトウェアの一部をユーザデバイス１００にローカルに格納する一方で、処理の大部分は、リモートサーバ、例えば、サーバ２１０において実行されてもよい。別の例では、ユーザデバイス１００は、ユーザデバイス１００のストレージ１１０にアプリケーション全体を格納してもよいが、これは、ウェブベースのアプリケーションと比較して、著しくより多くのストレージ容量を必要とし得る。

【0014】

ユーザデバイス１００は、以下でさらに詳細に記載される、画像を捕捉するためのカメラ１２０と、アプリケーションインターフェースおよび／または様々な情報が画像上にオーバーレイされている画像を表示するためのディスプレイ１２５とをさらに含む。ユーザデバイス１００は、本明細書に記載される機能を実行するためのハードウェアおよび／またはソフトウェアを有する任意のデバイスであってもよい。一例では、ユーザデバイス１００は、ディスプレイ１２５が位置する面（例えば、前面）とは反対側のユーザデバイス１００の側（例えば、背面）に位置するカメラ１２０を含むスマートフォンであってもよい。ディスプレイ１２５は、例えば、ウェブベースのアプリケーションを介して画像および／または他の情報を表示することに加えてユーザ入力を受信するためのタッチスクリーンであってもよい。

【0015】

本明細書に記載されるシステムは、車両に損傷を受けたユーザが、スマートフォンでアプリケーションを迅速に実行し、当初損傷見積もりをリアルタイムで行うことができるように設計される。分類器に入力される画像の品質は、損傷評価を実行するのに十分高品質な画像を提供するようにユーザを誘導するように、継続的に評価される。

【0016】

一部の例示的な実施形態によれば、アプリケーションは、車両のどの部品が画像に捕捉されたかを判定するための第１の分類器を含む。分類器は、画像を捕捉するユーザデバイスにおいて実行されるため、アプリケーションは、車両のどの部品が現在視認されているかを、実質的にリアルタイムでユーザに動的に示し得る。アプリケーションは、画像中に現在見られるものを識別し、車両のビューが変化すると定期的に表示を更新する動的表示を含む。この動的なビューによる指示は、以下で詳細に論じられる、リアルタイム損傷評価のための様々な用途を有する。

【0017】

分類ＡＩは、非線形階層的アルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、回帰型ニューラルネットワーク、長短期記憶ネットワーク、多次元畳み込みネットワーク、記憶ネットワーク、完全畳み込みネットワーク、またはゲート付き回帰型ネットワークのうちの１つ以上の使用に基づき得る。

【0018】

図３ａ～図３ｃは、本明細書に記載される様々な例示的な実施形態による、ユーザデバイスのカメラによって視認されている車両の様々な部品を識別する例示的な動的表示を示す。図３ａは、車両の前面の画像の例示的な動的表示３００を示し、ユーザは車両の前に位置し、そしてカメラを車両の前面に向かって方向付けている。したがって、画像に示される車両の部品には、フロントガラス、フロントフード、フロントバンパー、フロントグリルなどが含まれる。

【0019】

動的表示３００は、一般的な車両の二次元のグラフィカル図３０５を含む。二次元グラフィック３０５は、車両の側面、前面および後面が車両の中心に対して外向きに展開されて、車両の上方の視界からは通常見えない車両の態様を示す、車両の平面図を表す。二次元グラフィック３０５は、複数のセクションに分割され、各セクションは車両の特定の部品に関する。例えば、グラフィック３０５は、フード、ドア、トランク、テールライトなどに関するセクションを含む。代替的な実施形態では、例えば、タイヤなどの車両の追加の部分がグラフィック３０５に示されてもよい。グラフィック３０５は、概して、アプリケーションの分類器によって識別可能な一般的な車両の部品を示す。

【0020】

アプリケーションは、画像を受信し、分類ＡＩを実行し、そして動的表示によって、車両のどの部品が視認されているかという指示をユーザに返す。ユーザへの指示は、一般的な車両の二次元グラフィック３０５における、車両の所与の部品が画像中にあるという指示を含む。図３ａの例では、現在の画像に捕捉されている車両の部品は、赤色で示されていない車両の残りの部品（画像に捕捉されていない）に対して赤色で示されている。しかしながら、他のやり方を使用して、視認されている車両の部品をユーザに示してもよい。別の方法として、車両のどの部品が現在画像に示されているかをディスプレイに示す代わりに、または示すことに加えて、ディスプレイは、以前に画像に捕捉されており、かつ以前に捕捉された画像のファイルに含まれている車両の部品を示し得る。例えば、一部のシナリオでは、アプリケーションは、車の３６０度のフルビューを要求してもよく、また車の特定の部品が現在または以前の画像に捕捉されている場合、二次元グラフィック３０５は、完全な３６０度のビューがユーザによって捕捉されるまで、車のその部品を赤色で示し続けてもよい。別の実施形態では、動的表示は、以下でさらに記載されるように、アプリケーションセッション中にどの部品がこれまでに捕捉されたかを示し、追加的に、どの部品がカメラによって現在見られているかを示して、ユーザが目的のすべての部品の画像を収集することを補助し得る。

【0021】

深層学習分類器は、一般的に、分類されるデータのタイプに特有の様々なルールに従うパターン認識を使用することによって、ラベル付けされていないデータをラベル付きカテゴリへと仕分けする。分類器は一般的に、分類の確信度（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）に関連する計算を含む。すなわち、分類器は、入力データが正しく分類された確率を出力し得る。この確信度は、画像ごとに生成することができ、または複数の画像に基づく結果の組み合わせに基づくことができる。動的表示の一部の実施形態によれば、車両部品のグラフィカル指示に加えて、分類ＡＩは、画像から正しく分類されている可能性が最も高い車両の部品のリスト３１５を表示する。図３ａの例では、リスト３１５は、画像をビュー内に捕捉したと分類ＡＩが判定した３つの部品、例えば、車両のフロントバンパー、前方フロントガラス、およびグリルを含む。分類における対応する確信度は、列挙された部品の隣に表示され、例えば、フロントバンパーについては０．９９、前方フロントガラスについては０．９９、グリルについては０．９８である。

【0022】

図３ａでは、正しく分類されている可能性が最も高い３つの部品のみがリスト３１５に表示されている。しかしながら、任意の数の部品を列挙することができる。車両の二次元グラフィック３０５に見られるように、車両の追加の部品（例えば、前方ヘッドライトを含む）は、分類ＡＩによって識別されている。図３ｂは、例えば、車の左前方からの同じ車両のビューの表示３２０を示す。この例では、分類ＡＩは、２Ｄグラフィック３２５に示されるように、左フロントドア、左フロントホイールなどを含む車両の様々な部品が画像に示されていると判定している。分類ＡＩは、２Ｄグラフィック３２５の上方のリスト３３５に列挙されるように、１．０の確信度で、左フロントフェンダー、左フロントドア、および左ミラーが画像に示されていると判定している。

【0023】

画像に提供されている車のビューが車の部品を捕捉するのに不適切である場合、分類ＡＩは、視認されている車両部品に対して、より低い程度の確信性（ｃｏｎｆｉｄｅｎｃｅ）を有し得る。図３ｃは、例えば、非常に近距離からの車のビューの表示３４０を示す。動的表示３４０は、ある特定の車両部品が視認されているかどうかを２Ｄグラフィック３４５に示すための閾値確信度を利用し得る。例えば、分類ＡＩによって判定される０．５以上の確信度は、部品が視認されていることを（例えば、２Ｄグラフィック３４５において部品を赤色にすることによって）示すための閾値として使用され得る。図３ｃの表示３４０では、分類ＡＩは、画像に捕捉された車のいずれの部品についてもこの閾値を満たしていない。したがって、２Ｄグラフィック３４５は、いずれの車両部品も、画像中に見られるとは示さない。しかしながら、２Ｄグラフィック３４５の上方に見られるように、最も高い確信度を有する３つの部品は、それらの対応する確信度と共にリスト３５５に依然として列挙される。分類ＡＩは、フロントガラス（０．３９の確信度）、左ミラー（０．３７の確信度）、および左フロントウィンドウ（０．２７の確信度）が画像に示されると判定している。

【0024】

上述したような分類ＡＩは、単独で、さらなる分類器と組み合わせて、かつ／またはより単純な処理機構と組み合わせて、様々な追加の情報を計算し、任意選択でそれを、動的表示を介してユーザに提供してもよい。例えば、車の軸に対するカメラの視点が計算されてもよい。図３ａ～図３ｂでは、この視点は、（２Ｄグラフィック３０５、３２５の平面における）車を囲む円を表す円の縁上のある位置に示される、２Ｄグラフィック３０５、３２５の中心３１０、３３０の小さな白い点によって示される。図３ｃでは、画像が不適切であることから、車の軸に対するカメラの視点が十分な確信性を有してはわからないため、２Ｄグラフィック３４５の中心３５０の円上に白い点は示されていない。

【0025】

別の例では、車両の一連の画像（例えば、ビデオ）が撮影されてもよく、またアプリケーションは、例えば、１つ以上の画像における閾値確信度を使用して、車両のどの部品が捕捉されたかを追跡してもよい。アプリケーションは、車両の３６０度のフルビュー、すなわち、それぞれルーフおよび下部車両部品を捕捉するための高い高さおよび低い高さからの画像を含む、車両全体に対応する画像を要求し、そして十分な画像データが捕捉された時に、ユーザに示してもよい。捕捉された画像データが十分であることは、本明細書で論じられる分類器の結果（例えば、要求された各部品について閾値確信度が満たされている）に基づいて判定することができるか、または車の識別された各部品を包含する画像の数に基づくことが可能である。利用される分類器は、ビデオファイルのマルチフレーム部分の評価など、複数の画像を評価するように訓練されてもよい。別の方法として、アプリケーションは、車両の周囲の設定された角度の数につき一定数の画像を撮影することを要求してもよい。例えば、アプリケーションは、水平面において、車両の周囲の１５～３０度ごとに画像を捕捉することだけでなく、ある特定の具体的な部品（バンパーシルおよびルーフなど）について、高い高さまたは低い高さから一定数のショットを撮影することを要求し得る。

【0026】

以前のシステムは、ユーザによって捕捉された画像の品質によって遅らされる場合があり、例えば、サーバに送信された初期情報が分類ＡＩによって不適切とみなされる場合、かなりの時間が無駄になる場合がある。もはや車の近くにいない場合があるユーザが、さらなるビューを提供するように要求される場合があり、それによってプロセスを最初からやり直す場合がある。対照的に、本明細書に記載される例示的な実施形態は、アプリケーションがユーザに、車に対して特定の角度からの１つ以上の画像を捕捉するようにリアルタイムで促すことを可能にする。例えば、アプリケーションは、１つ以上の車両部品が既存の画像データに適切に捕捉されていないと判定し、車両のどの態様がさらなる記録を必要とするかを、リアルタイムでユーザに示してもよい。本明細書に記載される例示的なシステムでは、ユーザは、捕捉された画像が損傷評価を提供するのに十分となるように、車両の特定の視野角にリアルタイムで誘導され得る。

【0027】

モバイルアプリケーションはまた、それが動作しているモバイルデバイスから、潜在的に高さを含むモバイルデバイスの場所に関するデータも取得し得る。捕捉された画像に基づく、またはアプリケーションによって取得された他の情報からの高さの計算を使用して、アプリケーションは、追加の情報（ルーフ、足回り、またはバンパーカバーおよびドアの下部の画像など）を捕捉するために、カメラの高さを増加または減少するようにユーザを誘導し得る。画像はまた、カメラの車両からの距離を判定するために解析することもできる。別の方法として、この距離は、例えば、モバイルデバイスに埋め込まれているＬＩＤＡＲセンサなどのセンサから取得された情報に基づくことができる。超音波、赤外線、またはＬＥＤ飛行時間（ＴｏＦ）などの他のタイプのセンサからの情報も、距離を判定するために使用され得る。アプリケーションはまた、アプリケーションの損傷評価を提供する能力を改善するために、写真の角度を変更すべきかどうかの判定もし得る。角度は、例えば、車両に対して垂直な画像、車の高さの中間点と同じ高さであるが側面に対して垂直ではない画像、または車の上方の角度からの画像を提供するために、垂直面および／または水平面において調整することができる。

【0028】

好ましい実施形態では、本明細書に記載される分類ＡＩは、評価される車両のメーカー／モデルに依存しない。従前のシステムでは、これらの以前のシステムの分類ＡＩが車両の既知の特性に基づく計算に集中し得るように、ユーザは、車両識別番号（ＶＩＮ）または車両のメーカー／モデルなどの初期情報を手動で入れることを要求され得る。本明細書に記載される例示的なアプリケーションでは、ユーザは、単純にアプリケーションを開き、そして車両に関するいかなる初期情報も入れることなく、車両の画像の捕捉を開始し得る。代替的な実施形態では、セダン、クーペ、トラック、バン、ミニバン、ステーションワゴン、オートバイなどの車両のクラス、または他の何らかの情報は、どの分類ＡＩを使用するかを判定するためにユーザから取得され得る。別の方法として、画像情報に基づいて、車両のクラスを判定するか、または車両のメーカー、モデル、および／もしくは年式を判定することができる分類器を使用してもよい。

【0029】

本明細書に記載される分類ＡＩは、例えば、車両の外部に対する視覚的損傷を評価するための、または即座には見えない場合がある内部損傷を推論するための損傷分類器などのさらなる分類器と組み合わされてもよい。これらの分類器は、部品が修理または交換されるべきかどうか、および修理される場合は、修理のための工数の見積もりを判定し得る。別の方法として、分類器は、損傷を、様々な事前設定された重大度レベルに属するものとして識別し得る。分類器のこの組み合わせにより、アプリケーションは、車両に対する損傷の修理に関する全体的または部分的な当初見積もりを即座に作成し得る。代替的な評価がなされてもよく、これには、例えば、見積もり額の値が閾値額の値を超えるかどうかに基づいて保険請求を行うかどうかの推奨、または修理費用と比較した将来の保険料に及ぼす請求の影響の分析が含まれる。車が現在の状態で運転され得るかどうか、または車が受けた損傷が、修理前の車両の運転を不可能にするほど十分に重大であるかどうかを推奨するために、追加の評価を使用してもよい。損傷が十分に重大である場合、アプリケーションは、レッカー移動サービスに連絡することを推奨してもよい。

【0030】

一部の実施形態では、全体的または部分的見積もりがアプリケーションを介して表示される。これらの全体的または部分的見積もりは、アプリケーション自体における分類器の出力のみに基づいてもよく、または見積もりは、アプリケーションによって取得された画像の少なくとも一部の部分を解析した遠隔分類器から受信した情報に基づいてもよい。一部の実施形態では、撮像された部品の識別、損傷および修理動作の評価、ならびに損傷の全体的または部分的見積もりは、解析される車両のメーカー、モデル、または年式に関する情報なしに評価することができる。

【0031】

内部損傷または機械的損傷の可能性があると分類器が判定する追加の実施形態では、ユーザは、追加の損傷を評価するために、フード、トランク、またはドアなどの車両の部分を開くように促される場合がある。

【0032】

損傷評価にはまた、軽微なまたは審美的損傷の評価も含まれてもよい。これらの評価は、例えば、車両の査定を支援する非修理的状況において使用されてもよい。軽微な損傷の評価は、車両の全体的な状態を判定するために、任意選択で車両に関する他の情報と共に使用されてもよい。これは、再販売市場において、例えば、下取りとして、または私的販売において、車の価値を判定するために使用され得る。別の方法として、これらの評価は、例えば、修理部品としての販売のために車両部品の個々の価値を評価することによって、車の残存価値も判定し得る。これらの分類器は、どの部品に損傷がないかを判定するだけでなく、損傷がある場合に、その部品を販売可能な形態にするのに予想される費用または労働力を決定し得る。

【0033】

さらなる実施形態では、アプリケーションで使用される、含まれている動的分類器は、損傷評価（例えば、部品が損傷しているかどうか、部品が修理されるべきかあるいは交換されるべきかどうか、工数、または損傷の重大度レベル）を行い、そしてこれらの評価について、これらの評価に関連する確信度を生成する。システムは、評価が一定のレベルを下回る確信度を有する部品を識別し、ユーザに、車両のその部分の追加の画像を撮影するように促すことができる。動的表示は、カメラによって現在見られている車両のどの部品が適切なレベルの確信性を有するかを示し得る。動的表示は、そのセッションの早期に捕捉された画像において、車のどの部品が所定のレベルの確信性で損傷評価を有するかをさらに示し得る。これにより、ユーザは、写真の適切な収集のためにどの追加の画像を捕捉する必要があるかを探し出すことができる。

【0034】

この指示は、損傷評価および確信性のレベルに基づいて、任意選択で車両の位置の動的表示を含んで、潜在的な損傷のエリアからカメラをより近くまたはより遠くに移動させる必要性を示し得る。既に獲得された画像、またはその部分を表示することによって、どの部品が追加の画像を必要とするかの指示も提供することができる。カメラをより近くまたはより遠くに移動させる必要性に関する情報は、ＬＩＤＡＲセンサまたは上で論じられた他のセンサのいずれかを使用してモバイルデバイスから取得された情報に基づくことができる。アプリケーションは、カメラをより近くまたはより遠くに移動させるべきであるという一般的な指示を示してもよく、または車両の目的のエリアからの推奨される距離を示してもよい。アプリケーションはまた、推奨も与えてもよく、または損傷評価および確信性のレベルに基づいて、上で論じられたように、様々な角度から追加の画像を撮影するように要求してもよい。

【0035】

車両に関する追加の情報が所望される限りにおいて、この情報は、車両の他の特定の部分、例えばＶＩＮプレート、ナンバープレート、走行距離計、他の場所で提供される他の車両情報、例えば、トリムレベル、塗装色、製造業者、モデル、ＶＩＮ、タイヤ情報に関する情報を含み得る、運転席側のフロントドアジャムに位置する車両に関する情報などの写真を撮影するように促すアプリケーションによって取得され得る。時として、この情報は、フロントドアジャムではなく、ドア、Ａピラー、またはグローブボックスに位置している。加えて、アプリケーションは、運転免許証または保険証の画像を要求し得る。

【0036】

本明細書に記載される分類ＡＩは、モバイルデバイス上で実行するのに十分コンパクトであり、また１つのモデルが複数のタスクを実行できるように、マルチタスク学習を含み得る。以前のシステムでは、例えば、車の各部品に対して専用の分類器が使用され得る（すなわち、フロントガラスが画像に示されているかどうか、フードが画像に示されているかどうかなどを判定する）。しかしながら、スペース上の制約および関係する処理負荷のために、このＡＩアーキテクチャをユーザデバイス上で実行するのは現実的ではない可能性がある。したがって、本明細書に記載されるモデルは、例えば、サーバよりもはるかに限定された能力を有するユーザデバイスに適合するように、以前のシステムとは異なるネットワークアーキテクチャ上で訓練される。したがって、ＡＩは、サーバ上で実行する分類器アーキテクチャよりも堅牢ではない場合があるが、上述したように、ＡＩは、高品質の画像から特徴を正確に分類するほど十分に堅牢であり得る。

【0037】

このシステムの実施形態のいずれも、システムによって捕捉された損傷した車両の画像のさらなる解析に使用され得る、より強力なアーキテクチャ上で実行する別個のＡＩ分類システムと組み合わせて使用することができる。

【0038】

本開示の様々な実施形態では、ユーザは、アプリケーションが実行中かつ車が視認されている間に、車の写真をいつ撮るべきかを手動で判定することができる。別の方法として、システムは、撮像されていない部品の確信度に基づいて写真を撮ることを判定してもよい。加えて、ユーザが手動で、またはシステムが自動で、任意のセッションの部分のビデオを録画してもよい。これらのシナリオでは、確信度は、部品識別もしくは損傷評価、またはその両方の確信度の組み合わせに基づき得る。加えて、個々に撮影された画像、またはビデオのフレームレートは、既に捕捉された画像またはビデオから既に取得された情報に基づいて変更されてもよい。上記の実施形態のいずれも、ビデオまたは静止画像の捕捉を使用して等しく実行することができる。

【0039】

分類器は一般的に、より多くのデータが受信および処理されるにつれ漸進的に学習するように設計され得る。したがって、本明細書に記載される例示的なアプリケーションは、将来の評価のためにモデルを改良するように、その結果を集中型サーバへ定期的に送信してもよい。

【0040】

図４は、本明細書に記載される様々な例示的な実施形態による、人工知能（ＡＩ）ベースのアプリケーションを使用してリアルタイム損傷見積もりを提供するための例示的な方法４００を示す。

【0041】

４０５では、ユーザは、ユーザデバイス、例えばスマートフォン上でアプリケーションを実行する。アプリケーションは、ユーザに、ユーザデバイスのカメラを使用して車両の画像の捕捉を開始するように指示し得る。

【0042】

４１０では、アプリケーションは、カメラによって捕捉された１つ以上の画像を受信し、かつ画像内に捕捉された車両の１つ以上の部品を、１つ以上の分類器を使用して分類する。

【0043】

４１５では、アプリケーションは、上述したように、画像に示されている車両の部品を示す対応するグラフィックと共に、画像を、対応する確信度を有して表示する。ユーザは、追加の画像を捕捉して、損傷解析のために好適な完全な画像セットを提供するように指示されてもよい。

【0044】

４２０では、アプリケーションは、追加の１つ以上の分類器を実行して、画像で識別された部品が受けた損傷を判定する。

【0045】

４２５では、アプリケーションは、損傷評価、例えば、車両の損傷の修理に関する見積もりを生成する。

【0046】

当業者であれば、上述の例示的な実施形態が、任意の好適なソフトウェアもしくはハードウェアの構成またはそれらの組み合わせで実施され得ることを理解するであろう。例示的な実施形態を実施するための例示的なハードウェアプラットフォームとしては、例えば、ｉＯＳ、アンドロイドなどのオペレーティングシステムを有する任意のモバイルデバイスが挙げられる。上述の方法の例示的な実施形態は、コンパイルされた時にプロセッサまたはマイクロプロセッサ上で実行され得る、非一時的コンピュータ可読記憶媒体に格納された数行のコードを含むプログラムとして具現化され得る。

【0047】

本出願は、様々な組み合わせでそれぞれ異なる特徴を有する様々な実施形態を記載したが、当業者であれば、一実施形態の特徴のいずれも、特に否認されないかまたはデバイスの動作もしくは開示された実施形態の記載された機能と機能的または論理的に矛盾しない任意の手段で、他の実施形態の特徴と組み合わせられてもよいことを理解するであろう。

【0048】

例示的な実施形態の趣旨または範囲から逸脱することなく、本開示に様々な修正がなされ得ることは、当業者には明らかであろう。したがって、本開示は、添付の特許請求の範囲およびその均等物の範囲内に含まれることを条件として、例示的な実施形態の修正および変形を網羅することが意図される。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】