IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トラクタブル リミテッドの特許一覧

特表2023-528707損傷した車両の修理作業を決定する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-06
(54)【発明の名称】損傷した車両の修理作業を決定する方法
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20230629BHJP
【FI】
G06Q50/10
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022540989
(86)(22)【出願日】2021-01-04
(85)【翻訳文提出日】2022-08-31
(86)【国際出願番号】 GB2021050008
(87)【国際公開番号】W WO2021136939
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】2000076.6
(32)【優先日】2020-01-03
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】2000077.4
(32)【優先日】2020-01-03
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】2007465.4
(32)【優先日】2020-05-19
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】2016723.5
(32)【優先日】2020-10-21
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】63/198,628
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】2017464.5
(32)【優先日】2020-11-04
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】518112239
【氏名又は名称】トラクタブル リミテッド
【氏名又は名称原語表記】TRACTABLE LTD.
(74)【代理人】
【識別番号】100118784
【弁理士】
【氏名又は名称】桂川 直己
(72)【発明者】
【氏名】ランカ ラズヴァン
(72)【発明者】
【氏名】ホルストマン マルセル
(72)【発明者】
【氏名】マットソン ビョルン
(72)【発明者】
【氏名】ウルリッヒ イエント
(72)【発明者】
【氏名】テイ イー カイ
(72)【発明者】
【氏名】チャットフィールド ケン
(72)【発明者】
【氏名】キルシュナー フランツィスカ
(72)【発明者】
【氏名】アクタス ルーセン
(72)【発明者】
【氏名】デキャンプ ローラン
(72)【発明者】
【氏名】アイエル マチュー
(72)【発明者】
【氏名】ペイル ジュリア
(72)【発明者】
【氏名】トリル ショーン
(72)【発明者】
【氏名】ヴァン オーステロム クリスタル
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC15
(57)【要約】
本発明は、損傷した車両の修理作業の決定に関する。より具体的には、本発明は、例えば、車両への損傷の画像を使用して、損傷した車両の部品の修理または交換のいずれを行うか、および関連する必要な労働時間などの、損傷した車両についての修理作業の決定に関する。
態様および/または実施形態は、損傷した車両の損傷の画像を使用して、損傷した車両の修理に必要な修理作業を決定するための、コンピュータ実装方法の提供を試みる。
【選択図】図26
【特許請求の範囲】
【請求項1】
損傷した車両の修理作業を決定するためのコンピュータ実装方法であって、
前記車両の複数の画像を受信するステップと、
一つ以上の訓練されたモデルを使用して、前記複数の画像のそれぞれについて、部品ごとに一つ以上の分類を決定するステップであって、各分類が、少なくとも一つの部品に対する損傷の少なくとも一つの表示を含むステップと、
前記一つ以上の分類を使用して、所定の閾値を使用して、前記車両の前記部品のそれぞれについて、一つ以上の修理作業を決定するステップと、
前記車両の前記部品のそれぞれについて前記決定された一つ以上の修理作業を出力するステップと、を含む、方法。
【請求項2】
車両入力データを受信するステップであって、前記車両入力データが、前記車両への損傷を修理するための一つ以上の提案された部品および労働作業の詳細を含むステップと、
前記車両の前記複数の正規化された部品のそれぞれに関連する前記車両入力データの前記部品および労働作業を決定するステップと、をさらに含む、請求項1に記載の方法。
【請求項3】
少なくとも一つの部品への損傷を示す前記一つ以上の分類のそれぞれに基づいて、損傷価額を示す一つ以上のスコアを決定するステップをさらに含む、請求項1~2のいずれか一項に記載の方法。
【請求項4】
前記車両の前記部品のそれぞれについて一つ以上の修理作業を決定するステップが、前記一つ以上のスコアを所定の閾値と比較することを含む、請求項3に記載の方法。
【請求項5】
コンピュータビジョン損傷評価モデル、修理/交換予測モデル、労働時間予測モデル、および/または取り外し/設置モデル、のうちのいずれかまたは任意の組み合わせの使用をさらに含む、請求項1~4のいずれかに記載の方法。
【請求項6】
前記コンピュータビジョン損傷評価モデル、修理/交換予測モデル、労働時間予測モデル、および/または取り外し/設置モデル、のうちのいずれかまたは任意の組み合わせが、前記一つ以上の訓練されたモデルからの入力を受信する一つ以上の二次モデルとして使用される、請求項5に記載の方法。
【請求項7】
前記車両の前記部品のそれぞれについての前記一つ以上の修理作業が、前記車両の前記損傷した部品の交換または修理を含む、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記一つ以上の分類に基づいて、労働時間の修理または交換を決定することをさらに含む、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記所定の閾値が、一つ以上の管轄区の要件に基づいて調整可能である、請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記複数の分類器の使用を含む、前記損傷した車両の前記複数の画像に表現される前記損傷した車両の複数の部品を決定するステップをさらに含む、請求項1~9のいずれか一項に記載の方法。
【請求項11】
前記複数の分類器のそれぞれ一つが、前記損傷した車両の前記部品のそれぞれを検出するように動作可能である、請求項10に記載の方法。
【請求項12】
前記車両の前記複数の画像をもとに、前記複数の部品のそれぞれについて関連する画像の一つ以上のセットを決定するステップをさらに含む、請求項1~11のいずれか一項に記載の方法。
【請求項13】
前記車両の前記複数の部品のそれぞれについて前記一つ以上の関連する画像を使用して、前記車両の前記部品のそれぞれの損傷状態を決定するステップをさらに含み、前記一つ以上の損傷状態が、一つ以上の定量値として決定される、請求項12に記載の方法。
【請求項14】
前記一つ以上の訓練されたモデルが、ニューラルネットワーク、畳み込みニューラルネットワーク、および/または再帰型ニューラルネットワーク、のうちの一つ以上を含む、請求項1~13のいずれか一項に記載の方法。
【請求項15】
事前塗装済み車両部品コスト、事前塗装済み部品の追加費用、事前塗装済み部品の合計塗装時間、塗装労働コスト、材料コスト、および/または合計塗装コスト、のうちのいずれかを決定するために、一つ以上のデータベースをクエリーするステップをさらに含む、請求項1~14のいずれか一項に記載の方法。
【請求項16】
損傷した車両への修理作業を決定するための、ニューロンを含むニューラルネットワークを訓練するコンピュータ実装方法であって、各ニューロンが重みに関連付けられており、前記方法が、
訓練入力を取得するステップであって、前記訓練入力が、前記損傷した車両の画像と、前記車両の任意の部品が損傷を受けたかどうかを含むステップと、
各訓練入力について、それぞれの確率に基づいて一つ以上のニューロンを選択するステップと、
前記選択されたニューロンが、前記部品が損傷を受けたかどうかを前記車両の部品ごとに分類するように実質的に動作可能であるように、前記選択されたニューロンの重みを調整するステップと、
前記ニューラルネットワークを使用して前記訓練入力を処理して、予測出力を生成するステップと、
前記予測出力に基づいて、重みを調整するステップと、を含む、コンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、損傷した車両の修理作業の決定に関する。より具体的には、本発明は、例えば、車両への損傷の画像を使用して、損傷した車両の部品の修理または交換のいずれを行うか、および関連する必要な労働時間などの、損傷した車両についての修理作業の決定に関する。
【背景技術】
【0002】
典型的には、かつ図1に示すように、車両が事故105に関与する(または損害を受けた)場合、車両またはその運転者は保険に加入しており、運転者は関連する保険会社110に連絡して、典型的な請求手順100に従って請求を行う。
【0003】
次に、保険会社の見積チーム135は、車両への損害を評価し、請求を承認し、運転者または保険会社はその後、車両の修理を手配145する。別の方法として、保険会社は、修理の手配もしくは支払いの代わりに現金決済150を行うか、または車両が全損140であると決定し、それに応じて被保険者に補償するか、または代替車両の調達を手配することができる。
【0004】
図1に示すように、事故105後の請求手順100では、運転者または被保険者が保険会社110に電話することを必要とし、保険会社のスタッフは、スクリプト115に従って請求を受領および処理する。
【0005】
保険会社は、スクリプト115の一環として、運転者または被保険者から事故105に関する情報を取得する。典型的には、保険会社には、被保険者120に関する情報(車両の詳細および車両の状態など通話中に提供される情報、または保険会社のデータベースに保存され、被保険者の詳細の受領後に取得される情報も含む)、衝突または事故の詳細125、例えば損害が起きた状況および程度、および損害の写真130が提供される。
【0006】
損害の写真130は、典型的には、運転者または被保険者によって撮影されるが、その品質および包括性は様々でありうる。典型的には、写真は、カメラを備えた電話を使用して撮影される。このアプローチからは、撮影され保険会社に提供される写真の数が少なすぎるなどの様々な問題が生じる可能性がある。また、撮影された写真が十分に構成されていないか、または写真を撮影するために使用するカメラの品質またはユーザーのスキルを理由にして低品質でありうる。
【0007】
損害の写真130は、例えば、電子メール、ファックス、または郵便のいずれかを介して、保険会社に提供されうる。これは、典型的には、保険会社による写真130の受領が遅れ、それゆえ、保険会社による請求の処理が遅れ、損害が全損140であるか、現金決済150を提供できるか、または運転者もしくは被保険者が車両の修理145を手配するかまたは手配を許可するかに関する意思決定プロセスが遅れることを意味する。
【0008】
請求手順、より具体的には、クライアントおよび提案された修理業者から提供されたデータを手作業で評価することにより提案された修理作業のコストを検証するために保険会社が実施する請求審査手順の一環として、保険会社は、事故に関して運転者または被保険者から提供される追加情報または請求データを要求することができる。これには、車両の詳細および損害前の状態などが含まれうる。これらは、典型的には、通話中に提供されるか、または保険会社のデータベースに保管されて取得されるが、場合によっては、さらなる詳細を要求するフォローアップの電話、書簡、または電子メールで、保険会社が被保険者に連絡する必要がある場合がある。さらに、保険会社は、例えば、損害の十分な写真とともに、事故の十分な詳細を提供するよう要求するため、これは、被保険者との最初の連絡時およびその後の連絡時に取得する必要がある。十分な情報を取得するプロセスは、特に、その後の被保険者との連絡でさらなる情報の要求が行われる場合に遅れ、それゆえ、保険請求の処理を著しく遅延させる可能性がある。さらに、提案された修理業者は、作業開始前に保険会社から承認を得るために、例えば、労働作業および部品または材料コストを含めて、提案された修理の詳細を送信する必要がある場合がある。次に、保険会社は、請求の基となる関連する保険契約に基づき請求が補償対象であるかどうかを評価し、修理の見積コストを、必要に応じて検証および/または承認できるかを決定することができる。
【0009】
車両修理事業および車両保険会社がそれぞれ、例えば、車両が事故に巻き込まれた結果として損傷した車両についての修理案を準備および承認することを支援するために、様々なツールおよびプロセスが開発されてきた。
【0010】
車両修理事業は、車両の修理に必要な労働と特定部品の両方を項目別に分類し、次に、修理が保険契約の対象となる場合に保険会社から承認を得るために、これを提出できる必要がある。修理を必要としうる様々な車種やモデル、および修理される車両に装備されるオプションの追加部品が多数あるため、車両修理事業は典型的には、交換が必要な場合に注文する必要のある部品を正しく特定するために、商用データベースを使用して、正しい車種、モデル、年式、およびオプションを特定する必要がある。
【0011】
保険会社は典型的には、車両修理事業に対し、各車両への損害を示す証拠と、部品の修理または交換を実施するために必要な労働作業と時間の詳細な項目と併せて、注文する部品および各部品の各コストを項目別に記載した詳細な修理案を提出するよう要求する。こうした詳細な修理案の手作業での準備は、典型的には、車両修理事業にとってかなりの時間がかかる。
【0012】
異なる管轄区では、商用圧力、規制、消費者の好み、一般的な保険範囲などの様々な要因に応じて、車両修理事業(例えば、修理の実施方法、必要な労働、部品の修理または交換に関する希望など)および保険会社(例えば、提案された修理を承認または却下する際に適用される保険など)の両方が異なるアプローチを取る。そのため、詳細な修理案は管轄区により異なり、詳細な修理案において保険会社に承認する準備がある内容も管轄区によって異なる。
【0013】
しかしながら、保険会社は典型的には、車両修理事業の承認を得るために提出された提案された修理について、手作業で審査を行う。結果として、手作業での審査プロセスでは、提出された各修理案を審査する作業に大きな労働力を要するか、修理承認プロセスにおける障壁となる。車両修理事業にとっては、手作業による審査は、修理作業の開始が遅れる、保険会社が修理案を却下した場合のさらなる遅延、顧客車両を必要以上に長期間保管しなければならないため、保管スペースの要件の増加や、顧客不満度の可能性増加など、いくつかの不利益が生じる可能性がある。
【0014】
すべての管轄区において、上記の様々な問題は、提案された車両修理の手作業による準備、および提案された車両修理の保険会社による手作業による審査の結果として生じる可能性がある。
【0015】
請求手順の改善により、修理をより迅速に完了し、保険会社が迅速かつ効率的に決定に達することが可能になるであろう。
【発明の概要】
【0016】
態様および/または実施形態は、損傷した車両の損傷の画像を使用して、損傷した車両の修理に必要な修理作業を決定するための、コンピュータ実装方法の提供を試みる。
【0017】
第一の態様によれば、損傷した車両の修理作業を決定するためのコンピュータ実装方法が提供され、この方法は、車両の複数の画像を受信するステップと、一つ以上の訓練されたモデルを使用して、複数の画像のそれぞれについて、部品ごとに一つ以上の分類を決定するステップであって、各分類が、少なくとも一つの部品に対する損傷の少なくとも一つの表示を含むステップと、一つ以上の分類を使用して、所定の閾値を使用して、車両の部品のそれぞれについて、一つ以上の修理作業を決定するステップと、車両の部品のそれぞれについて決定された一つ以上の修理作業を出力するステップと、を含む。
【0018】
車両への損傷の画像を使用して修理作業を決定することで、損傷した車両に対する修理要件のより迅速かつ反復可能な評価が可能になり、例えば、部品の交換または修理が必要かどうかを決定し、例えば、修理または部品の交換に必要となる可能性の高い労働時間の量を決定することができる。
【0019】
任意選択的に、車両入力データを受信するステップであって、車両入力データが、車両への損傷を修理するための一つ以上の提案された部品および労働作業の詳細を含むステップと、車両の複数の正規化された部品のそれぞれに関連する車両入力データの部品および労働作業を決定するステップとを、さらに含む。
【0020】
車両に対する提案された修理の詳細を受信することにより、これらの提案された修理と、損傷した車両の画像から決定した修理作業との比較が可能になり、どの提案された修理が車両への損傷の修理に関連があるとみなされるか(例えば、どの提案された修理が無関係および/または過剰および/または不要であるか)を決定することができる。
【0021】
任意選択的に、少なくとも一つの部品への損傷を示す一つ以上の分類のそれぞれに基づいて、損傷価額を示す一つ以上のスコアを決定するステップがさらに実施される。
【0022】
各部品および/または車両への損傷の表示に対するスコアを決定することにより、車両への損傷の処理および/または理解が容易になり、および/または方法によって決定される損傷状態および/または修理作業のさらなる処理が可能となる。
【0023】
任意選択的に、車両の各部品について一つ以上の修理作業を決定することは、一つ以上のスコアを所定の閾値と比較することを含む。
【0024】
損傷した車両の画像から決定された損傷および/または修理作業が、所定の閾値を満たすか、上回るか、または下回るかを決定することで、損傷および/または修理作業が必要であるか、または実施されるべきかどうか(または提案された修理から除外されたさらなる作業を実施するべきかどうか)の選択肢を提供することができる。
【0025】
任意選択的に、コンピュータビジョン損傷評価モデル、修理/交換予測モデル、労働時間予測モデル、および/または取り外し/設置モデル、のうちのいずれかまたは任意の組み合わせが使用される。任意選択的に、コンピュータビジョン損傷評価モデル、修理/交換予測モデル、労働時間予測モデル、および/または取り外し/設置モデル、のうちのいずれかまたは任意の組み合わせが、前記一つ以上の訓練されたモデルからの入力を受信する一つ以上の二次モデルとして使用される。任意選択的に、車両の各部品に対する一つ以上の修理作業は、車両の損傷した部品の交換または修理を含む。任意選択的に、一つ以上の分類に基づいて、修理または交換の労働時間を決定するステップがさらに実施される。
【0026】
損傷した車両の画像をもとに、損傷した車両に必要となる可能性のある損傷および/または修理作業を決定するために、様々なモデル/ネットワーク/アーキテクチャが使用されうる。さらに、修理作業は、必要な修理および/または部品の交換および/または労働時間の決定を含むことができる。
【0027】
任意選択的に、所定の閾値は、一つ以上の管轄区の要件に基づいて調整可能である。
【0028】
手動で、または実質的に自動的に、所定の閾値の調整を可能にすることで、本方法は、例えば、異なる管轄区/地理および/または異なる修理の習慣/規則が適用される場所で使用するために、適合させることができる。
【0029】
任意選択的に、複数の分類器の使用を含む、損傷した車両の複数の画像で表現される、損傷した車両の複数の部品を決定するステップがさらに実施される。任意選択的に、複数の分類器のそれぞれは、損傷した車両の各部品を検出するように動作可能である。任意選択的に、車両の複数の画像をもとに、複数の部品のそれぞれについて関連する画像の一つ以上のセットを決定するステップがさらに実施される。任意選択的に、車両の複数の部品のそれぞれについて一つ以上の関連する画像を使用して、車両の各部品の損傷状態を決定するステップがさらに実施され、一つ以上の損傷状態が、一つ以上の定量値として決定される。
【0030】
損傷した車両の画像にどの部品が表示されているかを決定することで、各部品について関連する画像が識別および/または処理され、部品ごとに必要となる可能性のある損傷状態情報および/または修理が決定されるようになりうる。分類器は、部品ごとに訓練されて、訓練された部品についてその性能を実質的に最適化することができる。定量値を出力することで、各部品について出力された損傷状態が下流で使用されるようになりうる。
【0031】
任意選択的に、一つ以上の訓練されたモデルは、ニューラルネットワーク、畳み込みニューラルネットワーク、および/または再帰型ニューラルネットワーク、のうちの一つ以上を含む。
【0032】
様々なモデル/ネットワークアーキテクチャおよび/または配置は、本明細書に記載される方法を実装するために、使用されうる。
【0033】
任意選択的に、事前塗装済み車両部品コスト、事前塗装済み部品の追加費用、事前塗装済み部品の合計塗装時間、塗装労働コスト、材料コスト、および/または合計塗装コストのうち、任意のコストを決定するために、一つ以上のデータベースをクエリーするステップがさらに実施される。
【0034】
例えば、第三者データベースなどのデータベースにクエリーを送信して、出力された損傷/修理分類/決定を精密化することにより、例えば、関連する車両の特定の車種、モデル、および年式に基づいて出力を精密化するために、実質的により正確な出力を提供することができる。
【0035】
さらなる態様によれば、損傷した車両への修理作業を決定するための、ニューロンを含むニューラルネットワークを訓練するコンピュータ実装方法が提供され、各ニューロンは重みに関連付けられており、方法は、訓練入力を取得するステップであって、訓練入力が、損傷した車両の画像と、車両の任意の部品が損傷を受けたかどうかを含むステップと、各訓練入力について、それぞれの確率に基づいて一つ以上のニューロンを選択するステップと、選択されたニューロンが、部品が損傷を受けたかどうかを車両の部品ごとに分類するように実質的に動作可能であるように、選択されたニューロンの重みを調整するステップと、ニューラルネットワークを用いて訓練入力を処理して、予測出力を生成するステップと、予測出力に基づいて、重みを調整するステップと、を含む。
【0036】
例えば、一つ以上の部品が修理および/または交換する必要があるか、および修理作業当たりの関連する労働時間など、必要な修理作業を決定するためにモデル/ネットワークを訓練することで、損傷した車両の画像をもとに、必要となる修理作業について実質的に正確な修理見積を生成することができる。
【図面の簡単な説明】
【0037】
ここで、実施形態は、例示のみを目的として、類似の参照符号を有する添付図面を参照して説明する。
【0038】
図1図1は、先行技術による従来の保険請求プロセスを示す。
図2図2は、一実施形態によるほぼリアルタイムの保険見積プロセスを示す。
図3図3は、一実施形態による、損傷した車両の修理コストの見積を、損傷した車両の写真および車両情報から決定するプロセスを示す。
図4図4は、一実施形態による、車両への損害が全損であるかどうかを予測するプロセスを概説したフローチャートを示す。
図5図5は、一実施形態による、損傷した車両の修理コストを、損傷した車両の写真および車両情報から見積するプロセスを概説したフローチャートを示す。
図6図6は、一実施形態において、各部品に専用の分類器があり、各部品の写真が各部品の一連のモデルに提供され、一つのモデルにつき一つの部品ごとに初期見積値/プールスコアを生成し、その後、一実施形態により結果が損害シグネチャベクトルに連結されることを示すフローチャートを示す。
図7図7は、一実施形態による塗料混合が必要かどうかを決定するプロセスを概説するフローチャートを示す。
図8図8は、一実施形態による、部品が損害を受けていないかどうか、修理を必要とするか、または交換を必要とするかを決定するプロセスを概説するフローチャートを示す。
図9図9は、一実施形態による、見積方法への写真の入力から修理の見積を作成するためのプロセスのフローチャートを示す。
図10図10は、一実施形態による、入力画像およびメタデータを処理するために使用できるニューラルネットワークの構造を示す。
図11図11は、車両への損害が修理される場合の、車両損害に対する保険請求の典型的な順序を示す。
図12図12は、記載された実施形態による、提案された修理コストの自動検証を含む、保険請求プロセスの順序を示す。
図13図13は、図12に示す実施形態で使用される、提案された修理コストの自動検証のより詳細な概要を示す。
図14図14は、一実施形態による自動評価プラットフォームの概要を示す。
図15図15は、一実施形態で使用できる比較分析プロセスの概要を示す。
図16図16は、代替的な実施形態で使用できる比較分析プロセスの図を示す。
図17図17は、一実施形態による、事前確認済みの車両修理請求を準備および承認する方法を示す。
図18図18は、例示的実施形態による、請求入力を検証する一般化された方法の図を示す。
図19図19は、本明細書に記載の実施形態の検証プロセスを支援するために、車両の部品を正規化するためのアプローチについての一実施形態の図を示す。
図20図20は、別の例示的実施形態による、見積修理スケジュールおよび/または修理コストを準備するより詳細なプロセスを示す。
図21図21は、一実施形態による、車両用の正規化された部品の代替的な表現を示す。
図22図22は、一実施形態による、塗装確認プロセスを示す。
図23図23は、どのような修理が許可されるかに関する様々な管轄区での異なる例示的ルールを示し、自動システムによって行われたそれぞれの決定とともにそれらを分類する。
図24図24は、一実施形態による、複数の決定ツリーを有する勾配ブースターツリーを使用したモデルアーキテクチャを示す。
図25図25は、一実施形態による、塗装コストを計算する方法を示す方程式を示す。
図26図26は、一実施形態による、損害決定プロセスの概要を示す。
図27図27は、一実施形態による、画像からの損害決定プロセスにおける画像解像度を保存するためのトリミングの使用を示す。
図28図28は、一実施形態による損害決定プロセスにおけるトリミングおよび分割の使用を示す。
図29図29は、一実施形態によるマルチ画像学習モデルを使用した損害決定プロセスの概要を示す。
図30図30は、一実施形態によるマルチ画像グラフモデルを使用した損害決定プロセスの概要を示す。
図31図31は、一実施形態による、言語モデルを使用して損害の画像から視覚的損害の決定に関連する情報を抽出するプロセスを示す。
図32図32は、一実施形態による、構造事故データを視覚的損害決定モデルに注入するプロセスを示す。
図33図33は、一実施形態による、車両のグループ化された補助部品への損害を予測する方法を示し、ここでグループ化された補助部品は車両の正規化された部品/パネルに関連付けられる。
図34図34は、一実施形態によるマルチタスクアーキテクチャの例を示す。
図35図35は、一実施形態によるドメイン混乱損失を使用して、可変サイズデータセットにわたって共同訓練する方法を示す。
図36図36は、一実施形態による、最も比較可能なデータを代表するより大きなデータセットのサブセットを使用して、可変サイズデータセットにわたって共同訓練する方法を示す。
図37図37は、実施形態で使用可能な例示的なドメイン混乱損失アーキテクチャを示す。
【発明を実施するための形態】
【0039】
図2を参照すると、保険会社が事故の保険請求を処理するためのプロセス内の例示的実施形態を説明する。
【0040】
以下の実施形態、および上述した態様および/または実施形態では、「部品」という用語は、車両の特定部品(すなわち、車両の特定の車種、モデルおよび年式の特定部品)、または車両の汎用部品、ならびに大部分および/またはすべての車両にとって汎用的な「正規化された」または「標準化された」部品、または汎用車両もしくは車両の領域またはゾーンを指すように、交換可能に使用されうる。さらなる詳細を、図19および図21のこの概念の実施形態に関連して、ならびに以下に記載されるこれらの図の関連する説明で提供する。
【0041】
保険請求プロセスはフローチャート200に概説されており、被保険車両が関与する事故105(または損害の発見)から開始する。
【0042】
その後、被保険者、または保険に加入している事業体を代表して、もしくは被保険車両に関して保険会社に連絡する当事者は、保険会社110に連絡する。保険会社を代表して電話を受ける担当者は、一連の標準的な質問、または質問の決定ツリーを通して、事故に関する一連の標準的な必須情報120、125、130(例:被保険者名/車両名、車両の詳細(車種、モデル、状態を含む)、保険契約の詳細、標準的なセキュリティ質問、事故の原因の詳細など)を取得する。
【0043】
保険会社の担当者がスクリプト115に従って要求した情報を提供する電話110および保険会社に電話をする当事者は、被保険者120(または被保険者/車両)の詳細が保険会社に提供されるだけでなく、衝突の詳細125も提供して損害/事故についての情報を提供することを意味する。
【0044】
通話中、担当者は、ウェブアプリ205を使用して事故の写真(特に損傷した車両の写真)130を提供するように、保険会社への通話者に依頼する。通話者がウェブアプリ205にすでにアクセスしていない場合は、短縮されたURLを読み上げるか、保険会社への通話者のデバイスにテキストメッセージもしくは電子メール、またはその他の通知を送信することによって、担当者から提供されうる。ウェブアプリ205が通話者のデバイスにロードされると、デバイス撮像機能(例えば、スマートフォンのカメラ)を使用して写真を撮影し、保険会社に写真130を提供するために使用することができる。写真130は、保険会社のコンピュータシステムに到着した後すぐに、担当者のコンピュータディスプレイ上に表示され、担当者は次に、電話の相手にさらに写真を撮影するよう案内することができる。
【0045】
代替的な実施形態では、保険会社とのコミュニケーションと並行して写真を保険会社に提供する他の手段を使用してもよく、例えば、チャットインターフェースを使用して被保険者と保険会社との間でコミュニケーションを取ることができ、また、チャットインターフェースを介して写真を撮影および/またはアップロードできるように適合させることができる。
【0046】
この実施形態では、保険会社は、標準ブラウザのURLを使用してウェブアプリケーション205にアクセスし、ウェブアプリケーション205を介してアップロードされ、インターネットを介して保険会社に送信される写真130を撮影することによって、保険会社110への通話者が使用できるウェブアプリケーション205を提供する。
【0047】
被保険者120の詳細として、衝突の詳細125および損害の写真130は、保険会社の担当者への通話者によって提供され、担当者によって使用されるコンピュータシステムは、保険会社のコンピュータシステムによって新しい情報の各項目が受信および処理される(担当者が、かかる電話に対するスクリプトに従って保険会社のコンピュータシステムに情報を入力することによって、または関連する保険契約について保険会社のデータベースから情報を受け取ることによって、またはウェブアプリケーション205を介して損害の写真を受領することによって)につれて定期的に更新される、車両への損害の修理コストの動的にリアルタイムでの見積を表示するように構成される。
【0048】
保険会社の担当者は、画面に表示されるリアルタイムの損害見積210を見ることができ、これは以下の実施形態に記載される方法を使用して、提供された事故/損害の写真130に基づき決定され、一部の実施形態では、その見積210の確実性のレベル、および見積の確実性のレベルを高めるために損害のさらなる写真が必要かどうかも提示することができる。一部の実施形態では、担当者が、被保険者に対して一つ以上の可能な解決策(すなわち、全損140、修理145、または現金決済150)を承認するには必要な/閾値の確実性のレベルが必要である。
【0049】
見積210に許容可能な確実性のレベルがあるか、または担当者がスクリプト115を終了すると、担当者が通常利用できる三つの選択肢(すなわち、全損140、修理145または現金決済150)が、許容される場合に担当者が選択または提供することができる。
【0050】
代表的なディスプレイでは、全損計算140は訓練されたモデルによって行われ、これは、担当者110への通話者が提供する情報120、125、130に基づき、車両に対する可能性の高い修理の価値から車両が全損であることを示すと思われることを示す。この全損計算140の出力は、担当者に対する「はい/いいえ」の表示である。出力は、保険会社への通話者との通話中に担当者に提示されることができ、計算の検証は、通話中に担当者または他の保険会社のスタッフが行うことができる。一部の実施形態では、最初の決定は電話を介して提供されうるが、確認は保険損失調整者によるかかる部分的または完全な決定によって行われる。
【0051】
代表的なディスプレイでは、現金決済計算150は訓練されたコンピュータモデルによって行われ、担当者110への通話者によって提供される情報120、125、130に基づき、保険会社のルールに従って、現金決済金額として担当者への通話者に提示できる金額が決定されたかどうかを示す。この現金決済計算150の出力は、車両の修理を手配し支払う代わりに、請求の決済における即時支払いのために担当者が提示できる金額である。出力は、保険会社に電話する人との通話中に担当者に提示されることができ、計算の検証は、通話中に担当者または保険会社の他のスタッフが行うことができ、提示は、通話中に担当者または他の保険会社のスタッフが行ってもよく、通話中に通話者によって受け入れられてもよい。他の実施形態では、提示は、初回決定として示すことができ、提示は、電話での話し合い後に保険会社によって最終決定され、書面で受諾するよう被保険者に書面で発行されてもよい。
【0052】
代表的なディスプレイでは、提供された情報120、125、130を(任意選択的には、見積コストおよび/または認可された損害修理コストとともに)修理工場または自動車整備工場に提出し、車両105の修理を承認するオプションも提示される。一部の実施形態では、見積修理コストは、修理工場または自動車整備工場に提供される。一部の実施形態では、見積修理コスト、または見積修理コストに基づく数値が、認可された損害修理コストとして修理工場または自動車整備工場に提供される(すなわち、認可された金額を超える修理コストには、修理工場または自動車整備工場が修理に進む前に保険会社からのさらなる承認を必要とする)。
【0053】
担当者は、許可される場合は全損オプション(すなわち、車両が全損であるとシステムが判断した場合)、許可される場合は現金決済オプション(すなわち、保険会社のルールにより許可される場合)を提示するか、または許可される場合は修理(すなわち、車両が全損ではなく、請求が有効であり、十分な情報が提供された場合)を認可することができる。
【0054】
この実施形態のウェブアプリ205は、標準ブラウザ内で実行され、かつウェブURLを使用してアクセス可能なコンピュータアプリケーションとして提供でき、これにより、ブラウザ可能なコンピューティングデバイス(例えば、スマートフォン、タブレットコンピュータ、ラップトップまたはデスクトップコンピュータ)を有する人物であれば誰でも、保険会社110との通話中にウェブアプリにアクセスすることができる。別の方法として、スマートフォン、タブレットコンピュータ、またはラップトップ/デスクトップコンピュータ用のネイティブアプリケーションとして、またはそれを介して、提供することができる。
【0055】
図3を参照すると、例示的実施形態は、車両への損害を予測し、損傷した車両の修理コストを見積するために、損傷した車両の写真を処理する方法300を示し、この方法について説明する。
【0056】
損傷した車両の一つ以上の写真130、典型的には10~20枚程度の写真が、通話者から保険会社に提供される。これらの写真130は、この実施形態に示される損害見積プロセスに提供される。写真130は、主に車両の損害領域に関するものであるが、恐らくはいくつかの角度および異なる距離(例えば、損害のクローズアップ写真、ならびに損害領域および車両の周囲の損害を受けていない部分も示す、状況を詳述する写真を示すため)からのものである。
【0057】
さらに、車両情報131は、この実施形態に示される損害見積プロセスに提供される。車両情報には、モデル情報、車両の詳細(状態、色、製造時に選択されたオプションの特徴、標準と比較して車両に行われた変更を含む)が含まれうる。この実施形態(および他の実施形態)におけるこの車両の画像撮影には、車両全体(例えば、車両の少なくともほぼ四隅から撮影された画像)を示す画像、ならびに車両への損害を示す画像を含む。
【0058】
損害見積プロセスは、訓練されたコンピュータビジョンモデルを使用して、コンピュータビジョン分析プロセス305内の写真130および車両情報131を使用する。コンピュータビジョン分析プロセス305は、複数の訓練されたモデルのセットを使用して、任意選択的に車両情報131を使用して、写真130に示される車両の部品を特定し、それらの訓練されたモデルのそれぞれが、特定の車両部品および/または一般化された車両部品(例えば、フロントバンパー、またはフード、または左側フロントドア)を認識するように訓練されている。これらのモデルのそれぞれの出力は、コンピュータビジョン分析プロセス305によって損害ベクトルに組み合わされる。損害ベクトルは、各部品に対する各訓練されたモデルによる予測出力を組み合わせて、各部品の損害の有無の予測、および/または各部品についてその部品/領域の損害程度および損害を受けた方法の表示を、各部品に対する予測の確実性を表す各部品の信頼値とともに示す。この実施形態では、損害ベクトル310は、訓練されたモデル305による複合予測出力を、信頼値とともに含む。他の実施形態では、損害ベクトル310は、コンピュータビジョンプロセス305からの追加的または代替的な出力、および/または入力された写真130および/または車両情報入力131を処理する他の訓練されたモデルを含みうる。
【0059】
損害ベクトル310は、コンピュータビジョンプロセス305によって、(a)担当者/通話者確認プロセス315、および(b)混合分析プロセス320、および(c)修理/交換分析プロセス325へと出力される。
【0060】
損害ベクトル310の一部またはすべてが低信頼度の予測を示す一部の実施形態では、担当者/通話者確認プロセス315は、部品が損害を受けているかどうかについて低信頼度の予測(例えば、所定閾値以下の信頼値を持つ)が存在するかどうかを担当者に表示して、担当者が、低信頼度の予測がある損傷した車両の一つ以上の部品/領域について追加の写真130を撮影するよう通話者を案内できるようにする。別の方法として、または追加的に、担当者/通話者確認プロセス315の間に、どの部品が低信頼度の予測を有するかに応じて、特定の質問をするよう担当者に促すことができ、また担当者は、担当者/通話者確認プロセス315に回答を入力することで、入力データを強化することで予測信頼度を許容可能な閾値よりも上に高め、一つ以上の訓練されたモデルによって修正された予測を生成することができる。担当者/通話者確認プロセス315によって担当者に提供される質問は、損傷した車両の部品/領域/正規化された部品ごとに尋ねることができる質問のデータベース(図示せず)から、および/または損傷した車両の追加の写真から、取得することができる。
【0061】
混合分析プロセス320は、複数の訓練されたモデルのセットを含み、それぞれが、損害ベクトル310および写真130および車両情報131を使用して、担当者/通話者確認プロセス315からの任意の追加情報とともに、車両の部品ごとに混合分析を実施するように訓練されている。具体的には、各検討中の部品について、混合分析プロセス320は、隣接部品が損傷したか、再塗装するか、または事前塗装済み部品と交換するかどうかを評価して、検討中の部品について塗料混合作業を行う必要があるかどうかを決定して、検討中の部品への塗装を、検討中の部品の近隣の修理部品または交換部品への塗装と混合する。一部の実施形態では、すべての部品が検討されるが、他の実施形態では、選択または決定された部品のみが混合分析プロセスによって検討される。
【0062】
修理/交換分析プロセス325は、複数の訓練されたモデルのセットを同様に使用し、各モデルは、車両の特定部品(損傷した車両の正規化された部品の特定部品または領域など)の評価を実施するように訓練されている。具体的には、各モデルは、入力された損害ベクトル310および写真130および車両情報131に基づき、担当者/通話者確認プロセス315からの任意の追加情報とともに、検討中の部品を交換または修理する必要があるかどうかを評価する。
【0063】
車両への損害についての出力見積および車両の予測される修理コストを生成するために、混合分析プロセス320の出力および修理/交換分析プロセス325を、出力見積プロセス330によって部品ルックアッププロセス326から取得されたデータと組み合わせる。部品ルックアッププロセス326は、入力車両情報131を使用して、検討中の車両の各部品の現行市場価格を決定し、これを出力見積プロセス330に提供する。出力見積プロセス330は、車両の各部品への損害の予測、各損傷した部品を修理または交換する必要があるかどうか、交換する部品の現在価格、および塗装/混合コストを組み合わせる。出力見積プロセス330の出力は、損傷した車両の修理コストの予測である。代替的な実施形態では、出力は必要な修理の予測であり、任意選択的に、必要な材料および/または修理作業へと分類される。
【0064】
写真130は、通話者が保険会社に提供するすべての写真であってもよく、自動的(例えば、画像の品質、画像コンテンツ、画像のメタデータ、担当者もしくは通話者が提供した画像の説明もしくはキャプション、または保険会社のルールに基づく)、または手作業(すなわち、保険会社の担当者もしくはその他のスタッフが使用するために選択した、または担当者もしくはユーザーが関連性の高いものとしてハイライトした)のいずれかによりこれらの画像を選択してもよい。
【0065】
車両情報130は、時には、車両の車種およびモデル、年式および政府登録の詳細および塗装色などの非常に限られた情報量であってもよく、または、車両の仕様および状態に関する包括的な詳細、ならびに車両に関して通話者が提供した情報および保険会社が収集した情報を含むより豊富なデータセットであってもよい。異なる実施形態には、車両情報130に関して異なる最小入力データ要件がある。
【0066】
コンピュータビジョン分析プロセス305および/または混合分析320および/または修理/交換分析325において異なる訓練されたモデルおよび訓練されたモデルの配置を使用してもよく、上述の実施形態に従った単に一つの特定部品ではなく、二つ以上の部品を認識できる一つ以上のモデルを訓練するなど、これらのモデルに対する異なる配置を実施することができる。
【0067】
担当者/通話者確認プロセス315の間、損害ベクトル310からの低信頼度の予測についての情報は、通話者からさらなる写真または情報のいずれかを取得して、コンピュータビジョンプロセス305からの低信頼度の出力がある場合に予測の信頼度を高めるために、担当者にまたはウェブアプリを介して通話者に直接提示することができる。
【0068】
代替的な実施形態では、車両への損害を予測し、損傷した車両の修理コストを見積するために、損傷した車両の写真を処理する方法の一部として含まれる追加の塗装見積プロセスが任意選択的に存在する。入力は、他のプロセスからの出力の一部を含むことができる。塗装見積プロセスは、部品ごとに、損傷した車両の各部品に塗装が必要かどうかを評価するために、複数の訓練されたモデルを使用してもよく、またはサードパーティデータベースからこのデータを取得することもできる。これらのモデルの出力は、出力見積プロセス330に提供され、このプロセスではこの追加情報を使用して、損傷した車両の修理コストの予測を出力する。
【0069】
代替的な実施形態では、車両への損害を予測し、損傷した車両の修理コストを見積するために、損傷した車両の写真を処理する方法の一部として追加の労賃見積プロセスが任意選択的に存在する。労賃見積プロセスでは、複数の訓練されたモデルを使用して、部品ごとに、損害の程度および、部品の修理および/または交換のために労働が必要かどうかを決定することができる。次にルックアップを実行して、決定を使用してこの出力データをサードパーティデータベースから取得することによって、出力値を生成することができ、例えば、一部またはすべての車両情報入力131とともに、修理および/または交換のための一つ以上の労働作業の時間値についてクエリーを提出し、その見返りとしてサードパーティデータベース修理情報から、損傷した車両の車種、モデルおよび年式(MMY)の特定に対するその作業について決定された修理情報を受け取ることができる。他の見積プロセスからの出力の一部を、労賃見積プロセスへの入力として使用することができる。これらのモデルの出力は、出力見積プロセス330に提供され、このプロセスではこの追加情報を使用して、損傷した車両の修理コストの予測を出力する。
【0070】
代替的な実施形態では、車両への損害を予測し、損傷した車両の修理コストを見積するために、損傷した車両の写真を処理する方法の一部として追加の塗装労賃見積プロセスが任意選択的に存在する。塗装労賃見積プロセスは、複数の訓練されたモデルを使用して、部品ごとに、塗装が不要かどうか、「スポット」塗装作業が必要かどうか、または部品の50%以上または50%未満を塗装する必要があるかどうかを決定することができる。次にルックアップを実行して、決定を使用してこの出力データをサードパーティデータベースから取得することによって、出力値を生成することができ、例えば、一部またはすべての車両情報入力131とともに、「スポット」塗装作業についてクエリーを提出し、その見返りとしてサードパーティデータベース修理情報から、損傷した車両の車種、モデルおよび年式(MMY)の特定に対するその作業について決定された修理情報を受け取ることができる。他の見積プロセスからの出力の一部を、労賃見積プロセスへの入力として使用することができる。これらのモデルの出力は、出力見積プロセス330に提供され、このプロセスではこの追加情報を使用して、損傷した車両の修理コストの予測を出力する。
【0071】
一部の実施形態では、損傷した車両の修理コストを推定するプロセスの一部として、任意選択的に追加の取り外し/設置見積プロセスがある。この見積プロセスは、車両の損傷した部品の交換に必要なすべての作業を実施するために必要な時間の見積をする。これらの見積は、車両の修理に関する知識に基づき専門家によって構築された各部品または部品/部品タイプのグループに対するルールセットから取得されるか、または対象部品および車両情報および一部の損害情報を指定するクエリーがデータプロバイダーによって送信され、見積がデータプロバイダーによって返される、サードパーティデータプロバイダーから取得される。任意選択的に、このプロセスは、その出力に含まれる他のモジュールから一つ以上の出力を受信する。次に、ルールセットからの出力、またはデータプロバイダーから返された見積が、取り外し/設置プロセスからの出力として使用される。
【0072】
他の実施形態では、任意選択的に追加の重複計算が実施される。特定できる重複は、損傷した隣接部品への修理を検討する際に実施される修理作業における重複である。複数の隣接部品の修理には、交換/処理のみに必要な共通する構成要素、または一回実行すればよく各部品に繰り返し行う必要のない作業が関与するためである。一部の実施形態では、この重複は、サードパーティデータプロバイダーへのクエリーから決定される。したがって、修理作業と構成要素との間の重複の数および程度に基づいて修飾子を決定し、車両の損傷した隣接部品の修理間の重複を考慮に入れることができる。
【0073】
図4を参照すると、通話者から保険会社および担当者に提供された入力情報および写真に基づいて全損を予測する方法の例示的実施形態400を説明する。
【0074】
この実施形態では、他に記載された実施形態もしくは代替的な実施形態と、または本明細書に記載された前述の態様のいずれかと使用することのできる、全損を予測する方法400が説明される。
【0075】
この実施形態によれば、方法400は、衝突と保険の詳細405、および本明細書に記載した実施形態のうちの一つの損害予測モデルおよび車両価額415によって出力される修理見積410を、入力データとして取る。
【0076】
衝突と保険の詳細405は、本書に記載された他の実施形態に関連して記載されるように、事故/損傷した車両への損害を報告するために保険会社に電話または連絡する際に、通話者から保険会社の担当者に提供される。
【0077】
損傷した車両410の修理コストの見積は、本明細書に記載される実施形態および代替的な実施形態に記載される損害修理見積プロセスを使用して決定される。この見積410は、損傷した車両の修理に必要な作業と、損傷した車両の修理に必要な部品および/または材料と、損傷した車両の修理に関連する金銭的費用との組み合わせを含んでもよい。
【0078】
車両価額415は、被保険者によって見積され、および/または提供されてもよく、および/またはルールもしくは他のガイドラインを使用して保険会社によって決定されてもよく、および/またはサードパーティによって提供される。
【0079】
次に、訓練されたモデルを使用して、典型的に自動車を安全ではなくする重大な構造的損害をもたらす事故のクラスが衝突の詳細405によって示されるかどうかを含めた様々な要因から、全損420の予測が決定される。他の実施形態では、他の要因/要因の組み合わせを使用して、この決定を行うことができる。例えば、重大な構造的損害があったと決定された場合、事故は全損であると仮定することができる。代替的な実施形態では、事故のクラスについてのデータベース(データベースは、専門家の知識を使用して生成されてもよく、または保険会社のデータを使用して生成されてもよく、またはサードパーティデータプロバイダーの使用を通してアクセスされてもよい)、および/または修理見積410の一部を成す損害評価を使用して、事故の詳細を評価することができ、全損の可能性が高いかどうか、または車両に対して目に見えない重大な損害の可能性が高いかを決定することができる。他の実施形態では、記載された実施形態に従って修理見積が生成され(修理の財務費用の見積を含む)、修理の総額が特定の金額、例えば、車両の再取得価額もしくは保険価額、またはその実質的な割合などを上回る場合は、事故により全損が生じたと決定される。全損420の決定はまた、保険会社自身のルール、方針および/または手順を使用して、車両価額415と比して損害修理見積410を検討し、修理410のコストが車両価額415または車両価額415のかなりの割合を上回る可能性があるかどうかを決定する。
【0080】
図5を参照すると、別の例示的実施形態は、車両への損害を予測し、損傷した車両の修理コストを見積するために、損傷した車両の写真を処理する方法500を示し、この方法500について説明する。
【0081】
損傷した車両130の一つ以上の写真、典型的には10~20枚程度の写真が、通話者から保険会社の担当者に提供される。これらは、この実施形態に示される損害見積プロセス500に提供される。写真130は、主に車両の損害領域に関するものであるが、典型的にはいくつかの視野角および異なる距離(例えば、損害のクローズアップ写真、ならびに損害領域および車両の周囲の損害を受けていない部分も示す、状況を詳述する写真を示すため)からのものである。
【0082】
さらに、車両情報131は、この実施形態に示される損害見積プロセスに提供される。車両情報131には、モデル情報、車両の詳細(状態、色、製造時に選択されたオプションの特徴、標準と比較して車両に行われた変更を含む)が含まれうる。
【0083】
損害見積プロセスは、コンピュータビジョン分析プロセス305内の写真130および車両情報131を使用する。コンピュータビジョン305は、任意選択的に車両情報131を使用して、写真130に示される車両の部品を特定し、複数の訓練されたモデルのセットを使用し、それらの各々の訓練されたモデルは、特定の汎用的な車両部品または領域(例えば、フロントバンパー、またはフード、または左側フロントドア)を認識するように訓練されている。これらの部品/領域ごとのモデルのそれぞれの出力は、コンピュータビジョン分析プロセス305によって損害ベクトル310に組み合わされる。損害ベクトル310は、各部品/領域に対する各訓練されたモデルによる予測出力を組み合わせて、各部品/領域の損害の有無の予測、および/または各部品/領域についてその部品/領域の損害程度の表示を、各部品/領域に対する予測の確実性を表す各部品の信頼値とともに示す。他の実施形態では、車両の特定の車種、モデル、および年式(MMY)に対する特定部品が、任意選択的に写真130だけでなく写真130および車両情報131の両方を使用することによって、領域/一般化された部品/正規化された部品/一般化的な領域の代わりに認識される。
【0084】
損害ベクトル310は、コンピュータビジョンプロセス305によって、(a)担当者/通話者確認プロセス315、および(b)混合分析プロセス320、および(c)修理/交換分析プロセス325および(d)塗装分析プロセス505へと出力される。別の方法として、塗装分析プロセス505は、その入力を、一つ以上のその他のプロセス320、325からの出力のうちの一つ以上として有してもよい。
【0085】
担当者/通話者確認プロセス315は、部品/領域が損害を受けているかどうかについて低信頼度の予測(例えば、所定閾値以下の信頼値)が存在するかどうかを担当者に表示して、担当者が、低信頼度の予測がある一つ以上の部品/領域について追加の写真130を撮影するよう通話者を案内できるようにする。別の方法として、または追加的に、担当者/通話者確認プロセス315の間に、どの部品/領域が低信頼度の予測を有するかに応じて、特定の質問をするよう担当者に促すことができ、また担当者は、担当者/通話者確認プロセス315に回答を入力することができ、この情報は、モデルが低信頼度の予測を再計算するため、予測信頼度を許容可能な閾値よりも上に高めるために、モデル305に提供される。担当者/通話者確認プロセス315によって担当者に提供される質問は、検討中の部品/領域ごとに質問されうる質問のデータベース(図示せず)から取得されてもよい。
【0086】
混合分析プロセス320は、複数の訓練されたモデルのセットを含み、それぞれが、損害ベクトル310および写真130を使用して車両の部品/領域ごとに、担当者/通話者確認プロセス315からの任意の追加情報とともに、混合分析を実施するように訓練されている。具体的には、混合分析プロセス320は、検討中の部品/領域への塗装を、検討中の部品/領域の近隣の修理部品または交換部品への塗装と混合するために、検討中の部品/領域について塗料混合作業を行う必要があるかどうかを判断するために、隣接する部品/領域が損傷したか、またはそれゆえ再塗装するか、または事前塗装済み部品/領域と交換するかを評価する。
【0087】
塗装見積プロセス505は、部品/領域ごとに、損傷した車両の各部品/領域に塗装が必要かどうかを評価するために、複数の訓練されたモデルを使用する。塗装見積プロセス505への入力は、担当者/通話者確認プロセス315から得られた任意の追加情報とともに、損害ベクトル310(および一部の実施形態では写真130)である。これらのモデルの出力は、出力見積プロセス330に提供される。
【0088】
修理/交換分析プロセス325は、繰り返しになるが複数の訓練されたモデルのセットを含み、それぞれが車両の特定部品/領域の評価を実施するように訓練されている。具体的には、各モデルは、入力損害ベクトル310および写真130に基づき、担当者/通話者確認プロセス315から得られた任意の追加情報とともに、検討中の部品/領域を交換または修理する必要があるかどうかを評価する。
【0089】
損害についての出力見積および車両の予測される修理コストを生成するために、混合分析プロセス320および修理/交換分析プロセス325および塗装分析プロセス505の出力を、出力見積プロセス330によって部品ルックアッププロセス326から取得されたデータと組み合わせる。部品ルックアッププロセス326は、入力車両情報131を使用して、検討検討中の車両の各部品、または領域での関連部品の現行市場価格を決定し、これを出力見積プロセス330に提供する。出力見積プロセス330は、車両の各部品への損害の予測、各損傷した部品/領域を修理または交換する必要があるかどうか、交換する部品/領域の現在価格、および塗装/混合コストを組み合わせる。出力見積プロセス330の出力は、損傷した車両の修理コストの予測である。
【0090】
写真130は、通話者が保険会社に提供するすべての写真であってもよく、自動的(例えば、画像の品質、画像コンテンツ、画像のメタデータ、担当者もしくは通話者が提供した画像の説明もしくはキャプション、または保険会社のルールに基づく)、または手作業(すなわち、保険会社の担当者もしくはその他のスタッフが使用するために選択した、または担当者もしくはユーザーが関連性の高いものとしてハイライトした)のいずれかによりこれらの画像の一部を選択してもよい。
【0091】
車両情報130は、車両の車種およびモデル、年式および政府登録の詳細および塗装色などの非常に限られた情報量であってもよく、または、車両の仕様および状態に関する包括的な詳細、ならびに車両に関して通話者が提供した情報および保険会社が収集した情報を含むより豊富なデータセットであってもよい。
【0092】
コンピュータビジョン分析プロセス305において異なる訓練されたモデルおよび訓練されたモデルの配置を使用してもよく、上述の実施形態における単に一つの特定部品ではなく、一般化された部品/領域、または二つ以上の部品を認識できる一つ以上のモデルを訓練するなど、これらのモデルに対する異なる配置を実施することができる。
【0093】
担当者/通話者確認プロセスの間、損害ベクトル310からの低信頼度の予測についての情報は、通話者からさらなる写真または情報のいずれかを取得して、コンピュータビジョンプロセス305からの低信頼度の出力がある場合に予測の信頼度を高めるために、担当者またはウェブアプリを介して通話者に直接提示することができる。
【0094】
別の方法として、さらなる労賃見積プロセス(図示せず)を任意選択的に実施形態に含めることができ、損傷した車両の修理コストの予測を決定するために、出力見積プロセス330の一部として使用することができる。
【0095】
一部の実施形態では、損傷した車両の修理コストを見積するプロセスの一部として、任意選択的に含まれた取り外し/設置見積プロセス(図示せず)がある。この見積プロセスは、車両の損傷した部品の交換に必要なすべての作業を実施するために必要な時間の見積をする。これらの見積は、車両の修理に関する知識に基づき専門家によって構築された各部品または部品/部品タイプのグループに対するルールセットから取得されるか、または対象部品および車両情報および一部の損害情報を指定するクエリーがデータプロバイダーによって送信され、見積がデータプロバイダーによって返される、サードパーティデータプロバイダーから取得される。次に、ルールセットからの出力、またはデータプロバイダーから返された見積が、取り外し/設置プロセスからの出力として使用される。
【0096】
他の実施形態では、任意選択的に追加の重複計算が実施される(図示せず)。特定できる重複は、損傷した隣接部品への修理を検討する際に実施される修理作業の重複である。複数の隣接部品の修理には、交換/処理のみに必要な共通する構成要素、または一回実行すればよく各部品に対して繰り返し行う必要のない作業が関与するためである。したがって、修理作業と構成要素との間の重複の数および程度に基づいて修飾子を決定し、車両の損傷した隣接部品/領域の修理間での重複を検討することができる。
【0097】
図6を参照すると、通話者から提供された写真130を撮影し、それらを処理して損害シグネチャベクトル535を出力するプロセス600の例示的実施形態を説明する。
【0098】
他の記載された実施形態と同様に、通話者は、損傷した車両の写真130を提供する。典型的には、これらは、10~20個の画像の領域内で数えられるが、より少ない写真が供給されてもよく(例えば、軽度の損害のみが目に見える場合)、または逆に、より多くの写真が供給されてもよい(例えば、記録するためにより多くの写真が必要となる広範な損害がある場合、および/または通話者が、損傷した車両のクローズアップおよび遠隔から/さらに離れた場所からのものを含む包括的な写真を提供する場合)。
【0099】
部品分類器505は、複数のモデル505i、505ii、505iii、505iv~505n(nはモデルの数)のセットであり、各モデルが写真130のそれぞれに並列して実行され、各モデル505i、505ii、505iii、505iv~505nは、写真が車両の特定部品/領域を含むかどうかを決定するように訓練される。モデル505i、505ii、505iii、505iv~505nのそれぞれの出力は、各部品/領域(各モデルが検出するよう訓練される対象)が各写真および一部のメタデータに存在するどうかの決定であり、例えば、任意選択的に、その部品および/または関連する信頼値に対して予測される損害を示す。
【0100】
部品分類器505の複数のモデル505i、505ii、505iii、505iv~505nのそれぞれからの出力は、写真130とともに、部品ごとのさらなる評価モデルのセットのそれぞれに供給される。プロセス/方法の次の段階を説明するために、一つのモデル505iからの出力のみを説明しているが、読者であれば、部品分類器505の複数のモデル505i、505ii、505iii、505iv~505nのそれぞれが、これから記載される一つのモデル505iからの出力に関連して記載されるプロセスと並行して、部品ごとに類似の評価モデルのグループに供給される出力を生成することを理解するであろう。
【0101】
部品分類器505の第一のモデル505iおよび写真130からの出力は、複数のさらなる評価モデル、具体的には、塗装評価モデル511、混合評価モデル510、修理または交換決定モデル515、および労賃見積モデル520に供給される。
【0102】
塗装評価モデル511は、写真130を受信し、その部品について予測される損害および関連する信頼値を示す出力メタデータとともに、部品分類器モデル505iによってどの写真130が関連する(すなわち、検討中の部品を示す)かどうかを決定する。入力された写真130の関連する各写真に対する塗装評価モデル511は、次に、損傷した部品の各写真について塗装が必要とされるかどうか、およびどの程度必要とされるかどうかを予測する。次に、この予測は、損傷した部品の関連する各写真に対して出力され、初期見積は、部品分類器モデル505iにより塗装評価モデル511への入力として提供された、損傷した部品のすべての写真に対する塗装評価モデル511によるすべての予測出力の合計スコアに基づき決定513される。別の方法として、塗装評価モデル511は、他のモデルからの出力を受信することができ、塗装評価プロセスは、一つ以上のサードパーティデータベースにクエリーを送信して、塗装コストおよび必要な作業についての情報を得る。
【0103】
混合評価モデル510は、写真130を受信し、その部品および隣接部品について予測される損害および関連する信頼値を示す出力メタデータとともに、部品分類器モデル505iによってどの写真130が関連するとみなされるかどうかを決定する。次に、入力された写真130の関連する各写真に対する混合評価モデル510は、その部品または隣接部品について予測される損害に基づき検討中の部品の各写真に対して混合が必要とされるかどうか、およびどの程度必要とされるかを予測する。次に、この予測は、検討中の部品の関連する各写真に対して出力され、初期見積は、部品分類器モデル505iにより混合評価モデル510への入力として提供された、検討中の部品のすべての写真に対する混合評価モデル510によるすべての予測出力の合計スコアに基づき決定512される。
【0104】
修理または交換決定モデル515は、写真130を受信し、その部品について予測される損害および関連する信頼値を示す出力メタデータとともに、部品分類器モデル505iによってどの写真130が関連するとみなされるかどうかを決定する。次に、入力された写真130の関連する各写真に対する修理または交換決定モデル515は、その写真について部品分類器モデル505iにより予測される損害に基づき、損傷した部品の各写真について修理が可能であるか、または損傷した部品の交換が必要かどうかを予測する。次に、この予測は、損傷した部品の関連する各写真に対して出力され、初期見積は、部品分類器モデル505iにより修理または交換決定モデル515への入力として提供された、損傷した部品のすべての写真に対する修理または交換決定モデル515によるすべての予測出力の合計スコアに基づき決定517される。
【0105】
労賃見積モデル520は、写真130を受信し、その部品について予測される損害および関連する信頼値を示す出力メタデータとともに、部品分類器モデル505iによってどの写真130が関連するとみなされるかどうかを決定する。次に、入力された写真130の関連する各写真に対する労賃見積モデル520は、その写真および隣接部品について部品分類器モデル505iにより予測される損害に基づき、検討中の部品の各写真の検討中の部品について修理または交換または塗装のためにどのような労働力が必要か、が可能であるか、または損傷した部品の交換が必要かどうかを予測する。次に、この予測は、検討中の部品の関連する各写真に対して出力され、初期見積は、部品分類器モデル505iにより労賃見積モデル520への入力として提供された、検討中の部品のすべての写真に対する労賃見積モデル520によるすべての予測出力の合計スコアに基づき決定522される。別の方法として、一つ以上の他のプロセスの出力に基づき、労賃見積モデル520は、一つ以上のサードパーティデータベースにクエリーを提出して、労働作業および価格の見積を取得する。
【0106】
次に、出力された初期見積513、512、517、522が、部品分類器505の複数のモデル505i、505ii、505iii、505iv~505nによって処理されるその他の各部品についての塗装、混合、修理、交換または労働力のために生成される任意の他の初期見積とともに、連結530される。連結530の出力は、分類535(損害シグネチャとも呼ばれる)を有するベクトルである。
【0107】
図7を参照すると、混合評価モデル700の例示的実施形態を説明する。
【0108】
混合評価モデル715への入力は、車両の詳細705および通話者が保険会社の担当者に提供する車両710への損害に関する情報とともに、コンピュータビジョンまたは部品検出モデル535からの損害シグネチャ出力である。
【0109】
混合評価モデル715は、部品ごとに機能するため、車両の特定部品/領域に対して混合が必要かどうかを評価するために訓練され、隣接部品にどのような損害があるかに関する損害シグネチャ535内の情報を使用して、損害のない部品/領域を、修理部品または塗装されたか事前塗装済みの交換部品のいずれかへの新しい塗装と混合する必要があるかを評価する。モデル715は、この実施形態で訓練された機械学習モデルである。
【0110】
混合評価モデル715の出力720は、複数の部品ごとの混合評価モデル715のそれぞれによって検討される各部品に混合が必要かどうかに関する部品ごとのバイナリ出力である。他の実施形態では、より詳細な出力が生成されうる。
【0111】
図8を参照すると、修理または交換モデル(部品ごと)715の例示的実施形態800を説明する。
【0112】
修理または交換モデル(部品ごと)715は、部品ごとに機能するため、各部品の修理が可能か、または車両の特定部品に交換部品が必要かどうかを評価するために訓練される。修理または交換モデル(部品ごと)715は、部品が損害を受けていないか、または部品を修理できるか、または新しい部品と交換する必要があるかを評価するために、検討検討中の部品にどのような損害があるかについて損害シグネチャ535の情報を使用する。この実施形態のモデル715は、訓練された機械学習モデルである。
【0113】
修理または交換モデル(部品ごと)715の出力720は、各部品が、複数の部品ごとの見積モデル715のそれぞれによって、損害を受けていないか、修理可能であるか、または交換する必要があるかを示す、部品ごとの出力である。
【0114】
図9を参照すると、損傷した車両の写真130から修理見積を生成する方法の変形の例示的実施形態900を説明する。
【0115】
損傷した車両130の一つ以上の写真、典型的には10~20枚程度の写真が、通話者から保険会社の担当者に提供される。これらは、この実施形態に示される損害見積プロセスに提供される。写真130は、主に車両の損害領域に関するものであるが、恐らくはいくつかの視角および異なる距離(例えば、損害のクローズアップ写真、ならびに損害領域および車両の周囲の損害を受けていない部分も示す、状況を詳述する写真を示すため)からのものである。
【0116】
損害見積プロセスは、まず、コンピュータビジョン分析プロセス305で写真130を使用する。コンピュータビジョン分析プロセス305は、複数の訓練されたモデルのセットを使用して、写真130に示される車両の部品/領域を識別し、それらの各々の訓練されたモデルが、特定の車両部品および/または車両部品/領域(例えば、フロントバンパー、またはフード、または左側フロントドア)を認識するように訓練されている。これらのモデルのそれぞれの出力は、コンピュータビジョン分析プロセス305によって損害ベクトル310に組み合わされる。損害ベクトル310は、各部品/領域に対する各訓練されたモデルによる予測出力を組み合わせて、各部品/領域の損害の有無の予測、および/または各部品/領域についてその部品/領域の損害程度の表示を、各部品/領域に対する予測の確実性を表す各部品の信頼値とともに示す。
【0117】
損害ベクトル310は、コンピュータビジョンプロセス305によって、(a)担当者/通話者確認プロセス315、および(b)混合エンジン320、および(c)修理/交換分析プロセス325および(d)取り外し/設置(R&I)プロセス910へと出力される。一部の実施形態では、損害ベクトル310はまた、塗装分析プロセス505および労賃分析プロセスに提供される。この実施形態では、他のプロセス320、910、325の出力が、修理労賃分析プロセス905および塗装分析プロセス505への入力として提供される。
【0118】
担当者/通話者確認プロセス315は、部品/領域が損害を受けることが予測されるかどうかについて損害ベクトル310以内に低信頼度の予測が存在するかどうかを担当者に表示して、担当者が、低信頼度の予測がある一つ以上の部品について追加の写真130を撮影するよう通話者を案内できるようにする。別の方法として、または追加的に、担当者/通話者確認プロセス315により、どの部品が低信頼度の予測を有するかに応じて、特定の質問をするよう担当者に促すことができ、また担当者は、担当者/通話者確認プロセス315に回答を入力することで、予測信頼度を許容可能な閾値よりも上に高めることができる。担当者/通話者確認プロセス315によって担当者に提供される質問は、部品ごとに、質問のデータベース(図示せず)から取得することができる。このプロセスからの出力は担当者/通話者確認プロセス315に提供され、コンピュータビジョンプロセス305の変更された出力は、確認プロセス315中に新しい情報が取得されると、変更された損害ベクトル310であり、これは、混合エンジン320、修理/交換分析プロセス325、塗装分析プロセス505、および(混合エンジン320を介して)労賃分析プロセスに提供される。別の方法として、このプロセスからの出力は、オリジナルの損害ベクトル310とともに、担当者/通話者確認プロセス315、混合エンジン320、修理/交換分析プロセス325、塗装分析プロセス505、および(混合エンジン320を介して)労賃分析プロセスに提供される。
【0119】
混合エンジン320(または混合分析プロセス)は、複数の訓練されたモデルのセットを含み、それぞれが、損害ベクトル310および写真130を使用して、担当者/通話者確認プロセス315からの任意の追加情報とともに、車両の部品/領域ごとに混合分析を実施するように訓練されている。具体的には、混合分析プロセス320は、検討中の部品への塗装を、検討中の部品の近隣の修理部品または交換部品/領域への塗装と混合するために、検討中の部品/領域について塗料混合作業を行う必要があるかどうかを判断するために、隣接する部品/領域が損害しているか、またはそれゆえ再塗装するか、または事前塗装済み部品と交換するかを評価する。
【0120】
塗装見積プロセス505は、部品/領域ごとに、損傷した車両の各部品/領域に塗装が必要かどうかを評価するために、複数の訓練されたモデルを使用する。一部の実施形態では、塗装見積プロセス505への入力は、担当者/通話者確認プロセス315および/または変更された損害ベクトル310からの任意の追加情報とともに、損害ベクトル310および写真130であってもよい。この実施形態では、入力は、混合エンジン320、R&I分析910、および修理/交換分析325からの部品ごとの出力である。これらのモデルの出力は、出力見積プロセス330に提供される。塗装見積プロセス505は、部品ごとに、塗装が不要かどうか、「スポット」塗装作業が必要かどうか、または部品の50%以上または50%未満を塗装する必要があるかどうかを決定する。決定されたレベルの塗装を実施するために必要な労働時間の見積を取得し、必要な塗装の価格を取得するために、一つ以上のクエリーが、データまたは見積を取得するために一つ以上のサードパーティデータベースに送信される。
【0121】
修理/交換分析プロセス325は、繰り返しになるが複数の訓練されたモデルのセットを含み、それぞれが車両の特定部品/領域の評価を実施するように訓練されている。具体的には、各モデルは、入力損害ベクトル310および写真130に基づき、担当者/通話者確認プロセス315からの任意の追加情報とともに、検討中の部品/領域を交換または修理する必要があるかどうかを評価する。
【0122】
修理労賃分析モジュール905は、混合エンジン320、修理/交換評価モジュール325、および塗装分析モジュール505からの入力を取り、決定/見積された修理/交換をおよび塗装を行うのに必要な労働時間/労働量を決定し、この決定は、予測される修理コストに組み込むため見積出力プロセス305に出力される。
【0123】
一部の実施形態では、損傷した車両の修理コストを見積するプロセスの一部として、任意選択的に取り外し/設置見積プロセス910がある。この見積プロセス910は、車両の損傷した部品/領域の交換に必要なすべての作業を実施するために必要な時間の量を見積する。これらの見積は、車両の修理に関する知識に基づき専門家によって構築された各部品または部品/部品タイプのグループに対するルールセットから取得されるか、または対象部品および車両情報および一部の損害情報を指定するクエリーがデータプロバイダーによって送信され、見積がデータプロバイダーによって返される、サードパーティデータプロバイダーから取得される。次に、ルールセットからの出力、またはデータプロバイダーから返された見積が、取り外し/設置プロセスからの出力として使用される。
【0124】
他の実施形態では、任意選択的な追加の重複計算が実施される。特定できる重複は、損傷した隣接部品への修理を検討する際に実施される修理作業の重複である。複数の隣接部品の修理には、交換/処理のみに必要な共通する構成要素、または一回実行すればよく各部品に対して繰り返し行う必要のない作業が関与するためである。したがって、修理作業と構成要素との間の重複の数および程度に基づいて修飾子を決定し、車両の損傷した隣接部品の修理間の重複を考慮に入れることができる。この実施形態では、重複による数値への修正の計算は、修理労賃分析モジュール905によって実行される。
【0125】
損害についての出力見積および車両の予測される修理コストを生成するために、混合分析プロセス320および修理/交換分析プロセス325および塗装分析プロセス505および修理労賃分析モジュール905の出力を、出力見積プロセス330によって組み合わせ、修正された計算が適用される。出力見積プロセス330は、車両の各部品に対する損害の予測、各損傷した部品を修理または交換する必要があるかどうか、塗装/混合コストおよび労働コスト(計算された場合、これらのすべてまたは一部は修飾子を有し、重複による減少を反映して適用される)を組み合わせる。出力見積プロセス330の出力は、損傷した車両の修理コストの予測である。
【0126】
一部の実施形態では、重複エンジンを使用して、重複計算を行い、適用する一つ以上の低減を決定し、例えば、二つの隣接部品が修理作業を実施する必要がある場合、両方の隣接部品に対する修理作業/労務を同時に実施することの効率による労働時間の減少を、全体的な修理コスト/作業/材料に適用することができる。
【0127】
写真130は、通話者が保険会社に提供するすべての写真であってもよく、自動的(例えば、画像の品質、画像コンテンツ、画像のメタデータ、担当者もしくは通話者が提供した画像の説明もしくはキャプション、または保険会社のルールに基づく)、または手作業(すなわち、保険会社の担当者もしくはその他のスタッフが使用するために選択した、または担当者もしくはユーザーが関連性の高いものとしてハイライトした)のいずれかによりこれらの画像を選択してもよい。
【0128】
コンピュータビジョン分析プロセス305において異なる訓練されたモデルおよび訓練されたモデルの配置を使用してもよく、上述の実施形態に従って単に一つの特定部品ではなく、二つ以上の部品を認識できる一つ以上のモデルを訓練するなど、これらのモデルに対する異なる配置を実施することができる。
【0129】
担当者/通話者確認プロセスの間、損害ベクトル310からの低信頼度の予測についての情報は、通話者からさらなる写真または情報のいずれかを取得して、コンピュータビジョンプロセス305からの低信頼度の出力がある場合に予測の信頼度を高めるために、担当者またはウェブアプリを介して通話者に直接提示することができる。
【0130】
一部の実施形態では、車両情報131を、この実施形態に示される損害見積プロセスに提供することもできる。車両情報には、モデル情報、車両の詳細(状態、色、製造時に選択されたオプションの特徴、標準と比較して車両に行われた変更を含む)が含まれうる。車両情報130は、車両の車種およびモデル、年式および政府登録の詳細および塗装色などの非常に限られた情報量であってもよく、または、車両の仕様および状態に関する包括的な詳細、ならびに車両に関して通話者が提供した情報および保険会社が収集した情報を含むより豊富なデータセットであってもよい。車両情報は、コンピュータビジョンモジュール305、混合エンジン320、塗装見積モジュール505、修理/交換分析モジュール325および修理労賃分析モジュール905のいずれかによって、ならびに最終見積出力330を生成するために使用されうる。部品ルックアッププロセス326は、入力車両情報131を使用して、検討中の車両の各部品の現行市場価格を決定し、これを出力見積プロセス330に提供することができる。
【0131】
図10を参照すると、訓練されたモデルアーキテクチャ1030の例示的実施形態1000を説明する。
【0132】
訓練されたモデルアーキテクチャ1030は、一連の層1060、1070、1080、1090、1100を有するニューラルネットワークであり、層の大半の間には、注入点1075、1085、1095、1105がある。
【0133】
ニューラルネットワーク1030への入力は、部品1010の画像である。ニューラルネットワーク1030には、メタデータ1020も提供され、これはメタデータ1040、1050の二つのグループに分割され、そのメタデータ1040、1050には、注入点1075、1085、1095、1105で、層1070、1080、1090、1100の間のニューラルネットワーク1030内に注入される。
【0134】
メタデータ1020、1040、1050は、(i)問題の部品/領域について予測される修理/交換スコア、(ii)任意の、複数の、またはすべての隣接部品/領域に対して予測される修理/交換スコア、(iii)問題の部品/領域の損害なしの場合/損害ありの場合の価額、(iv)任意の、複数の、またはすべて隣接隣部品/領域の損害なしの場合/損害ありの場合の価額、(v)車両の種類(例えば、車両がピックアップトラック、自動車、ワゴン車などのどれであるか)、(vi)車両が有するドアの数(例えば、車両が2ドア、3ドア、または4ドア式のどれであるか)、および(vii)車両の色(例えば、車両が白色か、または車両のタイプに特定の色がある場合はより正確な色または色メタデータを捕捉できる)を含みうる。他の実施形態では、その他のメタデータ、例えば、車両の詳細(車種、モデルおよび年式、選択されたオプションなど)、損害(例えば、任意の分類器/モデルの出力)、および事故の状況(例えば、過去の損害、損害の原因の状況など)を注入することができる。
【0135】
ニューラルネットワーク1030が部品/領域ごとの混合評価モデルとして使用されている実施形態では、メタデータ1020、1040、1050の項目(ii)、(iv)、(v)、(vi)および(vii)のみが使用される。
【0136】
メタデータ1020、1040、1050の項目(ii)、(iv)、(v)、(vi)および(vii)のそれぞれは、注入点1075、1085、1095、1105のそれぞれで別々に注入される。
【0137】
ニューラルネットワーク1030の出力1200は、どのように構成されているかに依存する。ニューラルネットワーク1030が混合評価モデルとして構成されている実施形態では、出力は、検討中の部品に対して塗料混合作業を実施する必要があるかどうかに関して、バイナリの「はい」または「いいえ」の回答となる。
【0138】
別の方法として、一連の単一層1060、1070、1080、1090、1100から構築されるニューラルネットワークの代わりに、ニューラルネットワークは、一つ以上の層群から構築されてもよい。
【0139】
他の実施形態では、ニューラルネットワーク1030は、混合エンジン、修理/交換分析プロセス、取り外し/設置プロセス、修飾子計算プロセス、塗装分析プロセス、または労賃分析プロセスであるように構成されうる。異なるメタデータ1020が、これらの実施形態のそれぞれで使用される。
【0140】
以下でより詳細に説明する図11に示すように、従来の車両修理コストの見積(または「請求見積」)は、顧客が保険に加入している損傷車両を持ち込んだときに、自動車整備工場(すなわち、損傷した車両が修理および/または整備される修理工場または作業場であって、顧客によって、または被保険車両の修理業者として保険会社のいずれかが提案するもの)で生成される。その後、保険会社が見積を審査する(典型的には、「請求審査プロセス」と呼ばれる)。保険会社、特に保険会社のために働く専門家チームまたは担当者は、請求見積を審査する際に、事前定義された手順またはワークフローに従う必要がある場合がある。こうした手順またはワークフローは、例えば、統計に現れた変則性が特定される場合、請求見積に対して日常的に異議を唱えるために、関連するスタッフ/担当者を必要としうる。しかし、手作業は時間のかかる作業であり、人為的ミスを生じやすいため、保険会社は、請求を正確かつ効率的に審査する際に課題に直面する。請求審査における非効率なプロセスは、手作業審査による請求のバックログを生じさせて、非効率なプロセスに関連する高コストが累積する可能性がある。自動または半自動の請求審査システムを提供することは、請求の順序決定に役立ち、また、被保険者と提案された修理業者の両方によって保険会社に提供されるデータおよび情報の自動評価を使用して、請求における漏れ(すなわち、提案された修理が関連する保険契約の対象ではない、または不要である、価格が不正確である、または詐欺的であるかのいずれか)を特定するのに役立ちうる。
【0141】
図12図17を参照すると、損害の見積を生成し、請求入力データを承認できるか、または変則性があるか、またはさらなる評価が必要となりうるかを決定することより請求入力データを検証するための自動評価プラットフォームを使用して請求入力データを評価することに関する例示的実施形態を説明する。
【0142】
例示的実施形態は、車両修理見積が許容可能かつ正当であるかどうかを評価または審査するための自動システムを提供する。システムは、何らかの点で不規則な可能性が高い修理作業(すなわち、潜在的な漏れ)について警告信号を送るために使用でき、その後、保険会社によって(通常は手作業により、専門家の請求審査担当者または損失調整者によって)さらに審査することができる。
【0143】
一部の実施形態では、不規則な作業が特定されない場合、または不規則な作業の数(または値)が所定の閾値を下回る場合、修理作業は、保険会社に代わって自動承認されるか、または保険会社の待ち行列もしくはワークフローに割り当てることができる。
【0144】
従来の車両修理請求プロセス1100を示す図11に示すように、車両損害の場合または事故1105の後、被保険者は典型的には、修理1115のために被保険車両を修理工場または自動車整備工場に持って行き、その保険会社に連絡し、事故1110を報告する。
【0145】
修理工場または自動車整備工場は、関連する保険契約の条件および被保険者の優先権などを含むがこれらに限定されない様々な要因に応じて、被保険者または保険会社が選択できる。
【0146】
被保険者が損傷した車両を最初に修理工場1115に持って行く場合、損害は修理工場によって評価され、損傷した車両に必要な修理1120についての見積または見積コストが準備される。修理工場の手順、保険会社の保険契約、損害または事故の重度などの様々な要因に応じて、修理工場からの見積は、保険会社による承認のために保険会社1125に送信される。保険会社は典型的には、受領した修理見積を精査1130するためである。修理工場は、その見積修理コストを、裏付けとなる詳細(例えば、提案された修理作業、必要な部品、塗装などの必要な材料)とともに、保険会社1125に送信することができる。修理工場から保険会社に送信される修理見積1120に加えて、被保険者(または、被保険事業体に代わり、または被保険車両に関して損害/事故を報告する当事者)は、その保険会社に連絡1110し、発生した事故または損害を報告し、(運転者または修理工場のいずれかによって提供される)損傷した車両の画像を含む事故または損害の詳細を保険会社に提供1125する。
【0147】
次に、保険会社は請求を審査し、必要に応じて、修理作業を承認する前、または被保険者または修理工場のいずれかに支払いを送信する前に、請求金額を確認するために、被保険者および/または修理工場にさらなる詳細を任意選択的に要求する。
【0148】
具体的には、保険会社を代表して電話を受ける担当者は、顧客が保険会社に事故1105を報告1110するとき、一連の標準的な質問、または質問の決定ツリーを通して、事故に関する一連の標準的な必須情報(例:被保険者名/車両名、車両の詳細(車種、モデル、状態を含む)、保険契約の詳細、標準的なセキュリティ質問、事故の原因の詳細など)を取得する。このようにして、保険会社は、例えば、保険会社の担当者が以下のスクリプトに従って要求する情報の標準確認リストなどの情報を、保険会社に提供することができる。これにより、被保険者および車両の包括的な詳細が、保険会社に提供されるとともに、総合的な事故および損害の詳細が提供される。さらに、損傷した車両の写真も、保険会社に提供される場合がある。
【0149】
被保険者の詳細、事故の詳細、および損害の写真画像は当事者から保険会社に提供されるため、保険会社は、これらを含むが限定されない以下の点について、典型的には提供される詳細を精査して評価1130を行うことができる:(a)有効な保険契約が存在するかどうか、(b)報告された損害が、保険契約の対象となる方法および時間枠に発生した可能性が高いかどうか、(c)提案された修理が、保険契約または保険会社の基準に基づき受け入れられるかどうか、(d)見積もられた部品の価格が各部品の許容可能な閾値価格の範囲内であるかどうか、(e)修理および/または塗装のための提案される労働コストおよび時間が、決定された車両への損害について適切であるかどうか、(f)部品の修理または交換に関する各決定が正しいかどうか、(g)部品への塗装作業を混合するべきかどうか、(h)部品がOEM部品か非OEM部品か、(i)事前塗装済みの部品を使用するべきかどうか、および(j)部品に対する正しいオプションが指定されているかどうか。保険会社への報告1110または保険会社に提供される修理見積1125には、保険会社が検討1130する十分な情報または詳細が含まれていない場合があり、その場合は、不十分な情報または詳細が提供1135されたと保険会社が決定する場合、保険会社は追加情報を要求1140する。次に、保険会社は、提供されたデータを再考1130し、十分な詳細が提供されるまで同様の決定1135を行い、その後、修理見積を評価1145し、見積を却下1150するか見積を承認1155して、修理工場によって修理作業を実行1160できるようにする。見積が却下1150される場合は、修理工場がステップ1120から修正した修理見積を再提出する時にプロセスが繰り返される。
【0150】
図12を参照すると、組み込まれた自動修理コスト見積審査プロセスを有する請求プロセス1200の例示的実施形態を説明する。
【0151】
車両の事故または損害1105の後、被保険者/クライアントは、事故1105の後、保険会社に事故を報告1110し、修理評価1115のために車両を自動車整備工場に持ち込む。自動車整備工場は、車両への損害に対する修理見積を準備1120し、この見積を保険会社に報告1125する。
【0152】
特定の請求に関連するデータまたは情報は、審査システムのフロントエンドで保険会社のスタッフが入力することにより手作業で、またはクライアントおよび修理工場から受信したデータを自動審査システム1205に直接渡すことによって自動的に、自動審査システム1205に入力される。
【0153】
一部の実施形態では、自動審査システム1205は、自動システム1205への入力データのタイプに応じて、異なるまたは組み合わせの作業を実施することができる。例えば、図12に示す実施形態では、自動審査システム1205は、三つの審査プロセスのうちの一つをトリガする。すなわち、ユーザーによって完了される所定のワークフロー1210、決定された変則性のない請求の自動承認1220、または、自動システム1205が、自動車整備工場によって生成された修理見積に同意しない1230ケースにフラグ付けを行い、フラグ付けされたケースの手作業(すなわち、専門家)またはさらなる審査1235がトリガされ、専門家が同意して見積が最終決定1225されるか、または専門家が同意しない場合は修理工場が修正された見積を準備1120する必要がある。したがって、この例示的実施形態では、自動審査システム1205は、承認のために修理見積を最終決定1225するために、自動車整備工場の見積を承認、クエリー、または却下することができる。
【0154】
例示的実施形態では、自動審査システム1205は、請求入力に基づき審査される請求に対する独立した修理見積を決定することによって、また、(請求入力から生成された)コンピュータ生成の損害見積を使用した独立した修理見積を決定するために見積プロバイダーを使用して、修理工場から提供された修理見積1125と比較することで、審査を実施することができる。
【0155】
例示的実施形態では、VINの確認、必要な写真が欠けているかどうかの確認、および請求書が修理見積と合致するかどうかの確認などのワークフローを実施することができる。例えば、車両について提供されたVINにミスまたは不一致があると判断された場合、またはVINが車両について提供されない場合に、一つのワークフローをトリガすることができ、ワークフローは、請求を手作業で審査する代わりに、修理見積を修理工場に自動的に返し、承認を得るために修理見積を検討する前に車両のVINの詳細を要求することができる。別の例示的なワークフローは、車両への損害について不十分な写真が提供されたと判断され、承認を得るために修理見積を検討する前に車両または車両への特定の損害領域について、さらなる写真またはより高品質な写真が要求される場合に、トリガされるであろう。さらなる例示的なワークフローは、過去の修理見積で承認されたものと合致しない修理コストについて請求書が提出された場合に、手作業(人間による)による審査をトリガするか、または請求書の自動却下を修理工場に送信して、過去に提出された修理見積との不一致の詳細を提供するかのいずれかで、トリガされるであろう。
【0156】
実施形態では、車両への損害は、損傷した車両の写真から判断され、損害の程度および車両へのそれぞれの損害の重度が決定されるため、車両について十分な画像データを有し、この画像データが十分な品質であることが重要である。ただし、構造的損害などの車両への損害の一部は、損傷した車両の写真からは特定できない。
【0157】
図13を参照すると、図12に示す自動審査システム1205によって実施されるプロセス1300の概要を詳細に説明する。
【0158】
自動評価プラットフォーム1310に提供される入力1305は、クライアント1110によって保険会社に提供された情報および修理工場からの修理見積1125を含む。例示的実施形態では、自動評価プラットフォーム1210には、請求に関連する写真1320(すなわち、車両の写真、例えば、車両周辺のいくつかの異なる角度からの車両の写真ならびにクローズアップ写真を含む、主には損傷した部分および車両の部品)、保険会社が準備した注文書1325(すなわち、クライアントと話をした保険会社が準備した事故および/または損害の詳細)、および修理工場が提供する財務見積1330(すなわち、交換を必要とする部品や塗装などの材料のリストおよび部品の取り外し、および部品の交換または修理、およびその後の車両の修理部分の塗装などの仕上げ作業の実施に必要な労働力のリスト、リストされた材料の価格およびリストされた労働力の価格)が提供される。
【0159】
例示的実施形態の自動評価プラットフォーム1310は、三つの層、すなわち、取り込み層1345、評価エンジン層1365と、およびアプリケーション層1380を含む。例示的実施形態では、自動評価プラットフォーム1310は、これらの層1345、1365、1380の順序で、請求入力を評価することができる。
【0160】
例示的実施形態では、取り込み層1345は、自動評価プラットフォーム1320へのデータの入力を取り扱う。取り込み層1345は、標準アプリケーションプログラミングインターフェース(API)1335および安全なファイル転送プロトコルアップロードモジュール1340を含む。標準API 1335は、この実施形態では、被保険者、修理工場および保険会社スタッフの組み合わせによってデータがその中に入力された保険会社のシステムとの通信に接続されていることによって、請求入力データ1305をプラットフォーム1310に入力する機構を提供する。例示的実施形態では、被保険者には、車両への損害の写真を撮影するために、携帯電話上にウェブアプリケーションが保険会社により提供され、このウェブアプリケーションを使用して撮影された画像データは、保険会社のコンピュータシステムに保存され、標準API 1335によって評価プラットフォーム1310に提供される。さらに、例示的実施形態では、自動車整備工場の見積1330は、修理工場スタッフからの入力を捕捉し、保険会社のために標準化された形式で自動車整備工場の見積1330を準備し、保険会社のコンピュータシステムAPIを使用して保険会社のコンピュータシステムにこれを直接アップロードし、次いで、標準API 1335を使用してこのデータを評価プラットフォーム1310に提供する、標準化されたサードパーティソフトウェアを使用して、自動車整備工場から保険会社に提供される。
【0161】
例示的実施形態では、評価エンジン層1365は、範囲順序決定モジュール1350、コア評価モジュール1355、およびワークフロー順序決定モジュール1360を含む。評価エンジン層1365については、図14を参照してより詳細に後述する。
【0162】
例示的実施形態では、アプリケーション層1380は、損失調整器アプリケーション1370および結果API 1375を含む。損失調整器アプリケーション1370によって、保険会社のスタッフは、修理工場から供給された修理見積1120、1330と比して評価エンジン層1365によって生成された詳細な独立した修理見積を審査することができ、保険会社のスタッフが各見積の詳細を比較し、効率的な比較を支援することを可能にし、損失調整器アプリケーション1370は、二つの見積間の差異を強調し、修理工場で特定された自動車整備工場の見積1330の潜在的な問題を示す。例えば、自動車整備工場の見積1330は、評価エンジン層1365によって生成された独立した修理見積では不要と決定された追加の労働作業をリストしている場合があり、これは、損失調整器アプリケーション1370を介して強調される。結果API 1375は、例えば、評価エンジン層1365によって生成された独立した修理見積が、保険会社のスタッフが設定した所定の承認閾値内に適合または合致する場合に修理見積1330の承認を可能にするために、評価エンジン層1365の出力を、関連する保険会社のコンピュータシステムおよびスタッフに送信することを可能にする。
【0163】
代替的な実施形態では、供給された修理工場の修理見積1120、1330を、評価エンジン層1365による追加入力として使用し、次に、供給された修理工場の修理見積1120、1330の不正確、潜在的に詐欺的、または一貫性のない部分についての一つ以上の決定を出力する。
【0164】
例示的実施形態では、保険会社が承認できるまたは承認する更新された請求1315を出力するために、評価エンジン層から独立して生成された修理見積が、請求入力データ1305および任意の結果出力、ならびに損失調整器アプリケーション1330を介してなされる調整とともに出力される。
【0165】
一部の実施形態では、自動審査(または評価プラットフォーム)1310は、一つ以上の層、モジュール、プラットフォーム、インターフェースおよび/またはツールを含みうるが、これらに限定されない。例えば、自動審査は、モデル、請求ライフサイクルにおいて請求システムと統合するための標準API、および利害関係者がこれらの評価をそのワークフローで利用することを支援すうツールを使用して、請求の包括的自動評価を実施するためのプラットフォーム1310を組み込むことができる。一部の実施形態では、評価プラットフォーム1310は、取り込み層1345および評価エンジン層1365の二つの層を有してもよい。一部の実施形態では、取り込み層1345は、標準アプリケーション・プログラミング・インターフェース(API)1335およびSSHファイル転送プロトコル(SFTP)アップロード1340、または安全なファイル転送に使用されうる他のネットワークプロトコルを含むことができる。一部の実施形態では、評価エンジン層1365は、範囲順序決定モジュール1350、コア評価モジュール1355、およびワークフロー順序決定モジュール1360を含みうる。
【0166】
図14は、例示的実施形態の図13に示す評価エンジン層1365のより詳細な図1400を示し、ここでより詳細に説明する。
【0167】
提供される請求データは、自動評価プラットフォーム1310を使用して自動的に評価される。上述のように、例示的実施形態では、自動評価プラットフォーム1310の評価エンジン層1365は、三つの主要モジュール、すなわち、範囲順序決定モジュール1350、コア評価モジュール1355、およびワークフロー順序決定モジュール1360を含む。
【0168】
例示的実施形態では、範囲順序決定モジュール1350は、請求写真の範囲1410、損傷したパネルの写真の範囲1415、および車両識別番号(VIN)の利用可能性および有効性1420を評価することによって、取り込み層1345から受信したデータに対してデータ整合性チェック1405を実施する。
【0169】
請求写真の範囲1410の評価は、保険会社に提供された写真1320について、車両のどの部品/領域が各写真で示されているかを決定する。これにより、車両について十分な写真が撮影されたかどうかの評価が可能になる。
【0170】
次に、損傷したパネルの写真の範囲1415の評価は、自動評価プラットフォーム1310が写真1320を使用して必要となる可能性の高い修理作業について独立した評価を行い、これらを見積プラットフォームに入力して見積を生成するために、車両への損害について独立した評価するために、注文書1325、および写真1320により修理または交換が必要とされる目に見える損害のすべてが示される自動車整備工場の見積1330に対する検証を行う。一部の実施形態では、提供された写真1320によって車両の所定の範囲閾値が満たされない場合、プロセスは終了することができ、任意選択的には、画像が必要とされる部品/領域を示して、損傷した車両についての追加の画像を提供するよう要求を行うことができる。他の実施形態では、プロセスは継続し、提供された画像1320によって可能な範囲について、システム1400によって評価が行われる。
【0171】
VIN(車両ID番号)の利用可能性および有効性1420の決定は、供給されたVINのルックアップのためにデータが利用可能であること、およびVINが車両の検出または提供された特徴のいずれかと一致することを確認する。
【0172】
例示的実施形態では、コア評価モジュール1355を使用して、提供された写真1320に基づき、損傷した車両に必要な修理作業の独立した見積が生成され、次にこれを、提供された注文書1325および自動車整備工場の見積1330を検証するために使用することができる。必要な修理作業についての独立した見積は、コア評価モジュール1355によって生成され、一連の確認モジュール1430、1435、1440、1445、1450、1455、1460、1465、1470を使用して確認される。
【0173】
例示的実施形態では、漏れ確認モジュール1430は、確認を行って、不要または過剰と思われる自動車整備工場の見積1330の態様を識別する、または、過去に承認および却下された請求に関する保険会社の記録からのデータを使用して、不正確と思われる自動車整備工場の見積1330の決定(例えば、不正確な修理と交換の決定)を特定する。この実施形態の漏れ確認モジュール1430は、修理交換確認モジュール1435、労働時間確認モジュール1440、塗装確認モジュール1445、および部品確認モジュール1450を使用して、注文書1325および自動車整備工場の見積1330のそれぞれの態様を確認する。
【0174】
修理交換モジュール1435は、注文書1325の修理および交換(すなわち、交換を必要とする部品および交換ではなく修理を必要とする部品)の側面および自動車整備工場の見積1330が、損傷した車両に必要な修理作業について生成された独立した見積の同等の側面と一致することを確認する。
【0175】
労働時間モジュール1440は、注文書1325の労働(すなわち、労働時間の量および実行される労働作業/作業)の側面および自動車整備工場の見積1330が、損傷した車両に必要な修理作業について生成された独立した見積の同等の側面と合致することを確認する。
【0176】
塗装モジュール1445は、注文書1325の塗装(すなわち、塗装作業および材料コスト)の側面および自動車整備工場の見積1330が、損傷した車両に必要な修理作業について生成された独立した見積の同等の側面と合致することを確認する。
【0177】
部品モジュール1450は、注文書1325の部品(すなわち、必要な部品のリスト)の側面および自動車整備工場の見積1330が、損傷した車両に必要な修理作業について生成された独立した見積の同等の側面と合致すること、およびこれらの側面が、部品価格について問い合わせできるライブデータソースから取得されたデータと一致する価格設定であることを確認する。
【0178】
例示的実施形態では、不正行為確認モジュール1455は、注文書1325または自動車整備工場の見積1330の不正行為に見える側面を特定するために確認を行う。例示的実施形態における不正行為確認モジュール1455は、一貫性のない請求確認モジュール1460、一貫性のない損害確認モジュール1465、および車両ID確認モジュール1470を使用する。
【0179】
一貫性のない請求確認モジュール1460は、注文書1325または自動車整備工場の見積1330が、損傷した車両に必要な修理作業について生成された独立した見積の入力データから予測されていない修理作業をリストしているかどうかを確認する。例えば、報告された衝突点が車両フロントであると報告された場合、車両後部にある小さな塗装の傷は衝撃によって引き起こされた可能性が低く、衝撃以前に損害として車両に既に存在していた可能性が高い場合、請求は一貫性がない可能性がある。
【0180】
一貫性のない損害確認モジュール465は、注文書325または自動車整備工場の見積330が、損傷した車両に必要な修理作業について生成された独立した見積の入力データから必要と予測される修理作業と比較して過剰である修理作業をリストしているかどうかを確認する。例えば、夜間駐車中に事故により損害が発生したと請求されたが、評価または報告された損害には、運転者が車両を衝突した場合の特徴の大半またはすべてが存在する場合は、損害に一貫性がない可能性がある。
【0181】
車両ID確認モジュール1470は、VINが、車両が被保険車両であるか、車両が正しい車種およびモデルであるか、また、自動車整備工場の見積1330で使用が提案される部品が、サードパーティデータベースでのVIN検索から取得された車両の車種およびモデルと一致するかどうかを確認する。
【0182】
一部の実施形態では、例えば、確認は、モジュール1430、1435、1440、1445、1450、1455、1460、1465、1470のそれぞれについて、より高いおよびより低い見積閾値内で独立して生成された修理見積に対して確認を行うように実施されてもよい。他の実施形態では、確認モジュール1430、1435、1440、1445、1450、1455、1460、1465、1470の一部のみが、注文書1325および自動車整備工場の見積1330を、独立して生成された修理見積と比して確認するために使用される。
【0183】
例示的実施形態では、コア評価モジュール1355に従って、ワークフロー順序決定モジュール1360は、次に、評価エンジン層1365の出力を決定するか、または評価エンジン層1365の出力の結果としてトリガされるワークフローを決定するために使用される。
【0184】
例示的実施形態におけるワークフロー順序決定モジュール(または段階)1460は、出力の有用性の評価1480、分析された価値の評価1485、請求優先度スコアの決定1490、およびカスタムワークフロー規則の適用1495を含む。
【0185】
例示的実施形態によれば、出力1480の有用性の評価は、コア評価モジュール(または段階)1355の出力がどの程度使用されるかを評価するために実施される。この評価は、二つのモジュール、すなわち、価値分析評価モジュール1485および請求優先度スコアモジュール1490を使用して実施される。
【0186】
例示的実施形態によれば、価値分析評価モジュール1485は、自動車整備工場の見積1330のどの割合が独立して生成された修理見積と比して確認されたかを評価するが、これは、独立した修理見積を生成するための写真の使用に起因して、例えば、損傷した車両の写真では撮影されていないまたは検出可能でない内部構造的損害について提案された修理のあらゆる側面を確認することができないためである。
【0187】
例示的実施形態によれば、請求優先度スコアモジュール1490は、決定された漏れのレベル1430および決定された不正行為のレベル1455に基づき、請求に優先度を割り当てる。これは、所定のスコアリングシステムまたは相対的スコアリングシステムを、実質的に同時処理中の他の請求と比較して決定することができる。
【0188】
さらに、例示的実施形態によれば、は、システムがその内部方針、手順およびシステムと連携するために、保険会社によって事前構成された任意のカスタムワークフロー規則1495の適用である。
【0189】
他の実施形態では、コア評価モジュール1355の出力は、特定のワークフローまたは動作をトリガするために使用される。例えば、入力請求の不正確、潜在的に詐欺的、または一貫性のない部分が決定されない場合、入力請求は自動承認される。他の実施形態では、所定の閾値額を下回る入力請求の一部分(例えば、保険会社によるが20%、または10%または1%)が不正確、潜在的に詐欺的であるか、または一貫性がないと判断される場合にのみ、自動承認が行われる。一部の実施形態では、入力請求で不正確なVINが検出された場合、請求の手作業での審査を回避するために修理工場に請求を返して、正しいVINデータを持つ請求を再提出するよう求めるプロンプトとともにワークフローがトリガされうる。他の実施形態では、修理工場から不十分なデータが供給されたと決定される(例えば、VINがない、車両または車両の一つ以上の部分の写真がない)場合、ワークフローがトリガされて手作業での(人間による)審査を再び回避し、決定された欠損データに関して請求を再提出するよう修理工場に要求することができる。これらの自動的にトリガされるワークフローまたは動作は、手作業での(人間による)審査の必要性を回避することにより、請求処理の効率を向上させることができる。
【0190】
一部の実施形態では、記載する自動審査プロセスを組み込むことで、損害評価の改善、損害評価の自動化、より効率的および/または迅速な修理作業の承認、ならびにより迅速で効率的な決済評価を含む様々な方法で、提案された修理作業を評価するプロセスを改善することができる。損害は、例えば、システムによって自動分析されうる請求の値および/または請求の優先度に基づき、異なる方法で処理する必要のある請求を順序決定することによって、より効率的かつ正確に評価することができる。自動評価の使用により、請求における漏れの発見を加速させ、その一方で、変則性がない請求の迅速な承認を自動的に可能にすることができる。他の実施形態の自動審査プロセスを使用して、承認された請求書を審査し、修理後監査を実施することによって、修理後の漏れを評価し、フラグを立てることができる。一部の実施形態では、請求の順序決定のための様々な評価を使用して、請求を処理する最善の方法が、構造的損害が特定された場合に専門家を現場に派遣することか、請求の漏れまたは不正行為を迅速に特定して保険会社のスタッフが審査し異議申し立てを行うための部分的な処理か、および保険会社が、例えば損害または漏れに対して定めた統計的閾値または絶対的閾値に基づく、損害の低い請求または確実性の高い請求の承認を自動化するための自動化かどうかを決定することができる。
【0191】
図15は、一例示的実施形態で実施される比較分析プロセス1500を示し、ここで、プロセスは、車両への損害の画像および過去のデータで訓練されたモデルを使用して修理工場から提出された修理見積の確認を実施するために使用される。
【0192】
具体的には、図15は、画像分類器1510を使用して修理される車両への損害の画像入力1505を処理することによって、過去のデータおよび所定の承認基準と比して提案された車両修理見積データを評価するための方法1500を示すフローチャートを示す。この実施形態では、車両修理見積データは、(決定)分類器1515を使用して分析され、これは、過去の車両修理データを使用して訓練され、車両への損害を決定することによって、見積プラットフォーム1535と連携して動作し、見積プラットフォームを使用して、入力車両見積データ1520を検証するために決定された損害の修理データを決定し、特定された誤差または変則性1525を、入力車両見積データ1520に出力する。一部の実施形態では、入力車両見積データ1520は、誤差または変則性1525とともに、例えば、損失調整器アプリケーションにおいて、審査のためにコンピュータ上のユーザーインターフェースでユーザーに表示することができる。
【0193】
図16は、別の例示的実施形態で実施される比較分析プロセス1600を示し、ここでプロセスを使用して、独立した修理見積1615を生成し、修理工場から提出された修理見積1620とこれを比較することによって、車両への損害の画像と過去のデータとの照合確認を行う。
【0194】
具体的には、図16は、画像分類器1510を使用して車両1605への損害の画像を処理することによって、過去のデータおよび所定の承認基準と比して提案された車両修理見積データ1620を評価するための方法1600を示すフローチャートを示す。この例示的実施形態では、独立した修理見積は、見積プラットフォーム1635に行われたルックアップと連動して、(見積)分類器1615によって生成され、画像および分類器1610、1615は、過去の車両修理データを使用して訓練され、独立した修理見積を出力するために見積プラットフォーム1635と連動して機能する。修理工場が提供する独立した修理見積および修理見積1620は、入力車両見積データ1620の誤差または変則性1630を特定するために比較1625される。一部の実施形態では、独立した修理見積および入力車両見積データ1620は、誤差または変則性1630とともに、例えば、損失調整器アプリケーションにおいて、審査のためにコンピュータ上のユーザーインターフェースでユーザーに対して並べて表示することができる。
【0195】
例示的実施形態、例えば、図17に示す例示的実施形態のプロセス1700などは、提案された修理見積を自動車整備工場が確認できるために自動車整備工場が使用することができ、不規則な作業が特定された場合は、自動評価プラットフォームを使用して、保険会社による修理見積の自動評価の要件を遵守するために、修理見積を保険会社に送信する前に、提案された修理見積を変更して不規則な作業を排除するか、または不規則とフラグ付けされたが必要な作業の裏付けとなる証拠を改善することができる。
【0196】
請求見積、および請求見積の関連する自動評価を事前に表示させることによって、自動車整備工場は、その修理見積の生成に使用される潜在的に正確ではない決定、またはより多くの情報(例えば、提案された修理を裏付ける写真など)の提出が要求されるかどうかを認識することができる。一部の実施形態では、システム/プラットフォームを使用して、自動車整備工場から得られた損傷した車両の撮影画像を分析し、見積プロバイダーを使用して修理データを取得することによって、損傷した車両の見積を自動車整備工場のために自動的に生成することができる。
【0197】
図17に示す実施形態では、修理見積1700を事前確認するプロセスを示し、ここで説明する。事故が発生1705した場合、クライアントは、事故、事故の詳細、および損害を保険会社に報告1710する。クライアントは、損傷した車両を修理のために修理工場に持ち込む1715。修理工場は、損害を調査し、損傷した車両の写真を撮影し、これらの写真および車両および損害/事故の詳細の一部を見積プラットフォームに入力1720する。見積プラットフォームは、自動車損害データで訓練されたモデルを使用して、例えば、損傷した部品を交換または修理するべきかを含めて、車両への損害およびこの損害の重度についての決定を準備した。この決定は、例えば、修理見積を準備するために必要な部品リストおよび労働時間とコストを決定するために、見積プラットフォームに提出される。次に、修理見積が保険会社に提供1725される。プラットフォームは、車両への損害を評価するための検証済みプロセスを使用して修理見積を既に準備しているため、修理見積は、事前承認されるか、または手作業で準備した修理見積に使用される方法で保険会社のソフトウェアによって検証されうる。承認されると、修理工場は作業を開始できる。
【0198】
任意選択的に、見積が誤って準備された、または警告メッセージがユーザーによってオーバーライドまたは無視され、事前承認されていない請求が提出された場合、保険会社は見積を処理1730し、それを却下し、再提出1725のために修理工場での見積の準備1720ステップにプロセスを戻すことができる。
【0199】
ここで図18~20を参照すると、一つ以上のさらなる態様を示すいくつかの実施形態を説明する。
【0200】
まず図18を参照すると、様々な態様/実施形態の方法が取るアプローチの概要を提供するために、一般化された実施形態1800について、ここでより詳細に説明する。
【0201】
画像1805は、損傷した車両を撮影し、典型的には、車両の様々な視点からの車両の複数の画像であり、典型的には、車両への損害を、クローズアップおよび車両の損害していない部分との関連においての両方で示す。これらの画像は、典型的には、保険請求を行うプロセスの一部として撮影されるが、損害発生の直後に搭乗者または車両の所有者によって撮影されるか、または損害評価を記録する一部として車両修理事業によって撮影される場合もある。
【0202】
画像1805は、複数の画像分類器1815に提供され、各分類器1815は、画像1805のそれぞれが、車両の特定の正規化された部分(例えば、フロントウィング、フロント左ドア、リヤバンパーなど)への損害を含むものとして分類されるかどうかの決定を出力する。他の実施形態では、単一の分類器1815を使用して、車両または車両全体の複数の部分に対する損害の分類を決定してもよい。
【0203】
画像分類器1815の出力は、決定のセット(または一部の実施形態では、任意選択的に信頼値を有する分類)を使用することができ、それぞれが、車両の部分に損害があるかどうかに関する車両のその部分当たりの決定である。一部の実施形態では、損害のレベルは、画像分類器1815から出力される決定(例えば、軽度または重度、またはレタッチ、修理または交換などの損害カテゴリー)でも示される。一部の実施形態では、損害の一つ以上の位置は、画像分類器1815から出力される決定に示されている。一部の実施形態では、他の特徴も画像分類器1815から出力される。
【0204】
画像1805に加えて、請求入力1810は、損傷した車両の修理を実施するための、電子的に生成された部品および労働作業の詳細リストという形態で提供される。請求入力1810は、車両修理スタッフが車両への損害の評価に基づき入力を提供する、サードパーティデータベースを使用して過去に生成され、これは、車両の損傷した構成要素のそれぞれを修理または交換するために必要な車両の特定のモデルおよび修理作業に対する部品の出力リストを車両修理スタッフのために生成する。
【0205】
請求入力1810は、NLP(自然言語処理)モデル1825に提供され、これは、請求モデル1810内の人間が可読なテキストを読み取り、請求入力1810を、車両の各部分の正規化されたデータに変換する(例えば、部品10個についての詳細リスト、および、例えば「フロント左ウィングの交換、合計労働時間は3時間、X部品が必要(Xは財務的価値でも、特定部品のリストでも、部品の数でもありうる)」などの対応する手作業および関連する労働時間のリストを含む請求入力の一部へと変換する)。一部の実施形態では、請求入力1810からの関連する写真は、NLPモデル1825によって生成される正規化された請求入力に含まれる。実施形態では、NLPモデル1825は、複数のNLPモデルを含む。
【0206】
自然言語処理(NLP)は、コンピュータが人間の言語を理解、分析、操作、および生成することができる機械学習の分野である。NLPモデル1825は、この分野の技術を使用して、請求モデル1810の人間が可読なテキストを理解し、これを、実施形態の機械学習モデルで訓練し、実行時に使用する標準化された情報へと変換する。NLPを使用してマッピングおよび解析システムを構築することにより、この実施形態およびその他の実施形態の方法によって、新しい市場/管轄区においても、訓練データが皆無でも、公知または新しい見積システムからのサードパーティ見積システムからの見積を正しく取り込むことができる。一部の実施形態では、文字レベルの言語モデルを使用して、部品の説明に基づき予測を行い、次に、車両(または正規化された部品)の正規化された部分、例えば、フロントバンパーにマッピングすることができる。実施形態では、言語モデルは、過去のラベルなし見積データ、および/または異なる言語で訓練され、これにより、学習プロセスがより効率的になり、および/または推論性能が増し、および/または新しい地理/市場/管轄区に適用された場合に、モデル(複数可)がより良好に機能することが可能となりうる。
【0207】
画像分類器1815からの決定(複数可)/分類(複数可)、およびNLPモデル(複数可)1825からの正規化された請求入力は、分類器1820に提供される。分類器は、請求入力1810(すべてまたは一部)が正しいかどうかを分類するために、車両修理スタッフによって生成される修理見積を表すNLPモデル(複数可)1825から、独立して生成された損害見積を表す画像分類器(複数可)1815からの出力(および一部の実施形態では、方法は、一つ以上のサードパーティデータベースを使用して、独立して生成された画像分類器(複数可)1815からの損害見積出力に基づき部品および労働作業の詳細リストを生成することができる)を評価する、訓練されたモデルまたはモデルである。
【0208】
分類器(複数可)1820の出力は、車両修理スタッフによって生成された修理見積を検証するために、例えば、車両修理スタッフによって、顧客もしくは保険会社による承認を得るために提出される前に(その正確さを確認するために)、または保険会社によって(例えば、保険請求承認プロセスの一部として、被保険顧客からの正しい修理作業の請求を承認または却下することが正しいことを確認するために)、使用することができる。
【0209】
上述の例示的実施形態で使用される、正規化された自動車部品1900の概念についてより詳細に説明するために、図19を参照して以下の詳細を提供する。
【0210】
図19には、例示的な車両1910の一般モデルを示す。例示的な車両1910は、すべてではないとしても、ほとんどの車両に共通する正規化された部品/領域1900の選択を示しており、これらの共通する正規化された部品1900を使用して、修理作業の見積を評価または検証する方法により検討する必要のある大半の車両の典型的な部品を、一般的な用語で記述することができる。
【0211】
例えば、例示的な車両1910は、フロント右ウィング1920、フロント左ウィング1930、左フロントドア1940、および左バックドア1950を示す。その他の可能性のある正規化された車両部品1900には、バンパー、ウィング、ホイールアーチ、ルーフ、ウィンドウ、ホイール、ライト、グリル、通気孔、ラジエータ、ミラー、フロントガラス、およびコンバーチブルルーフが含まれうる(がこれらに限定されない)。
【0212】
この正規化された部品スキームを使用することで、車両修理スタッフによって提供された詳細な修理見積の変換を、正規化された修理入力、例えば、車両の各正規化された部分について、詳細な部品リストおよび詳細な労働時間および作業を、検討中の車両に対するどのような損害かを示す正規化された表示、および車両の各正規化された部分を修理するのに必要な部品および労働の概要へと変換することが可能となる。
【0213】
同様に、正規化された部品スキームを使用して、車両の画像データを分析して、車両の正規化された部品の中で車両の写真で損害が示されるのはどれか、また一部の実施形態では、程度(例えば、部品全体/部品の大部分/部品の少数)および/または重度(例えば、高/中/低)および/または分類(例えば、交換/修理/塗装)および/または位置(例えば、車両上での位置)および/または各正規化された部分の損害の他の特徴を評価することができる。
【0214】
ここで図20を参照すると、独立した損害生成プロセス2000のより詳細な例示的実施形態についてより詳細に説明する。
【0215】
プロセスへの入力は、異なる視点から撮影した損傷した車両の画像のセットを含み、車両全体の画像データおよび車両への損害に関連する画像データを含む、複数の画像2005である。
【0216】
画像2005は、この例示的実施形態では、損傷した車両の画像データおよびこれらの損傷した車両の損害に対応する評価人の決定を含む過去の評価人の決定データで訓練された機械学習モデルである、ビジュアルAIモデル2015に提供される。他の実施形態では、他の機械学習および人工知能のアプローチを採用して、ビジュアルAIモデル2015を提供することができる。ビジュアルAIモデル2015は、損傷した車両の各正規化された部分について損害マスク2010および損害の分類を出力する。
【0217】
一部の実施形態では、正規化された部品スキーム/配置を使用し、損害の程度、重度、場所、およびタイプを決定することにより、モデルまたはルックアップテーブル(例えば、サードパーティデータベースを使用する、またはルックアップテーブルを生成する)を使用して、出力決定においてより詳細なレベルで決定すること(例えば、検討検討中の車両の車種、モデルおよび年式に対する損傷したバンパーの正確な部品番号の特定、ならびに部品の交換にかかる期間)が可能になる。したがって、正規化された部品スキームの利点は、多くのタイプの車両および/または地理にわたって、詳細な出力(例えば、特定部品および/または作業および/または労働時間の要件)を決定する能力を失うことなく、(視覚的モデリングをより容易および/または堅牢に実行することを可能にする)一般化された視覚的評価を可能にすることである。
【0218】
損害マスク2010は、損傷した車両のすべての正規化された部品に対する損害の分類を含む。
【0219】
損傷した車両の各正規化された部分の損害の分類は、ビジュアルAIモデルから修理モデル2020へ出力される。
【0220】
修理モデル2020は、一連の修理/交換モデルおよび修理労働時間モデルを含む一連のモデルを含み、そのすべては、損傷した車両の画像データおよびこれらの損傷した車両への損害に対する対応する評価人の決定を含む、過去の評価人の決定データで訓練された機械学習モデルである。他の実施形態では他の機械学習および人工知能のアプローチを採用して、修理モデル2020および/または修理/交換モデルおよび/または一つ以上の修理労働時間モデルを提供することができる。修理モデル2020の出力は、車両の正規化された部品のそれぞれについて、車両の正規化された部分が修理または交換を必要とするか、および労働作業カテゴリー(例えば、最小/容易/複雑、または必要な時間の概算)のどちらを必要とするかの分類である。
【0221】
混合エンジン2025は、損害マスク2010および修理モデル2020の出力の両方を受け取る。次に、混合エンジン2025は、車両の各正規化された部品に任意の塗料混合が必要かどうかを評価する。塗料混合は、車両の隣接部品間での塗装色を滑らかな移行を確保するプロセスであり、従って、損傷した部品を交換するために事前塗装済みの交換部品が使用される場合、または損傷した部品が修理または交換後に塗装される場合に、に対する連続的な塗装色の仕上げを確保するために(修理/交換済みの部品および/または一つ以上の損害していない隣接部品のいずれかに対して)必要となる場合がある。
【0222】
混合エンジン2025の出力は、塗装ルールエンジン2030および取り外し/設置(R&I)ルールエンジン2035に提供される。
【0223】
塗装ルールエンジン2035は、混合エンジンの出力および損害マスク2010を評価するために使用される一連のルールを含み、修理された車両を塗装するために必要となる可能性の高い材料および労賃の見積をする。例示的実施形態における一連のルールは、手作業で作成されるが、他の実施形態では、機械学習アプローチを使用できる。
【0224】
R&Iルールエンジン2035は、物理的な修理作業を実施してから再装備できるように、どの部品を車両から取り外す必要があるかを決定する。一部の実施形態では、R&Iルールエンジン2035からの出力は、車両の正規化された部品ごとに、車両からこれらの部品を取り外し、修理を行った後にこれらの部品を再装備するために費やす必要がある合計時間である。
【0225】
ビジュアルAIモデル2015、修理モデル2020、混合エンジン2025、塗装ルールエンジン2030およびR&Iルールエンジンからの出力に基づき、車両への損害について生成された評価および車両に関する詳細(例えば、このデータのすべてまたは一部が利用可能な場合は、車種、モデル、年式など)を使用して、損傷した車両の修理を実施するために電子的に生成された部品の詳細リストおよび労働作業を生成するために、データベースルックアップ2040がサードパーティデータベース2050で実行される。
【0226】
データベースルックアップ2040を使用して詳細リストが準備されると、損害評価プロセス2000の出力は、重複ルールエンジン2060で重複ルールのセットによって審査され、重複部品または労働作業が詳細リストに列挙されているかどうかを決定し、次にこれを、重複ルールエンジン360および生成された出力2070によって詳細リストから削除することができる。
【0227】
次に、出力2070を、車両修理スタッフによって準備された損傷した車両の修理を実施するために、部品および労働作業について電子的に生成された詳細リストと比較することができる。
【0228】
修理見積を生成するプロセスを人間の意思決定とソフトウェア支援の決定に分割し、機械学習モデルを構築して人間の意思決定を予測することによって、完全に自動化された修理見積の生成アプローチを採択することができる。
【0229】
一部の実施形態では、例えば、ルールベースのシステムを適用するか、または浅く能力が制約された機械学習モデル/アプローチを使用することによって、使用されるモデルの一部は、訓練データへの過剰適合を防止するために限定された能力を有してもよい。
【0230】
一部の実施形態では、一つ以上のモデルは、検討検討中の車両の車種、モデル、および年式にとらわれない方法で訓練される。これにより、車両または一般化可能な損害表現(例えば、損傷した車両の画像データから)の損害/損害見積の分類を生成するために、一つ以上のモデルのユニバーサルセット、またはユニバーサルアプローチの訓練が可能となる。実施形態では、モデルの一部またはすべては、一般化可能な損害表現を取り、最終予測/分類を行うために検討中の車両の車種、モデルおよび年式に関する情報を追加する、最終的な浅い層を含む。車種、モデル、および年式に関する情報を追加するための最終的な浅い層を使用するこれらの実施形態では、アプローチは、完全な畳み込みニューラルネットワークであるモデル(複数可)を訓練するために、はるかに少ない訓練データを必要とする場合がある。
【0231】
一部の実施形態では、モデル(複数可)は、モデル(複数可)内のニューラルネットワークの第一の層が、車両の一般化可能な特徴を抽出するために、すべての地理にわたり入力データをユニバーサルな方法で処理するように、複数の地理からのデータを使用して訓練され、その後、各地理は、各地理に対する特定の修理方法を学習するために、その地理からの訓練データのみを使用して改善される。実施形態では、訓練データセットは、モデルの地理特異的な分岐が、マルチタスク学習技術において分岐として扱われうるように、地理特異的ラベルで擬似ラベル付けされてもよい。他の実施形態では、一つ以上のモデルは、各地理における修理/交換決定の割合を考慮するために、損失機能を再加重するように訓練されてもよい。他の実施形態では、一つ以上のモデルは、ネットワークの実質的に真ん中に存在する混乱損失層をさらに有してもよく、これは、ネットワーク内のその時点で、異なる地理から来る画像を区別しないように強制するために使用されうる。
【0232】
一部の実施形態では、方法は、衝突点(例えば、車両のフロント左)および/または衝突に関与する物体(例えば、木または別の車両)を正規化し、損害予測/分類が、衝突点および衝突に関与する物体のいずれかまたは両方と一致することを確認するさらなるステップを含む。
【0233】
新しい状況に関して過去のデータが取得されていない、例えば、車両の新しい車種、モデル、および年式などが直面する代替的な実施形態について、より詳細に説明する。
【0234】
この実施形態では、車両の新しい車種、モデル、および年式に直面すると、システムは「デフォルト」の車両タイプの使用に戻る(または他の実施形態では、システムは、「セダン」、「ピックアップ」、または「ワゴン車」などの一般的な車両タイプを決定し、その車両タイプに対して事前決定済みまたは事前学習済みのデータを使用しようとしてもよい)。システムは、(例えば、視覚モデルの最終層への入力として、または混合エンジンおよび/または塗装ルールおよび/またはR&Iルールへの入力として、およびサードパーティデータベースへのクエリーを行う際の入力として)他の特定の車種、モデル、および年式が使用されるすべての後続ステップで、「デフォルト」または選択された「一般」車両タイプのいずれかを使用する。
【0235】
車両ごとの正規化された部品を使用する一般モデルを訓練することによって、(新しい車種/モデルを入力として使用して)車両の新しいモデルを即座に分析することができ、機械学習モデルは、他の車種/モデルについて既存の学習したパラメータとの相関を学習することができる。この実施形態では、車種、モデル、または年式に関する情報が欠けている訓練データについて訓練を受けた車両の車種およびモデルのデフォルト設定が使用され、車種、モデル、および年式が未知の車両の損害表現に対する「ゼロショット」予測が可能となる(ただし、少なくとも一部の訓練が車種、モデル、および年式に対して行われた場合よりも予想される精度は低い)。
【0236】
一つの管轄区において訓練されたアプローチが、未知の異なる管轄区に適合される別の実施形態について、ここでより詳細に説明する。
【0237】
こうした実施形態では、システムは、図20に関連して記載した以前の実施形態のように構成されているが、設計に関して行われた決定により、方法は、データがさほどなくても新しい地理に適合させることができる。未知の異なる管轄区に関して比較的少量のデータ(すなわち、新しい管轄区についての新しいデータ)が収集される。特に、(新しい視覚モデルを訓練するよりもはるかに少ないデータを必要とし、それゆえ、新しい管轄区について収集されるデータが少量である)視覚モデルの最終層のみを微調整し、この新しいデータを使用し、(こうした作業を実施する上で機械学習モデルをゼロから訓練するよりもはるかに少ないデータを必要とする)新しいデータに基づいて混合エンジン、塗装エンジンおよびR&Iエンジンを調整することにより、前述のアプローチ(複数可)を、新しいドメイン(すなわち、未知の異なる管轄区)に適合させることができる。
【0238】
ドメイン適合を使用することで、ユニバーサルに機能するようにモデルを訓練できるが、その後、異なる市場/管轄区/モデルで使用するように適合させることができる。一部の実施形態では、モデルが一つの市場(例えば、フランスの保険修理市場)に対して生成され、その後、ドメイン適合を使用して、別の市場(例えば、日本の保険修理市場)で使用するために微調整される。例えば、モデルを訓練するために使用される初期のデータセットは、以下のデータセットと比較して非常に大量のデータを有してもよい(前述の例を使用すると、フランスのモデルについては、訓練するのに使用できるデータが日本のモデルに比べて100倍ある可能性がある)。市場/管轄区/モデル間の違いは、例えば、一部の管轄区では、部品を修理するよりも交換する方が一般的であるなど、任意の数の要因でありうる。このアプローチはまた、以前のラベルの分布を調整することによって、現地レベルの変化(例えば、降ひょう雷雨または他の自然災害が広範囲の損害をもたらした)に適合させる場合に、高レベルの性能を可能にすることができる。このアプローチを取る一部の実施形態では、例えば、修理される部品と交換される正規化された部品の割合などの指標を含むライブキー指標が追跡される。追跡された指標の分布に急激な変化が起こると、車両が損害を受ける方法、および/または修理される方法、または修理が提案される方法に何らかの大きな変化があった(例えば、降ひょう雷雨または自然災害)ことが示唆される。閾値設定を使用して、一つ以上の混合エンジン/塗装エンジン/R&Iエンジンを調整する、または修理方法の速やかな変更に適合できるように視覚分類器の最上層を微調整することによって、しかるべく(すなわち、分布が所定の量を超えて変化した場合)システム内で具現化されるアプローチを調整することができる。
【0239】
一部の実施形態では、効率的なカテゴリー特徴の符号化が、必要な訓練データの量をさらに減少させるために、車種およびモデルに使用される。
【0240】
ここで図21を参照すると、正規化された車両部品2100(または正規化/標準化された車両部品または領域)のより詳細なセットを実装する代替的な実施形態について、ここでより詳細に説明する。正規化された車両部品2100のこのより詳細なセットは、本明細書に記載する他の態様および/または実施形態のいずれかとともに使用されてもよい。
【0241】
図21は、一実施形態による一般的な車両図であり、車両の部品/領域は、複数の正規化/標準化された部品、ゾーンまたは領域2100に分割される。図21では、以下の正規化/標準化部品が示されている:フロント左ヘッドライト2102、フロントラジエータグリル2104、フロント右ヘッドライト2106、フロントボンネット2108、フロント右フェンダー2110、フロント右ホイール2112、右ランボード2114、フロント右ドア2116、フロント右ドアウィンドウ2118、バック右ドア2120、バック右ドアウィンドウ2122、トランク2124、後部右クォーターパネル2126、後部右ライト2128、リヤバンパー2130、後部左ライト2132、後部左クォーターパネル2134、後部ウィンドウ2136、バック右ドアウィンドウ2138、バック右ドア2140、左ランボード2142、フロント左ドア2144、フロント左ドアウィンドウ2146、フロント窓2148、左フロントホイール2150、フロント左フェンダー2152、およびフロントバンパー2154。他の実施形態では、これらの正規化された部品の一部のみが使用されてもよく、および/またはいくつかの他の正規化された部品が、例示的実施形態で使用される部品と交換されてもよい。
【0242】
ここで図22を参照すると、例示的実施形態による塗料確認プロセス2200が示されており、ここでより詳細に説明する。
【0243】
この実施形態では、入力データは、損傷した車両の複数の写真2202および修理工場の見積2204であり、これには、損傷した車両の損害を修理するために必要となる提案された修理作業および/または材料(典型的には、提案された修理作業および/または材料についての費用案と併せて)の詳細が含まれる。
【0244】
最初に、いくつかの事前確認チェック2206が実施される。事前確認チェック2206には、(a)請求が適格かどうか、すなわち、提案された修理作業および/または材料が保険契約の対象となるかどうかを決定すること、(b)提案された修理作業が、損傷した車両の範囲内および/または範囲外パネルの提案される塗装を含むかどうかを決定すること、(c)システムが損傷した車両の塗装要件を決定するために必要な関連データを取得できるように、損傷した車両の特定の車種、モデル、および年式についてのルックアップテーブルが存在するかどうかを決定することが含まれる。他の実施形態では、これらの確認の一部のみが実施され、および/または代替的または修正された確認が行われてもよい。
【0245】
事前確認チェック2206の後、塗装領域が決定2208される。具体的には、塗装を必要とする損傷した車両の領域が決定される。これを行うために、部品ごとのモデルを使用して、車両の各部品が塗装を必要とするか、またどの程度で、すなわち、パネル上のスポットのみを塗装する必要があるか、またはパネルの一部分を塗装する必要があるか、またはパネルの大部分/すべてを塗装する必要があるかを決定する。これについて図23に関連して以下でより詳細に説明し、プロセス2200で使用される基礎モデルは、例えば、異なる訓練の加重を適用することによって、異なる管轄区に適合させることができる。モデルを新しい管轄区に適合させることは、さまざまな方法で行うことができる。一つの実施形態では、新しい管轄区からのデータを用いたドメイン適合方法を使用することによって行うことができる。別の実施形態では、その管轄区における普及率に基づき、各クラスの加重(例えば、別途記載されるようなスポット/軽度/重度の比較)を調節することによって行うことができる。さらなる実施形態では、分類器の出力に対して異なる閾値を設定して、どの損害のレベルが各クラス(例えば、別途記載されるようなスポット/軽度/重度の比較)に対応するかを決定することによって、行うことができる。
【0246】
塗装領域が決定されると、塗装時間が決定2210され、具体的には、決定された塗装領域を塗装する所要時間の見積が生成される。これを行うために、この実施形態では、各パネルに塗装が必要な程度の詳細を含めて、各パネルの塗装が必要と決定されたすべての部品/パネルについて、サードパーティデータベースでルックアップが実施され(すなわち、クエリーが送信される)、サードパーティデータベースは、クエリーに基づく時間値、典型的には、車両の特定の車種、モデルおよび年式に基づく時間値を返す。
【0247】
塗装領域決定プロセス2208と並行して、事前塗装済みパネル確認2212が実施される。事前塗装済みパネル確認2212は、損傷した車両への損害が、損傷した車両の修理に使用される事前塗装済みパネルを必要とするかを決定し、したがって、事前塗装済み車両の修理に使用される部品のために車両の一つ以上の部品を塗装する必要性を排除する。
【0248】
事前塗装済みパネル確認2212によって必要と決定された事前塗装済みパネルについて、二つのさらなるプロセス、すなわち、交換塗装時間の決定2214と、追加コストの決定2216を実施する。
【0249】
交換塗装時間プロセス2214の決定は、損傷したパネル(複数可)を事前塗装済みパネル(複数可)と交換するために必要な時間を決定することを含む。これを行うために、この実施形態では、事前塗装済みパネルでの交換が必要と決定されたすべての部品/パネルについて、サードパーティデータベースでルックアップが実施され(すなわち、一つ以上のクエリーが送信される)、サードパーティデータベースは、クエリーに基づく時間値、典型的には、車両の特定の車種、モデルおよび年式に基づく時間値を返す。
【0250】
追加コストプロセス2216の決定は、部品を事前塗装済み部品と交換するために、または塗装が必要と決定された領域を塗装するために損傷した車両を準備するために実行する必要のある、必要な補助作業を決定することを含み、これには車両の塗装コーティング領域が塗装されないようにマスキングテープを貼り、塗装を準備するために必要な時間を決定することを含む。
【0251】
次いで、合計塗装時間は、塗装時間決定プロセス2210、追加コストプロセス2216、および交換塗装時間決定プロセス2214から決定された修理塗装時間を組み合わせることによって決定される。一部の実施形態では、これらの時間の重複を、プロセス2218によって決定される合計時間から差し引くことができる。
【0252】
その後、決定された合計時間2218およびサードパーティデータベースを使用して実行されたルックアップを使用して塗装労働コストが決定2220され、塗装作業を実施するために必要な時間について適切な労賃レートが得られる。
【0253】
その後、材料コストが決定2222される。具体的には、塗装領域2208に必要な塗装コストは、必要な塗装の材料コストおよび事前塗装済みパネルを加算することによって決定される。材料のコストは、必要な値を取得するためにサードパーティデータベースルックアップを実行することによって、損傷した車両の車種、モデル、および年式を決定することができる。
【0254】
次に、合計塗装コストは、労働コスト2220および材料コスト2224を組み合わせることによって決定2224される。
【0255】
次に、この実施形態におけるものを含めていくつかの事後確認チェック2226が実施され、車両の不要な部品が塗装されていないか(例えば、ドアフレームまたはパネルの内側)、および/または提案された修理作業および/または材料に一貫性がない(例えば、提案された労働力ではなく材料として)項目を含むことを確認する。
【0256】
最後に、提案された修理工場の見積2204が不要または変則的な提案された修理作業および/または材料を含むかどうかに関する一つ以上の決定は、事前確認チェック2206、事後確認チェック2226、および、決定された合計塗装コスト2224、決定された材料コスト2222、および塗装労働コスト2220の、修理工場見積2204の提案された修理作業および/または材料との比較を含む。
【0257】
図23に示すように、異なる管轄区/地理には、提案された修理作業および/または損傷した車両の修理に使用される材料において何が許容可能かに影響を与える、異なる閾値、好み、スキーム、およびルールがあることに注意すべきであり、管轄区2320間の潜在的な違いの例は、表2300に示され、以下でより詳細に説明する。
【0258】
表2300に、5つの一般的な例示的管轄区A、B、C、DおよびEを示す。各管轄区は、塗装要件2330の評価に従い何をすべきかについて、異なるルール2322、2324、2326、2328、2330を有する。「AI決定」、すなわち、損傷した車両の一部がこの例示的実施形態で再塗装を必要とするかどうかを評価する部品ごとのモデルの決定/分類は、なし、スポット、軽度および重度という4つの分類を出力できる。しかしながら、これらの分類を関連する管轄区に適合させるには、その管轄区に固有のルール2300を適宜選択する必要がある。したがって、例えば、管轄区Aでは、ルール2322により、スポット塗装作業では、パネルの5分の1を塗装することが必要であり、軽度の塗装作業では、パネルの半分を塗装することが必要であり、重度の塗装作業では、パネル全体を塗装することが必要であると規定されている。対照的に、管轄区Bでは、ルール2324により、スポット塗装作業では、パネルのスポット部分を塗装することが必要であり、軽度の塗装作業では、パネルの50%以下を塗装することが必要であり、重度の塗装作業では、パネルの50%以上を塗装することが必要であると規定されている。さらに、管轄区Cでは、ルール2326により、スポット塗装作業では、パネルのスポット部分を塗装することが必要であり、軽度の塗装作業では、パネルの20%以下を塗装することが必要であり、重度の塗装作業では、パネルの20%以上を塗装することが必要であると規定されている。さらに対照的には、管轄区Dでは、ルール2328により、スポット塗装作業では、パネルのスポット部分を塗装することが必要であり、軽度の塗装作業では、パネルを、パネルの完全塗装コストよりも50%低いコストで塗装する、および/または事前塗装済みパネルでパネルを交換することが必要であり、重度の塗装作業では、パネルの完全塗装コストよりも20%低いコストで塗装する、および/または事前塗装済みパネルでパネルを交換することが必要であると規定されている。最後に、管轄区Eでは、ルール2330により、スポット塗装作業では、パネルの30%を塗装することが必要であり、軽度の塗装作業では、パネルの60%を塗装することが必要であり、重度の塗装作業では、パネルの90%を塗装することが必要であると規定されている。
【0259】
ここで図24を参照すると、上記実施形態におけるモデルを実施するために、例示的実施形態では、複数の勾配ブースターツリー2440の使用を含む、モデルアーキテクチャ2400が使用されており、以下でより詳細に説明する。
【0260】
具体的には、使用されるモデルアーキテクチャ2400は、視覚モデル2420および勾配ブースターツリー2440の両方を使用する二層アーキテクチャである。
【0261】
視覚モデル2420への入力は、損傷した車両の写真2410および修理工場の見積2430である。視覚モデル2420は、損傷した車両の各部品について、塗装が必要かどうか、またどの程度の塗装が必要かを決定するために、部品ごとに訓練され、この程度には、なし、スポット、軽度または重度がある。(写真/画像で示される)損傷した車両のすべての部品の写真に対して、これらの視覚モデルが実行される。さらに、この実施形態では、(a)各パネルに交換または修理作業が必要かどうかを決定するため、(b)各パネルについて必要な修理労働量を決定するため、(c)各部品が損害しているか、損害を受けていないかを決定するためにも、視覚モデルが実行される。これらの視覚モデル(塗装、修理/交換、労働力、損害あり/損害なし)からのスコアはすべて、複数の部品にわたり勾配ブースターツリー2440に入力され、出力は最終スコアの予測である。勾配ブースターツリー2440の目的は、複数の視覚モデルから、および複数のパネル(例えば、車両の2つからすべてのパネルまで)から情報を取り出し、この情報を使用して、視覚モデル2420のみを使用して改善しパネルごとの塗装要件を決定しスコアを組み合わせるために、最終的な塗装決定を行うことである。勾配ブースターツリー2440は、複数のノード2450a、b、c、d、e、f、gおよび複数の端末ノード2460a、b、c、d、e、f、g、hを有する複数の決定ツリーを含む。各個々の決定ツリーは、それ自体では非常に弱い予測因子でありうるが、使用されるブーストアルゴリズムは、予測空間の領域上にそれぞれを集中でき、全体として、損害に対する強力な予測因子を形成することができる。この実施形態では、これは、AdaBoostなどのアルゴリズムを使用してツリーを反復的に追加することによって行われ、その詳細は参照により本明細書に組み込まれる。
【0262】
ここで図25を参照すると、一実施形態による塗装コスト2500を計算する方程式が示されており、以下でより詳細に説明する。
【0263】
合計塗装コスト2510は、賃金率2520、材料コスト率2530、塗装タイプおよび車両の詳細2540、修理塗装時間2560、合計修理塗装時間2550、合計交換塗装時間2570、修理塗装時間2580および追加塗装時間2590を含む、複数の機能の合計を含むことが示されている。
【0264】
ここで図26を参照すると、一実施形態による損害決定プロセス2600の概要を、以下でより詳細に説明する。
【0265】
損害決定プロセス2600への入力として、損傷した車両2610の写真が提供される。このプロセスでは、正規化されたパネルが損害を受けていないか、または何らかの損害が存在するかを決定する必要がある。写真2610は、それぞれの写真2610を分類する部品ごとに訓練された分類器を使用して、それぞれの写真について、車両の各部品への損害の分類を提供する、視覚的損害分類器に提供される。この後、画像分割のプロセスが実施2630されて、関心対象のセグメントを特定し、または画像内の損害を分割する。次に、視覚的損害分類器2620の出力および分割2630の両方が、写真2610とともに、損害分類器2650を使用して最終的な損害スコア2650を出力するために使用される。これにより、写真に示される分割された損害により一層の焦点を合わせる、および/または評価するために、最終的な損害分類器2640が写真2610のある分割マスク2630を使用することを可能にしうる。一部の実施形態では、分割2630は、損害が発生した可能性が最も高いと決定される場所を写真2610から示す分割マスクを出力する。一部の実施形態では、視覚的損害分類器2620は、非常に低い確実性で、損害が写真2610で決定された場所を出力することができる。
【0266】
ここで図27を参照すると、損害決定プロセス2700の代替的な実施形態が示されており、ここでより詳細に説明する。
【0267】
具体的には、この実施形態は、例えば、特に車両に非常に明るい色の塗装がある場合など、損傷した車両の画像では検出が非常に難しい場合がある車両への外観上の損害などの損害に関連する。典型的には、損傷した車両の画像がモデルによる推定プロセス中にダウンサンプリングされる場合、かかる損害を決定するのが困難または不可能になる可能性がある。プロセス2700では、入力される写真2710はランダムにトリミング2715され、各画像に対して複数のトリミング画像を生成する。他の実施形態では、関心対象の部品(複数可)を含む可能性が高い車両の特定部分を選択するために、ランダムなトリミングを行う代わりに、部品分類器を使用できる。次に、トリミングされた画像は、視覚的損害分類器2720によって処理され、各トリミングされた画像について、部品ごとに損害を決定する。トリミングされた画像2715およびオリジナルの画像2710ならびに視覚的損害分類器2720の出力は、図26の実施形態に従って画像分割プロセス2730に提供され、損害分類器2740は最終的な損害スコア2750を出力する。
【0268】
ここで図28を参照すると、分割2800のさらなる詳細が示されており、より詳細に説明する。
【0269】
図は、損傷した車両の画像に示すような例示的な車両2810、ならびに損害2850がより明確に見え、境界ボックス(または類似の技術)2860を使用して分割できる、画像2840のトリミング部分を示す。分割データは、例えば、訓練データを作成するラベル付けを行う人から収集されてもよく、このデータで訓練された分割モデルは、(トリミングでまたは他の方法で)画像の分割を実行し、画像中の損害または関心領域を特定することができる。
【0270】
一部の状況では、画像入力は、大半の画像では損害を示さないように見えるが、クローズアップ画像では損害が目に見えることがある。実質的に正確なスコアを出力するためには、モデルは、部品の画像の大部分で損害が見えないにもかかわらず、部品が損害していることを決定できる必要があり、また、モデルは、車両上のある位置へのクローズアップ画像で目に見える損害を特定できる必要があるが、クローズアップ画像の前後関係は限定されるため、この特定は時として困難である場合がある。
【0271】
次に、画像データで実行される分割を損害分類器が使用して、車両への損害の検出が困難である、例えば、トリミングされていない画像では非常に小さな部分のみを占めるような、クローズアップ画像でしか見えない外観上の損害を特定する能力を向上させることができる。したがって、損害が位置する車両上の領域を分割することは、損害が存在すること、および車両のどこに損害があるのかの両方を決定するためのモデルを支援することができる。損害は、車両のクローズアップ画像では特定可能であるが、画像がクローズアップであることから、モデルが車両上での損害の位置を探すことができない場合があるためである。
【0272】
ここで図29を参照すると、一実施形態による損害決定プロセス2900の概要を、以下でより詳細に説明する。
【0273】
複数の画像2910がプロセス2900に入力され、そのそれぞれが、各画像2920’、2920’’、2920’’、2920の複数のクロップにトリミングされる。各画像2920’、2920’’、2920’’、2920の複数のクロップのそれぞれは、次に、マルチ画像モデル2930によって処理される。この実施形態では、マルチ画像モデル2930は、視覚的損害分類器2940を含み、その後、プーリングオペレーター2950が続き、最終的損害分類器2960が続き、これが各部品に対して最終的な損害/無損害スコア2970を出力する。
【0274】
複数の画像2910をトリミングすることによって、画像のダウンサンプル2910を必要とせずに、画像のオリジナルの解像度の完全な詳細をマルチ画像モデル2930によって処理できるように、画像の画像解像度は、トリミングされた画像2920’、2920’、2920’’、2920に保存される。代替的な実施形態では、画像2910をトリミングする代わりに、モデル2930は、ダウンサンプリングすることなく、入力画像のオリジナルの解像度で作業するように訓練されてもよい。
【0275】
画像2910のすべてを考察した後に各部品が損害を受けたかまたは受けていないかの予測スコアのみを出力2970するマルチ画像モデル2930を訓練および使用することで、モデル2930は、車両の画像の一部では損害を明確に示すが他の画像では明確に示さない入力データの制限を実質的に克服することができる。マルチ画像モデル2930は、画像2910および/または複数のトリミングされた画像2920’、2920’’、2920’’’、2920のそれぞれに対して特徴表現を生成する視覚的損害分類器2940によって、これを達成し、プーリングオペレーター2950を使用してこれらの表現を調整して、すべての画像にわたり表現を連結し、最終的な損害分類器モデル2960を使用して、最終予測を行う。代替的な実施形態では、プーリングオペレーター2950は、プーリング作業、例えば、平均、最大作業を、視覚的損害分類器2940によって生成される表現とともに使用してもよい。
【0276】
代替的な実施形態では、トリミングは任意選択的であり、マルチ画像モデル2930は、オリジナルの画像2910とともに使用することができる。
【0277】
図29に示す実施形態に対して代替的な実施形態3000を示す図30を参照すると、グラフニューラルネットワークを使用する代替的な実施形態、およびこの代替的な実施形態について、ここでより詳細に説明する。
【0278】
複数の画像3010がプロセス3000に入力され、そのそれぞれが、各画像3020’、3020’’、3020’’、3020の複数のクロップにトリミングされる。各画像3020’、3020’’、3020’’、3020の複数のクロップのそれぞれは、次に、マルチ画像グラフモデル3030によって処理される。この実施形態では、マルチ画像モデル3030は、視覚的損害分類器3040、次いでグラフ畳み込みニューラルネットワーク3060を含み、このグラフは、各部品の最終的な損害/無損害スコア3070を出力する。
【0279】
前の実施形態と同様に、この実施形態では、複数の画像3010をトリミングすることによって、画像のダウンサンプル3010を必要とせずに、画像のオリジナルの解像度の完全な詳細をマルチ画像モデル3030によって処理できるように、画像の画像解像度は、トリミングされた画像3020’、3020’、3020’’、3020に保存される。代替的な実施形態では、画像3010をトリミングする代わりに、モデル3030は、ダウンサンプリングすることなく、入力画像のオリジナルの解像度で作業するように訓練されてもよい。
【0280】
マルチ画像グラフモデル3030を訓練および使用することによって、予測3070を行う際に画像3010のすべてを検討することができるが、これは、グラフニューラルネットワーク3060が各特徴表現をグラフ内のノードとして扱うためである。そのため、モデル3030はまた、車両の画像の一部では明確だがその他の画像では明確でない損害のみを示す入力データの限界を実質的に克服することができるが、これは、モデルが、損害を表すためにグラフ内のノード間に恣意的な接続を有することができるためである。マルチ画像モデル3030は、画像3010および/または複数のトリミングされた画像3020’、3020’、3020’’、3020のそれぞれに対して特徴表現を生成し、次に、グラフニューラルネットワーク3060を使用して最終予測を行う、視覚的損害分類器3040によって、これを達成する。
【0281】
ここで図31を参照すると、一実施形態による、言語モデルを使用して視覚的損害3100に関連する情報を抽出するプロセスが示されており、ここでより詳細に説明する。
【0282】
損害の内容が損害の理由と一致するかどうかを決定するために、報告された事故/損害の詳細(例えば、保険会社に報告されたもの)と、決定された車両への損害を比較することができる。
【0283】
これを行うために、この実施形態では、車両への損害の画像3110は、部品ごとの視覚モデル3120によって処理され、視覚的表現3130を生成する。この実施形態では、複数の視覚モデル3120があり、それぞれが車両の正規化された部品について訓練され、各部品の損害の有無について分類されるかを決定するように訓練されている。出力の視覚的表現3130は、画像3110に基づき、車両の各正規化された部品について、損害の有無についての分類を含む。一部の実施形態では、視覚モデル3120は、(本明細書に記載の他の実施形態に関連して記載したものと類似または同一の)豊富な表現を予測することができ、例えば、部品を修理または交換するかどうか、必要な労働時間数、塗装要件、混合要件など、任意の確認または確認の組み合わせを予測することができ、および/または、損害の位置および/または損害のタイプなどの他の視覚的特徴も予測することができる。これらの予測の任意の組み合わせは、損害が発生したときに、車両が静止中であったか移動中であったかを決定する、および/または相関付ける際に関連性があってもよい。
【0284】
並行して、車両への損害がどのように発生したか(または発生したと主張されている)に関する情報を含む注文書3140または他のテキスト/データは、言語モデル抽出器3150に入力される。言語モデル抽出器3150は、損害3160の状況を抽出するように訓練された自然言語処理モデルである。状況には、例えば、衝突点、車両が静止しているか移動中であるか、および車両が衝突した物体のタイプが含まれうる。
【0285】
分類器3170は、車両の各正規化された部品についての損害の有無に関する分類の出力視覚的表現3130および損害3160の状況を受信し、各正規化された部品への損害が抽出された状況3160と一致するかどうかを分類する。例えば、損害の位置が状況と矛盾する場合(例えば、車両が転覆したことを示すほど損害が重大ではないのに、フロントバンパーおよびルーフに損害がある場合は一致しない)、または損害のタイプが一致しない場合(例えば、ドアに衝撃による損害とトランクへの錆があり、事故を理由に修理されている場合は一致しない)、または損害の重度が一致しない場合(例えば、フロントバンパーに擦り傷があり、ボンネットにより大きなへこみがあるが、別の時点で損害が発生したことが示される場合は一致しない)がある。
【0286】
これらのモデルを訓練するために、言語モデルの加重は、視覚モデルが訓練する間、または両方のネットワークが共同かつエンドツーエンドで訓練される間は凍結されてもよい。
【0287】
ここで図32を参照すると、構造事故データが利用可能な状況で図31の代替的な実施形態が示されており、ここでより詳細に説明する。
【0288】
上述のように、この実施形態では、注文書3220の事故データは、(例えば、保険請求が行われたときに保険会社のコンピュータシステムによって)構造化データの直接処理を可能にする構造化形式で保存される(すなわち、損害の状況に関する関連情報を抽出するために、注文書を処理するための自然言語処理を必要としない)。
【0289】
損傷した車両の写真3210、および損害の状況の詳細を含む注文書3220は、モデル3200に提供される。車両への損害の状況は、事故データ抽出および注入ステップ3230で構造化データから抽出される。状況には、例えば、衝突点、車両が静止しているか移動中であるか、および車両が衝突した物体のタイプが含まれうる。
【0290】
写真3210は、視覚的損害分類器3240によって処理され、車両の各部品に損害があるかどうかを予測するために、分類器の中に車両への損害の状況が注入される。視覚的表現3250は、どの部品が損害を受けたかまたは受けていないかの分類を含む分類器3240によって、損害の状況とともに出力される。表現は、損害の位置、損害のタイプおよび損害の重度を含んでもよい。
【0291】
表現は、各部品の損害が注文書3220から抽出された状況と一致するかどうかの予測を出力する、さらなる分類器3260に提供される。例えば、損害の位置が状況と矛盾する場合(例えば、車両が転覆したことを示すほど損害が重大ではないのに、フロントバンパーおよびルーフに損害がある場合は一致しない)、または損害のタイプが一致しない場合(例えば、ドアに衝撃による損害とトランクへの錆があり、事故を理由に修理されている場合は一致しない)、または損害の重度が一致しない場合(例えば、フロントバンパーに擦り傷があり、ボンネットにより大きなへこみがあるが、別の時点で損害が発生したことが示される場合は一致しない)がある。
【0292】
これらのモデルを訓練するために、言語モデルの加重は、視覚モデルが訓練する間、または両方のネットワークが共同かつエンドツーエンドで訓練される間は凍結されてもよい。
【0293】
ここで図33を参照すると、一実施形態による正規化されたパネルに関連するグループ化された補助部品への損害を予測するためのプロセス3300が示されており、ここでより詳細に説明する。
【0294】
補助部品は、カメラ、ヘッドライト、センサー、マイナーグリル、ナンバープレート、エンブレム、燃料リッド、ブラケットなどの任意のまたは任意の組み合わせなどの車両の部品である。これらの補助部品の一部は、車両の画像から正確に決定するのが難しい傾向があり、これらの補助部品への損害はまた、車両の画像から決定するのが難しい傾向がありうる。
【0295】
車両への損害の写真3310は、プロセス3300に入力され、中間的な視覚分類器3320に提供される。中間的な視覚分類器3320は、複数の部品ごとの分類器を備え、それぞれが、入力画像3310のそれぞれに対して車両の正規化された部品に対する損害の分類および損害の重度を決定するように訓練されている。例えば、重度は、1(擦り傷)から5(すべての領域が影響を受けた)までの範囲でありうる。
【0296】
他の実施形態では、中間的な視覚分類器は、正規化された部品(例えば、左/センター/右)内の損害の位置を予測するように訓練される。
【0297】
中間的な視覚分類器3320の出力分類器は、マルチタスク学習分類器3330に提供され、これは、写真3310に対する車両の正規化された部品に対する損害分類に基づいて、正規化された部品ごとの車両の複数の補助部品への損害を同時に予測するように訓練される。
【0298】
補助部品、典型的には複数の補助部品は、特定の正規化された部品と関連付けられうる(例えば、フロントバンパーについては、補助部品はマイナーグリル、フォグランプ、ナンバープレート、エンブレム、駐車センサー、インパクトバーなどを含む)ため、訓練されたマルチタスク分類器は、各正規化された部品/パネル/領域上のすべての補助部品間の共通の特徴を学習することができる。これにより、補助部品について部品ごとにモデルを訓練することを回避できるが、これは、すべての車両が補助部品を有するわけではないために訓練が難しい場合があり、それゆえ訓練データのバランスが悪いまたは最小限である傾向がある。
【0299】
マルチタスク学習分類器3330は、視覚分類器3320によって決定される情報を取り出し、これを使用して、例えば、各正規化された部品に対する損害の重度、および補助部品(複数可)が位置する正規化された部品の領域に損害が存在するかどうかに基づいて、各正規化された部品に関連する複数の補助部品のうちの一つ以上の損害の可能性を決定することができる。
【0300】
代替的な実施形態では、視覚分類器3320は、各正規化された部品に対する損害の分割を実施して、車両上の損害がどこに位置するかをより正確に特定し、この分割データを使用して、損害が補助部品に発生したかを予測するためにマルチタスク学習分類器3330により豊富なデータを提供することができる。さらに、他の実施形態では、視覚分類器3320は、損害のカテゴリーの分類(例えば、擦り傷、へこみ、破れ、錆など)を行って、損害が補助部品に生じたかどうかを予測するためにマルチタスク学習分類器3330のためのデータの豊かさを高めることができる。
【0301】
最後に、出力分類は、補助部品が損害していると決定されるかどうかを示すマルチタスク学習分類器3330によって出力3340される。一部の実施形態では、マルチタスク学習分類器3330は、中間的な視覚分類器3320の出力のみを入力として取り込む。他の実施形態では、マルチタスク学習分類器3330は、入力画像3310および中間的な視覚分類器3320の出力の両方を入力として取り込み、例えば、中間的な視覚分類器3320の出力は、画像3310の一つ以上の分割マスクを備えてもよく、したがって、分類3340を決定するために、分割マスクに加えて画像が必要とされる。
【0302】
他の実施形態では、中間的な視覚分類器3300は必要とされず、マルチタスク分類器3330のみが使用される。
【0303】
ここで図34を参照すると、図33に示す実施形態で使用することができる例示的マルチタスクアーキテクチャが示されており、ここでより詳細に説明する。
【0304】
示されるマルチタスクアーキテクチャは、共有層3460、3430、3480およびタスク固有層3410、3420、3490、3440、3450、3470の両方を有する。この例では、モデルによって実行されるべき三つの作業(作業A、BおよびC)がある。作業Aは、いくつかのタスク固有層3440、3410を有し、同様に、作業Bは、いくつかのタスク固有層3450、3420を有し、作業Cは、いくつかのタスク固有層3470、3490を有する。
【0305】
図33の例示的実施形態では、作業A、B、およびCのそれぞれは、正規化された部品の一つに対する三つの補助部品のうちの一つに関連しうる。
【0306】
ここで図35を参照すると、一実施形態による、可変サイズデータセットにわたり共同訓練するためのプロセス3500が示されており、ここでより詳細に説明する。
【0307】
一部の事例では、モデル3530は、例えば、異なる地理3510、3520からのデータセットなど、異なるデータセット3510、3520とともに使用される必要がある。さらに、異なるデータセット3510、3520が、互いに有意に異なるサイズである場合、または一つのデータセットが、モデル3530を訓練して正確な結果を出力するのに小さすぎる場合、両方のデータセットについて十分に正確なモデル3530を訓練するのが困難なことが判明する場合がある。一つのオプションは、より大きなデータセット3520でモデル3530を訓練し、より小さなデータセット3510について十分に正確な予測を出力できるように、より小さなデータセット3510でそれを微調整することであるが、より小さなデータセット3510がより大きなデータセット3520と比較してあまりにもサイズが違いすぎる場合は、それさえも成功しない場合がある。
【0308】
この実施形態では、モデル3530は、正規化された部品ごとの損害の程度を評価し、その後、パネルを交換するべきかどうかの確率およびパネルの交換にかかる時間を予測するため、両方のデータセット3510、3520で共同訓練される。他の実施形態に示すものと類似したマルチ学習アプローチを使用して、モデル3530を訓練することができる。次に、予測は、データセット3510、3520ごとに最終予測3530を出力するために、各データセット/地理に適合されてもよい。
【0309】
さらに、この実施形態では、ネットワークが第一のデータセット3510と第二のデータセット3520とのデータを区別できないように、ドメイン混乱損失3540が、ネットワークの中間地点でモデル3530に注入され、それによって、モデル3530を訓練して、両方のデータセット3510、3520にわたり一般化される(したがって、例えば、両方の地理にわたり機能する)ようにする。代替的な実施形態では、ドメイン混乱損失3540は使用されない。
【0310】
ここで図36を参照すると、複数の異なるサイズのデータセット3600を取り扱う代替的なアプローチが、別の実施形態により示されており、ここでより詳細に説明する。
【0311】
この例では、二つのデータセット3610、3620があり、第一の地理データセット3610は、第二の地理データセット3620よりもはるかに小さい。より大きなデータセット3620から最も関連性の高いデータを特定できる場合は、それを使用して、第一のデータセット3610および第二のデータセット3620のサブセットでモデル3650を共同訓練することができる。より大きなデータセット3620から最も関連性の高いデータを特定するために、(より小さなデータセット3610と比較して)より大きなデータセット3620から最も類似するデータ点が選択され、低減された第二の地理データセット3640に投入するために使用される。この実施形態では、より大きなデータセット3620で訓練された分類器を使用して、どのデータ点がより小さなデータセット3610のデータと類似しているかを決定する。これは、より大きなデータセット3610およびより小さいデータセット3620の両方のすべてのデータに対して視覚的損害ベクトルを作成し、次に、より小さいデータセット3610に対して作成されたベクトル/データ点に最も類似する/近い、より大きなデータセット3620に対して作成されたベクトル/データ点を見つけることによって行うことができる。ベクトル/データ点がどの程度「近い」かを決定するために、視覚的損害ベクトルの観点から、単純な距離尺度(例えば、ユークリッド、平均二乗など)を使用するか、または単純な分類器を訓練して(例えば、線形回帰またはサポートベクトルマシンを使用して)、二つのデータセットを分離し、より大きなデータセットの中のどの点がより小さいデータセットから分離されないかを決定することができる。第一のデータセット3610を増強するために少量のより大きなデータセット3620が選択3640される場合でも、第一のデータセット3610および第二のデータセット3640にわたる共同訓練の後に、実質的に改善されたモデル3660が生成されうる。
【0312】
図37を参照すると、他の実施形態と使用できる、例示的なドメイン混乱損失アーキテクチャ3700が示されており、ここでより詳細に説明する。
【0313】
二つのネットワーク3720、3790が示され、一つはラベル付けされた画像3760のネットワーク3730、一つはラベル付けされていない画像3780のネットワーク3790を示す。各ネットワークは、多数の畳み込み層3730、3710、3792、3791を有し、完全に接続された層3714、3713、3712、3711、3795、3794、3793、3792、3770を有し、層3770、3794、3714、3712間に注入されたドメイン損失3740を有する。さらに、ネットワーク3720の一つに注入された分類損失3750がある。さらに、各ネットワーク3720、3790には、適合層3713、3795がある。この例では、検討対象の二つのドメインは、ラベル付けされた画像およびラベル付けされていない画像であり、ドメイン混乱損失3740の目標は、fc8層3714、3770で、ネットワークが、ラベル付けされたドメイン3760から生じたデータと、ラベル付けされていないドメイン3780から生じたデータを区別できないことを確認することである。これは、特定の画像がラベル付けされたドメインまたはラベル付けされていないドメインから生じたかを予測しようと試みたfc8層3714、3770の上に小さな分類器を有することによって行われる。小さな分類器が正しく予測すると、ネットワーク内のfc8層3714、3770にペナルティが課される。このようにして、訓練中、ネットワークは、fc8層3714、3770において、二つのドメイン3760、3780からデータを区別することは不可能であることを学習し、したがって、二つのドメイン3760、3780にわたるより良好な一般化につながる。
【0314】
本明細書の一部の実施形態に記載されるトリミングおよび/または分割技術は、例えば、部品への損害の有無の決定および/または補助部品への損害の有無の決定において、本明細書に記載された別の実施形態および/または態様での使用に適合されうることが、読者によって理解されるべきである。当然ながら、これらの技術は本明細書の態様/実施形態に関連して使用するために開示される。
【0315】
また、本明細書の実施形態および/または態様に記載されるマルチ画像学習アプローチは、複数の画像および/またはその他の入力データにわたりすべての分類またはモデルの精度を実質的に改善するために他の態様/実施形態に組み込むことができることも、読者によって理解されるべきである。当然ながら、これらのアプローチは本明細書の態様/実施形態に関連して使用するために開示される。
【0316】
上述の実施形態は、様々なソフトウェアおよびハードウェアを使用して、すべて本明細書に明記する態様および実施形態の意図された範囲内で実施することができる。例えば、ソフトウェアは、様々な言語および実装を使用して、様々な方法で記載および展開されてもよい。任意の実施形態および/または態様により本明細書で記載されるソフトウェアおよび方法/システムを展開するために使用されうるハードウェアは、以下のいずれかまたは任意の組み合わせの使用を含む、ハードウェアおよびハードウェアアーキテクチャの様々な異なるタイプおよび構成であってもよい:携帯用デバイス、携帯電話、スマートフォン、カメラ、撮像装置、タブレットコンピュータ、デスクトップコンピュータ、ノートパソコン、仮想デスクトップ、サーバー、分散サーバー、分散コンピューティングの配置、およびクラウド・システム。
【0317】
モデルおよびニューラルネットワークによって、機械学習および人工知能技術の使用は、深層学習技術および畳み込みネットワークおよび他のニューラルネットワークの使用を含めて言及されることが意図される。
【0318】
機械学習は、またはコンピュータ(複数可)が、これらのタスクのコンピュータ性能中に取得された機械学習プロセスから収集された経験またはデータから生成されたフィードバックを使用して、タスククラスを実行することを学習する研究分野である。
【0319】
典型的には、機械学習は、教師ありおよび教師なしアプローチとして広く分類されうるが、特別なルール、技術および/またはアプローチがある強化学習および半教師あり学習などの特定のアプローチが存在する。教師あり機械学習は、オペレーターまたはプログラマーによって予め決定されたように、例示的な入力と望ましい出力との間でマッピングを行うための一つ以上のルールまたは関数を学習するコンピュータに関連し、通常は入力を含むデータセットにラベルが付けられる。
【0320】
教師なし学習は、例えば、パターン認識を実行する際に入力データの構造を決定することに関連し、典型的には、ラベル付けされていないデータセットを使用する。強化学習は、コンピュータ(複数可)が、例えば、ゲームをしたり車両を運転したりするときに、動的環境との相互作用を可能にすることに関連する。
【0321】
訓練データセットが部分的にのみラベル付けされている「半教師あり」機械学習など、これらのカテゴリーの様々なハイブリッドが可能である。教師なし機械学習については、例えば、画像処理またはビデオエンハンスメントへのコンピュータビジョン技術の適用など、幅広い用途の可能性がある。教師なし機械学習は、典型的には、未知のデータ構造がデータ中に存在しうる問題を解決するために適用される。データはラベル付けされていないため、機械学習プロセスは、例えば、内部導出された情報に基づいてクラスタリング指標を導出することによって、データ間の暗黙の関係を特定するために動作する必要がある。例えば、教師なし学習技術を使用して、データセットの次元を減少させ、データセット内のクラスタ間の関係を特定およびモデル化しようとし、(例えば、高次元のデータセットに適用することができる、加重相関ネットワーク分析と呼ばれる技術を使用して、または、k平均法クラスタリングを使用して、各データム間のユークリッド距離の尺度によってデータをクラスタリングして)例えば、クラスタメンバーシップの尺度を生成するか、またはクラスタ内もしくはクラスタ間のハブまたはノードを特定することができる。
【0322】
半教師あり学習は、典型的には、例えば、データのサブセットのみがラベル付けされている場合など、部分的にラベル付けされたデータセットがある問題を解決するために適用される。半教師あり機械学習では、外部から提供されたラベルと目的関数、および暗黙のデータ関係を使用する。機械学習システムを最初に構成する場合、特に、教師あり機械学習アプローチを使用する場合、機械学習アルゴリズムには、いくつかの訓練データまたは訓練例のセットが提供されてもよく、各例は、典型的には、入力信号/ベクトルの対、および所望の出力値、ラベル(または分類)、または信号である。機械学習アルゴリズムは、訓練データを解析し、未知のデータセットとともに使用できる一般関数を生成して、未知の入力ベクトル/信号に対する所望の出力値または信号を生成する。ユーザーは、どのタイプのデータを訓練データとして使用すするかを決定し、代表的な現実世界データセットを作成する必要がある。ただし、ユーザーは、あまりにも多くの特徴を提供することなく、望ましい出力値を正確に予測するために十分な情報を訓練データに確実に含めるように注意しなければならない(これは、訓練中に機械学習プロセスによって考慮する次元が多すぎる結果となりえ、また、機械学習プロセスが、すべてまたは特定の例に対する良好な解決策に収束しないことも意味しうる)。ユーザーはまた、例えば、サポートベクトルマシンまたは決定ツリーを使用するかどうかなど、学習関数または一般関数の所望の構造を決定する必要がある。
【0323】
教師なしまたは半教師ありの機械学習アプローチの使用は、ラベル付きデータをすぐに利用できないとき、またはシステムが、ある程度の初期シードラベルを与えられ、未知のデータから新しいラベル付きデータを生成するときに使用されることがある。
【0324】
機械学習は、非線形階層アルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、長・短期記憶ネットワーク、多次元畳み込みネットワーク、メモリネットワークのうちの一つ以上を使用して実施されてもよく、完全な畳み込みネットワークまたはゲート付き再帰型ネットワークは、予測される視覚データのブロックを生成するときに柔軟なアプローチを可能にする。長・短期記憶ネットワーク(LSTM)、メモリネットワーク、またはゲート付き再帰型ネットワークなどのメモリユニットを有するアルゴリズムの使用は、同じオリジナルの入力フレームに実行される動き補償プロセスから予測されるブロックの状態を保護することができる。これらのネットワークの使用は、アルゴリズムが動き中の変化の何らかの状態またはメモリを維持するため、計算効率を改善し、また多数のフレームにわたり動き補償プロセスにおける時間的一貫性も向上させることができる。これによりさらに、エラー率の低下が生じる場合がある。
【0325】
機械学習システムの開発は、典型的には、(1)訓練と(2)生産の二つの段階で構成される。訓練中、機械学習モデルのパラメータは、目的関数または損失として知られる特定の学習目標を最適化するように反復的に変化される。モデルが訓練されると、モデルは生産で使用することができ、ここでモデルは入力を取り込み、訓練されたパラメータを使用して出力を生成する。
【0326】
ニューラルネットワークの訓練段階の間、検証された入力が提供され、それゆえ、ニューラルネットワークの計算された出力を比較し、必要であればネットワークを補正することが可能である。ニューラルネットワーク内の各ノードに対する誤差項または損失関数が確立され、加重が調整されるため、将来の出力は予想される結果により近い。訓練スケジュールまたは各ニューラルネットワークにおいて逆伝搬技術を使用することができる。
【0327】
モデルは、逆伝搬法を使用して訓練され、ネットワークを転送することができる。損失関数は、最小化できる目標であり、標的値とモデルの出力との間の測定値である。
【0328】
交差エントロピー損失を使用してもよい。交差エントロピー損失は、
【数1】
Cはクラス数であり、y∈{0,1}はクラスcに対するバイナリインジケータであり、sはクラスcに対するスコアと定義される。
【0329】
マルチタスク学習設定では、損失は複数の部品から構成される。各タスクの損失項。
【数2】
ここで、L1,L2は二つの異なるタスクの損失項であり、λ1,λ2は加重項である。
【0330】
本明細書に記載されるシステムの特徴は、方法の特徴として提供されてもよく、その逆も可能である。本明細書で使用される場合、手段+機能の特徴は、対応する構造の観点から別の方法として表現されてもよい。
【0331】
一態様の任意の特徴は、任意の適切な組み合わせで、他の態様に適用されてもよい。特に、方法の態様は、システムの態様に適用されてもよく、逆もまた同様である。さらに、一態様の任意の、一部、および/またはすべての特徴は、任意の適切な組み合わせで、他の態様の任意の、一部、および/またはすべての特徴に適用することができる。
【0332】
当然のことながら、任意の態様で説明および定義される様々な特徴の特定の組み合わせは、独立して実装および/または供給および/または使用されうる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
【手続補正書】
【提出日】2023-01-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
損傷した車両の修理作業を決定する方法であって、
前記損傷した車両の一つ以上の画像を受信することと、
少なくとも前記一つ以上の画像に基づいて、前記損傷した車両の一つ以上の部品について一つ以上の分類を決定することと、
前記一つ以上の分類に基づいて一つ以上の損傷ベクトルを生成することと、
少なくとも前記一つ以上の損傷ベクトルに基づいて、前記損傷した車両について一つ以上の修理作業を決定することと、を含む、方法。
【請求項2】
前記一つ以上の修理作業が、前記損傷した車両の損傷した部品の交換または修理を含む、請求項1に記載の方法。
【請求項3】
少なくとも前記一つ以上の損傷ベクトルに基づいて、前記損傷した車両の一つ以上の部品に対する損傷の重大性を決定すること、をさらに含む、請求項1に記載の方法。
【請求項4】
少なくとも前記一つまたは前記損傷ベクトルに基づいて、前記損傷した車両に対応する修理コストを予測すること、をさらに含む、請求項1に記載の方法。
【請求項5】
前記一つ以上の修理作業に基づいて、前記損傷した車両に対応する労働時間パラメータを決定することであって、前記一つ以上の修理作業が、前記損傷した車両の少なくとも一つの部品を修理することを含む、決定することをさらに含む、請求項1に記載の方法。
【請求項6】
前記一つ以上の損傷ベクトルに基づいて、前記損傷した車両に対して損傷ベクトルを生成することであって、前記一つ以上の損傷ベクトルの各々が、前記損傷した車両の異なる正規化された部品に対応する、生成することをさらに含む、請求項1に記載の方法。
【請求項7】
前記一つ以上の損傷ベクトルが、前記車両の製造元およびモデルに関係なく決定される、請求項1に記載の方法。
【請求項8】
前記損傷した車両の修理について一つ以上の提案された部品および労働作業の詳細を含む請求入力データを受信することと、
前記一つ以上の修理作業が、前記損傷した車両の修理について前記提案された部品および労働作業に対応することを確認することと、をさらに含む、請求項1に記載の方法。
【請求項9】
前記一つ以上の分類に基づいて、前記一つ以上の部品の損傷価額を示す一つ以上のスコアを決定すること、をさらに含む、請求項1に記載の方法。
【請求項10】
つ以上の修理作業を決定することが、前記一つ以上のスコアを所定の閾値と比較することを含む、請求項9に記載の方法。
【請求項11】
前記所定の閾値が、一つ以上の管轄区の要件に基づいて調整可能である、請求項10に記載の方法。
【請求項12】
前記一つ以上の分類に基づいて、前記一つ以上の修理作業について修理または交換の労働時間を決定することと、をさらに含む、請求項1に記載の方法。
【請求項13】
前記損傷した車両の修理見積を生成すること、をさらに含む、請求項1に記載の方法。
【請求項14】
前記修理見積が、前記一つ以上の修理作業に基づいて生成される、請求項13に記載の方法。
【請求項15】
前記修理見積が、過去の損傷および修理データについて訓練された分類子に基づいて生成され、前記分類子が、前記損傷した車両の前記一つ以上の画像を処理する画像分類子を含む、請求項13に記載の方法。
【請求項16】
前記分類子が、データ整合性コアチェック、損傷したパネルの写真のカバレッジ、車両登録番号(VIN)の可用性および有効性チェック、請求写真のカバレッジチェック、漏出チェック、労働時間チェック、塗装チェック、部品チェック、修理交換チェック、不正行為チェック、一貫性のない損傷チェック、一貫性のないクレームチェック、評価ユーザビリティチェック、請求優先度スコア、カスタムワークフロールールまたは車両価額分析を実行する、請求項15に記載の方法。
【請求項17】
前記車両修理見積を検証することと、
前記提案された車両修理見積データを検証することが、前記修理見積中の不正確なデータ部分、前記修理見積データ中の一貫性のないデータ部分、または前記修理見積中の欠落したデータ部分がないかを決定する時に、さらなるデータを要求することと、をさらに含む、請求項13に記載の方法。
【請求項18】
前記修理見積が、労働コスト、塗料コスト、部品修理コスト、取り外し/設置コスト、塗料混合コスト、または重複コスト修正因子を含む、前記損傷した車両の部品の修理価額を含む、請求項13に記載の方法。
【請求項19】
さらなる地域に適した分類を出力するために、ドメイン適応技術を使用すること、をさらに含む、請求項1に記載の方法。
【請求項20】
プロセッサによって実行可能なコードを含み、請求項1~19のいずれか一項に記載の方法を実行するように構成される、コンピュータプログラム製品。
【国際調査報告】