知財求人 - 知財ポータルサイト「IP Force」
特表2022-537857ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-31
(54)【発明の名称】ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20220824BHJP
G06V 10/82 20220101ALI20220824BHJP
【ＦＩ】
G06Q50/10
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021536348
(86)(22)【出願日】2019-12-30
(85)【翻訳文提出日】2021-08-20
(86)【国際出願番号】 KR2019018708
(87)【国際公開番号】W WO2021002549
(87)【国際公開日】2021-01-07
(31)【優先権主張番号】10-2019-0079914
(32)【優先日】2019-07-03
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】520408272
【氏名又は名称】アジャイルソーダ インコーポレイテッド
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】キム，テ ユン
(72)【発明者】
【氏名】オ，ジン ソル
(72)【発明者】
【氏名】ベ，ビョン ソン
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049CC15
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096GA30
5L096HA09
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
本発明は、ディープラーニングに基づいたＭａｓｋ Ｒ－ＣＮＮフレームワークを用いて事故車両の写真を分析した後に事故部位に該当する部品イメージを抽出し、抽出された部品イメージの破損程度を既に学習されたモデルに基づいて自動判定することにより、一貫性があって信頼できる車両修理見積もりを迅速に算出できるようにする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法に関する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較し、各部品別に互いに異なる色でマスキングした後、マスキングした領域に基づいてバンパー、ドア、フェンダー、トランク、フードに関する自動車部品を細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するモデル生成部、前記モデル生成部を介して生成されたモデルに基づいて、ユーザ端末から取得される自動車撮影イメージを補正処理するイメージ前処理部、
補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化する部品把握部、
前記自動車撮影イメージの中から破損が発生した自動車部品に対するイメージを抽出する破損部位イメージ抽出部、および
抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて、該破損部位の破損程度を既に設定された状態に応じて判別する破損程度判別部
を含むことを特徴とする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
【請求項2】
前記イメージ前処理部は、前記自動車撮影イメージの回転および反転処理を通じてイメージを拡張（ａｕｇｍｅｎｔａｔｉｏｎ）する補正処理、または前記自動車撮影イメージ上の光反射を除去する補正処理を行うことを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
【請求項3】
前記部品把握部は、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、前記自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードに関する自動車部品を把握および細分化することを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
【請求項4】
前記破損程度判別部は、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、前記破損部位の破損程度が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別することを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
【請求項5】
前記部品把握部は、前記Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて前記バンパー、ドア、フェンダー、トランクおよびフードに関する領域をマスキングし、互いに隣接した領域の境界をカバーするように各領域の外郭ラインより広い領域をマスキングすることを特徴とする、請求項３に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
【請求項6】
前記破損部位イメージに対する破損程度に基づいて、予想修理見積もりを算出し、それを前記ユーザ端末に提供する予想修理見積もり提供部をさらに含むことを特徴とする、請求項１に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定システム。
【請求項7】
モデル生成部を介して、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較し、各部品別に互いに異なる色でマスキングした後、マスキングした領域に基づいてバンパー、ドア、フェンダー、トランク、フードに関する自動車部品を細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するステップ、イメージ前処理部を介して、前記モデル生成部を介して生成されたモデルに基づいてユーザ端末から取得される自動車撮影イメージを補正処理するステップ、
部品把握部を介して、補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化するステップ、
破損部位イメージ抽出部を介して、前記自動車撮影イメージの中から破損が発生した自動車部品に関するイメージを抽出するステップ、および
破損程度判別部を介して、抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて該破損部位の破損程度を既に設定された状態に応じて判別するステップ
を含むことを特徴とする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定方法。
【請求項8】
予想修理見積もり提供部を介して、前記破損部位イメージに対する破損程度に基づいて予想修理見積もりを算出し、それを前記ユーザ端末に提供するステップを含むことを特徴とする、請求項７に記載のディープラーニングに基づいた自動車部位別の破損程度の自動判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、特許文献１、特許文献２、および特許文献３に基づく優先権の利益を主張し、該韓国特許出願の文献に開示された全ての内容は、本明細書の一部として含まれる。
【0002】
本発明は、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法に関し、より具体的には、ディープラーニングに基づいたＭａｓｋ Ｒ－ＣＮＮフレームワークを用いて事故車両の写真を分析した後に事故部位に該当する部品イメージを抽出し、その抽出された部品イメージの破損程度を既に学習されたモデルに基づいて自動判定することにより、一貫性があって信頼できる車両修理見積もりを迅速に算出できるようにする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法に関する。
【背景技術】
【0003】
一般に、交通事故などの様々な要因により自動車が破損した場合には、破損車両を整備工場に入庫させた後、整備専門家の判断に応じて自動車の破損程度を決めることになる。この時、整備専門家別に破損程度を判断する基準が定型化しておらず主観的な判断が介入するため、類似の破損程度にもかかわらず修理費の見積もりが大きく異なる場合が発生している。
【0004】
したがって、整備専門家たちの主観的な破損程度の判断基準ではなく、定型化し一貫性のある判断基準を通じて信頼できる修理費の見積もりを策定できる技術が必要な実情がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】韓国特許第１０－２０１８－０１７４０９９号公報
【特許文献2】韓国特許第１０－２０１８－０１７４１１０号公報
【特許文献3】韓国特許第１０－２０１９－００７９９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、上述した問題を解決するために導き出されたものであり、ディープラーニングに基づいたＭａｓｋ Ｒ－ＣＮＮフレームワークを用いて事故車両の写真を分析した後に事故部位に該当する部品イメージを抽出し、その抽出された部品イメージの破損程度を既に学習されたモデルに基づいて自動判定することにより、一貫性があって信頼できる車両修理見積もりを迅速に算出できるようにする、ディープラーニングに基づいた自動車部位別の破損程度の自動判定システムおよび方法を提供しようとする。
【課題を解決するための手段】
【0007】
本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システムは、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するモデル生成部、前記モデル生成部を介して生成されたモデルに基づいて、ユーザ端末から取得される自動車撮影イメージを補正処理するイメージ前処理部、補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化する部品把握部、前記自動車撮影イメージの中から破損が発生した部品に対するイメージを抽出する破損部位イメージ抽出部、および抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて、該破損部位の破損程度を既に設定された状態に応じて判別する破損程度判別部を含むことを特徴とする。
【0008】
一実施形態において、前記イメージ前処理部は、前記自動車撮影イメージの回転および反転処理を通じてイメージを拡張（ａｕｇｍｅｎｔａｔｉｏｎ）する補正処理、または前記自動車撮影イメージ上の光反射を除去する補正処理を行うことを特徴とする。
【0009】
一実施形態において、前記部品把握部は、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、前記自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードに関する自動車部品を把握および細分化することを特徴とする。
【0010】
一実施形態において、前記破損程度判別部は、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、前記破損部位の破損程度が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別することを特徴とする。
【0011】
一実施形態において、前記部品把握部は、前記Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて前記バンパー、ドア、フェンダー、トランクおよびフードに関する領域をマスキングし、互いに隣接した領域の境界をカバーするように各領域の外郭ラインより広い領域をマスキングすることを特徴とする。
【0012】
一実施形態において、本発明は、前記ユーザ端末から自動車撮影イメージを取得する取得部をさらに含むことを特徴とする。
【0013】
一実施形態において、本発明は、前記破損部位イメージに対する破損程度に基づいて、予想修理見積もりを算出し、それを前記ユーザ端末に提供する予想修理見積もり提供部をさらに含むことを特徴とする。
【0014】
本発明の他の実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定方法は、モデル生成部を介して、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成するステップ、イメージ前処理部を介して、前記モデル生成部を介して生成されたモデルに基づいてユーザ端末から取得される自動車撮影イメージを補正処理するステップ、部品把握部を介して、補正処理された前記自動車撮影イメージを前記モデル生成部を介して生成されたモデルに基づいて自動車部品別に把握および細分化するステップ、破損部位イメージ抽出部を介して、前記自動車撮影イメージの中から破損が発生した自動車部品に対するイメージを抽出するステップ、および破損程度判別部を介して、抽出された破損部位イメージと前記モデル生成部を介して生成されたモデルに基づいて該破損部位の破損程度を既に設定された状態に応じて判別するステップを含むことを特徴とする。
【0015】
一実施形態において、本発明は、取得部を介して、前記ユーザ端末から前記自動車撮影イメージを取得するステップをさらに含むことを特徴とする。
【0016】
一実施形態において、本発明は、予想修理見積もり提供部を介して、前記破損部位イメージに対する破損程度に基づいて予想修理見積もりを算出し、それを前記ユーザ端末に提供するステップを含むことを特徴とする。
【発明の効果】
【0017】
本発明の一側面によれば、車両所有者が直接自身が撮影した事故イメージに基づいて、一貫性があって信頼できる車両修理見積もりを迅速に取得できるという利点を有する。
【0018】
また、本発明の一側面によれば、数万枚以上の事故イメージに基づいて学習されたディープラーニングモデルに基づいて破損程度の判別結果を迅速に導出できるという利点を有する。
【0019】
なお、本発明の一側面によれば、交通事故などの様々な要因により自動車が破損した場合、破損車両を整備工場に入庫させた後、整備専門家の判断に応じて自動車の破損程度を決める過程を行わなくてもよい。そのため、整備専門家別に破損程度を判断する基準が定型化しておらず主観的な判断が介入するため、類似の破損程度にもかかわらず修理費の見積もりが大きく異なる問題を効果的に防止できるという利点を有する。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００の構成を概略的に示す図である。
【図5】本発明の他の実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム２００の構成を概略的に示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の理解を助けるために好ましい実施形態を提示する。但し、下記の実施形態は本発明をより容易に理解するために提供されるものに過ぎず、下記の実施形態によって本発明の内容が限定されるものではない。
【0022】
【0023】
図１および図２を参照すれば、本発明の一実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム１００は、大きく、モデル生成部１１０、イメージ前処理部１２０、部品把握部１３０、破損部位イメージ抽出部１４０および破損程度判別部１５０を含んで構成されることができる。
【0024】
モデル生成部１１０は、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成する役割をする。
【0025】
より具体的に、モデル生成部１１０は、大きく、第１モデル生成部１１０ａ、第２モデル生成部１１０ｂ、第３モデル生成部１１０ｃおよび第４モデル生成部１１０ｄを含んで構成されることができる。
【0026】
第１モデル生成部１１０ａは、複数の第１自動車撮影イメージの中から一部の自動車撮影イメージを選択したデータを学習して第１モデルを生成する役割をする。
【0027】
より具体的に、第１モデル生成部１１０ａは、自動車事故時、事故車両の事故修理前状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージと、事故修理後状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージを互いに比較した結果値に基づいて、複数の第１自動車撮影イメージ（例えば、自動車事故時、事故車両を撮影した３０枚～４０枚の自動車撮影イメージ）の中から、既に事故修理が完了した後の状態を撮影したと判断されるイメージまたは非常に遠くから撮影されたことにより焦点が合わず輪郭線が鮮明ではない自動車撮影イメージを除去することで、約１０％程度（例えば、３枚～４枚）の自動車撮影イメージを選択する過程を繰り返し学習することによって第１モデルを生成するようになる。これは、今後のユーザ端末（例えば、事故車両の車両所有者端末）を介して撮影された複数の撮影イメージの中から破損類型および破損程度を判断するのに適したイメージを選択するのに適用されることができる。
【0028】
第２モデル生成部１１０ｂは、複数の第２自動車撮影イメージを用いて、各部品別に把握および細分化したデータを学習して第２モデルを生成することができる。
【0029】
より具体的に、第２モデル生成部１１０ｂは、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、複数の第２自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードに関する自動車部品を把握および細分化したデータを学習することができる。
【0030】
例えば、自動車の正面部、側面部、後面部などを各部位別にランダムに撮影した複数（例えば、数万枚）の自動車撮影イメージの各々を、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じてバンパー、ドア、フェンダー、トランク、フードなどの各部品別に互いに異なる色でマスキングした後、マスキングされた領域に基づいてバンパー、ドア、フェンダー、トランク、フードなどの各部品別の位置および種類を学習するようになる。
【0031】
この時、マスキング領域は、バンパー、ドア、フェンダー、トランク、フードなどの各部品別の大きさに正確に一致するのではなく、各部品別の大きさより広い面積（例えば、各部品の大きさに比べて１１０％）をマスキングするようになる。よって、隣接した部品と部品が互いに接するかまたは連結される部分の境界をカバーするようにマスキングすることにより、互いに隣接するかまたは連結される境界部分の破損に対しても共に認識するようにする。
【0032】
また、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じて把握される部品は、各部品の種類別に少なくとも数万枚以上のサンプルイメージを通じて既に学習された部品データに基づいてマスキングがなされるという点で、学習された部品以外の他の部品に関しては検出されない。
【0033】
一方、Ｍａｓｋ Ｒ－ＣＮＮフレームワークはフェイスブック社の人工知能研究所で開発されたフレームワークであり、それを用いて各部品別に互いに異なる色をマスキングして部品別の種類を把握することができる。
【0034】
第３モデル生成部１１０ｃは、自動車事故時、事故車両を撮影した複数の自動車撮影イメージに対してさらに高い信頼度を有した損傷類型の判断結果を取得することができるように、ユーザにより判断された破損部位撮影イメージの破損類型別の破損程度ラベリングデータを基準値と比較して検査およびリラベリングする第３モデルを生成する役割をする。
【0035】
ここで、リラベリングとは、ユーザにより判断された破損程度ラベリングデータが完璧ではなく人為的ミスを含み得ると仮定して進行する過程を意味し、第３モデルは、このような破損程度ラベリングデータを検査する役割をする。
【0036】
先ず、第３モデル生成部１１０ｃは、特定の破損部位撮影イメージに対して破損部位の分類時に該当イメージに該当すると推定される破損部位の確率を結果データとして出力する第３モデルを生成する。
【0037】
この時、第３モデル生成部１１０ｃは、該当の第３モデルの正確度を高めるために、第３モデルに特定の破損部位撮影イメージを入力することで出力される結果データの破損部位の確率値が任意の確率値に定めた基準確率値より高いか低いかを判断するようになる。この時、確率値はパーセント（％）または一定の整数値などの数値として出力される。
【0038】
仮に特定の破損部位撮影イメージの破損部位の確率値が基準確率値より高い場合には、先の生成された第３モデルの正確度が高いと判断する。この場合、該破損部位撮影イメージに対してユーザが付与した破損程度ラベリングデータを維持するようになる。
【0039】
その逆に、特定の破損部位撮影イメージの破損部位の確率値が基準確率値より低い場合には、先の生成された第３モデルの正確度が低いと判断する。この場合、該破損部位撮影イメージに対してユーザが付与した破損程度ラベリングデータを新しい破損程度ラベリングデータに修正するようになる。
【0040】
このような方式で全ての破損部位撮影イメージに対してリラベリング過程を行うことにより、破損部位撮影イメージの破損程度判断率が向上することができ、リラベリング過程が繰り返し行われる度に、第３モデルの性能が引続き向上する。最終的に向上した性能を示す第３モデルは、後述する第４モデルの学習に適用されることができる。
【0041】
また、一実施形態において、第３モデル生成部１１０ｃを介したリラベリング過程において、後述する第４モデル生成部１１０ｄは、第３モデル生成部１１０ｃを介して生成されるソフトマックス（ｓｏｆｔｍａｘ）値を利用できるようになる。
【0042】
第４モデル生成部１１０ｄは、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習して第４モデルを生成する役割をする。
【0043】
より具体的に、第４モデル生成部１１０ｄは、複数（例えば、数万枚）の破損部位撮影イメージ（例えば、スクラッチが発生したドア、板金作業が必要なフェンダー、交替作業が必要なバンパーなど）に基づいて、破損類型別の破損程度を繰り返し学習して第４モデルを生成するようになる。この時、第４モデル生成部１１０ｄは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位の破損程度が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
【0044】
この時、Ｉｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造はグーグル社の人工知能研究所で開発されたものであり、それを用いて破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを学習できるようになる。
【0045】
次に、イメージ前処理部１２０は、上述したモデル生成部１１０を介して生成されたモデルに基づいて、ユーザ端末（例えば、事故車両の車両所有者の携帯電話など）に搭載されたカメラ撮影機能を通じて撮影された自動車撮影イメージを多様に補正処理することにより、後述する破損程度判別部１５０を介した破損程度の判断の正確率あるいは認識率を高める役割をする。
【0046】
イメージ前処理部１２０は、ユーザ端末を介して撮影された自動車撮影イメージを回転または反転処理することにより、イメージを後述する部品把握部１３０において認識可能な任意の大きさに拡張（ａｕｇｍｅｎｔａｔｉｏｎ）またはリサイジングしてイメージ大きさを規格化するようになる。また、部品表面の光反射を除去する補正処理を通じて、光反射による自動車撮影イメージの認識エラーを除去して正確度を向上させる役割をする。
【0047】
部品把握部１３０は、イメージ前処理部１２０を介して補正処理された自動車撮影イメージ上の各部品を各々把握するために、各部品別に互いに異なる色のマスキングを行った後、上述したモデル生成部１１０を介して生成されたモデルに基づいて、自動車部品別に把握および細分化する。それに関しては、図３を通じてさらに具体的に説明することにする。
【0048】
【0049】
図３を参照すれば、部品把握部１３０は、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードなどに関する部品位置を把握および細分化するようになる。
【0050】
この時、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じてバンパー、ドア、フェンダー、トランク、フードなどの各部品別に互いに異なる色がマスキングされ、この時、マスキング領域は、バンパー、ドア、フェンダー、トランク、フードなどの各部品別の大きさに正確に一致するのではなく、各部品別の大きさより広い面積（例えば、１１０％）をマスキングするようになる。よって、部品と部品が互いに接するかまたは連結される部分の境界をカバーするようにマスキングすることにより、互いに隣接するかまたは連結される境界部分の破損に対しても認識するようにする。
【0051】
この時、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを通じて把握される部品は、各部品の種類別に少なくとも数万枚以上のサンプルイメージを通じて既に学習された部品に基づいてマスキングがなされるという点で、学習された部品以外に他の部品に関しては検出されない。
【0052】
一方、Ｍａｓｋ Ｒ－ＣＮＮフレームワークは、フェイスブック社の人工知能研究所で開発されたフレームワークであり、それを用いて各部品別に互いに異なる色をマスキングして部品別の種類を把握することができる。
【0053】
再び図１に戻り、破損部位イメージ抽出部１４０は、部品把握部１３０を介して自動車部品別の種類および位置が把握された自動車撮影イメージ上で、破損が発生した自動車部品に対するイメージを抽出する役割をする。それに関しては、図４を通じてさらに具体的に説明することにする。
【0054】
【0055】
図４を参照すれば、破損部位イメージ抽出部１４０は、部品検出部１２０においてマスキングにより取得された自動車部品に関するイメージの中で外郭ラインを基準に自動車部品以外の周辺部（背景）を全てブラック処理（または、部品が目立つようにする他の色で処理）することにより、正確な破損部位イメージを抽出するようになる。それにより、後述する破損程度判別部１５０での破損程度の判断時に判断正確度が上昇する。
【0056】
再び図１に戻り、破損程度判別部１５０は、上述したモデル生成部１１０を介して生成されたモデルに基づいて、破損部位イメージ抽出部１４０を介して抽出された破損部位イメージの破損程度（破損深度）がどの程度であるかを判断し、これは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
【0057】
例えば、破損程度判別部１５０は、ディープラーニングに基づいたＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造（インセプションＶ４畳み込みニューラルネットワーク構造）を通じて、数万枚以上のサンプル破損イメージに基づいて学習された模型と破損部位イメージを互いに比較することにより、破損部位イメージの状態がどの状態に該当するかを自動で判別するようになる。
【0058】
この時、例えば、スクラッチ状態は、修理にかかる時間が３０分以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別され、小損傷の板金作業必要状態は、修理にかかる時間が約１．３時間以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別され、中損傷の板金作業必要状態は、修理にかかる時間が約１．７時間以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別され、大損傷の板金作業必要状態は、修理にかかる時間が約２．３時間以内に該当する数万枚以上のサンプル破損イメージに基づいて学習された模型に基づいて判別される。
【0059】
この時、Ｉｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造はグーグル社の人工知能研究所で開発されたものであり、それを用いて破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別できるようになる。
【0060】
また、イメージ前処理部１２０、部品把握部１３０、破損部位イメージ抽出部１４０および破損程度判別部１５０は、テンサーフロー（ＴｅｎｓｏｒＦｌｏｗ）が提供するモデルサーバ（Ｍｏｄｅｌ ｓｅｒｖｅｒ）を用いて、複数のサンプルイメージを通じて学習されるモデルの学習環境と部品を把握し、破損部位イメージを抽出し、破損程度を判別するモデルの実行環境を独立に実現することにより、学習モデルの学習結果がリアルタイムで実行環境に反映されるようにする。この時、複数のＧＰＵを介して学習モデルの学習速度と実行モデルの実行速度を画期的に向上させることができる。
【0061】
一実施形態において、イメージ前処理部１２０を介して取得された自動車撮影イメージは、複数の自動車撮影イメージの中から一部の自動車撮影イメージを選択したデータを学習して得られるモデルに基づいて区分されることができる。
【0062】
例えば、この時のモデルは、自動車事故時、事故車両の事故修理前状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージと、事故修理後状態を撮影した複数（例えば、５万枚以上）の自動車撮影イメージを互いに比較した結果値に基づいて、複数の第１自動車撮影イメージ（例えば、自動車事故時、事故車両を撮影した３０枚～４０枚の自動車撮影イメージ）の中から、事故修理後状態を撮影したと判断されるイメージまたは非常に遠くから撮影されたことにより焦点が合わない自動車撮影イメージを除去することで、約１０％程度（例えば、３枚～４枚）の自動車撮影イメージを選択したデータを繰り返し学習することによって第１モデルを生成するようになる。このようなモデルは、ユーザ端末（例えば、事故車両の車両所有者端末）を介して撮影された複数の撮影イメージの中から破損類型および破損程度を判断するのに適したイメージを選択するのに適用されることができる。
【0063】
一方、一実施形態において、本発明は、ユーザ端末から自動車撮影イメージに対して即刻的な予想修理見積もりの要請を受けることにより、該予想修理見積もりの要請に相応する予想修理見積もりの結果をユーザ端末に再び伝送することができ、それについて説明すれば以下のとおりである。
【0064】
図５は、本発明の他の実施形態によるディープラーニングに基づいた自動車部位別の破損程度の自動判定システム２００の構成を概略的に示す図である。
【0065】
図５を参照すれば、図５は、図１と比較した時、ユーザ端末から自動車撮影イメージを取得する取得部２２０と、破損部位イメージに対する破損程度に基づいて、予想修理見積もりを算出し、それをユーザ端末に再び提供する予想修理見積もり提供部２７０と、を含むことを特徴とする。
【0066】
より具体的に、取得部２２０は、ユーザ端末から自動車撮影イメージを取得することは勿論、該自動車撮影イメージを通じた修理予想見積もりの要請を受ける役割をする。
【0067】
イメージ前処理部２３０、部品把握部２４０、破損部位イメージ抽出部２５０および破損程度判別部２６０は、図１により説明したイメージ前処理部１２０、部品把握部１３０、破損部位イメージ抽出部１４０および破損程度判別部１５０に相当するため、詳細な説明は省略する。
【0068】
予想修理見積もり提供部２７０は、破損情報判別部２６０を介して判別された破損部の破損程度を数値的に算出した後、それに基づいて予想修理見積もりを算出し、それを再びユーザ端末に提供する。
【0069】
【0070】
【0071】
図６を参照すれば、先ず、モデル生成部は、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成する（Ｓ６０１）。
【0072】
次に、イメージ前処理部は、ユーザ端末から取得される自動車撮影イメージを補正処理する（Ｓ６０２）。このステップでは、自動車撮影イメージを回転および反転処理することにより、イメージを部品把握部において認識可能な任意の大きさに拡張（ａｕｇｍｅｎｔａｔｉｏｎ）してイメージ大きさを規格化し、光反射を除去する補正処理を通じて、自動車撮影イメージの認識エラーを除去して正確度を向上させるようになる。
【0073】
次に、部品把握部は、補正処理された自動車撮影イメージを自動車部品別に把握および細分化する（Ｓ６０３）。このステップでは、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードなどに関する部品位置を把握および細分化するようになる。
【0074】
次に、破損部位イメージ抽出部は、自動車撮影イメージの中から破損が発生した自動車部品に対するイメージのみを抽出する（Ｓ６０４）。このステップでは、部品検出部においてマスキングにより取得された自動車部品に対するイメージの中で外郭ラインを基準に自動車部品以外の周辺部（背景）を全てブラック処理することにより、正確な破損部位イメージを抽出するようになる。
【0075】
次に、破損程度判別部は、抽出された破損部位イメージに基づいて該破損部位の破損程度を６つの状態に分けて判別する（Ｓ６０５）。このステップでは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
【0076】
【0077】
図７を参照すれば、先ず、モデル生成部は、事故修理前状態を撮影した複数の自動車撮影イメージと事故修理後状態を撮影した複数の自動車撮影イメージを互いに比較した結果に基づいて部品別に細分化したデータを学習し、自動車撮影イメージに対する破損類型別の破損程度ラベリングデータを基準値と比較した結果に基づいて前記破損程度ラベリングデータを検査およびリラベリングし、複数の破損部位撮影イメージの破損類型別の破損程度を判断したデータを学習してモデルを生成する（Ｓ７０１）。
【0078】
次に、取得部は、ユーザ端末から自動車撮影イメージを取得することは勿論、該自動車撮影イメージを通じた修理予想見積もりの要請を受ける（Ｓ７０２）。
【0079】
次に、イメージ前処理部は、ユーザ端末から取得される自動車撮影イメージを補正処理する（Ｓ７０３）。このステップでは、自動車撮影イメージを回転および反転処理することにより、イメージを部品把握部において認識可能な任意の大きさに拡張（ａｕｇｍｅｎｔａｔｉｏｎ）してイメージ大きさを規格化し、光反射を除去する補正処理を通じて、自動車撮影イメージの認識エラーを除去して正確度を向上させるようになる。
【0080】
次に、部品把握部は、補正処理された自動車撮影イメージを自動車部品別に把握および細分化する（Ｓ７０４）。このステップでは、Ｍａｓｋ Ｒ－ＣＮＮフレームワークを用いて、自動車撮影イメージ上でバンパー、ドア、フェンダー、トランクおよびフードなどに関する部品位置を把握および細分化するようになる。
【0081】
次に、破損部位イメージ抽出部は、自動車撮影イメージの中から破損が発生した自動車部品に対するイメージのみを抽出する（Ｓ７０５）。このステップでは、部品検出部においてマスキングにより取得された自動車部品に対するイメージの中で外郭ラインを基準に自動車部品以外の周辺部（背景）を全てブラック処理することにより、正確な破損部位イメージを抽出するようになる。
【0082】
次に、破損程度判別部は、抽出された破損部位イメージに基づいて該破損部位の破損程度を６つの状態に分けて判別する（Ｓ７０６）。このステップでは、ＣＮＮフレームワークのＩｎｃｅｐｔｉｏｎ Ｖ４ネットワーク構造を用いて、該破損部位が正常状態、スクラッチ状態、小損傷の板金作業必要状態、中損傷の板金作業必要状態、大損傷の板金作業必要状態および交換状態のいずれか一つの状態に該当するか否かを判別するようになる。
【0083】
次に、予想修理見積もり提供部は、破損部位イメージに対する破損程度に基づいて予想修理見積もりを算出した後、それをユーザ端末に提供する（Ｓ７０７）。
【0084】
上記では本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練した当業者であれば、下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることを理解することができるであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】