特許 6991519 車両損傷推定装置、その推定プログラムおよびその推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-10

(45)【発行日】2022-01-12

(54)【発明の名称】車両損傷推定装置、その推定プログラムおよびその推定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220104BHJP

   G06Q 10/00 20120101ALI20220104BHJP

   G06Q 30/06 20120101ALI20220104BHJP

   G06N 20/00 20190101ALI20220104BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610Z

G06Q10/00 300

G06Q30/06 310

G06N20/00 130

【請求項の数】 8

(21)【出願番号】P 2020070114

(22)【出願日】2020-04-08

(65)【公開番号】P2021167991

(43)【公開日】2021-10-21

【審査請求日】2020-10-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】517332845

【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社

(72)【発明者】

【氏名】安田 昂平

(72)【発明者】

【氏名】田中 聡一朗

(72)【発明者】

【氏名】田嶋 亮介

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１９－１１４０５９（ＪＰ，Ａ）

【文献】国際公開第２０１９／１４２２４３（ＷＯ，Ａ１）

【文献】特開２０１９－１１５４８７（ＪＰ，Ａ）

【文献】特開２０１２－００９０７３（ＪＰ，Ａ）

【文献】特開平１１－１８４９３３（ＪＰ，Ａ）

【文献】藤原 弘将，解説 基礎研究，画像ラボ 第３０巻 第１号 Image Laboratory，日本，日本工業出版株式会社，2019年01月10日，第30巻，p.57－p.67

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｑ １０／００

Ｇ０６Ｑ ３０／０６

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

撮像画像から車両の損傷状態を推定する車両損傷推定装置において、
車両部品に関する教師データによって構築された部品学習モデルを参照して、撮像画像における車両の外部部品を判定する部品判定部と、
外部部品の損傷状態に関する教師データによって構築された状態学習モデルを参照して、前記部品判定部によって判定された外部部品毎の損傷状態を外部損傷として判定する外部損傷判定部と、を備え、
前記部品学習モデルは、車両の写った画像に対し、当該車両における外部部品の部分をバウンディングボックスで指定した教師データであって当該車両における外部部品の部分に対応するピクセルを指定した教師データにより構築されたものであり、前記撮像画像の入力に応じて、前記撮像画像における前記外部部品の領域抽出と分類とを出力するものであり、
前記状態学習モデルは、外部部品の損傷状態に関するデータ以外のデータを含む教師データにより学習されたネットワークの全結合層のみを取り替えたモデルにより構築されたものである、
車両損傷推定装置。

【請求項2】

車両の構成面に関する教師データによって構築された面学習モデルを参照して、撮像画像における車両の構成面を判定する面判定部をさらに有し、
前記部品判定部は、前記面判定部によって判定された前記構成面に基づいて外部部品を判定結果として出力する、
請求項１に記載された車両損傷推定装置。

【請求項3】

前記面判定部は、前記撮像画像中に特定の構成面に固有の外部部品が存在する場合、当該固有の外部部品に対応する構成面を判定結果に含める、
請求項２に記載された車両損傷推定装置。

【請求項4】

外部部品の損傷状態に対応付けられた修理費用が外部部品毎に保持された見積テーブルを参照することによって、前記外部損傷判定部によって判定された外部部品毎の損傷状態から、車両の修理費用を見積もる見積算出部をさらに有する、
請求項１から３のいずれか１項に記載された車両損傷推定装置。

【請求項5】

前記各判定部のうちの少なくとも一つは、ユーザによる判定結果の修正を許容した上でユーザの承認が得られたことを条件に次の処理へ移行する機能を備える、
請求項１から４のいずれか１項に記載された車両損傷推定装置。

【請求項6】

外部損傷および内部損傷を含む車両の損傷内容を含む過去の損傷事例を保持する損傷事例データベースを参照し、前記外部損傷判定部によって判定された外部損傷と類似した損傷事例を抽出することによって、車両の内部損傷を推定する内部損傷推定部、
をさらに備える、請求項１から５のいずれか１項に記載の車両損傷推定装置。

【請求項7】

撮像画像から車両の損傷状態を推定する車両損傷推定プログラムにおいて、
車両部品に関する教師データによって構築された部品学習モデルを参照して、撮像画像における車両の外部部品を判定する部品判定ステップと、
外部部品の損傷状態に関する教師データによって構築された状態学習モデルを参照して、前記部品判定ステップによって判定された外部部品毎の損傷状態を外部損傷として判定する外部損傷判定ステップと、
を有する処理をコンピュータに実行させるものであり、
前記部品学習モデルは、車両の写った画像に対し、当該車両における外部部品の部分をバウンディングボックスで指定した教師データであって当該車両における外部部品の部分に対応するピクセルを指定した教師データにより構築されたものであり、前記撮像画像の入力に応じて、前記撮像画像における前記外部部品の領域抽出と分類とを出力するものであり、
前記状態学習モデルは、外部部品の損傷状態に関するデータ以外のデータを含む教師データにより学習されたネットワークの全結合層のみを取り替えたモデルにより構築されたものである、
車両損傷推定プログラム。

【請求項8】

撮像画像から車両の損傷状態を推定する車両損傷推定方法において、
車両部品に関する教師データによって構築された部品学習モデルを参照して、撮像画像における車両の外部部品を判定する部品判定ステップと、
外部部品の損傷状態に関する教師データによって構築された状態学習モデルを参照して、前記部品判定ステップによって判定された外部部品毎の損傷状態を外部損傷として判定する外部損傷判定ステップと、
を含み、
前記部品学習モデルは、車両の写った画像に対し、当該車両における外部部品の部分をバウンディングボックスで指定した教師データであって当該車両における外部部品の部分に対応するピクセルを指定した教師データにより構築されたものであり、前記撮像画像の入力に応じて、前記撮像画像における前記外部部品の領域抽出と分類とを出力するものであり、
前記状態学習モデルは、外部部品の損傷状態に関するデータ以外のデータを含む教師データにより学習されたネットワークの全結合層のみを取り替えたモデルにより構築されたものである、
車両損傷推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像から車両の損傷状態を推定する車両損傷推定装置、その推定プログラムおよび推定方法に関する。

【背景技術】

【0002】

例えば、特許文献１には、事故車の損傷の評価や修理見積もりを的確かつ迅速に行うことが可能な事故車修理費見積システムが開示されている。この見積システムは、キャプチャー手段と、記憶手段と、入力手段と、表示手段と、リンク手段と、見積手段とを有する。キャプチャー手段は、事故車両の画像データを取り込む。記憶手段は、事故車修理費見積に必要な車両属性データを記憶する。入力手段は、事故車修理費見積に必要な見積データを入力する。表示手段は、事故車両画像データを含む各種データを表示する。リンク手段は、画像データが車両のどの部位の損傷を明瞭に示しているかを決定する。見積手段は、画像データおよび画像データに対応する部位の車両属性データを表示手段に同時に表示する。また、見積手段は、見積データおよび車両属性データに基いて、事故車の修理に要する費用の見積処理を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１０－１９７２８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のシステムでは、事故車両の画像データについて、過去に修理をした車両の画像データとの近似性から損傷の程度を判定するため、適切な過去の画像データが存在しない場合には判定精度が低下する。

【課題を解決するための手段】

【0005】

第１観点に係る発明は、部品判定部と状態判定部とを有する車両状態判定装置である。部品判定部は、車両部品に関する教師データによって構築された部品学習モデルを参照して、撮像画像における車両部品を判定する。状態判定部は、車両部品の損傷状態に関する教師データによって構築された状態学習モデルを参照して、部品判定部によって判定された車両部品毎の損傷状態を判定する。部品学習モデルは、車両の写った画像に対し、当該車両における車両部品の部分をバウンディングボックスで指定した教師データ又は当該車両における車両部品の部分に対応するピクセルを指定した教師データのいずれか若しくは両方の教師データにより学習されたものであり、撮像画像の入力に応じて、撮像画像における車両部品の領域抽出と分類とを出力する。
第２観点に係る発明は、部品判定部と、外部損傷判定部と、内部損傷推定部とを有し、撮像画像から車両の損傷状態を推定する車両損傷推定装置である。部品判定部は、部品学習モデルを参照して、撮像画像における車両の外部部品を判定する。部品学習モデルは、車両部品に関するデータを教師データとした教師あり学習によって構築されている。外部損傷判定部は、状態学習モデルを参照して、部品判定部によって判定された外部部品毎の損傷状態を外部損傷として判定する。状態学習モデルは、外部部品の損傷状態に関するデータを教師データとした教師あり学習によって構築されている。内部損傷推定部は、損傷事例データベースを参照し、外部損傷判定部によって判定された外部損傷と類似した損傷事例を抽出することによって、車両の内部損傷を推定する。損傷事例データベースは、外部損傷および内部損傷を含む車両の損傷内容を含む過去の損傷事例を保持する。

【発明の効果】

【0006】

本発明によれば、機械学習に基づいて車両の損傷状態を判定することで、未知の車両を含む様々な車両に対して、柔軟な対応が可能になる。その際、部品判定と損傷判定とに処理を分離し、部品判定を行った後に個々の部品の損傷判定を行うことで、全体としての判定精度の向上を図ることができる。また、本発明によれば、機械学習に基づいて外部部品の損傷状態を判定すると共に、これをキーとして損傷事例データベースを参照することで、内部損傷を推定する。これにより、未知の車両を含む様々な車両について、外部損傷のみならず内部損傷も含んだ損傷推定を柔軟かつ精度よく行うことができる。

【図面の簡単な説明】

【0007】

【図1】車両損傷推定装置のブロック図

【図2】画像受付の画面表示例を示す図

【図3】面判定結果の画面表示例を示す図

【図4】物体検出アルゴリズムの説明図

【図5】ＹＯＬＯのネットワーク構成図

【図6】外部部品の判定結果の画面表示例を示す図

【図7】外部損傷の判定結果の画面表示例を示す図

【図8】損傷事例データベースの概略的な構成図

【図9】内部損傷の推定結果の画面表示例を示す図

【図10】見積テーブルの概略的な構成図

【図11】見積結果の画面表示例を示す図

【発明を実施するための形態】

【0008】

図１は、本実施形態に係る車両損傷推定装置１のブロック図である。この車両損傷推定装置１は、ユーザによって指定された撮像画像から、外部損傷のみならず内部損傷を含めて車両の損傷状態を推定する。推定対象となる車両は、本実施形態では自家用の自動車を想定しているが、これは一例であって、トラック、バス、二輪車等を含めて、設計仕様次第で任意の車両を対象とすることができる。なお、車両損傷推定装置１は、コンピュータプログラムをコンピュータにインストールすることによって等価的に実現することも可能である。

【0009】

車両損傷推定装置１は、画像受付部２と、面判定部３と、部品判定部４と、外部損傷判定部５と、内部損傷推定部６と、入出力インターフェース７と、学習モデル８～１０と、損傷事例データベース１１とを主体に構成されている。各処理ユニット２～６は、入出力インターフェース７を介して表示装置１２に接続されており、入出力インターフェース７は、これらと表示装置１２との間の入出力を司る。基本的に、処理ユニット２～６における各処理は逐次的に行われるが、隣接した処理ユニット間における処理の移行、具体的には、面判定部３から部品判定部４への移行、部品判定部４から外部損傷判定部５への移行、および、外部損傷判定部５から内部損傷推定部６への移行は、ユーザによる判定結果の修正を許容した上で、ユーザの承認が得られたことを条件に行われる。これは、処理過程でユーザの意図を適宜反映することで、車両損傷の推定精度の向上を図るためである。ただし、処理の移行の一部については、ユーザの承認を条件とすることなく自動的に行ってもよい。なお、表示装置１２がインターネットなどにネットワーク接続されている場合、入出力インターフェース７は、ネットワーク通信を行うために必要な通信機能を備える。

【0010】

画像受付部２は、表示装置１３から推定対象となる撮像画像、具体的には、損傷した車両の外観をカメラで撮像した画像を受け付ける。車両を撮像する向きは、前方、後方、側方のいずれであってもよく、斜め前方や斜め後方などであってもよい。

【0011】

推定対象となる撮像画像は、ユーザが画面を見ながら表示装置１３を操作することによって指定され、車両損傷推定装置１に出力／アップロードされる。図２は、表示装置１３における画像受付の画面表示例を示す図である。画像受付用の表示画面３０は、画像受付領域３１を有する。画像受付領域３１には、推定対象となる撮像画像のサムネイルが表示される。ユーザは、ファイル参照ボタンを通じて特定の画像ファイルを指定することで、あるいは、画像受付領域３１内に特定の画像ファイルをドロップすることで、推定対象を指定する。画像受付領域３１に複数のブランク枠が存在することからも理解できるように、推定対象は複数指定することもでき、既に指定された推定対象であっても、取り消しボタンを通じて取り消すことができる。ユーザは、推定対象の指定が完了した場合、判定開始ボタンを押す。このアクションによって、推定対象は画像受付部２に出力される。画像受付部２によって受け付けられた撮像画像は、面判定部３に出力される。

【0012】

推定対象となる撮像画像は、カラー画像であってもよいが、メモリ使用量の低減を図るべく、グレースケール画像を受け付けるようにしてもよい。撮像画像のサイズは、システムのメモリ使用量などを考慮して適宜設定される。

【0013】

面判定部３は、推定対象となる撮像画像に写し出されている車両の構成面を判定する。ここで、「構成面」とは、立体的な車両を構成する個別の面をいい、車両の前面、背面、側面などが挙げられる。例えば、前方から車両を撮影した撮像画像の場合、判定結果は前面となり、後方から車両を撮影した撮像画像の場合、判定結果は背面となる。ただし、判定結果として得られる構成面の数は一つであるとは限らず、複数の場合もある。例えば、斜め前方から車両を撮影した撮像画像の場合、判定結果が前面および側面となるといった如くである。このような構成面の判定を行う理由は、後処理における判定精度の向上を図るためである。

【0014】

構成面の判定では、面学習モデル８が参照される。この面学習モデル８は、人の脳神経を模したニューラルネットワーク系を主体に構成されている。ニューラルネットワーク系は、コンピュータの作業領域上に形成され、入力層と、隠れ層と、出力層とを有する。入力層は、隠れ層に入力信号を伝達する際、活性化関数による重み付けが行われる。そして、隠れ層の層数に応じた重み付けを伴う伝達が繰り返され、出力層に伝達された信号が最終的に出力される。入力層のポート数、出力層のポート数、隠れ層の層数などは任意である。出力層は、出力（前面、背面、側面など）の分類確率も出力する。

【0015】

面学習モデル８の構築は、車両の構成面に関するデータを教師データとした教師あり学習によって行われる。教師データは、車両を撮影した撮像画像と、車両の構成面の分類とを有し、様々な車種、様々な車体色、様々な撮影方向などを含めて、多様かつ大量のデータが用いられる。教師あり学習では、教師データの入力に対する出力の分類確率が検証され、これに基づいて活性化関数（重み付け）の調整を繰り返すことによって、面学習モデル８が所望の状態に設定される。

【0016】

なお、面学習モデル８としては、ニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、判定分析等の機械学習手法を用いてもよい。また、畳み込みニューラルネットワークおよびそれを用いたＲ－ＣＮＮ（Regions with CNN features）などを用いてもよい。この点は、後述する状態学習モデル１０についても同様である。

【0017】

また、構成面の判定では、面学習モデル８の参照に加えて、特定の構成面に存在する固有の外部部品の有無に着目して、構成面を推定してもよい。本明細書において、「外部部品」とは、車両部品のうち、外観上露出したものをいう。また、車両部品のうち、外観上露出していないものを「内部部品」という。
例えば、フロントライトやフロントグリルなどは、車両の前面に固有であり、他の外部部品とは区別できる特徴的な形状を有することから、フロントライトなどの存在を以て、撮像画像中には少なくとも前面が含まれているとみなせる。このことから、撮像画像中に特定の構成面に固有の外部部品が存在する場合、この固有の外部部品に対応する構成面が判定結果に含められる。

【0018】

さらに、ＧＰＵ（Graphics Processing Unit）のメモリ使用量を抑制するために、または、学習効率の向上を図るために、面学習モデル８の軽量化を図ってもよい。その一例として、ＶＧＧ－１６などの汎用モデルにおけるＶＧＧブロック（畳み込み→畳み込み→プーリングで１ブロック）の個数を減らすことや、撮像画像のサイズを小さくすることが挙げられる。ＶＧＧ－１６は、既に学習済のモデルをＣＮＮ（畳み込みニューラルネットワーク）に用いる手法、すなわち、転移学習モデルの一つであり、畳み込み層と全結合層との合計１６層を含み、畳み込みフィルタの大きさは全て３×３、全結合層は４０９６ユニット２層、クラス分類用の１０００ユニット１層からなる。

【0019】

面判定部３の判定結果は、表示装置１２に出力される。図３は、表示装置１２に表示される面判定結果の画面表示例を示す図である。この判定結果の表示画面４０は、画像表示領域４１と、複数の判定結果表示領域４２と、複数のチェックボックス４３とを有する。画像表示領域４１には、推定対象に係る車両の撮像画像が表示される。それぞれの判定結果表示領域４２には、車両の構成面の候補（前面、側面、背面）が分類確率付きで表示される。チェックボックス４３は、それぞれの判定結果表示領域４２に対応して設けられており、所定の条件を満たすものにはチェックマークが付されている。所定の条件としては、構成面の候補の分類確率が所定のしきい値以上であること（この場合は複数にチェックマークが付されることもある。）、構成面の分類確率が最も高いものなどが挙げられる。ユーザは、判定結果が妥当であると判断した場合、判定継続ボタンを押す。また、ユーザは、これが妥当でないと判断した場合、チェックボックス４３のチックマークの変更を含む判定結果の修正を行った上で、判定継続ボタンを押す。このアクションによって、面判定部３の判定結果（ユーザによって修正された判定結果を含む。）は、撮像画像と共に部品判定部４に出力される。

【0020】

なお、ユーザによって修正された判定結果は、面学習モデル８に反映させてもよい。これにより、構成面の判定における学習深度を深めることができる。

【0021】

部品判定部４は、撮像画像に写し出された外部部品の抽出処理、具体的には、外部部品が写し出されている部品領域と、外部部品の属性とを個別に抽出する。この部品判定では、部品学習モデル９が参照される。この部品学習モデル９は、マルチスケール性や動作速度などを考慮して、ＹＯＬＯやＳＳＤなどの深層学習による物体検出アルゴリズムに基づき構築されている。

【0022】

図４は、物体検出アルゴリズムの説明図である。同図（ａ）に示すように、顔検出などで用いられる従来の検出手法では、入力に対する処理として、領域探索、特徴量抽出、機械学習という３つの段階に別れている。すなわち、まず領域探索が行われ、つぎに検出する物体に合わせて特徴抽出が行われ、最後に適切な機械学習手法が選択される。この検出手法では、物体検出を３つのアルゴリズムに別けて実現される。特徴量についても、基本的に、検出対象に応じた専用設計になるため特定の対象しか検出できない。そこで、かかる制約を解消すべく、同図（ｂ）および（ｃ）に示すような深層学習による物体検出アルゴリズムが提案された。同図（ｂ）に示すように、Ｒ－ＣＮＮなどでは、深層学習を用いることで特徴量抽出が自動で実現される。これによって、ネットワークの設計だけで、色々な物体に対する柔軟な分類が可能になる。しかしながら、領域探索については別処理として依然として残る。そこで、領域探索についても深層学習に含めたものが、ＹＯＬＯ（ You Only Look Once）やＳＳＤ（Single Shot MultiBox Detector）に代表される同図（ｃ）の手法である。本手法では、入力（撮像画像）を単一のニューラルネットワークに入力することで、項目領域の抽出と、その属性の分類とがまとめて行われる。本手法の特徴として、第１に、回帰問題的なアプローチであることが挙げられる。回帰（Regression）とは、データの傾向から数値を直接予測するアプローチをいい、領域を決めてからそれが何かを分類するのではなく、物体の座標と大きさが直接予測される。第２に、単一のネットワークで処理が完結することである。データ入力した後は深層学習だけで最後（出力結果）までいってしまうという意味で、「End-to-End」の処理ということもできる。

【0023】

例えば、ＹＯＬＯの処理は、概ね以下のようになる。まず、入力画像がＳ×Ｓの領域に分割される。つぎに、それぞれの領域内における物体の分類確率が導出される。そして、Ｂ個（ハイパーパラメータ）のバウンディングボックスのパラメータ（ｘ，ｙ，height，width）と信頼度（confidence）とが算出される。バウンディングボックスとは、物体領域の外接四角形であり、信頼度とは、予測と正解のバウンディングボックスの一致度である。物体検出には、物体の分類確率と、各バウンディングボックスの信頼度との積が用いられる。図５は、ＹＯＬＯのネットワーク構成図である。ＹＯＬＯにおいて、撮像画像はＣＮＮ（Convolutional Neural Network）層に入力されると共に、複数段の全結合層を経て結果が出力される。出力は、Ｓ*Ｓ個に分割した画像領域と、信頼度（分類確度）を含むバウンディングボックス（ＢＢ）の５パラメータと、クラス数（項目の属性）とを含む。

【0024】

部品学習モデル９の構築は、車両の構成面毎の外部部品に関するデータを教師データとした教師あり学習によって行われる。具体的には、部品学習モデル９は、車両の写った画像に対し、車両の構成面毎の外部部品の部分をバウンディングボックスで指定した教師データにより学習されることにより行われる。そして、このような教師あり学習により、部品学習モデル９は、撮像画像の入力に応じて、撮像画像における車両部品の領域抽出と分類とを出力する。
なお、教師データは、外部部品の部分画像と、この外部部品の属性とを有し、様々な車種、様々な外部部品、様々な撮影方向などを含めて、多様かつ大量のデータが用いられる。大量のデータを確保するために、あるソース画像に画像処理を施したものも用いられる。ただし、右ヘッドランプ、左ヘッドランプ等を区別するために、画像処理の一つである画像の左右反転は行わない。このような部品学習モデル９を用いることで、車両の損傷の有無やその程度に関わりなく、車両の構成面に含まれる外部部品を判定・抽出することができる。

【0025】

部品判定部４は、面判定部３によって判定された車両の構成面に基づいて、部品学習モデル９に基づき特定された外部部品をフィルタリングし、フィルタリングされた外部部品を判定結果として出力する。例えば、構成面の判定結果が前面および側面の場合、部品判定の結果としてテールランプが抽出されたとしても、これが誤判定であることは明らかである。テールランプは背面に存在し、前面および側面には存在し得ないからである。このような相関性は、側面固有のサイドドア、前面固有のヘッドライト、フロントグリル、フロントウインドウなどについても認められる。よって、部品判定の結果として得られた外部部品のうち、構成面の判定結果として得られた構成面に関するもののみを判定結果に含め、それ以外については除外することで、部品判定精度の向上を図ることができる。

【0026】

部品判定部４の判定結果は、表示装置１３に出力される。図６は、部品判定結果の画面表示例を示す図である。この判定結果の表示画面５０は、画像表示領域５１と、複数の判定結果表示領域５２と、複数のチェックボックス５３とを有する。画像表示領域５１には、推定対象に係る車両の撮像画像が表示されると共に、部品判定部４によって抽出された個々の外部部品を示す矩形枠が表示される。判定結果表示領域５２には、それぞれの外部部品の候補（右ヘッドライト、左ヘッドライト、フロントウインドウなど）が分類確率付きで表示される。チェックボックス５３は、それぞれの判定結果表示領域５２に対応して設けられており、所定の条件を満たすものにはチェックマークが付されている。所定の条件としては、典型的には、構成面の候補の分類確率が所定のしきい値以上であることが挙げられる。ユーザは、判定結果が妥当であると判断した場合、判定継続ボタンを押す。また、ユーザは、これが妥当でないと判断した場合、チェックボックス５３のチックマークの変更を含む判定結果の修正を行った上で、判定継続ボタンを押す。このアクションによって、部品判定部４の判定結果（ユーザによって修正された判定結果を含む。）は、撮像画像と共に外部損傷判定部５に出力される。

【0027】

なお、ユーザによって修正された判定結果は、部品学習モデル９に反映させてもよい。これにより、部品判定の学習深度を深めることができる。

【0028】

外部損傷判定部５は、部品判定部４によって抽出された外部部品毎の損傷状態を判定する。そして、複数の外部部品の損傷状態をまとめた判定結果が外部損傷として出力される。外部損傷の判定は、外部部品の損傷状態に関する教師データを用いた教師あり学習によって構築された状態学習モデル１０を参照することによって行われる。状態学習モデル１０の構成は、基本的に、面学習モデル８のそれに準ずる。

【0029】

また、状態学習モデル１０の構築は、外部部品の損傷状態に関するデータを教師データとした教師あり学習によって行われる。この教師データは、損傷した外部部品の部分画像と、その損傷状態を分類した属性（例えば、「取替」、「脱着」、損傷程度の「大」、「中」、「小」）とを有し、様々な車種、様々な外部部品、様々な撮影方向などを含めて、多様かつ大量のデータが用いられる。ここで、「取替」は、補修では済まず外部部品自体を交換しなければならない程度の損傷を意味する。「脱着」は、その外部部品自体は損傷を受けていないものの、損傷を受けた他の車両部品の交換・修理のために、車体から一端外されなければならないことを意味する。なお、大量のデータを確保するために、あるソース画像に画像処理を施したものを用いてもよい。このような状態学習モデル１０を用いて損傷状態を外部部品毎に判定することで、損傷状態の判定精度の向上を図ることができる。

【0030】

本実施形態では、外部損傷判定部５として、上述したＶＧＧ－１６などの汎用モデルをベースとして全結合層のみを取り替えたネットワークを用いている。また、外部部品毎にデータ量のばらつきが大きいことから、少ないデータ量でも学習を行うべく、予めImageN etで学習した重みによるファインチューニングを実施してもよい。ファインチューニングとは、既存のモデルの一部を再利用して、新しいモデルを構築する手法である。さらに、データごとに引き気味の画像と、アップの画像と異なる種類の画像とが混在している場合に対応すべく、アップ画像の選別、対象部位のトリミングによるクレンジングを実施してもよい（トリミングされた画像も一部使用）。

【0031】

外部損傷判定部５の判定結果は、表示装置１２に出力される。図７は、表示装置１２に表示される外部損傷の判定結果の画面表示例を示す図である。この判定結果の表示画面６０は、画像表示領域６１と、複数の判定結果表示領域６２と、複数のチェックボックス６３とを有する。画像表示領域６１には、推定対象に係る車両の撮像画像が表示されると共に、外部損傷判定部５によって判定された損傷部位を示す丸枠が表示される。判定結果表示領域６２には、損傷状態の候補（取替、脱着、大、中、小）が分類確率付きで表示される。チェックボックス６３は、それぞれの判定結果表示領域６２に対応して設けられており、所定の条件を満たすものにはチェックマークが付されている。所定の条件としては、典型的には、損傷程度の候補の分類確率が所定のしきい値以上であることが挙げられる。ユーザは、判定結果が妥当であると判断した場合、見積開始継続ボタンを押す。また、ユーザは、これが妥当でないと判断した場合、チェックボックス６３のチックマークの変更を含む判定結果の修正を行った上で、見積開始ボタンを押す。このアクションによって、外部損傷判定部５の判定結果（ユーザによって修正された判定結果を含む。）は、撮像画像と共に内部損傷推定部６に出力される。

【0032】

なお、ユーザによって修正された判定結果は、状態学習モデル１０に反映させてもよい。これにより、損傷状態判定の学習深度を深めることができる。

【0033】

内部損傷推定部６は、損傷事例データベース１１を参照し、外部損傷判定部５によって判定された外部損傷と類似した損傷事例を抽出することによって、車両の内部損傷を推定する。図８は、損傷事例データベース１１の概略的な構成図である。損傷事例データベース１１は、過去に発生した実際の損傷事例を大量に保持している（ビックデータ）。それぞれの損傷事例は、ログとして、外部損傷および内部損傷を含む車両の損傷内容を含む。具体的には、車両を構成するそれぞれの車両部品（外部部品および内部部品の双方を含む。）について、０％は損傷なし、１００％は全損といった如く、損傷の程度がパーセントで表示されている。例えば、損傷事例１は、フロントバンパーの損傷割合が８１％（大）、フロントウインドウの損傷割合が５３％（中）、ラジエータの損傷割合が１７％（小）、コアサポートの損傷割合が１２％（小）であることを示している。そして、外部損傷判定部５の判定結果が、例えば、フロントバンパーの損傷状態が「大」、フロントウインドの損傷状態が「中」であった場合、これと類似したものとして損傷事例１が抽出される。その結果、内部部品の推定結果として、ラジエータの損傷状態が「小」、コアサポートの損傷状態が「小」となる。

【0034】

外部損傷判定部５によって判定された外部損傷と類似した損傷事例が複数抽出された場合、これらをサンプルとした統計的な処理によって、車両の内部損傷が推定される。例えば、ある内部部品について、所定の範囲毎に区分された損傷状態のヒストグラムをとり、出現頻度が最も高い損傷状態を採用するといった如くである。

【0035】

内部損傷推定部６の推定結果は、外部損傷も含めた車両損傷の推定結果として、表示装置１２に出力される。図９は、表示装置１２に表示される車両損傷の推定結果の画面表示例を示す図である。この推定結果の表示画面７０は、画像表示領域７１と、結果表示領域７２とを有する。画像表示領域７１には、推定対象に係る車両の撮像画像が表示される。結果表示領域７２には、損傷した車両部品（外部部品および内部部品を含む。）と、損傷の程度とが表示される。ユーザが終了ボタンを押すことによって、車両損傷推定装置１における一連の処理が終了する。

【0036】

また、内部損傷推定部６は、見積テーブルを参照することによって、推定対象に係る車両の修理に要する費用を見積もった上で、ユーザに提示してもよい。この見積テーブルは、外部部品および内部部品を含む車両部品名と、損傷の程度と、工賃を含む費用とが対応付けて保持されている。外部部品については、部品判定部４によって特定された外部部品と、外部損傷判定部５によって判定された損傷状態とに基づき、費用が特定される。また、内部部品については、内部損傷推定部６によって特定された内部部品およびその損傷状態に基づき、費用が算出される。車両の修理に要する費用は、車両部品毎の費用を合算した総額となる。車両の修理に要する費用は、図９に示した表示画面における結果表示領域７２に表示される。

【0037】

なお、撮像画像の解析によって車種が特定されている場合、または、ユーザによって車種が指定されている場合といった如く、車種が既知であることを前提に費用を算出する設計仕様であれば、見積テーブルの項目として車種（例えば「ＡＢＣ」）を含めてもよい。このように、車種別に費用を細かく設定することで、車種に応じた見積金額を的確に算出できる。

【0038】

このように、本実施形態によれば、機械学習に基づいて外部部品の損傷状態を判定すると共に、これをキーとして損傷事例データベース１１を参照することで、内部損傷を推定する。これにより、未知の車両を含む様々な車両について、外部損傷のみならず内部損傷も含んだ損傷推定を柔軟かつ精度よく行うことができる。

【0039】

また、本実施形態によれば、撮像画像中に多くの外部部品が物体として検出され得る部品判定については、ＹＯＬＯやＳＳＤに代表されるように、撮像画像を単一のニューラルネットワーク系に入力し、回帰問題的なアプローチによって車両部品の領域抽出を属性の分類付きでまとめて行う物体検出アルゴリズムを採用する。これにより、部品判定部４における処理の高速化を図ることが可能になる。

【0040】

また、本実施形態によれば、部品判定部４の処理に先立ち、面判定部３によって撮像画像における車両の構成面を特定し、その上で、撮像画像に対する部品判定を実行する。これにより、部品判定部４の判定結果として得られた車両部品のうち、面判定部３によって特定された構成面上に存在し得ないものについては誤判定として除外できるため、部品判定の精度向上を図ることができる。

【0041】

さらに、本実施形態によれば、内部損傷推定部６によって、車両の修理費用を見積もった上で、車両の修理に要する費用をユーザに提示する。これにより、ユーザの利便性を更に高めることができる。

【0042】

（変形例１）
本実施形態に係る車両損傷推定装置１では、内部損傷推定部６に代えて、又は追加して見積算出部１６を有するものでもよい。ここでは、ユーザによる見積開始ボタンを押下によって、外部損傷判定部（状態判定部）５の判定結果（ユーザによって修正された判定結果を含む。）が、撮像画像と共に見積算出部１６に出力される。なお、ユーザによって修正された判定結果は、状態学習モデル１０に反映させてもよい。これにより、損傷状態判定の学習深度を深めることができる。

【0043】

見積算出部１６は、見積テーブル２１を参照することによって、判定対象に係る車両の修理に要する費用を見積もる。図１０は、見積テーブル２１の概略的な構成図である。この見積テーブル２１は、車両部品名と、損傷の程度と、工賃を含む費用とが対応付けて保持されている。部品判定部４によって特定された車両部品と、外部損傷判定部５によって判定されたその車両部品の損傷状態とをキーに見積テーブル２１を検索することによって、費用が車両部品別に特定される。車両の修理に要する費用は、車両部品毎の費用を合算した総額となる。例えば、部品判定部４によって「フロントバンパー」および「ヘッドライト」が抽出され、外部損傷判定部５によって前車の損傷程度が「中」、後者の損傷程度が「小」と判定された場合、前者の工賃が「＼200,000」、後者の工賃が「＼30,000」となり、総額は「＼ 230,000」となる。

【0044】

なお、撮像画像の解析によって車種が特定されている場合、または、ユーザによって車種が指定されている場合といった如く、車種が既知であることを前提に費用を算出する設計仕様であれば、見積テーブル２１の項目として車種（例えば「ＡＢＣ」）を含めてもよい。このように、車種別に費用を細かく設定することで、車種に応じた見積金額を的確に算出できる。

【0045】

見積算出部１６の見積結果は、表示装置１２に出力される。図１１は、表示装置１２に表示される見積結果の画面表示例を示す図である。この見積結果の表示画面７０は、画像表示領域７１と、結果表示領域７２とを有する。画像表示領域７１には、判定対象に係る車両の撮像画像が表示される。結果表示領域７２には、損傷した車両部品（パーツ）と、損傷の程度と、費用とが表示される。損傷した車両部品が複数存在する場合、個別の費用と共に総額も表示される。ユーザが終了ボタンを押すことによって、車両損傷推定装置１における一連の処理が終了する。

【0046】

以上説明したように、外部損傷判定部５によって判定された車両部品毎の損傷状態から、車両の修理費用を見積もる見積算出部１６を設けることで、車両の修理に要する費用をユーザに提示する。これにより、ユーザの利便性を更に高めることができる。

【0047】

（変形例２）
本実施形態に係る車両損傷推定装置１では、面判定部３と部品判定部４とを別のモデルとして構築することにより、判定対象の領域を限定している。これにより、判定精度の高めることができる。ただし、このような形態に限定されるものではなく、面判定部３と部品判定部４とは同一モデルとして構築することも可能である。

【0048】

（変形例３）
また、本実施形態では、部品学習モデル９は、車両の写った画像に対し、車両部品の部分をバウンディングボックスで指定した教師データによる学習により構築されるものとしたが、部品学習モデル９の構築はこれに限定されるものではない。例えば、部品学習モデル９は、車両の写った画像に対し、車両部品の部分に対応するピクセルを指定した教師データによる学習により構築されるものでもよい。具体的には、U-Netのようなネットワーク構造により構築されるものでも良い。さらに、部品学習モデル９は、これらを統合したモデルであってもよい。すなわち、部品学習モデル９は、車両の写った画像に対し、車両部品の部分をバウンディングボックスで指定した教師データであって、車両部品の部分に対応するピクセルを指定した教師データ（Mask R-CNN）による学習により構築されるものでもよい。要するに、本実施形態に係る物体検出アルゴリズムは、ＹＯＬＯやＳＳＤなどのモデルに限定されるものではなく、Semantic segmentationやInstance segmentationなどのモデルであってもよい。また、物体の領域抽出と分類とが可能な任意のモデルを採用することができる。

【0049】

（変形例４）
また、本実施形態では、外部損傷判定部５に関し、状態学習モデル１０の構成が面学習モデル８のそれに準ずるとしたが、このような形態に限定されるものではない。状態学習モデル１０は、部品学習モデル９と同様の物体検出アルゴリズムを採用するものでもよい。具体的に、状態学習モデル１０は、凹み及び／又は擦り傷の状態判定では、上述の物体検出アルゴリズムを用いることで判定精度を高めることができる。

【符号の説明】

【0050】

１ 車両損傷推定装置
２ 画像受付部
３ 面判定部
４ 部品判定部
５ 外部損傷判定部
６ 内部損傷推定部
７ 入出力インターフェース
８ 面学習モデル
９ 部品学習モデル
１０ 状態学習モデル
１１ 損傷事例データベース
１２ 表示装置
１６ 見積算出部
２１ 見積テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】