特許 6643304 判定装置、修理費用判定システム、判定方法、および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6643304

(24)【登録日】2020年1月8日

(45)【発行日】2020年2月12日

(54)【発明の名称】判定装置、修理費用判定システム、判定方法、および判定プログラム

(51)【国際特許分類】

   G06Q 10/00 20120101AFI20200130BHJP

   G06N 20/00 20190101ALI20200130BHJP

   G06T 7/00 20170101ALI20200130BHJP

【ＦＩ】

   G06Q10/00 300

   G06N20/00 130

   G06T7/00 610

   G06T7/00 650B

   G06T7/00 350B

【請求項の数】11

【全頁数】17

(21)【出願番号】特願2017-247068(P2017-247068)

(22)【出願日】2017年12月22日

(65)【公開番号】特開2019-114059(P2019-114059A)

(43)【公開日】2019年7月11日

【審査請求日】2018年2月14日

(73)【特許権者】

【識別番号】399106192

【氏名又は名称】三井住友海上火災保険株式会社

(73)【特許権者】

【識別番号】517332845

【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】近田 伸矢

(72)【発明者】

【氏名】川津 英樹

(72)【発明者】

【氏名】岡 哲平

(72)【発明者】

【氏名】末廣 昇

(72)【発明者】

【氏名】丸山 倫弘

(72)【発明者】

【氏名】大田 佳宏

(72)【発明者】

【氏名】安田 昂平

(72)【発明者】

【氏名】千葉 紗弓

【審査官】 田付 徳雄

(56)【参考文献】

【文献】 特開平０９−０８１７３９（ＪＰ，Ａ）

【文献】 特開２０００−１９０８７７（ＪＰ，Ａ）

【文献】 特開平１０−１９７２８５（ＪＰ，Ａ）

【文献】 特開２００３−２２８６３４（ＪＰ，Ａ）

【文献】 特開２０１５−００３７２２（ＪＰ，Ａ）

【文献】 特開２００２−３２９１００（ＪＰ，Ａ）

【文献】 特開２００３−０５８６５３（ＪＰ，Ａ）

【文献】 三谷 弘美，激変！ 自分と家族を守る正しい選び方 最強の ムダな 保険 保険に激動の新時代到来！ 古い保険を圧倒する保険が続々，日経トレンディ Ｎｏ．４１９，日経ＢＰ社，２０１７年 ７月 ４日，54-57頁

【文献】 John HUETTER，Tractable photo-analyzing AI to assess vehicle damage for Mitchell，Repairer Driven News，２０１６年１０月１１日，"Unlike CCC7s system,…to the company.",，online/2019年6月14日検索，ＵＲＬ，https://web.archive.org/web/20161012143822/https://www.repairerdrivennews.com/2016/10/11/tractable-ceo-says-ai-will-assess-vehicle-damage-for-mitchell-company-specializes-in-ai-photo-analysis/

【文献】 Ted KWARTLER，How AI is changing the way we assess vehicle repair，Venture Beat，２０１７年 ２月 ４日，"Using AI technology…during a stressful，online/2019年6月14日検索，ＵＲＬ，https://web.archive.org/web/20170205043430/https:/venturebeat.com/2017/02/04/how-ai-is-changing-the-way-we-assess-vehicle-repair/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像に表示された車両の面に関する教師データを学習した学習済みモデルを用いて、事故車両を含む画像が入力された場合に、前記画像に表示された前記事故車両の面を判定する面判定部と、
前記面判定部が判定した面毎の車両部品に関する教師データを学習した学習済みモデルを使用して、前記面判定部が判定した前記画像における前記事故車両の車両部品を判定する部品判定部と、
車両部品の損傷状態に関する教師データを学習した学習済みモデルを用いて、前記部品判定部が判定した車両部品の損傷状態を判定する状態判定部と
を備える判定装置。

【請求項2】

前記面判定部は、前記画像が、前記事故車両の前面、背面、および側面のいずれを含むかを判定する請求項１に記載の判定装置。

【請求項3】

前記状態判定部は、前記部品判定部が判定した部品における損傷箇所を判定する損傷箇所判定部を更に有する請求項１または２に記載の判定装置。

【請求項4】

前記状態判定部は、前記損傷箇所判定部が判定した箇所の損傷の程度を判定する損傷程度判定部を更に有する請求項３に記載の判定装置。

【請求項5】

前記損傷程度判定部は、前記損傷箇所判定部が判定した損傷箇所の画像を拡大した後に損傷の程度を判定する請求項４に記載の判定装置。

【請求項6】

前記状態判定部は、前記損傷の程度として、前記状態判定部が損傷している旨を判定した車両部品以外の車両部品の着脱を判定する請求項４または５に記載の判定装置。

【請求項7】

前記状態判定部が判定した判定結果に対するユーザの修正を受け付ける修正受付部を更に備える請求項１から６のいずれか一項に記載の判定装置。

【請求項8】

前記修正受付部が受け付けた前記修正を、前記学習済みモデルのいずれかに反映させる請求項７に記載の判定装置。

【請求項9】

請求項１から８のいずれか一項に記載の判定装置と、
前記状態判定部が判定した損傷を修理する場合に掛かる費用を修理費用判定装置と
を備える修理費用判定システム。

【請求項10】

画像に表示された車両の面に関する教師データを学習した学習済みモデルを用いて、事故車両を含む画像が入力された場合に、前記画像に表示された前記事故車両の面をコンピュータに判定させる面判定段階と、
前記面判定段階で判定した面毎の車両部品に関する教師データを学習した学習済みモデルを使用して、前記面判定段階で判定した前記画像における前記事故車両の車両部品をコンピュータに判定させる部品判定段階と、
車両部品の損傷状態に関する教師データを学習した学習済みモデルを用いて、前記部品判定段階で判定した車両部品の損傷状態をコンピュータに判定させる状態判定段階と
を備える判定方法。

【請求項11】

画像に表示された車両の面に関する教師データを学習した学習済みモデルを用いて、事故車両を含む画像が入力された場合に、前記画像に表示された前記事故車両の面を判定する面判定ステップと、
前記面判定ステップで判定した面毎の車両部品に関する教師データを学習した学習済みモデルを使用して、前記面判定ステップで判定した前記画像における前記事故車両の車両部品を判定する部品判定ステップと、
車両部品の損傷状態に関する教師データを学習した学習済みモデルを用いて、前記部品判定ステップで判定した車両部品の損傷状態を判定する状態判定ステップと
を電子計算機に実行させる判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、修理費用判定システム、判定方法、および判定プログラムに関する。

【背景技術】

【0002】

事故車両の画像データを取り込んで修理費見積処理をするシステムがある（例えば、特許文献１参照）。
特許文献１ 特開平１０−１９７２８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記のシステムは、キャプチャした画像データを、過去に修理をした車両の画像データとの近似性に基づいて判定する。このため、修理内容が類似した過去の画像データが無い場合には判定精度が低下する。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、画像に表示された車両の面に関する教師データを学習した学習済みモデルを用いて、事故車両を含む画像が入力された場合に、画像に表示された事故車両の面を判定する面判定部と、面判定部が判定した面毎の車両部品に関する教師データを学習した学習済みモデルを使用して、画像における事故車両の車両部品を判定する部品判定部と、車両部品の損傷状態に関する教師データを学習した学習済みモデルを用いて、部品判定部が判定した車両部品の損傷状態を判定する状態判定部とを備える判定装置が提供される。

【0005】

本発明の第２の態様においては、上記の判定装置と、状態判定部が判定した損傷を修理する場合に掛かる費用を判定する修理費用判定装置とを備える修理費用判定システムが提供される。

【0006】

本発明の第３の態様においては、画像に表示された車両の面に関する教師データを学習した学習済みモデルを用いて、事故車両を含む画像が入力された場合に、画像に表示された事故車両の面を判定する面判定段階と、面判定段階で判定した面毎の車両部品に関する教師データを学習した学習済みモデルを使用して、画像における事故車両の車両部品を判定する部品判定段階と、車両部品の損傷状態に関する教師データを学習した学習済みモデルを用いて、部品判定段階で判定した車両部品の損傷状態を判定する状態判定段階とを備える判定方法が提供される。

【0007】

本発明の第４の態様においては、画像に表示された車両の面に関する教師データを学習した学習済みモデルを用いて、事故車両を含む画像が入力された場合に、画像に表示された事故車両の面を判定する面判定ステップと、面判定ステップで判定した面毎の車両部品に関する教師データを学習した学習済みモデルを使用して、画像における事故車両の車両部品を判定する部品判定ステップと、車両部品の損傷状態に関する教師データを学習した学習済みモデルを用いて、部品判定ステップで判定した車両部品の損傷状態を判定する状態判定ステップとを電子計算機に実行させる判定プログラムが提供される。

【0008】

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。

【図面の簡単な説明】

【0009】

【図1】判定装置１０１のブロック図である。

【図2】修理費用テーブル１４２を例示する模式図である。

【図3】ニューラルネットワーク２００の概念を示す図である。

【図4】教師データ２１０を例示する模式図である。

【図5】教師データ２２０を例示する模式図である。

【図6】教師データ２３０を例示する模式図である。

【図7】判定装置１０１の処理手順を示す流れ図である。

【図8】表示画像３０１を示す図である。

【図9】表示画像３０２を示す図である。

【図10】表示画像３０３を示す図である。

【図11】表示画像３０４を示す図である。

【図12】表示画像３０５を示す図である。

【図13】表示画像３０６を示す図である。

【図14】表示画像３０７を示す図である。

【図15】表示画像３０８を示す図である。

【図16】表示画像３０９を示す図である。

【図17】表示画像３１０を示す図である。

【図18】ステップＳ１０７における他の手順を示す流れ図である。

【図19】ステップＳ１０７におけるまた他の手順を示す流れ図である。

【図20】ステップＳ１０７における更に他の手順を示す流れ図である。

【図21】判定システム１０２のブロック図である。

【発明を実施するための形態】

【0010】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0011】

図１は、判定装置１０１の構成例を示すブロック図である。判定装置１０１は、面判定部１１０、部品判定部１２０、状態判定部１３０、修理費用算出部１４０、およびユーザインタフェイス部１５０を備える（以降、「ユーザインタフェイス部」は「ＵＩ部」と記載する）。また、判定装置１０１は、面判定部１１０、部品判定部１２０、状態判定部１３０、および修理費用算出部１４０の各々に対応する格納部１１１、１２１、１３１、１４１を備える。

【0012】

面判定部１１０は、格納部１１１から読み出された学習済みモデル１１２を用いて、処理装置１５１に形成される。ここで、学習済みモデル１１２は、後述する面を判定する判定処理を処理装置１５１に実行させるプログラムである。

【0013】

格納部１１１が格納する学習済みモデル１１２の生成については図３、３を参照して後述する。面判定部１１０は、処理装置１５１に取得された事故車両の画像を判定して、当該画像に現れる車両の面が、前面、背面、および側面のいずれであるかを判定する。判定結果は、ＵＩ部１５０の表示装置１５２と、部品判定部１２０とに出力される。

【0014】

部品判定部１２０は、格納部１２１から読み出された学習済みモデル１２２を用いて、処理装置１５１に形成される。ここで、学習済みモデル１２２は、後述する車両部品を判定する判定処理を処理装置１５１に実行させるプログラムである。

【0015】

格納部１２１に格納する学習済みモデル１２２の生成については図５を参照して後述する。部品判定部１２０は、面判定部１１０から取得した判定結果を参照しつつ、処理装置１５１が取得した画像を判定して、当該画像に現れる車両部品を判定する。判定結果は、ＵＩ部１５０の表示装置１５２と、状態判定部１３０との両方に出力される。

【0016】

状態判定部１３０は、格納部１３１から読み出された学習済みモデル１３２を用いて、処理装置１５１内に形成される。学習済みモデル１３２は、後述する車両部品を判定する判定処理を処理装置１５１に実行させるプログラムである。

【0017】

格納部１３１に格納する学習済みモデル１３２の生成については図６を参照して後述する。状態判定部１３０は、部品判定部１２０から取得した判定結果を参照しつつ、処理装置１５１が取得した画像を判定して、画像に含まれる車両部品が事故により受けた損傷の状態を判定する。ここで、損傷の状態とは、例えば、損傷が生じている位置、損傷の大きさ等を含む。判定結果は、ＵＩ部１５０および修理費用算出部１４０の両方に出力される。

【0018】

修理費用算出部１４０は、格納部１４１およびＵＩ部１５０にそれぞれ接続される。修理費用算出部１４０は、状態判定部１３０から取得した損傷車両の状態と、格納部１４１に格納された修理費用テーブル１４２の参照により、損傷の修理費用を算出する。修理費用テーブル１４２は、図２に示す通り、車種毎の車両部品の各々と、車両部品の損傷程度とを、修理費用と関連付けて格納する。これにより、修理費用算出部１４０は、状態判定部１３０により判定された車両部品の損傷箇所と損傷の程度に関する情報を取得して、損傷箇所の修理に要する費用を算出する。

【0019】

修理費用算出部１４０が算出した修理費用の金額は、面判定部１１０、部品判定部１２０、および状態判定部１３０のいずれかに入力された事故車両の画像と共に、表示装置１５２においてユーザに提示される。これにより、判定装置１０１は、事故車両の修理に関する修理費用判定システムを形成する。

【0020】

なお、上記の例では、学習済みモデル１１２、１２２、１３２の各々は、四輪車の画像に基づいて生成される。このため、この学習済みモデル１１２、１２２、１３２を用いた修理費用算出部１４０は、専ら四輪車の修理費用を算出する。しかしながら、判定装置１０１による判定は、四輪車に限らず、あらゆる軸数または輪数の車両に関して適用できる。

【0021】

判定装置１０１において、ＵＩ部１５０は、表示装置１５２、キーボード１５３、およびポインティングデバイス１５４を有する。キーボード１５３およびポインティングデバイス１５４は、処理装置１５１に接続され、処理装置１５１にユーザの指示を入力する場合に操作される。

【0022】

表示装置１５２は、キーボード１５３およびポインティングデバイス１５４による操作に対するフィードバックをユーザに返す。また、表示装置１５２は、処理装置１５１が生成した画像、文字列等をユーザに向かって表示する。

【0023】

図３は、ニューラルネットワーク２００の概念を説明する模式図である。ニューラルネットワーク２００は、面判定部１１０、部品判定部１２０、および状態判定部１３０が使用する学習済みモデル１１２、１２２、１３２を生成する場合に使用できる機械学習の方法のひとつである。人の脳神経回路を模したニューラルネットワーク２００は、例えば、処理装置１５１の作業領域に形成され、入力層２０１、隠れ層２０２、および出力層２０３を有する。

【0024】

入力層２０１は、隠れ層２０２に入力信号を受け渡す場合に、活性化関数による重みづけを調整する。次いで、隠れ層２０２の層数に応じて、重みづけの調整を繰り返した後、最終的な出力層２０３に受け渡された信号が出力される。出力層２０３は、例えば、予め用意された選択肢のいずれに入力信号が該当するかの確率を出力する。

【0025】

出力された確率は検証され、妥当な出力信号が出力されるまで重みづけの調整が繰り返さる。こうして、最終的に調整された重みづけされた活性化関数を具備したプログラムである学習済みモデル１１２、１２２、１３２が生成される。生成された学習済みモデル１１２、１２２、１３２は、格納部１１１、１２１、１３１に格納されて、面判定部１１０、部品判定部１２０、および状態判定部１３０から使用できる状態になる。これにより、判定装置１０１は、判定処理を実行できる状態になる。

【0026】

なお、説明を簡潔にする目的で、説明は単純なニューラルネットワーク２００について説明したが、学習済みモデル１１２、１２２、１３２は、ニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、判定分析等の他の機械学習の手法でも生成できる。特に、後述するように、画像データを学習する場合には、畳み込みニューラルネットワークおよびそれを用いたＲ−ＣＣＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ Ｆｅａｔｕｒｅｓ）を好適に使用できる。また、入力層２０１および出力層２０３のポート数、隠れ層２０２の層数等も特に制限はない。

【0027】

図４は、面判定部１１０が使用する学習済みモデル１１２を生成する場合に使用する教師データ２１０を例示する模式図である。教師データ２１０は、事故車両を撮影した多数の画像を含む。また、教師データ２１０が含む画像の各々は、その画像に現れる事故車両の面が、前面であるか、側面であるか、背面であるかを示す情報を、各画像に紐付けて保持する。

【0028】

上記のような教師データ２１０を学習して生成された学習済みモデル１１２は、損傷の有無にかかわらず、車両の映像を含む画像が入力された場合に、当該画像に現れる車両の面が、前面であるか、側面であるか、背面であるかを判定する。判定装置１０１は、判定処理の初期の段階で、入力された画像に現れた車両の面を判定することにより、後述する他の判定処理の判定精度を向上している。

【0029】

図５は、部品判定部１２０が使用する学習済みモデル１２２を生成する場合に使用する教師データ２２０を例示する模式図である。教師データ２２０は、事故車両を撮影した多数の画像と、当該画像に現れる車両の面に関する情報と、当該車両の面毎に含まれる複数の車両部品を判定する情報とを、画像毎に含む。

【0030】

上記のような教師データ２２０を学習して生成された学習済みモデル１２２は、損傷の有無にかかわらず，車両の映像を含む画像が入力された場合に、当該面に含まれる車両部品を判定する。この場合、面判定部１１０による判定結果により画像に表示されている車両の面が既に判定されているので、部品判定部１２０は、高い精度で車両部品を判定できる。

【0031】

例えば、面判定部１１０による判定結果が前面である場合は、車両部品を判定する場合に、ドア、テールランプ等の部品を判定結果の候補から予め除くことができる。また、前面にのみ現れる、ヘッドライト、フロントバンパ、グリル、フロントウインドウ等の車両部品を、高い確率で判定できる。

【0032】

図６は、状態判定部１３０が使用する学習済みモデル１３２を生成する場合に使用する教師データ２３０を例示する模式図である。教師データ２３０は、事故車両を撮影した多数の画像と、当該画像に現れる車両の損傷箇所および損傷の程度に関する情報とを画像毎に保持する。

【0033】

ここで、事故車両における損傷の状態は、例えば、取替、脱着、大、中、小、および無の６段階で判定してもよい。取替は、補修せずに車両部品を交換しなければならない程度の損傷を意味する。脱着は、その車両部品自体は損傷を受けていないものの、損傷を受けた車両部品の交換または修理のために車体から一旦はずさなければならず、修理をする場合に脱着の工賃が生じる車両部品であることを意味する。

【0034】

大、中、小は、例えば、想定される修理の工数に応じて分類される。フェンダ等の金属パネルを例にあげれば、例えば、切り接ぎ等の加工を伴う修理が必要になる損傷、板金加工後に塗装が必要になる損傷、板金加工のみで修理か完了する損傷という風に分類してもよい。なお、無は、部品としては判定されたものの、損傷を受けていないものを指す。

【0035】

上記のような教師データ２３０を学習して生成された学習済みモデル１３２は、車両の映像を含む画像が入力された場合に、当該画像に含まれる車両部品の損傷の有無と各損傷の程度とを判定する。この場合、車両部品判定部１２０による判定結果により、画像に表示されている車両部品が既に判定されているので、状態判定部１３０は、高い精度で車両部品の損傷状態を判定できる。

【0036】

図７は、上記のようにして生成された学習済みモデル１１２、１２２、１３２を実装した判定装置１０１を用いた判定処理の手順を示す流れ図である。また、図８から図１７は、判定装置１０１の判定処理の段階毎に表示装置１５２に表示される表示画像３０１から３１０を示す。これらの図面と、図７とを随時参照しつつ、判定装置１０１を用いた判定処理を説明する。判定装置１０１で判定処理を実行する場合は、まず、判定対象となる画像を指定する（ステップＳ１０１）。

【0037】

図８は、判定装置１０１において、判定対象となる画像を指定する場合に、表示装置１５２に表示される表示画像３０１を示す図である。表示画像３０１は、画像表示領域３１１と、複数のボタン３２０、３３０、３４０とを含む。なお、以降の記載において、表示画像３０１に表示された画像であるボタン３２０、３３０、３４０等をポインティングデバイス１５４の操作によりポインタで指定することを、「ボタン３２０、３３０、３４０を押す」と記載する。

【0038】

表示画像３０１において、ファイル参照のボタン３２０を押すと、処理装置１５１のファイラにより、事故車両の画像が格納されたディレクトリが画像ファイルのアイコンを含んで表示される。そこで、ユーザは、表示画像３０１上の案内に従って、判定処理の対象となるファイルのアイコンを画像表示領域３１１にドロップする。

【0039】

図９に示すように、判定装置１０１は、判定対象として指定された画像ファイルを認識すると、表示装置１５２の表示画像３０２において、当該画像ファイルのサムネイルを画像表示領域３１１に表示する（図７：ステップＳ１０２）。これにより、ユーザは、指定した画像ファイルを確認できる。

【0040】

また、画像表示領域３１１に、判定を意図しない画像ファイルが指定されていた場合は、当該画像ファイルのサムネイルを指定した上で、取り消しのボタン３４０を押すことにより、当該画像ファイルへの指定を取り消すことができる。次に、表示画像３０２において判定開始のボタン３３０を押すと、面判定部１１０による面を判定する処理が開始される（図７：ステップＳ１０３）。

【0041】

図１０は、表示装置１５２の表示画像３０３を示す図である。表示画像３０３は、指定された複数の画像のうちの最初の画像に対する面の判定が実行された結果を表示する。ここで、画像表示領域３１１には、判定の対象となった事故車両の画像が表示される（図７：ステップＳ１０４）。

【0042】

また、画像表示領域３１１の図中右側には、チェックボックス３１２、数値表示領域３１３、および文字列表示領域３１４が表示される。チェックボックス３１２は、画像表示領域３１１に表示された画像内に現れた車両が、当該車両の前面を表示している可能性が高いことを示すために、判定装置１０１がチェックマークを自動的に表示している。数値表示領域３１３に表示された数値は、面判定部１１０が判定した結果、画像に現れる車両の面が前面である蓋然性を表している。この表示画像３０３では、文字列表示領域３１４は、判定候補をすべて列挙している。

【0043】

なお、チェックボックス３１２に対するチェックマーク表示の要否は、数値表示領域３１３に表示される判定結果の数値に対して予め定めた閾値で判断してもよい。また、先閾値を定めた場合に、複数の項目にチェックマークを表示する場合があってもよいし、必ず最上位の項目のみにチェックマークを表示してもよい。

【0044】

また、文字列表示領域３１４を含む表示領域への表示項目数も、予め定めた閾値よりも高い数値を示したもののみを表示してもよいし、予め定めた数までの上位項目を表示させてもよい。上記の例では、表示項目の総数が少ないので、数値の多寡にかかわらず、すべての項目を常時表示するようにしているが、このような表示方法に限定されないことはもちろんである。

【0045】

表示画像３０３において、画像表示領域３１１に表示された事故車両の画像と、チェックボックス３１２、数値表示領域３１３、および文字列表示領域３１４に表示された判定結果とを見比べることにより、ユーザは、面判定部１１０による判定結果を評価できる。表示画像３０３を見て判定結果が妥当だと判断した場合、ユーザは、例えば、次画像のボタン３５２を押して、次の画像に対する面の判定を実行する。また、前画像のボタン３５１を押して、前の画像に戻ることもできる。

【0046】

また、表示画像３０３を見て面判定部１１０による判定が妥当ではないと判断した場合は、チェックボックス３１２のチェックをポインティングデバイス１５４により移動させて、判定結果を修正できる。このように、チェックボックス３１２は、面判定部１１０による判定結果を表示する表示部であると同時に、ユーザによる修正を受け付ける修正受付部でもある。面判定部１１０による判定結果をユーザが修正した場合、面判定部１１０は、ユーザによる修正を、学習済みモデル１１２に反映させて、学習の深度を深めてもよい。

【0047】

図１１に示す表示画像３０４は、表示画像３０３において次画像のボタン３５２が押され、他の画像に対する面の判定が実行された結果を示す。表示画像３０４に示す判定結果では、画像表示領域３１１に表示された画像に、車両の側面と背面とがいずれも大きな割合で含まれている。このため、面判定部１１０は、背面と側面の両方について、チェックボックス３１２にチェックを入れている。

【0048】

この場合、ユーザは、いずれかのチェックをはずして、表示画像を側面または背面の画像として以降の判定処理を実行してもよい。また、側面と背面両方の画像として判定処理を継続してもよい。また更に、面判定部１１０に、前面、側面、および背面に加えて、斜め前、斜め後を判定の候補に加えてもよい。

【0049】

以降、次画像のボタン３５２を押す毎に、面判定部１１０による判定は繰り返される。また、表示画像３０４において判定継続のボタン３６０を押すことにより、判定処理を、部品の判定の段階に進めてもよい（図７：ステップＳ１０５）。

【0050】

図１２は、表示装置１５２の表示画像３０５を示す図である。表示画像３０５は、指定された複数の画像のうちの最初の画像に対する部品の判定が実行された結果を表示している。画像表示領域３１１には、判定の対象となった事故車両の画像が表示される（図７：ステップＳ１０６）。

【0051】

表示画像３０５の文字列表示領域３１４には、面判定部１１０により判定された面に現れ得る車両部品のリストが表示され、数値表示領域３１３には、部品判定の確度が表示される。更に、判定の確度が高い車両部品のチェックボックス３１２には、部品判定部１２０による判定結果としてのチェックマークが自動的に表示されている。

【0052】

なお、チェックボックス３１２に対するチェックマーク表示の要否は、数値表示領域３１３に表示される判定結果の数値に対して予め定めた閾値で判断してもよい。また、先閾値を定めた場合に、複数の項目にチェックマークを表示する場合があってもよいし、必ず最上位の項目のみにチェックマークを表示してもよい。上記の例では、数値表示領域３１３に表示される判定結果の数値が、例えば５０％以上のものにチェックマークを表示した。

【0053】

また、文字列表示領域３１４を含む表示領域への表示項目数も、予め定めた閾値よりも高い数値を示したもののみを表示してもよいし、予め定めた数までの上位項目を表示させてもよい。数値の多寡にかかわらず、すべての項目を常時表示するようにしてもよい。

【0054】

表示画像３０５において、画像表示領域３１１に表示された事故車両の画像と、チェックボックス３１２、数値表示領域３１３、および文字列表示領域３１４に表示された判定結果とを見比べることにより、ユーザは、部品判定部１２０による判定結果を評価できる。表示画像３０５を見て判定結果が妥当だと判断した場合、ユーザは、例えば、次画像のボタン３５２を押して、次の画像に対する車両部品の判定を実行する。

【0055】

また、表示画像３０５を見て部品判定部１２０による判定が妥当ではないと判断した場合は、チェックボックス３１２のチェックをポインティングデバイス１５４により移動させて、判定結果を修正できる。このように、チェックボックス３１２は、部品判定部１２０による判定結果を表示する表示部であると同時に、ユーザによる修正を受け付ける修正受付部でもある。部品判定部１２０による判定結果をユーザが修正した場合、部品判定部１２０は、ユーザによる修正を、学習済みモデル１２２に反映させて、学習の深度を深めてもよい。

【0056】

図１３に示す他の表示画像３０６は、表示画像３０５において次画像のボタン３５２が押され、他の画像に対する車両部品の判定が実行された結果を示す。画像表示領域３１１に表示された画像は、車両の側面と背面とを含んでいるものの、図示の例では、背面の画像として取り扱われている。このため、判定された車両部品も、車両の背面に集中している。

【0057】

以降、次画像のボタン３５２を押す毎に、異なる画像に対して部品判定部１２０による判定が繰り返される。また、表示画像３０６において判定継続のボタン３６０を押すことにより、判定処理を、部品の判定の段階に進めてもよい（図７：ステップＳ１０７）。

【0058】

図１４は、表示装置１５２の他の表示画像３０７を示す図である。表示画像３０７は、指定された複数の画像のうちの最初の画像に対する状態の判定が実行された結果を表示している。画像表示領域３１１には、判定の対象となった事故車両の画像が表示される（図７：ステップＳ１０８）。

【0059】

表示画像３０７の文字列表示領域３１４には、部品判定部１２０により判定された車両部品に生じている損傷の程度を示す段階が列挙されており、数値表示領域３１３には、先の段階に対する画像中の確度が表示される。更に、判定の確度が高い損傷段階のチェックボックス３１２には、状態判定部１３０による判定結果としてチェックマークが自動的に表示されている。なお、表示画像３０５、３０６では判定継続のボタン３６０が表示されていた位置には、表示画像３０７では修理費用算出の開始を指示するボタン３７０が表示されている。

【0060】

なお、チェックボックス３１２に対するチェックマーク表示の要否は、数値表示領域３１３に表示される判定結果の数値に対して予め定めた閾値で判断してもよい。また、先閾値を定めた場合に、複数の項目にチェックマークを表示する場合があってもよいし、必ず最上位の項目のみにチェックマークを表示してもよい。

【0061】

また、文字列表示領域３１４を含む表示領域への表示項目数も、予め定めた閾値よりも高い数値を示したもののみを表示してもよいし、予め定めた数までの上位項目を表示させてもよい。上記の例では、表示項目の総数が少ないので、数値の多寡にかかわらず、すべての項目を常時表示するようにしているが、このような表示方法に限定されないことはもちろんである。

【0062】

表示画像３０７において、画像表示領域３１１に表示された事故車両の画像と、チェックボックス３１２、数値表示領域３１３、および文字列表示領域３１４に表示された判定結果とを見比べることにより、ユーザは、状態判定部１３０による判定結果を評価できる。表示画像３０７を見て判定結果が妥当だと判断した場合、ユーザは、例えば、次画像のボタン３５２を押して、次の画像に対する状態の判定を実行する。

【0063】

また、表示画像３０７を見て状態判定部１３０による判定が妥当ではないと判断した場合は、チェックボックス３１２のチェックをポインティングデバイス１５４により移動させて、判定結果を修正できる。このように、チェックボックス３１２は、状態判定部１３０による判定結果を表示する表示部であると同時に、ユーザによる修正を受け付ける修正受付部でもある。状態判定部１３０による判定結果をユーザが修正した場合、状態判定部１３０は、ユーザによる修正を、学習済みモデル１３２に反映させて、学習の深度を深めてもよい。

【0064】

図１５に示す表示画像３０８は、表示画像３０７において次画像のボタン３５２が押された場合の表示画像３０８を示す。表示画像３０７において次画像のボタン３５２が押された場合、表示画像３０８の画像表示領域には、図１３に示した表示画像３０６のように他の車両の画像を表示するのではなく、同じ車両の画像が表示されている。ただし、画像表示領域において表示されている注目部品を示す点線の円は、表示画像３０７の場合と異なる車両部品を示している。

【0065】

これは、表示画像３０７に損傷箇所として表示されたフロントバンパを修理する場合には、表示画像３０８で示されたフェンダの脱着が不可避であることを意味している。このように、チェックボックス３１２に表示されている通り、車両部品の状態が脱着であると判定された場合は、損傷を受けていない車両部品が表示装置１５２に表示される場合もある。なお、表示画像３０８において費用算出の開始を指示するボタン３７０を押すことにより、処理を修理費用算出の段階に進めてもよい（図７：ステップＳ１０９）。

【0066】

図１６は、表示装置１５２の他の表示画像３０９を示す図である。表示画像３０９は、指定された複数の画像のうちの最初の画像に対する修理費用の算出が実行された結果を表示している。画像表示領域３１１には、判定の対象となった事故車両の画像が表示される（図７：ステップＳ１１０）。

【0067】

表示画像３０９の文字列表示領域３１４には、部品判定部１２０により判定された車両部品に生じている損傷を修理する場合の費用の金額が表示される。なお、表示画像３０５、３０６では費用算出の開始を指示するボタン３７０が表示されていた位置には、表示画像３１０では終了のボタン３８０が表示されている。

【0068】

表示画像３０９において、画像表示領域３１１に表示された事故車両の画像と、文字列表示領域３１４に表示された算出結果とを見比べることにより、ユーザは、当初指定した（図７：ステップＳ１０１）画像に表示されていた事故車両の修理金額を知ることができる。ここまでのステップで、面判定部１１０、部品判定部１２０、および状態判定部１３０の判定結果を修正しながら処理を進めていたので、判定装置１０１による判定結果は妥当なものになっている。よって、予め定められた料金表を参照することにより、正確な修理費用の金額を算出して表示できる。

【0069】

図１７に示す表示画像３１０は、表示画像３０９において次画像のボタン３５２が押され、他の画像に係る修理費用が表示されている。以降、次画像のボタン３５２を押す毎に、異なる画像に対しても修理費用が表示される。また、表示画像３１０において終了のボタン３８０を押すことにより、判定装置１０１による判定処理が終了する。

【0070】

図１８は、図７に示したステップＳ１０７における他の手順を示す流れ図である。図示の手順は、状態判定部１３０による状態の判定処理を、更に、損傷位置の判定ステップＳ２０１と、損傷程度の判定ステップＳ２０２との２段階に分ける。

【0071】

このため、判定装置１０１における状態判定部１３０に替えて、損傷位置判定部と、損傷程度判定部とを設けてもよい。この場合、損傷位置判定部は、損傷位置に関する情報を含む損傷車両の画像ファイルを教師データとして生成した学習済みモデルを備え、部品判定部１２０の判定結果を取得して判定処理を実行する。

【0072】

また、損傷程度判定部は、損傷程度に関する情報を含む損傷車両の画像ファイルを教師データとして生成した学習済みモデルを備え、損傷位置判定部の出力を取得して判定処理を実行する。これにより、最終的に出力される事故車両の損傷に関する判定の精度が一層向上される。

【0073】

ただし、例えばフロントウンドウのように、損傷を受けた箇所を修理して再使用することがあり得ない車両部品については、損傷の有無だけが判定されればよい。従って、上記のように損傷位置を判定する機能を有する判定装置１０１であっても、損傷位置の判定処理を省いてもよい。

【0074】

図１９は、図１８に示したステップＳ１０７の更に異なる手順を示す流れ図である。図示の手順では、損傷位置の判定（ステップＳ２０１）の後に、判定された損傷位置を拡大画像に変換した後に、損傷程度の判定（ステップＳ２０２）を実行する。これにより、最終的な判定精度を更に向上できる。

【0075】

図２０は、図７に示したステップＳ１０７におけるまた他の手順を示す流れ図である。図示の手順では、ステップＳ１０７または図１８、１８に示したステップＳ２０２における損傷程度の判定（ステップＳ１０７、２０２）を、更に２ステップに分けている。

【0076】

このため、判定装置１０１における状態判定部１３０に替えて、第１損傷程度判定部と、第２損傷程度判定部とを設けてもよい。この場合、第１損傷程度判定部は、例えば、２段階の損傷程度に関する情報を含む損傷車両の画像ファイルを教師データとして生成した学習済みモデルを備え、部品判定部１２０の判定結果を取得して、事故車両の損傷程度を２段階に判定する判定処理を実行する。

【0077】

また、第２損傷程度判定部は、第１損傷程度判定部における２段階のそれぞれについて、３段階に分けた損傷程度に関する情報を含む損傷車両の画像ファイルを教師データとして生成した学習済みモデルを備える。これにより、第２損傷程度判定部は、第１損傷程度判定部の出力を取得して、更に詳細な判定処理を実行する。これにより、最終的に出力される事故車両の損傷に関する判定の精度が向上される。

【0078】

事故車両の画像を含み、教師データ２１０、２２０、２３０として使用できる情報を有する５００枚の画像データを用意した。図１に示した判定装置１０１に、図１９および図２０に示した手順を追加した状態で、５００枚の画像データのうち、４５０枚を教師データとして使用して、学習済みモデル１１２、１２２、１３２を生成させた。更に、学習済みモデル１１２、１２２、１３２を実装した状態で、判定装置１０１に、残り５０枚の画像データを検証画像として判定させた。

【0079】

その結果、面判定部１１０における面の判定（ステップＳ１０３：図７）について、判定結果の正答率は９６％であった。また、部品判定部１２０における部品の判定（ステップＳ１０５：図７）について、判定結果の正答率は９５％に達した。更に、判定された車両部品の各々について、損傷部位を判定させたところ、判定結果の正答率は７０％であった。また更に、判定された損傷箇所の各々について、損傷程度を判定させたところ、判定結果の正答率は７５％であった。

【0080】

なお、比較のために、画像データと損傷状態との関連性においてのみを学習させた学習済みモデルを用意して、上記の５０枚の画像データを判定させたところ、正答率を５３％以上に向上させることができなかった。なお、判定装置１０１により自動で判定された結果は、既に説明した通り、各段階でユーザが修正することができる。よって、各段階でユーザが判定結果を修正することにより、判定装置１０１全体としての正当率は更に向上させることができる。

【0081】

また、ユーザによる修正結果を学習済みモデル１１２、１２２、１３２の各々に反映させることにより、判定装置１０１による判定の精度を向上させた場合、ユーザの介入なしに、判定の過程をすべて判定装置１０１に任せることも可能になる。

【0082】

図２１は、判定システム１０２のブロック図である。判定システム１０２は、次に説明する部分を除くと、図１に示した判定装置１０１と同じ構成を有する。よって、共通の構成要素には同じ参照番号を付して、重複する説明を省く。

【0083】

判定システム１０２は、ＵＩ部１５０を含む端末装置１５９と、それ以外の要素とが、ネットワーク４００を介して接続されている点において、判定装置１０１と異なる構成を有する。また、判定システム１０２は、複数の端末装置１５９を備える点においても、判定装置１０１と異なる構成を有する。

【0084】

判定システム１０２は、複数の端末装置１５９と、単一の判定サーバ１００とを含む。判定サーバ１００は、面判定部１１０、部品判定部１２０、状態判定部１３０、および修理費用算出部１４０と、それらに付帯する格納部１１１、１２１、１３１、１４１とを有する。格納部１１１、１２１、１３１、１４１には、学習済みモデル１１２、１２２、１３２および修理費用テーブル１４２が格納されている。

【0085】

上記のような判定システム１０２は、判定サーバ１００を複数の端末装置１５９で共有するので、全体としてリソースの規模を削減できる。また、判定サーバは、複数の端末装置１５９から判定結果の修正を受け付けるので、高い判定精度を達成できる。

【0086】

なお、上記の例では、専ら車両の画像データに基づいて判定を実行した。しかしながら、学習済みモデル１１２、１２２、１３２の生成の段階と、判定の段階のそれぞれにおいて、検出対象の車種、車型、型式、グレード等の情報を参照してもよい。

【0087】

以上、本発明を実施の形態を用いて説明した。本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0088】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0089】

１００ 判定サーバ、１０１ 判定装置、１０２ 判定システム、１１０ 面判定部、１１１、１２１、１３１、１４１ 格納部、１１２、１２２、１３２ 学習済みモデル、１４２ 修理費用テーブル、１２０ 部品判定部、１３０ 状態判定部、１４０ 修理費用算出部、１５０ ユーザインタフェイス部、１５１ 処理装置、１５２ 表示装置、１５３ キーボード、１５４ ポインティングデバイス、１５９ 端末装置、２００ ニューラルネットワーク、２０１ 入力層、２０２ 隠れ層、２０３ 出力層、２１０、２２０、２３０ 教師データ、３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９、３１０ 表示画像、３１１ 画像表示領域、３１２ チェックボックス、３１３ 数値表示領域、３１４ 文字列表示領域、３２０、３３０、３４０、３５１、３５２、３６０、３７０、３８０ ボタン、４００ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】