特許 7118082 車両保険画像処理方法、装置、サーバ、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-04

(45)【発行日】2022-08-15

(54)【発明の名称】車両保険画像処理方法、装置、サーバ、及びシステム

(51)【国際特許分類】

   G06Q 40/08 20120101AFI20220805BHJP

   G06T 7/00 20170101ALI20220805BHJP

【ＦＩ】

G06Q40/08

G06T7/00 350C

【請求項の数】 11

(21)【出願番号】P 2019550188

(86)(22)【出願日】2018-07-27

(65)【公表番号】

(43)【公表日】2020-08-27

(86)【国際出願番号】 CN2018097336

(87)【国際公開番号】W WO2019024771

(87)【国際公開日】2019-02-07

【審査請求日】2019-12-26

(31)【優先権主張番号】201710640784.8

(32)【優先日】2017-07-31

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】520015461

【氏名又は名称】アドバンスド ニュー テクノロジーズ カンパニー リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ホウ，ジンロン

(72)【発明者】

【氏名】チャン，ハイタオ

(72)【発明者】

【氏名】グオ，シン

(72)【発明者】

【氏名】シュウ，ジュアン

(72)【発明者】

【氏名】ワン，ジャン

(72)【発明者】

【氏名】チェン，ユアン

(72)【発明者】

【氏名】チェン，ダンニ

【審査官】加舎 理紅子

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２５９９９４（ＵＳ，Ａ１）

【文献】特開２００８－００９７７１（ＪＰ，Ａ）

【文献】特開２０１７－１２９９３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１０３１７０（ＵＳ，Ａ１）

【文献】特開２０１７－１１６９９８（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５５８７８（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０５７１９１８８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両保険画像処理装置によって実行される車両保険画像処理方法であって、
車両保険画像を取得することと、
前記車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、前記車両保険画像を処理することと、
分類に基づき、前記カテゴリラベルに従って、対応する使用シナリオに前記車両保険画像を記憶することと、
を含み、
前記事前設定の画像分類アルゴリズムを用いることが、
共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いることを含み、
前記マルチタスクディープ畳み込みニューラルネットワーク分類モデルが、車両モデルを認識するタスクと、色を認識するタスクと、写真種類を認識するタスクとを含む複数のタスクを実行し、車両モデルに関するカテゴリラベルと、色に関するカテゴリラベルと、写真種類に関するカテゴリラベルとを少なくとも出力するマルチタスクディープ畳み込みニューラルネットワーク分類モデルである、
車両保険画像処理方法。

【請求項2】

分類に基づき前記記憶することが、
関係データベースを用いることによって、前記車両保険画像の分類結果を記憶することを含む、請求項１に記載の車両保険画像処理方法。

【請求項3】

前記車両保険画像におけるテキスト情報を認識するために、選択された光学式文字認識アルゴリズムを用いることによって、前記車両保険画像を検出することと、
前記テキスト情報及び前記車両保険画像を関連付けて記憶することと、
を更に含む、請求項２に記載の車両保険画像処理方法。

【請求項4】

前記車両保険画像における前記テキスト情報が認識された後で、前記方法が、
前記テキスト情報における事前設定のタイプの主要な情報が、完全であるかどうかを検出すること、及び前記主要な情報の検出結果を記録することを更に含む、請求項３に記載の車両保険画像処理方法。

【請求項5】

車両保険画像を取得するように構成された画像取得モジュールと、
前記車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、前記車両保険画像を処理するように構成された画像処理モジュールと、
分類に基づき、前記カテゴリラベルに従って、対応する使用シナリオに前記車両保険画像を記憶するように構成された分類ベース記憶モジュールと、
を含み、
前記画像処理モジュールが、
前記画像分類アルゴリズムとして共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いるように構成されたマルチタスク分類モデルモジュールを含み、
前記マルチタスクディープ畳み込みニューラルネットワーク分類モデルが、車両モデルを認識するタスクと、色を認識するタスクと、写真種類を認識するタスクとを含む複数のタスクを実行し、車両モデルに関するカテゴリラベルと、色に関するカテゴリラベルと、写真種類に関するカテゴリラベルとを少なくとも出力するマルチタスクディープ畳み込みニューラルネットワーク分類モデルである、
車両保険画像処理装置。

【請求項6】

前記分類ベース記憶モジュールが、前記車両保険画像の分類結果を記憶するために、関係データベースを用いる、請求項５に記載の車両保険画像処理装置。

【請求項7】

前記車両保険画像におけるテキスト情報を認識するために、選択された光学式文字認識アルゴリズムを用いることによって、前記車両保険画像を検出するように構成されたテキスト認識モジュールと、
前記テキスト情報及び前記車両保険画像を関連付けて記憶するように構成されたテキスト情報記憶モジュールと、
を更に含む、請求項６に記載の車両保険画像処理装置。

【請求項8】

前記テキスト情報における事前設定のタイプの主要な情報が、完全であるかどうかを検出するように、且つ前記主要な情報の検出結果を記録するように構成されたテキスト情報検出モジュールを更に含む、請求項７に記載の車両保険画像処理装置。

【請求項9】

プロセッサと、前記プロセッサによって実行可能な命令を記憶するためのメモリと、を含む車両保険画像処理装置であって、前記プロセッサが、前記命令を実行する場合に、次の動作、即ち、
車両保険画像を取得することと、
前記車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、前記車両保険画像を処理することと、
分類に基づき、前記カテゴリラベルに従って、対応する使用シナリオに前記車両保険画像を記憶することと、
を実行し、
前記画像分類アルゴリズムを用いることが、
共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いることを含み、
前記マルチタスクディープ畳み込みニューラルネットワーク分類モデルが、車両モデルを認識するタスクと、色を認識するタスクと、写真種類を認識するタスクとを含む複数のタスクを実行し、車両モデルに関するカテゴリラベルと、色に関するカテゴリラベルと、写真種類に関するカテゴリラベルとを少なくとも出力するマルチタスクディープ畳み込みニューラルネットワーク分類モデルである、
車両保険画像処理装置。

【請求項10】

少なくとも１つのプロセッサと、前記プロセッサによって実行可能な命令を記憶するためのメモリと、を含むサーバであって、前記プロセッサが、前記命令を実行する場合に、次の動作、即ち、
車両保険画像を取得することと、
前記車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、前記車両保険画像を処理することと、
分類に基づき、前記カテゴリラベルに従って、対応する使用シナリオに前記車両保険画像を記憶することと、
を実行し、
前記画像分類アルゴリズムを用いることが、
共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いることを含み、
前記マルチタスクディープ畳み込みニューラルネットワーク分類モデルが、車両モデルを認識するタスクと、色を認識するタスクと、写真種類を認識するタスクとを含む複数のタスクを実行し、車両モデルに関するカテゴリラベルと、色に関するカテゴリラベルと、写真種類に関するカテゴリラベルとを少なくとも出力するマルチタスクディープ畳み込みニューラルネットワーク分類モデルである、
サーバ。

【請求項11】

収集画像記憶ユニット、アルゴリズムサーバ、及び車両保険画像データベースを含む車両保険画像システムであって、前記アルゴリズムサーバが、少なくとも１つのプロセッサと、前記プロセッサによって実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサが、前記命令を実行する場合に、次の動作、即ち、
前記収集画像記憶ユニットから車両保険画像を取得することと、
前記車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、前記車両保険画像を処理することと、
前記カテゴリラベルに従って、前記車両保険画像データベースにおける対応する使用シナリオの記憶ゾーンに前記車両保険画像を記憶することと、
を実行し、
前記画像分類アルゴリズムを用いることが、
共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いることを含み、
前記マルチタスクディープ畳み込みニューラルネットワーク分類モデルが、車両モデルを認識するタスクと、色を認識するタスクと、写真種類を認識するタスクとを含む複数のタスクを実行し、車両モデルに関するカテゴリラベルと、色に関するカテゴリラベルと、写真種類に関するカテゴリラベルとを少なくとも出力するマルチタスクディープ畳み込みニューラルネットワーク分類モデルである、
車両保険画像システム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本明細書の実装形態は、画像データ処理技術の分野、特に車両保険画像処理方法、装置、サーバ、及びシステムに関する。

【背景技術】

【0002】

技術的背景
国中の様々な都市の急速な発展は、自動車市場のブームを結果としてもたらす。従って、車両保険市場は、急速に成長し、車両保険サービスは、著しく増加する。車両保険サービスにどのように対処し、且つユーザニーズにどのように迅速に、正確に、効率的に応えるかは、車両保険市場を掌握するために、主な保険業者にとって保証につながる重要なリンクである。

【0003】

現在、車両保険金請求サービスにおいて、被保険車両が、事故に関係した場合に、保険業者は、通常、後続の車両被害査定及び情報検証用に、車両画像及び事故現場画像を撮像するために、委託パートナのオペレータ又は従業員を事故現場に送る。現在、車両事故で撮像された車両保険画像を効率的に管理するために、保険業者は、通常、車両損傷写真、対象損傷写真、証明写真などの車両保険画像を手動で検証し、これらの画像の使用カテゴリを決定する。車両保険サービスが、急速に増加するのにつれて、サービス業者は、ますます多くの車両保険事例に対処する必要があり、現場で取得された車両保険画像のデータ量は、ますます大きくなる。例えば、幾つかのサービス業者に関し、約４０の写真が、平均的な各車両保険事例において撮られ、２００さえ超える写真が、かなり複雑な車両保険事例において撮られ、それは、車両保険画像の手動認識及び分類における人件費及び時間費用を増加させる。従って、車両保険画像をより迅速に且つ正確に処理する方式が、業界において必要とされる。

【発明の概要】

【課題を解決するための手段】

【0004】

発明の概要
本明細書の実施形態の目的は、車両保険画像処理方法、装置、サーバ、及びシステムを提供することであり、それらは、車両保険画像の使用シナリオを自動的に認識し、且つ車両保険画像のシナリオ分類を迅速で正確に決定することができる。

【0005】

本明細書の実施形態によって提供される車両保険画像処理方法、装置、サーバ、及びシステムは、次の方式で実現される。

【0006】

車両保険画像処理方法であって、
車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶することと、
を含む車両保険画像処理方法が提供される。

【0007】

車両保険画像処理装置であって、
車両保険画像を取得するように構成された画像取得モジュールと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理するように構成された画像処理モジュールと、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶するように構成された分類ベースの記憶モジュールと、
を含む車両保険画像処理装置が提供される。

【0008】

プロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を含む車両保険画像処理装置が提供される。プロセッサは、命令を実行する場合に、次の動作、即ち、
車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶することと、
を実行する。

【0009】

少なくとも１つのプロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を含むサーバが提供される。プロセッサは、命令を実行する場合に、次の動作、即ち、
車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶することと、
を実行する。

【0010】

収集画像記憶ユニット、アルゴリズムサーバ、及び車両保険画像データベースを含む車両保険画像システムが提供される。アルゴリズムサーバは、少なくとも１つのプロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を含み、プロセッサは、命令を実行する場合に、次の動作、即ち、
収集画像記憶ユニットから車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
カテゴリラベルに従って、車両保険画像データベースにおける対応する使用シナリオの記憶ゾーンに車両保険画像を記憶することと、
を実行する。

【0011】

本明細書の１つ又は複数の実施形態によって提供される車両保険画像処理方法、装置、サーバ、及びシステムは、各車両保険画像のカテゴリを認識するために、選択された画像分類アルゴリズムを用いることによって、車両保険画像を自動的に処理することができる。本明細書の実施形態の解決法によって、車両保険画像の分類における精度、及び車両保険画像のラベル付けの効率は、大いに向上させることができ、手動認識及び処理に費やされる時間は、短縮することができ、車両保険画像の処理精度及び信頼性は、改善することができる。

【0012】

図面の簡単な説明
本明細書の実施形態又は先行技術における技術的解決法をより明確に説明するために、下記は、実施形態又は先行技術を説明するために必要とされる添付の図面を簡潔に導入する。明らかに、以下の説明における添付の図面は、本明細書の単に幾つかの実施形態を示すが、当業者は、やはり、創造的な労力なしに、これらの添付の図面から他の図面を導き出し得る。

【図面の簡単な説明】

【0013】

【図1】本明細書によって提供される車両保険画像処理方法を用いるシステムの概略フレーム図である。

【図2】本明細書によって提供される車両保険画像処理方法の実施形態の概略流れ図である。

【図3】本明細書の実施形態においてシングルタスクディープ畳み込みニューラルネットワーク分類モデルを用いる画像処理の概略図である。

【図4】本明細書の方法の実施形態において共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルの概略構造図である。

【図5】本明細書によって提供されるサービス処理方法の実施形態の概略流れ図である。

【図6】本明細書における方法の実施形態の実施シナリオの概略図である。

【図7】本明細書によって提供される車両保険画像処理装置の実施形態の概略モジュール構造図である。

【図8】本明細書によって提供される車両保険画像処理装置の別の実施形態の概略モジュール構造図である。

【図9】本明細書によって提供される車両保険画像処理装置の更に別の実施形態の概略モジュール構造図である。

【図10】本明細書による車両保険画像サーバの実施形態の概略モジュール構造図である。

【発明を実施するための形態】

【0014】

詳細な説明
本明細書の技術的解決法を当業者によりよく理解させるために、本明細書の１つ又は複数の実施形態における技術的解決法は、本明細書の１つ又は複数の実施形態における添付の図面に関連して、以下で明確且つ完全に説明される。明らかに、説明される実施形態は、本明細書の全ての実施形態ではなく、幾つかの実施形態である。本明細書の１つ又は複数の実施形態に基づいて、創造的な労力なしに当業者によって取得される他の実施形態は、全て、本明細書の実装形態の保護範囲に属する。

【0015】

本明細書は、以下の実施形態又は添付の図面に示されているような方法動作ステップ又は装置構造を提供する。しかしながら、方法又は装置は、動作ステップ又はモジュールユニットの幾つかが、慣例に基づいて又は創造的な労力なしに組み合わされた後で、より多数又は少数の動作ステップ又はモジュールユニットを含んでもよい。論理的に必要な因果関係のないステップ又は構造において、これらのステップの実行順序又は装置のモジュール構造は、本明細書の実施形態又は添付の図面に示されている実行順序又はモジュール構造に制限されない。実際の装置、サーバ、又は最終製品において適用される場合に、方法又はモジュール構造は、実施形態又は添付の図面に示されている方法又はモジュール構造に従って、順次的に又は並列に（例えば、並列プロセッサによって、又は分散処理若しくはサーバクラスタに基づいたマルチスレッド環境若しくは更には実施環境において）実行されてもよい。

【0016】

車両保険金請求サービスにおいて、事故現場で収集された写真は、全て、例えば図１に示されている「車両保険金請求ピクチャシステム」における保険業者のデータベースに記憶されてもよい。図１は、本明細書によって提供される車両保険画像処理方法を用いるシステムの概略フレーム図である。システムは、現場でオペレータによって収集されるか若しくは他のシステムデータベースから取得される、又は第三者によって提供される車両保険画像を記憶する車両保険金請求ピクチャシステムと、車両保険画像を認識し分類するためのアルゴリズムサーバと、分類された車両保険画像を記憶する車両保険金請求画像データベースと、を含んでもよい。車両保険金請求ピクチャシステムは、複数の車両保険サービスと関係する車両保険画像データを記憶してもよく、各車両保険サービスは、複数の車両保険画像を含んでもよい。同じ車両保険事例に属する車両保険画像は、区別のために同じようにラベル付けされてもよい。車両保険サービスが、絶えず増加するので、車両保険金請求ピクチャシステムは、非常に多くの車両保険画像を記憶すると思われる。本出願の実施形態の解決法によって、現場で収集されたこれらの車両保険画像は、車両保険事例の相異なる取り扱いの必要性に従って、相異なる取り扱いシナリオ（又は使用シナリオと呼ばれる）にグループ分けすることができる。次に、アルゴリズムに基づいて分類された車両保険画像は、設定された車両保険金請求画像データベースに記憶されてもよく、その結果、それらの画像は、後続の車両被害査定及び検証作業において読み出して使用ことができる。

【0017】

本明細書の１つ又は複数の実施形態において、用語「画像」は、様々なグラフィックス及びピクチャの一般用語であってもよい。それは、通常、紙媒体か、写真フィルムか、若しくは写真上の、又はＴＶ、プロジェクタ、若しくはコンピュータのスクリーン上のピクチャを一般に含む、視覚的効果を有するピクチャを指す。この実施形態における車両保険画像は、カメラ又は画像撮影デバイスによる撮影後に、可読記憶媒体に記憶されたコンピュータ画像データを含んでもよく、コンピュータ画像データは、ベクタグラフィックス、ビットマップ、静止画像、動画像、及び他の多くのタイプのコンピュータ画像を含んでもよい。

【0018】

実装形態は、適用シナリオとして、車両保険サービスにおいてカバーされる事故事例を用いることによって、以下で明確に説明される。この実施形態の解決法において、事故現場で車両サービス業者のオペレータによって収集された車両保険画像は、全て、図１に示されている車両保険金請求ピクチャシステムに記憶されてもよく、アルゴリズムサーバは、特定の車両保険証券における事故事例の幾つかの又は全ての車両保険画像をこのシステムから取得してもよい。後で、車両保険画像に関係する多次元特性情報を出力するために、事前設定の画像分類アルゴリズムを用いることによって、計算が、これらの車両保険画像に対して実行される。具体的には、特性情報は、車両損傷画像、対象損傷画像、証明書などの車両保険画像の実際の使用シナリオの分類を含んでもよく、又は同様に車両モデル、色、撮影光条件など、画像の他の設定された主要な特性情報を含んでもよい。図２は、特定の実施形態を示す。本明細書によって提供される車両保険画像処理方法の実施形態において、方法は、以下のステップ、即ち、
Ｓ０：車両保険画像を取得するステップと、
Ｓ２：車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理するステップと、
Ｓ４：分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶するステップと、
を含んでもよい。

【0019】

この実施形態において、車両保険画像を認識し、且つシナリオ分類を実行するためのアルゴリズムサーバが、現場で収集されたオリジナルの車両保険画像を取得してもよい。画像取得方式は、上記の「車両保険金請求ピクチャシステム」などの共通データベースから取得すること、又はオペレータによって実時間でアップロードされた画像から、若しくは別のサーバか又は第三者サービス業者から取得することを含んでもよい。

【0020】

取得される車両保険画像は、複数の画像フォーマット、撮影角度、及び複数の画像内容の画像情報を含んでもよい。単一の車両保険サービスが、数十の又は数百さえもの車両保険画像を含んでもよく、例えば、事故に関係する車両の複数の全景写真、破損箇所の写真、詳細写真、車両のまわりの道路及び交通状況の写真、光条件写真、事故に関係する人の証明写真などを含んでもよい。この実施形態において、これらの車両保険画像は、被害査定シナリオ、車両モデルシナリオ、色シナリオなどの車両保険サービスの取り扱いの必要性に従って、相異なる使用シナリオにグループ分けされてもよい。各使用シナリオにおいて、画像は、相異なるカテゴリに更に分類されてもよく、各カテゴリは、対応するカテゴリラベルを有してもよい。１つの使用シナリオが、複数のカテゴリラベルに対応してもよい。具体的には、例えば、被害査定シナリオにおいて、次のカテゴリ、即ち、全景写真、部分写真、詳細写真、車両識別番号、ＩＤカード、運転免許証（driver’s license、driving license）、及び事故現場写真が定義されてもよく、これらは、被害査定／検証に使用される。車両モデルシナリオにおいて、相異なる車両モデル、即ち、ＳＵＶ、セダン、バス、トラックなどが定義されてもよい。色シナリオにおいて、相異なる車両色、即ち、黒、赤、白、及び他の色が定義されてもよい。実現シナリオにおいて、１つの画像が、３つのカテゴリラベル、即ち全景写真、ＳＵＶ、及び黒を同時に有してもよい。明らかに、使用シナリオの特定のタイプ及び数、並びに各使用シナリオにおける相異なる画像カテゴリは、実際の取り扱いの必要性及び適用シナリオに従って決定されてもよい。

【0021】

アルゴリズムサーバは、取得された車両保険画像を処理してもよい。具体的には、アルゴリズムサーバは、各画像の１つ又は複数のカテゴリラベルを出力するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を認識し分類してもよい。画像分類アルゴリズムは、様々な手段によって、例えばディープニューラルネットワーク（ＤＮＮ）又は従来の画像特性に基づいた方法を用いることによって実行されてもよい。本明細書の実施形態において、ディープ畳み込みニューラルネットワークモデルは、車両保険画像の分類を実行するために用いられてもよい。ディープ畳み込みニューラルネットワークモデルは、畳み込み層、プーリング層、活性化関数、及び完全接続層を含んでもよい。他の実施方式は、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ又はカスタマイズされたＣＮＮモデルなど、十分に学習した（mature）ＣＮＮモデルを用いてもよい。

【0022】

明らかに、他の実施形態において、アルゴリズムサーバはまた、現在の事例の各画像について最初に事前処理してもよく、例えば、明らかに要件を満たさない幾つかの車両保険画像を除去するために、ピクチャを取り除く（de-mean）か、正規化するか、又はトリミングしてもよい。

【0023】

ＤＮＮを用いる実施方式において、各層の構造、畳み込みカーネルのサイズ、及びＤＮＮの戻りパラメータは、予め確立されてもよい。選択されるニューロネットワークパラメータは、ラベルデータを用いたミニバッチ勾配降下訓練によって取得されてもよい。例えば、ミニバッチ＝３２の場合に、３２の訓練ピクチャが、訓練用に入力される。車両画像に関するラベルデータは、画像の使用シナリオ、使用シナリオにおける画像の特定のカテゴリ、車両特性情報、撮影条件／環境などを示してもよい。ＤＮＮによって訓練用に使用される訓練ピクチャは、実際の車両保険画像を手動でラベル付けすることによって取得されてもよい。

【0024】

本明細書の方法の実施形態において、事前設定の画像分類アルゴリズムは、シングルタスクディープ畳み込みニューラルネットワーク分類モデルであってもよい。例えば、１つのディープ畳み込みニューラルネットワークが、車両色などの１つのカテゴリの分類結果を出力するために用いられる。図３は、特定の例を示し、そこでは、車両モデルを認識するためのディープ畳み込みニューラルネットワークＮＳ＿１、車両色及び光条件を認識するためのディープ畳み込みニューラルネットワークＮＳ＿２、証明書タイプを認識するためのディープ畳み込みニューラルネットワークＮＳ＿３、及び他の種類のネットワークが、別々に設定されてもよい。この実施方式において、各ディープ畳み込みニューラルネットワークは、シングルタスクネットワークモデルと見なされてもよい。本明細書によって提供される方法の別の実施形態において、事前設定の画像分類アルゴリズムは、
Ｓ００２：共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いることを含んでもよい。

【0025】

図４は、本明細書の方法の実施形態において共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルの概略構造図である。この実施形態の解決法において、複数のディープ畳み込みニューラルネットワーク分類モデルが、畳み込み層のパラメータ及び機能層のほとんどのパラメータを共有することができる（共有パラメータは、要件に従って設定される）。相異なるタスクを備えた分類モデル（例えば、相異なる特性次元における分類を含み、幾つかのモデルは、車両モデルに基づいた分類用であり、幾つかのモデルは、色に基づいた分類用である）の最後の幾つかの層のパラメータは、共有されなくてもよい。このように、この実施形態は、車両保険金請求サービスにおける非常に多くの画像を自動的に分類するために、且つ多次元画像特性を自動的に取得するために、共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いる。従って、各シングルタスクモデルを別々に訓練することと比較して、この実施形態は、断定される計算時間を大いに短縮し、且つ車両保険画像を処理する効率を向上させる。

【0026】

アルゴリズムサーバによって出力された分類結果は、相異なる使用シナリオにおける分類ベースの記憶を実現するために、対応するデータベースに書き込まれてもよい。例えば、前述の例におけるピクチャＰ１は、３つのカテゴリラベル、即ち、全景写真、ＳＵＶ、及び黒を有する。従って、ピクチャＰ１は、３つの使用シナリオ（被害査定シナリオ、車両モデルシナリオ、及び色シナリオ）に記憶することができる。具体的には、ピクチャＰ１は、被害査定シナリオにおける全景写真、車両モデルシナリオにおけるＳＵＶ写真、及び色シナリオにおける黒色車両写真として同時に記憶することができる。

【0027】

本明細書によって提供される方法の別の実施形態において、従来の関係データベースの基本機能を有する関係データベースが、車両保険画像の分類結果を記憶するために用いられてもよい。関係データベースの基本機能には、ＳＥＬＥＣＴ、ＩＮＳＥＲＴ、ＡＬＴＥＲ、及び他の関係する処理など、共同データスクリーニング及び動作を含んでもよい。かかる記憶方式において、オペレータは、要件に従って、要求されるカテゴリの画像を柔軟に、迅速に、且つ好都合に選択することができる。従って、方法の別の実施形態において、分類ベースの記憶は、
Ｓ００４：関係データベースを用いることによって、車両保険画像の分類結果を記憶することを含んでもよい。

【0028】

画像は、実際のサービスシナリオに従ってスクリーニングされてもよい。例えば、現在、被害査定サービスに対処することが要求される場合に、３つのカテゴリラベル、即ち全景、部分、及び詳細を備えた画像が、設定によって関係データベースから抽出されてもよい。このように、各事例における分類モデルに基づいた全景、部分、及び詳細写真として分類される画像は、全て迅速に選択することができ、現在のサービスは、被害査定又は査定検証段階に迅速に入り得る。従って、多数の干渉ピクチャが、自動的にふるい落とされ、被害査定写真集における写真は、全て、同じカテゴリに属し、処理能率を向上させる。明らかに、車両保険画像及びそのラベルを手動で追加すること、写真のカテゴリラベルを手動で変更すること、及び要件に従った検索などの機能がまた、関係データベース用に設定されてもよい。

【0029】

本明細書の方法の別の実施形態において、方法は、次のステップ、即ち、
Ｓ６：車両保険画像におけるテキスト情報を認識するために、選択された光学式文字認識アルゴリズムを用いることによって、車両保険画像を検出するステップと、
テキスト情報及び車両保険画像を関連付けて記憶するステップと、
を更に含んでもよい。

【0030】

図５は、本明細書における方法の別の実施形態の概略流れ図である。図５に示されているように、光学式文字認識（ＯＣＲ）モデル（文字認識モデルとも呼ばれる）は、車両保険画像における主要なテキスト情報（例えば氏名、証明書番号、住所など）を検出し、捜し出し、認識するために、この実施形態の実装形態に導入される。特に、車両識別番号、ＩＤカード、運転免許証（driver’s license、driving license）、及び銀行カードを用いてラベル付けされた証明写真について、それらにおける文字を検出し、捜し出し、且つ認識するために、対応するＯＣＲ文字認識モデルが導入され、取得された結果は、関連付けて記憶することを実現するために、データベースに書き込まれる。関連付けて記憶することは、テキスト情報を用いてデータベースを検索することによって、対応する車両保険画像又は他の関連情報を取得することを含んでもよい。例えば、現在の事故に関係する人に関係する全ての事例における車両保険画像は、その人のＩＤカード番号を用いて検索することによって見つけることができる。

【0031】

本明細書の方法の別の実施形態において、方法は、次のステップ、即ち、
Ｓ８：テキスト情報における事前設定のタイプの主要な情報が、完全であるかどうかが検出され、主要な情報の検出結果が記録されるステップを更に含んでもよい。

【0032】

この実施形態は、車両保険事例における主要な情報が、完全であるかどうかを更に自動的に検証してもよい。例えば、ＩＤカード情報、運転免許証（driver’s license、driving license）に関する情報、銀行カード情報などは、車両保険画像から取得することができる。ＩＤカード情報は、反マネーロンダリングの監視用に用いることができる。運転免許証（driver’s license、driving license）に関する情報は、関係した人が、補償を得るために保険に入っているかどうかを判定するために用いることができる。銀行カード情報は、金銭が、対応する口座に正確に振り込まれることを保証するために用いることができる。完全な情報を集める事例は、後続のプロセスに自動的に入ってもよい。従って、この実施形態の解決法は、例えば証明写真における文字情報を認識するために、且つテキスト情報における事前設定のタイプの主要な情報が、完全かどうかを更に検出し、主要な情報の検出結果を記録するために、相異なる使用シナリオにおける画像を自動的に検出することができる。検出結果は、保険サービスオペレータにフィードバックされてもよい。例えば、ＩＤカードに関する主要な情報が、検出後に見つからないか、又は桁数が不完全である場合に、この結果は、オペレータに示され、その結果、オペレータは、見当たらない主要な情報を迅速に捜し出し、それによって、オペレータによる車両保険サービスの処理効率を大いに向上させ、ユーザ経験を改善する。

【0033】

図６は、本明細書における方法の実施形態における実現シナリオの概略図である。図６において、現場で収集され取得された車両保険金請求ピクチャは、３つのタイプ、即ち被害査定写真、対象損傷写真、及び被害査定用ではない写真に分類されてもよい。各タイプの写真は、複数のカテゴリに更に分類されてもよい。被害査定／査定検証、車両保険検出、証明写真情報完全性検出、証明書番号認識などの相異なる使用シナリオに従って、対応するカテゴリラベルを備えた車両保険画像は、対応する使用シナリオに記憶することができる。前述の実施形態で説明したように、１つの車両保険画像は、幾つかのカテゴリラベルを有することができ、且つ相異なる使用シナリオに同時に記憶することができる。

【0034】

本明細書における実施形態は、漸進的に説明され、実施形態における同一又は類似の部分は、互いに参照されてもよく、各実施形態は、他の実施形態と相異なる部分を強調する。詳細に関し、前の関連する処理及び実施形態における説明が参照されてもよく、従って詳細は、ここで再度は説明されない。

【0035】

本明細書の特定の実施形態が、上記で説明された。他の実施形態は、添付の特許請求の範囲の範囲内である。幾つかの場合に、請求項に記録された動作又はステップは、実施形態における順序とは異なる順序で実行することができ、且つやはり所望の結果を達成することができる。加えて、添付の図面に示されているプロセスは、方法が、所望の結果を達成するために、示されている特定のシーケンス又は連続するシーケンスでのみ実行され得るということを必ずしも要求しない。幾つかの実施方式において、マルチタスキング及び並列処理もまた、実現可能であるか又は恐らく有利である。

【0036】

本明細書の１つ又は複数の実施形態によって提供される車両保険画像処理方法において、車両保険画像は、各車両保険画像のカテゴリを認識するために、選択された画像分類アルゴリズムを用いることによって、自動的に処理することができる。本明細書の実施形態の解決法によって、車両保険画像の分類における精度、及び車両保険画像のラベル付けの効率は、大いに向上させることができ、手動認識及び処理に費やされる時間は、短縮することができ、車両保険画像の処理精度及び信頼性は、改善することができる。

【0037】

前述の車両保険画像処理方法に基づいて、本明細書の１つ又は複数の実施形態はまた、車両保険画像処理装置を提供する。本明細書の装置は、システム（分散システムを含む）、ソフトウェア（アプリケーション）、モジュール、アセンブリ、サーバ、及び本出願の実施形態の方法を用いるクライアント端末、並びに必要な実施ハードウェアを組み合わせる装置を含んでもよい。同じ革新的な概念に基づいて、本明細書の実施形態によって提供される１つ又は複数の実施形態における装置は、以下の実施形態において説明される。問題を解決する装置の実現が、方法の実現に似ているので、本明細書の実施形態における装置の特定の実現用に、前述の方法の実現が参照され、方法実施形態と重複する内容は、ここでは繰り返されない。以下で用いられるときに、用語「ユニット」又は「モジュール」は、ソフトウェア／ハードウェア、又は事前設定の機能とソフトウェア及びハードウェアの組み合わせを実現してもよい。以下の実施形態において説明される装置は、ソフトウェアで実現されるのが好ましいが、ハードウェア、又はソフトウェア及びハードウェアの組み合わせを備えた実装形態がまた、実現可能であり、且つ考えられ得る。具体的には、図７は、本明細書によって提供される車両保険画像処理装置の実施形態の概略モジュール構造図である。図７に示されているように、装置は、
車両保険画像を取得するように構成された画像取得モジュール１０１と、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理するように構成された画像処理モジュール１０２と、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶するように構成された分類ベース記憶モジュール１０３と、
を含んでもよい。

【0038】

上記の方法において説明されたように、事前設定の画像分類アルゴリズムは、例えば、画像特性に基づいた分類アルゴリズムを用いることによって、複数の方式で実行されてもよい。本明細書の装置の別の実施形態において、画像処理モジュール１０２は、
画像分類アルゴリズムとして共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いるように構成されたマルチタスク分類モデルモジュールを含んでもよい。

【0039】

他の実施方式において、分類ベース記憶モジュールは、車両保険画像の分類結果を記憶するために、関係データベースを用いる。

【0040】

図８は、本明細書によって提供される車両保険画像処理装置の実施形態における概略モジュール構造図である。装置の別の実施形態において、装置は、
車両保険画像におけるテキスト情報を認識するために、選択された光学式文字認識アルゴリズムを用いることによって、車両保険画像を検出するように構成されたテキスト認識モジュール１０４と、
テキスト情報及び車両保険画像を関連付けて記憶するように構成されたテキスト情報記憶モジュール１０５と、
を更に含んでもよい。

【0041】

図９は、本明細書によって提供される車両保険画像処理装置の実施形態における概略モジュール構造図である。図９に示されているように、装置は、
テキスト情報における事前設定のタイプの主要な情報が、完全であるかどうかを検出するように、且つ主要な情報の検出結果を記録するように構成されたテキスト情報検出モジュール１０６を更に含んでもよい。

【0042】

上記の装置が、方法実施形態の説明に従って、他の実施方式を更に含んでもよいことに留意されたい。特定の実施方式用に方法実施形態の関連する説明が参照され、詳細は、ここで再度は説明されない。

【0043】

本明細書の１つ又は複数の実施形態によって提供される車両保険画像処理装置は、各車両保険画像のカテゴリを認識するために、選択された画像分類アルゴリズムを用いることによって、車両保険画像を自動的に処理することができる。本明細書の実施形態の解決法によって、車両保険画像の分類における精度、及び車両保険画像のラベル付けの効率は、大いに向上させることができ、手動認識及び処理に費やされる時間は、短縮することができ、車両保険画像の処理精度及び信頼性は、改善することができる。

【0044】

本明細書の実施形態によって提供される前述の車両保険画像処理方法又は装置は、コンピュータにおける対応するプログラム命令を実行することによって、プロセッサにより実現されてもよい。例えば、本明細書の方法又は装置は、Windows（登録商標）オペレーティングシステムのｃ＋＋言語を用いるサーバ側、Linux（登録商標）システムに基づいたサーバ、若しくは例えばAndroid（登録商標）若しくはiOSシステムプログラミング言語を用いるサーバシステム端末で実現されるか、又は量子コンピュータに基づいた処理論理によって実現される。本明細書によって提供される車両保険画像処理装置の別の実施形態において、装置は、プロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を含んでもよい。プロセッサは、命令を実行する場合に、次の動作、即ち、
車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶することと、
を実行する。

【0045】

装置の別の実施形態において、プロセッサが命令を実行する場合に、画像分類アルゴリズムを用いることは、
共有畳み込み層を有するマルチタスクディープ畳み込みニューラルネットワーク分類モデルを用いることを含む。

【0046】

上記の装置が、方法実施形態の説明に従って、他の実施方式を更に含んでもよいことに留意されたい。特定の実施方式用には方法実施形態の関連する説明が参照され、詳細は、ここで再度は説明されない。

【0047】

前述の実施形態において説明された車両保険画像処理装置は、各車両保険画像のカテゴリを認識するために、選択された画像分類アルゴリズムを用いることによって、車両保険画像を自動的に処理することができる。本明細書の実施形態の解決法によって、車両保険画像の分類おける精度、及び車両保険画像のラベル付けの効率は、大いに向上させることができ、手動認識及び処理に費やされる時間は、短縮することができ、車両保険画像の処理精度及び信頼性は、改善することができる。

【0048】

上記の方法又は装置は、様々な車両保険画像データ処理サーバにおいて適用することができ、それによって、車両保険画像の分類における精度、及び画像のラベル付けの効率を大いに向上させ、且つ画像分類の特性次元を拡張することができる。具体的には、本明細書は、図１０に示されているように、少なくとも１つのプロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を含み得るサーバを提供する。プロセッサは、命令を実行する場合に、次の動作、即ち、
車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
分類に基づき、カテゴリラベルに従って、対応する使用シナリオに車両保険画像を記憶することと、
を実行する。

【0049】

本明細書は、車両保険画像システムを更に提供する。システムの実施形態において、システムは、収集画像記憶ユニット、アルゴリズムサーバ、及び車両保険画像データベースを含んでもよく、アルゴリズムサーバは、少なくとも１つのプロセッサと、プロセッサによって実行可能な命令を記憶するためのメモリと、を含んでもよく、プロセッサは、命令を実行する場合に、次の動作、即ち、
収集画像記憶ユニットから車両保険画像を取得することと、
車両保険画像の少なくとも１つのカテゴリラベルを決定するために、事前設定の画像分類アルゴリズムを用いることによって、車両保険画像を処理することと、
カテゴリラベルに従って、車両保険画像データベースにおける対応する使用シナリオの記憶ゾーンに車両保険画像を記憶することと、
を実行する。

【0050】

上記の装置か、サーバか、又はシステムが、方法実施形態の説明による他の実施方式を更に含んでもよいことに留意されたい。特定の実施方式用には方法実施形態の関連する説明が参照され、詳細は、ここで再度は説明されない。本明細書における実施形態は、漸進的に説明され、実施形態の同一又は類似の部分は、互いに参照されてもよく、各実施形態において、他の実施形態と異なる部分が、主として説明される。特に、ハードウェア及びプログラムに基づいた実施形態は、方法実施形態に基本的に似ており、従って、比較的単純な方式で説明される。関連部分用には、方法実施形態における説明が参照されてもよい。

【0051】

本明細書の特定の実施形態が上記で説明された。他の実施形態は、添付の特許請求の範囲の範囲内である。幾つかの場合に、請求項に記録された動作又はステップは、実施形態における順序とは異なる順序で実行することができ、且つやはり所望の結果を達成することができる。加えて、添付の図面に示されているプロセスは、方法が、所望の結果を達成するために、示されている特定のシーケンス又は連続するシーケンスでのみ実行され得るということを必ずしも要求しない。幾つかの実施方式において、マルチタスキング及び並列処理もまた、実現可能であるか又は恐らく有利である。本明細書の添付の図面における破線は、他の方法又は装置実施形態における追加の処理ステップ又はモジュールユニットを表し得る。

【0052】

本明細書の１つ又は複数の実施形態によって提供される車両保険画像処理方法、装置、サーバ、及びシステムは、各車両保険画像のカテゴリを認識するために、選択された画像分類アルゴリズムを用いることによって、車両保険画像を自動的に処理することができる。本明細書の実施形態の解決法によって、車両保険画像の分類における精度、及び車両保険画像のラベル付けの効率は、大いに向上させることができ、手動認識及び処理に費やされる時間は、短縮することができ、車両保険画像の処理精度及び信頼性は、改善することができる。

【0053】

本明細書の実施形態の内容は、車両保険画像取得方式と、使用シナリオの分類及びそのカテゴリラベルの設定と、ディープ畳み込みネットワークに基づいた画像分類アルゴリズムと、従来の画像特性に基づいた画像分類方式と、共有畳み込み層を有する畳み込みニューラルネットワークモデルなどのデータモデルの確立と、データ定義、取得、相互作用、計算及び判断と、を説明した。しかしながら、本明細書の実施形態は、工業通信規格及び標準コンピュータデータ処理及び記憶規則に従わなければならないものに限定されず、且つ本明細書の１つ又は複数の実施形態で説明される状況に限定されない。カスタマイズされた方式を用いるか、又は説明された実施形態に基づいてわずかに修正される幾つかの業界標準又は実装形態もまた、同一の、等価の、若しくは類似の実施効果か、又は上記実施形態の変形後に予測可能な効果を達成することができる。これらの修正又は変形されたデータ取得、記憶、判断及び処理方式を適用することによって取得される実施形態は、やはり本明細書の実施形態の代替実装形態の範囲内に入る。

【0054】

本明細書の特定の実施形態が、上記で説明された。他の実施形態は、添付の特許請求の範囲の範囲内である。幾つかの場合に、請求項に記録された動作又はステップは、実施形態における順序とは異なる順序で実行することができ、且つやはり所望の結果を達成することができる。加えて、添付の図面に示されているプロセスは、方法が、所望の結果を達成するために、示されている特定のシーケンス又は連続するシーケンスでのみ実行され得るということを必ずしも要求しない。幾つかの実施方式において、マルチタスキング及び並列処理もまた、実現可能であるか又は恐らく有利である。

【0055】

１９９０年代に、技術上の改善は、ハードウェアの改善（例えばダイオード、トランジスタ及びスイッチなどの回路構造の改良）又はソフトウェアの改善（方法手順の改良）として明らかに区別され得る。しかしながら、技術の発展と共に、現在における多くの方法手順の改善は、ハードウェア回路構造の直接的改善と見なされてもよい。ほとんど全ての設計者は、対応するハードウェア回路構造を取得するために、改良された方法手順をハードウェア回路にプログラムする。従って、方法手順の改善が、ハードウェアエンティティモジュールを用いることによっては実現できないと仮定することは不適切である。例えば、プログラマブル論理デバイス（ＰＬＤ）（例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ））は、論理機能が、ユーザによってプログラムされたデバイスによって決定されるかかる集積回路である。設計者は、専用集積回路チップを設計及び製造するようにチップ製造業者に要請する必要なしに、デジタルシステムを一片のＰＬＤに「集積する」ために自分でプログラムする。更に、現在、プログラミングは、集積回路チップを手動で製造するのではなく、論理コンパイラソフトウェアを用いることによって、ほとんど実施される。論理コンパイラソフトウェアは、プログラムを開発し書くために使用されるソフトウェアコンパイラに似ており、コンパイリング前のオリジナルコードは、特定のプログラミング言語を用いることによって書かれる必要があり、その言語は、ハードウェア記述言語（ＨＤＬ）と呼ばれる。高度ブール演算式言語（ＡＢＥＬ）、アルテラハードウェア記述言語（ＡＨＤＬ）、Ｃｏｎｆｌｕｅｎｃｅ、コーネル大学プログラミング言語（ＣＵＰＬ）、ＨＤＣａｌ、Java（登録商標）ハードウェア記述言語（ＪＨＤＬ）、Ｌａｖａ、Ｌｏｌａ、ＭｙＨＤＬ、ＰＡＬＡＳＭ、及びルビーハードウェア記述言語（ＲＨＤＬ）などの多くの種類のＨＤＬが存在し、それらの間で、超高速集積回路ハードウェア記述言語（ＶＨＤＬ）及びＶｅｒｉｌｏｇが、現在最も一般的に用いられる。当業者はまた、論理方法手順を実行するためのハードウェア回路が、上記の幾つかのハードウェア記述言語を用いて方法手順を幾らか論理的にプログラムすること、及び方法手順を集積回路にプログラムすることによって、容易に取得され得ることを知っているはずである。

【0056】

コントローラが、任意の適切な方法で実現されてもよい。例えば、コントローラは、例えばマイクロプロセッサ又はプロセッサと、（マイクロ）プロセッサ、論理ゲート、スイッチ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理コントローラ、及び埋め込みマイクロコントローラによって実行可能なコンピュータ可読プログラムコード（例えばソフトウェア又はファームウェア）を記憶するコンピュータ可読媒体と、の形態であってもよい。コントローラの例には、限定するわけではないが、次のマイクロコントローラ、即ち、ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20、及びSilicone Labs C8051F320が含まれる。メモリコントローラもまた、メモリの制御論理の一部として実現されてもよい。当業者はまた、コントローラが、純粋なコンピュータ可読プログラムコードによって実現されてもよく、且つ加えて、論理ゲート、スイッチ、特定用途向け集積回路、プログラマブル論理コントローラ、及び埋め込みマイクロコントローラの形態でコントローラが同じ機能を実行できるようにするために、方法ステップが、論理的にプログラムされてもよいことを知っている。従って、この種のコントローラは、ハードウェアコンポーネントと見なされてもよく、様々な機能を実行するためにコントローラに含まれる装置もまた、ハードウェアコンポーネント内の構造と見なされてもよい。又は様々な機能を実行するために用いられる装置は、方法を実行するためのソフトウェアモジュール及びハードウェアコンポーネント内の構造の両方とさえ見なされてもよい。

【0057】

上記の実施形態に示されているシステム、装置、モジュール又はユニットは、コンピュータチップ若しくはエンティティ、又は特定の機能を有する製品によって特に実現することができる。典型的な実現装置が、コンピュータである。具体的には、コンピュータは、例えば、パーソナルコンピュータ、ラップトップコンピュータ、車両搭載ヒューマンマシン対話装置、携帯電話、カメラ付き携帯電話、スマートフォン、携帯情報端末、メディアプレーヤ、ナビゲーション装置、電子メール装置、ゲーム機、タブレットコンピュータ、ウェアラブル装置、又はこれらの装置のいずれかの組み合わせであってもよい。

【0058】

本明細書の１つ又は複数の実施形態は、実施形態又は流れ図で説明されている方法の動作ステップを提供するが、方法は、従来の又は非創造的な手段による一層多数又は少数のステップを含んでもよい。実施形態に挙げられるステップのシーケンスは、ステップ実行シーケンスの単なる１つであり、且つユニークな実行シーケンスを表すのではない。実際のデバイス又は最終製品が、ステップを実行する場合に、ステップは、実施形態又は添付の図面に示されている方法シーケンスに従って、順次的に又は並列に（例えば並列プロセッサによって、又はマルチスレッド環境若しくは分散データ処理環境において）実行されてもよい。用語「含む（include）」、「含む（comprise）」、又はそれらの他の語尾変化は、非排他的な包含をカバーするように意図され、その結果、一連の要素を含むプロセス、方法、物品、又は装置は、要素を含むだけでなく、明確には挙げられていない他の要素を含むか、又はプロセス、方法、物品、又は装置の固有の要素も更に含む。これ以上の制限がない場合に、要素は、要素を含むプロセス、方法、物品、又は装置が、他の同一又は等価な要素を更に有することを排除しない。

【0059】

説明を容易にするために、装置が、上記で説明される場合に、装置は、それぞれの説明用に機能の点から様々なモジュールに分割される。明らかに、本出願が実施される場合に、モジュールの機能は、ソフトウェア及び／又はハードウェアの同じ若しくは複数の断片で実施されてもよく、又は同じ機能を実行するためのモジュールは、複数のサブモジュール若しくはサブユニットの組み合わせを用いることによって実現されてもよい。上記の装置実施形態は、単に例である。例えば、ユニットは、単にそれらの論理機能に従って分類され、且つ実際の実現の間に他の方式で分類されてもよい。例えば、複数のユニット又はコンポーネントが、別のシステムに組み合わされるか若しくは統合されてもよく、又は幾つかの特徴は、省略されるか若しくは実現されなくてもよい。加えて、図示されたか説明された相互結合か、直接結合か、又は通信接続は、電気若しくは機械形式又は他の形式で、幾つかのインターフェース、デバイス、又はユニットを介した間接結合又は通信接続であってもよい。

【0060】

当業者はまた、コントローラが、純粋なコンピュータ可読プログラムコードを用いることによって実現されてもよいこと、及び加えて、論理ゲート、スイッチ、特定用途向け集積回路、プログラマブル論理コントローラ、及び埋め込みマイクロコントローラの形でコントローラが同じ機能を実行できるように、方法ステップが、論理的にプログラムされてもよいことを知っている。従って、この種のコントローラは、ハードウェアコンポーネントと見なされてもよく、様々な機能を実行するためにコントローラに含まれる装置もまた、ハードウェアコンポーネント内の構造と見なされてもよい。又は様々な機能を実行するために使用される装置は、方法を実行するためのソフトウェアモジュール及びハードウェアコンポーネント内の構造の両方とさえ見なされてもよい。

【0061】

本発明は、本発明の実施形態に従って、方法、装置（システム）、及びコンピュータプログラムプロダクトによる流れ図及び／又はブロック図に関連して説明される。コンピュータプログラム命令が、流れ図及び／又はブロック図における各プロセス及び／又はブロック、並びに流れ図及び／又はブロック図におけるプロセス及び／又はブロックの組み合わせを実施するために用いられ得ることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、埋め込みプロセッサ、又はマシンを作製するための任意の他のプログラマブルデータ処理装置のプロセッサ用に提供されてもよく、その結果、コンピュータ、又は任意の他のプログラマブルデータ処理装置のプロセッサによって実行される命令は、流れ図における１つ若しくは複数のプロセス、及び／又はブロック図における１つ若しくは複数のブロックにおける特定の機能を実行するための装置を生成する。

【0062】

特定の方式で働くようにコンピュータ又は任意の他のプログラマブルデータ処理装置に命令できるこれらのコンピュータプログラム命令はまた、コンピュータ可読メモリに記憶されてもよく、コンピュータ可読メモリに記憶された命令は、命令装置を含むアーチファクトを生成する。命令装置は、流れ図の１つ若しくは複数のプロセス及び／又はブロック図の１つ若しくは複数のブロックにおける特定の機能を実行する。

【0063】

これらのコンピュータプログラム命令はまた、コンピュータ又は別のプログラマブルデータ処理装置上にロードされてもよく、その結果、一連の動作ステップは、コンピュータ又は別のプログラマブル装置上で実行され、それによって、コンピュータ実行処理を生成する。従って、コンピュータ又は別のプログラマブル装置上で実行される命令は、流れ図における１つ若しくは複数のプロセス及び／又はブロック図における１つ若しくは複数のブロックにおける特定の機能を実行するためのステップを提供する。

【0064】

典型的な構成において、計算装置は、１つ又は複数の中央処理装置（ＣＰＵ）、Ｉ／Ｏインターフェース、ネットワークインターフェース、及びメモリを含む。

【0065】

メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、及び／又は不揮発性メモリ、例えば読み出し専用メモリ（ＲＯＭ）若しくはフラッシュＲＡＭなどのコンピュータ可読媒体を含んでもよい。メモリは、コンピュータ可読媒体の例である。

【0066】

コンピュータ可読媒体は、着脱可能及び着脱不能媒体と同様に永続及び非永続媒体を含み、且つ任意の方法又は技術によって情報記憶を実行することができる。情報は、コンピュータ可読命令、データ構造、及びプログラム又は他のデータのモジュールであってもよい。コンピュータの記憶媒体の例は、限定するわけではないが、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのＲＡＭ、ＲＯＭ、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）若しくは他の光記憶装置、カセットテープ、磁気テープ／磁気ディスク記憶装置若しくは他の磁気記憶装置、又は任意の他の非伝送媒体を含み、且つコンピューティング装置によってアクセス可能な情報を記憶するために用いることができる。このテキストにおける定義によれば、コンピュータ可読媒体は、変調データ信号及びキャリアなど、一時的な媒体を含まない。

【0067】

当業者は、本出願の１つ又は複数の実施形態が、方法、システム、又はコンピュータプログラムプロダクトとして提供され得ることを理解されよう。従って、本出願は、完全なハードウェア実施形態、完全なソフトウェア実施形態、又はソフトウェア及びハードウェアを組み合わせる実施形態として実施されてもよい。更に、本出願の１つ又は複数の実施形態は、コンピュータ使用可能プログラムコードを含む１つ又は複数のコンピュータ使用可能記憶媒体（限定するわけではないが、磁気ディスクメモリ、ＣＤ－ＲＯＭ、光メモリなどを含む）上に実現されたコンピュータプログラムプロダクトの形態であってもよい。

【0068】

本出願の１つ又は複数の実施形態は、コンピュータによって実行されるコンピュータ実行可能命令、例えばプログラムモジュールの一般的文脈で説明されてもよい。一般に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実現するために用いられるルーチン、プログラム、オブジェクト、アセンブリ、データ構造などを含む。本出願の１つ又は複数の実施形態はまた、分散コンピューティング環境において実施されてもよく、分散コンピュータ環境において、タスクは、通信ネットワークを通じて接続される遠隔処理装置を用いることによって実行される。分散コンピュータ環境において、プログラムモジュールは、記憶装置を含むローカル及び遠隔コンピュータ記憶媒体に位置してもよい。

【0069】

本明細書における実施形態は、漸進的に説明され、実施形態間の同一又は類似の部分は、互いに参照されてもよく、各実施形態は、他の実施形態と異なる部分を強調する。特に、システム実施形態は、方法実施形態と基本的に似ており、従って簡単に説明される。関連部分用に、方法実施形態における説明が参照される。本明細書の説明において、「一実施形態」、「幾つかの実施形態」、「例」、「具体例」、「幾つかの例」などの参照用語は、実施形態又は例に関連して説明された特定の特性、構造、材料、又は特徴が、本明細書の少なくとも１つの実施形態又は例に含まれることを意味する。本明細書において、上記の用語の概略的説明は、同じ実施形態又は例に向けられる必要はない。更に、説明された特定の特性、構造、材料、又は特徴は、いずれか１つ若しくは複数の実施形態又は例において、適切な方式で組み合わされてもよい。加えて、当業者は、互いに矛盾せずに、本明細書で説明される相異なる実施形態又は例、及び相異なる実施形態又は例における特徴を統合し組み合わせることができる。

【0070】

上記は、単に、本明細書の１つ又は複数の実施形態を説明し、本出願の１つ又は複数の実施形態を限定するようには意図されていない。当業者は、本出願の１つ又は複数の実施形態に対して様々な修正及び変更を行うことができる。本出願の趣旨及び原理内で行われるどんな修正、等価な代替、改善等も、全て、添付の特許請求の範囲の範囲内に入る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】