特許 7282168 組み合わせられた視覚知能のための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-18

(45)【発行日】2023-05-26

(54)【発明の名称】組み合わせられた視覚知能のための装置および方法

(51)【国際特許分類】

   G06Q 10/20 20230101AFI20230519BHJP

   G06T 7/11 20170101ALI20230519BHJP

【ＦＩ】

G06Q10/20

G06T7/11

【請求項の数】 20

(21)【出願番号】P 2021518878

(86)(22)【出願日】2019-10-02

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 US2019054274

(87)【国際公開番号】W WO2020072629

(87)【国際公開日】2020-04-09

【審査請求日】2021-05-31

(31)【優先権主張番号】16/590,574

(32)【優先日】2019-10-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/740,784

(32)【優先日】2018-10-03

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521138350

【氏名又は名称】ソレラ ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】シュトゥッキ， パスカル

(72)【発明者】

【氏名】ナフィースィー， ニマ

(72)【発明者】

【氏名】ドゥ ビュラン， パスカル

(72)【発明者】

【氏名】ゴツェンバッハ， マウリツェ

【審査官】毛利 太郎

(56)【参考文献】

【文献】特開２０００－１９４７６４（ＪＰ，Ａ）

【文献】特開２００４－１９９２３６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５５８７８（ＷＯ，Ａ１）

【文献】特開２０１７－１６２４５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／１１

(57)【特許請求の範囲】

【請求項1】

装置であって、
１つ以上のコンピュータプロセッサと、
前記１つ以上のコンピュータプロセッサに通信可能に結合された１つ以上のメモリユニットと
を備え、
前記１つ以上のメモリユニットは、前記１つ以上のコンピュータプロセッサによって実行可能な命令を備え、
前記１つ以上のコンピュータプロセッサは、前記命令を実行するときに、
車両の複数の入力画像にアクセスすることと、
前記複数の入力画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化することと、
各カテゴリ化された画像内で前記車両の１つ以上の部品を判定することと、
各カテゴリ化された画像内で前記車両の側面を判定することと、
前記車両の前記判定された１つ以上の部品および前記車両の前記判定された側面を使用して、前記車両の損傷を受けた部品の第１のリストを判定することであって、前記第１のリストは、複数のアイテム識別子と、各アイテム識別子に対する前記車両の対応する側面とを含む、ことと、
前記カテゴリ化された画像を使用して、前記車両の識別を判定することと、
セマンティックセグメンテーションを前記複数の入力画像に適用することによって、前記車両の損傷を受けた部品の第２のリストを判定することと、
前記車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、前記車両の損傷を受けた部品の前記第１および第２のリストを集約することと、
前記車両のための修復費用見積を表示することであって、前記修復費用見積は、前記車両の前記判定された識別および前記車両の損傷を受けた部品の前記集約されたリストに基づいて判定される、ことと
を行うように動作可能である、装置。

【請求項2】

前記複数のカテゴリは、
全景車両画像と、
拡大車両画像と
を備える、請求項１に記載の装置。

【請求項3】

各カテゴリ化された画像内で前記車両の前記１つ以上の部品を判定することは、インスタンスセグメンテーションを利用することを含む、請求項１に記載の装置。

【請求項4】

前記車両の前記識別を判定することは、マルチ画像分類を利用することを含む、請求項１に記載の装置。

【請求項5】

前記複数の入力画像を使用して、前記車両の損傷を受けた部品の前記第２のリストを判定することは、マルチ画像分類を利用することを含む、請求項１に記載の装置。

【請求項6】

前記修復費用見積は、１つ以上の修復ステップを備え、各修復ステップは、
信頼度スコアと、
損傷タイプと、
損傷量と、
ユーザ選択可能な見積オプションと
を備える、請求項１に記載の装置。

【請求項7】

前記車両は、
自動車、
トラック、
レクリエーション用車両（ＲＶ）、または
オートバイ
を備える、請求項１に記載の装置。

【請求項8】

コンピュータプロセッサ上で実行される方法であって、
前記コンピュータプロセッサが、車両の複数の入力画像にアクセスすることと、
前記コンピュータプロセッサが、前記複数の入力画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化することと、
前記コンピュータプロセッサが、各カテゴリ化された画像内で前記車両の１つ以上の部品を判定することと、
前記コンピュータプロセッサが、各カテゴリ化された画像内で前記車両の側面を判定することと、
前記コンピュータプロセッサが、前記車両の前記判定された１つ以上の部品および前記車両の前記判定された側面を使用して、前記車両の損傷を受けた部品の第１のリストを判定することであって、前記第１のリストは、複数のアイテム識別子と、各アイテム識別子に対する前記車両の対応する側面とを含む、ことと、
前記コンピュータプロセッサが、前記カテゴリ化された画像を使用して、前記車両の識別を判定することと、
前記コンピュータプロセッサが、セマンティックセグメンテーションを前記複数の入力画像に適用することによって、前記車両の損傷を受けた部品の第２のリストを判定することと、
前記コンピュータプロセッサが、前記車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、前記車両の損傷を受けた部品の前記第１および第２のリストを集約することと、
前記コンピュータプロセッサが、前記車両のための修復費用見積を表示することであって、前記修復費用見積は、前記車両の前記判定された識別および前記車両の損傷を受けた部品の前記集約されたリストに基づいて判定される、ことと
を含む、方法。

【請求項9】

前記複数のカテゴリは、
全景車両画像と、
拡大車両画像と
を備える、請求項８に記載の方法。

【請求項10】

各カテゴリ化された画像内で前記車両の前記１つ以上の部品を判定することは、前記コンピュータプロセッサが、インスタンスセグメンテーションを利用することを含む、請求項８に記載の方法。

【請求項11】

前記車両の前記識別を判定することは、前記コンピュータプロセッサが、マルチ画像分類を利用することを含む、請求項８に記載の方法。

【請求項12】

前記複数の入力画像を使用して、前記車両の損傷を受けた部品の前記第２のリストを判定することは、前記コンピュータプロセッサが、マルチ画像分類を利用することを含む、請求項８に記載の方法。

【請求項13】

前記修復費用見積は、１つ以上の修復ステップを備え、各修復ステップは、
信頼度スコアと、
損傷タイプと、
損傷量と、
ユーザ選択可能な見積オプションと
を備える、請求項８に記載の方法。

【請求項14】

前記車両は、
自動車、
トラック、
レクリエーション用車両（ＲＶ）、または
オートバイ
を備える、請求項８に記載の方法。

【請求項15】

プログラムを記録したコンピュータ読み取り可能な記憶媒体であって、前記プログラムは、コンピュータに、
車両の複数の入力画像にアクセスする手順と、
前記複数の入力画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化する手順と、
各カテゴリ化された画像内で前記車両の１つ以上の部品を判定する手順と、
各カテゴリ化された画像内で前記車両の側面を判定する手順と、
前記車両の前記判定された１つ以上の部品および前記車両の前記判定された側面を使用して、前記車両の損傷を受けた部品の第１のリストを判定する手順であって、前記第１のリストは、複数のアイテム識別子と、各アイテム識別子に対する前記車両の対応する側面とを含む、手順と、
前記カテゴリ化された画像を使用して、前記車両の識別を判定する手順と、
セマンティックセグメンテーションを前記複数の入力画像に適用することによって、前記車両の損傷を受けた部品の第２のリストを判定する手順と、
前記車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、前記車両の損傷を受けた部品の前記第１および第２のリストを集約する手順と、
前記車両のための修復費用見積を表示する手順であって、前記修復費用見積は、前記車両の前記判定された識別および前記車両の損傷を受けた部品の前記集約されたリストに基づいて判定される、手順と
を実行させるためのものである、コンピュータ読み取り可能な記憶媒体。

【請求項16】

前記複数のカテゴリは、
全景車両画像と、
拡大車両画像と
を備える、請求項１５に記載のコンピュータ読み取り可能な記憶媒体。

【請求項17】

各カテゴリ化された画像内で前記車両の前記１つ以上の部品を判定することは、インスタンスセグメンテーションを利用することを含む、請求項１５に記載のコンピュータ読み取り可能な記憶媒体。

【請求項18】

前記車両の前記識別を判定することは、マルチ画像分類を利用することを含む、請求項１５に記載のコンピュータ読み取り可能な記憶媒体。

【請求項19】

前記複数の入力画像を使用して、前記車両の損傷を受けた部品の前記第２のリストを判定することは、マルチ画像分類を利用することを含む、請求項１５に記載のコンピュータ読み取り可能な記憶媒体。

【請求項20】

前記修復費用見積は、１つ以上の修復ステップを備え、各修復ステップは、
信頼度スコアと、
損傷タイプと、
損傷量と、
ユーザ選択可能な見積オプションと
を備える、請求項１５に記載のコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１８年１０月３日に出願された、米国仮特許出願第６２／７４０，７８４号の３５ Ｕ．Ｓ．Ｃ．Ｓｅｃｔｉｏｎ １１９（ｅ）（米国特許法第１１９条（ｅ））下の利益を主張する。

【0002】

（技術分野）
本開示は、概して、画像処理に関し、より具体的には、組み合わせられた視覚知能のための装置および方法に関する。

【背景技術】

【0003】

（背景）
自動車本体部品等の車両の構成要素は、多くの場合、損傷を受け、修復または交換される必要がある。例えば、自動車またはレクリエーション用車両（ＲＶ）の外部パネルが、運転事故において損傷を受け得る。別の実施例として、自動車のボンネットおよび屋根が、悪天候（例えば、雹、木枝の落下、ならびに同等物）によって損傷を受け得る。典型的には、鑑定士が、保険請求に関連して損傷を受けた車両を検査すること、および運転者ならびに保険会社に見積を提供することの任務を負う。

【発明の概要】

【課題を解決するための手段】

【0004】

（特定の実施形態の要約）
いくつかの実施形態では、方法は、車両の複数の入力画像にアクセスすることと、複数の画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化することとを含む。本方法はまた、各カテゴリ化された画像内で車両の１つ以上の部品を判定することと、各カテゴリ化された画像内で車両の側面を判定することと、車両の損傷を受けた部品の第１のリストを判定することとを含む。本方法はまた、カテゴリ化された画像を使用して、車両の識別を判定することと、複数の入力画像を使用して、車両の損傷を受けた部品の第２のリストを判定することと、車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、車両の損傷を受けた部品の第１および第２のリストを集約することとを含む。本方法はまた、車両のための修復費用見積を表示することを含む。

【0005】

開示される実施形態は、多数の技術的利点を提供する。例えば、車両に対する修復の詳細な青写真（例えば、修復するための費用、時間等）が、車両の１つ以上の画像に基づいて、自動的に提供されてもよい。これは、人間査定人が損傷を受けた車両を物理的に査定することを要求しないことによって、車両修復見積を提供することの効率を改良し得る。加えて、画像を使用して修復見積を自動的に提供することによって、紙、電気、およびガソリン等の資源が、節約され得る。他の技術的特徴が、以下の図、説明、および請求項から、当業者（ＰＨＯＳＩＴＡ）に容易に明白となり得る。

【0006】

含まれる図および図の原理を説明するために使用される種々の実施形態は、例証にすぎず、本開示の範囲をいかようにも限定するように解釈されるべきではない。ＰＨＯＳＩＴＡは、本開示の原理が、任意のタイプの好適に配列されるデバイス、システム、方法、またはコンピュータ可読媒体内で実装され得ることを理解するであろう。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
装置であって、
１つ以上のコンピュータプロセッサと、
前記１つ以上のコンピュータプロセッサに通信可能に結合された１つ以上のメモリユニットと
を備え、
前記１つ以上のメモリユニットは、前記１つ以上のコンピュータプロセッサによって実行可能な命令を備え、
前記１つ以上のコンピュータプロセッサは、
車両の複数の入力画像にアクセスすることと、
前記複数の入力画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化することと、
各カテゴリ化された画像内で前記車両の１つ以上の部品を判定することと、
各カテゴリ化された画像内で前記車両の側面を判定することと、
前記車両の前記判定された１つ以上の部品および前記車両の前記判定された側面を使用して、前記車両の損傷を受けた部品の第１のリストを判定することと、
前記カテゴリ化された画像を使用して、前記車両の識別を判定することと、
前記複数の入力画像を使用して、前記車両の損傷を受けた部品の第２のリストを判定することと、
前記車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、前記車両の損傷を受けた部品の前記第１および第２のリストを集約することと、
前記車両のための修復費用見積を表示することであって、前記修復費用見積は、前記車両の前記判定される識別および前記車両の損傷を受けた部品の前記集約されたリストに基づいて判定される、ことと
のための前記命令を実行するとき、動作可能である、装置。
（項目２）
前記複数のカテゴリは、
全景車両画像と、
拡大車両画像と
を備える、項目１に記載の装置。
（項目３）
各カテゴリ化された画像内で前記車両の前記１つ以上の部品を判定することは、インスタンスセグメンテーションを利用することを含む、項目１に記載の装置。
（項目４）
前記車両の前記識別を判定することは、マルチ画像分類を利用することを含む、項目１に記載の装置。
（項目５）
前記複数の入力画像を使用して、前記車両の損傷を受けた部品の前記第２のリストを判定することは、マルチ画像分類を利用することを含む、項目１に記載の装置。
（項目６）
前記修復費用見積は、１つ以上の修復ステップを備え、各修復ステップは、
信頼度スコアと、
損傷タイプと、
損傷量と、
ユーザ選択可能な見積オプションと
を備える、項目１に記載の装置。
（項目７）
前記車両は、
自動車、
トラック、
レクリエーション用車両（ＲＶ）、または
オートバイ
を備える、項目１に記載の装置。
（項目８）
方法であって、
車両の複数の入力画像にアクセスすることと、
前記複数の入力画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化することと、
各カテゴリ化された画像内で前記車両の１つ以上の部品を判定することと、
各カテゴリ化された画像内で前記車両の側面を判定することと、
前記車両の前記判定された１つ以上の部品および前記車両の前記判定された側面を使用して、前記車両の損傷を受けた部品の第１のリストを判定することと、
前記カテゴリ化された画像を使用して、前記車両の識別を判定することと、
前記複数の入力画像を使用して、前記車両の損傷を受けた部品の第２のリストを判定することと、
前記車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、前記車両の損傷を受けた部品の前記第１および第２のリストを集約することと、
前記車両のための修復費用見積を表示することであって、前記修復費用見積は、前記車両の前記判定される識別および前記車両の損傷を受けた部品の前記集約されたリストに基づいて判定される、ことと
を含む、方法。
（項目９）
前記複数のカテゴリは、
全景車両画像と、
拡大車両画像と、
を備える、項目８に記載の方法。
（項目１０）
各カテゴリ化された画像内で前記車両の前記１つ以上の部品を判定することは、インスタンスセグメンテーションを利用することを含む、項目８に記載の方法。
（項目１１）
前記車両の前記識別を判定することは、マルチ画像分類を利用することを含む、項目８に記載の方法。
（項目１２）
前記複数の入力画像を使用して、前記車両の損傷を受けた部品の前記第２のリストを判定することは、マルチ画像分類を利用することを含む、項目８に記載の方法。
（項目１３）
前記修復費用見積は、１つ以上の修復ステップを備え、各修復ステップは、
信頼度スコアと、
損傷タイプと、
損傷量と、
ユーザ選択可能な見積オプションと
を備える、項目８に記載の方法。
（項目１４）
前記車両は、
自動車、
トラック、
レクリエーション用車両（ＲＶ）、または
オートバイ
を備える、項目８に記載の方法。
（項目１５）
１つ以上のソフトウェアユニットを具現化する１つ以上のコンピュータ可読の非一過性記憶媒体であって、前記１つ以上のソフトウェアユニットは、
車両の複数の入力画像にアクセスすることと、
前記複数の入力画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化することと、
各カテゴリ化された画像内で前記車両の１つ以上の部品を判定することと、
各カテゴリ化された画像内で前記車両の側面を判定することと、
前記車両の前記判定された１つ以上の部品および前記車両の前記判定された側面を使用して、前記車両の損傷を受けた部品の第１のリストを判定することと、
前記カテゴリ化された画像を使用して、前記車両の識別を判定することと、
前記複数の入力画像を使用して、前記車両の損傷を受けた部品の第２のリストを判定することと、
前記車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、前記車両の損傷を受けた部品の前記第１および第２のリストを集約することと、
前記車両のための修復費用見積を表示することであって、前記修復費用見積は、前記車両の前記判定される識別および前記車両の損傷を受けた部品の前記集約されたリストに基づいて判定される、ことと
を行うように実行されるとき、動作可能である、１つ以上のコンピュータ可読の非一過性記憶媒体。
（項目１６）
前記複数のカテゴリは、
全景車両画像と、
拡大車両画像と
を備える、項目１５に記載の１つ以上のコンピュータ可読の非一過性記憶装置。
（項目１７）
各カテゴリ化された画像内で前記車両の前記１つ以上の部品を判定することは、インスタンスセグメンテーションを利用することを含む、項目１５に記載の１つ以上のコンピュータ可読の非一過性記憶装置。
（項目１８）
前記車両の前記識別を判定することは、マルチ画像分類を利用することを含む、項目１５に記載の１つ以上のコンピュータ可読の非一過性記憶装置。
（項目１９）
前記複数の入力画像を使用して、前記車両の損傷を受けた部品の前記第２のリストを判定することは、マルチ画像分類を利用することを含む、項目１５に記載の１つ以上のコンピュータ可読の非一過性記憶装置。
（項目２０）
前記修復費用見積は、１つ以上の修復ステップを備え、各修復ステップは、
信頼度スコアと、
損傷タイプと、
損傷量と、
ユーザ選択可能な見積オプションと
を備える、項目１５に記載の１つ以上のコンピュータ可読の非一過性記憶装置。

【0007】

本開示およびその特徴のより完全な理解のために、ここで、以下の説明が、付随の図面と併せて参照される。

【図面の簡単な説明】

【0008】

【図1】図１は、ある実施形態による、組み合わせられた視覚知能を提供するためのシステム図である。

【0009】

【図2】図２は、ある実施形態による、図１のシステムによって利用され得る視覚知能エンジンを図示する、略図である。

【0010】

【図3】図３は、ある実施形態による、図１のシステムの出力を提供するためのグラフィカルユーザインターフェースを図示する。

【0011】

【図4】図４は、ある実施形態による、組み合わせられた視覚知能を提供するための方法を図示する。

【0012】

【図5】図５は、本明細書に開示される方法およびシステムによって、またはそれを実装するために使用され得る、例示的コンピュータシステムである。

【発明を実施するための形態】

【0013】

（例示的実施形態の説明）
自動車本体部品等の車両の構成要素は、多くの場合、損傷を受け、修復または交換される必要がある。例えば、自動車またはレクリエーション用車両（ＲＶ）の外部パネル（例えば、フェンダ等）が、運転事故において損傷を受け得る。別の実施例として、自動車のボンネットおよび屋根は、悪天候（例えば、雹、木枝の落下、ならびに同等物）によって損傷を受け得る。

【0014】

典型的には、鑑定士が、保険請求に関連して損傷を受けた車両を検査すること、および運転者ならびに保険会社に見積を提供することの任務を負う。しかしながら、車両を手動で検査することは、時間がかかり、高価であり、非効率的である。例えば、ある地域において悪天候事象が生じた後、損傷を受けた車両全てが、承認された鑑定士によって検査されるまでに、数日、数週間、またはさらに数ヶ月を要し得る。しかしながら、運転者は、典型的には、損傷を受けた車両構成要素を修復または交換するための見積が適時に提供されることを所望するため、そのような長い応答時間は、その自動車が天候事象によって損傷を受けた運転者にとっての不満および不平を引き起こし得る。

【0015】

本開示の教示は、損傷を受けた車両構成要素を修復または交換するための見積を、適時かつユーザにやさしい様式において提供することが望ましいことを認識する。以下は、これらおよび他の所望される特徴を提供するための組み合わせられた視覚知能のシステムならびに方法を説明する。

【0016】

図１は、ある実施形態による、組み合わせられた視覚知能を提供するための修復および費用見積システム１００を図示する。いくつかの実施形態では、修復および費用見積システム１００は、複数の損傷を受けた車両画像１１０と、視覚知能エンジン１２０と、修復ステップおよび費用見積１３０とを含む。一般に、損傷を受けた車両画像１１０が、視覚知能エンジン１２０の中に入力される。例えば、任意の適切なコンピューティングシステム（例えば、スマートフォン、テーブルコンピュータ、またはラップトップコンピュータ等の個人用コンピューティングデバイス）が、損傷を受けた車両画像１１０を捕捉するために使用されてもよい。視覚知能エンジン１２０は、（例えば、通信リンクを介してローカルコンピュータ記憶装置または遠隔コンピュータ記憶装置を介して）損傷を受けた車両画像１１０にアクセスし、損傷を受けた車両画像１１０を処理し、修復ステップおよび費用見積１３０を提供してもよい。結果として、損傷を受けた車両構成要素を修復または交換するための見積が、手動の検査／鑑定の必要なく、適時かつユーザにやさしい様式において自動的に提供され得る。視覚知能エンジン１２０のある実施例が、図２を参照して下記により詳細に議論され、修復ステップおよび費用見積１３０のある実施例が、図３を参照して下記により詳細に議論される。

【0017】

図２は、ある実施形態による、図１の修復および費用見積システム１００によって利用され得る視覚知能エンジン１２０を図示する、略図である。いくつかの実施形態では、視覚知能エンジン１２０は、画像カテゴリ化エンジン２１０と、オブジェクト検出エンジン２２０と、側面検出エンジン２３０と、モデル検出エンジン２４０と、請求レベル分類エンジン２５０と、損傷属性エンジン２６０と、集約エンジン２７０とを含む。視覚知能エンジン１２０は、適切なコンピュータ可読媒体またはコンピュータシステム５００等のコンピューティングシステムによって実装されてもよい。

【0018】

一般に、視覚知能エンジン１２０は、損傷を受けた車両画像１１０を分析し、修復ステップおよび費用見積１３０を出力する。例えば、車両の運転者が、損傷を受けた車両画像１１０を捕捉するために、その個人用コンピューティングデバイス（例えば、スマートフォン）を利用してもよい。その個人用コンピューティングデバイス（または任意の他の適切なコンピューティングデバイス）上で起動するアプリケーションが、次いで、修復ステップおよび費用見積１３０を提供するために、損傷を受けた車両画像１１０を分析してもよい。結果として、損傷を受けた車両構成要素を修復または交換するための見積が、手動の検査／鑑定の必要なく、適時かつユーザにやさしい様式において自動的に提供され得る。視覚知能エンジン１２０のある実施形態の種々の構成要素が、下記により詳細に議論される。

【0019】

いくつかの実施形態では、視覚知能エンジン１２０は、画像カテゴリ化エンジン２１０を含む。一般に、画像カテゴリ化エンジン２１０は、任意の適切な画像分類方法または技法を利用し、損傷を受けた車両画像１１０の各画像を分類する。例えば、損傷を受けた車両画像１１０の各画像は、全景車両画像または拡大車両画像等の１つ以上のカテゴリに割り当てられてもよい。本実施例では、全景車両画像は、車両全体（例えば、自動車全体）が、損傷を受けた車両画像１１０内で可視である、画像であり得、拡大車両画像は、車両のごく一部のみ（例えば、自動車のドアであるが、自動車全体ではない）が、損傷を受けた車両画像１１０内で可視である、画像であり得る。他の実施形態では、任意の他の適切なカテゴリが、画像カテゴリ化エンジン２１０（例えば、オドメータ画像、車両識別番号（ＶＩＮ）画像、内部画像、および同等物）によって使用されてもよい。いくつかの実施形態では、画像カテゴリ化エンジン２１０は、車両またはサポートされていない本体様式を示していない、損傷を受けた車両画像１１０から画像をフィルタ除去する。本明細書で使用されるように、「車両」は、任意の適切な車両（例えば、自動車、ＲＶ、トラック、オートバイ、および同等物）を指し得、自動車に限定されない。

【0020】

いくつかの実施形態では、視覚知能エンジン１２０は、オブジェクト検出エンジン２２０を含む。一般に、オブジェクト検出エンジン２２０は、インスタンスセグメンテーションを使用して、損傷を受けた車両画像１１０上の部品および損傷の面積を識別ならびに位置特定する。例えば、オブジェクト検出エンジン２２０のいくつかの実施形態は、インスタンスセグメンテーションを利用し、損傷を受けた車両画像１１０のドア、ボンネット、フェンダ、または任意の他の適切な部品／面積を識別する。いくつかの実施形態では、オブジェクト検出エンジン２２０は、全景車両画像または拡大車両画像としてカテゴリ化されている、画像カテゴリ化エンジン２１０からの画像を分析する。損傷を受けた車両画像１１０上の部品／損傷の識別された面積は、オブジェクト検出エンジン２２０から、下記により詳細に議論される、損傷属性エンジン２６０に出力される。

【0021】

いくつかの実施形態では、視覚知能エンジン１２０は、側面検出エンジン２３０を含む。一般に、側面検出エンジン２３０は、任意の適切な画像分類技法または方法を利用し、自動車のどの側面から損傷を受けた車両画像１１０の各画像が捉えられたかを識別する。例えば、側面検出エンジン２３０は、損傷を受けた車両画像１１０の各画像が、車両の左、右、正面、または背面側のいずれかから捉えられたことを識別する。いくつかの実施形態では、側面検出エンジン２３０は、全景車両画像または拡大車両画像としてカテゴリ化されている、画像カテゴリ化エンジン２１０からの画像を分析する。損傷を受けた車両画像１１０の識別された側面は、側面検出エンジン２３０から、下記により詳細に議論される、損傷属性エンジン２６０に出力される。

【0022】

いくつかの実施形態では、視覚知能エンジン１２０は、モデル検出エンジン２４０を含む。一般に、モデル検出エンジン２４０は、任意の適切なマルチ画像分類技法または方法を利用し、損傷を受けた車両画像１１０内の車両の製造業者およびモデルを識別する。例えば、モデル検出エンジン２４０は、損傷を受けた車両画像１１０を分析し、損傷を受けた車両画像１１０が、自動車の特定のメーカおよびモデルに対応することを判定する。いくつかの実施形態では、モデル検出エンジン２４０は、全景車両画像としてカテゴリ化されている、画像カテゴリ化エンジン２１０からの画像のみを分析する。いくつかの実施形態では、損傷を受けた車両画像１１０は、自動車のＶＩＮの画像を含んでもよい。本実施例では、モデル検出エンジン２４０は、画像からＶＩＮを判定し、次いで、判定されたＶＩＮと記憶された情報を相互参照するために、情報のデータベースにアクセスしてもよい。損傷を受けた車両画像１１０内の車両の識別された製造業者およびモデルは、モデル検出エンジン２４０から、下記により詳細に議論される、集約エンジン２７０に出力される。

【0023】

いくつかの実施形態では、視覚知能エンジン１２０は、請求レベル分類エンジン２５０を含む。一般に、請求レベル分類エンジン２５０は、任意の適切なマルチ画像分類技法または方法を利用し、損傷を受けた車両画像１１０の損傷を受けた構成要素／部品を識別する。例えば、請求レベル分類エンジン２５０は、損傷を受けた車両画像１１０の１つ以上（または全て）を分析し、自動車のボンネットが損傷を受けていることを判定する。別の実施例として、請求レベル分類エンジン２５０は、損傷を受けた車両画像１１０を分析し、トラックのフェンダが損傷を受けていることを判定する。いくつかの実施形態では、請求レベル分類エンジン２５０は、セマンティックセグメンテーションまたは任意の他の適切な方法を使用して、各損傷のタイプおよび場所を識別する（例えば、ＧｏｏｇｌｅのＴｅｎｓｏｒｆｌｏｗ技術等の写真検出技術を使用し、写真からメイン本体パネルを検出する）。これは、ａ）損傷を受けた車両の複数の（例えば、数千枚の）写真を収集することと、ｂ）写真上で可視のパネルおよび損傷を手動で標識する／輪郭を描くことと、ｃ）Ｔｅｎｓｏｒｆｌｏｗ等の技術を使用して、パネルおよび損傷の検出を訓練することとを含んでもよい。請求レベル分類エンジン２５０からの識別された構成要素／部品は、請求レベル分類エンジン２５０から、下記により詳細に議論される、集約エンジン２７０に出力される。

【0024】

いくつかの実施形態では、視覚知能エンジン１２０は、損傷属性エンジン２６０を含む。一般に、損傷属性エンジン２６０は、オブジェクト検出エンジン２２０（例えば、局所的な部品および損傷）ならびに側面検出エンジン２３０（例えば、左または右側）からの出力を使用し、車両の損傷を受けた部品のリストを確立する。いくつかの実施形態では、損傷を受けた部品のリスト内の各アイテムは、アイテム識別子（例えば、ドア）と、アイテムが位置する車両の側面（例えば、正面、背面、右、左）とを含んでもよい。例えば、オブジェクト検出エンジン２２０からの損傷を受けた車両画像１１０上の部品／損傷の識別された面積、およびオブジェクト検出エンジン２２０からの損傷を受けた車両画像１１０の識別された側面を使用して、損傷属性エンジン２６０は、正面バンパ、左背面ドア、右ウィング等の損傷を受けた部品のリストを生成してもよい。損傷属性エンジン２６０からの損傷を受けた部品のリストは、損傷属性エンジン２６０から集約エンジン２７０に出力される。

【0025】

いくつかの実施形態では、視覚知能エンジン１２０は、集約エンジン２７０を含む。一般に、集約エンジン２７０は、損傷属性エンジン２６０、モデル検出エンジン２４０、および請求レベル分類エンジン２５０の出力を集約し、損傷を受けた車両画像１１０のセット全体に関する損傷を受けた部品のリストを発生させる。いくつかの実施形態では、集約エンジン２７０は、記憶された規則（例えば、ローカルで記憶された規則または遠隔のコンピューティングシステム上に記憶された規則のいずれか）を使用し、損傷属性エンジン２６０、モデル検出エンジン２４０、および請求レベル分類エンジン２５０からの結果を集約し、損傷を受けた部品のリストを発生させる。いくつかの実施形態では、集約エンジン２７０によって利用される規則は、１）特定の損傷に関する異なる信頼度レベルに対処する方法、２）１つのモデルが、損傷を検出したが、別のものが、検出していない場合に行うべきこと、および３）同一の画像上で正面バンパならびに背面バンパ上に検出される損傷等の可能性として考えられないシナリオに対処する方法等の規則を含んでもよい。他の実施形態では、集約エンジン２７０は、過去請求データ上で訓練された機械学習モデルを使用する。

【0026】

いくつかの実施形態では、集約エンジン２７０は、修復行動を判定し、それを視覚的に表示するために、修復行動論理を利用する。いくつかの実施形態では、修復論理は、過去の請求損傷および専門家の査定人ならびに修復人による分析に基づく。いくつかの実施形態では、各国毎の規則が、損傷が修復されるべき方法について定義されてもよい。いくつかの実施形態では、修復論理は、車両モデル、損傷タイプ、パネル、パネル材料、損傷サイズ、および場所に依存してもよい。いくつかの実施形態では、修復論理は、要求される調製作業（例えば、塗料の混合、損傷にアクセスするための部品の除去、ガラス破片の清掃等）と、写真上の下層部品（例えば、不可視部品）（例えば、バンパの下のセンサ）を含む、実際の修復および塗装作業と、清掃作業（例えば、部品を再装着すること、再較正等）とを含む。

【0027】

いくつかの実施形態では、集約エンジン２７０は、過去修復データを使用し、修復行動および潜在的な非表面損傷を判定する。いくつかの実施形態では、集約エンジン２７０は、そのような損傷に関する最も一般的な修復方法を識別するために、同一の車両、同一の損傷を受けた構成要素、および同一の深刻度を伴う過去の請求を検索する。いくつかの実施形態では、集約エンジン２７０はまた、損傷を受けた車両画像１１０から可視ではない場合がある付加的な修復作業（例えば、損傷を受けたバンパの下方のセンサを交換する）を検出するために、同一の車両、同一の損傷を受けたパネル、および同一の深刻度を伴う過去の請求も検索してもよい。

【0028】

いくつかの実施形態では、集約エンジン２７０は、見込時間を計算する。一般に、本ステップは、修復人が損傷を直すために費やすであろう時間を、検出された損傷のサイズおよび深刻度に基づいて計算することを伴う。いくつかの実施形態では、見込時間は、修復行動入力に関して記憶されたデータ（例えば、統計値テーブル）を使用して計算される。いくつかの実施形態では、標準的な修復時間についてのモデルおよびパネル毎のデータが、見込時間を計算するために使用されてもよい。いくつかの実施形態では、公式が、損傷のサイズおよび深刻度に基づいて修復時間を計算するために使用されてもよい。

【0029】

いくつかの実施形態では、修復および費用見積システム１００は、集約エンジン２７０の出力と、いくつかの実施形態では、クライアントの選好とを使用し、修復ステップおよび費用見積１３０（例えば、部品費用、労務費用、塗装費用、他の作業、ならびに税金等の費用等）を発生させ、提供する。いくつかの実施形態では、所定の計算が、詳細な修復見積を発生させるために、検出された損傷に対して実行される。いくつかの実施形態では、クライアントの選好は、異なる国における損傷を修復する方法についての規則を含んでもよい。いくつかの実施例は、いくつかの国では、地域の法律および条令が、従われなければならないこと（例えば、小さい傷にわたって塗装することが許容される最大サイズ）、いくつかの保険は、修復店が、従わなければならない規則を有すること（例えば、どの修復が車上で行われることが許容されているか対パネルが除去され、車上に再度装着される必要がある修復）、ならびに（修復店の）労務費用に基づいて、ある国では、安価な労務費用を用いて損傷を修復する価値があり得、より高価な地域では、部品を完全に交換することがより安価であり得ることを含み得る。修復ステップおよび費用見積１３０のある実施例が、図３を参照して下記に図示される。

【0030】

図３は、ある実施形態による、修復ステップおよび費用見積１３０を提供するためのグラフィカルユーザインターフェース３００を図示する。いくつかの実施形態では、修復ステップおよび費用見積１３０は、複数の修復ステップ３１０を含む。各修復ステップ３１０は、信頼度スコア３２０と、損傷タイプ３３０と、損傷量３４０と、ユーザ選択可能な見積オプション３５０とを含んでもよい。信頼度スコア３２０は、概して、視覚知能エンジン１２０が検出された損傷について確実である程度（例えば、「９７％」）を示す。より高い信頼度スコア（すなわち、１００％により近接する）は、知能エンジン１２０が、検出された損傷について確信していることを示す。逆に、より低い信頼度スコア（すなわち、０％により近接する）は、知能エンジン１２０が、検出された損傷について確信していないことを示す。損傷タイプ３３０は、損傷のタイプ（例えば、「傷」、「へこみ」、「亀裂」等）および損傷の場所（例えば、「背面バンパ」）を示す。損傷量３４０は、識別された部品の損傷の割合（例えば、「１２％」）を示す。ユーザ選択可能な見積オプション３５０は、ユーザが修復費用見積３７０の中に選択された修復ステップ３１０を含むための方法を提供する。例えば、特定の修復ステップ３１０が、（例えば、最初の４つの修復ステップ３１０として図示されるような）その対応するユーザ選択可能な見積オプション３５０を使用して選択される場合、アイテムの修復費用が、修復費用見積３７０の中に含まれるであろう。

【0031】

いくつかの実施形態では、グラフィカルユーザインターフェース３００は、修復費用見積３７０を計算するためのユーザ選択可能なオプション３６０を含む。例えば、ユーザは、ユーザ選択可能なオプション３６０を選択し、そのユーザ選択可能な見積オプション３５０が選択された修復ステップ３１０に基づいて、修復費用見積３７０を計算してもよい。他の実施形態では、修復費用見積３７０は、ユーザ選択可能な見積オプション３５０の選択に基づいて、持続的かつ自動的に更新されてもよい（すなわち、修復費用見積３７０は、任意のユーザ選択可能な見積オプション３５０が選択されると、一連のユーザ選択可能なオプション３６０に関して待機することなく計算される）。

【0032】

グラフィカルユーザインターフェース３００の修復費用見積３７０は、そのユーザ選択可能な見積オプション３５０が選択された、修復ステップ３１０を実施することの全体的費用見積を提供する。いくつかの実施形態では、修復費用見積３７０は、部品費用、労務費用、塗装費用、総計（税金を除外する）、および総計（税金を含む）のうちの１つ以上を含む。いくつかの実施形態では、修復費用見積３７０は、ユーザ選択可能なダウンロードオプション３８０を使用してダウンロードまたは別様に送信されてもよい。

【0033】

図４は、ある実施形態による、組み合わせられた視覚知能を提供するための方法４００を図示する。ステップ４１０において、方法４００は、車両の複数の入力画像にアクセスし得る。具体的実施例として、モバイルコンピューティングデバイス（例えば、スマートフォン）によって捕捉される、１つ以上の画像が、アクセスされてもよい。１つ以上の画像は、モバイルコンピューティングデバイスまたは任意の他の通信可能に結合される記憶デバイス（例えば、ネットワーク記憶装置）からアクセスされてもよい。いくつかの実施形態では、ステップ４１０は、画像カテゴリ化エンジン２１０によって実施されてもよい。

【0034】

ステップ４２０において、方法４００は、ステップ４１０の複数の画像のそれぞれを複数のカテゴリのうちの１つにカテゴリ化する。いくつかの実施形態では、複数のカテゴリは、全景車両画像と、拡大車両画像とを含む。いくつかの実施形態では、ステップ４１０は、画像カテゴリ化エンジン２１０によって実施されてもよい。

【0035】

ステップ４３０において、方法４００は、ステップ４２０からの各カテゴリ化された画像内の車両の１つ以上の部品を判定する。例えば、ステップ４３０は、インスタンスセグメンテーションを利用し、車両のドア、ボンネット、フェンダ、または任意の他の適切な部品／面積を識別してもよい。いくつかの実施形態では、ステップ４３０は、全景車両画像または拡大車両画像としてカテゴリ化されている、ステップ４２０からの画像を分析する。いくつかの実施形態では、ステップ４３０は、オブジェクト検出エンジン２２０によって実施されてもよい。

【0036】

ステップ４４０において、方法４００は、ステップ４２０の各カテゴリ化された画像内の車両の側面を判定する。いくつかの実施形態では、判定される側面は、車両の正面側、背面側、左側、または右側を含んでもよい。いくつかの実施形態では、本ステップは、側面検出エンジン２３０によって実施される。

【0037】

ステップ４５０において、方法４００は、ステップ４３０からの車両の判定された１つ以上の部品と、ステップ４４０からの車両の判定された側面とを使用して、車両の損傷を受けた部品の第１のリストを判定する。いくつかの実施形態では、損傷を受けた部品のリスト内の各アイテムは、アイテム識別子（例えば、ドア）と、アイテムが位置する車両の側面（例えば、正面、背面、右、左）とを含んでもよい。いくつかの実施形態では、本ステップは、損傷属性エンジン２６０によって実施される。

【0038】

ステップ４６０において、方法４００は、ステップ４２０のカテゴリ化された画像を使用して、車両の識別を判定する。いくつかの実施形態では、本ステップは、モデル検出エンジン２４０によって実施される。いくつかの実施形態では、本ステップは、マルチ画像分類を利用し、車両の識別を判定する。いくつかの実施形態では、車両の識別は、車両の製造業者と、モデルと、年とを含む。いくつかの実施形態では、車両のＶＩＮは、車両の識別を判定するために、本ステップによって使用される。

【0039】

ステップ４７０において、方法４００は、ステップ４１０の複数の入力画像を使用して、車両の損傷を受けた部品の第２のリストを判定する。いくつかの実施形態では、本ステップは、マルチ画像分類を利用し、車両の損傷を受けた部品の第２のリストを判定する。いくつかの実施形態では、本ステップは、請求レベル分類エンジン２５０によって実施される。

【0040】

ステップ４８０において、方法４００は、車両の損傷を受けた部品の集約されたリストを発生させるために、１つ以上の規則を使用して、ステップ４５０の車両の損傷を受けた部品の第１のリストおよびステップ４７０の車両の損傷を受けた部品の第２のリストを集約する。いくつかの実施形態では、本ステップは、集約エンジン２７０によって実施される。

【0041】

ステップ４９０において、方法４００は、ステップ４６０の車両の判定された識別およびステップ４８０の車両の損傷を受けた部品の集約されたリストに基づいて判定される、車両のための修復費用見積を表示する。いくつかの実施形態では、本ステップは、集約エンジン２７０によって実施される。いくつかの実施形態では、修復費用見積は、図３に図示されるような修復ステップおよび費用見積１３０であり、信頼度スコアと、損傷タイプと、損傷量と、ユーザ選択可能な見積オプションとを含む。ステップ４９０の後、方法４００は、終了し得る。

【0042】

本書に説明されるアーキテクチャおよび関連付けられる命令／動作は、実装に応じて、以前のアプローチに優る種々の利点を提供することができる。例えば、本アプローチは、車両の１つ以上の画像に基づいて、車両への修復の詳細な青写真（例えば、修復するための費用、時間等）を提供する。これは、人間査定人が損傷を受けた車両を物理的に査定することを要求しないことによって、車両修復見積を提供することの効率を改良し得る。加えて、画像を使用して自動的に修復見積を提供することによって、紙、電気、およびガソリン等の資源が、節約され得る。また、本機能性は、人工知能、深層学習、および仮想現実等の他のコンピューティング分野を改良するためにも使用されることができる。

【0043】

いくつかの実施形態では、本書に説明される種々の機能が、コンピュータ可読プログラムコードから形成され、コンピュータ可読媒体内で具現化される、コンピュータプログラムによって実装またはサポートされる。語句「コンピュータ可読プログラムコード」は、ソースコード、オブジェクトコード、および実行コードを含む、任意のタイプのコンピュータコードを含む。語句「コンピュータ可読媒体」は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、または任意の他のタイプのメモリ等の、コンピュータによってアクセスされることが可能な任意のタイプの媒体を含む。「非一過性」コンピュータ可読媒体は、一過性の電気または他の信号を搬送する、有線、無線、光学、もしくは他の通信リンクを除外する。非一過性コンピュータ可読媒体は、データが恒久的に記憶され得る媒体、および書換可能な光ディスクまたは消去可能メモリデバイス等の、データが記憶され、後に上書きされ得る媒体を含む。

【0044】

本特許文書全体を通して使用される、ある単語および語句の定義を記載することが、有利であり得る。用語「アプリケーション」および「プログラム」は、好適なコンピュータコード（ソースコード、オブジェクトコード、または実行コードを含む）内での実装のために適合される、１つ以上のコンピュータプログラム、ソフトウェアコンポーネント、命令のセット、プロシージャ、関数、オブジェクト、クラス、インスタンス、関連するデータ、またはそれらの一部を指す。用語「～を通信する（ｃｏｍｍｕｎｉｃａｔｅ）」、「～を伝送する（ｔｒａｎｓｍｉｔ）」、および「～を受信する（ｒｅｃｅｉｖｅ）」、ならびにそれらの派生語は、直接通信と、間接通信との両方を含有する。用語「～を含む（ｉｎｃｌｕｄｅ）」および「～を備える（ｃｏｍｐｒｉｓｅ）」、ならびにそれらの派生語は、限定を伴わない含有を意味する。用語「または（ｏｒ）」は、包括的であり、「および／または（ａｎｄ／ｏｒ）」を意味する。語句「～と関連付けられる（ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ）」ならびにその派生語は、「～を含む（ｉｎｃｌｕｄｅ）」、「～内に含まれる（ｂｅ ｉｎｃｌｕｄｅｄ ｗｉｔｈｉｎ）」、「～と相互接続する（ｉｎｔｅｒｃｏｎｎｅｃｔ ｗｉｔｈ）」、「～を含有する（ｃｏｎｔａｉｎ）」、「～内に含有される（ｂｅ ｃｏｎｔａｉｎｅｄ ｗｉｔｈｉｎ）」、「～に接続する（ｃｏｎｎｅｃｔ ｔｏ）」または「～と接続する（ｃｏｎｎｅｃｔ ｗｉｔｈ）」、「～に結合する（ｃｏｕｐｌｅ ｔｏ）」または「～と結合する（ｃｏｕｐｌｅ ｗｉｔｈ）」、「～と通信可能である（ｂｅ ｃｏｍｍｕｎｉｃａｂｌｅ ｗｉｔｈ）」、「～と協働する（ｃｏｏｐｅｒａｔｅ ｗｉｔｈ）」、「～を交互配置する（ｉｎｔｅｒｌｅａｖｅ）」、「～を並置する（ｊｕｘｔａｐｏｓｅ）」、「～に近接する（ｂｅ ｐｒｏｘｉｍａｔｅ ｔｏ）」、「～に束縛される（ｂｅ ｂｏｕｎｄ ｔｏ）」または「～と束縛される（ｂｅ ｂｏｕｎｄ ｗｉｔｈ）」、「～を有する（ｈａｖｅ）」、「～の性質を有する（ｈａｖｅ ａ ｐｒｏｐｅｒｔｙ ｏｆ）」、「～との関係を有する（ｈａｖｅ ａ ｒｅｌａｔｉｏｎｓｈｉｐ ｔｏ）」または「～と関係を有する（ｈａｖｅ ａ ｒｅｌａｔｉｏｎｓｈｉｐ ｗｉｔｈ）」、もしくは同等物を意味し得る。アイテムの列挙と併用されるとき、語句「～のうちの少なくとも１つ」は、列挙されるアイテムのうちの１つ以上の異なる組み合わせが、使用され得、列挙内の１つのみのアイテムが、必要とされ得ることを意味する。例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」は、以下の組み合わせ、すなわち、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡおよびＢおよびＣのいずれかを含む。

【0045】

ある例示的実施形態が、説明され、付随の図面に示されているが、そのような実施形態が、広範な発明を例証しているにすぎず、それに関して制限するものではないこと、および種々の他の修正が、当業者に想起され得るため、本発明が、示され、説明される、具体的な構築物ならびに配列に限定されないことを理解されたい。

【0046】

図５は、例示的コンピュータシステム５００を図示する。特定の実施形態では、１つ以上のコンピュータシステム５００は、本明細書に説明または図示される、１つ以上の方法の１つ以上のステップを実施する。特定の実施形態では、１つ以上のコンピュータシステム５００は、本明細書に説明または図示される機能性を提供する。特定の実施形態では、１つ以上のコンピュータシステム５００上で起動するソフトウェアが、本明細書に説明または図示される、１つ以上の方法の１つ以上のステップを実施する、もしくは本明細書に説明または図示される、機能性を提供する。特定の実施形態は、１つ以上のコンピュータシステム５００の１つ以上の部分を含む。本明細書では、コンピュータシステムへの言及は、適切である場合、コンピューティングデバイスを包含し得、逆もまた同様である。また、コンピュータシステムへの言及は、適切である場合、１つ以上のコンピュータシステムを包含し得る。

【0047】

本開示は、任意の好適な数のコンピュータシステム５００を想定する。本開示は、任意の好適な物理的形態をとる、コンピュータシステム５００を想定する。実施例として、かつ限定としてではなく、コンピュータシステム５００は、組込コンピュータシステム、システムオンチップ（ＳＯＣ）、単一ボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップまたはノート型コンピュータシステム、双方向キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレット型コンピュータシステム、拡張／仮想現実デバイス、もしくはこれらのうちの２つ以上の組み合わせであってもよい。適切である場合、コンピュータシステム５００は、１つ以上のコンピュータシステム５００を含む、一体型または分散型である、複数の場所にわたる、複数の機械にわたる、複数のデータセンターにわたる、もしくは１つ以上のネットワーク内に１つ以上のクラウドコンポーネントを含み得る、クラウド内に常駐してもよい。適切である場合、１つ以上のコンピュータシステム５００は、実質的な空間的または時間的限界を伴わずに、本明細書に説明または図示される、１つ以上の方法の１つ以上のステップを実施してもよい。実施例として、かつ限定としてではなく、１つ以上のコンピュータシステム５００は、本明細書に説明または図示される、１つ以上の方法の１つ以上のステップを、リアルタイムで、またはバッチモードにおいて実施してもよい。１つ以上のコンピュータシステム５００は、適切である場合、本明細書に説明または図示される、１つ以上の方法の１つ以上のステップを、異なる時間に、または異なる場所において実施してもよい。

【0048】

特定の実施形態では、コンピュータシステム５００は、プロセッサ５０２と、メモリ５０４と、記憶装置５０６と、入力／出力（Ｉ／Ｏ）インターフェース５０８と、通信インターフェース５１０と、バス５１２とを含む。本開示は、特定の配列内に特定の数の特定のコンポーネントを有する、特定のコンピュータシステムを説明および図示するが、本開示は、任意の好適な配列内に任意の好適な数の任意の好適なコンポーネントを有する、任意の好適なコンピュータシステムを想定する。

【0049】

特定の実施形態では、プロセッサ５０２は、コンピュータプログラムを構成するもの等の命令を実行するためのハードウェアを含む。実施例として、かつ限定としてではなく、命令を実行するために、プロセッサ５０２は、内部レジスタ、内部キャッシュ、メモリ５０４、または記憶装置５０６から命令を読み出し（もしくはフェッチし）、それらをデコードおよび実行し、次いで、１つ以上の結果を内部レジスタ、内部キャッシュ、メモリ５０４、または記憶装置５０６に書き込んでもよい。特定の実施形態では、プロセッサ５０２は、データ、命令、またはアドレスのための１つ以上の内部キャッシュを含んでもよい。本開示は、適切である場合、任意の好適な数の任意の好適な内部キャッシュを含む、プロセッサ５０２を想定する。実施例として、かつ限定としてではなく、プロセッサ５０２は、１つ以上の命令キャッシュと、１つ以上のデータキャッシュと、１つ以上のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含んでもよい。命令キャッシュ内の命令は、メモリ５０４または記憶装置５０６内の命令の複製物であってもよく、命令キャッシュは、プロセッサ５０２によるそれらの命令の読出しを加速させ得る。データキャッシュ内のデータは、それに応じて動作するためにプロセッサ５０２において実行する命令のためのメモリ５０４または記憶装置５０６内のデータの複製物、プロセッサ５０２において実行する後続の命令によるアクセスのため、もしくはメモリ５０４または記憶装置５０６に書き込むために、プロセッサ５０２において実行された以前の命令の結果、もしくは他の好適なデータであってもよい。データキャッシュは、プロセッサ５０２による読取および書込動作を加速させ得る。ＴＬＢは、プロセッサ５０２のための仮想アドレス変換を加速させ得る。特定の実施形態では、プロセッサ５０２は、データ、命令、またはアドレスのための１つ以上の内部レジスタを含んでもよい。本開示は、適切である場合、任意の好適な数の任意の好適な内部レジスタを含む、プロセッサ５０２を想定する。適切である場合、プロセッサ５０２は、１つ以上の算術論理ユニット（ＡＬＵ）を含む、マルチコアプロセッサである、または１つ以上のプロセッサ５０２を含んでもよい。本開示は、特定のプロセッサを説明および図示するが、本開示は、任意の好適なプロセッサを想定する。

【0050】

特定の実施形態では、メモリ５０４は、プロセッサ５０２が実行するための命令またはプロセッサ５０２がそれに応じて動作するためのデータを記憶するための、メインメモリを含む。実施例として、かつ限定としてではなく、コンピュータシステム５００は、記憶装置５０６または（例えば、別のコンピュータシステム５００等の）別のソースからの命令をメモリ５０４にロードしてもよい。プロセッサ５０２は、次いで、メモリ５０４から内部レジスタまたは内部キャッシュに命令をロードしてもよい。命令を実行するために、プロセッサ５０２は、内部レジスタまたは内部キャッシュから命令を読み出し、それらをデコードしてもよい。命令の実行の間または後に、プロセッサ５０２は、（中間または最終結果であり得る）１つ以上の結果を内部レジスタもしくは内部キャッシュに書き込んでもよい。プロセッサ５０２は、次いで、それらの結果のうちの１つ以上をメモリ５０４に書き込んでもよい。特定の実施形態では、プロセッサ５０２は、１つ以上の内部レジスタもしくは内部キャッシュ内または（記憶装置５０６または他所と対照的に）メモリ５０４内の命令のみを実行し、１つ以上の内部レジスタもしくは内部キャッシュ内または（記憶装置５０６または他所と対照的に）メモリ５０４内のデータのみに応じて動作する。（それぞれ、アドレスバスと、データバスとを含み得る）１つ以上のメモリバスが、プロセッサ５０２をメモリ５０４に結合してもよい。バス５１２は、下記に説明されるように、１つ以上のメモリバスを含んでもよい。特定の実施形態では、１つ以上のメモリ管理ユニット（ＭＭＵ）が、プロセッサ５０２とメモリ５０４との間に常駐し、プロセッサ５０２によって要求されるメモリ５０４へのアクセスを促進する。特定の実施形態では、メモリ５０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。本ＲＡＭは、適切である場合、揮発性メモリであってもよい。適切である場合、本ＲＡＭは、動的ＲＡＭ（ＤＲＡＭ）または静的ＲＡＭ（ＳＲＡＭ）であってもよい。また、適切である場合、本ＲＡＭは、単一ポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の好適なＲＡＭを想定する。メモリ５０４は、適切である場合、１つ以上のメモリ５０４を含んでもよい。本開示は、特定のメモリを説明し、図示するが、本開示は、任意の好適なメモリを想定する。

【0051】

特定の実施形態では、記憶装置５０６は、データまたは命令のための大容量記憶装置を含む。実施例として、かつ限定としてではなく、記憶装置５０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、磁気光ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、もしくはこれらのうちの２つ以上の組み合わせを含んでもよい。記憶装置５０６は、適切である場合、リムーバブルまたは非リムーバブル（すなわち、固定）媒体を含んでもよい。記憶装置５０６は、適切である場合、内部または外部コンピュータシステム５００であってもよい。特定の実施形態では、記憶装置５０６は、不揮発性のソリッドステートメモリである。特定の実施形態では、記憶装置５０６は、読取専用メモリ（ＲＯＭ）を含む。適切である場合、本ＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、電気的に改変可能なＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、もしくはこれらのうちの２つ以上の組み合わせであってもよい。本開示は、任意の好適な物理的形態をとる、大容量記憶装置５０６を想定する。記憶装置５０６は、適切である場合、プロセッサ５０２と記憶装置５０６との間の通信を促進する、１つ以上の記憶装置制御ユニットを含んでもよい。適切である場合、記憶装置５０６は、１つ以上の記憶装置５０６を含んでもよい。本開示は、特定の記憶装置を説明し、図示するが、本開示は、任意の好適な記憶装置を想定する。

【0052】

特定の実施形態では、Ｉ／Ｏインターフェース５０８は、コンピュータシステム５００と１つ以上のＩ／Ｏデバイスとの間の通信のための１つ以上のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。コンピュータシステム５００は、適切である場合、これらのＩ／Ｏデバイスのうちの１つ以上を含んでもよい。これらのＩ／Ｏデバイスのうちの１つ以上は、人とコンピュータシステム５００との間の通信を可能にし得る。実施例として、かつ限定としてではなく、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロホン、モニタ、マウス、プリンタ、スキャナ、スピーカ、静止カメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つ以上の組み合わせを含んでもよい。Ｉ／Ｏデバイスは、１つ以上のセンサを含んでもよい。本開示は、任意の好適なＩ／Ｏデバイスおよびそれらのための任意の好適なＩ／Ｏインターフェース５０８を想定する。適切である場合、Ｉ／Ｏインターフェース５０８は、プロセッサ５０２がこれらのＩ／Ｏデバイスのうちの１つ以上を駆動することを可能にする、１つ以上のデバイスまたはソフトウェアドライバを含んでもよい。Ｉ／Ｏインターフェース５０８は、適切である場合、１つ以上のＩ／Ｏインターフェース５０８を含んでもよい。本開示は、特定のＩ／Ｏインターフェースを説明し、図示するが、本開示は、任意の好適なＩ／Ｏインターフェースを想定する。

【0053】

特定の実施形態では、通信インターフェース５１０は、コンピュータシステム５００と１つ以上の他のコンピュータシステム５００または１つ以上のネットワークとの間の（例えば、パケットベースの通信等の）通信のための１つ以上のインターフェースを提供する、ハードウェア、ソフトウェア、または両方を含む。実施例として、かつ限定としてではなく、通信インターフェース５１０は、イーサネットまたは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ－ＦＩネットワーク等の無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含んでもよい。本開示は、任意の好適なネットワークおよびそのための任意の好適な通信インターフェース５１０を想定する。実施例として、かつ限定としてではなく、コンピュータシステム５００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、都市規模ネットワーク（ＭＡＮ）、またはインターネットの１つ以上の部分、またはこれらのうちの２つ以上の組み合わせと通信してもよい。これらのネットワークのうちの１つ以上のうちの１つ以上の部分は、有線または無線であってもよい。実施例として、コンピュータシステム５００は、（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標） ＷＰＡＮ等の）無線ＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（例えば、汎欧州デジタル移動電話方式（ＧＳＭ）ネットワーク等の）携帯電話ネットワーク、または他の好適な無線ネットワーク、もしくはこれらのうちの２つ以上の組み合わせと通信してもよい。コンピュータシステム５００は、適切である場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース５１０を含んでもよい。通信インターフェース５１０は、適切である場合、１つ以上の通信インターフェース５１０を含んでもよい。本開示は、特定の通信インターフェースを説明し、図示するが、本開示は、任意の好適な通信インターフェースを想定する。

【0054】

特定の実施形態では、バス５１２は、コンピュータシステム５００のコンポーネントを相互に結合する、ハードウェア、ソフトウェア、または両方を含む。実施例として、かつ限定としてではなく、バス５１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラルコンポーネント相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアル高度技術アタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の好適なバス、またはこれらのうちの２つ以上の組み合わせを含んでもよい。バス５１２は、適切である場合、１つ以上のバス５１２を含んでもよい。本開示は、特定のバスを説明し、図示するが、本開示は、任意の好適なバスまたは相互接続を想定する。

【0055】

本明細書では、「車両」は、ユーザ１０１が所有および／または使用し得る、輸送の任意の適切な手段を含有する。例えば、「車両」は、限定ではないが、自動車、トラック、オートバイ、ＲＶ、全地形対応車（ＡＴＶ）、ゴルフカート、および同等物等の任意の地上ベースの車両を含む。「車両」はまた、限定ではないが、ボート、ジェットスキー、および同等物等の任意の水中ベースの車両も含む。「車両」はまた、限定ではないが、飛行機、ヘリコプタ、および同等物等の空中ベースの車両も含む。

【0056】

本明細書では、コンピュータ可読の非一過性記憶装置媒体または複数の媒体は、適切である場合、（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向けＩＣ（ＡＳＩＣ）等の）１つ以上の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、磁気光ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読の非一過性記憶媒体、またはこれらのうちの２つ以上の任意の好適な組み合わせを含んでもよい。コンピュータ可読の非一過性記憶媒体は、適切である場合、揮発性、不揮発性、または揮発性および不揮発性の組み合わせであってもよい。

【図1】

【図2】

【図3】

【図4】

【図5】