▶ ザ ジョーン アンド アーウィン ジェイコブス テクニオン － コーネル インスティテュートの特許一覧
特表2022-549394コンテキストアウェアな意味的コンピュータ視覚技術を使用して公共基幹施設の異常を検出するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-25
(54)【発明の名称】コンテキストアウェアな意味的コンピュータ視覚技術を使用して公共基幹施設の異常を検出するシステム及び方法
(51)【国際特許分類】
G06T 19/20 20110101AFI20221117BHJP
G06T 7/00 20170101ALI20221117BHJP
【ＦＩ】
G06T19/20
G06T7/00 350B
G06T7/00 610Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021566947
(86)(22)【出願日】2020-05-06
(85)【翻訳文提出日】2021-12-23
(86)【国際出願番号】 US2020031569
(87)【国際公開番号】W WO2020227343
(87)【国際公開日】2020-11-12
(31)【優先権主張番号】62/844,293
(32)【優先日】2019-05-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521489768
【氏名又は名称】ザ ジョーン アンド アーウィン ジェイコブス テクニオン － コーネル インスティテュート
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】カール―、アリ
【テーマコード（参考）】
5B050
5L096
【Ｆターム（参考）】
5B050BA09
5B050BA13
5B050CA07
5B050CA08
5B050DA01
5B050EA06
5B050EA07
5B050EA18
5B050EA19
5B050EA28
5B050FA02
5B050FA09
5B050FA17
5B050GA08
5L096AA06
5L096AA09
5L096BA03
5L096FA59
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096GA34
5L096HA11
5L096KA04
(57)【要約】
公共基幹施設における異常のコンテキストアウェアな識別のための技術。方法は、公共基幹施設を示す視覚的コンテンツから抽出された特徴に、異常識別モデルを、視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、異常識別モデルが、公共基幹施設の材料の種類に基づいて選択されることと、少なくとも１つの異常部分及び各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、意味的にラベル付けされた３Ｄモデルが、異常点を含み、各々の異常点が、少なくとも１つの異常部分のうちの１つを表現し、異常点が、少なくとも１つの異常部分のパターンを集合的に画定し、各々の異常点が、それぞれの異常部分の定量化を示すために視覚的に区別される、生成することと、を含む。
【特許請求の範囲】
【請求項1】
公共基幹施設における異常のコンテキストアウェアな識別のための方法であって、公共基幹施設の少なくとも部分を示す、視覚的マルチメディア・コンテンツから抽出された特徴に異常識別モデルを、前記視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、前記異常識別モデルが、前記公共基幹施設の少なくとも部分の材料の種類に基づいて複数の異常識別モデルから選択された機械学習モデルである、適用することと、
前記少なくとも１つの異常部分及び前記各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、前記意味的にラベル付けされた３Ｄモデルが、複数の点を含み、前記複数の点が、複数の異常点を含み、各々の異常点が、前記少なくとも１つの異常部分のそれぞれの異常部分を表現し、前記複数の異常点が、前記少なくとも１つの異常部分の各々のパターンを集合的に画定し、各々の異常点が、少なくとも前記それぞれの異常部分の前記定量化を示すために視覚的に区別される、生成することと、を含む方法。
【請求項2】
前記視覚的マルチメディア・コンテンツを、前記少なくとも１つの異常部分及び前記各々の異常部分の種類に基づいて、意味的にラベル付けすることをさらに含み、前記意味的にラベル付けされた３Ｄモデルが、前記意味的にラベル付けされた視覚的マルチメディア・コンテンツにさらに基づいて生成される、請求項１に記載の方法。
【請求項3】
前記意味的にラベル付けされた３Ｄモデルを生成することが、前記少なくとも１つの異常部分の各々を表現するパターンを、前記意味的にラベル付けされた視覚的マルチメディア・コンテンツから抽出することをさらに含み、前記意味的にラベル付けされた３Ｄモデルが、前記抽出された少なくとも１つのパターンにさらに基づいて生成される、請求項２に記載の方法。
【請求項4】
前記意味的にラベル付けされた３Ｄモデルを生成することが、前記視覚的マルチメディア・コンテンツに基づいて、前記公共基幹施設の３Ｄモデルを生成することと、
前記視覚的マルチメディア・コンテンツと前記公共基幹施設の前記３Ｄモデルとの間で対応している特徴のマップを作成することと、
前記意味的にラベル付けされた視覚的マルチメディア・コンテンツ及び前記対応している特徴のマップに基づいて、前記３Ｄモデルに意味的にラベル付けすることと、をさらに含む、請求項３に記載の方法。
【請求項5】
前記視覚的マルチメディア・コンテンツに意味的にラベル付けすることが、各々の異常点に視覚的に別個のマーカを適用することをさらに含み、各々の視覚的に別個のマーカが、前記異常点の最初の色と異なる視覚的に別個の色である、請求項１に記載の方法。
【請求項6】
前記意味的にラベル付けされた３Ｄモデルを生成することが、前記公共基幹施設を表現する３Ｄモデルの点を変更することを含む、請求項１に記載の方法。
【請求項7】
前記意味的にラベル付けされた視覚的マルチメディア・コンテンツに基づいて報告を生成することをさらに含み、前記報告が、前記少なくとも１つの異常部分の定量化を示す、請求項１に記載の方法。
【請求項8】
前記少なくとも１つの異常部分の各々の前記定量化が、前記３Ｄモデルの既知の大きさに基づいて決定された前記異常部分の絶対サイズ、及び前記３Ｄモデルと比較した、前記少なくとも１つの異常部分の相対的サイズである、請求項１に記載の方法。
【請求項9】
前記少なくとも１つの異常部分の各々の前記定量化が、前記３Ｄモデルと比較した、前記少なくとも１つの異常部分の相対的サイズである、請求項１に記載の方法。
【請求項10】
前記３Ｄモデルの前記複数の点が、複数のパラメトリック表面の面積、複数のメッシュ三角形、及び点群のうちの任意のものを構成する点である、請求項１に記載の方法。
【請求項11】
前記公共基幹施設の状態状況を、前記少なくとも１つの異常部分の各々の前記定量化及び少なくとも１つの状態状況方針に基づいて決定することをさらに含み、各々の状態状況方針が、異なる種類の異常の複数の定量化、及び複数の対応する状態状況を定義する、請求項１に記載の方法。
【請求項12】
処理回路に処理を実行させるための命令を記憶している非一時的コンピュータ可読媒体であって、前記処理が公共基幹施設の少なくとも部分を示す視覚的マルチメディア・コンテンツから抽出された特徴に異常識別モデルを、前記視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、前記異常識別モデルが、前記公共基幹施設の少なくとも部分の材料の種類に基づいて複数の異常識別モデルから選択された機械学習モデルである、適用することと、
前記少なくとも１つの異常部分及び前記各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、前記意味的にラベル付けされた３Ｄモデルが、複数の点を含み、前記複数の点が、複数の異常点を含み、各々の異常点が、前記少なくとも１つの異常部分のそれぞれの異常部分を表現し、前記複数の異常点が、前記少なくとも１つの異常部分の各々のパターンを集合的に画定し、各々の異常点が、少なくとも前記それぞれの異常部分の前記定量化を示すために視覚的に区別される、生成することと、を含む、非一時的コンピュータ可読媒体。
【請求項13】
公共基幹施設における異常のコンテキストアウェアな識別のためのシステムであって、処理回路と、
メモリであって、前記処理回路によって実行されたとき、
公共基幹施設の少なくとも部分を示す、視覚的マルチメディア・コンテンツから抽出された特徴に異常識別モデルを、前記視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、前記異常識別モデルが、前記公共基幹施設の少なくとも部分の材料の種類に基づいて複数の異常識別モデルから選択された機械学習モデルである、適用することと、
前記少なくとも１つの異常部分及び前記各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、前記意味的にラベル付けされた３Ｄモデルが、複数の点を含み、前記複数の点が、複数の異常点を含み、各々の異常点が、前記少なくとも１つの異常部分のそれぞれの異常部分を表現し、前記複数の異常点が、前記少なくとも１つの異常部分の各々のパターンを集合的に画定し、各々の異常点が、少なくとも前記それぞれの異常部分の前記定量化を示すために視覚的に区別される、生成することと、を実行するように前記システムを構成する命令を含むメモリと
を備えるシステム。
【請求項14】
前記システムが、前記視覚的マルチメディア・コンテンツを、前記少なくとも１つの異常部分及び前記各々の異常部分の種類に基づいて、意味的にラベル付けするようにさらに構成されており、前記意味的にラベル付けされた３Ｄモデルが、前記意味的にラベル付けされた視覚的マルチメディア・コンテンツにさらに基づいて生成される、請求項１３に記載のシステム。
【請求項15】
前記システムが、前記少なくとも１つの異常部分の各々を表現するパターンを、前記意味的にラベル付けされた視覚的マルチメディア・コンテンツから抽出するようにさらに構成されており、前記意味的にラベル付けされた３Ｄモデルが、前記抽出された少なくとも１つのパターンにさらに基づいて生成される、請求項１４に記載のシステム。
【請求項16】
前記システムが、前記視覚的マルチメディア・コンテンツに基づいて、前記公共基幹施設の３Ｄモデルを生成し、
前記視覚的マルチメディア・コンテンツと前記公共基幹施設の前記３Ｄモデルとの間で対応している特徴のマップを作成し、
前記意味的にラベル付けされた視覚的マルチメディア・コンテンツ及び前記対応している特徴のマップに基づいて、前記３Ｄモデルに意味的にラベル付けするように、さらに構成されている、請求項１５に記載のシステム。
【請求項17】
前記システムが、各々の異常点に視覚的に別個のマーカをさらに構成され、各々の視覚的に別個のマーカが、前記異常点の最初の色と異なる視覚的に別個の色である、請求項１３に記載のシステム。
【請求項18】
前記意味的にラベル付けされた３Ｄモデルを生成することが、前記公共基幹施設を表す３Ｄモデルの点を変更することを含む、請求項１３に記載のシステム。
【請求項19】
前記システムが、前記意味的にラベル付けされた視覚的マルチメディア・コンテンツに基づいて報告を生成するようにさらに構成され、前記報告が、前記少なくとも１つの異常部分の定量化を示す、請求項１３に記載のシステム。
【請求項20】
前記少なくとも１つの異常部分の各々の前記定量化が、前記３Ｄモデルの既知の大きさに基づいて決定された前記異常部分の絶対サイズ、及び前記３Ｄモデルと比較した、前記少なくとも１つの異常部分の相対的サイズである、請求項１３に記載のシステム。
【請求項21】
前記少なくとも１つの異常部分の各々の前記定量化が、前記３Ｄモデルと比較した、前記少なくとも１つの異常部分の相対的サイズである、請求項１３に記載のシステム。
【請求項22】
前記３Ｄモデルの前記複数の点が、複数のパラメトリック表面の面積、複数のメッシュ三角形、及び点群のうちの任意のものを構成する点である、請求項１３に記載のシステム。
【請求項23】
前記システムが、前記公共基幹施設の状態状況を、前記少なくとも１つの異常部分の各々の前記定量化及び少なくとも１つの状態状況方針に基づいて決定するようにさらに構成され、各々の状態状況方針が、異なる種類の異常の複数の定量化、及び複数の対応する状態状況を定義する、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、その内容が参照によって本明細書に組み込まれる、２０１９年５月７日に出願された米国特許仮出願第６２／８４４，２９３号の利益を主張する。
【0002】
本開示は、一般に、公共基幹施設の異常及びその他の異常の２次元（２Ｄ）及び３次元（３Ｄ）視覚的マルチメディア・コンテンツ分析に関し、より詳細には、公共基幹施設の視覚的マルチメディア・コンテンツで示された異常を識別すること及び分析することに関する。
【背景技術】
【0003】
運用中の構造的システムの状態の正確で迅速な評価は、安全及び保守性を確実にするために欠くことができない。公共基幹施設の状態の評価での１つの主要な検討は、構造的損傷の可視的徴候である。これらの異常は、劣化及び過酷な使用（たとえば、鋼鉄腐食、ひび割れ、コンクリート白華、及びコンクリート剥落）による、構造的欠損などの欠陥を含み得、これは、設計若しくは製造中の異常に起因する、又はそれらにより悪化させられ得る。この目的を達成するために、基幹施設の状態評価を目的とする領域が、そのような異常の検出及び定量化である。たとえば、コンクリート表面のひび割れ及び剥落の空間特性が、現存する基幹施設の健全性を評価するための重要な指示子である。
【0004】
遠隔感知、ロボット工学、及び画像キャプチャ技術の分野の発展が、そのようなシステムの状態を評価するために使用され得る、公共基幹施設に関する画像、映像、及び３次元（３Ｄ）撮像（３Ｄ点群又は３Ｄメッシュとしても知られる）などの大量の視覚データを、収集する機会を提供する。しかしながら、そのような大量のデータを、手動で分析及び操作することは実効可能ではない。
【0005】
いくつかの自動化された解決策が存在する。たとえば、いくつかの解決策は、画像内で識別された潜在的な異常の周りの境界ボックスを利用する。しかしながら、そのような自動化された解決策は、異常識別の正確度及び粒度における課題に直面する。加えて、既存の方法は、通常、狭小な視野を有する、多くの場合構造体の高解像の接写の、２次元画像を使用する。これらの画像は、この分野の人間の観測者が感覚的に行う、構造体のコンテキストの情報を考慮しないので、基本的に非コンテキスト化されている。
【0006】
したがって、上述の課題を克服し得る解決策を提供することは有益なことであろう。
【発明の概要】
【課題を解決するための手段】
【0007】
以下が、本開示のいくつかの実例の実施例の要約である。この要約は、そのような実施例の基本的理解を提供するために、読者の便宜のために設けられ、本開示の広がりを完全には規定しない。この要約は、全ての意図された実施例の広範な概要ではなく、全ての実施例の重要又は重大な構成要素を識別することも、一部又は全ての態様の範囲を詳しく説明することも意図しない。その唯一の目的は、１つ又は複数の実施例のいくつかの概念を簡易化した形態で、後ほど提示されるより詳細な説明への序文として提示することである。利便性のために「いくつかの実施例」又は「いくつかの実施例」という用語は、本明細書では、本開示の単一の実施例又は複数の実施例を指すために使用され得る。
【0008】
本明細書で開示されたいくつかの実施例は、公共基幹施設における異常のコンテキストアウェアな（ｃｏｎｔｅｘｔ－ａｗａｒｅ）識別のための方法を含む。方法は、公共基幹施設の少なくとも部分を示す、視覚的マルチメディア・コンテンツから抽出された特徴に異常識別モデルを、視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、異常識別モデルが、公共基幹施設の少なくとも部分の材料の種類に基づいて複数の異常識別モデルから選択された機械学習モデルである、適用することと、少なくとも１つの異常部分及び各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、意味的にラベル付けされた３Ｄモデルが、複数の点を含み、複数の点が、複数の異常点を含み、各々の異常点が、少なくとも１つの異常部分のそれぞれの異常部分を表現し、複数の異常点が、少なくとも１つの異常部分の各々のパターンを集合的に画定し、各々の異常点が、少なくともそれぞれの異常部分の定量化を示すために視覚的に区別される、生成することと、を含む。
【0009】
本明細書で開示されるいくつかの実施例は、処理回路に処理を実行させる、その上に記憶させている非一時的コンピュータ可読媒体をさらに含み、ことを記憶させており、処理が、公共基幹施設少なくとも部分を示す、視覚的マルチメディア・コンテンツから抽出された特徴に異常識別モデルを、視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、異常識別モデルが、公共基幹施設の少なくとも部分の材料の種類に基づいて複数の異常識別モデルから選択された機械学習モデルである、適用することと、少なくとも１つの異常部分及び各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、意味的にラベル付けされた３Ｄモデルが、複数の点を含み、複数の点が、複数の異常点を含み、各々の異常点が、少なくとも１つの異常部分のそれぞれの異常部分を表現し、複数の異常点が、少なくとも１つの異常部分の各々のパターンを集合的に画定し、各々の異常点が、少なくともそれぞれの異常部分の定量化を示すために視覚的に区別される、生成することと、を含む。
【0010】
本明細書で開示されたいくつかの実施例は、公共基幹施設における異常のコンテキストアウェアな識別のためのシステムをさらに含む。システムは、処理回路とメモリとを含み、メモリが、命令を含み、命令は、処理回路によって実行されたとき、公共基幹施設の少なくとも部分を示す、視覚的マルチメディア・コンテンツから抽出された特徴に異常識別モデルを、視覚的マルチメディア・コンテンツで示された少なくとも１つの異常部分、各々の異常部分の種類、及び各々の異常部分の定量化を決定するために適用することであって、異常識別モデルが、公共基幹施設の少なくとも部分の材料の種類に基づいて複数の異常識別モデルから選択された機械学習モデルである、適用することと、少なくとも１つの異常部分及び各々の異常部分の種類に基づいて、意味的にラベル付けされた３次元（３Ｄ）モデルを生成することであって、意味的にラベル付けされた３Ｄモデルが、複数の点を含み、複数の点が、複数の異常点を含み、各々の異常点が、少なくとも１つの異常部分のそれぞれの異常部分を表現し、複数の異常点が、少なくとも１つの異常部分の各々のパターンを集合的に画定し、各々の異常点が、少なくともそれぞれの異常部分の定量化を示すために視覚的に区別される、生成することと、を行うようにシステムを構成する。
【0011】
本明細書で開示された主題及び開示された実施例の他の目的、特徴、及び利点は、添付図面に関連してなされる、以下の詳細な説明から明白になるであろう。
【図面の簡単な説明】
【0012】
【図1】多様な開示された実施例を説明するために利用されるネットワーク図である。
【図2】機械学習を使用して公共基幹施設における異常の視覚的識別のための方法を示すフローチャートである。
【図3A】一実施例による材料及び異常を識別するための機械学習モデルのトレーニング及び適用を示すフロー図である。
【図3B】一実施例による材料及び異常を識別するための機械学習モデルのトレーニング及び適用を示すフロー図である。
【図3C】一実施例による材料及び異常を識別するための機械学習モデルのトレーニング及び適用を示すフロー図である。
【図4】一実施例による異常識別装置の概略図である。
【図5A】異常を画像の他の部分から視覚的に区別するための画像変更を説明するのに利用されている例示画像である。
【図5B】異常を画像の他の部分から視覚的に区別するための画像変更を説明するのに利用されている例示画像である。
【図6A】異常を３次元仮想モデルの他の部分から視覚的に区別するためのモデルの変更を説明するのに利用されている例示３次元仮想モデルである。
【図6B】異常を３次元仮想モデルの他の部分から視覚的に区別するためのモデルの変更を説明するのに利用されている例示３次元仮想モデルである。
【図7A】異常を３次元仮想モデルの他の部分から視覚的に区別するためのモデルの変更を説明するのに利用されている３次元仮想モデルの例示図解である。
【図7B】異常を３次元仮想モデルの他の部分から視覚的に区別するためのモデルの変更を説明するのに利用されている３次元仮想モデルの例示図解である。
【図7C】異常を３次元仮想モデルの他の部分から視覚的に区別するためのモデルの変更を説明するのに利用されている３次元仮想モデルの例示図解である。
【図8】一実施例による意味的にラベル付けされた３次元モデルの生成を図解するフロー図である。
【図9A】一実施例による公共基幹施設を示す視覚的コンテンツに基づいて生成された３次元モデルを実証するために利用される例示画像である。
【図9B】一実施例による公共基幹施設を示す視覚的コンテンツに基づいて生成された３次元モデルを実証するために利用される例示画像である。
【図9C】一実施例による公共基幹施設を示す視覚的コンテンツに基づいて生成された３次元モデルを実証するために利用される例示画像である。
【図10A】異常を次元仮想モデルの他の部分から視覚的に区別するための３モデルの変更を説明するのに利用されている３次元仮想モデルの例示画像である。
【図10B】異常を次元仮想モデルの他の部分から視覚的に区別するための３モデルの変更を説明するのに利用されている３次元仮想モデルの例示画像である。
【発明を実施するための形態】
【0013】
本明細書で開示された実施例が、本明細書での革新的な教示の多くの有益な使用の例に過ぎないことに留意することは、重要である。概して、本出願の明細書でなされる陳述は、多様な権利を主張する実施例のうちの任意のものを必ずしも制限しない。その上、いくつかの陳述は、いくつかの発明性のある特徴に適用され得るが、他には適用されない。概して、別段に示されていない限り、単数の構成要素は、複数であり得、普遍性を失わずに逆もまた同様である。図中、同様の数字は、いくつかの図示を通して同様の部分を指す。
【0014】
開示された実施例は、機械学習及びコンピュータ視覚を使用して公共基幹施設の欠陥などの異常を視覚的に識別するための技術と、識別された異常に基づいて視覚的マルチメディア・コンテンツを後処理するための技術と、を含む。材料識別モデル及び複数の材料単位の異常識別モデルを含む機械学習モデルが、それぞれの一連のトレーニング・データに基づいてトレーニングされる。各々の異常識別モデルは、異なる材料から作られる基幹施設の部分の、視覚的マルチメディア・コンテンツに示された異常を識別するために、トレーニングされる。
【0015】
機械学習モデルがトレーニング済みである場合、基幹施設の少なくとも部分を示す視覚的マルチメディア・コンテンツが取得される。視覚的マルチメディア・コンテンツは、限定はされないが、視覚的マルチメディア・コンテンツ（たとえば、画像、映像、若しくはその部分）又は構造モデル（たとえば、基幹施設の少なくとも部分の３Ｄモデル）を含み得る。基幹施設の少なくとも部分は、限定はされないが、建築物、道路、橋、ダム、堤防、上下水システム、鉄道、地下鉄、空港、港湾、送電系統、電気通信設備、その部分、などであり得る。基幹施設の例示の部分は、限定されないが、導管、道路区分、梁、支柱、桁、路面、天井、床、屋根、通気孔、換気扇、線路、電柱、電線、流路、勾配、接合部、アーチ、他の支持構造体、などを含む。
【0016】
視覚的マルチメディア・コンテンツは、前処理され得る。前処理は、限定はされないが、ぼやけた、ひずんだ、過剰収縮された、雑音のある、又は他の異常識別の正確度を減少させそうな視覚的マルチメディア・コンテンツを排除することを含み得る。前処理は、たとえば視覚的コンテンツが基幹施設の少なくとも部分の３Ｄモデルである場合、別法として又は追加的に、複数の２Ｄ視野を生成することを含み得る。
【0017】
材料識別機械学習モデルは、視覚的マルチメディア・コンテンツに示されている材料の種類を識別するために、視覚的マルチメディア・コンテンツに適用される。識別された材料に基づいて、異常識別モデルのうちの１つが選択される。選択された異常識別モデルは、識別された材料の種類用の視覚的マルチメディア・コンテンツでの異常を識別するように構成されている。
【0018】
選択された異常識別及び品質評価モデルは、視覚的マルチメディア・コンテンツに適用され、その内部に示されている１つ又は複数の異常を識別する。識別された異常は、基幹施設の損傷又は他の異常の可視的徴候を含む。より具体的には、各々の異常は、視覚的マルチメディア・コンテンツの個別の部分に関して、複数クラスの意味的セグメンテーション、つまり同一のオブジェクト・クラス（画素レベル、点、メッシュ的分類とも呼ばれる）に属する視覚的マルチメディア・コンテンツの部分をクラスタリングするタスク、を通して識別される。そのような個別部分は、限定されないが、２Ｄ画像の画素又は３Ｄモデルの点若しくはメッシュを含み得る。この目的を達成するために、視覚的マルチメディア・コンテンツの各々の個別部分は、異常に属するもの又は属さないものとして識別され得、具体的な異常に関してさらに識別され得る。識別された異常のパターンは、細粒度の詳細をキャプチャするように設計された深い畳み込みニューラル・ネットワーク（ＣＮＮ）を使用した複数クラスの意味的セグメンテーションに基づいて視覚的マルチメディア・コンテンツから抽出される。
【0019】
一実施例では、視覚的マルチメディア・コンテンツの別個の部分が、異常の識別に基づいてラベル付けされ得る。ラベルは、限定されないが、各々の個別部分が欠陥に属するか、どの異常に各々の個別部分が属するか、の両方、などを指し得る。
【0020】
識別された異常は、視覚的マルチメディア・コンテンツに対する抽出されたパターンのサイズ（たとえば、各々の欠陥を表現する個別部分の数に対する）に基づいて定量化され得る。定量化は、長さ、幅、体積、又は他の欠陥サイズ測定値に関し得る。限定されない例として、異常は、欠陥に属するとして識別された、画素（２Ｄ画像内の）又は３Ｄモデル（たとえば、パラメトリック表面、三角化表面メッシュ、点群、など）内の点の、数又はユークリッド距離に関して定量化され得る。この目的を達成するために個別部分のラベルが、定量化のために利用され得る。いくつかの実施態様では、異常のサイズは、個別部分に関するサイズ及び視覚的マルチメディア・コンテンツの既知の世界的なサイズに基づいて、世界的な単位（たとえば、ミリメートル）に変換され得る。限定されない例として、支柱の既知のサイズ及び支柱を示している画素数が、損傷部分のサイズを決定するために支柱の損傷部分に属する画素の数とともに同様に利用される可能性がある、各画素のサイズを決定するために利用され得る。
【0021】
抽出されたパターンは、視覚的に別個の方法で、視覚的マルチメディア・コンテンツ、基幹施設の３Ｄ３次元仮想モデル、又はその両方上に投影され得る。詳細には、一実施例では、そのような投影は、視覚的マルチメディア・コンテンツが異なる角度からオブジェクトを覆う十分な数の重畳２Ｄ画像を含む場合、又はそのような３Ｄモデルが利用可能である場合、利用される。一実施例では、抽出されたパターンは、投影又は逆投影を使用して、視覚的マルチメディア・コンテンツ上に投影され、それは、２Ｄ及び３Ｄの視覚的マルチメディア・コンテンツ間の特徴が対応していることを識別することと、識別されラベル付けされた異常を３Ｄモデル内にマッピングすることと、を含む。抽出されたパターンを投影することは、限定はされないが、識別された異常、又は識別された異常を有する基幹施設の部分を表現する３次元仮想モデルの部分を示す視覚的マルチメディアの画素を、変更することを含み得る。変更は、視覚的マルチメディア・コンテンツ又は３次元仮想モデルの他の部分から視覚的に別個の（たとえば、人間の観測者にとって）変更された画素又は点をレンダリングする色付け若しくは他の変化を含む。このことは、状態認識と、意味的に豊富な公共基幹施設資産のデジタル・ツインと、を提供する。デジタル・ツインは、視覚的マルチメディア・コンテンツに示された、又は３Ｄモデルによって表現された、オブジェクトの仮想表現である。
【0022】
開示された実施例は、基幹施設の部分の異常を識別する完全自動化２段階機械学習処理を含む。まず、材料の種類を識別し、次に特定の材料という点で異常を識別するためにトレーニングされたモデルを選択することによって、結果として生じる異常識別の正確度は、たとえば、機械学習技術を通して異常の周りに境界ボックスを後に描写するために、手動で決定された材料識別を利用するいくつかの既存の解決策と比較して、同じ位良好な自動化レベルに改善される。多様な開示された実施例は、識別された異常を強調表示する基幹施設の変更された視覚的表現を提供するために、視覚的マルチメディア・コンテンツを後処理する技術をさらに含む。
【0023】
さらに、開示された実施例は、異常に表現する視覚的マルチメディア・コンテンツのより具体的な部分（たとえば、特定の画素）を識別することを可能にすることによって、たとえば、異常に表現するいくつかの部分及び異常を表現しないいくつかの部分を含み得る、マルチメディア・コンテンツにおける領域の境界ボックス又は他の識別と比較して、異常識別の改善された粒度を提供する。
【0024】
多様な開示された実施例は、異常識別のためのコンテキストアウェアな技術を提供する。異常識別は、少なくとも（１）識別された異常の種類が、分析されている公共基幹施設の材料の種類に関してコンテキスト感度を有し、（２）実在の公共基幹施設内のコンテキストで異常の位置、サイズ、及びパターンが、反映されているという点で、コンテキストアウェアである。この点で、異なる材料が、異なる種類の異常を有することに留意されたい。さらに、いくつかの既存の解決策が、２Ｄ画像上の境界ボックスを提供するが、これらの解決策は、異常の深刻さ又は実際の公共基幹施設内部のそれらの異常の位置の評価を可能にする、異常の特性（たとえば、長さ、幅、体積、面積、など）をキャプチャする仕方で異常のコンテキストを実際にキャプチャしない。
【0025】
図１は、多様な開示された実施例を説明するために利用される一例のネットワーク図１００を示す。例示のネットワーク図１００では、ユーザ・デバイス１２０、異常識別装置１３０、及び複数のデータベース１４０－１から１４０－Ｎ（以下、単に簡単にする目的のために、データベース１４０及び集合的にデータベース１４０として個別に呼ぶ）が、ネットワーク１１０を介して通信可能に接続されている。ネットワーク１１０は、限定はされないが、無線セルラ又は有線ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、インターネット、ワールドワイド・ウェブ（ＷＷＷ）、類似ネットワーク、及びそれらの任意の組み合わせであり得る。
【0026】
ユーザ・デバイス（ＵＤ）１２０は、限定はされないが、パーソナル・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、スマートフォン、着用可能コンピューティング・デバイス、又は、たとえば、視覚的マルチメディア・コンテンツ、コンピュータ生成モデル、又はその両方を含むデータを受信し表示することができる他の任意のデバイスであり得る。
【0027】
データベース１４０は、視覚的マルチメディア・コンテンツ（たとえば、画像）、コンピュータ生成モデル、デジタル・ツイン、又はそれらの組み合わせを保存し得る。データベース１４０によって保存された視覚的マルチメディア・コンテンツは、異常識別装置１３０によって分析されることになる基幹施設を示す視覚的マルチメディア・コンテンツ、異常識別装置１３０によって生成された異常パターンを視覚的に区別する基幹施設上への投影を示す向上した視覚的マルチメディア・コンテンツ、又はその両方を含み得る。データベース１４０に保存された分析されることになる視覚的マルチメディア・コンテンツは、画像、映像、３次元モデル（たとえば、パラメトリック表面、点群、又は３次元メッシュ）、又はそれらの組み合わせを含み得る。視覚的マルチメディア・コンテンツは、たとえば、デジタル・カメラ、カムコーダ、スマートフォン、タブレット、ドローンなどのカメラ搭載無人機（ＵＡＶ）、カメラ搭載車両、レーザ走査器、ロボット（たとえば、地上を徐行又は登坂するロボット）、カメラ搭載無人船（ＵＭＶ）、それらの組合せ、などによってキャプチャされ得る。
【0028】
この点で、異常パターンは、公共基幹施設の表面に見える、任意の可視パターンであり得ることに留意されたい。パターンは、限定されないが、異常のサイズ及び形状を含み得る。サイズは、限定されないが、厚さ、幅、半径、及び種々の形状のサイズの他の測定値を含み得る。パターンは、たとえば、限定されないが、腐食、ひび割れ、コンクリート白華、剥落、などの形状を反映し得る。
【0029】
３次元仮想モデルは、異常パターンを視覚的に区別する基幹施設上への投影、異常識別装置１３０によって変更されることになる３次元仮想モデル、又はその両方を含む、異常識別装置１３０によって作成された変更されたモデルであり得る。例示の実施態様では、これらの３次元仮想モデルは、視覚的マルチメディア・コンテンツに示された基幹施設の３次元（３Ｄ）モデルである。限定されない例として、１つのそのような３Ｄモデルは、建築物の画像に示されている支柱の３Ｄモデルであり得る。
【0030】
投影は、視覚的マルチメディア・コンテンツ及び３次元仮想モデルによって、たとえば、視覚的に別個の色を使用して、基幹施設とは視覚的に別個であるように表現される。限定されない例として、基幹施設が灰色のコンクリートから作られる場合、コンクリートのひび割れは、青又は緑に色付けされ得る。
【0031】
一実施例では、異常識別装置１３０は、本明細書で説明されるように、基幹施設の視覚的マルチメディア・コンテンツに示される異常を識別するように構成されている。異常識別装置１３０は、たとえば、データベース１４０のうちの１つからそのような視覚的マルチメディア・コンテンツを回収することによって、基幹施設又はその部分を示す視覚的マルチメディア・コンテンツを取得するように構成されている。視覚的マルチメディア・コンテンツは、限定はされないが、基幹施設を示す２次元又は３次元画像若しくは映像（又はその部分）を含み得る。
【0032】
一実施例では、異常識別装置１３０は、識別された異常を例示する報告を生成するようにさらに構成されている。この目的を達成するために、異常識別装置１３０は、識別された異常のための視覚的マーカを、視覚的マルチメディア・コンテンツ又は基幹施設の３Ｄモデル上に投影する、異常の視覚的徴候を定量化する、又はその両方を行うように構成され得る。異常識別装置１３０は、基幹施設を示す視覚的マルチメディア・コンテンツに基づいて、基幹施設の３Ｄモデルを生成するようにさらに構成され得る。
【0033】
異常識別装置１３０は、生成された報告をユーザ・デバイス１２０に送信するように構成され得る。ユーザ・デバイス１２０は、報告を受信し、その内部に含まれる視覚的マルチメディア・コンテンツ又は３次元仮想モデルのいずれかを表示し得る。異常識別は、報告の生成及び送信と同様に、リアル・タイム又はほぼリアル・タイムで、たとえば、視覚的マルチメディア・コンテンツが受信されたときに、遂行され得る。限定されない例として、異常は、識別され、位置推定及び地図作成の同時実行（ＳＬＡＭ）又は視覚的ＳＬＡＭなどの技術を使用して２Ｄ画像内で意味的にセグメント化され、結果をリアル・タイムで３Ｄモデルに登録し得る。
【0034】
多様な実施態様では、異常識別装置１３０は、クラウド・コンピューティング・プラットフォーム（図示せず）に配備され得る。そのようなクラウド・コンピューティング・プラットフォームの限定されない例は、Ａｍａｚｏｎ（登録商標）のＷｅｂ Ｓｅｒｖｉｃｅｓ、Ｍｉｃｒｏｓｏｆｔ（登録商標）のＡｚｕｒｅ、ＩＢＭ（登録商標）のｃｌｏｕｄ、などを含む。この目的を達成するために、異常識別装置１３０は、たとえば、ハードウェア（たとえば、サーバ）、ソフトウェア（たとえば、ホスト・クラウド・コンピューティング・サービスに使用されるサーバ上にインストールされたプログラム）、又はそれらの組み合わせとして、実現され得る。
【0035】
【0036】
図２は、一実施例による機械学習を使用して基幹施設における異常の視覚的識別のための方法を示す例示のフローチャート２００である。方法は、限定されないが、画像、映像、３Ｄモデル、又は基幹施設の部分を示す又は表現する他のコンテンツなどの、視覚的マルチメディア・コンテンツに関して遂行される。一実施例では、方法は、図１の異常識別装置１３０によって遂行される。
【0037】
Ｓ２１０では、画像内に示されている基幹施設の異常を識別するために使用されることになる機械学習モデルが、トレーニングされる。トレーニングされるモデルは、材料識別（ＩＤ）モデル及び複数の異常識別（ＩＤ）モデルを含む。材料識別モデルは、基幹施設の部分を示す画像に適用されたとき、基幹施設の部分が作られている材料の種類を識別するためにトレーニングされる。各々の異常識別モデルが、ある種類の材料から作られる基幹施設の部分を示す画像に適用されたとき、その種類材料（たとえば、コンクリート、鋼鉄、など）から作られる基幹施設の部分の１つ又は複数の異常を識別するためにトレーニングされる。したがって、種々の異常識別モデルが、異なる種類の材料から作られる基幹施設の部分の異常を識別するためにトレーニングされる。
【0038】
図３Ａ～Ｂに、それぞれ、材料識別モデル及び異常識別モデルの例示のトレーニング段階が、示されている。
【0039】
図３Ａは、材料識別モデルのトレーニング段階を説明する例示のフロー図３００Ａを示している。例示のフロー図３００Ａでは、トレーニング・データ３１０が、トレーニングされた材料識別モデル３３０を生成するために、機械学習アルゴリズム３２０に入力される。例示の実施態様では、トレーニング・データ３１０は、トレーニング視覚的コンテンツ特徴３１１及び材料ラベル３１２を含む。トレーニング視覚的コンテンツ特徴３１１は、視覚的コンテンツを含み、又は視覚的マルチメディア・コンテンツから抽出され、限定はされないが、視覚的マルチメディア・コンテンツ、その部分（たとえば個々の画素）、画像処理結果、それらの組合せ、などを含み得る。材料ラベル３１２は、具体的な材料（たとえば、鋼鉄又は具体的な多様な鋼鉄）、材料の一般的カテゴリ（たとえば、金属）、その両方、及び同様のものなどの材料の種類を指す。例示の実施態様では、材料識別モデル３３０は、視覚的マルチメディア・コンテンツにより表現された種々の材料を識別及び意味的にラベル付けするためにトレーニングされる、畳み込みニューラル・ネットワークである。畳み込みニューラル・ネットワークは、限定されないが、詳細畳み込みモデル、エンコーダ・デコーダ・ベース・モデル、マルチ・スケール及びピラミッド・ネットワーク・ベース・モデル、全層畳み込みネットワーク、及び領域畳み込みネットワークであり得る。
【0040】
図３Ｂは、異常識別モデルのトレーニング段階を説明する例示のフロー図３００Ａを示している。例示のフロー図３００Ｂでは、トレーニング・データ３４０が、トレーニングされた異常識別モデル３６０を生成するために、機械学習アルゴリズム３５０に入力される。例示の実施態様では、トレーニング・データ３１０は、トレーニング視覚的コンテンツ特徴３４１及び材料ラベル３４２を含む。トレーニング視覚的コンテンツ特徴３４１は、視覚的コンテンツを含み、又は視覚的マルチメディア・コンテンツから抽出され、限定はされないが、視覚的マルチメディア・コンテンツ、その部分（たとえば個々の画素）、画像処理結果、それらの組合せ、などを含み得る。トレーニング視覚的コンテンツ特徴３４１は、材料の具体的な種類（たとえば、コンクリート）を示す視覚的マルチメディア・コンテンツであり、もたらされる異常識別モデル３６０は、材料の種類という点で異常を識別するためにトレーニングされる。より具体的には、異常識別モデル３６０は、各々の欠陥を表現する具体的な部分（たとえば、具体的な画素）を識別するためにさらにトレーニングされる。トレーニング異常識別装置３４２は、視覚的マルチメディア・コンテンツ内に示された異常の種類（すなわち、異常、損傷、又はそれらの他の視覚的徴候）を示す。例示の実施態様では、各々の異常識別モデル３６０は、具体的な材料から作られる基幹施設内の異常を識別するためにトレーニングされる、畳み込みニューラル・ネットワークである。
【0041】
図３Ｃは、図３Ａ～Ｂによりトレーニングされた機械学習モデルを適用する適用段階を説明する例示のフロー図３００Ｃである。図３Ｃでは、入力視覚的コンテンツ３７１が、材料識別モデル３７２に入力される。入力視覚的コンテンツは、限定はされないが、画像、映像、その両方、などを含み得る。材料識別モデル３７２は、たとえば、図３Ａに関して説明されたように、機械学習アルゴリズム３８２をトレーニング・セット３８１に適用することによって、トレーニングされる。材料識別に基づいて、入力視覚的３７１が、クロッピングされた画像３７３にクロッピングされ得る。例示の実施態様では、入力視覚的コンテンツ３７１は、各々のクロッピングされた画像３７３が異なる識別された材料を表現するように、クロッピングされる。
【0042】
クロッピングされた画像３７３は、各々の異常識別モデル３７４に入力される。一実施例では、クロッピングされた画像３７３を異常識別モデル３７５に入力する前に、クロッピングされた画像３７３が前処理され得る。この前処理は、クロッピングされた画像を所定の完全な画像サイズ（たとえば、６０００×４０００画素）にするために、同種の色を有する画素（たとえば、全て白い画素）を各々のクロッピングされた画像に追加することを含み得る。画像サイズ差が、誤った識別をもたらし、ＣＮＮが入力時の特定の画像サイズを必要とするほとんどの事例でのように、ＣＮＮに関する問題の原因となり得るので、クロッピングされた画像を所定のサイズにするように前処理することは、異常検出の正確度を改善する。
【0043】
異常識別モデル３７４は、たとえば、図３Ｂに関して説明されたように、機械学習アルゴリズム３９２をトレーニング・セット３９１に適用することによって、トレーニングされる。異常識別モデル３７４は、その内部で識別された異常で意味的にラベル付けされた出力画像３７５を出力する。一実施例では、出力画像３７５は、意味的にラベル付けされた画像を入力視覚的コンテンツ３７１の上に重ね合わせることによって、作成される。
【0044】
再び図２を参照すると、Ｓ２２０では、異常が識別されるべき視覚的コンテンツが取得される。視覚的は、たとえば、データベース（たとえば、図１のデータベース１４０のうちの１つ）から回収され得る。画像は、限定はされないが、基幹施設の１つ又は複数の部分を示す、画像、映像、及び同様のものを含み得る。
【0045】
任意選択のＳ２３０では、画像が、前処理され得る。
【0046】
一実施例では、Ｓ２３０は、限定はされないが、ぼやけた、雑音のある、過剰収縮された、又はひずんだ画像を除去することを含み得る。過剰収縮された画像を除去することは、画像の各々の別個の部分が、異常又はその不在のいずれかを表現すること（たとえば、画素が基幹施設の部分のうちの欠陥部及び非欠陥部の両方を示さないこと）の可能性を増大させることによって、異常のより正確な識別に寄与する。さらに、過剰収縮された画像を除去することは、材料識別モデルが、画像ごとの単一の種類の材料のみを識別するようにトレーニングされる場合、複数の材料が、同一の画像内にキャプチャされることの可能性を低減する。このことは、結果として、異常識別モデルのより正確な選択をもたらす。
【0047】
別の実施例では、Ｓ２３０は、所望の３Ｄモデル観点を対応する像平面上に投影すること（すなわち、レンダリング）による、３Ｄモデルを含む視覚的マルチメディア・コンテンツに基づいて、複数の２Ｄ視点を生成することを含み得る。そのような実施例では、生成された視点は、最初の３Ｄモデルの代わりに後続の処理のための視覚的マルチメディア・コンテンツとして使用される。さらなる実施例では、複数の２Ｄ視点を生成することは、３Ｄモデルを３Ｄモデル・ビューワにロードすることと、カメラの位置、向き、又はそれらの組合せの複数のセットを生成することと、を含む。複数のスナップ・ショットが、カメラ位置及び向きの複数のセットを使用して撮影され得る。カメラ位置及び向きは、不規則に生成され得、又は材料及び損傷識別に意味のある２Ｄ視点をもたらしそうな複数の画像をキャプチャするように設計されたスキームに従って生成され得る。
【0048】
より具体的には、カメラ位置は、シーンの境界ボックス内部のカメラの中心座標のセットを不規則に選択することによって、不規則に生成され得る。中心座標のセットは、異なる高度を有する中心座標を含み得る。例示の実施態様では、視野方向は、地面に対して３０～４０°の錐体に向けられて選択される。意味のある視点保証するために、例示の実施態様では、視点の少画素のなくとも２０％は、３Ｄモデルの点に対応すべきである（すなわち、各視点の少なくとも２０％は、３Ｄモデルの部分を示すべきである）。
【0049】
別法として、カメラ位置は、３Ｄモデルの点の中に開始点を選択することによって、マルチスケール・スキームに従って、生成され得る。ラインは、ラインが点を通るように選択され、ライン上にある複数の（たとえば、３つの）カメラ位置が、生成される。各々のカメラ位置は、開始点に向かって面するカメラの向きに関連付けられている。
【0050】
Ｓ２４０では、材料識別モデルは、視覚的マルチメディア・コンテンツに示されている基幹施設の部分の材料の種類を識別するために、視覚的マルチメディア・コンテンツ又はそこから抽出された特徴に適用される。
【0051】
Ｓ２５０では、識別された材料の種類に基づいて、異常識別モデルのうちの１つが選択される。選択された異常識別モデルは、識別された材料の種類での異常を識別するようにトレーニングされている。
【0052】
いくつかの実施態様（図示せず）では、種々の異常識別モデルが、視覚的マルチメディア・コンテンツの異なる部分に選択され得る。このことは、たとえば、異なる画像又は視点が種々の材料から作られた基幹施設の種々の部分を顕著に特徴づける場合、発生し得る。そのような実施態様では、各々の選択された異常識別モデルは、そのそれぞれの画像又は視点に適用され得る。
【0053】
さらなる実施例では、Ｓ２５０は、材料識別に基づいて視覚的マルチメディア・コンテンツの種々の部分をクロッピングすること又はそうでなければ分離することと、部分ごとに異常識別モデルを選択することと、を含み得る。したがって、各々の分離された部分は、異なる材料から作られた基幹施設の部分を表現する。
【0054】
Ｓ２６０では、選択された異常識別モデルは、視覚的マルチメディア・コンテンツのどの部分が異常を示すか決定するために、視覚的マルチメディア・コンテンツ又はそこから抽出された特徴に適用される。より具体的には、Ｓ２６０は、視覚的マルチメディア・コンテンツのどの別個の部分（たとえば、画素、パラメトリック表面の面積、点群の点、表面メッシュの三角形など）が、各々の識別された欠陥を表現するかを決定することを含む。例示の実施態様では、Ｓ２６０は、画像の画素ごとに、異常が、その画素によって表現されているか、及びどの異常がその画素によって表現されているかを決定することを含む。例示の別の実施態様では、Ｓ２６０は、３Ｄモデルの点ごとに、異常が、その点によって表現されているか、及びどの異常がその点によって表現されているかを決定することを含む。
【0055】
Ｓ２７０では、視覚的マルチメディア・コンテンツが、意味的にセグメント化される。意味的にセグメント化された視覚的マルチメディア・コンテンツは、ラベル付けされた別個の部分（たとえば、画素、３Ｄモデルの点、など）を含み、ここで各々のラベルは、そのそれぞれの別個の部分に関して決定された異常（又はその不在）を示す。
【0056】
任意選択のＳ２８０では、識別された異常を表現する１つ又は複数のパターンが、意味的にセグメント化された視覚的マルチメディア・コンテンツから抽出される。意味的にセグメント化された視覚的マルチメディア・コンテンツ内で識別された異常を表現するパターンの一例が、図１０Ｃに示され、以下で説明される。一実施例では、抽出されたパターンが、図８に関して以下で説明されるような基幹施設の部分を表現する３Ｄモデルを、意味的にラベル付けするために利用される。
【0057】
任意選択のＳ２９０では、報告が生成され得る。報告は、限定はされないが、視覚的マルチメディア・コンテンツ内で示された各異常の定量化、異常でない基幹施設部分の領域から異常を視覚的に区別する変更された視覚的マルチメディア・コンテンツ、異常でない基幹施設部分の領域から異常を視覚的に区別する３次元仮想モデル、又はそれらの組み合わせを含み得る。この目的を達成するために、Ｓ２９０は、そのような定量化の値を決定すること、又は意味的にセグメント化された視覚的マルチメディア・コンテンツに基づいた画像又は３次元仮想モデルを作成することをさらに含む。意味的にラベル付けされた視覚的マルチメディア・コンテンツを使用した３Ｄモデルの作成は、さらに図８に関して説明される。
【0058】
定量化は、たとえば、視覚的マルチメディア・コンテンツの全体部分のサイズと比較して、視覚的マルチメディア・コンテンツの部分（たとえば、欠陥を表現する画像、視点、又は３Ｄモデルの部分）に示される異常の相対的サイズ（たとえば、画像の全画素数と比較して異常を表現する画素数に基づいた、３Ｄモデルの全点数と比較して異常を表現する点数に基づいた、３Ｄモデル全体のサイズと比較した異常のメッシュのサイズに基づいた、など）であり得る。定量化は、限定はされないが、相対的な面積、体積、高さ、幅、又は欠陥の他の測定値であり得る。限定されない例として、定量化は、支柱内のひび割れの相対的幅を指し得る。
【0059】
別法として、一実施例では、定量化は、異常の絶対サイズである。限定されない例として、定量化は、ミリメートルのひび割れの厚さであり得る。そのような実施例では、定量化は、意味的にラベル付けされた３Ｄモデルの既知の大きさ、及び意味的にラベル付けされた３Ｄモデル全体を比較した異常部分の相対的サイズに基づいて決定される。既知の大きさは、たとえば、各点のサイズを指し得る。いくつかの実施態様では、既知の大きさは、公共基幹施設の既知のサイズに基づいて、さらに導出され得る。
【0060】
変更された視覚的マルチメディア・コンテンツは、異常を表現する部分に関して、それらの部分が、他の部分（すなわち、異常を表現しない部分）とは視覚的に別個であるように、変更される。例示の実施態様では、変更は、視覚的マルチメディア・コンテンツで示される材料の色とは別個でない色を使用して、異常を表現する別個の部分の色を変えることを含み得る（たとえば、緑、赤、又は青色が、灰色のコンクリート内のひび割れを視覚的に区別するために使用され得る）。視覚的マルチメディア・コンテンツは、種々の異常を表現する画素が、互いとはやはり視覚的に別個であるように、さらに変更され得る。
【0061】
一実施例では、Ｓ２９０は、異常の定量化及び１つ又は複数の状態状況（ｃｏｎｄｉｔｉｏｎ ｓｔａｔｅ）ルールに基づいて、各異常の状態状況を識別することをさらに含む。状態状況は、異常の深刻さ、すなわち、異常がどれだけ異常であるかの尺度を指し得る。状態状況ルールは、予め決定されていてもよく、限定されないが、米国全州道路交通運輸行政官協会（ＡＡＳＨＴＯ）、米国材料試験協会（ＡＳＴＭ）、及び同様のものなどの、監督機関によって提供された状態状況の記述に基づき得る。限定されない例示の状態状況は、良好、中程度、劣悪、及び危険を含む。
【0062】
状態状況ルールは、状態状況、及び種々の種類の異常、材料、又はその両方の対応する定量化を定義する。限定されない例として、鉄筋コンクリート（材料）のひび割れ（異常）には、０．０３０４８ｃｍ（０．０１２インチ）未満のひび割れ幅が良好の状態状況を有し得、０．０３０４８ｃｍ（０．０１２インチ）～０．１２７ｃｍ（０．０５インチ）のひび割れ幅が中程度の状態状況を有し得、０．１２７ｃｍ（０．０５インチ）を超えるひび割れ幅が劣悪の状態状況を有し得る。別法として又は集合的に、定量化絶対値のしきい値に対して状態状況ルールを定義するために、種々の状態状況のしきい値が、絶対値でなく割合を基準にして定義され得る。
【0063】
この点で、監督機関によって提供されているいくつかの状態状況の定義は、別の深刻さのレベルのしきい値として「適度」、「重度」などの記述を含むことに留意されたい。しかしながら、これらの記述は、非常に主観的である。開示された実施例が、より大きな基幹施設に対する異常の客観的なサイズを表現する定量化を提供するので、開示された実施例は、これらの主観的な記述を実施するために、深刻さの判断を客観的にさせる仕方で利用され得る。
【0064】
図５Ａ及び５Ｂは、橋の部分の、例示の画像５００Ａ及び５００Ｂをそれぞれ示している。具体的には、図５Ａ及び５Ｂは、橋の接合部を示している。画像５００Ａは、異常５１０－１及び５１０－２を示す元の画像である。例示の画像５００Ａでは、異常５１０－１及び５１０－２は、橋の接合部への損傷である。より具体的には、例示の図５Ａ及び５Ｂで示されている損傷は、剥落及び露出した鉄筋である。画像５００Ａは、ステップＳ２２０～Ｓ２６０に関して説明したように分析され、変更された画像５００Ｂが作成される。画像５００Ｂは、画像５００Ｂの残りの部分から視覚的に別個であるように変更されている、変更された異常５１０－１及び５１０－２としての異常を示している。
【0065】
モデルが生成されるとき、３次元仮想モデルは、限定されないが、欠陥のない部分とは視覚的に別個である異常を表現する別個の部分（たとえば、パラメトリック表面の面積、表面メッシュの三角形、点群の点、など）をさらに含み得る。いくつかの実施態様では、Ｓ２９０は、３次元仮想モデルを、たとえばＳ２２０で取得された画像に基づいて、作成することをさらに含み得る。例示の実施態様では、３次元仮想モデルは、ＲＧＢカラー・モデルを使用して色付けされたモデルであり得る。３次元仮想モデルの作成により、視覚的コンテンツ内に示された基幹施設というコンテキストで識別された異常を視覚的に例示することが可能になり、結果として、異常識別データとのユーザ対話を改善する。
【0066】
図６Ａ及び６Ｂは、例示の３次元（３Ｄ）３次元仮想モデル６００Ａ及び６００Ｂを示している。３Ｄモデル６００Ａは、異常６１０を特徴づけている支柱を示している。例示の３Ｄモデル６００Ａでは、異常６１０は、支柱内のひび割れである。支柱の画像は、ステップＳ２２０からＳ２６０に関して説明したように分析され、変更された３Ｄモデル６００Ｂが作成される。３Ｄモデル６００Ｂは、ひび割れをモデルの他の部分から視覚的に区別するように変更されている、ひび割れ６１０を示している。
【0067】
図７Ａ～Ｃは、それぞれ、３Ｄ仮想モデル７００Ａ、７００Ｂ、及び７００Ｃの例示の図解を示している。３Ｄモデル７００Ａは、異常７２０を特徴づけている支柱７１０を示している。支柱７１０の画像は、ステップＳ２２０～Ｓ２６０に関して説明したように分析され、変更された３Ｄモデル７００Ｂが作成される。
【0068】
変更された３Ｄモデル７００Ｂは、図７Ａで示されているひび割れ７２０の位置の周りの視覚的に別個の区分７３０を示している。例示の実施態様では（図７Ｂの白黒の図では反映されていない）、視覚的に別個の区分７３０は、たとえば、ピンク又は青の色調を使用して色付けされ得る。
【0069】
変更された３Ｄモデル７００Ｃは、視覚的に別個の小区分７３０－１から７３０－３を示している。小区分７３０－１の各々は、ひび割れ７２０の視覚的に区別された区分である。小区分７３０－１から７３０－３は、異なる粒度であり得る。限定されない実例として、そのような粒度は、ミリメートルのひび割れの厚さで表現され得る。
【0070】
この点で、ひび割れ及び他の欠陥などの異常が、種々の部分で粒度的（たとえば、幅、半径、厚さ、など）に、多様であり得ることに留意されたい。これらの多様さは、公共基幹施設の状況の評価に非常に関連している。たとえば、ひび割れは、その長さに沿って厚さを変化させ得、より厚い厚さを有するひび割れの部分が、保守を実施する場合、優先され得る。したがって、多様な粒度の部分を互いから視覚的に区別することにより、公共基幹施設の状況を、効果的に、視覚的に表現することが可能になる。
【0071】
この目的を達成するために、一実施例では、異常の部分（たとえば、異常を示す３Ｄモデル上の１つ又は複数の点によって表現されている各部分）は、その部分の粒度に応じて色付けされ得る。よって、色の変化は、異なる粒度を視覚的に識別するヒートマップとして効果的に機能し得る。種々の粒度は、たとえば、本明細書で説明されるように決定された種々の定量化として、識別され得る。
【0072】
限定されない例として、図３Ｃでは、小区分７３０－１から７３０－３は、それぞれ４ミリメートル、３ミリメートル、及び２ミリメートルの厚さを有する。したがって、さらなる例では、小区分７３０－１は、赤色で色付けされ得、小区分７３０－２は、オレンジ色で色付けされ得、小区分７３０－３は、黄色で色付けされ得る。視覚的表示が、このように色付けされた３Ｄモデルに基づいて生成される場合、厚さの差異は、ユーザにとって容易に見ることができる。
【0073】
図７Ｃが、３つの別個の厚さを有するひび割れ７２０が３つの分岐を有するように描写されているが、そのような描写は、単なる例示であり、開示された実施例を限定しないことに留意されたい。開示された実施例は、さらなる変形形態に同じように適用可能である。限定されない例として、小区分７３０－１から７３０－３の各々は、それらの長さに沿って厚さの変化を示すために、種々に色付けされた画素を含み得る。さらに、上述の例示の色は、限定されず、種々の色が、それに応じた部分を視覚的に区別するために、使用され得る。
【0074】
再び図２を参照すると、図２は、単に簡単にする目的のために、視覚的マルチメディア・コンテンツ内で示されている単一の材料を識別することに関して説明されており、複数の材料が、開示された実施例により識別され得ることに留意されたい。いくつかの実施態様では、機械学習モデルが、複数の材料（適用可能な場合）を識別するために、及び各材料を示す視覚的マルチメディア・コンテンツの部分を識別するために、トレーニングされ得る。そのような実施態様は、異常識別のさらなる粒度及び、したがって正確度を可能にする。
【0075】
図２の多様な実施例が２Ｄ画像の画素又は３Ｄモデルの構成要素（たとえば、パラメトリック表面の面積、点群の点、表面メッシュの三角形、など）の視点に関して説明されているが、視覚的マルチメディア・コンテンツの他の別個の部分は、開示された実施例から逸脱することなく同じように使用され得ることにさらに留意されたい。また、図２のいくつかの実施例は、画像内の異常を識別することに関して説明されているが、異常は、他の視覚的マルチメディア・コンテンツ（たとえば、映像又は映像フレーム）内で識別され得る。さらに、視覚的マルチメディア・コンテンツは、２次元又は３次元であり得る。機械学習モデルが、種々のマルチメディア・コンテンツのために（たとえば、２Ｄ画像及び３Ｄ画像のために）種々にトレーニングされ得る。
【0076】
図２は、単に簡単にするために、単一の異常識別モデルを適用することに関して説明されており、複数の異常識別モデルが適用され得る（たとえば、複数の材料が検出された場合）ことに留意されたい。この目的を達成するために、いくつかの実施態様では、図２の方法が、種々の材料を表現する視覚的コンテンツの部分をクロッピングすること又はそうでなければ分離すること、及び各々の部分に異なる異常識別モデルを適用することをさらに含み得る。
【0077】
いくつかの実施例では、意味的にラベル付けすることが、入力されている視覚的マルチメディア・コンテンツの種類を考慮する処理の部分として遂行され得る。そのような処理を示している例示のフロー図８００が、図８に示されている。
【0078】
８１０では、入力された視覚的マルチメディア・コンテンツが、２Ｄコンテンツ（たとえば、２Ｄ画像、２Ｄ映像、又はその両方）を含むか決定される。２Ｄコンテンツを含む場合、実行が８６０で続けられ、そうでない場合、実行は８２０で続けられる。
【0079】
８２０では、視覚的マルチメディア・コンテンツが、２Ｄ画像又は映像でない場合（すなわち、視覚的マルチメディア・コンテンツが、３Ｄモデルである）、３Ｄモデルが前処理される。８３０では、仮想視点生成が、本明細書で説明されるような３Ｄモデルの複数の仮想視点を作成するために、遂行され得る。８４０では、仮想視点で示された異常が、識別され、意味的にラベル付けされる。一実施例では、意味的ラベル付けが、図２に関して説明されたように遂行される。８５０では、３Ｄ逆投影が、意味的にラベル付けされた３Ｄモデルを作成するために遂行される。
【0080】
８６０では、視覚的マルチメディア・コンテンツが、２Ｄ画像又は映像を含む場合、画像又は映像の映像フレームが、前処理される。
【0081】
８７０では、視覚的マルチメディア・コンテンツが、３Ｄモデル再構成に利用されることになるか決定される。利用される場合、実行が８８０で続けられ、そうでない場合、実行は８９０で続けられる。
【0082】
８８０では、異常の意味的ラベル付け及び３Ｄモデル生成が遂行される。意味的ラベル付けが、図２に関して説明されたように遂行され得る。結果として得られたラベル付けされた画像及びカメラ姿勢が、８８５で、２Ｄ視覚的マルチメディア・コンテンツを表現する意味的にラベル付けされた３Ｄモデルを作成するために利用され、３Ｄ逆投影を遂行する。３Ｄモデル生成は、構造体の３Ｄモデルを再構築するために利用され、限定されないが、動作からの構造、多視点ステレオ、画像ベースモデリング、対話型多視点モデリング、自動多視点モデリング、それらの組合せ、及び同様のものなどの方法を使用することを含み得る。
【0083】
８９０では、異常の意味的ラベル付けが、たとえば、図２に関して説明されたように、２Ｄ画像又は映像に関して遂行される。
【0084】
図９Ａ～Ｃは、開示された実施例による、視覚的コンテンツに基づいて作成された３Ｄモデルを実証するために利用される例示画像である。図９Ａは、ブリッジ近傍に配備されたドローンによってキャプチャされた橋の画像９００Ａを示している。そのような多様な画像が、キャプチャされ、本明細書で説明されるように利用される。結果が、レンダリング９００Ｂ及び９００Ｃに視覚的に描写されている３Ｄモデルである。レンダリング９００Ｃは、橋の支持部分の接近視野をさらに示している。多様な実施態様では、ブリッジの部分は、本明細書で説明されるように基幹施設内で識別された異常に負荷される、別個の色調又は他の視覚的に区別する特徴を含み得る。
【0085】
図１０Ａ～１０Ｃは、視覚的に別個のマーカの３Ｄモデルへの適用を例示するために利用されている、図９Ｂ～Ｃで示されている３Ｄモデルの他の視野１０００Ａ及び１０００Ｂを示している。図１０Ａに見られるように、橋には、ひび割れ並びに印１０１０－１及び１０１０－２が、発現している。これらのひび割れ及び印１０１０－１及び１０１０－２は、区別する特徴を強調表示する一方で、ひび割れ及び印１０１０－１及び１０１０－２の通常の形状を反映した、濃厚な色調のマーカ１０２０－１及び１０２０－２を使用して、マーキングされている。
【0086】
図４は、一実施例による異常識別装置１３０の例示の概略図である。異常識別装置１３０は、メモリ４２０、記憶装置４３０、及びネットワーク・インタフェース４４０に結合された処理回路４１０を含む。一実施例では、異常識別装置１３０の構成要素が、バス４５０を介して通信可能に接続され得る。
【0087】
処理回路４１０は、１つ又は複数のハードウェア論理構成要素及び回路として実現され得る。たとえば、それだけには限らないが、使用され得る、例示的な種類のハードウェア論理構成要素は、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システム・オン・チップ・システム（ＳｏＣ）、汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）及び同様のもの、又は情報の計算又は他の操作を遂行し得る他の任意のハードウェア論理構成要素を含む。
【0088】
メモリ４２０は、揮発性（たとえば、ＲＡＭ、など）、不揮発性（たとえば、ＲＯＭ、フラッシュメモリ、など）、又はそれらの組み合わせであり得る。ある構成では、コンピュータ読み取り可能な命令が、本明細書で開示された１つ又は複数の実施例を実施するために、記憶装置４３０に保存され得る。
【0089】
別の実施例では、メモリ４２０は、ソフトウェアを保存するように構成されている。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はその他、と呼ばれるか否かによらず、任意の種類の命令を意味すると広く解釈されるものとする。命令は、コード（たとえば、ソース・コード形式、２進コード形式、実行可能なコード形式、又は他の任意の適切なコード形式）を含み得る。命令は、処理回路４１０によって実行されるとき、処理回路４１０に本明細書で説明された多様な処理を遂行する。
【0090】
記憶装置４３０は、磁気記憶装置、光学記憶装置、などであり得、たとえば、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又は所望の情報を保存するために使用され得る他の任意の媒体として実現され得る。
【0091】
ネットワーク・インタフェース４４０は、異常識別装置１３０が、たとえば、基幹施設の部分を示す視覚的マルチメディア・コンテンツを回収するために、データベース１４０と通信することを可能にする。さらに、ネットワーク・インタフェース４４０は、異常識別装置１３０が、視覚的マルチメディア・コンテンツ、モデル、又はその両方をディスプレイに送信するために、ユーザ・デバイス１２０と通信することを可能にする。
【0092】
本明細書で説明された実施例は、図４に示されている具体的な建築物に限定されず、他の建築物が、開示された実施例の範囲から逸脱することなく、同じように使用され得ることを理解されたい。
【0093】
本明細書で説明された多様な実施例は、単に簡単にするために、機械学習モデルの視覚的マルチメディア・コンテンツへの適用に言及しており、そのような適用は、機械学習モデルを、画像など視覚的マルチメディア・コンテンツに、直接適用することが必ずしも必要ではないことに留意されたい。具体的には、特徴は、視覚的マルチメディア・コンテンツから抽出され得、機械学習モデルは、開示された実施例により抽出された特徴のうちの部分又は全てに適用され得る。
【0094】
さらに、多様な開示された実施例は、道路、橋、建築物、ダム、導管、線路、トンネル、電柱、電力線、その部分、及び同様のものなどの、例示の基幹施設又はその部分に関して説明されているが、視覚的に表現され得る任意の基幹施設が、開示された実施例による異常のために分析され得る。開示された実施例は、本明細書で示されている基幹施設の具体的な例示の部分に限定されない。
【0095】
本明細書で開示されている多様な実施例は、ハードウェア、ファームウェア、ソフトウェア、又は任意のそれらの組み合わせとして、実施され得る。その上、ソフトウェアは、プログラム記憶装置、又は部品若しくはいくつかのデバイス及び／又はデバイスの組み合わせからなるコンピュータ可読媒体上に実体的に具体化されたアプリケーション・プログラムとして実装されることが好ましい。アプリケーション・プログラムは、任意の好適な建築物を含む装置にアップロードされ、そのプログラムによって実行され得る。装置は、１つ又は複数の中央処理装置（「ＣＰＵ」）、メモリ、及び入出力インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実装されることが好ましい。より具体的には、装置は、グラフィック処理ユニット（ＧＰＵ）を含み得る。コンピュータ・プラットフォームは、オペレーティングシステム及びマイクロ命令コードをさらに含み得る。本明細書で説明された多様な処理及び機能は、マイクロ命令コードの部分又はアプリケーション・プログラムの部分のいずれか、又はそれらの任意の組み合わせであり得、そのようなコンピュータ又はプロセッサが明示的に示されている、いないにかかわらず、ＣＰＵによって実行され得る。加えて、追加のデータ記憶装置及び印刷装置などの多様な他の周辺機器が、コンピュータ・プラットフォームに接続され得る。さらに、非一時的コンピュータ可読媒体は、過渡的な伝播する信号を除く任意のコンピュータ可読媒体である。
【0096】
本明細書で記載された全ての実例及び状態の文言は、開示された実施例の原理及び発明者による技術促進に寄与される概念を読者が理解することを支援する教育的な目的のために意図されており、そのような具体的に記載された実例及び状態への制限はないと解釈されることになる。その上、開示された実施例の原理、態様、及び実施例を記載する本明細書の全ての陳述、及びその具体的な実例は、その構造的及び機能的同等物の両方を包括的に含むことが意図されている。さらに、そのような同等物は、目下の既知の同等物及び将来開発される同等物、すなわち、構造体に関わらず同様の機能を遂行する開発された任意の構成要素の両方を含むことが意図されている。
【0097】
「第１の」、「第２の」などのような指示を使用した本明細書での要素への任意の言及は、一般に、それらの要素の数量又は順序を限定しないことを理解されたい。むしろ、これらの指示は、一般に、２つ以上の構成要素又は要素の事例間を区別する簡便な方法として本明細書で使用されている。したがって、第１及び第２の要素への言及は、２つの要素のみがそこで利用され得ること、又はいくつかの方法において第１の要素が第２の要素に先行しなければならないことを、意味しない。さらに、特に指示の無い限り、１組の要素は、１つ又は複数の要素を含む。
【0098】
本明細書で使用されるように、項目の列挙がその後に続く「のうちの少なくとも１つ」という語句は、列挙された項目の任意のものが、個々に利用され得る、又は列挙された項目のうちの２つ以上の任意の組み合わせが利用され得る、ということを意味する。たとえば、システムが、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」を含むように記載されている場合、システムは、単独でＡと、単独でＢと、単独でＣと、２つのＡと、２つのＢと、２つのＣと、３つのＡと、組み合わせたＡ及びＢと、組み合わせたＢ及びＣと、組み合わせたＡ及びＣと、組み合わせたＡ、Ｂ及びＣと、組み合わせた２つのＡ及びＣと、組み合わせたＡ、３つのＢ及び２つのＣと、などを含み得る。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【国際調査報告】