特開 2024-121765 構造物の安全診断のための構造物状態の分析方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121765

(43)【公開日】2024-09-06

(54)【発明の名称】構造物の安全診断のための構造物状態の分析方法及び装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240830BHJP

   B64C 39/02 20060101ALI20240830BHJP

   B64C 27/08 20230101ALI20240830BHJP

   B64D 47/08 20060101ALI20240830BHJP

   B64U 20/87 20230101ALI20240830BHJP

   E01D 22/00 20060101ALN20240830BHJP

   B64U 101/26 20230101ALN20240830BHJP

   B64U 101/30 20230101ALN20240830BHJP

【ＦＩ】

G01N21/88 J

B64C39/02

B64C27/08

B64D47/08

B64U20/87

E01D22/00 A

B64U101:26

B64U101:30

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023166417

(22)【出願日】2023-09-27

(31)【優先権主張番号】10-2023-0026334

(32)【優先日】2023-02-27

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】523370325

【氏名又は名称】コーマッパー カンパニー リミテッド

【氏名又は名称原語表記】Ｋｏ－Ｍａｐｐｅｒ Ｃｏ．， Ｌｔｄ

【住所又は居所原語表記】（Ｓａｍｓｅｏｎｇ－ｄｏｎｇ， ｐｌｕｓｏｎｅ） ２ｎｄ Ｆｌｏｏｒ， １３ Ｂｏｎｇｅｕｎｓａ－ｒｏ ５７－ｇｉｌ， Ｇａｎｇｎａｍ－ｇｕ， Ｓｅｏｕｌ ０６０９７ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】キム ダルジュ

(72)【発明者】

【氏名】ハン ウンジ

(72)【発明者】

【氏名】クォン ヨンフン

(72)【発明者】

【氏名】パク ジェヨン

(72)【発明者】

【氏名】ジョン オクレ

【テーマコード（参考）】

2D059

2G051

【Ｆターム（参考）】

2D059AA03

2D059EE00

2G051AA90

2G051AB02

2G051AC15

2G051CA04

2G051EB05

2G051FA02

(57)【要約】

【課題】ドローンなどを活用して撮影した構造物の画像に基づいて構造物の状態を確認し、かつ構造物の欠陥を識別することができ、構造物を撮影した画像及び欠陥情報を構造物の各部分と紐付けて手軽にデータベース化させることがすることができる他、しかも、構造物の欠陥情報に基づいて、構造物の安全診断のための状態情報を統計的に分析して与えることができる構造物の安全診断のための構造物状態の分析方法及び装置を提供する。
【解決手段】コンピューティング装置により行われる構造物状態の分析方法であって、構造物の第１の部分を指定するステップと、前記第１の部分と紐付けられた一枚以上の画像をアップロードするステップと、前記一枚以上の画像に基づいて、前記第１の部分を示す合成画像を生成するステップと、前記合成画像を分析して前記構造物の欠陥を識別するステップと、を含む構造物状態の分析方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピューティング装置により行われる構造物状態の分析方法であって、
構造物の第１の部分を指定するステップと、
前記第１の部分と紐付けられた一枚以上の画像をアップロードするステップと、
前記一枚以上の画像に基づいて、前記第１の部分を示す合成画像を生成するステップと、
前記合成画像を分析して前記構造物の欠陥を識別するステップと、
を含む、構造物状態の分析方法。

【請求項2】

前記一枚以上の画像をアップロードするステップにおいては、
ディスプレイの第１の領域に前記第１の部分の情報を表示し、
前記ディスプレイの第２の領域に前記第１の部分の外形を示す画像を表示し、
前記ディスプレイの第３の領域に前記一枚以上の画像の一覧またはプレビューを表示する、請求項１に記載の構造物状態の分析方法。

【請求項3】

前記一枚以上の画像をアップロードするステップにおいては、
前記ディスプレイの第４の領域に前記第１の部分が含まれている前記構造物の縮小図を表示し、
前記縮小図は、ユーザー操作により予め決められた方向に拡張される、請求項２に記載の構造物状態の分析方法。

【請求項4】

前記縮小図が前記予め決められた方向に拡張されるとき、前記縮小図のうち、前記第１の部分が含まれている一部は、色合い、記号、または図形を用いて前記縮小図の他の一部と区別表示される、請求項３に記載の構造物状態の分析方法。

【請求項5】

前記合成画像を生成するステップにおいては、
前記一枚以上の画像に共通して含まれている特徴点に基づいて前記一枚以上の画像をつなぎ合わせて（スティッチして）前記合成画像を生成する、請求項１に記載の構造物状態の分析方法。

【請求項6】

前記構造物の欠陥を識別するステップにおいては、
前記合成画像をマシンラーニングされた人工知能モデルに入力して前記欠陥を識別する、請求項１に記載の構造物状態の分析方法。

【請求項7】

前記構造物の欠陥を識別するステップにおいては、
ディスプレイの第５の領域に前記構造物の部分画像及び前記欠陥を表示し、
前記ディスプレイの第６の領域に前記欠陥のアイコン、類型、または大きさを表示する、請求項６に記載の構造物状態の分析方法。

【請求項8】

前記識別された前記欠陥に基づいて、前記構造物状態の分析結果を出力するステップをさらに含む、請求項１に記載の構造物状態の分析方法。

【請求項9】

前記構造物状態の分析結果を出力するステップにおいては、
前記構造物の部分別の損傷数、前記構造物の部材別の損傷数、前記構造物の部材別の損傷検出比率、前記構造物の類型別の損傷数、または前記構造物の年度別の損傷情報を出力する、請求項８に記載の構造物状態の分析方法。

【請求項10】

プロセッサーと、
前記プロセッサーにより実行されるコンピュータープログラムをロード（ｌｏａｄ）するメモリーと、
前記コンピュータープログラムを格納するストレージと、
を備え、
前記コンピュータープログラムは、
構造物の第１の部分を指定する動作と、
前記第１の部分と紐付けられた一枚以上の画像をアップロードする動作と、
前記一枚以上の画像に基づいて、前記第１の部分を示す合成画像を生成する動作と、及び前記合成画像を分析して前記構造物の欠陥を識別する動作とを行うためのインストラクションを含む、
構造物状態の分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造物状態の分析方法及び装置に関し、より詳細には、構造物の安全診断のために、構造物を撮影した画像に基づいて構造物の状態を分析する構造物状態の分析方法及び装置に関する。

【背景技術】

【0002】

近頃、老巧化した建物や社会基盤施設（インフラストラクチャー）などに対する安全点検及びメンテナンスへの需要が増えつつある。このような老巧化した構造物の寿命の管理と安全性の確保のためには、構造物の外観の安全点検を行うことで、構造物の表面にできた亀裂やひび割れ（クラックとも呼ばれる）などをいち早く探知してメンテナンスを行うことが肝要である。

【0003】

しかしながら、従来の構造物の外観の安全点検技術は、ほとんどの場合、人間が自ら目視にて確認する方式に依存しているが故に、高いところに位置している構造物や人間がアクセスし難い施設物に対しては外観の安全点検を行い難いという問題があった。

【0004】

社会の全般にわたってドローンの活用度がどんどん高くなることに伴い、構造物の外観の安全点検にもドローン技術を活用しようとする試みが益々増えている。ドローンにカメラを搭載して運用すれば、人間がアクセスし難い構造物にも手軽にアクセスして構造物の外観を撮影することができるという長所がある。

【0005】

したがって、ドローンなどを活用して撮影した構造物の画像などに基づいて構造物の状態を確認及び分析することができるのであれば、それから構造物の損傷項目を特定しかつ検出することができて、構造物の安全診断及びメンテナンスをより一層効果的に行うことができる筈である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】大韓民国登録特許第１０－２４９５４９７号公報（２０２３年２月６日付け公告）

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の実施形態を通じて解決しようとする技術的課題は、ドローンなどを活用して撮影した構造物の画像に基づいて構造物の状態を確認し、かつ構造物の欠陥を識別することのできる構造物の安全診断のための構造物状態の分析方法及び装置を提供することである。

【0008】

本発明の実施形態を通じて解決しようとする他の技術的課題は、構造物を撮影した画像及び欠陥情報を構造物の各部分と紐付けて手軽にデータベース化させることのできる構造物の安全診断のための構造物状態の分析方法及び装置を提供することである。

【0009】

本発明の実施形態を通じて解決しようとするさらに他の技術的課題は、構造物の欠陥情報に基づいて、構造物安全診断のための状態情報を統計的に分析して与えることのできる構造物の安全診断のための構造物状態の分析方法及び装置を提供することである。

【0010】

本発明が解決しようとする技術的課題は、上述した課題に何ら制限されるものではなく、言及されていない他の技術的課題は、下記の記載から本発明の技術分野における通常の技術者にとって明らかに理解できる筈である。

【課題を解決するための手段】

【0011】

上記の技術的課題を解決するための本発明の実施形態に係る、構造物の安全診断のための構造物状態の分析方法は、コンピューティング装置により行われるものであり、構造物の第１の部分を指定するステップと、前記第１の部分と紐付けられた一枚以上の画像をアップロードするステップと、前記一枚以上の画像に基づいて、前記第１の部分を示す合成画像を生成するステップと、前記合成画像を分析して前記構造物の欠陥を識別するステップと、を含むことを特徴とする。

【0012】

一実施形態によれば、前記一枚以上の画像をアップロードするステップにおいては、ディスプレイの第１の領域に前記第１の部分の情報を表示し、前記ディスプレイの第２の領域に前記第１の部分の外形を示す画像を表示し、前記ディスプレイの第３の領域に前記一枚以上の画像の一覧またはプレビューを表示してもよい。

【0013】

一実施形態によれば、前記一枚以上の画像をアップロードするステップにおいては、前記ディスプレイの第４の領域に前記第１の部分が含まれている前記構造物の縮小図を表示し、前記縮小図は、ユーザー操作により予め決められた方向に拡張されてもよい。

【0014】

一実施形態によれば、前記縮小図が前記予め決められた方向に拡張されるとき、前記縮小図のうち、前記第１の部分が含まれている一部は、色合い、記号、または図形を用いて前記縮小図の他の一部と区別表示されてもよい。

【0015】

一実施形態によれば、前記合成画像を生成するステップにおいては、前記一枚以上の画像に共通して含まれている特徴点に基づいて前記一枚以上の画像をつなぎ合わせて（スティッチして）前記合成画像を生成してもよい。

【0016】

一実施形態によれば、前記構造物の欠陥を識別するステップにおいては、前記合成画像をマシンラーニングされた人工知能モデルに入力して前記欠陥を識別してもよい。

【0017】

一実施形態によれば、前記構造物の欠陥を識別するステップにおいては、ディスプレイの第５の領域に前記構造物の部分画像及び前記欠陥を表示し、前記ディスプレイの第６の領域に前記欠陥のアイコン、類型、または大きさを表示してもよい。

【0018】

一実施形態によれば、前記構造物状態の分析方法は、前記識別された前記欠陥に基づいて、前記構造物状態の分析結果を出力するステップをさらに含んでいてもよい。

【0019】

一実施形態によれば、前記構造物状態の分析結果を出力するステップにおいては、前記構造物の部分別の損傷数、前記構造物の部材別の損傷数、前記構造物の部材別の損傷検出比率、前記構造物の類型別の損傷数、または前記構造物の年度別の損傷情報を出力してもよい。

【0020】

上記の技術的課題を解決するための本発明の実施形態に係る、構造物の安全診断のための構造物状態の分析装置は、プロセッサーと、前記プロセッサーにより実行されるコンピュータープログラムをロード（ｌｏａｄ）するメモリーと、前記コンピュータープログラムを格納するストレージと、を備え、前記コンピュータープログラムは、構造物の第１の部分を指定する動作と、前記第１の部分と紐付けられた一枚以上の画像をアップロードする動作と、前記一枚以上の画像に基づいて、前記第１の部分を示す合成画像を生成する動作と、及び前記合成画像を分析して前記構造物の欠陥を識別する動作とを行うためのインストラクションを含む、ことを特徴とする。

【発明の効果】

【0021】

前述した本発明の実施形態によれば、ドローンなどを活用して撮影した構造物の画像に基づいて構造物の状態を確認し、かつ構造物の欠陥を識別することのできる構造物の安全診断のための構造物状態の分析方法及び装置が提供されることが可能になる。

【0022】

また、構造物を撮影した画像及び欠陥情報を構造物の各部分と紐付けて手軽にデータベース化させることができ、構造物の欠陥情報に基づいて、構造物安全診断のための状態情報を統計的に分析して与えることが可能になる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る、構造物の安全診断のための構造物状態の分析方法及び装置が駆動される全体のシステムを概略的に示す図である。

【図2】本発明の一実施形態に係る、構造物の安全診断のための構造物状態の分析方法を示す手順図である。

【図3】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図4】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図5】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図6】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図7】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図8】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図9】図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。

【図10】図２におけるステップＳ３００を敷衍説明するための図である。

【図11】図２におけるステップＳ３００を敷衍説明するための図である。

【図12】図２におけるステップＳ４００を敷衍説明するための図である。

【図13】図２におけるステップＳ５００を敷衍説明するための図である。

【図14】本発明の様々な実施形態を実現するために用いられるコンピューティング装置のハードウェア構成を例示するブロック図である。

【発明を実施するための形態】

【0024】

以下、添付図面に基づいて、本発明の実施形態をより詳しく説明する。本発明の利点及び特徴、並びにそれらを成し遂げる方法は、添付図面と結び付けられて詳しく後述されている実施形態を参照すればより一層明らかになる筈である。しかしながら、本発明の技術的思想は以下に開示される実施形態に何ら限定されるものではなく、異なる様々な形態に具体化でき、単に以下の実施形態は本発明の技術的思想を完全たるものにし、本発明が属する技術分野において通常の知識を有する者に本発明の範ちゅうを完全に知らせるために提供されるものであり、本発明の技術的思想は、特許請求の範囲の範ちゅうによって定義されるだけである。

【0025】

各図中の構成要素に参照符号を付するに当たって、同一の構成要素に対しては、たとえ異なる図面の上に示されているとしても、できる限り同一の符号を持たせていることに留意すべきである。なお、本発明について説明するに当たって、本発明と関わる公知の構成もしくは機能についての具体的な説明がむしろ本発明の要旨を余計に曖昧にする虞があると認められる場合にはそれに関する説明は省略される。

【0026】

また、本明細書中で特に指摘したり、明らかに文脈と矛盾したりしない限り、技術的用語及び科学的用語を含めてこの開示に用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者にとって共通して理解される意味と同じ意味を有する。なお、一般に用いられる、辞書に定義されているような用語は、この出願において明らかに定義しない限り、理想的な意味として、または過度に形式的な意味として解釈されない。本明細書中において用いられた用語は、単に実施形態を説明するために用いられたものであり、本発明を制限しようとする意図はない。本明細書中において、単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。

【0027】

さらに、本発明の構成要素を説明するにあたって、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの言い回しを用いることができる。これらの言い回しは、その構成要素を他の構成要素と互いに区別するために用いられるものに過ぎず、それらの言い回しにより当該構成要素の本質や順番または順序などが限定されることはない。ある構成要素が他の構成要素と「連結」されているとか、「結合」されているとか、「接続」されているとか、と記載されている場合、前記ある構成要素は前記他の構成要素に直接的に連結されたり結合されたり接続されたりする可能性があるが、各構成要素の間にさらに他の構成要素が連結されたり結合されたり接続されたりする可能性もあるものと理解されるべきである。

【0028】

図１は、本発明の一実施形態に係る、構造物の安全診断のための構造物状態の分析方法及び装置が駆動される全体のシステムを概略的に示す図である。図１を参照すると、構造物の安全診断のための構造物状態の分析装置１００は、ドローン２０が撮影した構造物１０の画像を取得して、これに基づいて構造物１０の状態を確認し、かつ構造物１０の欠陥を識別し、構造物１０を撮影した画像及び欠陥情報を構造物１０の各部分と紐付けて手軽にデータベース化させる。

【0029】

まず、ドローン２０が飛行して構造物１０にアクセスすると、ドローン２０は、搭載されたカメラを用いて構造物１０の各領域を撮影することができる。このとき、ドローン２０は、構造物１０を視点を変えながら様々な視点から繰り返し撮影することができる。ドローン２０が撮影した画像は、構造物の状態（構造物状態）を分析する分析装置１００に転送可能である。

【0030】

構造物状態の分析装置１００は、ドローン１００が撮影した画像を取得して、これを構造物１０の各領域と紐付けてアップロード及びデータベース化させる。

【0031】

そして、構造物状態の分析装置１００は、アップロードされた画像を合成して構造物１０の合成画像を生成した後、マシンラーニングされた人工知能モデルに基づいて合成画像を分析して構造物１０の欠陥を識別する。

【0032】

そして、構造物状態の分析装置１００は、識別された欠陥に関する欠陥情報をユーザーに与えて、安全診断のための基礎資料として使えるようにする。このとき、構造物状態の分析装置１００は、構造物１０の部分別の損傷数、部材別の損傷数、部材別の損傷検出比率、類型別の損傷数、または年度別の損傷情報などといったように、様々な統計資料を前記識別された欠陥情報に基づいて生成して一緒に与えることができる。

【0033】

以下では、構造物状態の分析装置１００の具体的な動作及び構造物状態の分析装置１００による構造物状態の分析方法について様々な実施形態を参考にして詳しく説明する。

【0034】

図２は、本発明の一実施形態に係る、構造物１０の安全診断のための構造物状態の分析方法を示す手順図である。図２において説明される構造物状態の分析方法は、図１の構造物状態の分析装置１００により行われ得る。したがって、以下のステップにおいて遂行の主体が省略される場合、その遂行の主体は、前記構造物状態の分析装置１００であることを前提とする。

【0035】

ステップＳ１００において、構造物１０を撮影した画像を構造物１０の特定の部分と紐付けるために、構造物１０の第１の部分が指定される。

【0036】

例えば、構造物１０が３０本の柱を持った橋梁である場合、前記第１の部分は、構造物１０の２１番目の柱の前面部であってもよい。

【0037】

ステップＳ２００において、構造物１０の第１の部分と紐付けられた一枚以上の画像がアップロードされる。このとき、前記一枚以上の画像を前記第１の部分と紐付けてデータベース化させるために、本発明に専用化された固有のユーザーインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が使用可能である。これについての敷衍説明のために、図３から図９を参照されたい。

【0038】

図３から図９は、図２におけるステップＳ１００及びステップＳ２００を敷衍説明するための図である。図３から図９には、一枚以上の画像をアップロードするアップロード画面が示される。

【0039】

まず、図３を参照すると、本発明の構造物状態の分析方法による結果物が提供されるユーザーインターフェースが表示される。前記ユーザーインターフェースは、構造物状態の分析装置１００と結ばれたディスプレイの上に出力されるユーザーインターフェースであってもよい。前記ディスプレイは、構造物状態の分析装置１００と直接的に結ばれた表示装置または構造物状態の分析装置１００とネットワークにより結ばれたユーザー端末の表示装置であってもよい。

【0040】

ディスプレイの上端バーＴには、一つ以上のメニューボタン１０１、１０２、１０３、１０４が含まれ得る。一つ以上のメニューボタン１０１、１０２、１０３、１０４は、ユーザーインターフェースの初期画面を提供するホームボタン１０１、構造物１０と紐付けられた一枚以上の画像をアップロードするためのアップロードボタン１０２、アップロードされた一枚以上の画像を分析して構造物１０の欠陥情報を取得するための分析ボタン１０３、及び構造物状態の分析装置１００による分析結果を提供するためのレポートボタン１０４を備えていてもよい。

【0041】

図３において、ホームボタン１０１が選択されてユーザーインターフェースの初期画面が表示された例が示されている。図３を参照すると、初期画面のある一つの領域１１１には対象プロジェクトを選択するボタンが配置され、その下に対象プロジェクトと紐付けられた地理的な領域を示すマップ１１２と対象プロジェクトの詳細情報１１３、１１４が表示されてもよい。

【0042】

例えば、対象プロジェクトが韓国の西海大橋（大韓民国・韓国道路公社の西海岸高速道路のうち、忠清南道唐津市松嶽邑と京畿道平沢市浦升邑を繋ぐ橋梁。）の精密安全診断プロジェクトである場合、まず、ある一つの領域１１１の左側のボタンを操作して対象プロジェクトの大分類である「西海大橋」を選択した後、ある一つの領域１１１の右側のボタンを操作して対象プロジェクトの小分類である「精密安全診断」を選択する。

【0043】

このようにして対象プロジェクトが選択されれば、内部のデータベースまたは外部のサーバーを用いて選択された対象プロジェクトに対応する地理的なマップ１１２を検索し、検索された地理的なマップ１１２を画面に表示する。

【0044】

このとき、対象プロジェクトと紐付けられた詳細情報１１３、１１４を一緒に検索して地理的なマップ１１２の隣に表示してもよい。一実施形態によれば、詳細情報１１３、１１４は、対象プロジェクトの管理情報または対象プロジェクトの構造物情報を含んでいてもよい。

【0045】

次いで、図４から図９を参照すると、ドローンを用いて構造物１０を撮影した画像をアップロードするために、アップロードボタン１０２が選択された例が示される。

【0046】

図４を参照すると、ディスプレイの第１の領域１２１には、アップロードすべき画像と紐付けられた構造物１０の第１の部分の情報が表示される。このとき、ユーザーは、第１の領域１２１のメニューを操作して、画像をアップロードすべき構造物１０の第１の部分を異ならせて選択してもよい。

【0047】

例えば、ユーザーが１０番目の柱の右側の側面の画像をアップロードしようとする場合、ユーザーは、第１の領域１２１の上端メニューを操作して、１０番目の柱Ｐ１０を選択した後、第１の領域１２１の下端メニューを操作して、右側の側面部（Ｒｉｇｈｔ）を選択してもよい。本実施形態においては、図示のごとく、前記第１の部分として構造物１０の２１番目の柱Ｐ２１の前面部（Ｆｒｏｎｔ）が選択されたことを想定する。

【0048】

次いで、図５を参照すると、ディスプレイの第２の領域１２２には、先に選択された第１の部分の外形１２２ａを示す画像が表示される。一実施形態によれば、前記第１の部分の外形１２２ａは、複数の部分領域Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８に画成されて表示されてもよい。

【0049】

次いで、図６を参照すると、ディスプレイの第３の領域１２３には、第１の部分と紐付けてアップロードすべき一枚以上の画像の一覧１２３ａが表示される。一覧１２３ａの下端のメニューのうち、「添付（Ａｔｔａｃｈ）」を選択すれば、図６に示されるように、アップロード可能な画像ファイルが表示され、表示されたファイルのうち、アップロードすべきファイルをチェックして「アップロード（Ｕｐｌｏａｄ）」を選択すれば、チェックされたファイルのアップロードが行われる。

【0050】

一実施形態によれば、第３の領域１２３には、一枚以上の画像の一覧１２３ａとともに、そのプレビューがさらに表示されてもよい。これについての具体的な例示のために、図７を参照されたい。

【0051】

図７を参照すると、第３の領域１２３には、一枚以上の画像の一覧１２３ａの横にプレビュー１２３ｂ及びファイル情報１２３ｃがさらに表示される。前記プレビュー１２３ｂ及びファイル情報１２３ｃは、一覧１２３ａに表示されたファイルのうち、ユーザーにより選択されたファイルＬに関するものであってもよい。

【0052】

例えば、一覧１２３ａに表示されたファイルのうち、ユーザーがＭＡＸ００４．ＪＰＧファイルＬを選択すれば、当該ファイルのプレビュー１２３ｂ及びファイル情報１２３ｃがそれぞれ表示されてもよい。前記ファイル情報１２３ｃは、選択されたファイルＬのファイル名、サイズ、生成時間、またはファイルフォーマットを含んでいてもよい。

【0053】

次いで、図８を参照すると、ディスプレイの第４の領域１２４には、第１の部分が含まれている構造物の縮小図１２４ａが表示される。例えば、第１の部分が構造物の２１番目の柱Ｐ２１である場合、第４の領域１２４には２１番目の柱Ｐ２１を含む構造物の縮小図１２４ａが表示される。

【0054】

一実施形態によれば、第４の領域１２４には、縮小図を予め決められた方向に拡張または縮小するための拡張／縮小ボタン１２４ｂが含まれていてもよい。例えば、拡張／縮小ボタン１２４ｂを選択するユーザー操作があれば、それにより第４の領域１２４及び／又は縮小図１２４ａは横方向に拡張可能である。

【0055】

図９を参照すると、第４の領域１２４及び／又は縮小図１２４ａが横方向に拡張された例が示される。このように、縮小図１２４ａを拡張表示すれば、第１の部分が全体の構造物においてどのような位置に相当するかをさらに巨視的に把握することができる。一方、第４の領域１２４及び／又は縮小図１２４ａが拡張表示された状態で拡張／縮小ボタン１２４ｂを再び選択すれば、第４の領域１２４及び／又は縮小図１２４ａは、図８に示されるように、元のサイズに再び縮小表示されることが可能である。このように、拡張／縮小ボタン１２４ｂは、トグル（ｔｏｇｇｌｅ）ボタンとして機能することができる。

【0056】

一実施形態によれば、縮小図１２４ａが予め決められた方向に拡張されるとき、縮小図１２４ａのうち、第１の部分（ここでは、Ｐ２０を含む一部１２４ｃ）は、色合い、記号、または図形を用いて縮小図１２４ａの他の一部（例えば、１２４ｃを除いた残りの部分）と区別表示されてもよい。これは、全体の縮小図上において第１の部分が含まれている部分をより一層手軽に識別できるようにするためである。

【0057】

これまで図４から図９を参照して本発明の画像アップロードステップについて述べてきた。

【0058】

次に、図２に戻ると、ステップＳ３００において、先にアップロードされた一枚以上の画像に基づいて、構造物１０の第１の部分を示す合成画像が生成される。これについての敷衍説明のために、図１０を参照されたい。

【0059】

図１０を参照すると、一枚以上の画像を合成するための画像合成画面が示される。まず、分析ボタン１０３が選択されれば、一つ以上の下位メニューボタンが分析ボタン１０３の隣に表示されてもよい。例えば、図１０に示されるように、分析ボタン１０３の下位メニューボタンとして合成（Ｓｙｎｔｈｅｓｉｓ）ボタンＢ１及びＡＩ検出（ＡＩ Ｄｅｔｅｃｔｉｏｎ）ボタンＢ２が分析ボタン１０３の下に表示されてもよい。

【0060】

これらのうち、アップロードされた画像の合成のために合成ボタンＢ１が選択されれば、ディスプレイの上に一つ以上の機能ボタン１３１が表示されてもよい。これらのうち、処理（Ｐｒｏｃｅｓｓｉｎｇ）ボタンを選択すれば、アップロードされた一枚以上の画像の合成が行われ、結果（Ｒｅｓｕｌｔ）ボタンを選択すれば、アップロードされた一枚以上の画像を合成した結果が表示される。

【0061】

例えば、一枚以上の画像を合成した結果として、図１０に示されるように、構造物１０の合成画像１３２、合成に用いられた一枚以上の画像の一覧１３３、及び／又は前記一覧１３３からユーザーにより選択された画像のプレビュー１３５とファイル情報１３６がそれぞれディスプレイの各領域に表示されてもよい。

【0062】

一実施形態によれば、前記合成画像１３２は、アップロードされた一枚以上の画像に共通して含まれている特徴点に基づいて、前記一枚以上の画像をつなぎ合わせて（スティッチして）生成されてもよい。これについての追加説明のために、図１１を参照されたい。

【0063】

図１１は、一枚以上の画像をつなぎ合わせて合成画像を生成する方法を例示的に説明するための図である。図１１の実施形態においては、三枚の画像Ｉ１、Ｉ２、Ｉ３をつなぎ合わせて一枚の合成画像Ｈを生成する場合を例示している。前記三枚の画像Ｉ１、Ｉ２、Ｉ３は、構造物の第１の部分をドローンを用いてそれぞれ異なる視点から撮影した三枚の画像であってもよいが、それに何ら限定されるものではない。

【0064】

まず、三枚の画像Ｉ１、Ｉ２、Ｉ３のつなぎ合わせのために、各画像Ｉ１、Ｉ２、Ｉ３に共通して表示された特徴点があるか否かが確認される。具体的に、第１の画像Ｉ１と第２の画像Ｉ２を分析して、第１の画像Ｉ１と第２の画像Ｉ２に共通して表示された特徴点Ｇ１、Ｇ２が識別される。そして、第２の画像Ｉ２と第３の画像Ｉ３を分析して、第２の画像Ｉ２と第３の画像Ｉ３に共通して表示された特徴点Ｇ３、Ｇ４が識別される。

【0065】

次いで、識別された特徴点Ｇ１、Ｇ２、Ｇ３、Ｇ４を基準として各画像Ｉ１、Ｉ２、Ｉ３を重なり合わせる方式により、三枚の画像Ｉ１、Ｉ２、Ｉ３をつなぎ合わせて一枚の合成画像Ｈが生成される。

【0066】

再び図２に戻って、ステップＳ４００において、先に生成された合成画像を分析して構造物の欠陥が識別される。このとき、合成画像の分析は、マシンラーニングされた人工知能モデルを用いて行われてもよい。これについての敷衍説明のために、図１２を参照されたい。

【0067】

図１２を参照すると、合成画像を分析して構造物の欠陥を識別するための画像分析画面が示される。図１０の例と同様に、分析ボタン１０３が選択されれば、一つ以上の下位メニューボタンが分析ボタン１０３の隣に表示されてもよい。例えば、図１２に示されるように、分析ボタン１０３の下位メニューボタンとして、合成ボタンＢ１及びＡＩ検出ボタンＢ２が分析ボタン１０３の下に表示されてもよい。

【0068】

これらのうち、合成画像の分析のためにＡＩ検出ボタンＢ２が選択されれば、ディスプレイの上に一つ以上の機能ボタン１４１が表示されてもよい。これらのうち、処理（Ｐｒｏｃｅｓｓｉｎｇ）ボタンを選択すれば、合成画像に基づいて構造物の欠陥を分析する作業が行われ、結果（Ｒｅｓｕｌｔ）ボタンを選択すれば、構造物の欠陥を分析した結果が表示される。

【0069】

一実施形態によれば、構造物の欠陥を分析する作業は、合成画像をマシンラーニングされた人工知能モデルに入力し、その出力値から構造物の欠陥を識別する方式により行われる。このとき、人工知能モデルは、多数枚の構造物の画像を学習データとして用いて構造物の画像から予め決められた類型の欠陥を識別するようにマシンラーニングされたモデルであって、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいて構築された人工知能モデルであってもよい。畳み込みニューラルネットワークに基づく人工知能モデル及びそのマシンラーニングの方法は、当該技術分野において周知であるため、ここではそれについての詳しい説明を省略する。

【0070】

一方、結果（Ｒｅｓｕｌｔ）ボタンを選択して構造物の欠陥を分析した結果を表示した例示的な画面が図１２に示されている。図１２を参照すると、ディスプレイの第５の領域１４２には構造物の部分画像１４２及び識別された構造物の欠陥１４４ａが表示され、ディスプレイの第６の領域１４３には識別された欠陥のアイコン、類型、または大きさなど欠陥情報を示す一覧１４３が表示される。例えば、識別された欠陥が網状亀裂である場合、一覧１４３の最初の項目に表示されたように、当該欠陥のアイコン、当該欠陥の類型（ここでは、網状亀裂）、及び／又は当該亀裂の大きさ（ここでは、０．８×０．５）などが欠陥情報として表示されてもよい。

【0071】

一実施形態によれば、構造物の部分画像１４２は、構造物の画像を拡大した画像であってもよく、識別された構造物の欠陥１４４ａは、構造物の部分画像１４２の上に重なり合って表示されてもよい。

【0072】

一実施形態によれば、構造物の部分画像１４２の上において特定の欠陥を選択すれば、当該欠陥に対応する欠陥情報が一覧１４３の上において強調表示されてもよい。たとえば、構造物の部分画像１４２の上において欠陥１４４ａが選択されれば、一覧１４３の上において前記欠陥１４４ａに対応する欠陥情報１４４ｂがハイライトされたり、彩色されたり、点滅されたりするなどの方式により強調表示されてもよい。

【0073】

これまで、図１０から図１２を参照して本発明の画像合成及び分析ステップについて述べてきた。

【0074】

次に、再び図２に戻ると、ステップＳ５００において、先に識別された構造物の欠陥に基づいて、構造物状態の分析結果が出力される。

【0075】

一実施形態によれば、構造物状態の分析結果の出力に際して、構造物の欠陥情報を統計的に分析して様々な統計情報が一緒に出力されてもよい。これについての追加説明のために、図１３を参照されたい。

【0076】

図１３を参照すると、構造物状態の分析結果が出力された例が示される。このとき、出力された分析結果は、構造物の部分別の損傷数、構造物の部材別の損傷数、構造物の部材別の損傷検出比率、構造物の類型別の損傷数、または構造物の年度別の損傷情報などといったように、構造物の欠陥情報を統計的に分析した情報を含んでいてもよい。これを通じて、ユーザーは、構造物の現在の状態をより一層総合的にかつ分析的に把握することができ、これを通じて、構造物の安全管理の計画をより一層適切に立てることができる。

【0077】

以上述べた本発明の実施形態によれば、ドローンなどを活用して撮影した構造物の画像に基づいて構造物の状態を確認し、かつ構造物の欠陥を識別することのできる構造物の安全診断のための構造物状態の分析方法及び装置が提供されることが可能になる。

【0078】

また、構造物を撮影した画像及び欠陥情報を構造物の各部分と紐付けて手軽にデータベース化させることができ、構造物の欠陥情報に基づいて構造物の安全診断のための状態情報を統計的に分析して与えることが可能になる。

【0079】

以下では、図１４を参照して本発明の様々な実施形態において説明された方法が実現される例示的なコンピューティング装置５００について述べる。例えば、図１４のコンピューティング装置５００は、図１の構造物状態の分析装置１００であってもよい。

【0080】

図１４は、コンピューティング装置５００を示す例示的なハードウェア構成図である。

【0081】

図１４に示されるように、コンピューティング装置５００は、一つ以上のプロセッサー５１０と、バス５５０と、通信インターフェース５７０と、プロセッサー５１０により実行されるコンピュータープログラム５９１をロード（ｌｏａｄ）するメモリー５３０と、コンピュータープログラム５９１を格納するストレージ５９０と、を備えていてもよい。但し、図１４には、本発明の実施形態と関連した構成要素しか示されていない。したがって、本発明が属する技術分野における通常の技術者であれば、図１４に示された構成要素に加えて、他の汎用的な構成要素がさらに備えられていてもよいということが理解できる筈である。

【0082】

プロセッサー５１０は、コンピューティング装置５００の各構成要素の全般的な動作を制御する。プロセッサー５１０は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサーユニット（ＭＰＵ：Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、マイクロコントローラーユニット（ＭＣＵ：Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または本発明の技術分野においてよく知られている任意の形態のプロセッサーのうちの少なくとも一つを備えて構成されてもよい。なお、プロセッサー５１０は、本発明の様々な実施形態に係る方法／動作を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を行うことができる。コンピューティング装置５００は、一つ以上のプロセッサーを備えていてもよい。

【0083】

メモリー５３０は、各種のデータ、指令及び／又は情報を格納する。メモリー５３０は、本発明の様々な実施形態に係る方法／動作を実行するために、ストレージ５９０から一つ以上のプログラム５９１をロード（ｌｏａｄ）してもよい。メモリー５３０の例示はＲＡＭになり得るが、これに何ら限定されるものではない。

【0084】

バス５５０は、コンピューティング装置５００の構成要素同士の通信機能を提供する。バス５５０は、アドレスバス（Ａｄｄｒｅｓｓ Ｂｕｓ）、データバス（Ｄａｔａ Ｂｕｓ）及び制御バス（Ｃｏｎｔｒｏｌ Ｂｕｓ）など様々な形態のバスとして実現可能である。

【0085】

通信インターフェース５７０は、コンピューティング装置５００の有無線インターネット通信をサポートする。通信インターフェース５７０は、インターネット通信の他に様々な通信方式をサポートすることもできる。このために、通信インターフェース５７０は、本発明の技術分野においてよく知られている通信モジュールを備えて構成されてもよい。

【0086】

ストレージ５９０は、一つ以上のコンピュータープログラム５９１を非一時的に格納することができる。ストレージ５９０は、読み出し専用メモリー（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリー（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリー（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュメモリーなどの不揮発性メモリー、ハードディスク、着脱式ディスク、または本発明が属する技術分野においてよく知られている任意の形態のコンピューターにて読み取り可能な記録媒体を備えて構成されてもよい。

【0087】

コンピュータープログラム５９１は、本発明の様々な実施形態に係る方法／動作が実現された一つ以上のインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を含んでいてもよい。例えば、前記コンピュータープログラム５９１は、構造物の第１の部分を指定する動作、前記第１の部分と紐付けられた一枚以上の画像をアップロードする動作、前記一枚以上の画像に基づいて、前記第１の部分を示す合成画像を生成する動作、及び前記合成画像を分析して前記構造物の欠陥を識別する動作を行うためのインストラクションを含んでいてもよい。

【0088】

コンピュータープログラム５９１がメモリー５３０にロードされれば、プロセッサー５１０は、前記一つ以上のインストラクションを実行することにより本発明の様々な実施形態に係る方法／動作を行うことができる。

【0089】

これまで述べてきた本発明の技術的思想は、コンピューターにて読み取り可能な媒体の上にコンピューターにて読み取り可能なコードにより実現されてもよい。前記コンピューターにて読み取り可能な記録媒体は、例えば、移動型記録媒体（コンパクトディスク（ＣＤ）による読み出し専用メモリー（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスク、ＵＳＢ記憶装置、移動式ハードディスク）であってもよいし、固定式記録媒体（ＲＯＭ、ＲＡＭ、コンピューター内蔵型ハードディスク）であってもよい。前記コンピューターにて読み取り可能な記録媒体に記録された前記コンピュータープログラムは、インターネットなどのネットワークを介して他のコンピューティング装置に伝送されて前記他のコンピューティング装置にインストールされてもよく、これにより、前記他のコンピューティング装置において使用可能である。

【0090】

以上、添付図面に基づいて本発明の実施形態について述べてきたが、本発明が属する技術分野において通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、本発明の他の具体的な形態でも実施可能であるということが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。本発明の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるあらゆる技術的思想は、本発明により定義される技術的思想の権利範囲に含まれるものと解釈されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】