特開 2022-52779 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022052779

(43)【公開日】2022-04-05

(54)【発明の名称】点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220329BHJP

   E02B 3/12 20060101ALI20220329BHJP

【ＦＩ】

G06T7/00 640

E02B3/12

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020159201

(22)【出願日】2020-09-24

(11)【特許番号】

(45)【特許公報発行日】2021-01-06

(71)【出願人】

【識別番号】518156358

【氏名又は名称】株式会社センシンロボティクス

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(71)【出願人】

【識別番号】593125104

【氏名又は名称】株式会社システム計画研究所

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ特許業務法人

(72)【発明者】

【氏名】吉井 太郎

(72)【発明者】

【氏名】福住 直樹

(72)【発明者】

【氏名】齋藤 直之

(72)【発明者】

【氏名】▲高▼井 力

(72)【発明者】

【氏名】田所 謙一郎

(72)【発明者】

【氏名】奥村 義和

(72)【発明者】

【氏名】平河 怜

【テーマコード（参考）】

2D118

5L096

【Ｆターム（参考）】

2D118AA01

2D118BA03

2D118FA06

5L096BA03

5L096BA08

5L096CA02

5L096DA02

5L096EA37

5L096JA11

5L096KA04

(57)【要約】

【課題】本発明は、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供すること。
【解決手段】本発明は、無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、コンクリート護岸におけるヒビ割れ発生に関する統計情報に基づき、前記撮影画像に対して検出外範囲を設定する検索対象外範囲設定部と、コンクリート護岸における複数のヒビ割れ画像に基づき機械学習した学習モデルを記憶する学習モデル記憶部と、前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記学習モデルを適用して前記検索対象におけるヒビ割れを検出するヒビ割れ検出部と、前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、を備える点検システム。
【選択図】図９

【特許請求の範囲】

【請求項1】

無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
を備える点検システム。

【請求項2】

前記検出対象外範囲は、
前記ヒビ割れの発生頻度が低い部分が少なくとも一部に含まれる、
ことを特徴とする請求項１に記載の点検システム。

【請求項3】

前記ヒビ割れの発生頻度が低い部分は、前記コンクリート護岸における地上から－１ｍまでの範囲である、
ことを特徴とする請求項２に記載の点検システム。

【請求項4】

前記ヒビ割れの発生頻度が低い部分は、前記コンクリート護岸における地上から－３ｍ以降の範囲である、
ことを特徴とする請求項２または請求項３のいずれかに記載の点検システム。

【請求項5】

無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
を備える管理サーバ。

【請求項6】

管理サーバ用プログラムにおいて、
前記管理サーバを、
無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
して機能させることを特徴とする管理サーバ用プログラム。

【請求項7】

無人飛行体により撮影されたコンクリート護岸の撮影画像から特定したコンクリート護岸のヒビ割れを示すヒビ割れ情報を管理サーバより提供するヒビ割れ情報提供方法であって、
前記ヒビ割れは、管理サーバにより、前記撮影画像において、コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づいて設定される検出対象外範囲を除いた検索対象範囲に対して、コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを適用して検出されたものである、
ことを特徴とするヒビ割れ情報提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飛行体によるコンクリート護岸の点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法に関する。

【背景技術】

【0002】

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「無人飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－０８９１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、従来の点検、特にコンクリート護岸の点検においては、船舶に搭乗した人員が人手により撮影等行っており、特に浮遊物回収ネットや橋等の障害が存在する部分では多大な工数や負荷がかかっていた。このようなコンクリート護岸の点検を無人飛行体で行うシステムが構築できれば大変有用である。

【0005】

しかしながら、コンクリート護岸特有の立地等の要因に対応するための点検システムは、現状において十分に構築されているとはいえない。

【0006】

本発明はこのような背景を鑑みてなされたものであり、特に、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するための本発明の主たる発明は、無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、を備える点検システムである。

【発明の効果】

【0008】

本発明によれば、特に、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態にかかる点検システムの全体構成を示す図である。

【図2】本発明の実施の形態にかかる点検システムのシステム構成を示す図である。

【図3】図２の管理サーバのハードウェア構成を示すブロック図である。

【図4】図２のユーザ端末のハードウェア構成を示すブロック図である。

【図5】図２の飛行体のハードウェア構成を示すブロック図である。

【図6】図１の管理サーバの機能を示すブロック図である。

【図7】本発明の実施の形態にかかる点検システムのフローチャートである。

【図8】本発明の実施の形態にかかる撮影画像の一例である。

【図9】本発明の実施の形態にかかる撮影画像の一例である。

【図10】本発明の実施の形態にかかる撮影画像の一例である。

【図11】本発明の実施の形態にかかるヒビ割れ情報の一例である。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による点検システム及び管理サーバは、以下のような構成を備える。
［項目１］
無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
を備える点検システム。
［項目２］
前記検出対象外範囲は、
前記ヒビ割れの発生頻度が低い部分が少なくとも一部に含まれる、
ことを特徴とする項目１に記載の点検システム。
［項目３］
前記ヒビ割れの発生頻度が低い部分は、前記コンクリート護岸における地上から－１ｍまでの範囲である、
ことを特徴とする項目２に記載の点検システム。
［項目４］
前記ヒビ割れの発生頻度が低い部分は、前記コンクリート護岸における地上から－３ｍ以降の範囲である、
ことを特徴とする項目２または項目３のいずれかに記載の点検システム。
［項目５］
無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
を備える管理サーバ。
［項目６］
管理サーバ用プログラムにおいて、
前記管理サーバを、
無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検出対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
して機能させることを特徴とする管理サーバ用プログラム。
［項目７］
無人飛行体により撮影されたコンクリート護岸の撮影画像から特定したコンクリート護岸のヒビ割れを示すヒビ割れ情報を管理サーバより提供するヒビ割れ情報提供方法であって、
前記ヒビ割れは、管理サーバにより、前記撮影画像において、コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づいて設定される検出対象外範囲を除いた検索対象範囲に対して、コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを適用して検出されたものである、
ことを特徴とするヒビ割れ情報提供方法。

【0011】

＜実施の形態の詳細＞
以下、本発明の実施の形態による無人飛行体による点検システム及び当該点検システムを実施するための管理サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0012】

＜全体構成＞
図１に示されるように、本実施の形態における点検システムは、ユーザが事前に設定した飛行経路を飛行する無人飛行体４によりコンクリート護岸を撮影し、当該撮影した画像を基に、コンクリート護岸のヒビ割れを検出するものである。

【0013】

従来は図１に示されるような水面（例えば、湾などの海等）に船舶を浮かべ、搭乗した人員でコンクリート護岸のヒビ割れの状態を人手で確認していたが、本点検システムにおいては、上述のとおり無人飛行体４により撮影した撮影画像を用いてヒビ割れの確認を行う。特に、鋭意検討の結果、このような環境下におけるヒビ割れが発生しやすい部分が統計的に把握可能であることが判明したので、該当部分についてのみ解析を行うことで正確なヒビ割れ発生の確認が可能である。

【0014】

また、本発明では無人飛行体で撮影した画像にヒビ割れ学習モデルを適用して損傷確認を行うにあたり、護岸全体を漏れなく撮影している。そして、発明者らが撮影画像に対してヒビ割れ学習モデルを適用した結果、グラウンド上方の建造物や車両が撮影画像に含まれる場合にこれらがノイズとなって誤検出が多発するとともに、コンクリート護岸の特に上部において実際にはヒビ割れが発生していないにも関わらず、ヒビ割れ学習モデルがヒビ割れを検出することがあることが分かった。特に後者の原因について発明者らが鋭意研究した結果、コンクリート護岸の上部において外方に張り出して設けられる天部の接合溝をヒビ割れと誤検知することが原因であることが分かった。ところで、コンクリート護岸の上部は波が直接当たりにくく波による浸食が少ない分、波が頻繁に当たる部分に比べてヒビ割れの発生頻度が低く、且つ、ヒビ割れの伸展も遅い。言い換えれば、波が頻繁に当たる部分を重点的に点検し、その部分を補修する際に併せて、必要に応じて護岸上部も補修すれば効率的に補修作業を行うことができる。そこで本発明では、グラウンド上方に加え、コンクリート護岸においてひび割れが発生しにくい箇所を点検対象範囲から除外して学習モデルを適用することで、ヒビ割れの誤検出を防いでヒビ割れ検出精度が高精度となり、また、補修作業を効率的に行うことができるようになる。

【0015】

＜システム構成＞
図２に示されるように、本実施の形態における点検システムは、管理サーバ１と、ユーザ端末２と、無人飛行体４とを有している。管理サーバ１と、ユーザ端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。

【0016】

＜管理サーバ１＞
図３は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0017】

図示されるように、管理サーバ１は、ユーザ端末２と、無人飛行体４と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0018】

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

【0019】

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

【0020】

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0021】

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。

【0022】

送受信部１３は、管理サーバ１をネットワークＮＷに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

【0023】

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0024】

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0025】

＜ユーザ端末２＞
図４に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

【0026】

＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

【0027】

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

【0028】

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。

【0029】

フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

【0030】

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

【0031】

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0032】

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

【0033】

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0034】

＜管理サーバの機能＞
図６は、管理サーバ１に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ１は、通信部１１０、飛行経路生成部１２０、記憶部１３０、検索対象外範囲設定部１４０、検索対象外範囲処理部１５０、ヒビ割れ学習部１６０、ヒビ割れ検出部１７０、ヒビ割れ情報出力部１８０を備えている。また、記憶部１３０は、パラメータ情報記憶部１３２、フライトログ記憶部１３４、学習モデル記憶部１３６の各種データベースを含む。

【0035】

通信部１１０は、ユーザ端末２や無人飛行体４と通信を行う。通信部１１０は、ユーザ端末２から、フライト依頼を受け付ける受付部としても機能する。

【0036】

飛行経路生成部１２０は、パラメータ情報記憶部１３２のパラメータ情報（例えば、ウェイポイントの位置（緯度経度や高度）、飛行速度、最低飛行高度、ウェイポイントの配置間隔、撮影角度、撮影画角、撮像画像のオーバーラップ率など）を参照して新規の飛行経路が自動的に生成されてもよいし、一部またはすべてのウェイポイントに関する情報を手動で設定して飛行経路を生成するようにしてもよい。

【0037】

検索対象外範囲設定部１４０は、撮影画像の検索対象外範囲を設定する。例えば、ユーザが検索対象外範囲を設定してもよいし、画像認識処理のノイズが発生しやすい所定の範囲（例えば、撮影画像の上端から所定のピクセル数の位置など）を固定値として設定してもよい。検索対象外範囲を設定するにあたっては、コンクリート護岸のヒビ割れ発生に関する統計情報を参照することが望ましく、具体的には、ヒビ割れの発生頻度が低い部分を検索対象外範囲として設定することが望ましい。これにより、後述するように、特にヒビ割れの発生頻度が高い部分が検索対象範囲に含まれることとなる。

【0038】

コンクリート護岸のヒビ割れ発生に関する統計情報の一例は、例えば下記表１のような統計情報であり、各護岸において、地上からどのレベルの範囲でヒビ割れが発生していたかを確認し、各護岸または全護岸でのヒビ割れ発生の総数に対する発生割合を表としたものである。なお、統計情報が把握できれば表形式に限らず、グラフ化されたものであってもよいし、その両方であってもよい。

【0039】

【表1】

【0040】

上記表１では、３つの護岸Ａ－Ｃに関する確認結果を統計情報として例示しているが、各護岸および全護岸に共通して、地上から－１ｍまでの範囲や－３ｍ以降の範囲においてヒビ割れの発生が少ないこと、反対に地上から－１～－３ｍの範囲でのヒビ割れ発生頻度が高いことが認められる。ここで、画像認識においてはノイズ発生源を少なくすることが重要であるところ、上記のような統計情報に基づき、撮影画像の内、特にヒビ割れの発生頻度が低い部分の少なくとも一部分（より好ましくは、ノイズ発生源が最も少なくなるように、ヒビ割れの発生頻度が低い部分の全て）を検索対象外範囲として設定する、および／または、ヒビ割れの発生頻度が高い部分を検索対象範囲として設定した撮影画像に対して後述のヒビ割れ検出を行うことで、ヒビ割れの検出精度を高くすることが可能である。なお、ヒビ割れ発生頻度の高低の基準は、護岸によらず、一定の基準値に基づいて判断してもよいし、護岸によって基準値を変更してもよい。一定の基準値とする場合、例えば表１において、発生頻度が１０％未満の場合に発生頻度が低く、１０％以上の場合発生頻度が高いと判断することができる。護岸によって基準値を変更する場合、例えば護岸Ａ及び護岸Ａと共通の特徴を有する護岸では５％を基準値とし、護岸Ｂ及び護岸Ｂと共通の特徴を有する護岸では２％を基準値とし、護岸Ｃ及び護岸Ｃと共通の特徴を有する護岸では１０％を基準値とするなどしてもよい。発生頻度が低くとも重大なヒビ割れとなりやすい護岸については基準値を低くすることで適切な補修作業を行うことができる。

【0041】

検索対象外範囲処理部１５０は、検索対象外範囲設定部１４０により設定された検索対象外範囲に対して、例えばクロッピング処理またはマスキング処理などの検索対象外処理を行い、コンクリート護岸部分（特に、ヒビ割れの発生頻度が高い部分）が検索対象として残された撮影画像を生成する。

【0042】

ヒビ割れ学習部１６０は、コンクリート護岸における複数のヒビ割れ画像を教師データとして機械学習し、ヒビ割れ学習モデルを生成し、当該ヒビ割れ学習モデルを学習モデル記憶部１３６に記憶する。なお、ヒビ割れ学習モデルは、管理サーバ１内のヒビ割れ学習部１６０に限らず、管理サーバ１外部で作成されたものであってもよく、外部から学習モデル記憶部１３６に記憶されてもよい。

【0043】

ヒビ割れ検出部１７０は、上述のヒビ割れ学習モデルを用いて、撮影画像の検索対象範囲からヒビ割れを検出する。

【0044】

ヒビ割れ情報出力部１８０は、ヒビ割れ検出部１７０が検出したヒビ割れを示すヒビ割れ情報（例えば、静止画像など）を出力する。なお、ヒビ割れ情報は、撮影画像または検索対象外処理を適用した撮影画像においてヒビ割れ部分を強調した画像であってもよい。

【0045】

＜点検方法の一例＞
図７－１１を参照して、本実施形態にかかる点検システムによる点検方法について説明する。

【0046】

まず、管理サーバ１は、点検開始までに所定のパラメータ情報の入力を受付け、当該パラメータ情報をパラメータ情報記憶部１３２に記憶する（ＳＱ１０１）。

【0047】

次に、管理サーバ１は、飛行経路を生成する（ＳＱ１０２）。例えば、パラメータ情報記憶部１３２のパラメータ情報を参照して新規の飛行経路が自動的に生成されたり、ユーザが飛行経路を設定して生成したりする。

【0048】

次に、無人飛行体４は、飛行経路及びウェイポイント情報に基づき、ウェイポイントにおいてコンクリート護岸の撮影を行い、管理サーバ１は当該撮影により取得した情報（例えば、図８に例示されるような撮影画像）をフライトログ記憶部１３４に記憶する（ＳＱ１０３）。

【0049】

次に、管理サーバ１は、検索対象外範囲設定部１４０により、コンクリート護岸のヒビ割れ発生に関する統計情報に基づき撮影画像の検索対象外範囲を設定する（ＳＱ１０４）。例えば、後述のヒビ割れ検出において最もノイズとなりやすい地上部分が写る範囲を検索対象外範囲として設定する。特に、上述の統計情報を基に、ヒビ割れの発生頻度が低い部分の少なくとも一部分が含まれるように検索対象外範囲を設定する（例えば、図９に例示されるようなクロッピング範囲）。より具体的には、コンクリート護岸における地上から－１ｍまでの範囲や－３ｍ以降の範囲をヒビ割れの発生頻度が低い部分として少なくとも一部または全部を検索対象外範囲に含むように設定するとよい。

【0050】

次に、管理サーバ１は、検索対象外範囲処理部１５０により、撮影画像において、設定された検索対象外範囲に対して検索対象外範囲処理を行い、検索対象外範囲（特に、撮影画像においてヒビ割れの発生頻度が低い部分）が取り除かれた撮影画像（例えば、図１０に例示されるような画像）を生成する（ＳＱ１０５）。

【0051】

次に、管理サーバ１は、ヒビ割れ学習部１６０または管理サーバ１外部においてヒビ割れ画像群に基づき学習したヒビ割れ学習モデルを用いて、ヒビ割れ検出部１７０により前記撮影画像のヒビ割れを検出する（ＳＱ１０６）。

【0052】

次に、管理サーバ１は、ヒビ割れ検出部１７０により検出したヒビ割れを示すヒビ割れ情報（例えば、図１１に例示されるようなヒビ割れ箇所を強調した画像）を生成し、ユーザ端末２に出力する（ＳＱ１０７）。

【0053】

このように、本発明は、船舶等による点検作業を経ない、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することができる。なお、コンクリート護岸に接近してそもそも検索対象外範囲を設けなくともヒビ割れの発生頻度が高い部分のみを撮影することも想定されるが、無人飛行体４の飛行精度や振動等に基づくブレなどにより、必ずしも鮮明な画像が得られるというものでもなく、また、所望の範囲だけを写すことができるというものでもないため、このような現場の問題点も鑑み、広い撮影範囲を設定した後に不要な部分を取り除く（または、所望の部分を残す）ように調整可能な本システムは点検において有用である。

【0054】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0055】

１ 管理サーバ
２ ユーザ端末
４ 無人飛行体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2020-11-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検索対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
を備える点検システム。

【請求項2】

前記検索対象外範囲は、
前記ヒビ割れの発生頻度が低い部分が少なくとも一部に含まれる、
ことを特徴とする請求項１に記載の点検システム。

【請求項3】

前記ヒビ割れの発生頻度が低い部分は、前記コンクリート護岸における地上から－１ｍまでの範囲である、
ことを特徴とする請求項２に記載の点検システム。

【請求項4】

前記ヒビ割れの発生頻度が低い部分は、前記コンクリート護岸における地上から－３ｍ以降の範囲である、
ことを特徴とする請求項２または請求項３のいずれかに記載の点検システム。

【請求項5】

無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検索対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
を備える管理サーバ。

【請求項6】

管理サーバ用プログラムにおいて、
前記管理サーバを、
無人飛行体により撮影されたコンクリート護岸の撮影画像を取得する画像取得部と、
前記コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づき、前記撮影画像に対して検索対象外範囲を設定する検索対象外範囲設定部と、
コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを記憶する学習モデル記憶部と、
前記撮影画像の内、前記検索対象外範囲を除いた検索対象範囲に対して、前記ヒビ割れ学習モデルを適用して前記検索対象範囲におけるヒビ割れを検出するヒビ割れ検出部と、
前記ヒビ割れ検出部が検出したヒビ割れを示すヒビ割れ情報を出力するヒビ割れ情報出力部と、
して機能させることを特徴とする管理サーバ用プログラム。

【請求項7】

無人飛行体により撮影されたコンクリート護岸の撮影画像から特定したコンクリート護岸のヒビ割れを示すヒビ割れ情報を管理サーバより提供するヒビ割れ情報提供方法であって、
前記ヒビ割れは、管理サーバにより、前記撮影画像において、コンクリート護岸におけるヒビ割れの発生に関する統計情報に基づいて設定される検索対象外範囲を除いた検索対象範囲に対して、コンクリート護岸における複数のヒビ割れ画像に基づき機械学習したヒビ割れ学習モデルを適用して検出されたものである、
ことを特徴とするヒビ割れ情報提供方法。