(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022053447
(43)【公開日】2022-04-05
(54)【発明の名称】点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
(51)【国際特許分類】
E02B 3/12 20060101AFI20220329BHJP
B64C 27/04 20060101ALI20220329BHJP
B64C 39/02 20060101ALI20220329BHJP
B64D 47/08 20060101ALI20220329BHJP
G06N 20/00 20190101ALI20220329BHJP
【FI】
E02B3/12
B64C27/04
B64C39/02
B64D47/08
G06N20/00
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021043169
(22)【出願日】2021-03-17
(62)【分割の表示】P 2020159202の分割
【原出願日】2020-09-24
(71)【出願人】
【識別番号】518156358
【氏名又は名称】株式会社センシンロボティクス
(71)【出願人】
【識別番号】000001258
【氏名又は名称】JFEスチール株式会社
(71)【出願人】
【識別番号】593125104
【氏名又は名称】株式会社システム計画研究所
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip特許業務法人
(72)【発明者】
【氏名】吉井 太郎
(72)【発明者】
【氏名】福住 直樹
(72)【発明者】
【氏名】齋藤 直之
(72)【発明者】
【氏名】▲高▼井 力
(72)【発明者】
【氏名】田所 謙一郎
(72)【発明者】
【氏名】奥村 義和
(72)【発明者】
【氏名】平河 怜
【テーマコード(参考)】
2D118
【Fターム(参考)】
2D118AA02
2D118BA03
2D118FA06
(57)【要約】 (修正有)
【課題】本発明は、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供する。
【解決手段】本発明は、コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モデルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記
特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する。
【選択図】
図9
【特許請求の範囲】
【請求項1】
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モ
デルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデル
を適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出
結果出力部と、
を備える点検システム。
【請求項2】
前記特化ヒビ割れ学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第1のヒビ割れ画像に基づき機械学習
した第2の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第2のヒビ割れ画像に基づ
き機械学習した第3の学習モデルと、
のうち少なくとも何れか一方である、
ことを特徴とする請求項1に記載の点検システム。
【請求項3】
前記第1のヒビ割れ情報及び特化ヒビ割れ情報は、それぞれ異なるヒビ割れ画像であり
、
前記検出結果出力部は、前記異なるヒビ割れ画像を重ね合わせて出力する、
ことを特徴とする請求項1または2に記載の点検システム。
【請求項4】
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モ
デルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデル
を適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出
結果出力部と、
を備える管理サーバ。
【請求項5】
管理サーバ用プログラムにおいて、
前記管理サーバを、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モ
デルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデル
を適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出
結果出力部と、
して機能させることを特徴とする管理サーバ用プログラム。
【請求項6】
無人飛行体により撮影されたコンクリート護岸の撮影画像に第1のヒビ割れ学習モデル
を適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に特化学習モデルを適用し
て得られる特化ヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報
提供方法であって、
前記第1のヒビ割れ学習モデルは、コンクリート護岸に出現する複数種のヒビ割れを特
定可能な学習モデルであり、
前記特化学習モデルは、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート
護岸に出現する特定種のヒビ割れを特定可能な学習モデルである、
ことを特徴とするヒビ割れ情報提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行体によるコンクリート護岸の点検システム及び管理サーバ、プログラム
、ヒビ割れ情報提供方法に関する。
【背景技術】
【0002】
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aeria
l Vehicle)などの飛行体(以下、「無人飛行体」と総称する)が産業に利用さ
れ始めている。こうした中で、特許文献1には、飛行体が予め設定された複数のウェイポ
イントにおいて撮影対象を順次撮影するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、従来の点検、特にコンクリート護岸の点検においては、船舶に搭乗した人員が
人手により撮影等行っており、特に浮遊物回収ネットや橋等の障害が存在する部分では多
大な工数や負荷がかかっていた。このようなコンクリート護岸の点検を無人飛行体で行う
システムが構築できれば大変有用である。
【0005】
しかしながら、コンクリート護岸特有の立地等の要因に対応するための点検システムは
、現状において十分に構築されているとはいえない。
【0006】
本発明はこのような背景を鑑みてなされたものであり、特に、コンクリート護岸の点検
に適した無人飛行体による点検システム及び管理サーバを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するための本発明の主たる発明は、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、無人
飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モデルを
適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用
して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第1のヒビ割れ情
報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、を備える
点検システム、である。
【発明の効果】
【0008】
本発明によれば、特に、コンクリート護岸の点検に適した無人飛行体による点検システ
ム及び管理サーバを提供することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施の形態にかかる点検システムの全体構成を示す図である。
【
図2】本発明の実施の形態にかかる点検システムのシステム構成を示す図である。
【
図3】
図2の管理サーバのハードウェア構成を示すブロック図である。
【
図4】
図2のユーザ端末のハードウェア構成を示すブロック図である。
【
図5】
図2の飛行体のハードウェア構成を示すブロック図である。
【
図6】
図1の管理サーバの機能を示すブロック図である。
【
図7】本発明の実施の形態にかかるヒビ割れ画像の一例である。
【
図8】本発明の実施の形態にかかるヒビ割れ検出結果の一例である。
【
図9】本発明の実施の形態にかかるヒビ割れ検出画像および検出結果画像である。
【
図10】本発明の実施の形態にかかる点検システムのフローチャートである。の一例である。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による点検システム
及び管理サーバは、以下のような構成を備える。
[項目1]
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モ
デルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデル
を適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出
結果出力部と、
を備える点検システム。
[項目2]
前記特化ヒビ割れ学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第1のヒビ割れ画像に基づき機械学習
した第2の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第2のヒビ割れ画像に基づ
き機械学習した第3の学習モデルと、
のうち少なくとも何れか一方である、
ことを特徴とする請求項1に記載の点検システム。
[項目3]
前記第1のヒビ割れ情報及び特化ヒビ割れ情報は、それぞれ異なるヒビ割れ画像であり
、
前記検出結果出力部は、前記異なるヒビ割れ画像を重ね合わせて出力する、
ことを特徴とする請求項1または2に記載の点検システム。
[項目4]
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モ
デルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデル
を適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出
結果出力部と、
を備える管理サーバ。
[項目5]
管理サーバ用プログラムにおいて、
前記管理サーバを、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第1のヒビ割れ学習モデル
と、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種
のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第1のヒビ割れ学習モ
デルを適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデル
を適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出
結果出力部と、
して機能させることを特徴とする管理サーバ用プログラム。
[項目6]
無人飛行体により撮影されたコンクリート護岸の撮影画像に第1のヒビ割れ学習モデル
を適用して得られる第1のヒビ割れ情報、及び、前記撮影画像に特化学習モデルを適用し
て得られる特化ヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報
提供方法であって、
前記第1のヒビ割れ学習モデルは、コンクリート護岸に出現する複数種のヒビ割れを特
定可能な学習モデルであり、
前記特化学習モデルは、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート
護岸に出現する特定種のヒビ割れを特定可能な学習モデルである、
ことを特徴とするヒビ割れ情報提供方法。
【0011】
<実施の形態の詳細>
以下、本発明の実施の形態による無人飛行体による点検システム及び当該点検システム
を実施するための管理サーバについての実施の形態を説明する。添付図面において、同一
または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明に
おいて同一または類似の要素に関する重複する説明は省略することがある。また、各実施
形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
【0012】
<全体構成>
図1に示されるように、本実施の形態における点検システムは、ユーザが事前に設定し
た飛行経路を飛行する無人飛行体4によりコンクリート護岸を撮影し、当該撮影した画像
を基に、コンクリート護岸のヒビ割れを検出するものである。
【0013】
従来は
図1に示されるような水面(例えば、湾などの海等)に船舶を浮かべ、搭乗した
人員でコンクリート護岸のヒビ割れの状態を人手で確認していたが、本点検システムにお
いては、上述のとおり無人飛行体4により撮影した撮影画像を用いてヒビ割れの確認を行
う。特に、鋭意検討の結果、このような環境下におけるヒビ割れにおいて、通常の機械学
習によるヒビ割れ検知が難しいヒビ割れの種類が特定できたので、該当する特定種につい
てのみ学習した特化学習モデルを用いることで正確なヒビ割れ発生の確認が可能である。
【0014】
<システム構成>
図2に示されるように、本実施の形態における点検システムは、管理サーバ1と、ユー
ザ端末2と、無人飛行体4とを有している。管理サーバ1と、ユーザ端末2と、無人飛行
体4は、ネットワークNWを介して互いに通信可能に接続されている。なお、図示された
構成は一例であり、これに限らない。
【0015】
<管理サーバ1>
図3は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。
【0016】
図示されるように、管理サーバ1は、ユーザ端末2と、無人飛行体4と接続され本シス
テムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピ
ュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティング
によって論理的に実現されてもよい。
【0017】
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信
部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
【0018】
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受
信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置
である。例えばプロセッサ10はCPU(Central Processing Un
it)および/またはGPU(Graphics Processing Unit)で
あり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム
等を実行して各情報処理を実施する。
【0019】
メモリ11は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時
に実行されるBIOS(Basic Input / Output System)、
及び各種設定情報等を格納する。
【0020】
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよ
い。また、後述の記憶部130が記憶領域の一部に設けられていてもよい。
【0021】
送受信部13は、管理サーバ1をネットワークNWに接続する。なお、送受信部13は
、Bluetooth(登録商標)及びBLE(Bluetooth Low Ener
gy)の近距離通信インターフェースを備えていてもよい。
【0022】
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
【0023】
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
【0024】
<ユーザ端末2>
図4に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、
送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続さ
れる。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることか
ら、各要素の詳細な説明は省略する。
【0025】
<無人飛行体4>
図5は、無人飛行体4のハードウェア構成を示すブロック図である。フライトコントロ
ーラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの
1つ以上のプロセッサを有することができる。
【0026】
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセ
ス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラ
が実行可能であるロジック、コード、および/またはプログラム命令を記憶している。ま
た、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GP
Sセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
【0027】
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離
可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得し
たデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で
撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに
限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくと
も管理サーバ1やユーザ端末2のいずれか1つに記録されてもよい。カメラ42は無人飛
行体4にジンバル43を介して設置される。
【0028】
フライトコントローラ41は、無人飛行体4の状態を制御するように構成された図示し
ない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、
y及びz、並びに回転運動θx、θy及びθz)を有する無人飛行体4の空間的配置、速
度、および/または加速度を調整するために、ESC44(Electric Spee
d Controller)を経由して無人飛行体4の推進機構(モータ45等)を制御
する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで無
人飛行体4の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1
つ以上を制御することができる。
【0029】
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ
)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または
受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信ま
たは無線通信などの任意の適当な通信手段を使用することができる。
【0030】
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネッ
トワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネット
ワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することがで
きる。
【0031】
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成し
た処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのう
ちの1つ以上を送信および/または受け取ることができる。
【0032】
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、
GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例
えば、カメラ)を含み得る。
【0033】
<管理サーバの機能>
図6は、管理サーバ1に実装される機能を例示したブロック図である。本実施の形態に
おいては、管理サーバ1は、通信部110、飛行経路生成部120、記憶部130、特化
ヒビ割れ学習部140、第1のヒビ割れ学習部150、ヒビ割れ情報出力部160、検出
結果出力部170を備えている。また、記憶部130は、パラメータ情報記憶部132、
フライトログ記憶部134の各種データベースを含む。
【0034】
通信部110は、ユーザ端末2や無人飛行体4と通信を行う。通信部110は、ユーザ
端末2から、フライト依頼を受け付ける受付部としても機能する。
【0035】
飛行経路生成部120は、パラメータ情報記憶部132のパラメータ情報(例えば、ウ
ェイポイントの位置(緯度経度や高度)、飛行速度、最低飛行高度、ウェイポイントの配
置間隔、撮影角度、撮影画角、撮像画像のオーバーラップ率など)を参照して新規の飛行
経路が自動的に生成されてもよいし、一部またはすべてのウェイポイントに関する情報を
手動で設定して飛行経路を生成するようにしてもよい。
【0036】
特化ヒビ割れ学習部140は、特定種のヒビ割れに関するヒビ割れ画像を教師データと
して機械学習し、学習モデルを生成する。ここでいう特定種のヒビ割れとは、例えば滲出
物(コンクリート等)により被覆されたヒビ割れ(以下、「滲出物ヒビ割れ」という。)
、および/または、風浪による表面劣化により発生したヒビ割れ(以下、「風浪ヒビ割れ
」という。)である。そして、例えば、滲出物ヒビ割れに関する複数の第2のヒビ割れ画
像を教師データとして機械学習し、滲出物ヒビ割れに特化した第2のヒビ割れ学習モデル
を生成したり、風浪ヒビ割れに関する複数の第3のヒビ割れ画像を教師データとして機械
学習し、風浪ヒビ割れに特化した第3のヒビ割れ学習モデルを生成し、各ヒビ割れ学習モ
デルを特化ヒビ割れ学習モデル記憶部138に記憶する。なお、第2のヒビ割れ学習モデ
ルや第3のヒビ割れ学習モデルといった特化ヒビ割れ学習モデルは、管理サーバ1内の特
化ヒビ割れ学習部140に限らず、管理サーバ1外部で作成されたものであってもよく、
外部から特化ヒビ割れ学習モデル記憶部138に記憶されてもよい。
【0037】
ここで、コンクリート護岸のヒビ割れ特有の検知率の課題について、例えば、
図7に例
示されるヒビ割れA-Eのような画像に対してヒビ割れ検出を行う場合を例に説明する。
特にヒビ割れDは滲出物により被覆されたヒビ割れであり、ヒビ割れEは風浪による表面
劣化により発生したヒビ割れである。ヒビ割れA-Cの種類についてはここで言及しない
が、ヒビ割れD、Eとは異なる種類のヒビ割れであって、後述する第1のヒビ割れ学習モ
デルにより高精度に検出可能な一般的なヒビ割れである。
【0038】
図8に示されるように、ヒビ割れの種類を特に限定しない複数のヒビ割れ画像を教師デ
ータとして機械学習を行ったところ、ヒビ割れA-Cに関しては追加学習を行うことで検
知率が向上しているが、ヒビ割れD、Eに関しては追加学習を行っても検知率が十分に向
上しなかった。
【0039】
そこで、ヒビ割れD及びヒビ割れEに対応するヒビ割れ画像をそれぞれ教師データとし
て学習させた学習モデルをそれぞれ生成したところ、
図9に例示されるように、非特化ヒ
ビ割れ学習部150により生成された第1のヒビ割れ学習モデル(後述)を用いた検出結
果1だけでは精度よく確認できなかったヒビ割れD(検出結果2)やヒビ割れE(検出結
果3)が確認することができるようになった。
【0040】
第1のヒビ割れ学習部150は、コンクリート護岸における複数の第1のヒビ割れ画像
を教師データとして機械学習し、第1のヒビ割れ学習モデルを生成する。第1のヒビ割れ
画像は、特に限定されず、例えばヒビ割れの種類を限定しないヒビ割れ画像であってもよ
いが、上述の第2のヒビ割れ画像(滲出物ヒビ割れの画像)及び第3のヒビ割れ画像(風
浪ヒビ割れの画像)以外のヒビ割れ画像であれば、さらに互いの差異が明らかとなる各学
習モデルを生成することが可能である。なお、第1のヒビ割れ学習モデルについても、管
理サーバ1内の第1のヒビ割れ学習部140に限らず、管理サーバ1外部で作成されたも
のであってもよく、外部から第1のヒビ割れ学習モデル記憶部138に記憶されてもよい
。
【0041】
ヒビ割れ情報出力部160は、上述の第1~3のヒビ割れ学習モデルなどのヒビ割れ学
習モデルを用いて、無人飛行体4により撮影されたコンクリート護岸の撮影画像から各ヒ
ビ割れを検出し、それぞれに対応したヒビ割れ情報(例えば、静止画像など)を出力する
。
【0042】
検出結果出力部170は、例えば、ヒビ割れ情報出力部160が出力した各ヒビ割れ情
報としての検出画像(例えば、
図9に例示されるように、第1の学習モデルを用いた検出
結果1および第2の学習モデルを用いた検出結果2、第3の学習モデルを用いた検出結果
3)をそれぞれ生成し、これらの検出画像を重ね合わせて検出結果画像(例えば、
図9に
例示される、ヒビ割れ検出結果画像)を出力する。
【0043】
<点検方法の一例>
図10を参照して、本実施形態にかかる点検システムによる点検方法について説明する
。
【0044】
まず、管理サーバ1は、点検開始までに所定のパラメータ情報の入力を受付け、当該パ
ラメータ情報をパラメータ情報記憶部132に記憶する(SQ101)。
【0045】
次に、管理サーバ1は、飛行経路を生成する(SQ102)。例えば、パラメータ情報
記憶部132のパラメータ情報を参照して新規の飛行経路が自動的に生成されたり、ユー
ザが飛行経路を設定して生成したりする。
【0046】
次に、無人飛行体4は、飛行経路及びウェイポイント情報に基づき、ウェイポイントに
おいてコンクリート護岸の撮影を行い、管理サーバ1は当該撮影により取得した情報(例
えば、撮影画像)をフライトログ記憶部134に記憶する(SQ103)。
【0047】
次に、管理サーバ1は、ヒビ割れ情報出力部160により、特定種のヒビ割れに特化し
た特化ヒビ割れ学習モデル、例えば滲出物ヒビ割れに特化した第2のヒビ割れ学習モデル
、および/または、風浪ヒビ割れに特化した第3のヒビ割れ学習モデルを用いて、撮影画
像のヒビ割れを検出し、それぞれに対応したヒビ割れ情報(例えば、静止画像など)を出
力する(SQ104)。
【0048】
次に、管理サーバ1は、ヒビ割れ情報出力部160により第1のヒビ割れ学習部150
により生成した第1のヒビ割れ学習モデルを用いて、撮影画像のヒビ割れを検出し、それ
に対応したヒビ割れ情報を出力する(SQ105)。なお、SQ104とSQ105は順
不同であるし、両者が並列に処理されてもよい。
【0049】
次に、管理サーバ1は、検出結果出力部170により、例えば、ヒビ割れ情報出力部1
60により検出した各ヒビ割れ情報としての検出結果(特にヒビ割れ位置)を示す検出画
像をそれぞれ生成し(例えば、
図9に例示されるように、第1のヒビ割れ学習モデルを用
いた検出結果1および第2のヒビ割れ学習モデルを用いた検出結果2、第3のヒビ割れ学
習モデルを用いた検出結果3)、これらの検出画像を重ね合わせて検出結果(例えば、図
9に例示される、ヒビ割れ検出結果画像)を生成し、ユーザ端末2に出力する(SQ10
6)。
【0050】
このように、本発明は、船舶等による点検作業を経ない、コンクリート護岸の点検に適
した無人飛行体による点検システム及び管理サーバを提供することができる。特に
図9に
示されるように、コンクリート護岸におけるヒビ割れは、複合的な要因による複数種類の
ヒビ割れにより構成されているところ、本点検システムにより、より正確なコンクリート
護岸におけるヒビ割れ形状を検出可能となる。
【0051】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【0052】
1 管理サーバ
2 ユーザ端末
4 無人飛行体