特許 7217570 情報処理システム及びプログラム、情報処理方法、サーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-26

(45)【発行日】2023-02-03

(54)【発明の名称】情報処理システム及びプログラム、情報処理方法、サーバ

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230127BHJP

   G01B 11/30 20060101ALI20230127BHJP

【ＦＩ】

G01N21/88 J

G01B11/30 A

【請求項の数】 5

(21)【出願番号】P 2022577216

(86)(22)【出願日】2022-08-04

(86)【国際出願番号】 JP2022029980

【審査請求日】2022-12-14

【早期審査対象出願】

(73)【特許権者】

【識別番号】518156358

【氏名又は名称】株式会社センシンロボティクス

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】菅井 駿

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０２１－８１９５３（ＪＰ，Ａ）

【文献】特開２０２１－１６５９０９（ＪＰ，Ａ）

【文献】特開２０１９－６６２６７（ＪＰ，Ａ）

【文献】特開２０２１－１８４１６３（ＪＰ，Ａ）

【文献】国際公開第２０２０／０５９７０６（ＷＯ，Ａ１）

【文献】韓国公開特許第１０－２０２２－００１７６５７（ＫＲ，Ａ）

【文献】中国特許出願公開第１１２６３３３５４（ＣＮ，Ａ）

【文献】藤田悠介、ほか，画像処理によるコンクリート構造物のひび割れ幅の分類，コンクリート工学年次論文集，2012年06月15日，Vol. 34, No. 1，pp. 1792-1797，https://data.jci-net.or.jp/data_pdf/34/034-01-1291.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ３／１２

Ｇ０６Ｎ ７／０８ － Ｇ０６Ｎ ９９／００

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
推定した前記ヒビ割れ領域におけるヒビ割れ形状を示す形状情報を取得するヒビ割れ形状解析部と、
取得したヒビ割れ形状が前記原画像に重畳された解析済み画像と、取得した前記形状情報と、を用いて、前記ヒビ割れ推定学習モデルを再学習する再学習部と、
を備える、
ことを特徴とする情報処理システム。

【請求項2】

前記ヒビ割れ形状解析部は、前記ヒビ割れ領域の中心線を求め、当該中心線に対してヘッセ行列を利用することで前記ヒビ割れ形状の幅を算出し、前記中心線及び前記幅に基づきヒビ割れ形状を解析する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

処理部を有するコンピュータに情報処理を実行させるプログラムであって、
前記プログラムは、前記処理部に、
一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定することと、
推定した前記ヒビ割れ領域におけるヒビ割れ形状を示す形状情報を取得することと、
取得したヒビ割れ形状が前記原画像に重畳された解析済み画像と、取得した前記形状情報と、を用いて、前記ヒビ割れ推定学習モデルを再学習することと、
を実行させる、プログラム。

【請求項4】

ヒビ割れ推定部により、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するステップと、
ヒビ割れ形状解析部により、推定した前記ヒビ割れ領域におけるヒビ割れ形状を示す形状情報を取得するステップと、
再学習部により、取得したヒビ割れ形状が前記原画像に重畳された解析済み画像と、取得した前記形状情報と、を用いて、前記ヒビ割れ推定学習モデルを再学習するステップと、
をコンピュータにおいて実行する、情報処理方法。

【請求項5】

一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
推定した前記ヒビ割れ領域におけるヒビ割れ形状を示す形状情報を取得するヒビ割れ形状解析部と、
取得したヒビ割れ形状が前記原画像に重畳された解析済み画像と、取得した前記形状情報と、を用いて、前記ヒビ割れ推定学習モデルを再学習する再学習部と、
を備える、
ことを特徴とするサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヒビ割れを検出する情報処理システム及びプログラム、情報処理方法、サーバに関する。

【背景技術】

【0002】

建築物や土木構造物の壁におけるヒビ割れを検出するヒビ割れ検出装置が、特許文献１に開示されている。特許文献１に開示されたヒビ割れ検出装置によれば、ヒビ割れ検出のために、対象画像を二値化した二値画像を生成し、それを第１のハーフラインフィルタ処理を実行し、拡張処理を実行し、さらに第２のハーフラインフィルタ処理を実行し、ヒビ割れ候補画素を含む画像領域を、ヒビ割れ候補領域として設定する。その後、ヒビ割れ候補領域に対して候補確認処理として、誤検出か否かを確認するヒビ割れ候補確認処理を実行し、誤検出ではないと判定されたヒビ割れ候補領域をヒビ割れ領域とする。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６８９４３３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、このようなヒビ割れ検出処理は非常に処理が煩雑である。また、ヒビ割れ検出用の学習モデルによりヒビ割れ領域を推定することも可能であるが、推定の精度によっては実際のヒビ割れ領域よりも拡張された領域となってしまうこともあり得るし、精度向上のために継続的に大量の教師データを用意することは作業の負担となり得る。

【0005】

本発明はこのような背景を鑑みてなされたものであり、特に、ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することを一つの目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、を備えることを特徴とする情報処理システムが提供される。

【発明の効果】

【0007】

本発明によれば、特に、ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態の全体構成を示す図である。

【図2】本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。

【図3】図２のサーバのハードウェア構成を示すブロック図である。

【図4】図２の端末のハードウェア構成を示すブロック図である。

【図5】図２の飛行体のハードウェア構成を示すブロック図である。

【図6】図２のサーバ、端末の機能を示すブロック図である。

【図7】ヒビ割れ形状解析部によるヒビ割れ領域の形状解析処理を説明する図である。

【図8】本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。

【図9】ヒビ割れ領域を検出する対象の画像の一例である。

【図10】検出対象の画像を格子状に複数の領域に分割した状態を概念的に示す図である。

【図11】ヒビ割れ領域が存在すると推定された分割領域の上に、推定されたヒビ割れ領域を示した状態の画像を示す図である。

【図12】解析したヒビ割れ箇所を可視化して示した状態の画像を示す図である。

【図13】ヒビ割れ領域が推定された各分割領域によって再構築された元の１つの検出対象画像を示す図である。

【図14】本実施形態にかかる情報処理システムによるヒビ割れ推定学習方法を実施する処理を示すフローチャートである。

【図15】本実施形態にかかるヒビ割れ推定学習方法を示す概念図である。

【発明を実施するための形態】

【0009】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及びプログラム、情報処理方法、サーバは、以下のような構成を備える。
［項目１］
一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、
を備える、
ことを特徴とする情報処理システム。
［項目２］
前記ヒビ割れ形状解析部は、前記ヒビ割れ領域の中心線を求め、当該中心線に対してヘッセ行列を利用することで前記ヒビ割れ形状の幅を算出し、前記中心線及び前記幅に基づきヒビ割れ形状を解析する、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記原画像と解析された前記原画像上のヒビ割れ形状の位置情報とを教師データとして設定するヒビ割れ推定学習部をさらに備える、
ことを特徴とする項目１または２に記載の情報処理システム。
［項目４］
処理部を有するコンピュータに情報処理を実行させるプログラムであって、
前記プログラムは、前記処理部に、
一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定することと、
推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析することと、
を備える、
を実行させる、プログラム。
［項目５］
ヒビ割れ推定部により、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するステップと、
ヒビ割れ形状解析部により、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するステップと、
をコンピュータにおいて実行する、情報処理方法。
［項目６］
一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、
を備える、
ことを特徴とするサーバ。

【0010】

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0011】

＜本実施形態の概要＞
図１に示されるように、本実施の形態における情報処理システムは、例えば建物や土木建造物などの構造物の壁面を撮像した画像を基に、そのような壁面に存在するヒビ割れを検出するものである。構造物の壁面は、一例として、ユーザ自身がカメラを操作して撮像してもよいし、あるいは、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。

【0012】

＜システム構成＞
図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。

【0013】

＜サーバ１のハードウェア構成＞
図２は、本実施形態におけるサーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0014】

サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0015】

プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

【0016】

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0017】

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。

【0018】

送受信部１３は、サーバ１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子等をさらに備えていてもよい。

【0019】

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0020】

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0021】

＜端末２＞
図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

【0022】

＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

【0023】

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

【0024】

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。

【0025】

フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

【0026】

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

【0027】

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0028】

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

【0029】

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0030】

＜サーバ１の機能＞
図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、ヒビ割れ推定部１２１、ヒビ割れ形状解析部１２２、ヒビ割れ推定学習部１２３を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１、ヒビ割れ推定学習モデル１３２を含んでいる。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。

【0031】

通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。

【0032】

画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよい。

【0033】

処理部１２０は、画像取得部１１５が取得した画像についてヒビ割れ検出を行い、どの部分にどのくらいのサイズのヒビ割れ箇所が存在するかを検出する一連の処理を実行する各機能部１２１～１２３を備えている。

【0034】

ヒビ割れ推定部１２１は、一以上の対象物（建物や土木建造物などの構造物の少なくとも一部、当該構造物の壁面の少なくとも一部、当該壁面のタイルやパネルの少なくとも一部等）が映る原画像に対して、その対象物において存在するヒビ割れ領域を推定する処理を実行する。本実施形態のヒビ割れ推定部１２１は、記憶部１３０のヒビ割れ推定学習モデル１３２を用いてヒビ割れ領域を推定する。ヒビ割れ推定学習モデル１３２の詳細については後述する。

【0035】

ヒビ割れ推定部１２１は、原画像の全体に対してヒビ割れ領域を推定する処理を実行してもよいし、あるいは、原画像を複数の領域に分割する処理を実行した後に、各々の分割領域についてヒビ割れ領域を推定する処理を実行してもよい。原画像を複数の領域に分割してヒビ割れ領域を推定する処理は、ヒビ割れ領域推定を行う領域を細分化することでその処理のための計算量も細分化できるので、原画像全体について一度にヒビ割れ領域を推定する処理を実行する場合に比べて、ヒビ割れ推定部１２１における計算負荷を抑えることができる。ヒビ割れ推定部１２１は、原画像を複数の領域に分割する処理を実行した場合には、各々の分割領域に関する以下に説明する各処理を実行した後、それらの分割領域を再構築して元の１つの画像に対応する画像を生成する。

【0036】

ヒビ割れ形状解析部１２２は、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域に基づいて、ヒビ割れ領域の形状（長さ及び幅等）を解析する処理を実行する。ヒビ割れ領域の形状解析処理には種々の公知の手法を用いることが可能であるが、本実施形態のヒビ割れ形状解析部１２２は、一例として、ヘッセ行列を用いた手法によりヒビ割れ箇所の形状解析処理を行うように構成されている。

【0037】

ここで、図７を参照して、ヘッセ行列を用いたヒビ割れ領域の形状解析手法について説明する。

【0038】

画像の各画素（ｘ，ｙ）において、輝度値ｆ（ｘ，ｙ）を高さ方向とし、（ｘ，ｙ）を連続変数とすると、画像は三次元曲面と解釈することができる。画素中の或る画素（ｘ，ｙ）に関するヘッセ行列は、画像の輝度値をｘ方向及びｙ方向に２階微分した要素から構成される正方行列であり、下記の式（１）で表される。

【数1】

… 式（１）

【0039】

このヘッセ行列の固有値λ_１，λ_２の関係に基づき、

【数2】

… 式（２）
の関係を満たす画素を線状構造とみなして強調する。

【0040】

ここで、図７（ａ）には、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域Ａと、正解である実際のヒビ割れ領域Ｂとの概念図が示されており、図７（ｂ）には、推定されたヒビ割れ領域Ａに基づいて上述するように線状構造とみなされた画素によって形成された、１画素の線幅からなるスケルトンＣが示されている。スケルトンＣは、ヒビ割れ箇所の延伸方向及び長さを示す。

【0041】

そして、スケルトンＣ上でヘッセ行列のスケールを変えて線状構造を評価し、線状構造と判別された画素について線らしさの評価値が最大であるスケールを調べることにより、ヒビ割れ幅を評価することができる（図７（ｃ）参照）。このようにヘッセ行列をスケールさせてヒビ割れ幅を評価することにより、ヒビ割れ形状解析部１２２は、ヒビ割れ箇所の形状として、図７（ｃ）に示すように正解である実際のヒビ割れ領域Ｂに近い線状構造Ｄを得ることができる。

【0042】

このように、ヒビ割れ推定部１２１（及び後述のヒビ割れ推定学習モデル１３２）によって推定されたヒビ割れ領域に対して、ヘッセ行列を用いたヒビ割れ箇所の形状解析手法を用いることで、スケルトンＣに基づいてヒビ割れ箇所の延伸方向及び長さを取得し、ヘッセ行列に基づいてヒビ割れ箇所の幅を取得することができる。

【0043】

なお、上述したヘッセ行列を用いた手法は、論文「画像処理によるコンクリート構造物のヒビ割れ幅の分類」（コンクリート工学年次論文集，Ｖｏｌ．３４，Ｎｏ．１，２０１２）に開示されている。

【0044】

次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、ヒビ割れ推定部１２１が推定したヒビ割れ領域を着色等で原画像に重畳して可視化したヒビ割れ推定画像や、ヒビ割れ形状解析部１２２が解析したヒビ割れ位置を着色等で原画像またはヒビ割れ推定画像のいずれかに重畳して可視化したヒビ割れ解析画像、処理部１２０の各機能部１２１～１２３による処理に生成された情報・データ等を、少なくとも一時的に記憶する。

【0045】

ヒビ割れ推定学習モデル１３２は、種々のヒビ割れに関するヒビ割れ画像を教師データとして機械学習して生成された学習モデルである。ヒビ割れ推定学習モデル１３２は、例えばヒビ割れ推定学習部１２３により作成したり、任意の外部コンピュータ装置（不図示）を学習器として用いて作成したりして、記憶部１３０や任意の外部の記憶手段（不図示）に記憶させることができる。ヒビ割れ推定学習モデル１３２は、タイルやパネル等の異なる種別または異なる材質などの対象物毎にヒビ割れ画像を教師データとして機械学習して生成してもよく、この場合は、対象物毎に特化した複数のヒビ割れ推定学習モデルが生成されて記憶部１３０に記憶される。

【0046】

ヒビ割れ推定学習モデル１３２は、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成される。そのようなニューラルネットワークとして、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープニューラルネットワークを用いることができる。

【0047】

本実施形態では特に、画像の何処に何が写っているかを推定する物体検出に加えて、それがどのような形状を有しているかも推定することが可能なＭａｓｋ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。Ｍａｓｋ Ｒ－ＣＮＮによれば、ＣＮＮを用いて物体の候補領域を抽出し、領域位置とクラスの確率を同時に推定することにより、物体にバウンディングボックスを掛け、その物体がどのクラスに属するか（その物体が何であるか）を推定することに加えて、バウンディングボックス内のピクセル単位でクラス分類を行うことで、その物体の形も推定することが可能である。そのため、本実施形態のヒビ割れ推定学習モデル１３２を用いることで、画像中のヒビ割れ推定領域の位置のみならず、そのヒビ割れ箇所の形状も推定することが可能である。

【0048】

ヒビ割れ推定学習部１２３は、ヒビ割れ形状解析部１２２によって解析された原画像及びヒビ割れ推定部１２１が推定したヒビ割れ領域の原画像上の位置情報（特に、ヒビ割れの中心線（スケルトン）の位置情報）、ヒビ割れ形状解析部１２２が解析したヒビ割れ箇所の原画像上の形状情報（位置情報、幅情報、長さ情報の少なくともいずれかを含み、特に幅情報）を学習用教師データとして設定する。ヒビ割れ推定学習部１２３は、設定された学習用教師データを用いてヒビ割れ推定学習モデル１３２を追加学習や再学習などの機械学習を実行することが可能であってもよいし、任意の外部の学習器で追加学習や再学習などの機械学習が可能なように学習用教師データを出力データとして出力することが可能であってもよい。

【0049】

＜ヒビ割れ領域検出方法の一例＞
続いて、図８等を参照して、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法について説明する。図８は、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。

【0050】

最初に、サーバ１の画像取得部１１５は、無人飛行体４に搭載されたカメラやユーザが用いたカメラで撮像された原画像をそれらのカメラから取得する（Ｓ１０１）。

【0051】

取得する原画像は、建物や土木建造物等の壁面等の、ヒビ割れ領域を検出する対象物を撮像したものである。図９に、検出対象の原画像の一例を示す。

【0052】

次に、サーバ１のヒビ割れ推定部１２１は、対象物が映る原画像に対して、その対象物におけるヒビ割れ領域を推定する処理を実行する（Ｓ１０２）。

【0053】

このヒビ割れ領域を推定する処理は、ヒビ割れ推定部１２１が、ヒビ割れ領域を検出する対象の原画像を複数の領域に分割する処理を含んでもよい。

【0054】

図１０は、検出対象の画像を格子状に複数の領域に分割した状態を概念的に示す図である。図１０に示す例では、検出対象の画像が縦３個×横３個の合計９個の領域に分割されている。ヒビ割れ推定部１２１は、ヒビ割れ推定部１２１によって分割された各分割領域の画像を、分割前の原画像全体のどの部分に対応するかを示す情報と関連付けて、情報・画像記憶部１３１に格納する。なお、このように検出対象画像を分割する処理はオプションであり、検出対象の原画像を分割することなく１つの画像全体について後続の処理を実行してもよい。

【0055】

ヒビ割れ領域を推定する処理において、ヒビ割れ推定部１２１は次に、検出対象の原画像の上記のように分割された個々の分割領域について、ヒビ割れ推定学習モデル１３２を用いてヒビ割れ領域を推定する処理を実行する。

【0056】

図１１は、ヒビ割れ推定部１２１によるヒビ割れ領域推定処理の結果、ヒビ割れ領域が存在すると推定された分割領域の上に、推定されたヒビ割れ領域を可視化して示した状態の画像を示している。ヒビ割れ推定部１２１は、推定されたヒビ割れ領域に関する情報（ヒビ割れ領域が存在する分割領域、当該分割領域におけるヒビ割れ領域の位置、ヒビ割れ領域の大きさ・形状等）を情報・画像記憶部１３１に格納する。

【0057】

次に、サーバ１のヒビ割れ形状解析部１２２は、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域に基づいて、ヒビ割れ領域の形状（長さ及び幅等）を解析する処理を実行する（Ｓ１０６）。

【0058】

ヒビ割れ形状解析部１２２は、一例として、上述したようにヘッセ行列を用いた手法によりヒビ割れ箇所の形状解析処理を行うように構成されており、その形状解析処理により、ヒビ割れ箇所の延伸方向及び長さと、ヒビ割れ箇所の幅とをヒビ割れ箇所の形状に関する情報として取得し、取得したヒビ割れ箇所の形状に関する情報を情報・画像記憶部１３１に格納する。図１２は図１１に示した画像を説明のために拡大して示す図であり、図１２には推定されたヒビ割れ領域に基づいて生成されたスケルトンと、ヒビ割れ幅を評価して得られた実際のヒビ割れ箇所に近い線状構造とが示されている。図１２では、ヒビ割れ形状解析部１２２による解析の結果取得された、ヒビ割れ箇所を構成する各セグメントの長さ及び幅に関する数値情報も併せて示されている。

【0059】

最後に、ヒビ割れ推定部１２１は、上記ステップＳ１０２において原画像を複数の分割領域に分割する処理を実行していた場合には、分割した分割領域の画像を元の１つの検出対象画像に再構築する処理を実行する（Ｓ１０７）。

【0060】

ヒビ割れ推定部１２１は、情報・画像記憶部１３１に格納した、各分割領域の画像が分割前の全体画像のどの部分に対応するかを示す情報に基づいて、それらの分割領域を元の１つの検出対象画像に再構築する。対象物領域（ここではタイル１枚毎の領域）が推定された各分割領域の画像のうち、ヒビ割れ領域が推定された対象物領域を含む分割領域では、上述した処理により、形状が解析されて特定されたヒビ割れ箇所が、推定された対象物領域の上に重畳される。

【0061】

図１３は、対象物領域が推定された各分割領域によって再構築された元の１つの検出対象画像を示している。また、図１３には、検出対象の壁面のうち、窓枠部分の図示左側に位置する２つの対象物（タイル）に、長さ及び幅が特定された形状を有するヒビ割れ箇所が存在することが示されている。ヒビ割れ推定部１２１は、このように再構築された画像とその画像に関連する各種データとを、互いに関連付けて情報・画像記憶部１３１に格納する。再構築された画像に関連する各種データは、上記各処理により得られたデータ（ヒビ割れ箇所が存在する対象物領域（例えば、ＩＤが特定されて管理されてもよい）、ヒビ割れ箇所の形状（長さ及び幅）及び位置、ヒビ割れ箇所が存在する対象物領域の数（特に、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数）等に関する情報）を含む。これらの画像及びその画像に関連する各種データは、端末２からの要求に応じてその一部または全部が端末２へ送信されてもよい。そして、画像及びその画像に関連する各種データは、ユーザが端末２の入出力部２４（例えばディスプレイ）を介して所定のユーザインタフェースにおいて閲覧可能であってもよい。なお、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数の抽出は、処理部１２０においてヒビ割れの長さまたは幅の少なくともいずれかの値を対応する基準値と比較した結果に基づいて行われてもよいし、これに代えて、端末２上でヒビ割れに関するデータを受け取った後に、端末２上で同様の比較を行って抽出してもよい。

【0062】

このように、本実施形態のサーバ１によれば、少なくとも推定したヒビ割れ推定領域をさらにヒビ割れ解析することにより、ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することができる。

【0063】

＜ヒビ割れ推定学習方法の一例＞
続いて、図１４を参照して、本実施形態にかかる情報処理システムによるヒビ割れ推定学習方法について説明する。図１４は、本実施形態にかかる情報処理システムによるヒビ割れ推定学習方法を実施する処理を示すフローチャートである。図１５は、本実施形態にかかるヒビ割れ推定学習方法を示す概念図である。

【0064】

最初に、サーバ１のヒビ割れ推定学習部１２３または任意の外部コンピュータ装置（不図示）の学習器に対して、種々のヒビ割れに関するヒビ割れ画像及びヒビ割れ位置情報を教師データとして機械学習してヒビ割れ推定学習モデル１３２を生成する（Ｓ２０１）。

【0065】

次に、サーバ１のヒビ割れ推定学習部１２３は、ヒビ割れ形状解析部１２２によって解析されたヒビ割れ形状が可視化された解析済画像（例えば、処理部１２０においてヒビ割れ箇所を着色等で原画像またはヒビ割れ推定画像のいずれかに重畳して可視化されたヒビ割れ解析画像など）及びヒビ割れ箇所の画像上の位置情報を学習用教師データとして設定する（Ｓ２０２）。

【0066】

次に、サーバ１のヒビ割れ推定学習部１２３は、設定された学習用教師データを用いてヒビ割れ推定学習モデル１３２を追加学習や再学習などの機械学習を実行する（Ｓ２０３）。

【0067】

このように、本実施形態のサーバ１によれば、ヒビ割れ解析を実行することで教師データを生成することが可能となるので、教師データを用意するための作業負担が軽減される。

【0068】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0069】

１ サーバ
２ 端末
４ 無人飛行体

【要約】

【課題】ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することが可能な情報処理システム及びプログラムを提供する。
【解決手段】本発明の一実施形態によれば、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、を備える情報処理システムが提供される。また、前記ヒビ割れ形状解析部は、前記ヒビ割れ領域の中心線を求め、当該中心線に対してヘッセ行列を利用することで前記ヒビ割れ形状の幅を算出し、前記中心線及び前記幅に基づきヒビ割れ形状を解析する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】