特開 2024-137167 プログラム、モデル生成方法、情報処理方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137167

(43)【公開日】2024-10-07

(54)【発明の名称】プログラム、モデル生成方法、情報処理方法及び情報処理装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240927BHJP

   E02B 3/14 20060101ALI20240927BHJP

【ＦＩ】

G06Q50/10

E02B3/14 301

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023048578

(22)【出願日】2023-03-24

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和 ４年 ４月１５日に、土木学会 第２５回応用力学シンポジウム講演概要集（２０２２年５月）にて公開 令和 ４年 ５月２８日に、第２５回応用力学シンポジウム 一般セッションにて公開 ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓｃｅａｍ２０２２／ｓｕｂｊｅｃｔ／２Ｅ０１－０５－０２／ｔａｂｌｅｓ？ｃｒｙｐｔｏＩｄ＝ 令和 ５年 ３月 ９日に、Ｊ－Ｓｔａｇｅのウェブサイトにて公開 ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｊｓｃｅｊｊ／７９／１５／７９＿２２－１５０５７／＿ａｒｔｉｃｌｅ／－ｃｈａｒ／ｊａ／ 令和 ４年１２月２７日に、機械学習・ディープラーニングによる異常検知技術と活用事例集、第３７４頁～第３８６頁、株式会社技術情報協会にて公開

(71)【出願人】

【識別番号】592000886

【氏名又は名称】八千代エンジニヤリング株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】都築 幸乃

(72)【発明者】

【氏名】藤井 純一郎

(72)【発明者】

【氏名】大久保 順一

(72)【発明者】

【氏名】吉田 龍人

【テーマコード（参考）】

2D118

5L049

【Ｆターム（参考）】

2D118AA02

2D118BA03

2D118CA07

2D118DA01

2D118FA06

2D118FB02

2D118FB18

2D118HA00

2D118HD03

5L049CC15

(57)【要約】

【課題】専門家でなくても、複数のブロックで構築された構造物を撮影した画像から各ブロックの状態を容易に判断することが可能となるプログラム等を提供する。
【解決手段】コンピュータは、プログラムに従って、複数のブロックで構築された構造物を撮影した撮影画像を取得し、取得した撮影画像をブロック毎に分割する。そして、コンピュータは、ブロックの画像を入力した場合に、前記画像から再構成処理によって生成された生成画像を出力するように学習された学習モデルに、撮影画像から分割された各ブロックのブロック画像を入力して、入力したブロック画像から生成された生成画像を取得する。コンピュータは、ブロック画像と、前記ブロック画像から生成された生成画像とに基づいて、ブロックの状態に関する情報を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のブロックで構築された構造物を撮影した撮影画像を取得し、
前記撮影画像を前記ブロック毎に分割し、
ブロックの画像を入力した場合に、前記画像から再構成処理によって生成された生成画像を出力するように学習された学習モデルに、前記撮影画像から分割されたブロックのブロック画像を入力して、入力した前記ブロック画像から生成された生成画像を取得し、
前記ブロック画像と、前記ブロック画像から生成された生成画像とに基づいて、前記ブロックの状態に関する情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記撮影画像から分割されたブロックのブロック画像と、前記ブロック画像から生成された生成画像とに基づいて、前記ブロックの状態に関するスコアを算出し、
算出したスコアに基づいて、前記ブロックの状態に関する情報を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。

【請求項3】

前記算出したスコアに基づいて、前記ブロックが正常な状態であるか否かを判断し、
前記撮影画像中のブロック画像に対して、正常な状態でないと判断されたブロックのブロック画像の割合を算出し、
前記撮影画像及び算出した割合を出力する
処理を前記コンピュータに実行させる請求項２に記載のプログラム。

【請求項4】

前記撮影画像中の各ブロックの領域を、各ブロックの状態に応じた態様で表示する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項5】

撮影部を介して取得する前記構造物の画像を表示し、
前記構造物の画像上に、前記構造物を過去に撮影した撮影画像を重ねて表示し、
前記過去に撮影した撮影画像の透過率を受け付け、
前記過去に撮影した撮影画像を、受け付けた透過率で表示する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項6】

前記撮影画像に対して処理対象の領域の指定を受け付け、
指定された領域に対して射影変換を行い、
射影変換後の前記領域を前記ブロック毎に分割する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項7】

前記構造物を撮影した撮影画像と、前記撮影画像に対して射影変換を行った後の撮影画像と、各ブロックの領域を各ブロックの状態に応じた態様で表示する撮影画像との表示を切り替える
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項8】

正常状態のブロックの撮影画像を訓練データとして取得し、
取得した前記撮影画像を入力した場合に、前記撮影画像から再構成処理によって前記撮影画像に類似する画像を生成して出力する学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。

【請求項9】

前記ブロックは、護岸ブロックであり、
前記訓練データは、形状が異なる複数種類の護岸ブロックの撮影画像、及び／又は、水抜口、梯子又は植生を含む護岸ブロックの撮影画像を含む
請求項８に記載のモデル生成方法。

【請求項10】

複数のブロックで構築された構造物を撮影した撮影画像を取得し、
前記撮影画像を前記ブロック毎に分割し、
ブロックの画像を入力した場合に、前記画像から再構成処理によって生成された生成画像を出力するように学習された学習モデルに、前記撮影画像から分割されたブロックのブロック画像を入力して、入力した前記ブロック画像から生成された生成画像を取得し、
前記ブロック画像と、前記ブロック画像から生成された生成画像とに基づいて、前記ブロックの状態に関する情報を出力する
処理をコンピュータが実行する情報処理方法。

【請求項11】

制御部を備える情報処理装置であって、
前記制御部は、
複数のブロックで構築された構造物を撮影した撮影画像を取得し、
前記撮影画像を前記ブロック毎に分割し、
ブロックの画像を入力した場合に、前記画像から再構成処理によって生成された生成画像を出力するように学習された学習モデルに、前記撮影画像から分割されたブロックのブロック画像を入力して、入力した前記ブロック画像から生成された生成画像を取得し、
前記ブロック画像と、前記ブロック画像から生成された生成画像とに基づいて、前記ブロックの状態に関する情報を出力する
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、モデル生成方法、情報処理方法及び情報処理装置に関する。

【背景技術】

【0002】

河川の法面、海岸、湖岸等に複数の護岸ブロックで構築された護岸施設が設けられている。特許文献１には、水位センサの収納が可能な護岸ブロックによって形成された擁壁構造が開示されている。特許文献１の技術では、河川の法面等を補強できると共に河川等の水位をリアルタイムで測定することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８１０２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

護岸施設は、機能維持のために、損傷状態等の点検を定期的に行うことが義務付けられている。現状では、例えば１年に１～２回程度、点検担当者が河川を歩いて見て回り、損傷と思われる箇所の写真を撮影し、写真に対して損傷の位置及び状態に関するコメントを付与した報告書を作成することが行われている。このような点検作業は、河川維持管理技術者及び河川点検士等の専門家が目視点検で行っており、日本全国の護岸施設を十分に点検するための人材を確保することは容易ではない。護岸施設のほかに例えば道路擁壁についても同様の点検を行っており、同様の課題がある。

【0005】

一つの側面では、専門家でなくても、複数のブロックで構築された構造物を撮影した画像から各ブロックの状態を容易に判断することが可能となるプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、複数のブロックで構築された構造物を撮影した撮影画像を取得し、前記撮影画像を前記ブロック毎に分割し、ブロックの画像を入力した場合に、前記画像から再構成処理によって生成された生成画像を出力するように学習された学習モデルに、前記撮影画像から分割されたブロックのブロック画像を入力して、入力した前記ブロック画像から生成された生成画像を取得し、前記ブロック画像と、前記ブロック画像から生成された生成画像とに基づいて、前記ブロックの状態に関する情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、専門家でなくても、複数のブロックで構築された構造物を撮影した画像から各ブロックの状態を容易に判断することができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの構成例を示す説明図である。

【図2】サーバ及び撮影装置の構成例を示すブロック図である。

【図3】護岸ＤＢのレコードレイアウトの一例を示す説明図である。

【図4】学習モデルの概要を示す説明図である。

【図5】学習モデルの生成処理手順の一例を示すフローチャートである。

【図6】学習モデルの学習に用いる画像の説明図である。

【図7】護岸ブロックの解析処理手順の一例を示すフローチャートである。

【図8】護岸ブロックの解析処理手順の一例を示すフローチャートである。

【図9】護岸ブロックの解析処理手順の一例を示すフローチャートである。

【図10】画面例を示す説明図である。

【図11】画面例を示す説明図である。

【図12】画面例を示す説明図である。

【図13】画面例を示す説明図である。

【図14】ブロック画像に分解する処理の説明図である。

【図15】学習モデルの変形例を示す説明図である。

【図16】状態判別モデルの概要を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本開示のプログラム、モデル生成方法、情報処理方法、及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、河川の法面、海岸、湖岸等に複数の護岸ブロックで構築された護岸施設の状態を解析する処理を例に説明するが、解析対象は、護岸施設に限定されず、例えば擁壁及びブロック塀等、複数のブロックで構築された構造物であってもよい。

【0010】

（実施形態１）
図１は情報処理システムの構成例を示す説明図である。本実施形態では、複数の護岸ブロックで構築された護岸施設（以下では単に護岸と称する）の状態を検出する情報処理システムについて説明する。本実施形態の情報処理システムは、護岸の撮影に用いる撮影装置２０及びサーバ１０を含み、撮影装置２０及びサーバ１０は、インターネット等のネットワークＮを介して通信接続されている。撮影装置２０は、護岸の撮影を行う撮影者が使用する情報端末であり、複数設けられている。なお、撮影者は、河川維持管理技術者及び河川点検士等の専門家でなくてもよい。

【0011】

図２はサーバ１０及び撮影装置２０の構成例を示すブロック図である。サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、サーバコンピュータ又はパーソナルコンピュータ等で構成される。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを用いて構成されている。制御部１１は、記憶部１２に記憶してあるプログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき種々の情報処理及び制御処理を実行する。

【0012】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラム１２Ｐ（プログラム製品）及び各種のデータを記憶している。また記憶部１２は、制御部１１がプログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、例えば機械学習によって訓練データを学習済みの学習モデル１２Ｍを記憶している。学習モデル１２Ｍは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル１２Ｍは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数や閾値等のデータが学習モデル１２Ｍとして記憶される。更に記憶部１２は、後述する護岸ＤＢ１２ａを記憶している。記憶部１２の一部は、サーバ１０に接続された他の記憶装置であってもよく、サーバ１０が通信可能な他の記憶装置であってもよい。

【0013】

通信部１３は、有線通信又は無線通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。ネットワークＮは、インターネット又は公衆電話回線網であってもよく、サーバ１０が設けられている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0014】

読み取り部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。また、プログラム１２Ｐ及び各種のデータは、サーバ１０の製造段階において記憶部１２に書き込まれてもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0015】

本実施形態において、サーバ１０は複数のコンピュータからなるマルチコンピュータであってもよく、１台の装置内にソフトウェアによって仮想的に構築された仮想マシンであってもよく、クラウドサーバであってもよい。また、サーバ１０は、入力部１４及び表示部１５は必須ではなく、接続されたコンピュータを通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置へ出力する構成でもよい。また、プログラム１２Ｐは単一のコンピュータ上で実行されてもよく、ネットワークを介して相互に接続された複数のコンピュータ上で実行されてもよい。

【0016】

撮影装置２０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成される。撮影装置２０は、護岸の撮影を行う撮影者が使用する情報端末であり、カメラを有する情報端末であれば、上述した機器に限定されない。撮影装置２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、読み取り部２６、カメラ２７、測位部２８等を含み、これらの各部はバスを介して相互に接続されている。撮影装置２０の制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、及び読み取り部２６は、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、及び読み取り部１６と同様の構成を有するので、詳細な説明は省略する。なお、撮影装置２０の記憶部２２には、制御部２１が実行するプログラム２２Ｐ（プログラム製品）のほかに、護岸の撮影を支援すると共に、撮影された護岸の撮影画像をサーバ１０に登録する処理を実現するためのアプリケーションプログラム（以下では護岸撮影アプリ２２ＡＰと称する）が記憶してある。

【0017】

カメラ２７は、レンズ及び撮像素子等を有する撮像部である。カメラ２７は、撮影者によるシャッターボタンの操作に従った制御部２１からの指示に従って撮影を行い、例えば１枚の画像データ（静止画像）を取得する。カメラ２７にて取得された画像データ（撮影画像）は記憶部２２に記憶される。測位部２８は、撮影装置２０の現在地を検出し、現在地を示す現在地情報（例えば経度及び緯度の座標値）を取得し、取得した現在地情報を制御部２１へ送出する。測位部２８は、例えばＧＰＳ（Global Positioning System ）受信機を有し、ＧＰＳ衛星から送信されるＧＰＳ信号をＧＰＳ受信機にて受信し、受信したＧＰＳ信号に基づいて現在地を検出する。なお、現在地の検出方法はＧＰＳ衛星からの電波に基づく方法に限らない。また測位部２８は、ジャイロセンサ等を有し、カメラ２７による撮影方向（例えば、東西南北で示される方角）を特定する構成でもよい。

【0018】

上述した構成の情報処理システムにおいて、撮影装置２０は、撮影者からの指示に従って護岸の撮影を行い、得られた撮影画像をサーバ１０に登録する処理を行う。サーバ１０は、撮影装置２０によって撮影された護岸の撮影画像（以下では護岸画像と称する）に基づいて、各護岸ブロックの劣化状態を解析する処理を行う。本実施形態のサーバ１０は、護岸の撮影画像から、当該撮影画像中の各護岸ブロックの劣化状態を解析する際に学習モデル１２Ｍを用いる。

【0019】

図３は護岸ＤＢ１２ａのレコードレイアウトの一例を示す説明図である。護岸ＤＢ１２ａは、撮影装置２０を用いて撮影された護岸に関する情報を記憶するデータベースである。護岸ＤＢ１２ａは例えば、河川コード列、モニタリング地点列、撮影画像列、解析履歴列等を含む。河川コード列は、各河川に固有に割り当てられた識別情報（河川コード）を記憶する。河川コードは例えば河川コード管理システムによって各河川に付与された番号を用いることができる。モニタリング地点列は、河川コードが示す河川において解析対象の地点の情報、即ち、過去に護岸を撮影した撮影場所（モニタリング地点）の情報を記憶する。具体的には、モニタリング地点列は、地点ＩＤ列、橋情報列、住所列、及び位置情報列を含み、地点ＩＤ列は、各モニタリング地点に固有に割り当てられた識別情報（地点ＩＤ）を記憶する。橋情報列は、地点ＩＤに対応付けて、モニタリング地点の近傍の橋の名称を記憶し、例えばモニタリング地点の上流側の橋及び下流側の橋の名称を記憶する。住所列は、地点ＩＤに対応付けて、モニタリング地点の住所を記憶し、位置情報列は、地点ＩＤに対応付けて、モニタリング地点の緯度及び経度等の位置情報を記憶する。撮影画像列は、モニタリング地点の情報に対応付けて、モニタリング地点での護岸の撮影画像（護岸画像）の情報を記憶する。具体的には、撮影画像列は、日時列、撮影者ＩＤ列、及び撮影画像データ列を含み、日時列は撮影日時を記憶し、撮影者ＩＤ列は、撮影者又は撮影装置２０に固有に割り当てられた識別情報を記憶する。撮影画像データ列は、護岸画像の画像データを記憶する。なお、護岸画像の画像データは、護岸ＤＢ１２ａに記憶されずに、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよい。この場合、撮影画像データ列は、護岸画像の画像データを読み出すための情報（例えばデータの記憶場所を示すフォルダ名及びファイル名）を記憶する。

【0020】

解析履歴列は、護岸画像に基づいて護岸ブロックの状態を解析した結果の情報を記憶する。具体的には、解析履歴列は、日時列、解析者ＩＤ列、切取画像データ列、解析画像データ列、異常ブロック率列を含み、解析対象の護岸画像の情報に対応付けて各情報を記憶する。具体的には、日時列は解析処理を行った日時を記憶し、解析者ＩＤ列は、解析処理を行った担当者に固有に割り当てられた識別情報を記憶する。切取画像データ列は、解析処理の際に護岸画像から抽出して射影変換された後の処理領域（以下では切取画像と称する）の画像データを記憶し、解析画像データ列は、各護岸ブロックに対する解析結果（以下では解析画像と称する）を示す画像データを記憶する。切取画像及び解析画像の画像データは、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよく、この場合、切取画像データ列及び解析画像データ列は、切取画像及び解析画像の画像データを読み出すための情報（例えばフォルダ名及びファイル名）を記憶する。異常ブロック率列は、解析結果であり、護岸画像中に撮影された護岸ブロックに対して、異常状態であると判定された護岸ブロックの割合を記憶する。このような構成により、護岸ＤＢ１２ａには、撮影装置２０によって撮影された護岸画像と、護岸画像に基づいて解析された護岸ブロックの状態を示す解析結果とが記憶される。なお、護岸ＤＢ１２ａは図３に示す構成に限定されず、解析対象の護岸に関する各種の情報を記憶することができる。

【0021】

図４は学習モデル１２Ｍの概要を示す説明図であり、図４Ａは学習モデル１２Ｍの構成例を示し、図４Ｂは学習モデル１２Ｍの入力データの例を示す。学習モデル１２Ｍは、護岸ブロックを撮影した画像（以下ではブロック画像と称する）を入力とし、入力されたブロック画像に基づいて、当該ブロック画像に対して再構成処理を行い、生成した再構成画像（生成画像）を出力するように学習している。学習モデル１２Ｍに入力されるブロック画像は、図４Ｂに示すように、護岸を撮影した撮影画像から１つの護岸ブロックの領域を抽出した画像を用いることができる。学習モデル１２Ｍは、ＶＡＥ（Variational Autoencoder：変分自己符号化器）を用いて構成される。ＶＡＥは、入力データの特徴量から潜在変数を生成するエンコーダと、生成した潜在変数から出力データを生成するデコーダとを有するモジュールである。なお、学習モデル１２Ｍは、入力データに近いデータを出力するように学習する構成であれば、ＶＡＥに限定されず、各種の生成モデルを用いてもよい。

【0022】

学習モデル１２Ｍは、学習用の訓練データを用いて機械学習することにより生成できる。訓練データは、護岸を撮影した撮影画像から抽出された護岸ブロックの画像（ブロック画像）のうちで、護岸ブロックが正常な状態であると判断されるブロック画像を用いることができる。なお、護岸ブロックが正常でない状態とは、護岸ブロックの少なくとも一部に、欠損、エフロレッセンス（白華現象）、表面剥離、溶出物等の劣化が発生している状態を意味し、正常な状態とは、これらの劣化が発生しておらず補修の必要がない状態を意味する。

【0023】

学習モデル１２Ｍは、訓練データのブロック画像が入力された場合に、入力されたブロック画像に似た画像を出力するように学習する。学習処理において学習モデル１２Ｍは、入力されたブロック画像に基づいて再構成処理を行い、出力データ（出力画像）を生成する。学習モデル１２Ｍは、生成した出力画像と、入力したブロック画像とを比較し、両者が近似するように、演算処理に用いるパラメータを最適化する。当該パラメータは、学習モデル１２Ｍ（エンコーダ及びデコーダ）を構成するノード間の重み（結合係数）等であり、パラメータの最適化の方法は、誤差逆伝播法、最急降下法等を用いることができる。訓練データに用いるブロック画像は、正常な状態の護岸ブロックの画像であり、本実施形態の学習モデル１２Ｍは、このようなブロック画像が入力された場合に、入力画像に近い画像（入力画像に似た再構成画像）を生成するように学習する。これにより、ブロック画像が入力された場合に、正常な状態の護岸ブロックのブロック画像に似た画像（再構成画像）を再構成し、生成した再構成画像を出力画像として出力する学習モデル１２Ｍが得られる。

【0024】

学習モデル１２Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル１２Ｍは、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。

【0025】

以下に、上述したブロック画像を訓練データに用いて学習して学習モデル１２Ｍを生成する処理について説明する。図５は学習モデル１２Ｍの生成処理手順の一例を示すフローチャート、図６は学習モデル１２Ｍの学習に用いる画像の説明図である。以下の処理は、サーバ１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行するが、他の学習装置で行われてもよい。以下の処理では、制御部１１はまず、護岸画像に基づいて訓練データを生成し、生成した訓練データを用いて学習モデル１２Ｍの学習を行う。

【0026】

サーバ１０の制御部１１は、訓練データの生成に用いる学習用の護岸画像を取得する（Ｓ１１）。学習用の護岸画像は、予め撮影装置２０から取得して記憶部１２に記憶されている画像を読み出してもよく、撮影装置２０又は他のサーバから通信部１３によってダウンロードしてもよい。制御部１１は、取得した学習用の護岸画像を表示部１５に表示し（Ｓ１２）、表示した護岸画像を介して、訓練データの生成に用いる処理領域の指定を受け付ける（Ｓ１３）。図６Ａは、護岸画像の例を示しており、図６Ａ中の白丸で示すように、実空間上の矩形の４頂点に対応する４点の指定を受け付ける。これにより、制御部１１は、図６Ａ中の白実線による四角形で示す領域を処理領域として受け付ける。

【0027】

制御部１１は、指定された処理領域に対して射影変換処理を実行し（Ｓ１４）、指定された四角形の処理領域を矩形領域（長方形の領域）に変換する。具体的には、制御部１１は、表示中の護岸画像から、指定された処理領域を抽出し、抽出した処理領域を、当該処理領域と同程度の大きさの矩形領域に変換する。これにより、護岸の傾斜角度、カメラ２７の撮影方向等によって撮影画像に生じる歪みが補正され、補正後の処理領域が得られる。図６Ｂ上側には射影変換後の処理領域を示す。次に制御部１１は、射影変換後の処理領域からブロック画像を抽出する（Ｓ１５）。例えば制御部１１は、護岸ブロックの撮影画像の画像特徴量を示すテンプレート画像を予め用意しておき、テンプレート画像を用いたテンプレートマッチングによって、護岸画像に含まれる護岸ブロックの領域（ブロック画像）を検出する。なお、護岸画像中のブロック画像を検出する処理は、テンプレートマッチングのほかに、学習モデルを用いた画像認識処理によって行ってもよい。例えば、護岸画像が入力された場合に、入力された護岸画像中の護岸ブロックの領域をバウンディングボックスで示したラベル画像を出力するように学習済みの学習モデルを用いることができる。この場合、制御部１１は、射影変換後の処理領域の画像を学習モデルに入力し、学習モデルからの出力情報に基づいて、処理領域中の各ブロック画像を検出することができる。テンプレートマッチング又は学習モデルを用いた画像認識処理を行うことにより、護岸画像からブロック画像を自動で抽出することができる。図６Ｂ上側に示す射影変換後の処理領域中の白矩形は、図６Ｂ下側に拡大表示した１つのブロック画像を示している。なお、ステップＳ１５において、制御部１１は、処理領域中の全てのブロック画像を抽出する必要はなく、テンプレートマッチング又は画像認識によって検出できたブロック画像のみを抽出すればよい。

【0028】

制御部１１は、抽出した各ブロック画像を訓練データとして記憶部１２に記憶する（Ｓ１６）。制御部１１は、例えば記憶部１２に用意された訓練ＤＢ（図示せず）に訓練データを記憶する。これにより、護岸画像からブロック画像として抽出できた領域が訓練データとして蓄積される。上述した処理では、護岸画像からブロック画像を抽出して訓練データに用いる構成であるが、護岸ブロックのみを撮影した撮影画像（ブロック画像）を訓練データに用いてもよい。この場合、制御部１１は、ステップＳ１１～Ｓ１５の代わりに、学習モデル１２Ｍの学習用に護岸ブロックのみを撮影した撮影画像（ブロック画像）を取得する処理を行い、ステップＳ１６で、取得したブロック画像を訓練データとして記憶部１２に記憶すればよい。

【0029】

制御部１１は、訓練データの生成処理に用いられていない未処理の護岸画像があるか否かを判断する（Ｓ１７）。未処理の護岸画像があると判断した場合（Ｓ１７：ＹＥＳ）、制御部１１は、ステップＳ１１の処理に戻り、未処理の護岸画像についてステップＳ１１～Ｓ１６の処理を行う。制御部１１は、未処理の護岸画像がないと判断するまでステップＳ１１～Ｓ１７の処理を繰り返す。これにより、学習用として用意された護岸画像に基づいて、学習モデル１２Ｍの学習に用いる訓練データが生成されて訓練ＤＢに蓄積される。

【0030】

制御部１１は、未処理の護岸画像がないと判断した場合（Ｓ１７：ＮＯ）、上述したように訓練ＤＢに蓄積した訓練データを用いて、学習モデル１２Ｍの学習を行う。制御部１１は、訓練ＤＢに蓄積した訓練データのうちの１つを取得し（Ｓ１８）、取得した訓練データに基づいて学習モデル１２Ｍの学習処理を行う（Ｓ１９）。ここでは、制御部１１は、訓練データであるブロック画像を学習モデル１２Ｍに入力し、当該ブロック画像が入力されることによって学習モデル１２Ｍから出力される出力情報（再構成画像）を取得する。学習モデル１２Ｍは、入力されたブロック画像に基づく演算を行い、ブロック画像に対する再構成処理によって、入力されたブロック画像に似た再構成画像を生成して出力する。制御部１１は、学習モデル１２Ｍから出力された再構成画像と、入力されたブロック画像とを比較し、両者が近似するように学習モデル１２Ｍを学習させる。学習処理において学習モデル１２Ｍは、エンコーダ及びデコーダでの演算処理に用いるパラメータを最適化する。例えば制御部１１は、エンコーダ及びデコーダにおけるノード間の重み（結合係数）等のパラメータを、学習モデル１２Ｍの出力層から入力層に向かって順次更新する誤差逆伝播法を用いて最適化する。

【0031】

制御部１１は、訓練ＤＢに記憶してある訓練データのうちで、学習処理が行われていない未処理の訓練データがあるか否かを判断する（Ｓ２０）。未処理の訓練データがあると判断した場合（Ｓ２０：ＹＥＳ）、制御部１１は、ステップＳ１８の処理に戻り、未処理の訓練データについてステップＳ１８～Ｓ１９の処理を行う。未処理の訓練データがないと判断した場合（Ｓ２０：ＮＯ）、制御部１１は一連の処理を終了する。

【0032】

上述した学習処理により、図６Ｂ下側に示すようなブロック画像が入力された場合に、入力されたブロック画像に基づく再構成処理によって生成された再構成画像を出力する学習モデル１２Ｍが生成される。サーバ１０は、学習モデル１２Ｍを用いることにより、ブロック画像から、当該ブロック画像中の護岸ブロックを正常な状態に変換した再構成画像を取得することができる。なお、上述した処理において、ステップＳ１１～Ｓ１７による訓練データの生成処理と、ステップＳ１８～Ｓ２０による学習モデル１２Ｍの生成処理とは、各別の装置で行われてもよい。

【0033】

学習モデル１２Ｍは、上述したような訓練データを用いた学習処理を繰り返し行うことにより更に最適化することが可能である。また、護岸ブロックは複数種類あり、１又は複数種類の護岸ブロックのブロック画像に基づいて学習済みの学習モデル１２Ｍに対して、異なる種類の護岸ブロックのブロック画像を用いて上述した学習処理によってファインチューニングすることにより、各種類の護岸ブロック用の学習モデル１２Ｍを生成することができる。

【0034】

以下に、本実施形態の情報処理システムにおいて、撮影装置２０によって護岸が撮影され、撮影された護岸画像がサーバ１０に登録され、護岸画像に基づいて各護岸ブロックの状態が解析される処理について説明する。図７～図９は護岸ブロックの解析処理手順の一例を示すフローチャート、図１０～図１３は画面例を示す説明図、図１４はブロック画像に分解する処理の説明図である。以下の処理は、サーバ１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行すると共に、撮影装置２０の制御部２１が、記憶部２２に記憶してあるプログラム２２Ｐ及び護岸撮影アプリ２２ＡＰに従って実行する。

【0035】

護岸ブロックの状態を解析するために護岸を撮影する場合、撮影担当者は、撮影装置２０に護岸撮影アプリ２２ＡＰを起動させる。撮影装置２０の制御部２１は、護岸撮影アプリ２２ＡＰに従って以下の処理を実行する。護岸撮影アプリ２２ＡＰを起動した場合、制御部２１は、これから撮影する護岸の場所の情報として、河川の情報及び橋の情報を受け付ける（Ｓ３１）。例えば制御部２１は、河川及び橋の情報の入力を受け付けるための入力画面（図示せず）を表示部２５に表示し、入力画面を介して河川及び橋の情報の入力を受け付ける。なお、制御部２１は、河川の情報として、撮影場所の河川の名称を受け付け、橋の情報として、撮影場所の近傍の上流側及び下流側の橋の名称を受け付ける。

【0036】

制御部２１は、受け付けた河川及び橋の情報に基づいて、サーバ１０に対して、これから撮影する撮影場所の近傍におけるモニタリング地点の検索を要求する（Ｓ３２）。具体的には、制御部２１は、受け付けた河川及び橋の情報をサーバ１０へ送信し、当該河川及び橋の近傍のモニタリング地点の検索処理の実行を要求する。サーバ１０の制御部１１は、モニタリング地点の検索を要求された場合、護岸ＤＢ１２ａに記憶してあるモニタリング地点の情報を参照して、撮影装置２０から受信した河川及び橋の近傍のモニタリング地点を検索する（Ｓ３３）。具体的には、制御部１１は、護岸ＤＢ１２ａに記憶してあるモニタリング地点から、撮影装置２０から受信した河川及び橋の情報に一致するモニタリング地点及び近傍のモニタリング地点を抽出する。そして、制御部１１は、検索結果を撮影装置２０に送信する（Ｓ３４）。

【0037】

撮影装置２０の制御部２１は、サーバ１０から検索結果を受信した場合、検索結果を表示部２５に表示する（Ｓ３５）。制御部２１は、例えば図１０Ａに示すような検索結果画面を表示する。図１０Ａに示す画面は、撮影装置２０を介して入力された河川及び橋を含む地図を表示し、地図上に、検索されたモニタリング地点を示すポインタＢ１を表示している。図１０Ａの画面では、３つのポインタＢ１が表示されており、各ポインタＢ１は、各モニタリング地点に対する選択を受け付けるように構成されている。

【0038】

制御部２１は、検索結果画面中のポインタＢ１を介して、いずれかのモニタリング地点の選択を受け付けたか否かを判断しており（Ｓ３６）、受け付けていないと判断する場合（Ｓ３６：ＮＯ）、いずれかのモニタリング地点の選択を受け付けるまで待機する。なお、検索結果画面は、図１０Ａに示すように、新たなモニタリング地点の追加を指示するためのモニタリング地点追加ボタンが設けられている。よって、制御部２１は、検索結果画面においてモニタリング地点追加ボタンが操作された場合、新規に追加するモニタリング地点の位置情報として、測位部２８によって現在地情報を取得する。そして、制御部２１は、図１１Ａに示すような撮影画面を表示し、撮影担当者からのシャッターボタン（撮影ボタン）の操作に従って護岸の撮影処理を行い、得られた護岸画像と現在地情報とをサーバ１０へ送信して護岸ＤＢ１２ａに登録する。

【0039】

いずれかのモニタリング地点の選択を受け付けたと判断した場合（Ｓ３６：ＹＥＳ）、制御部２１は、選択されたモニタリング地点の情報をサーバ１０に要求する（Ｓ３７）。なお、いずれかのポインタＢ１が操作された場合、制御部２１は、操作されたポインタＢ１に対応するモニタリング地点での直近の護岸画像をサーバ１０から受信して、図１０Ａに示すように地図上にポップアップウィンドウで表示する。図１０Ａは、地図の中央に表示されたポインタＢ１が操作された場合の状態を示しており、操作されたポインタＢ１が示すモニタリング地点での護岸画像が表示されている。ここで表示される護岸画像は、護岸画像から生成されたサムネイル画像であってもよい。また、検索結果画面に表示されるポップアップウィンドウは更に、対応するモニタリング地点に対する選択を受け付けるように構成されており、制御部２１は、ポップアップウィンドウを介してモニタリング地点の選択を受け付けた場合、選択されたモニタリング地点の情報をサーバ１０に要求するように構成されている。

【0040】

サーバ１０の制御部１１は、モニタリング地点の情報を要求された場合、当該モニタリング地点の情報を護岸ＤＢ１２ａから読み出し（Ｓ３８）、読み出したモニタリング地点の情報を撮影装置２０に送信する（Ｓ３９）。ここでは、制御部１１は、モニタリング地点の情報として、河川コードから特定される河川の名称、橋の情報、過去に撮影された護岸画像、各護岸画像の撮影日時、及び各護岸画像に基づく解析結果（具体的には異常ブロック率）を読み出す。撮影装置２０の制御部２１は、サーバ１０からモニタリング地点の情報を受信した場合、受信した情報を表示部２５に表示する（Ｓ４０）。制御部２１は、例えば図１０Ｂに示すような画面を表示する。図１０Ｂに示す画面は、メイン領域Ｒ１及びサブ領域Ｒ２を有し、サブ領域Ｒ２には、過去の護岸画像について、サムネイル画像、撮影日時、及び異常ブロック率が表示され、メイン領域Ｒ１には、サブ領域Ｒ２に表示された護岸画像から選択された１つの護岸画像が大きく表示されている。また、メイン領域Ｒ１には、表示中の護岸画像について、撮影画像である元画像の表示を指示するための元画像ボタンと、解析処理で生成された切取画像の表示を指示するための切取画像ボタンと、解析結果を示す解析画像の表示を指示するための解析画像ボタンとが設けられている。元画像ボタン、切取画像ボタン、及び解析画像ボタンは画像切替ボタンＢ２であり、いずれかのボタンの選択が可能に構成され、選択されたボタンに対応する画像がメイン領域Ｒ１に表示される。図１０Ｂの例では、元画像ボタンが選択されており、撮影画像である護岸画像が表示されている。なお、撮影画面は例えば図６Ａに示す画像であり、切取画像は例えば図６Ｂ上側に示す画像（射影変換後の画像）であり、解析画像は、後述する図１３Ｂの画面のメイン領域Ｒ１に表示されている画像（解析結果を示す画像）である。

【0041】

図１０Ｂに示す画面では、メイン領域Ｒ１に表示中の護岸画像に対して解析処理の実行を指示するための解析ボタンと、選択されたモニタリング地点の護岸画像の追加を指示するための写真追加ボタンとが設けられている。図１０Ｂに示す画面において、制御部２１は、写真追加ボタンが操作されたか否かを判断しており（Ｓ４１）、操作されていないと判断する場合（Ｓ４１：ＮＯ）、解析ボタンが操作されたか否かを判断する（Ｓ４２）。解析ボタンが操作されていないと判断する場合（Ｓ４２：ＮＯ）、制御部２１は、ステップＳ４１に戻り、写真追加ボタン又は解析ボタンが操作されるまでステップＳ４１～Ｓ４２の処理を繰り返す。制御部２１は、写真追加ボタンが操作されたと判断した場合（Ｓ４１：ＹＥＳ）、ステップＳ４３に移行し、解析ボタンが操作されたと判断した場合（Ｓ４２：ＹＥＳ）、ステップＳ５１に移行する。

【0042】

写真追加ボタンが操作されたと判断した場合（Ｓ４１：ＹＥＳ）、制御部２１は、ステップＳ３６で選択されたモニタリング地点における護岸画像の撮影画面を表示部２５に表示する（Ｓ４３）。制御部２１は、例えば図１１Ａに示すような画面を表示する。図１１Ａに示す画面は、カメラ２７（撮影部）を介して入力される撮影範囲の画像（モニタ中画像）を表示し、モニタ中画像の撮影（取得）を指示するための撮影ボタン（シャッターボタン）と、撮影画面の終了を指示するための閉じるボタンと、モニタ中画像に対して過去の護岸画像を重ねて表示する指示を行うためのオーバーレイボタンＢ３とが設けられている。オーバーレイボタンＢ３は、例えば、ここでのモニタリング地点で最初に撮影された護岸画像のサムネイル画像を表示する。なお、オーバーレイボタンＢ３に表示されるサムネイル画像は、直近に撮影された護岸画像のサムネイル画像でもよく、その他の過去の護岸画像のサムネイル画像でもよい。

【0043】

制御部２１は、オーバーレイボタンＢ３が操作されたか否かを判断しており（Ｓ４４）、操作されていないと判断する場合（Ｓ４４：ＮＯ）、撮影ボタンが操作されたか否かを判断する（Ｓ４６）。撮影ボタンが操作されていないと判断する場合（Ｓ４６：ＮＯ）、制御部２１は、ステップＳ４４に戻り、オーバーレイボタンＢ３又は撮影ボタンが操作されるまでステップＳ４４，Ｓ４６の処理を繰り返す。なお、撮影画面において閉じるボタンが操作された場合、制御部２１は、撮影画面の表示を終了し、図１０Ｂの画面の表示に戻る。

【0044】

オーバーレイボタンＢ３が操作されたと判断した場合（Ｓ４４：ＹＥＳ）、制御部２１は、モニタ中画像に対して、オーバーレイボタンＢ３のサムネイル画像として表示されている護岸画像（過去の護岸画像）を重畳表示する（Ｓ４５）。具体的には、モニタリング地点で最初に撮影された護岸画像が重畳表示される。なお、直近に撮影された護岸画像等、他の過去の護岸画像が重畳表示されてもよい。図１１Ｂは、グレーで示す右側の領域が、過去の護岸画像が重畳されている領域を示し、護岸画像の右端を合わせて、過去の護岸画像がモニタ中画像に重畳表示されている。図１１Ｂの画面では、過去の護岸画像の透過率の変更を指示するためのスライダＢ４が設けられており、スライダＢ４の黒丸を左右に移動させることにより、重畳された護岸画像の透過率を変更することができる。制御部２１は、スライダＢ４によって透過率の変更指示を受け付け、変更指示された透過率で過去の護岸画像を表示する。また、図１１Ｂの画面は、過去の護岸画像の重畳領域を変更できるように構成されており、図１１Ｂ中の矢符Ｂ５で示すように、過去の護岸画像の左端を左右に移動させることにより、重畳される過去の護岸画像の領域を増減させることができる。制御部２１は、過去の護岸画像の重畳領域の変更指示を受け付けた場合、変更指示された領域に過去の護岸画像を表示する。

【0045】

撮影担当者は、選択したモニタリング地点に到着した後、モニタ中画像と、重畳された過去の護岸画像とを比較し、過去の護岸画像の撮影範囲に一致するモニタ中画像が撮影画面に表示されるように撮影方向を調整し、撮影ボタンを操作する。なお、重畳される過去の護岸画像が最初に撮影された護岸画像である場合、以降の撮影タイミングにおいて、最初の撮影場所（モニタリング地点）を基準とする撮影が可能となる。また、重畳させる過去の護岸画像が直近に撮影された護岸画像である場合、直近の撮影タイミングでの護岸ブロックの状態との比較によって、直近の撮影場所（モニタリング地点）と同じ場所の特定が容易となる。

【0046】

制御部２１は、撮影ボタンが操作されたと判断した場合（Ｓ４６：ＹＥＳ）、この時点でモニタ中の画像を撮影画像として取得し、得られた撮影画像を撮影画面に表示する（Ｓ４７）。制御部２１は、例えば図１２Ａに示す撮影画面を表示する。図１２Ａに示す画面は、撮影された護岸画像を表示し、撮影のやり直しを指示するための撮り直しボタンと、撮影された護岸画像のサーバ１０への保存を指示するための保存ボタンと、撮影画面の終了を指示するための閉じるボタンとが設けられている。制御部２１は、保存ボタンが操作されたか否かを判断しており（Ｓ４８）、操作されていないと判断する場合（Ｓ４８：ＮＯ）、操作されるまで待機する。なお、制御部２１は、図１２Ａの画面において撮り直しボタンが操作された場合、図１１Ａ又は図１１Ｂの撮影画面の表示に戻り、閉じるボタンが操作された場合、撮影画面の表示を終了し、図１０Ｂの画面の表示に戻る。

【0047】

保存ボタンが操作されたと判断した場合（Ｓ４８：ＹＥＳ）、制御部２１は、取得した撮影画像（護岸画像）を、ここでのモニタリング地点を示す情報（例えば地点ＩＤ）と共にサーバ１０へ送信する（Ｓ４９）。なお、護岸画像は、例えばＥｘｉｆ（Exchangeable image file format）形式の画像ファイルであり、制御部２１は、撮影日時及び撮影場所の位置情報を含むＥｘｉｆ情報と撮影画像とを１つのファイルで送信することができる。撮影場所の位置情報は、撮影装置２０の測位部２８によって取得される。

【0048】

サーバ１０の制御部１１は、撮影装置２０から撮影画像を受信した場合、受信した撮影画像（護岸画像）を、受信した地点ＩＤに対応付けて護岸ＤＢ１２ａに記憶する（Ｓ５０）。具体的には、制御部１１は、護岸画像の撮影日時を日時列に記憶し、護岸画像の画像データを撮影画像データ列に記憶する。なお、サーバ１０が撮影装置２０から撮影担当者の情報（例えば撮影者ＩＤ）を受信している場合、制御部１１は、撮影担当者の情報を撮影者ＩＤ列に記憶する。その後、制御部１１は、ステップＳ３８に移行し、撮影装置２０の現在地であるモニタリング地点の情報を護岸ＤＢ１２ａから読み出し（Ｓ３８）、読み出したモニタリング地点の情報を撮影装置２０に送信する（Ｓ３９）。これにより、撮影装置２０の制御部２１は、図１２Ｂに示すような画面を表示部２５に表示し、現在地のモニタリング地点の情報を表示する（Ｓ４０）。図１２Ｂの画面は、図１０Ｂの画面と同様の構成を有するが、この時点でメイン領域Ｒ１に表示されている護岸画像に対しては解析処理が行われていないので、画像切替ボタンＢ２において切取画像ボタン及び解析画像ボタンは選択できないように非アクティブ状態で表示されている。

【0049】

図１２Ｂの画面において解析ボタンが操作されたと判断した場合（Ｓ４２：ＹＥＳ）、制御部２１は、図１２Ｂの画面中のメイン領域Ｒ１に表示されている護岸画像に対する解析処理を実行する解析画面を表示部２５に表示する（Ｓ５１）。制御部２１は、例えば図１３Ａに示すような画面を表示する。図１３Ａに示す画面は、図１２Ｂの画面中のメイン領域Ｒ１に表示されていた護岸画像を表示しており、この護岸画像中の任意の四角形領域に対して処理領域の指定を受け付けるように構成されている。撮影担当者（解析担当者）は、図１３Ａ中の白丸で示すように、表示中の護岸画像に対して、実空間上の矩形の４頂点に対応する４点を指定してＯＫボタンを操作する。これにより、制御部２１は、図１３Ａの画面中の護岸画像に対して指定された４頂点による四角形領域（図１３Ａ中の白実線による四角形領域）を処理領域として受け付ける（Ｓ５２）。そして、制御部２１は、ＯＫボタンが操作されたか否かを判断し（Ｓ５３）、ＯＫボタンが操作されていないと判断する場合（Ｓ５３：ＮＯ）、ＯＫボタンが操作されるまで待機する。

【0050】

図１３Ａの画面においてＯＫボタンが操作されたと判断した場合（Ｓ５３：ＹＥＳ）、制御部２１は、表示中の護岸画像と、この護岸画像に対して指定された処理領域とをサーバ１０へ送信する（Ｓ５４）。サーバ１０の制御部１１は、撮影装置２０から護岸画像及び処理領域を受信し（Ｓ５５）、受信した護岸画像中の受信した処理領域に対して射影変換処理を実行し（Ｓ５６）、処理領域を矩形領域（長方形の領域）に変換する。ステップＳ５６の処理は、図５に示す処理中のステップＳ１４と同様である。ここで生成される射影変換後の処理領域が切取画像となり、制御部１１は、撮影画像の情報に対応付けて、生成した切取画像の画像データを護岸ＤＢ１２ａに記憶しておく。なお、射影変換処理は、撮影装置２０で行ってもよく、この場合、撮影装置２０の制御部２１は、護岸画像から、指定された処理領域を抽出して射影変換処理を実行し、射影変換後の処理領域をサーバ１０へ送信する。また、護岸画像に対する処理領域の指定は、撮影者が行う代わりに、サーバ１０のユーザが行う構成でもよい。この場合、撮影装置２０の制御部２１は、護岸画像のみをサーバ１０へ送信し、サーバ１０側で、護岸画像に対する処理領域の指定を受け付け、指定された処理領域に対して射影変換処理を行ってもよい。

【0051】

次に制御部１１は、射影変換後の処理領域（切取画像）をブロック画像に分割する（Ｓ５７）。ここでは、制御部１１は、図５中のステップＳ１５と同様に、テンプレート画像を用いたテンプレートマッチングによって切取画像中のブロック画像を検出する。またここでも、制御部１１は、学習モデルを用いた画像認識処理によって切取画像中のブロック画像を検出してもよい。ステップＳ５７において、制御部１１は、切取画像中の全てのブロック画像を分割するように構成されており、テンプレートマッチングによって検出できなかった領域については、検出できたブロック画像のサイズに基づいて、ブロック画像の領域を推定する処理（内挿処理）を行う。

【0052】

図１４は内挿処理の説明図であり、護岸画像の一部の拡大図を示す。図１４に示す護岸画像において、白実線の矩形領域は、テンプレートマッチングによって検出されたブロック画像を示し、白破線の矩形領域は、テンプレートマッチングによって検出されなかったブロック画像を示している。制御部１１は、テンプレートマッチングによってブロック画像の検出処理を行った後、検出できたブロック画像に基づいて、ここでの護岸ブロックのサイズを特定する。図１４の例では、長さＬ１が護岸ブロックの横方向のサイズを示す。そして、制御部１１は、ブロック画像を検出できなかった領域の横方向の長さＬ２が、護岸ブロックの横方向のサイズ（長さＬ１）よりも大きい場合に、長さＬ１毎のブロック画像に分割する。図１４の例では、３つのブロック画像に分割されている。なお、各護岸ブロックのサイズが予め記憶部１２に記憶してある場合、制御部１１は、ブロック画像を検出できた場合に、検出した護岸ブロックの種類を特定し、特定した種類の護岸ブロックのサイズを記憶部１２の記憶内容から特定してもよい。上述した処理により、テンプレートマッチングによってブロック画像を検出できなかった領域については、護岸ブロックのサイズに基づく内挿処理によって護岸ブロックに分割することができる。

【0053】

制御部１１は、ステップＳ５７で切取画像から分割したブロック画像のうちの１つを抽出し（Ｓ５８）、抽出したブロック画像に対して再構成処理を行って再構成画像を生成する（Ｓ５９）。ここでは、制御部１１は、抽出した１つのブロック画像を学習モデル１２Ｍに入力し、入力したブロック画像に対して再構成処理によって生成された再構成画像を学習モデル１２Ｍから取得する。そして、制御部１１は、学習モデル１２Ｍに入力したブロック画像と、学習モデル１２Ｍから取得した再構成画像とに基づいて、当該ブロック画像に撮影されている護岸ブロックの状態を示す異常スコアを算出する（Ｓ６０）。

【0054】

本実施形態の学習モデル１２Ｍは、入力されたブロック画像に基づいて、正常な状態の護岸ブロックのブロック画像に似た再構成画像を生成する。即ち、学習モデル１２Ｍは、正常でない状態の護岸ブロックのブロック画像が入力された場合、正常な状態の護岸ブロックのブロック画像に似た再構成画像を出力し、正常な状態の護岸ブロックのブロック画像が入力された場合も、正常な状態の護岸ブロックのブロック画像に似た再構成画像を出力する。従って、入力されたブロック画像中の護岸ブロックが正常な状態であるほど、２つの画像（ブロック画像及び再構成画像）の類似度が高くなる。よって、本実施形態では、学習モデル１２Ｍに入力したブロック画像と、学習モデル１２Ｍから出力された再構成画像との類似度に基づいて、当該ブロック画像中の護岸ブロックの劣化度合（異常度合）を示す異常スコアを算出し、異常スコアに基づいて、撮影対象の護岸ブロックが正常な状態であるか否かを判定する。

【0055】

具体的には、制御部１１はまず、２つの画像の類似度を算出する。２つの画像の類似度は、例えばＳＳＩＭ（Structural SIMilarity）、ＺＮＣＣ（Zero-mean Normalized Cross Correlation：零平均正規化相互相関）等の方法を用いて算出される。ＳＳＩＭは、０～１の数値で表され、２つの画像の類似度が高いほど１に近い値となる。よって、２つの画像の類似度としてＳＳＩＭを用いる場合、制御部１１は、１－ＳＳＩＭによって、劣化度合（異常度合）が高いほど１に近い値となる異常スコアを算出する。また、ＺＮＣＣは、－１～１の数値で表され、２つの画像の類似度が高いほど１に近い値となる。よって、２つの画像の類似度としてＺＮＣＣを用いる場合、制御部１１は、１－ＺＮＣＣによって、劣化度合（異常度合）が低いほど０に近い値となり、劣化度合が高いほど２に近い値となる異常スコアを算出する。このような異常スコアを算出することによって、ブロック画像と再構成画像との類似度が高いか否か、即ち、撮影対象の護岸ブロックが正常な状態であるか否かを判定できる。また、上述したような類似度に基づく異常スコアのほかに、２つの画像のＭＳＥ（Mean Squared Error：平均二乗誤差）等のように２つの画像の差異の程度を表すスコアを異常スコアとして算出してもよい。更に、ブロック画像に対する異常スコアは、上述したような類似度に基づく異常スコア、２つの画像の差異程度に基づく異常スコア等、複数の異常スコアに基づいて総合的に算出してもよい。

【0056】

制御部１１は、ステップＳ５８で抽出したブロック画像の情報（ブロック情報）と、ステップＳ６０で算出した異常スコアとを対応付けて記憶部１２に記憶する（Ｓ６１）。ブロック情報は、例えばブロック画像の左上及び右下の画素の座標値であり、例えば切取画像の左上を原点として右方向にＸ軸、下方向にＹ軸としたＸＹ座標の座標値によって表される。制御部１１は、ステップＳ５７で分割したブロック画像のうちで、異常スコアの算出が行われていない未処理のブロック画像があるか否かを判断する（Ｓ６２）。未処理のブロック画像があると判断した場合（Ｓ６２：ＹＥＳ）、制御部１１は、ステップＳ５８の処理に戻り、未処理のブロック画像についてステップＳ５８～Ｓ６１の処理を行う。制御部１１は、未処理のブロック画像がないと判断するまでステップＳ５８～Ｓ６２の処理を繰り返す。これにより、切取画像中の全ての護岸ブロックに対して異常スコアを算出できる。

【0057】

未処理のブロック画像がないと判断した場合（Ｓ６２：ＮＯ）、制御部１１は、当該切取画像における異常ブロック率を算出する（Ｓ６３）。具体的には、制御部１１は、各ブロック画像について算出した異常スコアが閾値以上であるか否かを判断し、閾値以上である場合に、撮影対象の護岸ブロックは正常な状態ではない（異常ブロックである）と判定する。また制御部１１は、切取画像中のブロック画像の数と、異常ブロックであると判定したブロック画像の数とを計数し、切取画像中のブロック画像に対する異常ブロックの割合（異常ブロック率）を算出する。次に制御部１１は、切取画像に対して、異常ブロックであると判定したブロック画像の領域を強調表示した解析画像を生成する（Ｓ６４）。ここでは制御部１１は、切取画像中のブロック画像における異常ブロックの位置を特定し、特定した位置を強調表示する。図１３Ｂに示す画面中のメイン領域Ｒ１に表示されている解析画像では、異常ブロックが白矩形で囲われて強調表示されている。制御部１１は、生成した解析画像の画像データと、ステップＳ６３で算出した異常ブロック率とを、撮影画像の情報に対応付けて護岸ＤＢ１２ａに記憶しておく。

【0058】

制御部１１は、生成した解析画像を異常ブロック率と共に撮影装置２０へ送信し（Ｓ６５）、撮影装置２０の制御部２１は、サーバ１０から受信した解析画像を表示部２５に表示する（Ｓ６６）。制御部２１は、例えば図１３Ｂに示す画面を表示する。図１３Ｂの画面は、図１０Ｂ又は図１２Ｂの画面の画像切替ボタンＢ２の解析画像ボタンが選択された場合の画面例であり、メイン領域Ｒ１には、ステップＳ４７で撮影された護岸画像に対する解析処理の結果を示す解析画像が表示される。その後、制御部２１は、ステップＳ４１に移行する。なお、図１３Ｂの画面中において、画像切替ボタンＢ２が操作された場合、制御部２１は、操作されたボタンに対応する画像をサーバ１０から受信して表示することにより、メイン領域Ｒ１に表示される画像を切り替えることができる。また制御部２１は、護岸撮影アプリ２２ＡＰの終了指示を受け付けた場合、上述した一連の処理を終了する。

【0059】

上述した処理により、本実施形態では、護岸画像から分割されたブロック画像に基づいて、護岸画像中の護岸ブロック毎に正常な状態であるか否かを評価できる。また、護岸画像において、異常ブロックであると判定された護岸ブロックの割合が算出されて提示される。従来、護岸施設は、専門家が目視でひび割れ等の有無を点検しているが、本実施形態によれば、例えば異常ブロック率に応じて、撮影対象の護岸について、専門家による詳細な点検が必要であるか否かを振り分けることができる。例えば、異常ブロック率が高い場所については専門家による点検を実施することができ、異常ブロック率が低い場所については、専門家による点検を実施せずに学習モデル１２Ｍを用いた点検による経過観察を行うことにより、専門家の負担を軽減することができる。本実施形態における護岸画像は、専門家が撮影する必要はなく、河川の管理者又は地域住民等が撮影できる。よって、専門家を手配することなく、専門家ではない撮影者が撮影した護岸画像に基づいて、手軽に護岸の点検作業を行うことができるので、点検頻度を増加することができる。また、本実施形態では、モニタリング地点において、護岸の劣化度合（異常ブロック率）だけでなく、劣化度合の時系列での変化を観察することができるので、護岸の劣化状態を容易に判断することができる。

【0060】

また、本実施形態では、撮影者が護岸を撮影する際に、過去の護岸画像が重畳表示されるので、過去の護岸画像の撮影場所に近い場所での撮影が可能となる。同じ場所又は近い場所から護岸画像を撮影することにより、護岸画像に基づく解析処理の時系列の結果を比較することができる。

【0061】

本実施形態において、解析画面中の異常ブロックは、異常スコアに応じて異なる態様で強調表示してもよい。異常スコアが高いほど護岸ブロックが正常でない状態であることを示すので、異常スコアに応じた態様で強調表示することにより、異常度合が高く観察すべき護岸ブロックをより強調して提示できる。例えば、解析画像中の異常ブロックを、異常スコアに応じた色の矩形で囲んで強調してもよい。

【0062】

本実施形態において、学習モデル１２Ｍを用いた護岸ブロックの解析処理は、サーバ１０で行う構成に限定されず、例えば撮影装置２０によってローカルで実行されてもよい。この場合、撮影装置２０の記憶部２２に学習モデル１２Ｍをダウンロードしておき、撮影装置２０が、護岸画像から切取画像を生成し、生成した切取画像から、学習モデル１２Ｍによる解析結果を示す解析画像を生成する。このような構成であっても、上述した本実施形態と同様の処理の実行が可能であり、同様の効果が得られる。

【0063】

本実施形態では、撮影者が撮影装置２０を用いて護岸画像を撮影する構成であるが、この構成に限定されない。例えば、護岸を撮影できる位置に設置された定点カメラ、ドローンに搭載されたカメラを用いて護岸画像を撮影する構成でもよい。このようなカメラを用いる場合、撮影された護岸画像がサーバ１０に送信され、サーバ１０で、護岸画像に基づく解析処理が実行される。また、このようなカメラを用いる場合であっても、撮影時に、モニタ中の画像に過去の護岸画像を重畳表示し、一致度合を算出することにより、過去の護岸画像から撮影場所を特定してもよい。

【0064】

（実施形態２）
護岸ブロックには、形状が異なる複数種類の護岸ブロックが用意されている。本実施形態では、異なる種類の護岸ブロック毎に学習モデル１２Ｍが設けられ、解析対象の護岸ブロックの種類に応じた学習モデル１２Ｍを用いて護岸ブロックの状態を検出する情報処理システムについて説明する。本実施形態の情報処理システムは、図１及び図２に示す実施形態１の情報処理システムと同様の装置にて実現可能であるので、各装置の構成についての説明は省略する。なお、本実施形態のサーバ１０の記憶部１２には、各種類の護岸ブロックに応じた学習モデル１２Ｍが複数記憶されている。

【0065】

本実施形態では、例えば図１０Ｂ、図１２Ｂ又は図１３Ａに示す画面に、撮影対象の護岸ブロックの種類を指定するための入力欄（図示せず）が設けられている。撮影装置２０の制御部２１は、入力欄を介して護岸ブロックの種類の指定を受け付ける。そして、例えば図９中のステップＳ５９で、制御部１１は、指定された護岸ブロックの種類に応じた学習モデル１２Ｍを記憶部１２から読み出し、読み出した学習モデル１２Ｍを用いて、切取画像から分割したブロック画像から再構成画像を生成する。

【0066】

本実施形態において、上述した処理以外の処理は実施形態１と同様であるので説明を省略する。本実施形態においても、上述した実施形態１と同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態では、護岸ブロックの種類毎に学習モデル１２Ｍが用意されているので、ブロック画像に基づいてより精度の高い再構成画像を生成でき、より精度の高い異常スコアを算出できる。なお、護岸ブロックの種類毎に学習モデル１２Ｍを学習させる構成のほかに、各種類の護岸ブロックのブロック画像を訓練データに用いて１つの学習モデル１２Ｍを学習させることにより、全ての種類の護岸ブロックの再構成画像を生成できる学習モデル１２Ｍを実現してもよい。

【0067】

（実施形態３）
護岸ブロックには、水抜口又は梯子等が設けられているものがあり、植生で表面が覆われているものもある。本実施形態では、実施形態１の学習モデル１２Ｍに加えて、水抜口、梯子又は植生を有する護岸ブロック用の学習モデルが設けられ、解析対象の護岸ブロックの状態（水抜口、梯子又は植生のいずれを有するか、有しないか）に応じた学習モデルを用いて護岸ブロックの状態を検出する情報処理システムについて説明する。本実施形態の情報処理システムは、図１及び図２に示す実施形態１の情報処理システムと同様の装置にて実現可能であるので、各装置の構成についての説明は省略する。なお、本実施形態のサーバ１０の記憶部１２には、図４Ａに示す学習モデル１２Ｍに加えて、水抜口、梯子又は植生を有する護岸ブロック用の学習モデルが記憶されている。

【0068】

図１５は学習モデル１２Ｍの変形例を示す説明図である。図１５Ａは水抜口を有する護岸ブロック用の学習モデル１２Ｍａを、図１５Ｂは梯子を有する護岸ブロック用の学習モデル１２Ｍｂを、図１５Ｃは植生を有する護岸ブロック用の学習モデル１２Ｍｃをそれぞれ示す。学習モデル１２Ｍａ～１２Ｍｃは、学習モデル１２Ｍと同様の構成を有し、水抜口、梯子又は植生を有する護岸ブロックのブロック画像を入力とし、入力されたブロック画像に基づいて、正常な状態の護岸ブロックのブロック画像に似た再構成画像を出力するように学習している。学習モデル１２Ｍａの学習に用いる訓練データは、正常な状態の護岸ブロックであり、水抜口が設けられている護岸ブロックのブロック画像を用いることができる。学習モデル１２Ｍｂの学習に用いる訓練データは、正常な状態の護岸ブロックであり、梯子が設けられている護岸ブロックのブロック画像を用いることができる。学習モデル１２Ｍｃの学習に用いる訓練データは、正常な状態の護岸ブロックであり、表面の一部に植生を有する護岸ブロックのブロック画像を用いることができる。このような訓練データを用いることにより、学習モデル１２Ｍａ～１２Ｍｃは、入力されたブロック画像に似た画像を出力するように学習する。よって、水抜口、梯子又は植生を有する護岸ブロックのブロック画像が入力された場合に、水抜口、梯子又は植生を有する正常な状態の護岸ブロックのブロック画像に似た画像（再構成画像）を再構成して出力する学習モデル１２Ｍａ～１２Ｍｃが得られる。このような学習モデル１２Ｍａ～１２Ｍｃを用いることにより、学習モデル１２Ｍａ～１２Ｍｃの入力データ及び出力データは、水抜口、梯子又は植生を有する護岸ブロックのブロック画像と、水抜口、梯子又は植生を有する正常な状態の護岸ブロックのブロック画像に似た再構成画像となる。よって、２つの画像の類似度に基づいて、水抜口、梯子又は植生を考慮せずに護岸ブロックの劣化度合が反映された異常スコアが算出される。これにより、水抜口、梯子又は植生を有する護岸ブロックについても、水抜口、梯子又は植生を有しない護岸ブロックと同様の処理によって劣化度合を解析することが可能となる。

【0069】

本実施形態では、例えば図９中のステップＳ５９で、サーバ１０の制御部１１は、切取画像から分割されたブロック画像が、水抜口、梯子又は植生を有する護岸ブロックであるか否かを判別し、判別結果に応じた学習モデル１２Ｍ，１２Ｍａ～１２Ｍｃを記憶部１２から読み出し、読み出した学習モデル１２Ｍ，１２Ｍａ～１２Ｍｃを用いて、各ブロック画像から再構成画像を生成する。なお、各ブロック画像が水抜口、梯子又は植生を有する護岸ブロックであるか否かの判別は、水抜口、梯子又は植生を有する護岸ブロックのブロック画像の特徴量を示すテンプレート画像を用いたテンプレートマッチング、又は、学習モデルを用いた画像認識処理によって行ってもよい。学習モデルは、ブロック画像が入力された場合に、入力されたブロック画像中の水抜口、梯子又は植生の領域をバウンディングボックスで示したラベル画像を出力するように学習済みのモデルを用いることができる。

【0070】

本実施形態において、上述した処理以外の処理は実施形態１と同様であるので説明を省略する。本実施形態においても、上述した実施形態１と同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態では、水抜口、梯子又は植生を有する護岸ブロックのブロック画像について、水抜口、梯子又は植生を有する再構成画像を生成できる。よって、学習モデル１２Ｍａ～１２Ｍｃの入出力データであるブロック画像及び再構成画像の類似度に基づく異常スコアによって、水抜口、梯子又は植生が異常状態であると判定されることなく、護岸ブロックの状態を適切に判定することができる。なお、水抜口、梯子又は植生を有する護岸ブロック毎に学習モデル１２Ｍを学習させる構成のほかに、全ての護岸ブロックのブロック画像を訓練データに用いて１つの学習モデル１２Ｍを学習させることにより、全ての護岸ブロックについて、正常な状態の護岸ブロックのブロック画像に似た再構成画像を生成できる学習モデル１２Ｍを実現してもよい。本実施形態の構成は、実施形態２にも適用できる。実施形態２に適用した場合、護岸ブロックの種類毎に、水抜口、梯子又は植生を有する護岸ブロック用の学習モデルを設けることにより、各種の護岸ブロックの状態を精度よく解析することが可能となる。

【0071】

（実施形態４）
護岸ブロックには、ブロックの一部が欠ける欠損、ブロック間に隙間が生じる目地開き、ブロックの表面の剥離、ブロックからの溶出物、エフロレッセンス（白華現象）等、複数種類の劣化状態が生じる。本実施形態では、異常ブロックであると判定された護岸ブロックの劣化状態を判別する情報処理システムについて説明する。本実施形態の情報処理システムは、図１及び図２に示す実施形態１の情報処理システムと同様の装置にて実現可能であるので、各装置の構成についての説明は省略する。なお、本実施形態のサーバ１０の記憶部１２には、護岸ブロックのブロック画像に基づいて、当該護岸ブロックの劣化状態を判別する学習モデル（以下では状態判別モデルと称する）が記憶されている。

【0072】

図１６は状態判別モデルの概要を示す説明図である。状態判別モデルは、ブロック画像を入力とし、入力されたブロック画像に基づいて、当該ブロック画像中の護岸ブロックの劣化状態を判別する演算を行い、演算した結果を出力するように学習してある。状態判別モデルは、例えばＣＮＮ（Convolution Neural Network）、ＳＶＭ（Support Vector Machine）、Transformer、決定木、ランダムフォレスト等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

【0073】

図１６の状態判別モデルは５つの出力ノードを有しており、各出力ノードには、欠損、目地開き、表面剥離、溶出物、エフロレッセンスがそれぞれ対応付けられており、各出力ノードから、対応付けられた状態であると判別すべき確率（確信度）を出力する。各出力ノードの出力値は例えば０～１の値であり、各出力ノードから出力された確信度の合計が１．０（１００％）となる。上述した構成により、状態判別モデルは、ブロック画像が入力された場合に、画像中の護岸ブロックが各劣化状態である可能性（各劣化状態に対する確信度）を出力する。サーバ１０は、状態判別モデルにおいて、最大の出力値（確信度）を出力した出力ノードに対応付けられている劣化状態を、画像中の護岸ブロックの状態であると予測する。

【0074】

状態判別モデルは、訓練用のブロック画像と、このブロック画像中の護岸ブロックの劣化状態を示す情報（正解ラベル）とを含む訓練データを用いて機械学習させることにより生成される。状態判別モデルは、訓練用のブロック画像が入力された場合に、正解ラベルが示す劣化状態に対応する出力ノードからの出力値が１に近づき、他の出力ノードからの出力値が０に近づくように学習する。学習処理において状態判別モデルは、入力されたブロック画像に基づく演算を行い、各出力ノードからの出力値を算出する。そして状態判別モデルは、算出した各出力ノードの出力値と正解ラベルに応じた値（正解ラベルが示す劣化状態に対応する出力ノードに対しては１、それ以外の出力ノードに対しては０）とを比較し、各出力値がそれぞれ正解ラベルに応じた値に近似するように、演算処理に用いるパラメータを最適化する。ここでも、状態判別モデルにおけるニューロン間の重み等のパラメータが、誤差逆伝播法、最急降下法等を用いて最適化される。状態判別モデルの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの状態判別モデルは、ネットワーク経由又は可搬型記憶媒体１０ａ経由で学習装置からサーバ１０の記憶部１２にダウンロードされる。

【0075】

本実施形態では、サーバ１０の制御部１１は、図９中のステップＳ６４で解析画像を生成する際に、状態判別モデルを用いて、異常ブロックであると判定された護岸ブロックの劣化状態を判別し、判別した劣化状態に応じた強調表示態様で、切取画像中の異常ブロックのブロック画像を表示する。具体的には、制御部１１は、切取画像中のブロック画像から異常ブロックを特定し、特定した異常ブロックのブロック画像を状態判別モデルに入力し、状態判別モデルからの出力値に基づいて、当該異常ブロックの劣化状態を予測する。そして、制御部１１は、当該異常ブロックの切取画像中の位置を特定し、特定した位置（異常ブロックの領域）を、判別した劣化状態に対応する態様で強調表示する。例えば図１３Ｂに示す画面中のメイン領域Ｒ１に表示されている解析画像において、異常ブロックの領域が、劣化状態毎に異なる色の矩形で囲んで強調表示される。

【0076】

本実施形態において、上述した処理以外の処理は実施形態１と同様であるので説明を省略する。本実施形態においても、上述した実施形態１と同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態では、異常ブロックであると判定された護岸ブロックについて、劣化状態を判別し、劣化状態に応じた態様の強調表示を行うことにより、護岸画像中の各護岸ブロックの劣化状態を容易に把握できる。本実施形態の構成は、実施形態１～３に適用できる。

【0077】

上述の実施形態１～４では、護岸を構築する護岸ブロックの状態を解析する構成であるが、解析対象は、護岸ブロックに限定されない。例えばコンクリート擁壁及びブロック塀等、複数のブロックで構築された構造物であってもよく、ガードレール及びフェンス等の防護柵、マンホール等であってもよい。

【0078】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【0079】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0080】

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ 撮影装置
２１ 制御部
２２ 記憶部
２３ 通信部
２７ カメラ
１２ａ 護岸ＤＢ
１２Ｍ 学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】