特開 2024-152316 ソーラーパネル検査用学習モデル作成方法、ソーラーパネル検査方法、ソーラーパネル検査用学習モデル作成装置およびソーラーパネル検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152316

(43)【公開日】2024-10-25

(54)【発明の名称】ソーラーパネル検査用学習モデル作成方法、ソーラーパネル検査方法、ソーラーパネル検査用学習モデル作成装置およびソーラーパネル検査装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241018BHJP

   G06T 7/12 20170101ALI20241018BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 640

G06T7/12

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023066434

(22)【出願日】2023-04-14

(71)【出願人】

【識別番号】513087677

【氏名又は名称】ＰＣＩソリューションズ株式会社

(71)【出願人】

【識別番号】518209023

【氏名又は名称】日本グリーン電力開発株式会社

(71)【出願人】

【識別番号】523114143

【氏名又は名称】データステップス株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】古賀 淳也

(72)【発明者】

【氏名】野口 雅之

(72)【発明者】

【氏名】君塚 健太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096DA01

5L096DA02

5L096EA12

5L096EA13

5L096EA35

5L096EA43

5L096FA05

5L096FA06

5L096FA12

5L096FA52

5L096FA54

5L096FA64

5L096FA69

5L096GA08

5L096GA19

5L096GA51

5L096GA55

5L096HA11

5L096JA11

5L096KA04

5L096MA03

(57)【要約】      （修正有）

【課題】ソーラーパネルの異常の有無を検査するソーラーパネル検査用学習モデルを的確に作成するソーラーパネル検査用学習モデル作成方法およびソーラーパネル検査方法を提供する。
【解決手段】ソーラーファームにおいて、ソーラーアレイの撮像画像に基づいてソーラーパネルの４頂点を割り出し、４頂点に基づいて個々のソーラーパネルの可視光画像を切り出して、各ソーラーパネルの正規化画像を作成する。ソーラーパネル検査用学習モデル作成方法では、異常無しのソーラーパネルの正規化画像を入力画像に用いて、入力画像と出力画像との差分が小さくなるように未学習ＶＡＥモデル４６に対し機械学習を実施する。
【選択図】図６

【特許請求の範囲】

【請求項1】

検査対象ソーラーパネルの可視光画像の入力画像に基づいて出力画像を生成するソーラーパネル検査用学習モデルの作成方法であって、
複数のソーラーパネルを含む元可視光画像に基づいて各ソーラーパネルの４頂点を割り出し、前記元可視光画像から前記４頂点に基づいて個々のソーラーパネルについての複数のパネル可視光画像を切り出し、各パネル可視光画像を正規化した複数の正規化画像を作成するステップと、
前記ソーラーパネル検査用学習モデルに対し、前記複数の正規化画像のうち異常無しのソーラーパネルの正規化画像を入力画像として入力し、前記入力画像と出力画像との差分が小さくなるように機械学習を実施して、前記ソーラーパネル検査用学習モデルを定義する重みパラメータを調整するステップと、
を備える、ソーラーパネル検査用学習モデル作成方法。

【請求項2】

前記４頂点の割り出しは、前記元可視光画像の二値化画像に基づいて行う、請求項１記載のソーラーパネル検査用学習モデル作成方法。

【請求項3】

前記割り出した４頂点は、
前記元可視光画像に対してサイズの異なる複数の平均化フィルタのそれぞれによる平均化処理により複数の平均化画像を生成し、
次に、各平均化画像に対して画素値についての複数の閾値のそれぞれによる二値化処理により前記二値化画像を複数生成し、
次に、前記複数の二値化画像の各々において、連続的または準連続的に配置されている低輝度画素群または高輝度画素群で囲まれた部分の輪郭を多角形として検出し、その多角形の頂点が４つである組を選択し、
前記選択した組の４頂点に基づいて決定する、請求項２記載のソーラーパネル検査用学習モデル作成方法。

【請求項4】

請求項１～３のいずれか１項に記載のソーラーパネル検査用学習モデル作成方法と、
前記ソーラーパネル検査用学習モデルに対し、検査対象ソーラーパネルの入力画像を入力して出力画像を出力させる工程と、
前記入力画像と前記出力画像との差分に基づき前記検査対象ソーラーパネルについての異常状態を認識する工程と、
を備える、ソーラーパネル検査方法。

【請求項5】

前記異常状態の認識は、前記入力画像と前記出力画像との差分画像における各画素の差分輝度に基づくものである、請求項４記載のソーラーパネル検査方法。

【請求項6】

前記検査対象ソーラーパネルの可視光のパネル画像を含む撮像画像において前記パネル画像を内側に含みかつ前記パネル画像より広い四角形の角検出画像を設定する工程と、
各々が、前記角検出画像の４つの対応隅部に対応付けて設けられ、前記角検出画像の対応辺に沿う辺領域の輝度を低下させ該辺領域の内側に隣接する内側領域の輝度を増加させる計４個の角検出フィルタの各々を前記角検出画像に適用して４つのフィルタ処理画像を生成する工程と、
各フィルタ処理画像に対し適用された前記角検出フィルタに対応する隅部に頂点探索領域を設定し、該頂点探索領域における最高輝度のピクセルの位置に基づいて前記撮像画像からの前記パネル画像の切り出し用の頂点を検出する工程と、
を備える請求項４記載のソーラーパネル検査方法。

【請求項7】

検査対象ソーラーパネルの可視光画像の入力画像に基づいて出力画像を生成するソーラーパネル検査用学習モデルの作成装置であって、
複数のソーラーパネルを含む元可視光画像に基づいて各ソーラーパネルの４頂点を割り出し、前記元可視光画像から前記４頂点に基づいて個々のソーラーパネルについての複数のパネル可視光画像を切り出し、各パネル可視光画像を正規化した複数の正規化画像を作成する正規化画像作成部と、
前記ソーラーパネル検査用学習モデルに対し、前記複数の正規化画像のうち異常無しのソーラーパネルの正規化画像を入力画像として入力し、前記入力画像と出力画像との差分が小さくなるように機械学習を実施して、前記ソーラーパネル検査用学習モデルを定義する重みパラメータを調整するパラメータ調整部と、
を備える、ソーラーパネル検査用学習モデル作成装置。

【請求項8】

請求項７記載のソーラーパネル検査用学習モデル作成装置の前記ソーラーパネル検査用学習モデルと、
前記ソーラーパネル検査用学習モデルに対し、検査対象ソーラーパネルの入力画像を入力して出力画像を出力させるモデル制御部と、
前記入力画像と前記出力画像との差分に基づき前記検査対象ソーラーパネルについての異常状態を認識する認識部と、
を備える、ソーラーパネル検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＩ（Artificial Intelligence／人工知能）を用いたソーラーパネル検査用学習モデル作成方法、ソーラーパネル検査方法、ソーラーパネル検査用学習モデル作成装置およびソーラーパネル検査装置に関する。

【背景技術】

【0002】

地球温暖化対策として太陽光発電が注目されている。太陽光発電では、複数のソーラーパネルを装備するソーラーアレイが所定のサイトに設置される。ソーラーパネルは、設置後、種々の異常が発生する。このような異常には、例えば、傷、割れ、汚れ、亀裂、さらには電柱や雑草による影などがある。これらの異常は、放置すると、ソーラーパネルの発電力の低下だけでなく、損傷の増大に繋がることもあるので、異常を監視し、異常が発見されたときには、速やかに対処する必要がある。

【0003】

特許文献１は、赤外線カメラを搭載した飛行体（例：ラジコンヘリコプター）をソーラーパネルの設置サイトの上空に飛ばして、赤外線カメラから地上のソーラーパネルを撮影し、その赤外線撮影画像に基づいてソーラーパネルのホットスポットの有無を調べるソーラーパネル故障診断システムを開示している。

【0004】

特許文献２は、照射部と受信部と演算部とを搭載した飛行体（例：ドローン）をソーラーパネルの設置サイトの上空に飛ばして、照射部から地上のソーラーパネルに向けて検査光を出射するとともに、ソーラーパネルからの反射光を受信部で受信し、演算装置で照射光光軸と反射光光軸との差分に基づいてソーラーパネルの破損の有無を検査する検査装置を開示する。

【0005】

特許文献３は、ソーラーパネル外観監視装置を開示する。この装置では、地上に設置された監視カメラでソーラーパネルに異物（例：飛来物やつる草）が無い状態で一定期間撮影したソーラーパネル画像群と、異物を一定期間撮影した異物画像群とに基づいて識別器を構築し、監視時は、監視カメラの撮影画像を識別器により検査して、ソーラーパネルにおける異物の存否を判断する。識別器には、例えばＲａｎｄｏｍ Ｆｏｒｅｓｔｓが選択される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１５－１４６３７１号公報

【特許文献2】特開２０１９－１００９５８号公報

【特許文献3】特開２０１６－２０５９１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１のソーラーパネル故障診断システムは、赤外線画像からソーラーパネルのホットポイントの異常の有無は検査できるものの、物理的な損傷や草木の成長による影などは目視の検査が必要となる。

【0008】

特許文献２の検査装置は、ソーラーパネルについて物理的な損傷や草木の成長による影などを検査できたとしても、複数のソーラーパネルを１つずつ狙いを定めて順番に検査光を照射していく必要があり、手間がかかるとともに、作業時間が長くなる。

【0009】

特許文献３のソーラーパネル外観監視装置は、識別器の構築のために、ソーラーパネルと異物とのそれぞれについて一定期間撮影した画像が必要となる。また、異物の種類は多いので、異物の種類別の画像を収集するために、手間がかかるとともに、ソーラーパネル自体の割れ目や曇りなどの、異物以外による異常の検出は困難である。

【0010】

一方、ソーラーパネルが異常であるか否かを機械学習の学習モデルに検査させる場合、訓練学習用にソーラーパネルの画像を収集する必要がある。ソーラーパネルは、一般にソーラーアレイに組み込まれているので、ソーラーアレイを空撮し、空撮画像から複数のソーラーパネルを切り出すのが能率的であるのは言うまでもない。しかしながら、特許文献１－３は、多数のソーラーパネルをまとめて撮影したソーラーアレイ画像等の元画像からソーラーパネルを個々に切り出す具体的な仕方についての開示や示唆はない。

【0011】

本発明の目的は、上記問題点に鑑み、ソーラーパネルの異常の有無を検査する的確なソーラーパネル検査用学習モデルを作成するーラーパネル検査用学習モデル作成方法、ソーラーパネル検査方法、ソーラーパネル検査用学習モデル作成装置およびソーラーパネル検査装置を提供することである。

【課題を解決するための手段】

【0012】

本発明のソーラーパネル検査用学習モデル作成方法は、
検査対象ソーラーパネルの可視光画像の入力画像に基づいて出力画像を生成するソーラーパネル検査用学習モデルの作成方法であって、
複数のソーラーパネルを含む元可視光画像に基づいて各ソーラーパネルの４頂点を割り出し、前記元可視光画像から前記４頂点に基づいて個々のソーラーパネルについての複数のパネル可視光画像を切り出し、各パネル可視光画像を正規化した複数の正規化画像を作成するステップと、
前記ソーラーパネル検査用学習モデルに対し、前記複数の正規化画像のうち異常無しのソーラーパネルの正規化画像を入力画像として入力し、前記入力画像と出力画像との差分が小さくなるように機械学習を実施して、前記ソーラーパネル検査用学習モデルを定義する重みパラメータを調整するステップと、
を備える。

【0013】

本発明のソーラーパネル検査方法は、
前記ソーラーパネル検査用学習モデル作成方法と、
前記ソーラーパネル検査用学習モデルに対し、検査対象ソーラーパネルの入力画像を入力して出力画像を出力させる工程と、
前記入力画像と前記出力画像との差分に基づき前記検査対象ソーラーパネルについての異常状態を認識する工程と、
を備える。

【0014】

本発明のソーラーパネル検査用学習モデル作成装置は、
検査対象ソーラーパネルの可視光画像の入力画像に基づいて出力画像を生成するソーラーパネル検査用学習モデルの作成装置であって、
複数のソーラーパネルを含む元可視光画像に基づいて各ソーラーパネルの４頂点を割り出し、前記元可視光画像から前記４頂点に基づいて個々のソーラーパネルについての複数のパネル可視光画像を切り出し、各パネル可視光画像を正規化した複数の正規化画像を作成する正規化画像作成部と、
前記ソーラーパネル検査用学習モデルに対し、前記複数の正規化画像のうち異常無しのソーラーパネルの正規化画像を入力画像として入力し、前記入力画像と出力画像との差分が小さくなるように機械学習を実施して、前記ソーラーパネル検査用学習モデルを定義する重みパラメータを調整するパラメータ調整部と、
を備える。

【0015】

本発明のソーラーパネル検査装置は、
前記ソーラーパネル検査用学習モデル作成装置の前記ソーラーパネル検査用モデルと、
前記ソーラーパネル検査用学習モデルに対し、検査対象ソーラーパネルの入力画像を入力して出力画像を出力させるモデル制御部と、
前記入力画像と前記出力画像との差分に基づき前記検査対象ソーラーパネルについての異常状態を認識する認識部と、
を備える。

【発明の効果】

【0016】

本発明のソーラーパネル検査用学習モデル作成方法および装置、ならびにソーラーパネル検査方法および装置によれば、複数のソーラーパネルを含む元可視光画像に基づいて各ソーラーパネルの４頂点を割り出し、元可視光画像から４頂点に基づいて複数のパネル可視光画像を切り出して、正規化画像を作成する。これにより、１つの元画像から複数の訓練画像を支障なく効率的に収集することができる。そして、ソーラーパネル検査用学習モデルに対し、前記複数の正規化画像のうち異常無しのソーラーパネルの正規化画像を入力画像として入力し、入力画像と出力画像との差分が小さくなるように機械学習を実施して、ソーラーパネル検査用学習モデルを定義する重みパラメータを調整することにより適格なソーラーパネル検査用学習モデルを作成することができる。

【図面の簡単な説明】

【0017】

【図1】空撮によるソーラーパネルの撮影形態を示す図である。

【図2】ソーラーパネル検査用学習モデル作成方法およびソーラーパネル検査方法の実施形態についての全体概略図である。

【図3】図２の可視光パネル検出の工程の詳細な説明図である。

【図4A】図３のパネル個別検出についてそれぞれ低高度からの空撮画像とその二値化画像との関係を示す図である。

【図4B】図３のパネル個別検出についてそれぞれ高高度からの空撮画像とその二値化画像との関係を示す図である。

【図5】決定した４頂点に基づくパネル切り出しの工程の説明図である。

【図6】図２の学習プロセスの詳細な説明図である。

【図7】未学習ＶＡＥモデルとその前後の処理部との詳細図である。

【図8】学習済みＶＡＥモデルの学習進度の説明図である。

【図9】検査プロセスの説明図である。

【図10】再学習システムの構成図である。

【図11】ソーラーパネル検査方法における誤検出の発生についての説明図である。

【図12】角検出フィルタについての説明図である。

【図13】図１２の角検出画像において角探索範囲とされる左上隅部、右上隅部、左下隅部および右下隅部の拡大図である。

【図14】図１２および図１３の処理に続く処理の説明図である。

【図15】図１１－図１４のノイズ除去処理を行わなかった未補正パネル画像と行った補正パネル画像との対比図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について説明する。本発明は、実施形態に限定されないことは言うまでもない。全図を通して、共通の要素は、同一の符号を用いる。

【0019】

なお、各画像処理要素の入力、出力および中間出力を画像で説明しているが、各画像処理要素の具体的な処理対象は、画像そのものではなく画像に対応付けられたデータであることは言うまでもない。また、学習モデルを未学習、学習済みおよび再学習に３つに区別して呼んでいるが、同一の機械学習モデルを学習段階、実行段階および再学習段階を区別した呼び方であるに過ぎない。

【0020】

（ソーラーパネルの撮影）
図１は、空撮によるソーラーパネル１４の撮影形態を示している。ソーラーファーム１０には、多数のソーラーアレイ１２が設置されるとともに、作業員等が各ソーラーアレイ１２を点検および保守する際に通行する通路１１がソーラーアレイ１２間に確保されている。ドローン２４は、可視光カメラ２６を搭載し、ソーラーファーム１０の上空を飛び回って、上空からソーラーファーム１０内のソーラーアレイ１２を撮影する。

【0021】

各ソーラーアレイ１２は、典型的には、表面側を水平面に対して所定の傾斜角度で南空に向けて、水平方向に延在して配置されている。各ソーラーアレイ１２の表面には、多数のソーラーパネル１４が格子状の配列パターンで取り付けられ、太陽光発電を行っている。各ソーラーパネル１４は、典型的には正方形または矩形の形状である。ソーラーアレイ１２において隣接するソーラーパネル１４の間の間隙１６は、ソーラーアレイ１２のボードパネル基板が露出したものである。各ソーラーパネル１４は、複数のセル１８を縦横の格子配列で有している。

【0022】

ドローン２４の飛行中、可視光カメラ２６により撮影されたソーラーアレイ１２の撮像画像３０（図３）の撮影データは、オンラインで例えば地上の遠隔操縦者の遠隔操縦器に送信されてもよいし、ドローン２４が着陸した後、可視光カメラ２６のメモリから回収されてもよい。なお、ドローン２４または可視光カメラ２６には、ＧＰＳが搭載されており、撮像画像３０のメタ情報には、撮影日時の他に、ＧＰＳから取得した撮影位置の情報も含まれている。

【0023】

（方法／概略）
図２は、ソーラーパネル検査用学習モデル作成方法およびソーラーパネル検査方法の実施形態についての全体概略図である。ＳＴＥＰ１００は、可視光パネル（ソーラーパネル）検出の工程であり、ソーラーパネル検査用学習モデル作成方法およびソーラーパネル検査方法の両方に共通に適用される工程である。ＳＴＥＰ２００は、ＡＩ異常検出の工程であり、ＳＴＥＰ２１０およびＳＴＥＰ２２０から構成されている。ソーラーパネル検査用学習モデル作成方法には、ＳＴＥＰ２１０が適用され、ソーラーパネル検査方法には、ＳＴＥＰ２２０が適用される。

【0024】

（可視光パネル検出）
図３は、図２の可視光パネル検出の工程の詳細な説明図である。最初に、撮像画像３０が準備される。

【0025】

実施形態の撮像画像３０は、可視光カメラ２６がソーラーファーム１０の所定の高度から撮影した可視光の撮像画像（≠赤外線画像）である。所定の高度は、例えば地上から２０～５０ｍの範囲であり、望ましい高さは、撮像画像３０から個々のソーラーパネル１４の可視光画像としてのパネル画像を切り出す切り出し処理が円滑となる高さである。望ましい高さは、高度の外、天候、撮影時刻、地形およびその他の因子の影響を受ける。

【0026】

ＳＴＥＰ１００は、ＳＴＥＰ１１０（パネル個別検出）およびその次のＳＴＥＰ１２０（パネル切り出し）の２つのサブ工程から構成されている。ＳＴＥＰ１１０では、撮像画像３０上に複数のソーラーパネル１４を区切る切り出し四角形３６の４頂点はソーラーパネル１４の４頂点に対応付けて設定される。撮像画像３０における切り出し四角形３６の４頂点の決め方の詳細は、図５で後述する。

【0027】

ＳＴＥＰ１２０は、パネル切り出し工程であり、ＳＴＥＰ１２１（切り出し）とＳＴＥＰ１２２（射影変換）との２つのサブ工程を含む。ＳＴＥＰ１２１では、ＳＴＥＰ１１０で決めた切り出し四角形３６（詳細には切り出し四角形３６の４頂点）に基づき撮像画像３０から個別パネル可視光画像３８を切り出す。

【0028】

なお、図３では、個別パネル可視光画像３８は、周輪郭のみを示し、具体的な中身の画像は省略している。ソーラーパネル１４自体は矩形（正方形を含む。）であるものの、撮像画像３０は、ソーラーパネル１４を斜め上空から撮影しているので、生（未加工）の個別パネル可視光画像３８は、矩形にならず、四角形である。

【0029】

ＳＴＥＰ１２２では、個別パネル可視光画像３８から射影変換により所定サイズ（例：１色の画素数で２５６×２５６）の正方形の射影変換画像４０を作成する正規化を実施する。正規化された射影変換画像（適宜、「正規化画像」とも呼ぶことにする。）４０では、ソーラーパネル１４の正面視の縦横も揃えられる。すなわち、ソーラーパネル１４の上辺、下辺、左辺および右辺は、それぞれ射影変換画像４０の上辺、下辺、左辺および右辺となる。作成した複数の射影変換画像４０は、保存フォルダ３２に保存される。

【0030】

保存フォルダ３２に保存された射影変換画像４０は、未学習ＶＡＥモデル４６（図６）および学習済みＶＡＥモデル５６（図９）の入力画像でもある。未学習ＶＡＥモデル４６の入力画像は訓練画像として用いられるので、射影変換画像４０は、多数、用意する必要がある。このため、通常、収集場所のソーラーファーム１０は複数となる。

【0031】

ソーラーパネル１４は、どのメーカーのものも矩形（正方形を含む。）であるものの、縦横の各寸法およびアスペクト比の他、色および内部構造（例：セル１８）は、メーカーごとに相違している。しかしながら、射影変換画像４０に正規化されることにより、未学習ＶＡＥモデル４６（図６）および学習済みＶＡＥモデル５６（図９）の訓練画像および検査画像（検査対象のソーラーパネル１４についての個別画像）としてメーカーおよび型式に関係なく適用することができる。

【0032】

実施形態では、個別パネル可視光画像３８は、ドローン２４の可視光カメラ２６から撮影した撮像画像３０から切り出したものとなっている。個別パネル可視光画像３８は、作業員が地上でソーラーアレイ１２を撮影した撮像画像から切り出したものであってもよい。個別パネル可視光画像３８は、訓練画像として用いられてもよいし、検査画像として用いられてもよい。

【0033】

図４Ａおよび図４Ｂは、図３のＳＴＥＰ１１０（パネル個別検出）についてそれぞれ低高度（例：２０ｍ）および高高度（例：３０ｍ）からの空撮画像３１ａ，３１ｂとその二値化画像との関係を示している。

【0034】

なお、二値化画像は、カラーの撮像画像３０を構成するピクセルの輝度に対して所定の閾値を設定し、輝度が該所定値以上であるピクセルは二値の一方（例：白）に変換し、輝度が該所定値未満であるピクセルは二値の他方（例：黒）に変換することにより生成される。一方、カラーの撮像画像３０は、同一位置の輝度についてＲ（赤）、Ｇ（緑）およびＢ（青）の色別に計３個の情報を有している。実施形態における撮像画像３０からの二値化画像は、ソーラーパネル１４との色との相性を考慮して、Gの輝度のみに基づいて生成している。

【0035】

ＳＴＥＰ１２１の切り出しは、具体的には、平均化フィルタと閾値（０～２５５）とにより処理される。この実施形態では、平均化フィルタは、ピクセル（画素）換算のサイズで０、３×３および５×５の３つが使用される。なお、サイズ０の平均化フィルタとは、平均化フィルタ処理を行わないことを意味する。サイズが大きい平均化フィルタが適用されるときほど、画像は滑らか（解像度が低下）に変換される。

【0036】

各ピクセルを白（０）および黒（２５５）へ二値化する方法は、値１２７を閾値とした二値化１２７と、周辺画素数を１１×１１とした適応的二値化手法に基づく二値化と、値１２７を閾値とした二値化に加え、サイズ５×５のフィルタによるオープニング処理との３つが使用される。したがって、空撮画像３１ａ，３１ｂの各々からは、３×３の計９つの二値化画像が生成される。

【0037】

図４Ａおよび図４Ｂでは、空撮画像３１ａ，３１ｂに対する９つの二値化画像のうち、（ａ）平均化フィルタのサイズ＝０かつ閾値＝１２７（輝度が閾値以上は白、閾値未満は黒にそれぞれ変換）と、（ｂ）平均化フィルタのサイズ＝５×５かつ閾値＝１２７との２つの二値化画像のみを示している。全体二値化画像３３ａ１，３３ａ２は、それぞれ空撮画像３１ａに対する（ａ）および（ｂ）の処理で生成した二値化画像である。全体二値化画像３３ｂ１，３３ｂ２は、それぞれ空撮画像３１ｂに対する（ａ）および（ｂ）の処理による二値化画像である。右端の個別パネル二値化画像３５ａ１，３５ａ２，３５ｂ１，３５ｂ２は、その左側の全体二値化画像３３ａ１，３３ａ２，３３ｂ１，３３ｂ２のそれぞれの拡大画像である。

【0038】

二値化画像には、ソーラーパネル１４の輪郭線（間隙１６に対応する白筋線）とセル１８の区画線（白筋線）とが現れる。なお、セル１８は、黒っぽい色をしている。切り出し四角形３６は、セル１８の区画線ではなく、ソーラーパネル１４の輪郭線から決定する必要がある。図４Ａの低高度撮影の空撮画像３１ａでは、セル１８の白筋線が消えている下段の個別パネル二値化画像３５ａ２の方が切り出し四角形３６を決定し易いので、個別パネル二値化画像３５ａ２から切り出し四角形３６が決定される。これに対し、図４Ｂの高高度撮影の空撮画像３１ｂでは、上段の個別パネル二値化画像３５ｂ１から切り出し四角形３６が決定される。なぜなら、下段の個別パネル二値化画像３５ｂ２は、ソーラーパネル１４の輪郭線が消えており、切り出し四角形３６を検出できないからである。

【0039】

切り出し四角形３６は、各二値化画像における４頂点の組に基づいて決定される。切り出し四角形３６の基になる４頂点の組の決定の仕方の詳細は次のとおりである。

【0040】

ＳＴＥＰａ１：９とおりで処理して生成した二値化画像の各々において、低輝度群（例：黒）または高輝度群（例：白）で囲まれた部分の輪郭を多角形として検出し、その多角形の頂点が４つであるとき、その４頂点の組を全部集めた第１集合を生成する。
ＳＴＥＰａ２：第１集合において重複する組は１つにまとめた第２集合を生成する。

【0041】

ＳＴＥＰａ３：第２集合において、実物のソーラーパネル１４の４頂点に対応する４頂点として妥当性のある４頂点の組のみを残した第３集合を生成する。なお、妥当性の有無の決める基準として、例えば、二値化画像上の４頂点のうちの２頂点間の長さやアスペクト比が現物のソーラーパネル１４のそれらに整合することが挙げられる。
ＳＴＥＰａ４：第３集合の各組の４頂点を、切り出し四角形３６の４頂点として決定する。

【0042】

切り出し四角形３６の基になる４頂点の組の決定の仕方についての上記の一例（以下、「例１」という。）以外の例は次のとおりである。

【0043】

例２：例１では、二値化画像（例：図４Ａの元二値化画像３３ａ１，３３ａ２）から切り出し四角形３６の４頂点を割り出している。これに対して、例２では、グレイスケール画像（例：カラーの可視光画像である空撮画像３１ａをモノクロ化した画像）から切り出し四角形３６の４頂点を割り出す。すなわち、ソーラーアレイ１２において、ソーラーパネル１４の内側（複数のセル１８から構成されている。）と外側（隣接するソーラーアレイ１２間を区切る間隙１６）とは、ある程度の色差または輝度差がある。したがって、グレイスケール画像においてソーラーパネル１４が属する輝度範囲に含まれる領域を特定し、特定した領域に基づいて切り出し四角形３６の４頂点を割り出すことができる。

【0044】

例３：例１の二値化画像は、可視光画像の空撮画像の輝度に所定の閾値を設定して白と黒の二値化画像を生成している。これに対し、例３では、微分によるエッジ化により二値化画像を作成する。エッジは、ソーラーパネル１４やセル１８の輪郭線に対応する。

【0045】

図５は、決定した４頂点に基づくＳＴＥＰ１２０（パネル切り出し）の工程の説明図である。なお、図５では、撮像画像３０から切り出す個別パネル可視光画像３８は、ソーラーパネル１４の異常３９を有するものが選択されている。

【0046】

最初に、ＳＴＥＰ１１０では、決定した４頂点Ｖａ，Ｖｂ，Ｖｃ，Ｖｄ（以下、「Ｖａ－Ｖｄ」と略記する。）に基づいて切り出し四角形３６が決まる。次に、ＳＴＥＰ１２１では、撮像画像３０から切り出し四角形３６の内側の画像として個別パネル可視光画像３８を切り出す。なお、１つの個別パネル可視光画像３８は、ＲＧＢの色別の計３個の画像の集合を意味する。

【0047】

最後に、ＳＴＥＰ１２２の射影変換では、４頂点Ｖａ－Ｖｄが正方形の４頂点となるように、個別パネル可視光画像３８を変形して、ソーラーパネル１４の正規化可視光画像としての射影変換画像４０を得る。射影変換画像４０の上下左右の各辺は、ソーラーパネル１４の実際の上下左右の各辺に対応している。

【0048】

（学習プロセス）
図６は、図２のＳＴＥＰ２１０（学習プロセス）の詳細な説明図である。ＳＴＥＰ２１１は、ＳＴＥＰ２１２（ピックアップ）とＳＴＥＰ２１３（データセット化）との２つのサブ工程から構成されている。

【0049】

図２のＳＴＥＰ１００の処理後、保存フォルダ３２には、多数の射影変換画像４０が保存されている。射影変換画像４０のほとんどは、正常パネル画像４０ａであるが、異常パネル画像４０ｂもわずかではあるが、含まれている。作業者は、保存フォルダ３２内の各射影変換画像４０を目視して、正常パネル画像４０ａのみを訓練画像として拾い上げ（ＳＴＥＰ２１２）、訓練画像のデータ形態である訓練データのデータセットを構築する（ＳＴＥＰ２１３）。

【0050】

なお、保存フォルダ３２の射影変換画像４０の中から正常パネル画像４０ａのみを訓練画像として拾いあげる時の目視作業を一部機械化することができる。例えば、最初は、目視で保存フォルダ３２の射影変換画像４０を正常パネル画像４０ａであるか否かを判断し、正常パネル画像４０ａであると判断した射影変換画像４０は、合格画像として蓄積する。そして、合格画像が所定数に達した後は、自動機械が、保存フォルダ３２から自動的に新たに拾いあげた射影変換画像４０と合格画像とのピクセルごとの輝度の差分について全ピクセルについての差分の合計値を所定の閾値と対比し、閾値未満であれば、当該射影変換画像４０は、正常パネル画像４０ａであると自動判断するとともに、合格画像に追加する。

【0051】

こうして、機械が、合格画像を増やしつつ、保存フォルダ３２内の射影変換画像４０に対し次々に合否判断する。そして、目視作業は、機械が不合格の射影変換画像４０に限定する。また、この時、目視作業で正常パネル画像４０ａであると判断した射影変換画像４０は自動機械の合格画像に追加する。蓄積された合格画像が増えるに連れて、自動機械が合否を自動判断可能の対象となる射影変換画像４０の枚数も増大していく。

【0052】

ＳＴＥＰ２１３のデータセット（Ｎ，２５６，２５６，３）において、Ｎは訓練データの個数を意味し、２５６，２５６は各正常パネル画像４０ａのピクセル換算のサイズを意味し、３は各正常パネル画像４０ａのＲＧＢのカラー数（＝色数）を意味している。

【0053】

ＳＴＥＰ２１５は、ＳＴＥＰ２１６（前処理）と、ＳＴＥＰ２１７（本処理）との２つのサブ工程から構成されている。ＳＴＥＰ２１６では、前処理部４４がＮ個の訓練データを１単位とするＥｐｏｃｈにして、ミニバッチ法（バッチサイズは例えば３２か６４）により未学習ＶＡＥモデル４６に学習させる。

【0054】

ＳＴＥＰ２１７では、前処理部４４からの訓練データにより未学習ＶＡＥモデル４６に教師なし学習を行わせる。前処理部４４および損失演算部４８は、それぞれ未学習ＶＡＥモデル４６の入力部および出力部でもある。

【0055】

図７は、未学習ＶＡＥモデル４６とその前後の処理部との詳細図である。未学習ＶＡＥモデル４６は、ＶＡＥ（Variational Autoencoder／変分自己符号化器）から構成され、エンコーダ、Ｚ空間（パラメータ生成部）およびデコーダを備えている。正常パネル画像４０ａのデータ形態である訓練データ５２は、未学習ＶＡＥモデル４６に入力される。生成画像５４は、未学習ＶＡＥモデル４６が正常パネル画像４０ａの入力データから生成した出力データの対応画像である。

【0056】

損失演算部４８は、正常パネル画像４０ａを未学習ＶＡＥモデル４６の出力の正解値として所定の損失関数の損失（例：平均二乗誤差）を減らすように、未学習ＶＡＥモデル４６に訓練を行わせる。こうして、未学習ＶＡＥモデル４６の各パラメータは勾配降下法によって更新されていく。なお、損失を減らすようにすることとは、後述の入力画像５６iと出力画像５６ｏとの差分を減らすことでもある。

【0057】

図８は、学習回数（epoch）ごとに学習途中の未学習ＶＡＥモデル４６に段階的に取得し、同一の入力画像を入力した際の再構成画像（出力画像）を確認した結果を示す図である。横軸は学習回数（エポック数）を示している。未学習ＶＡＥモデル４６の学習が進行するに連れて、生成画像５４が正解としての正常パネル画像４０ａにしだいに近づいていくことが分かる。このことから、上記の学習方法によりパネル画像を生成するモデルを作成可能であることが視覚的に理解できる。

【0058】

（検査プロセス）
図９は、ＳＴＥＰ２２０（検査プロセス）の説明図である。ＳＴＥＰ２２０は、ＳＴＥＰ２２１（画像生成）とＳＴＥＰ２２２（後処理）との２つのサブ工程から構成されている。ＳＴＥＰ２２１，２２２の処理は、それぞれ学習済みＶＡＥモデル５６および後処理部５８により実施される。学習済みＶＡＥモデル５６および後処理部５８は、検査部５３を構成している。なお、図では、説明の便宜上、入力画像５６i、出力画像５６ｏ、差分画像６０ｄおよび判定画像６２ｅの画像を示しているが、検査部５３における実際の出力は、それら画像に対応するデータとなっている。

【0059】

学習済みＶＡＥモデル５６は、入力画像５６iの入力に対し出力画像５６ｏを出力する。差分解析部６０は、入力画像５６iと出力画像５６ｏとの差分輝度の絶対値である差分画像６０ｄを出力する。異常検出部６２は、差分画像６０ｄに基づいて検査対象のソーラーパネル１４の異常についての判定結果である判定画像６２ｅを出力する。

【0060】

学習済みＶＡＥモデル５６は、入力画像５６ｉに対し、その入力画像５６ｉが正常なソーラーパネル１４のものである場合の画像（正常画像）を推論する。したがって、適切に訓練された学習モデルは、入力が正常画像である場合は入力画像５６ｉに極めて近い出力画像５６ｏを出力する一方、入力が異常画像である場合は、入力画像５６ｉから異常箇所が除かれた画像に極めて近い出力画像５６ｏを出力する。その場合、各ピクセルにおいて入力画像５６iと出力画像５６ｏとの差分輝度（厳密には絶対値）は、０（黒）または０に近い値になり、判定画像６２ｅには、異常３９ｅが出現しない。

【0061】

一方、検査対象のソーラーパネル１４に異常３９（図５）があると、入力画像５６iには、異常３９ｉが含まれる。しかしながら、学習済みＶＡＥモデル５６は、異常３９ｉの有無に関係なく、入力画像５６iから正常画像（正常なソーラーパネル１４の画像）の出力画像５６ｏを出力する。この結果、差分画像６０ｄには、差分輝度の絶対値が所定値より大きいピクセルの領域が異常３９ｄとして出現し、異常３９ｄが所定の条件を充足するときは、判定画像６２ｅにおいて異常単位区画３９ｅとなる。

【0062】

（異常の判定方法／基本例）
異常検出部６２が異常３９ｅについて最終的にソーラーパネル１４が異常であるか否かの判定方法の基本例は、次のとおりである。
ＳＴＥＰｂ１：異常検出部６２は、差分画像６０ｄを縦横共に等間隔の格子線で形状（例：正方形）および大きさ（サイズ）の等しい複数の単位区画（単位升目）に区画する。ここで、単位区画の総数はＮａとする。

【0063】

ＳＴＥＰｂ２：差分画像６０ｄにおいて単位区画ごとに、差分輝度値（差分輝度）が第１閾値以上であるピクセルの総数Ｍａが第２閾値以上であるか否かを判定する。なお、差分画像６０ｄにおける各ピクセルの輝度は、入力画像５６iと出力画像５６ｏとにおける対応ピクセル同士の輝度の差分の絶対値である。

【0064】

ＳＴＥＰｂ３：ＳＴＥＰｂ２の判定結果が肯定的であれば、当該単位区画は、異常区画と認定し、否定的であれば、正常区画と認定する。図９の判定画像６２ｅにおいて、黒は正常区画であり、白は、異常区画であって、異常３９ｅで示されている。

【0065】

ＳＴＥＰｂ４：異常区画の個数Ｎｂを計数する。
ＳＴＥＰｂ５：Ｎｂが第３閾値以上であれば、検査対象のソーラーパネル１４は異常であると判定する。Ｎｂが第３閾値未満であれば、検査対象のソーラーパネル１４は正常であると判定する。なお、Ｎｂに代えて、Ｎｂ／Ｎａを第３閾値と対比して、検査対象のソーラーパネル１４の正常および異常を判定することもできる。

【0066】

差分画像６０全体で差分輝度値が第１閾値以上であるピクセルの総数Ｍａが第２閾値以上であるか否かで検査対象のソーラーパネル１４が異常であるか否かを判定するのではなく、上記のように、ＳＴＥＰｂ１－ＳＴＥＰｂ５の手順を踏む意義は次のとおりである。

【0067】

（ａ）ソーラーパネル１４の異常の程度を単位区画の数として計数できる。すなわち、多数のソーラーパネル１４を含むソーラーアレイ１２が映し出されているオルソ画像上（検査結果表示アプリ画面の）で異常なソーラーパネル１４の位置にピンを立てる際などに「異常単位区画数が：５以上のソーラーパネル１４のみ表示」など異常の程度によって表示のフィルタリング（この場合、「５」は、第３閾値に相当し、第３閾値を適宜調整可能にしておく。）を行うことができる。

【0068】

（ｂ）ソーラーパネル１４の異常を抽象化することができる。すなわち、よりシンプルな方法で異常を表現しておくことで、別のパネル同士の異常形状類似度を推定することが容易にすることができる。

【0069】

（異常の判定方法／変形例）
異常の判定方法の変形例として次のものがある。

【0070】

（ｅ１）基本例では、単位区画ごとに、差分輝度値（差分輝度）が第１閾値以上であるピクセルの総数Ｍａが第２閾値以上であれば、当該単位区画は、異常区画と判定した。変形例では、単位区画ごとに、最高値からｎ（ｎは１以上の整数）番目の差分輝度値が第１閾値以上であれば、当該単位区画は、異常区画と判定する。さらに、単位区画ごとに、差分輝度値（差分輝度）の平均値が第１閾値以上であれば、当該単位区画は、異常区画と判定することにしてもよい。

【0071】

（ｅ２）基本例では、差分画像６０ｄを縦横が等間隔の格子線で単位区画に等分割しているが、単位区画を複数の群（各群に含まれる単位区画の個数は任意）に分ける。そして、群ごとに、差分輝度値（差分輝度）が第１閾値以上であるピクセルの総数Ｍａと当該群の総ピクセル数Ｍｂとの比Ｍａ／Ｍｂが第２閾値以上であれば、当該群は、異常群と判断する。最後に、異常群の個数Ｎｂが第３閾値以上であれば、検査対象のソーラーパネル１４は異常であると判定する。Ｎｂが第３閾値未満であれば、検査対象のソーラーパネル１４は正常であると判定する。また、群ごとにＭａを変更することもできる。

【0072】

（ｅ３）判定画像６２ｅにおいて、差分輝度値が第１閾値以上であるピクセルが連続して隣接している領域、または不連続であっても不連続の距離がピクセル数換算で所定値ｍ（ｍは２以上の整数）個以内に収まって集まっているピクセル同士の領域を異常領域と判断し、検査対象のソーラーパネル１４全体で、当該異常領域の個数Ｎｂが第３閾値以上であれば、検査対象のソーラーパネル１４は異常であると判定する。Ｎｂが第３閾値未満であれば、検査対象のソーラーパネル１４は正常であると判定する。

【0073】

（ｅ４）図９の検査プロセスでは、検査対象のソーラーパネル１４の検査結果としての異常状態は、異常検出部６２の出力としての判定画像６２ｅ、すなわちソーラーパネル１４の具体的な異常ピクセルを示す画像表示で認識されるようになっている。異常状態の認識のその他の例としては、音声または文字や記号の表示によるアラート発生、または異常状態のソーラーパネル１４のＩＤおよび検査日時に対応付けした異常記録をデータベースにストアすることがある。

【0074】

（再学習）
図１０は、再学習システム６４の構成図である。再学習システム６４は、検査部５３、空撮画像記憶部６６、パネル検出器６８、パネル画像成形器７０、均一形状画像記憶部７２、データ結合・表示部７４および再学習部８０を備えている。

【0075】

空撮画像記憶部６６は、ドローン２４が可視光カメラ２６を使ってソーラーファーム１０の上空を飛び回り、ソーラーファーム１０内を上空から撮影した空撮画像を記憶している。ソーラーファーム１０内の各ソーラーアレイ１２は、少なくとも１以上の空撮画像に含まれているとともに、ソーラーファーム１０内の各ソーラーパネル１４の画像は、空撮画像記憶部６６に記憶されている少なくとも１つの空撮画像に含まれている。なお、空撮画像記憶部６６の空撮画像は、単一のソーラーファーム１０のものに限定されず、複数のソーラーファーム１０の空撮画像であってもよい。

【0076】

パネル検出器６８は、ＳＴＥＰ１１０（図２）のパネル個別検出を前述の４つの頂点Ｖａ－Ｖｄに基づいて実施する装置である。パネル画像成形器７０は、ＳＴＥＰ１２０（図２）のパネル切り出しを実施する装置である。均一形状画像記憶部７２は、保存フォルダ３２のことを意味する。データ結合・表示部７４は、誤検出ボタン７８付きの追加訓練用データ取得部７６を備えている。

【0077】

検査員は、後処理部５８からの異常判定に対し、異常判定の基になっている入力画像５６iを均一形状画像記憶部７２から取り寄せるとともに、切り出し四角形３６を規定する４つの頂点Ｖａ－Ｖｄの情報をパネル検出器６８から取り寄せて、さらに、それらをデータ結合・表示部７４に表示させて後処理部５８の異常判定を検証する。

【0078】

検査員が、入力画像５６iだけでなく、４つの頂点Ｖａ－Ｖｄの情報も知る利点は、例えば次のとおりである。
（ａ）４つの頂点Ｖａ－Ｖｄの決定が不適切であるために、異常判定がなされていることがある（図１１－図１５で後述）。
（ｂ）４つの頂点Ｖａ－Ｖｄは、撮像画像３０における座標を示しているので、アプリ画面（図３の全体の撮像画像３０のようなもの）上で検出対象のソーラパネル１４を表示することができる。
（ｃ）さらに、異常判定の結果と合わせて異常は赤枠、正常は緑枠など色分けすることでアプリ画面上でどこのパネルが異常なのかを簡単に確認することができる。

【0079】

検査員は、画像による目視検査により、入力画像５６iに異常が見つからず、また、４つの頂点Ｖａ－Ｖｄの決定に問題がないと判断したときは、学習済みＶＡＥモデル５６が当該入力画像５６iに対して誤検出をしたとして、誤検出ボタン７８を押下する。これにより、当該入力画像５６iが再訓練用画像（厳密には、再訓練用画像データ）として再学習部８０の訓練用データ８２に送られる。こうして、訓練用データ８２には、再訓練用訓練画像が蓄積される。

【0080】

なお、検査員による完全目視検査に代えて一部機械利用を図って、検査能率を高めることが可能である。例えば、前述のＳＴＥＰｂ２の第１閾値もしくは第２閾値、またはＳＴＥＰｂ４の第３閾値を所定量大きくしても、異常と判断される入力画像５６iについては、目視検査から除外して、目視検査数を減らすことができる。一方、それらの閾値の少なくとも１つについて、所定量を低下させると、正常と判断される入力画像５６iについて再検査要と判断して、そのような入力画像５６iのみを目視検査の対象にして目視検査数を減らすことができる。

【0081】

再学習部８０は、学習済みＶＡＥモデル５６を再訓練するために、学習済みＶＡＥモデル５６を再学習部８０にコピーして、再学習ＶＡＥモデル８４としてから、この再学習ＶＡＥモデル８４に対し再訓練用の訓練画像で再学習させる。再学習後の再学習ＶＡＥモデル８４は、新しい学習済みＶＡＥモデル５６として検査部５３に移される。こうして、再学習前の古い学習済みＶＡＥモデル５６は、新しい学習済みＶＡＥモデル５６に置き換えられる。

【0082】

一般的に全ての統計モデルは運用開始後に時間とともに性能が落ちる。このため、学習済みＶＡＥモデル５６に対し、定期的に最新のデータによる再学習を行って、学習済みＶＡＥモデル５６を再学習ＶＡＥモデル８４に置き換えることにより、性能低下を防止している。

【0083】

（誤検出）
図１１は、ソーラーパネル検査方法における誤検出９０の発生についての説明図である。図１１の切り出し画像８１は、誤検出９０を引き起こすノイズ付きの切り出し画像の例として示している。なお、切り出し画像８１は、ソーラーパネル検査方法において、撮像画像３０内の検査対象のソーラーパネル１４の個別パネル画像として撮像画像３０から切り出した可視光画像であり、ソーラーパネル検査用学習モデル作成方法の個別パネル可視光画像３８に対応している。

【0084】

切り出し画像８１において余白縁部８７が切り出し画像８１の周縁部に存在するとき、判定画像６２ｅにおいて誤検出９０が生じる。余白縁部８７は、説明の便宜上、「余白」と称するが、実際のカラーの切り出し画像８１での色は、地面の色を反映して、黒っぽい色（輝度の低い領域）となっている。余白縁部８７は、撮像画像３０においてソーラーアレイ１２の上辺より上側に見える地面である。発明者は、切り出し画像８１の周縁部の余白縁部８７が判定画像６２ｅにおける誤検出９０の誤検出の原因になっているという知見を得た。

【0085】

切り出し画像８１では、余白縁部８７が検査対象のソーラーパネル１４のパネル画像８５のパネル周線８６と切り出し画像８１の周縁８８との間に存在している。余白縁部８７の存在にもかかわらず、出力画像５６ｏは、切り出し画像８１に由来する入力画像５６iが、余白縁部８７を有しない入力画像５６iに対応する画像（正常なソーラーパネル１４の出力画像）となる。この結果、差分画像６０ｄにおいて白横線８９が生じて、白横線８９は、差分解析部６０ｅにおいて誤検出９０を引き起こす。

【0086】

（パネル頂点の調整）
図１２は、角検出画像８３ａに適用する角（かど）検出フィルタ９６（角検出フィルタ９６ａ，９６ｂ，９６ｃ，９６ｄの総称）についての説明図である。角検出画像８３ａは、検査対象ソーラーパネルの可視光のパネル画像８５を含む撮像画像３０においてパネル画像８５を内側に含みかつパネル画像８５より少し広げた四角形の可視光画像として設定されている。なお、パネル画像８５の調整前の４頂点の求め方は、図４Ａおよび図４Ｂで前述したとおりである。

【0087】

角検出フィルタ９６ａ，９６ｂ，９６ｃ，９６ｄの各々は、それぞれ角検出画像８３ａの４つの対応隅部としての左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃおよび右下隅部１０１ｄの頂点検出に対応付けられている。そして、重みが正（例：”１”）の正方形領域（図において白の領域）と、該正方形領域に対してそれぞれ左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃおよび右下隅部１０１ｄ側の２辺に沿って延在する重みが負（例：：”－１”，”－２”）である辺領域（図において灰色がかった領域）とを有している。

【0088】

図示の角検出フィルタ９６では、ピクセル換算で、ｓ×ｓ(７×７）であり、正方形領域のサイズはｗ×ｗ（６×６）であり、辺領域のサイズは、幅×長さが１×７に設定されている。

【0089】

なお、角検出画像８３ａは、矩形ではなく、四角形であるのに対し、角検出フィルタ９６は、正方形である。したがって、角検出フィルタ９６を角検出画像８３ａに適用（空間フィルタリング）するときに、隅部において形状の不整合が生じる。しかしながら、不整合は高々７ピクセルであり、隅部における形状の相違は、撮像画像３０上のソーラーパネル１４が極端に傾いていない限りは問題になりにくい。逆にこのことが原因で頂点補正が正常に動作しない場合には、画像上のパネルがより傾かない状態で撮影するなど工夫することにより解消できる。

【0090】

角検出画像８３ａに対してそれぞれ角検出フィルタ９６ａ，９６ｂ，９６ｃ，９６ｄを画像フィルタとして空間フィルタリングすると、図１２の下端部に横一列に示されているように、フィルタ処理画像８３ａａ，８３ａｂ，８３ａｃ，８３ａｄが生成される。

【0091】

なお、角検出画像８３ａへの角検出フィルタ９６の適用においては、角検出画像８３ａの頂点が所定輝度以上であるとき（明るいとき）は、すなわち黒っぽい余白縁部８７が存在しない隅部（図示の例では左下隅部１０１ｃおよび右下隅部１０１ｄ）に対して、角検出フィルタ９６の適用することなく、したがって角検出画像８３ａからではなく、パネル画像８５の頂点をソーラーパネル１４の真の頂点として直ちに決定できる。

【0092】

図１３は、図１２の角検出画像８３ａにおいて角探索範囲とされる左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃおよび右下隅部１０１ｄの拡大図である。角検出画像８３ａにおいて、左上隅部１０１ａおよび右上隅部１０１ｂには、余白縁部８７（この余白縁部８７は、ソーラーアレイ１２の上辺より上の地面の撮像部分に相当する。）と共に左右方向に隣接する１つの隣接パネル画像９２が部分的に含まれている。左下隅部１０１ｃおよび右下隅部１０１ｄには、余白縁部８７（地面に相当するもの）は含まれていないが、左右方向および上下方向に隣接する計３つの隣接パネル画像９２が部分的に含まれている。

【0093】

図１２において、角探索範囲としての左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃおよび右下隅部１０１ｄの角探索では、それぞれ図１１のフィルタ処理画像８３ａａ，８３ａｂ，８３ａｃ，８３ａｄにおける左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃおよび右下隅部１０１ｄの画像部分が使用される。

【0094】

図１４は、頂点探索処理についての説明図である。角検出画像８３ａには、左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃおよび右下隅部１０１ｄの計４つの角探索範囲があるが、図１４では、そのうちの左上隅部１０１ａについて説明する。他の３つの探索範囲における角探索も上隅部１０１ａのものと同様である。

【0095】

図１４は、左上隅部１０１ａについて可視光画像としての角検出画像８３ａとフィルタ処理画像８３ａａとを対比して示している。縦線１０５および横線１０７は、角検出画像８３ａにおける補正頂点１０３ｐとフィルタ処理画像８３ａａにおける補正頂点１０３ｐとの対応関係を明瞭にするための単なる補助線である。

【0096】

角検出画像８３ａにおける無補正頂点１０３ｏは、図１１の頂点補正無しの切り出し画像８１から求めた頂点である。これに対して、左上隅用の角検出フィルタ９６ａの適用によりフィルタ処理画像８３ａａが生成され、次に、フィルタ処理画像８３ａａの隅部に矩形の左上隅部１０１ａが頂点探索領域として設定される。そして、該頂点探索領域において最高輝度のピクセルの位置が補正頂点１０３ｐとされる。

【0097】

なお、無補正頂点１０３ｏは、角検出画像８３ａの生成および角検出フィルタ９６の適用の頂点補正を行うことなく、パネル画像８５から直接求めた頂点である。隅部に余白縁部８７が存在していると、誤検出９０の原因になる頂点が検出される。これに対し、頂点補正を行うことにより、無補正頂点１０３ｏを補正頂点１０３ｐに変更して、誤検出９０の発生を防止することができる。

【0098】

図１５は、図１１－図１４の頂点補正処理を行わなかった未補正パネル画像３８ｕａと行った補正パネル画像３８ｖａとの対比図である。図１５では、便宜上、モノクロ画像となっているが、実際には、未補正パネル画像３８ｕａおよび補正パネル画像３８ｖａは、共に、カラー画像である。未補正パネル画像３８ｕａおよび補正パネル画像３８ｖａ共に頂点Ｖａ－Ｖｄにより決められる切り出し四角形３６に基づいて撮像画像３０から切り取られた画像である。

【0099】

図１２の頂点補正処理では、角検出フィルタ９６ａ，９６ｂ，９６ｃ，９６ｄの各々が、角検出画像８３ａの４つの対応隅部としての左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃ及び右下隅部１０１ｄにそれぞれ対応付けて設けられ、重みが正の正方形領域（例：”１”）と該正方形領域に対して対応隅部側の２辺に沿って延在しかつ重みが０か負（例：”－１”）である辺領域とを有している。角検出フィルタ９６ａ，９６ｂ，９６ｃ，９６ｄの狙いは、切り出し画像８１の４頂点を機械的に角検出画像８３ａの頂点に決定してしまう誤りを回避しようとするものである。したがって、角検出フィルタ９６ａ，９６ｂ，９６ｃ，９６ｄの各々は、それに対応付けられている左上隅部１０１ａ、右上隅部１０１ｂ、左下隅部１０１ｃ及び右下隅部１０１ｄの各々の対応辺に沿う辺領域の輝度を低下させ該辺領域の内側に隣接する内側領域の輝度を増加させる処理をするものであれば、各角検出フィルタにおける重みの配分や辺領域及び内側領域のサイズは任意であるとともに、角検出フィルタごとに相違させることもできる。

【0100】

（補足および変形例）
実施形態では、機械学習手法としてＶＡＥ系列が用いられている。本発明の機械学習手法は、これに限定されず、例えば、ＧＡＮ系列（ＡｎｏＧＡＮ）、Ｄｉｆｆｕｓｉｏｎ ｍｏｄｅｌ、およびＮｏｒｍａｌｉｚｉｎｇ Ｆｌｏｗ等を用いることができる。

【0101】

実施形態では、異常検出部６２がソーラーパネル１４を異常と判定する仕方についてＳＴＥＰｂ１－ＳＴＥＰｂ４を説明した。本発明では、当該仕方に限定されない。例えば、ＳＴＥＰｂ２－ＳＴＥＰｂ３に代えて、各単位区画ごとに、差分輝度の平均値（判定画像６２ｅにおける各単位区画について、ピクセル全体の輝度合計／ピクセル総数）が別の閾値以上であるか否かを判定し、判定結果が肯定的であれば、当該単位区画は、異常区画と認定し、否定的であれば、正常区画と認定することもできる。

【0102】

さらには、差分輝度の平均値と別の閾値との比較を差分画像６０ｄ内の単位区画ごとに行うのではなく、差分画像６０ｄの全体で実施してもよい。すなわち、差分画像６０ｄの全体の差分輝度の平均値を求め、該平均値が別の閾値以上であるときには、検査対象のソーラーパネル１４は異常状態であると認識するようにすることもできる。

【符号の説明】

【0103】

１０・・・ソーラーファーム、１２・・・ソーラーアレイ、１４・・・ソーラーパネル、１６・・・間隙、１８・・・セル、２６・・・可視光カメラ、３０・・・撮像画像、３５・・・個別パネル二値化画像、３６・・・切り出し枠、３８・・・個別パネル可視光画像、３９・・・異常、４０・・・射影変換画像、４０ａ・・・正常パネル画像、４０ｂ・・・異常パネル画像、４６・・・未学習ＶＡＥモデル、４８・・・損失演算部、５２・・・訓練データ、５３・・・検査部、５４・・・生成画像、５６・・・学習済みＶＡＥモデル、５６i・・・入力画像、５６ｏ・・・出力画像、５６ｉａ・・・元入力画像、５７・・・異常箇所、５８・・・後処理部、６０・・・差分解析部、６０ｄ・・・差分画像、６２・・・異常検出部、６２ｅ・・・判定画像、６４・・・再学習システム、７６・・・追加訓練用データ取得部、７８・・・誤検出ボタン、８０・・・再学習部、８２・・・訓練用データ、８４・・・再学習ＶＡＥモデル、８５・・・目的画像、８６・・・パネル周線、８７・・・余白縁部、８８・・・周縁、８９・・・白横線、９０・・・誤検出、９６・・・角検出フィルタ。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2024-02-06

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正の内容】

【0036】

各ピクセルを白（０）および黒（２５５）へ二値化する方法は、値１２７を閾値とした二値化と、周辺画素数を１１×１１とした適応的二値化手法に基づく二値化と、値１２７を閾値とした二値化に加え、サイズ５×５のフィルタによるオープニング処理との３つが使用される。したがって、空撮画像３１ａ，３１ｂの各々からは、３×３の計９つの二値化画像が生成される。