(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-12
(45)【発行日】2024-03-21
(54)【発明の名称】ソーラーパネルの経緯度特定方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20240313BHJP
【FI】
G06T7/70 A
(21)【出願番号】P 2023190299
(22)【出願日】2023-11-07
【審査請求日】2023-11-10
【早期審査対象出願】
(73)【特許権者】
【識別番号】513087677
【氏名又は名称】PCIソリューションズ株式会社
(73)【特許権者】
【識別番号】523114143
【氏名又は名称】データステップス株式会社
(73)【特許権者】
【識別番号】518209023
【氏名又は名称】日本グリーン電力開発株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】デロイトトーマツ弁理士法人
(72)【発明者】
【氏名】古賀 淳也
(72)【発明者】
【氏名】野口 雅之
(72)【発明者】
【氏名】高山 洋史
(72)【発明者】
【氏名】君塚 健太
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2022-167442(JP,A)
【文献】国際公開第2019/150418(WO,A1)
【文献】中国特許出願公開第112200764(CN,A)
【文献】中国特許出願公開第113223085(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00- 7/90
G06V 10/00-20/90
H02S 50/00
(57)【特許請求の範囲】
【請求項1】
撮影装置によって上方から撮影された複数のソーラーパネルを含む撮影画像及び当該撮影時の測位信号の経緯度情報に基づき、当該複数のソーラーパネルのうちの少なくとも1つである所定ソーラーパネルの所定部位の経緯度を特定するソーラーパネルの経緯度特定方法であって、
前記撮影画像の所定箇所を原点として当該撮影画像の上下左右方向に沿う直交座標系である第1直交座標系における、所定ソーラーパネルを含む前記複数のソーラーパネルの各々の4頂点の画素の座標値を、所定画像処理により取得する頂点座標値取得ステップと、
前記撮影画像から前記各ソーラーパネルの互いに対向する二辺の各々の所定位置における前記第1直交座標系の画素の座標点を抽出するとともに、当該座標点が前記第1直交座標系の2座標軸方向における1画素当たりの実空間距離の換算値である距離換算値を有するように構成された第1画像を作成する第1画像作成ステップと、
前記第1画像に対して画素の座標点間の所定補間演算を実施することにより、前記第1画像の前記第1直交座標系の画素の座標点が距離換算値を有するように構成された画像として第2画像を作成する第2画像作成ステップと、
前記第2画像における前記画素の座標点の前記距離換算値に基づき、画像の中心の画素を原点として前記第1直交座標系における画素の座標点が2座標軸方向の実空間距離のデータを有するように構成された画像として第3画像を作成する第3画像作成ステップと、
前記測位信号の前記経緯度情報及び前記第3画像に基づき、画像の中心である前記第1直交座標系の原点の画素が当該測位信号の当該経緯度情報を有するとともに、
各画素が経緯度情報を有するように構成された画像として第4画像を作成する第4画像作成ステップと、
前記第4画像及び前記撮影画像を対比することにより、前記所定ソーラーパネルの前記所定部位の経緯度を特定する経緯度特定ステップと、
が演算処理装置によって実行されることを特徴とするソーラーパネルの経緯度特定方法。
【請求項2】
請求項1に記載のソーラーパネルの経緯度特定方法において、
前記撮影装置は、前記測位信号を受信可能な飛行体に搭載されていることを特徴とするソーラーパネルの経緯度特定方法。
【請求項3】
請求項2に記載のソーラーパネルの経緯度特定方法において、
前記飛行体には、前記撮影装置として、可視画像を撮影する第1撮影装置と、赤外線画像を撮影する第2撮影装置とが搭載されており、
前記頂点座標値取得ステップでは、前記可視画像内の前記各ソーラーパネルの前記4頂点の画素の座標値が取得され、
前記第1画像作成ステップでは、前記第1画像が前記可視画像から作成され、
前記経緯度特定ステップでは、前記第1撮影装置及び前記第2撮影装置の撮影タイミングが同時である場合、又は、前記飛行体がホバリング状態にある場合には、前記可視画像内及び前記赤外線画像内の前記ソーラーパネルが同一サイズになるように調整し、前記第4画像及び前記赤外線画像の中心が位置合わせされるように、前記第1撮影装置及び前記第2撮影装置の設置状態に起因する前記可視画像及び前記赤外線画像の位置ずれを補正した状態で、前記第4画像及び前記赤外線画像を重ね合わせることにより、前記赤外線画像内の前記所定ソーラーパネルの前記所定部位の経緯度を特定することを特徴とするソーラーパネルの経緯度特定方法。
【請求項4】
請求項3に記載のソーラーパネルの経緯度特定方法において、
前記経緯度特定ステップでは、前記第1撮影装置及び前記第2撮影装置の撮影タイミングが時間差を有している場合において、前記第1撮影装置及び前記第2撮影装置の撮影が前記飛行体の飛行中に実行されたときには、前記可視画像内及び前記赤外線画像内の前記ソーラーパネルが同一サイズになるように調整し、前記第4画像及び前記赤外線画像の中心が位置合わせされるように、前記第1撮影装置及び前記第2撮影装置の設置状態に起因する前記撮影画像の前記位置ずれと前記撮影タイミングの時間差に起因する前記撮影画像の位置ずれとを補正した状態で、前記第4画像及び前記赤外線画像を重ね合わせることにより、前記赤外線画像内の前記所定ソーラーパネルの前記所定部位の経緯度を特定することを特徴とするソーラーパネルの経緯度特定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行体による撮影画像に基づいてソーラーパネルの経緯度を特定するソーラーパネルの経緯度特定方法に関する。
【背景技術】
【0002】
従来、ソーラーパネルの検査装置として、特許文献1に記載されたものが知られている。この検査装置は、飛行体に組み込まれたものである。この検査装置では、飛行体がソーラーパネルの上方に位置している状態で、検査光をソーラーパネルに対して照射し、その反射光の照射光軸と反射光軸との差分に基づいて、ソーラーパネルの破損が検出される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般に、ソーラーパネルの破損が検出された場合には、そのソーラーパネルを修理するために、ソーラーパネルの経緯度などの位置を特定する必要がある。これに対して、上記従来の検出装置によれば、ソーラーパネルの破損は検出できるものの、その破損したソーラーパネルがどの位置にあるのかを特定することができないという問題がある。この点は、破損しているソーラーパネルに限らず、何らかの理由により点検する必要があるソーラーパネルの位置を特定する場合にも問題となる。
【0005】
本発明は、上記課題を解決するためになされたもので、ソーラーパネルの経緯度を精度よく特定することができるソーラーパネルの経緯度特定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、請求項1に係る発明は、撮影装置によって上方から撮影された複数のソーラーパネルを含む撮影画像及び撮影時の測位信号の経緯度情報に基づき、複数のソーラーパネルのうちの少なくとも1つである所定ソーラーパネルの所定部位の経緯度を特定するソーラーパネルの経緯度特定方法であって、撮影画像の所定箇所を原点として撮影画像の上下左右方向に沿う直交座標系である第1直交座標系における、所定ソーラーパネルを含む複数のソーラーパネルの各々の4頂点の画素の座標値を、所定画像処理により取得する頂点座標値取得ステップと、撮影画像から各ソーラーパネルの互いに対向する二辺の各々の所定位置における第1直交座標系の画素の座標点を抽出するとともに、座標点が第1直交座標系の2座標軸方向における1画素当たりの実空間距離の換算値である距離換算値を有するように構成された第1画像を作成する第1画像作成ステップと、第1画像に対して画素の座標点間の所定補間演算を実施することにより、第1画像の第1直交座標系の画素の座標点が距離換算値を有するように構成された画像として第2画像を作成する第2画像作成処理と、第2画像における画素の座標点の距離換算値に基づき、画像の中心の画素を原点として第1直交座標系における画素の座標点が2座標軸方向の実空間距離のデータを有するように構成された画像として第3画像を作成する第3画像作成ステップと、測位信号の経緯度情報及び第3画像に基づき、画像の中心である第1直交座標系の原点の画素が測位信号の経緯度情報を有するとともに、各画素が経緯度情報を有するように構成された画像として第4画像を作成する第4画像作成ステップと、第4画像及び撮影画像を対比することにより、所定ソーラーパネルの所定部位の経緯度を特定する経緯度特定ステップと、が演算処理装置によって実行されることを特徴とする。
【0007】
この経緯度特定方法によれば、撮影画像の所定箇所を原点として撮影画像の上下左右方向に沿う直交座標系である第1直交座標系における、所定ソーラーパネルを含む複数のソーラーパネルの各々の4頂点の画素の座標値が、所定画像処理により取得され、撮影画像から各ソーラーパネルの互いに対向する二辺の各々の所定位置における第1直交座標系の画素の座標点を抽出するとともに、座標点が第1直交座標系の2座標軸方向における1画素当たりの実空間距離の換算値である距離換算値を有するように構成された第1画像が作成される。
【0008】
さらに、第1画像に対して画素の座標点間の所定補間演算を実施することにより、第1画像の第1直交座標系の画素の座標点が距離換算値を有するように構成された画像として第2画像が作成され、第2画像における画素の座標点の距離換算値に基づき、画像の中心の画素を原点として第1直交座標系における画素の座標点が2座標軸方向の実空間距離のデータを有するように構成された画像として第3画像が作成される。そして、測位信号の経緯度情報及び第3画像に基づき、画像の中心である第1直交座標系の原点の画素が測位信号の経緯度情報を有するとともに、各画素が経緯度情報を有するように構成された画像として第4画像が作成され、この第4画像及び撮影画像を対比することにより、所定ソーラーパネルの所定部位の経緯度が特定される。以上のように、画素が経緯度情報を有するように、第4画像が作成されることにより、そのような第4画像及び撮影画像を対比した場合、撮影画像内の画素における経緯度を精度よく特定することができる。したがって、この経緯度特定方法によれば、所定ソーラーパネルの所定部位の経緯度を精度よく特定することができる。なお、本明細書における「第4画像及び撮影画像を対比する」ことは、第4画像及び撮影画像を比較することに限らず、両者を重ね合わせて比べることも含む。
【0009】
本発明において、撮影装置は、測位信号を受信可能な飛行体に搭載されていることが好ましい。
【0010】
このソーラーパネルの経緯度特定方法によれば、撮影装置が、測位信号を受信可能な飛行体に搭載されていることにより、多数のソーラーパネルを広範囲に撮影することができる。それにより、経緯度を特定すべき所定ソーラーパネルを広範囲に捜すことができる。
【0011】
本発明において、飛行体には、撮影装置として、可視画像を撮影する第1撮影装置と、赤外線画像を撮影する第2撮影装置とが搭載されており、頂点座標値取得ステップでは、可視画像内の各ソーラーパネルの4頂点の画素の座標値が取得され、第1画像作成ステップでは、第1画像が可視画像から作成され、経緯度特定ステップでは、第1撮影装置及び第2撮影装置の撮影タイミングが同時である場合、又は、飛行体がホバリング状態にある場合には、可視画像内及び赤外線画像内のソーラーパネルが同一サイズになるように調整し、第4画像及び赤外線画像の中心が位置合わせされるように、第1撮影装置及び第2撮影装置の設置状態に起因する可視画像及び赤外線画像の位置ずれを補正した状態で、第4画像及び赤外線画像を重ね合わせることにより、赤外線画像内の所定ソーラーパネルの所定部位の経緯度を特定することが好ましい。
【0012】
ここで、第1撮影装置及び第2撮影装置が飛行体に搭載されている場合、第1撮影装置及び第2撮影装置の撮影タイミングが同時であるとき、又は、飛行体がホバリング状態にあるときでも、両撮影装置の設置状態に起因して撮影画像の位置ずれを生じてしまう。これに対して、このソーラーパネルの経緯度特定方法によれば、可視画像内及び赤外線画像内のソーラーパネルが同一サイズになるように調整し、第4画像及び赤外線画像の中心が位置合わせされるように、第1撮影装置及び第2撮影装置の設置状態に起因する可視画像及び赤外線画像の位置ずれを補正した状態で、第4画像及び赤外線画像を重ね合わせることにより、赤外線画像内の所定ソーラーパネルの所定部位の経緯度が特定される。それにより、第1撮影装置及び第2撮影装置の撮影画像の位置ずれを補正しながら、赤外線画像内の所定ソーラーパネルの経緯度を精度よく特定することができる。
【0013】
また、一般に、ソーラーパネルの異常を撮影画像に基づいて検出する際、赤外線画像の方が可視画像と比べて検出しやすいことが知られている。したがって、所定ソーラーパネルを異常の発生したソーラーパネルとした場合、異常の発生したソーラーパネルの所定部位の経緯度を精度よく特定することができる。さらに、赤外線画像で異常が発生したと特定されたソーラーパネルを、可視画像上でも特定して状況を確認することができる。
【0014】
本発明において、経緯度特定ステップでは、第1撮影装置及び第2撮影装置の撮影タイミングが時間差を有している場合において、第1撮影装置及び第2撮影装置の撮影が飛行体の飛行中に実行されたときには、可視画像内及び赤外線画像内のソーラーパネルが同一サイズになるように調整し、第4画像及び赤外線画像の中心が位置合わせされるように、第1撮影装置及び第2撮影装置の設置状態に起因する撮影画像の位置ずれと撮影タイミングの時間差に起因する撮影画像の位置ずれとを補正した状態で、第4画像及び赤外線画像を重ね合わせることにより、赤外線画像内の所定ソーラーパネルの所定部位の経緯度を特定することが好ましい。
【0015】
本発明のように、第1撮影装置及び第2撮影装置の撮影タイミングが時間差を有している場合には、飛行体が飛行している際、この時間差に起因して、第4画像及び赤外線画像の撮影画像の位置ずれが生じてしまう。これに対して、このソーラーパネルの経緯度特定方法によれば、可視画像内及び赤外線画像内のソーラーパネルが同一サイズになるように調整し、第4画像及び赤外線画像の中心が位置合わせされるように、第1撮影装置及び第2撮影装置の設置状態に起因する撮影画像の位置ずれと撮影タイミングの時間差に起因する撮影画像の位置ずれとを補正した状態で、第4画像及び赤外線画像を重ね合わせることにより、赤外線画像内の所定ソーラーパネルの所定部位の経緯度が特定される。それにより、第1撮影装置及び第2撮影装置の設置状態及び撮影タイミングに起因する撮影画像の位置ずれを補正しながら、赤外線画像内の所定ソーラーパネルの経緯度を精度よく特定することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の第1実施形態に係るソーラーパネルの経緯度特定方法を実行する演算処理装置の構成を模式的に示す図である。
【
図2】ドローン及びソーラーファームの構成を模式的に示す図である。
【
図3】ソーラーパネルの経緯度特定処理を示すフローチャートである。
【
図5】撮影画像及びソーラーパネルの4頂点の説明図である。
【
図7】第1画像の座標点の算出方法の説明図である。
【
図8】第1画像から第2画像を作成する方法の説明図である。
【
図9】第2画像からNS方向差分マップを作成する方法の説明図である。
【
図10】第2画像からEW方向差分マップを作成する方法の説明図である。
【
図12】第4画像及び撮影画像の関係を示す図である。
【
図13】全体画像作成処理を示すフローチャートである。
【
図15】オルソ画像内の異常パネルをピンで示した図である。
【
図16】第2実施形態に係る経緯度特定方法で使用されるドローンの可視画像及び赤外線画像の撮影ポイントの説明図である。
【
図17】ドローンが移動中のときの可視画像及び赤外線画像の撮影ポイントの説明図である。
【
図18】赤外線画像に対してドローン移動ずれ補正及びカメラ設置ずれ補正を実施した画像を示す図である。
【
図19】第2実施形態に係るソーラーパネルの経緯度特定処理を示すフローチャートである。
【
図20】第2実施形態の経緯度特定処理による画像処理状態の説明図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら、本発明の第1実施形態に係るソーラーパネルの経緯度特定方法について説明する。本実施形態のソーラーパネルの経緯度特定方法は、
図1に示す演算処理装置1によって実行される。
【0018】
この演算処理装置1は、パーソナルコンピュータタイプのものであり、ディスプレイ1a、装置本体1b及び入力インターフェース1cなどを備えている。出力インターフェースとしてのディスプレイ1aは、液晶ディスプレイタイプのものであり、各種データが表示される。入力インターフェース1cは、演算処理装置1を操作するためのキーボード及びマウスなどで構成されている。
【0019】
また、装置本体1bは、HDDなどのストレージ、プロセッサ及びメモリ(RAM、E2PROM、ROMなど)などを備えている(いずれも図示せず)。この装置本体1bのストレージには、後述する各種演算処理などを実行するためのアプリケーションソフトがインストールされているとともに、以下に述べる撮影データが記憶されている。
【0020】
具体的には、撮影データとして、
図2に示すドローン20によって空撮されたソーラーファーム10内の多数のソーラーパネル14の撮影画像(可視画像)と、撮影日時と、画像撮影時の経緯度データとが、装置本体1bのストレージに記憶されている。
【0021】
図2に示すように、ソーラーファーム10には、多数のソーラーアレイ12が設置されており、各ソーラーアレイ12の表面には、多数のソーラーパネル14が格子状の配列パターンで取り付けられている。これらのソーラーアレイ12,12間には、通路11が確保されており、この通路11は、作業員等が各ソーラーアレイ12を点検および保守する際に通行するためのものである。
【0022】
ドローン20には、可視カメラ21及びGPS受信器(図示せず)が搭載されている。ドローン20は、ソーラーファーム10の上空を飛行し、可視カメラ21により、上空からソーラーファーム10内のソーラーアレイ12を撮影する。その際、可視画像に加えて、撮影時の経緯度及び撮影日時のデータを含むように、撮影データが作成される。この場合、撮影時の経緯度は、GPS受信器で受信されたGPS信号(測位信号)から決定される。
【0023】
この撮影データは、オンラインで演算処理装置1に送信され、演算処理装置1のストレージ内に記憶される。なお、撮影データが、ドローン20内のメモリから回収された後、最終的に、演算処理装置1のストレージ内に記憶されるように構成してもよい。また、本実施形態では、ドローン20が飛行体に相当し、可視カメラ21が撮影装置に相当する。
【0024】
次に、
図3を参照しながら、演算処理装置1によって実行されるソーラーパネルの経緯度特定処理について説明する。この経緯度特定処理は、撮影データの撮影画像毎に実行されるものである。なお、以下の説明において取得、作成又は特定される各種のデータは、演算処理装置1内に適宜、記憶されるものとする。また、撮影画像は、画像の上側が北側になるように撮影されたデータ、又は、画像の上側が東側、西側及び南側のいずれかになるように撮影されたものを画像の上側が北側になるように回転補正処理したデータを用いるものとする。
【0025】
同図に示すように、まず、頂点座標取得処理が実行される(
図3/STEP1)。この頂点座標取得処理では、撮影画像内の各ソーラーパネルにおける4頂点の画素の座標値が取得される。
【0026】
この頂点座標取得処理の詳細な説明はここでは省略するが、この頂点座標取得処理では、本出願人が特願2023-066434号で提案済みの取得方法(以下「提案済み取得方法」という)によって、ソーラーパネルの4頂点の画素の座標値が取得される。
【0027】
例えば、
図4の左側に示す撮影画像30に対して3種類のフィルタ処理及び3種類の二値化処理を実行することにより、
図4の右側に示すような二値化画像31が計9個、作成される。次いで、9個の二値化画像31内のソーラーパネル31aの各々の4頂点が以下の手順(a1)~(a4)により取得される。
【0028】
(a1)9個の二値化画像の各々において、低輝度群(例:黒)または高輝度群(例:白)で囲まれた部分の輪郭が多角形として検出され、その多角形の頂点が4つであるとき、その4頂点の組を全部集めた第1集合が生成される。
(a2)第1集合において重複する組は、1つにまとめて第2集合が生成される。
(a3)第2集合において、実物のソーラーパネル14の4頂点に対応する4頂点として妥当性のある4頂点の組のみを残した第3集合が生成される。
(a4)第3集合の各組の4頂点が、各ソーラーパネル31aの4頂点として決定される。
【0029】
なお、ソーラーパネルの4頂点の取得方法としては、以上の取得手法に限らず、提案済み取得方法における他の取得方法を用いてもよい。
【0030】
また、以下の説明では、撮影画像が
図5に示す撮影画像40である場合において、撮影画像40内のソーラーパネル41の各々の4頂点pt1~pt4(
図5の右側の拡大図参照)が以上の手法によって取得されたものとして説明する。
【0031】
さらに、4頂点pt1~pt4の画素の座標値は、撮影画像40の左上隅の画素を原点とし、
図5の上下左右方向に沿う直交座標系(以下「第1直交座標系」という)の座標値に設定される。
【0032】
図3に戻り、以上のように頂点座標取得処理が実行された後、第1画像作成処理が実行される(
図3/STEP2)。この第1画像作成処理では、上記各ソーラーパネル41の4頂点pt1~pt4の画素の座標値に基づいて、
図6に示す第1画像42が作成される。この第1画像42は、撮影画像40と同一のサイズの画像であり、多数の画素の座標点42aが配置された画像として作成される。これらの座標点42aは、以下に述べるように決定される。
【0033】
すなわち、
図7に示すように、上記各ソーラーパネル41の4頂点pt1~pt4の画素の座標値から、各ソーラーパネル41の上辺と下辺の中点pm12,pm34の画素の座標値が算出される。そして、これらの中点pm12,pm34の各々に対して、1画素当たりの実空間距離の換算値である2つの距離換算値(単位:cm/画素)を付加することにより、多数の画素の座標点42aが決定される。
【0034】
ここで、中点pm12に対応する座標点42aの1つの距離換算値は、頂点pt1と頂点pt2を画像の解像度における画素位置に対応した座標とした上で、2点pt1~pt2間の実際の距離を2点pt1~pt2間のユークリッド距離で除算することにより算出される。さらに、中点pm12に対応する座標点42aのもう1つの距離換算値は、中点pm12と中点pm34を画像の解像度における画素位置に対応した座標とした上で、2点pm12~pm34間の実際の距離を2点pm12~pm34間のユークリッド距離で除算することにより算出される。
【0035】
また、中点pm34に対応する座標点42aの1つの距離換算値は、上記と同様に、頂点pt3と頂点pt4を画像の解像度における画素位置に対応した座標とした上で、2点pt3~pt4間の実際の距離を2点pt3~pt4間のユークリッド距離で除算することにより算出される。さらに、中点pm34に対応する座標点42aのもう1つの距離換算値は、上記と同様に、中点pm12と中点pm34を画像の解像度における画素位置に対応した座標とした上で、2点pm12~pm34間の実際の距離を2点pm12~pm34間のユークリッド距離で除算することにより算出される。
【0036】
以上のように、多数の画素の座標点42aの各々は、第1直交座標系の座標値と2つの距離換算値を有するように決定される。なお、本実施形態では、第1画像作成処理が第1画像作成ステップに相当する。
【0037】
図3に戻り、以上のように第1画像作成処理が実行された後、第2画像作成処理が実行される(
図3/STEP3)。この第2画像作成処理では、第1画像42に対して以下に述べる画像補間処理を施すことにより、第2画像が作成される。
【0038】
すなわち、
図8に示すように、第1画像42に対してcubic補間処理を施すことにより、cubic補間画像43が作成される。これと同時に、第1画像42に対してnearest補間処理を施すことにより、nearest補間画像44が作成される。そして、これらのcubic補間画像43及びnearest補間画像44を結合する結合処理(merged処理)を実施することにより、第2画像45が作成される。この場合、cubic補間画像43とnearest補間画像44が互いに重なる部分においては、cubic補間画像43の方が採用される。
【0039】
以上の手法により、第2画像45は、全ての画素における第1直交座標系の座標点が2つの距離換算値を有するように構成される。なお、第1画像42から第2画像45を作成する場合において、cubic補間処理及びnearest補間処理の双方を用いた理由は、cubic補間処理のみでは、第2画像45のように、全ての画素の座標点が距離換算値を有するように構成できないことによる。なお、本実施形態では、第2画像作成処理が第2画像作成ステップに相当する。
【0040】
図3に戻り、以上のように第2画像作成処理が実行された後、第3画像作成処理が実行される(
図3/STEP4)。この第3画像作成処理では、第2画像45に対して以下に述べる各種処理を施すことにより、
図11の右側に示す第3画像48が作成される。この第3画像48の場合、各画素が、第3画像48の中心を第1直交座標系の原点として、この原点からの距離の差分データを有するように作成される。
【0041】
具体的には、まず、
図9の左側に示す第2画像45(距離密度マップ)において、第2画像45の中心を原点とする第1直交座標系のx軸(すなわち横軸)からNS方向(
図9の上下方向)の距離の累積和を算出することにより、
図9の右側に示すNS方向差分マップ46を作成する。
【0042】
この場合、第1直交座標系のx軸(以下、単に「x軸」という)よりも北側(
図9の上側)に位置する画素においては、その画素が有する距離換算値に基づき、x軸からの距離を累積加算することにより、正の距離値を有するように算出される。一方、x軸よりも南側(
図9の下側)に位置する画素においては、その画素が有する距離換算値に基づき、x軸からの距離を累積減算することにより、負の距離値を有するように算出される。以上により、NS方向差分マップ46の各画素は、x軸からの南北方向の距離の差分データを有するように算出される。
【0043】
さらに、
図10の左側に示す第2画像45(距離密度マップ)において、第2画像45の第1直交座標系のy軸(すなわち縦軸)から東西方向(
図10の左右方向)の距離の累積和を算出することにより、
図10の右側に示すEW方向差分マップ47を作成する。
【0044】
この場合、第1直交座標系のy軸(以下、単に「y軸」という)よりも東側(
図10の右側)に位置する画素においては、その画素が有する距離換算値に基づき、y軸からの距離を累積加算することにより、正の距離値を有するように算出される。一方、y軸よりも西側(
図10の左側)に位置する画素においては、その画素が有する距離換算値に基づき、y軸からの距離を累積減算することにより、負の距離値を有するように算出される。以上により、EW方向差分マップ47の各画素は、y軸からの東西方向の距離の差分データを有するように算出される。
【0045】
次いで、
図11に示すように、NS方向差分マップ46の画素における距離の差分データ及びEW方向差分マップ47の画素における距離の差分データを組み合わせることにより、第3画像48を作成する。この第3画像48の各画素は、第3画像48の中心を第1直交座標系の原点として、この原点からの距離の差分データを有するように構成される。なお、本実施形態では、第3画像作成処理が第3画像作成ステップに相当する。
【0046】
図3に戻り、以上のように第3画像作成処理が実行された後、第4画像作成処理が実行される(
図3/STEP5)。この第4画像作成処理では、撮影画像40の撮影時にドローン20で受信されたGPS信号及び上記第3画像48に基づいて、
図12の左側に示す第4画像50が作成される。
【0047】
この第4画像50は、第3画像48の中心の画素の経緯度を、GPS信号が表す経緯度に設定するとともに、第3画像48の各画素におけるx軸及びy軸からの距離の差分データに基づいて各画素の経緯度を決定することにより、作成される。なお、以下の説明では、第4画像50のように、各画素の経緯度が特定された画像を適宜、「経緯度特定画像」という。
【0048】
以上のように作成された第4画像50の場合、全ての画素が
図12の右側に示す撮影画像40の画素に対応することになる。例えば、中心点p0の画素、左上隅点p1の画素及び右下隅点p2の画素が、撮影画像40の中点px0の画素、左上隅点px1の画素及び右下隅点px2の画素にそれぞれ対応することになる。なお、本実施形態では、第4画像作成処理が第4画像作成ステップに相当する。
【0049】
図3に戻り、以上のように第4画像作成処理が実行された後、重心特定処理が実行される(
図3/STEP6)。この重心特定処理では、撮影画像40及び上記の第4画像50を対比することにより、撮影画像40における各ソーラーパネル41の重心の経緯度が特定される。具体的には、撮影画像40における各ソーラーパネル41の4頂点の画素が、第4画像50におけるどの画素に対応するのかが判定され、その対応する画素の経緯度を取得することにより、撮影画像40における各ソーラーパネル41の4頂点の画素の経緯度が特定される。そして、4頂点の画素の経緯度に基づいて、撮影画像40における各ソーラーパネル41の重心の経緯度が特定される。
【0050】
重心特定処理に続けて、異常判定処理が実行される(
図3/STEP7)。この異常判定処理は、撮影画像40内のソーラーパネル41のいずれかにおいて異常が発生しているか否かを判定するものである。
【0051】
この異常判定処理の詳細な説明はここでは省略するが、この異常判定処理では、本出願人が特願2023-066434号で提案済みの異常判定方法(以下「提案済み異常判定方法」という)によって、ソーラーパネル41の異常判定が実行される。
【0052】
すなわち、モデルパラメータの学習が実行済みのVAE(Variational Autoencoder)にソーラーパネル41の撮影画像を入力したときのVAEの出力と、入力した撮影画像との間の差分輝度に基づいて、ソーラーパネル41の異常判定が実行される。なお、以下の説明では、異常と判定されたソーラーパネル41を「異常パネル」という。
【0053】
次に、上記の異常判定処理の結果に基づき、異常パネルがあるか否かが判定される(
図3/STEP8)。この判定が否定(
図3/STEP8…NO)で、異常パネルがないときには、そのまま本処理が終了する。
【0054】
一方、この判定が肯定(
図3/STEP8…YES)で、異常パネルがあるときには、異常パネル特定処理が実行される(
図3/STEP9)。この異常パネル特定処理では、第3画像53に基づき、異常パネルの重心の画素の経緯度が特定される(経緯度特定ステップ)。その後、本処理が終了する。なお、本実施形態では、異常パネルの重心の画素の経緯度が所定ソーラーパネルの所定部位の経緯度に相当する。
【0055】
次に、
図13を参照しながら、演算処理装置1によって実行される全体画像作成処理について説明する。この全体画像作成処理は、以下に述べるように、オルソ画像を作成するとともに、異常パネルが存在する場合には、異常パネルの位置をオルソ画像内に示した画像を作成するものである。
【0056】
この全体画像作成処理では、まず、オルソ画像作成処理が実行される(
図13/STEP21)。このオルソ画像作成処理では、互いにオーバーラップするように撮影された複数の撮影画像に対してオルソ補正を実施することにより、
図14に示すようなオルソ画像60が作成される。このオルソ画像60の場合、多数のソーラーアレイ61の画像が含まれるとともに、
図14の上方向が北側に、下方向が南側に、左方向が西側に、右方向が東側になるように作成されている。
【0057】
次いで、異常パネルがあるか否かが判定される(
図13/STEP22)。この場合、オルソ画像60内のいずれかのソーラーパネルにおいて、前述したように、異常パネルの重心の画素の経緯度が特定されていたときには、異常パネルがあると判定され、それ以外のときには、異常パネルがないと判定される。
【0058】
この判定が否定(
図13/STEP22…NO)で、異常パネルがないときには、そのまま本処理が終了する。一方、この判定が肯定(
図13/STEP22…YES)で、異常パネルがあるときには、異常パネル位置表示処理が実行される(
図13/STEP23)。
【0059】
この異常パネル位置表示処理では、
図15に示すように、異常パネルの位置を示すピン63の画像がオルソ画像60内に表示される。この場合、ピン63は、その先端が異常パネルの重心の画素の位置になるように表示される。異常パネル位置表示処理を以上のように実行した後、本処理が終了する。
【0060】
以上のように、第1実施形態のソーラーパネルの経緯度特定方法によれば、例えば、撮影画像40から、全ての画素が経緯度情報を有するように第3画像53が作成される。そして、そのような第3画像53及び撮影画像40を対比することにより、撮影画像40内の全ての画素における経緯度を精度よく特定することができ、異常パネルの重心の経緯度を精度よく特定することができる。また、全体画像作成処理を実行した場合には、オルソ画像60内の異常パネルの位置をピン63により表示することができる。
【0061】
また、前述した全体画像作成処理を実行した際、異常パネルがあるときには、異常パネルの位置を示すピン63が表示された状態で、オルソ画像60が作成される。したがって、異常パネルの補修作業を実行する作業者は、このオルソ画像60の印刷物を携帯することにより、ソーラーファーム内において異常パネルを容易に見つけることができる。
【0062】
なお、第1実施形態の経緯度特定方法によれば、撮影画像40と第4画像50を対比することにより、異常パネルに限らず、撮影画像40において4頂点が取得されている全てのソーラーパネル41の重心又は4頂点の経緯度を特定することができる。したがって、所定ソーラーパネルは、異常パネルに限らず、重心又は4頂点が取得されている全てのソーラーパネル41のいずれかであってもよい。
【0063】
また、第1実施形態は、演算処理装置として、パーソナルコンピュータタイプのものを用いた例であるが、これに代えて、演算処理装置として、サーバを用いたり、複数のサーバ又は複数のパーソナルコンピュータを組み合わせて用いたり、サーバ及びパーソナルコンピュータを組み合わせて用いたりしてもよい。例えば、パーソナルコンピュータ及びサーバが通信可能に構成されており、ユーザがパーソナルコンピュータを操作することにより、サーバ側で各種演算処理が実行されるように構成してもよい。
【0064】
さらに、第1実施形態は、第1画像42における座標点42aを決定する際、各ソーラーパネル41の上辺及び下辺の中点pm12,pm34の画素を用いた例であるが、上辺及び下辺の所定位置における画素を用いてもよい。この場合、上辺及び下辺の所定位置は、中点以外の位置であればよい。
【0065】
また、第1画像42における座標点42aを決定する際、各ソーラーパネル41の上辺及び下辺の中点pm12,pm34の画素に代えて、各ソーラーパネル41の左辺(頂点pt1とpt3の間の部位)における中点の画素と、右辺(頂点pt2とpt4の間の部位)における中点の画素とを用いてもよい。
【0066】
その場合には、左辺の中点に対応する座標点42aの距離換算値は、前述したように、頂点pt1と頂点pt3を画像の解像度における画素位置に対応した座標とした上で、2点pt1~pt3間の実際の距離を2点pt1~pt3間のユークリッド距離で除算することにより算出される。また、右辺の中点に対応する座標点42aの距離換算値は、頂点pt2と頂点pt4を画像の解像度における画素位置に対応した座標とした上で、2点間の実際の距離を2点pt2~pt4間のユークリッド距離で除算することにより算出される。
【0067】
また、各ソーラーパネル41の左辺及び右辺の中点の画素に代えて、左辺及び右辺の所定位置における画素を用いてもよい。この場合、左辺及び右辺の所定位置は、中点以外の位置であればよい。
【0068】
さらに、第1実施形態は、第1画像42から第2画像45を作成する手法として、画像補間処理を用いた例であるが、多項式回帰による曲面近似を用いて、第1画像42から第2画像45を作成してもよい。
【0069】
また、オルソ画像60内における異常パネルの位置を示す画像は、第1実施形態のピン63の画像に限らず、異常パネルの位置が判るものであればよい。例えば、異常パネルの位置が四角の画像や丸の画像で示されるように構成してもよく、異常パネルの4頂点内の部分を正常なソーラーパネルに対して目立つ色彩に変更するように構成してもよい。
【0070】
さらに、第1実施形態は、所定ソーラーパネルとして、異常パネルの4頂点及び重心の経緯度を特定した例であるが、所定ソーラーパネルとして、異常がないソーラーパネル14の所定部位の経緯度を特定するように構成してもよい。例えば、第1実施形態の第3画像53と撮影画像40を対比した場合、撮影画像40における全ての画素の経緯度を特定することが可能である。その結果、撮影画像40内の4頂点の画素の座標値が取得されている全てのソーラーパネル41において、その所定部位(例えば4頂点又は重心)の経緯度を特定することが可能である。
【0071】
一方、第1実施形態は、飛行体20に搭載した撮影装置21によってソーラーパネル14を上方から撮影した例であるが、これに代えて、クレーンなどに取り付けた撮影装置21によってソーラーパネル14を上方から撮影するように構成してもよい。
【0072】
さらに、第1実施形態は、飛行体として、ドローン20を用いた例であるが、これに代えて、飛行体として、飛行船、グライダー又は飛行機などを用いてもよい。
【0073】
また、撮影画像において、ソーラーパネルが撮影画像の左右方向(又は上下方向)に対してかなり傾斜した状態で撮影されている場合には、下記のような手法により、経緯度特定画像を作成し、撮影画像内のソーラーパネルの重心の経緯度を特定してもよい。
【0074】
すなわち、まず、撮影画像から前述した手法により、第2画像45に相当する画像(以下、「第2相当画像」という)が作成される。この第2相当画像の画素の座標値は、傾斜したソーラーパネルの上下辺及び左右辺に沿う第2直交座標系の座標値に設定される。
【0075】
次いで、この第2相当画像の画素を、回転行列Mを用いて回転変換することにより、画像の画素の座標値が画像の上下左右方向に沿う第1直交座標系の座標値に変換された画像(以下、「変換画像」という)が作成される。
【0076】
さらに、この変換画像から、前述した手法により、NS方向差分マップ46及びEW方向差分マップに相当する2つの差分マップが作成され、これらの2つの差分マップの画素の座標値を、前述した回転行列Mの逆行列を用いて第2直交座標系の座標値に回転変換することにより、2つの変換差分マップが作成される。
【0077】
そして、これらの2つの変換差分マップの画素における距離の差分データを組み合わせることにより、第3画像48に相当する画像(以下、「第3相当画像」という)が作成される。
【0078】
次いで、第3相当画像及びGPS信号に基づいて、第4画像50に相当する画像すなわち経緯度特定画像が作成される。そして、この経緯度特定画像と撮影画像を対比することにより、撮影画像における各ソーラーパネルの重心の画素の経緯度が特定される。以上の手法を用いた場合でも、第1実施形態の手法と同様に、撮影画像における各ソーラーパネルの重心の画素の経緯度を精度よく特定することができる。
【0079】
次に、
図16~20を参照しながら、第2実施形態に係るソーラーパネルの経緯度特定方法について説明する。
【0080】
本実施形態の場合、
図16に示すドローン17Aを用いてソーラーパネルの画像が撮影される。このドローン17Aには、前述した可視カメラ18及びGPS受信器に加えて、赤外線カメラ19が搭載されている。ドローン17Aがソーラーファーム10の上空を飛行した際、可視カメラ18及び赤外線カメラ19により、ソーラーファーム10内のソーラーアレイ12の可視画像及び赤外線画像がそれぞれ撮影される。
【0081】
その際、可視画像、赤外線画像、前述した撮影時の経緯度及び撮影日時のデータに加えて、ドローン17Aの移動速度も情報として含むように、撮影データが作成される。なお、本実施形態では、ドローン17Aが飛行体に相当し、可視カメラ18が第1撮影装置に相当し、赤外線カメラ19が第2撮影装置に相当する。
【0082】
また、可視カメラ18及び赤外線カメラ19による画像撮影時には、ドローン17Aがホバリング状態にある場合でも、
図16に示すように、両者の設置状態に起因して、可視画像の撮影ポイントと赤外線画像の撮影ポイントの間でずれが生じる。以下、このずれを「カメラ設置ずれ」という。
【0083】
さらに、本実施形態の可視カメラ18及び赤外線カメラ19の場合、撮影指令信号が同時に両者に入力されたときでも、赤外線画像が先に撮影された後、それに若干遅れたタイミングで、可視画像が撮影されるように構成されている。すなわち、赤外線画像と可視画像は撮影タイミングのずれが生じるようになっている。
【0084】
したがって、
図17に示すように、ドローン17Aの飛行中、可視カメラ18及び赤外線カメラ19による赤外線画像及び可視画像の撮影がそれぞれ実行されたときには、カメラ設置ずれに加えて、赤外線画像と可視画像の撮影タイミングのずれ及びドローン17Aの移動量に起因して、可視画像の撮影ポイントと赤外線画像の撮影ポイントの間でずれが生じる。以下、このずれを「ドローン移動ずれ」という。なお、
図17に示すように、ドローン17Aが図中の左側から右側に飛行しているときには、可視画像の撮影ポイントが赤外線画像の撮影ポイントよりも右側に位置することなる。
【0085】
本実施形態の場合、以下に述べるソーラーパネルの経緯度特定処理では、後述する理由により、赤外線画像及び可視画像の中心の位置合わせを実施する必要がある。そのため、以下に述べるように、ドローン17Aがホバリング中のときには、上記のカメラ設置ずれを補正するためのカメラ設置ずれ補正が実行され、ドローン17Aが移動中のときには、カメラ設置ずれ補正に加えて、ドローン移動ずれを補正するためのドローン移動ずれ補正が実行される。
【0086】
例えば、
図18に示すように、ドローン17Aが図中の左側から右側に飛行している場合、カメラ設置ずれ補正及びドローン移動ずれ補正がいずれも実施されていないときには、
図18中の左側に示す画像のように、赤外線画像のソーラーアレイ65は、可視画像のソーラーアレイ66に対して左側及び上側にずれた状態となる。
【0087】
一方、赤外線画像に対してドローン移動ずれ補正を実施した場合、
図18の中央に示す画像のように、赤外線画像のソーラーアレイ65は、可視画像のソーラーアレイ66に対して上側にのみずれた状態となる。
【0088】
さらに、ドローン移動ずれ補正を実施済みの赤外線画像に対して、カメラ設置ずれ補正を実施した場合、
図18の右側に示す画像のように、赤外線画像のソーラーアレイ65は、可視画像のソーラーアレイ66に一致した状態となる。すなわち、赤外線画像と可視画像の中心の位置合わせが実施された状態となる。
【0089】
次に、
図19を参照しながら、本実施形態のソーラーパネルの経緯度特定処理について説明する。この経緯度特定処理は、可視カメラ18及び赤外線カメラ19によってそれぞれ撮影された可視画像及び赤外線画像に基づき、前述した演算処理装置1によって実行されるものである。
【0090】
同図に示すように、まず、赤外線画像拡大補正処理が実行される(
図19/STEP51)。この赤外線画像拡大補正処理では、
図20の左上側に示すような赤外線画像70が所定の画像拡大補正量によって拡大されることにより、
図20の中央の上側に示すような拡大赤外線画像71が作成される。この画像拡大補正量は、例えば、以下のように決定される。すなわち、ドローン17Aの飛行中、可視カメラ18及び赤外線カメラ19による赤外線画像及び可視画像を撮影する際、画像の上が北向きになるようにホバリング撮影(静止状態での撮影)を実施し、その撮影データ(可視画像と赤外線画像のペアデータ)を用いて、拡大補正量が決定される。
【0091】
以上の赤外線画像拡大補正処理は、赤外線カメラ19によって撮影された赤外線画像70は、可視カメラ18によって撮影された、
図20の左下側に示すような可視画像72よりもサイズ的に小さいものとなる関係上、赤外線画像70を拡大補正した拡大赤外線画像71内のソーラーパネルが、可視画像72内のソーラーパネルと同一のサイズになるように調整するためである。
【0092】
次いで、ドローン17Aが撮影時にホバリング中であったか否かが判定される(
図19/STEP52)。この判定が肯定(
図19/STEP52…YES)のときには、後述するカメラ設置ずれ補正処理に進む。
【0093】
一方、この判定が否定(
図19/STEP52…NO)で、ドローン17Aが撮影時に移動中であったときには、ドローン移動ずれ補正処理が実行される(
図19/STEP53)。このドローン移動ずれ補正処理では、撮影時のドローン17Aの移動速度及び赤外線画像と可視画像の撮影タイミングのずれに基づいて、ドローン移動ずれ補正量が算出され、このドローン移動ずれ補正量により、拡大赤外線画像71が可視画像72に対して補正される。
【0094】
以上のようにドローン移動ずれ補正処理が実行された後、又は、ドローン17Aが撮影時にホバリング中であったと判定された後、カメラ設置ずれ補正処理が実行される(
図19/STEP54)。
【0095】
このカメラ設置ずれ補正処理では、所定のカメラ設置ずれ補正量により、拡大赤外線画像71が可視画像72に対して補正される。このカメラ設置ずれ補正量は、例えば、以下のように決定される。すなわち、ドローン17Aの飛行中、可視カメラ18及び赤外線カメラ19による赤外線画像及び可視画像を撮影する際、画像の上が北向きになるようにホバリング撮影(静止状態での撮影)を実施し、その撮影データ(可視画像と赤外線画像のペアデータ)を用いて、カメラ設置ずれ補正量が決定される。以上の補正処理により、
図20の中央の上側に示すように、拡大赤外線画像71が可視画像72に対して両者の中心が一致するように位置合わせされる。
【0096】
なお、以上の赤外線画像拡大処理、ドローン移動ずれ補正処理及びカメラ設置ずれ補正処理を同時に実行するように構成してもよい。
【0097】
次いで、経緯度特定画像作成処理が実行される(
図19/STEP55)。この経緯度特定画像作成処理では、前述した
図3のSTEP1~5と同様の処理が実行されることにより、
図20の中央の下側に示すような経緯度特定画像73が可視画像72から作成される。
【0098】
この経緯度特定画像作成処理に続けて、異常判定処理が実行される(
図19/STEP56)。この異常判定処理では、拡大赤外線画像71及び物体検出モデル(Object detection model)を用いて、拡大赤外線画像71内に異常パネルが存在するか否かが判定される。
【0099】
この場合、物体検出モデルとしては、例えば、教師データとして、異常パネルの位置を示す矩形(バウンディングボックス)およびその異常の種類を教師データとして付与された赤外線画像を用いて、確率的勾配降下法によりモデルパラメータが学習されたモデル(例えば、yolov5)が用いられる。
【0100】
次いで、上記の異常判定処理の結果に基づき、異常パネルがあるか否かが判定される(
図19/STEP57)。この判定が否定(
図19/STEP57…NO)で、異常パネルがないときには、そのまま本処理が終了する。
【0101】
一方、この判定が肯定(
図19/STEP57…YES)で、異常パネルがあるときには、異常パネル特定処理が実行される(
図19/STEP58)。この異常パネル特定処理では、拡大赤外線画像71内で異常パネルが検出された場合、
図20の右側に示すように、経緯度特定画像73と拡大赤外線画像71の位置を対比することにより、異常パネルの重心の画素の経緯度が特定される。それにより、可視画像72において異常パネルの位置(重心位置)を特定することが可能になる。その後、本処理が終了する。
【0102】
なお、
図19の経緯度特定処理において、ドローン17Aの可視カメラ18及び赤外線カメラ19において、赤外線画像と可視画像の間の撮影タイミングのずれが生じない場合には、
図19のSTEP52~53の処理が省略される。
【0103】
以上のように、第2実施形態のソーラーパネルの経緯度特定方法によれば、赤外線画像及び可視画像を用いて、異常パネルの重心の経緯度を精度よく特定することができる。
【0104】
さらに、ソーラーパネルの異常を撮影画像に基づいて検出する際、赤外線画像の方が可視画像と比べて検出しやすいことが一般的に知られている。したがって、第2実施形態の手法によれば、異常パネルの重心の経緯度の特定精度を向上させることができる。
【符号の説明】
【0105】
1 演算処理装置
14 ソーラーパネル
20 ドローン(飛行体)
21 可視カメラ(撮影装置)
14 ソーラーパネル
40 撮影画像
41 ソーラーパネル
pt1~pt4 4頂点
42 第1画像
42a 座標点
45 第2画像
48 第3画像
50 第4画像
20A ドローン(飛行体)
21 可視カメラ(第1撮影装置)
22 赤外線カメラ(第2撮影装置)
70 赤外線画像
72 可視画像
【要約】
【課題】ソーラーパネルの経緯度を精度よく特定することができるソーラーパネルの経緯度特定方法を提供する。
【解決手段】ソーラーパネルの経緯度特定方法では、撮影画像40の複数のソーラーパネル41の各々の4頂点pt1~pt4の画素の座標値が取得され、直交座標系の座標点が距離換算値を有するように構成された第1画像42が作成され、全画素の座標点が直交座標系の2座標軸方向の実空間距離のデータを有するように構成された第3画像48が作成され、全画素が経緯度情報を有するように構成された第4画像50が作成され、第4画像50及び撮影画像40を対比することにより、異常パネルの重心の経緯度が特定される。
【選択図】
図3