特開 2024-31142 積雪判定装置、積雪判定方法および積雪判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031142

(43)【公開日】2024-03-07

(54)【発明の名称】積雪判定装置、積雪判定方法および積雪判定プログラム

(51)【国際特許分類】

   G06T 7/62 20170101AFI20240229BHJP

   G01N 21/17 20060101ALI20240229BHJP

【ＦＩ】

G06T7/62

G01N21/17 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022134501

(22)【出願日】2022-08-25

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(72)【発明者】

【氏名】笹川 剛

(72)【発明者】

【氏名】田副 佑典

(72)【発明者】

【氏名】三浦 崇広

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】有森 恭子

(72)【発明者】

【氏名】坪内 菜津子

(72)【発明者】

【氏名】鎌田 雄喜

【テーマコード（参考）】

2G059

5L096

【Ｆターム（参考）】

2G059AA05

2G059BB09

2G059EE02

2G059FF01

2G059KK04

2G059MM01

2G059MM05

2G059MM09

2G059MM10

5L096AA06

5L096BA08

5L096CA04

5L096DA02

5L096DA03

5L096FA02

5L096FA59

5L096GA30

5L096HA08

5L096JA11

5L096JA18

5L096KA04

(57)【要約】

【課題】太陽光パネル上に存在する積雪の状態を効果的に判定することが可能な積雪判定装置、積雪判定方法およびプログラムを提供する。
【解決手段】一つの実施形態によれば、積雪判定システムは、画像を取得する取得部を備える。さらに、前記システムは、前記画像から、太陽光パネル上にて積雪が存在する領域を検出する検出部を備える。さらに、前記システムは、前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する判定部を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像を取得する取得部と、
前記画像から、太陽光パネル上にて積雪が存在する領域を検出する検出部と、
前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する判定部と、
を備える積雪判定装置。

【請求項2】

前記判定部は、前記太陽光パネルに該当する画素の領域に対する、前記太陽光パネル上に存在する積雪に該当する画素の領域の割合である積雪率に基づいて、前記太陽光パネル上における積雪の状態を判定する、請求項１に記載の積雪判定装置。

【請求項3】

前記判定部は、前記積雪率と閾値とを比較することで、前記太陽光パネル上における積雪の状態を判定する、請求項２に記載の積雪判定装置。

【請求項4】

前記検出部は、
前記画像から、前記太陽光パネル上に存在する積雪の特徴を表す第１特徴データを算出する算出部と、
前記第１特徴データに基づいて、前記太陽光パネル上にて積雪が存在する領域を特定する特定部と、
を備える、請求項１に記載の積雪判定装置。

【請求項5】

前記第１特徴データは、前記太陽光パネル上に存在する積雪を教示対象とする第１教示画像に基づいて算出される、請求項４に記載の積雪判定装置。

【請求項6】

前記第１特徴データは、前記第１教示画像の特徴量に基づいて算出されるパラメータを用いて、前記画像に対する領域分割を実施することにより算出される、請求項５に記載の積雪判定装置。

【請求項7】

前記第１特徴データは、前記画像の撮影環境に関するデータである環境データをさらに用いて算出される、請求項４に記載の積雪判定装置。

【請求項8】

前記第１特徴データは、前記画像に含まれる被写体の特徴を表す第２特徴データをさらに用いて算出される、請求項４に記載の積雪判定装置。

【請求項9】

前記第２特徴データは、前記画像に含まれる被写体を教示対象とする第２教示画像に基づいて算出される、請求項８に記載の積雪判定装置。

【請求項10】

前記第２特徴データは、前記第２教示画像の特徴量に基づいて算出されるパラメータを用いて、前記画像に対する領域分割を実施することにより算出される、請求項９に記載の積雪判定装置。

【請求項11】

前記第２教示画像は、前記画像に含まれる外乱を教示対象とする教示画像を含む、請求項９に記載の積雪判定装置。

【請求項12】

前記判定部は、前記外乱に該当する画素の領域に基づいて、積雪判定が不能である旨のエラーを出力する、請求項１１に記載の積雪判定装置。

【請求項13】

前記判定部は、前記外乱に該当する画素の領域の大きさと閾値とを比較することで、積雪判定が不能である旨のエラーを出力する、請求項１１に記載の積雪判定装置。

【請求項14】

画像を取得し、
前記画像から、太陽光パネル上にて積雪が存在する領域を検出し、
前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する、
ことを含む積雪検出方法。

【請求項15】

画像を取得し、
前記画像から、太陽光パネル上にて積雪が存在する領域を検出し、
前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する、
ことを含む積雪検出方法をコンピュータに実行させる積雪検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、積雪判定装置、積雪判定方法および積雪判定プログラムに関する。

【背景技術】

【0002】

太陽光発電施設では、運転計画時の発電量予測に対し、実運転時の発電量を保証することが求められる。降雪のある地域では、太陽光パネル上の積雪により発電量が不安定となるため、積雪時は出力保証から除外することが望ましい。

【0003】

積雪を判定する手段として積雪計が用いられることがあるが、導入時のコストが高額となるため、気象データによる判定が広く行われている。しかし、太陽光パネル上の積雪は降雪後も残留し、晴天時であっても残留する積雪のために発電量が不安定となることから、気象データによる判断では確実性に欠ける。

【0004】

現在、太陽光パネル上の積雪を判定する手段として、太陽光パネル上の発電量を比較し、積雪を判定するシステムが知られている。このシステムでは両面で発電可能な太陽光パネルまたは積雪していない太陽光パネルの発電量を利用し、対象となる太陽光パネルの発電量と比較して、対象パネル上に存在する積雪を判定する。

【0005】

また、カメラ画像を用いて屋根や路面の積雪状態について判定するシステムが知られている。このシステムでは画像上の輝度情報から、対象となる屋根や路面上の積雪を判定する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４－２９９１５号公報

【特許文献2】特開平１０－２１３６７４号公報

【特許文献3】特開２０１９－１５４３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の太陽光パネル上の積雪を判定するシステムでは、複数の太陽光パネルが連結した、ストリング単位で発電を行う大規模発電施設に適用することは考えられていない。また、大規模な太陽光発電施設では片面のみ発電する太陽光パネルが設置されていることが多く、そのような場合は適用が困難である。

【0008】

従来のカメラ画像を用いて路面の積雪状態について判定するシステムでは、屋外に設置された太陽光パネルに発生する白飛び、ハレーションまたは影などの外乱の影響が考慮されておらず、輝度情報だけでは高精度な積雪の状態の判定は困難である。

【0009】

そこで、本発明の実施形態は、太陽光パネル上に存在する積雪の状態を効果的に判定することが可能な積雪判定装置、積雪判定方法およびプログラムを提供する。

【課題を解決するための手段】

【0010】

一つの実施形態によれば、積雪判定システムは、画像を取得する取得部を備える。さらに、前記システムは、前記画像から、太陽光パネル上にて積雪が存在する領域を検出する検出部を備える。さらに、前記システムは、前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する判定部を備える。

【図面の簡単な説明】

【0011】

【図1】第１実施形態における積雪判定システムの概略構成図である。

【図2】第１実施形態における積雪判定システムの構成を示すブロック図である。

【図3】第１実施形態における積雪判定システムの動作を示すフローチャートである。

【図4】第１実施形態の変形例における積雪判定システムの概略構成図である。

【図5】第２実施形態における積雪判定システムの動作を示すフローチャートである。

【図6】第２実施形態において撮影装置３により撮影された画像の例である。

【図7】第２実施形態において図６の画像から第１特徴データを算出した画像の例である。

【図8】第２実施形態において撮影装置３により撮影された画像の別の例である。

【図9】第２実施形態において図８の画像から第１特徴データを算出した画像の例である。

【図10】第３実施形態における積雪判定システムの構成を示すブロック図である。

【図11】第３実施形態における積雪判定システムの動作を示すフローチャートである。

【図12】第４実施形態における積雪判定プログラムのハードウェア構成図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を、図面を参照して説明する。図１～図１２では、同一の構成に同一の符号を付し、重複する説明は省略する。

【0013】

（第１実施形態）
図１は、第１実施形態における積雪判定システム１の概略構成図である。

【0014】

積雪判定システム１は例えば、太陽光発電施設３００に設置され、太陽光発電施設３００内の太陽光パネル１００上の積雪状況を判定する。図１では、太陽光パネル１００のストリング構成５００が、互いに直列に接続された複数の太陽光パネル１００を含んでいる。さらに図１では、太陽光パネル１００のアレイ構成７００が、互いに並列に接続された複数のストリング構成５００を含んでいる。図１に示すアレイ構成７００は、横方向に延び奥行き方向に隣り合う複数のストリング構成５００を含んでおり、各ストリング構成５００は、横方向に一列に並ぶ複数の太陽光パネル１００を含んでいる。本実施形態における積雪の状態の判定は、太陽光パネル１００単位だけではなく、ストリング構成５００単位またはアレイ構成７００単位についても適用が可能である。

【0015】

積雪判定システム１は、積雪判定装置２、撮影装置３、記憶部４および表示部５を備える。撮影装置３、記憶部４および表示部５は、積雪判定装置２と電気的に接続される。

【0016】

積雪判定装置２は、積雪判定システム１における種々の情報処理を行う。積雪判定装置２に含まれる機能ブロック（取得部６、検出部７および判定部８）については、図２を参照して後述する。

【0017】

撮影装置３は、太陽光パネル１００上に存在する積雪を撮影する。撮影装置３は、例えば、家屋の屋上や発電所に配置される少なくとも１台以上の監視カメラである。また、撮影装置３は、例えば、ロボットやドローンのような移動体などに設置される。その場合、撮影装置３と積雪判定装置２は、無線接続によって電気的に接続される構成としてもよい。また、撮影装置３は、例えば、レンズおよびイメージセンサを備える単眼カメラまたは魚眼カメラである。また、撮影装置３は、例えば、可視光による反射光を撮影する可視光カメラのほか、赤外カメラやデプスマップを取得可能なカメラおよび距離センサなどを用いて撮影するカメラである。撮影装置３により撮影される画像は、動画像または静止画像いずれであってもよい。動画像を撮影する場合は、フレームごとにその後の処理が実行されてもよく、または複数のフレームのうち、少なくとも１フレーム以上の任意の１フレームに基づいてその後の処理が実行されてもよい。また、複数のフレームに平均化処理等の演算処理を施した画像や、複数台の監視カメラから取得した複数枚の画像にパノラマ合成等の演算処理を施した画像に基づいてその後の処理が実行されてもよい。また、撮影装置３によって撮影した画像は、Ｒ画像、Ｇ画像およびＢ画像で構成された３チャネルのカラー画像のほか、１チャネルのモノクロ画像であってもよい。

【0018】

記憶部４は、各処理で参照されるデータを記憶する。例えば、記憶部４は、取得部６で取得した画像、検出部７により検出した太陽光パネル１００上に存在する積雪の領域の検出結果または判定部８で判定した積雪の状態の判定結果をそれぞれ任意に紐付けて記憶してもよい。

【0019】

表示部５は、積雪判定システム１により判定された積雪の状態の判定結果を表示する。ユーザは、積雪判定システム１により判定された結果を確認することができる。ユーザの例は、「太陽光発電施設の運転者、保守者」または「太陽光発電施設の管理者」である。

【0020】

図２は、第１実施形態における積雪判定システム１の構成を示すブロック図である。図２に示すように、積雪判定装置２は、取得部６、検出部７および判定部８を備える。また、検出部７は、算出部９および特定部１０を備える。

【0021】

取得部６は、撮影装置３から少なくとも１枚以上の画像を取得する。また、画像が記憶部４に蓄積されている場合、取得部６は記憶部４から少なくとも１枚以上の画像を取得してもよい。

【0022】

検出部７は、取得部６により取得した少なくとも１枚以上の画像（取得画像）から、太陽光パネル１００上に存在する積雪の領域を検出する。検出部７は、算出部９と特定部１０とを備える。

【0023】

算出部９は、上記の取得画像に基づいて、太陽光パネル１００上における積雪の特徴を表す「第１特徴データ」を算出する。第１特徴データは例えば、太陽光パネル１００上における積雪の画素の領域に関するデータであり、領域分割（セマンティックセグメンテーション）に基づいて算出される。領域分割は、処理対象の画像について、どの領域がどのクラスに属するかを推定する手段の一つである。本実施形態において、処理対象の画像とは、上記の取得画像や、後述する教示画像である。

【0024】

第１特徴データの算出にあたり、積雪判定システム１は例えば、太陽光パネル１００上に存在する積雪を教示対象とする１つ以上の画像（教示画像）を用いて学習を行う。これらの教示画像を、第１教示画像と呼ぶ。算出部９は例えば、各々の教示画像に対して、畳み込み演算を行う。算出部９は、畳み込み演算結果である特徴マップに基づき、教示画像上の各画素がどのクラスに属するかを確率で表現する。算出部９は、最も確率の高いクラスとして判別した際に生じる教示と正しい教示との誤差に基づいて、畳み込み演算時に使用するカーネルやバイアスなどのパラメータを更新し、記憶部４に結果を格納する。例えば、算出部９は、更新したパラメータを用いて、取得画像に対して畳み込み演算を実施することにより特徴マップを得ることができる。算出部９は、取得画像の特徴マップを構成するデータを、第１特徴データとして算出することができる。教示画像や取得画像の特徴マップを構成するデータは、スカラー量であっても、ベクトル量であってもよい。

【0025】

また、第１特徴データは例えば、太陽光パネル１００上の積雪率として算出してもよい。太陽光パネル１００上の積雪率は、太陽光パネル１００に該当する画素の領域に対する、太陽光パネル１００上に存在する積雪に該当する画素の領域の割合である。太陽光パネル１００上に存在する積雪に該当する画素の領域は、取得画像に対して領域分割を行うことにより算出される。一方で、固定式のカメラにおいて、太陽光パネル１００に該当する画素の領域は、例えば、人による教示作業やアフィン変換を用いて、あらかじめ積雪判定システム１に認識させ、記憶部４に格納することで算出することができる。これら２つの値により積雪率を算出することができる。

【0026】

上記の他、第１特徴データは、太陽光パネル１００の積雪に該当する画素数または輝度として算出してもよい。第１特徴データは、太陽光パネル１００上における積雪の特徴を表すデータであれば、任意のデータを採用することができる。例えば、第１特徴データは、上記の積雪率のような何らかの量（特徴量）であってもよく、この量は、スカラー量であっても、ベクトル量であってもよい。前述した「特徴マップを構成するデータ」も、特徴量の一例に相当する。

【0027】

算出部９は、第１特徴データの算出のために、カーネルのサイズ、数およびバイアスの有無など、演算式を任意に変更することができる。算出部９は、畳み込み演算の際に、パディングを行ってもよい。また、最大プーリングや平均プーリングなどのプーリング演算を行ってもよい。また、３チャネルのカラー画像の場合、算出部９は、畳み込み演算をＲ画像、Ｇ画像およびＢ画像それぞれに対して行い、例えば、各要素の総和を取るなど、各演算結果を組み合わせてもよい。

【0028】

特定部１０は、算出部９において算出した第１特徴データに基づいて、例えば、転置畳み込み演算を行うことで、太陽光パネル１００上の積雪の領域を特定する。これらの領域は、積雪の領域を画素単位で特定することができる。

【0029】

判定部８は、検出部７において検出した太陽光パネル１００上に存在する積雪の領域に基づいて、太陽光パネル１００上の積雪の状態を判定する。例えば、太陽光パネル１００上の積雪の状態は、積雪率に基づいて判定される。算出した積雪率が閾値を超えた場合に、太陽光パネル１００上に積雪があるものと判定することができる。

【0030】

また、別の方法によれば、例えば、第１教示画像を用いることで太陽光パネル１００における積雪を把握できるため、判定部８は、積雪の領域についての画素数が一定の値を超えたときに積雪があると判定してもよい。

【0031】

積雪判定システム１により、太陽光パネル１００上に積雪があると判定された場合、判定部８が、積雪の状態の判定に基づく信号を出力する構成としてもよい。積雪の発生に基づく信号の例は警報信号である。出力された警報信号は、表示部５に表示してもよい。また、出力された警報信号は、表示部５に表示する代わりに、インジケータや警告灯などの画面に表示する以外の警報装置（不図示）に出力してもよい。

【0032】

図３は、第１実施形態における積雪判定システム１の動作を示すフローチャートである。

【0033】

ステップＳ１１では、取得部６が、撮影装置３から画像を取得する。ステップＳ１２では、算出部９が、第１特徴データを算出する。ステップＳ１３では、特定部１０が、第１特徴データに基づき、太陽光パネル１００上の積雪の領域を特定する。

【0034】

ステップＳ１４では、判定部８が、ステップＳ１３により特定された太陽光パネル１００上の積雪の領域に基づいて、太陽光パネル１００上に積雪があるかどうか判定する。積雪があると判定された場合、警報信号を出力するなどにより、ユーザに対し積雪の発生を知らせる。

【0035】

本実施形態によれば、積雪判定システム１が積雪の状態を判定することで、都度、ユーザがカメラ映像を確認することなく、積雪の状態を判定することが可能となり、人為的な積雪判定作業を削減することができる。

【0036】

また、本実施形態によれば、積雪判定システム１が太陽光パネル１００上に占める積雪の割合を算出することで、ユーザが太陽光パネル１００上の積雪の状態を定量的に判定することができる。そのため、ユーザが、判定結果について、積雪時において発電量保証から除外するための判断材料として活用することができる。また、同様に、ユーザが、判定結果について、除雪作業の判断材料として活用することができる。

【0037】

図４は、第１実施形態の積雪判定システム１の変形例における概略構成図を示す。

【0038】

本変形例では、太陽光発電施設３００に設置される既設の監視システム２０の一部を用いて積雪判定システム１を構築する。一般的に、太陽光発電施設３００などの発電施設では、侵入者の有無や設備の状態を遠隔で監視するために、監視システム２０が導入されている。この監視システム２０では、太陽光発電施設３００に設置された撮影装置３によって、発電施設内の状況を撮影する。撮影した画像は、ネットワーク機器４０やネットワーク３０を介して、管理所４００に伝送される。ユーザは、監視システム表示部２１により、発電施設内の状況を遠隔で確認することができる。

【0039】

ネットワーク３０は、例えば、光ケーブルやメタルケーブルといった有線回線や、衛星回線やマイクロ無線といった無線回線による伝送媒体により構築される。また、ネットワーク機器４０は、例えば、ルータ、スイッチ、メディアコンバータなど、伝送媒体の種類に応じて、画像を伝送するために必要な設備により構築される。

【0040】

図４の例では、積雪判定装置２は、既設の撮影装置３、ネットワーク機器４０およびネットワーク３０などの共用可能な設備を利用する。積雪判定装置２内の取得部６は、ネットワーク３０およびネットワーク機器４０を介して、撮影装置３から画像を取得する。また、画像が、監視システム記憶部２２に蓄積されている場合、取得部６は、監視システム記憶部２２から画像を取得してもよい。

【0041】

図４では、積雪判定装置２や既設の監視システム２０は、管理所４００に設置される例を示しているが、これらの設備は太陽光発電施設３００内に設置されてもよい。その場合、積雪判定装置２により検出した積雪の領域や、判定した積雪の状態などの情報は、ネットワーク３０を介して管理所に伝送される。

【0042】

本変形例によれば、既設の設備を利用することにより、積雪判定システム１の導入費用を抑えることができる。また、既設の設備を利用することにより、設備数の増加を抑えることができるため、保守費用を抑えることができる。

【0043】

（第２実施形態）
次に、第２実施形態について説明する。本実施形態では、第１実施形態と同様のブロック図など（図１および図２）を用いることができる。

【0044】

第２実施形態では、第１特徴データの算出にあたり「第２特徴データ」を用いる。第１特徴データは、太陽光パネル１００上における積雪の特徴を表すデータであるのに対し、第２特徴データは、画像上に含まれる被写体の特徴を表すデータである。第２特徴データは例えば、被写体の画素の領域に関するデータであり、領域分割（セマンティックセグメンテーション）に基づいて算出される。被写体の例は、「太陽光パネル」、「架台」、「空、地面などの背景」および「白飛び、ゴースト、レンズフレア、ハレーションまたは影などの外乱」である。

【0045】

第２特徴データの算出にあたり、積雪判定システム１は例えば、画像に含まれる被写体を教示対象とする画像（教示画像）を用いて学習を行う。これらの教示画像を、第２教示画像と呼ぶ。算出部９は例えば、各々の教示画像に対して畳み込み演算を行う。算出部９は、畳み込み演算結果である特徴マップに基づき、教示画像上の各画素がどのクラスに属するかを確率で表現する。算出部９は、最も確率の高いクラスとして判別した際に生じる教示と正しい教示との誤差に基づいて、畳み込み演算時に使用するカーネルやバイアスなどのパラメータを更新し、記憶部４に結果を格納する。例えば、算出部９は、更新したパラメータを用いて、取得画像に対して畳み込み演算を実施することにより、特徴マップを得ることができる。算出部９は、取得画像の特徴マップを構成するデータを第２特徴データとして算出することができる。教示画像や取得画像の特徴マップを構成するデータは、スカラー量であっても、ベクトル量であってもよい。

【0046】

算出部９は、第２特徴データを用いて、第１特徴データを算出する。これにより、算出部９は、太陽光パネル１００上における積雪の特徴だけでなく、被写体の特徴を含んだ第１特徴データを算出することができる。

【0047】

また、第１特徴データは、例えば、積雪率として算出してもよい。本実施形態では、積雪判定システム１が第１教示画像および第２教示画像により学習を行っている。そのため、取得画像に対して領域分割を行うことにより、太陽光パネル１００に該当する画素の領域と、太陽光パネル１００上に存在する積雪に該当する画素の領域の両方を算出することができる。これら２つの値により、積雪率を算出することができる。

【0048】

特定部１０は、算出部９において算出した第１特徴データに基づいて、例えば、転置畳み込み演算を行うことで、太陽光パネル１００上の積雪の領域を特定する。

【0049】

判定部８は、検出部７において検出した太陽光パネル１００上に存在する積雪の領域に基づいて、太陽光パネル１００上の積雪の状態を判定する。例えば、太陽光パネル１００上の積雪の状態の判定は、積雪率に基づいて算出される。算出した積雪率が閾値を超えた場合に、太陽光パネル１００上に積雪があるものと判定することができる。

【0050】

図５は、第２実施形態における積雪判定システム１の動作を示すフローチャートである。

【0051】

ステップＳ２１では、取得部６が、撮影装置３から画像を取得する。ステップＳ２２では、算出部９が、第２特徴データを算出する。ステップＳ２３では、算出部９が、第２特徴データを用いて、第１特徴データを算出する。ステップＳ２４では、特定部１０が、第１特徴データに基づき、太陽光パネル１００上の積雪の領域を特定する。

【0052】

ステップＳ２５では、判定部８が、ステップＳ２４により特定された太陽光パネル１００上の積雪の領域に基づいて、太陽光パネル１００上に積雪があるかどうか判定する。積雪があると判定された場合、警報信号を出力するなどの方法により、ユーザに対し積雪の発生を知らせる。

【0053】

太陽光パネル１００上に存在する積雪の領域の検出結果または積雪の状態の判定結果は、表示部５に表示してもよい。また、インターネットを介してストリーミング配信してもよい。これにより、積雪の領域の検出結果や判定結果を視覚的にユーザに提示することができる。

【0054】

画像を撮影する環境によっては、季節や時間帯の影響により、レンズフレアなどの外乱が大きくなる場合がある。この場合、積雪判定システム１が積雪や被写体の状態を確認できないことが考えられる。そのため、例えば、判定部８が、画像における外乱に該当する画素の領域に基づいて、積雪判定が不能である旨のエラーを出力するような構成にしてもよい。例えば、外乱に該当する画素数が閾値を超えた場合、ユーザに対して積雪判定が不能である旨のエラーを出力する。この構成により、積雪判定が不能である場合には、ユーザが目視で太陽光パネル１００上の積雪の状態を確認することにより、積雪の状態についての監視体制を強化することができる。

【0055】

また、撮影装置３が監視カメラである場合、監視カメラには、撮影位置や倍率を変更するためのＰＴＺ機能を備えているものがある。撮影装置３の撮影位置や倍率を変更した場合でも、算出部９は第１および第２教示画像から、太陽光パネル１００における積雪の領域を検出することができる。監視カメラでは、撮影箇所があらかじめ決まっている場合、プリセット機能を使用することがある。例えば、撮影装置３のそれぞれのプリセットポジションごとに、第１および第２教示画像を用意し、記憶部４が学習を行うことで、第１特徴データの精度を向上させることができる。

【0056】

また、本実施形態によれば、積雪判定システム１が太陽光パネル１００上に占める積雪の割合を算出することで、ユーザが太陽光パネル１００上の積雪の状態を定量的に判定することができる。そのため、ユーザが、判定結果について、積雪時において発電量保証から除外するための判断材料として活用することができる。また、同様に、ユーザが、判定結果について、除雪作業の判断材料として活用することができる。

【0057】

また、本実施形態によれば、外乱などの被写体を教示した画像を用いるため、積雪判定システム１は、外乱と太陽光パネル１００における積雪との区別が可能となり、外乱に強い第１特徴データを算出することができる。

【0058】

次に、図６～９により、領域分割の例について説明する。

【0059】

図６は、取得部６が取得した取得画像２００の例である。取得画像２００には、積雪１１０に加え、被写体の例である太陽光パネル１００、白飛び１２０、地面１３０、空１４０および架台１５０が撮影されている。

【0060】

図７は、この画像に対し、検出部７が領域分割を実施することにより得られた画像の例である。領域分割に伴い、あらかじめ定義したクラスに基づいて、各被写体が色分けされる。例えば、積雪１１０が青色に色分けされ、太陽光パネル１００が緑色に色分けされ、白飛び１２０が黄色に色分けされるなど、クラスに応じて色分けされる。この図では、理解を促すために、青色は太い斜線のハッチングで示し、緑色はドットのハッチングで示し、黄色は細い斜線のハッチングで示す。また、その他のクラスについては色分けを省略している。この例のように、第２教示画像において、太陽光パネル１００および外乱である白飛び１２０を教示することにより、太陽光パネル１００上における積雪１１０と白飛び１２０との区別が可能となる。

【0061】

図８は、取得部６が取得した取得画像２００の別の例である。図６とは異なり、１つの太陽光パネル１００だけでなく、複数の太陽光パネル１００を含むストリング構成５００が撮影されている。

【0062】

図９は、この画像に対し、検出部７が領域分割を実施することにより得られた画像の例である。例えば、積雪１１０が青色に色分けされ、太陽光パネル１００のストリング構成５００が緑色に色分けされる。この図では、理解を促すために、青色は太い斜線のハッチングで示し、緑色はドットのハッチングで示している。また、その他のクラスについては色分けを省略している。この例のように、第２教示画像において、太陽光パネル１００のストリング構成５００単位で教示することにより、太陽光パネル１００単体ではなく、太陽光パネル１００のストリング構成５００を一つの領域として検出することができる。この場合、積雪率は、ストリング構成５００単位で算出することができる。また、積雪率は、例えば、上述した方法により太陽光パネル１００単位で算出してもよく、積雪判定システム１が、積雪率の判定方法について、任意に切り替えができるような機能を有していてもよい。

【0063】

本実施形態によれば、第２教示画像を与えることにより、太陽光パネル１００を白飛び１２０などの外乱の影響を受ける場所に設置した場合でも、検出部７が外乱と区別して積雪１１０の領域を検出することができる。また、検出部７が太陽光パネル１００をストリング単位で検出することができる。そのため、太陽光パネル１００の設置場所や設置数に制限を受けることなく、積雪の領域を検出することが可能である。

【0064】

第１教示画像および第２教示画像は、適宜、積雪判定システム１に追加することができる。例えば、第２教示画像において、動物や植物を教示するなど、太陽光パネル１００を設置した環境に応じて追加することが考えられる。

【0065】

また、第２実施形態では、第１教示画像と第２教示画像は、別々に教示画像を作成する例を説明したが、第１教示画像において、積雪と被写体を教示してもよい。

【0066】

（第３実施形態）
図１０は、第３実施形態における積雪判定システム１の構成を示すブロック図である。

【0067】

本実施形態の積雪判定装置２は、図２に示すブロックに加えて第２取得部１２をさらに備える。図１０はさらに、図２に示す取得部６を「第１取得部１１」と表記している。

【0068】

第２取得部１２は、第１取得部１１で取得した画像を撮影した際の環境データを取得する。例えば、環境データは外部センサ（不図示）から取得してもよく、記憶部４に格納されている場合、そこから取得してもよい。環境データは、例えば「温度や湿度などの気象データ」、「日付や時刻データ」、「画像に含まれている太陽光パネルの日射量」、「パネル温度および発電量などのパネルデータ」または「画像を撮影した撮影装置３と太陽光パネルとの位置関係を示す位置データ」などの環境に関するデータである。

【0069】

検出部７は、第１取得部１１で取得した画像に加え、環境データを含めて、太陽光パネル１００上に存在する積雪の領域を検出する。図１０に示すように、検出部７は、第１実施形態と同様に、算出部９と特定部１０とを備える。算出部９は、画像から太陽光パネル１００上の積雪の特徴を表す第１特徴データを算出する。算出部９は、第１特徴データを算出するにあたり、画像に含まれる環境データを用いることが可能である。

【0070】

特定部１０は、算出部９において算出した第１特徴データに基づいて、積雪の領域を特定する。

【0071】

判定部８は、検出部７において検出した太陽光パネル１００上の積雪の領域から、太陽光パネル１００上の積雪の状態を判定する。

【0072】

撮影装置３のレンズに雪や水滴が付着した場合、第１取得部１１が鮮明な画像を取得できず、画像だけでは積雪の領域を検出することが困難な場合がある。そのような場合に対応するために、環境データを用いる。

【0073】

一般的に、太陽光パネル１００は、曇りや雨といった気候でも、日射があれば発電が可能である。第２取得部１２は、例えば、環境データとして、画像に含まれている太陽光パネル１００の日射量および時刻データを取得する。積雪判定システム１は、日中（この例では、午前９時から１８時まで）において、太陽光パネル１００の日射量がゼロであるような場合には、積雪の可能性を考慮する。算出部９は、日中であることと、日射量がゼロであることの両方を条件に、太陽光パネル１００全体に積雪があるものとして、第１特徴データを算出する。この際に算出される第１特徴データは、積雪率を１００パーセントとして算出することが考えられる。つまり、特定部１０により特定される積雪の領域は、太陽光パネル１００上の領域全体となる。環境データを用いた第１特徴データの算出は、精度を向上させるために、発電量や時刻データだけではなく、例えば、温度や湿度など、その他の環境データを組み合わせてもよい。また、環境データを用いた第１特徴データの算出は、閾値との比較により算出してもよい。

【0074】

また、第１特徴データの算出にあたり、環境データに加えて、第２特徴データを用いてもよい。

【0075】

図１１は、第３実施形態における積雪判定システム１の動作を示すフローチャートである。

【0076】

ステップＳ３１では、第１取得部１１が、撮影装置３から画像を取得する。ステップＳ３２では、第２取得部１２が、画像の環境データを取得する。ステップＳ３３では、算出部９が、第２特徴データを算出する。ステップＳ３４では、算出部９が、環境データおよび第２特徴データに基づいて第１特徴データを算出する。

【0077】

本実施形態によれば、環境データを活用することにより、検出部７が太陽光パネル１００上における積雪の領域を画像だけで検出することが困難な場合でも積雪の状態を判定することができる。

【0078】

以上のように、第１～第３実施形態またはその変形例によれば、太陽光パネル１００上に存在する積雪の状態を効果的に判定することができる。

【0079】

第１～第３実施形態またはその変形例では、太陽光パネル１００上の積雪の領域を特定するにあたり、領域分割を用いる例を説明した。積雪判定システム１では、領域分割に代えて、インスタンスセグメンテーションなど、別の画像セグメンテーション手段を用いてもよい。

【0080】

（第４実施形態）
図１２は、第４実施形態における積雪判定システム１の構成を示すブロック図である。

【0081】

図１２の積雪判定システム１は、ＣＰＵ（Central Processing Unit）などのプロセッサ５２と、ＲＡＭ（Random Access Memory）などの主記憶装置５３と、ＨＤＤ（Hard Disc Drive）などの補助記憶装置５４と、ＬＡＮ（Local Area Network）ボードなどのネットワークインタフェース５５と、メモリスロットやメモリポートなどのデバイスインタフェース５６と、これらの機器を互いに接続するバス５７とを備えている。積雪判定システム１は例えば、ＰＣ（Personal Computer）などのコンピュータであり、キーボードやマウスなどの入力装置や、ＬＣＤ（Liquid Crystal Display）モニタなどの表示装置を備えている。

【0082】

本実施形態においては、第１～第３実施形態またはその変形例のうち、いずれかにおける積雪判定システム１の情報処理をコンピュータに実行させるための積雪検出プログラムが、補助記憶装置５４内にインストールされている。積雪判定システム１は、このプログラムを主記憶装置５３に展開して、プロセッサ５２により実行する。これにより、図１または図１０に示す各ブロックの機能を積雪判定システム１内で実現し、第１～第３実施形態またはその変形例で説明した太陽光パネル１００上における積雪の状態を判定することが可能となる。なお、この情報処理により生成されたデータは、主記憶装置５３に一時的に保持されるか、補助記憶装置５４内に格納され保存される。

【0083】

積雪判定プログラムは例えば、このプログラムを記録した外部装置５８をデバイスインタフェース５６に装着し、このプログラムを外部装置５８から補助記憶装置５４に格納することでインストール可能である。外部装置５８の例は、コンピュータ読み取り可能な記録媒体や、このような記録媒体を内蔵する記録装置である。記録媒体の例はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＣＤ－Ｒ（Compact Disk Recordable）、フレキシブルディスク、ＤＶＤ－ＲＯＭ(Digital Versatile Disk Read Only Memory)、ＤＶＤ－Ｒ (Digital Versatile Disk Recordable)であり、記録装置の例はＨＤＤである。また、積雪検出プログラムは例えば、このプログラムをネットワークインタフェース５５を介してダウンロードすることでインストール可能である。

【0084】

本実施形態によれば、第１、第２実施形態またはその変形例のうち、いずれかにおける積雪判定システムの機能をソフトウェアにより実現することが可能となる。

【0085】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法、およびプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法、およびプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。

【符号の説明】

【0086】

１：積雪判定システム、２：積雪判定装置、３：撮影装置、４：記憶部、５：表示部、
６：取得部、７：検出部、８：判定部、９：算出部、１０：特定部、
１１：第１取得部、１２：第２取得部、２０：監視システム、
２１：監視システム表示部、２２：監視システム記憶部、３０：ネットワーク、
４０：ネットワーク機器、５２：プロセッサ、５３：主記憶装置、
５４：補助記憶装置、５５：ネットワークインタフェース、
５６：デバイスインタフェース、５７：バス、５８：外部装置、
１００：太陽光パネル、１１０：積雪、１２０：白飛び、１３０：地面、１４０：空、
１５０：架台、２００：取得画像、３００：太陽光発電施設、
５００：ストリング構成、７００：アレイ構成

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】