特開 2024-94147 出力装置及び出力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094147

(43)【公開日】2024-07-09

(54)【発明の名称】出力装置及び出力プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240702BHJP

   G06T 7/00 20170101ALI20240702BHJP

   H04N 23/60 20230101ALI20240702BHJP

   H04N 7/18 20060101ALI20240702BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 350B

H04N23/60

H04N7/18 U

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022210924

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】512032777

【氏名又は名称】株式会社ｍｍガード

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】鈴木 和清

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CE01

5C054DA07

5C054FE09

5C054FE14

5C054HA19

5C122DA11

5C122DA16

5C122EA01

5C122EA63

5C122FH10

5C122FH11

5C122FH14

5C122FK34

5C122FK35

5C122FK41

5C122GC07

5C122GC52

5C122GD01

5C122HA13

5C122HA35

5C122HA75

5C122HA82

5C122HA90

5C122HB01

5C122HB05

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】検査対象が周期性を有する場合であっても、当該検査対象に発生している異常の位置を把握できる。
【解決手段】出力装置１０は、カメラが撮影した撮影画像を取得する取得部１０Ａと、撮影画像から、周期性を有する検査対象が撮影された対象画像を切り出す切り出し部１０Ｂと、対象画像から、検査対象に発生した異常を検出する検出部１０Ｃと、カメラが異常を撮影した位置を、地図に対応付けて視覚的に出力する出力部１０Ｄと、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラが撮影した撮影画像を取得する取得部と、
前記撮影画像から、周期性を有する検査対象が撮影された対象画像を切り出す切り出し部と、
前記対象画像から、前記検査対象に発生した異常を検出する検出部と、
前記カメラが前記異常を撮影した位置を、地図に対応付けて視覚的に出力する出力部と、
を備えた出力装置。

【請求項2】

前記切り出し部は、前記検査対象が撮影された学習画像と当該検査対象の属性を示す属性情報との組を教師データとして学習された教師ありモデルに、前記撮影画像を入力することで、前記対象画像を切り出す、
請求項１に記載の出力装置。

【請求項3】

前記検出部は、前記異常が発生していない前記検査対象である良品が撮影された良品画像を用いて、当該良品画像は前記良品が撮影された画像であると判定するように学習された教師なしモデルに、前記対象画像を入力することで、前記異常を検出する、
請求項１に記載の出力装置。

【請求項4】

前記教師なしモデルは、
前記良品画像から分割された複数の分割画像のうち、一部の前記分割画像を前記良品が撮影された画像であると判定するように学習されたモデルであって、
前記複数の分割画像のうち残りの前記分割画像が入力されると、当該残りの分割画像は前記異常が発生している前記検査対象が撮影された画像であると出力する場合にはパラメータを変更することによって学習されたモデルである、
請求項３に記載の出力装置。

【請求項5】

カメラが撮影した撮影画像を取得し、
前記撮影画像から、周期性を有する検査対象が撮影された対象画像を切り出し、
前記対象画像から、前記検査対象に発生した異常を検出し、
前記カメラが前記異常を撮影した位置を、地図に対応付けて視覚的に出力する、
処理をコンピュータに実行させる、
出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、出力装置及び出力プログラムに関する。

【背景技術】

【0002】

特許文献１には、異常診断方法が開示されている。この異常診断方法では、それぞれが複数の太陽電池セルを含み、相互に接続されている状態で電圧を出力する複数の太陽電池モジュールの１つを、電圧値及び電流値を検出する検出回路に接続させる。そして、この異常診断方法では、検出回路が検出した電圧値及び電流値に基づき、検出回路に接続されている太陽電池モジュールについて出力異常があるか否かを判定する。

【0003】

特許文献２には、複数の太陽光発電パネルの内、物理的破損を生じている太陽光発電パネルを特定可能な太陽光発電パネルの破損検査装置が開示されている。この破損検査装置は、複数の太陽光発電パネルを備える太陽光発電装置を上空から撮像した撮像画像を記憶する記憶部と、撮像画像から、複数の太陽光発電パネルのそれぞれの外形特徴を抽出する外形特徴抽出部と、を備える。また、この破損検査装置は、撮像画像から、破損していない太陽光発電パネルから得られる外形特徴である理想外形を抽出する理想外形抽出部を備える。また、この破損検査装置は、外形特徴と理想外形とを比較する比較部と、比較部での比較に基づいて、外形特徴を有する太陽光発電パネルの構造状態での物理的破損を検出する検出部と、を備える。

【0004】

特許文献３には、状態判定システムが開示されている。この状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像から撮像対象または所定数の撮像対象群を特定する特定部と、特定した撮像対象ごとまたは撮像対象群ごとに赤外線情報に基づく温度情報を求める温度情報取得部と、を備える。また、この状態判定システムは、温度情報取得部により求められた温度情報に基づき、特定した撮像対象ごとまたは撮像対象群ごとに異常判定をする判定部を備える。

【0005】

特許文献４には、プロセッサ実装方法が開示されている。このプロセッサ実装方法は、１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定するステップを含む。また、このプロセッサ実装方法は、ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下でのＵＡＶの配向および方向に関する情報を決定するステップを含む。また、このプロセッサ実装方法は、磁気干渉の存在下で１つまたは複数のアセットにわたってＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集するステップを含む。また、このプロセッサ実装方法は、１つまたは複数のドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、１つまたは複数のアセットの１つまたは複数の部分におけるＲＯＩを識別するステップを含む。また、このプロセッサ実装方法は、１つまたは複数のアセットにおける異常を検出するために、複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出するステップを含む。また、このプロセッサ実装方法は、１つまたは複数のアセットの障害を予測するために、検出された異常を潜在的異常または非潜在的異常のうちの１つとして分類するステップを含む。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１２４０９０号公報

【特許文献2】特開２０２２－０７４４３４号公報

【特許文献3】特開２０２１－０８５８１２号公報

【特許文献4】特開２０１９－２１５８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

検査対象に発生している異常を撮影できても、当該検査対象が周期性を有する場合、例えば、検査対象の全体形状において、同様の部分形状が周期的に表れる場合、どの位置に当該異常が発生しているのか把握できない課題があった。

【0008】

本開示は、検査対象が周期性を有する場合であっても、当該検査対象に発生している異常の位置を把握できる出力装置及び出力プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、第１態様に係る出力装置は、カメラが撮影した撮影画像を取得する取得部と、前記撮影画像から、周期性を有する検査対象が撮影された対象画像を切り出す切り出し部と、前記対象画像から、前記検査対象に発生した異常を検出する検出部と、前記カメラが前記異常を撮影した位置を、地図に対応付けて視覚的に出力する出力部と、を備える。

【0010】

また、第２態様に係る出力装置は、第１態様に係る出力装置において、前記切り出し部は、前記検査対象が撮影された学習画像と当該検査対象の属性を示す属性情報との組を教師データとして学習された教師ありモデルに、前記撮影画像を入力することで、前記対象画像を切り出す。

【0011】

また、第３態様に係る出力装置は、第１態様又は第２態様に係る出力装置において、前記検出部は、前記異常が発生していない前記検査対象である良品が撮影された良品画像を用いて、当該良品画像は前記良品が撮影された画像であると判定するように学習された教師なしモデルに、前記対象画像を入力することで、前記異常を検出する。

【0012】

また、第４態様に係る出力装置は、第１態様から第３態様のうち何れか１態様に係る出力装置において、前記教師なしモデルは、前記良品画像から分割された複数の分割画像のうち、一部の前記分割画像を前記良品が撮影された画像であると判定するように学習されたモデルであって、前記複数の分割画像のうち残りの前記分割画像が入力されると、当該残りの分割画像は前記異常が発生している前記検査対象が撮影された画像であると出力する場合にはパラメータを変更することによって学習されたモデルである。

【0013】

また、第５態様に係る出力プログラムは、カメラが撮影した撮影画像を取得し、前記撮影画像から、周期性を有する検査対象が撮影された対象画像を切り出し、前記対象画像から、前記検査対象に発生した異常を検出し、前記カメラが前記異常を撮影した位置を、地図に対応付けて視覚的に出力する、処理をコンピュータに実行させる。

【発明の効果】

【0014】

第１態様、及び第５態様によれば、検査対象が周期性を有する場合であっても、当該検査対象に発生している異常の位置を把握できる。

【0015】

第２態様によれば、教師ありモデルに撮影画像を入力しない場合に比較して、高精度に対象画像を切り出すことができる。

【0016】

第３態様によれば、対象画像を入力するモデルを教師あり学習によって構築する場合に比較して、短時間でモデルを構築することができる。

【0017】

第４態様によれば、良品画像から分割された複数の分割画像を用いずに教師なしモデルを学習する場合に比較して、当該教師なしモデルの学習のために用意する画像を少なくすることができる。

【図面の簡単な説明】

【0018】

【図1】実施形態に係る出力システムのハードウェア構成の一例を示す模式図である。

【図2】実施形態に係る出力装置のハードウェア構成の一例を示すブロック図である。

【図3】実施形態に係る出力装置の機能構成の一例を示すブロック図である。

【図4】実施形態に係る出力処理の流れの一例を示すフローチャートである。

【図5】実施形態に係る異常画面の一例を示す模式図である。

【図6】実施形態に係る学習処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0020】

図１に示すように、本実施形態に係る出力システム１００は、出力装置１０と、飛行体２０とを有している。

【0021】

出力装置１０と、飛行体２０とは、通信手段Ｎを介して相互に通信可能とされている。本実施形態では、通信手段Ｎとしてインターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線を適用している。また、本実施形態では、通信手段Ｎとして無線の通信回線を適用している。しかし、この例に限られない。通信手段Ｎとして、有線の通信回線を適用してもよいし、有線及び無線の各通信回線を組み合わせて適用してもよい。

【0022】

また、本実施形態では、飛行体２０として無人飛行体の一種であるドローン（ｄｒｏｎｅ）を適用している。しかし、この例に限られない。例えば、飛行体２０としてラジオコントロール（ｒａｄｉｏ ｃｏｎｔｒｏｌ）又は有人飛行体等を適用してもよい。

【0023】

図１に示すように、飛行体２０は、測位装置２４、カメラ２５、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２７の各構成を有する。

【0024】

測位装置２４は飛行体２０の位置情報を測定する装置である。位置情報とは、例えば経度及び緯度の組合せである。本実施形態では、測位装置２４はＲＴＫ（Ｒｅａｌ ｔｉｍｅ ｋｉｎｅｍａｔｉｃ）－ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）により飛行体２０の位置情報を測定する。具体的に、測位装置２４はＧＮＳＳ衛星から信号を受信すると共に、予め位置が確認されている基準局から補正信号を受信することで、飛行体２０の位置情報を測定する。しかし、この例に限られない。測位装置２４は、ＲＴＫ－ＧＮＳＳ以外の相対測位法であるＤ－ＧＮＳＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ－ＧＮＳＳ）、又は単独測位法等により飛行体２０の位置情報を測定してもよい。

【0025】

カメラ２５は、周期性を有する検査対象を撮影する撮影装置である。本実施形態では、検査対象として、複数の太陽光パネルが周期的に並んだ太陽光パネル群を適用している。しかし、この例に限られない。検査対象として、線路、送電線、又は橋梁等の周期性を有する如何なる対象を適用してもよい。ここで、周期性を有する対象とは、例えば、全体形状において、同様の部分形状が周期的に表れる対象を示す。また、本実施形態では、カメラ２５として、可視光画像及び赤外線画像を同時に、又は同期して撮影可能なカメラを適用している。しかし、この例に限られない。カメラ２５として、如何なる撮影装置を適用してもよい。例えば、カメラ２５として、可視光画像又は赤外線画像のみを撮影可能な撮影装置を適用してもよい。また、カメラ２５の撮影方向は検査対象に対して垂直方向とは限らず、水平方向でもよいし、斜め方向であってもよい。

【0026】

通信Ｉ／Ｆ２７は、出力装置１０等の他の装置と通信するためのインタフェースである。

【0027】

また、本実施形態では、出力装置１０としてパーソナルコンピュータ、又はモバイル端末（例えば、スマートホン、携帯電話、又はタブレット端末等）を適用する。しかし、この例に限られない。例えば、出力装置１０としてサーバを適用してもよい。

【0028】

図２に示すように、出力装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、表示部１６、及び通信Ｉ／Ｆ１７の各構成を有する。各構成は、バス１９を介して相互に通信可能に接続されている。ＣＰＵ１１は、本実施形態に係るコンピュータに相当する。

【0029】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２には、出力プログラム２００、地図データ２０１、教師ありモデル２０２、及び教師なしモデル２０３が格納されている。

【0030】

地図データ２０１は、太陽光パネル群に含まれるｎ個の太陽光パネルＡ１、Ａ２、・・・、Ａｎの設置位置が掲載された地図である。なお、地図データ２０１には、太陽光パネルの設置位置が掲載されていなくてもよい。また、本実施形態に係る地図には、地球表面の一部又は全部を一定の割合で縮小し、記号及び文字等を用いて平面上に表した図に限られず、絵地図が含まれる。また、本実施形態に係る地図には、地形図、地質図、又は海図などの国土の状態を表す図以外の図が含まれる。

【0031】

教師ありモデル２０２は、教師あり学習によって構築されたモデルである。

【0032】

教師なしモデル２０３は、教師なし学習によって構築されたモデルである。

【0033】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。

【0034】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。

【0035】

通信Ｉ／Ｆ１７は、飛行体２０等の他の装置と通信するためのインタフェースである。

【0036】

次に、図３を参照して、本実施形態に係る出力装置１０の機能的な構成を説明する。図３に示すように、本実施形態の出力装置１０は、ＣＰＵ１１がＲＯＭ１２に記憶されている出力プログラム２００を実行することで、取得部１０Ａ、切り出し部１０Ｂ、検出部１０Ｃ、出力部１０Ｄ、及び学習部１０Ｅとして機能する。

【0037】

取得部１０Ａは、飛行体２０から、カメラ２５が撮影した撮影画像を取得する。また、取得部１０Ａは、飛行体２０から、撮影画像毎に、カメラ２５が当該撮影画像を撮影した際の飛行体２０の位置情報を取得する。なお、取得部１０Ａは、撮影画像と位置情報とを同時に取得してもよいし、異なるタイミングで取得してもよい。

【0038】

切り出し部１０Ｂは、取得部１０Ａが取得した撮影画像から、太陽光パネル群が撮影された対象画像を切り出す。本実施形態では、切り出し部１０Ｂは、ＲＯＭ１２に格納された教師ありモデル２０２に、撮影画像を入力することで対象画像を切り出す。教師ありモデル２０２は、後述する学習部１０Ｅによって学習されている。この処理により、切り出し部１０Ｂは、撮影画像に写り込んだ、例えば車両、マンホール、屋根、及び草等の太陽光パネル群以外を撮影画像から取り除き、撮影画像から対象画像を切り出すことができる。

【0039】

なお、切り出し部１０Ｂが撮影画像から対象画像を切り出す方法は上述した方法に限定されない。例えば、切り出し部１０Ｂは、撮影画像を二値化することで太陽光パネル群の枠線を抽出し、当該枠線を切り出すことで、撮影画像から対象画像を切り出してもよい。

【0040】

また、切り出し部１０Ｂは、撮影画像からオルソ画像を生成せずに、直接対象画像を切り出す。しかし、この例に限られない。切り出し部１０Ｂは、撮影画像からオルソ画像を生成し、当該オルソ画像から対象画像を切り出してもよい。

【0041】

検出部１０Ｃは、切り出し部１０Ｂが切り出した対象画像から、太陽光パネル群に発生した異常を検出する。異常とは、例えば、セル不良、クラスタ不良、若しくはストリング不良等の局所的な発熱、又はクラック（ｃｒａｃｋ）、汚れ、若しくは剥離等の外観上の異常である。

【0042】

本実施形態では、検出部１０Ｃは、ＲＯＭ１２に格納された教師なしモデル２０３に、対象画像を入力することで異常を検出する。教師なしモデル２０３は、後述する学習部１０Ｅによって学習されている。例えば、検出部１０Ｃは、オートエンコーダ（Ａｕｔｏｅｎｃｏｄｅｒ）のうち畳み込みオートエンコーダ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ：ＣＡＥ）のアルゴリズムを用いて、対象画像から、太陽光パネル群に発生した異常を検出する。検出部１０Ｃは、教師なしモデル２０３に入力した対象画像と、教師なしモデル２０３が出力した画像との誤差が予め定められた閾値以上の場合、異常が発生していると判定する。なお、上記予め定められた閾値は、出力装置１０の管理人等により予め定められている。また、検出部１０Ｃは、上記誤差が大きい順に順位が付与された対象画像のうち、１位から予め定められた順位までの対象画像を出力してもよい。この場合、上記予め定められた順位は、出力装置１０の管理人等により予め定められている。

【0043】

出力部１０Ｄは、カメラ２５が異常を撮影した位置（以下、「異常撮影位置」という）を、地図に対応付けて視覚的に出力する。本実施形態では、出力部１０Ｄは、異常撮影位置が地図に対応付けられた異常画面を表示部１６に出力する。しかし、この例に限られない。出力装置１０が表示部１６を備えていない場合、例えば出力装置１０がサーバの場合、出力部１０Ｄは、異常画面を出力装置１０以外の表示部を有する装置に出力してもよい。

【0044】

具体的に、出力部１０Ｄは、取得部１０Ａが取得した位置情報の中から、検出部１０Ｃが検出した異常をカメラ２５が撮影した際の飛行体２０の位置情報を特定する。そして、出力部１０Ｄは、特定した位置情報を、ＲＯＭ１２に格納された地図データ２０１に対応付けて、異常画面として表示部１６に出力する。

【0045】

学習部１０Ｅは、教師ありモデル２０２を学習する。具体的に、学習部１０Ｅは、太陽光パネル群が撮影された学習画像と当該太陽光パネル群の属性を示す属性情報との組を教師データとして、教師ありモデル２０２を学習する。そして、学習部１０Ｅは、学習した教師ありモデル２０２をＲＯＭ１２に格納する。

【0046】

また、学習部１０Ｅは、教師なしモデル２０３を学習する。本実施形態では、学習部１０Ｅは、良品が撮影された良品画像を用いて、当該良品画像は良品が撮影された画像であると判定するように教師なしモデル２０３を学習する。

【0047】

具体的に、学習部１０Ｅは、良品画像を複数の分割画像に分割する。学習部１０Ｅが良品画像を分割する数は、出力装置１０の管理人等によって予め定められている。そして、学習部１０Ｅは、上記複数の分割画像のうち、一部の分割画像を良品が撮影された画像であると判定するように教師なしモデル２０３を学習する。具体的に、学習部１０Ｅは、上記一部の分割画像が入力されると、良品が撮影された画像であると出力するように教師なしモデル２０３のパラメータを設定する。

【0048】

そして、学習部１０Ｅは、上記複数の分割画像のうち、残りの分割画像を、学習した教師なしモデル２０３に入力する。その結果、上記残りの分割画像は良品が撮影された画像であると教師なしモデル２０３が出力する場合、学習部１０Ｅは、教師なしモデル２０３のパラメータを維持する。一方、上記残りの分割画像は異常が発生している太陽光パネル群が撮影された画像であると教師なしモデル２０３が出力する場合、学習部１０Ｅは、教師なしモデル２０３のパラメータを変更する。具体的に、学習部１０Ｅは、上記残りの分割画像は良品が撮影された画像であると出力するように教師なしモデル２０３を学習する。

【0049】

例えば、学習部１０Ｅは、良品画像を１００枚の分割画像に分割する。そして、学習部１０Ｅは、１００枚の分割画像のうち８０枚の分割画像を良品が撮影された画像であると判定するように教師なしモデル２０３を学習する。そして、学習部１０Ｅは、残りの２０枚の分割画像を教師なしモデル２０３に入力する。その結果、上記残りの２０枚の分割画像は良品が撮影された画像であると教師なしモデル２０３が出力する場合、学習部１０Ｅは、教師なしモデル２０３のパラメータを維持する。一方、上記残りの２０枚の分割画像は異常が発生している太陽光パネル群が撮影された画像であると教師なしモデル２０３が判定する場合、学習部１０Ｅは、教師なしモデル２０３のパラメータを変更する。

【0050】

次に、本実施形態に係る出力装置１０の作用について説明する。

【0051】

まず、出力装置１０において実行される出力処理について説明する。出力処理は、ＣＰＵ１１が取得部１０Ａ、切り出し部１０Ｂ、検出部１０Ｃ、及び出力部１０Ｄとして機能することにより実行される。なお、出力処理は、出力プログラム２００がＣＰＵ１１に実行させる処理に相当する。また、図４に示す出力処理のフローチャートでは、教師ありモデル２０２及び教師なしモデル２０３が後述する学習処理により予め学習されている場合について説明する。

【0052】

図４のステップＳ１００において、ＣＰＵ１１は、飛行体２０から、カメラ２５が撮影した撮影画像を取得する。

【0053】

ステップＳ１０２において、ＣＰＵ１１は、飛行体２０から、カメラ２５が撮影画像を撮影した際の飛行体２０の位置情報を取得する。

【0054】

ステップＳ１０４において、ＣＰＵ１１は、ステップＳ１００において取得した撮影画像から、太陽光パネル群が撮影された対象画像を切り出す。具体的に、ＣＰＵ１１は、教師ありモデル２０２に、撮影画像を入力することで対象画像を切り出す。

【0055】

ステップＳ１０６において、ＣＰＵ１１は、対象画像から、太陽光パネル群に発生した異常を検出する。具体的に、ＣＰＵ１１は、教師なしモデル２０３に、対象画像を入力することで異常を検出する。

【0056】

ステップＳ１０８において、ＣＰＵ１１は、予め定められたフォーマットに従う異常画面を表示部１６に表示し、本出力処理を終了する。

【0057】

図５に示すように、本実施形態に係る異常画面には、異常撮影位置１６Ａが対応付けられた地図データ２０１が表示されている。図５に示す例では、異常撮影位置１６Ａは黒丸で表されている。なお、異常画面には、ＣＰＵ１１が検出した異常の画像、及び異常撮影位置の住所等が表示されていてもよい。

【0058】

次に、出力装置１０において実行される学習処理について説明する。学習処理は、ＣＰＵ１１が学習部１０Ｅとして機能することにより実行される。

【0059】

図６のステップＳ２００において、ＣＰＵ１１は、教師ありモデル２０２を学習する。具体的に、学習部１０Ｅは、太陽光パネル群が撮影された学習画像と当該太陽光パネル群の属性を示す属性情報との組を教師データとして、教師ありモデル２０２を学習する。

【0060】

ステップＳ２０２において、ＣＰＵ１１は、良品画像を複数の分割画像に分割する。

【0061】

ステップＳ２０４において、ＣＰＵ１１は、分割した複数の分割画像のうち、一部の分割画像を良品が撮影された画像であると判定するように教師なしモデル２０３を学習する。具体的に、ＣＰＵ１１は、上記一部の分割画像が入力されると、良品が撮影された画像であると出力するように教師なしモデル２０３のパラメータを設定する。

【0062】

ステップＳ２０６において、ＣＰＵ１１は、分割した複数の分割画像のうち、残りの分割画像をステップＳ２０４において学習した教師なしモデル２０３に入力する。

【0063】

ステップＳ２０８において、ＣＰＵ１１は、残りの分割画像は良品が撮影された画像であると教師なしモデル２０３が出力するか否かを判定する。ＣＰＵ１１は、残りの分割画像は良品が撮影された画像であると教師なしモデル２０３が出力する場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２１０に移行する。一方、ＣＰＵ１１は、残りの分割画像は異常が発生している太陽光パネル群が撮影された画像であると教師なしモデル２０３が出力する場合（ステップＳ２０８：ＮＯ）、ステップＳ２１２に移行する。

【0064】

ステップＳ２１０において、ＣＰＵ１１は、教師なしモデル２０３のパラメータを維持し、本学習処理を終了する。

【0065】

ステップＳ２１２において、ＣＰＵ１１は、教師なしモデル２０３のパラメータを変更し、本学習処理を終了する。具体的に、ＣＰＵ１１は、残りの分割画像は良品が撮影された画像であると出力するように教師なしモデル２０３を学習し、本学習処理を終了する。

【0066】

なお、本実施形態では、学習処理において、ＣＰＵ１１は教師ありモデル２０２を学習した後に教師なしモデル２０３を学習していた。しかし、この例に限られない。ＣＰＵ１１は教師なしモデル２０３を学習した後に教師ありモデル２０２を学習してもよい。

【0067】

また、本実施形態では、教師ありモデル２０２及び教師なしモデル２０３が出力装置１０によって学習されていた。しかし、この例に限られない。例えば、出力装置１０とは別体で構成された装置によって教師ありモデル２０２及び教師なしモデル２０３が学習されていてもよい。

【0068】

また、本実施形態では、ＣＰＵ１１は、教師なしモデル２０３に、対象画像を入力することで異常を検出していた。しかし、この例に限られない。例えば、ＣＰＵ１１は、太陽光パネル群が撮影された画像と当該画像は良品が撮影された画像であるか否かを示す情報との組を教師データとして学習されたモデルに、対象画像を入力することで異常を検出してもよい。

【0069】

また、本実施形態では、出力装置１０と飛行体２０とが別体で構成されている場合について説明した。しかし、この例に限られない。例えば、飛行体２０に出力装置１０が内蔵されていてもよい。

【0070】

また、本実施形態では、出力装置１０と、飛行体２０とは、通信手段Ｎを介して相互に通信可能とされていた。しかし、この例に限られない。例えば、出力装置１０と、飛行体２０とは、通信手段Ｎを介して相互に通信可能とされていなくてもよい。この場合、例えば、飛行体２０はメモリカード等の記憶装置にカメラ２５が撮影した撮影画像を格納する。そして、出力装置１０のＣＰＵ１１は、出力装置１０が備える入出力Ｉ／Ｆを介して、記憶装置からカメラ２５が撮影した撮影画像を取得する。

【0071】

以上、実施の形態を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

【0072】

また、上記実施の形態は、請求項にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出される。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

【0073】

また、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0074】

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0075】

本実施形態では、プログラムがＲＯＭにインストールされている形態を説明したが、これに限定されるものではない。本実施形態に係るプログラムを、コンピュータ読取可能な記憶媒体に記録した形態で提供してもよい。例えば、本実施形態に係るプログラムを、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等の光ディスクに記録した形態、若しくはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ及びメモリカード等の半導体メモリに記録した形態で提供してもよい。また、本実施形態に係る出力プログラム２００を、通信Ｉ／Ｆ１７を介して外部の装置から取得するようにしてもよい。

【0076】

また、上記実施形態では、出力装置１０における処理を、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現する場合について説明したが、本発明はこれに限定されるものではない。例えば、出力装置１０における処理を、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現する形態としてもよい。

【0077】

その他、上記実施形態で説明した出力装置１０と、飛行体２０と、の構成は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。

【0078】

また、上記実施の形態で説明した出力装置１０における処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0079】

また、本開示は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

【符号の説明】

【0080】

１０ 出力装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１６ 表示部
１７ 通信Ｉ／Ｆ
１９ バス
２０ 飛行体
２４ 測位装置
２５ カメラ
２７ 通信Ｉ／Ｆ
１００ 出力システム
２００ 出力プログラム
２０１ 地図データ
２０２ 教師ありモデル
２０３ 教師なしモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】