特開 2024-17121 プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017121

(43)【公開日】2024-02-08

(54)【発明の名称】プログラム、及び情報処理装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240201BHJP

   G01N 21/88 20060101ALI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

   G06V 10/764 20220101ALI20240201BHJP

【ＦＩ】

G06T7/70 Z

G01N21/88 Z

G06T7/00 610B

G06T7/00 350B

G06V10/764

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022119559

(22)【出願日】2022-07-27

(71)【出願人】

【識別番号】509259817

【氏名又は名称】イオスエナジーマネジメント株式会社

(71)【出願人】

【識別番号】504145320

【氏名又は名称】国立大学法人福井大学

(71)【出願人】

【識別番号】522300640

【氏名又は名称】株式会社テクノ三紫

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】大塚 篤史

(72)【発明者】

【氏名】吉田 俊之

(72)【発明者】

【氏名】東海 彰吾

(72)【発明者】

【氏名】小野 雅司

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA88

2G051AB03

2G051AB04

2G051AC04

2G051CA04

2G051EC01

5L096BA03

5L096CA05

5L096FA19

5L096FA67

5L096FA69

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】風力発電機のブレードの損傷の有無または損傷の状態を判定することを支援するプログラム及び情報処理装置を提供する。
【解決手段】サーバと、撮影装置とが、ネットワークを介して接続されている情報処理システムにおいて、サーバ１０は、複数の画像マーカが付された物体（風力発電機のブレード）を、各々異なる位置から撮影した複数の画像を取得する取得手段２０４と、取得した各画像について、当該画像に含まれる複数の画像マーカに対応する画像部分に基づいて、物体の表面形状を特定する特定手段２０７と、特定された表面形状に基づいて複数の画像を合成する合成手段２０８と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータに、
複数の画像マーカが付された物体を、各々異なる位置から撮影された複数の画像を取得する取得ステップと、
前記取得された各画像について、当該画像に含まれる前記複数の画像マーカに対応する画像部分に基づいて、当該物体の表面形状を特定する特定ステップと、
該特定された表面形状に基づいて前記複数の画像を合成する合成ステップと
を実行させるためのプログラム。

【請求項2】

前記特定ステップにおいて、各画像マーカが付された位置における前記物体の表面の法線方向をそれぞれ決定し、該決定した法線方向に基づいて前記表面形状を特定する
ことを特徴とする請求項１に記載のプログラム。

【請求項3】

各画像マーカは、少なくとも各マーカを一意に特定する識別情報が内包された二次元バーコードである
ことを特徴とする請求項１に記載のプログラム。

【請求項4】

前記合成された画像に基づいて、前記物体の表面の損傷状況を判定する判定ステップを更に有する
ことを特徴とする請求項１に記載のプログラム。

【請求項5】

前記判定ステップにおいて、
損傷の有無を判定し、
損傷が生じていると判定した場合、当該損傷が、ひび割れ、剥離、及び穴の少なくともいずれの一つに属するかをさらに判定する
ことを特徴とする請求項４に記載のプログラム。

【請求項6】

前記判定ステップにおいて、物体に生じた損傷の種類ごとに、当該損傷が生じている物体の複数の画像を学習することにより生成された学習モデルを用いて、当該損傷が、ひび割れ、剥離、及び穴の少なくともいずれの一つに属するかを判定する
ことを特徴とする請求項５に記載のプログラム。

【請求項7】

前記判定ステップにおいて、前記損傷の原因が、落雷、他の物体との衝突、及び経年劣化の少なくともいずれの一つに属するかをさらに判定する
ことを特徴とする請求項５に記載のプログラム。

【請求項8】

前記判定ステップにおいて、
一の損傷について、当該損傷の規模、当該損傷の形状ないし方向、および当該損傷が生じた前記物体上の位置の少なくともいずれか一つに基づいて、当該損傷の深刻度を判定する
ことを特徴とする請求項５に記載のプログラム。

【請求項9】

前記取得ステップにおいて、前記物体を複数の時点において撮影した画像を取得し、
前記判定ステップにおいて、前記物体に生じた各損傷を一意に特定し、損傷ごとの経時変化を特定する
ことを特徴とする請求項４乃至８のいずれか一項に記載のプログラム。

【請求項10】

複数の画像マーカが付された物体を、各々異なる位置から撮影された複数の画像を取得する取得手段と、
前記取得された各画像について、当該画像に含まれる前記複数の画像マーカに対応する画像部分に基づいて、当該物体の表面形状を特定する特定手段と、
該特定された表面形状に基づいて前記複数の画像を合成する合成手段と
を備えることを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、風力発電機のブレードの損傷を検出する技術に関する。

【背景技術】

【0002】

風力発電機のブレードの損傷を検出する技術が知られている。例えば特許文献１には、撮影部を備えたドローンを用いてブレードの損傷を点検する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１９６３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

通常、ブレードは、完全に平面ではなく、微妙に湾曲している。特許文献１に記載の技術では、ブレードの表面形状を考慮していないため、ブレードの損傷度合いを正確に判定することが容易ではなかった。また、風力発電機は巨大な構造物であり、ブレードは地上からかなり高い位置にあるため、同一視点から撮影することが困難であるため、損傷の経時変化を適切に評価することが容易ではなかった。

【0005】

本発明は、風力発電機のブレードの損傷の有無または損傷の状態を判定することを支援することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、コンピュータに、複数の画像マーカが付された物体を、各々異なる位置から撮影された複数の画像を取得する取得ステップと、前記取得された各画像について、当該画像に含まれる前記複数の画像マーカに対応する画像部分に基づいて、当該物体の表面形状を特定する特定ステップと、該特定された表面形状に基づいて前記複数の画像を合成する合成ステップとを実行させるためのプログラムを提供する。

【0007】

本発明の別の一態様は、複数の画像マーカが付された物体を、各々異なる位置から撮影された複数の画像を取得する取得手段と、前記取得された各画像について、当該画像に含まれる前記複数の画像マーカに対応する画像部分に基づいて、当該物体の表面形状を特定する特定手段と、該特定された表面形状に基づいて前記複数の画像を合成する合成手段とを備えることを特徴とする情報処理装置を提供する。

【発明の効果】

【0008】

本発明によれば、風力発電機のブレードの損傷の有無または損傷の状態を判定することが支援される。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る情報処理システムの概要を示す図。

【図2】サーバの機能構成を例示する図。

【図3】サーバのハードウェア構成を例示する図。

【図4】教師データ学習処理を行うサーバの動作を例示するフローチャート。

【図5】ひび割れ抽出画像を例示する図。

【図6】剥離抽出画像を例示する図。

【図7】穴抽出画像を例示する図。

【図8】損傷状況判定処理を行うサーバの動作を例示するフローチャート。

【図9】合成前ブレード画像を例示する図。

【図10】合成前ブレード画像を例示する図。

【図11】ブレード抽出画像を例示する図。

【図12】合成後ブレード画像を例示する図。

【図13】損傷マーキング画像を例示する図。

【図14】画像データベースを例示する図。

【発明を実施するための形態】

【0010】

１．構成
図１は、一実施形態に係る情報処理システムＳの概要を示す図である。情報処理システムＳは、サーバ１０、ネットワーク２０、及び撮影装置３０から構成される。サーバ１０と撮影装置３０とは、ネットワーク２０を介して接続されている。ネットワーク２０は、インターネットなどのネットワーク回線網である。撮影装置３０は、ネットワーク２０に有線又は無線で接続可能であり、ネットワーク２０を介して、ネットワーク２０に接続されているサーバ１０との通信が可能である。

【0011】

情報処理システムＳは、風力発電機のブレード（物体に相当する）の損傷状況を特定するシステムである。一般に、ブレードは、落雷又は飛来物によって損傷を受ける可能性があるため、定期的な点検を必要とする。また、飛来物と衝突することによって、ブレードが損傷を受けることもある。さらには、ブレードを長年にわたり使用していることによる経年劣化によって損傷が生じることもある。非常に大きな構造物であるブレードを目視によって損傷状況を特定することは、人的負担及び費用負担が大きい。

【0012】

このような背景の下、情報処理システムＳは、ドローン（不図示）に備えられた撮影装置３０において撮影された画像を用いて、ブレードの損傷状況を特定する。また、ブレードの損傷状況の判定の精度を高めるため、撮影装置３０は、１つの損傷に対し、複数枚の画像を撮影する。サーバ１０は、撮影された複数枚の画像を用いて、ブレードの表面の曲面近似を行い、得られた画像を合成することによって、ブレードの損傷状況をより適切に判定する。また、合成して得られた画像が学習済みの機械学習モデルＭに入力されることによって、ブレードの損傷状態の把握が簡便かつ容易となる。

【0013】

サーバ１０は、風力発電機のブレードの損傷状況を特定する。サーバ１０は、画像に含まれるブレード部分を特定するための抽出用機械学習モデルＭ１、ブレードの損傷状況を特定するための損傷用機械学習モデルＭ２（抽出用機械学習モデルＭ１及び損傷用機械学習モデルＭ２を総称して、機械学習モデルＭという）、及び、機械学習モデルＭを用いて生成された画像を含む画像データベースを記憶している。

【0014】

撮影装置３０は、ＱＲコード（登録商標）が貼り付けられたブレードを撮影するカメラである。ＱＲコード（画像マーカに相当する）は、ＱＲコードの各々を一意に特定する識別情報が内包された二次元コードである。複数枚のＱＲコードがブレードに貼り付けられることによって、損傷のブレード上の位置が一意に特定される。また、ＱＲコードは、複数枚のブレードの中から１枚のブレードを特定する識別情報も含んでいる。すなわち、ＱＲコードは、ブレードの損傷を一意に特定し、ＱＲコードが貼り付けられているブレードそのものを特定する二次元コードである。撮影装置３０は、ユーザによる操作により移動可能なドローンに備えられている。したがって、ユーザによる操作を介してドローンが移動することに伴い、撮影装置３０も移動する。撮影装置３０は、ユーザによる遠隔操作を介して、撮影を行う。撮影装置３０は、サーバ１０に、撮影した画像（以下、合成前ブレード画像という）を送信する。

【0015】

図２は、サーバ１０の機能構成を例示する図である。サーバ１０は、取得手段２０１、学習手段２０２、記憶手段２０３、取得手段２０４、抽出手段２０５、生成手段２０６、特定手段２０７、合成手段２０８、判定手段２０９、生成手段２１０、出力手段２１１、制御手段２１２、取得手段２１３、及び判定手段２１４を有する。

【0016】

サーバ１０における機能を説明する。記憶手段２０３は、各種のデータを記憶する。また、記憶手段２０３は、機械学習モデルＭ、画像データベース、及び画像データベースに記憶されているファイル名に対応する画像ファイルを記憶している。機械学習モデルＭは、ブレードの画像、ブレードの損傷情報を学習している。

【0017】

取得手段２０１は、情報処理システムＳの外部から、教師データとして、ブレードの画像、当該ブレードの損傷情報、及びブレードの抽出情報を取得する。具体的には、サーバ１０にアクセス可能なコンピュータ（不図示、以下ＰＣという）が、サーバ１０にアクセスし、サーバ１０に教師データを送信する。損傷情報は、損傷状況を示す情報であって、損傷の有無、損傷の種類、損傷の原因、及び損傷の深刻度を含んでいる。損傷の種類は、ひび割れ、剥離、及び穴の少なくともいずれか１つである。抽出情報は、ブレードの画像のうち、どの部分がブレードであるかを示す情報であって、例えば、ブレードの画像上における位置情報を示している。

【0018】

学習手段２０２は、取得した教師データを用いて機械学習モデルＭに機械学習をさせる。すなわち、学習手段２０２は、学習済の機械学習モデルＭを生成する。

【0019】

取得手段２０４は、撮影装置３０から、撮影装置３０において撮影された合成前ブレード画像を取得する。

【0020】

抽出手段２０５は、抽出用機械学習モデルＭ１に、撮影装置３０から取得された合成前ブレード画像を入力し、ブレード部分を抽出する。すなわち、抽出手段２０５は、合成前ブレード画像においてどの部分がブレードであるかを特定する。

【0021】

生成手段２０６は、抽出されたブレード部分が着色された、ブレード抽出画像を生成する。

【0022】

特定手段２０７は、合成前ブレード画像に含まれる複数のＱＲコードに対応する画像部分に基づいて、ブレードの表面形状を特定する。

【0023】

合成手段２０８は、特定されたブレードの表面形状に基づいて合成前ブレード画像を合成することによって、合成後ブレード画像を生成する。

【0024】

判定手段２０９は、損傷用機械学習モデルＭ２に合成後ブレード画像、及びブレード抽出画像を入力し、ブレードの表面の損傷状況を判定する。具体的には、判定手段２０９は、ブレードの損傷情報として、ブレードの損傷の有無、ブレードの損傷の種類、ブレードの損傷の原因、ブレードの損傷の深刻度を判定する。生成手段２１０は、損傷情報、損傷マーキング画像、及び単独損傷抽出画像を生成する。出力手段２１１は、ＰＣに、損傷情報及び単独損傷抽出画像を出力する。制御手段２１２は、各種の制御を行う。取得手段２１３は、過去に撮影された損傷の画像を取得する。判定手段２１４は、画像解析を用いて、損傷の経時変化を特定する。

【0025】

図３は、サーバ１０のハードウェア構成を例示する図である。サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、及び通信ＩＦ（Interface）１０４を有するコンピュータ装置である。ＣＰＵ１０１は、プログラムを実行して各種の演算を行い、サーバ１０の他のハードウェア要素を制御する制御装置である。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する主記憶装置である。ストレージ１０３は、各種のプログラム及びデータを記憶する不揮発性の補助記憶装置である。通信ＩＦ１０４は、所定の通信規格（例えばイーサネット（登録商標））に従って他の装置と通信する通信装置である。

【0026】

この例において、ストレージ１０３は、コンピュータ装置を情報処理システムＳにおけるサーバ１０として機能させるためのプログラム（以下「サーバプログラム」という）を記憶する。ＣＰＵ１０１がサーバプログラムを実行することにより、コンピュータ装置に図３の機能が実装される。ＣＰＵ１０１がサーバプログラムを実行している状態において、メモリ１０２及びストレージ１０３の少なくとも一方が記憶手段２０３の一例であり、ＣＰＵ１０１が、学習手段２０２、抽出手段２０５、生成手段２０６、特定手段２０７、合成手段２０８、判定手段２０９、生成手段２１０、制御手段２１２、取得手段２１３、及び判定手段２１４の一例であり、通信ＩＦ１０４が、取得手段２０１、取得手段２０４、及び出力手段２１１の一例である。

【0027】

２．動作
２．１ 教師データの学習
図４は、情報処理システムＳにおいて教師データ学習処理を行うサーバ１０の動作を例示するフローチャートである。サーバ１０は、ＰＣを用いたユーザの操作に応じて、教師データ学習処理を開始する。

【0028】

ステップＳ４０１において、取得手段２０１は、ＰＣから、教師データとして、ブレードの画像、当該ブレードの画像に対応付けられた当該ブレードの損傷情報、及びブレードの画像に対応付けられたブレードの抽出情報を取得する。損傷情報及び抽出情報は、ユーザによってあらかじめ設定される。ブレードの画像は、教師データとして使用されるよう予め準備されたデータであって、例えば、他の風力発電機のブレードの画像であってもよい。

【0029】

図５～図７に示す図は、教師データとして用いられるブレードの画像を例示する図である。図５は、ひび割れ抽出画像を例示する図である。ひび割れ抽出画像は、損傷の種類が「ひび割れ」であるブレードの画像である。図６は、剥離抽出画像を例示する図である。剥離抽出画像は、損傷の種類が「剥離」であるブレードの画像である。図７は、穴抽出画像を例示する図である。穴抽出画像は、損傷の種類が「穴」であるブレードの画像である。

【0030】

ステップＳ４０１において取得される損傷情報は、損傷の有無、損傷の種類、損傷の原因、及び損傷の深刻度を含んでいる。損傷の有無は、損傷あり、又は損傷なしのいずれかである。損傷情報が損傷の有無を含むことは、すなわち、教師データとして用いられる画像には、損傷のないブレードの画像が含まれていることを示している。損傷のないブレードの画像は、例えば、汚れのあるブレードの画像、撮影環境によって生じた影を含んだブレードの画像、又は汚れも影もないブレードの画像である。損傷の種類は、ひび割れ、剥離、及び穴の少なくともいずれか１つである。

【0031】

損傷の原因は、落雷、他のブレードとの衝突、及び経年劣化の少なくともいずれか１つである。例えば、図５に示す図に含まれるブレードについて、損傷の原因が経年劣化である場合、ステップＳ４０１においては、図５に示す画像に、損傷の有無が「損傷あり」であって、損傷の種類が「ひび割れ」であって、損傷の原因が「経年劣化」であるという情報が対応付けられた教師データが取得される。深刻度は、損傷の深刻度合いを示す値であって、損傷の規模、損傷の形状ないし方向、及び損傷が生じたブレード上の位置の少なくともいずれか一つに基づいて決められている値である。

【0032】

ここで、深刻度が損傷の形状に依存し得るのは、損傷の原因（落雷なのか飛来物との衝突なのかなど）によって損傷の形状に違いがでるためである。一般に、落雷の場合、表面上の傷のサイズが小さくても内部まで傷が達していることが多く、この場合水分が内部に侵入して木材でできたブレードが腐ってしまい、最悪、破損という大事故になる可能性を警戒する必要があるので、深刻度の値は大きくなる。深刻度が損傷の方向（例えばひび割れの方向）し得るのは、一般的に、回転しているブレードに作用する力は根元から末端に伸びる場合と、この方向に垂直な方向で異なり、傷の方向によってその傷が進行する速度が異ないうるためである。深刻度が損傷の位置に依存し得るのは、例えば根元付近と末端付近とではブレードに作用する力が異なるし、ブレードの前面、側面、背面では作用する力や強度が異なるからである。

【0033】

深刻度は１～５の５段階に分けられていて、数字が大きいほど、損傷の深刻度合いが高い。図５に示す図に含まれるブレードについて、深刻度が３である場合、ステップＳ４０１においては、図５に示す画像に、深刻度が「３」であるという情報が対応付けられた教師データが取得される。

【0034】

ステップＳ４０２において、学習手段２０２は、ステップＳ４０１において取得されたブレードの画像及び抽出情報を教師データ（以下、抽出用教師データという）として、抽出用機械学習モデルＭ１に機械学習をさせる。また、学習手段２０２は、ステップＳ４０１において取得されたブレードの画像及び損傷情報を教師データ（以下、損傷用教師データという）として、損傷用機械学習モデルＭ２に機械学習をさせる。すなわち、学習手段２０２は、学習済の抽出用機械学習モデルＭ１及び損傷用機械学習モデルＭ２を生成する。抽出用教師データは、ブレードの画像を説明変数とし、抽出情報を目的変数としている。すなわち、抽出用機械学習モデルＭ１は、ブレードの画像が入力されると、当該ブレードの抽出情報を出力する。損傷用教師データは、ブレードの画像を説明変数とし、損傷情報を目的変数としている。すなわち、損傷用機械学習モデルＭ２は、ブレードの画像が入力されると、当該ブレードの損傷情報を出力する。

【0035】

２．２ 損傷状況の判定
図８は、損傷状況判定処理を行うサーバの動作を例示するフローチャートである。損傷状況判定処理は、サーバ１０が撮影装置３０から画像を取得することをトリガーとして開始される。撮影装置３０はモニタ（不図示）と通信可能であって、ユーザは、モニタを介して撮影装置３０において撮影しているエリアを確認することができる。ユーザは、モニタを見ながらドローンを操作し、撮影装置３０がブレードを撮影可能な位置に、ドローンを移動させる。撮影装置３０は、ユーザの指示に従って撮影を実行する。ユーザがモニタを見ながらドローンを操作することによって、撮影装置３０はユーザの所望の位置において撮影をすることができる。

【0036】

ステップＳ８０１において、取得手段２０４は、撮影装置３０から、撮影装置３０においてブレードを各々異なる位置から撮影された、２枚の合成前ブレード画像を取得する。２枚の合成前ブレード画像は、ブレードに含まれる損傷状況をより正確に判定するために取得される。

【0037】

図９及び図１０は合成前ブレード画像を例示する図である。図９に示す合成前ブレード画像及び図１０に示す合成前ブレード画像は、いずれも同一の損傷を撮影対象として得られた画像であるが、画像を撮影したタイミングにおける撮影装置３０の位置がそれぞれ異なる。図９に示す画像及び図１０に示す画像に含まれるブレードにおいては、損傷のブレード上の位置を一意に特定するため、損傷の周囲に複数のＱＲコードが貼り付けられている。なお、ＱＲコードは、例えば、ブレードの製造時、風力発電機の製造時、風力発電機が稼働を始める前、あるいは点検のために稼働を停止しているときに、作業員等によってブレードに貼り付けられる。

【0038】

ここで、撮影装置３０の位置や距離などの撮影条件によっては、ブレードの損傷が画像に写らない場合があるが、同一の撮影対象（ブレードの部分）について複数の撮影位置から撮影を行うことで、損傷の状態をより正確に判定することができる。例えば、図１０に示す画像においては、図９に示す画像からでは把握できない損傷が写っていることがわかる。

【0039】

ステップＳ８０２において、抽出手段２０５は、ステップＳ８０１において取得されたブレード画像のそれぞれについて、ブレード部分を抽出する。すなわち、抽出手段２０５は、合成前ブレード画像において、どの部分がブレードであるかを特定する。具体的には、抽出用機械学習モデルＭ１に、ステップＳ８０１において取得された合成前ブレード画像を入力することによって、合成前ブレード画像においてどの部分がブレードであるかを特定する。

【0040】

ステップＳ８０３において、生成手段２０６は、ステップＳ８０２において特定されたブレード部分が着色されたブレード抽出画像を生成する。

【0041】

図１１は、ブレード抽出画像を例示する図である。図１１のうち左側の画像においては、色の濃い部分が、ステップＳ８０３においてブレードとして特定された部分である。図１１のうち右側の画像は、図１１の左側の画像を簡素に示したものである。図１１の両図においては、画像の右側部分がブレードとして特定された部分であって、画像の左側部分がブレード以外の部分、非ブレードとして特定された部分である。

【0042】

ステップＳ８０４において、特定手段２０７は、ステップＳ８０３において特定されたブレード部分について、ブレードの表面形状を特定する。具体的には、まず、合成前ブレード画像に含まれる複数のＱＲコードの各々が付された位置におけるブレードの表面の法線方向を決定する。法線方向は、ＱＲコードの３次元座標ベクトル及び投影点の２次元座標ベクトルを用いて、ＱＲコードの原点から見たカメラの位置姿勢回転行列を求めることによって、決定される。決定された法線方向に基づいてブレードの表面形状を特定する。より具体的には、ブレードの表面の法線ベクトルを用いてブレードの表面の曲面近似を行うことにより、ブレードの表面形状を特定する。

【0043】

ステップＳ８０５において、合成手段２０８は、ステップＳ８０４において特定された、ブレードの表面形状に基づいて、２枚の合成前ブレード画像を合成する。すなわち、ステップＳ８０５において、合成手段２０８は、合成後ブレード画像を生成する。具体的には、まず、２枚の合成前ブレード画像のそれぞれについて、ブレードの表面形状にしたがって、合成前ブレード画像に含まれるＱＲコードの基準点が乗る平面を、正面から俯瞰するように幾何変換した画像（以下、俯瞰画像という）を生成する。すなわち、合成前ブレード画像が２枚ある場合、２枚の俯瞰画像が生成される。合成手段２０８は、生成された俯瞰画像を、撮影方向から平行投影マッピングすることによって、合成後ブレード画像を生成する。合成後ブレード画像は、互いに異なる条件下で撮影されたブレードの画像を同一方向から撮影したように変換された画像であるため、損傷の経時変化を定量的に管理することが可能となる。ブレードの表面形状は、平面ではなく曲面であるため、図９及び図１０に示したように、撮影装置３０とブレードとの位置関係によっては、損傷の一部が画像に写らないことがある。また、撮影装置３０は、移動可能なドローンに備えられているため、撮影のたびに正確に同じ位置からブレードを撮影できるとは限らない。ステップＳ８０５における合成が行われることによって、ブレードの画像を同一の視点から撮影したように変換された画像が得られる上、損傷をより適切に捉えた画像を得ることができる。

【0044】

図１２は、合成後ブレード画像を例示する図である。図１２に示す合成後ブレード画像は、図９に示す合成前ブレード画像及び図１０に示す合成前ブレード画像を合成して得られた画像である。合成後ブレード画像は、着色されていない合成前ブレード画像を合成して得られる画像である。このように、複数の合成前ブレード画像を用いて合成後ブレード画像が生成されることによって、ブレードの損傷状況をより正確に判定することができる。また、ブレードの形状が完全な平面とは限らない（換言すると、ブレードの場所ごとに曲率が変わり得る）ことを考慮し、着目しているブレード表面の位置において表面の曲面近似を行うことによって、ブレードの損傷状況の判定の精度をより高めることができる。

【0045】

ステップＳ８０６において、判定手段２０９は、損傷用機械学習モデルＭ２に、ステップＳ８０３において生成されたブレード抽出画像、及びステップＳ８０５における合成によって得られた合成後ブレード画像を入力することによって、ブレードの表面の損傷状況を判定する。具体的には、合成後ブレード画像について、ステップＳ８０２において特定されたブレード部分に損傷があるかを判定し、ブレードに損傷があると判定された場合には、当該損傷の種類が、ひび割れ、剥離、及び穴のいずれに属するかを判定する。また、ブレードに損傷があると判定された場合には、当該損傷の原因が、落雷、他のブレードとの衝突、及び経年劣化のいずれに属するかを判定する。ブレードに損傷があると判定された場合には、さらに、深刻度を判定する。

【0046】

ステップＳ８０７において、生成手段２１０は、損傷情報、損傷マーキング画像、及び単独損傷抽出画像を生成する。損傷マーキング画像は、ステップＳ８０６において判定された損傷がマーキングされている画像である。単独損傷抽出画像は、損傷マーキング画像に含まれる損傷の１つ１つを個別に切り取って生成された画像である。例えば、図５～図７に示す画像は、それぞれ単独損傷抽出画像である。

【0047】

図１３は、損傷マーキング画像を例示する図である。図１３に示す損傷マーキング画像においては、３つの損傷がマーキングされている。１３０１～１３０３が、それぞれ損傷である。

【0048】

ステップＳ８０８において、記憶手段２０３は、画像データベースに、ステップＳ８０５において合成された合成後ブレード画像、及び、ステップＳ８０７において生成された損傷情報、損傷マーキング画像、及び単独損傷抽出画像を記憶する。損傷情報は、損傷の種類、損傷の原因、及び深刻度を含んでいる。

【0049】

図１４は、画像データベースを例示する図である。画像データベースは、撮影日、合成後ブレード画像ファイル名、損傷マーキング画像ファイル名、単独損傷抽出画像ファイル名、損傷の種類、損傷の原因、及び深刻度を記憶している。損傷の種類は、「ひび割れ」、「剥離」、又は「穴」である。損傷の原因は、「落雷」、「他のブレードとの衝突」、又は「経年劣化」である。深刻度は、１～５の５段階のいずれかで示される。撮影日は、合成後ブレード画像に対応する合成前ブレード画像が撮影された日付であって、ステップＳ８０１において合成前ブレード画像が取得されたときに、一緒に取得されている。合成後ブレード画像ファイル名は、合成後ブレード画像のファイル名である。損傷マーキング画像ファイル名は、損傷マーキング画像のファイル名である。単独損傷抽出画像ファイル名は、単独損傷抽出画像のファイル名である。損傷の種類は、ステップＳ８０６において判定された損傷の種類であって、「ひび割れ」、「剥離」、及び「穴」のいずれかである。例えば、合成後ブレード画像ファイル名が「２０２２０５３１＿ｂｌａｄｅ＿２．ｊｐｇ」であるブレード抽出画像に対応する損傷マーキング画像ファイル名は、「２０２２０５３１＿ｂｌａｄｅ＿２＿ｍａｒｋｅｄ．ｊｐｇ」である。損傷マーキング画像ファイル名が「２０２２０５３１＿ｂｌａｄｅ＿２＿ｍａｒｋｅｄ．ｊｐｇ」である損傷マーキング画像には、「２０２２０５３１＿ｂｌａｄｅ＿２＿ｍａｒｋｅｄ＿１．ｊｐｇ」及び「２０２２０５３１＿ｂｌａｄｅ＿２＿ｍａｒｋｅｄ＿２．ｊｐｇ」の２つの単独損傷抽出画像ファイル名が対応している。すなわち、合成後ブレード画像ファイル名が「２０２２０５３１＿ｂｌａｄｅ＿２．ｊｐｇ」である合成後ブレード画像に含まれるブレード部分には、２つの損傷がある。また、それら２つの損傷の種類はそれぞれ、「剥離」及び「穴」であって、損傷の原因はそれぞれ、「他のブレードとの衝突」及び「経年劣化」であって、深刻度はそれぞれ、「２」及び「４」である。記憶手段２０３は、合成後ブレード画像ファイル名、損傷マーキング画像ファイル名、及び単独損傷抽出画像ファイル名のそれぞれに対応する画像を記憶している。

【0050】

ステップＳ８０９において、取得手段２１３は、損傷ごとの経時変化を特定するため、ステップＳ８０７において特定された損傷のそれぞれについて、記憶手段２０３に記憶された、過去に生成された合成後ブレード画像を取得する。

【0051】

ステップＳ８１０において、判定手段２１４は、記憶手段２０３に記憶された所定のアルゴリズムを用いて、ステップＳ８０７において特定された損傷の経時変化を特定する。具体的には、例えば、一の損傷について、ステップＳ８０９において取得された合成後ブレード画像とステップＳ８０７において生成された合成後ブレード画像とを重ね合わせて、画像解析を用いることによって、損傷の大きさの変化が特定される。損傷の大きさの変化は、経時変化度として、数値を用いて特定される。経時変化度が高いほど、損傷の大きさの変化が大きい。判定手段２１４は、変化前の日付、変化後の日付、及び経時変化度を紐づけて、経時変化情報（不図示）を生成する。

【0052】

ステップＳ８１１において、記憶手段２０３は、ステップＳ８１０において特定された経時変化情報を記憶する。

【0053】

ステップＳ８１２において、出力手段２１１は、ＰＣに損傷情報、単独損傷抽出画像、及び経時変化情報を出力する。合成後ブレード画像が機械学習モデルＭに入力されることによって得られた損傷情報及び単独損傷抽出画像がＰＣに出力されることによって、ユーザは、ブレードにどのような損傷があるのかを適切に把握することができる。また、損傷の経時変化が出力されることによって、ユーザは、損傷の経時変化の度合いをより適切に把握することができる。

【0054】

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例に記載した事項のうち２つ以上のものが組み合わせて用いられてもよい。

【0055】

損傷状況を特定する対象は、風力発電機のブレード面に限定されず、損傷を伴う面であればよい。例えば、建造物の壁面であってもよい。

【0056】

損傷の深刻度は５段階に分けられることに限定されない。例えば、深刻度は１０段階に分けられていても良い。

【0057】

撮影装置３０が撮影を行う手段は、ユーザによる遠隔操作に限定されない。撮影装置３０は、ユーザによってあらかじめ定められた所定のタイミングごとに撮影を実行してもよい。また、撮影装置３０が撮影をする位置は、ユーザの操作によって決定されることに限定されない。例えば、撮影装置３０又はドローンが所定のアルゴリズムを用いてブレードの撮影に適した位置を自動的に判定することで、撮影位置が決定されてもよい。

【0058】

サーバ１０が合成前ブレード画像を取得する方法は、撮影装置３０が合成前ブレード画像を送信することに限定されない。サーバ１０は、例えば、合成前ブレード画像が記憶されている記憶媒体を読み取ることによって、合成前ブレード画像を取得してもよい。すなわち、撮影装置３０は、サーバ１０との通信機能を備えていなくてもよい。撮影装置３０が通信機能を備えていない場合、撮影装置に備えられた記憶手段（例えば、ＳＤカードなど）に記憶されたデータが、ＰＣなどを経由してサーバ１０に読み込まれてもよい。

【0059】

ＰＣに出力される情報及び画像は、損傷情報及び単独損傷抽出画像に限定されない。例えば、損傷マーキング画像がＰＣに出力されてもよい。

【0060】

ステップＳ８０１において取得される合成前ブレード画像は２枚に限定されない。合成前ブレード画像は、例えば、３枚であってもよい。

【0061】

ステップＳ８０６において判定される損傷の種類は、１つの損傷に対して１つの損傷の種類であることに限定されず、１つの損傷に対して複数の損傷の種類が判定されてもよい。また、損傷の種類は、ひび割れ、剥離、又は穴に限定されず、例えば、欠けであってもよい。

【0062】

ステップＳ８０６において判定される損傷の原因は、落雷、他のブレードとの衝突、飛来物との衝突、又は経年劣化に限定されない。

【0063】

ステップＳ８０６において判定される項目は、損傷の種類、及び損傷の原因に限定されない。例えば、ステップＳ８０６において、損傷の経時変化が特定されてもよい。具体的には、サーバ１０は、ステップＳ８０１において取得された画像に対応するブレードを複数の時点において撮影した画像を取得する。サーバ１０は、取得された各画像における各損傷を一意に特定し、各損傷の経時変化を判定する。

【0064】

学習手段２０２が学習をする教師データは、損傷状況判定処理を実行するために事前に準備されたデータに限定されない。例えば、ユーザがステップＳ８０７において生成された損傷情報が適切であるかを判断した後、ステップＳ８０７において得られたデータを機械学習モデルＭに追加で機械学習させてもよい。人的フィードバックにより適切にアノテーション処理された情報を用いて機械学習させることによって、ブレードの損傷状況の特定の精度を向上させることができる。

【0065】

ブレードの表面の損傷状況を判定するのは、損傷用機械学習モデルＭ２を用いることに限定されない。例えば、人が、合成後ブレード画像を見て損傷状況を判定してもよい。

【0066】

損傷の経時変化の特定は、画像解析によって行われることに限定されない。例えば、ユーザが、ＰＣに出力された複数の合成後ブレードを閲覧し、目視で経時変化を判断してもよい。

【0067】

ステップＳ８１２において出力されるものは、損傷情報及び単独損傷抽出画像に限定されない。例えば、ステップＳ８１２において、合成後ブレード画像、ブレード抽出画像、及び損傷マーキング画像の少なくとも１つが出力されてもよい。

【0068】

情報処理システムＳにおける機能要素とハードウェア要素との対応関係は実施形態において例示したものに限定されない。例えば、実施形態においてサーバ１０の機能として説明したものの一部が、別のサーバに実装してもよい。あるいは、実施形態においてサーバ１０の機能として説明したものの一部を、ネットワーク上の他の装置に実装してもよい。サーバ１０は物理サーバであってもよいし、仮想サーバ（いわゆるクラウドを含む）であってもよい。撮影装置３０の機能の一部または全部がサーバ１０に実装されてもよい。

【0069】

情報処理システムＳの動作は上述した例に限定されない。情報処理システムＳの処理手順は、矛盾の無い限り、順序が入れ替えられてもよい。また、情報処理システムＳの一部の処理手順が省略されてもよい。

【0070】

要するに、本発明に係る情報処理システムにおいて、複数の画像マーカが付された物体を、各々異なる位置から撮影した複数の画像を取得する取得ステップと、前記取得された各画像について、当該画像に含まれる前記複数の画像マーカに対応する画像部分に基づいて、当該物体の表面形状を特定する特定ステップと、該特定された表面形状に基づいて前記複数の画像を合成する合成ステップとが実行されていればよい。

【0071】

実施形態において例示した各種のプログラムは、それぞれ、インターネット等のネットワークを介したダウンロードにより提供されてもよいし、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ読み取り可能な非一時的記録媒体に記録された状態で提供されてもよい。

【符号の説明】

【0072】

１０…サーバ、２０…ネットワーク、３０…撮影装置、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…通信ＩＦ、２０１…取得手段、２０２…学習手段、２０３…記憶手段、２０４…取得手段、２０５…抽出手段、２０６…生成手段、２０７…特定手段、２０８…合成手段、２０９…判定手段、２１０…生成手段、２１１…出力手段、２１２…制御手段、２１３…取得手段、２１４…判定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】