ホーム > 特許ランキング > 日本グリーン電力開発株式会社
▶ 日本グリーン電力開発株式会社の特許一覧 ▶ ＰＣＩソリューションズ株式会社の特許一覧 ▶ データステップス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】名寄せ方法および名寄せプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240806BHJP
【ＦＩ】
G06T7/00 300F
【請求項の数】
8
(21)【出願番号】P 2024045255
(22)【出願日】2024-03-21
【審査請求日】2024-03-25
【早期審査対象出願】
(73)【特許権者】
【識別番号】518209023
【氏名又は名称】日本グリーン電力開発株式会社
(73)【特許権者】
【識別番号】513087677
【氏名又は名称】ＰＣＩソリューションズ株式会社
(73)【特許権者】
【識別番号】523114143
【氏名又は名称】データステップス株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】デロイトトーマツ弁理士法人
(72)【発明者】
【氏名】古賀 淳也
(72)【発明者】
【氏名】君塚 健太
(72)【発明者】
【氏名】野口 雅之
(72)【発明者】
【氏名】渡辺 芳典
(72)【発明者】
【氏名】高山 洋史
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開２０１２－０４８５２３（ＪＰ，Ａ）
【文献】特開２０１７－２１９９１２（ＪＰ，Ａ）
【文献】特開２０２０－１１２４９９（ＪＰ，Ａ）
【文献】特開２０２１－０８５８１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００，７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
(57)【特許請求の範囲】
【請求項1】
情報処理端末またはコンピュータが、
複数の対象物が映り込んでいる複数の撮影画像のうち対をなす撮影画像のそれぞれから指定属性を有する対象物として検出された指定対象物の１次ペア候補のうち、距離が第1所定距離以下である前記指定対象物の２次ペア候補を特定し、
前記対をなす撮影画像のそれぞれにおける前記２次ペア候補を構成する一対の前記指定対象物のそれぞれと、他の前記指定対象物との相対配置態様の類似度である第１類似度と、前記２次ペア候補を構成する一対の前記指定対象物のそれぞれの前記指定属性の類似度である第２類似度と、を算出し、
前記第１類似度に応じた順で前記２次ペア候補を構成する一対の前記指定対象物を対象として、前記第２類似度が閾値以上であることを要件として、当該一対の前記指定対象物が同一の指定対象物であると判定する一方、当該要件を満たす場合でも一の前記撮影画像から抽出された別個の前記指定対象物が同一の前記指定対象物であると判定されるという矛盾が生じる場合、前記２次ペア候補を構成する一対の前記指定対象物が異なる指定対象物であると判定する判定処理を、実行する
名寄せ方法。
【請求項2】
請求項１に記載の名寄せ方法において、前記複数の撮影画像のうち、距離が前記第１所定距離よりも長い第２所定距離以下である、撮影画像ペアを構成する一対の撮影画像のそれぞれから検出された前記指定対象物の前記１次ペア候補の中から前記２次ペア候補を特定する
名寄せ方法。
【請求項3】
請求項１に記載の名寄せ方法において、すべての前記２次ペア候補について前記判定処理が完了していないことを要件として、前記閾値を低下させたうえで前記判定処理が繰り返される
名寄せ方法。
【請求項4】
請求項１に記載の名寄せ方法において、前記第１類似度に加えて前記第２類似度に応じた順で前記２次ペア候補を構成する一対の前記指定対象物を対象として、前記判定処理を実行する
名寄せ方法。
【請求項5】
請求項２に記載の名寄せ方法において、前記２次ペア候補を構成する一対の前記指定対象物のそれぞれを基準とした、前記撮影画像ペアを構成する一対の撮影画像のそれぞれにおける他の前記指定対象物までの距離が長いほどノルムが短く定義され、かつ、前記２次ペア候補を構成する一対の前記指定対象物のそれぞれから、前記撮影画像ペアを構成する一対の撮影画像のそれぞれにおける他の前記指定対象物に向かう一のベクトルまたは複数のベクトルの合成ベクトルの類似度を、前記第１類似度として算出する
名寄せ方法。
【請求項6】
請求項５に記載の名寄せ方法において、前記他の前記指定対象物の数が、前記２次ペア候補を構成する一対の前記指定対象物のそれぞれからの距離が短い順に選定された指定数以下になるように調整される
名寄せ方法。
【請求項7】
請求項１に記載の名寄せ方法において、前記指定属性が異常箇所の存在であり、前記指定対象物における当該異常箇所の配置パターンの類似度を前記第２類似度として算出する
名寄せ方法。
【請求項8】
請求項１～７のうちいずれか１項に記載の名寄せ方法を実施する機能を前記情報処理端末または前記コンピュータに対して付与する名寄せプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮影画像のそれぞれに映り込んでいる対象物の名寄せ技術に関する。
【背景技術】
【0002】
マトリックス状に縦横に整列された複数の太陽光発電のパネル（またはモジュール）のそれぞれの異常の有無を判定する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１１７４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
異常があると判定されたパネル（異常パネル）を特定するため、例えば、整列された複数のパネルの上空撮影画像がオルソ画像に変換され、当該オルソ画像に異常パネルを指し示すアイコンを重畳表示させることが考えられる。具体的には、図１２上段に示されているように、オーバーラップ撮影により得られた複数の画像ｉｍｇ１、ｉｍｇ２、‥のそれぞれが複数のオルソ画像のそれぞれに変換され、図１２下段に示されているように当該複数のオルソ画像が位置合わせされて統合されて統合画像ＩＭＧが生成される。この場合、図１２下段に示されているように、同一の異常パネルであるにもかかわらず統合画像における位置がずれてしまい、当該同一の異常パネルを指し示す複数のアイコンまたはマークＭ１、Ｍ２、‥が併存して表示される可能性がある。
【0005】
そこで、本発明は、複数の撮像画像のそれぞれに映り込んでいる太陽光パネル等の対象物が同一であるか否かの判定精度の向上を図りうる方法等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の名寄せ方法は、
情報処理端末またはコンピュータが、
複数の対象物が映り込んでいる複数の撮影画像のうち対をなす撮影画像のそれぞれから指定属性を有する対象物として検出された指定対象物の１次ペア候補のうち、距離が第1所定距離以下である前記指定対象物の２次ペア候補を特定し、
前記対をなす撮影画像のそれぞれにおける前記２次ペア候補を構成する一対の前記指定対象物のそれぞれと、他の前記指定対象物との相対配置態様の類似度である第１類似度と、前記２次ペア候補を構成する一対の前記指定対象物のそれぞれの前記指定属性の類似度である第２類似度と、を算出し、
前記第１類似度に応じた順で前記２次ペア候補を構成する一対の前記指定対象物を対象として、前記第２類似度が閾値以上であることを要件として、当該一対の前記指定対象物が同一の指定対象物であると判定する一方、当該要件を満たす場合でも一の前記撮影画像から抽出された別個の前記指定対象物が同一の前記指定対象物であると判定されるという矛盾が生じる場合、前記２次ペア候補を構成する一対の前記指定対象物が異なる指定対象物であると判定する判定処理を、実行する。
情報処理端末またはコンピュータが、
複数の対象物が映り込んでいる複数の撮影画像のうち対をなす撮影画像のそれぞれから指定属性を有する対象物として検出された指定対象物の１次ペア候補のうち、距離が第1所定距離以下である前記指定対象物の２次ペア候補を特定し、
前記対をなす撮影画像のそれぞれにおける前記２次ペア候補を構成する一対の前記指定対象物のそれぞれと、他の前記指定対象物との相対配置態様の類似度である第１類似度と、前記２次ペア候補を構成する一対の前記指定対象物のそれぞれの前記指定属性の類似度である第２類似度と、を算出し、
前記第１類似度に応じた順で前記２次ペア候補を構成する一対の前記指定対象物を対象として、前記第２類似度が閾値以上であることを要件として、当該一対の前記指定対象物が同一の指定対象物であると判定する一方、当該要件を満たす場合でも一の前記撮影画像から抽出された別個の前記指定対象物が同一の前記指定対象物であると判定されるという矛盾が生じる場合、前記２次ペア候補を構成する一対の前記指定対象物が異なる指定対象物であると判定する判定処理を、実行する。
【0007】
本発明の名寄せ方法によれば、複数の対象物（整列した複数の対象物のほか、不規則に配置された複数の対象物）が映り込んでいる複数の撮影画像のうち対をなす撮影画像のそれぞれから指定属性を有する対象物として検出された指定対象物の１次ペア候補のうち、距離が第1所定距離以下である指定対象物の２次ペア候補が特定される。これにより、距離の長短に鑑みて同一の対象物である蓋然性が低い一対の指定対象物が、同一の対象物であると判定されることが回避される。
【0008】
判定処理において、第２類似度が閾値以上であることを要件として、当該一対の指定対象物が同一の指定対象物であると判定される。「第２類似度」は、２次ペア候補を構成する一対の指定対象物のそれぞれの指定属性の類似度である。これにより、指定属性の類似度に鑑みて同一の対象物である蓋然性が低い一対の指定対象物が、同一の対象物であると判定されることが回避される。さらに、当該要件を満たす場合でも一の撮影画像から抽出された別個の指定対象物が同一の指定対象物であると判定されるという矛盾が生じる場合、当該一対の指定対象物が異なる指定対象物であると判定される。
【0009】
判定処理は、第１類似度に応じた順で２次ペア候補を構成する一対の指定対象物を対象として実行される。「第１類似度」は、対をなす撮影画像のそれぞれにおける２次ペア候補を構成する一対の指定対象物のそれぞれと、他の指定対象物との相対配置態様の類似度である。これにより、指定属性の類似度に鑑みて同一の対象物である蓋然性が高い一対の指定対象物が、同一の対象物であると判定される一方で、当該矛盾が生じるような一対の指定対象物が、同一の対象物であると判定されることが回避されうる。
【0010】
これらの結果、複数の撮像画像のそれぞれに映り込んでいる太陽光パネル等の対象物が同一であるか否かの判定精度の向上が図られる。
【図面の簡単な説明】
【0011】
【図1】名寄せシステムの構成説明図。
【図2】名寄せ方法の手順を表わすフローチャート。
【図3】１次パネルペアの選定処理に関する説明図。
【図4】２次パネルペアの選定処理に関する説明図。
【図5】２次パネルペアの選定処理に関する説明図（続き）。
【図6】異常類似度の評価処理に関する説明図。
【図7】異常類似度の評価結果に関する説明図。
【図8】ＲＰＩベクトルの定義に関する説明図。
【図9】ＲＰＩベクトルの一例に関する説明図。
【図10】異常パネルのペアリング処理に関する説明図。
【図11】異常パネルの名寄せ結果に関する説明図。
【図12】従来技術に関する説明図。
【発明を実施するための形態】
【0012】
（名寄せシステムの構成）
本発明の一実施形態としての名寄せ方法は、図１に示されている名寄せ装置１０と、無人飛行機２０および当該無人飛行機２０に搭載されているカメラ２２と、により構成されている名寄せシステムが用いられて実施される。
本発明の一実施形態としての名寄せ方法は、図１に示されている名寄せ装置１０と、無人飛行機２０および当該無人飛行機２０に搭載されているカメラ２２と、により構成されている名寄せシステムが用いられて実施される。
【0013】
名寄せ装置１０は、無人飛行機２０と相互通信可能に構成されている情報処理端末またはコンピュータにより構成され、演算処理装置（ＣＰＵなど）が記憶装置（メモリ）に格納されているデータおよび名寄せプログラムを読み出すことにより、当該データを対象にして当該プログラムにしたがって後述する名寄せ処理を実行するように構成されている。
【0014】
（名寄せ方法の予備処理）
無人飛行機２０を移動させながら、当該無人飛行機２０に搭載されているカメラ２２によって、整列されて配置されている複数のパネルＰ（対象物）が映り込んでいる撮影画像ｉｍｇｎ（ｎ＝１，２，‥，Ｎ）が逐次的に空撮または取得される（図２／ＳＴＥＰ１０）。なお、一の無人飛行機２０に搭載されている一または複数のカメラ２２を通じて複数の撮影画像ｉｍｇが取得されてもよく、複数の無人飛行機２０のそれぞれに搭載されている一または複数のカメラ２２を通じて複数の撮影画像ｉｍｇが取得されてもよい。整列されて配置されている複数の対象物として車両などの他の物体が映り込んでいる撮影画像ｉｍｇｎが取得されてもよい。
無人飛行機２０を移動させながら、当該無人飛行機２０に搭載されているカメラ２２によって、整列されて配置されている複数のパネルＰ（対象物）が映り込んでいる撮影画像ｉｍｇｎ（ｎ＝１，２，‥，Ｎ）が逐次的に空撮または取得される（図２／ＳＴＥＰ１０）。なお、一の無人飛行機２０に搭載されている一または複数のカメラ２２を通じて複数の撮影画像ｉｍｇが取得されてもよく、複数の無人飛行機２０のそれぞれに搭載されている一または複数のカメラ２２を通じて複数の撮影画像ｉｍｇが取得されてもよい。整列されて配置されている複数の対象物として車両などの他の物体が映り込んでいる撮影画像ｉｍｇｎが取得されてもよい。
【0015】
撮影画像ｉｍｇの画像解析により、各パネルＰの異常の有無、さらに各異常パネルＰ（異常があると判定されたパネル）の異常箇所の配置パターンが求められる（図２／ＳＴＥＰ１２）。
【0016】
これにより、例えば、図７左側上段（１）に示されているように、撮影画像ｉｍｇ１において異常パネルＰ１およびＰ２が検出される。さらに、図７左側下段（２）に示されているように、当該異常パネルＰ１およびＰ２（例えば、１６×１６セル領域）のそれぞれにおける異常箇所（白色セル）の配置パターンが特定される。同様に、図７右側上段（３）に示されているように、撮影画像ｉｍｇ２において異常パネルＰ３およびＰ４が検出される。さらに、図７右側下段（４）に示されているように、当該異常パネルＰ３およびＰ４（例えば、１６×１６セル領域）のそれぞれにおける異常箇所（白色セル）の配置パターンが特定される。
【0017】
無人飛行機２０に搭載されている測位装置により測定された当該無人飛行機２０の緯度・経度に基づき、各撮影画像ｉｍｇの代表点（例えば、中心）の緯度・経度が求められる（図２／ＳＴＥＰ１３）。さらに、無人飛行機２０の緯度・経度に基づき、各撮影画像ｉｍｇに映り込んでいる異常パネルＰの緯度・経度が求められる（図２／ＳＴＥＰ１４）。
【0018】
複数の撮影画像ｉｍｇのそれぞれに対して、個々の撮影画像を識別するための画像識別子（ｉｍｇＩＤ）が付与される（図２／ＳＴＥＰ１５）。さらに、異常パネルＰのそれぞれに対して、個々の異常パネルＰを識別するためのパネル識別子（ｇｌｏｂａｌＩＤ）が付与される（図２／ＳＴＥＰ１６）。
【0019】
これにより、図３に模擬的に示されているように、撮影画像ｉｍｇの画像識別子ｉｍｇＩＤと当該撮影画像において検出された異常パネルＰのパネル識別子ｇｌｏｂａｌＩＤとの組み合わせに該当する成分にＴｒｕｅが入力されたＭ×Ｎの疎行列Ａが定義されうる。「Ｎ」は撮影画像ｉｍｇの総数である。「Ｍ」は異常パネルＰの総数である。
【0020】
（名寄せ方法の手順）
まず、複数の撮影画像ｉｍｇｎの中から、代表点の距離（＝｛（緯度偏差）2＋（経度偏差）2｝1/2）が第１指定距離（第２所定距離（例えば、５０ｍ））以下である一対の撮影画像が撮影画像ペアとして抽出される（図２／ＳＴＥＰ２０）。
まず、複数の撮影画像ｉｍｇｎの中から、代表点の距離（＝｛（緯度偏差）2＋（経度偏差）2｝1/2）が第１指定距離（第２所定距離（例えば、５０ｍ））以下である一対の撮影画像が撮影画像ペアとして抽出される（図２／ＳＴＥＰ２０）。
【0021】
これにより、図３に模擬的に示されているように、撮影画像ペアを構成する一対の撮影画像のそれぞれの画像識別子ｉｍｇＩＤの組み合わせに該当する成分にＴｒｕｅが入力された疎行列Ｂが定義されうる。例えば、画像識別子ｉｍｇＩＤ＝ｎ1の撮影画像および画像識別子ｉｍｇＩＤ＝ｎ2の撮影画像が撮影画像ペアを構成する場合、疎行列Ｂの（ｎ1，ｎ2）成分に「Ｔｒｕｅ」が入力されている。
【0022】
次に、撮影画像ペアを構成する一対の撮影画像ｉｍｇのそれぞれにおける異常パネルＰの対が「１次パネルペア候補」として特定される（図２／ＳＴＥＰ２１）。
【0023】
図３に模式的に示されているように、疎行列Ａおよびその転置行列tＡと、疎行列Ｂと、を用いて定義される疎行列Ｃ＝Ａ・Ｂ・tＡにおいてＴｒｕｅを値として有する成分に相当するパネル識別子ｇｌｏｂａｌＩＤの組み合わせにより識別される一対の異常パネルＰが「１次パネルペア候補」として特定される。数値演算時にはＴｒｕｅを具体的な数値１に置き換えて演算を行う。
【0024】
また、１次パネルペア候補の中から、距離が第２指定距離（第１所定距離（例えば、７．５ｍ））以下である一対の異常パネルＰにより構成されている１次パネルペアが「２次パネルペア候補」として選定される（図２／ＳＴＥＰ２２）。
【0025】
図４（１）に模擬的に示されているように、疎行列Ｃ（上三角行列（図３参照））およびその転置行列tＣ（下三角行列）の組み合わせ行列（Ｃ＋tＣ）と、パネル識別子ｇｌｏｂａｌＩＤにより識別される各パネルの緯度を表わすベクトルγlatとのアダマール積が計算される。ベクトルγ（Ｍ×１）においては、各行の値を列方向へ、列数がＭになるよう拡張した上で、アダマール積が計算される。当該行列（Ｃ＋tＣ）において「Ｔｒｕｅ」を値として有する成分が、図４（１）において黒色で表わされている。これにより、図４（２）に模擬的に示されているＭ×Ｍ疎行列Γlatが得られる。当該行列Γlatにおいて０ではない値を有する（ｍ1，ｍ2）成分が、図４（２）において黒色で表わされている。疎行列Γlatの当該（ｍ1，ｍ2）成分は、パネル識別子ｇｌｏｂａｌＩＤ＝ｍ1により識別される異常パネルＰｍ1の緯度を値として有している。図４（２）に模擬的に示されているように、疎行列Γlatおよびその転置行列tΓlat の差分行列（Γlat－tΓlat）が計算される。差分行列（Γlat－tΓlat）の（ｍ1，ｍ2）成分は、パネル識別子ｇｌｏｂａｌＩＤ＝ｍ1により識別される異常パネルＰｍ1の緯度と、パネル識別子ｇｌｏｂａｌＩＤ＝ｍ2により識別される異常パネルＰｍ2の緯度との偏差を値として有している。そして、図４（３）に模式的に示されているように、差分行列（Γlat－tΓlat）の各成分の２乗を各成分の値として有する行列Δlatが得られる。経度についても緯度と同様の手順で行列Δlngが得られる。
【0026】
図５（４）に模擬的に示されているように、行列ΔlatおよびΔlngが足し合わせられることにより、異常パネルＰｍ1およびＰｍ2の緯度偏差の２乗と経度偏差の２乗との和（すなわち、異常パネルＰｍ1およびＰｍ2の２乗）を（ｍ1，ｍ2）成分の値として有する行列Δlat＋Δlngが得られる。図５（４）に模擬的に示されている行列の（ｍ1，ｍ2）成分のうち、第２指定距離の２乗以下である値を有する成分が選定される。これにより、図５（５）に模擬的に示されているように、当該選定成分を有する行列Δが得られる。そして、当該行列Δの上三角成分のみが残されることにより、図５（６）に模擬的に示されているように、上三角行列Δupperが得られる。上三角行列Δupperにおいて０でない値を有する（ｍ1，ｍ2）成分（黒色で表わされている。）に相当する一対の異常パネルＰｍ1およびＰｍ2により「２次パネルペア候補」が構成される。
【0027】
２次パネルペア候補を構成する一対の異常パネルＰの異常類似度Ｓabが評価または算定される（図２／ＳＴＥＰ２３）。異常類似度は０～１の範囲で定義され、一対の異常パネルＰのそれぞれの異常パターン（異常領域の配置パターン）が類似しているほど「１」に近くなるように定義されている。
【0028】
図６（１）に示されている、２次パネルペア候補を構成する一対の異常パネルＰm1およびＰm2の異常類似度の評価方法の一実施例について説明する。異常パネルＰm1およびＰm2のそれぞれにおける正常領域（正常なセルに相当する）が黒色領域で表わされ、異常領域Ｆ（Ｐm1）およびＦ（Ｐm2）（異常が発生したセルに相当する）のそれぞれが白色領域で表わされている。この実施例では、異常パネルＰm1およびＰm2が８×８セル領域として表現されているが、１６×１６セル領域などの異なるサイズ（および／または形状）のセル領域により表現されていてもよい。
【0029】
まず、異常パネルＰm1およびＰm2のそれぞれに対してゼロパディング処理が実行される。これにより、図６（２）に示されているように、異常パネルＰm1およびＰm2のそれぞれを取り囲む、１セル分の幅を有する区形枠状領域の分だけ、当該異常パネルＰm1およびＰm2のそれぞれが拡張されることにより、拡張異常パネルＰm1＿ＥおよびＰm2＿Ｅのそれぞれが生成される。
【0030】
続いて、拡張異常パネルＰm1＿ＥおよびＰm2＿Ｅのそれぞれに対して、（３，３）ｄｉｌａｔｉｏｎ（ＭＡＸフィルタ）処理（または平均化処理）が実行される。これにより、例えば、図６（３）に示されているように、異常領域Ｆ（Ｐm1）およびＦ（Ｐm2）のそれぞれが拡張されたような、白色領域として表現されている異常領域Ｆ（Ｐm1）＿ＥおよびＦ（Ｐm2）＿Ｅのそれぞれを有する拡張異常パネルＰm1＿ＥおよびＰm2＿Ｅのそれぞれが生成される。
【0031】
次に、フィルタ処理が施された拡張異常パネルＰm1＿ＥおよびＰm2＿Ｅが統合（積み上げ）される。これにより、図６（４）に示されているように、拡張異常パネルＰm1＿ＥおよびＰm2＿Ｅのうち少なくとも一方において白色領域であったセルが白色領域として定義され、その余のセルが黒色領域として定義された統合セル領域ＵＰ＿Ｅが生成される。
【0032】
そして、統合セル領域ＵＰ＿Ｅに基づき、異常パネルＰm1およびＰm2の異常類似度ＳabとしてＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が計算される。これにより、図６（４）に示されている統合セル領域ＵＰ＿Ｅの白色領域（Ｆ（Ｐm1）＿Ｅ∪Ｆ（Ｐm2）＿Ｅ）を構成するセル数Ｏｒ ａｒｅａ（＝１５）に対する、拡張異常パネルＰm1＿ＥおよびＰm2＿Ｅの両方において白色領域（Ｆ（Ｐm1）＿Ｅ∪Ｆ（Ｐm2）＿Ｅ）であったセル数Ａｎｄ ａｒｅａ（＝９）の比率（＝９／１５）＝０．６が異常パネルＰm1およびＰm2の異常類似度Ｓabとして計算される。なお、ＩｏＵに代えてＪａｃｃａｒｄ係数が一対の異常パネルの異常類似度Ｓabとして計算されてもよい。
【0033】
図７には、異常パネルが１６×１６セル領域により表現されている場合の、一対の異常パネルＰm1およびＰm2の異常類似度Ｓab（＝ＩｏＵ）の算出結果が示されている。図７左側上段（１）に示されている一方の異常パネルＰm1における異常領域Ｆ（Ｐm1）および他方の異常パネルＰm2における異常領域Ｆ（Ｐm2）（白色領域）の配置パターンは完全に同一であるため、異常類似度Ｓabが上限値である「１」であった。図７左側下段（２）に示されている一方の異常パネルＰm1における異常領域Ｆ（Ｐm1）および他方の異常パネルＰm2における異常領域Ｆ（Ｐm2）の配置パターンは比較的類似しているため、異常類似度Ｓabが比較的高い「０．６５」であった。図７右側上段（３）および右側下段（４）のそれぞれに示されている一方の異常パネルＰm1における異常領域Ｆ（Ｐm1）および他方の異常パネルＰm2における異常領域Ｆ（Ｐm2）の配置パターンはあまり類似していないため、異常類似度Ｓabが比較的低い「０．０５」、「０．１７」であった。
【0034】
２次パネルペアを構成する一対の異常パネルの画像内相対位置（ＲＰＩ：Ｒｅｌａｔｉｖｅ Ｐｏｓｉｔｉｏｎ ｉｎ ａｎ Ｉｍａｇｅ）の類似度ＳRPIが計算される（図２／ＳＴＥＰ２４）。
【0035】
具体的には、まず、異常パネルのそれぞれのＲＰＩベクトルηが重力モデルにしたがって定義される。重力モデルによれば、異常パネルのそれぞれが単位質量の天体とみなされ、一の異常パネルが周辺の他の異常パネルから受ける引力がＲＰＩベクトル（「向き」および「大きさ」）により表現される。当該他の異常パネルの数が、当該一の異常パネルからの距離が短い順に選定された指定数以下になるように調整されてもよい。例えば、図８に示されているように、一の撮影画像において３つの異常パネルＰm0、Ｐm1およびＰm2が検出された場合、一の異常パネルＰm0のＲＰＩベクトルηm0の求め方について説明する。一の異常パネルＰm0の代表点から、他の異常パネルＰm1、Ｐm2の代表点までのベクトルη01およびη02、ならびに、これらの長さ（ノルム）｜η01｜および｜η02｜に基づき、関係式（０２）にしたがって一の異常パネルＰm0のＲＰＩベクトルηm0が定義されている。
【0036】
ηm0＝η01／｜η01｜q+1＋η02／｜η02｜q+1 ‥（０２）。
【0037】
ＲＰＩベクトルは緯度・経度座標系において定義される。前記のように、例えば、異常パネルの重心の緯度・経度が当該異常パネルの緯度・経度として定義される。２つの異常パネルのそれぞれの位置を始端および終端とするＲＰＩベクトルηm0の成分ベクトルであるη01および／またはη02の大きさ（ノルム）は、２つの異常パネルの距離のｑ乗（１＜ｑ（例えば、ｑ＝２））に反比例するように定義されている。
【0038】
これにより、図９左側上段に示されているように撮影画像ｉｍｇ１において検出された異常パネルＰ１、Ｐ２およびＰ３のそれぞれについて、ＲＰＩベクトルη１、η２およびη３が定義される。同様に、図９右側上段に示されているように撮影画像ｉｍｇ２において検出された異常パネルＰ４およびＰ５のそれぞれについて、ＲＰＩベクトルη４およびη５が定義される。そして、２次パネルペア候補を構成する一対のＲＰＩベクトルηm1およびηm2の類似度がＲＰＩ類似度ＳRPIとして求められる。
【0039】
２つのＲＰＩベクトルηm1およびηm2のそれぞれの「向き」の類似度が、次の関係式（１１）で表わされるｃｏｓｉｎｅ類似度Ｓcosにより定義されている。
【0040】
Ｓcos＝（ηm1・ηm2）／（｜ηm1｜・｜ηm2｜）‥（１１）。
【0041】
関係式（１１）から明らかなように、ｃｏｓｉｎｅ類似度Ｓcosは、－１～１の範囲に含まれ、２つのＲＰＩベクトルηm1およびηm2の向きが同一の場合は「１」になり、２つのＲＰＩベクトルηm1およびηm2が直交する場合には「０」になり、２つのＲＰＩベクトルηm1およびηm2の向きが反対の場合は「－１」となるように定義されている。２つのＲＰＩベクトルηm1およびηm2の少なくとも一方がゼロベクトルの場合、ｃｏｓｉｎｅ類似度Ｓcosは「０」になるように定義されている。
【0042】
２つのＲＰＩベクトルηm1およびηm2のそれぞれの「大きさ」の類似度が、次の関係式（１２）で表わされるｍａｇｎｉｔｕｄｅ類似度Ｓmagにより定義されている。
【0043】
Ｓmag＝（｜ηm1｜＋｜ηm2｜）／２ｍａｘ（｜ηm1｜，｜ηm2｜）‥（１２）。
【0044】
関係式（１２）から明らかなように、ｍａｇｎｉｔｕｄｅ類似度Ｓmagは、０．５～１の範囲に含まれるように定義されている。ｍａｇｎｉｔｕｄｅ類似度Ｓmagの下限値が０．５にとどめられていることにより、ＲＰＩ類似度ＳRPIに対する影響度が調整されている。
【0045】
なお、一方のＲＰＩベクトルηm1のノルム｜ηm1｜と、他方のＲＰＩベクトルηm2のノルム｜ηm2｜との偏差の絶対値｜｜ηm1｜－｜ηm2｜｜が小さくなるほど１に近づくように、ｍａｇｎｉｔｕｄｅ類似度Ｓmagが定義されていてもよい。例えば、ｍａｇｎｉｔｕｄｅ類似度Ｓmagが関係式（１２１）により定義されていてもよい。
【0046】
Ｓmag＝ｅｘｐ（－Ｃ・｜｜ηm1｜－｜ηm2｜｜） （０＜Ｃ）‥（１２１）。
ＲＰＩ類似度ＳRPIは、ｃｏｓｉｎｅ類似度Ｓcosおよびｍａｇｎｉｔｕｄｅ類似度Ｓmagに基づき、関係式（１４）にしたがって定義されている。
ＲＰＩ類似度ＳRPIは、ｃｏｓｉｎｅ類似度Ｓcosおよびｍａｇｎｉｔｕｄｅ類似度Ｓmagに基づき、関係式（１４）にしたがって定義されている。
【0047】
ＳRPI＝（Ｓcos×Ｓmag＋１）／２ ‥（１４）。
【0048】
関係式（１４）から明らかなように、ＲＰＩ類似度ＳRPIは０～１の範囲になるように定義されている。
【0049】
ＲＰＩ類似度ＳRPIは、ｃｏｓｉｎｅ類似度Ｓcosおよびｍａｇｎｉｔｕｄｅ類似度Ｓmagの重み付き和として、関係式（１４１）にしたがって定義されていてもよい。
【0050】
ＳRPI＝αＳcos＋（１－α）Ｓmag （０＜α＜１）‥（１４１）。
【0051】
ペアリングの指標として、２つの指標、すなわち優先度指標ＰＩ（ｐｒｉｏｒｉｔｙ ｉｎｄｉｃａｔｏｒ）および決定指標ＤＩ（ｄｅｃｉｓｉｏｎ ｉｎｄｉｃａｔｏｒ）が求められる（図２／ＳＴＥＰ２５）。
【0052】
優先度指標ＰＩは、異常類似度ＳabおよびＲＰＩ類似度ＳRPIに基づき、関係式（２１）にしたがって定義されている。
【0053】
ＰＩ＝Ｓab×ＳRPI ‥（２１）。
【0054】
優先度指標ＰＩは、異常類似度ＳabおよびＲＰＩ類似度ＳRPIの重み付き和として、関係式（２１１）にしたがって定義されていてもよい。
【0055】
ＰＩ＝βＳab＋（１－β）ＳRPI （０＜β＜０．５）‥（２１１）。
【0056】
優先度指標ＰＩは、ＲＰＩ類似度ＳRPIの増加関数により定義されていてもよい。例えば、優先度指標ＰＩは、関係式（２１２）にしたがって定義されていてもよい。
【0057】
ＰＩ＝ＳRPI ‥（２１２）。
【0058】
決定指標ＤＩ（ぺア成立決定指標）は、異常類似度Ｓabの増加関数により定義されている。例えば、決定指標ＤＩは、関係式（２２）にしたがって定義されている。
【0059】
ＤＩ＝Ｓab ‥（２２）。
【0060】
優先度指標ＰＩおよび決定指標ＤＩに基づき、異常パネルのペアリング処理が実行される（図２／ＳＴＥＰ２６）。
【0061】
ここで、図９上段に示されているように、異常パネルＰ１～Ｐ５のＲＰＩベクトルη１～η５が定義され、図９下段に示されているように、異常パネルＰ１、Ｐ２、Ｐ４およびＰ５のそれぞれの異常領域（白色領域）の配置パターンが求められている場合について説明する。
【0062】
この場合、図１０（１）に示されているように、２次パネルペア候補（Ｐ１，Ｐ４）、（Ｐ１，Ｐ５）、（Ｐ２，Ｐ４）および（Ｐ２，Ｐ５）のそれぞれについて、異常類似度ＳabおよびＲＰＩ類似度ＳRPIが算出される。さらに、図１０（２）に示されているように、優先度指標ＰＩおよび決定指標ＤＩが算出される。そして、図１０（３）に示されているように、２次パネルペア候補（Ｐ１，Ｐ４）、（Ｐ１，Ｐ５）、（Ｐ２，Ｐ４）および（Ｐ２，Ｐ５）が、優先度指標ＰＩが大きい（Ｐ２，Ｐ５）→（Ｐ１，Ｐ４）→（Ｐ２，Ｐ４）→（Ｐ１，Ｐ５）の順に優先度の高低が定められる。
【0063】
この状態で、まず、決定指標ＤＩの閾値ＤＩthが例えば「０．７５」に設定されている状況で、優先度指標ＰＩが高い順に異常パネル候補のペアリングが試行される。２次パネルペア候補（Ｐ２，Ｐ５）の決定指標ＤＩ（＝１．０）は閾値ＤＩth以上であるため、異常パネルＰ２およびＰ５がペアリングされる。異常パネルペア候補（Ｐ１，Ｐ４）の決定指標ＤＩ（＝０．５）が閾値ＤＩth未満であるため、異常パネルＰ１およびＰ４のペアリングが保留される。異常パネルペア候補（Ｐ２，Ｐ４）の決定指標ＤＩ（＝１．０）が当該閾値ＤＩth以上である。しかるに、異常パネルＰ２およびＰ４がペアリングされると、撮影画像ｉｍｇ２において別個の異常パネルであるＰ４およびＰ５が同一パネルであるという矛盾した結果になるため、当該ペアリングは却下される。すなわち、同一の異常パネルがグルーピングされ、既存グループと矛盾するような後続のペア成立が制限されている。異常パネルペア候補（Ｐ１，Ｐ５）の決定指標ＤＩ（＝０．５）が閾値ＤＩth未満であるため、異常パネルＰ１およびＰ５のペアリングが保留される。
【0064】
続いて、決定指標ＤＩの閾値ＤＩthが例えば「０．５０」に下げられ、この状況で、優先度指標ＰＩが高い順に、ペアリングされていない異常パネル候補のペアリングが試行される。異常パネルペア候補（Ｐ１，Ｐ４）の決定指標ＤＩ（＝０．５）が閾値ＤＩth以上であるため、異常パネルＰ１およびＰ４がペアリングされる。異常パネルペア候補（Ｐ１，Ｐ５）の決定指標ＤＩ（＝０．５）が当該閾値ＤＩth以上である。しかるに、異常パネルＰ１およびＰ５がペアリングされると、撮影画像ｉｍｇ１において別個の異常パネルであるＰ１およびＰ２が同一パネルであるという矛盾した結果になるため、当該ペアリングは却下される。
【0065】
これらの結果、異常パネルペア候補（Ｐ２，Ｐ５）および（Ｐ１，Ｐ４）がペアリングされて異常パネルペアとして定義される。撮影画像ｉｍｇ１の異常パネルＰ２と撮影画像ｉｍｇ２の異常パネルＰ４の異常類似度Ｓab（＝ＩｏＵ）が、本来同一である撮影画像ｉｍｇ１の異常パネルＰ１および撮影画像ｉｍｇ２のＰ４の異常類似度Ｓabよりも高い場合がある。しかるに、優先度指標ＰＩが高い順にペアリングが試行されるので、異常パネルＰ１およびＰ４がペアリングされた後、異常パネルＰ２およびＰ４がペアリングされることが回避される。
【0066】
これにより、例えば、図１１上段に示されているように撮影画像ｉｍｇ１、ｉｍｇ２およびｉｍｇ３のそれぞれにおいて検出された異常パネルのそれぞれが名寄せされ、同一の異常パネルには同一のパネル識別子（異常ＩＤ）が割り当てられていることが検証された。図１１下段に示されている、パネル識別子ｇｌｏｂａｌＩＤ「２９４」、「２９５」、「２９６」、「２９７」、「３００」、「３０１」、「３０３」、「３０５」および「３０６」のそれぞれが付された異常パネルは、同一のパネルを指している。例えば「ｇｌｏｂａｌＩＤ５（ｆｒｏｍ ｉｍｇ１）とｇｌｏｂａｌＩＤ１３（ｆｒｏｍ ｉｍｇ４）とｇｌｏｂａｌＩＤ１２９（ｆｒｏｍ ｉｍｇ２８）が名寄せさせて１つの異常ＩＤ５となる。
【0067】
（作用効果）
本発明の名寄せ方法によれば、以下のような性質により誤認識が生じにくい。
本発明の名寄せ方法によれば、以下のような性質により誤認識が生じにくい。
【0068】
（１）異常類似度Ｓabがランダムな確率では高くなりにくい。
【0069】
（２）ＲＰＩ類似度ＳRPIが異なる撮影画像の間で競争的な性質を有している。
【0070】
（３）信頼性の高いペアリングが優先的に実行され、信頼性の高いグループが序盤に形成される。
【0071】
（４）グループ間に矛盾が生じる後発ペアリングの成立が防止される。
【0072】
精度が高くなる条件は、異なる撮影画像においてオーバーラップしている領域が大きくなるように撮影されることがあげられる。
【0073】
誤認が生じる状況として、異なる２つのグループＧ１およびＧ２における全てのメンバーが第２指定距離（例えば、７．５ｍ）以下の距離にある範囲に存在すること、同一の撮影画像においてグループＧ１およびＧ２のメンバーが共存しないこと、および／または、グループＧ１およびＧ２の中にＤＩの高い組み合わせが存在すること、が満たされる状況があげられる。
【0074】
（本発明の他の実施形態）
前記実施形態では、複数の撮影画像ｉｍｇｎの中から、代表点の距離（＝｛（緯度偏差）2＋（経度偏差）2｝1/2）が第１指定距離（例えば、５０ｍ）以下である一対の撮影画像が撮影画像ペアとして抽出された（図２／ＳＴＥＰ２０参照）。他の実施形態として、オーバーラップ度合が指定度合以上である一対の撮影画像が撮影画像ペアとして抽出されてもよい。さらに他の実施形態として、代表点の距離とは無関係に撮影画像ｉｍｇのすべての対のそれぞれにおける異常パネルＰの対が「１次パネルペア候補」として特定されてもよい（図２／ＳＴＥＰ２１参照）。この場合、全ての異常パネルＰの対を１次パネルペア候補とするには、単純に「別の画像のパネルＰは全て該当」にするか「（対角成分を除いた）Ｂの上三角成分が全て1（Ｔｒｕｅ）のＢを使う」。あるいは、Ｃ＝Ａ・tＡとして、Ｃを「非」１次パネルペア候補（ペアとならない候補）として定義されてもよい。対象物同士の位置関係が類似している状況で適用が可能である。例えば「川を流れている対象物」または「ベルトコンベアー上の対象物」の名寄せが可能である。この場合、対象物の位置関係（ＲＰＩ類似度）は緯度・経度ではなく、画像中の位置（ｘｙ座標）により定義されてもよい。
前記実施形態では、複数の撮影画像ｉｍｇｎの中から、代表点の距離（＝｛（緯度偏差）2＋（経度偏差）2｝1/2）が第１指定距離（例えば、５０ｍ）以下である一対の撮影画像が撮影画像ペアとして抽出された（図２／ＳＴＥＰ２０参照）。他の実施形態として、オーバーラップ度合が指定度合以上である一対の撮影画像が撮影画像ペアとして抽出されてもよい。さらに他の実施形態として、代表点の距離とは無関係に撮影画像ｉｍｇのすべての対のそれぞれにおける異常パネルＰの対が「１次パネルペア候補」として特定されてもよい（図２／ＳＴＥＰ２１参照）。この場合、全ての異常パネルＰの対を１次パネルペア候補とするには、単純に「別の画像のパネルＰは全て該当」にするか「（対角成分を除いた）Ｂの上三角成分が全て1（Ｔｒｕｅ）のＢを使う」。あるいは、Ｃ＝Ａ・tＡとして、Ｃを「非」１次パネルペア候補（ペアとならない候補）として定義されてもよい。対象物同士の位置関係が類似している状況で適用が可能である。例えば「川を流れている対象物」または「ベルトコンベアー上の対象物」の名寄せが可能である。この場合、対象物の位置関係（ＲＰＩ類似度）は緯度・経度ではなく、画像中の位置（ｘｙ座標）により定義されてもよい。
【0075】
前記実施形態によれば、指定属性として異常が存在する対象物としての太陽光パネル（異常パネルＰ）が名寄せ対象として抽出されたが、他の実施形態として、指定属性として「指定物品（または指定形状の物品）が装着されている」、「指定色（または色相）の部分を有している」などの属性を有する対象物としての車等の物体が名寄せ対象とされてもよい。
【符号の説明】
【0076】
１０‥名寄せ装置
２０‥無人飛行機
２２‥カメラ
Ｐ‥太陽光パネル（異常パネル）。
２０‥無人飛行機
２２‥カメラ
Ｐ‥太陽光パネル（異常パネル）。
【要約】
【課題】複数の撮像画像のそれぞれに映り込んでいる太陽光パネル等の対象物が同一であるか否かの判定精度の向上を図りうる方法等を提供する。
【解決手段】複数の対象物（太陽光パネルＰ）が映り込んでいる対をなす各撮影画像から検出された指定対象物のペア候補が特定される。第１類似度に応じた順で当該ペア候補を構成する一対の指定対象物を対象として判定処理が実行される。「第１類似度」は、対をなす各撮影画像における一対の各指定対象物と、他の指定対象物との相対配置態様の類似度である。判定処理において、第２類似度が閾値以上であることを要件として、当該一対の指定対象物が同一の指定対象物であると判定される。「第２類似度」は、当該一対の各指定対象物の指定属性の類似度である。さらに、当該要件を満たす場合でも矛盾が生じる場合、当該一対の指定対象物が異なる指定対象物であると判定される。
【選択図】図１１
【解決手段】複数の対象物（太陽光パネルＰ）が映り込んでいる対をなす各撮影画像から検出された指定対象物のペア候補が特定される。第１類似度に応じた順で当該ペア候補を構成する一対の指定対象物を対象として判定処理が実行される。「第１類似度」は、対をなす各撮影画像における一対の各指定対象物と、他の指定対象物との相対配置態様の類似度である。判定処理において、第２類似度が閾値以上であることを要件として、当該一対の指定対象物が同一の指定対象物であると判定される。「第２類似度」は、当該一対の各指定対象物の指定属性の類似度である。さらに、当該要件を満たす場合でも矛盾が生じる場合、当該一対の指定対象物が異なる指定対象物であると判定される。
【選択図】図１１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
