ホーム > 特許ランキング > 株式会社センシンロボティクス
▶ 株式会社センシンロボティクスの特許一覧 ▶ 中部電力パワーグリッド株式会社の特許一覧 ▶ 中部電力株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101468
(43)【公開日】2024-07-29
(54)【発明の名称】情報処理方法、情報処理システム及びプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20240722BHJP
B64U 20/87 20230101ALI20240722BHJP
H02G 1/02 20060101ALI20240722BHJP
【ＦＩ】
G06T7/60 200G
B64U20/87
G06T7/60 200H
H02G1/02
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023005472
(22)【出願日】2023-01-17
(11)【特許番号】
(45)【特許公報発行日】2024-05-21
(71)【出願人】
【識別番号】518156358
【氏名又は名称】株式会社センシンロボティクス
(71)【出願人】
【識別番号】520320446
【氏名又は名称】中部電力パワーグリッド株式会社
(71)【出願人】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人
(72)【発明者】
【氏名】小川 雅弘
(72)【発明者】
【氏名】丸目 裕樹
(72)【発明者】
【氏名】山田 竜司
【テーマコード（参考）】
5G352
5L096
【Ｆターム（参考）】
5G352AA01
5G352AM05
5L096AA06
5L096EA43
5L096FA03
5L096FA06
5L096FA24
5L096FA52
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】多導体方式の複数の電力線を構成する直線のみを画像内から抽出することが可能となる情報処理システム等を提供する。
【解決手段】本発明の一実施形態によれば、無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法であって、エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を含む情報処理方法等が提供される。
【選択図】図１
【解決手段】本発明の一実施形態によれば、無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法であって、エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を含む情報処理方法等が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
無人飛行体により撮影した撮影画像から複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を含む情報処理方法。
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を含む情報処理方法。
【請求項2】
前記想定直線本数は、前記複数の電力線の本数の２倍の数であって、
前記抽出条件は、前記直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
前記抽出条件は、前記直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項3】
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項4】
さらに、傾き判定部により、前記特定直線抽出部により検出された複数の直線の傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の２倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
前記想定直線本数は、前記複数の電力線の２倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項5】
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出ステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項6】
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項7】
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする請求項１乃至６のいずれかに記載の情報処理方法。
ことを特徴とする請求項１乃至６のいずれかに記載の情報処理方法。
【請求項8】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理システムであって、
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、
を備える情報処理システム。
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、
を備える情報処理システム。
【請求項9】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を実行させるプログラム。
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体により電力線を撮影して検査するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１９６３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、例えば、点検対象の電力線の追跡などのために対象電力線を特定する場合に、一つの手法として撮影画像に対してエッジ検出を行うことで電力線のエッジを抽出し電力線の位置を特定するという手法が考え得る。しかしながら、撮影した画像には様々な電力線や建物や道路等の直線的な構造物が背景に映りこむことからエッジ検出を行った場合にはノイズとなるエッジが多数抽出され得るため、対象電力線のエッジを特定することが難しい場合があり得る。特に、背景にある点検対象外の直線的な物体（特に細長い物体）のエッジを抽出した場合には、そちらの方を追跡してしまい、点検対象の電力線を失い適切な点検を行うことが難しい場合があり得る。
【0005】
また、特許文献１においては特段言及していないが、電力線を支持する鉄塔等の支持物の各々の腕金に架線される電力線は、それぞれ１本の電力線で構成されている場合（単導体方式）だけでなく、各腕金に架線される電力線がそれぞれ２本以上の電力線（導体）で構成される多導体方式の電力線もあり得る。そして、多導体方式の電力線に対して上述のようなエッジ検出を行う場合においては、撮影画像内において抽出された複数の直線的な物体（特に細長い物体）のエッジのうち、どれが対象電力線であるかを複数特定する必要があり、唯一の対象電力線を特定する状況よりも特定が難しい。
【0006】
本発明はこのような背景を鑑みてなされたものであり、単導体方式の他に、特に多導体方式の電力線に対応する直線を飛行体による撮影画像から抽出することが可能な情報処理方法、情報処理システム及びプログラムを提供することを一つの目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法であって、エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換（Ｈｏｕｇｈ変換）により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を含む情報処理方法等が提供される。
【発明の効果】
【0008】
本発明によれば、特に、多導体方式の複数の電力線に対応する直線を飛行体による撮影画像から抽出することが可能な情報処理方法、情報処理システム及びプログラムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態の全体構成を示す図である。
【図2】本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。
【図7】無人飛行体の撮影部から取得した画像の一例である。
【図9】エッジ画像の他の例である。
【図10】直線投票数情報により推定された直線が可視化された画像の一例である。
【図11】抽出された特定の直線が可視化された画像の一例である。
【図12】抽出された特定の直線が可視化された画像の一例である。
【図13】抽出された特定の直線が可視化された画像の一例である。
【図14】追跡対象位置が可視化された画像の一例である。
【図15】本実施形態にかかる情報処理システムによるエッジ抽出方法を実施する処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理方法、情報処理システム及びプログラムは、以下のような構成を備える。
［項目１］
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を含む情報処理方法。
［項目２］
前記想定直線本数は、前記複数の電力線の本数の２倍の数であって、
前記抽出条件は、前記直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて前記想定直線本数あること、である、
ことを特徴とする項目１に記載の情報処理方法。
［項目３］
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、
ことを特徴とする項目１に記載の情報処理方法。
［項目４］
さらに、傾き判定部により、前記特定直線抽出部により検出された複数の直線の傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の２倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップをさらに含む、
ことを特徴とする項目１に記載の情報処理方法。
［項目５］
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出ステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする項目１に記載の情報処理方法。
［項目６］
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする項目１に記載の情報処理方法。
［項目７］
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする項目１乃至６のいずれかに記載の情報処理方法。
［項目８］
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理システムであって、
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、
を備える情報処理システム。
［項目９］
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を実行させるプログラム。
［項目１］
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を含む情報処理方法。
［項目２］
前記想定直線本数は、前記複数の電力線の本数の２倍の数であって、
前記抽出条件は、前記直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて前記想定直線本数あること、である、
ことを特徴とする項目１に記載の情報処理方法。
［項目３］
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、
ことを特徴とする項目１に記載の情報処理方法。
［項目４］
さらに、傾き判定部により、前記特定直線抽出部により検出された複数の直線の傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の２倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップをさらに含む、
ことを特徴とする項目１に記載の情報処理方法。
［項目５］
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出ステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする項目１に記載の情報処理方法。
［項目６］
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする項目１に記載の情報処理方法。
［項目７］
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする項目１乃至６のいずれかに記載の情報処理方法。
［項目８］
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理システムであって、
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、
を備える情報処理システム。
［項目９］
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を実行させるプログラム。
【0011】
＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
【0012】
＜本実施形態の概要＞
図１に示されるように、本実施の形態における情報処理システムは、例えば支持物（例えば、鉄塔など）に設けられた互いに並んで延伸する複数の電力線に沿って撮像した画像から、複数の電力線（特に多導体方式の電力線であって、例えば径間スペーサにより２本、３本、４本、６本などの電力線など）に対応する直線を抽出するものである。複数の電力線の画像の取得は、一例として、ユーザの所有する端末１からの指示に基づき、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。
図１に示されるように、本実施の形態における情報処理システムは、例えば支持物（例えば、鉄塔など）に設けられた互いに並んで延伸する複数の電力線に沿って撮像した画像から、複数の電力線（特に多導体方式の電力線であって、例えば径間スペーサにより２本、３本、４本、６本などの電力線など）に対応する直線を抽出するものである。複数の電力線の画像の取得は、一例として、ユーザの所有する端末１からの指示に基づき、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。
【0013】
より具体的には、本実施形態における情報処理システムは、飛行体により撮影した撮影画像からエッジ画像を生成し、エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び撮影画像内に想定される電力線に関連する想定直線本数を示す想定数情報に基づく電力線を構成する直線の抽出条件を示す直線抽出条件に基づき、直線の抽出条件下にある想定直線本数の直線をエッジ画像内から抽出することを可能にするものである。
【0014】
このように、撮影画像内に想定される電力線に関連する想定直線本数（特に多導体方式の電力線の本数の２倍に対応する想定直線本数）に関する情報を利用することで、撮影画像内から適切な数の直線を抽出することが可能となる。
【0015】
＜システム構成＞
図２に示されるように、本実施の形態における情報処理システムは、端末１と、サーバ２と、無人飛行体４とを有している。端末１と、サーバ２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザの操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置から端末１やサーバ２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。
図２に示されるように、本実施の形態における情報処理システムは、端末１と、サーバ２と、無人飛行体４とを有している。端末１と、サーバ２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザの操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置から端末１やサーバ２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。
【0016】
＜端末１のハードウェア構成＞
図３は、本実施形態における端末１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図３は、本実施形態における端末１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【0017】
端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。端末１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよい。
【0018】
プロセッサ１０は、端末１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
【0019】
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【0020】
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。
【0021】
送受信部１３は、端末１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子等をさらに備えていてもよい。
【0022】
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【0023】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【0024】
＜サーバ２＞
図４に示されるサーバ２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。各要素の機能は、上述した端末１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
図４に示されるサーバ２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。各要素の機能は、上述した端末１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
【0025】
＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
【0026】
また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
【0027】
メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも端末１やサーバ２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
【0028】
フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
【0029】
フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末１、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
【0030】
例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
【0031】
送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
【0032】
本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
【0033】
＜端末１の機能＞
図６は、端末１及びサーバ２に実装される機能を例示したブロック図である。本実施の形態においては、端末１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、エッジ画像生成部１２１、特定直線抽出部１２２、傾き判定部１２３、追跡対象位置設定部１２４を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１を含んでいる。なお、各種機能部は、端末１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、端末１のプロセッサ１０またはサーバ２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。
図６は、端末１及びサーバ２に実装される機能を例示したブロック図である。本実施の形態においては、端末１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、エッジ画像生成部１２１、特定直線抽出部１２２、傾き判定部１２３、追跡対象位置設定部１２４を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１を含んでいる。なお、各種機能部は、端末１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、端末１のプロセッサ１０またはサーバ２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。
【0034】
通信部１１０は、ネットワークＮＷを介してサーバ２や、無人飛行体４と通信を行う。通信部１１０は、サーバ２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。
【0035】
画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよいが、特に無人飛行体４からの無線通信で、または、無人飛行体４内において、リアルタイムに画像を取得する構成がより好ましい。
【0036】
処理部１２０は、画像取得部１１５が取得した画像（例えば、互いに並んで延伸する複数の電力線に沿って撮影した撮影画像や、撮影画像をグレースケール化または二値化した画像など）について、当該画像内において複数の電力線に対応する直線を抽出する一連の処理を実行する各機能部を備えている。
【0037】
エッジ画像生成部１２１は、画像取得部１１５が取得した画像内のエッジ情報を検出し、エッジ情報（検出されたエッジが存在する画像内のｘｙ座標を含む）に基づきエッジ画像を生成する。エッジ検出の手法は、画像内の電力線の外縁（エッジ）が判定可能であれば、どのような既知の手法（例えば微分フィルタなど）でもよいが、特に画像内の所定方向の各画素列において画素値（輝度）が高くなる変化量が基準値より大きい部分を立ちあがりエッジ情報として検出して、画素値（輝度）が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出する手法であってもよい。例えば、画像が二値化されている場合には、画素値情報は白を１、黒を０として設定し、グレースケール化している場合には、画素値情報は一番白を２５５、一番黒を０として設定し、画像内の所定方向の各画素列の隣接する画素をそれぞれ比較して差分値を算出し、上述のとおり差分値が予め設定した基準値以上となったピクセルを白色、それ以外のピクセルを黒色としてエッジを設定し、エッジ画像を生成することが可能である。例えば、図７の撮影画像から図８のエッジ画像を生成する際に、上述のとおり立ち上がりエッジ、立ち下がりエッジを判定する場合には、例えば、立ち上がりエッジを緑色、立ち上がりエッジを青色、それ以外を黒色などと設定すると図８のようなエッジ画像において各エッジが可視化可能である。
【0038】
ここで、図８の例示においては、電力線のエッジだけではなく、背景の草などのエッジも細かく検出されており、このようなノイズから複数の電力線に関係するエッジ情報のみを抽出することが難しい。特に、図９の例示のように、背景の木や草だけでなく、電力線と類似の形状・構造の直線的な物体（特に細長い物体）が映り込んでいる場合（例えば、斜めに延伸する直線的な物体４本が電力線で、左右に延伸する直線的な物体２本が無関係な細長い物体の場合）、直線的なエッジの検出が多くなるために画像内から複数の電力線に関係するエッジ情報のみを抽出することがさらに難しい。そこで、本発明の処理部１２０においては、以下の機能部をさらに有する。
【0039】
特定直線抽出部１２２は、生成されたエッジ画像内のエッジ情報に対するハフ変換（Ｈｏｕｇｈ変換）により取得される直線投票数情報及びエッジ画像内に想定される電力線に関連する想定直線本数を示す想定数情報に関する条件を少なくとも含む、電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、検出した複数の直線から抽出条件下にある想定直線本数の直線を抽出する。
【0040】
より具体的には、まず直線投票数情報は、特定直線抽出部１２２により、エッジ画像内のエッジ情報に対してハフ変換を実行することで取得される。ハフ変換とは、画像中に含まれる直線を多数決で検出する手法であって、例えば、ある直線に対して原点からの垂線を引いた際の長さρ、垂線とｘ軸がなす角度をθとして、画像中のエッジを構成する各点のｘｙ座標情報を用いてρθ座標に投票すると投票数を示す直線投票数情報が得られ、当該直線投票数情報から直線を示すρθの組み合わせが多数決で推定される。特に立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合には、例えば立ち上がりエッジのみを抽出した立ち上がりエッジ画像と立ち下がりエッジのみを抽出した立ち下がりエッジ画像を生成し、各画像に対してハフ変換を行って立ち上がりエッジに対応する直線と立ち下がりエッジに対応する直線がそれぞれ区別可能な直線投票数情報であってもよい。
【0041】
これにより、特定直線抽出部１２２により直線投票数情報のみを参照すると、例えば、図９に例示されるエッジ画像から図１０に示すような直線（斜めに延伸する直線が８本、左右に延伸する直線が４本）が多数決により推定される。なお、ハフ変換により得られるのは無限に続く「直線」であって有限な長さの「線分」ではないため、エッジが途切れている場合であっても電力線を構成する直線の抽出（推定）が可能である一方、図９に示されるような奥側に存在して途切れている無関係な細長い物体であっても直線として抽出され得る。
【0042】
次に、エッジ画像内に想定される電力線に関連する想定直線本数を示す想定数情報は、端末１等を介してユーザが設定可能な情報である。想定数情報（すなわち、想定直線本数）は、複数の電力線を構成する本数（例えば多導体方式の電力線を構成する本数であって、径間スペーサによりまとめられている本数）の２倍の本数を示す情報であってもよい。これは、１本の電力線は２本の直線（外縁）によって構成されるからである。もしくは、立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合には、想定数情報は、複数の電力線を構成する本数（例えば多導体方式の電力線を構成する本数）と同一の本数を示す情報であってもよい。これは、１本の電力線はそれぞれ１本の立ち上がりエッジにより抽出される直線と立ち下がりエッジにより抽出される直線から構成されるからである。より具体的には、例えば電力線の背景が電力線よりも暗い画素値の領域が多い背景（例えば、森の木々や土、草など）である場合には、上述のエッジ検出の手法例を用いると、画像内の所定方向の各画素列において暗い背景の画素値から電力線の画素値へ移る境界部分は画素値（輝度）が高くなる変化量が基準値より大きくなるので立ちあがりエッジ情報として検出され、その後の電力線の画素値から暗い背景の画素値へ戻る境界部分は画素値（輝度）が低くなる変化量が基準値より大きくなるので立ち下がりエッジ情報として検出されるため、両エッジにより１本の電力線が構成されているといえる。また、背景が電力線よりも明るい画素値の領域が多い背景（例えば、雪が積もっている場合など）である場合には、立ち上がりエッジと立ち下がりエッジの関係は逆転するが、結果として同様に両エッジにより１本の電力線が構成されているといえる。
【0043】
そして、複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報は、端末１等を介してユーザが設定可能な情報である。例えば第１の抽出条件は、直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて少なくとも想定直線本数（複数の電力線を構成する本数の２倍の本数）あることであって、この抽出条件を満たすと特定直線抽出部１２２が判定した場合に該当する直線（すなわち、複数の電力線を構成する直線）を抽出する。すなわち、図９においては、例えば直線投票数情報に基づき斜めに延伸する直線のいずれかが第１直線と選択された場合、互いに平行な直線が想定直線本数（８本）に対応する本数存在しているため、図１１に示されるように電力線を構成する直線が抽出されることとなる。また、例えば直線投票数情報に基づき左右に延伸する直線のいずれかが第１直線として選択された場合には、想定直線本数の８本存在していないため抽出されない。この場合、互いに平行と判定された左右に延伸する直線に関する直線投票数情報は非対象として一番多い第１直線を再度選択してもよいし、これに代えて、または、加えて、ハフ変換から再度実行するようにしてもよい。両者を組み合わせる場合には、例えば、複数回再選択を繰り返しても想定数情報が示す本数（例えば複数の電力線を構成する本数の２倍の本数）の直線が抽出されない場合に、ハフ変換から再度実行するようにしてもよい。なお、ここでいう「平行」とは、平行として近似可能な略平行なものも含み、以下同様である。
【0044】
さらに、上記第１の抽出条件に代えて、抽出された直線において、互いに近傍（所定の基準距離範囲内、特に電力線の外径と略一致の幅（さらには複数の電力線のうち手前側と奥側を考慮した電力線の外径と略一致の幅））に位置する直線同士をペアリングし、そのペアが想定直線本数（この場合、複数の電力線を構成する本数と同一の本数）あることを抽出条件としてもよい。
【0045】
また、立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合、例えば第２の抽出条件として、立ち上がりエッジまたは立ち下がりエッジのいずれか一方において直線投票数が一番多い第１直線に平行な直線と、その近傍（所定の基準距離範囲内、特に電力線の外径と略一致の幅（さらには複数の電力線のうち手前側と奥側を考慮した電力線の外径と略一致の幅））にある立ち上がりエッジまたは立ち下がりエッジのいずれか他方に基づく直線（特に第１直線に平行な直線）とをペアリングし、そのペアが第１直線を含むペアを含めて想定直線本数（複数の電力線を構成する本数と同一の本数）あることであって、この抽出条件を満たすと特定直線抽出部１２２が判定した場合に該当する直線（すなわち、複数の電力線を構成する直線）を抽出する。すなわち、図９においては、例えば立ち上がりエッジに対応する直線投票数情報に基づき斜めに延伸する直線（図１２において実線にて示される直線）のいずれかが第１直線と選択された場合、第１直線に平行な直線を判定し、判定された各直線の近傍にある立ち下がりエッジに対応する直線（図１２において点線にて示される直線）とそれぞれペアを形成し、これらのペアが想定直線本数（４本）に対応する数（４ペア）存在しているため、図１１に示されるように電力線を構成する直線が抽出されることとなる。また、例えば立ち上がりエッジに対応する直線投票数情報に基づき左右に延伸する直線のいずれかが第１直線として選択された場合には、形成されるペア数（２ペア）が想定直線本数の４本存在していないため抽出されない。この場合、互いに平行と判定された左右に延伸する直線のペアに関する直線投票数情報は非対象として一番多い第１直線を再度選択してもよいし、これに代えて、または、加えて、ハフ変換から再度実行するようにしてもよい。両者を組み合わせる場合には、例えば、複数回再選択を繰り返しても想定数情報が示す本数（例えば複数の電力線を構成する本数と同一の本数）のペアが抽出されない場合に、ハフ変換から再度実行するようにしてもよい。
【0046】
さらに、検出された複数の直線の傾きのうち、いずれの傾きが一番多い第１傾きであるかを傾き投票数により判定する傾き判定部１２３を備えてもよい。傾き投票数による判定手法は、例えばハフ変換により取得する直線投票数情報に含まれる角度（θ）に関する情報に基づいて、角度基準での投票数（傾き投票数）が最も多い第１傾きを傾き判定部１２３により判定してもよい。
【0047】
そして、上記傾き判定部１２３を備える場合、例えば第３の抽出条件として、傾き判定部１２３により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも想定直線本数（複数の電力線を構成する本数の２倍の本数）あること、であって、この抽出条件を満たすと特定直線抽出部１２２が判定した場合には、第１傾きに対して所定範囲内の傾きの直線のうち、直線投票数情報が示す直線投票数が多い順に想定直線本数だけ直線を抽出する。すなわち、図９においては、例えば斜めに延伸する直線のいずれかの傾きが第１傾きと判定された場合、第１傾きに対して所定範囲の傾きの直線（斜めに延伸する他の直線）が想定直線本数（８本）に対応する本数存在しているため、図１１に示されるように電力線を構成する直線が抽出されることとなる。この場合においては、左右に延伸する直線の傾きが第１傾きと判定される可能性が少ないため、誤検出の可能性がより低くなり得る。
【0048】
また、上記傾き判定部１２３を備える場合であって、立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合、例えば第４の抽出条件として、立ち上がりエッジまたは立ち下がりエッジのいずれか一方に対応する直線において傾き判定部１２３により判定された第１傾きに対して所定範囲内の傾きの直線を判定し、判定された直線の近傍（所定の基準距離範囲内、特に電力線の外径と略一致の幅（さらには複数の電力線のうち手前側と奥側を考慮した電力線の外径と略一致の幅））にある立ち上がりエッジまたは立ち下がりエッジのいずれか他方に基づく直線（特に第１傾きと平行な直線）とをペアリングし、そのペアが少なくとも想定直線本数（複数の電力線を構成する本数と同一の本数）あること、であって、この抽出条件を満たすと特定直線抽出部１２２が判定した場合には、ペアのうち、直線投票数情報が示す直線投票数が多い順に想定直線本数のペアに対応する直線だけを抽出する。すなわち、図９においては、例えば立ち上がりエッジに対応する斜めに延伸する直線（図１２において実線にて示される直線）のいずれかの傾きが第１傾きと判定された場合、第１傾きに対して所定範囲の傾きの直線（斜めに延伸する他の直線）を判定し、判定された直線の近傍にある立ち下がりエッジに対応する斜めに延伸する直線（図１２において点線にて示される直線）とペアを形成し、そのペアが想定直線本数（４本）に対応する本数存在しているため、図１１に示されるように電力線を構成する直線が抽出されることとなる。この場合においても、左右に延伸する直線の傾きが第１傾きと判定される可能性が少ないため、誤検出の可能性がより低くなり得る。
【0049】
また、上記傾き判定部１２３を備える場合であって、立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合、例えば第５の抽出条件として、立ち上がりエッジまたは立ち下がりエッジのいずれか一方に対応する直線とその近傍（所定の基準距離範囲内）にある立ち上がりエッジまたは立ち下がりエッジのいずれか他方に対応する直線とをペアリングし、それらペアに対して傾き判定部１２３によりいずれの傾きが一番多い第１傾きであるかを傾き投票数により判定し（例えば、ペアの傾きとは、ペアを構成する両直線の傾きの平均傾きなど）、第１傾きに対して所定範囲内の傾きのペアが少なくとも想定直線本数（複数の電力線を構成する本数と同一の本数）あること、であって、この抽出条件を満たすと特定直線抽出部１２２が判定した場合には、ペアのうち、直線投票数情報が示す直線投票数が多い順に想定直線本数のペアに対応する直線だけを抽出する。すなわち、図９においては、例えば立ち上がりエッジに対応する直線（図１３において実線にて示される直線）と近傍の立ち下がりエッジに対応する直線（図１３において点線にて示される直線）とでペアを形成し、傾き判定部１２３によりいずれの傾きが一番多い第１傾きであるかを傾き投票数により判定し（図１３においては斜めに延伸する直線の傾きを第１傾きと判定）、第１の傾きに対して所定範囲内の傾きのペアを直線投票数が多い順に想定直線本数である４ペアだけ抽出する。この場合においても、左右に延伸する直線の傾きが第１傾きと判定される可能性が少ないため、誤検出の可能性がより低くなり得る。
【0050】
このように、特に背景にある対象外の直線的な物体（特に細長い物体）のエッジを検出した場合においても、多導体方式の複数の電力線を構成する直線のみを画像内から抽出することが可能となる。
【0051】
追跡対象位置設定部１２４は、特定直線抽出部１２２により抽出された直線（すなわち、複数の電力線を構成する直線）に基づいて、無人飛行体４のカメラ（撮影部）により追跡する対象位置を設定する。より具体的な例として、追跡対象位置設定部１２４は、特定直線抽出部１２２により抽出された複数の直線の平均の位置に平均直線を算出し（必要に応じて画像中に可視化して追加し）、当該平均直線を追跡する対象位置（対象直線）として設定してもよい。図１４には、平均直線が点線により可視化されて追加されている画像が例示されている。また、追跡対象位置設定部１２４は、特定直線抽出部１２２により抽出された複数の直線またはペアのうちの１つを追跡する対象位置（対象直線）として設定してもよい。そして、追跡対象位置設定部１２４は、設定した対象位置が撮影部により撮影している画像中に含まれるように撮影部または無人飛行体自体の少なくともいずれかを制御するための指示情報を生成し、通信部１１０を介して無人飛行体４へ送信する。より具体的な例としては、まず、対象直線の所定位置（例えば、中心位置または略中心位置など）が画像中の所定範囲（特に、画像の中心近傍であり、さらに画像の中心位置または略中心位置を基準とした範囲）に含まれているかを判定する。そして、所定範囲に含まれていないと判定された場合には、対象直線の所定位置と所定範囲との差分情報を生成し、当該差分情報に基づき撮影部の状態（例えば、撮影方向情報、画角情報など）または無人飛行体自体の状態（例えば、現在位置情報（緯度経度高度座標）や、姿勢情報、回転翼のモータ出力情報など）の少なくともいずれかを制御するための指示情報を生成する。差分情報は、所定範囲からのずれ量及びずれ方向が把握可能な情報であればどのような情報であってもよいが、例えば、画像の中心から対象直線の所定位置までの画像上での方向及び距離（画素数）に関する情報であり得る。指示情報は、例えば、差分情報と、画像上の方向及び距離と撮影部または無人飛行体撮影部における制御方向及び制御距離の対応情報、並びに、無人飛行体の少なくとも何れかの現在状態情報に基づき生成されてもよいが、これに限定されない。なお、対象直線の所定位置が画像中の所定範囲に含まれていると判定された場合には、指示情報を新たに生成せずに撮影部または無人飛行体の状態を維持させる。
【0052】
次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、エッジ画像生成部１２１が生成したエッジ画像やエッジ情報、特定直線抽出部１２２が生成した直線投票数情報や複数の電力線を構成する直線に関する情報、第１直線に関する情報、傾き判定部１２３が生成した傾き投票数情報や第１傾きに関する情報、追跡対象位置設定部１２４により対象直線が可視化された画像、ユーザが設定した想定数情報や立ち上がりエッジまたは立ち下がりエッジのための基準値情報、近傍を示す基準範囲情報など、または、処理部１２０の各機能部１２１～１２６による処理に生成されたその他の情報・データなどを、少なくとも一時的に記憶する。
【0053】
＜直線抽出方法の一例＞
続いて、図１５等を参照して、本実施形態にかかる情報処理システムによる直線抽出方法について説明する。図１５は、本実施形態にかかる情報処理システムによる直線抽出方法を実施する処理を示すフローチャートである。
続いて、図１５等を参照して、本実施形態にかかる情報処理システムによる直線抽出方法について説明する。図１５は、本実施形態にかかる情報処理システムによる直線抽出方法を実施する処理を示すフローチャートである。
【0054】
最初に、端末１の画像取得部１１５により、無人飛行体４に搭載されたカメラにより撮影された撮影画像などの画像を取得する（Ｓ１０１）。
【0055】
次に、端末１のエッジ画像生成部１２１により、画像取得部１１５が取得した画像内のエッジ情報を検出し、エッジ情報（検出されたエッジが存在する画像内のｘｙ座標を含む）に基づきエッジ画像を生成する（Ｓ１０２）。
【0056】
次に、端末１の特定直線抽出部１２２により、生成されたエッジ画像内のエッジ情報に対するハフ変換により取得される直線投票数情報及びエッジ画像内に想定される電力線に関連する想定直線本数を示す想定数情報に関する条件を少なくとも含む、電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、検出した複数の直線から抽出条件下にある想定直線本数の直線を抽出する（Ｓ１０３）。
【0057】
このように、本実施形態の端末１によれば、特に背景にある対象外の直線的な物体（特に細長い物体）のエッジを検出した場合においても、多導体方式の複数の電力線を構成する直線のみを画像内から抽出することが可能となる。
【0058】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【0059】
１ 端末
２ サーバ
４ 無人飛行体
２ サーバ
４ 無人飛行体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【手続補正書】
【提出日】2023-12-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータが無人飛行体により撮影した撮影画像から複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記抽出条件は、前記直線投票数情報に含まれる最多の直線投票数、及び／又は、最多の傾き投票数に基づいて複数の直線を特定し、特定した前記複数の直線の本数が、少なくとも前記想定直線本数あること、を含む情報処理方法。
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記抽出条件は、前記直線投票数情報に含まれる最多の直線投票数、及び／又は、最多の傾き投票数に基づいて複数の直線を特定し、特定した前記複数の直線の本数が、少なくとも前記想定直線本数あること、を含む情報処理方法。
【請求項2】
前記想定直線本数は、前記複数の電力線の本数の２倍の数であって、
前記抽出条件は、前記直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
前記抽出条件は、前記直線投票数が一番多い第１直線と平行な直線が当該第１直線を含めて前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項3】
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項4】
さらに、傾き判定部により、前記特定直線抽出部により検出された複数の直線の傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の２倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
前記想定直線本数は、前記複数の電力線の２倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第１傾きに対して所定範囲内の傾きの直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項5】
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出ステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項6】
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項１に記載の情報処理方法。
【請求項7】
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする請求項１乃至６のいずれかに記載の情報処理方法。
ことを特徴とする請求項１乃至６のいずれかに記載の情報処理方法。
【請求項8】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理システムであって、
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、を備え、
前記抽出条件は、前記直線投票数情報に含まれる最多の直線投票数、及び／又は、最多の傾き投票数に基づいて複数の直線を特定し、特定した前記複数の直線の本数が、少なくとも前記想定直線本数あること、を含む情報処理システム。
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、を備え、
前記抽出条件は、前記直線投票数情報に含まれる最多の直線投票数、及び／又は、最多の傾き投票数に基づいて複数の直線を特定し、特定した前記複数の直線の本数が、少なくとも前記想定直線本数あること、を含む情報処理システム。
【請求項9】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータに実行させ、
前記抽出条件は、前記直線投票数情報に含まれる最多の直線投票数、及び／又は、最多の傾き投票数に基づいて複数の直線を特定し、特定した前記複数の直線の本数が、少なくとも前記想定直線本数あること、を含むプログラム。
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータに実行させ、
前記抽出条件は、前記直線投票数情報に含まれる最多の直線投票数、及び／又は、最多の傾き投票数に基づいて複数の直線を特定し、特定した前記複数の直線の本数が、少なくとも前記想定直線本数あること、を含むプログラム。
【手続補正書】
【提出日】2024-03-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータが無人飛行体により撮影した撮影画像から複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、情報処理方法。
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、情報処理方法。
【請求項2】
コンピュータが無人飛行体により撮影した撮影画像から複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、情報処理方法。
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線において、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、情報処理方法。
【請求項3】
コンピュータが無人飛行体により撮影した撮影画像から複数の電力線に対応する直線を抽出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、情報処理方法。
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち、いずれの傾きが一番多い第１傾きかを傾き投票で判定するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータが実行し、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第１傾きに対して所定範囲内の傾きであると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数のペアに対応する直線を抽出するステップをさらに含む、情報処理方法。
【請求項4】
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする請求項１乃至３のいずれかに記載の情報処理方法。
ことを特徴とする請求項１乃至３のいずれかに記載の情報処理方法。
【請求項5】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理システムであって、
前記撮影画像からエッジ画像を生成し、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、を備え、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、情報処理システム。
前記撮影画像からエッジ画像を生成し、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出する特定直線抽出部と、を備え、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、である、情報処理システム。
【請求項6】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータに実行させ、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、であるプログラム。
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を前記コンピュータに実行させ、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第１直線に平行な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想定直線本数あること、であるプログラム。