(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101569
(43)【公開日】2024-07-29
(54)【発明の名称】情報処理方法、情報処理システム及びプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20240722BHJP
【FI】
G06T7/60 200H
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2024036545
(22)【出願日】2024-03-11
(62)【分割の表示】P 2023005472の分割
【原出願日】2023-01-17
(71)【出願人】
【識別番号】518156358
【氏名又は名称】株式会社センシンロボティクス
(71)【出願人】
【識別番号】520320446
【氏名又は名称】中部電力パワーグリッド株式会社
(71)【出願人】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】小川 雅弘
(72)【発明者】
【氏名】丸目 裕樹
(72)【発明者】
【氏名】山田 竜司
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA03
5L096BA18
5L096CA02
5L096DA01
5L096FA06
5L096FA24
5L096FA32
5L096FA52
5L096FA67
5L096FA69
5L096FA72
(57)【要約】 (修正有)
【課題】多導体方式の複数の電力線を構成する直線のみを画像内から抽出する情報処理方法、情報処理システム及びプログラムを提供する。
【解決手段】情報処理方法は、画像取得部により、無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する画像を取得するステップと、エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想定直線本数の直線を抽出するステップと、を含む。
【選択図】
図15
【特許請求の範囲】
【請求項1】
無人飛行体により撮影した撮影画像から複数の電力線に対応する直線を抽出する情報処
理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により
取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直
線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直
線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記
抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を含む情報処理方法。
【請求項2】
前記想定直線本数は、前記複数の電力線の本数の2倍の数であって、
前記抽出条件は、前記直線投票数が一番多い第1直線と平行な直線が当該第1直線を含
めて前記想定直線本数あること、である、
ことを特徴とする請求項1に記載の情報処理方法。
【請求項3】
前記エッジ画像生成部により、所定方向の各画素列において画素値が高くなる変化量が
基準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量
が基準値より大きい部分を立ち下がりエッジ情報として検出するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッ
ジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第1直線に平行
な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下が
りエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想
定直線本数あること、である、
ことを特徴とする請求項1に記載の情報処理方法。
【請求項4】
さらに、傾き判定部により、前記特定直線抽出部により検出された複数の直線の傾きの
うち、いずれの傾きが一番多い第1傾きかを傾き投票で判定するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の2倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第1傾きに対して所定範囲内の傾き
の直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの
直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップを
さらに含む、
ことを特徴とする請求項1に記載の情報処理方法。
【請求項5】
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基
準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が
基準値より大きい部分を立ち下がりエッジ情報として検出ステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいず
れか一方に対応する直線において、いずれの傾きが一番多い第1傾きかを傾き投票で判定
するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第1傾きに対して所定範囲内の傾きであ
ると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一
方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエ
ッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なく
とも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数
のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項1に記載の情報処理方法。
【請求項6】
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基
準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が
基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいず
れか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下
がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち
、いずれの傾きが一番多い第1傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第1傾きに対して所定範囲内の傾きであ
ると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数
のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする請求項1に記載の情報処理方法。
【請求項7】
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前
記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする請求項1乃至6のいずれかに記載の情報処理方法。
【請求項8】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽
出する情報処理システムであって、
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情
報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報
に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線
抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想
定直線本数の直線を抽出する特定直線抽出部と、
を備える情報処理システム。
【請求項9】
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽
出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により
取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直
線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直
線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記
抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aeria
l Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始
めている。こうした中で、特許文献1には、飛行体により電力線を撮影して検査するシス
テムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、例えば、点検対象の電力線の追跡などのために対象電力線を特定する場合に、
一つの手法として撮影画像に対してエッジ検出を行うことで電力線のエッジを抽出し電力
線の位置を特定するという手法が考え得る。しかしながら、撮影した画像には様々な電力
線や建物や道路等の直線的な構造物が背景に映りこむことからエッジ検出を行った場合に
はノイズとなるエッジが多数抽出され得るため、対象電力線のエッジを特定することが難
しい場合があり得る。特に、背景にある点検対象外の直線的な物体(特に細長い物体)の
エッジを抽出した場合には、そちらの方を追跡してしまい、点検対象の電力線を失い適切
な点検を行うことが難しい場合があり得る。
【0005】
また、特許文献1においては特段言及していないが、電力線を支持する鉄塔等の支持物
の各々の腕金に架線される電力線は、それぞれ1本の電力線で構成されている場合(単導
体方式)だけでなく、各腕金に架線される電力線がそれぞれ2本以上の電力線(導体)で
構成される多導体方式の電力線もあり得る。そして、多導体方式の電力線に対して上述の
ようなエッジ検出を行う場合においては、撮影画像内において抽出された複数の直線的な
物体(特に細長い物体)のエッジのうち、どれが対象電力線であるかを複数特定する必要
があり、唯一の対象電力線を特定する状況よりも特定が難しい。
【0006】
本発明はこのような背景を鑑みてなされたものであり、単導体方式の他に、特に多導体
方式の電力線に対応する直線を飛行体による撮影画像から抽出することが可能な情報処理
方法、情報処理システム及びプログラムを提供することを一つの目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、無人飛行体により撮影した撮影画像から多導体方式の複数の
電力線に対応する直線を抽出する情報処理方法であって、エッジ画像生成部により、前記
撮影画像からエッジ画像を生成するステップと、特定直線抽出部により、生成された前記
エッジ画像内のエッジに対するハフ変換(Hough変換)により取得される直線投票数
情報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情
報に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直
線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記
想定直線本数の直線を抽出するステップと、を含む情報処理方法等が提供される。
【発明の効果】
【0008】
本発明によれば、特に、多導体方式の複数の電力線に対応する直線を飛行体による撮影
画像から抽出することが可能な情報処理方法、情報処理システム及びプログラムを提供す
ることができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施の形態の全体構成を示す図である。
【
図2】本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。
【
図3】
図2の端末のハードウェア構成を示すブロック図である。
【
図4】
図2のサーバのハードウェア構成を示すブロック図である。
【
図5】
図2の無人飛行体のハードウェア構成を示すブロック図である。
【
図6】
図2の端末、サーバの機能を示すブロック図である。
【
図7】無人飛行体の撮影部から取得した画像の一例である。
【
図8】
図7の画像から生成されたエッジ画像の一例である。
【
図10】直線投票数情報により推定された直線が可視化された画像の一例である。
【
図11】抽出された特定の直線が可視化された画像の一例である。
【
図12】抽出された特定の直線が可視化された画像の一例である。
【
図13】抽出された特定の直線が可視化された画像の一例である。
【
図14】追跡対象位置が可視化された画像の一例である。
【
図15】本実施形態にかかる情報処理システムによるエッジ抽出方法を実施する処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理方法
、情報処理システム及びプログラムは、以下のような構成を備える。
[項目1]
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽
出する情報処理方法であって、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により
取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直
線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直
線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記
抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を含む情報処理方法。
[項目2]
前記想定直線本数は、前記複数の電力線の本数の2倍の数であって、
前記抽出条件は、前記直線投票数が一番多い第1直線と平行な直線が当該第1直線を含
めて前記想定直線本数あること、である、
ことを特徴とする項目1に記載の情報処理方法。
[項目3]
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基
準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が
基準値より大きい部分を立ち下がりエッジ情報として検出するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の本数と同一の数であって、
前記抽出条件は、前記立ち上がりエッジ情報に対応する直線または前記立ち下がりエッ
ジ情報に対応する直線のいずれか一方において前記直線投票数が一番多い第1直線に平行
な直線と、その近傍にある前記立ち上がりエッジ情報に対応する直線または前記立ち下が
りエッジ情報に対応する直線のいずれか他方とで複数のペアを形成し、そのペアが前記想
定直線本数あること、である、
ことを特徴とする項目1に記載の情報処理方法。
[項目4]
さらに、傾き判定部により、前記特定直線抽出部により検出された複数の直線の傾きの
うち、いずれの傾きが一番多い第1傾きかを傾き投票で判定するステップをさらに含み、
前記想定直線本数は、前記複数の電力線の2倍の数であって、
前記抽出条件は、前記傾き判定部により判定された第1傾きに対して所定範囲内の傾き
の直線が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記判定された一番多い傾きに対して所定範囲内の傾きの
直線のうち、前記直線投票数が多い順に前記想定直線本数だけ直線を抽出するステップを
さらに含む、
ことを特徴とする項目1に記載の情報処理方法。
[項目5]
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基
準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が
基準値より大きい部分を立ち下がりエッジ情報として検出ステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいず
れか一方に対応する直線において、いずれの傾きが一番多い第1傾きかを傾き投票で判定
するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第1傾きに対して所定範囲内の傾きであ
ると判定された前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいずれか一
方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下がりエ
ッジ情報のいずれか他方に対応する直線とで複数のペアを形成し、そのペアの数が少なく
とも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数
のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする項目1に記載の情報処理方法。
[項目6]
前記エッジ画像生成により、所定方向の各画素列において画素値が高くなる変化量が基
準値より大きい部分を立ち上がりエッジ情報として検出して、画素値が低くなる変化量が
基準値より大きい部分を立ち下がりエッジ情報として検出するステップと、
傾き判定部により、前記立ち上がりエッジ情報または前記立ち下がりエッジ情報のいず
れか一方に対応する直線と、その近傍にある前記立ち上がりエッジ情報または前記立ち下
がりエッジ情報のいずれか他方に対応する直線により形成された複数のペアの傾きのうち
、いずれの傾きが一番多い第1傾きかを傾き投票で判定するステップと、をさらに含み、
前記想定直線本数は、前記複数の電力線の数であって、
前記抽出条件は、前記判定部により判定された第1傾きに対して所定範囲内の傾きであ
ると判定されたペアの数が少なくとも前記想定直線本数あること、であり、
前記特定直線抽出部により、前記ペアから前記直線投票数が多い順に前記想定直線本数
のペアに対応する直線を抽出するステップをさらに含む、
ことを特徴とする項目1に記載の情報処理方法。
[項目7]
追跡対象位置設定部により、前記特定直線抽出部により抽出された直線に基づいて、前
記無人飛行体の撮影部により追跡する対象位置を設定するステップをさらに含む、
ことを特徴とする項目1乃至6のいずれかに記載の情報処理方法。
[項目8]
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽
出する情報処理システムであって、
前記撮影画像からエッジ画像を生成するエッジ画像生成部と、
生成された前記エッジ画像内のエッジに対するハフ変換により取得される直線投票数情
報及び前記エッジ画像内に想定される前記複数の電力線の想定直線本数を示す想定数情報
に関する条件を少なくとも含む、前記複数の電力線を構成する直線の抽出条件を示す直線
抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記抽出条件下にある前記想
定直線本数の直線を抽出する特定直線抽出部と、
を備える情報処理システム。
[項目9]
無人飛行体により撮影した撮影画像から多導体方式の複数の電力線に対応する直線を抽
出する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法として、
エッジ画像生成部により、前記撮影画像からエッジ画像を生成するステップと、
特定直線抽出部により、生成された前記エッジ画像内のエッジに対するハフ変換により
取得される直線投票数情報及び前記エッジ画像内に想定される前記複数の電力線の想定直
線本数を示す想定数情報に関する条件を少なくとも含む、前記複数の電力線を構成する直
線の抽出条件を示す直線抽出条件情報に基づき、前記エッジ画像内の複数の直線から前記
抽出条件下にある前記想定直線本数の直線を抽出するステップと、
を実行させるプログラム。
【0011】
<実施の形態の詳細>
以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同
一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明
において同一または類似の要素に関する重複する説明は省略することがある。また、各実
施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
【0012】
<本実施形態の概要>
図1に示されるように、本実施の形態における情報処理システムは、例えば支持物(例
えば、鉄塔など)に設けられた互いに並んで延伸する複数の電力線に沿って撮像した画像
から、複数の電力線(特に多導体方式の電力線であって、例えば径間スペーサにより2本
、3本、4本、6本などの電力線など)に対応する直線を抽出するものである。複数の電
力線の画像の取得は、一例として、ユーザの所有する端末1からの指示に基づき、自律飛
行もしくは遠隔操作により飛行する
図1に示すような無人飛行体4に搭載したカメラを遠
隔操作して撮像してもよい。
【0013】
より具体的には、本実施形態における情報処理システムは、飛行体により撮影した撮影
画像からエッジ画像を生成し、エッジ画像内のエッジに対するハフ変換により取得される
直線投票数情報及び撮影画像内に想定される電力線に関連する想定直線本数を示す想定数
情報に基づく電力線を構成する直線の抽出条件を示す直線抽出条件に基づき、直線の抽出
条件下にある想定直線本数の直線をエッジ画像内から抽出することを可能にするものであ
る。
【0014】
このように、撮影画像内に想定される電力線に関連する想定直線本数(特に多導体方式
の電力線の本数の2倍に対応する想定直線本数)に関する情報を利用することで、撮影画
像内から適切な数の直線を抽出することが可能となる。
【0015】
<システム構成>
図2に示されるように、本実施の形態における情報処理システムは、端末1と、サーバ
2と、無人飛行体4とを有している。端末1と、サーバ2と、無人飛行体4は、ネットワ
ークNWを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例
であり、これに限らず、例えば無人飛行体4がネットワークNWに接続されていなくても
よい。その場合、無人飛行体4の操作がユーザの操作する送信機(いわゆるプロポ)によ
り行われたり、無人飛行体4のカメラにより取得した画像データが無人飛行体4に接続さ
れる補助記憶装置(例えばSDカードなどのメモリカードやUSBメモリなど)に記憶さ
れ、ユーザにより事後的に補助記憶装置から端末1やサーバ2に読み出されて記憶された
りする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的
のためだけに無人飛行体4がネットワークNWに接続されていてもよい。
【0016】
<端末1のハードウェア構成>
図3は、本実施形態における端末1のハードウェア構成を示す図である。なお、図示さ
れた構成は一例であり、これ以外の構成を有していてもよい。
【0017】
端末1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13
、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。端末1
は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとし
てもよい。
【0018】
プロセッサ10は、端末1全体の動作を制御し、各要素間におけるデータの送受信の制
御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である
。例えばプロセッサ10はCPU(Central Processing Unit)
および/またはGPU(Graphics Processing Unit)であり、
ストレージ12に格納されメモリ11に展開されたプログラム等を実行して各情報処理を
実施する。
【0019】
メモリ11は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、端末1の起動時に実行
されるBIOS(Basic Input / Output System)、及び各
種設定情報等を格納する。
【0020】
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよ
い。また、後述の記憶部130が記憶領域の一部に設けられていてもよい。
【0021】
送受信部13は、端末1が通信ネットワークを介して外部装置(不図示)や無人飛行体
4等と通信を行うための通信インターフェースである。送受信部13は、Bluetoo
th(登録商標)及びBLE(Bluetooth Low Energy)の近距離通
信インターフェースやUSB(Universal Serial Bus)端子等をさ
らに備えていてもよい。
【0022】
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
【0023】
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
【0024】
<サーバ2>
図4に示されるサーバ2もまた、プロセッサ20、メモリ21、ストレージ22、送受
信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される
。サーバ2は、例えばワークステーションやパーソナルコンピュータのような汎用コンピ
ュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現され
てもよい。各要素の機能は、上述した端末1と同様に構成することが可能であることから
、各要素の詳細な説明は省略する。
【0025】
<無人飛行体4>
図5は、無人飛行体4のハードウェア構成を示すブロック図である。フライトコントロ
ーラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの
1つ以上のプロセッサを有することができる。
【0026】
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセ
ス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラ
が実行可能であるロジック、コード、および/またはプログラム命令を記憶している。ま
た、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GP
Sセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
【0027】
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離
可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得し
たデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で
撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに
限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくと
も端末1やサーバ2のいずれか1つに記録されてもよい。カメラ42は無人飛行体4にジ
ンバル43を介して設置される。
【0028】
フライトコントローラ41は、無人飛行体4の状態を制御するように構成された図示し
ない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、
y及びz、並びに回転運動θx、θy及びθz)を有する無人飛行体4の空間的配置、速
度、および/または加速度を調整するために、ESC44(Electric Spee
d Controller)を経由して無人飛行体4の推進機構(モータ45等)を制御
する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで無
人飛行体4の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1
つ以上を制御することができる。
【0029】
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ
)49、端末1、表示装置、または他の遠隔の制御器)からのデータを送信および/また
は受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信
または無線通信などの任意の適当な通信手段を使用することができる。
【0030】
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネッ
トワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネット
ワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することがで
きる。
【0031】
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成し
た処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのう
ちの1つ以上を送信および/または受け取ることができる。
【0032】
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、
GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例
えば、カメラ)を含み得る。
【0033】
<端末1の機能>
図6は、端末1及びサーバ2に実装される機能を例示したブロック図である。本実施の
形態においては、端末1は、画像取得部115、処理部120、記憶部130を備えてい
る。処理部120は、エッジ画像生成部121、特定直線抽出部122、傾き判定部12
3、追跡対象位置設定部124を含んでいる。また、記憶部130は、情報・画像記憶部
131を含んでいる。なお、各種機能部は、端末1のプロセッサ10における機能部とし
て例示しているが、各種機能部の一部または全部は、端末1のプロセッサ10またはサー
バ2のプロセッサ20、無人飛行体4のコントローラ41の能力等に合わせて、プロセッ
サ10またはプロセッサ20、コントローラ41のうちのいずれの構成において実現され
ていてもよい。
【0034】
通信部110は、ネットワークNWを介してサーバ2や、無人飛行体4と通信を行う。
通信部110は、サーバ2や無人飛行体4等からの各種要求やデータ等を受け付ける受付
部としても機能する。
【0035】
画像取得部115は、例えば、通信インターフェースを介した無線通信あるいはUSB
端子等を介した有線通信によって、無人飛行体4に搭載されたデジタルカメラやユーザが
用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取
得部115は、USBメモリやSDメモリ等の記憶媒体を介して画像を取得するように構
成されていてもよいが、特に無人飛行体4からの無線通信で、または、無人飛行体4内に
おいて、リアルタイムに画像を取得する構成がより好ましい。
【0036】
処理部120は、画像取得部115が取得した画像(例えば、互いに並んで延伸する複
数の電力線に沿って撮影した撮影画像や、撮影画像をグレースケール化または二値化した
画像など)について、当該画像内において複数の電力線に対応する直線を抽出する一連の
処理を実行する各機能部を備えている。
【0037】
エッジ画像生成部121は、画像取得部115が取得した画像内のエッジ情報を検出し
、エッジ情報(検出されたエッジが存在する画像内のxy座標を含む)に基づきエッジ画
像を生成する。エッジ検出の手法は、画像内の電力線の外縁(エッジ)が判定可能であれ
ば、どのような既知の手法(例えば微分フィルタなど)でもよいが、特に画像内の所定方
向の各画素列において画素値(輝度)が高くなる変化量が基準値より大きい部分を立ちあ
がりエッジ情報として検出して、画素値(輝度)が低くなる変化量が基準値より大きい部
分を立ち下がりエッジ情報として検出する手法であってもよい。例えば、画像が二値化さ
れている場合には、画素値情報は白を1、黒を0として設定し、グレースケール化してい
る場合には、画素値情報は一番白を255、一番黒を0として設定し、画像内の所定方向
の各画素列の隣接する画素をそれぞれ比較して差分値を算出し、上述のとおり差分値が予
め設定した基準値以上となったピクセルを白色、それ以外のピクセルを黒色としてエッジ
を設定し、エッジ画像を生成することが可能である。例えば、
図7の撮影画像から
図8の
エッジ画像を生成する際に、上述のとおり立ち上がりエッジ、立ち下がりエッジを判定す
る場合には、例えば、立ち上がりエッジを緑色、立ち上がりエッジを青色、それ以外を黒
色などと設定すると
図8のようなエッジ画像において各エッジが可視化可能である。
【0038】
ここで、
図8の例示においては、電力線のエッジだけではなく、背景の草などのエッジ
も細かく検出されており、このようなノイズから複数の電力線に関係するエッジ情報のみ
を抽出することが難しい。特に、
図9の例示のように、背景の木や草だけでなく、電力線
と類似の形状・構造の直線的な物体(特に細長い物体)が映り込んでいる場合(例えば、
斜めに延伸する直線的な物体4本が電力線で、左右に延伸する直線的な物体2本が無関係
な細長い物体の場合)、直線的なエッジの検出が多くなるために画像内から複数の電力線
に関係するエッジ情報のみを抽出することがさらに難しい。そこで、本発明の処理部12
0においては、以下の機能部をさらに有する。
【0039】
特定直線抽出部122は、生成されたエッジ画像内のエッジ情報に対するハフ変換(H
ough変換)により取得される直線投票数情報及びエッジ画像内に想定される電力線に
関連する想定直線本数を示す想定数情報に関する条件を少なくとも含む、電力線を構成す
る直線の抽出条件を示す直線抽出条件情報に基づき、検出した複数の直線から抽出条件下
にある想定直線本数の直線を抽出する。
【0040】
より具体的には、まず直線投票数情報は、特定直線抽出部122により、エッジ画像内
のエッジ情報に対してハフ変換を実行することで取得される。ハフ変換とは、画像中に含
まれる直線を多数決で検出する手法であって、例えば、ある直線に対して原点からの垂線
を引いた際の長さρ、垂線とx軸がなす角度をθとして、画像中のエッジを構成する各点
のxy座標情報を用いてρθ座標に投票すると投票数を示す直線投票数情報が得られ、当
該直線投票数情報から直線を示すρθの組み合わせが多数決で推定される。特に立ち上が
りエッジ情報と立ち下がりエッジ情報を区別する場合には、例えば立ち上がりエッジのみ
を抽出した立ち上がりエッジ画像と立ち下がりエッジのみを抽出した立ち下がりエッジ画
像を生成し、各画像に対してハフ変換を行って立ち上がりエッジに対応する直線と立ち下
がりエッジに対応する直線がそれぞれ区別可能な直線投票数情報であってもよい。
【0041】
これにより、特定直線抽出部122により直線投票数情報のみを参照すると、例えば、
図9に例示されるエッジ画像から
図10に示すような直線(斜めに延伸する直線が8本、
左右に延伸する直線が4本)が多数決により推定される。なお、ハフ変換により得られる
のは無限に続く「直線」であって有限な長さの「線分」ではないため、エッジが途切れて
いる場合であっても電力線を構成する直線の抽出(推定)が可能である一方、
図9に示さ
れるような奥側に存在して途切れている無関係な細長い物体であっても直線として抽出さ
れ得る。
【0042】
次に、エッジ画像内に想定される電力線に関連する想定直線本数を示す想定数情報は、
端末1等を介してユーザが設定可能な情報である。想定数情報(すなわち、想定直線本数
)は、複数の電力線を構成する本数(例えば多導体方式の電力線を構成する本数であって
、径間スペーサによりまとめられている本数)の2倍の本数を示す情報であってもよい。
これは、1本の電力線は2本の直線(外縁)によって構成されるからである。もしくは、
立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合には、想定数情報は、複数
の電力線を構成する本数(例えば多導体方式の電力線を構成する本数)と同一の本数を示
す情報であってもよい。これは、1本の電力線はそれぞれ1本の立ち上がりエッジにより
抽出される直線と立ち下がりエッジにより抽出される直線から構成されるからである。よ
り具体的には、例えば電力線の背景が電力線よりも暗い画素値の領域が多い背景(例えば
、森の木々や土、草など)である場合には、上述のエッジ検出の手法例を用いると、画像
内の所定方向の各画素列において暗い背景の画素値から電力線の画素値へ移る境界部分は
画素値(輝度)が高くなる変化量が基準値より大きくなるので立ちあがりエッジ情報とし
て検出され、その後の電力線の画素値から暗い背景の画素値へ戻る境界部分は画素値(輝
度)が低くなる変化量が基準値より大きくなるので立ち下がりエッジ情報として検出され
るため、両エッジにより1本の電力線が構成されているといえる。また、背景が電力線よ
りも明るい画素値の領域が多い背景(例えば、雪が積もっている場合など)である場合に
は、立ち上がりエッジと立ち下がりエッジの関係は逆転するが、結果として同様に両エッ
ジにより1本の電力線が構成されているといえる。
【0043】
そして、複数の電力線を構成する直線の抽出条件を示す直線抽出条件情報は、端末1等
を介してユーザが設定可能な情報である。例えば第1の抽出条件は、直線投票数が一番多
い第1直線と平行な直線が当該第1直線を含めて少なくとも想定直線本数(複数の電力線
を構成する本数の2倍の本数)あることであって、この抽出条件を満たすと特定直線抽出
部122が判定した場合に該当する直線(すなわち、複数の電力線を構成する直線)を抽
出する。すなわち、
図9においては、例えば直線投票数情報に基づき斜めに延伸する直線
のいずれかが第1直線と選択された場合、互いに平行な直線が想定直線本数(8本)に対
応する本数存在しているため、
図11に示されるように電力線を構成する直線が抽出され
ることとなる。また、例えば直線投票数情報に基づき左右に延伸する直線のいずれかが第
1直線として選択された場合には、想定直線本数の8本存在していないため抽出されない
。この場合、互いに平行と判定された左右に延伸する直線に関する直線投票数情報は非対
象として一番多い第1直線を再度選択してもよいし、これに代えて、または、加えて、ハ
フ変換から再度実行するようにしてもよい。両者を組み合わせる場合には、例えば、複数
回再選択を繰り返しても想定数情報が示す本数(例えば複数の電力線を構成する本数の2
倍の本数)の直線が抽出されない場合に、ハフ変換から再度実行するようにしてもよい。
なお、ここでいう「平行」とは、平行として近似可能な略平行なものも含み、以下同様で
ある。
【0044】
さらに、上記第1の抽出条件に代えて、抽出された直線において、互いに近傍(所定の
基準距離範囲内、特に電力線の外径と略一致の幅(さらには複数の電力線のうち手前側と
奥側を考慮した電力線の外径と略一致の幅))に位置する直線同士をペアリングし、その
ペアが想定直線本数(この場合、複数の電力線を構成する本数と同一の本数)あることを
抽出条件としてもよい。
【0045】
また、立ち上がりエッジ情報と立ち下がりエッジ情報を区別する場合、例えば第2の抽
出条件として、立ち上がりエッジまたは立ち下がりエッジのいずれか一方において直線投
票数が一番多い第1直線に平行な直線と、その近傍(所定の基準距離範囲内、特に電力線
の外径と略一致の幅(さらには複数の電力線のうち手前側と奥側を考慮した電力線の外径
と略一致の幅))にある立ち上がりエッジまたは立ち下がりエッジのいずれか他方に基づ
く直線(特に第1直線に平行な直線)とをペアリングし、そのペアが第1直線を含むペア
を含めて想定直線本数(複数の電力線を構成する本数と同一の本数)あることであって、
この抽出条件を満たすと特定直線抽出部122が判定した場合に該当する直線(すなわち
、複数の電力線を構成する直線)を抽出する。すなわち、
図9においては、例えば立ち上
がりエッジに対応する直線投票数情報に基づき斜めに延伸する直線(
図12において実線
にて示される直線)のいずれかが第1直線と選択された場合、第1直線に平行な直線を判
定し、判定された各直線の近傍にある立ち下がりエッジに対応する直線(
図12において
点線にて示される直線)とそれぞれペアを形成し、これらのペアが想定直線本数(4本)
に対応する数(4ペア)存在しているため、
図11に示されるように電力線を構成する直
線が抽出されることとなる。また、例えば立ち上がりエッジに対応する直線投票数情報に
基づき左右に延伸する直線のいずれかが第1直線として選択された場合には、形成される
ペア数(2ペア)が想定直線本数の4本存在していないため抽出されない。この場合、互
いに平行と判定された左右に延伸する直線のペアに関する直線投票数情報は非対象として
一番多い第1直線を再度選択してもよいし、これに代えて、または、加えて、ハフ変換か
ら再度実行するようにしてもよい。両者を組み合わせる場合には、例えば、複数回再選択
を繰り返しても想定数情報が示す本数(例えば複数の電力線を構成する本数と同一の本数
)のペアが抽出されない場合に、ハフ変換から再度実行するようにしてもよい。
【0046】
さらに、検出された複数の直線の傾きのうち、いずれの傾きが一番多い第1傾きである
かを傾き投票数により判定する傾き判定部123を備えてもよい。傾き投票数による判定
手法は、例えばハフ変換により取得する直線投票数情報に含まれる角度(θ)に関する情
報に基づいて、角度基準での投票数(傾き投票数)が最も多い第1傾きを傾き判定部12
3により判定してもよい。
【0047】
そして、上記傾き判定部123を備える場合、例えば第3の抽出条件として、傾き判定
部123により判定された第1傾きに対して所定範囲内の傾きの直線が少なくとも想定直
線本数(複数の電力線を構成する本数の2倍の本数)あること、であって、この抽出条件
を満たすと特定直線抽出部122が判定した場合には、第1傾きに対して所定範囲内の傾
きの直線のうち、直線投票数情報が示す直線投票数が多い順に想定直線本数だけ直線を抽
出する。すなわち、
図9においては、例えば斜めに延伸する直線のいずれかの傾きが第1
傾きと判定された場合、第1傾きに対して所定範囲の傾きの直線(斜めに延伸する他の直
線)が想定直線本数(8本)に対応する本数存在しているため、
図11に示されるように
電力線を構成する直線が抽出されることとなる。この場合においては、左右に延伸する直
線の傾きが第1傾きと判定される可能性が少ないため、誤検出の可能性がより低くなり得
る。
【0048】
また、上記傾き判定部123を備える場合であって、立ち上がりエッジ情報と立ち下が
りエッジ情報を区別する場合、例えば第4の抽出条件として、立ち上がりエッジまたは立
ち下がりエッジのいずれか一方に対応する直線において傾き判定部123により判定され
た第1傾きに対して所定範囲内の傾きの直線を判定し、判定された直線の近傍(所定の基
準距離範囲内、特に電力線の外径と略一致の幅(さらには複数の電力線のうち手前側と奥
側を考慮した電力線の外径と略一致の幅))にある立ち上がりエッジまたは立ち下がりエ
ッジのいずれか他方に基づく直線(特に第1傾きと平行な直線)とをペアリングし、その
ペアが少なくとも想定直線本数(複数の電力線を構成する本数と同一の本数)あること、
であって、この抽出条件を満たすと特定直線抽出部122が判定した場合には、ペアのう
ち、直線投票数情報が示す直線投票数が多い順に想定直線本数のペアに対応する直線だけ
を抽出する。すなわち、
図9においては、例えば立ち上がりエッジに対応する斜めに延伸
する直線(
図12において実線にて示される直線)のいずれかの傾きが第1傾きと判定さ
れた場合、第1傾きに対して所定範囲の傾きの直線(斜めに延伸する他の直線)を判定し
、判定された直線の近傍にある立ち下がりエッジに対応する斜めに延伸する直線(
図12
において点線にて示される直線)とペアを形成し、そのペアが想定直線本数(4本)に対
応する本数存在しているため、
図11に示されるように電力線を構成する直線が抽出され
ることとなる。この場合においても、左右に延伸する直線の傾きが第1傾きと判定される
可能性が少ないため、誤検出の可能性がより低くなり得る。
【0049】
また、上記傾き判定部123を備える場合であって、立ち上がりエッジ情報と立ち下が
りエッジ情報を区別する場合、例えば第5の抽出条件として、立ち上がりエッジまたは立
ち下がりエッジのいずれか一方に対応する直線とその近傍(所定の基準距離範囲内)にあ
る立ち上がりエッジまたは立ち下がりエッジのいずれか他方に対応する直線とをペアリン
グし、それらペアに対して傾き判定部123によりいずれの傾きが一番多い第1傾きであ
るかを傾き投票数により判定し(例えば、ペアの傾きとは、ペアを構成する両直線の傾き
の平均傾きなど)、第1傾きに対して所定範囲内の傾きのペアが少なくとも想定直線本数
(複数の電力線を構成する本数と同一の本数)あること、であって、この抽出条件を満た
すと特定直線抽出部122が判定した場合には、ペアのうち、直線投票数情報が示す直線
投票数が多い順に想定直線本数のペアに対応する直線だけを抽出する。すなわち、
図9に
おいては、例えば立ち上がりエッジに対応する直線(
図13において実線にて示される直
線)と近傍の立ち下がりエッジに対応する直線(
図13において点線にて示される直線)
とでペアを形成し、傾き判定部123によりいずれの傾きが一番多い第1傾きであるかを
傾き投票数により判定し(
図13においては斜めに延伸する直線の傾きを第1傾きと判定
)、第1の傾きに対して所定範囲内の傾きのペアを直線投票数が多い順に想定直線本数で
ある4ペアだけ抽出する。この場合においても、左右に延伸する直線の傾きが第1傾きと
判定される可能性が少ないため、誤検出の可能性がより低くなり得る。
【0050】
このように、特に背景にある対象外の直線的な物体(特に細長い物体)のエッジを検出
した場合においても、多導体方式の複数の電力線を構成する直線のみを画像内から抽出す
ることが可能となる。
【0051】
追跡対象位置設定部124は、特定直線抽出部122により抽出された直線(すなわち
、複数の電力線を構成する直線)に基づいて、無人飛行体4のカメラ(撮影部)により追
跡する対象位置を設定する。より具体的な例として、追跡対象位置設定部124は、特定
直線抽出部122により抽出された複数の直線の平均の位置に平均直線を算出し(必要に
応じて画像中に可視化して追加し)、当該平均直線を追跡する対象位置(対象直線)とし
て設定してもよい。
図14には、平均直線が点線により可視化されて追加されている画像
が例示されている。また、追跡対象位置設定部124は、特定直線抽出部122により抽
出された複数の直線またはペアのうちの1つを追跡する対象位置(対象直線)として設定
してもよい。そして、追跡対象位置設定部124は、設定した対象位置が撮影部により撮
影している画像中に含まれるように撮影部または無人飛行体自体の少なくともいずれかを
制御するための指示情報を生成し、通信部110を介して無人飛行体4へ送信する。より
具体的な例としては、まず、対象直線の所定位置(例えば、中心位置または略中心位置な
ど)が画像中の所定範囲(特に、画像の中心近傍であり、さらに画像の中心位置または略
中心位置を基準とした範囲)に含まれているかを判定する。そして、所定範囲に含まれて
いないと判定された場合には、対象直線の所定位置と所定範囲との差分情報を生成し、当
該差分情報に基づき撮影部の状態(例えば、撮影方向情報、画角情報など)または無人飛
行体自体の状態(例えば、現在位置情報(緯度経度高度座標)や、姿勢情報、回転翼のモ
ータ出力情報など)の少なくともいずれかを制御するための指示情報を生成する。差分情
報は、所定範囲からのずれ量及びずれ方向が把握可能な情報であればどのような情報であ
ってもよいが、例えば、画像の中心から対象直線の所定位置までの画像上での方向及び距
離(画素数)に関する情報であり得る。指示情報は、例えば、差分情報と、画像上の方向
及び距離と撮影部または無人飛行体撮影部における制御方向及び制御距離の対応情報、並
びに、無人飛行体の少なくとも何れかの現在状態情報に基づき生成されてもよいが、これ
に限定されない。なお、対象直線の所定位置が画像中の所定範囲に含まれていると判定さ
れた場合には、指示情報を新たに生成せずに撮影部または無人飛行体の状態を維持させる
。
【0052】
次に、記憶部130の情報・画像記憶部131は、画像取得部115が取得した画像の
他、エッジ画像生成部121が生成したエッジ画像やエッジ情報、特定直線抽出部122
が生成した直線投票数情報や複数の電力線を構成する直線に関する情報、第1直線に関す
る情報、傾き判定部123が生成した傾き投票数情報や第1傾きに関する情報、追跡対象
位置設定部124により対象直線が可視化された画像、ユーザが設定した想定数情報や立
ち上がりエッジまたは立ち下がりエッジのための基準値情報、近傍を示す基準範囲情報な
ど、または、処理部120の各機能部121~126による処理に生成されたその他の情
報・データなどを、少なくとも一時的に記憶する。
【0053】
<直線抽出方法の一例>
続いて、
図15等を参照して、本実施形態にかかる情報処理システムによる直線抽出方
法について説明する。
図15は、本実施形態にかかる情報処理システムによる直線抽出方
法を実施する処理を示すフローチャートである。
【0054】
最初に、端末1の画像取得部115により、無人飛行体4に搭載されたカメラにより撮
影された撮影画像などの画像を取得する(S101)。
【0055】
次に、端末1のエッジ画像生成部121により、画像取得部115が取得した画像内の
エッジ情報を検出し、エッジ情報(検出されたエッジが存在する画像内のxy座標を含む
)に基づきエッジ画像を生成する(S102)。
【0056】
次に、端末1の特定直線抽出部122により、生成されたエッジ画像内のエッジ情報に
対するハフ変換により取得される直線投票数情報及びエッジ画像内に想定される電力線に
関連する想定直線本数を示す想定数情報に関する条件を少なくとも含む、電力線を構成す
る直線の抽出条件を示す直線抽出条件情報に基づき、検出した複数の直線から抽出条件下
にある想定直線本数の直線を抽出する(S103)。
【0057】
このように、本実施形態の端末1によれば、特に背景にある対象外の直線的な物体(特
に細長い物体)のエッジを検出した場合においても、多導体方式の複数の電力線を構成す
る直線のみを画像内から抽出することが可能となる。
【0058】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【0059】
1 端末
2 サーバ
4 無人飛行体