(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
H02G 1/02 20060101AFI20231212BHJP
G01B 11/00 20060101ALI20231212BHJP
B64U 20/87 20230101ALI20231212BHJP
B64U 20/80 20230101ALI20231212BHJP
B64U 101/26 20230101ALN20231212BHJP
【FI】
H02G1/02
G01B11/00 H
B64U20/87
B64U20/80
B64U101:26
(21)【出願番号】P 2023045180
(22)【出願日】2023-03-22
【審査請求日】2023-10-27
【早期審査対象出願】
(73)【特許権者】
【識別番号】518156358
【氏名又は名称】株式会社センシンロボティクス
(73)【特許権者】
【識別番号】520320446
【氏名又は名称】中部電力パワーグリッド株式会社
(73)【特許権者】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】小川 雅弘
(72)【発明者】
【氏名】丸目 裕樹
(72)【発明者】
【氏名】山田 竜司
【審査官】遠藤 尊志
(56)【参考文献】
【文献】韓国公開特許第2021-90489(KR,A)
【文献】特開2020-36163(JP,A)
【文献】米国特許出願公開第2019/212741(US,A1)
【文献】特開2021-113005(JP,A)
【文献】特開平11-271044(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H02G 1/02
G01B 11/00
B64U 20/87
B64U 20/80
B64U 101/26
(57)【特許請求の範囲】
【請求項1】
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムであって、
前記画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部と、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更する電力線間距離変更部と、
を備える、
ことを特徴とする情報処理システム。
【請求項2】
前記電力線間距離変更部は、少なくとも前記飛行体の高度を変更することで前記位置を変更する、
ことを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記電力線間距離変更部は、
前記飛行体の上昇及び下降の一方を実行することにより前記飛行体の高度を変更し、
前記飛行体の上昇及び下降の一方を実行した後に前記電力線間距離算出部によって算出された前記電力線間距離が、前記飛行体の上昇及び下降の一方を実行する前に前記電力線間距離算出部によって算出された前記電力線間距離よりも小さくなっている場合に、前記飛行体の上昇及び下降の他方を実行する、
ことを特徴とする請求項2に記載の情報処理システム。
【請求項4】
前記複数の電力線は、2本以上の電力線であって、
前記電力線間距離変更部は、少なくとも1つの電力線間の距離が前記基準距離に満たない場合に、前記飛行体の位置または前記撮影部の角度を変更する、
ことを特徴とする請求項1から3のいずれか1項に記載の情報処理システム。
【請求項5】
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法であって、
前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
を含む、
ことを特徴とする情報処理方法。
【請求項6】
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法をコンピュータに実行させるプログラムであって、
前記コンピュータに対して、
前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始めている。こうした中で、特許文献1には、飛行体により電力線を撮影して検査するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の電力線が互いに重なったり近接したりした状態で撮影されると、重なり部分や他の電力線によって隠された部分の検査が困難となるため、各々の電力線の検査に支障が生じうる。そのための対処の1つとして、複数の電力線が互いに所定距離以上の距離を確保し撮影されるように、飛行体の飛行経路と飛行体に搭載されたカメラの撮影角度とを設定して飛行体を飛行させることが考えられるが、径間長や高低差などの電力線の架線条件は多様であり、飛行経路の各地点において電力線が互いに間隔を確保し撮影されるように飛行体の飛行経路やカメラの撮影角度の詳細な設定を事前に行うことは困難である。
【0005】
また、仮に飛行経路の各地点において電力線が互いに間隔を置いて撮影されるように飛行体の飛行経路やカメラの撮影角度の詳細な事前設定を行うことができたとしても、電力線の弛度は気温や日射量等の季節要因によって変化しうるので、飛行体の飛行経路及びカメラの撮影角度を季節毎に設定し直す必要がある。そのため、飛行体の飛行経路やカメラの撮影角度の設定には多くの労力が必要となる。
【0006】
本発明はこのような背景を鑑みてなされたものであり、飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するための本発明の主たる発明は、飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムであって、画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部と、電力線間距離が基準距離に満たない場合に、電力線間距離が大きくなるように飛行体の位置及び撮影部の角度の少なくとも一方を変更する電力線間距離変更部と、を備えることを特徴とする、情報処理システム等である。
【発明の効果】
【0008】
本発明によれば、特に、飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施の形態にかかる情報処理システムの構成を示す図である。
【
図2】
図1の管理サーバのハードウェア構成を示すブロック図である。
【
図3】
図1のユーザ端末のハードウェア構成を示すブロック図である。
【
図4】
図1の飛行体のハードウェア構成を示すブロック図である。
【
図5】
図1の管理サーバの機能を示すブロック図である。
【
図6】
図1の管理サーバによる処理を説明するための概念図の一例である。
【
図7】多導体方式の電力線において用いられる径間スペーサの種々の例を例示する図である。
【
図8】
図1の管理サーバによる処理を説明するための概念図の一例である。
【
図9】
図1の管理サーバによる処理を説明するための概念図の一例である。
【
図10】
図1の管理サーバによる処理を説明するための概念図の一例である。
【
図11】
図1の管理サーバによる処理を説明するための概念図の一例である。
【
図12】
図1の管理サーバによる処理を説明するための概念図の一例である。
【
図13】本発明の実施の形態にかかる情報処理方法を説明するためのフローチャートである。
【
図14】図(a)は飛行体と撮影対象の複数の電力線との位置関係の一例を示し、図(b)はその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。
【
図15】図(a)は飛行体と撮影対象の複数の電力線との位置関係の他の例を示し、図(b)はその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明は、例えば、以下のような構成を備える。
[項目1]
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムであって、
前記画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部と、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更する電力線間距離変更部と、
を備える、
ことを特徴とする情報処理システム。
[項目2]
前記電力線間距離変更部は、少なくとも前記飛行体の高度を変更することで前記位置を変更する、
ことを特徴とする項目1に記載の情報処理システム。
[項目3]
前記電力線間距離変更部は、
前記飛行体の上昇及び下降の一方を実行することにより前記飛行体の高度を変更し、
前記飛行体の上昇及び下降の一方を実行した後に前記電力線間距離算出部によって算出された前記電力線間距離が、前記飛行体の上昇及び下降の一方を実行する前に前記電力線間距離算出部によって算出された前記電力線間距離よりも小さくなっている場合に、前記飛行体の上昇及び下降の他方を実行する、
ことを特徴とする項目2に記載の情報処理システム。
[項目4]
前記複数の電力線は、2本以上の電力線であって、
前記電力線間距離変更部は、少なくとも1つの電力線間の距離が前記基準距離に満たない場合に、前記飛行体の位置または前記撮影部の角度を変更する、
ことを特徴とする項目1から3のいずれか1項に記載の情報処理システム。
[項目5]
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法であって、
前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
を含む、
ことを特徴とする情報処理方法。
[項目6]
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法をコンピュータに実行させるプログラムであって、
前記コンピュータに対して、
前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
を実行させる、
ことを特徴とするプログラム。
【0011】
<実施の形態の詳細>
以下、本発明の実施の形態による情報処理方法等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
【0012】
<構成>
図1に示されるように、本実施の形態における情報処理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の飛行体4とを有している。管理サーバ1と、ユーザ端末2と、飛行体4は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。
【0013】
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【0014】
図示されるように、管理サーバ1は、複数のユーザ端末2と、飛行体4と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
【0015】
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
【0016】
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
【0017】
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
【0018】
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
【0019】
送受信部13は、管理サーバ1をネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。
【0020】
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【0021】
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【0022】
<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
【0023】
<飛行体4>
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
【0024】
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
【0025】
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2のいずれかに1つに記録されてもよい。カメラ42は飛行体4にジンバル43を介して設置される。
【0026】
フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θx、θy及びθz)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
【0027】
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
【0028】
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
【0029】
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
【0030】
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。これらのうち、少なくとも撮影部としてのビジョン/イメージセンサ(例えば、カメラ)は、不図示の駆動手段によってカメラの撮影角度を変更できるように構成されている。カメラの撮影角度は、例えば、水平方向を基準とした場合に水平方向に対してカメラの撮影方向が成す角度である。以下、センサ類42を「カメラ42」と称することもある。
【0031】
<管理サーバの機能>
図5は、管理サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ1は、プロセッサ10、送受信部13、記憶部200を備えている。プロセッサ10は、支持物座標取得部110、中間座標算出部120、中間点電力線高さ座標取得部130、斜弛度算出部140、任意点弛度算出部150、任意点電力線高さ座標算出部160、ウェイポイント高さ座標設定部170、フライト実行部180、電力線間距離算出部190、電力線間距離変更部195を備えている。また、記憶部200は、支持物関連情報記憶部210、フライト情報記憶部220の各種データベースを含む。
【0032】
支持物座標取得部110は、各支持物の腕金の電力線取付位置に関する高さ座標を含む第1及び第2の支持物座標(例えば、腕金の先端から下がる懸垂碍子の電力線引留点A、Bの三次元座標(XYZ座標)等)を支持物関連情報記憶部210からそれぞれ取得する。より具体的には、
図6等に例示される支持物P、Qの腕金の電力線取付位置A、Bの三次元座標(XYZ座標)についてそれぞれ取得する。支持物座標は、例えば、予め飛行体4を飛行させて各種センサの取得情報(例えば、GPSの位置情報、気圧センサ情報や撮影情報、レーザ等のセンサ情報など)に基づき直接または間接的に算出されて記憶されていてもよいし、予めユーザがユーザ端末2上に表示される地図情報から選択操作により腕金の先端位置を選択することにより記憶される水平面上二次元座標(XY座標)情報と、予め記憶された支持物に関連する高さ情報(例えば、支持物の高さ情報、腕金の先端の高さ情報、上記電力線を支持する懸垂碍子の電力線引留点の高さ情報など)に基づき直接または間接的に設定されてもよいし、これら以外の方法で予め記憶されていてもよい。
【0033】
本実施の形態において説明する電力線は、1本の導体からなる電力線の他、複数の導体からなる多導体方式の電力線を含む。本明細書において「電力線」と記載された場合には、そのうちの特定の導線に関する説明であることが明示されていない限り、1本又は複数の導体からなる電力線全体を指す。多導体方式の電力線では、各々の導体が径間スペーサによって互いの間隔を一定に保った状態で保持される。
【0034】
図7に、多導体方式の電力線において用いられる径間スペーサの種々の例を例示する。
図7(a)は2本の導体を保持する径間スペーサの構成例であり、
図7(a)に示す径間スペーサ300は、1本の間隔体310と、その両端に固定された2つの把持部320とを備えている。各把持部320は、間隔体310の長さの分だけ導体間の間隔をおいて導体をそれぞれ保持する。
図7(b)は4本の導体を保持する径間スペーサの構成例であり、
図7(b)に示す径間スペーサ300は、矩形を成すように組まれた4本の間隔体310と、その矩形の4つの角部にそれぞれ固定された4つの把持部320とを備えている。また、
図7(c)は6本の導体を保持する径間スペーサの構成例であり、
図7(c)に示す径間スペーサ300は、六角形に形成された間隔体310と、その円形の間隔体310の周囲に等間隔に配置固定された6つの把持部320とを備えている。
図7に示した径間スペーサの構成は例示的なものに過ぎず、電力線が備える導体の本数に応じて、その他の多角形形状等の適宜異なる構成を備えることができる。径間スペーサ300は、電力線の延伸方向において例えば一定の間隔をおいて設置され、導体同士が接触して短絡すること等を防止する。
【0035】
中間座標算出部120は、各支持物座標から所定方向に所定距離ずれた2つの基準座標の中間座標(少なくとも水平面上二次元座標XY座標)を算出し、支持物関連情報記憶部210に記憶する。所定方向は、例えば、電力線の外側方向であり、特に、水平方向において各支持物座標から上記電力線の延伸方向に対して直交する方向(
図9参照)であり得る。所定距離は、ユーザが設定した値であって、電力線からの安全な離間距離であり得る。より具体的には、
図8等に例示される支持物P、Qの腕金の電力線取付位置A、Bの三次元座標(XYZ座標)のうち高さ座標を所定値(例えば、高さ座標を0)とした位置A’、B’に対して、所定方向に所定距離L(例えば、離隔距離10mなど)ずれた位置A”、B”の三次元座標の中間点Cの中間座標(XYZ座標)を算出する。
【0036】
中間点電力線高さ座標取得部130は、中間点Cから上記所定方向とは逆方向に上記所定距離ずれた水平位置に対応する電力線の位置の第1の電力線高さ座標(少なくともZ座標)を取得し、支持物関連情報記憶部210に記憶する。より具体的には、
図9等に例示される中間点Cから上記所定方向とは逆方向に所定距離Lずれた点D’の直上にある電力線の位置Dの高さ座標を取得する。位置Dの高さ座標の取得は、例えば上述の飛行体4のレーザセンサ等のセンサを用いた方法などであり、この場合には、中間点Cから飛行体4により垂直に浮上し、位置Dと同じ高さで上記センサを使用することで位置Dの高さ座標を取得することが可能である。さらには、この時、上記レーザセンサの値のみならず、飛行体4の高度情報(気圧センサの情報)も参照情報として用いることで、より精度の高い位置Dの高さ座標を取得することが可能である。
【0037】
なお、電力線が多導体方式である場合には、一例として、電力線が複数備える導体のうち、中間点Cから垂直に浮上する飛行体4に面する、所定の高さ位置に位置するいずれかの導体の高さを取得して、それを上記位置Dの高さ座標としてもよい。例えば、電力線が
図7(a)に示すスペーサで保持される2導体方式である場合には、飛行体4に面する側の一方の導体の高さが上記位置Dの高さ座標として取得される。また、電力線が
図7(b)に示すスペーサで保持される4導体方式である場合には、飛行体4に面する側の上下2本の導体のうち、下側の導体あるいは上側の導体のいずれか予め定められる導体の高さが上記位置Dの高さ座標として取得される。さらに、電力線が
図7(c)に示すスペーサで保持される6導体方式である場合には、飛行体4に面する側の上中下の3本の導体のうち、下側の導体、中間の導体あるいは上側の導体のいずれか予め定められる導体の高さが上記位置Dの高さ座標として取得される。
【0038】
斜弛度算出部140は、第1及び第2の支持物座標(特に高さ座標)並びに第1の電力線高さ座標に基づき斜弛度を算出し、支持物関連情報記憶部210に記憶する。より具体的には、斜弛度とは、
図9等に例示される電力線の位置Dから支持物P、Qの位置A、B間を結んだ仮想線までの垂直線の距離dであって、例えば、支持物P、Qの位置A、Bの中間点D”の高さ座標から位置Dの高さ座標を引いた値の絶対値を距離dの値としてもよい。
【0039】
任意点弛度算出部150は、各支持物の位置A、B間の第1の距離、および、一方の支持物の位置Aから第1の距離の中心までの距離から同支持物の位置Aから第1または第2の任意ポイントまでの第2または第3の距離の差分値(絶対値)、並びに、上記斜弛度に基づき、上記第1または第2の任意ポイントにおける第1または第2の任意点弛度を算出し、支持物関連情報記憶部210に記憶する。より具体的には、
図10等に例示される各支持物の位置A、B間の径間長S、および、支持物Pの腕金の電力線取付位置Aから径間長Sの中間点D”までの距離S
Dから同支持物Pの腕金の電力線取付位置Aから第1の任意ポイントD
x1または第2の任意ポイントD
x2までの第2の距離S
x1または第3の距離S
x2(例えば、いずれも径間長Sに平行な距離)の差分値(絶対値)、並びに、上記斜弛度dに基づき、下記式1により、第1または第2の任意ポイントD
x1、D
x2における第1または第2の任意点弛度d
x1、d
x2を算出する。なお、任意ポイントはさらに追加して複数ポイント設けてもよい。また、任意点弛度d
x1、d
x2の計算について、その他の計算方法で求めてもよい。
【0040】
dx=d×(1-(2|SD-Sx|/S)2)(式1)
【0041】
任意点電力線高さ座標算出部160は、上記第1及び第2の任意点弛度、および、各支持物の位置A、B間の第1の距離、上記第1及び第2の支持物座標、並びに、上記2つの支持物位置の一方から第1及び第2の任意ポイントまでの第2及び第3の距離に基づき、第1及び第2の任意ポイントの第2及び第3の電力線高さ座標Z
Xを算出し、支持物関連情報記憶部210に記憶する。より具体的には、
図11等に例示される第1及び第2の任意点弛度d
x1、d
x2、および、支持物の位置A、Bの上記第1及び第2の支持物座標(特に高さ座標)、並びに、2つの支持物の位置A、Bの一方(A)から第1及び第2の任意ポイントまでの第2及び第3の距離(S
x1、S
x2)に基づき、下記式2により、第1及び第2の任意ポイントD
x1、D
x2の第2及び第3の電力線高さ座標Z
X1、Z
X2を算出する。
【0042】
任意ポイントDxの電力線高さ座標ZX=(支持物位置Bの高さ座標ZB-支持物位置Aの高さ座標ZA)×(任意ポイントDxまでの距離Sx/径間長S)+支持物位置Aの高さ座標ZA-任意点弛度dx(式2)
【0043】
ウェイポイント高さ座標設定部170は、第1及び第2の支持物座標(特に高さ座標)、第1ないし第3の電力線高さ座標に基づき、飛行体4の各ウェイポイントの高さ座標として設定し、フライト情報記憶部220に記憶する。より具体的には、例えば、複数の電力線を上から撮影する場合には、
図12に例示される支持物の位置A、Bの高さ座標、並びに、第1・第2・第3の電力線高さ座標(任意ポイントD、D
x1、D
x2の高さ座標)に任意の離隔高さ座標Hを加えた高さ座標を、飛行体4の各ウェイポイントWの高さ座標として設定してもよい。その他、例えば複数の電力線を横から撮影する場合には、
図13に例示されるように、支持物の位置A、Bの高さ座標、並びに、第1・第2・第3の電力線高さ座標(任意ポイントD、D
x1、D
x2の高さ座標)をそのまま飛行体4の各ウェイポイントWの高さ座標として設定してもよい。
【0044】
フライト情報記憶部220は、例えば支持物、電力線及び径間スペーサなどの点検等を目的とするフライトにおいて用いられるフライト情報を記憶している。フライト情報は、例えば、飛行経路情報(ウェイポイント情報を含む)、飛行速度、最低飛行高度、撮像条件情報(撮像画角、撮像角度、撮像画像のオーバーラップ率など)、フライト時取得情報(例えば、画像情報や映像情報等)などを含む。特にウェイポイント情報として、各ウェイポイントの高さ座標情報(Z座標)はウェイポイント高さ座標設定部170により設定された情報を利用し、各ウェイポイントの水平座標情報(XY座標)は、例えば、支持物の位置A、Bの水平座標情報、位置Aから各ポイントまでの水平距離(Sx、Sx1、Sx2)、径間長S、または、径間長Sの中点までの距離などを用いてそれぞれ算出及び設定してもよいし、
図13のように位置A”,B”を結ぶ仮想線まで水平移動させた水平座標情報を利用してもよいし、予めユーザがユーザ端末2上に表示される地図情報から選択操作により選択されたウェイポイント位置を利用してもよい。
【0045】
フライト実行部180は、フライト情報記憶部220に記憶された各種フライト情報に基づき、点検等を目的とするフライトを実行する。
【0046】
電力線間距離算出部190は、フライト実行部180によってフライトが実行されている飛行体4のカメラ42によって撮影された画像に基づき、任意の画像認識技術及び/又は学習済みモデルを用いて、その画像内に存在する複数の電力線の間の距離を算出する。
【0047】
画像内に存在する複数の電力線の間の距離の算出は、例えば、画像中の複数の電力線の間のピクセル数に基づいて行うことができ、より具体的には、一例として、画像内に存在する各々の電力線について電力線とその背景等との境界をいわゆるエッジ検出技術を用いて検出し、次に、互いに隣接する電力線同士のうち最短距離となる部分の間に存在するピクセルの数を検出し、その検出したピクセルの数に基づいて画像中の電力線同士の距離を算出することによって行うことができる。
【0048】
また、学習済みモデルは、カメラ42によって撮影された複数の電力線を含む様々な画像の画像データを用いて、例えば、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成することができる。そのようなニューラルネットワークとして、例えば20層以上を備えた畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)のようなディープニューラルネットワークを用いてもよい。このようなディープニューラルネットワークを用いた機械学習は、ディープラーニングと称される。このようにして生成された学習済みモデルは、記憶部200に記憶される。
【0049】
カメラ42によって撮影される画像が動画である場合は、電力線間距離算出部190は、動画を構成する各フレーム画像について上記の電力線間距離算出処理を実行してもよく、あるいは、ある所定のレートで抽出されるフレーム画像について上記の電力線間距離算出処理を実行してもよい。
【0050】
なお、画像中に2本以上の電力線が存在する場合には、その画像中には算出すべき電力線間距離が1以上存在する。このような場合は、電力線間距離算出部190は、1以上存在する電力線間距離の各々を算出する。
【0051】
電力線間距離変更部195は、電力線間距離算出部190によって算出された画像内の複数の電力線の間の距離が所定の基準距離を満たしているか否かを判定し、所定の基準距離を満たしていない場合に、カメラ42によって撮影される画像中の複数の電力線の間の距離が所定の基準距離がより大きくなるように、飛行体4の位置を変更するか、カメラ42の撮影角度を変更するか、あるいはそれらの両方を実行する。所定の基準距離は、例えば、画像内の互いに隣接する電力線同士のうち最短距離となる部分の間に存在するピクセルの数によって定められる。
【0052】
電力線間距離変更部195は、飛行体4の位置を変更する制御の一例として、画像内の複数の電力線の間の距離が所定の基準距離を満たしていない場合に、飛行体4を上昇もしくは下降させることにより、飛行体4の高度を変更させる。飛行体4の高度が変更されると、飛行体4のカメラ42から撮影対象の電力線に対する撮影方向ないし撮影角度が変化することに伴い、撮影される画像内の電力線間の距離が変化する。そして、飛行体4の高度が変更した後にカメラ42によって撮影された画像について、電力線間距離算出部190によって算出された画像内の複数の電力線の間の距離が所定の基準距離を満たしているか否かを判定する。電力線間距離変更部195は、飛行体4の高度を変更させる制御と電力線間距離に関する判定処理とを、画像内の複数の電力線の間の距離が所定の基準距離を満たすまで繰り返す。その結果、複数の電力線の間の距離が所定の基準距離を満たし、したがって複数の電力線が互いに重なったり近接したりしていない画像を取得することができ、各々の電力線について画像に基づく検査を良好に行うことが可能になる。
【0053】
電力線間距離変更部195による飛行体4の高度を変更させる制御のより具合的な一例を説明する。
【0054】
電力線間距離変更部195は、飛行体4を上昇もしくは下降させた後にカメラ42によって撮影された画像について電力線間距離算出部190によって算出された画像内の電力線間距離を、飛行体4を上昇もしくは下降させる直前にカメラ42によって撮影された画像内の電力線間距離と比較し、前者の電力線間距離が後者の電力線間距離よりも大きくなっているかどうかを判定する。
【0055】
そして、電力線間距離変更部195は、飛行体4を上昇もしくは下降させた後の画像内の電力線間距離が上昇もしくは下降させる前の画像内の電力線間距離よりも大きくなっている場合には、飛行体4を上昇または下降の同じ方向に引き続き移動させる。この場合は、飛行体4を当初に移動させた方向(上昇又は下降)が、画像内の電力線間距離をより大きくする方向であるため、カメラ42によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまで、飛行体4を同じ方向に引き続き移動させる。
【0056】
一方、電力線間距離変更部195は、飛行体4を上昇もしくは下降させた後の画像内の電力線間距離が上昇もしくは下降させる前の画像内の電力線間距離よりも小さくなっている場合には、飛行体4を逆の方向に移動させる(例えば、飛行体4を当初上昇させていた場合には、飛行体4を下降させる)。この場合は、飛行体4を当初に移動させた方向(上昇及び下降のいずれか一方の方向)が、画像内の電力線間距離をより小さくする方向であるため、飛行体4の移動方向を画像内の電力線間距離をより大きくする反対方向(上昇及び下降の他方の方向)にして、カメラ42によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまで飛行体4を移動させる。
【0057】
また、電力線間距離変更部195によるカメラ42の撮影角度を変更させる制御のより具合的な一例について説明する。
【0058】
この場合も上記と同様に、電力線間距離変更部195は、飛行体4に対するカメラ42の撮影角度を大きくもしくは小さくした後にカメラ42によって撮影された画像について電力線間距離算出部190によって算出された画像内の電力線間距離を、カメラ42の撮影角度を変更する直前にカメラ42によって撮影された画像内の電力線間距離と比較し、前者の電力線間距離が後者の電力線間距離よりも大きくなっているかどうかを判定する。
【0059】
そして、カメラ42の撮影角度を大きくもしくは小さくした後の画像内の電力線間距離がカメラ42の撮影角度を変更する前の画像内の電力線間距離よりも大きくなっている場合には、電力線間距離変更部195はカメラ42の撮影角度を同じ方向に引き続き変更させる。この場合は、カメラ42の撮影角度を当初に変更した方向(撮影角度を大きく又は小さくする方向)が、画像内の電力線間距離をより大きくする方向であるため、カメラ42によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまで、カメラ42の撮影角度を同じ方向に引き続き変更する。
【0060】
一方、カメラ42の撮影角度を大きくもしくは小さくした後の画像内の電力線間距離がカメラ42の撮影角度を変更する前の画像内の電力線間距離よりも小さくなっている場合には、電力線間距離変更部195はカメラ42の撮影角度を逆の方向に変更する(例えば、カメラ42の撮影角度を大きくしていた場合には、カメラ42の撮影角度を小さくする)。この場合は、カメラ42の撮影角度を当初に変更した方向(撮影角度を大きくする方向及び小さくする方向のいずれか一方の方向)が、画像内の電力線間距離をより小さくする方向であるため、カメラ42の撮影角度を変更する方向を反対方向(撮影角度を大きくする方向及び小さくする方向の他方の方向)に変更して、カメラ42によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまでカメラ42の撮影角度を変更する。
【0061】
さらに、電力線間距離変更部195による処理のより具合的な一例を説明する。カメラ42によって撮影される画像内に2本以上の電力線が存在し、したがって、1以上の電力線間距離について所定の基準距離を満たしているか否かを判定する必要がある場合には、それらの1以上の電力線間距離の各々について所定の基準距離を満たしているか否かを判定し、少なくとも1つの電力線間距離が所定の基準距離を満たしていない場合に、カメラ42によって撮影される画像中の複数の電力線の間の距離が所定の基準距離がより大きくなるように、飛行体4の位置を変更するか、カメラ42の撮影角度を変更するか、あるいはそれらの両方を実行する。これにより、画像内に2本以上の電力線(すなわち2以上の電力線間距離)が存在する場合に、全ての電力線間距離が所定の基準距離がより大きくなるように、飛行体4の高度及びカメラ42の撮影角度の少なくとも一方が変更される。
【0062】
フライト実行部180、電力線間距離算出部190及び電力線間距離変更部195は、特に、飛行体4及びそれに搭載されたセンサ類42(カメラ)の動作を制御する制御部として機能する。
【0063】
<情報処理方法>
図13等を参照して、本実施の形態による情報処理方法について説明する。
図13には、本実施形態にかかる情報処理方法のフローチャートが例示されている。
【0064】
まず、管理サーバ1のフライト実行部180は、フライト情報記憶部220に記憶されたフライト情報に基づき飛行体4の飛行を開始させ、飛行体4の飛行中に飛行体4のカメラ42によって電力線を撮影するように飛行体4及びカメラ42を制御する(ステップS11)。
【0065】
ステップS11において、飛行体4は、支持物Pの位置Aに対応する飛行開始点であるウェイポイントW1から電力線取付位置Bに対応する飛行終了点であるウェイポイントW5へ向けてフライトを開始する。飛行体4は、ウェイポイントW1,W5の間の中間のウェイポイントW2,W3,W4を経由して移動するするようにフライト実行部180によって制御される。さらに、飛行体4のカメラ42は、飛行体4がウェイポイントW1,W5間を移動する間に電力線(本実施形態の各図に示した例では、電力線取付位置A,B間の架空線である電力線ないしその導体)を撮影するようにフライト実行部180によって制御される。
【0066】
フライト実行部180は、原則として、フライト情報記憶部220に記憶されたフライト情報で定められた飛行経路の高度に従って飛行体4を飛行させ、また、フライト情報記憶部220に記憶されたフライト情報で定められた撮影角度(例えば、水平方向を基準とする角度)でカメラ42に電力線を撮影させる。
【0067】
電力線間距離算出部190は、飛行体4のカメラ42によって撮影された画像に基づき、その画像内に存在する複数の電力線の間の距離を算出する(ステップS12)。
【0068】
上述したように、電力線間距離算出部190による画像内に存在する複数の電力線の間の距離の算出は、例えば、画像中の複数の電力線の間のピクセル数に基づいて行うことができる。また、画像中に2本以上の電力線が存在して、算出すべき電力線間距離が1以上存在する場合は、電力線間距離算出部190は1以上存在する電力線間距離の各々を算出する。また、カメラ42によって撮影される画像が動画である場合は、電力線間距離算出部190は、動画を構成する各フレーム画像について上記の電力線間距離算出処理を実行してもよく、あるいは、ある所定のレートで抽出されるフレーム画像について上記の電力線間距離算出処理を実行してもよい。
【0069】
続いて、電力線間距離変更部195は、上記ステップS12において電力線間距離算出部190によって算出された画像内の複数の電力線の間の距離が所定の基準距離を満たしているか否かを判定する(ステップS13)。
【0070】
画像中に2本以上の電力線が存在し、算出すべき電力線間距離が1以上存在する場合は、電力線間距離変更部195は、2以上存在する電力線間距離の各々について所定の基準距離を満たしているか否かを判定する。
【0071】
所定の基準距離は、例えば、画像内の互いに隣接する電力線同士のうち最短距離となる部分の間に存在するピクセルの数によって定められる。この場合、電力線間距離変更部195は、画像内の互いに隣接する電力線の上記最短距離となる部分の間に存在するピクセルの数が所定数以上である場合には所定の基準距離を満たしていると判定し、上記ピクセルの数が所定数未満である場合には所定の基準距離を満たしていないと判定する。
【0072】
図14は、
図14(a)に飛行体と撮影対象の複数の電力線との位置関係の一例を示し、
図14(b)にその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。
図14は、水平方向に並列配置された2本の電力線を、それらの電力線とほぼ同じ高度に位置する飛行体4のカメラ42によって撮影する例を示している。
図14(a)に示すような飛行体と電力線との位置関係においては、並列配置された2本の電力線をその横方向から見る角度で撮影することになるので(
図14(a)参照)、撮影された画像における電力線間距離は小さくなる(
図14(b)参照)。
【0073】
図15は、
図15(a)に飛行体と撮影対象の複数の電力線との位置関係の他の例を示し、
図15(b)にその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。
図15は、水平方向に並列配置された2本の電力線を、それらの電力線のよりも高い高度に位置する飛行体4のカメラ42によって撮影する例を示している。
図15(a)に示すような飛行体と電力線との位置関係においては、並列配置された2本の電力線をその上方から斜め下に見下ろす角度で撮影することになるので(
図15(a)参照)、撮影された画像における電力線間距離は大きくなる(
図15(b)参照)。
【0074】
ステップS13において画像中の全ての電力線間距離が所定の基準距離を満たしている(Y)と判定された場合には、処理はステップS11に戻り、ステップS11~S13の処理を繰り返す。
【0075】
一方、ステップS13において画像中の少なくとも1つの電力線間距離が所定の基準距離を満たしていない(N)と判定された場合には、処理はステップS14に進む。
【0076】
ステップS14において、電力線間距離変更部195は、カメラ42によって撮影される画像中の複数の電力線の間の距離が所定の基準距離より大きくなるように、飛行体4の位置(一例として高度)及びカメラ42の撮影角度の少なくとも一方を変更する。飛行体4の高度の変更は、フライト情報記憶部220に記憶されたフライト情報で定められた飛行経路の高度に対して飛行体4を上昇あるいは下降させることによって行われる。また、カメラ42の撮影角度の変更は、水平方向に対して上側にカメラ42が向くように撮影角度を大きくする、あるいは、水平方向に対して下側にカメラ42が向くように撮影角度を小さくすることによって行われる。
【0077】
ステップS14によって飛行体4の位置及びカメラ42の撮影角度の少なくとも一方が変更された後、フライト実行部180は、飛行体4のカメラ42によって電力線を撮影するようにカメラ42を制御する(ステップS15)。
【0078】
続いて、電力線間距離算出部190は、ステップS14によって飛行体4の位置及びカメラ42の撮影角度の少なくとも一方が変更された後に飛行体4のカメラ42によって撮影された画像に基づき、その画像内に存在する複数の電力線の間の距離を算出する(ステップS16)。ステップS16における電力線間距離の算出処理も、ステップS12において説明した処理と同様に行われる。よって、ここではその算出処理の説明は省略する。
【0079】
次に、電力線間距離変更部195は、ステップS15において飛行体4の位置及びカメラ42の撮影角度の少なくとも一方が変更された後に飛行体4のカメラ42によって撮影された画像について電力線間距離算出部190によって算出された画像内の電力線間距離を、その変更前に飛行体4のカメラ42によって撮影された画像について電力線間距離算出部190によって算出された画像内の電力線間距離と比較し、前者の電力線間距離が後者の電力線間距離よりも大きくなっているかどうかを判定する(ステップS17)。
【0080】
ステップS17において、飛行体4の位置及びカメラ42の撮影角度の少なくとも一方の変更後の画像内の電力線間距離が、その変更前の画像内の電力線間距離よりも大きくなっている(Y)と判定された場合は、当初選択された飛行体4の位置及びカメラ42の撮影角度の少なくとも一方を変更する方向(例えば、飛行体4の上昇方向もしくは下降方向、カメラ42の撮影角度を水平方向に対して大きくする方向もしくは小さくする方向)が、画像内における複数の電力線の間の距離を大きくする方向であることを意味する。この場合は、処理がステップS13に戻り、全ての電力線間距離が所定の基準距離を満たすと判定されるまでステップS13~S17の処理が繰り返される。
【0081】
一方、ステップS17において、飛行体4の位置及びカメラ42の撮影角度の少なくとも一方の変更後の画像内の電力線間距離が、その変更前の画像内の電力線間距離よりも大きくなっていない(N)と判定された場合は、当初選択された飛行体4の位置及びカメラ42の撮影角度の少なくとも一方を変更する方向が、画像内における複数の電力線の間の距離を小さくする方向であることを意味する。この場合は、処理はステップS18に進む。
【0082】
ステップS18において、電力線間距離変更部195は、ステップS14において変更した飛行体4の位置及びカメラ42の撮影角度の少なくとも一方の移動方向を反対方向に変更する。より具体的には、ステップS14において飛行体4を上昇及び下降の一方の方向に移動させていた場合には、ステップS18において飛行体4をその反対方向(上昇及び下降の他方の方向)に移動させる。また、ステップS14においてカメラ42の撮影角度を水平方向に対して上側及び下側の一方の方向に移動させていた場合には、ステップS18においてカメラ42の撮影角度をその反対方向(水平方向に対する上側及び下側の他方の方向)に移動させる。
【0083】
ステップS18の後は処理がステップS15に戻り、ステップS15~S17の処理が繰り返される。飛行体4の位置及びカメラ42の撮影角度の少なくとも一方の移動方向が変更された場合、その変更後の移動方向は画像内における複数の電力線の間の距離を大きくする方向であるので、再度実行されるステップS17では電力線間距離が大きくなっていると判定され、処理はステップS13ステップS13に戻り、電力線間距離が所定の基準距離を満たすと判定されるまでステップS13~S17の処理が繰り返される。
【0084】
このように、本実施形態によれば、管理サーバ1の電力線間距離算出部190によって画像内の電力線間の距離を示す電力線間距離が算出され、電力線間距離が基準距離に満たない場合に、電力線間距離変更部195によって電力線間距離が大きくなるように飛行体4の位置及び撮影部(カメラ42)の撮影角度の少なくとも一方が変更されるので、電力線間の距離が基準距離を満たす画像を自動的に取得することが可能となり、飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供することができる。
【0085】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。上記実施の形態では、撮影対象が電力線である場合を説明したが、この他にも例えばロープウェイ等の撮影対象に対しても本発明を適用することが可能である。
【符号の説明】
【0086】
1 管理サーバ
2 ユーザ端末
4 飛行体
【要約】
【課題】飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供する。
【解決手段】本実施の形態によれば、飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムが提供される。情報処理システムは、画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部190と、電力線間距離が基準距離に満たない場合に、電力線間距離が大きくなるように飛行体の位置及び撮影部の角度の少なくとも一方を変更する電力線間距離変更部195と、を備える。
【選択図】
図5