特許 7538492 目標点に向かって被誘導体を誘導するためのシステム、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-14

(45)【発行日】2024-08-22

(54)【発明の名称】目標点に向かって被誘導体を誘導するためのシステム、方法、およびプログラム

(51)【国際特許分類】

   G05D 1/683 20240101AFI20240815BHJP

   H04N 5/222 20060101ALI20240815BHJP

   H04N 23/60 20230101ALI20240815BHJP

   G06T 7/70 20170101ALI20240815BHJP

   F03D 17/00 20160101ALI20240815BHJP

   F03D 80/30 20160101ALI20240815BHJP

   G05D 1/46 20240101ALN20240815BHJP

【ＦＩ】

G05D1/683

H04N5/222 100

H04N23/60 500

G06T7/70 Z

F03D17/00

F03D80/30

G05D1/46

【請求項の数】 14

(21)【出願番号】P 2023146851

(22)【出願日】2023-09-11

【審査請求日】2024-02-09

【早期審査対象出願】

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(73)【特許権者】

【識別番号】512118299

【氏名又は名称】株式会社東日本計算センター

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】矢口 勇一

(72)【発明者】

【氏名】松本 美勝

(72)【発明者】

【氏名】大橋 史裕

【審査官】西井 香織

(56)【参考文献】

【文献】特開２０１７－１５１０１８（ＪＰ，Ａ）

【文献】特開２０１６－０４２０８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － １／８７

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／７０

Ｆ０３Ｄ １７／００

Ｆ０３Ｄ ８０／３０

(57)【特許請求の範囲】

【請求項1】

目標点に向かって被誘導体を誘導するためのシステムであって、
前記被誘導体上に搭載された複数の撮像手段と、
前記複数の撮像手段によって取得された複数の画像の各々において前記目標点を識別する識別手段と、
前記複数の画像の各々において識別された複数の目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御する制御手段と
を備えるシステム。

【請求項2】

前記制御手段は、前記複数の画像において生じる、前記識別された目標点に対する視差に基づいて、前記被誘導体を制御する、請求項１に記載のシステム。

【請求項3】

前記複数の撮像手段は、第１の撮像手段と、第２の撮像手段と、第３の撮像手段とを含む少なくとも３つの撮像手段であり、
前記識別手段は、前記第１の撮像手段によって取得された第１の画像中の前記目標点を第１の目標点として識別し、前記第２の撮像手段によって取得された第２の画像中の前記目標点を第２の目標点として識別し、前記第３の撮像手段によって取得された第３の画像中の前記目標点を第３の目標点として識別し、
前記制御手段は、前記第１の画像と前記第２の画像と前記第３の画像とを統合し、前記第１の目標点と前記第２の目標点と前記第３の目標点とによって形成される三角形に基づいて、前記被誘導体を制御する、請求項２に記載のシステム。

【請求項4】

前記制御手段は、前記三角形の基準位置が所定の位置に到達するように、前記被誘導体を制御する、請求項３に記載のシステム。

【請求項5】

前記制御手段は、前記三角形の面積が所定の面積となるように、前記被誘導体を制御する、請求項３または請求項４に記載のシステム。

【請求項6】

前記識別手段は、前記第１の撮像手段によって取得された第１の画像中のターゲット点を第１の点として識別し、前記第２の撮像手段によって取得された第２の画像中のターゲット点を第２の点として識別し、前記第３の撮像手段によって取得された第３の画像中のターゲット点を第３の点として識別し、
前記制御手段は、前記第１の点と前記第２の点と前記第３の点とによって形成される第２の三角形と、前記三角形とに基づいて、前記被誘導体を制御する、請求項３に記載のシステム。

【請求項7】

前記制御手段は、前記三角形の基準位置が前記第２の三角形の基準位置と重なるように、前記被誘導体を制御する、請求項６に記載のシステム。

【請求項8】

前記制御手段は、前記三角形の面積が前記第２の三角形の面積と略同一になるように、前記被誘導体を制御する、請求項６または請求項７に記載のシステム。

【請求項9】

前記基準位置は、重心位置である、請求項４または請求項７に記載のシステム。

【請求項10】

前記識別手段は、前記複数の撮像手段のうちの１つの撮像手段によって取得された時間的に連続する画像の各々から前記目標点を識別するように構成され、
前記識別手段は、
前記連続する画像のうちの先行画像に基づいて、前記目標点を識別するためのガイド情報を作成することと、
前記先行画像から、前記目標点が位置する物体の領域を抽出することと、
前記連続する画像のうちの後続画像において、前記領域を用いてテンプレートマッチングを行うことと、
前記テンプレートマッチングの結果に基づいて前記ガイド情報を補正し、前記補正されたガイド情報を前記後続画像に付与することと、
前記付与されたガイド情報を用いて、前記後続画像において前記目標点を識別することと
を行うように構成されている、請求項１に記載のシステム。

【請求項11】

前記識別手段は、前記複数の撮像手段のうちの第１の撮像手段によって取得された第１の画像中の前記目標点を識別し、前記複数の撮像手段のうちの第２の撮像手段によって取得された第２の画像中の前記目標点を識別し、
前記制御手段は、前記第１の撮像手段の位置と、前記第２の撮像手段の位置と、前記目標点の位置とを用いた三角比により、前記被誘導体と前記目標点との間の距離を計測し、前記距離に基づいて前記被誘導体を制御する、請求項１に記載のシステム。

【請求項12】

前記被誘導体は、飛行体であり、前記目標点は、風車のブレード上の点である、請求項１に記載のシステム。

【請求項13】

目標点に向かって被誘導体を誘導するための方法であって、
前記被誘導体上に搭載された複数の撮像手段によって取得された複数の画像を受信することと、
前記複数の画像の各々において前記目標点を識別することと、
前記複数の画像の各々において識別された複数の目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御することと
を含む方法。

【請求項14】

目標点に向かって被誘導体を誘導するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
前記被誘導体上に搭載された複数の撮像手段によって取得された複数の画像を受信することと、
前記複数の画像の各々において前記目標点を識別することと、
前記複数の画像の各々において識別された複数の目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御するための制御信号を出力することと
を含む処理を前記プロセッサに行わせる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、目標点に向かって被誘導体を誘導するためのシステム、方法、およびプログラムに関し、より具体的には、風車のブレードの点検等のために、風車のブレードまで飛行体を誘導するためのシステム等に関する。

【背景技術】

【0002】

従来から、送電線の鉄柱、高層ビル、大型風力発電機のブレードといった高い建造物は、雷による被害を受けやすいため、落雷対策が施されている。例えば、風車のブレードには、雷撃電流を地面に流すための受雷部（レセプタ）および避雷導線（ダウンコンダクタ）が設けられているが、レセプタおよびダウンコンダクタが導通不良であると、ブレードは、落雷により故障してしまう。従って、このような落雷対策が施された建造物では、レセプタおよびダウンコンダクタの導通検査を定期的に行う必要がある。

【0003】

高所での導通検査作業が危険であることから、無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）を利用して導通検査を行う試みがなされている（例えば、特許文献１、特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１５１０１８号公報

【文献】特開２０１６－４２０８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、飛行体等の被誘導体が目標点に向かって移動するように、簡略化された制御で被誘導体を誘導することを可能にするシステム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、目標点に向かって被誘導体を誘導するためのシステム等を提供し、このシステムでは、複数の撮像手段によって取得された複数の画像から目標点を識別し、識別された目標点に基づいて、被誘導体を制御する。

【0007】

本発明は、例えば、以下の項目を提供する。
（項目１）
目標点に向かって被誘導体を誘導するためのシステムであって、
前記被誘導体上に搭載された複数の撮像手段と、
前記複数の撮像手段によって取得された複数の画像の各々において前記目標点を識別する識別手段と、
前記識別された目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御する制御手段と
を備えるシステム。
（項目２）
前記制御手段は、前記複数の画像において生じる、前記識別された目標点に対する視差に基づいて、前記被誘導体を制御する、上記項目に記載のシステム。
（項目３）
前記複数の撮像手段は、第１の撮像手段と、第２の撮像手段と、第３の撮像手段とを含む少なくとも３つの撮像手段であり、
前記識別手段は、前記第１の撮像手段によって取得された第１の画像中の前記目標点を第１の目標点として識別し、前記第２の撮像手段によって取得された第２の画像中の前記目標点を第２の目標点として識別し、前記第３の撮像手段によって取得された第３の画像中の前記目標点を第３の目標点として識別し、
前記制御手段は、前記第１の画像と前記第２の画像と前記第３の画像とを統合し、前記第１の目標点と前記第２の目標点と前記第３の目標点とによって形成される三角形に基づいて、前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目４）
前記制御手段は、前記三角形の基準位置が所定の位置に到達するように、前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目５）
前記制御手段は、前記三角形の面積が所定の面積となるように、前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目６）
前記識別手段は、前記第１の撮像手段によって取得された第１の画像中のターゲット点を第１の点として識別し、前記第２の撮像手段によって取得された第２の画像中のターゲット点を第２の点として識別し、前記第３の撮像手段によって取得された第３の画像中のターゲット点を第３の点として識別し、
前記制御手段は、前記第１の点と前記第２の点と前記第３の点とによって形成される第２の三角形と、前記三角形とに基づいて、前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目７）
前記制御手段は、前記三角形の基準位置が前記第２の三角形の基準位置と重なるように、前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目８）
前記制御手段は、前記三角形の面積が前記第２の三角形の面積と略同一になるように、前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目９）
前記基準位置は、重心位置である、上記項目のいずれか一項に記載のシステム。
（項目１０）
前記識別手段は、前記複数の撮像手段のうちの１つの撮像手段によって取得された時間的に連続する画像の各々から前記目標点を識別するように構成され、
前記識別手段は、
前記先行画像に基づいて、前記目標点を識別するためのガイド情報を作成することと、
前記連続する画像のうちの先行画像から、前記目標点が位置する物体の領域を抽出することと、
前記連続する画像のうちの後続画像において、前記領域を用いてテンプレートマッチングを行うことと、
前記テンプレートマッチングの結果に基づいて前記ガイド情報を補正し、前記補正されたガイド情報を前記後続画像に付与することと、
前記付与されたガイド情報を用いて、前記後続画像において前記目標点を識別することと
を行うように構成されている、上記項目のいずれか一項に記載のシステム。
（項目１１）
前記識別手段は、前記複数の撮像手段のうちの第１の撮像手段によって取得された第１の画像中の前記目標点を識別し、前記複数の撮像手段のうちの第２の撮像手段によって取得された第２の画像中の前記目標点を識別し、
前記制御手段は、前記第１の撮像手段の位置と、前記第２の撮像手段の位置と、前記目標点の位置とを用いた三角比により、前記被誘導体と前記目標点との間の距離を計測し、前記距離に基づいて前記被誘導体を制御する、上記項目のいずれか一項に記載のシステム。
（項目１２）
前記被誘導体は、飛行体であり、前記目標点は、風車のブレード上の点である、上記項目のいずれか一項に記載のシステム。
（項目１３）
目標点に向かって被誘導体を誘導するための方法であって、
前記被誘導体上に搭載された複数の撮像手段によって取得された複数の画像を受信することと、
前記複数の画像の各々において前記目標点を識別することと、
前記識別された目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御することと
を含む方法。
（項目１３Ａ）
上記項目のいずれか一項に記載の特徴を含む、項目１３に記載の方法。
（項目１４）
目標点に向かって被誘導体を誘導するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
前記被誘導体上に搭載された複数の撮像手段によって取得された複数の画像を受信することと、
前記複数の画像の各々において前記目標点を識別することと、
前記識別された目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御するための制御信号を出力することと
を含む処理を前記プロセッサに行わせる、プログラム。
（項目１４Ａ）
上記項目のいずれか一項に記載の特徴を含む、項目１４に記載のプログラム。
（項目１４Ｂ）
項目１４または項目１４Ａに記載のプログラムを記憶するコンピュータ読み取り可能な有形記憶媒体。

【発明の効果】

【0008】

本発明によれば、簡略化された制御で被誘導体を誘導することを可能にするシステム等を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の手法に従って、ドローンを利用して風車のブレードのレセプタの導通検査を行うプロセスの一例を示す図

【図2A】ドローン２１をブレード１１の先端まで誘導するために、視差を用いることの例を概略的に説明する図

【図2B】複合画像３１の詳細を示す図

【図3A】ドローン２１をブレード１１の先端まで誘導するために、視差を用いることの別の例を概略的に説明する図

【図3B】複合画像３２の詳細を示す図

【図3C】プローブが重心位置にない場合の例を示す図

【図4A】ドローン２１をブレード１１の先端まで誘導するために、三角比を用いることの例を概略的に説明する図

【図4B】カメラの視線方向に歪みがある場合に、ドローン２１をブレード１１の先端まで誘導するために、三角比を用いることの例を概略的に説明する図

【図4C】カメラが魚眼レンズを有するカメラである場合に、ドローン２１をブレード１１の先端まで誘導するために、三角比を用いることの例を概略的に説明する図

【図5】目標点に向かって被誘導体を誘導するためのシステム１０００の構成の一例を示す図

【図6】コンピュータシステム１００の構成の一例を示す図

【図7】プロセッサ部１２０の構成の一例を示す図

【図8】目標点に向かって被誘導体を誘導するためのシステム１０００において行われる手順８００の一例を示すフローチャート

【図9】ドローンを利用して風車のブレードのレセプタの導通検査を行う従来のプロセスの一例を示す図

【発明を実施するための形態】

【0010】

（定義）
本明細書において、「被誘導体」とは、本発明の技術によって誘導される対象の物体をいう。被誘導体は、例えば、自律移動可能な物体であってもよいし、人間による操作を介して移動可能な物体であってもよい。被誘導体は、好ましくは、飛行体であり得、より好ましくは、人間による操作が不要な、自律飛行可能な無人飛行体（例えば、ドローン）であり得る。

【0011】

本明細書において、「目標点」とは、被誘導体が誘導されるときに目標となる点をいう。目標点は、例えば、誘導の目的地上の点であってもよいし、目的地までの経路の途中の点であってもよい。

【0012】

本明細書において、「ターゲット点」とは、被誘導体が誘導されるときに、目標点に接近させるべき点をいう。ターゲット点は、被誘導体との相対位置が変わらない点であり、被誘導体の一部上の点であってもよいし、被誘導体上には存在しない仮想的な点であってもよい。

【0013】

例えば、風車のブレードの導通検査を行う例の場合、被誘導体は、導通検査を行うためのプローブ等を備えるドローンであり得、目標点は、レセプタが存在する風車のブレード上の点（例えば、先端）であり得、ターゲット点は、プローブの先端であり得る。

【0014】

以下に本開示の好ましい実施形態を説明する。以下に提供される実施形態は、本開示のよりよい理解のために提供されるものであり、本開示の範囲は以下の記載に限定されるべきでないことが理解される。従って、当業者は、本明細書中の記載を参酌して、本開示の範囲内で適宜改変を行うことができることは明らかである。また、以下の実施形態は単独でも使用されあるいはそれらを組み合わせて使用することができることが理解される。

【0015】

以下、図面を参照しながら、本開示の好ましい実施の形態を説明する。

【0016】

（１．風車のブレードの導通検査のためのドローン誘導）
図９は、ドローンを利用して風車のブレードのレセプタの導通検査を行う従来のプロセスの一例を示す。

【0017】

この例では、導通検査を行うためのプローブを備えるドローン２０が、風車１０のブレード１１の先端にあるレセプタまで飛行し、ドローン２０がプローブをレセプタに接触させることによって導通検査が行われる。

【0018】

まず、ステップＳ１において、ドローン２０が風車１０の正面から離陸し、風車１０のブレード１１にアプローチする。

【0019】

ドローン２０がブレード１１に接近すると、ステップＳ２において、ドローン２０は、ブレード１１の形状に沿って移動する。ドローン２０がレセプタの位置まで到達すると、レセプタの導通試験が行われることになる。

【0020】

このプロセスでは、ドローン２０の移動のための制御数が多くなり、複雑な制御も必要とする。さらに、ドローン２０の飛行時間が長くなり、これに伴い、作業時間も長くなる。

【0021】

また、ブレード１１にアプローチするために、複数のカメラを用いた従来のステレオ技術によってブレード１１を捉えることには、技術的な制限があった。具体的には、ブレード１１が比較的に細い物体であるため、複数のカメラ間で見え方が異なってしまい、形状を適切に捉えることが困難であった。

【0022】

本発明の発明者は、制御を簡略化し、かつ、作業時間を短縮し得るプロセスの必要性を見出し、鋭意研究の結果、本発明の手法を開発した。

【0023】

図１は、本発明の手法に従って、ドローンを利用して風車のブレードのレセプタの導通検査を行うプロセスの一例を示す。

【0024】

この例では、導通検査を行うためのプローブと、複数のカメラとを備えるドローン２１が、風車１０のブレード１１の先端にあるレセプタまで飛行し、ドローン２１がプローブをレセプタに接触させることによって導通検査が行われる。ドローン２１の中心には、導通検査を行うためのプローブが搭載されており、複数のカメラは、プローブ周りに搭載されている。

【0025】

ステップＳ１１では、ドローン２１は、風車１０のブレード１１の下方から離陸する。離陸前または離陸後に、ドローン２１が備える複数のカメラを用いて、目標点であるブレード１１の先端が撮像される。複数のカメラのそれぞれがブレード１１の先端を撮像することにより、複数の画像が取得される。

【0026】

本発明の手法では、複数の画像の各々において、目標点であるブレード１１の先端を識別し、識別された目標点に基づいて、ドローン２１をブレード１１の先端まで誘導するように、ブレード１１の飛行を制御することになる。

【0027】

複数のカメラは、それぞれの搭載位置が相互に異なるため、取得された複数の画像には視差が生じ得る。本発明の手法では、この視差に基づいて、ドローン２１をブレード１１の先端まで誘導するように、ブレード１１の飛行を制御することができる。

【0028】

図２Ａは、ドローン２１をブレード１１の先端まで誘導するために、視差を用いることの例を概略的に説明する図である。図２Ａに示される例では、目標点としての先端を有するブレード１１のみが描写されており、風車１０の他の部分は省略されている。また、ドローン２１に搭載されている３つのカメラ２２１、２２２、２２３のみが描写されており、ドローン２１自体は省略されている。３つのカメラ２２１、２２２、２２３のそれぞれには、それぞれのカメラの画像面（四角錐の底面）が示されている。カメラの画像面は、ｘ－ｙ平面に平行な面であり、ｚ方向は、カメラの画像面に垂直である。本明細書では、「水平方向」とは、撮像手段（カメラ）の画像面に平行な方向をいい、必ずしも地面に平行な方向を意味しないことに留意されたい。本明細書では、「垂直方向」は、「水平方向」に対して垂直な方向を意味する。

【0029】

第１のカメラ２２１によってブレード１１の先端を撮像すると、第１のカメラ２２１の画像面にブレード１１の先端が投影される。図２Ａでは、ブレード１１の先端が中空丸で示されている。第２のカメラ２２２によってブレード１１の先端を撮像すると、第２のカメラ２２２の画像面にブレード１１の先端が投影される。図２Ａでは、ブレード１１の先端が中実丸で示されている。第３のカメラ２２３によってブレード１１の先端を撮像すると、第３のカメラ２２３の画像面にブレード１１の先端が投影される。図２Ａでは、ブレード１１の先端が灰色丸で示されている。

【0030】

第１のカメラ２２１による第１の画像と、第２のカメラ２２２による第２の画像と、第３のカメラ２２３による第３の画像とが重ね合わせられて統合されると、複合画像３１が形成される。複合画像３１には、第１のカメラ２２１によって撮像されたブレード１１の先端を表す点（中空丸）と、第２のカメラ２２２によって撮像されたブレード１１の先端を表す点（中実丸）と、第３のカメラ２２３によって撮像されたブレード１１の先端を表す点（灰色丸）とが含まれている。視差により、中空丸の位置と中実丸の位置と灰色丸の位置とは相互にずれており、これらの３点によって三角形が形成され得る。

【0031】

図２Ｂは、複合画像３１の詳細を示す図である。

【0032】

複合画像３１には、第１のカメラ２２１によって撮像されたブレード１１の先端を表す点Ｐ１（中空丸）と、第２のカメラ２２２によって撮像されたブレード１１の先端を表す点Ｐ２（中実丸）と、第３のカメラ２２３によって撮像されたブレード１１の先端を表す点Ｐ３（灰色丸）とが表されている。Ｐ１、Ｐ２、Ｐ３の３点によって形成される三角形Ｔは、重心Ｃを有している。

【0033】

ドローン２１が水平方向（すなわち、図２Ａのｘ方向またはｙ方向）に移動すると、これに応じて、三角形Ｔの重心Ｃが移動する。ドローン２１が垂直方向（すなわち、図２Ａのｚ方向）に移動すると、これに応じて、三角形Ｔの面積が変化する。ドローン２１がブレード１１の先端に近づくほど三角形Ｔの面積が大きくなり、ドローン２１がブレード１１の先端から遠ざかるほど三角形Ｔの面積が小さくなる。すなわち、三角形Ｔの重心Ｃの位置および面積は、ブレード１１の先端に対するドローン２１の３次元位置を表すことになる。

【0034】

従って、ステップＳ１１では、複数のカメラで画像を取得し続け、取得された画像から得られる三角形Ｔの重心Ｃの位置および／または面積を利用して、ブレード１１の先端までドローン２１を誘導することになる。具体的には、三角形Ｔの重心Ｃが所定の位置に到達し、かつ、三角形Ｔの面積が所定の面積となるように、ドローン２１を誘導する。これにより、単純な制御でドローン２１を誘導することができる。さらに、ブレード１１の下方からドローン２１が飛行するようにすることで、ドローン２１は最小距離を飛行することができ、これは作業時間の短縮につながり得る。

【0035】

図３Ａは、ドローン２１をブレード１１の先端まで誘導するために、視差を用いることの別の例を概略的に説明する図である。図３Ａに示される例では、目標点としての先端を有するブレード１１のみが描写されており、風車１０の他の部分は省略されている。また、ドローン２１に搭載されている３つのカメラ２２１、２２２、２２３のみが描写されており、ドローン２１自体は省略されている。３つのカメラ２２１、２２２、２２３のそれぞれには、それぞれのカメラの画像面（四角錐の底面）が示されている。図３Ａに示される例では、ドローン２１に搭載され得るプローブ２３およびプローブ２３が仮想的に破線で示されている。プローブ２３は、３つのカメラ２２１、２２２、２２３の位置を頂点とする三角形の重心位置上に搭載され得る。ドローン２１をブレード１１の先端付近まで誘導する際には、プローブ２３は、ドローン２１内に格納されるかまたは後退位置に位置しており、ドローン２１がブレード１１の先端付近に到着すると、プローブ２３は、図３Ａに破線で示されている位置まで延伸することにより、プローブ２３の先端が、ブレード１１の先端に位置するレセプタに接触することができる。従って、ドローン２１を基準としたプローブの先端の空間位置が、ブレード１１の先端まで誘導されるべきターゲット点２４となる。

【0036】

ドローン２１を誘導する前の準備段階において、例えば地上で、プローブ２３を図３Ａに破線で示されている位置まで延伸させ、プローブ２３の先端の空間位置（すなわち、ターゲット点２４）を認識することができる。例えば、第１のカメラ２２１によってプローブ２３の先端を撮像すると、第１のカメラ２２１の画像面にプローブ２３の先端が投影される。図３Ａでは、第１のカメラ２２１の画像面において、プローブ２３の先端が×で示されている。第２のカメラ２２２によってプローブ２３の先端を撮像すると、第２のカメラ２２２の画像面にプローブ２３の先端が投影される。図３Ａでは、第２のカメラ２２２の画像面において、プローブ２３の先端が×で示されている。第３のカメラ２２３によってプローブ２３の先端を撮像すると、第３のカメラ２２３の画像面にプローブ２３の先端が投影される。図３Ａでは、第３のカメラ２２３の画像面において、プローブ２３の先端が×で示されている。

【0037】

このようにして、プローブ２３の先端の空間位置（ターゲット点２４）が認識され、各カメラの画像面に投影される。ドローン２１に対するターゲット点２４の空間位置は不変なので、プローブ２３を後退させたとしても、ターゲット点２４の空間位置は、移動することはなく、ドローン２１の誘導中さえも移動することはない。認識されたターゲット点２４の空間位置を用いて、ドローン２１の誘導が行われることになる。

【0038】

ドローン２１を誘導する実行段階において、第１のカメラ２２１によってブレード１１の先端を撮像すると、第１のカメラ２２１の画像面にブレード１１の先端が投影される。図３Ａでは、ブレード１１の先端が中空丸で示されている。第２のカメラ２２２によってブレード１１の先端を撮像すると、第２のカメラ２２２の画像面にブレード１１の先端が投影される。図３Ａでは、ブレード１１の先端が中実丸で示されている。第３のカメラ２２３によってブレード１１の先端を撮像すると、第３のカメラ２２３の画像面にブレード１１の先端が投影される。図３Ａでは、ブレード１１の先端が灰色丸で示されている。

【0039】

第１のカメラ２２１による第１の画像と、第２のカメラ２２２による第２の画像と、第３のカメラ２２３による第３の画像とが重ね合わせられて統合されると、複合画像３２が形成される。複合画像３２には、第１のカメラ２２１によって撮像されたブレード１１の先端を表す点（中空丸）と、第２のカメラ２２２によって撮像されたブレード１１の先端を表す点（中実丸）と、第３のカメラ２２３によって撮像されたブレード１１の先端を表す点（灰色丸）とが含まれており、さらに、事前に認識された、第１のカメラ２２１によって撮像されたターゲット点２４を表す点（×）、第２のカメラ２２２によって撮像されたターゲット点２４を表す点（×）、第３のカメラ２２３によって撮像されたターゲット点２４を表す点（×）も含まれている。視差により、中空丸の位置と中実丸の位置と灰色丸の位置とは相互にずれており、これらの３点によって三角形が形成され得る。また、視差により、３つの×の位置は相互にずれており、これらの３点によっても三角形が形成され得る。

【0040】

なお、上述した例では、ブレード１１の先端と、プローブ２３の先端（ターゲット点２４）とを別々に撮像することを説明したが、これに限定されず、ブレード１１の先端と、プローブ２３の先端（ターゲット点２４）とを同時に撮像するようにしてもよい。

【0041】

図３Ｂは、複合画像３２の詳細を示す図である。

【0042】

複合画像３２には、第１のカメラ２２１によって撮像されたブレード１１の先端を表す点Ｐ１（中空丸）と、第２のカメラ２２２によって撮像されたブレード１１の先端を表す点Ｐ２（中実丸）と、第３のカメラ２２３によって撮像されたブレード１１の先端を表す点Ｐ３（灰色丸）とが表されている。Ｐ１、Ｐ２、Ｐ３の３点によって形成される三角形Ｔは、重心Ｃを有している。さらに、複合画像３２には、第１のカメラ２２１によって撮像されたターゲット点２４を表す点Ｐ_０１（中空×）と、第２のカメラ２２２によって撮像されたターゲット点２４を表す点Ｐ_０２（中実×）と、第３のカメラ２２３によって撮像されたターゲット点２４を表す点Ｐ_０３（灰色×）とが表されている。Ｐ_０１、Ｐ_０２、Ｐ_０３の３点によって形成される三角形Ｔ_０は、重心Ｃ_０を有している。プローブ２３は、３つのカメラ２２１、２２２、２２３の位置を頂点とする三角形の重心位置上に搭載されているため、ターゲット点２４は、三角形Ｔ_０は、重心Ｃ_０の位置にくることになる。

【0043】

ドローン２１が水平方向（すなわち、図３Ａのｘ方向またはｙ方向）に移動すると、これに応じて、三角形Ｔの重心Ｃが移動する。このとき、ターゲット点２４はドローン２１と共に移動するため、三角形Ｔ_０の重心Ｃ_０は移動しない。ドローン２１が垂直方向（すなわち、図３Ａのｚ方向）に移動すると、これに応じて、三角形Ｔの面積が変化する。ドローン２１がブレード１１の先端に近づくほど三角形Ｔの面積が大きくなり、ドローン２１がブレード１１の先端から遠ざかるほど三角形Ｔの面積が小さくなる。このとき、ターゲット点２４はドローン２１と共に移動するため、三角形Ｔ_０の面積は変化しない。

【0044】

三角形Ｔの重心Ｃと三角形Ｔ_０の重心Ｃ_０との相対的な位置関係は、ブレード１１の先端とターゲット点２４との相対的な水平方向（すなわち、図３Ａのｘ方向またはｙ方向）の位置関係を表すことになる。例えば、三角形Ｔの重心Ｃと三角形Ｔ_０の重心Ｃ_０とが重なることは、ブレード１１の先端の（ｘ，ｙ）座標とターゲット点２４の（ｘ，ｙ）座標とが同一になっていることを表す。

【0045】

三角形Ｔの面積と三角形Ｔ_０の面積との相対的な関係は、ブレード１１の先端とターゲット点２４との相対的な垂直方向（すなわち、図３Ａのｚ方向）の位置関係を表すことになる。例えば、三角形Ｔの面積と三角形Ｔ_０の面積とが同一となることは、ブレード１１の先端のｚ座標とターゲット点２４のｚ座標とが同一になっていることを表す。

【0046】

三角形Ｔの重心Ｃと三角形Ｔ_０の重心Ｃ_０とが重なり、かつ、三角形Ｔの面積と三角形Ｔ_０の面積とが同一となった状態は、ブレード１１の先端にターゲット点２４が到達したことを意味する。

【0047】

従って、ステップＳ１１では、複数のカメラで画像を取得し続け、取得された画像から得られる三角形Ｔの重心Ｃの位置および／または面積、ならびに、予め取得された画像から得られる三角形Ｔ_０の重心Ｃ_０の位置および／または面積を利用して、ブレード１１の先端までドローン２１を誘導することになる。具体的には、三角形Ｔの重心Ｃと三角形Ｔ_０の重心Ｃ_０とが重なり、かつ、三角形Ｔの面積と三角形Ｔ_０の面積とが同一となるように、ドローン２１を誘導する。これにより、ターゲット点２４（ドローン２１のプローブ２３の先端がくる位置）がブレード１１の先端に到達することになる。この状態で、プローブ２３が延伸すると、プローブ２３の先端が、ブレード１１の先端（ひいては、レセプタ）に接触することになる。

【0048】

上述した例では、プローブ２３が、３つのカメラ２２１、２２２、２２３の位置を頂点とする三角形の重心位置上に搭載され、従って、ターゲット点２４も三角形の重心位置にあることを説明したが、プローブ２３の位置は重心位置に限定されず、従って、ターゲット点２４の位置も重心位置に限定されない。プローブ２３は、ドローン２１上の任意の位置に搭載されることができ、従って、ターゲット点２４も対応する任意の点に位置し得る。この場合、上述した重心の位置に代えて、３つのカメラに対するターゲット点２４の相対位置を三角形Ｔ_０に対する関係に反映したときのターゲット点の位置（基準位置）と、３つのカメラに対するターゲット点２４の相対位置を三角形Ｔに対する関係に反映したときのターゲット点の位置（基準位置）とを利用することになる。

【0049】

図３Ｃは、プローブが重心位置にない場合の例を示す。図３Ｃは、ドローン２１を上から見た図を示し、３つのカメラ２２１、２２２、２２３およびプローブ２３のみが示されている。プローブ２３の位置を原点（０，０）とし、第１のカメラ２２１の座標を（ｘ_１，ｙ_１）とし、第２のカメラ２２２の座標を（ｘ_２，ｙ_２）とし、第３のカメラ２２３の座標を（ｘ_３，ｙ_３）としている。プローブ２３の位置は、３つのカメラ２２１、２２２、２２３による三角形の重心Ｇの位置からずれている。このとき、三角形の重心Ｇの座標は、

【数1】

で表される。プローブの位置（すなわち、原点（０，０））を第１のカメラ２２１から第２のカメラ２２２へのベクトルと第１のカメラ２２１から第３のカメラ２２３へのベクトルとの比の和として表すと、

【数2】

となる。このｒ、ｓを求めることにより、３つのカメラに対するプローブ２３の相対位置（ひいては、ターゲット点２４）が分かる。次いで、三角形Ｔ_０においても、求めたｒ、ｓを用いて、ターゲット点をＰ_０１からＰ_０２へのベクトルとＰ_０１からＰ_０３へのベクトルとの比の和で表すことにより、３つのカメラに対するターゲット点の相対位置が三角形Ｔ_０に反映され、三角形Ｔ_０におけるターゲット点の位置（基準位置）がわかる。同様に、三角形Ｔにおいても、求めたｒ、ｓを用いて、ターゲット点をＰ１からＰ２へのベクトルとＰ１からＰ３へのベクトルとの比の和で表すことにより、３つのカメラに対するターゲット点の相対位置が三角形Ｔに反映され、三角形Ｔにおけるターゲット点の位置（基準位置）がわかる。

【0050】

本例では、三角形Ｔにおける基準位置および／または三角形Ｔの面積、ならびに、三角形Ｔ_０における基準位置および／または三角形Ｔ_０の面積を利用して、ブレード１１の先端までドローン２１を誘導することになる。具体的には、三角形Ｔにおける基準位置と三角形Ｔ_０における基準位置とが重なり、かつ、三角形Ｔの面積と三角形Ｔ_０の面積とが同一となるように、ドローン２１を誘導する。

【0051】

このように、プローブ２３が任意の位置にある場合でも、適切にドローン２１を誘導することができる。

【0052】

このように、本発明の手法では、単純な制御でドローン２１を誘導することができる。さらに、ブレード１１の下方からドローン２１が飛行するようにすることで、ドローン２１は最小距離を飛行することができ、これは作業時間の短縮につながり得る。

【0053】

本発明の手法では、複数のカメラ間の視差を利用することに代えて、または、複数のカメラ間の視差を利用することに加えて、複数のカメラの搭載位置に基づく三角比を利用して、ドローン２１をブレード１１の先端まで誘導するように、ブレード１１の飛行を制御するようにしてもよい。

【0054】

図４Ａは、ドローン２１をブレード１１の先端まで誘導するために、三角形を用いることの例を概略的に説明する図である。

【0055】

図４Ａは、複数のカメラのうちの２つのカメラと、ブレード１１の先端とを２次元平面に投影した図である。図４Ａでは、図２Ａに示されるｘ－ｚ平面に投影されている。白丸ａが第１のカメラの投影点であり、黒丸ｂが第２のカメラの投影点であり、灰色丸ｃがブレード１１の先端の投影点である。Ｏは、ドローン２１の中心を投影した点である。Ｏを原点とすると、点ａの座標は、（ａ_ｘ，０）で表され、点ｂの座標は、（ｂ_ｘ，０）で表され、点ｃの座標は、（ｘ，ｈ）で表される。点ａと点ｂとは、距離ｄ_ａｂだけ離れており、点ａと点ｃとは、距離ｄ_ａｃだけ離れており、点ｂと点ｃとは、距離ｄ_ｂｃだけ離れており、ここで、距離ｄ_ａｂは既知である。各カメラは、画像面を有するように示されており、画像面は、視野角ＦＯＶを有する三角形のＦＯＶの対辺として表されている。画像面は、ｘ軸方向にｗの解像度（ピクセル数）を有している。点ａと点ｃとを結んだ線と、画像面との交点Ｐ_ａが、第１のカメラによるブレード１１の先端の投影点であり、点ｂと点ｃとを結んだ線と、画像面との交点Ｐ_ｂが、第２のカメラによるブレード１１の先端の投影点である。点ａと点ｃとを結んだ線とｚ軸とのなす角がθ_ａであり、点ｂと点ｃとを結んだ線とｚ軸とのなす角がθ_ｂであり、点ａと点ｃとを結んだ線と、点ｂと点ｃとを結んだ線とのなす角がθ_ｃである。θ_ａ、θ_ｂは、時計回りを正とし、θ_ａ＜θ_ｂである。図４Ａに示される例では、θ_ａ＜０となっている。

【0056】

本手法では、三角比を利用して、ｃの座標（ｘ，ｈ）またはドローンからブレード１１の先端までの高さ｜ｈ｜と、ドローンの中心からブレード１１の先端までの水平方向のずれ｜ｘ｜とを算出し、ターゲット点がｃの座標（ｘ，ｈ）にくるように、算出された｜ｈ｜および｜ｘ｜の分だけ、ドローンを移動させるように制御することになる。

【0057】

まず、画像面に写った点Ｐ_ａ、Ｐ_ｂの画素値から角度θ_ａ、θ_ｂが算出される。視野角ＦＯＶを有する三角形の高さをｌとすると、画像面の解像度ｗと視野角ＦＯＶとの関係から、

【数3】

となり、

【数4】

が得られる。ｐにＰ_ａ、Ｐ_ｂのピクセル位置を代入すると、θ_ａ、θ_ｂがそれぞれ得られる。

【0058】

錯角の関係から、θ_ｃ＝θ_ｂ－θ_ａとなり、θ_ｃが得られる。

【0059】

また、三角形ａｂｃについての正弦定理から、

【数5】

となり、

【数6】

により、ｄ_ac、ｄ_ｂｃがそれぞれ得られる。

【0060】

次いで、

【数7】

により、ｈが得られる。また、

【数8】

により、ｘが得られる。ここで、ｘ、ａ_ｘ、ｂ_ｘは、座標値であるため、正の値も負の値も取り得る。

【0061】

なお、上述した例では、ｘ－ｚ平面への投影に基づく三角比を利用することを説明したが、ｙ－ｚ平面への投影についても同様に、ｃの座標（ｙ，ｈ）または高さ｜ｈ｜および水平方向のずれ｜ｙ｜が算出されることになる。そして、ターゲット点がｃの座標（ｘ，ｙ，ｈ）にくるように、算出された｜ｈ｜、｜ｘ｜、｜ｙ｜の分の移動を達成するようなドローンの制御が行われ得る。

【0062】

例えば、ｘ－ｚ平面への投影から算出された値と、ｙ－ｚ平面への投影から算出された値とが相互に異なる場合は、平均値を用いてもよし、分散値を考慮して正値を判断するようにすることができる。

【0063】

図４Ｂは、ドローン２１をブレード１１の先端まで誘導するために、三角形を用いることの別の例を概略的に説明する図である。本例では、第２のカメラの視線方向が、垂直方向（ｚ軸方向）に対してわずかに傾いていることを例に説明する。

【0064】

図４Ｂにおいて、図４Ａで上述した変数・定数と同じものには同一の文字を付している。第２のカメラの視線方向が、垂直方向（ｚ軸方向）に対してわずかに傾いているが、θ_ｂは、依然として、点ｂと点ｃとを結んだ線とｚ軸とのなす角である。

【0065】

第２のカメラの視線方向が、垂直方向（ｚ軸方向）に対してわずかに傾いているため、第２のカメラについては、

【数9】

を用いてθ_ｂが得られる。ここで、ｏｆｆｓｅｔは、視線方向と垂直方向（ｚ軸方向）とのずれになるピクセル数である。

【0066】

第１のカメラについては、上述した（数４）を用いて、θ_ａが得られる。その後は、上述したように、（数６）を用いて、ｄ_ac、ｄ_ｂｃがそれぞれ得られ、（数７）を用いて、ｈが得られ、（数８）を用いて、ｘが得られる。

【0067】

図４Ｃは、ドローン２１をブレード１１の先端まで誘導するために、三角形を用いることの別の例を概略的に説明する図である。本例では、第１のカメラおよび第２のカメラが魚眼レンズを有するカメラであることを例に説明する。本例でも、第２のカメラの視線方向が、垂直方向（ｚ軸方向）に対してわずかに傾いている

【0068】

図４Ｃにおいて、図４Ａで上述した変数・定数と同じものには同一の文字を付している。

【0069】

第１のカメラおよび第２のカメラが魚眼レンズを有するカメラであるため、画像面が円弧状に表されており、Ｐ_ａ、Ｐ_ｂは、円弧状の画像面上に投影されている。

【0070】

魚眼レンズの場合、画像面のピクセル値を角度の比の計算に利用することができ、

【数10】

と表され得る。

【0071】

第１のカメラおよび第２のカメラの両方に対して、（数１０）を用いて、θ_ａ、θ_ｂがそれぞれ得られる。その後は、上述したように、（数６）を用いて、ｄ_ac、ｄ_ｂｃがそれぞれ得られ、（数７）を用いて、ｈが得られ、（数８）を用いて、ｘが得られる。

【0072】

このように、複数のカメラの画像間の見え方の違いを敢えて利用することで、ステレオ技術を利用することでは困難であったブレード１１へのアプローチを容易に行うことができる。

【0073】

なお、上述した例では、ドローン２１が斜め下に延びるように角度付けられているブレード１１の先端にブレード１１の下方からアプローチすることを説明したが、ドローン２１がブレード１１にアプローチする態様は問わない。例えば、ドローン２１は、ブレード１１の横からブレード１１にアプローチしてもよいし、ブレード１１の上方からブレード１１にアプローチしてもよいし、ブレード１１の斜めからブレード１１にアプローチしてもよい。これは、例えば、ドローン２１が既に飛行またはホバリングしている場合に対応する。例えば、ドローン２１は、ブレード１１の側面にアプローチしてもよいし、ブレード１１から所定の距離だけ離れた場所にアプローチしてもよい。例えば、ドローン２１がアプローチするブレード１１は、横方向に延びるように角度付けられていてもよいし、真下に延びるように角度付けられていてもよいし、斜め上に延びるように角度付けられていてもよい。

【0074】

上述した例では、風車のブレードの先端に向かって、ドローンを誘導することを説明したが、本発明の対象はこれに限定されない。本発明は、任意の目標点に向かって、任意の被誘導体（または、ターゲット点）を誘導することに適用されることができる。すなわち、複数の撮像手段によって撮像された複数の画像から目標点を識別することができさえすれば、任意の被誘導体において、上述した三角形を形成し、形成された三角形を制御に利用することができる。

【0075】

上述した手法は、例えば、後述する目標点に向かって被誘導体を誘導するためのシステム１０００によって達成され得る。

【0076】

（２．目標点に向かって被誘導体を誘導するためのシステムの構成）
図５は、目標点に向かって被誘導体を誘導するためのシステム１０００の構成の一例を示す。以下では、被誘導体が、ドローン等の飛行体２１であることを例に説明するが、上述したように、被誘導体は、飛行体に限定されず、任意の物体であり得る。

【0077】

システム１０００は、飛行体２１と、コンピュータシステム１００とを備える。

【0078】

飛行体２１は、複数の撮像手段を備えている。複数の撮像手段の個数は、２以上の任意の数であるが、好ましくは、３またはそれより多い数であり得る。好ましくは、複数の撮像手段は、第１の撮像手段と、第２の撮像手段と、第３の撮像手段とを含む少なくとも３つの撮像手段であり得る。

【0079】

図５に示される例では、３つの撮像手段２２１、２２２、２２３は、飛行体２１の中心周りに搭載されている。好ましくは、複数の撮像手段は、飛行体２１のうちの目標点に向かわせるべき部分（例えば、風車のブレードのレセプタの導通検査のためのプローブ）を中心として飛行体２１上に搭載され得る。より好ましくは、複数の撮像手段は、複数の撮像手段の配列によって形成される多角形（すなわち、複数の撮像手段の位置を頂点とする多角形）の重心が、飛行体２１のうちの目標点に向かわせるべき部分（例えば、風車のブレードのレセプタの導通検査のためのプローブ）の位置となるように、飛行体２１上に搭載され得る。例えば、複数の撮像手段が３つである場合、３つの撮像手段２２１、２２２、２２３は、３つの撮像手段２２１、２２２、２２３の各位置を頂点とする三角形の重心が飛行体２１のプローブの位置となるような配列で飛行体２１上に搭載される。

【0080】

複数の撮像手段は各々、画像を取得するように構成されており、それらの画像には、少なくとも目標点が写っている。これにより、コンピュータシステム１００は、画像から、目標点を識別することができる。画像は、静止画であってもよいし、動画であってもよい。好ましくは、画像は、動画または連続する静止画であり得る。画像は、２次元画像であってもよいし、奥行き情報も含む３次元画像であってもよい。

【0081】

飛行体２１は、コンピュータシステム１００から送信される制御信号に従って、制御されることができる。例えば、コンピュータシステム１００から送信される制御信号に従って、複数のプロペラのそれぞれを駆動するように、制御されることができる。

【0082】

コンピュータシステム１００は、飛行体２１と通信することができる。コンピュータシステム１００は、飛行体２１と有線で通信してもよいし、無線で通信してもよい。コンピュータシステム１００は、複数の撮像手段によって撮像された複数の画像を飛行体２１から受信することができる。また、コンピュータシステム１００は、飛行体２１を制御するための制御信号を飛行体２１に送信することができる。

【0083】

なお、上述した例では、システム１０００が飛行体２１を備えることを説明したが、本発明は、これに限定されない。システム１０００が複数の撮像手段を備える限り、システム１０００は飛行体２１自体を備えなくてもよい。すなわち、システム１０００は、少なくとも、複数の撮像手段と、コンピュータシステム１００とを備えることができる。

【0084】

また、上述した例では、コンピュータシステム１００が飛行体２１の外部に記載されているが、本発明は、これに限定されない。コンピュータシステム１００は、飛行体２１の内部に搭載されていてもよい。この場合、飛行体２１は外部からの信号によることなく、自律的に飛行することが可能である。

【0085】

図６は、コンピュータシステム１００の構成の一例を示す。

【0086】

コンピュータシステム１００は、インターフェース部１１０と、プロセッサ部１２０と、メモリ１３０部とを備える。

【0087】

インターフェース部１１０は、コンピュータシステム１００の外部と情報のやり取りを行う。コンピュータシステム１００のプロセッサ部１２０は、インターフェース部１１０を介して、コンピュータシステム１００の外部から情報を受信することが可能であり、コンピュータシステム１００の外部に情報を送信することが可能である。インターフェース部１１０は、任意の形式で情報のやり取りを行うことができる。

【0088】

コンピュータシステム１００は、例えば、インターフェース部１１０を介して、被誘導体に情報を送信し、かつ／または、被誘導体から情報を受信することができる。コンピュータシステム１００は、例えば、インターフェース部１１０を介して、被誘導体から複数の画像を受信することができる。コンピュータシステム１００は、例えば、インターフェース部１１０を介して、被誘導体に制御信号を送信することができる。

【0089】

プロセッサ部１２０は、コンピュータシステム１００の処理を実行し、かつ、コンピュータシステム１００全体の動作を制御する。プロセッサ部１２０は、メモリ部１３０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータシステム１００を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部１２０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

【0090】

メモリ部１３０は、コンピュータシステム１００の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部１３０は、目標点に向かって被誘導体を誘導するための処理をプロセッサ部１２０に行わせるためのプログラム（例えば、後述する図８に示される処理を実現するプログラム）を格納してもよい。ここで、プログラムをどのようにしてメモリ部１３０に格納するかは問わない。例えば、プログラムは、メモリ部１３０にプリインストールされていてもよい。あるいは、プログラムは、任意のネットワークを経由してダウンロードされることによってメモリ部１３０にインストールされるようにしてもよい。あるいは、プログラムは、コンピュータ読み取り可能な有形記憶媒体に記憶され、これを読み取ることによってメモリ部１３０にインストールされるようにしてもよい。メモリ部１３０は、任意の記憶手段によって実装され得る。

【0091】

図７は、プロセッサ部１２０の構成の一例を示す。

【0092】

プロセッサ部１２０は、受信手段１２１と、識別手段１２２と、制御手段１２３とを備える。

【0093】

受信手段１２１は、被誘導体に搭載された複数の撮像手段によって取得された複数の画像を受信するように構成されている。受信手段１２１は、インターフェース部１１０を介してコンピュータシステム１００が複数の撮像手段から受信した複数の画像を受信することができる。

【0094】

受信手段１２１によって受信された複数の画像は、識別手段１２２に渡される。

【0095】

識別手段１２２は、受信された複数の画像の各々において、目標点を識別するように構成されている。具体的には、複数の画像が、例えば、（第１の撮像手段によって取得された）第１の画像と、（第２の撮像手段によって取得された）第２の画像と、（第３の撮像手段によって取得された）第３の画像とを含む場合、識別手段１２２は、第１の画像中の目標点を第１の目標点として識別し、第２の画像中の目標点を第２の目標点として識別し、第３の画像中の目標点を第３の目標点として識別することができる。

【0096】

識別手段１２２は、さらに、受信された複数の画像の各々において、被誘導体の一部上の点（すなわち、ターゲット点）を識別することができる。被誘導体の一部上の点は、例えば、目標点に接近すべき点であり得、上述した飛行体２１の例では、導通検査用のプローブの先端であり得る。なお、ターゲット点は、被誘導体上に実際に存在する必要はなく、被誘導体との相対位置が変わらない仮想的な点であってもよい。複数の画像が、例えば、（第１の撮像手段によって取得された）第１の画像と、（第２の撮像手段によって取得された）第２の画像と、（第３の撮像手段によって取得された）第３の画像とを含む場合、識別手段１２２は、第１の画像中のターゲット点を第１の点として識別し、第２の画像中のターゲット点を第２の点として識別し、第３の画像中のターゲット点を第３の点として識別することができる。なお、目標点が撮像された複数の画像と、ターゲット点が撮像された画像とは、同一の画像であってもよいし、別のときに撮像された別の画像であってもよい。好ましくは、ターゲット点が撮像された画像は、準備段階で撮像された画像であり、目標点が撮像された複数の画像は、実行段階で撮像された画像であり得る。

【0097】

識別手段１２２は、当該技術分野において現在公知または将来公知の任意の特徴点抽出技術を用いて、画像中の目標点またはターゲット点を識別することができる。

【0098】

一実施形態において、識別手段１２２は、例えば、
（Ａ）画像中の前景領域を抽出するか、または、背景領域を除去することと、
（Ｂ）最大領域を抽出し、領域を平滑化することと、
（Ｃ）所定の基準点から最遠位の点を識別することと
によって、画像中の目標点またはターゲット点を識別することができる。ここで、前景領域は、画像中の目標点が位置する物体の領域であり、背景領域は、画像中の当該物体が存在しない領域である。前景領域の抽出は、例えば、ＧｒａｂＣｕｔ（https://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf）等のアルゴリズムによって実施されることができる。

【0099】

領域の平滑化は、例えば、Ｃｌｏｓｉｎｇ処理（膨張－収縮－膨張を繰り返すこと）によって実施される。これにより、領域の欠けやノイズが取り除かれる。

【0100】

所定の基準点は、予め設定された点であり得る。例えば、風車のブレードの先端が目標点である場合、所定の基準点は、ブレードの付根方向の点であり得る。例えば、飛行体のプローブの先端が目標点である場合、所定の基準点は、プローブの付根方向の点であり得る。所定の基準点は、目標点を自動的に抽出できるよう適切に設定され得る。

【0101】

一実施形態において、識別手段１２２は、時間的に連続する画像（すなわち、動画の連続するフレームまたは連続する静止画）の各々から目標点を識別することができる。このとき、識別手段１２２は、連続する画像のうちの先行画像から作成されたテンプレートを用いて、連続する画像のうちの後続画像から目標点を識別することができる。

【0102】

識別手段１２２は、例えば、
（１）連続する画像のうちの先行画像に基づいて、目標点を識別するためのガイド情報を作成することと、
（２）ガイド情報を後続画像に付与し、付与されたガイド情報を用いて、後続画像中の目標点を識別することと
を行うことができる。ガイド情報は、画像中の前景領域および／または背景領域を示す情報である。時間的に連続する画像であれば、それらの画像中の前景領域および背景領域は大きく変化していないことが想定されるため、先行画像から作成されたガイド情報を後続画像にも適用することができると考えられる。

【0103】

そうはいっても、先行画像と後続画像とでは、多少のずれが存在するため、このずれを補正してガイド情報を後続画像に付与することが好ましい。

【0104】

識別手段１２２は、例えば、
（１）連続する画像のうちの先行画像に基づいて、目標点を識別するためのガイド情報を作成することと、
（２－１）先行画像から、目標点が位置する物体の領域を抽出することと、
（２－２）後続画像において、先行画像から抽出された領域を用いてテンプレートマッチングを行うことと、
（２－３）テンプレートマッチングの結果に基づいてガイド情報を補正し、補正されたガイド情報を前記後続画像に付与することと、
（２－４）付与されたガイド情報を用いて、後続画像中の目標点を識別することと
を行うことができる。

【0105】

目標点が位置する物体の領域は、例えば目標点がブレードの先端である場合は、ブレードの領域を意味する。物体の領域は、例えば、先行画像に対して既に行われた処理（例えば、前景領域抽出処理、または、背景領域除去処理）の結果を利用することができる。

【0106】

ガイド情報は、例えば、必ず背景領域である領域、必ず前景領域である領域、前景領域かもしれない領域、背景領域かもしれない領域を示す情報であり得る。必ず背景領域である領域は、例えば、先行画像の前景領域からａピクセル分膨張した領域Ａから、先行画像の前景領域からｂピクセル分膨張した領域Ｂを取り除いた領域（すなわち、Ａ∧￢Ｂ，ａ＞ｂ）であり得る。必ず前景領域である領域は、先行画像の前景領域を細線化（Ｔｈｉｎｎｉｎｇ）し、細線化された領域をｃピクセル分膨張した領域であり得る。前景領域かもしれない領域は、先行画像の前景領域からｄピクセル分収縮した領域であり得る。背景領域かもしれない領域は、上記３つの領域以外の領域であり得る。

【0107】

テンプレートマッチングは、テンプレートと同一または類似する部分を探索する手法である。目標点が位置する物体の領域は、先行画像および後続画像の両方に存在していると想定されるため、先行画像から抽出された目標点が位置する物体の領域をテンプレートとして、後続画像中の目標点が位置する物体の領域を探索することができる。

【0108】

後続画像中の目標点が位置する物体の領域が特定されると、その領域に付与され得るようにガイド情報を補正し、補正されたガイド情報を後続画像に付与することができる。後続画像にガイド情報が付与された後、例えば、ガイド情報を利用しながら、上述した（Ａ）～（Ｃ）の処理によって、後続画像中の目標点を識別することができる。

【0109】

ガイド情報を利用することで、後続画像中の前景領域および／または背景領域の識別が容易になり、ひいては、後続画像から目標点を識別する処理が簡略化され、処理時間および計算負荷を大幅に低減することができる。これは、略リアルタイムでの目標点の識別に寄与し、ひいては、目標点に基づく被誘導体の略リアルタイムでの誘導を可能にし得る。

【0110】

上述した手法は、目標点を識別することを対象に説明したが、同様の手法が、ターゲット点を識別するために利用され得ることが当然に理解される。

【0111】

制御手段１２３は、識別された目標点に基づいて、被誘導体が目標点に向かって移動するように被誘導体を制御するように構成されている。制御手段１２３は、被誘導体を制御するための制御信号を出力することで、被誘導体を制御することができる。制御信号は、例えば、インターフェース部１１０を介して被誘導体に送信され得る。

【0112】

制御手段１２３は、（１）複数の画像において生じる、識別された目標点に対する視差に基づいて、かつ／または、（２）複数の撮像手段の搭載位置と識別された目標点の位置とを用いた三角比に基づいて、被誘導体を制御することができる。

【0113】

一実施形態において、制御手段１２３は、複数の画像において生じる、識別された目標点に対する視差に基づいて、被誘導体を制御する。

【0114】

制御手段１２３は、例えば、図２Ａ～図２Ｂを参照して上述したように、複数の撮像手段によって取得された複数の画像を統合し、統合された画像において形成される三角形に基づいて、被誘導体を制御することができる。

【0115】

例えば、３つの撮像手段が被誘導体に搭載されている場合、識別手段１２２が（第１の撮像手段によって取得された）第１の画像中の目標点を第１の目標点として識別し、（第２の撮像手段によって取得された）第２の画像中の目標点を第２の目標点として識別し、（第３の撮像手段によって取得された）第３の画像中の目標点を第３の目標点として識別すると、制御手段１２３は、第１の画像と第２の画像と第３の画像とを統合し、第１の目標点と第２の目標点と第３の目標点とによって形成される三角形（図２Ｂにおける三角形Ｔ）に基づいて、被誘導体を制御することができる。

【0116】

制御手段１２３は、三角形の重心位置（図２Ｂにおける三角形Ｔの重心Ｃの位置）が所定の位置に到達するように、被誘導体を制御することができる。これにより、制御手段１２３は、被誘導体の水平方向（すなわち、図２Ａのｘ方向またはｙ方向）の位置を調節することができる。

【0117】

制御手段１２３は、三角形の面積（図２Ｂにおける三角形Ｔの面積）が所定の面積となるように、被誘導体を制御することができる。これにより、制御手段１２３は、被誘導体の垂直方向（すなわち、図２Ａのｚ方向）の位置を調節することができる。

【0118】

所定の位置は、予め設定された位置であってもよいし、後述するように、被誘導体の一部またはターゲット点に対する視差によって形成される三角形の重心の位置であってもよい。また、所定の面積は、予め設定された面積であってもよいし、後述するように、被誘導体の一部またはターゲット点に対する視差によって形成される三角形の面積であってもよい。

【0119】

一実施形態において、制御手段１２３は、複数の画像において生じる、識別された目標点に対する視差に加えて、識別されたターゲット点に対する視差に基づいて、被誘導体を制御することができる。

【0120】

制御手段１２３は、例えば、図３Ａ～図３Ｂを参照して上述したように、複数の撮像手段によって取得された複数の画像を統合し、統合された画像において目標点によって形成される第１の三角形と、ターゲット点によって形成される第２の三角形とに基づいて、被誘導体を制御することができる。

【0121】

例えば、３つの撮像手段が被誘導体に搭載されている場合、識別手段１２２は、（第１の撮像手段によって取得された）第１の画像中のターゲット点を第１の点として識別し、（第２の撮像手段によって取得された）第２の画像中のターゲット点を第２の点として識別し、（第３の撮像手段によって取得された）第３の画像中のターゲット点を第３の点として識別する。制御手段１２３は、第１の画像と第２の画像と第３の画像とを統合し、第１の点と第２の点と第３の点とによって形成される第２の三角形（図３Ｂにおける三角形Ｔ_０）を形成する。さらに、識別手段１２２が（第１の撮像手段によって取得された）第１の画像中の目標点を第１の目標点として識別し、（第２の撮像手段によって取得された）第２の画像中の目標点を第２の目標点として識別し、（第３の撮像手段によって取得された）第３の画像中の目標点を第３の目標点として識別する。制御手段１２３は、第１の画像と第２の画像と第３の画像とを統合し、第１の目標点と第２の目標点と第３の目標点とによって形成される第１の三角形（図３Ｂにおける三角形Ｔ）を形成する。制御手段１２２は、第１の三角形と第２の三角形とに基づいて、被誘導体を制御することができる。

【0122】

制御手段１２３は、第１の三角形の重心位置（図３Ｂにおける三角形Ｔの重心Ｃの位置）と、第２の三角形の重心位置（図３Ｂにおける三角形Ｔ_０の重心Ｃ_０の位置）との相対位置に基づいて、被誘導体を制御することができる。例えば、被誘導体の一部またはターゲット点を目標点に到達させることを目的とする誘導の場合、第１の三角形の重心位置（図３Ｂにおける三角形Ｔの重心Ｃの位置）が、第２の三角形の重心位置（図３Ｂにおける三角形Ｔ_０の重心Ｃ_０の位置）と重なるように、被誘導体を制御することができる。これにより、制御手段１２３は、被誘導体の水平方向（すなわち、図３Ａのｘ方向およびｙ方向）の位置が目標点の水平方向の位置と合うように、被誘導体の水平方向を調節することができる。

【0123】

制御手段１２３は、第１の三角形の面積（図３Ｂにおける三角形Ｔの面積）と、第２の三角形の面積（図３Ｂにおける三角形Ｔ_０の面積）との相対関係（面積比）に基づいて、被誘導体を制御することができる。例えば、被誘導体の一部またはターゲット点を目標点に到達させることを目的とする誘導の場合、第１の三角形の面積（図３Ｂにおける三角形Ｔの面積）が第２の三角形の面積（図３Ｂにおける三角形Ｔ_０の面積）と略同一になるように、被誘導体を制御することができる。ここで、「第１の三角形の面積が第２の三角形の面積と略同一になる」場合は、第１の三角形の面積が第２の三角形の面積の１００％となる場合のみならず、第１の三角形の面積が第２の三角形の面積の９０％以上になる場合を含み、例えば、用途に応じて、第１の三角形の面積が第２の三角形の面積の９５％以上になる場合であり得る。１００％である場合、被誘導体が物体に衝突するおそれがあるため、安全のために、例えば、９０～９５％に設定され得、用途に応じて、近接の具合を調節することが可能である。このように、制御手段１２３は、被誘導体の垂直方向（すなわち、図３Ａのｚ方向）の位置が目標点の垂直方向の位置と合うように、被誘導体の垂直方向を調節することができる。

【0124】

制御手段１２３は、好ましくは、まず、三角形の重心位置を調節するように被誘導体を水平方向に制御し、三角形の重心位置を調節が完了した後に、三角形の面積を調節するように被誘導体を垂直方向に制御し得る。このようにすることで、安全性を優先した制御を達成することができる。

【0125】

なお、ターゲット点が複数の撮像手段によって形成される幾何学図形の重心位置にない場合には、重心位置に代えて、基準位置を利用することができる。基準位置は、複数の撮像手段によって形成される幾何学図形に対するターゲット点の相対位置によって決定される。この場合は、制御手段１２３は、例えば、図３Ｃを参照して上述したように、被誘導体を制御することになる。

【0126】

制御手段１２３は、三角形の基準位置関係および／または面積比を調節することを目的とした制御を行うことで、簡単な制御で、被誘導体を誘導することができる。また、計算負荷も低いため、略リアルタイムの制御にも寄与し得る。

【0127】

一実施形態において、制御手段１２３は、複数の画像において生じる視差に基づくことに代えて、または、複数の画像において生じる視差に基づくことに加えて、複数の撮像手段の搭載位置と目標点の位置とを用いた三角比に基づいて、被誘導体を制御するようにしてもよい。

【0128】

制御手段１２３は、例えば、図４Ａ～図４Ｃを参照して上述したように、被誘導体上に搭載された第１の撮像手段の位置と、被誘導体上に搭載された第２の撮像手段の位置と、目標点の位置とを用いた三角比により、被誘導体と目標点との間の距離を計測し、計測された距離に基づいて被誘導体を制御することができる。

【0129】

例えば、識別手段１２２が（第１の撮像手段によって取得された）第１の画像中の目標点を第１の目標点として識別し、（第２の撮像手段によって取得された）第２の画像中の目標点を第２の目標点として識別すると、制御手段１２３は、第１の目標点のピクセル値Ｐ_ａと、第２の目標点のピクセル値Ｐ_ｂと、第１の撮像手段と第２の撮像手段との間の距離ｄ_ａｂとを用いて、目標点の座標（ｘ，ｙ，ｈ）、または、被誘導体から目標点までの高さ｜ｈ｜と、被誘導体と目標点との水平方向のずれ｜ｘ｜、｜ｙ｜とを算出し、｜ｈ｜、｜ｘ｜、｜ｙ｜の移動を達成するように、被誘導体を制御することになる。

【0130】

具体的には、ｘ－ｚ平面の投影から、（数４）を用いて、θ_ａ、θ_ｂを算出し、（数６）を用いて、ｄ_ac、ｄ_ｂｃを算出し、（数７）を用いて、ｈを算出し、（数８）を用いて、ｘを算出する。同様に、ｙ－ｚ平面の投影から、（数４）を用いて、θ_ａ、θ_ｂを算出し、（数６）を用いて、ｄ_ac、ｄ_ｂｃを算出し、（数７）を用いて、ｈを算出し、（数８）を用いて、ｙを算出する。

【0131】

なお、撮像手段が垂直方向に対して傾いているときには、ｏｆｆｓｅｔ分を考慮した（数９）を用いることができ、撮像手段が魚眼レンズを有するカメラであるときには、（数１０）を用いることができる。

【0132】

なお、上述したコンピュータシステム１００の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。コンピュータシステム１００は、特定のハードウェア構成には限定されない。プロセッサ部１２０をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。コンピュータシステム１００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

【0133】

（３．目標点に向かって被誘導体を誘導するためのシステムにおける処理）
図８は、目標点に向かって被誘導体を誘導するためのシステム１０００において行われる手順８００の一例を示すフローチャートである。

【0134】

ステップＳ８０１において、被誘導体に搭載された複数の撮像手段が、複数の画像を取得する。複数の撮像手段は各々、画像を取得するように構成されており、それらの画像は、少なくとも目標点が写っている。これにより、後続のステップにおいて、コンピュータシステム１００が、画像から、目標点を識別することができる。

【0135】

一例として、被誘導体に３つの撮像手段が搭載されている場合、第１の撮像手段によって第１の画像が取得され、第２の撮像手段によって第２の画像が取得され、第３の撮像手段によって第３の画像が取得される。

【0136】

取得された複数の画像は、コンピュータシステム１００に提供される。後続のステップＳ８０２～ステップＳ８０４は、コンピュータシステム１００のプロセッサ部１２０において実行される。

【0137】

ステップＳ８０２において、プロセッサ部１２０の受信手段１２１が、ステップＳ８０１で取得されてコンピュータシステム１００に提供された複数の画像を受信する。

【0138】

上述した例において、受信手段１２１は、第１の撮像手段によって取得された第１の画像と、第２の撮像手段によって取得された第２の画像と、第３の撮像手段によって取得された第３の画像を受信する。

【0139】

ステップＳ８０３は、プロセッサ部１２０の識別手段１２２が、ステップＳ８０２で受信された複数の画像の各々において目標点を識別する。

【0140】

識別手段１２２は、例えば、前景領域を抽出するか、または、背景領域を除去することによって抽出された領域から目標点を識別することができる。このとき、識別手段１２２は、画像中の前景領域および／または背景領域を示す情報であるガイド情報を利用することができ、これにより、処理時間および計算負荷を大幅に低減することができる。

【0141】

上述した例では、識別手段１２２は、第１の画像中の目標点を第１の目標点として識別し、第２の画像中の目標点を第２の目標点として識別し、第３の画像中の目標点を第３の目標点として識別する。

【0142】

ステップＳ８０３において、識別手段１２２は、目標点に加えて、ターゲット点も識別することができる。識別手段１２２は、目標点を識別する処理と同様の処理で、ターゲット点を識別することができる。

【0143】

上述した例では、識別手段１２２は、第１の画像中のターゲット点を第１の点として識別し、第２の画像中のターゲット点を第２の点として識別し、第３の画像中のターゲット点を第３の点として識別する。このとき、第１の画像、第２の画像、および第３の画像は、目標点を識別するために用いられた画像であってもよいし、当該画像とは別のタイミングで撮像された画像であってもよい。

【0144】

ステップＳ８０４において、プロセッサ部１２０の制御手段１２３が、ステップＳ８０３で識別された目標点に基づいて、被誘導体が目標点に向かって移動するように、被誘導体を制御する。制御手段１２３は、（１）複数の画像において生じる、識別された目標点に対する視差に基づいて、かつ／または、（２）複数の撮像手段の搭載位置と識別された目標点の位置とを用いた三角比に基づいて、被誘導体を制御することができる。

【0145】

一実施形態において、制御手段１２３は、例えば、図２Ａ～図２Ｂを参照して上述したように、複数の撮像手段によって取得された複数の画像を統合し、統合された画像において形成される三角形に基づいて、被誘導体を制御することができる。

【0146】

上述した例では、制御手段１２３は、第１の画像と第２の画像と第３の画像とを統合し、第１の目標点と第２の目標点と第３の目標点とによって形成される三角形（図２Ｂにおける三角形Ｔ）に基づいて、被誘導体を制御することができる。あるいは、制御手段１２３は、第１の画像と第２の画像と第３の画像とを統合し、第１の目標点と第２の目標点と第３の目標点とによって形成される第１の三角形（図３Ｂにおける三角形Ｔ）と、第１の点と第２の点と第３の点とによって形成される第２の三角形（図３Ｂにおける三角形Ｔ_０）とに基づいて、被誘導体を制御することができる。このとき、三角形の重心位置（もしくは相対位置）および／または面積（もしくは面積比）が利用され得る。

【0147】

一実施形態において、制御手段１２３は、例えば、図４Ａ～図４Ｂを参照して上述したように、被誘導体上に搭載された第１の撮像手段の位置と、被誘導体上に搭載された第２の撮像手段の位置と、目標点の位置とを用いた三角比により、被誘導体と目標点との間の距離を計測し、計測された距離に基づいて被誘導体を制御することができる。

【0148】

このようにシステム１０００による手順８００では、単純な制御で被誘導体を誘導することができる。また、複数の撮像手段によって取得された画像間の見え方の違い（視差）を敢えて利用することで、ステレオ技術を利用することでは困難であったブレード等の細長い形状の物体へのアプローチを容易に行うこともできる。

【0149】

図８を参照して上述した例では、特定の順序で各ステップが実行されることを説明したが、示される順序は一例であり、各ステップが実行される順序は、これに限定されない。論理的に可能な任意の順序で各ステップが実行されることができる。

【0150】

図８を参照して上述した例では、図８に示されるステップＳ８０２～ステップＳ８０４の処理は、コンピュータシステム１００において、プロセッサ部１２０とメモリ部１３０に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図８に示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。

【0151】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【産業上の利用可能性】

【0152】

本発明は、簡略化された制御で被誘導体を誘導することを可能にするシステム等を提供するものとして有用である。

【符号の説明】

【0153】

１０ 風車
１１ ブレード
２０、２１ ドローン
１００ コンピュータシステム
１１０ インターフェース部
１２０ プロセッサ部１２０
１３０ メモリ部
１０００ システム

【要約】

【課題】簡略化された制御で被誘導体を誘導することを可能にするシステム等を提供すること
【解決手段】本発明は、目標点に向かって被誘導体を誘導するためのシステムを提供し、本システムは、前記被誘導体上に搭載された複数の撮像手段と、前記複数の撮像手段によって取得された複数の画像の各々において前記目標点を識別する識別手段と、前記識別された目標点に基づいて、前記被誘導体が前記目標点に向かって移動するように前記被誘導体を制御する制御手段とを備える。
【選択図】図１

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】