特許 7300864 移動式目視検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-22

(45)【発行日】2023-06-30

(54)【発明の名称】移動式目視検査システム

(51)【国際特許分類】

   G01B 11/26 20060101AFI20230623BHJP

   B64F 5/00 20170101ALI20230623BHJP

   B64F 1/36 20170101ALI20230623BHJP

【ＦＩ】

G01B11/26 H

B64F5/00

B64F1/36

【請求項の数】 9

【外国語出願】

(21)【出願番号】P 2019061166

(22)【出願日】2019-03-27

(65)【公開番号】P2019219378

(43)【公開日】2019-12-26

【審査請求日】2022-03-18

(31)【優先権主張番号】15/945,640

(32)【優先日】2018-04-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】トロイ， ジェームズ ジェー．

(72)【発明者】

【氏名】レア， スコット ダブリュ．

(72)【発明者】

【氏名】ライト， ダニエル ジェイ．

(72)【発明者】

【氏名】ジョージソン， ゲイリー イー．

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２６４２６２（ＵＳ，Ａ１）

【文献】特開２０１６－０１６８６０（ＪＰ，Ａ）

【文献】特開平０８－０３５８１６（ＪＰ，Ａ）

【文献】実開平０７－０２４５８５（ＪＰ，Ｕ）

【文献】米国特許出願公開第２０１５／０１１６４８１（ＵＳ，Ａ１）

【文献】特開２０１２－１４５３８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｂ６４Ｆ １／３６、５／００

(57)【特許請求の範囲】

【請求項1】

構造物（１２２）検査用の地上設置型目視検査システム（５０）であって、
移動ベース（１０２）、
前記移動ベース（１０２）に連結された作動可能アーム（１０４）であって、三次元空間内で位置決め可能な作動可能アーム（１０４）、及び
前記作動可能アーム（１０４）に連結されたエンドエフェクタ（１０６）であって、前記構造物（１２２）の画像（１２６）を撮像するように構成されたカメラ（１１０）を備えるエンドエフェクタ（１０６）
を備える、地上設置型目視検査装置（１００）と、
制御システム（１５０）であって、基準位置（１２５）に対する前記カメラ（１１０）の位置情報（１２８）を決定し、前記位置情報（１２８）を前記画像（１２６）と関連付けるように構成された制御システム（１５０）と、
を備え、
前記制御システム（１５０）が、前記エンドエフェクタ（１０６）に連結された複数のレーザ式レンジファインダー（１４０）を備える位置合わせシステム（１７０）をさらに備える、地上設置型目視検査システム（５０）。

【請求項2】

前記制御システム（１５０）が、
前記基準位置（１２５）に対する前記移動ベース（１０２）の変換行列を計算することで、ベースの位置（１６２）を取得することと、
前記基準位置（１２５）に対する前記作動可能アーム（１０４）の変換行列を計算することで、アームの位置（１６４）を取得することと、
前記ベースの位置（１６２）と前記アームの位置（１６４）と前記作動可能アーム（１０４）の形状寸法とに基づいて、エンドエフェクタの位置（１６６）を計算することと、
によって、前記基準位置（１２５）に対する前記カメラ（１１０）の位置を決定することで、前記位置情報（１２８）を決定するようにさらに構成されている、請求項１に記載の地上設置型目視検査システム（５０）。

【請求項3】

前記位置合わせシステム（１７０）が、前記複数のレーザ式レンジファインダー（１４０）のデータに基づいて、前記構造物（１２２）に対する前記カメラ（１１０）の配向を決定するように構成されている、請求項１又は２に記載の地上設置型目視検査システム（５０）。

【請求項4】

前記制御システム（１５０）が、前記画像（１２６）内に前記位置情報（１２８）を埋め込むように構成されている、請求項１から３のいずれか一項に記載の地上設置型目視検査システム（５０）。

【請求項5】

前記位置情報（１２８）が、前記構造物（１２２）上の基準位置（１２５）に基づく、請求項１から４のいずれか一項に記載の地上設置型目視検査システム（５０）。

【請求項6】

前記位置合わせシステム（１７０）が、前記複数のレーザ式レンジファインダー（１４０）のデータに基づいて、前記構造物（１２２）に対する前記カメラ（１１０）の配向と距離を決定するように構成されており、
前記制御システム（１５０）が、配向情報（１７４）と距離情報（１７２）を前記画像（１２６）に埋め込むようにさらに構成されており、
前記制御システム（１５０）が、前記位置情報（１２８）を前記画像（１２６）内に埋め込むようにさらに構成されている、
請求項１から５のいずれか一項に記載の地上設置型目視検査システム（５０）。

【請求項7】

前記位置情報（１２８）が、基準ポジションからの並進変位と、前記基準位置（１２５）に対する前記移動ベース（１０２）の基準配向からの回転変位とを含む、請求項６に記載の地上設置型目視検査システム（５０）。

【請求項8】

地上設置型目視検査装置（１００）であって、
移動ベース（１０２）、
前記移動ベース（１０２）に連結された作動可能アーム（１０４）であって、三次元空間内で位置決め可能な作動可能アーム（１０４）、
前記作動可能アーム（１０４）に連結されたエンドエフェクタ（１０６）であって、構造物（１２２）の画像（１２６）を撮像するように構成されたカメラ（１１０）を備えるエンドエフェクタ（１０６）、及び
制御システム（１５０）であって、基準位置（１２５）に対する前記カメラ（１１０）の位置情報（１２８）を決定するように構成された制御システム（１５０）、
を備え、
前記制御システム（１５０）が、前記エンドエフェクタ（１０６）に連結された複数のレーザ式レンジファインダー（１４０）を備える位置合わせシステム（１７０）をさらに備える、地上設置型目視検査装置（１００）。

【請求項9】

地上設置型目視検査装置（１００）を構造物（１２２）と位置合わせすること（６０２）であって、前記地上設置型目視検査装置（１００）が、移動ベース（１０２）、前記移動ベース（１０２）に連結された作動可能アーム（１０４）、前記作動可能アーム（１０４）に連結されたエンドエフェクタ（１０６）であって、カメラ（１１０）を備えるエンドエフェクタ（１０６）、及び前記エンドエフェクタ（１０６）に連結された複数のレーザ式レンジファインダー（１４０）を備える、地上設置型目視検査装置（１００）を位置合わせすること（６０２）と、
前記構造物（１２２）の画像（１２６）を前記カメラ（１１０）で撮像すること（６０４）と、
基準位置（１２５）に対するベースの位置（１６２）、アームの位置（１６４）、及びエンドエフェクタの位置（１６６）を取得することで、前記基準位置（１２５）に対する前記カメラ（１１０）の位置情報（１２８）を決定すること（６０６）と、
前記位置情報（１２８）を前記画像（１２６）と関連付けること（６０８）と、
前記複数のレーザ式レンジファインダー（１４０）のデータに基づいて、前記構造物（１２２）に対する前記カメラ（１１０）の配向と距離を決定することと、
を含む方法（６００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して目視検査システムに関し、具体的には、航空機といった大型の構造物の検査用の、地上設置型移動式目視検査システムに関する。

【背景技術】

【0002】

航空機及び他の移動用ビークルは、時として摩耗に関する検査を必要とする。検査の一類型は、目視検査である。大型のビークルにとっては、目視検査は、遂行が困難であり得る。多数の到達困難なエリアに関しては、カメラを航空機に近接して飛ばすために、ドローンまたは他の無人航空機が使用される。しかし、ドローンは振動する部品を有する上、風や降水といった気象条件によって、悪影響を受ける場合がある。ドローンによる航空機への衝撃を防止するため、ドローンは、航空機から安全な距離を取って飛ばされる。その結果、航空機の写真または映像は、理想とはいえないものになる。

【発明の概要】

【0003】

本出願の主題は、当該技術分野の現状に応じて、具体的には、現在利用可能な技法によってまだ完全には解決されていない、従来型の設備に関連した問題及び欠点に応じて、開発されたものである。したがって、本出願の主題は、上記の先行技術による技法の欠点のうちの少なくとも一部を克服する、システム、装置、及び方法の実施形態を提供するために開発されてきたものである。例えば、一実施形態によると、安定し且つ正確に位置決めされた写真と映像の撮像を容易にする、地上設置型移動式目視検査システムが開示される。

【0004】

本明細書で開示されているのは、地上設置型目視検査装置と制御システムとを含む、地上設置型目視検査システムである。地上設置型目視検査装置は、移動ベース、移動ベースに連結された作動可能アーム、及び作動可能アームに連結されたエフェクタを含む。作動可能アームは、三次元空間で位置決め可能である。エンドエフェクタは、構造物の画像を撮像するように構成されたカメラを含む。制御システムは、基準位置に対するカメラの位置情報を決定し、この位置情報を画像と関連付けるように構成されている。この段落中の上記の主題は、本開示の実施例１を特徴付けるものである。

【0005】

制御システムは、基準位置に対する移動ベースの変換行列を計算することで、ベースの位置を取得することよって、基準位置に対するカメラの位置を決定すること、基準位置に対する作動可能アームの変換行列を計算することで、アームの位置を取得すること、及び移動ベースの変換行列と作動可能アームの変換行列とで変換行列の乗算を実施して、基準位置に対するエンドエフェクタの変換行列を計算することによって、位置情報を決定するように構成されている。この段落の上記の記載は本開示の実施例２を特徴付けており、実施例２は、上記の実施例１による主題も含んでいる。

【0006】

制御システムは、エンドエフェクタに連結された複数のレーザ式レンジファインダーを含む位置合わせシステムを、さらに含んでいる。この段落の上記の記載は本開示の例３を特徴付けており、実施例３は、上記の実施例１から実施例２のいずれか１つによる主題も含んでいる。

【0007】

位置合わせシステムは、複数のレーザ式レンジファインダーのデータに基づいて、構造物に対するカメラの配向を決定するように構成されている。この段落の上記の記載は本開示の実施例４を特徴付けており、実施例４は、上記の実施例３による主題も含んでいる。

【0008】

制御システムは、画像内にカメラの配向情報を埋め込むように、さらに構成されている。この段落中の上記の主題は、本開示の実施例５を特徴付けており、実施例５は、上記の実施例１から実施例４のいずれか１つによる主題も含んでいる。

【0009】

位置合わせシステムは、複数のレーザ式レンジファインダーのデータに基づいて、構造物に対するカメラの距離を決定するように構成されている。この段落中の上記の主題は、本開示の実施例６を特徴付けており、実施例６は、上記の実施例３から実施例５のいずれか１つによる主題も含んでいる。

【0010】

制御システムは、画像内に距離情報を埋め込むように、さらに構成されている。この段落中の上記の主題は、本開示の実施例７を特徴付けており、実施例７は、上記の実施例１から実施例６のいずれか１つによる主題も含んでいる。

【0011】

制御システムは、画像内に位置情報を埋め込むように構成されている。この段落中の上記の主題は、本開示の実施例８を特徴付けており、実施例８は、上記の実施例１から実施例７のいずれか１つによる主題も含んでいる。

【0012】

位置情報は、地上設置型目視検査装置のセンサからのデータに基づいている。この段落中の上記の主題は、本開示の実施例９を特徴付けており、実施例９は、上記の実施例１から実施例８のいずれか１つによる主題も含んでいる。

【0013】

位置情報は、構造物上の基準ポジションに基づく。この段落中の上記の主題は、本開示の実施例１０を特徴付けており、実施例１０は、上記の実施例１から実施例９のいずれか１つによる主題も含んでいる。

【0014】

移動ベースは、手動で操作可能なカートである。この段落中の上記の主題は、本開示の実施例１１を特徴付けており、実施例１１は、上記の実施例１から実施例１０のいずれか１つによる主題も含んでいる。

【0015】

システムは、エンドエフェクタに連結された複数のレーザ式レンジファインダーを含む位置合わせシステムをさらに含んでおり、位置合わせシステムは、複数のレーザ式レンジファインダーのデータに基づいて、構造物に対するカメラの配向及び距離を決定するように構成され、制御システムは、配向情報及び距離情報を画像に埋め込むようにさらに構成されている。制御システムは、画像内に位置情報を埋め込むように構成されている。この段落中の上記の主題は、本開示の実施例１２を特徴付けており、実施例１２は、上記の実施例１から実施例１１のいずれか１つによる主題も含んでいる。

【0016】

位置情報は、基準ポジションからの移動ベースの並進変位と、基準位置に対する、移動ベースの基準配向からの回転変位とを含む。この段落中の上記の主題は、本開示の実施例１３を特徴付けており、実施例１３は、上記の実施例１から実施例１２のいずれか１つによる主題も含んでいる。

【0017】

作動可能アームは、インデックスレールを含む。この段落中の上記の主題は、本開示の実施例１４を特徴付けており、実施例１４は、上記の実施例１から実施例１３のいずれか１つによる主題もまた含んでいる。

【0018】

本明細書で同様に開示されているのは、地上設置型目視検査装置である。地上設置型目視検査装置は、移動ベース、移動ベースに連結された作動可能アーム、作動可能アームに連結されたエフェクタ、及び制御システムを含む。作動可能アームは、三次元空間内で位置決め可能である。エンドエフェクタは、構造物の画像を撮像するように構成されたカメラを含む。制御システムは、基準位置に対するカメラの位置情報を決定するように構成されている。この段落中の上記の主題は、本開示の実施例１５を特徴付けるものである。

【0019】

地上設置型目視検査装置は、エンドエフェクタに連結された複数のレーザ式レンジファインダーをさらに含んでいる。この段落の上記の記載は本開示の実施例１６を特徴付けており、実施例１６は、上記の実施例１５による主題も含んでいる。

【0020】

本明細書では、方法も開示される。方法は、地上設置型目視検査装置を構造物に対して位置合わせすることを含み、地上設置型目視検査装置は、移動ベースと、移動ベースに連結された作動可能アームと、作動可動アームに連結されたエンドエフェクタとを含み、エンドエフェクタは、カメラを含んでいる。方法は、構造物の画像をカメラで撮像することと、基準位置に対するベースの位置、アームの位置、及びエンドエフェクタの位置を取得することによって、基準位置に対するカメラの位置情報を決定することも、また含む。方法は、位置情報を画像と関連付けすることもまた含む。この段落中の上記の主題は、本開示の実施例１７を特徴付けるものである。

【0021】

方法は、センサからのデータを受信することと、受信したデータに基づいて、構造物に対するカメラの配向または距離を自動的に調整することとをさらに含む。この段落の上記の記載は本開示の実施例１８を特徴付けており、実施例１８は、上記の実施例１７による主題も含んでいる。

【0022】

方法は、基準位置に対する移動ベースの変換行列を計算することで、ベースの位置を取得することと、基準位置に対する作動可能アームの変換行列を計算することで、アームの位置を取得することと、移動ベースの変換行列と作動可能アームの変換行列とで変換行列の乗算を実施して、基準位置に対するエンドエフェクタの変換行列を計算することと、をさらに含む。この段落中の上記の主題は、本開示の実施例１９を特徴付けており、実施例１９は、上記の実施例１７から実施例１８のいずれか１つによる主題もまた含んでいる。

【0023】

方法は、構造物に対するカメラの距離情報及び配向情報を決定することと、距離情報及び配向情報を画像と関連付けることとをさらに含む。この段落中の上記の主題は、本開示の実施例２０を特徴付けており、実施例２０は、上記の実施例１７から例１９のいずれか１つによる主題もまた含んでいる。

【0024】

説明されている本開示の主題の特徴、構造、利点、及び／または特性は、１つ以上の実施形態及び／または実装形態において、任意の好適な態様で組み合わされ得る。以下の説明では、本開示の主題の実施形態の十分な理解を促すために、数々の具体的な詳細事項が提示される。当業者は、特定の実施形態及び／または実装形態の具体的な特徴、詳細事項、構成要素、材料、及び／または方法のうちの１つ以上がなくとも本開示の主題が実践され得ることを、認識しているであろう。他の例では、全ての実施形態または実装形態に存在するわけではない追加の特徴及び利点が、ある種の実施形態及び／または実装形態において認められ得る。さらに、ある例では、本開示の主題の態様を不明瞭にしないよう、周知の構造、材料、または動作は、図示されていないか、または詳細に説明されていない。本開示の主題の特徴及び利点は、以下の説明及び添付の特許請求の範囲から、より一層明らかになるか、または、以下に明記されている本主題を実践することによって、理解され得る。

【0025】

本主題の利点がより容易に理解され得るように、上記で概説した本主題のより詳細な説明が、添付の図面に示す具体的な実施形態を参照することによって提供される。これらの図面が、本主題の典型的な実施形態のみを示しており、したがって、本主題の範囲を限定するとみなされるべきではないことを理解した上で、以下の図面を使用することによって、さらなる具体性及び詳細と共に、本主題を説明し解説する。

【図面の簡単な説明】

【0026】

【図1】本開示の１つ以上の実施形態による、地上設置型目視検査装置の側面図である。

【図2】本開示の１つ以上の実施形態による、航空機に対して検査をするポジションにある、地上設置型目視検査装置の側面図である。

【図3A】本開示の１つ以上の実施形態による、位置ずれした配向にあるカメラ付きのエンドエフェクタの斜視図である。

【図3B】本開示の１つ以上の実施形態による、位置合わせされた配向にあるカメラ付きのエンドエフェクタの斜視図である。

【図4】本開示の１つ以上の実施形態による、航空機を検査中の地上設置型目視検査装置の側面図である。

【図5】本開示の１つ以上の実施形態による、地上設置型目視検査システムのブロック図である。

【図6】本開示の１つ以上の実施形態による方法の概略フロー図である。

【発明を実施するための形態】

【0027】

この明細書全体を通じて言及されている「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ／ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、または類似の文言は、この実施形態に関連して説明されている特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。この明細書全体を通じて出てくる「一実施形態では（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ／ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、及び類似の文言は、全て同一の実施形態を指していることもあるが、必ずしもそうとは限らない。同様に、「実装形態」という語の使用は、本開示の１つ以上の実施形態に関連して説明されている特定の特徴、構造、または特性を有する一実装形態を意味するが、別様の相関が明示されていない限り、一実装形態は、１つ以上の実施形態に関連付けられていてよい。

【0028】

図１を参照すると、地上設置型目視検査装置１００の一実施形態が示されている。地上設置型目視検査装置１００は、構造物の高解像度画像を撮像し、撮像した画像を関連する情報と関連付けることによって、ビークル（例えば図２及び図４に示す航空機１２２）といった構造物を目視で検査するために使用される。例えば、航空機は時として、摩耗に関する目視検査を必要とする。多数の航空機のサイズ及び形状によって、全ての必要な表面エリアを目視することが困難になっている。到達困難なエリアを目視で検査するという問題への１つの解決法は、ドローンまたは無人航空機（ＵＡＶ）を利用し、航空機に近接して飛ばして航空機の画像を撮像することである。

【0029】

ＵＡＶから撮像された画像は、時として不鮮明である。これは、ＵＡＶの振動か、またはＵＡＶの操作を困難にする気象条件によって生じ得る。ＵＡＶを航空機上に着陸させることによって、そうした懸念が低減する助けとなり得る。しかし残念ながら、ＵＡＶが着陸できるのは、航空機のあるエリア上のみである。さらに、ＵＡＶを、航空機上に着陸させるのに十分なほど航空機に近接して飛ばすことは、航空機に損傷を生じさせるリスクを増大させる。これらの理由及び他の理由によって、地上設置型目視検査装置１００及び対応するシステムが開示される。

【0030】

地上設置型目視検査装置１００は、移動ベース１０２を含む。移動ベース１０２は、地上設置型目視検査装置１００の残りの部分を操作及び支持することが可能な、カートである。ある実施形態では、移動ベース１０２は、手動で操作されてよい。他の実施形態では、移動ベース１０２は、電動で操作されてよい。移動ベース１０２は、ホロノミック運動を可能にする、車輪１０３を含む。即ち、移動ベース１０２は、回転しながらと同時に、あらゆる並進方向に動き得る。したがって、移動ベース１０２を、検査すべき構造物の付近の任意の位置に動かすことが可能である。

【0031】

地上設置型目視検査装置１００は、作動可能アーム１０４を含む。作動可能アーム１０４は、三次元内で位置決め可能な機械式アームである。示されている実施形態では、作動可能アーム１０４は、垂直アクチュエータ１０８と水平アクチュエータ１０９を含む。図１を参照すると、垂直アクチュエータ１０８は、矢印１３２によって示される垂直方向の動きを可能にしている。即ち、垂直アクチュエータ１０８は、所定の範囲の高さ内における、任意の高さへ作動するように構成されている。ある実施形態では、高さの範囲は、構造物の高さよりも広範囲な任意の高さである。それによって、作動可能アーム１０４が、構造物のあらゆる表面の付近にカメラ１１０を配置することが可能になっている。垂直アクチュエータ１０８は、任意のタイプのリニアアクチュエータ、伸縮式ポール、ジッパーマスト、インデックスレール、油圧ピストンもしくは空気圧ピストン、電気モータ、または他の同様の作動可能な装置であってよい。ある実施形態では、システムは、ケーブルといった人力の機構を用いて、手動で動かされ得る。様々な構造物のどれもが装置１００によって検査され得るが、以下では、装置１００の特徴及び機能は、航空機１２２に関連して説明される。

【0032】

同様に、水平アクチュエータ１０９は、矢印１３８によって示される水平方向の動きを可能にしている。即ち、水平アクチュエータ１０９は、所定の範囲の長さ内における、任意の長さへ作動するように構成されている。ある実施形態では、長さの範囲は、航空機１２２の胴体の幅の半分よりも広範囲な任意の長さである。それによって、作動可能アーム１０４が、航空機１２２のあらゆる表面の付近にカメラ１１０を配置することが可能になっている。水平アクチュエータ１０９は、任意のタイプのリニアアクチュエータ、伸縮式ポール、ジッパーマスト、インデックスレール、油圧ピストンもしくは空気圧ピストン、電気モータ、または他の同様の作動可能な装置であってよい。

【0033】

移動ベース１０２の動き、並びに垂直アクチュエータ１０８及び水平アクチュエータ１０９のそれぞれ垂直変位及び水平変位によって、作動可能アーム１０４に連結されたエンドエフェクタ１０６は、任意の三次元位置に位置決め可能である。上記の動きに加えて、作動可能アーム１０４は、（矢印１３４で表されている）移動ベース１０２に対する垂直アクチュエータ１０８の回転、（矢印１３６で表されている）垂直アクチュエータ１０８に対する水平アクチュエータ１０９の回転、及び（矢印１３９で表されている）水平アクチュエータ１０９に対するエンドエフェクタ１０６の回転といった、さらなる運動度（ｄｅｇｒｅｅｓ ｏｆ ｍｏｔｉｏｎ）を含んでいてよい。

【0034】

作動可能アーム１０４は、リニアアクチュエータの組み合わせとして示され、説明されているが、作動可能アーム１０４は、限定しないが、ジブ・クレーン、伸縮式クレーン、ロボットアーム、またはリニアアクチュエータと回転アクチュエータの組み合わせなどといった、エンドエフェクタ１０６を三次元空間内に位置決めすることを可能にする、他の構成を備えていてよい。

【0035】

作動可能アーム１０４の端部に、エンドエフェクタ１０６が連結されている。エンドエフェクタ１０６は、矢印１３９で示されるように、水平アクチュエータ１０９に対して回転可能である。エンドエフェクタ１０６の回転によって、エンドエフェクタ１０６を三次元空間内において位置決めすることが可能（例えば配置可能及び配向可能）になっている。

【0036】

エンドエフェクタ１０６はカメラ１１０を含む。カメラ１１０は、高解像度の映像または静止画像を撮像するように構成されていてよい。エンドエフェクタ１０６が三次元空間内で位置決め可能であるため、カメラ１１０のポジション及び配向は、既知である。こうした情報は、カメラ１１０の撮像された画像に関連付けることが可能であり、それによって、航空機１２２に対するカメラの位置及び航空機１２２に対するカメラ１１０の配向を知ることができる。

【0037】

カメラ１１０は、地上の移動ベース１０２に連結されているため、ＵＡＶに関連付けられているカメラよりも少ない振動で、高解像度の画像を撮像し得る。加えて、カメラ１１０は、これもまたＵＡＶに関連付けられたカメラでは起こり得るように不注意によって航空機１２２の表面にぶつかることなく、航空機１２２の表面付近に配置されてよい。

【0038】

地上設置型目視検査装置１００は、さらに制御システム１５０に関連付けられていてよい。制御システム１５０は、ユーザが、移動ベース１０２、作動可能アーム１０４、エンドエフェクタ１０６、及びカメラ１１０の動きを制御することを可能にするように構成されていてよい。ある実施形態では、制御システム１５０は、コンピュータ端子１０１を介して操作される。コンピュータ端子１０１は、限定しないが、移動ベース１０２の位置、移動ベースの配向、垂直アクチュエータ１０８の高さ、水平アクチュエータ１０９の長さ、エンドエフェクタ１０６の配向を含む、様々な測定値をユーザに提供するように構成されていてよい。他の実施形態では、制御システム１５０は、地上設置型目視検査装置１００を遠隔制御する。

【0039】

制御システム１５０は、航空機１２２といった大型構造物上の位置情報１２８を、撮像された構造物の画像１２６と関連付けるように構成されている。以下で説明するように、航空機１２２の検査について特に言及する。しかし、装置１００及び制御システム１５０が、ビークル、船舶、ロケットなどといった様々な他の大型構造物のうちの任意のものを検査するのに使用され得ることは、認識されている。ある実施形態では、制御システム１５０は、航空機１２２上の基準位置１２５に対するカメラ１１０の位置を決定するようにさらに構成されている。カメラ１１０の位置は、地上設置型目視検査装置１００の動きを、例えば、基準位置１２５に対するカメラ１１０の動きを光学的に測定すること（例えば、位置推定とマッピングの同時実行（ＳＬＡＭ）を通じて）や、または本明細書に記載の他の測定によって、決定され得る。位置情報１２８は、移動ベース１０２の基準ポジションからの水平変位と、移動ベース１０２の基準位置１２５からの回転変位とを含んでいてよい。基準位置１２５は、地上設置型目視検査装置１００の基準ポジション、及び／または基準配向を含んでいてよい。

【0040】

図２を参照すると、地上設置型目視検査装置１００が、航空機１２２を検査しているところが示されている。地上設置型目視検査装置１００は、航空機１２２に対して移動することが可能である。地上設置型目視検査装置１００の配置は、（出発位置といった）地上設置型目視検査装置１００の基準位置１２５に対して測定されてよい。例えば、地上設置型目視検査装置１００は、航空機１２２のノーズ１２３に配置及び配向されていてよい。地上設置型目視検査装置１００が航空機１２５に対して移動するので、測定は、基準位置１２５に対するものとなる。即ち、移動ベース１０２の変位及び配向は、基準位置１２５に対して測定される。加えて、垂直アクチュエータ１０８の垂直変位、及び水平アクチュエータ１０９の水平変位、並びに垂直アクチュエータ１０８に対する水平アクチュエータ１０９の回転が、測定される。さらに、基準位置１２５に対するエンドエフェクタ１０６の配向が測定される。これらの測定によって、撮像された画像の、航空機１２２上の位置を知ることが可能になる。クローズアップの高解像度画像の場合、画像それ自体は、その画像が航空機１２２上のどこで撮像されたかを表す視覚的な基準点を何も有していない可能性が高い。

【0041】

基準位置１２５は、航空機１２２のノーズ１２３に関連するものであってよい。基準位置１２５は、翼、窓、エンジン、安定板、フラップ、着陸装置、または航空機１２２の他の特定可能な構成要素もしくは部品といった、航空機１２２上の任意の他の特定可能な位置に関連していてよい。

【0042】

地上設置型目視検査装置１００は、地上設置型目視検査装置１００の構成要素の動きを測定するように構成された、様々なセンサまたはエンコーダを含んでいてよい。例えば、移動ベース１０２は、移動ベース１０２の変位及び回転を感知するセンサを含んでいてよい。ある実装形態では、移動ベース１０２の変位及び回転は、（例えば走行距離測定によって）車輪１０３の動きを測定するように構成された、差動走行距離測定システムによって測定される。別の実装形態では、移動ベース１０２の動きは、全地球測位システム（ＧＰＳ）によって測定される。別の実装形態では、移動ベース１０２の動きを測定するのに、エンコーダ及びセンサが使用される。地上設置型目視検査装置１００は、動きを測定するのに、インクリメンタルエンコーダ、アブソリュートエンコーダ、回転エンコーダ、ポジションセンサ、近接センサ、線形可変差動変圧器、ポテンショメータ、光学センサ、及び他の同様なエンコーダまたはセンサを含む、様々な構成要素を使用し得る。

【0043】

地上設置型目視検査装置１００は、作動可能アーム１０４の動きを測定するように構成された、様々なセンサまたはエンコーダを含んでいてよい。センサは、垂直アクチュエータ１０８及び水平アクチュエータ１０９といった、作動可能アーム１０４の個々の構成要素の相対的な動きを測定するように構成されていてよい。例として、垂直アクチュエータ１０８の垂直ポジションは、垂直アクチュエータ１０８の配置を感知する、インデックスレールまたはリニアポジションセンサによって測定され得る。作動可能アーム１０４は、動きを測定するのに、インクリメンタルエンコーダ、アブソリュートエンコーダ、回転エンコーダ、ポジションセンサ、近接センサ、線形可変差動変圧器、ポテンショメータ、光学センサ、及び他の同様なエンコーダまたはセンサを含む、様々な構成要素を使用し得る。

【0044】

ここで図３Ａ及び図３Ｂを参照すると、エンドエフェクタ１０６が示されている。エンドエフェクタ１０６は、ピボットジョイント１０７によって支持要素１０５に連結された、カメラ１１０を含む。ピボットジョイント１０７によって、支持要素１０５に対するカメラ１１０の動きが可能になっている。ある実施形態では、カメラ１１０とエンドエフェクタ１０６は、互いに対して動く。即ち、カメラ１１０はエンドエフェクタ１０６の他の部分に対して回転する。ある実施形態では、カメラ１１０とエンドエフェクタ１０６は、互いに対して動かない。即ち、エンドエフェクタ１０６の、作動可能アーム１０４に対する回転によって、カメラ１１０が回転する。

【0045】

エンドエフェクタ１０６は、位置合わせシステム１７０をさらに含み得る。位置合わせシステム１７０は、複数のレーザ式レンジファインダー１４０を含む。レーザ式レンジファインダー１４０は、カメラ１１０に連結されている。レーザ式レンジファインダー１４０は、航空機１２２に対するカメラ１１０の配置を測定するのに、レーザ１４１を使用するように構成されている。ある実施形態では、レーザ式レンジファインダー１４０は、カメラ１１０の航空機１２２からの距離を測定するように構成されている。ある実施形態では、レーザ式レンジファインダー１４０は、航空機１２２に対するカメラ１１０の配向を測定するように構成されている。位置合わせシステム１７０は、カメラ１１０の両側に配置された複数のレーザ式レンジファインダー１４０を含む。位置合わせシステム１７０は、２つ以上のレーザ式レンジファインダー１４０を利用し得る。ある実施形態では、レーザ式レンジファインダー１４０は、カメラ１１０の両側に配置されている。ある実施形態では、レーザ式レンジファインダー１４０は、カメラ１１０の外周の周りに離間配置されている。レーザ式レンジファインダーの数及び間隔は、位置合わせシステム１７０が、航空機１２２に対するカメラ１１０の配向を決定するのを可能にするようにして、構成されていてよい。

【0046】

位置合わせシステム１７０は、限定しないが、光学式、レーザ式、レーダー式、ソーナー式、ライダー（ｌｉｄａｒ）式、及び超音波式の近接センサ含む、種々のタイプのレンジファインダーを利用してよい。

【0047】

ある実施形態では、位置合わせシステム１７０は、カメラ１１０を、撮像する航空機１２２の表面に垂直な配向へと自動的に位置合わせするのに、フィードバックシステムを利用するように構成されている。ある実施形態では、位置合わせシステム１７０は、地上設置型目視検査装置１００が航空機１２２に対して動くのにつれて、カメラ１１０の位置合わせを連続的に調整する。地上設置型目視検査装置１００が航空機１２２のターゲットエリアに沿って動くのにつれて、位置合わせシステム１７０は、レーザ式レンジファインダー１４０からのデータを受信することと、地上設置型目視検査装置１００及びその様々な構成要素の動きを制御し得る任意のアクチュエータを制御することとによって、自動的にカメラ１１０を位置合わせし得る。

【0048】

ある実施形態では、カメラ１１０の配向は、手動で制御される。図３Ａを参照すると、カメラ１１０は、航空機１２２の表面に対して位置ずれしている。位置合わせシステム１７０は、カメラ１１０を回転して、図３Ｂに示すように、レーザ式レンジファインダー１４０が、レーザ（複数）１４１が全てカメラ１１０から同一または同様の距離で航空機１２２の表面を感知する状態で航空機１２２の表面と並ぶ（ｌｉｎｅ ｕｐ ｗｉｔｈ）まで、カメラ１１０の配向を自動的に調整する。

【0049】

ここで図４を参照すると、地上設置型目視検査システム５０及び航空機１２２が示されている。地上設置型目視検査システム５０は、地上設置型目視検査装置１００及び位置合わせシステム１７０を含む。位置合わせシステム１７０は、航空機１２２までの距離を測定するのにレーザ１４１を利用する、レーザ式レンジファインダー１４０を含む。レーザ式レンジファインダー１４０のレーザ１４１は、レーザ（複数）１４１が航空機１２２までの距離が等しいことを示すまでエンドエフェクタ１０６を回転することによって、カメラ１１０を航空機１２２に対して配向するのに利用される。

【0050】

ある実施形態では、レーザ式レンジファインダー１４０は、近接センサの役割を果たすように構成されている。レーザ式レンジファインダー１４０は、近接センサとして、地上設置型目視検査装置１００に航空機１２２への接近を知らせ、またある実施形態では自動的にアクチュエータを作動／動作停止させるため、地上設置型目視検査装置１００の自動動作制御を補助し得る。即ち、レーザ式レンジファインダー１４０からのデータは、地上設置型目視検査装置１００の様々なアクチュエータを停止または作動させ、衝突の可能性を自動的に防止するために使用され得る。地上設置型目視検査装置１００と航空機１２２との間の衝突を防止するように構成された、他のタイプの衝突防止システムが配備されてよい。地上設置型目視検査装置１００の自動制御がない、ある実施形態では、レーザ式レンジファインダー１４０は、地上設置型目視検査装置１００と航空機１２２との間の衝突の可能性をユーザに警告するため、表示灯または警告音を作動し得る。

【0051】

上記で検討したように、地上設置型目視検査装置１００は、基準位置１２５（出発位置）を利用して、基準位置１２５に対する地上設置型目視検査装置１００の動きを測定し得る。ある実施形態では、航空機１２２の事前取得データが利用される。ある実施形態では、事前取得データは、航空機１２２のコンピュータ支援設計（ＣＡＤ）モデルから引き出される。

【0052】

ここで図５を参照すると、地上設置型目視検査システム５０のブロック図が示されている。地上設置型目視検査システム５０は、航空機の目視検査を補助するため、画像を撮像するように構成されている。地上設置型目視検査システム５０は、地上設置型目視検査装置１００及び制御システム１５０を含む。

【0053】

地上設置型目視検査システム５０は、残りの図面に関連して本明細書で説明されている特徴の一部または全部を含んでいてよい、地上設置型目視検査装置１００を含む。制御システム１５０は、位置決めシステム１６０と位置合わせシステム１７０とを含む。制御システム１５０は、地上設置型目視検査装置１００の動きを制御して調節するように構成されている。

【0054】

制御システム１５０は、プロセッサ、メモリ、コンピュータハードウェア及びソフトウェア、コントローラ、並びにモジュールといった、本明細書に記載されている地上設置型目視検査装置１００の構成要素の制御を可能にするため、図示されていない様々な構成要素を含んでいてよい。制御システム１５０は、センサまたはエンコーダからの入力を測定または受信し、それに従って地上設置型目視検査装置１００を調整するように、さらに構成されていてよい。ある実施形態では、制御システム１５０は、センサ１２７またはレーザ式レンジファインダー１４０からデータを受信する。センサ１２７またはレーザ式レンジファインダー１４０からのデータは、地上設置型目視検査装置１００（及び、具体的には個々のアクチュエータ）を方向づけして、構造物１２２との位置合わせを達成するための、入力として使用され得る。ある実施形態では、センサ１２７またはレーザ式レンジファインダー１４０からのデータは、航空機１２２の表面に対するカメラ１１０の角度及び／または距離を自動的に調整するために使用される。

【0055】

ある実施形態では、制御システム１５０は、位置決めシステム１６０を含む。位置決めシステム１６０は、地上設置型目視検査装置１００の配置及び配向を制御するように構成されている。ある実施形態では、位置決めシステム１６０は、地上設置型目視検査装置１００が航空機１２２のターゲットエリア上を動く間に、地上設置型目視検査装置１００の構成要素のポジション及び配向を、連続して調整するように構成されている。位置決めシステム１６０は、（垂直アクチュエータ１０８及び水平アクチュエータ１０９、並びに、ピボットジョイント１０７を中心にしてエンドエフェクタ１０６を回転させる回転アクチュエータ（図示せず）といった）アクチュエータを作動させて、航空機１２２に対するエンドエフェクタ１０６のポジション及び配向を調整するように構成されていてよい。一例として、地上設置型目視検査装置１００が航空機１２２の胴体に沿って動くのにつれて、位置決めシステム１６０は、胴体までの距離を測定し、地上設置型目視検査装置１００を自動で調整して、カメラ１１０の胴体からの距離と表面に対する配向とが一定に保たれるようにしてよい。ある実施形態では、位置決めシステム１６０は、地上設置型目視検査装置１００の動きを測定するように構成されている。位置決めシステム１６０は、地上設置型目視検査装置１００の絶対的な動き、または、地上設置型目視検査装置１００の基準位置１２５に対する相対的な動きを、測定するように構成されていてよい。

【0056】

ある実施形態では、位置決めシステム１６０は、移動ベース１０２の配置及び配向を制御してその動きを測定し、ベースの位置１６２を決定するように構成されている。ベースの位置１６２は、絶対位置、または出発位置即ち基準位置１２５に対する相対位置であってよい。

【0057】

ある実施形態では、位置決めシステム１６０は、作動可能アーム１０４の配置及び配向を制御してその動きを測定し、アームの位置１６４を決定するように構成されている。アームの位置１６４は、絶対位置、または出発位置即ち基準位置１２５に対する位置であってよい。

【0058】

ある実施形態では、位置決めシステム１６０は、エンドエフェクタ１０６の配置及び配向を制御してその動きを測定し、エンドエフェクタの位置１６６を決定するように構成されている。エンドエフェクタの位置１６６は、絶対位置、または出発位置即ち基準位置１２５に対する位置であってよい。

【0059】

ある実施形態では、制御システム１５０は、位置合わせシステム１７０を含む。位置合わせシステム１７０は、エンドエフェクタ１０６とカメラ１１０の位置合わせを制御するように構成されている。ある実施形態では、位置合わせシステム１７０は、航空機１２２に対する、エンドエフェクタ１０６及びカメラ１１０の動き及び位置を測定するように構成されている。位置合わせシステム１７０は、２０１７年６月１４日出願の米国特許出願第１５／６２３，３０４でより詳細に説明されている位置合わせシステムと、同様または同一の態様で構成されていることができる。

【0060】

ある実施形態では、位置合わせシステム１７０は、航空機１２２に対するカメラ１１０またはエンドエフェクタ１０６の距離情報１７２を、測定及び記録するように構成されている。こうした距離情報１７２は、撮像された航空機１２２の画像１２６に関連付けられていてよい。ある実施形態では、位置合わせシステム１７０は、航空機１２２に対するカメラ１１０またはエンドエフェクタ１０６の配向情報１７４を、測定及び記録するように構成されている。こうした配向情報１７４は、撮像された航空機１２２の画像１２６に関連付けられていてよい。

【0061】

距離情報１７２及び配向情報１７４は、撮像された画像１２６に関連付けもしくはリンクされていてよいか、または、位置情報１２８として、撮像された画像内に埋め込まれていてよい。位置情報１２８は、撮像された画像１２６内に埋め込まれたメタデータであってよく、限定しないが例として、地上設置型目視検査装置１００の配置情報、航空機上における撮像された画像１２６の位置情報（基準位置１２５もしくはＣＡＤモデルに基づく）、距離情報１７２、または配向情報１７４といった、制御システム１５０によって測定または記録される任意の情報を含んでいてよい。撮像された画像１２６に関連付けられた情報は、ユーザが撮像された画像１２６をより精密に評価するのを補助する。

【0062】

ある実施形態では、位置情報１２８は、構造物１２２のローカル座標系内で規定された、カメラ１１０（またはエンドエフェクタ１０６）の現在位置（例えばポジション及び配向）である。構造物１２２のローカル座標系は、構造物１２２のＣＡＤモデルまたは他の同様の情報によって決定され得る。ある実施形態では、撮像された画像１２６とカメラ１１０（またはエンドエフェクタ１０６）の現在位置（即ちポジション及び配向）との間の、関連付けが決定される。ある実施形態では、基準位置１２５に対するベース１０２の位置から得られた、ローカル座標系内の基準位置１２５に対するカメラ１１０の位置は、ベース１０２に対する作動可能アーム１０４のキネマティック動作と組み合わせられる。

【0063】

ある実施形態では、制御システム１５０は、走行距離測定及び／またはＧＰＳのいずれかから、ベースの位置１６２を取得する。例えば、原点または基準位置１２５に対する、移動ベース１０２の変換行列が取得され得る。ある実施形態では、エンドエフェクタ１０６またはカメラ１１０の位置は、エンコーダデータ及び作動可能アーム１０４の形状寸法によって決定される。別の例として、原点または基準位置１２５に対する、作動可能アーム１０４の変換行列が取得されて、アームの位置１６４が決定されてよい。ある実施形態では、ローカル座標系の原点に対するエンドエフェクタ１０６（及び、その延長線上でカメラ１１０の）変換行列を計算してエンドエフェクタの位置１６６を計算するために、２つの変換行列による行列の乗算が実施される。ある実施形態では、制御システム１５０は次に、ターゲット物体のローカル座標系の原点に対する、カメラ１１０の位置情報１２８を、現在の撮像された画像１２６と関連付け得る。ある実施形態では、これは、（例えば、画像メタデータ用のエクスチェンジャブル・イメージ・ファイル・フォーマット（ＥＸＩＦ）を用いることによって）位置情報１２８を画像１２６内に埋め込むことを意味し得る。

【0064】

ある実施形態では、制御システム１５０は、センサ１２７を含む。センサ１２７は、地上設置型目視検査装置１００の一部であってよい。ある実施形態では、センサ１２７の一部または全部は、非搭載センサであってよい。一例として、センサは、航空機１２２上にあるか、地上にあるか、またはこの両方にあってよい。センサ１２７は、制御システム１５０にデータを供給するように構成されていてよい。このデータは、航空機１２２に対する、地上設置型目視検査装置１００の距離情報及び配向情報を含んでいてよい。ある実施形態では、このデータは、地上設置型目視検査装置１００の動きを制御するために使用されてよい。即ち、地上設置型目視検査装置１００の動きは、センサ１２７のデータに基づいていてよい。非搭載センサを含む実施形態では、制御システム１５０または地上設置型目視検査装置１００は、非搭載センサと通信するように構成されていてよい。ある実施形態では、制御システム１５０は、非搭載センサと無線で通信するように構成されていてよい。

【0065】

ここで図６を参照すると、方法６００の一実施形態が示されている。方法６００は、地上設置型目視検査装置を航空機に対して位置合わせすること６０２を含み、地上設置型目視検査装置は、移動ベースと、移動ベースに連結された作動可能アームと、作動可動アームに連結されたエンドエフェクタとを含み、エンドエフェクタは、カメラを含んでいる。方法６００は、カメラによって航空機の画像を撮像６０４することを含む。方法６００は、基準位置に対するベースの位置、アームの位置、及びエンドエフェクタの位置を取得することによって、基準位置に対するカメラの位置情報を決定することを含む。方法６００は、位置情報を画像と関連付け６０８することを含む。ここで、方法は終了する。

【0066】

ある実施形態では、方法６００は、位置情報を画像に埋め込むことをさらに含み得る。

【0067】

ある実施形態では、方法６００は、基準位置に対する移動ベース１０２の変換行列を計算することによって、ベースの位置を取得することをさらに含み得る。ある実施形態では、方法６００は、基準位置に対する作動可能アームの変換行列を計算することによって、アームの位置を取得することをさらに含み得る。様々な実施形態では、方法は、移動ベースの変換行列と作動可能アームの変換行列との、行列の乗算を実施して、基準位置に対するエンドエフェクタの変換行列を計算することをさらに含み得る。

【0068】

ある実施形態では、方法は、航空機に対するカメラの距離情報を決定することと、この距離情報を画像と関連付けることとを含み得る。ある実施形態では、方法は、航空機に対するカメラの配向情報を決定することと、この配向情報を画像と関連付けることとを含み得る。

【0069】

方法は、示された順序で説明されているが、数々の順序付けされた組み合わせのうちのいずれによって進行してもよい。

【0070】

上記の説明において、「上へ（ｕｐ）」、「下へ（ｄｏｗｎ）」、「上側（ｕｐｐｅｒ）」、「下側（ｌｏｗｅｒ）」、「水平（ｈｏｒｉｚｏｎｔａｌ）」、「垂直（ｖｅｒｔｉｃａｌ）」、「左（ｌｅｆｔ）」、「右（ｒｉｇｈｔ）」、「上方（ｏｖｅｒ）」、「下方（ｕｎｄｅｒ）」などといった、特定の語が使用されていることがある。これらの語は、相互関係について触れている場合、必要に応じて、説明に何らかの明確性をもたらすために使用されている。しかし、これらの語は、絶対的な関係性、ポジション、及び／または配向を含意することを意図していない。例えば、ある対象物に関して、単にこの対象物をひっくり返すことによって、「上側」表面が「下側」表面になり得る。それでも、これは依然として同じ対象物である。さらに、「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という語、及びこれらの変化形は、別様に明記されていない限り、「～を含むが、それらに限定されるわけではない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味する。列挙されているアイテムは、別様に明記されていない限り、これらのアイテムのいずれかまたは全てが相互排他的及び／または相互包括的であることを意味しない。「１つの（ａ／ａｎ）」、及び「その／この（ｔｈｅ）」という語も、別様に明記されていない限り、「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」という意味を表わす。さらに、「複数（ｐｌｕｒａｌｉｔｙ）」という語は、「少なくとも２つ（ａｔ ｌｅａｓｔ ｔｗｏ）」のことであると定義され得る。

【0071】

加えて、この明細書で、１つの要素が別の要素に「連結されている（ｃｏｕｐｌｅｄ）」という事例は、直接的な連結及び間接的な連結を含み得る。直接連結は、１つの要素が別の要素に連結されること、且つ、別の要素と何らかの接触を有することであると、定義され得る。間接連結は、２つの要素間の連結であって、互いに直接的に接触してはいないが、連結された要素同士の間に１つ以上の追加要素を有する連結のことであると、定義され得る。さらに、本明細書において、１つの要素を別の要素に固定することは、直接的に固定することと、間接的に固定することとを含み得る。加えて、本明細書において、「隣接（ａｄｊａｃｅｎｔ）」は必ずしも接触を意味するものではない。例えば、１つの要素は、別の要素に接触することなく隣接していることができる。

【0072】

本書において、列挙されたアイテムと共に使用される「～のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」という表現は、列挙されたアイテムのうちの１つ以上の種々の組み合わせが使用され得ることと、必要とされるのが列挙されたアイテムのうちの１つだけであり得ることを、意味している。アイテムとは、特定の対象物、物品、またはカテゴリのことであり得る。言い換えると、「～のうちの少なくとも１つ」は、アイテムの任意の組み合わせ、または任意の数のアイテムが列挙された中から使用され得るが、列挙されたアイテムの全てが必要とされるわけではないことを意味している。例えば、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」とは、例えば、「アイテムＡ」、「アイテムＡとアイテムＢ」、「アイテムＢ」、「アイテムＡとアイテムＢとアイテムＣ」、または「アイテムＢとアイテムＣ」を意味し得る。ある場合には、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、限定しないが例として、「２個のアイテムＡと１個のアイテムＢと１０個のアイテムＣ」、「４個のアイテムＢと７個のアイテムＣ」、または他の好適な組み合わせを意味し得る。

【0073】

別様に示されていない限り、「第１（ｆｉｒｓｔ）」、「第２（ｓｅｃｏｎｄ）」などの語は、本明細書では単に符号として使用されており、これらの語が指しているアイテムに、順序的、ポジション的、または序列的な要件を課すことを意図するものではない。さらに、例えば「第２」のアイテムに言及したからといって、例えば「第１」の、もしくはより小さい数が振られたアイテム、及び／または、例えば「第３」の、もしくはより大きな数が振られたアイテムの存在が、必要とされることも、排除されることもない。

【0074】

本明細書において、特定の機能を実施する「よう構成／設定された（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」システム、装置、構造、物品、要素、構成要素、またはハードウェアは、実際には、いかなる変更も伴わずにその特定の機能を実施することが可能であり、さらなる改変の後にその特定の機能を実施する可能性があるに過ぎないというものではない。言い換えると、特定の機能を実施する「よう構成／設定された」システム、装置、構造、物品、要素、構成要素、またはハードウェアは、その特定の機能を実施するという目的のために、特に選択され、作り出され、実装され、利用され、プログラムされ、及び／または設計されている。本明細書で使用される、「ように構成された」という表現は、システム、装置、構造、物品、要素、構成要素、またはハードウェアがさらなる改変なしで特定の機能を実行することを可能にする、システム、装置、構造、物品、要素、構成要素、またはハードウェアの特性が存在することを意味する。この開示においては、特定の機能を実施する「よう構成／設定され」ていると記載されているシステム、装置、構造、物品、要素、構成要素、またはハードウェアは、さらにまたは代わりに、その機能を実施するのに「適合している（ａｄａｐｔｅｄ ｔｏ）」、及び／または、実施する「ように動作可能である（ｏｐｅｒａｔｉｖｅ ｔｏ）」と記載されていてもよい。

【0075】

本明細書に含まれる概略フロー図は概して、論理フロー図として記載されている。そのため、図示の順序及び符号が付されたステップは、提示されている方法の一実施形態を示しているものである。機能、論理、または効果の点で、図示されている方法の１つ以上のステップまたはステップの部分と均等な、他のステップ及び方法も想起され得る。加えて、用いられている形式及びシンボルは、方法の論理ステップを解説するために提示されており、方法の範囲を限定するものではないと理解される。フロー図には様々な種類の矢印及び線が用いられていてよいが、これらは、対応する方法の範囲を限定するものではないと理解される。実際、いくつかの矢印またはその他のコネクタは、本方法の論理フローを示すためにのみ使用されていてよい。例えば、矢印は、図示されている方法の列挙されたステップ間の、不特定の長さの待機時間またはモニタリング時間を示し得る。加えて、特定の方法が発生する順序は、図示されている対応するステップの順序に厳密に従うことも、従わないこともある。

【0076】

本明細書で記載されている、関連するモジュール及び／または電子コントローラを含み得る制御システムは、カスタムのＶＬＳＩ回路もしくはゲートアレイ、論理チップといった市販の半導体、トランジスタ、または他の個別構成要素を含む、ハードウェア回路として実装され得る。制御システムはまた、例えばフィールドプログラマブルゲートアレイ、プログラマブルアレイ論理、プログラマブル論理デバイスなどといった、プログラマブルハードウェアデバイスにも実装され得る。

【0077】

制御システムは、様々なタイプのプロセッサによって実行するための、コード及び／またはソフトウェアにも実装され得る。識別されたコードのモジュールは、例えば、実行可能コードの１つ以上の物理ブロックまたは論理ブロックを含み、これらのブロックは例えば、オブジェクト、手順、または機能として編成されていてよい。しかしながら、電子コントローラの実行ファイルは、物理的に一緒に位置している必要はなく、異なる位置に記憶されていて、論理的に結合されると電子コントローラを構成し、電子コントローラとしの所定の目的を達成する、異種の（ｄｉｓｐａｒａｔｅ）命令を含んでいてよい。

【0078】

実際、電子コントローラのコードは、単一の指令または多数の指令であってよく、かつ、種々のプログラム間にわたり、いくつかのメモリデバイスにわたって、いくつかの異なるコードセグメントに分散されていてさえもよい。同様に、動作データは、本明細書では、電子コントローラ内で特定されて示されていてよく、任意の好適な形式で具現化され、かつ、任意の好適なタイプのデータ構造に体系化されていてよい。動作データは、単一のデータセットとして収集されてよいか、または、種々のコンピュータ可読記憶デバイスにわたって分散されることを含め、種々の場所に分散されていてよい。電子コントローラまたは電子コントローラの部分がソフトウェアで実装される場合、このソフトウェアの部分は、１つ以上のコンピュータ可読記憶デバイスに記憶される。

【0079】

１つ以上のコンピュータ可読媒体の、任意の組み合わせが利用され得る。このコンピュータ可読媒体は、コンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、コードを記憶する記憶デバイスであり得る。記憶デバイスは、限定しないが例として、電子式、磁気式、光学式、電磁式、赤外線、ホログラフィ、マイクロメカニカル、または半導体の、システム、装置、もしくはデバイス、またはこれらの任意の好適な組み合わせであり得る。

【0080】

記憶デバイスのより具体的な例（網羅的ではないリスト）は、１つ以上の電線を有する電気接続、携帯式コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、携帯式コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または、これらの任意の好適な組み合わせを含む。この明細書の文脈においては、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、もしくはデバイスによって使用される、または、それらと関連しているプログラムを包含しているかもしくは記憶することが可能な、任意の有形媒体であり得る。

【0081】

実施形態の動作を実施するためのコードは、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、などといったオブジェクト指向プログラミング言語、並びに、「Ｃ」プログラミング言語やそれに類するもの、及び／または、アセンブリ言語といった機械言語などの、従来型の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合せで書かれていてよい。コードは、専らユーザのコンピュータで実行され得るか、部分的にユーザのコンピュータで実行され得るか、スタンドアローン型のソフトウェアパッケージとして実行され得るか、部分的にユーザのコンピュータで、かつ部分的に遠隔コンピュータで実行され得るか、または、専ら遠隔のコンピュータもしくはサーバで実行され得る。最後の事例の場合、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続されていてよいか、または、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて、）外部コンピュータへの接続がなされてよい。

【0082】

記載されている実施形態の特徴、構造物、または特性は、任意の適切な態様で組み合わされてよい。上記の記載では、実施形態を十分に理解させるため、プログラミング、ソフトウェアモジュール、ユーザの選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップなどの例といった、数々の具体的な詳細が与えられている。しかし、諸実施形態が、特定の詳細事項の１つ以上がなくても実施可能であり得ることや、他の方法、構成要素、材料などによっても実施可能であることを、当業者は認識するであろう。他の例では、本実施形態の態様を不明瞭にしないよう、周知の構造、材料、または動作は、図示されていないか、または、詳細に説明されていない。

【0083】

実施形態の諸態様について、実施形態による方法、装置、システム、及びプログラム製品の概略フロー図及び／または概略ブロック図を参照しながら、以下で説明する。概略フロー図及び／または概略ブロック図の各ブロック、並びに概略フロー図及び／または概略ブロック図におけるブロックの組み合わせが、コードによって実行され得ることは、理解されるだろう。これらのコードは、汎用コンピュータ、特殊用途コンピュータ、または機器を作製するための他のプログラマブルデータ処理装置の、プロセッサに対して与えられてよく、それによって、コンピュータのプロセッサ、または他のプログラマブルデータ処理装置を介して実行を行う命令が、概略フロー図及び／または概略ブロック図の１つ以上のブロック内で特定されている機能／作用を実装するための手段を作り出し得る。

【0084】

コードは、特定の態様で機能するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに命令し得る、記憶デバイス媒体内に記憶されていてもよく、それによって、記憶デバイス内に記憶された命令が、概略フロー図及び／または概略ブロック図の１つ以上のブロック内で特定されている機能／作用を実装する命令を含む製造品を作成し得る。

【0085】

コードは、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行されるべき一連の動作ステップを生じさせて、コンピュータ実装された処理を生成するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに読み込まれてもよい。それによって、コンピュータまたは他のプログラマブル装置上で実行されるコードが、フロー図及び／またはブロック図の１つ以上のブロック内で特定されている機能／作用を実装するための処理を提供し得る。

【0086】

図面中の概略フロー図及び／または概略ブロック図は、様々な実施形態による、装置、システム、方法及びプログラム製品の実施可能な実装形態の、アーキテクチャ、機能性、及び操作を示すものである。この点に関して、概略フロー図及び／または概略ブロック図の各ブロックは、特定の１つ以上の論理機能を実装するためのコードの１つ以上の実行可能な命令を含む、コードのモジュール、セグメント、または部分を表わしていてよい。

【0087】

いくつかの代替的な実装形態では、ブロックに示された機能が図面に記載の順序で行われなくてよいことも、また留意すべきである。例えば、実際には、関連する機能性に応じて、連続して示されている２つのブロックが実質的に同時に実行されてもよく、または、それらのブロックが時として逆順で実行されてもよい。図示した図面の１つ以上のブロックもしくはそれらの部分と、機能、論理、または効果において均等な、他のステップ及び方法が想起されてよい。

【0088】

さらに、本開示は、以下の条項による実施形態を含む。

【0089】

条項１．構造物（１２２）検査用の地上設置型目視検査システム（５０）であって、
移動ベース（１０２）、
移動ベース（１０２）に連結された作動可能アーム（１０４）であって、三次元空間内で位置決め可能な作動可能アーム（１０４）、及び
作動可能アーム（１０４）に連結されたエンドエフェクタ（１０６）であって、構造物（１２２）の画像（１２６）を撮像するように構成されたカメラ（１１０）を備えるエンドエフェクタ（１０６）
を備える、地上設置型目視検査装置（１００）と、
制御システム（１５０）であって、基準位置（１２５）に対するカメラ（１１０）の位置情報（１２８）を決定し、位置情報（１２８）を画像（１２６）に関連付けるように構成された制御システム（１５０）と、
を備える、地上設置型目視検査システム（５０）。

【0090】

条項２．制御システム（１５０）が、
基準位置（１２５）に対する移動ベース（１０２）の変換行列を計算することで、ベースの位置（１６２）を取得することと、
基準位置（１２５）に対する作動可能アーム（１０４）の変換行列を計算することで、アームの位置（１６４）を取得することと、
移動ベース（１０２）の変換行列と作動可能アーム（１０４）の変換行列とで変換行列の乗算を実施して、基準位置（１２５）に対するエンドエフェクタ（１０６）の変換行列を計算することと、
によって、基準位置（１２５）に対するカメラ（１１０）の位置を決定することで、位置情報（１２８）を決定するようにさらに構成されている、条項１に記載の地上設置型目視検査システム（５０）。

【0091】

条項３．制御システム（１５０）が、エンドエフェクタ（１０６）に連結された複数のレーザ式レンジファインダー（１４０）を備える位置合わせシステム（１７０）をさらに備える、条項１または２に記載の地上設置型目視検査システム（５０）。

【0092】

条項４．位置合わせシステム（１７０）が、複数のレーザ式レンジファインダー（１４０）のデータに基づいて、構造物（１２２）に対するカメラ（１１０）の配向を決定するように構成されている、条項３に記載の地上設置型目視検査システム（５０）。

【0093】

条項５．制御システム（１５０）が、画像（１２６）内にカメラの配向情報（１７４）を埋め込むようにさらに構成されている、条項４に記載の地上設置型目視検査システム（５０）。

【0094】

条項６．位置合わせシステム（１７０）が、複数のレーザ式レンジファインダー（１４０）によって撮像されたデータに基づいて、航空機に対するカメラ（１１０）の距離を決定するように構成されている、条項３に記載の地上設置型目視検査システム（５０）。

【0095】

条項７．制御システム（１５０）が、画像（１２６）内に距離情報（１７２）を埋め込むようにさらに構成されている、条項６に記載の地上設置型目視検査システム（５０）。

【0096】

条項８．制御システム（１５０）が、画像（１２６）内に位置情報（１２８）を埋め込むようにさらに構成されている、条項１から７のいずれか一項に記載の地上設置型目視検査システム（５０）。

【0097】

条項９．位置情報（１２８）が、地上設置型目視検査装置（１００）または構造物（１２２）上のセンサ（１２７）からのデータに基づく、条項８に記載の地上設置型目視検査システム（５０）。

【0098】

条項１０．位置情報（１２８）が、構造物（１２２）上の基準位置（１２５）に基づく、条項１から９のいずれか一項に記載の地上設置型目視検査システム（５０）。

【0099】

条項１１．移動ベース（１０２）が手動で操作可能なカートを備える、条項１から１０のいずれか一項に記載の地上設置型目視検査システム（５０）。

【0100】

条項１２．エンドエフェクタ（１０６）に連結された複数のレーザ式レンジファインダー（１４０）を備える位置合わせシステム（１７０）をさらに備え、
位置合わせシステム（１７０）が、複数のレーザ式レンジファインダー（１４０）のデータに基づいて、構造物（１２２）に対するカメラ（１１０）の配向と距離を決定するように構成されており、
制御システム（１５０）が、配向情報（１７４）と距離情報（１７２）を画像（１２６）に埋め込むようにさらに構成されており、
制御システム（１５０）が、位置情報（１２８）を画像（１２６）内に埋め込むようにさらに構成されている、
条項１から１１のいずれか一項に記載の地上設置型目視検査システム（５０）。

【0101】

条項１３．位置情報（１２８）が、基準ポジションからの並進変位と、基準位置（１２５）に対する移動ベース（１０２）の基準配向からの回転変位とを含む、条項１２に記載の地上設置型目視検査システム（５０）。

【0102】

条項１４．作動可能アーム（１０４）がインデックスレールを備える、条項１から１３のいずれか一項に記載の地上設置型目視検査システム（５０）。

【0103】

条項１５．地上設置型目視検査装置（１００）であって、
移動ベース（１０２）、
移動ベース（１０２）に連結された作動可能アーム（１０４）であって、三次元空間内で位置決め可能な作動可能アーム（１０４）、
作動可能アーム（１０４）に連結されたエンドエフェクタ（１０６）であって、構造物（１２２）の画像（１２６）を撮像するように構成されたカメラ（１１０）を備えるエンドエフェクタ（１０６）、及び
制御システム（１５０）であって、基準位置（１２５）に対するカメラ（１１０）の位置情報（１２８）を決定するように構成された制御システム（１５０）、
を備える、地上設置型目視検査装置（１００）。

【0104】

条項１６．エンドエフェクタ（１０６）に連結された複数のレーザ式レンジファインダー（１４０）をさらに備える、条項１５に記載の装置（１００）。

【0105】

条項１７．地上設置型目視検査装置（１００）を構造物（１２２）と位置合わせすること（６０２）であって、地上設置型目視検査装置（１００）が、移動ベース（１０２）、移動ベース（１０２）に連結された作動可能アーム（１０４）、及び作動可能アーム（１０４）に連結されたエンドエフェクタ（１０６）であって、カメラ（１１０）を備えるエンドエフェクタ（１０６）を備える、地上設置型目視検査装置（１００）を位置合わせすること（６０２）と、
構造物（１２２）の画像（１２６）をカメラ（１１０）で撮像すること（６０４）と、
基準位置（１２５）に対するベースの位置（１６２）、アームの位置（１６４）、及びエンドエフェクタの位置（１６６）を取得することで、基準位置（１２５）に対するカメラ（１１０）の位置情報（１２８）を決定すること（６０６）と、
位置情報（１２８）を画像（１２６）と関連付けること（６０８）と、
を含む方法（６００）。

【0106】

条項１８．センサからのデータを受信することと、受信したデータに基づいて、構造物（１２２）に対するカメラ（１１０）の配向または距離を自動的に調整することとをさらに含む、条項１７に記載の方法（６００）。

【0107】

基準位置（１２５）に対する移動ベース（１０２）の変換行列を計算することで、ベースの位置（１６２）を取得することと、
基準位置（１２５）に対する作動可能アーム（１０４）の変換行列を計算することで、アームの位置（１６４）を取得することと、
移動ベース（１０２）の変換行列と作動可能アーム（１０４）の変換行列とで変換行列の乗算を実施して、基準位置（１２５）に対するエンドエフェクタ（１０６）の変換行列を計算することと、
をさらに含む、条項１７または１８に記載の方法（６００）。

【0108】

条項２０．構造物（１２２）に対するカメラ（１１０）の距離情報（１７２）及び配向情報（１７４）を決定することと、
距離情報（１７２）及び配向情報（１７４）を画像（１２６）と関連付けることと、
をさらに含む、条項１７から１９のいずれか一項に記載の方法（６００）。

【0109】

本出願の主題は、その主旨及び基幹的な特性から逸脱することなく、他の具体的な形態において実施され得る。上記の実施形態は、あらゆる観点において、単なる例示であって、限定的なものではないとみなすべきである。特許請求の範囲の目的及び均等範囲に含まれるあらゆる変更は、特許請求の範囲に包含されるものとする。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】