特開2019-219378(P2019-219378A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ・ボーイング・カンパニーの特許一覧
<>
  • 特開2019219378-移動式目視検査システム 図000003
  • 特開2019219378-移動式目視検査システム 図000004
  • 特開2019219378-移動式目視検査システム 図000005
  • 特開2019219378-移動式目視検査システム 図000006
  • 特開2019219378-移動式目視検査システム 図000007
  • 特開2019219378-移動式目視検査システム 図000008
  • 特開2019219378-移動式目視検査システム 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-219378(P2019-219378A)
(43)【公開日】2019年12月26日
(54)【発明の名称】移動式目視検査システム
(51)【国際特許分類】
   G01B 11/24 20060101AFI20191129BHJP
   B64F 1/36 20170101ALI20191129BHJP
【FI】
   G01B11/24 K
   B64F1/36
【審査請求】未請求
【請求項の数】10
【出願形態】OL
【外国語出願】
【全頁数】24
(21)【出願番号】特願2019-61166(P2019-61166)
(22)【出願日】2019年3月27日
(31)【優先権主張番号】15/945,640
(32)【優先日】2018年4月4日
(33)【優先権主張国】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
2.SMALLTALK
(71)【出願人】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】The Boeing Company
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林特許業務法人
(72)【発明者】
【氏名】トロイ, ジェームズ ジェー.
(72)【発明者】
【氏名】レア, スコット ダブリュ.
(72)【発明者】
【氏名】ライト, ダニエル ジェイ.
(72)【発明者】
【氏名】ジョージソン, ゲイリー イー.
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA20
2F065AA35
2F065AA53
2F065FF11
2F065FF15
2F065FF65
2F065FF67
2F065GG04
2F065JJ03
2F065JJ26
2F065MM06
2F065MM13
2F065PP04
2F065PP05
2F065PP25
2F065RR06
2F065RR07
2F065TT02
2F065UU03
(57)【要約】      (修正有)
【課題】大型の航空機及び他の移動用ビークルは目視検査の遂行が困難である。ドローンまたは他の無人航空機は振動、気象条件の影響を受け、写真または映像は、理想とはいえないものになる。
【解決手段】地上設置型目視検査システムは、地上設置型目視検査装置100と制御システムとを含む。地上設置型目視検査装置は、移動ベース102、移動ベースに連結された作動可能アーム104、及び作動可能アームに連結されたエフェクタ106を含む。作動可能アームは、三次元空間内で位置決め可能である。エンドエフェクタは、航空機122といった構造物の画像を撮像するように構成されたカメラ110を含む。制御システムは、基準位置に対するカメラの位置情報を決定し、この位置情報を画像と関連付けるように構成されている。
【選択図】図4
【特許請求の範囲】
【請求項1】
構造物(122)検査用の地上設置型目視検査システム(50)であって、
移動ベース(102)、
前記移動ベース(102)に連結された作動可能アーム(104)であって、三次元空間内で位置決め可能な作動可能アーム(104)、及び
前記作動可能アーム(104)に連結されたエンドエフェクタ(106)であって、前記構造物(122)の画像(126)を撮像するように構成されたカメラ(110)を備えるエンドエフェクタ(106)
を備える、地上設置型目視検査装置(100)と、
制御システム(150)であって、基準位置(125)に対する前記カメラ(110)の位置情報(128)を決定し、前記位置情報(128)を前記画像(126)と関連付けるように構成された制御システム(150)と、
を備える、地上設置型目視検査システム(50)。
【請求項2】
前記制御システム(150)が、
前記基準位置(125)に対する前記移動ベース(102)の変換行列を計算することで、ベースの位置(162)を取得することと、
前記基準位置(125)に対する前記作動可能アーム(104)の変換行列を計算することで、アームの位置(164)を取得することと、
前記移動ベース(102)の前記変換行列と前記作動可能アーム(104)の前記変換行列とで変換行列の乗算を実施して、前記基準位置(125)に対する前記エンドエフェクタ(106)の変換行列を計算することと、
によって、前記基準位置(125)に対する前記カメラ(110)の位置を決定することで、前記位置情報(128)を決定するようにさらに構成されている、請求項1に記載の地上設置型目視検査システム(50)。
【請求項3】
前記制御システム(150)が、前記エンドエフェクタ(106)に連結された複数のレーザ式レンジファインダー(140)を備える位置合わせシステム(170)をさらに備える、請求項1または2に記載の地上設置型目視検査システム(50)。
【請求項4】
前記位置合わせシステム(170)が、前記複数のレーザ式レンジファインダー(140)のデータに基づいて、前記構造物(122)に対する前記カメラ(110)の配向を決定するように構成されている、請求項3に記載の地上設置型目視検査システム(50)。
【請求項5】
前記制御システム(150)が、前記画像(126)内に前記位置情報(128)を埋め込むように構成されている、請求項1から4のいずれか一項に記載の地上設置型目視検査システム(50)。
【請求項6】
前記位置情報(128)が、前記構造物(122)上の基準位置(125)に基づく、請求項1から5のいずれか一項に記載の地上設置型目視検査システム(50)。
【請求項7】
前記エンドエフェクタ(106)に連結された複数のレーザ式レンジファインダー(140)を備える位置合わせシステム(170)をさらに備え、
前記位置合わせシステム(170)が、前記複数のレーザ式レンジファインダー(140)のデータに基づいて、前記構造物(122)に対する前記カメラ(110)の配向と距離を決定するように構成されており、
前記制御システム(150)が、配向情報(174)と距離情報(172)を前記画像(126)に埋め込むようにさらに構成されており、
前記制御システム(150)が、前記位置情報(128)を前記画像(126)内に埋め込むようにさらに構成されている、
請求項1から6のいずれか一項に記載の地上設置型目視検査システム(50)。
【請求項8】
前記位置情報(128)が、基準ポジションからの並進変位と、前記基準位置(125)に対する前記移動ベース(102)の基準配向からの回転変位とを含む、請求項7に記載の地上設置型目視検査システム(50)。
【請求項9】
地上設置型目視検査装置(100)であって、
移動ベース(102)、
前記移動ベース(102)に連結された作動可能アーム(104)であって、三次元空間内で位置決め可能な作動可能アーム(104)、
前記作動可能アーム(104)に連結されたエンドエフェクタ(106)であって、構造物(122)の画像(126)を撮像するように構成されたカメラ(110)を備えるエンドエフェクタ(106)、及び
制御システム(150)であって、基準位置(125)に対する前記カメラ(110)の位置情報(128)を決定するように構成された制御システム(150)、
を備える、地上設置型目視検査装置(100)。
【請求項10】
地上設置型目視検査装置(100)を構造物(122)と位置合わせすること(602)であって、前記地上設置型目視検査装置(100)が、移動ベース(102)、前記移動ベース(102)に連結された作動可能アーム(104)、及び前記作動可能アーム(104)に連結されたエンドエフェクタ(106)であって、カメラ(110)を備えるエンドエフェクタ(106)を備える、地上設置型目視検査装置(100)を位置合わせすること(602)と、
前記構造物(122)の画像(126)を前記カメラ(110)で撮像すること(604)と、
基準位置(125)に対するベースの位置(162)、アームの位置(164)、及びエンドエフェクタの位置(166)を取得することで、前記基準位置(125)に対する前記カメラ(110)の位置情報(128)を決定すること(606)と、
前記位置情報(128)を前記画像(126)と関連付けること(608)と、
を含む方法(600)。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して目視検査システムに関し、具体的には、航空機といった大型の構造物の検査用の、地上設置型移動式目視検査システムに関する。
【背景技術】
【0002】
航空機及び他の移動用ビークルは、時として摩耗に関する検査を必要とする。検査の一類型は、目視検査である。大型のビークルにとっては、目視検査は、遂行が困難であり得る。多数の到達困難なエリアに関しては、カメラを航空機に近接して飛ばすために、ドローンまたは他の無人航空機が使用される。しかし、ドローンは振動する部品を有する上、風や降水といった気象条件によって、悪影響を受ける場合がある。ドローンによる航空機への衝撃を防止するため、ドローンは、航空機から安全な距離を取って飛ばされる。その結果、航空機の写真または映像は、理想とはいえないものになる。
【発明の概要】
【0003】
本出願の主題は、当該技術分野の現状に応じて、具体的には、現在利用可能な技法によってまだ完全には解決されていない、従来型の設備に関連した問題及び欠点に応じて、開発されたものである。したがって、本出願の主題は、上記の先行技術による技法の欠点のうちの少なくとも一部を克服する、システム、装置、及び方法の実施形態を提供するために開発されてきたものである。例えば、一実施形態によると、安定し且つ正確に位置決めされた写真と映像の撮像を容易にする、地上設置型移動式目視検査システムが開示される。
【0004】
本明細書で開示されているのは、地上設置型目視検査装置と制御システムとを含む、地上設置型目視検査システムである。地上設置型目視検査装置は、移動ベース、移動ベースに連結された作動可能アーム、及び作動可能アームに連結されたエフェクタを含む。作動可能アームは、三次元空間で位置決め可能である。エンドエフェクタは、構造物の画像を撮像するように構成されたカメラを含む。制御システムは、基準位置に対するカメラの位置情報を決定し、この位置情報を画像と関連付けるように構成されている。この段落中の上記の主題は、本開示の実施例1を特徴付けるものである。
【0005】
制御システムは、基準位置に対する移動ベースの変換行列を計算することで、ベースの位置を取得することよって、基準位置に対するカメラの位置を決定すること、基準位置に対する作動可能アームの変換行列を計算することで、アームの位置を取得すること、及び移動ベースの変換行列と作動可能アームの変換行列とで変換行列の乗算を実施して、基準位置に対するエンドエフェクタの変換行列を計算することによって、位置情報を決定するように構成されている。この段落の上記の記載は本開示の実施例2を特徴付けており、実施例2は、上記の実施例1による主題も含んでいる。
【0006】
制御システムは、エンドエフェクタに連結された複数のレーザ式レンジファインダーを含む位置合わせシステムを、さらに含んでいる。この段落の上記の記載は本開示の例3を特徴付けており、実施例3は、上記の実施例1から実施例2のいずれか1つによる主題も含んでいる。
【0007】
位置合わせシステムは、複数のレーザ式レンジファインダーのデータに基づいて、構造物に対するカメラの配向を決定するように構成されている。この段落の上記の記載は本開示の実施例4を特徴付けており、実施例4は、上記の実施例3による主題も含んでいる。
【0008】
制御システムは、画像内にカメラの配向情報を埋め込むように、さらに構成されている。この段落中の上記の主題は、本開示の実施例5を特徴付けており、実施例5は、上記の実施例1から実施例4のいずれか1つによる主題も含んでいる。
【0009】
位置合わせシステムは、複数のレーザ式レンジファインダーのデータに基づいて、構造物に対するカメラの距離を決定するように構成されている。この段落中の上記の主題は、本開示の実施例6を特徴付けており、実施例6は、上記の実施例3から実施例5のいずれか1つによる主題も含んでいる。
【0010】
制御システムは、画像内に距離情報を埋め込むように、さらに構成されている。この段落中の上記の主題は、本開示の実施例7を特徴付けており、実施例7は、上記の実施例1から実施例6のいずれか1つによる主題も含んでいる。
【0011】
制御システムは、画像内に位置情報を埋め込むように構成されている。この段落中の上記の主題は、本開示の実施例8を特徴付けており、実施例8は、上記の実施例1から実施例7のいずれか1つによる主題も含んでいる。
【0012】
位置情報は、地上設置型目視検査装置のセンサからのデータに基づいている。この段落中の上記の主題は、本開示の実施例9を特徴付けており、実施例9は、上記の実施例1から実施例8のいずれか1つによる主題も含んでいる。
【0013】
位置情報は、構造物上の基準ポジションに基づく。この段落中の上記の主題は、本開示の実施例10を特徴付けており、実施例10は、上記の実施例1から実施例9のいずれか1つによる主題も含んでいる。
【0014】
移動ベースは、手動で操作可能なカートである。この段落中の上記の主題は、本開示の実施例11を特徴付けており、実施例11は、上記の実施例1から実施例10のいずれか1つによる主題も含んでいる。
【0015】
システムは、エンドエフェクタに連結された複数のレーザ式レンジファインダーを含む位置合わせシステムをさらに含んでおり、位置合わせシステムは、複数のレーザ式レンジファインダーのデータに基づいて、構造物に対するカメラの配向及び距離を決定するように構成され、制御システムは、配向情報及び距離情報を画像に埋め込むようにさらに構成されている。制御システムは、画像内に位置情報を埋め込むように構成されている。この段落中の上記の主題は、本開示の実施例12を特徴付けており、実施例12は、上記の実施例1から実施例11のいずれか1つによる主題も含んでいる。
【0016】
位置情報は、基準ポジションからの移動ベースの並進変位と、基準位置に対する、移動ベースの基準配向からの回転変位とを含む。この段落中の上記の主題は、本開示の実施例13を特徴付けており、実施例13は、上記の実施例1から実施例12のいずれか1つによる主題も含んでいる。
【0017】
作動可能アームは、インデックスレールを含む。この段落中の上記の主題は、本開示の実施例14を特徴付けており、実施例14は、上記の実施例1から実施例13のいずれか1つによる主題もまた含んでいる。
【0018】
本明細書で同様に開示されているのは、地上設置型目視検査装置である。地上設置型目視検査装置は、移動ベース、移動ベースに連結された作動可能アーム、作動可能アームに連結されたエフェクタ、及び制御システムを含む。作動可能アームは、三次元空間内で位置決め可能である。エンドエフェクタは、構造物の画像を撮像するように構成されたカメラを含む。制御システムは、基準位置に対するカメラの位置情報を決定するように構成されている。この段落中の上記の主題は、本開示の実施例15を特徴付けるものである。
【0019】
地上設置型目視検査装置は、エンドエフェクタに連結された複数のレーザ式レンジファインダーをさらに含んでいる。この段落の上記の記載は本開示の実施例16を特徴付けており、実施例16は、上記の実施例15による主題も含んでいる。
【0020】
本明細書では、方法も開示される。方法は、地上設置型目視検査装置を構造物に対して位置合わせすることを含み、地上設置型目視検査装置は、移動ベースと、移動ベースに連結された作動可能アームと、作動可動アームに連結されたエンドエフェクタとを含み、エンドエフェクタは、カメラを含んでいる。方法は、構造物の画像をカメラで撮像することと、基準位置に対するベースの位置、アームの位置、及びエンドエフェクタの位置を取得することによって、基準位置に対するカメラの位置情報を決定することも、また含む。方法は、位置情報を画像と関連付けすることもまた含む。この段落中の上記の主題は、本開示の実施例17を特徴付けるものである。
【0021】
方法は、センサからのデータを受信することと、受信したデータに基づいて、構造物に対するカメラの配向または距離を自動的に調整することとをさらに含む。この段落の上記の記載は本開示の実施例18を特徴付けており、実施例18は、上記の実施例17による主題も含んでいる。
【0022】
方法は、基準位置に対する移動ベースの変換行列を計算することで、ベースの位置を取得することと、基準位置に対する作動可能アームの変換行列を計算することで、アームの位置を取得することと、移動ベースの変換行列と作動可能アームの変換行列とで変換行列の乗算を実施して、基準位置に対するエンドエフェクタの変換行列を計算することと、をさらに含む。この段落中の上記の主題は、本開示の実施例19を特徴付けており、実施例19は、上記の実施例17から実施例18のいずれか1つによる主題もまた含んでいる。
【0023】
方法は、構造物に対するカメラの距離情報及び配向情報を決定することと、距離情報及び配向情報を画像と関連付けることとをさらに含む。この段落中の上記の主題は、本開示の実施例20を特徴付けており、実施例20は、上記の実施例17から例19のいずれか1つによる主題もまた含んでいる。
【0024】
説明されている本開示の主題の特徴、構造、利点、及び/または特性は、1つ以上の実施形態及び/または実装形態において、任意の好適な態様で組み合わされ得る。以下の説明では、本開示の主題の実施形態の十分な理解を促すために、数々の具体的な詳細事項が提示される。当業者は、特定の実施形態及び/または実装形態の具体的な特徴、詳細事項、構成要素、材料、及び/または方法のうちの1つ以上がなくとも本開示の主題が実践され得ることを、認識しているであろう。他の例では、全ての実施形態または実装形態に存在するわけではない追加の特徴及び利点が、ある種の実施形態及び/または実装形態において認められ得る。さらに、ある例では、本開示の主題の態様を不明瞭にしないよう、周知の構造、材料、または動作は、図示されていないか、または詳細に説明されていない。本開示の主題の特徴及び利点は、以下の説明及び添付の特許請求の範囲から、より一層明らかになるか、または、以下に明記されている本主題を実践することによって、理解され得る。
【0025】
本主題の利点がより容易に理解され得るように、上記で概説した本主題のより詳細な説明が、添付の図面に示す具体的な実施形態を参照することによって提供される。これらの図面が、本主題の典型的な実施形態のみを示しており、したがって、本主題の範囲を限定するとみなされるべきではないことを理解した上で、以下の図面を使用することによって、さらなる具体性及び詳細と共に、本主題を説明し解説する。
【図面の簡単な説明】
【0026】
図1】本開示の1つ以上の実施形態による、地上設置型目視検査装置の側面図である。
図2】本開示の1つ以上の実施形態による、航空機に対して検査をするポジションにある、地上設置型目視検査装置の側面図である。
図3A】本開示の1つ以上の実施形態による、位置ずれした配向にあるカメラ付きのエンドエフェクタの斜視図である。
図3B】本開示の1つ以上の実施形態による、位置合わせされた配向にあるカメラ付きのエンドエフェクタの斜視図である。
図4】本開示の1つ以上の実施形態による、航空機を検査中の地上設置型目視検査装置の側面図である。
図5】本開示の1つ以上の実施形態による、地上設置型目視検査システムのブロック図である。
図6】本開示の1つ以上の実施形態による方法の概略フロー図である。
【発明を実施するための形態】
【0027】
この明細書全体を通じて言及されている「一実施形態(one embodiment/an embodiment)」、または類似の文言は、この実施形態に関連して説明されている特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。この明細書全体を通じて出てくる「一実施形態では(in one embodiment/in an embodiment)」、及び類似の文言は、全て同一の実施形態を指していることもあるが、必ずしもそうとは限らない。同様に、「実装形態」という語の使用は、本開示の1つ以上の実施形態に関連して説明されている特定の特徴、構造、または特性を有する一実装形態を意味するが、別様の相関が明示されていない限り、一実装形態は、1つ以上の実施形態に関連付けられていてよい。
【0028】
図1を参照すると、地上設置型目視検査装置100の一実施形態が示されている。地上設置型目視検査装置100は、構造物の高解像度画像を撮像し、撮像した画像を関連する情報と関連付けることによって、ビークル(例えば図2及び図4に示す航空機122)といった構造物を目視で検査するために使用される。例えば、航空機は時として、摩耗に関する目視検査を必要とする。多数の航空機のサイズ及び形状によって、全ての必要な表面エリアを目視することが困難になっている。到達困難なエリアを目視で検査するという問題への1つの解決法は、ドローンまたは無人航空機(UAV)を利用し、航空機に近接して飛ばして航空機の画像を撮像することである。
【0029】
UAVから撮像された画像は、時として不鮮明である。これは、UAVの振動か、またはUAVの操作を困難にする気象条件によって生じ得る。UAVを航空機上に着陸させることによって、そうした懸念が低減する助けとなり得る。しかし残念ながら、UAVが着陸できるのは、航空機のあるエリア上のみである。さらに、UAVを、航空機上に着陸させるのに十分なほど航空機に近接して飛ばすことは、航空機に損傷を生じさせるリスクを増大させる。これらの理由及び他の理由によって、地上設置型目視検査装置100及び対応するシステムが開示される。
【0030】
地上設置型目視検査装置100は、移動ベース102を含む。移動ベース102は、地上設置型目視検査装置100の残りの部分を操作及び支持することが可能な、カートである。ある実施形態では、移動ベース102は、手動で操作されてよい。他の実施形態では、移動ベース102は、電動で操作されてよい。移動ベース102は、ホロノミック運動を可能にする、車輪103を含む。即ち、移動ベース102は、回転しながらと同時に、あらゆる並進方向に動き得る。したがって、移動ベース102を、検査すべき構造物の付近の任意の位置に動かすことが可能である。
【0031】
地上設置型目視検査装置100は、作動可能アーム104を含む。作動可能アーム104は、三次元内で位置決め可能な機械式アームである。示されている実施形態では、作動可能アーム104は、垂直アクチュエータ108と水平アクチュエータ109を含む。図1を参照すると、垂直アクチュエータ108は、矢印132によって示される垂直方向の動きを可能にしている。即ち、垂直アクチュエータ108は、所定の範囲の高さ内における、任意の高さへ作動するように構成されている。ある実施形態では、高さの範囲は、構造物の高さよりも広範囲な任意の高さである。それによって、作動可能アーム104が、構造物のあらゆる表面の付近にカメラ110を配置することが可能になっている。垂直アクチュエータ108は、任意のタイプのリニアアクチュエータ、伸縮式ポール、ジッパーマスト、インデックスレール、油圧ピストンもしくは空気圧ピストン、電気モータ、または他の同様の作動可能な装置であってよい。ある実施形態では、システムは、ケーブルといった人力の機構を用いて、手動で動かされ得る。様々な構造物のどれもが装置100によって検査され得るが、以下では、装置100の特徴及び機能は、航空機122に関連して説明される。
【0032】
同様に、水平アクチュエータ109は、矢印138によって示される水平方向の動きを可能にしている。即ち、水平アクチュエータ109は、所定の範囲の長さ内における、任意の長さへ作動するように構成されている。ある実施形態では、長さの範囲は、航空機122の胴体の幅の半分よりも広範囲な任意の長さである。それによって、作動可能アーム104が、航空機122のあらゆる表面の付近にカメラ110を配置することが可能になっている。水平アクチュエータ109は、任意のタイプのリニアアクチュエータ、伸縮式ポール、ジッパーマスト、インデックスレール、油圧ピストンもしくは空気圧ピストン、電気モータ、または他の同様の作動可能な装置であってよい。
【0033】
移動ベース102の動き、並びに垂直アクチュエータ108及び水平アクチュエータ109のそれぞれ垂直変位及び水平変位によって、作動可能アーム104に連結されたエンドエフェクタ106は、任意の三次元位置に位置決め可能である。上記の動きに加えて、作動可能アーム104は、(矢印134で表されている)移動ベース102に対する垂直アクチュエータ108の回転、(矢印136で表されている)垂直アクチュエータ108に対する水平アクチュエータ109の回転、及び(矢印139で表されている)水平アクチュエータ109に対するエンドエフェクタ106の回転といった、さらなる運動度(degrees of motion)を含んでいてよい。
【0034】
作動可能アーム104は、リニアアクチュエータの組み合わせとして示され、説明されているが、作動可能アーム104は、限定しないが、ジブ・クレーン、伸縮式クレーン、ロボットアーム、またはリニアアクチュエータと回転アクチュエータの組み合わせなどといった、エンドエフェクタ106を三次元空間内に位置決めすることを可能にする、他の構成を備えていてよい。
【0035】
作動可能アーム104の端部に、エンドエフェクタ106が連結されている。エンドエフェクタ106は、矢印139で示されるように、水平アクチュエータ109に対して回転可能である。エンドエフェクタ106の回転によって、エンドエフェクタ106を三次元空間内において位置決めすることが可能(例えば配置可能及び配向可能)になっている。
【0036】
エンドエフェクタ106はカメラ110を含む。カメラ110は、高解像度の映像または静止画像を撮像するように構成されていてよい。エンドエフェクタ106が三次元空間内で位置決め可能であるため、カメラ110のポジション及び配向は、既知である。こうした情報は、カメラ110の撮像された画像に関連付けることが可能であり、それによって、航空機122に対するカメラの位置及び航空機122に対するカメラ110の配向を知ることができる。
【0037】
カメラ110は、地上の移動ベース102に連結されているため、UAVに関連付けられているカメラよりも少ない振動で、高解像度の画像を撮像し得る。加えて、カメラ110は、これもまたUAVに関連付けられたカメラでは起こり得るように不注意によって航空機122の表面にぶつかることなく、航空機122の表面付近に配置されてよい。
【0038】
地上設置型目視検査装置100は、さらに制御システム150に関連付けられていてよい。制御システム150は、ユーザが、移動ベース102、作動可能アーム104、エンドエフェクタ106、及びカメラ110の動きを制御することを可能にするように構成されていてよい。ある実施形態では、制御システム150は、コンピュータ端子101を介して操作される。コンピュータ端子101は、限定しないが、移動ベース102の位置、移動ベースの配向、垂直アクチュエータ108の高さ、水平アクチュエータ109の長さ、エンドエフェクタ106の配向を含む、様々な測定値をユーザに提供するように構成されていてよい。他の実施形態では、制御システム150は、地上設置型目視検査装置100を遠隔制御する。
【0039】
制御システム150は、航空機122といった大型構造物上の位置情報128を、撮像された構造物の画像126と関連付けるように構成されている。以下で説明するように、航空機122の検査について特に言及する。しかし、装置100及び制御システム150が、ビークル、船舶、ロケットなどといった様々な他の大型構造物のうちの任意のものを検査するのに使用され得ることは、認識されている。ある実施形態では、制御システム150は、航空機122上の基準位置125に対するカメラ110の位置を決定するようにさらに構成されている。カメラ110の位置は、地上設置型目視検査装置100の動きを、例えば、基準位置125に対するカメラ110の動きを光学的に測定すること(例えば、位置推定とマッピングの同時実行(SLAM)を通じて)や、または本明細書に記載の他の測定によって、決定され得る。位置情報128は、移動ベース102の基準ポジションからの水平変位と、移動ベース102の基準位置125からの回転変位とを含んでいてよい。基準位置125は、地上設置型目視検査装置100の基準ポジション、及び/または基準配向を含んでいてよい。
【0040】
図2を参照すると、地上設置型目視検査装置100が、航空機122を検査しているところが示されている。地上設置型目視検査装置100は、航空機122に対して移動することが可能である。地上設置型目視検査装置100の配置は、(出発位置といった)地上設置型目視検査装置100の基準位置125に対して測定されてよい。例えば、地上設置型目視検査装置100は、航空機122のノーズ123に配置及び配向されていてよい。地上設置型目視検査装置100が航空機125に対して移動するので、測定は、基準位置125に対するものとなる。即ち、移動ベース102の変位及び配向は、基準位置125に対して測定される。加えて、垂直アクチュエータ108の垂直変位、及び水平アクチュエータ109の水平変位、並びに垂直アクチュエータ108に対する水平アクチュエータ109の回転が、測定される。さらに、基準位置125に対するエンドエフェクタ106の配向が測定される。これらの測定によって、撮像された画像の、航空機122上の位置を知ることが可能になる。クローズアップの高解像度画像の場合、画像それ自体は、その画像が航空機122上のどこで撮像されたかを表す視覚的な基準点を何も有していない可能性が高い。
【0041】
基準位置125は、航空機122のノーズ123に関連するものであってよい。基準位置125は、翼、窓、エンジン、安定板、フラップ、着陸装置、または航空機122の他の特定可能な構成要素もしくは部品といった、航空機122上の任意の他の特定可能な位置に関連していてよい。
【0042】
地上設置型目視検査装置100は、地上設置型目視検査装置100の構成要素の動きを測定するように構成された、様々なセンサまたはエンコーダを含んでいてよい。例えば、移動ベース102は、移動ベース102の変位及び回転を感知するセンサを含んでいてよい。ある実装形態では、移動ベース102の変位及び回転は、(例えば走行距離測定によって)車輪103の動きを測定するように構成された、差動走行距離測定システムによって測定される。別の実装形態では、移動ベース102の動きは、全地球測位システム(GPS)によって測定される。別の実装形態では、移動ベース102の動きを測定するのに、エンコーダ及びセンサが使用される。地上設置型目視検査装置100は、動きを測定するのに、インクリメンタルエンコーダ、アブソリュートエンコーダ、回転エンコーダ、ポジションセンサ、近接センサ、線形可変差動変圧器、ポテンショメータ、光学センサ、及び他の同様なエンコーダまたはセンサを含む、様々な構成要素を使用し得る。
【0043】
地上設置型目視検査装置100は、作動可能アーム104の動きを測定するように構成された、様々なセンサまたはエンコーダを含んでいてよい。センサは、垂直アクチュエータ108及び水平アクチュエータ109といった、作動可能アーム104の個々の構成要素の相対的な動きを測定するように構成されていてよい。例として、垂直アクチュエータ108の垂直ポジションは、垂直アクチュエータ108の配置を感知する、インデックスレールまたはリニアポジションセンサによって測定され得る。作動可能アーム104は、動きを測定するのに、インクリメンタルエンコーダ、アブソリュートエンコーダ、回転エンコーダ、ポジションセンサ、近接センサ、線形可変差動変圧器、ポテンショメータ、光学センサ、及び他の同様なエンコーダまたはセンサを含む、様々な構成要素を使用し得る。
【0044】
ここで図3A及び図3Bを参照すると、エンドエフェクタ106が示されている。エンドエフェクタ106は、ピボットジョイント107によって支持要素105に連結された、カメラ110を含む。ピボットジョイント107によって、支持要素105に対するカメラ110の動きが可能になっている。ある実施形態では、カメラ110とエンドエフェクタ106は、互いに対して動く。即ち、カメラ110はエンドエフェクタ106の他の部分に対して回転する。ある実施形態では、カメラ110とエンドエフェクタ106は、互いに対して動かない。即ち、エンドエフェクタ106の、作動可能アーム104に対する回転によって、カメラ110が回転する。
【0045】
エンドエフェクタ106は、位置合わせシステム170をさらに含み得る。位置合わせシステム170は、複数のレーザ式レンジファインダー140を含む。レーザ式レンジファインダー140は、カメラ110に連結されている。レーザ式レンジファインダー140は、航空機122に対するカメラ110の配置を測定するのに、レーザ141を使用するように構成されている。ある実施形態では、レーザ式レンジファインダー140は、カメラ110の航空機122からの距離を測定するように構成されている。ある実施形態では、レーザ式レンジファインダー140は、航空機122に対するカメラ110の配向を測定するように構成されている。位置合わせシステム170は、カメラ110の両側に配置された複数のレーザ式レンジファインダー140を含む。位置合わせシステム170は、2つ以上のレーザ式レンジファインダー140を利用し得る。ある実施形態では、レーザ式レンジファインダー140は、カメラ110の両側に配置されている。ある実施形態では、レーザ式レンジファインダー140は、カメラ110の外周の周りに離間配置されている。レーザ式レンジファインダーの数及び間隔は、位置合わせシステム170が、航空機122に対するカメラ110の配向を決定するのを可能にするようにして、構成されていてよい。
【0046】
位置合わせシステム170は、限定しないが、光学式、レーザ式、レーダー式、ソーナー式、ライダー(lidar)式、及び超音波式の近接センサ含む、種々のタイプのレンジファインダーを利用してよい。
【0047】
ある実施形態では、位置合わせシステム170は、カメラ110を、撮像する航空機122の表面に垂直な配向へと自動的に位置合わせするのに、フィードバックシステムを利用するように構成されている。ある実施形態では、位置合わせシステム170は、地上設置型目視検査装置100が航空機122に対して動くのにつれて、カメラ110の位置合わせを連続的に調整する。地上設置型目視検査装置100が航空機122のターゲットエリアに沿って動くのにつれて、位置合わせシステム170は、レーザ式レンジファインダー140からのデータを受信することと、地上設置型目視検査装置100及びその様々な構成要素の動きを制御し得る任意のアクチュエータを制御することとによって、自動的にカメラ110を位置合わせし得る。
【0048】
ある実施形態では、カメラ110の配向は、手動で制御される。図3Aを参照すると、カメラ110は、航空機122の表面に対して位置ずれしている。位置合わせシステム170は、カメラ110を回転して、図3Bに示すように、レーザ式レンジファインダー140が、レーザ(複数)141が全てカメラ110から同一または同様の距離で航空機122の表面を感知する状態で航空機122の表面と並ぶ(line up with)まで、カメラ110の配向を自動的に調整する。
【0049】
ここで図4を参照すると、地上設置型目視検査システム50及び航空機122が示されている。地上設置型目視検査システム50は、地上設置型目視検査装置100及び位置合わせシステム170を含む。位置合わせシステム170は、航空機122までの距離を測定するのにレーザ141を利用する、レーザ式レンジファインダー140を含む。レーザ式レンジファインダー140のレーザ141は、レーザ(複数)141が航空機122までの距離が等しいことを示すまでエンドエフェクタ106を回転することによって、カメラ110を航空機122に対して配向するのに利用される。
【0050】
ある実施形態では、レーザ式レンジファインダー140は、近接センサの役割を果たすように構成されている。レーザ式レンジファインダー140は、近接センサとして、地上設置型目視検査装置100に航空機122への接近を知らせ、またある実施形態では自動的にアクチュエータを作動/動作停止させるため、地上設置型目視検査装置100の自動動作制御を補助し得る。即ち、レーザ式レンジファインダー140からのデータは、地上設置型目視検査装置100の様々なアクチュエータを停止または作動させ、衝突の可能性を自動的に防止するために使用され得る。地上設置型目視検査装置100と航空機122との間の衝突を防止するように構成された、他のタイプの衝突防止システムが配備されてよい。地上設置型目視検査装置100の自動制御がない、ある実施形態では、レーザ式レンジファインダー140は、地上設置型目視検査装置100と航空機122との間の衝突の可能性をユーザに警告するため、表示灯または警告音を作動し得る。
【0051】
上記で検討したように、地上設置型目視検査装置100は、基準位置125(出発位置)を利用して、基準位置125に対する地上設置型目視検査装置100の動きを測定し得る。ある実施形態では、航空機122の事前取得データが利用される。ある実施形態では、事前取得データは、航空機122のコンピュータ支援設計(CAD)モデルから引き出される。
【0052】
ここで図5を参照すると、地上設置型目視検査システム50のブロック図が示されている。地上設置型目視検査システム50は、航空機の目視検査を補助するため、画像を撮像するように構成されている。地上設置型目視検査システム50は、地上設置型目視検査装置100及び制御システム150を含む。
【0053】
地上設置型目視検査システム50は、残りの図面に関連して本明細書で説明されている特徴の一部または全部を含んでいてよい、地上設置型目視検査装置100を含む。制御システム150は、位置決めシステム160と位置合わせシステム170とを含む。制御システム150は、地上設置型目視検査装置100の動きを制御して調節するように構成されている。
【0054】
制御システム150は、プロセッサ、メモリ、コンピュータハードウェア及びソフトウェア、コントローラ、並びにモジュールといった、本明細書に記載されている地上設置型目視検査装置100の構成要素の制御を可能にするため、図示されていない様々な構成要素を含んでいてよい。制御システム150は、センサまたはエンコーダからの入力を測定または受信し、それに従って地上設置型目視検査装置100を調整するように、さらに構成されていてよい。ある実施形態では、制御システム150は、センサ127またはレーザ式レンジファインダー140からデータを受信する。センサ127またはレーザ式レンジファインダー140からのデータは、地上設置型目視検査装置100(及び、具体的には個々のアクチュエータ)を方向づけして、構造物122との位置合わせを達成するための、入力として使用され得る。ある実施形態では、センサ127またはレーザ式レンジファインダー140からのデータは、航空機122の表面に対するカメラ110の角度及び/または距離を自動的に調整するために使用される。
【0055】
ある実施形態では、制御システム150は、位置決めシステム160を含む。位置決めシステム160は、地上設置型目視検査装置100の配置及び配向を制御するように構成されている。ある実施形態では、位置決めシステム160は、地上設置型目視検査装置100が航空機122のターゲットエリア上を動く間に、地上設置型目視検査装置100の構成要素のポジション及び配向を、連続して調整するように構成されている。位置決めシステム160は、(垂直アクチュエータ108及び水平アクチュエータ109、並びに、ピボットジョイント107を中心にしてエンドエフェクタ106を回転させる回転アクチュエータ(図示せず)といった)アクチュエータを作動させて、航空機122に対するエンドエフェクタ106のポジション及び配向を調整するように構成されていてよい。一例として、地上設置型目視検査装置100が航空機122の胴体に沿って動くのにつれて、位置決めシステム160は、胴体までの距離を測定し、地上設置型目視検査装置100を自動で調整して、カメラ110の胴体からの距離と表面に対する配向とが一定に保たれるようにしてよい。ある実施形態では、位置決めシステム160は、地上設置型目視検査装置100の動きを測定するように構成されている。位置決めシステム160は、地上設置型目視検査装置100の絶対的な動き、または、地上設置型目視検査装置100の基準位置125に対する相対的な動きを、測定するように構成されていてよい。
【0056】
ある実施形態では、位置決めシステム160は、移動ベース102の配置及び配向を制御してその動きを測定し、ベースの位置162を決定するように構成されている。ベースの位置162は、絶対位置、または出発位置即ち基準位置125に対する相対位置であってよい。
【0057】
ある実施形態では、位置決めシステム160は、作動可能アーム104の配置及び配向を制御してその動きを測定し、アームの位置164を決定するように構成されている。アームの位置164は、絶対位置、または出発位置即ち基準位置125に対する位置であってよい。
【0058】
ある実施形態では、位置決めシステム160は、エンドエフェクタ106の配置及び配向を制御してその動きを測定し、エンドエフェクタの位置166を決定するように構成されている。エンドエフェクタの位置166は、絶対位置、または出発位置即ち基準位置125に対する位置であってよい。
【0059】
ある実施形態では、制御システム150は、位置合わせシステム170を含む。位置合わせシステム170は、エンドエフェクタ106とカメラ110の位置合わせを制御するように構成されている。ある実施形態では、位置合わせシステム170は、航空機122に対する、エンドエフェクタ106及びカメラ110の動き及び位置を測定するように構成されている。位置合わせシステム170は、2017年6月14日出願の米国特許出願第15/623,304でより詳細に説明されている位置合わせシステムと、同様または同一の態様で構成されていることができる。
【0060】
ある実施形態では、位置合わせシステム170は、航空機122に対するカメラ110またはエンドエフェクタ106の距離情報172を、測定及び記録するように構成されている。こうした距離情報172は、撮像された航空機122の画像126に関連付けられていてよい。ある実施形態では、位置合わせシステム170は、航空機122に対するカメラ110またはエンドエフェクタ106の配向情報174を、測定及び記録するように構成されている。こうした配向情報174は、撮像された航空機122の画像126に関連付けられていてよい。
【0061】
距離情報172及び配向情報174は、撮像された画像126に関連付けもしくはリンクされていてよいか、または、位置情報128として、撮像された画像内に埋め込まれていてよい。位置情報128は、撮像された画像126内に埋め込まれたメタデータであってよく、限定しないが例として、地上設置型目視検査装置100の配置情報、航空機上における撮像された画像126の位置情報(基準位置125もしくはCADモデルに基づく)、距離情報172、または配向情報174といった、制御システム150によって測定または記録される任意の情報を含んでいてよい。撮像された画像126に関連付けられた情報は、ユーザが撮像された画像126をより精密に評価するのを補助する。
【0062】
ある実施形態では、位置情報128は、構造物122のローカル座標系内で規定された、カメラ110(またはエンドエフェクタ106)の現在位置(例えばポジション及び配向)である。構造物122のローカル座標系は、構造物122のCADモデルまたは他の同様の情報によって決定され得る。ある実施形態では、撮像された画像126とカメラ110(またはエンドエフェクタ106)の現在位置(即ちポジション及び配向)との間の、関連付けが決定される。ある実施形態では、基準位置125に対するベース102の位置から得られた、ローカル座標系内の基準位置125に対するカメラ110の位置は、ベース102に対する作動可能アーム104のキネマティック動作と組み合わせられる。
【0063】
ある実施形態では、制御システム150は、走行距離測定及び/またはGPSのいずれかから、ベースの位置162を取得する。例えば、原点または基準位置125に対する、移動ベース102の変換行列が取得され得る。ある実施形態では、エンドエフェクタ106またはカメラ110の位置は、エンコーダデータ及び作動可能アーム104の形状寸法によって決定される。別の例として、原点または基準位置125に対する、作動可能アーム104の変換行列が取得されて、アームの位置164が決定されてよい。ある実施形態では、ローカル座標系の原点に対するエンドエフェクタ106(及び、その延長線上でカメラ110の)変換行列を計算してエンドエフェクタの位置166を計算するために、2つの変換行列による行列の乗算が実施される。ある実施形態では、制御システム150は次に、ターゲット物体のローカル座標系の原点に対する、カメラ110の位置情報128を、現在の撮像された画像126と関連付け得る。ある実施形態では、これは、(例えば、画像メタデータ用のエクスチェンジャブル・イメージ・ファイル・フォーマット(EXIF)を用いることによって)位置情報128を画像126内に埋め込むことを意味し得る。
【0064】
ある実施形態では、制御システム150は、センサ127を含む。センサ127は、地上設置型目視検査装置100の一部であってよい。ある実施形態では、センサ127の一部または全部は、非搭載センサであってよい。一例として、センサは、航空機122上にあるか、地上にあるか、またはこの両方にあってよい。センサ127は、制御システム150にデータを供給するように構成されていてよい。このデータは、航空機122に対する、地上設置型目視検査装置100の距離情報及び配向情報を含んでいてよい。ある実施形態では、このデータは、地上設置型目視検査装置100の動きを制御するために使用されてよい。即ち、地上設置型目視検査装置100の動きは、センサ127のデータに基づいていてよい。非搭載センサを含む実施形態では、制御システム150または地上設置型目視検査装置100は、非搭載センサと通信するように構成されていてよい。ある実施形態では、制御システム150は、非搭載センサと無線で通信するように構成されていてよい。
【0065】
ここで図6を参照すると、方法600の一実施形態が示されている。方法600は、地上設置型目視検査装置を航空機に対して位置合わせすること602を含み、地上設置型目視検査装置は、移動ベースと、移動ベースに連結された作動可能アームと、作動可動アームに連結されたエンドエフェクタとを含み、エンドエフェクタは、カメラを含んでいる。方法600は、カメラによって航空機の画像を撮像604することを含む。方法600は、基準位置に対するベースの位置、アームの位置、及びエンドエフェクタの位置を取得することによって、基準位置に対するカメラの位置情報を決定することを含む。方法600は、位置情報を画像と関連付け608することを含む。ここで、方法は終了する。
【0066】
ある実施形態では、方法600は、位置情報を画像に埋め込むことをさらに含み得る。
【0067】
ある実施形態では、方法600は、基準位置に対する移動ベース102の変換行列を計算することによって、ベースの位置を取得することをさらに含み得る。ある実施形態では、方法600は、基準位置に対する作動可能アームの変換行列を計算することによって、アームの位置を取得することをさらに含み得る。様々な実施形態では、方法は、移動ベースの変換行列と作動可能アームの変換行列との、行列の乗算を実施して、基準位置に対するエンドエフェクタの変換行列を計算することをさらに含み得る。
【0068】
ある実施形態では、方法は、航空機に対するカメラの距離情報を決定することと、この距離情報を画像と関連付けることとを含み得る。ある実施形態では、方法は、航空機に対するカメラの配向情報を決定することと、この配向情報を画像と関連付けることとを含み得る。
【0069】
方法は、示された順序で説明されているが、数々の順序付けされた組み合わせのうちのいずれによって進行してもよい。
【0070】
上記の説明において、「上へ(up)」、「下へ(down)」、「上側(upper)」、「下側(lower)」、「水平(horizontal)」、「垂直(vertical)」、「左(left)」、「右(right)」、「上方(over)」、「下方(under)」などといった、特定の語が使用されていることがある。これらの語は、相互関係について触れている場合、必要に応じて、説明に何らかの明確性をもたらすために使用されている。しかし、これらの語は、絶対的な関係性、ポジション、及び/または配向を含意することを意図していない。例えば、ある対象物に関して、単にこの対象物をひっくり返すことによって、「上側」表面が「下側」表面になり得る。それでも、これは依然として同じ対象物である。さらに、「含む(including)」、「備える(comprising)」、「有する(having)」という語、及びこれらの変化形は、別様に明記されていない限り、「〜を含むが、それらに限定されるわけではない(including but not limited to)」ことを意味する。列挙されているアイテムは、別様に明記されていない限り、これらのアイテムのいずれかまたは全てが相互排他的及び/または相互包括的であることを意味しない。「1つの(a/an)」、及び「その/この(the)」という語も、別様に明記されていない限り、「1つ以上の(one or more)」という意味を表わす。さらに、「複数(plurality)」という語は、「少なくとも2つ(at least two)」のことであると定義され得る。
【0071】
加えて、この明細書で、1つの要素が別の要素に「連結されている(coupled)」という事例は、直接的な連結及び間接的な連結を含み得る。直接連結は、1つの要素が別の要素に連結されること、且つ、別の要素と何らかの接触を有することであると、定義され得る。間接連結は、2つの要素間の連結であって、互いに直接的に接触してはいないが、連結された要素同士の間に1つ以上の追加要素を有する連結のことであると、定義され得る。さらに、本明細書において、1つの要素を別の要素に固定することは、直接的に固定することと、間接的に固定することとを含み得る。加えて、本明細書において、「隣接(adjacent)」は必ずしも接触を意味するものではない。例えば、1つの要素は、別の要素に接触することなく隣接していることができる。
【0072】
本書において、列挙されたアイテムと共に使用される「〜のうちの少なくとも1つ(at least one of)」という表現は、列挙されたアイテムのうちの1つ以上の種々の組み合わせが使用され得ることと、必要とされるのが列挙されたアイテムのうちの1つだけであり得ることを、意味している。アイテムとは、特定の対象物、物品、またはカテゴリのことであり得る。言い換えると、「〜のうちの少なくとも1つ」は、アイテムの任意の組み合わせ、または任意の数のアイテムが列挙された中から使用され得るが、列挙されたアイテムの全てが必要とされるわけではないことを意味している。例えば、「アイテムA、アイテムB、及びアイテムCのうちの少なくとも1つ」とは、例えば、「アイテムA」、「アイテムAとアイテムB」、「アイテムB」、「アイテムAとアイテムBとアイテムC」、または「アイテムBとアイテムC」を意味し得る。ある場合には、「アイテムA、アイテムB、及びアイテムCのうちの少なくとも1つ」は、限定しないが例として、「2個のアイテムAと1個のアイテムBと10個のアイテムC」、「4個のアイテムBと7個のアイテムC」、または他の好適な組み合わせを意味し得る。
【0073】
別様に示されていない限り、「第1(first)」、「第2(second)」などの語は、本明細書では単に符号として使用されており、これらの語が指しているアイテムに、順序的、ポジション的、または序列的な要件を課すことを意図するものではない。さらに、例えば「第2」のアイテムに言及したからといって、例えば「第1」の、もしくはより小さい数が振られたアイテム、及び/または、例えば「第3」の、もしくはより大きな数が振られたアイテムの存在が、必要とされることも、排除されることもない。
【0074】
本明細書において、特定の機能を実施する「よう構成/設定された(configured to)」システム、装置、構造、物品、要素、構成要素、またはハードウェアは、実際には、いかなる変更も伴わずにその特定の機能を実施することが可能であり、さらなる改変の後にその特定の機能を実施する可能性があるに過ぎないというものではない。言い換えると、特定の機能を実施する「よう構成/設定された」システム、装置、構造、物品、要素、構成要素、またはハードウェアは、その特定の機能を実施するという目的のために、特に選択され、作り出され、実装され、利用され、プログラムされ、及び/または設計されている。本明細書で使用される、「ように構成された」という表現は、システム、装置、構造、物品、要素、構成要素、またはハードウェアがさらなる改変なしで特定の機能を実行することを可能にする、システム、装置、構造、物品、要素、構成要素、またはハードウェアの特性が存在することを意味する。この開示においては、特定の機能を実施する「よう構成/設定され」ていると記載されているシステム、装置、構造、物品、要素、構成要素、またはハードウェアは、さらにまたは代わりに、その機能を実施するのに「適合している(adapted to)」、及び/または、実施する「ように動作可能である(operative to)」と記載されていてもよい。
【0075】
本明細書に含まれる概略フロー図は概して、論理フロー図として記載されている。そのため、図示の順序及び符号が付されたステップは、提示されている方法の一実施形態を示しているものである。機能、論理、または効果の点で、図示されている方法の1つ以上のステップまたはステップの部分と均等な、他のステップ及び方法も想起され得る。加えて、用いられている形式及びシンボルは、方法の論理ステップを解説するために提示されており、方法の範囲を限定するものではないと理解される。フロー図には様々な種類の矢印及び線が用いられていてよいが、これらは、対応する方法の範囲を限定するものではないと理解される。実際、いくつかの矢印またはその他のコネクタは、本方法の論理フローを示すためにのみ使用されていてよい。例えば、矢印は、図示されている方法の列挙されたステップ間の、不特定の長さの待機時間またはモニタリング時間を示し得る。加えて、特定の方法が発生する順序は、図示されている対応するステップの順序に厳密に従うことも、従わないこともある。
【0076】
本明細書で記載されている、関連するモジュール及び/または電子コントローラを含み得る制御システムは、カスタムのVLSI回路もしくはゲートアレイ、論理チップといった市販の半導体、トランジスタ、または他の個別構成要素を含む、ハードウェア回路として実装され得る。制御システムはまた、例えばフィールドプログラマブルゲートアレイ、プログラマブルアレイ論理、プログラマブル論理デバイスなどといった、プログラマブルハードウェアデバイスにも実装され得る。
【0077】
制御システムは、様々なタイプのプロセッサによって実行するための、コード及び/またはソフトウェアにも実装され得る。識別されたコードのモジュールは、例えば、実行可能コードの1つ以上の物理ブロックまたは論理ブロックを含み、これらのブロックは例えば、オブジェクト、手順、または機能として編成されていてよい。しかしながら、電子コントローラの実行ファイルは、物理的に一緒に位置している必要はなく、異なる位置に記憶されていて、論理的に結合されると電子コントローラを構成し、電子コントローラとしの所定の目的を達成する、異種の(disparate)命令を含んでいてよい。
【0078】
実際、電子コントローラのコードは、単一の指令または多数の指令であってよく、かつ、種々のプログラム間にわたり、いくつかのメモリデバイスにわたって、いくつかの異なるコードセグメントに分散されていてさえもよい。同様に、動作データは、本明細書では、電子コントローラ内で特定されて示されていてよく、任意の好適な形式で具現化され、かつ、任意の好適なタイプのデータ構造に体系化されていてよい。動作データは、単一のデータセットとして収集されてよいか、または、種々のコンピュータ可読記憶デバイスにわたって分散されることを含め、種々の場所に分散されていてよい。電子コントローラまたは電子コントローラの部分がソフトウェアで実装される場合、このソフトウェアの部分は、1つ以上のコンピュータ可読記憶デバイスに記憶される。
【0079】
1つ以上のコンピュータ可読媒体の、任意の組み合わせが利用され得る。このコンピュータ可読媒体は、コンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、コードを記憶する記憶デバイスであり得る。記憶デバイスは、限定しないが例として、電子式、磁気式、光学式、電磁式、赤外線、ホログラフィ、マイクロメカニカル、または半導体の、システム、装置、もしくはデバイス、またはこれらの任意の好適な組み合わせであり得る。
【0080】
記憶デバイスのより具体的な例(網羅的ではないリスト)は、1つ以上の電線を有する電気接続、携帯式コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMもしくはフラッシュメモリ)、携帯式コンパクトディスク読み出し専用メモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、または、これらの任意の好適な組み合わせを含む。この明細書の文脈においては、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、もしくはデバイスによって使用される、または、それらと関連しているプログラムを包含しているかもしくは記憶することが可能な、任意の有形媒体であり得る。
【0081】
実施形態の動作を実施するためのコードは、Python、Ruby、Java、Smalltalk、C++、などといったオブジェクト指向プログラミング言語、並びに、「C」プログラミング言語やそれに類するもの、及び/または、アセンブリ言語といった機械言語などの、従来型の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合せで書かれていてよい。コードは、専らユーザのコンピュータで実行され得るか、部分的にユーザのコンピュータで実行され得るか、スタンドアローン型のソフトウェアパッケージとして実行され得るか、部分的にユーザのコンピュータで、かつ部分的に遠隔コンピュータで実行され得るか、または、専ら遠隔のコンピュータもしくはサーバで実行され得る。最後の事例の場合、遠隔コンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを通じてユーザのコンピュータに接続されていてよいか、または、(例えば、インターネットサービスプロバイダを使用してインターネットを通じて、)外部コンピュータへの接続がなされてよい。
【0082】
記載されている実施形態の特徴、構造物、または特性は、任意の適切な態様で組み合わされてよい。上記の記載では、実施形態を十分に理解させるため、プログラミング、ソフトウェアモジュール、ユーザの選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップなどの例といった、数々の具体的な詳細が与えられている。しかし、諸実施形態が、特定の詳細事項の1つ以上がなくても実施可能であり得ることや、他の方法、構成要素、材料などによっても実施可能であることを、当業者は認識するであろう。他の例では、本実施形態の態様を不明瞭にしないよう、周知の構造、材料、または動作は、図示されていないか、または、詳細に説明されていない。
【0083】
実施形態の諸態様について、実施形態による方法、装置、システム、及びプログラム製品の概略フロー図及び/または概略ブロック図を参照しながら、以下で説明する。概略フロー図及び/または概略ブロック図の各ブロック、並びに概略フロー図及び/または概略ブロック図におけるブロックの組み合わせが、コードによって実行され得ることは、理解されるだろう。これらのコードは、汎用コンピュータ、特殊用途コンピュータ、または機器を作製するための他のプログラマブルデータ処理装置の、プロセッサに対して与えられてよく、それによって、コンピュータのプロセッサ、または他のプログラマブルデータ処理装置を介して実行を行う命令が、概略フロー図及び/または概略ブロック図の1つ以上のブロック内で特定されている機能/作用を実装するための手段を作り出し得る。
【0084】
コードは、特定の態様で機能するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに命令し得る、記憶デバイス媒体内に記憶されていてもよく、それによって、記憶デバイス内に記憶された命令が、概略フロー図及び/または概略ブロック図の1つ以上のブロック内で特定されている機能/作用を実装する命令を含む製造品を作成し得る。
【0085】
コードは、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行されるべき一連の動作ステップを生じさせて、コンピュータ実装された処理を生成するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに読み込まれてもよい。それによって、コンピュータまたは他のプログラマブル装置上で実行されるコードが、フロー図及び/またはブロック図の1つ以上のブロック内で特定されている機能/作用を実装するための処理を提供し得る。
【0086】
図面中の概略フロー図及び/または概略ブロック図は、様々な実施形態による、装置、システム、方法及びプログラム製品の実施可能な実装形態の、アーキテクチャ、機能性、及び操作を示すものである。この点に関して、概略フロー図及び/または概略ブロック図の各ブロックは、特定の1つ以上の論理機能を実装するためのコードの1つ以上の実行可能な命令を含む、コードのモジュール、セグメント、または部分を表わしていてよい。
【0087】
いくつかの代替的な実装形態では、ブロックに示された機能が図面に記載の順序で行われなくてよいことも、また留意すべきである。例えば、実際には、関連する機能性に応じて、連続して示されている2つのブロックが実質的に同時に実行されてもよく、または、それらのブロックが時として逆順で実行されてもよい。図示した図面の1つ以上のブロックもしくはそれらの部分と、機能、論理、または効果において均等な、他のステップ及び方法が想起されてよい。
【0088】
さらに、本開示は、以下の条項による実施形態を含む。
【0089】
条項1.構造物(122)検査用の地上設置型目視検査システム(50)であって、
移動ベース(102)、
移動ベース(102)に連結された作動可能アーム(104)であって、三次元空間内で位置決め可能な作動可能アーム(104)、及び
作動可能アーム(104)に連結されたエンドエフェクタ(106)であって、構造物(122)の画像(126)を撮像するように構成されたカメラ(110)を備えるエンドエフェクタ(106)
を備える、地上設置型目視検査装置(100)と、
制御システム(150)であって、基準位置(125)に対するカメラ(110)の位置情報(128)を決定し、位置情報(128)を画像(126)に関連付けるように構成された制御システム(150)と、
を備える、地上設置型目視検査システム(50)。
【0090】
条項2.制御システム(150)が、
基準位置(125)に対する移動ベース(102)の変換行列を計算することで、ベースの位置(162)を取得することと、
基準位置(125)に対する作動可能アーム(104)の変換行列を計算することで、アームの位置(164)を取得することと、
移動ベース(102)の変換行列と作動可能アーム(104)の変換行列とで変換行列の乗算を実施して、基準位置(125)に対するエンドエフェクタ(106)の変換行列を計算することと、
によって、基準位置(125)に対するカメラ(110)の位置を決定することで、位置情報(128)を決定するようにさらに構成されている、条項1に記載の地上設置型目視検査システム(50)。
【0091】
条項3.制御システム(150)が、エンドエフェクタ(106)に連結された複数のレーザ式レンジファインダー(140)を備える位置合わせシステム(170)をさらに備える、条項1または2に記載の地上設置型目視検査システム(50)。
【0092】
条項4.位置合わせシステム(170)が、複数のレーザ式レンジファインダー(140)のデータに基づいて、構造物(122)に対するカメラ(110)の配向を決定するように構成されている、条項3に記載の地上設置型目視検査システム(50)。
【0093】
条項5.制御システム(150)が、画像(126)内にカメラの配向情報(174)を埋め込むようにさらに構成されている、条項4に記載の地上設置型目視検査システム(50)。
【0094】
条項6.位置合わせシステム(170)が、複数のレーザ式レンジファインダー(140)によって撮像されたデータに基づいて、航空機に対するカメラ(110)の距離を決定するように構成されている、条項3に記載の地上設置型目視検査システム(50)。
【0095】
条項7.制御システム(150)が、画像(126)内に距離情報(172)を埋め込むようにさらに構成されている、条項6に記載の地上設置型目視検査システム(50)。
【0096】
条項8.制御システム(150)が、画像(126)内に位置情報(128)を埋め込むようにさらに構成されている、条項1から7のいずれか一項に記載の地上設置型目視検査システム(50)。
【0097】
条項9.位置情報(128)が、地上設置型目視検査装置(100)または構造物(122)上のセンサ(127)からのデータに基づく、条項8に記載の地上設置型目視検査システム(50)。
【0098】
条項10.位置情報(128)が、構造物(122)上の基準位置(125)に基づく、条項1から9のいずれか一項に記載の地上設置型目視検査システム(50)。
【0099】
条項11.移動ベース(102)が手動で操作可能なカートを備える、条項1から10のいずれか一項に記載の地上設置型目視検査システム(50)。
【0100】
条項12.エンドエフェクタ(106)に連結された複数のレーザ式レンジファインダー(140)を備える位置合わせシステム(170)をさらに備え、
位置合わせシステム(170)が、複数のレーザ式レンジファインダー(140)のデータに基づいて、構造物(122)に対するカメラ(110)の配向と距離を決定するように構成されており、
制御システム(150)が、配向情報(174)と距離情報(172)を画像(126)に埋め込むようにさらに構成されており、
制御システム(150)が、位置情報(128)を画像(126)内に埋め込むようにさらに構成されている、
条項1から11のいずれか一項に記載の地上設置型目視検査システム(50)。
【0101】
条項13.位置情報(128)が、基準ポジションからの並進変位と、基準位置(125)に対する移動ベース(102)の基準配向からの回転変位とを含む、条項12に記載の地上設置型目視検査システム(50)。
【0102】
条項14.作動可能アーム(104)がインデックスレールを備える、条項1から13のいずれか一項に記載の地上設置型目視検査システム(50)。
【0103】
条項15.地上設置型目視検査装置(100)であって、
移動ベース(102)、
移動ベース(102)に連結された作動可能アーム(104)であって、三次元空間内で位置決め可能な作動可能アーム(104)、
作動可能アーム(104)に連結されたエンドエフェクタ(106)であって、構造物(122)の画像(126)を撮像するように構成されたカメラ(110)を備えるエンドエフェクタ(106)、及び
制御システム(150)であって、基準位置(125)に対するカメラ(110)の位置情報(128)を決定するように構成された制御システム(150)、
を備える、地上設置型目視検査装置(100)。
【0104】
条項16.エンドエフェクタ(106)に連結された複数のレーザ式レンジファインダー(140)をさらに備える、条項15に記載の装置(100)。
【0105】
条項17.地上設置型目視検査装置(100)を構造物(122)と位置合わせすること(602)であって、地上設置型目視検査装置(100)が、移動ベース(102)、移動ベース(102)に連結された作動可能アーム(104)、及び作動可能アーム(104)に連結されたエンドエフェクタ(106)であって、カメラ(110)を備えるエンドエフェクタ(106)を備える、地上設置型目視検査装置(100)を位置合わせすること(602)と、
構造物(122)の画像(126)をカメラ(110)で撮像すること(604)と、
基準位置(125)に対するベースの位置(162)、アームの位置(164)、及びエンドエフェクタの位置(166)を取得することで、基準位置(125)に対するカメラ(110)の位置情報(128)を決定すること(606)と、
位置情報(128)を画像(126)と関連付けること(608)と、
を含む方法(600)。
【0106】
条項18.センサからのデータを受信することと、受信したデータに基づいて、構造物(122)に対するカメラ(110)の配向または距離を自動的に調整することとをさらに含む、条項17に記載の方法(600)。
【0107】
基準位置(125)に対する移動ベース(102)の変換行列を計算することで、ベースの位置(162)を取得することと、
基準位置(125)に対する作動可能アーム(104)の変換行列を計算することで、アームの位置(164)を取得することと、
移動ベース(102)の変換行列と作動可能アーム(104)の変換行列とで変換行列の乗算を実施して、基準位置(125)に対するエンドエフェクタ(106)の変換行列を計算することと、
をさらに含む、条項17または18に記載の方法(600)。
【0108】
条項20.構造物(122)に対するカメラ(110)の距離情報(172)及び配向情報(174)を決定することと、
距離情報(172)及び配向情報(174)を画像(126)と関連付けることと、
をさらに含む、条項17から19のいずれか一項に記載の方法(600)。
【0109】
本出願の主題は、その主旨及び基幹的な特性から逸脱することなく、他の具体的な形態において実施され得る。上記の実施形態は、あらゆる観点において、単なる例示であって、限定的なものではないとみなすべきである。特許請求の範囲の目的及び均等範囲に含まれるあらゆる変更は、特許請求の範囲に包含されるものとする。
図1
図2
図3A
図3B
図4
図5
図6
【外国語明細書】
2019219378000001.pdf
2019219378000002.pdf
2019219378000003.pdf
2019219378000004.pdf