知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-10
(45)【発行日】2023-07-19
(54)【発明の名称】航空機の自動塗装品質検査
(51)【国際特許分類】
G06T 7/00 20170101AFI20230711BHJP
B64F 5/60 20170101ALI20230711BHJP
【ＦＩ】
G06T7/00 300E
B64F5/60
G06T7/00 610C
【請求項の数】
8
【外国語出願】
(21)【出願番号】P 2019057916
(22)【出願日】2019-03-26
(65)【公開番号】P2019204497
(43)【公開日】2019-11-28
【審査請求日】2022-03-18
(31)【優先権主張番号】15/948,386
(32)【優先日】2018-04-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
(74)【代理人】
【識別番号】100086380
【弁理士】
【氏名又は名称】吉田 稔
(74)【代理人】
【識別番号】100103078
【弁理士】
【氏名又は名称】田中 達也
(74)【代理人】
【識別番号】100130650
【弁理士】
【氏名又は名称】鈴木 泰光
(74)【代理人】
【識別番号】100135389
【弁理士】
【氏名又は名称】臼井 尚
(74)【代理人】
【識別番号】100168099
【弁理士】
【氏名又は名称】鈴木 伸太郎
(74)【代理人】
【識別番号】100168044
【弁理士】
【氏名又は名称】小淵 景太
(74)【代理人】
【識別番号】100200609
【弁理士】
【氏名又は名称】齊藤 智和
(72)【発明者】
【氏名】アミール アフラシアビ
(72)【発明者】
【氏名】ヒュー タット グエン
(72)【発明者】
【氏名】シャブナム ザンゲネ－カモーシ
(72)【発明者】
【氏名】アシュトシュ マニ
【審査官】伊知地 和之
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２２９５１１（ＵＳ，Ａ１）
【文献】特開２００６－２３６０４３（ＪＰ，Ａ）
【文献】特開２０１４－１６４３６３（ＪＰ，Ａ）
【文献】特開２００９－１８７４１２（ＪＰ，Ａ）
【文献】特開平０７－１５９１３９（ＪＰ，Ａ）
【文献】Chenxue XU et al.，“Accurate image specularhighlight removal based on light field imaging”，2015Visual Communications and Image Processing (VCIP)，IEEE，2015年12月，DOI: 10.1109/VCIP.2015.7457903
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６２Ｄ ４１／００ － ６７／００
Ｂ６４Ｇ １／００ － ９９／００
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
航空機の標章の自動品質検査方法であって、品質検査中の前記航空機における航空機標章の少なくとも一部を表す対照画像を、電子永続ストレージから抽出することと、
品質検査中の前記航空機における航空機標章の少なくとも一部を表す処理画像を捕捉することと、
前記対照画像及び前記処理画像における複数の特徴を検出することと、
前記対照画像を前記処理画像と重ね合わせることと、
前記対照画像と前記処理画像との少なくとも１つの相違を検出することと、
前記少なくとも１つの相違にアノテーションが付された状態にて、品質検査中の前記航空機の描写を含む出力画像を生成することと、
少なくとも１つの反射を検出するとともに、前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することと、
前記出力画像を表示させることと、を含み、
前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することは、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること、及び、品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することを含み、
前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することは、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること及び品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することの前に、品質検査中の前記航空機に少なくとも１つの標準マーカーを配置することを含む、方法。
【請求項2】
前記少なくとも１つの相違に対応する異常を修正することをさらに含む、請求項１に記載の方法。
【請求項3】
前記出力画像を生成することは、第１視点から捕捉された画像の少なくとも一部を、前記第１視点とは異なる第２視点から捕捉された画像の少なくとも一部と結合させることを含む、請求項１又は２に記載の方法。
【請求項4】
前記少なくとも１つの相違を検出することは、前記対照画像と前記処理画像との間でピクセル毎の比較を行うことを含む、請求項１～３のいずれか１つに記載の方法。
【請求項5】
航空機の標章の自動品質検査システムであって、品質検査中の前記航空機における航空機標章の少なくとも一部を表す対照画像を保存する電子永続ストレージと、
品質検査中の前記航空機の複数の画像を捕捉するように配置された複数のカメラと、
前記電子永続ストレージ及び前記複数のカメラに通信可能に接続されて、所定の動作を行うための命令を実行する少なくとも１つの電子プロセッサとを含み、前記所定の動作は、
前記電子永続ストレージから前記対照画像を抽出することと、
前記複数のカメラによって、品質検査中の前記航空機における航空機標章の少なくとも一部を表す処理画像を捕捉することと、
前記対照画像及び前記処理画像における複数の特徴を検出することと、
前記対照画像を前記処理画像と重ね合わせることと、
前記対照画像と前記処理画像との少なくとも１つの相違を検出することと、
前記少なくとも１つの相違にアノテーションが付された状態にて、品質検査中の前記航空機の描写を含む出力画像を生成することと、
少なくとも１つの反射を検出するとともに、前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することと、
前記出力画像を表示させることと、を含み、
前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することは、前記複数のカメラによって、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること、及び、前記複数のカメラによって、品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することを含み、
品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること及び品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することの前に、品質検査中の前記航空機に配置されるように構成された、少なくとも１つの標準マーカーをさらに含む、システム。
【請求項6】
前記所定の動作は、前記少なくとも１つの相違に対応する異常を修正するようにユーザを誘導することをさらに含む、請求項５に記載のシステム。
【請求項7】
前記出力画像を生成することは、第１視点から捕捉された画像の少なくとも一部を、前記第１視点とは異なる第２視点から捕捉された画像の少なくとも一部と結合させることを含む、請求項５又は６に記載のシステム。
【請求項8】
前記少なくとも１つの相違を検出することは、前記対照画像と前記処理画像との間でピクセル毎の比較を行うことを含む、請求項５～７のいずれか１つに記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、航空機の塗装及び関連する品質管理に関する。
【背景技術】
【0002】
航空機の最終組立段階で行われる、塗装標章の既存の目視検査は、主として人間の視力に依存しており、従って主観的なものとなる可能性がある。さらに、航空機の塗装品質検査プロセスは、人間の判断に影響される。多くの航空機の場合、装飾的な塗装は、納品プロセスのクリティカルパス上にあるため、塗装品質上の問題を迅速に特定して対処することが出来れば、再作業による遅延を最小限に抑えることができる。加えて、メーカーの施設においてだけでなく、潜在的な問題及び検査基準についての専門知識がメーカーの現場よりも乏しい可能性がある、オフロード塗装現場（offload paint sites）でも実施できるような、一貫した品質検査プロセスが必要とされている。
【発明の概要】
【0003】
様々な実施形態によれば、自動の航空機塗装品質検査方法が提示される。当該方法は、品質検査中の航空機における航空機塗装の少なくとも一部を表す対照画像を電子永続ストレージから抽出することと、品質検査中の前記航空機における航空機塗装の少なくとも一部を表す処理画像を捕捉することと、前記対照画像及び前記処理画像における複数の特徴を検出することと、前記対照画像を前記処理画像と重ね合わせることと、前記対照画像と前記処理画像との少なくとも１つの相違を検出することと、前記少なくとも１つの相違にアノテーションが付された状態にて、品質検査中の前記航空機の描写を含む出力画像を生成することと、前記出力画像を表示させることと、を含む。
【0004】
上記実施形態の様々な任意の特徴は、以下を含む。当該方法は、少なくとも１つの反射を検出するとともに、前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することを含みうる。前記少なくとも１つの反射を、前記対照画像と前記処理画像との相違とみなすことから排除することは、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること、及び、品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することを含みうる。前記少なくとも１つの反射を、前記対照画像と前記処理画像との相違とみなすことから排除することは、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること及び品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することの前に、品質検査中の前記航空機に少なくとも１つの標準マーカーを配置することを含みうる。前記方法は、前記少なくとも１つの相違に対応する異常を修正することをさらに含みうる。前記複数の特徴を検出することは、SURF（Speeded Up Robust Features）アルゴリズムを用いて複数の特徴を検出することを含みうる。前記対照画像を前記処理画像と重ね合わせることは、RANSAC（RANdom SAmple Consensus）アルゴリズムを用いて行われうる。前記出力画像を生成することは、第１視点から捕捉された画像の少なくとも一部を、前記第１視点とは異なる第２視点から捕捉された画像の少なくとも一部と結合させることを含みうる。前記対照画像は、第１視点から捕捉された第１対照画像と、前記第１視点とは異なる第２視点から捕捉された第２対照画像との組み合わせを含みうる。前記処理画像は、第３視点から捕捉された第１処理画像と、前記第３視点とは異なる第４視点から捕捉された第２処理画像との組み合わせを含みうる。前記少なくとも１つの相違を検出することは、前記対照画像と前記処理画像との間でピクセル毎の比較を行うことを含みうる。
【0005】
様々な実施形態によれば、自動の航空機塗装品質検査のためのシステムが提示される。当該システムは、品質検査中の航空機における航空機標章の少なくとも一部を表す対照画像を保存する電子永続ストレージと、品質検査中の前記航空機の複数の画像を捕捉するように配置された複数のカメラと、前記電子永続メモリ及び前記複数のカメラに通信可能に接続された、所定の動作を行うための命令を実行する少なくとも１つの電子プロセッサとを含み、前記所定の動作は、前記電子永続ストレージから前記対照画像を抽出することと、前記複数のカメラによって、品質検査中の前記航空機における航空機塗装の少なくとも一部を表す処理画像を捕捉することと、前記対照画像及び前記処理画像における複数の特徴を検出することと、前記対照画像を前記処理画像と重ね合わせることと、前記対照画像と前記処理画像との少なくとも１つの相違を検出することと、前記少なくとも１つの相違にアノテーションが付された状態にて、品質検査中の前記航空機の描写を含む出力画像を生成することと、前記出力画像を表示させることと、を含む。
【0006】
上記実施形態の様々な任意の特徴は、以下を含む。前記動作は、少なくとも１つの反射を検出するとともに、前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することをさらに含みうる。前記少なくとも１つの反射を、前記対照画像と前記処理画像との相違とみなすことから排除することは、前記複数のカメラによって、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること、及び、前記複数のカメラによって、品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することを含みうる。前記システムは、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること及び品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することの前に、品質検査中の前記航空機に配置されるように構成された、少なくとも１つの標準マーカーをさらに含みうる。前記動作は、前記少なくとも１つの相違に対応する異常を修正するようにユーザを誘導することをさらに含みうる。前記複数の特徴を検出することは、SURF（Speeded Up Robust Features）アルゴリズムを用いて複数の特徴を検出することを含みうる。前記対照画像を前記処理画像と重ね合わせることは、RANSAC（RANdom SAmple Consensus）アルゴリズムを用いて行われうる。前記出力画像を生成することは、第１視点から捕捉された画像の少なくとも一部を、前記第１視点とは異なる第２視点から捕捉された画像の少なくとも一部と結合させることを含みうる。前記対照画像は、第１視点から捕捉された第１対照画像と、前記第１視点とは異なる第２視点から捕捉された第２対照画像との組み合わせを含みうる。前記処理画像は、第３視点から捕捉された第１処理画像と、前記第３視点とは異なる第４視点から捕捉された第２処理画像との組み合わせを含みうる。前記少なくとも１つの相違を検出することは、前記対照画像と前記処理画像との間でピクセル毎の比較を行うことを含みうる。
【図面の簡単な説明】
【0007】
以下の詳細な説明を添付図面に関連させて参照することで、実施例をより理解することにより、実施例の様々な特徴をより十分に理解することができるであろう。
【0008】
【図1】いくつかの実施形態による、航空機に設けられた航空機標章の画像である。
【図2】いくつかの実施形態による撮像装置の概略図である。
【図3】いくつかの実施形態による、航空機の対照画像及び処理画像を示す図である。
【図4】いくつかの実施形態による、対照画像及び処理画像における特徴検出を示す図である。
【図5】いくつかの実施形態による特徴マッチングを示す図である。
【図6】いくつかの実施形態による特徴変位ベクトルを示す図である。
【図7】いくつかの実施形態によるグラフィカルユーザインターフェースを示す図である。
【図8】いくつかの実施形態による出力画像の一例を示す図である。
【図9】いくつかの実施形態による、航空機の塗装品質検査方法のフロー図である。
【図10】いくつかの実施形態による、反射処理方法のフロー図である。
【図11】いくつかの実施形態による標準マーカーの図である。
【図12】いくつかの実施形態によるシステムの概略図である。
【発明を実施するための形態】
【0009】
次に、添付図面に示した開示の実施例について、詳しく説明する。同じ又は類似の部材については、図面全体を通して、可能な限り同じ参照符号で示している。以下の詳細な説明において参照する添付図面は、本開示の一部を構成するものであり、特定の実施例を例示的に表している。これらの実施例は、当業者が実施できるよう十分に詳しく説明されている。なお、他の実施例も採用可能であり、本開示の範囲を逸脱することなく改変も可能である。従って、以下の説明は、単に例示的なものである。
【0010】
概して、いくつかの実施形態によれば、構造体の表面（例えば最終組み立て中の航空機）のコンピュータによる工程内品質検査（in-process quality inspection）が提供される。より具体的には、いくつかの実施形態は、航空機の塗装（例えば標章）の自動品質検査を提供する。当該検査では、自動画像処理により、検査中の航空機の捕捉画像におけるマシンビジョン特徴を、対照（参照）画像内の対応する特徴とアラインメントし、当該アラインメントを用いて、潜在的な欠陥（例えば間違った位置にある標章部分、欠落している標章部分、退色画像、異物デブリ、除去されるべきであったステンシル及びその他の塗装手段など）を特定する。実施形態では、次に、このような欠陥にハイライト又はその他のアノテーションを施して、検査中の航空機の拡張現実描写（augmented reality depiction）を表示する。いくつかの実施形態は、このような表示を実現するためのウェアラブルな拡張現実ヘッドハードウェアを含む。実施形態では、塗装面又は非塗装面からの反射、アンビエント照明の相対的特性、及び、考えられる標章色の範囲を考慮する。実施形態では、特徴の特定及び比較のために、対照画像の電子永続ストレージライブラリを含みうる。
【0011】
いくつかの実施形態では、複数の離隔（stand off）カメラを用いるものであり、これらのカメラは、移動するか、あるいは異なる角度で配置されていることにより、捕捉画像内の反射を自動特定することが可能となっている。いくつかの実施形態では、このようなカメラによって、反射及び影を標章及び外板特徴とは区別し、品質分析において前者を無視することができる。
【0012】
例示的な実施形態を、添付図面を参照して以下に説明する。
【0013】
図１は、いくつかの実施形態による、航空機１００の標章１０６を示す図である。一般的に、航空機は、複数箇所に複数色で図画が描かれる場合がある。図示された航空機１００は、航空機標章の一部１０２（一連の星）と、航空機標章の別の一部１０４（テールフィンに設けられた陰影）とを含んでいる。特定の航空機に設けられた様々な図画、印、及び英数字を、本明細書では、航空機の「標章」と称する。一般的に、航空機の標章は、航空会社、航空機メーカー、政府ライセンス、及び他の様々な必須の印、任意の印、及び／又は商標を表すものである。航空機の標章は、例えば１つ以上のステンシルを用いて塗布することができる。
【0014】
図２は、いくつかの実施形態による撮像装置２００の概略図である。概して、実施形態は、航空機標章が航空機に塗布される現場で実施することができる。従って、実施形態は、主要な工場や塗料格納庫、あるいは、遠隔地やオフロード塗装施設（offload paint facilities）などの塗装品質に対する専門知識が限られている場所で、実施されうる。また、実施形態は、航空機の表面上に実際に存在する物理材料を表すものでない、反射、影、又はその他の可視現象（図３参照）を考慮に入れるハードウェア及び処理技術を含みうる。このような実施形態では、そのような現象を、標章及び他の表面特徴部及び残留物に適用される自動処理から排除することにより、自動品質検査において無視されるようにする。
【0015】
撮像装置は、品質検査中の航空機の画像を、其々、視点２０８、２１０、及び２１２から捕捉するように配置された複数のカメラ２０２、２０４、及び２０６を含む。本明細書に開示するように、いくつかの実施形態では、反射、影、及び他の一時的な可視現象を検出することができるよう、航空機の画像を複数の角度及び／又は位置から捕捉する（図３参照）。カメラ２０２、２０４、２０６を、レール、あるいはカメラの位置変更を可能にする他の構造体に配置することにより、航空機における実質的に同じ領域の画像を、複数の角度から捕捉できるようにしてもよい。このような可動カメラは、例えば、レール群に沿って位置変更するように構成されたモータによって、自動で移動できるようにしてもよい。レールは、例えば、垂直及び／又は水平である。可動カメラを含む実施形態では、カメラ２０２だけで十分であり、カメラ２０４及び２０６は無くともよい。カメラ２０２を移動させることにより、視点２０８、２１０又は２１２のうちのいずれからも画像を捕捉することができるからである。また、可動カメラを含む実施形態では、カメラは比較的低解像度であってもよい。可動カメラは、ズームインして、対象とする航空機の部分に視野を合わせることができるからである。固定カメラを含む実施形態では、カメラ２０２、２０４、２０６は、例えば高解像度のものである。これは、画像の複数の部分が抽出されて個別に処理されるためである。このような処理、ならびに、一時的な可視現象を潜在的な塗装欠陥と判断しないよう排除するための処理は、図１０を参照して本明細書で後述する。２個以上で一組のカメラを６組（又は６個の可動カメラ）を用いることにより、航空機の６個のセクションの其々を、複数の視点から撮像することができる。ただし、６組のカメラは、例示的なものであり、他の実施形態では、格納庫及び航空機の両方のサイズに基づいて、ケースバイケースでカメラの数を決定すればよい。
【0016】
図３は、いくつかの実施形態による、航空機の対照画像３０２及び処理画像３０４を示している。対照画像３０２及び処理画像３０４のいずれも、例えば図２の撮像装置２００を用いて捕捉することができる。ただし、対照画像３０２と処理画像３０４とは、本明細書に開示の全体的な航空機塗装品質検査プロセスにおける異なる段階で、捕捉されうる。対照画像３０２及びその他の対照画像は、品質検査プロセス中の航空機を撮像した処理画像３０４などの新たに捕捉された画像に対して、自動コンピュータビジョン比較するための参照画像としての役割を果たす。対照画像３０２ならびに同様の対照画像は、後述する図１２に示すように、システム１２００の電子永続ストレージ１２１２などの永続電子ストレージに保存することができる。対照画像３０２及び処理画像３０４の両方が、反射３０６及び影３０８を示していることに留意されたい。
【0017】
図４は、いくつかの実施形態による、対照画像３０２及び処理画像３０４における特徴検出を示している。いくつかの実施形態おいて、コンピュータビジョン技術を用いた自動特徴検出が用いられる。好適な技術の例としては、米国特許出願公開第２００９／０２３８４６０号に開示されているような「SURF」（Speeded Up Robust Feature）がある。このような技術は、対照画像４０２における特徴４０６のような、電子画像内の視覚的に明らかな特徴を特定する。（特徴４０６に対応する特徴が、処理画像４０４に表れていることに注意。）このような技術を、例えば図９及び図１０を参照して本明細書に開示するように、対照画像と処理画像とに個別に適用することができる。
【0018】
図５は、いくつかの実施形態による、特徴マッチングを示している。概して、開示の実施形態では、自動コンピュータビジョン技術を用いて、対照画像内に検出された特徴を、対応する処理画像内に検出された特徴と、マッチングすることができる。図５は、対照画像５０２及び処理画像５０４を、対照画像５０２における３つの例の特徴を処理画像５０４における対応する特徴と結ぶ引き出し線５０６と共に、示している。一般的には、「RANSAC」（RANdom SAmple Consensus）を用いて、様々な実施形態による対照画像と処理画像との間で、特徴のマッチングを行うことができる。RANSACは、誤差が発生しやすい特徴検出器によって提供されたデータがある場合でも安定しているため、実施形態に特に好適である。本明細書で説明するように、RANSACを実施形態で用いることにより、対照画像を処理画像に重ね合わせる（register）ことができる。いくつかの実施形態によるRANSACの使用方法のさらなる説明は、図８、図９、図１０、及び、図１１を参照して後に行う。
【0019】
図６は、いくつかの実施形態による、特徴変位ベクトル６０４を示している。検出された特徴のマッチングに基づいて、対照画像を処理画像に重ね合わせる際に、本実施形態ではRANSACを用いうる。RANSACは、ユーザ設定可能パラメータとして、最大局所変位値を有する。この値は、対照画像内の特徴と処理画像内の特徴とを互いに対応するものであると判断する条件として、これらの特徴間の最大局所変位量を定めるものである。この最大局所変位値を超えている場合、これらの特徴は、RANSACによって、互いにマッチングしているとは判定されない。図６に示すように、重畳画像内の特徴は、正確に同じ位置には無いものの、ユーザ設定による最大局所変位値内にあるため、RANSACの適用によって、互いに対応していると判断される。変位ベクトル６０４は、位置の相違を表している。
【0020】
図７は、いくつかの実施形態によるグラフィカルユーザインターフェース７００を示している。グラフィカルユーザインターフェース７００を用いることにより、ユーザは、実施形態で用いられる様々なパラメータのユーザ選択値を設定することができる。いくつかの実施形態では、グラフィカルユーザインターフェースを用いて、様々な値のなかでも、特にユーザ選択可能なSURF及びRANSACのパラメータを設定する。
【0021】
従って、グラフィカルユーザインターフェース７００は、ユーザが１つ以上の対照（ベースライン）画像７０２を選択するためのフィールド、ユーザが１つ以上の処理画像７０４を選択するためのフィールド、及び、ユーザが出力画像７０６のファイル名を選択するためのフィールドを含む。開示の実施形態によれば、選択された対照画像及び処理画像が処理されて、出力画像が作製され、出力画像は、ユーザが選択したファイル名で保存される。グラフィカルユーザインターフェース７００は、潜在的な欠陥の表れであるものとして、対照画像と処理画像との間に相違が検出された際に、これをどのように表示するかを選択するための一組のラジオボタン７０８も有している。従って、グラフィカルユーザインターフェース７００は、検出された相違を線を用いてハイライトするためのラジオボタン７１０、検出された相違を十字を用いてハイライトするためのラジオボタン７１２、検出された相違を変位ベクトルを用いてハイライトするためのラジオボタン７１４、検出された相違を濃度（residual）を用いてハイライトするためのラジオボタン７１６、または、検出された相違をセグメント化によってハイライトするためのラジオボタン７１８を含む。検出された相違を線を用いてハイライトするためのラジオボタン７１０を選択すると、特徴点及びそれらに対応する線を表示する出力画像が得られる。検出された相違を十字を用いてハイライトするためのラジオボタン７１２を選択すると、各特徴点を異なる色の十字で示した出力画像が得られる。検出された相違を変位を用いてハイライトするためのラジオボタン７１４を選択すると、特徴点及びそれらに対応する変位ベクトルを表示した出力画像が得られる。すなわち、変位を選択すると、出力画像は、対照画像と処理画像との間で特徴点の位置がどのように異なるかを示すものとなる。検出された相違を濃度を用いてハイライトするためのラジオボタン７１６を選択すると、出力画像は、異なる画像同士を重ね合わせた後の、これらの画像間の明暗の違いを表示するものとなる。濃度を選択することは、処理画像内の異物をハイライトするのに特に有用である。セグメント化によって検出された相違をハイライトするためのラジオボタン７１８を選択すると、出力画像内の異物がマスクされる。セグメント化を選択することは、画像が異なっている箇所をハイライトするのに特に有用である。
【0022】
グラフィカルユーザインターフェース７００は、ユーザがSURFパラメータ値を選択するために用いるフィールドを含む。具体的には、グラフィカルユーザインターフェース７００は、ユーザが設定しうるSURFへシアン閾値パラメータ用のフィールド７２０を含む。このパラメータは、特徴点を計算するためのものであり、デフォルト値は１００である。画像を重ね合わせるためにより多くの特徴点が望まれる場合、この値を大きくすればよい。ただし、値を大きくすると、コーナーポイントが増え、ノイズも増える可能性がある。グラフィカルユーザインターフェース７００は、ユーザが設定しうるSURF最小距離パラメータ用のフィールド７２２も含む。SURFによって２つの点を比較する場合、より精密なマッチングを求めるには、この値を大きくすればよい。グラフィカルユーザインターフェース７００は、SURFバーチャルボタン７２４も含んでおり、このボタンを押すと、SURFパラメータのポップアップが表示される。SURFパラメータポップアップは、ユーザが設定可能なSURFパラメータ値の追加のフィールドを含む。
【0023】
グラフィカルユーザインターフェース７００は、ユーザがRANSACパラメータ値を選択するために用いるフィールドも含む。従って、グラフィカルユーザインターフェース７００は、「最大局所変位」フィールド７２６を含み、このフィールドに、最大局所変位値を入力することができる。最大局所変位値は、マッチングする特徴を見つけるためにRANSACのアルゴリズムがサーチする領域のサイズを規制するものである。この値は、重畳された画像間で、ある特徴点が変位しているが、それでも尚マッチングしていると判定することができる、最大のピクセル数を規定するものである。グラフィカルユーザインターフェース７００は、「高濃度閾値」フィールド７２８も含み、ユーザはこのフィールドに、マッチングしていると考えることができる２つの比較画像間の明暗の相違を規制する値を入力することができる。このパラメータの値を高くすると、マッチングが増えるが、形状情報を十分に捕捉することができない可能性がある。グラフィカルユーザインターフェース７００は、「低閾値」用のフィールド７３０も含む。このパラメータは、高濃度閾値と組み合わされて、マッチングしていると結論付けてもよい画像間の相違の許容度を定めるものである。グラフィカルユーザインターフェース７００は、RANSACバーチャルボタン７３２も含んでおり、このボタンを押すと、RANSACパラメータのポップアップが表示される。RANSACパラメータポップアップは、ユーザが設定可能なRANSACパラメータ値の追加のフィールドを含む。グラフィカルユーザインターフェース７００は、ユーザ選択可能な再構成サイズ値を入力するための再構成サイズフィールド７３４も含む。この値は、出力画像を作製する際に、微小物及びノイズが除去されるべきピクセル半径を検出された相違から定めるものである。
【0024】
図８は、いくつかの実施形態による、出力画像８００の一例を示している。具体的には、実施形態では、出力画像８００のような出力画像を、例えばユーザに対して表示するために出力することができる。出力画像は、おそらくは処理画像と対照画像の両方について複数の角度からのデータを含む重畳画像に対して、ハイライト又はその他のアノテーションを付したものである。図示のように、出力画像８００は、品質検査を受けている航空機にあるテープの残留断片を強調する楕円形のアノテーション８０２を含んでいる。対応する対照画像にはこれに対応するテープ断片が表れていないため、実施形態では、当該断片を検出するとともに出力画像においてアノテーションを付している。ユーザは、異物があれば除去する、欠落している塗料を塗布する、あるいは、間違った位置にある塗装を除去又は位置修正するなどの、潜在的な欠陥を修正するための以降の工程を行う。
【0025】
図９は、いくつかの実施形態による、航空機の塗布品質検査方法９００のフロー図である。方法９００は、図２～図８に示すとともにこれらを参照して上述したハードウェア及び技術を用いうる。方法９００は、図１２に示すとともに同図を参照して後述するシステムを用いて、実施することができる。
【0026】
ブロック９０２において、方法９００は、例えば図１２の永続ストレージ１２１２などの電子永続ストレージの１つ以上の対照画像を抽出する。このような抽出は、例えば、電子計算機ネットワークを介して、行うことができる。対照画像は、元々は、例えば図２の装置２００を用いて取得されたものである。従って、対照画像は、航空機の実質的に同じ部分を複数の視点から捕捉した画像を含みうる。対照画像には、例えば、其々が複数の視点を有する複数の航空機部分が表れている。このようにして表された航空機部分及び視点は、その航空機におけるすべての標章及びその他の塗装を包含しうる。捕捉された対照画像は、航空機の箇所及び視点に応じて、保存及びインデックス付けすることができる。
【0027】
ブロック９０４において、方法９００は、品質検査中の航空機の１つ以上の処理画像を捕捉する。処理画像は、例えば、図２の装置２００を用いて捕捉することができる。従って、処理画像は、品質検査中の航空機の実質的に同じ部分を複数の視点から撮像した画像を含みうる。処理画像には、例えば、其々が複数の視点を有する複数の航空機部分が表れている。各処理画像が、実質的に同じ航空機部分を実質的に同じ視点から撮像した、対応する１つの対照画像を有するという意味で、処理画像は対照画像に対応している。
【0028】
ブロック９０６において、方法９００は、処理画像内の特徴を検出する。本ブロックの動作は、対照画像に対しても行われうる。具体的には、本ブロックの動作は、ブロック９１０の動作より前の任意の時点において、対照画像に対して行われうる。方法９００では、図４及び図７に示すとともにこれらを参照して上述したSURFを実行することによって、特徴を検出することができる。
【0029】
ブロック９０８において、方法９００は、処理画像における、反射、影、及び他の一時的な可視現象を検出する。本ブロックの動作は、対照画像に対しても行われうる。具体的には、本ブロックの動作は、ブロック９１２の動作より前の任意の時点において、対照画像に対して行われうる。本ブロックの動作については、図１０を参照して後述する。
【0030】
ブロック９１０において、方法９００は、処理画像を対照画像に重ね合わせる。本ブロックの動作は、例えば図４～図７に示すとともにこれらを参照して上述したRANSACを用いうる。ブロック９１０の動作によって、例えば、対照画像のいくつかが結合されて合成対照画像とされていたり、処理画像のいくつかが結合されて合成処理画像とされていたりする場合がある。このような合成画像は、例えば、検出された特徴の組み合わせを含みうる。このような場合、本ブロックの動作によって、合成対照画像が合成処理画像と重畳される。
【0031】
ブロック９１２において、方法９００は、ブロック９１０で重畳された処理画像と対照画像との間で相違を検出する。この検出は、これらの画像をピクセルごとに比較し、閾値を超える相違を記録することによって行われる。この検出では、重畳に用いられた対照画像と処理画像の間で、例えば、数学のアフィン変換（すなわち、点、直線、及び平面を維持する数学線形変換）を用いる。この検出は、図１０を参照して後述するように、反射及び他の一時的な可視現象を表していると特定されたあらゆるピクセルを無視する。すなわち、この相違検出プロセスは、反射（又は他の一時的な可視現象）であると特定されたピクセルを、ピクセルごとの比較から排除する。このように、いくつかの実施形態は、塗装又はその他の物理的異常を表すものでない一時的な視覚特徴を無視して、潜在的な航空機の標章欠陥を自動的に検出することが可能である。
【0032】
ブロック９１４において、方法９００では、ブロック９１２において検出された相違を表す出力画像を生成する。具体的には、本ブロックの動作は、ハイライト又はその他のアノテーション（例えば、検出された相違に対する円形、楕円形、矩形又は四角形の印付け）を行うことを含みうる。適切な出力画像の一例を、図８に示している。
【0033】
ブロック９１６において、方法９００では、出力画像を表示させる。本ブロックの動作は、任意の様々な形態で行うことができる。実施形態によっては、出力画像は、コンピュータのモニタに表示される。実施形態によっては、出力画像は、バーチャルリアリティヘッドセットに表示される。実施形態によっては、出力画像は、例えば、電子計算機ネットワークを介して、電子永続メモリ又はユーザに出力される。
【0034】
ブロック９１８において、方法９００は、検出された相違をユーザが修正することを含む。本ブロックの動作は、ユーザが航空機から異物を取り除くこと、欠落している標章又はその他の塗装を付与すること、不適切な標章又はその他の塗装を除去すること、間違った位置にある標章又はその他の塗装を除去又は位置修正することを含みうる。本ブロックの動作は、ブロック９１４及び９１６の出力画像に基づいて、これに従って行われる。
【0035】
図１０は、いくつかの実施形態による、反射処理方法１０００のフロー図である。方法１０００を実施することにより、１つ以上の処理画像に対して、図９に示した方法９００におけるブロック９０８の動作を行うことができる。また、方法１０００は、図９を参照して説明した１つ以上の対照画像に対して、方法９００におけるブロック９１２の動作より前の任意の時点において、行うことができる。方法１０００は、対照画像及び処理画像の両方に適用されるため、以下の方法１０００の説明では、画像が対照画像又は処理画像のいずれであってもよいという理解を前提として、「画像」又は「作業対象画像」というように、包括的に述べる。方法１０００は、図２～図８に示すとともにこれらを参照して上述したハードウェア及び技術を用いうる。方法１０００は、図１２に示すとともに同図を参照して後述するシステムを用いて、実施することができる。
【0036】
ブロック１００２において、方法１０００では、航空機に標準マーカーを配置する。本ブロックの動作を行うためには、ユーザは、既知のディクショナリから既知寸法のマーカーを生成し、実寸にてプリントし、少なくとも１つのカメラで見えるとともに作業者の邪魔にならない航空機上の位置に、これを取り付ける。マーカーは、例えば、１フィート×１フィートである。好適なマーカーとして、ArUcoマーカーがある。これは、四角形であり、画像内での検出を容易化する幅広の黒の縁取りと、情報を符号化した内側マトリックスとを含む。本ブロック及び次のブロックの動作により、コンピュータビジョン技術を方法１０００に適用することが可能になる。
【0037】
ブロック１００４において、方法１０００では、ブロック１００２で配置されたマーカーを、画像内で検出する。方法１０００を方法９００のブロック９０８に適用する場合、マーカーが検出される画像は、方法９００のブロック９０４で捕捉された処理画像である。方法１０００を方法９００で用いられる対照画像に適用する場合、マーカーが検出される画像は、例えば対照画像が捕捉された直後などの、任意の適当な時間に捕捉された画像である。方法１０００では、マーカーを形成するために用いたディクショナリを用いて、画像内のマーカーを検出し、マーカーのコーナーを検出し、コーナーの座標を取得する。このような座標は、対応するピクセル位置用のメモリアドレスとして表される。
【0038】
ブロック１００６において、方法１０００は、画像内のブロブ（blobs：斑点のようなもの）を検出する。RANSACなどの任意の適当なブロブ検出技術を用いることができる。実施形態では、このブロブ検出を、例えば、略楕円形、あるいはより概括的には略円錐断面形状のブロブを検出することに限定する。このような限定は、処理効率を向上させるものであり、ほとんどの航空機の全体形状が筒状であることを利用したものである。一般的に、管状体の表面における反射は、楕円形又はその他の円錐断面に類似の形状となる。
【0039】
ブロック１００８において、方法１０００は、様々な方法で画像を処理することにより、検出されたブロブを画質改善する。実施形態によっては、既知の態様で適応的閾値処理（adaptive thresholding）を用いることにより、二値画像を取得する。このような実施形態では、既知の技術を用いて各ブロブの輪郭を特定するとともに、作業対象画像を白黒バージョンに変換したものを使用画像とする。実施形態によっては、作業対象画像を、収縮（erosion）及び膨張（dilation）という既知の技術を用いて操作する。このような実施形態では、既知の技術を用いて、ブロブ境界を閉じる操作を行う。実施形態によっては、画像に対して、輪郭検出処理を行う。このような実施形態では、当該技術を用いて、各ブロブの境界輪郭を特定する。これらの処理工程及び他の処理工程は、様々な実施形態よって適用可能である。
【0040】
ブロック１０１０では、方法１０００は、検出及び処理がなされたブロブに対して、楕円を当てはめる。本ブロックの動作は、ブロブの特定された境界輪郭に楕円を当てはめることを含みうる。本ブロックの動作は、楕円が当てはまるかどうかをチェックすることを含みうる。十分に楕円に当てはまるブロブは、反射の候補として監視される。従って、本ブロックでは、方法１０００は、このような楕円形によって潜在的な反射に対応するブロブを判別できるため、略楕円形の輪郭をキープしておく。
【0041】
ブロック１０１２において、方法１０００は、反射候補の其々に、境界ボックス（bounding box）を当てはめる。このようなボックスは、例えばコーナーが良好に画定されているなどの理由で、反射候補の位置を特定しやすい。また、境界ボックスによって、不完全な輪郭特定を修正することができる。
【0042】
ブロック１０１４において、方法１０００は、画像内の特徴を検出する。この特徴検出は、例えば、反射候補上又は反射候補内の特徴を検出することに限定される。適切な技術の例としては、図４～図７に示すとともにこれらを参照して上述したSURFがある。
【0043】
ブロック１０１６において、方法１０００では、境界ボックス（例えばそのコーナー）から、標準マーカー（例えばそのコーナー）までの距離を求める。これらの距離は、メモリに保存して、異なる視点から捕捉された画像を用いて計算された同様の距離と、後に比較できるようにする。
【0044】
ブロック１０１８において、方法１０００は、カメラを移動させた後に（又は異なるカメラを用いて）、ブロック１００４、１００６、１００８、１０１０、１０１２、１０１４、及び１０１６の動作を繰り返すかどうかを決定する。この決定は、方法１０００によって、航空機の実質的に同じ部分の複数の画像を異なる視点から捕捉したかどうかに基づいて、行われる。少なくとも２つの視点が反射検出プロセスで用いられるため、品質検査中の航空機の各部分について、このような少なくとも２つの画像が無い場合、実施形態は、ブロック１０２０に進む。実施形態によっては、検査中の航空機の各部分のこのような画像を、２つ以上用いる場合がある。ブロック１０１８において追加の画像が必要であると決定されると、制御プロセスは、ブロック１０２０に進む。それ以外の場合は、制御プロセスは、ブロック１０２２に進む。
【0045】
ブロック１０２０において、方法１０００は、カメラ（例えば図２の装置２００のカメラ２０２）を移動させるか、あるいは、先の操作で使用したカメラとは異なる位置にあるカメラを使用する。このようなカメラは、航空機の画像を、違った視点から捕捉する。ブロック１０２０の後、制御プロセスは、ブロック１００４に進む。
【0046】
ブロック１０２２において、方法１０００は、複数の視点から捕捉された画像間で、航空機のほぼ同じ部分で検出されたブロブをマッチングする。このためには、ブロック１０１４で検出された特徴を使用することができる。このマッチングは、図４～図７に示すとともにこれらを参照して上述したRANSACなどのマッチングプロセスを用いて、行うことができる。本ブロック以降は、其々のブロブを、これにマッチすると判定された別のブロブと合わせて、「マッチングブロブセット」と称する。
【0047】
ブロック１０２４において、方法１０００は、画像における、反射又は他の一時的な可視現象として処理されるべきブロブを決定する。概して、角度「ａ」から１つの画像を撮像するとともに、角度「ｂ」から別の画像を撮像して、ある特徴が移動（例えば、変位、コントラストの変化、又は消失）していた場合、当該特徴は、反射として処理される。反射は、光源の角度又は表面の位置の変化に応じて、変化するためである。特徴が位置を変えていなかった場合、当該特徴は、画像の残りの部分と共に、通常処理される。従って、本ブロックでは、方法１０００は、各マッチングブロブセット内の様々なブロブについて、ブロック１０１６で求められた距離を比較する。換言すれば、特定のArUcoマーカーからマッチングブロブセット内の各ブロブへの距離が、画像視点間で異なっている場合、当該ブロブは、その後、反射又は他の一時的な可視現象として処理される。特定のArUcoマーカーからマッチングブロブセット内の各ブロブまでの距離が、画像視点が変わっても同じである場合、当該ブロブは、その後、画像の残りの部分と同様に処理される。
【0048】
図１１は、いくつかの実施形態による標準マーカー１１０２の図である。図示のように、標準マーカーは、数字「１２３」を符号化したArUcoマーカーの一例である。ただし、様々な符号化データのうちの任意のものを有する標準マーカーを、様々な実施形態において使用することができる。
【0049】
図１２は、例えば方法９００及び１０００等の、図示及び上述した方法を実施するのに適したシステム１２００の概略図である。システム１２００は、例えば、通信可能にインターネット１２０４に接続される１つ以上の電子プロセッサ１２１０を含む電子ハードウェアインターネットサーバコンピュータ１２０６に基づいている。システム１２００は、インターネット１２０４への通信接続、ならびに、インターネット１２０４を介したクライアントコンピュータ１２０２及びカメラ２０２への通信接続（図２及び関連する記載を参照）に作用するネットワークインターフェース１２０８を含む。ネットワークインターフェース１２０８は、ネットワークアダプタなどの物理的なネットワークインターフェースを含みうる。システム１２００は、信頼性及び高帯域通信に適した専用コンピュータであってもよい。従って、システム１２００は、例えば、個別のハードウェアサーバコンピュータの集まりとして実施することができる。プロセッサ１２１０は、大量の情報を扱うことに適したマルチコアプロセッサであってもよい。プロセッサ１２１０は、通信可能に永続ストレージ１２１２に接続されるとともに、当該ストレージに保存された命令を実行することにより、クライアントコンピュータ１２０２と協働して、特に図９及び図１０に示すとともにこれらを参照して説明した本明細書に開示の技術を実現することができる。永続ストレージ１２１２は、高い信頼性のために、RAID（Redundant Array of Inexpensive Disk drives）構成であってもよい。プロセッサ１２１０は、通信可能にグラフィカルコプロセッサ（ＧＰＵ）１２１４にも接続されている。グラフィカルコプロセッサによれば、平行して動作を行うことによって、本明細書に開示の技術を迅速化することができる。
【0050】
また、本開示は以下の付記に記載の実施例を含む。
【0051】
Ａ１． 航空機（１００）の標章（１０６）の自動品質検査方法（９００）であって、品質検査中の前記航空機における航空機標章の少なくとも一部（１０２、１０４）を表す対照画像（３０２、４０２、５０２）を、電子永続ストレージ（１２１２）から抽出すること（９０２）と、品質検査中の前記航空機における航空機標章の少なくとも一部（１０２、１０４）を表す処理画像（３０４、４０４、５０４）を捕捉すること（９０４）と、前記対照画像及び前記処理画像における複数の特徴（４０６）を検出すること（９０６）と、前記対照画像を前記処理画像と重ね合わせること（９１０）と、前記対照画像と前記処理画像との少なくとも１つの相違を検出すること（９１２）と、前記少なくとも１つの相違にアノテーションが付された状態にて、品質検査中の前記航空機の描写を含む出力画像（８００）を生成すること（９１４）と、前記出力画像を表示させること（９１６）と、を含む、方法。
【0052】
Ａ２． 少なくとも１つの反射（３０６）を検出する（９０８）とともに、前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することをさらに含む、Ａ１に記載の方法。
【0053】
Ａ３． 前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することは、品質検査中の前記航空機の少なくとも１つの画像を第１視点（２０８、２１０、２１２）から捕捉すること、及び、品質検査中の前記航空機の少なくとも１つの画像を第２視点（２０８、２１０、２１２）から捕捉することを含む、Ａ２に記載の方法。
【0054】
Ａ４． 前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することは、品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること及び品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することの前に、品質検査中の前記航空機に少なくとも１つの標準マーカー（１１０２）を配置することを含む、Ａ３に記載の方法。
【0055】
Ａ５． 前記少なくとも１つの相違に対応する異常を修正すること（９１８）をさらに含む、Ａ１～Ａ４に記載の方法。
【0056】
Ａ６． 前記複数の特徴を検出することは、SURF（Speeded Up Robust Features）アルゴリズムを用いて複数の特徴を検出することを含む、Ａ１～Ａ５に記載の方法。
【0057】
Ａ７． 前記対照画像を前記処理画像と重ね合わせることは、RANSAC（RANdom SAmple Consensus）アルゴリズムを用いて行われる、Ａ１～Ａ６に記載の方法。
【0058】
Ａ８． 前記出力画像を生成することは、第１視点（２０８、２１０、２１２）から捕捉された画像の少なくとも一部を、前記第１視点とは異なる第２視点（２０８、２１０、２１２）から捕捉された画像の少なくとも一部と結合させることを含む、Ａ１～Ａ８に記載の方法。
【0059】
Ａ９． 前記対照画像は、第１視点（２０８、２１０、２１２）から捕捉された第１対照画像と、前記第１視点とは異なる第２視点（２０８、２１０、２１２）から捕捉された第２対照画像との組み合わせを含み、前記処理画像は、第３視点（２０８、２１０、２１２）から捕捉された第１処理画像と、前記第３視点とは異なる第４視点（２０８、２１０、２１２）から捕捉された第２処理画像との組み合わせを含む、Ａ１～Ａ８に記載の方法。
【0060】
Ａ１０． 前記少なくとも１つの相違を検出することは、前記対照画像と前記処理画像との間でピクセル毎の比較を行うことを含む、Ａ１～Ａ９に記載の方法。
【0061】
Ｂ１． 航空機（１００）の標章（１０６）の自動品質検査システム（１２００）であって、品質検査中の前記航空機における航空機標章の少なくとも一部（１０２、１０４）を表す対照画像（３０２、４０２、５０２）を保存する電子永続ストレージ（１２１２）と、品質検査中の前記航空機の複数の画像を捕捉するように配置された複数のカメラ（２０２、２０４、２０６）と、前記電子永続ストレージ及び前記複数のカメラに通信可能に接続されて、所定の動作を行うための命令を実行する少なくとも１つの電子プロセッサ（１２１０）とを含み、前記所定の動作は、前記電子永続ストレージから前記対照画像を抽出すること（９０２）と、前記複数のカメラによって、品質検査中の前記航空機における航空機標章の少なくとも一部（１０２、１０４）を表す処理画像（３０４、４０４、５０４）を捕捉すること（９０４）と、前記対照画像及び前記処理画像における複数の特徴（４０６）を検出すること（９０６）と、前記対照画像を前記処理画像と重ね合わせること（９１０）と、前記対照画像と前記処理画像との少なくとも１つの相違を検出すること（９１２）と、前記少なくとも１つの相違にアノテーションが付された状態にて、品質検査中の前記航空機の描写を含む出力画像（８００）を生成すること（９１４）と、前記出力画像を表示させること（９１６）と、を含む、システム。
【0062】
Ｂ２． 前記所定の動作は、少なくとも１つの反射（３０６）を検出する（９０８）とともに、前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することをさらに含む、Ｂ１に記載のシステム。
【0063】
Ｂ３． 前記少なくとも１つの反射を前記対照画像と前記処理画像との相違とみなすことから排除することは、前記複数のカメラによって、品質検査中の前記航空機の少なくとも１つの画像を第１視点（２０８、２１０、２１２）から捕捉すること、及び、前記複数のカメラによって、品質検査中の前記航空機の少なくとも１つの画像を第２視点（２０８、２１０、２１２）から捕捉することを含む、Ｂ２に記載のシステム。
【0064】
Ｂ４． 品質検査中の前記航空機の少なくとも１つの画像を第１視点から捕捉すること及び品質検査中の前記航空機の少なくとも１つの画像を第２視点から捕捉することの前に、品質検査中の前記航空機に配置されるように構成された、少なくとも１つの標準マーカー（１１０２）をさらに含む、Ｂ３に記載のシステム。
【0065】
Ｂ５． 前記所定の動作は、前記少なくとも１つの相違に対応する異常を修正する（９１８）ようにユーザを誘導することをさらに含む、Ｂ１～Ｂ４に記載のシステム。
【0066】
Ｂ６． 前記複数の特徴を検出することは、SURF（Speeded Up Robust Features）アルゴリズムを用いて複数の特徴を検出することを含む、Ｂ１～Ｂ５に記載のシステム。
【0067】
Ｂ７． 前記対照画像を前記処理画像と重ね合わせることは、RANSAC（RANdom SAmple Consensus）アルゴリズムを用いて行われる、Ｂ１～Ｂ６に記載のシステム。
【0068】
Ｂ８． 前記出力画像を生成することは、第１視点（２０８、２１０、２１２）から捕捉された画像の少なくとも一部を、前記第１視点とは異なる第２視点（２０８、２１０、２１２）から捕捉された画像の少なくとも一部と結合させることを含む、Ｂ１～Ｂ７に記載のシステム。
【0069】
Ｂ９． 前記対照画像は、第１視点（２０８、２１０、２１２）から捕捉された第１対照画像と、前記第１視点とは異なる第２視点（２０８、２１０、２１２）から捕捉された第２対照画像との組み合わせを含み、前記処理画像は、第３視点（２０８、２１０、２１２）から捕捉された第１処理画像と、前記第３視点とは異なる第４視点（２０８、２１０、２１２）から捕捉された第２処理画像との組み合わせを含む、Ｂ１～Ｂ８に記載のシステム。
【0070】
Ｂ１０． 前記少なくとも１つの相違を検出することは、前記対照画像と前記処理画像との間でピクセル毎の比較を行うことを含む、Ｂ１～Ｂ９に記載のシステム。
【0071】
なお、いくつかの実施形態は、航空機に限らず、任意の三次元構造体の表面における特徴の遠隔検査に適用可能である。
【0072】
上述したいくつかの実施例は、部分的にコンピュータのアプリケーション又はプログラムを用いて行うことができる。コンピュータプログラムは、アクティブ及び非アクティブを含め、様々な形態で実現することができる。例えば、コンピュータプログラムは、１つ以上のソフトウェアプログラム、ソフトウェアモジュール、又はこれら両方の形態を取ることができ、これらは、ソースコード、オブジェクトコード、実行可能コードもしくは他のフォーマットのプログラム命令、ファームウェアプログラム、又は、ハードウェア記述言語（ＨＤＬ）ファイルによって構成することができる。上述のいずれも、コンピュータ可読媒体に組み込むことができ、コンピュータ可読媒体は、圧縮形式又は非圧縮形式のコンピュータ可読記憶装置及び媒体を含みうる。例示的なコンピュータ可読記憶装置及び媒体は、従来のコンピュータシステムのＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電気的に消去可能なプログラマブルＲＯＭ）、及び、磁気もしくは光ディスク又はテープを含む。
【0073】
当業者であれば、真の精神及び範囲から逸脱することなく、記載した実施形態に対して様々な改変を行うことが可能であろう。本明細書で用いられている用語及び説明は、例示のみを目的として記載されたものであり、限定を意図したものではない。特に、実施例によって方法を説明したが、本方法の工程は、例示とは異なる順序で行うことも、同時に行うこともできる。当業者であればわかるように、このような改変やその他の改変は、以下の特許請求の範囲及びその均等物によって規定される精神及び範囲内で可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】