(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】航空機検査支援装置および航空機検査支援方法
(51)【国際特許分類】
B64F 5/60 20170101AFI20221206BHJP
【FI】
B64F5/60
(21)【出願番号】P 2021534872
(86)(22)【出願日】2019-07-19
(86)【国際出願番号】 JP2019028553
(87)【国際公開番号】W WO2021014514
(87)【国際公開日】2021-01-28
【審査請求日】2021-12-09
(73)【特許権者】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【氏名又は名称】宮園 博一
(72)【発明者】
【氏名】森田 洪爾
(72)【発明者】
【氏名】堀川 浩司
(72)【発明者】
【氏名】八木 寛
【審査官】藤井 浩介
(56)【参考文献】
【文献】特許第6415034(JP,B2)
【文献】米国特許出願公開第2018/0186475(US,A1)
【文献】特開2010-281754(JP,A)
【文献】特開2019-28595(JP,A)
【文献】特開2017-33429(JP,A)
【文献】特表2016-522089(JP,A)
【文献】特開2017-59213(JP,A)
【文献】米国特許出願公開第2013/0261876(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B64F 5/60
(57)【特許請求の範囲】
【請求項1】
複数の位置から形状データを取得することにより、航空機の形状の3次元モデルを生成する3次元モデル生成部と、
航空機の部品である検査対象物の検査位置を取得する検査位置取得部と、
前記検査対象物の検査結果を取得するとともに、前記3次元モデル上の前記検査位置に対応する3次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶させる制御を行う制御部と
、
検査時において、前記検査対象物を含む領域を撮像した検査画像を取得する撮像部と、
前記検査画像を撮像する際に、前記検査位置を示すマーカー光を照射または発光するマーカー光発生部とを備え
、
前記制御部は、前記検査画像に基づいて、前記検査対象物の前記検査位置を取得するとともに、取得した前記検査位置と、前記3次元モデル位置とを関連付ける制御を行うように構成されている、航空機検査支援装置。
【請求項2】
前記3次元モデルと、前記検査位置と、前記検査結果とを記憶する記憶部をさらに備え、
前記制御部は、前記検査対象物の前記検査位置と、前記3次元モデル位置とを関連付けるとともに、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルを、前記記憶部に記憶する制御を行うように構成されている、請求項1に記載の航空機検査支援装置。
【請求項3】
前記制御部は、前記3次元モデル位置、前記検査位置、および、前記検査結果に加えて、さらに前記検査対象物の検査判定結果を関連付けて記憶する制御を行うように構成されている、請求項
1に記載の航空機検査支援装置。
【請求項4】
前記マーカー光発生部は、前記検査対象物の前記検査位置に対して、少なくとも、検査合格を示す第1マーカー光と、検査不合格を示す第2マーカー光とを照射または発光可能に構成されている、請求項
1に記載の航空機検査支援装置。
【請求項5】
前記3次元モデル生成部は、撮像位置を変化させながら撮像された複数枚の画像に基づいて、前記3次元モデルを生成するように構成されている、請求項1に記載の航空機検査支援装置。
【請求項6】
少なくとも前記3次元モデルに基づいて、前記検査対象物の外観形状の状態変化の検査を行う外観形状検査部をさらに備える、請求項1に記載の航空機検査支援装置。
【請求項7】
少なくとも前記検査対象物を含む検査領域の3次元設計データを取得する設計データ取得部をさらに備え、
前記外観形状検査部は、前記3次元モデル生成部によって生成された前記3次元モデルと、前記設計データ取得部によって取得された前記3次元設計データとの比較に基づいて、前記検査対象物を含む検査領域の外観形状の状態変化の検査を行うように構成されている、請求項
6に記載の航空機検査支援装置。
【請求項8】
前記設計データ取得部は、航空機の製造時、または、検査前において生成された前記3次元モデルを、前記3次元設計データとして取得するように構成されている、請求項
7に記載の航空機検査支援装置。
【請求項9】
検査者の視野範囲に写る画像を表示する表示部をさらに備え、
前記制御部は、前記視野範囲に写る画像と、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルとに基づいて、前記検査対象物を含む検査領域に少なくとも前回の検査時における過去の検査結果を投影することにより表示するか、または、前記視野範囲に写る画像上に、前記検査対象物の前記過去の検査結果を表示する制御を行うように構成されている、請求項1に記載の航空機検査支援装置。
【請求項10】
前記制御部は、前記視野範囲に写る画像と、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルとに基づき、前記検査対象物を含む検査領域に前記検査位置を投影することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示するか、または、前記視野範囲に写る画像上に前記検査位置を表示することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示する制御を行うように構成されている、請求項
9に記載の航空機検査支援装置。
【請求項11】
検査者の視野範囲に写る画像を表示する表示部をさらに備え、
前記制御部は、前記視野範囲に写る画像と、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルと、前記検査位置における外観形状の状態変化を示す外観形状検査結果とに基づいて、前記検査対象物を含む検査領域の前記検査位置に対して、投影することにより前記外観形状検査結果を表示するか、または、前記視野範囲に写る画像上の前記検査位置に対して、前記外観形状検査結果を表示する制御を行うように構成されている、請求項
7に記載の航空機検査支援装置。
【請求項12】
前記表示部は、前記検査対象物を含む検査領域および前記検査対象物における前記検査位置を表示するヘッドマウントディスプレイとして構成されている、請求項
9または1
1に記載の航空機検査支援装置。
【請求項13】
前記表示部は、前記視野範囲に写る画像上に、前記検査対象物における前記検査位置を識別可能に表示する可搬型の表示装置として構成されている、請求項
9または1
1に記載の航空機検査支援装置。
【請求項14】
前記撮像部は、前記検査画像と、前記3次元モデルを生成するための複数の画像と、検査者の視野範囲に写る画像とを取得するように構成されている、請求項
1に記載の航空機検査支援装置。
【請求項15】
複数の位置から形状データを取得することにより、航空機の形状の3次元モデルを生成し、
航空機の部品である検査対象物
を検査し、
前記検査対象物の検査結果を取得し、
前記検査対象物の検査位置を取得し、
前記3次元モデル上の前記検査位置に対応する3次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶
し、
検査時において、前記検査対象物を含む領域を撮像した検査画像を取得し、
前記検査画像を撮像する際に、前記検査位置を示すマーカー光を照射または発光し、
前記検査位置を取得する際に、前記検査画像に基づいて、前記検査対象物の前記検査位置を取得する、航空機検査支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、航空機検査支援装置および航空機検査支援方法に関する。
【背景技術】
【0002】
従来、検査対象物を検査する際の航空機検査支援装置が知られている。このような航空機検査支援装置は、たとえば、特許第6415034号公報に開示されている。
【0003】
上記特許第6415034号公報には、航空機に生じた損傷を検査するための航空機検査支援装置が開示されている。上記特許第6415034号公報に開示されている構成は、航空機の所定領域を撮像した画像を取得するとともに、取得した画像と、基準画像とを比較することにより、取得した画像内において異常が生じているか否かを判定する。取得した画像内において異常が見つかった場合には、近赤外分光法などの非破壊検査によって、損傷の詳細な検査が行われる。上記特許第6415034号公報には、非破壊検査を実施する際には、画像を取得した際のカメラの方位角および仰角(パン角およびチルト角)に基づいて、非破壊検査装置の向きを調整する構成が開示されている。
【0004】
そして、上記特許第6415034号公報に開示されている航空機検査支援装置は、航空機の設計データを用いて検査位置を特定する。上記特許第6415034号公報には、設計データ上における検査位置と、検査結果と、画像データとを相互に関連付けるデジタル記録をコンピュータメモリに保存する構成が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許第6415034号公報に開示されている航空機検査支援装置では、上記の通り、設計データに基づいて検査位置を特定している。しかしながら、たとえば、複数の板材を接合するための部品であるリベットのように、航空機一機当たりにおいて、数千個~数万個使用されている部品などは、設計データにおいて、1つ1つ詳細に記憶されていない場合がある。また、運用中の整備等において補修などを行った場合など、製造時に対し一部部位の形状が変更された際に、当該部位の情報を設計データに記憶されない。これらの場合、検査対象物の検査位置と検査結果とを関連付けることが困難になるという問題点がある。
【0007】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査対象物の検査位置と検査結果とを関連付けて記憶することが可能な航空機検査支援装置および航空機検査支援方法を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、この発明の第1の局面における航空機検査支援装置は、複数の位置から形状データを取得することにより、航空機の形状の3次元モデルを生成する3次元モデル生成部と、航空機の部品である検査対象物の検査位置を取得する検査位置取得部と、検査対象物の検査結果を取得するとともに、3次元モデル上の検査位置に対応する3次元モデル位置と、検査位置と、検査結果とを関連付けて記憶させる制御を行う制御部と、検査時において、検査対象物を含む領域を撮像した検査画像を取得する撮像部と、検査画像を撮像する際に、検査位置を示すマーカー光を照射または発光するマーカー光発生部とを備え、制御部は、検査画像に基づいて、検査対象物の検査位置を取得するとともに、取得した検査位置と、3次元モデル位置とを関連付ける制御を行うように構成されている。
【0009】
この発明の第2の局面における航空機検査支援方法は、航空機の部品である検査対象物を検査し、検査対象物の検査結果を取得し、検査対象物の検査位置を取得し、3次元モデル上の検査位置に対応する3次元モデル位置と、検査位置と、検査結果とを関連付けて記憶し、検査時において、検査対象物を含む領域を撮像した検査画像を取得し、検査画像を撮像する際に、検査位置を示すマーカー光を照射または発光し、検査位置を取得する際に、検査画像に基づいて、検査対象物の検査位置を取得する。
【発明の効果】
【0010】
本発明の第1の局面では、上記のように、航空機の形状の3次元モデルを生成する3次元モデル生成部と、3次元モデル上の検査位置に対応する3次元モデル位置と、検査位置と、検査結果とを関連付けて記憶させる制御を行う制御部と、検査時において、検査対象物を含む領域を撮像した検査画像を取得する撮像部と、検査画像を撮像する際に、検査位置を示すマーカー光を照射または発光するマーカー光発生部とを備え、制御部は、検査画像に基づいて、検査対象物の検査位置を取得するとともに、取得した検査位置と、3次元モデル位置とを関連付ける制御を行うように構成されている。上記制御部を備えることにより、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査対象物の検査位置と検査結果とを関連付けて記憶することができる。また、上記制御部を備えることにより、生成された3次元モデル上の検査位置に対応する3次元モデル位置と、検査位置と、検査結果とを関連付けて記憶することができる。その結果、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査位置と検査結果とを関連付けて記憶することができる。また、上記制御部を備えることにより、検査者は、3次元モデルにおいて検査位置を確認することが可能となるので、検査位置を立体的に把握することができる。その結果、たとえば、2次元モデルにおいて検査位置を確認する場合と比較して、検査位置をより直感的に把握することができる。また、上記制御部を備えることにより、検査位置と検査結果とを関連付けて記憶することが可能となるので、データを蓄積することにより、過去のデータと比較することが可能となり、検査結果の経時的な変化を把握することができる。その結果、検査結果と、飛行時間およびフライトサイクルなどの運用データとを合わせて解析することにより、重点的に検査する箇所を把握することができるとともに、予防保全に有益な情報を得ることができる。
【0011】
また、本発明の第2の局面では、上記のように構成することにより、第1の局面における航空機検査支援装置と同様に、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査対象物の検査位置と検査結果とを関連付けて記憶することが可能な航空機検査支援方法を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】一実施形態による航空機検査支援装置の構成を示した模式図である。
【
図2】航空機検査支援装置の構成を示したブロック図である。
【
図3】3次元モデル生成部が3次元モデルを生成する方法を説明するための模式図である。
【
図4】3次元モデル生成部が生成する航空機の3次元モデルの模式図である。
【
図6】第1マーカー光が発光された検査画像の模式図である。
【
図7】第2マーカー光が発光された検査画像の模式図である。
【
図8】関連付けられた情報を記憶する処理を説明するための図である。
【
図9】一実施形態による検査対象物検査処理を説明するためのフローチャートである。
【
図10】表示部に表示される検査結果を説明するための模式図である。
【
図11】検査結果表示処理を説明するためのフローチャートである。
【
図12】外観形状の状態変化の検査を説明するための模式図である。
【
図13】外観形状の状態変化の検査処理を説明するためのフローチャートである。
【
図14】第1変形例による表示部に表示される検査実施済検査対象物を説明するための模式図である。
【
図15】第1変形例による表示部に表示される検査実施済検査対象物の表示処理を説明するためのフローチャートである。
【
図16】第2変形例による航空機検査支援装置の構成を示したブロック図である。
【
図17】第2変形例による航空機検査支援装置の構成を示した模式図である。
【
図18】第2変形例による表示部の構成を示した模式図である。
【
図19】第3変形例による航空機検査支援装置の構成を示した模式図である。
【
図20】第4変形例による航空機検査支援装置の構成を示したブロック図である。
【
図21】第5変形例による関連付けられた情報を記憶する処理を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0014】
図1~
図13を参照して、本発明の一実施形態による航空機検査支援装置100の構成について説明する。
【0015】
一実施形態による航空機検査支援装置100は、
図1に示すように、検査対象物40に対する検査作業を、検査対象物40の近傍において、検査部10を用いて行う検査者30に対する支援を行う装置として構成されている。具体的には、検査対象物40とは、たとえば、航空機において、へこみ、欠損、腐食、クラック(ひび割れまたは亀裂)、摩耗などが生じる物体を含む。本実施形態では、検査対象物40は、航空機の胴体を構成する複数枚のプレート42を接合するためのリベット41およびプレート42である。すなわち、検査対象物40は、リベット締結部およびリベット締結部の近傍と、プレート42とである。なお、検査対象物40の近傍とは、たとえば、検査者30が検査対象物40に対して後述する計測プローブ12を接触させることが可能な位置(検査対象物40にアクセス可能な位置)の範囲を意味するものとして記載しており、具体的には、たとえば、検査対象物40と、検査対象物40に対向する作業位置(足場部分)とを含む領域である。
【0016】
複数のリベット41同士の間隔は、たとえば、約1インチ~数インチである。
図1は、複数のリベット41がプレート42上に行列状に配置されている例を示している。これにより、航空機1機当たりには、数千個~数万個のリベット41が設けられている。また、この検査では、検査者30は、リベット41の疲労状態およびプレート42にリベット穴から亀裂が発生していないかなどを、全てのリベット41について、検査部10を用いて検査する。また、検査者30は、たとえば、航空機の胴体に沿って設けられた足場の上に乗った状態で、検査を行う。
【0017】
また、航空機検査支援装置100は、管制室120に設けられたサーバー装置121と無線通信などによって情報(データ)をやり取りする、情報システムとして構成されている。管制室120には、
図2に示すように、サーバー装置121と無線通信をする場合は通信装置122とが設けられている。
【0018】
サーバー装置121は、通信装置122を介して航空機検査支援装置100から取得した情報(画像など)を記憶(管理および蓄積)するように構成されている。また、サーバー装置121には、航空機検査支援装置100から取得した情報(後述する1つのデータファイル80)に基づいたデータベースが構築されており、このデータベースは、過去に航空機検査支援装置100から取得した情報と、新たに取得した情報とを比較可能に構成されている。
【0019】
通信装置122は、航空機検査支援装置100と無線通信を行うように構成されている。
【0020】
検査部10は、検査対象物40の検査を行うように構成されている。検査部10は、検査者30が非破壊検査を行う装置として構成されている。本実施形態では、検査部10は、たとえば、渦電流探傷装置、または、超音波探傷装置として構成されている。また、検査部10は、航空機の製造メーカが作成する整備マニュアルや各国の航空局(たとえば、米国連邦航空局(FAA))が承認した航空機整備会社の整備規定に対応する特定の計測器などである。
【0021】
図1に示すように、検査部10は、検査部本体10aと、検査部側表示部11と、計測プローブ12とを含む。検査部本体10aは、箱状の筐体を含む。そして、検査部側表示部11は、検査部本体10aの一側面に設けられている。また、検査部側表示部11は、たとえば、液晶ディスプレイを含む。そして、検査部側表示部11は、計測プローブ12からの検査結果50を、計測情報画像60として表示するように構成されている。
【0022】
図1に示すように、計測プローブ12は、検査部本体10aとケーブル12aを介して接続されており、検査結果50を検査部本体10aに伝達するように構成されている。計測プローブ12は、検査者30により把持可能に構成されており、たとえば、ペン型に構成されている。なお、検査結果50は、デジタル信号として検査部本体10aに伝達される。
【0023】
(検査ユニットの構成)
図2に示すように、航空機検査支援装置100は、検査ユニット1と、データ処理ユニット2とを含む。検査ユニット1は、検査部10と、マーカー光発生部13と、通信部14と、を含む。検査ユニット1は、検査対象物40の非破壊検査を行うように構成されている。
【0024】
マーカー光発生部13は、検査結果50を確認し、検査画像61(
図6参照)を撮像する際に、検査位置53を示すマーカー光を照射または発光するように構成されている。マーカー光発生部13の詳細な構成については、後述する。
【0025】
通信部14は、検査部10により取得した検査結果50の無線信号として、データ処理ユニット2の通信部24に送信するように構成されている。たとえば、計測情報画像60は、動画として連続的に通信部24に送信される。
【0026】
(データ処理ユニットの構成)
データ処理ユニット2は、
図2に示すように、ヘッドマウントディスプレイ(以下、「HMD」という)21と、撮像部22と、記憶部23と、通信部24と、制御部25と、を含む。また、記憶部23と通信部24と制御部25とは、コントローラボックス2a(
図1参照)に配置されている。データ処理ユニット2は、検査対象物40の検査結果50と、検査位置53とを関連付ける処理を行うように構成されている。
【0027】
コントローラボックス2aは、
図1に示すように、検査者30により携帯または装着されるように構成されている。たとえば、コントローラボックス2aは、検査者30の腰部にベルトなどを用いて装着されるように構成されている。
【0028】
表示部としてのHMD21は、検査者30の視野範囲に写る画像62(
図6参照)を表示するように構成されている。本実施形態では、HMD21は、検査対象物40を含む検査領域および検査対象物40における検査位置53を表示するHMD21として構成されている。すなわち、航空機検査支援装置100は、HMDシステムとして構成されている。
【0029】
HMD21は、検査者30の頭部に装着され、撮像部22で撮像した検査対象物40の検査画像61、または、検査者30の視野範囲に写る画像62を表示するように構成されている。HMD21は、HMD装着部材21aを含む。HMD装着部材21aは、たとえば、検査者30の頭部に装着されるベルト状に形成されているか、または、ヘルメット形状(
図1参照)を有する。また、検査者30の視野範囲に写る画像62は、たとえば、複数のリベット41の画像とプレート42の画像とが含まれている。
【0030】
また、HMD21は、表示画面21bを含む。表示画面21bは、たとえば、液晶ディスプレイを含む。HMD21の表示画面21bは、
図1に示すように、HMD装着部材21aに固定されているとともに、検査者30の目と検査対象物40との間に配置されている。表示画面21bは、たとえば、バイザー状に形成されている。そして、表示画面21bは、検査時において、表示画面21bを透過して視認される光景(検査者30の視野範囲に写る画像62に対応する領域の光景)と、表示画面21bに表示される検査結果50とを重ねて視認させることが可能である。たとえば、HMD21は、表示画面21bの一部の領域に、検査結果50を半透明の状態で表示するように構成されている。
【0031】
また、HMD21は、撮像部22で撮像した検査画像61、または、検査者30の視野範囲に写る画像62などを表示画面21bに表示(投影)するように構成されている。これにより、検査者30は、HMD21に投影された検査画像61、または、検査者30の視野範囲に写る画像62などを直接確認することができるので、状況によっては撮像部22の向きや配置位置などを修正することが可能である。
【0032】
撮像部22は、検査者30の頭部に装着されており、いわゆる、ウェアラブルカメラとして構成されている。撮像部22は、HMD装着部材21aに固定されている。これにより、HMD21は、HMD装着部材21aを介して、撮像部22を検査者30の頭部に装着可能に構成されている。
【0033】
また、撮像部22には、たとえば、光学部品(レンズなど)と撮像素子とが設けられている。また、撮像部22は、検査対象物40を撮像するように構成されている。具体的には、撮像部22は、検査者30の視野範囲に写る画像62を取得するように構成されている。撮像部22は、検査時において、検査者30の視野範囲に写る画像62を、検査対象物40を含む領域を撮像した検査画像61として取得するように構成されている。
【0034】
また、撮像部22は、通信部24を介して制御部25と無線通信(または有線通信)可能に構成されている。そして、撮像部22は、撮像した検査者30の視野範囲に写る画像62を、たとえば、動画として、通信部24を介して制御部25に送信するように構成されている。また、撮像部22は、検査画像61と、3次元モデル52(
図4参照)を生成するための複数の画像63(
図3参照)と、検査者30の視野範囲に写る画像62とを取得するように構成されている。
【0035】
記憶部23は、不揮発性メモリとして構成されている。そして、記憶部23は、制御部25による指令に基づいて、後述する3次元モデル52と、検査位置53と、検査結果50とを記憶するように構成されている。また、記憶部23は、制御部25が実行する各種プログラムを記憶している。また、記憶部23は、コントローラボックス2aに対して脱着可能に構成されている。たとえば、記憶部23は、SDカード(登録商標)として構成されている。なお、記憶部23は、コントローラボックス2aに直接装着されてもよいし、コントローラボックス2aに外付けするように、ケーブルを配してコントローラボックス2aに連結されていてもよい。すなわち、記憶部23は、リムーバブルメディア(可搬型記憶媒体)である。
【0036】
通信部24は、通信部14と無線通信可能に構成されているとともに、撮像部22と無線通信可能に構成されている。また、通信部24は、管制室120の通信装置122と無線通信可能に構成されている。
【0037】
〈制御部の構成〉
制御部25は、航空機検査支援装置100の各部の制御を行うように構成されている。また、制御部25は、検査対象物40の検査結果50を取得するとともに、3次元モデル52上の検査位置53に対応する3次元モデル位置54と、検査位置53と、検査結果50とを関連付けて記憶させる制御を行うように構成されている。たとえば、制御部25は、中央処理装置(CPU:Central Processing Unit)および画像処理装置(GPU:Graphics Processing Unit)などを含む。検査結果50は、検査部10によって取得された検査対象物40の測定データである。
【0038】
本実施形態では、
図2に示すように、制御部25は、3次元モデル生成部25aと、検査位置取得部25bと、設計データ取得部25cと、外観形状検査部25dとを含む。なお、制御部25は、記憶部23に記憶されている各種プログラムを実行することにより、3次元モデル生成部25a、検査位置取得部25b、設計データ取得部25c、および、外観形状検査部25dとして機能する。また、検査位置53は、検査対象物40の検査を実施した位置であり、3次元の位置座標を含む。また、3次元モデル位置54は、3次元モデル52状の位置を示す3次元の位置座標を含む。
【0039】
3次元モデル生成部25aは、複数の位置から形状データを取得することにより、航空機の形状の3次元モデル52を生成するように構成されている。本実施形態において、3次元モデル52とは、航空機の形状情報を含み、撮像部22によって取得された画像63に基づいて生成される。3次元モデル生成部25aが3次元モデル52を生成する詳細な構成については、後述する。
【0040】
検査位置取得部25bは、検査対象物40の検査が実施された検査位置53を取得するように構成されている。なお、検査位置53は、検査対象物40において検査が実施された位置であり、3次元の位置座標を含む。検査位置取得部25bが、検査位置53を取得する詳細な構成については、後述する。
【0041】
設計データ取得部25cは、少なくとも検査対象物40を含む検査領域の3次元設計データ56を取得する。具体的には、設計データ取得部25cは、サーバー装置121に記憶されている3次元設計データ56を予め取得するように構成されている。
【0042】
外観形状検査部25dは、少なくとも3次元モデル52に基づいて、検査対象物40の外観形状の状態変化の検査を行うように構成されている。外観形状検査部25dが検査対象物40の外観形状の状態変化の検査を行う詳細な構成については、後述する。
【0043】
(3次元モデル)
次に、
図3および
図4を参照して、本実施形態における3次元モデル生成部25aが3次元モデル52を生成する構成について説明する。
【0044】
図3に示すように、3次元モデル生成部25aは、撮像位置を変化させながら撮像された複数枚の画像63に基づいて、3次元モデル52を生成するように構成されている。3次元モデル生成部25aは、いわゆるVisual SLAM(Simulataneous Localization and Mapping)を用いて3次元モデル52を生成するように構成されている。具体的には、撮像部22の位置を変化させながら、検査対象物40を撮像する。検査対象物40には、複数の特徴点70が含まれており、撮像位置に応じて、画像62中における特徴点70の位置が変化する。3次元モデル生成部25aは、撮像位置を変化させながら撮像された複数枚の画像63中に写る特徴点70の位置関係に基づいて、3次元モデル52を生成する。すなわち、3次元モデル52は、複数枚の画像63における各特徴点70の位置関係から、各特徴点70の3次元の位置座標を推測することにより取得された、航空機の3次元マップである。
【0045】
図4は、3次元モデル生成部25aが生成した3次元モデル52の模式図である。本実施形態では、検査部10による検査を実施する前に、予め、航空機の3次元モデル52を生成し、記憶部23に記憶しておく。
【0046】
(マーカー光発生部)
次に、
図5~
図7を参照して、マーカー光発生部13の構成およびマーカー光発生部13によるマーカー光の照射方法について説明する。
【0047】
マーカー光発生部13は、筐体13aと、スイッチ13bと、発光部13cとを含む。また、筐体13aには、検査者30の指31(手指)が挿入される開口13dが設けられている。マーカー光発生部13は、スイッチ13bが押下されることにより、発光部13cから検査対象物40の検査位置53においてマーカー光が発光されるように構成されている。発光部13cは、たとえば、LED(Light Emitting Diode)などを含む。
【0048】
図6に示すように、検査者30は、マーカー光発生部13を指31(手指)に装着した状態で、計測プローブ12を把持し、検査対象物40の検査を行う。マーカー光発生部13は、検査対象物40の検査位置53において、少なくとも、検査合格を示す第1マーカー光と、検査不合格を示す第2マーカー光とを発光可能に構成されている。本実施形態では、マーカー光発生部13は、第1マーカー光の発光色と、第2マーカー光の発光色とを互いに異ならせることが可能に構成されている。これにより、検査者30は、検査結果50を識別することができる。
【0049】
図6は、検査者30が、第1マーカー光を発光した場合の検査画像61(視野範囲に写る画像62)の模式図である。すなわち、
図6に示す例は、検査合格の場合の検査画像61(視野範囲に写る画像62)である。また、
図7は、検査者30が、第2マーカー光を発光した場合の検査画像61(視野範囲に写る画像62)の模式図である。すなわち、
図7に示す例は、検査不合格の場合の検査画像61(視野範囲に写る画像62)の模式図である。検査者30は、検査結果50に基づいて、第1マーカー光および第2マーカー光を発光させる。具体的には、計測プローブ12によって検査対象物40(リベット41)を検査する際に取得された検査結果50を、HMD21に表示する。検査者30は、HMD21に表示された検査結果50に基づいて、第1マーカー光および第2マーカー光を選択して発光させる。なお、
図6および
図7に示す例では、ハッチングの違いにより、第1マーカー光の発光色と第2マーカー光の発光色との違いを図示している。
【0050】
また、本実施形態では、検査位置取得部25bは、検査画像61に写るマーカー光の位置を取得することにより、検査位置53を取得するように構成されている。
【0051】
(3次元モデルと、検査位置と、検査結果と、検査判定結果との関連付け)
本実施形態では、制御部25は、検査対象物40の検査位置53と、3次元モデル位置54とを関連付けるとともに、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52を、記憶部23に記憶する制御を行うように構成されている。具体的には、制御部25は、検査画像61に基づいて、検査対象物40の検査位置53を取得するとともに、取得した検査位置53と、3次元モデル位置54とを関連付ける制御を行うように構成されている。本実施形態では、制御部25は、3次元モデル52上の検査位置53に対応する3次元モデル位置54と、検査位置53と、検査結果50とを関連付けて記憶させる制御を行うように構成されている。また、本実施形態では、制御部25は、3次元モデル位置54、検査位置53、および、検査結果50に加えて、さらに検査対象物40の検査判定結果51を関連付けて記憶する制御を行うように構成されている。検査判定結果51は、検査部10によって取得された検査対象物40の修理または交換が必要であるか否かを示す情報である。検査判定結果51は、検査結果50に基づいて取得される。検査判定結果51は、たとえば、検査対象物40の修理、または、交換が必要でない「合格」と、検査対象物40の修理、または、交換が必要な「不合格」とが含まれる。
【0052】
本実施形態では、撮像部22は、検査者30が、検査対象物40に対してマーカー光(第1マーカー光または第2マーカー光)を発光した状態において、検査対象物40を撮像することにより検査画像61を取得する。制御部25は、検査画像61に写るマーカー光に基づいて、検査判定結果51を取得するように構成されている。すなわち、制御部25は、検査画像61において、第1マーカー光が写っている場合には、検査合格と判定する。また、制御部25は、検査画像61において、第2マーカー光が写っている場合には、検査不合格と判定する。
【0053】
制御部25は、
図8に示すように、3次元モデル位置54と、検査画像61と、検査結果50と、検査判定結果51とを、1つのデータファイル80として記憶することにより、関連付けを行うように構成されている。たとえば、データファイル80は、記憶部23において、データベースとして編集可能に構成されている。また、計測情報画像60および検査画像61(視野範囲に写る画像62)は、デジタル信号から構成される、たとえば、JPEG(Joint Photographic Experts Group)形式、MPEG(Moving Picture Experts Group)形式、および、AVI(Audio Video Interleave)形式などの画像形式(動画形式または静止画形式)として記憶部23に記憶される。
【0054】
図8に示す例では、制御部25は、検査判定結果51が「合格」の場合、「合格」を表す模様が描かれた画像を、検査判定結果51として記憶する。本実施形態では、制御部25は、たとえば、「合格」を表す模様として、「○」が描かれた画像を、検査判定結果51として記憶する。また、制御部25は、検査判定結果51が「不合格」の場合、「不合格」を表す模様が描かれた画像を、検査判定結果51として記憶する。たとえば、
図8に示すように、制御部25は、「不合格」を表す模様として、「×」が描かれた画像を、検査判定結果51として記憶する。
【0055】
制御部25は、サーバー装置121に予め記憶されている航空機検査に関する情報81(
図1参照)を取得するように構成されている。そして、制御部25は、1つのデータファイル80と、航空機検査に関する情報81とを関連付けて記憶するように構成されている。たとえば、航空機検査に関する情報81とは、対象機体型番、検査日時、検査作業者、検査部位などの情報により構成される。
【0056】
(検査対象物の検査フロー)
次に、
図9を参照して、本実施形態における検査対象物40の検査処理について説明する。なお、
図9では、便宜上、検査者30が行うステップについても、フローチャートとして図示している。また、検査者30が行うステップについては、破線で図示している。
【0057】
ステップ201において、3次元モデル生成部25aは、複数の位置から形状データを取得することにより、航空機の形状の3次元モデル52を生成する。なお、ステップ201の処理は、検査の開始前に事前に実行されていてもよい。
【0058】
次に、ステップ202において、検査者30は、航空機の部品である検査対象物40の検査を行う。次に、ステップ203において、検査者30は、検査結果50を確認する。
【0059】
次に、ステップ204において、検査者30は、検査結果50が合格であるか否かが判定される。検査結果50が合格の場合、処理は、ステップ205へ進む。検査結果50が不合格の場合、処理は、ステップ206へ進む。
【0060】
処理がステップ205へ進んだ場合、ステップ205において、検査者30は、マーカー光発生部13を用いて、検査対象物40の検査位置53において、第1マーカー光を発光させる。処理がステップ206へ進んだ場合、ステップ206において、検査者30は、マーカー光発生部13を用いて、検査対象物40の検査位置53において、第2マーカー光を発光させる。
【0061】
次に、ステップ207において、制御部25は、検査画像61を取得する。次に、ステップ208において、検査位置取得部25bは、検査対象物40の検査が実施された検査位置53を取得する。次に、ステップ209において、制御部25は、検査結果50および検査判定結果51を取得する。
【0062】
次に、ステップ210において、3次元モデル52上の検査位置53に対応する3次元モデル位置54と、検査位置53と、検査結果50と、検査判定結果51とを関連付けて記憶する。
【0063】
次に、ステップ211において、検査未実施の検査対象物40があるか否かを判定する。具体的には、制御部25は、予め検査すべき検査対象物40が決定された検査計画などに基づき、検査未実施の検査対象物40があるか否かを判定する。検査未実施の検査対象物40がある場合、処理は、ステップ202へ進む。検査未実施の検査対象物40がない場合、処理は終了する。
【0064】
(検査結果表示)
次に、
図10を参照して、本実施形態における航空機検査支援装置100が、検査対象物40に対して検査位置53を表示する構成について説明する。
【0065】
制御部25は、視野範囲に写る画像62と、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52とに基づいて、視野範囲に写る画像62上に、少なくとも前回の検査時における過去の検査結果57を表示する制御を行うように構成されている。なお、制御部25は、検査実施前に、予め、過去の検査結果57を取得し、記憶部23に記憶しておくように構成されている。
【0066】
具体的には、制御部25は、
図10に示すように、HMD21の表示画面21bにおいて、視野範囲に写る画像62を表示するとともに、視野範囲に写る画像62上の検査位置53に対して、検査結果50を表示する制御を行うように構成されている。なお、
図10に示す例では、検査結果50(検査判定結果51)が不合格である検査対象物40(リベット41)に対して、ハッチングを付して図示している。なお、視野範囲に写る画像62上の検査位置53に対して表示する検査結果50は、前回(1回前の検査時)の検査結果57であってもよいし、それ以前(2回前の検査時以前)の検査結果57であってもよい。また、前回の検査結果57と、それ以前の検査結果57とを併せて表示させてもよい。
【0067】
(検査結果表示フロー)
次に、
図11を参照して、検査結果50を表示する処理について説明する。
【0068】
ステップ301において、制御部25は、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52を取得する。
【0069】
次に、ステップ302において、制御部25は、検査者30の視野範囲に写る画像62を取得する。
【0070】
次に、ステップ303において、制御部25は、視野範囲に写る画像62中における検査対象物40の検査結果50を取得する。具体的には、制御部25は、視野範囲に写る画像62中における検査対象物40の検査位置53に基づいて、3次元モデル52における検査対象物40を特定し、3次元モデル52に関連付けられている検査結果50を取得する。
【0071】
次に、ステップ304において、制御部25は、HMD21の表示画面21bにおいて、視野範囲に写る画像62を表示するとともに、視野範囲に写る画像62上の検査位置53に対して、検査結果50を重ねて表示する。その後、処理は、終了する。
【0072】
(外観形状の状態変化の検査)
次に、
図12を参照して、本実施形態における航空機検査支援装置100が、外観形状の状態変化の検査を行う構成について説明する。
【0073】
本実施形態では、航空機検査支援装置100は、外観形状の変化として、へこみ、欠損、腐食、クラック(ひび割れまたは亀裂)、摩耗などの検査を行うように構成されている。
図12は、外観形状の状態変化として、たとえば、主翼部におけるへこみ71を検査する例を示した模式図である。
【0074】
外観形状検査部25dは、視野範囲に写る画像61と、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52と、検査位置53における外観形状の状態変化を示す外観形状検査結果58とに基づいて、視野範囲に写る画像61上の検査位置53に対して、外観形状検査結果58を表示する制御を行うように構成されている。
【0075】
具体的には、
図12に示すように、外観形状検査部25dは、3次元モデル生成部25aによって生成された3次元モデル52と、設計データ取得部25cによって取得された3次元設計データ56との比較に基づいて、検査対象物40を含む検査領域の外観形状の状態変化の検査を行うように構成されている。具体的には、外観形状検査部25dは、3次元設計データ56から、外観形状を検査する検査対象物40を含む検査領域に対応する3次元設計データ56を抽出する。制御部25は、抽出した3次元設計データ56に対する、3次元モデル52の形状変化を取得することにより、外観形状の状態変化を検査するように構成されている。制御部25は、外観形状の状態変化の検査結果として、外観形状検査結果58を取得する。なお、
図12に示す例では、制御部25は、外観形状検査結果58において、ハッチングを付した領域72の形状および大きさにより、へこみ71の形状および大きさを示している。また、
図12に示す例では、ハッチングの違いにより、へこみ71の深さを示している。すなわちハッチングが濃くなるにつれて、へこみ71が深くなることを表している。
【0076】
(外観形状の状態変化の検査のフロー)
次に、
図13を参照して、外観形状の状態変化を検査する処理について説明する。
【0077】
ステップ401において、制御部25は、3次元モデル52を取得する。次に、ステップ402において、制御部25は、3次元設計データ56を取得する。
【0078】
次に、ステップ403において、外観形状検査部25dは、3次元モデル52と、抽出した3次元設計データ56との比較に基づいて、検査対象物40の検査領域の外観形状を検査する。
【0079】
次に、ステップ404において、制御部25は、3次元モデル位置54と、検査画像61と、外観形状検査結果58とを関連付けて記憶する。なお、外観形状検査結果58とは、外観形状に変化が生じている部分の大きさ(縦横の寸法)および深さを含む。なお、制御部25は、3次元設計データ56に対する、3次元モデル52の形状変化に基づいて、外観形状に変化が生じている部分の大きさ(縦横の寸法)および深さを取得するように構成されている。
【0080】
次に、ステップ405において、制御部25は、全ての検査領域を検査したか否かを判定する。全ての検査領域の検査が完了している場合、処理は、終了する。全ての検査領域が完了していない場合、処理は、ステップ402へ進む。
【0081】
[本実施形態の効果]
本実施形態では、以下のような効果を得ることができる。
【0082】
本実施形態では、上記のように構成することにより、航空機の3次元設計データ56において検査対象物40が記憶されていない場合でも、検査対象物40の検査位置53と検査結果50とを関連付けて記憶することができる。また、制御部25を備えることにより、生成された3次元モデル52上の検査位置53に対応する3次元モデル位置54と、検査位置53と、検査結果50とを関連付けて記憶することができる。その結果、航空機の3次元設計データ56において検査対象物40が記憶されていない場合でも、検査位置53と検査結果50とを関連付けて記憶することができる。また、上記制御部25を備えることにより、検査者30は、3次元モデル52において検査位置53を確認することが可能となるので、検査位置53を立体的に把握することができる。その結果、2次元モデルにおいて検査位置53を確認する場合と比較して、航空機における検査位置53をより直感的に把握することができる。また、制御部25を備えることにより、検査位置53と検査結果50とを関連付けて記憶することが可能となるので、データを蓄積することにより、過去のデータと比較することが可能となり、検査結果50の経時的な変化を把握することができる。その結果、飛行時間およびフライトサイクルなどの運用データと合わせて解析することにより、重点的に検査する箇所、および、予防保全に有益な情報を得ることができる。
【0083】
また、本実施形態では、上記のように、3次元モデル52と、検査位置53と、検査結果50とを記憶する記憶部23をさらに備え、制御部25は、検査対象物40の検査位置53と、3次元モデル位置54とを関連付けるとともに、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52を、記憶部23に記憶する制御を行うように構成されている。これにより、たとえば、管制室120など、航空機検査支援装置100とは異なる場所に備えられた記憶部に3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52を記憶する構成と異なり、通信部24などを設けることなく3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52を記憶することができる。その結果、部品点数が増加することを抑制することができる。
【0084】
また、本実施形態では、上記のように、検査時において、検査対象物40を含む領域を撮像した検査画像61を取得する撮像部22を含み、制御部25は、検査画像61に基づいて、検査対象物40の検査位置53を取得するとともに、取得した検査位置53と、3次元モデル位置54とを関連付ける制御を行うように構成されている。これにより、検査画像61に基づいて検査位置53が取得されるので、複数の検査対象物40を撮像することにより、1枚の検査画像61から複数の検査対象物40の検査位置53を取得することができる。その結果、たとえば、検査者30が検査対象物40の検査位置53の位置座標などを1つずつ入力する構成と比較して、検査位置53を効率よく取得することができる。
【0085】
また、本実施形態では、上記のように、制御部25は、3次元モデル位置54、検査位置53、および、検査結果50に加えて、さらに検査対象物40の検査判定結果51を関連付けて記憶する制御を行うように構成されている。これにより、検査結果50のみならず、検査判定結果51を併せて確認することができる。その結果、検査判定結果51を確認することにより、一見して、容易に検査の合否を判別することができる。
【0086】
また、本実施形態では、上記のように、検査画像61を撮像する際に、検査位置53を示すマーカー光を照射または発光するマーカー光発生部13をさらに備える。これにより、検査画像61に写るマーカー光を確認することにより、検査画像61上において、容易に検査結果50を把握することができる。その結果、一見して検査結果50を把握することが可能となるので、ユーザの利便性を向上させることができる。
【0087】
また、本実施形態では、上記のように、マーカー光発生部13は、検査対象物40の検査位置53に対して、少なくとも、検査合格を示す第1マーカー光と、検査不合格を示す第2マーカー光とを照射または発光可能に構成されている。これにより、検査対象物40に対して第1マーカー光が照射または発光されているか第2マーカー光が照射または発光されているかを確認することにより、より容易に検査結果50を把握することができる。その結果、一見して検査結果50が合格であるか不合格であるかを把握することが容易に可能となるので、ユーザの利便性をより向上させることができる。
【0088】
また、本実施形態では、上記のように、3次元モデル生成部25aは、撮像位置を変化させながら撮像された複数枚の画像63に基づいて、3次元モデル52を生成するように構成されている。これにより、複数の撮像位置において画像を撮像することにより、容易に3次元モデル52を取得することができる。その結果、たとえば、3Dレーザースキャンなどにより3次元モデル52を取得する構成と比較して、装置構成が複雑化することを抑制することができる。
【0089】
また、本実施形態では、上記のように、少なくとも3次元モデル52に基づいて、検査対象物40の外観形状の状態変化の検査を行う外観形状検査部25dをさらに備える。これにより、3次元設計データ56を取得できない場合でも、3次元モデル52を取得することにより、外観形状の状態変化の検査を実施することができる。
【0090】
また、本実施形態では、上記のように、少なくとも検査対象物40を含む検査領域の3次元設計データ56を取得する設計データ取得部25cをさらに備え、外観形状検査部25dは、3次元モデル生成部25aによって生成された3次元モデル52と、設計データ取得部25cによって取得された3次元設計データ56との比較に基づいて、検査対象物40を含む検査領域の外観形状の状態変化の検査を行うように構成されている。これにより、3次元設計データ56と、3次元モデル52とを比較することによって外観形状の検査が行われるため、3次元モデル52のみによって外観形状の状態変化の検査を行う場合と比較して、外観形状の微細な変化も検査することができる。その結果、外観形状の状態変化の検査精度を向上させることができる。
【0091】
また、本実施形態では、上記のように、検査者30の視野範囲に写る画像62を表示する表示部としてのHMD21をさらに備え、制御部25は、視野範囲に写る画像62と、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52とに基づいて、視野範囲に写る画像62上に、検査対象物40の検少なくとも前回の検査時における過去の検査結果57を表示する制御を行うように構成されている。これにより、視野範囲に写る画像62を確認することにより、検査対象物40と、過去の検査結果57との両方を、一見して視認することができる。その結果、過去の検査結果57に基づいて、注意して検査する検査対象物40を、一見して容易に判別することができる。
【0092】
また、本実施形態では、上記のように、制御部25は、視野範囲に写る画像62と、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52と、検査位置53における外見形状の状態変化を示す外観形状検査結果58とに基づいて、視野範囲に写る画像62上の検査位置53に対して、外観形状検査結果58を表示する制御を行うように構成されている。これにより、検査対象物40に対して外観形状検査結果58が表示されるため、たとえば、再検査が必要な検査対象物40、または、修理を行う検査対象物40を容易に識別することができる。したがって、再検査または修理を行う検査対象物40と、再検査または修理が必要ない検査対象物40とを、一見して容易に識別することができる。その結果、再検査、または、修理の作業効率を向上させることができる。
【0093】
また、本実施形態では、上記のように、表示部としてのHMD21は、検査対象物40を含む検査領域および検査対象物40における検査位置53を表示するHMD21として構成されている。これにより、検査者30に視線を大きく変更させることなく、検査対象物40および検査結果50が表示された画像の両方を視認させることができるので、検査者30による検査作業性をより一層向上させることができる。
【0094】
また、本実施形態では、上記のように、撮像部22は、検査画像61と、3次元モデル52を生成するための複数の画像63と、検査者30の視野範囲に写る画像62とを取得するように構成されている。これにより、検査画像61と、3次元モデル52を生成するための複数の画像63と、検査者30の視野範囲に写る画像62とを、1つの撮像部22によって取得することができる。その結果、それぞれの画像を取得する撮像部を備える構成と比較して、装置構成が複雑化すること抑制することができるとともに、部品点数が増加することを抑制することができる。
【0095】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0096】
(第1変形例)
たとえば、上記実施形態では、HMD21の表示画面21bにおいて、検査対象物40に対して検査結果50を表示する構成する例を示したが、本発明はこれに限られない。たとえば、
図14に示すように、制御部25は、視野範囲に写る画像62と、3次元モデル位置54と検査位置53とが関連付けられた3次元モデル52とに基づき、視野範囲に写る画像62上に検査位置53を表示することにより、検査未実施の検査対象物40a(リベット41a)と、検査実施済の検査対象物40b(リベット41b)とを、互いに識別可能に表示する制御を行うように構成されている。なお、
図14に示す例では、検査未実施の検査対象物40a(リベット41a)に対してハッチングを付すことにより、検査実施済の検査対象物40b(リベット41b)と、検査未実施の検査対象物40とを識別可能に図示している。
【0097】
図15を参照して、検査実施済検査対象物の表示処理について説明する。
【0098】
ステップ501において、制御部25は、3次元モデル52を取得する。次に、ステップ502において、制御部25は、検査者30の視野範囲に写る画像62を取得する。
【0099】
次に、ステップ503において、制御部25は、視野範囲に写る画像62中の検査対象物40に対して、検査結果50が記憶されているか否かを判定する。検査結果50が記憶されている場合、処理は、ステップ504へ進む。検査結果50が記憶されていない場合、処理は、ステップ505へ進む。
【0100】
ステップ504において、制御部25は、検査対象物40を検査実施済として表示する。ステップ505において、制御部25は、検査対象物40を、検査未実施として表示する。
【0101】
次に、ステップ506において、制御部25は、視野範囲に写る画像62中の全ての検査対象物40について、検査結果50が記憶されているか否かを確認したかを判定する。全ての検査対象物40について確認した場合、処理は、終了する。全ての検査対象物40について確認が完了していない場合、処理は、ステップ502ヘ進む。
【0102】
上記のように構成すれば、部品点数が多い航空機などを検査する場合でも、検査漏れが生じることを抑制することができる。また、検査実施済の検査対象物40を再び検査することを抑制することができる。その結果、検査漏れおよび検査重複を抑制することが可能となるので、検査効率を向上させることができる。
【0103】
(第2変形例)
また、上記実施形態では、表示部がHMD21によって構成される例を示したが、本発明はこれに限られない。たとえば、
図16に示すように、表示部は、視野範囲に写る画像62上に、検査対象物40における検査位置53を識別可能に表示する可搬型の表示装置26であってもよい。可搬型の表示装置26は、たとえば、タブレット端末などを含む。表示部が可搬型の表示装置26として構成されている場合、検査者30は、
図17に示すように、可搬型の表示装置26を手に持った状態で、検査を実施してもよい。
【0104】
可搬型の表示装置26を手にもって検査する場合、たとえば、
図18に示すように、撮像部22によって撮像された視野範囲に写る画像62を、可搬型の表示装置26の表示画面26aに表示させ、検査位置53、または、検査結果50などを、視野範囲に写る画像62上に重ねて表示してもよい。このように構成すれば、表示部が可搬型の表示装置26として構成されるので、検査者30が手にもって検査を行うなど、任意の位置に可搬型の表示装置26を配置することができる。その結果、検査者30が視認しやすい位置に可搬型の表示装置26を配置することが可能となるので、ユーザの利便性を向上させることができる。
【0105】
(第3変形例)
また、上記実施形態では、HMD21に写る検査者30の視野範囲に写る画像62状に検査位置53を重ねて表示する構成の例を示したが、本発明はこれに限られない。たとえば、
図19に示す第3変形例による航空機検査支援装置100のプロジェクタ521のように、光を検査対象物40(航空機の胴体)に照射することにより、検査位置53を表示させてもよい。なお、
図19に示す例では、ハッチングを付すことにより、状態が変化した検査対象物40を識別可能に表示している。
【0106】
(第4変形例)
また、上記実施形態では、検査部10がデジタル信号の検査結果50を出力する構成の例を示したが、本発明はこれに限られない。たとえば、
図20に示すように、アナログ信号の検査結果50を出力する検査部10を用いてもよい。検査部10は、航空機の機種または検査対象物40(たとえば、航空機の部位、あるいは整備品など)に対応付けられた特定の計測器である。したがって、検査部10が検査結果50(アナログ信号)を保存する機能を有しておらず、かつ、データ通信を行う機能を有していない場合がある。すなわち、検査部10は、デジタル信号を用いないアナログ方式の機器として構成されていてもよい。検査部10がアナログ方式の機器として構成されている場合、制御部25では検査結果50(アナログ信号)を扱えない。そのため、
図20に示すように、計測情報画像60を撮像するための検査結果撮像部15を設け、検査部側表示部11の計測情報画像60を撮像するように構成すればよい。制御部25は、検査部10による検査結果50として、計測情報画像60を、3次元モデル位置54、検査位置53および検査結果50と関連付けて記憶するように構成すればよい。なお、検査結果撮像部15は、たとえば、カメラ、または、光検出素子と光学部品(ミラー、レンズおよびフィルタ)との組み合わせとにより構成されている。そして、また、検査結果撮像部15は、静止画または動画を撮像可能に構成されている。
【0107】
また、検査部10が検査結果50として、デジタル信号を保存する機能を有していた場合であっても、検査部10が取得する検査結果50と、制御部25が取り扱い可能なデータとに互換性がないことがある。このような場合であっても、上記第4変形例のように構成すれば、制御部25は、検査部10による検査結果50として、計測情報画像60を、3次元モデル位置54、検査位置53および検査結果50と関連付けて記憶することができる。
【0108】
(第5変形例)
また、上記実施形態では、検査結果50として、検査合格か、検査不合格かを取得し、3次元モデル52と関連付けて記憶する構成の例を示したが、本発明はこれに限られない。たとえば、
図21に示すように、制御部25は、検査結果50に基づいて、「合格」、「不合格」に加えて、「要注意」と判定するように構成されていてもよい。「要注意」の判定項目を設ける場合、マーカー光発生部13は、第1マーカー光および第2マーカー光に加えて、要注意を示す第3マーカー光を照射可能に構成すればよい。制御部25は、「合格」、「不合格」に加えて、「要注意」である検査対象物40における検査画像61と、3次元モデル位置54と、検査結果50と、検査判定結果51とを関連付けて記憶するように構成すればよい。なお、
図23に示す例では、「要注意」の検査判定結果51を、三角マークが描画された画像として図示している。また、第3マーカー光を、第1マーカー光および第2マーカー光とは互いに異なるハッチングを付して図示している。また、制御部25は、検査結果50に基づいて、「合格」、「不合格」、および、「要注意」に加えて、「要経過観察」、「再検査(詳細検査を含む)」と判定するように構成されていてもよい。
【0109】
(第6変形例)
また、上記実施形態では、設計データ取得部25cが、サーバー装置121に記憶されている3次元設計データ56を予め取得する構成の例を示したが、本発明はこれに限られない。たとえば、設計データ取得部25cは、航空機の製造時、または、検査前において生成された3次元モデル52を、3次元設計データ56として取得するように構成されていてもよい。このように構成すれば、3次元設計データ56が取得できない場合、または、3次元設計データ56において検査対象物40が記憶されていない場合でも、外観形状の状態変化を検査することができる。なお、設計データ取得部25cが、航空機の製造時、または、検査前において生成された3次元モデル52を、3次元設計データ56として取得する場合、上記実施形態の検査対象物40の検査フローにおけるステップ201の処理は省略することができる。
【0110】
(その他の変形例)
また、上記実施形態では、航空機検査支援装置100に、記憶部23および通信部24を設ける例を示したが、本発明はこれに限られない。たとえば、航空機検査支援装置100に、記憶部23を設けずに、取得した3次元モデル52などを、通信部24によりサーバー装置121に送信するように構成してもよい。また、通信部24を設けずに、記憶部23を着脱して、航空機検査支援装置100から分離された記憶部23をサーバー装置121に接続して、3次元モデル52などをサーバー装置121に転送させてもよい。
【0111】
また、上記実施形態では、航空機の部品として航空機の胴体(リベット41およびプレート42)を検査する構成の例を示したが、本発明はこれに限られない。たとえば、航空機の部品としてのエンジン内部のタービンなどの機器の検査を行ってもよい。また、渦電流探傷装置、または、超音波探傷装置以外の検査装置として、バードストライクの状況の観察の際における、ボアスコープによる検査、または、その他の、計測器などを用いた試験あるいは検査において本発明を適用してもよい。
【0112】
また、上記実施形態では、航空機検査支援装置100に通信部24を設けて、無線通信可能に構成する例を示したが、本発明はこれに限られない。すなわち、上記実施形態に記載した無線通信するための構成を、ケーブルを用いた有線通信するための構成として構成してもよい。
【0113】
また、上記実施形態では、検査結果50に基づいて、検査者30が検査合格か検査不合格化の判定を行う構成の例を示したが、本発明はこれに限られない。たとえば、制御部25は、検査結果50に基づいて、検査結果50を取得するように構成されていてもよい。具体的には、予め傷などをつけた検査対象物40と、傷などをつけていない検査対象物40とを測定した判定用データを予め記憶部23に記憶しておく。制御部25は、検査対象物40の検査結果50と、判定用データとに基づいて、検査結果50を取得するように構成されていてもよい。
【0114】
また、上記実施形態および上記変形例は、適宜組み合わせて構成してもよい。たとえば、上記実施形態において、検査実施時において、検査未実施の検査対象物40と検査実施済の検査対象物40とを識別可能に表示するように構成されていてもよい。
【0115】
また、上記実施形態では、制御部25が、3次元モデル位置54、検査位置53、および、検査結果50に加えて、さらに検査部10による検査結果50を関連付けて記憶する制御を行う構成の例を示したが、本発明はこれに限られない。制御部25は、3次元モデル位置54、検査位置53、および、検査結果50とを関連付けて記憶すれば、検査結果50をさらに関連付けて記憶しなくてもよい。
【0116】
また、上記実施形態では、検査者30がマーカー光発生部13を操作することにより、第1マーカー光および第2マーカー光を照射する構成の例を示したが、本発明はこれに限られない。たとえば、検査結果50に基づいて、制御部25が、マーカー光発生部13を制御することにより、第1マーカー光および第2マーカー光を照射するように構成されていてもよい。
【0117】
また、上記実施形態では、3次元モデル生成部25aが、複数枚の画像63に基づいて、3次元モデル52を生成する構成の例を示したが、本発明はこれに限られない。たとえば、3次元モデル生成部25aは、レーザ光を照射することにより検査対象40の位置関係を取得するLidar SLAM(Light Detection and Ranging SLAM)、3次元レーザースキャン、GPS(Global Positioning System)、超音波、ジャイロセンサー、加速度センサーのうちのいずれか、または組み合わせて用いることにより、3次元モデル52を生成するように構成されていてもよい。また、3次元モデル生成部25aが、Visual SLAMを用いて3次元モデル52を生成する場合、複数枚の画像63は、単眼カメラ、ステレオカメラ、RGBDカメラなどを用いて取得されてもよい。
【0118】
また、上記実施形態では、表示部がHMD21として構成されている例を示したが、本発明はこれに限られない。たとえば、表示部は、メガネ型のウェアラブル表示装置として構成されていてもよい。
【0119】
また、上記実施形態では、制御部25が、検査位置53と、3次元モデル位置54と、検査結果50とを1つのデータファイル80として記憶することにより関連付ける構成の例を示したが、本発明はこれに限られない。たとえば、制御部25は、検査位置53と、3次元モデル位置54と、検査結果50とを関連付けることが可能であれば、どのように構成されていてもよい。たとえば、制御部25は、検査位置53と、3次元モデル位置54と、検査結果50とに対して、共通の識別子(ID)を付すことにより関連付けるように構成されていてもよい。
【0120】
また、上記実施形態では、制御部25が、検査不合格の検査対象物40に対して、検査結果50を表示する構成の例を示したが、本発明はこれに限られない。たとえば、制御部25は、検査合格の検査対象物40に対しても、検査結果50を表示するように構成されていてもよい。
【0121】
また、上記実施形態では、外観形状検査部25dが、3次元設計データ56と、3次元モデル52とを比較することにより、検査対象物40の外観形状の状態変化を検査する構成の例を示したが、本発明はこれに限られない。たとえば、外観形状検査部25dは、3次元設計データ56と、3次元モデル52との比較に加えて、モアレ、デジタル画像相関(DIC:Degital Image Correlation)などを用いることにより、検査対象物40の外観形状の状態変化を検査するように構成されていてもよい。
【0122】
また、上記実施形態では、航空機検査支援装置100と、通信装置122とが無線通信を行う構成の例を示したが、本発明はこれに限られない。たとえば、航空機検査支援装置100と、通信装置122とは、記憶媒体を介してデータのやり取りを行うように構成されていてもよい。
【0123】
また、上記実施形態では、コントローラボックス2aが、検査者30により携帯または装着される例を示したが、本発明はこれに限られない。たとえば、コントローラボックス2aは、検査部10側に設けられていてもよい。コントローラボックス2aを検査部10側に設ける場合、バンドなどを用いて検査部10と一体化すればよい。また、検査部10を台車などに乗せて検査する場合には、検査部10が配置された台車に、コントローラボックス2aを配置してもよい。
【0124】
また、上記実施形態では、マーカー光発生部13が検査位置53においてマーカー光を発光する構成の例を示したが、本発明はこれに限られない。たとえば、マーカー光発生部13は、検査位置53に対して、マーカー光を照射するように構成されていてもよい。
【0125】
また、上記実施形態では、マーカー光発生部13が、第1マーカー光の発光色と第2マーカー光の発光色とを異ならせる構成の例を示したが、本発明はこれに限られない。たとえば、マーカー光発生部13は、第1マーカー光の発光パターンと、第2マーカー光の発光パターンとを異ならせるように構成されていてもよい。
【0126】
また、上記実施形態では、検査者30が検査部10によって検査を実施し、3次元モデル位置54と、検査位置53と、検査結果50とを関連付けて記憶させる構成の例を示したが、本発明はこれに限られない。たとえば、検査者30は、検査対象40を目視によって検査してもよい。検査者30が目視によって検査対象物40を検査する場合、マーカー光発生部13によって検査対象物40にマーカー光を照射することにより、検査位置53を取得し、3次元モデル位置54と、検査位置53と、検査結果50とを関連付けて記憶させればよい。
【0127】
また、上記実施形態では、同一の撮像部22によって、3次元モデル52を生成するための複数の画像63と、検査者30の視野範囲に写る画像62とを取得する構成の例を示したが、本発明はこれに限られない。複数の画像63を取得する撮像部と、視野範囲に写る画像62とを取得する撮像部は、それぞれ別々であってもよい。複数の画像63を取得するための撮像部は、検査者30が携帯可能に構成されていてもよい。このように構成すれば、検査者が撮像部を手に携帯した状態において複数の画像63を取得することが可能となるので、頭部に装着した撮像部22によって複数の画像63を取得する構成と比較して、作業効率を向上させることができる。
【0128】
また、上記実施形態では、通信部14が、計測情報画像60を動画像として連続的に通信部24に送信する構成の例を示したが、本発明はこれに限られない。たとえば、通信部14は、計測情報画像60を静止画像として通信部24に送信するように構成されていてもよい。
【0129】
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0130】
(項目1)
複数の位置から形状データを取得することにより、航空機の形状の3次元モデルを生成する3次元モデル生成部と、
航空機の部品である検査対象物の検査位置を取得する検査位置取得部と、
前記検査対象物の検査結果を取得するとともに、前記3次元モデル上の前記検査位置に対応する3次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶させる制御を行う制御部とを備える、航空機検査支援装置。
【0131】
(項目2)
前記3次元モデルと、前記検査位置と、前記検査結果とを記憶する記憶部をさらに備え、
前記制御部は、前記検査対象物の前記検査位置と、前記3次元モデル位置とを関連付けるとともに、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルを、前記記憶部に記憶する制御を行うように構成されている、項目1に記載の航空機検査支援装置。
【0132】
(項目3)
検査時において、前記検査対象物を含む領域を撮像した検査画像を取得する撮像部を含み、
前記制御部は、前記検査画像に基づいて、前記検査対象物の前記検査位置を取得するとともに、取得した前記検査位置と、前記3次元モデル位置とを関連付ける制御を行うように構成されている、項目2に記載の航空機検査支援装置。
【0133】
(項目4)
前記制御部は、前記3次元モデル位置、前記検査位置、および、前記検査結果に加えて、さらに前記検査対象物の検査判定結果を関連付けて記憶する制御を行うように構成されている、項目3に記載の航空機検査支援装置。
【0134】
(項目5)
前記検査画像を撮像する際に、前記検査位置を示すマーカー光を照射または発光するマーカー光発生部をさらに備える、項目3に記載の航空機検査支援装置。
【0135】
(項目6)
前記マーカー光発生部は、前記検査対象物の前記検査位置に対して、少なくとも、検査合格を示す第1マーカー光と、検査不合格を示す第2マーカー光とを照射または発光可能に構成されている、項目5に記載の航空機検査支援装置。
【0136】
(項目7)
前記3次元モデル生成部は、撮像位置を変化させながら撮像された複数枚の画像に基づいて、前記3次元モデルを生成するように構成されている、項目1に記載の航空機検査支援装置。
【0137】
(項目8)
少なくとも前記3次元モデルに基づいて、前記検査対象物の外観形状の状態変化の検査を行う外観形状検査部をさらに備える、項目1に記載の航空機検査支援装置。
【0138】
(項目9)
少なくとも前記検査対象物を含む検査領域の3次元設計データを取得する設計データ取得部をさらに備え、
前記外観形状検査部は、前記3次元モデル生成部によって生成された前記3次元モデルと、前記設計データ取得部によって取得された前記3次元設計データとの比較に基づいて、前記検査対象物を含む検査領域の外観形状の状態変化の検査を行うように構成されている、項目8に記載の航空機検査支援装置。
【0139】
(項目10)
前記設計データ取得部は、航空機の製造時、または、検査前において生成された前記3次元モデルを、前記3次元設計データとして取得するように構成されている、項目9に記載の航空機検査支援装置。
【0140】
(項目11)
検査者の視野範囲に写る画像を表示する表示部をさらに備え、
前記制御部は、前記視野範囲に写る画像と、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルとに基づいて、前記検査対象物を含む検査領域に少なくとも前回の検査時における過去の検査結果を投影することにより表示するか、または、前記視野範囲に写る画像上に、前記検査対象物の前記過去の検査結果を表示する制御を行うように構成されている、項目1に記載の航空機検査支援装置。
【0141】
(項目12)
前記制御部は、前記視野範囲に写る画像と、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルとに基づき、前記検査対象物を含む検査領域に前記検査位置を投影することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示するか、または、前記視野範囲に写る画像上に前記検査位置を表示することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示する制御を行うように構成されている、項目11に記載の航空機検査支援装置。
【0142】
(項目13)
検査者の視野範囲に写る画像を表示する表示部をさらに備え、
前記制御部は、前記視野範囲に写る画像と、前記3次元モデル位置と前記検査位置とが関連付けられた前記3次元モデルと、前記検査位置における外観形状の状態変化を示す外観形状検査結果とに基づいて、前記検査対象物を含む検査領域の前記検査位置に対して、投影することにより前記外観形状検査結果を表示するか、または、前記視野範囲に写る画像上の前記検査位置に対して、前記外観形状検査結果を表示する制御を行うように構成されている、項目9に記載の航空機検査支援装置。
【0143】
(項目14)
前記表示部は、前記検査対象物を含む検査領域および前記検査対象物における前記検査位置を表示するヘッドマウントディスプレイとして構成されている、項目11または13に記載の航空機検査支援装置。
【0144】
(項目15)
前記表示部は、前記視野範囲に写る画像上に、前記検査対象物における前記検査位置を識別可能に表示する可搬型の表示装置として構成されている、項目11または13に記載の航空機検査支援装置。
【0145】
(項目16)
前記撮像部は、前記検査画像と、前記3次元モデルを生成するための複数の画像と、検査者の視野範囲に写る画像とを取得するように構成されている、項目3に記載の航空機検査支援装置。
【0146】
(項目17)
複数の位置から形状データを取得することにより、航空機の形状の3次元モデルを生成し、
航空機の部品である検査対象物の検査し、
前記検査対象物の検査結果を取得し、
前記検査対象物の検査位置を取得し、
前記3次元モデル上の前記検査位置に対応する3次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶する、航空機検査支援方法。
【符号の説明】
【0147】
21 HMD(ヘッドマウントディスプレイ)(表示部)
22 撮像部
25 制御部
25a 3次元モデル生成部
25b 検査位置取得部
25c 設計データ取得部
25d 外観形状検査部
26 可搬型の表示装置(表示部)
30 検査者
40 検査対象物
50 検査結果
51 検査判定結果
52 3次元モデル
53 検査位置
54 3次元モデル位置
55 3次元設計データ
56 3次元設計データ
57 過去の検査結果
58 外観形状検査結果
61 検査画像
62 検査者の視野範囲に写る画像
100 航空機検査支援装置