特開 2023-168877 組立支援装置及び組立支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023168877

(43)【公開日】2023-11-29

(54)【発明の名称】組立支援装置及び組立支援方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231121BHJP

   B64F 5/00 20170101ALI20231121BHJP

   G06Q 50/04 20120101ALI20231121BHJP

【ＦＩ】

G06T7/00 350B

B64F5/00

G06Q50/04

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022080243

(22)【出願日】2022-05-16

(71)【出願人】

【識別番号】514275772

【氏名又は名称】三菱重工航空エンジン株式会社

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】井上 俊太郎

(72)【発明者】

【氏名】北川 朋亮

(72)【発明者】

【氏名】平田 吉秀

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC03

5L096CA04

5L096DA02

5L096EA45

5L096GA30

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】航空機のＭＲＯにおける組立作業の作業工数を削減可能な組立支援装置を提供する。
【解決手段】航空機エンジンの組立作業を支援するための組立支援装置であって、複数の異方向画像を入力されることにより、部品の画像と部品の識別子との関係性を示す学習モデルを用いて識別対象部品の識別子を推定し、識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を異方向画像毎に出力するように構成された識別子推定部と、複数の異方向画像を識別子推定部に入力することで識別子推定部から出力される複数の推定結果情報に基づいて、識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力するように構成された真候補情報出力部と、真候補情報を作業者用端末に表示させるように構成された表示制御部と、を備える。
【選択図】 図４

【特許請求の範囲】

【請求項1】

航空機エンジンの組立作業を支援するための組立支援装置であって、
前記航空機エンジンの識別対象部品を互いに異なる複数の方向から撮影することで得られた複数の画像を複数の異方向画像と定義すると、前記複数の異方向画像を入力されることにより、部品の画像と部品の識別子との関係性を示す学習モデルを用いて前記識別対象部品の識別子を推定し、前記識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を前記異方向画像毎に出力するように構成された識別子推定部と、
前記複数の異方向画像を前記識別子推定部に入力することで前記識別子推定部から出力される複数の前記推定結果情報に基づいて、前記識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力するように構成された真候補情報出力部と、
前記真候補情報を作業者用端末に表示させるように構成された表示制御部と、
を備える、組立支援装置。

【請求項2】

前記複数の異方向画像の各々は、前記識別対象部品を互いに異なる複数の方向から撮影した複数の画像の各々を２次元線画に変換した画像である、請求項１に記載の組立支援装置。

【請求項3】

前記識別子推定部から出力される前記推定結果情報の各々は、前記識別対象部品の識別子の少なくとも１つの仮候補と、前記少なくとも１つの仮候補の各々の信頼度に関する指標とを含む、請求項１に記載の組立支援装置。

【請求項4】

前記真候補情報出力部は、前記推定結果情報から出力された前記複数の推定結果情報に含まれる複数の前記仮候補について、前記仮候補毎に前記仮候補の出現回数を集計し、前記仮候補を出現回数が多い方から順に並べた場合における出現回数の１位～ｎ位（ただし、ｎは１以上の整数である。）までの前記仮候補をそれぞれ１位～ｎ位までの前記真候補として含む前記真候補情報を出力するように構成された、請求項１に記載の組立支援装置。

【請求項5】

前記識別子推定部から出力される前記推定結果情報の各々は、前記識別対象部品の識別子の少なくとも１つの仮候補と、前記少なくとも１つの仮候補の各々の信頼度に関する指標とを含み、
前記真候補情報出力部は、前記推定結果情報から出力された前記複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合に、出現回数の等しい複数の仮候補間の順位付けを前記指標の合計値に基づいて行うように構成された、請求項４に記載の組立支援装置。

【請求項6】

前記表示制御部は、前記真候補情報出力部によって出力された前記真候補情報に複数の真候補が含まれる場合に、前記作業者用端末又は指示者用端末で選択された前記識別子に基づいて、前記識別子が示す部品に関する組立作業の作業マニュアルの少なくとも一部を前記作業者用端末に表示させるように構成された、請求項１に記載の組立支援装置。

【請求項7】

前記表示制御部は、前記作業者用端末の表示画面と同じ画面を指示者用端末に表示させる画面共有モードを実行可能に構成された、請求項１に記載の組立支援装置。

【請求項8】

航空機エンジンの組立作業を支援するための組立支援方法であって、
前記航空機エンジンの識別対象部品を互いに異なる複数の方向から撮影することで得られた複数の画像を複数の異方向画像と定義すると、前記複数の異方向画像に基づいて、部品の画像と部品の識別子との関係性を示す学習モデルを用いて前記識別対象部品の識別子を推定し、前記識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を前記異方向画像毎に出力する候補推定ステップと、
前記異方向画像毎に出力された前記推定結果情報の集合に基づいて、前記識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力する真候補情報出力ステップと、
前記真候補情報を作業者用端末に表示させる表示制御を行うステップと、
を備える、航空機エンジンの組立支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、組立支援装置及び組立支援方法に関する。

【背景技術】

【0002】

特許文献１には、航空機の部品を管理するための部品管理装置が開示されている。この部品管理装置は、移動デバイスを備えており、移動デバイスは、航空機の部品の位置情報を移動デバイス上に表示し、ある位置を含むゾーン内に移動デバイスがあるときに、部品がその位置に存在するかどうかを、移動デバイス内のセンサシステムを使用して決定し、その位置に部品が存在する場合に、その位置に部品が存在することを示すように構成されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６１４５４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、航空機のＭＲＯ（Ｍａｉｎｔｅｎａｎｃｅ, Ｒｅｐａｉｒ ａｎｄ Ｏｖｅｒｈａｕｌ）における組立作業を行う際に、作業者は、部品表、マニュアル、図面、作業記録、作業指示等の情報を情報データベースから取得して、それらの情報と部品の形状等とを照合して部品を識別しながら組立作業を行う必要があった。このため、部品に関する知識等について作業者の習熟が必要であり、作業工数がかかっていた。また、特許文献１にはこのような課題を解決するための知見は開示されていない。

【0005】

上述の事情に鑑みて、本開示の少なくとも一実施形態は、航空機のＭＲＯにおける組立作業の作業工数を削減可能な組立支援装置及び組立支援方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示の少なくとも一実施形態に係る組立支援装置は、
航空機エンジンの組立作業を支援するための組立支援装置であって、
前記航空機エンジンの識別対象部品を互いに異なる複数の方向から撮影することで得られた複数の画像を複数の異方向画像と定義すると、前記複数の異方向画像を入力されることにより、部品の画像と部品の識別子との関係性を示す学習モデルを用いて前記識別対象部品の識別子を推定し、前記識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を前記異方向画像毎に出力するように構成された識別子推定部と、
前記複数の異方向画像を前記識別子推定部に入力することで前記識別子推定部から出力される複数の前記推定結果情報に基づいて、前記識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力するように構成された真候補情報出力部と、
前記真候補情報を作業者用端末に表示させるように構成された表示制御部と、
を備える。

【0007】

上記目的を達成するため、本開示の少なくとも一実施形態に係る組立支援方法は、
航空機エンジンの組立作業を支援するための組立支援方法であって、
前記航空機エンジンの識別対象部品を互いに異なる複数の方向から撮影することで得られた複数の画像を複数の異方向画像と定義すると、前記複数の異方向画像に基づいて、部品の画像と部品の識別子との関係性を示す学習モデルを用いて前記識別対象部品の識別子を推定し、前記識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を前記異方向画像毎に出力する候補推定ステップと、
前記異方向画像毎に出力された前記推定結果情報の集合に基づいて、前記識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力する真候補情報出力ステップと、
前記真候補情報を作業者用端末に表示させる表示制御を行うステップと、
を備える。

【発明の効果】

【0008】

本開示の少なくとも一実施形態によれば、航空機のＭＲＯにおける組立作業の作業工数を削減可能な組立支援装置及び組立支援方法が提供される。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る組立支援システム１００の概略構成を示すブロック図である。

【図2】組立支援装置６のハードウェア構成の一例を示す図である。

【図3】組立支援装置６の機能的な構成を示すブロック図である。

【図4】組立支援システム１００を用いた航空機エンジンの部品の組立支援方法の一部を示す図である。

【図5】３個の２次元線画を識別子推定部１０に入力した場合に識別子推定部１０から２次元線画毎に出力される推定結果情報の例を示す図である。

【図6】組立支援システム１００を用いた航空機エンジンの部品の組立支援方法の一部を示す図である。

【図7】風景モードにおけるＡＲデバイス２の画面の一例である画面Ｅ１を示す図である。

【図8】重畳表示モードにおけるＡＲデバイス２の画面の一例である画面Ｅ２を示す図である。

【図9】単純表示モードにおけるＡＲデバイス２の画面の一例である画面Ｅ３を示す図である。

【図10】並列表示モードにおけるＡＲデバイス２の画面の一例である画面Ｅ４を示す図である。

【図11】指示者による表示モードの切替を説明するための図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本開示の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

【0011】

（組立支援システム）
図１は、一実施形態に係る組立支援システム１００の概略構成を示すブロック図である。組立支援システム１００は、不図示の航空機エンジンのＭＲＯにおける組立作業を支援するためのシステムであり、ＡＲデバイス２（作業者用端末）、指示者用端末４及び組立支援装置６を備える。

【0012】

ＡＲデバイス２は、航空機エンジンのＭＲＯにおいて組立作業を行う作業者（以下、単に「作業者」と記載する。）が使用するための端末である。ＡＲデバイス２は、例えばスマートフォン、タブレット端末、又はＡＲグラス（スマートグラス）等であってもよい。なお、本明細書では「ＡＲ」は拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を意味する。ＡＲデバイス２は、例えばプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ、カメラ、表示器及び通信デバイス等を含むコンピュータを備える。

【0013】

指示者用端末４は、航空機エンジンのＭＲＯにおいて作業者に対して組立作業の指示を行う指示者が使用するための端末である。指示者用端末４は、例えばタブレット端末、スマートフォン又はラップトップパソコン等の携帯型端末であってもよいし、デスクトップ型パソコン等の定置型の端末であってもよい。指示者用端末４は、例えばプロセッサ、ＲＯＭやＲＡＭ等のメモリ、表示器及び通信デバイス等を含むコンピュータにより構成される。

【0014】

組立支援装置６は、航空機エンジンの組み立てを支援するための装置であり、例えばサーバ装置により構成されてもよい。図２は、組立支援装置６のハードウェア構成の一例を示す図である。図２に示す例では、組立支援装置６は、例えばプロセッサ７２、ＲＡＭ７４、ＲＯＭ７６、ＨＤＤ （Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７８、入力Ｉ／Ｆ８０、及び出力Ｉ／Ｆ８２を含み、これらがバス８４を介して互いに接続されたコンピュータを用いて構成される。組立支援装置６は、入力Ｉ／Ｆ８０、及び出力Ｉ／Ｆ８２を介してＡＲデバイス２及び指示者用端末４の各々と無線等により通信可能に構成されている。ただし、幾つかの実施形態では、組立支援装置６はＡＲデバイス２又は指示者用端末４に内蔵されていてもよい。なお、組立支援装置６のハードウェア構成は上記に限定されず、制御回路と記憶装置との組み合わせにより構成されてもよい。また組立支援装置６は、組立支援装置６の各機能を実現するプログラムをコンピュータが実行することにより構成される。以下で説明する組立支援装置６における各部の機能は、例えばＲＯＭ７６に保持されるプログラムをＲＡＭ７４にロードしてプロセッサ７２で実行するとともに、ＲＡＭ７４やＲＯＭ７６におけるデータの読み出し及び書き込みを行うことで実現される。

【0015】

（組立支援装置の詳細）
図３は、組立支援装置６の機能的な構成を示すブロック図である。
図３に示すように、組立支援装置６は、２次元線画変換部８、識別子推定部１０、真候補情報出力部１２、識別子取得部１４、作業マニュアル選択部１５、表示制御部１６及び記憶部１８を含む。

【0016】

２次元線画変換部８は、部品の画像を２次元線画に変換するように構成されている。なお、本明細書では「部品」はモジュールを含むこととする。

【0017】

識別子推定部１０（予測器）は、航空機エンジンにおける識別の対象とする部品である識別対象部品の２次元線画を入力されると、部品の２次元線画と部品の型番等の識別子との関係性を示す学習モデル２０を用いて識別対象部品の識別子を推定し、入力された２次元線画が示す識別対象部品の識別子の複数の仮候補と、該複数の仮候補の各々の信頼度に関する指標（例えば仮候補の順位、確率、類似度等）とを含む推定結果情報を出力できるように構成されている。識別子推定部１０は、識別対象部品の２次元線画を入力されると、上記学習モデル２０を用いて識別対象部品の識別子を推定し、入力された２次元線画が示す識別対象部品の識別子の少なくとも１つの仮候補と、該仮候補の各々の信頼度に関する指標とを含む推定結果情報を出力する。学習モデル２０は、航空機エンジンの部品の２次元線画を対応する部品に関連付けた教師データを機械学習することにより得られるものであり、この機械学習には、例えばニューラルネットワークや、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ランダムフォレスト、回帰分析など、周知の手法が適用されてもよい。学習モデル２０は、記憶部１８に記憶されており、２次元線画に基づいて推定結果情報を出力するために記憶部１８から読み出されて用いられる。

【0018】

真候補情報出力部１２は、識別子推定部１０から出力された複数の推定結果情報に基づいて、識別対象部品の識別子の複数の真候補と、複数の真候補の各々の信頼度に関する指標（例えば信頼度に関する順位及び確率等）とを含む真候補情報を出力できるように構成されている。真候補情報出力部１２は、識別子推定部１０から出力された複数の推定結果情報に基づいて、識別対象部品の識別子の少なくとも１つの真候補と、該真候補の各々の信頼度に関する指標とを含む真候補情報を出力する。

【0019】

識別子取得部１４は、真候補情報出力部１２が出力する真候補情報に含まれる識別子の真候補の数が１つである場合には、該１つの真候補を識別対象部品の識別子の正解として決定し、該正解の識別子を取得する。この場合、表示制御部１６は、該１つの真候補を含む真候補情報をＡＲデバイス２に表示させる。

【0020】

真候補情報出力部１２が出力する真候補情報に含まれる識別子の真候補の数が複数である場合には、表示制御部１６は、該複数の真候補を含む真候補情報をＡＲデバイス２に表示させ、作業者がＡＲデバイス２の表示内容を確認して該複数の真候補から識別対象部品の識別子の正解を選択する。この場合、識別子取得部１４は、作業者によって選択された正解の識別子を取得する。

【0021】

作業マニュアル選択部１５は、記憶部１８に記憶された作業マニュアルデータベース２２から、識別子取得部１４によって取得された識別子が示す部品に関する作業マニュアルを選択して読み込むように構成されている。

【0022】

表示制御部１６は、ＡＲデバイス２に表する表示内容と指示者用端末４に表示する表示内容とを制御可能に構成されている。

【0023】

記憶部１８は、上記学習モデル２０及び作業マニュアルデータベース２２を記憶している。作業マニュアルデータベース２２は、航空機エンジンの組み立て作業の作業マニュアルの集合を含み、航空機エンジンの複数の部品の各々に関連付けられた作業マニュアルの集合が作業マニュアルデータベース２２を構成している。

【0024】

図４は、上記組立支援システム１００を用いた航空機エンジンの部品の組立支援方法を示すフロー図である。
図４に示すように、Ｓ１０１において、作業者は、不図示のカメラで識別対象部品を互いに異なる複数の方向から撮影する。この撮影により得られた複数の画像は、ＡＲデバイス２から組立支援装置６へ無線等により送信される。なお、このカメラはＡＲデバイス２に内蔵されたものであってもよいし、ＡＲデバイス２とは別体で設けられていて撮影した画像をＡＲデバイス２又は組立支援装置６に送信可能に設けられていてもよい。

【0025】

Ｓ１０２において、２次元線画変換部８は、Ｓ１０１の撮影により得られた識別対象部品の複数の画像の各々を２次元線画に変換する画像処理（前処理）を行うことにより、複数の２次元線画（Ｓ１０１で例えばｍ個の方向から１枚ずつ合計ｍ個の画像を撮影した場合にはｍ個の２次元線画）を生成する。なお、２次元線画とは、画像の背景がなく（画像の背景の画素値が０であり）、部品の頂点やエッジの部分のみが画素値を有する画像を意味する。また、ｍは２以上の整数である。

【0026】

Ｓ１０３において、Ｓ１０２で生成された複数の２次元線画（識別対象部品を複数の方向から撮影することで得られた複数の画像にそれぞれ対応する複数の２次元線画）を識別子推定部１０に入力する。Ｓ１０３では、識別子推定部１０は、Ｓ１０２で生成された複数の２次元線画を入力されることにより、入力された２次元線画毎に、入力された２次元線画に対応する識別対象部品の識別子の少なくとも１つの仮候補と該仮候補の各々の信頼度に関する指標とを含む推定結果情報を学習モデル２０から出力する。したがって、Ｓ１０３では、識別子推定部１０は、Ｓ１０２で生成された複数の２次元線画を学習モデル２０に入力されることにより、２次元線画の数と同数の推定結果情報を学習モデル２０から出力し、これらの複数の推定結果情報の各々が、部品の識別子の少なくとも１つの仮候補と、該仮候補の各々の信頼度に関する指標とを含む。

【0027】

図５は、３個の２次元線画を識別子推定部１０に入力した場合に識別子推定部１０から２次元線画毎に出力される推定結果情報の例を示す図である。図５に示す例では、識別対象部品である翼を３方向から撮影することで得られた３つの画像の各々を２次元線画に変換し、変換された３つの２次元線画を識別子推定部１０に入力することで識別子推定部１０から２次元線画毎に出力された推定結果情報が示されている。図５に示す例では、識別子推定部１０に入力された２次元線画毎に（画像別に）、部品の識別子（０２６５，０２６６等の数字）の複数の仮候補と、複数の仮候補の各々の順位（複数の仮候補の各々の信頼度の順位）と、複数の仮候補の各々の類似度とを含む推定結果情報が示されている。

【0028】

Ｓ１０４では、真候補情報出力部１２は、Ｓ１０３で識別子推定部１０から出力された複数の推定結果情報に基づいて、識別対象部品の識別子の少なくとも１つの真候補と、該真候補の各々の信頼度に関する指標（例えば信頼度に関する順位及び確率等）とを含む真候補情報を出力する。ここで、真候補情報出力部１２は、例えば、Ｓ１０３で識別子推定部から出力された複数の推定結果情報に含まれる識別子の複数の仮候補について、識別子の仮候補毎に仮候補の出現回数を集計し、識別子の仮候補を出現回数が多い方から順に並べた場合における出願回数の上位１位～ｎ位（ただし、ｎは１以上の整数である。）までの仮候補をそれぞれ順に上位１位～ｎ位までの真候補として含む真候補情報を出力してもよい。また、この場合において、Ｓ１０３で識別子推定部１０から出力された複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合に、出現回数の等しい複数の仮候補間の順位付けを仮候補の信頼度に関する指標の合計値（例えば各仮候補の確率の合計値）に基づいて行ってもよい。例えば出現回数の等しい複数の仮候補のうち仮候補の信頼度の確率の合計値が相対的に高い方の仮候補を信頼度の順位が高い真候補としてもよい。

【0029】

図５に示した例では、識別対象部品の識別子の仮候補である０２６５と０２６６が３つの２次元線画に基づく３つの推定結果情報の何れにも含まれており、０２６５と０２６６の出現回数が３回（３票）で最も高くなっている。ただし、３つの２次元線画における識別子０２６５の類似度の合計値１．９８６が、３つの２次元線画における識別子０２６６の類似度の合計値１．９４６よりも大きいため、識別子０２６５を真候補の１位とし、識別子０２６６を真候補の２位としている。

【0030】

Ｓ１０４で真候補情報出力部１２が出力する真候補情報に含まれる識別子の真候補の数が１つである場合には、Ｓ１０５において、表示制御部１６は、該１つの真候補を含む真候補情報をＡＲデバイス２に表示させる。

【0031】

Ｓ１０４で真候補情報出力部１２が出力する真候補情報に含まれる識別子の真候補の数が複数である場合には、Ｓ１０５において、表示制御部１６は、該複数の真候補を含む真候補情報をＡＲデバイス２に表示させ、作業者がＡＲデバイス２の表示内容を確認して該複数の真候補から識別対象部品の識別子の正解を選択する。なお、識別子推定部１０は、Ｓ１０５で選択された正解の識別子と、識別子推定部１０に入力された複数の２次元線画とを新たな教師データとする機械学習を行うことにより、学習モデル２０を更新するように構成されていてもよい。

【0032】

図６に示すように、Ｓ１０６において、識別子取得部１４は、Ｓ１０５で選択された正解の識別子（真候補情報に含まれる真候補が１つである場合には該１つの真候補の識別子）を取得する。

【0033】

Ｓ１０７において、作業マニュアル選択部１５は、記憶部１８に記憶された作業マニュアルデータベース２２から、Ｓ１０６で取得した識別子が示す部品に関する組立作業の作業マニュアルを選択して読み込む。

【0034】

Ｓ１０８において、表示制御部１６は、Ｓ１０７で選択された作業マニュアルの該当箇所をＡＲデバイス２に表示させる。Ｓ１０８における作業マニュアルの表示に関して、表示制御部１６は、図７～図１０を用いて説明する風景モード、重畳表示モード、単純表示モード、及び並列表示モードを実行可能に構成されており、これらの表示モードを切替可能に構成されている。

【0035】

図７は、風景モードにおけるＡＲデバイス２の画面の一例である画面Ｅ１を示す図である。
図７に示すように、風景モードとは、作業マニュアルの表示を行わない表示モードであって、ＡＲデバイス２を介して現実世界の風景が見える表示モードである。図７に示す例では、航空機エンジンの燃焼器、燃焼器パネル、及び燃焼器パネルを持つ手がＡＲデバイス２を介して現実世界の風景として見えている。なお、ＡＲデバイス２を介して見える「現実世界の風景」とは、例えばＡＲデバイス２がスマートフォン又はタブレット端末である場合にはＡＲデバイス２の内蔵カメラによって撮影された現実世界の風景であってもよいし、例えばＡＲデバイス２がＡＲグラスである場合にはＡＲグラスのグラス（透明な画面）を透過して見える現実世界の風景であってもよい。

【0036】

図８は、重畳表示モードにおけるＡＲデバイス２の画面の一例である画面Ｅ２を示す図である。図８に示すように、重畳表示モードとは、ＡＲデバイス２を介して見える現実世界の風景上に作業マニュアルの該当箇所を重畳表示（オーバーレイ表示）させる表示モードである。図８に示す例では、航空機エンジンの燃焼器、燃焼器パネル、及び燃焼器パネルを持つ手が現実世界の風景であり、燃焼器パネルの組み付け方法の作業マニュアルの該当箇所を上記現実世界の風景上に重畳表示させた画面が示されている。重畳表示モードで表示させる作業マニュアルの該当箇所は、図８に示すように単純に矢印などで作業の箇所と方法を示す程度のものであってもよいし、作業マニュアルの該当ページ等を示すものであってもよい。なお、図８に示す例では、表示制御部１６は、作業マニュアルにおける次の作業の説明を表示させるための次作業ボタン２３をＡＲデバイス２に表示させている。

【0037】

図９は、単純表示モードにおけるＡＲデバイス２の画面の一例である画面Ｅ３を示す図である。なお、単純表示モードは、ＡＲデバイス２がスマートフォン又はタブレット端末等であることを想定した表示モードである。図９に示すように、単純表示モードは、作業マニュアルの該当箇所をＡＲデバイス２の画面に表示させ、現実世界の風景はＡＲデバイス２に表示させないモードである。図９に示す例は、航空機エンジンの燃焼器パネルの組み付け方法の作業マニュアルの該当箇所の頁と、その頁に隣接する頁とがＡＲデバイス２の画面全体に表示されている。

【0038】

図１０は、並列表示モードにおけるＡＲデバイス２の画面の一例である画面Ｅ４を示す図である。なお、並列表示モードは、ＡＲデバイス２がスマートフォン又はタブレット端末等であることを想定した表示モードである。図１０に示すように、並列表示モードは、ＡＲデバイス２を介して見える現実世界の風景に作業マニュアルの該当箇所を並べて表示するモードである。並列表示モードでは、ＡＲデバイス２を介して見える現実世界の風景は、例えばＡＲデバイス２の内蔵カメラ又はＡＲデバイス２とは別体のカメラにより撮影した現実世界の風景であってもよい。図１０に示す例では、カメラで撮影された現実世界の風景と、航空機エンジンの燃焼器パネルＡの組み付け方法の作業マニュアルの該当箇所と、を並べて表示した画面が示されている。また、並列表示モードでは、ＡＲデバイス２（スマートフォン又はタブレット端末）の画面をピンチして作業マニュアルの一部を拡大又は縮小できるようになっていてもよい。

【0039】

Ｓ１０９において、表示制御部１６は、指示者用端末４にＡＲデバイス２の画面と同じ画面を表示させる画面共有モードを実行する。なお、画面共有モードは、ＡＲデバイス２がスマートフォン又はタブレット端末等であること想定した表示モードである。Ｓ１０９では、表示制御部１６は、画面共有モードの実行中において、上述の風景モード、重畳表示モード、単純表示モード及び並列表示モードの各々を実行することができる。このため、画面共有モードでは、図７～図１０に示したＡＲデバイス２の画面は、指示者用端末４に共有されて指示者用端末４に表示される。図７～図１０に示したように、表示制御部１６は、上述の風景モード、重畳表示モード、単純表示モード又は並列表示モードの各々において、実行するモードを風景モード、重畳表示モード、単純表示モード及び並列表示モードの間で切り替えるためのモード切替ボタン２４をＡＲデバイス２及び指示者用端末４の各々に表示させる。このため、図１１に示すように、画面共有モードでは、表示制御部１６は、指示者用端末４に表示されたモード切替ボタン２４を指示者が操作することにより、実行するモードを風景モード、重畳表示モード、単純表示モード及び並列表示モードの間で切り替えることができる。なお、モード切替ボタン２４は、例えばドロップダウンリスト（プルダウンメニュー）等であってもよいし、モード毎に各モードに対応するモード切替ボタン２４が設けられていてもよい。また、画面共有モードでは、ＡＲデバイス２と指示者用端末４の各々に設けられた音声入出力機器を用いて、指示者が作業者に音声で指示を行うことが可能になっていてもよい。また、画面共有モードでは、ＡＲデバイス２と指示者用端末４との間で画面に文字または絵等を入力して画面共有を行うことで双方向の情報伝達ができるようになっていてもよい。

【0040】

以下、上記組立支援装置６が奏する効果について説明する。
上記組立支援装置６によれば、航空機のＭＲＯにおける組立作業を行う際に、識別対象部品の画像を複数の方法から撮影し変換することで得られた複数の２次元線画を識別子推定部１０に入力することにより、識別子推定部１０が上記学習モデルを用いて識別対象部品の少なくとも１つの仮候補を示す推定結果情報を異方向画像毎に出力することができる。そして、複数の異方向画像に応じた複数の推定結果情報に基づいて真候補情報出力部１２から出力された識別子の真候補を含む真候補情報をＡＲデバイス２に表示させることができる。このため、航空機エンジンの組立作業の作業者は、ＡＲデバイス２に表示された真候補情報に含まれる識別子の少なくとも１つの真候補を確認することにより、識別対象部品の識別子を判断するにあたり、識別子の候補が絞られるか１つに特定される。これにより、部品に関する多くの知識を有する熟練の作業者でなくても部品の識別を容易に行うことができ、部品の識別に要する作業工数を削減することができる。したがって、航空機のＭＲＯにおける組立作業を容易に行うことができ、組立作業の作業工数を削減することができる。また、識別対象部品を１つの方向から撮影した画像のみに基づいて識別子を推定する場合と比較して、識別子の高い推定精度を実現することができる。

【0041】

また、２次元線画に基づいて部品の識別子を推定することにより、影等の影響で識別子の推定の精度が低下することを抑制することができる。また、カラー画像に基づいて識別子を推定する場合と比較して、少ないデータ容量で識別子を推定することができる。

【0042】

また、真候補情報出力部１２は、推定結果情報から出力された複数の推定結果情報に含まれる複数の仮候補について、仮候補毎に仮候補の出現回数を集計し、仮候補を出現回数が多い方から順に並べた場合における出現回数の１位～ｎ位までの仮候補をそれぞれ１位～ｎ位までの真候補として含む真候補情報を出力する。このため、仮候補の出現回数を考慮して信頼性の高い識別子の真候補を真候補出力部が出力することができる。また、作業者は、１位～ｎ位までに絞られた真候補から識別子を選択することができる。

【0043】

また、複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合であっても、出現回数の等しい複数の仮候補間の順位付けが仮候補の各々の信頼度に関する指標の合計値に基づいて行われる。このため、複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合であっても、１位～ｎ位まで順位付けされた識別子の真候補を作業者用端末に表示させることができる。

【0044】

また、識別子取得部１４によって取得した識別子が示す部品に関する作業マニュアルをＡＲデバイス２で参照しながら、航空機のＭＲＯにおける組立作業を行うことができる。これにより、部品に関する多くの知識を有する熟練の作業者でなくても部品の組立作業を容易に行うことができ、組立作業の作業工数を削減することができる。また、ＡＲデバイス２と指示者用端末４で同じ画面を共有することにより、部品に関する多くの知識を有する指示者から遠隔で指示を受けながら組立作業を行うことができる。このため、熟練作業者でなくても組立作業を容易に行うことができ、作業工数を削減することができる。

【0045】

また、指示者用端末４に表示されたモード切替ボタン２４を指示者が操作することにより、風景モード、重畳表示モード、単純表示モード及び並列表示モードの４つのモードを切り替えながら、作業者に適切な指示を送ることが可能となる。これにより、組立作業の作業工数を効果的に削減することができる。

【0046】

本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

【0047】

例えば図１１等を用いて示した例では、表示制御部１６が風景モード、重畳表示モード、単純表示モード、及び並列表示モードを実行可能に構成されている場合を示したが、表示制御部１６は、これら４つのモードの全てを実行可能に構成されている必要はない。例えば、ＡＲデバイス２がスマートフォン又はタブレット端末である場合には、これら４つのモードのうち任意の１つ～４つのモードを実行可能に構成されていてもよい。また、ＡＲデバイス２がＡＲグラス等である場合には、表示制御部１６は、例えば風景モード及び重畳表示モードを実行可能に構成されていてもよい。この場合、表示制御部１６は、指示者のモード切替ボタン２４の操作によって風景モードと重畳表示モードとが切替えられるように構成されていてもよい。

【0048】

また、上述した実施形態では、Ｓ１０４で真候補情報出力部１２が出力する真候補情報に含まれる識別子の真候補の数が複数である場合に、Ｓ１０５において、表示制御部１６は、該複数の真候補を含む真候補情報をＡＲデバイス２に表示させ、作業者がＡＲデバイス２の表示内容を確認して該複数の真候補から識別対象部品の識別子の正解を選択した。ただし、Ｓ１０４で真候補情報出力部１２が出力する真候補情報に含まれる識別子の真候補の数が複数である場合に、Ｓ１０５において、表示制御部１６は、該複数の真候補を含む真候補情報を指示者用端末４に表示させ、指示者が指示者用端末４の表示内容を確認して該複数の真候補から識別対象部品の識別子の正解を選択してもよい。

【0049】

上記各実施形態に記載の内容は、例えば以下のように把握される。

【0050】

（１）本開示の少なくとも一実施形態に係る組立支援装置（例えば上述の組立支援装置６）は、
航空機エンジンの組立作業を支援するための組立支援装置であって、
前記航空機エンジンの識別対象部品を互いに異なる複数の方向から撮影することで得られた複数の画像を複数の異方向画像（例えば上述のＳ１０１で撮影された複数の画像、又は、Ｓ１０２で生成された複数の２次元線画）と定義すると、前記複数の異方向画像を入力されることにより、部品の画像と部品の識別子との関係性を示す学習モデル（例えば上述の学習モデル２０）を用いて前記識別対象部品の識別子を推定し、前記識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を前記異方向画像毎に出力するように構成された識別子推定部（例えば上述の識別子推定部１０）と、
前記複数の異方向画像を前記識別子推定部に入力することで前記識別子推定部から出力される複数の前記推定結果情報に基づいて、前記識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力するように構成された真候補情報出力部（例えば上述の真候補情報出力部１２）と、
前記真候補情報を作業者用端末（例えば上述のＡＲデバイス２）に表示させるように構成された表示制御部（例えば上述の表示制御部１６）と、
を備える。

【0051】

上記（１）に記載の組立支援装置によれば、航空機のＭＲＯにおける組立作業を行う際に、識別対象部品の画像を複数の方法から撮影することで得られた複数の異方向画像を識別子推定部に入力することにより、識別子推定部が上記学習モデルを用いて識別対象部品の少なくとも１つの仮候補を示す推定結果情報を異方向画像毎に出力することができる。そして、複数の異方向画像に応じた複数の推定結果情報に基づいて真候補情報出力部から出力された識別子の真候補を含む真候補情報を作業者用端末に表示させることができる。このため、航空機エンジンの組立作業の作業者は、作業者用端末に表示された真候補情報に含まれる識別子の少なくとも１つの真候補を確認することにより、識別対象部品の識別子を判断するにあたり、識別子の候補が絞られるか１つに特定される。これにより、部品に関する多くの知識を有する熟練の作業者でなくても部品の識別を容易に行うことができ、部品の識別に要する作業工数を削減することができる。したがって、航空機のＭＲＯにおける組立作業を容易に行うことができ、組立作業の作業工数を削減することができる。また、識別対象部品を１つの方向から撮影した画像のみに基づいて識別子を推定する場合と比較して、識別子の高い推定精度を実現することができる。

【0052】

（２）幾つかの実施形態では、上記（１）に記載の組立支援装置において、
前記複数の異方向画像の各々は、前記識別対象部品を互いに異なる複数の方向から撮影した複数の画像の各々を２次元線画に変換した画像である。

【0053】

上記（２）に記載の組立支援装置によれば、２次元線画に基づいて部品の識別子を推定することにより、影等の影響で識別子の推定の精度が低下することを抑制することができる。また、カラー画像に基づいて識別子を推定する場合と比較して、少ないデータ容量で識別子を推定することができる。

【0054】

（３）幾つかの実施形態では、上記（１）又は（２）に記載の組立支援装置において、
前記識別子推定部から出力される前記推定結果情報の各々は、前記識別対象部品の識別子の少なくとも１つの仮候補と、前記少なくとも１つの仮候補の各々の信頼度に関する指標（例えば上述の順位、確率及び類似度）とを含む。

【0055】

上記（３）に記載の組立支援装置によれば、仮候補とその信頼度に関する指標とを考慮して信頼性の高い識別子の真候補を真候補出力部が出力することができる。

【0056】

（４）幾つかの実施形態では、上記（１）乃至（３）の何れかに記載の組立支援装置において、
前記真候補情報出力部は、前記推定結果情報から出力された前記複数の推定結果情報に含まれる複数の前記仮候補について、前記仮候補毎に前記仮候補の出現回数を集計し、前記仮候補を出現回数が多い方から順に並べた場合における出現回数の１位～ｎ位（ただし、ｎは１以上の整数である。）までの前記仮候補をそれぞれ１位～ｎ位までの前記真候補として含む前記真候補情報を出力するように構成される。

【0057】

上記（４）に記載の組立支援装置によれば、仮候補の出現回数を考慮して信頼性の高い識別子の真候補を真候補出力部が出力することができる。また、作業者は、１位～ｎ位までに絞られた真候補から識別子を選択することができる。

【0058】

（５）幾つかの実施形態では、上記（４）に記載の組立支援装置において、
前記識別子推定部から出力される前記推定結果情報の各々は、前記識別対象部品の識別子の少なくとも１つの仮候補と、前記少なくとも１つの仮候補の各々の信頼度に関する指標とを含み、
前記真候補情報出力部は、前記推定結果情報から出力された前記複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合に、出現回数の等しい複数の仮候補間の順位付けを前記指標の合計値に基づいて行うように構成される。

【0059】

上記（５）に記載の組立支援装置によれば、複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合であっても、出現回数の等しい複数の仮候補間の順位付けを仮候補の各々の信頼度に関する指標の合計値に基づいて行うことができる。このため、複数の推定結果情報が出現回数の等しい複数の仮候補を含む場合であっても、１位～ｎ位まで順位付けされた識別子の真候補を作業者用端末に表示させることができる。

【0060】

（６）幾つかの実施形態では、上記（１）乃至（５）の何れかに記載の組立支援装置において、
前記表示制御部は、前記真候補情報出力部によって出力された前記真候補情報に複数の真候補が含まれる場合に、前記作業者用端末又は指示者用端末で選択された前記識別子に基づいて、前記識別子が示す部品に関する組立作業の作業マニュアルの少なくとも一部を前記作業者用端末に表示させるように構成される。

【0061】

上記（６）に記載の組立支援装置によれば、選択された識別子が示す部品に関する作業マニュアルを作業者用端末で確認することができる。このため、作業者が作業マニュアルの該当箇所を確認しながら組立作業を行うことができ、組立作業の作業工数を削減することができる。

【0062】

（７）幾つかの実施形態では、上記（１）乃至（６）の何れかに記載の組立支援装置において、
前記表示制御部は、前記作業者用端末の表示画面と同じ画面を指示者用端末に表示させる画面共有モードを実行可能に構成される。

【0063】

上記（７）に記載の組立支援装置によれば、指示者用端末と作業者用端末で同じ画面を共有することにより、部品に関する多くの知識を有する指示者から遠隔で指示を受けながら組立作業を行うことができる。このため、熟練作業者でなくても組立作業を容易に行うことができ、作業工数を削減することができる。

【0064】

（８）本開示の少なくとも一実施形態に係る航空機エンジンの組み立て支援方法は、
航空機エンジンの組立作業を支援するための組立支援方法であって、
前記航空機エンジンの識別対象部品を互いに異なる複数の方向から撮影することで得られた複数の画像を複数の異方向画像と定義すると、前記複数の異方向画像に基づいて、部品の画像と部品の識別子との関係性を示す学習モデルを用いて前記識別対象部品の識別子を推定し、前記識別対象部品の識別子の少なくとも１つの仮候補を示す推定結果情報を前記異方向画像毎に出力する候補推定ステップと、
前記異方向画像毎に出力された前記推定結果情報の集合に基づいて、前記識別対象部品の識別子の少なくとも１つの真候補を示す真候補情報を出力する真候補情報出力ステップと、
前記真候補情報を作業者用端末に表示させる表示制御を行うステップと、
を備える。

【0065】

上記（８）に記載の組立支援装置によれば、航空機のＭＲＯにおける組立作業を行う際に、識別対象部品の画像を複数の方法から撮影することで得られた複数の異方向画像に基づいて、上記学習モデルを用いて識別対象部品の少なくとも１つの仮候補を示す推定結果情報を異方向画像毎に出力することができる。そして、複数の異方向画像に応じた複数の推定結果情報に基づいて出力された識別子の真候補を含む真候補情報を作業者用端末に表示させることができる。このため、航空機エンジンの組立作業の作業者は、作業者用端末に表示された真候補情報に含まれる識別子の少なくとも１つの真候補を確認することにより、識別対象部品の識別子を判断するにあたり、識別子の候補が絞られるか１つに特定される。これにより、部品に関する多くの知識を有する熟練の作業者でなくても部品の識別を容易に行うことができ、部品の識別に要する作業工数を削減することができる。したがって、航空機のＭＲＯにおける組立作業を容易に行うことができ、組立作業の作業工数を削減することができる。また、識別対象部品を１つの方向から撮影した画像のみに基づいて識別子を推定する場合と比較して、識別子の高い推定精度を実現することができる。

【符号の説明】

【0066】

２ デバイス
４ 指示者用端末
６ 組立支援装置
８ ２次元線画変換部
１０ 識別子推定部
１２ 真候補情報出力部
１４ 識別子取得部
１５ 作業マニュアル選択部
１６ 表示制御部
１８ 記憶部
２０ 学習モデル
２２ 作業マニュアルデータベース
２３ 次作業ボタン
２４ モード切替ボタン
７２ プロセッサ
７４ ＲＡＭ
７６ ＲＯＭ
７８ ＨＤＤ
８０ 入力Ｉ／Ｆ
８２ 出力Ｉ／Ｆ
８４ バス
１００ 組立支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】