特開 2024-72013 検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072013

(43)【公開日】2024-05-27

(54)【発明の名称】検査装置

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240520BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022182581

(22)【出願日】2022-11-15

(71)【出願人】

【識別番号】000241500

【氏名又は名称】トヨタ紡織株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】服部 淳司

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC03

5L050CC03

(57)【要約】

【課題】製品の生産効率の低下を抑制できる検査装置を提供する。
【解決手段】検査装置１０は、作業領域を撮影する撮影装置２０と、撮影装置２０が撮影した撮影データが入力された場合に、部品の組み付け状態が正規の組み付け状態であるか否かを示す指標を出力するように機械学習された第１学習モデルＭ１を記憶する記憶部３２と、第１学習モデルＭ１の出力結果に基づいて、部品の組み付け状態が正規の組み付け状態であるか否かを組み付け工程毎に判定する判定部３３と、判定部３３の判定結果を作業者に報知する報知部４０と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業者によって複数種類の部品が組み付けられることにより製造される製品の製造時における作業順序を検査する検査装置であって、
前記部品が組み付けられる作業領域を撮影する撮影装置と、
前記撮影装置が撮影した撮影データが入力された場合に、前記部品の組み付け状態が正規の組み付け状態であるか否かを示す指標を出力するように機械学習された学習モデルを記憶する記憶部と、
前記学習モデルの出力結果に基づいて、前記組み付け状態が前記正規の組み付け状態であるか否かを組み付け工程毎に判定する判定部と、
前記判定部の判定結果を前記作業者に報知する報知部と、を備える、
検査装置。

【請求項2】

前記撮影装置は、前記作業領域を互いに異なる角度から撮影する複数のカメラを有しており、
少なくとも１つの前記カメラが撮影した前記撮影データを入力としたときの前記学習モデルの出力結果として、前記組み付け状態が前記正規の組み付け状態であることを示す指標が出力された場合、前記判定部は、当該出力結果に基づいて、当該組み付け状態が前記正規の組み付け状態であると判定する、
請求項１に記載の検査装置。

【請求項3】

前記複数種類の部品のうち少なくとも１種類の部品は、前記製品の品種に関する情報を表示する表示部を有する部品箱に収容されるとともに、当該部品箱から前記作業者によって取り出されて組み付けられるものであり、
前記判定部は、前記撮影データに基づいて、前記表示部が表示する品種と、前記作業者が製造する前記製品の品種である製造品種とが一致するか否かを判定する、
請求項１に記載の検査装置。

【請求項4】

前記複数種類の部品のうち少なくとも２種類の部品は、互いに異なる前記部品箱に種類毎に収容されるとともに、当該部品箱の各々から前記作業者によって取り出されて組み付けられるものであり、
前記判定部は、前記製造品種を表示する前記表示部を有する前記部品箱の個数と、前記複数種類の部品のうち前記部品箱に収容される部品の種類数とが一致するか否かを判定する、
請求項３に記載の検査装置。

【請求項5】

前記学習モデルを第１学習モデルとするとき、
前記記憶部には、前記撮影データが入力された場合に、前記表示部が表示する品種が複数の前記品種のうちいずれの品種であるかを示す指標を出力するように機械学習された第２学習モデルが記憶されており、
前記判定部は、前記第２学習モデルの出力結果に基づいて、前記表示部が表示する品種と、前記製造品種とが一致するか否かを判定する、
請求項３または請求項４に記載の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置に関する。

【背景技術】

【0002】

特許文献１には、製品の製造現場において正規部品が正しく組み付けられているか否かを検査する誤欠品チェック装置（以下、チェック装置という）が開示されている。
チェック装置は、多数の部品画像の中から正規部品とダミー部品とを含む複数の部品画像を選択的に表示する画像表示装置を備えている。

【0003】

チェック装置を用いた組み付け作業においては、作業者が、正規部品の組み付け作業後に、画像表示装置に表示された複数の部品画像の中から、自身が組み付けた部品の部品画像を選択する。また、複数の正規部品の組み付け順序が決まっている場合には、作業者は、当該組み付け順序通りに部品画像を選択する。このとき、作業者が組み付けた正規部品の部品画像が選択された場合には、画像表示装置の画面に正規部品が組み付けられた旨が表示される。これにより、作業者は、次の工程に移行可能であることを認識できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３－３１６４２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、特許文献１に記載のチェック装置において、作業者は、部品を組み付ける度に画像表示装置に表示された部品画像を選択する必要がある。こうした選択作業の間は、作業者による部品の組み付けが行われないため、製品の生産効率が低下するおそれがある。

【課題を解決するための手段】

【0006】

上記課題を解決するための検査装置は、作業者によって複数種類の部品が組み付けられることにより製造される製品の製造時における作業順序を検査する検査装置であって、前記部品が組み付けられる作業領域を撮影する撮影装置と、前記撮影装置が撮影した撮影データが入力された場合に、前記部品の組み付け状態が正規の組み付け状態であるか否かを示す指標を出力するように機械学習された学習モデルを記憶する記憶部と、前記学習モデルの出力結果に基づいて、前記組み付け状態が前記正規の組み付け状態であるか否かを組み付け工程毎に判定する判定部と、前記判定部の判定結果を前記作業者に報知する報知部と、を備える。

【0007】

同構成によれば、組み付け工程毎に正規の組み付け状態で部品の組み付けが行われているか否かが作業者に報知される。これにより、作業者は、正規の組み付け順序で組み付け作業を行っているか否かを判断できる。

【0008】

ここで、判定部による部品の組み付け状態の判定は、機械学習された学習モデルの出力結果に基づいて行われる。このため、判定部が部品の組み付け状態を判定する上で、作業者は、部品を特定の位置や姿勢で配置したり、部品の撮影のために作業を一時中断したりする必要がない。したがって、製品の生産効率の低下を抑制できる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態における検査装置の概略構成を示す模式図である。

【図2】図２は、図１の検査装置の構成を示すブロック図である。

【図3】図３は、図１の検査装置によって検査されるエアクリーナの分解斜視図である。

【図4】図４は、図３のエアクリーナを構成する部品が収容された部品箱の平面図である。

【図5】図５は、検査処理の流れを示すフローチャートである。

【図6】図６は、準備判定処理の流れを示すフローチャートである。

【図7】図７は、組付順序判定処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図１～図７を参照して、検査装置の一実施形態について説明する。
（検査装置１０）
図１に示すように、検査装置１０は、作業者Ｏによって複数種類の部品Ｗが組み付けられることにより製造される製品Ｐの製造時における作業順序を検査する装置である。検査装置１０は、作業者Ｏが組み付け作業を行う作業台２００に対して設けられている。

【0011】

図１及び図２に示すように、検査装置１０は、撮影装置２０と、制御装置３０と、報知部４０とを備えている。撮影装置２０は、作業台２００、すなわち、作業者Ｏによる組み付け作業が行われる作業領域を撮影する。制御装置３０は、撮影装置２０が撮影した撮影データを用いて製品Ｐにおける組み付け順序（以下、単に組み付け順序と称する）の良否を判定する。報知部４０は、制御装置３０による組み付け順序の良否判定の結果を作業者Ｏに報知する。

【0012】

次に、製品Ｐの一例であるエアクリーナ１００の構成について説明する。
（エアクリーナ１００）
図３に示すように、エアクリーナ１００は、ケース１１０と、キャップ１２０と、フィルタエレメント１３０と、複数のグロメット１４０と、複数のカラー１５０と、複数のクランプ１６０とを備えている。エアクリーナ１００は、例えば、２つのグロメット１４０と、２つのカラー１５０と、３つのクランプ１６０とを備えている。

【0013】

エアクリーナ１００の構成部品であるケース１１０、キャップ１２０、フィルタエレメント１３０、グロメット１４０、カラー１５０、及びクランプ１６０は、それぞれ「部品」の一例である。以降では、エアクリーナ１００の構成部品を部品Ｗと称することがある。

【0014】

ケース１１０は、上部開口を有する箱状をなしている。上部開口の周縁部には、ケース１１０の外周側に向かって突出する第１フランジ１１１が上部開口の全周にわたって設けられている。ケース１１０の周壁には、筒状のインレット１１２が設けられている。

【0015】

キャップ１２０は、下部開口を有する箱状をなしている。下部開口の周縁部には、キャップ１２０の外周側に向かって突出する第２フランジ１２１が下部開口の全周にわたって設けられている。キャップ１２０の周壁には、筒状のアウトレット１２２が設けられている。

【0016】

フィルタエレメント１３０は、ケース１１０とキャップ１２０との間に設けられている。フィルタエレメント１３０は、第１フランジ１１１と第２フランジ１２１とにより挟持されている。

【0017】

グロメット１４０は、円筒状をなしている。２つのグロメット１４０は、ケース１１０の底壁に形成された図示しない２つの貫通孔のそれぞれに取り付けられている。
カラー１５０は、円筒状をなしている。２つのカラー１５０は、２つのグロメット１４０にそれぞれ圧入されている。

【0018】

３つのクランプ１６０は、ケース１１０の周壁に間隔をおいて取り付けられている。各クランプ１６０は、キャップ１２０に対して接近及び離間するようにケース１１０に対して回転可能に構成されている。各クランプ１６０がキャップ１２０に対して係合することにより、キャップ１２０がケース１１０に対して固定されている。

【0019】

キャップ１２０がケース１１０に対して固定された状態において、フィルタエレメント１３０は、エアクリーナ１００の外観から視認されない。
なお、エアクリーナ１００には、各部品Ｗの形状及び個数が異なる複数の品種が存在する。

【0020】

（エアクリーナ１００の組み付け順序）
エアクリーナ１００の製造時には、作業者Ｏが、部品Ｗを準備する準備作業と、部品Ｗを組み付ける組み付け作業とを行う。

【0021】

図４に示すように、準備作業では、作業者Ｏは、部品Ｗが収容された部品箱５０を準備する。部品Ｗが複数種類存在する場合、複数種類の部品Ｗは、種類毎に異なる部品箱５０にそれぞれ収容されている。

【0022】

本実施形態では、カラー１５０が予め圧入されたグロメット１４０と、クランプ１６０とが異なる部品箱５０にそれぞれ収容されている。
以降において、カラー１５０が圧入されたグロメット１４０を、カラー付きグロメット１４１と称する。

【0023】

部品箱５０は、製品Ｐの品種に関する情報を表示する表示部５１を有している。表示部５１としては、例えば、マーク、図形、記号、文字、及び二次元コードを採用することができる。本実施形態の表示部５１は、製品Ｐの品種に対応して設定されたマークである。

【0024】

部品Ｗが、複数の品種の製品Ｐに共通して用いられるものである場合には、当該部品Ｗを収容する部品箱５０は、複数の品種に関する情報をそれぞれ表示する複数の表示部５１を有していてもよい。

【0025】

組み付け作業では、作業者Ｏは、部品箱５０から部品Ｗを取り出して他の部品Ｗに対して組み付ける。本実施形態では、作業者Ｏは、部品箱５０からカラー付きグロメット１４１及びクランプ１６０を取り出してケース１１０に対して組み付ける。

【0026】

より詳しくは、まず、作業者Ｏは、ケース１１０に対してカラー付きグロメット１４１を組み付ける。次に、作業者Ｏは、ケース１１０に対してクランプ１６０を組み付ける。次に、作業者Ｏは、ケース１１０とキャップ１２０との間にフィルタを配置する。次に、作業者Ｏは、クランプ１６０によって、ケース１１０に対してキャップ１２０を固定する。

【0027】

（撮影装置２０）
図１に示すように、撮影装置２０は、作業領域を互いに異なる角度から撮影する複数のカメラ２１を有している。撮影装置２０は、作業台２００から上方に延びるフレーム２０１に対してそれぞれ固定された４つのカメラ２１を有している。４つのカメラ２１は、例えば、平面視長方形状をなす作業台２００の四隅の上方においてフレーム２０１に対してそれぞれ固定されている。

【0028】

撮影装置２０が作業領域を撮影した撮影データは、制御装置３０によって取得される。なお、撮影データは、動画データであってもよいし、画像データであってもよい。本実施形態の撮影データは、動画データである。

【0029】

（制御装置３０）
図２に示すように、制御装置３０は、制御部３１と、記憶部３２と、判定部３３とを備えている。

【0030】

制御部３１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を有している。制御部３１は、記憶部３２に記憶されたプログラムを読み出して実行することにより各種の情報処理、制御処理等を実行する。記憶部３２は、ＲＡＭやＲＯＭ等のメモリ素子を有している。記憶部３２は、制御部３１による各種の演算処理の実行のために必要なプログラムを記憶している。また、記憶部３２は、制御部３１による各種の演算処理の実行のために必要なデータ等を一時的に記憶する。

【0031】

記憶部３２には、第１学習モデルＭ１と第２学習モデルＭ２とが記憶されている。第１学習モデルＭ１は、部品Ｗが含まれる撮影データが入力された場合に、部品Ｗの組み付け状態が正規の組み付け状態であるか否かを示す指標を出力するように機械学習されている。第２学習モデルＭ２は、表示部５１が含まれる撮影データが入力された場合に、表示部５１が表示する品種が製品Ｐにおける複数の品種のうちいずれの品種であるかを示す指標を出力するように機械学習されている。

【0032】

第１学習モデルＭ１及び第２学習モデルＭ２は、撮影データを入力として、撮影データに含まれる物体が、予め定められたクラスに該当するか否かの指標を出力する。第１学習モデルＭ１におけるクラスには、組み付け作業の各組み付け工程における正規の組み付け状態が設定されている。第２学習モデルＭ２におけるクラスには、複数の品種に対応した複数種類の表示部５１が設定されている。

【0033】

第１学習モデルＭ１及び第２学習モデルＭ２が出力する指標は、例えば、撮影データに含まれる物体がクラスに該当する確率である。したがって、第１学習モデルＭ１は、撮影データを入力として、部品Ｗの組み付け状態が正規の組み付け状態であるかを確率として出力する。また、第２学習モデルＭ２は、撮影データを入力として、表示部５１が複数種類の表示部５１のうち、いずれの表示部５１であるかを確率として出力する。

【0034】

第１学習モデルＭ１及び第２学習モデルＭ２は、例えば、ＤＮＮ（Deep Neural Network）を用いた機械学習によって生成されている。機械学習のアルゴリズムとしては、例えば、Ｒ－ＣＮＮ（Region Based Convolutional Neural Network）、ＳＳＤ（Single Shot Multibox Detector)、及びＹＯＬＯ（You Only Look Once）が挙げられる。

【0035】

第１学習モデルＭ１は、正規の組み付け状態で組み付けられた部品Ｗの画像に、正規の組み付け状態である旨の情報がラベルとして付与された教師データを用いて機械学習されている。なお、第１学習モデルＭ１の教師データの画像は、組み付け作業中の作業者Ｏの身体が含まれるものであってもよい。

【0036】

第１学習モデルＭ１の汎用性を高める上では、様々な条件下で取得された教師データが用いられることが好ましい。例えば、組み付け作業時における作業者Ｏの癖を考慮して、異なる作業者Ｏが組み付け作業を行った際の部品Ｗの画像に、上記ラベルが付与された教師データが用いられることが好ましい。

【0037】

第２学習モデルＭ２は、複数種類の表示部５１の画像の各々に、その種類の表示部５１である旨の情報がラベルとして付与された教師データを用いて機械学習されている。
判定部３３は、第１学習モデルＭ１の出力結果に基づいて、撮影データにおける部品Ｗの組み付け状態が正規の組み付け状態であるか否かを組み付け工程毎に判定する。

【0038】

正規の組み付け状態とは、部品Ｗ同士の相対位置や部品Ｗの個数が正しい状態で、部品Ｗが組み付けられた状態を指す。
判定部３３は、部品Ｗの組み付け状態が正規の組み付け状態であるとして第１学習モデルＭ１が出力した確率が閾値以上の場合に、当該組み付け状態が正規の組み付け状態であると判定する。

【0039】

ところで、部品Ｗが正規の組み付け状態で組み付けられている場合であっても、当該部品Ｗの姿勢によっては、複数のカメラ２１のうち１つのカメラ２１の撮影データからでしか正規の組み付け状態であることを判別できないおそれがある。この場合、第１学習モデルＭ１は、１つのカメラ２１が撮影した撮影データを入力として、部品Ｗの組み付け状態が正規の組み付け状態であることを示す指標を出力する。判定部３３は、この出力結果に基づいて、部品Ｗの組み付け状態が正規の組み付け状態であると判定する。すなわち、判定部３３は、少なくとも１つのカメラ２１が撮影した撮影データを入力とする第１学習モデルＭ１の出力結果が、正規の組み付け状態であることを示す指標である場合、部品Ｗの組み付け状態が正規の組み付け状態であると判定する。

【0040】

判定部３３は、撮影装置２０が撮影した表示部５１の撮影データに基づいて、当該表示部５１が表示する製品Ｐの品種と、作業者Ｏが製造する製品Ｐの品種である製造品種Ｖとが一致するか否かを判定する。より詳しくは、判定部３３は、第２学習モデルＭ２の出力結果に基づいて、撮影データにおける表示部５１が表示する品種と、製造品種Ｖとが一致するか否かを判定する。これに加えて、判定部３３は、撮影データに基づいて、製造品種Ｖを表示する表示部５１を有する部品箱５０の個数と、複数種類の部品Ｗのうち部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判定する。

【0041】

判定部３３は、表示部５１が製造品種Ｖを表示する表示部５１であるとして第２学習モデルＭ２が出力した確率が閾値以上の場合に、当該表示部５１が製造品種Ｖを表示する表示部５１であると判定する。

【0042】

（報知部４０）
報知部４０は、例えば、ディスプレイ４１とスピーカ４２とを備えている。ディスプレイ４１は、作業者Ｏが視認可能となる位置に配置されている。ディスプレイ４１は、例えば、フレーム２０１のうち作業者Ｏの前方に位置する部分に固定されている（図１参照）。スピーカ４２は、例えば、ディスプレイ４１と一体に構成されている。

【0043】

ディスプレイ４１は、例えば、各組み付け工程における作業内容、及び各組み付け工程の進捗を表示する。
報知部４０は、判定部３３の判定結果を作業者Ｏに報知する。すなわち、報知部４０は、準備作業が正しく行われたか否か、及び組み付け順序が正しいか否かを作業者Ｏに報知する。報知部４０は、例えば、組み付け順序が正しいか否かを組み付け工程毎に報知する。

【0044】

ディスプレイ４１は、例えば、判定部３３の判定結果を文字として表示する。スピーカ４２は、例えば、判定部３３の判定結果に対応して予め定められた音を発生させる。
（検査処理）
次に、図５～７を参照して、検査装置１０が実行する検査処理の手順について説明する。検査処理は、製造品種Ｖが制御装置３０に予め登録されている場合に実行される処理である。

【0045】

図５に示すように、検査装置１０は、まず、製品Ｐに用いられる部品Ｗが正しく準備されているか否かを判定する準備判定処理を行う（ステップＳ１）。なお、準備判定処理に先立ち、作業台２００には、作業者Ｏによって部品箱５０が載置されている。

【0046】

図６に示すように、準備判定処理では、まず、撮影装置２０が作業台２００の作業領域を撮影する（ステップＳ１０１）。なお、撮影装置２０は、検査処理が終了するまでは、作業領域の撮影を継続する。

【0047】

次に、制御装置３０は、撮影装置２０における各カメラ２１が撮影した撮影データを取得する（ステップＳ１０２）。制御装置３０は、撮影データを画像処理する。
次に、制御装置３０は、撮影データに含まれる部品箱５０の表示部５１が表示する品種と、製造品種Ｖとが一致するか否かを判定する（ステップＳ１０３）。より詳しくは、制御装置３０は、撮影データに含まれる表示部５１が、製造品種Ｖを表示する表示部５１であるか否かを判定する。

【0048】

表示部５１が表示する品種と製造品種Ｖとが一致する場合（ステップＳ１０３：ＹＥＳ）、制御装置３０は、製造品種Ｖを表示する表示部５１を有する部品箱５０の個数と、部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判定する（ステップＳ１０４）。表示部５１が表示する品種と製造品種Ｖとが一致しない場合（ステップＳ１０３：ＮＯ）、すなわち、正規の部品箱５０が準備されていない場合、制御装置３０は、準備作業が正しく行われていないと判定する（ステップＳ１０５）。なお、部品箱５０に収容される部品Ｗの種類数は、製品Ｐの品種によって異なる。制御装置３０には、製造品種Ｖが予め登録されているため、制御装置３０は、部品箱５０に収容される部品Ｗの種類数の情報を保有している。

【0049】

本実施形態では、カラー付きグロメット１４１と、クランプ１６０とが２つの部品箱５０にそれぞれ収容されている。したがって、部品箱５０に収容される部品Ｗの種類数は、「２」である。このため、ステップＳ１０４では、制御装置３０は、製造品種Ｖを表示する表示部５１を有する部品箱５０の個数が２個であるか否かを判定する。

【0050】

ステップＳ１０４において、部品箱５０の個数と部品Ｗの種類数とが一致する場合（ステップＳ１０４：ＹＥＳ）、制御装置３０は、準備作業が正しく行われたと判定する（ステップＳ１０７）。一方、部品箱５０の個数と部品Ｗの種類数とが一致しない場合（ステップＳ１０４：ＮＯ）、すなわち、部品箱５０が不足している場合、制御装置３０は、準備作業が正しく行われていないと判定する（ステップＳ１０５）。

【0051】

ステップＳ１０５の処理が実行されると、報知部４０は、制御装置３０の判定結果を報知する（ステップＳ１０６）。ステップＳ１０６において、報知部４０は、制御装置３０の判定結果が異常判定である旨、すなわち、準備作業が正しく行われていない旨をディスプレイ４１によって表示するとともに、スピーカ４２によって異常判定に応じた音を発生させる。その後、制御装置３０は、ステップＳ１０３の処理を実行する。

【0052】

一方、ステップＳ１０７の処理が実行されると、報知部４０は、制御装置３０の判定結果を報知する（ステップＳ１０８）。ステップＳ１０８において、報知部４０は、制御装置３０の判定結果が正常判定である旨、すなわち、準備作業が正しく行われた旨をディスプレイ４１によって表示するとともに、スピーカ４２によって正常判定に応じた音を発生させる。

【0053】

ステップＳ１０８の処理が実行されると、制御装置３０は、準備判定処理を終了する。
図５に示すように、検査装置１０は、準備判定処理に続いて、作業者Ｏによる部品Ｗの組み付け順序が正しいか否かを判定する組付順序判定処理を行う（ステップＳ２）。組付順序判定処理は、準備判定処理のステップＳ１０８において制御装置３０による正常判定がなされた場合に実行される。

【0054】

図７に示すように、組付順序判定処理では、制御装置３０は、カウンタｉを１つインクリメントする（Ｓ２０１）。カウンタｉは、組付順序判定処理の開始時には「０」に設定される。

【0055】

次に、制御装置３０は、撮影装置２０における各カメラ２１が撮影した撮影データを取得する（ステップＳ２０２）。制御装置３０は、撮影データを画像処理する。なお、上述したように、撮影装置２０は、準備判定処理が終了してからも継続的に作業領域を撮影している。

【0056】

次に、制御装置３０は、撮影データに含まれる部品Ｗの組み付け状態が、ｉ番目の組み付け工程の組み付け状態と一致するか否かを判定する（ステップＳ２０３）。部品Ｗの組み付け状態が、ｉ番目の組み付け工程の組み付け状態と一致する場合（ステップＳ２０３：ＹＥＳ）、制御装置３０は、部品Ｗの組み付け順序が正常であると判定する（ステップＳ２０４）。一方、部品Ｗの組み付け状態が、ｉ番目の組み付け工程の組み付け状態と一致しない場合（ステップＳ２０３：ＮＯ）、制御装置３０は、部品Ｗの組み付け順序が異常であると判定する（ステップＳ２０５）。

【0057】

ここで、本実施形態における１番目の組み付け工程では、ケース１１０に対して２つのカラー付きグロメット１４１が組み付けられる。したがって、ステップＳ２０３では、制御装置３０は、ケース１１０に対する各カラー付きグロメット１４１の組み付け状態が正規の組み付け状態であるか否かを判定する。

【0058】

２番目の組み付け工程では、ケース１１０に対して３つのクランプ１６０が組み付けられる。したがって、ステップＳ２０３では、制御装置３０は、ケース１１０に対する各クランプ１６０の組み付け状態が正規の組み付け状態であるか否かを判定する。

【0059】

３番目の組み付け工程では、ケース１１０に対してフィルタエレメント１３０が組み付けられる。したがって、ステップＳ２０３では、制御装置３０は、ケース１１０に対するフィルタエレメント１３０の組み付け状態が正規の組み付け状態であるか否かを判定する。

【0060】

４番目の組み付け工程では、ケース１１０に対してキャップ１２０が組み付けられる。したがって、ステップＳ２０３では、制御装置３０は、ケース１１０に対するキャップ１２０の組み付け状態が正規の組み付け状態であるか否かを判定する。

【0061】

ステップＳ２０５の処理が実行されると、報知部４０は、制御装置３０の判定結果を報知する（ステップＳ２０６）。ステップＳ２０６において、報知部４０は、制御装置３０の判定結果が異常判定である旨、すなわち部品Ｗの組み付け順序が異常である旨をディスプレイ４１によって表示するとともに、スピーカ４２によって異常判定に応じた音を発生させる。その後、制御装置３０は、ステップＳ２０３の処理を実行する。

【0062】

一方、ステップＳ２０４の処理が実行されると、報知部４０は、制御装置３０の判定結果を報知する（ステップＳ２０７）。ステップＳ２０７において、報知部４０は、制御装置３０の判定結果が正常判定である旨、すなわち部品Ｗの組み付け順序が正常である旨をディスプレイ４１によって表示するとともに、スピーカ４２によって正常判定に応じた音を発生させる。

【0063】

次に、制御装置３０は、カウンタｉが、製造品種Ｖにおける組み付け工程の総数Ｎと一致するか否かを判定する（ステップＳ２０８）。なお、本実施形態では、総数Ｎは「４」に設定されている。

【0064】

カウンタｉが総数Ｎと一致する場合（ステップＳ２０８：ＹＥＳ）、制御装置３０は、組付順序判定処理を終了する。カウンタｉが総数Ｎと一致しない場合（ステップＳ２０８：ＮＯ）、制御装置３０は、Ｓ２０１の処理を実行する。これにより、次の組み付け工程における組み付け状態の良否が判定される。

【0065】

本実施形態の作用及び効果について説明する。
（１）検査装置１０は、作業領域を撮影する撮影装置２０と、第１学習モデルＭ１を記憶する記憶部３２とを備える。第１学習モデルＭ１は、撮影装置２０が撮影した撮影データが入力された場合に、部品Ｗの組み付け状態が正規の組み付け状態であるか否かを示す指標を出力するように機械学習されている。また、検査装置１０は、第１学習モデルＭ１の出力結果に基づいて、組み付け状態が正規の組み付け状態であるか否かを組み付け工程毎に判定する判定部３３と、判定部３３の判定結果を作業者Ｏに報知する報知部４０とを備える。

【0066】

こうした構成によれば、組み付け工程毎に正規の組み付け状態で部品Ｗの組み付けが行われているか否かが作業者Ｏに報知される。これにより、作業者Ｏは、正規の組み付け順序で組み付け作業を行っているか否かを判断できる。

【0067】

ここで、判定部３３による部品Ｗの組み付け状態の判定は、機械学習された第１学習モデルＭ１の出力結果に基づいて行われる。このため、判定部３３が部品Ｗの組み付け状態を判定する上で、作業者Ｏは、部品Ｗを特定の位置や姿勢で配置したり、部品Ｗの撮影のために作業を一時中断したりする必要がない。したがって、製品Ｐの生産効率の低下を抑制できる。

【0068】

ところで、エアクリーナ１００の製造において、４番目の組み付け工程が完了した時点では、３番目の組み付け工程で組み付けられたフィルタエレメント１３０は、エアクリーナ１００の外観から視認されない。

【0069】

この点、上記構成によれば、検査装置１０は、組み付け工程毎に部品Ｗの組み付け状態の良否を判定する。このため、全ての組み付け工程後に製品Ｐの外観検査を行う場合と比較して、製品Ｐの内部に位置する部品Ｗが正規の組み付け状態であることを担保しやすくなる。

【0070】

（２）判定部３３は、少なくとも１つのカメラ２１が撮影した撮影データを入力とする第１学習モデルＭ１の出力結果が、正規の組み付け状態であることを示す指標である場合、部品Ｗの組み付け状態が正規の組み付け状態であると判定する。

【0071】

こうした構成によれば、判定部３３が部品Ｗの組み付け状態を正規の組み付け状態であると判定する上で、正規の組み付け状態が少なくとも１つのカメラ２１によって撮影されればよい。これにより、作業者Ｏは、部品Ｗを特定の撮影装置２０に向けたりすることなく、組み付け作業を行うことができる。したがって、製品Ｐの生産効率の低下を一層抑制できる。

【0072】

（３）判定部３３は、撮影データに基づいて、表示部５１が表示する品種と、製造品種Ｖとが一致するか否かを判定する。
こうした構成によれば、作業者Ｏは、部品箱５０に収容された部品Ｗの品種が、製造品種Ｖと一致するか否かを判断できる。これにより、組み付け作業を行う前に部品Ｗを準備する準備作業において、製造品種Ｖとは異なる品種の部品Ｗが準備されることを抑制できる。したがって、異なる品種の部品Ｗ同士の誤組み付けを抑制できる。

【0073】

（４）判定部３３は、製造品種Ｖを表示する表示部５１を有する部品箱５０の個数と、複数種類の部品Ｗのうち部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判定する。

【0074】

こうした構成によれば、作業者Ｏは、製造品種Ｖを表示する表示部５１を有する部品箱５０の個数と、部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判断できる。これにより、作業者Ｏは、製品Ｐに用いられる複数種類の部品Ｗをそれぞれ収容する複数種類の部品箱５０が、過不足無く準備されているか否かを判断できる。したがって、製品Ｐにおける部品Ｗの取り付け忘れを抑制できる。

【0075】

（５）記憶部３２には、撮影データが入力された場合に、表示部５１が表示する品種が複数の品種のうちいずれの品種であるかを示す指標を出力するように機械学習された第２学習モデルＭ２が記憶されている。判定部３３は、第２学習モデルＭ２の出力結果に基づいて、表示部５１が表示する品種と、製造品種Ｖとが一致するか否かを判定する。

【0076】

こうした構成によれば、判定部３３は、機械学習された第２学習モデルＭ２の出力結果に基づいて、表示部５１が表示する品種と製造品種Ｖとが一致するか否かを判定する。このため、判定部３３が表示部５１により表示される品種を判定する上で、作業者Ｏは、部品箱５０を特定の位置や姿勢で配置したり、部品箱５０の撮影のために作業を一時中断したりする必要がない。したがって、部品Ｗの準備作業における作業効率の低下、ひいては、製品Ｐの生産効率の低下を抑制できる。

【0077】

＜変更例＞
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0078】

・判定部３３は、表示部５１が表示する品種と製造品種Ｖとが一致するか否かを判定する上で、第２学習モデルＭ２の出力結果を用いなくてもよい。この場合、判定部３３は、例えば、製造品種Ｖを表示する表示部５１が登録された登録画像と、撮影データに含まれる表示部５１とが一致するか否かを判定すればよい。

【0079】

・判定部３３は、部品箱５０の個数と部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判定しなくてもよい。すなわち、制御装置３０は、ステップＳ１０４の処理を実行しなくてもよい。この場合、報知部４０は、ステップＳ１０３における判定結果を報知してもよい。また、作業者Ｏが、部品箱５０の数と部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判断してもよい。

【0080】

・検査処理は、準備判定処理を行わず、組付順序判定処理のみを行う処理であってもよい。この場合、作業者Ｏが、表示部５１が表示する品種と、製造品種Ｖとが一致するか否かを判断するとともに、部品箱５０の数と部品箱５０に収容される部品Ｗの種類数とが一致するか否かを判断してもよい。

【0081】

・撮影装置２０が有するカメラ２１の数は、１つであってもよいし、複数であってもよい。
・撮影装置２０は、フレーム２０１に固定されたカメラ２１と、作業者Ｏに装着されるカメラ２１とを有していてもよい。この構成では、作業者Ｏに装着されるカメラ２１によって、作業者Ｏの目線から部品Ｗを認識できるため、部品Ｗの組み付け状態の良否判定の精度を高めることができる。

【0082】

・複数のカメラ２１の位置は、適宜変更されてもよい。例えば、透明な作業台２００の上方及び下方にそれぞれカメラ２１が配置されていてもよい。この構成では、作業領域におけるカメラ２１の死角を少なくできる。

【0083】

・本実施形態では、報知部４０は、判定部３３の判定結果を作業者Ｏに対して組み付け工程毎に報知するものであった。これに代えて、報知部４０は、判定部３３の判定結果を複数の組み付け工程毎に報知するものであってもよいし、最後の組み付け工程の際に報知するものであってもよい。

【0084】

・報知部４０は、ディスプレイ４１による報知のみを行うものであってもよいし、スピーカ４２による報知のみを行うものであってもよい。
・報知部４０は、作業者Ｏに装着されるウェアラブルデバイスでもよい。この場合、ウェラブルデバイスは、判定部３３の判定結果を画面に表示することにより報知したり、音、光、及び振動などを発生させることにより報知したりするものであることが好ましい。

【0085】

・判定部３３は、ｉ＋１番目の組み付け工程において組み付け状態の良否を判定すると同時に、ｉ番目の組み付け工程における正規の組み付け状態が維持されていることを判定してもよい。

【0086】

・第１学習モデルＭ１は、正規の組み付け状態で組み付けられていない部品Ｗの画像に、正規の組み付け状態でない旨の情報がラベルとして付与された教師データを用いて機械学習されたものであってもよい。この場合、判定部３３は、部品Ｗの組み付け状態が正規の組み付け状態でない確率が閾値以下の場合に、当該組み付け状態が正規の組み付け状態であると判定してもよい。また、第１学習モデルＭ１は、この教師データと、本実施形態の教師データとの双方を用いて機械学習されたものであってもよい。

【0087】

・検査装置１０は、ケース１１０のように他の部品Ｗが組み付けられる対象となる部品Ｗが、作業領域に存在することが判定された場合に、組付順序判定処理を開始するものであってもよい。

【0088】

・製品Ｐの組み付けが完了した後に、判定部３３が、組み付け工程の完了を示す完了印が製品Ｐに押印されているか否かを判定するとともに、報知部４０が、当該判定部３３の判定結果を作業者Ｏに報知してもよい。

【0089】

・報知部４０は、制御装置３０の判定結果が異常判定である旨を報知するか否かを切り替え可能に構成されていてもよい。本変更例の報知部４０が適用される検査装置１０の好ましい一例では、制御装置３０が、ｉ＋１番目までの組み付け工程が予め行われた部品Ｗに対して、ｉ＋１番目までの組み付け工程を含む全ての組み付け工程における組み付け状態の良否を判定する。この場合、制御装置３０がｉ番目以前の組み付け工程における組み付け状態の良否を判定する際に、当該組み付け状態が以降の組み付け工程における正規の組み付け状態であると判定された場合であっても、報知部４０は、異常判定である旨を報知しなくてもよい。

【0090】

・制御部３１、記憶部３２、及び判定部３３の少なくとも１つは、その他とは別の装置により構成されていてもよい。例えば、制御装置３０は、制御部３１及び記憶部３２を有する装置と、判定部３３を有する装置とにより構成されていてもよい。

【0091】

・制御装置３０は、コンピュータプログラム（ソフトウェア）に従って各種処理を実行する１つ以上のプロセッサを含む回路（ｃｉｒｃｕｉｔｒｙ）として構成し得る。なお、制御装置３０は、各種処理のうち少なくとも一部の処理を実行する、特定用途向け集積回路（ＡＳＩＣ）等の１つ以上の専用のハードウェア回路、又はそれらの組み合わせを含む回路として構成してもよい。プロセッサは、ＣＰＵ及び、ＲＡＭ並びにＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる媒体を含む。

【0092】

上記実施形態は、以下の付記に記載する構成を含む。
［付記１］作業者によって複数種類の部品が組み付けられることにより製造される製品の製造時における作業順序を検査する検査装置であって、前記部品が組み付けられる作業領域を撮影する撮影装置と、前記撮影装置が撮影した撮影データが入力された場合に、前記部品の組み付け状態が正規の組み付け状態であるか否かを示す指標を出力するように機械学習された学習モデルを記憶する記憶部と、前記学習モデルの出力結果に基づいて、前記組み付け状態が前記正規の組み付け状態であるか否かを組み付け工程毎に判定する判定部と、前記判定部の判定結果を前記作業者に報知する報知部と、を備える検査装置。

【0093】

［付記２］前記撮影装置は、前記作業領域を互いに異なる角度から撮影する複数のカメラを有しており、少なくとも１つの前記カメラが撮影した前記撮影データを入力としたときの前記学習モデルの出力結果として、前記組み付け状態が前記正規の組み付け状態であることを示す指標が出力された場合、前記判定部は、当該出力結果に基づいて、当該組み付け状態が前記正規の組み付け状態であると判定する、［付記１］に記載の検査装置。

【0094】

［付記３］前記複数種類の部品のうち少なくとも１種類の部品は、前記製品の品種に関する情報を表示する表示部を有する部品箱に収容されるとともに、当該部品箱から前記作業者によって取り出されて組み付けられるものであり、前記判定部は、前記撮影データに基づいて、前記表示部が表示する品種と、前記作業者が製造する前記製品の品種である製造品種とが一致するか否かを判定する、［付記１］または［付記２］に記載の検査装置。

【0095】

［付記４］前記複数種類の部品のうち少なくとも２種類の部品は、互いに異なる前記部品箱に種類毎に収容されるとともに、当該部品箱の各々から前記作業者によって取り出されて組み付けられるものであり、前記判定部は、前記製造品種を表示する前記表示部を有する前記部品箱の個数と、前記複数種類の部品のうち前記部品箱に収容される部品の種類数とが一致するか否かを判定する、［付記３］に記載の検査装置。

【0096】

［付記５］前記学習モデルを第１学習モデルとするとき、前記記憶部には、前記撮影データが入力された場合に、前記表示部が表示する品種が複数の前記品種のうちいずれの品種であるかを示す指標を出力するように機械学習された第２学習モデルが記憶されており、前記判定部は、前記第２学習モデルの出力結果に基づいて、前記表示部が表示する品種と、前記製造品種とが一致するか否かを判定する、［付記３］または［付記４］に記載の検査装置。

【符号の説明】

【0097】

Ｍ１…第１学習モデル
Ｍ２…第２学習モデル
Ｏ…作業者
Ｐ…製品
Ｖ…製造品種
Ｗ…部品
１０…検査装置
２０…撮影装置
２１…カメラ
３０…制御装置
３１…制御部
３２…記憶部
３３…判定部
４０…報知部
４１…ディスプレイ
４２…スピーカ
５０…部品箱
５１…表示部
１００…エアクリーナ
１１０…ケース
１２０…キャップ
１３０…フィルタエレメント
１４０…グロメット
１４１…カラー付きグロメット
１５０…カラー
１６０…クランプ
２００…作業台
２０１…フレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】