IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

特許7589656異常検査システム、異常検査方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】異常検査システム、異常検査方法及びプログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20241119BHJP
   G01N 21/95 20060101ALI20241119BHJP
   G06T 7/00 20170101ALI20241119BHJP
【FI】
G01N21/88 J
G01N21/95 Z
G06T7/00 350B
【請求項の数】 8
(21)【出願番号】P 2021120602
(22)【出願日】2021-07-21
(65)【公開番号】P2023016346
(43)【公開日】2023-02-02
【審査請求日】2023-10-11
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】梶野 晃裕
(72)【発明者】
【氏名】田井 遥
【審査官】齋藤 卓司
(56)【参考文献】
【文献】国際公開第2021/062536(WO,A1)
【文献】国際公開第2020/175666(WO,A1)
【文献】特開2018-146442(JP,A)
【文献】特開2019-106090(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/88
G01N 21/95
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
カム部の撮像データを取得する第1取得部と、
前記カム部の外観上の異常の有無を出力結果とするモデルである第1学習モデルに前記カム部の撮像データを入力し、当該出力結果が、前記カム部に外観上の異常があることを示す場合に、前記カム部に異常の疑いがあると判定する第1検査部と、
前記第1学習モデルと異なる第2学習モデルであって、前記カム部の外観上の異常の種別を出力結果とする前記第2学習モデルに、前記第1検査部により異常の疑いがあると判定された前記カム部の撮像データを入力し、当該出力結果が示す前記カム部の外観上の異常の種別に応じて、前記カム部の異常の有無を判定する第2検査部と、
前記カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第2取得部と、
前記第1及び第2学習モデルと異なる第3学習モデルであって、前記ジャーナル部の異常の有無を出力結果とする前記第3学習モデルに、前記ジャーナル部の撮像データを入力することで、前記ジャーナル部の異常の有無を検査する第3検査部と、を備え、
前記ジャーナル部は前記第3検査部のみによって検査される、
異常検査システム。
【請求項2】
入力された前記カム部の撮像データに関してセマンティックセグメンテーション処理を実行する前記第1学習モデルと、
入力された前記カム部の撮像データに関してクラシフィケーション処理を実行する前記第2学習モデルと、
入力された前記ジャーナル部の撮像データに関してセグメンテーション処理を実行する前記第3学習モデルと、をさらに備える、
請求項1に記載の異常検査システム。
【請求項3】
前記第2学習モデルの前記出力結果が、前記カム部の外観上の異常を、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様であることを示した場合に、前記第2検査部は、前記カム部に異常がないことを判定する、
請求項1又は2に記載の異常検査システム。
【請求項4】
前記第2検査部は、前記撮像データにおいて前記第1検査部により異常の疑いがあると判定された区画を切り出し、切り出された区画の前記撮像データを前記第2学習モデルに入力する、
請求項1乃至3のいずれか1項に記載の異常検査システム。
【請求項5】
前記第1取得部は、第1の照明によって前記カム部に光が照射された状態で撮影された前記カム部の撮像データを取得し、
前記第2取得部は、前記第1の照明と異なる第2の照明によって前記ジャーナル部に光が照射された状態で撮影された前記ジャーナル部の撮像データを取得する、
請求項1乃至4のいずれか1項に記載の異常検査システム。
【請求項6】
前記第1取得部は、前記カム部のシャフトを軸支して回転させる回転機構によって前記カム部が回転された状態で撮影された前記カム部の撮像データを取得する、
請求項1乃至のいずれか1項に記載の異常検査システム。
【請求項7】
カム部の撮像データを取得する第1取得ステップと、
前記カム部の外観上の異常の有無を出力結果とするモデルである第1学習モデルに前記カム部の撮像データを入力し、当該出力結果が、前記カム部に外観上の異常があることを示す場合に、前記カム部に異常の疑いがあると判定する第1検査ステップと、
前記第1学習モデルと異なる第2学習モデルであって、前記カム部の外観上の異常の種別を出力結果とする前記第2学習モデルに、前記第1検査ステップにて異常の疑いがあると判定された前記カム部の撮像データを入力し、当該出力結果が示す前記カム部の外観上の異常の種別に応じて、前記カム部の異常の有無を判定する第2検査ステップと、
前記カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第2取得ステップと、
前記第1及び第2学習モデルと異なる第3学習モデルであって、前記ジャーナル部の異常の有無を出力結果とする前記第3学習モデルに、前記ジャーナル部の撮像データを入力することで、前記ジャーナル部の異常の有無を検査する第3検査ステップと、を備え、
前記ジャーナル部は前記第3検査ステップのみによって検査される、
常検査システムが実行する異常検査方法。
【請求項8】
カム部の撮像データを取得する第1取得ステップと、
前記カム部の外観上の異常の有無を出力結果とするモデルである第1学習モデルに前記カム部の撮像データを入力し、当該出力結果が、前記カム部に外観上の異常があることを示す場合に、前記カム部に異常の疑いがあると判定する第1検査ステップと、
前記第1学習モデルと異なる第2学習モデルであって、前記カム部の外観上の異常の種別を出力結果とする前記第2学習モデルに、前記第1検査ステップにて異常の疑いがあると判定された前記カム部の撮像データを入力し、当該出力結果が示す前記カム部の外観上の異常の種別に応じて、前記カム部の異常の有無を判定する第2検査ステップと、
前記カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第2取得ステップと、
前記第1及び第2学習モデルと異なる第3学習モデルであって、前記ジャーナル部の異常の有無を出力結果とする前記第3学習モデルに、前記ジャーナル部の撮像データを入力することで、前記ジャーナル部の異常の有無を検査する第3検査ステップと、を備え、
前記ジャーナル部は前記第3検査ステップのみによって検査される、
異常検査方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は異常検査システム、異常検査方法及びプログラムに関する。
【背景技術】
【0002】
工業用部品は、その生産工程において低品質な部品の出荷を防ぐため、適切な検査がなされる必要がある。例えば、特許文献1には、機械学習によって学習された学習済みモデルを用いて、部品の仕様分類を判定する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-149578号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
部品を検査する検査システムは、部品を撮影し、その画像を解析することで部品表面の異常を判定することができる。ここで、部品の断面が真円の形状をしている場合には、部品のある表面の箇所と部品を撮影するカメラ、表面を照らす照明の位置関係が変わらないため、画像上、光が照射されている位置も変わらない。そのため、検査システムは、部品の各部分が撮影された複数の画像をAI(Artificial Intelligence)等により解析することで、その部分についての異常の有無を判定することができる。
【0005】
しかしながら、カム等、断面が真円でない部品(すなわち、表面と回転軸からの距離が一律でなく、異なる箇所がある部品)については、部品を撮影するカメラ、表面を照らす照明と部品の位置関係が変わるため、画像上、光が照射されている位置が変化する。そのため、カメラが撮影した映像における表面の映り具合は不規則に変化する。したがって、上述の手法を用いることができず、検査システムは、撮影された画像を1枚ずつ解析する必要がある。このような場合に、検査システムは、本来は異常ではないカムの表面の箇所であっても、異常であると誤判定してしまう可能性があった。
【0006】
本発明は、このような問題を解決するためのものであり、カム部の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供するものである。
【課題を解決するための手段】
【0007】
本発明の例示的な一態様に係る異常検査システムは、カム部の撮像データを取得する第1取得部と、第1学習モデルにカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する第1検査部と、第1学習モデルと異なる第2学習モデルに、第1検査部により異常の疑いがあると判定されたカム部の撮像データを入力することで、カム部の異常の有無を検査する第2検査部を備える。異常検査システムは、2種類の異なる学習モデルを用いてカム部の異常を判定するため、異常の検査の精度を高めることができ、カム部の異常を正確に検出することができる。
【0008】
また、上記異常検査システムにおいて、第1学習モデルは、カム部の外観上の異常の有無を出力結果とするモデルであり、第1検査部は、その出力結果が、カム部に外観上の異常があることを示す場合に、カム部に異常の疑いがあると判定し、第2学習モデルは、カム部の外観上の異常の種別を出力結果とするモデルであり、第2検査部は、その出力結果が示すカム部の外観上の異常の種別に応じて、カム部の異常の有無を判定しても良い。第2検査部は、カム部に外観上の異常がない場合に判定処理を実行しないため、第2検査部による検査は必要な場合に限り実行される。そのため、異常検査システムは、検査を効率よく実行することができる。
【0009】
また、上記異常検査システムにおいて、第2学習モデルの出力結果が、カム部の外観上の異常を、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様であることを示した場合に、第2検査部は、カム部に異常がないことを判定しても良い。これにより、異常検査システムは、部品の実質的な品質に異常がない単なる外観上の異常を最終的な異常と判定しないため、過検出を抑制することができる。
【0010】
また、上記異常検査システムにおいて、第2検査部は、撮像データにおいて第1検査部により異常の疑いがあると判定された区画を切り出し、切り出された区画の撮像データを第2学習モデルに入力しても良い。これにより、第2検査部において、不要な区画は判定の対象外となるため、第2検査部での検査におけるノイズの影響を抑制し、検査の精度を高めることができる。
【0011】
また、上記異常検査システムは、カム部と同じ部品に設けられたジャーナル部の撮像データを取得する第2取得部と、第1及び第2学習モデルと異なる第3学習モデルにジャーナル部の撮像データを入力することで、ジャーナル部の異常の有無を検査する第3検査部と、をさらに備え、ジャーナル部は第3検査部のみによって検査されても良い。これにより、部品の検査において、カム部ではないジャーナル部の検査回数は複数回でなく1回で済むため、部品の検査において必要な計算処理の総量を削減することができる。
【0012】
また、上記異常検査システムにおいて、第1取得部は、第1の照明によってカム部に光が照射された状態で撮影されたカム部の撮像データを取得し、第2取得部は、第1の照明と異なる第2の照明によってジャーナル部に光が照射された状態で撮影されたジャーナル部の撮像データを取得しても良い。カム部、ジャーナル部は、それぞれの形状に合わせた照明で光が照射されるため、第1取得部、第2取得部は検査に適した品質の撮像データを取得することができる。したがって、異常検査システムは、カム部の異常をより正確に検出することができる。
【0013】
また、上記異常検査システムにおいて、第1取得部は、カム部のシャフトを軸支して回転させる回転機構によってカム部が回転された状態で撮影されたカム部の撮像データを取得しても良い。これにより、異常検査システムは、カム部の異なる箇所の画像を効率的に取得することができるため、検査全体にかかる時間を短縮することができる。
【0014】
本発明の例示的な一態様に係る異常検査方法は、カム部の撮像データを取得する取得ステップと、第1学習モデルにカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する第1検査ステップと、第1学習モデルと異なる第2学習モデルに、異常の疑いがあると判定されたカム部の撮像データを入力することで、カム部の異常の有無を検査する第2検査ステップを異常検査システムが実行するものである。異常検査システムは、2種類の異なる学習モデルを用いてカム部の異常を判定するため、異常の検査の精度を高めることができ、カム部の異常を正確に検出することができる。
【0015】
本発明の例示的な一態様に係るプログラムは、カム部の撮像データを取得する取得ステップと、第1学習モデルにカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する第1検査ステップと、第1学習モデルと異なる第2学習モデルに、異常の疑いがあると判定されたカム部の撮像データを入力することで、カム部の異常の有無を検査する第2検査ステップをコンピュータに実行させるものである。このプログラムにより、コンピュータは、2種類の異なる学習モデルを用いてカム部の異常を判定するため、異常の検査の精度を高めることができ、カム部の異常を正確に検出することができる。
【発明の効果】
【0016】
本発明により、カム部の異常を正確に検出することが可能な異常検査システム、異常検査方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0017】
図1】実施の形態1にかかる異常検査システムの一例を示すブロック図である。
図2A】実施の形態1にかかる異常検査システムの検査装置の一例を示す詳細図である。
図2B】実施の形態1にかかる検査対象部品の一例を示す図である。
図2C】実施の形態1にかかるカム部、カム部検査用照明及びカム部検査用カメラの位置関係の一例を示す模式図である。
図3A】実施の形態1にかかる制御部の一例を示すブロック図である。
図3B】実施の形態1にかかる検査部と学習モデルとの関係を示す模式図である。
図3C】実施の形態1にかかる画像切り取りの例を示す模式図である。
図4A】実施の形態1にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。
図4B】実施の形態1にかかる異常検査システムが、カム部の検査を実行するときの処理例を示すフローチャートである。
図4C】実施の形態1にかかる異常検査システムが、ジョイント部の検査を実行するときの処理例を示すフローチャートである。
【発明を実施するための形態】
【0018】
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。
【0019】
<異常検査システム>
図1は、実施の形態にかかる異常検査システムを説明するための図である。図1に示すように、本実施の形態にかかる異常検査システムS1は、検査装置10及び情報処理装置20を備える。本実施の形態にかかる異常検査システムS1は、ユーザが情報処理装置20を操作することにより、検査対象部品の表面を検査装置10のカメラで撮像させて、その表面に異常があるか否かを情報処理装置20で検査させるものである。この例において、検査対象部品はカムシャフトである。以下、検査装置10及び情報処理装置20の詳細について説明する。
【0020】
検査装置10は、カム部検査用照明11、カム部検査用カメラ12、ジャーナル部検査用照明13、ジャーナル部検査用カメラ14、回転モータ15を有する。
【0021】
図2Aは、検査装置10の一例を示す詳細図であり、この図を用いて、検査装置10の各構成要素を説明する。カム部検査用照明11としては、検査対象部品Wのフロント側にカム部検査用照明11A、そのリア側にカム部検査用照明11Bが設けられており、情報処理装置20は、検査対象部品Wのカム部を検査する際に、それぞれの照明を点灯させる。カム部検査用カメラ12としては、検査対象部品Wのフロント側からリア側にかけて、カム部検査用カメラ12A-12Dが設けられている。各カム部検査用カメラ12は、情報処理装置20の制御により、カム部検査用照明11が光を照射したカム部の領域を連続して複数回撮影することによって、カム部の撮像データ(画像)を撮影する。
【0022】
ジャーナル部検査用照明13は、情報処理装置20の制御によって、検査対象部品Wのジャーナル部検査がなされる際に点灯される。ジャーナル部検査用カメラ14としては、検査対象部品Wのフロント側からリア側にかけて、ジャーナル部検査用カメラ14A-14Dが設けられている。各ジャーナル部検査用カメラ14は、情報処理装置20の制御により、ジャーナル部検査用照明13が光を照射したジャーナル部の領域を連続して複数回撮影することによってジャーナル部の撮像データを撮影する。なお、カム部検査用カメラ12及びジャーナル部検査用カメラ14は、カメラの撮像素子が面状(すなわち、縦横に複数の撮像素子がある)となるように設けられる、いわゆるエリアカメラである。
【0023】
図2Bは、検査対象部品Wとしてのカムシャフトを拡大した図である。このカムシャフトは、8個のカム部C1-C8と、4個のジャーナル部J1-J4を有する。カム部検査用照明11は、カム部C1-C8に光を照射し、カム部検査用カメラ12は、その照射された領域を撮影する。ジャーナル部検査用照明13は、ジャーナル部J1-J4に光を照射し、ジャーナル部検査用カメラ14は、その照射された領域を撮影する。
【0024】
図2Cは、カム部C1、カム部検査用照明11A及びカム部検査用カメラ12Aの位置関係の一例を示す模式図である。カム部検査用照明11A及びカム部検査用カメラ12Aは、それぞれの照明及びカメラの正面部が同一線上に配置され、その延長線上にカム部C1が配置されている。つまり、カム部検査用照明11A及びカム部検査用カメラ12Aは、カム部C1に対して同じ姿勢(同位相)となるように配置されている。カム部検査用照明11Aは、カム部C1に対して光を照射する。カム部検査用カメラ12Aは、カム部の回転方向を撮影するための画角としてθを有し、カム部において撮影領域RCを撮影する。カム部C1だけでなく、他のカム部に対しても、カム部検査用照明11A及びカム部検査用カメラ12Aは同様の位置関係で配置され、同様にカム部の所定の撮影領域を撮影することができる。また、カム部検査用照明11B及びカム部検査用カメラ12Bも、各カム部に対して、それぞれカム部検査用照明11A及びカム部検査用カメラ12Aと同じ位置関係で配置され、同様にカム部の所定の撮影領域を撮影することができる。
【0025】
図2Aに戻り、説明を続ける。回転モータ15は、検査対象部品Wのフロント側に設けられたクランプFCとリア側に設けられたクランプRCとともに、検査対象部品Wのシャフトを軸支して回転させる回転機構を構成する。ユーザが検査対象部品Wの両端をクランプFCとクランプRCで固定させることにより、検査対象部品Wを回転可能な状態とした後で、回転モータ15は情報処理装置20の制御によって検査対象部品Wを回転させる。
【0026】
詳細には、情報処理装置20は、検査対象部品Wのカム部の検査を実行する際に回転モータ15を回転させ、カム部検査用照明11が点灯した状態で検査対象部品Wが1回転する間に、カム部検査用カメラ12を制御して、カム部を連続して複数回撮影させる。これにより、カム部検査用カメラ12は、1回の撮影毎にカム部の異なる領域を撮影することになる。
【0027】
以上に示したカム部の撮影後、情報処理装置20は、カム部検査用照明11を消灯させ、代わりにジャーナル部検査用照明13を点灯させる。そして、情報処理装置20は、回転モータ15を回転させ、検査対象部品Wが1回転する間に、ジャーナル部検査用カメラ14を制御して、ジャーナル部を連続して複数回撮影させる。これにより、ジャーナル部検査用カメラ14は、1回の撮影毎にジャーナル部の異なる領域を撮影することになる。
【0028】
情報処理装置20は、カム部検査用カメラ12が複数回の撮影をすることで検査対象部品Wのカム部の表面全体を撮影するように、カム部検査用カメラ12の撮影間隔並びに撮影回数(撮影時間)、及び回転モータ15の回転速度を決定する。また、情報処理装置20は、ジャーナル部検査用カメラ14が複数回の撮影をすることで検査対象部品Wのジャーナル部の表面全体を撮影するように、ジャーナル部検査用カメラ14の撮影間隔並びに撮影回数(撮影時間)、及び回転モータ15の回転速度を決定する。情報処理装置20は、以上のようにして得られたカム部及びジャーナル部の画像を取得し、後述の処理を実行することで各画像に異常が存在するか否かを判定する。
【0029】
なお、カム部検査用カメラ12が連続して撮影した画像において、1枚の画像で撮影されたカム部の領域と、その前後の画像で撮影されたカム部の領域とは、重複部分があっても良いし、なくても良い。これは、ジャーナル部検査用カメラ14によるジャーナル部の撮影についても、同様のことがいえる。
【0030】
次に、情報処理装置20について説明する。情報処理装置20は、DB(Database)21、表示パネル22、入力部23及び制御部24を有する。
【0031】
DB21には、検査に必要な3種類の学習モデルが格納されている。この学習モデルは、ディープラーニング等の機械学習により、事前に画像を教師データとして学習がなされたAI(Artificial Intelligence)モデルである。この学習モデルの詳細については後述する。また、DB21には、後述の検査部における判定に用いられる全ての閾値が格納されている。
【0032】
DB21は、例えばフラッシュメモリ、メモリーカード、HDD(Hard Disk Drive)、光ディスクドライブ等の記憶装置で構成されているが、記憶装置の種類はこれに限られない。また、DB21は情報処理装置20の外部に設けられてもよく、この場合、情報処理装置20は図示しない情報送受信部を介してDB21へ接続し、DB21に格納されたデータを取得してもよい。
【0033】
表示パネル22は、情報処理装置20の異常の有無の判定結果をユーザが見られるようにするためのインターフェイスである。入力部23は、ユーザが情報処理装置20に対して、検査の開始や検査の設定に関する指示を入力するインターフェイスである。
【0034】
制御部24は、カム部検査用照明11、カム部検査用カメラ12、ジャーナル部検査用照明13、ジャーナル部検査用カメラ14及び回転モータ15を上述の通り制御して、検査対象部品Wのカム部及びジャーナル部を撮影させる。そして、制御部24は、カム部検査用カメラ12及びジャーナル部検査用カメラ14から、それぞれ撮像された画像を取得し、以下に示す通り、検査を実行する。
【0035】
図3Aは、制御部24の構成を説明するためのブロック図である。制御部24は、メモリ241、I/O(Input/Output)部242及び情報処理部243を備える。以下、制御部24の各部について説明する。
【0036】
メモリ241は、揮発性メモリや不揮発性メモリ、またはそれらの組み合わせで構成される。メモリ241は、1個に限られず、複数設けられてもよい。なお、揮発性メモリは、例えば、DRAM (Dynamic Random Access Memory)、SRAM (Static Random Access Memory)等のRAM (Random Access Memory)であってもよい。不揮発性メモリは、例えば、PROM (Programmable ROM)、EPROM (Erasable Programmable Read Only Memory)、フラッシュメモリであってもよい。
【0037】
このメモリ241は、1以上の命令を格納するために使用される。ここで、1以上の命令は、ソフトウェアモジュール群としてメモリ241に格納される。情報処理部243は、1以上の命令をメモリ241から読み出して実行することで、以下の処理を行うことができる。
【0038】
I/O部242は、制御部24の外部と情報の入出力を実行するハードウェアインタフェースである。この実施形態では、制御部24はカム部検査用照明11、カム部検査用カメラ12、ジャーナル部検査用照明13、ジャーナル部検査用カメラ14及び回転モータ15に接続されており、これらとI/O部242を介して情報の入出力を適宜行う。
【0039】
情報処理部243は、画像を解析するための任意のプロセッサ等で構成される。この例では、プロセッサとして、画像処理に有用なGPU(Graphics Processing Unit)が情報処理部243に含まれている。ただし、情報処理部243は、プロセッサとして、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)を有しても良い。なお、上述のメモリ241は、情報処理部243の外部に設けられるものに加えて、情報処理部243に内蔵されているものを含んでも良い。
【0040】
情報処理部243は、メモリ241からソフトウェア(コンピュータプログラム)を読み出して実行することで、画像取得部244、第1検査部245、第2検査部246及び第3検査部247等の機能を実現する。画像取得部244は、I/O部242を介して、カム部検査用カメラ12及びジャーナル部検査用カメラ14から、撮影された画像を取得する。取得したカム部の画像は、第1検査部245に出力され、ジャーナル部の画像は、第3検査部247に出力される。
【0041】
図3Bは、第1検査部245-第3検査部247及び、DB21に格納されており、第1検査部245-第3検査部247がそれぞれアクセスして検査に用いる3種類の学習モデルを示したものである。以下、図3Bを参照しながら、各検査部について詳細に説明する。
【0042】
第1検査部245は、カム部検査用カメラ12が撮影したカム部の画像(第1撮像データ)を第1学習モデルM1に対して入力し、第1学習モデルM1から出力された結果に基づいて、カム部に異常の疑いがあるか否かを判定する。
【0043】
ここで、第1学習モデルM1は、カム部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、カム部の外観上の異常の有無に関する計算値を出力結果とするモデルである。詳細な例として、第1学習モデルM1は、入力された画像に関してセマンティックセグメンテーション処理を実行することで、その画像における第1の判定値を算出して出力する。この第1の判定値は、画像に映されたカム部の正常度を表すものであり、大きい値であるほど、画像におけるカム部の表面がクリーンな状態であることを示し、小さい値であるほど、その表面にキズ、又は鋳巣(shrinkage cavity)等の欠陥に似ている模様が映っていることを示す。第1検査部245は、算出された第1の判定値とDB21に格納された閾値TH1とを比較し、第1の判定値が閾値TH1以下となる画像を、カム部に外観上の異常がある画像と判定する。一方、第1検査部245は、第1の判定値が閾値TH1よりも大きい画像を、カム部に外観上の異常がない画像と判定する。
【0044】
なお、第1学習モデルM1は、画像を複数の区画に分割し、その区画毎に第1の判定値を算出しても良い。この場合、第1検査部245は、画像の少なくとも1つの区画における第1の判定値が閾値TH1以下である場合に、カム部に外観上の異常がある画像と判定しても良い。又は、第1検査部245は、画像において複数の閾値以上の数の区画における第1の判定値が閾値TH1以下である場合に、カム部に外観上の異常がある画像と判定しても良い。
【0045】
外観上の異常とは、カム部の表面がクリーンな状態でないことをいい、例えば、表面に線や丸などの模様があることや、表面に明度が異なる箇所がある(例えば周囲と比べて暗い箇所がある)ことを視認できることを示す。カム部表面に丸などの模様がある場合や、表面に暗い箇所がある場合、表面に鋳巣が生じている可能性があり、表面に線の模様がある場合、表面にキズが生じている可能性がある。キズや鋳巣は、検査対象部品Wの欠陥(実質的な異常)を意味するものである。しかしながら、カム部表面に丸などの模様があっても、その模様は表面上の液滴(例えば洗浄液)由来の可能性もある。また、面に線の模様があっても、その模様は、バリ取り用のブラシの跡、検査対象部品Wのチェック跡、又は砥石加工の際に生じた砥石目である可能性もある。これらの模様は、検査対象部品Wの製造段階による加工によって自然に生じるものであり、検査対象部品Wの欠陥ではない。そのため、このような、外観上の異常があるが実質的な異常ではない(以下、偽異常とも記載)模様を有する画像を異常検査システムが異常と判定してしまうという、過検出の問題が生じる可能性がある。
【0046】
本発明では、画像においてカム部に外観上の異常があると判定された場合、第1検査部245は、カム部に異常の疑いがあると判定する。異常の疑いがあると判定された画像は、第2検査部246による再度の検査の対象となる。この再度の検査によって画像に欠陥が映っていると判定された場合に、はじめて検査対象部品Wが異常と判定されることになる。なお、異常の疑いがないと判定された画像は、第2検査部246による検査の対象外となる。
【0047】
第2検査部246は、異常の疑いがあると判定されたカム部の画像(第2撮像データ)全体を第2学習モデルM2に対して入力する。なお、第1学習モデルM1が、画像を複数の区画に分割し、その区画毎に第1の判定値を算出するモデルである場合に、第2検査部246は、第1の判定値が閾値TH1以下である画像の区画を切り取って、その切り取った区画の画像だけを第2学習モデルM2に対して入力しても良い。
【0048】
図3Cは、第2検査部246が画像を切り取る処理の一例を示した図である。カム部検査用カメラ12が撮影したオリジナルの画像IMにおいて、異常の疑いがある模様DAが存在することにより、第1検査部245は画像IMの区画DAにおける第1の判定値が閾値TH1以下であると判定する。このとき、第2検査部246は、画像IMから区画DAを切り取り、区画DAの画像だけを第2学習モデルM2に対して入力することができる。
【0049】
第2学習モデルM2は、以上のようにして入力された画像に基づいた計算結果を出力する。第2検査部246は、第2学習モデルM2からの出力結果に基づいて、カム部に異常があるか否かを判定する。
【0050】
ここで、第2学習モデルM2は、第1学習モデルM1と異なる種類のAIモデルである。第2学習モデルM2は、カム部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、カム部の外観上の異常の種別に関する計算値を出力結果とするモデルである。詳細には、第2学習モデルM2は、入力された画像に関してクラシフィケーション処理を実行し、入力画像における第2の判定値を算出して出力する。この第2の判定値は、入力画像と、上述に記載の偽異常の模様との一致率であり、入力画像と偽異常の模様との内積を計算した場合の余弦値(cosθ)のことをいう。第2学習モデルM2は、モデル化された偽異常の模様の種類数だけ、第2の判定値を算出する。この第2の判定値が大きい(1に近い)値であるほど、画像におけるカム部表面の模様は偽異常の模様(例えば、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様)と類似し、実質的な異常がないことを示す。その一方、第2の判定値が小さい値であるほど、そのカム部表面の模様は偽異常の模様と類似していないため、その模様はキズや鋳巣等の欠陥である可能性が高いと考えられる。
【0051】
第2検査部246は、算出された第2の判定値とDB21に格納された閾値TH2とを比較する。なお、閾値TH2も、モデル化された偽異常の模様の種類数だけ設定されることになる。第2検査部246は、全ての偽異常の模様の種類において、第2の判定値が閾値TH2以下となる画像を、カム部に異常がある画像と判定する。一方、第2検査部246は、少なくともいずれか1種類の偽異常の模様において、第2の判定値が閾値TH2よりも大きくなる画像を、カム部に異常がない画像と判定する。
【0052】
なお、第2検査部246が、撮影されたオリジナルの画像の一部を切り取った区画の画像だけを第2学習モデルM2に対して入力した場合、第2学習モデルM2は、その区画に関して上述のクラシフィケーション処理を実行し、その区画における第2の判定値を算出して出力する。
【0053】
第1検査部245及び第2検査部246は、各カム部検査用カメラ12が撮影した画像毎に、上述の処理を実行する。そして、第2検査部246においてカム部に異常があると判定された画像がない場合には、第2検査部246は、撮影された検査対象であるカム部に異常がないと判定する。一方、カム部に異常があると判定された画像が1枚でもある場合には、第2検査部246は、撮影された検査対象であるカム部に異常があると判定する。ただし、第2検査部246は、カム部に異常がある画像と判定された画像が所定の複数の閾値数以上ある場合に、撮影された検査対象であるカム部に異常があると判定しても良い。第2検査部246は、検査対象であるカム部に異常があると判定した場合に、検査対象部品Wに異常があると判定する。
【0054】
第2検査部246は、以上の判定結果を情報処理装置20の表示パネル22に表示させることができる。なお、第2検査部246は、異常があると判定したカム部を、そのカム部を撮影したカム部検査用カメラ12及びその撮影方向を特定することにより判別し、判別した結果を表示パネル22に表示しても良い。
【0055】
また、第3検査部247は、ジャーナル部検査用カメラ14が撮影したジャーナル部の画像(第3撮像データ)を第3学習モデルM3に対して入力し、第3学習モデルM3から出力された結果に基づいて、ジャーナル部に異常があるか否かを判定する。例えば、第3検査部247は、撮影された全てのジャーナル部の画像の中から、ジャーナル部の同一箇所を撮影している複数の画像を、撮影されたタイミングの順番に繋ぎ合わせ、1枚の画像を生成する。そして、ジャーナル部表面を覆うように、異なる箇所毎に1枚の画像を生成し、その画像を第3学習モデルM3に入力する。
【0056】
ここで、第3学習モデルM3は、第1学習モデルM1及び第2学習モデルM2と異なるAIモデルである。第3学習モデルM3は、ジャーナル部の画像が教師データとして用いられて学習されたものであり、画像が入力されたときの出力結果として、ジャーナル部の異常の有無に関する計算値を出力結果とするモデルである。詳細には、第3学習モデルM3は、入力された画像に関してセグメンテーション処理を実行し、画像における第3の判定値を算出して出力する。この第3の判定値は、画像に映されたジャーナル部の正常度を表すものであり、大きい値であるほど、画像におけるカム部の表面がクリーンな状態であることを示し、小さい値であるほど、その表面にキズや鋳巣等欠陥に似ている模様が映っていることを示す。第3検査部247は、算出された第3の判定値とDB21に格納された閾値TH3とを比較し、第3の判定値が閾値TH3以下となる画像を、ジャーナル部に異常がある画像と判定する。一方、第3検査部247は、第3の判定値が閾値TH3よりも大きい画像を、ジャーナル部に異常がない画像と判定する。
【0057】
第3検査部247は、各カム部検査用カメラ12が撮影したジャーナル部表面の箇所毎に、上述の画像判定の処理を実行することができる。そして、第3検査部247においてジャーナル部に異常があると判定された画像がない場合には、第3検査部247は、撮影された検査対象であるジャーナル部に異常がないと判定する。一方、ジャーナル部に異常があると判定された画像が1枚でもある場合には、第3検査部247は、撮影された検査対象であるジャーナル部に異常があると判定する。ただし、第3検査部247は、ジャーナル部に異常がある画像と判定された画像が複数の閾値以上ある場合に、撮影された検査対象であるジャーナル部に異常があると判定しても良い。第3検査部247は、検査対象であるジャーナル部に異常があると判定した場合に、検査対象部品Wに異常があると判定する。
【0058】
第3検査部247は、以上の判定結果を情報処理装置20の表示パネル22に表示させることができる。なお、第3検査部247は、異常があると判定したジャーナル部を、そのジャーナル部を撮影したジャーナル部検査用カメラ14及びその撮影方向を特定することにより判別し、判別した結果を表示パネル22に表示しても良い。
【0059】
図4A、4Bは、異常検査システムS1がカム部の検査を実行する処理の一例を示したフローチャートであり、以下、図4A、4Bを参照して、この処理を説明する。なお、各処理の詳細については上述の通りであり、適宜説明を省略している。
【0060】
まず、ユーザが入力部23を操作することにより、情報処理装置20は、検査対象部品Wのカム部の検査を検査装置10に実行させる。この検査がなされることにより、画像取得部244は、カム部検査用カメラ12が撮影した全ての画像を読み込む(ステップS11)。
【0061】
第1検査部245は、読み込んだ画像の中から1枚の画像を第1学習モデルM1に対して入力する。そして、第1学習モデルM1が算出した第1の判定値が閾値TH1以下となるか否かを判定する(ステップS12)。
【0062】
第1の判定値が閾値TH1以下である場合に(ステップS12のYes)、第2検査部246は、第1の判定値が閾値TH1以下である画像の区画を切り取る(ステップS13)。そして、第2検査部246は、その切り取った区画の画像を第2学習モデルM2に対して入力する。第2検査部246は、全ての偽異常の模様の種類において、第2学習モデルM2が算出した第2の判定値が閾値TH2以下となるか否かを判定する(ステップS14)。
【0063】
全ての偽異常の模様の種類において、第2の判定値が閾値TH2以下となる場合(ステップS14のYes)、第2検査部246は、その画像の判定結果に基づいて、カム部に異常があると判定し、異常検査システムS1は検査処理を終了する(ステップS15)。
【0064】
一方、ステップS12において、第1の判定値が閾値TH1よりも大きい場合に(ステップS12のNo)、第1検査部245は、検査対象の画像が正常である(異常がない)と判定する(ステップS16)。また、ステップS14において、少なくともいずれか1種類の偽異常の模様において、第2の判定値が閾値TH2よりも大きい場合にも(ステップS14のNo)、第2検査部246は、検査対象の画像が正常であると判定する(ステップS16)。
【0065】
その後、第1検査部245は、ステップS11で読み込んだ全ての画像について、以上に示した判定が終了したか否かを判定する(ステップS17)。判定が終了していない画像がある場合には(ステップS17のNo)、第3検査部247は、ステップS12に戻り、未判定の画像について処理を実行する。一方、全ての画像について判定が終了した場合には(ステップS17のYes)、第1検査部245は、カム部が正常であると判定し、異常検査システムS1は検査処理を終了する(ステップS18)。
【0066】
なお、以上に示したフローでは、情報処理装置20が、1つの画像について第1検査部245及び第2検査部246による検査を実行し、それを各画像について順番に実行する内容を説明した。ただし、情報処理装置20は、複数の画像(例えば読み込んだ全ての画像)について、第1検査部245による検査をまとめて実行し、その中で第1の判定値が閾値TH1以下となる画像について、第2検査部246による検査を実行するようにしても良い。
【0067】
図4Cは、異常検査システムS1がジョイント部の検査を実行する処理の一例を示したフローチャートであり、以下、図4Cを参照して、この処理を説明する。なお、各処理の詳細については上述の通りであり、適宜説明を省略している。
【0068】
まず、ユーザが入力部23を操作することにより、情報処理装置20は、検査対象部品Wのジャーナル部の検査を検査装置10に実行させる。この検査がなされることにより、画像取得部244は、ジャーナル部検査用カメラ14が撮影した全ての画像を読み込む(ステップS21)。
【0069】
第3検査部247は、読み込まれた全てのジャーナル部の画像を用いて、ジャーナル部表面の箇所毎に1枚の画像を生成する。この詳細は上述の通りである。そして、第3検査部247は、その画像を第3学習モデルM3に入力し、第3学習モデルM3が算出した第3の判定値が閾値TH3以下となるか否かを判定する(ステップS22)。
【0070】
第3検査部247は、第3の判定値が閾値TH3以下である場合に(ステップS22のYes)、その画像の判定結果に基づいてジャーナル部に異常があると判定し、異常検査システムS1は検査を終了する(ステップS23)。
【0071】
一方、第3検査部247は、第3の判定値が閾値TH3よりも大きい場合に(ステップS22のNo)、第3検査部247は、検査対象の画像が正常であると判定する(ステップS24)。
【0072】
その後、第3検査部247は、ジャーナル部表面の異なる全ての箇所に関する画像について、以上に示した判定が終了したか否かを判定する(ステップS25)。判定が終了していない画像がある場合には(ステップS25のNo)、第3検査部247は、ステップS22に戻り、未判定の画像について処理を実行する。一方、全ての画像について判定が終了した場合には(ステップS25のYes)、第3検査部247はジャーナル部が正常であると判定し、異常検査システムS1は検査を終了する(ステップS26)。
【0073】
以上の説明で示したように、異常検査システムS1において、第1検査部245は、第1学習モデルM1にカム部の撮像データを入力することで、カム部に異常の疑いがあるか否かを検査する。そして、第2検査部246は、異常の疑いがあると判定されたカム部の撮像データを第2学習モデルM2に入力することで、カム部の異常の有無を検査する。
【0074】
カム部のように形状が真円でない特殊なものである部品を検査する場合には、上述のジャーナル部の検査のような手法は適用できないため、異常検査システムは、撮影された多数のカム部の画像を逐一検査する必要がある。出願人は、このような場合に、検査システムが1種類のAIモデルを用いてカム部の判定を実行すると、鋳巣やキズといった欠陥の見逃しを抑制するようにAIモデルを学習させることで、判定における過検出率が高くなってしまうという課題を新たに発見した。この理由は、AIモデルにおいて異常判定に用いられる閾値が、見逃しを抑制するように学習された結果、欠陥の模様と類似した形状や明暗度を有する液滴や砥石跡等の模様(偽異常の模様)についても、AIモデルは異常と判定してしまうことにある。
【0075】
一方、過検出率を抑制するようにAIモデルを学習させると、AIモデルは偽異常の模様をより正確に認識できるようになるものの、異常の見逃し率が高くなってしまうという新たな課題が生じることも、出願人は新たに発見した。これは、AIモデルが、カム部における欠陥の模様を偽異常の模様であると誤判定してしまう事態や、1枚の画像中に欠陥の模様と偽異常の模様が同時に映っている場合に、AIモデルがその画像を異常ではないと誤判定してしまう事態が生じ得るためである。
【0076】
本発明に係る異常検査システムS1は、2種類の異なる学習モデルを用いてカム部の異常を判定するため、判定対象となる画像に映り込む模様が多様であるような状況であっても、異常の検査の精度を高めることができる。したがって、異常検査システムS1は、カム部の異常を正確に検出することができる。また、ソフトウェア上の処理によって異常の検査の精度を高めることができるため、検査対象部品を撮影する撮像部を、エリアカメラ等の比較的安価なものとすることもできる。
【0077】
なお、第2学習モデルM2は、第1学習モデルM1に比べて精度の高いモデルとしても良い。この場合、第1学習モデルM1を用いることで、処理に長い時間を必要とする第2学習モデルM2に入力される画像数を抑制することができるため、全体の計算に必要な時間を削減することができる。
【0078】
また、第1学習モデルM1は、カム部の外観上の異常の有無を出力結果とするモデルであり、第1検査部245は、カム部に外観上の異常があることをその出力結果が示す場合に、カム部に異常の疑いがあると判定しても良い。そして、第2学習モデルM2は、カム部の外観上の異常の種別を出力結果とするモデルであり、第2検査部246は、その出力結果が示すカム部の外観上の異常の種別に応じて、カム部の異常の有無を判定しても良い。第2検査部246は、カム部に外観上の異常がない場合に判定処理を実行しないため、その検査は必要な場合に限り実行される。そのため、異常検査システムS1は、検査を効率よく実行することができる。
【0079】
また、第2学習モデルM2の出力結果が、カム部の外観上の異常を、液滴、バリ取り用のブラシの跡、チェック跡又は砥石目の少なくともいずれかの模様であることを示した場合に、第2検査部246は、カム部に異常がないことを判定しても良い。これにより、異常検査システムS1は、部品の実質的な品質に異常がない単なる外観上の異常を最終的な異常と判定しないため、過検出を抑制することができる。
【0080】
また、第2検査部246は、撮像データにおいて第1検査部245により異常の疑いがあると判定された区画を切り出し、切り出された区画の撮像データを第2学習モデルM2に入力しても良い。これにより、第2検査部において、不要な区画は判定の対象外となるため、第2検査部での検査で生じ得るノイズの数やその種類を削減し、検査の精度を高めることができる。
【0081】
また、対象検査部品Wの検査において、カム部ではないジャーナル部は第3検査部247によって複数回でなく1回の検査が実行されても良い。上述のように、カム部のような部品では、1種類のAIモデルを使ったセグメンテーションや分類の手法を用いた検査ではその判定の精度に限界があるものの、ジャーナル部の形状は真円であるから、そのような課題が生じない。そのため、検査回数を1回とすることで、検査対象部品全体の検査における必要な計算処理の総量を削減し、効率的な検査をすることができる。なお、第3学習モデルM3における検査のパラメータは、目標とする検査時間や直行率等の数値に合わせて設定することもできる。
【0082】
また、画像取得部244(第1及び第2取得部)は、カム部検査用照明11(第1の照明)によってカム部に光が照射された状態で撮影されたカム部の撮像データを取得し、ジャーナル部検査用照明13(第2の照明)によってジャーナル部に光が照射された状態で撮影されたジャーナル部の撮像データを取得しても良い。カム部、ジャーナル部は、それぞれの形状に合わせた照明で光が照射されるため、画像取得部244は検査に適した品質の撮像データを取得することができる。したがって、異常検査システムS1は、カム部の異常をより正確に検出することができる。
【0083】
また、画像取得部244は、回転モータ15によってカム部が軸支されて回転された状態で撮影されたカム部の撮像データを取得しても良い。これにより、異常検査システムS1は、カム部の異なる箇所の画像を効率的に取得することができるため、検査全体にかかる時間を短縮することができる。
【0084】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0085】
例えば、検査対象部品はカムシャフトでなく、真円でないカム部を備えたその他の種類の部品であっても良い。この場合であっても、異常検査システムS1は、その部品のカム部に対して実施の形態に記載の検査を実行することができる。
【0086】
実施の形態では、第1検査部245及び第2検査部246による2段階のカム部の検査がなされることを説明したが、カム部の検査として3段階以上の検査がなされても良い。例えば、第1検査部245による検査の前後のいずれかに、第2検査部246によるものではない検査がさらになされても良い。
【0087】
検査において、カム部はその表面全体が撮影されて検査されるのではなく、その一部の表面だけが撮影されて検査対象となっても良い。これはジャーナル部でも同様である。
【0088】
異常検査システムS1において、実施の形態に記載の通りに検査対象部品Wのカム部の異常の有無が判定された場合に、ユーザは、実際のカム部の異常の有無、又は画像に映ったカム部の模様の種類(例えば、欠陥を示す模様、又は偽異常を示す模様の種類)を、入力部23によって情報処理装置20に入力しても良い。これにより、第1検査部245及び第2検査部246は、そのようにしてフィードバックされたデータに基づいて、第1学習モデルM1及び第2学習モデルM2の少なくともいずれかを修正することができる。同様に、検査対象部品Wのジャーナル部の異常の有無が判定された場合に、ユーザは、実際のジャーナル部の異常の有無、又は画像に映ったジャーナル部の模様の種類を、入力部23によって情報処理装置20に入力しても良い。これにより、第3検査部247は、そのようにしてフィードバックされたデータに基づいて、第3学習モデルM3を修正することができる。
【0089】
以上に説明したように、上述の実施形態における異常検査システムが有する1又は複数のプロセッサは、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。この処理により、各実施の形態に記載された処理が実現できる。
【0090】
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disk(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。また、プログラムは、例えばアプリケーションとしての形態をとることもできる。
【0091】
以上、実施の形態を参照して本発明を説明したが、本発明は上記によって限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0092】
S1 異常検査システム
10 検査装置
11 カム部検査用照明 12 カム部検査用カメラ
13 ジャーナル部検査用照明 14 ジャーナル部検査用カメラ
15 回転モータ
20 情報処理装置
21 DB 22 表示パネル
23 入力部 24 制御部
241 メモリ 242 I/O部
243 情報処理部 244 画像取得部
245 第1検査部 246 第2検査部
247 第3検査部
M1 第1学習モデル M2 第2学習モデル
M3 第3学習モデル
図1
図2A
図2B
図2C
図3A
図3B
図3C
図4A
図4B
図4C