(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122167
(43)【公開日】2024-09-09
(54)【発明の名称】異物検知装置及び異物検知方法
(51)【国際特許分類】
G01N 25/18 20060101AFI20240902BHJP
【FI】
G01N25/18 C
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023029553
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100199314
【弁理士】
【氏名又は名称】竹内 寛
(74)【代理人】
【識別番号】100221556
【弁理士】
【氏名又は名称】金田 隆章
(72)【発明者】
【氏名】入江 庸介
【テーマコード(参考)】
2G040
【Fターム(参考)】
2G040AA08
2G040AB09
2G040BA08
2G040BA27
2G040CA02
2G040DA06
2G040DA12
2G040DA15
2G040EA06
2G040EC02
2G040HA02
2G040HA06
(57)【要約】
【課題】対象物上の異物を検知しやすくする異物検知装置及び異物検知方法を提供する。
【解決手段】異物検知装置は、画像を取得する入力部と、画像を解析するプロセッサと、プロセッサからの制御信号を出力する出力部とを備える。プロセッサは、出力部を介して、対象物の加熱を開始するように加熱装置を制御し、加熱の開始から所定時間後に加熱を停止するように加熱装置を制御する。プロセッサは、対象物の加熱の停止後の期間に対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するように撮影装置を制御する。プロセッサは、入力部を介して複数の温度画像データを取得し、複数の温度画像データに解析処理を施して撮影領域の温度変化に応じた解析画像を生成し、解析画像に基づいて異物を検知する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象物上の異物を検知する異物検知装置であって、
画像を取得する入力部と、
画像を解析するプロセッサと、
前記プロセッサからの制御信号を出力する出力部とを備え、
前記プロセッサは、
前記出力部を介して、前記対象物の加熱を開始するように加熱装置を制御し、
前記加熱の開始から所定時間後に前記加熱を停止するように前記加熱装置を制御し、
前記対象物の加熱の停止後の期間に前記対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するように撮影装置を制御し、
前記入力部を介して前記複数の温度画像データを取得し、
前記複数の温度画像データに解析処理を施して前記撮影領域の温度変化に応じた解析画像を生成し、
前記解析画像に基づいて前記異物を検知する、
異物検知装置。
【請求項2】
前記プロセッサは、前記異物の温度変化と前記対象物の温度変化との差に基づいて前記異物を検知する、請求項1に記載の異物検知装置。
【請求項3】
前記プロセッサは、前記複数の温度画像データのそれぞれと、前記撮影領域を撮影して生成された基準温度画像データとの差分に基づいて前記解析画像を生成する(S202)、請求項1に記載の異物検知装置。
【請求項4】
前記基準温度画像データは、前記対象物の加熱の開始前又は停止時に前記撮影領域を撮影して生成された情報である、請求項3に記載の異物検知装置。
【請求項5】
前記プロセッサは、前記複数の温度画像データに対して離散フーリエ変換を施して、前記解析画像を生成する、請求項1に記載の異物検知装置。
【請求項6】
前記解析画像は、離散フーリエ変換された前記複数の温度画像データの、所定周波数における位相画像である、請求項5に記載の異物検知装置。
【請求項7】
前記所定周波数は、前記異物の熱伝導率が所定値又は前記対象物の熱伝導率より高い場合、所定の閾値周波数より高く設定される、請求項6に記載の異物検知装置。
【請求項8】
前記異物の検知結果を示す情報を報知装置に報知させる、請求項1に記載の異物検知装置。
【請求項9】
前記異物の検知結果を記憶する記憶装置を更に備える、請求項1に記載の異物検知装置。
【請求項10】
対象物上の異物を検知する異物検知方法であって、
加熱装置により前記対象物の加熱を開始するステップと、
前記加熱装置による前記対象物の加熱を停止するステップと、
撮影装置により、前記対象物の加熱の停止後の期間に前記対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するステップと、
前記複数の温度画像データを取得するステップと、
前記複数の温度画像データに解析処理を施して前記撮影領域の温度変化に応じた解析画像を生成するステップと、
前記解析画像に基づいて前記異物を検知するステップと、を含む、
異物検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、異物検知装置及び異物検知方法に関する。
【背景技術】
【0002】
特許文献1は、液体の流動状態推定方法を開示する。この方法は、液体に熱を付与するステップと、熱が付与された液体の温度分布を取得するステップと、取得された温度分布に基づいて、液体の流動状態を推定するステップとを有する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
製品の品質を保つため、付着等により製品等の対象物の上に存在する異物を検知することが求められる。
【0005】
本開示は、対象物上の異物を検知しやすくする異物検知装置及び異物検知方法を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様は、対象物上の異物を検知する異物検知装置であって、
画像を取得する入力部と、
プロセッサと、
プロセッサからの制御信号を出力する出力部とを備え、
プロセッサは、
出力部を介して、対象物の加熱を開始するように加熱装置を制御し、
加熱の開始から所定時間後に加熱を停止するように加熱装置を制御し、
対象物の加熱の停止後の期間に対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するように撮影装置を制御し、
入力部を介して複数の温度画像データを取得し、
複数の温度画像データに解析処理を施して撮影領域の温度変化に応じた解析画像を生成し、
解析画像に基づいて異物を検知する。
【0007】
本開示の一態様は、対象物上の異物を検知する異物検知方法であって、
加熱装置により対象物の加熱を開始するステップと、
加熱装置による対象物の加熱を停止するステップと、
撮影装置により、対象物の加熱の停止後の期間に対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するステップと、
複数の温度画像データを取得するステップと、
複数の温度画像データに解析処理を施して撮影領域の温度変化に応じた解析画像を生成するステップと、
解析画像に基づいて異物を検知するステップと、を含む。
【発明の効果】
【0008】
本開示に係る異物検知装置及び異物検知方法によれば、対象物上の異物を検知しやすくすることができる。
【図面の簡単な説明】
【0009】
【
図1】実施の形態1に係る検査システムの構成例を示すブロック図
【
図3】オイルが付着したアルミニウム製のワークをフラッシュ加熱したときの、オイル及びアルミニウムの温度の経時変化を示すグラフ
【
図4】
図1の検査装置の動作を例示するフローチャート
【
図5】
図4に示した温度画像取得処理の詳細を例示するフローチャート
【
図6】加熱停止後に取得された温度画像データが示す温度画像を例示する模式図
【
図7】
図4に示した付着物検知処理の詳細を例示するフローチャート
【
図8】最低温度付近に撮影領域を撮影して生成された基準フレームを例示する模式図
【
図9】最高温度付近に撮影領域を撮影して生成された基準フレームを例示する模式図
【
図11】
図10の差分画像に対してフィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図12】実施の形態2に係る付着物検知処理を例示するフローチャート
【
図13】設定周波数が0.7Hzの位相画像に対して、フィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図14】設定周波数が0.07Hzの位相画像に対して、フィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図15】第1変形例に係るオイルが付着したSUS304製のワークをフラッシュ加熱したときの、オイル及びSUS304の温度の経時変化を示すグラフ
【
図16】最高温度付近にSUS304の撮影領域を撮影して生成された温度画像データを例示する模式図
【
図17】
図16の温度画像データと基準フレームとの差分を示す差分画像
【
図18】
図17の差分画像に対してフィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図19】SUS304に関する設定周波数が0.5Hzの位相画像に対して、フィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図20】オイルが付着したSPCC鋼製のワークをフラッシュ加熱したときの、オイル及びSPCC鋼の温度の経時変化を示すグラフ
【
図21】最高温度付近にSPCC鋼の撮影領域を撮影して生成された温度画像データ41を例示する模式図
【
図22】
図21の温度画像データと基準フレームとの差分を示す差分画像
【
図23】SPCC鋼に関する設定周波数が1.0Hzの位相画像に対して、フィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図24】SPCC鋼に関する設定周波数が0.5Hzの位相画像に対して、フィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図25】オイルが付着したゴムをフラッシュ加熱したときの、オイル及びSPCC鋼の温度の経時変化を示すグラフ
【
図26】最高温度付近にゴムの撮影領域を撮影して生成された温度画像データ45を例示する模式図
【
図27】
図26の温度画像データと基準フレームとの差分を示す差分画像
【
図28】
図27の差分画像に対してのフィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図29】ゴムに関する設定周波数が0.5Hzの位相画像に対して、フィルタ処理及び二値化処理を施すことにより得られた二値化画像を例示する模式図
【
図30】第2変形例に係るオイルが付着したアルミニウムをステップ加熱したときの、オイル及びアルミニウムの温度の経時変化を示すグラフ
【
図31】第2変形例に係るオイルが付着したゴムをステップ加熱したときの、オイル及びゴムの温度の経時変化を示すグラフ
【発明を実施するための形態】
【0010】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図しない。
【0011】
以下、実施の形態に係る検査システムを、図面を用いて説明する。
【0012】
[1.実施の形態1]
[1-1.構成]
[1-1-1.検査システムの構成]
図1は、本開示の実施の形態1に係る検査システム1の構成例を示すブロック図である。検査システム1は、異物検知装置の一例である検査装置10と、赤外線カメラ17と、励起源18と、コントロールボックス15と、電源16と、報知装置19とを備える。
【0013】
検査システム1は、検査対象である対象物91に励起エネルギーを与えて加熱しながら温度画像の撮影を行うアクティブサーモグラフィ法を用いて、対象物91上の異物、例えば対象物91に付着した付着物92を非破壊で検知することができる。例えば、検査システム1は、対象物91に励起源18により励起エネルギーを与え、赤外線カメラ17を用いて時系列で温度画像を撮影する。
【0014】
検査システム1は、加熱中の期間に加えて又はこれに代えて、加熱の停止後の期間に、対象物91を時系列で撮影する。これにより、検査システム1は、加熱の停止後における対象物91と付着物92との温度又は温度変化の差を用いて、対象物91に付着物92が付着しているか否かを検知することができる。
【0015】
赤外線カメラ17は、対象物91の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成する。赤外線カメラ17は、例えば、3μm~15μmの波長を有する赤外線を検知する赤外線センサを含む。赤外線カメラ17のフレームレートは、例えば50Hz(又は50fps)であるが、これに限定されない。
【0016】
励起源18は、対象物91及び付着物92を加熱可能な加熱装置の一例である。例えば、キセノンランプ、レーザ光源、超音波を発生する振動子、電磁誘導を生じさせるコイルであるが、これらに限定されず、エネルギーを放射可能なエネルギー源であればよい。励起源18は、対象物91に対して、フラッシュ発光によるフラッシュ加熱(パルス加熱)、又はステップ状に加熱するステップ加熱を行うことができる。励起源18が放射する光の波長帯域は、赤外線カメラ17が検出可能な赤外線の波長帯域と同様であってもよいし、異なってもよい。
図1では、2つの励起源18を例示しているが、励起源18の数はこれに限定されず、1つであってもよいし、3以上であってもよい。
【0017】
電源16は、赤外線カメラ17及び励起源18に電力を供給する。コントロールボックス15は、検査装置10からの制御信号に基づいて、電源16を制御する制御回路を含む。コントロールボックス15は、励起源18の発光方式、発光周期、発光時間等を制御してもよい。
【0018】
報知装置19は、外部に情報を報知する。例えば、報知装置19は、検査装置10により制御され、付着物92の検知結果を示す情報をユーザに報知する。報知装置19は、LED等の光源、ディスプレイ、表示器等の視覚的な報知装置を含んでもよい。報知装置19は、スピーカ等の聴覚的な報知装置を含んでもよい。
【0019】
[1-1-2.検査装置の構成]
図2は、
図1の検査装置10の構成例を示すブロック図である。検査装置10は、プロセッサ11と、記憶装置12と、インタフェース13とを備える。
【0020】
プロセッサ11は、CPU、MPU等で構成され、記憶装置12に格納された各種プログラムを実行することにより、検査装置10の全体を制御する。プロセッサ11は、コントロールボックス15を介するなどして励起源18を制御することにより、励起源18の加熱出力の開始及び停止を制御する。また、プロセッサ11は、赤外線カメラ17の撮影開始及び撮影停止等の撮影動作を制御する。また、プロセッサ11は、後述のように、記憶装置12に格納された温度画像データを解析し、対象物91上の付着物92を検知する。
【0021】
記憶装置12は、データ及び検査装置10の機能を実現するために必要なプログラムを含む種々の情報を記録する記録媒体である。記憶装置12は、例えば、フラッシュメモリ、ソリッド・ステート・ドライブ(SSD)等の半導体記憶装置、ハードディスクドライブ(HDD)等の磁気記憶装置、その他の記録媒体単独で又はそれらを組み合わせて実現される。記憶装置12は、プロセッサ11と同一の筐体内に設置される内蔵型の記憶装置に限定されず、例えば、外付け型、NAS(network-attached storage)型等の記憶装置であってもよい。記憶装置12は、SRAM、DRAM等の揮発性メモリを含んでもよい。
【0022】
インタフェース13は、検査装置10と、赤外線カメラ17、コントロールボックス15、報知装置19、励起源18等の外部機器と、を接続する。インタフェース13は、既存の有線通信規格又は無線通信規格に従ってデータ通信を行う通信回路であってもよい。
【0023】
インタフェース13は、赤外線カメラ17からの温度画像データ等の情報を検査装置10に入力するために、検査装置10と赤外線カメラ17とを接続する入力部の一例である。また、インタフェース13は、コントロールボックス15、報知装置19、励起源18等の外部機器に対して、プロセッサ11からの制御信号等の情報を出力するために、検査装置10と外部機器とを接続する出力部の一例である。このような入力部及び出力部は、
図2のように入出力兼用のインタフェース13として一体的に実現されてもよいし、複数個のインタフェース回路として実現されてもよい。
【0024】
[1-2.動作]
[1-2-1.全体動作]
以下、検査装置10の動作を説明する。本実施の形態に係る検査装置10のプロセッサ11は、対象物91及び付着物92の両方の加熱を開始し、開始から所定時間後に加熱を停止するように、コントロールボックス15を介して励起源18を制御する。赤外線カメラ17は、加熱開始時又は加熱前から対象物91の撮影を開始し、加熱停止後も所定期間が経過するまで撮影を継続する。
【0025】
対象物91と付着物92とでは、熱に関する熱物性値の差異により、加熱中の温度変化率(温まり方)及び加熱停止後の温度変化率(冷え方)等の測定値に差が生じる。熱物性値は、例えば、熱伝導率、熱拡散率、吸収率である。
【0026】
図3は、付着物92の一例であるオイルが付着した、対象物91の一例であるアルミニウム製のワークをフラッシュ加熱したときの、オイル及びアルミニウムの温度の経時変化を示すグラフである。加熱の開始時刻はt1であり、加熱時間はtHである。tHは、0.01~1秒、例えば0.1秒である。オイルとアルミニウムの熱伝導率に差があるため、
図3に示すように、加熱停止の後、特に直後において、オイルとアルミニウムの温度及び温度変化率に差が現れる。
【0027】
したがって、オイルが付着したアルミニウムの温度画像データを解析することにより、温度画像においてアルミニウムが写る部分とオイルが写る部分とを区別することが可能となる。このようにして、プロセッサ11は、赤外線カメラ17から取得した複数の温度画像データを解析することにより、対象物91に付着物92が付着しているか否かを検知することができる。
【0028】
図4は、検査装置10の動作を例示するフローチャートである。本フローに示す各処理は、例えば検査装置10のプロセッサ11によって実行される。
【0029】
図4において、プロセッサ11は、温度画像取得処理S1及び付着物検知処理S2を実行する。温度画像取得処理S1及び付着物検知処理S2の詳細については後述する。
【0030】
プロセッサ11は、対象物91に付着物92が付着していることを検知した場合(S3でYes)、報知装置19に報知動作を行わせる(S4)。これにより、ユーザは、対象物91に付着物92が付着していること知ることができる。報知動作は、例えばスピーカから警告音を発すること、LED等の光源を点灯又は点滅させることを含む。あるいは、プロセッサ11は、解析結果、検知結果等を示す情報を、報知装置19の一例であるディスプレイに表示させてもよい。
【0031】
次に、プロセッサ11は、解析結果、検知結果等を示す情報を記憶装置12に保存する(S5)。記憶装置12に保存された情報は、例えばトレーサビリティの実現に利用される。例えば、記憶装置12に保存された情報は、対象物91の状態が、流通の過程で、損傷、改竄、汚れ等により変更されたか否か、及び変更された場合には変更の程度を検出するために利用される。さらに、記憶装置12に保存された情報は、後述の学習済みモデルの再学習に利用されてもよい。
【0032】
なお、プロセッサ11は、付着物92を検知しなかった場合(S3でNo)であっても、ステップS5の前又は後に、解析結果、検知結果等を示す情報を、報知装置19の一例であるディスプレイに表示させてもよい。
【0033】
[1-2-2.温度画像取得処理]
図5は、
図4に示した温度画像取得処理S1の詳細を例示するフローチャートである。
【0034】
図5において、まず、プロセッサ11は、加熱時間tHと撮影時間trとを取得する(S101)。加熱時間tH及び撮影時間trは、例えばユーザによって入力され、記憶装置12に予め格納されている。
【0035】
次に、プロセッサ11は、赤外線カメラ17による対象物91の撮影を開始する(S102)。撮影の開始時刻を0(t=0)とする。赤外線カメラ17は、対象物91の少なくとも一部を含む撮影領域を撮影する。
【0036】
次に、プロセッサ11は、時刻t1(
図3参照)に、コントロールボックス15を介して励起源18を制御して、励起源18による対象物91の加熱を開始する(S103)。
【0037】
次に、プロセッサ11は、赤外線カメラ17から、対象物91の温度に応じた温度画像を示す温度画像データを取得する(S104)。取得された温度画像データは、記憶装置12に格納される。ステップS104では、プロセッサ11は、加熱の開始前に撮影された温度画像データと、加熱の開始中に撮影された温度画像データとを取得する。
【0038】
次に、プロセッサ11は、時間tが加熱開始時刻t1と加熱時間tHとの和を超えているか否かを判断し(S105)、t>t1+tHとなるまで、温度画像データの取得(S104)を継続する。ステップS104,S105の処理は、例えば予め設定された温度画像のフレーム取得間隔などの所定の時間間隔で繰り返される。
【0039】
ステップS105においてt>t1+tHである場合、プロセッサ11は、励起源18による対象物91の加熱を停止する(S106)。以上のステップS103~106に示したように、プロセッサ11は、対象物91の加熱の開始から所定時間(tH)後に加熱を停止するように励起源18を制御する。
【0040】
加熱停止後も、撮影開始から撮影時間trが経過するまでは、撮影及び温度画像データの取得は継続される。即ち、ステップS106の加熱停止の次に、プロセッサ11は、赤外線カメラ17から温度画像データを取得する(S107)。
【0041】
図6は、加熱停止後におけるステップS107で取得された温度画像データが示す温度画像30を例示する模式図である。
図6の温度画像30は、付着物92の一例であるオイルが付着した、対象物91の一例であるアルミニウム製のワークを撮影することによって得られた温度画像である。
【0042】
温度画像30において明るく見える(明度が高い)領域30aは、対象物91の表面で反射した赤外線カメラ17が映る領域である。即ち、赤外線カメラ17の画角(撮影領域)に、撮影動作により高温となった赤外線カメラ17自身の撮像素子等の部品が映り込んでいる。励起源18の配置によっては、発光直後でまだ冷めていない励起源18が、対象物91の表面で反射して温度画像30に映り込むこともあり得る。
【0043】
図6の温度画像30において暗く見える(明度が低い)領域30b,30cは、温度画像30を解析するだけでは区別できないことがある。したがって、温度画像30が得られるステップS107の時点においては、付着物92は未検知である。
【0044】
図5に戻り、ステップS107の次に、プロセッサ11は、時間tが撮影時間trを超えたか否かを判断し(S108)、時間tが撮影時間trを超えるまで、温度画像データの取得(S107)を継続する。ステップS107,S108の処理は、例えば予め設定された温度画像のフレーム取得間隔などの所定の時間間隔で繰り返される。
【0045】
プロセッサ11は、ステップS108において時間tが撮影時間trを超えたと判断した場合、赤外線カメラ17を制御して、対象物91の撮影を終了する(S109)。
【0046】
[1-2-3.付着物検知処理]
図7は、
図4に示した付着物検知処理S2の詳細を例示するフローチャートである。
【0047】
図7において、まず、プロセッサ11は、温度画像取得処理S1において取得された温度画像データのうちの1つを、基準フレーム(基準温度画像データ)として決定する(S201)。基準フレームは、例えば、加熱の開始(S103)前に撮影領域を撮影して生成された温度画像データである。あるいは、基準フレームは、加熱の停止(S106)の後充分に時間が経過した後に撮影領域を撮影して生成された温度画像データであってもよい。これらの場合、基準フレームは、撮影領域(対象物91、又は、対象物91及び付着物92)の温度が最も低い時点又はその付近に撮影領域を撮影して生成された温度画像データである。
図8は、このような最低温度付近に撮影領域を撮影して生成された基準フレーム31を例示する模式図である。
図8の撮影対象は、
図6と同様、オイルが付着したアルミニウム製のワークである。
【0048】
他の例では、基準フレームは、ステップS106の加熱の停止時又はその直前に撮影領域を撮影して生成された温度画像データである。この場合、基準フレームは、撮影領域の温度が最も高い時点又はその付近に撮影領域を撮影して生成された温度画像データである。
図9は、このような最高温度付近に撮影領域を撮影して生成された基準フレーム32を例示する模式図である。
【0049】
図7に戻り、ステップS201の次に、プロセッサ11は、温度画像取得処理S1で取得された複数の温度画像データのそれぞれと、ステップS201で決定された基準フレームとの差分を算出して、複数の差分画像を生成する(S202)。
図10は、差分画像33を例示する模式図である。
【0050】
撮影領域において対象物91の表面上に、対象物91と熱物性値が異なる付着物92がある場合、加熱中及び加熱停止後の温度変化率等の測定値に差が生じる(
図3参照)。加熱中又は加熱停止後に取得された温度画像データと基準フレームとの差分画像33を用いることにより、対象物91及び付着物92について、加熱中又は加熱停止後と、基準フレームの撮影時との温度変化がわかる。したがって、後述のステップS206で、付着物92の温度変化と対象物91の温度変化との差に基づいて、対象物91に付着物92が付着しているか否かを精度良く検知することができる。
【0051】
また、
図10の差分画像33は、加熱停止S106の直後に撮影された温度画像データから、加熱の開始前に撮影された基準フレーム31を差し引いて生成された画像データが示す画像である。
【0052】
差分画像が加熱停止S106の直後に撮影された温度画像データから基準フレーム31を差し引いた画像であると、温度変化が急激な加熱中に撮影された温度画像データを用いる場合に比べて、ノイズが少ない。したがって、後述のステップS206で、対象物91に付着物92が付着しているか否かを精度良く検知することができる。
【0053】
図7に戻り、プロセッサ11は、ステップS202で生成された複数の差分画像から、コントラストが最大である最大コントラスト画像を抽出する(S203)。あるいは、プロセッサ11は、コントラストが所定の閾値以上である画像群を抽出し、この画像群のうちの1つを最大コントラスト画像に決定してもよい。例えば、プロセッサ11は、
図10の差分画像33を最大コントラスト画像に決定する。
【0054】
次に、プロセッサ11は、ステップS203で抽出された最大コントラスト画像に対して、フィルタ処理を施す(S204)。フィルタ処理は、例えば、局部イコライズ(平滑化)フィルタ処理、ハイパスフィルタ処理、ローパスフィルタ処理である。フィルタ処理は、トーンカーブを調整する処理を含んでもよい。プロセッサ11は、フィルタ処理により、エッジ強調、濃淡調整、コントラスト調整等の処理を行う。
【0055】
次に、プロセッサ11は、ステップS204のフィルタ処理後の画像に対して、二値化処理を施す(S205)。
図11は、
図10の差分画像33に対してフィルタ処理S204及び二値化処理S205を施すことにより得られた二値化画像34を例示する模式図である。例えば、二値化画像34で白く見える領域34aは画素値「1」を有し、黒く見える領域34bは画素値「0」を有する。逆に、領域34aが画素値「0」を有し、領域34bが画素値「1」を有してもよい。
【0056】
図7に戻り、プロセッサ11は、二値化画像34を用いて、対象物91に付着物92が付着しているか否かを検知する(S206)。
【0057】
例えば、画素値「1」を有する画素が付着物92に対応する場合、プロセッサ11は、撮影領域に画素値「1」を有する画素があると、対象物91に付着物92が付着していると検知する。あるいは、プロセッサ11は、撮影領域に、画素値「1」を有する画素と画素値「0」を有する画素とが併存するときに、対象物91に付着物92が付着していると検知してもよい。
【0058】
あるいは、プロセッサ11は、画素値「1」を有する複数の画素で構成される領域(例えば、
図11の領域34a)の面積が所定値以上であるときに、対象物91に付着物92が付着していると検知してもよい。
【0059】
画素値「0」を有する画素が付着物92に対応する場合についても同様である。即ち、プロセッサ11は、撮影領域に画素値「0」を有する画素がある場合、画素値「0」を有する複数の画素で構成される領域の面積が所定値以上である場合等に、対象物91に付着物92が付着していると検知してもよい。
【0060】
あるいは、プロセッサ11は、記憶装置12に格納された学習済みモデルに二値化画像34を入力し、学習済みモデルに付着物92の検知結果を出力させてもよい。このような学習済みモデルは、例えば、二値化画像と、付着物92の有無についての正解情報との関係をモデルに学習させる教師あり学習方法によって生成される。このようなモデルの一例は、ニューラルネットワーク、例えば畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)の構造を有する学習用モデルである。学習用モデルの学習は、例えば誤差逆伝播法を利用して、プロセッサ11又は他の演算回路によって行われる。
【0061】
ステップS206に代えて、ユーザ等の人が、二値化画像34に基づいて、対象物91に付着物92が付着しているか否かを判断してもよい。
【0062】
[1-3.効果等]
以上のように、本実施の形態では、異物検知装置の一例である検査装置10は、対象物91上の異物の一例である付着物92を検知する。検査装置10は、入力部及び出力部の一例であるインタフェース13と、プロセッサ11とを備える。インタフェース13は、画像を取得する。インタフェース13は、プロセッサ11からの制御信号を出力する。プロセッサ11は、対象物91の加熱を開始するように、加熱装置の一例である励起源18を制御し(S103)、加熱の開始から所定時間後に加熱を停止するように励起源18を制御する(S106)。プロセッサ11は、対象物91の加熱の停止後の期間に対象物91の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するように、撮影装置の一例である赤外線カメラ17を制御し、インタフェース13を介して複数の温度画像データを取得する(S102,S104,S107)。プロセッサ11は、複数の温度画像データに解析処理を施して撮影領域の温度変化に応じた解析画像を生成し(S201~S205)、生成された解析画像に基づいて付着物92を検知する(S206)。
【0063】
上記構成により、検査装置10は、対象物91上の付着物92を検知しやすくすることができる。
【0064】
さらに、検査装置10は、加熱中と比較して、ノイズが少ない加熱の停止後の期間に撮影された温度画像データを用いることにより、対象物91上の付着物92を精度良く検知しやすくすることができる。
【0065】
プロセッサ11は、付着物92の温度変化と対象物91の温度変化との差に基づいて付着物92を検知してもよい。具体的には、例えば、プロセッサ11は、複数の温度画像データのそれぞれと、撮影領域を撮影して生成された基準温度画像データとの差分に基づいて解析画像を生成してもよい(S202)。基準温度画像データは、例えば、対象物91の加熱の開始前又は停止時に撮影領域を撮影して生成された情報であってもよい。
【0066】
[2.実施の形態2]
実施の形態2では、プロセッサ11は、
図4の差分法による付着物検知処理S2に代えて、
図12の離散フーリエ変換による付着物検知処理S2aを実行する。
【0067】
図12では、まず、プロセッサ11は、解析時間と設定周波数とを取得する(S211)。解析時間及び設定周波数は、例えばユーザによって入力され、記憶装置12に予め格納されている。解析時間は、例えば、解析開始時刻、解析終了時刻を含む。あるいは、プロセッサ11は、解析時間に代えて、撮影開始後の何フレーム目(例えば11フレーム目~100フレーム目、又は9フレーム目以降の全フレームなど)を解析に用いるかについての設定を取得してもよい。
【0068】
次に、プロセッサ11は、ステップS211で取得した解析時間に基づいて、解析開始フレーム(始点フレーム)を決定する(S212)。始点フレームは、例えば、ステップS106の加熱の停止時、停止直後又は停止直前に撮影領域を撮影して生成された温度画像データである。この場合、始点フレームは、撮影領域の温度が最も高い時点又はその付近に撮影領域を撮影して生成された温度画像データである。
【0069】
次に、プロセッサ11は、始点フレームの撮影時以降の解析時間内に撮影された温度画像データに対して、離散フーリエ変換を施し(S213)、設定周波数における位相特性を示す位相画像を抽出する(S214)。
【0070】
付着物92の熱伝導率が高い場合、又は付着物92の熱伝導率が対象物91の熱伝導率に比べて高い場合、設定周波数を高くすると、本実施の形態に係る付着物検知方法により付着物92を検知しやすい。したがって、例えば、設定周波数は、付着物92の熱伝導率が所定値より高い場合、又は付着物92の熱伝導率が対象物91の熱伝導率に比べて高い場合、所定の閾値周波数より高く設定される。特に、付着物92と対象物91との熱伝導率の差が大きいほど、設定周波数が高く設定される。
【0071】
これに代えて、又はこれに加えて、付着物92が薄い場合、設定周波数を高くすると、本実施の形態に係る付着物検知方法により付着物92を検知しやすい。したがって、例えば、設定周波数は、付着物92の厚みが所定値より小さい場合、所定の閾値周波数より高く設定される。設定周波数は、付着物92が対象物91より薄く、かつ、付着物92の厚みと対象物91の厚みとの差が所定値以上である場合、所定の閾値周波数より高く設定されてもよい。特に、付着物92の厚みと対象物91の厚みとの差が大きいほど、設定周波数が高く設定される。
【0072】
付着物92が粘度の高い液体である場合、対象物91に付着したときに厚くなりやすい。逆に、付着物92の粘度が低い場合は、対象物91に付着したときに付着物92が薄くなりやすい。したがって、例えば、設定周波数は、対象物91へ付着することが想定される付着物92の粘度が所定値より低い場合、所定の閾値周波数より高く設定されてもよい。
【0073】
ステップS214の次に、プロセッサ11は、ステップS214で抽出された位相画像に対して、フィルタ処理を施す(S215)。フィルタ処理は、例えば、局部イコライズ(平滑化)フィルタ処理、ハイパスフィルタ処理、ローパスフィルタ処理である。フィルタ処理は、トーンカーブを調整する処理を含んでもよい。また、フィルタ処理は、背景除去処理を含んでもよい。プロセッサ11は、フィルタ処理により、エッジ強調、濃淡調整、コントラスト調整等の処理を行う。
【0074】
次に、プロセッサ11は、ステップS215のフィルタ処理後の画像に対して二値化処理を施す(S216)。
図13は、設定周波数が0.7Hzである場合においてステップS214で得られた位相画像に対して、フィルタ処理S215及び二値化処理S216を施すことにより得られた二値化画像35を例示する模式図である。実施の形態1と同様に、付着物92はオイルであり、対象物91はアルミニウム製のワークである。例えば、
図13の二値化画像34で白く見える領域は画素値「1」を有し、黒く見える領域は画素値「0」を有する。
【0075】
前述のような設定周波数と付着物92の熱伝導率又は厚みとの関係があるため、設定周波数が異なると、位相画像及び二値化画像の状態も異なり得る。
図14は、設定周波数が0.07Hzである場合においてステップS214で得られた位相画像に対して、フィルタ処理S215及び二値化処理S216を施すことにより得られた二値化画像36を例示する模式図である。
【0076】
図12に戻り、プロセッサ11は、二値化画像を用いて、対象物91に付着物92が付着しているか否かを検知する(S217)。例えば、プロセッサ11は、画素値「1」を有する複数の画素で構成される領域(例えば、
図13の領域35a又は
図14の領域36a)の面積が所定値以上であるときに、付着物92を検知する。例えば、プロセッサ11は、領域35a又は領域36aが付着物92であり、その周りの領域35b又は領域36bが対象物91であると判定する。
【0077】
ステップS216,S217は、それぞれ
図7のステップS205,S206と同様の処理であってもよい。
【0078】
[3.他の実施の形態]
以上、本開示の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。以下の変形例は適宜組み合わせることができる。
【0079】
[3-1.第1変形例]
[3-1-1.SUS304]
実施の形態1及び2では、対象物91がアルミニウム製のワークである例について説明したが、対象物91は、オーステナイト系ステンレス鋼(例えばSUS304)であってもよい。
図15は、オイルが付着したSUS304製のワークをフラッシュ加熱したときの、オイル及びSUS304の温度の経時変化を示すグラフである。
【0080】
図3のオイル及びアルミニウムの温度の経時変化と比較すると、
図15では、加熱停止時(t=0.12秒付近)又はその直後の期間(t=0.12~0.14秒)よりも、加熱停止時からある程度時間が経過した後(t>0.14)の方が、オイルとSUS304との間の温度及び温度変化率の差が顕著である。
【0081】
そこで、対象物91及び付着物92の熱物性値、加熱中及び加熱後の温度の経時変化等に応じて、どの時点で撮影された基準フレーム及び/又は温度画像データを用いるかを変更し得る。また、離散フーリエ変換に関しての解析時間及び設定周波数の設定値を変更してもよい。
【0082】
以下、
図16~19を用いて、対象物91がSUS304製のワークである場合にも、実施の形態1に対応する差分法及び実施の形態2に対応する離散フーリエ変換を用いることにより付着物92を検知可能であることを説明する。
【0083】
図16は、最高温度付近にSUS304の撮影領域を撮影して生成された温度画像データ37を例示する模式図である。
図17は、温度画像データ37と基準フレームとの差分を示す差分画像38(
図7のS202参照)である。
図18は、
図17の差分画像33に対して
図7のフィルタ処理S204及び二値化処理S205を施すことにより得られた二値化画像39を例示する模式図である。プロセッサ11は、二値化画像39を用いて、
図18の領域39aに付着物92が存在することを検知できる(S206)。
【0084】
図19は、設定周波数が0.5Hzである場合において
図12のステップS214で得られた位相画像に対して、フィルタ処理S215及び二値化処理S216を施すことにより得られた二値化画像40を例示する模式図である。プロセッサ11は、二値化画像40を用いて、領域40aに付着物92が存在することを検知できる。
【0085】
[3-1-2.SPCC鋼]
対象物91は、冷間圧延鋼(SPCC鋼)であってもよい。
図20は、オイルが付着したSPCC鋼製のワークをフラッシュ加熱したときの、オイル及びSPCC鋼の温度の経時変化を示すグラフである。
【0086】
図21は、最高温度付近にSPCC鋼の撮影領域を撮影して生成された温度画像データ41を例示する模式図である。
図22は、温度画像データ41と基準フレームとの差分を示す差分画像42である。プロセッサ11は、差分画像42を二値化した二値化画像を用いて、
図22の領域42aに付着物92が存在することを検知できる。
【0087】
図23は、設定周波数が1.0Hzである場合において
図12のステップS214で得られた位相画像に対して、フィルタ処理S215及び二値化処理S216を施すことにより得られた二値化画像43を例示する模式図である。プロセッサ11は、二値化画像43を用いて、領域43aに付着物92が存在することを検知できる。
【0088】
図24は、設定周波数が0.5Hzである場合において
図12のステップS214で得られた位相画像に対して、フィルタ処理S215及び二値化処理S216を施すことにより得られた二値化画像44を例示する模式図である。プロセッサ11は、二値化画像44を用いて、領域44aに付着物92が存在することを検知できる。
【0089】
[3-1-3.ゴム]
対象物91は、ゴムであってもよい。
図25は、オイルが付着したゴムをフラッシュ加熱したときの、オイル及びSPCC鋼の温度の経時変化を示すグラフである。
【0090】
図3のオイル及びアルミニウムの温度の経時変化と比較すると、
図25では、加熱停止後だけでなく、加熱中もオイルとゴムとの間で、温度及び温度変化率に差がある。このような場合は、プロセッサ11は、加熱の停止後の期間に代えて、又はこれに加えて、加熱中の期間に対象物91を時系列で撮影して複数の温度画像データを生成するように、赤外線カメラ17を制御してもよい。
【0091】
図26は、最高温度付近にゴムの撮影領域を撮影して生成された温度画像データ45を例示する模式図である。
図27は、温度画像データ45と基準フレームとの差分を示す差分画像46である。
図28は、
図27の差分画像46に対して
図7のフィルタ処理S204及び二値化処理S205を施すことにより得られた二値化画像47を例示する模式図である。プロセッサ11は、二値化画像47を用いて、
図28の領域47a及び47bに付着物92が存在することを検知できる。
【0092】
図29は、設定周波数が0.5Hzである場合において
図12のステップS214で得られた位相画像に対して、フィルタ処理S215及び二値化処理S216を施すことにより得られた二値化画像48を例示する模式図である。プロセッサ11は、二値化画像48を用いて、領域48a及び48bに付着物92が存在することを検知できる。
【0093】
[3-2.第2変形例]
実施の形態1及び2では、対象物91をフラッシュ加熱する例について説明したが、加熱方法はこれに限定されない。例えば、加熱方法として、ステップ加熱法が採用されてもよい。ステップ加熱法は、対象物91に対して、フラッシュ加熱法の加熱時間に比べて長い時間、一定の熱量を与える加熱法である。
【0094】
図30は、オイルが付着したアルミニウムをステップ加熱したときの、オイル及びアルミニウムの温度の経時変化を示すグラフである。
図31は、オイルが付着したゴムをステップ加熱したときの、オイル及びゴムの温度の経時変化を示すグラフである。
図30及び
図31のグラフは、t=0から約5秒間ステップ加熱を行うことにより得られたデータを示している。
【0095】
ステップ加熱法では、励起源18だけでなく、比較的安価な赤外線ランプ、電気抵抗等を熱源として用いることができる。
【0096】
[3-3.第3変形例]
実施の形態2では、温度画像データに離散フーリエ変換を施して位相画像を抽出する例について説明したが、離散フーリエ変換により抽出されるのは位相画像に限定されない。例えば、プロセッサ11は、離散フーリエ変換後のデータの振幅特性を示す振幅画像、複素数である離散フーリエ変換後のデータの実部を示す実部画像、又は虚部を示す虚部画像であってもよい。
【0097】
[3-4.第4変形例]
実施の形態1及び2では、付着物92がオイルである例について説明したが、付着物92はこれに限定されない。例えば付着物92は、水、ガソリン、バッテリー液、グリース、インク、塗料であってもよい。
【0098】
[3-5.第5変形例]
実施の形態1では、付着物92の熱伝導率、厚み、又は粘度を所定値又は対象物91の熱伝導率、厚み、又は粘度と比較し、比較結果に基づいて設定周波数を決定する例について説明したが、設定周波数の決定方法はこれらに限定されない。
【0099】
例えば、所定の組成(オイル、水等)及び所定の厚みを有する基準の付着物における所定の閾値周波数が予め設定され、設定周波数は、この基準の付着物と付着物92との比較結果に基づいて決定されてもよい。例えば、付着物92の熱伝導率が、基準の付着物の熱伝導率より高い場合、設定周波数は、所定の閾値周波数より高く設定される。例えば、付着物92が基準の付着物より薄い場合、設定周波数は、所定の閾値周波数より高く設定される。例えば、付着物92の粘度が、基準の付着物の粘度より低い場合、設定周波数は、所定の閾値周波数より高く設定される。
【0100】
[4.態様]
以下、本開示の態様を例示する。
【0101】
<態様1>
対象物上の異物を検知する異物検知装置であって、
画像を取得する入力部と、
画像を解析するプロセッサと、
前記プロセッサからの制御信号を出力する出力部とを備え、
前記プロセッサは、
前記出力部を介して、前記対象物の加熱を開始するように加熱装置を制御し、
前記加熱の開始から所定時間後に前記加熱を停止するように前記加熱装置を制御し、
前記対象物の加熱の停止後の期間に前記対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するように撮影装置を制御し、
前記入力部を介して前記複数の温度画像データを取得し、
前記複数の温度画像データに解析処理を施して前記撮影領域の温度変化に応じた解析画像を生成し、
前記解析画像に基づいて前記異物を検知する、
異物検知装置。
【0102】
<態様2>
前記プロセッサは、前記異物の温度変化と前記対象物の温度変化との差に基づいて前記異物を検知する、態様1に記載の異物検知装置。
【0103】
<態様3>
前記プロセッサは、前記複数の温度画像データのそれぞれと、前記撮影領域を撮影して生成された基準温度画像データとの差分に基づいて前記解析画像を生成する、態様1又は2に記載の異物検知装置。
【0104】
<態様4>
前記基準温度画像データは、前記対象物の加熱の開始前又は停止時に前記撮影領域を撮影して生成された情報である、態様3に記載の異物検知装置。
【0105】
<態様5>
前記プロセッサは、前記複数の温度画像データに対して離散フーリエ変換を施して、前記解析画像を生成する、態様1又は2に記載の異物検知装置。
【0106】
<態様6>
前記解析画像は、離散フーリエ変換された前記複数の温度画像データの、所定周波数における位相画像である、態様5に記載の異物検知装置。
【0107】
<態様7>
前記所定周波数は、前記異物の熱伝導率が所定値又は前記対象物の熱伝導率より高い場合、所定の閾値周波数より高く設定される、態様6に記載の異物検知装置。
【0108】
<態様8>
前記異物の検知結果を示す情報を報知装置に報知させる、態様1~7のいずれかに記載の異物検知装置。
【0109】
<態様9>
前記異物の検知結果を記憶する記憶装置を更に備える、態様1~8のいずれかに記載の異物検知装置。
【0110】
<態様10>
対象物上の異物を検知する異物検知方法であって、
加熱装置により前記対象物の加熱を開始するステップと、
前記加熱装置による前記対象物の加熱を停止するステップと、
撮影装置により、前記対象物の加熱の停止後の期間に前記対象物の少なくとも一部を含む撮影領域を時系列で撮影して複数の温度画像データを生成するステップと、
前記複数の温度画像データを取得するステップと、
前記複数の温度画像データに解析処理を施して前記撮影領域の温度変化に応じた解析画像を生成するステップと、
前記解析画像に基づいて前記異物を検知するステップと、を含む、
異物検知方法。
【産業上の利用可能性】
【0111】
本開示は、異物検知装置、異物検知方法、及び非破壊検査装置に適用可能である。
【符号の説明】
【0112】
1 検査システム
10 検査装置
11 プロセッサ
12 記憶装置
13 インタフェース
15 コントロールボックス
16 電源
17 赤外線カメラ
18 励起源
19 報知装置
91 対象物
92 付着物