特許 7471025 性能検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】性能検査システム

(51)【国際特許分類】

   G01M 99/00 20110101AFI20240412BHJP

   G01N 29/12 20060101ALI20240412BHJP

   G01N 29/46 20060101ALI20240412BHJP

   G01N 29/32 20060101ALI20240412BHJP

   G01H 3/00 20060101ALI20240412BHJP

【ＦＩ】

G01M99/00 Z

G01N29/12

G01N29/46

G01N29/32

G01H3/00 A

【請求項の数】 4

(21)【出願番号】P 2023092244

(22)【出願日】2023-06-05

【審査請求日】2023-06-14

(73)【特許権者】

【識別番号】509337517

【氏名又は名称】株式会社コジマプラスチックス

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】村田 直輝

(72)【発明者】

【氏名】仲田 義敏

【審査官】目黒 大地

(56)【参考文献】

【文献】特開２０１６－２２３７８８（ＪＰ，Ａ）

【文献】特開２０２２－０８６６４３（ＪＰ，Ａ）

【文献】特開２０２３－０７３７６１（ＪＰ，Ａ）

【文献】特開平１１－０２３４１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｍ １３／０００－１３／０４５

９９／００

Ｇ０１Ｈ １／００－１７／００

(57)【特許請求の範囲】

【請求項1】

製品の性能検査として前記製品に対して試運転を行う性能検査装置と、
前記性能検査装置から発せられる音を取得するマイクロホンと、
前記マイクロホンから取得した音響データをスペクトログラム画像に変換する画像変換部と、
経時的に生成される前記スペクトログラム画像から、所定の起点時刻から所定の終点時刻までの画像を抽出する抽出部と、
前記抽出部による抽出画像をもとに、前記製品の異常に対する確度を出力する確度算出部と、
前記確度に基づいて、前記製品の異常有無を判定する判定部と、
を備え、
前記確度算出部は、前記抽出画像の画像データが入力される入力層と、異常に対する前記確度を出力する出力層を備える、画像認識用のニューラルネットワークを備え、
前記判定部は、前記確度が所定の閾値を超過する場合に、前記製品に異常有りと判定する、
性能検査システム。

【請求項2】

請求項１に記載の性能検査システムであって、
前記性能検査装置は、前記製品を押さえる可動式のアームを備え、
前記抽出部は、前記アームが前記製品を押さえるときの動作音の発生時刻を、前記抽出画像の前記起点時刻に特定する、性能検査システム。

【請求項3】

請求項２に記載の性能検査システムであって、
前記製品はアクチュエータであって、
前記性能検査装置は、前記アクチュエータによって搬送させられるワークと、前記ワークの移動を止めるストッパを備え、
前記抽出部は、前記ワークが前記ストッパに当たったときの衝突音の発生時刻を、前記抽出画像の前記終点時刻に特定する、性能検査システム。

【請求項4】

製品の性能検査として前記製品に対して試運転を行う性能検査装置と、
前記性能検査装置から発せられる音を取得するマイクロホンと、
前記マイクロホンから取得した音響データをスペクトログラム画像に変換する画像変換部と、
経時的に生成される前記スペクトログラム画像から、所定の起点時刻から所定の終点時刻までの画像を抽出する抽出部と、
前記抽出部による抽出画像をもとに、前記製品の異常に対する確度を出力する確度算出部と、
前記確度に基づいて、前記製品の異常有無を判定する判定部と、
を備え、
前記確度算出部は、前記抽出画像を入力データとし、異常に対する前記確度を出力する、画像認識用のニューラルネットワークを備え、
前記判定部は、前記確度が所定の閾値を超過する場合に、前記製品に異常有りと判定し、
さらに、前記性能検査装置は、前記製品を押さえる可動式のアームを備え、
前記抽出部は、前記アームが前記製品を押さえるときの動作音の発生時刻を、前記抽出画像の前記起点時刻に特定する、
性能検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、製品の性能検査時の音響データに基づいて当該製品の性能判定を行う、性能検査システムが開示される。

【0002】

例えば特許文献１－３では、製品の動作時等の音響データをもとに、装置の異常や作業内容の異常の有無が判定される。これらの文献では、音響データがスペクトログラム画像に変換される。そしてスペクトログラム画像に基づいて、異常の有無が判定される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－２２３１１号公報

【文献】特開２０２２－１１２１４３号公報

【文献】国際公開第２０２０／００９２１０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、製品の動作音をもとにして、異常の有無が判定される場合に、当該判定が周囲の環境音の影響を受ける場合がある。例えば製品に対して性能検査のための試運転が行われているときに、製品の脇を搬送ロボットが通過する。搬送ロボットは走行時に注意喚起のため、スピーカーからメロディを出力する場合がある。このような場合に、音響データにメロディ音が含まれてしまう。その結果、正常な製品が異常有りと判定されるなど、誤った判定が出力されるおそれがある。

【0005】

そこで、本明細書では、周囲の環境音による影響を抑制可能な、性能検査システムが開示される。

【課題を解決するための手段】

【0006】

本明細書では、性能検査システムが開示される。このシステムは、性能検査装置、マイクロホン、画像変換部、抽出部、確度算出部、及び判定部を備える。性能検査装置は、製品の性能検査を行う。マイクロホンは、性能検査装置から発せられる音を取得する。画像変換部は、マイクロホンから取得した音響データをスペクトログラム画像に変換する。抽出部は、経時的に生成されるスペクトログラム画像から、所定の起点時刻から所定の終点時刻までの画像を抽出する。確度算出部は、抽出部による抽出画像をもとに、製品の異常に対する確度を出力する。判定部は、確度に基づいて、製品の異常有無を判定する。確度算出部は、画像認識用のニューラルネットワークを備える。このニューラルネットワークは、抽出画像を入力データとし、異常に対する確度を出力する。判定部は、当該確度が所定の閾値を超過する場合に、製品に異常有りと判定する。

【0007】

上記構成によれば、異常に対する確度が出力される。つまり、異常時の音響データとの類似性に基づいて異常の有無が判定される。このような判定手法によれば、正常な製品の性能検査中に環境音が紛れ込んでも、当該音響データは、異常時の音響データとは非類似となる。したがって異常との誤判定が抑制される。

【0008】

また上記構成において、性能検査装置は、製品に対して試運転を行ってよい。この場合、異常のある製品の試運転時の動作音は、正常な製品の試運転時の動作音よりも大きい。

【0009】

上記構成によれば、異常のある製品に対する判定に当たり、環境音の寄与が相対的に低くなる。つまり、環境音の紛れ込みによる誤判定、つまり、異常のある製品が誤って正常と判定されることが抑制される。

【0010】

また上記構成において、性能検査装置は、製品を押さえる可動式のアームを備えてよい。この場合、抽出部は、アームが製品を押さえるときの動作音の発生時刻を、抽出画像の起点時刻に特定する。

【0011】

上記構成によれば、性能検査において特徴的な音であり、かつ、製品が正常であるか異常であるかを問わずに周波数特性が一定である音を、抽出画像の起点に特定可能となる。

【0012】

また上記構成において、製品はアクチュエータであってよい。この場合、性能検査装置は、アクチュエータによって搬送させられるワークと、ワークの移動を止めるストッパを備える。抽出部は、ワークがストッパに当たったときの衝突音の発生時刻を、抽出画像の終点時刻に特定する。

【0013】

上記構成によれば、性能検査において特徴的な音であり、かつ、製品が正常であるか異常であるかを問わずに周波数特性が一定である音を、抽出画像の終点に特定可能となる。

【発明の効果】

【0014】

本明細書で開示される性能検査システムは、周囲の環境音による影響を抑制可能である。

【図面の簡単な説明】

【0015】

【図1】性能検査の対象製品であるアクチュエータを例示する斜視図である。

【図2】アクチュエータの分解図であって、トレイ側の構造を例示する斜視図である。

【図3】アクチュエータの分解図であって、カバー側の構造を例示する斜視図である。

【図4】アクチュエータのモータとウォームシャフトとの接続部分（正常状態）を例示する斜視図である。

【図5】アクチュエータのモータとウォームシャフトとの接続部分（異常状態）を例示する斜視図である。

【図6】本実施形態に係る性能検査システムを例示する斜視図である。

【図7】性能検査プロセス（１／３）を例示する斜視図である。

【図8】性能検査プロセス（２／３）を例示する斜視図である。

【図9】性能検査プロセス（３／３）を例示する斜視図である。

【図10】コントローラのハードウェア構成を例示する図である。

【図11】コントローラの機能ブロックを例示する図である。

【図12】性能検査時の音をスペクトログラム画像に変換するプロセスを説明する図である。

【図13】抽出画像の起点時刻を特定するためのニューラルネットワークを例示する図である。

【図14】異常に対する確度を出力するためのニューラルネットワークを例示する図である。

【発明を実施するための形態】

【0016】

＜製品＞
図１には、性能検査の対象製品が例示される。この製品は、例えばアクチュエータ１０である。アクチュエータはガイド４４及びホルダ４６を備える。またアクチュエータ１０は、駆動機構を収容するトレイ１２及びカバー１４を備える。トレイ１２には電力の受入口であるインレット１６が設けられる。

【0017】

カバー１４には開口が設けられる。その開口からホルダ４６が露出される。ガイド４４は直線状に延伸している。ガイド４４に沿ってホルダ４６が直動する。

【0018】

図２、図３には、アクチュエータ１０の内部構造が例示される。図２にはトレイ１２側の内部構造が例示される。図３にはカバー１４側の内部構造が例示される。図２を参照して、トレイ１２には、モータ２０及びウォームシャフト３０が収容される。モータ２０は、インレット１６から電力供給を受けて回転駆動する。モータ２０の駆動力はモータシャフト２２及びギアシャフト３２を介してウォームシャフト３０に伝達される。

【0019】

図１、図３を参照して、カバー１４にはウォームホイール４０、ファイナルギア４２、ガイド４４、及びホルダ４６（の根元部分）が収容される。ウォームシャフト３０（図２参照）の回転がウォームホイール４０に伝達される。さらにウォームホイール４０と噛合うファイナルギア４２が、ウォームホイール４０とともに回転する。ファイナルギア４２の回転に伴い、ホルダ４６がガイド４４に沿って直動する。

【0020】

モータ２０は正逆回転が可能となっている。したがってホルダ４６もガイド４４に沿って前進及び後退が可能となっている。

【0021】

＜製品の正常／異常＞
図４には、モータ２０とウォームシャフト３０との連結部分が拡大図示される。モータシャフト２２の先端にはコ字状のハンマー２４が設けられる。ギアシャフト３２の先端には、コ字状のアンビル３４が設けられる。ハンマー２４及びアンビル３４の開き幅は例えば同一である。またモータシャフト２２とギアシャフト３２は同軸配列される。

【0022】

ハンマー２４とアンビル３４との間に、ダンパ３６が取り付けられる。ダンパ３６は例えば弾性部品であって、ハンマー２４とアンビル３４とを連結するカプラの機能を備える。ハンマー２４とアンビル３４が、ダンパ３６を介して連結されることで、ハンマー２４及びアンビル３４は同期回転する。

【0023】

図５には、ダンパ３６が取り付けられていない、いわゆる欠品状態のアクチュエータ１０が例示される。ダンパ３６の無い状態では、インパクトドライバのようにハンマー２４がアンビル３４を叩く。そしてハンマー２４が弾性変形してアンビル３４を乗り越える。さらにハンマー２４が半周してアンビル３４を叩く。

【0024】

このように、ダンパ３６が取り付けられていない、欠品状態のアクチュエータ１０は、ダンパ３６が取り付けられた、正常なアクチュエータ１０と比較して、動作音が大きくなる。以下に説明されるように、ダンパ３６が取り付けられていない、欠品状態のアクチュエータ１０は、異常のあるアクチュエータ１０と判定される。また本実施形態に係る性能検査システムでは、アクチュエータ１０の異常の有無、つまりダンパ３６の欠品有無が判定される。

【0025】

＜性能検査システム＞
図６には、本実施形態に係る性能検査システムが例示される。性能検査システムは、検査装置６０（性能検査装置）、コントローラ５０、表示部５２、及びマイクロホン５４を備える。

【0026】

検査装置６０は、組立後のアクチュエータ１０（製品）に対して性能検査を行う。性能検査ではアクチュエータ１０の試運転が行われる。性能検査の詳細は後述される。

【0027】

コントローラ５０は例えばコンピュータである。コントローラ５０はマイクロホン５４から音響データを取得する。またコントローラ５０は表示部５２に対して、検査対象のアクチュエータ１０に対する検査結果（正常／異常）を表示させる。さらにコントローラ５０は、検査装置６０の動作を制御する。

【0028】

マイクロホン５４は、検査装置６０から発せられる音を取得する。マイクロホン５４は、例えば指向性を有していてもよい。この場合、マイクロホン５４は、検査装置６０のメインステージ６８に向けられる。

【0029】

表示部５２は例えばディスプレイ装置である。表示部５２は例えば検査装置６０のコネクタステージ６５に対向配置される。性能検査ではコネクタステージ６５側に作業者が立つ。つまり表示部５２は作業者と対向する。

【0030】

＜性能検査装置＞
図６－図９には、検査装置６０の各部品の位置や配置を説明するために、直交座標系が示される。作業者はコネクタステージ６５側からアクチュエータ１０をメインステージ６８に載せる。このような作業条件に基づき、作業者から見て前方を正方向としてＦＲ軸が定められる。またメインステージ６８の幅方向軸としてＲＷ軸が定められる。ＦＲ－ＲＷ平面は水平面となる。ＦＲ軸及びＲＷ軸と直交してＵＰ軸が設けられる。ＵＰ軸は鉛直軸である。

【0031】

図６を参照して、検査装置６０（性能検査装置）はレール６１，６１、ワーク６２、ストッパ６３Ａ，６３Ｂ、コネクタ６４、コネクタステージ６５、ガイド６６，６６、アーム６７，６７、メインステージ６８、及びホルダ６９を備える。

【0032】

メインステージ６８には挿入孔６８Ａが穿孔される。挿入孔６８Ａにはアクチュエータ１０（図１参照）のホルダ４６が挿入される。メインステージ６８上には、一対のガイド６６、６６が設けられる。ガイド６６，６６の離隔距離は、アクチュエータ１０（図１参照）の幅Ｗ１と等しい。つまりガイド６６，６６にアクチュエータ１０が位置決めされる。

【0033】

メインステージ６８には、一対のアーム６７，６７が設けられる。アーム６７，６７は、ガイド６６，６６と挿入孔６８Ａの間に配置される。アーム６７，６７は可動式であって、図示しないサーボモータによって、開放位置（図６参照）と押さえ位置（図７参照）との間を回動可能となっている。

【0034】

メインステージ６８の後方端にコネクタステージ６５が連結される。コネクタステージ６５は、例えば一軸ステージ機構を備えており、メインステージ６８に対して進退可能となっている。

【0035】

コネクタステージ６５上にコネクタ６４が配置される。図７、図８に例示されるように、コネクタ６４はアクチュエータ１０のインレット１６に差し込み可能となっている。コネクタ６４は図示しない電源から電力供給を受ける。

【0036】

メインステージ６８の下に、一対のレール６１，６１が敷設される。レール６１，６１はＦＲ軸に沿って前後方向に延伸する。レール６１，６１上にワーク６２が配置される。ワーク６２はレール６１，６１上を進退可能となっている。

【0037】

レール６１，６１上にはストッパ６３Ａ，６３Ｂも配置される。ストッパ６３Ａ，６３Ｂはレール６１，６１に固定される。またストッパ６３Ａ，６３Ｂの離隔距離は、ワーク６２の前後寸法を超過するように定められる。つまりストッパ６３Ａ，６３Ｂ間を、ワーク６２が進退する。

【0038】

メインステージ６８の上方にはホルダ６９が配置される。ホルダ６９は、図示しないＺステージ機構により上下動可能となっている。またホルダ６９の底面には可動式のスタンプが設けられる。後述されるようにアクチュエータ１０に対して正常判定が与えられると、スタンプにより、アクチュエータ１０の上面に製品ＩＤ等が印字される。

【0039】

図７－図９には、性能検査のプロセスが例示される。この性能検査では、アクチュエータ１０に対する試運転が行われる。まず、ガイド６６，６６に沿ってアクチュエータ１０が位置決めされる。アクチュエータ１０は、図１の向きとは反対になり（裏返しされ）、ホルダ４６が挿入孔６８Ａ内に挿入される。そしてホルダ４６はワーク６２を保持する。

【0040】

アクチュエータ１０をメインステージ６８に位置決めすると、アーム６７，６７が回転駆動してアクチュエータ１０の前方を押さえる。またホルダ６９が下降してアクチュエータ１０を上から押さえる。

【0041】

次に図８を参照して、コネクタステージ６５が前進する。これによりコネクタ６４がインレット１６（図７参照）に差し込まれる。これにより、図示しない電源からアクチュエータ１０に電力が供給される。

【0042】

アクチュエータ１０のモータ２０（図２参照）に電力が供給され、モータ２０は回転駆動する。これによりホルダ４６（図１参照）が前進する。ホルダ４６に保持されたワーク６２も前進し、ストッパ６３Ｂで停止する。

【0043】

次にモータ２０が逆回転させられる。これによりホルダ４６及びワーク６２が後退する。ワーク６２は、ストッパ６３Ａで停止する。その後、ホルダ６９のスタンプ（図示せず）により、アクチュエータ１０の上面に、製品番号等が印字される。その後、コネクタ６４がインレット１６から抜かれる。さらにホルダ６９が上昇し、アーム６７，６７は開放位置（図６参照）まで回動する。検査対象のアクチュエータ１０が作業者に取り除かれ、次のアクチュエータ１０がメインステージ６８に配置される。

【0044】

上述したように、アクチュエータ１０にダンパ３６（図４参照）が有る正常時と、図５のようなダンパ３６が無い異常時（欠品時）の両者において、ホルダ４６は進退する。ただし、上述のように、異常状態において、アクチュエータ１０の動作音が、正常状態よりも大きくなる。以下に説明されるように、この動作音の差異を利用して、アクチュエータ１０の異常有無が判定される。

【0045】

＜コントローラ＞
図１０には、コントローラ５０のハードウェア構成が例示される。コントローラ５０は、演算装置のＣＰＵ５０Ａと、記憶装置としてのシステムメモリ５０Ｃ及びストレージ５０Ｅを備える。ストレージ５０Ｅは例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の非一過性の記憶装置であってよい。またコントローラ５０は、キーボードやマウス等の入力装置である入力部５０Ｇを備える。さらにコントローラ５０は、マイクロホン５４、表示部５２、検査装置６０等の外部機器との情報の入出力を管理する入出力コントローラ５０Ｉを備える。

【0046】

さらにコントローラ５０は、画像変換部５１Ａ（図１１参照）が生成したスペクトログラム画像を処理する画像処理ユニットとして、ＧＰＵ５０Ｂ（Graphics Processing Unit）、フレームメモリ５０Ｄ、ＲＡＭＤＡＣ５０Ｆ（Random Access Memory Digital-to-Analog Converter）、及び表示制御部５０Ｈを備える。

【0047】

ＧＰＵ５０Ｂは、画像処理用の演算装置であり、アクチュエータ１０の異常の有無を判定する際に主に稼働される。フレームメモリ５０Ｄは、マイクロホン５４が取得した音響データ、及び、画像変換部５１Ａにより生成されたスペクトログラム画像を記憶する記憶装置である。ＲＡＭＤＡＣ５０Ｆは、フレームメモリ５０Ｄに記憶された、スペクトログラム画像データを、アナログディスプレイである表示部５２向けのアナログ信号に変換する。表示制御部５０Ｈは、欠品判定部５１Ｆによる判定結果を表示部５２に表示させる。

【0048】

図１１には、コントローラ５０の機能ブロックが例示される。この機能ブロック図は、プログラムをＣＰＵ５０Ａが実行することで構成される。プログラムは、例えばストレージ５０Ｅに記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶される。

【0049】

コントローラ５０は、機能ブロックとして、画像変換部５１Ａ、画像抽出部５１Ｂ、確度算出部５１Ｅ、欠品判定部５１Ｆ、装置制御部５１Ｇ、及び警告部５１Ｈを備える。

【0050】

画像変換部５１Ａは、マイクロホン５４から取得した音響データを、スペクトログラム画像に変換する。例えば図１２の上段には、音響データが例示される。この音響データは、横軸に時間、縦軸に振幅が採られる。この音響データが、図１２下段のスペクトログラム画像に変換される。スペクトログラム画像では、横軸に時間、縦軸に周波数が採られる。さらに振幅に応じた色が表示される。例えば振幅が大きいほど明るい色が表示される。

【0051】

スペクトログラム画像の生成プロセスは既知であるため、ここでは簡単に説明される。時系列の音響データは細かいフレームで区切られる。さらにそのフレーム内で高速フーリエ変換（ＦＦＴ）が実行される。フーリエ変換に結果得られた画像を時系列に並べるとスペクトログラム画像が得られる。

【0052】

例えば、検査装置６０が置かれた工場の操業開始時間から終了時間に亘って、連続的にマイクロホン５４からコントローラ５０に音響データが送信される。したがってスペクトログラム画像は、操業開始時間から終了時間に亘って、連続的に生成される。

【0053】

画像抽出部５１Ｂは、起点特定部５１Ｃ及び終点特定部５１Ｄを備える。起点特定部５１Ｃはスペクトログラム画像から、異常判定に用いられる画像（抽出画像）の抽出起点を求める。起点特定部５１Ｃには、抽出起点となる起点時刻を求めるための、ニューラルネットワークが実装される。

【0054】

図１３には、抽出起点時刻を特定するためのニューラルネットワークが例示される。例えば起点特定部５１Ｃは、入力層、隠れ層、及び出力層を備えた、画像認識用のニューラルネットワークを備える。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）である。

【0055】

入力層には、スペクトログラム画像データが入力される。なお、入力される画像データは、例えば、上記で高速フーリエ変換されたときに用いられるフレーム単位の画像であってよい。例えば入力層のノード数は、入力画像の画素数と等しい。

【0056】

隠れ層は、入力層と出力層の間に設けられる。例えば隠れ層には、畳み込み層とプーリング層とが設けられる。

【0057】

出力層は例えば一つのノードのみが設けられる。この出力ノードでは、図７の製品押さえ時の音に対する確度が出力される。図７に例示されるように、試運転に当たり、アーム６７，６７が回動してアクチュエータ１０の前面に当たる。またホルダ６９が下降してアクチュエータ１０の上面に当たる。

【0058】

図１２下段のスペクトログラム画像を参照して、アーム６７，６７がアクチュエータ１０に当たる音（製品押さえ（前方））、及び、ホルダ６９がアクチュエータ１０に当たる音（製品押さえ（上方））は、他の時間と比較して画像的に顕著な特徴がある。また、これらの製品押さえの音は、アクチュエータ１０が正常であるときと、異常であるときとで特徴的な差異は無い。

【0059】

このようにして、性能検査において特徴的な音であって、かつ、製品の異常時と正常時とでその周波数特性に差異の無い音が、画像の抽出起点として定められる。例えば、図１３のニューラルネットワークは、製品押さえ（前方）時点を含むフレームの画像を教師データとして学習する。または、このニューラルネットワークは、製品押さえ（上方）時点を含むフレームの画像を教師データとして学習する。

【0060】

出力ノードから出力された確度が、所定の閾値（例えば８０％）を超過する場合に、起点特定部５１Ｃは、入力データ画像の代表時刻（例えばフレーム内で半値となる時刻）を、所定の抽出起点時刻に特定する。すなわち、アーム６７，６７がアクチュエータ１０に当たったとき、または、ホルダ６９がアクチュエータ１０に当たったときの衝突音の発生時刻が、抽出画像の起点時刻に特定される。

【0061】

終点特定部５１Ｄは、スペクトログラム画像から、抽出画像の抽出終点を求める。終点特定部５１Ｄには、抽出終点となる終点時刻を求めるための、ニューラルネットワークが実装される。このニューラルネットワークは、例えば図１３と同様の畳み込みニューラルネットワーク（ＣＮＮ）である。

【0062】

ただし、終点特定部５１Ｄのニューラルネットワークは、図１２を参照して、ワーク６２がストッパ６３Ｂに当たったときの衝突音を含む、スペクトログラム画像データを教師データとして学習される。または、教師データとして、ワーク６２がストッパ６３Ａに当たったときの衝突音を含む、スペクトログラム画像データが用いられる。

【0063】

このような学習により、出力ノードでは、図９に例示されるような、ストッパ６３Ｂへのワーク６２の衝突時の音に対する確度が出力される。または、ストッパ６３Ａへのワーク６２の衝突時の音に対する確度が出力される。確度が所定の閾値（例えば８０％）を超過する場合に、終点特定部５１Ｄは、入力データ画像の代表時刻（例えばフレーム内で半値となる時刻）を、所定の抽出終点時刻に特定する。すなわち、ワーク６２がストッパ６３Ａに当たったときの衝突音の発生時刻が、抽出画像の終点時刻に特定される。

【0064】

図１２に例示されるように、ワーク６２がストッパ６３Ａ，６３Ｂに衝突する音は、他の時間と比較して画像的に顕著な特徴がある。また、この衝突音は、アクチュエータ１０が正常であるときと、異常であるときとで特徴的な差異は無い。このようにして、性能検査において特徴的な音であって、かつ、製品の異常時と正常時とでその周波数特性に差異の無い音が、画像の終点起点として定められる。

【0065】

画像抽出部５１Ｂは、スペクトログラム画像から、起点時刻と終点時刻までの画像を抽出する。この抽出画像は、アクチュエータ１０のモータ２０（図２参照）が回転駆動する時間帯の画像である。言い換えると、この時間帯の動作音は、異常のあるアクチュエータ１０と、正常なアクチュエータ１０との間で差異が生じる。

【0066】

確度算出部５１Ｅは、抽出画像をもとに、アクチュエータ１０に対する異常の確度を出力する。確度算出部５１Ｅには、図１４に例示されるような、欠品判定用のニューラルネットワークが実装される。このニューラルネットワークは、図１３と同様に、畳み込みニューラルネットワーク（ＣＮＮ）である。

【0067】

このニューラルネットワークの入力層には、抽出画像データが入力される。例えば入力層のノード数は、抽出画像の画素数と等しい。隠れ層は、入力層と出力層の間に設けられる。例えば隠れ層には、畳み込み層とプーリング層とが設けられる。出力層は例えば一つのノードのみが設けられる。この出力ノードでは、アクチュエータ１０の構成部品であるダンパ３６（図２参照）の欠品（異常）に対する確度が出力される。

【0068】

図１４のニューラルネットワークでは、教師データとして、アクチュエータ１０に異常がある場合、つまりダンパ３６が欠品している場合の、試運転の動作音データが用いられる。より詳細には、当該動作音データに基づいて生成されたスペクトログラム画像データが、教師データとして用いられる。

【0069】

上述のように、ダンパ３６が欠品したときの、アクチュエータ１０の動作音（異常時動作音）は、ダンパ３６が正常に取り付けられたときの動作音（正常時動作音）よりも大きい。このことから、検査装置６０の外からの音（環境音）の影響は、正常時動作音と比較して異常時動作音の方が小さい。このように、本実施形態に係る性能検査システムでは、周囲の環境音による影響が相対的に小さい音響データが、異常有無の判定基準に用いられる。

【0070】

図１１を参照して、欠品判定部５１Ｆは、確度算出部５１Ｅから、異常に対する確度を取得する。欠品判定部５１Ｆは、取得した確度に基づいて、アクチュエータ１０の異常有無を判定する。確度が所定の閾値（例えば８０％）を超過していた場合、欠品判定部５１Ｆは、試運転中のアクチュエータ１０に異常があると判定する（異常判定）。異常に対する確度が閾値以下である買には、欠品判定部５１Ｆは試運転中のアクチュエータ１０は正常であると判定する（正常判定）。

【0071】

欠品判定部５１Ｆの判定結果は、警告部５１Ｈ及び装置制御部５１Ｇに送信される。警告部５１Ｈは、異常判定を受けて、表示部５２に警告メッセージを表示させる。また装置制御部５１Ｇは、異常判定を受けて、検査装置６０による試運転を中断させる。図１２を参照して、抽出画像の終点（ストッパ衝突音）は、ホルダ６９（図６参照）による印字前である、したがって、アクチュエータ１０に製造番号等が印字される前に、試運転を中断させることができる。これにより、正常なアクチュエータ１０と異常のあるアクチュエータ１０が、印字の有無で判断できる。

【0072】

なお、上述の実施形態では、アクチュエータ１０においてダンパ３６が欠品していることを、異常状態を判定していたが、その他の態様を異常と判定してもよい。例えば、アクチュエータ１０内にボルト等の異物が混入した場合、アクチュエータ１０の試運転中に異音が発生する。例えばアクチュエータ１０内でカラカラと音が鳴る。

【0073】

そこで、この異音が含まれる試運転時の音響データを教師データとして、図１４に例示されるニューラルネットワークを学習させてもよい。

【符号の説明】

【0074】

１０ アクチュエータ、２０ モータ、２４ ハンマー、３４ アンビル、３６ ダンパ、５０ コントローラ、５１Ａ 画像変換部、５１Ｂ 画像抽出部（抽出部）、５１Ｃ 起点特定部、５１Ｄ 終点特定部、５１Ｅ 確度算出部、５１Ｆ 欠品判定部（判定部）、５１Ｇ 装置制御部、５１Ｈ 警告部、５４ マイクロホン、６０ 検査装置（性能検査装置）、６２ ワーク、６３Ａ，６３Ｂ ストッパ、６７ アーム。

【要約】

【課題】性能検査システムにおいて、周囲の環境音による影響を抑制可能とする。
【解決手段】マイクロホン５４は、検査装置６０から発せられる音を取得する。画像変換部５１Ａは、マイクロホン５４から取得した音響データをスペクトログラム画像に変換する。画像抽出部５１Ｂは、経時的に生成されるスペクトログラム画像から、所定の起点時刻から所定の終点時刻までの画像を抽出する。確度算出部５１Ｅは、画像抽出部５１Ｂによる抽出画像をもとに、製品の異常に対する確度を出力する。欠品判定部５１Ｆは、確度に基づいて、製品の異常有無を判定する。確度算出部５１Ｅは、画像認識用のニューラルネットワークを備える。このニューラルネットワークは、抽出画像を入力データとし、異常に対する確度を出力する。欠品判定部５１Ｆは、当該確度が所定の閾値を超過する場合に、製品に異常有りと判定する。
【選択図】図１１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】