特許 7471043 物品の打音検査システム、及び物品の打音検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】物品の打音検査システム、及び物品の打音検査方法

(51)【国際特許分類】

   G01N 29/04 20060101AFI20240412BHJP

   G01M 99/00 20110101ALI20240412BHJP

   G01M 7/08 20060101ALI20240412BHJP

   G01H 17/00 20060101ALI20240412BHJP

【ＦＩ】

G01N29/04

G01M99/00 Z

G01M7/08 Z

G01H17/00 Z

【請求項の数】 2

(21)【出願番号】P 2021103074

(22)【出願日】2021-06-22

(65)【公開番号】P2023002065

(43)【公開日】2023-01-10

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100107423

【弁理士】

【氏名又は名称】城村 邦彦

(74)【代理人】

【識別番号】100120949

【弁理士】

【氏名又は名称】熊野 剛

(74)【代理人】

【識別番号】100196346

【弁理士】

【氏名又は名称】吉川 貴士

(72)【発明者】

【氏名】下西 明

(72)【発明者】

【氏名】樫原 一男

(72)【発明者】

【氏名】石垣 崇

(72)【発明者】

【氏名】北本 大介

【審査官】嶋田 行志

(56)【参考文献】

【文献】特開平１０－３００７３０（ＪＰ，Ａ）

【文献】特開２０００－１３１１８５（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２０－００２２３４２（ＫＲ，Ａ）

【文献】特開２００３－０５７０２４（ＪＰ，Ａ）

【文献】特開２０００－０８８８１７（ＪＰ，Ａ）

【文献】特開２０１７－２０３７１４（ＪＰ，Ａ）

【文献】特開２０１７－２０３７１１（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３０６８７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０２４７８２５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２９／００－Ｇ０１Ｎ ２９／５２

Ｇ０１Ｍ ９９／００

Ｇ０１Ｍ ７／００－Ｇ０１Ｍ ７／０８

Ｇ０１Ｈ １７／００

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

物品にハンマリングした際に生じる打音を検出可能な打音検出手段と、
前記打音検出手段で得られた打音データに基づいて前記物品の良否判定を実施可能な良否判定手段とを具備した物品の検査システムにおいて、
前記ハンマリングを行う作業者によって前記物品の良否判定の対象となる箇所とは別の箇所に対して行ったハンマリングにより生じた振動を、前記打音の検出のためのトリガーとして検知可能なトリガー検知手段をさらに具備し、
前記打音検出手段は、前記物品の良否判定の対象となる箇所にハンマリングした際に生じた打音を、空気中を伝播する音波として検出可能に構成され、かつ
前記トリガー検知手段で前記トリガーが検知されたことを条件として、前記打音の検出を開始するように構成されていることを特徴とする物品の検査システム。

【請求項2】

物品にハンマリングした際に生じる打音を検出する打音検出ステップと、
前記打音検出ステップで得られた打音データに基づいて前記物品の良否判定を行う良否判定ステップとを具備した物品の良否判定方法において、
前記ハンマリングを行う作業者によって前記物品の良否判定の対象となる箇所とは別の箇所に対して行ったハンマリングにより生じた振動を、前記打音の検出のためのトリガーとして検知するトリガー検知ステップをさらに具備し、
前記打音検出ステップでは、前記物品の良否判定の対象となる箇所にハンマリングした際に生じた打音を、空気中を伝播する音波として検出し、かつ
前記トリガー検知ステップで前記トリガーが検知されたことを条件として、前記打音の検出を開始することを特徴とする物品の検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品の打音検査システム、及び物品の打音検査方法に関する。

【背景技術】

【0002】

各種製品の生産工程では、出荷前の検査工程において、検査対象となる部分をハンマーなどで叩き、叩いた際に生じる音（打音）を官能的に評価することにより製品の良否に関する判定を行う検査が実施されている。例えば自動車の生産工程では、足回りやシャシ、又はこれらの構成要素となるアセンブリなどに存在する締結部などの接合部の品質を確認するために、検査を行う作業員（検査員）が締結部に取り付けられたボルトの頭部をハンマーで叩き、叩いた際に生じた打音の特徴を聞き取ることで、締結部の異常の有無を確認することが行われている。

【0003】

この種の打音検査は官能評価に基づくため、検査員は予め打音から上述した特徴を聞き取れるように訓練を行う必要がある。ただ、たとえ共通の訓練を受けたとしても、官能評価である以上、検査員によって判定基準に違いが生じることは避けられない。また、同じ検査員であっても、当日の体調などによって検査基準が安定しない問題もある。さらには、評価結果を定量値として記録できないために、例えば統計学を利用した品質管理手法を適用することも難しい。

【0004】

ここで、打音を定量的に評価する手法の一例が特許文献１に記載されている。すなわち、特許文献１には、被検体をハンマリングした際に生じた打音を検知し、被検体の周波数特性を取得した後、取得した周波数特性に対して、予め設定したおいた良否判断基準、具体的には先に取得しておいた統計データに基づいて検査員が良否判定基準を設定し、設定した判定基準に基づいて、被検体の良否判定を行う方法が提案されている。

【0005】

一方、最近では、ＡＩ（人工知能）の機械学習による自動識別技術を生産技術に活用する試みがなされており、官能評価に係る検査に上記ＡＩによる識別技術を適用する事例が増えてきている。例えば特許文献２には、モルタル外壁などをハンマリングした際に生じた打音を検知して得た打音データを、予めＡＩの機械学習により生成した学習モデルに入力することによって、当該外壁における異常の有無を自動的に判定するシステムが提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平９－１７１００８号公報

【文献】特開２０１８－１３３４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、ライン生産方式による流れ作業において、検査員は、限られた時間の中で一回の打音検査を効率よく実施することが求められる。特に、一つの被検体につき複数の検査対象が設定されている場合には、生産性確保の観点から、打音検査に係る一連の作業をより短時間で終わらせる必要が生じる。

【0008】

例えば、上記打音検査に特許文献２に記載の自動識別技術を適用すれば、打音検査を定量化することも可能になると思われる。しかしながら、実際の生産現場では、検査のための打音以外にも、他工程での打音を含む作業音や、設備の駆動音など多数の音が発生している。そのため、打音データを収集する場合や、実際に検査のためのハンマリングで打音を発生させる場合には、全体として無秩序に発生している複数の音のうちどの音が検出対象となる打音であるかを正確に識別する必要が生じる。

【0009】

例えば、ハンマリングを、打音の検出開始直後となるタイミングで実施できるよう、検査員にハンマリングの指示を送り、検査員は当該指示を受けた直後にハンマリングを開始するようにすることも考えられる。しかしながら、検査員が作業開始の指示を受けてからハンマリングを開始したのでは、どうしても指示を受けるまでの間の待ち時間（タイムロス）が生じる。しかも、打音検査の対象となる部分が一つの被検体につき複数存在する場合には、検査の度に上述した待ち時間が生じることになるため、生産性の低下は免れ得ない。

【0010】

以上の事情に鑑み、本明細書では、生産現場のように多数の音が混在する環境下においても、検出対象となる打音をタイムロスなく正確に検出可能とし、これにより生産性を確保しつつも高精度な打音検査を実施することを、解決すべき技術課題とする。

【課題を解決するための手段】

【0011】

前記課題の解決は、本発明に係る物品の打音検査システムによって達成される。すなわち、この検査システムは、物品にハンマリングした際に生じる打音を検出可能な打音検出手段と、打音検出手段で得られた打音データに基づいて物品の良否判定を実施可能な良否判定手段とを具備した物品の打音検査システムにおいて、ハンマリングを行う作業者によって行われる所定の行為又は当該行為に起因する事象を、ハンマリングのトリガーとして検知可能なトリガー検知手段をさらに具備し、打音検出手段は、トリガー検知手段でトリガーが検知されたことを条件として、打音の検出を開始するように構成されている点をもって特徴付けられる。

【0012】

上述したように、本発明に係る物品の打音検査システムによれば、作業者がトリガーとなる所定の行為を行った所定時間後のタイミングで打音の検出が開始される。この場合、作業者は検査対象に対するハンマリングの準備が整った状態で上記トリガーとなる所定の行為を行うことができる。言い換えると、作業者自身のタイミングで打音の検出開始タイミングを設定することができる。よって、例えばトリガーが検出された直後（１０^-1秒後）に打音の検出を開始することで、他の不要な音を検出することなく対象となる打音を正確に検出することが可能になる。また、トリガーとなる上記所定の行為と、その後に行うハンマリングとはともに同一の作業者により実施されるため、これらの行為を打音検査に係る一連の作業として連続的に実施することができる。よって、作業者に大きな負担をかけることなく円滑にかつ短時間で打音検査を行うことが可能となる。もちろん、打音データを教師データとして機械学習による良否判定モデルの生成に利用する場合であっても上述のようにトリガーの検知を条件として打音の検出を開始することができるので、打音データのみを確実に取得することができる。よって、これら打音データと、官能評価データとを用いた機械学習により、信頼性の高い良否判定モデルを生成することができる。以上より、本発明に係る打音検査システムによれば、生産性を確保しつつも高精度な打音検査を実施することが可能となる。

【0013】

また、本発明に係る打音検査システムにおいて、トリガー検知手段は、物品の良否判定の対象となる箇所とは別の箇所に対して行ったハンマリングに起因する事象を、トリガーとして検知可能に構成されてもよい。

【0014】

作業者によって行われる所定の行為としては、トリガー検知手段を構成する所定の機器で検知可能な限りにおいて任意の行為が選択可能であり、手足を直接動かす所定の動作や、所定位置への視線の移動、作業者の近傍に配置されたスイッチの操作などが挙げられる。また、作業者によって行われる所定の行為に起因する事象としては、足踏みによる床面所定位置の面圧上昇、ハンマリングによる音並びに振動の発生などが挙げられる。ここで、ハンマリングに起因する事象をトリガーとして検知可能とすることによって、作業者はハンマーを持ったままトリガーを発生させる行為と、その後の検査対象（良否判定箇所）に対するハンマリングを連続的に実施することができる。そのため、極めて円滑にトリガー発生行為から打音動作までの一連の作業を行うことが可能となり、更なる作業時間の短縮化が可能となる。また、トリガー用ハンマリングを、物品の良否判定の対象となる箇所とは別の箇所に対して行い得るように構成すれば、打音データ取得用のハンマリングとトリガー用ハンマリングとを明確にかつ容易に識別することができる。

【0015】

また、上記ハンマリングに起因する事象をトリガーとする場合、本発明に係る打音検査システムにおいて、トリガー検知手段としての圧電素子型振動センサが、トリガーを発生させるためにハンマリングされる箇所又はその近傍に取付けられてもよい。

【0016】

上記構成によれば、トリガー用ハンマリングにより物品の所定箇所に発生した振動を直接的に検知することができるので、誤検知を防いで、トリガー用ハンマリングのみを正確に検知することが可能となる。

【0017】

また、本発明に係る打音検査システムにおいて、打音データと、打音の官能評価で得られた物品の良否判定結果としての官能評価データとを用いた機械学習により、物品の良否判定モデルを生成可能なモデル生成手段をさらに備えてもよく、この場合、良否判定手段は、打音データを良否判定モデルに入力することにより、物品の良否判定結果を出力可能に構成されてもよい。また、モデル生成手段は、一つの物品につき良否判定の対象となる箇所が複数存在する場合に、良否判定箇所ごとの良否判定結果を出力可能な良否判定モデルを生成してもよく、打音検出手段は、複数の良否判定箇所を所定の順序でハンマリングする場合に、トリガー検知手段でトリガーが検知されたことを条件として、連続するハンマリングの回数分の打音の検出を開始してもよく、良否判定手段は、打音検出手段で得られた複数の打音データを良否判定モデルに入力することにより、良否判定箇所ごとの良否判定結果を出力可能に構成されてもよい。

【0018】

一つの物品につき良否判定の対象となる箇所が複数存在する場合、作業者は、ハンマリング漏れを防ぐ観点から、複数の良否判定箇所を常に決まった順序で連続的にハンマリングすることが多い。本構成は、上述した作業者の継続的反復行為を利用したもので、打音データと官能評価データとを用いた機械学習により良否判定モデルを生成する場合、トリガーの検知を条件として、連続するハンマリングの回数分の打音の検出を開始すると共に、検出したハンマリングの回数分の打音データを良否判定モデルに入力することを特徴としてもよい。この場合、複数の打音データの検出の順序は、良否判定箇所に対するハンマリングの順序と一致する。そのため、検出した複数の打音データがそれぞれ、複数ある良否判定箇所のうち何れの箇所をハンマリングした際の打音データであるかを、別途の処理を行うことなく自動的に識別して、対応する良否判定箇所ごとの良否判定結果を出力することが可能となる。よって、複数回のハンマリングに対してトリガーとなる行為は一回で済み、より一層効率的にかつ短時間に打音検査に係る一連の作業を実施することが可能となる。

【0019】

また、本発明に係る打音検査システムにおいて、打音検出手段として、無指向性マイクが用いられてもよい。

【0020】

上述のように、打音検査の対象となる箇所が一つの物品につき複数存在する場合もあることを考慮した場合、無指向性マイクであれば、最小限の個数で、検出対象となる複数の打音を幅広く検出することができる。また、無指向性マイクだと、特定の箇所で発生した音（打音）以外の音も検出してしまうおそれがあるが、本発明のようにトリガーを検知することを条件として打音の検出を開始すれば、誤検出のおそれなく安心して無指向性マイクを使用できる。

【0021】

また、本発明に係る打音検査システムにおいて、物品は、自動車の車体構造をなすアセンブリであってもよい。また、この場合、製造ライン上を搬送されるアセンブリの接合部をハンマリングした際に生じる打音を検出可能な位置に、打音検出手段が配設されてもよい。

【0022】

上述したように、本発明に係る物品の打音検査システムは、どのような環境下においても、検出対象となる打音を正確に検出して、高精度な打音検査を安定的に実施できる。そのため、例えば自動車の車体構造をなし製造ライン上を搬送されるアセンブリが検査対象であっても、製造ライン上を搬送されるアセンブリの接合部をハンマリングした際に生じる打音を検出可能な位置に打音検出手段を配設することによって、量産性を確保しつつも高精度な打音検査を実施することが可能となる。

【0023】

また、前記課題の解決は、本発明に係る物品の検査方法によっても達成される。すなわち、この検査方法は、物品にハンマリングした際に生じる打音を検出する打音検出ステップと、打音検出ステップで得られた打音データに基づいて物品の良否判定を実施する良否判定ステップとを具備した物品の検査方法において、ハンマリングを行う作業者によって行われる所定の行為又は当該行為に起因する事象を、ハンマリングのトリガーとして検知するトリガー検知ステップをさらに具備し、打音検出ステップでは、トリガー検知ステップでトリガーが検知されたことを条件として、打音の検出を開始する点をもって特徴付けられる。

【0024】

本発明に係る物品の打音検査方法によれば、上述した打音検査システムと同様、作業者が上記トリガーとなる所定の行為を行った所定時間後のタイミングで打音の検出が開始される。この場合、作業者は自身のタイミングで打音の検出開始タイミングを設定することができるので、例えばトリガーが検出された直後に打音の検出を開始することで、他の不要な音を検出することなく対象となる打音を正確に検出することが可能になる。また、トリガーとなる上記所定の行為と、その後に行うハンマリングはともに同一の作業者が実施するため、これらの行為を打音検査に係る一連の作業として連続的に実施することができる。よって、作業者に大きな負担をかけることなく円滑にかつ短時間で打音検査を行うことが可能となる。もちろん、打音データを教師データとして機械学習による良否判定モデルの生成に利用する場合であっても上述のようにトリガーの検知を条件として打音の検出を開始することができるので、打音データのみを確実に取得することができる。よって、これら打音データと、官能評価データとを用いた機械学習により、信頼性の高い良否判定モデルを生成することができる。以上より、本発明に係る打音検査方法によれば、生産性を確保しつつも高精度な打音検査を実施することが可能となる。

【発明の効果】

【0025】

以上のように、本発明に係る物品の打音検査システムによれば、生産現場のように多数の音が混在する環境下においても、検出対象となる打音をタイムロスなく正確に検出することができるので、生産性を確保しつつも高精度な打音検査を実施することが可能となる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態に係る物品の打音検査システムの全体構成を概念的に示す図である。

【図2】図１に示すデータ処理手段の詳細な構成を説明するための図で、教師データに基づく機械学習により良否判定モデルを生成する際のデータの流れを概念的に示す図である。

【図3】図１に示すデータ処理手段の詳細な構成を説明するための図で、良否判定モデルを用いた物品の良否判定を行う際のデータの流れを概念的に示す図である。

【図4】図１に示すシステムを用いた打音検査方法の一例に係るフローチャートである。

【図5】（ａ）モデル生成ステップの詳細を示すフローチャートと、（ｂ）良否判定ステップの詳細を示すフローチャートである。

【図6】図１に示す打音検査システムを用いた打音検査の一例を概念的に示す図で、打音検査の開始前後で発生した音と、本打音検査に係る行為との関係を概念的に示した図である。

【発明を実施するための形態】

【0027】

以下、本発明の一実施形態に係る物品の打音検査システムの内容を図面に基づいて説明する。

【0028】

図１は、本実施形態に係る物品の打音検査システム１０の概念図を示している。この打音検査システム１０は、打音検出手段１１と、トリガー検知手段１２と、ハンマリング用治具としてのハンマー１３と、データ処理手段１４とを具備する。また、本実施形態では、打音検査システム１０は、打音検出手段１１の制御手段１５と、データ処理手段１４で取得した良否判定結果を表示するモニタ１６とをさらに具備する。以下、各構成要素の詳細を順に説明する。

【0029】

打音検出手段１１は、検査対象となる物品Ｗにハンマリングした際に生じる打音を検出するためのもので、例えば物品Ｗのハンマリングを受ける箇所の近傍に配設される。

【0030】

本実施形態では、物品Ｗは、自動車の車体構造をなすアセンブリとしてのサスペンションメンバーであって、当該サスペンションメンバーを構成する部品同士がボルトＢ１，Ｂ２…によって相互に締結されている。この場合、ボルトＢ１，Ｂ２…による締結部が本打音検査に係る良否判定の対象（検査対象）となり、ボルトＢ１，Ｂ２…の頭部に対してハンマリングを行った際に生じる打音を検出可能な位置に複数の打音検出手段１１（１１ａ，１１ｂ）が配設されている。例えば図１に示すように、一つの物品（サスペンションメンバー）Ｗにつき左右三箇所ずつの計六箇所の良否判定箇所が存在する場合、製造ラインＬの側方に設けられた設備Ｅのうち、車幅方向一方側のボルトＢ１，Ｂ２，Ｂ３にハンマリングした際に生じる打音をそれぞれ検出可能な位置に第一の打音検出手段１１ａが配設されると共に、車幅方向他方側のボルトＢ４，Ｂ５，Ｂ６にハンマリングした際に生じる打音をそれぞれ検出可能な位置に第二の打音検出手段１１ｂが配設されている。

【0031】

なお、打音検出手段１１としては任意の構成が採用可能であり、例えばマイクや振動センサなど、打音を音として又は振動として検出可能な限りにおいて、打音を種々のデータとして検出可能な機器を採用することが可能である。例えば本実施形態のように、一つの機器で複数箇所（車幅方向の左右三箇所ずつ）に生じた打音を検出することが望ましい場合、無指向性のマイクが各打音検出手段１１ａ，１１ｂが好適である。

【0032】

トリガー検知手段１２は、ハンマリングを行う作業者Ｏｇ（Ｏｓ）によって行われる所定の行為又は当該行為に起因する事象を、ハンマリングのトリガーとして検知可能とするもので、その特性上、作業者Ｏｇ（Ｏｓ）の近傍に配設される。具体的には、作業者Ｏｇ（Ｏｓ）は、ボルトＢ１，Ｂ２，Ｂ３、Ｂ４、Ｂ５、Ｂ６へのハンマリング可能な、例えば物品Ｗ下における打音検出手段１１ａ、１１ｂとの間において作業するため、トリガー検知手段１２は、例えば製造ラインＬにおける作業者Ｏｇ（Ｏｓ）の作業範囲内に配設される。

【0033】

本実施形態では、トリガー検知手段１２は、物品の良否判定の対象となる箇所とは別の箇所に対して行ったハンマリングに起因する事象を、トリガーとして検知可能に構成されている。この場合、例えば図１に示すように、製造ラインＬ上の物品Ｗに対して作業者Ｏｇ（Ｏｓ）がハンマリング可能な位置に配置された状態で、当該作業者Ｏｇ（Ｏｓ）がハンマリング可能な位置、ここでは作業者Ｏｇ（Ｏｓ）に隣接する製造ラインＬ側方の設備Ｅにトリガー検知手段１２が配設されている。

【0034】

なお、トリガー検知手段１２としては任意の構成が採用可能であり、本実施形態のようにハンマリングに起因する事象を検知する場合には、例えばマイクや振動センサなど、打音を音又は振動として検出可能な汎用のセンサを採用することが可能である。例えば本実施形態のように、設備Ｅの板部に対するハンマリングに起因する事象を検知する場合には、当該ハンマリングに起因する事象を容易にかつ確実に検知可能とする観点から、トリガー検知手段１２としての圧電素子型振動センサを、被ハンマリング部位となる設備Ｅの板部の裏面側に取り付けるのがよい。また、トリガー検知手段１２で検知したトリガーをデジタル信号として後述する制御手段１５に送信する場合、コンパレータを介してトリガー検知手段１２としての圧電素子型振動センサを制御手段１５に電気的に接続するのがよい。

【0035】

制御手段１５は、トリガー検知手段１２でトリガーが検知されたことを条件として、打音検出手段１１による打音の検出を開始するように打音検出手段１１を制御可能とする。例えば、トリガーとして作業者Ｏｇ（Ｏｓ）による設備Ｅ側へのハンマリングが行われる場合において、トリガー検知手段１２で検知された振動の最大振幅が予め設定しておいた値（閾値）以上であると制御手段１５が判定した場合、制御手段１５は、打音検出手段１１に向けて打音の検出を開始する旨の指令（信号）を送信する。これにより、トリガー検知手段１２でトリガーとなる振動を検知した後例えば１．０秒以内（より好ましくは０．２～０．３秒以内）に、ハンマリングにより生じた打音の検出を可能な状態とする。

【0036】

データ処理手段１４は、図２に示すように、データ記憶部１７と、学習モデルである良否判定モデル１８を生成するためのモデル生成手段１９と、良否判定手段２０とを有する。このうちデータ記憶部１７は、打音検出手段１１から送信される打音データを記憶し、蓄積する。また、データ記憶部１７は、図２に示すように、上述した打音データと共に、熟練の作業者Ｏｓによる官能評価で得られた良否判定結果としての官能評価データを記憶し、蓄積する。この官能評価データは、直前に記憶された打音データと同じ数だけデータ記憶部１７に記憶される。また、この場合、各官能評価データは、対応する打音データと紐付けされた状態でデータ記憶部１７に記憶される。

【0037】

モデル生成手段１９は、データ記憶部１７に記憶、蓄積された各種データに基づいて、物品の良否判定モデル１８を生成する。具体的には、モデル生成手段１９は、データ記憶部１７に記憶、蓄積された打音データ及び官能評価データを教師データとして用いた機械学習により、打音データを入力とし、物品Ｗのうち各打音データに対応する箇所、すなわちハンマー１３で一般の作業者Ｏｇが打撃を加えた箇所の良否判定に関する情報を出力とする学習モデル（良否判定モデル１８）を生成する。この際、使用する教師データとしては、熟練の作業者Ｏｓのハンマリングにより生じた打音を打音検出手段１１（１１ａ，１１ｂ）で検出して得た打音データと、上記打音を熟練の作業者Ｏｓが聞き分けることで得られる官能評価データとが用いられる。なお、ここで採用し得る機械学習には、深層学習などＡＩ（人工知能）がデータ記憶部１７に記憶されたデータの中から必要なデータを自動的に抽出し、分析する公知の学習方式が含まれる。

【0038】

また、本実施形態のように、一つの物品Ｗにつき良否判定の対象となる箇所（ボルトＢ１…Ｂ６締結部）が複数存在する場合、モデル生成手段１９で、入力された打音データに対応する良否判定箇所ごとに良否判定結果を出力可能な良否判定モデル１８を生成してもよい。ここで、一般の作業者Ｏｇが複数の良否判定箇所を所定の順序（例えばボルトＢ１→Ｂ２→Ｂ３→Ｂ４→Ｂ５→Ｂ６の順）でハンマリングする場合、打音検出手段１１は、トリガー検知手段１２でトリガーが検知されたことを条件として、連続するハンマリングの回数分の打音の検出を開始する。そして、モデル生成手段１９により、検出されデータ記憶部１７に記憶された複数の打音データと、対応する官能評価データとを教師データとした機械学習を繰り返す。このようにして、複数の打音データを入力とし、入力された各打音データに対応する良否判定箇所ごとの良否判定結果を出力可能とする良否判定モデル１８が生成可能となる。

【0039】

良否判定手段２０は、モデル生成手段１９で生成した良否判定モデル１８を用いて物品Ｗの所定箇所における良否判定を行う。具体的には、良否判定手段２０は、例えば図３に示すように、データ記憶部１７に記憶、蓄積された打音データを良否判定モデル１８に入力して、入力した打音データに対応する箇所の良否判定に関する情報をモニタ１６に出力するプログラムを実行する。本実施形態のように、検査対象が物品Ｗのボルト締結部である場合、各ボルトＢ１，Ｂ２…の締結不良の有無が出力結果（良否判定結果）としてモニタ１６に表示される。この際、使用される打音データとしては、データ記憶部１７に記憶、蓄積された打音データのうち、熟練の作業者Ｏｓではない一般の作業者Ｏｇ（図１を参照）のハンマリングにより生じた打音を打音検出手段１１（１１ａ，１１ｂ）で検出して得た打音データが用いられる。

【0040】

次に、上記構成の打音検査システム１０を用いたＡＩ（人工知能）による打音検査方法の一例を主に図４～図６に基づいて説明する。

【0041】

図４は、物品の打音検査システム１０を用いた打音検査方法の手順を説明するためのフローチャートを示している。このフローチャートに示すように、本実施形態に係る打音検査方法は、良否判定モデル１８を生成するモデル生成ステップＳ１と、良否判定モデル１８を用いて良否判定を行う良否判定ステップＳ２とを具備する。

【0042】

この場合、モデル生成ステップＳ１は、図５（ａ）に示すように、教師データを収集するためのハンマリングのトリガーを検知する第一トリガー検知ステップＳ１１と、教師データを収集するためのハンマリングにより生じた打音を検出する第一打音検出ステップＳ１２と、教師データに基づいて良否判定モデル１８を生成するための機械学習を行う機械学習ステップＳ１３とを有する。

【0043】

また、良否判定ステップＳ２は、図５（ｂ）に示すように、打音検査のためのハンマリングのトリガーを検知する第二トリガー検知ステップＳ２１と、打音検査のためのハンマリングにより生じた打音を検出する第二打音検出ステップＳ２２と、ステップＳ２２で取得した打音データを良否判定モデル１８に入力して、入力した打音データに対応する箇所の良否判定に関する情報を出力する良否判定出力ステップＳ２３とを有する。

【0044】

（Ｓ１）モデル生成ステップ
（Ｓ１１）第一トリガー検知ステップ
このステップでは、教師データを収集するためのハンマリングを行う際のトリガーを検知する。具体的には、まず図１に示す一般の作業者Ｏｇと同じ位置、すなわち、物品Ｗの良否判定箇所（ボルトＢ１，Ｂ２…Ｂ６締結部）をハンマー１３で打撃（ハンマリング）可能な位置に熟練の作業者Ｏｓ（図２を参照）を配置する。そして、設備Ｅのうちトリガー検知手段１２を配設した箇所に対して熟練の作業者Ｏｓがハンマリングを行い、このハンマリングに起因する事象（ここでは設備Ｅに生じた振動Ｔ）をトリガーとしてトリガー検知手段１２で検知する。

【0045】

（Ｓ１２）第一打音検出ステップ
このようにしてトリガーとなる所定の振動Ｔがトリガー検知手段１２で検知されたことを条件として、制御手段１５は、打音検出手段１１に対して打音の検出を開始する旨の指令（信号）を送信する。詳述すると、制御手段１５は、トリガー検知手段１２で検知された振動Ｔの最大振幅が予め設定しておいた値（閾値）以上であるか否かを判定する。そして、閾値以上であると判定した場合、制御手段１５は、検出した振動Ｔが、熟練の作業者Ｏｓによりトリガーとなるハンマリングが行われた結果生じた振動とみなして、打音検出手段１１に打音の検出を開始する旨の信号を送信する。これにより、打音検出手段１１による打音の検出が開始される。

【0046】

この場合、閾値は、例えばトリガーとなるハンマリングよりも前にトリガー検知手段１２が設けられた設備Ｅ（図１を参照）以外の場所で生じた音Ｎ１，Ｎ２…（図６を参照）を誤って検知することなく、かつトリガーとして熟練の作業者Ｏｓが行ったハンマリングにより生じた振動Ｔを確実に検知可能な程度の大きさに設定することが望ましい。後述する第二トリガー検知ステップＳ２１においても、同様の観点に基づいて閾値が設定されることが望ましい。

【0047】

なお、上述した、トリガー検知手段１２で検知した振動Ｔがトリガーとなるハンマリングにより生じた振動であるか否かの判定は、トリガー検知手段１２側（例示したコンパレータを含む）で行ってもよいし、トリガー検知手段１２で検知した原信号に基づいて制御手段１５で行ってもよいし、トリガー検知手段１２側（例示したコンパレータを含む）で行ってもよい。

【0048】

打音検出手段１１は、制御手段１５から検出開始の指令を受けて、打音の検出を開始する。本実施形態では、熟練の作業者Ｏｓが、トリガーとなる設備Ｅへのハンマリングを行った後、合間を置かずに（連続的に）複数の良否判定箇所を所定の順序（例えばボルトＢ１→Ｂ２→Ｂ３→Ｂ４→Ｂ５→Ｂ６の順）でハンマリングする。この場合において、打音検出手段１１は、制御手段１５から検出開始の指令を受けて、連続するハンマリングの回数分（ここでは６回）の打音の検出を行う。これにより、ハンマリングの回数分の打音データがハンマリングした順に取得され、データ記憶部１７に記憶される。ここでは、ボルトＢ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６のハンマリングにより生じた打音Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６が、打音Ｈ１→Ｈ２→Ｈ３→Ｈ４→Ｈ５→Ｈ６の順に打音データとして取得され、データ記憶部１７に記憶される。

【0049】

また、上述のように打音Ｈ１，Ｈ２…が発生した場合、熟練の作業者Ｏｓは、発生した打音Ｈ１，Ｈ２…の聞き分けによる官能評価を行い、各打音Ｈ１，Ｈ２…が発生した箇所（ボルトＢ１，Ｂ２…締結部）の良否判定を行う。具体的には各ボルトＢ１，Ｂ２…締結部の締結不良の有無を官能評価により判定する。この際の官能評価は、例えば熟練の作業者ＯｓによるＰＣへの入力等により、官能評価データとしてデータ記憶部１７に送られ、記憶される（図２を参照）。

【0050】

（Ｓ１３）機械学習ステップ
このステップでは、モデル生成手段１９の教師データに基づく機械学習により、打音データを入力とし、物品Ｗの良否判定箇所（ここではボルトＢ１，Ｂ２…締結部）の良否判定に関する情報を出力とする良否判定モデル１８を生成する。本実施形態では、モデル生成手段１９により、データ記憶部１７に記憶された複数の打音データと、各打音データに対応する官能評価データとを教師データとした機械学習を繰り返すことによって、複数の打音データを入力とし、入力された各打音データに対応する良否判定箇所としてのボルトＢ１，Ｂ２…締結部ごとの良否判定結果を出力可能とする良否判定モデル１８を生成する（図２を参照）。この場合、ステップＳ１２で取得した打音データと官能評価データがそれぞれ上記機械学習のための教師データとなる。

【0051】

（Ｓ２）良否判定ステップ
（Ｓ２１）第二トリガー検知ステップ
このステップでは、打音検査のためのハンマリングを行う際のトリガーを検知する。具体的には、まず図１に示す位置に一般の作業者Ｏｇを配置する。そして、設備Ｅのうちトリガー検知手段１２を配設した箇所に対して一般の作業者Ｏｇがハンマリングを行い、このハンマリングに起因する事象（ここでは設備Ｅに生じた振動Ｔ）をトリガーとしてトリガー検知手段１２で検知する。

【0052】

（Ｓ２２）第二打音検出ステップ
このようにしてトリガーとなる所定の振動Ｔがトリガー検知手段１２で検知されたことを条件として、制御手段１５は、打音検出手段１１に対して打音の検出を開始する旨の指令（信号）を送信する。詳述すると、制御手段１５は、トリガー検知手段１２で検知された振動Ｔの最大振幅が予め設定しておいた値（閾値）以上であるか否かを判定する。そして、閾値以上であると判定した場合、制御手段１５は、検出した振動Ｔが、一般の作業者Ｏｇによりトリガーとなるハンマリングが行われた結果生じた振動とみなして、打音検出手段１１に打音の検出を開始する旨の信号を送信する。これにより、打音検出手段１１による打音の検出が開始される。

【0053】

打音検出手段１１は、制御手段１５から検出開始の指令を受けて、打音の検出を開始する。本実施形態では、一般の作業者Ｏｓが、打音検査に係る一工程として、複数の良否判定箇所を所定の順序（例えばボルトＢ１→Ｂ２→Ｂ３→Ｂ４→Ｂ５→Ｂ６の順）でハンマリングする。この場合、打音検出手段１１は、制御手段１５から検出開始の指令を受けて、連続するハンマリングの回数分（ここでは６回）の打音の検出を行う。これにより、ハンマリングの回数分の打音データがハンマリングした順に取得され、データ記憶部１７に記憶される。本ステップにおいても、第一打音検出ステップＳ１２と同様、ボルトＢ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６のハンマリングにより生じた打音Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６が、打音Ｈ１→Ｈ２→Ｈ３→Ｈ４→Ｈ５→Ｈ６の順に打音データとして取得され、データ記憶部１７に記憶される。

【0054】

（Ｓ２３）良否判定出力ステップ
このステップでは、モデル生成ステップＳ１で生成した良否判定モデル１８を用いて物品Ｗの所定箇所における良否判定を行う。具体的には、良否判定手段２０により、データ記憶部１７に記憶、蓄積された打音データを良否判定モデル１８に入力して、入力した打音データに対応する箇所の良否判定に関する情報をモニタ１６に出力するプログラムを実行する（図３を参照）。この際、使用される打音データとしては、第二打音検出ステップＳ２２で得た複数の打音データが用いられる。

【0055】

本実施形態では、一つの物品Ｗにつき複数の良否判定箇所（ボルトＢ１…Ｂ６締結部）が設けられている。そのため、ステップＳ２２で取得した複数の打音データを良否判定モデル１８に入力することで、各打音データに対応する良否判定箇所ごとの良否判定結果（ここでは、各ボルトＢ１，Ｂ２…の締結不良の有無）が出力され、モニタ１６に表示される。このようにして、物品Ｗの打音検査のうち良否判定に係る工程がＡＩ（人工知能）により自動的に実施される。

【0056】

以上述べたように、本実施形態に係る物品の打音検査システム１０によれば、作業者Ｏｇ（Ｏｓ）がトリガーとなる所定の行為を行った所定時間後のタイミングで打音Ｈ１，Ｈ２…の検出が開始される。この場合、作業者Ｏｇ（Ｏｓ）は、作業者Ｏｇ（Ｏｓ）自身のタイミングで打音Ｈ１，Ｈ２…の検出開始タイミングを設定することができる。よって、例えばトリガーが検出された直後（１０^-1秒後）に打音Ｈ１，Ｈ２…の検出を開始することで、他の不要な音Ｎ１，Ｎ２…を検出することなく対象となる打音Ｈ１，Ｈ２…を正確に検出することが可能になる（図６を参照）。また、トリガーとなる上記所定の行為と、その後に行う打音検査のためのハンマリング（又は教師データ収集のためのハンマリング）はともに同一の作業者Ｏｇ（Ｏｓ）が実施するため、これらの行為を打音検査に係る一連の作業として連続的に実施することができる。よって、作業者Ｏｇ（Ｏｓ）に大きな負担をかけることなく円滑にかつ短時間で打音検査を行うことが可能となる。もちろん、教師データとなる打音データに関しても上述のようにトリガーの検知を条件として取得を開始することができるので、打音データのみを確実に取得することができる。よって、これら打音データと、官能評価データとを用いた機械学習により、信頼性の高い良否判定モデル１８を生成することができる。以上より、本発明に係る打音検査システム１０によれば、所要の生産性を確保しつつも高精度な打音検査を実施することが可能となる。

【0057】

また、本実施形態では、作業者Ｏｇ（Ｏｓ）によって行われる所定の行為としてハンマリングを行い、当該ハンマリングに起因する事象（振動Ｔ）をトリガーとして、トリガー検知手段１２により検知可能に構成した。これにより、作業者Ｏｇ（Ｏｓ）はハンマー１３を持ったままトリガーを発生させる行為と、その後の検査対象（ボルトＢ１，Ｂ２…締結部）に対するハンマリングを連続的に実施することができる。そのため、極めて円滑にトリガー発生行為から打音動作までの一連の作業を行うことが可能となり、更なる作業時間の短縮化が可能となる。また、トリガー用ハンマリングを、物品Ｗの良否判定の対象となる箇所（ボルトＢ１，Ｂ２…締結部）とは別の箇所に対して行い得るように構成したので、打音データ取得用のハンマリングとトリガー用ハンマリングとを明確にかつ容易に識別することが可能となる。

【0058】

また、本実施形態では、一つの物品Ｗにつき良否判定の対象となる箇所（ボルトＢ１，Ｂ２…締結部）が複数存在し、かつこれら複数の良否判定箇所を所定の順序でハンマリングする場合、良否判定箇所ごとの良否判定結果を出力可能な良否判定モデル１８を生成すると共に、トリガー検知手段１２でトリガーが検知されたことを条件として、連続するハンマリングの回数分の打音Ｈ１，Ｈ２…の検出を開始し、打音検出手段１１で得られた複数の打音データを良否判定モデル１８に入力することにより、良否判定箇所ごとの良否判定結果を出力可能に構成した。

【0059】

このように、作業者Ｏｇ（Ｏｓ）の継続的反復行為を利用して打音を検出し、良否判定モデル１８を生成することによって、検出した複数の打音データがそれぞれ、複数ある良否判定箇所のうち何れの箇所をハンマリングした際の打音データであるかを、別途の処理を行うことなく自動的に識別して、対応する良否判定箇所ごとの良否判定結果をモニタ１６に出力することが可能となる。よって、複数回のハンマリングに対してトリガーとなる行為は一回で済み、より一層効率的にかつ短時間に打音検査に係る一連の作業を実施することが可能となる。

【0060】

以上、本発明の一実施形態について述べたが、本発明に係る物品の打音検査システム又は打音検査方法は、その趣旨を逸脱しない範囲において、上記以外の構成を採ることも可能である。

【0061】

例えば実施形態では、モデル生成手段１９により、複数の良否判定箇所をハンマリングすることで得た複数の打音データを入力することで、各打音データに対応した良否判定箇所ごとの良否判定結果を出力可能な一つの良否判定モデル１８を生成する場合を例示したが、もちろんこれ以外の形態を採ることも可能である。例えばモデル生成ステップＳ１において、打音検出手段１１で検出した複数の打音データについて、各打音データと、各打音データに対応する官能評価データをそれぞれ教師データとする機械学習により、打音データの数と同じ数の、すなわち良否判定箇所の数と同じ数の良否判定モデル１８，１８…を生成してもよい。この場合、良否判定ステップＳ２において、打音検出手段１１で検出された複数の打音データについて、各打音データを対応する良否判定モデル１８，１８…に入力して、各良否判定モデル１８により対応する良否判定箇所の良否判定結果を出力するようにしてもよい。

【0062】

また、上記実施形態では、トリガー検知手段１２による一回のトリガー検知により、その後の複数回のハンマリングによる打音の検出を開始する場合を例示したが（図６を参照）、もちろんこれ以外の形態を採ることも可能である。例えば本実施形態のように、左右それぞれに三つの良否判定箇所（ボルトＢ１…Ｂ３締結部とボルトＢ４…Ｂ６締結部）が存在する場合、図示は省略するが、製造ラインＬの左右の側方にそれぞれトリガー検知手段１２を配設してもよい。この場合、左右一方のトリガー検知手段１２でハンマリングによる振動をトリガーとして検知し、左右一方の三つの良否判定箇所（ボルトＢ１…Ｂ３締結部）へのハンマリングによる打音の検出を開始し、当該三箇所へのハンマリングを行った後、左右他方のトリガー検知手段１２でハンマリングによる振動をトリガーとして検知し、左右他方の三つの良否判定箇所（ボルトＢ４…Ｂ６締結部）へのハンマリングによる打音の検出を開始するようにしてもよい。

【0063】

また、図２に示すデータ処理手段１４の構成は一例に過ぎず、例えば良否判定手段２０がモデル生成手段１９を兼ねるものであってもよい。また、データ記憶部１７についてもデータ処理手段１４内部にある必要はなく、例えばデータ処理手段１４とは別個の機器に設けられたデータ記憶部１７から記憶、蓄積された打音データ等の供給を受けて、良否判定モデル１８の生成、又はこの良否判定モデル１８を用いた良否判定処理を実行可能な構成としてもよい。

【0064】

また、上記実施形態では、打音検出手段１１の制御を行う制御手段１５を、データ処理手段１４と別個に設けた場合を例示したが、もちろんこれ以外の形態を採ることも可能である。例えば制御手段１５をデータ処理手段１４に設けて、トリガーの検出に基づく打音の検出、検出した打音データに基づく良否判定モデル１８の生成、及び生成した良否判定モデル１８を用いた良否判定処理の全てをデータ処理手段１４で実施してもよい。

【0065】

また、トリガーが検出できなかった際に、ハンマリングで生じた打音を検出した場合、すなわち、第一トリガー検知ステップＳ１１にてトリガーが検知できていない状態で第一打音検出ステップＳ１２にて打音を検出した場合、又は第二トリガー検知ステップＳ２１にてトリガーが検知できていない状態で第二打音検出ステップＳ２２にて打音を検出した場合、トリガーが検知できていないことをモニタ１６、又はスピーカ（不図示）などの出力装置を用いて、作業者Ｏｇ（Ｏｓ）に対して警告してもよい。

【0066】

あるいは、第一打音検出ステップＳ１２でトリガーを検出したものの、何らかの不具合により機械学習ステップＳ１３にて良否判定モデルを生成できなかった場合、又は第二打音検出ステップＳ２２で打音を検出したものの、モデル良否判定出力ステップＳ２３にて良否判定プログラムが実行できなかった場合、各々の旨をモニタ１６、又はスピーカ（不図示）などの出力装置を用いて、作業者Ｏｇ（Ｏｓ）に対して警告してもよい。

【0067】

また、以上の説明では、物品Ｗの打音検査システム１０が、打音検出手段１１で得られた打音データと、打音Ｈ１，Ｈ２…の官能評価で得られた物品Ｗの良否判定結果としての官能評価データとを用いた機械学習により、物品Ｗの良否判定モデル１８を生成可能なモデル生成手段１９と、打音データを良否判定モデル１８に入力することにより、物品Ｗの良否判定結果を出力可能な良否判定手段２０とを具備する場合を例示したが、もちろんこれには限られない。例えば検知した打音Ｈ１，Ｈ２…の波形に所定の処理を施して物品Ｗの周波数特性を取得した後、取得した周波数特性に対して、予め設定しておいた良否判断基準に基づいて物品Ｗの良否判定を行う方法（特許文献１を参照）など、凡そ打音データに基づいて良否判定を行う限りにおいて、ＡＩ（人工知能）の機械学習による自動識別技術以外の技術を利用して物品Ｗの良否判定を行う場合に本発明を適用してもかまわない。

【0068】

また、以上の説明では、自動車の車体構造をなすアセンブリを、本発明に係る打音検査の対象とする場合を例示したが、もちろんこれ以外の製品又は中間品についても本発明に係る打音検査システムを適用することは可能である。

【符号の説明】

【0069】

１０ 打音検査システム
１１（１１ａ，１１ｂ） 打音検出手段
１２ トリガー検知手段
１３ ハンマー
１４ データ処理手段
１５ 制御手段
１６ モニタ
１７ データ記憶部
１８ 良否判定モデル
１９ モデル生成手段
２０ 良否判定手段
Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６ ボルト
Ｅ 設備
Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６ 打音
Ｌ 製造ライン
Ｎ１，Ｎ２，Ｎ３ 検出対象外の音
Ｏｇ 一般の作業者
Ｏｓ 熟練の作業者
Ｓ１ モデル生成ステップ
Ｓ１１ 第一トリガー検知ステップ
Ｓ１２ 第一打音検出ステップ
Ｓ１３ 機械学習ステップ
Ｓ２ 良否判定ステップ
Ｓ２１ 第二トリガー検知ステップ
Ｓ２２ 第二打音検出ステップ
Ｓ２３ 良否判定出力ステップ
Ｔ 振動
Ｗ 物品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】