(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-03-29
(45)【発行日】2022-04-06
(54)【発明の名称】嵌合音検出装置および嵌合音検出システム
(51)【国際特許分類】
G01H 11/08 20060101AFI20220330BHJP
H01R 13/64 20060101ALI20220330BHJP
【ＦＩ】
G01H11/08 Z
H01R13/64
【請求項の数】
12
(21)【出願番号】P 2021003232
(22)【出願日】2021-01-13
【審査請求日】2021-01-14
(73)【特許権者】
【識別番号】511192595
【氏名又は名称】ディー・クルー・テクノロジーズ株式会社
(74)【代理人】
【識別番号】110000844
【氏名又は名称】特許業務法人 クレイア特許事務所
(72)【発明者】
【氏名】土田 幸宏
(72)【発明者】
【氏名】帆波 洋平
(72)【発明者】
【氏名】クリーサ ポール
(72)【発明者】
【氏名】渡辺 成治
【審査官】瓦井 秀憲
(56)【参考文献】
【文献】特開２００７－００４０７３（ＪＰ，Ａ）
【文献】特開２００８－２２６５０６（ＪＰ，Ａ）
【文献】特表２０１８－５０６１５７（ＪＰ，Ａ）
【文献】特開平０４－３７０６７３（ＪＰ，Ａ）
【文献】特開２００４－２７３１９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｈ １１／０８
Ｈ０１Ｒ １３／６４
(57)【特許請求の範囲】
【請求項1】
コネクタの嵌合音を採取する２つのＭＥＭＳマイクロフォンと、前記ＭＥＭＳマイクロフォンの出力信号が入力される信号処理部と、
前記信号処理部の出力信号が入力され、入力信号の振幅および／または周波数スペクトルの時間変化によって正常な嵌合音を判定する判定部と、
前記判定部が正常な嵌合音であると判定した場合に表示する表示部と、
前記信号処理部の出力である音声信号をイヤホンに送信する音声送信部と、
音声データ、および判定結果を外部端末に送信するとともに、前記信号処理部および前記判定部の設定パラメータを受信する通信部と、を含み、
２つの前記ＭＥＭＳマイクロフォンは作業者の腕の長手方向に、一方の前記ＭＥＭＳマイクロフォンが手の先端側になるように配置され、
前記信号処理部が、２つの前記ＭＥＭＳマイクロフォンのうちの一方の前記ＭＥＭＳマイクロフォンの出力信号と、他方の前記ＭＥＭＳマイクロフォンの出力を遅延し、反転した信号とを加算することにより、前記手の先端方向の指向性を高めた、嵌合音検出装置。
【請求項2】
前記信号処理部は、２つの前記ＭＥＭＳマイクロフォンの信号合成によって形成されるトラップフィルタと、ハイパスフィルタとを備え、前記トラップフィルタのトラップ周波数は、作業工程で作業装置が発生する正弦波の雑音信号の周波数に合わせて設定され、前記ハイパスフィルタは作業場の騒音を低減するように設定される、請求項１に記載の嵌合音検出装置。
【請求項3】
前記信号処理部における遅延時間は、前記トラップフィルタの前記トラップ周波数が前記正弦波の雑音信号の周波数と一致するように設定される、請求項２に記載の嵌合音検出装置。
【請求項4】
さらに加速度センサを備え、前記加速度センサの出力が所定の変化パターンを示した場合に、前記所定の変化パターンをトリガとして、一定期間、前記判定部が判定動作を行うとともに前記音声送信部が音声を送信する、請求項１から３のいずれか１項に記載の嵌合音検出装置。
【請求項5】
請求項１から４のいずれか１項に記載の嵌合音検出装置と、前記嵌合音検出装置に有線または無線で接続され、嵌合音を聞くことのできる前記イヤホンと、
前記嵌合音検出装置に有線または無線で接続され、前記嵌合音検出装置の設定を行うとともに、採取された嵌合音が正常かどうかを判定する前記外部端末と、を含む、嵌合音検出システム。
【請求項6】
さらに、前記嵌合音検出装置に無線で接続され、前記嵌合音検出装置の設定を行う制御端末を含む、請求項５に記載の嵌合音検出システム。
【請求項7】
さらに、前記嵌合音検出装置に有線で接続され、嵌合音検出ログを保存する外部記憶装置を含む、請求項５または６に記載の嵌合音検出システム。
【請求項8】
前記判定部または前記外部端末の嵌合音判定ブロックが、畳み込みニューラルネットワークを用いて前記嵌合音が正常かどうかを判定する、請求項５から７のいずれか1項に記載の嵌合音検出システム。
【請求項9】
前記嵌合音が正常かどうかの判定は、入力された前記嵌合音のデータを直並列変換して並列データとし、前記並列データを前記畳み込みニューラルネットワークに入力して判定する、請求項８に記載の嵌合音検出システム。
【請求項10】
前記嵌合音が正常かどうかの判定は、入力された前記嵌合音のデータをＦＦＴで周波数スペクトルに変換し、前記周波数スペクトルを前記畳み込みニューラルネットワークに入力して判定する、請求項８に記載の嵌合音検出システム。
【請求項11】
前記嵌合音が正常かどうかの判定は、入力された前記嵌合音のデータを複数の区間に分割した後、それぞれの区間のデータをＦＦＴで周波数スペクトルに変換し、前記区間ごとの前記周波数スペクトルからなる２次元データを前記畳み込みニューラルネットワークに入力して判定する、請求項８に記載の嵌合音検出システム。
【請求項12】
前記嵌合音の判定では、前記嵌合音が正常かどうかだけではなく、嵌合したコネクタの種別も判定する、請求項８から１１のいずれか１項に記載の嵌合音検出システム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業者がコネクタを嵌合したときに検出される嵌合音を検出し、正常な嵌合がなされたかどうかを判定するコネクタ嵌合音検出装置および嵌合音検出システムに関する。
【背景技術】
【0002】
コネクタ嵌合音検出装置に関連して例えば、以下の発明が出願されている。
特許文献１（特開２００７－００４０７３号公報）には、組立製造現場における用途を想定した集音装置につき、外部騒音の集音を低減し、部品組立音等をクリアに検出することを可能とし、さらに、作業性が良好で、破損防止も図られた集音装置が開示されている。
特許文献１に記載の集音装置は、マイクロフォンと、マイクロフォンに接続され、作業者の指部分（実施例では親指の裏側）に設けられる集音パイプと、を有し、集音パイプにて取り込んだ音をマイクロフォンにて集音する構成とする。また、マイクロフォンは、作業者の指の付け根部分から手首部分の間に配置される。
特許文献１（特開２００７－００４０７３号公報）には、組立製造現場における用途を想定した集音装置につき、外部騒音の集音を低減し、部品組立音等をクリアに検出することを可能とし、さらに、作業性が良好で、破損防止も図られた集音装置が開示されている。
特許文献１に記載の集音装置は、マイクロフォンと、マイクロフォンに接続され、作業者の指部分（実施例では親指の裏側）に設けられる集音パイプと、を有し、集音パイプにて取り込んだ音をマイクロフォンにて集音する構成とする。また、マイクロフォンは、作業者の指の付け根部分から手首部分の間に配置される。
【0003】
また、特許文献２（特開２００８－２２６５０６号公報）には、通電ケーブルの結線時にコネクタが確実にロックしたことを検知するコネクタの接続状態判定装置が開示されている。
特許文献２に記載の接続状態判定装置は、加速度センサを備え作業者の指先に着装する指サックと、加速度センサにより通電ケーブルのコネクタ嵌合時の加速度信号を転送する発信機と、発信機から加速度信号を受信する受信機と、受信機で受信した加速度信号を予め記憶された周波数、音圧レベル、時間、距離の適切な接続のマスタデータと比較解析してコネクタ接続状態の適否を判定する高速フーリエ変換器とから構成されている。
特許文献２に記載の接続状態判定装置は、加速度センサを備え作業者の指先に着装する指サックと、加速度センサにより通電ケーブルのコネクタ嵌合時の加速度信号を転送する発信機と、発信機から加速度信号を受信する受信機と、受信機で受信した加速度信号を予め記憶された周波数、音圧レベル、時間、距離の適切な接続のマスタデータと比較解析してコネクタ接続状態の適否を判定する高速フーリエ変換器とから構成されている。
【0004】
また、特許文献３（特開２００８－２９３７９４号公報）には、コネクタの結合状態の判定の正確性を向上させることができるコネクタ嵌合状態判定装置、コネクタ嵌合状態判定システム、及びコネクタ嵌合状態判定方法が開示されている。
特許文献３に記載のコネクタ嵌合状態判定装置は、作業者に取り付けられ、コネクタ嵌合時に測定された音情報及び加速度情報を含む検出結果が入力される入力部と、入力部に入力された検出結果に基づき、音情報が所定の条件を満たすか否かを判定する音情報判定部と、音情報判定部にて条件を満たした検出結果について、加速度情報が所定の条件を満たすか否かを判定する加速度情報判定部とを備える。この判定装置は、音情報及び加速度情報のいずれも所定の条件を満たすと判定された場合にのみコネクタ嵌合と判断する。
特許文献３に記載のコネクタ嵌合状態判定装置は、作業者に取り付けられ、コネクタ嵌合時に測定された音情報及び加速度情報を含む検出結果が入力される入力部と、入力部に入力された検出結果に基づき、音情報が所定の条件を満たすか否かを判定する音情報判定部と、音情報判定部にて条件を満たした検出結果について、加速度情報が所定の条件を満たすか否かを判定する加速度情報判定部とを備える。この判定装置は、音情報及び加速度情報のいずれも所定の条件を満たすと判定された場合にのみコネクタ嵌合と判断する。
【0005】
また、特許文献４（特開２０１０－１６１０４５号公報）には、環境雑音下においてもコネクタの嵌合が確実に行われているかを検証するコネクタ嵌合検査システム及び方法が開示されている。
特許文献４に記載のコネクタ嵌合検査システムでは、複数の検知装置と作業管理装置とが無線で接続される。複数の検知装置は、それぞれ、コネクタ嵌合時に生じる嵌合音を含む音響を検出信号に変換する音響変換手段と、音響変換手段から入力された検出信号を該検知装置毎に割り当てられている周波数に変調して電波として送信する送信手段と、を備える。作業管理装置は、複数の検知装置における送信手段から送信された各電波を受信して復調し音響信号に変換する受信手段と、受信手段から入力された音響信号を解析し、所定の周波数帯域における信号レベル閾値と比較して嵌合音の有無を判断する解析判断手段と、解析判断手段による判断結果を表示する出力手段とを備える。
特許文献４に記載のコネクタ嵌合検査システムでは、複数の検知装置と作業管理装置とが無線で接続される。複数の検知装置は、それぞれ、コネクタ嵌合時に生じる嵌合音を含む音響を検出信号に変換する音響変換手段と、音響変換手段から入力された検出信号を該検知装置毎に割り当てられている周波数に変調して電波として送信する送信手段と、を備える。作業管理装置は、複数の検知装置における送信手段から送信された各電波を受信して復調し音響信号に変換する受信手段と、受信手段から入力された音響信号を解析し、所定の周波数帯域における信号レベル閾値と比較して嵌合音の有無を判断する解析判断手段と、解析判断手段による判断結果を表示する出力手段とを備える。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００７－００４０７３号公報
【文献】特開２００８－２２６５０６号公報
【文献】特開２００８－２９３７９４号公報
【文献】特開２０１０－１６１０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
自動車製造、工作機械組立工場、ハーネス製造工場などの工場で製品の組立を行う際、ハーネスによる接続を行う工程が存在する。この接続を行う動作を「嵌合動作」と呼ぶ。
嵌合動作ではハーネス同士をコネクタを用いて嵌合させることを主目的としているが、嵌合が成立しているかどうかを判断するための基準が存在しないことが現場作業における課題となっている。現在は作業者の熟練度によって判断基準が異なるため、複数人で確認作業を実施することで品質基準を満足させている。
また、工場などの組立製造現場では、多くの外部騒音が存在するため、この外部騒音がマイクロフォンに集音されることになる。そして、この外部騒音がノイズとなってコネクタの嵌合音をクリアに検出することができず、嵌合が適切でないものまで合格判定としてしまう場合がある。
この外部騒音に対する対策としては、指向性マイクロフォンを使用することで外部雑音を抑制することが考えられるが、従来の指向性マイクロフォンでは、形状が例えば直径１０ｍｍ、長さ４０ｍｍ程度と大きく、作業者の手首、あるいは指先に固定することは困難であった。
また、組み立て製造現場では例えばトルクレンチ、電動ドライバ、作業工程で作業の節目に発生するピュアトーンなど、嵌合音の帯域と近い周波数の雑音が時々発生する。これらの雑音は３ｋＨｚから４ｋＨｚ付近で正弦波に近い狭帯域の音である。これらの雑音を除去するには雑音の周波数に対応したトラップフィルタを挿入することが有効であるが、急峻な周波数特性を備えたトラップフィルタを構成すること、また、トラップフィルタのトラップ周波数をピュアトーンの周波数に一致させることは困難であった。
嵌合動作ではハーネス同士をコネクタを用いて嵌合させることを主目的としているが、嵌合が成立しているかどうかを判断するための基準が存在しないことが現場作業における課題となっている。現在は作業者の熟練度によって判断基準が異なるため、複数人で確認作業を実施することで品質基準を満足させている。
また、工場などの組立製造現場では、多くの外部騒音が存在するため、この外部騒音がマイクロフォンに集音されることになる。そして、この外部騒音がノイズとなってコネクタの嵌合音をクリアに検出することができず、嵌合が適切でないものまで合格判定としてしまう場合がある。
この外部騒音に対する対策としては、指向性マイクロフォンを使用することで外部雑音を抑制することが考えられるが、従来の指向性マイクロフォンでは、形状が例えば直径１０ｍｍ、長さ４０ｍｍ程度と大きく、作業者の手首、あるいは指先に固定することは困難であった。
また、組み立て製造現場では例えばトルクレンチ、電動ドライバ、作業工程で作業の節目に発生するピュアトーンなど、嵌合音の帯域と近い周波数の雑音が時々発生する。これらの雑音は３ｋＨｚから４ｋＨｚ付近で正弦波に近い狭帯域の音である。これらの雑音を除去するには雑音の周波数に対応したトラップフィルタを挿入することが有効であるが、急峻な周波数特性を備えたトラップフィルタを構成すること、また、トラップフィルタのトラップ周波数をピュアトーンの周波数に一致させることは困難であった。
【0008】
特許文献１に記載の集音装置では、作業者の親指の裏側に設けられる集音パイプで集音した音を指の付け根部分から手首部分の間に配置されたマイクロフォンで電気信号に変換することによって、集音装置の指向性を高めている。
しかし、特許文献１に記載の集音装置の場合、親指の裏側から指の付け根部分または手首部分に向けて集音パイプを固定する必要があるため、作業者の作業の障害になるとの課題があった。また、嵌合音は集音パイプを介してマイクロフォンに伝導される必要があるため、集音装置としての感度が低下するとの課題もあった。
しかし、特許文献１に記載の集音装置の場合、親指の裏側から指の付け根部分または手首部分に向けて集音パイプを固定する必要があるため、作業者の作業の障害になるとの課題があった。また、嵌合音は集音パイプを介してマイクロフォンに伝導される必要があるため、集音装置としての感度が低下するとの課題もあった。
【0009】
特許文献２に記載の接続状態判定装置は、作業者の指先に着装された加速度センサで検出した加速度信号を予め記憶された周波数、音圧レベル、時間、距離の適切な接続のマスタデータと比較解析してコネクタ接続状態の適否を判定する。しかし、特許文献２に記載の接続状態判定装置では、コネクタの嵌合音そのものではなく、作業者の指先の動きを検出するものであるため、作業者ごとに加速度信号が異なり、正確な接続ができているかどうかの判定について誤りが発生するとの課題があった。
【0010】
特許文献３に記載のコネクタ嵌合状態判定装置は、音情報と加速度情報とを入力し、音情報及び加速度情報のいずれも所定の条件を満たすと判定された場合にのみコネクタ嵌合と判断する。特許文献３では、人差し指と親指とに音及び加速度を検出する一体型のマイク・加速度センサを装着しており、人差し指と親指とに一体型のマイク・加速度センサを装着することで、より嵌合音の入力感度を上げることができる。しかし、人差し指と親指とに一体型のマイク・加速度センサを装着した場合、やはり作業者の作業の障害になるとの課題があった。
【0011】
特許文献４に記載のコネクタ嵌合検査システムでは、検知装置は作業者の手袋の中に、あるいは、ベルトにより作業者の手首に取り付けられている。特許文献４では、作業者による嵌合音以外の作業の音による誤判定に対する対策として、音の持続時間が長い場合は嵌合音ではないと判断するとしている。しかし、嵌合音以外の作業の音は特許文献４に記載のようにトルクレンチだけに限定されるわけではない。したがって、嵌合音以外の作業の音による誤判定をなくするためには、作業場の雑音、特に嵌合音の帯域に近い雑音を抑制する必要がある。
【0012】
本発明の主な目的は、コネクタ嵌合音検出装置に作業者の手の先端方向の感度が高くなるような指向性を持たせるとともに、トラップフィルタで嵌合音に近いピュアトーンを抑制することにより、作業場の雑音の影響を極力排除することのできるコネクタ嵌合音検出装置を提供することにある。
【課題を解決するための手段】
【0013】
（１）
一局面に従う嵌合音検出装置は、コネクタの嵌合音を採取する２つのＭＥＭＳマイクロフォンと、ＭＥＭＳマイクロフォンの出力信号が入力される信号処理部と、信号処理部の出力信号が入力され、入力信号の振幅および／または周波数スペクトルの時間変化によって正常な嵌合音を判定する判定部と、判定部が正常な嵌合音であると判定した場合に点滅表示する表示部と、信号処理部の出力である音声信号を有線または無線でイヤホンに送信する音声送信部と、音声データ、および判定結果を外部端末に送信するとともに、信号処理部および判定部の設定パラメータを受信する通信部と、を含み、２つのＭＥＭＳマイクロフォンは作業者の腕の長手方向に、一方のＭＥＭＳマイクロフォンが手の先端側になるように配置され、信号処理部が、２つのＭＥＭＳマイクロフォンのうちの一方のＭＥＭＳマイクロフォンの出力信号と、他方のＭＥＭＳマイクロフォンの出力を遅延し、反転した信号とを加算することにより、手の先端方向の指向性を高めている。
一局面に従う嵌合音検出装置は、コネクタの嵌合音を採取する２つのＭＥＭＳマイクロフォンと、ＭＥＭＳマイクロフォンの出力信号が入力される信号処理部と、信号処理部の出力信号が入力され、入力信号の振幅および／または周波数スペクトルの時間変化によって正常な嵌合音を判定する判定部と、判定部が正常な嵌合音であると判定した場合に点滅表示する表示部と、信号処理部の出力である音声信号を有線または無線でイヤホンに送信する音声送信部と、音声データ、および判定結果を外部端末に送信するとともに、信号処理部および判定部の設定パラメータを受信する通信部と、を含み、２つのＭＥＭＳマイクロフォンは作業者の腕の長手方向に、一方のＭＥＭＳマイクロフォンが手の先端側になるように配置され、信号処理部が、２つのＭＥＭＳマイクロフォンのうちの一方のＭＥＭＳマイクロフォンの出力信号と、他方のＭＥＭＳマイクロフォンの出力を遅延し、反転した信号とを加算することにより、手の先端方向の指向性を高めている。
【0014】
この場合、２つのマイクロフォンの入力信号同士の遅延時間は、入力音声の２つのマイクロフォンへの入射角度と２つのマイクロフォンの間の距離で決定され、２つのマイクロフォンのうち、他方のマイクロフォンの側から音声が入力された場合、他方のマイクロフォンの入力信号を、２つのマイクロフォンの入力信号同士の遅延時間と同じ時間遅延し、さらに反転して加算することにより、入力信号を大幅に減衰することができる。すなわち、２つのマイクロフォンの間の遅延時間が信号処理部の内部の遅延時間と同じ時間となる方向は、指向性の死角となる。
したがって、入射角度を２つのマイクロフォンを結んだ方向に近づけた場合には、他方のマイクロフォン側は死角となり、逆に一方のマイクロフォン側は感度が高くなる。すなわち、作業者の腕の長手方向に、一方のマイクロフォンが手の先端側になるように配置することで、手の先端方向の指向性を高めたコネクタ嵌合音検出装置を実現することができる。
そして、コネクタ嵌合音検出装置が手の先端方向の指向性をそなえることによって、手の先端方向から入射される嵌合音の感度を向上させ、その他の方向から入射される雑音を抑制することができる。
また、一局面に従うコネクタ嵌合音検出装置では、マイクロフォンとして、例えば１ｍｍ×１ｍｍ程度の、非常に外形の小さいＭＥＭＳマイクロフォンを用いることによって、手首に装着することのできる、小型薄型のコネクタ嵌合音検出装置を実現している。
したがって、入射角度を２つのマイクロフォンを結んだ方向に近づけた場合には、他方のマイクロフォン側は死角となり、逆に一方のマイクロフォン側は感度が高くなる。すなわち、作業者の腕の長手方向に、一方のマイクロフォンが手の先端側になるように配置することで、手の先端方向の指向性を高めたコネクタ嵌合音検出装置を実現することができる。
そして、コネクタ嵌合音検出装置が手の先端方向の指向性をそなえることによって、手の先端方向から入射される嵌合音の感度を向上させ、その他の方向から入射される雑音を抑制することができる。
また、一局面に従うコネクタ嵌合音検出装置では、マイクロフォンとして、例えば１ｍｍ×１ｍｍ程度の、非常に外形の小さいＭＥＭＳマイクロフォンを用いることによって、手首に装着することのできる、小型薄型のコネクタ嵌合音検出装置を実現している。
【0015】
（２）
第２の発明にかかる嵌合音検出装置は、一局面に従う嵌合音検出装置において、信号処理部は、２つのＭＥＭＳマイクロフォンの信号合成によって形成されるトラップフィルタと、ハイパスフィルタとを備え、トラップフィルタのトラップ周波数は、作業工程で作業装置が発生する正弦波の雑音信号の周波数に合わせて設定され、ハイパスフィルタは作業場の騒音を低減するように設定されてもよい。
第２の発明にかかる嵌合音検出装置は、一局面に従う嵌合音検出装置において、信号処理部は、２つのＭＥＭＳマイクロフォンの信号合成によって形成されるトラップフィルタと、ハイパスフィルタとを備え、トラップフィルタのトラップ周波数は、作業工程で作業装置が発生する正弦波の雑音信号の周波数に合わせて設定され、ハイパスフィルタは作業場の騒音を低減するように設定されてもよい。
【0016】
工場などの組立製造現場では、通常、嵌合音より周波数が低い多くの外部騒音と、嵌合音の帯域に近い周波数のピュアトーンなどの雑音とが存在する。なかでも、嵌合音の感度を落とすことなくピュアトーンを除去することは通常のバンドパスフィルタなどでは困難である。
第２の発明にかかる嵌合音検出装置では、２つのＭＥＭＳマイクロフォンのうちの一方のＭＥＭＳマイクロフォンの出力信号と、他方のＭＥＭＳマイクロフォンの出力を遅延、反転した信号とを加算することによって、いわゆる櫛形の周波数特性を形成することができる。この櫛形の周波数特性をトラップフィルタとして用い、トラップ周波数をピュアトーンの周波数に一致させることによってピュアトーンの雑音を除去している。
また、嵌合音より周波数が低い多くの外部騒音に対してはハイパスフィルタを用いることで、外部騒音を除去している。
第２の発明にかかる嵌合音検出装置では、２つのＭＥＭＳマイクロフォンのうちの一方のＭＥＭＳマイクロフォンの出力信号と、他方のＭＥＭＳマイクロフォンの出力を遅延、反転した信号とを加算することによって、いわゆる櫛形の周波数特性を形成することができる。この櫛形の周波数特性をトラップフィルタとして用い、トラップ周波数をピュアトーンの周波数に一致させることによってピュアトーンの雑音を除去している。
また、嵌合音より周波数が低い多くの外部騒音に対してはハイパスフィルタを用いることで、外部騒音を除去している。
【0017】
（３）
第３の発明にかかる嵌合音検出装置は、第２の発明にかかる嵌合音検出装置において、信号処理部における遅延時間は、トラップフィルタのトラップ周波数が正弦波の雑音信号の周波数と一致するように設定されてもよい。
第３の発明にかかる嵌合音検出装置は、第２の発明にかかる嵌合音検出装置において、信号処理部における遅延時間は、トラップフィルタのトラップ周波数が正弦波の雑音信号の周波数と一致するように設定されてもよい。
【0018】
第３の発明にかかる嵌合音検出装置では、組立製造現場において、正弦波に近いピュアトーンの雑音が最も抑制できるように信号処理部における遅延時間を調整することで、嵌合音検出の精度を高めている。
【0019】
（４）
第４の発明にかかる嵌合音検出装置は、一局面から第３の発明にかかる嵌合音検出装置において、さらに加速度センサを備え、加速度センサの出力が所定の変化パターンを示した場合に、所定の変化パターンをトリガとして、一定期間、判定部が判定動作を行うとともに音声送信部が音声を送信してもよい。
第４の発明にかかる嵌合音検出装置は、一局面から第３の発明にかかる嵌合音検出装置において、さらに加速度センサを備え、加速度センサの出力が所定の変化パターンを示した場合に、所定の変化パターンをトリガとして、一定期間、判定部が判定動作を行うとともに音声送信部が音声を送信してもよい。
【0020】
作業者がコネクタを嵌合する場合、まず、手を動かしてコネクタを嵌合しようとする動きがあって、そのあと、コネクタが嵌合されて嵌合音が発生する。したがって、作業者がコネクタを嵌合しようとする動きを作業者の手に配置された加速度センサの出力の所定の変化パターンで検出し、所定の変化パターンをトリガとして、一定期間、判定部が判定動作を行うことによって、正常な嵌合音かどうかの判定の精度を向上させることができる。また、所定の変化パターンをトリガとして、一定期間、音声送信部が音声を送信することによって、イヤホンで音声を聞く作業者の集中力を高めるとともに、疲労を軽減することができる。
なお、作業者の手に加速度センサではなく振動センサを配置し、振動センサの出力振幅が所定のレベル以上の期間、判定部が判定動作を行うとともに、音声送信部が音声を送信するように構成してもよい。
なお、作業者の手に加速度センサではなく振動センサを配置し、振動センサの出力振幅が所定のレベル以上の期間、判定部が判定動作を行うとともに、音声送信部が音声を送信するように構成してもよい。
【0021】
（５）
他の局面に従う嵌合音検出システムは、一局面から第４の発明に従う嵌合音検出装置と、嵌合音検出装置に有線または無線で接続され、嵌合音を聞くことのできるイヤホンと、嵌合音検出装置に有線または無線で接続され、嵌合音検出装置の設定を行うとともに、採取された嵌合音が正常かどうかを判定する外部端末と、を含む。
他の局面に従う嵌合音検出システムは、一局面から第４の発明に従う嵌合音検出装置と、嵌合音検出装置に有線または無線で接続され、嵌合音を聞くことのできるイヤホンと、嵌合音検出装置に有線または無線で接続され、嵌合音検出装置の設定を行うとともに、採取された嵌合音が正常かどうかを判定する外部端末と、を含む。
【0022】
この場合、作業者がイヤホンで嵌合音を聞くことで正常に嵌合されたかどうかを判断するとともに、嵌合音検出装置の設定をパーソナルコンピュータなどの外部端末から詳細に設定することができ、さらに外部端末により、より高精度な嵌合音の判定をすることができる。
【0023】
（６）
第６の発明にかかる嵌合音検出システムは、他の局面に従う嵌合音検出システムにおいて、さらに、嵌合音検出装置に無線で接続され、嵌合音検出装置の設定を行う制御端末を含んでもよい。
第６の発明にかかる嵌合音検出システムは、他の局面に従う嵌合音検出システムにおいて、さらに、嵌合音検出装置に無線で接続され、嵌合音検出装置の設定を行う制御端末を含んでもよい。
【0024】
この場合、スマートフォンなどの制御端末により、嵌合作業の現場でトラップフィルタのトラップ周波数を決定する信号処理部の遅延時間などの設定を行うことができて便利である。
【0025】
（７）
第７の発明にかかる嵌合音検出システムは、他の局面から第６の発明にかかる嵌合音検出システムにおいて、さらに、嵌合音検出装置に有線で接続され、嵌合音検出ログを保存する外部記憶装置を含んでもよい。外部記憶装置としては、例えばＵＳＢストレージ、ＳＤカードなどが含まれる。
第７の発明にかかる嵌合音検出システムは、他の局面から第６の発明にかかる嵌合音検出システムにおいて、さらに、嵌合音検出装置に有線で接続され、嵌合音検出ログを保存する外部記憶装置を含んでもよい。外部記憶装置としては、例えばＵＳＢストレージ、ＳＤカードなどが含まれる。
【0026】
この場合、嵌合音検出のログデータを外部記憶装置に保存することにより、嵌合不良が発生したときなどの不良解析等に利用することができる。
【0027】
（８）
第８の発明にかかる嵌合音検出システムは、他の局面から第７の発明にかかる嵌合音検出システムにおいて、判定部または外部端末の嵌合音判定ブロックが、畳み込みニューラルネットワークを用いて嵌合音が正常かどうかを判定してもよい。
第８の発明にかかる嵌合音検出システムは、他の局面から第７の発明にかかる嵌合音検出システムにおいて、判定部または外部端末の嵌合音判定ブロックが、畳み込みニューラルネットワークを用いて嵌合音が正常かどうかを判定してもよい。
【0028】
この場合、嵌合音判定に畳み込みニューラルネットワークを用い、多数の正常な嵌合音および正常でない嵌合音のデータを収集して畳み込みニューラルネットワークの係数を学習させることにより、より正確に、嵌合音が正常な嵌合による嵌合音であるかどうかを判定することができる。
【0029】
（９）
第９の発明にかかる嵌合音検出システムは、第８の発明にかかる嵌合音検出システムにおいて、嵌合音が正常かどうかの判定は、入力された嵌合音のデータを直並列変換して並列データとし、並列データを畳み込みニューラルネットワークに入力して判定してもよい。
第９の発明にかかる嵌合音検出システムは、第８の発明にかかる嵌合音検出システムにおいて、嵌合音が正常かどうかの判定は、入力された嵌合音のデータを直並列変換して並列データとし、並列データを畳み込みニューラルネットワークに入力して判定してもよい。
【0030】
この場合、入力された嵌合音のデータをそのまま畳み込みニューラルネットワークに入力するため、ＦＦＴ処理が不要であり、比較的処理能力の低いコンピュータでも正常な嵌合音かどうかを判定することができる。
【0031】
（１０）
第１０の発明にかかる嵌合音検出システムは、第８の発明にかかる嵌合音検出システムにおいて、嵌合音が正常かどうかの判定は、入力された嵌合音のデータをＦＦＴで周波数スペクトルに変換し、周波数スペクトルを畳み込みニューラルネットワークに入力して判定してもよい。
第１０の発明にかかる嵌合音検出システムは、第８の発明にかかる嵌合音検出システムにおいて、嵌合音が正常かどうかの判定は、入力された嵌合音のデータをＦＦＴで周波数スペクトルに変換し、周波数スペクトルを畳み込みニューラルネットワークに入力して判定してもよい。
【0032】
嵌合音は周波数スペクトルに特徴があるため、第９の発明にかかる嵌合音検出システムでは、音の信号そのものではなく、周波数スペクトルを用いて判定することにより、より正確な判定をすることができる。
【0033】
（１１）
第１１の発明にかかる嵌合音検出システムは、第８の発明にかかる嵌合音検出システムにおいて、嵌合音が正常かどうかの判定は、入力された嵌合音のデータを複数の区間に分割した後、それぞれの区間のデータをＦＦＴで周波数スペクトルに変換し、区間ごとの周波数スペクトルからなる２次元データを畳み込みニューラルネットワークに入力して判定してもよい。
第１１の発明にかかる嵌合音検出システムは、第８の発明にかかる嵌合音検出システムにおいて、嵌合音が正常かどうかの判定は、入力された嵌合音のデータを複数の区間に分割した後、それぞれの区間のデータをＦＦＴで周波数スペクトルに変換し、区間ごとの周波数スペクトルからなる２次元データを畳み込みニューラルネットワークに入力して判定してもよい。
【0034】
音声信号のデータを複数の区間に分割した後、それぞれの区間のデータをＦＦＴで周波数スペクトルに変換したデータとは、いわゆるスペクトログラムのことである。コネクタの嵌合では、コネクタ同士が完全に嵌合するまでの間にいくつかのステップがあり、それぞれのステップで特徴的な周波数スペクトルが異なる。このため、第１０の発明にかかる嵌合音検出システムでは、入力された嵌合音のデータを複数の区間に分割した後、それぞれの区間のデータをＦＦＴで周波数スペクトルに変換しスペクトログラムを作成してから、その、スペクトログラムを畳み込みニューラルネットワークに入力して判定している。
【0035】
（１２）
第１２の発明にかかる嵌合音検出システムは、第８から第１１の発明にかかる嵌合音検出システムにおいて、嵌合音の判定では、嵌合音が正常かどうかだけではなく、嵌合したコネクタの種別も判定するようにしてもよい。
第１２の発明にかかる嵌合音検出システムは、第８から第１１の発明にかかる嵌合音検出システムにおいて、嵌合音の判定では、嵌合音が正常かどうかだけではなく、嵌合したコネクタの種別も判定するようにしてもよい。
【0036】
コネクタの嵌合音の周波数スペクトルまたはスペクトログラムは、嵌合するコネクタの種別によって異なる。したがって、畳み込みニューラルネットワークの学習サンプルのデータをコネクタの種類ごとに作成し学習させることによって、周波数スペクトルまたはスペクトログラムを用いてコネクタの種別を判別することができる。
【図面の簡単な説明】
【0037】
【図1】第１の実施形態のコネクタ嵌合音検出システムの構成を示す模式図である。
【図2】第１の実施形態のコネクタ嵌合音検出装置の構成を示す模式図である。
【図3】２つのマイクロフォンと遅延器、減算器による指向性マイクロフォンの構成を示す模式図である。
【図4】マイクロフォンの指向性の一例を示すグラフである。
【図5】マイクロフォンの指向性の他の例を示すグラフである。
【図6】トラップフィルタの周波数特性の一例を示すグラフである。
【図7】トラップフィルタの周波数特性の他の例を示すグラフである。
【図8】Ｎｕｌｌ Ｂｅａｍｆｏｒｍｉｎｇによる指向性マイクロフォンの構成を示す模式図である。
【図9】センサの出力をトリガとして音声信号をゲートする場合の、コネクタ嵌合音検出装置の動作を示す模式図である。
【図10】第２の実施形態の畳み込みニューラルネットワークを用いた嵌合音判定ブロックの構成の一例を示す模式図である。
【図11】第２の実施形態で判定を行った３種類のコネクタの判定結果である。
【図12】第２の実施形態の畳み込みニューラルネットワークを用いた嵌合音判定ブロックの構成の他の例を示す模式図である。
【図13】第２の実施形態の畳み込みニューラルネットワークを用いた嵌合音判定ブロックの構成のさらに他の例を示す模式図である。
【発明を実施するための形態】
【0038】
以下、図面を参照しつつ、本発明の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付す。また、同符号の場合には、それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰り返さないものとする。
【0039】
［第１の実施形態］
（嵌合音検出システム２００）
図１は第１の実施形態の嵌合音検出システム２００の構成を示す模式図であり、図２は嵌合音検出システム２００に用いられる嵌合音検出装置１００の構成を示す模式図である。
図１において、コネクタを嵌合する作業者１５０は手首にコネクタの嵌合音検出装置１００を、耳にイヤホン１１０を装着した状態で嵌合動作を行う。コネクタが嵌合されると嵌合音が発生し、この嵌合音は嵌合音検出装置１００の２つのＭＥＭＳマイクロフォン１０で集音され、雑音を取り除かれた音が、有線または無線でイヤホン１１０に出力され、作業者１５０はその音を聞いてコネクタが正常に嵌合されたかどうかを判断することができる。また、コネクタの嵌合音検出装置１００にはコネクタが正常に嵌合されたかどうかを簡易に判定する判定部６０が備えられており、正常に嵌合されたと判定された場合には表示部であるＬＥＤ５０が点滅して作業者１５０に報知する。
（嵌合音検出システム２００）
図１は第１の実施形態の嵌合音検出システム２００の構成を示す模式図であり、図２は嵌合音検出システム２００に用いられる嵌合音検出装置１００の構成を示す模式図である。
図１において、コネクタを嵌合する作業者１５０は手首にコネクタの嵌合音検出装置１００を、耳にイヤホン１１０を装着した状態で嵌合動作を行う。コネクタが嵌合されると嵌合音が発生し、この嵌合音は嵌合音検出装置１００の２つのＭＥＭＳマイクロフォン１０で集音され、雑音を取り除かれた音が、有線または無線でイヤホン１１０に出力され、作業者１５０はその音を聞いてコネクタが正常に嵌合されたかどうかを判断することができる。また、コネクタの嵌合音検出装置１００にはコネクタが正常に嵌合されたかどうかを簡易に判定する判定部６０が備えられており、正常に嵌合されたと判定された場合には表示部であるＬＥＤ５０が点滅して作業者１５０に報知する。
【0040】
嵌合音検出装置１００はさらに、外部端末１３０（例えばパーソナルコンピュータ）と有線または無線で接続されており、外部端末１３０は嵌合音検出装置１００の信号処理部２０および判定部６０のパラメータなどの設定を行うとともに、嵌合音検出装置１００からＭＥＭＳマイクロフォン１０の音声データ、判定結果および加速度センサ４０の信号を受信し、より高精度の嵌合音判定を行う。
嵌合音検出装置１００は外部端末１３０ではなく、スマートフォンなどの制御端末１２０と無線で接続されてもよい。この場合、嵌合音検出装置１００は、基本的な設定を外部端末１３０で行ったうえで、作業現場での調整が必要な、例えばトラップフィルタのトラップ周波数などを制御端末１２０で設定することが望ましい。
嵌合音検出装置１００はさらに、ＵＳＢストレージ、ＳＤカードなどの外部記憶装置１４０と有線で接続されてもよい。この場合、外部記憶装置１４０により多数の嵌合音検出ログを保存することができ、嵌合不良が発生したときなどの不良解析等に利用することができる。
嵌合音検出装置１００は外部端末１３０ではなく、スマートフォンなどの制御端末１２０と無線で接続されてもよい。この場合、嵌合音検出装置１００は、基本的な設定を外部端末１３０で行ったうえで、作業現場での調整が必要な、例えばトラップフィルタのトラップ周波数などを制御端末１２０で設定することが望ましい。
嵌合音検出装置１００はさらに、ＵＳＢストレージ、ＳＤカードなどの外部記憶装置１４０と有線で接続されてもよい。この場合、外部記憶装置１４０により多数の嵌合音検出ログを保存することができ、嵌合不良が発生したときなどの不良解析等に利用することができる。
【0041】
嵌合音検出装置１００は、２つのＭＥＭＳマイクロフォン１０、信号処理部２０、音声送信部３０、加速度センサ４０、ＬＥＤ５０、判定部６０、通信部７０を備える。２つのＭＥＭＳマイクロフォン１０は作業者１５０の腕の長手方向に、一方のＭＥＭＳマイクロフォン１０が手の先端側になるように配置される。
【0042】
（信号処理部２０）
２つのＭＥＭＳマイクロフォン１０の出力は信号処理部２０に入力され、信号処理部２０は、マイクロフォンに指向性を付与するとともに、嵌合音の帯域に近い周波数のピュアトーンなどの雑音を除去するためのトラップフィルタを構成する。信号処理部２０は、さらに、通常、嵌合音より周波数が低い、作業場の多くの外部騒音を除去するためのハイパスフィルタも備える。
２つのＭＥＭＳマイクロフォン１０の出力は信号処理部２０に入力され、信号処理部２０は、マイクロフォンに指向性を付与するとともに、嵌合音の帯域に近い周波数のピュアトーンなどの雑音を除去するためのトラップフィルタを構成する。信号処理部２０は、さらに、通常、嵌合音より周波数が低い、作業場の多くの外部騒音を除去するためのハイパスフィルタも備える。
【0043】
図３は、２つのＭＥＭＳマイクロフォン１０と信号処理部２０に内蔵された遅延器２１、減算器２２によるマイクロフォンの指向性およびトラップフィルタ機能の模式的構成図、図４および図５はマイクロフォンの指向性の一例および他の例を示すグラフ、図６および図７はトラップフィルタの周波数特性の一例および他の例を示すグラフである。
図３において、入力信号はマイクロフォンＭ１およびＭ２を結んだ線のＭ１側に対して、入射角θで入射される。入射された信号のうちＭ２の出力は遅延器２１で時間ｔ1遅延された後減算器２２でＭ１の出力から減算される。この場合、減算器２２の出力信号ｙは、下記数式１で表される。
図３において、入力信号はマイクロフォンＭ１およびＭ２を結んだ線のＭ１側に対して、入射角θで入射される。入射された信号のうちＭ２の出力は遅延器２１で時間ｔ1遅延された後減算器２２でＭ１の出力から減算される。この場合、減算器２２の出力信号ｙは、下記数式１で表される。
【0044】
（式１）
【0045】
ここで、ｗは入力信号の角周波数、ｅｊ＊ｗ＊ｔはＭＥＭＳマイクロフォン１０の出力信号、ｔ１は遅延器の遅延時間、ｄ０は２つのＭＥＭＳマイクロフォン１０の間の距離、ｖは音速である。
数式１によれば、減算器２２の出力の入射角θに対する依存性は入力信号の周波数と遅延器２１の遅延時間で決定される。以下、上記数式１にもとづいて計算した場合の、マイクロフォンの指向性およびトラップフィルタの周波数特性を示す。
図４は、２つのマイクの距離ｄ０を約２８ｍｍ、回路遅延ｔ１を約８３μＳとした場合の１ｋＨｚ，２ｋＨｚ，および５ｋＨｚにおけるマイクロフォンの指向性を示すグラフである。また、図５は回路遅延ｔ１を１００μＳに変更した場合のマイクロフォンの指向性を示すグラフである。
図４、図５より２つのＭＥＭＳマイクロフォン１０と信号処理部２０に内蔵された遅延器２１、減算器２２によるマイクロフォンの指向性は、手の先端方向に相当するＭ１側が入力感度が高くなり、手の先端側と逆方向に相当するＭ２側の入力感度が低くなることがわかる。また、回路遅延ｔ１を大きくしていくと１ｋＨｚの指向性が少し弱くなることもわかる。また、図５では入射角０度での５ｋＨｚの感度が１ｋＨｚと比較して約１０ｄＢ低下している。
数式１によれば、減算器２２の出力の入射角θに対する依存性は入力信号の周波数と遅延器２１の遅延時間で決定される。以下、上記数式１にもとづいて計算した場合の、マイクロフォンの指向性およびトラップフィルタの周波数特性を示す。
図４は、２つのマイクの距離ｄ０を約２８ｍｍ、回路遅延ｔ１を約８３μＳとした場合の１ｋＨｚ，２ｋＨｚ，および５ｋＨｚにおけるマイクロフォンの指向性を示すグラフである。また、図５は回路遅延ｔ１を１００μＳに変更した場合のマイクロフォンの指向性を示すグラフである。
図４、図５より２つのＭＥＭＳマイクロフォン１０と信号処理部２０に内蔵された遅延器２１、減算器２２によるマイクロフォンの指向性は、手の先端方向に相当するＭ１側が入力感度が高くなり、手の先端側と逆方向に相当するＭ２側の入力感度が低くなることがわかる。また、回路遅延ｔ１を大きくしていくと１ｋＨｚの指向性が少し弱くなることもわかる。また、図５では入射角０度での５ｋＨｚの感度が１ｋＨｚと比較して約１０ｄＢ低下している。
【0046】
トラップフィルタは、２つのＭＥＭＳマイクロフォン１０の信号合成によって形成される。
図６は、入射角θを０度、２つのマイクの距離ｄ０を約２８ｍｍ、回路遅延ｔ１を約８３μＳとした場合の周波数特性を示す。この場合、トラップフィルタのトラップ周波数は約６ｋＨｚとなっており、正弦波に近い雑音信号の周波数が６ｋＨｚ付近であった場合、雑音信号を大幅に減衰することができる。
この、トラップ周波数は回路遅延ｔ１の値を変更することで調整することができる。図７は、回路遅延ｔ１を１００μＳに変更した場合の周波数特性を示す。回路遅延ｔ１を大きくすることで、トラップ周波数が６ｋＨｚから５．５ｋＨｚに変化している。
したがって、遅延器２１の遅延時間の決定にあたっては、作業工程で作業の節目に発生する正弦波に近い雑音信号を入力した状態で、その雑音信号を抑圧できるように遅延時間を調整することが望ましい。
図６は、入射角θを０度、２つのマイクの距離ｄ０を約２８ｍｍ、回路遅延ｔ１を約８３μＳとした場合の周波数特性を示す。この場合、トラップフィルタのトラップ周波数は約６ｋＨｚとなっており、正弦波に近い雑音信号の周波数が６ｋＨｚ付近であった場合、雑音信号を大幅に減衰することができる。
この、トラップ周波数は回路遅延ｔ１の値を変更することで調整することができる。図７は、回路遅延ｔ１を１００μＳに変更した場合の周波数特性を示す。回路遅延ｔ１を大きくすることで、トラップ周波数が６ｋＨｚから５．５ｋＨｚに変化している。
したがって、遅延器２１の遅延時間の決定にあたっては、作業工程で作業の節目に発生する正弦波に近い雑音信号を入力した状態で、その雑音信号を抑圧できるように遅延時間を調整することが望ましい。
【0047】
第１の実施形態の２つのマイクを使った指向性形成方法は一般的にＤｅｌａｙ ａｎｄ Ｓｕｍと呼ばれている方法であるが、Ｄｅｌａｙ ａｎｄ Ｓｕｍに代わって、Ｎｕｌｌ Ｂｅａｍｆｏｒｍｉｎｇと呼ばれている方法を用いてもよい。この場合の構成を図８に示す。Ｄｅｌａｙ ａｎｄ Ｓｕｍ法では一方のマイクロフォンの出力に遅延器２１を設けるが、Ｎｕｌｌ Ｂｅａｍｆｏｒｍｉｎｇ法では、２つのマイクロフォンの出力のそれぞれにフィルタＦ１とフィルタＦ２を挿入し、それおらのフィルタの出力を加算して出力とする。
このとき、フィルタＦ１の伝達関数をＧ１（ｗ）、フィルタＦ２の伝達関数をＧ２（ｗ）とすると、信号が０度の方向から入力する場合の出力ｙ１は下記数式２、信号が１８０度の方向から入力する場合の出力ｙ２は下記数式２のように計算される。本発明の目的である、０度方向の指向性を高くするためには、ｙ１=ej*w*t、ｙ２=０として、Ｇ１（ｗ）およびＧ２（ｗ）を求めればよい。
このとき、フィルタＦ１の伝達関数をＧ１（ｗ）、フィルタＦ２の伝達関数をＧ２（ｗ）とすると、信号が０度の方向から入力する場合の出力ｙ１は下記数式２、信号が１８０度の方向から入力する場合の出力ｙ２は下記数式２のように計算される。本発明の目的である、０度方向の指向性を高くするためには、ｙ１=ej*w*t、ｙ２=０として、Ｇ１（ｗ）およびＧ２（ｗ）を求めればよい。
【0048】
（式２）
【0049】
（式３）
【0050】
（判定部６０）
信号処理部２０の出力は判定部６０にも入力され、嵌合音が正常な嵌合による嵌合音であるかどうかが判定される。判定方法としては、例えば、入力信号の振幅および／または周波数スペクトルの時間変化を、所定の基準振幅および／または周波数スペクトルの時間変化と比較して、その類似度によって判定してもよい。この場合も、マイクロフォンの指向性、およびトラップフィルタとハイパスフィルタの挿入により入力信号のＳＮ比が向上しているため、雑音の混入による誤判定を防止することができる。
判定部６０は嵌合音が正常な嵌合による嵌合音であると判定した場合には、ＬＥＤ５０を点滅させる。作業者１５０は、イヤホン１１０で聞いた嵌合音と合わせてＬＥＤ５０の点滅を確認することによって、嵌合音が正常な嵌合による嵌合音であるかどうかをさらに正確に判断することができる。
信号処理部２０の出力は判定部６０にも入力され、嵌合音が正常な嵌合による嵌合音であるかどうかが判定される。判定方法としては、例えば、入力信号の振幅および／または周波数スペクトルの時間変化を、所定の基準振幅および／または周波数スペクトルの時間変化と比較して、その類似度によって判定してもよい。この場合も、マイクロフォンの指向性、およびトラップフィルタとハイパスフィルタの挿入により入力信号のＳＮ比が向上しているため、雑音の混入による誤判定を防止することができる。
判定部６０は嵌合音が正常な嵌合による嵌合音であると判定した場合には、ＬＥＤ５０を点滅させる。作業者１５０は、イヤホン１１０で聞いた嵌合音と合わせてＬＥＤ５０の点滅を確認することによって、嵌合音が正常な嵌合による嵌合音であるかどうかをさらに正確に判断することができる。
【0051】
判定部６０は入力振幅が所定のレベル以上となると、判定動作を開始するように設定することができる。ただし、この場合、混入した雑音によって判定動作が開始され、その直後に作業者１５０が嵌合動作をした場合などに、正常な嵌合であるにもかかわらず正常な嵌合であると判定されない場合がある。
また、作業者１５０がイヤホン１１０で嵌合音を聞いて判断する場合も、常時イヤホン１１０から嵌合音以外の雑音を聞いていると、作業者１５０の集中力が低下して正常な嵌合音かどうかの判断を誤る場合がある。
このような誤った判定、および判断を防止するためには、作業者１５０の指、または手首などに加速度センサ４０を備え、加速度センサ４０の出力が所定の変化パターンを示した場合に、所定の変化パターンをトリガとして、一定期間、判定部６０が判定動作を行うとともに音声送信部３０が音声を送信することが望ましい。
また、作業者１５０がイヤホン１１０で嵌合音を聞いて判断する場合も、常時イヤホン１１０から嵌合音以外の雑音を聞いていると、作業者１５０の集中力が低下して正常な嵌合音かどうかの判断を誤る場合がある。
このような誤った判定、および判断を防止するためには、作業者１５０の指、または手首などに加速度センサ４０を備え、加速度センサ４０の出力が所定の変化パターンを示した場合に、所定の変化パターンをトリガとして、一定期間、判定部６０が判定動作を行うとともに音声送信部３０が音声を送信することが望ましい。
【0052】
図９は加速度センサ４０の出力をトリガとして音声信号をゲートする場合の、嵌合音検出装置１００の動作を示す模式図である。
図９において、入力信号Ｓ１は嵌合音と雑音とを含む信号である。トリガ信号Ｓ２は作業者１５０が嵌合動作をした場合の加速度センサ４０の出力にもとづいて発生される信号である。ゲート信号Ｓ３はトリガ信号Ｓ２の立ち上がりから所定の期間ＴだけＨとなる信号である。出力信号Ｓ４は入力信号Ｓ１をゲート信号Ｓ３がＨの期間のみ通過させるゲート回路を経由した信号である。
判定部６０は図９の出力信号Ｓ４を用いて嵌合音が正常な嵌合による嵌合音であるかどうかを判定する。また、判定部６０は出力信号Ｓ４を音声送信部３０および通信部７０に送る。
なお、作業者の手に加速度センサ４０ではなく振動センサを配置し、振動センサの出力振幅が所定のレベル以上の期間を図９の期間Ｔとして、判定部６０が判定動作を行うとともに、音声送信部３０が音声を送信するように構成してもよい。
図９において、入力信号Ｓ１は嵌合音と雑音とを含む信号である。トリガ信号Ｓ２は作業者１５０が嵌合動作をした場合の加速度センサ４０の出力にもとづいて発生される信号である。ゲート信号Ｓ３はトリガ信号Ｓ２の立ち上がりから所定の期間ＴだけＨとなる信号である。出力信号Ｓ４は入力信号Ｓ１をゲート信号Ｓ３がＨの期間のみ通過させるゲート回路を経由した信号である。
判定部６０は図９の出力信号Ｓ４を用いて嵌合音が正常な嵌合による嵌合音であるかどうかを判定する。また、判定部６０は出力信号Ｓ４を音声送信部３０および通信部７０に送る。
なお、作業者の手に加速度センサ４０ではなく振動センサを配置し、振動センサの出力振幅が所定のレベル以上の期間を図９の期間Ｔとして、判定部６０が判定動作を行うとともに、音声送信部３０が音声を送信するように構成してもよい。
【0053】
（音声送信部３０）
信号処理部２０から送られた音声信号、または、判定部６０から送られたゲートされた音声信号（出力信号Ｓ４）は、有線または無線（Ｂｌｕｅｔｏｏｔｈ（登録商標））で接続されたイヤホン１１０に出力される。この場合、嵌合音信号のＳＮ比が向上していることによって、嵌合音が正常な嵌合による嵌合音であるかどうかをより正確に判断することができる。また、ゲートされた音声信号（Ｓ４）の場合は、嵌合時のみ音声信号が出力されるため、作業者１５０は集中して正常な嵌合音かどうかを判断することができる。
信号処理部２０から送られた音声信号、または、判定部６０から送られたゲートされた音声信号（出力信号Ｓ４）は、有線または無線（Ｂｌｕｅｔｏｏｔｈ（登録商標））で接続されたイヤホン１１０に出力される。この場合、嵌合音信号のＳＮ比が向上していることによって、嵌合音が正常な嵌合による嵌合音であるかどうかをより正確に判断することができる。また、ゲートされた音声信号（Ｓ４）の場合は、嵌合時のみ音声信号が出力されるため、作業者１５０は集中して正常な嵌合音かどうかを判断することができる。
【0054】
（通信部７０）
通信部７０は有線または無線でパーソナルコンピュータなどの外部端末１３０と接続されか、または、無線でスマートフォンなどの制御端末１２０と接続される。通信部７０は受信した信号処理部２０および判定部６０の設定パラメータなどを判定部６０に送り、判定部６０はパラメータの設定を行う。
また、嵌合音検出装置１００が外部端末１３０と接続されている場合は、通信部７０は嵌合音の音声信号、またはセンサ４０の信号とゲートされた音声信号（Ｓ４）とを外部端末１３０に送信し、外部端末１３０はより高精度の嵌合音判定を行う。
通信部７０は有線または無線でパーソナルコンピュータなどの外部端末１３０と接続されか、または、無線でスマートフォンなどの制御端末１２０と接続される。通信部７０は受信した信号処理部２０および判定部６０の設定パラメータなどを判定部６０に送り、判定部６０はパラメータの設定を行う。
また、嵌合音検出装置１００が外部端末１３０と接続されている場合は、通信部７０は嵌合音の音声信号、またはセンサ４０の信号とゲートされた音声信号（Ｓ４）とを外部端末１３０に送信し、外部端末１３０はより高精度の嵌合音判定を行う。
【0055】
［第２の実施形態］
第２の実施形態のコネクタの嵌合音検出装置１００および嵌合音検出システム２００は、嵌合音検出装置１００の判定部６０または外部端末１３０の嵌合音判定ブロックに、畳み込みニューラルネットワークを用いる点が第１の実施形態と異なり、その他は第１の実施形態と同一である。
図１０は、畳み込みニューラルネットワークを用いた嵌合音判定ブロック６１の構成の一例を示す模式図である。Ａには図９の出力信号Ｓ４のＴ１からＴ２の期間のデジタルデータが入力される。入力されたデータは前処理ブロック６２において例えば周波数帯域１ｋＨｚ―１６ｋＨｚのバンドパスフィルタを通過する。前処理ブロック６２の出力である信号Ｂは、直並列ブロック６３に入力され、ｎ個の並列データとなる。ｎ個の並列データの出力Ｃ１からＣｎは畳み込みニューラルネットワーク６４ａ（以降ＣＮＮともいう）に入力される。
ＣＮＮ６４ａは、事前に正常な嵌合音のデータ、および正常に嵌合されなかった場合の音のデータ、その他環境雑音などによって学習されており、コネクタ嵌合音のデータを入力することによって正常な嵌合音かどうかを判定することができる。
第２の実施形態のコネクタの嵌合音検出装置１００および嵌合音検出システム２００は、嵌合音検出装置１００の判定部６０または外部端末１３０の嵌合音判定ブロックに、畳み込みニューラルネットワークを用いる点が第１の実施形態と異なり、その他は第１の実施形態と同一である。
図１０は、畳み込みニューラルネットワークを用いた嵌合音判定ブロック６１の構成の一例を示す模式図である。Ａには図９の出力信号Ｓ４のＴ１からＴ２の期間のデジタルデータが入力される。入力されたデータは前処理ブロック６２において例えば周波数帯域１ｋＨｚ―１６ｋＨｚのバンドパスフィルタを通過する。前処理ブロック６２の出力である信号Ｂは、直並列ブロック６３に入力され、ｎ個の並列データとなる。ｎ個の並列データの出力Ｃ１からＣｎは畳み込みニューラルネットワーク６４ａ（以降ＣＮＮともいう）に入力される。
ＣＮＮ６４ａは、事前に正常な嵌合音のデータ、および正常に嵌合されなかった場合の音のデータ、その他環境雑音などによって学習されており、コネクタ嵌合音のデータを入力することによって正常な嵌合音かどうかを判定することができる。
【0056】
この場合、コネクタの種類ごとにｎ種類の学習サンプルのデータを準備し、ＣＮＮ６４ａに学習させることによって、コネクタの種別の判定が可能になる。図１０のＣＮＮ６４ａでは、コネクタ１の学習サンプルのデータを、ＣＮ１が１でＣＮ２～ＣＮｋおよびＥＲＲＯＲが０とし、環境雑音など、どのコネクタの嵌合音でもない音の学習サンプルのデータをＣＮ１～ＣＮｋが０でＥＲＲＯＲが１として、ＣＮＮ６４ａに学習させることによって、コネクタの種別の判定をすることができる。
コネクタの判定時には、ＣＮ１～ＣＮｋおよびＥＲＲＯＲのうちのいずれかの出力が１になるので、どの出力が１になるかを見ることによって、コネクタが正常に嵌合されたかどうか、および嵌合されたコネクタの種別の判定をすることができる。
なお、コネクタの種別の判定をする必要がない場合は、ＣＮＮ６４ａの出力はＣＮとＥＲＲＯＲの２つのみでよい。
コネクタの判定時には、ＣＮ１～ＣＮｋおよびＥＲＲＯＲのうちのいずれかの出力が１になるので、どの出力が１になるかを見ることによって、コネクタが正常に嵌合されたかどうか、および嵌合されたコネクタの種別の判定をすることができる。
なお、コネクタの種別の判定をする必要がない場合は、ＣＮＮ６４ａの出力はＣＮとＥＲＲＯＲの２つのみでよい。
【0057】
第２の実施形態で判定を行った３種類のコネクタの判定を行った結果を図１１に示す。第２の実施形態では、３種類のコネクタ１からコネクタ３について、それぞれ学習サンプルのデータを作成し、ＣＮＮ６４ａに学習させた。なお、コネクタ１は２６ピンのコネクタ、コネクタ２は２２ピンのコネクタ、コネクタ３は１０ピンのコネクタである。
図１１（ａ）は、学習サンプルの判定結果である。データ数は実際に録音したコネクタの嵌合音のサンプル数であり、拡張データ数はコネクタの嵌合音に対して、ノイズ付加、タイムシフト、バックグラウンドサウンドミックス、音量調整、ハイパスフィルタなどの処理を行ってデータを拡張した結果のサンプル数の合計である。正解率は、そのコネクタの嵌合音を正しく、そのコネクタであると判定した比率であり、誤判定率はそのコネクタ以外の嵌合音をそのコネクタの嵌合音と誤って判定した比率である。正解率の母数は例えばコネクタ１であればコネクタ１の拡張データ数であり、誤判定率の母数は例えばコネクタ１であれば全体の拡張データ数からコネクタ１の拡張データ数を引いた数であるため、合計しても１００％にはならない。
図１１（ａ）は、学習サンプルの判定結果である。データ数は実際に録音したコネクタの嵌合音のサンプル数であり、拡張データ数はコネクタの嵌合音に対して、ノイズ付加、タイムシフト、バックグラウンドサウンドミックス、音量調整、ハイパスフィルタなどの処理を行ってデータを拡張した結果のサンプル数の合計である。正解率は、そのコネクタの嵌合音を正しく、そのコネクタであると判定した比率であり、誤判定率はそのコネクタ以外の嵌合音をそのコネクタの嵌合音と誤って判定した比率である。正解率の母数は例えばコネクタ１であればコネクタ１の拡張データ数であり、誤判定率の母数は例えばコネクタ１であれば全体の拡張データ数からコネクタ１の拡張データ数を引いた数であるため、合計しても１００％にはならない。
【0058】
図１１（ｂ）は学習サンプルで学習したＣＮＮ６４ａを用いて、新たなテストサンプルに対して判定を行ったときの判定結果である。正解数と誤判定数の定義は図１１（ａ）と同一である。学習サンプルに比べてテストサンプルの正解率がやや低くなっているのは、テストサンプルのデータ数が少ないためである。
【0059】
図１２は、第２の実施形態の畳み込みニューラルネットワークを用いた嵌合音判定ブロックの構成の他の例を示す模式図である。図１０の構成では、前処理した嵌合音の信号Ｂを直並列変換して直並列変換データの出力Ｃ１～ＣｎをそのままＣＮＮ６４ａに入力していたが、図１２では、前処理した信号ＢをＦＦＴブロック６５ａでＦＦＴ処理し、周波数スペクトルＤ１～Ｄｍに変換してから、周波数スペクトルＤ１～ＤｍをＣＮＮ６４ｂに入力する。
図１２では、ＣＮＮ６４ｂの出力がＣＮ１～ＣＮｋとＥＲＲＯＲの計ｋ＋１となっているが、コネクタの種別の判定をする必要がない場合は、出力はＣＮとＥＲＲＯＲの２つのみでよい。
図１２では、ＣＮＮ６４ｂの出力がＣＮ１～ＣＮｋとＥＲＲＯＲの計ｋ＋１となっているが、コネクタの種別の判定をする必要がない場合は、出力はＣＮとＥＲＲＯＲの２つのみでよい。
【0060】
図１３は、第２の実施形態の畳み込みニューラルネットワークを用いた嵌合音判定ブロックの構成のさらに他の例を示す模式図である。図１２の構成では前処理した嵌合音の信号ＢをＦＦＴブロック６５ａでＦＦＴ処理し、周波数スペクトルＤ１～Ｄｍに変換してから、周波数スペクトルＤ１～ＤｍをＣＮＮ６４ｂに入力していたが、図１３の構成では、前処理した嵌合音の信号Ｂをまず時分割ブロック６６でｌ個の期間に分割し、分割されたＥ１～ＥｌのデータのそれぞれをＦＦＴブロック６５ｂでＦＦＴ処理して、Ｄ１～Ｄｍ，Ｄｍ＋１～Ｄ２ｍ、・・・，Ｄ（ｌ－１）×ｍ＋１～Ｄｌ×ｍのデータを作成し、これらのデータをＣＮＮ６４ｃに入力する。なお、これらのデータは周波数スペクトルの時間変化に相当し、一般にスペクトログラムと呼ばれている。
図１３でも、ＣＮＮ６４ｃの出力はＣＮ１～ＣＮｋとＥＲＲＯＲの計ｋ＋１となっているが、コネクタの種別の判定をする必要がない場合は、出力はＣＮとＥＲＲＯＲの２つのみでよい。
図１３でも、ＣＮＮ６４ｃの出力はＣＮ１～ＣＮｋとＥＲＲＯＲの計ｋ＋１となっているが、コネクタの種別の判定をする必要がない場合は、出力はＣＮとＥＲＲＯＲの２つのみでよい。
【0061】
第２の実施形態では、嵌合音判定に畳み込みニューラルネットワークを用い、多数の正常な嵌合音および正常でない嵌合音のデータを収集して畳み込みニューラルネットワークの係数を学習させることにより、より正確に、嵌合音が正常な嵌合による嵌合音であるかどうかを判定することができる。
なお、例えば、図１２の場合のように畳み込みニューラルネットワークの入力数が少ない場合には、畳み込み層とマックスプーリング層を含まない、通常の多層ニューラルネットワークを使用してもよい。また、図１３の場合でも、時分割数ｌとＦＦＴの周波数スペクトル数ｍとを少なくすることにより、通常の多層ニューラルネットワークを用いて構成することもできる。
なお、例えば、図１２の場合のように畳み込みニューラルネットワークの入力数が少ない場合には、畳み込み層とマックスプーリング層を含まない、通常の多層ニューラルネットワークを使用してもよい。また、図１３の場合でも、時分割数ｌとＦＦＴの周波数スペクトル数ｍとを少なくすることにより、通常の多層ニューラルネットワークを用いて構成することもできる。
【0062】
本発明において、ＭＥＭＳマイクロフォン１０が『ＭＥＭＳマイクロフォン』に相当し、信号処理部２０が『信号処理部』に相当し、判定部６０が『判定部』に相当し、ＬＥＤ５０が『表示部』に相当し、音声送信部３０が『音声送信部』に相当し、イヤホン１１０が『イヤホン』に相当し、通信部７０が『通信部』に相当し、作業者１５０が『作業者』に相当し、外部端末１３０が『外部端末』に相当し、嵌合音検出装置１００が『嵌合音検出装置』に相当し、加速度センサ４０が『加速度センサ』に相当し、嵌合音検出システム２００が『嵌合音検出システム』に相当し、制御端末１２０が『制御端末』に相当し、外部記憶装置１４０が『外部記憶装置』に相当し、畳み込みニューラルネットワーク６４ａ、６４ｂ、６４ｃが『畳み込みニューラルネットワーク』に相当する。
【0063】
本発明の好ましい一実施形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。
【符号の説明】
【0064】
１０ ＭＥＭＳマイクロフォン
２０ 信号処理部
２１ 遅延器
２２ 減算器
３０ 音声送信部
４０ 加速度センサ
５０ ＬＥＤ
６０ 判定部(制御部)
６４ 畳み込みニューラルネットワーク
７０ 通信部
１００ 嵌合音検出装置
１１０ イヤホン
１２０ 制御端末
１３０ 外部端末
１４０ 外部記憶装置
１５０ 作業者
２００ 嵌合音検出システム
２０ 信号処理部
２１ 遅延器
２２ 減算器
３０ 音声送信部
４０ 加速度センサ
５０ ＬＥＤ
６０ 判定部(制御部)
６４ 畳み込みニューラルネットワーク
７０ 通信部
１００ 嵌合音検出装置
１１０ イヤホン
１２０ 制御端末
１３０ 外部端末
１４０ 外部記憶装置
１５０ 作業者
２００ 嵌合音検出システム
【要約】
【課題】作業者の手の先端方向の感度が高くなるような指向性を持たせるとともに、トラップフィルタで嵌合音の帯域に近い周波数の雑音を抑制する嵌合音検出装置を提供する。
【解決手段】コネクタの嵌合音を採取する２つのＭＥＭＳマイクロフォン１０と、ＭＥＭＳマイクロフォン１０の出力信号が入力される信号処理部２０と、信号処理部２０の出力信号が入力され、入力信号が正常な嵌合音かどうかを判定する判定部６０と、信号処理部２０の出力である音声信号を有線または無線でイヤホンに送信する音声送信部３０と、を含み、信号処理部２０が、２つのＭＥＭＳマイクロフォン１０のうちの一方のＭＥＭＳマイクロフォンの出力信号と、他方のＭＥＭＳマイクロフォンの出力を遅延、反転した信号とを加算することにより、手の先端方向の指向性を高める。
【選択図】図２
【解決手段】コネクタの嵌合音を採取する２つのＭＥＭＳマイクロフォン１０と、ＭＥＭＳマイクロフォン１０の出力信号が入力される信号処理部２０と、信号処理部２０の出力信号が入力され、入力信号が正常な嵌合音かどうかを判定する判定部６０と、信号処理部２０の出力である音声信号を有線または無線でイヤホンに送信する音声送信部３０と、を含み、信号処理部２０が、２つのＭＥＭＳマイクロフォン１０のうちの一方のＭＥＭＳマイクロフォンの出力信号と、他方のＭＥＭＳマイクロフォンの出力を遅延、反転した信号とを加算することにより、手の先端方向の指向性を高める。
【選択図】図２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
