特開 2024-179619 解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179619

(43)【公開日】2024-12-26

(54)【発明の名称】解析装置

(51)【国際特許分類】

   G01M 99/00 20110101AFI20241219BHJP

   G01H 17/00 20060101ALI20241219BHJP

【ＦＩ】

G01M99/00 Z

G01H17/00 Z

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023098603

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】大濱 裕太

(72)【発明者】

【氏名】沼里 亮

(72)【発明者】

【氏名】小阪 有平

(72)【発明者】

【氏名】椿 裕太

【テーマコード（参考）】

2G024

2G064

【Ｆターム（参考）】

2G024AD01

2G024BA27

2G024CA13

2G024FA04

2G024FA06

2G024FA15

2G064AA11

2G064AB01

2G064AB02

2G064AB22

2G064BA02

2G064BD02

2G064CC41

2G064CC42

2G064CC43

2G064DD02

(57)【要約】

【課題】電線の嵌合状態を高精度で判定する解析装置を提供する。
【解決手段】解析装置１は、電線を有するハーネスの嵌合動作にかかる振動データを取得する取得部１１と、取得部１１で取得された振動データに基づいて、振動データの波形の形状を含む波形データ画像と、振動データの波形の周波数情報を含むメルスペクトログラム画像と、を生成する画像生成部１２と、画像生成部１２で生成された波形データ画像と、メルスペクトログラム画像と、を合成した合成画像を生成する合成部１３と、合成部１３で生成された合成画像を用いて学習モデルを作成する学習モデル作成部１４と、取得部１１で取得された振動データに対して、学習モデル作成部１４で作成された学習モデルを利用して嵌合の判定を行う判定部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

電線を有するハーネスの嵌合動作にかかる振動データを取得する取得部と、
前記取得部で取得された振動データに基づき、振動データの波形の形状を含む波形データ画像と、振動データの波形の周波数情報を含むメルスペクトログラム画像と、を生成する画像生成部と、
前記画像生成部で生成された波形データ画像と、メルスペクトログラム画像と、を合成した合成画像を生成する合成部と、
前記合成部で生成された合成画像を用いて学習を行い、学習モデルを作成する学習モデル作成部と、
前記取得部で取得された振動データに対して、前記学習モデル作成部で作成された学習モデルを利用して嵌合の判定を行う判定部と、を備える、
解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、解析装置に関する。

【背景技術】

【0002】

近年、車両の電動化が進められている。これらの車両では、電源供給や信号伝達に用いられる複数の電線をまとめたハーネスについて、ハーネスの結線保証の重要性が高まっている。

【0003】

例えば、電線に設けられたコネクタ同士のロックが正しく掛かっていない半嵌合状態で組付けられた場合には、コネクタ同士が走行中に振動で外れてしまう可能性が考えられる。その一方で、半嵌合状態において導通チェック等の機能を行った場合に、電気的に導通状態であるものとしてチェックの結果が出力され、不具合を検出できないことがある。

【0004】

特許文献１には、コネクタの嵌合作業の際に、作業者の指先に伝わる振動と、その時に発せられる音の両方のデータを利用して学習モデルを作成して、嵌合の判定を行う方法について開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－１１２１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示されている方法では、振動を取得するための振動センサと、音を取得するためのマイクが必要となることから、データの取得にかかるコストが増加する。また、これらのデータの取得用の機器が増加させた場合には、それぞれの機器でチューニングを行う必要があるため、工数が増加し、コストが増加する。また、音と振動について収集したデータを利用して判定用のモデルを作成しても、判定精度が不十分となることがある。

【0007】

本開示は、電線の嵌合状態を高精度で判定する解析装置を提供するものである。

【課題を解決するための手段】

【0008】

本開示にかかる解析装置は、電線を有するハーネスの嵌合動作にかかる振動データを取得する取得部と、前記取得部で取得された振動データに基づき、振動データの波形の形状を含む波形データ画像と、振動データの波形の周波数情報を含むメルスペクトログラム画像と、を生成する画像生成部と、前記画像生成部で生成された波形データ画像と、メルスペクトログラム画像と、を合成した合成画像を生成する合成部と、前記合成部で生成された合成画像を用いて学習を行い、学習モデルを作成する学習モデル作成部と、前記取得部で取得された振動データに対して、前記学習モデル作成部で作成された学習モデルを利用して嵌合の判定を行う判定部と、を備える。
これにより、事前に振動データに基づいて学習モデルを作成するとともに、取得された振動データを利用して電線の嵌合状態を判定できる。

【発明の効果】

【0009】

本開示よれば、電線の嵌合状態を高精度で判定する解析装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１にかかる解析装置の構成の一例を示すブロック図である。

【図2】実施の形態１にかかる解析装置で取得される振動データから、波形データ画像とメルスペクトログラム画像を合成した合成画像を作成する手順を示す図である。

【図3】実施の形態１にかかる検証結果の１例を示す図である。

【発明を実施するための形態】

【0011】

実施の形態１
以下、図面を参照して本実施の形態に係る解析装置について説明する。解析装置１は、車両に設けられたハーネス同士の接続状態を解析する解析装置である。

【0012】

ここで典型的には、ハーネスとは、電源や電気信号を伝達する電線の束である。また例えば、複数のハーネス同士は、それぞれの電線に設けられたコネクタ同士を接続して電気的に接続されることにより、電源供給や信号の伝達が行われる。なお以下では、電線に設けられたコネクタを嵌合する作業を、嵌込作業と記載する場合がある。

【0013】

図１に示すように、解析装置１は、振動データを取得する取得部１１と、振動データから、波形データ画像と、メルスペクトログラム画像を生成する画像生成部１２と、生成された波形データ画像と、メルスペクトログラム画像と、を合成した合成画像を生成する合成部１３と、合成画像を用いてあらかじめ学習モデルを作成する学習モデル作成部１４と、取得された振動データに対して、あらかじめ作成された学習モデルを用いて判定を行う判定部１５と、を備える。

【0014】

なお以下では、取得部１１は作業者に装着するセンサであって送信機を備えているものとして説明する。画像生成部１２と、合成部１３と、学習モデル作成部１４と、判定部１５は、取得部１１から送信された振動データを受信して、それぞれの処理を行うコンピュータにより実現されるものとして説明する。

【0015】

取得部１１は、嵌込作業を行う作業者の手首に装着されるウェアラブルセンサであり、嵌込作業によって生じる振動を取得する。典型的には、取得部１１には、ピエゾセンサを用いることができる。図２（ａ）は、取得部１１で取得される振動データの一例を示している。

【0016】

なお、取得部１１は、リストバンドを手首に巻いておき、リストバンドの外側にピエゾセンサと送信機を配することができる。また、ピエゾセンサと送信機は、さらにその外側に傷防止装具をかぶせることができる。これにより、ピエゾセンサと送信機は、傷防止装具によって外側から保護された状態で、作業者の手首に固定される。

【0017】

画像生成部１２は、取得部１１で取得された振動データから、図２（ｂ）に示す波形データの画像と、図２（ｃ）に示すメルスペクトログラムの画像を生成する。画像生成部１２は、取得部１１で取得された振動データのうち、あらかじめ、メルスペクトログラムの画像を作成するために、嵌合判定に使用される区分が切り出しを行う。ここでは、図２（ａ）に示すように、取得部１１で取得された振動データにおいて、振幅のピーク値をつけた時刻を中心として、その前後の時間の計４０９６個の標本値を使用することとする。なお、画像生成部１２において画像生成を行うために振動データとして用いる時間や標本数は、任意に変更可能である。

【0018】

より詳細には、画像生成部１２では、振動データから波形データの画像を生成する際には、所定の画像のサイズに収まる状態で、振動データの波形の形状を含んだ画像を描画したものを生成する。ここで所定の画像のサイズとは、Ｘ方向とＹ方向のサイズが同一である正方形状の画像である。具体的な一例として、この画像のサイズは、Ｘ方向に４３２ピクセル、かつ、Ｙ方向に４３２ピクセルとする。また、画像生成部１２で作成した波形データ画像は、グレースケール画像とする。

【0019】

さらに、画像生成部１２では、振動データからメルスペクトログラム画像を生成する際には、所定の画像のサイズに収まる状態で、振動データの波形の周波数情報を含んだメルスペクトログラムに変換して描画したものを生成する。ここで所定の画像サイズとは、波形の形状の画像と同様に、Ｘ方向とＹ方向のサイズが同一である正方形状の画像であって、例えば、Ｘ方向に４３２ピクセル、かつ、Ｙ方向に４３２ピクセルとする。また、画像生成部１２で作成したメルスペクトログラム画像は、グレースケール画像とする。

【0020】

ここでメルスペクトログラム画像とは、振動データに対して、短時間フーリエ変換を施して、人の聴覚に合わせたメル尺度に変換した画像である。典型的には、メルスペクトログラム画像を用いることにより周波数成分を可視化することができ、定量的な演算に際して、周波数成分を用いやすくなる。

【0021】

これにより画像生成部１２では、元の振動データの波形情報と周波数成分の時間変化が図２（ｂ）、図２（ｃ）に示したグレースケール画像として、４３２ピクセル×４３２ピクセルの範囲で０から２５５の値をとるデータに変換される。

【0022】

合成部１３は、画像生成部１２で生成された波形データ画像と、メルスペクトログラム画像と、を合成する。ここでは合成部１３は、図２（ｄ）に示すように、波形データ画像において０から２５５の値の濃淡として表されている画素値をＲ成分とし、さらに、メルスペクトログラム画像において０から２５５の値の濃淡として表されている画素値をＧ成分及びＢ成分として、ＲＧＢカラーの合成画像を生成する。

【0023】

学習モデル作成部１４は、合成部１３で生成される合成画像を用いて学習を行うことで、学習されたＡＩモデル（以下、学習モデル）の作成を行う。ここでは、学習モデル作成部１４では、EfficientNet B2を用いて学習させるものとして説明するが、これに限られない。

【0024】

典型的には、学習モデル作成部１４では、合成部１３により生成された合成画像として、作業者が嵌合作業を行う場合の振動データから作成した合成画像と、その他の振動データから作成した合成画像のそれぞれを学習データとして、判定を行う際に用いるＡＩモデルの作成を行う。なお例えば、学習モデル作成部１４では、それぞれ数十回～数百回分の各動作の合成画像を用いて学習を実行することができるが、学習に用いる合成画像の数は適宜変更可能である。

【0025】

判定部１５は、取得部１１で取得された振動データに対して、あらかじめ学習モデル作成部１４により作成されている学習モデルを用いて判定を行う。

【0026】

言い換えると、判定部１５では、取得部１１で新規に取得された振動データとして、画像生成部１２により波形データ画像とメルスペクトログラム画像を生成し、合成部１３により合成された合成画像を、学習モデル作成部１４により作成されているＡＩモデルを利用して判定を行うことができる。

【0027】

ここで、学習モデル作成部１４による学習及び判定部１５による判定において、波形データ画像とメルスペクトログラム画像の合成画像を利用することによる効果の検証結果の一例について説明する。

【0028】

図３（ａ）は、学習モデル作成部１４において、メルスペクトログラム画像のみを用いて、EfficientNet B2により学習を行った後に、実際に判定を行った場合の判定結果を示しており、図３（ｂ）は、上述したように学習モデル作成部１４において、波形データ画像とメルスペクトログラム画像を用いて、EfficientNet B2により学習を行った後に、実際に判定を行った場合の判定結果の例を示している。なお、学習モデル作成部１４では、嵌合時の振動として２９６データ、その他の振動として７３データを用いて学習した。

【0029】

図３（ａ）に示すように、メルスペクトログラム画像のみを利用した場合には、判定部１５は、実際には嵌込作業としてＯＫである７３回中において、ＮＧ判定回数が７回であると判定した。また判定部１５は、嵌込作業としてＮＧである７３回中において、ＯＫ判定回数が２回であると判定した。

【0030】

一方で、図３（ｂ）に示すように、波形データ画像とメルスペクトログラム画像を用いた場合には、判定部１５では、１００％の正答率での判定を行っており、明らかな正答率の向上がみられた。

【0031】

以上のことから、解析装置１では、嵌込作業の作業時に得られる振動データの波形について、正常な嵌込時の振動と、正常ではない嵌込時との波形の形状の違いを利用し、かつ、メルスペクトログラムに変換することで波形の周波数の情報を利用して、嵌合状態の判定を高精度で実行することができる。

【0032】

特に、解析装置１では、判定や学習のために必要なデータを収集する機器が、振動データを取得する機器のみとすることができるため、データ取得機器を増やす必要が無く、コストを低減することができる。さらに解析装置１では、データ取得機器を増やす必要が無いことから、機器のチューニングのコストを低減させることができる。また、解析装置１では、取得した振動データのうち、振動の波形形状と、波形の周波数成分の両方を利用することで判定精度を向上させることができる。

【0033】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。すなわち上記の記載は、説明の明確化のため、適宜、省略及び簡略化がなされており、当業者であれば、実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能である。

【0034】

上記では、学習モデル作成部１４において学習モデルを生成することと、判定部１５において判定を行うことと、を１つの解析装置１で行うものとして説明したが、別々の装置としてもよい。すなわち、学習モデルを作成するためのコンピュータと、判定を行うコンピュータは、同一でなくてよい。

【0035】

この場合には、学習を行うコンピュータは、取得部１１と、画像生成部１２と、合成部１３と、学習モデル作成部１４を有し、判定を行うコンピュータは、取得部１１と、画像生成部１２と、合成部１３と、判定部１５を有する構成とすることができる。これらの学習や判定を行うコンピュータは、主記憶装置、演算処理装置、補助記憶装置等を有するコンピュータにより実現可能である。

【0036】

また例えば、画像生成部１２では、図２（ｂ）に示す波形データ画像を４３２ピクセル×４３２ピクセルの枠内に作成する際に、波形の振幅を正規化することができる。より具体的には、画像生成部１２では、波形データが枠内全体にちょうど収まるように、波形データを振幅方向である上下方向に拡大することも可能であり、一方で、波形データの最大振幅が枠内の半分で収まる程度となるように調整することも可能である。

【0037】

このように、画像生成部１２において波形データ画像の振幅を正規化した場合には、合成部１３で生成した合成画像における波形データも変更される。そして、学習モデル作成部１４による学習では、合成画像次第で学習結果が変化する場合がある。

【0038】

したがって、解析装置１では、学習モデル作成部１４による学習結果が最適となるように、画像生成部１２による波形データ画像の波形データの振幅を変更することができる。

【0039】

解析装置１では、学習モデル作成部１４において合成部１３で生成された波形データ画像とメルスペクトログラム画像との合成画像を用いて学習し、判定を行う際に、この学習結果を利用して判定を行っていれば良く、その他の動作については適宜変更可能である。

【符号の説明】

【0040】

１ 解析装置
１１ 取得部
１２ 画像生成部
１３ 合成部
１４ 学習モデル作成部
１５ 判定部

【図1】

【図2】

【図3】