IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 畠山 示の特許一覧

特許7156741傷検知システム、傷検知方法およびプログラム
<>
  • 特許-傷検知システム、傷検知方法およびプログラム 図1
  • 特許-傷検知システム、傷検知方法およびプログラム 図2
  • 特許-傷検知システム、傷検知方法およびプログラム 図3
  • 特許-傷検知システム、傷検知方法およびプログラム 図4
  • 特許-傷検知システム、傷検知方法およびプログラム 図5
  • 特許-傷検知システム、傷検知方法およびプログラム 図6
  • 特許-傷検知システム、傷検知方法およびプログラム 図7
  • 特許-傷検知システム、傷検知方法およびプログラム 図8
  • 特許-傷検知システム、傷検知方法およびプログラム 図9
  • 特許-傷検知システム、傷検知方法およびプログラム 図10
  • 特許-傷検知システム、傷検知方法およびプログラム 図11
  • 特許-傷検知システム、傷検知方法およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-10-11
(45)【発行日】2022-10-19
(54)【発明の名称】傷検知システム、傷検知方法およびプログラム
(51)【国際特許分類】
   G01M 17/007 20060101AFI20221012BHJP
【FI】
G01M17/007 Z
【請求項の数】 10
(21)【出願番号】P 2022043742
(22)【出願日】2022-03-18
【審査請求日】2022-03-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】522110647
【氏名又は名称】畠山 示
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】畠山 示
【審査官】岡村 典子
(56)【参考文献】
【文献】特開2006-023208(JP,A)
【文献】特開2021-001872(JP,A)
【文献】米国特許出願公開第2021/0086763(US,A1)
【文献】特開2017-117492(JP,A)
【文献】特開2004-299473(JP,A)
【文献】米国特許出願公開第2021/0048449(US,A1)
【文献】中国特許出願公開第112484845(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01M 17/00-17/10
G01H 1/00-17/00
G01M 7/08
(57)【特許請求の範囲】
【請求項1】
車両の内部に設けられた処理装置と、少なくとも複数のマイクと、からなる車両の傷検知システムであって、
前記処理装置は、
前記複数のマイクから入力した音声データをマイクごとに定められた格納エリアに格納する記憶部と、
前記記憶部に格納された前記音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する検知部と、
前記検知部において、1の前記マイクの前記音声データから前記衝撃音データが検知された場合に、すべてのマイクの前記音声データに基づいて、前記衝撃音データの発生エリアを推定する推定部と、
を備え
前記学習モデルは、通常走行時における車両内部で観測可能な走行音データと、通常走行時における路面状況や雨などの車室外で発生するノイズや乗員の声、使用機器類が発する音声等の車室内で発生するノイズを含む車両内部で観測可能な走行音に小石を複数の速度に変化させて車両に衝突させたキズ発生音を重畳させた前記衝撃音データと、を教師データとする学習データにより生成されることを特徴とする傷検知システム。
【請求項2】
前記学習モデルは、前記車両の車種ごとに異なることを特徴とする請求項に記載の傷検知システム。
【請求項3】
前記検知部は、前記音声データに対する学習結果と前記車両の通常走行時の前記音声データに対する前記学習結果とが予め定められた閾値を超える乖離度である場合に、前記音声データが前記衝撃音データであることを検知することを特徴とする請求項1からのいずれか1項に記載の傷検知システム。
【請求項4】
前記推定部は、前記検知部が前記1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、各マイクの前記音声データの音量の違いから、前記衝撃音データの発生エリアを推定することを特徴とする請求項1からのいずれか1項に記載の傷検知システム。
【請求項5】
前記推定部は、前記検知部が前記1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、前記音声データの各マイクへの到達時間の違いから、前記衝撃音データの前記発生エリアを推定することを特徴とする請求項1からのいずれか1項に記載の傷検知システム。
【請求項6】
前記推定部は、前記検知部が前記1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、各マイクの前記音声データに対する前記学習結果の乖離度の違いから、前記衝撃音データの前記発生エリアを推定することを特徴とする請求項に記載の傷検知システム。
【請求項7】
前記処理装置が外部装置に情報を送信する通信部と、
所定のネットワークを検出するネットワーク検出部と、
を備え、
前記ネットワーク検出部が、前記所定のネットワークを検出した場合に、前記通信部が、前記車両のどのエリアに傷がついた可能性がある旨のメッセージを前記外部装置に送信することを特徴とする請求項1からのいずれか1項に記載の傷検知システム。
【請求項8】
サーバを含み、
前記車両の走行中に取得した前記衝撃音データを含むデータを前記サーバに送信する請求項1からのいずれか1項に記載の傷検知システム。
【請求項9】
車両の内部に設けられた処理装置と少なくとも3つ以上のマイクとからなる傷検知システムにおける傷検知方法であって、
前記処理装置が、前記少なくとも3つ以上のマイクから入力した音声データをマイクごとに定められた格納エリアに格納する第1の工程と、
前記処理装置が、記憶部に格納された前記音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する第2の工程と、
前記処理装置が、1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、すべてのマイクの前記音声データに基づいて、衝撃音データの発生エリアを推定する第3の工程と、
を備え
前記学習モデルは、通常走行時における車両内部で観測可能な走行音データと、通常走行時における路面状況や雨などの車室外で発生するノイズと、乗員の声や使用機器類が発する音声等の車室内で発生するノイズを含む車両内部で観測可能な走行音に小石を複数の速度に変化させて車両に衝突させたキズ発生音を重畳させた前記衝撃音データを教師データとする学習データにより生成されることを特徴とする傷検知方法。
【請求項10】
車両の内部に設けられた処理装置と少なくとも3つ以上のマイクとからなる傷検知システムにおける傷検知方法をコンピュータに実行させるためのプログラムであって、
前記処理装置が、前記少なくとも3つ以上のマイクから入力した音声データをマイクごとに定められた格納エリアに格納する第1の工程と、
前記処理装置が、記憶部に格納された前記音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する第2の工程と、
前記処理装置が、1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、すべてのマイクの前記音声データに基づいて、衝撃音データの発生エリアを推定する第3の工程と、
を備え、
前記学習モデルは、通常走行時における車両内部で観測可能な走行音データと、通常走行時における路面状況や雨などの車室外で発生するノイズと、乗員の声や使用機器類が発する音声等の車室内で発生するノイズを含む車両内部で観測可能な走行音に小石を複数の速度に変化させて車両に衝突させたキズ発生音を重畳させた前記衝撃音データを教師データとする学習データにより生成されることを特徴とする傷検知方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、傷検知システム、傷検知方法およびプログラムに関する。
【背景技術】
【0002】
近年、若者を中心としたマイカー指向の減少に伴って、レンタカーやカーシェアリング等を利用するケースが増えている。
このようなレンタカーやカーシェアリングでは、複数の利用者が車両を利用し、しかも、利用者の利用中にレンタル車両等に傷等が発生した場合には、その利用者が修理費用を負担することになるため、レンタル車両の貸出時と返却時とのそれぞれにおいて担当者がレンタル車両の外周部の状態を比較することにより、レンタル車両の貸出の最中にレンタル車両に傷等が発生したか否かを確認するようにしている。
しかしながら、この種の確認に人手がかかること、および傷等の発生を的確に検知することが困難であったという問題があった。
【0003】
上記の問題を解決する手段として、レンタル車両に搭載されて当該車両に対する衝撃を検知する衝撃検知手段と、レンタル車両に搭載されて少なくとも当該車両の外周部を撮像する撮像手段と、撮像手段によって撮像された画像データを記録する記録手段と、衝撃検知手段によって衝撃が検知されたことを受けて、撮像手段によって撮像された画像データを、レンタル車両の利用者の特定に関連する情報と対応づけて記録手段に記憶させる制御手段と、を備えた管理装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2006-195715号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術は、画像データにより傷等が生じた際の状況、特に、軽微な傷等を検知するものであるが、画像データによる場合には、撮像時の日照条件や、撮像距離、撮像角度、車種等によって、画像データの画像品質が大きな影響を受けることから、高い確率で、どんな場合においても、車両に発生した傷等を検知できるものではなかったという課題があった。
【0006】
また、仮に、傷等の画像データを取得できたとしても、傷等が発生したエリアを特定するには、更に、人手による手間を要するという課題もあった。
【0007】
そこで、本発明は、上述の課題に鑑みてなされたものであって、様々な条件によらず、的確に、車両における傷等の発生と発生エリアとを速やかに特定可能な傷検知システム、傷検知方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
形態1;本発明の1またはそれ以上の実施形態は、車両の内部に設けられた処理装置と、少なくとも複数のマイクと、からなる傷検知システムであって、前記処理装置は、前記複数のマイクから入力した音声データをマイクごとに定められた格納エリアに格納する記憶部と、前記記憶部に格納された前記音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する検知部と、前記検知部において、1の前記マイクの前記音声データから前記衝撃音データが検知された場合に、すべてのマイクの前記音声データに基づいて、前記衝撃音データの発生エリアを推定する推定部と、を備えたことを特徴とする傷検知システムを提案している。
【0009】
形態2;本発明の1またはそれ以上の実施形態は、前記学習モデルは、前記車両の前記音声データを学習して得られた学習モデルである傷検知システムを提案している。
【0010】
形態3;本発明の1またはそれ以上の実施形態は、前記学習モデルは、前記車両の車種ごとに異なる傷検知システムを提案している。
【0011】
形態4;本発明の1またはそれ以上の実施形態は、前記検知部は、前記音声データに対する学習結果と前記車両の通常走行時の前記音声データに対する前記学習結果とが予め定められた閾値を超える乖離度である場合に、前記音声データが前記衝撃音データであることを検知する傷検知システムを提案している。
【0012】
形態5;本発明の1またはそれ以上の実施形態は、前記推定部は、前記検知部が前記1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、各マイクの前記音声データの音量の違いから、前記衝撃音データの発生エリアを推定する傷検知システムを提案している。
【0013】
形態6;本発明の1またはそれ以上の実施形態は、前記推定部は、前記検知部が前記1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、前記音声データの各マイクへの到達時間の違いから、前記衝撃音データの前記発生エリアを推定する傷検知システムを提案している。
【0014】
形態7;本発明の1またはそれ以上の実施形態は、前記推定部は、前記検知部が前記1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、各マイクの前記音声データに対する前記学習結果の乖離度の違いから、前記衝撃音データの前記発生エリアを推定する傷検知システムを提案している。
【0015】
形態8;本発明の1またはそれ以上の実施形態は、前記処理装置が外部装置に情報を送信する通信部と、所定のネットワークを検出するネットワーク検出部と、を備え、前記ネットワーク検出部が、前記所定のネットワークを検出した場合に、前記通信部が、前記車両のどのエリアに傷がついた可能性がある旨のメッセージを前記外部装置に送信する傷検知システムを提案している。
【0016】
形態9;本発明の1またはそれ以上の実施形態は、サーバを含み、前記車両の走行中に取得した前記衝撃音データを含むデータを前記サーバに送信する傷検知システムを提案している。
【0017】
形態10;本発明の1またはそれ以上の実施形態は、車両の内部に設けられた処理装置と少なくとも3つ以上のマイクとからなる車両の傷検知システムにおける車両の傷検知方法であって、前記処理装置が、前記少なくとも3つ以上のマイクから入力した音声データをマイクごとに定められた格納エリアに格納する第1の工程と、前記処理装置が、前記記憶部に格納された前記音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する第2の工程と、前記処理装置が、1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、すべてのマイクの前記音声データに基づいて、衝撃音データの発生エリアを推定する第3の工程と、を備えたことを特徴とする傷検知方法を提案している。
【0018】
形態11;本発明の1またはそれ以上の実施形態は、車両の内部に設けられた処理装置と少なくとも3つ以上のマイクとからなる傷検知システムにおける傷検知方法をコンピュータに実行させるためのプログラムであって、前記処理装置が、前記少なくとも3つ以上のマイクから入力した音声データをマイクごとに定められた格納エリアに格納する第1の工程と、前記処理装置が、前記記憶部に格納された前記音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する第2の工程と、前記処理装置が、1の前記マイクの前記音声データから前記衝撃音データを検知した場合に、すべてのマイクの前記音声データに基づいて、衝撃音データの発生エリアを推定する第3の工程と、をコンピュータに実行させるためのプログラムを提案している。
【発明の効果】
【0019】
本発明の1またはそれ以上の実施形態によれば、様々な条件によらず、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができるという効果がある。
【図面の簡単な説明】
【0020】
図1】本発明の第1の実施形態に係る傷検知システムの概要を示す図である。
図2】本発明の第1の実施形態に係る処理装置の構成を示す図である。
図3】本発明の第1の実施形態に係る記憶部の概要を示す図である。
図4】本発明の第1の実施形態に係る推定部の推定方法を示す図である。
図5】本発明の第1の実施形態に係る検知部の構成を示す図である。
図6】本発明の第1の実施形態に係る傷検知システムの処理フローを示す図である。
図7】本発明の第2の実施形態に係る処理装置の構成を示す図である。
図8】本発明の第2の実施形態に係る傷検知システムの処理フローを示す図である。
図9】本発明の第2の実施形態に係る推定部の推定方法を示す図である。
図10】本発明の第3の実施形態に係る処理装置の構成を示す図である。
図11】本発明の第3の実施形態に係る傷検知システムの処理フローを示す図である。
図12】本発明の第3の実施形態に係る推定部の推定方法を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について、図1から図12を用いて説明する。
【0022】
<第1の実施形態>
図1から図6を用いて、本実施形態に係る傷検知システム1について説明する。
【0023】
<傷検知システム1の構成>
図1に示すように、本実施形態に係る傷検知システム1は、車両VC内部に設けられる処理装置100と、マイク200A、200B、200C、200Dと、を含んで構成されている。
【0024】
処理装置100は、複数のマイク200A、200B、200C、200Dから入力した音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知するとともに、1のマイクの音声データから衝撃音データを検知した場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する。
なお、処理装置100の詳細な構成に関しては、後述する。
【0025】
マイク200A、200B、200C、200Dは、車両VCの走行時における音声データを集音する機器である。
マイク200A、200B、200C、200Dは、例えば、車両VC内部の四隅に配置され、各マイク200A、200B、200C、200Dが集音した音声データは、処理装置100に出力される。
また、各マイク200A、200B、200C、200DのON/OFF状態は、処理装置100により制御される。
マイク200A、200B、200C、200Dは、指向性を持ったものでもよいし、台座に載置され、回動するような形態であってもよい。
【0026】
<処理装置100の構成>
処理装置100は、図2に示されるように、音声データ情報入力部110と、記憶部120と、検知部130と、推定部140と、通信部150と、ネットワーク検出部160と、データ送受信部170と、を含んで構成されている。
【0027】
音声データ情報入力部110は、マイク200A、200B、200C、200Dから得られる音声データを入力する。
音声データ情報入力部110は、音声データ情報の入力時刻を示す図示しない計時部からの時刻情報を入力した音声データに付した音声データ情報を後述する記憶部120内の所定の記憶領域に、格納する。
【0028】
記憶部120は、音声データ情報入力部110において入力された音声データをマイク200A、200B、200C、200Dごとに定められた格納エリアに格納する。
記憶部120は、図3に示すように、音声データ情報記憶領域1、音声データ情報記憶領域2、音声データ情報記憶領域3、音声データ情報記憶領域4、学習モデル記憶領域、正常音声データ記憶領域、衝撃音音声データ記憶領域、学習結果記憶領域等の様々な記憶領域を有している。
上記のマイク200A、200B、200C、200Dからの音声データ情報は、例えば、マイク200Aに関する情報が、音声データ情報記憶領域1に格納され、マイク200Bに関する情報が、音声データ情報記憶領域2に格納され、マイク200Cに関する情報が、音声データ情報記憶領域3に格納され、マイク200Dに関する情報が、音声データ情報記憶領域4に格納されている。
【0029】
検知部130は、記憶部120に格納された音声データ情報に対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する。
なお、検知部130において、機械学習に用いられる学習モデルは、例えば、後述するデータ送受信部170を介して、サーバ300から得られ、学習モデル記憶領域に格納された学習モデルが用いられる。
ここで、学習モデルは、車両の音声データを学習して得られた学習モデルであって、車両の車種ごとに異なっている。
具体的には、検知部130は、音声データに対する学習結果と車両の通常走行時の音声データに対する学習結果とが予め定められた閾値を超える乖離度である場合に、音声データが衝撃音データであることを検知する。
なお、乖離度は、機械学習の正答率によって、適宜、変更することも可能である。
また、検知部130は、音声データに対する学習結果と衝撃音データに対する学習結果とが予め定められた閾値以下の乖離度である場合に、音声データが衝撃音データであることを検知するようにしてもよい。
なお、検知部130の詳細な構成については、後述する。
【0030】
学習モデルを生成するための学習データは、通常走行時における車両内部で観測可能な走行音はもちろんのこと、スクラップ工場などから入手した傷をつけても問題のない廃車を利用し、小石を複数の速度(例えば、20Km/h、40Km/h、60Km/h)を変化させて車両に衝突させた衝突音等も含む。
小石の衝突にはスリングショット等の道具を用い、スピードガンなどを用いて衝突時の速度を記録する。異常音の録音には通常時と同様に、小型のパーソナルコンピュータとマイクアレイを用いる。
なお、廃車は走行できる状態で入手できるとは限らないため、廃車が走行できない場合には、キズ発生音に以下で詳述するノイズが含まれていないため、任意に切り出した正常な走行音にキズ発生音を重畳して、擬似的な異常データとする。
走行音には、(1)路面状況や雨などの車室外で発生するノイズと、(2)乗員の声や使用機器類が発する音声等の車室内で発生するノイズが含まれる。これらのノイズの構成要素をまとめ、教師データとしてAIの学習データに加えることによって、キズ発生時の音を検知する精度の向上が見込める。
ここで、(1)車室外で発生するノイズについては、(i)路面とタイヤとの振動音、(ii)エンジン音、(iii)気象状況によるノイズの主に、3つが想定できる。
また、その他の車室外で発生するノイズについては、十分な量のデータを集めることによって、統計的に無視できる程度の影響度とすることができる。
路面とタイヤの振動音については、教師データとして タイヤの型番、タイヤの使用期間、タイヤ装着時からの走行距離、走行路面の路面種別等を教師データとする。
ここで、使用期間及び走行距離は必ずしも正確な値である必要はなく、例えば、1週間以内、1ヶ月以内、1年以内等の有限種類からなる離散的なデータとして与える。
また、路面種別は走行地点の路面がどのようなものかをカテゴリ変数として与える。カテゴリ変数は、例えば、アスファルト、土、砂利道等である。路面種別はアノテーションによってデータを作成する。
エンジン音については、エンジンの型番、車検からの経過月数等を教師データとして与える。なお、教師データとして エンジン回転量 を与えることも考えられる。
気象状況によるノイズについて、温度、雲度、過去1時間の降水量、前日の1時間平均降水量等を教師データとして与える。ここで、前日の降水量をデータに加えるのは、路面のぬかるみを考慮するためである。
車室内で発生するノイズについては、(i)乗員の会話、(ii)車載機器の使用によるノイズの主に、2つが想定できる。
また、その他の車室外で発生するノイズについては、十分な量のデータを集めることによって、統計的に無視できる程度の影響度とすることができる。
乗客の会話については、会話の有無をアノテーションとして与える。これは、会話していない場合を「0」、会話している場合を「1」とする2通りの値を持つカテゴリデータである。
車載機器のうち、オーディオ機器の使用については、音楽再生の有無をアノテーションとして与える。これは、会話していない場合を「0」、会話している場合を「1」とする2通りの値を持つカテゴリデータである。
また、車載機器のうち、空調機器の使用については、機器の作動の有無をアノテーションとして与える。これは、作動していない場合を「0」、作動している場合を「1」とする2通りの値を持つカテゴリデータである。
【0031】
推定部140は、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する。
具体的には、推定部140は、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイクの音声データの音量の違いから、衝撃音データの発生エリアを推定する。
図4を用いて、より詳細に説明すると、図4は、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、マイク200B、マイク200Dの音声データの音量が、マイク200A、マイク200Cの音声データの音量よりも十分に大きい。
そのため、マイク200B、マイク200Dの音声データの音量によって、衝撃音データの発生エリアを推定する例を示している。
ここで、マイク200Bの音声データの音量とマイク200Dの音声データの音量との比が、3:2で、マイク200Bの音声データの音量が、マイク200Dの音声データの音量よりも1.5倍大きいとすると、衝撃音データの発生エリアまでの距離は、マイク200Dがマイク200Bよりも1.5倍長いということになる。
そのため、この比に相当する半径の円をマイク200Dおよびマイク200Bの中心から描き、この2つの円弧と車両のボディラインBDとが近接する箇所周辺を推定部140が、衝撃音データの発生エリアとして推定する。
【0032】
通信部150は、処理装置100の情報を外部装置に送信する。
ここで、通信部150より外部装置に送信される情報としては、衝撃音の発生時刻および衝撃音データの発生エリア等である。
通信部150は、後述するネットワーク検出部160が、所定のネットワークを検出した場合に、衝撃音の発生時刻および衝撃音データの発生エリア等のメッセージを外部装置に送信する。
【0033】
ネットワーク検出部160は、所定のネットワークを検出する。
ここで、所定のネットワークとは、Wi-Fi(登録商標)等を例示することができるが、ネットワークによらず、Bluetooth(登録商標)等の近距離無線を用いてもよい。
【0034】
データ送受信部170は、車両の走行中に取得した衝撃音データを含むデータをサーバ300に送信する。
なお、データ送受信部170がサーバ300に送信する情報には、正常音声データや学習結果等を含んでもよい。
【0035】
<検知部130の構成>
検知部130は、図5に示すように、検出対象データセット131と、学習済みデータセット132と、機械学習部133と、を含んで構成されている。
【0036】
検出対象データセット131は、機械学習部133による深層学習に用いられる正例となるデータセットであり、記憶部120の音声データ情報記憶領域1、音声データ情報記憶領域2、音声データ情報記憶領域3、音声データ情報記憶領域4から読み込まれるデータ群が検出対象データセット131に格納される。
【0037】
学習済みデータセット132は、所謂、学習モデルであり、マイク200A、200B、200C、200Dから音声データに基づいて、予め学習されたデータセットであって、記憶部120の学習モデル記憶領域から読み込まれた学習モデルが、学習済みデータセット132に格納される。
【0038】
機械学習部133は、音声データ情報入力部110に入力されるマイク200A、200B、200C、200Dから得られる音声データを入力データとして、学習済みデータセット132に格納された学習済みモデルを用いて、機械学習を実行する。
より具体的には、機械学習部133は、検出対象データセット131と、学習済みデータセット132との、例えば、類似度あるいは乖離度に対するスコアを算出する。
【0039】
<処理装置100の処理>
図6を用いて、本実施形態に係る処理装置100の処理について説明する。
【0040】
処理装置100の音声データ情報入力部110は、所定の取得タイミングで、マイク200A、200B、200C、200Dから得られる音声データを入力する。
そして、音声データ情報入力部110は、音声データ情報の入力時刻を示す図示しない計時部からの時刻情報を入力した音声データに付した音声データ情報を記憶部120内の所定の記憶領域に、格納する(ステップS110)。
【0041】
検知部130は、記憶部120に格納された音声データ情報に対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する(ステップS120)。
具体的には、検知部130は、音声データに対する学習結果と車両の通常走行時の音声データに対する学習結果とが予め定められた閾値を超える乖離度である場合に、音声データが衝撃音データであることを検知する。
【0042】
推定部140は、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する(ステップS130)。
具体的には、推定部140は、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイクの音声データの音量の違いから、衝撃音データの発生エリアを推定する。
【0043】
ネットワーク検出部160は、車両が所定のネットワークの通信領域内に入ったか否かを検出する(ステップS140)。
そして、ネットワーク検出部160は、車両が所定のネットワークの通信領域内に入っていないと判定した場合(ステップS140の「NO」)には、待機モードに移行する。
【0044】
一方で、ネットワーク検出部160が、車両が所定のネットワークの通信領域内に入っていると判定した場合(ステップS140の「YES」)には、通信部150を介して、衝撃音の発生時刻および衝撃音データの発生エリア等のメッセージを外部装置に送信する(ステップS150)。
【0045】
そして、データ送受信部170は、車両の走行中に取得した衝撃音データを含むデータをサーバ300に送信して、処理を終了する(ステップS160)。
【0046】
<作用・効果>
以上、説明したように、本実施形態に係る傷検知システム1における処理装置100は、複数のマイク200A、200B、200C、200Dから入力した音声データをマイク200A、200B、200C、200Dごとに定められた格納エリアに格納し、検知部130は、格納された音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する。
そのため、様々な条件によらず、的確に、車両における傷等の発生を素早く検知することができる。
【0047】
また、本実施形態に係る傷検知システム1における処理装置100は、複数のマイク200A、200B、200C、200Dから入力した音声データをマイク200A、200B、200C、200Dごとに定められた格納エリアに格納し、推定部140は、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイク200A、200B、200C、200Dの音声データに基づいて、衝撃音データの発生エリアを推定する。
そのため、様々な条件によらず、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができる。
【0048】
また、本実施形態に係る傷検知システム1における処理装置100における学習モデルは、車両の音声データを学習して得られた学習モデルである。
つまり、本実施形態に係る学習モデルは、膨大な量の車両の通常走行時における音声データおよび傷等の発生時における衝撃音データを学習して得られた学習モデルである。
そのため、様々な条件によらず、的確に、車両における傷等の発生を素早く検知することができる。
【0049】
また、本実施形態に係る傷検知システム1における処理装置100において、学習モデルは、車両の車種ごとに異なる。
つまり、車両の車種によっては、車体を構成する素材や厚み、塗料の種別、車室空間の大きさ等が異なり、マイク200A、200B、200C、200Dで捉える通常走行時の音声データおよび衝撃音データに差が生ずる。
しかしながら、本実施形態における処理装置100においては、車両の車種ごとの学習モデルが準備されている。
そのため、車両の車種によらず、様々な条件においても、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができる。
【0050】
また、本実施形態に係る傷検知システム1における処理装置100において、検知部130は、音声データに対する学習結果と車両の通常走行時の音声データに対する学習結果とが予め定められた閾値を超える乖離度である場合に、音声データが衝撃音データであることを検知する。
つまり、検知部130は、音声データに対する学習結果と車両の通常走行時の音声データに対する学習結果とを比較して、そのスコアの乖離度が、予め定められた閾値を超える乖離度である場合に、音声データが衝撃音データであることを検知する。
そのため、車両の車種によらず、様々な条件においても、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができる。
【0051】
また、本実施形態に係る傷検知システム1における処理装置100において、推定部140は、検知部130が、1のマイクの音声データから衝撃音データを検知した場合に、各マイク200A、200B、200C、200Dの音声データの音量の違いから、衝撃音データの発生エリアを推定する。
つまり、マイク200A、200B、200C、200Dで捉えた音声データの音量は、傷の発生エリアとの距離に比例して、音量の大きさが異なる。
この関係を利用すれば、各マイク200A、200B、200C、200Dの音声データの音量の違いを傷の発生エリアまでの距離に変換することにより、衝撃音データの発生エリアを推定することができる。
そのため、車両の車種によらず、様々な条件においても、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができる。
【0052】
また、本実施形態に係る傷検知システム1における処理装置100においては、ネットワーク検出部160が、所定のネットワークを検出した場合に、通信部150が、車両のどのエリアに傷がついた可能性がある旨のメッセージを外部装置に送信する。
つまり、レンタカーであれば、レンタカーの帰庫前に、事業者に対して、車両のどのエリアに傷がついた可能性がある旨のメッセージが送信される。
そのため、事業者は、レンタカーの帰庫後、速やかに傷の有無を確認することが可能となり、責任の所在を明確にすることができる。
【0053】
また、本実施形態に係る傷検知システム1における処理装置100においては、データ送受信部170が、車両の走行中に取得した衝撃音データを含むデータをサーバ300に送信する。
そのため、サーバ300は、処理装置100から受信した車両の走行中に取得した衝撃音データを含むデータをも用いて、再学習することにより、学習モデルを最適化することができる。
【0054】
<変形例1>
本実施形態においては、4つのマイク200A、200B、200C、200Dを車両内に配置することを例示したが、マイクが2つ以上であれば、傷の発生エリアを特定することも可能である。
つまり、マイクの数が多い方が傷の発生エリアの特定精度は向上するが、ピンポイントで傷の発生箇所を特定するのではなく、傷の発生箇所が大体この辺りという程度の精度が許容されるのであれば、マイクの数を減らすことにより、システム全体のコストダウンを図ることができる。
【0055】
<変形例2>
本実施形態においては、理解を容易にするために、推定部140が、各マイク200A、200B、200C、200Dの音声データの音量の違いを傷の発生エリアまでの距離に変換し、変換したそれぞれの距離をそれぞれのマイク200A、200B、200C、200Dの中心から半径として描いた円が交わる箇所と車両のボディラインBDの近傍から傷の発生エリアを推定する方法を示した。
しかしながら、変換したそれぞれの距離をそれぞれのマイク200A、200B、200C、200Dの中心から半径として描いた球が交わる箇所と車両のボディラインBDの近傍から傷の発生エリアを推定するようにしてもよい。
このようにすることにより、3次元空間における傷の発生エリアを推定することができるため、傷の発生エリアの推定精度を高めることができる。
【0056】
<第2の実施形態>
図7から図9を用いて、本実施形態に係る傷検知システム1Aについて説明する。
【0057】
<傷検知システム1Aの構成>
本実施形態に係る傷検知システム1Aは、車両VC内部に設けられ、処理装置100Aと、マイク200A、200B、200C、200Dと、を含んで構成されている。
【0058】
処理装置100Aは、複数のマイク200A、200B、200C、200Dから入力した音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知するとともに、1のマイクの音声データから衝撃音データを検知した場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する。
本実施形態においては、特に、処理装置100Aは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、音声データの各マイクへの到達時間の違いから、衝撃音データの発生エリアを推定する。
【0059】
<処理装置100Aの構成>
処理装置100Aは、図7に示されるように、音声データ情報入力部110と、記憶部120と、検知部130と、推定部140Aと、通信部150と、ネットワーク検出部160と、データ送受信部170と、を含んで構成されている。
なお、第1の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は、省略する。
【0060】
推定部140Aは、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する。
具体的には、推定部140Aは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、音声データの各マイクへの到達時間の違いから、衝撃音データの発生エリアを推定する。
図8を用いて、より詳細に説明すると、図8は、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、マイク200B、マイク200Dへの音声データの到達時間が、マイク200A、マイク200Cへの音声データの音量よりも十分に早い。
そのため、マイク200B、マイク200Dへの音声データの到達時間によって、衝撃音データの発生エリアを推定する例を示している。
ここで、マイク200Bへの音声データの到達時間とマイク200Dへの音声データの到達時間との比が、2:3で、マイク200Bへの音声データの到達時間が、マイク200Dへの音声データの到達時間よりも1.5倍早いとすると、衝撃音データの発生エリアまでの距離は、マイク200Dがマイク200Bよりも1.5倍長いということになる。
そのため、この比に相当する半径の円をマイク200Dおよびマイク200Bの中心から描き、この2つの円弧と車両のボディラインBDとが近接する箇所周辺を推定部140Aが、衝撃音データの発生エリアとして推定する。
【0061】
<処理装置100Aの処理>
図9を用いて、本実施形態に係る処理装置100Aの処理について説明する。
【0062】
処理装置100Aの音声データ情報入力部110は、所定の取得タイミングで、マイク200A、200B、200C、200Dから得られる音声データを入力する。
そして、音声データ情報入力部110は、音声データ情報の入力時刻を示す図示しない計時部からの時刻情報を入力した音声データに付した音声データ情報を記憶部120内の所定の記憶領域に、格納する(ステップS110)。
【0063】
検知部130は、記憶部120に格納された音声データ情報に対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する(ステップS120)。
具体的には、検知部130は、音声データに対する学習結果と車両の通常走行時の音声データに対する学習結果とが予め定められた閾値を超える乖離度である場合に、音声データが衝撃音データであることを検知する。
【0064】
推定部140Aは、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する(ステップS210)。
具体的には、推定部140Aは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイクへの音声データの到達時間の違いから、衝撃音データの発生エリアを推定する。
【0065】
ネットワーク検出部160は、車両が所定のネットワークの通信領域内に入ったか否かを検出する(ステップS140)。
そして、ネットワーク検出部160は、車両が所定のネットワークの通信領域内に入っていないと判定した場合(ステップS140の「NO」)には、待機モードに移行する。
【0066】
一方で、ネットワーク検出部160が、車両が所定のネットワークの通信領域内に入っていると判定した場合(ステップS140の「YES」)には、通信部150を介して、衝撃音の発生時刻および衝撃音データの発生エリア等のメッセージを外部装置に送信する(ステップS150)。
【0067】
そして、データ送受信部170は、車両の走行中に取得した衝撃音データを含むデータをサーバ300に送信して、処理を終了する(ステップS160)。
【0068】
<作用・効果>
以上、説明したように、本実施形態に係る傷検知システム1における処理装置100Aの推定部140Aは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、音声データの各マイクへの到達時間の違いから、衝撃音データの発生エリアを推定する。
つまり、マイク200A、200B、200C、200Dへの音声データの到達時間は、傷の発生エリアとの距離に比例して、到達時間が異なる。
この関係を利用すれば、各マイク200A、200B、200C、200Dへの音声データの到達時間の違いを傷の発生エリアまでの距離に変換することにより、衝撃音データの発生エリアを推定することができる。
そのため、車両の車種によらず、様々な条件においても、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができる。
【0069】
<変形例3>
本実施形態においては、理解を容易にするために、推定部140Aが、各マイク200A、200B、200C、200Dの音声データの音量の違いを傷の発生エリアまでの距離に変換し、変換したそれぞれの距離をそれぞれのマイク200A、200B、200C、200Dの中心から半径として描いた円が交わる箇所と車両のボディラインBDの近傍から傷の発生エリアを推定する方法を示した。
しかしながら、変換したそれぞれの距離をそれぞれのマイク200A、200B、200C、200Dの中心から半径として描いた球が交わる箇所と車両のボディラインBDの近傍から傷の発生エリアを推定するようにしてもよい。
このようにすることにより、3次元空間における傷の発生エリアを推定することができるため、傷の発生エリアの推定精度を高めることができる。
【0070】
<第3の実施形態>
図10から図12を用いて、本実施形態に係る傷検知システム1Bについて説明する。
【0071】
<傷検知システム1Bの構成>
本実施形態に係る傷検知システム1Bは、車両VC内部に設けられ、処理装置100Bと、マイク200A、200B、200C、200Dと、を含んで構成されている。
【0072】
処理装置100Bは、複数のマイク200A、200B、200C、200Dから入力した音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知するとともに、1のマイクの音声データから衝撃音データを検知した場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する。
本実施形態においては、特に、処理装置100Bは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイク200A、200B、200C、200Dの音声データに対する学習結果の乖離度の違いから、衝撃音データの発生エリアを推定する。
【0073】
<処理装置100Bの構成>
処理装置100Bは、図10に示されるように、音声データ情報入力部110と、記憶部120と、検知部130と、推定部140Bと、通信部150と、ネットワーク検出部160と、データ送受信部170と、を含んで構成されている。
なお、第1の実施形態および第2の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は、省略する。
【0074】
推定部140Bは、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する。
具体的には、推定部140Bは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイク200A、200B、200C、200Dの音声データに対する学習結果の乖離度の違いから、衝撃音データの発生エリアを推定する。
図11を用いて、より詳細に説明すると、図11は、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、マイク200B、マイク200Dの音声データに対する学習結果の乖離度が、マイク200A、マイク200Cの音声データに対する学習結果の乖離度よりも十分に少ない。
そのため、マイク200B、マイク200Dの音声データに対する学習結果の乖離度によって、衝撃音データの発生エリアを推定する例を示している。
ここで、マイク200Bの音声データに対する学習結果の乖離度とマイク200Dの音声データに対する学習結果の乖離度との比が、2:3で、マイク200Bの音声データに対する学習結果の乖離度が、マイク200Dの音声データに対する学習結果の乖離度よりも1.5倍少ないとすると、衝撃音データの発生エリアまでの距離は、マイク200Dがマイク200Bよりも1.5倍長いということになる。
そのため、この比に相当する半径の円をマイク200Dおよびマイク200Bの中心から描き、この2つの円弧と車両のボディラインBDとが近接する箇所周辺を推定部140Aが、衝撃音データの発生エリアとして推定する。
【0075】
<処理装置100Bの処理>
図12を用いて、本実施形態に係る処理装置100Bの処理について説明する。
【0076】
処理装置100Bの音声データ情報入力部110は、所定の取得タイミングで、マイク200A、200B、200C、200Dから得られる音声データを入力する。
そして、音声データ情報入力部110は、音声データ情報の入力時刻を示す図示しない計時部からの時刻情報を入力した音声データに付した音声データ情報を記憶部120内の所定の記憶領域に、格納する(ステップS110)。
【0077】
検知部130は、記憶部120に格納された音声データ情報に対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する(ステップS120)。
具体的には、検知部130は、音声データに対する学習結果と車両の通常走行時の音声データに対する学習結果とが予め定められた閾値を超える乖離度である場合に、音声データが衝撃音データであることを検知する。
【0078】
推定部140Bは、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイクの音声データに基づいて、衝撃音データの発生エリアを推定する(ステップS210)。
具体的には、推定部140Bは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイク200A、200B、200C、200Dの音声データに対する学習結果の乖離度の違いから、衝撃音データの発生エリアを推定する。
【0079】
ネットワーク検出部160は、車両が所定のネットワークの通信領域内に入ったか否かを検出する(ステップS140)。
そして、ネットワーク検出部160は、車両が所定のネットワークの通信領域内に入っていないと判定した場合(ステップS140の「NO」)には、待機モードに移行する。
【0080】
一方で、ネットワーク検出部160が、車両が所定のネットワークの通信領域内に入っていると判定した場合(ステップS140の「YES」)には、通信部150を介して、衝撃音の発生時刻および衝撃音データの発生エリア等のメッセージを外部装置に送信する(ステップS150)。
【0081】
そして、データ送受信部170は、車両の走行中に取得した衝撃音データを含むデータをサーバ300に送信して、処理を終了する(ステップS160)。
【0082】
<作用・効果>
以上、説明したように、本実施形態に係る傷検知システム1における処理装置100Bの推定部140Bは、検知部130が1のマイクの音声データから衝撃音データを検知した場合に、各マイク200A、200B、200C、200Dの音声データに対する学習結果の乖離度の違いから、衝撃音データの発生エリアを推定する。
つまり、マイク200A、200B、200C、200Dの音声データに対する学習結果の乖離度は、傷の発生エリアとの距離に比例して、学習結果の乖離度が異なる。
この関係を利用すれば、各マイク200A、200B、200C、200Dへの音声データに対する学習結果の乖離度の違いを傷の発生エリアまでの距離に変換することにより、衝撃音データの発生エリアを推定することができる。
そのため、車両の車種によらず、様々な条件においても、的確に、車両における傷等の発生と発生エリアとを速やかに特定することができる。
【0083】
<変形例4>
本実施形態においては、理解を容易にするために、推定部140Bが、各マイク200A、200B、200C、200Dの音声データに対する学習結果の乖離度の違いを傷の発生エリアまでの距離に変換し、変換したそれぞれの距離をそれぞれのマイク200A、200B、200C、200Dの中心から半径として描いた円が交わる箇所と車両のボディラインBDの近傍から傷の発生エリアを推定する方法を示した。
しかしながら、変換したそれぞれの距離をそれぞれのマイク200A、200B、200C、200Dの中心から半径として描いた球が交わる箇所と車両のボディラインBDの近傍から傷の発生エリアを推定するようにしてもよい。
このようにすることにより、3次元空間における傷の発生エリアを推定することができるため、傷の発生エリアの推定精度を高めることができる。
【0084】
なお、処理装置100、100A、100Bの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを処理装置100、100A、100Bに読み込ませ、実行することによって本発明の傷検知システム1、1A、1Bを実現することができる。ここでいうコンピュータシステムとは、OSや周辺装置等のハードウェアを含む。
【0085】
また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0086】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0087】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0088】
1;傷検知システム
1A;傷検知システム
1B;傷検知システム
100;処理装置
100A;処理装置
100B;処理装置
110;音声データ情報入力部
120;記憶部
130;検知部
140;推定部
140A;推定部
140B;推定部
150;通信部
160;ネットワーク検出部
170;データ送受信部
200A;マイク
200B;マイク
200C;マイク
200D;マイク
300;サーバ
【要約】
【課題】様々な条件によらず、的確に、車両における傷等の発生と発生エリアとを速やかに特定する。
【解決手段】車両の内部に設けられた処理装置100と、少なくとも複数のマイク200A、200B、200C、200Dと、からなる傷検知システム1であって、処理装置100は、複数のマイク200A、200B、200C、200Dから入力した音声データをマイクごとに定められた格納エリアに格納する記憶部120と、格納された音声データに対して、学習モデルを用いた機械学習を実行して、衝撃音データを検知する検知部130と、検知部130において、1のマイクの音声データから衝撃音データが検知された場合に、すべてのマイク200A、200B、200C、200Dの音声データに基づいて、衝撃音データの発生エリアを推定する推定部140と、を備える。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12