▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2024-104298車両の損傷を検出するための方法及び車両の損傷を検出するためのシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024104298
(43)【公開日】2024-08-02
(54)【発明の名称】車両の損傷を検出するための方法及び車両の損傷を検出するためのシステム
(51)【国際特許分類】
G01M 17/007 20060101AFI20240726BHJP
G01H 17/00 20060101ALI20240726BHJP
【ＦＩ】
G01M17/007 Z
G01H17/00 Z
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024007565
(22)【出願日】2024-01-22
(31)【優先権主張番号】23152883
(32)【優先日】2023-01-23
(33)【優先権主張国・地域又は機関】EP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】トメ シルヴァ
(72)【発明者】
【氏名】アフォンソ コスタ
(72)【発明者】
【氏名】アナ カロリーナ シルヴァ
(72)【発明者】
【氏名】アンドレ フェレイラ
(72)【発明者】
【氏名】ブルーノ ファリア
(72)【発明者】
【氏名】カロリーナ ゴンカルヴェス
(72)【発明者】
【氏名】ジョアン サ
(72)【発明者】
【氏名】ジョアン フェルナンデス
(72)【発明者】
【氏名】ペドロ クーニャ
(72)【発明者】
【氏名】ペドロ シルヴァ
(72)【発明者】
【氏名】リタ ペレイラ
【テーマコード（参考）】
2G064
【Ｆターム（参考）】
2G064AA14
2G064AB01
2G064AB02
2G064AB13
2G064BA02
2G064CC02
2G064CC13
2G064DD08
2G064DD14
(57)【要約】 （修正有）
【課題】音響センサ信号とモーションセンサ信号とを融合することによる、小規模な損傷の検出に対する機械学習アプローチを提案する。
【解決手段】空中の音響波を捕捉するために車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、車両の振動を捕捉するために車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、取得した音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、取得した音響信号と振動信号とを入力データレコードに変換することと、入力データレコードから入力特徴レコードを得ることと、一過性のイベント予測出力を提供するために、入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、を含む。
【選択図】図７
【解決手段】空中の音響波を捕捉するために車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、車両の振動を捕捉するために車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、取得した音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、取得した音響信号と振動信号とを入力データレコードに変換することと、入力データレコードから入力特徴レコードを得ることと、一過性のイベント予測出力を提供するために、入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、を含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
少なくとも、一過性のイベントを検出するためのコンピュータ実装された方法であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、コンピュータ実装された方法において、
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
コンピュータ実装された方法。
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
コンピュータ実装された方法。
【請求項2】
前記入力特徴レコードは、振動特徴データと音響特徴データとを含み、
前記振動特徴データは、前記入力データレコードから抽出された一過性の特徴を含み、
前記音響特徴データは、前記入力データレコードから抽出された一過性のイベント音響特徴を含む、
請求項１に記載のコンピュータ実装された方法。
前記振動特徴データは、前記入力データレコードから抽出された一過性の特徴を含み、
前記音響特徴データは、前記入力データレコードから抽出された一過性のイベント音響特徴を含む、
請求項１に記載のコンピュータ実装された方法。
【請求項3】
前記方法は、
取得した前記音響信号を複数の周波数バンドパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１又は２に記載のコンピュータ実装された方法。
取得した前記音響信号を複数の周波数バンドパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１又は２に記載のコンピュータ実装された方法。
【請求項4】
前記方法は、各前記バンドパスフィルタからフィルタリングされた前記信号から一過性のイベント音響特徴を抽出することを含む、
請求項１乃至３のいずれか一項に記載のコンピュータ実装された方法。
請求項１乃至３のいずれか一項に記載のコンピュータ実装された方法。
【請求項5】
前記方法は、
取得した前記振動信号をローパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１乃至４のいずれか一項に記載のコンピュータ実装された方法。
取得した前記振動信号をローパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１乃至４のいずれか一項に記載のコンピュータ実装された方法。
【請求項6】
前記音響センサ信号は、マイクロフォンである、
請求項１乃至５のいずれか一項に記載のコンピュータ実装された方法。
請求項１乃至５のいずれか一項に記載のコンピュータ実装された方法。
【請求項7】
前記モーションセンサは、ジャイロスコープ及び／又は加速度計である、
請求項１乃至６のいずれか一項に記載のコンピュータ実装された方法。
請求項１乃至６のいずれか一項に記載のコンピュータ実装された方法。
【請求項8】
少なくとも、一過性のイベントを検出するための装置であって、前記一過性のイベントは、車両の損傷イベント及び／又は接触イベントである、装置において、
前記装置は、
車両の振動を捕捉するための、前記車両に取り付けられたモーションセンサと、
空中の音響波を補足するための、前記車両に取り付けられた音響センサと、
以下の方法を実施することによって一過性のイベント予測出力を提供するように構成されている電子データプロセッサと、
を備え、
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と取得した前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
装置。
前記装置は、
車両の振動を捕捉するための、前記車両に取り付けられたモーションセンサと、
空中の音響波を補足するための、前記車両に取り付けられた音響センサと、
以下の方法を実施することによって一過性のイベント予測出力を提供するように構成されている電子データプロセッサと、
を備え、
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と取得した前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
装置。
【請求項9】
取得した音響信号をフィルタリングして、フィルタリングされた前記信号を前記入力データレコードに出力するための複数の周波数バンドパスフィルタをさらに含む、
請求項８に記載の装置。
請求項８に記載の装置。
【請求項10】
取得した前記振動信号をフィルタリングして、フィルタリングされた前記信号を前記入力データレコードに出力するための少なくとも１つのローパスフィルタをさらに含む、
請求項８又は９に記載の装置。
請求項８又は９に記載の装置。
【請求項11】
前記音響センサ信号は、マイクロフォンである、
請求項８乃至１０のいずれか一項に記載の装置。
請求項８乃至１０のいずれか一項に記載の装置。
【請求項12】
前記モーションセンサは、ジャイロスコープ及び／又は加速度計である、
請求項８乃至１１のいずれか一項に記載の装置。
請求項８乃至１１のいずれか一項に記載の装置。
【請求項13】
一過性のイベント予測出力を提供するために、少なくとも、一過性のイベントを検出するためのプログラム命令を含む非一時的な記憶媒体であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、非一時的な記憶媒体において、
前記プログラム命令は、請求項１乃至７のいずれか一項に記載の前記方法を実施するために実行可能な命令を含む、
非一時的な記憶媒体。
前記プログラム命令は、請求項１乃至７のいずれか一項に記載の前記方法を実施するために実行可能な命令を含む、
非一時的な記憶媒体。
【請求項14】
一過性のイベント予測出力を得るためのシステムであって、
前記システムは、請求項１乃至７のいずれか一項に記載の前記方法を実施するように構成されている電子データプロセッサを含む、
システム。
前記システムは、請求項１乃至７のいずれか一項に記載の前記方法を実施するように構成されている電子データプロセッサを含む、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、音響センサ信号とモーションセンサ信号とを融合することによる、小規模な損傷を検出するための機械学習アプローチを含む装置及び方法に関する。
【背景技術】
【0002】
背景
シェアードモビリティ、特にカーシェアリングサービスの登場によって、車の運転者が毎日異なる場合、車の損傷に対して説明責任を負う人物をどのように確認するのかという新たな問題が出現している。この極めて包括的な問題は、他の多くの下位問題に分解され得る。
シェアードモビリティ、特にカーシェアリングサービスの登場によって、車の運転者が毎日異なる場合、車の損傷に対して説明責任を負う人物をどのように確認するのかという新たな問題が出現している。この極めて包括的な問題は、他の多くの下位問題に分解され得る。
【0003】
ステーションベース型カーシェアリングの場合、車を借りて、所定の場所及び時間でその車を引き渡す義務がある場合、この行程の開始時と終了時とに損傷検査が行われる。貸与期間の最後に新たな損傷が識別されると、顧客は、この新たな損傷に対して説明責任を負う可能性がある。これは多くの場合、損傷説明責任（damage accountability）に対する、極めて主観的なアプローチである。この行程の開始時に既に存在しており、最初の車の検査の間に識別されなかった損傷に対して、顧客として、ある人に、請求が行われる場合がある。場合によっては、責任のない損傷によって、その人に請求が行われる場合がある。たとえば、その人の目の届かないところで、駐車中に損傷が発生した場合である。この状況においては、貸与期間中に損傷が発生したため、その損傷の結果によって、その人に請求が行われることになる。損傷検査及び説明責任のプロセスには主観性が伴うため、サービス提供者の観点からは、このこと自体は、顧客満足度を向上させるうえで課題となる。サービス提供者が損害賠償請求の執行に関して極めて厳格であるならば、サービス提供者は、起こり得る、自身の顧客から寄せられる苦情の数の増加に対処しなければならないこととなる。場合によっては、車の修理のコストは削減されるが、顧客満足レベルが損なわれる。この難題によって、サービス提供者は、損害賠償請求に関して寛大な方針を採用することを余儀なくされ、しばしば、小規模な損傷については、自身の顧客に責任を負わせない。
【0004】
ここで、より公正で客観的な、損傷説明責任の方法に対する好機が存在することが明らかであり、この方法は、その性質から、顧客又はサービス提供者の利益のいずれにも寛大ではない。したがって、これは、両当事者のためのＷｉｎ－Ｗｉｎの解決策である。
【0005】
フリーフロート型カーシェアリングにおいては、ある場所で車をピックアップし、所定の領域内の任意の駐車スペースでこの車を返却する。このビジネスモデルにおいては、貸与期間の開始時に顧客が損傷の検査を行う。次の貸与期間の最初の検査で、以前に報告されなかった損傷が報告された場合、サービス提供者は、顧客に請求するために、その情報を使用する。このビジネスモデルにおいては、サービス提供者は、自身の顧客が車の状態について提供する説明に依存しなければならない。これらの説明が、多かれ少なかれ詳細である場合、以前の乗車の報告されなかった損傷が、顧客のより詳細な説明によって後に報告されただけであるということが容易に想像される。サービス提供者は、その損傷が直前に起こったのか、以前の貸与期間に起こったのか、又は、それより前のいずれかの貸与期間に起こったのかを知る由がない。上述のビジネスモデルと同様に、損傷費用の責任を、正当な、この損傷を生じさせた人に帰属させる、自動化された公平なシステムが望まれている。
【0006】
従来技術において利用可能な解決策は、損傷説明責任の問題に対しては有用であるものの、完全な解決策を提供するものではない。イベントに対してリアルタイムの情況を提供しない画像に基づく解決策は、特定の損傷が、その車が貸与されていた運転者の責任であったのか、又は、その損傷が、上述の運転者がコントロールすることができない何かに起因していたのかを、正確に特定することができない。モーションと力とに基づく解決策は、運転者の損傷説明責任を特定するために役立つであろう、イベントについての情況を提供することができるが、引っかき傷及び小さい凹み等の極めて小規模な損傷を検出するための最良の解決策ではない。最後に、音響だけに基づく解決策は、損傷の検出にとって有用ではない、情報が豊富な検出信号の拾い上げに悩まされる。たとえば、マイクロフォンは、損傷の検出に関連する音、たとえば、引っかき傷が作られている音、自動車パネルが加圧されて凹む音、タイヤの軋み音等を拾い上げるが、会話、ラジオの音、サイレン、及び、モーションセンサが定義上反応しない様々な信号も拾い上げる。したがって、音響に基づくセンサにはノイズがより多く、損傷関連の特徴の抽出は複雑になる。
【0007】
文献である欧州特許出願公開第３６６７４４７号明細書には、ビッグデータ情報に基づく、問題のあるノイズ発生源の診断方法が開示されており、この方法は、車両のパワートレインのノイズデータを、リアルタイムノイズ測定装置を用いて測定することと、問題のあるノイズ発生源を診断するために、このノイズデータを、インタフェース装置を介して携帯装置に供給可能な信号に変換することと、変換された信号に対する深層学習アルゴリズムを介してノイズを分析することと、問題のあるノイズ発生源をノイズの原因として診断することと、問題のあるノイズ発生源として診断結果を出力することによってノイズの原因を表示することと、診断結果を携帯装置に伝達することと、を含む。
【0008】
文献である欧州特許出願公開第３６６７６６４号明細書には、問題のあるノイズの発生源を識別するためのノイズデータ事前調整方法を含み得る、問題のあるノイズの発生源を識別するためのノイズデータ人工知能学習方法が開示されており、この方法は、経時的にサンプリングされたノイズの中の問題のあるノイズに対する単位フレームを選択すること、単位フレームをＮ個のセグメントに分割すること、Ｎ個のセグメントの各セグメントに対して周波数特性を分析すること、及び、Ｌｏｇ Ｍｅｌフィルタを適用することによって、各セグメントの周波数成分を抽出すること、並びに、Ｎ個のセグメントに関する情報を平均化することによって、特徴パラメータを１つの代表フレームとして出力することを含み、ノイズデータ事前調整方法による、時間の変化に応じて抽出された特徴パラメータによる人工知能学習は、双方向ＲＮＮを適用する。
【0009】
これらの事実は、本開示によって対処される技術的な問題を説明するために開示される。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】欧州特許出願公開第３６６７４４７号明細書
【特許文献2】欧州特許出願公開第３６６７６６４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0011】
一般的な説明
本開示は、音響センサ信号とモーションセンサ信号とを融合することによる、小規模な損傷の検出に対する機械学習アプローチを提案する。
本開示は、音響センサ信号とモーションセンサ信号とを融合することによる、小規模な損傷の検出に対する機械学習アプローチを提案する。
【0012】
本開示は、小規模な損傷を検出するための、モーション信号と空中音響信号との融合を可能にする。従来の作業の多くは、いずれかのセンサを個別に使用している。空中信号の伝搬は、モーションセンサが強く依存する構造に基づく信号伝搬よりも良好であるので、音響はより豊かな情報源であり得る。しかし、まさにその理由から、音響信号は、小規模な損傷の検出とは無関係の、ノイズが多い情報の影響をより受けやすい。両方のセンサを組み合わせて使用することによって、システムはより正確になり、偽陽性の数が減少し、特に、引っかき傷等の低エネルギ損傷イベントに対する真陽性率が高まる。
【課題を解決するための手段】
【0013】
本開示は、少なくとも、一過性のイベントを検出するためのコンピュータ実装された方法であって、一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、コンピュータ実装された方法を開示し、この方法は、空中の音響波を捕捉するために車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、車両の振動を捕捉するために車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、上述の取得した音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出すること、取得した音響信号と振動信号とを入力データレコードに変換することと、入力データレコードから入力特徴レコードを得ることと、一過性のイベント予測出力を提供するために、入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、を含み、事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている。
【0014】
一実施形態においては、入力特徴レコードは、振動特徴データと音響特徴データとを含み、振動特徴データは、入力データレコードから抽出された一過性の特徴を含み、音響特徴データは、入力データレコードから抽出された一過性のイベント音響特徴を含む。
【0015】
一実施形態においては、この方法は、取得した音響信号を複数の周波数バンドパスフィルタによりフィルタリングすること、取得した音響信号及び振動信号を入力データレコードに変換するときに、フィルタリングされた信号を入力データレコードに出力することを含み得る。
【0016】
一実施形態においては、この方法は、各バンドパスフィルタからフィルタリングされた信号から一過性のイベント音響特徴を抽出することを含み得る。
【0017】
一実施形態においては、この方法は、取得した振動信号をローパスフィルタによりフィルタリングすることと、取得した音響信号及び振動信号を入力データレコードに変換するときに、フィルタリングされた信号を入力データレコードに出力することと、を含み得る。
【0018】
一実施形態においては、音響センサは、マイクロフォンである。
【0019】
一実施形態においては、モーションセンサは、ジャイロスコープ及び／又は加速度計である。
【0020】
少なくとも、一過性のイベントを検出するための装置であって、一過性のイベントは、車両の損傷イベント及び／又は接触イベントである、装置も開示されており、この装置は、車両の振動を捕捉するための、車両に取り付けられたモーションセンサと、空中の音響波を補足するための、車両に取り付けられた音響センサと、以下の方法を実施することによって一過性のイベント予測出力を提供するように構成されている電子データプロセッサと、を備え、当該方法は、空中の音響波を捕捉するために車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、車両の振動を捕捉するために車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、上述の取得した音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、取得した音響信号と取得した振動信号とを入力データレコードに変換することと、入力データレコードから入力特徴レコードを得ることと、一過性のイベント予測出力を提供するために、入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、を含み、事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている。
【0021】
一実施形態においては、装置は、取得した音響信号をフィルタリングして、フィルタリングされた信号を入力データレコードに出力するための複数の周波数バンドパスフィルタをさらに含む。
【0022】
一実施形態においては、装置は、取得した振動信号をフィルタリングして、フィルタリングされた信号を入力データレコードに出力するための少なくとも１つのローパスフィルタをさらに含む。
【0023】
一実施形態においては、音響センサは、マイクロフォンである。
【0024】
一実施形態においては、モーションセンサは、ジャイロスコープ及び／又は加速度計である。
【0025】
一過性のイベント予測出力を提供するために、少なくとも、一過性のイベントを検出するためのプログラム命令を含む非一時的な記憶媒体であって、一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、非一時的な記憶媒体も開示されており、このプログラム命令は、上述の実施形態のうちの任意の方法を実施するために実行可能な命令を含む。
【0026】
一過性のイベント予測出力を得るためのシステムも開示されており、このシステムは、上述の実施形態のうちの任意の方法を実施するように構成されている電子データプロセッサを含む。
【0027】
下記の図面は、説明を図解するための好ましい実施形態を提供しており、本発明の範囲を制限するものとみなされるべきではない。
【図面の簡単な説明】
【0028】
【図1】本開示によってもたらされた改善を実例で明らかにする目的で、種々のシナリオのもとでトレーニングされたＸＧＢｏｏｓｔアルゴリズムのパフォーマンスを示す図である。
【図2】損傷イベント及びバックグラウンドイベントの中央パワースペクトルと、損傷の検出に最も関連する周波数帯域とを示す図である。
【図3】より多くの特徴が機械学習モデルに追加されるときのモデルパフォーマンスの改善を示す図である。
【図4】損傷の検出のための４５個の最も関連する特徴を示す図である。
【図5】損傷の検出がローカルで実行されるシステムアーキテクチャの実施形態を概略的に示す図である。
【図6】損傷の検出がリモートサーバ上で実行されるシステムアーキテクチャの実施形態を概略的に示す図である。
【図7】損傷の検出システムアーキテクチャの実施形態を概略的に示す図である。
【図8】損傷の検出システムのイベントセレクタコンポーネントの実施形態を概略的に示す図である。
【図9】詳細な損傷の検出手順の実施形態を概略的に示す図である。
【発明を実施するための形態】
【0029】
【0030】
３３，２４１個の損傷を伴わないイベントと、残余の４５５個の損傷を伴うイベントとを含む、３３，６９６個のイベントを有するトレーニングセットを考慮する実施形態においては、機械学習アルゴリズムは、モーションセンサ情報のみを使用してトレーニングされ得る。これによって、音響情報の追加に起因する、小規模な損傷の検出に対する何らかの追加の改善についてのベンチマークが得られる。図１の行４の結果は、２０，０８５個のイベントを有するテストセットにおいて、モーションセンサ情報のみでトレーニングされたアルゴリズムを評価することから得られ、このテストセットは、１９，９０２個の損傷を伴わないイベントと１８３個の損傷を伴うイベントとに分けられる。マシューズ相関係数（ＭＣＣ）によって測定された、このテストセットにおけるトレーニングされたモデルのパフォーマンスは、９０．６％である。
【0031】
音響情報のみを用いて機械学習モデルをトレーニングする実施形態（図１の行５）においては、パフォーマンスは極めて低く、３９％のＭＣＣしか達成できず、モデルの再現率は１８．６％と極めて低く、すなわち、損傷イベントを検出できたのは１８．６％のみであった。このことは、音響が極めて豊かな情報源であるにもかかわらず、アルゴリズムが対処しにくいノイズも多く引き起こすことを示している。モーションセンサのみを使用する場合、損傷イベントは、平均して、バックグラウンドイベントよりも高いエネルギを有する。このことは音響を使用する場合にも当てはまり、その違いは、エネルギに関して、モーションセンサではほとんど知覚できないバックグラウンドイベントが、突然、はるかに多くのエネルギでもって測定されることである。この現象の良い例は、ラジオから音楽が再生されることである。大きい音の音楽が再生されているとき、加速度計は、比較的低い周波数及び高度に減衰された周波数のみを測定する。なぜなら、構造物から発生する音響波は、それらが車のシャーシを通って移動するときに散逸するからである。他方では、マイクロフォンは、空中の音響波を拾い上げ、これは、はるかに多くのエネルギを有し、より豊かな周波数スペクトルを有する。音響のみを使用する場合、損傷イベントとバックグラウンドイベントとは、モーションセンサのみを使用する場合と比較して、互いにより類似している。
【0032】
モーションセンサ情報を音響センサ情報と融合する実施形態（図１の行６）においては、モデルのパフォーマンスは、９０．６％（ＭＣＣ）のままである。これは、損傷イベントの検出におけるモデルパフォーマンスの改善のためにセンサ融合を使用することが、単に共通の音響特徴を連結し、機械学習モデルにそれらを通すだけの簡単なものではないことを示している。
【0033】
特徴選択及びエンジニアリングのプロセスを通して、いくつかの音響の時間的特徴が、損傷イベントとバックグラウンドイベントとの分離をより困難にすることがわかった。これらの特徴に共通する特性は、ある意味で、これら全てが信号のエネルギを測定するということである。これらの特徴の公称値が高いほど、よりエネルギの高い信号に変換され、その逆も同様である。これらの特徴は、自己相関、総絶対エネルギ、単位時間当たりの平均エネルギ、曲線下面積、負の転回点及び正の転回点の数である。これらの特徴は全て、振幅又は周波数のいずれかを間接的に測定することによって信号のエネルギと相関する。既に述べたように、これらの特徴は、信号のエネルギにより強く依存することによって、損傷イベントとバックグラウンドイベントとの分離を試みるようにモデルに指示し、これは、モーションセンサ情報であればうまくいくが、音響センサ情報ではあまりうまくいかない。
【0034】
これらの特徴を除去すれば、このタスクにとってセンサ融合を価値のあるものにすることができる。図１の行７においては、９３．８％のＭＣＣが得られる。タイプＩ（偽陽性）のエラー及びタイプＩＩ（偽陰性）のエラーの両方が減少し、したがってパフォーマンスの向上が見られた。
【0035】
図２においては、バックグラウンドイベント及び損傷イベントの中央スペクトル密度が、ウェルチ法を用いてプロットされている。このグラフから、より低い周波数が、バックグラウンドイベント及び損傷イベントの両方で、より大きいパワーを有することが明らかである。しかし、このことは、これらの周波数が、より良好な損傷の検出のための最も重要な周波数であることを暗示するものではない。２０００Ｈｚから３０００Ｈｚまでの間で、損傷イベントの挙動とバックグラウンドイベントの挙動との間に著しい相違があることも見て取れる。損傷イベントの場合、２０００Ｈｚから２５００Ｈｚまでの間でパワー密度が増加し、その後、３０００Ｈｚまでパワー密度が減少することが見て取れる。対照的に、上述した周波数帯域内のバックグラウンドイベントについては、より低いパワー密度が見て取れる。
【0036】
上述の記載から、特徴抽出の前に周波数帯域を分離することによって、損傷イベントの信号とバックグラウンドイベントの信号との差を強調することが可能となり、この結果、異なる周波数帯域から別々の特徴が抽出されることになる。
【0037】
このために、特徴抽出の前に、バターワースフィルタを用いて、元の音響信号を３つの周波数帯域、すなわち、１００～４００Ｈｚ、７５０～１５００Ｈｚ及び２０００～３０００Ｈｚにセグメント化し、その後にはじめて音響特徴が抽出される。
【0038】
このアプローチによって、パフォーマンスを９３．８％から９６．１％に向上させることができる。図１の行８から見て取れるように、このパフォーマンスの向上は、タイプＩＩのエラーの低減によって生じている。その結果、モデルの精度と再現率との両方が向上した。
【0039】
一実施形態においては、２５５個の特徴を有するモデルをトレーニングした。その大半は文献で一般に入手可能であり、ＴＳＦＥＬ ｐｙｔｈｏｎパッケージのようなソフトウェアライブラリを自由に使用することができる。予想どおり、これらの特徴は、モデルのパフォーマンスに一律には寄与しない。より多くの特徴が追加されるにつれてパフォーマンス寄与が急速に減少することを特徴とする、通常の漸近の挙動が観察された（図３）。再現性のために、損傷の検出のための４５個の最も関連する特徴を公開し、これを図４に開示する。
【0040】
一実施形態においては、モーションセンサ信号に対する閾値化技術を使用するスクリーニング手順を導入した。スライディング・ウィンドウを使用して損傷の検出プロセス８を連続的に実行する代わりに、モーションセンサ信号に対してスライディング・ウィンドウを実行し、イベント選択プロセスを連続的に実行する。イベント選択プロセスが、損傷イベントである可能性が高いイベントを発見した場合、発見した後にのみ、損傷の検出プロセス８を実行する。これによって、装置のＣＰＵにかかる計算負荷が軽減され、同時に、モデルが、イベントスクリーニングプロセスを経ていない信号を推測する場合と比較して、モデルのパフォーマンスがわずかに向上する（図１を参照）。本開示は、音響センサ信号とモーションセンサ信号とを融合することによる、小規模な損傷の検出に対する機械学習アプローチを提案する。モーションセンサは、たとえば、ジャイロスコープ及び加速度計であるものとしてよく、音響信号は、任意のタイプのマイクロフォンによって捕捉可能である。これらの信号を、組込みシステム５上でリアルタイムに処理することができ、又は、任意の通信ネットワークを介してサーバ６に送信することができ、サーバ６において前処理ステップ及び損傷の検出手順が行われる。組込みシステムにおいては、全ての信号前処理ステップ及び損傷の検出は、車両の内部又は外部に設置可能な装置５上でローカルに実行される。損傷が検出されると、イベントの詳細を含む報告が、車両所有者、運転者、保険業者、レンタカープラットフォーム及びカーシェアリングプラットフォーム等の１つ又は複数の、関与している利害関係者に送信される。この報告は、損傷の存在に関する情報、この損傷のタイムスタンプ及びＧＰＳ位置を含むが、好適には、他のタイプの関連情報を除外するものではない。
【0041】
図５においては、提案されたシステムの２つの実施形態を観察することができる。図５においては、車の外部又は内部にわたって分散されたモーションセンサ及び音響センサ１～４のクラスタ（群）が示されている。センサのクラスタの代わりに、各タイプの１つのセンサのみを備えた解決策を使用することができる。センサのクラスタは、損傷の位置が重要である事例において最も有用であり得る。この第１の実施形態においては、これらのセンサは組込みシステム５と通信する。この通信は、任意のタイプの無線システム及び／又は有線システムを介して行われ得る。組込みシステムは、メモリと、１つ又は複数の中央処理ユニットとを備えた任意の形態のコンピュータ装置であるものとしてよい。
【0042】
代替的に、特定用途向け集積回路（ＡＳＩＣ）を使用することができる。組込みシステム５は、センサからの信号の前処理、損傷の検出手順の実行、及び、クラウドサーバへの情報の送信を担当する。
【0043】
クラウドサーバ６は、関連する利害関係者に通知を送信する役割を担い、特定の車両及び運転者に関する報告を引き出すことができるウェブアプリケーションを提供することもできる。
【0044】
第１の実施形態においては、損傷の検出システムは、組込み装置５上でローカルに動作する。したがって、クラウドサーバとの通信は、損傷イベントが検出された場合にのみ行われる。これは、無線通信に相当なコストがかかる事例において重要である。その結果、ローカルで利用可能な処理能力を有するコストは、リモートサーバ上で全ての処理タスクを実行するコストより低くなる。
【0045】
図６の実施形態においては、センサは、損傷の検出システムの実行、利害関係者への通知及びウェブアプリケーションの提供を担当するクラウドサーバ６と直接的に通信する。この実施形態においては、サーバとセンサとの間で直接的に通信を行う必要はない。種々異なるセンサの信号を受け取り、それらをバッチ処理し、無線通信システムを通じて送信する、中間の特別な目的のコンピュータが存在するものとしてもよい。これは、コンピュータリソースの効率がデータ伝送コストよりも重要な事例において有用である。したがって、各車において、計算能力を複製することはそれほど魅力的ではない。
【0046】
図７において、７，８が、組込みシステム５上又はクラウドサーバ６において、ローカルに動作するプロセスであり、これらが損傷の検出プロセスに至ることが見て取れる。
【0047】
図８は、イベントセレクタプロセス７において実装されているロジックのダイアグラムを示す。このプロセスは、完全に任意選択的である。このプロセスの存在は、損傷の確率が低い信号の一部をスクリーニングする必要性に左右される。極めて単純な計算プロセスを使用して、信号の重要な部分をフィルタ除去することができ、したがって、損傷の検出手順８によって効果的に処理されるウィンドウの数を減らすことができる。このアプローチは、たとえ精度の低い損傷の検出システムとなるにしても、組込み装置及びデータ伝送のコストを可能な限り低く抑制する必要がある製品アプリケーションを対象とする。イベントセレクタ７において、音響信号ストリーム、モーション信号ストリーム又は両方の信号ストリームの組合せを使用し、これらをｎ秒のサイズのウィンドウ及びストライド１１にわたって観察し、信号の振幅が所定の閾値１０を超過するウィンドウがあるかを特定する。これらの閾値は、実験によって特定される。モーションセンサの場合、損傷の検出手順を通過させたい車両への最小の衝撃をシミュレートすることができる。次に、このプロキシ信号の最大振幅を使用して、モーションセンサの閾値を規定することができる。同様の思想が、音響ウィンドウに対して外挿され得る。顧客フィードバックも、スクリーニングプロセスに組み込むことができる。結局のところ、顧客が、顧客に請求するために十分に重大な損傷の構成要素を規定する。閾値を超過する場合、損傷の検出手順８が実行されるさらなる処理のために、音響ウィンドウ及びモーションウィンドウが、組込み装置５又はクラウド６のいずれかに送信される。
【0048】
図９には、提案された損傷の検出手順の連続する全てのステップが開示されている。第１のステップは、データクリーニングである。このステップの目標は、モーションセンサ及び音響センサの制限に関連するデータアーチファクトを除去することである。これらのアーチファクトは、クリッピングや高調波歪み等の信号歪みに対応する。
【0049】
信号を修復するために、内挿［２７］方法及び外挿［２８］方法を使用することができる。完全な復元は不可能であるが、このプロセスは、歪みアーチファクトによって引き起こされるノイズを低減させ、そうでなければ失われることとなる情報を復元することを試みる。このプロセスは、入力データがハードウェア制限のために情報損失の被害を受けている場合にのみ重要であり、そうでなければスキップされ得る。
【0050】
次の前処理ステップは、信号フィルタリング１４から成る。このフィルタリングプロセスは、信号の、ノイズのある部分を除去する第１の目的と、損傷の検出に関連する周波数帯域を分離する第２の目的との２つの目的を果たす。周波数帯域の分離は、元の信号のみから特徴が抽出されたならば、機械学習モデル１６には見えなかったであろう情報を提供し得る。スペクトルロールオフのような周波数領域の特徴を例としてみる。スペクトルロールオフは、スペクトルの総エネルギの９０％が含まれる周波数を計算する。元の信号が使用される場合、小規模な損傷イベントにおける音響信号のエネルギの大部分は、依然としてエンジンノイズ及びロードノイズから生じており、より低い周波数は損傷の検出にはほとんど関係していない。これは、特定の小規模な損傷の場合、低いエネルギにもかかわらず、比較的高い周波数が特定のタイプの損傷イベントの特徴であるという事実を隠し得る。分離された周波数帯域にわたってスペクトルロールオフ特徴を計算することは、同一の元の信号からより多くの情報を抽出する。これらのフィルタを、経験的に見出すことができ、又は、機械学習方法によって獲得することができる。図９の周波数帯域は、小規模な損傷の検出タスクのために有用であることが判明しているが、排他的であると考えられるべきではなく、他の帯域の使用又は異なる帯域の追加が同様に有用であり得る。フィルタリングされた信号は特徴抽出器１５に供給され、特徴抽出器１５は、両方のタイプの信号について、共通の時間領域特徴及び周波数領域特徴［２９］を計算する。抽出される音響信号特徴及びモーション信号特徴は、同一である必要はなく、これらは完全に異なるものとしてもよいし、互いに重なり合うものとしてもよい。最後に、これらの特徴が連結され、特定の信号ウィンドウに対する損傷の確率を出力する機械学習モデル１６によって使用される。モデルの取り込みにつながる前処理ステップは、あらゆる機械学習モデルと互換性があるが、これらは、ＸＧＢｏｏｓｔ［３０］又はＬｉｇｈｔＧＢＭ［３１］のような決定木に基づくアルゴリズムに特に適している。
【0051】
潜在的な特許侵害の最も重要な兆候の１つは、音響センサとモーションセンサとの融合に関連する特許請求の範囲である。ある競合相手が、加速度計に関連してマイクロフォンを使用することを主張するならば、これは、我々の発明と彼らの発明との間の既に重大な重複となる。
【0052】
我々の損傷の検出手順に関して、フィルタリングされた元の信号から特徴を計算する方法、すなわち、特徴抽出の前に特定の周波数帯域を分離し、その後、モデルの取り込み前に全ての特徴を連結する方法は、我々の観点では、提案された本発明を侵害する可能性がある。損傷の検出手順のいくつかのステップは、任意の機械学習パイプラインにおいて十分に一般的なものであるため、それらを本発明の専有部分であると主張することは軽率であろう。しかし、周波数帯域を分離し、各帯域に対する特徴抽出を行うことは、単純ではあるが、出版されている文献において見られなかった。通常見られるものは、不要なノイズを除去する意図で行われるフィルタリングである。提案された方法の事例においては、フィルタリングは、ノイズを除去するという意図でだけでなく、それらが元の信号から抽出されている場合、そうでなければ、計算された特徴に存在しないであろう情報を明らかにするという目的でも実行される。したがって、この観点から、帯域が重複することも可能な種々異なるバンドパスフィルタを用いて元の信号をフィルタリングすることは意味をなす。他方では、ノイズを除去することだけを意図としてフィルタリングが行われた場合、２つの異なる重なり合うフィルタの使用は意味をなさないこととなる。
【0053】
「備える、含む（comprising）」という用語は、本明細書において使用される場合には常に、記載された特徴、整数、ステップ、構成要素の存在を示すことを意図するものであるが、１つ又は複数のその他の特徴、整数、ステップ、構成要素又はそれらのグループの存在若しくは追加を排除することを意図するものではない。
【0054】
本開示は、決して、記載された実施形態に限定されて解釈されるべきではなく、当業者であれば、記載された実施形態の修正についての多くの可能性を予測するであろう。上述の実施形態は、組合せ可能である。下記の特許請求の範囲にはさらに、本開示の特定の実施形態が記載されている。
【0055】
参考文献
［１］“AI Car Damage Detection.” https://inspektlabs.com/damagedetection/ (２０２２年４月１日閲覧).
［２］Altoros, “Altoros, Car Damage Recognition.” https://www.altoros.com/solutions/car-damage-recognition (２０２２年４月１日閲覧).
［３］Deloitte Luxembourg, “How our new AI car damage recognition application may impact the insurance industry.” https://www2.deloitte.com/lu/en/pages/innovation/articles/deloitte-ai-car-damage-recognition.html (２０２２年４月１日閲覧).
［４］“AI for Vehicle Inspection & Damage Detection,” DeGould. https://degould.com/powered-by-ai/ (２０２２年４月１日閲覧).
［５］I. Kar, M. C. Salman, A. Vashishta, and V. D. Pandey, “Explainable Artificial Intelligence (ai) Based Image Analytic, Automatic Damage Detection and Estimation System,” US2021182713A1, Jun. 17, 2021
［６］MotionsCloud. https://motionscloud.com/products/ (２０２２年４月４日閲覧).
［７］J. S. Snyder, D. Ferguson, and G. Irey, “Automatic crash detection,” US9767625B1, Sep. 19, 2017 ２０２２年４月４日閲覧. ［オンライン］利用可能:https://patents.google.com/patent/US9767625B1/en
［８］T. Dobra and J. Bentham, “Low-impact crash detection system,” EP2854112A1, Apr. 01, 2015 ２０２２年４月１２日閲覧. ［オンライン］利用可能:https://patents.google.com/patent/EP2854112A1/en?oq=LOW+IMPACT+CRASH+DETECTION+FOR+A+VEHICLE
［９］T. Gioutsos, C. White, B. J. Zahn, D. N. Tabar, and D. C. Milo, “Crash detection system,” WO1999020491A1, Apr. 29, 1999 ２０２２年４月４日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/WO1999020491A1/en
［１０］K. Cho, S. B. Choi, and H. Lee, “Design of an Airbag Deployment Algorithm Based on Precrash Information,” IEEE Trans. Veh. Technol., vol. 60, no. 4, pp. 1438-1452, May 2011, doi: 10.1109/TVT.2011.2126614.
［１１］K. Cho, Seibum. B. Choi, S. Wee, and K. Shin, “Design of an Airbag Deployment Algorithm Using a Radar Sensor*,” IFAC Proc. Vol., vol. 43, no. 7, pp. 755-760, Jul. 2010, doi: 10.3182/20100712-3-DE-2013.00016.
［１２］E. J. Gillis, T. Gioutsos, and D. E. Palmer, “Vehicle impact detection system,” US5445412A, Aug. 29, 1995 ２０２２年４月１２日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/US5445412/en?oq=LOW+IMPACT+CRASH+DETECTION+FOR+A+VEHICLE
［１３］ “Vehicle side impact crash detection for deployment of curtain and side airbags,” Apr. 03, 2007 ２０２２年４月１２日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/US7484756B2/en
［１４］K. Bauer, S. Hesse, H. Kettern-Kohler, and U. Rick, “Method for controlling a belt pretensioner and safety arrangement comprising a belt pretensioner,” US8335614B2, Dec. 18, 2012 ２０２２年４月４日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/US8335614/en
［１５］“Noise Vibration and Harshness - an overview | ScienceDirect Topics.” https://www.sciencedirect.com/topics/engineering/noisevibration-and-harshness (２０２２年４月１１日閲覧).
［１６］“Noise Vibration Harshness (NVH) | What we do | FEV - FEV Group.” https://www.fev.com/en/what-we-do/powertraindevelopment-electrification/nvh-noise-vibration-harshness.html (２０２２年４月１１日閲覧).
［１７］R. F. Coleman, “Comparison of microphone and neck-mounted accelerometer monitoring of the performing voice,” J. Voice, vol. 2, no. 3, pp. 200-205, Jan. 1988, doi: 10.1016/S0892- 1997(88)80077-8.
［１８］S. A. Anand, C. Wang, J. Liu, N. Saxena, and Y. Chen, “Motion Sensor-based Privacy Attack on Smartphones,” ArXiv190705972 Cs, Oct. 2020, ２０２２年４月４日閲覧. ［オンライン］利用可能: http://arxiv.org/abs/1907.05972
［１９］M. Sammarco and M. Detyniecki, “Crashzam: Sound-based Car Crash Detection,” Mar. 2018. doi: 10.5220/0006629200270035.
［２０］D. Damjanovic, “Piezoelectricity,” in Encyclopedia of Condensed Matter Physics, F. Bassani, G. L. Liedl, and P. Wyder, Eds. Oxford: Elsevier, 2005, pp. 300-309. doi: 10.1016/B0-12- 369401-9/00433-2.
［２１］H. Baumgaertel, A. Kneifel, S. Gontscharov, and K. Krieger, “Investigations and Comparison of Noise Signals to Useful Signals for the Detection of Dents in Vehicle Bodies by Sound Emission Analysis,” 2014, doi: 10.1016/J.PROTCY.2014.09.044.
［２２］S. Gontscharov, K. Baumgaertel, A. Kneifel, and K.-L. Krieger, “Algorithm Development for Minor Damage Identification in Vehicle Bodies Using Adaptive Sensor Data Processing,” Procedia Technol., vol. 15, Dec. 2014, doi: 10.1016/j.protcy.2014.09.019.
［２３］A. KNEIFEL, K. H. Baumgaertel, and K.-L. Krieger, “Device and method for detecting at least one structure-borne sound signal,” DE102014001258A1, Jul. 30, 2015 ２０２２年４月１１日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/DE102014001258A1/en
［２４］T. Niemann and K. H. Baumgaertel, “A sensor device and method for detecting at least one touch event on a vehicle,” DE102014014389A1, Apr. 07, 2016 ２０２２年４月１１日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/DE102014014389A1/en
［２５］S. Amares, E. Sujatmika, T. W. Hong, R. Durairaj, and H. S. H. B. Hamid, “A Review: Characteristics of Noise Absorption Material,” J. Phys. Conf. Ser., vol. 908, p. 012005, Oct. 2017, doi: 10.1088/1742-6596/908/1/012005.
［２６］A. Kneifel, S. Gontscharov, and K. Baumgaertel, “Real time minor damage identification system and its validation in a fleet test,” 2015, pp. 775-786. doi: 10.1007/978-3-658-08844-6_51.
［２７］J. F. Steffensen, Interpolation. 2006. ２０２２年４月７日閲覧. ［オンライン］利用可能:http://www.freading.com/ebooks/details/r:download/ZnJlYWQ6OTc4MDQ4NjE1NDgzMTpl
［２８］A. Sidi, Practical Extrapolation Methods: Theory and Applications. Cambridge University Press, 2003.
［２９］M. Barandas et al., “TSFEL: Time Series Feature Extraction Library,” SoftwareX, vol. 11, p. 100456, Jan. 2020, doi: 10.1016/j.softx.2020.100456.
［３０］T. Chen and C. Guestrin, “XGBoost: A Scalable Tree Boosting System,” Proc. 22nd ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., pp. 785-794, Aug. 2016, doi: 10.1145/2939672.2939785.
［３１］G. Ke et al., “LightGBM: A Highly Efficient Gradient Boosting Decision Tree,” in Advances in Neural Information Processing Systems, 2017, vol. 30. ２０２２年４月７日閲覧. ［オンライン］利用可能: https://papers.nips.cc/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html
［３２］“Welch Method - an overview | ScienceDirect Topics.” https://www.sciencedirect.com/topics/mathematics/welch-method (２０２２年１０月４日閲覧).
［３３］“Butterworth Filter - an overview | ScienceDirect Topics.” https://www.sciencedirect.com/topics/computer-science/butterworth-filter (２０２２年１０月４日閲覧).
［１］“AI Car Damage Detection.” https://inspektlabs.com/damagedetection/ (２０２２年４月１日閲覧).
［２］Altoros, “Altoros, Car Damage Recognition.” https://www.altoros.com/solutions/car-damage-recognition (２０２２年４月１日閲覧).
［３］Deloitte Luxembourg, “How our new AI car damage recognition application may impact the insurance industry.” https://www2.deloitte.com/lu/en/pages/innovation/articles/deloitte-ai-car-damage-recognition.html (２０２２年４月１日閲覧).
［４］“AI for Vehicle Inspection & Damage Detection,” DeGould. https://degould.com/powered-by-ai/ (２０２２年４月１日閲覧).
［５］I. Kar, M. C. Salman, A. Vashishta, and V. D. Pandey, “Explainable Artificial Intelligence (ai) Based Image Analytic, Automatic Damage Detection and Estimation System,” US2021182713A1, Jun. 17, 2021
［６］MotionsCloud. https://motionscloud.com/products/ (２０２２年４月４日閲覧).
［７］J. S. Snyder, D. Ferguson, and G. Irey, “Automatic crash detection,” US9767625B1, Sep. 19, 2017 ２０２２年４月４日閲覧. ［オンライン］利用可能:https://patents.google.com/patent/US9767625B1/en
［８］T. Dobra and J. Bentham, “Low-impact crash detection system,” EP2854112A1, Apr. 01, 2015 ２０２２年４月１２日閲覧. ［オンライン］利用可能:https://patents.google.com/patent/EP2854112A1/en?oq=LOW+IMPACT+CRASH+DETECTION+FOR+A+VEHICLE
［９］T. Gioutsos, C. White, B. J. Zahn, D. N. Tabar, and D. C. Milo, “Crash detection system,” WO1999020491A1, Apr. 29, 1999 ２０２２年４月４日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/WO1999020491A1/en
［１０］K. Cho, S. B. Choi, and H. Lee, “Design of an Airbag Deployment Algorithm Based on Precrash Information,” IEEE Trans. Veh. Technol., vol. 60, no. 4, pp. 1438-1452, May 2011, doi: 10.1109/TVT.2011.2126614.
［１１］K. Cho, Seibum. B. Choi, S. Wee, and K. Shin, “Design of an Airbag Deployment Algorithm Using a Radar Sensor*,” IFAC Proc. Vol., vol. 43, no. 7, pp. 755-760, Jul. 2010, doi: 10.3182/20100712-3-DE-2013.00016.
［１２］E. J. Gillis, T. Gioutsos, and D. E. Palmer, “Vehicle impact detection system,” US5445412A, Aug. 29, 1995 ２０２２年４月１２日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/US5445412/en?oq=LOW+IMPACT+CRASH+DETECTION+FOR+A+VEHICLE
［１３］ “Vehicle side impact crash detection for deployment of curtain and side airbags,” Apr. 03, 2007 ２０２２年４月１２日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/US7484756B2/en
［１４］K. Bauer, S. Hesse, H. Kettern-Kohler, and U. Rick, “Method for controlling a belt pretensioner and safety arrangement comprising a belt pretensioner,” US8335614B2, Dec. 18, 2012 ２０２２年４月４日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/US8335614/en
［１５］“Noise Vibration and Harshness - an overview | ScienceDirect Topics.” https://www.sciencedirect.com/topics/engineering/noisevibration-and-harshness (２０２２年４月１１日閲覧).
［１６］“Noise Vibration Harshness (NVH) | What we do | FEV - FEV Group.” https://www.fev.com/en/what-we-do/powertraindevelopment-electrification/nvh-noise-vibration-harshness.html (２０２２年４月１１日閲覧).
［１７］R. F. Coleman, “Comparison of microphone and neck-mounted accelerometer monitoring of the performing voice,” J. Voice, vol. 2, no. 3, pp. 200-205, Jan. 1988, doi: 10.1016/S0892- 1997(88)80077-8.
［１８］S. A. Anand, C. Wang, J. Liu, N. Saxena, and Y. Chen, “Motion Sensor-based Privacy Attack on Smartphones,” ArXiv190705972 Cs, Oct. 2020, ２０２２年４月４日閲覧. ［オンライン］利用可能: http://arxiv.org/abs/1907.05972
［１９］M. Sammarco and M. Detyniecki, “Crashzam: Sound-based Car Crash Detection,” Mar. 2018. doi: 10.5220/0006629200270035.
［２０］D. Damjanovic, “Piezoelectricity,” in Encyclopedia of Condensed Matter Physics, F. Bassani, G. L. Liedl, and P. Wyder, Eds. Oxford: Elsevier, 2005, pp. 300-309. doi: 10.1016/B0-12- 369401-9/00433-2.
［２１］H. Baumgaertel, A. Kneifel, S. Gontscharov, and K. Krieger, “Investigations and Comparison of Noise Signals to Useful Signals for the Detection of Dents in Vehicle Bodies by Sound Emission Analysis,” 2014, doi: 10.1016/J.PROTCY.2014.09.044.
［２２］S. Gontscharov, K. Baumgaertel, A. Kneifel, and K.-L. Krieger, “Algorithm Development for Minor Damage Identification in Vehicle Bodies Using Adaptive Sensor Data Processing,” Procedia Technol., vol. 15, Dec. 2014, doi: 10.1016/j.protcy.2014.09.019.
［２３］A. KNEIFEL, K. H. Baumgaertel, and K.-L. Krieger, “Device and method for detecting at least one structure-borne sound signal,” DE102014001258A1, Jul. 30, 2015 ２０２２年４月１１日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/DE102014001258A1/en
［２４］T. Niemann and K. H. Baumgaertel, “A sensor device and method for detecting at least one touch event on a vehicle,” DE102014014389A1, Apr. 07, 2016 ２０２２年４月１１日閲覧. ［オンライン］利用可能: https://patents.google.com/patent/DE102014014389A1/en
［２５］S. Amares, E. Sujatmika, T. W. Hong, R. Durairaj, and H. S. H. B. Hamid, “A Review: Characteristics of Noise Absorption Material,” J. Phys. Conf. Ser., vol. 908, p. 012005, Oct. 2017, doi: 10.1088/1742-6596/908/1/012005.
［２６］A. Kneifel, S. Gontscharov, and K. Baumgaertel, “Real time minor damage identification system and its validation in a fleet test,” 2015, pp. 775-786. doi: 10.1007/978-3-658-08844-6_51.
［２７］J. F. Steffensen, Interpolation. 2006. ２０２２年４月７日閲覧. ［オンライン］利用可能:http://www.freading.com/ebooks/details/r:download/ZnJlYWQ6OTc4MDQ4NjE1NDgzMTpl
［２８］A. Sidi, Practical Extrapolation Methods: Theory and Applications. Cambridge University Press, 2003.
［２９］M. Barandas et al., “TSFEL: Time Series Feature Extraction Library,” SoftwareX, vol. 11, p. 100456, Jan. 2020, doi: 10.1016/j.softx.2020.100456.
［３０］T. Chen and C. Guestrin, “XGBoost: A Scalable Tree Boosting System,” Proc. 22nd ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., pp. 785-794, Aug. 2016, doi: 10.1145/2939672.2939785.
［３１］G. Ke et al., “LightGBM: A Highly Efficient Gradient Boosting Decision Tree,” in Advances in Neural Information Processing Systems, 2017, vol. 30. ２０２２年４月７日閲覧. ［オンライン］利用可能: https://papers.nips.cc/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html
［３２］“Welch Method - an overview | ScienceDirect Topics.” https://www.sciencedirect.com/topics/mathematics/welch-method (２０２２年１０月４日閲覧).
［３３］“Butterworth Filter - an overview | ScienceDirect Topics.” https://www.sciencedirect.com/topics/computer-science/butterworth-filter (２０２２年１０月４日閲覧).
【図1】
【図2】
【図3】
【図4-1】
【図4-2】
【図4-3】
【図4-4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2024-04-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも、一過性のイベントを検出するためのコンピュータ実装された方法であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、コンピュータ実装された方法において、
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
コンピュータ実装された方法。
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
コンピュータ実装された方法。
【請求項2】
前記入力特徴レコードは、振動特徴データと音響特徴データとを含み、
前記振動特徴データは、前記入力データレコードから抽出された一過性の特徴を含み、
前記音響特徴データは、前記入力データレコードから抽出された一過性のイベント音響特徴を含む、
請求項１に記載のコンピュータ実装された方法。
前記振動特徴データは、前記入力データレコードから抽出された一過性の特徴を含み、
前記音響特徴データは、前記入力データレコードから抽出された一過性のイベント音響特徴を含む、
請求項１に記載のコンピュータ実装された方法。
【請求項3】
前記方法は、
取得した前記音響信号を複数の周波数バンドパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１に記載のコンピュータ実装された方法。
取得した前記音響信号を複数の周波数バンドパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１に記載のコンピュータ実装された方法。
【請求項4】
前記方法は、各前記バンドパスフィルタからフィルタリングされた前記信号から一過性のイベント音響特徴を抽出することを含む、
請求項１に記載のコンピュータ実装された方法。
請求項１に記載のコンピュータ実装された方法。
【請求項5】
前記方法は、
取得した前記振動信号をローパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１に記載のコンピュータ実装された方法。
取得した前記振動信号をローパスフィルタによりフィルタリングすることと、
取得した前記音響信号及び前記振動信号を入力データレコードに変換するときに、フィルタリングされた前記信号を前記入力データレコードに出力することと、
を含む、
請求項１に記載のコンピュータ実装された方法。
【請求項6】
前記音響センサは、マイクロフォンである、
請求項１に記載のコンピュータ実装された方法。
請求項１に記載のコンピュータ実装された方法。
【請求項7】
前記モーションセンサは、ジャイロスコープ及び／又は加速度計である、
請求項１に記載のコンピュータ実装された方法。
請求項１に記載のコンピュータ実装された方法。
【請求項8】
少なくとも、一過性のイベントを検出するための装置であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、装置において、
前記装置は、
車両の振動を捕捉するための、前記車両に取り付けられたモーションセンサと、
空中の音響波を補足するための、前記車両に取り付けられた音響センサと、
以下の方法を実施することによって一過性のイベント予測出力を提供するように構成されている電子データプロセッサと、
を備え、
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と取得した前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
装置。
前記装置は、
車両の振動を捕捉するための、前記車両に取り付けられたモーションセンサと、
空中の音響波を補足するための、前記車両に取り付けられた音響センサと、
以下の方法を実施することによって一過性のイベント予測出力を提供するように構成されている電子データプロセッサと、
を備え、
前記方法は、
空中の音響波を捕捉するために前記車両に取り付けられた音響センサによって所定の時間にわたって音響信号を取得することと、
車両の振動を捕捉するために前記車両に取り付けられたモーションセンサによって所定の時間にわたって少なくとも振動信号を取得することと、
取得した前記音響信号が所定の音響閾値を上回っているか、及び／又は、取得した振動信号が所定の振動閾値を上回っているかを検出することと、
取得した前記音響信号と取得した前記振動信号とを入力データレコードに変換することと、
前記入力データレコードから入力特徴レコードを得ることと、
一過性のイベント予測出力を提供するために、前記入力特徴レコードを事前トレーニングされた機械学習モデルに供給することと、
を含み、
前記事前トレーニングされたモデルは、入力特徴トレーニングレコードとイベント出力トレーニングレコードとを含むトレーニングデータセットにより事前トレーニングされている、
装置。
【請求項9】
取得した音響信号をフィルタリングして、フィルタリングされた前記信号を前記入力データレコードに出力するための複数の周波数バンドパスフィルタをさらに含む、
請求項８に記載の装置。
請求項８に記載の装置。
【請求項10】
取得した前記振動信号をフィルタリングして、フィルタリングされた前記信号を前記入力データレコードに出力するための少なくとも１つのローパスフィルタをさらに含む、
請求項８に記載の装置。
請求項８に記載の装置。
【請求項11】
前記音響センサは、マイクロフォンである、
請求項８に記載の装置。
請求項８に記載の装置。
【請求項12】
前記モーションセンサは、ジャイロスコープ及び／又は加速度計である、
請求項８に記載の装置。
請求項８に記載の装置。
【請求項13】
一過性のイベント予測出力を提供するために、少なくとも、一過性のイベントを検出するためのプログラム命令を含む非一時的な記憶媒体であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、非一時的な記憶媒体において、
前記プログラム命令は、当該プログラム命令が電子データプロセッサにより実行されたときに、請求項１に記載の前記方法を前記電子データプロセッサに実施させるために実行可能な命令を含む、
非一時的な記憶媒体。
前記プログラム命令は、当該プログラム命令が電子データプロセッサにより実行されたときに、請求項１に記載の前記方法を前記電子データプロセッサに実施させるために実行可能な命令を含む、
非一時的な記憶媒体。
【請求項14】
一過性のイベント予測出力を得るためのシステムであって、
前記システムは、
一過性のイベント予測出力を提供するために、少なくとも、一過性のイベントを検出するためのプログラム命令を含む非一時的な記憶媒体であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、非一時的な記憶媒体と、
前記プログラム命令を実行することにより、請求項１に記載の前記方法を実施するように構成されている電子データプロセッサと、
を含む、
システム。
前記システムは、
一過性のイベント予測出力を提供するために、少なくとも、一過性のイベントを検出するためのプログラム命令を含む非一時的な記憶媒体であって、前記一過性のイベントは、車両に対する損傷イベント及び／又は接触イベントである、非一時的な記憶媒体と、
前記プログラム命令を実行することにより、請求項１に記載の前記方法を実施するように構成されている電子データプロセッサと、
を含む、
システム。
【外国語明細書】