特開 2022-91691 機器を診断するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022091691

(43)【公開日】2022-06-21

(54)【発明の名称】機器を診断するためのシステムおよび方法

(51)【国際特許分類】

   G06Q 10/00 20120101AFI20220614BHJP

【ＦＩ】

G06Q10/00 300

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021186495

(22)【出願日】2021-11-16

(31)【優先権主張番号】63/123,220

(32)【優先日】2020-12-09

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/523,326

(32)【優先日】2021-11-10

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ａａｃ

(71)【出願人】

【識別番号】519447732

【氏名又は名称】トランスポーテーション アイピー ホールディングス，エルエルシー

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(72)【発明者】

【氏名】カルナラトネ，ミラン

(72)【発明者】

【氏名】ラマイアー，ナベーンクマール

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA20

(57)【要約】      （修正有）

【課題】機器を診断するためのシステム及び方法を提供する。
【解決手段】方法は、機器の動作を記録して音声ファイルにすることと、音声ファイルを画像データに変換することと、画像データを機械学習モデルに入力して、画像データが機器の所望の動作を示すか又は機器の不所望の動作を示すかを判定することと、を含む。システムは、機器１０の動作を記録し、かつ、音声ファイルを作成する音声センサ及び１つ以上のプロセッサを含む音声記録デバイス１２を備える。１つ以上のプロセッサは、音声ファイルを画像データに変換し、画像データを機械学習モデルに入力して、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
機器の動作を記録して音声ファイルを作成することと、
前記音声ファイルを画像データに変換することと、
前記画像データを、前記画像データが前記機器の所望の動作または前記機器の不所望の動作を示すかどうかを判定するように構成された機械学習モデルに入力することと、を含む、方法。

【請求項2】

前記機器の前記不所望の動作における前記機器の不良モードを判定することをさらに含む、請求項１に記載の方法。

【請求項3】

判定された前記不良モードに基づいて、前記機器の前記動作を変更すること、または
判定された前記不良モードに基づいて、前記機器の修理を指示すること、のうちの１つ以上をさらに含む、請求項２に記載の方法。

【請求項4】

前記機器の前記動作の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、前記機器の前記動作を変更することをさらに含む、請求項１に記載の方法。

【請求項5】

前記機器が、車両システムに含まれ、前記機器の前記動作を変更することが、前記車両システムのスロットルまたはエンジン速度を変更することを含む、請求項４に記載の方法。

【請求項6】

前記機器が、１つ以上の他の原動機と連動し、前記方法が、
記録される前記機器のｅ動作から、前記１つ以上の他の原動機によって生成された音声をフィルタ除去することをさらに含む、請求項１に記載の方法。

【請求項7】

前記機器は、１つ以上の他の原動機と連動し、前記方法は、
前記機器が動作し続ける間、前記１つ以上の他の原動機を停止させて、前記機器の前記動作の記録中に前記１つ以上の他の原動機によって生成される他の音声の生成を防止することをさらに含む、請求項１に記載の方法。

【請求項8】

前記機器のハウジングが、前記機器の前記動作の前記音声の記録中に除去されたかどうかを示す入力を受信することであって、前記機械学習モデルは、前記機器の前記ハウジングが前記音声の記録中に除去されたかどうかに基づいて、前記画像データが前記機器の所望の動作を示すかまたは前記機器の不所望の動作を示すかを判定するように構成されている、受信することをさらに含む、請求項１に記載の方法。

【請求項9】

ハンドヘルドデバイスを使用して機器の動作の音声を録音して前記音声ファイルにすることが、複数の位置での音声動作を録音することを含み、前記画像データを前記機械学習モデルに入力することが、前記画像データを前記機械学習モデルに入力することと同時に前記複数の位置での以前の画像データを前記機械学習モデルに入力することを含む、請求項１に記載の方法。

【請求項10】

システムであって、
機器の動作を記録し、それによって音声ファイルを生成するように構成された音声センサと、
１つ以上のプロセッサであって、
前記音声ファイルを画像データに変換することと、
前記画像データを、前記画像データが前記機器の所望の動作を示すかまたは前記機器の不所望の動作を示すかを判定するように構成された機械学習モデルに入力することと、を行うように構成された１つ以上のプロセッサと、を含む、システム。

【請求項11】

前記１つ以上のプロセッサが、
前記機器の前記不所望の動作における前記機器の不良モードを判定するようにさらに構成されている、請求項１０に記載のシステム。

【請求項12】

前記１つ以上のプロセッサが、
判定された前記不良モードに基づいて、前記機器の前記動作を変更することと、
判定された前記不良モードに基づいて、前記機器の修理を指示することと、を行うようにさらに構成されている、請求項１１に記載のシステム。

【請求項13】

前記１つ以上のプロセッサが、
前記機器の前記動作の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、前記機器の前記動作を変更するようにさらに構成されている、請求項１０に記載のシステム。

【請求項14】

前記機器が、車両システムに含まれ、前記機器の前記動作を変更することが、前記車両システムのスロットルまたはエンジン速度を変更することを含む、請求項１３に記載のシステム。

【請求項15】

前記機器が、１つ以上の他の原動機と連動し、前記１つ以上のプロセッサが、
記録される前記機器の前記動作から、前記１つ以上の他の原動機によって生成された音声をフィルタ除去するようにさらに構成されている、請求項１０に記載のシステム。

【請求項16】

前記機器が、１つ以上の他の原動機と連動し、前記１つ以上のプロセッサは、
前記機器が動作し続ける間、前記１つ以上の他の原動機を停止させて、前記機器の前記動作の記録中に前記１つ以上の他の原動機によって生成される他の音声の生成を防止するようにさらに構成されている、請求項１０に記載のシステム。

【請求項17】

前記１つ以上のプロセッサは、
前記機器のハウジングが、前記機器の前記動作の記録中に除去されたかどうかを示す入力を受信するように構成され、前記機械学習モデルが、前記機器の前記ハウジングが前記音声の記録中に除去されたかどうかに基づいて、前記画像データが前記機器の所望の動作を示すかまたは前記機器の不所望の動作を示すかを判定するように構成されている、請求項１０に記載のシステム。

【請求項18】

前記音声ファイルが、前記機器の複数の位置で記録され、前記１つ以上のプロセッサが、
前記画像データを前記機械学習モデルに入力することと同時に、前記複数の位置での以前の画像データを前記機械学習モデルに入力することを行うようにさらに構成されている、請求項１０に記載のシステム。

【請求項19】

方法であって、
車両システムのコンポーネントの動作を記録して音声ファイルにすることと、
前記音声ファイルを画像データに変換することと、
前記画像データを、前記画像データが前記コンポーネントの所望の動作を示すかまたは前記コンポーネントの不所望の動作を示すかを判定するように構成された機械学習モデルに入力することと、を含む、方法。

【請求項20】

前記機器の前記不所望の動作における前記機器の不良モードを判定し、判定された前記不良モードに基づいて前記機器の前記動作を変更するか、または判定された前記不良モードに基づいて前記機器の修理を指示すること、
前記コンポーネントの前記動作の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、前記コンポーネントの前記動作を変更すること、
記録される前記コンポーネントの前記動作の前記音声から、前記車両システムの１つ以上の他のコンポーネントによって生成された音声をフィルタ除去すること、
前記コンポーネントが動作し続ける間、前記車両システムのエンジンを停止させて、前記コンポーネントの前記動作の記録中に前記エンジンによって生成される他の音声の生成を防止すること、
前記機器のハウジングが、前記機器の前記動作の前記音声の記録中に除去されたかどうかを示す入力を受信することであって、前記機械学習モデルが、前記機器の前記ハウジングが前記音声の記録中に除去されたかどうかに基づいて、前記画像データが前記機器の所望の動作を示すかまたは前記機器の不所望の動作を示すかを判定するように構成されている、受信すること、または
前記画像データを前記機械学習モデルに入力することと同時に、複数の位置での以前の画像データを前記機械学習モデルに入力すること、のうちの１つ以上をさらに含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年１２月９日に出願された米国特許出願第６３／１２３，２２０号の優先権を主張し、その開示全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

本明細書に記載される開示された本主題は、機器を診断するためのシステムおよび方法に関する。

【0003】

背景技術
車両の部品などの機器を診断して、予想されるかまたは望ましい方式またはモードで動作していない可能性がある部品を検出することができる。診断は、診断を行う個人の主観に応じてばらつく可能性があり、このことは、不正確な結果につながり得る。診断は、以前の診断を考慮しない可能性があり、このことにより、現在の診断が正しいかどうかを判断することが困難になる。機器の動作が所望のものと誤って診断された場合、機器の不良は、機器（例えば、機関車）が所望通りに動作しないという結果になり得る。逆に、部品が検査され、損傷を有するか、欠陥を有するか、または不良であると誤って診断された場合、部品の不必要な交換は、サービスからの機器の除外、および追加の修理費用をもたらす。したがって、機器の問題を診断するための改善された方式の必要性が存在する。

【発明の概要】

【0004】

一例または一態様によれば、方法は、機器の動作の音声を録音して、音声ファイルを作成することと、音声ファイルを画像データに変換することと、を含み得る。方法は、画像データを機械学習モデルに入力して、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかどうかを判定することを含み得る。

【0005】

一例または一態様によれば、システムは、機器の動作を記録して音声ファイルを生成するための音声センサ、および１つ以上のプロセッサを含み得る。１つ以上のプロセッサは、音声ファイルを画像データに変換し、画像データを、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定する機械学習モデルに入力し得る。

【0006】

一例または一態様によれば、方法は、車両システムのコンポーネントの動作を記録して音声ファイルにすることと、音声ファイルを画像データに変換することと、を含み得る。方法は、画像データを機械学習モデルに入力して、画像データがコンポーネントの所望の動作を示すかまたはコンポーネントの不所望の動作を示すかを判定することを含み得る。

【図面の簡単な説明】

【0007】

本発明の主題は、添付の図面を参照して、非限定的な実施形態の以下の説明を読むことから理解され得る。

【図1】一実施形態による機器を診断するためのシステムを概略的に例示している。

【図2】一実施形態による機器を診断するための方法を概略的に例示している。

【図3】機器の予想される動作を示す画像データを表す。

【図4】第１の不良モードによる機器の不所望の動作を示す画像データを表す。

【図5】第２の不良モードによる機器の不所望の動作を示す画像データを表す。

【図6】一実施形態による機器を診断するための方法を概略的に例示している。

【図7】一実施形態による機器を診断するための方法を概略的に例示している。

【発明を実施するための形態】

【0008】

本明細書に記載される主題の１つ以上の実施形態は、抽象的または離散的な音声シグネチャを評価し、機器のフィードバックおよび／または評価を提供することができるデバイスに関する。機械学習モデルの深層学習技術は、複雑な機器を診断して、機器の動作が所望通りに動作しているか、または不所望の様態で動作しているかを判定することができる。機器の動作が不所望である場合、デバイスは、複数の異なる動作モードから不所望の動作モードを選択することができる。評価に基づいて機器の動作を変更することができるか、または評価に基づいて機器の修理を指示することができる。

【0009】

本明細書に記載される主題の実施形態は、システムのコンポーネントを評価することができる方法およびシステムに関する。コンポーネントは、車両システムまたは発電システムの一部であり得る。コンポーネントの動作は、コンポーネントの音声をキャプチャすることを提供するために修正され得る。システムの他のコンポーネントによって生成された音は、フィルタ除去され得る。システムの他のコンポーネントは、評価および診断対象のコンポーネントからの音声のキャプチャを可能にするために停止され得る。

【0010】

１つ以上の実施形態が、鉄道車両システムに関連して記載されるが、必ずしもすべての実施形態が、鉄道車両システムに関連するわけではない。さらに、本明細書に記載される実施形態は、複数のタイプの車両システムに及ぶ。好適な車両システムは、鉄道車両、自動車、トラック（トレーラの有無にかかわらない）、バス、船舶、航空機、採鉱車両、農業車両、およびオフハイウェイ車両を含み得る。本明細書に記載される好適な車両システムは、単一の車両から形成され得る。他の実施形態では、車両システムは、協調的に移動する複数の車両を含み得る。好適な車両システムは、線路上を走行するレール車両システム、または道路または経路上を走行する車両システムであり得る。多車両システムに関して、車両は、（例えば、連結器によって）互いに機械的に連結され得るか、またはこれらの車両は、機械的に連結されずに仮想的または論理的に連結され得る。例えば、車両は、別個の車両が互いに通信して、車両が（例えば、護送車、プラトーン、スウォーム、フリートなどとして）一緒に走行するように、車両の移動を互いに協調させるときに、車両は、機械的にではなく、通信可能に連結され得る。

【0011】

機器またはコンポーネントに関して、好適な例としては、定期的な診断の対象となる機器を挙げることができる。一実施形態では、コンポーネントは、エンジン、または車両システムのコンポーネントであり得る。例えば、機器は、機関車のエンジンのための高圧燃料ポンプであってもよい。別の例では、コンポーネントは、電気モータであってもよい。一般に、回転機器は、本発明の方法を使用した診断に合っている。

【0012】

図１を参照すると、機器１０は、音声記録デバイス１２を使用して診断され得る。一実施形態によれば、音声記録デバイスは、モバイルハンドヘルドデバイスであり得る。モバイルハンドヘルドデバイスは、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、コンピュータ（例えば、ラップトップコンピュータ）などであり得る。音声記録デバイスは、診断対象である機器の動作を示す音声をキャプチャし、かつ音声を音声ファイル１４として記憶し得る、音声キャプチャデバイス、例えばマイクロフォン、振動センサ（例えば、加速度計）、１つ以上の圧電体、または機器または機器のハウジングに接触し得るプローブを含み得る。この音声ファイルは、生音声ファイルであり得る。音声記録デバイスは、例えばＵＳＢ接続によって、外部センサまたはプローブまたはマイクロフォンなどの音声キャプチャデバイスに接続され得る。センサまたはプローブまたはマイクロフォンは、生音声ファイルを生成するために、機器部品に近接しておよび／または接触して、配置され得る。音声記録デバイスは、音声ファイルを１つ以上のプロセッサに伝達し得、１つ以上のプロセッサは、機械学習モデルを使用してコンポーネントに関する判定および評価を行うための、メモリに記憶された命令を実行し得る。例えば、判定は、機器部品が所望のモードで動作しているか、または不所望のモードで動作しているかに関連し得る。近接に関して、距離は、アプリケーション特有のパラメータを参照して選択され得る。一実施形態では、近接性は、コンポーネントの一部分に対する音声キャプチャデバイスの数インチ以内であり得る。

【0013】

好適な音声ファイルとしては、不可逆のファイルタイプ、および可逆のファイルタイプが挙げられ得る。音声ファイルタイプの例としては、．ｗａｖ、．ｍｐ３、．ｗｍａ、．ａａｃ、．ｏｇｇ、．ｍｉｄｉ、．ａｉｆ、．ａｉｆｃ、．ａｉｆｆ、．ａｕ、および．ｅａを挙げることができる。ファイルタイプは、圧縮比、圧縮アルゴリズム、および他のアプリケーション特有のパラメータに少なくとも部分的に基づいて選択され得る。

【0014】

一例によれば、機器は、車両の高圧燃料ポンプである。生音声ファイルは、車両エンジンがアイドル（すなわち、アンロードまたは非推進生成）条件または状態で稼働している間に生成され得る。音声記録デバイスまたは音声キャプチャデバイスは、燃料ポンプに近接して配置され得、音声記録デバイスまたは音声キャプチャデバイスは、異なる位置間で移動され得る（例えば、第１の記録位置１６から第２の記録位置１８に、第３の記録位置２０に、など）。例示される例は、３つの位置での記録を示すが、任意選択で、記録は、より少ない場所（例えば、単一の位置または２つの位置）または４つ以上の位置で行われてもよい。図１に示すように、記録位置は、機器の上部から下部にわたり得る。音声記録デバイスまたは音声キャプチャデバイスは、音声記録デバイスまたは音声キャプチャデバイスが第１の記録位置から第２の記録位置、第３の記録位置に移動されるときに、一定期間、記録位置の各々の上にホバーされ得る。一実施形態によれば、高圧燃料ポンプの動作は、例えば、３０秒、１分、または別の時間の長さにわたって記録され得る。音声記録デバイスまたは音声キャプチャデバイスを使用して、２つ以上の音声ファイルを出力し得る。例えば、音声記録デバイスまたは音声キャプチャデバイスは、車両の第１の側に第１の燃料ポンプの第１の音声ファイルを出力し得、車両の第２の反対側に第２の燃料ポンプの第２の音声ファイルをキャプチャしてもよい。

【0015】

音声記録デバイスまたは音声キャプチャデバイスは、記録条件に関する入力を受け入れるためのインターフェース１３を含み得る。例えば、音声記録デバイスまたは音声キャプチャデバイスは、ハウジングまたはカバーが機器に付けられているか、または機器から外れているか、またはハウジングまたはカバーが記録中に除去されるかどうかを示す入力を受け入れ得る。音声記録デバイスの１つ以上のプロセッサは、機器の動作の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、機器の動作を変更し得る。１つ以上のプロセッサは、車両または車両システム（例えば、機関車）と通信して、車両システムのスロットルまたはエンジン速度を変更することによって、機器の動作を変更し得る。音声記録デバイスの１つ以上のプロセッサは、稼働中のエンジンと関連付けられたノイズを電子的にフィルタ除去し得る。

【0016】

１つ以上のプロセッサは、機器の動作から生成された音を分離し得る。一実施形態によれば、診断対象の機器は、燃料ポンプであり、車両システムは、燃料ポンプ内に圧力を印加するが、エンジンがバックグラウンドノイズを発生させないように、エンジンを動作させない。１つ以上のプロセッサは、点検されている機器と動作可能に結合された他の機器またはコンポーネントを作動させて、作動が、点検中の機器によって生成される振動または音に及ぼす効果を判定し得る。例えば、燃料ポンプを介して燃料を受け取る燃料噴射器を、作動させてもよい。音声記録デバイスの１つ以上のプロセッサは、１つ以上の他の原動機、例えばエンジン、を停止させて、車両システムの機器またはコンポーネントの動作の音声の記録中に１つ以上の原動機によって生成される生成音または他の音を防止し得る。１つ以上のプロセッサは、識別される不良モードに基づいて機器部分の動作を変更するか、または識別される不良モードに基づいて機器部品の修理を指示するかの１つ以上であり得る。

【0017】

図２を参照すると、一実施形態による機器を診断するための方法２２は、生音声ファイル２４を正規化された音声ファイル２６に処理することを含む。処理は、生音声ファイルにランダムノイズを追加すること、生音声ファイルのピッチをシフトさせるかまたは変更すること、または生音声ファイルを異なる時間に再サンプリングすることのうちの１つ以上を含み得る。例えば、生音声ファイルを、３０秒～１５秒に再サンプリングして、生音声ファイルを正規化された音声ファイルに処理してもよい。

【0018】

正規化された音声ファイルは、例えば、メルスペクトログラムなどの画像データ３０への変換２８を経る。メルスペクトログラムは、機械学習モデル３２の入力層３４に提供される。一実施形態によれば、機械学習モデルは、複数の隠れ層３６、３８、４０、４２を含む深層学習機械学習モデルである。隠れ層は、機械学習モデルのアルゴリズムの入力層と出力層４４との間に位置する。アルゴリズムは、入力（例えば、メルスペクトログラム）に重みを適用し、入力を、活性化関数を介して出力として導く。隠れ層は、入力層に入力された入力の非線形変換を実行する。

【0019】

一実施形態では、機械学習モデルは、教師なし機械学習モデルである。隠れ層は、機械学習モデルの機能に応じて変化し得、隠れ層は、これらの隠れ層の関連付けられた重みに応じて変化し得る。隠れ層は、機械学習モデルの機能を入力データの特定の変換に分解することを可能にする。各隠れ層関数が、定義された出力を生成するために提供され得る。例えば、１つの隠れ層は、どのタイプの機器部品が診断対象であるかを識別するために使用されてもよい。隠れ層は、機器を高圧燃料ポンプとして識別し得る。各隠れ層の関数は、画像データが、所望通りに動作している機器を表すかどうかを独立して判定するには十分ではないが、隠れ層は、機械学習モデル内で、共同で機能して、入力画像データ（例えば、メルスペクトログラム）が機器の所望の動作を表す確率を判定する。

【0020】

機械学習モデルは、入力層を介して画像データを提供され得る。画像データは、同様の機器、例えば他の高圧燃料ポンプ、からのものであってもよい。入力画像データは、同じ機器の１つ以上の以前の診断からのものであってもよい。例えば、機械学習モデルは、高圧燃料ポンプの以前の画像データを含み、高圧燃料ポンプが以前の回数、例えば５回、診断されていると判定してもよい。機械学習モデルは、以前の５回の診断の前の画像データを含み得る。機械学習モデルは、機器が以前に一定回数診断され、かつ不所望よりも所望通りに動作している可能性が高いと判定されていると判定し得る。機械学習モデルは、入力データから、診断されている機器が診断されている他の機器よりも古いと判定し、したがって、経時的な機器の劣化を判定し得る。

【0021】

一実施形態によれば、機械学習モデルは、より正確な意思決定を提供するために、記録動作と同時にモデルの結果を参照し得る。再び図１を参照すると、音声記録デバイスまたは音声キャプチャデバイスが１つの記録位置から別の記録位置に移動されるにつれて、１つ以上の以前の記録位置における結果が、同時の参照点として次の記録位置で使用され得る。音声記録デバイスまたは音声キャプチャデバイスが、例えば、エンジン内のシリンダからシリンダに、またはポンプ内のシリンダからシリンダに、または複数のポンプの場合にポンプからポンプに移動されるにつれて、機械学習モデルのアルゴリズムは、先行機器部分の挙動および評価を参照し得、診断されている機器に特有の閾値を同時に調整し得る。機械学習モデルは、機器またはシステム全体の評価が完了した後、機器および機器部品の事前評価を調整し得る。

【0022】

機械学習モデルは、音声記録デバイスのメモリに記憶され、１つ以上のプロセッサによって実行され得る。音声記録デバイスのメモリは、音声記録デバイスによって以前に実施された診断からの、または他の音声記録デバイスからのいずれかの以前の診断の入力データを記憶し得る。機械学習モデルの入力データは、ラベル付けおよび構造化されておらず、隠れた層の動作を介して、機械学習モデルは、入力画像データ内のパターンを検出し、パターン内のあらゆる異常を検出する。

【0023】

機械学習モデルの出力層は、機器が所望のモードで動作していることを示す結果４６を、結果が正しい割合を示す信頼度レベルで出力し得る。代替的に、出力層は、機器が不所望のモードで動作していることを示す結果４８を、結果が正しい割合を示す信頼度レベルで出力してもよい。一実施形態によれば、結果は、機器の不良モードを示し得る。例えば、結果は、不良モードなし、すなわち、機器が、確立されたパラメータ内で所望通りに動作していることを示してもよい。図３を参照すると、機械学習モデルに入力された画像データ５０は、予想される機器を表すと判定される。一実施形態によれば、機械学習モデルによって判定される結果は、機器が不所望のモードで動作することを示し得る。図４を参照すると、一例として、画像データは、高圧燃料ポンプの不所望の動作を示す不規則で一貫性がないパターン５２を含み得る。別の例として、図５を参照すると、画像データは、高圧燃料ポンプの不所望の動作を示す可視キャビテーション５４を含んでもよい。

【0024】

図６を参照すると、方法６００は、機器の動作を記録して音声ファイルを作成するステップ６１０と、音声ファイルを画像データに変換するステップ６２０と、を含む。方法は、画像データを機械学習モデルに入力して、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定するステップ６３０を含む。

【0025】

図７を参照すると、方法７００は、車両システムのコンポーネントの動作を記録して、音声ファイルを作成するステップ７１０と、音声ファイルを画像データに変換するステップ７２０と、を含む。本方法は、画像データを、画像データがコンポーネントの所望の動作を示すかまたはコンポーネントの不所望の動作を示すかを判定する機械学習モデルに入力するステップ７３０をさらに含む。

【0026】

１つ以上のプロセッサは、１つ以上の音声ファイルを画像データに変換し得る。例えば、正規化された音声ファイルの音声データは、例えば決定された窓サイズを有する窓関数を使用した高速フーリエ変換（ＦＦＴ）を使用して、メルスペクトログラムの画像データに変換されてもよい。分析は、決定されたホップサイズを使用して、音声ファイルを、連続する窓の間で、決定された回数サンプリングしてもよい。各窓のＦＦＴは、時間領域から周波数領域に変換するように計算され得る。メルスケールは、周波数スペクトル全体を決定された数の等間隔の周波数に分離することによって生成され得る。次いで、スペクトログラムは、各窓について、信号の大きさをスペクトログラムの成分に分解することによって生成され、成分は、メルスケールでの周波数に対応し得る。他の実施形態では、他の変換アルゴリズムが使用されてもよい。好適な変換モデルとして、ラプラス変換、ウェーブレット変換、およびクラマース－クローニッヒ変換を挙げることができる。

【0027】

一実施形態では、方法は、機器の動作を記録して、音声ファイルを作成することと、音声ファイルを画像データに変換することと、を含み得る。方法は、画像データを機械学習モデルに入力して、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかどうかを判定することを含み得る。

【0028】

方法は、機器の不所望の動作における機器の不良モードを判定することを含み得る。方法は、判定された不良モードに基づいて機器の動作を変更すること、または判定された不良モードに基づいて機器の修理を指示することの１つ以上を含み得る。

【0029】

方法は、機器の動作の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、機器の動作を変更することを含み得る。機器は、車両システムに含まれ得、機器の動作を変更することは、車両システムのスロットルまたはエンジン速度を変更することを含み得る。機器は、１つ以上の他の原動機と連動し得、方法は、記録される機器の動作から１つ以上の他の原動機によって生成された音声をフィルタ除去することを含み得る。機器は、１つ以上の他の原動機と連動し得、方法は、機器が動作し続ける間、１つ以上の他の原動機を停止させて、機器の動作の記録中に１つ以上の他の原動機によって生成される他の音声の生成を防止することを含み得る。

【0030】

方法は、機器のハウジングが、機器の動作の音声の記録中に除去されたかどうかを示す入力を受信することを含み得る。機械学習モデルは、機器のハウジングが音声の記録中に除去されたかどうかに基づいて、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定し得る。機器の動作を記録して音声ファイルにすることは、複数の位置での音声動作を録音することを含み得る。画像データを機械学習モデルに入力することは、画像データを機械学習モデルに入力することと同時に、複数の位置での以前の画像データを機械学習モデルに入力することを含み得る。

【0031】

システムは、機器の動作の音声を記録して音声ファイルにするための音声センサと、１つ以上のプロセッサと、を含み得る。１つ以上のプロセッサは、音声ファイルを画像データに変換し、画像データを機械学習モデルに入力して、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定し得る。

【0032】

１つ以上のプロセッサは、機器の不所望の動作における機器の不良モードを判定し得る。１つ以上のプロセッサは、判定された不良モードに基づいて機器の動作を変更し得るか、または判定された不良モードに基づいて機器の修理を指示し得る。１つ以上のプロセッサは、機器の動作の音声の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、機器の動作を変更し得る。機器は、車両システムに含まれ得、１つ以上のプロセッサは、車両システムのスロットルまたはエンジン速度を変更することによって、機器の動作を変更し得る。

【0033】

機器は、１つ以上の他の原動機と連動し得、１つ以上のプロセッサは、記録される機器の動作の音声から１つ以上の他の原動機によって生成された音声をフィルタ除去し得る。機器は、１つ以上の他の原動機と連動し得、１つ以上のプロセッサは、機器が動作し続ける間、１つ以上の他の原動機を停止させて、機器の動作の記録中に１つ以上の他の原動機によって生成される他の音声の生成を防止し得る。

【0034】

１つ以上のプロセッサは、機器のハウジングが、機器の動作の音声の記録中に除去されたかどうかを示す入力を受信し得、機械学習モデルは、機器のハウジングが音声の記録中に除去されたかどうかに基づいて、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定し得る。音声ファイルは、機器の複数の位置で記録され得、１つ以上のプロセッサは、画像データを機械学習モデルに入力するのと同時に、複数の位置での以前の画像データを機械学習モデルに入力し得る。

【0035】

方法は、車両システムのコンポーネントの動作の音声を録音して音声ファイルにすることと、音声ファイルを画像データに変換することと、を含み得る。方法は、画像データを機械学習モデルに入力して、画像データがコンポーネントの所望の動作を示すかまたはコンポーネントの不所望の動作を示すかを判定することをさらに含み得る。

【0036】

方法は、機器の不所望の動作における機器の不良モードを判定し、判定された不良モードに基づいて機器の動作を変更するか、または判定された不良モードに基づいて機器の修理を指示することを含み得る。方法は、コンポーネントの動作の音声の記録前または記録中に、少なくとも１つの関心のある音声を強調するように、コンポーネントの動作を変更することをさらに含み得る。方法は、記録されるコンポーネントの動作から、車両システムの１つ以上の他のコンポーネントによって生成された音声をフィルタ除去することをさらに含み得る。方法は、コンポーネントが動作を続けている間、車両システムのエンジンを停止させて、コンポーネントの動作の記録中にエンジンによって生成される他の音声の生成を防止することをさらに含み得る。

【0037】

方法は、機器のハウジングが、機器の動作の音声の記録中に除去されたかどうかを示す入力を受信し得、機械学習モデルは、機器のハウジングが音声の記録中に除去されたかどうかに基づいて、画像データが機器の所望の動作を示すかまたは機器の不所望の動作を示すかを判定し得る。方法は、画像データを機械学習モデルに入力することと同時に、複数の位置での以前の画像データを機械学習モデルに入力することをさらに含み得る。

【0038】

一実施形態では、１つ以上のプロセッサは、機器またはコンポーネントに関するより段階的なデータを判定し得る。すなわち、所望の状態で動作しているか、または不所望の状態で動作しているかではなく、さらに、それがそのような状態で動作している程度である。スコアは、段階的なスケールによるものであり得、スコアは、コンポーネントの予想される残りの寿命に対応し得る。次いで、その情報を使用して、計算された不良の日付の前の将来の日付で、メンテナンス、修理、または交換をスケジュールし得る。計算された不良の日付には、誤差のマージンがあり得る。誤差のマージンは、一例では、コンポーネントの臨界およびコンポーネントの不良の影響に関して判定され得る。一実施形態では、その情報を使用して、機器またはコンポーネントの動作を修正し得る。例えば、機器またはコンポーネントがストレスの少ないデューティサイクルで使用されている場合、それが最大限の能力まで使用されている場合よりも長く持続し得る。

【0039】

一実施形態では、本明細書に記載されるコントローラまたはシステムは、ローカルデータ収集システムを展開し得、機械学習を使用して、派生ベースの学習成果を可能にし得る。コントローラは、データ駆動型予測を行い、かつデータのセットに従って適応することによって、データのセット（様々なセンサによって提供されるデータを含む）から学習し、データのセットに関する決定を行い得る。実施形態では、機械学習は、教師あり学習、教師なし学習、および強化学習などの機械学習システムによる複数の機械学習タスクを実行することを伴い得る。教師あり学習は、例示的な入力および所望の出力のセットを機械学習システムに提示することを含み得る。教師なし学習は、学習アルゴリズムがパターン検出および／または特徴学習などの方法によってその入力を構造化することを含み得る。強化学習は、機械学習システムが動的環境内で実行し、次いで、正しい決定および不正確な決定に関するフィードバックを提供することを含み得る。例では、機械学習は、機械学習システムの出力に基づいて複数の他のタスクを含み得る。例では、タスクは、分類、回帰、クラスタリング、密度推定、次元縮小、異常検出などの機械学習問題であり得る。例では、機械学習は、複数の数学的および統計的技術を含み得る。例では、多くのタイプの機械学習アルゴリズムは、決定木ベースの学習、関連付けルール学習、深層学習、人工ニューラルネットワーク、遺伝子学習アルゴリズム、帰納的論理プログラミング、サポートベクタマシン（ＳＶＭ）、ベイズネットワーク、強化学習、表現学習、ルールベース機械学習、スパース辞書学習、類似性およびメトリック学習、学習分類子システム（ＬＣＳ）、ロジスティック回帰、ランダムフォレスト、Ｋ平均法、勾配ブースト、Ｋ近傍法（ＫＮＮ）、アプリオリアルゴリズムなどを含み得る。実施形態では、特定の機械学習アルゴリズムが使用され得る（例えば、自然選択に基づき得る制約付き最適化問題と制約なし最適化問題との両方を解決するために）。例では、これらのアルゴリズムを使用して、いくつかのコンポーネントが整数値であるように制限される、混合整数計画法の問題に対処し得る。アルゴリズムおよび機械学習技術およびシステムは、計算インテリジェンスシステム、コンピュータビジョン、自然言語処理（ＮＬＰ）、レコメンダシステム、強化学習、グラフィカルモデルの構築などで使用され得る。一例では、機械学習を使用して、決定、計算、比較および行動分析などを行い得る。

【0040】

一実施形態では、コントローラは、１つ以上のポリシーを適用し得るポリシーエンジンを含み得る。これらのポリシーは、設備または環境の所与の項目の特性に少なくとも部分的に基づき得る。制御ポリシーに関して、ニューラルネットワークは、いくつかの環境パラメータおよびタスク関連パラメータの入力を受信することができる。これらのパラメータは、例えば、動作している機器に関する操作入力、様々なセンサからのデータ、位置データおよび／または姿勢データなどを含み得る。ニューラルネットワークを、これらの入力に基づいて出力を生成するように訓練することができ、出力は、機器またはシステムが動作の目標を達成するために取るべきアクションまたは一連のアクションを表す。一実施形態の動作中に、ニューラルネットワークのパラメータを介して入力を処理して、そのアクションを所望のアクションとして指定する値を出力ノードで生成することによって、判定が生じ得る。このアクションは、車両を動作させる信号に変換され得る。このことは、バックプロパゲーション、フィードフォワードプロセス、閉ループフィードバック、または開ループフィードバックを介して達成され得る。代替的に、バックプロパゲーションを使用するのではなく、コントローラの機械学習システムは、進化戦略技術を使用して、人工ニューラルネットワークの様々なパラメータを調整し得る。コントローラは、バックプロパゲーションを使用して常に解決可能ではない場合がある関数、例えば、非凸型である関数を有するニューラルネットワークアーキテクチャを使用し得る。一実施形態では、ニューラルネットワークは、ニューラルネットワークのノード結合の重みを表すパラメータのセットを有する。このネットワークのいくつかのコピーが生成され、次いで、パラメータに異なる調整が行われ、シミュレーションが行われる。様々なモデルからの出力が取得されると、これらの出力は、決定された成功メトリックを使用して、それらの性能に関して評価され得る。最良のモデルが選択され、車両コントローラは、その計画を実行して、予測される最良の成果シナリオを反映するための所望の入力データを達成する。加えて、成功メトリックは、互いに対して重み付けされ得る最適化された成果の組み合わせであり得る。

【0041】

本明細書で使用される場合、「プロセッサ」および「コンピュータ」という用語、ならびに関連する用語、例えば、「処理デバイス」、「コンピューティングデバイス」、および「コントローラ」は、コンピュータと当該技術分野で称されるそれらの集積回路のみに限定されずに、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、フィールドプログラマブルゲートアレイ、および特定用途向け集積回路、ならびに他のプログラマブル回路を指し得る。好適なメモリは、例えば、コンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリなどのコンピュータ可読不揮発性媒体であり得る。「非一時的コンピュータ可読媒体」という用語は、コンピュータ可読命令、データ構造、プログラムモジュールおよびサブモジュール、または任意のデバイス内の他のデータなどの情報の短期および長期記憶のために実装される有形のコンピュータベースのデバイスを表す。したがって、本明細書に記載される方法は、記憶デバイスおよび／またはメモリデバイスを含むが、これらに限定されない、有形の非一時的なコンピュータ可読媒体に具現化される実行可能命令として符号化され得る。そのような命令は、プロセッサによって実行されると、プロセッサに、本明細書に記載される方法の少なくとも一部分を実施させる。したがって、この用語は、揮発性および不揮発性媒体、ならびに、ファームウェア、物理および仮想記憶装置、ＣＤ－ＲＯＭ、ＤＶＤ、ならびにネットワークまたはインターネットなどの他のデジタルソースなどの、リムーバブルおよび非リムーバブル媒体を含むが、これらに限定されない、非一時的なコンピュータ記憶装置を含むが、これらに限定されない、有形のコンピュータ可読媒体を含む。

【0042】

「含む（ｃｏｍｐｒｉｓｅ）」、「含む（ｃｏｍｐｒｉｓｅｓ）」、「含まれる（ｃｏｍｐｒｉｓｅｄ）」、または「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語のいずれかまたはすべてが、本明細書（特許請求の範囲を含む）で使用される場合、それらは、述べられた特徴、整数、ステップ、またはコンポーネントの存在を特定するものとして解釈されるべきであるが、１つ以上の他の特徴、整数、ステップ、またはコンポーネントの存在を排除しない。

【0043】

「ａ」、「ａｎ」、および「ｔｈｅ」という単数形は、文脈が別途明示しない限り、複数の言及を含む。「任意選択の」または「任意選択で」は、続いて記載される事象または状況が生じてもよく、または生じなくてもよく、かつその説明は、その事象が生じる場合と生じない場合とを含み得ることを意味する。本明細書および条項全体を通して本明細書で使用される近似する言葉は、それが関連し得る基本機能の変化をもたらすことなく許容可能に変化し得る任意の定量的表現を修正するために適用され得る。したがって、「約」、「実質的に」、および「およそ」などの１つ以上の用語によって修飾される値は、指定された正確な値に限定されなくてもよい。少なくともいくつかの場合では、近似する言葉は、値を測定するための器具の精度に対応し得る。ここで、ならびに本明細書および条項全体を通して、範囲限界が組み合わせ、および／または交換されてもよく、そのような範囲は、識別され、文脈または言葉が別途指示しない限り、その中に包含されるすべてのサブ範囲を含み得る。

【0044】

記述された本明細書は、実施例を使用して、ベストモードを含む実施形態を開示し、任意のデバイスまたはシステムを作製および使用すること、ならびに任意の組み込まれた方法を実施することを含めて、当業者が実施形態を実践することを可能にする。特許請求の範囲は、本開示の特許可能な範囲を定義し、当業者が思い付く他の例を含む。そのような他の例は、それらが特許請求の範囲の文字通りの言葉と異ならない構造要素を有する場合か、またはそれらが特許請求の範囲の文字通りの言葉とは実質的に異なる均等な構造要素を含む場合、特許請求の範囲の範囲内であることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】