特許 7377695 ユーザ端末ハードウェア検出方法、装置、コンピュータ装置、および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-01

(45)【発行日】2023-11-10

(54)【発明の名称】ユーザ端末ハードウェア検出方法、装置、コンピュータ装置、および記憶媒体

(51)【国際特許分類】

   G06F 11/22 20060101AFI20231102BHJP

   G06N 3/04 20230101ALI20231102BHJP

   G06N 3/08 20230101ALI20231102BHJP

【ＦＩ】

G06F11/22 673F

G06F11/22 673G

G06F11/22 652

G06N3/04

G06N3/08

【請求項の数】 6

(21)【出願番号】P 2019229349

(22)【出願日】2019-12-19

(65)【公開番号】P2020198075

(43)【公開日】2020-12-10

【審査請求日】2022-01-27

(31)【優先権主張番号】201910466019.8

(32)【優先日】2019-05-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】516114396

【氏名又は名称】鴻富錦精密電子（鄭州）有限公司

(73)【特許権者】

【識別番号】500080546

【氏名又は名称】鴻海精密工業股▲ふん▼有限公司

【氏名又は名称原語表記】ＨＯＮ ＨＡＩ ＰＲＥＣＩＳＩＯＮ ＩＮＤＵＳＴＲＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】６６，Ｃｈｕｎｇ Ｓｈａｎ Ｒｏａｄ，Ｔｕ－Ｃｈｅｎｇ Ｎｅｗ Ｔａｉｐｅｉ，２３６（ＴＷ）

(74)【代理人】

【識別番号】110002848

【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所

(72)【発明者】

【氏名】単 江鋒

(72)【発明者】

【氏名】高 易▲トウ▼

(72)【発明者】

【氏名】張 銘棋

(72)【発明者】

【氏名】庄 智▲ショー▼

(72)【発明者】

【氏名】▲イン▼ 吉祥

【審査官】坂東 博司

(56)【参考文献】

【文献】特開２００３－０９８２２６（ＪＰ，Ａ）

【文献】特開２００４－２８７６７３（ＪＰ，Ａ）

【文献】特開２０１１－１３４３２９（ＪＰ，Ａ）

【文献】特開平０８－２２７３６７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７９９３５３８（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２０／０２３３３９７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０７５６０５０６（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９５７９２２０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／２２

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

ユーザ端末ハードウェア検出装置のユーザ端末ハードウェア検出方法であって、
前記ユーザ端末ハードウェア検出装置は、プロセッサと、コンピュータプログラムを格納するように配設されたメモリとを備え、
前記コンピュータプログラムは、実行されるとき、前記プロセッサに、
オシロスコープによってユーザ端末のハードウェアモジュールの電圧の変化状況を示すデジタル信号波形図を取得するステップと、
畳み込みニューラルネットワークに基づく深層学習モデルである障害分析モデルを利用して、前記デジタル信号波形図の電圧値を含む特徴情報を識別するように、前記デジタル信号波形図に対して特徴識別を行うステップと、
識別された特徴情報と前記ユーザ端末のＵＳＢハードウェアモジュールを含む障害ハードウェアモジュール及び断線障害を含む障害タイプを含む障害タイプデータベース中の既知の前記障害ハードウェアモジュール及び障害タイプに対応する特徴情報とを比較するステップと、
比較結果により、前記デジタル信号波形図の特徴情報に対応する前記障害ハードウェアモジュールと、前記障害ハードウェアモジュールの障害タイプを出力するステップと、
を実行させ、
前記障害分析モデルの構築は、
既知の前記障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプに対応する前記デジタル信号波形図であるデジタル信号サンプル波形図を複数取得するステップと、
複数の前記デジタル信号サンプル波形図をトレーニングセットと検証セットに分けるステップと、
畳み込みニューラルネットワークに基づく深層学習モデルを確立し、前記トレーニングセットを使用して深層学習モデルをトレーニングするステップと、
トレーニング済みの深層学習モデルを使用して前記検証セットの前記デジタル信号波形図を識別し、識別された特徴情報と前記トレーニングセットの特徴情報と比較して、トレーニング済みの深層学習モデルに対して検証を行い、各検証結果によりモデル予測精度を取得するステップと、
前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップと、
前記モデル予測精度が予め設定されたしきい値以上である場合、トレーニング済みの前記深層学習モデルを前記障害分析モデルとして使用するステップと、を含むことを特徴とするユーザ端末ハードウェア検出方法。

【請求項2】

前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップの後、さらに、
前記モデル予測精度が予め設定されたしきい値より小さい場合、前記深層学習モデルの畳み込みカーネルの数、プーリング層の要素の数、および全結合層の要素の数の少なくとも１つを含んでいるパラメーターを調整し、前記トレーニングセットを使用して調整済みの前記深層学習モデルを再トレーニングし、
再トレーニングされた前記深層学習モデルを使用して前記検証セットの前記デジタル信号波形図を識別し、識別された特徴情報と前記トレーニングセットの特徴情報と比較して、再トレーニング済みの前記深層学習モデルに対して検証を行い、各検証結果により前記モデル予測精度を取得し、前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断し、
前記モデル予測精度が前記予め設定されたしきい値以上である場合、再トレーニング済の前記深層学習モデルを前記障害分析モデルとし、
前記モデル予測精度が予め設定されたしきい値より小さい場合、前記検証セットの検証によって取得された前記モデル予測精度が予め設定されたしきい値以上になるまで、上記のステップを繰り返することを特徴とする請求項１に記載のユーザ端末ハードウェア検出方法。

【請求項3】

前記障害タイプデータベースの構築は、
既知の前記障害ハードウェアモジュールと前記障害タイプの前記デジタル信号波形図をデジタル特徴マトリックスに変換し、次に前記デジタル特徴マトリックスをトレーニング済みの前記障害分析モデルに導入するステップと、
前記デジタル特徴マトリックスに対して特徴フィッティングを行うことにより、既知の前記障害ハードウェアモジュール及び前記障害タイプに対応する特徴情報を取得するステップと、
既知の前記障害ハードウェアモジュール及び前記障害タイプと、取得された前記特徴情報とをマッピング関係を確立し、前記障害タイプデータベースに記憶するステップとを含むことを特徴とする請求項１に記載のユーザ端末ハードウェア検出方法。

【請求項4】

オシロスコープによってユーザ端末のハードウェアモジュールの電圧の変化状況を示すデジタル信号波形図を取得する取得モジュールと、
畳み込みニューラルネットワークに基づく深層学習モデルである障害分析モデルを利用して、前記デジタル信号波形図の電圧値を含む特徴情報を識別するように、前記デジタル信号波形図に対して特徴識別を行う識別モジュールと、
識別された特徴情報と前記ユーザ端末のＵＳＢハードウェアモジュールを含む障害ハードウェアモジュール及び断線障害を含む障害タイプを含む障害タイプデータベース中の既知の前記障害ハードウェアモジュール及び障害タイプに対応する特徴情報とを比較する比較モジュールと、
比較結果により、前記デジタル信号波形図の特徴情報に対応する前記障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプを出力する出力モジュールと、
を含む、
前記障害分析モデルの構築は、
既知の前記障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプに対応する前記デジタル信号波形図であるデジタル信号サンプル波形図を複数取得するステップと、
複数の前記デジタル信号サンプル波形図をトレーニングセットと検証セットに分けるステップと、
畳み込みニューラルネットワークに基づく深層学習モデルを確立し、前記トレーニングセットを使用して深層学習モデルをトレーニングするステップと、
トレーニング済みの深層学習モデルを使用して前記検証セットの前記デジタル信号波形図を識別し、識別された特徴情報と前記トレーニングセットの特徴情報と比較して、トレーニング済みの深層学習モデルに対して検証を行い、各検証結果によりモデル予測精度を取得するステップと、
前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップと、
前記モデル予測精度が予め設定されたしきい値以上である場合、トレーニング済みの前記深層学習モデルを前記障害分析モデルとして使用するステップと、を含むことを特徴とするユーザ端末ハードウェア検出装置。

【請求項5】

プロセッサを含むコンピュータ装置であって、
前記プロセッサはメモリに記憶されたコンピュータプログラムを実行することにより、請求項１から３のいずれか１項に記載のユーザ端末ハードウェア検出方法を実現することを特徴とするコンピュータ装置。

【請求項6】

コンピュータプログラムが記憶されたコンピュータ記憶媒体であって、
前記コンピュータプログラムはプロセッサによって実行されることにより、請求項１から３のいずれか１項のユーザ端末ハードウェア検出方法を実現することを特徴とするコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末検出の分野に関し、特に、ユーザ端末ハードウェア検出方法、ユーザ端末ハードウェア検出装置、コンピュータ装置、およびコンピュータ記憶媒体に関する。

【背景技術】

【0002】

科学技術の発展により、人々の生活は、スマートフォン、タブレットコンピュータ、スマートウォッチなどのさまざまなユーザ端末製品と切り離せないものとなり、これにより、ユーザ端末のメンテナンス問題が生じている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

電子技術の急速な発展に伴い、ユーザ端末のさまざまなコンポーネントの機能はますます多様化しており、製品の組み立て技術はますます洗練されている。既存のユーザ端末において、ハードウェアのメンテナンス方法は、ユーザ端末を開いた後に内部のコンポーネントを検出する必要があるため、端末の分解によって関連するコンポーネントの廃棄が発生するので、この問題を解決するために、新しいユーザ端末ハードウェア検出方法が必要となる。

【0004】

上記の問題に鑑みて、ユーザ端末を分解することなく、ユーザ端末のハードウェア障害の検出を完了することができるユーザ端末ハードウェア検出方法および装置、コンピュータ装置、およびコンピュータ読み取り可能な記憶媒体を提供する必要がある。

【課題を解決するための手段】

【0005】

本出願の第１の態様は、ユーザ端末のハードウェアを検出する方法であって、この方法は、
ユーザ端末のデジタル信号波形図を取得するステップと、
障害分析モデルを利用して、前記デジタル信号波形図に対して特徴識別を行うステップと、
識別された特徴情報と障害タイプデータベース中の特徴情報とを比較するステップと、
比較結果により、前記デジタル信号波形図で表される障害ハードウェアモジュールと、前記障害ハードウェアモジュールの障害タイプを出力するステップとを含む。
前記デジタル信号波形図の内容は、電圧および電流の少なくとも一方を含むことが好ましい。

【0006】

前記障害分析モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， ＣＮＮ）に基づく深層学習（ディープラーニング、ｄｅｅｐ ｌｅａｒｎｉｎｇ）モデルであることが好ましい。

【0007】

前記障害分析モデルを構築するステップは、
複数のデジタル信号サンプル波形図を取得するステップと、
前記デジタル信号サンプル波形図をトレーニングセットと検証セットに分けるステップと、
畳み込みニューラルネットワークに基づく深層学習モデルを確立し、前記トレーニングセットを使用して深層学習モデルをトレーニングするステップと、
前記検証セットを使用して、トレーニング済みの深層学習モデルに対して検証を行い、検証結果を統計することによりモデル予測精度を取得するステップと、
前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップと、
前記モデル予測精度が予め設定されたしきい値以上である場合、トレーニング済みの前記深層学習モデルを前記障害分析モデルとして使用する。
前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップの後、さらに、
前記モデル予測精度が予め設定されたしきい値より小さい場合、前記深層学習モデルのパラメーターを調整し、前記トレーニングセットを使用して調整済みの深層学習モデルを再トレーニングし、
前記検証セットを使用して、再トレーニングされた深層学習モデルを検証し、各検証結果に従って再統計してモデル予測精度を取得し、再統計されたモデル予測精度が予め設定されたしきい値より小さいかどうかを判断し、
前記再統計されたモデル予測精度が前記予め設定されたしきい値以上である場合、再トレーニング済の深層学習モデルを前記障害分析モデルとし、
前記再統計されたモデル予測精度が予め設定されたしきい値より小さい場合、前記検証セットの検証によって取得されたモデル予測精度が予め設定されたしきい値以上になるまで、上記のステップを繰り返す。

【0008】

前記畳み込みニューラルネットワークに基づく深層学習モデルのパラメーターには、畳み込みカーネルの数、プーリング層（Ｐｏｏｌｉｎｇ）の要素の数、および全結合層の要素の数の少なくとも１つを含んでいる。

【0009】

前記障害タイプデータベースは、以下のステップによって構築することが好ましい。
既知の障害ハードウェアモジュールと障害タイプのデジタル信号波形図をトレーニング済みの障害分析モデルに代入するステップと、
前記障害分析モデルを使用して分析することにより、既知の障害ハードウェアモジュール及び障害タイプに対応する特徴情報を取得するステップと、
既知の障害ハードウェアモジュール及び障害タイプと、分析により取得された特徴情報とをマッピング関係を確立し、記憶するステップとを含む。

【0010】

前記特徴情報は、既知の障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプに対応する電圧または電流情報であることが好ましい。

【0011】

本出願の第２の態様は、ユーザ端末ハードウェア検出装置であって、当該装置は、
ユーザ端末のデジタル信号波形図を取得する取得モジュールと、
障害分析モデルを利用して、前記デジタル信号波形図に対して特徴識別を行う識別モジュールと、
識別された特徴情報と障害タイプデータベース中の特徴情報とを比較する比較モジュールと、
比較結果により、前記デジタル信号波形図で表される障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプを出力する出力モジュールとを含む。

【0012】

本出願の第３の態様は、プロセッサを含むコンピュータ装置を提供し、前記プロセッサはメモリに記憶されたコンピュータプログラムを実行することにより、上述のユーザ端末ハードウェア検出方法を実現する。

【0013】

本出願の第４の態様は、コンピュータプログラムが記憶されたコンピュータ記憶媒体を提供し、前記コンピュータプログラムはプロセッサによって実行されることにより、上述のユーザ端末ハードウェア検出方法を実現する。

【0014】

本発明のユーザ端末ハードウェア検出方法は、ユーザ端末を分解することなく、ユーザ端末のハードウェア検出をお行い、障害が発生したハードウェアモジュールを特定することができるため、分解プロセス中のユーザ端末のハードウェアへの損傷を回避することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明のある実施形態によるユーザ端末ハードウェア検出方法の応用環境アーキテクチャの概略図である。

【図2】図２は、本発明のある実施形態による、ユーザ端末ハードウェア検出方法のフローチャート図である。

【図3】図３は、本発明のある実施形態による、ユーザ端末ハードウェア検出装置の構造を示す概略図である。

【図4】図４は、本発明のある実施形態によるコンピュータ装置の概略図である。

【発明を実施するための形態】

【0016】

以下、本発明の上記の目的、特徴及び利点を明確に理解するために、図面および具体的な実施形態結合して、本発明を詳細に説明する。本出願の実施形態および実施形態の特徴は、お互いに矛盾しない場合、組み合わせることができることに留意されたい。

【0017】

以下の説明では、本発明を十分に理解するために、多くの特定の詳細が述べられているが、説明した実施形態は、本発明の実施形態の一部に過ぎず、実施形態のすべてではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の範囲内である。

【0018】

本明細書で使用されるすべての技術用語および科学用語は、特に定義されない限り、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本発明の明細書で使用される用語は、具体的に実施形態を説明するためのものであり、本発明を限定するものではない。

【0019】

図１は、本発明の第１実施形態によるユーザ端末ハードウェア検出方法の応用環境構造の概略図である。

【0020】

本発明のユーザ端末ハードウェア検出方法は、コンピュータ装置１に適用され、前記コンピュータ装置１とオシロスコープ２は、ネットワークを介して通信接続を確立する。前記ネットワークは、有線ネットワークであってもよいし、例えば、無線、無線フィデリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ＷＩＦＩ）、セルラー、衛星、放送などの無線ネットワークであってもよい。オシロスコープ２とユーザ端末３は、データラインを介して接続を確立する。

【0021】

前記コンピュータ装置１は、パーソナルコンピュータ、サーバなどのユーザ端末検出ソフトウェアがインストールされた電子デバイスであってもよく、前記サーバは単一のサーバ、サーバクループ、クラウドサーバなどであってもよい。

【0022】

オシロスコープ２は、各種の異なる信号振幅が経時変化する波形曲線を観察するためのものであり、例えば、電圧、電流、周波数、位相差、振幅などの各種異なる電力量を測定するために使用される。

【0023】

前記ユーザ端末３は、インテリジェント電子デバイスであり、例えば、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない。

【0024】

図２は、本発明の第１実施形態による、ユーザ端末ハードウェア検出方法のフローチャート図である。フローチャートのステップの手順は、さまざまな要件に応じて変更できたり、一部のステップは省略することができる。

【0025】

ステップＳ１について、ユーザ端末のデジタル信号波形図を取得する。

【0026】

本発明の第１実施形態では、前記ユーザ端末３のデジタル信号波形図を取得するステップにおいて、オシロスコープ２によってユーザ端末３のデジタル信号波形図を収集し、オシロスコープ２は有線または無線の伝送方法により、収集したデジタル信号波形図をコンピュータ装置１に送信する。前記デジタル信号波形図は、電圧または／及び電流の変化を示す。

【0027】

例えば、前記ユーザ端末３の音声入力機能に障害が発生し、音声の入力ができない場合、前記ユーザ端末３をデータ伝送ラインを介してオシロスコープ２に接続して、前記ユーザ端末３の電流および電圧デジタル信号波形図を収集する。オシロスコープ２は、取得したデジタル信号波形図をコンピュータ装置１に送信する。

【0028】

ステップＳ２において、障害分析モデルを利用して、前記デジタル信号波形図に対して特徴識別を行う。

【0029】

本発明の第１実施形態において、前記障害分析モデルは、畳み込みニューラルネットワークに基づく深層学習モデルである。

【0030】

第１実施形態において、前記障害分析モデルを構築するステップは、
複数のデジタル信号サンプル波形図を取得するステップと、
前記デジタル信号サンプル波形図をトレーニングセットと検証セットに分けるステップと、
畳み込みニューラルネットワークに基づく深層学習モデルを確立し、前記トレーニングセットを使用して深層学習モデルをトレーニングするステップと、
前記検証セットを使用して、トレーニング済みの深層学習モデルに対して検証を行い、検証結果を統計することによりモデル予測精度を取得するステップと、
前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップと、
前記モデル予測精度が予め設定されたしきい値以上である場合、トレーニング済みの前記深層学習モデルを前記障害分析モデルとして使用するステップと、を備える。

【0031】

前記モデル予測精度が予め設定されたしきい値より小さい場合、前記深層学習モデルのパラメーターを調整し、前記トレーニングセットを使用して調整済みの深層学習モデルを再トレーニングし、
前記検証セットを使用して、再トレーニングされた深層学習モデルを検証し、各検証結果に従って再統計してモデル予測精度を取得し、再統計されたモデル予測精度が予め設定されたしきい値より小さいかどうかを判断し、
前記再統計されたモデル予測精度が前記予め設定されたしきい値以上である場合、再トレーニング済の深層学習モデルを前記障害分析モデルとし、
前記再統計されたモデル予測精度が予め設定されたしきい値より小さい場合、前記検証セットの検証によって取得されたモデル予測精度が予め設定されたしきい値以上になるまで、上記のステップを繰り返し、
前記畳み込みニューラルネットワークに基づく深層学習モデルのパラメーターには、畳み込みカーネルの数、プーリング層（Ｐｏｏｌｉｎｇ）の要素の数、および全結合層の要素の数の少なくとも１つが含まれている。

【0032】

例えば、前記障害分析モデルを構築するステップにおいて、予め設定した数の既知の障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプに対応するデジタル信号波形図を取得し、前記予め設定した数は、実際の状況に応じて選択し、選択した数が多いほど、前記障害分析モデルの精度が高くなる。また、前記デジタル信号波形図を２つのグループに分けられ、１つのグループはトレーニングセット、もう１つのグループは検証セットであり、最初に前記トレーニングセットのデジタル信号波形図をデジタル特徴マトリックスに変換し、次に前記デジタル特徴マトリックスを畳み込みニューラルネットワークに基づく深層学習モデルに導入して特徴識別を行い、畳み込みカーネルを使用して前記デジタル特徴マトリックスの要素に対して畳み込み処理を行い、プーリング層を使用して畳み込み層を介したデータに対して簡素化し、冗長情報を削除し、全結合層を使用して関数マッピングによりプーリング層の情報を全結合層へ変換し、畳み込みニューラルネットワークに基づく深層学習モデルにより前記デジタル信号波形図に対して処理を行うことで、画像の特徴情報が強化され、前記特徴情報を抽出し、前記特徴情報は電流および／または電圧の値を含む。次に、検証セットのデジタル信号波形図を使用して、上記の畳み込みニューラルネットワークに基づく深層学習モデルの畳み込みカーネル、プーリング層、および全結合層を使用して、前記検証セットのデジタル信号波形図を識別し、識別された電流と電圧の値をトレーニングセットの既知の障害ハードウェアモジュール、及び前記障害ハードウェアモジュールの障害タイプの電流と電圧の値と比較して、トレーニングによって取得された電流と電圧の値の精度がしきい値以上である場合、トレーニング完了した前記畳み込みニューラルネットワークに基づく深層学習モデルは障害分析モデルとして使用され、トレーニングによって取得された電流と電圧の値の精度がしきい値より小さい場合、深層学習モデルの精度がしきい値以上になるまで、畳み込みカーネルの数、畳み込みカーネルマトリックスの要素、プーリング層の要素の数、及び全結合層の要素の数中の少なくとも一つを再調整し、調整完了後、トレーニングセットを使用して前記深層学習モデルに対して再トレーニングを行い、トレーニング完了後、検証セットを使用して前記深層学習モデルの精度に対して検証を行う。

【0033】

本発明の第１実施形態では、コンピュータ装置１は、トレーニング済の畳み込みニューラルネットワークに基づく深層学習モデルを使用して、取得されたユーザ端末３のデジタル信号波形図に対して特徴識別を行い、前記デジタル信号波形図の特徴情報、つまり、電流値と電圧値を取得する。

【0034】

ステップＳ３において、識別された特徴情報と障害タイプデータベース中の特徴情報とを比較する。

【0035】

第１実施形態において、前記障害タイプデータベースを構築するステップは、
既知の障害ハードウェアモジュールと障害タイプのデジタル信号波形図をトレーニング済みの障害分析モデルに代入するステップと、
前記障害分析モデルを使用して分析して、前記既知の障害ハードウェアモジュール及び障害タイプに対応する特徴情報を取得するステップと、
前記既知の障害ハードウェアモジュール及び障害タイプと、分析により取得された特徴情報とをマッピング関係を確立し、記憶するステップとを含む。

【0036】

本発明の第１実施形態において、前記特徴情報は、既知の障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプに対応する電圧または電流の情報である。

【0037】

例えば、前記障害タイプデータベースの構築において、仮に、前記既知の障害ハードウェアモジュールはＵＳＢハードウェアモジュールであり、前記障害ハードウェアモジュールの障害タイプは断線障害であり、前記ユーザ端末３はスマートフォンである場合、本実施形態において、前記障害タイプデータベースを構築するステップは以下の通りである。ＵＳＢハードウェアモジュールに断線障害を有するスマートフォンを選択し、前記ユーザ端末３はデータラインインターフェースを介してオシロスコープ２に順次接続され、前記オシロスコープ２は前記スマートフォンから電流と電圧の状態を示す波形図を順次取得する。オシロスコープ２は、取得したデジタル信号波形図をコンピュータ装置１に送信する。コンピュータ装置１は、取得したユーザ端末３のデジタル信号波形図をデジタル特徴マトリックスに変換し、次に前記デジタル特徴マトリックスを畳み込みニューラルネットワークに基づく深層学習モデルに導入し、特徴フィッティングを行うことにより前記デジタル特徴マトリックスの特徴情報を取得する。前記特徴情報は、電流または電圧の値であってもよく、前記電流及び電圧の値と前記障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプとをマッピング関係を確立し、記憶する。

【0038】

本発明のその他の実施形態では、コンピュータ装置１は、障害分析モデルにより特徴識別を行った後の情報と障害タイプデータベース内の情報とを比較し、前記特徴情報対応する障害ハードウェアモジュールと前記障害ハードウェアモジュールの障害タイプを見つける。

【0039】

ステップＳ４において、比較結果により、前記デジタル信号波形図で表される障害ハードウェアモジュールと、前記障害ハードウェアモジュールの障害タイプを出力する。

【0040】

本発明の第１実施形態では、前記デジタル信号波形図によって表される障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプは、コンピュータ装置１において表示および出力することができる。

【0041】

本発明のその他の実施形態において、前記障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプは、予め設定されたその他のコンピュータ装置に送信してもよい。

【0042】

上記のように、図２は、本発明のユーザ端末ハードウェア検出方法を詳細に説明したフローチャート図であり、以下図３、図４を参照して、前記ユーザ端末ハードウェア検出方法を実現するためのソフトウェア装置の機能モジュールおよび前記ユーザ端末ハードウェア検出方法を実現するためのハードウェア装置のアーキテクチャについて説明する。

【0043】

説明された前記実施形態は、ただ説明するための例示であり、本特許出願の範囲はこの構造に限定されない。

【0044】

図３は、本発明の第１実施形態により提供されるユーザ端末ハードウェア検出方法のユーザ端末ハードウェア検出装置の構造を示す概略図である。

【0045】

その他の実施形態では、ユーザ端末ハードウェア検出装置１０は、コンピュータ装置において動作する。前記ユーザ端末ハードウェア検出装置１０は、プログラムコードセグメントからなる複数の機能モジュールを含んでもよい。前記ユーザ端末ハードウェア検出装置１０内の各プログラムセグメントのプログラムコードは、コンピュータ装置のメモリに格納され、少なくとも１つのプロセッサによって実行されることにより、ユーザ端末検出機能を実現することができる。

【0046】

本実施形態では、前記ユーザ端末ハードウェア検出装置１０は、実行する機能に応じて複数の機能モジュールに区分することができる。図３を参照すると、前記機能モジュールは、取得モジュール１０１、識別モジュール１０２、比較モジュール１０３、および出力モジュール１０４を含むことができる。本発明で言及されるモジュールは、少なくとも１つのプロセッサにより実行可能であり、メモリに格納されている固定機能を実行することができる一連のコンピュータプログラムセグメントを指す。本実施形態において、各モジュールの機能については、以降の実施形態において詳細に説明する。

【0047】

取得モジュール１０１は、ユーザ端末のデジタル信号波形図を取得する。

【0048】

本発明の第１実施形態では、前記ユーザ端末３のデジタル信号波形図を取得するステップにおいて、オシロスコープ２によってユーザ端末３のデジタル信号波形図を収集し、オシロスコープ２は有線または無線の伝送方法により、収集したデジタル信号波形図を取得モジュール１０１に送信する。前記デジタル信号波形図は、電圧または／及び電流の変化状況を示す。

【0049】

例えば、前記ユーザ端末３の音声入力機能に障害が発生し、音声の入力ができない場合、前記ユーザ端末３をデータ伝送ラインを介してオシロスコープ２に接続して、前記ユーザ端末３の電流および電圧デジタル信号波形図を収集する。オシロスコープ２は、取得したデジタル信号波形図を取得モジュール１０１に送信する。

【0050】

識別モジュール１０２は、障害分析モデルを使用して、前記デジタル信号波形図に対して特徴識別を行う。

【0051】

本発明の第１実施形態において、前記障害分析モデルは、畳み込みニューラルネットワークに基づく深層学習モデルである。

【0052】

第１実施形態において、前記障害分析モデルを構築するステップは、
複数のデジタル信号サンプル波形図を取得するステップと、
前記デジタル信号サンプル波形図をトレーニングセットと検証セットに分けるステップと、
畳み込みニューラルネットワークに基づく深層学習モデルを確立し、前記トレーニングセットを使用して深層学習モデルをトレーニングするステップと、
前記検証セットを使用して、トレーニング済みの深層学習モデルに対して検証を行い、検証結果を統計することによりモデル予測精度を取得するステップと、
前記モデル予測精度が予め設定されたしきい値より小さいかどうかを判断するステップと、
前記モデル予測精度が予め設定されたしきい値以上である場合、トレーニング済みの前記深層学習モデルを前記障害分析モデルとするステップと、を含む。

【0053】

前記モデル予測精度が予め設定されたしきい値より小さい場合、前記深層学習モデルのパラメーターを調整し、前記トレーニングセットを使用して調整済みの深層学習モデルを再トレーニングし、
前記検証セットを使用して、再トレーニングされた深層学習モデルを検証し、各検証結果に基づいて再統計してモデル予測精度を取得し、再統計されたモデル予測精度が予め設定されたしきい値より小さいかどうかを判断し、
前記再統計されたモデル予測精度が前記予め設定されたしきい値以上である場合、再トレーニング済の深層学習モデルを前記障害分析モデルとし、
前記再統計されたモデル予測精度が予め設定されたしきい値より小さい場合、前記検証セットの検証によって取得されたモデル予測精度が予め設定されたしきい値以上になるまで、上記のステップを繰り返す。
なお、前記畳み込みニューラルネットワークに基づく深層学習モデルのパラメーターは、畳み込みカーネルの数、プーリング層（Ｐｏｏｌｉｎｇ）の要素の数、および全結合層の要素の数の少なくとも１つを含んでいる。

【0054】

例えば、前記障害分析モデルを構築するステップにおいて、予め設定した数の既知のある障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプに対応するデジタル信号波形図を取得し、前記予め設定した数は、実際の状況に応じて選択でき、選択した数が多いほど、前記障害分析モデルの精度が高くなる。また、前記デジタル信号波形図は２つのグループに分けられ、１つのグループはトレーニングセットであり、もう１つのグループは検証セットであり、最初に前記トレーニングセットのデジタル信号波形図をデジタル特徴マトリックスに変換し、次に前記デジタル特徴マトリックスを畳み込みニューラルネットワークに基づく深層学習モデルに導入して特徴識別を行い、畳み込みカーネルを使用して前記デジタル特徴マトリックスの要素に対して畳み込み処理を行い、プーリング層を使用して畳み込み層を介したデータに対して簡素化し、冗長情報を削除し、全結合層を使用して関数マッピングによりプーリング層の情報を全結合層へ変換し、畳み込みニューラルネットワークに基づく深層学習モデルにより前記デジタル信号波形図に対して処理を行うことで、画像の特徴情報が強化され、前記特徴情報を抽出する。前記特徴情報は電流および／または電圧の値を含む。次に、検証セットのデジタル信号波形図を使用して、上記の畳み込みニューラルネットワークに基づく深層学習モデルの畳み込みカーネル、プーリング層、および全結合層を使用して、前記検証セットのデジタル信号波形図を識別し、識別された電流と電圧の値をトレーニングセットの既知の障害ハードウェアモジュール、及び前記障害ハードウェアモジュールの障害タイプの電流と電圧の値と比較して、トレーニングによって取得された電流と電圧の値の精度がしきい値以上である場合、トレーニング完了した前記畳み込みニューラルネットワークに基づく深層学習モデルは、障害分析モデルとして使用でき、トレーニングによって取得された電流と電圧の値の精度がしきい値より小さい場合、深層学習モデルの精度がしきい値以上になるまで、畳み込みカーネルの数、畳み込みカーネルマトリックスの要素、プーリング層の要素の数、及び全結合層の要素の数中の少なくとも一つを再調整し、調整完了後、トレーニングセットを使用して前記深層学習モデルに対して再トレーニングを行い、トレーニング完了後、検証セットを使用して前記深層学習モデルの精度に対して検証を行う。

【0055】

本発明の第１実施形態では、識別モジュール１０２は、トレーニング済の畳み込みニューラルネットワークに基づく深層学習モデルを使用して、取得されたユーザ端末３のデジタル信号波形図に対して特徴識別を行い、前記デジタル信号波形図の特徴情報、つまり、電流値と電圧値を取得する。

【0056】

比較モジュール１０３は、識別された特徴情報と障害タイプデータベース中の特徴情報とを比較する。

【0057】

本発明の第１実施形態において、前記障害タイプデータベースを構築するステップは、
既知の障害ハードウェアモジュールと障害タイプのデジタル信号波形図をトレーニング済みの障害分析モデルに代入するステップと、
前記障害分析モデルを使用して分析することにより、既知の障害ハードウェアモジュール及び障害タイプに対応する特徴情報を取得するステップと、
前記既知の障害ハードウェアモジュール及び障害タイプと、分析により取得された特徴情報とをマッピング関係を確立し、記憶するステップとを含む。

【0058】

本発明の第１実施形態において、前記特徴情報は、既知の障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプに対応する電圧または電流の情報である。

【0059】

例えば、前記障害タイプデータベースの構築において、仮に、前記既知の障害ハードウェアモジュールはＵＳＢハードウェアモジュールであり、前記障害ハードウェアモジュールの障害タイプは断線障害であり、前記ユーザ端末３はスマートフォンである場合、本実施形態において、前記障害タイプデータベースを構築するステップは以下の通りである。ＵＳＢハードウェアモジュールに断線障害を有するスマートフォンを選択し、前記ユーザ端末３はデータラインインターフェースを介してオシロスコープ２に順次接続され、前記オシロスコープ２は前記スマートフォンから予め設定した数の電流と電圧の状態を示す波形図を順次取得する。オシロスコープ２は、取得したデジタル信号波形図をコンピュータ装置１に送信する。コンピュータ装置１は、取得したユーザ端末３のデジタル信号波形図をデジタル特徴マトリックスに変換し、次に前記デジタル特徴マトリックスを畳み込みニューラルネットワークに基づく深層学習モデルに導入し、特徴フィッティングを行うことにより前記デジタル特徴マトリックスの特徴情報を取得する。前記特徴情報は、電流または電圧の値であってもよく、前記電流及び電圧の値と前記障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプとをマッピング関係を確立し、記憶する。

【0060】

本発明のその他の実施形態では、比較モジュール１０３は、障害分析モデルにより特徴識別した後の情報と障害タイプデータベース内の情報とを比較し、前記特徴情報対応する障害ハードウェアモジュールと前記障害ハードウェアモジュールの障害タイプを見つける。

【0061】

出力モジュール１０４は、比較結果によって、前記デジタル信号波形図で表される障害ハードウェアモジュール及び前記障害ハードウェアモジュールの障害タイプを出力する。

【0062】

本発明の第１実施形態では、前記デジタル信号波形図によって表される障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプは、出力モジュール１０４において表示および出力することができる。

【0063】

本発明のその他の実施形態において、前記障害ハードウェアモジュールおよび前記障害ハードウェアモジュールの障害タイプは、予め設定されたその他のコンピュータ装置に送信してもよい。

【0064】

図４は、本発明の第１実施形態によって提供されるユーザ端末検出方法のコンピュータ装置の概略図である。

【0065】

前記コンピュータ装置１は、メモリ２０、プロセッサ３０、および前記メモリ２０に格納され、前記プロセッサ３０上で実行可能なユーザ端末検出プログラムなどのコンピュータプログラム４０を含む。前記プロセッサ３０がコンピュータプログラム４０を実行することにより、図２に示されるステップＳ１からＳ４のような、上記のユーザ端末ハードウェア検出方法の実施形態におけるステップが実現される。あるいは、前記プロセッサ３０がコンピュータプログラム４０を実行することにより、図３に示されるユニット１０１～１０４のような、上記のユーザ端末ハードウェア検出装置の実施形態における各モジュール／ユニットの機能が実現される。

【0066】

例えば、前記コンピュータプログラム４０は、１つ以上のモジュール／ユニットに分割することができ、前記１つ以上のモジュール／ユニットは前記メモリ２０に記憶され、前記プロセッサ３０によって実行することにより、本発明を実現する。前記１つ以上のモジュール／ユニットは、特定の機能を実行することができる一連のコンピュータプログラム命令セグメントであってもよいし、前記命令セグメントは、前記コンピュータ装置１における前記コンピュータプログラム４０の実行を記述するためのものである。例えば、前記コンピュータプログラム４０は、図３の取得モジュール１０１、識別モジュール１０２、比較モジュール１０３、および出力モジュール１０４に分割することができる。各モジュールの具体的な機能については、第３の実施形態を参照されたい。

【0067】

前記コンピュータ装置１は、デスクトップコンピュータ、ノートパソコン、パームトップコンピュータ、およびクラウドサーバなどのコンピューティングデバイスであり得る。上記の概略図は、コンピュータ装置１の構成を限定するものではなく、コンピュータ装置１の単なる例であり、図示されたコンポーネントよりも多いまたは少ないコンポーネントを含んで構成されたり、またはいくつかのコンポーネントを組み合わせることにより構成されたり、または異なるコンポーネントにより構成されることを当業者は理解すべきである。例えば、コンピュータ装置１は更に入力および出力デバイス、ネットワークアクセスデバイス、バスなどを含むことができる。

【0068】

前記プロセッサ３０は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）であってもよく、または他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはその他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。

【0069】

汎用プロセッサは、マイクロプロセッサでもよく、前記プロセッサ３０は任意の従来のプロセッサなどでもよく、前記プロセッサ３０は、前記コンピュータ装置１の制御センターであり、さまざまなインターフェースおよび回線を使用してコンピュータ装置１全体の各部分を接続する。

【0070】

前記メモリ２０は、前記コンピュータプログラム４０および／またはモジュール／ユニットを記憶し、前記プロセッサ３０は、前記メモリ２０に記憶されたコンピュータプログラム４０および／またはモジュール／ユニットを実行し、前記メモリ２０内に記憶されたデータを呼び出すことにより、前記コンピュータ装置１の各機能を実現する。前記メモリ２０は、主にプログラム格納領域およびデータ格納領域を含み、プログラム格納領域は、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能、画像再生機能など）に必要なアプリケーションプログラムなどを格納することができ、データ格納領域は、コンピュータ装置１の使用に応じて作成されたデータ（例えば、音声データ、電話帳など）が格納される。また、メモリ２０は、高速ランダムアクセスメモリを含み、更に、例えば、ハードディスク、メモリ、プラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ：ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ：ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）、少なくとも１つのディスクストレージデバイス、フラッシュデバイス等の不揮発性メモリや、その他の揮発性ソリッドステートストレージデバイスを含む。

【0071】

前記コンピュータ装置１によって集積されたモジュール／ユニットは、ソフトウェア機能ユニットの形態で実装され、スタンドアロン製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に格納することができる。このような理解に基づいて、本発明は、前述の実施形態のプロセスの全部または一部を実施し、関連するハードウェアを指示するコンピュータプログラムによって実施することもできる。上記のコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に格納することができ、前記コンピュータプログラムはプロセッサによって実行されることにより、上述の各実施形態のステップが実装される。ここで、前記コンピュータプログラムは、ソースコード形式、オブジェクトコード形式、実行可能ファイルまたは何らかの中間形式の形態であり得るコンピュータプログラムコードを含む。前記コンピュータ可読媒体は、前記コンピュータプログラムコードを運ぶことができる任意のエンティティまたはデバイス、記録媒体、ＵＳＢフラッシュドライブ、モバイルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、電気搬送信号、電気通信信号、およびソフトウェア配布媒体等を含む。前記コンピュータ読み取り可能な媒体に含まれるコンテンツは、法域の法律および特許慣行の要件に従って適切に増減することができ、例えば、一部の法域で、法律および特許の慣行に従って、コンピュータ読み取り可能な媒体は電気搬送信号および電気通信信号は含まない。

【0072】

本発明によって提供されるいくつかの実施形態では、開示されたコンピュータ装置および方法は他の方法で実装され得ることを理解されたい。例えば、上記のコンピュータ装置の実施形態は単なる例示であり、例えば、前記ユニットの分割は論理機能の分割に過ぎず、実際の実装は別の分割方法を有してもよい。

【0073】

さらに、本発明の各実施形態における各機能ユニットは、同じ処理ユニットに集積されてもよく、各ユニットが物理的に別々に存在してもよく、または２つ以上のユニットが同じユニットに集積されてもよい。上記の集積されたユニットは、ハードウェアの形式で実装されたり、またはハードウェアとソフトウェア機能モジュールの形式で実装できる。

【0074】

本発明は、上述の例示的な実施形態の詳細に限定されず、本発明の精神または本質的な特徴から逸脱することなく、他の特定の形態で実施できることは当業者には明らかである。したがって、各実施形態は、本発明を制限するものではなく、例示と見なされるべきであり、本発明の範囲は、上記の説明により限定されることではなく、特許請求の範囲によって定義される。なお、特許請求の同等要素の意味および範囲におけるすべての変更は、本発明に含まれる。特許請求内の参照符号は、特許請求範囲を限定するものとして解釈されることはない。また、「含む」という言葉は、他の要素またはステップを除外しないことを理解されたい。特許請求書に記載されている複数のユニットまたはコンピュータ装置は、一つのユニットまたはコンピュータ装置によってソフトウェアまたはハードウェアを介して実装することができる。第１、第２などの単語は、名前を示すために使用され、特定の順序を示すものではない。

【0075】

上記の各実施形態は、ただ本発明の技術的解決策を説明するためのものであり、限定することを意図するものではなく、好ましい実施形態を参照して、本発明について詳細に説明しているが、当業者は、本発明の精神および範囲から逸脱することなく、本発明の技術的解決策を修正または同等に置換できることを理解すべきである。

【図1】

【図2】

【図3】

【図4】