ホーム > 特許ランキング > ダイキン工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-105609故障識別及び対応方法、故障識別及び対応システム、サーバ、並びに端末機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024105609
(43)【公開日】2024-08-06
(54)【発明の名称】故障識別及び対応方法、故障識別及び対応システム、サーバ、並びに端末機器
(51)【国際特許分類】
H02J 13/00 20060101AFI20240730BHJP
【ＦＩ】
H02J13/00 301D
【審査請求】有
【請求項の数】26
【出願形態】ＯＬ
(21)【出願番号】P 2024080225
(22)【出願日】2024-05-16
(62)【分割の表示】P 2022538036の分割
【原出願日】2021-07-21
(31)【優先権主張番号】202010709092.6
(32)【優先日】2020-07-22
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(74)【代理人】
【識別番号】110000202
【氏名又は名称】弁理士法人新樹グローバル・アイピー
(72)【発明者】
【氏名】▲盤▼ 斯
(57)【要約】 （修正有）
【課題】情報を識別することで故障を確認する故障識別及び対応方法、故障識別及び対応システム、サーバ並びに端末装置を提供する。
【解決手段】方法は、故障コードを含むビデオを撮影することと、ビデオに基づいて故障コードの識別を行うことと、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することと、識別した完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することと、を含む。
【選択図】図１
【解決手段】方法は、故障コードを含むビデオを撮影することと、ビデオに基づいて故障コードの識別を行うことと、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することと、識別した完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
故障コードを含むビデオを撮影するステップ、
前記ビデオにおける故障コードを識別し、識別された故障コードを取得するステップ、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成するステップ、および、
前記表示データに基づき、前記故障に関する情報を示すステップを含み、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、
重畳された複数のフレームに基づいて故障コードの識別を行うことを含む、
ことを特徴とする故障識別及び対応方法。
前記ビデオにおける故障コードを識別し、識別された故障コードを取得するステップ、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成するステップ、および、
前記表示データに基づき、前記故障に関する情報を示すステップを含み、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、
重畳された複数のフレームに基づいて故障コードの識別を行うことを含む、
ことを特徴とする故障識別及び対応方法。
【請求項2】
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
前記ビデオの各フレームを逐一に識別することを含み、ここに、前記ビデオの１フレームを識別するステップは、
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得すること、を含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
前記ビデオの各フレームを逐一に識別することを含み、ここに、前記ビデオの１フレームを識別するステップは、
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得すること、を含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
【請求項3】
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
前記ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとすることを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
前記ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとすることを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
【請求項4】
前記ビデオの１フレームを識別する前記ステップは、
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得すること、を含む、ことを特徴とする請求項３に記載の故障識別及び対応方法。
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得すること、を含む、ことを特徴とする請求項３に記載の故障識別及び対応方法。
【請求項5】
重畳された複数のフレームに基づいて故障コードの識別を行う前記ステップは、
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとすることを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとすることを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
【請求項6】
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、さらに、
前記ビデオを分割して、前記ビデオの各フレームを取得すること、および、
前記ビデオの各フレームに対して故障コード表示領域を確定すること、を含むことを特徴とする請求項１～５のいずれか１項に記載の故障識別及び対応方法。
前記ビデオを分割して、前記ビデオの各フレームを取得すること、および、
前記ビデオの各フレームに対して故障コード表示領域を確定すること、を含むことを特徴とする請求項１～５のいずれか１項に記載の故障識別及び対応方法。
【請求項7】
前記ビデオの各フレームに対して故障コード表示領域を確定する前記ステップは、
故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係に応じて、前記故障コード表示領域の位置を確定し、又は、
予めトレーニングして得られた第２の識別モデルにより、前記故障コード表示領域の位置を識別することを含む、ことを特徴とする請求項６に記載の故障識別及び対応方法。
故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係に応じて、前記故障コード表示領域の位置を確定し、又は、
予めトレーニングして得られた第２の識別モデルにより、前記故障コード表示領域の位置を識別することを含む、ことを特徴とする請求項６に記載の故障識別及び対応方法。
【請求項8】
前記故障コードに対応する前記故障に関する情報は、前記故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
【請求項9】
前記表示データに基づいて、前記故障に関する情報を示す前記ステップは、
前記表示データに基づき、前記故障内容を表すことができる前記機器の第２のモデルを表示し、前記第２のモデルが前記第１のモデルに基づいて形成されたことを含む、ことを特徴とする請求項８に記載の故障識別及び対応方法。
前記表示データに基づき、前記故障内容を表すことができる前記機器の第２のモデルを表示し、前記第２のモデルが前記第１のモデルに基づいて形成されたことを含む、ことを特徴とする請求項８に記載の故障識別及び対応方法。
【請求項10】
前記機器の第１のモデルは、前記機器の各部材を表すことができる二次元モデル又は三次元モデルであり、
前記機器の第２のモデルは、前記機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルであり、
前記故障内容を表すことができる前記機器の第２のモデルを表示する前記ステップは、前記第２のモデルを、拡張現実、画像又は動画の方式によって表示することを含む、ことを特徴とする請求項９に記載の故障識別及び対応方法。
前記機器の第２のモデルは、前記機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルであり、
前記故障内容を表すことができる前記機器の第２のモデルを表示する前記ステップは、前記第２のモデルを、拡張現実、画像又は動画の方式によって表示することを含む、ことを特徴とする請求項９に記載の故障識別及び対応方法。
【請求項11】
前記故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含む、ことを特徴とする請求項８～１０のいずれか１項に記載の故障識別及び対応方法。
【請求項12】
故障コードを含むビデオを撮影する撮影ユニットと、
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備え、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記識別ユニットは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、
ことを特徴とする故障識別及び対応システム。
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備え、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記識別ユニットは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、
ことを特徴とする故障識別及び対応システム。
【請求項13】
前記識別ユニットは、前記ビデオの各フレームを逐一に識別し、
前記識別ユニットは、
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第１の計算モジュールと、
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定する第１の確定モジュールと、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得する第１の識別モジュールと、を含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
前記識別ユニットは、
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第１の計算モジュールと、
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定する第１の確定モジュールと、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得する第１の識別モジュールと、を含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
【請求項14】
前記識別ユニットは、
前記ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第 ２部分故障コードを取得する第２の識別モジュールと、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第１の組合せモジュールと、を含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
前記ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第 ２部分故障コードを取得する第２の識別モジュールと、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第１の組合せモジュールと、を含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
【請求項15】
前記第２の識別モジュールは、
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第２の計算モジュールと
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定する第２の確定モジュールと、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得する第３の識別モジュールと、を含む、ことを特徴とする請求項１４に記載の故障識別及び対応システム。
前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第２の計算モジュールと
前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定する第２の確定モジュールと、
故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得する第３の識別モジュールと、を含む、ことを特徴とする請求項１４に記載の故障識別及び対応システム。
【請求項16】
前記第４の識別モジュールは、
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第５の識別モジュールと、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第２の組合せモジュールと、を含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第５の識別モジュールと、
前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第２の組合せモジュールと、を含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
【請求項17】
前記識別ユニットは、
前記ビデオを分割して、前記ビデオの各フレームを取得する分割モジュールと、
前記ビデオの各フレームに対して故障コード表示領域を確定する第２の確定モジュールと、をさらに含む、ことを特徴とする請求項１２～１６のいずれか１項に記載の故障識別及び対応システム。
前記ビデオを分割して、前記ビデオの各フレームを取得する分割モジュールと、
前記ビデオの各フレームに対して故障コード表示領域を確定する第２の確定モジュールと、をさらに含む、ことを特徴とする請求項１２～１６のいずれか１項に記載の故障識別及び対応システム。
【請求項18】
前記第２の確定モジュールは、故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係により、前記故障コード表示領域の位置を確定し、または、予めトレーニングして得られた第２の識別モデルにより、前記故障コード表示領域の位置を確定する、ことを特徴とする請求項１７に記載の故障識別及び対応システム。
【請求項19】
前記故障コードに対応する前記故障に関する情報は、前記故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
【請求項20】
前記表示ユニットは、前記表示データに基づき、前記故障内容を表すことができる前記機器の第２のモデルを表示し、前記第２のモデルが前記第１のモデルに基づいて形成された、ことを特徴とする請求項１９に記載の故障識別及び対応システム。
【請求項21】
前記機器の第１のモデルは、前記機器の各部材を表すことができる二次元モデル又は三次元モデルであり、
前記機器の第２のモデルは、前記機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルであり、
前記表示ユニットは、前記第２のモデルを、拡張現実、画像又は動画の方式によって表示する、ことを特徴とする請求項２０に記載の故障識別及び対応システム。
前記機器の第２のモデルは、前記機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルであり、
前記表示ユニットは、前記第２のモデルを、拡張現実、画像又は動画の方式によって表示する、ことを特徴とする請求項２０に記載の故障識別及び対応システム。
【請求項22】
前記故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含む、ことを特徴とする請求項１９～２１のいずれか１項に記載の故障識別及び対応システム。
【請求項23】
前記故障識別及び対応システムは、端末機器とサーバを含み、
前記端末機器は、前記撮影ユニットと前記表示ユニットを含み、
前記サーバは、前記識別ユニットと前記確定ユニットを含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
前記端末機器は、前記撮影ユニットと前記表示ユニットを含み、
前記サーバは、前記識別ユニットと前記確定ユニットを含む、ことを特徴とする請求項１２に記載の故障識別及び対応システム。
【請求項24】
前記端末機器は、スマートフォン、知能型タブレット、又は、知能型メガネである、ことを特徴とする請求項２３に記載の故障識別及び対応システム。
【請求項25】
端末機器によって撮影された故障コードを含むビデオを前記端末機器から受信する第２の受信ユニットと、
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
前記表示データを前記端末機器に送信する第２の送信ユニットと、を含み、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記識別ユニットは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、
ことを特徴とするサーバ。
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
前記表示データを前記端末機器に送信する第２の送信ユニットと、を含み、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記識別ユニットは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、
ことを特徴とするサーバ。
【請求項26】
故障コードを含むビデオを撮影する撮影ユニットと、
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備え、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記識別ユニットは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、
ことを特徴とする端末機器。
前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備え、
前記故障コードは、
デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、
前記識別ユニットは、
予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、
ことを特徴とする端末機器。
【発明の詳細な説明】
【技術分野】
【0001】
機械保守の分野に関し、特に、故障識別及び対応方法、システムに関する。
【背景技術】
【0002】
科学技術の発展や生活水準の向上に伴い、様々な電子機器又は電気機器が各分野に幅広く応用されるようになっている。機器に故障が発生した場合、ユーザ又はアフターサービスの係員は、通常、現場で機器のパネルに表示された故障コードを閲覧してから、メンテナンスマニュアルから故障コードに対応する故障情報を検索して故障に対する確認や排除を行う。しかしながら、このような方法では、時間がかかり、故障がやや複雑なものであれば、ユーザは、自己による故障の確認や排除を行うことが不可能となり、アフターサービスの係員と連絡して訪問サービスを要求する必要があり、それにより、更に長い時間がかかり、機器の正常使用に対して影響を与える。また、メンテナンスマニュアルに記載の故障情報や排除方式は、直観的なものではなく、故障確認の正確性や故障排除の効率に対して影響を与える。
【0003】
近年、情報を識別することで故障を確認する方法が提案されている。
【0004】
例えば、カメラ収集モジュールは、カメラによってＬＥＤランプグループ画像を撮影して、故障位置決め・収集・識別モジュールに送信し、故障位置決め・収集・識別モジュールはＬＥＤランプグループ画像に対して画像識別や解析を行うことでハードウェア回路の具体的な状態情報を取得し、ランプグループ符号化情報ベースに基づいて故障解析を行い、ハードウェア回路の分析結果を取得してからフィードバックする。
【0005】
また、例えば、デジタルカメラを用いて、ユーザコンピュータにおける表示部に表示されたシステムエラーコードなどのような画像を撮影し、当該画像を携帯電話によって故障回復プロセスサーバに送信し、当該サーバは、当該画像に基づいてシステムエラーコードへの検出を行うとともに、エラーコードに関連付けられた故障内容情報をデータベースから取得して携帯電話に送信する。
【0006】
さらに、例えば、機器のパネルに故障コードが表示されるとともに、二次元コードも表示された場合、ユーザは、当該二次元コードをスキャンした後、メンテナンス情報を含むホームページに迅速にアクセスすることができ、それにより、故障やメンテナンス情報を取得することができる。
【0007】
ここで注意すべきなのは、上記の技術背景に対する紹介は、本開示の技術案に対してより明瞭かつ完全な説明を行うことに利便を図りながら、当業者が理解しやすいように供するものに過ぎない。それらの方案が本開示の背景技術の部分に記載されていることだけで、上記の技術方案が当業者により公知されたものであると認定してはならない。
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、本発明者は、以下のような知見を得た。上述した従来の方法では、故障コードの表示方式が多様化された原因で、又は、画像の収集速度や収集時間などのパラメータによって制限されているので、単一の画像における故障コードの表示が不完全または不正確となり、関連する故障やメンテナンス情報を正確かつタイムリーに取得できなくなり、機器の使用に影響を与えることがある。また、二次元コードをスキャンしてホームページにアクセスすることで故障やメンテナンス情報を取得する方法では、各機器において、様々な故障に対してそれなりの二次元コードを設計する必要があるので、機器製造時の負担が増加するとともに、既存の一般的な機器に対しても幅広く応用できなくなる。
【課題を解決するための手段】
【0009】
上記問題のうちの少なくとも１つを解決するために、本開示は、故障識別及び対応方法、システムを提案する。これにより、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
【0010】
本開示の実施形態の第一態様によれば、故障コードを含むビデオを撮影するステップ、前記ビデオにおける故障コードを識別し、識別された故障コードを取得するステップ、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成するステップ、および、前記表示データに基づき、前記故障に関する情報を示すステップを含み、前記故障コードは、デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、重畳された複数のフレームに基づいて故障コードの識別を行うことを含む、故障識別及び対応方法を提供する。
【0011】
本開示の実施形態の第二態様によれば、故障コードを含むビデオを撮影する撮影ユニットと、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備え、前記故障コードは、デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、前記識別ユニットは、予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、故障識別及び対応システムを提供する。
【0012】
本開示の実施形態の第三態様によれば、端末機器によって撮影された故障コードを含むビデオを前記端末機器から受信する第２の受信ユニットと、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、前記表示データを前記端末機器に送信する第２の送信ユニットと、を備え、前記故障コードは、デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、前記識別ユニットは、予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含むサーバを提供する。
【0013】
本開示の実施形態の第四態様によれば、故障コードを含むビデオを撮影する撮影ユニットと、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備え、前記故障コードは、デジタルチューブによって表示され、前記デジタルチューブの表示原理により、所定の頻度で点滅して表示され、前記識別ユニットは、予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、端末機器を提供する。
【0014】
本開示の実施形態による有益な効果の一つは以下の通りである。故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
【0015】
後述する説明と図面を参照して、本開示の特定な実施の形態は詳しく開示され、本開示の原理が使用されることも示された。理解すべきことは、本開示の実施の形態は、範囲上にそれで限定されていない。添付される特許請求の範囲の精神及び請求項の範囲内において、本開示の実施の形態は多くの変更、修正及び均等物を含む。
【0016】
１つの実施の形態の記載及び示された特徴情報に対して、同一又は類似した様態で１つ又は更に多くのその他の実施の形態に使用されてもよいし、その他の実施の形態の特徴と組み合わせてもよいし、或は、その他の実施の形態の特徴情報の代わりに使用してもよい。
【0017】
強調すべきことは、術語である「備える／含む」は、本文で特徴情報、整体部材、ステップ又は部材の存在を示すために使われているが、１つ又は更に多くのその他の特徴情報、整体部材、ステップ又は部材の存在或は付加が排除されるわけではない。
【0018】
下記の添付図面を参照することで、本開示の多くの態様をよりよく理解することが可能となる。添付図面に示す部材は、比例にして描かれたものではなく、本開示の原理を示すためのものに過ぎない。本開示に係るいくつかの部分の表現や記述に利便性を図るために、添付図面に対応する部分は、拡大されたり縮小されたりする可能性がある。本開示に係る１枚の添付図面または１つの実施の形態に示された要素や特徴情報は、１つ又は更に多くのその他の添付図面または実施の形態に示された要素や特徴情報と組み合わせることができる。また、添付図面における類似した符号は、いくつかの添付図面における対応する部材を示し、かつ、１つ以上の実施の形態に使用された対応部材を示すこともできる。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下、図面を参照して本開示の好ましい実施の形態を説明する。
（第１実施形態）
本開示の第１実施形態は、故障識別及び対応方法を提供する。図１は、本開示の第１実施形態に係る故障識別及び対応方法の概略図である。図１に示されるように、当該方法において、
ステップ１０１：故障コードを含むビデオを撮影すること、
ステップ１０２：当該ビデオにおける故障コードを識別し、識別された故障コードを取得すること、
ステップ１０３：識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成すること、および、
ステップ１０４：当該表示データに基づき、当該故障に関する情報を示すことを含む。
（第１実施形態）
本開示の第１実施形態は、故障識別及び対応方法を提供する。図１は、本開示の第１実施形態に係る故障識別及び対応方法の概略図である。図１に示されるように、当該方法において、
ステップ１０１：故障コードを含むビデオを撮影すること、
ステップ１０２：当該ビデオにおける故障コードを識別し、識別された故障コードを取得すること、
ステップ１０３：識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成すること、および、
ステップ１０４：当該表示データに基づき、当該故障に関する情報を示すことを含む。
【0021】
そうすると、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
【0022】
本開示の第１実施形態では、当該方法が用いられた機器は、故障コードを表示することができる種々の機器、例えば、種々の工業用機器、又は、種々の家庭用機器などであってもよい。例えば、エアコン、洗濯機、冷蔵庫、又は、温水器などの機器が挙げられる。 当該機器に故障が発生した場合、当該機器の表示パネルには、故障コードが表示される。
【0023】
本開示の第１実施形態では、機器の製造メーカーは、故障コードを種々の方式によって示すことができる。例えば、故障コードは、数字、アルファベット、及び、シンボルのうちの少なくとも１種からなり、その桁数も１つ以上であってもよい。故障コードの具体的な表示形式や桁数は、機器の製造メーカーによって実際の必要性に応じて設定されてもよい。
【0024】
ステップ１０１では、故障コードを含むビデオを撮影する。本開示の第１実施形態では、ステップ１０１は、端末機器によって実行されてもよい。即ち、端末機器によって当該ビデオを撮影されてもよい。例えば、当該端末機器は、スマートフォン、知能型タブレット、又は、知能型メガネであってもよい。知能型タブレットは、タブレット端末（タブレット型の情報通信端末）であってもよい。知能型メガネは、スマートグラス（メガネ型の情報通信端末）であってもよい。
【0025】
本開示の第１実施形態では、例えば、撮影された当該ビデオは、機器の表示パネル領域に対して撮影されたものであり、当該表示パネルに故障コードが表示されてもよい。例えば、当該表示パネルは、当該機器の制御パネル又は他の表示用のパネルであってもよい。
【0026】
例えば、故障コードは、当該表示パネルの故障表示領域内に表示される。
【0027】
本開示の第１実施形態では、故障コードが表示される表示パネルは、様々な種類の表示スクリーンであってもよい。例えば、液晶表示スクリーン又はデジタルチューブ表示スクリーンであってもよい。
【0028】
本開示の第１実施形態では、当該方法は、種々の故障コードの表示方式に適用されてもよい。
【0029】
また、撮影された当該ビデオの時間長さは、実際の必要性に応じて決められてもよい。例えば、故障コードの表示方式により、決められてもよい。
【0030】
以下は、故障コードの表示方式を例示的に説明するが、本開示の第１実施形態はそれらの表示方式によって限定されない。
【0031】
例えば、故障コードがある時間帯内に表示されるが、ある時間帯内に表示されないように絶えずに循環してもよい。その場合について、撮影されたビデオは、故障コードが表示された時間帯を含んでもよい。
【0032】
図２と図３は、本開示の第１実施形態に係る故障コードの一表示方式の概略図である。図２に示されるように、ある時間帯内に故障コードが「Ａ９－０１」に表示され、図３に示されるように、ある時間帯内に当該故障コードが表示されない。
【0033】
更に、例えば、故障コードは、ある時間帯内にその一部が表示されるが、別の時間帯内にその残りの一部が表示されるように絶えずに循環してもよい。その場合について、撮影されたビデオは、故障コードの一部が表示された時間帯及び故障コードの残りの一部が表示された別の時間帯を含んでもよい。
【0034】
図４と図５は、本開示の第１実施形態に係る故障コードの別の表示方式の概略図である。図４に示されるように、ある時間帯内に故障コードの一部が「Ｊ５」に表示され、図５に示されるように、別の時間帯内に当該故障コードの残りの一部が「－０１」に表示される。
【0035】
本願の第１実施形態では、当該一部の故障コードは、エラーコードと呼ばれて、故障が発生した部材を示し、残りの一部の故障コードは、詳細コードと呼ばれて、具体的な故障内容を示してもよい。エラーコードと詳細コードは、１つの完全な故障コードとして組み合わせられる。例えば、図４中の「Ｊ５」はエラーコードを示し、図５中の「－０１」は詳細コードを示し、両者の組合せが完全なエラーコードの「Ｊ５－０１」となる。
【0036】
更に例えば、故障コードは、デジタルチューブによって表示され、デジタルチューブの表示原理により、所定の頻度で点滅して表示されてもよい。その場合について、撮影されたビデオの時間長さは、適切な時間長さであってもよく、例えば、故障コードの識別のために複数のフレームを収集するような数秒間であってもよい。
【0037】
図６と図７は、本開示の第１実施形態に係る故障コードの別の表示方式の概略図である。デジタルチューブが所定の頻度で点滅して故障コードを表示するため、図６に示されるように、当該時刻にて故障コード「Ｊ５」が表示され、図７に示されるように、当該時刻にて、故障コード「Ｊ５」が不完全に表示される。
【0038】
ステップ１０２では、当該ビデオにおける故障コードを識別し、識別された故障コードを取得する。本開示の第１実施形態では、ローカル端末機器によってステップ１０２が実行されてもよいし、端末機器が当該ビデオのデータを遠隔地に設置されたサーバ、例えば、クラウドサーバに送信して、当該サーバによってステップ１０２が実行されてもよい。
【0039】
以下は、異なる故障コードの表示方式に対する、ステップ１０２の具体的な説明をそれぞれ、例示的に行う。
【0040】
例えば、故障コードがある時間帯内に表示され、ある時間帯内に表示されず、絶えずに循環するという表示方式について、即ち、図２と図３に示した例について、ステップ１０２では、当該ビデオの各フレームを逐一に識別することが可能である。
【0041】
図８は、本開示の第１実施形態に係るステップ１０２の一実現方法の概略図である。図８に示されるように、当該ビデオの１フレームを識別するステップにおいて、
ステップ８０１：当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
ステップ８０２：前記平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定すること、および、
ステップ８０３：故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得すること、を含む。
ステップ８０１：当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
ステップ８０２：前記平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定すること、および、
ステップ８０３：故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得すること、を含む。
【0042】
ステップ８０２では、当該予め設定された条件は、故障コードと表示領域の背景との表示上の差によって決められてもよい。例えば、表示領域の背景が暗いが、表示された故障コードが明るい場合、当該予め設定された条件は、画素値の平均値が予め定義された閾値よりも大きいということである。更に例えば、表示領域の背景が明るいが、表示された故障コードが暗い場合、当該予め設定された条件は、画素値の平均値が予め定義された閾値よりも小さいということである。ここで、当該予め定義された閾値は、表示領域の背景の画素値によって決められてもよい。
【0043】
ステップ８０３では、使用される第１の識別モデルは、トレーニングデータを用いてトレーニングされて得られたものである。例えば、トレーニングデータを用いてニューラルネットワークをトレーニングすることで、第１の識別モデルを取得する。当該ニューラルネットワークは、従来のニューラルネットワークの構造が用いられてもよい。
【0044】
本開示の第１実施形態では、当該平均値が予め設定された条件を満足しなかった場合、当該故障コード表示領域には、故障コードが含まれないことを確定すると、その１フレームの画像に対する処理を行わない。
【0045】
本開示の第１実施形態では、各フレームをそれぞれ識別した後、各フレームに対する識別が行われて得られた故障コードが一致すれば、当該故障コードを識別結果とするが、各フレームに対する識別が行われて得られた故障コードが一致しなければ、より多くのフレームから識別された故障コードを識別結果とすることができる。
【0046】
更に、例えば、故障コードは、ある時間帯内にその一部が表示されるが、別の時間帯内にその残りの一部が表示されるように絶えずに循環するという表示方式について、即ち、図４と図５の例について、図９は、本開示の第１実施形態に係るステップ１０２の別の実現方法の概略図である。図９に示されるように、当該方法において、
ステップ９０１：当該ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
ステップ９０２：当該第１部分故障コードと第２部分故障コードを、１つの完全な故障コードに組み合わせて、識別された故障コードとすることを含む。
ステップ９０１：当該ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
ステップ９０２：当該第１部分故障コードと第２部分故障コードを、１つの完全な故障コードに組み合わせて、識別された故障コードとすることを含む。
【0047】
そうすると、異なる時間にて異なる部分の完全な故障コードが表示されることを識別することができ、それにより、正確な故障情報を取得することが可能となる。
【0048】
例えば、当該ビデオの各フレームを逐一に識別することで、図４中の第１部分故障コード「Ｊ５」と図５中の第２部分故障コード「－０１」を取得し、第１部分故障コード「Ｊ５」と第２部分故障コード「－０１」とを、完全な故障コード「Ｊ５－０１」に組み合わせる。
【0049】
ここで、当該ビデオの１フレームを識別するステップは、ステップ８０１～８０３と類似し、即ち、
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値をとること、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得すること、を含む。
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値をとること、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得すること、を含む。
【0050】
本開示の第１実施形態では、実際の必要性に応じて、どの部分の故障コードを第１部分故障コードとして前に置くかを決定してもよい。例えば、識別されたアルファベットを含む一部の故障コードに対し、それを第１部分故障コードとして前に置くことができる。更に例えば、識別されたシンボルを含まない一部の故障コードに対し、それを第１部分故障コードとして前に置くが、識別されたシンボルを含む一部の故障コード、例えば、シンボル「－」を含む一部のコードを第２部分故障コードとして後に置くことができる。
【0051】
更に例えば、故障コードがデジタルチューブによって一定の頻度で点滅して表示される表示方式について、即ち、図６と図７の例について、図１０は、本開示の第１実施形態に係るステップ１０２の更に別の実現方法の概略図である。図１０に示されるように、当該方法において、
ステップ１００１：予め設定された重み値に基づき、当該ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、
ステップ１００２：重畳された複数のフレームに基づいて故障コードの識別を行うことを含む。
ステップ１００１：予め設定された重み値に基づき、当該ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、
ステップ１００２：重畳された複数のフレームに基づいて故障コードの識別を行うことを含む。
【0052】
そうすると、単一の画像では、故障コードを正確に表示できなくなるという欠陥を解消することができ、故障コードを正確に確定することが可能となり、正確な故障情報を取得することができる。
【0053】
ステップ１００１では、重み値に基づき、当該ビデオの隣接フレーム又は間隔フレームを２つごとに重畳し、当該間隔フレームは、予め設定されたフレーム数の間隔を置いた２つの間隔フレームであってもよい。
【0054】
本開示の第１実施形態では、重畳用の重み値は実際の必要性に応じて設定されてもよい。例えば、重み値の平均が０．５である場合、つまり、隣り合う２つのフレーム又は間隔を置いた２つのフレームの対応する画素点の画素値に対して平均値をとる。更に例えば、重み値の平均が１である場合、つまり、隣り合う２つのフレーム又は間隔を置いた２つのフレームの対応する画素点の画素値を加算する。
【0055】
本開示の第１実施形態では、故障コードは、ある時間帯内にその一部が表示されるが、別の時間帯内にその残りの一部が表示されるように絶えずに循環するという表示方式について、ステップ１００２では、重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、当該第１部分故障コードと第２部分故障コードを、１つの完全な故障コードに組み合わせて、識別された故障コードとすることを含む。
【0056】
図１１は、本開示の第１実施形態に係る当該ビデオの隣接フレームを重畳する概略図である。図１１に示されるように、当該ビデオに含まれた６フレーム画像において、２フレーム目、３フレーム目、５フレーム目の画像は、デジタルチューブの点滅によって撮影された故障コードが不完全なものとなる。隣り合う２つのフレームに対して、画素値の加算に関する重畳をそれぞれ、行い、１フレーム目と２フレーム目を重畳してから、第１部分故障コードの「ＬＣ」が識別され、３フレーム目と４フレーム目を重畳してから、正常の故障コードを識別することができないので、それを破棄し、５フレーム目と６フレーム目を重畳してから、第２部分故障コード「－１４」が識別される。第１部分故障コード「ＬＣ」と第２部分故障コード「－１４」とを組み合わせたことで、完全な故障コード「ＬＣ－１４」が得られる。
【0057】
本開示の第１実施形態では、ステップ１０２において、識別する前に、当該ビデオを分割して、当該ビデオの各フレームを取得すること、および、当該ビデオの各フレームに対して故障コード表示領域を確定すること、を含むステップをさらに含んでもよい。
【0058】
そうすると、各フレームの故障コード表示領域を確定することができ、それにより、当該故障コード表示領域に対する故障コードの識別が容易となる。
【0059】
本開示の第１実施形態では、例えば、故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係により、当該故障コード表示領域の位置を確定することができ、または、予めトレーニングして得られた第２の識別モデルにより、当該故障コード表示領域の位置を確定することができる。
【0060】
例えば、ビデオを撮影された領域はほぼ表示パネルの領域であり、当該表示パネルにおける故障コード表示領域の予め設定された位置関係により、当該故障コード表示領域の位置を確定する。
【0061】
例えば、当該第２の識別モデルは、ニューラルネットワークであってもよく、当該ニューラルネットワークは従来のニューラルネットワークの構造が用いられてもよい。
【0062】
本開示の第１実施形態では、ステップ１０２において故障コードが識別された後、ステップ１０３において、識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する。本開示の第１実施形態では、ローカル端末機器によってステップ１０３が実行されてもよいし、サーバによってステップ１０３が実行されてもよい。
【0063】
本開示の第１実施形態では、故障情報データベースが予め構築されてもよく、当該故障情報データベースでは、種々の機器の故障に関する情報が記憶されており、当該故障に関する情報は、機器の種類や型番号、故障コードに対応する。
【0064】
本開示の第１実施形態では、故障コードに対応する当該故障に関する情報は、故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含んでもよい。当該第１のモデルは、当該機器の各部材を表すことができる二次元モデル又は三次元モデルである。
【0065】
本開示の第１実施形態では、当該故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含んでもよい。例えば、当該アフターサービスメンテナンス情報は、メンテナンスの方法及びステップを含んでもよく、更に例えば、部材交換に係る費用などの情報をさらに含んでもよい。
【0066】
ステップ１０３において、識別された故障コードに基づき、当該故障情報データベースにおいて検索し、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成し、当該表示データが故障に関する情報を示すことができる表示データである。
【0067】
ステップ１０４において、当該表示データに基づき、当該故障に関する情報を示す。本開示の第１実施形態では、ローカル端末機器によってステップ１０４が実行され、サーバによってステップ１０３が実行された場合、サーバは生成した表示データを端末機器に送信してもよい。
【0068】
本開示の第１実施形態では、当該故障に関する情報を示すには、種々の方式によって示されてもよい。例えば、スクリーンによって文字で示される故障内容が表示されてもよく、又は、スクリーンによって文字と図形を組み合わせて示された故障内容が表示されてもよく、又は、虚実を結合する方式によって故障内容を表すことができる当該機器のモデルが表示されてもよい。本開示の第１実施形態では、当該故障に関する情報の示し方が制限されていない。
【0069】
例えば、ステップ１０４において、当該表示データに基づき、故障内容を表すことができる当該機器の第２のモデルを表示し、当該第２のモデルが当該機器の第１のモデルに基づいて形成されてもよい。そうすると、機器の構造や故障の位置を直感的に示すことができ、それにより、故障確定や故障排除の効率が向上した。
【0070】
例えば、当該第２のモデルは、当該機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルである。
【0071】
例えば、当該第２のモデルを、拡張現実、画像又は動画の方式によって表示する。そうすると、故障情報をさらに直観的に把握することができ、それにより、故障確定や故障排除の効率がさらに向上した。
【0072】
例えば、当該第２のモデルでは、故障が発生した位置または部材を異なる色で表示する。そうすると、故障情報をさらに直観的に把握することができ、それにより、故障確定や故障排除の効率がさらに向上した。
【0073】
本開示の第１実施形態では、故障に関する情報のうちのアフターサービスメンテナンス情報を表示してもよい。例えば、メンテナンスの方法やステップを動画又はビデオの方式によって表示してもよい。そうすると、故障排除の効率がさらに向上した。
【0074】
上記第１実施形態から分かるように、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
（第２実施形態）
本開示の第２実施形態は、第１実施形態に記載の故障識別及び対応方法に対応する故障識別及び対応システムを提供し、その具体的な実施について、第１実施形態に記載の方法の実施を参照してもよく、同一又は関連する内容に関しては、説明を省略する。
（第２実施形態）
本開示の第２実施形態は、第１実施形態に記載の故障識別及び対応方法に対応する故障識別及び対応システムを提供し、その具体的な実施について、第１実施形態に記載の方法の実施を参照してもよく、同一又は関連する内容に関しては、説明を省略する。
【0075】
図１２は、本開示の第２実施形態に係る故障識別及び対応システムの概略図であり、図１２に示されるように、故障識別及び対応システム１２００は、
故障コードを含むビデオを撮影する撮影ユニット１２０１と、
当該ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニット１２０２と、
識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する確定ユニット１２０３と、
当該表示データに基づいて、前記故障に関する情報を示す表示ユニット１２０４と、を備える。
故障コードを含むビデオを撮影する撮影ユニット１２０１と、
当該ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニット１２０２と、
識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する確定ユニット１２０３と、
当該表示データに基づいて、前記故障に関する情報を示す表示ユニット１２０４と、を備える。
【0076】
本開示の第２実施形態では、図１２に示されるように、故障識別及び対応システム１２００は、端末機器１２１０とサーバ１２２０を含み、端末機器１２１０が撮影ユニット１２０１と表示ユニット１２０４を含み、サーバ１２２０が識別ユニット１２０２と確定ユニット１２０３を含んでもよい。
【0077】
また、図１２に示されるように、端末機器１２１０は、さらに、
当該ビデオをサーバ１２２０に送信する第１の送信ユニット１２０５と、
サーバ１２２０から表示データを受信する第１の受信ユニット１２０６と、を含み、
当該サーバ１２２０は、さらに、
端末機器１２１０によって撮影された故障コードを含むビデオを当該端末機器から受信する第２の受信ユニット１２０７と、
当該表示データを端末機器１２１０に送信する第２の送信ユニット１２０８と、を含む。
当該ビデオをサーバ１２２０に送信する第１の送信ユニット１２０５と、
サーバ１２２０から表示データを受信する第１の受信ユニット１２０６と、を含み、
当該サーバ１２２０は、さらに、
端末機器１２１０によって撮影された故障コードを含むビデオを当該端末機器から受信する第２の受信ユニット１２０７と、
当該表示データを端末機器１２１０に送信する第２の送信ユニット１２０８と、を含む。
【0078】
本開示の第２実施形態では、端末機器１２１０は、様々な種類の端末機器であってもよい。例えば、当該端末機器は、スマートフォン、知能型タブレット、又は、知能型メガネであってもよい。
【0079】
サーバ１２２０は、様々な種類のサーバであってもよく、例えば、クラウドサーバであってもよい。
【0080】
図１３は、本開示の第２実施形態に係る故障識別及び対応システムが相応な方法を実行する概略図である。図１３に示されるように、当該方法において、
ステップ１３０１：端末機器１２１０が故障コードを含むビデオを撮影すること、
ステップ１３０２：端末機器１２１０が当該ビデオをサーバ１２２０に送信すること、
ステップ１３０３：サーバ１２２０が当該ビデオにおける故障コードを識別し、識別された故障コードを取得すること、
ステップ１３０４：サーバ１２２０が識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成すること、
ステップ１３０５：サーバ１２２０が当該表示データを端末機器１２１０に送信すること、および、
ステップ１３０６：端末機器１２１０が当該表示データに基づき、当該故障に関する情報を示すことを含む。
ステップ１３０１：端末機器１２１０が故障コードを含むビデオを撮影すること、
ステップ１３０２：端末機器１２１０が当該ビデオをサーバ１２２０に送信すること、
ステップ１３０３：サーバ１２２０が当該ビデオにおける故障コードを識別し、識別された故障コードを取得すること、
ステップ１３０４：サーバ１２２０が識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成すること、
ステップ１３０５：サーバ１２２０が当該表示データを端末機器１２１０に送信すること、および、
ステップ１３０６：端末機器１２１０が当該表示データに基づき、当該故障に関する情報を示すことを含む。
【0081】
図１４は、本開示の第２実施形態に係る識別ユニットの一実施の形態の概略図である。図１４に示されるように、識別ユニット１２０２は、
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第１の計算モジュール１４０１と、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定する第１の確定モジュール１４０２と、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得する第１の識別モジュール１４０３と、を含む。
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第１の計算モジュール１４０１と、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定する第１の確定モジュール１４０２と、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得する第１の識別モジュール１４０３と、を含む。
【0082】
図１５は、本開示の第２実施形態に係る識別ユニットの別の実施の形態の概略図である。図１５に示されるように、識別ユニット１２０２は、
当該ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第２の識別モジュール１５０１と、
当該第１部分故障コードと当該第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第１の組合せモジュール１５０２と、を含む。
当該ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第２の識別モジュール１５０１と、
当該第１部分故障コードと当該第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第１の組合せモジュール１５０２と、を含む。
【0083】
図１６は、本開示の第２実施形態に係る第２の識別モジュールの概略図である。図１６に示されるように、第２の識別モジュール１５０１は、
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第２の計算モジュール１６０１と、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定する第２の確定モジュール１６０２と、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得する第３の識別モジュール１６０３と、を含む。
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第２の計算モジュール１６０１と、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定する第２の確定モジュール１６０２と、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得する第３の識別モジュール１６０３と、を含む。
【0084】
図１７は、本開示の第２実施形態に係る識別ユニットの別の実施の形態の概略図である。図１７に示されるように、識別ユニット１２０２は、
予め設定された重み値に基づき、当該ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュール１７０１と、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュール１７０２と、を含む。
予め設定された重み値に基づき、当該ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュール１７０１と、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュール１７０２と、を含む。
【0085】
図１８は、本開示の第２実施形態に係る第４の識別モジュールの概略図である。図１８に示されるように、第４の識別モジュール１７０２は、
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第５の識別モジュール１８０１と、
当該第１部分故障コードと当該第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第２の組合せモジュール１８０２と、を含む。
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第５の識別モジュール１８０１と、
当該第１部分故障コードと当該第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第２の組合せモジュール１８０２と、を含む。
【0086】
本開示の第２実施形態では、当該識別ユニット１２０２は、さらに、
当該ビデオを分割して、当該ビデオの各フレームを取得する分割モジュールと、
当該ビデオの各フレームに対して故障コード表示領域を確定する第２の確定モジュールと、をさらに含んでもよい。
当該ビデオを分割して、当該ビデオの各フレームを取得する分割モジュールと、
当該ビデオの各フレームに対して故障コード表示領域を確定する第２の確定モジュールと、をさらに含んでもよい。
【0087】
本開示の第２実施形態では、当該第２の確定モジュールは、故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係により、当該故障コード表示領域の位置を確定することができ、または、予めトレーニングして得られた第２の識別モデルにより、当該故障コード表示領域の位置を確定することができる。
【0088】
本開示の第２実施形態では、故障コードに対応する当該故障に関する情報は、当該故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含んでもよい。
【0089】
本開示の第２実施形態では、表示ユニット１２０４は、当該表示データに基づき、故障内容を表すことができる当該機器の第２のモデルを表示し、当該第２のモデルが当該機器の第１のモデルに基づいて形成されてもよい。
【0090】
例えば、当該機器の第１のモデルは、当該機器の各部材を表すことができる二次元モデル又は三次元モデルであり、当該機器の第２のモデルは、当該機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルである。
【0091】
しかも、表示ユニット１２０４は、当該第２のモデルを、拡張現実、画像又は動画の方式によって表示してもよい。本開示の第２実施形態では、当該故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含んでもよい。
【0092】
本開示の第２実施形態では、上記各ユニットやモジュールの機能の実現について、第１実施形態における関連ステップの内容を参照されてもよい。ここでは説明を省略する。
【0093】
上記実施形態から分かるように、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
（第３実施形態）
本開示の第３実施形態３は、第１実施形態に記載の故障識別及び対応方法に対応する端末機器を提供し、その具体的な実施について、第１実施形態に記載の方法の実施を参照されてもよく、同一又は関連する内容に関して、説明を省略する。
（第３実施形態）
本開示の第３実施形態３は、第１実施形態に記載の故障識別及び対応方法に対応する端末機器を提供し、その具体的な実施について、第１実施形態に記載の方法の実施を参照されてもよく、同一又は関連する内容に関して、説明を省略する。
【0094】
図１９は、本開示の第３実施形態に係る端末機器の概略図である。図１９に示されたように、端末機器１９００は、
故障コードを含むビデオを撮影する撮影ユニット１９０１と、
当該ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニット１９０２と、
識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する確定ユニット１９０３と、
当該表示データに基づいて、当該故障に関する情報を示す表示ユニット１９０４と、を備える。
故障コードを含むビデオを撮影する撮影ユニット１９０１と、
当該ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニット１９０２と、
識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する確定ユニット１９０３と、
当該表示データに基づいて、当該故障に関する情報を示す表示ユニット１９０４と、を備える。
【0095】
つまり、第１実施形態における全てのステップは、端末機器によって実行されてもよく、端末機器の各ユニットの機能の実現について、第１実施形態における関連ステップの内容を参照されてもよい。ここでは説明を省略する。
【0096】
上記実施形態から分かるように、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
【0097】
本開示における上記装置や方法はハードウェアによって実現されてもよく、ハードウェアとソフトウェアとの組合せによって実現されてもよい。本開示は、以下のようなコンピュータ読み出し可能なプログラムに関するものである。当該プログラムがロジックユニットにより実行された場合、当該ロジックユニットに以上の装置又は構成部材を実現させることができ、或いは、当該ロジックユニットに以上の各種の方法又はステップを実現させることができる。
【0098】
本開示は上記のプログラムを記憶するための記憶媒介に関し、たとえば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。
【0099】
以上、具体的な実施の形態を結び付けて、本開示を説明した。しかし、当業者が理解すべきことは、それらの記載はいずれも例示的なものに過ぎず、本開示の保護範囲に対する限定ではない。当業者は本開示の精神と原理に基づいて、本開示に対して種々変形や修正を行うことができるが、それらの変形と修正も本開示の範囲内に入っている。
【符号の説明】
【0100】
１２００ 故障識別及び対応システム
１２１０ 端末機器
１２０１ 撮影ユニット
１２０２ 識別ユニット
１２０３ 確定ユニット
１２０４ 表示ユニット
１２０５ 第１の送信ユニット
１２０６ 第１の受信ユニット
１２０７ 第２の受信ユニット
１２０８ 第２の送信ユニット
１２２０ サーバ
１４０１ 第１の計算モジュール
１４０２ 第１の確定モジュール
１４０３ 第１の識別モジュール
１５０１ 第２の識別モジュール
１５０２ 第１の組合せモジュール
１６０１ 第２の計算モジュール
１６０２ 第２の確定モジュール
１６０３ 第３の識別モジュール
１７０１ 重畳モジュール
１７０２ 第４の識別モジュール
１８０１ 第５の識別モジュール
１８０２ 第２の組合せモジュール
１９０１ 撮影ユニット
１９０２ 識別ユニット
１９０３ 確定ユニット
１９０４ 表示ユニット
１２１０ 端末機器
１２０１ 撮影ユニット
１２０２ 識別ユニット
１２０３ 確定ユニット
１２０４ 表示ユニット
１２０５ 第１の送信ユニット
１２０６ 第１の受信ユニット
１２０７ 第２の受信ユニット
１２０８ 第２の送信ユニット
１２２０ サーバ
１４０１ 第１の計算モジュール
１４０２ 第１の確定モジュール
１４０３ 第１の識別モジュール
１５０１ 第２の識別モジュール
１５０２ 第１の組合せモジュール
１６０１ 第２の計算モジュール
１６０２ 第２の確定モジュール
１６０３ 第３の識別モジュール
１７０１ 重畳モジュール
１７０２ 第４の識別モジュール
１８０１ 第５の識別モジュール
１８０２ 第２の組合せモジュール
１９０１ 撮影ユニット
１９０２ 識別ユニット
１９０３ 確定ユニット
１９０４ 表示ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】