知財求人 - 知財ポータルサイト「IP Force」
特許7658466情報処理装置、情報処理システム、顧客装置及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-31
(45)【発行日】2025-04-08
(54)【発明の名称】情報処理装置、情報処理システム、顧客装置及び情報処理プログラム
(51)【国際特許分類】
G06F 11/07 20060101AFI20250401BHJP
【ＦＩ】
G06F11/07 193
G06F11/07 140A
【請求項の数】
10
(21)【出願番号】P 2023576461
(86)(22)【出願日】2022-01-26
(86)【国際出願番号】 JP2022002918
(87)【国際公開番号】W WO2023144934
(87)【国際公開日】2023-08-03
【審査請求日】2024-06-27
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】石津 貴弘
【審査官】今城 朋彬
(56)【参考文献】
【文献】国際公開第２０２０／２５５７２８（ＷＯ，Ａ１）
【文献】特開２０１９－１５３３０６（ＪＰ，Ａ）
【文献】特開２０２０－１５５１１４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １１／０７
(57)【特許請求の範囲】
【請求項1】
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、
を備え、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理装置。
【請求項2】
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに備え、前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
請求項１に記載の情報処理装置。
【請求項3】
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに備え、前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
請求項１または２に記載の情報処理装置。
【請求項4】
前記センサ値は、第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
請求項１または２に記載の情報処理装置。
【請求項5】
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに備え、前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
請求項１または２に記載の情報処理装置。
【請求項6】
センサ値を取得するセンサデバイスを含む顧客装置と、前記顧客装置とネットワークを介して接続された情報処理装置と、
前記顧客装置の故障時に前記顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶装置と、
前記故障時の対応策を記憶した対応策記憶装置と、
を備え、
前記情報処理装置は、
前記故障代表画像データを取得する故障代表画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理システム。
【請求項7】
センサ値を取得するセンサデバイスを含む第１顧客装置と、前記センサ値を取得する前記センサデバイスを含む第２顧客装置と、
前記第１顧客装置とネットワークを介して接続された情報処理装置と、
を備え、
前記第２顧客装置は、
前記第１顧客装置の故障時に前記第１顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶手段と、
前記故障時の対応策を記憶した対応策記憶手段と、
前記故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記第２顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記第２顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定された場合に、前記対応策を表示する表示手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理システム。
【請求項8】
センサ値を取得するセンサデバイスと、故障と判定された場合に故障時の対応策を表示する表示手段と、
を備え、
装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記装置に通知する対応策通知手段と、
を有する情報処理装置にネットワークを介して接続され、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する前記情報処理装置に接続された、
顧客装置。
【請求項9】
センサ値を取得するセンサデバイスと、情報処理手段と、
故障と判定された場合に故障時の対応策を表示する表示手段と、
を備え、
前記情報処理手段は、
装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の前記対応策を取得する対応策取得手段と、
故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記装置の故障を判定する画像データ判定手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
顧客装置。
【請求項10】
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、前記故障時の対応策を取得させる対応策取得ステップと、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、
前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、
前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、
をコンピュータに実行させる際に、
前記画像データ変換ステップにおいて、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換させる、
ことをコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理システム、顧客装置、情報処理方法及び非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
特許文献１には、機械設備等の対象物の振動を計測するための振動計測装置が記載されている。特許文献１の振動計測装置は、対象物の振動の時系列データを処理画像として処理している。
【0003】
特許文献２には、産業機械等における複数の時系列データについて、各データ間の関係性を分析する分析装置が記載されている。特許文献２の分析装置は、スライド窓幅調整部によって時系列データの区切り位置で区切られた区間データの変化傾向を分析する。
【0004】
特許文献３には、エラー発生時の解決策を生成する故障解決策予測システムが記載されている。特許文献３の故障解決策予測システムは、故障に対処するために実施された処理に基づいて解決策を生成する。
【0005】
特許文献４には、複数のセンサから得られるデータを時系列に所定時間単位毎にまとめることによりデータ分類を行い、故障を判定する故障・不良判定装置が記載されている。特許文献４の故障・不良判定装置は、複数のセンサ毎にグラフ化されたグラフデータについて、ディープラーニング分類を行うことによりデータ分類を行う。
【0006】
特許文献５には、顧客環境側の機器から取得した履歴情報に基づいて、故障予測を行う情報処理システムが記載されている。特許文献５の情報処理システムは、顧客環境側から取得した機器の履歴情報を解析し、機器で発生した故障に対する履歴情報の各項目の影響度合いを解析することで故障予測を行う。
【0007】
特許文献６には、診断対象の設備の異常を診断する異常診断方法が記載されている。特許文献６の異常診断方法は、複数の計測項目についての多変量時系列データを用いて、設備の運転状態の異常を診断し、設備の運転状態の異常が判定されたときに、異常の発生前の第１の区間の多変量時系列データから抽出した特徴量と、異常の発生後の第２の区間の多変量時系列データから抽出した特徴量との差分から異常の原因となる計測項目を診断する。
【先行技術文献】
【特許文献】
【0008】
【文献】国際公開第２０２０／２５５７２８号
【文献】特開２０２１－０７６９９８号公報
【文献】特開２０１９－１５３３０６号公報
【文献】特開２０１８－１２０４８７号公報
【文献】特開２０１７－０２７１２４号公報
【文献】特許第６８５１５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
故障の予測について関連した技術には、データの類似パターンを探索し、過去における故障データに近いデータがあった場合に故障等の予測をするものがある。しかしながら、そのような技術は、パターン抽出の切り出し期間が固定の時間である場合がある。よって、パターン抽出の範囲を広げなければ故障データの特徴が検出できないことがあり、高精度で故障予測及び故障判定を行うことが困難である。
【0010】
本開示の目的は、上述した課題に鑑み、高精度で故障を判定することができる情報処理装置、情報処理システム、顧客装置、情報処理方法、及び、非一時的なコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【0011】
本開示の一態様にかかる情報処理装置は、顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、前記故障時の対応策を取得する対応策取得手段と、故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、を備え、前記画像データ変換手段は、時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、を含む前記対象画像データに変換する。
【0012】
本開示の一態様にかかる情報処理システムは、センサ値を取得するセンサデバイスを含む顧客装置と、前記顧客装置とネットワークを介して接続された情報処理装置と、前記顧客装置の故障時に前記顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶装置と、前記故障時の対応策を記憶した対応策記憶装置と、を備え、前記情報処理装置は、前記故障代表画像データを取得する故障代表画像データ取得手段と、前記故障時の対応策を取得する対応策取得手段と、故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、を有し、前記画像データ変換手段は、時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、を含む前記対象画像データに変換する。
【0013】
本開示の一態様にかかる顧客装置は、センサ値を取得するセンサデバイスと、故障と判定された場合に故障時の対応策を表示する表示手段と、を備え、装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、前記故障時の対応策を取得する対応策取得手段と、故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、前記故障代表画像データと、前記対象画像データと、を比較することにより、前記装置の故障を判定する画像データ判定手段と、前記故障と判定した場合に前記対応策を前記装置に通知する対応策通知手段と、を有する情報処理装置にネットワークを介して接続され、前記画像データ変換手段は、時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、を含む前記対象画像データに変換する前記情報処理装置に接続されている。
【0014】
本開示の一態様にかかる情報処理方法は、顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、前記故障時の対応策を取得させる対応策取得ステップと、故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、を備え、前記画像データ変換ステップにおいて、時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、を含む前記対象画像データに変換させる。
【0015】
本開示の一態様にかかる非一時的なコンピュータ可読媒体には、顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、前記故障時の対応策を取得させる対応策取得ステップと、故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、をコンピュータに実行させる際に、前記画像データ変換ステップにおいて、時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、を含む前記対象画像データに変換させる、ことをコンピュータに実行させる情報処理プログラムが格納される。
【発明の効果】
【0016】
本開示により、高精度で故障を判定することができる情報処理装置、情報処理システム、顧客装置、情報処理方法、及び、非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【0017】
【図1】実施形態１に係る情報処理システムを例示した構成図である。
【図2】実施形態１に係る顧客装置のセンサデバイスが取得したセンサ値の時系列データを画像化したグラフであり、横軸は、時間を示し、縦軸は強度を示す。
【図3】実施形態１に係る故障代表画像データ記憶装置が記憶する故障代表画像データを例示した図である。
【図4】実施形態１に係る情報処理装置を例示したブロック図である。
【図5】実施形態１に係る情報処理装置において、画像データ変換部が変換した対象画像データを例示した図である。
【図6】実施形態１に係る情報処理装置において、画像データ変換部が変換した対象画像データを例示した図である。
【図7】実施形態１に係る情報処理方法を例示したフローチャート図である。
【図8】実施形態２に係る情報処理システムを例示した構成図である。
【図9】実施形態２に係る情報処理装置を例示したブロック図である。
【図10】実施形態２に係る情報処理システムの各構成と、情報処理装置の各構成との関係を例示した図である。
【図11】実施形態２に係る情報処理装置において、画像データ判定部、対応策通知部及び画像データベクトル化部の処理方法を例示したフローチャート図である。
【図12】実施形態２に係る情報処理装置において、画像データ抽出部が抽出する故障代表画像データを例示した図である。
【図13】実施形態２に係る情報処理装置において、画像データ抽出部が時間幅を変えて抽出する故障代表画像データを例示した図である。
【図14】実施形態２に係る情報処理装置において、故障代表画像データの抽出方法を例示したフローチャート図である。
【図15】実施形態３に係る情報処理システムを例示した構成図である。
【図16】実施形態３に係る情報処理装置を例示したブロック図である。
【図17】実施形態３に係る情報処理装置において、疑似故障画像データの処理方法を例示したフローチャート図である。
【図18】実施形態４に係る情報処理システムにおいて、アップロード対象の顧客装置を例示したブロック図である。
【図19】実施形態４に係る情報処理システムにおいて、非アップロード対象の顧客装置を例示したブロック図である。
【発明を実施するための形態】
【0018】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0019】
（実施形態１）
実施形態１に係る情報処理システム及び情報処理装置を説明する。図１は、実施形態１に係る情報処理システムを例示した構成図である。図１に示すように、情報処理システム１は、顧客装置Ｍ０１等、情報処理装置１００、故障代表画像データ記憶装置１０及び対応策記憶装置２０を備えている。顧客装置Ｍ０１等及び情報処理装置１００は、情報処理手段としての機能を有している。故障代表画像データ記憶装置１０及び対応策記憶装置２０は、それぞれ、故障代表画像データ記憶手段及び対応策記憶手段としての機能を有している。
実施形態１に係る情報処理システム及び情報処理装置を説明する。図１は、実施形態１に係る情報処理システムを例示した構成図である。図１に示すように、情報処理システム１は、顧客装置Ｍ０１等、情報処理装置１００、故障代表画像データ記憶装置１０及び対応策記憶装置２０を備えている。顧客装置Ｍ０１等及び情報処理装置１００は、情報処理手段としての機能を有している。故障代表画像データ記憶装置１０及び対応策記憶装置２０は、それぞれ、故障代表画像データ記憶手段及び対応策記憶手段としての機能を有している。
【0020】
情報処理システム１は、顧客装置М０１、М０２及びＭ０３を備えてもよい。顧客装置М０１、М０２及びＭ０３を総称して、顧客装置Ｍ０と呼ぶ。図では、３個の顧客装置М０を示しているが、顧客装置Ｍ０の個数は、３個に限らず、１～２個でもよいし、４個以上でもよい。顧客装置Ｍ０は、ネットワークＮＷを介して、情報処理装置１００に通信可能な状態で接続されている。
【0021】
顧客装置Ｍ０は、各種のセンサデバイスＳＤを搭載している。各種のセンサデバイスＳＤは、搭載された顧客装置Ｍ０における各部及び各部材等の状態を監視する。例えば、各種のセンサデバイスＳＤは、顧客装置Ｍ０における各部及び各部材等の状態として、温度、湿度、電圧、振動等を監視する。
【0022】
図２は、実施形態１に係る顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データを画像化したグラフであり、横軸は、時間を示し、縦軸は強度を示す。図２に示すように、顧客装置Ｍ０１、Ｍ０２及びＭ０３の各センサデバイスＳＤは、要素Ａ～要素Ｃのセンサ値の時系列データ３１を取得する。要素Ａ～Ｃは、例えば、温度、湿度、電圧、振動等のいずれかを示す。このように、顧客装置Ｍ０は、センサ値を取得するセンサデバイスＳＤを含む。顧客装置Ｍ０は、複数の異なる種類のセンサ値を取得する複数のセンサデバイスＳＤを含んでもよい。センサ値は、第１センサデバイスＳＤに取得される第１センサ値と、第１センサデバイスＳＤと異なる第２センサデバイスＳＤに取得される第２センサ値と、を含んでもよい。顧客装置Ｍ０は、取得したセンサ値の時系列データ３１を、ネットワークＮＷを介して情報処理装置１００に出力する。
【0023】
ネットワークＮＷは、無線の通知回線を含んでもよいし、有線のネットワーク回線を含んでもよい。ネットワークＮＷは、無線及び有線の通信回線を組み合わせてもよい。ネットワークＮＷは、クラウドを構成してもよい。
【0024】
故障代表画像データ記憶装置１０は、情報処理装置１００に通信可能な状態で接続されている。図３は、実施形態１に係る故障代表画像データ記憶装置１０が記憶する故障代表画像データを例示した図である。図３に示すように、故障代表画像データ記憶装置１０は、故障代表画像データ１１及び１２を記憶する。故障代表画像データ１１及び１２は、顧客装置Ｍ０の故障時に顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データ３１の一部を画像化したものである。故障代表画像データ１１及び１２は、故障時及び故障時直前の時系列データ３１を含む。
【0025】
故障代表画像データ１２の時間幅は、例えば、故障代表画像データ１１の時間幅よりも大きい。例えば、故障代表画像データ１１は、時系列データ３１の特徴として、特徴３１ａを含む。一方、故障代表画像データ１２は、時系列データ３１の特徴として、特徴３１ａの他に特徴３１ｂを含む。よって、特徴３１ｂに故障の原因がある場合に、故障代表画像データ１２は、故障の原因を検出することができる。故障代表画像データ記憶装置１０は、故障代表画像データ１１及び１２を情報処理装置１００に出力する。
【0026】
対応策記憶装置２０は、情報処理装置１００に通信可能な状態で接続されている。対応策記憶装置２０は、顧客装置Ｍ０の故障時の対応策を記憶する。対応策は、顧客装置Ｍ０の故障の原因及び理由を含んでもよいし、過去に用いた対応策を含んでもよい。また、対応策は、故障代表画像データ１１及び１２のパターン毎の対応策を含んでもよいし、要素Ａ～Ｃ毎の対応策を含んでもよい。対応策記憶装置２０は、対応策として、顧客装置Ｍ０が故障した時の各種情報を記憶してもよい。対応策記憶装置２０は、故障代表画像データ１１及び１２に対応した対応策を情報処理装置１００に出力する。
【0027】
情報処理装置１００は、顧客装置Ｍ０とネットワークＮＷを介して接続されている。また、情報処理装置１００は、故障代表画像データ記憶装置１０と接続されている。さらに、情報処理装置１００は、対応策記憶装置２０と接続されている。
【0028】
図４は、実施形態１に係る情報処理装置を例示したブロック図である。図４に示すように、情報処理装置１００は、画像データ取得部１１０、対応策取得部１２０、画像データ変換部１３０、画像データ判定部１４０及び対応策通知部１５０を備えている。画像データ取得部１１０、対応策取得部１２０、画像データ変換部１３０、画像データ判定部１４０及び対応策通知部１５０は、それぞれ、画像データ取得手段、対応策取得手段、画像データ変換手段、画像データ判定手段及び対応策通知手段としての機能を有している。
【0029】
画像データ取得部１１０は、故障代表画像データ記憶装置１０から故障代表画像データ１１及び１２等の故障代表画像データを取得する。
【0030】
対応策取得部１２０は、対応策記憶装置２０から故障時の対応策を取得する。対応策取得部１２０は、第１センサ値の時系列データ３１において故障と判定された場合における第１対応策を取得してもよい。また、対応策取得部１２０は、第２センサ値の時系列データ３１において故障と判定された場合における第２対応策を取得してもよい。さらに、対応策取得部１２０は、第１センサ値及び第２センサ値の時系列データ３１において故障と判定された場合における第３対応策を取得してもよい。すなわち、第１センサ値及び第２センサ値の時系列データ３１において故障と判定された場合に、第１対応策及び第２対応策を重畳して取得するだけでなく、第１対応策及び第２対応策とは異なる第３対応策を取得してもよい。
【0031】
画像データ変換部１３０は、故障判定の対象となる顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データ３１の一部を対象画像データに変換する。図５及び図６は、実施形態１に係る情報処理装置１００において、画像データ変換部１３０が変換した対象画像データを例示した図である。
【0032】
図５に示すように、画像データ変換部１３０は、時間幅を第１時間として時系列データを区切る第１窓枠Ｆ１を設定する。画像データ変換部１３０は、設定した第１窓枠Ｆ１を、所定の第１遡り時間間隔で所定の時間まで時系列データ３１の時間軸に沿って遡らせる。そして、画像データ変換部１３０は、第１窓枠Ｆ１を遡らせながら、各第１窓枠Ｆ１から画像に変換させた複数の第１対象画像データＧ１１～Ｇ１３を生成する。
【0033】
また、図６に示すように、画像データ変換部１３０は、時間幅を第１時間よりも大きい第２時間として時系列データ３１を区切る第２窓枠Ｆ２を設定する。画像データ変換部１３０は、設定した第２窓枠Ｆ２を、所定の第２遡り時間間隔で所定の時間まで時系列データ３１の時間軸に沿って遡らせる。そして、画像データ変換部１３０は、第２窓枠Ｆ２を遡らせながら、各第２窓枠Ｆ２から画像に変換させた複数の第２対象画像データＧ２１～Ｇ２２を生成する。第２遡り時間間隔は、第１遡り時間間隔よりも大きいことが望ましい。このようにして、画像データ変換部１３０は、時系列データ３１の一部を、第１対象画像データＧ１１～Ｇ１３及び第２対象画像データＧ２１～Ｇ２２を含む対象画像データに変換する。
【0034】
なお、画像データ変換部１３０は、第１対象画像データ及び第２対象画像データにとどまらず、時間幅をさらに変化させた複数の窓枠を設定して、複数の対象画像データを生成してもよい。すなわち、第１窓枠Ｆ１より時間幅の大きな第２窓枠Ｆ２をとって操作した後、第２窓枠Ｆ２より時間幅の大きな第３窓枠をとって操作してもよい。また、さらにこの操作を続けてもよい。所定の最大窓枠幅以上になったときに、この操作を終了してもよい。
【0035】
画像データ判定部１４０は、故障代表画像データ記憶装置１０に記憶された故障代表画像データと、画像データ変換部１３０が変換した対象画像データとを比較することにより、顧客装置Ｍ０の故障を判定する。画像データ判定部１４０は、第１センサ値の時系列データ３１の一部を画像化した対象画像データと、第１センサ値の時系列データ３１の一部を画像化した故障代表画像データと、を比較してもよい。また、画像データ判定部１４０は、第２センサ値の時系列データ３１の一部を画像化した対象画像データと、第２センサ値の時系列データ３１の一部を画像化した故障代表画像データと、を比較してもよい。
【0036】
対応策通知部１５０は、画像データ判定部１４０が故障と判定した場合に、対応策記憶装置２０に記憶された対応策を、ネットワークＮＷを介して、顧客装置Ｍ０に通知する。例えば、対応策通知部１５０は、第１センサ値の時系列データ３１において故障と判定された場合に、顧客装置Ｍ０に第１対応策を通知してもよい。また、対応策通知部１５０は、第２センサ値の時系列データ３１において故障と判定された場合に、第２対応策を顧客装置Ｍ０に通知してもよい。さらに、対応策通知部１５０は、第１センサ値及び第２センサ値の時系列データ３１において故障と判定された場合に、第３対応策を顧客装置Ｍ０に通知してもよい。また、対応策通知部１５０は、故障代表画像データの類似したパターン毎に過去の対応策を通知してもよい。
【0037】
上述した情報処理装置１００は、例えば、サーバ等の情報処理装置である。なお、情報処理装置１００は、サーバに限らず、情報処理を行うものであれば、パーソナルコンピュータ、タブレット、携帯端末等でもよい。情報処理装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置、通信装置を備えてもよい。また、記憶装置は、情報処理装置１００の各構成が行う処理をプログラムにして記憶してもよい。また、プロセッサは、記憶装置からプログラムをメモリへ読み込ませ、当該プログラムを実行してもよい。これにより、プロセッサは、画像データ取得部１１０、対応策取得部１２０、画像データ変換部１３０、画像データ判定部１４０及び対応策通知部１５０の機能を実現する。
【0038】
情報処理装置１００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、量子プロセッサ（量子コンピュータ制御チップ）等を用いることができる。
【0039】
また、情報処理装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
【0040】
また、上述した顧客装置Ｍ０も、上記の情報処理装置１００と同様の機能を有してもよい。
【0041】
次に、実施形態１に係る情報処理装置を用いた情報処理方法を説明する。図７は、実施形態１に係る情報処理方法を例示したフローチャート図である。図７に示すように、情報処理方法は、画像データ取得ステップ（ステップＳ１１）、対応策取得ステップ（ステップＳ１２）、画像データ変換ステップ（ステップＳ１３）、画像データ判定ステップ（ステップＳ１４）及び対応策通知ステップ（ステップＳ１５）を備えている。
【0042】
まず、ステップＳ１１に示すように、画像データ取得ステップにおいて、画像データ取得部１１０に故障代表画像データを取得させる。次に、ステップＳ１２に示すように、対応策取得ステップにおいて、対応策取得部１２０に故障時の対応策を取得させる。なお、ステップＳ１２の順序は、ステップＳ１５の対応策通知ステップの前であれば、ステップＳ１１の直後に限らず、ステップＳ１１の前でもよいし、ステップＳ１１とステップＳ１５の間でもよい。
【0043】
次に、ステップＳ１３に示すように、画像データ変換ステップにおいて、画像データ変換部１３０に、故障判定の対象となる顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データ３１の一部を、対象画像データに変換させる。画像データ変換ステップにおいては、上述したように、例えば、少なくとも第１対象画像データ及び第２対象画像データを含む対象画像データに変換させてもよい。
【0044】
次に、ステップＳ１４に示すように、画像データ判定ステップにおいて、画像データ判定部１４０に、故障代表画像データと対象画像データとを比較させることにより、顧客装置Ｍ０の故障を判定させる。ステップＳ１４において、画像データ判定部１４０が故障と判定したＹＥＳの場合には、ステップＳ１５に示すように、対応策通知ステップにおいて、対応策通知部１５０に対応策を顧客装置Ｍ０に通知させる。一方、ステップＳ１４において、画像データ判定部１４０が故障と判定しないＮＯの場合には、処理を終了する。その場合には、次のセンサ値の時系列データ３１に対して当該情報処理方法を実施してもよい。
【0045】
次に、本実施形態の効果を説明する。本実施形態の情報処理装置１００は、窓枠の時間幅を変化させた対象画像データと故障代表画像データとを比較して故障を判定する。よって、固定された窓枠では検出できなかった故障及び原因を検出することができる。例えば、時系列データ３１における特徴３１ａ及び特徴３１ｂを検出することができる。これにより、顧客装置Ｍ０の故障を高精度で判定することができる。
【0046】
また、情報処理装置１００の画像データ変換部１３０は、ネットワークＮＷを介して接続された顧客装置Ｍ０の時系列データ３１を対象画像データに変換する。よって、オンラインで各種情報を収集し、リアルタイムに故障の判断を行うことができる。
【0047】
また、故障の予測について関連した機械学習を用いた手法は、収集したデータをリアルタイムで、温度、電圧等の種類別に整理することが困難である。よって、この手法は、顧客に対して故障するか否かの判定通知を行うが、具体的に、どのように対処すれば良いかを自動的に提案したり、運用側が今後の運用に活かしたりすることは困難である。したがって、種類別に対応するために、メール等で都度やり取りを行う必要がある。また、過去に対応した内容でも再度確認作業が必要となることもあり、正確性・即時性に欠ける。このように、機械学習を用いた分析では、データを一体化して特徴づけるため、どのような故障があり、それらにどう対応したかの対応づけが困難である。よって、高精度で故障を判定し、適切に対処することができない。これに対して、本実施形態は、オンラインで各種情報を収集し、リアルタイムに故障の判断を行うことができるので、迅速に故障に対処することができる。
【0048】
顧客装置Ｍ０で障害が発生した際に、センサ値の種別に対応するためには、メール等で都度やり取りを行う必要があったが、本実施形態では、顧客装置М０側とのメール等のやり取りを省くことができるので、負担軽減することができる。また、過去に対応した内容でも、管理がしっかり行われておらず、再度確認作業が必要となることがあったが、本実施形態では、対応策記憶装置２０に記憶させるので、故障の対応策を管理することができる。
【0049】
また、センサデバイスＳＤが取得するセンサ値毎に故障の判定をすることができる。よって、過去に発生した故障をその要因別に管理し、その情報をもとに顧客装置Ｍ０に対して故障の判定及び対応策の通知を行うことができる。
【0050】
（実施形態２）
次に、実施形態２に係る情報処理システム及び情報処理装置を説明する。図８は、実施形態２に係る情報処理システムを例示した構成図である。図８に示すように、情報処理システム２は、顧客装置Ｍ０１等、顧客装置Ｍ１１等、情報処理装置２００、故障代表画像データ記憶装置１０、対応策記憶装置２０、顧客ログデータ記憶装置３０、故障時刻記憶装置４０、再現ログデータ記憶装置５０、顧客画像データ記憶装置６０、故障代表候補画像データ記憶装置７０、及び、学習用ベクトルデータ記憶装置８０を備えている。顧客装置Ｍ０１等、顧客装置Ｍ１１等及び情報処理装置２００は、情報処理手段としての機能を有している。故障代表画像データ記憶装置１０、対応策記憶装置２０、顧客ログデータ記憶装置３０、故障時刻記憶装置４０、再現ログデータ記憶装置５０、顧客画像データ記憶装置６０、故障代表候補画像データ記憶装置７０、及び、学習用ベクトルデータ記憶装置８０は、それぞれ、故障代表画像データ記憶手段、対応策記憶手段、顧客ログデータ記憶手段、故障時刻記憶手段、再現ログデータ記憶手段、顧客画像データ記憶手段、故障代表候補画像データ記憶手段、及び、学習用ベクトルデータ記憶手段としての機能を有している。図が煩雑にならないように、図中の各記憶装置１０～８０における記憶装置の文言を省いている。
次に、実施形態２に係る情報処理システム及び情報処理装置を説明する。図８は、実施形態２に係る情報処理システムを例示した構成図である。図８に示すように、情報処理システム２は、顧客装置Ｍ０１等、顧客装置Ｍ１１等、情報処理装置２００、故障代表画像データ記憶装置１０、対応策記憶装置２０、顧客ログデータ記憶装置３０、故障時刻記憶装置４０、再現ログデータ記憶装置５０、顧客画像データ記憶装置６０、故障代表候補画像データ記憶装置７０、及び、学習用ベクトルデータ記憶装置８０を備えている。顧客装置Ｍ０１等、顧客装置Ｍ１１等及び情報処理装置２００は、情報処理手段としての機能を有している。故障代表画像データ記憶装置１０、対応策記憶装置２０、顧客ログデータ記憶装置３０、故障時刻記憶装置４０、再現ログデータ記憶装置５０、顧客画像データ記憶装置６０、故障代表候補画像データ記憶装置７０、及び、学習用ベクトルデータ記憶装置８０は、それぞれ、故障代表画像データ記憶手段、対応策記憶手段、顧客ログデータ記憶手段、故障時刻記憶手段、再現ログデータ記憶手段、顧客画像データ記憶手段、故障代表候補画像データ記憶手段、及び、学習用ベクトルデータ記憶手段としての機能を有している。図が煩雑にならないように、図中の各記憶装置１０～８０における記憶装置の文言を省いている。
【0051】
情報処理システム２は、顧客装置М０１、М０２、Ｍ１１及びＭ１２を備えてもよい。前述の実施形態と同様に、顧客装置М０１及びМ０２を顧客装置Ｍ０と呼ぶ。顧客装置Ｍ０は、アップロード対象の顧客装置である。顧客装置М１１及びМ１２を顧客装置Ｍ１と呼ぶ。顧客装置Ｍ１は、非アップロード対象の顧客装置である。図では、２つの顧客装置М０、及び、２つの顧客装置Ｍ１を示しているが、顧客装置Ｍ０及びＭ１の個数は、１個でもよいし、３個以上でもよい。顧客装置Ｍ０及びＭ１は、ネットワークＮＷを介して、情報処理装置２００側に通信可能な状態で接続されている。
【0052】
各顧客装置Ｍ０及びＭ１は、図示しない各種のセンサデバイスＳＤを搭載している。前述したように、各種のセンサデバイスＳＤは、搭載された顧客装置Ｍ０及びＭ１における各部及び各部材等の状態として、温度、湿度、電圧、振動等を監視する。
【0053】
アップロード対象の顧客装置Ｍ０は、センサデバイスＳＤが取得した温度、湿度、電圧、振動等の各種情報を、ネットワークＮＷを介して情報処理装置２００側にアップロードする。よって、情報処理装置２００は、顧客装置Ｍ０のセンサデバイスＳＤが取得した各種情報を、ネットワークＮＷを経由して取得する。一方、非アップロード対象の顧客装置Ｍ１は、センサデバイスＳＤが取得した温度、湿度、電圧、振動等の各種情報の少なくとも一部または全部を、ネットワークＮＷを介して情報処理装置２００側にアップロードしない。よって、情報処理装置２００は、顧客装置Ｍ１のセンサデバイスＳＤが取得した各種情報の少なくとも一部または全部を、ネットワークＮＷを経由して取得することができない。非アップロード対象の顧客装置Ｍ１は、例えば、ローカルサーバである。情報処理装置２００は、顧客装置Ｍ１の許可された情報を、ネットワークＮＷを経由して取得することができる。なお、以下では、特に言及しなければ、顧客装置Ｍ１の許可された情報を、顧客装置Ｍ０の各種情報と同等として説明する。
【0054】
顧客ログデータ記憶装置３０は、ネットワークＮＷを介して顧客装置Ｍ０及びＭ１に通信可能な状態で接続されている。また、顧客ログデータ記憶装置３０は、情報処理装置２００に通信可能な状態で接続されている。顧客ログデータ記憶装置３０は、顧客装置Ｍ０の各種情報を記憶する。例えば、顧客ログデータ記憶装置３０は、顧客装置Ｍ０から取得した各種情報の時系列データ３１を記憶する。顧客ログデータ記憶装置３０は、顧客装置Ｍ０から取得した各種情報の時系列データ３１を情報処理装置２００に出力する。具体的には、顧客ログデータ記憶装置３０は、故障判定の対象となる顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データ３１を情報処理装置２００に出力する。
【0055】
故障時刻記憶装置４０は、顧客ログデータ記憶装置３０に通信可能な状態で接続されている。また、故障時刻記憶装置４０は、情報処理装置２００に通信可能な状態で接続されている。故障時刻記憶装置４０は、顧客装置Ｍ０の故障時の時刻を記憶する。例えば、故障時刻記憶装置４０は、故障時の時刻を、顧客装置Ｍ０から取得してもよいし、情報処理装置２００から取得してもよい。
【0056】
再現ログデータ記憶装置５０は、情報処理装置２００に通信可能な状態で接続されている。再現ログデータ記憶装置５０は、学習用画像データ生成のため、各種のセンサデバイスＳＤが生成する時系列データ３１を記憶する。再現ログデータ記憶装置５０は、学習に十分な量の時系列データ３１を記憶する。
【0057】
顧客画像データ記憶装置６０は、情報処理装置２００に通信可能な状態で接続されている。顧客画像データ記憶装置６０は、対象画像データを記憶する。対象画像データは、故障判定の対象となる顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データの一部を画像データに変換したものである。例えば、画像データ変換部１３０が画像化した対象画像データを記憶する。
【0058】
故障代表候補画像データ記憶装置７０は、情報処理装置２００に通信可能な状態で接続されている。また、故障代表候補画像データ記憶装置７０は、故障代表画像データ記憶装置１０に通信可能な状態で接続されてもよい。故障代表候補画像データ記憶装置７０は、複数の故障代表候補画像データを記憶する。故障代表候補画像データ記憶装置７０は、例えば、第１故障代表候補画像データ及び第２故障代表候補画像データを含んでもよい。
【0059】
第１故障代表候補画像データは、過去の時系列データ３１のうち、第１故障時及び第１故障時直前を含む第１時間の時間幅で区切られた窓枠部分を画像化したものである。第１故障代表候補画像データは、所定の条件の場合に、第１故障代表画像データとして抽出される。所定の条件とは、例えば、第１故障代表候補画像データに対して、同じ第１時間の時間幅で区切られた窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の第１候補画像データが所定の第１個数以上ある場合である。
【0060】
第２故障代表候補画像データは、過去の時系列データ３１のうち、第２故障時及び第２故障時直前を含む第２時間の時間幅で区切られた窓枠部分を画像化したものである。第２故障代表候補画像データは、所定の条件の場合に、第２故障代表画像データとして抽出される。所定の条件とは、例えば、第２故障代表候補画像データに対して、同じ第２時間の時間幅で区切られた窓枠部分を画像化した第２候補画像データであって、所定の第１類似度以上の第２候補画像データが所定の第２個数以上ある場合である。
【0061】
学習用ベクトルデータ記憶装置８０は、情報処理装置２００に通信可能な状態で接続されている。学習用ベクトルデータ記憶装置８０は、学習用ベクトルデータを記憶する。学習用ベクトルデータは、例えば、後述するように、画像データベクトル化部１６０が画像データを低次元ベクトルに圧縮してから復元する学習をした際に用いられたベクトルデータである。
【0062】
次に、本実施形態の情報処理装置２００を説明する。図９は、実施形態２に係る情報処理装置２００を例示したブロック図である。図１０は、実施形態２に係る情報処理システム２の各構成と、情報処理装置２００の各構成との関係を例示した図である。図１０では、情報処理システム２の各構成と、情報処理装置２００の各構成との主な関係を示しており、図が煩雑にならないように、いくつかの両者の関係は省略されている。図９及び図１０に示すように、本実施形態の情報処理装置２００は、情報処理装置１００と比べて、画像データベクトル化部１６０、画像データ抽出部１７０及び対応策入力部１８０をさらに備えている。画像データベクトル化部１６０、画像データ抽出部１７０及び対応策入力部１８０は、それぞれ、画像データベクトル化手段、画像データ抽出手段及び対応策入力手段としての機能を有している。
【0063】
画像データ変換部１３０は、顧客ログデータ記憶装置３０から、故障判定の対象となる顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データ３１を取得する。そして、画像データ変換部１３０は、取得した時系列データ３１の一部を対象画像データに変換する。画像データ変換部１３０は、変換した対象画像データを顧客画像データ記憶装置６０に出力する。
【0064】
また、画像データ変換部１３０は、故障時刻記憶装置４０から取得した故障時の情報に基づいて、顧客ログデータまたは再現ログデータから故障代表候補画像データを生成してもよい。画像データ変換部１３０は、生成した故障代表候補画像データを故障代表候補画像データ記憶装置７０に出力する。
【0065】
また、画像データ変換部１３０は、再現ログデータ記憶装置５０から、学習用画像データ生成のために、顧客装置Ｍ０のセンサデバイスＳＤが取得したセンサ値の時系列データ３１を取得する。そして、画像データ変換部１３０は、時系列データ３１の一部を対象画像データに変換する。画像データ変換部１３０は、変換した対象画像データを画像データベクトル化部１６０に出力する。
【0066】
画像データ判定部１４０は、故障代表画像データと、対象画像データとを比較することにより、顧客装置Ｍ０の故障を判定することは、実施形態１の画像データ判定部１４０と同様である。画像データ判定部１４０は、リアルタイムで、画像データ変換部１３０が変換した対象画像データを用いて顧客装置Ｍ０の故障を判定してもよいし、顧客画像データ記憶装置６０に記憶された対象画像データを用いて、顧客装置Ｍ０の故障を判定してもよい。
【0067】
画像データ判定部１４０は、故障代表画像データと、対象画像データとを比較する際に、両者が所定の類似度以上の場合に、顧客装置Ｍ０に故障が発生したと判定してもよい。また、画像データ判定部１４０は、両者が所定の類似度よりも小さい場合に顧客装置Ｍ０に故障が発生していないと判断してもよい。故障代表画像データと、対象画像データとの類似度は、例えば、故障代表画像データをベクトル化したベクトルデータと、対象画像データをベクトル化したベクトルデータとのベクトル間距離から算出してもよい。例えば、画像データベクトル化部１６０によってベクトル化されたベクトルデータのベクトル間距離を用いてもよい。
【0068】
図１１は、実施形態２に係る情報処理装置２００において、画像データ判定部１４０、対応策通知部１５０及び画像データベクトル化部１６０の処理方法を例示したフローチャート図である。図１１のステップＳ２１に示すように、画像データをベクトル化する。具体的には、画像データベクトル化部１６０は、故障代表画像データ及び対象画像データをベクトル化する。
【0069】
次に、ステップＳ２２に示すように、画像データ判定部１４０は、ベクトル化した故障代表画像データと、ベクトル化した対象画像データとの間のベクトル間距離が所定の閾値よりも小さいか判断する。ステップＳ２２において、ベクトル間距離が所定の閾値よりも小さいＹＥＳの場合には、顧客装置Ｍ０に故障が発生した場合である。よって、ステップＳ２３に示すように、対応策通知部１５０は、顧客装置Ｍ０に故障が発生した旨及び対応策を通知する。一方、ステップＳ２２において、ベクトル間距離が所定の閾値以上のＮＯの場合には、処理を終了する。このように、画像データ判定部１４０は、故障代表画像データと、対象画像データとのベクトル間距離を用いて比較することにより、顧客装置М０の故障を判定してもよい。なお、故障代表画像データと、対象画像データとの類似度は、ベクトル間距離からの算出に限らず、他の算出方法で算出してもよい。
【0070】
画像データベクトル化部１６０は、例えば、オートエンコーダである。画像データベクトル化部１６０は、画像データをベクトル化し、ベクトルデータに変換する。具体的には、例えば、画像データベクトル化部１６０は、故障代表画像データ及び対象画像データをベクトルデータにベクトル化する。ベクトル化したデータをベクトルデータと呼ぶ。画像データベクトル化部１６０は、画像データを低次元ベクトルに圧縮してから復元することを学習してもよい。これにより、画像データベクトル化部１６０は、画像データを迅速にベクトルデータにベクトル化することができる。よって、故障代表候補画像データと候補画像データとの類似度を迅速に算出することができる。画像データベクトル化部１６０は、学習に用いるベクトルデータを学習用ベクトルデータ記憶装置８０に出力する。
【0071】
画像データ抽出部１７０は、故障代表画像データを抽出する。図１２は、実施形態２に係る情報処理装置２００において、画像データ抽出部１７０が抽出する故障代表画像データを例示した図である。図１２に示すように、画像データ抽出部１７０は、まず、故障代表候補画像データ記憶装置７０の中から、１つの故障代表候補画像データＨ１１を選択する。選択された故障代表候補画像データを、第１故障代表候補画像データＨ１１と呼ぶ。例えば、画像データ抽出部１７０は、顧客装置Ｍ０１の要素Ａの時系列データ３１における第１故障代表候補画像データＨ１１を選択する。第１故障代表候補画像データＨ１１は、時系列データ３１のうち、故障時Ｔ１及び故障時Ｔ１直前を含む時間ＴＴ１１の時間幅で区切られた窓枠部分を画像データ変換部１３０によって画像化されたものである。
【0072】
画像データ変換部１３０は、顧客装置Ｍ０１～Ｍ０３の要素Ａの時系列データ３１のうち、時間ＴＴ１１の時間幅で区切られた窓枠を画像化した複数の第１候補画像データを生成する。例えば、画像データ変換部１３０は、窓枠を、所定の時間まで遡らせながら複数の第１候補画像データを生成する。複数の第１候補画像データを、第１候補画像データＨ１２、Ｈ１３、Ｈ１４、・・・と呼ぶ。
【0073】
画像データベクトル化部１６０は、生成された第１候補画像データ（Ｈ１２、Ｈ１３、Ｈ１４、・・・）と第１故障代表候補画像データＨ１１とをベクトル化する。
【0074】
画像データ判定部１４０は、第１候補画像データ（Ｈ１２、Ｈ１３、Ｈ１４、・・・）と第１故障代表候補画像データＨ１１とのベクトル間距離より類似度を判定する。そして、画像データ判定部１４０は、３個の第１候補画像データＨ１２、Ｈ１３及びＨ１４の類似度が所定の類似度以上と判定する。その場合には、画像データ抽出部１７０は、故障代表候補画像データＨ１１と類似した第１候補画像データＨ１２、Ｈ１３、Ｈ１４の個数を３個とカウントする。
【0075】
画像データ抽出部１７０は、第１故障代表候補画像データに所定の類似度以上類似した第１候補画像データが所定の個数以上ある場合に、第１故障代表候補画像データＨ１１を第１故障代表画像データとして抽出する。例えば、図１２に示すように、画像データ抽出部１７０は、第１候補画像データが３個以上の場合に、第１故障代表候補画像データＨ１１を第１故障代表画像データとして抽出する。このように、画像データ抽出部１７０は、第１故障代表候補画像データに対して、第１時間の時間幅で区切られた窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の第１候補画像データが所定の第１個数以上ある場合に、第１故障代表画像データを抽出する。
【0076】
また、画像データ抽出部１７０は、時間幅を時間ＴＴ１１から、時間ＴＴ１１よりも長い時間ＴＴ２１に変えて、第２故障代表画像データを抽出してもよい。図１３は、実施形態２に係る情報処理装置２００において、画像データ抽出部１７０が時間幅を変えて抽出する故障代表画像データを例示した図である。図１３に示すように、画像データ抽出部１７０は、時間幅を時間ＴＴ１１から時間ＴＴ２１に変えた１つの故障代表候補画像データＨ２１を故障代表候補画像データ記憶装置７０の中から選択する。選択された故障代表候補画像データを、第２故障代表候補画像データＨ２１と呼ぶ。第２故障代表候補画像データＨ２１は、時系列データ３１にうち、故障時Ｔ１及び故障時Ｔ１直前を含む時間ＴＴ２１の時間幅で区切られた窓枠部分を画像データ変換部１３０によって画像化したものである。
【0077】
そして、上述の第１故障代表候補画像データと同様に、画像データ変換部１３０は、時系列データ３１のうち、時間ＴＴ２１の時間幅で区切られた窓枠を画像化した複数の第２候補画像データを生成する。例えば、画像データ変換部１３０は、窓枠を、所定の時間まで遡らせながら複数の第２候補画像データを生成する。
【0078】
画像データベクトル化部１６０は、生成された第２候補画像データと第２故障代表候補画像データＨ２１とをベクトル化する。
【0079】
画像データ判定部１４０は、第２候補画像データと第２故障代表候補画像データＨ２１とのベクトル間距離より類似度を判定する。
【0080】
画像データ抽出部１７０は、第２故障代表候補画像データＨ２１に所定の類似度以上の第２候補画像データが所定の個数以上ある場合に、第２故障代表候補画像データＨ２１を第２故障代表画像データとして抽出する。このように、画像データ抽出部１７０は、第２故障代表候補画像データに対して、第２時間の時間幅で区切られた窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の第２候補画像データが所定の第２個数以上ある場合に、第２故障代表画像データを抽出する。このようにして、画像データ抽出部１７０は、第１故障代表画像データ及び第２故障代表画像データを含む故障代表画像データを抽出する。時間幅が異なる故障代表画像データを抽出することにより、時系列データ３１の特徴３１ｃを検出することができる。
【0081】
上記の故障代表画像データの抽出方法を、フローチャート図を用いて説明する。図１４は、実施形態２に係る情報処理装置２００において、故障代表画像データの抽出方法を例示したフローチャート図である。図１４のステップＳ３１に示すように、画像データ変換部１３０は、顧客装置Ｍ０の顧客ログデータ記憶装置３０から時系列データ３１を取得する。次に、ステップＳ３２に示すように、画像データ変換部１３０は、窓枠の時間幅を設定する。次に、ステップＳ３３に示すように、窓枠が所定の時間までの範囲内か判断する。ステップＳ３３において、窓枠が所定の時間までの範囲内のＹＥＳの場合には、ステップＳ３４に示すように、遡ったその位置で窓枠を設定する。これにより、候補画像データが設定される。
【0082】
次に、ステップＳ３５に示すように、画像データベクトル化部１６０は、比較対象である故障代表候補画像データ及び候補画像データの２つの画像データについて、窓枠部分をベクトル化する。次に、ステップＳ３６に示すように、ベクトル間距離を比較して、所定の閾値よりも小さいか判断する。ステップＳ３６において、ベクトル間距離が所定の閾値よりも小さいＹＥＳの場合には、ステップＳ３７に示すように、当該候補画像データを故障代表候補画像データ記憶装置７０に記憶する。そして、ステップＳ３８に示すように、同じ期間内かつ同じ窓枠で他の要素があるか判断する。一方、ステップＳ３６において、ベクトル間距離が所定の閾値以上のＮＯの場合には、ステップＳ３８に示すように、同じ期間内かつ同じ窓枠で他の要素があるか判断する。
【0083】
ステップＳ３８において、同じ期間内かつ同じ窓枠で他の要素があるＹＥＳの場合には、ステップＳ３９に示すように、次の要素（例えば、温度の次は電圧等）を設定する。そして、ステップＳ３６～Ｓ３８を繰り返す。一方、ステップＳ３８において、同じ期間内かつ同じ窓枠で他の要素がないＮＯの場合には、ステップＳ３３に進み、窓枠が所定の時間までの範囲内か判断する。
【0084】
ステップＳ３３において、窓枠が所定の時間までの範囲外のＮＯの場合には、ステップＳ４０に示すように、時系列データ３１における最初の位置で、窓枠の時間幅を所定のサイズ分広げる。そして、ステップＳ４１に示すように、広げた窓枠が所定の最大窓枠サイズ以上か判断する。ステップＳ４１において、広げた窓枠が所定の最大窓枠サイズより小さいＮＯの場合には、ステップＳ３３に戻る。一方、ステップＳ４１において、広げた窓枠が所定の最大窓枠サイズ以上のＹＥＳの場合には、処理を終了する。
【0085】
ステップＳ３６において、故障代表候補画像データに類似すると判断された候補画像データの個数が所定の個数以上の場合に、画像データ抽出部１７０は、故障代表候補画像データを故障代表画像データとして抽出する。
【0086】
対応策入力部１８０は、対応策記憶装置２０に対応策を入力する。対応策入力部１８０は、過去の故障時に用いた対応策を対応策記憶装置２０に入力する。例えば、対応策入力部１８０は、過去に、第１センサ値の時系列データ３１において故障と判定された場合における第１対応策を対応策記憶装置２０に入力する。また、対応策入力部１８０は、過去に、第２センサ値の時系列データ３１において故障と判定された場合における第２対応策を対応策記憶装置２０に入力する。さらに、対応策入力部１８０は、過去に、第１センサ値及び第２センサ値の時系列データ３１において故障と判定された場合における第３対応策を対応策記憶装置２０に入力する。第３対応策は、第１対応策及び第２対応策とは異なる対応策を含んでもよい。また、対応策入力部１８０は、故障代表画像データの類似したパターン毎に過去の対応策を入力してもよい。
【0087】
次に、本実施形態の効果を説明する。本実施形態の情報処理装置２００において、画像データ抽出部１７０は、故障代表候補画像データと類似した候補画像データをカウントする。そして、画像データ抽出部１７０は、類似した候補画像データが一定以上あれば、故障代表候補画像データを故障代表画像データとして抽出する。よって、突発的なセンサ値の変化ではなく、原因があるものを故障代表画像データと抽出することができる。よって、高精度で故障の発生を判定することができる。
【0088】
また、故障代表画像データは、第１故障代表画像データの他、第１故障代表画像データの時間幅よりも大きい時間幅の第１故障代表画像データを含む。よって、短時間の窓枠では検出できなかった時系列データ３１の特徴３１ｃを検出することができる。これにより、顧客装置Ｍ０の故障を高精度で判定することができる。これ以外の構成及び効果は、実施形態１の記載に含まれている。
【0089】
（実施形態３）
次に、実施形態３に係る情報処理システム及び情報処理装置を説明する。本実施形態では、疑似故障画像データを用いて故障を判定する。図１５は、実施形態３に係る情報処理システムを例示した構成図である。図１５に示すように、情報処理システム３は、疑似故障画像データ記憶装置９０をさらに備えている。疑似故障画像データ記憶装置９０は、疑似故障画像データ記憶手段としての機能を有している。疑似故障画像データ記憶装置９０は、情報処理装置３００に通信可能な状態で接続されている。疑似故障画像データ記憶装置９０は、疑似故障画像データを記憶する。
次に、実施形態３に係る情報処理システム及び情報処理装置を説明する。本実施形態では、疑似故障画像データを用いて故障を判定する。図１５は、実施形態３に係る情報処理システムを例示した構成図である。図１５に示すように、情報処理システム３は、疑似故障画像データ記憶装置９０をさらに備えている。疑似故障画像データ記憶装置９０は、疑似故障画像データ記憶手段としての機能を有している。疑似故障画像データ記憶装置９０は、情報処理装置３００に通信可能な状態で接続されている。疑似故障画像データ記憶装置９０は、疑似故障画像データを記憶する。
【0090】
疑似故障画像データは、顧客装置Ｍ０の疑似故障状態を示すように形成された疑似センサ値の時系列データの一部を画像化したものである。例えば、顧客装置Ｍ０において経験的に故障すると考えられるデータを手作業で作成した疑似故障画像データを用いることにより、過去の故障時に類似するものがあるかを確認することができる。また、顧客装置Ｍ０の故障の原因を調査するために、特定の部材等のセンサ値をパラメータとして疑似的に変化させた疑似センサ値を形成することにより、各部材と故障との関係を調査することができる。
【0091】
図１６は、実施形態３に係る情報処理装置を例示したブロック図である。図１６に示すように、情報処理装置３００は、疑似故障画像データ取得部１９０をさらに備えている。疑似故障画像データ取得部１９０は、疑似故障画像データ取得手段としての機能を有している。疑似故障画像データ取得部１９０は、疑似故障画像データ記憶装置９０に記憶された疑似故障画像データを取得する。本実施形態では、画像データ判定部１４０は、疑似故障画像データと、故障代表画像データと、を比較することにより、疑似故障状態の故障を判定する。
【0092】
図１７は、実施形態３に係る情報処理装置３００において、疑似故障画像データの処理方法を例示したフローチャート図である。図１７のステップＳ５１に示すように、画像データとして、故障代表画像データ及び疑似故障画像データを取得する。具体的には、画像データ取得部１１０は、故障代表画像データを故障代表画像データ記憶装置１０から取得する。また、疑似故障画像データ取得部１９０は、疑似故障画像データ記憶装置９０から疑似故障画像データを取得する。
【0093】
次に、ステップＳ５２に示すように、画像データベクトル化部１６０は、故障代表画像データ及び疑似故障画像データをベクトル化する。次に、ステップＳ５３に示すように、画像データ判定部１４０は、ベクトル化した故障代表画像データ及び疑似故障画像データのベクトル間距離が所定の閾値よりも小さいか判断する。ステップＳ５３において、ベクトル間距離が所定の閾値よりも小さいＹＥＳの場合には、ステップＳ５４に示すように、対応策通知部１５０は、顧客装置Ｍ０に疑似故障状態が故障に相当する旨及び対応策を通知する。一方、ステップＳ５３において、ベクトル間距離が所定の閾値以上のＮＯの場合には、ステップＳ５４に示すように、対応策通知部１５０は、顧客装置Ｍ０に疑似故障状態が故障に相当しない旨及び対応策を通知する。そして、処理を終了する。
【0094】
次に、本実施形態の効果を説明する。本実施形態の情報処理装置３００において、画像データ判定部１４０は、顧客装置Ｍ０の疑似故障状態を示すように形成された疑似故障画像データと、故障代表画像データと、を比較することにより、疑似故障状態の故障を判定する。よって、顧客装置Ｍ０のどこにどのような理由で故障が発生したかを確認することができる。これにより、今後の故障対策に活かすことができる。これ以外の構成及び効果は、実施形態１及び２の記載に含まれている。
【0095】
（実施形態４）
次に、実施形態４に係る情報処理システム及び情報処理装置を説明する。本実施形態では、アップロード対象の顧客装置Ｍ０及び非アップロード対象の顧客装置Ｍ１の詳細を説明する。まず、アップロード対象の顧客装置Ｍ０を説明する。
次に、実施形態４に係る情報処理システム及び情報処理装置を説明する。本実施形態では、アップロード対象の顧客装置Ｍ０及び非アップロード対象の顧客装置Ｍ１の詳細を説明する。まず、アップロード対象の顧客装置Ｍ０を説明する。
【0096】
図１８は、実施形態４に係る情報処理システムにおいて、アップロード対象の顧客装置Ｍ０を例示したブロック図である。図１８に示すように、情報処理システム４において、顧客装置Ｍ０は、ネットワークＮＷを介して情報処理装置４００に接続されている。顧客装置Ｍ０は、１つまたは複数のセンサデバイスＳＤ、表示部ＤＰ及びログデータ記憶部ＬＤを備えている。センサデバイスＳＤ、表示部ＤＰ及びログデータ記憶部ＬＤは、それぞれ、センシング手段、表示手段及びログデータ記憶手段としての機能を有している。情報処理装置４００は、情報処理装置１００～３００と同様のものである。
【0097】
センサデバイスＳＤは、顧客装置Ｍ０のセンサ値を取得する。センサデバイスＳＤは、取得したセンサ値を各種情報としてログデータ記憶部ＬＤに出力する。また、センサデバイスＳＤは、取得したセンサ値を各種情報として、ネットワークＮＷを介して情報処理装置４００に出力してもよい。表示部ＤＰは、情報処理装置４００の対応策通知部１５０から通知された対応策を表示する。表示部ＤＰは、故障と判断された場合に、対応策を表示する。ログデータ記憶部ＬＤは、顧客装置Ｍ０のログデータを記憶する。ログデータは、センサデバイスＳＤが取得したセンサ値等の各種情報を含む。ログデータ記憶部ＬＤに記憶されたログデータは、ネットワークＮＷを介して情報処理装置４００に出力されてもよい。
【0098】
次に、非アップロードの居客装置Ｍ１を説明する。図１９は、実施形態４に係る情報処理システムにおいて、非アップロード対象の顧客装置Ｍ１を例示したブロック図である。図１９に示すように、情報処理システム４において、顧客装置Ｍ１は、情報処理装置４００にネットワークＮＷを介して接続されている。顧客装置Ｍ１は、１つまたは複数のセンサデバイスＳＤ、表示部ＤＰ及びログデータ記憶部ＬＤの他、情報処理部４００ａ、故障代表画像データ記憶部１０ａ及び対応策記憶部２０ａを備えている。情報処理部４００ａは、情報処理手段としての機能を有している。故障代表画像データ記憶部１０ａ及び対応策記憶部２０ａは、それぞれ、故障代表画像データ記憶手段及び対応策記憶手段としての機能を有している。
【0099】
故障代表画像データ記憶部１０ａは、故障代表画像データ記憶装置１０と同様の機能を有している。具体的には、故障代表画像データ記憶部１０ａは、顧客装置Ｍ０の故障時に顧客装置Ｍ０のセンサデバイスが取得したセンサ値の時系列データ３１の一部を画像化した故障代表画像データを記憶する。故障代表画像データ記憶部１０ａは、例えば、故障代表画像データ記憶装置１０の複製でもよい。故障代表画像データ記憶部１０ａは、顧客装置Ｍ１の故障代表画像データを記憶してもよい。対応策記憶部２０ａは、顧客装置Ｍ０の故障時の対応策を記憶してもよいし、顧客装置Ｍ１の故障時の対応策を記憶してもよい。
【0100】
情報処理部４００ａは、情報処理装置４００に搭載されたものと同様の画像データ取得部１１０、対応策取得部１２０、画像データ変換部１３０、画像データ判定部１４０を有している。画像データ取得部１１０は、故障代表画像データ記憶部１０ａから故障代表画像データを取得する。対応策取得部１２０は、対応策記憶部２０ａから故障時の対応策を取得する。画像データ変換部１３０は、ログデータ記憶部ＬＤに記憶された顧客装置Ｍ１の時系列データ３１の一部を、対象画像データに変換する。画像データ変換部１３０は、第１対象画像データ及び第２対象画像データを含む対象画像データに変換する。画像データ判定部１４０は、故障代表画像データと、対象画像データとを比較することにより、顧客装置Ｍ１の故障を判定する。表示部ＤＰは、顧客装置Ｍ１が故障と判定された場合に、対応策取得部１２０が対応策記憶部２０ａから取得した対応策を表示する。
【0101】
次に、本実施形態の効果を説明する。本実施形態の顧客装置М０は、情報処理装置４００に接続し、顧客装置М０の各種情報を情報処理装置４００側に出力する。そして、顧客装置М０は、情報処理装置４００によって故障と判断された場合に情報処理装置４００から故障時の対応策を通知される。これにより、迅速に故障に対応することができる。
【0102】
また、顧客装置М１のように、各種情報を情報処理装置４００側にアップロードしたくない場合には、故障代表画像データ記憶装置１０と同様の機能を有する故障代表画像データ記憶部１０ａを備えるようにする。また、顧客装置М１は、情報処理装置４００と同様の機能を有する情報処理部４００ａを備えるようにする。これにより、顧客装置Ｍ１は、内蔵する故障代表画像データ記憶部１０ａ及び情報処理部４００ａから故障の判断結果を得ることができる。これ以外の構成及び効果は、実施形態１～３の記載に含まれている。
【0103】
（実施形態５）
次に、実施形態５を説明する。本実施形態は、各要素の組み合わせを考慮した探索方法の例である。なお、組み合わせの探索は、各要素の故障代表候補画像データの探索が終わった後に実行する。
次に、実施形態５を説明する。本実施形態は、各要素の組み合わせを考慮した探索方法の例である。なお、組み合わせの探索は、各要素の故障代表候補画像データの探索が終わった後に実行する。
【0104】
まず、故障代表候補画像データにおける要素１から順に組み合わせを探す。最大ｎ個の要素の組み合わせを考慮する。ｎは任意で予め設定しておく。例えば、要素数が５個とすると、要素１、要素２、要素３、要素４、要素５のように並ぶ。ここで、要素１、要素２、・・・は、例えば、温度、湿度、・・・等を想定している。例えば、組み合わせを考慮する要素数を２つとする場合に、５つの要素の中から２つの組み合わせを考える。よって、要素１、要素２、要素３、要素４、要素５の順の探索において、組み合わせを考慮する対象の要素を「１」、考慮する対象でない要素を「０」とするとき、下記の１０通りの組み合わせが考えられる。
【0105】
１１０００、１０１００、１００１０、・・・０００１１
【0106】
これを２進数として取り扱い、数値が小さい順になるように、例えば、００１１０→０１１００のように数値を逆に置き換えて、１０進数に変換する。例えば、「１０１００」については、「００１０１」として、１０進数に変換し、「５」として下記の管理データ表の「指定」列に格納する。
【0107】
管理データ表の各要素の列には、探索した際のヒット数（類似する候補画像データ数）が格納される。組み合わせは、要素の小さいものから組む。管理データ表の「項」に０から昇順に数字を格納し、「指定」列に合わせて「参照画像」列に故障代表候補画像データに類似する候補画像データを格納する。また、データは、組み合わせを考慮するため、画像データだけでなく、例えば、温度の最大値等のデータをも扱ってもよい。
【0108】
尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態１～５の各構成を組み合わせることも可能である。
【0109】
また、上述した情報処理方法をコンピュータに読み込ませて実行させる情報処理プログラムも実施形態の技術的思想の範囲内である。情報処理プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。情報処理プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0110】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0111】
（付記１）
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、
を備え、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理装置。
（付記２）
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに備え、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記１に記載の情報処理装置。
（付記３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに備え、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
付記１または２に記載の情報処理装置。
（付記４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記１～３のいずれか１項に記載の情報処理装置。
（付記５）
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに備え、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記１～４のいずれか１項に記載の情報処理装置。
（付記６）
センサ値を取得するセンサデバイスを含む顧客装置と、
前記顧客装置とネットワークを介して接続された情報処理装置と、
前記顧客装置の故障時に前記顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶装置と、
前記故障時の対応策を記憶した対応策記憶装置と、
を備え、
前記情報処理装置は、
前記故障代表画像データを取得する故障代表画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理システム。
（付記７）
前記情報処理装置は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記６に記載の情報処理システム。
（付記８）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
付記６または７に記載の情報処理システム。
（付記９）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記６～８のいずれか１項に記載の情報処理システム。
（付記１０）
前記情報処理装置は、前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記６～９のいずれか１項に記載の情報処理システム。
（付記１１）
センサ値を取得するセンサデバイスを含む第１顧客装置と、
前記センサ値を取得する前記センサデバイスを含む第２顧客装置と、
前記第１顧客装置とネットワークを介して接続された情報処理装置と、
を備え、
前記第２顧客装置は、
前記第１顧客装置の故障時に前記第１顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶手段と、
前記故障時の対応策を記憶した対応策記憶手段と、
前記故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記第２顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記第２顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定された場合に、前記対応策を表示する表示手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理システム。
（付記１２）
前記第２顧客装置は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記１１に記載の情報処理システム。
（付記１３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記第２顧客装置の故障を判定する、
付記１１または１２に記載の情報処理システム。
（付記１４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記１１～１３のいずれか１項に記載の情報処理システム。
（付記１５）
前記第２顧客装置は、前記第２顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記１１～１４のいずれか１項に記載の情報処理システム。
（付記１６）
センサ値を取得するセンサデバイスと、
故障と判定された場合に故障時の対応策を表示する表示手段と、
を備え、
装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記装置に通知する対応策通知手段と、
を有する情報処理装置にネットワークを介して接続され、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する前記情報処理装置に接続された、
顧客装置。
（付記１７）
前記情報処理装置は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する前記情報処理装置に接続された、
付記１６に記載の顧客装置。
（付記１８）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する前記情報処理装置に接続された、
付記１６または１７に記載の顧客装置。
（付記１９）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記１６～１８のいずれか１項に記載の顧客装置。
（付記２０）
前記情報処理装置は、前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する前記情報処理装置に接続された、
付記１６～１９のいずれか１項に記載の顧客装置。
（付記２１）
センサ値を取得するセンサデバイスと、
情報処理手段と、
故障と判定された場合に故障時の対応策を表示する表示手段と、
を備え、
前記情報処理手段は、
装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の前記対応策を取得する対応策取得手段と、
故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記装置の故障を判定する画像データ判定手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
顧客装置。
（付記２２）
前記情報処理手段は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記２１に記載の顧客装置。
（付記２３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
付記２１または２２に記載の顧客装置。
（付記２４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記２１～２３のいずれか１項に記載の顧客装置。
（付記２５）
前記情報処理手段は、前記装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記２１～２４のいずれか１項に記載の顧客装置。
（付記２６）
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、
前記故障時の対応策を取得させる対応策取得ステップと、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、
前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、
前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、
を備え、
前記画像データ変換ステップにおいて、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換させる、
情報処理方法。
（付記２７）
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出させる故障代表画像データ抽出ステップをさらに備え、
前記故障代表画像データ抽出ステップにおいて、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出させ、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出させる、
付記２６に記載の情報処理方法。
（付記２８）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化させる画像データベクトル化ステップをさらに備え、
前記画像データ判定ステップにおいて、
前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較させることにより、前記顧客装置の故障を判定させる、
付記２６または２７に記載の情報処理方法。
（付記２９）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定ステップにおいて、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記対応策取得ステップにおいて、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得させ、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得させ、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得させる、
付記２６～２８のいずれか１項に記載の情報処理方法。
（付記３０）
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データを画像化した疑似故障画像データを取得させる疑似故障画像データ取得ステップをさらに備え、
前記画像データ判定ステップにおいて、
前記疑似故障画像データと、前記故障代表画像データと、を比較させることにより、前記疑似故障状態の故障を判定させる、
付記２６～２９のいずれか１項に記載の情報処理方法。
（付記３１）
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、
前記故障時の対応策を取得させる対応策取得ステップと、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、
前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、
前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、
をコンピュータに実行させる際に、
前記画像データ変換ステップにおいて、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換させる、
ことをコンピュータに実行させる情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３２）
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出させる故障代表画像データ抽出ステップをさらにコンピュータに実行させ、
前記故障代表画像データ抽出ステップにおいて、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出させ、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出させる、
ことをコンピュータに実行させる付記３１に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化させる画像データベクトル化ステップをさらにコンピュータに実行させ、
前記画像データ判定ステップにおいて、
前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較させることにより、前記顧客装置の故障を判定させる、
ことをコンピュータに実行させる付記３１または３２に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定ステップにおいて、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記対応策取得ステップにおいて、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得させ、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得させ、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得させる、
ことをコンピュータに実行させる付記３１～３３のいずれか１項に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３５）
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データを画像化した疑似故障画像データを取得させる疑似故障画像データ取得ステップをさらにコンピュータに実行させ、
前記画像データ判定ステップにおいて、
前記疑似故障画像データと、前記故障代表画像データと、を比較させることにより、前記疑似故障状態の故障を判定させる、
ことをコンピュータに実行させる付記３１～３４のいずれか１項に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、
を備え、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理装置。
（付記２）
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに備え、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記１に記載の情報処理装置。
（付記３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに備え、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
付記１または２に記載の情報処理装置。
（付記４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記１～３のいずれか１項に記載の情報処理装置。
（付記５）
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに備え、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記１～４のいずれか１項に記載の情報処理装置。
（付記６）
センサ値を取得するセンサデバイスを含む顧客装置と、
前記顧客装置とネットワークを介して接続された情報処理装置と、
前記顧客装置の故障時に前記顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶装置と、
前記故障時の対応策を記憶した対応策記憶装置と、
を備え、
前記情報処理装置は、
前記故障代表画像データを取得する故障代表画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記顧客装置に通知する対応策通知手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理システム。
（付記７）
前記情報処理装置は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記６に記載の情報処理システム。
（付記８）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
付記６または７に記載の情報処理システム。
（付記９）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記６～８のいずれか１項に記載の情報処理システム。
（付記１０）
前記情報処理装置は、前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記６～９のいずれか１項に記載の情報処理システム。
（付記１１）
センサ値を取得するセンサデバイスを含む第１顧客装置と、
前記センサ値を取得する前記センサデバイスを含む第２顧客装置と、
前記第１顧客装置とネットワークを介して接続された情報処理装置と、
を備え、
前記第２顧客装置は、
前記第１顧客装置の故障時に前記第１顧客装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを記憶した故障代表画像データ記憶手段と、
前記故障時の対応策を記憶した対応策記憶手段と、
前記故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記第２顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記第２顧客装置の故障を判定する画像データ判定手段と、
前記故障と判定された場合に、前記対応策を表示する表示手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
情報処理システム。
（付記１２）
前記第２顧客装置は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記１１に記載の情報処理システム。
（付記１３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記第２顧客装置の故障を判定する、
付記１１または１２に記載の情報処理システム。
（付記１４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記１１～１３のいずれか１項に記載の情報処理システム。
（付記１５）
前記第２顧客装置は、前記第２顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記１１～１４のいずれか１項に記載の情報処理システム。
（付記１６）
センサ値を取得するセンサデバイスと、
故障と判定された場合に故障時の対応策を表示する表示手段と、
を備え、
装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の対応策を取得する対応策取得手段と、
故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記装置の故障を判定する画像データ判定手段と、
前記故障と判定した場合に前記対応策を前記装置に通知する対応策通知手段と、
を有する情報処理装置にネットワークを介して接続され、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する前記情報処理装置に接続された、
顧客装置。
（付記１７）
前記情報処理装置は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する前記情報処理装置に接続された、
付記１６に記載の顧客装置。
（付記１８）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する前記情報処理装置に接続された、
付記１６または１７に記載の顧客装置。
（付記１９）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記１６～１８のいずれか１項に記載の顧客装置。
（付記２０）
前記情報処理装置は、前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する前記情報処理装置に接続された、
付記１６～１９のいずれか１項に記載の顧客装置。
（付記２１）
センサ値を取得するセンサデバイスと、
情報処理手段と、
故障と判定された場合に故障時の対応策を表示する表示手段と、
を備え、
前記情報処理手段は、
装置の故障時に前記装置の前記センサデバイスが取得した前記センサ値の時系列データの一部を画像化した故障代表画像データを取得する画像データ取得手段と、
前記故障時の前記対応策を取得する対応策取得手段と、
故障判定の対象となる前記装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換する画像データ変換手段と、
前記故障代表画像データと、前記対象画像データとを比較することにより、前記装置の故障を判定する画像データ判定手段と、
を有し、
前記画像データ変換手段は、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの前記時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換する、
顧客装置。
（付記２２）
前記情報処理手段は、第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出する画像データ抽出手段をさらに有し、
前記画像データ抽出手段は、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出し、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出する、
付記２１に記載の顧客装置。
（付記２３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化する画像データベクトル化手段をさらに有し、
前記画像データ判定手段は、前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較することにより、前記顧客装置の故障を判定する、
付記２１または２２に記載の顧客装置。
（付記２４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定手段は、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較し、
前記対応策取得手段は、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得し、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得し、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得する、
付記２１～２３のいずれか１項に記載の顧客装置。
（付記２５）
前記情報処理手段は、前記装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データの一部を画像化した疑似故障画像データを取得する疑似故障画像データ取得手段をさらに有し、
前記画像データ判定手段は、
前記疑似故障画像データと、前記故障代表画像データと、を比較することにより、前記疑似故障状態の故障を判定する、
付記２１～２４のいずれか１項に記載の顧客装置。
（付記２６）
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、
前記故障時の対応策を取得させる対応策取得ステップと、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、
前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、
前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、
を備え、
前記画像データ変換ステップにおいて、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換させる、
情報処理方法。
（付記２７）
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出させる故障代表画像データ抽出ステップをさらに備え、
前記故障代表画像データ抽出ステップにおいて、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出させ、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出させる、
付記２６に記載の情報処理方法。
（付記２８）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化させる画像データベクトル化ステップをさらに備え、
前記画像データ判定ステップにおいて、
前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較させることにより、前記顧客装置の故障を判定させる、
付記２６または２７に記載の情報処理方法。
（付記２９）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定ステップにおいて、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記対応策取得ステップにおいて、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得させ、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得させ、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得させる、
付記２６～２８のいずれか１項に記載の情報処理方法。
（付記３０）
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データを画像化した疑似故障画像データを取得させる疑似故障画像データ取得ステップをさらに備え、
前記画像データ判定ステップにおいて、
前記疑似故障画像データと、前記故障代表画像データと、を比較させることにより、前記疑似故障状態の故障を判定させる、
付記２６～２９のいずれか１項に記載の情報処理方法。
（付記３１）
顧客装置の故障時に前記顧客装置のセンサデバイスが取得したセンサ値の時系列データの一部を画像化した故障代表画像データを取得させる画像データ取得ステップと、
前記故障時の対応策を取得させる対応策取得ステップと、
故障判定の対象となる前記顧客装置の前記センサデバイスが取得した前記センサ値の前記時系列データの一部を、対象画像データに変換させる画像データ変換ステップと、
前記故障代表画像データと、前記対象画像データと、を比較させることにより、前記顧客装置の故障を判定させる画像データ判定ステップと、
前記故障と判定した場合に、前記対応策を前記顧客装置に通知させる対応策通知ステップと、
をコンピュータに実行させる際に、
前記画像データ変換ステップにおいて、
時間幅を第１時間として前記時系列データを区切る第１窓枠を、所定の第１遡り時間間隔で所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第１窓枠から画像に変換させた複数の第１対象画像データと、
前記時間幅を前記第１時間よりも大きい第２時間として前記時系列データを区切る第２窓枠を、所定の第２遡り時間間隔で前記所定の時間まで前記時系列データの時間軸に沿って遡らせながら、各第２窓枠から画像に変換させた複数の第２対象画像データと、
を含む前記対象画像データに変換させる、
ことをコンピュータに実行させる情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３２）
第１故障代表画像データ及び第２故障代表画像データを含む前記故障代表画像データを抽出させる故障代表画像データ抽出ステップをさらにコンピュータに実行させ、
前記故障代表画像データ抽出ステップにおいて、
前記時系列データのうち、前記故障時及び直前を含む前記第１時間の前記時間幅で区切られた窓枠部分を画像化した第１故障代表候補画像データに対して、前記第１時間の前記時間幅で区切られた前記窓枠部分を画像化した第１候補画像データであって、所定の第１類似度以上の前記第１候補画像データが所定の第１個数以上ある場合に、前記第１故障代表候補画像データを前記第１故障代表画像データとして抽出させ、
前記時系列データのうち、前記故障時及び直前を含む前記第２時間の前記時間幅で区切られた窓枠部分を画像化した第２故障代表候補画像データに対して、前記第２時間の前記時間幅で区切られた前記窓枠部分を画像化した第２候補画像データであって、所定の第２類似度以上の前記第２候補画像データが所定の第２個数以上ある場合に、前記第２故障代表候補画像データを前記第２故障代表画像データとして抽出させる、
ことをコンピュータに実行させる付記３１に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３３）
前記故障代表画像データ及び前記対象画像データをベクトルデータにベクトル化させる画像データベクトル化ステップをさらにコンピュータに実行させ、
前記画像データ判定ステップにおいて、
前記故障代表画像データと、前記対象画像データとのベクトル間距離を用いて比較させることにより、前記顧客装置の故障を判定させる、
ことをコンピュータに実行させる付記３１または３２に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３４）
前記センサ値は、
第１センサデバイスに取得される第１センサ値と、
前記第１センサデバイスと異なる第２センサデバイスに取得される第２センサ値と、
を含み、
前記画像データ判定ステップにおいて、
前記第１センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第１センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記第２センサ値の前記時系列データの一部を画像化した前記対象画像データと、前記第２センサ値の前記時系列データの一部を画像化した前記故障代表画像データと、を比較させ、
前記対応策取得ステップにおいて、
前記第１センサ値の前記時系列データにおいて故障と判定された場合における第１対応策を取得させ、
前記第２センサ値の前記時系列データにおいて故障と判定された場合における第２対応策を取得させ、
前記第１センサ値及び前記第２センサ値の前記時系列データにおいて故障と判定された場合における第３対応策を取得させる、
ことをコンピュータに実行させる付記３１～３３のいずれか１項に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
（付記３５）
前記顧客装置の疑似故障状態を示すように形成された疑似センサ値の前記時系列データを画像化した疑似故障画像データを取得させる疑似故障画像データ取得ステップをさらにコンピュータに実行させ、
前記画像データ判定ステップにおいて、
前記疑似故障画像データと、前記故障代表画像データと、を比較させることにより、前記疑似故障状態の故障を判定させる、
ことをコンピュータに実行させる付記３１～３４のいずれか１項に記載の情報処理プログラムが格納された非一時的なコンピュータ可読媒体。
【符号の説明】
【0112】
１、２、３、４ 情報処理システム
１０ 故障代表画像データ記憶装置
１０ａ 故障代表画像データ記憶部
１１、１２ 故障代表画像データ
２０ 対応策記憶装置
２０ａ 対応策記憶部
３０ 顧客ログデータ記憶装置
３１ 時系列データ
４０ 故障時刻記憶装置
５０ 再現ログデータ記憶装置
６０ 顧客画像データ記憶装置
７０ 故障代表候補画像データ記憶装置
８０ 学習用ベクトルデータ記憶装置
９０ 疑似故障画像データ記憶装置
１００、２００、３００、４００ 情報処理装置
１１０ 画像データ取得部
１２０ 対応策取得部
１３０ 画像データ変換部
１４０ 画像データ判定部
１５０ 対応策通知部
１６０ 画像データベクトル化部
１７０ 画像データ抽出部
１８０ 対応策入力部
１９０ 疑似故障画像データ取得部
４００ａ 情報処理部
Ａ、Ｂ、Ｃ 要素
ＤＰ 表示部
Ｆ１、Ｆ２ 窓枠
Ｇ１１、Ｇ１２、Ｇ１３、Ｇ２１、Ｇ２２ 対象画像データ
ＬＤ ログデータ記憶部
М０、М０１、М０２、Ｍ０３ 顧客装置
М１、М１１、М１２ 顧客装置
ＮＷ ネットワーク
ＳＤ センサデバイス
１０ 故障代表画像データ記憶装置
１０ａ 故障代表画像データ記憶部
１１、１２ 故障代表画像データ
２０ 対応策記憶装置
２０ａ 対応策記憶部
３０ 顧客ログデータ記憶装置
３１ 時系列データ
４０ 故障時刻記憶装置
５０ 再現ログデータ記憶装置
６０ 顧客画像データ記憶装置
７０ 故障代表候補画像データ記憶装置
８０ 学習用ベクトルデータ記憶装置
９０ 疑似故障画像データ記憶装置
１００、２００、３００、４００ 情報処理装置
１１０ 画像データ取得部
１２０ 対応策取得部
１３０ 画像データ変換部
１４０ 画像データ判定部
１５０ 対応策通知部
１６０ 画像データベクトル化部
１７０ 画像データ抽出部
１８０ 対応策入力部
１９０ 疑似故障画像データ取得部
４００ａ 情報処理部
Ａ、Ｂ、Ｃ 要素
ＤＰ 表示部
Ｆ１、Ｆ２ 窓枠
Ｇ１１、Ｇ１２、Ｇ１３、Ｇ２１、Ｇ２２ 対象画像データ
ＬＤ ログデータ記憶部
М０、М０１、М０２、Ｍ０３ 顧客装置
М１、М１１、М１２ 顧客装置
ＮＷ ネットワーク
ＳＤ センサデバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】