(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129633
(43)【公開日】2024-09-27
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G05B 23/02 20060101AFI20240919BHJP
【ＦＩ】
G05B23/02 301X
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023038962
(22)【出願日】2023-03-13
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】坂下 将太
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA12
3C223BA03
3C223BB08
3C223BB09
3C223CC02
3C223DD03
3C223EB05
3C223FF13
3C223FF16
3C223FF35
3C223FF47
3C223GG01
3C223HH02
3C223HH03
3C223HH07
3C223HH08
3C223HH15
(57)【要約】
【課題】異常な音声の原因の調査をサポートすることが可能な情報処理装置を提供する。
【解決手段】情報処理装置は、生産設備の対象動作ごとの音声データの中から、対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択する選択部と、生産設備の状態を示す複数の変数の中から、生産設備の部位のうち第１音声データと第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定する特定部と、複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力する出力部とを備える。複数の視認情報の各々は、複数の変数のうち対応する変数の値の、第１，第２音声データの収録中の推移を示す。画面において、複数の視認情報のうち上記の１以上の変数に対応する視認情報が強調表示される。
【選択図】図１
【解決手段】情報処理装置は、生産設備の対象動作ごとの音声データの中から、対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択する選択部と、生産設備の状態を示す複数の変数の中から、生産設備の部位のうち第１音声データと第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定する特定部と、複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力する出力部とを備える。複数の視認情報の各々は、複数の変数のうち対応する変数の値の、第１，第２音声データの収録中の推移を示す。画面において、複数の視認情報のうち上記の１以上の変数に対応する視認情報が強調表示される。
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理装置であって、
対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、前記対象動作ごとの音声データの中から、前記対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択する選択部と、
前記生産設備を制御する制御装置から得られる、前記生産設備の状態を示す複数の変数の中から、前記生産設備の部位のうち前記第１音声データと前記第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定する特定部と、
前記複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力する出力部とを備え、前記複数の視認情報の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データの収録中の第１推移および前記第２音声データの収録中の第２推移を示し、
前記画面において、前記複数の視認情報のうち前記１以上の変数に対応する視認情報が強調表示される、情報処理装置。
対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、前記対象動作ごとの音声データの中から、前記対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択する選択部と、
前記生産設備を制御する制御装置から得られる、前記生産設備の状態を示す複数の変数の中から、前記生産設備の部位のうち前記第１音声データと前記第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定する特定部と、
前記複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力する出力部とを備え、前記複数の視認情報の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データの収録中の第１推移および前記第２音声データの収録中の第２推移を示し、
前記画面において、前記複数の視認情報のうち前記１以上の変数に対応する視認情報が強調表示される、情報処理装置。
【請求項2】
前記複数の視認情報の各々は、前記第１推移と前記第２推移とを示すグラフを含み、
前記１以上の変数に対応するグラフにおいて、前記差分が閾値を超える時間帯が強調表示される、請求項１に記載の情報処理装置。
前記１以上の変数に対応するグラフにおいて、前記差分が閾値を超える時間帯が強調表示される、請求項１に記載の情報処理装置。
【請求項3】
前記画面は、前記第１音声データによって示される第１音声波形と、前記第２音声データによって示される第２音声波形とを含み、
前記第１音声波形および前記第２音声波形において、前記時間帯が強調表示される。請求項２に記載の情報処理装置。
前記第１音声波形および前記第２音声波形において、前記時間帯が強調表示される。請求項２に記載の情報処理装置。
【請求項4】
前記生産設備は、モータを含み、
前記特定部は、前記差分が周期的に閾値を超えることに応じて、前記モータに関する変数を前記１以上の変数として特定する、請求項１に記載の情報処理装置。
前記特定部は、前記差分が周期的に閾値を超えることに応じて、前記モータに関する変数を前記１以上の変数として特定する、請求項１に記載の情報処理装置。
【請求項5】
前記生産設備は、モータを有さない駆動部を含み、
前記特定部は、前記差分が非周期的に閾値を超えることに応じて、前記駆動部に関する変数を前記１以上の変数として特定する、請求項１に記載の情報処理装置。
前記特定部は、前記差分が非周期的に閾値を超えることに応じて、前記駆動部に関する変数を前記１以上の変数として特定する、請求項１に記載の情報処理装置。
【請求項6】
前記特定部は、前記差分に対応する音の周波数が人の声の周波数帯域内であることに応じて、前記１以上の変数が存在しないと判断する、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項7】
前記集音器は、前記生産設備を撮影するカメラに内蔵され、
前記対象動作ごとの音声データは、前記カメラの撮影により得られる、前記対象動作ごとの動画から抽出され、
前記画面において、前記第１音声データに対応する第１動画と前記第２音声データに対応する第２動画とが再生される、請求項１から５のいずれか１項に記載の情報処理装置。
前記対象動作ごとの音声データは、前記カメラの撮影により得られる、前記対象動作ごとの動画から抽出され、
前記画面において、前記第１音声データに対応する第１動画と前記第２音声データに対応する第２動画とが再生される、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項8】
情報処理方法であって、
対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、前記対象動作ごとの音声データの中から、前記対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択することと、
前記生産設備を制御する制御装置から得られる、前記生産設備の状態を示す複数の変数の中から、前記生産設備の部位のうち前記第１音声データと前記第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力することとを備え、前記複数の視認情報の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データの収録中の第１推移および前記第２音声データの収録中の第２推移を示し、
前記画面において、前記複数の視認情報のうち前記１以上の変数に対応する視認情報が強調表示される、情報処理方法。
対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、前記対象動作ごとの音声データの中から、前記対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択することと、
前記生産設備を制御する制御装置から得られる、前記生産設備の状態を示す複数の変数の中から、前記生産設備の部位のうち前記第１音声データと前記第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力することとを備え、前記複数の視認情報の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データの収録中の第１推移および前記第２音声データの収録中の第２推移を示し、
前記画面において、前記複数の視認情報のうち前記１以上の変数に対応する視認情報が強調表示される、情報処理方法。
【請求項9】
情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、前記対象動作ごとの音声データの中から、前記対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択することと、
前記生産設備を制御する制御装置から得られる、前記生産設備の状態を示す複数の変数の中から、前記生産設備の部位のうち前記第１音声データと前記第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力することとを含み、前記複数の視認情報の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データの収録中の第１推移および前記第２音声データの収録中の第２推移を示し、
前記画面において、前記複数の視認情報のうち前記１以上の変数に対応する視認情報が強調表示される、プログラム。
前記情報処理方法は、
対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、前記対象動作ごとの音声データの中から、前記対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択することと、
前記生産設備を制御する制御装置から得られる、前記生産設備の状態を示す複数の変数の中から、前記生産設備の部位のうち前記第１音声データと前記第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力することとを含み、前記複数の視認情報の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データの収録中の第１推移および前記第２音声データの収録中の第２推移を示し、
前記画面において、前記複数の視認情報のうち前記１以上の変数に対応する視認情報が強調表示される、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
製造業において、生産設備の異常な動作の確認のために、生産設備の動画を再生する情報処理装置が利用される（特開２０２０－１３５２８号公報（特許文献１）参照）。生産設備の異常な動作の確認には、動画に含まれる音声が用いられ得る。特開２００５－３５２０４７号公報（特許文献２）は、模範音声の波形と評価対象の音声の波形とを重ね合わせて表示する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１３５２８号公報
【特許文献2】特開２００５－３５２０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１，２の開示の技術を用いることにより、情報処理装置のユーザ（例えば、生産設備の管理者または作業者など）は、正常に動作している生産設備から得られる音声の波形と、評価対象の音声の波形との差異を確認することができる。しかしながら、ユーザにとって、異常な音声が発生した原因の調査が困難である。
【0005】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、ユーザによる異常な音声の原因の調査をサポートすることが可能な情報処理装置、情報処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一例によれば、情報処理装置は、選択部と、特定部と、出力部とを備える。選択部は、対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、対象動作ごとの音声データの中から、対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択する。特定部は、生産設備を制御する制御装置から得られる、生産設備の状態を示す複数の変数の中から、生産設備の部位のうち第１音声データと第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定する。出力部は、複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力する。複数の視認情報の各々は、複数の変数のうち対応する変数の値の、第１音声データの収録中の第１推移および第２音声データの収録中の第２推移を示す。画面において、複数の視認情報のうち上記の１以上の変数に対応する視認情報が強調表示される。
【0007】
この開示によれば、画面において、第１音声データと第２音声データとの差分の原因候補となる部位に関する１以上の変数の視認情報が強調表示される。これにより、ユーザは、強調表示された視認情報によって示される第１推移および第２推移を比較することにより、第１音声データと第２音声データとの差分の原因を調査できる。
【0008】
上述の開示において、複数の視認情報の各々は、第１推移と第２推移とを示すグラフを含む。上記の１以上の変数に対応するグラフにおいて、差分が閾値を超える時間帯が強調表示される。
【0009】
この開示によれば、ユーザは、強調表示された時間帯における第１推移および第２推移を比較することにより、第１音声データと第２音声データとの差分の原因を調査できる。
【0010】
上述の開示において、画面は、第１音声データによって示される第１音声波形と、第２音声データによって示される第２音声波形とを含む。第１音声波形および第２音声波形において、上記の時間帯が強調表示される。
【0011】
この開示によれば、ユーザは、第１音声波形および第２音声波形において、差分が閾値を超える時間帯に注目できる。
【0012】
上述の開示において、生産設備は、モータを含む。特定部は、差分が周期的に閾値を超えることに応じて、モータに関する変数を上記の１以上の変数として特定する。
【0013】
この開示によれば、ユーザは、周期的に閾値を超える差分の原因として、モータに関する変数を調査しやすくなる。
【0014】
上述の開示において、生産設備は、モータを有さない駆動部を含む。特定部は、差分が非周期的に閾値を超えることに応じて、駆動部に関する変数を上記の１以上の変数として特定する。
【0015】
この開示によれば、ユーザは、周期的に閾値を超えない差分の原因として、モータを有さない駆動部に関する変数を調査しやすくなる。
【0016】
上述の開示において、特定部は、差分に対応する音の周波数が人の声の周波数帯域内であることに応じて、上記の１以上の変数が存在しないと判断する。この開示によれば、ユーザは、人の声による差分を無視できる。
【0017】
上述の開示において、集音器は、生産設備を撮影するカメラに内蔵される。対象動作ごとの音声データは、カメラの撮影により得られる、対象動作ごとの動画から抽出される。画面において、第１音声データに対応する第１動画と第２音声データに対応する第２動画とが再生される。
【0018】
この開示によれば、ユーザは、第１動画と第２動画とを比較することにより、第１音声データと第２音声データとの差分の原因を調査できる。
【0019】
本開示の別の例によれば、情報処理方法は、対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、対象動作ごとの音声データの中から、対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択することと、生産設備を制御する制御装置から得られる、生産設備の状態を示す複数の変数の中から、生産設備の部位のうち第１音声データと第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定することと、複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力することとを備える。複数の視認情報の各々は、複数の変数のうち対応する変数の値の、第１音声データの収録中の第１推移および第２音声データの収録中の第２推移を示す。画面において、複数の視認情報のうち上記の１以上の変数に対応する視認情報が強調表示される。
【0020】
本開示のさらに別の例によれば、プログラムは、情報処理方法をコンピュータに実行させる。情報処理方法は、対象動作を繰り返し実行する生産設備の周囲に設置された集音器から得られる、対象動作ごとの音声データの中から、対象動作が正常であるときの第１音声データと、評価対象である第２音声データとを選択することと、生産設備を制御する制御装置から得られる、生産設備の状態を示す複数の変数の中から、生産設備の部位のうち第１音声データと第２音声データとの差分の原因候補となる部位に関する１以上の変数を特定することと、複数の変数にそれぞれ対応する複数の視認情報を含む画面を示す画面データを出力することとを備える。複数の視認情報の各々は、複数の変数のうち対応する変数の値の、第１音声データの収録中の第１推移および第２音声データの収録中の第２推移を示す。画面において、複数の視認情報のうち上記の１以上の変数に対応する視認情報が強調表示される。
【0021】
これらの開示によっても、情報処理方法およびプログラムは、ユーザによる異常な音声の原因の調査をサポートできる。
【発明の効果】
【0022】
本開示によれば、情報処理装置、情報処理方法およびプログラムは、ユーザによる異常な音声の原因の調査をサポートできる。
【図面の簡単な説明】
【0023】
【図1】実施の形態に係る情報処理装置を含む製造システムの一例を模式的に例示する図である。
【図2】実施の形態に係る情報処理装置のハードウェア構成の一例を示す模式図である。
【図3】実施の形態に従うＰＬＣのハードウェア構成の一例を示す模式図である。
【図4】ログデータの一例を示す図である。
【図5】時系列データセットの一例を示す図である。
【図6】実施の形態に係る情報処理装置およびＰＬＣのモジュール構成の一例を示す模式図である。
【図7】対応付け情報の一例を示す図である。
【図8】情報処理装置における処理の流れの一例を示すフローチャートである。
【図9】情報処理装置から出力される画面に含まれるウィンドウの一例を示す図である。
【図10】情報処理装置から出力される画面に含まれる別のウィンドウの一例を示す図である。
【発明を実施するための形態】
【0024】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。本明細書において、特に示さない限り、「または」の用語は、「または」の意味に加えて、「および」の意味を包含する。
【0025】
§１ 適用例
図１は、実施の形態に係る情報処理装置を含む製造システムの一例を模式的に例示する図である。図１に示すように、実施の形態に係る製造システム１は、情報処理装置１００と、ＰＬＣ（Programmable Logic Controller）２００と、集音器３００と、生産設備４００とを備える。
図１は、実施の形態に係る情報処理装置を含む製造システムの一例を模式的に例示する図である。図１に示すように、実施の形態に係る製造システム１は、情報処理装置１００と、ＰＬＣ（Programmable Logic Controller）２００と、集音器３００と、生産設備４００とを備える。
【0026】
生産設備４００は、物の製造に関する設備であり、加工、検査、搬送、または組み立てなどの処理を行なう。生産設備４００は、複数の機器で構成されてもよいし、１つの機器で構成されてもよい。生産設備４００は、製造に関する対象動作を繰り返し実行する。例えば、図１に示す生産設備４００は、ハンドを有する多関節ロボットを含み、対象物のピックアンドプレース動作を繰り返し実行する。なお、生産設備４００は、多関節ロボットに限定されず、各種の動作を行なう機構を含み得る。
【0027】
ＰＬＣ２００は、予め作成された制御プログラムに従って、対象動作（例えば、対象物のピックアンドプレース動作）を繰り返し実行するように生産設備４００を制御する制御装置である。ＰＬＣ２００は、生産設備４００を制御するために、予め定められた制御周期毎に入出力データ（以下、「ＩＯデータ」と称する）を取得（収集）する。ＩＯデータは、生産設備４００の状態に関する複数の変数の値を示す。ＩＯデータは、生産設備４００からＰＬＣ２００へ転送される入力データと、生産設備４００へ出力される出力データとを含む。さらに、ＩＯデータは、制御演算によって算出される各種のデータを含み得る。
【0028】
ＰＬＣ２００は、生産設備４００の対象動作の開始から終了までの期間に収集されたＩＯデータに基づいて、対象動作が行われている期間における複数の変数の推移を示す時系列データセット２２２を生成する。ＰＬＣ２００は、対象動作ごとの時系列データセット２２２を情報処理装置１００に出力する。
【0029】
さらに、ＰＬＣ２００は、生産設備４００の対象動作の開始タイミングにおいて、集音器３００に収録開始指示を出力し、対象動作の終了タイミングにおいて、集音器３００に収録終了指示を出力する。
【0030】
集音器３００は、生産設備４００の周囲に設置される。集音器３００は、生産設備４００を撮影するカメラに内蔵されてもよい。
【0031】
集音器３００は、生産設備４００から発せられる音声を収録することにより得られる音声データ５０を情報処理装置１００に出力する。集音器３００は、ＰＬＣ２００から収録開始指示を受けると収録を開始し、収録終了指示を受けると収録を終了する。上述したように、収録開始指示は、生産設備４００の対象動作の開始タイミングにおいて出力され、収録終了指示は、対象動作の終了タイミングにおいて出力される。そのため、集音器３００は、対象動作ごとに音声データ５０を生成する。
【0032】
情報処理装置１００は、対象動作ごとの音声データ５０および時系列データセット２２２を蓄積する記憶部１０を備え、以下の処理（１）～（３）を行なう。
【0033】
処理（１）において、情報処理装置１００は、記憶部１０から、対象動作が正常であるときの音声データ５０ａと、評価対象である音声データ５０ｂとを選択する。音声データ５０ａは、第１音声データに対応する。音声データ５０ｂは、第２音声データに対応する。
【0034】
処理（２）において、情報処理装置１００は、時系列データセット２２２によって値が示される複数の変数の中から、生産設備４００の部位のうち音声データ５０ａと音声データ５０ｂとの差分の原因候補となる部位に関する１以上の変数を特定する。
【0035】
処理（３）において、情報処理装置１００は、複数の変数にそれぞれ対応する複数の視認情報７７を含む画面６０を示す画面データを出力する。複数の視認情報７７の各々は、対応する変数の値の、音声データ５０ａの収録中の第１推移および音声データ５０ｂの収録中の第２推移を示す。第１推移は、音声データ５０ａと同じ対象動作に対応する時系列データセット２２２によって示される。第２推移は、音声データ５０ｂと同じ対象動作に対応する時系列データセット２２２によって示される。画面６０において、処理（２）によって特定された１以上の変数に対応する視認情報７７が強調表示される。図１に示す例では、視認情報７７ａ～７７ｃのうち、処理（２）によって特定された変数「ハンドの開き」に対応する視認情報７７ａを囲むように枠線８０が表示される。
【0036】
本実施の形態によれば、画面６０において、音声データ５０ａと音声データ５０ｂとの差分の原因候補となる部位に関する１以上の変数の視認情報７７が強調表示される。これにより、ユーザは、強調表示された視認情報７７によって示される第１推移および第２推移を比較することにより、音声データ５０ａと音声データ５０ｂとの差分の原因を調査できる。
【0037】
§２ 具体例
＜情報処理装置のハードウェア構成＞
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す模式図である。図２に示されるように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１１０と、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置で構成されるメモリ１１２と、不揮発性の記憶装置で構成されるハードディスク１１４と、入力インターフェイス１１８と、表示コントローラ１２０と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して互いにデータ通信が可能なように接続されている。
＜情報処理装置のハードウェア構成＞
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す模式図である。図２に示されるように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１１０と、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置で構成されるメモリ１１２と、不揮発性の記憶装置で構成されるハードディスク１１４と、入力インターフェイス１１８と、表示コントローラ１２０と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して互いにデータ通信が可能なように接続されている。
【0038】
ＣＰＵ１１０は、ハードディスク１１４に格納された解析プログラム１１６を読出して、メモリ１１２に展開する。ＣＰＵ１１０は、展開されたプログラムを実行する。ＣＰＵ１１０は、例えばマルチコアプロセッサであり、並列して複数の処理を実行可能である。なお、ハードディスク１１４の代わり、他の不揮発性の記憶装置（例えばＳＳＤ（Solid State Drive）など）が使用されてもよい。
【0039】
入力インターフェイス１１８は、ＣＰＵ１１０とキーボード、マウス、またはタッチパネルなどの入力装置１３２との間のデータ伝送を仲介する。すなわち、入力インターフェイス１１８は、後述する各種のユーザ入力を示すデータを入力装置１３２から受け付け、受け付けたデータをＣＰＵ１１０に伝送する。表示コントローラ１２０は、ディスプレイ１２２と接続され、ＣＰＵ１１０における処理の結果などをディスプレイ１２２に表示する。通信インターフェイス１２４は、ＰＬＣ２００および集音器３００と通信する。データリーダ／ライタ１２６は、ＣＰＵ１１０と外部の記憶媒体１３０との間のデータ伝送を仲介する。記憶媒体１３０は、揮発性記憶媒体、不揮発性記憶媒体、ＣＦ（Compact Flash）もしくはＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体を含む。
【0040】
解析プログラム１１６は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。また、解析プログラム１１６によって提供される機能の一部または全部は、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array））によって実現されてもよい。
【0041】
＜ＰＬＣのハードウェア構成＞
図３は、実施の形態に従うＰＬＣのハードウェア構成の一例を示す模式図である。図３を参照して、ＰＬＣ２００は、主たるコンポーネントとして、ＰＬＣ２００の各部に電力ＰＷを供給する電源回路２０１と、ＣＰＵ２０２と、チップセット２０４と、主に揮発性記憶媒体を含むメモリ２０６と、主に不揮発性記憶媒体からなるストレージ２０８と、ＵＳＢコントローラ２５０と、フィールドネットワークコントローラ２５２と、ネットワークコントローラ２５４と、タイマ２６０とを含む。
図３は、実施の形態に従うＰＬＣのハードウェア構成の一例を示す模式図である。図３を参照して、ＰＬＣ２００は、主たるコンポーネントとして、ＰＬＣ２００の各部に電力ＰＷを供給する電源回路２０１と、ＣＰＵ２０２と、チップセット２０４と、主に揮発性記憶媒体を含むメモリ２０６と、主に不揮発性記憶媒体からなるストレージ２０８と、ＵＳＢコントローラ２５０と、フィールドネットワークコントローラ２５２と、ネットワークコントローラ２５４と、タイマ２６０とを含む。
【0042】
ＣＰＵ２０２は、ストレージ２０８に格納された制御プログラム２１４を読出して、メモリ２０６に展開する。ＣＰＵ２０２は、予め定められた制御周期で展開されたプログラムを繰り返し実行することで、生産設備４００を制御するための制御演算処理を実現する。
【0043】
ＣＰＵ２０２は、ストレージ２０８に格納されたＩＯリフレッシュプログラム２１５を読出して、メモリ２０６に展開する。ＣＰＵ２０２は、予め定められた制御周期で展開されたプログラムを実行することでＩＯデータ２２０の収集処理とログデータ２２４の生成処理とを実現する。ＩＯデータ２２０は、生産設備４００から受ける入力データと、生産設備４００への出力データとを含む。ＩＯデータ２２０は、上記の制御演算処理に利用され得る。
【0044】
図４は、ログデータの一例を示す図である。図４に示されるように、ログデータ２２４は、生産設備４００において発生したイベントごとに、発生日時と、ステータスと、発生箇所と、内容とを示す。ＣＰＵ２０２は、ＩＯデータ２２０および制御演算結果に基づいてログデータ２２４を更新する。
【0045】
図３に示すＣＰＵ２０２は、ストレージ２０８に格納されたデータ収集プログラム２１６を読出して、メモリ２０６に展開する。ＣＰＵ２０２は、展開されたプログラムを解釈および実行することで、時系列データセット２２２の収集処理と、集音器３００への収録指示の出力処理とを実現する。収録指示の出力処理は、収録開始指示を出力する処理と、収録終了指示を出力する処理とを含む。
【0046】
図５は、時系列データセットの一例を示す図である。図５に示されるように、時系列データセット２２２は、予め定められた制御周期ごとに、当該周期に対応する時刻（例えば周期の開始時刻）と、生産設備４００の状態を示す複数の変数の値とを示す。当該複数の変数は、設定情報２３０によって指定される。
【0047】
図３に示すメモリ２０６は、ＤＲＡＭまたはＳＲＡＭ（Static Random Access Memory)などの揮発性記憶装置で構成される。ストレージ２０８は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、またはフラッシュメモリなどの不揮発性記憶装置で構成されるが、一部は、揮発性ストレージで構成されてもよい。
【0048】
チップセット２０４は、ＣＰＵ２０２と各コンポーネントとの間のデータの遣り取りを仲介することで、ＰＬＣ２００全体としての処理を実現する。
【0049】
ストレージ２０８には、ＰＬＣ２００の基本的な機能を実現するためのＯＳ（Operating System）２１２およびスケジューラプログラム２１３を有するシステムプログラム２１１に加えて、制御対象に応じて作成される制御プログラム２１４と、ＩＯリフレッシュプログラム２１５とが格納される。ストレージ２０８には、さらに、データ収集プログラム２１６が格納される。さらに、ストレージ１０８は、ＩＯデータ２２０と、時系列データセット２２２と、ログデータ２２４と、設定情報２３０とが格納される領域を有する。設定情報２３０は、情報処理装置１００によって生成される。
【0050】
ＵＳＢコントローラ２５０は、ＵＳＢ（Universal Serial Bus）接続を介して外部の装置（情報処理装置１００および集音器３００を含む）との間のデータの遣り取りを担当する。なお、集音器３００とＰＬＣ２００との間のデータの遣り取りは、フィールドネットワークコントローラ２５２またはネットワークコントローラ２５４を介して行なわれてもよい。
【0051】
フィールドネットワークコントローラ２５２は、生産設備４００が属するフィールドネットワークを接続するコネクタ２５２ａを有し、ＰＬＣ２００とフィールドネットワークを介した生産設備４００との間のデータの遣り取りを制御する。フィールドネットワークコントローラ２５２は、フィールドネットワークから受信する入力データおよびＰＬＣ２００からフィールドネットワークに出力される出力データを格納する内部バッファを有する。当該入力データおよび出力データは、ＩＯデータ２２０に含まれる。
【0052】
ネットワークコントローラ２５４は、上位ネットワークを接続するコネクタ２５４ａを有し、ＰＬＣ２００と外部の装置（例えば、製造実行システム（Manufacturing Execution System（ＭＥＳ））との間のデータの遣り取りを制御する。
【0053】
タイマ２６０は、時間を計測するクロック回路またはカウンタ回路を含んで構成されるが、このような回路に限定されず、ＣＰＵ２０２が実行するソフトウェアモジュールにより構成されてもよい。
【0054】
図３には、ＣＰＵ２０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡ）を用いて実装してもよい。あるいは、ＰＬＣ２００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、マルチコア技術を適用して処理を並列に実行してもよい。または、仮想化技術を用いて、用途の異なる複数のＯＳを並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。
【0055】
＜モジュール構成＞
図６は、実施の形態に係る情報処理装置およびＰＬＣのモジュール構成の一例を示す模式図である。図６に示されるように、ＰＬＣ２００は、制御部２０と、データ収集部２２とを含む。制御部２０は、図３に示すＣＰＵ２０２が制御プログラム２１４およびＩＯリフレッシュプログラム２１５を実行することにより実現される。データ収集部２２は、ＣＰＵ２０２がデータ収集プログラム２１６を実行することにより実現される。
図６は、実施の形態に係る情報処理装置およびＰＬＣのモジュール構成の一例を示す模式図である。図６に示されるように、ＰＬＣ２００は、制御部２０と、データ収集部２２とを含む。制御部２０は、図３に示すＣＰＵ２０２が制御プログラム２１４およびＩＯリフレッシュプログラム２１５を実行することにより実現される。データ収集部２２は、ＣＰＵ２０２がデータ収集プログラム２１６を実行することにより実現される。
【0056】
制御部２０は、予め定められた制御周期ごとに、生産設備４００から各種の変数の値（例えばセンサの計測値など）を示す入力データを受け、生産設備４００を制御するための制御演算を行なう。さらに、制御部２０は、制御演算により得られる各種の変数の値（例えば指令値など）を示す出力データを生産設備４００に出力する。このようにして、制御部２０は、制御周期ごとに、入力データと出力データとを含むＩＯデータ２２０を収集する。
【0057】
さらに、制御部２０は、収集されたＩＯデータ２２０に基づいて、ログデータ２２４を更新する。具体的には、制御部２０は、各イベントに関する変数の値に基づいて異常発生の有無を判断し、判断結果に応じてログデータ２２４を更新する。制御部２０は、更新されたログデータ２２４を情報処理装置１００に出力する。
【0058】
データ収集部２２は、情報処理装置１００によって設定された設定情報２３０（図３参照）に基づいて、生産設備４００が繰り返し実行する対象動作ごとの時系列データセット２２２を生成する。データ収集部２２は、生成した時系列データセット２２２を情報処理装置１００に出力する。
【0059】
さらに、データ収集部２２は、生産設備４００が繰り返し実行する対象動作ごとの動画の収録を、集音器３００が内蔵されたカメラ３０２に指示する。すなわち、データ収集部２２は、生産設備４００が対象動作を開始するタイミングに収録開始指示をカメラ３０２に出力し、生産設備４００が対象動作を終了するタイミングに収録終了指示をカメラ３０２に出力する。さらに、データ収集部２２は、動画の出力をカメラ３０２に指示する。データ収集部２２は、設定情報２３０に従って、動画の出力先として情報処理装置１００を指定する。これにより、カメラ３０２は、対象動作ごとに動画５５を生成し、生成した動画５５を情報処理装置１００に出力する。各動画５５は、対応する対象動作が行なわれている期間中の音声データ５０を含む。
【0060】
図６に示されるように、情報処理装置１００は、記憶部１０と、設定部１１と、処理部１２と、出力部１３とを含む。記憶部１０は、図２に示すメモリ１１２およびハードディスク１１４によって実現される。設定部１１、処理部１２および出力部１３は、図２に示すＣＰＵ１１０が解析プログラム１１６を実行することにより実現される。
【0061】
記憶部１０は、対象動作ごとの時系列データセット２２２と、ログデータ２２４と、対象動作ごとの動画５５（音声データ５０を含む）と、対応付け情報１５とを記憶する。時系列データセット２２２およびログデータ２２４は、ＰＬＣ２００から伝送される。動画５５は、カメラ３０２から伝送される。
【0062】
図７は、対応付け情報の一例を示す図である。図７に示されるように、対応付け情報１５は、２つの音声データ５０の間の差分のタイプと、生産設備４００の状態を示す複数の変数のうち、当該タイプの差分の原因候補となる生産設備４００の部位に関連する変数とを対応付ける。
【0063】
生産設備４００は、様々な動作を行なうための部位として、モータと、モータを有さない駆動部とを含む。モータは、回転するため、周期的な異常音の発生原因となり得る。一方、モータを有さない駆動部は、非周期的な異常音の発生原因となり得る。そのため、図７に示す対応付け情報１５は、差分のタイプ「周期的」と、モータＸ，Ｙに関連する変数ＸＡ，ＸＢ，・・・，ＹＡ，ＹＢ，・・・とを対応付ける情報を含む。さらに、対応付け情報１５は、差分のタイプ「非周期的」と、モータを有さない駆動部Ｚに関連する変数ＺＡ，ＺＢ，・・・とを対応付ける情報を含む。
【0064】
対応付け情報１５は、制御プログラム２１４によって使用される各変数を設定する際に、ユーザ入力に応じて予め作成される。
【0065】
図６に示される設定部１１は、時系列データセット２２２および動画５５の収集に関する設定、および、処理部１２の処理対象に関する設定を行なう。設定部１１は、選択部１１ａと、収集データ設定部１１ｂと、カメラ設定部１１ｃとを含む。
【0066】
収集データ設定部１１ｂは、時系列データセット２２２の収集に関する設定を行なう。具体的には、収集データ設定部１１ｂは、ユーザ入力に応じて、対象動作の開始タイミングおよび終了タイミングを指定する情報を含む設定情報２３０を生成し、生成した設定情報２３０をＰＬＣ２００に出力する。これにより、ＰＬＣ２００のデータ収集部２２は、設定情報２３０に従って、対象動作ごとの時系列データセット２２２を収集する。
【0067】
例えば、ＰＬＣ２００が図示しない製造実行システムから対象動作の開始信号を受けて対象動作に関する制御を開始し、終了信号を受けて対象動作に関する制御を終了する場合、ユーザは、当該開始信号および終了信号を受けるタイミングを対象動作の開始タイミングおよび終了タイミングとして入力すればよい。あるいは、ユーザは、対象動作の開始のときに値が変化する変数と当該変数の変化の特徴とを開始タイミングに関する情報として入力し、対象動作の終了のときに値が変化する変数と当該変数の変化の特徴とを終了タイミングに関する情報として入力してもよい。
【0068】
さらに、収集データ設定部１１ｂは、ユーザ入力に応じて、時系列データセット２２２によって値が示される複数の変数を指定する情報を設定情報２３０に含める。これにより、ＰＬＣ２００のデータ収集部２２は、設定情報２３０に従って、生産設備４００が対象動作を行なっている期間内に収集されたＩＯデータ２２０に基づいて、指定された複数の変数の値の推移を示す時系列データセット２２２を生成する。
【0069】
カメラ設定部１１ｃは、ユーザ入力に応じて、カメラ３０２の収録条件（例えば、集音器３００の感度または撮影条件）を設定する。設定された収録条件は、ＰＬＣ２００に出力される。ＰＬＣ２００は、指定された収録条件に従った収録指示をカメラ３０２に出力する。これにより、カメラ３０２は、指定された収録条件で動画を収録する。
【0070】
さらに、カメラ設定部１１ｃは、製造システム１（図１参照）が複数のカメラを備える場合、ユーザ入力に応じて、当該複数のカメラの中からカメラ３０２を指定し、指定したカメラ３０２のＩＤをＰＬＣ２００に出力する。ＰＬＣ２００は、設定情報２３０に従って、対象動作ごとの動画を収録する指示を当該ＩＤのカメラ３０２に出力する。
【0071】
選択部１１ａは、ユーザ入力に応じて、表示対象となる動画５５および時系列データセット２２２を選択する。
【0072】
具体的には、選択部１１ａは、ユーザ入力に応じて、記憶部１０に格納された複数の動画５５の中から、生産設備４００の対象動作が正常であるときの音声データ５０ａを含む正常動画５５ａを表示対象として選択する。例えば、選択部１１ａは、各動画５５の収録期間とログデータ２２４とに基づいて、内容が異常を示すイベントが発生していない収録期間の第１リストを生成し、ユーザ入力に応じて、第１リストから１つの収録期間（以下、「正常動作期間」と称する）を選択する。選択部１１ａは、正常動作期間に対応する動画５５を正常動画５５ａとして選択する。
【0073】
選択部１１ａは、ユーザ入力に応じて、記憶部１０に格納された複数の動画５５の中から、評価対象である音声データ５０ｂを含む動画として、生産設備４００の対象動作が異常であるときの異常動画５５ｂを選択する。例えば、選択部１１ａは、各動画５５の収録期間とログデータ２２４とに基づいて、内容が異常を示すイベントが発生した収録期間の第２リストを生成し、ユーザ入力に応じて、第２リストから１つの収録期間（以下、「異常動作期間」と称する）を選択する。選択部１１ａは、異常動作期間に対応する動画５５を異常動画５５ｂとして選択する。
【0074】
さらに、選択部１１ａは、選択した正常動画５５ａおよび異常動画５５ｂの各々に対応する時系列データセット２２２を表示対象として選択する。すなわち、選択部１１ａは、正常動作期間の時系列データセット２２２と、異常動作期間の時系列データセット２２２とを選択する。以下、正常動作期間の時系列データセット２２２を時系列データセット２２２ａと称し、異常動作期間の時系列データセット２２２を時系列データセット２２２ｂと称する。
【0075】
選択部１１ａは、正常動画５５ａ、異常動画５５ｂ、および時系列データセット２２２ａ，２２２ｂを記憶部１０から読み出し、処理部１２に出力する。
【0076】
処理部１２は、選択部１１ａによって選択された、正常動画５５ａ、異常動画５５ｂ、および時系列データセット２２２ａ，２２２ｂに対する処理を行なう。処理部１２は、時刻調整部１２ａと、動画処理部１２ｂと、特定部１２ｃとを含む。
【0077】
時刻調整部１２ａは、時系列データセット２２２ａ，２２２ｂの時刻を調整する。例えば、時刻調整部１２ａは、時系列データセット２２２ａ，２２２ｂの各々について、開始時刻が基準時刻（例えば００：００）となるように時刻を調整する。
【0078】
あるいは、時刻調整部１２ａは、時系列データセット２２２ａ，２２２ｂの各々について、指定された条件（以下、「時刻合わせ条件」と称する）が満たされるタイミングを特定する。時刻合わせ条件は、ユーザ入力に従って指定される。例えば、時刻合わせ条件は、指定された変数（例えば、生産設備４００に含まれる多関節ロボットの第１関節の位置）の値が第１指定値から第２指定値に変化するという条件である。時刻調整部１２ａは、特定したタイミングが基準時刻となるように、時系列データセット２２２ａ，２２２ｂの時刻を調整する。
【0079】
動画処理部１２ｂは、正常動画５５ａおよび異常動画５５ｂの各々について、各フレームの時刻を調整する。さらに、動画処理部１２ｂは、正常動画５５ａおよび異常動画５５ｂにそれぞれ含まれる音声データ５０ａ，５０ｂの時刻も合わせて調整する。
【0080】
例えば、動画処理部１２ｂは、正常動画５５ａおよび異常動画５５ｂの各々について、１番目のフレームの時刻が基準時刻（例えば００：００）となるように各フレームの時刻を調整する。さらに、動画処理部１２ｂは、収録開始時刻が基準時刻（例えば００：００）となるように音声データ５０ａ，５０ｂの時刻を調整する。
【0081】
あるいは、時刻合わせ条件が指定された場合、動画処理部１２ｂは、時系列データセット２２２ａにおいて時刻合わせ条件が満たされるタイミングに対応するフレームの時刻が基準時刻となるように正常動画５５ａの各フレームの時刻を調整する。さらに、動画処理部１２ｂは、当該タイミングの時刻が基準時刻となるように音声データ５０ａの時刻を調整する。同様に、動画処理部１２ｂは、時系列データセット２２２ｂにおいて時刻合わせ条件が満たされるタイミングに対応するフレームの時刻が基準時刻となるように異常動画５５ｂの各フレームの時刻を調整する。さらに、動画処理部１２ｂは、当該タイミングの時刻が基準時刻となるように音声データ５０ｂの時刻を調整する。
【0082】
さらに、動画処理部１２ｂは、正常動画５５ａおよび異常動画５５ｂに対する画像処理を行なってもよい。画像処理は、例えば、半透明化処理、エッジ強調処理、および生産設備４００以外の背景部分を除去する処理の少なくとも１つを含む。
【0083】
半透明化処理を行なうことにより、正常動画５５ａと異常動画５５ｂとを重ねて表示したとしても、両動画を確認することができる、なお、半透明化処理において、透明度は、例えば１／２に設定されるが、これに限られない。例えば、異常動画５５ｂに対する透明度は１／２よりも小さく、正常動画５５ａに対する透明度は１／２よりも大きくてもよい。
【0084】
エッジ強調処理を行なうことにより、動画内の生産設備４００の輪郭が強調される。その結果、撮影時の照明環境（例えば、明るさまたは光の当たり方を含む）に起因する、生産設備４００の輪郭のぶれが軽減される。なお、エッジ強調処理として公知の技術が用いられる。半透明化処理およびエッジ強調処理の両方を行なう場合、エッジ強調処理は、半透明化処理の前に行なわれることが好ましい。なぜなら、明暗の差を低下させる半透明化処理の後にエッジ強調処理が行なわれると、エッジ強調処理におけるエッジ検出の精度が低下するためである。
【0085】
生産設備４００以外の背景部分を除去する処理は、生産設備４００の写る画素を特定する処理と、特定された画素以外の画素の濃度を０とする処理とを含む。生産設備４００の写る画素を特定する処理は、例えば生産設備４００のテンプレート画像を用いた公知の物体認識技術を用いて行なわれる。生産設備４００以外の背景部分を除去する処理が行なわれることにより、正常動画５５ａおよび異常動画５５ｂの各々において背景部分が写らない。その結果、ユーザは、正常動画５５ａおよび異常動画５５ｂを確認することにより、生産設備４００の動作を把握しやすくなる。
【0086】
特定部１２ｃは、生産設備４００の状態を示す複数の変数の中から、生産設備４００の部位のうち音声データ５０ａ，５０ｂの差分の原因候補となる部位に関する１以上の変数（以下、「異常変数」と称する）を特定する。
【0087】
具体的には、特定部１２ｃは、時刻が調整された音声データ５０ａ，５０ｂについて、時刻ごとに音の強さの差分を計算する。特定部１２ｃは、時刻ごとに、差分が予め定められた閾値Ｔｈを超えるか否かを判断する。特定部１２ｃは、差分が閾値Ｔｈを超える時刻（以下、「異常発生時刻」と称する）に基づいて、差分のタイプを決定する。例えば、特定部１２ｃは、異常発生時刻がｎ以上（ｎは３以上）抽出され、かつ、第１～第ｎの異常発生時刻の間隔のばらつきが予め定められた範囲内であるという条件が満たされる場合に、差分のタイプが「周期的」と決定する。一方、特定部１２ｃは、当該条件が満たされない場合に、差分のタイプが「非周期的」と決定する。
【0088】
特定部１２ｃは、対応付け情報１５に基づいて、決定した差分のタイプに対応する変数を異常変数として特定する。
【0089】
特定部１２ｃは、音の強さの差分が閾値Ｔｈを超える時間帯（以下、「異常時間帯」と称する）を特定してもよい。
【0090】
なお、音声データ５０ｂの収録期間中において、異なる種類の異音が異なるタイミングで発生し得る。そのため、特定部１２ｃは、複数の異常発生時刻を１以上のグループに分類し、グループごとに差分のタイプを決定するとともに、当該タイプに対応する異常変数を特定してもよい。
【0091】
具体的には、ある異常発生時刻と次の異常発生時刻との時間差が予め定められた基準内であれば、特定部１２ｃは、当該２つの異常発生時刻を同じグループに分類する。このようにして、複数の異常発生時刻が１以上のグループに分類される。特定部１２ｃは、各グループについて、最も早い異常発生時刻から最も遅い異常発生時刻までの時間帯を異常時間帯として計算すればよい。
【0092】
評価対象の音声データ５０ｂの収録中に生産設備４００の周囲に人（作業者など）がいる場合、集音器３００は、人の声を収録し得る。人の声に起因する差分は、生産設備４００の異常とは関係ない。そのため、特定部１２ｃは、音声データ５０ａ，５０ｂの差分が人の声によるものか否かを判断し、人の声による差分について無視する。つまり、特定部１２ｃは、人の声による差分について異常変数を特定しない。言い換えると、特定部１２ｃは、人の声による差分について、異常変数が存在しないと判断する。なお、特定部１２ｃは、差分の音の周波数が人の声の周波数帯域に含まれる場合、差分が人の声によるものと判断すればよい。人の声の周波数帯域は、例えば１００Ｈｚ以上１０００Ｈｚ以下を含むが、これに限られない。
【0093】
出力部１３は、複数の変数にそれぞれ対応する複数の視認情報７７（図１参照）を含む画面を示す画面データを出力する。出力部１３は、時系列データ出力部１３ａと、動画出力部１３ｂと、波形出力部１３ｃとを含む。
【0094】
時系列データ出力部１３ａは、複数の変数の各々について、時系列データセット２２２ａによって示される値の第１推移と時系列データセット２２２ｂによって示される値の第２推移とが可視化された視認情報７７を生成し、生成した視認情報７７が画面上に表示されるように画面データを生成する。視認情報７７は、例えば、第１推移および第２推移を示すグラフを含む。
【0095】
時系列データ出力部１３ａは、画面において、特定部１２ｃによって特定された異常変数に対応する視認情報７７を強調表示する。これにより、ユーザは、強調表示された視認情報７７に注目することができ、音声データ５０ａ，５０ｂの差分の原因を調査しやすくなる。
【0096】
特定部１２ｃによって異常時間帯が特定されている場合、時系列データ出力部１３ａは、異常変数に対応する視認情報７７に含まれるグラフにおいて、異常時間帯を強調表示してもよい。これにより、ユーザは、異常時間帯における、時系列データセット２２２ａ，２２２ｂによって示される異常変数の値を比較しやすくなり、音声データ５０ａ，５０ｂの差分の原因を調査しやすくなる。
【0097】
動画出力部１３ｂは、再生の指示を受けると、画面において正常動画５５ａと異常動画５５ｂとを再生させる。デフォルトとして、動画出力部１３ｂは、画面において、正常動画５５ａおよび異常動画５５ｂを１番目のフレームから再生させる。ただし、動画出力部１３ｂは、正常動画５５ａと異常動画５５ｂとの一方について、表示されるフレームの変更指示を受け付けてもよい。動画出力部１３ｂは、フレームの変更指示を受け付けた場合、指示された動画について表示されるフレームを変更する。フレームの変更指示を受けた後に再生指示を受けると、動画出力部１３ｂは、変更されたフレームから動画を再生させる。
【0098】
動画出力部１３ｂは、画面において、正常動画５５ａと異常動画５５ｂとを並べて再生してもよいし、正常動画５５ａと異常動画５５ｂとを重ねて再生してもよい。
【0099】
正常動画５５ａと異常動画５５ｂとを重ねて再生する場合、動画出力部１３ｂは、画面において、正常動画５５ａと異常動画５５ｂとの表示形態を互いに異ならせる。例えば、動画出力部１３ｂは、正常動画５５ａを第１色（例えば青）によって表し、異常動画５５ｂを第１色とは異なる第２色（例えば赤）によって表す。具体的には、動画出力部１３ｂは、正常動画５５ａに対して第１色のフィルタをかけ、異常動画５５ｂに対して第２色のフィルタをかける。
【0100】
あるいは、動画出力部１３ｂは、画面において、正常動画５５ａと異常動画５５ｂとのシャープネスを互いに異ならせてもよい。具体的には、動画出力部１３ｂは、異常動画５５ｂのシャープネスを正常動画５５ａのシャープネスよりも高める。これによっても、ユーザは、正常動画５５ａと異常動画５５ｂとを区別しやすくなる。
【0101】
あるいは、動画出力部１３ｂは、画面において、正常動画５５ａおよび異常動画５５ｂの一方を常時表示させ、他方を定期的に非表示にしてもよい。例えば、動画出力部１３ｂは、画面上の異常動画５５ｂについて、表示と非表示とを一定時間（例えば０．５秒であるが、これに限られない）ごとに切り替える。
【0102】
波形出力部１３ｃは、音声データ５０ａによって示される第１音声波形と、音声データ５０ｂによって示される第２音声波形とを画面に含める。画面において、第１音声波形と第２音声波形とは、並べて表示されてもよいし、重ねて表示されてもよい。第１音声波形と第２音声波形とを重ねて表示する場合、波形出力部１３ｃは、画面において、第１音声波形の表示態様を第２音声波形の表示態様と異ならせる。例えば、波形出力部１３ｃは、第１音声波形を第１色（例えば青）によって表し、第２音声波形を第２色（例えば赤）によって表す。
【0103】
特定部１２ｃによって異常時間帯が特定されている場合、波形出力部１３ｃは、第１音声波形および第２音声波形において、異常時間帯を強調表示してもよい。これにより、ユーザは、異常時間帯における、第１音声波形と第２音声波形との相違を確認しやすくなる。
【0104】
＜情報処理装置の処理の流れ＞
図８は、情報処理装置における処理の流れの一例を示すフローチャートである。図８に示されるように、情報処理装置１００のＣＰＵ１１０は、ユーザ入力に応じて、正常動作期間の音声データ５０ａを含む正常動画５５ａと、評価対象となる、異常動作期間の音声データ５０ｂを含む異常動画５５ｂとを選択する（ステップＳ１）。
図８は、情報処理装置における処理の流れの一例を示すフローチャートである。図８に示されるように、情報処理装置１００のＣＰＵ１１０は、ユーザ入力に応じて、正常動作期間の音声データ５０ａを含む正常動画５５ａと、評価対象となる、異常動作期間の音声データ５０ｂを含む異常動画５５ｂとを選択する（ステップＳ１）。
【0105】
次に、ＣＰＵ１１０は、正常動作期間の時系列データセット２２２ａと、評価対象となる、異常動作期間の時系列データセット２２２ｂとを選択する（ステップＳ２）。
【0106】
次に、ＣＰＵ１１０は、選択された正常動画５５ａ（音声データ５０ａを含む）、異常動画５５ｂ（音声データ５０ｂを含む）および時系列データセット２２２ａ，２２２ｂについて時刻調整を行なう（ステップＳ３）。
【0107】
例えば、ＣＰＵ１１０は、時系列データセット２２２ａ，２２２ｂの各々について、開始時刻が基準時刻（例えば００：００）となるように時刻を調整する。あるいは、時刻調整部１２ａは、時刻合わせ条件が指定された場合、時系列データセット２２２ａ，２２２ｂの各々について、時刻合わせ条件が満たされるタイミングを特定し、特定したタイミングが基準時刻となるように時刻を調整する。
【0108】
同様に、ＣＰＵ１１０は、正常動画５５ａおよび異常動画５５ｂの各々について、１番目のフレームの時刻が基準時刻（例えば００：００）となるように各フレームの時刻を調整する。さらに、動画処理部１２ｂは、収録開始時刻が基準時刻（例えば００：００）となるように音声データ５０ａ，５０ｂの時刻を調整する。
【0109】
あるいは、時刻合わせ条件が指定された場合、ＣＰＵ１１０は、時系列データセット２２２ａ，２２２ｂにおいて時刻合わせ条件が満たされるタイミングに対応するフレームの時刻が基準時刻となるように正常動画５５ａおよび異常動画５５ｂの各フレームの時刻をそれぞれ調整する。さらに、ＣＰＵ１１０は、時系列データセット２２２ａ，２２２ｂにおいて時刻合わせ条件が満たされるタイミングの時刻が基準時刻となるように音声データ５０ａ，５０ｂの時刻をそれぞれ調整する。
【0110】
次に、ＣＰＵ１１０は、時系列データセット２２２ａ，２２２ｂによって示される複数の変数にそれぞれ対応する複数の視認情報７７を含む画面６０を示す画面データを生成する（ステップＳ４）
ステップＳ４において、ＣＰＵ１１０は、各変数の視認情報７７として、時系列データセット２２２ａによって示される当該変数の値の第１推移と、時系列データセット２２２ｂによって示される当該変数の値の第２推移とを示すグラフを作成する。
ステップＳ４において、ＣＰＵ１１０は、各変数の視認情報７７として、時系列データセット２２２ａによって示される当該変数の値の第１推移と、時系列データセット２２２ｂによって示される当該変数の値の第２推移とを示すグラフを作成する。
【0111】
また、ＣＰＵ１１０は、画面６０において、音声データ５０ａによって示される第１音声波形と音声データ５０ｂによって示される第２音声波形とを可視化する。ＣＰＵ１１０は、第１音声波形と第２音声波形とを重ねて可視化する場合、第１音声波形および第２音声波形に対して半透明化処理を行なったり、互いに異なる色のフィルタをかけたりする。
【0112】
さらに、ＣＰＵ１１０は、正常動画５５ａおよび異常動画５５ｂが再生される領域を画面６０に作成する。
【0113】
次に、ＣＰＵ１１０は、正常動作期間の音声データ５０ａと評価対象の音声データ５０ｂとの差分を計算する（ステップＳ５）。具体的には、ＣＰＵ１１０は、時刻が調整された音声データ５０ａ，５０ｂについて、時刻ごとに音の強さの差分を計算する。
【0114】
次に、ＣＰＵ１１０は、差分が予め定められた閾値Ｔｈを超える異常時間帯を特定する（ステップＳ６）。具体的には、ＣＰＵ１１０は、上述したように、差分が閾値Ｔｈを超える各時刻（異常発生時刻）を１以上のグループに分類し、１以上のグループの各々について異常時間帯を特定する。
【0115】
次に、１以上のグループの各々についてステップＳ７～Ｓ１０が実行される。ステップＳ７において、ＣＰＵ１１０は、対象のグループに属する異常発生時刻の差分が人の声によるものか否かを判断する。差分が人の声によるものである場合（ステップＳ７でＹＥＳ）、ステップＳ８～Ｓ１０が省略される。
【0116】
差分が人の声によるものでない場合（ステップＳ７でＮＯ）、ＣＰＵ１１０は、画面上の第１音声波形および第２音声波形において、対象のグループの異常時間帯を強調表示する（ステップＳ８）。
【0117】
次に、ＣＰＵ１１０は、対象のグループに属する異常発生時刻に基づいて、差分のタイプを決定し、対応付け情報１５に基づいて、決定した差分のタイプに対応する変数を異常変数として特定する（ステップＳ９）。
【0118】
次に、ＣＰＵ１１０は、画面において、異常変数に対応する視認情報７７を強調表示する（ステップＳ１０）。
【0119】
１以上のグループの全てについてステップＳ７～Ｓ１０が終了すると、ＣＰＵ１１０は、画面データを出力する（ステップＳ１１）。具体的には、ＣＰＵ１１０は、画面データによって示される画面をディスプレイ１２２に表示させる。ステップＳ１１の後、処理は終了する。
【0120】
＜画面例＞
図９は、情報処理装置から出力される画面に含まれるウィンドウの一例を示す図である。図１０は、情報処理装置から出力される画面に含まれる別のウィンドウの一例を示す図である。図９に示すウィンドウ６０ａと図１０に示すウィンドウ６０ｂとは互いに連携しながら同時に表示される。
図９は、情報処理装置から出力される画面に含まれるウィンドウの一例を示す図である。図１０は、情報処理装置から出力される画面に含まれる別のウィンドウの一例を示す図である。図９に示すウィンドウ６０ａと図１０に示すウィンドウ６０ｂとは互いに連携しながら同時に表示される。
【0121】
図９に示すウィンドウ６０ａは、動画および音声波形を確認するために利用される。ウィンドウ６０ａは、ボタン６１～６４と、領域６５，６６と、ボタン群６７と、スライダー６８，６９と、表示欄７０とを含む。
【0122】
ボタン６１は、正常動作期間の正常動画５５ａ（音声データ５０ａを含む）を選択するために使用される。選択部１１ａとして動作するＣＰＵ１１０は、ボタン６１がクリックされると、内容が異常を示すイベントが発生していない収録期間の第１リストを生成し、ユーザ入力に応じて、第１リストから１つの収録期間を正常動作期間として選択する。ＣＰＵ１１０は、正常動作期間に対応する動画５５を正常動画５５ａとして選択する。
【0123】
ボタン６２は、異常動作期間の異常動画５５ｂ（音声データ５０ｂを含む）を選択するために使用される。選択部１１ａとして動作するＣＰＵ１１０は、ボタン６２がクリックされると、内容が異常を示すイベントが発生した収録期間の第２リストを生成し、ユーザ入力に応じて、第２リストから１つの収録期間を異常動作期間として選択する。ＣＰＵ１１０は、異常動作期間に対応する動画５５を異常動画５５ｂとして選択する。
【0124】
ボタン６３は、閾値Ｔｈを設定するために使用される。ＣＰＵ１１０は、ボタン６３がクリックされると、閾値Ｔｈを入力するためのポップアップ画面を示すデータを出力し、ユーザ入力に応じて閾値Ｔｈを設定する。
【0125】
ボタン６４は、音声波形の可視化処理の開始を指示するために使用される。処理部１２として動作するＣＰＵ１１０は、ボタン６４がクリックされると、時刻調整された音声データ５０ａ，５０ｂによってそれぞれ示される第１，第２音声波形の可視化処理を行なう。さらに、ＣＰＵ１１０は、正常動画５５ａおよび異常動画５５ｂに対する画像処理を行なう。
【0126】
領域６５には、正常動画５５ａおよび異常動画５５ｂが重ね合わせて再生される。領域６５において、正常動画５５ａは第１色（例えば青）で表示され、異常動画５５ｂは第２色（例えば赤）で表示される。なお、図９において、正常動画５５ａは実線で示され、異常動画５５ｂは破線で示される。
【0127】
ボタン群６７は、動画の再生に関する複数のボタンとして、再生ボタン、停止ボタン、早送りボタン、または早戻しボタンなどを含む。ＣＰＵ１１０は、ボタン群６７に対する操作に応じて、領域６５に表示されるフレームを更新する。
【0128】
スライダー６８は、領域６５に表示される、正常動画５５ａのフレームを変更するために使用される。スライダー６９は、領域６５に表示される、異常動画５５ｂのフレームを変更するために使用される。ユーザは、スライダー６８，６９を操作することにより、正常動画５５ａと異常動画５５ｂとのうちの一方のみを先のフレームに進めたり、前のフレームに遅らせたりできる。その結果、ユーザは、正常動画５５ａに写る生産設備４００の動作と、異常動画５５ｂに写る生産設備４００の動作との間の時間的なずれを最小限にしたうえで、両動画を比較できる。
【0129】
領域６６には、時刻調整が行なわれた第１，第２音声波形が重ねて表示される。領域６６において、第１音声波形は第１色（例えば青）で表示され、第２音声波形は第２色（例えば赤）で表示される。図９において、第１音声波形は実線で示され、第２音声波形は破線で示される。
【0130】
領域６６において、差分が閾値Ｔｈを超える異常時間帯が強調表示される。図９に示す例では、差分が閾値Ｔｈを超える異常時間帯を囲むように枠線６６ｃが表示される。
【0131】
なお、図９に示す例では、枠線６６ｃによって囲まれた時間帯とは異なる時間帯６６ｄにおいて、差分が閾値Ｔｈを超える。しかしながら、時間帯６６ｄについては強調表示されていない。これは、時間帯６６ｄにおける差分が人の声によるものと判断されたためである。
【0132】
さらに、領域６６には、領域６５に表示されるフレームの時刻に対応するライン６６ａ，６６ｂが表示される。ライン６６ａは、正常動画５５ａのフレームの時刻に対応する。ライン６６ｂは、異常動画５５ｂのフレームの時刻に対応する。ライン６６ａ，６６ｂは、領域６５に表示されるフレームが変化するたびに移動する。ユーザは、ライン６６ａ，６６ｂを確認することにより、領域６５に表示されるフレームの時刻に対応する第１，第２音声波形上の位置を把握できる。なお、スライダー６８，６９が操作されない限り、ライン６６ａ，６６ｂは重なり合う。スライダー６８，６９のうちの一方が操作された場合、ライン６６ａ，６６ｂは、互いに異なる位置に表示される。
【0133】
表示欄７０には、領域６５に表示される正常動画５５ａおよび異常動画５５ｂのフレーム間の一致度が表示される。動画出力部１３ｂとして動作するＣＰＵ１１０は、例えば２つのフレームの画素毎の濃度の類似度の合計を規格化した値を一致度として算出し、算出した一致度を表示欄７０に表示する。
【0134】
図１０に示すウィンドウ６０ｂは、時系列データセット２２２によって示される１以上の変数の値の推移を確認するために利用される。ウィンドウ６０ｂは、ボタン７１～７４と、表示欄７１ａ，７２ａ，７６とを含む。
【0135】
ボタン７１は、正常動作期間の時系列データセット２２２ａを選択するために使用される。ＣＰＵ１１０は、ボタン７１がクリックされると、内容が異常を示すイベントが発生していない収録期間の第１リストを生成し、ユーザ入力に応じて、第１リストから１つの収録期間を正常動作期間として選択する。ＣＰＵ１１０は、正常動作期間に対応する時系列データセット２２２ａを選択する。表示欄７１ａには、選択された時系列データセット２２２ａのファイル名が表示される。
【0136】
なお、図９に示すウィンドウ６０ａのボタン６１の操作により正常動作期間が選択済みである場合、ＣＰＵ１１０は、当該正常動作期間に対応する時系列データセット２２２ａを選択し、時系列データセット２２２ａのファイル名を表示欄７１ａに表示する。
【0137】
ボタン６１の操作により正常動作期間が選択済みである状態においてボタン７１がクリックされた場合、ＣＰＵ１１０は、ユーザ入力に応じて、正常動作期間を更新する。そして、ＣＰＵ１１０は、更新後の正常動作期間に対応する時系列データセット２２２ａおよび正常動画５５ａを選択する。
【0138】
ボタン７２は、異常動作期間の時系列データセット２２２ｂを選択するために使用される。ＣＰＵ１１０は、ボタン７２がクリックされると、内容が異常を示すイベントが発生した収録期間の第２リストを生成し、ユーザ入力に応じて、第２リストのうちの１つの収録期間を異常動作期間として選択する。ＣＰＵ１１０は、異常動作期間に対応する時系列データセット２２２ｂを選択する。表示欄７２ａには、選択された時系列データセット２２２ｂのファイル名が表示される。
【0139】
なお、図９に示すウィンドウ６０ａのボタン６２の操作により異常動作期間が選択済みである場合、ＣＰＵ１１０は、選択済みの異常動作期間に対応する時系列データセット２２２ｂを選択し、時系列データセット２２２ｂのファイル名を表示欄７２ａに表示すればよい。
【0140】
ボタン６２の操作により異常動作期間が選択済みである状態においてボタン７２がクリックされた場合、ＣＰＵ１１０は、ユーザ入力に応じて、異常動作期間を更新する。そして、ＣＰＵ１１０は、更新後の異常動作期間に対応する時系列データセット２２２ｂおよび異常動画５５ｂを選択する。
【0141】
ボタン７３は、時刻合わせ条件の設定に使用される。ボタン７３がクリックされると、時刻調整部１２ａとして動作するＣＰＵ１１０は、時刻合わせ条件を入力するためのポップアップ画面を示すデータを出力し、ユーザ入力に応じて時刻合わせ条件を設定する。図１０に示す例では、時刻合わせ条件として、変数「第１関節の位置」の値が第１指定値から第２指定値に変化するという条件が設定される。そのため、ボタン７３に、時刻合わせ条件として設定された変数の名称「第１関節の位置」が表示される。
【0142】
ボタン７４は、時刻合わせ条件に従った時刻合わせの実行を開始するために使用される。ボタン７４がクリックされると、ＣＰＵ１１０は、時刻合わせ条件が満たされるタイミングが同一時刻となるように時系列データセット２２２ａ，２２２ｂの時刻を調整する。
【0143】
さらに、ボタン７４がクリックされると、動画処理部１２ｂとして動作するＣＰＵ１１０は、時刻合わせ条件が満たされるタイミングが互いに一致するように正常動画５５ａおよび異常動画５５ｂの各フレームの時刻を調整する。同様に、ＣＰＵ１１０は、時刻合わせ条件が満たされるタイミングが互いに一致するように音声データ５０ａ，５０ｂの時刻を調整する。
【0144】
なお、ボタン７４がクリックされない場合、ＣＰＵ１１０は、時系列データセット２２２ａ，２２２ｂおよび音声データ５０ａ，５０ｂの各々について、開始時刻が基準時刻（例えば００：００）となるように時刻を調整してもよい。さらに、ボタン７４がクリックされない場合、ＣＰＵ１１０は、正常動画５５ａおよび異常動画５５ｂの各々について、１番目のフレームの時刻が基準時刻（例えば００：００）となるように各フレームの時刻を調整してもよい。
【0145】
表示欄７６には、時系列データセット２２２ａ，２２２ｂによって示される複数の変数のそれぞれに対応する複数の視認情報７７が表示される。図１０に示されるように、視認情報７７は、時系列データセット２２２ａによって示される変数の値の第１推移と、時系列データセット２２２ｂによって示される変数の値の第２推移とを示すグラフを含む。各グラフにおいて、横軸は調整後の時刻を表し、縦軸は変数の値を表す。各グラフにおいて、第１推移が実線によって表され、第２推移が破線によって表される。
【0146】
表示欄７６において、音声データ５０ａ，５０ｂの差分の原因候補となる部位に関する異常変数の視認情報７７が強調表示される。図１０に示す例では、変数「ハンドの開き」が異常変数として特定され、当該変数に対応する視認情報７７ａが強調表示される。例えば、視認情報７７ａにおいて、音声データ５０ａ，５０ｂの差分が閾値Ｔｈを超える異常時間帯を囲むように枠線８０ａが表示される。これにより、ユーザは、枠線８０ａによって囲まれた部分に注目する。その結果、ユーザは、異常時間帯における第１推移および第２推移を比較することにより、音声データ５０ａと音声データ５０ｂとの差分の原因を調査できる。
【0147】
さらに、表示欄７６には、図９に示すウィンドウ６０ａの領域６５に表示されるフレームの時刻に対応するライン７９ａ，７９ｂが表示される。ライン７９ａは、正常動画５５ａのフレームの時刻に対応する。ライン７９ｂは、異常動画５５ｂのフレームの時刻に対応する。ライン７９ａ，７９ｂは、領域６５に表示されるフレームが変化するたびに移動する。なお、ウィンドウ６０ａにおいてスライダー６８，６９が操作されない限り、ライン７９ａ，７９ｂは重なり合う。スライダー６８，６９のうちの一方が操作された場合、ライン７９ａ，７９ｂは、互いに異なる位置に表示される。
【0148】
＜変形例１＞
上記の説明では、対象動作が行なわれるたびに、動画５５および時系列データセット２２２が情報処理装置１００に蓄積されるものとした。しかしながら、情報処理装置１００への動画５５および時系列データセット２２２の蓄積方法はこれに限定されない。
上記の説明では、対象動作が行なわれるたびに、動画５５および時系列データセット２２２が情報処理装置１００に蓄積されるものとした。しかしながら、情報処理装置１００への動画５５および時系列データセット２２２の蓄積方法はこれに限定されない。
【0149】
例えば、生産設備４００の導入直後の初期運転期間において、対象動作が行なわれるたびに、動画５５および時系列データセット２２２が情報処理装置１００に蓄積される。初期運転期間において蓄積された動画５５および時系列データセット２２２は、正常動画５５ａおよび時系列データセット２２２ａとして選択される。
【0150】
初期運転期間の後の運用期間において、ＰＬＣ２００は、ステータスが「異常」であるイベントが発生した対象動作についてのみ時系列データセット２２２を情報処理装置１００に出力するとともに、動画５５を出力するようにカメラ３０２に指示してもよい。これにより、運用期間において、情報処理装置１００には何らかの異常が発生したときの動画５５および時系列データセット２２２が蓄積される。そのため、運用期間において蓄積された動画５５および時系列データセット２２２は、異常動画５５ｂおよび時系列データセット２２２ｂとして選択される。
【0151】
＜変形例２＞
上記の説明では、情報処理装置１００に内蔵される記憶部１０に動画５５（音声データ５０を含む）および時系列データセット２２２が蓄積されるものとした。しかしながら、情報処理装置１００の外部のデータベースまたはサーバに動画５５および時系列データセット２２２が蓄積されてもよい。この場合、情報処理装置１００のＣＰＵ１１０は、データベースまたはサーバにアクセスして、表示対象となる正常動画５５ａ（音声データ５０ａを含む），異常動画５５ｂ（音声データ５０ｂを含む），および時系列データセット２２２ａ，２２２ｂを取得すればよい。
上記の説明では、情報処理装置１００に内蔵される記憶部１０に動画５５（音声データ５０を含む）および時系列データセット２２２が蓄積されるものとした。しかしながら、情報処理装置１００の外部のデータベースまたはサーバに動画５５および時系列データセット２２２が蓄積されてもよい。この場合、情報処理装置１００のＣＰＵ１１０は、データベースまたはサーバにアクセスして、表示対象となる正常動画５５ａ（音声データ５０ａを含む），異常動画５５ｂ（音声データ５０ｂを含む），および時系列データセット２２２ａ，２２２ｂを取得すればよい。
【0152】
＜変形例３＞
上記の説明では、選択部１１ａは、ログデータ２２４に基づいて、内容が異常を示すイベントが発生していない収録期間の第１リストを生成し、ユーザ入力に応じて、第１リストから正常動作期間を選択する。さらに、選択部１１ａは、ログデータ２２４に基づいて、内容が異常を示すイベントが発生した収録期間の第２リストを生成し、ユーザ入力に応じて、第２リストから異常動作期間を選択する。しかしながら、第１リストおよび第２リストの生成は、上記の方法に限定されない。
上記の説明では、選択部１１ａは、ログデータ２２４に基づいて、内容が異常を示すイベントが発生していない収録期間の第１リストを生成し、ユーザ入力に応じて、第１リストから正常動作期間を選択する。さらに、選択部１１ａは、ログデータ２２４に基づいて、内容が異常を示すイベントが発生した収録期間の第２リストを生成し、ユーザ入力に応じて、第２リストから異常動作期間を選択する。しかしながら、第１リストおよび第２リストの生成は、上記の方法に限定されない。
【0153】
例えば、選択部１１ａは、生産設備４００が設置される工程よりも後の検査工程により得られる検査結果に基づいて、第１リストおよび第２リストを生成してもよい。具体的には、ＰＬＣ２００および検査工程を管理する上位システム（例えば、製造実行システム）は、製品ごとに付与された製品ＩＤと紐付けて、生産設備４００による対象動作の開始信号および終了信号をＰＬＣ２００に出力するとともに、検査指示を検査工程に出力する。上位システムは、製品ＩＤに基づいて、検査結果が品質異常である製品に対して対象動作が実施された期間（以下、「品質異常期間」と称する）を特定し、品質異常期間を示す情報を情報処理装置１００に出力する。情報処理装置１００の選択部１１ａは、品質異常期間と重なる収録期間を第１リストから除外し、第２リストに含める。
【0154】
変形例３によれば、ユーザは、品質異常である製品に対して行なわれた対象動作に対応する動画５５を異常動画５５ｂとして選択できる。
【0155】
＜変形例４＞
上記の説明では、情報処理装置１００は、ＰＬＣ２００とは異なる装置とした。しかしながら、情報処理装置１００は、ＰＬＣ２００と一体化されてもよい。具体的には、情報処理装置１００は、ＰＬＣ２００の機能を含む産業用パーソナルコンピュータ（Industrial Personal Computer（ＩＰＣ））によって実現されてもよい。
上記の説明では、情報処理装置１００は、ＰＬＣ２００とは異なる装置とした。しかしながら、情報処理装置１００は、ＰＬＣ２００と一体化されてもよい。具体的には、情報処理装置１００は、ＰＬＣ２００の機能を含む産業用パーソナルコンピュータ（Industrial Personal Computer（ＩＰＣ））によって実現されてもよい。
【0156】
一変形例として、情報処理装置１００の構成および動作を、互いに通信可能な複数のコンピュータに分散させた形態も可能である。
【0157】
例えば、情報処理装置１００の一部の構成要素を、クラウドコンピューティングシステムまたはその他のコンピューティングシステムに属するサーバ等のコンピュータに設けた形態も可能である。
【0158】
別の例として、情報処理装置１００の一部の構成要素を、制御対象を制御するＰＬＣ等のコンピュータに設けた形態も可能である。この場合、情報処理装置１００は、制御対象に対する制御演算に影響を与えることなく、上述した処理を実行可能なように構成される。
【0159】
＜変形例５＞
汎用のコンピュータを、上述した実施の形態に係る情報処理装置１００として機能させる実施の形態も可能である。具体的には、上述した実施の形態に係る情報処理装置１００の各機能を実現する処理内容を記述した解析プログラム１１６を、汎用のコンピュータのメモリに格納し、プロセッサによって解析プログラム１１６を読み出して実行させる。したがって、本実施の形態に係る発明は、プロセッサが実行可能な解析プログラム１１６、又は解析プログラム１１６を記憶する非一時的なコンピュータ可読媒体としても実現可能である。
汎用のコンピュータを、上述した実施の形態に係る情報処理装置１００として機能させる実施の形態も可能である。具体的には、上述した実施の形態に係る情報処理装置１００の各機能を実現する処理内容を記述した解析プログラム１１６を、汎用のコンピュータのメモリに格納し、プロセッサによって解析プログラム１１６を読み出して実行させる。したがって、本実施の形態に係る発明は、プロセッサが実行可能な解析プログラム１１６、又は解析プログラム１１６を記憶する非一時的なコンピュータ可読媒体としても実現可能である。
【0160】
§３ 付記
以上のように、本実施の形態は以下のような開示を含む。
以上のように、本実施の形態は以下のような開示を含む。
【0161】
（構成１）
情報処理装置（１００）であって、
対象動作を繰り返し実行する生産設備（４００）の周囲に設置された集音器（３００）から得られる、前記対象動作ごとの音声データ（５０）の中から、前記対象動作が正常であるときの第１音声データ（５０ａ）と、評価対象である第２音声データ（５０ｂ）とを選択する選択部（１１ａ，１１０）と、
前記生産設備（４００）を制御する制御装置から得られる、前記生産設備（４００）の状態を示す複数の変数の中から、前記生産設備（４００）の部位のうち前記第１音声データ（５０ａ）と前記第２音声データ（５０ｂ）との差分の原因候補となる部位に関する１以上の変数を特定する特定部（１２ｃ，１１０）と、
前記複数の変数にそれぞれ対応する複数の視認情報（７７）を含む画面（６０）を示す画面データを出力する出力部（１３，１１０）とを備え、前記複数の視認情報（７７）の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データ（５０ａ）の収録中の第１推移および前記第２音声データ（５０ｂ）の収録中の第２推移を示し、
前記画面（６０）において、前記複数の視認情報（７７）のうち前記１以上の変数に対応する視認情報（７７ａ）が強調表示される、情報処理装置（１００）。
情報処理装置（１００）であって、
対象動作を繰り返し実行する生産設備（４００）の周囲に設置された集音器（３００）から得られる、前記対象動作ごとの音声データ（５０）の中から、前記対象動作が正常であるときの第１音声データ（５０ａ）と、評価対象である第２音声データ（５０ｂ）とを選択する選択部（１１ａ，１１０）と、
前記生産設備（４００）を制御する制御装置から得られる、前記生産設備（４００）の状態を示す複数の変数の中から、前記生産設備（４００）の部位のうち前記第１音声データ（５０ａ）と前記第２音声データ（５０ｂ）との差分の原因候補となる部位に関する１以上の変数を特定する特定部（１２ｃ，１１０）と、
前記複数の変数にそれぞれ対応する複数の視認情報（７７）を含む画面（６０）を示す画面データを出力する出力部（１３，１１０）とを備え、前記複数の視認情報（７７）の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データ（５０ａ）の収録中の第１推移および前記第２音声データ（５０ｂ）の収録中の第２推移を示し、
前記画面（６０）において、前記複数の視認情報（７７）のうち前記１以上の変数に対応する視認情報（７７ａ）が強調表示される、情報処理装置（１００）。
【0162】
（構成２）
前記複数の視認情報（７７）の各々は、前記第１推移と前記第２推移とを示すグラフを含み、
前記１以上の変数に対応するグラフにおいて、前記差分が閾値を超える時間帯が強調表示される、構成１に記載の情報処理装置（１００）。
前記複数の視認情報（７７）の各々は、前記第１推移と前記第２推移とを示すグラフを含み、
前記１以上の変数に対応するグラフにおいて、前記差分が閾値を超える時間帯が強調表示される、構成１に記載の情報処理装置（１００）。
【0163】
（構成３）
前記画面（６０）は、前記第１音声データ（５０ａ）によって示される第１音声波形と、前記第２音声データ（５０ｂ）によって示される第２音声波形とを含み、
前記第１音声波形および前記第２音声波形において、前記時間帯が強調表示される。構成２に記載の情報処理装置（１００）。
前記画面（６０）は、前記第１音声データ（５０ａ）によって示される第１音声波形と、前記第２音声データ（５０ｂ）によって示される第２音声波形とを含み、
前記第１音声波形および前記第２音声波形において、前記時間帯が強調表示される。構成２に記載の情報処理装置（１００）。
【0164】
（構成４）
前記生産設備（４００）は、モータを含み、
前記特定部（１２ｃ，１１０）は、前記差分が周期的に閾値を超えることに応じて、前記モータに関する変数を前記１以上の変数として特定する、構成１から３のいずれかに記載の情報処理装置（１００）。
前記生産設備（４００）は、モータを含み、
前記特定部（１２ｃ，１１０）は、前記差分が周期的に閾値を超えることに応じて、前記モータに関する変数を前記１以上の変数として特定する、構成１から３のいずれかに記載の情報処理装置（１００）。
【0165】
（構成５）
前記生産設備（４００）は、モータを有さない駆動部を含み、
前記特定部（１２ｃ，１１０）は、前記差分が非周期的に閾値を超えることに応じて、前記駆動部に関する変数を前記１以上の変数として特定する、構成１から４のいずれかに記載の情報処理装置（１００）。
前記生産設備（４００）は、モータを有さない駆動部を含み、
前記特定部（１２ｃ，１１０）は、前記差分が非周期的に閾値を超えることに応じて、前記駆動部に関する変数を前記１以上の変数として特定する、構成１から４のいずれかに記載の情報処理装置（１００）。
【0166】
（構成６）
前記特定部（１２ｃ，１１０）は、前記差分に対応する音の周波数が人の声の周波数帯域内であることに応じて、前記１以上の変数が存在しないと判断する、構成１から５のいずれかに記載の情報処理装置（１００）。
前記特定部（１２ｃ，１１０）は、前記差分に対応する音の周波数が人の声の周波数帯域内であることに応じて、前記１以上の変数が存在しないと判断する、構成１から５のいずれかに記載の情報処理装置（１００）。
【0167】
（構成７）
前記集音器（３００）は、前記生産設備（４００）を撮影するカメラ（３０２）に内蔵され、
前記対象動作ごとの音声データ（５０）は、前記カメラ（３０２）の撮影により得られる、前記対象動作ごとの動画（５５）から抽出され、
前記画面（６０）において、前記第１音声データ（５０ａ）に対応する第１動画（５５ａ）と前記第２音声データ（５０ｂ）に対応する第２動画（５５ｂ）とが再生される、構成１から６のいずれかに記載の情報処理装置（１００）。
前記集音器（３００）は、前記生産設備（４００）を撮影するカメラ（３０２）に内蔵され、
前記対象動作ごとの音声データ（５０）は、前記カメラ（３０２）の撮影により得られる、前記対象動作ごとの動画（５５）から抽出され、
前記画面（６０）において、前記第１音声データ（５０ａ）に対応する第１動画（５５ａ）と前記第２音声データ（５０ｂ）に対応する第２動画（５５ｂ）とが再生される、構成１から６のいずれかに記載の情報処理装置（１００）。
【0168】
（構成８）
情報処理方法であって、
対象動作を繰り返し実行する生産設備（４００）の周囲に設置された集音器（３００）から得られる、前記対象動作ごとの音声データ（５０）の中から、前記対象動作が正常であるときの第１音声データ（５０ａ）と、評価対象である第２音声データ（５０ｂ）とを選択することと、
前記生産設備（４００）を制御する制御装置から得られる、前記生産設備（４００）の状態を示す複数の変数の中から、前記生産設備（４００）の部位のうち前記第１音声データ（５０ａ）と前記第２音声データ（５０ｂ）との差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報（７７）を含む画面（６０）を示す画面データを出力することとを備え、前記複数の視認情報（７７）の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データ（５０ａ）の収録中の第１推移および前記第２音声データ（５０ｂ）の収録中の第２推移を示し、
前記画面（６０）において、前記複数の視認情報（７７）のうち前記１以上の変数に対応する視認情報（７７ａ）が強調表示される、情報処理方法。
情報処理方法であって、
対象動作を繰り返し実行する生産設備（４００）の周囲に設置された集音器（３００）から得られる、前記対象動作ごとの音声データ（５０）の中から、前記対象動作が正常であるときの第１音声データ（５０ａ）と、評価対象である第２音声データ（５０ｂ）とを選択することと、
前記生産設備（４００）を制御する制御装置から得られる、前記生産設備（４００）の状態を示す複数の変数の中から、前記生産設備（４００）の部位のうち前記第１音声データ（５０ａ）と前記第２音声データ（５０ｂ）との差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報（７７）を含む画面（６０）を示す画面データを出力することとを備え、前記複数の視認情報（７７）の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データ（５０ａ）の収録中の第１推移および前記第２音声データ（５０ｂ）の収録中の第２推移を示し、
前記画面（６０）において、前記複数の視認情報（７７）のうち前記１以上の変数に対応する視認情報（７７ａ）が強調表示される、情報処理方法。
【0169】
（構成９）
情報処理方法をコンピュータ（１１０）に実行させるプログラム（１１６）であって、
前記情報処理方法は、
対象動作を繰り返し実行する生産設備（４００）の周囲に設置された集音器（３００）から得られる、前記対象動作ごとの音声データ（５０）の中から、前記対象動作が正常であるときの第１音声データ（５０ａ）と、評価対象である第２音声データ（５０ｂ）とを選択することと、
前記生産設備（４００）を制御する制御装置から得られる、前記生産設備（４００）の状態を示す複数の変数の中から、前記生産設備（４００）の部位のうち前記第１音声データ（５０ａ）と前記第２音声データ（５０ｂ）との差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報（７７）を含む画面（６０）を示す画面データを出力することとを含み、前記複数の視認情報（７７）の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データ（５０ａ）の収録中の第１推移および前記第２音声データ（５０ｂ）の収録中の第２推移を示し、
前記画面（６０）において、前記複数の視認情報（７７）のうち前記１以上の変数に対応する視認情報（７７ａ）が強調表示される、プログラム。
情報処理方法をコンピュータ（１１０）に実行させるプログラム（１１６）であって、
前記情報処理方法は、
対象動作を繰り返し実行する生産設備（４００）の周囲に設置された集音器（３００）から得られる、前記対象動作ごとの音声データ（５０）の中から、前記対象動作が正常であるときの第１音声データ（５０ａ）と、評価対象である第２音声データ（５０ｂ）とを選択することと、
前記生産設備（４００）を制御する制御装置から得られる、前記生産設備（４００）の状態を示す複数の変数の中から、前記生産設備（４００）の部位のうち前記第１音声データ（５０ａ）と前記第２音声データ（５０ｂ）との差分の原因候補となる部位に関する１以上の変数を特定することと、
前記複数の変数にそれぞれ対応する複数の視認情報（７７）を含む画面（６０）を示す画面データを出力することとを含み、前記複数の視認情報（７７）の各々は、前記複数の変数のうち対応する変数の値の、前記第１音声データ（５０ａ）の収録中の第１推移および前記第２音声データ（５０ｂ）の収録中の第２推移を示し、
前記画面（６０）において、前記複数の視認情報（７７）のうち前記１以上の変数に対応する視認情報（７７ａ）が強調表示される、プログラム。
【0170】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0171】
１ 製造システム、１０ 記憶部、１１ 設定部、１１ａ 選択部、１１ｂ 収集データ設定部、１１ｃ カメラ設定部、１２ 処理部、１２ａ 時刻調整部、１２ｂ 動画処理部、１２ｃ 特定部、１３ 出力部、１３ａ 時系列データ出力部、１３ｂ 動画出力部、１３ｃ 波形出力部、１５ 対応付け情報、２０ 制御部、２２ データ収集部、５０，５０ａ，５０ｂ 音声データ、５５ 動画、５５ａ 正常動画、５５ｂ 異常動画、６０ 画面、６０ａ，６０ｂ ウィンドウ、６１～６４，７１～７４ ボタン、６５，６６ 領域、６６ａ，６６ｂ，７９ａ，７９ｂ ライン、６６ｃ，８０，８０ａ 枠線、６６ｄ 時間帯、６７ ボタン群、６８，６９ スライダー、７０，７１ａ，７２ａ，７６ 表示欄、７７，７７ａ～７７ｃ 視認情報、１００ 情報処理装置、１０８，２０８ ストレージ、１１０，２０２ ＣＰＵ、１１２，２０６ メモリ、１１４ ハードディスク、１１６ 解析プログラム、１１８ 入力インターフェイス、１２０ 表示コントローラ、１２２ ディスプレイ、１２４ 通信インターフェイス、１２６ データリーダ／ライタ、１２８ バス、１３０ 記憶媒体、１３２ 入力装置、２００ ＰＬＣ、２０１ 電源回路、２０４ チップセット、２１１ システムプログラム、２１３ スケジューラプログラム、２１４ 制御プログラム、２１５ リフレッシュプログラム、２１６ データ収集プログラム、２２０ ＩＯデータ、２２２，２２２ａ，２２２ｂ 時系列データセット、２２４ ログデータ、２３０ 設定情報、２５０ ＵＳＢコントローラ、２５２ フィールドネットワークコントローラ、２５２ａ，２５４ａ コネクタ、２５４ ネットワークコントローラ、２６０ タイマ、３００ 集音器、３０２ カメラ、４００ 生産設備。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】