特開 2025-11447 情報処理システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011447

(43)【公開日】2025-01-24

(54)【発明の名称】情報処理システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20250117BHJP

   H04N 7/18 20060101ALI20250117BHJP

   G06F 11/34 20060101ALI20250117BHJP

   G06T 13/20 20110101ALI20250117BHJP

【ＦＩ】

G05B23/02 302V

H04N7/18 D

H04N7/18 B

G06F11/34 157

G06T13/20

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023113568

(22)【出願日】2023-07-11

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】大貫 はる奈

(72)【発明者】

【氏名】岩村 慎太郎

(72)【発明者】

【氏名】玉嶋 大輔

(72)【発明者】

【氏名】重森 弓束

(72)【発明者】

【氏名】真鍋 美樹子

【テーマコード（参考）】

3C223

5B042

5B050

5C054

【Ｆターム（参考）】

3C223AA11

3C223BA03

3C223BB08

3C223BB17

3C223CC02

3C223DD03

3C223EB02

3C223FF14

3C223FF16

3C223FF23

3C223GG01

3C223HH07

5B042HH07

5B042KK15

5B042MA08

5B042MA14

5B042MC08

5B050BA08

5B050CA07

5B050DA04

5B050EA07

5B050EA12

5B050EA13

5B050FA05

5C054CA04

5C054CC02

5C054FC12

5C054FC15

5C054HA03

(57)【要約】

【課題】監視対象の異常な動作の原因探索を適切に支援可能な情報処理システムを提供する。
【解決手段】情報処理システムは、監視対象の状態を表す１以上の変数の値の時系列データを用いた情報処理を行なう。情報処理システムは、時系列データによって示される対象期間の１以上の変数の値を用いて、仮想空間において監視対象に対応する仮想モデルの対象期間の挙動をシミュレートし、仮想空間に配置された仮想カメラの撮影によって得られる仮想動画を生成するシミュレータを備える。さらに、情報処理システムは、対象期間に監視対象を撮影することにより得られる実動画における移動物体の第１位置と、仮想動画における移動物体に対応する仮想オブジェクトの第２位置との差が基準を超える異常時刻を特定する特定モジュールを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

監視対象の状態を表す１以上の変数の値の時系列データを用いた情報処理を行なう情報処理システムであって、
前記時系列データによって示される対象期間の前記１以上の変数の値を用いて、仮想空間において前記監視対象に対応する仮想モデルの前記対象期間の挙動をシミュレートし、前記仮想空間に配置された仮想カメラの撮影によって得られる仮想動画を生成するシミュレータと、
前記対象期間に前記監視対象を撮影することにより得られる実動画における移動物体の第１位置と、前記仮想動画における前記移動物体に対応する仮想オブジェクトの第２位置との差が基準を超える異常時刻を特定する特定モジュールとを備える、情報処理システム。

【請求項2】

前記異常時刻の一覧を示すデータを出力する出力モジュールをさらに備える、請求項１に記載の情報処理システム。

【請求項3】

前記監視対象は、固定位置に配置されたマーカーを含み、
前記シミュレータは、前記実動画における前記マーカーの位置と、前記仮想動画における前記マーカーに対応する仮想マーカーの位置とが一致するように、前記仮想空間における前記仮想カメラの位置姿勢を設定する、請求項１または２に記載の情報処理システム。

【請求項4】

監視対象の状態を表す１以上の変数の値の時系列データを用いた情報処理方法であって、
プロセッサが、前記時系列データによって示される対象期間の前記１以上の変数の値を用いて、仮想空間において前記監視対象に対応する仮想モデルの前記対象期間の挙動をシミュレートし、前記仮想空間に配置された仮想カメラの撮影によって得られる仮想動画を生成することと、
前記プロセッサが、前記対象期間に前記監視対象を撮影することにより得られる実動画における移動物体の第１位置と、前記仮想動画における前記移動物体に対応する仮想オブジェクトの第２位置との差が基準を超える異常時刻を特定することとを備える、情報処理方法。

【請求項5】

監視対象の状態を表す１以上の変数の値の時系列データを用いた情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
前記時系列データによって示される対象期間の前記１以上の変数の値を用いて、仮想空間において前記監視対象に対応する仮想モデルの前記対象期間の挙動をシミュレートし、前記仮想空間に配置された仮想カメラの撮影によって得られる仮想動画を生成することと、
前記対象期間に前記監視対象を撮影することにより得られる実動画における移動物体の第１位置と、前記仮想動画における前記移動物体に対応する仮想オブジェクトの第２位置との差が基準を超える異常時刻を特定することとを備える、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

生産設備などの監視対象の異常な動作の原因調査を支援する装置が開発されている。特開２０２２－９９３４１号公報（特許文献１）は、監視対象を撮影することにより得られる動画データと、仮想的な監視対象の動作を再現させた動作再現模擬データとを表示部に表示する技術を開示している。動作再現模擬データは、監視対象の状態と、監視対象と監視対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータに基づいて生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－９９３４１号公報

【特許文献2】特開２０１７－９７４２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の技術によれば、ユーザは、動画データによって示される実動画または動作再現模擬データによって示される仮想動画の中から異常が発生している時刻（以下、「異常時刻」と称される）を見つけ、その前後の監視対象の状態を確認する。しかしながら、撮影時間が長い場合またはカメラの台数が多い場合、実動画または仮想動画から異常時刻を目視で見つけるのに時間がかかる。そのため、監視対象の異常な動作の原因探索に時間がかかる。

【0005】

本開示は、上記の問題に鑑みてなされたものであり、その目的は、監視対象の異常な動作の原因探索を適切に支援可能な情報処理システム、情報処理方法およびプログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示の一例によれば、情報処理システムは、監視対象の状態を表す１以上の変数の値の時系列データを用いた情報処理を行なう。情報処理システムは、シミュレータと、特定モジュールとを備える。シミュレータは、時系列データによって示される対象期間の１以上の変数の値を用いて、仮想空間において監視対象に対応する仮想モデルの対象期間の挙動をシミュレートし、仮想空間に配置された仮想カメラの撮影によって得られる仮想動画を生成する。特定モジュールは、対象期間に監視対象を撮影することにより得られる実動画における移動物体の第１位置と、仮想動画における移動物体に対応する仮想オブジェクトの第２位置との差が基準を超える異常時刻を特定する。

【0007】

この開示によれば、ユーザは、特定モジュールによって特定された異常時刻およびその前後の監視対象の状態を詳細に調査することにより、監視対象の異常な動作の原因を探索しやすくなる。このように、本開示に係る情報処理システムは、監視対象の異常な動作の原因探索を適切に支援できる。

【0008】

上述の開示において、情報処理システムは、異常時刻の一覧を示すデータを出力する出力モジュールをさらに備える。この開示によれば、ユーザは、一覧を用いて、異常時刻を容易に認識できる。

【0009】

上述の開示において、監視対象は、固定位置に配置されたマーカーを含む。シミュレータは、実動画におけるマーカーの位置と、仮想動画におけるマーカーに対応する仮想マーカーの位置とが一致するように、仮想空間における仮想カメラの位置姿勢を設定する。これらの開示によれば、仮想動画と実動画との位置ずれが抑制される。

【0010】

本開示の別の例によれば、情報処理方法は、監視対象の状態を表す１以上の変数の値の時系列データを用いる。情報処理方法は、プロセッサが、時系列データによって示される対象期間の１以上の変数の値を用いて、仮想空間において監視対象に対応する仮想モデルの対象期間の挙動をシミュレートし、仮想空間に配置された仮想カメラの撮影によって得られる仮想動画を生成することを備える。さらに、情報処理方法は、プロセッサが、対象期間に監視対象を撮影することにより得られる実動画における移動物体の第１位置と、仮想動画における移動物体に対応する仮想オブジェクトの第２位置との差が基準を超える異常時刻を特定することを備える。

【0011】

本開示のさらに別の例によれば、プログラムは、上記の情報処理方法をコンピュータに実行させる。

【0012】

これらの開示によっても、情報処理方法およびプログラムは、監視対象の異常な動作の原因探索を適切に支援できる。

【発明の効果】

【0013】

本開示によれば、情報処理システム、情報処理方法およびプログラムは、監視対象の異常な動作の原因探索を適切に支援できる。

【図面の簡単な説明】

【0014】

【図1】実施の形態に係る情報処理システムが適用される製造システムの一例を模式的に例示する図である。

【図2】実施の形態に係る製造システムの全体構成の一例を示す模式図である。

【図3】実施の形態に従う制御装置のハードウェア構成の一例を示す模式図である。

【図4】監視対象の構成の具体例を示す図である。

【図5】視覚センサの処理内容を説明する図である。

【図6】視覚センサ３３０の計測結果を示す変数の一例を示す図である。

【図7】異常時刻の解析処理に関するＰＣのソフトウェア構成の一例を示す図である。

【図8】対応関係情報の一例を示す図である。

【図9】初期情報の一例を示す図である。

【図10】仮想カメラの位置の設定方法を説明する図である。

【図11】特定モジュールによる異常時刻の特定方法を説明する図である。

【図12】ＰＣにおける異常時刻の解析処理の流れの前半を示すフローチャートである。

【図13】ＰＣにおける異常時刻の解析処理の流れの後半を示すフローチャートである。

【図14】ステップＳ２０においてディスプレイに表示されるウィンドウの一例を示す図である。

【図15】仮想ワークの別の生成方法を説明する図である。

【図16】対象期間のデータの可視化処理に関するＰＣのソフトウェア構成の一例を示す図である。

【図17】操作ウィンドウの一例を示す図である。

【図18】ディスプレイに表示される画面例を示す図である。

【発明を実施するための形態】

【0015】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。本明細書において、特に示さない限り、「または」の用語は、「または」の意味に加えて、「および」の意味を包含する。

【0016】

§１ 適用例
図１は、実施の形態に係る情報処理システムが適用される製造システムの一例を模式的に例示する図である。図１に示すように、製造システム１は、情報処理システム１００と、制御装置２００と、監視対象３００と、カメラ４００とを備える。

【0017】

制御装置２００は、典型的には、プログラマブルロジックコントローラ（ＰＬＣ）である。制御装置２００は、監視対象３００と接続され、予め作成された制御プログラムに従って監視対象３００を制御する。

【0018】

監視対象３００は、生産設備または生産ラインなど（以下、「フィールド」と称される）に対して何らかの物理的な作用を与えるアクチュエータ、フィールドに設置される各種のセンサ、またはフィールドとの間で情報を遣り取りする入出力装置などを含み得る。

【0019】

制御装置２００は、監視対象の状態を表す１以上の変数の値を保持し、１以上の変数の値を用いた演算を行なうことにより、監視対象３００を制御する。１以上の変数は、監視対象３００から取得される各種の変数と、監視対象３００へ出力される各種の変数とを含み得る。

【0020】

１以上の変数の値は、制御周期ごとに更新される。制御装置２００は、制御周期ごとの１以上の変数の値を記録し、何らかの異常が生じた対象期間における１以上の変数の値の時系列データ１１を生成する。時系列データ１１は、制御装置２００から情報処理システム１００に転送される。

【0021】

１以上のカメラ４００は、監視対象３００の少なくとも一部を撮影するように設置される。１以上のカメラ４００の撮影によって得られる実動画データ１２は、情報処理システム１００に転送される。なお、カメラ４００の台数は、特に限定されない。以下、製造システム１が１台のカメラ４００を備える実施形態について説明する。

【0022】

情報処理システム１００は、時系列データ１１および実動画データ１２を用いた情報処理を行なう。情報処理システム１００は、１以上のコンピュータによって構成される。情報処理システム１００は、データベース１０と、シミュレータ２０と、特定モジュール３０とを備える。

【0023】

データベース１０は、対象期間における監視対象３００の状態を表す１以上の変数の値の時系列データ１１を記憶する。さらに、データベース１０は、カメラ４００の撮影により得られた実動画データ１２を記憶する。実動画データ１２は、対象期間に監視対象３００を撮影することにより得られる実動画１２ａを示す。

【0024】

シミュレータ２０は、時系列データ１１によって示される対象期間の１以上の変数の値を用いて、仮想空間において監視対象３００に対応する仮想モデルの対象期間の挙動をシミュレートする。さらに、シミュレータ２０は、仮想空間に配置された仮想カメラの撮影によって得られる仮想動画２８ａを生成する。

【0025】

特定モジュール３０は、実動画１２ａにおけるワーク３の第１位置と、仮想動画２８ａにおけるワーク３に対応する仮想ワーク３Ｍの第２位置との差が基準を超える異常時刻を特定する。ワーク３は、本開示の「移動物体」の一例である。仮想ワーク３Ｍは、本開示の「仮想オブジェクト」の一例である。

【0026】

本実施の形態によれば、ユーザは、特定モジュール３０によって特定された異常時刻およびその前後の監視対象３００の状態を詳細に調査することにより、監視対象３００の異常な動作の原因を探索しやすくなる。

【0027】

このように、本実施の形態に係る情報処理システム１００は、監視対象３００の異常な動作の原因探索を適切に支援できる。

【0028】

§２ 具体例
＜製造システムの全体構成＞
図２は、実施の形態に係る製造システムの全体構成の一例を示す模式図である。図２に示されるように、製造システム１は、情報処理システム１００を構成するパーソナルコンピュータ（以下、「ＰＣ１００Ａ」と称される）と、制御装置２００と、監視対象３００と、カメラ４００と、記憶媒体５００とを備える。ＰＣ１００Ａおよび制御装置２００およびカメラ４００は、例えば汎用的なＥｔｈｅｒｎｅｔ（登録商標）を用いて互いに通信可能である。なお、ＰＣ１００Ａと制御装置２００とは、別の通信手段（例えば、Universal Serial Bus（ＵＳＢ））を用いて互いに通信してもよい。

【0029】

記憶媒体５００は、揮発性記憶媒体、不揮発性記憶媒体、ＣＦ（Compact Flash）もしくはＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体を含む。記憶媒体５００は、例えばＳＤメモリカードである。

【0030】

ＰＣ１００Ａは、典型的には、汎用的なアーキテクチャを有しているコンピュータである。図２に示されるように、ＰＣ１００Ａは、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）などのプロセッサ１０１と、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory)などの揮発性の記憶装置で構成されるメモリ１０２と、ストレージ１０３と、入力インターフェイス１０４と、表示コントローラ１０５と、通信インターフェイス１０６と、リーダ／ライタ１０７とを含む。これらの各部は、バスを介して互いにデータ通信が可能なように接続されている。

【0031】

プロセッサ１０１は、ストレージ１０３に格納されたプログラムを読み出して、メモリ１０２に展開する。プロセッサ１０１は、展開されたプログラムを実行する。

【0032】

ストレージ１０３は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、またはフラッシュメモリなどの不揮発性記憶装置で構成される。ストレージ１０３は、プロセッサ１０１によって実行されるプログラムと、データベース１０とを記憶する。

【0033】

プロセッサ１０１によって実行されるプログラムは、開発プログラム１３１と、ビューワープログラム１３２と、データ再現プログラム１３３と、シミュレーションプログラム１３４とを含む。

【0034】

開発プログラム１３１は、主に、制御装置２００が使用する制御プログラムの開発を支援するための命令群を含む。さらに、開発プログラム１３１は、時系列データ１１の生成に関する設定機能と、制御装置２００による制御プログラムの実行状況をモニタリングする機能（以下、「プログラムモニタ機能」と称される）とを提供する。

【0035】

開発プログラム１３１を用いて開発された制御プログラムは、制御装置２００にインストールされる。さらに、開発プログラム１３１の設定機能を用いて生成されたモニタリング設定データは、制御装置２００に転送される。

【0036】

ビューワープログラム１３２は、各種の情報を可視化してユーザに提供するための命令群を含む。ビューワープログラム１３２は、１以上の変数の値の推移を示すグラフを表示する機能（以下、「変数グラフ表示機能」と称される）と、動画を再生する機能とを提供する。

【0037】

データ再現プログラム１３３は、過去のデータを再現するための命令群を含む。データ再現プログラム１３３は、時刻を管理する機能と、再現対象のデータを要求する機能とを含む。

【0038】

シミュレーションプログラム１３４は、仮想空間における監視対象３００の仮想モデルの挙動をシミュレートするための命令群を含む。シミュレーションプログラム１３４は、監視対象３００に対応する仮想モデルの挙動を再現する機能と、制御装置２００によって制御されない移動物体に対応する仮想ワークを動かすためのスクリプトと、データ管理機能と、解析機能とを含む。

【0039】

なお、スクリプトは、例えばＣ＃形式で記述され、スタートメソッドとレンダーメソッドとを含む。スタートメソッドは、スクリプトの実行開始時に１回だけ実行される。レンダーメソッドは、周期的に実行される。

【0040】

データベース１０は、時系列データ１１を記憶する。時系列データ１１は、制御装置２００から転送され、対象期間における監視対象３００の状態を表す１以上の変数の時刻ごとの実績値を示す。さらに、データベース１０は、カメラ４００から転送された実動画データ１２を記憶する。

【0041】

入力インターフェイス１０４は、プロセッサ１０１とキーボード、マウス、またはタッチパネルなどの入力装置１１０との間のデータ伝送を仲介する。表示コントローラ１０５は、ディスプレイ１２０と接続され、プロセッサ１０１によって生成された画面データによって示される画面をディスプレイ１２０に表示する。通信インターフェイス１０６は、通信ネットワークを介して制御装置２００と通信する。リーダ／ライタ１０７は、プロセッサ１０１と外部の記憶媒体（例えば記憶媒体５００を含み得る）との間のデータ伝送を仲介する。

【0042】

開発プログラム１３１、ビューワープログラム１３２、データ再現プログラム１３３、およびシミュレーションプログラム１３４の各々は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。また、開発プログラム１３１、ビューワープログラム１３２、データ再現プログラム１３３、およびシミュレーションプログラム１３４によって提供される機能の一部または全部は、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）によって実現されてもよい。

【0043】

＜制御装置のハードウェア構成＞
図３は、実施の形態に従う制御装置のハードウェア構成の一例を示す模式図である。図３に示されるように、制御装置２００は、主たるコンポーネントとして、制御装置２００の各部に電力ＰＷを供給する電源回路２０１と、ＣＰＵ２０２と、チップセット２０４と、メモリ２０６と、ストレージ２０８と、ＵＳＢコントローラ２５０と、フィールドネットワークコントローラ２５２と、ネットワークコントローラ２５４と、タイマ２６０と、リーダ／ライタ２７０とを含む。

【0044】

ＣＰＵ２０２は、ストレージ２０８に格納されたプログラムを読出して、メモリ２０６に展開する。ＣＰＵ２０２は、展開されたプログラムを実行する。

【0045】

メモリ２０６は、ＤＲＡＭまたはＳＲＡＭなどの揮発性記憶装置で構成される。メモリ２０６は、１以上の変数の値を保持する。メモリ２０６に保持される１以上の変数の値は、ストレージ２０８に格納されるプログラムをＣＰＵ２０２が実行することにより、制御周期に従って更新される。

【0046】

１以上の変数の値は、一定期間だけ、メモリ２０６のバッファ領域２０７に蓄積される。

【0047】

ストレージ２０８は、例えば、ＨＤＤ、ＳＳＤまたはフラッシュメモリなどの不揮発性記憶装置で構成されるが、一部は、揮発性ストレージで構成されてもよい。

【0048】

チップセット２０４は、ＣＰＵ２０２と各コンポーネントとの間のデータの遣り取りを仲介することで、制御装置２００全体としての処理を実現する。

【0049】

ストレージ２０８には、制御装置２００の基本的な機能を実現するためのＯＳ（Operating System）２１２およびスケジューラプログラム２１３を有するシステムプログラム２１１が格納される。

【0050】

さらに、ストレージ２０８は、ＰＣ１００Ａによって作成されたプログラムデータセット２１４を記憶する。プログラムデータセット２１４は、制御プログラムと、サンプリング設定データとを含む。

【0051】

制御プログラムは、監視対象３００から各種の変数の値を収集する処理と、収集された変数の値に基づいた演算を行ない、監視対象３００へ出力すべき各種の変数の値を生成する処理とを定義する。各種の変数の値は、メモリ２０６に一時的に保持される。ＣＰＵ２０２は、制御プログラムを実行することにより、制御周期ごとに、メモリ２０６が保持する変数の値を更新する。

【0052】

サンプリング設定データは、時系列データ１１の生成条件を定義する。時系列データ１１の生成条件は、サンプリングのトリガ条件、サンプリング対象となる変数、およびサンプリング時間などを示す。

【0053】

トリガ条件は、例えば、監視対象３００の異常に関連する変数の値が特定値に変化したという条件を含む。ＣＰＵ２０２は、トリガ条件が満たされたタイミングを含む対象期間における１以上の変数の値を示す時系列データ１１をバッファ領域２０７から読み出し、リーダ／ライタ２７０を制御して記憶媒体５００に時系列データ１１を書き込む。対象期間は、例えば、トリガ条件が満たされたタイミングの前の第１所定期間と、トリガ条件が満たされたタイミングの後の第２所定期間とを含む。第１所定期間および第２所定期間の長さは、サンプリング設定データによって定義される。

【0054】

ＵＳＢコントローラ２５０は、ＵＳＢ接続を介して外部の装置（ＰＣ１００Ａを含み得る）との間のデータの遣り取りを担当する。

【0055】

フィールドネットワークコントローラ２５２は、フィールドネットワークに接続するコネクタ２５２ａを有し、監視対象３００との間のデータの遣り取りを制御する。フィールドネットワークコントローラ２５２は、フィールドネットワークから受信する入力データおよび制御装置２００からフィールドネットワークに出力される出力データを格納する内部バッファを有する。

【0056】

ネットワークコントローラ２５４は、上位ネットワークに接続するコネクタ２５４ａを有し、制御装置２００と外部の装置（ＰＣ１００Ａを含み得る）との間のデータの遣り取りを制御する。

【0057】

タイマ２６０は、時間を計測するクロック回路またはカウンタ回路を含んで構成されるが、このような回路に限定されず、ＣＰＵ２０２が実行するソフトウェアモジュールにより構成されてもよい。

【0058】

リーダ／ライタ２７０は、ＣＰＵ２０２と記憶媒体５００との間のデータ伝送を仲介する。ＣＰＵ２０２は、サンプリング設定データによって示される生成条件に従って生成された時系列データ１１をバッファ領域２０７から記憶媒体５００にコピーする。記憶媒体５００に保存された時系列データ１１は、所定のタイミングにおいて、ネットワークコントローラ２５４を介して、ＰＣ１００Ａに転送される。あるいは、ユーザは、記憶媒体５００をＰＣ１００Ａに接続し、時系列データ１１を記憶媒体５００からＰＣ１００Ａにコピーまたは移動させてもよい。

【0059】

＜監視対象の具体例＞
図４は、監視対象の構成の具体例を示す図である。図４に示されるように、監視対象３００Ａは、搬送システム３１０と、ロボット３２０と、視覚センサ３３０とを含む。

【0060】

搬送システム３１０は、本開示の移動物体の一例であるワーク３を搬送する。搬送システム３１０は、エンコーダ３１２を含む。エンコーダ３１２の計測結果を示す変数は、制御装置２００によって収集される。エンコーダ３１２の計測結果を示す変数値は、「エンコーダ値」と称される。

【0061】

ロボット３２０は、ワーク３に対する加工などを行なう。ロボット３２０は、制御装置２００から受ける各種の変数値（指令値）に応じた動作を行なう。ロボット３２０の現在の状態を表す変数値（状態値）は、制御装置２００によって収集される。

【0062】

視覚センサ３３０は、搬送システム３１０の一部の領域３１３を撮影するように設置されたカメラ３３２から取得された画像に対してパターンマッチングなどの画像計測処理を行なう。

【0063】

図５は、視覚センサの処理内容を説明する図である。視覚センサ３３０は、カメラ３３２が撮影すると、オン状態の撮影フラグを制御装置２００に出力する。撮影フラグは、制御装置２００によって収集される変数の１つである。視覚センサ３３０は、カメラ３３２から画像を取得する。画像は、搬送システム３１０の一部の領域３１３を撮像することにより得られる。視覚センサ３３０は、画像に写るワーク３の個数と、各ワーク３の位置を計測する。さらに、視覚センサ３３０は、画像に写るワーク３の種別を判定してもよい。視覚センサ３３０の計測結果を示す変数の値は、制御装置２００によって収集される。

【0064】

図６は、視覚センサ３３０の計測結果を示す変数の一例を示す図である。図６に示されるように、視覚センサ３３０から、変数「コントローラ名」、変数「ワーク３の検出フラグ」、変数「ワーク３の検出数」、変数「ワーク３のＸ座標」、変数「ワーク３のＹ座標」、変数「ワーク３の回転角度」、変数「ワーク３の種別」の値が収集される。なお、変数「ワーク３のＸ座標」、変数「ワーク３のＹ座標」、変数「ワーク３の回転角度」、変数「ワーク３の種別」の値は、検出された各ワーク３について計測される。そのため、変数「ワーク３のＸ座標」、変数「ワーク３のＹ座標」、変数「ワーク３の回転角度」、変数「ワーク３の種別」は、配列変数を構成する。

【0065】

図４に示されるように、カメラ４００は、搬送システム３１０の領域３１３よりも下流側の領域４１０を撮影するように設置される。

【0066】

監視対象３００Ａは、固定位置に配置された３つ以上のマーカー３９０を含む。３つ以上のマーカー３９０は、領域４１０内に配置される。そのため、カメラ４００の撮影により得られる実動画１２ａの各フレームには、３つ以上のマーカー３９０が写る。

【0067】

＜異常時刻の解析処理に関するＰＣのソフトウェア構成＞
図７は、異常時刻の解析処理に関するＰＣのソフトウェア構成の一例を示す図である。図７に示されるように、ＰＣ１００Ａは、データ再現モジュール１４と、動作設定モジュール２１と、初期情報設定モジュール２２と、キャリブレーションモジュール２３と、動作再現モジュール２４と、仮想ワーク生成モジュール２５と、スクリプト実行モジュール２６と、データ管理モジュール２７と、仮想動画生成モジュール２８と、特定モジュール３０と、出力モジュール３２とを備える。

【0068】

データ再現モジュール１４は、図２に示すプロセッサ１０１がデータ再現プログラム１３３を実行することにより実現される。動作設定モジュール２１、初期情報設定モジュール２２、キャリブレーションモジュール２３、動作再現モジュール２４、仮想ワーク生成モジュール２５、スクリプト実行モジュール２６、データ管理モジュール２７、仮想動画生成モジュール２８、特定モジュール３０、および出力モジュール３２は、プロセッサ１０１がシミュレーションプログラム１３４を実行することにより実現される。

【0069】

なお、動作設定モジュール２１、初期情報設定モジュール２２、キャリブレーションモジュール２３、動作再現モジュール２４、仮想ワーク生成モジュール２５、スクリプト実行モジュール２６、データ管理モジュール２７、および仮想動画生成モジュール２８は、シミュレータ２０を構成する。

【0070】

データ再現モジュール１４は、データベース１０を用いて、対象期間に含まれる時刻のデータを再現する。データ再現モジュール１４は、時刻制御モジュール１５と、データ要求モジュール１６とを含む。

【0071】

時刻制御モジュール１５は、対象期間内の時刻を表すカウンタ値を管理する。カウンタ値は、制御周期の周期カウンタの値である。このため、カウンタ値は、対象期間の開始時からの経過時間を表すことができる。

【0072】

時刻制御モジュール１５は、カウンタ値の更新を行なう。具体的には、時刻制御モジュール１５は、初期カウンタ値を「０」に設定し、その後、規定時間が経過するたびにカウンタ値に１を加算する。

【0073】

データ要求モジュール１６は、カウンタ値が表す指定時刻に応じたクエリを生成する。指定時刻は、対象期間の開始時刻から、規定時間とカウンタ値との積だけ経過した時刻である。データ要求モジュール１６は、生成したクエリを用いて、データベース１０に格納された時系列データ１１から指定時刻における各変数の値を取得する。データ要求モジュール１６は、取得した各変数の値を動作再現モジュール２４、仮想ワーク生成モジュール２５、およびスクリプト実行モジュール２６に出力する。

【0074】

さらに、データ要求モジュール１６は、実動画データ１２によって示される複数の実画像フレームのうち指定時刻に対応する実画像フレームを要求するクエリを生成する。データ要求モジュール１６は、生成したクエリを用いて、データベース１０に格納された実動画データ１２から指定時刻の実画像フレームを取得する。データ要求モジュール１６は、取得した実画像フレームを特定モジュール３０に出力する。実画像フレームには撮影時刻が付加される。

【0075】

なお、実動画データ１２におけるフレーム間隔は、一般に、制御周期よりも長い。そのため、指定時刻に対応する実画像フレームとは、指定時刻以前で指定時刻に最も近い撮影時刻のフレームである。

【0076】

動作設定モジュール２１は、監視対象３００Ａを構成する各可動部品について、関連する変数と可動部品の動作との対応関係を示す対応関係情報を設定する。動作設定モジュール２１は、ユーザ入力に応じて対応関係情報を設定する。

【0077】

図８は、対応関係情報の一例を示す図である。図８に示されるように、対応関係情報２１ａは、可動部品の名称と、可動部品の動作と関連する変数と、並進動作のベクトル（並進ベクトル）と、回転動作の情報（回転情報）とを示す。並進ベクトルは、変数の値に応じた可動部品の並進動作を定義する。回転情報は、変数の値に応じた可動部品の回転動作を定義する。回転情報は、回転軸を定義する情報または回転量を定義する情報を含む。

【0078】

図７に戻って、初期情報設定モジュール２２は、監視対象３００Ａの各部品および監視対象３００Ａの周囲の物体（ワーク３を含む）の各々について、対象期間の開始時刻における初期情報を設定する。監視対象３００Ａの周囲の物体は、ワーク３の他に、例えば、トレーまたは固定台などを含み得る。初期情報設定モジュール２２は、ユーザ入力に応じて初期情報を設定する。

【0079】

図９は、初期情報の一例を示す図である。図９に示されるように、初期情報２２ａは、オブジェクト名と、外表面のメッシュ形状と、位置を定義付ける座標と、従属情報とを含む。従属情報は、従属先（監視対象３００Ａの部品、監視対象３００Ａの周囲の物体を含む）と、従属先との相対位置関係とを示す。なお、従属先が存在しない場合、従属情報はNullに設定される。第１物体が第２物体に従属することは、第１物体が第２物体との相対位置関係を維持しながら第２物体に追従することを意味する。

【0080】

なお、外表面のメッシュ形状は、予めインポートされたＣＡＤ（Computer-Aided Design）データから設定されてもよい。また、ワーク３は、対象期間の開始時刻において存在しない場合が有り得る。そのため、ワーク３について、位置を定義付ける座標は設定されない。後述するように、ワーク３の初期位置は、スクリプト実行モジュール２６によって設定される。

【0081】

図７に戻って、キャリブレーションモジュール２３は、仮想空間における仮想カメラの位置を設定する。

【0082】

図１０は、仮想カメラの位置の設定方法を説明する図である。図１０には、カメラ４００の撮影によって得られる実動画１２ａの実画像フレーム１２ｂが示される。上述したように、実画像フレーム１２ｂには、３つ以上のマーカー３９０が写る。さらに、図１０には、仮想空間５に配置された仮想カメラ４００Ｍの撮影によって得られる仮想動画２８ａの仮想画像フレーム２８ｂが示される。

【0083】

キャリブレーションモジュール２３は、実画像フレーム１２ｂにおけるマーカー３９０の位置と、仮想画像フレーム２８ｂにおける仮想マーカー３９０Ｍの位置とが一致するように、仮想空間５における仮想カメラ４００Ｍの位置姿勢を設定する。

【0084】

図７に戻って、動作再現モジュール２４は、１以上の変数の値に基づいて、対象期間における監視対象３００Ａの仮想モデルの動作をシミュレートする。

【0085】

具体的には、動作再現モジュール２４は、データ再現モジュール１４から、対象期間における時刻ごとの１以上の変数の値を時系列に沿って順に取得する。動作再現モジュール２４は、各時刻の１以上の変数の値に基づいて、仮想モデルの状態を示すデータ（１）を生成する。データ（１）は、仮想モデルの各部分の位置を示す。以下、対象期間の開始時刻ｔ０から制御周期のｋ倍が経過した時刻ｔｋに対応するデータ（１）は、「第ｋデータ（１）」と称される。

【0086】

動作再現モジュール２４は、時刻ｔｋにおける１以上の変数の値を取得すると、取得した値と対応関係情報２１ａとに基づいて、時刻ｔｋにおける仮想モデルのうち各可動部品に対応する部分の動作をシミュレートする。動作再現モジュール２４は、各部分の動作を統合することにより、時刻ｔｋにおける仮想モデルの状態を示す第ｋデータ（１）を生成する。動作再現モジュール２４は、第ｋデータ（１）をデータ管理モジュール２７に出力する。

【0087】

仮想ワーク生成モジュール２５は、１以上の変数の値に基づいてワーク３に対応する仮想ワーク３Ｍ（図１参照）を生成する。仮想ワーク生成モジュール２５は、データ再現モジュール１４から、対象期間における時刻ごとの１以上の変数の値を時系列に沿って順に取得する。仮想ワーク生成モジュール２５は、取得した１以上の変数の値の中に視覚センサ３３０の計測結果を示す変数の値が含まれることに応じて、仮想ワーク３Ｍを生成する。

【0088】

具体的には、仮想ワーク生成モジュール２５は、視覚センサ３３０によって計測されたワーク３の位置を示す変数の値に基づいて、仮想ワーク３Ｍの初期位置を設定し、初期位置に仮想ワーク３Ｍを生成する。

【0089】

仮想ワーク生成モジュール２５は、カメラ３３２が画像を撮影してから、視覚センサ３３０が当該画像に基づいてワーク３の位置を計測するまでのタイムラグを考慮して、初期位置を補正することが好ましい。例えば、仮想ワーク生成モジュール２５は、特開２０１７－９７４２６号公報（特許文献２）に記載の技術を用いて、エンコーダ３１２の計測結果を示す変数の値（エンコーダ値）と、視覚センサ３３０から出力される撮影フラグとを用いて、初期位置を補正する。

【0090】

具体的には、仮想ワーク生成モジュール２５は、データ再現モジュール１４からオン状態を示す撮影フラグを受けると、当該撮影フラグに対応する時刻ｔｐと、当該時刻ｔｐにおけるエンコーダ値とを記録する。仮想ワーク生成モジュール２５は、時刻ｔｑに対応する１以上の変数の値の中に視覚センサ３３０の計測結果を示す変数の値が含まれる場合、当該１以上の変数の値の中から時刻ｔｑにおけるエンコーダ値を抽出する。時刻ｔｑは、時刻ｔｐより後である。仮想ワーク生成モジュール２５は、時刻ｔｐにおけるエンコーダ値と時刻ｔｑにおけるエンコーダ値との差に基づいて、時刻ｔｐから時刻ｔｑまでの間における搬送システム３１０の移動量を計算する。仮想ワーク生成モジュール２５は、当該移動量だけ初期位置を補正する。

【0091】

仮想ワーク生成モジュール２５は、新たな仮想ワーク３Ｍを生成すると、新たな仮想ワーク３Ｍの位置を示すデータ（２）をデータ管理モジュール２７に出力する。

【0092】

スクリプト実行モジュール２６は、対象期間における仮想ワーク３Ｍの運動をシミュレートし、シミュレート結果に応じてデータ（２）を更新する。スクリプト実行モジュール２６は、データ再現モジュール１４から、対象期間における時刻ごとの１以上の変数の値を時系列に沿って順に取得する。スクリプト実行モジュール２６は、時刻ｔｋにおける１以上の変数の値に基づいて、ワーク３の従属先の部品に対応する仮想モデルの部分の動作をシミュレートする。当該シミュレートの方法は、動作再現モジュール２４におけるシミュレートの方法と同じである。スクリプト実行モジュール２６は、ワーク３の初期情報２２ａに含まれる従属情報が示す相対位置関係と、従属先の部品に対応する仮想モデルの部品の位置とに基づいて、時刻ｔｋにおける仮想ワーク３Ｍの運動をシミュレートする。スクリプト実行モジュール２６は、シミュレート結果と時刻ｔｋ－１に対応するデータ（２）とに基づいて、時刻ｔｋにおける仮想ワーク３Ｍの位置を示すデータ（２）を生成する。動作再現モジュール２４は、時刻ｔｋに対応するデータ（２）をデータ管理モジュール２７に出力する。

【0093】

スクリプト実行モジュール２６は、仮想空間５に複数の仮想ワーク３Ｍが存在する場合、複数の仮想ワーク３Ｍの各々について、データ（２）を更新する。

【0094】

なお、スクリプト実行モジュール２６は、動作再現モジュール２４によって生成された第ｋデータ（１）と従属情報が示す相対位置関係とに基づいて、時刻ｔｋにおける仮想ワーク３Ｍの運動をシミュレートしてもよい。

【0095】

データ管理モジュール２７は、仮想モデル３００Ｍの状態を示すデータ（１）および仮想ワーク３Ｍの状態を示すデータ（２）を管理する。データ管理モジュール２７は、第ｋデータ（１）を取得すると、第ｋ－１データ（１）および第ｋデータ（１）を保持し、第ｋ－２データ（１）を削除する。データ管理モジュール２７は、時刻ｔｋに対応するデータ（２）を取得すると、時刻ｔｋ－１に対応するデータ（２）および時刻ｔｋに対応するデータ（２）を保持し、時刻ｔｋ－２に対応するデータ（２）を削除する。

【0096】

仮想動画生成モジュール２８は、データ（１）およびデータ（２）に基づいて、仮想動画２８ａを生成する。具体的には、仮想動画生成モジュール２８は、仮想空間５において、データ（１）で示される状態となるように仮想モデル３００Ｍを配置し、データ（２）で示される位置に仮想ワーク３Ｍを配置する。さらに、仮想動画生成モジュール２８は、仮想空間５において、キャリブレーションモジュール２３によって設定された位置に仮想カメラ４００Ｍを配置する。仮想動画生成モジュール２８は、時刻ごとに、仮想カメラ４００Ｍの撮影により得られる仮想画像フレーム２８ｂを生成することにより、仮想動画２８ａを生成する。

【0097】

特定モジュール３０は、データ再現モジュール１４から、対象期間における時刻ごとの実画像フレーム１２ｂを取得する。実画像フレーム１２ｂは、実動画データ１２によって示される実動画１２ａのうち指定時刻に対応する。特定モジュール３０は、時刻ｔｋに対応する実画像フレーム１２ｂを取得すると、当該時刻ｔｋに対応するデータ（１）およびデータ（２）に基づいて生成された仮想画像フレーム２８ｂを仮想動画生成モジュール２８から取得する。

【0098】

図１１は、特定モジュールによる異常時刻の特定方法を説明する図である。特定モジュール３０は、実画像フレーム１２ｂにおけるワーク３の第１位置を特定する。例えば、特定モジュール３０は、公知の物体認識技術を用いて実画像フレーム１２ｂから各ワーク３の写る画素群を認識し、当該画素群の重心を第１位置として特定する。

【0099】

さらに、特定モジュール３０は、仮想画像フレーム２８ｂにおける仮想ワーク３Ｍの第２位置を特定する。特定モジュール３０は、公知の物体認識技術を用いて仮想画像フレーム２８ｂから各仮想ワーク３Ｍの写る画素群を認識し、当該画素群の重心を第２位置として特定する。

【0100】

特定モジュール３０は、第１位置と第２位置との差が予め定められた基準を超える時刻を異常時刻として特定する。すなわち、特定モジュール３０は、時刻ｔｋに対応する実画像フレーム１２ｂから特定された第１位置と、時刻ｔｋに対応する仮想画像フレーム２８ｂから特定された第２位置との差が基準を超えることに応じて、時刻ｔｋを異常時刻として特定する。

【0101】

図７に戻って、出力モジュール３２は、異常時刻の一覧を示すデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、異常時刻の一覧がディスプレイ１２０に表示される。

【0102】

＜異常時刻の解析処理の流れ＞
図１２は、ＰＣにおける異常時刻の解析処理の流れの前半を示すフローチャートである。図１３は、ＰＣにおける異常時刻の解析処理の流れの後半を示すフローチャートである。

【0103】

まずステップＳ１において、ＰＣ１００Ａのプロセッサ１０１は、シミュレーションの初期化処理を行なう。具体的には、プロセッサ１０１は、シミュレーションプログラム１３４に含まれるスクリプトの初期化関数を実行する。

【0104】

次にステップＳ２において、プロセッサ１０１は、対象期間の開始時刻ｔ０を時刻ｔとして設定する。具体的には、プロセッサ１０１は、カウンタ値を０に設定する。さらに、プロセッサ１０１は、序数ｉを０に設定する。

【0105】

次のステップＳ３において、プロセッサ１０１は、時刻ｔにおける１以上の変数の値を時系列データ１１から取得する。

【0106】

次のステップＳ４において、プロセッサ１０１は、１以上の変数の値に基づいて、監視対象３００Ａに対応する仮想モデルの挙動をシミュレートする。さらに、ステップＳ５において、プロセッサ１０１は、仮想空間５上に既に仮想ワーク３Ｍが配置されている場合、仮想モデルの挙動に応じて、既存の仮想ワーク３Ｍを移動させる。

【0107】

次のステップＳ６において、プロセッサ１０１は、視覚センサ３３０の計測結果を示す変数の値に基づいて、ワーク３が検出されたか否かを判断する。ワーク３が検出された場合（ステップＳ６でＹＥＳ）、ステップＳ７において、プロセッサ１０１は、仮想空間５において、視覚センサ３３０の計測結果に応じた初期位置に仮想ワーク３Ｍを生成する。

【0108】

ステップＳ７の後、または、ステップＳ６でＮＯの場合、解析処理はステップＳ８に移る。ステップＳ８において、プロセッサ１０１は、時刻ｔに対応する仮想画像フレーム２８ｂを生成する。仮想画像フレーム２８ｂは、仮想動画２８ａを構成する。次のステップＳ９において、プロセッサ１０１は、仮想画像フレーム２８ｂにおける仮想ワーク３Ｍの第２位置を特定する。具体的には、プロセッサ１０１は、第２位置の画素座標を特定する。

【0109】

次のステップＳ１０において、プロセッサ１０１は、実動画データ１２から、時刻ｔに対応する実画像フレーム１２ｂを取得する。次のステップＳ１１において、プロセッサ１０１は、実画像フレーム１２ｂにおけるワーク３の第１位置を特定する。具体的には、プロセッサ１０１は、第１位置の画素座標を特定する。

【0110】

次のステップＳ１２において、プロセッサ１０１は、第１位置と第２位置との差が基準を超えるか否かを判断する。例えば、プロセッサ１０１は、第１位置の画素座標と第２位置の画素座標との誤差が閾値を超えるか否かを判断する。

【0111】

第１位置と第２位置との差が基準を超える場合（ステップＳ１２でＹＥＳ）、ステップＳ１３において、プロセッサ１０１は、時刻ｔを異常時刻ｔ_ｂ［ｉ］として設定する。さらに、ステップＳ１４において、プロセッサ１０１は、序数ｉに１を加算する。

【0112】

ステップＳ１４の後、または、第１位置と第２位置との差が基準を超えない場合（ステップＳ１２でＮＯ）、解析処理はステップＳ１５に移る。ステップＳ１５において、プロセッサ１０１は、時刻ｔが対象期間の終了時刻Ｔより前か否かを判断する。時刻ｔが終了時刻Ｔよりも前である場合（ステップＳ１５でＹＥＳ）、ステップＳ１６において、プロセッサ１０１は、時刻ｔを制御周期分だけ進める。具体的には、プロセッサ１０１は、カウンタ値を１だけ進める。ステップＳ１６の後、解析処理はステップＳ３に戻る。時刻ｔが終了時刻Ｔよりも前ではない場合（ステップＳ１５でＮＯ）、ステップＳ１７において、プロセッサ１０１は、異常時刻ｔ_ｂの一覧を示すデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、異常時刻ｔ_ｂの一覧がディスプレイ１２０に表示される。ステップＳ１７の後、解析処理は終了する。

【0113】

＜画面例＞
図１４は、ステップＳ２０においてディスプレイに表示されるウィンドウの一例を示す図である。図１４に示すウィンドウのデータは、プロセッサ１０１によって生成される。図１４に示されるように、ウィンドウ５０は、異常時刻ｔ_ｂの一覧を示す。

【0114】

＜解析処理の変形例＞
上記の説明では、仮想ワーク生成モジュール２５は、視覚センサ３３０の計測結果を示す変数の値に応じて、仮想ワーク３Ｍを生成する。しかしながら、仮想ワーク３Ｍの生成方法はこれに限定されない。

【0115】

例えば、仮想ワーク生成モジュール２５は、カメラ３３２によって撮影された画像に基づいて、仮想ワーク３Ｍを生成してもよい。例えば、カメラ３３２によって撮影された画像は、データベース１０に蓄積される。データ再現モジュール１４は、指定時刻に対応する画像がデータベース１０に蓄積されている場合、１以上の変数の値とともに当該画像を仮想ワーク生成モジュール２５に出力する。仮想ワーク生成モジュール２５は、データ再現モジュール１４から画像を受けると、当該画像に対して視覚センサ３３０と同じ処理を実行することにより、当該画像に写るワーク３の位置を特定する。仮想ワーク生成モジュール２５は、特定した位置に基づいて、仮想ワーク３Ｍの初期位置を設定すればよい。そして、仮想ワーク生成モジュール２５は、仮想空間５において、初期位置に仮想ワーク３Ｍを生成する。

【0116】

図１５は、仮想ワークの別の生成方法を説明する図である。図１５に示されるように、搬送システム３１０において、ワーク３は、一列に沿って搬送される。物体検知センサ３４５は、カメラ４００によって撮影される領域４１０（図４参照）よりも上流側に配置され、場所３１４にワーク３が存在するか否かを検知する。

【0117】

１以上の変数は、物体検知センサ３４５の検知結果を示す特定変数を含む。仮想ワーク生成モジュール２５は、特定変数の値がワーク３の存在を示すことに基づいて、仮想空間５における場所３１４に対応する位置に仮想ワーク３Ｍを生成すればよい。

【0118】

＜対象期間のデータの可視化処理＞
図１６は、対象期間のデータの可視化処理に関するＰＣのソフトウェア構成の一例を示す図である。図１６に示されるように、ＰＣ１００Ａは、時刻指定モジュール１３と、データ再現モジュール１４と、波形表示モジュール４１と、プログラム表示モジュール４２と、動画再生モジュール４３とを備える。波形表示モジュール４１および動画再生モジュール４３は、プロセッサ１０１がビューワープログラム１３２を実行することにより実現される。プログラム表示モジュール４２は、プロセッサ１０１が開発プログラム１３１を実行することにより実現される。

【0119】

時刻指定モジュール１３は、再生開始カウンタ値と再生条件とを設定し、設定した再生開始カウンタ値と再生条件とをデータ再現モジュール１４に出力する。時刻指定モジュール１３は、操作ウィンドウに対するユーザ入力に応じて、再生開始カウンタ値と再生条件とを設定する。

【0120】

図１７は、操作ウィンドウの一例を示す図である。図１７に示す操作ウィンドウ６０は、時刻指定モジュール１３によって生成され、図２に示すディスプレイ１２０に表示される。操作ウィンドウ６０は、カーソル６１と、入力欄６２，６６と、再生ボタン６３と、コマ戻しボタン６４と、コマ送りボタン６５とを含む。

【0121】

カーソル６１は、対象期間内の時刻を表す。時刻指定モジュール１３は、ユーザによるカーソル６１の移動操作を受け付け、移動操作に応じてカーソル６１の位置を移動させる。さらに、データ再現モジュール１４によってカウンタ値が更新されると、時刻指定モジュール１３は、カウンタ値に対応する位置にカーソル６１を移動させる。

【0122】

入力欄６２には、カーソル６１の位置に対応するカウンタ値が表示される。カウンタ値は、対象期間における制御周期の序数を表す。ユーザは、入力欄６２にカウンタ値を入力してもよい。入力欄６２にカウンタ値が入力されると、時刻指定モジュール１３は、入力されたカウンタ値に対応する位置にカーソル６１を移動させる。さらに、データ再現モジュール１４によってカウンタ値が更新されると、時刻指定モジュール１３は、入力欄６２に表示される数値を更新する。

【0123】

入力欄６６は、再生速度の入力のために使用される。時刻指定モジュール１３は、入力欄６６のプルダウンボタンが操作されたことに応じて、複数の再生速度の一覧を表示する。時刻指定モジュール１３は、一覧の中からユーザによって選択された再生速度を入力欄６６に表示する。なお、図１７に示す例では、再生速度は倍率によって表される。そのため、以下では、「再生速度」を「再生倍率」として表記する。

【0124】

再生ボタン６３、コマ戻しボタン６４およびコマ送りボタン６５は、データ再現モジュール１４によるデータ再現に関する操作を入力するために利用される。時刻指定モジュール１３は、再生ボタン６３、コマ戻しボタン６４およびコマ送りボタン６５のいずれかがクリックされたことに応じて、再生開始カウンタ値と再生条件とを設定し、設定した再生開始カウンタ値および再生条件をデータ再現モジュール１４に出力する。

【0125】

再生ボタン６３は、データ再現モジュール１４によるデータ再現の開始を指示するために使用される。時刻指定モジュール１３は、再生ボタン６３がクリックされると、再生開始カウンタ値と再生条件とを設定し、設定した再生開始カウンタ値と再生条件とをデータ再現モジュール１４に出力する。具体的には、時刻指定モジュール１３は、カーソル６１の位置に対応するカウンタ値を再生開始カウンタ値として設定する。さらに、時刻指定モジュール１３は、入力欄６６に入力されている再生倍率に従って、再生条件を設定する。

【0126】

コマ戻しボタン６４は、時刻を１制御周期だけ戻すために使用される。時刻指定モジュール１３は、コマ戻しボタン６４がクリックされると、カーソル６１の位置に対応するカウンタ値から１だけ引いたカウンタ値を再生開始カウンタ値として設定する。さらに、時刻指定モジュール１３は、再生倍率「０」を示す再生条件を設定する。なお、時刻ｔが対象期間の開始時刻ｔ０である場合、コマ戻しボタン６４の操作が無効にされる。

【0127】

コマ送りボタン６５は、時刻を１制御周期だけ進めるために使用される。時刻指定モジュール１３は、コマ送りボタン６５がクリックされると、カーソル６１の位置に対応するカウンタ値に１を加えたカウンタ値を再生開始カウンタ値として設定する。さらに、時刻指定モジュール１３は、再生倍率「０」を示す再生条件を設定する。なお、時刻ｔが対象期間の終了時刻Ｔである場合、コマ送りボタン６５の操作が無効にされる。

【0128】

図１６に戻って、データ再現モジュール１４は、再生開始カウンタ値と再生条件とに基づいて、データを再現する。データ再現モジュール１４の時刻制御モジュール１５は、再生開始カウンタ値を初期カウンタ値として設定し、その後、規定時間が経過するたびにカウンタ値に規定値（例えば５０または１００）に再生倍率を乗じた値を加算する。規定時間は、制御周期に規定値を乗じた時間である。再生条件として再生倍率「×１．０」が設定された場合、時刻制御モジュール１５は、規定時間が経過するたびに、カウンタ値に規定値を加算する。再生条件として再生倍率「×２．０」が設定された場合、時刻制御モジュール１５は、規定時間が経過するたびに、カウンタ値に規定値の２倍の値を加算する。なお、再生条件として再生倍率「０」が設定された場合、時刻制御モジュール１５は、カウント値を更新しない。

【0129】

データ要求モジュール１６は、カウンタ値が表す指定時刻に応じたクエリを生成する。データ要求モジュール１６は、クエリを用いて、時系列データ１１から指定時刻における１以上の変数の値を取得する。さらに、データ要求モジュール１６は、クエリを用いて、実動画データ１２から指定時刻に対応する実画像フレーム１２ｂを取得する。データ要求モジュール１６は、取得した１以上の変数の値を波形表示モジュール４１およびプログラム表示モジュール４２に出力する。データ要求モジュール１６は、取得した実画像フレーム１２ｂを動画再生モジュール４３に出力する。

【0130】

波形表示モジュール４１は、データ再現モジュール１４から受けた１以上の変数の値に基づいて、対象期間における変数の値の推移を示すグラフを含むウィンドウのデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、対象期間における変数の値の推移を示すグラフを含むウィンドウがディスプレイ１２０に表示される。

【0131】

プログラム表示モジュール４２は、データ再現モジュール１４から受けた１以上の変数の値に基づいて、対象期間における制御プログラムの実行状況を示すウィンドウのデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、対象期間における制御プログラムの実行状況を示すウィンドウがディスプレイ１２０に表示される。

【0132】

動画再生モジュール４３は、データ再現モジュール１４から受けた実画像フレーム１２ｂに基づいて、対象期間に撮影された実動画が再生されるウィンドウのデータを生成する。動画再生モジュール４３は、当該データを表示コントローラ１０５に出力する。これにより、対象期間に撮影された実動画が再生されるウィンドウがディスプレイ１２０に表示される。

【0133】

図１８は、ディスプレイに表示される画面例を示す図である。図１８に示されるように、ディスプレイ１２０には、操作ウィンドウ６０と、変数の値の推移を示すグラフを含むウィンドウ８１と、制御プログラムの実行状況を示すウィンドウ８２と、動画が再生されるウィンドウ８３とが並べて表示される。

【0134】

ユーザは、操作ウィンドウ６０を操作することにより、解析処理によって特定された異常時刻ｔ_ｂとその前後における、変数の値の推移、制御プログラムの実行状況および動画を確認できる。これにより、ユーザは、監視対象３００の異常な動作の原因を探索しやすくなる。

【0135】

＜変形例＞
上記の説明では、情報処理システム１００が１つのＰＣ１００Ａによって構成されるものとした。しかしながら、情報処理システム１００は、複数のコンピュータによって構成されてもよい。すなわち、情報処理システム１００は、複数のプロセッサを含んでもよい。あるいは、情報処理システム１００は、クラウド上の仮想マシン等、汎用的なＰＣ以外のハードウェア環境を含んでもよい。

【0136】

§３ 付記
以上のように、本実施の形態は以下のような開示を含む。

【0137】

（構成１）
監視対象（３００）の状態を表す１以上の変数の値の時系列データ（１１）を用いた情報処理を行なう情報処理システム（１００，１００Ａ）であって、
前記時系列データ（１１）によって示される対象期間の前記１以上の変数の値を用いて、仮想空間（５）において前記監視対象に対応する仮想モデルの前記対象期間の挙動をシミュレートし、前記仮想空間（５）に配置された仮想カメラ（４００Ｍ）の撮影によって得られる仮想動画（２８ａ）を生成するシミュレータ（２０）と、
前記対象期間に前記監視対象（３００）を撮影することにより得られる実動画（１２ａ）における移動物体（３）の第１位置と、前記仮想動画（２８ａ）における前記移動物体（３）に対応する仮想オブジェクト（３Ｍ）の第２位置との差が基準を超える異常時刻を特定する特定モジュール（３０）とを備える、情報処理システム（１００，１００Ａ）。

【0138】

（構成２）
前記異常時刻の一覧を示すデータを出力する出力モジュール（３２）をさらに備える、構成１に記載の情報処理システム（１００，１００Ａ）。

【0139】

（構成３）
前記監視対象（３００）は、固定位置に配置されたマーカー（３９０）を含み、
前記シミュレータ（２０）は、前記実動画（１２ａ）における前記マーカー（３９０）の位置と、前記仮想動画（２８ａ）における前記マーカー（３９０）に対応する仮想マーカー（３９０Ｍ）の位置とが一致するように、前記仮想空間（５）における前記仮想カメラ（４００Ｍ）の位置姿勢を設定する、構成１または２に記載の情報処理システム（１００，１００Ａ）。

【0140】

（構成４）
監視対象（３００）の状態を表す１以上の変数の値の時系列データ（１１）を用いた情報処理方法であって、
プロセッサ（１０１）が、前記時系列データ（１１）によって示される対象期間の前記１以上の変数の値を用いて、仮想空間（５）において前記監視対象（３００）に対応する仮想モデルの前記対象期間の挙動をシミュレートし、前記仮想空間（５）に配置された仮想カメラ（４００Ｍ）の撮影によって得られる仮想動画（２８ａ）を生成すること（Ｓ４～Ｓ８）と、
前記プロセッサ（１０１）が、前記対象期間に前記監視対象（３００）を撮影することにより得られる実動画（１２ａ）における移動物体（３）の第１位置と、前記仮想動画（２８ａ）における前記移動物体（３）に対応する仮想オブジェクト（３Ｍ）の第２位置との差が基準を超える異常時刻を特定すること（Ｓ９～Ｓ１３）とを備える、情報処理方法。

【0141】

（構成５）
監視対象（３００）の状態を表す１以上の変数の値の時系列データ（１１）を用いた情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
前記時系列データ（１１）によって示される対象期間の前記１以上の変数の値を用いて、仮想空間（５）において前記監視対象（３００）に対応する仮想モデルの前記対象期間の挙動をシミュレートし、前記仮想空間（５）に配置された仮想カメラ（４００Ｍ）の撮影によって得られる仮想動画（２８ａ）を生成すること（Ｓ４～Ｓ８）と、
前記対象期間に前記監視対象（３００）を撮影することにより得られる実動画（１２ａ）における移動物体（３）の第１位置と、前記仮想動画（２８ａ）における前記移動物体（３）に対応する仮想オブジェクト（３Ｍ）の第２位置との差が基準を超える異常時刻を特定すること（Ｓ９～Ｓ１３）とを備える、プログラム。

【0142】

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0143】

１ 製造システム、３ ワーク、３Ｍ 仮想ワーク、５ 仮想空間、１０ データベース、１１ 時系列データ、１２ 実動画データ、１２ａ 実動画、１２ｂ 実画像フレーム、１３ 時刻指定モジュール、１４ データ再現モジュール、１５ 時刻制御モジュール、１６ データ要求モジュール、２０ シミュレータ、２１ 動作設定モジュール、２１ａ 対応関係情報、２２ 初期情報設定モジュール、２２ａ 初期情報、２３ キャリブレーションモジュール、２４ 動作再現モジュール、２５ 仮想ワーク生成モジュール、２６ スクリプト実行モジュール、２７ データ管理モジュール、２８ 仮想動画生成モジュール、２８ａ 仮想動画、２８ｂ 仮想画像フレーム、３０ 特定モジュール、３２ 出力モジュール、４１ 波形表示モジュール、４２ プログラム表示モジュール、４３ 動画再生モジュール、５０，８１，８２，８３ ウィンドウ、６０ 操作ウィンドウ、６１ カーソル、６２，６６ 入力欄、６３ 再生ボタン、６４ コマ戻しボタン、６５ コマ送りボタン、１００ 情報処理システム、１００Ａ ＰＣ、１０１ プロセッサ、１０２，２０６ メモリ、１０３，２０８ ストレージ、１０４ 入力インターフェイス、１０５ 表示コントローラ、１０６ 通信インターフェイス、１０７，２７０ リーダ／ライタ、１１０ 入力装置、１２０ ディスプレイ、１３１ 開発プログラム、１３２ ビューワープログラム、１３３ データ再現プログラム、１３４ シミュレーションプログラム、２００ 制御装置、２０１ 電源回路、２０２ ＣＰＵ、２０４ チップセット、２０７ バッファ領域、２１１ システムプログラム、２１３ スケジューラプログラム、２１４ プログラムデータセット、２５０ ＵＳＢコントローラ、２５２ フィールドネットワークコントローラ、２５２ａ，２５４ａ コネクタ、２５４ ネットワークコントローラ、２６０ タイマ、３００，３００Ａ 監視対象、３００Ｍ 仮想モデル、３１０ 搬送システム、３１２ エンコーダ、３１３，４１０ 領域、３１４ 場所、３２０ ロボット、３３０ 視覚センサ、３３２，４００ カメラ、３４５ 物体検知センサ、３９０ マーカー、３９０Ｍ 仮想マーカー、４００Ｍ 仮想カメラ、５００ 記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】