特開 2025-11445 情報処理システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011445

(43)【公開日】2025-01-24

(54)【発明の名称】情報処理システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20250117BHJP

   G06T 19/00 20110101ALI20250117BHJP

【ＦＩ】

G05B23/02 301Z

G06T19/00 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023113566

(22)【出願日】2023-07-11

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】大貫 はる奈

(72)【発明者】

【氏名】岩村 慎太郎

(72)【発明者】

【氏名】玉嶋 大輔

(72)【発明者】

【氏名】重森 弓束

(72)【発明者】

【氏名】真鍋 美樹子

【テーマコード（参考）】

3C223

5B050

【Ｆターム（参考）】

3C223AA11

3C223BA03

3C223BB08

3C223BB17

3C223CC02

3C223DD03

3C223EB02

3C223FF13

3C223FF23

3C223GG01

3C223HH07

5B050BA08

5B050BA09

5B050CA07

5B050DA04

5B050EA07

5B050EA19

5B050FA05

(57)【要約】

【課題】生産設備の異常な動作の原因調査を適切に支援可能な情報処理システムを提供する。
【解決手段】情報処理システムは、対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶するデータベースを備える。情報処理システムは、制御装置によって制御されない物体の第１仮想モデルの運動をシミュレートし、対象期間における第１仮想モデルの位置姿勢の第２時系列データをデータベースに格納する。情報処理システムは、第１仮想モデルと制御対象の第２仮想モデルとを含む仮想画像を生成する。仮想画像において、第２時系列データが示す指定時刻の位置姿勢をとるように第１仮想モデルが可視化され、第１時系列データが示す指定時刻の１以上の変数の値に対応する制御対象の状態を有するように第２仮想モデルが可視化される。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理システムであって、
対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースと、
前記第１時系列データと、前記対象期間における前記制御装置の制御対象と前記制御装置によって制御されない物体との従属関係と、前記物体の物理特性とに基づいて、前記対象期間における前記物体の第１仮想モデルの運動をシミュレートするシミュレータと、
前記シミュレータによるシミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データを取得し、前記第２時系列データを前記１以上のデータベースに格納するデータ取得モジュールと、
前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成する第１可視化モジュールとを備え、
前記第１可視化モジュールは、前記仮想画像において、
前記第２時系列データが示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化し、
前記第１時系列データが示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象の状態を有するように前記第２仮想モデルを可視化する、情報処理システム。

【請求項2】

前記物体を撮影することにより得られた動画に基づいて、前記対象期間における前記物体の形状変化を解析する形状解析モジュールを備え、
前記データ取得モジュールは、前記形状解析モジュールによる解析結果から、前記対象期間における前記物体の形状の第３時系列データを取得し、前記第３時系列データを前記１以上のデータベースに格納し、
前記第１可視化モジュールは、前記仮想画像において、前記第３時系列データが示す前記指定時刻の形状を有するように前記第１仮想モデルを可視化する、請求項１に記載の情報処理システム。

【請求項3】

前記シミュレータは、
前記対象期間のうちの第１区間において、前記第１時系列データが示す前記１以上の変数の値に基づいて、前記第２仮想モデルの動作をシミュレートし、前記第２仮想モデルに追従するように前記第１仮想モデルの運動をシミュレートし、
前記対象期間のうち前記第１区間以外の第２区間において、前記物理特性に基づいて、前記第１仮想モデルの運動をシミュレートする、請求項１に記載の情報処理システム。

【請求項4】

前記指定時刻における前記１以上の変数の値が可視化された第１ウィンドウのデータを生成する１以上の第２可視化モジュールと、
前記第１ウィンドウと、前記仮想画像を含む第２ウィンドウとをディスプレイ上に並べて表示させる表示コントローラとをさらに備える、請求項１に記載の情報処理システム。

【請求項5】

前記１以上の第２可視化モジュールは、前記１以上の変数の値の推移を示すグラフを可視化する波形表示モジュールと、前記制御装置における前記制御対象を制御するための制御プログラムの実行状況を可視化するプログラム表示モジュールとの少なくとも１つを含む、請求項４に記載の情報処理システム。

【請求項6】

前記制御対象を撮影することにより得られた動画のうち前記指定時刻におけるフレームを含む第１ウィンドウのデータを生成する動画再生モジュールと、
前記第１ウィンドウと、前記仮想画像を含む第２ウィンドウとをディスプレイ上に並べて表示させる表示コントローラとをさらに備える、請求項１に記載の情報処理システム。

【請求項7】

対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースを用いた情報処理方法であって、
１以上のプロセッサが、前記第１時系列データと、前記対象期間における前記制御装置の制御対象と前記制御装置によって制御されない物体との従属関係と、前記物体の物理特性とに基づいて、前記対象期間における前記物体の第１仮想モデルの運動をシミュレートすることと、
前記１以上のプロセッサが、シミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データを取得し、前記第２時系列データを前記１以上のデータベースに格納することと、
前記１以上のプロセッサが、前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成することとを備え、
前記仮想画像を生成することは、
前記１以上のプロセッサが、前記仮想画像において、前記第２時系列データが示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化することと、
前記１以上のプロセッサが、前記仮想画像において、前記第１時系列データが示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象の状態を有するように前記第２仮想モデルを可視化することとを含む、情報処理方法。

【請求項8】

対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースを用いた情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
前記第１時系列データと、前記対象期間における前記制御装置の制御対象と前記制御装置によって制御されない物体との従属関係と、前記物体の物理特性とに基づいて、前記対象期間における前記物体の第１仮想モデルの運動をシミュレートすることと、
シミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データを取得し、前記第２時系列データを前記１以上のデータベースに格納することと、
前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成することとを備え、
前記仮想画像を生成することは、
前記仮想画像において、前記第２時系列データが示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化することと、
前記仮想画像において、前記第１時系列データが示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象の状態を有するように前記第２仮想モデルを可視化することとを含む、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

生産設備の異常な動作の原因調査を支援する装置が開発されている。特開２０２２－９９３４１号公報（特許文献１）は、稼働部の状態と制御信号の入出力データとを記録したログデータに基づいて、仮想的な制御対象の動作を再現させた動作再現模擬データを生成し、動作再現模擬データを表示部に表示する技術を開示している。特許文献１に開示の技術は、さらに、ワークの初期状態とログデータとに基づいて、指定時刻におけるワークの状態も再現する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－９９３４１号公報

【非特許文献】

【0004】

【非特許文献1】"Pixel2Mesh++", ［online］, ［令和５年６月５日検索］、インターネット〈URL：https://github.com/walsvid/Pixel2MeshPlusPlus〉

【非特許文献2】Rana Hanocka, Gal Metzer, Raja Giryes, Daniel Cohen-Or, "Point2Mesh A Self-Prior for Deformable Meshes", ［online］, ［令和５年６月５日検索］、インターネット〈URL：https://ranahanocka.github.io/point2mesh/〉

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示の技術によれば、ワークの状態は、ワークと稼働部とが接触していることを前提として再現される。生産設備に異常が発生した場合、ワークは、稼働部から離れ得る。例えば、ワークは、ロボットハンドから離れて自由落下し得る。特許文献１に開示の技術では、このようなワークの状態は再現されない。

【0006】

物体の自由落下のような物理現象をシミュレートする物理シミュレーションが知られている。しかしながら、物理シミュレーションでは、物体の将来の運動のみがシミュレートされる。すなわち、物理シミュレーションでは、時刻を戻すことができない。そのため、物理シミュレーションを行ないながら異常な動作の原因を調査する場合、ユーザは、再現時刻を戻して、物体の状態を確認できない。

【0007】

本開示は、上記の問題に鑑みてなされたものであり、その目的は、生産設備の異常な動作の原因調査を適切に支援可能な情報処理システム、情報処理方法およびプログラムを提供することである。

【課題を解決するための手段】

【0008】

本開示の一例によれば、情報処理システムは、１以上のデータベースと、シミュレータと、データ取得モジュールと、第１可視化モジュールとを備える。１以上のデータベースは、対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する。シミュレータは、第１時系列データと、対象期間における制御装置の制御対象と制御装置によって制御されない物体との従属関係と、物体の物理特性とに基づいて、対象期間における物体の第１仮想モデルの運動をシミュレートする。データ取得モジュールは、シミュレータによるシミュレーション結果から、対象期間における第１仮想モデルの位置姿勢の第２時系列データを取得し、第２時系列データを１以上のデータベースに格納する。第１可視化モジュールは、第１仮想モデルと制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成する。第１可視化モジュールは、仮想画像において、第２時系列データが示す指定時刻の位置姿勢をとるように第１仮想モデルを可視化し、第１時系列データが示す指定時刻の１以上の変数の値に対応する制御対象の状態を有するように第２仮想モデルを可視化する。

【0009】

この開示によれば、仮想画像において第１仮想モデルが可視化されるときには、シミュレータによって第１仮想モデルの運動がシミュレートされない。そのため、第１可視化モジュールは、時刻が戻されたとしても、仮想画像において、戻された後の時刻の位置姿勢をとるように第１仮想モデルを可視化できる。これにより、ユーザは、時刻を戻したり、進めたりしながら、対象期間における物体の第１仮想モデルおよび制御対象の第２仮想モデルを含む仮想画像を確認できる。その結果、ユーザは、対象期間における生産設備の異常の原因を調査しやすくなる。すなわち、情報処理システムは、生産設備の異常な動作の原因調査を適切に支援できる。

【0010】

上述の開示において、情報処理システムは、物体を撮影することにより得られた動画に基づいて、対象期間における物体の形状変化を解析する形状解析モジュールを備える。データ取得モジュールは、形状解析モジュールによる解析結果から、対象期間における物体の形状の第３時系列データを取得し、第３時系列データを１以上のデータベースに格納する。第１可視化モジュールは、仮想画像において、第３時系列データが示す指定時刻の形状を有するように第１仮想モデルを可視化する。

【0011】

この開示によれば、物体の形状変化に合わせて、仮想画像において第１仮想モデルの形状が変化する。これにより、ユーザは、対象期間における物体の形状変化の様子を把握しやすくなる。

【0012】

上述の開示において、シミュレータは、対象期間のうちの第１区間において、第１時系列データが示す１以上の変数の値に基づいて、第２仮想モデルの動作をシミュレートし、第２仮想モデルに追従するように第１仮想モデルの運動をシミュレートする。シミュレータは、対象期間のうち第１区間以外の第２区間において、物理特性に基づいて、第１仮想モデルの運動をシミュレートする。

【0013】

この開示によれば、第１仮想モデルの運動は、物体と制御対象との従属関係に応じて、適切にシミュレートされる。

【0014】

上述の開示において、情報処理システムは、指定時刻における１以上の変数の値が可視化された第１ウィンドウのデータを生成する１以上の第２可視化モジュールと、第１ウィンドウと、仮想画像を含む第２ウィンドウとをディスプレイ上に並べて表示させる表示コントローラとをさらに備える。

【0015】

例えば、１以上の第２可視化モジュールは、１以上の変数の値の推移を示すグラフを可視化する波形表示モジュールと、制御装置における制御対象を制御するための制御プログラムの実行状況を可視化するプログラム表示モジュールとの少なくとも１つを含む。

【0016】

この開示によれば、ユーザは、仮想画像を含む第２ウィンドウと、１以上の変数の値が可視化された第１ウィンドウとを同時に確認できる。

【0017】

上述の開示において、情報処理システムは、制御対象を撮影することにより得られた動画のうち指定時刻におけるフレームを含む第１ウィンドウのデータを生成する動画再生モジュールと、第１ウィンドウと、仮想画像を含む第２ウィンドウとをディスプレイ上に並べて表示させる表示コントローラとをさらに備える。この開示によれば、ユーザは、仮想画像と実動画とを同時に確認できる。

【0018】

本開示の別の例によれば、情報処理方法は、対象期間における制御装置の制御状態を表す１以上の変数の値の第１時系列データを記憶する１以上のデータベースを用いる。情報処理方法は、１以上のプロセッサが、第１時系列データと、対象期間における制御装置の制御対象と制御装置によって制御されない物体との従属関係と、物体の物理特性とに基づいて、対象期間における物体の第１仮想モデルの運動をシミュレートすることを備える。情報処理方法は、１以上のプロセッサが、シミュレーション結果から、対象期間における第１仮想モデルの位置姿勢の第２時系列データを取得し、第２時系列データを１以上のデータベースに格納することを備える。情報処理方法は、１以上のプロセッサが、第１仮想モデルと制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成することとを備える。仮想画像を生成することは、１以上のプロセッサが、仮想画像において、第２時系列データが示す指定時刻の位置姿勢をとるように第１仮想モデルを可視化することと、１以上のプロセッサが、仮想画像において、第１時系列データが示す指定時刻の１以上の変数の値に対応する制御対象の状態を有するように第２仮想モデルを可視化することとを含む。

【0019】

本開示のさらに別の例によれば、プログラムは、上記の情報処理方法をコンピュータに実行させる。

【0020】

これらの開示によっても、情報処理方法およびプログラムは、生産設備の異常な動作の原因調査を適切に支援できる。

【発明の効果】

【0021】

本開示によれば、情報処理システム、情報処理方法およびプログラムは、生産設備の異常な動作の原因調査を適切に支援できる。

【図面の簡単な説明】

【0022】

【図1】実施の形態に係る情報処理システムが適用される製造システムの一例を模式的に例示する図である。

【図2】実施の形態に係る製造システムの全体構成の一例を示す模式図である。

【図3】実施の形態に従う制御装置のハードウェア構成の一例を示す模式図である。

【図4】ＰＣの事前準備処理に関するソフトウェア構成の一例を示すブロック図である。

【図5】対応関係情報の一例を示す図である。

【図6】初期情報の一例を示す図である。

【図7】メッシュの生成方法の一例を説明する図である。

【図8】データベースのデータ構造の一例を示す図である。

【図9】ＰＣの情報提供処理に関するソフトウェア構成の一例を示すブロック図である。

【図10】操作ウィンドウの一例を示す図である。

【図11】初回の事前準備処理の流れの一例を示すフローチャートである。

【図12】２回目以降の事前準備処理の流れの一例を示すフローチャートである。

【図13】図１０に示す再生ボタンがクリックされたときの情報提供処理の流れの一例を示すフローチャートである。

【図14】図１０に示すコマ戻しボタンまたはコマ送りボタンがクリックされたときの情報提供処理の流れの一例を示すフローチャートである。

【図15】図１３または図１４に示すステップＳ２７のサブルーチンの処理の流れの一例を示すフローチャートである。

【図16】運用フェーズにおいて表示される画面の一例を示す図である。

【図17】運用フェーズにおいて表示される画面の別の例を示す図である。

【図18】第１クエリ生成部によって参照される変換テーブルの一例を示す図である。

【発明を実施するための形態】

【0023】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。本明細書において、特に示さない限り、「または」の用語は、「または」の意味に加えて、「および」の意味を包含する。

【0024】

§１ 適用例
図１は、実施の形態に係る情報処理システムが適用される製造システムの一例を模式的に例示する図である。図１に示すように、製造システム１は、情報処理システム１００と、制御装置２００と、制御対象３００とを備える。

【0025】

制御装置２００は、典型的には、プログラマブルロジックコントローラ（ＰＬＣ）である。制御装置２００は、制御対象３００と接続され、予め作成された制御プログラムに従って制御対象３００を制御する。

【0026】

制御対象３００は、生産設備または生産ラインなど（「フィールド」とも称される。）に対して何らかの物理的な作用を与えるアクチュエータ、フィールドに設置される各種のセンサ、またはフィールドとの間で情報を遣り取りする入出力装置などを含み得る。図１に示す例では、制御対象３００は、ロボットを含み、ワーク４００に対する加工、搬送などを行なう。ワーク４００は、制御装置２００によって制御されない物体の一例である。

【0027】

制御装置２００は、制御状態を表す１以上の変数の値を保持し、１以上の変数の値を用いた演算を行なうことにより、制御対象３００を制御する。１以上の変数は、制御対象３００の状態を示す各種の変数と、制御対象３００へ出力される各種の変数とを含む。

【0028】

制御装置２００は、数１００μｓｅｃオーダ～数１０ｍｓｅｃオーダの１以上の制御周期のうちのいずれかの制御周期で、保持している変数の値を更新する。制御周期は、変数の種類に応じて予め設定される。例えば、制御装置２００は、一部の変数の値を１ｍｓｅｃで更新し、別の一部の変数の値を２ｍｓｅｃで更新する。以下、１以上の制御周期のうち最も短い制御周期を「最短制御周期」と称する。

【0029】

制御装置２００は、制御対象３００に何らかの異常が発生したタイミングを含む対象期間において保持していた１以上の変数の値の第１時系列データ１１を生成する。具体的には、制御装置２００は、対象期間における最短制御周期ごとの各変数の値を記録することにより第１時系列データ１１を生成する。第１時系列データ１１は、所定のタイミングにおいて、情報処理システム１００に転送される。

【0030】

情報処理システム１００は、１以上のコンピュータによって構成される。情報処理システム１００は、データベース１０と、シミュレータ２０と、データ取得モジュール３０と、第１可視化モジュール４０とを備える。

【0031】

データベース１０は、対象期間における制御装置２００の制御状態を表す１以上の変数の値の第１時系列データ１１を記憶する。

【0032】

シミュレータ２０は、仮想空間における第１仮想モデルの運動および第２仮想モデルの動作をシミュレートする。第１仮想モデルは、ワーク４００の３次元形状を表すモデルである。第２仮想モデルは、制御対象３００の３次元形状を表すモデルである。

【0033】

本実施の形態において、シミュレータ２０は、第１時系列データ１１と、対象期間における制御対象３００とワーク４００との従属関係と、ワーク４００の物理特性とに基づいて、対象期間におけるワーク４００の第１仮想モデルの運動をシミュレートする。ワーク４００が制御対象３００に従属することは、ワーク４００が制御対象３００の動作に追従することを意味する。

【0034】

例えば、シミュレータ２０は、ワーク４００が制御対象３００に従属している第１区間において、第１時系列データ１１が示す１以上の変数の値に基づいて、第２仮想モデルの動作をシミュレートする。さらに、シミュレータ２０は、第２仮想モデルに追従するように第１仮想モデルの運動をシミュレートする。

【0035】

シミュレータ２０は、ワーク４００が制御対象３００に従属していない第２区間において、ワーク４００の物理特性に基づいて、第１仮想モデルの運動をシミュレートする。

【0036】

データ取得モジュール３０は、シミュレータ２０によるシミュレーション結果から、対象期間における第１仮想モデルの位置姿勢の第２時系列データ１２を取得し、第２時系列データ１２をデータベース１０に格納する。

【0037】

第１可視化モジュール４０は、ワーク４００の第１仮想モデルと制御対象３００の第２仮想モデルとが重ねて可視化される仮想画像を生成する。第１可視化モジュール４０は、仮想画像において、第２時系列データ１２が示す指定時刻の位置姿勢をとるように第１仮想モデルを可視化する。さらに、第１可視化モジュール４０は、仮想画像において、第１時系列データ１１が示す指定時刻の１以上の変数の値に対応する制御対象３００の状態を有するように第２仮想モデルを可視化する。

【0038】

本実施の形態によれば、第１時系列データ１１と、対象期間における制御対象３００とワーク４００との従属関係と、ワーク４００の物理特性とに基づいて、対象期間におけるワーク４００の第１仮想モデルの運動がシミュレートされる。そのため、ワーク４００が制御対象３００に従属していない場合であっても、ワーク４００の物理特性に基づいて、対象期間におけるワーク４００の第１仮想モデルの運動がシミュレートされる。

【0039】

シミュレータ２０によるシミュレーションが一旦実施された後に、シミュレーション結果から対象期間における第１仮想モデルの位置姿勢の第２時系列データ１２が取得され、第２時系列データ１２がデータベース１０に格納される。第１可視化モジュール４０は、第２時系列データ１２に基づいて、仮想画像において第１仮想モデルを可視化する。すなわち、仮想画像において第１仮想モデルが可視化されるときには、シミュレータ２０によって第１仮想モデルの運動がシミュレートされない。そのため、第１可視化モジュール４０は、時刻が戻されたとしても、仮想画像において、戻された後の時刻の位置姿勢をとるように第１仮想モデルを可視化できる。これにより、ユーザは、時刻を戻したり、進めたりしながら、対象期間におけるワーク４００の第１仮想モデルおよび制御対象３００の第２仮想モデルを含む仮想画像を確認できる。その結果、ユーザは、対象期間における生産設備の異常の原因を調査しやすくなる。

【0040】

このように、本実施の形態によれば、情報処理システム１００は、生産設備の異常な動作の原因調査を適切に支援できる。

【0041】

§２ 具体例
＜製造システムの全体構成＞
図２は、実施の形態に係る製造システムの全体構成の一例を示す模式図である。図２に示されるように、製造システム１は、情報処理システム１００を構成するパーソナルコンピュータ（以下、「ＰＣ１００Ａ」と称する）と、制御装置２００と、制御対象３００と、１以上のネットワークカメラ５００と、記憶媒体７００とを備える。ＰＣ１００Ａ、制御装置２００および１以上のネットワークカメラ５００は、例えば汎用的なＥｔｈｅｒｎｅｔ（登録商標）を用いて互いに通信可能である。なお、ＰＣ１００Ａと制御装置２００とは、別の通信手段（例えば、Universal Serial Bus（ＵＳＢ））を用いて互いに通信してもよい。

【0042】

１以上のネットワークカメラ５００は、フィールドに設置され、制御対象３００の少なくとも一部を撮影する。１以上のネットワークカメラ５００の撮影により生成された動画データ１４は、ＰＣ１００Ａに転送される。あるいは、動画データ１４は、図示しないネットワークストレージに保存されてもよい。動画データ１４は、撮影時刻ごとのフレーム（コマ画像）を示す。

【0043】

記憶媒体７００は、揮発性記憶媒体、不揮発性記憶媒体、ＣＦ（Compact Flash）もしくはＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記憶媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体を含む。記憶媒体７００は、例えばＳＤメモリカードである。

【0044】

ＰＣ１００Ａは、典型的には、汎用的なアーキテクチャを有しているコンピュータである。図２に示されるように、ＰＣ１００Ａは、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）などのプロセッサ１０１と、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory)などの揮発性の記憶装置で構成されるメモリ１０２と、ストレージ１０３と、入力インターフェイス１０４と、表示コントローラ１０５と、通信インターフェイス１０６と、リーダ／ライタ１０７とを含む。これらの各部は、バスを介して互いにデータ通信が可能なように接続されている。

【0045】

プロセッサ１０１は、ストレージ１０３に格納されたプログラムを読み出して、メモリ１０２に展開する。プロセッサ１０１は、展開されたプログラムを実行する。

【0046】

ストレージ１０３は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、またはフラッシュメモリなどの不揮発性記憶装置で構成される。ストレージ１０３は、プロセッサ１０１によって実行されるプログラムと、データベース１０とを記憶する。

【0047】

プロセッサ１０１によって実行されるプログラムは、開発プログラム１３１と、ビューワープログラム１３２と、データ再現プログラム１３３と、シミュレーションプログラム１３４と、形状解析プログラム１３５と、データベース構築プログラム１３６とを含む。

【0048】

開発プログラム１３１は、主に、制御装置２００が使用する制御プログラムの開発を支援するための命令群を含む。開発プログラム１３１は、ユーザ入力に応じて、制御プログラムによって使用される１以上の変数の各々の名称（以下、「変数名」と称する）を設定する機能を有する。さらに、開発プログラム１３１は、第１時系列データ１１の生成に関する設定機能と、制御装置２００による制御プログラムの実行状況をモニタリングする機能（以下、「プログラムモニタ機能」と称する）を提供する。

【0049】

開発プログラム１３１を用いて開発された制御プログラムは、制御装置２００にインストールされる。さらに、開発プログラム１３１の設定機能を用いて生成されたモニタリング設定データは、制御装置２００に転送される。

【0050】

ビューワープログラム１３２は、各種の情報を可視化してユーザに提供するための命令群を含む。ビューワープログラム１３２は、１以上の変数の値の推移を示すグラフを表示する機能（以下、「変数グラフ表示機能」と称する）と、動画データ１４によって示される動画の再生機能とを提供する。

【0051】

データ再現プログラム１３３は、過去のデータを再現するための命令群を含む。データ再現プログラム１３３は、時刻を管理する機能と、再現対象のデータを要求する機能（以下、「データ要求機能」と称する）とを含む。データ要求機能は、クエリを生成する機能と、クエリを用いてデータベース１０から取得対象データを取得する機能とを含む。

【0052】

シミュレーションプログラム１３４は、仮想空間におけるワーク４００の第１仮想モデルの運動および制御対象３００の第２仮想モデルの動作をシミュレートするための命令群を含む。シミュレーションプログラム１３４は、第２仮想モデルの動作を再現する機能（以下、「動作再現機能」と称する）、第１仮想モデルのようなオブジェクトを動かすためのスクリプトと、物体の物理現象をシミュレートする物理シミュレーション機能と、データ管理機能と、モデル表示機能とを含む。

【0053】

なお、スクリプトは、例えばＣ＃形式で記述され、スタートメソッドとレンダーメソッドとを含む。スタートメソッドは、スクリプトの実行開始時に１回だけ実行される。レンダーメソッドは、周期的に実行される。

【0054】

形状解析プログラム１３５は、動画に基づいて、動画に写る物体の形状変化を解析するための命令群を含む。

【0055】

データベース構築プログラム１３６は、データベース１０に各種のデータを格納するための命令群を含む。

【0056】

データベース１０は、第１時系列データ１１と、第２時系列データ１２と、第３時系列データ１３と、動画データ１４とを記憶する。第１時系列データ１１は、制御装置２００から転送され、対象期間における制御装置２００の制御状態を表す１以上の変数の時刻ごとの値を示す。第２時系列データ１２は、シミュレーションプログラム１３４のスクリプトまたは物理シミュレーション機能の実行に応じて生成され、対象期間における第１仮想モデルの時刻ごとの位置姿勢を示す。第３時系列データ１３は、形状解析プログラム１３５の実行に応じて生成され、対象期間におけるワーク４００の時刻ごとの形状を示す。動画データ１４は、ネットワークカメラ５００の撮影によって生成される。

【0057】

入力インターフェイス１０４は、プロセッサ１０１とキーボード、マウス、またはタッチパネルなどの入力装置１１０との間のデータ伝送を仲介する。表示コントローラ１０５は、ディスプレイ１２０と接続され、プロセッサ１０１によって生成された画面データによって示される画面をディスプレイ１２０に表示する。通信インターフェイス１０６は、通信ネットワークを介して制御装置２００およびネットワークカメラ５００と通信する。リーダ／ライタ１０７は、プロセッサ１０１と外部の記憶媒体（例えば記憶媒体７００を含み得る）との間のデータ伝送を仲介する。

【0058】

開発プログラム１３１、ビューワープログラム１３２、データ再現プログラム１３３、シミュレーションプログラム１３４、形状解析プログラム１３５、およびデータベース構築プログラム１３６の各々は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。また、開発プログラム１３１、ビューワープログラム１３２、データ再現プログラム１３３、シミュレーションプログラム１３４、形状解析プログラム１３５、およびデータベース構築プログラム１３６によって提供される機能の一部または全部は、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）によって実現されてもよい。

【0059】

＜制御装置のハードウェア構成＞
図３は、実施の形態に従う制御装置のハードウェア構成の一例を示す模式図である。図３に示されるように、制御装置２００は、主たるコンポーネントとして、制御装置２００の各部に電力ＰＷを供給する電源回路２０１と、ＣＰＵ２０２と、チップセット２０４と、メモリ２０６と、ストレージ２０８と、ＵＳＢコントローラ２５０と、フィールドネットワークコントローラ２５２と、ネットワークコントローラ２５４と、タイマ２６０と、リーダ／ライタ２７０とを含む。

【0060】

ＣＰＵ２０２は、ストレージ２０８に格納されたプログラムを読出して、メモリ２０６に展開する。ＣＰＵ２０２は、展開されたプログラムを実行する。

【0061】

メモリ２０６は、ＤＲＡＭまたはＳＲＡＭなどの揮発性記憶装置で構成される。メモリ２０６は、各種の変数の値を保持する。メモリ２０６に保持される各種の変数の値は、ストレージ２０８に格納されるプログラムをＣＰＵ２０２が実行することにより、変数の種類に応じて予め設定された制御周期に従って更新される。

【0062】

各種の変数の実績値は、一定期間だけ、メモリ２０６のバッファ領域２０７に蓄積される。

【0063】

ストレージ２０８は、例えば、ＨＤＤ、ＳＳＤまたはフラッシュメモリなどの不揮発性記憶装置で構成されるが、一部は、揮発性ストレージで構成されてもよい。

【0064】

チップセット２０４は、ＣＰＵ２０２と各コンポーネントとの間のデータの遣り取りを仲介することで、制御装置２００全体としての処理を実現する。

【0065】

ストレージ２０８には、制御装置２００の基本的な機能を実現するためのＯＳ（Operating System）２１２およびスケジューラプログラム２１３を有するシステムプログラム２１１が格納される。

【0066】

さらに、ストレージ２０８は、ＰＣ１００Ａによって作成されたプログラムデータセット２１４を記憶する。プログラムデータセット２１４は、制御プログラムと、サンプリング設定データとを含む。

【0067】

制御プログラムは、制御対象３００の状態を示す変数の値を収集する処理と、収集された変数の値に基づいた演算を行ない、制御対象３００への指令に関する変数の値を生成する処理とを定義する。各種の変数の値は、メモリ２０６に一時的に保持される。ＣＰＵ２０２は、制御プログラムを実行することにより、制御周期ごとに、メモリ２０６が保持する変数の値を更新する。

【0068】

サンプリング設定データは、第１時系列データ１１の生成条件を定義する。第１時系列データ１１の生成条件は、サンプリングのトリガ条件、サンプリング対象となる変数、およびサンプリング時間などを示す。

【0069】

トリガ条件は、例えば、制御対象３００の異常に関連する特定変数の値が特定値に変化したという条件を含む。ＣＰＵ２０２は、トリガ条件が満たされたタイミングを含む対象期間における１以上の変数の値を示す第１時系列データ１１をバッファ領域２０７から読み出し、リーダ／ライタ２７０を制御して記憶媒体７００に第１時系列データ１１を書き込む。対象期間は、例えば、トリガ条件が満たされたタイミングの前の第１所定期間と、トリガ条件が満たされたタイミングの後の第２所定期間とを含む。第１所定期間および第２所定期間の長さは、サンプリング設定データによって定義される。

【0070】

ＵＳＢコントローラ２５０は、ＵＳＢ接続を介して外部の装置（例えば、ＰＣ１００Ａ）との間のデータの遣り取りを担当する。

【0071】

フィールドネットワークコントローラ２５２は、フィールドネットワークに接続するコネクタ２５２ａを有し、制御対象３００との間のデータの遣り取りを制御する。フィールドネットワークコントローラ２５２は、フィールドネットワークから受信する入力データおよび制御装置２００からフィールドネットワークに出力される出力データを格納する内部バッファを有する。

【0072】

ネットワークコントローラ２５４は、上位ネットワークに接続するコネクタ２５４ａを有し、制御装置２００と外部の装置（例えば、ＰＣ１００Ａ、ネットワークカメラ５００またはネットワークストレージ）との間のデータの遣り取りを制御する。

【0073】

タイマ２６０は、時間を計測するクロック回路またはカウンタ回路を含んで構成されるが、このような回路に限定されず、ＣＰＵ２０２が実行するソフトウェアモジュールにより構成されてもよい。

【0074】

リーダ／ライタ２７０は、ＣＰＵ２０２と記憶媒体７００との間のデータ伝送を仲介する。ＣＰＵ２０２は、サンプリング設定データによって示される生成条件に従って生成された第１時系列データ１１をバッファ領域２０７から記憶媒体７００にコピーする。記憶媒体７００に保存された第１時系列データ１１は、所定のタイミングにおいて、ネットワークコントローラ２５４を介して、ＰＣ１００Ａに転送される。あるいは、ユーザは、記憶媒体７００をＰＣ１００Ａに接続し、第１時系列データ１１を記憶媒体７００からＰＣ１００Ａにコピーまたは移動させてもよい。

【0075】

図３には、ＣＰＵ２０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡ）を用いて実装してもよい。あるいは、制御装置２００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、マルチコア技術を適用して処理を並列に実行してもよい。または、仮想化技術を用いて、用途の異なる複数のＯＳを並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。

【0076】

＜ソフトウェア構成＞
図４～図１０を参照して、ＰＣ１００Ａが有するソフトウェア構成について説明する。ＰＣ１００Ａは、制御対象３００に何らかの異常が発生したタイミングを含む対象期間における１以上の変数の値の第１時系列データ１１を制御装置２００から取得する。ＰＣ１００Ａは、第１時系列データ１１を用いて、対象期間における、制御対象３００と制御装置２００によって制御されない１以上の物体（ワーク４００を含む）との状態を表す情報を提供することにより、ユーザによる生産設備の異常な動作の原因調査を支援する。ＰＣ１００Ａの処理は、事前準備フェーズにおいて実行される事前準備処理と、運用フェーズにおいて実行される情報提供処理とを含む。事前準備フェーズは、運用フェーズの前のフェーズである。ただし、ユーザは、運用フェーズにおいて提供される情報を確認した後に、ＰＣ１００Ａを再度事前準備フェーズに移してもよい。

【0077】

（事前準備処理に関するソフトウェア構成）
図４は、ＰＣの事前準備処理に関するソフトウェア構成の一例を示すブロック図である。図４に示されるように、ＰＣ１００Ａは、事前準備処理に関するソフトウェア構成として、データ再現モジュール１６と、動作設定モジュール２１と、初期情報設定モジュール２２と、動作再現モジュール２３と、スクリプト実行モジュール２４と、物理シミュレーション実行モジュール２５と、データ管理モジュール２６と、形状解析モジュール５０と、座標取得モジュール３１と、形状取得モジュール３２とを備える。

【0078】

データ再現モジュール１６は、図２に示すプロセッサ１０１がデータ再現プログラム１３３を実行することにより実現される。動作設定モジュール２１、初期情報設定モジュール２２、動作再現モジュール２３、スクリプト実行モジュール２４、物理シミュレーション実行モジュール２５、およびデータ管理モジュール２６は、プロセッサ１０１がシミュレーションプログラム１３４を実行することにより実現される。形状解析モジュール５０は、プロセッサ１０１が形状解析プログラム１３５を実行することにより実現される。座標取得モジュール３１および形状取得モジュール３２は、プロセッサ１０１がデータベース構築プログラム１３６を実行することにより実現される。

【0079】

なお、動作設定モジュール２１、初期情報設定モジュール２２、動作再現モジュール２３、スクリプト実行モジュール２４、物理シミュレーション実行モジュール２５、およびデータ管理モジュール２６は、図１に示すシミュレータ２０を構成する。座標取得モジュール３１および形状取得モジュール３２は、図１に示すデータ取得モジュール３０を構成する。

【0080】

データ再現モジュール１６は、データベース１０を用いて、対象期間に含まれる指定時刻のデータを再現する。データ再現モジュール１６は、時刻制御モジュール１７と、データ要求モジュール１８とを含む。

【0081】

時刻制御モジュール１７は、対象期間内の時刻を表すカウンタ値を管理する。カウンタ値は、最短制御周期の周期カウンタの値である。このため、カウンタ値は、対象期間の開始時からの経過時間を表すことができる。

【0082】

時刻制御モジュール１７は、カウンタ値の更新を行なう。具体的には、時刻制御モジュール１７は、初期カウンタ値をカウンタ値として設定した後、規定時間が経過するたびにカウンタ値に１を加算する。事前準備フェーズでは、時刻制御モジュール１７は、初期カウンタ値として「０」を使用する。規定時間は、シミュレータ２０による処理時間を考慮して予め設定される。時刻制御モジュール１７は、規定時間が経過するたびに、カウンタ値を１だけ増やす。

【0083】

データ要求モジュール１８は、カウンタ値が表す指定時刻に応じたクエリを生成する。指定時刻は、対象期間の開始時刻から、規定時間とカウンタ値との積だけ経過した時刻である。データ要求モジュール１８は、生成したクエリを用いて、データベース１０から取得対象のデータを取得する。これにより、対象期間に含まれる指定時刻のデータが再現される。

【0084】

データ要求モジュール１８は、第１クエリ生成部１８ａと、第２クエリ生成部１８ｂとを含む。

【0085】

第１クエリ生成部１８ａは、指定時刻における各変数の値を要求するクエリを生成する。第１クエリ生成部１８ａは、生成したクエリを用いて、データベース１０に格納された第１時系列データ１１から指定時刻における各変数の値を取得する。事前準備フェーズにおいて、第１クエリ生成部１８ａは、取得した各変数の値を、動作再現モジュール２３およびスクリプト実行モジュール２４に出力する。各変数の値には、指定時刻が付加される。

【0086】

第２クエリ生成部１８ｂは、動画データ１４によって示される複数のフレームのうち指定時刻に対応するフレームを要求するクエリを生成する。第２クエリ生成部１８ｂは、生成したクエリを用いて、データベース１０に格納された動画データ１４から指定時刻のフレームを取得する。事前準備フェーズにおいて、第２クエリ生成部１８ｂは、取得したフレームを形状解析モジュール５０に出力する。フレームには撮影時刻が付加される。

【0087】

なお、動画データ１４におけるフレーム間隔は、一般に、最短制御周期よりも長い。そのため、指定時刻に対応するフレームが存在しない場合、第２クエリ生成部１８ｂは、データベース１０からフレームを取得しない。指定時刻に対応するフレームとは、指定時刻との時間差が最短制御周期以下である撮影時刻のフレームである。

【0088】

動作設定モジュール２１は、制御対象３００を構成する各可動部品について、関連する変数と可動部品の動作との対応関係を示す対応関係情報を設定する。動作設定モジュール２１は、ユーザ入力に応じて対応関係情報を設定する。

【0089】

図５は、対応関係情報の一例を示す図である。図５に示されるように、対応関係情報２１ａは、可動部品の名称と、可動部品の動作と関連する変数と、並進動作のベクトル（並進ベクトル）と、回転動作の情報（回転情報）とを示す。並進ベクトルは、変数の値に応じた可動部品の並進動作を定義する。回転情報は、変数の値に応じた可動部品の回転動作を定義する。回転情報は、回転軸を定義する情報または回転量を定義する情報を含む。

【0090】

図４に戻って、初期情報設定モジュール２２は、制御対象３００の各部品および制御装置２００によって制御されない１以上の物体の各々について、対象期間の開始時刻における初期情報を設定する。制御装置２００によって制御されない１以上の物体は、ワーク４００の他に、例えば、トレーまたは固定台などを含み得る。初期情報設定モジュール２２は、ユーザ入力に応じて初期情報を設定する。

【0091】

図６は、初期情報の一例を示す図である。図６に示されるように、初期情報２２ａは、３つの階層の情報２２ｂ，２２ｃ，２２ｄを含む。情報２２ｂは、物体を識別するオブジェクト名を示す。情報２２ｃは、外表面のメッシュ形状と、位置姿勢を定義付ける座標とを示す。さらに、情報２２ｃは従属情報を含む。従属情報は、従属先（制御対象３００の部品、物体を含む）と、従属先との相対位置関係とを示す。なお、従属先が存在しない場合、従属情報はNullに設定される。情報２２ｄは、物理シミュレーションの対象となり得るか否かを示す物理シミュレーションフラグと、物理特性とを示す。物理特性は、例えば、質量、マテリアル、密度、摩擦係数、ヤング率、ポアソン比、弾性減衰、または減衰スケールを含む。

【0092】

なお、外表面のメッシュ形状は、予めインポートされたＣＡＤ（Computer-Aided Design）データから設定されてもよい。また、ワーク４００は、対象期間の開始時刻において存在しない場合が有り得る。そのため、ワーク４００について、位置姿勢を定義付ける座標は設定されない。後述するように、ワーク４００の初期位置姿勢は、スクリプト実行モジュール２４によって設定される。

【0093】

以下では、制御装置２００によって制御されない１以上の物体がワーク４００のみを含む場合について説明する。制御装置２００によって制御されない１以上の物体がワーク４００以外の物体を含む場合、当該物体について、ワーク４００と同様の処理が実行される。

【0094】

図４に戻って、動作再現モジュール２３は、第１時系列データ１１に基づいて、対象期間における制御対象３００の第２仮想モデルの動作をシミュレートする。

【0095】

事前準備フェーズにおいて、動作再現モジュール２３は、データ再現モジュール１６から、対象期間における時刻ごとの１以上の変数の値を時系列に沿って順に取得する。動作再現モジュール２３は、各時刻の１以上の変数の値に基づいて、第２仮想モデルの状態を示すデータ（１）を生成する。データ（１）は、第２仮想モデルの各部分の位置姿勢を示す。以下、対象期間の開始時刻ｔ０から最短制御周期のｋ倍が経過した時刻ｔｋに対応するデータ（１）は、「第ｋデータ（１）」と称される。

【0096】

動作再現モジュール２３は、時刻ｔｋにおける１以上の変数の値を取得すると、取得した値と対応関係情報２１ａとに基づいて、時刻ｔｋにおける第２仮想モデルのうち各可動部品に対応する部分の動作をシミュレートする。動作再現モジュール２３は、各部分の動作を統合することにより、時刻ｔｋにおける第２仮想モデルの状態を示す第ｋデータ（１）を生成する。動作再現モジュール２３は、第ｋデータ（１）をデータ管理モジュール２６に出力する。データ管理モジュール２６は、第ｋデータ（１）を保持する。

【0097】

スクリプト実行モジュール２４は、対象期間における時刻ごとの１以上の変数の値に基づいて、ワーク４００に対応する第１仮想モデルを仮想空間上に生成する。第１仮想モデルの生成条件は、スクリプトによって定義される。例えば、スクリプト実行モジュール２４は、ワーク４００の存在を検知する物体検知センサの検知結果を示す変数の値に基づいて、仮想空間上に第１仮想モデルを生成する。このとき、スクリプト実行モジュール２４は、仮想空間において物体検知センサの検知対象領域に対応する位置姿勢を、第１仮想モデルの初期位置姿勢として設定する。また、スクリプト実行モジュール２４は、時刻ｔｋにおける１以上の変数の値に基づいて第１仮想モデルを生成した場合、初期情報２２ａに基づいて、当該第１仮想モデルについての物理シミュレーションフラグを設定する。

【0098】

スクリプト実行モジュール２４および物理シミュレーション実行モジュール２５は、対象期間におけるワーク４００の第１仮想モデルの運動をシミュレートする。スクリプト実行モジュール２４および物理シミュレーション実行モジュール２５は、対象期間の各時刻における第１仮想モデルの運動をシミュレートすると、第１仮想モデルの位置姿勢を示すデータ（２）を生成する。以下、対象期間における時刻ｔｋに対応するデータ（２）は、「第ｋデータ（２）」と称される。すなわち、スクリプト実行モジュール２４または物理シミュレーション実行モジュール２５は、時刻ｔｋにおける第１仮想モデルの位置姿勢を示す第ｋデータ（２）を生成する。スクリプト実行モジュール２４または物理シミュレーション実行モジュール２５は、第ｋデータ（２）をデータ管理モジュール２６に出力する。データ管理モジュール２６は、第ｋデータ（２）を保持する。第ｋデータ（２）には、時刻ｔｋが付加される。

【0099】

事前準備フェーズにおいて、スクリプト実行モジュール２４は、データ再現モジュール１６から、対象期間における時刻ごとの１以上の変数の値を時系列に沿って順に取得する。スクリプト実行モジュール２４は、各時刻における１以上の変数の値に基づいて、第１仮想モデルについて物理シミュレーションフラグを更新する。物理シミュレーションフラグは、データ（２）を生成する主体を決定するために使用される。例えば、スクリプト実行モジュール２４は、時刻ｔｋ－１に対応する物理シミュレーションフラグが「０」である場合、時刻ｔｋにおいて第１仮想モデルの運動をシミュレートし、第ｋデータ（２）を生成する。物理シミュレーション実行モジュール２５は、時刻ｔｋ－１に対応する物理シミュレーションフラグが「１」である場合、時刻ｔｋにおいて第１仮想モデルの運動をシミュレートし、第ｋデータ（２）を生成する。

【0100】

物理シミュレーションフラグの更新方法は、スクリプトによって定義される。典型的には、スクリプト実行モジュール２４は、制御対象３００とワーク４００との従属関係に応じて、物理シミュレーションフラグを設定する。これにより、スクリプト実行モジュール２４は、対象期間のうちワーク４００が制御対象３００に従属している第１区間において、第１仮想モデルの運動をシミュレートする。物理シミュレーション実行モジュール２５は、対象期間のうちワーク４００が制御対象３００に従属していない第２区間において、第１仮想モデルの運動をシミュレートする。

【0101】

例えば、スクリプト実行モジュール２４は、時刻ｔｋ－１の物理シミュレーションフラグが「０」であり、かつ、時刻ｔｋにおける１以上の変数の値が予め定められた遮断条件を満たすことに応じて、時刻ｔｋの物理シミュレーションフラグを「１」に更新する。遮断条件は、例えば、変数の値から演算される制御対象３００のハンドの２指間の距離が規定値を超えるという条件である。

【0102】

スクリプト実行モジュール２４は、時刻ｔｋ－１の物理シミュレーションフラグが「０」であり、かつ、遮断条件が満たされないことに応じて、時刻ｔｋの物理シミュレーションフラグを「０」に維持する。

【0103】

スクリプト実行モジュール２４は、時刻ｔｋ－１の物理シミュレーションフラグが「１」であり、かつ、時刻ｔｋにおける１以上の変数の値が予め定められた従属条件を満たすことに応じて、時刻ｔｋの物理シミュレーションフラグを「０」に更新する。従属条件は、例えば、変数の値から演算される制御対象３００のハンドの２指間の中点位置と第ｋ－１データ（２）によって示される第１仮想モデルの位置との差分が規定範囲内であり、かつ、変数の値から演算されるハンドの２指間の距離が規定値以下であるという条件である。

【0104】

スクリプト実行モジュール２４は、時刻ｔｋ－１の物理シミュレーションフラグが「１」であり、かつ、従属条件が満たされないことに応じて、時刻ｔｋの物理シミュレーションフラグを「１」に維持する。

【0105】

スクリプト実行モジュール２４は、時刻ｔｋ－１の物理シミュレーションフラグが「０」である場合に、時刻ｔｋにおける第１仮想モデルの状態を示す第ｋデータ（２）を生成する。具体的には、スクリプト実行モジュール２４は、時刻ｔｋにおける１以上の変数の値に基づいて、ワーク４００の従属先の部品に対応する第２仮想モデルの部分の動作をシミュレートする。当該シミュレートの方法は、動作再現モジュール２３におけるシミュレートの方法と同じである。スクリプト実行モジュール２４は、ワーク４００の初期情報２２ａに含まれる従属情報が示す相対位置関係と、従属先の部品に対応する第２仮想モデルの位置姿勢とに基づいて、時刻ｔｋにおける第１仮想モデルの位置姿勢をシミュレートする。

【0106】

なお、スクリプト実行モジュール２４は、動作再現モジュール２３によって生成された第ｋデータ（１）と従属情報が示す相対位置関係とに基づいて、時刻ｔｋにおける第１仮想モデルの位置姿勢をシミュレートしてもよい。

【0107】

物理シミュレーション実行モジュール２５は、時刻ｔｋ－１の物理シミュレーションフラグが「１」である場合に、時刻ｔｋにおける第１仮想モデルの状態を示す第ｋデータ（２）を生成する。具体的には、物理シミュレーション実行モジュール２５は、データ管理モジュール２６が保持する第ｋ－１データ（２）とワーク４００の物理特性とに基づいて、第ｋデータ（２）を生成する。物理シミュレーション実行モジュール２５は、データ管理モジュール２６からワーク４００の物理特性を取得する。データ管理モジュール２６は、初期情報設定モジュール２２からワーク４００の物理特性を取得する。

【0108】

例えば、物理シミュレーション実行モジュール２５は、第ｋ－１データ（２）によって示される第１仮想モデルの状態が第２仮想モデルおよび周辺物体に対応する仮想モデルに接触していない場合、重力に応じた自由落下しているものと想定して、第１仮想モデルの運動をシミュレートする。

【0109】

データ管理モジュール２６は、第２仮想モデルの状態を示すデータ（１）および第１仮想モデルの状態を示すデータ（２）を管理する。データ管理モジュール２６は、第ｋデータ（１）を取得すると、第ｋ－１データ（１）および第ｋデータ（１）を保持し、第ｋ－２データ（１）を削除する。データ管理モジュール２６は、第ｋデータ（２）を取得すると、第ｋ－１データ（２）および第ｋデータ（２）を保持し、第ｋ－２データ（２）を削除する。

【0110】

さらに、データ管理モジュール２６は、ワーク４００の形状を表すデータ（３）を管理する。データ（３）は、形状解析モジュール５０によって生成される。

【0111】

形状解析モジュール５０は、動画解析モジュール５１と、メッシュ生成モジュール５２とを含む。

【0112】

事前準備フェーズにおいて、動画解析モジュール５１は、データ再現モジュール１６から、対象期間における動画データ１４のフレームを時系列に沿って順に取得する。動画解析モジュール５１は、公知の物体認識技術を用いて、取得したフレームからワーク４００の写る領域を抽出する。

【0113】

メッシュ生成モジュール５２は、フレームにおけるワーク４００の写る領域に基づいて、ワーク４００の形状を表すメッシュを生成する。

【0114】

図７は、メッシュの生成方法の一例を説明する図である。図７に示す例では、動画解析モジュール５１は、複数のネットワークカメラ５００から取得した複数のフレームの各々について、ワーク４００の写る領域を抽出する。メッシュ生成モジュール５２は、複数のフレームから抽出された領域からメッシュを生成する。例えば、メッシュ生成モジュール５２は、ディープラーニングのライブラリであるＰｉｘｅｌ２Ｍｅｓｈ＋＋を用いてメッシュを生成する。Ｐｉｘｅｌ２Ｍｅｓｈ＋＋の詳細については、例えば、「"Pixel2Mesh++", ［online］, ［令和５年６月５日検索］、インターネット〈URL：https://github.com/walsvid/Pixel2MeshPlusPlus〉」（非特許文献１）に開示される。

【0115】

あるいは、１以上のネットワークカメラ５００が３Ｄカメラを含む場合、メッシュ生成モジュール５２は、３Ｄカメラから得られる画像に基づいて点群データを生成し、Ｐｏｉｎｔ２Ｍｅｓｈを用いて点群データからメッシュを生成してもよい。Ｐｏｉｎｔ２Ｍｅｓｈの詳細については、例えば、「Rana Hanocka, Gal Metzer, Raja Giryes, Daniel Cohen-Or, "Point2Mesh A Self-Prior for Deformable Meshes", ［online］, ［令和５年６月５日検索］、インターネット〈URL：https://ranahanocka.github.io/point2mesh/〉」（非特許文献２）に開示される。

【0116】

メッシュ生成モジュール５２は、生成したメッシュを示すデータ（３）をデータ管理モジュール２６に出力する。データ（３）には、フレームの撮影時刻と同じ時刻が付加される。データ管理モジュール２６は、時刻が付加されたデータ（３）を保持する。

【0117】

なお、形状解析モジュール５０は、有効化指示を受けたときのみ、データ（３）を生成する処理を行なってもよい。例えば、ユーザは、ワーク４００が柔軟物であるときに形状解析モジュール５０の有効化指示を入力する。ユーザは、ワーク４００が柔軟物でないときに形状解析モジュール５０の無効化指示を入力する。

【0118】

座標取得モジュール３１は、データ管理モジュール２６が管理するデータ（２）に基づいて、対象期間における第１仮想モデルの位置姿勢の第２時系列データ１２を生成し、第２時系列データ１２をデータベース１０に格納する。

【0119】

形状取得モジュール３２は、データ管理モジュール２６が管理するデータ（３）に基づいて、対象期間におけるワーク４００の形状の第３時系列データ１３を生成し、第３時系列データ１３をデータベース１０に格納する。

【0120】

図８は、データベースのデータ構造の一例を示す図である。図８に示されるように、データベース１０は、時刻ごとに、変数ＩＤと変数の値とを組み合わせを示すデータ片１１ａと、第１仮想モデルの位置姿勢を定義する座標を示すデータ片１２ａと、ワーク４００の形状（メッシュ）を示すデータ片１３ａとを含む。データ片１１ａ，１２ａ，１３ａは、第１時系列データ１１，第２時系列データ１２および第３時系列データ１３をそれぞれ構成する。

【0121】

（情報提供処理に関するソフトウェア構成）
図９は、ＰＣの情報提供処理に関するソフトウェア構成の一例を示すブロック図である。図９に示されるように、ＰＣ１００Ａは、情報提供処理に関するソフトウェア構成として、時刻指定モジュール１５と、データ再現モジュール１６と、動作設定モジュール２１と、初期情報設定モジュール２２と、動作再現モジュール２３と、モデル生成モジュール４１と、モデル表示モジュール４２と、波形表示モジュール４３と、プログラム表示モジュール４４と、動画再生モジュール４５とを備える。

【0122】

モデル生成モジュール４１およびモデル表示モジュール４２は、プロセッサ１０１がシミュレーションプログラム１３４を実行することにより実現される。波形表示モジュール４３および動画再生モジュール４５は、プロセッサ１０１がビューワープログラム１３２を実行することにより実現される。プログラム表示モジュール４４は、プロセッサ１０１が開発プログラム１３１を実行することにより実現される。

【0123】

なお、モデル生成モジュール４１およびモデル表示モジュール４２は、図１に示す第１可視化モジュール４０を構成する。波形表示モジュール４３およびプログラム表示モジュール４４は、本開示の「第２可視化モジュール」の一例である。

【0124】

時刻指定モジュール１５は、操作ウィンドウに対するユーザ入力に応じて、再生開始カウンタ値と再生条件とを設定し、設定した再生開始カウンタ値と再生条件とをデータ再現モジュール１６に出力する。

【0125】

図１０は、操作ウィンドウの一例を示す図である。図１０に示す操作ウィンドウ６０は、時刻指定モジュール１５によって生成され、図２に示すディスプレイ１２０に表示される。操作ウィンドウ６０は、カーソル６１と、入力欄６２，６６と、再生ボタン６３と、コマ戻しボタン６４と、コマ送りボタン６５とを含む。

【0126】

カーソル６１は、対象期間内の時刻を表す。時刻指定モジュール１５は、ユーザによるカーソル６１の移動操作を受け付け、移動操作に応じてカーソル６１の位置を移動させる。さらに、データ再現モジュール１６によってカウンタ値が更新されると、時刻指定モジュール１５は、カウンタ値に対応する位置にカーソル６１を移動させる。

【0127】

入力欄６２には、カーソル６１の位置に対応するカウンタ値が表示される。カウンタ値は、対象期間における最小制御周期の序数を表す。ユーザは、入力欄６２にカウンタ値を入力してもよい。入力欄６２にカウンタ値が入力されると、時刻指定モジュール１５は、入力されたカウンタ値に対応する位置にカーソル６１を移動させる。さらに、データ再現モジュール１６によってカウンタ値が更新されると、時刻指定モジュール１５は、入力欄６２に表示される数値を更新する。

【0128】

入力欄６６は、再生速度の入力のために使用される。時刻指定モジュール１５は、入力欄６６のプルダウンボタンが操作されたことに応じて、複数の再生速度の一覧を表示する。時刻指定モジュール１５は、一覧の中からユーザによって選択された再生速度を入力欄６６に表示する。なお、図１０に示す例では、再生速度は倍率によって表される。そのため、以下では、「再生速度」を「再生倍率」として表記する。

【0129】

再生ボタン６３、コマ戻しボタン６４およびコマ送りボタン６５は、データ再現モジュール１６によるデータ再現に関する操作を入力するために利用される。時刻指定モジュール１５は、再生ボタン６３、コマ戻しボタン６４およびコマ送りボタン６５のいずれかがクリックされたことに応じて、再生開始カウンタ値と再生条件とを設定し、設定した再生開始カウンタ値および再生条件をデータ再現モジュール１６に出力する。

【0130】

再生ボタン６３は、データ再現モジュール１６によるデータ再現の開始を指示するために使用される。時刻指定モジュール１５は、再生ボタン６３がクリックされると、再生開始カウンタ値と再生条件とを設定し、設定した再生開始カウンタ値と再生条件とをデータ再現モジュール１６に出力する。具体的には、時刻指定モジュール１５は、カーソル６１の位置に対応するカウンタ値を再生開始カウンタ値として設定する。さらに、時刻指定モジュール１５は、入力欄６６に入力されている再生倍率に従って、再生条件を設定する。これにより、データ再現モジュール１６は、後述するように、再生周期ごとのデータを再現する。再生周期は、規定値（例えば５０または１００）に再生倍率を乗じた時間である。

【0131】

コマ戻しボタン６４は、時刻を１制御周期だけ戻すために使用される。時刻指定モジュール１５は、コマ戻しボタン６４がクリックされると、カーソル６１の位置に対応するカウンタ値から１を引いたカウンタ値を再生開始カウンタ値として設定する。さらに、時刻指定モジュール１５は、再生倍率「０」を示す再生条件を設定する。

【0132】

コマ送りボタン６５は、時刻を１制御周期だけ進めるために使用される。時刻指定モジュール１５は、コマ送りボタン６５がクリックされると、カーソル６１の位置に対応するカウンタ値に１を加えたカウンタ値を再生開始カウンタ値として設定する。さらに、時刻指定モジュール１５は、再生倍率「０」を示す再生条件を設定する。

【0133】

図９に戻って、データ再現モジュール１６は、運用フェーズに応じた処理を行なう。すなわち、データ再現モジュール１６の時刻制御モジュール１７は、再生開始カウンタ値を初期カウンタ値として設定し、その後、規定時間が経過するたびにカウンタ値に規定値（例えば５０または１００）に再生倍率を乗じた値を加算する。規定時間は、最短制御周期に規定値を乗じた時間である。再生条件として再生倍率「×１．０」が設定された場合、時刻制御モジュール１７は、規定時間が経過するたびに、カウンタ値に規定値を加算する。再生条件として再生倍率「×２．０」が設定された場合、時刻制御モジュール１７は、規定時間が経過するたびに、カウンタ値に規定値の２倍の値を加算する。なお、再生条件として再生倍率「０」が設定された場合、時刻制御モジュール１７は、カウント値を更新しない。

【0134】

データ要求モジュール１８は、カウンタ値が表す指定時刻に応じたクエリを生成する。運用フェーズにおいて、データ要求モジュール１８は、第１クエリ生成部１８ａおよび第２クエリ生成部１８ｂに加えて、第３クエリ生成部１８ｃを含む。

【0135】

第１クエリ生成部１８ａおよび第２クエリ生成部１８ｂは、運用フェーズにおいても、事前準備フェーズと同じ処理を行なう。ただし、第１クエリ生成部１８ａは、運用フェーズにおいて、取得した各変数の値を、動作再現モジュール２３、波形表示モジュール４３およびプログラム表示モジュール４４に出力する。第２クエリ生成部１８ｂは、運用フェーズにおいて、取得したフレームを動画再生モジュール４５に出力する。

【0136】

第３クエリ生成部１８ｃは、指定時刻における座標（第１仮想モデルの位置姿勢を定義付ける座標）を要求するクエリを生成する。第３クエリ生成部１８ｃは、生成したクエリを用いて、データベース１０に格納された第２時系列データ１２から指定時刻の座標を取得する。第３クエリ生成部１８ｃは、取得した座標をモデル生成モジュール４１に出力する。

【0137】

さらに、第３クエリ生成部１８ｃは、データベース１０に第３時系列データ１３が格納されている場合、指定時刻におけるワーク４００の形状を示すメッシュを要求するクエリを生成する。第３クエリ生成部１８ｃは、生成したクエリを用いて、データベース１０に格納された第３時系列データ１３から指定時刻のメッシュを取得する。第３クエリ生成部１８ｃは、取得したメッシュをモデル生成モジュール４１に出力する。

【0138】

動作再現モジュール２３は、運用フェーズにおいても、事前準備フェーズと同じ処理を行なう。すなわち、動作再現モジュール２３は、データ再現モジュール１６から受けた１以上の変数の値に基づいて、第２仮想モデルの状態を示すデータ（１）を生成する。さらに、動作再現モジュール２３は、生成したデータ（１）によって示される状態となるように、仮想空間上に第２仮想モデルを配置する。

【0139】

モデル生成モジュール４１は、データ再現モジュール１６から受けた座標によって示される位置姿勢をとるように、仮想空間上に第１仮想モデルを配置する。さらに、モデル生成モジュール４１は、データ再現モジュール１６からメッシュを受けた場合、第１仮想モデルの外表面を当該メッシュに変更する。

【0140】

モデル表示モジュール４２は、仮想空間上の第１仮想モデルおよび第２仮想モデルを可視化した仮想画像を生成する。モデル表示モジュール４２は、ユーザ入力に応じて指定された仮想視点から見たときの仮想画像を生成する。モデル表示モジュール４２は、仮想画像を含むウィンドウのデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、仮想画像を含むウィンドウがディスプレイ１２０に表示される。なお、仮想画像を含むウィンドウは、本開示の「第２ウィンドウ」の一例である。

【0141】

波形表示モジュール４３は、データ再現モジュール１６から受けた１以上の変数の値に基づいて、対象期間における変数の値の推移を示すグラフを含むウィンドウのデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、対象期間における変数の値の推移を示すグラフを含むウィンドウがディスプレイ１２０に表示される。なお、対象期間における変数の値の推移を示すグラフを含むウィンドウは、本開示の「第１ウィンドウ」の一例である。

【0142】

プログラム表示モジュール４４は、データ再現モジュール１６から受けた１以上の変数の値に基づいて、対象期間における制御プログラムの実行状況を示すウィンドウのデータを生成し、当該データを表示コントローラ１０５に出力する。これにより、対象期間における制御プログラムの実行状況を示すウィンドウがディスプレイ１２０に表示される。なお、対象期間における制御プログラムの実行状況を示すウィンドウは、本開示の「第１ウィンドウ」の一例である。

【0143】

動画再生モジュール４５は、データ再現モジュール１６から受けたフレームに基づいて、対象期間に撮影された動画が再生されるウィンドウのデータを生成する。動画再生モジュール４５は、当該データを表示コントローラ１０５に出力する。これにより、対象期間に撮影された動画が再生されるウィンドウがディスプレイ１２０に表示される。なお、対象期間に撮影された動画が再生されるウィンドウは、本開示の「第１ウィンドウ」の一例である。

【0144】

なお、波形表示モジュール４３、プログラム表示モジュール４４および動画再生モジュール４５の各々は、有効化指示を受けたときのみ、ウィンドウのデータを出力してもよい。

【0145】

＜事前準備処理の流れ＞
図１１は、初回の事前準備処理の流れの一例を示すフローチャートである。なお、図１１に示すフローは、制御対象３００を構成する各可動部品の対応関係情報２１ａ（図５参照）、および、制御装置２００によって制御されない１以上の物体（ワーク４００を含む）の各々についての初期情報２２ａが設定された後に実行される。図１１に示すフローは、例えば、ユーザ入力に応じて実施される。

【0146】

まず、ステップＳ１において、プロセッサ１０１は、対象期間の開始時刻ｔ０を指定時刻（以下、「時刻ｔ」と称する）として設定する。具体的には、プロセッサ１０１は、カウンタ値を０に設定する。

【0147】

次のステップＳ２において、プロセッサ１０１は、シミュレーションの初期化処理を行なう。具体的には、プロセッサ１０１は、シミュレーションプログラム１３４に含まれるスクリプトの初期化関数を実行する。

【0148】

次のステップＳ３において、プロセッサ１０１は、データベース１０に格納された第１時系列データ１１から、時刻ｔにおける１以上の変数の値を取得する。さらに、ステップＳ４において、プロセッサ１０１は、データベース１０に格納された動画データ１４から、時刻ｔに対応するフレームを取得する。

【0149】

仮想空間にワーク４００に対応する第１仮想モデルが生成されている場合、次のステップＳ５～Ｓ１０が実施される。仮想空間に第１仮想モデルが生成されていない場合、ステップＳ５～Ｓ１０は省略される。ステップＳ５において、プロセッサ１０１は、物理シミュレーションフラグが「０」であるか否かを判断する。具体的には、プロセッサ１０１は、時刻ｔに対応するカウンタ値ｋよりも１小さいカウンタ値ｋ－１に対応する物理シミュレーションフラグが「０」であるか否かを判断する。

【0150】

物理シミュレーションフラグが「０」である場合（ステップＳ５でＹＥＳ）、ステップＳ６において、プロセッサ１０１は、スクリプトを実行することにより、制御対象３００の第２仮想モデルの動作に追従するように第１仮想モデルの運動をシミュレートする。第２仮想モデルの動作は、ステップＳ４において取得された１以上の変数の値に基づいて特定される。

【0151】

物理シミュレーションフラグが「１」である場合（ステップＳ５でＮＯ）、ステップＳ７において、プロセッサ１０１は、物理シミュレーションを実行することにより、第１仮想モデルの運動をシミュレートする。

【0152】

ステップＳ６またはステップＳ７の後のステップＳ８において、プロセッサ１０１は、ステップＳ４において取得したフレームを解析する。次のステップＳ９において、プロセッサ１０１は、フレームの解析結果に基づいて、ワーク４００の形状を示すメッシュを生成する。

【0153】

次のステップＳ１０において、プロセッサ１０１は、ステップＳ７またはステップＳ８によってシミュレートされた第１仮想モデルの位置姿勢を定義付ける座標と、ステップＳ１０において生成されたメッシュとをデータベース１０に記録する。

【0154】

次のステップＳ１１において、プロセッサ１０１は、時刻ｔが対象期間の終了時刻Ｔより前か否かを判断する。時刻ｔが終了時刻Ｔよりも前である場合（ステップＳ１１でＹＥＳ）、ステップＳ１２において、プロセッサ１０１は、時刻ｔを最短制御周期分だけ進める。具体的には、プロセッサ１０１は、カウンタ値を１だけ進める。ステップＳ１２の後、事前準備処理はステップＳ３に戻る。時刻ｔが終了時刻Ｔよりも前ではない場合（ステップＳ１１でＮＯ）、事前準備処理は終了する。

【0155】

時刻ｔが終了時刻Ｔに到達するまでステップＳ３～Ｓ１０が繰り返し実行されることにより、対象期間における第１仮想モデルの位置姿勢の第２時系列データ１２と、対象期間におけるワーク４００の形状の第３時系列データ１３とがデータベース１０に格納される。

【0156】

なお、形状解析モジュール５０が無効化されている場合、ステップＳ４，Ｓ８，Ｓ９は省略される。

【0157】

図１２は、２回目以降の事前準備処理の流れの一例を示すフローチャートである。例えば、ユーザは、１回目の事前準備フェーズの後に、ワーク４００の初期情報２２ａの修正を希望し得る。ワーク４００の物理特性が修正された場合、第１仮想モデルの運動のシミュレーション結果が変化し得る。このような場合に、２回目以降の事前準備処理が実行される。

【0158】

図１２に示すフローは、図１１に示すフローと比較して、ステップＳ１５を含む点で相違する。ステップＳ１５において、プロセッサ１０１は、ユーザ入力に応じて、第２時系列データ１２の更新の要否を判断する。例えば、ユーザは、物理シミュレーションに影響するパラメータ（例えば、ワーク４００の位置、質量、マテリアルなど）を変更した場合、第２時系列データ１２の更新が必要である旨を入力する。ユーザは、物理シミュレーションに影響しないパラメータのみを変更した場合、第２時系列データ１２の更新が不要である旨を入力する。

【0159】

ステップＳ１５においてＹＥＳと判断されると、ステップＳ１～Ｓ１２が実行される。ステップＳ１５においてＮＯと判断されると、事前準備処理は終了する。

【0160】

＜情報提供処理の流れ＞
図１３は、図１０に示す再生ボタンがクリックされたときの情報提供処理の流れの一例を示すフローチャートである。まず、ステップＳ２１において、プロセッサ１０１は、図１０に示す操作ウィンドウ６０のカーソル６１の位置に応じた時刻を指定時刻（以下、「時刻ｔ」と称する）として設定する。

【0161】

次のステップＳ２２において、プロセッサ１０１は、データベース１０に格納された第１時系列データ１１から、時刻ｔにおける１以上の変数の値を取得する。

【0162】

次のステップＳ２３において、プロセッサ１０１は、仮想空間上において、取得された１以上の変数の値に対応する制御対象３００の状態を有するように第２仮想モデルを配置する。

【0163】

次のステップＳ２４において、プロセッサ１０１は、データベース１０に格納された第２時系列データ１２から、時刻ｔにおける座標を取得する。さらに、プロセッサ１０１は、データベース１０に第３時系列データ１３が格納されている場合、第３時系列データ１３から時刻ｔにおけるメッシュを取得する。

【0164】

次のステップＳ２５において、プロセッサ１０１は、仮想空間上において、ステップＳ２４において取得された座標によって定義付けられる位置姿勢をとるように第１仮想モデルを配置する。さらに、プロセッサ１０１は、ステップＳ４においてメッシュを取得している場合、第１仮想モデルの外表面を取得したメッシュに変更する。

【0165】

次のステップＳ２６において、プロセッサ１０１は、仮想空間上の第１仮想モデルおよび第２仮想モデルを可視化した仮想画像を含むウィンドウのデータを表示コントローラ１０５に出力する。これにより、仮想画像を含むウィンドウがディスプレイ１２０に表示される。

【0166】

次のステップＳ２７において、プロセッサ１０１は、他の可視化処理を実行する。ステップＳ２７の詳細については後述する。

【0167】

次のステップＳ２８において、プロセッサ１０１は、時刻ｔが対象期間の終了時刻Ｔより前か否かを判断する。

【0168】

時刻ｔが終了時刻Ｔよりも前である場合（ステップＳ２８でＹＥＳ）、ステップＳ２９において、プロセッサ１０１は、ステップＳ２１または前回のステップＳ２９から規定時間が経過すると、時刻ｔを再生周期だけ進める。具体的には、プロセッサ１０１は、カウンタ値を規定値（例えば５０または１００）に再生倍率を乗じた値だけ進める。ステップＳ２９の後、情報提供処理はステップＳ２２に戻る。

【0169】

時刻ｔが終了時刻Ｔよりも前ではない場合（ステップＳ２８でＮＯ）、情報提供処理は終了する。

【0170】

図１３に示すフローが実行されることにより、ディスプレイ１２０には、対象期間におけるワーク４００の運動および制御対象３００の動作を模した仮想動画が表示される。

【0171】

図１４は、図１０に示すコマ戻しボタンまたはコマ送りボタンがクリックされたときの情報提供処理の流れの一例を示すフローチャートである。なお、時刻ｔが対象期間の開始時刻ｔ０である場合、コマ戻しボタン６４の操作が無効にされる。時刻ｔが対象期間の終了時刻Ｔである場合、コマ送りボタン６５の操作が無効にされる。図１４に示すフローは、図１３に示すフローと比較して、ステップＳ２８，Ｓ２９が省略される点で相違する。図１４に示すフローが実行されることにより、ユーザは、指定時刻をコマ戻しまたはコマ送りしながら、対象期間内の所望のタイミングの仮想画像を確認することができる。

【0172】

図１５は、図１３または図１４に示すステップＳ２７のサブルーチンの処理の流れの一例を示すフローチャートである。図１５に示されるように、ステップＳ２７において、ステップＳ３１，Ｓ３２の処理と、ステップＳ３３，Ｓ３４の処理と、ステップＳ３５～Ｓ３７の処理とが並行して実施される。

【0173】

ステップＳ３１において、プロセッサ１０１は、プログラム表示機能が有効であるか否かを判断する。プログラム表示機能が有効である場合（ステップＳ３１でＹＥＳ）、ステップＳ３２において、プロセッサ１０１は、ステップＳ２２において取得した１以上の変数の値に基づいて、制御プログラムの実行状況を示すウィンドウのデータを表示コントローラ１０５に出力する。これにより、対象期間における制御プログラムの実行状況を示すウィンドウがディスプレイ１２０に表示される。プログラム表示機能が無効である場合（ステップＳ３１でＮＯ）、ステップＳ３２が省略される。

【0174】

ステップＳ３３において、プロセッサ１０１は、波形表示機能が有効であるか否かを判断する。波形表示機能が有効である場合（ステップＳ３３でＹＥＳ）、ステップＳ３４において、プロセッサ１０１は、ステップＳ２２において取得した１以上の変数の値に基づいて、１以上の変数の推移を示すグラフを含むウィンドウのデータを表示コントローラ１０５に出力する。これにより、対象期間における変数の値の推移を示すグラフを含むウィンドウがディスプレイ１２０に表示される。波形表示機能が無効である場合（ステップＳ３３でＮＯ）、ステップＳ３４が省略される。

【0175】

ステップＳ３５において、プロセッサ１０１は、動画再生機能が有効であるか否かを判断する。動画再生機能が有効である場合（ステップＳ３５でＹＥＳ）、ステップＳ３６において、プロセッサ１０１は、データベース１０に格納された動画データ１４から、時刻ｔにおけるフレームを取得する。次のステップＳ３７において、プロセッサ１０１は、取得したフレームが再生されるウィンドウのデータを表示コントローラ１０５に出力する。これにより、対象期間に撮影された動画が再生されるウィンドウがディスプレイ１２０に表示される。動画再生機能が無効である場合（ステップＳ３５でＮＯ）、ステップＳ３６，Ｓ３７が省略される。

【0176】

＜情報提供画面例＞
図１６は、運用フェーズにおいて表示される画面の一例を示す図である。図１７は、運用フェーズにおいて表示される画面の別の例を示す図である。図１６に示す画面は、プログラム表示機能および動画再生機能が有効にされたときに表示される。図１７に示す画面は、プログラム表示機能、波形表示機能および動画再生機能が有効にされたときに表示される。

【0177】

図１６に示されるように、ディスプレイ１２０には、操作ウィンドウ６０と、仮想画像を含むウィンドウ８０と、制御プログラムの実行状況を示すウィンドウ８２と、動画が再生されるウィンドウ８４とが並べて表示される。図１７に示されるように、ディスプレイ１２０には、操作ウィンドウ６０と、仮想画像を含むウィンドウ８０と、制御プログラムの実行状況を示すウィンドウ８２と、動画が再生されるウィンドウ８４と、変数の値の推移を示すグラフを含むウィンドウ８６とが並べて表示される。ウィンドウ８６において、グラフは、指定時刻を表す線Ｌ１を含む。

【0178】

図１６または図１７に示す画面に基づいて、ユーザは、対象期間内のワーク４００および制御対象３００を模した第１仮想モデルおよび第２仮想モデルが可視化された仮想画像とともに、制御プログラムの実行状況、変数の値の推移、または実動画を確認できる。

【0179】

ウィンドウ８０は、仮想画像のスケールまたは仮想視点などを変更するためのアイコン群８０ａを含む。プロセッサ１０１は、アイコン群８０ａへの操作に応じて、仮想画像を更新する。これにより、ユーザは、仮想画像において、実画像では確認できない箇所の状態を確認できる。

【0180】

＜変形例＞
上記の説明では、情報処理システム１００が１つのＰＣ１００Ａによって構成されるものとした。しかしながら、情報処理システム１００は、複数のコンピュータによって構成されてもよい。すなわち、情報処理システム１００は、複数のプロセッサを含んでもよい。あるいは、情報処理システム１００は、クラウド上の仮想マシン等、汎用的なＰＣ以外のハードウェア環境を含んでもよい。

【0181】

情報処理システム１００は、複数のデータベースを備えていてもよい。この場合、第１時系列データ１１と第２時系列データ１２と第３時系列データ１３とは、互いに異なるデータベースに格納されてもよい。

【0182】

第１クエリ生成部１８ａは、第１時系列データ１１から全ての変数の値を取得してもよいし、一部の変数の値を取得してもよい。取得対象の変数は、動作再現モジュール２３、波形表示モジュール４３およびプログラム表示モジュール４４において互いに異なっていてもよい。取得対象の変数は、ユーザによって指定され得る。制御プログラムの開発時において、ユーザ入力に応じて、制御プログラムによって使用される各変数の変数名が設定される。そのため、取得対象の変数は、変数名によって指定される。一方、第１時系列データ１１は、各変数について、変数名ではなく変数ＩＤを示す（図８参照）。そのため、第１クエリ生成部１８ａは、変換テーブルを用いて、取得対象の変数名を変数ＩＤに変換すればよい。

【0183】

図１８は、第１クエリ生成部によって参照される変換テーブルの一例を示す図である。図１８に示されるように、変換テーブル１８１は、変数名と変数ＩＤとを対応付ける。変換テーブル１８１は、第１時系列データ１１を構築する前、または、第１時系列データ１１を構築するときに生成され得る。

【0184】

§３ 付記
以上のように、本実施の形態は以下のような開示を含む。

【0185】

（構成１）
情報処理システム（１００，１００Ａ）であって、
対象期間における制御装置（２００）の制御状態を表す１以上の変数の値の第１時系列データ（１１）を記憶する１以上のデータベース（１０）と、
前記第１時系列データ（１１）と、前記対象期間における前記制御装置（２００）の制御対象（３００）と前記制御装置（２００）によって制御されない物体（４００）との従属関係と、前記物体（４００）の物理特性とに基づいて、前記対象期間における前記物体（４００）の第１仮想モデルの運動をシミュレートするシミュレータ（２０，２４，２５，１０１）と、
前記シミュレータ（２０，２４，２５）によるシミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データ（１２）を取得し、前記第２時系列データ（１２）を前記１以上のデータベース（１０）に格納するデータ取得モジュール（３０，１０１）と、
前記第１仮想モデルと前記制御対象の第２仮想モデルとが重ねて可視化される仮想画像を生成する第１可視化モジュール（４０，１０１）とを備え、
前記第１可視化モジュール（４０，１０１）は、前記仮想画像において、
前記第２時系列データ（１２）が示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化し、
前記第１時系列データ（１１）が示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象（３００）の状態を有するように前記第２仮想モデルを可視化する、情報処理システム（１００，１００Ａ）。

【0186】

（構成２）
前記物体（４００）を撮影することにより得られた動画に基づいて、前記対象期間における前記物体（４００）の形状変化を解析する形状解析モジュール（５０，１０１）を備え、
前記データ取得モジュール（３０，１０１）は、前記形状解析モジュール（５０，１０１）による解析結果から、前記対象期間における前記物体（４００）の形状の第３時系列データ（１３）を取得し、前記第３時系列データ（１３）を前記１以上のデータベース（１０）に格納し、
前記第１可視化モジュール（４０，１０１）は、前記仮想画像において、前記第３時系列データ（１３）が示す前記指定時刻の形状を有するように前記第１仮想モデルを可視化する、構成１に記載の情報処理システム（１００，１００Ａ）。

【0187】

（構成３）
前記シミュレータ（２０，２４，２５，１０１）は、
前記対象期間のうちの第１区間において、前記第１時系列データ（１１）が示す前記１以上の変数の値に基づいて、前記第２仮想モデルの動作をシミュレートし、前記第２仮想モデルに追従するように前記第１仮想モデルの運動をシミュレートし、
前記対象期間のうち前記第１区間以外の第２区間において、前記物理特性に基づいて、前記第１仮想モデルの運動をシミュレートする、構成１または２に記載の情報処理システム（１００，１００Ａ）。

【0188】

（構成４）
前記指定時刻における前記１以上の変数の値が可視化された第１ウィンドウ（８２，８６）のデータを生成する１以上の第２可視化モジュール（４３，４４，１０１）と、
前記第１ウィンドウ（８２，８６）と、前記仮想画像を含む第２ウィンドウ（８０）とをディスプレイ（１２０）上に並べて表示させる表示コントローラ（１０５）とをさらに備える、構成１から３のいずれかに記載の情報処理システム（１００，１００Ａ）。

【0189】

（構成５）
前記１以上の第２可視化モジュール（４３，４４，１０１）は、前記１以上の変数の値の推移を示すグラフを可視化する波形表示モジュール（４３，１０１）と、前記制御装置における前記制御対象を制御するための制御プログラムの実行状況を可視化するプログラム表示モジュール（４４，１０１）との少なくとも１つを含む、構成４に記載の情報処理システム（１００，１００Ａ）。

【0190】

（構成６）
前記制御対象（３００）を撮影することにより得られた動画のうち前記指定時刻におけるフレームを含む第１ウィンドウ（８４）のデータを生成する動画再生モジュール（４５，１０１）と、
前記第１ウィンドウ（８４）と、前記仮想画像を含む第２ウィンドウ（８０）とをディスプレイ（１２０）上に並べて表示させる表示コントローラ（１０５）とをさらに備える、構成１から３のいずれかに記載の情報処理システム（１００，１００Ａ）。

【0191】

（構成７）
対象期間における制御装置（２００）の制御状態を表す１以上の変数の値の第１時系列データ（１１）を記憶する１以上のデータベース（１０）を用いた情報処理方法であって、
１以上のプロセッサ（１０１）が、前記第１時系列データ（１１）と、前記対象期間における前記制御装置（２００）の制御対象（３００）と前記制御装置（２００）によって制御されない物体（４００）との従属関係と、前記物体（４００）の物理特性とに基づいて、前記対象期間における前記物体（４００）の第１仮想モデルの運動をシミュレートすること（Ｓ６，Ｓ７）と、
前記１以上のプロセッサ（１０１）が、シミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データ（１２）を取得し、前記第２時系列データ（１２）を前記１以上のデータベース（１０）に格納すること（Ｓ１０）と、
前記１以上のプロセッサ（１０１）が、前記第１仮想モデルと前記制御対象（３００）の第２仮想モデルとが重ねて可視化される仮想画像を生成すること（Ｓ２２～Ｓ２６）とを備え、
前記仮想画像を生成すること（Ｓ２２～Ｓ２６）は、
前記１以上のプロセッサ（１０１）が、前記仮想画像において、前記第２時系列データ（１２）が示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化すること（Ｓ２５）と、
前記１以上のプロセッサ（１０１）が、前記仮想画像において、前記第１時系列データ（１１）が示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象（３００）の状態を有するように前記第２仮想モデルを可視化すること（Ｓ２３）とを含む、情報処理方法。

【0192】

（構成８）
対象期間における制御装置（２００）の制御状態を表す１以上の変数の値の第１時系列データ（１１）を記憶する１以上のデータベース（１０）を用いた情報処理方法をコンピュータ（１００Ａ）に実行させるプログラム（１３３，１３４，１３６）であって、
前記情報処理方法は、
前記第１時系列データ（１１）と、前記対象期間における前記制御装置（２００）の制御対象（３００）と前記制御装置（２００）によって制御されない物体（４００）との従属関係と、前記物体（４００）の物理特性とに基づいて、前記対象期間における前記物体（４００）の第１仮想モデルの運動をシミュレートすること（Ｓ６，Ｓ７）と、
シミュレーション結果から、前記対象期間における前記第１仮想モデルの位置姿勢の第２時系列データ（１２）を取得し、前記第２時系列データ（１２）を前記１以上のデータベース（１０）に格納すること（Ｓ１０）と、
前記第１仮想モデルと前記制御対象（３００）の第２仮想モデルとが重ねて可視化される仮想画像を生成すること（Ｓ２２～Ｓ２６）とを備え、
前記仮想画像を生成すること（Ｓ２２～Ｓ２６）は、
前記仮想画像において、前記第２時系列データ（１２）が示す指定時刻の位置姿勢をとるように前記第１仮想モデルを可視化すること（Ｓ２５）と、
前記仮想画像において、前記第１時系列データ（１１）が示す前記指定時刻の前記１以上の変数の値に対応する前記制御対象（３００）の状態を有するように前記第２仮想モデルを可視化すること（Ｓ２３）とを含む、プログラム（１３３，１３４，１３６）。

【0193】

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0194】

１ 製造システム、１０ データベース、１１ 第１時系列データ、１１ａ，１２ａ，１３ａ データ片、１２ 第２時系列データ、１３ 第３時系列データ、１４ 動画データ、１５ 時刻指定モジュール、１６ データ再現モジュール、１７ 時刻制御モジュール、１８ データ要求モジュール、１８ａ 第１クエリ生成部、１８ｂ 第２クエリ生成部、１８ｃ 第３クエリ生成部、２０ シミュレータ、２１ 動作設定モジュール、２１ａ 対応関係情報、２２ 初期情報設定モジュール、２２ａ 初期情報、２３ 動作再現モジュール、２４ スクリプト実行モジュール、２５ 物理シミュレーション実行モジュール、２６ データ管理モジュール、３０ データ取得モジュール、３１ 座標取得モジュール、３２ 形状取得モジュール、４０ 第１可視化モジュール、４１ モデル生成モジュール、４２ モデル表示モジュール、４３ 波形表示モジュール、４４ プログラム表示モジュール、４５ 動画再生モジュール、５０ 形状解析モジュール、５１ 動画解析モジュール、５２ メッシュ生成モジュール、６０ 操作ウィンドウ、６１ カーソル
６２，６６ 入力欄、６３ 再生ボタン、６４ コマ戻しボタン、６５ コマ送りボタン、８０，８２，８４，８６ ウィンドウ、８０ａ アイコン群、１００ 情報処理システム、１００Ａ ＰＣ、１０１ プロセッサ、１０２，２０６ メモリ、１０３，２０８ ストレージ、１０４ 入力インターフェイス、１０５ 表示コントローラ、１０６ 通信インターフェイス、１０７，２７０ リーダ／ライタ、１１０ 入力装置、１２０ ディスプレイ、１３１ 開発プログラム、１３２ ビューワープログラム、１３３ データ再現プログラム、１３４ シミュレーションプログラム、１３５ 形状解析プログラム、１３６ データベース構築プログラム、１８１ 変換テーブル、２００ 制御装置、２０１ 電源回路、２０２ ＣＰＵ、２０４ チップセット、２０７ バッファ領域、２１１ システムプログラム、２１３ スケジューラプログラム、２１４ プログラムデータセット、２５０ ＵＳＢコントローラ、２５２ フィールドネットワークコントローラ、２５２ａ，２５４ａ コネクタ、２５４ ネットワークコントローラ、２６０ タイマ、３００ 制御対象、４００ ワーク、５００ ネットワークカメラ、７００ 記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】