知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130335
(43)【公開日】2024-09-30
(54)【発明の名称】制御装置、制御方法およびプログラム
(51)【国際特許分類】
G05B 23/02 20060101AFI20240920BHJP
【ＦＩ】
G05B23/02 302Z
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023040000
(22)【出願日】2023-03-14
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】宮本 幸太
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA12
3C223BA01
3C223BB08
3C223CC01
3C223EB02
3C223EB05
3C223FF02
3C223FF22
3C223FF26
3C223FF45
3C223GG01
3C223HH02
(57)【要約】
【課題】製造設備において発生し得る異常をより正確に検知する技術を提供する。
【解決手段】制御装置は、製造設備を制御するための制御プログラムを実行する実行部と、製造設備に配置されたカメラにより撮像された第１の画像データと、実行部が保持するデータである第１の設備データとを統合モデルに入力して、異常を検知する検知部とを含む。統合モデルは、第１の画像データが入力される第１の学習済モデルと、第１の設備データが入力される第２の学習済モデルと、第１の学習済モデルの推論結果と第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを含む。
【選択図】図１４
【解決手段】制御装置は、製造設備を制御するための制御プログラムを実行する実行部と、製造設備に配置されたカメラにより撮像された第１の画像データと、実行部が保持するデータである第１の設備データとを統合モデルに入力して、異常を検知する検知部とを含む。統合モデルは、第１の画像データが入力される第１の学習済モデルと、第１の設備データが入力される第２の学習済モデルと、第１の学習済モデルの推論結果と第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを含む。
【選択図】図１４
【特許請求の範囲】
【請求項1】
製造設備を制御するための制御プログラムを実行する実行部と、
前記製造設備に配置されたカメラにより撮像された第１の画像データと、前記実行部が保持するデータである第１の設備データとを統合モデルに入力して、異常を検知する検知部とを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデルと、
前記第１の設備データが入力される第２の学習済モデルと、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを備える、制御装置。
前記製造設備に配置されたカメラにより撮像された第１の画像データと、前記実行部が保持するデータである第１の設備データとを統合モデルに入力して、異常を検知する検知部とを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデルと、
前記第１の設備データが入力される第２の学習済モデルと、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを備える、制御装置。
【請求項2】
前記統合部は、前記複数の推論結果を平均化する処理と、前記複数の推論結果の多数決をとる処理と、前記複数の推論結果の重み付け平均を算出する処理とのうち、少なくとも１つを実行する、請求項１に記載の制御装置。
【請求項3】
前記統合部は、前記第１の画像データとは異なるカメラにより撮像された第２の画像データが入力される第３の学習済モデルと、前記実行部が保持する前記第１の設備データとは異なる第２の設備データが入力される第４の学習済モデルとのうち少なくとも一方をさらに備える、請求項１または２に記載の制御装置。
【請求項4】
前記第１の画像データおよび前記第１の設備データは、前記製造設備に存在する要因間の因果関係を示す因果関係グラフに対する要因の選択に応じて決定される、請求項１または２に記載の制御装置。
【請求項5】
コンピュータが実行する制御方法であって、
制御プログラムに従って製造設備を制御することと、
前記製造設備に配置されたカメラにより撮像された第１の画像データと、前記製造設備の制御に用いられるデータである第１の設備データとを統合モデルに入力して、異常を検知することとを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデルと、
前記第１の設備データが入力される第２の学習済モデルと、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを備える、制御方法。
制御プログラムに従って製造設備を制御することと、
前記製造設備に配置されたカメラにより撮像された第１の画像データと、前記製造設備の制御に用いられるデータである第１の設備データとを統合モデルに入力して、異常を検知することとを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデルと、
前記第１の設備データが入力される第２の学習済モデルと、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを備える、制御方法。
【請求項6】
プログラムであって、制御装置のコンピュータに、
製造設備を制御することと、
前記製造設備に配置されたカメラにより撮像された第１の画像データと、前記製造設備の制御に用いられるデータである第１の設備データとを統合モデルに入力して、異常を検知することとを実行させ、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデルと、
前記第１の設備データが入力される第２の学習済モデルと、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを備える、プログラム。
製造設備を制御することと、
前記製造設備に配置されたカメラにより撮像された第１の画像データと、前記製造設備の制御に用いられるデータである第１の設備データとを統合モデルに入力して、異常を検知することとを実行させ、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデルと、
前記第１の設備データが入力される第２の学習済モデルと、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを備える、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、制御方法およびプログラムに関する。
【背景技術】
【0002】
生産現場においては、異常を確実かつ早期に検知したいというニーズがある。
【0003】
例えば、特開２０１０－１９１５５６号公報（特許文献１）は、観測データの異常を検知するための正常事例の学習データを取捨選択して精度をあげる学習データの生成方法により、ユーザ負荷を軽減し、さらに早期に異常を高感度に検知することが可能な異常検知方法を開示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０－１９１５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の先行技術は、多次元時系列信号から特徴量を抽出する異常検知方法を開示するが、多次元時系列信号だけでは、異常を検知するための情報が潜在的に不足している可能性もある。
【0006】
本発明は、製造設備において発生し得る異常をより正確に検知する技術を提供することを一つの目的とする。
【課題を解決するための手段】
【0007】
本発明の一例に従う制御装置は、製造設備を制御するための制御プログラムを実行する実行部と、製造設備に配置されたカメラにより撮像された第１の画像データと、実行部が保持するデータである第１の設備データとを統合モデルに入力して、異常を検知する検知部とを含む。統合モデルは、第１の画像データが入力される第１の学習済モデルと、第１の設備データが入力される第２の学習済モデルと、第１の学習済モデルの推論結果と第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを含む。
【0008】
この構成によれば、画像データを学習済モデルに入力して算出される推論結果と、設備データを学習済モデルに入力して算出される推論結果とを統合して、最終的な推論結果を決定できるので、多面的に異常の有無を検知できる。その結果、異常検知の精度を高めることができる。
【0009】
統合部は、複数の推論結果を平均化する処理と、複数の推論結果の多数決をとる処理と、複数の推論結果の重み付け平均を算出する処理とのうち、少なくとも１つを実行してもよい。この構成によれば、複数の推論結果から最終的な推論結果を決定できる。
【0010】
統合部は、第１の画像データとは異なるカメラにより撮像された第２の画像データが入力される第３の学習済モデルと、実行部が保持する第１の設備データとは異なる第２の設備データが入力される第４の学習済モデルとのうち少なくとも一方をさらに含んでもよい。この構成によれば、画像データまたは設備データについて多様性を向上できるので、異常検知の精度を高めることができる。
【0011】
第１の画像データおよび第１の設備データは、製造設備に存在する要因間の因果関係を示す因果関係グラフに対する要因の選択に応じて決定されてもよい。この構成によれば、因果関係グラフに基づいて、統合モデルへの入力に適した画像データおよび設備データを決定できる。
【0012】
本発明の別の一例に従うコンピュータが実行する制御方法は、制御プログラムに従って製造設備を制御することと、製造設備に配置されたカメラにより撮像された第１の画像データと、製造設備の制御に用いられるデータである第１の設備データとを統合モデルに入力して、異常を検知することとを含む。統合モデルは、第１の画像データが入力される第１の学習済モデルと、第１の設備データが入力される第２の学習済モデルと、第１の学習済モデルの推論結果と第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを含む。
【0013】
本発明のさらに別の一例に従うプログラムは、制御装置のコンピュータに、製造設備を制御することと、製造設備に配置されたカメラにより撮像された第１の画像データと、製造設備の制御に用いられるデータである第１の設備データとを統合モデルに入力して、異常を検知することとを実行させる。統合モデルは、第１の画像データが入力される第１の学習済モデルと、第１の設備データが入力される第２の学習済モデルと、第１の学習済モデルの推論結果と第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部とを含む。
【発明の効果】
【0014】
本発明によれば、製造設備において発生し得る異常をより正確に検知できる。
【図面の簡単な説明】
【0015】
【図1】本実施の形態に従う統合モデルの生成処理手順の一例を示すフローチャートである。
【図2】本実施の形態に従う統合モデルの運用処理手順の一例を示すフローチャートである。
【図3】本実施の形態に従う情報処理方法を適用する製造設備の一例を示す模式図である。
【図4】本実施の形態に従う情報処理方法において生成される因果関係グラフの一例を示す模式図である。
【図5】本実施の形態に従う情報処理方法において生成される因果関係グラフの一例を示す模式図である。
【図6】本実施の形態に従う情報処理システムのソフトウェア構成例を示す模式図である。
【図7】本実施の形態に従うＰＬＣ（Programmable Logic Controller）のハードウェア構成例を示す模式図である。
【図8】本実施の形態に従う情報処理装置のハードウェア構成例を示す模式図である。
【図9】本実施の形態に従う画像データモデルによる推論の一例を説明するための図である。
【図10】本実施の形態に従う情報処理方法において因果関係グラフを生成するための特徴量データセットの一例を示す模式図である。
【図11】因果関係グラフ生成処理に係る処理手順を示すフローチャートである。
【図12】本実施の形態に従う情報処理装置が提供するユーザインターフェイス画面の一例を示す模式図である。
【図13】本実施の形態に従う情報処理装置による統合モデルの生成処理例を説明するための図である。
【図14】本実施の形態に従う情報処理装置が生成する統合モデルの一例を示す模式図である。
【図15】本実施の形態に従う情報処理方法の運用例を示す模式図である。
【図16】本実施の形態に従う情報処理方法における統合モデルの生成および運用の処理手順例を示す模式図である。
【図17】本実施の形態に従う情報処理方法における統合モデルの運用および更新の処理手順例を示す模式図である。
【発明を実施するための形態】
【0016】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0017】
＜Ａ．適用例＞
本発明が適用される場面の一例について説明する。以下では、製造設備から収集される情報に基づいて因果関係グラフを生成するとともに、生成された因果関係グラフに基づいて推論モデルを生成する例を説明する。推論モデルは、例えば、異常を検知するための異常検知モデルである。
本発明が適用される場面の一例について説明する。以下では、製造設備から収集される情報に基づいて因果関係グラフを生成するとともに、生成された因果関係グラフに基づいて推論モデルを生成する例を説明する。推論モデルは、例えば、異常を検知するための異常検知モデルである。
【0018】
本明細書において、「または」との用語は、「または」の意味加えて、「および」の意味を包含する。
【0019】
本明細書において、「製造設備」は、製品または半製品を、製造または加工を行うための１または複数の任意の装置に加えて、製品または半製品の検査などの付帯処理を行うための１または複数の任意の装置を含み得る。
【0020】
本明細書において、「画像データ」は、製造設備に配置されたカメラにより撮像される画像データを意味する。
【0021】
本明細書において、「設備データ」は、製造設備の制御に用いられるデータを含む。設備データは、制御装置（例えば、ＰＬＣなど）が保持するデータとも言える。例えば、設備データは、センサなどにより収集または計測された入力データと、アクチュエータなどに対する制御指令である出力データと、制御装置が内部的に保持している内部データとを含む。設備データは、製造設備から出力される任意の情報を含んでもよいし、ＭＥＳ（Manufacturing Execution System）などから取得される情報を含んでもよい。設備データは、画像データとは区別される。そのため、設備データは、製造設備から収集されるデータのうち、画像データ（および、音声データ）を除いたデータと表現することもできる。
【0022】
本明細書において、「因果関係グラフ」は、着目している事象についての、製造設備に存在する要因間の因果関係を示す。因果関係グラフは、製造設備において生じ得る「異常」と評価される事象に着目して生成されてもよい。
【0023】
因果関係グラフにおいて、要因の各々は、ノードに対応付けられる。因果関係グラフに含まれる１または複数のノード（要因）の各々は、製造設備において観測可能な任意の情報を含む。以下では、各ノードが示す観測可能な任意の情報を「特徴量」と称す。例えば、各ノードに対応付けられる特徴量に基づいて、ノード間の関係性が決定される。各ノードに対応付けられる特徴量は、画像データおよび設備データのいずれかから算出される。ただし、因果関係グラフは、画像データおよび設備データ以外のデータ（例えば、音声データ）から算出された特徴量に対応付けられたノードを含んでもよい。
【0024】
説明の便宜上、画像データから算出される特徴量を「画像特徴量」と称し、設備データから算出される特徴量を「設備特徴量」と称する。
【0025】
本明細書において、「学習データ」は、学習済モデルを生成するための用いられるデータであり、画像データおよび設備データを含む。すなわち、学習データは、学習済モデルの生成フェーズにおいて使用されるデータである。なお、教師有り学習が採用される場合には、学習データは、ラベルを付与するためのデータ（ラベルデータ）を含んでもよいし、ラベルが付与された画像データおよび設備データを含んでもよい。
【0026】
本明細書において、「監視データ」は、学習済モデルの運用時に、学習済モデルに入力されるリアルタイムデータであり、画像データおよび設備データを含む。監視データは、一例として、製造設備が稼働中に逐次収集されるデータである。なお、一定期間に亘って収集された監視データは、事後的に学習データとして用いることもできる。
【0027】
本明細書において、「画像データモデル」は、画像データが入力される学習済モデルである。画像データモデルは、入力された画像データについての推論結果（例えば、画像計測結果、画像検査結果、または画像認識結果など）を出力する。画像データモデルは、入力された画像データに対して、予め定められた状態（例えば、異常が発生している状態）である確率を推論結果として出力してもよい。推論結果はそのまま特徴量として処理してもよいし、推論結果を統計処理することで特徴量が算出されてもよい。
【0028】
本明細書において、「設備データモデル」は、設備データが入力される学習済モデルである。設備データモデルは、入力された設備データに対して、例えば、予め定められた状態（例えば、異常が発生している状態）である確率を推論結果として出力する。
【0029】
本実施の形態に従う情報処理方法は、画像データおよび設備データに少なくとも基づいて、推論モデルを生成することに向けられている。すなわち、本実施の形態に従う情報処理方法は、学習済モデルの生成方法を含む。学習済モデルの生成方法は、物である学習済モデルを生産する方法を含む。推論モデルは、画像データおよび設備データを少なくとも入力とするので、以下では、「統合モデル」とも称す。
【0030】
統合モデルは、一例として、製造設備に生じる異常を検知するための異常検知モデルである。異常検知モデルが検知する異常は、通常の稼働状態とは異なっている状態、または、いつもの稼働状態とは異なっている状態を含む。すなわち、本明細書において、「異常」は、故障などの製造設備がまったく動作しない状態だけではなく、本来の稼働状態とは異なった状態を含む。
【0031】
図１は、本実施の形態に従う統合モデルの生成処理手順の一例を示すフローチャートである。図１を参照して、情報処理装置は、画像データの特徴量を算出する（ステップＳ１）。画像データの特徴量は、画像処理装置の出力（推論結果）を利用して生成されてもよいし、情報処理装置が画像データを処理して生成されてもよい。また、情報処理装置は、設備データから特徴量を算出する（ステップＳ２）。なお、ステップＳ１とステップＳ２との実行順序はいずれであってもよい。また、ステップＳ１とステップＳ２とを並列的に実行してもよい。
【0032】
情報処理装置は、画像データの特徴量および設備データの特徴量に基づいて、因果関係グラフを生成する（ステップＳ３）。情報処理装置は、因果関係グラフをユーザに呈示しつつ、統合モデルに用いる特徴量（画像データおよび設備データ）の選択を受け付ける（ステップＳ４）。
【0033】
情報処理装置は、選択された特徴量の各々に対応する学習済モデルを生成し（ステップＳ５）、生成した学習済モデルを統合して統合モデルを生成する（ステップＳ６）。
【0034】
図２は、本実施の形態に従う統合モデルの運用処理手順の一例を示すフローチャートである。図２を参照して、制御装置は、統合モデルの入力に必要な画像データおよび設備データを収集する（ステップＳ１１）。制御装置は、収集した画像データおよび設備データを統合モデルに入力して推論結果を算出する（ステップＳ１２）。制御装置は、算出された推論結果に基づいて、異常が発生しているか否かを判断する（ステップＳ１３）。異常が発生していれば（ステップＳ１３においてＹＥＳ）、制御装置は、予め定められた処理を実行する（ステップＳ１４）。予め定められた処理は、例えば、異常ログ出力、異常発生通知、または、製造設備停止などを含んでもよい。
【0035】
このように、制御装置は、画像データと設備データとを統合モデルに入力して、異常を検知する処理を実行する。
【0036】
ステップＳ１１～Ｓ１４の処理は、所定周期で繰り返されてもよい。
【0037】
【0038】
図３を参照して、製造設備１０は、ワーク搬送部１２と、フィルム供給部１４と、シール部１６と、排出部１８とを含む。製造設備１０は、図示しない１または複数のＰＬＣ（制御装置の一例）によって制御される。
【0039】
ワーク搬送部１２は、コンベアによりワーク２０をシール部１６に搬送する。ワーク搬送部１２のコンベアは、モータ４０により駆動される。ワーク搬送部１２のコンベアの上部には、カメラ３２が配置されている。
【0040】
フィルム供給部１４は、フィルムをシール部１６に供給する。フィルムは、モータ４２の駆動により供給される。フィルム供給部１４のフィルムを供給する経路には、カメラ３４が配置されている。
【0041】
シール部１６は、フィルム供給部１４から供給されたフィルムの中に、ワーク搬送部１２から搬送されたワークを配置する。シール部１６は、ワーク２０の前後にある部分をシールすることで、ワーク２０を個包装する。これによって、個包装ワーク２４が生成される。ワーク２０を包むフィルムは、モータ４４の駆動により搬送される。搬送経路上には、ワーク２０を包むフィルムを加熱するためのセンタシールヒータ４６が配置されている。センタシールヒータ４６が配置されている部分は、センタシール部と称される。ワーク２０の前後にある部分をシールするためのカッタは、モータ４８により駆動される。カッタが配置されている部分は、トップシール部と称される。
【0042】
排出部１８は、個包装ワーク２４を次工程に搬送する。排出部１８の上部には、カメラ３６が配置されている。
【0043】
製造設備１０には、１または複数のマイク３８が配置されていてもよい。
【0044】
図４および図５は、本実施の形態に従う情報処理方法において生成される因果関係グラフ５０の一例を示す模式図である。図４および図５に示す因果関係グラフ５０は、図３に示す製造設備１０に対応するものであり、設備特徴量に対応する１または複数のノード５２－１～５２－８と、画像特徴量に対応する１または複数のノード５４－１～５４－４を含む。因果関係グラフ５０は、品質評価結果に対応するノード５６を含んでもよい。
【0045】
ノード５２－１の特徴量は、モータ４２に発生するトルクに対応する。ノード５２－２の特徴量は、モータ４０に発生するトルクに対応する。ノード５２－３の特徴量は、モータ４４に発生するトルクに対応する。ノード５２－４の特徴量は、センタシールヒータ４６の温度に対応する。ノード５２－５の特徴量は、センタシールヒータ４６に対する制御指令に対応する。ノード５２－６の特徴量は、モータ４８に発生するトルクに対応する。ノード５２－７の特徴量は、トップシール部（カッタ）に配置されているヒータの温度に対応する。ノード５２－７の特徴量は、トップシール部（カッタ）に配置されているヒータに対する制御指令に対応する。
【0046】
ノード５４－１の特徴量は、カメラ３４が撮像した画像データに基づいて計測されたフィルムの変位に対応する。ノード５４－２の特徴量は、カメラ３２が撮像した画像データに基づいて計測されたワーク２０の大きさに対応する。ノード５４－３，５４－４の特徴量は、カメラ３６が撮像した画像データに基づいて計測された個包装ワーク２４の状態に対応する。
【0047】
ノード５６の特徴量は、個包装ワーク２４のシール状態を検査した結果に対応する。
【0048】
因果関係グラフ５０は、有向性グラフとして作成されており、各矢印がノード間の因果関係を示す。例えば、ノード５４－１に対応する特徴量（フィルムずれ量）の変動によって、ノード５２－１に対応する特徴量（フィルムメイン軸トルク）も変動することが示唆される。
【0049】
図４に示す因果関係グラフ５０は、画像データから算出された特徴量に対応するノードと、設備データから算出された特徴量に対応するノードとを含む。そのため、因果関係グラフ５０は、製造設備１０に生じる変化と、ワーク２０自体の変化およびワーク２０に対する加工処理の変化との関係を視覚化する。
【0050】
例えば、因果関係グラフ５０において、画像データの特徴量との関係性が高い特徴量を選択して、統合モデルを生成した場合には、画像データの特徴量に対応する推論のロバスト性を高めることができる。すなわち、外乱などによって画像データの内容が乱れた場合であっても、画像データとの関係性が高い設備特徴量を用いることで、推論を補完できる。
【0051】
例えば、図５を参照して、因果関係グラフ５０には、ノード５４－１、ノード５２－１、ノード５２－３、および、ノード５２－６を順に経て、ノード５４－４に至る経路５８が存在する。例えば、ノード５４－４の特徴量（個包装ワーク２４のシール面積）は、ノード５４－１の特徴量（フィルムずれ量）およびノード５２－３の特徴量（フィルムサブ軸トルク）と関係性が高い。そのため、ノード５４－４の特徴量を算出するための画像データモデルと、ノード５４－１の特徴量を算出するための画像データモデルと、ノード５２－３の特徴量を算出するための設備データモデルとを含めた統合モデルを生成されてもよい。
【0052】
一方、因果関係グラフ５０において、画像データの特徴量との関係性が低い特徴量を選択して、統合モデルを生成した場合には、画像データの特徴量に対応する推論を別の観点から補完できる。すなわち、画像データには表れないが、設備データには含まれる特徴量を用いることで、多面的な推論を実現できる。
【0053】
例えば、図５を参照して、因果関係グラフ５０には、ノード５４－１、ノード５２－１、ノード５２－３、および、ノード５２－６を順に経て、ノード５４－４に至る経路５８とは別に、ノード５２－８およびノード５２－７を順に経て、ノード５４－４に至る経路５９が存在する。例えば、ノード５２－７の特徴量（トップシール温度）は、ノード５４－１の特徴量（フィルムずれ量）およびノード５２－３の特徴量（フィルムサブ軸トルク）と関係性が高い。そのため、ノード５４－４の特徴量を算出するための画像データモデルと、ノード５４－１の特徴量を算出するための画像データモデルと、ノード５２－３の特徴量を算出するための設備データモデルとを含めた統合モデルを生成されてもよい。
【0054】
このように、本実施の形態に従う情報処理方法においては、画像データを用いる推論（画像計測、画像検査、または画像認識など）に、設備データを用いる推論を追加した統合モデルを用いることで、推論のロバスト性を高めるとともに、推論精度を高めることができる。
【0055】
＜Ｂ．ソフトウェア構成例＞
次に、本実施の形態に従う情報処理システム１のソフトウェア構成例について説明する。
次に、本実施の形態に従う情報処理システム１のソフトウェア構成例について説明する。
【0056】
図６は、本実施の形態に従う情報処理システム１のソフトウェア構成例を示す模式図である。図６を参照して、情報処理システム１は、例えば、ＰＬＣ１００と、情報処理装置２００とを含む。情報処理システム１は、ロボットコントローラ３００を含んでもよい。
【0057】
ＰＬＣ１００は、制御プログラム１５２を実行するための制御プログラム実行部１５０を有している。制御プログラム１５２は、製造設備１０を制御するために予め用意される。制御プログラム実行部１５０は、実行部に相当し、制御プログラム１５２を実行することで製造設備１０を制御する。すなわち、ＰＬＣ１００は、制御プログラム１５２に従って、製造設備１０を制御する。
【0058】
より具体的には、制御プログラム実行部１５０は、製造設備１０に配置されたセンサ２から入力データを収集し、制御プログラム１５２に従って、収集した入力データに基づく制御演算を実行する。制御プログラム実行部１５０は、制御演算の結果を出力データとしてサーボモータなどのアクチュエータ４へ出力する。設備データ６０は、ＰＬＣ１００がセンサ２およびアクチュエータ４とやり取りする入力データおよび出力データを含む。設備データ６０は、制御演算に必要な内部データも含み得る。このように、設備データ６０は、制御プログラム実行部１５０（ＰＬＣ１００）が保持するデータであってもよい。
【0059】
ロボットコントローラ３００は、図示しない制御プログラムに従って、ロボットを制御する。より具体的には、ロボットコントローラ３００は、製造設備１０のロボットに配置されたセンサ２から入力データを収集し、制御プログラムに従って、収集した入力データに基づく制御演算を実行する。ロボットコントローラ３００は、制御演算の結果を出力データとしてサーボモータなどのアクチュエータ４へ出力する。設備データ６０は、ロボットコントローラ３００がセンサ２およびアクチュエータ４とやり取りする入力データおよび出力データを含む。
【0060】
ＰＬＣ１００は、ＴＳＤＢ（Time Series Data Base）１５６を有しており、予め定められた周期で、または、予め定められた条件が成立したタイミングで、設備データ６０をＴＳＤＢ１５６に逐次格納する。
【0061】
ＰＬＣ１００は、画像ＤＢ（Data Base）１５８を有しており、カメラ３２，３４，３６が撮像する画像データを収集する。ＰＬＣ１００は、画像処理部１８０を有しており、画像データに対して、画像計測、画像検査、または画像認識などの画像処理を実行する。なお、画像処理部１８０は、ＰＬＣ１００の内部に配置されてもよいし、ＰＬＣ１００の外部に配置されてもよい。画像処理部１８０がＰＬＣ１００の外部に配置された場合には、例えば、ＰＬＣ１００とは別に画像処理装置が配置されてもよい。この場合には、ＰＬＣ１００は、画像処理装置（画像処理部１８０）から画像処理結果（推論結果）を受け取る。画像データは、ＰＬＣ１００ではなく、画像処理装置に格納されてもよい。
【0062】
本明細書において、「制御装置」は、単一の制御装置のみならず、複数の制御装置が連係する構成も含む。そのため、ＰＬＣ１００およびＰＬＣ１００の外部に配置された画像処理装置の全体が本発明に係る「制御装置」であってもよい。
【0063】
ＰＬＣ１００は、統合モデル１９２を運用するためのモデル運用部１９０を有している。なお、統合モデル１９２自体が実行可能形式になっている場合には、モデル運用部１９０と統合モデル１９２とは実質的に一体化しているとみなすこともできる。
【0064】
情報処理装置２００は、統合モデル１９２を生成するための処理を実行する。情報処理装置２００は、例えば、前処理のための前処理モジュール２５０と、モデル生成のためのモデル生成モジュール２６０とを含む。
【0065】
前処理モジュール２５０は、例えば、データクレンジング部２５２と、ラベル付与部２５４と、特徴量算出部２５６とを含む。
【0066】
データクレンジング部２５２は、設備データ６０、画像データ７０、または画像データ７０を画像データモデルに入力して得られる推論結果に含まれる外れ値を除外する。
【0067】
ラベル付与部２５４は、設備データ６０、画像データ７０、または画像データ７０を画像データモデルに対してラベルを付与する。ラベル付与された設備データ６０、ラベル付与された画像データ７０、または画像データ７０を画像データモデルに入力して得られる推論結果にラベル付与したものを、以下では「学習データ」とも称す。
【0068】
特徴量算出部２５６は、１または複数の画像データ７０から１または複数の第１の特徴量を算出するとともに、１または複数の設備データ６０から１または複数の第２の特徴量を算出する算出部に相当する。より具体的には、特徴量算出部２５６は、設備データ６０、画像データ７０、または、画像データ７０を画像データモデルに入力して得られる推論結果から、因果関係グラフ５０を生成するための特徴量を算出する。
【0069】
モデル生成モジュール２６０は、例えば、因果関係分析部２６２と、画像データモデル生成部２６４と、設備データモデル生成部２６６と、モデル統合部２６８と、モデル評価部２７０とを含む。
【0070】
因果関係分析部２６２は、製造設備１０に存在する要因間の因果関係を示す因果関係グラフ５０を生成する生成部に相当する。より具体的には、因果関係分析部２６２は、特徴量算出部２５６が算出する特徴量に基づいて、各特徴量の貢献度および特徴量の偏相関を算出し、因果関係グラフ５０を生成する。生成される因果関係グラフ５０に含まれる要因を示すノードの各々には、１または複数の画像データ７０から算出された特徴量、ならびに、１または複数の設備データ６０から算出された特徴量のうちいずれかが対応付けられる。
【0071】
画像データモデル生成部２６４と、設備データモデル生成部２６６と、モデル統合部２６８とは、因果関係グラフ５０に含まれる複数の要因に対する選択に従って、学習済モデルである統合モデル１９２を生成する生成部に相当する。
【0072】
画像データモデル生成部２６４は、ラベル付けされた画像データ（学習データ）を用いて、画像データモデルを生成する。設備データモデル生成部２６６は、ラベル付けされた設備データ（学習データ）を用いて、設備データモデルを生成する。
【0073】
モデル統合部２６８は、画像データモデル生成部２６４が生成した画像データモデルと、設備データモデル生成部２６６が生成した設備データモデルとを統合して、統合モデル１９２を生成する。
【0074】
モデル評価部２７０は、生成された統合モデル１９２の推論精度を算出する。
【0075】
＜Ｃ．ハードウェア構成例＞
次に、情報処理システム１を構成する各装置のハードウェア構成例を説明する。
次に、情報処理システム１を構成する各装置のハードウェア構成例を説明する。
【0076】
（ｃ１：ＰＬＣ１００）
図７は、本実施の形態に従うＰＬＣ１００のハードウェア構成例を示す模式図である。図７を参照して、ＰＬＣ１００は、コンピュータの一例であり、１または複数のプロセッサ１０２と、メモリ１０４と、ストレージ１０６と、フィールドインターフェイス回路１１０と、通信回路１１２とを含む。
図７は、本実施の形態に従うＰＬＣ１００のハードウェア構成例を示す模式図である。図７を参照して、ＰＬＣ１００は、コンピュータの一例であり、１または複数のプロセッサ１０２と、メモリ１０４と、ストレージ１０６と、フィールドインターフェイス回路１１０と、通信回路１１２とを含む。
【0077】
１または複数のプロセッサ１０２は、ストレージ１０６に格納されているプログラムに含まれるコンピュータ読取可能命令を実行することで、後述するような処理および機能を提供する。１または複数のプロセッサ１０２がプログラムに含まれるコンピュータ読取可能命令を実行する場合には、プログラムの一部または全部がメモリ１０４に展開されてもよい。
【0078】
ストレージ１０６は、非一過性のコンピュータ読取可能媒体である。ストレージ１０６には、例えば、システムプログラム１０８と、制御プログラム１５２と、統合モデル１９２とが格納される。
【0079】
システムプログラム１０８は、ＰＬＣ１００を動作させるためのプログラムである。システムプログラム１０８は、例えば、制御プログラム１５２を実行する環境（制御プログラム実行部１５０）を生成するためのコンピュータ読取可能命令と、画像処理部１８０（図６参照）を実現するためのコンピュータ読取可能命令と、モデル運用部１９０（図６参照）を実現するためのコンピュータ読取可能命令とを含む。システムプログラム１０８は、複数のソフトウェアモジュールの集合であってもよい。
【0080】
制御プログラム１５２は、例えば、シーケンス命令またはロボット制御命令を含む。
【0081】
統合モデル１９２は、後述するような処理によって生成される。
【0082】
ＴＳＤＢ１５６および画像ＤＢ１５８（いずれも図６参照）は、ストレージ１０６またはメモリ１０４を用いて提供される。
【0083】
フィールドインターフェイス回路１１０は、製造設備１０に配置されたセンサおよびアクチュエータとの間のデータ通信を担当する。
【0084】
通信回路１１２は、情報処理装置２００などとの間のデータ通信を担当する。
【0085】
本明細書において、「プロセッサ」との用語は、ＣＰＵ（Central Processing Unit）などのコンピュータ読取可能命令を実行することで処理を行う演算回路に加えて、ハードワイヤード回路も包含する。ハードワイヤード回路の一例としては、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などが挙げられる。
【0086】
（ｃ２：情報処理装置２００）
図８は、本実施の形態に従う情報処理装置２００のハードウェア構成例を示す模式図である。図８を参照して、情報処理装置２００は、コンピュータの一例であり、１または複数のプロセッサ２０２と、メモリ２０４と、ストレージ２０６と、表示出力部２１２と、入力部２１４と、通信回路２１６とを含む。
図８は、本実施の形態に従う情報処理装置２００のハードウェア構成例を示す模式図である。図８を参照して、情報処理装置２００は、コンピュータの一例であり、１または複数のプロセッサ２０２と、メモリ２０４と、ストレージ２０６と、表示出力部２１２と、入力部２１４と、通信回路２１６とを含む。
【0087】
１または複数のプロセッサ２０２は、ストレージ２０６に格納されているプログラムに含まれるコンピュータ読取可能命令を実行することで、後述するような処理および機能を提供する。１または複数のプロセッサ２０２がプログラムに含まれるコンピュータ読取可能命令を実行する場合には、プログラムの一部または全部がメモリ２０４に展開されてもよい。
【0088】
ストレージ２０６は、非一過性のコンピュータ読取可能媒体である。ストレージ２０６には、例えば、ＯＳ（Operating System）２０８と、モデル生成プログラム２１０とが格納される。ＯＳ２０８は、コンピュータとして必要な機能を提供するためのコンピュータ読取可能命令と、モデル生成プログラム２１０を実行する環境を生成するためのコンピュータ読取可能命令とを含む。
【0089】
モデル生成プログラム２１０は、本発明に係る学習済モデルを生成するためのプログラムに対応し、後述するような処理を実現するためのコンピュータ読取可能命令を含む。
【0090】
表示部２１８は、プロセッサ２０２による処理結果などを表示出力する。ここで、「表示出力」は、情報処理装置２００が有しているディスプレイまたは情報処理装置２００の外部に存在するディスプレイに対して、表示画面を表示するためのデータまたは信号を出力することを意味する。
【0091】
入力部２１４は、ユーザ操作を受け付ける。入力部２１４は、例えば、キーボードまたはマウスなどを含んでもよいし、キーボードまたはマウスと接続するためのインターフェイスを含んでもよい。また、入力部２１４は、ディスプレイと一体型のタッチパネルのようなタッチ操作が可能なデバイスを含んでもよい。
【0092】
通信回路２１６は、ＰＬＣ１００などとの間のデータ通信を担当する。
【0093】
＜Ｄ．画像データモデルおよび画像特徴量＞
次に、画像データモデルおよび画像データモデルの推論結果から算出される画像特徴量について説明する。
次に、画像データモデルおよび画像データモデルの推論結果から算出される画像特徴量について説明する。
【0094】
画像データモデルは、例えば、ＣＮＮ（Convolutional Neural Network）などのニューラルネットワークを用いて構成してもよいし、ルールベースのアルゴリズムを用いて構成してもよい。
【0095】
図９は、本実施の形態に従う画像データモデルによる推論の一例を説明するための図である。
【0096】
図９（Ａ）には、カメラ３２（図３参照）が撮像した画像データに対する推論結果の一例を示す。カメラ３２が撮像した画像データは、コンベアにより搬送されるワーク２０の像を含む。画像データモデルは、画像データに含まれるワーク２０の像から、ワーク２０のサイズ、または、ワーク２０の傾きを推論結果として出力してもよい。すなわち、図９（Ａ）に示す画像データに対する推論結果は、ワークサイズまたはワーク傾きを含んでもよい。
【0097】
図９（Ｂ）には、カメラ３４（図３参照）が撮像した画像データに対する推論結果の一例を示す。カメラ３４が撮像した画像データは、搬送されるフィルムの像を含む。画像データモデルは、画像データに含まれるフィルムの像から、フィルムの位置、ずれ量、シワの有無、蛇行の有無、または、たわみの有無などを推論結果として出力してもよい。すなわち、図９（Ｂ）に示す画像データに対する推論結果は、フィルム位置、フィルムずれ量、フィルムシワの有無、蛇行の有無、または、たわみの有無などを含んでもよい。
【0098】
図９（Ｃ）には、カメラ３６（図３参照）が撮像した画像データに対する推論結果の一例を示す。カメラ３６が撮像した画像データは、シールされた後の個包装ワーク２４の像を含む。画像データモデルは、画像データに含まれる個包装ワーク２４の像から、シール状態を示す推論結果を出力してもよい。
【0099】
例えば、個包装ワーク２４の先端部分８０から、ワーク噛み込みの有無、または、シールされた範囲の面積（トップシール面積（前））などを推論できる。個包装ワーク２４の中央部分８２から、シールの状態、または、シールされた範囲の面積などを推論できる。個包装ワーク２４の後端部分８４から、ワーク噛み込みの有無、または、シールされた範囲の面積（トップシール面積（後））などを推論できる。個包装ワーク２４の全体像８６から、包装長さなどを推論できる。
【0100】
画像データモデルは、画像データ毎に推論結果を出力する。画像データ毎の推論結果をそのまま特徴量として処理してもよいし、推論結果を統計処理することで特徴量が算出されてもよい。例えば、因果関係グラフを生成するために算出される各特徴量の貢献度および偏相関をサイクルタイム（１つのワーク２０が処理される時間長さ）毎に算出する場合には、推論結果についてもサイクルタイム毎に特徴量化してもよい。
【0101】
画像データを収集する時間間隔をフレーム周期とすると、サイクルタイムは１または複数のフレーム周期を含む。すなわち、１つのサイクルタイムには、フレーム数分の推論結果が含まれることになる。フレーム数分の推論結果を統計処理することで算出される値（例えば、標準偏差、平均値、最大値、または、最小値など）を当該サイクルタイムの特徴量とすることができる。
【0102】
このように、画像データの特徴量を算出する処理（図１のステップＳ２）は、画像データモデルが画像データ毎に出力する推論結果に対する統計処理を含む。情報処理装置２００（図６に示す特徴量算出部２５６）は、１または複数の画像データから画像データモデルを用いて算出される１または複数の推論結果を統計処理することで、１または複数の画像特徴量を算出する。
【0103】
＜Ｅ．設備特徴量および因果関係グラフの生成＞
次に、設備特徴量および因果関係グラフの生成（図１のステップＳ３）について説明する。
次に、設備特徴量および因果関係グラフの生成（図１のステップＳ３）について説明する。
【0104】
設備特徴量は、設備データを統計処理することで算出できる。例えば、画像データを収集する時間間隔であるフレーム周期を基準とすると、１つのフレーム周期内において、任意の設備データ（例えば、ある１つの変数）についての１または複数の値が収集される。
【0105】
１つのフレーム周期内において収集された１または複数の値を統計処理することで算出される値（例えば、標準偏差、平均値、最大値、または、最小値など）を当該フレームの特徴量とすることができる。すなわち、フレーム毎に特徴量を算出できる。
【0106】
さらに、１つのサイクルタイムに対応する１または複数のフレームの特徴量をさらに統計処理してもよい。このような統計処理によって、サイクルタイム毎に特徴量を算出できる。
【0107】
このように、情報処理装置２００（図６に示す特徴量算出部２５６）は、１または複数の設備データの時系列データを統計処理することで、１または複数の設備特徴量を算出する。
【0108】
図１０は、本実施の形態に従う情報処理方法において因果関係グラフを生成するための特徴量データセットの一例を示す模式図である。図１０を参照して、特徴量データセット４００においては、例えば、サイクルタイム毎にラベルが付与されている。ラベルは、例えば、任意の品質評価結果に基づいて決定されてもよいし、画像データモデルの推論結果に基づいて決定されてもよい。
【0109】
より具体的には、特徴量データセット４００は、サイクル番号コラム４０１と、フレーム番号コラム４０２と、設備データコラム４０３と、画像データコラム４０４と、ラベルコラム４０５とを含む。
【0110】
サイクル番号コラム４０１には、サイクルタイムを特定するための識別番号が格納されている。フレーム番号コラム４０２には、サイクルタイム内のフレームを特定するための識別番号が格納されている。
【0111】
設備データコラム４０３は、設備データから算出される特徴量の数に対応するサブコラムが用意されている。各サブコラムには、各フレームの特徴量が格納される。なお、同一の設備データ（同一の変数）から複数の特徴量（例えば、最大値および最小値）が算出されることもある。
【0112】
画像データコラム４０４には、画像データから算出される特徴量の数に対応するサブコラムが用意されている。各サブコラムには、各サイクルタイムの特徴量が格納される。なお、同一の推論結果から複数の特徴量（例えば、最大値および最小値）が算出されることもある。
【0113】
ラベルコラム４０５には、サイクルタイム毎にラベル（例えば、良品または不良品）が格納される。ラベルコラム４０５には、複数種類のラベルが格納されてもよい。ラベルコラム４０５に格納されるラベルは、因果関係グラフを生成するために着目している事象に関するラベルを含む。
【0114】
なお、因果関係グラフを生成する際には、ラベルは必ずしも必要ではないが、着目している事象に関するラベルを用いることで、当該事象に至る因果関係をより正確に決定できる。
【0115】
【0116】
次に、図１０に示す特徴量データセット４００を用いて、因果関係グラフを生成する処理手順について説明する。図１０に示す特徴量データセット４００の設備データコラム４０３および画像データコラム４０４の各サブコラムに格納される特徴量が、因果関係グラフを構成するノードの候補となる。すなわち、因果関係グラフに含まれる各ノードは、特徴量データセット４００に含まれるいずれかの特徴量に対応付けられる。
【0117】
図１１は、因果関係グラフ生成処理に係る処理手順を示すフローチャートである。図１１を参照して、情報処理装置２００は、特徴量データセット４００を参照して、着目している事象を示すラベルが付与されているサイクルタイムのデータを抽出する（ステップＳ３１）。
【0118】
情報処理装置２００は、抽出したデータに基づいて、各特徴量の貢献度を算出する（ステップＳ３２）。各特徴量の貢献度としては、着目しているサイクルタイムに各特徴量（変数）がどのような影響を与えたかを示すＳＨＡＰ（SHapley Additive exPlanations）値などを用いることができる。
【0119】
情報処理装置２００は、抽出したデータに基づいて、特徴量間の偏相関を算出する（ステップＳ３３）。
【0120】
情報処理装置２００は、各特徴量の貢献度と、特徴量間の偏相関とに基づいて、因果関係グラフを生成する（ステップＳ３４）。決定される結合関係（エッジ）は、無向性であってもよいし、有向性であってもよい。
【0121】
算出された貢献度が予め定められたしきい値以下である特徴量、または、他の特徴量との偏相関が予め定められたしきい値以下である特徴量については、因果関係グラフに含めなくてもよい。
【0122】
このように、情報処理装置２００は、各特徴量に対応するノード間の結合関係（エッジ）を決定する。
【0123】
＜Ｆ．統合モデル１９２の生成＞
次に、統合モデル１９２の生成（図１のステップＳ４～Ｓ６）について説明する。
次に、統合モデル１９２の生成（図１のステップＳ４～Ｓ６）について説明する。
【0124】
図１２は、本実施の形態に従う情報処理装置２００が提供するユーザインターフェイス画面５００の一例を示す模式図である。図１２を参照して、ユーザインターフェイス画面５００は、ある事象に着目した場合の因果関係グラフを含む。
【0125】
ユーザは、ユーザインターフェイス画面５００の因果関係グラフ５０に含まれるノードを任意に選択する。情報処理装置２００は、入力部２１４を介して、因果関係グラフ５０に対するユーザによるノード選択を受け付ける。そして、情報処理装置２００は、選択されたノードに対応する特徴量に基づく統合モデル１９２を生成する。
【0126】
図１３は、本実施の形態に従う情報処理装置２００による統合モデル１９２の生成処理例を説明するための図である。統合モデル１９２は、例えば、着目している異常事象を検知するための異常検知モデルであるとする。
【0127】
図１３を参照して、情報処理装置２００（図６に示す画像データモデル生成部２６４および設備データモデル生成部２６６）は、選択されたノードに従って、複数の学習アルゴリズム２８０－１～２８０－４を用いて、学習済モデル１９４－１～１９４－４を生成する。学習アルゴリズム２８０－１～２８０－４は、互いに同一であってもよいし、入力されるデータの種類または生成するモデルの種類に応じて、異ならせてもよい。また、同一の学習アルゴリズムであっても、入力されるデータの種類または生成するモデルの種類に応じて、パラメータを異ならせてもよい。
【0128】
図１３に示す例では、互いに異なるカメラにより撮像された２つの画像データ７０－１，７０－２を用いて、画像データモデルである学習済モデル１９４－１，１９４－２が生成されるとともに、互いに異なる２つの設備データ６０－１，６０－２を用いて、設備データモデルである学習済モデル１９４－３，１９４－４が生成される。上述したように、画像データ７０－１，７０－２および設備データ６０－１，６０－２は、因果関係グラフ５０に対する要因の選択に応じて決定される。すなわち、画像データ７０－１，７０－２および設備データ６０－１，６０－２の各々は、選択された１または複数の要因のいずれかに対応する。
【0129】
教師有り学習で学習済モデル１９４－１～１９４－４および統合モデル１９２を生成する場合には、ラベルデータ９０も用意される。ラベルデータ９０は、画像データ７０－１，７０－２および設備データ６０－１，６０－２に対応付けて、注目している異常が発生しているか否かを示すラベルを含む。例えば、ラベルデータ９０に格納されるラベルは、因果関係グラフ５０を生成する際に着目した事象に関連付けられたものである。
【0130】
特徴量を算出するための画像データモデルが予め用意されている場合もある。この場合には、予め用意された画像データモデルをそのまま用いて、学習済モデル１９４－１，１９４－２を生成されてもよい。このとき、予め用意された画像データモデルに新たな出力層（例えば、全結合層など）を追加した上で、追加された出力層のパラメータを最適化する方法を採用してもよい。
【0131】
設備データモデルである学習済モデル１９４－３，１９４－４は、ニューラルネットワーク、決定木、または、ランダムフォレストなどの任意のモデルを用いることができる。
【0132】
情報処理装置２００（図６に示すモデル統合部２６８およびモデル評価部２７０）は、生成された学習済モデル１９４－１～１９４－４を統合して、統合モデル１９２を生成する（統合処理２８２）。
【0133】
統合処理２８２においては、アンサンブル学習（例えば、バギング（平均もしくは多数決）、ブースティング、または、スタッキングなど）が用いられてもよい。統合処理２８２においては、生成された統合モデル１９２の推論精度を算出してもよい。予め定められた推論精度が得られない場合には、学習済モデル１９４－１～１９４－４の各々を再学習してもよいし、アンサンブル学習を再度実行してもよい。さらに、学習済モデル１９４－１～１９４－４の再学習およびアンサンブル学習を適宜繰り返してもよい。
【0134】
このように、情報処理装置２００（図６に示すモデル生成モジュール２６０）は、画像データ７０とラベルデータ９０とに基づいて、画像データモデルである学習済モデルを生成するとともに、設備データ６０とラベルデータ９０とに基づいて、設備データモデルである学習済モデルを生成する。また、情報処理装置２００は、アンサンブル学習により複数の学習済モデルを統合する。
【0135】
図１４は、本実施の形態に従う情報処理装置２００が生成する統合モデル１９２の一例を示す模式図である。図１４を参照して、統合モデル１９２には、１または複数の画像データと、１または複数の設備データとが入力される。より具体的には、統合モデル１９２は、画像データ（監視データ）が入力される学習済モデル１９４－１，１９４－２と、設備データ（監視データ）が入力される学習済モデル１９４－３，１９４－４とを含む。学習済モデル１９４－１～１９４－４の推論結果は、メタモデル１９６に入力される。
【0136】
メタモデル１９６は、学習済モデル１９４－１，１９４－２の推論結果と学習済モデル１９４－１～１９４－４の推論結果とを含む複数の推論結果を統合する統合部に相当する。メタモデル１９６は、例えば、アンサンブル学習により生成される。
【0137】
一例として、メタモデル１９６は、学習済モデル１９４－１～１９４－４の推論結果（例えば、異常が発生している確率）を平均化して、統合モデル１９２の推論結果として出力してもよい。あるいは、メタモデル１９６は、学習済モデル１９４－１～１９４－４の推論結果の多数決をとって、統合モデル１９２の推論結果として出力してもよい。あるいは、学習済モデル１９４－１～１９４－４の推論結果の重み付け平均を算出して、統合モデル１９２の推論結果として出力してもよい。さらに、メタモデル１９６は、これらの処理を適宜組み合わせてもよい。
【0138】
なお、図１４には、画像データが入力される２つの学習済モデルと、設備データが入力される２つの学習済モデルとを含む統合モデル１９２を例示するが、学習済モデルの数はいずれであってもよい。すなわち、統合モデル１９２は、画像データが入力される学習済モデルを１つ以上と、設備データが入力される学習済モデルを１つ以上とを含んでもよい。
【0139】
情報処理装置２００は、図１４に示す統合モデル１９２をＰＬＣ１００に転送する。ＰＬＣ１００（図６に示すモデル運用部１９０）は、統合モデル１９２を用いて、例えば、異常の有無を監視する。このように、ＰＬＣ１００のモデル運用部１９０は、検知部に相当し、製造設備１０に配置されたカメラにより撮像された画像データと、制御プログラム実行部１５０（実行部）が保持するデータである設備データとを統合モデル１９２に入力して、異常を検知する。
【0140】
ＰＬＣ１００は、ＰＬＣ１００の外部に配置された画像処理部１８０の処理結果を用いて、統合モデル１９２を運用してもよい。
【0141】
＜Ｇ．運用例＞
次に、本実施の形態に従う情報処理方法の運用例について説明する。
次に、本実施の形態に従う情報処理方法の運用例について説明する。
【0142】
図１５は、本実施の形態に従う情報処理方法の運用例を示す模式図である。図１５を参照して、本実施の形態に従う情報処理方法は、例えば、画像データモデルを生成する処理（ステップＳ１００）と、因果関係グラフおよび統合モデル１９２を生成する処理（ステップＳ２００）と、画像データモデルおよび統合モデル１９２の推論結果を評価する処理（ステップＳ３００）とを含む。
【0143】
画像データモデルを生成する処理（ステップＳ１００）は、画像データを収集する処理（ステップＳ１０１）と、収集した画像データの前処理（ステップＳ１０２）と、画像データモデルの生成処理（ステップＳ１０３）と、生成した画像データモデルを運用する処理（ステップＳ１０４）とを含む。
【0144】
画像データの前処理（ステップＳ１０２）においては、画像データのクレンジング、および、画像データに対するラベル付与などにより、画像データモデル用の学習データが生成される。情報処理装置２００は、予め定められたアルゴリズムに従って、または、ユーザ操作に従って、画像データのクレンジングおよびラベル付与を行う。
【0145】
画像データモデルの生成処理（ステップＳ１０３）においては、公知の学習アルゴリズムに従って、画像データモデルが生成される。画像データモデルの生成処理（ステップＳ１０３）は、生成された画像データモデルの推論精度を算出する処理を含んでもよい。
【0146】
なお、因果関係グラフを生成する段階においては、ステップＳ１００～Ｓ１０３の処理を省略して、汎用的な画像データモデルを利用してもよい。
【0147】
因果関係グラフおよび統合モデル１９２を生成する処理（ステップＳ２００）は、因果関係グラフを生成する処理（ステップＳ２０１）と、設備データモデルを生成する処理（ステップＳ２０２）と、画像データモデルおよび設備データモデルを統合して統合モデル１９２を生成する処理（ステップＳ２０３）と、生成した統合モデル１９２を運用する処理（ステップＳ２０４）とを含む。
【0148】
因果関係グラフを生成する処理（ステップＳ２０１）は、設備データから特徴量を算出する処理と、着目している事象と関係性の高い特徴量を選択する処理と、設備データから算出された特徴量、および、画像データモデルの推論結果から算出された特徴量を含む因果関係グラフを生成する処理とを含む。
【0149】
設備データモデルを生成する処理（ステップＳ２０２）は、因果関係グラフに基づいて選択された複数の特徴量に対応する統合モデル１９２を生成する処理を含む。選択された複数の特徴量は、設備データの特徴量および画像データモデルの推論結果から算出された特徴量を含む。設備データモデルを生成する処理（ステップＳ２０２）は、設備データの選択された特徴量について、設備データモデルを生成する処理、および、生成された設備データモデルの推論精度を算出する処理を含んでもよい。
【0150】
統合モデル１９２を生成する処理（ステップＳ２０３）は、１または複数の設備データモデルと、１または複数の画像データモデルとを統合する処理を含む。
【0151】
画像データモデルおよび統合モデル１９２の推論結果を評価する処理（ステップＳ３００）においては、監視データにラベルを付与して学習データを生成する処理を含む。画像データモデルの推論結果と、統合モデル１９２の推論結果とが不一致であれば、ラベルデータ９０に含めるラベルの値が適宜修正される。
【0152】
次に、図１６および図１７を参照して、統合モデル１９２の生成、運用および更新の処理手順例について説明する。図１６および図１７には、説明の便宜上、ＰＬＣ１００および情報処理装置２００が実行する処理を纏めて記載している。
【0153】
図１６は、本実施の形態に従う情報処理方法における統合モデル１９２の生成および運用の処理手順例を示す模式図である。
【0154】
図１６を参照して、情報処理装置２００は、設備データ６０と、画像データ７０と、ラベルデータ９０とを収集する。これらのデータの収集は、ＰＬＣ１００を介してリアルタイムで実行されてもよいし、ＰＬＣ１００のＴＳＤＢ１５６および画像ＤＢ１５８に対してバッチ的に実行されてもよい。
【0155】
まず、情報処理装置２００は、学習データ（画像データ７０およびラベルデータ９０）に基づいて、画像データモデル２７２を生成する。生成される画像データモデル２７２は、因果関係グラフ５０を生成するための特徴量を推論結果として出力するためのモデルであってもよいし、製造設備１０に生じる異常を検知するためのモデルであってもよい。
【0156】
画像データモデル２７２が製造設備１０に生じる異常を検知するためのモデルである場合には、そのまま運用することもできる。この場合には、ＰＬＣ１００または情報処理装置２００は、画像データモデル２７２に監視データ（リアルタイムに収集される画像データ７０）を入力することで、推論結果２７４を出力する。
【0157】
推論結果２７４の出力結果に基づいて、ラベルデータ９０のラベルが修正される（ステップＳ３００）。ラベルの修正は、情報処理装置２００によって実行されるが、ユーザが一部または全部の処理を行ってもよい。
【0158】
画像データモデル２７２の運用により、画像データ７０およびラベルデータ９０が十分に利用できるようになると、情報処理装置２００は、学習データ（設備データ６０およびラベルデータ９０）から候補となる複数の特徴量を算出するとともに、着目している事象についての因果関係グラフ５０を生成する（ステップＳ２０１）。
【0159】
情報処理装置２００は、ユーザによるノード選択に応じて、設備データモデルを生成し（ステップＳ２０２）、画像データモデルと生成した設備データモデルとを統合して統合モデル１９２を生成する（ステップＳ２０３）。
【0160】
ＰＬＣ１００は、生成された統合モデル１９２に監視データ（リアルタイムに収集される設備データ６０および画像データ７０）を入力することで、推論結果１９８を出力する。
【0161】
図１７は、本実施の形態に従う情報処理方法における統合モデル１９２の運用および更新の処理手順例を示す模式図である。
【0162】
図１７を参照して、ＰＬＣ１００は、統合モデル１９２に監視データ（リアルタイムに収集される設備データ６０および画像データ７０）を入力することで、推論結果１９８を出力する。ＰＬＣ１００は、推論結果１９８の出力結果に基づいて、ラベルデータ９０のラベルを修正する（ステップＳ３００）。
【0163】
情報処理装置２００は、ユーザの統合モデル１９２を更新するためのユーザ操作を受けると、学習データ（設備データ６０およびラベルデータ９０）から候補となる複数の特徴量を算出するとともに、着目している事象についての因果関係グラフ５０を再生成する（ステップＳ２０１）。
【0164】
情報処理装置２００は、再生成された因果関係グラフ５０の推論精度を算出してもよい。ユーザは、算出された推論精度を確認した上で、統合モデル１９２Ａで更新するか否かを判断することもできる。情報処理装置２００は、統合モデル１９２Ａを反映するためのユーザ操作を受けると、ＰＬＣ１００に転送する。
【0165】
ＰＬＣ１００は、再生成（更新）された統合モデル１９２Ａに監視データ（リアルタイムに収集される設備データ６０および画像データ７０）を入力することで、推論結果１９８Ａを出力する。
【0166】
このように、情報処理装置２００は、統合モデル１９２を必要に応じて更新できる。
【0167】
＜Ｈ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
上述したような本実施の形態は、以下のような技術思想を含む。
【0168】
［構成１］
製造設備（１０）を制御するための制御プログラム（１５２）を実行する実行部（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記実行部が保持するデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知する検知部（１９０）とを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、制御装置。
製造設備（１０）を制御するための制御プログラム（１５２）を実行する実行部（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記実行部が保持するデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知する検知部（１９０）とを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、制御装置。
【0169】
［構成２］
前記統合部は、前記複数の推論結果を平均化する処理と、前記複数の推論結果の多数決をとる処理と、前記複数の推論結果の重み付け平均を算出する処理とのうち、少なくとも１つを実行する、構成１に記載の制御装置。
前記統合部は、前記複数の推論結果を平均化する処理と、前記複数の推論結果の多数決をとる処理と、前記複数の推論結果の重み付け平均を算出する処理とのうち、少なくとも１つを実行する、構成１に記載の制御装置。
【0170】
［構成３］
前記統合部は、前記第１の画像データとは異なるカメラにより撮像された第２の画像データが入力される第３の学習済モデル（１９４－２）と、前記実行部が保持する前記第１の設備データとは異なる第２の設備データが入力される第４の学習済モデル（１９４－４）とのうち少なくとも一方をさらに備える、構成１または２に記載の制御装置。
前記統合部は、前記第１の画像データとは異なるカメラにより撮像された第２の画像データが入力される第３の学習済モデル（１９４－２）と、前記実行部が保持する前記第１の設備データとは異なる第２の設備データが入力される第４の学習済モデル（１９４－４）とのうち少なくとも一方をさらに備える、構成１または２に記載の制御装置。
【0171】
［構成４］
前記第１の画像データおよび前記第１の設備データは、前記製造設備に存在する要因間の因果関係を示す因果関係グラフ（５０）に対する要因の選択に応じて決定される、構成１～３のいずれか１項に記載の制御装置。
前記第１の画像データおよび前記第１の設備データは、前記製造設備に存在する要因間の因果関係を示す因果関係グラフ（５０）に対する要因の選択に応じて決定される、構成１～３のいずれか１項に記載の制御装置。
【0172】
［構成５］
コンピュータ（１００）が実行する制御方法であって、
制御プログラム（１５２）に従って製造設備（１０）を制御すること（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記製造設備の制御に用いられるデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知すること（Ｓ１１，Ｓ１２，Ｓ１３）とを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、制御方法。
コンピュータ（１００）が実行する制御方法であって、
制御プログラム（１５２）に従って製造設備（１０）を制御すること（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記製造設備の制御に用いられるデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知すること（Ｓ１１，Ｓ１２，Ｓ１３）とを備え、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、制御方法。
【0173】
［構成６］
プログラム（１０８）であって、制御装置（１００）のコンピュータに、
製造設備を制御すること（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記製造設備の制御に用いられるデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知すること（Ｓ１１，Ｓ１２，Ｓ１３）とを実行させ、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、プログラム。
プログラム（１０８）であって、制御装置（１００）のコンピュータに、
製造設備を制御すること（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記製造設備の制御に用いられるデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知すること（Ｓ１１，Ｓ１２，Ｓ１３）とを実行させ、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、プログラム。
【0174】
［構成７］
プログラム（１０８）を格納した非一過性のコンピュータ読取可能媒体（１０６）であって、前記プログラムは制御装置（１００）の１または複数のプロセッサ（１０２）に、
製造設備を制御すること（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記製造設備の制御に用いられるデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知すること（Ｓ１１，Ｓ１２，Ｓ１３）とを実行させ、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、非一過性のコンピュータ読取可能媒体。
プログラム（１０８）を格納した非一過性のコンピュータ読取可能媒体（１０６）であって、前記プログラムは制御装置（１００）の１または複数のプロセッサ（１０２）に、
製造設備を制御すること（１５０）と、
前記製造設備に配置されたカメラ（３２，３４，３６）により撮像された第１の画像データ（７０）と、前記製造設備の制御に用いられるデータである第１の設備データ（６０）とを統合モデル（１９２）に入力して、異常を検知すること（Ｓ１１，Ｓ１２，Ｓ１３）とを実行させ、
前記統合モデルは、
前記第１の画像データが入力される第１の学習済モデル（１９４－１）と、
前記第１の設備データが入力される第２の学習済モデル（１９４－３）と、
前記第１の学習済モデルの推論結果と前記第２の学習済モデルの推論結果とを含む複数の推論結果を統合する統合部（１９６）とを備える、非一過性のコンピュータ読取可能媒体。
【0175】
＜Ｉ．利点＞
本実施の形態によれば、因果関係グラフに基づいて、対象の事象を検出するために適した統合モデルを決定および生成できる。このように生成された統合モデルを用いることで、推論の精度を高めることができる。
本実施の形態によれば、因果関係グラフに基づいて、対象の事象を検出するために適した統合モデルを決定および生成できる。このように生成された統合モデルを用いることで、推論の精度を高めることができる。
【0176】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0177】
１ 情報処理システム、２ センサ、４ アクチュエータ、１０ 製造設備、１２ ワーク搬送部、１４ フィルム供給部、１６ シール部、１８ 排出部、２０ ワーク、２４ 個包装ワーク、３２，３４，３６ カメラ、３８ マイク、４０，４２，４４，４８ モータ、４６ センタシールヒータ、５０ 因果関係グラフ、５２，５４，５６ ノード、５８，５９ 経路、６０ 設備データ、７０ 画像データ、８０ 先端部分、８２ 中央部分、８４ 後端部分、８６ 全体像、９０ ラベルデータ、１００ ＰＬＣ、１０２，２０２ プロセッサ、１０４，２０４ メモリ、１０６，２０６ ストレージ、１０８ システムプログラム、１１０ フィールドインターフェイス回路、１１２，２１６ 通信回路、１５０ 制御プログラム実行部、１５２ 制御プログラム、１５６ ＴＳＤＢ、１５８ 画像ＤＢ、１８０ 画像処理部、１９０ モデル運用部、１９２，１９２Ａ 統合モデル、１９４ 学習済モデル、１９６ メタモデル、１９８，１９８Ａ，２７４ 推論結果、２００ 情報処理装置、２０８ ＯＳ、２１０ モデル生成プログラム、２１２ 表示出力部、２１４ 入力部、２１８ 表示部、２５０ 前処理モジュール、２５２ データクレンジング部、２５４ ラベル付与部、２５６ 特徴量算出部、２６０ モデル生成モジュール、２６２ 因果関係分析部、２６４ 画像データモデル生成部、２６６ 設備データモデル生成部、２６８ モデル統合部、２７０ モデル評価部、２７２ 画像データモデル、２８０ 学習アルゴリズム、２８２ 統合処理、３００ ロボットコントローラ、４００ 特徴量データセット、４０１ サイクル番号コラム、４０２ フレーム番号コラム、４０３ 設備データコラム、４０４ 画像データコラム、４０５ ラベルコラム、５００ ユーザインターフェイス画面。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】