(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-06
(54)【発明の名称】産業マシンで使用するための仮想センサの生成
(51)【国際特許分類】
G05B 23/02 20060101AFI20240228BHJP
【ＦＩ】
G05B23/02 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023556740
(86)(22)【出願日】2022-03-15
(85)【翻訳文提出日】2023-11-10
(86)【国際出願番号】 EP2022056710
(87)【国際公開番号】W WO2022194871
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】LU102672
(32)【優先日】2021-03-16
(33)【優先権主張国・地域又は機関】LU
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】500173376
【氏名又は名称】ポール ヴルス エス．エイ．
【氏名又は名称原語表記】ＰＡＵＬ ＷＵＲＴＨ Ｓ．Ａ．
(74)【代理人】
【識別番号】100110319
【弁理士】
【氏名又は名称】根本 恵司
(74)【代理人】
【識別番号】100099472
【弁理士】
【氏名又は名称】杉山 猛
(74)【代理人】
【識別番号】100150773
【弁理士】
【氏名又は名称】加治 信貴
(72)【発明者】
【氏名】ショックアールト、セドリック
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA05
3C223AA15
3C223BA01
3C223CC01
3C223DD01
3C223EB01
3C223FF04
3C223FF12
3C223FF22
3C223FF26
3C223FF42
3C223GG01
3C223HH03
(57)【要約】
産業マシン（１２３）は、特定のパラメータ用のセンサを有しないことがあり得、そのためコンピュータは見当たらないセンサを仮想化するためにニューラルネットワーク（４７３）を使う。コンピュータは産業マシン（１２３）用のさらなるプロセスパラメータ（１７３，ｚ）のパラメータ指標（Ｚ’）を提供するために、基準マシンから測定履歴データを備えた測定時系列を受領し、時系列を基準マシンのドメインの違いに対して不変量である特徴系列に処理することで変換規則を取得し、変換規則を使用して時系列を変換し、さらなるプロセスパラメータ（ｚ）の単変量時系列を受領し、かつ入力のところで特徴系列により、かつ出力のところで単変量時系列によりニューラルネットワークをトレーニングする、各ステップでニューラルネットワーク（３７３）をトレーニングする。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ネットワーク（３７３）が、産業マシン（１２３）の特定のプロセスパラメータ（１８３）のインスタンスを表わす測定データによって、多変量測定時系列（２２３）の後処理のためにトレーニングされ、かつそれによって産業マシン（１２３）のためのさらなるプロセスパラメータ（１７３，ｚ）のパラメータ指標（Ｚ’）を提供する、ニューラルネットワーク（３７３）をトレーニングするためのコンピュータによる実行方法（４００）であって、第１の基準マシン（１１１）から測定履歴データを備えた第１の多変量測定時系列（２１１，２２１）及び物理的に異なる第２の基準マシン（１２１）から測定履歴データを備えた第２の多変量測定時系列（２２１）を受領し（４１１）；
トランスフォーマモジュール（３１１／３２１）が、変換規則（２５１／２５２）により第１及び第２の多変量測定時系列（２１１，２２１）を、第１及び第２の基準マシン（１１１，１２１）のドメインの違いに対して不変量であるそれぞれ第１及び第２の多変量特徴時系列（２３１，２４１）に変換できるようにするために、第１及び第２の多変量測定時系列を処理することによって、変換規則（２５１／２５２）のセットを取得し（４２１）；
変換規則（２５１／２５２）を適用するトランスフォーマモジュール（３２２）により、第１の多変量測定時系列（２１１，２２１）を第１の多変量特徴時系列（２３２）に変換し（４５２）；
第１の基準マシン（１１２）から、さらなるプロセスパラメータ（１７３，ｚ）の測定データ（Ｚ）を備えた単変量測定時系列（２７２）を受領し;かつ
ニューラルネットワーク（３７２）を、入力のところで第１の多変量特徴時系列（２３２）により、かつ出力のところで単変量測定時系列（２７２）によってトレーニング（４７２）する、
ことを含む方法（４００）。
【請求項2】
変換規則（２５１／２５２）のセットの取得（４２１）は、予備変換規則のセットを用いて、第１の多変量測定時系列（２１１）を第１の多変量特徴時系列（２３１）に変換し（４３１）、かつ第２の多変量測定時系列（２２１）を第２の多変量特徴時系列（２４１）に変換し（４３１）、
ディスクリミネータモジュール（３６１）によって、第１及び第２の特徴時系列（２３１，２４１）の起源を第１及び第２の多変量測定時系列（２１１，２２１）として識別し（４４１）、かつ
予備変換規則のセットを変更する（４５１）ことを、
ディスクリミネータモジュール（３６１）がデータ起源（１，２）を識別できなくなるまで、コンピュータによる繰り返しで実行する、請求項１に記載された方法（４００）。
【請求項3】
ディスクリミネータモジュール（３６１）は、敵対的損失が最大値に達するまで動作することによって、もはやデータ起源を識別できないと判断する、請求項２に記載された方法。
【請求項4】
変換規則のセットの取得（４２１）ステップとニューラルネットワーク（３７２）のトレーニング（４７２）のステップとを繰り返し、その際、トランストランスフォーマモジュール（３１１／３２１）が、さらにトレーニング中のニューラルネットワーク（３７２）によって提供されるネットワーク損失（ＬＯＳＳ）を受領し、その際、トランスフォーマモジュールは、さらにトレーニング中のニューラルネットワークによって提供されるネットワーク損失を受領し、最小ネットワーク損失に対応して繰り返しが停止する、請求項２に記載された方法。
【請求項5】
トランスフォーマモジュール（３１１／３２１）とディスクリミネータモジュール（３６１）との組み合わせは敵対的生成ネットワークとして動作する、請求項１から４のいずれかに記載された方法（４００）。
【請求項6】
多変量測定時系列（２１１，２２１）を受領し（４１１）、変換規則のセットを取得し（４２１）、変換し（４５２）かつニューラルネットワークをトレーニングする（４７２）方法ステップが、変量がさらなるプロセスパラメータ（１７３，ｚ）に関連付けられていることがデータセレクタモジュール（３８３）によって判断済みである、多変量測定時系列に対して実行される、請求項１から５のいずれかに記載された方法（４００）。
【請求項7】
データセレクタモジュール（３８３）は、ニューラルネットワークのトレーニング（４８２）中に損失関数を最小化するための基準を使って、コンピュータに、取得し、変換し及びトレーニングする方法ステップを繰り返し行わせる、セレクタトレーナーモジュール（３８０）によってトレーニングされる、請求項６に記載された方法（４００）。
【請求項8】
履歴データを備えた第１及び第２の多変量測定時系列（２１１，２２１）の受領（４１１）は、測定データのデータモダリティを適応させた後に実行される、請求項１から７のいずれかに記載された方法（４００）。
【請求項9】
データモダリティの適応は、音サンプルをカテゴリに分類することによって音サンプルで測定データを分析すること、及び画像をカテゴリに分類することによって測定データを画像で分析すること、から選択されたステップによって実行される、請求項８に記載された方法（４００）。
【請求項10】
ニューラルネットワークのトレーニング（４８２）中の損失関数を最小化している間に選択される異なる目標に対して、適応がくり返される、請求項８又は９のいずれかに記載された方法（４００）。
【請求項11】
ニューラルネットワーク（３７２）は回帰型ニューラルネットワークである、請求項１から１０のいずれかに記載された方法（４００）。
【請求項12】
測定データは、温度、圧力、マシン内の材料の化学組成、産業マシンの一部の視覚的外観、及び産業マシンから放出される音から選択される物理的特性であるプロセスパラメータに関連付けられている、請求項１から１１のいずれかに記載された方法（４００）。
【請求項13】
産業マシンは反応器、冶金炉、容器、及びエンジンから選択される、請求項１から１２のいずれかに記載された方法（４００）。
【請求項14】
請求項１から１３のいずれかに記載された方法（４００）により前以てトレーニングされたニューラルネットワーク（３７３）を動作するためのコンピュータによる実行方法（５００）であって、監視（１２３）下にある産業マシンの測定データを備えた多変量測定時系列（２２３）を受領し（５１３）；
多変量測定時系列（２２３）を多変量特徴時系列（２４３）に変換し（５２３）、かつ
パラメータ指標（Ｚ’）を提供するためにニューラルネットワーク（３７３）を動作する（５３３）、各ステップで動作する方法（５００）。
【請求項15】
ニューラルネットワークの動作は、センサ障害、データ接続障害、測定のための人間の関与の最小化、から選択される状況下で起こす、請求項１４に記載された方法（５００）。
【請求項16】
コンピュータシステムのメモリにロードされかつコンピュータシステムの少なくとも１つのプロセッサによって実施されるとき、コンピュータシステムに請求項１から１５のいずれかに記載されたコンピュータによる実行方法のステップ（複数）を実行させる、コンピュータプログラム製品。
【請求項17】
コンピュータシステムによって実施されるとき、請求項１から１５のいずれかに記載されたコンピュータによる実行方法のステップ（複数）を実行する複数のコンピュータによる実行モジュールを含む、コンピュータシステム。
【請求項18】
産業マシン（１２３）のパラメータ（ｚ）を表すパラメータ指標（Ｚ’）を取得するために、請求項１４から１５のいずれかに記載された方法を実行するコンピュータの使用。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して工業的生産プロセスに関し、より詳細には、センサをエミュレートし、これらのプロセスを実行する産業マシン（industrial machines）のプロセスパラメータに対する測定データをエミュレートするためのコンピュータシステム、方法及びコンピュータ－プログラム製品に関する。
【背景技術】
【0002】
産業マシンの動作とそのプロセスパラメータを同時に測定することは同類である。測定は、温度、圧力、音、照度（赤外線カメラの読み取りの様な）、表面からの光の反射、ガス濃度、及びその他の物理的特性又は現象の測定など、マシンで進行中のプロセスに直接関連するパラメータを測定することを含む。しかし、測定は、マシンに入って来る材料やマシンから出ていく（プロセスから生じる）材料の物理的特性の測定など、プロセスに間接的に関連するプロセスパラメータにも関連し得る。
【0003】
その意味で、産業マシンは監視下にあるマシンである。
【0004】
さらに、プロセスパラメータは、マシン内及びマシン外の位置によって区別し得る。例えば、温度分布はマシンの異なる部分で測定し得る。
【0005】
より一般的な観点からみれば、産業マシンは工業的プロセスを実行するマシンであり得る。例えば、マシンは反応器、冶金炉、容器、エンジンであり得る。動作原理の観点から、より具体的には炉は高炉であり得る。非常に単純化して言えば、高炉は、熱風（羽口を介して）と同様に鉱石とコークスを受け取り、溶融金属を供給する。
【0006】
測定はマシンに関連するセンサの主な目的である。例えば、マシンに温度センサを装備することができる。このようなセンサは、温度計、ＰＴ１００抵抗温度検知器又は他のタイプの温度センサによって実施し得る。
【0007】
測定結果は、少なくとも２つの測定モダリティ（modality）、即ち、
・ マシンに関連付けられたセンサによって、及び
・ 人間のオペレータとマシン間の相互作用によって、
提供できることがよく知られている。
・ マシンに関連付けられたセンサによって、及び
・ 人間のオペレータとマシン間の相互作用によって、
提供できることがよく知られている。
【0008】
高炉の例では、センサはさまざまな場所に分散されており、加えて、オペレータは通常、溶融材料のサンプルを採取する。簡単に言えば、オペレータは高炉炉床（blast furnace hearth）の一部を（穿孔機で、タッピングと呼ばれるステップで）開いて溶融材料を抽出する。次に、材料はランナーに流入し（鋳造と言う）、オペレータはサンプルの化学組成、温度、外観などを検査し得る。
【0009】
殆どの測定結果は測定データに変わる。データモダリティに関しては、測定データは、例えば、
・ 温度又は圧力に対するスカラー
・ マシン部品の動きのパターンに対するベクトル
・ 表面などからの画像に対するマトリックス（行列）
の様な複雑な形式を有し得る。
・ 温度又は圧力に対するスカラー
・ マシン部品の動きのパターンに対するベクトル
・ 表面などからの画像に対するマトリックス（行列）
の様な複雑な形式を有し得る。
【0010】
測定データは、１台以上のコンピュータで処理されることになる。コンピュータは、マシンの動作状態に対する指標（indicators）を取得するために測定データを処理することができる。測定データと指標に基づいて、オペレータは動作パラメータを変更することができる。例えば、既述のサンプル採取により温度が不十分であることを明らかにできる。他のデータと共に、コンピュータはオペレータにより多くのコークスを炉に投入する必要があることを指摘する（コークス量は動作パラメータである）。
【0011】
他の多くのシナリオで、コンピュータは、プロセスコントローラ（例えば、温度パラメータに対する制御ループ）の機能でマシンと直接行動することができる。
【0012】
しかしながら、測定データは、さまざまな理由や制約により、常に利用可能とは限らない。その内の幾つかについてはさらなる注目に値する：
・ 特定のセンサが切断されたり、コンピュータへのデータ接続に失敗したりする可能性がある。
・ マシンの開発段階が異なることで、マシンは実質的に同じタイプであっても、センサの分布はマシン毎に異なる場合があり得る。炉の例についてみれば、それらは個別に又は非常に小さなシリーズで構成されている。それ故に、炉の集団でみるとバラバラである。したがって、同じ動作原理（例えば、コークス投入及び／又は石炭注入による熱調節）、同じ材料（例えば、鉄鉱石、コークス）を備えた炉であっても、（例えば、容積において）異なるであろう。このようなマシン間における違いが、測定データ不足にする可能性もある。
・ 人間とマシンの相互作用は一つの役割を果たす。オペレータに対する危険（hazard）又は潜在的な危険(danger)を伴うさらなる技術的問題がある。既述のサンプル採取のために炉を開く機会は少なくなるよう制限すべきである。炉の重要な動作手順の最中に、鋳造中の溶融材料の温度の測定など幾つかの測定が必要になる可能性がある。オペレータが炉の運転に完全に集中できるように、測定への人間の関与を最小限に抑える必要がある。
・ これらの制約の幾つかは組み合わさって出現する、旧式のアナログ温度計では、オペレータがデータを読み取る必要があるが、デジタル温度計はそうではない。
・ 特定のセンサが切断されたり、コンピュータへのデータ接続に失敗したりする可能性がある。
・ マシンの開発段階が異なることで、マシンは実質的に同じタイプであっても、センサの分布はマシン毎に異なる場合があり得る。炉の例についてみれば、それらは個別に又は非常に小さなシリーズで構成されている。それ故に、炉の集団でみるとバラバラである。したがって、同じ動作原理（例えば、コークス投入及び／又は石炭注入による熱調節）、同じ材料（例えば、鉄鉱石、コークス）を備えた炉であっても、（例えば、容積において）異なるであろう。このようなマシン間における違いが、測定データ不足にする可能性もある。
・ 人間とマシンの相互作用は一つの役割を果たす。オペレータに対する危険（hazard）又は潜在的な危険(danger)を伴うさらなる技術的問題がある。既述のサンプル採取のために炉を開く機会は少なくなるよう制限すべきである。炉の重要な動作手順の最中に、鋳造中の溶融材料の温度の測定など幾つかの測定が必要になる可能性がある。オペレータが炉の運転に完全に集中できるように、測定への人間の関与を最小限に抑える必要がある。
・ これらの制約の幾つかは組み合わさって出現する、旧式のアナログ温度計では、オペレータがデータを読み取る必要があるが、デジタル温度計はそうではない。
【0013】
コンピュータは、測定データ間の関係が分っていれば、マシンの動作状態に対する指標は計算できる。例えば、車内のコンピュータは、車のドライバーにギアを切り替えることを指摘し得る。しかしながら、多くの場合、測定データ間の関係は複雑すぎて数式でモデル化できない。
【0014】
ニューラルネットワークを使用することは一つの任意の選択である。ネットワークは測定データを受領し、かつ指標を提供する。簡単に言えば、ネットワークは、複数の層に配置された所謂ニューロンを含む。ニューロン間の相互接続は、いわゆる重み（weights）によって管理される。ネットワーク内の重みのセットはコンフィグレーション（設定；configuration）と呼ぶことができる。
【0015】
しかしながら、（重みやその他のネットワークパラメーターを設定するために）ネットワークをトレーニングする必要がある。再度、単純に言えば、トレーニングには測定履歴データをネットワークに供給することが必要である。
【0016】
しかしながら、履歴データは、特にマシンに適切な相手（counterparts）やピア（peers；仲間）がない場合は、特定のマシンで使用できない。この履歴データの不足は、異なる開発段階で製造されたマシン（炉など）で特に顕著である。
さらなる背景情報は、次の論文から入手できる：
LI XIANG他:“Diagnosing Rotating Machines With Weakly Supervised Data Using Deep Transfer Learning”, IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS, IEEE SERVICE CENTER, NEW YORK, NY, US,vol.16，no.3, 2019年7月8日（2019-07-08）、1688-1697ページ。本論文は、データ駆動型のマシン診断について言及している。ターゲットドメイン内のマシンのトレーニングデータが十分な量で利用できないという課題がある。しかしながら、代わりに複数のソースドメインのトレーニングデータを使用することが可能である。本論文は、転移学習（transfer learning）によってトレーニングデータを適応させるアプローチについて説明している。
LI XIANG他：“Domain generalization in rotating machinery fault diagnostics using deep neural networks”， NEUROCOMPUTING, ELSEVIER, AMSTERDAM, NL, vol. 403, 2020年5月8日（2020-05-08）、409-420ページ。本論文も、データ駆動型のマシン診断について言及している。ドメイン・一般(domain-general)又はドメイン・不変(domain-invariant)の特徴を抽出するタスクがあり、本論文はドメイン敵対的ネットワーク(domain adversarial network)を使用するアプローチについて説明している。
LIAO YIXIAO他：“Deep Semisupervised Domain Generalization Network for Rotary Machinery Fault Diagnosis Under Variable Speed”， IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, IEEE， USA，vol.69，no.10， 2020年5月6日（2020-05-06）、8064-8075ページ。本論文は、回転マシンと、障害を検出するためのニューラルネットワークの使用について言及している。しかしながら、ラベル付きトレーニングデータは、一つの回転速度に対して使用できるが、別の速度に対しては使用できない。それにもかかわらず、ワッサースタイン生成敵対的ネットワーク（Wasserstein Generative Adversarial Network）を使用することにより、その課題を克服することは可能である。
さらなる背景情報は、次の論文から入手できる：
LI XIANG他:“Diagnosing Rotating Machines With Weakly Supervised Data Using Deep Transfer Learning”, IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS, IEEE SERVICE CENTER, NEW YORK, NY, US,vol.16，no.3, 2019年7月8日（2019-07-08）、1688-1697ページ。本論文は、データ駆動型のマシン診断について言及している。ターゲットドメイン内のマシンのトレーニングデータが十分な量で利用できないという課題がある。しかしながら、代わりに複数のソースドメインのトレーニングデータを使用することが可能である。本論文は、転移学習（transfer learning）によってトレーニングデータを適応させるアプローチについて説明している。
LI XIANG他：“Domain generalization in rotating machinery fault diagnostics using deep neural networks”， NEUROCOMPUTING, ELSEVIER, AMSTERDAM, NL, vol. 403, 2020年5月8日（2020-05-08）、409-420ページ。本論文も、データ駆動型のマシン診断について言及している。ドメイン・一般(domain-general)又はドメイン・不変(domain-invariant)の特徴を抽出するタスクがあり、本論文はドメイン敵対的ネットワーク(domain adversarial network)を使用するアプローチについて説明している。
LIAO YIXIAO他：“Deep Semisupervised Domain Generalization Network for Rotary Machinery Fault Diagnosis Under Variable Speed”， IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, IEEE， USA，vol.69，no.10， 2020年5月6日（2020-05-06）、8064-8075ページ。本論文は、回転マシンと、障害を検出するためのニューラルネットワークの使用について言及している。しかしながら、ラベル付きトレーニングデータは、一つの回転速度に対して使用できるが、別の速度に対しては使用できない。それにもかかわらず、ワッサースタイン生成敵対的ネットワーク（Wasserstein Generative Adversarial Network）を使用することにより、その課題を克服することは可能である。
【発明の概要】
【0017】
産業マシンは複数のプロセスパラメータで動作するが、産業マシンは特定のパラメータに対する適切なセンサを有していないか、又はそのプロセスパラメータ用の測定データが別の理由で利用できない場合があり得る。ニューラルネットワークは、そのマシンのプロセスパラメータに対応するパラメータ指標を提供する。ネットワークは、基準マシン（reference machines）からの履歴データに基づいてトレーニングが終了している。少なくとも１つの基準マシン（ソース基準（source reference））は、そのプロセスパラメータ用のセンサを有する。
【0018】
基準マシン（複数）は異なっており、マシン学習の観点からは、それらは異なるドメインに属している。それのためのトレーニングには、転移学習、より正確には教師なしドメイン適応（unsupervised domain adaptation）を要する。
【0019】
コンピュータによる実行方法（computer-implemented method）を実行することによって、コンピュータは、ニューラルネットワークをトレーニングして、ネットワークの測定データによる多変量測定時系列の後処理ができるようにする。測定データは、産業マシンの特定のプロセスパラメータのインスタンス（instances）を表わす。トレーニングされたネットワークは、産業マシンのためのさらなるプロセスパラメータのパラメータ指標を提供するようにトレーニングされる。
【0020】
第１の受領ステップでは、コンピュータは、第１の基準マシンから測定履歴データを備えた第１の多変量測定時系列を受領し、かつ物理的に異なる第２の基準マシンから測定履歴データを備えた第２の多変量測定時系列を受領する。
【0021】
取得ステップでは、コンピュータは、トランスフォーマモジュール（transformer module）が変換規則（transformation rules）により第１及び第２の多変量測定時系列をそれぞれ第１及び第２の多変量特徴時系列に変換できるようにするために、第１及び第２の多変量測定時系列を処理することによって、変換規則のセットを取得する。多変量特徴時系列は第１及び第２の基準マシンのドメインの違いに対して不変量である。
【0022】
変換ステップでは、コンピュータは、変換規則を適用するトランスフォーマモジュールにより、第１の多変量測定時系列を第１の多変量特徴時系列に変換する。
【0023】
第２の受領ステップにおいて、コンピュータは、第１の基準マシンから、さらなるプロセスパラメータの測定データを備えた単変量測定時系列を受領する。
【0024】
トレーニングステップでは、コンピュータはニューラルネットワークを、ネットワークの入力のところで第１の多変量特徴時系列により、かつネットワークの出力のところで単変量測定時系列により、トレーニングする。
【0025】
任意の選択で、コンピュータは、予備変換規則のセットを用いて、第１の多変量測定時系列を第１の多変量特徴時系列に変換し、かつ第２の多変量測定時系列を第２の多変量特徴時系列に変換し、ディスクリミネータ（discriminator）モジュールによって、第１及び第２の特徴時系列の起源（origin）を第１及び第２の多変量測定時系列として識別し；予備変換規則のセットを変更することを、ディスクリミネータがデータ起源を識別できなくなるまで繰り返して変換規則のセットを取得できる。
【0026】
任意の選択で、コンピュータは、敵対的損失が最大値に達するまで動作することによって、もはやデータ起源を識別できないと判断するディスクリミネータモジュールを使用できる。
【0027】
任意の選択で、コンピュータは、変換規則の取得ステップとトレーニングステップとを繰り返すことができ、その際、トランスフォーマモジュールは、最小ネットワーク損失に対応して繰り返しが停止するように、さらにトレーニング中のニューラルネットワークによって提供されるネットワーク損失（network loss）を受領する。
【0028】
任意の選択で、トランスフォーマモジュールとディスクリミネータモジュールとの組み合わせは敵対的生成ネットワーク（generative adversarial network）として動作する。
【0029】
任意の選択で、コンピュータは、多変量測定時系列を受領し、変換規則のセットを取得し、変換しかつニューラルネットワークをトレーニングする方法ステップを、データセレクタモジュールによって変量がさらなるパラメータに関連付けられていることが判断済みである、多変量測定時系列に対して実行する。
【0030】
任意の選択で、データセレクタモジュールは、ニューラルネットワークのトレーニング中に損失関数を最小化するための基準（criterium）を使って、コンピュータに、取得し、変換し、及びトレーニングする方法ステップを繰り返し行わせる、セレクタトレーナーモジュールによってトレーニングされる。
【0031】
任意の選択で、コンピュータは、履歴データを備えた第１及び第２の多変量測定時系列の受領を、測定データのデータモダリティを適応させた後に実行する。
【0032】
任意の選択で、コンピュータは、音サンプルをカテゴリに分類することによって測定データを音サンプルで分析すること、及び画像をカテゴリに分類することによって測定データを画像で分析すること、の少なくとも１つによってデータモダリティを適応することができる。
【0033】
任意の選択で、コンピュータは、ニューラルネットワークのトレーニング中の損失関数を最小化している間に選択される異なる目標に対して、適応を繰り返す。
【0034】
任意の選択で、コンピュータは、回帰型（regression）ニューラルネットワークである、ニューラルネットワークを使用する。
【0035】
任意の選択で、測定データは、温度、圧力、マシン内の材料の化学組成、産業マシンの一部の視覚的外観、及び産業マシンから放出される音から選択される物理的特性であるプロセスパラメータに関連付けられている。
【0036】
任意の選択で、産業マシンは反応器、冶金炉、容器、及びエンジンから選択される。
【0037】
ニューラルネットワークのトレーニングが完了すると、コンピュータ（又は物理的に異なるコンピュータ）は、監視下にある産業マシンの測定データを備えた多変量測定時系列を受領し、多変量測定時系列を多変量特徴時系列に変換し、かつパラメータ指標を提供するためにネットワークを動作する、ニューラルネットワークを動作するためのコンピュータによる実行方法を実行することができる。
【0038】
任意の選択で、ニューラルネットワークの動作は、以下の、即ち、センサ障害、データ接続障害、測定のための人間の関与の最小化、から選択される状況下で起こす。
【0039】
コンピュータプログラム製品は、コンピュータシステムのメモリにロードされかつコンピュータシステムの少なくとも１つのプロセッサによって実施される（executed）とき、コンピュータシステムにコンピュータによる実行方法のステップ（複数）を実行させる。
【0040】
複数のコンピュータによる実行モジュールを含むコンピュータシステムは、コンピュータシステムによって実施されるとき、コンピュータによる実行方法のステップ（複数）を実行できる。或いは、別の観点からみれば、コンピュータシステムはコンピュータによる実行方法のステップ（複数）を実行する。
【0041】
更に、産業マシンのパラメータを表すパラメータ指標を取得するために、仮想センサとして働く方法を実行するコンピュータの使用がある。
【図面の簡単な説明】
【0042】
次に、本発明の実施形態を添付図面を参照して詳細に説明する。
【図1】多変量測定時系列を備えた産業マシン、ならびに、表記規則を説明するためのコンフィグレーションを備えたニューラルネットワークを示す。
【図2】変換規則のセットを取得するための準備段階にある産業マシン及びコンピュータモジュールを示す。
【図3】トレーニング段階でトレーニング中の、基準産業マシン、トランスフォーマモジュール及びネットワークを示す。
【図5】ニューラルネットワークのトレーニング方法、及び産業マシンの動作中のネットワークの使用方法のフローチャートを示す。
【図6】測定データの任意の選択のモダリティ適応（modality adaptation）を実施する任意の選択のモダリティ適応モジュールを示す。
【図7】関連する測定データの選択を任意の選択で実施する任意の選択のデータセレクタモジュールを示す。
【図8】産業マシンが高炉である場合の使用例を示す。かつ
【図9】ここで説明を行う技術と共に使用し得る汎用コンピューティングデバイスの一例を示す。
【発明を実施するための形態】
【0043】
表記規約概要
図１は、表記規約（writing conventions）を説明するための、多変量測定時系列２２３を備えた産業マシン１２３、ならびにコンフィグレーション２８３を備えたニューラルネットワーク３７３を示す。
図１は、表記規約（writing conventions）を説明するための、多変量測定時系列２２３を備えた産業マシン１２３、ならびにコンフィグレーション２８３を備えたニューラルネットワーク３７３を示す。
【0044】
図はまた、－単に象徴的に示したものではあるが－産業マシン１２３がプロセスパラメータ１７３／１８３で工業的プロセスを実行することを示している。プロセスパラメータは、次の２つのグループに分けることができる。
・ 測定パラメータ１８３（又はｘ－パラメータ）及び
・ 非測定パラメータ１７３（又はｚ－パラメータ、少なくとも１つ）
・ 測定パラメータ１８３（又はｘ－パラメータ）及び
・ 非測定パラメータ１７３（又はｚ－パラメータ、少なくとも１つ）
【0045】
属性（attribute）「測定」は、測定データが当該マシン１２３に対する多変量測定時系列２２３中に入るという意味で、特定の産業マシン１２３に関連付けられている。
【0046】
少なくとも１つのプロセスパラメータｚについては測定データが見当たらない（つまり、利用できない）。原則として、パラメータｚは測定可能なパラメータであるがデータは利用できない。ニューラルネットワーク３７３の出力は、その特定のプロセスパラメータｚの表示（representation）であるパラメータ指標Ｚ’（parameter indicator）を提供する。パラメータ指標Ｚ’は、「人工測定値」又は人工的又は仮想的な測定データと見なすことができる。或いは換言すれば、コンピュータがセンサをエミュレートする。
【0047】
パラメータ指標Ｚ’は、マシン１２３のステータス指標（Ｚ’はステータス（状況）を示す）として機能し、或いはＺ’は、マシンのステータスを判断するコンピュータ又はその他のモジュールの入力変数として機能する（Ｚ’はステータスに寄与するもの（contributor）である）。説明は、Ｚ’を算出することに重点を置く。
【0048】
産業マシン１２３のオペレータ１９３（人間）にとって、ネットワーク３７３は、パラメータ指標Ｚ’を出力する仮想センサのように見える。理論的かつ理想的な状況では、指標Ｚ’は、実際のセンサ（ハードウェアセンサ、物理センサ）と同様に物理的実体を表わすであろう。
【0049】
実際の非理想的な状況では、（ネットワーク３７３によって計算される）パラメータ指標Ｚ’の精度は、ネットワーク３７３からの指標Ｚ’と適切なハードウェアセンサからの測定データＺとの差として定義されよう。
【0050】
【0051】
産業マシン１２３（又は産業機器）は工業的プロセスを連続的に実施するマシンである。説明では上述の例について述べたが、説明はマシン１２３が高炉である例に絞る。
【0052】
この高炉の例を考慮すると、プロセスパラメータｚは溶融材料の温度であり得る。（上記で紹介したように、温度センサが見当たらないか、その他の理由で）利用可能な直接測定値はないが、パラメータ指標Ｚ’は計算値を提供する。（例えば、温度やその他の基準（criteria）がそれを許容することから、炉が鋳造の準備ができた状態であれば、）Ｚ’は、さらにステータス指標になるように処理できるであろう。
【0053】
ネットワーク３７３がＺ’を提供できるようにするために、機械学習を含むいくつかの方法ステップを事前に実行しておく必要がある。便宜上、説明では各段階の文脈内において各ステップを説明する。説明では、準備段階（Preparation phase）＊＊１（図２参照）、トレーニング段階＊＊２（図３参照）、及び動作段階＊＊３（図４参照）において活動状態にある各構成要素を区別している。換言すれば、この説明全体を通して、＊＊１／＊＊２／＊＊３として示されている参照は、同類であるがこれらの段階で異なる構成要素を表している。例えば、図２のマシン１２１と図４のマシン１２３は、物理的に同一のマシンであるが、一つの基準マシン（reference machine）として（又は監視／監督下にある一つのマシンとして）動作する。
【0054】
この説明では、段階＊＊１／＊＊２／＊＊３を（パラメータ指標Ｚ’を提供する）ネットワークを考慮して区別している。その考え方で、トレーニングは段階＊＊２で生じる。
【0055】
しかしながら、他のトレーニングループが存在し得る。
・ 準備段階＊＊１は、任意の選択で、トレーニングループ（図５参照 規則４２１を得る際のサブステップのための繰り返しループを備える）を含み得る。
・ トレーニングは、＊＊１及び＊＊２にまたがるループを備えたモダリティ適応（図６参照）にも適用可能である。
・ さらなるトレーニングループは、＊＊１及び＊＊２の幾つかのステップが繰り返されるので（図７参照）、より大きな時間粒度（time granularity）で適用することができる。
・ ディスクリミネータとトランスフォーマ（transformer）をトレーニングするために、ネットワーク損失ＬＯＳＳをパラメータとして含めることでさらなるトレーニングループが適用可能である。
・ 準備段階＊＊１は、任意の選択で、トレーニングループ（図５参照 規則４２１を得る際のサブステップのための繰り返しループを備える）を含み得る。
・ トレーニングは、＊＊１及び＊＊２にまたがるループを備えたモダリティ適応（図６参照）にも適用可能である。
・ さらなるトレーニングループは、＊＊１及び＊＊２の幾つかのステップが繰り返されるので（図７参照）、より大きな時間粒度（time granularity）で適用することができる。
・ ディスクリミネータとトランスフォーマ（transformer）をトレーニングするために、ネットワーク損失ＬＯＳＳをパラメータとして含めることでさらなるトレーニングループが適用可能である。
【0056】
測定される（又は少なくともエミュレートされる）プロセスパラメータは、「ｘ」又は「ｚ」（マシン１２３内の左側で記号化されている）などの小文字が付される。
【0057】
図は、これを、パラメータｘ＿１（マシン内の特定の場所、例えば上部の温度であり得る）とｘ＿２（例えば、別の場所、下部、の温度）として示している。Ｎ個のプロセスパラメータ｛ｘ＿ｎ｝Ｎと、少なくとも１つのさらなるパラメータｚがある。下線“＿”はプレースホルダである。
【0058】
測定データは、ＸやＺなどの大文字で示される。パラメータ指標Ｚ’は、事実上の（de-facto）測定データ又は人工的な測定データを表すため、プライム記号（’）で示されている。
【0059】
中間データ“Ｙ”（又は“特徴（feature）データ”、測定されていない、出力データなし）に対して大文字の規則（uppercase convention）も適用される。
【0060】
時系列
データ（測定データ、中間データ）は、時系列、すなわち、後続の時点の時間順に索引される一連のデータ値の形で利用可能である。
データ（測定データ、中間データ）は、時系列、すなわち、後続の時点の時間順に索引される一連のデータ値の形で利用可能である。
【0061】
この図は、短い表記（長方形２２３）と行列によって時系列を紹介している。
【0062】
表記｛Ｘ１．．．ＸＭ｝は、測定データ要素Ｘｍ（又は略して「要素」）を備えた単一の（つまり、単変量）時系列を表している。この要素Ｘｍは、時点１から時点Ｍ：Ｘ１，Ｘ２，．．．，Ｘｍ，．．．ＸＭまで（すなわち、「測定時系列」）利用可能である。インデックスｍは時点（time point）インデックスである。時点ｍの後には、通常は等間隔Δｔにある時点（ｍ＋１）が続く。
【0063】
１例を挙げれば、Ｍ時点にわたる温度上昇がある：｛１４００°Ｃ．．．１５００°Ｃ｝。当業者は、データ値を、例えば、正規化された値［０，１］、又は｛０．２．．．１｝に事前処理することができる。測定データの形式は、スカラーやベクトルに限定されず、｛Ｘ１．．．ＸＭ｝は、時点１から時点Ｍまでの撮影された一連のＭ画像を表すこともできる。マシンが高炉である場合、画像は炉の羽口の内側から、又は高炉の直接環境から撮影することができる。画像は異常を検出するために撮影される。
【0064】
表記｛｛Ｘ１．．．ＸＭ｝｝Ｎは、時点１から時点Ｍまでのデータ要素ベクトル｛Ｘ＿ｍ｝Ｎを備えた多変量時系列（図１では、行列の上の参照２２３）を表す。ベクトルは、１からＭまでの任意の時点で、Ｎ個のデータ要素が使用可能であることを意味するカーディナリティ（cardinality）Ｎ（変量、即ち、当該測定データが利用可能であるプロセスパラメータの数）を有している。行列は、変量インデックスｎを行インデックス（ｘ＿１からｘ＿Ｎ）として示している。
【0065】
例えば、温度に対する単一の時系列は、圧力、材料の化学組成に関する測定データなどの単一の時系列を伴うことができる。
【0066】
当業者は、この説明が簡略化されていることを理解する。現実的な変量数Ｎは、数千に達しかつそれを超えることがあり得る。時系列は理想的ではない。場合によっては、要素が見当たらないが、熟練者はそのような状況に対応できる。
【0067】
時間間隔Δｔ及び時点Ｍの数の選択はプロセスにより異なる。時系列の全期間Δｔ＊Ｍ（つまり、ウィンドウサイズ）は、最も長時間を要するプロセスパラメータシフトに対応する。例えば、炉では材料を処理するのに数時間かかるため、それに応じてΔｔ＊Ｍが選択される。
【0068】
便利にも、間隔Δｔは１～６０分の範囲で選択され、かつ便利にも、Δｔ＊Ｍは４時間～２４時間の範囲で選択される。高炉の例では、８時間の勤務シフトに対応してΔｔ＝１５分及びＭ＝３２を適用することができる。
【0069】
時点ｔｍはネットワークによる処理のための時間を指定しているので、一部の測定データは前処理できる。例えば、温度センサは分毎にデータを提供し得るが、Δｔ＝１５分では、一部のデータは破棄するか、Δｔ間で平均化するか、他の前処理がなされる。
【0070】
データは異なる産業マシンに由来する可能性があるので、データ起源は、時として｛ ｝又は｛｛．．．｝｝の前に１、２などで示されることがある。図の例では、２｛｛．．．｝｝は、多変量時系列がマシン１２３から来たものであることを示している。
【0071】
説明するように、コンピュータはＸからＹへの変換を適用する。結果の値は、多変量時系列にすることもできる。カーディナリティにはＫが付される。
【0072】
参照
ここで使用されているように、参照１＊＊は現実世界（物理的世界）における産業マシンを指し、参照２＊＊はデータ（コンフィグレーション２８３など）を指し、参照３＊＊はハードウェア及びコンピュータによる実行モジュール（ニューラルネットワーク３７３など）を指し、かつ参照４＊＊又は５＊＊は、方法ステップを指している（図５を参照）。
ここで使用されているように、参照１＊＊は現実世界（物理的世界）における産業マシンを指し、参照２＊＊はデータ（コンフィグレーション２８３など）を指し、参照３＊＊はハードウェア及びコンピュータによる実行モジュール（ニューラルネットワーク３７３など）を指し、かつ参照４＊＊又は５＊＊は、方法ステップを指している（図５を参照）。
【0073】
コンピュータ
「コンピュータ」（単数で、参照なし）の表記は、演算機能又はコンピュータによる実行モジュール（computer-implemented modules）の機能（処理ユニットなど、そのようなユニットの時分割資源）を表す。機能は、異なる物理コンピュータに分散することができ、その場合、コンピュータによる実行モジュールは、そのような異なるコンピュータに分散される。
「コンピュータ」（単数で、参照なし）の表記は、演算機能又はコンピュータによる実行モジュール（computer-implemented modules）の機能（処理ユニットなど、そのようなユニットの時分割資源）を表す。機能は、異なる物理コンピュータに分散することができ、その場合、コンピュータによる実行モジュールは、そのような異なるコンピュータに分散される。
【0074】
図はまた、コンピュータプログラム又はコンピュータプログラム製品を示す。コンピュータプログラム製品は－コンピュータのメモリにロードされ、かつコンピュータの少なくとも１つのプロセッサによって実行されると－コンピュータによる実行方法のステップを実行する。換言すれば、プログラムはモジュールに対して命令を提供する。
【0075】
別の視点からみれば、図は、コンピュータシステムによって実行されるとき、コンピュータによる実行方法のステップを実行する複数のコンピュータによる実行モジュールを含むコンピュータシステムのモジュールを示す。産業マシンは、コンピュータによる実行モジュールとは見なされない。
【0076】
機械学習ツールとそのコンフィグレーション
図は、層状に配置されたニューロン（１本の垂線内のニューロン（複数））（円記号）を備えたニューラルネットワーク３７３をも象徴的に示している。ニューラルネットワーク３７３は、機械学習ツールの一例である。ここで説明する他のモジュールの一部も機械学習を使用する。
図は、層状に配置されたニューロン（１本の垂線内のニューロン（複数））（円記号）を備えたニューラルネットワーク３７３をも象徴的に示している。ニューラルネットワーク３７３は、機械学習ツールの一例である。ここで説明する他のモジュールの一部も機械学習を使用する。
【0077】
このようなネットワークに対しては、次の２つの基本的な記述子（descriptors）がある。
・ ハイパーパラメータのセット及び
・ コンフィグレーション。
・ ハイパーパラメータのセット及び
・ コンフィグレーション。
【0078】
ハイパーパラメータは、
・ ニューロンによって実行される関数を定義する（例えば、重み付けされた入力を合計し、閾値又は他の関数を適用する）、
・ 組み合わせたニューロンが実行する関数（例えば、畳み込みカーネル（convolution kernels）、ガウスカーネル等間でのカーネル関数の選択）を定義する。
・ 層内のニューロンの配置と層間の相互接続を定義する（例えば、第１層と第２層間の例のような、層間の全結合）。
・ ニューロンによって実行される関数を定義する（例えば、重み付けされた入力を合計し、閾値又は他の関数を適用する）、
・ 組み合わせたニューロンが実行する関数（例えば、畳み込みカーネル（convolution kernels）、ガウスカーネル等間でのカーネル関数の選択）を定義する。
・ 層内のニューロンの配置と層間の相互接続を定義する（例えば、第１層と第２層間の例のような、層間の全結合）。
【0079】
ハイパーパラメータは、当該技術分野において通常、ネットワークアーキテクチャとして説明される。ハイパーパラメータはトレーニングされることはない。
【0080】
コンフィグレーション２８３は、ニューロンからニューロンへの重み付けされたデータ転送（data transmission）を定義し、ニューロンのためのバイアス（又はオフセット）値を定義する。コンフィグレーション２８３は、トレーニングによって取得される。
【0081】
ニューラルネットワーク３７３は、ここでは一例としてのみ図示されている。図６－図７は、それに対しアーキテクチャ及びコンフィグレーション規約（configuration conventions）も適用するための（データモダリティを適応する、関連データを選択する、データトランスフォーマ、などのような）さらなるツールを示す。
【0082】
マシン間のドメインの相違
産業マシン１２３（図１）は、その測定データのために利用可能な唯一のマシンではない。当該測定データのために他の産業マシンも利用可能であり、以下「ピアマシン」という。ピアマシンは同じ原理に従って動作するが、いくつかの点で異なり得る。
産業マシン１２３（図１）は、その測定データのために利用可能な唯一のマシンではない。当該測定データのために他の産業マシンも利用可能であり、以下「ピアマシン」という。ピアマシンは同じ原理に従って動作するが、いくつかの点で異なり得る。
【0083】
このような違いに関して、産業マシンは第１ドメインと第２ドメインに属するとみなすことができる。
【0084】
ピアマシンの１つは、ネットワークをトレーニングするための追加の測定データを提供できる。この説明ではマシン１１１／１１２を（パラメータｚに対する実際の測定データＺを提供する）ソースと呼び、かつマシン１２３（ネットワークが指標Ｚ’を計算する対象である）をターゲットと呼んでいる。トレーニング用のデータを提供するピアマシンは、「基準マシン」とも呼ばれる。ソースマシンとターゲットマシンはいずれも、準備段階＊＊１で使用される測定データを提供できるという意味で基準マシンである。そのうちの１つ（ソースマシン）には、もう１つ（ターゲットマシン）にはないセンサがある。ソースマシンは、トレーニング段階＊＊２で使用されるデータのソース（供給源）である。
【0085】
基準マシン間のドメインの違いは、異なる動作モード（operational modes）によって特徴付けられる。このような動作の違いは、マシンのパラメータ化の違い、又はマシンによって動作される基礎となるプロセスに影響を与える異なる環境によって誘発される。
【0086】
高炉の例でみると、２台のピアマシンは、同じ金属を処理し、同じ材料（鉱石やコークスなど）を使用し、同じパラメータ等に対して比較可能な場所にセンサを有する。
【0087】
しかし、第１の炉は第２の炉よりも大きい（サイズの違い）か、又は炉の形状がわずかに異なり、溶融材料の体積、溶融時間などの測定値にわずかに異なる結果を生むことがあり得る。高さの異なる炉ではサイズの違いが顕著である（１例を図８で参照）。
【0088】
ドメインの違いにより、同じ等価パラメータに対して異なる測定データが発生する。
【0089】
ドメインの違いは、異なる測定方法を適用した結果でもある。
【0090】
ドメインの違いにより、コンピュータはデータ変換を適用する。
【0091】
実例を挙げるために、音楽について簡単に言及することにする。オルガンパイプも高炉も、空気の移動で音が出る。長いオルガンパイプは短いオルガンパイプよりも低い周波数で演奏する。しかし、人間であるリスナーは、異なる相対周波数の連続した音色（tones）を意味するメロディーを認識することを学習済みである。メロディーは絶対周波数（absolute frequencies）に関して不変である。
【0092】
炉からの音は測定データとして使用できるため、変換によってピッチ（音の高低）からメロディーが分離される。換言すれば、適切に適応されたトランスフォーマにより、２つの時系列１｛Ｘ１．．．ＸＭ｝及び２｛Ｘ１．．．ＸＭ｝を第１炉と第２炉から受領し、かつ（比較などによって）さらに処理できるメロディー（ドメイン不変量）が提供される。
【0093】
データモダリティ
説明を簡単にするために、説明では最初に、測定データが同じデータモダリティを持つと見做す。時系列の測定データは、スカラーのみを含むと見做す。任意のモダリティ適応は、図６について論じる。
説明を簡単にするために、説明では最初に、測定データが同じデータモダリティを持つと見做す。時系列の測定データは、スカラーのみを含むと見做す。任意のモダリティ適応は、図６について論じる。
【0094】
パラメータ指標Ｚ’を判断することについて
説明をさらに簡単にするために、説明は最初に、全てのパラメータｘ＿１からｘ＿Ｎがパラメータｚに影響を与える可能性があるとも見做す。したがって、コンピュータはそれら全てを処理する。任意の選択で、関連する相違点を考慮することができ、図７を用いて細部を説明する。
説明をさらに簡単にするために、説明は最初に、全てのパラメータｘ＿１からｘ＿Ｎがパラメータｚに影響を与える可能性があるとも見做す。したがって、コンピュータはそれら全てを処理する。任意の選択で、関連する相違点を考慮することができ、図７を用いて細部を説明する。
【0095】
コンフィグレーション（configuration）を生成するステップ
以下では、コンフィグレーションを取得するために１台以上のコンピュータが実施するステップについて説明する。図の説明はステップの順序に従う。しかしながら、図２－図４を最後からスタートして概観すると便利である。
以下では、コンフィグレーションを取得するために１台以上のコンピュータが実施するステップについて説明する。図の説明はステップの順序に従う。しかしながら、図２－図４を最後からスタートして概観すると便利である。
【0096】
その動作中（図４参照）、産業マシン１２３は、パラメータ指標Ｚ’を提供するニューラルネットワーク３７３に測定データを提供する。
【0097】
ネットワーク３７３は、以下の理由でＺ’を提供することができる。
・ コンフィグレーション２８３は、（ｚについてのデータを備えた）実質的に完全なしかし産業マシン１１２（これについてはｚについての適切なデータが利用可能である）に由来する測定履歴データを処理することによって、トレーニング段階（図３）におけるより前に取得済みである。より詳細には、時系列２１２、２７２は、共通の測定データ１｛｛Ｘ１．．．ＸＭ｝｝Ｎ及びさらなるデータ１｛Ｚ１．．．ＺＭ｝を含んでいる。
・ コンフィグレーション２８３を備えたネットワーク３７３はデータ２｛｛Ｘ１．．．ＸＭ｝｝Ｎを備えた測定時系列２２３を直接処理できないが、トランスフォーマ３２３はデータ２｛｛Ｘ１．．．ＸＭ｝｝Ｎを備えた時系列２２３を中間時系列２４３ ２｛｛Ｙ１．．．ＹＭ｝｝Ｋに変換する。
・ コンフィグレーション２８３は、（ｚについてのデータを備えた）実質的に完全なしかし産業マシン１１２（これについてはｚについての適切なデータが利用可能である）に由来する測定履歴データを処理することによって、トレーニング段階（図３）におけるより前に取得済みである。より詳細には、時系列２１２、２７２は、共通の測定データ１｛｛Ｘ１．．．ＸＭ｝｝Ｎ及びさらなるデータ１｛Ｚ１．．．ＺＭ｝を含んでいる。
・ コンフィグレーション２８３を備えたネットワーク３７３はデータ２｛｛Ｘ１．．．ＸＭ｝｝Ｎを備えた測定時系列２２３を直接処理できないが、トランスフォーマ３２３はデータ２｛｛Ｘ１．．．ＸＭ｝｝Ｎを備えた時系列２２３を中間時系列２４３ ２｛｛Ｙ１．．．ＹＭ｝｝Ｋに変換する。
【0098】
トランスフォーマ３２３は、以下の理由により、中間時系列２４３を提供することができる。
・ 準備段階［図２参照］中に、トランスフォーマ３２３の先行トランスフォーマ（predecessor）３１１／３２１は、時系列｛｛Ｘ１．．．ＸＭ｝｝Ｎを中間時系列｛｛Ｙ１ ．．．ＹＭ｝｝Ｋに変換するよう設定済みである。
・ トランスフォーマ３１１／３２１のコンフィグレーションは、中間時系列がもはや物理的に異なるマシン１１１及び１２１間のドメインの違いに特化したものとならないように、共通の変換規則を最適化するディスクリミネータ３６１によって確立済みである。
・ 準備段階［図２参照］中に、トランスフォーマ３２３の先行トランスフォーマ（predecessor）３１１／３２１は、時系列｛｛Ｘ１．．．ＸＭ｝｝Ｎを中間時系列｛｛Ｙ１ ．．．ＹＭ｝｝Ｋに変換するよう設定済みである。
・ トランスフォーマ３１１／３２１のコンフィグレーションは、中間時系列がもはや物理的に異なるマシン１１１及び１２１間のドメインの違いに特化したものとならないように、共通の変換規則を最適化するディスクリミネータ３６１によって確立済みである。
【0099】
コンフィグレーション２８３を取得するためのネットワーク３７２（図３参照）のトレーニングは、以下の理由で可能である。
・ トレーニング中のネットワークは測定履歴データを（ピアマシンから、ここではマシン１１２から）受領することができる、理由はトランスフォーマ３２２がそのデータを変換できるからである。時系列１｛Ｚ１．．．ＺＭ｝は変換する必要はない。
・ トレーニング中のネットワークは測定履歴データを（ピアマシンから、ここではマシン１１２から）受領することができる、理由はトランスフォーマ３２２がそのデータを変換できるからである。時系列１｛Ｚ１．．．ＺＭ｝は変換する必要はない。
【0100】
測定データの起源
表示を簡素なものに保つため、図２－図４は、センサから到来する測定データを示す。しかしながら、一部の測定データは、人－マシンインターフェースなどを介して到着し得る。便宜上、センサは、小さな丸い形の正方形の記号内のＸ１．．．ＸＮ、またＺをも提供する測定データとして参照される。
表示を簡素なものに保つため、図２－図４は、センサから到来する測定データを示す。しかしながら、一部の測定データは、人－マシンインターフェースなどを介して到着し得る。便宜上、センサは、小さな丸い形の正方形の記号内のＸ１．．．ＸＮ、またＺをも提供する測定データとして参照される。
【0101】
図２は、変換規則のセットを取得する（４２１）ための準備段階＊＊１にある産業マシン及びコンピュータモジュールを示す。
【0102】
産業マシン１１１、１２１は、それぞれセンサＸ１～ＸＮ（共通のセンサ、理由は共通のプロセスパラメータのデータを提供するため）を有する。マシン１１１は、単変量測定時系列２１１ １｛｛Ｘ１．．．ＸＭ｝｝Ｎを提供するセンサＺ（太字枠内）を有するが、マシン１２１はそのようなセンサを有しない。
【0103】
情報測定データＺは、直接ではないが、規則の確立中にピア間で「交換」される。マシン１１１は「ソース」であり、マシン１２１は「ターゲット」である。マシン１１１は、センサＺを備えた唯一のマシンである。
【0104】
パラメータの等価性
プロセスパラメータｘｎは、両方の基準マシンで利用可能である（ソース用の１ｘｎ及びターゲット用の２ｘｎ、図１のマトリックスを参照）。例えば、両マシンは炉の上部の温度パラメータを有する。プロセスパラメータｘ（ｎ＋１）は、例えば下部の温度であり、両マシンでも利用可能である。
プロセスパラメータｘｎは、両方の基準マシンで利用可能である（ソース用の１ｘｎ及びターゲット用の２ｘｎ、図１のマトリックスを参照）。例えば、両マシンは炉の上部の温度パラメータを有する。プロセスパラメータｘ（ｎ＋１）は、例えば下部の温度であり、両マシンでも利用可能である。
【0105】
換言すれば、両方の基準マシンで使用できるプロセスパラメータは等価パラメータである。等価パラメータは、等しい変量インデックス（variate index）ｎで特徴付けられている。
【0106】
等価パラメータは等価の測定データに繋がる。
【0107】
マシン１１１（「ソース」）のセンサＸｎとマシン１２１（「ターゲット」）のセンサＸｎは、結果として得られる測定データが、例えばいずれも上部の温度センサである同じパラメータを参照するので等価である。マシン１１１のセンサＸｎとマシン１２１のセンサＸ（ｎ＋１）は等価ではない。
【0108】
パラメータは単数（例えば、上部の温度）であるが、測定データは複数（例えば、２つの炉）である。
【0109】
センサの等価性
等価パラメータのための測定データを提供する異なるマシンのセンサは等価のセンサである。等価のセンサが同じ原理に従って動作する必要はない。
等価パラメータのための測定データを提供する異なるマシンのセンサは等価のセンサである。等価のセンサが同じ原理に従って動作する必要はない。
【0110】
例えば、（ソースの）センサＸｎと（ターゲットの）Ｘｎは、両方ともトップガスの温度を提供する。Ｘｎ（ソースマシン）は侵襲的アプローチ（センサを取り付けたバー（棒）を鉱石（burden）の上で移動すること）によってこれを行い、Ｘｎ（ターゲットマシン）はサウンドトランスミッター（音送信装置）とレシーバー（受信装置）によって鉱石の上方（つまり、炉装入（furnace charge）より上方）でこれを行う。
【0111】
履歴データ
概して、機械学習ツール（ネットワークなど）のトレーニングには履歴データが必要である。トランスフォーマ３１１／３２１の動作は、
・ 基準マシン１１１からの測定履歴データを備えた多変量測定時系列２１１，１｛｛Ｘ１．．．ＸＭ｝｝Ｎ）、及び
・ 物理的に異なる第２の基準マシン１２１からの測定履歴データを備えた２番目の多変量測定時系列２２１、２｛｛Ｘ１．．．ＸＭ｝｝Ｎ）、
を受領することで始まる。
概して、機械学習ツール（ネットワークなど）のトレーニングには履歴データが必要である。トランスフォーマ３１１／３２１の動作は、
・ 基準マシン１１１からの測定履歴データを備えた多変量測定時系列２１１，１｛｛Ｘ１．．．ＸＭ｝｝Ｎ）、及び
・ 物理的に異なる第２の基準マシン１２１からの測定履歴データを備えた２番目の多変量測定時系列２２１、２｛｛Ｘ１．．．ＸＭ｝｝Ｎ）、
を受領することで始まる。
【0112】
図は矢印により受領を示しているが、当業者は時系列をデータベースに蓄積する。ここでこれ以上の説明は不要である。
【0113】
しかしながら、｛｛Ｘ１．．．ＸＭ｝｝Ｎをトレーニング中のツール（規則を学習するためのトランスフォーマなど）に供給するだけでは、Ｍ＊Ｎデータ要素（図１のマトリックスを参照）には不十分である。次の２つの任意の選択がある。
【0114】
第１には、履歴データは、複数の物理マシン１１１／１１２から（２台のマシンからだけでなく、より多くのマシンから）来る可能性がある。この任意の選択は、単にボックスの破線の繰り返しによって象徴的に示している。しかしながら、実際問題として、そのようなアプローチ（異種フリート（heterogeneous fleet））は炉では利用できない。
【0115】
第２に、物理マシン１１１／１１２が繰り返しデータを提供する。２番目の任意の選択が好ましい。
【0116】
図２は、複数の｛｛．．．｝｝Ｎ（及び｛｛．．．｝｝Ｋも）を２つの円形の長方形で（重ねて）表している。図は矢印Ｑも示している。さらなる表記は｛｛｛．．．｝｝｝Ｑになる。
【0117】
Ｑは多変量測定時系列の数である。全てのマシンが等しいＱを持つと便利である。しかしながら、実際問題として、これは常に可能であるとは限らない。マシンは、そのピアマシン（Ｑが大きい）よりも「若い」（Ｑが小さい）可能性がある。
【0118】
以上で紹介した例（Δｔ＊Ｍ＝８時間）についてみると、マシンはＱ＝３＊３６５の多変量測定時系列を１年間にわたって収集する。換言すれば、Ｑは年間１０００の大きさを持つことができる。利用可能なすべてのデータを考慮する必要はない。マシンがメンテナンスモード又は修理モードになっていることがあるため、測定履歴データを利用できない場合がある。
【0119】
８時間のタイムスロット（時間枠）は例証に便利である。しかしながら、コンピュータは多変量時系列の特徴を計算するためにウィンドウスロットＴ＿ＷＩＮＤＯＷが適用できる。このようなウィンドウスロットは、数時間（例えば、８時間）の持続時間を有する移動時間窓（moving time window）として定義することができる。ウィンドウスロットは、より長い期間（例えば、１年以上）にわたって収集され重なったデータ上を（Ｔ＿ＯＶＥＲＬＡＰ）で移動することができる。Ｔ＿ＷＩＮＤＯＷとＴ＿ＯＶＥＲＬＡＰの間の好都合な関係は、例えば、Ｔ＿ＷＩＮＤＯＷ＞Ｔ＿ＯＶＥＲＬＡＰ（あるいは等しい）である。Ｔ＿ＯＶＥＲＬＡＰが１～３時間の間であって、Ｔ＿ＷＩＮＤＯＷが６～１０時間程度であると都合がよい。
【0120】
履歴データからのドメインの違いの削除
前述の（パラメータ、センサにおける）等価にもかかわらず、履歴データはなおドメインの違いを反映している。
前述の（パラメータ、センサにおける）等価にもかかわらず、履歴データはなおドメインの違いを反映している。
【0121】
コンピュータは、多変量測定時系列２１１、２２１を処理することによって、変換規則２５１（図２）／２５２（図４）のセットを取得する（図５のステップ４２１）。変換規則２５１／２５２は、トランスフォーマ３１１／３２１が多変量測定時系列２１１、２２１（｛｛．．｝｝）をそれぞれ多変量特徴時系列２３１及び２４１に変換できるようにする。これら特徴時系列１｛｛Ｙ１．．．ＹＭ｝｝Ｋ及び２｛｛Ｙ１．．．ＹＭ｝｝は、基準マシン１１１／１２１のドメインの違いに対して不変である。
【0122】
換言すれば、ドメイン－不変の特徴が抽出済みである。
【0123】
複数の多変量測定時系列（Ｑを参照）を使用することは今述べた通りであり、変換がそのことを変えることはない。
【0124】
トランスフォーマ３１１／３２１はここでは２つのボックスで示されている。理由は、時系列２１１は時系列２３１に変換され、時系列２２１は時系列２４１に変換されるからである。変換が（図のように）並列に実行されるか、連続して実行されるかは関係がない。いずれのトランスフォーマも共通の規則２５１／２５２を使用する。
【0125】
規則はトレーニングによって取得される。ここに人間の専門家を巻き込む必要はない。換言すれば、ドメイン適応（測定データの代わりに特徴を有する）は教師なしである。専門家の注釈やラベルを使用する必要はない。任意の選択で、専門家は既存の専門知識に基づいて、いくつかの規則を人手で定義できる。一部の規則を人手で定義することで、トレーニングの収束はさらに保証される。
【0126】
変換規則
ネットワークは異なるドメインからのトレーニングデータでトレーニングが完了しているので、転移学習（transfer learning）が関与する。
ネットワークは異なるドメインからのトレーニングデータでトレーニングが完了しているので、転移学習（transfer learning）が関与する。
【0127】
簡単に言えば、第１及び第２の多変量測定時系列２１１、２２１をそれぞれ第１及び第２の多変量特徴時系列２３１、２４１に変換する変換が存在する。多変量特徴時系列２３１、２４１は、基準マシン１１１、１２１のドメインの違いに対して不変である。
【0128】
換言すれば、変換によってドメイン固有ではなくなった特徴を抽出する。測定時系列は第１のスペース（又は入力スペース）に属するものとみなすことができ、特徴時系列は第２のスペース（又は特徴スペース）に属するものとみなすことができる。入力スペースはドメインの違いに敏感であるが、特徴スペースは敏感ではない。
【0129】
スペースＸと回帰のための連続したスペースを表すスペースＹの間には、想定された因果関係がある。
【0130】
両方のドメイン（ソース＝ｓ、ターゲット＝ｔ）の周辺分布（marginal distribution）は類似している：ｐｓ（ｙｓ｜Ｔ（ｘｓ））≒ｐｔ（ｙｔ｜Ｔ（ｘｔ））、ここで、ｙｓはソースドメイン（“ｓ”）の出力データ、かつｙｔはターゲットドメイン（“ｔ”）の出力データである。
【0131】
変換規則は、Ｙ＝Ｔ（Ｘ）の原則に従う。より詳細には、トランスフォーマ３１１、３２１は時間間隔Δｔに従って動作する：ｔ＝１で、トランスフォーマ３１１はデータベクトル１｛Ｘ１｝Ｎをデータベクトル１｛Ｙ１｝Ｋに変換し、トランスフォーマ３２１は、データベクトル２｛Ｘ２｝Ｎをデータベクトル２｛Ｙ２｝Ｋに変換する。次に、それらは、ｔ＝２で１｛Ｘ２｝Ｎを１｛Ｙ２｝Ｋに、かつ２｛Ｘ２｝Ｎを２｛Ｙ２｝Ｋに変換し、ｔ＝Ｍになるまで続く。
【0132】
｛｛Ｘ１．．．ＸＭ｝｝Ｎの変量（variates）は｛｛Ｙ１．．．ＹＭ｝｝Ｋの変量と必ずしも同一ではなく、変換によって変量カーディナリティ（通常はＮ＞Ｋ）を変更できる。
【0133】
ここでは、変換規則は、ｔｍ時点でのデータ（垂直な（vertically）、時間間隔ｔｍに対する処理データベクトル）で動作するために導入されているが、任意の選択で、先行時点（ｍ－１）、（ｍ－２）などからデータを処理するように規則を拡張することができる。当業者は、そのような再帰型ネットワークに精通している。
【0134】
当該分野における変換について既に説明したので、当業者は既存の変換スキームから選択可能である。
【0135】
便宜上、以下のさらなる論文について述べる：
・ Hochreiter，他“Long Short-Term Memory”Neural Computation 1997年11月，https://doi.org/10.1162/neco.1997.9.8.1735（1997）
・ Ashish Vaswani他，“Attention Is All You Need”，Advances in Neural Information Processing Systems 30, NIPS 2017,（2017）
・ Anastasia Borovykh他，“Conditional Time Series Forecasting with Convolutional Neural Networks”，arXiv:1703.04691（2017）
・ Aaron van den Oord他，“WaveNet: A generative model for raw audio”， arXiv:1609.03499,（2016）
・ Hochreiter，他“Long Short-Term Memory”Neural Computation 1997年11月，https://doi.org/10.1162/neco.1997.9.8.1735（1997）
・ Ashish Vaswani他，“Attention Is All You Need”，Advances in Neural Information Processing Systems 30, NIPS 2017,（2017）
・ Anastasia Borovykh他，“Conditional Time Series Forecasting with Convolutional Neural Networks”，arXiv:1703.04691（2017）
・ Aaron van den Oord他，“WaveNet: A generative model for raw audio”， arXiv:1609.03499,（2016）
【0136】
マルチモードの多変量時系列の特徴は、それに限定されるものではないが、畳み込み（convolutional）ニューラルネットワークと組み合わさる可能性がある再帰型ニューラルネットワーク（Hochreiter）、又はトランスフォーマ（Vaswani）又はウェーブネット（Borovykh、van den Oord）のようなアルゴリズムによって抽出される。
【0137】
変換関数Ｔは、両条件付き確率分布ｐｓ（ｔ（ｘｓ）｜ｙｓ）≒ｐｔ（ｔ（ｘｔ）｜ｙｔ）の非類似度を最小化することによって同定し得る。
【0138】
ドメイン不変の特徴を定義するための変換関数ｔ（）は、通常、敵対的深層学習モデル（adversarial deep learning model）をトレーニングすることによって見つけられる、トレーニングでは、変換を行うことで、出力を予測する回帰モデルの損失を最小限に抑えつつ、最後はソースドメインとターゲットドメインの区別が互いに不能な特徴が生成される。
【0139】
以下の出版物はさらなる背景情報を提供している。
Y. Ganin他，“Domain-adversarial training of neural networks,”Journal of Machine Learning Research, vol. 17, no. 59, pp. 1-35,（2016）
Y. Ganin他，“Domain-adversarial training of neural networks,”Journal of Machine Learning Research, vol. 17, no. 59, pp. 1-35,（2016）
【0140】
トランスフォーマのトレーニングの例
この説明では、トランスフォーマがすでに規則２５１／２５２を取得していることを前提としている。以下で、敵対的（深層）学習を適用して規則を取得するための任意の選択によるアプローチについて説明する。
この説明では、トランスフォーマがすでに規則２５１／２５２を取得していることを前提としている。以下で、敵対的（深層）学習を適用して規則を取得するための任意の選択によるアプローチについて説明する。
【0141】
このアプローチは、規則取得４２１（図５参照）のステップのサブステップとして提示される２つの方法ステップによって要約できる。変換規則２５１／２５２のセットの取得４２１は、以下を繰り返すコンピュータで実行することができる。
【0142】
変換ステップ４３１において、コンピュータは、予備変換規則のセットを使用することで、（第１の）多変量測定時系列２１１を（第１の）多変量特徴時系列２３１に変換し、（第２の）多変量測定時系列２２１を（第２の）多変量特徴時系列２４１に変換する。詳細は以上で既に説明済みである。
【0143】
識別ステップ（discriminating step）４４１において、コンピュータは、ディスクリミネータモジュール３６１を使用して、第１及び第２の特徴時系列２３１、２４１の起源（origin）を、（第１の）及び（第２の）多変量測定時系列２１１、２２１に由来するものとして区別する（又は「識別する」）。最初の繰り返しにおいて、ディスクリミネータ３６１は、それらを「容易に」識別することができる。図２は、このことを学習時間（繰り返しのための全時間）と共に略図で象徴的に示している。左側（早期の学習）では、ディスクリミネータは：１（最初のマシン／ドメイン）又は２（２番目のマシン／ドメイン）から、ＸとＹを区別している。右側では、ディスクリミネータはそれができない。
【0144】
変更ステップ４５１において、コンピュータは、予備変換規則のセットを変更する（又は、現在の繰り返しの規則を変更する）。
【0145】
コンピュータは、ディスクリミネータ３６１がもはやデータ起源が（すなわち、１又は２から）識別できなくなるまで、ステップ４３１、４４１、及び４５１を繰り返す。データ起源が識別できなくなったと判断するために、ディスクリミネータ３６１は、敵対的損失ＡＤＬＯＳＳを計算することができる。ディスクリミネータ３６１は、ＡＤＬＯＳＳが最大値に達するまで、動作し続ける（そして規則を変更させる）。
【0146】
変換規則２５１／２５２は、次のステップで適用される最終規則になる。
【0147】
この特定のアプローチにおいて、規則は逆説的に出現する学習目標を備えた学習プロセスによって取得される。
【0148】
換言すれば、トランスフォーマ３１１／３２１とディスクリミネータ３６１との組み合わせは、特徴がソースマシンから又はターゲットマシンに、関連付けられているかどうか分類（又は「予測」）するために（規則に対応して変更された設定で）トレーニングされる。
【0149】
換言すれば、同じエンコーダ（又は、繰り返し中に準備される規則を備えた、トランスフォーマ）が、ソースドメイン及びターゲットドメイン（又は第１及び第２の基準マシン）と、敵対的ディスクリミネータ（即ち、ディスクリミネータ３６１）の助けを借りてドメイン不変表現（domain-invariant representations）を抽出することが期待されるエンコーダとで共用される。
【0150】
さらなる詳細については、以下の論文を参照することができる。
・ Zhang他，“Domain-Invariant Adversarial Learning for Unsupervised Domain Adaption”，arXiv:1811.12751,(2018)
・ Xie他，“Learning Semantic Representations for Unsupervised Domain Adaptation@, Proceedings of the 35th International Conference on Machine Learning, PMLR 80:5423-5432,(2018)
・ Avisek Lahiri他，“Unsupervised Domain Adaptation for Learning Eye Gaze from a Million Synthetic Images: An Adversarial Approach”， In Proceedings of the 11th Indian Conference on Computer Vision, Graphics and Image Processing (2018)
・ Zhang他，“Domain-Invariant Adversarial Learning for Unsupervised Domain Adaption”，arXiv:1811.12751,(2018)
・ Xie他，“Learning Semantic Representations for Unsupervised Domain Adaptation@, Proceedings of the 35th International Conference on Machine Learning, PMLR 80:5423-5432,(2018)
・ Avisek Lahiri他，“Unsupervised Domain Adaptation for Learning Eye Gaze from a Million Synthetic Images: An Adversarial Approach”， In Proceedings of the 11th Indian Conference on Computer Vision, Graphics and Image Processing (2018)
【0151】
敵対的トレーニングは、次でさらに概説されている。Goodfellow, Ian J., Pouget-Abadie, Jean, Mirza, Mehdi, Xu, Bing, Warde-Farley, David, Ozair, Sherjil, Courville, Aaron C., and Bengio, Yoshua. Generative adversarial nets. NIPS,2014
【0152】
学習アプローチによる規則の取得は、準備段階＊＊１に属す。これは、次に説明するネットワークのトレーニングと同じではない。
【0153】
図３は、基準産業マシン１１２、トランスフォーマモジュール３２２（略して「トランスフォーマ３２２」）及びトレーニング段階＊＊２中のネットワーク３７２（トレーニング中）を示す。
【0154】
トランスフォーマ３２２は、多変量測定時系列２１２を多変量特徴時系列３２３に変換する（図５のステップ４５２）。時系列２１２は、時系列２１１（図２参照）と同じであり得る。トランスフォーマ３２２は、変換規則２５２を適応する（確定時の、図２の規則２５１を参照）。複数の重なった矩形によって象徴されるように、トランスフォーマ３２２は、複数の多変量測定時系列を処理する（図２で紹介したＱを参照）。
【0155】
コンピュータは、基準マシン１１２から、通常は複数系列でもある、さらなるプロセスパラメータ（ｚ）の測定データ（Ｚ）を備えた、単変量測定時系列２７２（すなわち、１｛Ｚ１．．．ＺＭ｝）を受領する（図５のステップ４６２）。その意味で、産業マシン１１２は、実際の測定（センサＸ１乃至ＸＭから、及びセンサＺからなど）の測定データを提供する基準として機能する。
【0156】
ネットワーク３７２は、入力のところで第１の多変量特徴時系列（２３２）により、出力のところで単変量測定時系列（２７２）によってトレーニング中である（図５のステップ４７２）。
【0157】
当業者は、適切なハイパーパラメータ、最適化の目標（optimization goals）等を用いてトレーニングを行うことができる。例として、損失関数（loss function）が特定の事前に定義された値に達したときにトレーニングが終了する。トレーニング中は、中間計算値ＬＯＳＳ（又は「ネットワーク損失」）が変化して最終的に最小値に達し、その結果重みとバイアス値をコンフィグレーションに引き継ぐことができる。換言すれば、ＬＯＳＳはネットワーク内部処理ループの制御パラメータである。
【0158】
ＬＯＳＳはネットワーク３７２の外部にあるループを制御するためにも使用できる。図は、中間計算値ＬＯＳＳがネットワーク３７２によって提供され得ることを示している。図７に関して説明するように、ＬＯＳＳは、セレクタ（選択）トレーナー３８０によってさらなるループで使用できる。換言すれば、ＬＯＳＳは、１つ以上のネットワーク外部処理ループの制御パラメータでもあり得る。
【0159】
また、ＬＯＳＳは、変換規則を最適化するパラメータとしてトランスフォーマ（図２参照）に提供することができる。
【0160】
図４は、パラメータ指標Ｚ’を提供するための、動作段階＊＊３にある（図１の）産業マシン１２３及びトランスフォーマモジュール３２３（図３を参照）を示す。図４は、その詳細について以上で説明済みの図１の更新版である。
【0161】
コンピュータは、産業マシン１２３に対する測定データを備えた多変量測定時系列２２３（２｛｛Ｘ１．．．ＸＭ｝｝Ｎとも表記される）を受領する（図５のステップ５１３参照）。ここで、マシン１２３は、監視下にあるマシンであり、パラメータｚを測定するセンサを持たない。
【0162】
トランスフォーマ３２３は、多変量測定時系列２２３を多変量特徴時系列２４３（同じく２｛｛Ｙ１．．．ＹＭ｝｝Ｋ）に変換する。
【0163】
ネットワークは、多変量特徴時系列２４３を受領し、パラメータ指標Ｚ’を提供する。ネットワーク３７３は、コンフィグレーション２８３を備えて図示されている。
【0164】
【0165】
図５は、トレイン（train）ニューラルネットワーク３７２／３７３のコンピュータによる実行方法４００の、及び産業マシン１２３の動作中にネットワークを使用するコンピュータによる実行方法５００のフローチャートを示す。
【0166】
方法４００は、ニューラルネットワーク３７３をトレーニングするためのコンピュータによる実行方法である。ネットワーク３７３は、後に多変量測定時系列（図１の２２３を参照）を処理し、かつそれによって産業マシンのためのさらなるプロセスパラメータ（図１の１７３、ｚを参照）のパラメータ指標Ｚ’を提供するために、産業マシン（図１の１２３を参照）の特定のプロセスパラメータ（図１の１８３を参照）のインスタンスを表す測定データを用いてトレーニングされる。
【0167】
受領ステップ４１１において、コンピュータは、第１の基準マシンから測定履歴データを備えた第１の多変量測定時系列を受領し、物理的に異なる第２の基準マシンから、測定履歴データを備えた第２の多変量測定時系列を受領する（１｛｛Ｘ１．．．ＸＭ｝｝Ｎ）及び２｛｛Ｘ１．．．ＸＭ｝｝Ｎ）、図２の左側を参照）。
【0168】
取得ステップ（obtaining step）４２１において、コンピュータは、第１及び第２の多変量測定時系列を処理することによって変換規則２５１／２５２のセットを取得し、それにより、トランスフォーマ（図２の３１１／３２１を参照）は、変換規則２５１／２５２によって、それぞれ第１及び第２の多変量測定時系列を第１及び第２の多変量特徴時系列に変換することが可能になる（図２の２３１、２４１を参照、１｛｛Ｙ１．．．ＹＭ｝｝Ｋ，２｛｛Ｙ１．．．ＹＭ｝｝Ｋとも表記される）。多変量特徴時系列は、第１及び第２の基準マシン（図２、１１１、１２１参照）のドメインの違いに対して不変である（両基準マシンは異なるドメインに属し、説明した細部を備えている）。
【0169】
変換ステップ４５２において、コンピュータは、変換規則を適用するトランスフォーマ（図３の３２２）によって、第１の多変量測定時系列を第１の多変量特徴時系列に変換する。
【0170】
受領ステップ（４６２）において、コンピュータは、第１の基準マシン（図３の１１２参照）から、さらなるプロセスパラメータｚの測定データＺを備えた単変量測定時系列を受領する。
【0171】
ニューラルネットワーク３７２をトレーニングする４７２ステップにおいて、コンピュータは、ネットワークの入力のところで第１の多変量特徴時系列、及びネットワークの出力のところで単変量測定時系列を用いてネットワークをトレーニングする。
【0172】
図５はまた、変換規則のセットを得る４２１ための任意の選択による詳細（破線のボックス）を示す。コンピュータは、ステップ４３１、４４１、及び４５１を繰り返し実行する。
【0173】
変換ステップ４３１において、コンピュータは、予備規則である変換規則のセットを用いて、第１の多変量測定時系列を第１の多変量特徴時系列に変換し、第２の多変量測定時系列を第２の多変量特徴時系列に変換する。
【0174】
識別ステップ４４１において、コンピュータは、ディスクリミネータ３６１を実行して、第１及び第２の特徴時系列の起源を第１及び第２の多変量測定時系列として区別（又は識別）する。
【0175】
変更ステップ４５１において、コンピュータは、予備変換規則のセットを変更する。
【0176】
繰り返しステップは、ディスクリミネータ（３６１）がデータ起源を識別できなくなったときに停止する（即ち、するまで（UNTIL）又はするうち（WHILE）繰り返しループ）。
【0177】
方法４００におけるステップの詳細は、この説明の文脈において説明される。
【0178】
産業マシンの動作中にネットワークを使用するコンピュータによる実行方法５００に関しては、図４を参照し、図はそのステップを示す。
【0179】
受領ステップ５１３では、コンピュータは、監視下にある産業マシンの測定データを備えた多変量測定時系列を受領し、変換ステップ５２３では、多変量測定時系列を多変量特徴時系列に変換し、かつ動作ステップ５３３では、ネットワーク３７３を動作してパラメータ指標Ｚ’を提供する。
【0180】
方法４００及び５００のためのコンピュータは、物理的に異なるコンピュータであり得ることに再度留意されたい。共通データは、（トレーニングで得られる）コンフィグレーション２８３であろう。
【0181】
精度の向上
以上で簡単に述べたように、指標Ｚ’の精度は、測定データＺ（利用可能であれば）との差に対応する。ごく単純には、差が小さくなるほど精度が高くなる。
以上で簡単に述べたように、指標Ｚ’の精度は、測定データＺ（利用可能であれば）との差に対応する。ごく単純には、差が小さくなるほど精度が高くなる。
【0182】
ここでは、精度を高める２つのアプローチについて説明する。一方のアプローチ（適応）は処理される変量の数を増やし、他のアプローチ（選択）は変量の数を減らす。
【0183】
一見すると、両アプローチは矛盾しているように見えるが、関連している。便宜上、説明ではそれらを個別に紹介し、後で関係について論じる。
【0184】
データモダリティ適応
ここまでの説明では、｛Ｘ１．．．ＸＭ｝がＭ個の連続するスカラー値のシーケンスである、スカラーのみを含む時系列の測定データのアプローチについて説明してきた。コンピュータがスカラーを整数（integer）で表すか実数（real number）で表すかは関係がない。
ここまでの説明では、｛Ｘ１．．．ＸＭ｝がＭ個の連続するスカラー値のシーケンスである、スカラーのみを含む時系列の測定データのアプローチについて説明してきた。コンピュータがスカラーを整数（integer）で表すか実数（real number）で表すかは関係がない。
【0185】
この説明では、他のモダリティの測定データを如何にして処理に適応させるかについて論じる。
【0186】
図６は、任意の選択で測定データのモダリティ適応を実行する任意の選択のモダリティ適応モジュール３９３（又は略して「アダプタ」）を示す。例として、図は、動作段階＊＊３中のアダプタ３９３を示すが、アダプタ３９３は他の段階でも同様に動作し得る。
【0187】
アダプタ３９３は、多変量測定時系列（｛｛Ｘ１．．．ＸＭ｝とも表記される｝）２１３を産業マシン（例としてマシン１１３として示しているが、データ起源“１”又は“２”は関係ない）から受領する。用語「受領」は、方法ステップ４１１ならびに方法ステップ５１３（図５参照）に対応する。従ってアダプタ３９３は、受領を実行するモジュールの一部として実行し得る。
【0188】
多変量測定時系列｛｛Ｘ１．．．ＸＭ｝｝Ｎは、スカラー要素または非スカラー要素のシーケンスである単変量測定時系列｛Ｘ１．．．ＸＭ｝を含む。この例では、単変量時系列｛Ｘ１．．．ＸＭ｝ｎは、非スカラー要素Ｘｎを含む必要がある。
【0189】
補足として、多くの状況において、１｛Ｚ１．．．ＺＭ｝はスカラーのみである。しかしながら、これは必須ではないため、１｛Ｚ１．．．ＺＭ｝はベクトル等でもあり得る。
【0190】
アダプタ３９３は、スカラーを備えた時系列を実質的に変えずに他のモジュールに渡す。これらの時系列は、アダプタを経由する必要さえない。
【0191】
アダプタ３９３は、非スカラー要素Ｘｎを個別に処理するが、各ｎ毎に規則に従う。この図は、非スカラー要素Ｘｎを高度に象徴化して示している。これにより、コンピュータは要素を処理し、ここでは、それらにＸｎ～と表記するスカラーを（分類することで）割り当てることができる。～は、割り当てが行われたことのみを示す。
【0192】
最初のシナリオでは、非スカラー要素は画像（つまり、色を示すピクセルを備えたマトリックス）である。例えば、画像は、時間間隔Δｔ毎に撮影されたマシンの検査孔を示す（画像に対する露光時間は無視できる）。
【0193】
高炉の例では、検査では羽口を使用して、炉内の炉火を視聴者に見せる。炉火は動作中に定期的に発生する。ごく単純化すれば、炉火を示す画像は１にコード化でき、炉火のない画像は０にコード化できる。結果の時系列は｛．．｝～＝｛０，０，１，１，１，０．．．０，０｝～であり、かつコンピュータは、（規則を得る４２１又は変換する５２３等の、図５参照、或いは受領する５１３ことさえ含めた、各ステップに従った、）処理を継続する。
【0194】
２番目のシナリオでは、非スカラー要素は音のシーケンスである。例えば、Ｘｎは、マイクロフォンセンサから、Δｔ＝１５分の時間間隔の持続時間に対する音響記録であり得る。当業者は、例えば、２０ｋＨｚの周波数の音をサンプリングすることによって、秒毎の音響サンプル１５＊６０＊２０，０００に繋がる適切な音処理を適用することができる。
【0195】
アダプタ３９３は、次いで、これらの数百万のサンプルを単一のスカラーに処理する。（例示するように）例えば、スカラーは、Δｔ中のピッチ（音の高低）上げ、Δｔ中のピッチ下げ、Δｔ中のピッチ一定、Δｔ中のピッチの上げ下げなどを示すことができる。
【0196】
アダプタ３９３は、それ以前にトレーニングされた、（人間の専門家による）潜在的に監督下にあるニューラルネットワークによって実行することができる。例えば、アダプタ３９３は、（高炉内の）炉火を示す注釈画像（annotated images）、（高炉から取得する）注釈音シーケンス（annotated sound sequences）などを用いてトレーニング済みであり得る。アダプタ３９３を、画像の抽象表現（abstract representation）を同定できるようにするため、教師なしの方法でトレーニングすることもできる。これにより、画像の報知的な内容（informative content）は確実に最大化される。その後、このプロセスによって画像のシーケンスはスカラーの幾つかのシーケンスに縮小される。
【0197】
スカラーを割り当てることは、必ずしも測定データが指標Ｚ’に関連付けられていることを意味するわけではない。図は、適応が異なるトレーニングがなされたネットワークを使用することで、同じ入力Ｘｎに対してスカラーが異なるＸｎ～とＸｎ～～になり得ることを示している。図中の「６」と「７」は説明のために採用したものである。同じ入力に対して異なるスカラーを使用した場合の結果については、以下で論じる。
【0198】
関連性選択
一部のプロセスパラメータは、パラメータｚに関連付けられていない。換言すれば、プロセスパラメータ（Ｎ変量のカーディナリティを備えた、ｘ＿１からｘ＿Ｎ、）のセット全体は、次のように分割できる。
・ パラメータｚに関連付けられたＨプロセスパラメータｘ＿１からｘ＿Ｈの最初のサブセット（「関連パラメータセット」）、及び
・ パラメータｚに関連付けられていない（Ｎ－Ｈ）プロセスパラメータの第２のサブセット。
一部のプロセスパラメータは、パラメータｚに関連付けられていない。換言すれば、プロセスパラメータ（Ｎ変量のカーディナリティを備えた、ｘ＿１からｘ＿Ｎ、）のセット全体は、次のように分割できる。
・ パラメータｚに関連付けられたＨプロセスパラメータｘ＿１からｘ＿Ｈの最初のサブセット（「関連パラメータセット」）、及び
・ パラメータｚに関連付けられていない（Ｎ－Ｈ）プロセスパラメータの第２のサブセット。
【0199】
遥かに脱線して音楽を例に採ると、少なくともリスナーにとってはメロディーが「ラルゴ」又は「アレグロ」で演奏されるかどうかは関係がなく、メロディーは同じである。
【0200】
理想的な状況では、ネットワーク３７３は、第２のサブセットのパラメータについての測定データを単に無視するようにトレーニング済みであろう。現実的なトレーニングシナリオでは、依然として一部の測定データ（第２のサブセット）が指標Ｚ’に寄与する可能性がある。
【0201】
なお、トレーニングは人間の専門家の参加なしで可能であることに留意されたい。しかしながら、トレーニングにそのような監督を導入する必要はない。
【0202】
産業マシンの専門家は、経験に基づいて関連するパラメータセットを同定できる。専門家が同定した関連性を持つ測定データのみがコンピュータに送られる。この点での専門家の巻き込みは、一度限りの負担（effort）である。
【0203】
例えば、炉の電力消費は温度（模範的なｚパラメータ）に影響を及ぼさず、かつ消費データは（消費についての測定を処理しないことによって）無視することができる。
【0204】
人手による事前選択及びそれに代わるものに加えて、関連性同定は、測定データを選択することによって、コンピュータによって実行し得る。次に一例を示す。
【0205】
図７は、関連する測定データの選択を任意の選択で実行する任意の選択のデータセレクタモジュール３８３（又は略して「セレクタ」）を示す。同図は、動作段階＊＊３中のセレクタ３８３を最上部に示し、図５から幾つかの方法ステップを繰り返すことによる段階＊＊１及び＊＊２におけるその調整（conditioning）を説明する。
【0206】
動作中、セレクタ３８３は、多変量測定時系列２２３（図１及び図３参照、｛Ｘ１．．．ＸＭ｝｝Ｎとも表記）を受領し、かつ変更した多変量測定時系列２２３（｛｛Ｘ１．．．ＸＭ｝｝Ｈ）をトランスフォーマ３２３に送る（図４参照）。
【0207】
変更（modification）は選択（つまり、Ｎ変量から｛｛．．．｝｝ＨでのＨ変量への、Ｈ＜Ｎでの能動的な（positive）選択）である。換言すれば、このことは関連するパラメータセットの選択（但し、測定データレベルでの）に対応している。図は、セレクタ３８３の出力におけるセンサ符号（sensor symbols）がより少ない（マシンと比較して）ことを示すことでその選択を説明している。
【0208】
削減した測定データセットで方法５００（図５を参照）を実行することで、指標Ｚ’を提供する精度を向上させることができる。このアプローチは逆説的に見えるかもしれないが、セレクタはネットワークによって処理されるべき一部のデータをブロックするが精度は向上する。しかしながら、選択により、ネットワーク３７３が潜在的に無視できずかつ潜在的に精度を低下させる可能性がある測定データを整理している。ここでも、ネットワークトレーニング（図２～図４参照）の教師なしの特質が注目される。
【0209】
セレクタ３８３は、最小化のための値としてネットワーク３７２／３７３の損失関数を使用する学習プロセスによってコンフィグレーション（構成）することができる。このアプローチは、セレクタトレーナーモジュール３８０（又は略して「セレクタトレーナー」）によって象徴的に示される。
【0210】
セレクタトレーナー３８０は、ネットワーク３７２（トレーニング中、ＬＯＳＳを受領中）などの他のモジュールと通信し、フローチャートによって象徴的に示される方法を実行する。
【0211】
中間値ＬＯＳＳ（intermediate value LOSS）－換言すれば損失関数－が最小値（「最小損失」、ＹＥＳ）を有するまでの繰り返し中に、セレクタトレーナー３８０は、（予備）選択（｛｛．．．｝｝Ｈ∈｛｛．．．｝｝Ｎ）を変更し、かつ構成要素（複数）に、（任意の選択で）受領し４１１、規則を取得し４２１、変換し４５２、（任意の選択で）受領し４６２かつトレーニングを行う４７２ことを意味する、方法４００を実行させる（図４参照）。受領することは任意の選択である、理由は受領したデータは変更されないからである。
【0212】
換言すれば、変量の予備選択｛｛．．．｝｝Ｈは、最終選択のためにＬＯＳＳが最小になるまで、別の選択に置き換えられる。
【0213】
したがって、説明は簡略化しているが、当業者はこの方法を実施できる。例えば、受領ステップ４６２を繰り返す必要はない（理由は、１｛Ｚ１．．．ＺＭ｝は選択から除外されないからである）。
【0214】
【0215】
任意の選択で、セレクタ３８３の動作は、測定時系列の幾つかの変量を選択し、かつ結果として生じる測定時系列に組合せ又はマージすることによって強化し得る。例えば、セレクタ３８３は｛．．．｝１，｛．．．｝２、及び｛．．．｝３（３つの場所からの温度など）を選択し、かつそれらを新しい単変量測定時系列（｛｛．．．｝｝Ｈの一部になるように）に結合する。
【0216】
当業者であれば、主成分分析により選択・組合せなどを実行することができる。
【0217】
【0218】
しかしながら、計算資源を節約するために、少なくとも動作段階＊＊３の間は、データセレクタ３８３をモダリティアダプタ３９３よりも優先して動作させるのが便利である。例えば、音響記録をスカラーになるように処理し（図６参照）、次いでセレクタ３８３によってスカラーをフィルタで除去する必要はない。
【0219】
スカラーへの適応により、ネットワークはより多くのデータを処理できるようになるが、一部の適応ではエラーが発生する可能性がある。スカラーを割り当てることで、アダプタは異なるトレーニングがなされたネットワークを適用できる。Ｚ’に関連する結果もあれば、そうでない結果もある。例えば、上げ／下げ／一定ピッチなどのカテゴリへの音シーケンスの分析は、Ｚ’に関連しない可能性があるが、振動／安定音などの他のカテゴリへの分析は実際にＺ’に関連している可能性がある。その意味で、異なる方法で取得されたスカラーＸｎ～とＸｎ～～（図６参照）は、関連性の選択（relevance selection；図７参照）として扱うことができる。
【0220】
ネットワーク損失のフィードバック
説明は、ここで、直ぐに図２－図３に戻る。既に説明したように、トランスフォーマがドメインの違いに不変な特徴時系列を提供するように、変換規則は準備段階＊＊１で取得される。敵対的損失（ＡＤＬＯＳＳは図２参照）は基準（criterion）である。
説明は、ここで、直ぐに図２－図３に戻る。既に説明したように、トランスフォーマがドメインの違いに不変な特徴時系列を提供するように、変換規則は準備段階＊＊１で取得される。敵対的損失（ＡＤＬＯＳＳは図２参照）は基準（criterion）である。
【0221】
精度をさらに高めるために、ネットワーク損失を考慮することによって変換規則を強化することができる（ＬＯＳＳ（損失）、図３参照）。これにより、コンピュータは、準備段階＊＊１及びトレーニング段階＊＊２（予備トレーニングとして実行される）のステップを含むループ内で動作することができる。
【0222】
換言すれば、ニューラルネットワーク３７２の変換規則のセットを得るステップ４２１及びトレーニング４７２のステップが繰り返される。トランスフォーマ３１１／３２１はさらに、トレーニング中のネットワークによって提供されるネットワーク損失（ＬＯＳＳ）を受領する。繰り返しは、ネットワーク損失が最小になると停止できる。
【0223】
任意のアプローチを説明するために、図２はＬＯＳＳ（損失）の受領を破線で示す。ＡＤＬＯＳＳ（敵対的損失）は最大化されるが、ＬＯＳＳ（損失）は最小化される。当業者は他の規約（conventions）を適用することができる。
【0224】
使用－例
図８は、産業マシン１１１、１２１、１２３が高炉である使用－例を示す。複数の温度パラメータ（２００°Ｃから２０００°Ｃまでの異なる値で記号化）と他のプロセスパラメータ（圧力値、材料の化学組成など）がある。
図８は、産業マシン１１１、１２１、１２３が高炉である使用－例を示す。複数の温度パラメータ（２００°Ｃから２０００°Ｃまでの異なる値で記号化）と他のプロセスパラメータ（圧力値、材料の化学組成など）がある。
【0225】
ドメインの違いは、次の２つの例で示されている、サイズの違いは、炉１１１が炉１２１及び１２３よりも小さいことで記号化している。炉１１１、１２１は、溶融材料の温度（溶銑温度）に対して異なる測定方法を適用する。炉１１１での遠距離センサ１５１（カメラ記号（camera symbol））は、Δｔ（例えば１５分）で利用可能なサンプルを備えた時系列をもたらす。炉１２１のオペレータによる人手による測定は、論考の背景で述べたように、より大間隔（例えば、９０分）で利用可能な温度値をもたらす。
【0226】
この例示的な使用例では、仮想センサ１５３は、（温度に対する）指標Ｚ’をΔｔで取得する。カメラ記号は小さな点の記号で示されているが、この仮想センサは、コンピュータ実施方法（computer executing method）５００（図５参照）を表している。換言すれば、図は概して、産業マシンのパラメータを表すパラメータ指標Ｚ’を得るための、方法５００を実行（performing）（又は実施(executing)）する（及び方法４００に従ってトレーニング中の）コンピュータの使用を示している。方法５００を実行するコンピュータの使用は、仮想センサを使用することと見做すことができる。
【0227】
炉１２１及び１２３は物理的に同じものであり得るが、炉１２３は将来運転するものであり、１つのネットワーク３７２／３７３はトレーニングを完了している。この図は、炉１２３のオペレータがサンプルを採取することを示しておらず、そのためこの使用事例が人間の測定への関与を最小限に抑えるのに役立ち、かつオペレータが炉の動作によりよく集中できることを示している。換言すれば、炉１２１は、追加の仮想センサによって炉１２３にアップグレードすることができる。
【0228】
仮想センサを使用することにより、そうでなければデータが見当たらなかったであろう、プロセスパラメータを測定することで、既存の産業マシンを比較する機会を得ることができる。
【0229】
トレーニングデータとしての人工測定データの使用
指標Ｚ’は、補足的な履歴データとして、トレーニングデータとして使用できる。
指標Ｚ’は、補足的な履歴データとして、トレーニングデータとして使用できる。
【0230】
汎用コンピュータ（Generic computer）
図９は、ここで説明する技術で使用可能な汎用コンピューティングデバイスの一例を示す。図９は、本明細書で説明する技術により使用可能な汎用コンピューティングデバイス９００及び汎用モバイルコンピューティングデバイス９５０の一例を示す概略図である。コンピューティングデバイス９００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。汎用コンピューティングデバイス９００は、図１のコンピュータシステム１００に対応する。コンピューティングデバイス９５０は、携帯情報端末、携帯電話、スマートフォン、運転支援システム又は車両のボードコンピュータ（例えば、車両４０１、４０２、４０３、図１参照）及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことを意図している。例えば、コンピューティングデバイス９５０は、コンピューティングデバイス９００と対話するためのユーザ（例えば、高炉のオペレータ）によってフロントエンドとして使用可能である。ここに示されている構成要素、それらの接続及び関係、ならびにそれらの機能は、例示のみを目的としており、本書に記載及び／又は請求される発明の実行（implementation）を限定することを意図していない。
図９は、ここで説明する技術で使用可能な汎用コンピューティングデバイスの一例を示す。図９は、本明細書で説明する技術により使用可能な汎用コンピューティングデバイス９００及び汎用モバイルコンピューティングデバイス９５０の一例を示す概略図である。コンピューティングデバイス９００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。汎用コンピューティングデバイス９００は、図１のコンピュータシステム１００に対応する。コンピューティングデバイス９５０は、携帯情報端末、携帯電話、スマートフォン、運転支援システム又は車両のボードコンピュータ（例えば、車両４０１、４０２、４０３、図１参照）及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことを意図している。例えば、コンピューティングデバイス９５０は、コンピューティングデバイス９００と対話するためのユーザ（例えば、高炉のオペレータ）によってフロントエンドとして使用可能である。ここに示されている構成要素、それらの接続及び関係、ならびにそれらの機能は、例示のみを目的としており、本書に記載及び／又は請求される発明の実行（implementation）を限定することを意図していない。
【0231】
コンピューティングデバイス９００は、プロセッサ９０２、メモリ９０４、記憶装置９０６、メモリ９０４及び高速拡張ポート９１０に接続する高速インターフェース９０８と、低速バス９１４及び記憶装置９０６に接続する低速インターフェース９１２とを含む。構成要素９０２、９０４、９０６、９０８、９１０、及び９１２の各々は、様々なバスを使用して相互接続され、共通のマザーボードに、又は適宜他の様式で装着し得る。プロセッサ９０２は、高速インターフェース９０８に結合されたディスプレイ９１６のような外部入／出力デバイスのＧＵＩのためのグラフィック情報を表示するために、メモリ９０４又は記憶装置９０６に保存された命令を含むコンピューティングデバイス９００内で実行するための命令を処理することができる。他の実行において、複数のプロセッサ及び／又は複数のバスが、複数のメモリ及び複数のタイプのメモリと共に、適宜使用され得る。また、複数のコンピューティングデバイス９００は、（例えば、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとしての）必要な動作を部分的に提供する各デバイスと接続し得る。
【0232】
メモリ９０４は、コンピューティングデバイス９００内で情報を記憶する。１つの実行においては、メモリ９０４は揮発性メモリユニット（単数又は複数）である。別の実行においては、メモリ９０４は、不揮発性メモリユニット（単数又は複数）である。メモリ９０４はまた、磁気ディスク又は光ディスクなどのコンピュータ読取り可能な別の形態の媒体であり得る。
【0233】
記憶装置９０６は、コンピューティングデバイス９００に大容量記憶装置を提供することができる。１つの実行においては、記憶装置９０６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置、フラッシュメモリもしくは他の同様の半導体メモリを使用した記憶装置、又は記憶領域ネットワーク又は他のコンフィグレーション内の装置を含むデバイスのアレイなどのコンピュータ読取り可能な媒体であり得るか又はこれらを含み得る。コンピュータプログラム製品は、情報担体中で実体的に具体化することができる。コンピュータプログラム製品は、実施時に、上記のような１つ以上の方法を実行する命令も含み得る。情報担体は、メモリ９０４、記憶装置９０６、又はプロセッサ９０２のメモリなどのコンピュータ又はマシンで読取り可能な媒体である。
【0234】
高速コントローラ９０８は、コンピューティングデバイス９００のための帯域幅消費型動作（bandwidth-intensive operations）を管理し、一方、低速コントローラ９１２は、より低い帯域幅消費型動作を管理する。このような機能の割り当ては例示的なものに過ぎない。１つの実行においては、高速コントローラ９０８は、メモリ９０４、ディスプレイ９１６（例えば、グラフィックプロセッサ又はアクセラレータを介して）、及び様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート９１０に結合される。この実行において、低速コントローラ９１２は、記憶装置９０６及び低速拡張ポート９１４に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、無線イーサネット）を含み得る低速拡張ポートは、例えば、ネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、又はスイッチ又はルータのようなネットワークデバイスなどの１つ以上の入出力デバイスに結合し得る。
【0235】
コンピューティングデバイス９００は、図示するように、多数の異なる形態で実行し得る。例えば、標準サーバ９２０として、又はそのようなサーバのグループ内で複数回実行し得る。ラックサーバシステム９２４の一部としても実行し得る。加えて、それはラップトップコンピュータ９２２等のパーソナルコンピュータにおいて実行し得る。代替的には、コンピューティングデバイス９００からの構成要素は、デバイス９５０のようなモバイルデバイス（図示せず）内の他の構成要素と組み合わせ得る。そのようなデバイスは各々、１つ以上のコンピューティングデバイス９００、９５０を含み得、かつ全体システムを、互いに通信する複数のコンピューティングデバイス９００、９５０から構成してもよい。
【0236】
コンピューティングデバイス９５０は、他の要素の内、プロセッサ９５２、メモリ９６４、ディスプレイ９５４のような入／出力デバイス、通信インターフェース９６６、及びトランシーバ９６８を含む。デバイス９５０はまた、追加の記憶を提供するために、マイクロドライブ又は他のデバイスのような記憶装置を備え得る。各構成要素９５０、９５２、９６４、９５４、９６６、及び９６８は、様々なバスを使用して相互接続され、かついくつかの構成要素は、共通のマザーボードに、又は適宜他の仕方で取り付け得る。
【0237】
プロセッサ９５２は、メモリ９６４に格納された命令を含む、コンピューティングデバイス９５０内の命令を実施できる。プロセッサは、別個のかつ複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実行し得る。プロセッサは、例えば、ユーザーインターフェースの制御、デバイス９５０によるアプリケーション動作、及びデバイス９５０による無線通信のような、デバイス９５０の他の構成要素の調整を提供し得る。
【0238】
プロセッサ９５２は、ディスプレイ９５４に結合されたディスプレイインターフェース９５６及び制御インターフェース９５８を介してユーザと通信し得る。ディスプレイ９５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切なディスプレイ技術であり得る。ディスプレイインターフェース９５６は、グラフィック及び他の情報をユーザに提示するためにディスプレイ９５４を駆動するための適切な回路を含み得る。制御インターフェース９５８は、ユーザからコマンドを受領し、かつプロセッサ９５２に提供するためにそれらを変換し得る。加えて、外部インターフェース９６２は、デバイス９５０と他のデバイスとの近域通信を可能にするために、プロセッサ９５２と通信して提供し得る。外部インターフェース９６２は、例えば、いくつかの実行における有線通信、又は他の実行における無線通信を提供でき、複数のインターフェースもまた使用し得る。
【0239】
メモリ９６４は、コンピューティングデバイス９５０内で情報を記憶する。メモリ９６４は、コンピュータ読取り可能な媒体又はメディア、揮発性メモリユニット（単数又は複数）、又は不揮発性メモリユニット（単数又は複数）のうちの１つ以上として実行できる。拡張メモリ９８４も提供され、かつ例えばＳＩＭＭ（シングルインラインメモリモジュール）カードインタフェースを含み得る、拡張インターフェース９８２を介してデバイス９５０に接続し得る。このような拡張メモリ９８４は、デバイス９５０のための追加の記憶スペースを提供し得、または、デバイス９５０のためのアプリケーション又は他の情報をも記憶し得る。具体的には、拡張メモリ９８４は、上述のプロセスを実行または補足するための命令を含み得、かつ、安全な情報をも含み得る。したがって、例えば、拡張メモリ９８４は、デバイス９５０のセキュリティモジュールとして機能し得、かつデバイス９５０の安全な使用を可能にする命令によってプログラムし得る。加えて、安全なアプリケーションは、ハッキング不可能な方法でＳＩＭＭカードに同定情報を置くなど、追加情報とともにＳＩＭＭカードを介して提供し得る。
【0240】
メモリは、例えば、以下で論じるように、フラッシュメモリ及び／又はＮＶＲＡＭメモリを含み得る。１つの実行において、コンピュータプログラム製品は、情報担体に実体として感知できる状態で埋め込まれている。コンピュータプログラム製品は、実施時に、上述のような１以上の方法を実行する命令を含む。情報担体は、メモリ９６４、拡張メモリ９８４、又は例えばトランシーバ９６８又は外部インターフェース９６２を介して受領し得るプロセッサ９５２のメモリのようなコンピュータ又はマシン読取り可能な媒体である。
【0241】
デバイス９５０は、必要に応じてデジタル信号処理回路を含み得る、通信インターフェース９６６を介して無線で通信し得る。
通信インターフェース９６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、又はＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、又はＧＰＲＳのような、様々なモード又はプロトコルの下での通信を提供し得る。そのような通信は、例えば、無線周波数トランシーバ９６８を介して生じ得る。加えて、短距離通信は、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は他のそのようなトランシーバー（図示せず）を使用するなどで生じ得る。加えて、ＧＰＳ（全地球測位システム）受信モジュール９８０は、デバイス９５０で実行されるアプリケーションによって適宜使用し得る、追加のナビゲーション及び位置関連の無線データをデバイス９５０に提供し得る。
通信インターフェース９６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、又はＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、又はＧＰＲＳのような、様々なモード又はプロトコルの下での通信を提供し得る。そのような通信は、例えば、無線周波数トランシーバ９６８を介して生じ得る。加えて、短距離通信は、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は他のそのようなトランシーバー（図示せず）を使用するなどで生じ得る。加えて、ＧＰＳ（全地球測位システム）受信モジュール９８０は、デバイス９５０で実行されるアプリケーションによって適宜使用し得る、追加のナビゲーション及び位置関連の無線データをデバイス９５０に提供し得る。
【0242】
デバイス９５０は、ユーザから音声情報を受信しそれを使用可能なデジタル情報に変換可能なオーディオコーデック９６０を使用して、可聴的に通信することもできる。オーディオコーデック９６０は、同様に、例えばデバイス９５０の受話器内のスピーカを介するなどして、ユーザのために可聴音を生成し得る。そのような音は、音声電話通話からの音を含み得、録音された音（例えば、音声メッセージ、音楽ファイルなど）を含み得、かつ、デバイス９５０で動作するアプリケーションによって生成された音も含み得る。
【0243】
コンピューティングデバイス９５０は、図に示すように、多数の異なる形態で実行し得る。例えば、携帯電話９８０として実行し得る。スマートフォン９８２、携帯情報端末、又は他の同様のモバイルデバイスの一部としても実行し得る。
【0244】
ここで説明するシステム及び技術の様々な実行は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣｓ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実行は、特殊目的又は汎用のものであって、記憶システム、少なくとも一つの入力デバイス及び少なくとも一つの出力デバイスからデータ及び命令を受領しかつそれらにデータ及び命令を送るよう結合された、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実施可能及び／又は解釈可能な、一つ以上のコンピュータプログラムでの実行を含み得る。
【0245】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られている）は、プログラマブルプロセッサ用のマシン命令を含み、かつ高水準の手続き型及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械語で実行することができる。ここで使用されるように、「マシン読取り可能な媒体」及び「コンピュータ読取り可能な媒体」という用語は、マシン命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置（apparatus）及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、マシン命令をマシン読取り可能な信号として受領するマシン読取り可能な媒体を含む。「マシン読取り可能な信号」という用語は、プログラマブルプロセッサにマシン命令及び／又はデータを提供するために使用する任意の信号を指す。
【0246】
ユーザとの対話を提供するために、ここで説明するシステム及び技術は、ユーザに情報を表示するための表示デバイス（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を行うことができるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）を有するコンピュータで実行することができる。別の種類のデバイスを使用して、ユーザとの対話を提供することもできる、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）とすることができる、また、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形式で受信できる。
【0247】
ここで説明するシステム及び技術は、バックエンドコンポーネント（例えば、データサーバ）を含む、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、又はフロントエンドコンポーネント（例えば、ユーザがここに記載されるシステム及び技術の実行（implementation）とそれを介して対話可能なグラフィカルユーザインターフェース又はウェブブラウザを有するクライアントコンピュータ）、又はそのようなバックエンド、ミドルウェア、又はフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングデバイスにおいて実行することができる。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続可能である。通信ネットワークの例としては、ローカルエリアネットワーク（“ＬＡＮ”）、ワイドエリアネットワーク（“ＷＡＮ”）、及びインターネットが含まれる。
【0248】
コンピューティングデバイスは、クライアント及びサーバを含むことができる。クライアントとサーバは概して互いに離れており、通常は通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータで実行されかつ互いにクライアントとサーバの関係を持つコンピュータプログラムによって生じる。
【0249】
いくつかの実施形態を説明した。それにもかかわらず、本発明の本質及び範囲から逸脱することなく様々な変更をなし得ることが理解されよう。
【0250】
さらに、図に描かれたロジックフローは、望ましい結果を得るために、示されている特定の順序又は連続した順序を必要としない。加えて、他のステップを提供し得、又は記載されたフローからステップを削除し得、記載されたシステムに対して他の構成要素を追加又は除去し得る。したがって、他の実施形態は以下の特許請求の範囲内である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】