(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-13
(45)【発行日】2023-03-22
(54)【発明の名称】工業プロセス施設に対する工業プロセスパフォーマンスを測定するシステム及びコンピュータ実装方法、並びに金融商品に対して測定された目標変数における外れ値偏りを低減するコンピュータ実装方法
(51)【国際特許分類】
G06Q 10/04 20230101AFI20230314BHJP
【FI】
G06Q10/04
【外国語出願】
(21)【出願番号】P 2021183813
(22)【出願日】2021-11-11
(62)【分割の表示】P 2020065773の分割
【原出願日】2014-02-20
【審査請求日】2021-12-13
(32)【優先日】2013-02-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514043230
【氏名又は名称】ハートフォード スチーム ボイラー インスペクション アンド インシュアランス カンパニー
(74)【代理人】
【識別番号】100083806
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100095500
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100111235
【氏名又は名称】原 裕子
(72)【発明者】
【氏名】ジョーンズ、 リチャード ブラッドリー
【審査官】岡北 有平
(56)【参考文献】
【文献】特開2008-166644(JP,A)
【文献】特開2010-250674(JP,A)
【文献】国際公開第2008/126209(WO,A1)
【文献】米国特許出願公開第2005/0131794(US,A1)
【文献】米国特許出願公開第2007/0105238(US,A1)
【文献】米国特許出願公開第2011/0153270(US,A1)
【文献】特開2004-068729(JP,A)
【文献】特開2009-253362(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
工業プロセス施設に対する工業プロセスパフォーマンスを測定するシステムであって、
プロセッサ及び格納サブシステムを含んで少なくとも一つの工業プロセスデータセットを処理するコンピュータユニットと、
処理される前記少なくとも一つの工業プロセスデータセットを入力するための入力ユニットであって、前記工業プロセス施設に対する複数の目標変数のうちの少なくとも一つの目標変数を測定し、かつ、それに対応するデータセットを与える測定装置を含む入力ユニットと、
処理済み工業プロセスデータセットを出力する出力ユニットと、
前記格納サブシステムに格納されたコンピュータプログラムであって、実行されると前記プロセッサに、
前記工業プロセス施設に対する前記少なくとも一つの目標変数を選択するステップと、
前記少なくとも一つの目標変数の実際値の一セットを選択するステップと、
前記工業プロセス施設に対する前記少なくとも一つの目標変数に関連する複数の変数を識別するステップと、
前記工業プロセス施設に対する前記少なくとも一つの工業プロセスデータセットを取得するステップであって、前記少なくとも一つの工業プロセスデータセットは前記複数の変数に対する複数の値を含むステップと、
一の偏り基準を選択するステップと、
複数のモデル係数の一セットを選択するステップと、
(1)前記少なくとも一つの工業プロセスデータセットに対する複数の予測値の一セットを生成するステップと、
(2)前記少なくとも一つの工業プロセスデータセットに対する一の誤差セットを生成するステップと、
(3)前記誤差セット及び前記偏り基準に基づいて複数の誤差しきい値の一セットを生成するステップと、
(4)前記誤差セット及び複数の誤差しきい値の前記一セットに基づいて一の打ち切られたデータセットを生成するステップと、
(5)複数の新モデル係数の一セットを生成するステップと、
(6)複数の新モデル係数の前記一セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ(1)~(5)を繰り返すステップと
を実行させる命令を含むコンピュータプログラムと
を含み、
前記少なくとも一つの目標変数は、前記工業プロセス施設において使用されるか又は前記工業プロセス施設により生産される物質又は成分の少なくとも一つの物理的属性に関連する、システム。
【請求項2】
前記測定装置は一以上のセンサを含む、請求項1に記載のシステム。
【請求項3】
前記一以上のセンサは、前記工業プロセス施設に対して化学物質を検出かつ定量する、請求項2に記載のシステム。
【請求項4】
前記少なくとも一つの目標変数は、前記工業プロセス施設の中の複数の温室効果ガスから選択される少なくとも一つの排出物を含む、請求項1に記載のシステム。
【請求項5】
工業プロセス施設に対する工業プロセスパフォーマンスを測定するコンピュータ実装方法であって、
プロセッサ及び格納サブシステムを含む少なくとも一つのコンピュータユニットが、少なくとも一つの工業プロセスデータセットを処理することと、
少なくとも一つのコンピュータユニットが、処理される前記少なくとも一つの工業プロセスデータセットを少なくとも一つの入力ユニットに入力することであって、前記少なくとも一つの入力ユニットは、前記工業プロセス施設に対する複数の目標変数のうちの少なくとも一つの目標変数を測定し、かつ、それに対応するデータセットを与える測定装置であり、前記少なくとも一つの目標変数は、前記工業プロセス施設において使用されるか又は前記工業プロセス施設により生産される物質又は成分の少なくとも一つの物理的属性に関連することと、
少なくとも一つの出力ユニットが、処理済み工業プロセスデータセットを出力することと、
少なくとも一つのコンピューティングユニットが、少なくとも一つのコンピュータプログラムを格納サブシステムの中に格納することであって、
前記少なくとも一つのコンピュータプログラムは、実行されると前記プロセッサに、
前記工業プロセス施設に対する前記少なくとも一つの目標変数を選択するステップと、
前記少なくとも一つの目標変数の実際値の一セットを選択するステップと、
前記工業プロセス施設に対する前記少なくとも一つの目標変数に関連する複数の変数を識別するステップと、
前記工業プロセス施設に対する前記少なくとも一つの工業プロセス一のデータセットを取得するステップであって、前記少なくとも一つの工業プロセスデータセットは前記複数の変数に対する複数の値を含むステップと、
一の偏り基準を選択するステップと、
複数のモデル係数の一セットを選択するステップと、
(1)前記少なくとも一つの工業プロセスデータセットに対する複数の予測値の一セットを生成するステップと、
(2)前記少なくとも一つの工業プロセスデータセットに対する一の誤差セットを生成するステップと、
(3)前記誤差セット及び前記偏り基準に基づいて複数の誤差しきい値の一セットを生成するステップと、
(4)前記誤差セット及び複数の誤差しきい値の前記一セットに基づいて一の打ち切られたデータセットを生成するステップと、
(5)複数の新モデル係数の一セットを生成するステップと、
(6)複数の新モデル係数の前記一セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ(1)~(5)を繰り返すステップと
を実行させる命令を含むことと
を含む、コンピュータ実装方法。
【請求項6】
前記測定装置は一以上のセンサを含む、請求項5に記載のコンピュータ実装方法。
【請求項7】
前記一以上のセンサは、前記工業プロセス施設に対して化学物質を検出かつ定量する、請求項6に記載のコンピュータ実装方法。
【請求項8】
金融商品に対して測定された目標変数における外れ値偏りを低減する
コンピュータ実装方法であって、
前記金融商品に対して測定された目標変数における外れ値偏りを低減することは、
少なくとも一つのコンピュータユニットが一のデータセットを処理することであって、前記
少なくとも一つのコンピュータユニットはプロセッサ及び格納サブシステムを含むことと、
出力ユニットが一の処理済みデータセットを出力することと、
前記少なくとも一つのコンピュータユニットが
、少なくとも一つのコンピュータプログラムを
前記格納サブシステムの中に格納することと
を含み、
前記少なくとも一つのコンピュータプログラムは、実行されると前記プロセッサに、
前記金融商品に対する一の目標変数を選択するステップと、
前記一の目標変数の実際値の一セットを選択するステップと、
前記一の目標変数に関連する前記金融商品に対する複数の変数を識別するステップと、
前記金融商品に対する一のデータセットを取得するステップであって、前記データセットは前記複数の変数に対する複数の値を含むステップと、
一の偏り基準を選択するステップと、
複数のモデル係数の一セットを選択するステップと、
(1)前記データセットに対する複数の予測値の一セットを生成するステップと、
(2)前記データセットに対する一の誤差セットを生成するステップと、
(3)前記誤差セット及び前記偏り基準に基づいて複数の誤差しきい値の一セットを生成するステップと、
(4)前記誤差セット及び複数の誤差しきい値の前記一セットに基づいて一の打ち切られたデータセットを生成するステップと、
(5)複数の新モデル係数の一セットを生成するステップと、
(6)複数の新モデル係数の前記一セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ(1)~(5)を繰り返すステップと
を実行させる命令を含む
、コンピュータ実装方法。
【請求項9】
前記金融商品は普通株式であり、
前記一の目標変数は前記普通株式の価格である、請求項8に記載のコンピュータ実装方法。
【請求項10】
前記金融商品に対する前記複数の変数は、前記一の目標変数に関連し、かつ、配当金、利益剰余金、キャッシュフロー、一株当たりの利益、株価収益率及び成長率の少なくとも一つを含む、請求項8に記載のコンピュータ実装方法。
【請求項11】
前記少なくとも一つの目標変数は、前記工業プロセス施設の中の複数の温室効果ガスから選択される少なくとも一つの排出物を含む、請求項5に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外れ値成分が分析展開から除去される(又はフィルタリングされる)データ
分析に関する。分析は、単純な統計の計算、又は、展開においてデータを使用する数学モ
デルを伴う複雑な操作に関する。外れ値データのフィルタリングは、データ品質及びデー
タ認証の操作を目的とし、又は、代表的な標準、統計、後の分析に適用されるデータ群、
回帰分析、時系列分析、若しくは数学モデル展開のための適格なデータを計算することを
目的とする。
【0002】
関連出願の相互参照
本一部継続特許出願は、2011年8月19日に出願された「Dynamic Outlier Bias R
eduction System and Method」という名称の米国仮特許出願第13/213,780号の
優先権を主張する。これは、その全体が参照として本明細書に組み入れられる。
【背景技術】
【0003】
基準において又はデータ主導モデル展開において外れ値データを除去することは、基礎
となるデータから代表的かつ公正な分析を展開することを保証する予備分析作業の重要な
一部をなす。例えば、二酸化炭素(CO2)、オゾン(O3)、水蒸気(H2O)、ハイ
ドロフルオロカーボン(HFC)、パーフルオロカーボン(PFC)、クロロフルオロカ
ーボン(CFC)、六フッ化硫黄(SF6)、メタン(CH4)、亜酸化窒素(N2O)
、一酸化炭素(CO)、窒素酸化物(NOx)及び非メタン揮発性有機化合物(NMVO
C)の排出に対する温室効果ガス基準の公正なベンチマークを展開するには、基準展開で
使用される収集工業データが所定の特性を示すことが必要となる。少数の工業地帯による
極端に良い又は悪いパフォーマンスが、他の工業地帯に対して計算される基準に偏りを与
えるべきではない。かかるパフォーマンス結果が基準計算に含まれることは、不公正又は
非代表的と判断される。過去においてパフォーマンス外れ値は、主観的入力を必要とする
半定量的プロセスを介して除去されていた。現行のシステム及び方法は、データ主導型ア
プローチである。これは、当該タスクを、予備分析又は予備的モデル展開段階においてで
はなく、モデル展開の一体的部分として行う。
【0004】
偏りの除去は、データ変更を立証するべく正当化理由が所定形式で文書化される主観的
プロセスとなり得る。しかしながら、外れ値除去の形式はいずれも、計算結果を変更する
可能性を伴うデータ打ち切りの形式である。かかるデータフィルタリングは、計算におけ
る偏り又は誤差を低減するかもしれないししないかもしれず、完全な分析開示の趣旨では
、外れ値を除去するための厳格なデータ除去の指針及び文書が、分析結果に含まれる必要
がある。したがって、当業界には、データ品質操作、データ認証、統計計算又は数学モデ
ル展開等にとって有用な動的な統計プロセスを使用して、外れ値データ偏りを客観的に除
去する新たなシステム及び方法を与える必要性がある。外れ値偏り除去のシステム及び方
法はまた、データを代表カテゴリに分類するべく使用することもできる。この場合、デー
タは、各群にカスタマイズされた数学モデルの展開に適用される。好ましい実施形態にお
いて、数学モデルの乗法的及び加法的因子として、及びさらに他の、本質的に非線形の数
値パラメータとして係数が定義される。例えば、f(x,y,z)=a*x+b*yc+
d*sin(ez)+fとの数学モデルにおいて、a、b、c、d、e及びfはすべて係
数として定義される。これらの項の値は、固定されるか又は数学モデルの展開の一部とな
る。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第2007/117233(A1)号パンフレット
【発明の概要】
【0006】
好ましい実施形態は、外れ値偏りを低減するコンピュータ実装方法であって以下のステ
ップを含む。すなわち、一の偏り基準を選択するステップ、一のデータセットを与えるス
テップ、複数のモデル係数の一セットを与えるステップ、複数の目標値の一セットを選択
するステップ、(1)完成した当該データセットに対して複数の予測値の一セットを生成
するステップ、(2)当該データセットに対して一の誤差セットを生成するステップ、(
3)当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一セットを生成す
るステップ、(4)当該誤差セット及び複数の誤差しきい値の当該セットに基づいてプロ
セッサが一の打ち切られたデータセットを生成するステップ、(5)当該プロセッサが複
数の新モデル係数の一セットを生成するステップ、並びに(6)複数の新モデル係数の当
該セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ(1
)~(5)を繰り返すステップである。好ましい実施形態において、複数の予測値の当該
セットは、当該データセット及び複数のモデル係数の当該セットに基づいて生成される。
好ましい実施形態において、当該誤差セットは、複数の予測値の当該セット及び複数の目
標値の当該セットに基づいて生成された複数の絶対誤差の一セット及び複数の相対誤差の
一セットを含む。他の実施形態において、当該誤差セットは、複数の予測値の当該セット
と複数の目標値の当該セットとの差分として計算された複数の値を含む。他の実施形態に
おいて、複数の新係数の当該セットを生成するステップはさらに、線形又は非線形の最適
化モデルを使用して達成することができる複数の予測値の当該セットと複数の実際値の当
該セットとの間の複数の誤差の当該セットを最小化するステップを含む。好ましい実施形
態において、当該打ち切りパフォーマンス終了基準は、一の標準誤差及び一の決定係数に
基づく。
【0007】
他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下
のステップを含む。すなわち、一の誤差基準を選択するステップ、一のデータセットを選
択するステップ、複数の実際値の一セットを選択するステップ、複数のモデル係数の一の
初期セットを選択するステップ、完成した当該データセット及び複数のモデル係数の当該
初期セットに基づいて複数のモデル予測値の一セットを生成するステップ、(1)完成し
た当該データセットに対する当該モデル予測値及び複数の実際値の当該セットに基づいて
複数の誤差の一セットを生成するステップ、(2)完成した当該データセットに対する複
数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セッ
トを生成するステップ、(3)一の外れ値除去済みデータセットを生成するステップであ
って、そのフィルタリングは完成した当該データセット及び複数の誤差しきい値の当該セ
ットに基づくステップ、(4)当該フィルタリングされたデータセット及び複数の旧係数
の当該セットに基づいて複数の新係数の一セットを生成するステップであって、複数の新
係数の当該セットの生成はコンピュータプロセッサによって行われるステップ、(5)当
該フィルタリングされたデータセット及び複数の新モデル係数の当該セットに基づいて複
数の外れ値偏り低減済みモデル予測値の一セットを生成するステップであって、複数の外
れ値偏り低減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行
われるステップ、(6)当該モデル予測値及び複数の実際値の当該セットに基づいて複数
のモデルパフォーマンス値の一セットを生成するステップ、先の反復からの複数の係数の
当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了
基準が満たされるまでステップ(1)~(6)を繰り返すステップ、並びに複数のモデル
予測値の当該セットをコンピュータデータ媒体に格納するステップである。
【0008】
他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下
のステップを含む。すなわち、施設に対する一の目標変数を選択するステップ、当該目標
変数の複数の実際値の一セットを選択するステップ、当該目標変数に関連する当該施設に
対する複数の変数を識別するステップ、当該施設に対する一のデータセットを取得するス
テップであって当該データセットは当該複数の変数に対する複数の値を含むステップ、一
の偏り基準を選択するステップ、複数のモデル係数の一セットを選択するステップ、(1
)完成した当該データセット及び複数のモデル係数の当該セットに基づいて複数の予測値
の一セットを生成するステップ、(2)複数の予測値の当該セット及び複数の実際値の当
該セットに基づいて複数の打ち切りモデルパフォーマンス値の一セットを生成するステッ
プ、(3)当該目標変数に対する複数の予測値の当該セット及び複数の実際値の当該セッ
トに基づいて一の誤差セットを生成するステップ、(4)当該誤差セット及び当該偏り基
準に基づいて複数の誤差しきい値の一セットを生成するステップ、(5)当該データセッ
ト及び複数の誤差しきい値の当該セットに基づいてプロセッサが一の打ち切られたデータ
セットを生成するステップ、(6)当該打ち切られたデータセット及び複数のモデル係数
の当該セットに基づいて当該プロセッサが複数の新モデル係数の一セットを生成するステ
ップ、(7)当該データセット及び複数の新モデル係数の当該セットに基づいて当該プロ
セッサが複数の新予測値の一セットを生成するステップ、(8)複数の新予測値の当該セ
ット及び複数の実際値の当該セットに基づいて複数の新打ち切りモデルパフォーマンス値
の一セットを生成するステップ、複数の新係数の当該セットを使用して一の打ち切りパフ
ォーマンス終了基準が満たされるまでステップ(1)~(8)を繰り返すステップ、並び
に複数の新モデル予測値の当該セットをコンピュータデータ媒体に格納するステップであ
る。
【0009】
他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下
のステップを含む。すなわち、施設に対する一の目標変数を決定するステップであって当
該目標変数は工業施設に対するその製造、金融パフォーマンス又は排出に関連する測定基
準であるステップ、当該施設に対する複数の変数を識別するステップであって、当該複数
の変数は、当該目標変数に影響する当該施設に対する複数の直接的変数と、それぞれが当
該目標変数に影響する少なくとも一つの直接的施設変数の関数である当該施設に対する複
数の変換された変数の一セットとであるステップ、一の絶対誤差及び一の相対誤差を含む
一の誤差基準を選択するステップ、当該施設に対する一のデータセットを取得するステッ
プであって当該データセットは当該複数の変数に対する複数の値を含むステップ、当該目
標変数の複数の実際値の一セットを選択するステップ、複数のモデル係数の一の初期セッ
トを選択するステップ、完成した当該データセット及び複数のモデル係数の当該初期セッ
トに基づいて複数のモデル予測値の一セットを生成するステップ、複数のモデル予測値の
当該完成したセット及び複数の実際値の当該セットに基づいて複数の誤差の完成した一セ
ットを生成するステップであって、相対誤差が式:相対誤差m=((予測値m-実際値m
)/実際値m)2(「m」は参照番号)を使用して計算され、かつ、絶対誤差が式:絶対
誤差m=(予測値m-実際値m)2を使用して計算されるステップ、複数のモデル予測値
の当該セット及び複数の実際値の当該セットに基づいて複数のモデルパフォーマンス値の
一セットを生成するステップであって全体的な複数のモデルパフォーマンス値の当該セッ
トは第1標準誤差及び第1決定係数を含むステップ、(1)完成した当該データセットに
対する当該モデル予測値及び複数の実際値の当該セットに基づいて複数の誤差の一セット
を生成するステップ、(2)複数の誤差の完成した当該セット及び完成した当該データセ
ットに対する当該誤差基準に基づいて複数の誤差しきい値の一セットを生成するステップ
、(3)当該誤差しきい値以上の誤差値を有するデータを除去することによって一の外れ
値除去済みデータセットを生成するステップであってそのフィルタリングは完成した当該
データセット及び複数の誤差しきい値の当該セットに基づくステップ、(4)一の線形最
適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の当該
セットと複数の実際値の当該セットとの間の誤差を最小化することにより、当該外れ値除
去済みデータセット及び複数のモデル係数の当該セットに基づいて複数の外れ値偏り低減
済みモデル予測値の一セットを生成するステップであって新しい当該モデル予測値の生成
はコンピュータプロセッサによって行われるステップ、(5)当該外れ値除去済みデータ
セット及び複数の係数の旧セットに基づいて複数の新係数の一セットを生成するステップ
であって複数の新係数の当該セットの生成は当該コンピュータプロセッサによって行われ
るステップ、(6)複数の新予測モデル値の当該セット及び複数の実際値の当該セットに
基づいて全体的な複数のモデルパフォーマンス値の一セットを生成するステップであって
複数のモデルパフォーマンス値の当該セットは第2標準誤差及び第2決定係数を含むステ
ップ、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使
用しながら一のパフォーマンス終了基準が満たされるまでステップ(1)~(6)を繰り
返すステップであって、当該パフォーマンス終了基準は一の標準誤差終了値及び一の決定
係数終了値を含み、かつ、当該パフォーマンス終了基準を満たすことは当該標準誤差終了
値が当該第1及び第2標準誤差間の差分よりも大きくかつ当該決定係数終了値が当該第1
及び第2決定係数間の差分よりも大きいことを含むステップ、並びに複数の新モデル予測
値の当該セットをコンピュータデータ媒体に格納するステップである。
【0010】
他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下
のステップを含む。すなわち、一の誤差基準を選択するステップ、一のデータセットを選
択するステップ、複数の実際値の一セットを選択するステップ、複数のモデル予測値の一
の初期セットを選択するステップ、複数のモデル予測値の当該セット及び複数の実際値の
当該セットに基づいて複数の誤差の一セットを決定するステップ、(1)複数の誤差の完
成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを決定する
ステップ、(2)一の外れ値除去済みデータセットを生成するステップであってそのフィ
ルタリングは当該データセット及び複数の誤差しきい値の当該セットに基づくステップ、
(3)当該外れ値除去済みデータセット及び複数の旧モデル予測値に基づいて複数の外れ
値偏り低減済みモデル予測値の一セットを生成するステップであって複数の外れ値偏り低
減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行われるステ
ップ、(4)複数の新モデル予測値の当該セット及び複数の実際値の当該セットに基づい
て複数の誤差の一セットを決定するステップ、先の反復からの複数のモデル予測値の当該
セットの代わりに複数の新モデル予測値を使用しながら一のパフォーマンス終了基準が満
たされるまでステップ(1)~(4)を繰り返すステップ、並びに複数の外れ値偏り低減
済みモデル予測値の当該セットをコンピュータデータ媒体に格納するステップである。
【0011】
他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下
のステップを含む。すなわち、施設に対する一の目標変数を決定するステップ、当該施設
に対する複数の変数を識別するステップであって、当該複数の変数は、当該目標変数に影
響する当該施設に対する複数の直接的変数と、それぞれが当該目標変数に影響する少なく
とも一つの直接的施設変数の関数である当該施設に対する複数の変換された変数の一セッ
トとであるステップ、一の絶対誤差及び一の相対誤差を含む一の誤差基準を選択するステ
ップ、当該複数の変数に対する複数の値を含む一のデータセットを取得するステップ、当
該目標変数の複数の実際値の一セットを選択するステップ、複数のモデル係数の一の初期
セットを選択するステップ、複数のモデル係数の一セットを当該データセットに適用する
ことによって複数のモデル予測値の一セットを生成するステップ、複数のモデル予測値の
当該セット及び複数の実際値の当該セットに基づいて複数のパフォーマンス値の一セット
を決定するステップであって複数のパフォーマンス値の当該セットは第1標準誤差及び第
1決定係数を含むステップ、(1)複数のモデル予測値の当該セット及び完成した当該デ
ータセットに対する複数の実際値の当該セットに基づいて複数の誤差の一セットを生成す
るステップであって相対誤差が式:相対誤差m=((予測値m-実際値m)/実際値m)
2(「m」は参照番号)を使用して計算され、かつ、絶対誤差が式:絶対誤差m=(予測
値m-実際値m)2)を使用して計算されるステップ、(2)完成した当該データセット
に対する複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい
値の一セットを生成するステップ、(3)複数の誤差しきい値の当該セット以上の複数の
誤差値を有するデータを除去することによって、一の外れ値除去済みデータセットを生成
するステップであってそのフィルタリングは当該データセット及び複数の誤差しきい値の
当該セットに基づくステップ、(4)当該外れ値除去済みデータセット及び複数の旧係数
の当該セットに基づいて複数の新係数の一セットを生成するステップ、(5)一の線形最
適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の当該
セットと複数の実際値の当該セットとの間の誤差を最小化することにより、当該外れ値除
去済みデータセット及び複数の新モデル係数の当該セットに基づいて複数の外れ値偏り低
減済みモデル予測値の一セットを生成するステップであって当該モデル予測値の生成はコ
ンピュータプロセッサによって行われるステップ、(6)複数の外れ値偏り低減済みモデ
ル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の更新済みパフォー
マンス値の一セットを生成するステップであって当該更新済みパフォーマンス値の当該セ
ットは第2標準誤差及び第2決定係数を含むステップ、先の反復からの複数の係数の当該
セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準
が満たされるまでステップ(1)~(6)を繰り返すステップであって、当該パフォーマ
ンス終了基準は一の標準誤差終了値及び一の決定係数終了値を含み、かつ、当該パフォー
マンス終了基準を満たすことは当該標準誤差終了値が当該第1及び第2標準誤差間の差分
よりも大きくかつ当該決定係数終了値が当該第1及び第2決定係数間の差分よりも大きい
ことを含むステップ、並びに複数の外れ値偏り低減因子の当該セットをコンピュータデー
タ媒体に格納するステップである。
【0012】
他の実施形態は、一のモデルを展開するときに使用される一のデータセットの実現性を
評価するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、複
数のデータ値を含む一の目標データセットを与えるステップ、当該目標データセットに基
づいて一のランダム目標データセットを生成するステップ、複数の偏り基準値の一セット
を選択するステップ、当該データセット及び選択された各偏り基準値に基づいてプロセッ
サが一の外れ値偏り低減済み目標データセットを生成するステップ、ランダムな当該デー
タセット及び選択された各偏り基準値に基づいて当該プロセッサが一の外れ値偏り低減済
みランダムデータセットを生成するステップ、当該外れ値偏り低減済みデータセット及び
当該外れ値偏り低減済みランダムデータセットに対して複数の誤差値の一セットを計算す
るステップ、当該外れ値偏り低減済みデータセット及び当該外れ値偏り低減済みランダム
データセットに対して複数の相関係数の一セットを計算するステップ、選択された当該複
数の偏り基準値と対応する誤差値及び相関係数とに基づいて当該データセット及び当該ラ
ンダムデータセットに対する複数の偏り基準曲線を生成するステップ、並びに当該データ
セットに対する当該偏り基準曲線と当該ランダムデータセットに対する当該偏り基準曲線
とを対比するステップである。当該外れ値偏り低減済み目標データセット及び当該外れ値
偏り低減済みランダム目標データセットは、動的外れ値偏り除去法を使用して生成される
。当該ランダム目標データセットは、当該複数のデータ値の範囲内にある複数の値から展
開された複数の任意抽出データ値からなり得る。また、複数の誤差値の当該セットは複数
の標準誤差の一セットを含み得る。ここで、複数の相関係数の当該セットは複数の決定係
数値の一セットを含む。他の実施形態はさらに、当該目標データセットに対する当該偏り
基準曲線と当該ランダム目標データセットに対する当該偏り基準曲線との対比に基づいて
、展開された当該モデルをサポートする当該目標データセットの実現性及びその逆に関す
る自動化されたアドバイスを生成するステップを含む。アドバイスは、相関係数しきい値
及び/又は誤差しきい値のような、分析者によって選択されたパラメータに基づいて生成
することができる。さらに他の実施形態はさらに以下のステップを含む。すなわち、当該
モデル予測値に対応する複数の実際データ値を含む一の実際データセットを与えるステッ
プ、当該実際データセットに基づいて一のランダム実際データセットを生成するステップ
、当該実際データセット及び選択された各偏り基準値に基づいてプロセッサが一の外れ値
偏り低減済み実際データセットを生成するステップ、当該ランダム実際データセット及び
選択された各偏り基準値に基づいて当該プロセッサが一の外れ値偏り低減済みランダム実
際データセットを生成するステップ、選択された各偏り基準に対し当該外れ値偏り低減済
みランダム目標データセット及び当該外れ値偏り低減済みランダム実際データに基づいて
一のランダムデータプロットを生成するステップ、選択された各偏り基準に対し当該外れ
値偏り低減済み目標データセット及び当該外れ値偏り低減済み実際目標データセットに基
づいて一の現実的データプロットを生成するステップ、並びに当該ランダムデータプロッ
トと選択された各偏り基準に対応する当該現実的データプロットとを対比するステップで
ある。
【0013】
好ましい実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデータセ
ットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブ
システムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コ
ンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を
含む。すなわち、一の偏り基準を選択すること、複数のモデル係数の一セットを与えるこ
と、複数の目標値の一セットを選択すること、(1)当該データセットに対する複数の予
測値の一セットを生成すること、(2)当該データセットに対する一の誤差セットを生成
すること、(3)当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一の
セットを生成すること、(4)当該誤差セット及び複数の誤差しきい値の当該セットに基
づいて一の打ち切られたデータセットを生成すること、(5)複数の新モデル係数の一セ
ットを生成すること、並びに(6)複数の新モデル係数の当該セットを使用して一の打ち
切りパフォーマンス終了基準が満たされるまでステップ(1)~(5)を繰り返すことで
ある。好ましい実施形態において、複数の予測値の当該セットは、当該データセット及び
複数のモデル係数の当該セットに基づいて生成される。好ましい実施形態において、当該
誤差セットは、複数予測値の当該セット及び複数目標値の当該セットに基づいて生成され
た複数の絶対誤差の一セット及び複数の相対誤差の一セットを含む。他の実施形態におい
て、当該誤差セットは、複数の予測値の当該セットと複数の目標値の当該セットとの差分
として計算された値を含む。他の実施形態において、複数の新係数の当該セットを生成す
るステップはさらに、複数の予測値の当該セットと複数の実際値の当該セットとの間の複
数の誤差の当該セットを最小化するステップを含む。これは、線形又は非線形最適化モデ
ルを使用して達成することができる。好ましい実施形態において、当該打ち切りパフォー
マンス終了基準は、一の標準誤差及び一の決定係数に基づく。
【0014】
本発明の他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデー
タセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納
サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当
該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命
令を含む。すなわち、一の誤差基準を選択すること、複数の実際値の一セットを選択する
こと、複数の係数の一の初期セットを選択すること、当該データセット及び複数の係数の
当該初期セットから複数のモデル予測値の一の完成したセットを生成すること、(1)完
成した当該データセットに対する当該モデル予測値及び複数の実際値の当該セットに基づ
いて複数の誤差の一セットを生成すること、(2)完成した当該データセットに対する複
数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セッ
トを生成すること、(3)一の外れ値除去済みデータセットを生成することであってその
フィルタリングは完成した当該データセット及び複数の誤差しきい値の当該セットに基づ
くこと、(4)当該外れ値除去済みデータセット及び複数の係数の当該セットに基づいて
複数の外れ値偏り低減済みモデル予測値の一セットを生成することであって、複数の外れ
値偏り低減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行わ
れること、(5)当該外れ値除去済みデータセット及び複数の旧係数の当該セットに基づ
いて複数の新係数の一セットを生成することであって複数の新係数の当該セットの生成は
当該コンピュータプロセッサによって行われること、(6)当該外れ値偏り低減済みモデ
ル予測値及び複数の実際値の当該セットに基づいて複数のモデルパフォーマンス値の一セ
ットを生成すること、先の反復からの複数の係数の当該セットの代わりに複数の新係数の
当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ(1)
~(6)を繰り返すこと、並びに全体的な複数の外れ値偏り低減モデル予測値の一セット
をコンピュータデータ媒体に格納することである。
【0015】
さらに他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、当該格納サ
ブシステムによって格納されるデータベースであって施設に対する一の目標変数、当該目
標変数の複数の実際値の一セット、当該目標変数に関連する当該施設に対する複数の変数
、当該複数の変数に対する複数の値を含む当該施設に対する一のデータセットを含むデー
タベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備え
るシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下
のことを引き起こす命令を含む。すなわち、一の偏り基準を選択すること、複数のモデル
係数の一セットを選択すること、(1)当該データセット及び複数のモデル係数の当該セ
ットに基づいて複数の予測値の一セットを生成すること、(2)複数の予測値の当該セッ
ト及び複数の実際値の当該セットに基づいて複数の打ち切りモデルパフォーマンス値の一
セットを生成すること、(3)当該目標変数に対する複数の予測値の当該セット及び複数
の実際値の当該セットに基づいて一の誤差セットを生成すること、(4)当該誤差セット
及び当該偏り基準に基づいて複数の誤差しきい値の一セットを生成すること、(5)当該
データセット及び複数の誤差しきい値の当該セットに基づいて一の打ち切られたデータセ
ットを生成すること、(6)当該打ち切られたデータセット及び複数のモデル係数の当該
セットに基づいて複数の新モデル係数の一セットを生成すること、(7)当該データセッ
ト及び複数の新モデル係数の当該セットに基づいて複数の新予測値の一セットを生成する
こと、(8)複数の新予測値の当該セット及び複数の実際値の当該セットに基づいて複数
の新打ち切りモデルパフォーマンス値の一セットを生成すること、複数の新係数の当該セ
ットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ(1)~
(8)を繰り返すこと、並びに複数の新モデル予測値の当該セットを当該格納サブシステ
ムに格納することである。
【0016】
他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、施設に対する一の
データセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該
格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む
。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こ
す命令を含む。すなわち、一の目標変数を決定すること、複数の変数を識別することであ
って当該複数の変数は、当該目標変数に影響する当該施設に対する複数の直接的変数と、
それぞれが当該目標変数に影響する少なくとも一つの直接的変数の関数である当該施設に
対する複数の変換された変数の一セットとであること、一の絶対誤差及び一の相対誤差を
含む一の誤差基準を選択すること、当該目標変数の複数の実際値の一セットを選択するこ
と、複数の係数の一の初期セットを選択すること、当該データセット及び複数の係数の当
該初期セットから複数のモデル予測値の一セットを生成すること、複数のモデル予測値の
当該セット及び複数の実際値の当該セットに基づいて複数の誤差の一セットを決定するこ
とであって、相対誤差が式:相対誤差m=((予測値m-実際値m)/実際値m)2(「
m」は参照番号)を使用して計算され、かつ、絶対誤差が式:絶対誤差m=(予測値m-
実際値m)2を使用して計算されること、複数のモデル予測値の当該セット及び複数の実
際値の当該セットに基づいて複数のパフォーマンス値の一セットを決定することであって
複数のパフォーマンス値の当該セットは第1標準誤差及び第1決定係数を含むこと、(1
)当該モデル予測値及び複数の実際値の当該セットに基づいて複数の誤差の一セットを生
成すること、(2)完成した当該データセットに対する複数の誤差の完成した当該セット
及び当該誤差基準に基づいて複数の誤差しきい値の一セットを生成すること、(3)複数
の誤差しきい値の当該セットの外にある複数の誤差値を有するデータをフィルタリングす
ることによって、一の外れ値除去済みデータセットを生成することであってそのフィルタ
リングは当該データセット及び複数の誤差しきい値の当該セットに基づくこと、(4)一
の線形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測
値の当該セットと複数の実際値の当該セットとの間の一の誤差を最小化することにより、
当該外れ値除去済みデータセット及び複数の係数の当該セットに基づいて複数の新モデル
予測値の一セットを生成することであって当該外れ値偏り低減済みモデル予測値の生成は
コンピュータプロセッサによって行われること、(5)当該外れ値除去済みデータセット
及び複数の旧係数の当該セットに基づいて複数の新係数の一セットを生成することであっ
て複数の新係数の当該セットの生成は当該コンピュータプロセッサによって行われること
、(6)複数の新モデル予測値の当該セット及び複数の実際値の当該セットに基づいて複
数のパフォーマンス値の一セットを生成することであって複数のモデルパフォーマンス値
の当該セットは第2標準誤差及び第2決定係数を含むこと、先の反復からの複数の係数の
当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了
基準が満たされるまでステップ(1)~(6)を繰り返すことであって、当該パフォーマ
ンス終了基準は一の標準誤差終了値及び一の決定係数を含み、かつ、当該パフォーマンス
終了基準を満たすことは当該標準誤差終了値が当該第1及び第2標準誤差間の差分よりも
大きくかつ当該決定係数終了値が当該第1及び第2決定係数間の差分よりも大きいことを
含むこと、並びに複数の新モデル予測値の当該セットをコンピュータデータ媒体に格納す
ることである。
【0017】
本発明の他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデー
タセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納
サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当
該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命
令を含む。すなわち、一の誤差基準を選択すること、一のデータセットを選択すること、
複数の実際値の一セットを選択すること、複数のモデル予測値の一の初期セットを選択す
ること、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数
の誤差の一セットを決定すること、(1)複数の誤差の完成した当該セット及び当該誤差
基準に基づいて複数の誤差しきい値の一セットを決定すること、(2)一の外れ値除去済
みデータセットを生成するステップであってそのフィルタリングは当該データセット及び
複数の誤差しきい値の当該セットに基づくこと、(3)当該外れ値除去済みデータセット
及び複数のモデル予測値の完成した当該セットに基づいて複数の外れ値偏り低減済みモデ
ル予測値の一セットを生成することであって複数の外れ値偏り低減済みモデル予測値の当
該セットの生成はコンピュータプロセッサによって行われること、(4)複数の外れ値偏
り低減モデル予測値の当該セット及び複数の実際値の対応するセットに基づいて複数の誤
差の一セットを決定すること、複数のモデル予測値の当該セットの代わりに複数の外れ値
偏り低減モデル予測値の当該セットを使用しながら一のパフォーマンス終了基準が満たさ
れるまでステップ(1)~(4)を繰り返すこと、並びに複数の外れ値偏り低減因子の当
該セットをコンピュータデータ媒体に格納することである。
【0018】
本発明の他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデー
タセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納
サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当
該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命
令を含む。すなわち、一の目標変数を決定すること、当該施設に対する複数の変数を識別
することであって、当該複数の変数は、当該目標変数に影響する当該施設に対する複数の
直接的変数と、それぞれが当該目標変数に影響する少なくとも一つの主要施設変数の関数
である当該施設に対する複数の変換された変数の一セットとであること、一の絶対誤差及
び一の相対誤差を含む一の誤差基準を選択すること、当該複数の変数に対する複数の値を
含む一のデータセットを取得して当該目標変数の複数の実際値の一セットを選択すること
、複数の係数の一の初期セットを選択すること、複数のモデル係数の当該セットを当該デ
ータセットに適用することによって複数のモデル予測値の一セットを生成すること、複数
のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数のパフォーマ
ンス値の一セットを決定することであって複数のパフォーマンス値の当該セットは第1標
準誤差及び第1決定係数を含むこと、(1)複数のモデル予測値の当該セット及び複数の
実際値の当該セットに基づいて複数の誤差の一セットを決定することであって、相対誤差
が式:相対誤差k=((予測値k-実際値k)/実際値k)2(「k」は参照番号)を使
用して計算され、かつ、絶対誤差が式:絶対誤差k=(予測値k-実際値k)2を使用し
て計算されること、(2)完成した当該データセットに対する複数の誤差の当該セット及
び当該誤差基準に基づいて複数の誤差しきい値の一セットを決定すること、(3)当該誤
差しきい値以上の誤差値を有するデータを除去することによって、一の外れ値除去済みデ
ータセットを生成することであってそのフィルタリングは当該データセット及び複数の誤
差しきい値の当該セットに基づくこと、(4)当該外れ値除去済みデータセット及び複数
の旧係数の当該セットに基づいて複数の新係数の一セットを生成すること、(5)一の線
形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の
当該セットと複数の実際値の当該セットとの間の一の誤差を最小化することと当該外れ値
除去済みデータセット及び複数の係数の当該セットとに基づいて複数の外れ値偏り低減済
みモデル予測値の一セットを生成すること、(5)複数の外れ値偏り低減済みモデル予測
値の当該セット及び複数の実際値の当該セットに基づいて複数の更新済みパフォーマンス
値の一セットを生成することであって当該更新済みパフォーマンス値の当該セットは第2
標準誤差及び第2決定係数を含むこと、先の反復からの複数の係数の当該セットの代わり
に複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるま
でステップ(1)~(5)を繰り返すことであって、当該パフォーマンス終了基準は一の
標準誤差終了値及び一の決定係数終了値を含み、かつ、当該パフォーマンス終了基準を満
たすことは当該標準誤差終了値が当該第1及び第2標準誤差間の差分よりも大きくかつ当
該決定係数終了値が当該第1及び第2決定係数間の差分よりも大きいことを含むこと、並
びに複数の外れ値偏り低減因子の当該セットをコンピュータデータ媒体に格納することで
ある。
【0019】
さらに他の実施形態は、一のモデルを展開するときに使用される一のデータセットの実
現性を評価するシステムを含む。当該システムは、プロセッサ及び格納サブシステムを含
むサーバと、複数のモデル予測値を含む一の目標データセットを含みかつ当該格納サブシ
ステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコ
ンピュータプログラムとを含む。当該コンピュータプログラムは、実行されると当該プロ
セッサに以下のことを引き起こす命令を含む。すなわち、一のランダム目標データセット
を生成すること、複数の偏り基準値の一セットを選択すること、当該目標データセット及
び選択された各偏り基準値に基づいて複数の外れ値偏り低減済みデータセットを生成する
こと、当該ランダム目標データセット及び選択された各偏り基準値に基づいて一の外れ値
偏り低減済みランダム目標データセットを生成すること、当該外れ値偏り低減済み目標デ
ータセット及び当該外れ値偏り低減済みランダム目標データセットに対する複数の誤差値
の一セットを計算すること、当該外れ値偏り低減済み目標データセット及び当該外れ値偏
り低減済みランダム目標データセットに対する複数の相関係数の一セットを計算すること
、選択された各偏り基準に対する対応する誤差値及び相関係数に基づいて当該目標データ
セット及び当該ランダム目標データセットに対する複数の偏り基準曲線を生成すること、
並びに当該目標データセットに対する当該偏り基準曲線と当該ランダム目標データセット
に対する当該偏り基準曲線とを対比することである。プロセッサは、動的外れ値偏り除去
法を使用して当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済みラン
ダム目標データセットを生成する。当該ランダム目標データセットは、当該複数のデータ
値の範囲内にある複数の値から展開された複数の任意抽出データ値からなり得る。また、
複数の誤差値の当該セットは複数の標準誤差の一セットを含み得る。複数の相関係数の当
該セットは複数の決定係数値の一セットを含む。他の実施形態において、プログラムはさ
らに、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、当
該目標データセットに対する当該偏り基準曲線と当該ランダム目標データセットに対する
当該偏り基準曲線との対比に基づいて自動化されたアドバイスを生成させることである。
アドバイスは、相関係数しきい値及び/又は誤差しきい値のような、分析者によって選択
されたパラメータに基づいて生成することができる。さらに他の実施形態において、シス
テムのデータベースはさらに、当該モデル予測値に対応する複数の実際データ値を備える
一の実際データセットを含み、かつ、当該プログラムはさらに、実行されると当該プロセ
ッサに以下のことを引き起こす命令を含む。すなわち、当該実際データセットに基づいて
一のランダム実際データセットを生成すること、当該実際データセット及び選択された各
偏り基準値に基づいて一の外れ値偏り低減済み実際データセットを生成すること、当該ラ
ンダム実際データセット及び選択された各偏り基準値に基づいて一の外れ値偏り低減済み
ランダム実際データセットを生成すること、選択された各偏り基準に対し当該外れ値偏り
低減済みランダム目標データセット及び当該外れ値偏り低減済みランダム実際データに基
づいて一のランダムデータプロットを生成すること、選択された各偏り基準に対し当該外
れ値偏り低減済み目標データセット及び当該外れ値偏り低減済み実際目標データセットに
基づいて一の現実的データプロットを生成すること、並びに当該ランダムデータプロット
と選択された各偏り基準に対応する当該現実的データプロットとを対比することである。
【0020】
他の実施形態は、施設に対して測定された目標変数における外れ値偏りを低減するシス
テムであって一のデータセットを処理するコンピュータユニットを含むシステムを含む。
当該コンピュータユニットは、プロセッサ及び格納サブシステム、処理される当該データ
セットを入力する入力ユニットであって所与の目標変数を測定しかつ対応データセットを
与える測定装置を含む入力ユニット、一の処理済みデータセットを出力する出力ユニット
、当該格納サブシステムによって格納されるコンピュータプログラムを含む。当該コンピ
ュータプログラムは、実行されると当該プロセッサに以下のステップを実行させる命令を
含む。すなわち、施設に対する当該目標変数を選択するステップ、当該目標変数に関連す
る当該施設に対する複数の変数を識別するステップ、当該施設に対する一のデータセット
を取得するステップであって当該データセットは当該複数の変数に対する複数の値を含む
ステップ、一の偏り基準を選択するステップ、複数のモデル係数の一セットを選択するス
テップ、(1)当該データセットに対する複数の予測値の一セットを生成するステップ、
(2)当該データセットに対する一の誤差セットを生成するステップ、(3)当該誤差セ
ット及び当該偏り基準に基づいて複数の誤差しきい値の一セットを生成するステップ、(
4)当該誤差セット及び複数の誤差しきい値の当該セットに基づいて一の打ち切られたデ
ータセットを生成するステップ、(5)複数の新モデル係数の一セットを生成するステッ
プ、並びに(6)複数の新モデル係数の当該セットを使用して一の打ち切りパフォーマン
ス終了基準が満たされるまでステップ(1)~(5)を繰り返すステップである。
【0021】
さらに、他の実施形態は、持分証券(例えば普通株式)又はデリバティブ契約(例えば
、先渡、先物、オプション、スワップ等)のような金融商品に対して測定された目標変数
における外れ値偏りを低減するシステムを含む。当該システムは、データセットを処理す
るコンピュータユニットであってプロセッサ及び格納サブシステムを含むコンピュータユ
ニット、処理されるデータセットを受け取る入力ユニットであって目標変数(例えば株価
)についてのデータを格納しかつ対応データセットを与える格納装置を含む入力ユニット
、処理済みデータセットを出力する出力ユニット、当該格納サブシステムによって格納さ
れるコンピュータプログラムを含む。当該コンピュータプログラムは、実行されると当該
プロセッサに以下のステップを実行させる命令を含む。すなわち、当該金融商品に対する
当該目標変数を選択するステップ、当該目標変数(例えば、配当、収益、キャッシュフロ
ー等)に関連する当該商品に対する複数の変数を識別するステップ、当該金融商品に対す
る一のデータセットを取得するステップであって当該データセットは当該複数の変数に対
する複数の値を含むステップ、一の偏り基準を選択するステップ、複数のモデル係数の一
セットを選択するステップ、(1)当該データセットに対する複数の予測値の一セットを
生成するステップ、(2)当該データセットに対する一の誤差セットを生成するステップ
、(3)当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一のセットを
生成するステップ、(4)当該誤差セット及び複数の誤差しきい値の当該セットに基づい
て一の打ち切られたデータセットを生成するステップ、(5)複数の新モデル係数の一セ
ットを生成するステップ、並びに(6)複数の新モデル係数の当該セットを使用して一の
打ち切りパフォーマンス終了基準が満たされるまでステップ(1)~(5)を繰り返すス
テップである。
【図面の簡単な説明】
【0022】
【
図1】データ外れ値を特定及び除去する方法の一実施形態を例示するフローチャートである。
【
図2】データ品質操作のためにデータ外れ値を特定及び除去する方法の一実施形態を例示するフローチャートである。
【
図3】データ認証のためにデータ外れ値を特定及び除去する方法の一実施形態を例示するフローチャートである。
【
図4】本発明の方法を実装する例示的ノードである。
【
図5】データセットの定量評価のための例示的グラフである。
【
図6】
図6A及び6Bは、
図5のデータセットの定量的評価のためのグラフであり、それぞれデータセット全体に対する任意抽出データセット及び現実的データセットを例示する。
【
図7】
図7A及び7Bは、
図5のデータセットの定量的評価のためのグラフであり、それぞれデータの30%を外れ値として除去した後の任意抽出データセット及び現実的データセットを例示する。
【
図8】
図8A及び8Bは、
図5のデータセットの定量的評価のためのグラフであり、それぞれデータの50%を外れ値として除去した後の任意抽出データセット及び現実的データセットを例示する。
【
図9】施設に対して測定された目標変数における外れ値偏りを低減するべく使用される一例のシステムを例示する。
【発明を実施するための形態】
【0023】
以下の開示は、構造化された内容に対するアクセス及び管理のためのシステム及び方法
の異なる特徴を実装する多くの異なる実施形態又は例を与える。コンポーネント、プロセ
ス及び実装の特定の例は、本発明を明確にすることに役立てるべく説明される。これらは
単なる例であって、本発明を特許請求の範囲に記載されるものから制限することを意図し
ない。周知の要素は、本発明の好ましい実施形態を不必要な詳細によって不明瞭にするこ
とがないように、詳細な説明なしに提示される。ほとんどの箇所に対し、本発明の好まし
い実施形態の完全な理解を得るのに不必要な詳細は、かかる詳細が当業者のスキル内にあ
る限り省略される。
【0024】
動的外れ値偏り低減の一実施形態の数学的記述は以下の通りである。
【数1】
【数2】
【0025】
【0026】
動的外れ値偏り低減の一実施形態の他の数学的記述は以下のとおりである。
【数4】
【数5】
【0027】
【0028】
現行の打ち切られたデータセットから新モデル係数が計算される各反復の後、先の反復
からの除去されたデータに現行の打ち切られたデータをプラスしたものが再び組み合わせ
られる。この組み合わせは、完成したデータセットにおけるすべてのデータ値を包含する
。現行のモデル係数はその後、予測値の完成されたセットを計算するべく、完成されたデ
ータセットに適用される。予測値の完成されたセットに対して絶対及び相対誤差が計算さ
れ、新たな偏り基準百分位数しきい値が計算される。絶対又は相対誤差がしきい値よりも
大きなデータ値すべてを除去することにより新たな打ち切られたデータセットが作られ、
その後、非線形最適化モデルが新たに打ち切られたデータセットに適用されて新たなモデ
ル係数が計算される。このプロセスにより、すべてのデータ値がモデルデータセットに包
含される可能性を、反復ごとに調べることができる。モデル係数が当該データに最適適合
する値に収束するときは、先の反復において除外されたいくつかのデータ値がその後の反
復において含められることもあり得る。
【0029】
一実施形態において、温室効果ガス排出のばらつきが、モデル予測値の偏りにつながる
排出結果の過大評価又は過小評価をもたらし得る。環境条件及び計算手順での誤差のよう
な、これらの非工業的影響により、特定の施設に対する結果が、モデル予測値における偏
りが除去されない限り、同様の施設と根本的に異なることとなる。モデル予測値における
偏りはまた、独特の操作条件によっても存在する。
【0030】
施設の計算が誤っていること又は独特の酌量すべき特徴を有していることが分析者に確
信できるのであれば、施設のデータを単に計算から除去することにより、偏りは手動で除
去することができる。しかしながら、多くの異なる会社、地域及び国から施設のパフォー
マンスを測定する場合、データ詳細の正確な先験的知識は現実的ではない。したがって、
分析者に基づくデータ除去手順はいずれも、モデル結果に対して文書化されず、データに
サポートされない偏りを加える可能性を有する。
【0031】
一実施形態において、モデル係数計算から除去される統計的な外れ値を決定するべく、
データ及び所定の全体的な誤差基準を使用する手順に動的外れ値偏り低減が適用される。
これは、データによりもたらされる大域的誤差基準を使用して、例えば百分位数関数を使
用して、外れ値を識別するデータ主導型プロセスである。動的外れ値偏り低減の使用は、
モデル予測値における偏りの低減に限られない。この実施形態におけるその使用は図示的
かつ例示的にすぎない。動的外れ値偏り低減はまた、例えば任意の統計データセットから
外れ値を除去するべく使用される。これは、例えば、算術平均、線形回帰及び傾向線の計
算における使用を含むがこれらに限られない。外れ値の施設は依然として計算結果から順
位付けされているが、外れ値は、モデル係数又は統計結果を計算するべく適用されるフィ
ルタリング済みデータセットにおいて使用されない。
【0032】
外れ値を除去するべく一般に使用される標準手順は、データセットの標準偏差(σ)を
計算して平均からの2σ間隔外にあるデータすべてを、例えば外れ値として単純に画定す
ることである。この手順は、一般には実際に検定不可能な統計的仮定を有する。本発明の
一実施形態において適用される動的外れ値偏り低減方法の記述は、
図1にまとめられてお
り、相対誤差及び絶対誤差の双方を使用する。例えば、施設「m」に対し:
相対誤差
m=((予測値
m-実際値
m)/実際値
m)
2 (1)
絶対誤差
m=(予測値
m-実際値
m)
2 (2)
となる。
【0033】
ステップ110において、分析者は、計算から除去される外れ値を画定する誤差しきい
値基準を特定する。例えば、誤差関数として百分位数操作を使用して、相対及び絶対誤差
に対する80パーセントの百分位数値が設定され得る。この意味は、相対誤差に対する第
80百分位数値未満のデータ値及び絶対誤差に対する第80百分位数値のデータ値の計算
が含まれ、かつ、残りの値は除去されるか又は外れ値とみなされるということである。こ
の例では、除去されるのを回避するべきデータ値に対しては、当該データ値は、相対及び
絶対誤差の双方が第80百分位数値未満でなければならない。しかしながら、相対及び絶
対誤差の双方に対する百分位数しきい値は独立して変化し得るので、他の実施形態におい
ては、一方の百分位数しきい値のみが使用される。
【0034】
ステップ120において、モデル標準誤差及び決定係数(r2)のパーセント変化基準
が特定される。これらの統計の値がモデルごとに変わる一方、先の反復手順におけるパー
セント変化は、例えば5パーセントのように、予備的に設定することができる。これらの
値は、反復手順を終了させるべく使用することができる。他の終了基準は単純な反復回数
であり得る。
【0035】
ステップ130において、各施設に対するモデル係数及び予測値を生成する最適化計算
が行われる。
【0036】
ステップ140において、式(1)及び(2)を使用してすべての施設に対する相対及
び絶対誤差の双方が計算される。
【0037】
ステップ150において、ステップ110で特定されたしきい値基準を有する誤差関数
がステップ140で計算されたデータに適用されて、外れ値しきい値が決定される。
【0038】
ステップ160において、データが、選択された構成に応じ、相対誤差、絶対誤差又は
双方の誤差がステップ150で計算された誤差しきい値より小さい施設のみを含むように
フィルタリングされる。
【0039】
ステップ170において、外れ値除去済みデータセットを使用して最適化計算が行われ
る。
【0040】
ステップ180において、標準誤差及びr2のパーセント変化が、ステップ120で特
定された基準と対比される。パーセント変化が基準よりも大きい場合、ステップ140に
戻ることによってプロセスが繰り返される。そうでない場合、反復手順はステップ190
で終了し、この動的外れ値偏り低減基準から計算された結果的なモデルが完成される。モ
デル結果が、その現行反復の、過去に除去された又は容認されたデータの状態にかかわら
ず、すべての施設に対して適用される。
【0041】
他の実施形態において、プロセスは、所定の反復パラメータの選択から開始される。具
体的には、(1)一方、他方又は双方が反復プロセスにおいて使用される絶対誤差及び相
対誤差百分位数値、(2)決定係数(r2としても知られる)の改善値、及び(3)標準
誤差改善値である。
【0042】
プロセスは、原データセット、実際データのセット、及び、当該原データセットに基づ
いて予測値を計算するべく使用される少なくとも一つの係数又は一つの因子のいずれかか
ら開始する。係数又は係数のセットが原データセットに適用されて予測値のセットが作ら
れる。係数のセットは、スカラー、指数、パラメータ及び周期関数を含むがこれらに限ら
れない。予測データのセットはその後、実際データのセットと対比される。予測データと
実際データとの差分に基づいて標準誤差及び決定係数が計算される。ユーザ選択の絶対及
び相対誤差百分位数値に基づいてデータ外れ値を除去するべく、各データ点に関連付けら
れた絶対及び相対誤差が使用される。データの順位付けは必要ない。絶対及び/又は相対
誤差に対する百分位数値に関連付けられた範囲から外れたデータが、すべて原データセッ
トから除去されるからである。データをフィルタリングするべく絶対及び相対誤差を使用
することは例示的であって、例示目的のみに限られる。本方法は、絶対若しくは相対誤差
のみについて又は他の関数について行うことができるからである。
【0043】
ユーザ選択の百分位数範囲内にある絶対及び相対誤差に関連付けられたデータは、外れ
値除去済みデータセットであり、プロセスの各反復がそれ自身のフィルタリング済みデー
タセットを有する。この第1外れ値除去済みデータセットが使用されて、実際値と対比さ
れる予測値が決定される。誤差を最適化することにより少なくとも一つの係数が決定され
、その後当該係数が使用されて第1外れ値除去済みデータセットに基づく予測値が生成さ
れる。外れ値偏り低減済み係数は、一の反復から次の反復へ知識が伝えられるメカニズム
として機能する。
【0044】
第1外れ値除去済みデータセットが作られた後、標準誤差及び決定係数が計算され、か
つ、原データセットの標準誤差及び決定係数と対比される。標準誤差の差分及び決定係数
の差分の双方が各改善値未満であればプロセスは停止する。しかしながら、改善基準の少
なくとも一つが満たされなければプロセスはもう一回の反復に続く。標準誤差及び決定係
数を反復プロセスのチェックに使用することは図示的かつ例示的にすぎない。当該チェッ
クは、標準誤差のみ若しくは決定係数のみ、異なる統計的チェック、又は他の(反復回数
のような)パフォーマンス終了基準を使用して行うことができるからである。
【0045】
第1反復が改善基準を満たすことができない場合、新セットの予測値を決定するべく、
第1外れ値偏り低減済みデータ係数を原データに適用することによって第2反復が開始さ
れる。この場合、原データが再び処理され、第1外れ値除去済みデータセットの係数が使
用されている間に当該データ点に対する絶対及び相対誤差並びに原データセットに対する
標準誤差及び決定係数値が確立される。データはその後フィルタリングされ、第2外れ値
除去済みデータセットが形成され、かつ、第2外れ値除去済みデータセットに基づく係数
が決定される。
【0046】
しかしながら、第2外れ値除去済みデータセットは必ずしも、第1外れ値除去済みデー
タセットのサブセットというわけではなく、外れ値偏り低減済みモデル係数の第2セット
、第2標準誤差及び第2決定係数に関連付けられる。これらの値がひとたび決定されると
、第2標準誤差が第1標準誤差と対比され、かつ、第2決定係数が第1決定係数と対比さ
れる。
【0047】
(標準誤差及び決定係数の)改善値がこれらのパラメータの差分を超過するとプロセス
は終了する。そうでなければ、原データをなおも再び処理することによってもう一回の反
復が開始される。このとき、原データセットを処理しかつ新セットの予測値を生成するべ
く第2外れ値偏り低減済み係数が使用される。絶対及び相対誤差に対するユーザ選択の百
分位数値に基づくフィルタリングによって、第3外れ値偏り低減済み係数のセットを決定
するべく最適化される第3外れ値除去済みデータセットが作られる。プロセスは、誤差改
善又は他の(収束基準又は特定の反復数のような)終了基準が満たされるまで続けられる
。
【0048】
このプロセスの出力は、係数又はモデルパラメータのセットである。ここで、係数又は
モデルパラメータは、数学的な値(又は値のセット)であって、例えば、データ、線形方
程式の傾き及び切片値、指数、又は多項式の係数を対比するためのモデル予測値であるが
これに限られない。動的外れ値偏り低減の出力は、それ独自の出力値ではなくむしろ、出
力値を決定するべくデータを修正する係数である。
【0049】
図2に例示される他の実施形態において、動的外れ値偏り低減は、データが特定の使用
に対して適切であることを確証するべく、データの一貫性及び正確性を評価するデータ品
質法として適用される。データ品質操作に対し、本方法は反復手順を伴わない。このプロ
セスの間、動的外れ値偏り低減とともに他のデータ品質法を使用することもできる。本方
法は、所与のデータセットの算術平均計算に対して適用される。データ品質基準は、例え
ば、連続するデータ値が同じ範囲内に包含されることである。すなわち、あまりにもかけ
離れた間隔の値はいずれも、劣った品質データを構成する。この場合、誤差項が関数の連
続的な値から構成され、かつ、動的外れ値偏り低減がこれらの誤差値に適用される。
【0050】
ステップ210において、初期データが任意の順序でリストアップされる。
【0051】
ステップ220は、データセットに対して行われる関数又は操作を構成する。この実施
形態の例では、関数及び操作は、各ラインが当該ライン以上にある全データの平均に対応
する連続的算術平均計算が追従するデータの昇順順位付けである。
【0052】
ステップ230は、ステップ220の結果からの連続する値を使用してデータから相対
及び絶対誤差を計算する。
【0053】
ステップ240により、分析者は望ましい外れ値除去誤差基準(%)を入力することが
できる。品質基準値は、ステップ220のデータに基づくステップ230の誤差計算から
の結果値である。
【0054】
ステップ250は、データ品質外れ値フィルタリング済みデータセットを示す。相対及
び絶対誤差が、ステップ240で与えられた特定誤差基準を超える場合、特定値が除去さ
れる。
【0055】
ステップ260は、完成されたデータセットと外れ値除去済みデータセットとの算術平
均計算の対比を示す。分析者は、適用される数学又は統計計算すべてにおいて、識別され
た外れ値除去済みデータ成分が実際に劣った品質であるか否かを判断する最終ステップと
なる。動的外れ値偏り低減システム及び方法によって、分析者が直接的にデータを除去す
ることがなくなり、最適な実施指針が、分析者に見直しを促しかつ実施妥当性に対する結
果をチェックしてくれる。
【0056】
図3に例示される他の実施形態において、動的外れ値偏り低減は、データが特定の使用
に対して適切であるか否かを決定するべく、データセットの合理的正確性を検定するデー
タ認証法として適用される。データ認証操作に対し、本方法は反復手順を伴わない。この
例では、動的外れ値偏り低減は、2つのデータセット間のピアソン相関係数の計算に適用
される。ピアソン相関係数は、データセットにおいて他のデータ点とは相対的に異なる値
に対する感度が高い。この統計に対してデータセットを認証することは、当該結果が、極
端な値の影響以外に大部分のデータが示唆するものを代表していることを保証する上で重
要である。この例におけるデータ認証プロセスは、連続するデータ値が特定された範囲内
に包含されるということである。すなわち、あまりにもかけ離れた間隔の値(例えば特定
された範囲外にある値)はいずれも、劣った品質データであることを意味する。これは、
当該関数の連続値の誤差項を構築することによって達成される。これらの誤差値に動的外
れ値偏り低減が適用されることにより、外れ値除去済みデータセットが認証済みデータと
なる。
【0057】
ステップ310において、対のデータが任意の順序でリストアップされる。
【0058】
ステップ320は、データセットにおいて並べられた各対に対して相対及び絶対誤差を
計算する。
【0059】
ステップ330により、分析者は望ましいデータ認証基準を入力することができる。本
例では、90%の相対及び絶対双方の誤差しきい値が選択される。ステップ330におけ
る品質基準値の項目は、ステップ320に示されたデータに対する結果的な絶対及び相対
誤差百分位数の値である。
【0060】
ステップ340は、外れ値除去プロセスを示す。このプロセスでは、相対及び絶対双方
の誤差値が、ステップ330で入力されたユーザ選択の百分位数値に対応する値を超える
基準を使用して、無効かもしれないデータがデータセットから除去される。実際には、他
の誤差基準を使用することができるので、この例に示されるように複数の基準が適用され
る場合、外れ値除去のルールを決定するべく誤差値の任意の組み合わせを適用することが
できる。
【0061】
ステップ350は、認証済みデータ及び原データ値統計結果を計算する。このケースで
は、ピアソン相関係数である。これらの結果はその後、分析者によって実施妥当性が調べ
られる。
【0062】
他の実施形態において、データセット全体の認証を行うべく動的外れ値偏り低減が使用
される。標準誤差改善値、決定係数改善値、並びに絶対及び相対誤差しきい値が選択され
、その後当該データセットが誤差基準に従ってフィルタリングされる。原データセットが
高品質であっても、絶対及び相対誤差しきい値から外れた誤差値を有するデータが依然と
していくつか存在する。したがって、データのなんらかの除去が必要か否かを決定するこ
とは重要である。第1反復後に外れ値除去済みデータセットが標準誤差改善及び決定係数
の改善基準に合格する場合、原データセットは認証済みとなる。フィルタリングされたデ
ータセットが、あまりにも小さくて有意とみなすことができない(例えば選択された改善
値未満の)標準誤差及び決定係数を生成しているからである。
【0063】
他の実施形態において、データ外れ値除去の反復が当該計算にどのような影響を与えて
いるのかについての洞察を与えるべく動的外れ値偏り低減が使用される。グラフ又はデー
タ表が与えられるので、各反復が行われているときのデータ外れ値除去計算の進捗をユー
ザが観測することができる。この段階的アプローチにより、分析者は、結果に値及び知識
を加え得る計算の独特な特性を観測することができる。例えば、収束の速度及び性質によ
って、多次元データセットに対する代表的因子を計算することに与える動的外れ値偏り低
減の影響が示される。
【0064】
例示のとおり、87のレコードの劣った品質のデータセットに対して線形回帰計算を考
慮する。回帰対象の式の形式はy=mx+bである。表1は、5回の反復に対する反復プ
ロセスの結果を示す。注目すべきなのは、95%の相対及び絶対誤差基準を使用して、3
回の反復で収束が達成されることである。回帰係数の変化を観測することができる。動的
外れ値偏り低減方法は、79のレコードに基づいて計算データセットを低減させた。相対
的に低い決定係数(r
2=39%)は、r
2統計に対する及び計算された回帰係数に対す
る付加的な外れ値除去効果を検討するべく、低い(<95%)基準を検定する必要がある
ことを示している。
【表1】
【0065】
表2は、80%の相対及び絶対誤差基準を使用して動的外れ値偏り低減を適用した結果
を示す。注目すべきなのは、外れ値誤差基準の15パーセントポイント(95%から80
%)の変化が、(79から51のレコードが含まれる)許容データの35%の付加的な減
少を伴うr
2の35パーセントポイント(39%から74%)の増加をもたらしたことで
ある。分析者は、外れ値除去済み結果を幅広い聴衆に伝えるべく、かつ、分析結果のデー
タばらつきの効果に関する洞察を与えるべく、分析プロセスにおける表1及び2の外れ値
除去済みデータ及び数値結果とともに、回帰線の変化のグラフ図を使用することができる
。
【表2】
【0066】
図4に例示されるように、本方法を行うべく使用されるシステムの一実施形態は、コン
ピュータシステムを含む。ハードウェアは、必要な数値計算を行うのに十分なシステムメ
モリ420を包含するプロセッサ410からなる。プロセッサ410は、本方法を行うべ
くシステムメモリ420にあるコンピュータプログラムを実行する。ディスプレイ440
の操作を可能にするべく、ビデオ及び格納コントローラ430が使用される。システムは
、様々なデータ入力用データ格納装置を含む。例えば、フロッピー(登録商標)ディスク
ユニット450、内部/外部ディスクドライブ460、内部CD/DVD470、テープ
ユニット480、及び他のタイプの電子格納媒体490である。上述のデータ格納装置は
、図示的かつ例示的にすぎない。これらの格納媒体が使用されてデータセット及び外れ値
除去基準がシステムに入力され、外れ値除去済みデータセットが格納され、計算因子が格
納され、並びに、システム生成傾向線及び傾向線反復グラフが格納される。計算は、統計
ソフトウェアパッケージに適用すること、又は例えばマイクロソフト(登録商標)のエク
セル(登録商標)を使用してスプレッドシート形式で入力されたデータから行うことがで
きる。計算は、企業専用システム実装のために設計されるカスタマイズされたソフトウェ
アプログラムを使用して、又はエクセル等のデータベース及びスプレッドシートプログラ
ムと互換性のある市販ソフトウェアを使用して行われる。システムはまた、動的外れ値偏
り低減システム及び方法計算とともに使用されるデータを与えるべく、他のデータベース
と連携する専有の又は公共の外部格納媒体300とのインタフェースを有し得る。出力装
置は、計算ワークシート等のシステム生成グラフ及びレポートを、イントラネット又はイ
ンターネットを介して管理等の職員、プリンタ520、入力装置450、460、470
、480、490として上述したものと同様の電子格納媒体、及び専有の格納データベー
ス530に送信する遠距離通信装置510であり得る。これらの出力装置はここでは、図
示的かつ例示的にすぎない。
【0067】
図5、6A、6B、7A、7B、8A及び8Bに例示されるように、一実施形態におい
て、データセットの品質を定量的かつ定性的に評価するべく動的外れ値偏り低減を使用す
ることができる。これは、データセットのデータ値の誤差及び相関が、適切な範囲内から
展開されたランダムデータ値からなるベンチマークデータセットの誤差及び相関と対比さ
れることに基づく。一実施形態において、誤差は、データセットの標準誤差となるように
指定することができる。相関は、データセットの決定係数(r
2)となるように指定する
ことができる。他の実施形態において、相関は、一般にケンドールのタウ(τ)係数と称
されるケンドールの順位相関係数となるように指定することができる。さらに他の実施形
態において、相関は、スピアマンの順位相関係数又はスピアマンのρ(ロー)係数となる
ように指定することができる。上述のように、動的外れ値偏り低減は、外れ値として識別
されるデータ値を体系的に除去するべく使用される。基礎となるモデル又はプロセスの代
表が記述されるわけではない。通常、外れ値は、相対的に少数のデータ値に関連付けられ
る。しかしながら実際は、データセットは、知らぬ間に疑似値又はランダムノイズで汚染
され得る。
図5、6A、6B、7A、7B、8A及び8Bのグラフ図は、基礎となるモデ
ルがデータによってサポートされない状況を識別するべく、動的外れ値偏り低減システム
及び方法をどのようにして適用することができるのかを例示する。外れ値低減は、予測モ
デルと実際データ値との間で計算された相対及び/又は絶対誤差が、例えば80%のよう
な百分位数に基づく偏り基準よりも大きいデータ値を除去することによって行われる。こ
れが意味するのは、相対又は絶対誤差百分位数の値が、第80百分位数(データ値の80
%がこの値未満の誤差を有する)に関連付けられた百分位数しきい値よりも大きい場合に
、データ値が除去されるということである。
【0068】
図5に例示されるように、実際データセットの範囲内で展開された現実的モデル展開デ
ータセット及びランダム値のデータセットの双方が対比される。実際には、分析者が任意
のデータセット汚染について先行知識を有していないのが典型的であるから、かかる理解
は、動的外れ値偏り低減システム及び方法を使用していくつかのモデル計算からの反復結
果を観測することに基づく必要がある。
図5は、双方のデータセットに対する一例のモデ
ル展開計算結果を例示する。標準誤差、すなわちモデルで説明がつかない誤差量の尺度が
、どの程度のデータばらつきが当該モデルによって説明されるのかを表す決定係数(%)
又はr
2に対してプロットされる。各点の隣にある百分位数の値が偏り基準を表す。例え
ば、90%は、第90百分位数よりも大きな相対又は絶対誤差値に対するデータ値が当該
モデルから外れ値として除去されることを示す。これは、最高誤差を有するデータ値の1
0%を反復ごとに除去することに対応する。
【0069】
図5に例示されるように、ランダム及び現実的データセットモデルの双方に対し、偏り
基準を増加させることによって誤差が低減される。すなわち、標準誤差及び決定係数が双
方のデータセットに対して改善される。しかしながら、ランダムデータセットに対する標
準誤差は、現実的モデルデータセットよりも2倍から3倍大きくなる。分析者は、80%
の決定係数要件を、例えばモデルパラメータを決定するための許容可能精度レベルとして
使用することができる。
図5では、ランダムデータセットに対する70%の偏り基準にお
いて、及び現実的データに対する近似的に85%の偏り基準において80%のr
2が達成
される。しかしながら、ランダムデータセットに対する対応標準誤差は、現実的データセ
ットのものよりも2倍以上大きい。すなわち、モデルデータセット分析を異なる偏り基準
で体系的に実行し、かつ、計算を代表的な疑似データセットで繰り返して
図5に示される
ように結果をプロットすることにより、分析者は、データセットに対する許容可能な偏り
基準(すなわち除去されたデータ値の許容可能なパーセント)、ひいては全体的なデータ
セット品質を評価することができる。さらに、かかる体系的なモデルデータセット分析は
、設定可能なパラメータセットに基づくモデル展開において使用されるデータセットの実
現性に関するアドバイスを自動的に与えるべく使用することができる。例えば、データセ
ットに対する動的外れ値偏り除去を使用してモデルが展開される一実施形態において、異
なる偏り基準のもとで計算されたモデルデータセットに対する及び代表的疑似データセッ
トに対する誤差及び相関係数の値は、展開されたモデルをサポートする際のデータセット
の実現性、及び本質的にはデータセットをサポートする際の展開されたモデルの実現性に
関するアドバイスを自動的に与えるべく使用することができる。
【0070】
図5に例示されるように、いくつかのケースに対してこれらのモデルパフォーマンス値
の挙動を観測することにより、データ値が、モデル化されるプロセスを代表するか否かを
決定するための定量的土台を得ることができる。例えば、
図5を参照すると、100%の
偏り基準(すなわち偏り低減なし)における現実的データセットに対する標準誤差は、近
似的に65%の偏り基準(すなわち最高誤差が除去されたデータ値の35%)におけるラ
ンダムデータセットに対する標準誤差に対応する。かかる知見により、データが汚染され
ていないとの結論がサポートされる。
【0071】
図5の例示的なグラフにより容易とされる上述の定量分析に加え、動的外れ値偏り低減
は、強力ではなくても同等の、データセットの品質評価を補助する主観的手順において利
用することができる。これは、外れ値及び包含される結果の双方に対し、モデル予測値を
、データが与える実際目標値に対してプロットすることにより行われる。
【0072】
図6A及び6Bは、
図5における現実的曲線及びランダム曲線双方の、100%の点に
対する当該プロットを例示する。
図6Aにおける大きな散布は、任意の目標値に、及び結
果的にモデルが意図的なランダム性にフィッティングできないことに一致する。
図6Bは
、実際のデータの集まりに一致しかつ一般的であって、モデル予測及び実際値が、モデル
予測値が実際目標値に等しい線(以下実際=予測線とする)付近に群をなしている。
【0073】
図7A及び7Bは、
図5における70%の点からの結果を例示する(すなわちデータの
30%が外れ値として除去されている)。
図7A及び7Bにおいて外れ値偏り低減は、実
際=予測線から最も離れた点を除去するように示されているが、
図7A及び7B間のモデ
ル正確性の大きなばらつきが示すのは、このデータセットがモデル化されるプロセスを表
していることである。
【0074】
図8A及び8Bは、
図5における50%の点からの結果を示す(すなわちデータの50
%が外れ値として除去されている)。このケースでは、データの約半数が外れ値として識
別されており、これほどのばらつきがデータセットから除去されてもなお、モデルは
図8
Aにおいて、ランダムデータセットを厳密に記述するわけではない。実際=予測線付近の
一般的なばらつきは、各ケースでの除去済みデータを考慮すれば
図6A及び7Aにおける
ものとほぼ同様である。
図8Bは、ばらつきの50%が除去された場合、モデルが、実際
データに厳密にマッチする予測結果を生成できたことを示す。
図5に示されたパフォーマ
ンス基準の分析に加え、これらのタイプの可視プロットの分析は、分析者が、モデル展開
に対する実施において実際データセットの品質を評価するべく使用することができる。図
5、6A、6B、7A、7B、8A及び8Bは、可視プロットを例示する。ここで、分析
は、様々な偏り基準値に対応するパフォーマンス基準傾向に基づく。他の実施形態では、
分析は、分析者が選択する様々な偏り基準に対応するモデル係数傾向のような、偏り基準
値に対応する他の変数に基づき得る。
【0075】
様々な実施形態は、施設に対して測定された目標変数の外れ値偏りを低減するシステム
を含む。
図9は、かかる実施形態の一例を示す。
図9に例示されるシステムは、工業施設
に対する様々なパフォーマンス測定値を包含するデータセットのようなデータセットを処
理することができるコンピュータユニット1012を含む。コンピュータユニット101
2は、コンピュータプログラムがここに開示される動的外れ値偏り除去法を具体化するプ
ロセッサ1014及び格納サブシステム1016を含む。システム1010は入力ユニッ
ト1018を含む。入力ユニット1018はさらに、所与の目標変数を測定し、かつ、対
応するデータセットを与える測定装置1020を含む。測定装置1020は、任意の関心
目標変数を測定するべく構成することができる。当該変数は、例えば、単位時間当たりに
工業プラント施設から出る部品数、又は単位時間当たりに精製施設により生産された精製
物質体積である。その他、複数の目標変数を同時に測定することもできる。図示の実施形
態では、測定装置1020はセンサ1022を含む。当業者であれば、本発明の範囲内に
は、物質の様々な物理的属性及び/又は工業施設により生産される若しくは工業施設にお
いて使用される成分を測定するのに使用される様々なセンサが含まれることがわかる。例
としては、例えば温室効果ガス排出物のような化学物質を検出かつ定量することができる
センサである。加えて、当業者であれば、関心目標変数の測定には、データの収集、受け
取り、測定、蓄積及び処理の任意手段が含まれることがわかる。目標変数、データセット
及びデータは、工業プロセスデータ、コンピュータシステムデータ、金融データ、経済デ
ータ、株式、債券及び先物のデータ、インターネット検索データ、セキュリティデータ、
音声等のヒト識別データ、クラウドデータ、ビッグデータ、保険データ等の関心データを
含むがこれらに限られないすべての種類のデータを含むことができる。本開示及び本発明
の範囲及び示唆は当該タイプの目標変数、データセット又はデータに限られない。当業者
であれば、センサ及び測定装置が、コンピュータ、コンピュータシステム及びプロセッサ
であるか又はこれらも含み得ることもわかる。さらに、システム1010は、処理された
データを出力することができる出力ユニット1024を含む。出力装置は、モニタ、プリ
ンタ又は送信装置(図示せず)を含む。
【0076】
一実施形態において、システム1010はセンサ1022を起動させる。センサ102
2は次に、例えば二酸化炭素のような所与の化合物の検出及び定量を行う。検出及び定量
は、連続的に又は離散した時間ステップ内で行うことができる。測定が完了するごとにデ
ータセットが生成され、格納サブシステム1016に格納され、及びコンピュータユニッ
ト1012に入力される。データセットは、格納サブシステム1016に格納された動的
外れ値偏り除去コンピュータプログラムによって処理され、ここに開示された方法の様々
な実施形態に応じて打ち切られる。コンピュータプログラムのデータ処理がひとたび完了
すると、処理済みデータが出力ユニット1024によって出力される。出力ユニット10
24がモニタ又はプリンタである実施形態において、結果が線図で可視化される。出力ユ
ニット1024が送信装置を含む一実施形態において、処理済みデータは、中央データベ
ース又はコントロールセンターに送られる。そこでデータはさらに処理される(図示せず
)。したがって、様々な開示の実施形態に係るシステムは、外れ値偏りが低減される自動
的態様で一企業内又は一技術分野内の異なる施設同士を対比する強力なツールを与える。
【0077】
好ましい実施形態において、測定装置1020は、化学物質を検出かつ定量する一以上
のセンサを含む。地球温暖化ゆえに、施設から排出される温室効果ガスは、ますます重要
な目標変数となっている。少量の温室効果ガスを排出する施設は、大量に排出する施設よ
りも良好に順位付けされる。ただし、全体的な生産性は後者の方が良好である。温室効果
ガスとは、例えば、二酸化炭素(CO2)、オゾン(O3)、水蒸気(H2O)、ハイド
ロフルオロカーボン(HFC)、パーフルオロカーボン(PFC)、クロロフルオロカー
ボン(CFC)、六フッ化硫黄(SF6)、メタン(CH4)、亜酸化窒素(N2O)、
一酸化炭素(CO)、窒素酸化物(NOx)及び非メタン揮発性有機化合物(NMVOC
)である。これらの化合物の自動化された検出及び定量は、温室効果ガスの所定許容排出
に関する工業基準を展開するべく使用することができる。しかしながら、動的外れ値偏り
除去の適用により、生産の異常な状況が、例えば動作誤差又は事故でさえもが引き起こす
外れ値の除去がもたらされる。すなわち、ここに開示された様々な実施形態の使用により
、正確かつ有意義な基準の展開が得られる。工業基準がひとたび展開されると、システム
が使用されて排出と当該基準とが対比される。
【0078】
当業者であればさらに、本発明の範囲には、持分証券(例えば普通株式)又はデリバテ
ィブ契約(例えば、先渡、先物、オプション、スワップ等)のような金融商品に関連する
目標変数において目標変数の外れ値偏りを低減するための、様々な開示の実施形態のアプ
リケーションが含まれることがわかる。例えば、一実施形態において、システム1010
は、普通株式のような金融商品に関連するデータを受け取る入力ユニット1018を含み
、対応するデータセットを与える。目標変数は、株価とすることができる。さらに、目標
変数に関連する変数は、金融商品を評価する様々な周知の方法、例えば、割引キャッシュ
フロー分析のような方法を使用して決定することができる。かかる関連変数には、関連す
る配当金、利益剰余金、又はキャッシュフロー、一株当たりの利益、株価収益率若しくは
成長率等が含まれる。目標値及び関連変数値のデータベースがひとたび形成されると、こ
こに開示された動的外れ値偏り除去の様々な実施形態を当該データベースに適用して、金
融商品を評価するための正確なモデルを得ることができる。
【0079】
本発明の好ましい実施形態の上記開示及び記載は、図示的かつ例示的であって、当業者
には、例示のシステム及び方法の詳細において、本発明の範囲を逸脱することなく様々な
変更をなし得ることが理解される。