(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-20
(54)【発明の名称】モチベーションを検出する方法及びシステム
(51)【国際特許分類】
G06Q 30/02 20120101AFI20220113BHJP
G16Y 20/40 20200101ALI20220113BHJP
G16Y 40/20 20200101ALI20220113BHJP
【ＦＩ】
G06Q30/02
G16Y20/40
G16Y40/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021550678
(86)(22)【出願日】2019-11-15
(85)【翻訳文提出日】2021-07-12
(86)【国際出願番号】 US2019061785
(87)【国際公開番号】W WO2020106582
(87)【国際公開日】2020-05-28
(31)【優先権主張番号】62/769,049
(32)【優先日】2018-11-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/769,058
(32)【優先日】2018-11-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521216234
【氏名又は名称】ベリフィックス，インコーポレイテッド
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】フース、ジョン・アール．
(72)【発明者】
【氏名】オサリバン、シニード・シー
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB05
(57)【要約】
方法及びシステムは、入力の複数のストリームを受信して処理し、入力に基づいてユーザインターフェースを生成する出力のストリームを出力する。ユーザインターフェースは、入力のストリームに応答して生成された１つ又は複数の質問を含み、ユーザに電子的に送信される。ユーザは、生成されたユーザインターフェースを介して方法及びシステムに更なる入力を提供する。
【選択図】 図５
【選択図】 図５
【特許請求の範囲】
【請求項1】
命令を伴う機械実行動作を実行することを備える方法であって、前記命令は、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサに、ログインに応答して、ユーザを質問セットに割り当てることと、
ユーザにインターフェースデータを送ることと、ここにおいて、前記インターフェースデータは、少なくとも１つの質問を含む、
前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、
前記ユーザ回答を記憶することと、
前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、少なくとも２つの公式を用いて計算される、
前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、
作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することと、
前記特定されたユーザコメントから触媒問題を抽出することと、
前記質問に関連する地理情報を抽出することと、
前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、
前記要求されたオンラインソースでの前記触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、
前記質問についてのコンセンサスを計算し、前記特定されたスパイクから設定日数の間、前記コンセンサスを監視することと、
前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することと
を含む特定のステップを実行させる命令である、方法。
【請求項2】
前記インターフェースデータは、コンセンサスデータを更に含む、請求項１に記載の方法。
【請求項3】
前記インターフェースデータは、他のユーザコメントデータを更に含む、請求項１に記載の方法。
【請求項4】
前記インターフェースデータは、ニュースデータを更に含む、請求項１に記載の方法。
【請求項5】
質問に関連する１つ又は複数の乱数を生成することと、乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることと
というステップを更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
請求項１に記載の方法。
【請求項6】
質問セットを受信することと、ここで、前記質問セットは、共通事項に関連する少なくとも２つの質問を含む、前記質問セットで質問を送る前に、ユーザがログインした後に、前記ユーザを前記質問セットの前記質問のうちの１つに割り当てることと、
前記ユーザが未送信の質問を受信する資格がないようにするために、前記割り当てられた質問と前記割り当てられていない質問とを記録することと
というステップを更に備える、請求項１に記載の方法。
【請求項7】
前記コンセンサスデータは、前記データが送られる前記ユーザ以外のユーザからの予想のセットを含み、前記ユーザのインターフェースに表示するために前記コンセンサスデータを前記ユーザに送ること
というステップを更に備える、請求項２に記載の方法。
【請求項8】
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の１０個の予想を含む、請求項７に記載の方法。
【請求項9】
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の２０個の予想を含む、請求項７に記載の方法。
【請求項10】
前記コメントが受信された時点で前記コメントが前記計算されたコンセンサスのうちの１つ又は複数にどのように関連付けられたかを示す対応する非数値インジケータとともに他のユーザコメントデータを前記ユーザに送ることというステップを更に備える、請求項３に記載の方法。
【請求項11】
コンセンサスを計算するために使用される前記２つの公式のうちの少なくとも１つは、平均計算から１回限りの予測を削除することを備える、というステップを更に備える、請求項１に記載の方法。
【請求項12】
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない７日よりも古い予想を除外することを備える、というステップを更に備える、請求項１１に記載の方法。
【請求項13】
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、というステップを更に備える、請求項１１に記載の方法。
【請求項14】
前記１回限りの予測を削除することは、前記対応するトラッキング番号に関連する第２の予想を有さない７日よりも古い予想を除外することを備える、というステップを更に備える、請求項５に記載の方法。
【請求項15】
前記１回限りの予測を削除することは、前記対応するトラッキング番号に関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、というステップを更に備える、請求項５に記載の方法。
【請求項16】
データ記憶システムであって、１つ又は複数のプロセッサと、
データ記憶装置と
を備え、
前記データ記憶システムは、ログインに応答して、ユーザを質問セットに割り当てることと、ユーザにインターフェースデータを送ることとを行うユーザログインモジュールを備え、ここにおいて、前記インターフェースデータは、少なくとも１つの質問を含み、
前記データ記憶システムは、前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、前記ユーザ回答を記憶することと、前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、少なくとも２つの公式を用いて計算される、前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することとを行う質問モジュールを更に備え、
前記データ記憶システムは、前記特定されたユーザコメントから触媒問題を抽出することと、前記質問に関連する地理情報を抽出することと、前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、前記要求されたオンラインソースでの前記触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、前記質問についてのコンセンサスを計算し、前記特定されたスパイクから設定日数の間、前記コンセンサスを監視することと、前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することとを行う触媒テストモジュールを更に備える、
システム。
【請求項17】
前記インターフェースデータは、コンセンサスデータを更に含む、請求項１６に記載のシステム。
【請求項18】
前記インターフェースデータは、他のユーザコメントデータを更に含む、請求項１６に記載のシステム。
【請求項19】
前記インターフェースデータは、ニュースデータを更に含む、請求項１６に記載のシステム。
【請求項20】
質問に関連する１つ又は複数の乱数を生成することと、乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることとを行う乱数トラッキングモジュールを更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脅威検出、オンラインメディアへの影響、商業マーケティング、又は広告目的に使用され得る、モチベーションを抽出するための方法及びシステムに関する。
【優先権】
【0002】
本出願は、いずれも２０１８年１１月１９日に出願された米国特許出願第６２／７６９，０４９号及び米国特許出願第６２／７６９，０５８号の優先権を主張する。
【背景技術】
【0003】
インターネットは、人々の交流の仕方を変えた。この変化は、商品を売買する方法だけでなく、互いにコミュニケーションをとる方法にも重大な影響を与えてきた（https://www.dni.gov/files/images/globalTrends/documents/GT-Full-Report.pdf、第２００頁、参照）。人々は、自分のことに集中するためにより多くの時間を費やすようになり、一般に周囲の環境に気を配ることが少なくなっている。人々が内向きに集中するようになるにつれて、人々は自分の既存のバイアスを正当化する理由を探すため、確証バイアスが、意思決定及びニュース選択の支配的な要因になっていく。それが一種のトライバリズムにつながっている。自分達のような人々を探し出した後、確証バイアスと、減少し続ける注意スパンとによって、ユーザは、ますます自己中心的なパターンに陥る。インターネットは、すべてをパーソナライズすることに慣れた世代を生み出した。
【0004】
個人及びこれらのよりも小さいトライバルグループを理解することは複雑である。フォーカスグループや世論調査は当てにならない（Ｐｈｉｌｌｉｐｓ及びＡｒｔｉｎｏによる、Lies, Damned Lies and Surveys，J Grad Med Educ. 2017 Dec; 9(6): 677-679（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5734316/）参照）。又は、Ｂｅａｕ Ｌｏｔｔｏが著書Deviate: The Science of Seeing Differently（２０１８）で説明しているように、参加者が「彼らが誰であるか」ではなく「彼らが誰になりたいか」に基づいて質問に回答するため、フォーカスグループは、動的な（不安定な）環境では効果的でない。
【0005】
マーケティング会社は、複数のプラットフォームにわたって個人を追跡する心理測定プロファイルを利用して、このユーザのハイパーフォーカスに対処しようと試みてきた。データは、プラットフォームにわたって収集される。個人の行動（例えば、訪問したウェブサイト）が捕捉され、個人のプロファイルが作成され、モチベーションになる洞察が特定される。次いで、これらの洞察は、ターゲット広告の形態でユーザのフィードに埋め込まれる。プロファイリングでは、（ｉ）ユーザが過去のパターンを繰り返すこと、及び（ｉｉ）人々が個人として扱われても、他の人にも当てはまる教訓がいくつか存在することを想定している。過去の相関データを探すことは、ほとんどの人工知能又はデータマイニング製品の基礎である。
【0006】
これらのシステムは、バイアスを植え付けるだけでなく、膨大な個人データを必要とする。このデータ収集及びパーソナライゼーションは、予期せぬ結果をもたらす。ユーザが自転車を検索した後、自転車の広告がユーザに殺到する。ニュースのウェブページ上の広告において、統合データセットと、性的ページへの訪問によってトリガされる広告とを見ると、違和感を覚えることがある。ＥＵの一般データ保護規則（ＧＤＰＲ）及びカリフォルニア州のＣＣＰＡは、会社が訴えることができるものとできないものについての規則を変更しつつある。個人が個人データの使用を制限すると、心理測定プロファイリングは失敗する。
【0007】
従って、匿名性を維持しながら、ハイパーフォーカスされた個人又はトライブのユーザバイアスを特定する方法及びシステムが必要である。特定されると、そのバイアスは、脅威検出を事前に行うために使用されるか、又はマーケティングメッセージの基礎として使用され得る。現在の方法及びシステムは更に、ユーザが依然として好みのニュースソースを受信するが、操作が検出されたときにはシステムがニュースのペースをスローダウンするように、操作プロセスを中断するシステム及び方法を進歩させることによって、２０１６年及び２０１８年の米国の選挙中に見られたようなオンラインのソーシャル操作という問題を解決するために使用され得る。これにより、受信者は、より客観的な心理状態でニュースを検討することができる。
【0008】
本発明は、この問題の原因が少なくとも部分的にデフォルトモードネットワーク（ＤＭＮ）に関係していると仮定する。ＤＭＮは、以下のように定義されている：
デフォルトモードネットワークは、通常、白日夢及び心の迷走の間など、人が外界に集中しておらず、脳が覚醒状態で休息しているときに活性化していることが分かっている。しかしながら、このネットワークは、個人が、他の人のことを考えているとき、自分のことを考えているとき、過去を思い出しているとき、将来の計画を立てているときも活性化している。このネットワークは、人がタスクに関与していないときに「デフォルトで」活性化する。ＤＭＮは、当初、特定の目的志向のタスクでは不活性化されることが知られており、タスクネガティブネットワークと呼ばれることもあるが、ソーシャルワーキングメモリ又は自伝的タスクのような他の目的志向のタスクでは活性化している可能性がある。ＤＭＮは、アテンションネットワークのような脳内の他のネットワークと負の相関があることが分かっている。・・・デフォルトモードネットワークは、視覚的注意又は認知的ワーキングメモリタスクのような外部の目的志向のタスク中、不活性化することが分かっているため、一部の研究者は、このネットワークをタスクネガティブネットワークとラベル付けしている（https://en.wikipedia.org/wiki/Default_mode_network#Function（２０１８年８月２７日））。個人が、外界のときとは対照的にその個人のことを考えるとき、個人は、ＤＭＮ優位な状態にある。読む動作は、個人をＤＭＮ優位な状態に推し進め、結果としてユーザは自分の目を通して世界を見ることとなり、社会における自分のより大きな役割を無視する。インターネットは、大部分が読む動作であるため、この影響を激化させてきた。
デフォルトモードネットワークは、通常、白日夢及び心の迷走の間など、人が外界に集中しておらず、脳が覚醒状態で休息しているときに活性化していることが分かっている。しかしながら、このネットワークは、個人が、他の人のことを考えているとき、自分のことを考えているとき、過去を思い出しているとき、将来の計画を立てているときも活性化している。このネットワークは、人がタスクに関与していないときに「デフォルトで」活性化する。ＤＭＮは、当初、特定の目的志向のタスクでは不活性化されることが知られており、タスクネガティブネットワークと呼ばれることもあるが、ソーシャルワーキングメモリ又は自伝的タスクのような他の目的志向のタスクでは活性化している可能性がある。ＤＭＮは、アテンションネットワークのような脳内の他のネットワークと負の相関があることが分かっている。・・・デフォルトモードネットワークは、視覚的注意又は認知的ワーキングメモリタスクのような外部の目的志向のタスク中、不活性化することが分かっているため、一部の研究者は、このネットワークをタスクネガティブネットワークとラベル付けしている（https://en.wikipedia.org/wiki/Default_mode_network#Function（２０１８年８月２７日））。個人が、外界のときとは対照的にその個人のことを考えるとき、個人は、ＤＭＮ優位な状態にある。読む動作は、個人をＤＭＮ優位な状態に推し進め、結果としてユーザは自分の目を通して世界を見ることとなり、社会における自分のより大きな役割を無視する。インターネットは、大部分が読む動作であるため、この影響を激化させてきた。
【0009】
理論的には、ＤＭＮ優位な状態によってもたらされる孤立感は、長時間経つと脳が不快感を覚える孤立感を生むもののはずである。本発明は、人々がインターネット上で自分と似た人々を見つけることによって孤立感を補っていると仮定する（Derek Thompson, Hit Makers: the Science of Popularity in the Age of Distraction（２０１７年２月７日）参照）。認知的不協和は、フィードバックループとして機能する。人々の性格が内向きになるにつれて、確証バイアスは人々の存在のより大きな部分となり、この結果、個人がより内向きになる。確証バイアスは、終わることのないループとなり、このようにして、フェイクニュースと本当のニュースが混ざり合い、区別できなくなる。
【0010】
このＤＭＮ優位な状態では、ユーザは、ユーザの内部バイアスを確認する情報を、考えなしに、消費し、好み、再投稿する。インターネットがければ、あなたがどんな意見を持っているのか、あなたがアレサフランクリンの死に心を痛めているかどうかなど、実際のところ誰も気にしかったとはいえ、ユーザは、急いで意見を表明し、グループに参加する。個人が亡くなったときによく見られるように投稿スピードは自動化されており、ユーザは、遺族とは対照的に、（再投稿することによって）いち早くニュースを報じるか、又はオンラインで（他の人に）哀悼の意を表明する。これは、「look at me」という現象である。
【0011】
本発明は、データ収集、データ処理、及びユーザ対話という３つの部分から構成される。データ収集ツールは、完全又は半完全な匿名環境で個人のパネルを使用する。同一のパネルが、毎週、定められた２４時間又は４８時間の間に、同じ質問、好ましくは１０個の質問のセットに回答する。パネルは、数週間（例えば４～６週間）にわたって活動する。データ処理ツールは、週ごとの質問のコンセンサスを計算し、次いで、好ましい回答ゾーン（例えば、コンセンサス＋／－５％～２０％）を特定する。システムは、所与の週に好ましい回答ゾーンに最も多く現れるユーザを分析し、パワーユーザとして特定する。続いて、システムは、パワーユーザから回答を収集し、比較する。一般に、コメントに現れる共通のテーマを特定するためには、上位３～７人のパワーユーザからの回答だけが必要である。そのテーマは、触媒問題（catalyst issue）であると考えられる。次の週では、テストのためにこの触媒問題が分割グループに提示され得る。触媒問題が週ごとの感情の変化に与える影響は、暗黙のデルタ（Implicit Delta）であると考えられ、より大きな消費者の基盤にわたって有効性の観点で触媒問題をランク付けするために使用される。特定されると、触媒問題はまた、その後の販売活動と比較して、ある地域での触媒問題の異常な使用の過去の発生率を特定するためにバックワードテストされ得る。最後に、情報は、ダッシュボードで消費者に提示され、それによって、エンドユーザは、この情報をユーザのマーケティングプラットフォームに迅速に実装することができる。
【0012】
外国からのソーシャルメディアの操作に対抗するためにツールを使用する場合、異常な使用について触媒問題が監視され、潜在的な操作が検出されると、個人のニュースフィードがスローダウンされるため、確証バイアスの受信に関連する即時の満足感をターゲットから奪う。このスローダウンにより、ユーザが生成した割り込みイベント（ユーザ自ら始めたプロセスの中断）、操作の試みの影響に反作用して、軽減することができる。自動化された考えなしの回答から個人を取り除くことで、操作イベントを再投稿（及び再確認）する回数及び頻度を減らすと考えられる。
【0013】
本開示は、特に添付の特許請求の範囲において指摘される。本開示の特徴は、本明細書とともに提供される図面を含む本開示全体を検討することにより、より明らかになるであろう。
【0014】
本明細書におけるいくつかの特徴は、同様の参照番号が同様の要素を指す添付の図面の図において、限定ではなく例として例示されている。
【図面の簡単な説明】
【0015】
【図1】単一のホストシステムの概略的な例である。
【図2】分散システムの概略的な例である。
【図3】乱数ユーザトラッキングを伴うインターフェースの概略的な例である。
【図4】乱数ユーザトラッキングモジュールの例示的なフロー図である。
【図5】拡張可能な乱数ユーザトラッキングモジュールの例示的なフロー図である。
【図6】ユーザによる乱数ユーザトラッキングモジュールを使用した投稿の例示的なフロー図である。
【図7a】基本的なインターフェースの例示的な図である。
【図7b】コンセンサスからのずれを示す斜線の矢印の例示的な図である。
【図7c】基本的なデータ構造の概略図である。
【図8a】脅威検出の実施の例示的なフロー図である。
【図8b】触媒問題テストモジュールの例示的なフロー図である。
【図8c】検証及び脅威レベル設定モジュールの例示的なフロー図である。
【図8d】二次検出プログラムの概略図である。
【図9】失敗した予想テストの例示的なフロー図である。
【図10】生触媒問題テストの例示的なフロー図である。
【図11】システムデータベースフォーマットの例示的な概略図である。
【図12】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図13】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図14】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図15】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図16】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図17】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図18】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図19】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図20】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図21】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図22】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図23】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図24】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図25】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図26】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図27】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図28】本発明の態様を組み込んだ例示的なフロントエンド製品のスクリーンショットである。
【図29】検疫（quarantined）システムの概略的な例である。
【図30】一実施形態の例示的なフロー図である。
【図31】ニュースをスクリーニングする実施形態の例示的なフロー図である。
【図32】ユーザの投稿をスクリーニングする実施形態の例示的な実施形態である。
【図33】ブロック投稿のサブルーチンの例示的な実施形態である。
【図34】可変頻度遅延システムの例示的な実施形態である。
【図35】可変頻度遅延システムの例示的な実施形態である。
【図36】マルチユーザスクリーニング及び検疫システムの例示的実施形態である。
【発明を実施するための形態】
【0016】
本発明は、モチベーションとなる洞察の抽出においてグループダイナミクスが持つ独自の役割を認識する。システムを説明するためには、トピックから逸脱してグループ予想を理解する必要がある。
【0017】
Ａ．ハードウェア
いくつかの実施形態では、本明細書で開示される技法は、１つ又は複数のコンピューティングデバイス上で実装される。例えば、図１は、ユーザコンピューティングデバイス２ａ，２ｂ，２ｃと、データベース６を有するデータ供給元のコンピューティングデバイス５と、ホストコンピューティングデバイス３及び関連データベース４とを例示するブロック図である。図２に示されるように、複数のホストサーバ７及び８が使用されること及びハードウェア構成に含まれることができる。
いくつかの実施形態では、本明細書で開示される技法は、１つ又は複数のコンピューティングデバイス上で実装される。例えば、図１は、ユーザコンピューティングデバイス２ａ，２ｂ，２ｃと、データベース６を有するデータ供給元のコンピューティングデバイス５と、ホストコンピューティングデバイス３及び関連データベース４とを例示するブロック図である。図２に示されるように、複数のホストサーバ７及び８が使用されること及びハードウェア構成に含まれることができる。
【0018】
コンピューティングデバイスは、一般に、情報を通信するためのバス又は他の通信機構と、情報を処理するためにバスに結合されたハードウェアプロセッサとを含む。ハードウェアプロセッサは、例えば、汎用マイクロプロセッサ又はシステムオンチップ（ＳｏＣ）であり得る。
【0019】
コンピューティングデバイスはまた、情報とプロセッサによって実行されるべき命令とを記憶するためにバスに結合された、ランダムアクセスメモリ（ＲＡＭ）又は他の動的な記憶デバイスのようなメインメモリを含むことができる。メインメモリはまた、プロセッサによって実行されるべき命令の実行中にテンポラリ変数又は他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサがアクセス可能な非一時的記憶媒体に記憶されると、コンピューティングデバイスを、これらの命令に指定されている動作を実行するようにカスタマイズされた専用マシンにする。
【0020】
コンピューティングデバイスは、プロセッサのための静的情報及び命令を記憶するための、バスに結合された読取り専用メモリ（ＲＯＭ）又は他の静的な記憶デバイスを更に含むことができる。
【0021】
磁気ディスク、光ディスク、又はソリッドステートドライブのような記憶デバイス４が提供され、情報及び命令を記憶するためにバスに結合される。
【0022】
コンピューティングデバイスは、情報をコンピュータユーザに表示するために、液晶ディスプレイ（ＬＣＤ）又は他の電子視覚ディスプレイのようなディスプレイ３ａにバスを介して結合され得る。ディスプレイ３ａはまた、タッチジェスチャ（例えば、指又はタッチペン）入力をプロセッサに通信するためのタッチ感知ディスプレイであり得る。英数字キー及び他のキーを含む入力デバイス３ａは、情報及びコマンド選択をプロセッサに通信するためにバスに結合される。別のタイプのユーザ入力デバイスは、指示情報及びコマンド選択をプロセッサに通信し、ディスプレイ３ａ上のカーソル移動を制御するための、マウス、トラックボール、又はカーソル方向キーのようなカーソル制御である。この入力デバイスは、典型的には、２つの軸、すなわち第１の軸（例えばｘ）及び第２の軸（例えばｙ）における２つの自由度を有しており、これにより、デバイスは、平面において位置を指定することができる。
【0023】
ホストコンピューティングデバイス３は、カスタマイズされたハードワイヤードロジック、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、１つ又は複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ファームウェア、又はプログラムロジックを使用して、本明細書で説明する技法を実装し得、これらは、コンピューティングデバイスと組み合わせて、コンピューティングデバイスを専用マシンにするか又は専用マシンにプログラムする。いくつかの実施形態によれば、本明細書の技法は、プロセッサがメインメモリに含まれる１つ又は複数の命令の１つ又は複数のシーケンスを実行することに応答してコンピューティングデバイスによって実行される。そのような命令は、記憶デバイスのような別の記憶媒体からメインメモリに読み込まれ得る。メインメモリに含まれる命令のシーケンスの実行は、プロセッサに本明細書で説明されるプロセスステップを実行させる。代替的な実施形態では、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。
【0024】
本明細書で使用される場合、「記憶媒体」という用語は、マシンを特定の方式で動作させるデータ及び／又は命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含み得る。不揮発性媒体は、例えば、光ディスク、磁気ディスク、又は記憶デバイスのようなソリッドステートドライブを含む。揮発性媒体は、メインメモリのような動的メモリを含む。記憶媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップ又はカートリッジが含まれる。
【0025】
記憶媒体は、伝送媒体とは異なるが、伝送媒体一緒に使用され得る。伝送媒体は、記憶媒体間での情報の伝達に関与する。例えば、伝送媒体は、バスを構成するワイヤを含めて、同軸ケーブル、銅線、及び光ファイバを含む。伝送媒体は、電波及び赤外線によるデータ通信の際に発生するような音波又は光波の形態をとることもできる。様々な形態の媒体が、実行のために１つ又は複数の命令の１つ又は複数のシーケンスをプロセッサに搬送することに関与し得る。例えば、命令は、最初、リモートコンピュータの磁気ディスク又はソリッドステートドライブ上で搬送され得る。リモートコンピュータは、その動的メモリに命令をロードし、モデムを使用して電話回線を介して命令を送ることができる。コンピューティングデバイスのローカルモデムは、電話回線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ、適切な回路が、データをバスに置くことができる。バスは、データをメインメモリに搬送し、そこから、プロセッサが、命令を検索して実行する。メインメモリによって受信された命令は、オプションで、プロセッサによる実行の前又は後に記憶デバイスに記憶され得る。
【0026】
ホストコンピューティングデバイス３はまた、バスに結合された通信インターフェースを含む。通信インターフェースは、ローカルネットワーク１に接続されたネットワークリンクへの双方向データ通信結合を提供する。例えば、通信インターフェースは、総合デジタル通信網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、又は対応するタイプの電話回線へのデータ通信接続を提供するモデムであり得る。別の例として、通信インターフェースは、互換性のあるＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。ワイヤレスリンクも実装され得る。任意のそのような実装形態では、通信インターフェースは、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、又は光信号を送受信する。
【0027】
ネットワークリンクは、典型的には、１つ又は複数のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンクは、ローカルネットワークを介して、インターネットサービスプロバイダ（ＩＳＰ）によって操作されるデータ機器又はホストコンピュータへの接続を提供し得る。次いで、ＩＳＰは、現在一般に「インターネット」と呼ばれているワールドワイドパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク及びインターネットは両方とも、デジタルデータストリームを搬送する電気信号、電磁信号、又は光信号を使用する。様々なネットワークを介した信号並びにネットワークリンク上の及び通信インターフェースを介した信号は、コンピューティングデバイスとの間でデジタルデータを搬送するものであり、伝送媒体の例となる形態である。
【0028】
コンピューティングデバイスは、ネットワーク（複数可）、ネットワークリンク、及び通信インターフェースを介して、メッセージを送り、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバは、インターネット、ＩＳＰ、ローカルネットワーク、及び通信インターフェースを介して、アプリケーションプログラムのための要求されたコードを送信し得る。受信されたコードは、受信されるとプロセッサによって実行され得、及び／又は後で実行するために記憶デバイス又は他の不揮発性ストレージに記憶され得る。
【0029】
ソフトウェアシステムは、典型的には、ホストコンピューティングデバイス３の動作を制御するために提供される。ソフトウェアシステムは、通常メインメモリ及び固定ストレージ（例えば、ハードディスク）に記憶されるものであり、プロセスの実行、メモリ割り当て、ファイル及びネットワーク入出力（Ｉ／Ｏ）、並びにデバイスＩ／Ｏを管理することなど、コンピュータ動作の低レベルのアスペクトを管理するカーネル又はオペレーティングシステム（ＯＳ）を含む。ＯＳは、例えば、ＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ（登録商標）、ＳＵＮ ＳＯＬＡＲＩＳ （登録商標）、又はＬＩＮＵＸ（登録商標）のような従来のオペレーティングシステムによって提供され得る。
【0030】
クライアントソフトウェアすなわち「プログラム」又はプロセッサ実行可能命令のセットのような１つ又は複数のアプリケーション（複数可）もまた、コンピュータによる実行のために提供され得る。アプリケーション（複数可）は、ストレージ４からメインメモリに「ロード」され得るか、ネットワークロケーション（例えば、インターネットウェブサーバ）からダウンロードされ得る。グラフィカルユーザインターフェース（ＧＵＩ）は、典型的には、ユーザコマンド及びデータをグラフィカル（例えば、「ポイントアンドクリック」又は「タッチジェスチャ」）方式で受信するために提供される。次いで、これらの入力は、ＯＳ及び／又はアプリケーション（複数可）からの命令に従ってコンピューティングデバイスの作用を受け得る。グラフィカルユーザインターフェースはまた、ＯＳ及びアプリケーション（複数可）からの動作の結果を表示するように機能する。
【0031】
Ｂ．感情を抽出するためのゲーム化された予想方法
グループ予想の１つの一般的な方法は、デルファイ法である。そのシステムでは、専門家のパネルが使用され、２ラウンド以上、アンケートに回答する。各ラウンドの後、ファシリテータは、前のラウンドの予想の匿名化されたサマリーを提供する。プロセスは、事前に定義された停止基準（例えば、ラウンド数、コンセンサスの達成度、結果の安定性）の後に停止し、最終ラウンドの平均値又は中央値スコアにより結果が決定される。
グループ予想の１つの一般的な方法は、デルファイ法である。そのシステムでは、専門家のパネルが使用され、２ラウンド以上、アンケートに回答する。各ラウンドの後、ファシリテータは、前のラウンドの予想の匿名化されたサマリーを提供する。プロセスは、事前に定義された停止基準（例えば、ラウンド数、コンセンサスの達成度、結果の安定性）の後に停止し、最終ラウンドの平均値又は中央値スコアにより結果が決定される。
【0032】
その対極には予測市場がある。これらは一般に、イベントの結果に基づいて取引を行うことを目的として作られた取引所市場である。市場価格は、本質的に、イベントが発生する確率に変換される。予測市場は、所与の時点でのユーザの期待値に対する洞察を与えることができるが、その期待値が、なぜ又はどのような状況下で変化するのかについて説明するものではない。
【0033】
これら２つのタイプの間に位置するのが、集約コンセンサス予想である。インテリジェンス高等研究計画活動（ＩＡＲＰＡ）は、集団的偶発的推定（ＡＣＥ）プログラムを開始した。その後、ＡＣＥは、GodJudgmentOpen（www.gjopen）、Hypermind（www.hypermind.com）のようなプラットフォームで具体化され、同様のシステムがMetaculus（www.metaculus.com）によって使用された。ＡＣＥの理論は、バイアスがかかった人々のグループを組み合わせることで、個人のバイアスが相殺され、純粋な予想が残るというものである（https://www.iarpa.gov/index.php/research-programs/ace）。予想は、所与のイベントに対するグループの集合的期待値を定義する。これらのシステムでは、ブライアスコアを使用して予想精度を定義している。ブライアスコアを計算するために、予想が１０進数に変換され、次の式が使用される：
（予測）２＋（０－（１－予測）２
例えば、イベントが発生し、イベントが発生する予想が７５％であった場合、ブライアスコアは、（１－０．７５）２＋（０－０．２５）２＝０．１２５となる。予想が５０％であれば、ブライアスコアは０．５となる。精度スコアは、コンセンサスとユーザの予想との比較である。
（予測）２＋（０－（１－予測）２
例えば、イベントが発生し、イベントが発生する予想が７５％であった場合、ブライアスコアは、（１－０．７５）２＋（０－０．２５）２＝０．１２５となる。予想が５０％であれば、ブライアスコアは０．５となる。精度スコアは、コンセンサスとユーザの予想との比較である。
【0034】
予想が最終的に正確であるか否かは、膨大な量のデータを必要とし、その場合でも、基礎となる予想の精度が高いかどうかはほとんど関係ない。ハリケーンがマイアミに直撃する確率が８０％であったか８３％であったかは重要ではなかった。従って、本発明は、イベントの可能性を予測するためには予想を使用しない。むしろ、本発明は、予想を賭け事のような感情の表現として扱い、感情の変化を監視する方法として、事前設定された時間に同じグループの人々が同じ問題に対して行った予想の相対的変化を使用する。本発明は、正しい予想が８０％であったか８３％であったかではなく、その予想が毎週どのように発展及び変化したかに関係している。
【0035】
本発明は、二分法であろうと多分法であろうと、予想が人間の期待を定義すると仮定する。例えば、「ハリケーンＸはマイアミに直撃するでしょうか？」であれば、考えられる回答は、「はい」、「いいえ」、又は「わかりません」となる。これをパーセンテージに換算すると、「はい」は５１％～１００％であり、「わかりません」は５０％であり、「いいえ」は０％～４９％である。従来のシステムは、予測と予測の信頼水準とを区別する。例えば、ハリケーンが直撃するとする予測は８０％であるが、信頼水準は８０％である。平均的な人は、信頼水準が８０％である８０％の予想が６４％の予想と等しいか否かを判断することができない。本発明は、この二分法を無視し、個人のパーセンテージ（例えば、６０％対８０％）がグループの許容可能な行動のレベルを定義すると仮定する。パーセンテージが６０％であるか８０％であるかにかかわらず、ハリケーンが直撃する可能性がある。変化するのは、予測を受けて個人がどのように行動するかである。避難は、８０％では社会的に受け入れられ得るが、６０％では受け入れられないであろう。予想エンティティ（例えば、ウェザーチャネル）によって過大評価が繰り返されると、人々は予想を軽視するようになり、社会的に許容可能な行動のレベルが変化することとなる。
【0036】
本発明は、感情の検出を、人間が正確な入力を提供する可能性がより高い状態にキャリブレーションすることができる。一般に、予想は、人間がリスクを認識する仕方において線形関係を想定している。プロのギャンブラーは、一般に、リスクの高い職業に従事していると考えられる。企業の価値を賭けることは悪いことであり、責任を問われる可能性がある。プロのギャンブラーの勝率は、５３～５４％、時には５５％になる。これは予期され得ることであるが、予期されないのは、人々が無責任な行動から責任ある行動に転じるということである。本文書は特許出願であるので、特許請求の範囲のクレーム解釈の破棄についての連邦司法省の統計を見てみると、１１年の期間にわたって、地方裁判所が、上訴されたクレーム解釈に対して正しかった確率は６１．８％でした（https://patentlyo.com/patent/2008/02/claim-construct-4.html）。この研究から、少なくとも１つの用語が３８．２％の確率で間違っていたことが分かった。解釈の７０％が正しく、３０％の誤りが無効にされたり破棄されたりした。ビジネス全体の基礎となり、良好な企業市民となるのに十分な確実性は、６１．８％の確率で正しいことで達成される。これらの数字からすると、一般的にリスクの高い職業として考えられるもの（５５％）と固体の信頼できるシステム（７０％）との間には差があり、転機は、５５％と７０％との間のこの１５％の差にある。７０％を超える予想は、５５％～７０％の範囲と比較して、許容可能な人間の行動の変化がより小さいことを表す可能性が高い。従って、３０％～７０％の間に入る予想は、集団行動の変化を正確に反映する可能性がより高い。この範囲は、３０％～４５％及び５５％～７０％に更に細かく区別され得る。
【0037】
次に、予想と予測との間には、グループ予想では無視され、結果を歪めてしまう差がある。既存のグループ予想サイトは、すべての予想及び予測を等しく扱い、一般に、最新の４０％の予想を使用してコンセンサスを計算する（www.gjopen.com参照）。投票率の使用は、プロセスの開始時にボラティリティを生み出し、予想及び予測の数が増加するにつれて、後続の各予想がコンセンサスに与える影響は小さくなる。予想及び予測の数及びタイミングは計算を歪める。ボラティリティの減少は二次的効果を有する。人間の脳は、小さな段階的変化をあまり認識することができない。従って、６３％から６７％そして７１％にゆっくりと上昇する仮想の予想は、重み付けされない場合の仮想のデータがおそらく６３％から６４％そして７４％に上昇すると同じようには人々に影響を与えない。意図的又は非意図的なデータの重み付けによってコンセンサス感度が低下すると、コンセンサスは、人間の行動パターンを変えることにつながる変化を見逃す可能性がある。
【0038】
現在のシステムでは、予測は、新しい情報が出現しても変更されず、時間的にロックされた１回限りの予想である。賭けは、予測の一形態である。賭けのオッズは、賭けが行われた時点で決定されて所定の位置にロックされる。新しい要因を無視すれば、予測は、ブラックスワンイベントの可能性を無視することもでき、０％又は１００％として表現され得る。しかしながら、予想は、反復的であり、新しい情報に基づいて更新又は確認される。それらはまた、不測のイベントの発生を考慮する傾向がある。予想は、時間とともに変化する必要はないが、本質的には再確認される。すべての予想が単一のイベントとして開始するため、それらは、更新又は再確認されるまでは一時的な予測である。本発明は、この矛盾を認識し、グループ予想に対する予測の望ましくない影響を除去するために時間ベースでコンセンサスを計算及び再計算する動的なシステムを提供する。そうすることで、集団行動及び許容可能な行動のレベルのより正確な状況を把握することができる。
【0039】
代替案では、本発明は、パネルの週ごとの感情状態を表すために、質問ごとかつパネルごとである週単位のコンセンサスを使用する。コンセンサスは、週単位で時間依存型であり、感情の変化を決定するために週ごとに比較されるのはその時間依存型のコンセンサスである。パネルメンバーが週単位の予想を１回逃した場合、そのパネルメンバーは、パネルの残りの期間の間、その後の参加から除外され得る。３週間及び６週間のパネルが使用されている。４週間のパネルでは、２週分が抽出週に、２週分がテスト週に割り当てられ、６週間のパネルでは、３週分が抽出週に、３週分がテスト週に割り当てられる。パネルメンバーは、６週間のパネルの終わりには１０～２０％減少する傾向がある。従って、１００人パネルは、１２０人のメンバーで開始して、６週間の終わりに９０～１００人まで減少し得る。
【0040】
仮想のデータを使用して、異なるコンセンサス方法を比較することができる。この例に使用された仮想のデータは以下の通りである：
この例では、予想のときにユーザの順序も考慮される。投票率を計算するときには、投票数の切り上げ又は切り捨てを行った。
【表1】
【表2】
【0041】
アンカリングとは、脳が、目前の質問に関連していることもしていないこともあるデータの初期値に大きく依存する認知バイアスである。アンカリングフィードバックは、結果を歪めるＡＣＥでは無視される。従って、現在のコンセンサス、ユーザプロファイル、精度スコアなどを公開することは、いずれも、ユーザの予想にバイアスをかける。ハリケーンがマイアミに直撃する確率が８０％であると予想者に最初に伝えてあった場合、２０％が適切であることを予想者のモデルが示していても、予想者は、２０％ではなく８０％に近い予想を提供する可能性が高い。上の仮想のデータからすると、第４週までのコンセンサス計算を知った上で第５週に行われた最初の予想（例えば予測）は、ユーザが触れたコンセンサス計算によって異なる。ユーザがＧＪＯｐｅｎモデルしか見ていない場合、ユーザは、コンセンサスの急激な低下を考慮に入れて、更に低い予想を行う傾向があり得る。予測を取り除いた２週間の平均値だけにユーザが触れた場合、コンセンサスの比較的平坦な性質は、ユーザをより中立的な予想に導き得る。
【0042】
最後に、質問がどのように提示されるかは無視される。これは正しくない。「ハリケーンＸはマイアミに直撃するでしょうか？」という質問は、「ハリケーンＸはマイアミに直撃しないでしょうか？」とは全く異なる。本発明は、この概念を認めず、質問の構成が、前提ひいては関連するバイアスに影響を与えることを認識する。
【0043】
Ｃ．バイアスの抽出方法
本システムは匿名性を保った状態で開始する。ユーザは、匿名であるときに自分の意見を述べる可能性が高い。個人の身元がわかる情報は、システムの動作に必要ない。
本システムは匿名性を保った状態で開始する。ユーザは、匿名であるときに自分の意見を述べる可能性が高い。個人の身元がわかる情報は、システムの動作に必要ない。
【0044】
一般に、１００人パネルが使用される。パネルは一定期間（例えば、６週間）設置されている。個人の参加は減少し得るため、パネルは、定員超過した状態であり得るが、期間の終了時には、定員に満たない状態になり得る。純粋な触媒問題の抽出を行う目的では、２５人程度の小さいパネルでも機能し得るが、パネルが小さいほど、その後のパネル分割及びＡ／Ｂテストができなくなる。パネルは少なくとも５０人の参加を維持することが好ましい。平均で１００人を維持しようとすることで、パネルテストが可能になり、コンセンサス忠実度が高まる。
【0045】
各パネルには、その期間の間、毎週同じ質問セットが与えられる。質問セットは、１年間にわたって所与の問題のセットを監視するために複数のパネルについて維持される。第２週では、パネルメンバーは、パネルメンバーの前週の予想とグループの前週のコンセンサスとが示される。
【0046】
各質問に対して、個人は、確実性（はい／いいえ）を使用して意見を述べるのではなく、パーセンテージ（例えば、イベントが発生する確率が７０％）で個人の意見を求められる。
【0047】
好ましい実施形態では、ユーザは、毎週同じ時間に質問セットに予想を入力することだけが許されている。２４時間及び４８時間のウィンドウが好ましい。パネルメンバーは、システムが開くとすぐに毎週回答する人と、システムが閉じる直前に回答する人から構成される傾向がある。ウィンドウが開いている時間が長いほど、途中で入ってくるニュースによって後の回答が歪められる傾向が大きくなる。好ましくは、システムは、毎週同じ２４時間（例えば、毎週金曜日）の間だけ、週１回の入力（weekly input）を許可する。これは、グループの週ごとの感情変化を比較するための一貫した時間ベースのコンセンサスを提供する。
【0048】
本発明は、群れ理論に基づいており、これは、群れのメンバーを群れのコンセンサスから離れた所定の感情範囲内に存在するものとして定義する。換言すると、週単位で、質問１に対するグループコンセンサスが５７％である場合、群れに適合していると見なされる人の境界線は、コンセンサスから＋／－２０％、つまり３７％及び７７％のところに現れる人であると定義され得る。３７％未満又は７７％超の予想を有する個人は、感情的に群れから遠く離れていると考えられ、その推論は単純に却下される。群れの中心にいる個人、例えばコンセンサスから＋／－５％は、増幅された場合に群れの感情的な中心を動かすこととなる意見を述べているのではなく、感情的な中心を表していると考えられる。従って、増幅された場合により大きいグループを動かす推論が表現された可能性があるゾーンとして、＋／－５％から２０％の２つの範囲が特定される。範囲は変化させることができるが、テストは、５％の下限値と２５％の上限値が有効であることを示した。
【0049】
所与の週に質問ごとに上のゾーンと下のゾーンにおいてユーザを計算した後、システムは、これらのゾーンにおいて最も多くの回答を有するユーザを特定する。これらのユーザは、パワーインフルエンサと呼ばれる。上位のパワーインフルエンサからのコメントは、共通テーマのために分析される。２人のユーザが同一のコメントを提供することはほとんどないが、共通のテーマは現れる。これらの共通のテーマは、触媒問題と呼ばれ、グループ全体に増幅されると、グループの感情的な中心を動かし得る。
【0050】
１．概要例
グループ予想に関するこれら及び他の問題を認識することで、システムを修正して、他の要素と組み合わせ、バイアスを抽出することができる。次いで、この抽出されたバイアスは、マーケティング（バイアスを特定して製品販売に使用する）又は脅威検出（他の人によって使用されているバイアスを特定する）に使用することができる。
グループ予想に関するこれら及び他の問題を認識することで、システムを修正して、他の要素と組み合わせ、バイアスを抽出することができる。次いで、この抽出されたバイアスは、マーケティング（バイアスを特定して製品販売に使用する）又は脅威検出（他の人によって使用されているバイアスを特定する）に使用することができる。
【0051】
システムは、理想的には、あるレベルの匿名性を保った状態で開始する。ユーザは、予想がユーザのプロファイル及びユーザがインターネット上でフォローしている先に起因することなく、安心して質問を予想することができなければならない。しかし、このシステムでは、同じユーザがログインして複数の予想を行うことを可能にしないわけにはいかない。本発明は、ログインホストが一連の乱数を生成するログインシステムを提案する。ユーザは、１つの数字を抽出し、この数字が回答に以前に関連付けられたものであるかどうかを確認するために質問をチェックする。そうである場合、２つ目の数字が選択される。そうでない場合、ユーザは、ユーザの質問Ｘのトラッキング番号として、その数字を自分に割り当てる。次いで、自分で割り当てたトラッキング番号を使用して、予想を構築する。ホストシステムは、トラッキング番号に関連するすべての予想及びコメントを集約する。ローカルに保持されているか、ホストサイトで暗号化されているかにかかわらず、ユーザが請求して使用したトラッキング番号を知っているのはユーザだけである。匿名性により、ユーザは、反響を恐れずに自分の意見を述べることができる。これにより、システムは、州及び国境線を越えて導入されることができ、個人ユーザデータに対する異なる制限に準拠することもできる。質問レベルでの追跡は、それにより、匿名性を保った状態でも予測を選択的に削除し、より正確なコンセンサスを決定することができるという点で追加の利点を有する。匿名性はまた、プロファイルに関連するアンカリングフィードバックを減少させる。
【0052】
次に、（ｉ）イベント、（ｉｉ）イベントの経済的側面、（ｉｉｉ）イベントを取り巻く個人の安全、（ｉｖ）イベントを取り巻く健康と福祉、及び（ｖ）イベントを取り巻く人口統計に触れた複数の質問を単一の問題に対して行うことが好ましい。理想的には、１つよりも多くの質問が尋ねられ、その質問が複数の方法で言い表されて、集中して所望のバイアスを抽出する。例えば、以下の質問は、すべて単一のイベントに関するものであるが、異なる前提を推論し、選択されたバイアスを抽出するために、異なる言い回しで表現され得る：
（ｉ）今後３か月の間にサンフランシスコで電動スクータをレンタルするのは１０，０００人以上でしょうか？
（ｉｉ）今後３か月の間にサンフランシスコで電動スクータをレンタルするのは１０，０００人未満でしょうか？
（ｉｉｉ）今後３か月の間にサンフランシスコのＥＲに登録されるスクータ関連の負傷の数はいくつでしょうか？
（ｉｖ）今後３か月の間にサンフランシスコで電動スクータの未成年者による使用が４０％を超えるでしょうか？
（ｉ）では、１０，０００台のレンタルの達成が困難なタスクであることが前提である。（ｉｉ）では、前提は反対であり、１０，０００台が達成可能である。同じプラットフォームに質問（ｉ）及び（ｉｉ）があると回答に影響を与えるため、システムは、複数のプラットフォームにわたって質問を展開し、次いでデータを集約することができる。次に、これらの質問についての予想コンセンサスは、抽出されるバイアスのタイプ及びそれがどのように使用されるかを定義する。
（ｉ）今後３か月の間にサンフランシスコで電動スクータをレンタルするのは１０，０００人以上でしょうか？
（ｉｉ）今後３か月の間にサンフランシスコで電動スクータをレンタルするのは１０，０００人未満でしょうか？
（ｉｉｉ）今後３か月の間にサンフランシスコのＥＲに登録されるスクータ関連の負傷の数はいくつでしょうか？
（ｉｖ）今後３か月の間にサンフランシスコで電動スクータの未成年者による使用が４０％を超えるでしょうか？
（ｉ）では、１０，０００台のレンタルの達成が困難なタスクであることが前提である。（ｉｉ）では、前提は反対であり、１０，０００台が達成可能である。同じプラットフォームに質問（ｉ）及び（ｉｉ）があると回答に影響を与えるため、システムは、複数のプラットフォームにわたって質問を展開し、次いでデータを集約することができる。次に、これらの質問についての予想コンセンサスは、抽出されるバイアスのタイプ及びそれがどのように使用されるかを定義する。
【0053】
例えば、質問（ｉ）に対するコンセンサスが７０％であり、サンフランシスコで３か月の間に１０，０００台を超えるスクータのレンタルがあるという比較的高いレベルの楽観性を表す場合、質問（ｉｉ）に対するコンセンサスは３０％であるべきであると想定され得る。バイアスが明示されていないため、本発明は、これらの質問が相関しないと仮定する。その相違は、予想に影響を与えている明示されていないバイアスが原因の一部である。表されるバイアスは、投稿時の質問とコンセンサスとの関数である。従って、システムは、理想的には、バイアス抽出に対してシードするために（seed）、関連するトピック又は同一のトピックに対して複数の質問を使用するが、要求はしない。
【0054】
触媒問題は、コンセンサスと比較してより高い又はより低い予想を正当化するために使用される、ユーザによって表される問題である。予想－コンセンサス差（Ｆ－Ｃデルタ）は、極端（例えば、コンセンサスが７５％であるときに予想が５％）であってはならない。グループは、極端なものを表す予想を軽視し、無視する傾向がある。Ｆ－Ｃデルタは、コンセンサスから＋／－５０％であっても、依然として説得力がある。アッカーマンの交渉定理（６５％、８５％、９５％、及び１００％の提示）の使用もまた、現在のコンセンサスから＋／－６５％である予想を特定するために使用されることができる。コンセンサス不変量（consensus invariant）であるＦ－Ｃデルタも妥当であり、特定の差分に対する人間の選好を好む傾向がある。コンセンサスに関係なく１９％の差は、説得力があるように見えるため、その説明は、触媒問題として捉えられる。
【0055】
質問（ｉ）に対するコンセンサスが７５％であり、誰かが６０％の確率を予想した場合、これは依然として正の予想であると考えられるが、１５％の差は負のバイアス要因であると考えられる。この例では、ユーザが、自分の予想の根拠として、不潔な通り／ホームレスキャンプを特定した場合、この説明は、負の要因として追跡され、これは、本明細書では触媒問題と呼ばれる。
【0056】
３０％～７０％の範囲の予想から得られる触媒問題は、人間の行動の変化と相関する可能性がより高い範囲の予測を反映しているため好ましい。
【0057】
Ｄ．触媒問題のテスト
触媒問題が抽出された後、次の段階はテストである。
触媒問題が抽出された後、次の段階はテストである。
【0058】
アクティブテストは、参加者を分割し、次いでこの問題がテストされるニュースフィードに触れさせることができるフロントエンドアプリケーションを使用して最良に最適化される。アクティブテストでは、グループは対照グループとテストグループとに分けられる。第Ｘ週では、両方のグループにニュースを見せない。第Ｘ＋１週では、テストされる問題を具体化した記事へのリンクという形でテストグループにニュースを提供する。サブグループについてのコンセンサスは、Ｘ週目からＸ＋１週目まで比較され、累積的差分は暗黙のデルタ（Implicit Delta）（ニュースを紹介したことで生じた感情の変化率）と呼ばれる。
暗黙のデルタ＝
（第Ｘ週の対照コンセンサス－第Ｘ＋１週の対照コンセンサス）－
（第Ｘ週のテストコンセンサス－第Ｘ＋１週のテストコンセンサス）
暗黙のデルタ＝
（第Ｘ週の対照コンセンサス－第Ｘ＋１週の対照コンセンサス）－
（第Ｘ週のテストコンセンサス－第Ｘ＋１週のテストコンセンサス）
【0059】
コンセンサスによる動きは、問題が特定の方向でコンセンサスに影響を与える感情に結び付けられていることを確認する。これにより、影響を与えようとしている製品又は問題に結び付けるためのループが得られる。
【0060】
前向きのパッシブテストでは、ニュース又はオンラインコミュニティで問題が発生していないかが監視される。その問題がニュースでスパイク（通常よりも増加又は減少）したら、それは、コンセンサスに有機的に影響を与えるはずである。その後コンセンサスがスパイクすれば、その問題は、ホットボタンイシュー（触媒問題）であると確定される。負の影響はコールドボタンイシューである。その後の動きを確認する期間は、ユーザエンゲージメント及びニュース周期のようないくつかの要因に左右されるが、一般には、スパイクが検出されてから７日以内に現れる。
【0061】
後向きのパッシブテストでは、ニュース又はオンラインコミュニティで問題が異常に発生していなかが監視され、その後の製品販売又は所望の感情状態に関連する他のイベントと比較される。これにより、触媒問題の影響をより確信するために使用され得る大まかな相関関係を得ることができる。
【0062】
抽出されたバイアスには時間依存性があり、前向きのパッシブテスト及び後向きのパッシブテストは、触媒問題の適用可能な時間ウィンドウが変化したことが一因で、失敗する可能性がある。
【0063】
Ｅ．確認された触媒問題の用途
触媒問題が確認された後、その情報には複数の用途がある。所望の結果が、期待される人間の行動を確認された方向に動かすことである場合、この問題でメディアを飽和させることが有効なツールであり得る。触媒が期待を間違った方向に動かす場合には、カウンターメッセージ最適化のために二次テストを採用することができる。
触媒問題が確認された後、その情報には複数の用途がある。所望の結果が、期待される人間の行動を確認された方向に動かすことである場合、この問題でメディアを飽和させることが有効なツールであり得る。触媒が期待を間違った方向に動かす場合には、カウンターメッセージ最適化のために二次テストを採用することができる。
【0064】
Ｆ．ログイン及びトラッキング番号
本発明は、匿名の質問トラッキング番号を使用して、質問に対するユーザの回答を追跡するオプションを含む。この特徴は、本発明での使用に限定されるものではなく、他の目的でも使用され得る。本発明の文脈では、個人ユーザデータを収集する必要なく、質問レベルでの予想の追跡を可能にする。これにより、個人ユーザデータの収集及びエクスポートに関して異なる法的必要条件が課せられ得る複数のシステムに本発明を展開することができる。
本発明は、匿名の質問トラッキング番号を使用して、質問に対するユーザの回答を追跡するオプションを含む。この特徴は、本発明での使用に限定されるものではなく、他の目的でも使用され得る。本発明の文脈では、個人ユーザデータを収集する必要なく、質問レベルでの予想の追跡を可能にする。これにより、個人ユーザデータの収集及びエクスポートに関して異なる法的必要条件が課せられ得る複数のシステムに本発明を展開することができる。
【0065】
図３に示されるように、ホストコンピューティングデバイスは、要求を、予想プロセスに関連するサーバ３５及びデータベース４か、又はＲＡＭ３２、コントローラ３３、及び乱数発生器（ＲＮＧ）３４に分岐させるインターフェース３１を含む。
【0066】
ＲＮＧは、ＲＡＭ３２に保持される乱数を循環させる。ユーザがログインして数字を要求すると、ＲＡＭ３２から１つ又は複数の数字が送信される。コントローラ３３は、どのユーザが数字を要求したかや、数字が重複しているかどうかを追跡しない。ユーザがログインして投稿しようとすると、システムは、その時点でトラッキング番号が既に使用されているかを決定する。
【0067】
数字をランダムに割り当てることで、予想の順序又は予想者の身元を他の予想者が推定する能力を低下させる。任意の数字がユーザに表示される限り、アンカリングバイアスを発生させる可能性があるため、示される場合には、ランダムな割り当て及び桁の統一によって、バイアスの影響を最小限に抑えようとする。これはまた、既知のユーザをフォローすることに関連するアンカリング及びバイアスの低減に役立つ。
【0068】
スピードを速めたり回答者の数を増やしたりするために、システムは、必要に応じて拡張設定することができる。例えば、ＲＮＧ３４は、１桁の数字（０、１、２、３、４、５、６、７、８及び９）を生成するように設定され得る。０は廃棄される。コントローラ３３は、数字の要求数と質問の投稿数とを比較し、要求数が投稿数の２倍であれば、システムを拡張することができる。次いで、コントローラ３４は、２桁の数字に拡張するようにＲＮＧ３４に指示する。桁数（order）を統一して目立たなくする（obscure）ために、数字１～９を使用した既存の投稿の終わりに末尾の「０」を付加して、すべての投稿がトラッキング番号と同じ桁数を有するようにする。３、６、及び５を有する投稿が存在する場合は、これらの投稿の識別子は、３０、６０、及び５０に変更されるであろう。トラッキング番号が表示されない場合、アンカリングバイアスをしないので、桁数を目立たなくすることはそれほど重要ではない。
【0069】
代替的な実装形態は、各拡張中に「ａ」のような英数字を付加することと、次いで、潜在的なアンカリングバイアスを最小限に抑えつつすべてのトラッキング番号をパディングするための追加の桁をランダムに割り当てることとを含む。
【0070】
トラッキング番号を使用している場合のユーザログインプロセスの一例が図４に示されている。ユーザがログイン４１し、質問に回答しようとする４２と、ユーザのシステムは、そのメモリをチェックして、その質問に対する既存のトラッキング番号が存在するかどうかを確認する４３。存在しない場合、ユーザは、４４において、１つ又は複数の乱数を要求する。１つ又は複数の乱数を受信すると、ユーザのシステムは、単独で又はホストシステムと組み合わせて、乱数の使用を探すために、既存の投稿、又は投稿に使用されたトラッキング番号のデータベースをサーチする４５。乱数が使用されていた場合、４４から追加の乱数が要求される。そうでない場合、ユーザは、質問に対して投稿するためにその数字を記憶する４７。任意の所与の時間に複数のユーザが投稿している最中である可能性があるため、複数のトラッキング番号を収集してチェックすることが好ましい場合がある。予想の投稿を許可する前に、システムは、複数のユーザが同じトラッキング番号を使用しないことを確実にするために、使用された数字に照らしてトラッキング番号をチェックするであろう。代替的な実施形態では、４７において、システムは、請求された数字を記憶し、４５でのサーチでロードすることができ、引き出されたが投稿されていないトラッキング番号が新しいユーザに割り当てられないようにする。
【0071】
数字のセットを拡張するプロセスの例を図５に示す。数字を生成５１した後、システムは、それが「０」で終わるかどうかをチェックする５２。そうである場合、その数字は破棄され、新しい数字が生成される。そうでない場合、その数字は、ユーザによる要求及び受信５４のためにテーブルにロードされる５３。システムは、新しい投稿の数又はレートを受信し５６、それを生成された数字の量と比較する５５。新しい投稿がユーザに送られた数字の半分に満たない数である場合５７、拒絶率が高く、ベースの数の拡大が必要であると想定される５８。次いで、システムは、質問に関連する既存の投稿に「０」を付加し、生成される桁数を変更する５９。
【0072】
図６に示されるように、ユーザが投稿しようとするとき、ユーザは、以前の使用されたトラッキング番号を検索する４８。次いで、ユーザは、記憶されたトラッキング番号を使用した以前の投稿を特定するために既存の投稿のサーチを要求する４８ａ。「０」が付加されていた場合４８ｂ、ユーザは、記憶されている数字を更新する４７。そうでない場合、ユーザは、このトラッキング番号を用いて投稿する４９。
【0073】
このプロセスを支援するために、ホストシステムは、トラッキング番号の利用可能性、ユーザのトラッキング番号の以前の使用を確かめるか、又はトラッキング番号の競合を特定して予想の分離を要求するためにユーザシステムがアクセス可能なトラッキング番号及び投稿の日付／時刻のデータベースを維持することができる。ユーザのトラッキング番号を用いた投稿が、投稿の日付及び時刻に関するユーザの記録と一致しない場合、ユーザシステムは、ホストシステムに警告することができる。同じトラッキング番号のもとで２人のユーザが偶然に投稿した場合、日付が一致し、時刻が近い可能性があるが、２つ目の投稿では、日付／時刻が相違する可能性が高い。どちらの当事者も２つ目の予想を投稿しなかった場合、元の予想は予測としてマーキングされて破棄され、これにより、システムに影響がないようにする。競合が特定されると、ホストシステムは、疑わしい重複投稿に「ｂ」又は他の識別子を付加することができ、これにより、投稿しようとしていてかつ「ｂ」指定を学習したユーザシステムが、投稿の日付及び時刻をホストと比較し、そのユーザの共通の投稿を特定し、次に、特定された投稿についてユーザからの新しいトラッキング番号を要求する。
【0074】
ログイン機能はまた、後述されるユーザインターフェースを定義する。異なるシステム３、７、及び８は、異なるタイプの情報を含むことができる。ユーザインターフェースは、少なくとも最初のログイン中に定義され、これは、プラットフォーム依存、質問シリーズ依存、又はユーザ依存であり得る。
【0075】
上述した匿名化プロセスに加えて又はその代替として、本発明は、ユーザを人口統計学的バケットに割り当てることによっても使用され得る。ＧＤＰＲ及び考えられる米国の同等の要件に準拠するために、現在のシステムは、ユーザデータを取り出し（take）、ユーザを１つ又は複数の人口統計学的バケットに割り当てることができる。これらのバケットには、年齢、性別、人種、世帯収入、自宅所有権、身体障害、教育、雇用状況、子供、位置、配偶者の有無、自動車所有、貯金、性的嗜好、購入履歴、ビデオ、又はソーシャルブログが含まれ得る。このケースでは、年齢層は、１２～１７歳、１８～２４歳、２５～３４歳、３５～４４歳、４５～５４歳、５５～６４歳、及び６５歳以上のバケットを含み得る。ユーザがシステムにログインし、アカウントを作成し、２８歳の男性であると申告した場合、システムは、その個人を２５～３４歳の年齢層に割り当てる。１１６に記録されたデータは、取得された情報が２５～３４歳の年齢層の人物に関連するものであるという表記を含む。
【0076】
位置バケットは、地域を含み、それは、都市、州、又は州の組合せであり得る。例えば、「北東部」には、コネティカット州、マサチューセッツ州、メーン州、ニューハンプシャー州、ニューヨーク州、ロードアイランド州、及びバーモント州が含まれ得る。
【0077】
収入バケットは、年齢バケットと同様のブラケットを含み、これには、以下のような既知の収入ブラケットが含まれ得る：＄２５，０００未満、＄２５，０００～＄３４，９９９、＄３５，０００～＄４９，９９９、＄５０，０００～＄７４，９９９、＄７５，０００～＄９９，９９９、＄１００，０００～＄１４９，９９９、及び＄１５０，０００以上。
【0078】
教育バケットは、年齢バケットと同様のブラケットを含み、これには、以下のような既知の教育ブラケットが含まれ得る：高卒未満、高卒（同号の学歴を含む）、大学に一時在籍したが取得学位なし、準学士号、学士号、博士号、又は修士号若しくは専門職学位。
【0079】
本発明は、これらの特定のバケット及び内訳に限定されない。バケット内のカテゴリは、特定の問合せの必要性に適合するように修正され得る。
【0080】
本発明はまた、自己同定された関連付けを含むことができる。フロントエンドのデータ収集プロセスがゲーム化されている場合、個人は質問に関する入力が求められ得、ここでは、勝者が宣言されて、賞品が与えられる。ユーザの識別情報が取得される場合、例えば正確な予想を行ったことに対して、個人に賞品を与えることができる。しかしながら、個人の匿名性を保つために、ユーザは、教会、スポーツチーム、慈善団体など、組織やグループを代表して賞品を競うことができる。これらのグループは、人口統計学的バケットの方法で捉えられ、使用される。
【0081】
Ｇ．インターフェース
ユーザのシステム上のインターフェースは、ブラウザ、スタンドアロンプログラム、電話、又はタブレットのいずれにあっても、匿名に見えつつ、かつ、コメントを用いた予想を促しながらも、アンカリングバイアスの可能性を制限するように設計されている。図７ａに示されるように、インターフェースは、質問７１、コンセンサスデータ７３、他のユーザからのコメント７２ａ、及び／又はリンク付きの選択されたニュースヘッドライン７２ｂを含むことができる。質問が提示されると、インターフェース上に含まれる情報が取得される。好ましくは、インターフェースが操作された順序（例えば、予想の入力、ストーリー＃３の次にストーリー＃２をクリックすること、コメントの入力、コンセンサスデータのチェック、予想の編集と送信（submit））も記録される。ユーザが予想を送信すると、インターフェースデータは、この予想の一部としてホストに送信される。次いで、ホストは、そのデータを既知のユーザに対応させるのではなく、匿名化されたトラッキング番号に対応させることで、インターフェース情報を追跡することができる。
ユーザのシステム上のインターフェースは、ブラウザ、スタンドアロンプログラム、電話、又はタブレットのいずれにあっても、匿名に見えつつ、かつ、コメントを用いた予想を促しながらも、アンカリングバイアスの可能性を制限するように設計されている。図７ａに示されるように、インターフェースは、質問７１、コンセンサスデータ７３、他のユーザからのコメント７２ａ、及び／又はリンク付きの選択されたニュースヘッドライン７２ｂを含むことができる。質問が提示されると、インターフェース上に含まれる情報が取得される。好ましくは、インターフェースが操作された順序（例えば、予想の入力、ストーリー＃３の次にストーリー＃２をクリックすること、コメントの入力、コンセンサスデータのチェック、予想の編集と送信（submit））も記録される。ユーザが予想を送信すると、インターフェースデータは、この予想の一部としてホストに送信される。次いで、ホストは、そのデータを既知のユーザに対応させるのではなく、匿名化されたトラッキング番号に対応させることで、インターフェース情報を追跡することができる。
【0082】
インターフェースデータを取得して、ユーザの予想の一部として送信するため、システム３は、予想に対応するすべての関連するインターフェースデータを有する。データの大量送信を回避するために、インターフェースデータは、ユーザのシステムによって符号化され、次いでホストシステムにおいて復号され得る。符号化により、トラッキング番号及び予想／インターフェースデータは事実上のベース暗号化で送信されることができ、データ送信の必要性を低減する。図７ｃに示されるように、ユーザによってホストシステムに送られるデータ構造２０５は、ヘッダＡと、トランザクション番号Ｂと、符号化されたインターフェースデータＣとを含むことができる。
【0083】
質問フィールド７１は、好ましくは、理想的には一連の関連する質問のうちの１つである質問を含む。上述したように、同じ質問に対して異なる言い回しを用いることで、異なるバイアスを誘発することができる。適切なペアリング（例えば、「ハリケーンＸはマイアミに直撃するでしょうか？」及び「ハリケーンＸはマイアミに直撃しないでしょうか？」）が同じユーザに利用可能にされることが好ましい。これは、ペアリングされた質問を図２の７又は８のような異なるシステムにプッシュすることによって達成され得る。代替的に、ユーザは、ログインした後に、所与のペアリングされた質問セットのうちの１つを含む異なる質問セットに割り当てられ得る。従って、ログインすると、「ハリケーンＸはマイアミに直撃するでしょうか？」を見ることとなり、別のセットは「ハリケーンＸはマイアミに直撃しないでしょうか？」を見ることとなる。フィールド７１には、パーセンテージで回答する回答欄や、コメントを追加するための回答欄も含まれる。パーセンテージ及びコメントは、入力を容易にするため又は入力を特定の定められた選択肢に制限するために、ドロップダウンメニュー形式でも提供され得る。
【0084】
コンセンサスデータ７３は、ユーザにバイアスをかけたり、予想を妨害したりすることなく、予想を行うのに十分な信頼性をユーザに提供しようとする。既存のシステムは、現在のコンセンサス推定値又はオッズをユーザに示す傾向がある。従って、コンセンサスが２０％に傾いていることをシステムが示す場合、ユーザがそれらの推定値に疑念を抱いて、なぜそれほどまでにコンセンサスと異なるのかを見極めようとしなければ、ユーザが８０％を予想する可能性は低い。そうした状況にあるユーザは、初期推定値を低くする傾向がある。その結果、コンセンサスが人為的に下げられる。より重要なことには、疑念を抱くことで、ユーザは、暗黙的なバイアスを表すコメントを残す可能性が低くなる。むしろ、コンセンサスデータ７３において、現在のシステムは、潜在的なアンカリング効果を制限するいくつかの代替手段を使用する能力を有する。
【0085】
一実施形態では、最後の２０～３０個の生スコアが示される。理想的には、スコアの数は、ユーザがコンセンサスを推定することができない程度である。２０個以上のスコアを使用すると、精神的又は手動で平均値を決定しようする試みを思いとどまらせる程度に複雑に見える。
【0086】
別の実施形態では、コンセンサスグラフが示されるが、このグラフは、コンセンサス範囲を示す。これらの範囲は、本明細書で説明されるように導出され得、１日当たりの、週ごとの、２週間の、予測ありの、予測なしの計算を含む。
【0087】
コメント欄７２ａは、コンセンサスデータ７３と同様に、オプションであり、所与の質問に対する以前のコメントの選択を含むことができる。コメントが作成された時点での予測及びコンセンサスを示すのではなく、コメントが、作成された時点でのコンセンサスよりも高い予想に対応するか低い予想に対応するかを表示することが好ましい。矢印は、色付きで、コメントを投稿したユーザによって行われたおおよその予想を示すのに適しているであろう。図７ｂに示されるように、矢印２００は、白／ライトブルーの矢印２０１から順に、全体がライトブルーの矢印２０２、ライトブルー／ダークブルーの矢印２０３、次いで全体がダークブルーの矢印２０４であり得る。グリーン又は別の中間色を反対方向に使用することもできる。これは、実際の予想を公開してユーザにバイアスをかけることなく、投稿を行うユーザの予想を定義する４つの勾配を提供する。
【0088】
ニュース欄７２ｂもオプションであり、一般的なニュースフィード、問題テスト、又はメッセージテストに使用され得る。フィード内に現れるニュースフィードは追跡される。記事及び提示の順序が把握される。加えて、起こり得る問題、センチメント分析、及びキーワードを決定するために、記事の基本言語分析が実行される。
【0089】
Ｈ．代替的な（alternative）質問
システムは、単一の質問で実行することができるが、１つよりも多くの関連する質問の使用が好ましい。質問をセットで実行し、同じ質問セットを同じユーザに対して繰り返すことが好ましい。
システムは、単一の質問で実行することができるが、１つよりも多くの関連する質問の使用が好ましい。質問をセットで実行し、同じ質問セットを同じユーザに対して繰り返すことが好ましい。
【0090】
質問は、好ましくは、関心のある特定のトピックの範囲を超えたセットで展開される。（ｉ）経済的、（ｉｉ）社会的／信仰に基づく／宗教上の、（ｉｉｉ）犯罪を含む個人の安全、（ｉｖ）個人の福祉、及び（ｖ）人種、又は他の既知のバイアスを含む、関連する質問が好ましい。一実施形態では、これらの問題に触れる質問がセットでパッケージ化される。例えば、質問には以下が含まれ得る：
（ｉ）Ｘ社は、今後３か月の間にサンフランシスコで１０，０００台超のスクータを貸し出すでしょうか？
（ｉｉ）Ｘ社は、今後３か月の間にサンフランシスコで１０，０００台超のスクータを貸し出すことができないでしょうか？
（ｉｉｉ）サンフランシスコの経済は、今後３か月間で成長目標Ｘを達成するでしょうか？
（ｉｖ）今後３か月の間にサンフランシスコの路上にホームレスキャンプが増加するでしょうか？
（ｖ）今後３か月の間にサンフランシスコで犯罪が増加するでしょうか？
（ｖｉ）今後３か月の間にサンフランシスコで歩行者とスクータの事故が増加するでしょうか？
（ｖｉｉ）今後３か月の間にＸ社のスクータの未成年による使用がＸ％を超えるでしょうか？
この質問セットにより、セット内のどの質問に関して特定された触媒問題も、質問のいずれかに回答するユーザに対してテストすることができる。
（ｉ）Ｘ社は、今後３か月の間にサンフランシスコで１０，０００台超のスクータを貸し出すでしょうか？
（ｉｉ）Ｘ社は、今後３か月の間にサンフランシスコで１０，０００台超のスクータを貸し出すことができないでしょうか？
（ｉｉｉ）サンフランシスコの経済は、今後３か月間で成長目標Ｘを達成するでしょうか？
（ｉｖ）今後３か月の間にサンフランシスコの路上にホームレスキャンプが増加するでしょうか？
（ｖ）今後３か月の間にサンフランシスコで犯罪が増加するでしょうか？
（ｖｉ）今後３か月の間にサンフランシスコで歩行者とスクータの事故が増加するでしょうか？
（ｖｉｉ）今後３か月の間にＸ社のスクータの未成年による使用がＸ％を超えるでしょうか？
この質問セットにより、セット内のどの質問に関して特定された触媒問題も、質問のいずれかに回答するユーザに対してテストすることができる。
【0091】
質問は、単一のプラットフォーム上で又は複数のプラットフォームにわたって展開され得る。一実施形態では、１つ又は複数の質問が以下を含むウェブサイトにわたって展開される：（ｉ）ソーシャルメディアプラットフォーム（例えば、フェイスブック（登録商標）、ツイッターなど）、（ｉｉ）予測又は予想ウェブサイト、（ｉｉｉ）賭け事を行うプラットフォーム、（ｉｖ）人権に焦点を当てたプラットフォーム、（ｖ）リモートデスクトップ展開、及び／又は（ｖｉ）インターネットに対応していない場所で使用するための専用の衛星モデムシステムを介したリモート展開。
【0092】
Ｉ．コンセンサス計算
コンセンサス計算は、本発明によって複数の方法で使用される。
コンセンサス計算は、本発明によって複数の方法で使用される。
【0093】
コンセンサスデータは、質問、日付／時刻、予想、インターフェースデータ、及び最終的にユーザに結び付けられる。好ましい方法では、ユーザは、毎週同じ時間に同じプラットフォーム上で同じ質問に回答する。
【0094】
本発明は、バイアス抽出を最適化するために複数の方法で、及び触媒問題をテストする際に、コンセンサス推定値が計算されることを企図する。方法は、伝統的な平均値を含むことができる、
予想入力のための時間ウィンドウが拡張され、ユーザの数が十分に多い（例えば、５０人よりも多い）場合、すべての予想の伝統的な４０％（ｙ＝０．４ｘ）を使用して、最終入力ウィンドウに現れる予想を分離することができる、
平均値はまた、単一の予測を取り除いて計算され得、この場合、各予想は、ユーザ数、日付、及び予想の関数である。Ｆｕが繰り返されない場合、Ｆｎは含まれない。
代替的に、ユーザが一週分逃した場合、後続の予想からそのユーザを除外するだけで、予測の影響を取り消す必要がなくなるようにも機能し得る。十分に多くの数のユーザがパネルにいる場合（例えば、１００人パネル）、予想が極端を表す場合であっても、１つの予想の影響は最小限に抑えられる。
【数1】
【数2】
【数3】
【0095】
時間ウィンドウの平均ベース（例えば、７日、１４日、２１日、及び／又は２８日）を使用することもできる。Ｄ＞ｘ日である場合、Ｆｎは含まれない。時間ベース（time based）は、時間範囲内に入る予想を有する予想（複数の予想ユーザ）だけをカウントするために、予測を取り除くことと組み合わせられ得る。
【0096】
コンセンサストレンドの相対的な変化率も計算される。
ここで、Ｒｃは、時間及び予想の関数としてのコンセンサスＣの変化率である。コンセンサストレンドの変化の相対的な変化率も計算され、これは、コンセンサストレンドが互いに対してどのように変化しているか、及び触媒問題の影響の特定により適しているのが単一のコンセンサスであるか選択されたコンセンサスであるかを示す。
【数4】
【0097】
各ユーザが毎週同じ時間に回答することを要求される場合、Ｒｃは、ある週と次の週との間の差（第Ｘ週のコンセンサス－第Ｘ＋１週のコンセンサス）に簡約される。
【0098】
コンセンサス計算を比較する際、所与の期間にわたるコンセンサスの変化率が比較される。期間は、７日間、１４日間、２１日間、２８日間、２か月間、３か月間、又はそれ以上などに事前に定義され得る。期間はまた、期待されるイベント又は期待されないイベントの前後で変化率が比較されるように、イベント依存型であり得る。触媒問題の抽出のために、入力を毎週受信し、週単位で変化を比較することが好ましい。
【0099】
コンセンサスの個人の変化率及び平均変化率もまた、触媒問題が母集団に対して有する重症度を決定するために使用される。上述したように、人間の行動は、必ずしも直線的ではなく、３０％より大きく７０％未満では変化がより顕著になり得、ここで、４５％から５５％の間には両値デッドゾーンの可能性がある。従って、一実施形態では、３０％から７０％の範囲の変化率は、３０％未満及び７０％超の範囲の同様の変化率と比較して、より大きい重症度を有すると考えられる。これは、変化率増幅係数と呼ばれる。別の実施形態では、変化率増幅係数は、２０％から８０％の範囲の変化に適用される。別の実施形態では、変化率増幅係数は、４５％から５５％の間の両値デッドゾーン以外に適用される。変化率増幅係数は非線形であり得る。
【0100】
Ｊ．用途
現在のシステムは、メッセージングの最適化又は脅威検出において多くの用途を有する。例えば、賭け会社は、賭けのパターン及びオッズを一時的に歪めることを目的としたニュースの操作を監視することを望み得る。既存の製品の製造業者は、購入者を競合製品にシフトさせることを目的とした競合メッセージングを監視することを望み得る。新製品の製造業者は、その会社が期待した販売を達成する妨げとなっている暗黙的なバイアスを明らかにすることを望み得る。
現在のシステムは、メッセージングの最適化又は脅威検出において多くの用途を有する。例えば、賭け会社は、賭けのパターン及びオッズを一時的に歪めることを目的としたニュースの操作を監視することを望み得る。既存の製品の製造業者は、購入者を競合製品にシフトさせることを目的とした競合メッセージングを監視することを望み得る。新製品の製造業者は、その会社が期待した販売を達成する妨げとなっている暗黙的なバイアスを明らかにすることを望み得る。
【0101】
システムの基本的な例が８ａに示される。８１において質問が投稿される。その質問から、位置情報が抽出される９４。位置情報は、触媒テストの位置を決定するために使用される。ユーザの予想及びコメントが記録され８２、コンセンサスを計算するのに十分な予想があるか否かが決定される８３。ｙｅｓである場合、コンセンサスが計算される９３。また、ユーザの予想を検討して、コンセンサスからの予想差分（Ｆ－Ｃデルタ）とデルタの方向とを決定する８４。日付がエクスポートされ９１、予想の方向がエクスポートされる９２。Ｆ－Ｃデルタが所与のパーセンテージ、この例では５％、よりも大きい場合８５、コメントを検討して触媒問題を抽出する。そうでない場合、予想及びコメントが記録される８６。触媒問題の処理８８は、シソーラス及び関連概念の捕捉を含む言語分析を用いることを含む。その情報は、９０においてエクスポートされる。
【0102】
図８ｂに示されるように、位置情報９４、触媒問題９０、及び日付情報９１が、グーグルトレンドクエリ９５に入力される。この例では、触媒のワードの使用を特定するために６か月の時間窓が使用される。ニューストレンドも、全国ニュース及び地域に特化したニュース又はオンラインコミュニティ９７のように、クエリされ得る９６。トレンド情報は、触媒問題の使用率が基準値よりも高いものとして定義されるスパイクについて分析される。目標は、触媒問題に関連するバックグラウンドノイズとは十分に異なる触媒問題の存在を特定することである。次いで、そのスパイク９８が、９９においてエクスポートされる。
【0103】
図８ｃに示されるように、コンセンサストレンド９３、触媒スパイク９９、及び予測の方向９２を入力して、スパイクから７日以内にコンセンサスが期待される方向に移動するかどうかを決定する１００。確認されなかった場合、データは記憶される１０５。コンセンサスが移動する場合、システムは、これが最初のイベントであるかどうか１０１がクエリされ、そうでなければ、起こり得る操作イベント１０２が設定される。コンセンサスが移動しない場合で、かつ、これが繰り返しイベントである場合、１０４において既知の操作イベントがトリガされる。次いで、システムは、操作又は脅威検出について将来のオンラインメディア活動をリアルタイムで監視するために、１０３においてフィルタを構成することができる。
【0104】
図８ｄに示されるように、モジュールＡは、８６及び１０５から非アクショナブルな（non-actionable）イベントを受信し、情報をコンパイルする。図９に示されるように、情報は、それが以前に失敗したかどうかを決定するために調べられる１０６。そうである場合、使用されるコンセンサスが変更され、問題が再テストされる１０７。触媒問題のテスト結果が陽性であれば、１０１に進む。触媒問題がパスしない場合、システムは、他のコンセンサス計算をチェックし１０９、１０７に戻るか、又は失敗したテストとして情報を記憶する１１０。情報は、失敗すると、５％以外の異なる閾値で前処理され得る。ユーザベース及びコンセンサス計算の感度が十分に正確である場合、０．５％程度の低い閾値を使用することができることが企図される。精度は、偽陽性の関数であり、これは、問題のテスト結果は陽性であるが、その後コンセンサスを動かすのに有用であることを証明しないものである。一般に、システムは、それが検出モードにあるときは、アクショナブルな触媒問題を見逃さないように、偽陽性を優先してバイアスをかけることが好ましい。マーケティングメッセージ開発モードにあるときは、開発されるメッセージがコンセンサスを確実に動かすこととなるように、偽陽性に対してシステムにバイアスをかけることが好ましい。
【0105】
図１０に示されるように、モジュールＢは、８８において、システムが問題を潜在的な脅威として確認したかどうかにかかわらず、問題の複数の繰り返される投稿（例えば、触媒問題に対する複数のツイート）についてのリアルタイムのオンラインアクティビティをフィルタリングすることによって、二次監視のために触媒問題を取得する。生触媒データ８８は、オンラインメディアデータ１１１と比較されて、問題が、その問題に関連する同じ又は同様のテキストを含む複数の投稿に存在するかどうかが決定される１１２。２４時間の間に現れた投稿は、以前に検出されなかった操作イベントを表す可能性がより高いと考えられる。イベントが検出された場合、二次スクリーニング警告１１３が発せられ、その問題もテストの結果と比較される１０３。操作イベントのテスト結果が以前に陽性でなかった場合、システムは、増加した感度範囲（例えば５％未満）を使用してデータを再処理する。イベントが確認され、かつ、触媒問題のテスト結果が以前に陽性であった場合、１１５において、検出されたイベントが記憶される。
【0106】
現在のシステムは、理想的には、質問単位でユーザを追跡し、インターフェース対話のすべてのアスペクトを追跡する、図１１に示すようなデータベース１１６を含む。収集されるデータには、トラッキング番号、日付、時刻、質問番号、予想、コメント、表示されたコンセンサスデータ、表示されたコメントデータ、表示されたニュースデータ、及びユーザ対話のタイミングが含まれる。
【0107】
Ｋ．マインドメルトトリビア
マインドメルトトリビアの特徴には以下が含まれる：
１．毎日行われる複数の質問によるトリビア／理解度コンテストであること；
２．予想でポイントが加算され、誤答だったときに次のトリビア質問に進むために使用するライフに変換されること；
３．フォーマットが、イントロ、コンテンツインサート（＃４参照）、質問ｒｅ：コンテンツインサート、解決、及びトリビア質問及び解決であること；
４．ブランドリフトアンケート、掲載ニュース（触媒問題テスト）、又は有料広告を含むことができるコンテンツインサートがあること；
５．ツイッターリスト、スポーツチーム／バー／教会及び地域を含むグループとしてプレイできること；及び／又は
６．賞金の分配が、携帯電話のクレジットやプロモーションセールス（例えば、ギフトカード）で行われること。
マインドメルトトリビアの特徴には以下が含まれる：
１．毎日行われる複数の質問によるトリビア／理解度コンテストであること；
２．予想でポイントが加算され、誤答だったときに次のトリビア質問に進むために使用するライフに変換されること；
３．フォーマットが、イントロ、コンテンツインサート（＃４参照）、質問ｒｅ：コンテンツインサート、解決、及びトリビア質問及び解決であること；
４．ブランドリフトアンケート、掲載ニュース（触媒問題テスト）、又は有料広告を含むことができるコンテンツインサートがあること；
５．ツイッターリスト、スポーツチーム／バー／教会及び地域を含むグループとしてプレイできること；及び／又は
６．賞金の分配が、携帯電話のクレジットやプロモーションセールス（例えば、ギフトカード）で行われること。
【0108】
【0109】
図１２は、ユーザが自分のＩＤとして自分の電話番号を使用するログイン画面を表す。電話番号により、エリアコードに基づいてユーザの地域をセグメント化ができ、それによって匿名化された地理情報を提供することができる。
【0110】
図１３は、アカウントページを表す。予想することで、回答の質（自動ではない）及びユーザが最終的なコンセンサスに影響を与えたり予測したりすることができたかどうかに基づいて付与されるライフを獲得する。グループは、ユーザが一緒にプレイすること（共通の利害）又は人々に間違った回答を選ばせることができるように、ソーシャルメディア（例えば、ツイッター）にリンクしている。
【0111】
図１４は、質問ページを表す。質問は、問題又は広告の地域的なテストを行うことができるように、電話番号のエリアコードに基づいてグループに選択的に提供される。質問には、一般的な興味のある質問だけでなく、有料の研究トピックも含まれる。
【0112】
図１５は、質問予想ページを表す。このページに示されているコンセンサスは、バイアス抽出を支援するために上述のように変更され得る。ニュース及びチャートは、影響を決定するために、ランダムに表示されるか又はＡ／Ｂテストされる。
【0113】
図１６は、解決済みの質問ページを表す。コンセンサスは変更され得るため、システムでは、バンド状の（banded）精度スコアが使用され、それによって、ブリエスコアが計算され、参加率を考慮した上で、表示される又は一般化されたコンセンサスと比較されることは認識される。その後、バンドが表示されて、ユーザに意味のあるフィードバックが提供されるようにする。システムは参加を促すために、ライフには有効期限がある。
【0114】
図１７は、ゲームスタートページを表す。チャリティー賞ポットは、ユーザが慈善活動（cause）に関わりを持ち、その団体への寄付金を集めるためにプレイすることを促す。
【0115】
図１８は、コンテンツ配置ページを表す。ユーザは、ゲームの開始を待ってハイパーフォーカスしているときに、コンテンツが表示される。第１の質問は、一般に、ユーザに見るように促すために、このコンテンツに関連している。厳選されたコンテンツをゲーム性のある環境に配置することで、密着度が高まります。
【0116】
図１９は、質問ページを表す。グループへのリンクにより、システムは、影響力のあるキャンペーンのためのパブリックユーザネットワークを特定することができる。チャリティー及び慈善活動賞ポットは、パブリックネットワークマッピングを支援する。チャリティー又は慈善活動賞ポットでは、ユーザは、共通の理由で賞金を獲得するためにプレイする。これは、グループの調整及び通信を促す。回答は一般に、ユーザがグループとやり取りする機能を終了するまで示されない。
【0117】
図２０は、グループページを表す。グループは、アプリが作成及び管理するプライベートなツイッターリストにリンクする。ユーザは、善人にも悪人にもなり得、他のユーザに影響を与えて、潜在的に正しい回答に導いたりそれから外れるように導いたりすることができる。
【0118】
図２１は、質問回答ページを表す。
【0119】
図２２は、回答がユーザに伝えられる正解ページを表す。
【0120】
図２３は、回答採点ページを表す。システムが個人を採点し、まだ存在するグループを計算している間、追加のプレミアムコンテンツ又はニューステストをユーザに提示することができる。
【0121】
図２４は、誤答ページを表す。未来を予想することは、生活に役立つだけでなく、未来の質問がニュース及び予想データから得られ得るため、質問に答えるのにも役立つ。
【0122】
図２５は、第２の質問ページを表す。徐々に難しくなる質問は、純粋なトリビアであるか、又は予想を促すために予想トピックに結び付けられ得る。
【0123】
図２６は、第２の質問に対するグループページを表す。質問が難しくなるにつれて、チームは一緒にプレイするか、又は自立する必要がでてくる。
【0124】
図２７は、第２の質問回答ページを表す。ユーザが未来を予想し、かつ、ニュース記事に触れる場合、ユーザは、コンテストに深く入り込む可能性が高い。
【0125】
図２８は、送金ページを表す。理想的には、システムは現金を送らない。むしろ、携帯電話に関連する通信事業者にクレジットを送るか、慈善団体に寄付金を送るか、又はプロモーション（例えば、ドミノのクーポン特典）にリンクする。
【0126】
【0127】
本明細書で使用される場合、ソーシャルメディア操作には、外国のプロパガンダがソーシャルメディアに挿入されることが含まれるが、エンティティがソーシャルメディアプラットフォーム上に配信し、有料広告の体制及び制限を回避しようとする無料広告も含まれ得る。
【0128】
図２９に示されるように、インターフェース１０００は、ツイッター又はフェイスブックのような既存のプラットフォームと一体的に提供され得るか、又はインターフェース１０００は、リモートで提供され得る。リモートアプリケーションでは、所与の州又は国へのすべてのツイートが現在のシステムの対象でありながらも、他の地理的エリアに影響を与えないような国別の規則を設定することができる。インターフェース１０００は、着信メッセージメモリ１００１及び発信メッセージメモリ１００５に接続されており、これらはいずれも、コントローラ１００２によって制御され、データベース１００４及び検疫データベース１００３に接続される。メモリは、組み合わされるか、又は個人の投稿を追跡するための追加のログ構造を追加することによって更に分離され得る。
【0129】
本発明では、投稿及びニュースについて説明する。これらの用語は交換可能であり、他者からのものであるか自己作成されたものであるかにかかわらず、ユーザの情報フィードを指すことを意図している。
【0130】
本発明における遅延は、メッセージコンテンツの関数としてシステムによって課される遅延である。遅延は、コンテンツに関係なくすべてのメッセージを遅延させる技術的な問題を指すものではない。打ち切られていないコンテンツをユーザに提供することが目標であるため、遅延は、クリアするユーザアクションを必要としない。ユーザが、電子メールの送信時期を遅らせることを決定すること又はいつメッセージが投稿されるかを決定することは、本発明とは異なる問題に対処する。本発明は、オンラインメディア攻撃の問題を解決するように設計されており、そのため、情報の投稿を遅延させて、ユーザに対するその影響を軽減し、考えなしの再投稿など、情報に基づいた行動を行いたいという欲求を低下させることに関する。
【0131】
加えて、遅延という用語は、本発明全体を通して使用され、５秒、３０秒などの様々な単位で説明されている。遅延は、ストーリー、用語、又は問題が存在する平均的な頻度の減少であり得るか、又はユーザの注意スパンを超える遅延であり得る。各ユーザは異なり得るため、ユーザの注意スパンは共通していると想定している。最新の文献では、注意スパンが１２秒であることが示されている（https://internet.psych.wisc.edu/wp-content/uploads/532-Master/532-UnitPages/Unit-09/Attention_Goldfish_Abbreviated.pdf参照）。遅延は、ユーザをユーザの注意スパンの限界に近づけるか、又はそれを超えるようにすることを意図している。５秒は、平均的なユーザの注意スパンの４１％に相当する。３０秒は、１２秒の注意スパンを超えており、これは、個人を強制的にオンラインメディアに再び関与させる。目標は、投稿又はニュースの消費のいずれかに対する自動反応を中断することであるため、４０％以上の遅延が有効であると考えられる。特定の実施形態では、遅延は、ユーザのニュース消費の標準的な頻度又はニュースフィードに現れる問題に相関する。これらのケースでは、遅延は、これらの頻度の関数である。
【0132】
本発明の基本的な実装形態が図３０に示されており、ここでは、投稿を受信する１００６。投稿を分析して、触媒問題が存在するかどうかを決定する１００７。触媒問題は、潜在的な操作イベント１００８に対応する可能性が高いとして以前に特定された用語である。投稿内に触媒問題が存在しない場合、投稿は、通常の処理及び投稿１０１０にために渡される。投稿が触媒問題を含む場合、投稿は検疫され、投稿が３０秒間遅延される１００９。投稿時間は、５秒の遅延と同程度の長さであり得る。この例では、投稿を使用するが、この例は、ニュースにも等しく適用可能である。投稿は、着信するものでも発信するものでもあり得る。
【0133】
図３１に示される別の実施形態では、ユーザのニュースフィード（又は投稿フィード）を受信する１０１１。システムは、ニュースフィードから存在する用語を抽出し、ニュースをバッファする１０１２。抽出された用語が、複数の投稿、この例では１０個の投稿の間で繰り返される場合１０１３、システムは、この用語を遅延リストに追加する１０１５。代名詞、一般的な動詞などのマイナーな用語は、遅延リストに投稿されない。むしろ、抽出された用語は、一般に、問題、人々、及び誘発的な用語を含むが、それらに限定されない。次いで、ユーザのニュースは、遅延リスト上の用語についてフィルタリングされ、これにより、繰り返しの用語を有すると特定されたばかりのニュースを取得することとなる１０１６。このステップは、前のステップに統合され得るが、説明のために別個のステップとして示されている。その繰り返しが用語の最初の出現である場合、ニュースは、ユーザ消費のためにリリースされる１０１４。繰り返しが最初の出現でない場合、ニュースは、遅延のためにマーキングされ、遅延される１０１３。
【0134】
図３２は、投稿のアップロード及び送信を遅延させるためにユーザ側で展開され得る実施形態を示す。ユーザの投稿を受信し１０１９、その投稿がコピー（例えば、リツイート）であるかどうかが決定される１０２０。コピーである場合、投稿は遅延のためにマーキングされ１０２１、バッファされ１０２２、最終的に投稿のためにリリースされる１０２３。投稿がコピーでない場合、遅延リストの用語を受信し１０２４、投稿を分析して、この投稿が一致する用語を含んでいるかどうかを決定する１０２５。そうである場合、投稿は遅延のためにマーキングされ１０２１、バッファされた１０２２後に、最終的に投稿のためにリリースされる１０２３。
【0135】
図３３は、ブロック投稿の作成に関する。同じ主題に対する複数の投稿の影響を軽減するために、本発明は、ブロック投稿の使用も提案する。受信したニュースを、バッファし１０２６、共通のヘッドラインを抽出する１０２７。次いで、ブロック投稿が構成され、これは、ソースの全部又は一部を参照した共通のヘッドラインの関数である１０２８。ソースメディアへのリンクを有するブロック投稿が記憶され、次いで、ブロック投稿がユーザに提供される１０３０。ヘッドラインがパスされ、ソースマテリアルが利用可能なままであるため、これは遅延の定義内であると考えられる。ソースリンクは、ユーザに直ちに再ブロードキャストすることなく、その後更新され得る。投稿後に十分な新しいリンクが出現した場合、ユーザに再投稿するためにそのメディアが選択され得る。投稿を統合することによって、ユーザは、コンテンツを奪われることなく、個人の投稿にアクセスすることができる。しかしながら、同じ主題についての複数の投稿がユーザに殺到することもない。操作イベントは、単一の問題に対して複数の投稿によって特徴付けられることが多いため、ブロック投稿の使用は、コンテンツへのアクセスをユーザから奪うような検閲を行わずに、操作イベントの影響を最小限に抑える効果的な方法である。
【0136】
図３４は、可変遅延の実施形態を有する実施形態を示す。すべての投稿が分析され１０３１、用語の平均的な使用頻度が決定される１０３３。投稿が用語を使用しており、その投稿が、過去の使用頻度１０３２に対して測定されたときに使用頻度の増加を表す場合１０３４、その投稿は、遅延のためにマーキングされ、頻度率が再テストされる１０３６。投稿が過去の頻度内である場合、投稿は、標準的な処理のために渡される１０３７。頻度は、用語及び投稿の数の関数である（例えば、問題Ｘは、平均で１０回の投稿のうち１回に現れる）。一部の用語はあまり頻繁に現れず、そのためレートが２０回以上で１回に近くなる可能性があるため、頻度を決定するために使用される投稿の数は、個人の問題に依存し得る。
【0137】
この可変遅延の実施形態は、その用語を含む最初の投稿を遅延させるものではない。むしろ、頻度が標準を超えると、遅延が実行される。これにより、ユーザは、問題に関する最初のいくつかの投稿を見ることができ、次いで、遅延される投稿が過去の頻度に悪影響を及ぼすことなくフィードに再導入され得るときまで、残りの投稿を遅延させる。ニュースフィード又は投稿に問題が殺到する操作イベント中、この方法により、日常的に問題を読んだり投稿したりするユーザは、通常は問題を読んだり投稿したりしないユーザよりも、問題を含むより多くの投稿に触れることができる。
【0138】
図３５は、遅延がユーザの閲覧率の関数として計算されて、潜在的な操作投稿をユーザの平均閲覧率よりもわずかに長く遅延させる代替的な実施形態である。ユーザフィードに対する投稿１０４４を分析して、それらが触媒問題（例えば、操作インジケータ）を含んでいるかどうかを確認する１０４５。「ｙｅｓ」である場合、１０４３において投稿を遅延させる。１秒あたりに閲覧されるユーザの投稿１０３８が検索され、平均閲覧率が設定される１０３９。遅延は、閲覧率の関数であるＸに設定される。閲覧率を使用して、ユーザの注意スパンを推定し、推定された注意スパンの４０％にＸが設定され得るようにする。遅延が前の過去２４時間の間に適用されていた場合１０４１、遅延は、増加され１０４２、設定される１０４６。増加の量は、秒単位であるか、又は推定された注意スパンのパーセンテージであり得る。
【0139】
図３６は、すべてのユーザにわたって遅延が計算され、遅延の対象となった投稿がリリースに先だって二次スクリーニング（例えば、発信元決定）のために検疫される実施形態である。この実施形態は、複数のユーザをターゲットとした大規模な攻撃を捕えるように設計されている。これはまた、自然災害及び関連イベントも捕捉するが、そのような状況におけるイベントの妥当性は、投稿が実質的な遅延なしにリリースされ得るように迅速に決定され得る。投稿が受信され１０５４、システムは、投稿が任意のユーザに対して遅延されたかどうかをチェックする１０４７。「ｎｏ」である場合、投稿が投稿される１０４８。「ｙｅｓ」である場合、遅延に関連するユーザが記録され１０４９、投稿が検疫される１０５０。複数のシステムが使用されている場合、ユーザの数及び遅延の数が入力及び／又は受信される１０５１。投稿がＸ回を超えて遅延のためにマーキングされた場合１０５２、この投稿は、二次スクリーニングに送られ、クリアされるまで保持される１０５３。二次スクリーニングをトリガせずに投稿を遅延させることができる回数は様々であり得る。ほとんどのオンライン攻撃は、多数のユーザの前に現れる再投稿（例えば、リツイート）の数が限られているため、２４時間で遅延が６回あったときにより大きな検疫及び二次スクリーニングをトリガするように、Ｘは６回くらいの少なさであり得る。
【0140】
Ｍ．その他
必須ではないが、当業者は、本明細書で説明される様々な態様が、方法、システム、装置、又はコンピュータ実行可能命令を記憶する１つ又は複数のコンピュータ読取可能な媒体として具現化され得ることを認識するであろう。従って、態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、完全にファームウェアの実施形態、又はソフトウェア、ハードウェア、及びファームウェアの態様を任意の組合せで組み合わせた実施形態の形態をとり得る。
必須ではないが、当業者は、本明細書で説明される様々な態様が、方法、システム、装置、又はコンピュータ実行可能命令を記憶する１つ又は複数のコンピュータ読取可能な媒体として具現化され得ることを認識するであろう。従って、態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、完全にファームウェアの実施形態、又はソフトウェア、ハードウェア、及びファームウェアの態様を任意の組合せで組み合わせた実施形態の形態をとり得る。
【0141】
本明細書で説明されるように、様々な方法及び行動は、１つ又は複数のコンピューティングデバイス及びネットワークにわたって動作可能であり得る。機能性は、任意の方法で分散され得るか、又は単一のコンピューティングデバイス（例えば、サーバ、クライアントコンピュータなど）に配置され得る。
【0142】
本開示の態様は、その例示的な実施形態に関して説明されている。添付の特許請求の範囲の趣旨及び範囲内の多数の他の実施形態、修正、及び変形が、本開示の検討から当業者に想起されるであろう。例えば、当業者であれば、例示的な図に例示されたステップが、記載された順序以外お順序で実行され得ること、及び１つ又は複数の例示されたステップがオプションであり得ることを認識するであろう。以下の特許請求の範囲におけるありとあらゆる特徴は、可能な任意の方法で組み合わされるか、又は再配置され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【手続補正書】
【提出日】2021-07-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
命令を伴う機械実行動作を実行することを備える方法であって、前記命令は、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサに、ユーザのログイン認証情報を質問セットに割り当てることと、
前記ログイン認証情報を用いたログインに応答して、ユーザにインターフェースデータを送ることと、ここにおいて、前記インターフェースデータは、数値予想フィールド及びフリーテキスト入力フィールドを含む２つの回答フィールドを前記質問セット中の各質問に対して有する少なくとも１つの質問セットを含む、
指定されたデータ収集ウィンドウの間に、前記ユーザによって提供された場合、結果予想及び前記フリーテキスト入力フィールド内のコメントの形で前記質問セットに対するユーザ回答を受信することと、
前記ユーザ回答を記憶することと、
前記指定された収集ウィンドウの間のユーザからの予想回答に基づいて、前記質問セットの各質問についてのコンセンサスを計算することと、
前記計算されたコンセンサスから事前設定された数値範囲内に入る、前記指定された収集ウィンドウの間のユーザ予想を計算することと、
前記計算された予想に対応するユーザコメントを特定することと、
作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することと、
前記特定されたユーザコメントから触媒問題を抽出することと、
前記質問セットに関連する質問セット情報を抽出することと、
前記質問セット情報と、触媒問題と、影響の方向とを記憶することと
を含む特定のステップを実行させる命令である、方法。
【請求項2】
前記インターフェースデータは、コンセンサスデータを更に含む、請求項１に記載の方法。
【請求項3】
前記インターフェースデータは、他のユーザコメントデータ又はニュースデータを更に含む、請求項１に記載の方法。
【請求項4】
質問に関連する１つ又は複数の乱数を生成することと、乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることと
というステップを更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
請求項１に記載の方法。
【請求項5】
質問セットを受信することと、ここで、前記質問セットは、共通事項に関連する少なくとも２つの質問を含む、前記質問セットで質問を送る前に、ユーザがログインした後に、前記ユーザに前記質問セットの前記質問のうちの１つを割り当てることと、
前記ユーザが割り当てられていない質問を受信する資格がないようにするために、前記割り当てられた質問と前記割り当てられていない質問とを記録することと
というステップを更に備える、請求項１に記載の方法。
【請求項6】
前記コンセンサスデータは、前記データが送られる前記ユーザ以外のユーザからの予想のセットを含み、前記ユーザのインターフェースに表示するために前記コンセンサスデータを前記ユーザに送ること
というステップを更に備える、請求項２に記載の方法。
【請求項7】
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の１０個の予想を含む、請求項６に記載の方法。
【請求項8】
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の２０個の予想を含む、請求項６に記載の方法。
【請求項9】
前記コメントが受信された時点で前記コメントが前記計算されたコンセンサスのうちの１つ又は複数にどのように関連付けられたかを示す対応する非数値インジケータとともに他のユーザコメントデータを前記ユーザに送ることというステップを更に備える、請求項３に記載の方法。
【請求項10】
前記質問セットの各質問についてコンセンサスを計算することは、前記コンセンサスの計算から１回限りの予測を削除することを備える、請求項１に記載の方法。
【請求項11】
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない７日よりも古い予想を除外することを備える、
請求項１０に記載の方法。
【請求項12】
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、
請求項１０に記載の方法。
【請求項13】
データ記憶システムであって、１つ又は複数のプロセッサと、
データ記憶装置と
を備え、
前記データ記憶システムは、ログインに応答して、ユーザのために質問セットを検索することと、ユーザにインターフェースデータを送ることとを行うユーザログインモジュールを備え、ここにおいて、前記インターフェースデータは、少なくとも１つの質問セットを含み、
前記データ記憶システムは、前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、前記ユーザ回答を記憶することと、前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、指定された収集ウィンドウの間の予想回答に基づいて、前記質問セットの各質問について計算される、前記計算されたコンセンサスから事前設定された数値範囲内に入る、前記指定された収集ウィンドウの間の前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することとを行う質問モジュールを更に備える、
システム。
【請求項14】
前記インターフェースデータは、コンセンサスデータ、他のユーザコメントデータ、又はニュースデータを更に含む、
請求項１３に記載のシステム。
【請求項15】
前記特定されたユーザコメントから触媒問題を抽出することと、前記質問に関連する地理情報を抽出することと、前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、前記オンラインソースでの触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、前記質問についてのコンセンサスを計算し、前記少なくとも１つの孤立したスパイクから設定日数の間、前記コンセンサスを監視することと、前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することとを行う触媒テストモジュールを更に備える、請求項１３に記載システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１４２
【補正方法】変更
【補正の内容】
【0142】
本開示の態様は、その例示的な実施形態に関して説明されている。添付の特許請求の範囲の趣旨及び範囲内の多数の他の実施形態、修正、及び変形が、本開示の検討から当業者に想起されるであろう。例えば、当業者であれば、例示的な図に例示されたステップが、記載された順序以外お順序で実行され得ること、及び１つ又は複数の例示されたステップがオプションであり得ることを認識するであろう。以下の特許請求の範囲におけるありとあらゆる特徴は、可能な任意の方法で組み合わされるか、又は再配置され得る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
命令を伴う機械実行動作を実行することを備える方法であって、前記命令は、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサに、
ログインに応答して、ユーザを質問セットに割り当てることと、
ユーザにインターフェースデータを送ることと、ここにおいて、前記インターフェースデータは、少なくとも１つの質問を含む、
前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、
前記ユーザ回答を記憶することと、
前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、少なくとも２つの公式を用いて計算される、
前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、
作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することと、
前記特定されたユーザコメントから触媒問題を抽出することと、
前記質問に関連する地理情報を抽出することと、
前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、
前記要求されたオンラインソースでの前記触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、
前記質問についてのコンセンサスを計算し、前記特定されたスパイクから設定日数の間、前記コンセンサスを監視することと、
前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することと
を含む特定のステップを実行させる命令である、方法。
［Ｃ２］
前記インターフェースデータは、コンセンサスデータを更に含む、
Ｃ１に記載の方法。
［Ｃ３］
前記インターフェースデータは、他のユーザコメントデータを更に含む、
Ｃ１に記載の方法。
［Ｃ４］
前記インターフェースデータは、ニュースデータを更に含む、
Ｃ１に記載の方法。
［Ｃ５］
質問に関連する１つ又は複数の乱数を生成することと、
乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることと
というステップを更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
Ｃ１に記載の方法。
［Ｃ６］
質問セットを受信することと、ここで、前記質問セットは、共通事項に関連する少なくとも２つの質問を含む、
前記質問セットで質問を送る前に、ユーザがログインした後に、前記ユーザを前記質問セットの前記質問のうちの１つに割り当てることと、
前記ユーザが未送信の質問を受信する資格がないようにするために、前記割り当てられた質問と前記割り当てられていない質問とを記録することと
というステップを更に備える、Ｃ１に記載の方法。
［Ｃ７］
前記コンセンサスデータは、前記データが送られる前記ユーザ以外のユーザからの予想のセットを含み、
前記ユーザのインターフェースに表示するために前記コンセンサスデータを前記ユーザに送ること
というステップを更に備える、Ｃ２に記載の方法。
［Ｃ８］
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の１０個の予想を含む、
Ｃ７に記載の方法。
［Ｃ９］
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の２０個の予想を含む、
Ｃ７に記載の方法。
［Ｃ１０］
前記コメントが受信された時点で前記コメントが前記計算されたコンセンサスのうちの１つ又は複数にどのように関連付けられたかを示す対応する非数値インジケータとともに他のユーザコメントデータを前記ユーザに送ること
というステップを更に備える、Ｃ３に記載の方法。
［Ｃ１１］
コンセンサスを計算するために使用される前記２つの公式のうちの少なくとも１つは、平均計算から１回限りの予測を削除することを備える、
というステップを更に備える、Ｃ１に記載の方法。
［Ｃ１２］
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない７日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ１１に記載の方法。
［Ｃ１４］
前記１回限りの予測を削除することは、前記対応するトラッキング番号に関連する第２の予想を有さない７日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ５に記載の方法。
［Ｃ１５］
前記１回限りの予測を削除することは、前記対応するトラッキング番号に関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ５に記載の方法。
［Ｃ１６］
データ記憶システムであって、
１つ又は複数のプロセッサと、
データ記憶装置と
を備え、
前記データ記憶システムは、ログインに応答して、ユーザを質問セットに割り当てることと、ユーザにインターフェースデータを送ることとを行うユーザログインモジュールを備え、ここにおいて、前記インターフェースデータは、少なくとも１つの質問を含み、
前記データ記憶システムは、前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、前記ユーザ回答を記憶することと、前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、少なくとも２つの公式を用いて計算される、前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することとを行う質問モジュールを更に備え、
前記データ記憶システムは、前記特定されたユーザコメントから触媒問題を抽出することと、前記質問に関連する地理情報を抽出することと、前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、前記要求されたオンラインソースでの前記触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、前記質問についてのコンセンサスを計算し、前記特定されたスパイクから設定日数の間、前記コンセンサスを監視することと、前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することとを行う触媒テストモジュールを更に備える、
システム。
［Ｃ１７］
前記インターフェースデータは、コンセンサスデータを更に含む、
Ｃ１６に記載のシステム。
［Ｃ１８］
前記インターフェースデータは、他のユーザコメントデータを更に含む、
Ｃ１６に記載のシステム。
［Ｃ１９］
前記インターフェースデータは、ニュースデータを更に含む、
Ｃ１６に記載のシステム。
［Ｃ２０］
質問に関連する１つ又は複数の乱数を生成することと、乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることとを行う乱数トラッキングモジュール
を更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
Ｃ１６に記載のシステム。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
命令を伴う機械実行動作を実行することを備える方法であって、前記命令は、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサに、
ログインに応答して、ユーザを質問セットに割り当てることと、
ユーザにインターフェースデータを送ることと、ここにおいて、前記インターフェースデータは、少なくとも１つの質問を含む、
前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、
前記ユーザ回答を記憶することと、
前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、少なくとも２つの公式を用いて計算される、
前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、
作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することと、
前記特定されたユーザコメントから触媒問題を抽出することと、
前記質問に関連する地理情報を抽出することと、
前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、
前記要求されたオンラインソースでの前記触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、
前記質問についてのコンセンサスを計算し、前記特定されたスパイクから設定日数の間、前記コンセンサスを監視することと、
前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することと
を含む特定のステップを実行させる命令である、方法。
［Ｃ２］
前記インターフェースデータは、コンセンサスデータを更に含む、
Ｃ１に記載の方法。
［Ｃ３］
前記インターフェースデータは、他のユーザコメントデータを更に含む、
Ｃ１に記載の方法。
［Ｃ４］
前記インターフェースデータは、ニュースデータを更に含む、
Ｃ１に記載の方法。
［Ｃ５］
質問に関連する１つ又は複数の乱数を生成することと、
乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることと
というステップを更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
Ｃ１に記載の方法。
［Ｃ６］
質問セットを受信することと、ここで、前記質問セットは、共通事項に関連する少なくとも２つの質問を含む、
前記質問セットで質問を送る前に、ユーザがログインした後に、前記ユーザを前記質問セットの前記質問のうちの１つに割り当てることと、
前記ユーザが未送信の質問を受信する資格がないようにするために、前記割り当てられた質問と前記割り当てられていない質問とを記録することと
というステップを更に備える、Ｃ１に記載の方法。
［Ｃ７］
前記コンセンサスデータは、前記データが送られる前記ユーザ以外のユーザからの予想のセットを含み、
前記ユーザのインターフェースに表示するために前記コンセンサスデータを前記ユーザに送ること
というステップを更に備える、Ｃ２に記載の方法。
［Ｃ８］
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の１０個の予想を含む、
Ｃ７に記載の方法。
［Ｃ９］
前記予想のセットは、前記データが送られる前記ユーザ以外のユーザが前記質問に対して行った少なくとも直近の２０個の予想を含む、
Ｃ７に記載の方法。
［Ｃ１０］
前記コメントが受信された時点で前記コメントが前記計算されたコンセンサスのうちの１つ又は複数にどのように関連付けられたかを示す対応する非数値インジケータとともに他のユーザコメントデータを前記ユーザに送ること
というステップを更に備える、Ｃ３に記載の方法。
［Ｃ１１］
コンセンサスを計算するために使用される前記２つの公式のうちの少なくとも１つは、平均計算から１回限りの予測を削除することを備える、
というステップを更に備える、Ｃ１に記載の方法。
［Ｃ１２］
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない７日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記１回限りの予測を削除することは、前記対応するユーザに関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ１１に記載の方法。
［Ｃ１４］
前記１回限りの予測を削除することは、前記対応するトラッキング番号に関連する第２の予想を有さない７日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ５に記載の方法。
［Ｃ１５］
前記１回限りの予測を削除することは、前記対応するトラッキング番号に関連する第２の予想を有さない１４日よりも古い予想を除外することを備える、
というステップを更に備える、Ｃ５に記載の方法。
［Ｃ１６］
データ記憶システムであって、
１つ又は複数のプロセッサと、
データ記憶装置と
を備え、
前記データ記憶システムは、ログインに応答して、ユーザを質問セットに割り当てることと、ユーザにインターフェースデータを送ることとを行うユーザログインモジュールを備え、ここにおいて、前記インターフェースデータは、少なくとも１つの質問を含み、
前記データ記憶システムは、前記ユーザによって提供された場合、結果予想及びコメントの形で前記質問に対するユーザ回答を受信することと、前記ユーザ回答を記憶することと、前記質問についてのコンセンサスを計算することと、ここにおいて、前記コンセンサスは、少なくとも２つの公式を用いて計算される、前記コンセンサス計算とは異なる予想を表すユーザコメントを特定することと、作成されたときの前記コンセンサスに対する前記ユーザの予想の影響の方向を記憶することとを行う質問モジュールを更に備え、
前記データ記憶システムは、前記特定されたユーザコメントから触媒問題を抽出することと、前記質問に関連する地理情報を抽出することと、前記地理情報に関連するオンラインソースでの前記触媒問題の使用を要求することと、前記要求されたオンラインソースでの前記触媒情報の使用における少なくとも１つの孤立したスパイクを特定することと、前記質問についてのコンセンサスを計算し、前記特定されたスパイクから設定日数の間、前記コンセンサスを監視することと、前記計算されたコンセンサスが前記影響の方向に動くかどうかを決定し、そうである場合、影響に対して陽性であるとして前記触媒を記録することとを行う触媒テストモジュールを更に備える、
システム。
［Ｃ１７］
前記インターフェースデータは、コンセンサスデータを更に含む、
Ｃ１６に記載のシステム。
［Ｃ１８］
前記インターフェースデータは、他のユーザコメントデータを更に含む、
Ｃ１６に記載のシステム。
［Ｃ１９］
前記インターフェースデータは、ニュースデータを更に含む、
Ｃ１６に記載のシステム。
［Ｃ２０］
質問に関連する１つ又は複数の乱数を生成することと、乱数の要求に応答して、少なくとも１つの乱数をユーザに送ることとを行う乱数トラッキングモジュール
を更に備え、
前記ユーザの回答は、少なくとも１つの要求された乱数に関連するユーザトラッキング番号を備え、
前記ユーザ回答は、前記トラッキング番号のもとで記憶される、
Ｃ１６に記載のシステム。
【国際調査報告】